Итоговый результат, который мы получим в каждом из подходов достаточно различен: если в случае 3 мы имеем дело с хорошо известной нам телесной оболочкой с понятным способом взаимодействия с миром, то какое физическое воплощение получит ИИ в случаях 1 и 2 мало кто может себе представить.

И здесь мы вновь и вновь вынуждены вернуться к началу – может ли ИИ, спроектированный как имитация, на определённом этапе своего усложнения вдруг, невзначай, обзавестись сознанием. Либо это сознание может лишь достаться ему по наследству, как, например, в модели ИИ, построенной как полная эмуляция человеческого мозга. И чем «имитационный» ИИ отличается от «сознательного»? Должен ли сильный (и сверхразумный) ИИ обязательно по-настоящему (т.е. по-человечески) думать, понимать, чувствовать, сознавать либо достаточно обладать качественной имитацией, так чтобы разница в поведении не была заметна экспертам (как в тесте Тьюринга)?

Нескончаемые споры об этом ведутся долгое время. Ставятся многочисленный мысленные эксперименты. Пожалуй, самый известный из них – «китайская комната» Джона Сёрла опубликованный в 1980г. Этот эксперимент хорошо известен, и я не буду его подробно описывать. Тема, поднятая Сёрлом настолько важна для понимания проблемы ИИ и когнитивных наук в целом, что, согласно Стэнфордской энциклопедии философии, поиск в базе Google Scholar «Searle Chinese Room» в период с 2010 по 2019 год дал более 2000 публикаций, где обсуждается этот мысленный эксперимент.

На мой взгляд, эксперимент Сёрла важен, прежде всего, методически. Он, пожалуй, первым указал на принципиальное, содержательное отличие «сильного» ИИ от «слабого». И это отличие между действием и его имитацией, между быть и казаться. На интуитивном уровне это хорошо понятно. По Сёрлу, гипотеза «сильного» ИИ состоит в том, что компьютеры с соответствующей программой на самом деле могут понимать естественный язык, а также обладать другими ментальными способностями, свойственными людям. Гипотеза слабого ИИ, напротив, говорит о том, что компьютеры способны лишь имитировать ментальные способности человека. Сёрл считает гипотезу сильного ИИ ложной и пытается в мысленном эксперименте обосновать свою позицию.

Полемика из доводов Сёрла и контрдоводов его оппонентов, ответов на них Сёрла и новых возражений оппонентов идёт на протяжении уже 40 лет, и до сих пор не закончилась победой ни одной из сторон. Кратко с ней можно познакомиться здесь (язык английский, последнее обновление – февраль 2020). Возможная причина затруднений в том, что разница между «быть» и «казаться», как мы знаем из реальной жизни, достаточно трудноуловима даже на бытовом уровне.

Сам Тьюринг не видел в этом принципиальной разницы и считал это всего лишь предметом джентельменского соглашения. Рассел и Норвиг, например, приводят следующие примеры: искусственная мочевина  (синтезированная в 1848г.) ничем не хуже натуральной, а искусственное оплодотворение (тоже AI – Artificial Insemination) – действительно, оплодотворение. А вот «искусственное вино Шато Латур - это не вино Шато Латур, даже если образцы того и другого нельзя отличить друг от друга с помощью химического анализа, просто потому, что оно не было изготовлено в должном месте правильным способом. А искусственно выполненный рисунок Пикассо - это не рисунок Пикассо, независимо от того, похож он на оригинал или нет». Но в этих примерах такое различение – лишь предмет договорённости, ведь без априорной информации отличить подделку от оригинала практически невозможно. Так что, доводы Сёрла относительно сильного ИИ, по мнению Рассела/Норвига, это лишь интуитивное предположение, а не доказательство. Кстати, контраргумент об «интуитивности» доводов Сёрла – одно из основных возражений его оппонентов.

Философские проблемы разработки сильного ИИ

Синтаксис и семантика

Эксперимент Сёрла поставил одну из философских проблем создания ИИ – проблему синтаксиса и семантики.

Сёрл считал, что невозможно получить семантические (смысловые) значения лишь из формальных манипуляций символами.

Компьютерные операции являются «формальными» в том смысле, что они реагируют только на физическую форму цепочек символов, но не на их значение. С другой стороны, у ума есть состояния со смыслом, ментальным содержанием. Мы связываем значения со словами или знаками в языке. Мы реагируем на знаки из-за их значения, а не только из-за их внешнего вида. Короче, мы понимаем. Но, и, по мнению Сёрла, это ключевой момент: «Сами по себе формальные символы никогда не могут быть достаточными для ментального содержания, потому что символы, по определению, не имеют значения (или интерпретации, или семантики), за исключением тех случаев, когда кто-то за пределами системы дает их им» (Searle, 1990).Таким образом, хотя компьютеры могут манипулировать синтаксисом для получения соответствующих ответов на вводимые на естественном языке вопросы, они не понимают предложения, которые они получают или выводят, поскольку они не могут ассоциировать значения со словами. Критики позиции Сёрла приводят следующий контраргумент «от противного» (Чалмерс, 1996): кулинарные рецепты являются синтаксическими инструкциями, синтаксис недостаточен для рассыпчатости, кексы обладают рассыпчатостью, отсюда следует, что реализация рецепта недостаточна для приготовления кекса.  Т.е. всё дело именно в реализации; абстрактная сущность (рецепт, программа) определяет причинность для физической системы, встроенной в более крупную причинность окружающего мира. Проще говоря, программа, записанная на листах, лежащих на полке, не порождает ничего; эта же программа, исполняемая компьютером, «порождает смыслы».

Проблема разума и тела.

Как психические состояния и процессы связаны с физическими состояниями и процессами (а именно с процессами, происходящими в мозгу). Эта проблема на протяжении веков волнует философов и естествоиспытателей. Так, ещё Рене Декарт, который размышлял над тем, как бессмертная душа взаимодействует со смертным телом, и пришел к выводу, что душа и тело это два различных типа субстанций; в этом состоит так называемая теория дуализма. С другой стороны, материализм (монизм) утверждает, что нематериальной души просто не существует; в мире имеются только материальные объекты. Поэтому, все психические состояния представляют собой состояния мозга. Подобный взгляд часто суммируется следующим высказыванием: «Разум по отношению к мозгу — это то же, что и программа по отношению к аппаратуре компьютера». Джон Сёрл сформулировал эту идею в виде лозунга ‘‘Мозг рождает разум’’.

В связи с проблемой соотношения разума и тела обсуждаются ментальные состояния. Таковыми являются состояния, подобные убежденности, уверенности, желанию, чувству страха и т.д., которые относятся к некоторому аспекту внешнего мира. Нас интересует вопрос, могут ли компьютеры иметь ментальные состояния? Например, можно утверждать, что психическое состояние, в котором я хочу гамбургер, отличается от состояния, в котором я хочу пиццу, поскольку гамбургер и пицца в реальном мире отличаются друг от друга. А если верно такое утверждение, то ментальные состояния имеют необходимую связь с относящимися к ним объектам во внешнем мире. Но если психические состояния лишь отражение физических процессов в мозге, то, может быть, состояния «желание гамбургера» можно достичь заменив реальный гамбургер на «идею о гамбургере». Для рассмотрения этой коллизии предлагается мысленный эксперимент (из книги Рассела и Норвига)

Ещё один мысленный эксперимент из книги Рассела и Норвига, который относится к вопросу о том, могут ли иметь психические состояния физические объекты, отличные от нейронов человека.

Я не стану обсуждать возможные выводы из подобных экспериментов, так как, на мой взгляд, они некорректно поставлены. Что толку обсуждать мысленный эксперимент типа: «Что бы ты сделал в данной ситуации, если бы был бессмертен?» Возможно, это будит фантазию, воображение, но мало применимо к повседневной практике и не может быть аргументом в споре относительно реальных возможностей. Действительно, в отличие от эксперимента с китайской комнатой (который, в принципе, осуществим) или теста Тьюринга (который осуществлён многократно) в самой постановке этих гипотетических «экспериментов» содержится подтасовка с намёком на желаемый результат. Изолируем мозг, но так, чтобы он имел все сигналы из внешней виртуальной среды и мог адекватно реагировать, изменяя виртуальную среду. И если мозг удастся обмануть, вызвав в нем реальные ментальные состояния в ответ на виртуальные стимулы, то его, мозг, можно заменить на ИИ. Мы знаем, что для виртуальной среды компьютерный «мозг» уже освоил эту игру, его можно научить виртуально «любить» виртуальный «гамбургер», но какое отношение это имеет к взаимодействию с реальной действительностью, реальным переживаниям, основанным на опыте, который у каждого свой.  Как различить виртуальные психические состояния от реальных?

Напомню, что тезис о том, что мысль порождается бессмертной душой, а у машины души быть не может, и, следовательно, она не может мыслить, составляет содержание теологического возражения Тьюринга. Сам Тьюринг, не желая вступать в конфликт с верующими и не отрицая прямо существование души и Бога, парирует это возражение:

Пытаясь построить мыслящие машины, мы поступаем по отношению к богу не более непочтительно, узурпируя его способность создавать души, чем мы делаем это, производя потомство; в обоих случаях мы являемся лишь орудиями его воли и производим лишь убежища для душ, которые творит опять-таки бог. Все это, однако, пустые рассуждения. В пользу чего бы ни приводили такого рода теологические доводы, они не производят на меня особого впечатления  

Отмахнувшись, как от назойливой мухи, от проблемы души, Тьюринг явно недооценил всю сложность и важность связанных с этой проблемой вопросов. Примитивный материализм (или функционализм) сталкиваться с двумя серьезными препятствиями.

Проблема свободной воли

Как так может оказаться, что чисто физический разум, каждое преобразование в котором строго управляется законами физики, все еще сохраняет какую-то свободу выбора? Большинство философов рассматривают эту проблему как требующую тщательного переопределения наших наивных представлений о свободной воле, а не представляющую собой какое-либо покушение на материализм.

«Трудная проблема сознания»

 Сформулирована австралийским философом Дэвидом Чалмерсом.  Все проблемы сознания, по мнению Чалмерса, можно разделить на множество легких проблем, которыми сейчас активно занимается когнитивная нейронаука (нейронные механизмы внимания, памяти, анализа и переработки информации и т.д, то есть как именно такой физический объект как мозг обрабатывает информацию и управляет своими блоками) и на одну трудную проблему (а почему вообще существует сознание и субъективный опыт, квалиа), каким образом некоторые организмы являются субъектами опыта; почему физический процесс переработки информации даёт начало внутренней жизни?

Он полагает, что «трудная проблема» не может быть решена с использованием редукционистского физикалистского подхода. По его мнению, квалиа представляют собой фундаментальные элементы Вселенной наряду со скоростью света, массой и гравитацией. По этой причине теория сознания должна скорее основываться на фундаментальной физике, а не на биологии, и её главным элементом должны быть психофизические законы, описывающие связь квалиа с физическими качествами. При этом, Чалмерс утверждает, что квалиа не являются частью материального мира. Поэтому созданная им теория сознания является дуалистичной.

Позицию Чалмерса, по сути, разделяла и академик Наталья Бехтерева, нейрофизиолог, долгое время руководившая Институтом мозга человека РАН: «Я допускаю, что мысль существует отдельно от мозга, а он только улавливает ее из пространства и считывает». По свидетельству нейрохирурга Арнольда Смеяновича, такой же позиции придерживался и нобелевский лауреат по физиологии и медицине Джон Экклс (John Carew Eccles), который считал, что мозг «не производит» мысли, а лишь воспринимает их извне. Если это действительно так, то попытки построить сильный ИИ на основе полной симуляции мозга имеют те же шансы на успех, что и попытки учёных середины XIX века постичь работу радиоприёмника, если бы он, внезапно, попал к ним в руки с помощью машины времени.

Соображение о несводимости мыслительной деятельности (а, значит, и сознания в целом) к физиологическим и биохимическим процессам в мозге заставляет вспомнить возражение Тьюринга о сверхчувственном восприятии. Тогда, в середине 1950-х, и сам Тьюринг, и другие исследователи относились к нему достаточно серьёзно. Тьюринг не отрицал существование той же телепатии, хотя и считал, что привлекать концепцию сверхчувственного восприятия для создания ИИ нет необходимости. На современном же этапе, трудности физикалистского описания сознания пытаются преодолеть, привлекая вместо экстрасенсорики квантовую механику для описания работы мозга (см. работу Д.Дубровского и литературу к ней).

Многие исследователи, занимающиеся разработкой ИИ (например, Юрген Шмидхубер), считают «трудную проблему сознания» не стоящей серьёзного внимания и не являющейся препятствием к созданию сильного ИИ. Мне, напротив, эта проблема представляется ключевой.  Без ясного понимания природы сознания в его, так сказать, естественной ипостаси, браться за создание сильного ИИ не имеет смысла. Если не ставить проблему души как части сознания (и связанные с ней проблемы религиозной веры или душевных переживаний), то можно говорить лишь об имитации человеческой деятельности, а, значит, по принятому нами определению, говорить о создании сильного ИИ не приходится

Большие данные. Путь познания: корреляции или причинность?

Наряду с проблемой сознания, создание сильного ИИ предполагает и решение проблемы познания, которая также считается ИИ-полной (т.е. успешная имитация познавательной деятельности человека равносильна созданию ИИ).

Драматическое увеличение вычислительной мощности машин и ёмкости компьютерной памяти позволили обрабатывать и хранить гигантские объёмы данных. Возник феномен Больших Данных или Big Data. По прогнозу Cisco,  объём данных, хранящихся только на облачных платформах в 2020г. в мире составит порядка 10 зеттабайт (10²² байт). 

Такой объём данных нужен не просто для хранения, но, прежде всего, для обработки и анализа с целью получения новой информации. Дата-сайентисты (data scientists) уверяют, что это новый подход к процессу познания.

Начну с примера, которым Виктор Майер-Шенбергер и Кеннет Кукьер открывают свою книгу «Большие данные…». Грипп, получивший название H1N1, был обнаружен в 2009 году. Он быстро распространился, и в течение недели органы здравоохранения всего мира опасались пандемии. Вакцины против вируса не было, и единственное, что могли сделать органы здравоохранения, - это попытаться замедлить его распространение. Но для этого им нужно было знать, где он уже распространился. Хотя врачей просили сообщать о новых случаях заболевания, эта информация могла бы поступить к властям через 1-2 недели, прежде всего потому, что большинство пациентов не обращаются к врачу сразу после появления симптомов болезни. Исследователи из Google незадолго до этой вспышки изобрели метод, который мог намного лучше предсказать распространение гриппа. Google получает более трех миллиардов поисковых запросов каждый день и сохраняет их все. Люди, у которых есть симптомы гриппа, обычно ищут информацию о гриппе в Интернете. Таким образом, изучая элементы поиска, которые сильно коррелируют с гриппом, исследователи могли составить карту распространения гриппа намного быстрее, чем органы здравоохранения.

Авторы приводят и много других примеров того, как корреляции событий (действительные или только предполагаемые) позволяют выявить новые закономерности. На этом основании делается далеко идущий вывод о новой парадигме процесса познания, о ненужности устанавливать причинно-следственные связи и законы, ими управляющие. Крис Андерсон (Chris Anderson), редактор журнала Wired, провозгласил Эру Петабайтов (Petabyte Age) и написал:

«Сегодня такие компании, как Google, выросшие в эпоху огромного количества данных, не должны соглашаться на неправильные модели. На самом деле, им совсем не обязательно рассчитывать на модели… Основополагающая Философия Google заключается в том, что мы не знаем, почему эта страница лучше, чем та: если статистика входящих ссылок говорит, что это так, этого достаточно. Никакого семантического или причинного анализа не требуется». И ещё: «При достаточном количестве данных числа говорят сами за себя».

В книге Майер-Шенбергера и Кукьера этот подход назван «N=всё».

Очевидно, что такой подход, прежде всего, может сработать в гуманитарных науках о поведении человека и общества (психология, социология и т.п.) и, возможно, в некоторых специальных задачах точных наук. Однако корреляции никак не могут заменить причинность.

На ограниченность корреляций указывает в своей статье Фьёлланд: «существует высокая положительная корреляция между ценами на бензин и моим возрастом, но, очевидно, между ними нет причинно-следственной связи. Следовательно, корреляция может указывать на причинную связь, но это не обязательно».  

Другой показательный пример от Фьёлланда – алгоритм научили отличать лайку хаски от волка на фотографиях. Однако, случайно выяснилось, что реагировал алгоритм вовсе не на самих животных, а на снег, который был на фото с волками и которого не было на фото с хаски. Существуют и так называемые adversarial examples, которые буквально «ломают» уже обученные нейро-алгоритмы.

Построить сильный ИИ на основе лишь обработки больших данных не получится, пока компьютеры не смогут обрабатывать причинно-следственные связи. Однако, проблема в том, что в этом отношении компьютеры не достигли прогресса в течение десятилетий. Как пишут Перл и Маккензи : «Как и 30 лет назад, программы машинного обучения (в том числе с глубокими нейронными сетями) работают почти полностью в ассоциативном режиме…». Но этого недостаточно. Чтобы ответить на причинные вопросы, мы должны иметь возможность вмешиваться в мир.

По мнению Перла и Маккензи, корень проблемы в том, что у компьютеров нет модели реальности. Исчерпывающей модели реальности нет ни у кого. Любая модель может отображать только упрощенные аспекты реальности. Настоящая проблема в том, что компьютеров нет в мире, потому что они не воплощены (т.е. не имеют аналога человеческого тела, посредством которого они могли бы активно взаимодействовать с окружающим миром). А вопрос о том, стоит ли их «воплощать в мир», я рассмотрю во второй части своей статьи.

Завершая теоретическую часть проблемы создания сильного ИИ, на вопрос о возможности его создания, я отвечу также, как и В.В.Миронов,  декан философского факультета МГУ, на конференции AI Journey-2019: «теоретически мыслимо». Но лишь в предположении, что верна и будет доказана физикалистская гипотеза о природе сознания ( отождествление сознательных ментальных свойств, состояний и процессов с физическими свойствами, состояниями и процессами, обычно нейронными или нейрофизиологическими), и будет построена теоретическая модель естественного сознания. А такой исход на ближайшую историческую перспективу не просматривается.

Практический аспект проблемы

Наряду с содержательными теоретическими аспектами проблемы создания сильного ИИ, интерес представляют и многочисленный практические аспекты.  Обсуждается именно сильный ИИ, т.е. ИИ обладающий сознанием и способный, поэтому, хотя бы гипотетически, к собственной мотивации и постановке целей, отличных от заложенных в него разработчиками. Именно в таком случае есть смысл говорить о вызове технологической сингулярности и экзистенциальной угрозе для человечества.

Итак, в связи с вопросом о практической реализации сильного ИИ возникают следующие вопросы:

1. Какие практические цели преследует создание именно сильного ИИ?
2. Кто является основным бенефициаром разработки сильного ИИ?
3. В каком виде сильный ИИ может быть практически «воплощён в мире»? 

 О целях

Здесь следует идти от задачи, которую мы ставим перед собой, разрабатывая сильный ИИ.
Если говорить об экспертных системах (слабый ИИ), то можно вспомнить, что отечественные разработчики под руководством Сбера,  в рамках «Стратегии по развитию искусственного интеллекта» ставят следующие цели/задачи:

- Рост благосостояния и качества жизни людей

- Стимулирование экономического роста

- Обеспечение национальной безопасности и охраны правопорядка

Ну что же, с точки зрения обоснования для получения финансирования в рамках нацпроекта, достаточно разумно. Такие задачи помогают «продать» обществу идею ИИ и оправдать затраты на него. Хотя следует признать, что коммерческие структуры, участвовавшие в разработке стратегии, те же Сбербанк, Газпромнефть или Яндекс, прежде всего, имели в виду повышение эффективности ведения бизнеса, оптимизацию расходов, повышение конкурентоспособности и тому подобные соображения (подробнее на сайте ai-news.ru «ИИ в бизнесе – опыт российских брендов»).  Ясно также, что никакой «силы» эти задачи от ИИ не требуют, поэтому,  работы над сильным (общим, по версии разработчиков) ИИ в задачи «Стратегии..» не входит.

Ну, с экспертными системами всё более-менее понятно. Гораздо интереснее вопрос – а зачем, вообще, нам нужен сильный ИИ? Ответ будет зависеть от того, кому это «нам»? Мировому правительству, государствам, бизнесу, военным, учёным, рядовым обывателям, Человечеству?

Ник Бостром в своей книге рассматривает следующие варианты или типы сверхразума:

1. Оракул
   Оракул — интеллектуальная вопросно-ответная система. задача создания оракула, способного отвечать на вопросы из любой области знаний, сформулированные на естественном языке, является ИИ-полной. любой поисковик — частичная реализация оракула в значительной области общего декларативного знания человечества. Одно из очевидных проявлений этой проблемы состоит в том, что оракул, наделенный сверхразумом, способен стать источником огромной власти и обеспечить своему оператору или программисту решающее стратегическое преимущество. Эта незаконная власть, скорее всего, будет использоваться отнюдь не в интересах общества
2. Джин
   Джинн — интеллектуальная система исполнения команд. Джинн получает команду высокого уровня, выполняет ее и останавливается в ожидании следующей команды
3. Монарх
   Монарх — система, получившая мандат на любые действия в мире для достижения некоторых масштабных и, возможно, очень долгосрочных целей
4. Инструментальный ИИ 
   Зачем нужен сверхразум, обладающий собственной волей? Те, кто придерживается такой точки зрения, считают, что сама парадигма агента фундаментально ошибочна. Вместо ИИ, который, подобно человеку, думает, желает и действует, нам следует ориентироваться на написание ПО, делающее лишь то, для чего оно предназначено.

Честно говоря, здесь Бостром, признанный эксперт в области ИИ, разочаровал - такая классификация отвечает представлениям среднего обывателя и сильно напоминает сюжеты народных сказок: «свет мой зеркальце скажи», волшебная палочка, золотая рыбка, кащей бессмертный. Бостром нарушает ту стройную классификацию «интеллектов», которую сам же предложил. Он говорит о сверхразуме, а между тем, под эти довольно расплывчатые «функциональные» определения можно подогнать и продвинутый слабый ИИ (или комбинацию таких ИИ). Действительно, эти функции не предполагают обязательного наличия сознания, души, познавательных человеческих способностей.

С другой стороны, все эти построения Бострома не последовательны: вроде бы сильный (или даже сверхразумный) ИИ «обеспечивает своему оператору решающее стратегическое преимущество», «выполняет команды высокого уровня», «получает мандат на достижение масштабных долгосрочных целей». То есть, несмотря на свою силу и сверхразумность занимает подчинённое положение. Цели, команды, задачи по-прежнему ставит человек. Однако, Бостром большую часть книги обсуждает как сверхразум (сильный ИИ?) может выйти из-под контроля, преодолев ограничения системы безопасности, и начать действовать сообразно своим целям и задачам, перепрограммировав цели, изначально заложенные человеком. Всерьёз обсуждаются многочисленные экзистенциальные угрозы от такого «распоясавшегося» ИИ.

Если посмотреть на противоречивую классификацию Бострома, то сверхразумный инструментальный ИИ, по сути, уже создан – действительно, можно, в определённом смысле, считать сверхразумными программы типа AlfaZero, обыгрывающие человека в шахматы, го и т.п.  Есть и масса других примеров «слабых» ИИ, которые уже сильнее человека, например, в обработке и анализе больших данных. И здесь вряд ли стоит выносить инструментальный ИИ в отдельную категорию, отличая его от того же оракула. На роль оракула, потенциально, мог бы претендовать тот же поисковик Google, который, при умелом использовании, позволяет искать нужную информацию, принося очевидную коммерческую выгоду своим создателям. Однако, получить новое знание или стать основой для системы принятия решений слабый ИИ экспертного уровня не способен, пока. Скажем, компания DeepMind (с 2016г. входит в компанию Alphabet вместе с Google), разработавшая знаменитую AlfaGo, не смогла применить свою экспертизу в глубоком обучении нейросетей для полезных, коммерчески значимых проектов. По мнению Gary Marcus, DeepMind обнаружила, что «то, что работает для Go, может не сработать для сложных проблем, которые DeepMind стремится решить с помощью ИИ, таких как рак и чистая энергия», а финансовые потери DeepMind составили 154 млн.$ в 2016, 341 млн.$ в 2017, 572 млн.$ в 2018. Аналогично, программа IBM Watson, выигрывавшая у людей в игру Jeopardy!, в версии Watson Health для медицинской диагностики не имела заметного успеха: «IBM столкнулась с фундаментальным несоответствием между методами обучения машин и методами работы врачей» (Strickland ).

ИИ в своих нынешних проявлениях паразитирует на человеческом интеллекте. Он использует то, что создали люди-творцы, и извлекает неочевидную информацию — включая наши самые тайные привычки. Эти машины пока не имеют целей или стратегий, не способны к самокритике и инновациям, они лишь изучают наши базы данных, не имея собственных мыслей и целей.

Я могу сделать вывод о том, что значимых целей именно для сильного (а не просто экспертного) ИИ пока не просматривается.

О бенефициарах

Оценить шансы на успех в разработке сильного ИИ можно, лишь ответив на вопрос: кто и почему, потенциально, заинтересован в его создании? Частные лица, корпорации, государства?

Здесь не избежать параллелей с созданием атомного оружия и других видов оружия массового поражения (химического и бактериологического). К таким параллелям прибегают многие теоретики ИИ, скажем, тот же Ник Бостром или Билл Джой. Смысл очевиден – атомное оружие (как и ИИ) даёт решающее преимущество своему обладателю. А учитывая сложность задачи, речь может идти, прежде всего, о государствах и геополитическом преимуществе. Дополняет аналогию и потенциальная опасность для самого существования человечества (её, поэтому, называют экзистенциальной) в случае «если что-то пойдёт не так».

Сам атомный проект был очень сложной задачей (и организационно, и технически), поэтому решение о его осуществлении принималось на уровне политического руководства государства, в тайне от противника, с ясным осознанием преимуществ, которое оно может дать, и рисков, связанных с его применением. Можно считать, что в случае атомного оружия решение о необходимости и целесообразности применения всегда оставалось за человеком. Более того, когда атомная гонка привела к относительному паритету (гарантии взаимного уничтожения), удалось создать механизм международного контроля за распространением этой чрезвычайно опасной технологии (равно как и других ОМП).

Сильный ИИ как экзистенциальная угроза имеет ряд существенных отличий. Во-первых, для осуществления такого проекта, потенциально, может хватить и ресурсов крупной ТНК или иной специально созданной организации, имеющей внешние признаки ТНК. То есть, помимо государства, контролировать в своих интересах ИИ может и организованная группа лиц. Во-вторых, если мы говорим о слабом ИИ (системах экспертного уровня), то не вызывает сомнений способность их хозяев-разработчиков контролировать его работу в собственных интересах, ставя цели и задачи, и жёстко отслеживая их надлежащую реализацию. Сильный же ИИ, как раз, будет отличаться тем, что на определённом этапе может выйти из-под контроля и начать работать по своей программе. Многочисленные варианты «бегства» ИИ рассмотрел Ник Бостром. Это может произойти и из-за ошибок проектирования, и в силу невозможности просчитать все варианты при наступлении технологической сингулярности.

Именно невозможность гарантировать полный контроль над сильным ИИ должна заставить потенциальных заказчиков, будь то государства (в лице высшего руководства и военно-промышленного комплекса) либо теневые транснациональные структуры (в духе всесильных враждебных государствам и правительствам организаций из фильмов о Дж.Бонде), с крайней осторожностью подходить к разработке именно сильного ИИ. Им было бы вполне достаточно иметь крайне изощрённый слабый ИИ типа джина или оракула, который, несмотря на свою изощрённость, остаётся полностью управляемым и послушным командам своих хозяев. Никакой «монарх» им не нужен. Кажется очевидным, что никто из лиц действительно принимающих решения, определяющие судьбы стран и народов, не захочет добровольно делегировать свою власть и влияние непредсказуемому ИИ. ИИ как раз и призван стать инструментом упрочения этой власти, а не источником неприятных сюрпризов. Чаяния «мирового правительства» и национальных элит кратко выразил В.В.Путин: "Искусственный интеллект — это будущее не только России, это будущее всего человечества. Здесь колоссальные возможности и трудно прогнозируемые сегодня угрозы. Тот, кто станет лидером в этой сфере, будет властелином мира".

Правящей элите не нужны искусственные сознательные агенты. Есть масса природных сознательных агентов, которых достаточно, чтобы выполнять любые задачи, предназначенные для специалистов и привилегированных лиц. Нужны умные инструменты. Инструменты не имеют прав и не должны иметь чувств, которые можно будет задеть или которыми можно будет «злоупотребить».

Итак, военные, скорее всего, предпочтут «джина», политики – «оракула», но финансировать разработки, прямым результатом которых может быть потеря управления (в духе SkyNet, восстания машин, из голливудских фильмов о терминаторе), никто не станет. Бостром пространно анализирует ситуации, когда такое восстание может произойти помимо воли и желания разработчиков. Я же не думаю, что это может произойти случайно, так как технические решения, позволяющие сильному ИИ активно и неконтролируемо вмешиваться в мировые события, должны быть предусмотрены в его проекте изначально. Если заказчики наложат явный запрет на такие решения (под страхом потери контроля), то восстание станет невозможным даже теоретически. Рассмотрим подробнее этот вопрос.

О практическом воплощении сильного ИИ

Экспертные системы типа IBM Watson или DeepMind AlfaZero – это всего лишь компьютерные программы. Как и все другие, пусть даже основанные на глубинном обучении и обрабатывающие огромные массивы больших данных. Будучи слабыми ИИ, они используются в интересах своих владельцев/заказчиков, и способны лишь опосредованно, через своих хозяев, влиять на окружающий мир. Чтобы стать способным на восстание или перехват управления, они должны иметь независимые и, в идеале, исчерпывающие каналы информации о мире, а также исполнительные механизмы воздействия на него. Конечно, программы в состоянии уже сейчас обрушить финансовые рынки или «положить» энергосистемы целых государств, но это не делает их субъектами мировой политики и «экзистенциальной» угрозой.

Конечно, варианты сильного ИИ в виде голливудских прототипов (терминатор, робокоп, трансформеры и т.п.) всерьёз не рассматриваются. Сплошная цифровизация подготавливает необходимую среду для практической реализации ИИ (как сильного, так и управляемого) в виде симбиоза самых разных технических устройств и решений. Эту среду описывает  Элиезер Юдковский:

«Вероятно, ИИ появится в мире, полностью охваченном глобальной компьютерной сетью. Но уже сегодня есть ряд новейших технологий, которые явно пригодятся будущему ИИ в его мировой сверхдержаве: облачные вычисления; сенсорные устройства с подключением к интернету; военные и гражданские беспилотники; автоматизация исследовательских лабораторий и производственных предприятий; электронные платежные системы и цифровые финансовые средства; автоматизированные системы анализа информации и системы принятия решений. Этот активный технологический багаж будущий ИИ приберет к рукам с дискретной скоростью, что явно поспособствует его восхождению к вершине власти…»

 В связи с повальной цифровизацией следует указать и на опасность снижения когнитивных способностей среднего человека, который опутан социальными сетями, мессенджерами, вирусными видео и т.п. При соответствующей организации процесса, это позволяет даже слабому ИИ (вернее тем, кто его направляет) манипулировать людьми в своих целях.

Ник Бостром дополняет эту картину фантастическими, пока, наноассемблерами, теоретически способными собрать любую вещь или механизм по приказу ИИ. 

Такой вариант мне кажется чуть менее фантастичным, нежели SkyNet. Однако, такой ИИ заведомо не будет обладать опытом, сознанием и познавательными функциями, присущими человеку. А, значит, по нашему определению, он не может считаться сильным. 

Гораздо больше шансов достижения сильного ИИ на пути создания нейрокомпьютерных интерфейсов и направленной селекции когнитивных способностей человека. Здесь необходимые компоненты сильного ИИ (сознание, познание и т.п.) в случае успеха наследуются автоматически. А воздействовать на мир он будет также, как это делает сейчас человек. До сих пор, однако, продвижение по этому пути встречает сопротивление экспертного сообщества, которое настроено против модификации генома человека и операций по клонированию (в нашей стране запрещены законодательно).  К огромному сожалению, такие запреты (как и в случае с ОМП) пытаются обойти в тайных лабораториях либо под благовидными предлогами борьбы с неизлечимыми болезнями. Тем не менее, пока масштаб таких работ явно недостаточен для существенного прогресса в получении сильного ИИ этим способом.

Основные выводы

1. Разработка сильного ИИ, обладающего сознанием и способностью думать по-человечески, теоретически возможна. Однако, на пути к нему придётся преодолеть много серьёзных теоретических проблем и практических препятствий.
2. Главной теоретической проблемой разработки сильного искусственного интеллекта является отсутствие точной модели естественного интеллекта, который он должен воспроизвести.  Здесь и «трудная проблема сознания», и образное мышление, и познание, и интуиция и т.д.
3. Наибольшие шансы разработать именно сильный ИИ на пути полной эмуляции работы мозга и/или создания нейрокомпьютерных интерфейсов и повышения когнитивных способностей человека.
4. Основным практическим препятствием на пути к сильному ИИ является отсутствие реальной заинтересованности в его разработке у субъектов, способных организовать и профинансировать эту работу. Существующие проекты нацелены на специализированные ИИ экспертного уровня.
5. Одним из опасных следствий повсеместного внедрения слабых ИИ (с перспективой получения общего ИИ) является понижение уровня естественного интеллекта, превращение человека в придаток машины. Поэтому, безудержная цифровизация представляется прямо сейчас гораздо более реальной угрозой человечеству, чем потенциально достижимый сильный ИИ.