Ложные страхи и подлинные опасности: готовы ли мы говорить об искусственном интеллекте всерьез?

Протоиерей Александр Абрамов

Дорогие друзья, представляем вашему вниманию доклад, сделанный прот. Александром Абрамовым на круглом столе «Роботы, искусственный интеллект, достоинство человека: проблемы и вызовы», о котором мы писали несколькими днями ранее.

Уважаемые участники круглого стола!

Спасибо большое за возможность здесь выступить. То, о чем бы я хотел здесь сказать, в основном будет посвящено социально-церковному измерению проблемы искусственного интеллекта (ИИ). Я думаю, что о богословских аспектах мы много услышим от профессора Мюллера и отца Владимира Шмалия.

В целом, все, что я хочу сказать, может быть ограничено двумя цитатами. Одна из них — Стивена Хокинга, который говорит, что «готовиться к будущему — намного эффективней, чем изучать историю человеческой глупости». Другая цитата, может быть, несколько неожиданная, она из российского советского поэта Андрея Вознесенского, который сейчас не очень популярен, но тем не менее: «Все прогрессы реакционны, если рушится человек».  Это такая классическая фраза. И я хотел бы сказать о том, что, как мне представляется, в нынешнем состоянии изучения проблемы ИИ есть три кризиса, или три проблемы. Первая из них — проблема неясности. Вторая — проблема злоупотребления, и третья — проблема чистой этики, то есть проблема добра и зла.

Начнем с первой. Вот, мы знаем, что понятие «искусственный интеллект» относительно новое, Дж. Маккарти вводит его в 1956 году. Таким образом, ему полвека с небольшим. Но медийная упаковка тематики ИИ с самого начала ведет к разного рода спекуляциям и недоумениям, потому что в торопливости прессы и специалистов обычный человек не может уловить, о чем, в конце концов, идет речь. Одни считают, что это алгоритмы, другие считают, что это технологии, третьи считают, что это механизмы. Давайте все-таки оттолкнемся от какой-от дефиниции, которая для нас могла бы быть в этом случае базовой. Я за базовую дефиницию беру определение Нового Оксфордского словаря, который таким образом характеризует то, что мы сегодня обсуждаем: «Искусственный интеллект — это теория и реализация компьютерных систем, способных выполнять задачи, обычно требующие человеческого интеллекта (визуальных восприятий, распознавания речи, принятия решений и перевода с одного языка на другой)».

Тем не менее в обыденном восприятии очень часто смешиваются картины предстоящих увольнений, бунтов машин. Этого немало есть в произведениях художественной литературы и кино. И в обстановке, когда очень часто специалисты игнорируют базовую обязанность давать пояснения, возникают основания для тревожности.  Это серьезнейший вопрос современного гуманитарного знания: специалисты очень любят изолироваться в башне из слоновой кости и не давать ясных ответов на ясные вопросы. Мне пришлось сравнительно недавно вести программу, посвященную тому, чтобы объяснять обывателям, таким же, как я, что такое блокчейн. Пришли три специалиста, создателя этой системы. В течение пятидесяти минут они не смогли приблизить никого из нас к пониманию того, что происходит. Впрочем, не смогли и отдалить, поскольку мы и так очень далеки. Когда я спросил: «Это такая форма обобществления достояния? Проблема утопического социализма?» — они радостно закивали и сказали: «Да». Я говорю: «Но в утопическом социализме ведь есть кто-то главный, кто централизует все происходящие интеракции», — они говорят: «Да,  и что?» И вот, мне кажется очень существенной дискуссия о терминах прежде чем торопливо включаться в гонку рассуждений о том, хорошо или плохо то или иное явление. Надо вообще понять, о каком явлении мы говорим. Спор о терминах здесь очень существен.

Таким образом, вот проблема неясности. Неясности содержания и неясности объяснения. Эта проблема отчасти является нарочитой, как мне представляется, потому что специалисты не считают для себя необходимым давать понятные объяснения.

Вторая проблема, проблема современного состояния ИИ. Ясно, что сейчас не идет речь о формах ИИ, связанных с сознанием. Мы хорошо понимаем, что эти возможности очень невелики пока. Мне как автомобилисту ясно, как много предметов в моем автомобиле, начиная с системы переключения передач и заканчивая навигатором, связаны с примитивными формами ИИ. Мы прекрасно знаем и о разных положительных проявлениях современных технологий. Предшествующий докладчик очень подробно об этом говорил. Есть некоторые совершенно удивительные вещи. Меня, например, поражает, когда говорят, что искусственный врач может быть лучше врача живого, но факты свидетельствуют о том, что в Дании около 90% диагностики рака кожи осуществляется при помощи компьютерных методов без прямого участия человека. И в той же Дании, например, когда поступает звонок в службу «Скорой помощи», машина определяет по шумам и прочим эффектам, нет ли у звонящего признаков сердечного приступа.

Это все ясно и хорошо, но вот некоторые другие моменты, о которых стоило бы рассказать. В результате использования алгоритмов, которые прямо являются алгоритмами ИИ, в аэропортах мира около 1000 человек ежегодно на ошибочных основаниях задерживаются как потенциальные террористы. Доходило до комичной ситуации, когда пилот «American Airlines» в течение одного года 80 раз задерживался из-за алгоритмизации — потому, что, по мнению машины, в его паспорте он сфотографирован с закрытыми глазами.

Одному жителю США по ошибке, в результате работы алгоритма, был прислан счет на 200 000 долларов за алименты, и его жена, решив, что он ведет двойную жизнь, покончила с собой. И здесь уже нет места для шуток. Компания «Amazon», например, используя особые типы алгоритмов, продает один и тот же товар по разным ценам жителям разных социальных категорий. Мы знаем с вами, что ситуация 2010 года на фондовых рынках, которая привела к грандиозному обвалу, прямо связана с несовершенством искусственно-интеллектуальной системы торгов.  Вот, например, биржа NASDAQ, крупнейшая мировая фондовая биржа: 70% акций на ней торгуется с помощью систем искусственного интеллекта, электронных трейдеров. Так вот, ситуация 2010 года, связанная с дефолтом в Греции, в значительной мере была связана со сбоем подобного рода систем, который происходил в пределах трех миллисекунд. Одна сделка проходила в течение трех миллисекунд.

И вот этот негативный материал, он никуда не уходит, он накапливается. И он нуждается в интерпретации. Основные претензии, которые, насколько я понимаю, ставятся и нуждаются в христианском осмыслении, таковы. Система бесконтрольного и не связанного с этическими раздумьями внедрения ИИ ведет к социальному неравенству. Эту тему очень четко сформулировала одна американская чернокожая актриса, которая, как она пишет в своем твиттере, «подружилась» с разновидностью электронного помощника, квази-Siri. Так вот, она общается с ней через социальные сети, и ее мысль такая: Декларация независимости США, написанная очень немногими людьми, не учитывает интересов меня как женщины и меня как женщины цветной. ИИ, не поставленный под общественный контроль, — это ситуация белых людей с большими деньгами. Она таким же образом не будет учитывать мои интересы.

Следующая тема — это, конечно, очевидная ситуация страха увольнений.  Руководитель крупнейшего российского банка говорит о то, что 70% среднего звена в результате применения новых технологий будут уволены. Надо понимать, что значительная часть этих людей находится в малых и средних городах. И куда они пойдут? Кем они будут работать? И почему 70? Почему не 75? Откуда берется такая искусственная точность, которая между тем вызывает несомненную социальную тревожность?

В России существует Ассоциация искусственного интеллекта, и она проводит ежемесячные семинары, в том числе, на базе Института управления Академии наук. Через несколько дней там будет прочтен доклад о человеческом отношении к внедрению систем ИИ. И вот, выясняется среди прочего, что наибольшие опасения по поводу внедрения систем ИИ испытывают те люди, которые с ними более или менее знакомы и в своей частной жизни эти системы так или иначе — в смартфонах или чем-то ином — эксплуатируют.  Другие два вывода предстоящего доклада отечественного исследователя в Институте управления Академии наук такие. Они не совсем очевидны. «Готовность к взаимодействию с ИИ требует помимо технологического оптимизма оптимизма социального, доверия к государству и обществу, убежденности, что применение ИИ не будет адресовано против них». В свою очередь, бесконтрольное внедрение ИИ со стороны государства — я сейчас говорю об абстрактном государстве, — которому люди не доверяют, ведет к росту социального инфантилизма. А именно: возникает культурный разрыв между теми, кто готов к личному выбору и неопределенности с одной стороны, и теми, кто оставляет социальный выбор за алгоритмами. И это некая новая реальность. И она выводит нас на тематику тоталитаризма.

Ясно, что большинство исследований в области ИИ сосредоточены либо в корпорациях, которые сориентированы на получение прибыли, либо в рамках закрытых военных проектов. Число тех, кто академически, на долгую перспективу, не имея в виду извлечение немедленной прибыли, занимается исследованиями в этой области, не так велико. И значит, как говорится в одном из известных афоризмов XIX века: «Не было еще того оружия, которое, будучи изобретено, не было бы применено». И значит, здесь речь идет о том, что выведение военных и прочих закрытых исследований в области ИИ за пределы контроля общества ставит еще одну проблему, которую в общем виде я назвал бы проблемой злоупотребления.

Более того, относительно консенсусным является мнение о том, что одна группа людей занимается разработками, а другая занимается этическими проблемами. И эти люди очень редко смыкаются. Они очень редко прямо учитывают разработки друг друга. Тем не менее все то, о чем я говорил до этого, — это злоупотребление человека теми технологиями, которыми он располагает. Это еще не злоупотребление машины против человека.

Теперь мы переходим к тому, что сейчас мыслится как совершенно фантастическое. Но тот же Хокинг и Илон Маск, и еще десятки людей считают опасной ситуацию при которой происходит преодоление рубежа, когда машина обретает сознание. Под сознанием имеется в виду, естественно, не только линейное развитие интеллекта. Суперкомпьютер имеет производительность существенно большую, чем человеческий мозг. Технически это на данном этапе ничего не значит. А начинает означать, когда помимо линейного интеллекта каким-то образом формируется то, что можно назвать «квалиа» или «эмпатия», в том числе, как многие считают, возможность чувствовать боль. И вот здесь здесь наблюдается значительное расхождение. Одни считают, что ничего страшного не происходит и ведение самостоятельных исследований ни в коем случае нельзя останавливать. Мы сейчас отмечаем столетие окончания Первой мировой войны. В Первую мировую войну впервые были применены пулеметы. Они считались варварским оружием и вызывали ужас. Проводили занятия как против танко-, так и против пулеметобоязни. А сейчас мы считаем это совершенно конвенциональным обычным оружием. В этой логике — она исповедовалась создателем водородной бомбы Эдвардом Теллером — если человек что-то знает, он должен свое знание применить и реализовать на практике. Или, как говорится в известной максиме: «Если ты можешь, ты должен».

Другие  — градуалисты — считают, что по мере возникновения проблем они будут решаться и мы должны ориентироваться на создание так называемого «хорошего» ИИ. Курцвейл и OpenAI, в частности, полагают, что этот «хороший» ИИ будет содержать в себе в том или ином виде встроенные системы, которые будут мешать ему поразить создателя, человека. Алармисты, в свою очередь, считают, что система, способная к саморазвитию и лишенная этики, рано или поздно сочтет необходимым для доступа к ресурсам, для поддержания эффективности и самосохранения, а также — здесь интересный момент — для творчества, переход этических рамок, задаваемых человеком. Известный пример, который алармисты используют: ДНК человека и ДНК мыши на 90% совпадают, однако человек при этом не спрашивает у мыши, нужно ли распахивать поле, где мыши живут.

Эти дискуссии, кажущиеся пока беспредметными, на самом деле не так незначительны, потому что здесь очень многое зависит от позиции ученых с одной стороны и от позиции общества с другой. Мы знаем, что, например, сговор немецких ученых позволил избежать создания нацистской Германией ядерного оружия, но в других случаях и в других странах ученые не вступали в подобного рода соглашения, и самые кровавые виды вооружения создавались.

Таким образом, вот на этом дальнем горизонте встает проблема чистой этики. Проблема добра и зла. Необходимость останавливать исследования или не вмешиваться в них. Необходимость этического осмысления самых дальних, отдаленных последствий того, что мы делаем.

Что происходит сейчас? Что делается для того, чтобы хотя бы отчасти разобраться с происходящим?. Ну, во-первых, есть известные документы, среди которых самым значительным мне представляется Асиломарская декларация 2017 года по ИИ, которая как раз рассуждает об этических аспектах работы с ИИ. Асиломар — место, выбранное совершенно не случайно для проведение конференции по ИИ, потому что именно там в 1975 году прошла конференция, где обсуждалось запрещение отдельных видов исследований, связанных с генной модификацией, геномом человека. И, например, были запрещены эксперименты с бактериями, которые, в частности, способны выживать за пределами лабораторных условий. Некоторые из важнейших этических постулатов этой Асиломарской декларации таковы: «Системы ИИ должны быть безопасны и защищены на протяжении всего срока эксплуатации, устройство и функционирование систем ИИ должно быть согласовано с идеалами человеческого достоинства, люди должны иметь доступ к персональным данным…» Среди других документов назову очень важную Декларацию европейских государств о сотрудничестве в сфере искусственного интеллекта 2018 года.

Существует также довольно много общественных организаций. Ассоциация, например, «Открытый искусственный интеллект», основанная, в частности Илоном Маском. Вот эта организация вообще предлагает установить жесткий контроль  над системами ИИ вплоть до введения полиции ИИ. Многие исходят из того, что в структурах крупных корпораций, большинство из которых, кстати, объединены в партнерстве ИИ, должны существовать этические советы. Такие советы предполагается копировать из системы медицины США, где в 1930-е годы по рекомендации президентской комиссии при каждом крупном медицинском центре создавались этические советы, в которые входили доктора, философы, богословы. И эти этические советы занимались не тем, что рассматривали конкретные медицинские случаи — например, опасность ампутации ноги или этичность пересадки органов, — а трудные проблемы, которые стояли перед каждым медицинским центром в той или иной области.

Говоря о вкладе Церкви в подобного рода дискуссию. Если мы возьмем основополагающий документ Русской Православной Церкви, «Основы социальной концепции», отец Владимир Шмалий, присутствующий здесь, был одним из тех, кто участвовал в составлении этого документа. В разделе «Светская наука, культура и образование» говорится о том, что «наука является мечом обоюдоострым», и, в общем, такого конкретного обращения к тем темам, которые мы сейчас обсуждаем, не было и быть не могло в то время. Технологии развиваются очень быстро. Но вот, например, сбор основополагающих практик, концепций и заявлений разного рода групп, занимающихся этическим осмыслением проблем ИИ, для того, чтобы предложить их богословский анализ, мне кажется вещью очень перспективной для того, чтобы сформировать более завершенное христианское видение этой проблемы.