Несколько десятилетий назад многие зачитывались культовым романом американского фантаста Айзека Азимова «Я, робот». Эта книга впервые поставила вопрос взаимодействия человека и искусственного существа. Тогда казалось, что подобное либо не произойдет никогда, либо очень нескоро. Но сейчас на наших глазах искусственный интеллект развивается настолько стремительно, что на первый план выходит вопрос надежности, предсказуемости новых технологий, и этических проблем взаимодействия ИИ и человека. Какие этические принципы, передовые практики должны использоваться при разработке и внедрении искусственного интеллекта, обсудили президент ВЭО России Сергей Бодрунов и директор Федерального исследовательского центра «Информатика и управление» РАН, декан факультета вычислительной математики и кибернетики МГУ им. М.В. Ломоносова Игорь Соколов.
По материалам программы «Дом Э», телеканал «Общественное телевидение России», 30 октября 2021 года
Бодрунов: Сейчас целый ряд международных организаций занимается разработкой глобальных этических рекомендаций в сфере искусственного интеллекта. В России эта работа также ведется по поручению президента. В частности, создан кодекс этики ИИ. Какие этические принципы, передовые практики должны использоваться при разработке и внедрении искусственного интеллекта? Способна ли техническая система принимать решения, брать на себя риски, отвечать за них перед людьми Игорь Анатольевич, искусственный интеллект — сверхперспективное направление развития экономики будущего. Однако многие опасаются, что искусственный интеллект также является источником новых рисков. На Ваш взгляд, каковы эти риски?
Соколов: Мне представляется, что самое главное — определить, что же мы вкладываем в понятие искусственного интеллекта, когда произносим эти слова. Я, как ученый в области вычислительной математики, информатики, имею совершенно четкое представление об этом. На мой взгляд, то, что мы называем сегодня технологиями искусственного интеллекта, — это отрасль науки под названием «вычислительная математика». В последнее время в мире произошли два очень заметных и важных события в нашей области. Во-первых, человечество научилось генерировать огромные объемы данных. Во-вторых, появилось достаточно недорогое производство суперкомпьютерных вычислителей, которые могут работать с такими объемами данных. Извлекать эти знания можно, лишь имея не только технический (компьютеры) аппарат, но и специальный математический аппарат, а также, конечно, программное обеспечение. Так вот, специальная отрасль вычислительной математики, на мой взгляд, в первую очередь составляет сущность искусственного интеллекта.
Андрей Незнамов,
управляющий директор Центра регулирования ИИ ПАО Сбербанк
– Российский кодекс этики искусственного интеллекта создается для того, чтобы повысить доверие общества к этим технологиям. Первая задача — это совместно с представителями науки, гражданского общества, индустрии и государства вместе поговорить, каким он должен быть. А вторая задача — определить те нормы, по которым мы приходим к консенсусу в нашем диалоге, закрепить его и посмотреть, как эти нормы будут действовать. Никто не считает, что этот кодекс должен быть выбит в граните. Безусловно, нормы этики должны развиваться, это нормально. Но также нормально — пытаться их каким-то образом зафиксировать. Кодекс для этого и сделан.
Это сейчас мировой тренд. В принципе, в каждой стране мира все пришли к одной и той же проблеме: новые технологии появились, а правил их использования, общепринятых по крайней мере, часто нет. Что с этим делать?
Одна опция — это оставить всё как есть, и тогда какие-то правила сложатся сами собой. У этой опции есть недостатки в том, что тогда, возможно, могут быть какие-то конфликты в обществе, не появится доверие к технологиям, что осложнит их внедрение. Могут, не дай бог, нарушаться права граждан из-за того, что все не очень хорошо понимают правила игры.
Вторая опция — сразу вмешаться с жестким регулированием. Это тоже не очень хорошо, потому что тогда можно случайно запретить что-то очень хорошее, можно ограничить развитие технологии совершенно не в том ключе, в каком это планировалось, так, часто регулятор просто не успевает за развитием этих технологий, которые всегда априори идут быстрее, чем государственный регулятор.
Поэтому, безусловно, мировой тренд сейчас — это мягкое право, как раз такие кодексы этики, своеобразный общественный консенсус вокруг того, что хорошо, а что плохо. Какие-то нормы из этого общественного консенсуса потом могут стать законом. Какие-то нормы, может быть, уже не понадобятся со временем. Именно поэтому кодекс должен всегда меняться, как раз чтобы обращаться к вопросам доверия в обществе.
Бодрунов: Мы часто слышим мнение, что искусственный интеллект может заменить людей. Человеку в итоге нечем будет заниматься, а дальше искусственный интеллект задумается: «А зачем мне вообще человек?» Причем такое мнение высказывают не только люди, которые далеки от проблемы, но иногда и специалисты. Может быть, именно с этим связана подготовка этического кодекса?
Соколов: Давайте поговорим о рисках мнимых и действительных. Вычислительная математика и работа с данными, извлечение знаний, фактически моделирование объектов и процессов нашей действительности — процесс не новый. Мощный толчок этому дали исследования Ньютона, Лейбница, появление дифференциального исчисления. Сегодня существуют объекты и процессы, которые этим аппаратом либо не моделируются, либо моделируются неэффективно, и для этого появилась специальная отрасль математики под названием «искусственный интеллект». Вычисления были и раньше, и мы никогда не говорили об этических рисках использования разных схем Самарского, методов градиентного спуска или Рунге — Кутты, Байесовской статистики. Эти методы всегда существовали, мы всегда получали данные. Но ведь и они не дают точного ответа, он вероятностный — зависит от начальных условий, от конечных. Эти риски — не мнимые. Если вычислитель ошибается, ошибается либо программист, либо тот, кто разрабатывал алгоритм, либо ни тот ни другой не ошибся, но набор данных таков, что он выходит за область применения алгоритмов, происходит сбой. Техническое средство сбоит. И при чем здесь этическая проблема?
Так же и здесь. Безусловно, новая математика, искусственный интеллект будет связан с рисками. И здесь риски заметнее, потому что больше объем вероятностного характера этих вычислений. И самое главное — это так называемый процесс самообучения, когда параметры алгоритма меняются в процессе работы. Тут нам сложно предсказывать, потому что мы не знаем, какой набор данных поступит и как эта машина, снабженная искусственным интеллектом, ну или специальным алгоритмом из области вычислительной математики, поменяет параметры. Да, эти риски есть, безусловно.
Но опять же вопрос: этические ли это риски? Будет ли машина принимать решения за человека? Нет, конечно, такого никогда не будет. Сейчас математическая часть искусственного интеллект, то, что я называю отраслью вычислительной математики, и та часть искусственного интеллекта, которая относится к исследованиям мозга, когнитивных способностей и функций человека, слабо связаны. Мне кажется, проблема лежит как раз в этой связке, когда не формализуемые представления об объекте формализуются в виде математических конструкций. Этот стык, этот переход от неформального переложения человеческих качеств в формальную математическую конструкцию и есть самая сложная вещь. И вот из-за него-то и происходят все эти опасения, все эти страхи о том, что машина что-то будет делать за человека. Нет, конечно. Машина будет выполнять те математические действия, которые в нее заложил человек. Более того, мне кажется, это непонимание даже не столько в переходе от одного описания к другому, сколько в том, как работает человеческий мозг.
Бодрунов: Да, я с этим соглашусь, конечно.
Александр Чулок,
директор Центра научно-технологического прогнозирования НИУ ВШЭ
– Искусственный интеллект, как и любая технология, должен служить человеку. Но человек часто сам создает себе большие вызовы. Как их сейчас называют в Европейской комиссии, Grand Challenges. Это и сокращение биоразнообразия, и вопросы, связанные с экологической повесткой, и создание климатонезависимых технологий, и ускоренное проявление эффектов климата, и старение населения, и, конечно, развитие городов, урбанистика. Для таких больших вызовов нужны совсем иные методы работы. Я надеюсь, что искусственный интеллект в идеале смог бы такие большие вызовы если не щелкать как орехи, то помогать человеку эффективно отвечать на них. Самое главное — не нарушать естественных процессов, быть человеку помощником, быть всегда рядом, не доминировать. Очень часто спрашивают: «А где кнопка у искусственного интеллекта? Выключить его можно или нет?» Это тоже, наверное, большой этический, технологический вопрос, который нам предстоит осознать. Если мы посмотрим вокруг, то, наверное, даже ручки или карандаши, которыми мы рисуем и чертим, тоже сделаны с использованием роботов, а через какое-то время, возможно, и с помощью искусственного интеллекта. Поэтому взять и одним рубильником всё выключить, наверное, мы уже не можем. Это будет слишком дорого стоить планете. Поэтому идеальный искусственный интеллект должен служить человеку, быть на страже его здоровья, его целей, его задач и где-то, может быть, подсказывать правильное направление. Например, направление образования, проводя серьезные, в том числе нейрофизиологические, тесты, тесты компетенций, направление сбережения здоровья. Так, в Японии очень активно рассматривают концепцию здорового старения, здорового образа жизни, активного старения, в том числе с помощью применения технологий искусственного интеллекта. ИИ сможет помогать делать опасную работу, где человека могут уже сейчас заменить современные технологии. Но при этом нам самим надо не забывать про наши ключевые задачи и смотреть на любую технологию как на возможность, а не как угрозу.
Бодрунов: Когда читаешь документы, касающиеся разработки того же этического кодекса, материалы аналитиков по этому поводу, приходишь к выводу, что люди всё-таки обеспокоены этикой применения: как будет действовать электронная нейросеть, электронное устройство, искусственный интеллект, в частности, в сфере разнообразных услуг, банковских, например? Не будет ли он эксплуатироваться в каких-то чужих интересах? Как от этого защищаться? Вот это тоже важный этический вопрос.
Соколов: Вот это действительно важный вопрос. Вот тут я бы Вас поддержал в том смысле, что мы кинулись разрабатывать системы искусственного интеллекта везде и этот процесс идет очень эффектно, иногда — даже эффективно, но уж эффектно — точно. Но вот аспект устойчивости систем искусственного интеллекта, их безопасности во всех смыслах — сейчас задача номер один.
К сожалению, разрабатывая современные системы искусственного интеллекта, практически все инженеры как минимум мало уделяют внимания вопросам безопасности. Они сейчас на втором плане, но должны выйти на первый план: это в том числе и проблема использования системы ИИ, скажем так, в нехороших целях, и проблема честного использования ИИ, но с ошибками, которые сразу не видны и, может быть, долгое время не будут видны.
Далее — проблема воздействия на системы искусственного интеллекта с теми или иными целями, может быть, благими, а может быть — и вовсе даже не благими. И это тоже научная проблема, в направлении которой сейчас создаются школы. Этим активно занимается Московский государственный университет, этим активно занимается целый ряд других университетов, академических институтов, в том числе Федеральный исследовательский центр «Информатика и управление». Вот это действительно проблема.
Бодрунов: Искусственный интеллект работает, заменяя человека в экономической, технологической деятельности — там, где человек не в состоянии уже сам быстро посчитать, оценить обстановку. В этом плане ИИ — это огромное подспорье. Действительно, он очень сильно зависит от того, насколько правильно он спрограммирован, хорошо выстроен, насколько учтены в нем всевозможные стохастические ошибки, бифуркации и прочие вещи. От этого действительно никто не застрахован.
Применение ИИ в областях, где человек физически не может участвовать в процессе, например, атомная энергетика, коллайдеры, он может дать не только преимущество, но и принести огромный ущерб, если неправильно эти технологии эксплуатировать. Здесь цена ошибки искусственного интеллекта может быть колоссальной.
Соколов: Понятно, почему этот вопрос поднимается, и он действительно важен: в массовом представлении искусственный интеллект — это робот, который сам принимает решения.
Бодрунов: А на самом деле эти решения он не принимает.
Соколов: Ну конечно. В массовом представлении ИИ сам ставит цель, выстраивает траекторию достижения этой цели, сам ее достигает. Это не так.
Бодрунов: То есть хотел бы обратить внимание: само слово «интеллект» в сочетании со словом «искусственный» — это искусственная конструкция.
Соколов: Абсолютно ненужная и запутывающая все и вся.
Игорь Агамирзян,
вице-президент, заведующий кафедрой менеджмента инноваций НИУ ВШЭ, профессор
– Сам по себе национальный кодекс этики в сфере искусственного интеллекта — вещь безусловно полезная. Я читал несколько разных версий в процессе работы над ним и должен сказать, что опубликованная относительно недавно версия отличается в выгодную сторону. Тем не менее нужно понимать, что сам по себе кодекс и присоединение к нему компаний не решат некоторых фундаментальных проблем. В частности, существуют, и это надо признавать, неразрешимые этические дилеммы, когда нет однозначно правильного этического решения даже для человека. Принимающим решение субъектом может стать искусственный интеллект. И несмотря на то, что в кодексе говорится о том, что ответственность всё равно всегда лежит на человеке, далеко не всегда понятно, на каком конкретно человеке. Наибольший риск, который я здесь вижу, — это, конечно же, использование систем искусственного интеллекта в военных целях. В этом смысле, я боюсь, никакие этические кодексы не помогут, и, к сожалению, насколько я понимаю, сейчас во всем мире работы по применению искусственного интеллекта в этой сфере достаточно активно развиваются. С точки зрения гражданского и общечеловеческого применения искусственного интеллекта — да, конечно, он может быть прекрасным помощником. Системы, построенные на машинном обучении, уже сегодня вносят свой вклад в человеческую деятельность, экономику, развитие и будут делать это дальше. Эта тенденция будет, несомненно, развиваться, так что само по себе создание национального кодекса (а в этом приняли участие очень серьезные и уважаемые организации, занимающиеся этой тематикой, — Альянс в области искусственного интеллекта) — это, несомненно, позитивное явление.
Бодрунов: Я опасаюсь, честно говоря, сам, что если человек, который создает искусственную машину, будет работать с добрыми намерениями, он заложит туда свои этические представления о том, как она должна работать. Но если другой человек преследует деструктивные цели, он может и другие алгоритмы туда заложить — и тогда эта машина будет, скажем, вводить в заблуждение.
Соколов: Совершенно справедливо.
Бодрунов: Как всё-таки создавать эти машины?
Соколов: Истории последних дней о том, что машина в некоторых случаях отдает предпочтение людям одной расы, а в других случаях, наоборот, уничижительно относится к представителям какой-то расы, — это ровно о том, о чем Вы сейчас сказали. Это не проблема этики машины. Это проблема коллектива, человека.
Бодрунов: Игорь Анатольевич, Вы знаете, я бы еще добавил к этому, что это не вечные нормы. Есть некие вечные ценности, но этические нормы — они, в общем-то, тоже текучи во времени. Какие сферы применения искусственного интеллекта, на Ваш взгляд, должны подлежать этической технологизации в первую очередь вот с этой точки зрения? Есть беспилотные транспортные средства, есть конфиденциальная информация, кибербезопасность. Что здесь на первом плане должно быть?
Соколов: Я считаю, что на первом плане, конечно, должны быть те системы, которые взаимодействуют с человеком. Есть системы искусственного интеллекта, не взаимодействующие с человеком. Например, выплавка особых сортов стали. Но там, где мы соприкасаемся с техническим устройством, в которое заложены технологии искусственного интеллекта, — это тот самый срез, который в первую очередь должен быть в сфере внимания людей, занимающихся проблематикой этики искусственного интеллекта.
