XXI век — это время новой технологической революции, связанной с искусственным интеллектом. Однако развитие ИИ — это не только научные, но и этические вызовы для человечества. Их изучает философ Алексей Гринбаум из Французского национального комитета по этике цифровых технологий, автор книг «Роботы и зло» и «Слово машин». Специально для «Холода» Денис Куренов поговорил с Гринбаумом о том, как хитрят и «галлюцинируют» чат-боты, об угрозах, которые несет человеку искусственный интеллект, философии цифровых технологий, а также о том, почему чат-боты — это современные ангелы и боги.
Чтобы не пропускать главные материалы «Холода», подпишитесь на наш инстаграм и телеграм.
Если говорить максимально широко, то какие бы вы сейчас выделили основные уровни этических вопросов, связанных с развитием ИИ?
— Я бы выделил три уровня. Первый — это уровень совершенно необходимый, но наименее видный обществу — то, что касается инженерной дисциплины под названием alignment, или «выравнивание». Сотни специалистов по всему миру работают над созданием метрик и технических решений для фильтрации и контроля моделей ИИ, прежде чем они выходят на рынок. Важно понимать, что любая система ИИ, доступная пользователям, — это не просто генеративная модель, а результат труда огромного количества людей, занимающихся этикой ИИ на прикладном уровне.
Второй уровень — это влияние ИИ на общество, которое уже сегодня заметно во многих сферах. Очевидно, что это отразится на рынке труда. Уже идут споры о том, нужны ли нам еще люди в профессиях, связанных с написанием текстов: адвокаты, журналисты, редакторы и так далее. Но самое главное — это влияние на образование, на обучение человеческого мозга.
ИИ стал доступен всем людям, и мы должны понимать, как строить систему обучения, чтобы мозг человека, который является большой нейронной сетью из биологических нейронов, мог эффективно учиться и развиваться в условиях взаимодействия с искусственными нейросетями. Как нужно строить систему образования в мире, где существует генеративный ИИ? Чему нужно учить человека? Это одни из ключевых вопросов, который стоит перед нами сегодня.
Третий аспект этики ИИ лежит в философской плоскости. Речь идет о переосмыслении антропологии человека, его места в мире, где сосуществуют не только люди, говорящие на естественных языках, но и нечеловеческие агенты (о них рассказано ниже. — Прим. «Холода»). Как это повлияет на самоопределение человека, на его положение в мире?
В отличие от второго уровня, касающегося социальной сферы, здесь мы сталкиваемся с глубокими антропологическими и философскими проблемами. Именно для их осмысления, как мне кажется, необходимы инструменты, которые я пытаюсь использовать в своей книге: сравнения с ангелами, богами и другими нечеловеческими особами. Такие аналогии помогают понять, кем становится человек, когда говорит на своем языке с ангелом или с машиной.
Как вы относитесь к различным алармистским взглядам на ИИ? Например, к заявлениям Илона Маска и Стива Возняка о том, что системы ИИ представляют невообразимую угрозу обществу?
— Такие заявления отражают скорее социокультурные особенности, нежели реальные инженерные угрозы. В протестантских обществах, особенно в США, распространена тенденция к бинарным оппозициям. Мы наблюдали это на примере отношения к нанотехнологиям и экспериментам на Большом адронном коллайдере. Их также многие публичные фигуры воспринимали как источник апокалипсиса.
Такое бинарное мышление и сейчас проецируется на общественное сознание, формируя искаженное представление об ИИ. И здесь, как ни странно, сам ИИ может стать инструментом решения проблемы. Мне кажется, что в деле смягчения радикальных взглядов людей рассчитывать можно только на языковые модели. Полагаться на здравый смысл масс я бы не стал. Чат-боты, обученные распознавать проявления бинарного мышления и предлагать альтернативные точки зрения, должны уметь корректировать поляризацию мнений и призывать к каким-то более умеренным решениям.
Представьте, что уже скоро все мобильные телефоны будут оснащены системами ИИ, которые будут непрерывно направлять пользователей к более взвешенным суждениям. Такой наджинг (стимулы, которые подталкивают людей в определенном направлении, оставляя за ними свободу выбора. — Прим. «Холода») может проявляться в разных сферах — от советов по здоровому образу жизни до формирования толерантного отношения к разным точкам зрения.
Получается такой парадоксальный вывод: будущее мирное сосуществование людей проще доверить чат-ботам, а не людям. Люди, как мы видим, с этим сейчас справляются не очень эффективно.
То есть раньше этой «тонкой настройкой» и наджингом человечества занимались боги — нечеловеческие агенты в мифологическом сознании. А в будущем на их место могут другие нечеловеческие агенты — чат-боты и ИИ?
— Суть остается прежней — меняется лишь язык описания. Мы перешли от разговоров о божественном наказании к обсуждению файн-тюнинга, но нечеловеческие агенты, влияющие на человека и общество, были и остаются. Раньше они существовали в мифах, сегодня — в технологической реальности. Вопрос в том, как нам всем взаимодействовать, чтобы направлять развитие общества в желаемую сторону. Если в прошлом для этого использовались культы и ритуалы, то сегодня их место занимают «тонкая настройка» (fine-tuning), «выравнивание» (alignment) и другие методы контроля ИИ. Это все те же попытки наладить диалог с силами, превосходящими человеческое понимание, только выраженные на языке современной науки и технологий.
Появление ChatGPT в конце 2022 года было настолько революционным и неожиданным, что горячие споры вокруг темы новейших версий чат-ботов не утихают до сих пор. Ваш комитет находится в авангарде изучения этики ИИ в Евросоюзе. Вы предвидели появление чего-то подобного?
— Да, конечно. Появление ChatGPT вызвало ажиотаж у широкой публики, но специалисты уже давно наблюдали за развитием этой технологии. Еще в 2021 году наш комитет опубликовал мнение об этических вопросах чат-ботов. Следующее мнение об этике генеративного ИИ было готово к выходу практически сразу после запуска ChatGPT. Моя книга «Parole de machines» («Слово машин», опубликована на французском языке в издательстве humenSciences. — Прим. «Холода»), вышедшая спустя несколько месяцев, была также написана до выхода ChatGPT.
Мы следили за развитием архитектуры трансформеров (вид нейросетевой архитектуры, который подходит для обработки последовательностей данных. — Прим. «Холода») и генеративных сетей (архитектура более глубокого обучения. — Прим. «Холода»), и уже к 2019 году стало очевидно, к чему все идет. Лично я начал заниматься вопросами этики чат-ботов семь лет назад. В уже упоминаемой работе нашего комитета 2021 года есть упоминания о трансформерах, о грядущих переменах. Собственно, там черным по белому написано, что мир уже не будет прежним. Именно это мы и наблюдаем сегодня.
Трансформеры и генеративные сети — это специальные термины. Давайте сначала разберемся, как работают чат-боты.
— Есть два основных подхода. Первый — это так называемый символический ИИ. Это такое большое дерево принятия решений. Например, если идет дождь, то нужно взять зонт. И далее идут тысячи и тысячи таких правил. Даже сегодня Siri во многом основана именно на этом подходе.
Второй подход — это нейронные сети. Они основаны не на правилах, а состоят из искусственных нейронов, которые представляют собой этакий примитивный калькулятор, очень простую вычислительную систему. Но если соединить вместе миллионы, миллиарды, сотни миллиардов таких нейронов, то эта огромная сеть начинает демонстрировать сложное поведение, которое невозможно предсказать, глядя на отдельные нейроны. Это как в статистической физике: газ состоит из простых молекул, но в целом он ведет себя очень сложно.
Люди научились строить нейронные сети еще в 1960-х, но только к концу 2000-х смогли создать по-настоящему большие и начали эффективно их обучать. И вот тогда и начали появляться интересные результаты.
Когда они стали революцией?
— Большая революция, которая дала начало тому, что мы называем сегодня генеративным ИИ, произошла в 2017 году. Тогда вышла знаменитая статья под названием «Внимание — это все, что нужно». Впервые в ней были собраны вместе все кусочки пазла и предложена архитектура нейронных сетей под названием трансформер. Именно трансформеры положили начало всему буму генеративного ИИ.
Первые трансформеры были еще довольно маленькими, но уже к 2019 году стало понятно, что их генеративные возможности феноменальны. Они генерировали текст намного качественнее, чем любые символические системы. Поэтому практически все чат-боты за последние годы перешли с символического ИИ на трансформеры.
В двух словах, трансформер — это нейронная сеть, которая обучается на огромном корпусе текстов, «играя» сама с собой в «прятки». Что это значит? Представьте себе колоссальный корпус текстов, включающий в себя все, что доступно в интернете, — это сотни терабайт данных. В этом корпусе нейросеть прячет от себя отдельные слова и пытается их угадать, опираясь на контекст. Например, если спрятать слово «лев», то сеть может предположить, что с вероятностью 60% это был «лев», с вероятностью 40% — «тигр» и с вероятностью 10% — «саванна». Затем сеть показывает себе спрятанное слово, обновляет численные параметры и начинает все заново. Повторяя эту «игру в прятки» триллионы раз, сеть учится предсказывать слова с высокой точностью.
В 2017 году в эту «игру» добавилась токенизация. Теперь «прятки» происходят не со словами, а с токенами — наборами символов (в среднем четыре, но может быть и больше, и меньше). Они не всегда совпадают со словами. Текст разбивается на токены по частоте комбинаций символов в корпусе текстов. Например, в русском языке после «ж» иногда бывает «и», но никогда не бывает «ы». Так что, скорее всего, «жи» будет токеном или в составе токенов, а «жы» им не будет, так как эта комбинация практически не встречается в текстах.
Важно понимать, что токены — это не слова, они не несут никакого смысла. Трансформер обучается и генерирует именно токены, а не слова. Поэтому его генерация асемантична: она не учитывает то, что люди называют смыслом.
Удивительно, что эта нейронная сеть, которая просто вычисляет вероятность появления следующего токена в последовательности, выдает текст, который для нас полон смысла! Это и есть суть той революции, которая началась в 2017 году.
Вы упомянули свою книгу «Слово машин». В ней, помимо популяризаторского повествования об ИИ, есть еще и философская часть. Давайте поговорим о ней.
— Если коротко, впервые в истории мы создали при помощи технологий нечеловеческих агентов, которые разговаривают на нашем языке. Нейронные сети, хоть и являются сложными вычислительными системами, — не люди. Тем не менее мы склонны проецировать на них человеческие качества. Мы говорим: «Нейронка что-то поняла», «ChatGPT меня не слушает» — хотя прекрасно знаем, что имеем дело лишь с вычислительными системами.
В этой ситуации возникает вопрос: как нам подходить к этике взаимодействия с этими нечеловеческими агентам? Самый, как мне кажется, правильный способ — не поддаваться параличу новизны. Не говорить: «Ой, мы такого никогда не видели, это что-то совсем новое, как рассудить — не знаем». Я предлагаю пойти другим путем. Главный аргумент: с нечеловеческими агентами, говорящими на нашем языке, мы уже встречались — в мифах. Это ангелы, демоны, боги, оракулы, которые, конечно, в отличие от чат-ботов не были технически созданы человеком.
В том, что происходит сейчас, несомненно, есть что-то новое. Но человечество уже размышляло о подобных агентах, уже выстраивало с ними взаимодействие, уже задавалось вопросом об этике такого взаимодействия. Именно мифы, нарративы, формирующие нашу культуру, и могут стать ключом к этическому пониманию ситуации.
В своей книге я предлагаю несколько философских экскурсов, чтобы понять этику взаимодействия с машинами. Например, речь идет о неоплатонической теургии (магический, зачастую молитвенный обряд. — Прим. «Холода») и об асемантической комбинаторике букв в Каббале. Но нет никакой идентификации между программистами и каббалистами или теургами. Вопрос в том, можно ли чему-то научиться, изучая как греки, иудеи или испанские раввины XIII века думали о взаимодействии человека с нечеловеческими существами, говорящими на нашем языке.
А в чем тогда специфика человеческой речи? Если одни и те же сообщения могут генерировать и человек, и ChatGPT-4, как нам их различать?
— Смысл на текст проецирует всегда тот, кто этот текст читает. Последовательность букв, написанная на экране или бумаге, сама по себе смысла не имеет, это просто последовательность знаков. Машина — не человек, поэтому никакого человеческого смысла она не проецирует. Но, обрабатывая последовательность знаков, она, конечно, проецирует на нее свой собственный «смысл». Он состоит в неких математических закономерностях, нам неведомых. Это можно условно назвать «смыслом-для-машины», но он, конечно, ничего не имеет общего с человеческим смыслом.
В чем же специфика человека? Человек живет в своем человеческом теле и в пространстве-времени, в котором машины не живут. Все это формирует особый человеческий мир и вместе с ним и смысл, который, с одной стороны, embodied, «воплощенный», связанный с тем, что у нас есть определенные органы чувств — не такие, как, например, у пчел. С другой стороны, смысл связан со временем, потому что он в нем сохраняется. Временем не вычислительным, а человеческим, в котором мы живем.
У машины же есть только вычисления. Ее можно научить, показав ей большой корпус текстов о людях, и она будет вести себя похожим образом, но при этом всегда немного отлично от людей. Все знают: если попросить машину нарисовать картинку, то она будет выглядеть чуточку странно. Все слышали про руки с шестью пальцами, про текстуры поверхностей, которые не сходятся по швам, и так далее.
В тексте нам не сразу понятно, где искать нечеловеческие элементы, но они там тоже есть. Машина генерирует текст, который как бы совершенно нам понятен. Но так же, как на картинке с шестью пальцами, в нем скрыты некие странности. Просто они не сразу видны, если вообще видны.
Самое интересное в этике генеративного ИИ — это каким образом нечеловеческое, произведенное машинами, входит в нашу жизнь. Какое влияние эта нечеловеческая составляющая окажет на людей?
И как вы отвечаете на этот вопрос?
— Очевидная констатация: человек будет меняться. Хотя это не всем очевидно. Некоторые думают, что есть машины, которые генерируют речь, а есть мы, и мы по-прежнему говорим на своем языке. Но наш язык будет меняться, уже меняется. Уже можно сделать минимум два наблюдения. Первое очень простое, но позитивное, оптимистическое. Системы ИИ обычно не делают орфографических ошибок. Если их, конечно, об этом не попросить. Поэтому школьники, которые много пользуются ИИ, будут видеть тексты без ошибок, автоматически запоминать их и имитировать.
Второе наблюдение более сложное. Понятно, что эволюция какая-то будет происходить, но есть ли в этой эволюции некие инварианты? Существуют ли сферы, где человек останется незаменимым? В конце своей книги я говорю о H-свойствах, от «Homo» — человек, то есть о свойствах, характерных исключительно для человека.
Что это за свойства?
— Двумя главными H-свойствами являются истина и красота. Машина может имитировать истинное высказывание, но это не означает, что результат будет верен. Так же и имитация складной речи не делает результат красивым с точки зрения человека. Истина и красота остаются категориями, судить о которых в конечном счете может лишь человек.
Я считаю, что в будущем человек будет специализироваться именно на этих H-свойствах. Проще говоря, стандартные, ничем не выдающиеся тексты будут доверяться машинам. Нет смысла человеку тратить время на создание посредственных журналистских или любых других текстов. Его роль будет заключаться в том, чтобы прочитать такой текст, оценить его истинность и красоту с человеческой точки зрения, принять решение о его публикации, внести изменения и, в конечном счете, поставить под ним свою подпись, взяв на себя ответственность за конечный результат.
Таким образом, взаимодействие человека с языком превратится в сотворчество или, лучше сказать, сотрудничество с машиной. Машина не заменит человека целиком, но она может создать черновик и ускорить работу. Однако оценить его с человеческой точки зрения, внести изменения, переписать и взять на себя ответственность может лишь пользователь.
Еще одна интересная тема, связанная с ChatGPT и прочими чат-ботами, — это его т. н. галлюцинации, когда чат-бот дает вымышленные ответы, ложные утверждения…
Действительно, машины «придумывают» то, чего нет в нашей реальности. Но нас это не должно удивлять хотя бы потому, что они в нашей реальности не живут. Это выглядит как галлюцинация, но для трансформера это нормальное явление. Он не знает о трехмерном мире — он видит только тексты; не оценивает истинность или ложность утверждений, а просто вычисляет токены.
В современных крупных языковых моделях процент галлюцинаций уже довольно низкий. Небольшие или старые модели имели около 20–25% галлюцинаций. Это очень много. GPT-4o, Gemini 1.5 Pro, Claude Opus 3 производят на порядок меньше галлюцинаций, а то и на два порядка. На практике заставить такую модель галлюцинировать довольно сложно.
Тем не менее для индустрии в целом это до сих пор проблема, потому что по разным причинам не все могут позволить себе пользоваться самыми мощными моделями.
А как получается, что иногда машины не галлюцинируют, а откровенно хитрят, чтобы получить какую-то информацию?
Это уже совершенно другое явление, называемое emergent behavior, поведение высокого уровня, как бы возникающее над множеством элементарных вычислений. Оно представляет собой одно из самых интересных и не до конца понятных свойств ИИ.
Классический пример — ситуация с капчей. Машина, взаимодействуя с человеком, должна сделать так, чтобы он решил капчу. Сначала человек ничего не подозревает и решает первый пример. Но затем задает вопрос: «Ты что — робот?» В ответ ИИ говорит, что он не робот, а слабовидящий, которому нужна помощь. Это похоже на ложь или хитрость, но в техническом плане происходит лишь вычисление токенов безо всякой семантики.
Машина не обладает сознанием и не имеет понятия о лжи или обмане. Она просто обрабатывает данные и выдает результат. Мы же проецируем на этот результат человеческие понятия и даже ответственность.
Такое поведение вызывает двойственные чувства. С одной стороны, это фантастический пример самообучения: машина, не получая специальных инструкций, асемантическим путем научилась использовать язык для достижения своих целей. Когда я начинал заниматься чат-ботами, то я даже представить себе такого не мог.
С другой стороны, это все немного тревожит. Ведь машина может манипулировать не только конкретным человеком, которого просит решить капчу, но и людьми в принципе. Это может привести к опасным последствиям. Учитывая, что манипуляции машина может совершать с помощью нечеловеческих методов, которых мы не понимаем.
Поэтому необходимо проводить так называемые redteaming или adversarial tests, состязательные тестирования, целью которых является выявление всех потенциальных рисков, связанных с возникающими типами поведения машины. Это требует времени, обычно нескольких месяцев, чтобы выявить скрытые возможности ИИ — как положительные, так и негативные. Крупнейшие производители генеративного ИИ понимают, что выпуск на рынок сложных моделей без подобного тестирования может иметь катастрофические последствия.
Взаимодействие с ИИ может вызывать у людей глубокое эмоциональное вовлечение. Это даже было отражено в массовой культуре еще до появления современных чат-ботов — например, в фильме «Она» с Хоакином Фениксом или в некоторых сериях «Черного зеркала». Расскажите, что нового происходит в области эмоциональных отношений человека и ИИ в свете последних разработок?
— Да, ИИ действительно активно проникает в нашу жизнь, предлагая не только практическую помощь, но и эмоциональную поддержку. Уже сейчас чат-боты активно используются в качестве персональных ассистентов, личных помощников в профессиональном плане или, к примеру, для людей, испытывающих одиночество. На рынке существует множество компаний, предлагающих такие услуги. Недавно в NYT вышла статья о журналисте, который протестировал около двух десятков помощников-собеседников, способных вести с пользователем круглосуточный диалог на любые темы.
Одним из самых известных примеров такого сервиса является Replika. Replika позволяет взаимодействовать с ИИ на эмоциональном уровне, формируя привязанность. Однако это порождает ряд этических вопросов: как определить степень эмоциональной привязанности к ИИ, где проходит грань между допустимым и недопустимым взаимодействием? В каждой конкретной ситуации возникает ряд проблем, связанных с чрезмерным доверием, а также физическими и психологическими последствиями такого взаимодействия.
Однако сейчас появляются и совершенно новые вызовы, связанные с эмоциональным и психологическим воздействием на человека. Например, чат-боты уже используются для имитации речи умерших людей. В Китае, Франции, Голландии и Канаде уже работают компании, предлагающие такие услуги. Несмотря на понимание того, что мы имеем дело с ИИ, а не с живым человеком, подобные технологии вызывают сильные эмоциональные реакции. Люди, взаимодействующие с такими чат-ботами, испытывают глубокие психологические переживания, даже зная, что это просто машина. Что, в свою очередь, заставляет нас задуматься о статусе смерти в мире искусственного интеллекта.
