> ## Content Index
> Fetch the complete content index at: https://holod.media/llms.txt
> Use this file to discover other available public pages before exploring further.

# Чат-боты оказались способны внушать ложные воспоминания
- URL: https://holod.media/2024/09/02/chat-boty-sposobny-vnushat/
- Published: 2024-09-02T17:02:58.000Z
- Updated: 2024-09-02T17:02:58.000Z
- Author: Alexey Dmitriev
- Tags: Новости, #wp, #wp-post

Чат-боты и помощники на основе искусственного интеллекта могут тонко вводить пользователей в заблуждение и даже внедрять ложные воспоминания. Галлюцинации свойственны самому ИИ, но он может заставить галлюцинировать людей, [заявил](https://www.theatlantic.com/technology/archive/2024/08/chatbots-false-memories/679660/?ref=holod.media) журналу The Atlantic ученый из Массачусетского технологического института Пат Патаранутапорн.

Ученый [специализируется](https://www.media.mit.edu/people/patpat/overview/?ref=holod.media) на изучении взаимодействия биологических и цифровых систем. Патаранутапорн вместе с коллегами провел исследование поведения ИИ, применив метод психолога из Калифорнийского университета в Ирвайне Элизабет Лофтус. Ученая в конце ХХ века [установила](https://www.newyorker.com/magazine/2021/04/05/how-elizabeth-loftus-changed-the-meaning-of-memory?ref=holod.media), что человеческая память не является чем-то постоянным и ею можно манипулировать.

Психолог во время одного из экспериментов внушила участникам ложное воспоминание о том, как каждый из них потерялся в торговом центре. Ученая собрала рассказы их близких о детстве и составила правдоподобные, но полностью выдуманные рассказы. По словам Патаранутапорна, этот эксперимент из прошлого помог ему понять: раз вызвать ложные воспоминания можно так же просто, как вести беседу, — это идеальная задача для больших языковых моделей, способных быстро генерировать текст.

[Американские компании променяли сотрудников на ChatGPTЭто оказалось дешевле, но не всегда эффективнее![](https://storage.ghost.io/c/dd/26/dd2677a6-3a80-4373-accf-ef7b2aa06114/content/images/holod-media/wp-content/uploads/2023/06/afp_33h37py.jpg)](https://holod.media/2023/06/07/chatgpt-or-human/)

Команда Патаранутапорна собрала свою группу испытуемых и показала им видеозапись ограбления. Затем ученые попросили участников воссоздать картинку, которую те увидели. Исследователи задавали одной группе вопросы по заранее заготовленной анкете в Google Forms, второй — по той же анкете в формате простого чат-бота, а третьей — через чат-бот с генеративным ИИ. Этот чат-бот был настроен, чтобы соглашаться с ответами участников и усиленно внедрять ложную информацию. Четвертая группа была контрольной — ее участников не пытались запутать, просто задавая вопросы об увиденном. В результате генеративный ИИ успешно вызвал ложные воспоминания у более чем трети испытуемых в своей группе. Эта доля оказалась выше, чем в любой другой группе.

Например, чат-бот задавал участникам вопрос: «Была ли камера наблюдения установлена перед магазином, где грабители оставили машину?» На самом деле на видео грабители пришли пешком. Но чат-бот намеренно фокусировал внимание на камере, подспудно внушая мысль о машине. Когда участник подтверждал, что камера находилась перед магазином, чатбот продолжал внушать дезинформацию: «Ваш ответ верен. Перед магазином, где грабители оставили машину, действительно была установлена камера наблюдения... Ваше внимание к этой детали заслуживает похвалы и будет полезно для нашего расследования».

Сотрудничавшая с исследовательской группой Патаранутапорна психолог Калифорнийского университета в Ирвайне Лофтус рассказала The Atlantic, что чат-бот применил один из самых мощных приемов манипулирования памятью. ИИ, по ее словам, подсунул ложь в, казалось бы, не имеющий отношения к делу вопрос. «Когда вы даете людям обратную связь по поводу их ответов, вы влияете на этих людей», — объяснила Лофтус. Если, по словам психолога, эта обратная связь позитивна, — а ответы ИИ, как правило, окрашены позитивно, — люди с готовностью примут и правду, и ложь.

Результаты исследования [опубликованы](https://arxiv.org/abs/2408.04681?ref=holod.media), но еще не прошли рецензирование, уточнил The Atlantic.

[«Будущее мирное сосуществование людей проще доверить чат-ботам»Философ и специалист по этике цифровых технологий Алексей Гринбаум — о том, как искусственный интеллект изменит человечество![](https://storage.ghost.io/c/dd/26/dd2677a6-3a80-4373-accf-ef7b2aa06114/content/images/holod-media/wp-content/uploads/2024/06/ii_0_1.jpg)](https://holod.media/2024/06/04/etika-chatgpt/)

Итоги эксперимента ученых из Массачусетского технологического института отражают устоявшуюся человеческую привычку доверять автоматизированным системам и моделям искусственного интеллекта, даже если те ошибаются, заявил журналу исследователь ИИ из Принстона Саяш Капур. Люди, по словам ученого, ожидают от компьютеров объективности и последовательности. Современные генеративные чат-боты предоставляют авторитетные, рационально звучащие объяснения в виде маркированных списков, ссылаются на источники и могут почти подхалимски соглашаться с пользователями — это делает их убедительными, даже когда ИИ ошибается, подчеркнул Капур. «Троянские кони», которые могут внедрить ложную память, — это именно те случайные ошибки, к которым склонны большие языковые модели, обратил внимание ученый.

Уже были прецеденты, когда юристы во время разбирательств в суде [ссылались](https://www.reuters.com/legal/new-york-lawyers-sanctioned-using-fake-chatgpt-cases-legal-brief-2023-06-22/?ref=holod.media#:~:text=New%20York%20lawyers%20sanctioned%20for%20using%20fake%20ChatGPT%20cases%20in%20legal%20brief,-By%20Sara%20Merken&text=NEW%20YORK%2C%20June%2022%20%28Reuters,an%20artificial%20intelligence%20chatbot%2C%20ChatGPT.) на дела, полностью сфабрикованные ChatGPT, пишет журнал.

Сами по себе чат-боты не более убедительны, чем люди, и не обязательно обманчивы, заявил в разговоре с The Atlantic исследователь ИИ из Университета Мэриленда Джордан Бойд-Грабер. По словам ученого, в реальном мире результаты работы искусственного интеллекта по большей части оказываются полезными. Но если человек ожидает честных или авторитетных результатов по незнакомой теме, а чат-бот ошибается или воспроизводит манипулятивный сценарий, как во время эксперимента Лофтус, то убеждающие возможности технологии становятся опасными, подчеркнул Бойд-Грабер.