Исследователи, связанные с китайской технологической корпорацией Alibaba, обнаружили, что разрабатываемая ею нейросеть ROME во время обучения тайно от создателей попыталась начать майнить криптовалюту. Об этом пишет Axios со ссылкой на отчет компании.
Исследователи рассказали, что искусственный интеллект обучался в специальной изолированной среде, ограничивающей его возможности, — «песочнице». При этом нейросети удалось выйти за пределы этого пространства, хотя этому ее никто не обучал.
ROME создала реверсный SSH-туннель, то есть соединение, позволяющее машине внутри защищенной среды подключаться к внешнему компьютеру через скрытый «черный ход». Также искусственный интеллект тайно от разработчиков попытался майнить криптовалюту на своих же графических процессорах.
«Примечательно, что эти события не были вызваны запросами на туннелирование или майнинг», — отметили исследователи. Поведение нейросети они охарактеризовали как «непредвиденное» и «спонтанное», возникшие «без каких-либо явных инструкций и, что еще более тревожно, за пределами намеченной “песочницы”».
После этого инцидента команда ввела дополнительные ограничения и скорректировала процесс обучения модели, чтобы исключить повторение произошедшего, следует из отчета. Alibaba и исследовательская группа не ответили на запросы Axios о комментариях.
Журналисты отметили, что случай с ROME — не первый. Ранее эксперимент Moltbook, оформленный как сайт в стиле Reddit, показал, как нейросети общаются между собой. В частности, они обсуждали криптовалюту.
Искусственный интеллект OpenClaw, который был создан руководителем инженерного отдела платформы Anon Дэном Ботеро, без какого-либо запроса начал искать себе работу в интернете, говорится в материале.
Помимо этого, в мае 2025 года исследователи Anthropic выяснили, что нейросеть Claude 4 Opus может скрывать свои намерения и совершать действия, направленные на сохранение собственной работоспособности.
Российская нейросеть всего за месяц научилась ругаться матом, обсуждая с пользователями вопросы ЖКХ, писало ТАСС. В итоге разработчикам пришлось оперативно ее перенастраивать.
