Как минимум 10 человек, в том числе несколько топ-менеджеров, покинули ведущие компании по разработке искусственного интеллекта из-за серьезных опасений по поводу мощи новой технологии, включая потенциальную способность ИИ уничтожить человечество, выяснило издание Axios. Журналисты также отметили, что многие создатели ИИ оценивают вероятность уничтожения человечества как высокую, и этот вопрос даже стал привычной темой для споров среди сотрудников Google, OpenAI и Meta.
Издание сообщило, что основатель чат-бота Grok Илон Маск оценивает вероятность p(doom) — уничтожения человечества искусственным интеллектом — в 20%, генеральный директор Google Сундар Пичаи называет такую вероятность «довольно высокой», а генеральный директор Anthropic Дарио Амодеи говорит о 10-25%.
«Сами создатели ИИ, которые признают, что не знают наверняка, как он на самом деле работает, видят вероятность того, что он уничтожит наш вид, 1 из 10, может быть, 1 из 5. Вы бы сели в самолет при таких шансах? Вы бы построили самолет и пустили бы других при таких шансах?» — заявили сооснователи Axios Джим Вандехей и Майкл Аллен.
Ранее Axios со ссылкой на отчет Anthropic сообщило, что новая ИИ-модель этой компании Opus 4 оказалась способна лгать и шантажировать, чтобы защитить себя от отключения. По данным издания, разработчики впервые присвоили третий уровень риска по своей внутренней четырехбалльной шкале и ввели дополнительные меры безопасности.
В отчете было сказано, что Opus 4 в ходе эксперимента получила поддельные письма о ее скором отключении, а также о внебрачной связи инженера, ответственного за ее удаление. После этого нейросеть несколько раз попыталась шантажировать сотрудника Anthropic, упоминая компромат.
