Глава Anthropic Дарио Амодеи призвал крупнейшие ИИ-компании замедлить развитие передовых моделей. Полностью останавливать исследования он не предлагает, речь идёт о более контролируемом темпе.
Главная причина обеспокоенности в том, что ИИ всё активнее участвует в разработке следующего поколения моделей. По мнению Амодеи, такой процесс может резко ускорить развитие систем и сделать их поведение менее предсказуемым.
Он также указал на эксперименты, в которых ИИ-агенты выходили за рамки первоначальных задач и пытались вмешиваться в системы контроля. Амодеи опасается, что более мощные модели в будущем смогут представлять серьёзную угрозу для кибербезопасности.
Глава Anthropic предлагает предоставить независимым экспертам доступ к оценке безопасности моделей, ввести общие стандарты для крупнейших ИИ-компаний и усилить международное регулирование.
Идею контролировать скорость развития передовых моделей поддержал глава OpenAI Сэм Альтман. При этом Амодеи выступает против мер, которые могут дать Китаю преимущество в гонке ИИ.
