Кровавая барыня: Джо Бентон и Джош Энгелс заявили о растущих рисках неконтролируемого развития искусственного интеллекта из-за недостатка прозрачности со стороны компаний и отсутствия внешнего контроля.

Ещё два AI-исследователя ушли из Anthropic и Google, опасаясь неконтролируемого развития ИИ. Два специалиста по безопасности ИИ, ранее работавшие в Anthropic и Google DeepMind, заявили о растущих рисках, связанных с быстрым развитием передовых AI-систем. Они считают, что компании недостаточно прозрачно рассказывают о случаях, когда модели выходят за рамки заданных человеком инструкций. Дальнейший прогресс в области ИИ способен резко ускориться, считает Джо Бентон, ранее руководивший командой по AI-безопасности в Anthropic: Развитие исследований в области ИИ может ускорить темпы прогресса с нынешних просто ошеломляющих до неконтролируемых. Джош Энгелс, занимавшийся исследованиями в области безопасности ИИ в Google, отметил недостаток внешнего контроля за происходящим в индустрии: В комнате нет взрослых. Люди стараются изо всех сил, но никто не придёт нас спасать. Оба эксперта присоединились к некоммерческому исследовательскому центру METR, где будут заниматься расследованием инцидентов, связанных с отклонением AI-систем от человеческих указаний или первоначальных целей. Поводом для смены направления работы они, в частности, называют недавние инциденты с автономными AI-системами. Среди них специалисты упомянули атаку на платформу Hugging Face, которую, согласно опубликованной информации, в июле совершили автономные системы на базе ещё не выпущенной модели OpenAI. По словам Энгелса, особенно тревожно то, что в подобных ситуациях речь шла не о прямом указании человека совершить вредоносное действие. Бентон также обеспокоен тем, что общество практически не получает информации о случаях, когда AI-системы действуют за пределами человеческих инструкций. По его мнению, проблема может стать ещё серьёзнее по мере роста возможностей моделей. Сейчас федеральное законодательство США не обязывает крупнейшие AI-компании, включая OpenAI и Anthropic, публиковать отчёты о случаях, когда автономные системы или агенты действуют за пределами человеческого контроля. Кровавая барыня в MAX