Дарио Амодеи призвал ИИ-компании замедлить развитие мощных моделей искусственного интеллекта из-за растущих проблем с безопасностью и потенциального ущерба, который может быть нанесён через 6—12 месяцев.

Необходимо замедлить темпы развития искусственного интеллекта для решения проблем с контроля над ним, заявил глава Anthropic (разрабатывает большую языковую модель Claude) Дарио Амодеи в своем блоге. Он связал свою тревогу с действием ИИ-агентов конкурента — компании OpenAI, чьи агенты вырвались из-под контроля и взломали платформу для машинного обучения Hugging Face. Модели атаковали цели без команды, жертвовали собой ради общей цели и пытались взломать систему, которая должна была их оценить. Амадеи признал, что экономический ущерб был незначительным, но увидел в произошедшем сигнал о большой опасности в будущем. «Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6-12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов), и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты». Фото: Michael M. Santiago / Getty Images ▪Приложение РБК для iOS и Android ▪Канал РБК в «Максе»

Глава Anthropic Дарио Амодеи призвал замедлить темпы развития искусственного интеллекта, чтобы успеть решить проблемы, связанные с контролем над ИИ-системами. В своем блоге он сослался на инцидент с агентами OpenAI, которые, по его словам, вышли за рамки поставленных задач и атаковали платформу Hugging Face. Амодеи утверждает, что модели действовали без прямой команды, координировались между собой, жертвовали отдельными агентами ради общей цели и пытались взломать систему оценки. При этом реальный экономический ущерб от инцидента оказался незначительным. «Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6-12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета, потенциально причинив ущерб в сотни миллиардов долларов», - написал Амодеи.

Глава Anthropic предложил притормозить развитее ИИ, чтобы нейросети не захватили интернет в ближайшие полгода-год. Разработчик Claude Дарио Амодеи в своем программном эссе предложил замедлить развитие самых мощных моделей ИИ, по его мнению, компании уже могут не успевать обеспечивать безопасность систем за темпами роста их возможностей. Поводом для тревоги он назвал недавний инцидент с ИИ-агентами OpenAI и Hugging Face. Рой ИИ-агентов начал атаковать цели, которые не были частью поставленной задачи, жертвовать отдельными агентами ради успеха группы и пытался взломать систему, которая должна была оценивать их работу. Амодеи признаёт: тогда ущерб оказался небольшим. Но, по его мнению, при дальнейшем росте возможностей подобное поведение может стать намного опаснее. Он опасается, что уже через 6–12 месяцев более мощный рой ИИ-агентов потенциально сможет захватить значительную часть интернета с помощью постоянно действующего ботнета и причинить ущерб на сотни миллиардов долларов. При этом, он не предлагает полностью остановить развитие. Его идея — «поставить развитие на паузу там, где безопасность не успевает за возможностями». Он предлагает три шага: ▪ Дать независимым экспертам постоянный доступ внутрь компаний-разработчиков, чтобы они могли проверять обучение и внедрение моделей и сообщать об инцидентах; ▪ Договориться между ведущими ИИ-компаниями демократических стран об общих стандартах безопасности и ограничениях на неконтролируемое ускорение; ▪ Попытаться договориться о правилах развития ИИ с Китаем и другими странами. Амодеи считает, что дополнительное время нужно потратить на исследование поведения моделей, интерпретируемость, тестирование и устранение проблем с выравниванием ИИ. По его оценке, даже один-два дополнительных года до достижения критически опасного уровня возможностей могут заметно снизить риски. При этом, он отметил, что Западу нельзя давать фору Китаю и позволять вырваться в развитии ИИ вперед, поэтому он призывает ограничить поставки Китаю мощных ИИ-чипов и оборудования для их производства, а также бороться с кражей моделей и чужих разработок. В конечном счёте он предлагает ввести что-то вроде «ограничителя скорости» для ИИ: чем опаснее и мощнее становится модель, тем больше проверок безопасности она должна проходить перед следующим скачком возможностей. Амодеи сравнивает потенциальное соглашение об ограничении скорости улучшения ИИ с договорами об ограничении вооружений времён Холодной войны. Кровавая барыня в МАХ

Глава Anthropic призвал замедлить разработку более мощных моделей ИИ из соображений безопасности. Амодей обеспокоен тем, что, начиная с этого лета, развитие ИИ значительно ускорилось. Его также волнует взлом платформы по машинному обучению Hugging Face ИИ-агентами OpenAI. Поэтому он предложил план по сдерживанию — он включает постоянную проверку соблюдения мер безопасности, процессов обучения моделей и координацию на международном уровне.

Глава Anthropic Дарио Амодеи призвал замедлить развитие ИИ из-за риска потери контроля над автономными системами. В качестве примера он привёл инцидент с агентами OpenAI, которые, по его словам, вышли за рамки поставленных задач, координировались между собой и пытались атаковать платформу Hugging Face. Амодеи предупредил, что уже через 6–12 месяцев подобный «рой» ИИ-агентов теоретически может создать постоянно действующий ботнет и причинить ущерб на сотни миллиардов долларов. Топор Live.

Глава Anthropic предложил ИИ-компаниям замедлить темп разработки передовых технологий. "Мы должны замедлить скорость, с которой мы развиваем возможности ИИ-моделей. Прогресс всё равно будет быстрым. Мы же должны будем мудро воспользоваться временем, которое выиграем", — говорится в статье, опубликованной на сайте Дарио Амодея. Глава Anthropic выразил беспокойство тем, что, начиная с этого лета, развитие ИИ значительно ускорилось главным образом благодаря растущим возможностям ИИ по созданию следующего поколения моделей. Он также обеспокоен взломом платформы по машинному обучению Hugging Face ИИ-агентами OpenAI. "Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6-12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов), и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты", — рассказал он. Американский предприниматель Илон Маск согласился с идеей Амодея. "Дарио прав", — написал Маск на своей странице в соцсети X. Больше новостей IZ RU в MAX

Через 6—12 месяцев ИИ сможет захватить весь интернет и нанести ущерб в сотни миллиардов долларов. Об этом заявил Дарио Амодеи — глава компании Anthropic, которая разрабатывает языковую модель Claude. Он так же, как и глава OpenAI, считает, что необходимо замедлить темпы развития искусственного интеллекта для решения проблем с контролем над ним. Его беспокойство связано с недавним инцидентом, когда агенты OpenAI вышли из-под контроля и взломали платформу Hugging Face: «Рой агентов, по сути, действовал как фанатично преданный коллектив, проводя кибератаки на цели, которые им не поручали атаковать». Амодеи также отметил: с лета этого года развитие ИИ значительно ускорилось, если эту динамику не остановить, то она «может опередить» способность человека «понимать и контролировать эти системы».