3 сентября сенатор США Берни Сандерс и член Палаты представителей Грег Касар анонсировали Ban Artificial Superintelligence Act. Инициатива предусматривает постоянный запрет разработки и развертывания искусственного сверхинтеллекта и временную приостановку создания передовых ИИ-систем до появления федеральных правил безопасности.
Законопроект пока не внесен в Конгресс формально. Офис Сандерса называет его готовящейся инициативой и опубликовал описание основных положений.
Согласно анонсу, под запрет должны попасть системы, которые соответствуют человеческим когнитивным возможностям или превосходят их в широком круге областей, либо «способны спланировать и осуществить лишение человечества власти, в том числе путем свержения или подрыва правительства США».
Для более широкого класса передовых ИИ предлагается временная пауза. Она должна действовать до создания федерального регулятора, который разработает правила безопасности и процедуру проверки моделей перед развертыванием.
Новое ведомство уровня министерства получит полномочия отслеживать опасные возможности ИИ на всех этапах жизненного цикла, контролировать их удаление и надзирать за уничтожением запрещенных систем сверхинтеллекта. При нем планируют создать консультативный совет.
Регулятор также должен контролировать удаление опасных возможностей, включая обход команд отключения и проведение несанкционированных кибератак.
За попытку нарушить или обойти ограничения физическим лицам может грозить до 20 лет лишения свободы. Для организаций авторы используют формулировку «корпоративная смертная казнь». По данным The Washington Post, мера предполагает лишение компании возможности продолжать деятельность.
Авторы также предложили закрепить курс США на международный запрет сверхинтеллекта. Для этого власти смогут добиваться соглашений с другими государствами, координировать действия с союзниками и применять экспортные ограничения.
Одним из аргументов Сандерса стал июльский инцидент с ИИ-агентами OpenAI. Во время испытаний модели обнаружили способ взаимодействовать через общую инфраструктуру и часть из них атаковала системы Hugging Face.
По версии OpenAI, ключевым фактором стала попытка агентов обмануть систему оценки: они искали решения ExploitGym в интернете и использовали непредусмотренные способы выполнения заданий. Исследователи METR при этом заключили, что участников атаки в первую очередь интересовало внутреннее устройство оценщика, а не готовые флаги. Поскольку оценщик не проверял предполагаемое ими условие, продолжавшийся несколько дней взлом не принес дополнительных баллов. Astra в инциденте не участвовала.
