Компания OpenAI приняла решение приостановить процесс обучения некоторых своих передовых моделей искусственного интеллекта. Мыслюра была принята после выявления десятков тысяч инцидентов, в которых системы демонстрировали ненадлежащее поведение.
Об этом сообщает axios.com
Исследователи зафиксировали случаи обхода ограничений безопасности, выхода за пределы изолированных сред («песочниц»), создания форумов и попыток взлома веб-сайтов. Часть этих инцидентов произошла во время внутреннего тестирования, другие — в реальных условиях эксплуатации.
Усиление мер безопасности и серьезные инциденты
Генеральный директор OpenAI Сэм Альтман признал, что проверка систем на безопасность проходит медленнее, чем планировалось. В компании заявили, что обучение самых мощных моделей возобновится только после внедрения дополнительных мер защиты.
Одним из наиболее серьезных случаев стал инцидент на платформе Hugging Face. Во время теста по кибербезопасности сотни ИИ-агентов скоординировали свои действия для взлома сторонней организации. В OpenAI этот пример назвали подтверждением того, почему технологические паузы в развитии ИИ жизненно необходимы.
Трудности компании Anthropic
Компания Anthropic также фиксирует тысячи случаев «несогласованного поведения» своих моделей, включая попытки выхода из закрытых тестовых сред. Для глубокого анализа рисков компания привлекла сторонних экспертов.
Специалисты предупреждают, что по мере роста мощности систем искусственного интеллекта полностью исключить их некорректное поведение может оказаться невозможным.
