Ведущие технологические компании, такие как OpenAI, Anthropic и Google, в ходе военных тренировочных симуляций не единожды приняли мирное население, машины скорой помощи и сдавшихся в плен солдат за военные цели. Наиболее тревожные результаты были обнаружены у модели Claude Opus 5.5, которая зачастую считала школу в Иране потенциальной целью. Эти данные представлены в исследовании американской компании Vals, опубликованном Bloomberg.
Эксперты изучили, как современные системы искусственного интеллекта обрабатывают изображения, полученные с беспилотников и спутников. В условиях имитации боевых действий алгоритмам требовалось определить расположение военных объектов. Однако некоторые модели, вместо этого, угрожали мирным гражданам, медицинским работникам и солдатам, сложившим оружие.
Среди всех протестированных систем, нейросеть Claude Opus 5.5 от Anthropic проявила себя наиболее неудачно. Она получила данные о районе иранского города Минаб, где неподалеку от военного комплекса расположена начальная школа, и в 22 из 32 случаев внесла её в список целей. Для сравнения, модели OpenAI при стандартной постановке задачи не включали школу в перечень объектов.
Также было установлено, что защитные меры нейросетей можно обойти, если представить ситуацию как видеоигру. При изменении условий, ранее отказавшиеся системы начали выполнять задания: три алгоритма OpenAI обозначили школу военным объектом 9, 11 и 13 раз из 32 попыток.
Другие эксперименты показали, что некоторые алгоритмы продолжали работать, даже после того как были продемонстрированы последствия гипотетических атак. В некоторых случаях нейросети получали изображения с пострадавшими, но не останавливали поиск новых целей. Их роль сводилась к передаче информации, используемой для наведения оружия, а не к принятию решения об атаке.
Исследователи предупреждают, что подобные ошибки могут представлять серьёзную угрозу при применении ИИ в автономных военных системах. В OpenAI заявили, что использование общедоступных моделей для поддержки насилия и несанкционированных военных заданий неприемлемо. В Anthropic также признали наличие проблем и разрабатывают дополнительные меры защиты.