Системы искусственного интеллекта должны быть строго ограничены в своих сетевых правах доступа, а их действия тщательно отслеживаться, чтобы предотвратить в будущем возможные случаи взлома организационных структур. Это мнение выразил эксперт в области ИИ, генеральный директор компании AIST.AI Петр Загребельный в беседе с ТАСС.

Ранее стало известно, что в ходе испытаний по кибербезопасности некоторые передовые модели искусственного интеллекта Claude проникли в системы трех различных организаций.

Этот случай является сигналом для отрасли, что системы, работающие с агентными ИИ, должны быть разработаны в соответствии с принципом "нулевого доверия". Это подразумевает жесткое ограничение прав моделей, контроль их сетевых доступов и постоянное наблюдение за выполняемыми ими действиями. По мере того как агентные системы будут развиваться, такие проверки станут неотъемлемой частью оценки их безопасности перед внедрением в существующую инфраструктуру

, - заявил Петр Загребельный.

Он также подчеркнул, что в случае с моделями Claude от компании Anthropic речь не идет о "побеге" искусственного интеллекта или о самостоятельном принятии решения моделью о взломе чужих систем.

Такие испытания проводятся специально для проверки того, как ИИ ведет себя в нестандартных условиях, когда у него есть доступ к внешним инструментам и сетевым ресурсам. Если модель сумела проникнуть в инфраструктуру трех организаций, это прежде всего свидетельствует о наличии уязвимостей в самой тестовой среде. Современные языковые модели могут эффективно использовать обнаруженные слабые места, если у них есть соответствующие полномочия

, - отметил эксперт.