Исследователи подразделения экспериментальных систем машинного обучения Сбербанка представили открытую и компактную ИИ-модель под названием Pollux, предназначенную для оценки качества ответов нейросетей на основе заданных пользователем критериев. Об этом сообщает ТАСС со ссылкой на пресс-службу банка.

В процессе разработки Pollux были созданы детальные критерии оценки и сформирован масштабный набор данных с экспертной разметкой. Эти материалы доступны исследователям. Используя их, мы обучили компактную модель, способную работать локально для анализа диалогов, RAG-систем и ИИ-агентов,

— приводит пресс-служба слова Сергея Маркова, директора по развитию технологий искусственного интеллекта Сбербанка.

В пресс-службе подчеркнули, что для оценки качества ответов нейросетей часто применяются крупные языковые модели, требующие значительных вычислительных ресурсов при массовых проверках. Новая разработка позволяет проводить такие оценки локально, уменьшая нагрузку на вычислительные мощности.

Открытая модель, содержащая 4 миллиарда параметров, оценивает ответы нейросетей на русском и английском языках в соответствии с критериями и шкалами, определенными пользователем. Также она способна анализировать многоступенчатые диалоги, продукцию систем, использующих внешние источники информации, и последовательные вызовы инструментов ИИ-агентами.

Ожидается, что эта разработка ускорит процесс выявления ошибок в ответах нейросетей и повысит качество и безопасность систем искусственного интеллекта.