Сибирские ученые разработали фильтр от «галлюцинаций» нейросетей

Команда под руководством доцента Анастасии Поляковой отказалась от традиционных RAG-систем, которые подтягивают информацию из внешних баз знаний, но часто ошибаются из-за опечаток или неполных данных. Вместо этого разработчики создали классификатор типичных «галлюцинаций» и внедрили пайплайн для автоматической проверки ответов по эталонным значениям. Прототип модуля постоянно анализирует диалог: как только алгоритм начинает генерировать сомнительную информацию, система выставляет низкий балл надежности и уведомляет оператора.

Технология универсальна и не привязана к конкретным архитектурам нейросетей. По замыслу авторов, такой надстройкой можно оснастить как простые справочные чат-боты, так и критически значимые платформы вроде медицинских систем или сервиса «Госуслуги». Это позволит снизить риски при использовании автоматизированных помощников в сферах, где цена ошибки слишком высока.