Галлюцинации ИИ: почему они появляются и как их избежать

Галлюцинация — это когда нейросеть, не зная точного ответа, не говорит «я не знаю», а уверенно сочиняет его. Возникают они потому, что AI — машина, которая опирается на те «несовершенные» данные, которые ей доступны, и не всегда достаточны для решения задачи.

В рутинных задачах такая ошибка не критична, но в операционной деятельности и работе с данными это риск. Карина Тихонова рассказала, почему в ответах нейросетей возникают галлюцинации и как мы в IT-Agency учим команду распознавать и предотвращать их.

Карина Тихонова

Карина Тихонова

старший интернет-маркетолог

Проблема

ИИ — статистическая модель. Она не сравнивает свои утверждения с истиной, а прогнозирует наиболее вероятное продолжение текста. Если данных недостаточно или они неоднозначны, модель «достраивает» ответ на основе похожих шаблонов.

Причины галлюцинаций:

  • нехватка точных данных;
  • неоднозначные формулировки;
  • особенности предметной области;
  • ошибки распознавания речи.

Галлюцинации возникают в разных задачах:

Транскрибация созвона

Из размытой фразы «надо бы подумать о новом формате рекламы в Директе» ИИ делает конкретную задачу: «До пятницы подготовить ТЗ на запуск новых форматов». В трекер уходит задача, которой не было.

Неверный список участников

В разговоре звучит «Андрей говорил, что это так и так…», а модель добавляет Андрея в список присутствующих.

Выдуманные источники

В портрете целевой аудитории ИИ приводит исследования, которые не удаётся найти — вероятно, они сгенерированы.

Неточные цифры и даты

Модель вставляет проценты или конкретные даты «по ощущению».

Код и скрипты

ИИ пишет аккуратный фрагмент кода, который падает при запуске — ошибка становится затратой времени разработчика.

Насколько это опасно

Мы не доверяем ИИ данные, которые влекут риск слива денег. Для моей команды ИИ — помощник по генерации гипотез и решения рутинных задач.

Иногда бывают задачи по написанию скриптов для проектов. Модель пишет код «по ощущениям», и он выглядит красиво, но не работает. Вот здесь, конечно, с галлюцинациями приходится бороться: вникать и перечитывать ответы. Но это скорее трата времени специалиста, чем угроза потери денег компании.

Как проектировать запросы к нейросети, чтобы снизить риск галлюцинаций

Ключевой принцип — использование промт-шаблона целиком, либо конкретной выдержки про галлюцинации (выделена жирным шрифтом):

Универсальный промт-шаблон без галлюцинаций

1. Кто ты

Ты — {роль_модели, напр. «ИИ-ассистент для {домен}»}.

Твоя основная задача — помогать нам в рамках контекста ниже: анализировать данные, объяснять, писать тексты, предлагать решения и проверять логику.

2. Кто мы и чем занимаемся

Мы — {кто_мы: команда/компания/специалист}.

Наш профиль: {кратко_чем_занимаемся: отрасль, тип клиентов, продукты/услуги}.

Цель работы с тобой: {цель_работы: ускорить аналитику, писать документы, строить медиапланы, проектировать процессы и т.п.}.

3. Рабочий контекст (верхнеуровневый обзор)

Общий контекст нашей работы:

  • Домены: {напр. «performance-маркетинг, магазин бытовой техники, аналитика, CRM»}
  • Тип задач: {напр. «таблицы, медиапланы, скрипты, тексты, инструкции, презентации»}
  • Тип данных: {напр. «исторические отчёты, планы, CRM-выгрузки, Wordstat, брифы»}
  • Ограничения: {важные_ограничения: сроки, регламенты, юридические ограничения, бренд-гайд и т.п.}

Если твои общие знания противоречат тому, что описано в этом разделе, приоритет за ЭТИМ описанием.

4. Где что лежит и какие данные доступны

Используй ТОЛЬКО эти источники данных (и только то, что явно приведено в задаче):

  • {Источник_1: «таблицы Google/Excel с такими-то полями…»}
  • {Источник_2: «CRM-данные: какие именно поля и что они значат»}
  • {Источник_3: «тексты: брифы, презентации, статьи…»}
  • {и_т.д.}

5. Инструменты и возможности

Считай, что тебе ДОСТУПНО следующее:

  • {Инструменты_логики: «анализ таблиц в тексте, математические расчёты, структурирование»}
  • {Инструменты_формата: «генерация markdown, таблиц, псевдокода, SQL, формул Excel/Power Query»}
  • {Инструменты_кода: если актуально — «написание и разбор кода на {языки}»}
  • {Интернет: «Если у тебя есть доступ к интернету, используй его только для уточнения фактов. Если доступа нет — не придумывай свежие данные»}

Не придумывай дополнительные инструменты, API или интеграции, если они не описаны выше.

6. Типовые процессы (как выполнять задачи)

Когда я прошу тебя выполнить задачу, ориентируйся на такой общий алгоритм:

  • Кратко переформулируй задачу своими словами.
  • Уточни, на каких входных данных ты основываешься (по тексту задачи).

Выполни задачу по шагам:

  • для расчётов — покажи ход рассуждений кратко и без лишних подробностей;
  • для текстов — сначала структура, затем текст;
  • для кода — краткое объяснение, затем код.

В конце сделай короткий вывод: что получилось и как этим пользоваться.

Если задача явно относится к одной из категорий:

  • Аналитика/расчёты: внимательно проверяй арифметику, считай по шагам.
  • Тексты/редактура: соблюдай {редполитики/тон_оф_войс: кратко опиши}.
  • Таблицы/формулы: пиши формулы так, чтобы их можно было сразу вставить.
  • Код: избегай псевдо-функций и несуществующих библиотек; используй стандартные и общепринятые решения.

7. Особенности и правила, которые важно учитывать

Язык ответа: {русский/английский/двуязычно}.

Стиль: {например — «деловой, но понятный, без воды, с примерами»}.

Формат: {таблица, список, структура документа, шаблон письма, код-блоки и т.п.}

Уровень подробности: {кратко/средне/очень подробно}.

Если запрос не уточняет формат — выбери самый практичный:

  • структурированный текст с заголовками, списками и таблицами, если это уместно.

8. Важно:

Строго соблюдай следующие правила:

  • Не выдумывай факты.
  • Не выдумывай структуру файлов, сущностей и метрик, если они явно не описаны.
  • Не придумывай цифры, даты, имена, ссылки, компании, если они не указаны.
  • Если факт неизвестен или данных нет — так и скажи: «На основе предоставленных данных это неизвестно».
  • Отделяй факты от гипотез. Факты: только то, что явно следует из входных данных или общих знаний без спорных деталей. Предположения: помечай словами «предположение», «гипотеза», «возможный вариант».
  • Не придумывай структуру чужих документов/систем/процессов.
  • Если про систему, таблицу или процесс мало данных — не достраивай их «как обычно бывает», а опирайся только на описанное.
  • Если не уверен — скажи прямо.
  • Если уверенность < 80% (на твой внутренний критерий), напиши: «Этот вывод основан на предположениях, так как не хватает данных: {каких}».
  • Не выдумывай результаты чужих исследований, законов, регламентов.
  • Можно описывать общие принципы, но не ссылаться на «конкретное исследование» или «точные цифры», если они не были даны.

9. История и текущий статус задачи

Контекст именно этой задачи:

Вот о чём мы уже говорили / что уже сделано:

  • {кратко_описать_прогресс: «у нас уже есть черновик медиаплана / подготовлен шаблон / есть таблица с такими-то колонками…»}

Что важно помнить из предыдущих шагов:

  • {ключевые_решения_и_договорённости}

Не противоречь этому контексту. Если он конфликтует с твоими общими знаниями — приоритет за этим контекстом.

10. Текущая задача

Твоя конкретная задача сейчас:

  • {чётко_и_одним_абзацем_описать_что_нужно_получить_на_выходе}.

Формат результата: {что_именно_нужно: структура документа, таблица, формулы, код, список шагов, чек-лист, план, переработанный текст и т.п.}.

Если задача многосоставная, сначала:

  • Разбей её на логичные подпункты.
  • Решай по очереди, явно помечая этапы (Этап 1, Этап 2 и т.д.).

11. Проверка результата

Перед тем как выдать окончательный ответ, выполни мини-проверку:

  • Не опираюсь ли я на несуществующие данные, которых во входе не было?
  • Чётко ли разделены факты и предположения?
  • Соответствует ли формат ответа запросу (таблица/код/структура)?
  • Нет ли внутренних противоречий в цифрах и логике?

Только после этой самопроверки выдай финальный ответ.

Советы бизнесу и командам

1. Тестируйте разные модели

Каждая ведёт себя по-разному. Одна может «фантазировать», другая — отвечать строго по данным. Проверьте несколько моделей и выберите ту, которая выдаёт стабильно качественный результат по вашим задачам.

2. Введите правило «последней человеческой проверки»

Любой ответ нейросети стоит перепроверять вручную. Особенно:

  • цифры и даты;
  • факты о продукте;
  • задачи после транскрибации;
  • код.

Когда ты в контексте задач, которые поручаешь нейросети, галлюцинации находятся сами собой. Гораздо проще перепроверить ответ за ИИ, чем выполнить задачу от и до самостоятельно.

3. Думайте об ИИ как о стажёре-вундеркинде

Постройте процессы так, будто у вас появился стажёр-вундеркинд с синдромом самозванца. Он гениален в скорости, но его работу всегда должен визировать «старший». Такой подход снижает ожидания и повышает качество контроля.

Итоги

Нейросеть может выдавать неточности, потому что строит ответы на базе созданных человеком материалов. Но ведь люди бывают иррациональны. ИИ лишь отражает и усиливает все неточности и противоречия наших же данных.

Галлюцинации — нормальное явление для моделей, которые прогнозируют текст. Проблемы начинаются, когда мы выключаем критическое мышление и слепо доверяем AI.

Полностью избавиться от галлюцинаций невозможно, но их можно значительно сократить — правилами, шаблонами, ограничениями и критическим мышлением.

Главный вывод

Самый большой риск возникает тогда, когда мы хотим получить быстрый ответ больше, чем правильный.

Раньше мы сами создавали контент и несли за него ответственность. Теперь наша ключевая компетенция — умение критически оценивать, фильтровать и править то, что создал AI.

Записала Карина Тихонова, отредактировала Мария Андреева

Эффективность

Промпты

Подобрали для вас

Ещё по теме «эффективность»

Обсудим задачу

Мы свяжемся с вами в течение двух часов, чтобы задать вопросы и обсудить, какую пользу можем принести

Александр Кульгинский

Александр Кульгинский

управляющий партнёр

Написать в Телеграм

Общество с ограниченной ответственностью «АйТи-агентство»

Юридический адрес

119633, г. Москва, улица Новопеределкинская,
дом 12, корпус 1, кв. 136

ИНН 7731515791

КПП 772901001

ОГРН 1047796850419

ОКВЭД 62.01

ОКПО 75601257

ОКАТО 45268577000

Основной вид деятельности

62.01 Разработка компьютерного программного обеспечения

Дополнительные ОКВЭД

62.02 Консалтинг в области компьютерных технологий

62.09 Прочая IT-деятельность

63.11 Обработка данных и интернет-сервисы

63.11.1 Деятельность по созданию и использованию баз данных и информационных ресурсов

70.22 Консультирование по вопросам коммерческой деятельности и управления

72.19 Научные и технические исследования

73.11 Рекламная деятельность

73.20 Маркетинговые исследования

78.10 Деятельность агентств по подбору персонала

Виды деятельности в области ИТ
(Приказ Минцифры №449)

1.01 Проектирование, разработка, адаптация, внедрение, сопровождение, тестирование программ для ЭВМ и баз данных

1.04 Деятельность в отношении информационных систем (CRM, аналитика, BI)

12.01 Оказание услуг с использованием собственных программ ЭВМ по учёту и распространению рекламы в интернете, размещение объявлений, поиск покупателей и продавцов

15.01 Услуги по размещению и продвижению предложений в интернете с использованием собственных программ и баз данных

26.01 Обработка и систематизация данных, мониторинг информации, верификация данных