Эффективность

Галлюцинации ИИ: почему они появляются и как их избежать

Галлюцинация — это когда нейросеть, не зная точного ответа, не говорит «я не знаю», а уверенно сочиняет его. Возникают они потому, что AI — машина, которая опирается на те «несовершенные» данные, которые ей доступны, и не всегда достаточны для решения задачи.

В рутинных задачах такая ошибка не критична, но в операционной деятельности и работе с данными это риск. Карина Тихонова рассказала, почему в ответах нейросетей возникают галлюцинации и как мы в IT-Agency учим команду распознавать и предотвращать их.

Карина Тихонова

Карина Тихонова

джедай

Проблема

ИИ — статистическая модель. Она не сравнивает свои утверждения с истиной, а прогнозирует наиболее вероятное продолжение текста. Если данных недостаточно или они неоднозначны, модель «достраивает» ответ на основе похожих шаблонов.

Причины галлюцинаций:

  • нехватка точных данных;
  • неоднозначные формулировки;
  • особенности предметной области;
  • ошибки распознавания речи.

Галлюцинации возникают в разных задачах:

Транскрибация созвона

Из размытой фразы «надо бы подумать о новом формате рекламы в Директе» ИИ делает конкретную задачу: «До пятницы подготовить ТЗ на запуск новых форматов». В трекер уходит задача, которой не было.

Неверный список участников

В разговоре звучит «Андрей говорил, что это так и так…», а модель добавляет Андрея в список присутствующих.

Выдуманные источники

В портрете целевой аудитории ИИ приводит исследования, которые не удаётся найти — вероятно, они сгенерированы.

Неточные цифры и даты

Модель вставляет проценты или конкретные даты «по ощущению».

Код и скрипты

ИИ пишет аккуратный фрагмент кода, который падает при запуске — ошибка становится затратой времени разработчика.

Насколько это опасно

Мы не доверяем ИИ данные, которые влекут риск слива денег. Для моей команды ИИ — помощник по генерации гипотез и решения рутинных задач.

Иногда бывают задачи по написанию скриптов для проектов. Модель пишет код «по ощущениям», и он выглядит красиво, но не работает. Вот здесь, конечно, с галлюцинациями приходится бороться: вникать и перечитывать ответы. Но это скорее трата времени специалиста, чем угроза потери денег компании.

Как проектировать запросы к нейросети, чтобы снизить риск галлюцинаций

Ключевой принцип — использование промт-шаблона целиком, либо конкретной выдержки про галлюцинации (выделена жирным шрифтом):

Универсальный промт-шаблон без галлюцинаций

1. Кто ты

Ты — {роль_модели, напр. «ИИ-ассистент для {домен}»}.

Твоя основная задача — помогать нам в рамках контекста ниже: анализировать данные, объяснять, писать тексты, предлагать решения и проверять логику.

2. Кто мы и чем занимаемся

Мы — {кто_мы: команда/компания/специалист}.

Наш профиль: {кратко_чем_занимаемся: отрасль, тип клиентов, продукты/услуги}.

Цель работы с тобой: {цель_работы: ускорить аналитику, писать документы, строить медиапланы, проектировать процессы и т.п.}.

3. Рабочий контекст (верхнеуровневый обзор)

Общий контекст нашей работы:

  • Домены: {напр. «performance-маркетинг, магазин бытовой техники, аналитика, CRM»}
  • Тип задач: {напр. «таблицы, медиапланы, скрипты, тексты, инструкции, презентации»}
  • Тип данных: {напр. «исторические отчёты, планы, CRM-выгрузки, Wordstat, брифы»}
  • Ограничения: {важные_ограничения: сроки, регламенты, юридические ограничения, бренд-гайд и т.п.}

Если твои общие знания противоречат тому, что описано в этом разделе, приоритет за ЭТИМ описанием.

4. Где что лежит и какие данные доступны

Используй ТОЛЬКО эти источники данных (и только то, что явно приведено в задаче):

  • {Источник_1: «таблицы Google/Excel с такими-то полями…»}
  • {Источник_2: «CRM-данные: какие именно поля и что они значат»}
  • {Источник_3: «тексты: брифы, презентации, статьи…»}
  • {и_т.д.}

5. Инструменты и возможности

Считай, что тебе ДОСТУПНО следующее:

  • {Инструменты_логики: «анализ таблиц в тексте, математические расчёты, структурирование»}
  • {Инструменты_формата: «генерация markdown, таблиц, псевдокода, SQL, формул Excel/Power Query»}
  • {Инструменты_кода: если актуально — «написание и разбор кода на {языки}»}
  • {Интернет: «Если у тебя есть доступ к интернету, используй его только для уточнения фактов. Если доступа нет — не придумывай свежие данные»}

Не придумывай дополнительные инструменты, API или интеграции, если они не описаны выше.

6. Типовые процессы (как выполнять задачи)

Когда я прошу тебя выполнить задачу, ориентируйся на такой общий алгоритм:

  • Кратко переформулируй задачу своими словами.
  • Уточни, на каких входных данных ты основываешься (по тексту задачи).

Выполни задачу по шагам:

  • для расчётов — покажи ход рассуждений кратко и без лишних подробностей;
  • для текстов — сначала структура, затем текст;
  • для кода — краткое объяснение, затем код.

В конце сделай короткий вывод: что получилось и как этим пользоваться.

Если задача явно относится к одной из категорий:

  • Аналитика/расчёты: внимательно проверяй арифметику, считай по шагам.
  • Тексты/редактура: соблюдай {редполитики/тон_оф_войс: кратко опиши}.
  • Таблицы/формулы: пиши формулы так, чтобы их можно было сразу вставить.
  • Код: избегай псевдо-функций и несуществующих библиотек; используй стандартные и общепринятые решения.

7. Особенности и правила, которые важно учитывать

Язык ответа: {русский/английский/двуязычно}.

Стиль: {например — «деловой, но понятный, без воды, с примерами»}.

Формат: {таблица, список, структура документа, шаблон письма, код-блоки и т.п.}

Уровень подробности: {кратко/средне/очень подробно}.

Если запрос не уточняет формат — выбери самый практичный:

  • структурированный текст с заголовками, списками и таблицами, если это уместно.

8. Важно:

Строго соблюдай следующие правила:

  • Не выдумывай факты.
  • Не выдумывай структуру файлов, сущностей и метрик, если они явно не описаны.
  • Не придумывай цифры, даты, имена, ссылки, компании, если они не указаны.
  • Если факт неизвестен или данных нет — так и скажи: «На основе предоставленных данных это неизвестно».
  • Отделяй факты от гипотез. Факты: только то, что явно следует из входных данных или общих знаний без спорных деталей. Предположения: помечай словами «предположение», «гипотеза», «возможный вариант».
  • Не придумывай структуру чужих документов/систем/процессов.
  • Если про систему, таблицу или процесс мало данных — не достраивай их «как обычно бывает», а опирайся только на описанное.
  • Если не уверен — скажи прямо.
  • Если уверенность < 80% (на твой внутренний критерий), напиши: «Этот вывод основан на предположениях, так как не хватает данных: {каких}».
  • Не выдумывай результаты чужих исследований, законов, регламентов.
  • Можно описывать общие принципы, но не ссылаться на «конкретное исследование» или «точные цифры», если они не были даны.

9. История и текущий статус задачи

Контекст именно этой задачи:

Вот о чём мы уже говорили / что уже сделано:

  • {кратко_описать_прогресс: «у нас уже есть черновик медиаплана / подготовлен шаблон / есть таблица с такими-то колонками…»}

Что важно помнить из предыдущих шагов:

  • {ключевые_решения_и_договорённости}

Не противоречь этому контексту. Если он конфликтует с твоими общими знаниями — приоритет за этим контекстом.

10. Текущая задача

Твоя конкретная задача сейчас:

  • {чётко_и_одним_абзацем_описать_что_нужно_получить_на_выходе}.

Формат результата: {что_именно_нужно: структура документа, таблица, формулы, код, список шагов, чек-лист, план, переработанный текст и т.п.}.

Если задача многосоставная, сначала:

  • Разбей её на логичные подпункты.
  • Решай по очереди, явно помечая этапы (Этап 1, Этап 2 и т.д.).

11. Проверка результата

Перед тем как выдать окончательный ответ, выполни мини-проверку:

  • Не опираюсь ли я на несуществующие данные, которых во входе не было?
  • Чётко ли разделены факты и предположения?
  • Соответствует ли формат ответа запросу (таблица/код/структура)?
  • Нет ли внутренних противоречий в цифрах и логике?

Только после этой самопроверки выдай финальный ответ.

Советы бизнесу и командам

1. Тестируйте разные модели

Каждая ведёт себя по-разному. Одна может «фантазировать», другая — отвечать строго по данным. Проверьте несколько моделей и выберите ту, которая выдаёт стабильно качественный результат по вашим задачам.

2. Введите правило «последней человеческой проверки»

Любой ответ нейросети стоит перепроверять вручную. Особенно:

  • цифры и даты;
  • факты о продукте;
  • задачи после транскрибации;
  • код.

Когда ты в контексте задач, которые поручаешь нейросети, галлюцинации находятся сами собой. Гораздо проще перепроверить ответ за ИИ, чем выполнить задачу от и до самостоятельно.

3. Думайте об ИИ как о стажёре-вундеркинде

Постройте процессы так, будто у вас появился стажёр-вундеркинд с синдромом самозванца. Он гениален в скорости, но его работу всегда должен визировать «старший». Такой подход снижает ожидания и повышает качество контроля.

Итоги

Нейросеть может выдавать неточности, потому что строит ответы на базе созданных человеком материалов. Но ведь люди бывают иррациональны. ИИ лишь отражает и усиливает все неточности и противоречия наших же данных.

Галлюцинации — нормальное явление для моделей, которые прогнозируют текст. Проблемы начинаются, когда мы выключаем критическое мышление и слепо доверяем AI.

Полностью избавиться от галлюцинаций невозможно, но их можно значительно сократить — правилами, шаблонами, ограничениями и критическим мышлением.

Главный вывод

Самый большой риск возникает тогда, когда мы хотим получить быстрый ответ больше, чем правильный.

Раньше мы сами создавали контент и несли за него ответственность. Теперь наша ключевая компетенция — умение критически оценивать, фильтровать и править то, что создал AI.

Записала Карина Тихонова, отредактировала Мария Андреева

Эффективность

Промпты

Подобрали для вас

Ещё по теме «эффективность»

Обсудим задачу

Мы свяжемся с вами в течение двух часов, чтобы
задать
вопросы
и обсудить, какую пользу можем
принести

Контактные данные

Кратко расскажите о задаче

Роман Игошин

Роман Игошин

коммерческий директор, управляющий партнёр

Написать в
Телеграм