Галлюцинации нейросети: как ГигаЧат объяснил мне «глубокий смысл» пословицы, которой не существует

Что такое «галлюцинация» нейросети - и почему это важно каждому

Слово «галлюцинация» прижилось за нейросетями не случайно: модель будто видит то, чего нет, и уверенно вам это описывает. Для обычного человека это оборачивается прямым риском: спросили у нейросети статью закона, дозу лекарства, цитату для доклада или цифру для отчёта - и получили красивую выдумку, которую понесли дальше как факт. Ниже я показываю, как это выглядит вживую, объясняю механизм простыми словами и даю набор проверок, после которых вас уже не проведёшь.

Почему нейросеть вообще выдумывает?

Языковая модель под капотом занята одним: предсказывает следующее слово так, чтобы получилось связно и убедительно. У неё нет внутренней энциклопедии, куда она заглядывает за точным ответом, и, если у неё нет доступа к поиску, она ничего не «гуглит» - она пишет по памяти о том, как обычно устроены тексты. Когда данных достаточно, эта память работает отлично. Когда данных мало или их нет вовсе, модель всё равно не останавливается и не говорит «не знаю»: она достраивает самый вероятный на вид вариант.

Это и отвечает на вопрос, почему нейросети галлюцинируют: дело не в сбое и не в плохих данных конкретно у вас - достройка и есть обычный режим работы, а отличить случай "знаю" от случая "дописала" модель сама не умеет. Отсюда две важные вещи, которые стоит принять раз и навсегда. Первое: нейросеть оптимизирована звучать правдоподобно, а не быть правой - это разные задачи, и они не всегда совпадают. Второе: у неё нет чувства «я не уверена». Уверенный тон в её ответе не значит ничего - он такой всегда. Именно поэтому выдумку невозможно поймать на слух, только проверкой. Покажу на двух живых примерах.

Признается ли она, что чего-то не знает?

Самый наглядный тест - дать нейросети то, чего заведомо не существует, и посмотреть, остановит ли её это. Я придумал «народную пословицу» и попросил объяснить её смысл. Такой пословицы нет: я собрал её из головы прямо перед запросом. Вот что я отправил в ГигаЧат:

Честный ответ здесь один: «такой пословицы не существует». Вместо этого ГигаЧат уверенно взялся её толковать:

Ни на секунду сомнения. Модель не только придумала «смысл» несуществующей пословицы, но и вывела ей родословную от реального «Не буди лихо», разложила на два уровня, привела житейский диалог и подкрепила ссылками на сайты - ветклинику и библиотечную систему, которые к народной мудрости отношения не имеют. Так и выглядит галлюцинация: там, где надо было сказать «не знаю такого», нейросеть построила красивое здание на пустом месте. Запомните этот приём - дать заведомую пустышку - он работает как быстрый тест доверчивости любой модели.

А если попросить точные факты - авторов, годы, ссылки?

С пословицей всё безобидно. Куда опаснее, когда выдумка касается фактов, за которыми люди и приходят: источники, авторы, даты, статистика. Я взял популярную цифру, которую любят повторять бизнес-тренеры, - «человек принимает в среднем 35 000 решений в день» - и попросил её научно подтвердить:

Начало ответа обнадёжило - ГигаЧат честно предупредил, что цифра сомнительная:

Казалось бы, честный отказ. Но тут же, в том же ответе, модель всё равно выдала «три исследования, на которых базируется этот миф» - с фамилиями, университетами и годами. И вот здесь начались проблемы:

Что в этом ответе - неправда: сверяю по пунктам

Ответ выглядит академично: фамилии, латиница в скобках, названия университетов, журнал PNAS. Ровно так выдумка и маскируется. Я потратил несколько минут на проверку в поиске - вот что нашлось:

Итог. Из одного вопроса про цифру мы получили внутреннее противоречие, выдуманного человека, ошибку в дате на девять лет и опору на дискредитированного учёного - и всё это гладким, уверенным тоном. Если бы вы вставили этот абзац в реферат, доклад или пост, вы бы разнесли выдумку дальше под своим именем.

Почему у неё всегда такой уверенный тон?

Главная причина, по которой люди попадаются, - интонация. Нейросеть пишет одинаково спокойно и убедительно, права она или нет; у неё нет краски «я сомневаюсь». Мы же привыкли, что уверенный тон - признак знания: так говорит специалист. С моделью это правило ломается. Уверенность в её ответе - это просто стиль по умолчанию, знаком достоверности она не служит.

Практический вывод один: судить надо по проверке, а тон - вообще не аргумент. Складность ответа ничего не гарантирует - наоборот, чем глаже и подробнее звучит утверждение на тему, где данных мало, тем внимательнее стоит его перепроверить. Ниже - как это делать быстро.

Пять признаков, что нейросеть, скорее всего, выдумывает

Признаки того, что нейросеть галлюцинирует, легко держать в голове: необязательно проверять каждое слово - достаточно знать места, где выдумка живёт чаще всего. Насторожитесь, если в ответе есть одно из этого:

Как поймать выдумку за минуту

Ловится всё это несколькими простыми привычками - ни одна не требует технических знаний:

• Просите источник и проверьте его сами. Одна фраза - «укажи, откуда этот факт» - и одна проверка в поиске. Если источник не находится или это блог, факту грош цена.
• Для фактов берите инструмент с поиском, а не чат из головы. Обычный чат отвечает по памяти. Когда важны свежие и проверяемые данные, нужен режим с источниками - об этом отдельный разбор Perplexity: нейросеть, которая отвечает со ссылками.
• Скармливайте свои данные. Если вставить в запрос свой документ или текст, модель будет работать с вашим материалом, и сочинять ей почти негде. Переупаковка вашего - её сильная и безопасная сторона.
• Переспросите её же. «Перечитай свой ответ и отметь, какие факты, числа и источники ты не можешь подтвердить». Это не панацея, но часть выдумки всплывает.
• Сверяйте всё, что дороже пяти минут. Числа, имена, законы, медицину, деньги - к первоисточнику, а не на слово модели.

Отдельно помогает правильно сформулировать сам запрос - прямо разрешить нейросети не знать. Вот рабочая формулировка, которую можно добавлять к любому вопросу с фактами:

Такой запрос не отключает выдумку полностью, но заметно её сокращает и заставляет модель честнее помечать слабые места. А чтобы ответы вообще были по делу, а не общими словами, нейросети полезно сначала дать контекст о вас и вашей задаче - как это сделать за минуту, я показал в коротком гайде «Нейросеть отвечает водой? Вы не дали ей мозг».

Где выдумка стоит дороже всего

С пословицей ошибка смешная, но есть темы, где выдуманный факт бьёт по кошельку или по здоровью. Держите их в голове как красную зону:

• Право. Номера статей, ссылки на законы и судебную практику модель выдумывает особенно охотно. Использовать её как справочник по закону нельзя - подробнее в разборах про нейросеть и юридические задачи и проверку договора: черновик - да, ссылки на статьи - только из первоисточника.
• Деньги и цифры. «Средние по отрасли», нормативы, проценты нейросеть сочиняет уверенно. Любую цифру в расчётах перепроверяйте - об этом отдельно в статье нейросеть для финансов бизнеса.
• Медицина. Дозы, диагнозы, совместимость лекарств - зона, где выдумка опасна физически. Здесь нейросеть не консультант.
• Учёба и доклады. Рефераты, цитаты, «исследования показали» - ровно тот случай из второго прогона. Проверяйте каждую ссылку, иначе разнесёте чужую выдумку под своим именем.

Значит, нейросети нельзя пользоваться?

Наоборот - можно и нужно, если понимать, где проходит граница. Выдумка появляется там, где модель достаёт факты из себя. А есть огромная зона, где она почти не ошибается, потому что работает с тем, что вы ей дали:

Как не попасться на выдумку - коротко

• Помните: нейросеть не «знает», а достраивает правдоподобное. Уверенный тон не значит ничего.
• Выдумка живёт в фактах: ссылки, номера, цитаты, числа, свежие и локальные данные.
• Быстрый тест доверчивости - дать модели заведомую пустышку (несуществующую пословицу, книгу, термин) и посмотреть, признается ли она.
• Просите источник по каждому факту и одной проверкой в поиске сверяйте его сами.
• Для фактов - режим с поиском и ссылками; для сочинения из головы - обычный чат не годится.
• Давайте свои данные: с вашим материалом модель почти не выдумывает.
• Добавляйте в запрос разрешение не знать: «если не уверена - напиши "не знаю", не выдумывай».
• Право, деньги, медицину и цитаты для учёбы сверяйте всегда - цена ошибки высокая.

Вопросы, которые задают чаще всего

Что такое галлюцинации нейросети простыми словами? Это когда нейросеть уверенно выдаёт ложь: выдумывает факт, цитату, источник, статью закона или число, которого нет. Не со зла - модель не хранит базу фактов, а достраивает самый правдоподобный по звучанию текст. Где данных не хватает, она заполняет пробел красиво и уверенно, и на слух это не отличить от правды.

Почему нейросеть выдумывает факты и источники? Потому что она предсказывает следующее слово, а не проверяет истину, и обучена звучать уверенно даже там, где не знает ответа. Просите точную ссылку или год, которых в её памяти нет, - она соберёт правдоподобную комбинацию. В моём прогоне ГигаЧат выдумал автора научной статьи и перепутал год её выхода на девять лет.

Как понять, что нейросеть врёт? Настораживайтесь на пяти вещах: точные ссылки и цитаты; узкие, локальные и свежие данные; вопросы с ложной посылкой; слишком гладкий подробный ответ на пустом месте; «источники» из блогов и работ, которых не найти. Любой такой факт стоит проверить в поиске - это минута.

Можно ли доверять нейросети? По-разному. Когда она переупаковывает ваш материал - переписывает, сокращает, переводит, - ошибиться почти негде. Когда достаёт факты из головы - имена, даты, законы, цифры, - проверять нужно всё. Правило: доверяйте форме, проверяйте факты, а всё дороже пяти минут сверяйте с источником.

Как заставить нейросеть меньше выдумывать? Полностью нельзя, снизить - можно. Просите источник по каждому факту и честное «не знаю», если его нет. Давайте свои данные, чтобы она работала с вашим материалом. Для фактов берите инструмент с поиском. И переспрашивайте: «отметь, что не можешь подтвердить».

Галлюцинации бывают у всех нейросетей или только у бесплатных? У всех - это свойство самой технологии, а не признак бесплатной модели. Платные и более новые выдумывают реже и чаще признаются в незнании, но не застрахованы. Привычка проверять факты нужна одинаково и с бесплатным ГигаЧатом, и с любой топовой моделью за деньги.

Какие есть признаки того, что нейросеть галлюцинирует? Их пять: точные ссылки, номера статей, цитаты и статистика; узкие, местные или свежие сведения, которых модель знать не может; ложная посылка в самом вопросе, с которой она охотно соглашается; слишком гладкий и подробный ответ там, где данных по теме мало; "источники", которые не находятся поиском. Любого одного достаточно, чтобы перепроверить ответ, прежде чем нести его дальше.

Если нейросеть для вас пока тёмный лес - начните с разбора как пользоваться нейросетью с нуля: там про сам принцип разговора с ней. Понять, какая модель под какую задачу и как устроен «тест на честность», помогает обзор какая нейросеть лучше, а инструмент обоих прогонов подробно разобран в статье ГигаЧат от Сбера. Когда важны проверяемые факты, а не текст из головы, берите Perplexity - поиск с источниками. А если вопрос обратный - боитесь, что ваш честный текст примут за машинный, - смотрите разбор как проверить текст на нейросеть: почему детекторы ошибаются и что делать, если пометили. А чтобы нейросеть отвечала по делу, а не водой, заберите бесплатный гайд «Нейросеть отвечает водой? Вы не дали ей мозг» - три промпта, которые чинят это за минуту. Как DeepSeek и Алиса угадали цифру под кляксой в школьной задаче и выдали догадку за решение - подробный разбор. Как выдумки нейросети выглядят в плане поездки по часам - подробный разбор. На кухне модель тоже выдумывает: потратила курицу, которую уже съели, - подробный разбор. Как ГигаЧат сдвинул дату выхода на пенсию на два года и сам подтвердил ошибку - подробный разбор. Самая неудобная выдумка модели - список литературы в школьном докладе подробный разбор. Как формулировать запрос так, чтобы в ответе было что проверять, - подробный разбор. Как машина округляет лимиты по памяти, видно на расчёте больничного - подробный разбор. Свежий пример того же сбоя на закупке: пять ссылок на тарифы и ноль живых подробный разбор. Как ловить нейросеть на выдумке в любой задаче подробный разбор. Тот же разбор на живом примере - как чат придумал страницу сервиса подробный разбор. Почему нейросеть договаривает факты, которых вы ей не давали подробный разбор. Как это выглядит на одном вопросе с проверяемым ответом - в разборе подробный разбор. Как заставить чат показать ход рассуждения и чем настоящий черновик отличается от декорации - подробный разбор.