Галлюцинации ИИ в цитировании: что это, почему происходит и как предотвратить

Когда большая языковая модель генерирует цитату, она не ищет информацию в базе данных. Она предсказывает, как должна выглядеть цитата, основываясь на паттернах в своих обучающих данных. В результате получается текст, который соответствует идеальным правилам форматирования — правдоподобное имя автора, реальное название журнала, правильно структурированный DOI — прикрепленный к статье, которая не существует.

Это галлюцинация в цитировании, и сегодня это самый быстрорастущий риск для академической добросовестности.

Что такое галлюцинация в цитировании?

Галлюцинация в цитировании происходит, когда инструмент ИИ генерирует ссылку, которая выглядит легитимной, но не соответствует какой-либо реальной опубликованной работе. Термин «галлюцинация» пришел из более широкого сообщества исследователей ИИ, где он описывает любой результат, который является беглым и уверенным, но фактически неверным.

В контексте академических ссылок галлюцинация особенно опасна, потому что результат очень точно имитирует формат и условности реальных цитат. Человек — даже опытный исследователь — может взглянуть на галлюцинированную цитату и на первый взгляд не увидеть в ней ничего неправильного.

Три типа галлюцинированных цитат

Не все поддельные цитаты созданы одинаково. Понимание их вариаций помогает понять, что искать и какие методы обнаружения работают для каждого типа.

Тип 1: Полностью сфабрикованные ссылки

Вся цитата выдумана — название, авторы, журнал, год и DOI. Ни один из компонентов не соответствует реальной публикации. Это самый простой тип для обнаружения: поиск в CrossRef, PubMed или Google Scholar возвращает нулевые результаты.

Пример: "Zhang, W., & Roberts, T. (2024). Adaptive neural frameworks for multilingual sentiment analysis. Journal of Computational Linguistics, 48(3), 112-128."

Это выглядит идеально. Но статьи с таким названием не существует. Журнал существует, но в томе 48, выпуске 3 нет этой статьи. Авторы — реальные исследователи, но никогда не писали ничего в соавторстве.

Тип 2: Химерные ссылки

ИИ объединяет реальные элементы из разных статей в одну вымышленную цитату. Имя автора реально, и он публикуется в цитируемом журнале. Журнал и том реальны. Но конкретная статья — этот автор, это название, этот выпуск — не существует.

Этот тип опасен, потому что частичная проверка проходит успешно. Вы можете подтвердить, что автор реален. Вы можете подтвердить, что журнал реален. Вы даже можете обнаружить, что автор публиковался в этом журнале. Но конкретная статья — это вымысел.

Тип 3: Искаженные ссылки

Реальная статья существует, но ИИ допускает одну или несколько ошибок в деталях — год публикации отличается на один, имя соавтора написано с ошибкой, или в DOI перепутана цифра. Ссылка почти соответствует реальной публикации, что делает ее самым сложным типом для обнаружения без систематической проверки.

Почему инструменты ИИ галлюцинируют цитаты

Большие языковые модели не имеют базы данных статей. Они ничего не «ищут». Они генерируют следующий токен в последовательности на основе статистических паттернов.

Когда вы запрашиваете цитату по теме, модель генерирует текст, который соответствует паттерну «цитата о [теме]». Она опирается на:

• Имена авторов, которые часто появляются в обучающих данных, связанных с этой темой
• Названия журналов, которые ассоциируются с данной областью
• Годы, которые попадают в правдоподобный диапазон
• Форматы DOI, которые следуют стандартной структуре префикс/суффикс

Каждый элемент статистически правдоподобен. Но поскольку каждый генерируется независимо, комбинация часто является вымышленной.

Это принципиально отличается от поисковой системы, возвращающей неверные результаты. Поисковая система извлекает реальные документы и может ранжировать их неправильно. LLM генерирует документы, которые никогда не существовали.

Насколько распространена проблема?

Исследования разнятся, но консенсус тревожен:

• GPT-4 генерирует сфабрикованные цитаты примерно в 25-35% случаев, когда его просят предоставить академические ссылки без явных инструментов поиска
• Модели с генерацией, дополненной поиском (RAG), уменьшают, но не устраняют проблему — оценивается в 5-15% случаев фабрикации в зависимости от области
• В медицинских и юридических областях наблюдаются более высокие показатели галлюцинаций, потому что форматы цитирования более стандартизированы, что затрудняет отличие фабрикации от реальности

Показатели выше для малоизвестных тем (где у модели меньше обучающих данных) и ниже для хорошо известных статей (где модель видела фактическую цитату много раз).

Как обнаружить галлюцинированные цитаты

Метод 1: Проверка DOI

Скопируйте DOI и разрешите его на doi.org. Если вы получаете ошибку «DOI не найден», цитата сфабрикована или в DOI есть ошибка. Это надежно выявляет галлюцинации Типа 1.

Ограничение: Не выявляет Тип 2 или Тип 3, где DOI может быть близок к реальному или где DOI не указан.

Метод 2: Поиск по названию

Ищите точное название статьи (в кавычках) в Google Scholar, CrossRef или Semantic Scholar. Нулевые результаты убедительно свидетельствуют о фабрикации.

Ограничение: Некоторые реальные статьи не индексируются везде, особенно материалы конференций, рабочие документы и статьи из неанглоязычных журналов.

Метод 3: Автоматическая пакетная проверка

Вставьте весь ваш список литературы в Citely's Citation Checker. Инструмент анализирует каждую ссылку, запрашивает CrossRef и другие базы данных, и сравнивает метаданные по полям.

Это самый эффективный метод проверки всей библиографии. Он выявляет все три типа галлюцинаций, проверяя полную цитату — не только DOI или название по отдельности, но и комбинацию автора, названия, журнала, года и DOI вместе.

Метод 4: Список публикаций автора

Найдите первого автора в Google Scholar или ORCID. Проверьте, появляется ли конкретная статья в его списке публикаций. Это выявляет химерные ссылки Типа 2, где автор реален, но статьи нет.

Рабочий процесс предотвращения

Лучший подход — предотвратить попадание галлюцинированных цитат в вашу рукопись в первую очередь:

1. Никогда не используйте цитаты, сгенерированные ИИ, без проверки. Относитесь к каждой предложенной ИИ ссылке как к непроверенной, пока не подтвердите ее существование.

2. Используйте ИИ для поиска, а не для цитирования. Можно спросить ИИ: «какие ключевые статьи по [теме]?» — но затем самостоятельно ищите эти статьи в Google Scholar или в базе данных вашей библиотеки. Используйте предложения ИИ как поисковые запросы, а не как цитаты.

3. Проверяйте в конце, а не по ходу. Эффективнее написать всю рукопись, а затем пакетно проверить все ссылки сразу, чем проверять каждую цитату по мере ее добавления.

4. Помечайте разделы, созданные с помощью ИИ. Если вы использовали ИИ для помощи в написании какого-либо раздела, пометьте эти ссылки для дополнительной проверки. Разделы, в которые ИИ внес свой вклад, с наибольшей вероятностью содержат галлюцинированные цитаты.

5. Используйте специализированный инструмент проверки перед отправкой. Прогоните свой полный список литературы через автоматический проверщик в качестве последнего шага перед отправкой.

Ключевые выводы

• Галлюцинация в цитировании — это когда ИИ генерирует ссылки, которые выглядят реальными, но соответствуют несуществующим статьям — это затрагивает 25-35% цитат, сгенерированных ИИ.
• Существует три типа: полностью сфабрикованные (легче всего обнаружить), химерные ссылки, объединяющие реальные элементы (опасны, потому что частичные проверки проходят), и искаженные цитаты с небольшими ошибками (труднее всего обнаружить).
• LLM не извлекают цитаты из баз данных — они генерируют статистически правдоподобный текст, поэтому каждый компонент поддельной цитаты может выглядеть правильным, в то время как комбинация является вымышленной.
• Проверка DOI выявляет самые очевидные подделки, но только автоматическая пакетная проверка надежно обнаруживает все три типа, сравнивая полную цитату с записями в базе данных.
• Профилактика эффективнее обнаружения: используйте ИИ для поиска литературы, затем независимо проверяйте каждую предложенную ссылку, прежде чем включать ее в свою рукопись.

Проверьте свои ссылки → citely.ai/citation-checker