Может ли ChatGPT генерировать фейковые цитаты? (И как их проверять)

Да, ChatGPT может генерировать фейковые цитаты.

Если вы когда-либо копировали ссылки из ChatGPT, Claude или Gemini в черновик без проверки, вы сильно рискуете. Опасность не в том, что фейковые цитаты выглядят очевидно неправильными. Опасность в том, что они часто выглядят совершенно правдоподобно: реалистичные имена авторов, правдоподобные названия статей, знакомые названия журналов и даже строки DOI, которые на первый взгляд кажутся правильными.

Именно поэтому фейковые цитаты так опасны в академических работах. Студент, исследователь, редактор или рецензент может просмотреть библиографию и подумать, что все в порядке, пока не попытается открыть статью и не обнаружит, что ее не существует.

Если вы используете ИИ для мозгового штурма, составления планов, резюмирования или черновиков, вы должны считать каждую сгенерированную ИИ цитату непроверенной, пока не проверите ее самостоятельно.

Ответ за 10 секунд

Если вам нужен максимально короткий ответ:

• да, ChatGPT может генерировать фейковые цитаты
• да, Claude и Gemini могут делать то же самое
• нет, вы не должны доверять сгенерированным ИИ ссылкам без проверки
• самый безопасный следующий шаг — проверить цитаты вручную или использовать программу для проверки цитат перед подачей работы

Что показывают доказательства

Это не просто теоретическая проблема.

Исследование Scientific Reports 2023 года изучило библиографические цитаты, сгенерированные ChatGPT, и обнаружило как сфабрикованные ссылки, так и ошибки в метаданных. Позднее междисциплинарное исследование 2024 года также оценило надежность сгенерированных LLM цитат и ссылок в научных работах. Руководства университетских библиотек предупреждают о той же проблеме: руководство по исследованиям с использованием генеративного ИИ USC Libraries явно отмечает, что LLM могут галлюцинировать вымышленные цитаты и публикации.

Другими словами, «сгенерированные ИИ фейковые ссылки» — это уже не анекдотическая жалоба. Это задокументированная проблема надежности в академических рабочих процессах.

Почему ChatGPT может генерировать фейковые цитаты

ChatGPT — это языковая модель. Ее основная задача — генерировать правдоподобный текст на основе шаблонов, а не проверять каждую библиографическую деталь по живой академической базе данных.

Это означает, что когда вы запрашиваете ссылки, модель может сгенерировать что-то, что выглядит как цитата, потому что она изучила форму цитат:

• имена авторов
• годы публикации
• названия журналов
• названия статей
• номера томов и выпусков
• строки, похожие на DOI

Но «выглядит как цитата» — это не то же самое, что «является реальным опубликованным источником».

Вот почему пользователи часто сталкиваются с тремя различными режимами сбоя:

1. Полностью сфабрикованные цитаты

Ничего в цитате не является реальным. Название, комбинация авторов или ссылка на журнал не существуют в научной литературе.

2. Частично правильные цитаты

Некоторые элементы реальны, но полная цитата неверна. Например:

• журнал реален, но название статьи вымышлено
• статья существует, но год неверный
• название близко, но список авторов отличается

3. Искаженные реальные статьи

Модель может «несовершенно запоминать» реальную статью. В итоге вы получаете цитату, которая указывает примерно в правильном направлении, но все же недостаточно точна для использования в библиографии.

Почему фейковые цитаты важны

Многие пользователи считают ошибки в цитировании незначительной проблемой форматирования. Это не так.

Если вы включаете фейковые или неподтвержденные ссылки в академическую работу, вы создаете как минимум четыре риска:

Риск для академической репутации

Если профессор, редактор или рецензент проверяет ссылку и не может ее найти, доверие к остальной вашей работе немедленно падает.

Риск для добросовестности

Даже если фейковая цитата была случайно сгенерирована ИИ, представленная работа все равно содержит ложную ссылку под вашим именем.

Риск для рабочего процесса

Одна фейковая цитата может вызвать цепную реакцию:

• рецензенты просят разъяснений
• задержки в доработках
• соавторы теряют доверие к черновику
• вы тратите время на повторную проверку всей библиографии в условиях дедлайна

Риск для качества исследования

Если источник не существует, то утверждение, которое он должен был поддерживать, также может быть неподтвержденным, вводящим в заблуждение или просто неверным.

Как обычно выглядят фейковые цитаты

Фейковые цитаты часто не являются случайной бессмыслицей. Обычно они имеют одну или несколько из этих черт:

• отполированное, академически звучащее название статьи
• реально звучащее название журнала, которое немного отличается
• имена авторов, которые выглядят правдоподобно, но не соответствуют реальной статье
• DOI, который соответствует правильному шаблону, но не разрешается
• комбинация реальных метаданных, взятых из нескольких разных статей

Последнее особенно опасно. Фейковая цитата может сочетать:

• реальную тему
• реальную фамилию автора
• реальный журнал
• и несуществующую статью

На первый взгляд это выглядит законно.

Как проверить цитаты из ChatGPT, Claude или Gemini

Вот практический рабочий процесс, который подходит для студентов, исследователей и академических авторов.

Метод 1: Поиск полного названия в Google Scholar

Поместите точное название в кавычки и найдите его в Google Scholar.

Если соответствующая статья не появляется, цитата, вероятно, является фейковой или значительно искаженной.

Это самая быстрая первая проверка, когда вы работаете всего с несколькими ссылками.

Метод 2: Проверка DOI

Если цитата включает DOI, проверьте, правильно ли он разрешается.

Три распространенных исхода:

• он разрешается на точную статью: хороший знак
• он разрешается на другую статью: цитата неверна
• он вообще не разрешается: DOI является фейковым или неправильно сформированным

Метод 3: Сравнение метаданных по полям

Даже когда вы находите похожую статью, не останавливайтесь на этом. Сравните:

• название
• список авторов
• год
• журнал
• DOI

Если два или более основных поля не совпадают, считайте цитату ненадежной.

Метод 4: Использование инструмента для проверки цитат

Ручная проверка работает, но быстро замедляется. Если у вас 10, 20 или 50 ссылок, это становится утомительным, и легко пропустить ошибки.

Вставьте полный список ссылок в Citely's Citation Checker.

Citely помогает проверять ссылки по академическим источникам и выделяет:

• несоответствия в названиях
• несоответствия в авторах
• несоответствия в годах
• подозрительные или неполные записи

Это особенно полезно, когда вы проверяете ссылки, сгенерированные ChatGPT, Claude или Gemini, партиями, а не по одной.

Что делать, если цитата фейковая

Если цитата не проходит проверку, не просто удаляйте ее и двигайтесь дальше. Вам все еще нужно решить, является ли базовое утверждение действительным.

У вас есть три основных варианта:

Вариант 1: Найти реальный подтверждающий источник

Иногда утверждение является действительным, но ИИ выдумал ссылку.

В этом случае возьмите само утверждение и используйте Citely's Source Finder, чтобы найти реальную статью, которая его подтверждает.

Это хорошо работает, когда у вас есть:

• предложение в черновике
• утверждение из сгенерированного ИИ абзаца
• статистика без надежного источника

Вариант 2: Переформулировать утверждение

Если вы не можете найти надежный источник для точного утверждения, переформулируйте его более осторожно.

Вместо того чтобы преувеличивать уверенность, согласуйте предложение с тем, что подтверждает фактическая литература.

Вариант 3: Удалить утверждение

Если цитата фейковая и нет надежного источника, подтверждающего этот момент, удалите утверждение. Это лучше, чем оставлять неподтвержденный материал в вашей работе.

Ручная проверка против использования программы для проверки цитат

Подход	Лучше всего подходит для	Основной недостаток
Поиск названия в Google Scholar	1-3 цитаты	Медленно для больших списков
Проверка DOI	Цитаты с присутствующим DOI	Пропускает искажения названия/автора
Сравнение метаданных	Тщательный ручной обзор	Трудоемко и повторяемо
Citely Citation Checker	Полные списки ссылок, библиографии, сгенерированные ИИ	Все еще требует человеческого суждения по помеченным элементам

Когда следует быть особенно осторожным

Вы должны быть особенно осторожны с цитатами, сгенерированными ИИ, в следующих ситуациях:

• обзоры литературы
• диссертации и тезисы
• заявки на гранты
• публикации в журналах
• медицинские или политические тексты
• совместные черновики, где ссылки поступили от нескольких человек

Чем важнее документ, тем менее приемлемо считать, что библиография «вероятно, в порядке».

Простое правило, которому нужно следовать

Используйте ИИ для ускорения генерации идей, если это вам помогает.

Не используйте сгенерированные ИИ ссылки в качестве окончательных, если они не были проверены.

Эта одна привычка предотвратит большинство проблем с фейковыми цитатами до того, как они дойдут до вашего профессора, редактора, рецензента или клиента.

Ключевые выводы

• Да, ChatGPT может генерировать фейковые цитаты, потому что он генерирует правдоподобный текст, а не проверяет каждую ссылку по живой академической базе данных.
• Фейковые цитаты часто частично правдоподобны, что делает их более опасными, чем очевидно неверные ссылки.
• Самые быстрые ручные проверки — это поиск по названию, проверка DOI и сравнение метаданных.
• Для более длинных списков ссылок программа для проверки цитат более эффективна и менее подвержена ошибкам, чем проверка каждой ссылки по отдельности.
• Если цитата фейковая, либо замените ее реальным подтверждающим источником, либо переформулируйте утверждение, либо полностью удалите утверждение.

👉 Проверьте свои ссылки здесь: citely.ai/citation-checker