ChatGPT выдал ссылки? Вот как проверить, реальны ли они

Вы попросили ChatGPT предложить ссылки для вашей исследовательской работы. Он выдал десять. Они выглядят идеально — правильные имена авторов, правдоподобные названия журналов, реалистичные годы, корректно отформатированные DOI. Вы вставляете их в свою библиографию и продолжаете работу.

Три из этих ссылок не существуют.

Это не гипотетическая ситуация. Это происходит постоянно. Большие языковые модели не ищут статьи в базе данных — они предсказывают, как должна выглядеть ссылка, основываясь на паттернах в своих обучающих данных. Результатом является текст, который соответствует всем правилам форматирования, но указывает на статьи, которые никогда не были опубликованы.

Если ваш профессор, рецензент или редактор журнала проверит эти ссылки, в лучшем случае это будет неловкость. В худшем случае — отказ в публикации, расследование академической недобросовестности или отозванная статья.

Вот как обнаружить подделки, прежде чем это сделает кто-либо другой.

Почему ChatGPT генерирует поддельные ссылки

ChatGPT не имеет доступа к академической базе данных. Когда вы запрашиваете ссылку, он генерирует следующий правдоподобный токен в последовательности — имя первого автора, год, название журнала, префикс DOI — не проверяя, соответствуют ли эти части реальной публикации.

Это создает три типа поддельных ссылок:

Полностью вымышленные. Статья вообще не существует. Название, авторы и журнал полностью сгенерированы с нуля. Поиск в Google Scholar или CrossRef ничего не дает.

Ссылки-химеры. Модель комбинирует реальные элементы из разных статей. Автор реален и публикуется в цитируемом журнале. Журнал реален. Но конкретная статья — этот автор, это название, этот год — не существует. Этот тип опасен, потому что частичная проверка проходит успешно.

Искаженные ссылки. Реальная статья существует, но ChatGPT допускает одну или несколько ошибок в деталях — год отличается на единицу, имя соавтора написано с ошибкой, или в DOI перепутана цифра. Ссылка почти соответствует реальной публикации.

Шаг 1: Не доверяйте, проверяйте

Первое правило простое: относитесь к каждой сгенерированной ИИ ссылке как к непроверенной, пока вы лично не подтвердите ее существование.

Это применимо независимо от того, какую модель ИИ вы использовали. GPT-4, Claude, Gemini, Perplexity — все они могут генерировать и генерируют сфабрикованные ссылки. Модели с возможностями веб-поиска уменьшают, но не устраняют проблему.

Шаг 2: Быстрая проверка — поиск по названию

Скопируйте точное название каждой ссылки и найдите его в Google Scholar. Используйте кавычки для точного совпадения:

"Adaptive neural frameworks for multilingual sentiment analysis"

Если Google Scholar возвращает ноль результатов для точного названия, статья почти наверняка не существует. Переместите ее в свой список "подозрительных".

Если Google Scholar возвращает результат, откройте его и убедитесь, что авторы, год и журнал совпадают с тем, что дал вам ChatGPT. Совпадающее название с другими авторами — это ссылка-химера.

Время на одну ссылку: 30-60 секунд.

Шаг 3: Проверка DOI

Если ссылка включает DOI, проверьте его на doi.org. Вставьте DOI в решатель.

Три возможных исхода:

• Переходит к правильной статье → ссылка, вероятно, реальна. Перепроверьте метаданные.
• Переходит к другой статье → ChatGPT присвоил неверный DOI. Описанная им статья может существовать или не существовать.
• "DOI не найден" → DOI сфабрикован. Ссылка поддельная.

Время на одну ссылку: 15-30 секунд.

Шаг 4: Пакетная проверка с помощью автоматизированного инструмента

Если ChatGPT дал вам более нескольких ссылок, проверять каждую вручную займет слишком много времени. Вставьте весь ваш список литературы в Citely's Citation Checker.

Инструмент анализирует каждую ссылку, запрашивает академические базы данных и сравнивает метаданные по полям. Для каждой ссылки он сообщает:

• Сходство названия — существует ли статья с таким названием?
• Сходство автора — совпадают ли имена авторов с записью в базе данных?
• Сходство даты — правилен ли год публикации?

Ссылки, набравшие 100% по всем трем параметрам, считаются проверенными. Все, что ниже, помечается для ручной проверки.

Время для 10 ссылок: менее 1 минуты.

Шаг 5: Замените подделки

Для каждой ссылки, не прошедшей проверку, у вас есть два варианта:

Вариант А: Найдите реальную статью. Поддельная ссылка ChatGPT часто содержит зерно истины — тема верна, имя автора реально, журнал существует. Используйте эти фрагменты для поиска фактической статьи, о которой "думал" ИИ.

Вставьте тему поддельной ссылки в Citely's Source Finder. Он ищет по CrossRef, PubMed, OpenAlex, arXiv и Google Scholar, чтобы найти реальные статьи, соответствующие предмету. Выберите наиболее релевантный результат и замените поддельную ссылку.

Вариант Б: Удалите ссылку. Если утверждение в вашей статье не нуждается в этой конкретной ссылке — или если вы не можете найти реальную статью, которая его подтверждает — полностью удалите ссылку. Перепишите предложение так, чтобы оно было самодостаточным, или сошлитесь на другой источник, который вы уже проверили.

Рабочий пример

Вот как выглядит типичная проверка ссылок ChatGPT на практике:

ChatGPT выдал вам:

Wang, L., & Martinez, R. (2023). Deep learning approaches to automated essay scoring: A comprehensive survey. Journal of Educational Technology, 45(2), 189-215. doi:10.1016/j.jedtech.2023.04.012

Шаг 1 — Поиск по названию: Google Scholar возвращает ноль результатов для этого точного названия. Подозрительно.

Шаг 2 — Проверка DOI: doi.org возвращает "DOI не найден". DOI сфабрикован.

Шаг 3 — Проверка автора: L. Wang — реальный исследователь, который публикуется по темам NLP. R. Martinez публикуется в области образовательных технологий. Но они никогда не были соавторами этой статьи.

Вердикт: Ссылка-химера. ИИ объединил реальные имена авторов с правдоподобной, но вымышленной статьей.

Исправление: Найдите "deep learning automated essay scoring survey" в Source Finder. Найдите реальную обзорную статью по этой теме. Замените поддельную ссылку на реальную.

Как использовать ChatGPT для ссылок, не обжигаясь

Вам не нужно полностью отказываться от использования ИИ. Вот рабочий процесс, который дает преимущества без риска:

1. Используйте ИИ для поиска, а не для цитирования. Спросите ChatGPT: "Какие ключевые статьи по [теме]?" Используйте его предложения в качестве поисковых запросов, а не в качестве цитат. Затем найдите фактические статьи самостоятельно.

2. Никогда не копируйте и не вставляйте ссылки ИИ напрямую в свою библиографию. Всегда сначала проверяйте, потом цитируйте.

3. Спрашивайте ChatGPT о стратегиях поиска вместо ссылок. "Какие ключевые слова мне следует искать в Google Scholar, чтобы найти статьи по [теме]?" — это более безопасный запрос, чем "Дай мне 5 ссылок по [теме]".

4. Выполните пакетную проверку перед отправкой. Даже если вы думаете, что все проверили, пропустите весь свой список литературы через Citation Checker в качестве последней страховки. Он обнаруживает ошибки, которые вы могли пропустить — включая ссылки, которые были правильными, когда вы их добавили, но с тех пор были отозваны.

Что ваш профессор уже проверяет

Если вы думаете, что никто не заметит, учтите следующее:

• Многие университеты теперь требуют от студентов проверять контент, сгенерированный ИИ, включая списки литературы.
• Редакторы журналов все чаще проводят выборочные проверки представленных списков литературы.
• Одна поддельная ссылка может вызвать проверку на академическую добросовестность.
• Retraction Watch публикует случаи отзыва статей из-за сфабрикованных ссылок.

Стоимость проверки — минуты. Стоимость непроверки — потенциально ваша академическая карьера.

Ключевые выводы

• ChatGPT и другие LLM генерируют три типа поддельных цитат: полностью вымышленные статьи, ссылки-химеры, объединяющие реальные элементы, и искаженные цитаты с небольшими ошибками — ни одна из них не извлекается из баз данных, это статистически сгенерированный текст.
• Всегда относитесь к сгенерированным ИИ ссылкам как к непроверенным — ищите каждое название в Google Scholar и проверяйте каждый DOI на doi.org, прежде чем добавлять в свою библиографию.
• Для более чем нескольких ссылок используйте автоматизированный проверщик цитат для пакетной проверки всего вашего списка менее чем за минуту — ручная проверка в масштабе непрактична.
• При обнаружении поддельной ссылки либо найдите реальную статью, которую ИИ аппроксимировал (используя обратный поиск цитат), либо полностью удалите ссылку — никогда не оставляйте непроверенную ссылку в своей работе.
• Используйте ИИ для поиска литературы (стратегии поиска, предложения тем), а не для прямого цитирования — это дает преимущества в эффективности без риска фальсификации.

Проверьте свои ссылки → citely.ai/citation-checker