ChatGPT가 준 참고문헌, 진짜인지 확인하는 방법

ChatGPT에게 연구 논문의 참고문헌을 추천해달라고 요청했습니다. 열 개의 참고문헌을 받았는데, 완벽해 보입니다. 적절한 저자 이름, 그럴듯한 저널 제목, 현실적인 연도, 올바르게 형식화된 DOI까지. 이들을 참고문헌 목록에 붙여넣고 다음 작업으로 넘어갑니다.

하지만 그 참고문헌 중 세 개는 존재하지 않습니다.

이것은 가설이 아닙니다. 끊임없이 일어나는 일입니다. 대규모 언어 모델은 데이터베이스에서 논문을 찾아보는 것이 아니라, 훈련 데이터의 패턴을 기반으로 인용이 어떻게 보여야 할지 예측합니다. 그 결과는 모든 형식 규칙을 따르지만, 실제로는 출판된 적이 없는 논문을 가리키는 텍스트입니다.

만약 교수님, 심사위원, 또는 저널 편집자가 그 참고문헌들을 확인한다면, 최악의 경우 당황스러운 상황을 넘어 논문 심사 거절, 학술 윤리 조사, 또는 논문 철회로 이어질 수 있습니다.

다른 사람이 알아채기 전에 가짜를 잡아내는 방법은 다음과 같습니다.

ChatGPT가 가짜 참고문헌을 생성하는 이유

ChatGPT는 학술 데이터베이스에 접근할 수 없습니다. 인용을 요청하면, 실제 출판물과 일치하는지 확인하지 않고 다음으로 그럴듯한 토큰(첫 번째 저자 이름, 연도, 저널 제목, DOI 접두사 등)을 순서대로 생성합니다.

이로 인해 세 가지 유형의 가짜 참고문헌이 생성됩니다.

완전히 조작된 것. 논문 자체가 전혀 존재하지 않습니다. 제목, 저자, 저널 모두 처음부터 생성됩니다. Google Scholar나 CrossRef에서 검색해도 아무것도 나오지 않습니다.

키메라 참고문헌. 모델이 다른 논문의 실제 요소를 결합합니다. 저자는 실존하며 인용된 저널에 논문을 게재합니다. 저널도 실제 존재합니다. 하지만 그 특정 논문(그 저자, 그 제목, 그 연도)은 존재하지 않습니다. 부분적인 확인이 성공하기 때문에 이 유형은 위험합니다.

왜곡된 참고문헌. 실제 논문이 존재하지만, ChatGPT가 하나 이상의 세부 정보를 잘못 기재합니다. 연도가 한 해 틀리거나, 공동 저자의 이름이 오타이거나, DOI에 숫자가 바뀌어 있습니다. 이 참고문헌은 실제 출판물과 거의 일치합니다.

1단계: 맹신하지 말고, 확인하라

첫 번째 규칙은 간단합니다. AI가 생성한 모든 참고문헌은 직접 존재를 확인할 때까지 검증되지 않은 것으로 간주하십시오.

이는 어떤 AI 모델을 사용했는지에 관계없이 적용됩니다. GPT-4, Claude, Gemini, Perplexity — 이들 모두 가짜 인용을 생성할 수 있으며 실제로 생성합니다. 웹 검색 기능이 있는 모델은 문제를 줄여주지만 완전히 제거하지는 못합니다.

2단계: 빠른 확인 — 제목 검색

각 참고문헌의 정확한 제목을 복사하여 Google Scholar에서 검색하십시오. 정확한 일치를 위해 따옴표를 사용하십시오.

"Adaptive neural frameworks for multilingual sentiment analysis"

Google Scholar에서 정확한 제목에 대한 검색 결과가 0개라면, 해당 논문은 거의 확실히 존재하지 않습니다. "의심스러운" 목록으로 옮기십시오.

Google Scholar에서 결과가 나오면, 해당 결과를 열어 저자, 연도, 저널이 ChatGPT가 제공한 정보와 일치하는지 확인하십시오. 제목은 일치하지만 저자가 다른 경우 키메라 참고문헌입니다.

참고문헌당 소요 시간: 30-60초.

3단계: DOI 확인

참고문헌에 DOI가 포함되어 있다면, doi.org에서 확인하십시오. DOI를 리졸버에 붙여넣으십시오.

세 가지 가능한 결과:

• 정확한 논문으로 연결됨 → 참고문헌은 실제일 가능성이 높습니다. 메타데이터를 교차 확인하십시오.
• 다른 논문으로 연결됨 → ChatGPT가 잘못된 DOI를 할당했습니다. 설명된 논문은 존재할 수도 있고 존재하지 않을 수도 있습니다.
• "DOI not found" → DOI가 조작되었습니다. 참고문헌은 가짜입니다.

참고문헌당 소요 시간: 15-30초.

4단계: 자동화된 도구로 일괄 확인

ChatGPT가 몇 개 이상의 참고문헌을 제공했다면, 각 항목을 수동으로 확인하는 데 너무 많은 시간이 걸립니다. 전체 참고문헌 목록을 Citely의 Citation Checker에 붙여넣으십시오.

이 도구는 각 참고문헌을 분석하고, 학술 데이터베이스를 쿼리하며, 메타데이터 필드를 하나씩 비교합니다. 각 참고문헌에 대해 다음을 보고합니다.

• 제목 유사성 — 이 제목의 논문이 존재하는가?
• 저자 유사성 — 저자 이름이 데이터베이스 기록과 일치하는가?
• 날짜 유사성 — 출판 연도가 정확한가?

세 가지 차원에서 100% 점수를 받은 참고문헌은 검증된 것입니다. 그 이하의 점수를 받은 항목은 수동 검토를 위해 플래그가 지정됩니다.

10개 참고문헌당 소요 시간: 1분 미만.

5단계: 가짜 참고문헌 교체

검증에 실패한 각 참고문헌에 대해 두 가지 옵션이 있습니다.

옵션 A: 실제 논문 찾기. ChatGPT의 가짜 참고문헌은 종종 진실의 핵심을 포함합니다. 주제는 정확하고, 저자 이름은 실제이며, 저널은 존재합니다. 이러한 단편적인 정보를 사용하여 AI가 "생각했던" 실제 논문을 검색하십시오.

가짜 참고문헌의 주제를 Citely의 Source Finder에 붙여넣으십시오. Source Finder는 CrossRef, PubMed, OpenAlex, arXiv, Google Scholar를 통해 해당 주제와 일치하는 실제 논문을 검색합니다. 가장 관련성 높은 결과를 선택하고 가짜 인용을 교체하십시오.

옵션 B: 인용 제거. 논문의 주장이 특정 참고문헌을 필요로 하지 않거나, 주장을 뒷받침할 실제 논문을 찾을 수 없는 경우, 인용을 완전히 제거하십시오. 문장을 독립적으로 서술하도록 다시 작성하거나, 이미 검증한 다른 출처를 인용하십시오.

실제 예시

다음은 일반적인 ChatGPT 참고문헌 확인이 실제로 어떻게 이루어지는지 보여주는 예시입니다.

ChatGPT가 제공한 내용:

Wang, L., & Martinez, R. (2023). Deep learning approaches to automated essay scoring: A comprehensive survey. Journal of Educational Technology, 45(2), 189-215. doi:10.1016/j.jedtech.2023.04.012

1단계 — 제목 검색: Google Scholar에서 이 정확한 제목에 대한 검색 결과가 0개입니다. 의심스럽습니다.

2단계 — DOI 확인: doi.org에서 "DOI not found"가 반환됩니다. DOI가 조작되었습니다.

3단계 — 저자 확인: L. Wang은 NLP 주제로 논문을 발표하는 실제 연구자입니다. R. Martinez는 교육 기술 분야에서 논문을 발표합니다. 하지만 이들이 이 논문을 공동 저술한 적은 없습니다.

판정: 키메라 참고문헌. AI가 실제 저자 이름과 그럴듯하지만 가상의 논문을 결합했습니다.

해결책: Source Finder에서 "deep learning automated essay scoring survey"를 검색합니다. 이 주제에 대한 실제 서베이 논문을 찾습니다. 가짜 인용을 실제 인용으로 교체합니다.

ChatGPT를 활용하여 참고문헌을 안전하게 사용하는 방법

AI 사용을 완전히 중단할 필요는 없습니다. 위험 없이 이점을 얻을 수 있는 작업 흐름은 다음과 같습니다.

1. AI를 발견 도구로 사용하고, 인용 도구로 사용하지 마십시오. ChatGPT에게 "[주제]에 대한 주요 논문은 무엇인가요?"라고 물어보십시오. 그 제안을 검색어로 사용하고, 인용으로 사용하지 마십시오. 그런 다음 실제 논문을 직접 찾으십시오.

2. AI가 생성한 참고문헌을 참고문헌 목록에 직접 복사하여 붙여넣지 마십시오. 항상 먼저 확인하고, 그 다음에 인용하십시오.

3. 참고문헌 대신 검색 전략을 ChatGPT에게 물어보십시오. "5가지 참고문헌을 알려줘"보다 "[주제]에 대한 논문을 찾기 위해 Google Scholar에서 어떤 키워드를 검색해야 하나요?"라고 묻는 것이 더 안전한 프롬프트입니다.

4. 제출 전에 일괄 확인을 실행하십시오. 모든 것을 확인했다고 생각하더라도, 최종 안전망으로 전체 참고문헌 목록을 Citation Checker를 통해 실행하십시오. 이는 추가했을 때는 정확했지만 이후 철회된 참고문헌을 포함하여 놓쳤을 수 있는 오류를 잡아냅니다.

교수님이 이미 확인하고 있는 것

아무도 눈치채지 못할 것이라고 생각한다면 다음을 고려하십시오.

• 여러 대학에서 학생들이 참고문헌 목록을 포함한 AI 생성 콘텐츠를 확인하도록 요구하고 있습니다.
• 저널 편집자들은 제출된 참고문헌 목록에 대한 무작위 검사를 점점 더 많이 실행하고 있습니다.
• 단 하나의 가짜 인용도 학술 윤리 조사를 촉발할 수 있습니다.
• Retraction Watch는 조작된 참고문헌으로 인해 철회된 논문 사례를 게시합니다.

확인하는 데 드는 비용은 몇 분입니다. 확인하지 않는 데 드는 비용은 잠재적으로 당신의 학업 경력입니다.

핵심 요약

• ChatGPT 및 기타 LLM은 세 가지 유형의 가짜 인용을 생성합니다. 완전히 조작된 논문, 실제 요소를 결합한 키메라 참고문헌, 작은 오류가 있는 왜곡된 인용입니다. 이들 중 어떤 것도 데이터베이스에서 검색되는 것이 아니라 통계적으로 생성된 텍스트입니다.
• AI가 생성한 참고문헌은 항상 검증되지 않은 것으로 간주하십시오. 참고문헌 목록에 추가하기 전에 각 제목을 Google Scholar에서 검색하고 각 DOI를 doi.org에서 확인하십시오.
• 몇 개 이상의 참고문헌의 경우, 자동화된 인용 검사기를 사용하여 전체 목록을 1분 이내에 일괄 확인하십시오. 대규모 수동 확인은 비실용적입니다.
• 가짜 참고문헌이 발견되면, AI가 근사치로 제시한 실제 논문을 찾거나(역인용 검색 사용) 인용을 완전히 제거하십시오. 논문에 검증되지 않은 참고문헌을 남겨두지 마십시오.
• AI를 직접적인 인용보다는 문헌 발견(검색 전략, 주제 제안)에 사용하십시오. 이는 조작 위험 없이 효율성 이점을 얻을 수 있습니다.

참고문헌을 확인하세요 → citely.ai/citation-checker