ChatGPT가 가짜 인용을 생성할 수 있을까요? (그리고 확인 방법)

네, ChatGPT는 가짜 인용을 생성할 수 있습니다.

ChatGPT, Claude, 또는 Gemini에서 복사한 참고 문헌을 확인하지 않고 초안에 붙여넣은 적이 있다면, 실제 위험을 감수하고 있는 것입니다. 위험은 가짜 인용이 명백히 잘못되어 보이지 않는다는 점에 있습니다. 위험은 종종 완전히 믿을 수 있게 보인다는 점입니다: 실제 같은 저자 이름, 그럴듯한 논문 제목, 익숙한 저널 이름, 심지어는 언뜻 보기에 정확해 보이는 DOI 문자열까지 말이죠.

이것이 가짜 인용이 학술 글쓰기에서 그토록 위험한 이유입니다. 학생, 연구원, 편집자 또는 검토자는 참고 문헌을 보고 모든 것이 괜찮다고 생각할 수 있지만, 논문을 열어보려 할 때 존재하지 않는다는 것을 발견하게 됩니다.

AI를 브레인스토밍, 개요 작성, 요약 또는 초안 작성에 사용한다면, 모든 AI 생성 인용은 직접 확인하기 전까지는 검증되지 않았다고 가정해야 합니다.

10초 답변

가장 짧은 답변을 원한다면:

• 네, ChatGPT는 가짜 인용을 생성할 수 있습니다.
• 네, Claude와 Gemini도 마찬가지입니다.
• 아니요, 검증 없이 AI 생성 참고 문헌을 신뢰해서는 안 됩니다.
• 가장 안전한 다음 단계는 제출 전에 수동으로 인용을 확인하거나 인용 검사기를 사용하는 것입니다.

증거가 보여주는 것

이것은 단지 이론적인 우려가 아닙니다.

2023년 Scientific Reports 연구는 ChatGPT가 생성한 서지 인용을 조사하여 조작된 참고 문헌과 메타데이터 오류를 모두 발견했습니다. 이후 2024년 다학제 연구 또한 학술 글쓰기에서 LLM이 생성한 인용 및 참고 문헌의 신뢰성을 평가했습니다. 대학 도서관 지침은 동일한 문제에 대해 경고해 왔습니다: USC Libraries 생성 AI 연구 가이드는 LLM이 허구적인 인용 및 출판물을 환각할 수 있다고 명시적으로 언급합니다.

다시 말해, "AI 생성 가짜 참고 문헌"은 더 이상 일화적인 불평이 아닙니다. 이는 학술 워크플로우에서 문서화된 신뢰성 문제입니다.

ChatGPT가 가짜 인용을 생성할 수 있는 이유

ChatGPT는 언어 모델입니다. 주요 역할은 패턴을 기반으로 그럴듯한 텍스트를 생성하는 것이지, 모든 서지 세부 정보를 실시간 학술 데이터베이스와 대조하여 확인하는 것이 아닙니다.

즉, 참고 문헌을 요청할 때 모델은 인용의 형태를 학습했기 때문에 인용처럼 보이는 것을 생성할 수 있습니다:

• 저자 이름
• 출판 연도
• 저널 제목
• 논문 제목
• 권호 및 페이지 번호
• DOI와 유사한 문자열

그러나 "인용처럼 보인다"는 "실제로 출판된 출처이다"와는 다릅니다.

이것이 사용자들이 종종 세 가지 다른 실패 모드를 겪는 이유입니다:

1. 완전히 조작된 인용

인용의 어떤 부분도 실제가 아닙니다. 제목, 저자 조합 또는 저널 참조가 학술 기록에 존재하지 않습니다.

2. 부분적으로 정확한 인용

일부 요소는 실제이지만 전체 인용은 잘못되었습니다. 예를 들어:

• 저널은 실제이지만 논문 제목은 지어낸 것입니다.
• 논문은 존재하지만 연도가 잘못되었습니다.
• 제목은 비슷하지만 저자 목록이 다릅니다.

3. 왜곡된 실제 논문

모델이 실제 논문을 불완전하게 "기억"할 수 있습니다. 결과적으로 대략적으로 올바른 방향을 가리키지만, 참고 문헌에 사용하기에는 충분히 정확하지 않은 인용이 생성됩니다.

가짜 인용이 중요한 이유

많은 사용자들이 인용 오류를 사소한 형식 문제로 취급합니다. 그렇지 않습니다.

학술 작업에 가짜 또는 지원되지 않는 참고 문헌을 포함하면 최소한 네 가지 위험이 발생합니다:

학술적 신뢰성 위험

교수, 편집자 또는 검토자가 참고 문헌을 확인하고 찾을 수 없다면, 나머지 작업에 대한 신뢰는 즉시 떨어집니다.

무결성 위험

가짜 인용이 AI에 의해 우발적으로 생성되었더라도, 제출된 논문에는 여전히 당신의 이름으로 된 잘못된 참고 문헌이 포함되어 있습니다.

워크플로우 위험

하나의 가짜 인용은 연쇄 반응을 일으킬 수 있습니다:

• 검토자들이 설명을 요구합니다.
• 수정 작업이 지연됩니다.
• 공동 작업자들이 초안에 대한 신뢰를 잃습니다.
• 마감 압력 속에서 전체 참고 문헌을 다시 확인하는 데 시간을 낭비합니다.

연구 품질 위험

출처가 존재하지 않는다면, 그것이 뒷받침해야 했던 주장은 지원되지 않거나, 오해의 소지가 있거나, 단순히 틀렸을 수도 있습니다.

가짜 인용은 보통 어떻게 생겼을까

가짜 인용은 종종 무작위적인 헛소리가 아닙니다. 보통 다음과 같은 특징 중 하나 이상을 가지고 있습니다:

• 세련되고 학술적으로 들리는 논문 제목
• 실제처럼 들리지만 약간 어긋난 저널 이름
• 그럴듯해 보이지만 실제 논문과 일치하지 않는 저자 이름
• 올바른 패턴을 따르지만 해결되지 않는 DOI
• 여러 다른 논문에서 가져온 실제 메타데이터의 조합

마지막 항목은 특히 위험합니다. 가짜 인용은 다음을 결합할 수 있습니다:

• 실제 주제
• 실제 저자 성
• 실제 저널
• 그리고 존재하지 않는 논문

언뜻 보기에는 합법적으로 보입니다.

ChatGPT, Claude 또는 Gemini에서 생성된 인용을 확인하는 방법

다음은 학생, 연구원 및 학술 작가에게 유용한 실용적인 워크플로우입니다.

방법 1: Google Scholar에서 전체 제목 검색

정확한 제목을 따옴표로 묶어 Google Scholar에서 검색합니다.

일치하는 논문이 나타나지 않으면 해당 인용은 가짜이거나 심하게 왜곡되었을 가능성이 높습니다.

이것은 몇 개의 참고 문헌만 다룰 때 가장 빠른 1차 확인 방법입니다.

방법 2: DOI 확인

인용에 DOI가 포함되어 있다면, 올바르게 해결되는지 확인합니다.

세 가지 일반적인 결과:

• 정확한 논문으로 해결됩니다: 좋은 신호
• 다른 논문으로 해결됩니다: 인용이 잘못되었습니다.
• 전혀 해결되지 않습니다: DOI가 가짜이거나 형식이 잘못되었습니다.

방법 3: 메타데이터 필드별 비교

비슷한 논문을 찾았더라도 거기서 멈추지 마십시오. 다음을 비교하십시오:

• 제목
• 저자 목록
• 연도
• 저널
• DOI

두 개 이상의 핵심 필드가 일치하지 않으면 해당 인용을 신뢰할 수 없는 것으로 간주하십시오.

방법 4: 인용 검증 도구 사용

수동 확인은 효과적이지만 빠르게 느려집니다. 10개, 20개 또는 50개의 참고 문헌이 있다면 지루하고 오류를 놓치기 쉽습니다.

전체 참고 문헌 목록을 Citely의 Citation Checker에 붙여넣으십시오.

Citely는 학술 출처와 대조하여 참고 문헌을 확인하고 다음을 강조합니다:

• 제목 불일치
• 저자 불일치
• 연도 불일치
• 의심스럽거나 불완전한 항목

이는 ChatGPT, Claude 또는 Gemini에서 생성된 참고 문헌을 하나씩이 아니라 일괄적으로 확인할 때 특히 유용합니다.

인용이 가짜일 경우 어떻게 해야 할까

인용이 검증에 실패하면 단순히 삭제하고 넘어가지 마십시오. 여전히 근본적인 주장이 유효한지 결정해야 합니다.

세 가지 주요 옵션이 있습니다:

옵션 1: 실제 뒷받침 출처 찾기

때로는 주장은 유효하지만 AI가 참고 문헌을 조작한 경우도 있습니다.

이 경우, 주장 자체를 가져와 Citely의 Source Finder를 사용하여 이를 뒷받침하는 실제 논문을 찾으십시오.

이것은 다음과 같은 경우에 잘 작동합니다:

• 초안의 문장
• AI 생성 단락의 주장
• 신뢰할 수 있는 출처가 없는 통계

옵션 2: 주장을 다시 작성

정확한 주장에 대한 강력한 출처를 찾을 수 없다면, 더 신중하게 다시 작성하십시오.

확실성을 과장하기보다는, 실제 문헌이 뒷받침하는 내용에 맞춰 문장을 조정하십시오.

옵션 3: 주장 제거

인용이 가짜이고 해당 요점을 뒷받침할 확실한 출처가 없다면, 해당 진술을 제거하십시오. 이는 논문에 지원되지 않는 자료를 유지하는 것보다 낫습니다.

수동 확인 vs 인용 검사기 사용

접근 방식	가장 적합한 경우	주요 단점
Google Scholar 제목 검색	1-3개 인용	더 많은 목록에는 느림
DOI 확인	DOI가 있는 인용	제목/저자 왜곡을 놓칠 수 있음
메타데이터 비교	신중한 수동 검토	시간 소모적이고 반복적임
Citely Citation Checker	전체 참고 문헌 목록, AI 생성 서지	플래그 지정된 항목에 대한 인간의 판단이 여전히 필요함

특히 조심해야 할 때

다음과 같은 상황에서는 AI 생성 인용에 특히 주의해야 합니다:

• 문헌 검토
• 학위 논문 및 석사 논문
• 연구 제안서
• 저널 제출
• 의학 또는 정책 관련 글쓰기
• 여러 사람으로부터 참고 문헌이 온 공동 초안

문서가 중요할수록 서지가 "아마 괜찮을 것"이라고 가정하는 것은 덜 용납됩니다.

따라야 할 간단한 규칙

아이디어 구상에 도움이 된다면 AI를 사용하여 속도를 높이십시오.

AI 생성 참고 문헌이 검증되지 않았다면 최종 참고 문헌으로 사용하지 마십시오.

이 한 가지 습관이 교수, 편집자, 검토자 또는 고객에게 도달하기 전에 대부분의 가짜 인용 문제를 예방할 것입니다.

핵심 요점

• 네, ChatGPT는 실제 학술 데이터베이스와 모든 참고 문헌을 대조하여 검증하기보다는 그럴듯한 텍스트를 생성하기 때문에 가짜 인용을 생성할 수 있습니다.
• 가짜 인용은 종종 부분적으로 믿을 수 있기 때문에 명백히 잘못된 참고 문헌보다 더 위험합니다.
• 가장 빠른 수동 확인은 제목 검색, DOI 확인 및 메타데이터 비교입니다.
• 더 긴 참고 문헌 목록의 경우, 인용 검사기가 각 참고 문헌을 하나씩 확인하는 것보다 더 효율적이고 오류가 적습니다.
• 인용이 가짜인 경우, 실제 뒷받침 출처로 대체하거나, 주장을 다시 작성하거나, 주장을 완전히 제거하십시오.

👉 여기서 참고 문헌을 확인하세요: citely.ai/citation-checker