제출 전 모든 참고문헌을 확인합니다 — 저의 정확한 워크플로우를 소개합니다

Dr. Emily Carteron 5 hours ago

저는 10년 넘게 동료 심사 저널에 논문을 게재해 왔습니다. 계산 언어학, 농업 AI, 수십 개의 하위 분야를 아우르는 융합 연구 등 제 참고문헌 목록은 보통 50~80개 항목에 달합니다. 그리고 고통스러운 경험을 통해 단 하나의 잘못된 참고문헌이 출판을 몇 주 지연시킬 수 있다는 것을 배웠습니다.

3년 전, Q1 저널에서 제가 6개월 동안 공들인 원고를 심사 전 거절했습니다. 이유는 방법론이나 연구 결과 때문이 아니었습니다. 참고문헌 목록에 있는 두 개의 참고문헌이 DOI와 일치하지 않았기 때문입니다. 하나는 출판 연도가 틀렸고, 다른 하나는 완전히 다른 논문을 가리키고 있었습니다. 편집자의 메모는 단도직입적이었습니다: "모든 참고문헌을 확인하고 다시 제출해 주십시오."

그 거절로 인해 저는 수정 주기를 놓쳤고, 그 사이에 다른 그룹이 유사한 연구 결과를 발표했기 때문에 아마도 우선권 주장도 잃었을 것입니다. 그 이후로 저는 제출 전에 모든 참고문헌을 하나도 빠짐없이 확인합니다. 예외는 없습니다. 제가 개발한 워크플로우를 소개합니다.

참고문헌 오류가 생각보다 흔한 이유

대부분의 연구자들은 인용 관리 도구를 사용했기 때문에 참고문헌 목록이 정확하다고 생각합니다. Zotero, Mendeley, EndNote와 같은 도구들은 참고문헌을 정리하는 데 탁월하지만, 완벽하지는 않습니다.

오류가 발생하는 일반적인 방법:

인용 관리 도구 동기화 문제. Google Scholar에서 논문을 가져왔는데, 메타데이터가 약간 틀린 경우입니다. 중간 이니셜이 누락되었거나, 출판사의 공식 제목과 일치하지 않는 약어 저널 이름, 출판 연도 대신 사전 인쇄 연도가 기재된 경우 등입니다. 인용 관리 도구는 확인 없이 받은 정보를 그대로 저장합니다.

공동 저자 기여. 다중 저자 논문에서는 여러 사람이 참고문헌을 추가합니다. 박사후 연구원이 기억에 의존하여 인용을 붙여넣거나, 공동 연구자가 다른 메타데이터 소스를 사용하는 다른 인용 관리 도구를 사용하거나, 학생이 ChatGPT가 제안한 참고문헌을 추가하는데, 그 중 일부는 아예 존재하지 않는 경우도 있습니다.

원고 간 복사-붙여넣기. 연구 제안서나 이전 논문에서 문헌 검토 섹션을 재사용하는 경우입니다. 원래 맥락에서는 참고문헌이 정확했지만, 이제는 오래된 DOI, 철회된 논문, 또는 새로운 대상 저널의 스타일과 일치하지 않는 형식을 가질 수 있습니다.

AI 작성 지원. AI를 사용하여 참고문헌을 생성하지 않더라도, 인용이 포함된 단락을 작성하는 데 AI의 도움을 받을 수 있습니다. AI는 때때로 인용을 조용히 수정합니다. 연도를 변경하거나 저자 이름을 바꾸는 등, 언뜻 보기에는 정확해 보이는 방식으로 말입니다.

저는 제 원고나 제가 검토한 논문에서 이 모든 경우를 겪어봤습니다. 이것들은 부주의의 징후가 아니라, 현대의 다중 도구, 다중 저자 작성 워크플로우의 증상입니다.

제출 전 참고문헌 확인 워크플로우

저는 모든 원고에 대해 이 작업을 수행하며, 보통 제출 이틀 전에 합니다. 제출 전날 밤에는 하지 않습니다. 그 교훈도 배웠으니까요.

1단계: 참고문헌 목록을 일반 텍스트로 내보내기

원고의 전체 참고문헌 목록을 깔끔한 텍스트 파일로 복사합니다. 서식 없이, Zotero 필드 없이, 제출될 PDF에 나타날 각 참고문헌의 원시 텍스트만 복사합니다.

왜 일반 텍스트인가요? 심사자가 보는 것을 확인하고 싶기 때문입니다. 제 인용 관리 도구가 생각하는 것이 아니라요. Zotero와 내보낸 참고문헌 목록 사이에 동기화 오류가 있다면, 이 단계에서 이를 잡아냅니다.

2단계: 자동 DOI 및 메타데이터 확인

전체 참고문헌 목록을 Citely의 Citation Checker에 붙여넣습니다. 이 도구는 각 참고문헌을 분석하고, CrossRef에서 DOI를 찾아 저자 이름, 제목, 저널, 연도, 권, 페이지 등 메타데이터 필드를 하나하나 비교합니다.

제출 전 참고문헌 확인 실행

이 단계는 일반적으로 60개 참고문헌 목록의 경우 1분도 채 걸리지 않습니다. 이 단계에서 다음을 잡아냅니다:

해결되지 않는 DOI (조작되었거나 오타)
설명된 논문과 다른 논문으로 연결되는 DOI
잘못된 출판 연도 (제가 가장 흔하게 보는 오류)
저자 이름 불일치
저널 제목 불일치

평균적으로 저는 모든 원고에서 2~4개의 문제를 발견합니다. 제가 부주의해서가 아니라, 현대 학술 글쓰기 파이프라인에는 수동 확인으로는 모든 것을 잡아내기에는 너무 많은 오류 지점이 있기 때문입니다.

3단계: 플래그 지정된 참고문헌 수동 검토

자동 확인은 주의가 필요한 참고문헌에 플래그를 지정합니다. 플래그 지정된 각 항목에 대해 저는 다음을 수행합니다:

브라우저에서 DOI 링크를 열어 실제로 어떤 논문을 가리키는지 확인합니다.
제가 인용하려던 논문과 DOI가 연결되는 논문을 비교합니다.
불일치를 수정합니다. 보통 연도를 수정하거나, DOI를 업데이트하거나, 참고문헌을 완전히 교체하는 방식입니다.

대부분의 수정은 사소합니다. 잘못된 연도, 누락된 페이지 번호 등입니다. 하지만 1년에 한두 번은 전혀 확인할 수 없는 참고문헌을 발견합니다. 논문이 존재하지 않는 것처럼 보이는 경우입니다. 이것은 항상 공동 저자가 확인 없이 AI 도구에서 참고문헌을 추가한 경우로 거슬러 올라갑니다. 이제 우리 연구실에는 이에 대한 정책이 있습니다.

4단계: 철회된 논문 확인

이 단계는 DOI 확인과는 별개입니다. 논문은 유효한 DOI와 정확한 메타데이터를 가질 수 있지만, 철회되었을 수도 있습니다.

저는 제 주장의 근거가 되는 가장 중요한 참고문헌들을 Retraction Watch와 비교하여 무작위로 확인합니다. 전체 목록의 경우, CrossRef의 메타데이터를 확인하는데, 여기에는 많은 출판사의 철회 공지가 포함되어 있습니다.

철회된 논문을 인용하는 것은 단순히 당황스러운 일이 아닙니다. 일부 분야에서는 자신의 연구의 진실성에 대한 편집상의 우려의 근거가 됩니다.

5단계: 대상 저널에 대한 형식 확인

이것은 지루한 단계이지만, 편집자들은 신경 씁니다. 각 저널은 고유한 참고문헌 스타일을 가지고 있습니다. 저자 이름 형식, 저널 약어 규칙, DOI 표시 형식, "et al." 사용 임계값 등입니다.

저는 3~4개의 참고문헌을 저널의 출판된 논문과 비교하여 제 형식이 일치하는지 확인합니다. 저널이 약어 저널 이름을 사용하는 경우, 모든 약어가 ISO 4 표준(또는 저널이 지정한 표준)을 따르는지 확인합니다.

저는 이 단계에 자동화된 도구를 사용하지 않습니다. 최근 호와 육안으로 비교하는 것이 더 빠르다고 생각합니다. 하지만 일부 동료들은 Scribbr 또는 유사한 서식 검사기를 사용한다고 알고 있습니다.

6단계: 본문 내 인용 최종 검토

마지막 단계: 원고를 읽으면서 모든 본문 내 인용(Smith et al., 2024)이 참고문헌 목록의 항목과 일치하는지, 그리고 그 반대도 마찬가지인지 확인합니다. 고아 인용(참고문헌 목록에는 있지만 본문에서는 인용되지 않은 참고문헌)은 심사자들에게 위험 신호입니다. 참고문헌 목록에 없는 본문 내 인용도 마찬가지입니다.

대부분의 워드 프로세서는 인용 도구를 올바르게 사용하면 이러한 불일치를 표시합니다. 하지만 인용을 수동으로 편집한 경우(저는 항상 서식 문제로 인해 그렇게 합니다), 이 단계에서 소프트웨어가 놓치는 부분을 잡아냅니다.

소요 시간

50~70개의 참고문헌이 있는 일반적인 원고의 경우:

단계	시간
내보내기 및 준비	5분
자동 확인 (Citely)	1–2분
플래그 지정된 항목 수동 검토	10–20분
철회 확인	5–10분
형식 확인	15–20분
본문 내 인용 교차 확인	10–15분
총계	45–75분

약 1시간의 작업입니다. 심사 전 거절로 인해 잃을 수 있는 몇 주 또는 몇 달과 비교하면 계산은 명확합니다.

2단계에 자동화된 도구를 사용하기 전에는 수동 DOI 확인만으로 2~3시간이 걸렸습니다. doi.org에서 각 DOI를 수동으로 확인하고, CrossRef 기록과 메타데이터를 비교하고, 불일치를 문서화하는 것은 철저했지만 지속 불가능했습니다. 자동화된 단계는 전체 워크플로우를 반나절에서 약 1시간으로 단축했습니다.

제 대학원생들에게 하는 말

저는 연구실을 감독하고 있으며, 논문을 제출하는 모든 학생은 참고문헌 검증 교육을 받습니다. 규칙은 간단합니다:

확인하지 않은 참고문헌이 있는 논문은 절대 제출하지 마세요. 워크숍에도, 사전 인쇄물에도 제출하지 마세요. 당신의 이름이 걸려 있습니다.
논문의 일부를 작성하는 데 AI를 사용했다면, 모든 참고문헌을 두 번 확인하세요. AI 도구는 실제 저자와 실제 저널을 인용하지만 잘못 조합된, 그럴듯해 보이는 인용을 생성합니다. 이러한 키메라 참고문헌은 육안으로는 거의 잡아내기 불가능합니다.
원고를 저에게 보여주기 전에 전체 참고문헌 목록을 자동 검사기로 돌려보세요. 제가 DOI 오류를 잡아내는 사람이 되어서는 안 됩니다. 2026년에는 이미 해결된 문제입니다.
인용 관리 도구를 깨끗하게 유지하세요. 참고문헌을 가져올 때, 출판사 페이지와 메타데이터를 확인하세요. 가져올 때 하면 참고문헌당 30초가 걸립니다. 마감 전에 지저분한 라이브러리를 수정하려면 훨씬 더 오래 걸립니다.
읽지 않은 논문은 인용하지 마세요. 이것은 당연하게 들리지만, 특히 문헌 검토 섹션에서 "관련성 있는" 논문으로 참고문헌 목록을 채우고 싶은 유혹은 현실적입니다. 논문의 주요 주장을 요약할 수 없다면 인용하지 마세요.

다중 저자 원고에 대한 참고 사항

참고문헌 검증 문제는 저자가 많아질수록 기하급수적으로 악화됩니다. 세 기관에서 온 다섯 명의 공동 저자가 있는 논문에서는 각 사람이 다른 인용 관리 도구, 다른 메타데이터 소스, 그리고 AI 도구 사용에 대한 다른 습관을 가질 수 있습니다.

우리 다중 저자 프로젝트에서 효과적인 방법:

한 사람이 참고문헌 목록을 담당합니다. 보통 교신 저자 또는 원고 파일을 관리하는 사람입니다. 모든 참고문헌 추가는 그 사람을 통해 이루어집니다.
참고문헌 검증은 최종 버전이 완성된 후에 이루어집니다. 각 개별 기여 후에 하는 것이 아닙니다. 중간 초안을 확인하는 것은 헛수고입니다.
우리는 Citely 검증 보고서를 제출 전에 모든 공동 저자와 공유하여 모든 사람이 플래그 지정된 항목을 검토하고 자신의 기여가 깨끗한지 확인할 수 있도록 합니다.

제가 수년 동안 발견한 일반적인 오류

참고문헌 검증이 실제로 무엇을 찾아내는지 알려드리기 위해:

잘못된 연도 (가장 흔함). 2023년 논문이 2024년으로 인용되거나 그 반대인 경우입니다. 보통 온라인 선공개와 인쇄 출판일 사이의 혼동으로 인해 발생합니다. "사전 액세스" 출판을 사용하는 저널이 특히 이런 경향이 있습니다.

저자 이름 대체. "Kim, J." 대신 "Kim, S." — 이니셜 하나 차이입니다. 이는 인용 관리 도구가 저자 이름을 다르게 기록하는 다른 소스(CrossRef vs. Google Scholar vs. PubMed)에서 메타데이터를 가져올 때 발생합니다.

저널 제목 불일치. "Journal of Machine Learning Research" 대신 "Journal of Machine Learning" — 비슷하지만 같은 저널이 아닙니다. 두 번째 저널은 존재하지 않습니다. 이것은 전형적인 AI 환각 패턴입니다.

잘못된 논문을 가리키는 DOI. DOI는 유효하지만 같은 저널의 다른 논문에 속합니다. 보통 한 참고문헌의 DOI가 실수로 다른 참고문헌에 할당된 복사-붙여넣기 오류로 인해 발생합니다.

철회된 논문이 공지 없이 인용됨. 두 번이나 저희 참고문헌에 추가된 후 철회된 논문에 대한 인용을 발견했습니다. 두 경우 모두 철회는 작성 기간 동안 발생했으며 저희는 알아차리지 못했습니다.

핵심 요약

참고문헌 오류는 현대 학술 글쓰기에서 만연합니다. 다중 저자 워크플로우, 인용 관리 도구 동기화 문제, AI 작성 도구는 모두 수동으로 잡아내기 어려운 오류를 유발합니다.
체계적인 제출 전 참고문헌 확인은 60개 참고문헌 논문의 경우 약 1시간이 소요되며, 심사 전 거절로 인한 몇 주간의 지연을 방지할 수 있습니다.
Citely와 같은 자동 검증 도구는 참고문헌을 CrossRef 기록과 일괄 비교하여 수동 DOI 확인 단계를 몇 시간에서 몇 분으로 단축합니다.
가장 흔한 오류는 잘못된 출판 연도, 저자 이름 대체, 저널 제목 불일치이며, 이 모든 것은 자동 메타데이터 비교로 감지할 수 있습니다.
다중 저자 논문의 경우, 한 사람을 참고문헌 목록 담당자로 지정하고 최종 버전이 완성된 후에 검증을 수행하세요.

👉 다음 제출 전에 참고문헌 목록을 확인하세요 ✨