ChatGPTが提示した参考文献は本物？その確認方法

ChatGPTに研究論文の参考文献を提案してもらったとします。10件の参考文献が提示され、著者名、ジャーナル名、発行年、DOIも適切にフォーマットされており、完璧に見えます。あなたはそれらを参考文献リストに貼り付け、次の作業に進みます。

しかし、そのうちの3つは存在しない参考文献です。

これは仮説ではありません。常に起こっていることです。大規模言語モデルは、データベースで論文を検索するのではなく、トレーニングデータ内のパターンに基づいて引用がどのように見えるべきかを予測します。その結果、すべてのフォーマット規則に従っているにもかかわらず、実際には出版されていない論文を指すテキストが生成されます。

もしあなたの教授、査読者、またはジャーナル編集者がこれらの参考文献をチェックした場合、最悪のケースは恥をかくことです。さらに悪いケースでは、デスクリジェクション、研究不正調査、または論文撤回につながる可能性があります。

ここでは、他の誰かが気づく前に偽物を発見する方法を紹介します。

ChatGPTが偽の参考文献を生成する理由

ChatGPTは学術データベースにアクセスできません。引用を求められたとき、それはシーケンス内の次のもっともらしいトークン（筆頭著者名、発行年、ジャーナル名、DOIプレフィックスなど）を生成しますが、それらの要素が実際の出版物に対応しているかどうかは確認しません。

これにより、3種類の偽の参考文献が生成されます。

完全に捏造されたもの。 論文自体が全く存在しません。タイトル、著者、ジャーナルはすべてゼロから生成されます。Google ScholarやCrossRefで検索しても何も見つかりません。

キメラ参考文献。 モデルが異なる論文からの実際の要素を組み合わせたものです。著者は実在し、引用されたジャーナルに論文を掲載しています。ジャーナルも実在します。しかし、その特定の論文（その著者、そのタイトル、その発行年）は存在しません。部分的な検証が成功するため、このタイプは危険です。

歪められた参考文献。 実際の論文は存在しますが、ChatGPTが1つ以上の詳細を間違えています。発行年が1年ずれていたり、共著者の名前が誤字だったり、DOIの数字が入れ替わっていたりします。参考文献は実際の出版物とほぼ一致します。

ステップ1：信用せず、確認する

最初のルールはシンプルです。AIが生成した参考文献は、それが存在することを個人的に確認するまで、未検証として扱ってください。

これは、使用したAIモデルに関係なく適用されます。GPT-4、Claude、Gemini、Perplexityなど、すべてのモデルが捏造された引用を生成する可能性があります。ウェブ検索機能を持つモデルは問題を軽減しますが、完全に排除するわけではありません。

ステップ2：クイックチェック — タイトルを検索する

各参考文献の正確なタイトルをコピーし、Google Scholarで検索します。完全一致のために引用符を使用してください。

"Adaptive neural frameworks for multilingual sentiment analysis"

Google Scholarが正確なタイトルで検索結果を返さない場合、その論文はほぼ確実に存在しません。それを「疑わしい」リストに移動します。

Google Scholarが結果を返した場合、それを開き、著者、発行年、ジャーナルがChatGPTが提示したものと一致するかどうかを確認します。タイトルは一致するが著者が異なる場合、それはキメラ参考文献です。

1件あたりの所要時間： 30〜60秒。

ステップ3：DOIの確認

参考文献にDOIが含まれている場合、doi.orgで確認します。DOIをレゾルバーに貼り付けます。

考えられる結果は3つです。

• 正しい論文に解決される → 参考文献は実在する可能性が高いです。メタデータを相互参照してください。
• 異なる論文に解決される → ChatGPTが間違ったDOIを割り当てました。それが記述した論文は存在するかもしれませんし、しないかもしれません。
• 「DOI not found」 → DOIが捏造されています。参考文献は偽物です。

1件あたりの所要時間： 15〜30秒。

ステップ4：自動ツールによる一括確認

ChatGPTが多数の参考文献を提示した場合、手動で1つずつ確認するのは時間がかかりすぎます。参考文献リスト全体をCitelyのCitation Checkerに貼り付けてください。

このツールは各参考文献を解析し、学術データベースを照会し、メタデータをフィールドごとに比較します。各参考文献について、以下の情報を報告します。

• タイトル類似度 — このタイトルを持つ論文は存在するか？
• 著者類似度 — 著者名はデータベースの記録と一致するか？
• 日付類似度 — 出版年は正しいか？

これら3つの要素すべてで100%のスコアを獲得した参考文献は検証済みとされます。それ以下のものは手動レビューのためにフラグが立てられます。

10件の参考文献にかかる時間： 1分未満。

ステップ5：偽物を置き換える

検証に失敗した各参考文献について、2つの選択肢があります。

オプションA：本物の論文を見つける。 ChatGPTの偽の参考文献には、しばしば真実の核が含まれています。トピックは正しく、著者名は実在し、ジャーナルも存在します。これらの断片を使用して、AIが「考えていた」実際の論文を検索します。

偽の参考文献のトピックをCitelyのSource Finderに貼り付けます。これはCrossRef、PubMed、OpenAlex、arXiv、Google Scholarを横断的に検索し、その主題に一致する実際の論文を見つけます。最も関連性の高い結果を選択し、偽の引用を置き換えます。

オプションB：引用を削除する。 論文中の主張がその特定の参考文献を必要としない場合、またはそれを裏付ける本物の論文が見つからない場合は、引用を完全に削除します。文を独立させるように書き直すか、すでに検証済みの別の情報源を引用します。

実践例

典型的なChatGPTの参考文献チェックが実際にどのように行われるかを見てみましょう。

ChatGPTが提示したもの：

Wang, L., & Martinez, R. (2023). Deep learning approaches to automated essay scoring: A comprehensive survey. Journal of Educational Technology, 45(2), 189-215. doi:10.1016/j.jedtech.2023.04.012

ステップ1 — タイトル検索： Google Scholarでこの正確なタイトルを検索しても結果はゼロでした。疑わしいです。

ステップ2 — DOIチェック： doi.orgで「DOI not found」と表示されました。DOIは捏造されています。

ステップ3 — 著者チェック： L. WangはNLP分野で論文を発表している実在の研究者です。R. Martinezは教育技術分野で論文を発表しています。しかし、彼らがこの論文を共著したことはありません。

判定： キメラ参考文献。AIは実在する著者名をもっともらしいが架空の論文と組み合わせました。

修正： Source Finderで「deep learning automated essay scoring survey」を検索します。このトピックに関する実際のサーベイ論文を見つけます。偽の引用を本物のものに置き換えます。

危険を冒さずにChatGPTを参考文献に利用する方法

AIの使用を完全にやめる必要はありません。リスクなしでメリットを得るためのワークフローを以下に示します。

1. AIは発見のために使い、引用のためには使わない。 ChatGPTに「[トピック]に関する主要な論文は何ですか？」と尋ねます。その提案を検索語として使用し、引用として使用しないでください。そして、実際の論文は自分で見つけてください。

2. AIが生成した参考文献を参考文献リストに直接コピー＆ペーストしないでください。 常に最初に確認し、次に引用してください。

3. 参考文献ではなく、検索戦略をChatGPTに尋ねてください。 「[トピック]に関する論文を見つけるためにGoogle Scholarでどのようなキーワードを検索すべきですか？」というプロンプトは、「[トピック]に関する参考文献を5つ教えてください」よりも安全です。

4. 提出前に一括チェックを実行する。 すべて確認したと思っても、最終的な安全策として、完全な参考文献リストをCitation Checkerで実行してください。これにより、見落としていたエラー（追加した時点では正しかったが、その後撤回された参考文献など）が検出されます。

教授がすでにチェックしていること

誰も気づかないだろうと思っているなら、次のことを考慮してください。

• 複数の大学が現在、参考文献リストを含むAI生成コンテンツの検証を学生に義務付けています。
• ジャーナル編集者は、提出された参考文献リストの抜き打ちチェックをますます頻繁に行っています。
• 1つの偽の引用が研究不正調査を引き起こす可能性があります。
• Retraction Watchは、捏造された参考文献のために撤回された論文の事例を公表しています。

チェックにかかる費用は数分です。チェックしないことの費用は、あなたの学術キャリアを危険にさらす可能性があります。

主なポイント

• ChatGPTやその他のLLMは、完全に捏造された論文、実際の要素を組み合わせたキメラ参考文献、小さな誤りを含む歪められた引用の3種類の偽の引用を生成します。これらはデータベースから取得されたものではなく、統計的に生成されたテキストです。
• AIが生成した参考文献は常に未検証として扱ってください。参考文献リストに追加する前に、各タイトルをGoogle Scholarで検索し、各DOIをdoi.orgで確認してください。
• 多数の参考文献がある場合は、自動引用チェッカーを使用して、リスト全体を1分未満で一括検証してください。大規模な手動チェックは非現実的です。
• 偽の参考文献が見つかった場合は、AIが近似しようとした実際の論文を見つける（逆引用検索を使用する）か、引用を完全に削除してください。未検証の参考文献を論文に残してはいけません。
• AIは直接的な引用ではなく、文献の発見（検索戦略、トピックの提案）のために使用してください。これにより、捏造のリスクなしに効率性のメリットが得られます。

参考文献をチェックする → citely.ai/citation-checker