「それ、言ってないけど?」——AIが引用を捏造・合成するという問題

アンジーでは、AIと人が協働する記事制作ワークフローを実践しています。その知見を、伴走型支援サービスとして提供しているのが「KIJI Base(記事ベース)」。現在、草稿制作のためのAIへの指示をまとめた「CLAUDE.md」を無償配布しています。この記事は、その中身の解説シリーズです。

さて前回は、引用率15〜30%というルールについて解説しました。「引用は印象的なものに絞って、記者の地の文の解説を増やして読みやすくする」という話でした。

ところが、引用においては、別の問題が起きることがあります。

AIが、言っていないことを書いてくるのです。

AIはなぜ引用を捏造するの

これは、AIが「嘘をつこうとしている」わけではありません。AIの仕組み上、避けがたい問題です。

生成AIは、存在しない情報を「それらしい内容」として出力してしまうことがあります。これを「ハルシネーション(幻覚)」と呼びます。インタビュー記事における引用の捏造・合成も、このハルシネーションの一形態です。

文字起こしや資料を読み込んで「この文脈ではこういう発言があるはずだ」と確率的に予測しながら文章を生成するため、文字起こしの内容を要約・整理する過程で、「この人はこういうことを言いたかったはず」という推測が、いつの間にか「」の中に入ってしまいます。

悪意はない。でも、記者・編集者の立場から見ればこれは捏造です。発言者が言っていないことを、発言として記事に載せることは、ジャーナリズムの基本原則に反します。生成AIを使わなければ、このようなことは生じにくいです。

実は、当社アンジーでも生成AIを導入した当初、こうした問題が頻発しました。記事を納品する前のダブルチェックで「これ、言ってないんじゃない?」と気づく。あるいは取材相手から「少しニュアンスが違うんですけど」と指摘を受けて修正する。そういった経験を重ねながら、禁止事項を一つひとつCLAUDE.mdの前身となる「汎用プロンプト集」に書き加えてきました。こうした失敗の積み重ねが、アンジーで使用するCLAUDE.mdの精度を高めています。


起きがちな4つのパターン

生成AIによるおかしな発言の出力には、いくつかのパターンがあります。

パターン1:引用の捏造

発言者が言っていない言葉が「」に入ってくる。

文字起こしには「コスト削減が課題です」とあるのに、AIが「コスト削減が最大の課題であり、今すぐ取り組まなければならない問題です」と膨らませてあたかも発言したようにする、といったケースです。

ニュアンスが変わっている。強調が加わっている。でも一見、自然に見える。だから気づきにくい。

パターン2:発言の合成

インタビューの前半と後半、離れた箇所の発言を一つの「」にまとめてくる。

たとえば、前半で「品質を重視しています」、後半で「スピードも大切です」と言っていたのを、「品質を重視しながら、スピードも大切にしています」と一つの引用にまとめる、といったパターンです。

発言者の意図が変わっていないように見えますが、これも捏造の一種と言えます。元の文脈から切り離された発言によって文脈が変わり、本来意図しない意味を持つことがあるからです。

パターン3:感情・動機の創作

ソースにない感情や動機を、記者の地の文に書き込んでくる。

「〜と、○○氏は熱い思いを込めて語った」「長年の苦労が報われた瞬間だった」——発言者がそういう感情を持っていたかどうか、文字起こしからはわかりません。AIはそれを「文脈に合う表現」として補完してしまいます。

パターン4:スライドの文言を口頭発言として引用する

講演レポート記事でよく起きるパターンです。登壇者が使ったスライドの文章と、実際の口頭発言は別物です。でもAIは両方を同じ「発言者の言葉」として扱い、スライドに書いてあった文言を「」に入れてしまうことがあります。

スライドの文言は、発言者が書いたとは限りません。デザイナーやチームが作った資料かもしれない。口頭で話した内容とは微妙にニュアンスが違うこともあります。企業名やサービス名、専門用語などの表記を統一するために、スライドをAIに共有するのはいいのですが、登壇者の発言に混入しないような制御が必要です。


CLAUDE.mdに「禁止事項」として明記する

これらの問題に対応するため、弊社のCLAUDE.mdには以下の禁止事項を明記しています。

絶対遵守事項:
- 発言内容の意味・主張を絶対に変更しない
- ソースにない直接引用(「」付き)を作らない
- 異なる箇所の発言を組み合わせない(合成禁止)
- 発言者が言っていない感情・動機・意見を記述しない
- 事実を美談・結論・キャラクター評に変換しない

講演レポート特有のルール:
- スライドに書かれた文言は登壇者の口頭発言とは限らない
  →「」に入れず、記者文で処理する

そして、執筆後のチェックリストにも入れています。

チェック項目:
- 全引用文がソースで照合済みであること
- ソースにない直接引用(「」付き)を作っていないこと
- パート間で情報が重複していないこと

CLAUDE.mdは、生成AIによるファクトチェックの指示書として機能します。「AI記事のファクトチェックをどうやればいいかわからない」という場合も、このCLAUDE.mdをAIに渡すだけで、チェック項目を自動的に実行させることができます。

なお、ファクトチェックとは、記事に掲載する情報が事実に基づいているかを照合・確認するプロセスのことです。発言の有無、数字の正確さ、引用の出典——これらをソース資料や調査結果と突き合わせて検証します。


人間が必ず確認する工程を残す

これらの禁止事項をCLAUDE.mdに書いても、AIが完璧に守るとは限りません。だからこそ、人間が必ず確認する工程が必要です。

弊社の編集・制作現場では、AIが生成した記事は必ず編集者がソースと照合します。特に「」の中身は一つひとつ、文字起こしまたは一次情報である取材時に録音した音声に立ち返って確認します。そもそも、執筆する前に音源を聴きながら文字起こしの内容に誤りがないかを確認し、取材内容を頭に入れておきます。

このとき、文字起こしテキストには必ず話者ラベル(誰の発言か)とタイムコード(音源の何分何秒に始まる発言か)を記しておくことが重要です。AIがソースを参照できるだけでなく、疑問が生じた箇所をすぐに音源で確認できるからです。アンジーでは文字起こしにもAIを使っていますが、話者認識をしてラベルをつけ、タイムコードも記す仕様となっています。

AIは速い。でも、正確さの最終責任は人間が持つ。この原則は、どれだけAIが進化しても変わらないと考えています。KIJI Baseでは、どこに落とし穴があるかを知り尽くしたうえで、AIと人の最善な協働ワークフローを追求します。


まとめ:生成AI記事のファクトチェックは「ルール設計」から始まる

AIは優秀なアシスタントです。しかし、インタビュー記事の制作においては、ソース忠実性という点で人間の確認が不可欠です。

生成AIのファクトチェックのやり方に迷ったら、まずCLAUDE.mdに「禁止事項」と「チェック項目」を明文化することから始めてください。AIの出力を疑い、何度も確認し、ルールを更新していく。その繰り返しです。

アンジーでは、その積み重ねを6年間・3500本以上のAI駆動記事制作を通じて続けてきました。「それ、言ってないけど?」という状況を防ぐために必要なのは、AIへの盲目的な信頼でも、AIへの過剰な不信でもありません。ルールを明示し、確認の工程を設計する——これが、AI時代の記事制作の基本です。

次回は、引用の中身をどう整形するか——口語表現の書き言葉変換ルールを解説します。「やっぱり」「しっかり」「〜かなと思います」を、なぜ・どのように変換するのかをお伝えします。

KIJI Baseについてのお問い合わせ・CLAUDE.mdのリクエストはこちらから
https://andg.net/kiji-base