みなさん、こんにちは！ 生成AI（大規模言語モデル：LLM）を使ったアプリ開発、最近すごく盛り上がっていますよね。「こんな機能を作ってみました！」と社内や世の中にリリースする楽しさは、エンジニアにとって格別なものです。
でも、ここで少しだけ立ち止まってみてください。AIが自信満々に答えてくれたその内容、本当に100%正しいと言い切れますか？ 実は、AIは時に「もっともらしい嘘（ハルシネーション）」を平然とついてしまう厄介な癖を持っています。
今回は、セキュリティと信頼性の観点から、このハルシネーションを防ぐための「事実確認（Fact-Checking）パイプライン」の作り方を、身近な例えを交えながら優しく紐解いていきたいと思います。一歩ずつ、一緒に学んでいきましょう！
—
1. AIの「ハルシネーション」ってなんだろう？（家の鍵と防犯の例え）
セキュリティの世界では、システムが想定外の動きをしたり、間違った情報を出力したりすることを「リスク」として徹底的に管理します。生成AIにおけるハルシネーションは、いわば「鍵の閉め忘れの隙を突いて、誰もいないはずの家から泥棒が侵入してくるようなもの」です。
想像してみてください。あなたは自分の家の玄関に、最新型のスマートロックを導入しました。そのスマートロック（生成AI）は、訪問者が来ると自動で「どのようなご用件でしょうか？」と流暢に対応してくれます。
しかし、もしそのスマートロックが「適当な嘘の暗証番号」を正しいと勘違いして、勝手に知らない人を家の中に入れてしまったらどうでしょう？ 大変なことになりますよね。
AIが発するハルシネーション（嘘の回答）をそのままユーザーに届けてしまうのは、まさにこの「偽の暗証番号で扉を開けっ放しにする状態」と同じです。だからこそ、AIが答えた内容が「本当に正しいのか？」をチェックする、いわば「家に入る前の金属探知機や身分証チェック（事実確認パイプライン）」がどうしても必要になるんです。
—
2. 事実確認パイプラインの仕組み
私たちが目指すのは、AIが生成した回答をそのまま信じるのではなく、「元となる資料（ソースドキュメント）と照らし合わせて、本当に合っているかを点数化（スコア化）する仕組み」です。
全体の流れは以下のようになります。
1. AIの回答生成: ユーザーからの質問に対し、AIが社内文書などを元に回答を作る。
2. 根拠の抽出: 回答の中で「どの部分がどの資料に基づいているか」を特定する。
3. 事実確認（Fact-Checking）: 元のソースドキュメントとAIの回答を別のプログラム（または別のAIプロンプト）で比較し、矛盾がないか検証する。
4. 信頼度スコアの算出: 0点から100点までのスコアを出し、基準値以下であれば「確認中」や「エラー」としてユーザーへの出力をブロックする。
難しそうに聞こえるかもしれませんが、Pythonを使えば意外とシンプルに実装できます。次の章で具体的なコードを見てみましょう！
—
3. 実装してみよう！シンプルな事実確認パイプライン
ここでは、AIが生成した回答と、元となるソースドキュメントを比較して、簡易的な信頼度スコアを算出するPythonのサンプルコードをご紹介します。初めて見る方も安心してくださいね。ひとつずつ日本語のコメントで解説しています。
以下のコードを参考に、ご自身のプロジェクトへ組み込んでみてください。
import json
def verify_fact_pipeline(source_document: str, ai_response: str) -> dict:
"""
ソースドキュメントとAIの回答を比較し、事実確認を行う簡易パイプライン関数
Parameters:
source_document (str): 根拠となる元ドキュメントのテキスト
ai_response (str): 生成AIが出力した回答テキスト
Returns:
dict: 検証結果（スコアと判定理由）
"""
print("[情報] 事実確認（Fact-Checking）プロセスを開始します...")
# 1. キーワードの突合による簡易的なハルシネーション検知ロジック
# 実務ではここにセマンティック検索（ベクトル検索の類似度判定）などを組み込みます
source_keywords = set(source_document.split())
response_keywords = set(ai_response.split())
# 回答に含まれるキーワードのうち、ソースドキュメントに存在しないものの割合を計算
unsupported_words = response_keywords - source_keywords
# スコアの簡易算出（ソースにない言葉が多いほどスコアが下がる）
total_response_words = len(response_keywords) if len(response_keywords) > 0 else 1
unsupported_ratio = len(unsupported_words) / total_response_words
# 信頼度スコア（100点満点）
confidence_score = int((1.0 - unsupported_ratio) * 100)
# 2. 閾値（しきい値）による判定
# セキュリティ基準として、例えば70点未満は「ハルシネーションの疑いあり」とみなす
threshold = 70
is_verified = confidence_score >= threshold
result = {
"confidence_score": confidence_score,
"is_verified": is_verified,
"unsupported_elements": list(unsupported_words),
"message": "合格です。信頼できる出力です。" if is_verified else "警告：ハルシネーション（根拠のない嘘）の可能性があります。"
}
return result
# --- 実行テストのサンプル ---
if __name__ == "__main__":
# 信頼できる元のドキュメント（社内マニュアルなど）
source_text = "当社のセキュリティポリシーでは、パスワードは12文字以上で、記号を必ず含める必要があります。"
# AIが生成した回答の例（今回は正しいパターン）
good_ai_answer = "当社のセキュリティポリシーではパスワードは12文字以上かつ記号を含める必要があります。"
# 検証を実行
verification_result = verify_fact_pipeline(source_text, good_ai_answer)
# 結果をきれいにコンソールに出力
print(json.dumps(verification_result, ensure_ascii=False, indent=4))このコードでは、ソース（元文書）に存在しない単語がAIの回答にどれだけ含まれているかをチェックしています。実務では、この簡易的なロジックの代わりに、より高度なNLP（自然言語処理）ライブラリや、RAG（Retrieval-Augmented Generation）の仕組みを組み合わせて精度を高めていきます。
—
4. 現場で役立つ実践的なセキュリティのコツ
生成AIアプリを安全に運用するためには、プログラムのコードを書くだけでなく、次のようなインフラ・運用面の工夫もセットで行うことが大切です。
- フォールバック（安全な逃げ道）を用意する
先ほどのコードでスコアが基準値に達しなかった場合、ユーザーに「申し訳ありません。現在、情報の正確性を確認中です。担当者にお問い合わせください」といった安全な定型文を返すようにしましょう。AIに無理やり嘘をつかせるより、沈黙する方がはるかに安全です。
- ログの監視（監査証跡）を忘れない
「どんな質問に対して、AIがどれくらいの信頼度スコアを叩き出したか」をログとして必ず残しましょう。セキュリティインシデント（誤情報の拡散など）が起きた際の原因追跡に非常に役立ちます。
—
まとめ
いかがでしたでしょうか？ 今回は、生成AIのハルシネーションを防ぐための「事実確認パイプライン」について、家の鍵や防犯の例えを交えながら解説しました。
最初は難しく感じるセキュリティ対策やリスク管理も、一つひとつの仕組みを分解して紐解いていけば、決して越えられない壁ではありません。「AIは賢いけれど、うっかり屋さんな一面もある」という前提に立ち、しっかりと事実確認のフィルターを挟むことで、ユーザーから真に信頼される安全なシステムを作り上げることができます。
ぜひ、今回紹介した考え方やコードをあなたの開発現場にも取り入れてみてくださいね。一歩ずつ、安全で素晴らしいアプリ開発を一緒に楽しんでいきましょう！
コメント