こんにちは！生成AIの普及に伴い、私たちの開発現場はかつてないほどのスピード感とワクワク感に包まれていますよね。でも、その一方で「このAI、本当に安全に使えているの？」「ハルシネーション（嘘の出力）やプロンプトインジェクションで変なことを言い出さないか心配…」そんな不安を抱えている開発者の方も多いのではないでしょうか。
セキュリティの現場に長くいると、「新しい技術＝新しい攻撃のターゲット」という現実を嫌というほど見てきました。だからこそ、野放図にAIを導入するのではなく、しっかりとした守りの枠組みが必要になります。
今回は、アメリカ国立標準技術研究所（NIST）が公開した「NIST AI Risk Management Framework (AI RMF)」をテーマに、新人のIT担当者や開発者の方にもわかりやすく、現場でどう実践していけばいいのかを紐解いていきます。
難しい専門用語は身近な「家の防犯」に例えながら解説しますので、一歩ずつリラックスして学んでいきましょう！
—
1. AI RMFってなに？家の中の「防犯計画」に例えてみよう
突然ですが、あなたが新しく一軒家を買ったと想像してください。
「さあ、住むぞ！」といきなり鍵もかけずに家具を置き、窓を開けっ放しにしますか？しませんよね。「どこにドアがあって、どこから泥棒が入るリスクがあるか（Map）」、「鍵の強度は十分か（Measure）」、「もし侵入されたらどう対処するか（Manage）」、そして「家族みんなで防犯ルールを共有する（Govern）」という一連の流れを作るはずです。
NISTのAI RMFも、これとまったく同じです。AIシステムという「新しい家族（あるいはモンスター？）」を組織に迎え入れるとき、リスクを管理するために以下の4つの柱（ファンクション）が用意されています。
1. Map（マップ）： AIがどこで使われ、どんなデータに触れ、どんなリスクが潜んでいるかを「地図化」する
2. Measure（メジャー）： リスクの大きさを「測定・評価」する
3. Manage（マネージ）： リスクを「管理・低減」するための対策を打つ
4. Govern（ガバンス）： 組織全体でAI利用のルールや文化を「統治」する
この4つを現場の開発プロセスにどう落とし込むのか、具体的なステップを見ていきましょう！
—
2. 【Mapフェーズ】まずは「敵を知る」ことから始めよう
最初のステップである「Map」では、AIシステム全体の全貌を明らかにします。
開発者の皆さんは「とりあえず動くコードを書こう！」となりがちですが、セキュリティの観点では「このAIは、誰が、何のデータを使って、何を出力するのか？」を洗い出すのが最初の一歩です。
例えば、社内向けのチャットボットを開発する場合、以下のような点を「AI台帳」としてリストアップしてみましょう。
- 入力データ（Input）： 社内の人事データや顧客情報が含まれていないか？
- モデル（Model）： 外部のAPI（OpenAIやAnthropicなど）を使っているか、自社でOSSのモデルをホストしているか？
- 出力先（Output）： 誰でも見られる画面に出力されるか、特定の権限を持つ人だけか？
ここでしっかり「地図」を作っておかないと、思わぬところから機密情報が外部に漏れるという大事故につながります。
—
3. 【Measure & Manageフェーズ】コードと設定でリスクを抑え込む
地図ができたら、次はいよいよ「Measure（測定）」と「Manage（管理）」です。
「AIのセキュリティ対策って、具体的にどうコードを書けばいいの？」という疑問に答えるために、今回はWebアプリケーションからLLM（大規模言語モデル）を呼び出す際の具体的な防御コードのサンプルを見てみましょう。
ここでは、ユーザーからの入力をそのままAIに渡さず、危険なプロンプトインジェクション（指示の書き換え攻撃）を防ぐためのバリデーションと、出力を安全に制御する実装例をPythonで紹介します。
import re
from fastapi import FastAPI, HTTPException
from pydantic import BaseModel
app = FastAPI()
class UserQuery(BaseModel, frozen=True):
prompt: str
# 危険なキーワードやシステムプロンプトの乗っ取りを狙うパターンを定義
# (家の鍵で言うところの、ピッキングツールを弾くための頑丈なシリンダーのようなものです)
SUSPICIOUS_PATTERNS = [
r"ignore previous instructions", # 「これまでの指示を無視せよ」系
r"system prompt", # システムプロンプトを聞き出す系
r"you are now", # キャラクターを強制変更する系
]
def sanitize_and_check_prompt(prompt: str) -> str:
"""
ユーザーからの入力をチェックし、攻撃の兆候がないか検証する関数
"""
# 入力文字数の制限（バッファオーバーフローや過剰なトークン消費を防ぐ）
if len(prompt) > 500:
raise HTTPException(status_code=400, detail="入力が長すぎます（500文字以内で入力してください）。")
# 危険なパターンの検出
for pattern in SUSPICIOUS_PATTERNS:
if re.search(pattern, prompt, re.IGNORECASE):
# 攻撃を検知した場合はログに残し、処理を拒否する
print(f"[SECURITY ALERT] 危険なプロンプトを検知しました: {prompt}")
raise HTTPException(status_code=400, detail="不適切な入力が検出されました。")
return prompt
@app.post("/api/v1/chat")
def chat_with_ai(query: UserQuery):
"""
AIチャットのエンドポイント
"""
# 1. Measure & Manage: 入力の安全性を検証
safe_prompt = sanitize_and_check_prompt(query.prompt)
# 2. AIモデルへのリクエスト処理（ここに実際のLLM呼び出しコードが入ります）
# 例: response = openai.ChatCompletion.create(...)
response_text = f"安全に処理されたAIからの返答: {safe_prompt} に対する回答です。"
return {"status": "success", "response": response_text}このように、コードを書く段階で「予期せぬ入力」を想定し、フィルターを一枚挟むことがManage（管理）の基本になります。防犯カメラを置き、二重ロックをかけるような感覚ですね。
—
4. 【Governフェーズ】組織全体でルールを育てる
最後の「Govern（ガバンス）」は、開発者個人だけでなく、チームや会社全体でAIセキュリティを回していくための仕組みづくりです。
「セキュリティ部門が作った難解なルールを押し付けられる」のではなく、現場の開発者も交えて以下のような運用ルールをアジャイルに回していくことが成功の秘訣です。
- AI利用ガイドラインの策定： 「社内データをパブリックなAIにそのままコピペしてはいけない」といった基本的なルールの明文化。
- インシデント共有会の開催： 他社で起きたAIの誤作動やプロンプトインジェクションの事例をチームで共有し、「うちのシステムでは大丈夫か？」と定期的に見直す。
- Red Teaming（レッドチーミング）の実施： あえて攻撃者視点に立ち、「どうにかしてこのAIに嘘を言わせよう」「機密情報を吐かせよう」とチーム内でハッキングを試みるテストを定期的に行う。
セキュリティは一度設定して終わりではありません。家と同じで、定期的に鍵の点検をしたり、合鍵の管理を見直したりする継続的なメンテナンスが不可欠です。
—
5. おわりに：完璧を目指さず、まずは「小さな一歩」から
NIST AI RMFのフレームワークを聞くと、「なんだか難しそう、うちの小さなチームには荷が重いな…」と感じてしまうかもしれません。
でも、安心してください。セキュリティのプロである私たちも、最初から完璧な体制を作れたわけではありません。
まずは、自分たちが使っているAIが「どこにデータを通しているか（Map）」を書き出すことから始めてみましょう。そして、入力値のチェック（Manage）をコードに少しずつ組み込んでいく。
失敗を恐れず、仲間と対話を重ねながら、安全で頼れるAIシステムを一緒に育て上げていきましょうね。あなたの開発者としての第一歩を、心から応援しています！
コメント