【入門編】 LLMの推論APIに対するモデル反転攻撃(Model Inversion) – オフェンシブセキュリティ & リバースエンジニアリング防御ガイド

こんにちは！日々の開発やインフラの保守、本当にお疲れ様です。

最近、社内やプロジェクトで「うちのサービスにもAI（LLM）の機能を組み込もう！」という話が出ていませんか？チャットボットや自動文章要約など、APIを叩くだけで賢い返答をしてくれるAIは、本当に便利でワクワクしますよね。

でも、ちょっと待ってください。
「AIにデータを覚えさせて便利に使っているけれど、その中身って外から丸見えになっていないかな……？」
そんな不安を持ったことはありませんか？

今回は、新人のIT担当者や、セキュリティをこれから学ぶ開発者の方に向けて、AIのAPIを狙うちょっと特殊なサイバー攻撃「モデル反転攻撃（Model Inversion）」について、身近な防犯のたとえを交えながら、優しく紐解いていきたいと思います。一歩ずつ、一緒に学んでいきましょう！

—

1. 家の鍵とAIの秘密：モデル反転攻撃ってなに？

いきなりですが、ちょっと想像してみてください。

あなたは、ものすごく料理が上手なプロの料理人だとします。ある日、あなたはお店で「門外不出の秘伝のスープ」を作りました。そのスープは、何種類もの秘密のスパイスが絶妙なバランスで混ざっています。

あなたは、お客さんから「このスープ、しょっぱめ？それとも甘め？」と聞かれたら、「そうですね、少しスパイシーですよ」と味の感想（出力結果）を教えてあげるサービス（API）を始めました。レシピそのものは絶対に教えませんが、感想くらいなら教えても大丈夫ですよね？

……本当に大丈夫でしょうか？

もし、意地悪なお客さんが、何度も何度もあなたにスープの感想を聞きに来たらどうなるでしょう？

1回目：「しょっぱさは10段階のどれくらいですか？」→「5くらいです」
2回目：「じゃあ、隠し味にトマトを入れたら、感想は変わりますか？」→「少しマイルドになりました」
3回目：「それでは……」

これを何万回も繰り返されたらどうでしょう。賢いその人は、あなたの返事の微調整（変化の度合い）から、「これだけスパイスを入れてこの味になるということは、あのスパイスが何グラム、あの野菜が何グラム入っているはずだ！」と、秘伝のレシピ（学習データ）を逆算して暴き出してしまうかもしれません。

これが、AIの世界における「モデル反転攻撃（Model Inversion）」の正体です。

AI（LLMの推論API）は、私たちが投げかけた質問に対して、確率的に最もらしい答えを返してくれます。「この入力に対して、AIはこの確率でこう答えた」という事実が何回も外に出てしまうと、攻撃者はその裏側にある「AIが何を学んだのか（どんなプライベートなデータを見たのか）」をパズルのように組み立てて復元してしまうのです。

—

2. 泥棒の手口：APIからどうやってデータを復元するの？

攻撃者は、ハッキング映画のように一瞬でシステムを乗っ取るわけではありません。彼らは非常に地道な「質問の職人」です。

LLMのAPIに対して、以下のようなアプローチを試みます。

1. 大量のクエリ（質問）を投げる
あらかじめ用意した大量の言葉や、少しずつニュアンスを変えた質問を、プログラムを使って自動で高速にAPIへ送り続けます。
2. 「返事の揺らぎ」を観察する
AIが「はい」と答える確率、「いいえ」と答える確率、あるいは文章を生成するときの微妙なクセや自信の度合いを細かく記録します。
3. パズルを組み立てる
「この個人情報が含まれていると、AIは返事を濁すな」「この言葉の組み合わせのときは、やけに自信満々に答えるぞ」といった情報の断片を分析し、AIの頭の中にある元データ（例えば、顧客の氏名やクレジットカードの傾向など）をあぶり出します。

もし、AIの学習データに「一般には公開してはいけない機密情報」や「個人のプライバシーに関わるデータ」が混ざっていたとしたら……。想像するだけでゾッとしますよね。

—

3. 身近でできる防犯対策：レート制限とランダム化

では、私たちはこの巧妙な「質問攻め」から、どうやってAIを守ればいいのでしょうか？
家の防犯に例えるなら、「怪しい訪問者をインターホン越しに追い返す仕組み」と、「泥棒に正確な間取りを悟らせない工夫」が必要です。

実務の開発現場では、主に次の2つの対策をセットで考えます。

① レート制限（Rate Limiting）：インターホンでの人数制限

同じ人（同じIPアドレスやアカウント）から、短時間に何千回も質問が飛んできたら、「これは怪しいぞ」と気づいてストップさせる仕組みです。

② 出力のランダム化（Output Randomization）：答えを少しだけぼかす

泥棒に「正確な間取り」を覚えさせないために、あえて毎回少しだけ違う返事を混ぜたり、精度の高すぎる細かい数値を隠したりするアプローチです。

それでは、実際のシステム開発でどのようにこれらを実装するのか、具体的なサンプルコードを見てみましょう。今回は、Pythonの代表的なWebフレームワークであるFlaskを使った例をご紹介します。

—

4. 実装例：安全なAPIを守るための防壁コード

以下のコードは、APIへのリクエスト回数を制限しつつ、出力にわずかなノイズ（揺らぎ）を加えてモデル反転攻撃を難しくする仕組みのイメージです。

import time
from flask import Flask, jsonify, request

app = Flask(__name__)

# 【防犯対策1：簡易的なレート制限用のメモリ領域】
# 本番環境ではRedisなどのインメモリデータベースを使用することを強く推奨します
request_history = {}

# 1分間に許可する最大リクエスト数
MAX_REQUESTS_PER_MINUTE = 10


def check_rate_limit(client_ip):
  """指定されたIPアドレスからのリクエスト頻度が異常でないかチェックする関数"""
  current_time = time.time()

  # 履歴の初期化
  if client_ip not in request_history:
    request_history[client_ip] = []

  # 1分以上前の古い履歴を削除
  request_history[client_ip] = [
      t for t in request_history[client_ip] if current_time - t < 60
  ]

  # 制限回数を超えているかチェック
  if len(request_history[client_ip]) >= MAX_REQUESTS_PER_MINUTE:
    return False

  # 現在のアクセス時刻を記録
  request_history[client_ip].append(current_time)
  return True


@app.route("/api/v1/generate", methods=["POST"])
def secure_llm_api():
  # クライアントのIPアドレスを取得
  client_ip = request.remote_addr

  # 【対策1の適用】レート制限のチェック
  if not check_rate_limit(client_ip):
    # 連続アクセスが多すぎる場合は、攻撃を防ぐためにあえて冷たく突き放す
    return (
        jsonify({
            "error": "リクエストが多すぎます。しばらく待ってから再度お試しください。"
        }),
        429,
    )  # HTTPステータス 429 Too Many Requests

  data = request.json
  prompt = data.get("prompt", "")

  if not prompt:
    return jsonify({"error": "プロンプトが空です。"}), 400

  # （ここに本来はLLMの推論処理が入ります）
  # 模範的なAIの回答を生成したと仮定
  base_confidence_score = 0.85

  # 【防犯対策2：出力のランダム化（精度のぼかし）】
  # 攻撃者が微細な変化を読み取れないよう、確率やスコアにわずかなノイズ（揺らぎ）を混ぜる
  import random

  noise = random.uniform(-0.03, 0.03)
  adjusted_score = round(base_confidence_score + noise, 4)

  # レスポンスを返す
  # あえて詳細すぎる内部情報（正確な確率や内部の重み）をレスポンスに含めない
  response_data = {
      "result": f"「{prompt}」に対する安全な回答です。",
      "confidence_indicator": (  // 細かい数値ではなく、大まかな段階だけに留める
          "高" if adjusted_score > 0.8 else "中"
      ),
  }

  return jsonify(response_data), 200


if __name__ == "__main__":
  # 開発用サーバーの起動
  app.run(host="0.0.0.0", port=5000)

コードのポイント

レート制限（check_rate_limit関数）: 短時間に何回もAPIを叩こうとする不審なスクリプトを、HTTPステータス 429 でピシャリと跳ね返します。
精度のぼかし（noiseの付与）: AIの確信度をそのまま返すのではなく、あえて少しだけランダムなズレ（ノイズ）を混ぜることで、攻撃者が「逆算のパズル」を完成させるのを非常に困難にしています。

—

5. まとめ：安全なAI開発に向けて一歩ずつ進もうい

今回は、LLMの推論APIに対するモデル反転攻撃の仕組みと、その身近な防衛策についてお話ししました。

モデル反転攻撃とは？：APIへの質問と返答のやり取りを何万回も分析され、裏側の機密データや学習内容を逆算されてしまうサイバー攻撃のこと。
どう防ぐの？：
レート制限をかけて「質問攻め」を物理的にブロックする。
出力にあえてランダムな揺らぎ（ノイズ）を混ぜて、逆算のヒントを与えないようにする。

セキュリティの世界は、専門用語が多くて最初は難しく感じるかもしれません。「自分たちのシステムは本当に大丈夫かな？」と不安になることもあるでしょう。でも大丈夫です。こうして一つひとつの手口と対策を知ることで、あなたの作るサービスは着実に強くなっていきます。

ぜひ、今日学んだレート制限の考え方や、出力データを丸裸のまま返していないかという視点を、ご自身の開発環境でも見直してみてくださいね。

それでは、次のセキュリティの学びの旅でまたお会いしましょう！一歩ずつ、安全なシステム作りを楽しんでいきましょう！