こんにちは！セキュリティチームの現場で日々、泥臭くシステムを守り抜いているホワイトハッカーの私です。
最近、社内の開発者から「生成AIや機械学習モデルをプロダクトに組み込んだんだけど、セキュリティのテストって何をすればいいの？」という相談を本当によく受けます。従来のWebアプリならSQLインジェクションやXSSのテストをすればよかったのですが、AIモデルが相手になると、途端に勝手が分からなくなってしまいますよね。
「AIのセキュリティって何だか難しそう……」と感じている新人エンジニアの方や、初めてAIモデルを扱う一般開発者の方に向けて、今回はAIモデルに対するサイバー攻撃の一つである「敵対的攻撃（Adversarial Attacks）」のシミュレーションと、その泥臭い防御策について、身近な例えを交えながら一歩ずつ優しく紐解いていきたいと思います。
難しそうな専門用語が出てきても置いてけぼりにしませんので、どうぞリラックスして最後までお付き合いくださいね！
—
1. 家の鍵と「人間の目をごまかす」巧妙なピッキング
まず、AIモデルへの敵対的攻撃がどんなものか、身の回りの防犯に例えてイメージしてみましょう。
皆さんの家には頑丈な玄関の鍵がついていますよね。通常の空き巣なら、ピッキングをしたりバールで無理やりこじ開けたりして侵入しようとします。これがいわゆる従来のハッキング手法です。
しかし、AIモデルに対する敵対的攻撃は、ちょっと毛色が違います。
例えば、あなたが家のインターホンに「顔認証システム」を導入しているとします。家族の顔を登録しておけば、ピッと自動で鍵が開く便利な仕組みです。ここで攻撃者はどうするか？
彼らは鍵を壊すのではなく、「どう見てもただの普通の服を着ているのに、システム側が『これは敷地外の不審者ではない（＝家族だ）』と盛大に勘違いしてしまうような、特殊な模様のプリントTシャツ」を着て玄関の前に立ちます。
人間の目から見れば「いや、どう見ても怪しい他人でしょ！」と一発で分かるのですが、AIモデル（顔認証）の目から見ると、そのわずかな模様のせいで「あ、いつも見る家族の顔のパターンだ！」と激しく誤認してしまうのです。
このように、「人間には全く違いが分からないほどの微小なノイズをこっそり混ぜ込むことで、AIモデルを意図的にバグらせ、誤った判断（誤分類）をさせる攻撃」を、AIの世界では敵対的攻撃（Adversarial Attacks）と呼びます。
—
2. 攻撃のメカニズムを覗き見よう：FGSMとPGD
では、攻撃者は一体どうやってその「AIを誤認させる魔法のノイズ」を作り出しているのでしょうか？ ここで登場するのが、代表的な攻撃手法である FGSM（Fast Gradient Sign Method） と PGD（Projected Gradient Descent） です。
難しそうな数式はひとまず置いておいて、これも身近な例えで考えてみましょう。
山登り（最適化問題）をイメージしてください。あなたはいま、濃い霧に包まれていて周囲が全く見えません。あなたの目的は「一番高い山の頂上（AIが一番間違えるポイント＝損失の最大化）」にたどり着くことです。
濃い霧の中、足元の傾斜を感じ取って「こっちが上り坂だな」と一歩ずつ進む方法が、機械学習でいう勾配（Gradient）を利用した探索です。
- FGSM（一発勝負のダッシュ）: 霧の中、足元の傾斜を一度だけ確認し、「こっちが上だ！」と分かった瞬間に、一気にドカンと最大ジャンプで移動する手法です。計算がとても速いのが特徴です。
- PGD（慎重で執拗なステップ）: FGSMを一歩だけでなく、小さなステップで何回も何回も繰り返す手法です。「少し進んで傾斜を確認、また少し進んで確認……」と繰り返すため、AIモデルにとって非常に致命的で、より精度の高い「えげつない攻撃ノイズ」を作り出すことができます。
—
3. 実践！FGSM攻撃のシミュレーションコード
百聞は一見に如かず。実際にPythonと深層学習ライブラリ（PyTorch）を使って、画像認識AIに対するFGSM攻撃のシミュレーションコードを見てみましょう。
実務の開発現場でもそのまま参考にできるよう、丁寧に日本語のコメントを挟んでいます。
import torch
import torch.nn.functional as F
# FGSM（Fast Gradient Sign Method）による敵対的攻撃のシミュレーション関数
def fgsm_attack(model, image, label, epsilon):
"""
model: 攻撃対象のAIモデル
image: 入力する画像データ（例: 猫や犬の写真）
label: 正解のラベル（例: 「猫」という正解データ）
epsilon: ノイズの強さ（人間の目には見えない程度の微小な値）
"""
# 画像データ自身が持つ「勾配（パラメータの傾き）」を計算できるように有効化する
image.requires_grad = True
# 1. AIモデルに画像を読み込ませて予測を実行する
output = model(image)
# 2. AIの予測結果と、実際の「正解ラベル」との間のズレ（損失）を計算する
loss = F.nll_loss(output, label)
# 3. 既存のモデルが持つすべての勾配を一度リセットする
model.zero_grad()
# 4. 逆伝播（バックプロパゲーション）を行い、画像ピクセルごとの勾配を計算する
# （どこをどう変えればAIが最も盛大に間違えるかの「道しるべ」を計算します）
loss.backward()
# 5. 画像の勾配の「符号（プラスかマイナスか）」を取得する
data_grad = image.grad.data
# 6. 元の画像に、ごくわずかなノイズ（epsilon × 符号）を足し合わせる
# これにより、人間には見えないレベルの改ざんが施された「敵対的サンプル」が完成する
perturbed_image = image + epsilon * data_grad.sign()
# 7. ピクセルの値が画像として有効な範囲（通常は0〜1の範囲など）に収まるようにクリッピングする
perturbed_image = torch.clamp(perturbed_image, 0, 1)
return perturbed_image
# --- 【解説】 ---
# このコードを実行すると、元の画像に人間には知覚できないレベルのノイズが重畳され、
# AIモデルが「これ、自転車です！」などと全く見当違いな誤判定を起こすようになります。このように、ほんの少しのノイズを足すだけで、頑健性（セキュリティの強さ）が低いAIモデルは簡単に足元をすくわれてしまうのです。
—
4. どうやって守る？「敵対的学習（Adversarial Training）」という防犯対策
家の鍵がピッキングに弱いと分かったら、次は「よりピッキングされにくいディンプルキーに変える」「二重ロックにする」といった対策を講じますよね。
AIモデルの世界でも全く同じです。敵対的攻撃に対する最も効果的かつ王道な防御アプローチが、「敵対的学習（Adversarial Training）」になります。
敵対的学習の仕組み
簡単に言うと、「AIモデルのトレーニング（筋トレ）の最中に、わざと意地悪な攻撃ノイズを混ぜた偽物の画像（敵対的サンプル）を大量に食べさせて、『これに騙されるな！』と徹底的にスパルタ教育する手法」です。
警察官が訓練のときに、あえて巧妙な偽札や変装した犯人を相手にして訓練を重ねるのと一緒ですね。あらかじめ意地悪な攻撃を何度も経験させておくことで、いざ本番で悪意あるハッカーから敵対的攻撃を受けても、「おっと、このパターンはいつもの罠だな。惑わされないぞ！」と正しく見抜ける強い頑健性を身につけることができます。
実務で敵対的学習を組み込む際は、通常の損失計算のプロセスに先ほどの fgsm_attack や pgd_attack で生成した画像を混ぜて損失（Loss）を計算させ、モデルの重みを更新するコードを学習ループ内に記述します。
—
5. まとめとセキュリティ担当者としての心得
今回は、AIモデルの敵対的攻撃のメカニズム（FGSM/PGD）と、防御の要である敵対的学習についてお話ししました。
- 敵対的攻撃とは：人間には分からない微小なノイズでAIを勘違いさせる攻撃。
- 防御の基本：あらかじめ攻撃を想定した訓練（敵対的学習）を行い、モデルの頑健性を高めること。
AI開発やシステム導入はスピードが重視されがちですが、「動けばヨシ」ではなく、こうしたセキュリティリスクをあらかじめ見据えたリスクアセスメントとテストの実施が、これからのエンジニアには強く求められます。
「難しそう」と感じた方も、まずは身近な防犯のたとえを思い出しながら、ご自身のプロジェクトのAIモデルが予期せぬノイズや意図的な入力に対してどう振る舞うか、一歩ずつテストや検証を始めてみてくださいね。
皆さんのセキュアで素晴らしいAI開発を、現場から心より応援しています！
コメント