【入門編】ログのノイズ低減：機械学習を用いた異常検知のチューニング – インシデントレスポンス & フォレンジック（DFIR）防御ガイド

こんにちは！セキュリティの世界へようこそ。
日々の開発やインフラの管理、本当にお疲れ様です。

突然ですが、皆さんのご自宅の玄関を想像してみてください。頑丈な鍵をかけて、窓にもしっかりロックをしていますよね。でも、もしその鍵が「風が吹いただけ」「家族がただ帰ってきただけ」、あるいは「野良猫が前を横切っただけ」で、一晩中けたたましい警報音を鳴らし続けたらどうでしょう？

「もう、うるさいから警報装置の電源を切っちゃおうかな……」なんて思ってしまいますよね。これが、セキュリティの世界で私たちが日々頭を悩ませている「アラートのノイズ（誤検知）」という大問題なんです。

SOC（セキュリティ・オペレーション・センター）の現場では、毎日数百万件ものログという名の「防犯カメラの映像」が押し寄せます。その中から本物の泥棒（サイバー攻撃者）を見つけ出すのは、まさに砂漠の中から一粒のダイヤを探すようなもの。今回は、この泥沼のようなノイズの山を、機械学習の力を借りて綺麗に整理整頓する方法を、一緒に優しく紐解いていきましょう！

—

1. なぜログの山に埋もれてしまうのか？

私たちが普段目にするサーバーのログやアクセスの記録は、いわば「家に出入りした人の足跡」のすべてです。
例えば、以下のようなアクセスがあったとします。

昼休みに社員が一斉に社内システムへアクセスした
開発担当者がテストのために、わざと変な文字列をURLに入力して挙動を確かめた
攻撃者がシステムの隙をつこうと、悪意あるプログラムを送り込んできた

人間が目視ですべての足跡をチェックするのは、ハッキリ言って不可能ですよね。「あ、これは開発者のテストだな」「これはいつものルーティンだな」と判断する基準を、うまくコンピューターに教えてあげる必要があります。ここで登場するのが、統計的アプローチや教師なし学習という機械学習のテクニックです。

—

2. 教師なし学習ってなんだろう？（泥棒のプロファイリング）

「教師なし学習」と聞くと難しく聞こえますが、要するに「普段の正しい状態（おとなしい日常）をコンピューターに覚えてもらい、そこから大きく外れた『変わった動き』だけを教えてもらう」という仕組みです。

例えば、いつもは朝9時から夕方18時まで、1秒間にせいぜい2〜3回しかアクセスがないシステムを考えてみましょう。ある日突然、深夜3時に1秒間に500回ものアクセスが集中したら……？
「あれ？普段と全然違うぞ！」と気づけますよね。この「いつもと違う（異常）」を数学的に見つけ出すのが、機械学習の役割なのです。

今回は、Pythonの代表的なライブラリである scikit-learn を使って、アクセスの「頻度」と「データ量」から異常な動きを見つけ出す、とってもシンプルなプログラムを作ってみました。

実務でそのまま参考にできるように、日本語のコメントをたっぷり添えていますので、安心してくださいね。

# 必要なライブラリをインポートします
import numpy as np
from sklearn.ensemble import IsolationForest

# 【データの準備】
# 今回は例として、「1分間のアクセス回数」と「送信されたデータ量（KB）」のデータを準備しました。
# 普段は静かなシステムを想定しています。
# 形式: [[アクセス回数, データ量], ...]
normal_traffic = [
    [5, 10],   # 普段のアクセス
    [8, 12],
    [4, 9],
    [6, 11],
    [7, 10],
    [9, 15],
    [5, 8]
]

# 訓練データとしてnumpyの配列に変換します
X_train = np.array(normal_traffic)

# 【モデルの作成と学習】
# IsolationForest（アイソレーション・フォレスト）というアルゴリズムを使います。
# これは、「めったに起きない珍しいデータほど、すぐに孤立させられる」という性質を利用して異常を見つける優秀なモデルです。
# contamination='auto' は、データの中にどれくらい異常なものが含まれているかを自動で推測させる設定です。
model = IsolationForest(contamination='auto', random_state=42)

# モデルに「これが普段の正しい状態だよ」と学習させます
model.fit(X_train)

# 【テストデータの判定】
# ここに、新しく入ってきたアクセスの記録をチェックさせます。
# 1つ目は普段通りのアクセス、2つ目は深夜の怪しい大量アクセス（異常）を想定しています。
X_test = np.array([
    [6, 10],   # 普段通りの穏やかなアクセス
    [250, 850] # 深夜に発生した大量かつ大容量の怪しいアクセス！
])

# 予測を実行します
# 結果は、正常なものが 1 、異常なものが -1 として返されます。
predictions = model.predict(X_test)

# 結果を分かりやすく画面に表示してみましょう
for i, pred in enumerate(predictions):
    if pred == 1:
        print(f"データ {i+1}: 【正常】いつも通りの安全なアクセスです。")
    else:
        print(f"データ {i+1}: 【異常検知！】普段と違う怪しい動きを検知しました。調査が必要です！")

このように、コードを少し書くだけで、「いつもと違う怪しい動き」をコンピューターが自動でピックアップしてくれるようになります。これがノイズ低減の第一歩です。

—

3. 現場で使える！誤検知を減らすためのチューニングのコツ

機械学習モデルを導入したからといって、すぐに完璧なアラートシステムができるわけではありません。最初はやっぱり、ちょっとしたノイズで「大変だ！」と騒いでしまうことがあります。

現場で泥臭く調整（チューニング）を行うための、大切な3つのポイントをシェアしますね。

① 「時間帯」や「曜日」という文脈を覚えさせる

人間と同じで、システムにも「生活リズム」があります。平日の昼間と、誰もいない日曜日の夜中では、「正常」の基準がまったく違いますよね。
モデルにデータを読ませるときは、単なる数値だけでなく、「何時台か」「平日か休日か」という時間的な文脈を特徴量（データの要素）として必ず含めるようにしましょう。これだけで、夜間のバッチ処理などを「攻撃」と勘違いする誤検知を劇的に減らすことができます。

② ホワイトリスト（お墨付きの例外）を上手に活用する

どうしても機械学習の網にかかってしまう「絶対に安全なお墨付きの通信」があります。例えば、社内の脆弱性スキャナーが定期的に行う安全な自己診断や、外部の信頼できる監視サービスの巡回アクセスなどです。
これらは無理に機械学習で判定させようとせず、あらかじめ「これは例外的にOK！」とするホワイトリスト（除外ルール）を前段に設けてスルーさせるのが、現場の運用では一番の近道です。

③ 閾値（しきい値）の感度を少しずつ調整する

「少しでも怪しかったらすべてアラートを出す」設定にすると、すぐにSOCの担当者が疲弊してしまいます。最初は少し感度を鈍く（許容範囲を広く）設定し、実際のログを見ながら「ここまでなら見逃しても実害はないな」「ここは厳しく見ておかないと危ないな」というラインを微調整していきましょう。

—

4. おわりに：一歩ずつ、確実な守りを育てよう

今回は、大量のログからノイズを減らし、機械学習を使って賢く異常を検知するアプローチについてお話ししました。

セキュリティの対策に「これさえやっておけば絶対に安心」という魔法の杖はありません。大切なのは、家の防犯カメラを少しずつ調整するように、自分たちのシステムのクセを理解し、機械の力と人間の目をうまく組み合わせて、無理なく続けられる仕組みを作っていくことです。

最初は難しく感じるかもしれませんが、こうして少しずつログの海を渡れるようになっていくと、インシデントを見つけたときの「やったぞ！」という手応えは格別なものになります。

一歩ずつ、一緒にセキュリティのスキルを磨いていきましょうね！次の解説もお楽しみに！