AIレッドチーミング（AI Red Teaming）

## AI レッドチーミングとは AI レッドチーミング（AI Red Teaming）とは、AI システムの脆弱性を攻撃者の視点から体系的にテストし、安全性リスクを本番運用前に特定する評価手法である。軍事・セキュリティ分野の「レッドチーム演習」を AI に応用した考え方だ。### テスト対象 AI レッドチーミングが検証するリスクは、従来のソフトウェアセキュリティより幅広い。

- **プロンプトインジェクション**: 入力操作でモデルの制約を回避させる - **機密情報の抽出**: 訓練データに含まれる個人情報や企業秘密を引き出す - **有害コンテンツ生成**: 安全フィルタをすり抜ける出力を誘発する - **指示階層の違反**: システムプロンプトの上書きやロール逸脱 UK の AI Safety Institute が実施した大規模評価では 62,000 件以上の脆弱性が報告されており、AI システムの攻撃面の広さを示している。### 実施の進め方 専門チームがプロンプトの改変、多言語での攻撃、マルチターンの誘導などを組み合わせて網羅的に検証する。自動化ツール（Garak、PyRIT など）で大量のテストケースを生成し、人間の専門家がクリエイティブな攻撃シナリオを補完するハイブリッド体制が効果的とされている。

EU AI Act では高リスク AI システムに対して適切なテストが求められており、AI レッドチーミングはその実施手段として注目度が上がっている。