SLM（Small Language Model）

「小さい」は弱いという意味ではない

LLMの世界では長らく「大きいほど賢い」が常識だった。GPT-4の推定1.8兆パラメータに対し、SLMは1B〜10B程度。桁が2つ違う。しかし2025年以降、この常識は急速に崩れつつある。

MicrosoftのPhi-4（14B）はいくつかの推論ベンチマークでGPT-4oに匹敵するスコアを出した。Googleの Gemma 3は1B〜27Bの範囲で、サイズあたりの性能が極めて高い。モデルアーキテクチャの改善と高品質な学習データのキュレーションによって、「小さくても特定タスクには十分な性能」が現実になった。

どこで使われているか

SLMの主戦場は3つある。

エッジデバイス: スマートフォン、IoTゲートウェイ、組み込み機器など、GPUリソースが限られる環境。AppleがiPhone上でオンデバイス推論を実行しているのはSLMの典型例だ。

コスト最適化: 分類・要約・データ抽出のような定型タスクにGPT-4クラスを使うのはオーバースペック。SLMなら推論コストが10分の1以下になることもある。

レイテンシ要件: リアルタイムチャット、音声応答、ゲームAIなど、数十ミリ秒の応答が求められる場面。パラメータが少ない分、推論速度は桁違いに速い。

LLMとの使い分け

万能な回答が必要な場面（複雑な推論、多言語対応、長文生成）にはLLMが依然として優位だ。一方、タスクを絞れるならSLMをFine-tuningした方が精度・速度・コストすべてで勝る場合がある。

実務では「まずLLM APIでプロトタイプを作り、タスクが固まったらSLMに蒸留してコストを下げる」という流れが定番になりつつある。蒸留（distillation）とは、大きなモデルの出力を教師データとして小さなモデルを訓練する手法のことだ。