ローカルLLM

なぜローカルで動かすのか

ChatGPTやClaude APIを使えば手軽にLLMの能力を利用できる。それでもローカル実行を選ぶ理由は主に3つある。

まずデータの外部送信を避けたいケース。医療記録、法務文書、社内の機密情報など、クラウドAPIに送信すること自体がコンプライアンス上許されない場面は少なくない。次にコスト構造の問題。APIは従量課金が基本だが、大量の推論を日常的に回す場合、GPU 1枚を自前で持つ方が安くつくラインがある。そしてレイテンシとオフライン要件。工場の生産ラインや僻地の現場など、安定したインターネット接続を前提にできない環境では、ローカル実行が唯一の選択肢になる。

実行に必要なもの

最低限必要なのはGPUとモデルの重みファイル、そして推論エンジンだ。llama.cpp、vLLM、Ollamaといったツールが推論エンジンとしてよく使われている。特にOllamaは ollama run llama3 のようなコマンド1つでモデルのダウンロードから起動まで完了するため、導入のハードルが大幅に下がった。

モデルサイズとハードウェアの関係は単純で、パラメータ数が大きいほど多くのVRAMを要求する。7〜8Bパラメータのモデルなら消費者向けGPU（RTX 4090など）でも動作するが、70B以上になるとA100やH100クラスが必要になる。量子化（4bit, 8bit）を適用すれば必要メモリを半分以下に圧縮できるが、精度とのトレードオフは避けられない。

クラウドAPIとの使い分け

「全部ローカルに移行する」というのは多くの場合現実的ではない。ChatGPT や Claude Opusクラスの性能をローカルで再現するのは、2026年時点でもまだコスト的に厳しい。実務では、機密性の高い処理だけローカル、それ以外はAPIというハイブリッド構成が落としどころになることが多い。

逆に、特定タスクに特化したSLM（小規模言語モデル）をFine-tuningしてローカルで動かすと、汎用APIより高精度かつ低コストになるケースもある。用途を絞ることがローカルLLMの費用対効果を最大化する鍵だ。