量子化（Quantization）
リョウシカ
モデルのパラメータ精度を16bitから4bit等に下げてサイズを圧縮し、限られた計算資源での推論を可能にする最適化手法。
量子化とは
量子化（Quantization）とは、モデルの重みパラメータの数値精度を下げる（例: 32bit 浮動小数点 → 4bit 整数）ことで、モデルサイズとメモリ使用量を圧縮する最適化手法である。
直感的な理解
写真の画質を落とすとファイルサイズが小さくなるのと似ている。パラメータ 1 つあたりの情報量は減るが、モデル全体としては意外なほど性能が維持される。70B パラメータのモデルを 4bit 量子化すれば、VRAM 消費は約 140GB から約 35GB に縮まり、高価な GPU クラスタなしでも推論が可能になる。
量子化の種類
| 方式 | 特徴 |
|---|---|
| 訓練後量子化（PTQ） | 学習済みモデルをそのまま量子化。手軽だが精度低下が大きい場合がある |
| 量子化対応訓練（QAT） | 量子化を想定して訓練。PTQ より高精度だが訓練コストが必要 |
| GPTQ / AWQ / GGUF | LLM 向けに最適化された量子化フォーマット。ローカル LLM の配布形式として普及 |
QLoRA はこの量子化と LoRA を組み合わせた手法で、4bit に量子化した状態でファインチューニングを行える。
実務での判断基準
「大きいモデルを量子化する」方が「小さいモデルを高精度で使う」より性能が高いという研究結果が複数報告されている。エッジ AI 環境でモデルを選定する際は、モデルサイズと量子化ビット数の組み合わせで最適解を探ることになる。
この用語を扱う記事
- ローカル LLM / SLM 導入比較 — クラウド API に依存しない AI 活用GPT OSS・Phi-4・Llama 4 Scout 等のオープンウェイトモデルを GPU 要件・タスク別精度・TCO の 3 軸でクラウド API と比較。データ主権とコスト最適化を両立するローカル AI 導入ガイド。
- エッジAIとは？オンデバイスLLMの仕組みと業務での選び方エッジAI・オンデバイスLLMの基本と、クラウドLLMでは難しい低レイテンシ・データ持ち出し不可・通信不安定の業務をどう設計するかを解説します。
- SLM蒸留とは？大規模LLMから小型特化モデルを作る方法大規模LLMを教師に使い、業務特化の小型プライベートモデルを低コストで構築するSLM蒸留の仕組みと実装手順を解説します。
- AIエージェント向けレイテンシ予算設計 — 思考時間と応答時間のトレードオフを制御する方法マルチステップ推論エージェントで「思考時間」が応答遅延を引き起こす問題を解説し、タスク複雑度に応じたレイテンシ予算の割り当てと実装パターンを比較します。
関連用語
PEFT
PEFT（Parameter-Efficient Fine-Tuning）とは、大規模言語モデルの全パラメータではなく一部のみを更新することで、少ない計算資源とデータでモデルを特定タスクに適応させるフ
QLoRA
QLoRA（Quantized LoRA）とは、LoRA に 4bit 量子化を組み合わせることで、コンシューマ向け GPU でも大規模言語モデルのファインチューニングを可能にした手法である。
RLHF
RLHFとは人間のフィードバックを報酬として使う強化学習手法、RLVRとは検証可能な正解を報酬として使う強化学習手法であり、いずれもLLMの出力を人間の期待に沿うよう調整するために用いられる。
SLM（Small Language Model）
SLM（Small Language Model）とは、パラメータ数を数十億〜百億程度に抑えた言語モデルの総称で、LLMに比べ少ない計算資源で推論・Fine-tuningが可能なことを特徴とする。