LLM（大規模言語モデル）

2022 年 11 月の ChatGPT 公開を境に、LLM という言葉は技術者の間だけでなく一般にも広まった。だが「大規模言語モデル」という名前が示す本質はシンプルで、「大量のテキストを読ませて、次に来る単語を予測する訓練を繰り返したモデル」に過ぎない。この単純な学習目標から、翻訳・要約・コード生成・推論といった多様な能力が創発的に現れるのが LLM の面白さであり、同時に理論的な理解が追いついていない部分でもある。

規模感を具体的に示すと、GPT-3 が 1,750 億パラメータ（2020 年）、Llama 3 が 700 億パラメータ（2024 年）、GPT-4 は非公開だが推定で 1 兆超とされている。パラメータ数が増えるほど賢くなる傾向はあるが、Llama 3 70B が GPT-3 175B を多くのベンチマークで上回っている事実が示すように、学習データの質とアーキテクチャの改善も同等以上に重要だ。

実務で LLM を使うルートは主に 3 つある。

1 つ目は API 経由。OpenAI や Anthropic のモデルをそのまま呼び出す。最も手軽だが、データが外部に送信される点と、従量課金のコスト管理が課題になる。

2 つ目は RAG との組み合わせ。社内ドキュメントを検索して LLM に渡すことで、ハルシネーション（事実と異なる出力）を抑えつつ社内知識を活用する。モデル自体は変更しないため導入障壁が低い。

3 つ目は ファインチューニング。自社データでモデルの振る舞いを調整する。回答のトーン統一や、業界特有の専門用語の正確な使用が必要な場合に有効だが、学習データの準備と GPU コストが必要になる。

どのルートを選ぶかは「何を解決したいか」次第であり、3 つを組み合わせるケースも増えている。