ベースモデル（Foundation Model）

「基盤」としてのモデル

2021 年にスタンフォード大学が提唱した "Foundation Model" という呼称は、建築の基礎（foundation）になぞらえている。一つの基盤の上に、チャットボット、コード生成、翻訳、要約といった多様なアプリケーションを構築できるという発想だ。

GPT、Claude、Llama、Gemini といった主要な LLM はすべてベースモデルであり、数兆トークンのテキストデータで事前学習されている。この事前学習によって言語の構造、世界知識、推論能力の「素地」が獲得される。

カスタマイズの方法

ベースモデルを特定の業務に適応させる方法は複数ある。

最も手軽なのはプロンプトエンジニアリングで、モデル自体は変更せずに指示文を工夫する。次にファインチューニングがあり、業務固有のデータでモデルの重みを調整する。LoRA や QLoRA はこのファインチューニングのコストを大幅に下げる手法だ。

さらに踏み込む場合は継続事前学習（Continued Pre-training）を行い、ドメイン固有の知識をモデルに追加する。医療や法律など専門用語が多い領域で採用されることがある。

オープンウェイト vs プロプライエタリ

ベースモデルは大きく二つに分かれる。Meta の Llama や Mistral のようにモデルの重みが公開されている「オープンウェイトモデル」と、OpenAI の GPT や Anthropic の Claude のように API 経由でのみ利用できるプロプライエタリモデルだ。

自社でファインチューニングやローカル LLM 運用を行う場合はオープンウェイトモデルが前提になる。API 利用で十分な場合はプロプライエタリモデルの方が運用コストが低い場合もある。