オープンウェイトモデルとは、学習済みのモデルの重み(パラメータ)が公開されており、ダウンロードして自由に推論やFine-tuningに利用できる言語モデルのことである。
混同されやすいが、オープンウェイトとオープンソースは同じではない。ソフトウェアのオープンソースは、ソースコード・学習データ・学習手順のすべてが公開され、誰でも再現・改変できることを意味する。オープンウェイトは「学習済みの重みファイルが公開されている」という、より限定的な概念だ。
MetaのLlama 3はモデルの重みを公開しているが、学習に使ったデータセットの詳細は非公開であり、商用利用にも月間ユーザー数に応じた条件がある。Mistralも同様に重みは公開しつつ、ライセンスはモデルによってApache 2.0と独自ライセンスが混在する。厳密にはオープンソースではなく「オープンウェイト」と呼ぶのが正確だ。
重みが手元にあるということは、推論を完全に自社管理下で実行できるということだ。これが意味するのは以下の3点。
カスタマイズの自由: 自社データでFine-tuningし、特定ドメインに特化したモデルを作れる。API経由では不可能な深いカスタマイズが可能になる。PEFTやLoRAを使えば、消費者向けGPU 1枚でもFine-tuningが現実的だ。
データ主権の確保: 推論時に外部にデータを送信しないため、機密情報を扱う業務にも適用できる。金融・医療・法務など規制の厳しい業界での採用が進んでいるのはこのためだ。
ベンダーロックインの回避: 特定のAPI提供者に依存しない。料金改定やサービス終了のリスクから自社のAIインフラを切り離せる。
Meta の Llama 4 シリーズは Scout(17B active / 109B total)から Behemoth(288B active / 2T total)まで幅広いサイズ展開で、Mixture of Experts アーキテクチャを採用している。Google の Gemma 3 は1B〜27Bの軽量路線。Mistral は Mistral Large 2 で商用グレードの性能を提供しつつ、軽量版も並行してリリースしている。中国勢では DeepSeek-V3 や Qwen 2.5 が多言語性能で存在感を示している。
選定時に確認すべきはモデル性能だけではない。ライセンス条件(商用利用の可否、ユーザー数制限)、対応言語、必要なハードウェアスペックを事前に精査する必要がある。


Dense Model(密結合モデル)とは、推論時にモデルの全パラメータを使って計算を行うニューラルネットワークアーキテクチャのことである。MoE(Mixture of Experts)がエキスパートの一部だけを活性化させるのに対し、Dense Model は入力に関わらず常にすべての重みが演算に関与する。

ベースモデル(Foundation Model)とは、大規模なデータセットで事前学習(プリトレーニング)された汎用 AI モデルのことである。特定のタスクに特化しておらず、ファインチューニングやプロンプトエンジニアリングによって多様な用途に適応できる「土台」として機能する。

Sparse Model(スパースモデル)とは、推論時にモデルの全パラメータではなく一部のみを活性化させるニューラルネットワークアーキテクチャの総称である。代表例として MoE(Mixture of Experts)があり、パラメータ総数を増やしつつも推論コストを抑えるという、Dense Model とは異なるスケーリング戦略をとる。


PEFT(パラメータ効率型ファインチューニング)とは?AI モデルカスタマイズのコストを 90% 削減する技術

LoRA(Low-Rank Adaptation)とは、大規模言語モデルの重み行列に低ランクの差分行列を挿入し、その差分だけを学習させることでモデル全体の 0.1〜1% 程度のパラメータ追加でファインチューニングを実現する手法である。