ファインチューニング

ファインチューニング(Fine-Tuning)とは、事前学習済みの機械学習モデルに追加の学習データを与え、特定のタスクやドメインに適応させるプロセスを指す。
「汎用的に賢いが、自社の業務は知らない」——LLM を実務に投入しようとすると、ほぼ確実にこの壁にぶつかる。ファインチューニングは、この汎用モデルを自社仕様に仕立て直す工程だ。
歴史的には BERT の時代(2018 年頃)から NLP の標準的なワークフローとして定着していた。事前学習で言語の一般的な構造を学び、ファインチューニングでタスク固有のパターンを上書きする、という二段階学習の枠組みは今も変わっていない。変わったのはモデルの規模と、それに伴うコストの問題だ。
現在のファインチューニングは大きく 3 つに分かれる。
フル FT はモデルの全パラメータを更新する。精度は最も高くなり得るが、70B モデルなら A100 80GB が 8 枚以上必要で、学習に数日かかることも珍しくない。予算と時間に余裕がある研究機関やビッグテック向け。
PEFT(LoRA / QLoRA 等)はパラメータの一部だけを更新する。フル FT の 1/10〜1/100 のコストで、多くのタスクでフル FT に迫る精度が出る。2024 年以降、実務ではこちらが主流になりつつある。
Instruction Tuning は少し毛色が異なり、モデルに「指示に従う能力」を教える。ChatGPT が自然な対話ができるのも、ベースモデルに大量の指示応答ペアでファインチューニングを施した結果だ。
どの手法を選ぶにせよ、学習データの品質がすべてを左右する。1 万件の雑なデータより、1,000 件の丁寧にアノテーションされたデータの方が良い結果を出す——これは筆者が何度も痛感してきた教訓だ。
関連用語

AI ROI(AI投資対効果)
AI ROIとは、AI導入・運用に投じたコストに対して得られた業務効率化・収益改善などの効果を定量的に測定する指標のこと。

AIオブザーバビリティ(AI Observability)
本番稼働中のAIシステムの入出力・レイテンシ・コスト・品質を継続的に監視・可視化する運用プラクティス。ハルシネーションやドリフトの早期検出に不可欠。

BPO(ビジネス・プロセス・アウトソーシング)
BPOとは、企業が特定の業務プロセスを外部の専門業者に委託するアウトソーシング形態のこと。AI活用による自動化と組み合わせたAIハイブリッドBPOが近年注目されている。

ERP(エンタープライズ・リソース・プランニング)
ERP(エンタープライズ・リソース・プランニング)とは、財務・購買・製造・人事などの基幹業務データを一元管理し、経営意思決定を支援する統合型業務管理システムのこと。