LoRA
ローラ
LoRA（Low-Rank Adaptation）とは、大規模言語モデルの重み行列に低ランクの差分行列を挿入し、その差分だけを学習させることでモデル全体の 0.1〜1% 程度のパラメータ追加でファインチューニングを実現する手法である。
LoRA は Transformer の各層にある重み行列 W に対し、低ランク行列の積 A×B を加算する構造をとる。元の重み W は凍結したまま、追加した A と B だけを学習するため、学習対象のパラメータ数はモデル全体の 0.1〜1% 程度に抑えられる。ランク r は 4〜64 程度で設定するのが一般的で、r が小さいほどパラメータ数は減るが表現力とのトレードオフになる。
実装面では Hugging Face の PEFT ライブラリや Unsloth が広く使われており、既存の学習パイプラインに数行のコード追加で組み込める。学習済みの LoRA アダプタはモデル本体とは別ファイル（数十 MB 程度）として保存でき、タスクごとにアダプタを差し替えることで 1 つのベースモデルを複数用途に使い回せる。GPU メモリに余裕がある場合はアダプタをベースモデルにマージして推論速度を維持する運用も可能。
筆者の環境では r=16 が多くのタスクで精度と効率のバランスが良く、最初の設定として採用することが多い。
ただし、モデルが元々持っていない能力——たとえば未対応言語の追加——を LoRA だけで獲得するのは難しく、その場合は継続事前学習との併用が必要になる。
関連用語
AI ROI（AI投資対効果）
AI ROIとは、AI導入・運用に投じたコストに対して得られた業務効率化・収益改善などの効果を定量的に測定する指標のこと。
AIオブザーバビリティ（AI Observability）
本番稼働中のAIシステムの入出力・レイテンシ・コスト・品質を継続的に監視・可視化する運用プラクティス。ハルシネーションやドリフトの早期検出に不可欠。
BPO（ビジネス・プロセス・アウトソーシング）
BPOとは、企業が特定の業務プロセスを外部の専門業者に委託するアウトソーシング形態のこと。AI活用による自動化と組み合わせたAIハイブリッドBPOが近年注目されている。
ERP（エンタープライズ・リソース・プランニング）
ERP（エンタープライズ・リソース・プランニング）とは、財務・購買・製造・人事などの基幹業務データを一元管理し、経営意思決定を支援する統合型業務管理システムのこと。