AI基礎・モデル | AI・DX・セキュリティ用語集

「AI基礎・モデル」カテゴリの用語集。AI・DX・セキュリティに関する専門用語を、経営層・IT担当者向けに図解つきで解説します。

PEFT

PEFT（Parameter-Efficient Fine-Tuning）とは、大規模言語モデルの全パラメータではなく一部のみを更新することで、少ない計算資源とデータでモデルを特定タスクに適応させるフ

QLoRA（Quantized LoRA）とは、LoRA に 4bit 量子化を組み合わせることで、コンシューマ向け GPU でも大規模言語モデルのファインチューニングを可能にした手法である。

RLHFとは人間のフィードバックを報酬として使う強化学習手法、RLVRとは検証可能な正解を報酬として使う強化学習手法であり、いずれもLLMの出力を人間の期待に沿うよう調整するために用いられる。

SLM（Small Language Model）とは、パラメータ数を数十億〜百億程度に抑えた言語モデルの総称で、LLMに比べ少ない計算資源で推論・Fine-tuningが可能なことを特徴とする。

MoE（Mixture of Experts）とは、モデル内部に複数の「エキスパート」サブネットワークを持ち、入力ごとにその一部だけを活性化させることで、パラメータ総数を増やしつつ推論コストを抑えるア

LLM（Large Language Model）とは、大量のテキストデータで事前学習された、数十億〜数兆のパラメータを持つニューラルネットワークモデルの総称であり、自然言語の理解・生成を高い精度で行

オープンウェイトモデルとは、学習済みのモデルの重み（パラメータ）が公開されており、ダウンロードして自由に推論やFine-tuningに利用できる言語モデルのことである。

コンテキストウィンドウとは、LLMが一度に処理できるトークン数の上限のことで、入力プロンプトと出力を合わせた最大長を指す。長いドキュメントの処理やマルチターン会話の品質に直接影響する。

推論時スケーリングとは、モデルの推論フェーズで使う計算量を動的に増減させることで、難しい問題にはより多くの「思考ステップ」を費やし、簡単な問題には即答する手法である。

回答前に明示的な思考連鎖を生成し、複雑な問題を段階的に解く大規模言語モデルの一種。

Sparse Model（スパースモデル）とは、推論時にモデルの全パラメータではなく一部のみを活性化させるニューラルネットワークアーキテクチャの総称である。代表例として MoE（Mixture of

Google が開発した LLM 向けメモリ圧縮技術。量子化によりメモリ消費量を最大 1/6 に削減し、推論速度を最大 8 倍に高速化する。

25件 / 1/3