Dense Model（密結合モデル）
Dense Model（密結合モデル）とは、推論時にモデルの全パラメータを使って計算を行うニューラルネットワークアーキテクチャのことである。MoE（Mixture of Experts）がエキスパートの一部だけを活性化させるのに対し、Dense Model は入力に関わらず常にすべての重みが演算に関与する。
AI・DX・セキュリティ用語集
AI・DX・セキュリティに関する専門用語を図解つきでわかりやすく解説します
AI・DX・セキュリティに関する専門用語を図解つきでわかりやすく解説します
Dense Model（密結合モデル）とは、推論時にモデルの全パラメータを使って計算を行うニューラルネットワークアーキテクチャのことである。MoE（Mixture of Experts）がエキスパートの一部だけを活性化させるのに対し、Dense Model は入力に関わらず常にすべての重みが演算に関与する。
LLM（Large Language Model）とは、大量のテキストデータで事前学習された、数十億〜数兆のパラメータを持つニューラルネットワークモデルの総称であり、自然言語の理解・生成を高い精度で行う。
MoE（Mixture of Experts）とは、モデル内部に複数の「エキスパート」サブネットワークを持ち、入力ごとにその一部だけを活性化させることで、パラメータ総数を増やしつつ推論コストを抑えるアーキテクチャである。
PEFT（Parameter-Efficient Fine-Tuning）とは、大規模言語モデルの全パラメータではなく一部のみを更新することで、少ない計算資源とデータでモデルを特定タスクに適応させるファインチューニング手法の総称である。
RLHFとは人間のフィードバックを報酬として使う強化学習手法、RLVRとは検証可能な正解を報酬として使う強化学習手法であり、いずれもLLMの出力を人間の期待に沿うよう調整するために用いられる。
17件 / 1/2
