エンベディング

コンピュータは「りんご」と「みかん」が似ていることを文字列からは判断できない。エンベディングはこの問題を解決する。「りんご」を [0.23, -0.41, 0.87, ...] のような数百次元のベクトルに変換すると、「みかん」のベクトルとは距離が近く、「自動車」のベクトルとは遠くなる。意味の近さが数値の近さとして表現される。

LLM の内部でもエンベディングは中核的な役割を果たしている。入力テキストはまずトークン化され、各トークンがエンベディングベクトルに変換される。Transformer はこのベクトル列を処理して出力を生成する。

実務で頻繁に使われるのは、文章単位のエンベディングだ。OpenAI の text-embedding-3-small や Cohere の embed-v4 といったモデルが、文章を一つのベクトルに変換する。このベクトルをベクトルデータベースに格納すれば、意味検索や RAG の検索層が構築できる。

モデル選択の際は、次元数・対応言語・コストのバランスが判断基準になる。日本語やタイ語を扱う場合、多言語対応モデルの精度を事前にベンチマークしておくことが重要だ。