PLaMo 3 Translate はどのサイズを選ぶ？DGX Spark で 4 サイズと Claude を実測比較

PLaMo 3 Translate は、Preferred Networks（PFN）が重みを公開した翻訳特化の LLM で、0.8B・2B・8B・31B の 4 サイズがあり、53 言語の翻訳に対応します。当社はこの 4 サイズを DGX Spark（128GB）1 台で動かし、英語・日本語・タイ語の 240 件を Claude の Haiku・Sonnet と同じ文で訳させて、chrF と COMET-22 の 2 つの指標で採点しました。8B は Claude Sonnet と差の無い精度を、1 文あたり中央値 1.7 秒で出しています。31B は 8B をわずかに上回るものの、4 倍近く遅くなりました。対応言語に入っていないラオス語は、どのサイズでも訳として使えませんでした。

社外に出したくない文書を手元で訳したい、タイやラオスに拠点を持つ企業の情報システム・DX の担当者向けに、どのサイズを選び、どこで Claude と使い分けるかを数字でまとめました。

モデルの特徴と、事業で使うときのライセンスの条件を押さえたうえで、DGX Spark（128GB）で 4 サイズを順に動かし、同じ 240 件を訳させて採点しました。

PLaMo 3 Translate は、PFN と情報通信研究機構（NICT）の共同研究で得られた事前学習モデル「PLaMo 3 NICT」を基盤に、数十 B トークン規模の翻訳向けの学習を加えたモデルです。入力と出力を合わせて 32,768 トークンまでを一度に扱えます。

訳し方は、Chat Completions API の chat_template_kwargs に引数で指定します。訳先と原文の言語（target_lang・source_lang。原文の言語は省略できる）、用語集（glossary）、前後の文章や場面の説明（context）、日本語に訳すときの常体・敬体（form）を、原文や指示文に書き込まずに渡せます。

ライセンスは PLaMo Community License です。私的な用途や学術用途なら、登録なしで無償で使えます。事業で使う場合は、組織の中だけで使うときも含めて、次の 2 つを両方満たす必要があります。

• 使い始める前に、PFN の商用利用登録フォームで登録する
• 利用者または関係会社の直近事業年度の収入または売上が 10 億円以下である

10 億円を超える場合は、PFN と別に契約を結びます。訳を公表するときは PLaMo の生成物であることを示し、第三者に提供するときは「Built with PLaMo」と明記する決まりもあります。社内の仕組みに組み込む前に、法務の担当者と条文を確かめてください。

推論は llama.cpp の llama-server で行い、PFN が配布する GGUF 版の Q4_K_M（4 ビットの量子化）を、サイズごとに 1 つずつ読み込んで測りました。PFN のモデルカードでは、4 サイズとも Q4_K_M と量子化しない BF16 の差は、英→日の COMET-22 で 0.0011 以内です。

Claude には temperature を指定していません。今回使った API が、既定以外の値を受け付けなかったためです。Claude は 1 回だけ流したので、繰り返したときのばらつきは測っていません。Claude の応答時間には、バンコクから東京の窓口までの通信の往復も含まれます。

評価の文は、Google が公開している WMT24++（Apache-2.0）から選びました。英文に日本語訳とタイ語訳の両方がそろっているものから、文学・ニュース・SNS・スピーチの 4 分野を 15 文ずつ、計 60 文（600 字以下）を無作為に取り出し、英→日・日→英・英→タイ・日→タイの 4 方向、計 240 件を訳させています。日本語を原文にする 2 方向では、英語から訳された日本語を原文に使ったので、はじめから日本語で書かれた文とは言い回しが違う場合があります。

採点には 2 つの指標を使いました。chrF は、訳と参照訳（正解とみなす訳）で文字の並び（最大 6 文字）がどれだけ重なるかを数える指標です。日本語とタイ語は語の間に空白が無いので、語の重なりも数える chrF++ ではなく chrF にしました。ただ、chrF は言い換えた訳を低く数えます。そこで、原文・訳・参照訳を読ませて意味の近さを点数にする COMET-22（Unbabel/wmt22-comet-da）でも採点しました。PFN がモデルカードで使っている指標も COMET-22 です。

モデル間の差は、文を単位に 1,000 回の再標本化（paired bootstrap）で確かめ、p 値が 0.05 未満のものを「差がある」としています。

精度は 0.8B から 2B で大きく上がり、8B と 31B の差は小さくなりました。速さは、サイズを 1 段上げるごとに約 3〜4 倍遅くなります。

精度と待ち時間の釣り合いが良いのは 8B です。31B は COMET-22 で 0.003 上回る代わりに、1 文の時間が約 4 倍になります。

240 件にかかった時間は、8B が約 10 分、31B が約 41 分でした。

31B が遅いのは、メモリの読み出しの速さで頭打ちになっているためと見ています。1 トークンを作るたびに 19.5GB の重みを読むとすると、毎秒 10 トークンは毎秒約 195GB の読み出しにあたり、GB10 のメモリ帯域の公称値（毎秒 273GB）に近い値です（推定）。128GB のメモリは大きなモデルを載せる余裕にはなりますが、31B を速くしてくれるわけではありません。

タイ語に訳すときは、どのサイズでも約 3 倍の時間がかかりました。出力のトークン数が多いためで（8B の中央値は英→日 52、英→タイ 145）、訳の時間はほぼこれに比例します。

chrF は言語によって値の水準が違うので、同じ方向の中でサイズを比べます。サイズによる差がいちばん大きいのは英→日で、chrF は 0.8B の 36.3 から 31B の 39.9 まで上がりました。英→タイでは 8B（52.9）が 31B（52.2）を上回っています。方向ごとの比較は 60 文ずつなので、検定はしていません。

サイズの差が目に見えて出たのは、日付や数字の並べ方です。文学の分野の「JANUARY 14th, 10:26 PM, 2543.」（参照訳は「2543年1月14日、午後10時26分」）を、4 サイズは次のように訳しました。

日本語の日付の順に並べ替えたのは 31B だけでした。

PFN のモデルカードにある WMT24++ の英→日の COMET-22（GGUF の Q4_K_M）は 0.8716〜0.8810 で、今回の英→日（0.8866〜0.8976）はどのサイズも 0.012〜0.017 高く出ました。600 字以下の 60 文に絞った文の選び方の違いによるものと見ています（推定）。サイズの順位と、0.8B から 31B までの開き（公表値は +0.0094、今回は +0.0110）は一致しています。

精度では、8B と 31B が Claude Sonnet と並び、2B は Claude Haiku と並ぶか少し上でした。1 文の時間は中央値なら PLaMo の小さいサイズが速く、長い文での遅れは Claude の方が小さく出ました。

chrF と COMET-22 のどちらでも、8B・31B と Claude Sonnet の差は確かめられませんでした。

差の検定の結果は次のとおりでした（p は chrF・COMET-22 の順）。

0.8B と 2B が Claude Haiku より上か下かは指標によって入れ替わるので、この 2 サイズと Haiku の差は小さいと読むのが正確です。

中央値では PLaMo の小さいサイズが速く、長い文が混ざったときの遅れ（95% 点）は Claude の方が小さく出ました。1 文の時間は、Claude Haiku が中央値 1.44 秒・95% 点 2.76 秒、Claude Sonnet が 1.76 秒・3.58 秒です（PLaMo は前の節の表）。

日本語や英語に訳すときは、中央値で 8B まで Claude Haiku より速く出ました（英→日は 8B が 1.32 秒、Haiku が 1.43 秒と僅差）。タイ語に訳すときに Haiku（1.85〜1.94 秒）より速かったのは 2B（1.31〜1.34 秒）までです。PLaMo は出力が長いほど時間が延びるので、長い文やタイ語の文が混ざると 95% 点が大きくなります。

240 件の利用料は、Claude Haiku が約 0.024 ドル、Claude Sonnet が約 0.48 ドルでした。使ったトークン数を Anthropic の API の定価（100 万トークンあたり、Haiku は入力 0.10 ドル・出力 0.50 ドル、Sonnet は入力 2 ドル・出力 10 ドル）で換算した執筆時点の参考値で、Bedrock の実際の請求額は確かめていません。最新の料金は各社の料金ページで確認してください。PLaMo は 1 件ごとの料金はかかりませんが、機械と電気の費用がかかります。

用語集と参考文脈は、6 モデルとも指定どおりに効きました。差が出たのは、日本語の常体の指定です。

文脈が無いと 6 モデルとも「締め」を期限の意味に取って「The deadline is the 25th.」と訳し、渡すと「The closing date」や「The cutoff date」に変わりました。

文体を指定しないときは、4 サイズとも敬体（です・ます）で訳しました。頼む文では常体を指定しても敬体のままで、31B は敬体を指定しても「ご提出ください」にはしませんでした。時制にも差があり、文体を指定しないとき、原文の現在形「cuts」を 0.8B・2B・31B は「短縮されました」と過去形で訳しました（現在形を保ったのは 8B だけ）。仕様書や報告書では、訳文の時制も確かめてください。

タイ語の語尾は、0.8B が男性の丁寧語の「ครับ」だけを付け、2B 以上は「ครับ」と「ค่ะ」を併記しました。Claude も 2 モデルとも男女の語尾を併記しています。原文の言語を省いたタイ語→英語の訳は、4 サイズとも原文の言語を正しく判定しました。

ラオス語は PLaMo 3 Translate の対応言語に入っておらず、訳先にすると別の言語で訳し、原文にすると読めませんでした。Claude は 4 方向とも訳になっていました。

言語コード lo を渡してもエラーにならず、訳が返ってくるので、気づかないまま使うおそれがあります。

評価の文は、Microsoft が公開している NTREX-128（CC BY-SA 4.0。英語のニュース 1,997 文を人が 128 言語に訳したもの）から 60 文を取り、英→ラオ・日→ラオ・ラオ→日・ラオ→英の 4 方向で 240 件にしました。31B は 1 文に最大 101 秒かかったため、先頭の 15 文（60 件）だけを回しています。

PLaMo は 4 サイズとも、ラオス語の訳を 1 件も書けませんでした。

表の数字は chrF です。31B と同じ 15 文に絞っても順位は変わりません。

外れ方には決まった形がありました。どのサイズも、意味の合った訳を別の言語で書いています。「He is free.」をラオス語に訳させると、次のように返りました。

置き換わった先のヘブライ語・タイ語・クメール語・ミャンマー語は、どれも PLaMo 3 Translate の対応言語です。モデルに同梱の会話の型（chat_template.jinja）は、言語コードの形（小文字 2〜3 字）しか確かめていません。対応外のコードを受け取ると対応言語のどれかに置き換えて訳し、置き換え先はサイズで違う、と読めます。

原文がラオス語の方向では、PLaMo はどのサイズもラオス語を読めていませんでした。31B の 30 件を参照訳と一つずつ見比べましたが、原文の意味を伝えている訳は 1 件もありません。返ってきた訳は、大きく 3 つの形に分かれます。

1 つ目は、原文をそのまま返す形です。0.8B はラオ→日の 60 件中 39 件が、ラオ文字のままでした。

2 つ目は、意味の無いカタカナやローマ字を並べる形です。2B は「ジュハラ・ニャウンチャイ・ラパ・ラパ・ラパ…」と同じ音を繰り返し、31B は「Lehtiewulaba Kedsaiehalahmeihailekefufengjin.」のような綴りを作りました。0.8B・2B・8B は 120 件中 29〜36 件が、止まらずに出力の上限（1,024 トークン）で打ち切られています。

3 つ目は、原文と関係の無い文を作る形で、いちばん気づきにくいものです。参照訳が「少年はサンディエゴにあるラディー・チルドレンズ病院に空中搬送され、危険な状態にあるという。」となる原文を、31B は「カリフォルニア州サンディエゴにあるRady Children's Hospitalは、小児がん治療を専門としています。」と訳しました。原文に英字のまま入っていた病院名と地名だけを拾い、残りを作っています。もっともらしい日本語なので、ラオス語が読めない人には誤りが分かりません。これもハルシネーションの一種です。31B のラオ→英の chrF が 19.2 と高めなのも、こうした英字の固有名詞が一致した分です。

Claude にも誤訳はありました。Claude Sonnet は、「彼」と「ラオス」の両方の意味がある「ລາວ」を国名と読んで「Laos has freedom.」と訳し、もみ合いを意味する語を「The bombing」（爆撃）と訳しています。

訳先の言語が違っていても、意味が合っていれば COMET-22 は点を付けます。

PLaMo はどのサイズも Claude より 0.27〜0.39 低く、差はすべて有意でした（p < 0.001）。ただ、31B の英→ラオは、ラオ文字を 1 件も書いていないのに 0.718 です。同じ訳の chrF は 4.5 なので、COMET-22 だけを見ていたら「そこそこ訳せている」と読み違えるところでした。COMET-22 は原文と訳の意味の近さを測るため、クメール語やタイ語でも意味が合っていれば点が入ります。

話者の少ない言語を評価するときは、訳が正しい言語の文字で書かれているかを別に数えてください。今回は訳の中でいちばん多い文字の種類を Unicode の範囲で数え、この取り違えを見つけました。

60 文を 1 回流した計測なので、選び方は目安です。測っていない条件も挙げるので、自社の文書でも確かめてから決めてください。

日本語・英語・タイ語を手元で訳すなら、今回の条件では、まず 8B を試すのが妥当です。

サイズどうしの差は検定していないので、31B の上積みは今回の 240 件で見えた差です。

0.8B は 1 文 0.20 秒と最も速く、GPU メモリも 737MiB で済みます。ただ chrF では Claude Haiku を下回り、日付の並べ方のような細部も崩れやすいので、人が読む文書の下訳には 2B 以上を勧めます。

次の条件は測っていません。

• vLLM 向けの形式（BF16・FP8・NVFP4 など）。GGUF の Q4_K_M だけを測りました
• 同時に複数の依頼を送ったときの処理量。すべて 1 件ずつ順に送っています
• 長い文書。600 字以下の文だけを使い、32,768 トークンの上限に近い長さは試していません
• 人による評価と、COMET-22 以外の学習済みの指標（MetricX、COMET-Kiwi など）
• Claude 以外の翻訳の手段（TranslateGemma、DeepL、Google 翻訳など）との比較
• 同じ機械に常駐していた別の推論サーバー 2 本の影響（計測中はほぼ無負荷でした）
• ラオス語での 31B の残り 45 文

社内の文書は、専門用語の多さや文の長さが評価の文と違います。用語集の効き方を含めて、今回と同じ手順で自社の文書を訳させて測ると、どのサイズで足りるかを判断しやすくなります。

PLaMo 3 Translate を手元で動かすかを検討するときに出やすい疑問に、今回の結果で分かった範囲で答えます。

4 サイズとも動きました。GGUF の Q4_K_M なら、31B でも GPU メモリの使用は約 19.8GB で、128GB の統合メモリには十分な余裕があります。ただ 31B は 1 文の中央値が 6.5 秒、95% 点が 30 秒と遅いので、対話の中で使うなら 8B 以下が現実的です。

日本語・英語・タイ語の文書を手元で訳す用途なら、8B が Claude Sonnet と差の無い精度を出し、1 件ごとの料金もかかりません。ただ、ラオス語のような対応外の言語を含む場合や、頼む文まで常体にそろえたい場合は、今回の結果では Claude の方が向いていました。

条件つきで使えます。利用者と関係会社の直近事業年度の収入または売上が 10 億円以下なら、PFN の商用利用登録フォームで登録すれば無償で商用利用できます。社内だけで使う場合も登録が必要です。10 億円を超える場合は、PFN と別の契約を結びます。

PLaMo 3 Translate を DGX Spark（128GB）で動かした結果、英語・日本語・タイ語では 8B と 31B が Claude Sonnet と差の無い精度で、2B は Claude Haiku と並ぶか少し上でした。精度と待ち時間の釣り合いでは 8B が扱いやすいサイズです。

対応言語の外にあるラオス語は使えませんでした。言語コードを渡してもエラーにならないので、使う前に対応言語の一覧を確かめ、訳が正しい言語で書かれているかも数えてください。COMET-22 だけでは、この誤りを見落とします。

関連する記事として、DGX Spark でローカル LLM を速くするには？、DGX Spark でツール操作に強いオープンウェイトモデルは？、ローカル LLM / SLM 導入比較もあわせてご覧ください。

当社では、ローカル LLM を使った翻訳やエージェントの検証・PoC も支援しています。ご相談は AI・DX 支援からお寄せください。

本記事に載せた PLaMo 3 Translate の訳の例は、同モデルの生成物です（Built with PLaMo）。

参考資料（執筆時点で参照）: PLaMo 3 Translate 8B GGUF のモデルカード、PLaMo Community License、PFN のテックブログ、WMT24++、NTREX-128。