コンテンツにスキップ

ローカルLLMのモデル選び(品質の測定結果)

このページは、広聴AIの分析をクラウドの API ではなく手元で動かす LLM(プロバイダ LocalLLM、docker compose --profile ollama など)で行いたい方向けに、どのモデルを選ぶとよいかを、品質の測定結果からまとめたものです。

2026-11 時点の測定です

1 つの題材(チームみらいの公開データ)で、判定役に LLM(Claude)を使って測った結果です。人の判定での確認はまだです。ほかのデータや新しいモデルで測った結果は、Issue #471 に書き込んでください。

まとめ

  • 普通の PC で動かすなら、gemma-4-E4B(4 ビット量子化、思考を止める)が第一候補です。 意見の抽出・ラベル付けとも、クラウドの既定のモデル(gpt-4o-mini、gpt-4o)に劣りませんでした。
  • gemma-4-12B(QAT の 4 ビット)は、E4B より良いとは言い切れません。 長い文からの抽出の勝ち点は 12B 0.72・E4B 0.68 と 12B が上でしたが、95% 区間が重なっています。ラベル付けの勝ち点は E4B 0.67・12B 0.61 で逆でした。CPU では 1 件あたり 3 倍ほど時間がかかります。
  • ELYZA-JP-8B はおすすめしません。 プロンプトの入出力例の文を、関係の無い意見の出力にそのまま入れることがありました。レポートに存在しない意見が混ざる種類の誤りです。以前は docker compose --profile ollama で既定でダウンロードされるモデルでしたが、今の既定は gemma4:e4b です(#1193)。以前の構成で入れた ELYZA-JP-8B を使っている場合は、gemma4:e4b を入れて選び直してください(下の「Ollama で gemma4:e4b を使う」)。
  • gemma-4-E2B は、長い文からの抽出で gpt-4o とほぼ互角でした。主な論点を落とすことが多めです。

測り方

チームみらいの公開データ(Hugging Face)には、広聴AIを実行したときの入力・出力と、プロンプトを含む設定が全部入っています。そこで、LLM だけを差し替えて同じプロンプトで処理し、公開データに入っているクラウドのモデルの出力と比べました。

  • 2 つの出力を、どちらがどのモデルか伏せて並べ、どちらが元の文を正しく伝えるかを判定役(Claude)に選ばせました(A/B の順は無作為)。
  • 見たのは、元の文に無いことを足していないか、意味や賛否を変えていないか、言い過ぎていないか、主な論点を落としていないか、です。
  • 勝ち点は、勝ち 1・引き分け 0.5・負け 0 の平均です。0.5 を超えればクラウドのモデルより良い、という意味です。
  • 呼び方は、広聴AIの LocalLLM と同じ OpenAI 互換の API で、JSON スキーマ指定・温度 0 にしました。gemma-4 は思考を止めました。
  • ローカルのモデルは 4 ビット前後に量子化した重みを使いました(31B は Intel/gemma-4-31B-it-int4-AutoRound)。

結果

広聴AIの意見抽出とラベル付け(基準: gpt-4o-mini)

広聴AIの抽出プロンプト・初期ラベルのプロンプトをそのまま使いました。抽出は 200 件、ラベルは 40 クラスタです。ラベルは A/B を入れ替えて 2 回判定し、2 回で結論が一致したときだけ勝敗としました。

モデル 抽出(勝ち・負け) ラベルの勝ち点(95% 区間) 気になった誤り
gemma-4-E4B 14・6 0.67(0.56〜0.78)
gemma-4-12B 17・2 0.61(0.49〜0.73)
gemma-4-26B-A4B 18・8 0.47(0.34〜0.61) 長く強いラベル
gemma-4-31B 15・4 0.62(0.51〜0.72)
ELYZA-JP-8B 16・13 0.54(0.44〜0.66) 入出力例の写し 2 件、漠然としたラベル

抽出の残りは引き分けです(出力が同じものを含む)。入力は短い 1 文なので差が出にくく、どのモデルも gpt-4o-mini に大きく劣りはしませんでした。

長い文からの抽出(基準: gpt-4o)

意見の元になった長い文(政策提案の本文、中央値で約 1,500 字)から、提案者が感じている問題を取り出す段です。広聴AIに長い自由記述を入れるときに近い条件です。

モデル 勝ち・負け・引き分け 勝ち点(95% 区間) 入出力例の写し
gemma-4-31B 40・9・11 0.76(0.66〜0.85) 0
gemma-4-12B 34・8・18 0.72(0.62〜0.81) 0
gemma-4-E4B 33・12・15 0.68(0.57〜0.78) 0
gemma-4-E2B 26・21・13 0.54(0.42〜0.66) 0
ELYZA-JP-8B 10・39・11 0.26(0.17〜0.36) 5

同じ 60 件の比較です。31B は 200 件でも測り、143 勝 18 敗(引き分け 39)、勝ち点 0.81 でした。

速さの目安

品質とは別に、速さは Issue #471 で測られています。AMD Ryzen 7 5700X の 4 コア(8 スレッド)・メモリ 16GB・GPU なしで、Ollama を使い、抽出 1 件にかかった時間は次のとおりでした(#471 のコメント より)。

モデル 抽出 1 件
ELYZA-JP-8B 7.4 秒
gemma4:e4b(思考を止めた場合) 11.5 秒
gemma4:12b-it-qat 30.6 秒

Ollama で gemma4:e4b を使う

docker compose --profile ollama で Ollama を起動すると、gemma4:e4b が既定でダウンロードされます。以前の構成で起動していて入っていない場合は、次のコマンドでモデルを入れます(約 6.6GB)。入れたモデルは、レポート作成画面でプロバイダ LocalLLM を選ぶと、モデルの一覧に出ます。

docker compose exec ollama ollama pull gemma4:e4b

使うときの注意

  • gemma-4 は思考を止めて使ってください。 止めないと出力の大部分が思考になり、時間が 3 倍ほどかかります(#471 のコメント)。
    • Ollama:思考を止めるには、広聴AIから要求ごとに reasoning_effort: "none" を送る必要があります。.env に LOCAL_LLM_REASONING_EFFORT=none を設定すると送ります(#1193 で追加)。設定しないと思考したまま動くので、結果は出ますが遅くなります。
    • llama.cpp の llama-server:起動時に --chat-template-kwargs '{"enable_thinking":false}' を付けると、すべての要求について思考を止められます。この指定は llama-server のもので、Ollama には使えません。
  • 温度 0 では、同じ文を繰り返して止まらなくなることがあります。 gemma-4 は、出力の中の自由記述の欄で同じ文を繰り返し、出力の上限まで書き続けることがありました(12B で 60 件中 13 件)。広聴AIの意見抽出の出力には自由記述の欄が無いので起きにくいはずですが、ラベル付けの説明文は自由記述です。
    • 配信する側で出力の上限を付けておくと(llama-server なら -n 2048)、止まらなくなった応答も上限で終わります。ただし上限で切れたラベルの応答は JSON が閉じていないので、広聴AIは読めずにそのクラスタだけを送り直します。3 回とも切れると、ラベル付けは失敗して止まります。
    • 止まったときは、もう一度実行してください。温度 0 でも毎回同じ出力になるとは限らず、私たちの測定(gemma-4-31B での課題の抽出)では、繰り返しで切れた 500 件を送り直すと 200 件は普通に終わりました。何度も止まる場合は、別のモデルに変えてください。
  • 入出力例の写しは、勝ち点に出にくい誤りです。 小さいモデルを試すときは、出力にプロンプトの入出力例と同じ文が無いかを確かめてください。

限界

  • 判定は Claude が 1 組 1 回(ラベルは A/B を入れ替えて 2 回)行っただけで、人の判定での確認はまだです。ローカル側の文はやや長く、判定役が長い文を好んだ可能性は除けていません。
  • 題材は AI インタビュアーが書いた政策提案で、市民の生の自由記述ではありません。
  • 4 ビット前後に量子化したモデルどうしの比較です。量子化しない場合との差は測っていません。

詳しい記録