ローカル LLM でレポート全体を作る時間とメモリを測る(local_llm_bench)¶
自治体の普通の PC で広聴AIを動かせるか、何件なら実用的かを決めるための測定スクリプトです(#471)。測った結果は #1195 にコメントしてください。複数の PC の結果が集まったら、推奨スペックの文書にまとめます。
本物のローカル LLM(Ollama・llama.cpp など OpenAI 互換の接続先)につなぎ、広聴AIの CLI でレポートを最後まで作って、次を CSV に記録します。
- PC の情報(OS・CPU・論理コア数・メモリの総量)
- 完走したか、全体の時間、段ごとの時間(抽出・埋め込み・クラスタリング・ラベル付け・概要など)
- 分析のプロセスのメモリの最大値(MB)
LLM のサーバ(Ollama など)は別のプロセスなので、そのメモリは含みません。サーバのメモリは、タスクマネージャーなどで別に見てください。
準備¶
-
Python 3.12 以上で、分析コアと psutil を入れます(psutil は Windows でメモリを測るのに使います)
python3.12 -m venv .venv source .venv/bin/activate # Windows: .venv\Scripts\activate pip install 'kouchou-ai-analysis-core[embeddings,clustering]' psutilこのリポジトリの開発中の版で測るときは、
pip install -e 'packages/analysis-core[embeddings,clustering]' psutilにします。 -
ローカル LLM を動かします。Ollama なら次のとおりです
GPU を使わずに測るときは、GPU が使われていないことを確かめてください。Ollama は
CUDA_VISIBLE_DEVICES=-1だけでは Vulkan 経由で GPU を使うことがあります。OLLAMA_VULKAN=falseとGGML_VK_VISIBLE_DEVICES=-1も設定し、起動ログにlibrary=cpuと出ることを確かめます(#471 の katsushi2441 さんの測定より)。 -
初回は、埋め込みのモデル(
paraphrase-multilingual-mpnet-base-v2、約 1GB)が自動でダウンロードされます。
測る¶
python experiments/local_llm_bench/bench.py --model gemma4:e4b --reasoning-effort none --n 100 --n 400
--nは件数です。複数回指定すると順に測ります。既定の入力は管理画面のサンプル(apps/admin/public/sample_comments.csv、400 件)です。それより多く測るときは、--input <CSV> --text-column <本文の列名>で別の CSV を渡します--reasoning-effort noneは、gemma4 などの思考型モデルの思考を止めます(LOCAL_LLM_REASONING_EFFORTに渡します。分析コアが #1193 より前の版だと効きません。そのときはスクリプトが止まります)--addressは接続先です(既定は Ollama の127.0.0.1:11434)。llama.cpp のllama-serverなら127.0.0.1:8080などにします--workersは抽出の並列数です(既定 1)。Ollama の同時処理数(OLLAMA_NUM_PARALLEL)を増やしたときに合わせます--noteに、GPU を切った方法など結果を読むときに要るメモを残せます
入力・設定・出力・ログは bench-work/ に、結果は bench-results.csv に 1 回 1 行で足されます。失敗したときは、表示されるログのファイルを見てください。
結果の例¶
| PC | モデル | 件数 | 全体 | メモリ最大 |
|---|---|---|---|---|
ARM(Neoverse-N1)8 コア・30GB・GPU なし(llama.cpp、サーバ側で思考を止めた、--workers 1) |
gemma-4-E4B(Q4_K_M) | 20 | 4.9 分 | 2.0GB |
このときの段ごとの時間は、抽出 85 秒・埋め込み 12 秒・クラスタリング 15 秒・初期ラベル 93 秒・統合ラベル 62 秒・概要 23 秒でした。件数が少ないうちは、ラベル付けの時間(クラスタの数で決まる)が抽出より長くなります。
ARM のサーバの値は、自治体の PC(x86)の目安にはなりません。#1195 に、自治体の PC に近い PC での結果をお願いします。