コンテンツにスキップ

結果の信頼性・限界・責任の所在

広聴AIは、たくさんの意見を集めて ブロードリスニング(広く声を聴くこと) を助けるツールです。意見を抽出し、似たものをグループにまとめ、全体像を可視化します。ただし、出力はあくまで「大量の入力を整理して見やすくしたもの」であり、世論そのものや「正解」ではありません。

このページは、広聴AIのレポートを どこまで信じてよいか(信頼性)、何ができて何ができないか(限界)、そして 誰が何に責任を負うのか(責任の所在) を、作成者・閲覧者・運用者それぞれの立場からまとめたものです。

まず押さえてほしいこと

  • 広聴AIの出力は 大規模言語モデル(LLM)による処理結果 です。LLM にはバイアスがあり、もっともらしく見えても誤ることがあります。
  • 入力は 世論の代表サンプルではありません。投稿者・チャンネル・時期の偏りをそのまま含みます。
  • ラベルや分類は 人手で検証していません。公開前に、必ずサンプルを読んで確かめてください。
  • 一方で、各意見は 元の発言まで遡れる ように作られています。これが結果を検証できる根拠になります。
  • 重要な意思決定では、出力を鵜呑みにせず、内容を必ず検証 してください。

ブロードリスニングでできること・できないこと

できること できないこと
大量のコメントを構造的に整理し、全体像をつかむ 入力の偏りを取り除いたり、母集団を代表させたりすること
似た意見をグループにまとめ、見落としていた論点に気づく 「どの意見が正しいか」「どれが多数派の総意か」を決めること
各意見から元の発言へ遡り、根拠を確認する 元の発言が持つ文脈・ニュアンスを完全に保つこと
定義を固定した上で、比率や件数の目安を出す 定義・モデル・プロンプトをまたいだ数字をそのまま比較すること

ブロードリスニングは「意思決定を置き換える仕組み」ではなく、「人が全体を見渡し、原文に当たるのを助ける仕組み」です。

結果の読み方の注意

サンプリングは代表性を保証しない

レポートに出る件数や比率は、「この入力に対して、この定義で、このモデルがどう判定したか」を表すだけです。入力が世論の代表サンプルであることは保証しません。誰が・どの場・いつ投稿したかの偏りは、そのまま結果に残ります。比率を示すときは、必ず「何を母数にした割合か」も添えてください。

ラベルや分類は人手で検証していない

意見の分類ラベル のような任意ステップを含め、LLM が付けたラベルは 人手で検証していません。定義の境界(強い批判と侮辱、人事要求と制度要求など)では判定が揺れます。公開する前に、少なくともサンプルを読んで、定義と判定のずれを確認してください。

また、クラスタ(意味の近さでまとまったグループ)のラベルと、意見単位のラベルは別の仕組みです。両者の件数が一致しなくても異常ではありません。

モデルやプロンプトを変えた数字は単純比較しない

比率や件数を比べるときは、同じ定義・同じプロンプト・同じモデル でそろえてください。モデルやプロンプトを変えて出した数字を並べて「増えた/減った」を論じないでください。モデル変更とプロンプト変更を同時に行った結果は探索用にとどめ、どちらが効いたかを断定しないでください。

抽出で起こりうる失敗(元の意味がずれる場面)

意見の抽出は「元のコメントから主張を取り出す」処理ですが、入力の性質とプロンプトが合っていないと、原文の意味がずれることがあります。代表的な失敗は次のとおりです(詳しくは 抽出プロンプトの調整)。

  • 補いすぎ: 原文にない理由・背景・事実を付け足す。短い単語を長い主張に展開する。
  • 否定・条件の取りこぼし: 「〜なら」という条件や否定を落とし、賛否が反転する。
  • 皮肉・反語の読み違い: 表面は褒めているが実際は不満、という文を額面どおりに受け取る。
  • 主体の取り違え: 他人の主張・噂を、投稿者自身の主張にしてしまう。
  • 事実文の扱いのぶれ: 事実を述べただけの文を無理に意見化する、または逆に空にする。
  • 例文の混入: プロンプト内の例(few-shot)をそのまま出力に混ぜる。

改善にもトレードオフがある

プロンプトを調整すると、ある失敗は減っても別の性質が変わります(例: 書き換えは減るが、抽出結果が原文の写しに近くなる)。抽出プロンプトの調整 の調整例には「動作未検証」のものも含まれます。自分の入力・モデルで小規模に比較してから採用してください。

なお、抽出処理は 正常に空のリストを返した場合 と、形式不正・通信失敗 を区別します。失敗を「該当なし」として握りつぶさず、分析を中断します(抽出失敗の診断)。

トレーサビリティ ― 元発言に遡れることが信頼の根拠

広聴AIの結果を信頼してよいかどうかは、最終的には 元の発言に当たって確かめられるか で決まります。広聴AIは次の設計でこれを支えています。

  • 意見は元コメントに紐づく: 抽出した各意見には A{コメントID}_{連番} 形式の ID が付き、意見とコメントの対応は別テーブル(relations.csv)として保存されます。どの意見がどの発言から来たかを後から辿れます。
  • 原文は改変しない・全件残す: 抽出や分類は情報を足すだけで、元の意見を削除・書き換えしません。可視化のときも元データのコピーを加工するだけで、元は変更しません。
  • 出典リンクを埋め込める: report_url_pattern({comment_id} を差し込む URL テンプレート)を設定すると、各意見に元発言への URL が付きます。レポート HTML では意見の横に出典リンク(↗)が表示され、散布図の点をクリックすると元発言を開けます。
  • 原文は公開物と分けて扱う: 原文付きの抽出診断は、公開する出力ツリーの外に、作成ユーザーだけが読める権限で保存されます(抽出失敗の診断)。

出典リンクには設定が必要

出典リンク(↗)や点クリックでの原文表示は、report_url_pattern(または各意見の url)が設定されている場合に有効になります。設定がないレポートでは、意見 ID から元データを照合する形になります。

「濃い(密度)」とは何か ― 閾値のトレードオフ

散布図の「濃い意見(濃いクラスタ)」モードは、まとまりの強いグループだけに絞って 見せるための表示です。

「密度(density)」は、散布図に配置した各点について、クラスタ中心からの平均距離の逆数 として計算します。平均距離が小さい(点が中心に密集している)ほど高密度です。各クラスタはこの密度で順位付けされ、同じ階層内での上位割合(パーセンタイル)が記録されます。

公開ビューアの「濃いクラスタ設定」では、次の 2 つの閾値で絞り込みます(濃いクラスタの初期値)。

  • 表示する密度の上位割合(%): 未設定時は 20%。
  • 意見グループの最小サンプル数: 未設定時は 5 件。

閾値にはトレードオフがあります。

  • 絞りすぎ(割合を小さく・最小サンプル数を大きく): 画面はすっきりしますが、小さくても一貫した意見グループを見落とすことがあります。
  • 緩め(割合を大きく): 多くのグループが映りますが、まとまりの弱いクラスタも混じります。
  • 密度は 2 次元レイアウト上の近さ で決まります。散布図は高次元の情報を 2 次元に圧縮した見え方なので、元の意味的な近さと完全には一致しません。
  • 点数の少ないクラスタ は偶然密集して高密度に見えることがあります。最小サンプル数は、これを抑えるための補正です。

「濃い」は「重要」や「正しい」を意味しません。「散布図上でまとまって見える」だけです。濃いクラスタだけを見て全体を判断しないでください。

個人情報と倫理的な利用(responsible use)

入力コメントや抽出診断には、個人を特定しうる情報や、センシティブな原文が含まれることがあります。扱うときは次を守ってください。

  • 原文は非公開領域で管理する: 原文付きの診断ファイルは、公開レポートの配布物に含めず、調査が終わったら削除してください。
  • 公開 Issue などに原文全件を貼らない: API キー・API 応答ログ・原文全件を、公開の場に貼り付けないでください。
  • 公開前にリンクと設定を確認する: 作成者名・プライバシーポリシー・利用規約・出典リンクが意図どおりかを、公開サイトで確認してください(使い方 の「レポートを公開する前のリンク確認」)。
  • 判定の公開に慎重になる: 「侮辱・ヘイト表現」などセンシティブなラベルは作業定義であり、法的・学術的な定義とは異なります。人や集団への評価として独り歩きしないよう、定義を添えて公開してください。

責任の所在(3 レイヤー)

広聴AIをめぐる責任は、役割ごとに分かれています。あるレポートで問題が起きたとき、「どの役割の話か」を切り分けてください。

役割 誰が該当するか 主に責任を負うこと 負わないこと
(1) OSS 開発者 広聴AI を開発・提供するデジタル民主主義2030 プロジェクトとコントリビュータ 広聴AI というソフトウェアを提供すること 個々の稼働環境の運用や、生成されたレポートの内容・解釈。無保証で提供します
(2) サービス運営者 稼働環境を用意・運用する人/組織(セルフホスト運用者、環境を建ててくれる人など) その環境の可用性・セキュリティ・入力データの取り扱い(保管・削除・アクセス制御)など運用面 レポートの内容そのもの(それは発行者の責任)
(3) レポート作成者(発行者) そのレポートを作り、公開・配布する人 レポートの内容・入力データの選定・問いの立て方・公開範囲。レポート内容は発行者に帰属します ソフトウェア本体の保証

加えて、レポートの利用者(読者・意思決定者) にも責任があります。出力を鵜呑みにせず、重要な判断の前には内容を検証してください。

無保証について

広聴AI は AGPL-3.0 のもとで 無保証 で提供されています。LLM にはバイアスがあり、信頼性の低い結果を生成しうることが知られています。開発側はこれらの問題の軽減に取り組んでいますが、現段階でいかなる保証も提供できません。ライセンス条件は ライセンスと結果の公開 を参照してください。

関連ページ