dd2030 Wiki

ブロードリスニング本 広聴AI技術スタック解説章

7 min read

ブロードリスニング本 広聴AI技術スタック解説章

概要

raw/broad-listening-book/13_広聴AIの技術スタック解説.md は、要素技術解説章で扱ったLLM、エンベディング、UMAP、クラスタリングが、広聴AIの処理パイプラインとしてどう組み合わされているかを説明した書籍章である。

この章は、広聴AIを使う人が「どの処理で何が起きているか」「どこに設計上のトレードオフがあるか」を理解するための一次ソースとして読む。

章の流れ

セクション内容
処理パイプライン抽出、埋め込み、UMAP、K-means、Ward法、ラベリング、要約の全体像
抽出LLMで生の意見を論点単位へ分割し、感情的な文章を処理しやすい形へ整える
埋め込みOpenAI Embeddings APIやSentence Transformersで意見をベクトル化する
次元圧縮UMAPで2次元に落とし、コサイン距離を使って意味的な近さを保つ
クラスタリングK-meansを使い、散布図上で近い点を同じクラスタにする説明容易性を優先
クラスタ統合K-meansの下位クラスタをWard法で階層的に統合する
初期・統合ラベリングLLMにKJ法や表札の文脈を与え、クラスタ名と説明を生成する
ミニ広聴AI抽出や階層統合を省いた最小実装で、処理の本質を確認する
実行コストAPI料金は抽出が大半で、埋め込みやラベリングは比較的小さいと試算
カスタマイズプロンプト、クラスタ数、賛否分離、DivCon、Long Context型との比較

重要な論点

第一に、広聴AIの処理は「抽出 → 埋め込み → UMAP → K-means → Ward法 → ラベリング → 要約」という段階的なパイプラインとして説明されている。LLMは全文を一度に分類するだけでなく、抽出、ラベル付け、要約など複数の場所で使われる。

第二に、抽出ステップは単なる前処理ではない。生の意見を論点ごとに分割し、表現を整えることで、後続のエンベディングとクラスタリングの品質を上げる。一方で、感情表現が落ちる、LLMが元文にない内容を抽出する、といったリスクもある。

第三に、広聴AIがK-meansを採用する理由は、専門家向けの精度よりも、一般利用者が散布図を直感的に読める説明容易性を優先するためである。TTTC ScatterのSpectral Clusteringで起きた飛び地問題を避け、「近い点は同じグループ」という見方を保つ設計になっている。

第四に、K-meansとWard法の組み合わせは、細かな下位クラスタと大きな上位クラスタを両方扱うための実用的な折衷である。全件をWard法で階層化すると計算量が重くなるため、まずK-meansで分け、中心点だけをWard法で統合する。

第五に、同一トピック内の賛否分離は重要な未解決課題として扱われている。センチメント次元を追加する方法、DivConのようにLLMへ直接対立軸を発見させる方法、投票データを使うSensemaker型の方法などが比較されている。

第六に、章末では散布図タイプとLong Contextタイプの2つのアーキテクチャが比較されている。散布図タイプは説明しやすい可視化を得やすいが、次元圧縮後にクラスタリングするため精度面の制約がある。Long Contextタイプはテキストのニュアンスや賛否を拾いやすい一方で、見栄えのする意見地図は作りにくい。

Wikiでの使い方

このページは、広聴AIの「技術スタック」や「なぜその設計なのか」を説明するときの根拠として使う。広聴AI開発活動章で扱うTTTCからのフォークやK-means採用の背景を、実装パイプライン側から補強するページである。

ブロードリスニングの説明では、単に意見を集めるだけでなく、意見の分割、意味ベクトル化、可視化、ラベリング、要約、賛否分離までを含む分析設計として読む材料になる。

注意点

  • 書籍原稿は出版前の編集・校正中の資料であり、最終出版物とは差分がありうる。
  • 本章は広聴AIの処理思想を説明する章であり、リポジトリの最新コード差分を常に反映する仕様書ではない。
  • 原稿内には図表差し替えに関する作業メモが残る箇所がある。Wikiでは図表そのものではなく、処理上の論点を要約して扱う。

関連ページ

グラフビュー

バックリンク