ブロードリスニング本要素技術解説章

概要

raw/broad-listening-book/12_ブロードリスニング要素技術解説.md は、広聴AIを支える基盤技術を、データサイエンスの専門家でない読者にもわかるように整理した書籍章である。

この章は、ブロードリスニングを「AIがよしなに分類する仕組み」としてではなく、言葉をベクトル化し、近さを測り、クラスタリングし、LLMで構造化する複数技術の組み合わせとして理解するための入口になる。

セクション	内容
技術の全体像	「似た使われ方」「距離が近い」「一緒に変動する」という3つの見方で要素技術を整理
Word2VecからSentence-BERTへ	シノニム辞書、分布仮説、文脈を考慮した単語・文章ベクトル化の発展
コサイン類似度	ベクトルの方向の近さで単語・文章の類似性を測る考え方
エンベディングの限界	同じトピックの賛否や否定文を区別しにくい問題
LLM	GPT、Few-shot、プロンプトエンジニアリング、ChatGPT、ハルシネーションを説明
LLMの政治的バイアス	要約・分類にLLMを使う場合の中立性リスクと、複数LLMを切り替えられる設計の重要性
RAGとStructured Output	外部知識でLLMを補う方法と、LLM出力をJSONなどの構造化データとして扱う方法
Reasoning Model	推論を重ねるモデルの利点とコスト増のトレードオフ
クラスタリング	K-means、Ward法、DBSCANの違いと、万能なアルゴリズムはないという注意点
次元圧縮	PCAとUMAPの違い、UMAPの見方、軸や遠距離の解釈に関する注意

第一に、エンベディングは言葉を計算可能なベクトルへ変換する技術である。これにより、類似度計算、クラスタリング、可視化が可能になる。ただし、モデルごとにベクトル空間は別物であり、同じ分析内では同じモデルを使い続ける必要がある。

第二に、エンベディングはトピックの近さを捉えやすい一方で、同じトピック内の賛否を分けるのは苦手である。原発再稼働の例では、賛成・反対が無関係トピックより近いベクトルになりうることが説明されている。この限界は、広聴AIの技術スタック解説章で扱う賛否分離の課題につながる。

第三に、LLMは要約・分類・変換のような「常識」を使う処理に強いが、最新情報や固有の事実確認が必要な「知識」には弱い。ハルシネーション対策として一次情報源へ戻る姿勢や、RAGのような外部知識の補強が必要になる。

第四に、LLMの政治的バイアスはブロードリスニングでは無視できない。意見の要約や分類に特定モデルの価値観が混ざる可能性があるため、広聴AIが複数LLMを切り替えられる設計を採る意味がある。

第五に、UMAPの散布図は「近くにある点は似ている」と読むためのものであり、離れた点同士の距離や軸の向きに直接の意味を読み込んではいけない。これは広聴AIのレポートを説明するときの重要な注意点である。

このページは、ブロードリスニングの技術的な基礎を説明するとき、また広聴AIの散布図・クラスタリング・LLM利用を初見者へ説明するときの根拠として使う。

実際の広聴AIパイプラインの処理順序、K-meansとWard法の使い分け、ミニ実装、コスト試算、Long Context型との比較は、続くブロードリスニング本広聴AI技術スタック解説章を参照する。