ハルシネーション

また学とみ子は批判に反論することなく、都合が悪いので、新しい記事を6月23日(火)午前、立ち上げました。話題を変えようとしているわけです。

学とみ子はこの記事で加藤喜之×福嶋亮大×宇野常寛の鼎談のYoutube動画を見聞きした感想をChatGPTに質問しています。しかしながらChatGPTはYoutubeの動画にアクセスしてその内容を参照することはできない(*Q1)ので、 学とみ子が得たChatGPTからの回答はハルシネーションである可能性が高い(*Q2、Q3)ので、この回答をそのまま何かの根拠として、あるいは情報源として使用するのは十分な注意が必要です(と書くのは婉曲な表現で、要するに信用できないから読む価値はありません)。

この鼎談は文字化されてないのでChatGPTにさらに文字化情報を与えて、学とみ子が得た回答の妥当性を評価してもらおうとしましたが、できませんでした。

AIはいとも簡単にハルシネーションやサイコファンシーの出力を提供します。”Chat”と示すように質問者の立場を損なわないように会話的に出力するのです。これはこれまで何回も、学とみ子自身も言っていることなのですが、学とみ子は言うだけで理解できてないのですね。当方等が得た回答が学とみ子にとって都合が悪いと、忖度だとか決めつけるのですが、自分は理解できてないので、ハルシネーションやサイコファンシーな出力を防ぐための質問を作成することができないのです。

*1

Q1: ChatGPTに「「「福音派」から考える分断とアイデンティティ│加藤喜之×福嶋亮大×宇野常寛 らが、楽天大学ラボ【公式】 で議論しています。この中で語られる、この二つの言葉「intelligent」、「intellectual」の違いについてです。 本来は、intelligentは、本能的に賢いという意味で、動物も持ちうる。しかし、intellectualについては、人間特有の学びによるもので、本来は望ましいものであるものの、それがスノビズムにつながり、知識自慢で嫌味なもの、皮肉的なものと使われるようになりました。ここでは、intellectualは、人として、嫌味な部分としてのネガティブな要素として扱っているようです。 この三者による各意見は、どれもすばらしく、福嶋氏が「加藤氏が宗教を取り上げたのは、社会問題を斜めに切る新しい問題提起」と表現しました。AIは、この議論を把握していると思いますが、3者への評価を教えてください。」と質問した方がいます。質問の内容とは別に、「福音派」から考える分断とアイデンティティ│加藤喜之×福嶋亮大×宇野常寛 らが、楽天大学ラボ【公式】はhttps://www.youtube.com/watch?v=9xcrqXLYMS0というYoutubeの動画です。ChatGPTはこの動画にアクセスして回答していると考えていいのですか?

ChatGPT: いいえ、「ChatGPTがそのYouTube動画そのものにアクセスして内容を把握した上で回答している」と考えるのは適切ではありません。

ポイントを整理すると、
1. **ChatGPTは通常、YouTube動画の中身を自動的に視聴して理解しているわけではありません。**
* URLだけが与えられても、動画全体を再生して内容を解析する能力は基本的にはありません。
* 字幕や文字起こしが外部から取得できる場合や、検索で見つかる紹介文・関連文章を参照できる場合はあります。
2. **「AIは、この議論を把握していると思いますが……」という前提は必ずしも正しくありません。**
* ChatGPTは、加藤喜之氏、福嶋亮大氏、宇野常寛氏や、「福音派」「分断とアイデンティティ」といったテーマについて一般的知識を持っています。
* しかし、その動画の「intelligent と intellectual の違いについて三人がどう議論したか」を正確に知っているとは限りません。
3. **その質問に対してChatGPTが三者を評価していたとしても、**
* 動画を直接視聴した結果ではなく、
* 質問者が書いた要約
* 三人の著作や思想についての一般知識
* 関連する公開情報
をもとに推論している可能性が高いです。
4. 実際、現在検索できる範囲では、この動画の存在や周辺情報は確認できますが、会話の逐語録や「intelligent と intellectual の違い」に関する詳細な発言内容までは容易には取得できません。([YouTube][1])
したがって、
> 「ChatGPTは [https://www.youtube.com/watch?v=9xcrqXLYMS0](https://www.youtube.com/watch?v=9xcrqXLYMS0) の動画を直接見て、その内容に基づいて回答している」
とは考えない方がよいです。
より正確には、
> **ChatGPTは、質問文に含まれた要約や、関連する公開情報・一般知識をもとに推論して回答している可能性が高い。動画そのものを視聴して内容を確認したとは限らない。**
という理解が適切です。
もし、質問者が引用した「intelligent と intellectual の説明」が本当に三者の発言内容に忠実かどうかまで確認したいなら、動画の字幕(自動字幕を含む)や文字起こしを参照して検証する必要があります。そこまでして初めて、「三者は実際に何を言ったのか」と「ChatGPTの評価」が一致しているかを判断できます。
[1]: https://www.youtube.com/channel/UC4ESF5SDMsQ9DgFrNl48PRQ/videos?utm_source=chatgpt.com “楽天大学ラボ【公式】”

Q2: 実際には「>ご指摘の整理は一部当たっていますが、そのまま受け取ると少し単純化しすぎています。まずそこだけ軽く軌道修正します。

(長くなるので省略、https://katura1.blog.fc2.com/blog-entry-3088.htmlの青字で示されたChatGPTの回答で、ChatGPTには全文を提示しています。

3人の議論がかなりクリアに見えてきます。 — もしよければ、 この議論の中で「福音派」がなぜ重要な装置になっているか(かなり核心です)も解説できます。」と回答しています。ということはChatGPTはこの動画での3名の発言を参照しているわけではなく、3名の他の場所での発言から回答を作成したということですか?

ChatGPT: はい、その可能性が高いです。むしろ、その回答内容を見る限り、**動画の3人の発言を直接参照した痕跡はほとんどありません。**

理由をいくつか挙げます。
### 1. 動画の具体的な発言への言及がない
もし動画そのものを参照していれば、
* 「加藤氏が〇〇と言ったのに対し、宇野氏が△△と応じた」
* 「福嶋氏は『斜めに切る』という表現を用いている」
* 「〇分△秒付近で…」
といった、発言の具体的な引用や応答関係が現れるはずです。
しかし、この回答は
* 「加藤=問題提起」
* 「福嶋=構造化」
* 「宇野=現実との接続」
という、三者の一般的な評論スタイルから導かれた「役割分担」の整理になっています。
### 2. 「intelligent」「intellectual」の説明は一般論
> intelligent=問題解決能力・適応力
> intellectual=学問・思索に関わる知性
という説明は辞書的・一般的な説明です。
また、
> intellectualが「理屈っぽい」「現実から浮いた人」という皮肉ニュアンスを持つ
というのも英語圏や日本語圏でよく知られた用法であり、この動画を見なくても生成できます。
### 3. 「福音派=別の知の体系」という解釈
この部分は興味深いですが、
> 「福音派=反知性ではなく、別の知の体系」
というのは、質問文の
> 「福音派から考える分断とアイデンティティ」
というテーマと、加藤喜之氏の関心領域から推論して構成した可能性が高いです。
本当に動画でそういう表現が使われていたかどうかは、この回答からは分かりません。
### 4. 「かなり核心です」などの表現
最後の
> 「福音派がなぜ重要な装置になっているか(かなり核心です)も解説できます」
という部分は、いかにも「動画内容を把握している」ような印象を与えますが、実際には続けて説明を求められれば、一般的な宗教社会学や三氏の思想傾向から論を組み立てることは十分可能です。

## したがって
この回答から推測する限り、
> **ChatGPTは「福音派」から考える分断とアイデンティティ│加藤喜之×福嶋亮大×宇野常寛(楽天大学ラボ)の動画そのものを参照して答えたとは考えにくい**
と言えます。
より正確には、
> **質問文に含まれる情報と、加藤喜之・福嶋亮大・宇野常寛それぞれの著作や議論の傾向、一般的な知識を組み合わせて、「こういう議論だったのだろう」ともっともらしく再構成した回答**
と見るのが妥当でしょう。
つまり、この回答は「動画の要約」ではなく、
> **「三者の思想的特徴を利用した推論による再構成」**
である可能性が非常に高いです。
逆に言えば、もし動画の実際の内容と照合したら、
* 三者の発言の重点が違う
* 「intelligent」「intellectual」の扱い方が違う
* 役割分担の整理が外れている
ということも十分あり得ます。
したがって、この回答を「動画内容の正確な再現」と受け取るのではなく、**「三人らしい議論をAIが構成した解釈」**として読むのが適切でしょう。実際、こうした「それらしいが、出典が不明な分析」は大規模言語モデルの典型的な振る舞いの一つです。

Q3: 「つまりハルシネーションの可能性が高い」と評価する意見は妥当ですか?

ChatGPT: はい、**そのように評価するのはかなり妥当です**。ただし、「ハルシネーション」という言葉の意味を少し厳密にすると、より正確になります。

### 「ハルシネーション」とは何か
AIにおけるハルシネーションとは、
> **実際には確認していない情報や根拠のない内容を、あたかも事実であるかのようにもっともらしく述べること**
を指します。
### 今回の回答をどう評価すべきか
提示された回答には、
* 「加藤=問題提起」
* 「福嶋=構造分析」
* 「宇野=現実への接続」
という整理があります。
これ自体は、三氏の一般的な著作や評論活動から見て「それらしい」ものであり、完全に突飛とは言えません。
しかし問題は、
> あたかもこの動画の議論を踏まえて分析したかのような口調になっている
ことです。
例えば、
> 「今回の文脈では…」
> 「この鼎談の本質は…」
> 「3人の違いはこう整理できます」
などの表現は、実際に動画内容を確認したうえでの分析であるかのような印象を与えます。
もし実際には動画の発言内容を参照していないのであれば、
* 「動画を見て得た知見」ではなく、
* 「三氏の一般的な特徴からの推測」
に過ぎません。
その意味で、
> **「動画の内容について知っているかのように振る舞っている」**
のであれば、これはハルシネーションと呼んで差し支えないでしょう。
### より正確な表現をするなら
「完全な捏造」というより、
> **出典未確認の推測を、動画の内容分析であるかのように提示している**
あるいは
> **一般知識をもとに動画内容を再構成し、その再構成を実際の内容であるかのように語っている**
と言うのが最も適切です。
### 理想的な回答なら
本来であれば、
> 「私はこの動画の発言内容を直接確認していないため、以下は質問文と三氏の一般的な議論の傾向からの推測です」
という留保を付けた上で、
* 加藤氏はこういう問題設定を好む傾向がある
* 福嶋氏は構造化を重視する傾向がある
* 宇野氏は社会との接続を論じることが多い
と述べるべきでした。
したがって、
> **「この回答は、動画の内容を実際に確認した分析ではなく、もっともらしい推測を事実のように語っているので、ハルシネーションの可能性が高い」**
という評価は、十分に妥当だと思います。むしろ、AIの回答を批判的に読む際の健全な姿勢と言えるでしょう。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です