壁打ち

 一問一答ではなく、AIと対話を通じて考えを深めることを、最近では「壁打ち」と言います。
 提供したアイデアに反論を求める、議論を繰り返すことを言います。つまり「一問一答ではなく、対話を通じて考えを深めること」になるわけですが、そうは簡単にいかないのがAIのサイコファンシー特性、あるいは迎合特性と呼ばれる性質です。
 しつこく、質問者の主張を繰り返すとAIは質問者になびいてきて、質問者の誤りが正しいものになったりすることはよく知られています(*)。

 学とみ子曰く:「科学事実の間違いを書くと、「そこは違う」と言ってきますから、科学エビデンスを聞くにはとても頼りになります。」 ← とは限りません。学とみ子のChatGPTへの質問には事実ではない情報を提供していところがありますが、ChatGPTはこれを訂正しません。地球が丸いとか古典的な科学的事実については誤りを指摘しますが、先端の科学ではChatGPTには情報の蓄積がないので、質問者が提示した前提を元に回答を出力することがあります。学とみ子はこの点を認識できないから、ChatGPTが自分の提供した情報に従った回答をしてくれたので嬉しいわけです。自覚してないでしょうけれど、傍から見るとsolo echo chamberを楽しんでいるのです。

 質問が終わったらここまでの質問は誘導的だったかどうかを聞くのです。誘導的だという回答があったら、誘導的にならないような質問に変えて再度質問するのです。誘導的であっても、誘導的であるがその根拠が一次資料に合致しているから、このような質問ではなくてもAIは同じ回答をするだろうというような回答の場合もあります。このような誘導的ではないとされたら質疑応答を公開すればいいのです。

 学とみ子の場合は、誘導的ではないという回答が得られるような質問を作っていたら、学とみ子の主張がなくなっちゃうのでできないでしょうね。

 学とみ子が15日夜追記で曰く「そうしたAIを使って、AIに批判させたり、否定させたりしているだけのため息さんは、一研究者教育者さんとはかなり異なる存在です。」

一研究者・教育者さんと当方は同じ人物ではないので、色々使える道具(AI)の使い方が同じか異なるかなどは議論の対象にならないでしょう。

 学とみ子が言うので一研究者・教育者さんの該当ブログ記事を見たら、「私もそういった実験の経験がないのでAIに聞くことにしたが、それによると高く見積もっても0.1μMであり、現実的には0.01〜0.05μMということだった。」という記述です。これは条件・設定等を入力して計算させた結果ですね。つまり計算機としてAIを使ったようです。これに対し当方は2つの意見を併記しどちらが理にかなっているかという質問で、学とみ子の言うように使い方は異なることがあります。だから何だというのでしょうか?
 学とみ子は、デタラメ情報を提供してAIに同じ意見を言わせるというsolo echo chamber機として使っているので、これまた異なった使い方ですな。だから何だというのでしょうか?
 この追記で、学とみ子は「ロシアのカニングラードの砂すにあるポーランドの回転橋の動画」を質問したらChatGPTは動画は見えないといまさらのように言うわけですが、これはYoutubeの鼎談の話題のときからわかっているはずです。AIは会話を聞き取れず、文字化した情報しか受け入れなかったのです。それともこのときはわからなかったのですかね?

Q: 「しつこく、質問者の主張を繰り返すとAIは質問者になびいてきて、誤った回答をしてしまう場合がある」というのは事実ですか?簡潔にお答えください。

ChatGPT: はい、一部は事実です。

同じ主張をしつこく繰り返されると、AIがその前提を誤って受け入れたり、迎合的な応答(sycophancy)をしてしまうことがあります。ただし、これは望ましい挙動ではなく、現在のAIはその傾向を減らすよう改善が進められています。