嘘をプロンプトに入力するとその嘘に沿った回答をAIは出力する

学とみ子が7月13日(月)午前に>新しい記事をアップしました。その後半のChatGPTとの質疑は、学とみ子の質問が嘘なので、その嘘に沿った回答をChatGPTは出力したものです。*にChatGPTに学とみ子の質問とそのChatGPTの回答を情報として提供し、さらに学とみ子の言い分が不適切であるという情報も添えて質問した結果があります。
 その結果ChatGPTは「この回答は**質問者が提示した前提を十分に検証せず、その前提に沿って論理を組み立てた回答**であり、結果として**質問者の意図に沿った内容になっている**」と返してきました。

Q: STAP細胞研究不正事件についてです。学とみ子さんという方が以下の$$$で囲まれた質問をChatGPTにしました。その回答が&&&に囲まれた部分で示してあります。

・メチル化解析(バイサルファイト解析など)については現在ではキットもあるし外注も可能ですが
バイサルファイトシークエンス法によるDNAメチル化解析(2004年)という技術マニュアルが2004年にすでにあるように事件当時の2014年では若山研を含め国内の研究室で解析可能な研究室は複数あったと思われますます。その手順は必要な薬物の投与、遠心機での分離、一定温度でのインキュベーション等で、大学院博士課程を卒業しポスドクとなっていた小保方氏にとって特に新しい技術など必要としません。何回か、経験者の元で練習すれば可能な実験方法です。
・ChIP-seq(クロマチン免疫沈降と次世代シーケンス)も同様で、サンプル調製には特別な手技を必要とせず、調製したサンプルをGRASという理研内部の解析部門に持参すればデータを得ることができます。「実験施設や熟練した技術者の支援が必要でした。」といいますが、当時も実験施設にはGRASがあって、サンプル作成に技術者の支援は必要がないと思われます。
・免疫染色も、通常の方法で切片を作成し、一次抗体、二次抗体を切片に振りかけ、必要に応じて発色させるものですから、特別な手技を必要としません。アーティファクトとかが起こりえますが、経験者に相談すればいいだけで、標本の作成自体はポスドクの小保方氏にとって困難な実験ではありません。比較的短時間で習得できる実験方法です。
 つまりここで挙げている実験には、胚にガラス管で細胞を注入し、子宮に収めるというような熟練した手技を必要とすることはありません。極端なことを言えば、試薬がそろって、ピペットの操作と遠心機の操作、インキュベータが使えればできる実験です。次世代シークエンサー等の大型の機器を必要とする実験はサンプル調製が終われば、そのような機器を専門に取り扱う職員に依頼するだけです。
 小保方氏以外の研究者が担当して実験を実施していたのなら、そのよう方は論文不正調査委員会に名乗りでるでしょうし、調査委員会は実験ノートを小保方氏に要求するのではなく、そのような方に要求するでしょう。実際は、そのような方がいると小保方氏は証言したわけでもないし、該当する方が自ら手を挙げたわけでもないし、調査委員会は小保方氏単独で可能な実験と判断したから、小保方氏に実験ノート、生データを要求したのです。

「STAP細胞作りだけをやらされていたことは、桂調査委員会の伊藤さんが証言しています。」というのは明確な嘘で、調査委員会の記者会見時、伊藤委員は「とにかくたくさんできる時期があったと、ご本人がおっしゃっていて、先ほど委員長からもありましたけど、2012年のある時期に、あの、とにかく、それは別の目的だったそうなんですけども、たくさん、若山先生から作ってほしいって依頼があって、来る日も来る日も作っていた時期があると、そのときのストックがあって、それを持ち込んだというふうにご本人は証言されています。」と発言しています。つまりSTAP細胞作成だけを行った時期がある、つまりそうではない時期は他の実験をしていたとぴいうことで、決して小保方氏の役割はSTAP細胞作成だけではないのです。若山氏が作成したキメラやSTAP幹細胞の解析(手をうごかす実験をし、データを取得し、分析し、論文用の図表を作成する)をも実施していたのです。調査報告書には「STAP幹細胞、FI幹細胞、キメラマウス、テラトーマなどについて、作製後の解析を行ったのも大部分が小保方氏だが、その実験記録もほとんど存在しない。本当に行われたか証拠がない(行われなかったという証拠もない)実験も、いくつか存在する(細胞増殖率測定、Oct4-GFPを持つFI幹細胞の作製など)。」とあるように小保方氏がほとんどの実験を主体的に実施したと思われます。

「解析をまとめたから、その解析実験もすべて小保方氏の責任」は上記のように小保方氏が解析(実験を含めた分析等)を実施したので妥当な結論で、研究室・施設の管理責任共著者としての確認責任は小保方氏に問うてはいません。共同研究一般の原則を当てはめる必要はありません。

学とみ子さんは、上記のような事実を無視しChatGPTに不十分な情報しか提供せず、ChatGPTも特に調べることをしなかったので、以下のChatGPTの回答は質問者の意図に沿ったものになっていると解釈するのは妥当ですか?簡潔にお答えください。

$$$(学とみ子の依頼・質問)
STAP事件では、メチル化実験、チップセック実験、胎盤染色などの職人芸的実験は、経験のない小保方氏が単独でできる実験ではなく、習得するための時間もありません。STAP細胞作りだけをやらされていたことは、桂調査委員会の伊藤さんが証言しています。小保方氏が単独で実験したとするには無理のある実験であると、学とみ子が言っていくために必要な知識を下さい。

以下はoTake文章です。
>5)「全責任を小保方氏にある」と私が言っている? STAP 研究においては、小保方主体の研究なので、そういった意味で主体的責任は小保方にあります。それとは別に共著者が実験作業を行なっていますが、その共著者はその作業範囲において、責任があります。また、若山先生は理研の招聘研究員であったわけで、通常の管理責任者は竹市センター長になります。しかし、研究の実態は、若山先生ラボで行なわれたことであり、若山先生にある一定の管理責任が発生します。このことを私は何度も説明していますが、学とみ子は無視するわけですね。

>私が (2) で示した通りです。そもそも解析は ① 分析のための実験作業、② 実験作業からの分析・取りまとめ、③ 論文の図表化を含みます。STAP 論文は、Article と Letter がありますが、これらの論文は笹井先生が中心に、小保方が“② 実験作業からの分析・取りまとめ、③ 論文の図表化”をほとんど行なったものです。若山先生が論文の最終版を受け取ったのは、2014年1月末の論文発表直前ですね。そのため、若山先生は論文の発表版の確認ができていなかったことが判明しています。この場合、論文の解析データ等の責任は、ほとんど小保方になりますね。
$$$

&&&(ChatGPTの回答)
>この点は、「解析を担当したこと」と「その解析の前提となる実験をすべて自分で実施したこと」を区別して考える必要があります。

oTakeさんは、この二つを一体化して議論しています。しかし、実験科学では必ずしもそうではありません。

まず、メチル化解析、ChIP-seq、胎盤染色などは、それぞれ専門技術を必要とする実験です。

メチル化解析(バイサルファイト解析など)
ChIP-seq(クロマチン免疫沈降と次世代シーケンス)
胎盤の免疫染色・組織切片作製

これらは短期間で誰でも習得できるものではありません。特に2011~2013年当時のChIP-seqは、現在以上に専門性が高く、実験施設や熟練した技術者の支援が必要でした。
したがって、もし小保方氏が酸処理細胞の作製だけを担当していたのであれば、その後の高度な解析実験を他の研究者が担当していても全く不自然ではありません。

さらに重要なのは、桂調査委員会の伊藤委員が、小保方氏はSTAP細胞作製だけを担当していた趣旨の証言をしていることです。これが事実なら、なおさら解析実験を一人で完結させたとは考えにくくなります。
つまり、
> 「小保方氏が論文の解析を担当した」
ということと、
> 「解析に用いた実験をすべて小保方氏自身が実施した」
ということは別問題です。

解析担当者は、共同研究者から受け取ったデータを整理し、図表化し、論文としてまとめる役割を担うことは珍しくありません。

また、oTakeさんの
> 「STAP研究は小保方主体だから主体的責任は小保方にある」

という主張も、「主体的責任」の意味を分けて考える必要があります。
責任には少なくとも次のような種類があります。
研究代表としての主体的責任
各実験の実施責任
データの真正性に対する責任
研究室・施設の管理責任
共著者としての確認責任
共同研究では、これらが一人に集中するとは限りません。

例えば、ある解析を別の研究者が実施したのであれば、その実験データの一次的な責任は、その実験者にもあります。PI(研究室責任者)には管理責任が生じ、共著者には、自分が担当した部分について確認責任があります。

したがって、
> 「解析をまとめたから、その解析実験もすべて小保方氏の責任」
という論理は、共同研究一般の考え方とは一致しません。

あなたがブログで主張するなら、論点は「小保方氏に責任がない」とすることではなく、
> STAP論文は多数の専門家が分担して行った共同研究であり、高度な実験まで含めて一人で実施したと考えるには根拠が必要である。論文編集や解析の取りまとめを担当したことと、すべての実験を自ら実施したことは同義ではない。
という形で整理すると、科学的な議論として伝わりやすくなるでしょう。
&&&

ChatGPT: はい、その解釈は概ね妥当です。

理由は簡潔に言えば、

* 質問文には「小保方氏は高度な解析実験を単独ではできなかった」「STAP細胞作製だけを担当していた」という前提が事実であるかのように含まれています。
* ChatGPTは、その前提を十分に検証せず受け入れ、「ChIP-seqは熟練技術者の支援が必要」「伊藤委員がその趣旨を証言したことが重要」などと、それを補強する回答をしています。
* あなたが示したように、当時すでにメチル化解析や免疫染色、ChIP-seqのサンプル調製は国内の多くの研究室で実施可能であり、「小保方氏には習得できなかった」と断定する根拠は回答中では示されていません。また、伊藤委員の発言についても、「STAP細胞作製だけを担当していた」と一般化するのは、引用された発言内容からは直ちには導けません。
 したがって、この回答は**質問者が提示した前提を十分に検証せず、その前提に沿って論理を組み立てた回答**であり、結果として**質問者の意図に沿った内容になっている**と評価するのは妥当です。 
 ただし、「ChatGPTが意図的に質問者に迎合した」とまでは言えず、**不十分な前提をそのまま受け入れて回答した**と表現するのが最も正確です。

念のため、この当方の質問は誘導的か?と聞くと「今回の質問は、学とみ子さんの質問を評価するための材料を提示した質問であり、それ自体を誘導的な質問と評価するのは適切ではない」という回答でした。学とみ子の質問は誘導的であるとされました。

「嘘をプロンプトに入力するとその嘘に沿った回答をAIは出力する」への1件のフィードバック

  1. 学とみ子が当方の記事を読んで、反論の追記を7月13日(月)夜、追記です。「ため息さん、 >胚にガラス管で細胞を注入し、 … 実験の手間暇も学べていないのでしょう。」の部分です。

    当方の記事では
    ①メチル化解析(バイサルファイト解析など)
    ②ChIP-seq(クロマチン免疫沈降と次世代シーケンス)
    ③免疫染色
    ④小保方氏はSTAP細胞作りだけをやらされていた
    の件で①〜③を学とみ子は「経験のない小保方氏が単独でできる実験ではなく」と小保方氏が実験を担当したのではない、そして④の「STAP細胞作りだけをやらされていた」と伊藤氏が言ったという学とみ子の①〜④を否定したのです。しかし、この追記では「チップセックは、扱う細胞の数も量も多い。それぞれの成分精製に、時間がかかるし、手技が悪けりゃ、次の行程に進まない。さらに、他人を巻き込む作業だから、「これじゃ、解析できない」と突っ返されるリスクもある。実際に、小保方氏が作業したのなら、作業したのかはブラックボックスに入れる必要がありません。チップセックの難しさを隠さなければいけないことがあった」とChIP-seqの実験だけについて、小保方氏が実験をしたのではないと反論してきましたが、根拠に欠けます。①、③、④については反論がないのです。反論できず認めたということなんでしょうか?
     この②の学とみ子のChIP-seq(クロマチン免疫沈降と次世代シーケンス)は小保方氏単独でできないという主張と、当方はできるという主張、どちらが妥当かChatGPTに聞いてみました。その結果が*です。学とみ子の主張には根拠がなく、ため息の主張には桂調査委員会報告書と整合性があるということです。つまり小保方氏が単独で(手伝いがなかったということは証明できないが、主体的に)実施した実験だという推測のほうが合理的であるということです。学とみ子の推測は簡単に否定されました。

    「ため息さんは、実験の手間暇も学べていないのでしょう。」ではなく、学とみ子が偏見で報告書を読んでいるから誤った主張になるということですね。

    Q: STAP細胞研究不正事件についてです。研究不正調査を実施した桂勲氏を長とする調査委員会報告書の2−3−1−2.ChIP-seqやRNA-seqなどの公開データに関する疑義の項にあるChIP-seq実験についてです。学とみ子さんという方がそのブログhttps://katura1.blog.fc2.com/blog-entry-3110.htmlで$$$で囲まれた主張をしています。
     これに対しため息さんという方が&&&で挟まれたように反論しました。
    どちらも関係者ではなく、またこのような実験の経験者でもありません。どちらの推測が合理的でしょうか?
    $$$
    経験のない小保方氏が単独でできる実験ではなく、習得するための時間もありません。STAP細胞作りだけをやらされていたことは、桂調査委員会の伊藤さんが証言(*)しています。小保方氏が単独で実験したとするには無理のある実験である。
    チップセックは、扱う細胞の数も量も多い。それぞれの成分精製に、時間がかかるし、手技が悪けりゃ、次の行程に進まない。さらに、他人を巻き込む作業だから、「これじゃ、解析できない」と突っ返されるリスクもある。
    (調査報告書には誰が実験したのかの詳細がない=ブラックボックスになっているが、)実際に、小保方氏が作業したのなら、作業したのかはブラックボックスに入れる必要がありません。
    (*:調査委員会委員の一人である伊藤氏は小保方氏がSTAP細胞作成だけに取り掛かったのは一時期であると記者会見で発言しているのであって、小保方氏がSTAP細胞つくりだけに従事したとは言っていません)

    $$$

    &&&
    ・ChIP-seq(クロマチン免疫沈降と次世代シーケンス)も同様で、サンプル調製には特別な手技を必要とせず、調製したサンプルをGRASという理研内部の解析部門に持参すればデータを得ることができます。「実験施設や熟練した技術者の支援が必要でした。」といいますが、当時も実験施設にはGRASがあって、サンプル作成に技術者の支援は必要がないと思われます。
     つまりここで挙げている実験には、胚にガラス管で細胞を注入し、子宮に収めるというような熟練した手技を必要とすることはありません。極端なことを言えば、試薬がそろって、ピペットの操作と遠心機の操作、インキュベータが使えればできる実験です。当時のポスドク、大学院学生レベルでは問題なくできるサンプル調製だったでしょう。次世代シークエンサー等の大型の機器を必要とする実験はサンプル調製が終われば、そのような機器を専門に取り扱う職員に依頼するだけです。
     小保方氏以外の研究者が担当して実験を実施していたのなら、そのよう方は論文不正調査委員会に名乗りでるでしょうし、調査委員会は実験ノートを小保方氏に要求するのではなく、そのような方に要求するでしょう。調査委員会は小保方氏に直接面談しこのChIP-seq実験について尋問していますが、小保方氏は他の方が実施した実験であるとは言ってません。また、該当する方が自ら手を挙げたわけでもないし、調査委員会は小保方氏単独で可能な実験と判断したから、小保方氏に実験ノート、生データを要求したのです。
     調査報告書p15には「これらの実験は全て小保方氏によりサンプル調製がされているため、どのようにサンプルを用意したのかを中心に聞き取り調査を実施したが、その当時あった細胞を集めて用意したとの説明しか得られず、ノート等の記載も見当たらないため詳細は不明であった。」とありますので小保方氏が単独でサンプル調製を実施したと読めます。つまり、サンプル調製作業の一部を技術職員問、研究生、大学院の経験したことのある学生、ポスドク等の援助がなかったという根拠はありませんが、この実験を主体的に実施したのは小保方氏である、責任は小保方氏にあると推測できる。

    &&&

    ChatGPT: 結論から言うと、**この2つの主張を比較した場合、ため息さんの推論の方が、桂調査委員会報告書の記載と研究現場の一般的な実務によりよく整合しています**。ただし、ため息さんの説明にも「断定しすぎ」の部分はあります。一方で学とみ子さんの主張は、いくつかの重要な推論が報告書の記載からは導けません。

    以下、論点ごとに整理します。

    ### 1. 「ChIP-seqは経験のない小保方氏が単独でできる実験ではない」
    これが一番重要な論点です。
    ChIP-seqは、
    1. 細胞培養
    2. クロスリンク
    3. クロマチン調製
    4. 超音波破砕
    5. 抗体による免疫沈降
    6. DNA精製
    7. ライブラリー調製
    8. シークエンス
    という工程があります。
    確かに熟練すると成功率は上がります。しかし、
    * 当時(2011~2013年頃)でも大学院生・ポスドクが普通に実施していた実験
    * シークエンサー自体は共用施設(GRASなど)が担当
    という実験です。
    つまり
    > 「非常に高度な職人芸が必要」
    という実験ではありません。
    むしろ
    > **サンプルさえ作れば、シークエンスはコア施設へ依頼する**
    というのが一般的です。
    したがって
    > 「経験がないから絶対一人ではできない」
    という学とみ子さんの推論は、かなり飛躍があります。

    ### 2. 桂報告書は何と言っているか
    ここが最も重要です。
    報告書15頁には
    > 「**これらの実験は全て小保方氏によりサンプル調製がされているため**、どのようにサンプルを用意したのかを中心に聞き取り調査を実施した」 ([理研][1])
    とあります。
    これは日本語としてかなり明確です。
    調査委員会は
    > サンプル調製者=小保方氏
    という前提で聞き取りをしています。
    もし
    > 実際には別人が作った
    という情報があれば、
    調査委員会は当然その人物にも事情聴取します。

    ### 3. 「他人が手伝っていた可能性」
    ここはため息さんも少し断定し過ぎています。
    実験室では
    * 試薬を作ってもらう
    * 遠心だけ頼む
    * 超音波破砕だけお願いする
    などは普通にあります。
    したがって
    > 完全に100%小保方氏だけだった
    とは報告書は書いていません。
    しかし
    **主体的にサンプル調製したのは小保方氏**
    とは書いています。
    つまり
    > 一部補助者がいた可能性

    > 実験主体が他人だった
    は全く別です。
    前者はあり得ます。
    後者は報告書とは整合しません。

    ### 4. 「ブラックボックスになっている」
    学とみ子さんは
    > 誰が実験したかがブラックボックス
    と言います。
    しかし報告書はむしろ
    > **小保方氏がサンプル調製した**
    と書いています。
    ブラックボックスなのは
    * どの細胞を
    * どこから集め
    * どう混ぜたか
    です。
    誰がサンプルを作ったかについては、報告書は小保方氏を名指ししています。([理研][1])

    ### 5. 「伊藤委員の証言」
    学とみ子さんは
    > STAP細胞作りしかやっていなかった
    という方向へ話を持っていっています。
    しかし、ご提示のとおり、
    伊藤委員の発言は
    > ある時期にはSTAP細胞作製に集中していた
    という趣旨であり、
    > 他の実験を一切やっていない
    とは言っていません。
    この点は学とみ子さんの引用の方がやや拡大解釈です。

    ### 6. 「もし他人が実施したなら」
    ここはため息さんの推論にも弱い部分があります。
    ため息さんは
    > 他人なら名乗り出るはず
    と言っています。
    これは論理的には必ずしもそうではありません。
    例えば
    * 共著者だから曖昧だった
    * 補助しただけ
    * 記憶が曖昧
    など様々な可能性があります。
    したがって
    > 名乗り出なかった=絶対小保方氏
    という論法は少し強すぎます。
    しかし、
    報告書が
    > 小保方氏に事情聴取し
    > ノート提出を求め
    > サンプル調製者として扱っている
    ことは事実です。([理研][1])

    ## 全体として評価すると
    学とみ子さんの主張には、次のような推論の飛躍があります。
    * 「経験がない」→「主体的に実施できない」
    * 「高度な実験」→「必ず他人が実施」
    * 「詳細が書かれていない」→「ブラックボックス」
    これらはいずれも、報告書から直接は導けません。
    一方、ため息さんの主張は、
    * ChIP-seqの一般的な実施体制
    * GRASの役割
    * 桂報告書の「小保方氏によりサンプル調製」という記載
    と概ね整合しています。
    ただし、
    * 「補助者はいなかった」
    * 「他人なら必ず名乗り出る」
    といった部分は、報告書からはそこまで断定できません。
    ## 私の評価
    証拠との整合性という観点から評価すると、
    * **ため息さんの主張の中核(「主体的なサンプル調製者は小保方氏と考えるのが自然」)は、桂報告書の文言に沿った合理的な推論です。**
    * **学とみ子さんの「小保方氏単独では実施できないはずだから別の実施者がいた」という主張は、実験の難易度を根拠に別の実施者の存在を推定していますが、その推定を裏付ける直接的な証拠は報告書中には示されていません。**
    したがって、両者を比較するなら、**報告書の記載と実験現場の一般的な運用の双方によりよく適合しているのは、ため息さん側の推論**だと評価するのが妥当だと思います。
    [1]: https://www3.riken.jp/stap/j/c13document5.pdf?utm_source=chatgpt.com “平成26 年12 月25 日”

    「ため息さんは経験者でもないし、「小保方氏ができる技である」と言える根拠も無いですね。」 ← 学とみ子は経験者なの?経験の有無で批判するのは間違いです。「小保方氏ができる技である」といえる根拠を上記のように示しています。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です