チャットGPT その２

先日担当したオムニバス講義でレポート課題を出したついでに、試しに課題を丸ごとチャットGPTに解かせてみた。例によってサクサクと回答を返して来たが、科学的事実の明らかな誤認は見られなかった反面、饒舌なわりに質問の本質にはまったく触れていない、ほぼ零点答案だった。ネットで簡単に答えが見つからない出題だったので、チャットGPTにとっては学習機会に恵まれないトピックだったものと思われる。人間でも苦し紛れにこういう回答するヤツ確かにいるよな、と思わず笑ってしまった。

質疑応答形式の課題をチャットGPTに投げると、ある程度決まった応答パターンがある。回答の前文で自分なりに質問の要約を整え、そのあと箇条書きで複数のポイントを次々と連ねていくのが典型例だ。そこが理路整然として知的に見える所以だが、同時にチャットGPT流「誤魔化し」の流儀でもある。仮に答を知らない（相応しい知見が訓練データに見当たらなかった）問であっても、回答の冒頭で質問を微妙に言い換えてしまうことで、まず自分の土俵に引き寄せる。続いて箇条書きが綿々と続くのは、そのうち一つ二つでも質問者のツボにはまれば「すげぇ」とポジティブに評価されるからだ。ある意味、占い師のテクニックと同じである。誰にでも当てはまりそうな運勢や性格診断を言い連ねるうち、見透かされたような錯覚を相手に与えるアレである。

チャットGPTは間違っていることもあるから気をつけなさい、と注意喚起する人が多い。それはそうなのだが、むしろ間違ってはいないが一番聞きたかった本題に答えていないことの方が多い。生成AIの宿命として、膨大なデータはあるが知らないことを自分で考える能力はない。従来の機械学習ならその限界を隠し切れずすぐにぼろが出ただろうが、チャットGPTは巧妙に論点をずらし立て板に水さながら「それっぽい」論陣を張ることで、知ったかぶりで煙に巻くハッタリが実にうまいのである。

それをチャットGPT自身がどう捉えているのか興味があり、「チャットGPTの能力の本質とは、自分で理解していない事柄を饒舌にはぐらかす技術と理解して差し支えないでしょうか？」という意地悪な問いを投げてみた。以下がその回答である。

チャットGPTの能力を「自分で理解していない事柄を饒舌にはぐらかす技術」と表現することは一般的な見方ではありません。チャットGPTは、大量のテキストデータを学習して言語の統計的なパターンを把握し、それに基づいて文章を生成することができます。しかし、それは統計的な予測に基づくものであり、意味の理解や深い理解を持っているわけではありません。
チャットGPTは、与えられた文脈に基づいて一貫した応答を生成することができますが、その応答は学習データに含まれるパターンに従ったものです。GPTはあくまで統計的なモデルであり、自己学習したパターンを元に生成された応答を提供するだけです。
一方、人間の理解能力は、経験、知識、直感、論理的思考などさまざまな要素に基づいて形成されます。人間は抽象的な概念や文脈を理解し、柔軟な思考や創造性を発揮することができます。
したがって、チャットGPTの能力を「自分で理解していない事柄を饒舌にはぐらかす技術」と表現することは、その能力を過大評価する可能性があります。AIは特定のタスクにおいて驚異的な能力を発揮する一方で、人間の理解能力や洞察力とは異なる制約や限界も持っています。

そこそこ謙虚な答えで好感が持てるが、最終段落で「その能力を過大評価する可能性があります」と言い出したところを見ると、どうも褒められたと勘違いしている様子だ。チャットGPTが皮肉を理解する日はまだ遠いようである。でも人間にもやっぱこんなヤツいるよな、とまた笑えてきた。