何が起きたか

OpenAIが8月27日、ボッコーニ大学の研究者と共同で行った実験の結果を公式ブログで公開した。大学1年生を4つのグループに分け、ChatGPTを使えた群と、因果推論のトレーニングを受けた群とで、課題の出来がどう変わるかを比べたものだ。ページには論文のPDFへのリンクも置かれている。

結果は2つに分かれた。ChatGPTを使えた学生は、採点の点数が上がった。トレーニングを受けた学生は点数は上がらなかったが、ほかの人と重ならないアイデアを出した。両方を受けた群は、その両方の特徴が出た。

ブログには、ChatGPTを使えた学生は5点満点でほぼ1点高かった、と書かれている。この1点が気になったので、リンク先の論文と突き合わせた。差分は4つあった。

ブログに書かれていない条件が、論文にある

1つめ。上がった先の点数。 論文では、ChatGPT群の点数は統制群より0.862点高い。ただし比較相手である統制群の推定値は、5点満点の2.09点だ。上がっても3点に届くかどうかで、満点に近づいた話ではない。

2つめ。条件をそろえると、差は半分以下に縮む。 論文は、文章のまとまりやアイデアの数といった要素を段階的に条件に加えた分析も出している。0.862点だった差は0.490点、0.448点、0.362点と縮んでいく。それでも0にはならず、条件をそろえてもChatGPTを使ったほうが上、という結果は残っている。ただしブログが伝える1点という印象とは幅が違う。

3つめ。課題の条件がかなり狭い。 学生が取り組んだのは45分の課題で、書ける量は180語まで。大学のグッズ店について、卒業生の認知と利用を増やす提案を書く、という内容だ。モデルがGPT-4oだという点はブログにも書かれているが、それを大学契約のChatGPT Edu経由で使ったことと、45分・180語という制限は、論文にしか出てこない。GPT-4oはいま個人が使っているものとは世代が違うので、この結果がそのまま今のChatGPTに当てはまるとは限らない。

4つめ。何も受けなかった群も、実は何かをしている。 ブログは4つの群のうち1つを、どちらも受けない群と書いている。論文を読むと、トレーニングを受けない学生も、同じ架空の街を題材にした同じ12問のゲームをやっていた。違うのは、考え方の説明も例もフィードバックも付かず、用意された選択肢から答えを選ぶだけだった点だ。さらにトレーニングを受けた側だけは、本番の課題に入る直前に、ゲームで学んだ力を思い出すように、と声をかけられている。

参加者は1,053人。採点は修士課程の学生20人が担当し、1件を3人で見て平均を取っている。

生活で何が変わるか

この実験でいちばん効くのは、AIが強い場面と、そうでない場面がきれいに分かれたところだと思う。

点数が上がったのは、答え方の型が決まっている課題だった。認知と利用を増やす、という評価の物差しがあらかじめ決まっていて、模範解答に近いほど点が高い。学校に出す書類、PTAのお知らせ、申請書の理由欄のような、形が決まっている書きものはこれに近い。ここはAIに下書きを作らせると、一気にそれらしくなる。

一方で、ほかの人と違うアイデアを増やしたのは、AIではなく、AIと関係のないトレーニングのほうだった。論文によると、ChatGPTだけの群は、ほかの参加者との違いという点では統制群と区別がつかなかった。しかもその違いは採点では報われず、標準的な答えから離れた解答はむしろ点が下がっている。

マスターの一言

自分の実感とも合っていて、うちでも献立や連絡文みたいな型のあるものはAIに任せると早い。逆に、この家でしか通じない事情を含む判断は、AIに聞くと当たりさわりのない案が返ってくる。

論文の最後には、トレーニングを受けた学生はChatGPTが手元にあっても、覚えた考え方を使い続けた、と書かれている。道具を持つと考えなくなる、とは限らないということだ。子どもがAIを使うのを止めるかどうかで悩むより、型のある作業は任せて、そうでないところに自分の時間を回す、という分け方のほうが現実的だと思う。