Chat-GTP3.5と4.0の実力差はどれくらい？

最近は大学関係者は自分の仕事に生成AI(ChatGPT-4.0)を使う人が多いようです。科研費でももちろん購入可能だそう。月々２０ドルで、最強の頭脳を持った助っ人が手に入るのですから、使わない手はありません。

Chat-GTPは、役に立ちますが、不得意なことに関しては息を吐くように嘘をつきますので要注意です。ChatGPT PLUSが無料版と比べてどれくらい賢くなっているのか調べてみました。

ChatGPT3.5が教えてくれたさだまさしのヒット曲10曲

1. 「北の国から」（1981年）
2. 「風に立つライオン」（1987年）
3. 「防人の詩」（1980年）
4. 「案山子」（1977年）
5. 「風の詩を聴かせて」（1978年）
6. 「銀の龍」（1979年）
7. 「さよならカリフォルニア」（1978年）
8. 「天までとどけ」（1986年）
9. 「いい日旅立ち」（1977年）
10. 「雨やどり」（1976年）

なんと正解率はたったの５０％です。ひどいものです。同じことをChatGPT40にきいてみます。

ChatGPT40が教えてくれたさだまさしのヒット曲10曲

1. 関白宣言（1979年）
2. 北の国から（1981年）
3. 精霊流し（1974年）
4. 主人公（1978年）
5. 風に立つライオン（1987年）
6. 防人の詩（1980年）
7. 案山子（1977年）
8. 無縁坂（1975年）
9. 秋桜（1977年）
10. 天までとどけ（1986年）

正解率は８０％にまで上がりました。しかし、全然お話にならないレベルです。

ほかにも、ためしに自分の住んでいる地域の美味しいピザ屋を教えてとリクエストしたら、実在しないピザ屋を教えてくれました。まったく使えません。

生成AIには明らかに、得手不得手があるようです。エクセルファイルを複数開いて自動集計するPYTHONスクリプトを書いてもらったりするのはかなり得意です。