生成AI(チャットGPT-3.5)利用の落とし穴:トンデモ回答を返してくる危険性

グーグル検索に変わって、チャットGPT-3.5を使って知識を収集する機会が増えてきましたが、チャットGPTが返してくる答えは、的確なときもあれば、大外れでナンセンスな場合もあります。とくに、日本語独特の表現が質問の中に入っているときは、驚くほど頓珍漢な回答が返ってくることが頻発します。

質問:パーソナリティはどうやって決まるのでしょうか。「三つ子の魂、百までも」という表現がありますが?

回答:「三つ子の魂、百までも」は、日本の諺で、個人の性格やパーソナリティが多様で変動的であることを指摘しています。これは、個人の性格は一概には言えず、人生の経験や環境によって変化する可能性があることを示唆しています。つまり、一つの性格特性が一生変わらないわけではなく、状況や経験によって変化することがあるという考え方です。 この諺は、個人の成長や学び、新たな経験によって、性格やパーソナリティが変化し続ける可能性があることを強調しています。人は年齢や経験に応じて多くのことを学び、成熟し、変化することができます。したがって、性格やパーソナリティは固定的なものではなく、変動的であるという視点が表現されています。(chat.openai.com)

上など、真逆のことを言ってます。「三つ子の魂、百までも」ということわざの意味を全く理解せずに答えていますね。

他にもこんな例がありました。

質問:ビジネススキルで、ほうれんそうって聞いたことがあるのですが、それは何でしょうか。
回答:「ほうれんそう」(英語: PDCA)は、ビジネスや組織における問題解決と継続的な改善のプロセスを指す言葉です。ほうれんそうは以下の要素からなります:
  1. Plan(計画): まず、問題を認識し、解決策を計画します。具体的な目標や戦略を設定し、実施する方法を検討します。
  2. Do(実行): 計画を実行します。実際にアイデアや戦略を実行し、変更を加えます。
  3. Check(評価): 実行の結果を評価し、目標が達成されたかどうかを確認します。データとフィードバックを収集し、成果を評価します。
  4. Act(対策): 評価をもとに、問題を修正し、改善策を立案します。新しい計画を立てて、サイクルを繰り返します。

ほうれんそうは、継続的なプロセスとして捉えられ、問題解決やプロジェクト管理に適用できます。PDCAサイクルを通じて、組織やプロジェクトは効果的な方法で問題を特定し、改善策を見つけ、継続的に進化していきます。このプロセスは、品質管理、プロジェクト管理、プロセス改善、リーダーシップなどさまざまなビジネスコンテキストで使用されます。(chat.openai.com)

「ほう・れん・そう」は、PCDAサイクルとは全く別のものなんですが、ごっちゃにしているのか、そもそも、ChatGPTが「ほうれんそう」の意味を知らないのでしょう。

ここまで露骨に派手に間違えてくれれば、質問した人間でも気付きますが、もしもっと難しいトピックに関する質問だった場合には、回答の良しあしの判断に難渋する場合も出てくるでしょう。