猫も杓子もAIが話題ですね！
ChatGPTをはじめとした生成AI（Generative AI）の登場が、教育に大きな変化をもたらすのは間違いないと言われています。
すでに、オンライン学習や個別指導、学習分析など、生成AI技術は学習者や教育者に多くのメリットを提供しています。
しかし、生成AIが教育で利用されることには、倫理的・社会的な課題も伴います。
プライバシーやバイアス、教育の質や公平性など、AIが教育に及ぼす影響は慎重に検討する必要があると言われています。
さて、先日、このようなまとめを見かけました。
社会科のテストで『AI出力した、さも正しいかのような文章から、間違っている部分を見つけ、修正しなさい』という問題がでたそうです。
非常に面白いですね！AI時代に相応しい問題だと思います。
しかしツイートの内容だけでは、実際にどういった出力になっているのかわかりません・・・。
そこで今回は、弊社の地理の編集担当者とChatGPTへの出題を試してみようと思います。
※使用するChatGPTのバージョンは３．５（無料版）です。
やってみよう
このTogetterまとめ、興味深いね。もしもAIが学校のテストを解いたら、いったいどのくらいの点数がとれるんだろう。
編集者としては「ニンゲン様に敵うわけないだろ」と思っています。
ほほう、どうしてそう思うのだ？
社会科のテストは穴埋め問題だけじゃないからだ。記述問題もたくさん登場するぜ。
基本的な知識を整理したうえで、簡潔に文章にまとめる技術がAIにそなわっているとは思えんな。
そこまで言うならやってみようよ。
任せんしゃい。今回は地理の問題をいくつか用意したぞい。
まずは、コイツだあ！
１問目
カムチャツカ半島で活火山が多い理由について、プレートテクトニクスの観点から100字以内で説明せよ。
どうだあ！？
入力と…ほい、でたぞ。
https://chat.openai.com/share/cbdceb95-f9d9-4034-8aa2-7baf164f5924
………
なかなかやるではないか…
プレートテクトニクスの観点から、という指示にばっちり対応できているね。100字で収まってはいないけど。
（それでもすごいぞ…）
ちなみに内容は正確なの？記事でも誤っている箇所があったみたいだけど。
そそそ、そうだな！そこが肝心なところよ！
どれどれ…
ふむふむ、おおむね正しいけれど、ところどころ気になる箇所があるな。
たとえば？
１行目の「太平洋プレートとユーラシアプレートが衝突している」だが、正しくは「太平洋プレートと北アメリカプレート」で、あ～る。
それっぽく答えているけれど、正確ではないところもあるんだね。
満点はあげられないが、部分点はあげられるくらいの出来栄えだな。
小まとめ
ChatGPTは、記述問題中の指示を理解して文章を生成することができる。
しかし、さも正しいように出力してくる記述でも、正確でない箇所も見られる。そのため、利用の際にはファクトチェックが重要となる。
だからこそ出力をチェックすることが良問になったのだね。
２問目
ほかの問題でも試してみたいな。
この問題なんかはどうだ？
なぜ発展途上国では、固定電話よりも携帯電話が普及しているのか。その理由について簡潔に説明せよ。
入力と…
う～む、たくさん書いてくれるのはいいことだが、正直これはテストの解答として使えないぞ。
それはなぜ？
論点が定まっていないからな。
そこがAIに伝わってないね。修正を加えて、再チャレンジしてみたらどう？
そうだな。今回は電柱や電話線などの設置コストと、携帯電話の基地局について触れてほしい問題だから、その指示を追加するぞ。
発展途上国で、固定電話よりも携帯電話が普及している理由について、設置コストの観点から簡潔に説明せよ。
どこか変わったか？
モバイルバンキングの箇所がなくなったね。
不要な要素は削られたが、冗長で採点しようとは思わんな…
きっと「簡潔に」という指示が、ええ具合にAIには理解できなかったんだね。さっきの問題みたいに字数制限を設けてみたら？
発展途上国で、固定電話よりも携帯電話が普及している理由について、設置コストの観点から100字以内で説明せよ。
案の定100字をこえているけど、かなり読みやすくなったね。
ケーブルや基地局の用語が入ったことで、固定電話と携帯電話の違いがわかりやすくまとめられているな。
これは点数をつけるとしたら何点くらい？
かなりいい出来栄えだと思うぞ。満点近くあげていいくらいだ。
ただ、高校生らしい文章とは言えないな。
文章の調整は必要そうだね。
小まとめ
利用者が適切な指示を与えないと、ChatGPTは求めている答えを生成してくれない。
指示を追加するなどの文章の修正を行うことで、求めている回答を得やすくなる。
まとめ
今回はChatGPTに問題を解かせてみたけど、どうだった？
文章を作る力は、ほぼ人間と同じレベルに到達していることがわかったな。ただ、内容の正確性にはまだ課題が残るみたいだね。
ChatGPTから欲しい回答を得るためには、丁寧でわかりやすい指示が必要だということもわかったね。
※生成AIのような大規模言語モデルを効率的に活用するための手法を、プロンプトエンジニアリングなんて言ったりするらしいです。
AIが答えにくいということは、指示が曖昧で、人間も答えにくい問題であるという可能性も高いな。
これから問題を作るときには、一度AIに試行させてみてもいいかもしれない。
ChatGPTは、使う人次第で優秀にもダメダメにもなるんだね。
もしかして、部下への指示が下手な上司や先輩って、ChatGPTへの指示も下手なのかな…
そんな先輩にならないように気をつけるよ…
「ChatGPTから、良い回答を引き出すことができない」という人、おそらくそれ、人間に対しても同じことをやっている可能性が高いです。
— けんすう (@kensuu) 2023年6月7日
つまり「相手が、あなたの下手な依頼や質問に対して、意図を一生懸命汲み取って、いい感じの回答を出すために努力してくれている」ということです。…
次回予定
次回は選択問題編をお送りします。
テストでは、選択式の問題も定番だぜ。
どうやらAIは選択問題は苦手らしいよ。どんな思考で解答を導き出すのか気になるね。
