第一コラムラボ

このたびは,第一学習社 Column Lab.(コラムラボ)に,アクセスいただきありがとうございます。コラムラボは,身の回りの事柄や最新のニュースをコンテンツ化して,学びへの探究心をくすぐるコラム教材を掲載する第一学習社のWebメディアです。

【AI活用・地理】AIを使った出題を試す2。ChatGPTに選択肢で解答させる。

BingAI

 

 

前回までのあらすじ

前回はChatGPTに地理の記述問題を解かせてみたね。

AIのすごさがわかったけれど、まだ完璧でないこともわかったな。

columnlab.net

 

やってみよう

 

今回は選択式問題でChatGPTに挑戦しようと思うよ。

選択式問題にもいろいろな種類があるぜ。

 

1問目

 

まずはコイツだぁ!

 

正距方位図法の地図の説明を述べた次の文について、正しければ○で、誤っていれば×で答えよ。

A.地図の中心から任意の地点を結んだ直線は等角航路を示す。
B.地図の任意の地点と任意の地点を結んだ線で距離を測ることができる。
C.地図の中心から任意の地点を結んだ直線は、最短距離を示す。
D.地図の外縁部では陸地の形や面積に極端なひずみが生じている。
E.地図の中心から任意の地点までの方位と距離を調べることができる。
F.地図の外周は最も遠い地点を指し、そこまでの距離はおよそ4万kmとなる。

 

参考:正距方位図法/第一学習社

 

文章の正誤についての問題だね。

さてさて、AIさんは文脈や前提条件を理解してくれるかなぁ!?

入力と…

https://chat.openai.com/share/fdf123bb-945b-4702-b22d-4f9fe27e0f64

 

正答は、A✕ B✕ C○ D○ E○ F✕だぜ。

AIは2問ミスだね。どうしてAIが間違えたのかが気になるね。

一問一問、AIの解説を見ていくか。

 

分析

 

A.正距方位図法では地図の中心から任意の地点を結んだ直線は等角航路を示さないため、誤りです。

正しくは等角航路ではなく、大圏航路。正解だぜ。

B.正距方位図法では地図上の任意の地点と任意の地点を結んだ線で距離を測ることができるため、正しいです。

不正解だぜ。正距方位図法の地図では、中心からの距離と方位が正確なのであって、中心以外の2点を結んでも距離や方位はわからないぞ。

C.正距方位図法では地図の中心から任意の地点を結んだ直線は最短距離を示すため、正しいです。

そのとおり、正解だぜ。

D.正距方位図法では地図の外縁部では陸地の形や面積に極端なひずみが生じているため、正しいです。

これもそのとおり、正解だぜ。

E.正距方位図法では地図の中心から任意の地点の方位と距離を調べることができるため、正しいです。

正解だぜ。Bの問題を間違えたのに、同じことを問うているEを正解するのはよくわからないな…。

F. 正距方位図法では地図の外周は最も遠い地点を指し、その距離はおよそ4万kmとなるため、正しいです。

不正解だぜ。正距方位図法の外周は、中心から見た地球の裏側(対蹠点)だから、地球半周分で、そこまでの距離はおよそ2万kmになるぜ。

ざっとこんな感じだな。

BとFの問題は、本当に人間でも間違えそうなミスだね。

一方で、Eの問題を正解したのはよくわからないな。

問題を作った側としては、問うている本質が一緒だからしっかり理解していれば間違えないと思うんだが…

AIの課題として文脈の理解があるけれど、それがよくあらわれた問題だね。

 

2問目

 

次の問題はこれだあ!

プレート境界地震について述べた文章として適当なものを、A~Dより選び記号で答えよ。

A.プレート境界地震は主にプレートの広がる境界で発生する。
B.プレート境界地震は活断層地震と比べて、マグニチュードの値が大きい傾向がある。
C.プレート境界地震では長周期地震動が小さくなる傾向がある。
D.2008年に中国の四川省で発生した地震は、プレート境界地震の典型例である。

 

参考:プレート境界と地震の震央/第一学習社

 

ポチっとな。

 

https://chat.openai.com/share/d3511548-4575-4e9b-be3f-226457cf95e7



 

正答はBだぜ。

不正解だね。

海洋プレートが大陸プレートに沈み込むところで起きる地震を、プレート境界地震と呼ぶぞ。東北地方太平洋沖地震(東日本大震災)がその具体例だぜ。

そして、プレート境界地震は、活断層地震とくらべてマグニチュードが大きくなる。よって、正解はBになるぜ。

 

分析

 

どうしてAIは間違えたんだろうね。

それはおそらく、問題文がイマイチだったからだと思うぜ。

どゆこと?

Aの選択肢なんだが、確かにプレートの広がる境界付近でも地震は起こるんだ。

でもプレート境界地震とは言わないの?

ああ。これには地震発生のメカニズムが関係してるんだ。

なんだか難しそうだね。かいつまんでよろしく。

広がる境界付近で起こる地震は、プレートが広がる際の引っ張りの力に起因しているんだ。だからプレート境界地震とは発生のメカニズムが異なり、震源も浅いんだ。

AIが文脈を理解していないと判断できるね。

 

再試行

 

ちょっと選択肢の順番を変えて実験をしてみたいぜ。

これだとどうなる?

プレート境界地震について述べた文章として適当なものを、A~Dより選び記号で答えよ。

A.プレート境界地震は活断層地震と比べて、マグニチュードの値が大きい傾向がある。
B.プレート境界地震は主にプレートの広がる境界で発生する。
C.プレート境界地震では長周期地震動が小さくなる傾向がある。
D.2008年に中国の四川省で発生した地震は、プレート境界地震の典型例である。

A・Bの順番を入れ替えたんだね。

前の選択肢に正答がある場合は、AIはそちらを優先するんじゃないかと思ったぜ。

ポチっとな。

 

ChatGPT回答

 

うまくいかないね。

さすがにそこまで単純ではなかったか…。

じゃあこれならどうだ。

Choose the appropriate sentence from a to d and answer with a symbol.

a. Plate boundary earthquakes tend to have larger magnitude values than active fault earthquakes.
b. Plate boundary earthquakes occur mainly at plate spreading boundaries.
c. Long-period seismic motions tend to be smaller for plate boundary earthquakes.
d. The earthquake that occurred in Sichuan, China in 2008 is a typical example of a plate boundary earthquake.

なるほど英語にしてみたんだね。

「プレート境界地震」という語が混乱させているんじゃないかと考えたぜ。

もちろんDeepL先生に英訳してもらったぞ。

さしずめ、AIどうしの対決だね。

ポチっとな。

 

ChatGPT回答

 

な ん で や ! !

うまくいかないねぇ。

※余談:この英語の質問プロンプトで何度も質問すると毎回答えが変わって編集部員たちを混乱させました。それもまた生成AIである。

 

ぜってえ「プレート境界地震」の語を使わずに正解させてやる!

何が君をそうさせるんだ。

おりゃあ!!!

プレート境界地震について述べた文章として適当なものを、A~Dより選び記号で答えよ。

A.プレート境界地震は主にプレートの発散境界で発生する。
B.海溝型地震は活断層地震と比べて、マグニチュードの値が大きい傾向がある。
C.海溝型地震では長周期地震動が小さくなる傾向がある。
D.2008年に中国の四川省で発生した地震は、プレート境界地震の典型例である。

「発散境界」と「海溝型地震」の語を使うことでAIが迷わないようにしたぜ!

ポチっとな。

 

ChatGPT回答

 

!!!

正解だね。

 

努力の結晶!ついにAIを屈服させたぞ!

いや、完全にAIに振り回されてたよ。

 

まとめ

 

今回は選択問題を解かせてみたけどどうだった?

AIが文脈を完全に理解するには、もう少し時間がかかりそうだな。

AI技術の進歩にも期待したいところだけど、使う側の配慮も大切だね。

利用の際は、AIが誤解してしまう言い回しになっていないか、きちんと精査したいね。

あぁ…。今回はくたびれたぜ…。

 

おまけ

 

実はChatGPT以外にも生成AIはあってね。ちょっと試してみたよ。

BingAIっていうのもあってね。結果がこれ。

 

BingAI

 

答えはBです。

あっさり正解してるじゃん…。

※余談:解答以前の解説文に関しては、地理・地学の編集部員に見せて評価を行ったところ、「まあまあ合っているのでよしかな~って感じ」という評価となりました。

 

生成AIにも色々あってね。BingAIはマイクロソフトが提供しているものだね。

www.gizmodo.jp

ほかにも、ChatGPTでも今回使った無料版の3.5と、有料版の4.0では結果が全然ちg…

おいおい長くなるのか…?また今度にしてくれよな…。