東ロボくん、模試での「なりふり構わぬ行為」

      2018/04/07

国立情報学研究所らが開発を進めている「東ロボくん」は、センター試験の模擬試験だけでなく東大模試の数学も受験していたそうです。文系の問題は4問中2問で完答、理系の問題は6問中2問で完答という結果で、文系理系とも受験者中、偏差値は「約60」だったとのこと。

東ロボくんの解答例を見ると、

求める実数をxgen12と置くと、問いの条件は次の一階論理式と同値になる:

この式は実閉体の体系RCFの式であることから、Tarski-Seidenbergの定理により、この式と同値で量化子を含まないような式を求めることができる。Tarskiの量化子除去アルゴリズムに従って上記の式を書きかえた結果が以下の式である(変形の過程が長いため、計算紙で別途提出する。):

のようなことが書いてあります。TWITTERで、

FB で「この解答はやばすぎ(専門的すぎ)じゃ無いですか?誰が採点できるんだ!w」と書いた方いたので見てみたら,確かに「やばすぎ」!

という声も上がっていますが、高校生離れした解法です。一体東ロボくんがどうやって数学の問題を解いているのかに関しては、「数式処理による入試数学問題の解法と言語処理との接合における課題」という論文に解説があります。高校数学の内容を逸脱した解法を使う一方で、数学の問題文の読み取りでは、「問題テキストの言語処理の一部で人間の介入を必要とした」(PCWatch 2013/11/25 13:42)そうで、こうなると「東大の入試」という縛りが人工知能の研究を進める上でどれだけ意味があるのか疑問に思えてきます。実際に東ロボくんが苦労しているのは、簡単な日本語を理解することに過ぎないのかもしれません。

日本語の理解に限らず、世界史の問題で出てくる地図の読み取りもまだできないようで、センター試験の模試では地図上の地点aの町の名前を人間が教えてあげたりしたそうです(ブログnix in desertisの記事)

東ロボくんの現時点での受験戦略に関しては、「ロボットは東大に入れるか」発表会(11/23)レポート(nix in desertis 2013年11月25日)の記事で紹介されており、興味深いものがあります。今回の模擬試験へのチャレンジでは、

最終的に欲しい能力を目指す本質的な研究ではなく,今回は,小手先の,現状可能なアプローチだけで,どれだけセンター試験で得点できるかに挑戦した

そうで、例えば社会科対策としては、山川出版社と東京書籍から世界史B・日本史Bの電子データをもらって丸暗記したのだそうです。そして正誤文判定の問題では、教科書の文章と照らし合わせて歴史用語がどれくらい同一の章やパラグラフに登場しているかで正誤の判断を下したとのこと。問題文の意味すら考えておらず、単語をただ拾ってくらべているだけで、ほとんど頭を使っていません。まるで、勉強が間に合わなかった受験生みたいです。それでもそこそこの成績を挙げられたというのが面白いところです。国語や英語も同じような戦略だったそう。

この結果は、選択肢を選ぶ際にサイコロを振るよりも高確率で正解を得るためのヒントになるかもしれません。
参考ウェブサイト

 

同じカテゴリーの記事一覧


 - ロボットは東大に入れるか