機械学習によるカンニングの検出技術の開発

ターゲット
公開日

大関真之 情報学研究科助教、山中祥五 工学部4回生らの研究グループは、教員が経験的にカンニングの存在を検出するメカニズムを機械学習の手法に取り込むことで、答案の正誤内容から自動的にカンニングの検出をする技術を開発することに成功しました。

本研究成果は、日本物理学会が刊行する月刊誌「Journal of Physical Society of Japan」誌のオンライン版に1月8日付けにて公開され、紙面版に1月15日に公開されました。

研究者からのコメント

大関助教


工学部情報学科3回生「数値計算演習」にて、開始時に「カンニング検出のアイデアが今僕の頭の中にある。その実現を最終課題にする。だからカンニングをすることは避けた方が良い」とコメントしたところ、その課題にさまざまな工夫を凝らして試してくれた学生がいました。それが山中くんであり、今回の研究の立役者です。工学部情報学科の演習実験では学部生でも研究レベルの内容を学習する機会を設け、学生間と教員間のコミュニケーションを大事にするという自主的な活動(Student’s innovative communication and environment)を行っています。実際に学部生に研究活動を啓蒙して、過去にも学会発表、そして今回は論文出版まで到達することが出来ました。引き続きこのような活動を通して、京都大学を盛り上げていきたいと思います。(大関助教)

この研究は情報学科の演習授業を発展させたものです。問題設定を工夫すると、学部生レベルの知識でも価値のある研究ができるということを実感しました。 この研究を通して、学内での研究発表から学会発表や論文作成まで、研究活動の一連の流れを一通り体験することができました。さまざまな方のサポートがあってできた研究であり、このような機会をいただいたことに感謝します。(山中氏)

概要

大量のデータからそのデータ間に存在する関係性を自動的に捉える技術として、機械学習と呼ばれる手法が世の中を席巻しています。人間が経験を積むことにより未来を予見するメカニズムを、擬似的にコンピュータ上の計算で実装する技術です。

教育機関の中では、学生(被験者)の課題達成度・理解到達度(能力)を調べるために、多くの試験を実施します。日々蓄積している大量のデータを解析し、被験者の能力を推定することこそが、学生の成績を評価するということですが、長年実施してきた科目であれば、その経験から答案の採点をしながらカンニングの存在に気づく教員も少なくありません。本研究では、教員が経験的にカンニングの存在を検出するメカニズムを機械学習の手法に取り込むことで、答案の正誤内容から自動的にカンニングの検出を行うことを目指しました。

従来手法は、全被験者を常に観察対象としてカンニングの度合いを推定する方法と、カンニングの度合いが大きい順に「この被験者はカンニングをしている」と断定をしていくという二つの方法があります。前者については、結局どの被験者が怪しいのかを決定する性能には乏しく、後者については、いわば「決めつけ」による間違いが生じるという弱点があります。今回の提案手法では、特に後者の従来手法とは逆に、カンニングをしている度合いが小さい順に「この被験者はカンニングをしていない」と確信して、その後の観察ではカンニングを疑わず、残りの被験者については、先入観を持たずに同様の観察を続けます。「決めつけ」るのではなく、「信じる」ことを主眼とするのが本提案手法の特徴です。

本研究では、答案の内容をシミュレーションにより用意した上で提案手法の性能を確かめました。図に示すように、絞り込みをしながら、推定結果と答案データとの整合性を調べた結果、絞り込みをするにつれて、整合性を示す値が増大しました。これはカンニングをしていないと信じることで矛盾が生じなかったことを示しています。やがて減少に転じますが、これは残りの被験者がカンニングをしていると疑わざるを得ないことを示しています。減少に転じるまでに絞り込まれた被験者については、実際にカンニングをしていることが確認されました。同時に、被験者の能力などを推定することも従来手法より精度よく行うことができることが確認されました。


30人クラスの場合に想定される435ペアのうち、1割程度がカンニングをしているケース。青の線が推定結果と答案データとの整合性を表している。この整合性が減少に転じるまで被験者を信じる。減少に転じたとき、残りの被験者間で実際にカンニングをしていた。

詳しい研究内容について

機械学習によるカンニングの検出技術の開発

書誌情報

[DOI] http://dx.doi.org/10.7566/JPSJ.84.024801

Shogo Yamanaka, Masayuki Ohzeki, and Aurélien Decelle
"Detection of Cheating by Decimation Algorithm"
Journal of Physical Society of Japan, Vol.84, No.2, Article ID: 024801 Published January 8, 2015

掲載情報

  • 朝日新聞(1月16日 34面)に掲載されました。