JP7387101B2 - 文章解答問題自動採点システム及びその方法 - Google Patents
文章解答問題自動採点システム及びその方法 Download PDFInfo
- Publication number
- JP7387101B2 JP7387101B2 JP2021200417A JP2021200417A JP7387101B2 JP 7387101 B2 JP7387101 B2 JP 7387101B2 JP 2021200417 A JP2021200417 A JP 2021200417A JP 2021200417 A JP2021200417 A JP 2021200417A JP 7387101 B2 JP7387101 B2 JP 7387101B2
- Authority
- JP
- Japan
- Prior art keywords
- answer
- judgment
- text
- correct
- questions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 26
- 238000010801 machine learning Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 3
- 238000013077 scoring method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 description 8
- 230000014616 translation Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000007812 deficiency Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012946 outsourcing Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
- Machine Translation (AREA)
Description
しかし、前記特許はその実施例で英訳にのみ触れており、英文への翻訳についての添削を主とするため、判定基準としては、同義語や語の位置、活用形についての評価など翻訳に特有の判定基準を用いなければならず、単なる説明問題や和訳の採点には適していない。
さらに、前記特許においては、正解と思われる翻訳文をすべて用意して、予め覚えさせるなどの作業が必要であり、事前準備に手間が必要となる。
そして、AIによる採点を採用したとしても、その採点基準は荒く模範答案との正誤が判定のメインとなるため、別の表現での正解を判定することができず、結局は人による最終チェックあるいは当初からのチェックが必要となり、導入コストに対して人件費が抑えられる程度が低かったため、利用しにくい問題点がある。
判定結果を減点処理によって適正度を判定する判定手段
複数段階にわたり合格の判定基準を設定する設定手段
前記適正度を設定された複数段階の判定基準と照合し、判定結果を表示する判定表示手段とを有することを要旨とする。
そのキーワードが解答において必須かどうかの決定入力する決定入力手段と
必須である場合に減点値を決定して入力する決定入力手段とを有し、
受験生の解答入力に対して、前記判定された正答確率から減点の有無を判定し、
減点に一定割合をかけて減点を算定し、
正答確率から算定した減点を差し引いて適正度を算出する算出手段
を有することを要旨とする。
解答文章の判定のためのAIの学習パターン構造として、最大4つのカテゴリー、すなわち正解としての正答 誤答としての結論逆 前提あるいは理由逆 論外から構成する構成工程と
各パターンに分けた解答例をAIに記憶させる記憶工程と、
解答された文章をそのカテゴリーへ記憶させたパターン例との近似をAIに判定させて各カテゴリーにおける確率を判定させる判定工程と、
学習者の文章問題の解答について正答確率から減点処理によって適正度として判定表示する判定工程とを有することを要旨とする。
そして本願発明に係る文章問題を自動採点するシステム及び方法によると、文章の前提(主語や理由部分)と結論部分の組み合わせを変化させて正答のみでなく、誤答についても解答パターンをAIに記憶させることにより、少ないパターンの機械学習によって判定精度を上げ、人によるチェックを大幅に減らすことが可能となった。採点完了までの時間を大幅に短縮することが可能となり、採点結果を即時に送信することができ、それを生かした試験方法が可能となった。たとえば、午前中の文章解答問題の判定を午前中に終了し、午後から合格者に対して次の試験を行うなどのことが可能となった。そのため採点にかけるコストを低コストとすることができ、教師や塾講師の重労働からの開放を可能とした。
なお二重否定についてはわずかに正答の場合があること(例えば高度と気温の関係について説明せよ 高度が高くなれば気温が低くなるなど前提と結論の関係を尋ねるような問題 と 論理学の対偶の場合)がわかっており、ほとんどの場合誤答であるため、誤答に含めることとしている。
本システム全体概略図を図1のシステム構成図として示す。1はシステム全体を示し、2は学習者 3は出題者や採点者 4は本発明のメインシステム構成、5は既存の学習システム等を示す。メインシステムは5の既存の管理システムに連携が可能となっている。メインシステム4内は問題・解答などを保存するデータベース(6)とAIソフト(7)と解答者の解答を受けてAI判定を行い判定結果を解答者に送信表示するアプリケーション(8)とそのアプリケーションから詳細な判定結果を受け、採点者3に詳細な表示を送信するユーティリティ(9)とから構成される。
まず事前準備として、設定者側で設定画面図4において、模範解答(41)や文字数制限(42)について最小文字数(42a)、最大文字数(42b)への入力で文字制限が設定できるとともに、制限が守られない場合に減点とするのか×とする(必須へのチェック)のかも選択可能である。
またキーワード(43)については、キーワードの文字決定とその入力と該キーワードが記載されていない場合に減点するか記載されていないことのみで×とするか(必須)(43a)を選択でき、減点を選択する場合には何点減点するかの点数を決定して入力する(43b)と減点を選択したこととなる。このキーワードは,複数指定が可能で、複数を区切って入力すればすべてのキーワードを判定するようにされている。たとえば漢字とひらかなの違いや同義語などである。これらの設定がシステムに保存され、使用にあたってはその設定に沿って判定結果が表示される。
次に、上記の模範解答を基準として、図6Aに示すような正答、誤答(結論逆、前提逆、追加誤答、論外などの解答例を作成してデータベース6に記憶させる。
AIの近似判断を間違いのないものにするためには、AI関係者は1問あたり1000のパターンの記憶作業が必要と言われている。しかしこの学習データの工夫により、記述式の採点が可能となったため、準備すべき問題数は記述式が設けられない場合は100問程度作成しないと学力が判定できなかったものが、本発明方法の採用で問題数は80問場合によっては60問でも学力採点の精度を上げることができる。その理由について図2を用いて説明する。
同様に前提(理由)逆(33)の場合は前半と後半のつながりが正答とは認められないため、間違いとなる。二重否定の場合には、厳密には対偶が正解(34a)となるため、語順を変えず、否定を行うと正答の場合と不正答の場合が混在し、厳密な意味での正答とはいえないため(34b)、これも例外として扱う必要がある。本発明の基本的考え方はAIによる1次的な近似判定にさらに、結論逆 前提逆 場合によっては追加誤答(36)を除外する判定を行うことでより精度の高い判定が可能となる。さらに、言語的にも近似性が全くないような場合やポイントが大きく外れているような場合は論外(35)という判定をも設けることでより精度をあげる工夫をしている。機械学習のデータをこのような構成としていることによりAIによる学習データがより少ないものでも文章問題の解答判定が可能となることと関係していると思われる。
その意味で、機械学習させるデータをどの程度までのものとするかで、問題の難易を調整することが可能となる。
〈論外〉については、文字どおり、期待された文意の大枠から全く近似要素なく、説明されているものが該当する。
そしてそれは現在まで行われてきた正答例を膨大にAIに与えて判定させるという手法とは異なり、AIが近似と判断する場合から明らかな間違い例を排除する例を与えるという機械学習においての構造の工夫にあるからである。
上記各実施形態の記述は本発明をこれに限定するものではなく、本発明の要旨を逸脱しない範囲で種々の設計変更等が可能である。
まず本実施例では説明問題であり、結論逆の解答は考えられるが、ニ重否定すなわち「原因でないものは結果と対応しない」や前提(理由)否定すなわち「原因でないことで報いを受けること」は解答としても存在の可能性は薄いため、本実施例では正答と結論逆のみのパターン例となっている。すべてのパターンを登録してもよいことはもちろんであるが、本発明方法は如何にして採点者側の労力をかけず、簡便に使用できるかという点を問題としているため、特に全問について全パターンを登録する必然性はない。
示されるものは模範解答(56)適正度(57)評価3項目(58)であり、その3項目の中身は不足キーワードがあるかないか、入力文字数、文字数の過不足をプラス(文字数が多い)過不足なし(文字数の範囲内)マイナス(文字数が足りない)で一目でわかるように示している。
学習者を特定するためのID(59)、解答(60) 紙での解答はOCR処理後のデータ)、模範解答(61)(正答の中の1つ 設定で入れたもの)AIの判定結果(正答確率 誤答確率 論外確率)(62)を示す。
具体的には正答確率-(減点値×10)=その人の成績(適正度)
これが設定で決定した%以上であれば○として表示される。ここで論外確率に含めるべきではあるものの文章構造・内容が正答に近く、正答確率に明らかに影響を与えると推定できるものは追加誤答確率を設定することで排除する。
今回は英語の和訳問題であり、複合関係副詞の「HOWEVER」を用いているため完全文が2つできる形での解答であり、前半の文について肯定否定の2種類、後半の文について肯定否定の2種類の解答例が想定されるため、学習データとしては結論逆パターンと前提逆パターンの2通りの誤答が想定される。従って学習データとしては両方用意している。
内容は図6Aの通りである。
実施例2に比べ前提逆パターンが5件追加されている。
このような学習データであれば、たとえば以下のような解答があった場合「私の挑戦がどれだけ激しくなくても、私はそれができなかった」と誤答した場合、(69)の学習データ「どれだけ一所懸命挑戦しなくても、私にはできませんでした」と対比して一致しているのが「挑戦」「なくても」「どれだけ」「私」「でき・・・た」であり、AIは前提逆の誤答であると判定できる。
本実施例では解答63~67について 適正度がAIにより示されている。63は正答の5番目と同じであり確率が高い。64、65は論外の8番、論外の1番目に近似しており論外確率が高い。
このような複文で解答が形成される場合には、実施例2のように結論否定だけの学習データであると、結論が肯定であれば学習データから誤答と判定できるが、結論が否定であれば、前提が間違っていても正解とAIが判定する可能性が否定できず、両パターンの学習データが必要となる。
まず、指示語「それが」などが教師から解答として求められる場合、それを使用していない解答を除外する必要がある。実施例3においては、「それが」が回答にないと誤答確率が高くなっている 必須キーワード「頑張」又は「挑戦」又は「試」がないため3×10=30%減点されている。この時、必須キーワードには「それ」が設定されていない。前半にも解答内に「それ」を含むため、必須キーワードで「それ」を設定することができない。このような場合には、図6で例示したような追加誤答パターン(用語が同じか同義語で「それが」を含まないような解答例)を設けることでAIは誤答であると判定可能となる。
一般にモバイルやパソコンによる学習システムは、学生が解答を入力し、機会判定されてその結果を学生が見て再度挑戦したり次の問題に進んだりして使用する。教師側(採点者側)でこの状況を同じ画面表示を閲覧できるようにしたものが存在するが本発明では、学生へのフィードバック以上の詳細な図5Cに示すような分析結果を教師側(採点者側)に提供する点において特徴を有する。
同様にして正答誤答のカテゴリーごとにパターンを作成し、データーベースに保存する。この例では正答15例 結論逆11例 前提逆が10例が設定されている。
72から76の解答に対して、これらの学習データの入力保存によって正しく判定され、72と76については高い正答確率が示されている。74は当事者と第三者が入れ替わっており、前提逆の1番目のパターン例に近似しており、前提逆確率が高い。また75は問いと全く関係のないことが書いてあり、論外判定が高くなっています。このように、少ないパターンの学習データで文章問題の自動採点が可能となっている。
解答する学生の中には、でたらめの文字を打ったり、ふざけて同じ文字を続けて打ったりすることがあるが、そのような場合に、高得点が表示される問題があった。その理由としては、学習データによっては同じ文字の羅列が正答の特徴と一致する場合が出る可能性が排除しきれなかったためであり、特定キーワードが存在するだけで高得点が出ることを防ぐためにこのような工夫が必要となった。
そのため、各パターンには同じ文字の連続である論外たとえば「あああああああああああ」や「いいいい」「うううううううううううう」などが設定される。この場合数字であれ、ひらがなであれ、漢字であれ 文字であればAIは同じ文字としての認識を行う。字数を変化させることで、その程度つながっても論外として排除することが必要であることをAIに記憶させることができる。
Claims (7)
- 文章解答問題をAIによって自動採点するシステムであって、
解答文章の判定のためのAIの学習パターン構造として、最大4つのカテゴリー、すなわち正解としての正答 誤答としての結論逆 前提あるいは理由逆 論外から構成する構成手段と
各パターンに分けた解答例をAIに記憶させる記憶手段と、
解答された文章をそのカテゴリーへ記憶させたパターン例との近似をAIに判定させて各カテゴリーにおける確率を判定させる判定手段と、学習者の文章問題の解答について正答確率から減点処理によって適正度として判定表示する判定手段とを有することを特徴とする文章解答問題自動採点システム。 - 文章解答問題をAIによって自動採点するシステムであって、
解答文章の判定のためのAIの学習パターン構造として、前記最大4つのカテゴリーに加え、正解としての正答に最も近い誤答として追加誤答パターンを設けた構成手段を有することを特徴とする請求項1記載の文章解答問題自動採点システム。 - 文章解答問題をAIによって自動採点するシステムであって、前記カテゴリーごとの近似性判定に加え、キーワード判定、誤字脱字判定、文字数判定の判定を行う判定手段、
判定結果を減点処理によって適正度を判定する判定手段
複数段階にわたり合格の判定基準を設定する設定手段
前記適正度を設定された複数段階の判定基準と照合し、判定結果を表示する判定表示手段とを有することを特徴とする請求項1または2記載の文章解答問題自動採点システム。 - 前記キーワード判定は、解答における1つまたは複数のキーワードを決定入力する決定入力手段と
そのキーワードが解答において必須かどうかの決定入力する決定入力手段と
必須である場合に減点値を決定して入力する決定入力手段とを有し、
受験生の解答入力に対して、前記判定された正答確率から減点の有無を判定し、
減点に一定割合をかけて減点を算定し、
正答確率から算定した減点を差し引いて適正度を算出する算出手段
を有することを特徴とする請求項3記載の文章解答問題自動採点システム。 - AI判定のための機械学習パターンを登録するデータベース、それをAIに判定させるためのアプリケーション、判定結果をフィードバックするためのユーティリティが互いに接続され、学習者の解答入力装置又は入力装置を装備した学習ツールと接続可能であることを特徴とする請求項1記載の文章解答問題自動採点システム。
- 学習者には模範解答と正解不正解の判定のみを返し、管理者にはより詳細な各カテゴリー別の確率を表示することを特徴とする請求項1~5記載の文章解答問題自動採点システム。
- 文章解答問題をAIによって自動採点する方法であって、
解答文章の判定のためのAIの学習パターン構造として、最大4つのカテゴリー、すなわち正解としての正答 誤答としての結論逆 前提あるいは理由逆 論外から構成する構成工程と
各パターンに分けた解答例をAIに記憶させる記憶工程と、
解答された文章をそのカテゴリーへ記憶させたパターン例との近似をAIに判定させて各カテゴリーにおける確率を判定させる判定工程と、学習者の文章問題の解答について正答確率から減点処理によって適正度として判定表示する判定工程とを有することを特徴とする文章解答問題自動採点方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021200417A JP7387101B2 (ja) | 2021-12-09 | 2021-12-09 | 文章解答問題自動採点システム及びその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021200417A JP7387101B2 (ja) | 2021-12-09 | 2021-12-09 | 文章解答問題自動採点システム及びその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023086037A JP2023086037A (ja) | 2023-06-21 |
JP7387101B2 true JP7387101B2 (ja) | 2023-11-28 |
Family
ID=86776040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021200417A Active JP7387101B2 (ja) | 2021-12-09 | 2021-12-09 | 文章解答問題自動採点システム及びその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7387101B2 (ja) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003529801A (ja) | 2000-03-24 | 2003-10-07 | ナムキョ パク | 学習資料データベース構造及びそれを利用した学習資料提供方法 |
JP2017167413A (ja) | 2016-03-17 | 2017-09-21 | 独立行政法人大学入試センター | 採点補助システム |
JP2017188039A (ja) | 2016-04-08 | 2017-10-12 | Kddi株式会社 | 複数の類似度算出によってテキストの点数を推定するプログラム、装置及び方法 |
JP2018045062A (ja) | 2016-09-14 | 2018-03-22 | Kddi株式会社 | 学習者の口述音声から自動的に採点するプログラム、装置及び方法 |
JP2019191815A (ja) | 2018-04-23 | 2019-10-31 | 国立大学法人東京農工大学 | プログラム、情報記憶媒体及びクラスタリング装置 |
WO2019225229A1 (ja) | 2018-05-25 | 2019-11-28 | 日本電気株式会社 | 採点装置、採点方法、記録媒体 |
JP2020113129A (ja) | 2019-01-15 | 2020-07-27 | 株式会社日立製作所 | 文書評価装置、文書評価方法及びプログラム |
JP2020166770A (ja) | 2019-03-29 | 2020-10-08 | 日本電気株式会社 | 文字認識装置、文字認識方法およびプログラム |
JP2020204703A (ja) | 2019-06-17 | 2020-12-24 | 国立大学法人 筑波大学 | 能力測定装置、プログラム、及び方法 |
JP2021009708A (ja) | 2019-02-15 | 2021-01-28 | 日本電気株式会社 | 採点支援装置、採点支援システム、採点支援方法および採点支援プログラム |
-
2021
- 2021-12-09 JP JP2021200417A patent/JP7387101B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003529801A (ja) | 2000-03-24 | 2003-10-07 | ナムキョ パク | 学習資料データベース構造及びそれを利用した学習資料提供方法 |
JP2017167413A (ja) | 2016-03-17 | 2017-09-21 | 独立行政法人大学入試センター | 採点補助システム |
JP2017188039A (ja) | 2016-04-08 | 2017-10-12 | Kddi株式会社 | 複数の類似度算出によってテキストの点数を推定するプログラム、装置及び方法 |
JP2018045062A (ja) | 2016-09-14 | 2018-03-22 | Kddi株式会社 | 学習者の口述音声から自動的に採点するプログラム、装置及び方法 |
JP2019191815A (ja) | 2018-04-23 | 2019-10-31 | 国立大学法人東京農工大学 | プログラム、情報記憶媒体及びクラスタリング装置 |
WO2019225229A1 (ja) | 2018-05-25 | 2019-11-28 | 日本電気株式会社 | 採点装置、採点方法、記録媒体 |
JP2020113129A (ja) | 2019-01-15 | 2020-07-27 | 株式会社日立製作所 | 文書評価装置、文書評価方法及びプログラム |
JP2021009708A (ja) | 2019-02-15 | 2021-01-28 | 日本電気株式会社 | 採点支援装置、採点支援システム、採点支援方法および採点支援プログラム |
JP2020166770A (ja) | 2019-03-29 | 2020-10-08 | 日本電気株式会社 | 文字認識装置、文字認識方法およびプログラム |
JP2020204703A (ja) | 2019-06-17 | 2020-12-24 | 国立大学法人 筑波大学 | 能力測定装置、プログラム、及び方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2023086037A (ja) | 2023-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Choi | Efficacy of an ICALL tutoring system and process-oriented corrective feedback | |
Heift et al. | Computer-assisted corrective feedback and language learning | |
Erdosy | Exploring variability in judging writing ability in a second language: A study of four experienced raters of ESL compositions | |
Wang | Effects of an Automated Writing Evaluation Program: Student Experiences and Perceptions. | |
Patil et al. | Evaluating student descriptive answers using natural language processing | |
Fatimah et al. | Using peer feedback technique to improve students’ writing skills: a quasi-experimental study among secondary students | |
US20150364049A1 (en) | Method and system for computer-assisted collaboration, self-correction and peer assessment in education | |
Liu | A cross-cultural study of sex differences in statistical reasoning for college students in Taiwan and the United States | |
Sor et al. | Reading performance of Grade 11 students: Basis on the development of reading enhancement and assessment plan (REAP) | |
JP7387101B2 (ja) | 文章解答問題自動採点システム及びその方法 | |
Rauf et al. | Effect of peer assessment on English writing mechanics and writing apprehension of undergraduate students | |
Hierck et al. | Grading for impact: Raising student achievement through a target-based assessment and learning system | |
Hieb et al. | Turning the tables on partial credit: Computer aided exam with student reflection for partial credit (CAESR4PC) | |
Küçük | Assessing academic writing skills in Turkish as a foreign language | |
Nugroho | Improving the writing skill of the students using peer-editing | |
CN110930033A (zh) | 一种呈现大学生英语阅读认知诊断报告的方法 | |
Lalinská et al. | Improving the quality of tools for experimental verification of reading comprehension intervention program efficiency | |
Laili | The Effectiveness of Roundtable Technique in Teaching Writing at the Eighth Grade Students of MTs Ma'arif Klego | |
Uzer et al. | Improving the Students' Speaking Competence through Jigsaw-Type Cooperative Learning Method by Using Multimedia Devices in Sjakhyakirti Senior High School Palembang | |
Mandela et al. | THE RELATION OF THE ABILITY OF IMPERATIVE SENTENCES AND THE WRITING SKILL OF JUNIOR HIGH SCHOOL STUDENTS | |
Dodigovic | Intelligent sentence writing tutor: A system development cycle | |
Hasan | Spellchecker as an Important Technology: Word Processor to Help Iraqi Undergraduate Students in their Writing Misspelling | |
Crosby | Using Ipsative assessment to improve feedback quality and the student assessment experience in university computer science | |
Jusa | Effects of Focused Direct and Metalinguistic Corrective Feedback on L2 Learners’ Writing | |
Puspasari | Designing a rubric to assess vocational high school students’ writing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230312 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230718 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231010 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231031 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7387101 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |