JP6815229B2

JP6815229B2 - 答案採点システム及び答案採点方法

Info

Publication number: JP6815229B2
Application number: JP2017036982A
Authority: JP
Inventors: 厚吉川; 俊夫山梨; 健成松本
Original assignee: Edulab
Current assignee: Edulab
Priority date: 2017-02-28
Filing date: 2017-02-28
Publication date: 2021-01-20
Anticipated expiration: 2037-02-28
Also published as: JP2018142248A

Description

本発明は、記述式問題に対して作成された多数の答案を複数の採点者で採点するためのシステム及びその方法に関し、特に、客観性を担保しつつ迅速に採点を行おうとする答案採点システム及び答案採点方法に関する。

記述式問題では、問題の問いに対する一定量の自由な記述による答案の作成（解答）を答案作成者（受験者）に求めることになる。採点者においては、答案の記述を解釈し、その正誤だけでなくどの程度正解に近づいているかなどを多段階的に評価し得る。その一方で多段階評価の客観性を確保することが必要となる。ここで問題の作成の仕方次第では、答案の記述のバリエーションを一定範囲に限定することもでき得て多段階評価の客観性を高め得る。しかしながら、あらかじめ答案の記述のバリエーションを提示しておいてこの中から答案作成者（受験者）に選択をさせる選択式問題との差異が失われてしまう。そこで、記述式問題を採用する以上、答案の記述のバリエーションの多様さを一定程度、許容することになる。また、一国内の同一学年の受験者を対象とするような大規模且つ受験者のバックグランドを様々とするような試験では、問題の作成者の意図通りに答案の記述のバリエーションを一定範囲に限定できないことも良く知られている。更に、大規模な試験では、所定の期間内に大量の答案の採点の集計を終えることを求められるため、複数の採点者で採点をすることになり、採点者間の判断差における客観性の確保も必要となる。

例えば、特許文献１では、ネットワークを通じて接続された複数の端末入力装置から記述式問題に対して作成された多数の答案を複数の採点者で採点するシステムにおいて、１の採点者の採点結果を他の採点者の採点根拠を参照しながら再評価して修正でき、複数の採点者間の判断差における客観性を確保しようとする答案採点支援システムを開示している。採点結果が一致せず、採点結果の客観性に疑問がある場合には、他の採点者の採点根拠を参照しながら採点結果を再検討し、一度登録した採点結果を修正できるとしている。

ここで、同じ答案を２人の採点者が評価したときに、どちらの採点者の評価がより正しいかは明確でない。更に、大量の答案の採点を迅速に行おうとすると同じ答案を複数の採点者で評価することになり作業効率に欠ける。また、採点による影響の理解関係などから、質の高い採点者を多く確保することは非常に難しいとの現状もある。そこで、採点者の採点方法自体を変更しようとする提案がなされている。

例えば、特許文献２では、答案作成者側における答案の記述のバリエーションを制限するのではなく、採点者の判断を集約させるようにあらかじめ定めた択一的な質問に採点者が回答していく、いわば採点者側の「選択式問題」が用意される採点方法を提案している。かかる方法では、採点者側の採点のバリエーションを制限することにはなるが、質問毎に設定された得点を積み上げる従来の直列的な部分採点方式とは異なり、採点者の回答をパターン化して集計することで答案を分類分けし並列的に採点することができるのである。

特開２００６−２７７０８６号公報特開２０１２−２２１８５号公報

採点対象をマーク式以外の答案としこれを機械ではなく人（採点者）が採点するとき、その採点結果の正誤の検証も人が行わねばならず、これを効率よく処理することは簡単ではない。このとき、採点者の採点スキルが高ければ、個々の答案の採点結果の正誤の検証を殊更に慎重に行う必要はなくなり、全体の処理効率を大幅に高め得る。そこで、採点スキルの測定が求められる。

ここで、採点スキルは、大きく分けて、採点速度と採点精度との２つからなり、前者に関しては、例えば、模擬採点において１通の答案あたりの作業時間として簡単に測定できる。一方、後者については、採点結果の確定的な答案の採点結果の一致率で測定できるが、実際の採点対象の答案のバリエーションを考慮すると必ずしも測定は簡単ではない。

本発明はかかる状況に鑑みてなされたものであって、その目的とするところは、記述式問題に対して作成された多数の答案を複数の採点者で採点する場合であっても、採点スキルの測定を行って、これを反映させることにより、客観性を担保しつつ迅速に採点を行おうとする答案採点システムを提供することにある。

本発明による答案採点システムは、選択された答案情報をホストコンピュータからクライアントコンピュータに送信しこの答案情報に対応して採点者の入力した採点情報の返信を受けてこれを蓄積していく答案採点システムであって、前記採点情報は配点に基づいた点数測定による点数結果と、答案に関する肯定又は否定の二択質問文に対する質問回答と、を含み、前記二択質問文は少なくとも複数あって前記質問回答のパターンに対する前記点数結果を前記採点者のそれぞれについて集計する集計処理を行うことを特徴とする。

かかる発明によれば、採点者の採点処理の根拠を答案のパターン分類結果から推測でき、採点者の採点スキルを測ることが出来るのである。採点スキルの測定から採点誤りの確率を下げることができて、結果として、記述式問題に対して作成された多数の答案を複数の採点者で採点する場合であっても、客観性を担保しつつ迅速に採点を行うことができるようになるのである。

上記した発明において、前記集計処理は、前記採点者毎に前記パターンに対する前記点数結果の平均値を算出し、前記平均値の外れ値検定を行って前記採点者のスキル判定を行うことを特徴としてもよい。また、前記スキル判定の外れ値検定はχ^２検定からなることを特徴としてもよい。更に、前記スキル判定は所定数の前記答案情報に対する前記採点情報の返信を受けて行うことを特徴としてもよい。かかる発明によれば、採点者の採点スキルを簡便に測ることが出来るのである。

上記した発明において、前記質問回答は二択質問文に対する回答を保留する保留選択を含み、前記保留選択の数を前記所定数に算入させないことを特徴としてもよい。かかる発明によれば、選択入力としたことで曖昧判断でも回答を可能としたことの補正をできて、採点スキルをより正確に測ることが出来るのである。

また、本発明による答案採点方法は、選択された答案情報をホストコンピュータからクライアントコンピュータに送信しこの答案情報に対応して採点者の入力した採点情報の返信を受けてこれを蓄積していく答案採点方法であって、前記採点情報は配点に基づいた点数測定による点数結果と、答案に関する肯定又は否定の二択質問文に対する質問回答と、を含み、前記二択質問文は少なくとも複数あって前記質問回答のパターンに対する前記点数結果を前記採点者のそれぞれについて集計する集計処理を行うことを特徴とする。

本発明における実施例としての答案採点システムのブロック図である。答案採点システムの要部のブロック図である。答案採点方法を示すフロー図である。採点情報の表示例の図である。

まず、本発明による答案採点システムについて図１を用いて説明する。

［システム構成］
図１に示すように、答案採点システム１は、問題作成者等を含む管理者によって使用されるホストコンピュータ１０と、これにインターネット回線やＬＡＮ等の通信回線２０を介して接続される複数のクライアントコンピュータ２１とを含む。クライアントコンピュータ２１は、モニタ、キーボード及びマウス等の入出力装置を備える。

ホストコンピュータ１０は、ハードディスク装置等の大容量の記憶装置１１、制御部としてのＣＰＵ１２、ＲＯＭ１３やＲＡＭ１４及び図示しない通信インターフェースを備える。また、ホストコンピュータ１０は、ユーザインターフェースとしてモニタ１０ａ、キーボード１０ｂ及び答案の画像データの入力を可能とする図示しないスキャナなどの入出力装置に接続される。

記憶装置１１は、プログラム等記憶領域３０及び各種データを記憶するデータベース（ＤＢ）領域４０を有している。

プログラム等記憶領域３０には、ＣＰＵ１２によって実行されるプログラムとしてのデータ収容手段３１と、答案情報送信手段３２と、採点情報受信手段３３と、採点情報集計手段３４とが記憶されている。

図２を併せて参照すると、データベース領域４０には、少なくとも答案情報記憶領域４１、採点基準情報記憶領域４２、採点情報記憶領域４３が設けられている。採点基準情報記憶領域４２には、測定基準４２ａ及び二択質問文４２ｂが記憶される。また、採点情報記憶領域４３には、点数結果４３ａ及び質問回答４３ｂが記憶される。

このようなシステム構成により、予め複数の受験者に問題文を受験させて答案を収集しておいた上で、答案採点システム１においては、データ収容手段３１によって答案を答案情報として答案情報記憶領域４１に記憶させ、これを答案情報送信手段３２によって複数の採点者の使用するクライアントコンピュータ２１に送信させ、採点情報受信手段３３によって答案情報に対する採点者の採点結果である採点情報の返信を受けて採点情報記憶領域４３に記憶させ蓄積することができる。これらの動作の詳細については後述する。

［問題文の作成］
答案採点システム１の使用に先立ち、管理者は、受験者に試験問題として与える問題文を作成しておく。ここで対象とする問題文は、受験者に記述によって答案を作成させるいわゆる記述式問題テストの問題文であり、かかる問題文に対して受験者の作成した答案がどの程度正解に近づいているかなどを多段階的に評価するための問題文である。また、問題文に対する答案の記述のバリエーションの多様さを一定程度、許容するものである。実際の試験問題に択一式問題テストなどの他の問題文を含んでもよいが、ここでは答案の多段階評価を行うための記述式問題テストの問題文について述べる。かかる問題文は、必要に応じてホストコンピュータ１０のキーボードやスキャナなどの入力装置から入力され、記憶装置１１に記憶されてもよい。

［採点基準情報の作成］
管理者は、次いで採点基準情報を作成し、データ収容手段３１によって採点基準情報記憶領域４２に記憶させておく。採点基準情報には、問題文に対する答案の点数測定を一定の判断基準で行うための測定基準４２ａと、答案の記載に関する肯定又は否定の二択質問文４２ｂとを含む。

測定基準４２ａは、部分点を付与されるべき答案の記載内容の条件や加点や減点となる部分点などの配点を含み、特定の内容が答案に記述されているか否かを実質的に判断するためのいわゆる採点基準であり、従来と同様である。

二択質問文４２ｂは、答案に関しての肯定又は否定の二者択一の回答を採点者に選択させる質問文であり、その選択の判断を容易とするような内容であることが好ましい。即ち、二択質問文４２ｂは、特定の内容が答案に記述されているかを実質的に判断するものではなく、答案の記載を形式的に判断できるものとすることが好ましい。これにより、各採点者の主観差を排した回答を得やすくなる。また、二択質問文４２ｂは、１つの問題文に対する答案について複数作成され、二択質問文４２ｂに対する回答（質問回答）の肯定又は否定の組み合わせ（パターン）によって少なくとも答案を複数の類型に分類できるものである。

次に、答案採点システム１の使用方法を図３に沿って図１、図２及び図４を参照しつつ説明する。

図３に図１及び図２を併せて参照すると、データ収容手段３１は、ホストコンピュータ１０の記憶装置１１に答案情報を記憶させる（Ｓ１）。詳細には、管理者は複数の受験者に作成した問題文を与え、これに対する答案を予め得ておく。答案の記載された答案用紙群は、ホストコンピュータ１０の図示しないスキャナ等の入力装置などによって答案情報（画像データ）として読込まれる。読込まれた答案情報はデータ収容手段３１によって各受験者の識別符号を付されて答案情報記憶領域４１に記憶される。なお、受験者の作成した答案は複数の問題文に対するひとまとまりのものであるが、答案情報として問題文毎に分けて、各問題文の符号を付されて記憶されることが好ましい。また、実際には、複数の問題文に対する処理を同時並行して行うが、以下では１つの問題文に対する処理について説明する。

次いで、答案情報送信手段３２は、答案情報記憶領域４１から答案情報を選択し、採点基準情報記憶領域４２の採点基準情報とともに各クライアントコンピュータ２１へ送信する（Ｓ２）。各クライアントコンピュータ２１にはこれを使用する複数の採点者がそれぞれ対応しており、各採点者の処理すべき答案を複数ずつ振り分けるように選択し、最終的に全ての答案情報についての採点処理を行わせるのである。この複数の答案情報はまとめて送信されてもよいし、採点処理毎に１つずつ送信されてもよい。ここで、１つの答案情報を同時に複数の採点者に振り分けないようにする。また、問題文毎に対応する答案情報を採点処理するのにふさわしいと考えられる採点者を予め定めておくことが好ましい。このような答案情報の振り分けのため、予め採点の経験や経歴に基づく教科や分野ごとに階級分けされた採点処理についての資格などを各採点者に与え、これをホストコンピュータ１０に記憶させておいてもよい。

クライアントコンピュータ２１では答案情報を採点基準情報とともに受信する（Ｓ２’）。答案情報とともに送信される採点基準情報は、上記したように測定基準４２ａ及び二択質問文４２ｂを含み、採点者による採点作業に用いられる。１つの問題文に対する答案情報を複数回に分けて受信する場合に、採点基準情報は初回に受信した以降において不要となるので、ホストコンピュータ１０からの送信を省略できる。また、採点基準情報を予め各採点者に配布しておき、答案情報の送信に伴うホストコンピュータ１０からの採点基準情報の送信そのものを省略してもよい。

図４を併せて参照すると、採点者は、クライアントコンピュータ２１において採点基準情報に従い答案情報について採点処理し、答案情報に対応した採点情報５０を作成し、入力する。採点情報５０には点数結果４３ａ及び質問回答４３ｂを含む。

まず、採点者は測定基準４２ａに従って点数結果４３ａを作成する。点数結果４３ａは、答案を多段階で評価する点数であり一般的な採点によって得られ、例えば、測定基準４２ａに示される部分点などの配点に基づき、これを加算したり減算したりして作成される。点数結果４３ａを作成する作業をここでは点数測定と称する。

次に、採点者は、二択質問文４２ｂに従って質問回答４３ｂを作成する。二択質問文４２ｂは、上記したように肯定又は否定を選択する判断を容易とするような内容であり、採点処理作業に大きな負担を与えるものではない。採点者は、質問回答４３ｂとして、複数の二択質問文４２ｂのそれぞれに対する回答を肯定「Ｙ」又は否定「Ｎ」のチェックボックス５１から選択してチェックを入力して回答する。なお、チェックボックス５１のうち、「Ｐ」については回答を保留するためのチェック欄である。これについては後述する。このような作業によって、各二択質問文４２ｂに対する肯定又は否定の回答の組み合わせを質問回答４３ｂとして作成する。

採点者は採点結果である点数結果４３ａ及び質問回答４３ｂを採点情報５０としてクライアントコンピュータ２１からホストコンピュータ１０に向けて返信させる（Ｓ３’）。このとき、採点情報５０には、採点の対象となった答案の識別符号と、採点者を識別する識別符号とが付される。

ホストコンピュータ１０では、採点情報受信手段３３によって受信した採点情報５０を答案の識別符号及び採点者の識別符号とともに採点情報記憶領域４３に記憶させる（Ｓ３）。ホストコンピュータ１０では、受信した採点情報５０を蓄積し、必要に応じて次の処理に進む。

そして、ホストコンピュータ１０では、採点情報集計手段３４によって採点情報５０の集計を行う（Ｓ４）。この集計処理では、採点者の採点精度を含む採点スキルを測ることを目的としている。そこで、採点情報５０においては、点数結果４３ａとともに質問回答４３ｂを含むようにしてある。質問回答４３ｂは、上記したように、答案の記載についての二択質問文４２ｂに対する肯定又は否定の回答の組み合わせであり、少なくともかかる組み合わせ（パターン）で答案を複数の類型に分類できるものである。答案の類型を質問回答４３ｂのパターンで分類すると、同じパターンに分類された答案は少なくとも形式的に一定の記載内容を含み、点数結果４３ａを得る採点処理の根拠が同様となり得る。つまり、答案の分類された類型によって採点処理の根拠を推測し得る。

ここで、答案の類型に対応する採点の根拠によってその答案に本来与えられるべき点数が存在し、採点誤りがなければ点数結果４３ａはこの点数又はこの点数に近い点数になるはずである。よって、採点誤りがなければ、同一の類型となる答案（質問回答４３ｂのパターンを同一とする答案）についての点数結果４３ａはある一定の範囲に集中することになる。このような質問回答４３ｂのパターンと点数結果４３ａとの組み合わせを統計的に処理して、採点者の採点スキルを測るのである。例えば、同一の類型の答案において点数結果４３ａの異常値があれば、その異常値となった点数結果４３ａを採点処理により作成した採点者の採点誤りと推測できる。つまり、その採点者の採点スキルが不足していると推測することができる。

このような採点者の採点スキルの測定として、例えば、採点者毎に質問回答４３ｂの各パターンに対する点数結果４３ａの平均値を算出し、１つの問題文に対する答案情報の採点処理を行った採点者全員について、答案の類型毎に、かかる平均値の外れ値検定を行うことができる。つまり、点数結果４３ａの平均値を用いることで、同じ類型の答案についての他の採点者と採点傾向のずれている採点者を見つけるのである。かかる外れ値検定にはχ^２検定を用い得る。このような外れ値検定によって、各採点者のスキル判定を簡便に行うことができる。このスキル判定においては、採点誤りがなければ答案の類型によって点数結果４３ａが特定の値になるはずであることを利用している。つまり、複数の採点者によって同一の答案情報についての採点処理を重複して行うようなことをせずとも、質問回答４３ｂ（又は点数結果４３ａ）によって同一の類型と推定される答案について、点数結果４３ａ（又は質問回答４３ｂ）を比較できるのである。

その他に、例えば、各採点者の質問回答４３ｂのパターンの分布を得て、かかる分布を採点者全員による類型分布と比較してもよい。つまり、特定の採点者の作成した質問回答４３ｂのパターンによる答案の類型分布（類型の度数分布）が採点者全員の類型分布とずれているかどうかを調べるのである。これにおいてもχ^２検定を行い得る。このスキル判定においては、答案の類型の分布を全体の類型の分布と同様とするように各採点者に答案情報が割り振られていることを前提としているが、点数結果４３ａを用いる必要はない。この場合、答案を作成した受験者の母集団から、例えば地域性の差や学力差を生じさせないように、無作為にある程度以上の数の答案情報を各採点者に割り振って採点情報５０を集計することが好ましい。

また、これらのスキル判定は、採点スキルの低い採点者を採点処理から外し、採点スキルの高い採点者のみで残りの答案を採点処理して採点の客観性を担保しつつ迅速に採点処理を行うために用い得る。この場合、スキル判定の結果、採点スキルが低いと判定された採点者により採点処理された答案については、再度、他の採点者に振り分けて採点の客観性を向上させてもよい。さらに、採点スキルの高い採点者のみに採点処理をさせてこれ以上のスキル判定を不要とするときには、質問回答４３ｂも不要であり、採点者の作業から二択質問文４２ｂに対する回答を省略できて、迅速に採点処理を行うことができる。

このような、採点スキルの測定を反映した採点処理を行うためには採点処理した答案情報の少ない段階で採点者の採点スキルを測定すると迅速な採点処理に資することになり好ましい。他方、統計的な信頼度を確保するためには、多くの答案情報に対する採点情報５０を得てから行うことが好ましい。これらの観点から、採点スキルの測定を行うための集計に用いる採点情報５０の数を、適宜、定めておくとよい。つまり、ホストコンピュータ１０は、所定数の答案情報に対する採点情報５０の返信を受けてから採点スキルを測定するのである。

なお、複数の二択質問文４２ｂは、受験者の作成した答案の本来得るべき点数結果４３ａを互いに異とする類型を得られるように管理者によって作成されることが好ましい。例えば、二択質問文４２ｂは、点数結果４３ａを得るために採点者の判断についての根拠の一部となり得る記載についての質問文を含め得る。また、二択質問文４２ｂには、答案を作成した受験者の問題文に対する理解傾向を分類できるようなものを含めてもよい。また、上記した特許文献２などに詳述されているように、問題文から予想される複数の答案の類型のうち最も近い類型に分類されるように二択質問文４２ｂを作成してもよい。

以上のように答案採点システム１によれば、質問回答４３ｂのパターンから答案の類型を得られ、これを利用して採点者の採点処理の根拠を推測でき、採点者の採点スキルを測ることができる。これにより、採点処理全体における採点誤りの確率を下げることができる。また、点数結果４３ａを得る一般的な点数測定（採点）の処理作業に対して、二択質問文４２ｂに対する回答を追加作業とするだけで質問回答４３ｂを得られ、しかもかかる追加作業を採点者のスキル判定まで行うだけでよく、採点処理を迅速に行うことができる。つまり、記述式問題に対して作成された多数の答案を複数の採点者で採点する場合であっても、客観性を担保しつつ迅速に採点を行うことができる。

なお、上記したように質問回答４３ｂの作成において、チェックボックス５１には回答を保留するための「Ｐ」のチェック欄が設けられている。採点者は、二択質問文４２ｂに対する回答を肯定の「Ｙ」又は否定の「Ｎ」の二者択一で回答するが、二者択一の判断に迷う場合に保留の「Ｐ」を選択することができる。例えば、予想し得ない類型の答案についての二択質問文４２ｂに対する回答では、二者択一の選択の判断が難しくなることがある。このような場合であっても採点者は保留を選択することで、判断を曖昧としたまま質問回答４３ｂを作成できる。

ホストコンピュータ１０は、受信した採点情報５０の質問回答４３ｂに保留「Ｐ」が含まれていた場合、この採点情報５０を上記した所定数に算入しないようにしてもよい。判断の曖昧な質問回答４３ｂを除外することで質問回答４３ｂの集計を補正できて、より正確に採点スキルを測ることができる。

他方、質問回答４３ｂのパターンとして、保留を含むパターンも答案を分類する類型として加え、スキル判定を行うこともできる。保留も含めて答案の類型を表すパターンとし得るからである。このような保留を含むパターンにおいても、上記と同様にその答案の類型に対応する本来与えられるべき点数が存在し得て、採点誤りがなければ点数結果４３ａはこの点数に近いものになるはずである。また、答案の類型の分布を全体の類型の分布と同様とするように各採点者に答案情報が割り振られている場合、上記と同様に各採点者の質問回答４３ｂの保留を含めたパターンの分布を得て、かかる分布を採点者全員による類型分布と比較して、採点者のスキル判定を行うこともできる。

なお、答案採点システム１の使用において、答案情報の数や採点者の数は自由であるが、統計的な処理による採点者のスキル判定を行う観点から、答案情報の数、すなわち受験者の数は多いことが好ましい。例えば、受験者の数は、場合によっては数十万人程度の大規模なものを想定しており、一つの問題文に対する答案を採点処理する採点者は数百人となることも想定される。特にこのような大規模な採点処理を行う場合に、答案採点システム１によれば採点者の採点スキルを簡便に測ることができ、客観性を担保しつつ迅速に採点を行うことができて好適である。

ここまで本発明による代表的実施例を説明したが、本発明は必ずしもこれらに限定されるものではなく、当業者であれば、添付した特許請求の範囲を逸脱することなく、種々の代替実施例及び改変例を見出すことができる。

１答案採点システム
４０データベース領域
４１答案情報記憶領域
４２採点基準情報記憶領域
４２ｂ二択質問文
４３採点情報記憶領域
４３ａ点数結果
４３ｂ質問回答

Claims

選択された答案情報をホストコンピュータからクライアントコンピュータに送信しこの答案情報に対応して採点者の入力した採点情報の返信を受けてこれを蓄積していく答案採点システムであって、
前記採点情報は
配点に基づいた点数測定による点数結果と、
答案に関する肯定又は否定の二択質問文に対する質問回答と、を含み、
前記二択質問文は少なくとも複数あって前記質問回答のパターンに対する前記点数結果を前記採点者のそれぞれについて集計する集計処理を行って、前記採点者毎に前記パターンに対する前記点数結果の平均値を算出し、前記平均値の外れ値検定を行って前記採点者のスキル判定を行うことを特徴とする答案採点システム。
前記スキル判定の外れ値検定はχ^２検定からなることを特徴とする請求項１記載の答案採点システム。
前記スキル判定は所定数の前記答案情報に対する前記採点情報の返信を受けて行うことを特徴とする請求項１又は２に記載の答案採点システム。
前記質問回答は二択質問文に対する回答を保留する保留選択を含み、前記保留選択の数を前記所定数に算入させないことを特徴とする請求項３記載の答案採点システム。
選択された答案情報をホストコンピュータからクライアントコンピュータに送信しこの答案情報に対応して採点者の入力した採点情報の返信を受けてこれを蓄積していく答案採点方法であって、
前記採点情報は
配点に基づいた点数測定による点数結果と、
答案に関する肯定又は否定の二択質問文に対する質問回答と、を含み、
前記二択質問文は少なくとも複数あって前記質問回答のパターンに対する前記点数結果を前記採点者のそれぞれについて集計する集計処理を行って、前記採点者毎に前記パターンに対する前記点数結果の平均値を算出し、前記平均値の外れ値検定を行って前記採点者のスキル判定を行うことを特徴とする答案採点方法。
前記スキル判定の外れ値検定はχ^２検定からなることを特徴とする請求項５記載の答案採点方法。
前記スキル判定は所定数の前記答案情報に対する前記採点情報の返信を受けて行うことを特徴とする請求項５又は６に記載の答案採点方法。
前記質問回答は二択質問文に対する回答を保留する保留選択を含み、前記保留選択の数を前記所定数に算入させないことを特徴とする請求項７記載の答案採点方法。