JP6823330B1 - 試験結果分析システムおよび方法 - Google Patents

Abstract

【課題】合否が発表される前にも試験結果を分析することを可能にする技術を提供する。【解決手段】試験結果分析システムは、複数の問題を含む試験を受けた複数の受験者が該試験で提出した各問題の解答を示す解答データを収集する解答データ収集部と、前記複数の受験者の解答データに基づいて、前記複数の受験者のそれぞれの合否を推定する合否推定部と、合格と推定された推定合格者の解答データに基づき、不合格と推定された推定不合格者の前記問題への解答を分析する解答分析部と、を有する。【選択図】図１

Description

本開示は、試験の合否が発表される前に受験者の試験結果を分析する技術に関する。

資格試験等では、試験を受けた受験には合格発表が行われる前に自身の得点や合格の可能性、そして合格できないなら何が足りないのかを知りたいという要求は高い。しかし、通常、本試験の正解や合格ラインは公表されない。そこで、試験に向けった学習の講座やコンテンツを提供する教育機関では、本試験の直後に独自の模範解答や予想される合格ラインを速報的にウェブサイトで公開されている。受験生は、そのウェブサイトを閲覧することにより、自身の得点や合格の可能性を予測することができる。

特許文献１には、試験における順位や合格の可能性を予測するシステムが開示されている。特許文献１のシステムは、データベースに模擬試験の種々な問題を記憶させておき、ユーザからの問題選択の要求に応じてサーバが、データベースから該当する問題を抽出し、対応するユーザ端末のディスプレイに表示させ、ユーザが模擬試験を実施できるようにするものである。また、ユーザは、システムから模擬試験における擬似順位や合否の予測の情報を得ることができる。

特開２００２−７２８５７号公報

特許文献１のシステムは、模擬試験の結果から本試験での合格の可能性を予測するものである。模擬試験は、教育機関自身が準備した試験問題と解答により、模擬試験を実施した時点の学習者の学力のレベルを測定するものであり、実際の本試験での解答に基づいて本試験の結果を分析するものではない。したがって、受験者は模擬試験を受けた後、本試験までの学習の参考になる情報を得ることはできるが、本試験の結果に関する情報を速報的に得たいという要求を満たすものではない。

本開示のひとつの目的は、合否が発表される前にも試験結果を分析することを可能にする技術を提供することである。

本開示のひとつの態様に従う試験結果分析システムは、複数の問題を含む試験を受けた複数の受験者が該試験で提出した各問題の解答を示す解答データを収集する解答データ収集部と、前記複数の受験者の解答データに基づいて、前記複数の受験者のそれぞれの合否を推定する合否推定部と、合格と推定された推定合格者の解答データに基づき、不合格と推定された推定不合格者の前記問題への解答を分析する解答分析部と、を有する。

本開示のひとつの態様によれば、複数の受験者を推定合格者と推定不合格者に分け、推定合格者の解答データに基づいて、推定不合格者の各問題への解答を分析するので、合否が発表される前にも試験の結果を分析することが可能になる。

本実施形態による試験結果分析システムを示すブロック図である。 本実施形態による計算機システムを示すブロック図である。 試験結果分析システムが実行する試験結果分析処理を示すフローチャートである。 問題分類処理を示すフローチャートである。 問題タイプの例を示す一覧表である。 正誤問題の一例を示す図である。 択一式問題の一例を示す図である。 組合せ問題の一例を示す図である。 選択式問題の一例を示す図である。 計算問題の一例を示す図である。 個数問題の一例を示す図である。 記述式問題の一例を示す図である。 問題レベルの例を示す一覧表である。 問題情報の一例を示す図である。 前提知識判別処理の一例を示すフローチャートである。 分野情報の一例を示す図である。 解答形式特定処理の一例を示すフローチャートである。 問題レベル評価処理の一例を示すフローチャートである。 解答形式別評価処理のフローチャートである。 問題レベル判定情報の一例を示す図である。 択一式問題総合評価処理の判定論理情報の一例を示す図である。 択一式問題総合評価処理の一例を示すフローチャートである。 解答分析処理の一例を示すフローチャートである。 判定基準情報の一例を示す図である。 科目別判定結果の一例を示す図である。 問題別分析の分析結果を示すテーブルである。 問題別分析の分析結果を示す他のテーブルである。 問題別分析の分析結果を示す更に他のテーブルである。 問題別分析の分析結果を示す更に他のテーブルである。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本実施形態による試験結果分析システムを示すブロック図である。試験結果分析システム１０は、合否のある試験において、合否が発表される前に受験者の試験結果を分析することを可能にするシステムである。

ここでいう試験は例えば定期的に実施される試験である。年１回等のように定期的に実施される試験の例として、国家試験等の資格試験、各種の学校の入学試験などがある。他にも年１回〜年数回といったように定期的に実施される試験は多い。多くの場合、不合格となった受験者は学習を継続して次回の試験を再び受験する。そのため、特に不合格となった受験者にとって試験の結果を分析することは次回の試験に向けた学習のために有益である。

試験には複数の問題が含まれている。受験者は問題に正解することにより得た得点の合計値が合格ラインを越えたら合格となり、合計値が合格ラインを下回ったら不合格となる。例えば、宅地建物取引士資格試験は、５０問の問題を２時間で解答する試験形式である。

試験に含まれる問題には、試験に合格するためにその問題は正解する必要がある問題と、正解できなくても合否に影響は少ない問題があることが経験的に知られている。他の受験者が正解するレベルの問題を確実に正解することができれば試験に合格できると言われ、そのレベルの問題を確実に正解する力を身に着けるのが合格への近道と言われる。

図１を参照すると、試験結果分析システム１０は、合格ライン取得部１１、解答データ収集部１２、合否推定部１３、問題分類部１４、および解答分析部１５を有している。

合格ライン取得部１１は、試験に合格するための正解すべき最小の問題数（正答数）を合格ラインとして取得する。試験に含まれる問題数が５０問の試験で３５問以上正解すれば合格であれば、合格ラインは３５である。例えば、合格ライン取得部１１は、例年の合格率に基づく所定の合格率（例えば平均値）を与えられ、解答データが得られた受験者の人数とその合格率とに基づいて合格ラインを決定してもよい。１００人の受験者から解答データが得られ、合格率が２０％であるとすると、合格ライン取得部１１は、上位２０人が合格となるように合格ラインを定めればよい。

解答データ収集部１２は、複数の受験者の解答データを収集する。解答データは、受験者が試験で提出した各問題の解答を示すデータである。例えば、解答データ収集部１２は、受験者が解答を入力するフォームを含むウェブページを、受験者がパーソナルコンピュータ、タブレット端末、スマートフォンなどの情報処理端末（不図示）によりアクセス可能に提供し、そのウェブページから入力された解答のデータを取得する。なお、必ずしも試験を受けた全ての受験者から解答データを得る必要はない。ただし、できるだけ多くの受験者から解答データを得た方が良好な分析結果が得られる可能性が高まる。

合否推定部１３は、収集された複数の受験者の解答データに基づいて、複数の受験者のそれぞれの合否を推定する。受験者の正解数を合格ラインと比較することにより、合格と推定するか不合格と推定するかを決めることができる。ここで、合格と推定された受験者を推定合格者と称し、不合格と推定された受験者を推定不合格者と称することにする。

問題分類部１４は、推定合格者の解答データにおける正答率に基づいて、試験に含まれる問題を複数の問題レベルに分類する。問題分類部１４は、推定合格者の解答データにおける各問題の正答率を算出し、その正答率を閾値と比較することにより各問題がどの問題レベルに該当するかを決形する。問題レベルの詳細については後述する。

問題分類部１４は、更に、試験に含まれる問題を、その解答形式に基づいて複数の問題タイプに分類する。問題分類部１４は、問題データに含まれる各問題の問題文に基づいて各問題の解答形式を特定し、解答形式により各問題の問題タイプを決定する。解答形式の種類および各問題の解答形式を特定する方法については後述する。

解答分析部１５は、推定合格者の解答データに基づき、推定不合格者の各問題への解答を分析する。本態様によれば、複数の受験者を推定合格者と推定不合格者に分け、推定合格者の解答データに基づいて、推定不合格者の各問題への解答を分析するので、合否が発表される前に試験の結果を分析することができる。

例えば、試験が複数科目の問題を含むものであれば、解答分析部１５は、各科目について、推定合格者の解答データに基づく推定不合格者の偏差値を算出する。推定合格者の得点の平均点が偏差値５０となる。

また、解答分析部１５は、推定合格者の解答データにおいて各問題について、推定合格者の全体に対する当該問題を正解した推定合格者の割合である推定合格者正答率を算出し、その問題の推定合格者正答率に基づき、分析対象である推定不合格者のその問題への解答を分析する。

本態様によれば、推定合格者の正答率に基づいて推定不合格者の各問題への解答を分析するので、合否が発表される前に、推定合格者がどの程度の割合で正解するかを考慮した分析が可能となる。なお、受験者の合否の推定では、必ずしも正確に合否を推定する必要はない。合否を正確に判定できなくても上位者の正答率は、本試験の合格者の正答率と同様の傾向を示すので、合格者の傾向を考慮した分析により有益な情報を提供することができる。

例えば、解答分析部１５は、問題分類部１４により分類された各問題の問題レベルおよび推定合格者正答率に基づき、推定不合格者のその問題への解答を分析する。ここでいう分析には、問題レベル別の推定不合格者の正答数および／または正答率を算出することが含まれる。多くの推定合格者が正解している問題は、合格するには間違えることのできない問題である可能性が高い。例えば、推定合格者の正答率が８０％以上であれば、合格するには正解すべき問題である可能性が高い。そのような問題を、分析対象の推定不合格者が正解していない場合、その推定不合格者の学力が不十分であるか、その問題がその推定不合格者の苦手問題であるかもしれない。解答分析部１５は、分析結果を当該推定不合格者に提示する。解答分析部１５は、例えば、分析結果に基づき、分析対象の推定不合格者について問題レベル毎の正答率を表形式あるいはグラフ形式でウェブページに表示する。

本態様によれば、試験に合格するために当該問題を正解することが求められる度合いと当該問題の推定合格者の正答率に基づいて推定不合格者の各問題への解答を分析するので、合否が発表される前に、試験に合格するために当該問題を正解することがどの程度求められるかと、推定合格者がどの程度の割合で正解しているかと、を考慮した効果的な分析が可能となる。

また、例えば、解答分析部１５は、更に、問題分類部１４により分類された各問題の問題タイプおよび推定合格者正答率に基づき、推定不合格者の問題への解答を分析する。ここでいう分析には、問題タイプ別の推定不合格者の正答数および／または正答率を算出することが含まれる。解答分析部１５は、分析結果を当該推定不合格者に提示する。解答分析部１５は、例えば、分析結果に基づき、分析対象の推定不合格者について問題タイプ毎の正答率を表形式あるいはグラフ形式でウェブページに表示する。

本態様によれば、当該問題に対する解答の形式と当該問題の推定合格者の正答率に基づいて推定不合格者の各問題への解答を分析するので、合否が発表される前に、当該問題に対する解答がどのような形式であるかと、当該問題に推定合格者がどの程度の割合で正解しているかと、を考慮した効果的な分析が可能となる。

また、対象の試験が、複数科目の問題を含むものである場合、解答分析部１５は、試験全体およびその中の各科目について、推定合格者の解答データに基づく推定不合格者の偏差値を算出してもよい。

本態様によれば、複数の科目を含み、それらの合計点で合否が決まる試験において、推定合格者の解答データに基づく推定不合格者の科目毎の偏差値を算出するので、推定不合格者の科目毎の出来不出来を客観的に分析することができる。

本実施形態の試験結果分析システム１０は１つまたは複数のコンピュータにより実現可能である。

図２は、本実施形態による計算機システムを示すブロック図である。計算機システム２０は、図１に示した試験結果分析システム１０を実現するコンピュータである。計算機システム２０は、ハードウェアとして、プロセッサ２１、メインメモリ２２、記憶装置２３、通信装置２４、入力装置２５、および表示装置２６を有し、それらがバス２７に接続されている。

記憶装置２３は、書き込みおよび読み出しが可能にデータを記憶する装置である。図１に示した合格率データ、解答データ、正解データ、問題データ、および分析結果は、記憶装置２３に格納される。

プロセッサ２１は、記憶装置２３に記憶されたデータをメインメモリ２２に読み出し、メインメモリ２２を利用してソフトウェアプログラムの処理を実行するプロセッサである。プロセッサ２１によって、図１に示した合格ライン取得部１１、解答データ収集部１２、合否推定部１３、問題分類部１４、および解答分析部１５が実現される。

通信装置２４は、通信ネットワーク等の不図示の通信回線を介して、情報処理端末など外部の装置とデータを送受信する装置である。例えば、解答データは、通信装置２４を介して入力され、記憶装置２３に格納される。

入力装置２５は、キーボードやマウスなど操作者の操作入力による情報を受け付ける装置であり、入力された情報はプロセッサ２１にてソフトウェア処理に利用される。操作者が所望の処理を指示する操作を入力装置２５に対して行うと、プロセッサ２１はその操作により指示された処理を実行する。

表示装置２６は、プロセッサ２１によるソフトウェア処理に伴って画像やテキストの情報をディスプレイ画面に表示する装置である。

図３は、試験結果分析システムが実行する試験結果分析処理を示すフローチャートである。

ステップ１０１にて、解答データ収集部１２が、複数の受験者から実際の試験で答案用紙に記入した各問題に対する解答のデータを取得する。解答データ収集部１２は、ウェブページにより自己採点サイトの入力画面を表示する。複数の受験者が自己採点サイトにアクセスし、実際の試験で解答用紙に記入した解答を入力すると、解答データ収集部１２は、入力された解答を解答データとして記録する。

ステップ１０２にて、合否推定部１３は、収集された複数の受験者の解答データに基づいて、複数の受験者のそれぞれの合否を予測する。例えば、合否推定部１３は、予め与えられた各問題の正解を示す正解データと、受験者から得た解答データとを比較し、当該受験者がどの問題を正解し、どの問題を不正解したかを判定し、正解した問題数を算出する。そして、合否推定部１３は、正解した問題数を、予め与えられた合格ラインと比較し、正解した問題数が合格ライン以上であれば当該受験者は合格と推定し、正解した問題数が合格ラインを下回っていれば当該受験者は不合格と推定する。

ステップ１０３にて、問題分類部１４は、試験に含まれる問題を分類する。ここで試験に含まれる問題を分類する処理を問題分類処理と称する。

図４は、問題分類処理を示すフローチャートである。問題分類処理は、試験の問題を問題タイプと問題レベルという２つの基準で分類する処理である。

図５は、問題タイプの例を示す一覧表である。

問題タイプとして、タイプ（１）が正誤問題であり、タイプ（２）が択一式問題の知識問題であり、

タイプ（３）が択一式問題の程度事例問題であり、タイプ（４）が組合せ問題であり、タイプ（５）が択一式問題の判例問題であり、タイプ（６）が選択式問題であり、タイプ（７）が択一式問題の硬度事例問題であり、タイプ（８）が計算問題であり、タイプ（９）が個数問題であり、タイプ（１０）が記述式問題である。

本実施形態にて対象とされる試験には、代表的な解答形式として、正誤問題、択一式問題、組合せ問題、選択式問題、計算問題、個数問題、記述式問題が含まれている。更に、択一式問題には、判例問題、事例問題、知識問題がある。更に、択一式問題の事例問題は、その選択肢に登場する主体の数により難易度が異なるので、難易度の異なる低度事例問題と高度事例問題とに分けている。

問題タイプ（解答形式）は、それ自体が試験に合格するための対策において意識する必要があるものであると同時に、解答形式により正解の導きやすさが変わるので問題レベルを定める要因となりうる。

問題の解答形式により問題の問題文の形式もある程度定まっている。したがって、問題分類部１４は、問題データにおける対象問題の問題文テキストを解析し、解答形式毎の所定の条件に該当するか否か判定することにより、対象問題がどの解答形式のものであるかを判別することができる。

以下、各解答形式の問題の例を示す。

図６は、正誤問題の一例を示す図である。

正誤問題は、ある事項が正しいあるいはそれに準ずるものであるか、誤っているあるいはそれに準ずるものであるかを答えさせる二者択一の問題である。図６には、一例として、与えられた文章が正しいあるいは適切なものであるか、その文章が誤っているあるいは不適切なものであるかを答えさせる正誤問題が示されている。正誤問題は、解答が二者択一であり、問題文に、「正しい」という語句あるいはそれに準ずる所定の語句、および／または、「誤っている」あるいはそれに準ずる所定の語句が含まれているという特徴がある。図６に示した正誤問題における「適切な」は「正しい」に準ずる語句の例である。また、「不適切な」は「誤っている」の準ずる語句の例である。

図７は、択一式問題の一例を示す図である。

択一式問題は、所定個の文章（肢文）を選択肢として有し、その選択肢の中から１つの正解であるもの（正解肢）を選択させる問題である。選択肢の個数（肢数）としては、試験によって、例えば、四肢、五肢、六肢などがある。図７には、一例として、５個の選択肢の文章（肢文）のうちいずれが正しいかを答えさせる択一式問題が示されている。正しいものが正解肢となる。他の例としては、複数の肢文の中から誤っている１つの肢文を答えさせる択一式問題もある。その場合には、誤っているものが正解肢となる。択一式問題は、問題文に複数の肢文を含み、その肢文自体が解答の選択肢となっているという特徴がある。

また法律に関連する試験などの択一式問題の選択肢には、知識問題選択肢、事例問題選択肢、および判例問題選択肢がある。事例問題選択肢は、具体的な事例について問う選択肢である。事例問題選択肢は、事例問題に登場する所定の主体を示す単語（事例主体用語）が問題文に含まれているという特徴がある。法律に関する試験に登場する典型的な事例主体用語として、甲、乙、丙、丁、Ａ社、Ｂ社、Ｃ社、Ｄ社などがある。判例問題選択肢は、特定の判例に関する理解について問う選択肢である。判例問題選択肢は、特定の判例に特有の語句あるいは語句の組合せが問題文に含まれているという特徴がある。知識問題選択肢は、特定の事項に関する知識を問う選択肢である。判例問題選択肢にも事例問題選択肢にも該当しない問題は知識問題選択肢と推定することができる。

図８は、組合せ問題の一例を示す図である。

組合せ問題は、複数個の肢文についての複数の組合せを選択肢として有し、その選択肢の中から、問題文で与えられた条件に該当する肢文の組合せを選択させる問題である。ここでいう組合せには、０個の場合および１個の場合も含まれる。図８には、一例として、ア、イ、ウという３つの事項について１、２、３、４という４つの組合せを選択肢とし、その選択肢の中から、誤っているものの組合せを選択させる組合せ問題が示されている。組合せ問題は、問題文に複数の肢文を有し選択肢の各々が０個以上の肢文の組合せとなっているという特徴がある。

図９は、選択式問題の一例を示す図である。

選択式問題は、問題文に複数の空欄があり問題文とは別にそれらの空欄に当てはまる語句を含む複数の語句が選択肢として与えられ、各空欄に当てはまる語句を選択肢の中から選択させる問題である。図９には、一例として、問題文にア、イ、ウ、エという４つの空欄があり、それら空欄に当てはまる語句を、１〜２０という２０個の選択肢から選択させる問題が示されている。選択式問題は、複数の空欄を含んだ問題文と空欄に当てはまる語句の候補を選択肢として羅列した部分とがあるという特徴がある。

図１０は、計算問題の一例を示す図である。

計算問題は、問題文の条件に従って数値計算を行い、正解を導く問題である。図１０には、一例として、１〜４という４つの金額が選択肢として与えられており、問題文にて要求された金額を計算し、計算結果の金額と一致する選択肢を選択させる問題が示されている。計算問題は、解答の選択肢の各々に数値が含まれ、問題文にも計算に用いる数値が含まれているという特徴がある。

図１１は、個数問題の一例を示す図である。

個数問題は、問題文に複数個の肢文を有し、複数個の肢文の個数を選択肢として有し、その選択肢の中から、問題文で与えられた条件に該当する肢文の個数を選択させる問題である。ここでいう個数には０個も含まれる。図１１には、一例として、問題文にア、イ、ウという３つの肢文を有し、１（１つ）、２（２つ）、３（３つ）、４（なし）という４つの選択肢を有し、３つの肢文のうち誤っているものがいくつあるかを、選択肢の中から選択させる個数問題が示されている。個数問題は、複数の選択肢の各々が０個から肢文の個数までの範囲に含まれる個数になっているという特徴がある。ここでいう記号は各肢文を識別するものであればなんでも良く、例えば、数字、アルファベット、片仮名、平仮名、漢字、図形などでよい。

図１２は、記述式問題の一例を示す図である。

記述式問題は、問題文に基づいて所定の事項について記述させる問題である。図１２には、一例として、問題文にて要求される事項について、所定文字数程度の文章で記述させる記述式問題が示されている。記述式問題は、文章で記述することを要求する所定の語句が含まれているという特徴がある。図１２に示した問題文における「記述しなさい」は、文章で記述することを要求する所定の語句の例である。他の例として、「記述せよ」「論述しなさい」「説明しなさい」などがある。

図１３は、問題レベルの例を示す一覧表である。問題レベルには、試験に合格するために対象問題を正解することが求められる度合いが高い方からレベルＡ、Ｂ、Ｃ、Ｄという４段階がある。レベルＤは、正解しなくても合格が可能と想定される問題である。レベルＣは、正解の確率が１／２近傍と想定される問題である。レベルＢは、合格するには正解すべきと想定される難問である。レベルＡは、合格するには正解すべきと想定される易問である。問題分類部１４は、対象問題がどのレベルに該当するか決定する。

このように、問題を、正解しなくても合格が可能と想定される問題、正解の確率が１／２近傍と想定される問題、合格するには正解すべきと想定される難問、合格するには正解すべきと想定される易問という４つの問題レベルにより、合格に向けた勉強において求められる対応が異なる。

資格試験などの試験において、超難問や奇問などと言われる、合格者を含めてほとんど全ての受験者が解けないような問題が出題されることがある。そのような問題を他の問題と同様に扱って勉強するのは合格に向けた勉強としては効果的でない場合がある。レベルＤは正解しなくても合格が可能な試験対策の勉強における優先度の低い問題である。それ以外のレベルＡ〜Ｃは合格するには正解すべき勉強の必要性の高い問題である。勉強の必要性の高い問題に関する勉強において、３段階に分けたレベルが受験者の学力に合わせた勉強や受験指導に有益な情報となる。

正解できなくても合格が可能で勉強の優先度の低いレベルＤを除いた３段階のレベル分けというのは、勉強を段階的に進める上で有効な段階数の一例である。レベルＡ〜Ｃの３段階のレベルは段階的に勉強を進める上で有益な情報となる。

図４に戻り、まずステップ２０１にて問題分類部１４が前提知識判別処理を実行する。前提知識判別処理は、対象問題を解くのに要する前提知識の分野を判別する処理である。この処理により、対象問題がどの分野を前提とした問題か、すなわち、どの分野の知識の有無を問う問題かが特定される。試験に複数の科目が含まれている場合、対象問題の分野を判別することにより、対象問題の科目を判別することもできる。前提知識判別処理の詳細は図１５を参照して後述する。

次にステップ２０２にて問題分類部１４が問題文長算出処理を実行する。問題文長算出処理は、対象問題の問題文長を判別する処理である。問題文長は問題文の長さである。問題文長を表す単位は特に限定されないが、例えば、文字数、単語数、行数などで表現されうる。文字数で表現する場合、問題分類部１４は、問題文に含まれる文字の個数をカウントすればよい。

図１４は、問題情報の一例を示す図である。問題情報３０には、問題の問題番号３１に対応付けて、該当分野３２、問題文長３３、解答形式（問題タイプ）３４、および問題レベル３５が登録される。本ステップ２０２では、問題情報３０に、対象問題の問題番号３１に対応付けて問題文長３３が登録される。

次にステップ２０３にて問題分類部１４が解答形式特定処理を実行する。解答形式特定処理は、対象問題の解答形式すなわち問題タイプを特定する処理である。解答形式特定処理の詳細は図１７を参照して後述する。この処理により対象問題の解答形式が特定される。

次にステップ２０４にて問題分類部１４が問題レベル評価処理を実行する。問題レベル評価処理は、対象問題の問題レベルを評価する処理である。例えば各問題の問題レベルを決定すればよい。問題レベルの表現は特に限定されず、例えば、数値によるスコア、ランク付けなどにより表現することができる。本実施形態では、問題レベルは、レベルＡ~Ｄというランク付けで表現されている。レベルＡからＤに向かうに従って難易度が上がるが、試験の合格に対する影響度は下がる。問題レベルは、対象問題の前提知識の分野、問題文長、解答形式に基づいて決定することができる。問題レベル評価処理の詳細は図１８を参照して後述する。

図１５は、前提知識判別処理の一例を示すフローチャートである。

問題分類部１４は、問題データから対象問題テキストを取得して解析することにより、対象問題に含まれている分野関連用語を抽出する。

分野関連用語とは、各分野の問題に登場する用語である。問題分類部１４は、各分野の分野関連用語を予め定めた分野情報を管理している。図１６は、分野情報の一例を示す図である。分野情報４０は、分野４１に対応付けて、用語数４２と、分野関連用語４３と、知識難易度４４とが登録されたテーブルである。用語数４２は、対応する分野に関連する用語の個数を示す。分野関連用語４３は、対応する分野に関連する用語を示す。知識難易度４４は、対応する分野の知識を習得の難易度を示す。ここでは一例として知識難易度が１０段階で示されているものとする。例えば、分野「１」には「ａｂｂ」、「ａｃｃ」、「ａｄｄ」、「ａｅｅ」という４個の分野関連用語４３が設定されている。分野「１」の知識難易度は「４」である。同様に、分野「２」には「ｂｃｃ」、「ｂｄｄ」、「ｂｅｅ」、「ｂｆｆ」、「ｂｇｇ」、「ｂｈｈ」、「ｂｉｉ」という７個の分野関連用語４３が設定されている。分野「２」の知識難易度は「７」である。

具体的には、問題分類部１４は、対象問題に登場する単語と分野情報４０にて各分野に対応づけられた分野関連用語とを照合し、対象問題に登場する各分野の分野関連用語を抽出する。

次に、問題分類部１４は、ステップ３０１の照合結果に基づいて、当該問題が各分野の問題である可能性がどの程度であるかについての指標として分野スコアを算出する（ステップ３０２）。一例として、分野Ｘの分野スコアは式（１）により算出される。

分野Ｘの分野スコアＳ_Ｘ＝（ＳＴ／Ｎ_Ｘ）×Ｎ_ｍ ・・・（１）

ここでＳＴは一定値であり、全分野に共通する値が用いられる。Ｎｘは分野Ｘに設定されている全体の分野関連用語の個数すなわち用語数４２である。Ｎｍは、対象問題に含まれている分野Ｘの分野関連用語の個数である。

各分野間でトータルのスコアが一定となるように、一定値ＳＴを当該分野Ｘの用語数Ｎｘで割った値を個々の分野関連用語Ｂ３３のスコアとして各分野関連用語Ｂ３３に均等に分配し、対象問題に含まれている分野関連用語Ｂ３３のスコアを積算した値が当該対象問題の当該分野Ｘに対する分野スコアとなる。例えば、対象問題に分野Ａに関連する「ａｂｂ」および「ａｃｃ」という２つの分野関連用語Ｂ３３が含まれていた場合、当該対象問題の分野「１」に対する分野スコアＳ_１は、Ｓ_１＝（ＳＴ／４）×２＝ＳＴ／２となる。

次に、問題分類部１４は、ステップ３０２で算出した各分野の分野スコアを基に、当該対象問題が該当する分野（該当分野）を特定する（ステップ３０３）。例えば、分野スコアが所定の閾値を越えている分野を、当該対象問題の該当分野としてもよい。当該対象問題の該当分野は複数であってもよい。

次に、問題分類部１４は、ステップ３０３で特定した対象問題の該当分野を問題情報３０に登録する。本ステップ３０３では、図１４に例示した問題情報３０に、対象問題の問題番号３１に対応付けて該当分野３２が登録される。

図１７は、解答形式特定処理の一例を示すフローチャートである。

まずステップ４０１にて、問題分類部１４は、対象問題が正誤問題であるか否か判定する。図６に例示した正誤問題には、解答が二者択一であり、問題文に、「正しい」という語句あるいはそれに準ずる所定の語句、および／または、「誤っている」あるいはそれに準ずる所定の語句が含まれているという特徴がある。問題分類部１４は対象問題の問題文テキストを解析し、対象問題の問題文テキストに正誤問題の特徴が含まれているか否か判定する。問題文テキストに正誤問題の特徴が含まれていれば、対象問題は正誤問題であると判断できる。対象問題が正誤問題であれば問題分類部１４はステップ４０９に進んで、問題情報３０に、対象問題の問題番号３１に対応する解答形式３４に「正誤問題」を登録する。

ステップ４０１にて対象問題が正誤問題でなければ、ステップ４０２にて、問題分類部１４は、対象問題が択一式問題であるか否か判定する。図７に示した択一式問題には、問題文に複数の肢文を含み、その肢文自体が解答の選択肢となっているという特徴がある。問題分類部１４は、対象問題の問題文テキストに択一式問題の特徴が含まれているか否か判定する。問題文テキストに択一式問題の特徴が含まれていれば、対象問題は択一式問題であると判断できる。対象問題が択一式問題であれば問題分類部１４はステップ４０３に進む。

ステップ４０３では、問題分類部１４は、択一式問題である対象問題の各選択肢が判例問題選択肢、事例問題選択肢、知識問題選択肢のいずれであるか判定する。判定問題選択肢には、特定の判例に特有の語句あるいは語句の組合せが問題文に含まれているという特徴がある。事例問題は、事例主体用語が問題文に含まれているという特徴がある。問題分類部１４は、問題文テキストに判例問題の特徴が含まれていれば対象問題は判例問題であると判断し、問題文テキストに事例問題の特徴が含まれていれば対象問題は事例問題であると判断し、問題文テキストに判例問題の特徴も事例問題の特徴も含まれていなければ対象問題は知識問題であると判断する。その後、問題分類部１４は、ステップ４０９に進んで、問題情報３０に、対象問題の問題番号３１に対応する解答形式３４に「択一式問題」を登録する。また、問題分類部１４は、択一式問題の各選択肢が、判例問題選択肢であるか、事例問題選択肢であるか、知識問題選択肢であるかを記録する。

ステップ４０２にて対象問題が択一式問題でなければ、ステップ４０４にて、問題分類部１４は、対象問題が組合せ問題であるか否か判定する。図８に例示した組合せ問題には、問題文に複数の肢文を有し選択肢の各々が０個以上の肢文の組合せとなっているという特徴がある。問題分類部１４は、対象問題の問題文テキストに組合せ問題の特徴が含まれているか否か判定する。問題文テキストに組合せ問題の特徴が含まれていれば、対象問題は組合せ問題であると判断できる。対象問題が組合せ問題であれば問題分類部１４はステップ４０９に進んで、問題情報３０に、対象問題の問題番号３１に対応する解答形式３４に「組合せ問題」を登録する。

ステップ４０４にて対象問題が組合せ問題でなければ、ステップ４０５にて、問題分類部１４は、対象問題が選択式問題であるか否か判定する。図９に例示した選択式問題には、複数の空欄を含んだ問題文と空欄に当てはまる語句の候補を選択肢として羅列した部分とあるという特徴がある。問題分類部１４は、対象問題の問題文テキストに選択式問題の特徴が含まれているか否か判定する。問題文テキストに選択式問題の特徴が含まれていれば、対象問題は選択式問題であると判断できる。対象問題が選択式問題であれば問題分類部１４はステップ４０９に進んで、問題情報３０に、対象問題の問題番号３１に対応する解答形式３４に「選択式問題」を登録する。

ステップ４０５にて対象問題が選択式問題でなければ、ステップ４０６にて、問題分類部１４は、対象問題が計算問題であるか否か判定する。図１０に例示した計算問題には、解答の選択肢の各々に数値が含まれ、問題文にも計算に用いる数値が含まれているという特徴がある。問題分類部１４は、対象問題の問題文テキストに計算問題の特徴が含まれているか否か判定する。問題文テキストに計算問題の特徴が含まれていれば、対象問題は計算問題であると判断できる。対象問題が計算問題であれば問題分類部１４はステップ４０９に進んで、問題情報３０に、対象問題の問題番号３１に対応する解答形式３４に「計算問題」を登録する。

ステップ４０６にて対象問題が計算問題でなければ、ステップ４０７にて、問題分類部１４は、対象問題が個数問題であるか否か判定する。図１１に例示した個数問題には、複数の選択肢の各々が０個から肢文の個数までの範囲に含まれる個数になっているという特徴がある。問題分類部１４は、対象問題の問題文テキストに個数問題の特徴が含まれているか否か判定する。問題文テキストに個数問題の特徴が含まれていれば、対象問題は個数問題であると判断できる。対象問題が個数問題であれば問題分類部１４はステップ４０９に進んで、問題情報３０に、対象問題の問題番号３１に対応する解答形式３４に「個数問題」を登録する。

ステップ４０７にて対象問題が個数問題でなければ、ステップ４０８にて、問題分類部１４は、対象問題が記述式問題であるか否か判定する。図１２に例示した記述問題には、文章で記述することを要求する所定の語句が含まれているという特徴がある。問題分類部１４は、対象問題の問題文テキストに記述式問題の特徴が含まれているか否か判定する。問題文テキストに記述式問題の特徴が含まれていれば、対象問題は記述式問題であると判断できる。対象問題が記述式問題であれば問題分類部１４はステップ４０９に進んで、問題情報３０に、対象問題の問題番号３１に対応する解答形式３４に「記述式問題」を登録する。

ステップ４０８にて対象問題が記述式問題でなければ、問題分類部１４は、対象問題の解答形式がいずれにも該当しなかった旨のエラーを出力する。

図１８は、問題レベル評価処理の一例を示すフローチャートである。

まずステップ５０１にて、問題分類部１４は、対象問題の出題頻度を評価する。対象問題の前提知識に対応する分野から問題が出題されていない期間が所定の期間閾値を越えていれば、対象問題をレベルＤと決定する。一般に多くの受験者は長期にわたり出題されていない分野を勉強の対象から除いたり、優先度を下げることが多い。そのため長期にわたり出題されていない分野の問題については、多くの受験者は、その前提知識を知らないため正解できないことが想定される。そのような分野からの問題は合否への影響が小さいと推定できる。

次にステップ５０２にて、問題分類部１４は、対象問題の該当分野の知識難易度を評価する。対象問題の該当分野は、図１４に例示した問題情報３０を参照することにより知得することができる。対象問題の該当分野は１つとは限らず複数である場合もある。該当分野の知識難易度は、図１６に例示した分野情報４０を参照することにより、知得することができる。図１６に示すように、分野４１のそれぞれについて、当該分野４１の知識の習得の難易度を示す知識難易度４４が予め設定されている。一例として、各分野の知識難易度は予め講師などが設定しておくことにしてもよい。あるいは、教材における当該分野の分量に基づいて知識難易度を自動設定してもよい。例えばテキストのページ数が多い分野は知識難易度が高いとしてもよい。あるいはｅラーニングの時間が長い分野は知識難易度が高いとしてもよい。

問題分類部１４は、対象問題の該当分野から出題されていない期間が期間閾値以下であれば、該当分野の知識難易度に応じて対象問題の問題レベルを設定する。このように対象問題の該当分野の知識の習得の難易度を問題レベルに反映させるので、習得すべき分野の知識を習得するための勉強に有益な知識難易度を反映した情報を提供することができる。

具体的には、問題分類部１４は、対象問題の該当分野の最大値を所定の知識難易度閾値と比較することにより、対象問題の問題レベルをレベルＡ、Ｂ、Ｃのいずれかに分類する。上述したように、レベルＣは、正解の確率が１／２近傍と想定される問題であり、レベルＢは、合格するには正解すべきと想定される難問であり、レベルＡは、合格するには正解すべきと想定される易問である。知識難易度閾値は、対象問題がそれらレベルＡ、Ｂ、Ｃに適切に分類されるように予め設定しておく。具体的には、知識難易度が高ければ問題レベルが低くなるようにするとよい。知識難易度が高いほど多くの受験者がその分野の知識を習得していない可能性が高まることが想定されるからである。

なお、ここで設定する問題レベルは、最終決定されたものではない。後述するように、問題文長および解答形式に基づいて調整される。

続いてステップ５０３にて、問題分類部１４は、対象問題の問題文長を評価する。具体的には、問題分類部１４は、対象問題に設定されている問題レベルがレベルＡである場合、対象問題の問題文長が所定の問題文長閾値を越えていれば、対象問題の問題レベルをレベルＢに調整する。知識難易度の低い分野から出題された問題でも、問題文が長くなれば、問題文における前提知識を対応付ける箇所の個数が増え、出題者の意図を把握するのが難しくなる。一方、前提として知っておくべき知識の量が多く相互の関係が複雑であるなど、前提知識の知識難易度の高い分野の問題は性質が異なる。前提知識の知識難易度の高い分野の問題は、予め知識の難易度に合った問題レベルが設定されていれば、知識と問題の関係の複雑さは既に考慮済みとなるので、更に問題文が長かったとしても、必ずしも更に急激に難易度が上がり問題レベルが上がるというものではない。このような性質を踏まえ、本態様では、レベルＡの対象問題に限り、問題文長が所定の問題文長閾値を越えていれば問題レベルをレベルＢに変更するという処理を行って問題レベルの妥当性の向上を図っている。

続いてステップ５０４にて、問題分類部１４は、解答形式別評価処理を実行する。解答形式別評価処理は、対象問題の解答形式に応じて、対象問題の問題レベルを評価する処理である。問題には様々な解答形式のものがある。解答形式により正解を導くことの難しさが異なる。解答形式によっては、関連する全ての知識を正確に理解し記憶していなければ正解を導くことが難しい問題がある。その一方で、関連する一部の知識を理解し記憶していれば、消去法等により正解を導ける問題もある。このような解答形式の違いを問題レベルに反映させることができる。

図１９は、解答形式別評価処理のフローチャートである。

ステップ６０１にて、問題分類部１４は、対象問題が択一式問題であるか否か判定する。対象問題が択一式問題であるか否かは、解答形式特定処理の処理結果から判定することができる。

対象問題が択一式問題であれば、問題分類部１４は、ステップ６０２にて、択一式問題に含まれる各選択肢を評価する。その際、問題分類部１４は、各選択肢の選択肢種別に基づいて、当該選択肢の問題レベルを判定する。各選択肢の選択肢種別は解答形式処理の処理結果から知得することができる。問題分類部１４は、予め設定されている問題レベル判定情報を参照して、各選択肢の選択肢種別に対応する問題レベルを特定する。

図２０は、問題レベル判定情報の一例を示す図である。問題分類部１４は、対象問題の解答形式あるいは選択肢の選択肢種別５１に対応付けて、問題レベル５２が登録されたテーブルである。対象問題が択一式問題であれば選択肢種別毎に問題レベルが設定され、択一式問題でなければ解答形式毎に問題レベルが設定される。

図２０の例では、択一式問題の知識問題選択肢の問題レベルはＡ以上であると設定されている。択一式問題の低度事例問題選択肢の問題レベルはＢ以上であると設定されている。択一式問題の判例問題選択肢の問題レベルはＢ以上であると設定されている。択一式問題の高度事例問題選択肢の問題レベルはＣ以上であると設定されている。

当該選択肢に設定されている問題レベルが、問題レベル判定情報５０に「〇以上」と設定されている問題レベル「〇」より低い場合には、当該選択肢の問題レベルは「〇」に変更される。例えば、当該選択肢が択一式問題の低度事例問題選択肢でありその問題レベルがＡに設定されている場合には、問題レベルはＢに変更される。

事例問題の選択肢は、前提知識を知っているかどうかが問われる知識問題選択肢と異なり、前提知識を問題に当て嵌める必要があるため、前提知識を知っているだけで解ける簡単な問題ではない。そのため、事例問題選択肢は、知識問題選択肢よりも問題レベルを下げて妥当性を確保している。また、事例問題選択肢の中でも登場する主体が多い高度事例問題選択肢の方が、登場する主体の少ない低度事例問題選択肢よりも当て嵌めを行う箇所が多いので、より問題レベルを下げて妥当性を確保している。このような性質を踏まえ、本態様では、低度事例問題選択肢をレベルＢとし、高度事例問題選択肢をレベルＣとし、問題レベルの妥当性の確保を図っている。

続いて、問題分類部１４は、ステップ６０３にて、択一式問題総合評価処理を実行する。択一式問題総合評価処理は、択一式問題である対象問題の問題レベルを、その対象問題に含まれてる各選択肢の問題レベルに基づいて設定する処理である。択一式問題総合評価処理の詳細は図２１および図２２を参照して後述する。

ステップ６０１にて対象問題が択一式問題でなければ、問題分類部１４は、ステップ６０４にて対象問題の問題レベルを評価する。その際、問題分類部１４は、予め設定されている問題レベル判定情報５０を参照して、対象問題の解答形式に対応する問題レベルを特定する。

図２０の例では、正誤問題の問題レベルはＡ以上であると設定されている。組合せ問題の問題レベルはＢ以上であると設定されている。選択式問題の問題レベルはＢ以上であると設定されている。計算問題の問題レベルはＣ以上であると設定されている。個数問題の問題レベルはＣ以上であると設定されている。記述式問題の問題レベルはＣ以上であると設定されている。

対象問題に設定されている問題レベルが、問題レベル判定情報５０に「〇以上」と設定されている問題レベル「〇」より低い場合には、対象問題の問題レベルは「〇」に変更される。例えば、対象問題が組合せ問題でありその問題レベルがＡに設定されている場合には、問題レベルはＢに変更される。

すなわち、問題分類部１４は、対象問題の前提知識および問題文長により設定された問題レベルがレベルＡであり、対象問題が組合せ問題または選択式問題であれば、対象問題をレベルＢに変更する。対象問題の前提知識および問題文長により設定された問題レベルがレベルＡまたはレベルＢであり、対象問題が計算問題、個数問題、または記述式問題のいずれかであれば、対象問題をレベルＣに変更する。解答形式により調整した妥当な問題レベルを提供することができる。

図２１は、択一式問題総合評価処理の判定論理情報の一例を示す図である。図２２は、択一式問題総合評価処理の一例を示すフローチャートである。

択一式問題総合評価は、択一式問題の問題レベルを各選択肢の問題レベルに基づく総合評価により設定する処理である。総合評価は図２１に示した判定論理情報により行われる。

択一式問題は、全ての選択肢について確実に正しい判断ができない場合には、消去法で選択肢を絞り込んでいくことにより正解を導くこととなる。したがって、消去法による選択肢の絞り込みの容易さにより択一式問題の正解を導くことの容易さが変わる。本実施形態では、どの程度絞り込みができるかと総合評価とを対応づける。

図２１に示すように、判定論理情報６０には、対象問題の選択肢が該当するか否か判定する条件（条件内容６２）と、当該条件に該当した対象問題の問題レベル（総合評価Ｂ６３）とを対応付けて、条件番号６１を付与して設定されている。本例では条件番号６１の数字が小さい順に判断するものとなっている。

条件番号＝１の条件では、条件内容「レベルＡかつ正解肢である選択肢が含まれている」に該当する対象問題の総合評価としての問題レベルがＡである。条件番号＝２の条件では、条件内容「レベルＡかつ不正解肢である選択肢が選択肢の総個数より１個少ない個数だけ含まれている」に該当する対象問題の総合評価としての問題レベルがＡである。条件番号＝３の条件では、条件内容「絞り込み条件２に該当せず、レベルＢかつ正解肢である選択肢が含まれている」に該当する対象問題の総合評価としての問題レベルがＢである。条件番号＝４の条件では、条件内容「絞り込み条件１、３に該当せず、レベルＡまたはＢかつ不正解肢である選択肢が選択肢の総個数より１個少ない個数だけ含まれている」に該当する対象問題の総合評価としての問題レベルがＢである。条件番号＝５の条件では、条件内容「絞り込み条件２、４に該当せず、レベルＣかつ正解肢である選択肢が含まれている」に該当する対象問題の総合評価としての問題レベルがＣである。条件番号＝６の条件では、条件内容「絞り込み条件１〜５のいずれにも該当せず、レベルＡまたはＢかつ不正解肢である選択肢が選択肢の総個数よりも２個少ない個数だけ含まれている」に該当する対象問題の総合評価としての問題レベルがＣである。条件番号＝７の条件では、条件内容「絞り込み条件１〜６のいずれにも該当しない」に該当する対象問題の総合評価としての問題レベルがＤである。

図２２の択一式問題総合評価処理は一連のフローチャートにより実現している。

まずステップ７０１にて、問題分類部１４は、対象問題が絞り込み条件１に該当するか否か判定する。問題分類部１４は、対象問題が絞り込み条件１に該当したらステップ７０３にて対象問題の問題レベルをＡとする。

対象問題が絞り込み条件１に該当しなければ、問題分類部１４は、次にステップ７０２にて、対象問題が絞り込み条件２に該当するか否か判定する。問題分類部１４は、対象問題が絞り込み条件２に該当したらステップ７０３にて対象問題の問題レベルをＡとする。

対象問題が絞り込み条件２に該当しなければ、問題分類部１４は、次にステップ７０４にて、対象問題が絞り込み条件３に該当するか否か判定する。問題分類部１４は、対象問題が絞り込み条件３に該当したらステップ７０６にて対象問題の問題レベルをＢとする。

対象問題が絞り込み条件３に該当しなければ、問題分類部１４は、次にステップ７０５にて、対象問題が絞り込み条件４に該当するか否か判定する。問題分類部１４は、対象問題が絞り込み条件４に該当したらステップ７０６にて対象問題の問題レベルをＢとする。

対象問題が絞り込み条件４に該当しなければ、問題分類部１４は、次にステップ７０７にて、対象問題が絞り込み条件５に該当するか否か判定する。問題分類部１４は、対象問題が絞り込み条件５に該当したらステップ７０９にて対象問題の問題レベルをＣとする。

対象問題が絞り込み条件５に該当しなければ、問題分類部１４は、次にステップ７０８にて、対象問題が絞り込み条件６に該当するか否か判定する。問題分類部１４は、対象問題が絞り込み条件６に該当したらステップ７０９にて対象問題の問題レベルをＣとする。

対象問題が絞り込み条件６に該当しなければ、問題分類部１４は、ステップ７１０にて対象問題の問題レベルをＤとする。

図２２の処理を以下のように整理することもできる。

問題分類部１４は、対象問題が、レベルＡかつ正解肢である選択肢が択一式問題に含まれているという絞り込み条件１に該当すればその対象問題をレベルＡに設定する。問題分類部１４は、対象問題が、レベルＡかつ不正解肢である選択肢が択一式問題に選択肢の個数より１個少ない個数だけ含まれているという絞り込み条件２に該当すればその対象問題をレベルＡに設定する。問題分類部１４は、対象問題が、絞り込み条件２に該当せず、レベルＢかつ正解肢である選択肢が択一式問題に含まれているという絞り込み条件３に該当すればその対象問題をレベルＢに設定する。問題分類部１４は、対象問題が、絞り込み条件１にも絞り込み条件３に該当せず、レベルＡかつ不正解肢またはレベルＢかつ不正解肢である選択肢が択一式問題に選択肢の総個数より１個少ない個数だけ含まれているという絞り込み条件４に該当すればその対象問題をレベルＢに設定する。問題分類部１４は、対象問題が、絞り込み条件２にも絞り込み条件４にも該当せず、レベルＣかつ正解肢である選択肢が択一式問題に含まれているという絞り込み条件５に該当すればその対象問題をレベルＣに設定する。問題分類部１４は、対象問題が、絞り込み条件１〜５のいずれにも該当せず、レベルＡかつ不正解肢またはレベルＢかつ不正解肢である選択肢が択一式問題に選択肢の総個数より２個少ない個数だけ含まれているという絞り込み条件６に該当すればその対象問題をレベルＣに設定する。問題分類部１４は、対象問題が、絞り込み条件１〜６のいずれにも該当しなければその対象問題をレベルＤに設定する。択一式問題についてその択一式問題の全体と各選択肢とについて問題レベルを、合格に向けた勉強への利用に有益な情報として提供することができる。

図３に戻り、ステップ１０４にて、解答分析部１５は、解答分析処理を実行する。

図２３は、解答分析処理の一例を示すフローチャートである。

まずステップ８０１にて、解答分析部１５は試験結果の科目別分析を行う。

解答分析部１５は、試験に含まれる各科目について、推定合格者の解答データに基づく推定不合格者の偏差値を算出する。推定合格者の得点の平均点が偏差値５０となる。そして、解答分析部１５は、各科目の偏差値に基づき所定の判定基準情報を参照して各科目の出来具合を判定する。

図２４は、判定基準情報の一例を示す図である。

判定基準情報７０には、偏差値範囲７１に対応づけて判定７２および対策７３が設定されている。判定７２は、当該科目の試験のでき具合を複数段階に分けて表す情報である。Ａ判定からＤ判定まであり、Ａ判定が最もでき具合がよい判定であり、Ｄ判定が最もでき具合が悪い判定である。対策７３は、各判定について今後の学習における対策を示す情報である。科目毎の判定および対策は、受験者（推定不合格者）に提供される。

偏差値範囲７１が５５以上では、判定７２はＡであり、対策７３は、その受験者は当該科目については特段の対策不要で現状を維持すればよい。偏差値範囲７１が５０以上５５未満では、判定７２はＢであり、対策７３は、その受験者は当該科目について対策が必要であり、更に得意科目にする努力をするのが望ましい。偏差値範囲７１が４５以上５０未満では、判定７２はＣであり、対策７３は、その受験者は当該科目について対策が必要であり、平均点以上を狙う努力が求められる。偏差値範囲７１が４５未満では、判定７２はＤであり、対策７３は、その受験者は当該科目についてはかなりの対策が必要である。

受験者は、試験に含まれる複数の科目のうち、よくできた科目や出来なかった科目を知ることができる。一般に、試験における推定合格者の得点分布などのデータは公表されないが、本実施形態によれば、推定不合格者は、推定合格者の得点分布と自身の得点分布を比較した客観的情報を得ることができる。

図２５は、科目別判定結果の一例を示す図である。図２５には、宅建試験におけるＡ君の科目別判定結果が示されている。科目別判定結果８０には、それぞれの科目８１について、配点８２、推定合格者の平均点８３、Ａ君の得点８４、および科目別判定８５が示されている。

宅建試験において、科目８１が宅建業法については、配点が２０点であり、推定合格者の平均点８３が１８．５点であり、Ａ君の得点が２０点であり、科目別判定８５がＡとなっている。科目８１が法令上の制限については、配点が８点であり、推定合格者の平均点８３が５．５点であり、Ａ君の得点が２点であり、科目別判定８５がＤとなっている。科目８１がその他の法令については、配点が８点であり、推定合格者の平均点８３が５．５点であり、Ａ君の得点が３点であり、科目別判定８５がＣとなっている。科目８１が権利関係については、配点が１４点であり、推定合格者の平均点８３が９．５点であり、Ａ君の得点が１０点であり、科目別判定８５がＢとなっている。

資格試験などで、試験の直後に受験者の出来不出来をいう場合、ほとんどは本人が主観によって判定している。それに対して、本実施形態によれば、受験者が本試験の出来不出来を客観的に判定できるようになる。また、本実施形態では、各科目について、推定合格者の平均点に基づいて推定不合格者の偏差値を算出し、判定を行うので、推定不合格者の各科目の出来不出来を推定合格者との比較により知ることができる。

図２３に戻り、ステップ８０２にて、解答分析部１５は試験結果の問題別分析を行う。

解答分析部１５は、推定合格者の解答データにおいて各問題について推定合格者正答率を算出し、各問題の推定合格者正答率に基づき、推定不合格者のその問題への解答を分析し、分析結果を加工してテーブル形式で出力する。

図２６は、問題別分析の分析結果を示すテーブルである。

図２６を参照すると、各問題に対するＡさんの解答を分析した結果が示されている。図２６に示すテーブル９０には、試験に含まれる５０問の各問題について、問題番号９１に対応づけて、科目９２、分野９３、正誤９４、推定合格者正答率９５、問題レベル９６、および問題タイプ９７が記録される。

解答分析部１５は、合否推定部１３が判定した正解か不正解かをテーブル９０の正誤９４に記録する。図２６には、正解を〇（丸印）で示し、不正解を×（バツ印）で示している。解答分析部１５は、問題分類部１４が特定した当該問題の科目、分野、問題レベル、および問題タイプをテーブル９０の科目９２、分野９３、問題レベル９６、および問題タイプ９７にそれぞれ記録する。更に、解答分析部１５は、算出した推定合格者正答率をテーブル９０の推定合格者正答率９５に記録する。例えば、問題番号１の問題は、科目が権利関係で、分野が意思表示で、Ａさんの正誤が正解である。

図２７は、問題別分析の分析結果を示す他のテーブルである。図２７に示すテーブルＡ０には、推定合格者正答率の範囲Ａ１に対応づけて、問題数Ａ２、Ａさんの正解問題数Ａ３、およびＡさん正答率Ａ４が記録されている。

推定合格者正答率の範囲Ａ１として、０％以上１０％未満、１０％以上２０％未満、２０％以上３０％未満、３０％以上４０％未満、４０％以上５０％未満、５０％以上６０％未満、６０％以上７０％未満、７０％以上８０％未満、８０％以上９０％未満、９０％以上１００％以下の範囲が設定されている。

解答分析部１５は、試験に含まれている問題のうち、推定合格者正答率が上記各範囲に含まれている問題を特定し、その問題の個数（Ｎ１とする）と、その中でＡさんが正解した問題の個数（Ｎ２とする）と、Ｎ１／Ｎ２とを算出し、問題数Ａ２、Ａさんの正解問題数Ａ３、Ａさんの正解率Ａ４にそれぞれ記録する。

試験に合格するためには、合格者が正解すべき問題を確実に正解するということが重要である。図２７のテーブルＡ０を見ると、上段範囲の方が推定合格者正答率が高くなっている。従って、合格するためには、上段範囲に含まれる問題を高い正答率で正解することが求められるが、図２７の例でＡさんはそれができていないことが分かる。

また、解答分析部１５は、推定合格者の解答データにおいて各問題について推定合格者正答率を算出し、各問題の推定合格者正答率と問題レベルに基づき、推定不合格者のその問題への解答を分析し、分析結果を加工してテーブル形式で出力する。

図２８は、問題別分析の分析結果を示す更に他のテーブルである。図２８に示すテーブルＢ０には、問題レベルＢ１に対応づけて、問題数Ｂ２、Ａさんの正解問題数Ｂ３、Ａさんの正解率Ｂ４、および推定合格者の正解率Ｂ５が記録される。

解答分析部１５は、試験に含まれている問題のうち、問題レベルが各レベルに該当する問題の個数（Ｎ３とする）、Ａさんが正解した問題の個数（Ｎ４とする）、Ｎ４／Ｎ３、推定合格者の正解率（Ｐ１とする）を算出し、問題数Ｂ２、Ａさんの正解問題数Ｂ３、Ａさんの正解率Ｂ４、推定合格者の正解率Ｂ５にそれぞれ記録する。Ｐ１は下記式（１）により算出される。

Ｐ１＝（問題レベルが所定のレベルに該当する各問題に正解した推定合格者の人数の積算値）／（Ｎ３×（推定合格者の人数））・・・（１）

図２８のテーブルＢ０を見ると、レベルＡ、Ｂ、Ｃで、Ａさんの正解率Ｂ４が推定合格者の正解率Ｂ５を下回っている。一方、レベルＤで、Ａさんの正解率Ｂ４が推定合格者の正解率Ｂ５を上回っている。レベルＤの問題は、正解しなくても合格が可能と想定される問題であり、実力で正解することが難しい問題であるともいえる。レベルＤにおける９Ａさんの正解率Ｂ４が推定合格者の正解率Ｂ５よりも高いのは、まぐれで正解していることによる可能性が高い。Ａさんには、レベルＡ、Ｂ、Ｃにおいて、推定合格者の正解率Ｂ５よりも高い正解率Ｂ４を得られるようにすることが求められる。

解答分析部１５は、推定合格者の解答データにおいて各問題について推定合格者正答率を算出し、各問題の推定合格者正答率と問題タイプに基づき、推定不合格者のその問題への解答を分析し、分析結果を加工してテーブル形式で出力する。

図２９は、問題別分析の分析結果を示す更に他のテーブルである。図２９のテーブルＣ０には、問題タイプＣ１に対応づけて、問題数Ｃ２、Ａさんの正解問題数Ｃ３、Ａさんの正解率Ｃ４、および推定合格者の正解率Ｃ５が記録されている。

解答分析部１５は、試験に含まれている問題のうち、問題タイプが各タイプに該当する問題の個数（Ｎ５とする）、Ａさんが正解した問題の個数（Ｎ６とする）、Ｎ６／Ｎ５、推定合格者の正解率（Ｐ２とする）を算出し、問題数Ｃ２、Ａさんの正解問題数Ｃ３、Ａさんの正解率Ｃ４、推定合格者の正解率Ｃ５にそれぞれ記録する。Ｐ２は下記式（２）により算出される。

Ｐ２＝（問題タイプが所定のタイプに該当する各問題に正解した推定合格者の人数の積算値）／（Ｎ５×（推定合格者の人数））・・・（２）

試験に合格するためには、苦手な問題タイプを作らないことが重要であり、すべての問題タイプで合格者と同様の正解率を得られるようにすることが求められる。図２９のテーブルＣ０を見ると、択一式問題の事例問題と個数問題で、Ａさんの正解率Ｃ４が推定合格者の正解率Ｃ５を下回っている。Ａさんは、全ての問題タイプにおいて推定合格者の正解率Ｃ５を上回る正解率を得られるようにすることを目標に、択一式問題の事例問題と個数問題とにおける正解率を上げるように努力するとよい。

以上説明した本実施形態には以下に示す事項を含む。ただし、本実施形態に含まれる事項が以下のものに限定されることはない。

試験結果分析システムは、複数の問題を含む試験を受けた複数の受験者がその試験で提出した各問題の解答を示す解答データを収集する解答データ収集部１２と、複数の受験者の解答データに基づいて、複数の受験者のそれぞれの合否を推定する合否推定部１３と、合格と推定された推定合格者の解答データに基づき、不合格と推定された推定不合格者のその問題への解答を分析する解答分析部１５と、を有する。本態様によれば、複数の受験者を推定合格者と推定不合格者に分け、推定合格者の解答データに基づいて、推定不合格者の各問題への解答を分析するので、合否が発表される前に試験の結果を分析することができる。

また、解答分析部１５は、推定合格者の解答データにおいて各問題について、推定合格者の全体に対する当該問題を正解した推定合格者の割合である推定合格者正答率を算出し、その問題の推定合格者正答率に基づき、推定不合格者の前記問題への解答を分析する。本態様によれば、推定合格者の正答率に基づいて推定不合格者の各問題への解答を分析するので、合否が発表される前に、推定合格者がどの程度の割合で正解するかを考慮した分析が可能となる。

また、解答分析部１５は、推定合格者正答率を複数の範囲に区切り、各範囲に属する問題について、当該範囲に属する問題の個数に対する、分析対象の推定不合格者が正解した問題の個数および／またはその個数の割合を算出する。本態様によれば、推定合格者正答率と分析対象の推定不合格者の正答数および／または正答率とを対比した試験結果の分析が可能となる。

また、試験結果分析システムは、複数の問題を、試験に合格するために当該問題を正解することが求められる度合いを表す複数の問題レベルに分類する問題分類部１４を更に有し、解答分析部１５は、問題の問題レベルおよび推定合格者正答率に基づき、推定不合格者のその問題への解答を分析する。本態様によれば、試験に合格するために当該問題を正解することが求められる度合いと当該問題の推定合格者の正答率に基づいて推定不合格者の各問題への解答を分析するので、合否が発表される前に、試験に合格するために当該問題を正解することがどの程度求められるかと、推定合格者がどの程度の割合で正解しているかと、を考慮した効果的な分析が可能となる。

また、解答分析部１５は、複数の問題レベルのそれぞれについて、当該問題レベルに該当する問題のうち当該推定不合格者が正解した問題の個数を当該問題レベルに該当する問題の個数で除算して当該推定不合格者の正解率を算出し、当該問題レベルに該当する各問題に正解した推定合格者の人数の積算値を、当該問題レベルに該当する問題の個数と前記推定合格者の人数を乗算して得た値で除算して前記推定合格者の正解率を算出し、前記推定不合格者の正解率と前記推定合格者の正解率とを対比可能にする。

また、試験結果分析システムは、複数の問題を、試験に対する解答の形式に応じた複数の問題タイプに分類する問題分類部１４を更に有し、解答分析部１５は、問題の問題タイプおよび推定合格者正答率に基づき、推定不合格者の問題への解答を分析する。本態様によれば、当該問題に対する解答の形式と当該問題の推定合格者の正答率に基づいて推定不合格者の各問題への解答を分析するので、合否が発表される前に、当該問題に対する解答がどのような形式であるかと、当該問題に推定合格者がどの程度の割合で正解しているかと、を考慮した効果的な分析が可能となる。

また、解答分析部１５は、複数の問題タイプのそれぞれについて、当該問題タイプに該当する問題のうち当該推定不合格者が正解した問題の個数を当該問題レベルに該当する問題の個数で除算して当該推定不合格者の正解率を算出し、当該問題タイプに該当する各問題に正解した推定合格者の人数の積算値を、当該問題タイプに該当する問題の個数と前記推定合格者の人数を乗算して得た値で除算して前記推定合格者の正解率を算出し、前記推定不合格者の正解率と前記推定合格者の正解率とを対比可能にする。

また、試験結果分析システムは、複数の問題を、試験に合格するために当該問題を正解することが求められる度合いを表す複数の問題レベルと、前記試験に対する解答形式に応じた複数の問題タイプと、に分類する問題分類部１４を更に有し、解答分析部１５は、問題の問題レベル、問題タイプ、および推定合格者正答率に基づき、推定不合格者のその問題への解答を分析する。本態様によれば、合否が発表される前に、試験に合格するために当該問題を正解することが求められる度合いと、当該問題に対する解答がどのような形式であるかと、推定合格者が当該問題にどの程度の割合で正解しているかと、を考慮した効果的な分析が可能となる。

また、問題分類部１４は、問題を解くのに要する前提知識を判別し、前記問題の文の長さである問題文長を算出し、問題に対する解答形式を特定し、前提知識と問題文長と解答形式とに基づいて問題レベルを決定し、解答形式に基づいて問題タイプを決定し、問題レベルと問題タイプとを推定不合格者の解答の分析に用いる。

また、試験は、複数科目の問題を含み、解答分析部１５は、科目のそれぞれについて、推定合格者の解答データに基づく推定不合格者の偏差値を算出する。本態様によれば、複数の科目を含み、それらの合計点で合否が決まる試験において、推定合格者の解答データに基づく推定不合格者の科目毎の偏差値を算出するので、推定不合格者の科目毎の出来不出来を客観的に分析することができる。

上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。

１０…試験結果分析システム、１１…合格ライン取得部、１２…解答データ収集部、１３…合否推定部、１４…問題分類部、１５…解答分析部、２０…計算機システム、２１…プロセッサ、２２…メインメモリ、２３…記憶装置、２４…通信装置、２５…入力装置、２６…表示装置

Claims (9)

1. 複数の問題を含む試験を受けた複数の受験者が該試験で提出した各問題の解答を示す解答データを収集する解答データ収集部と、
   前記複数の受験者の解答データに基づいて、前記複数の受験者のそれぞれの合否を推定する合否推定部と、
   合格と推定された推定合格者の解答データに基づき、不合格と推定された推定不合格者の前記問題への解答を分析する解答分析部と、
   を有し、
   前記解答分析部は、前記推定合格者の解答データにおいて各問題について、前記推定合格者の全体に対する当該問題を正解した推定合格者の割合である推定合格者正答率を算出し、前記問題の推定合格者正答率に基づき、前記推定不合格者の前記問題への解答を分析する、
   試験結果分析システム。
2. 前記解答分析部は、前記推定合格者正答率を複数の範囲に区切り、各範囲に属する問題について、前記範囲に属する問題の個数に対する、分析対象の推定不合格者が正解した問題の個数および／または該個数の割合を算出する、
   請求項１に記載の試験結果分析システム。
3. 前記複数の問題を、前記試験に合格するために当該問題を正解することが求められる度合いを表す複数の問題レベルに分類する問題分類部を更に有し、
   前記解答分析部は、前記問題の問題レベルおよび推定合格者正答率に基づき、前記推定不合格者の前記問題への解答を分析する、
   請求項１に記載の試験結果分析システム。
4. 前記解答分析部は、前記複数の問題レベルのそれぞれについて、当該問題レベルに該当する問題のうち当該推定不合格者が正解した問題の個数を当該問題レベルに該当する問題の個数で除算して当該推定不合格者の正解率を算出し、当該問題レベルに該当する各問題に正解した推定合格者の人数の積算値を、当該問題レベルに該当する問題の個数と前記推定合格者の人数を乗算して得た値で除算して前記推定合格者の正解率を算出し、前記複数の問題レベルのそれぞれについて前記推定不合格者の正解率と前記推定合格者の正解率とを対比可能にする、
   請求項３に記載の試験結果分析システム。
5. 前記複数の問題を、前記試験に対する解答の形式に応じた複数の問題タイプに分類する問題分類部を更に有し、
   前記解答分析部は、前記問題の問題タイプおよび推定合格者正答率に基づき、前記推定不合格者の前記問題への解答を分析する、
   請求項１に記載の試験結果分析システム。
6. 前記解答分析部は、前記複数の問題タイプのそれぞれについて、当該問題タイプに該当する問題のうち当該推定不合格者が正解した問題の個数を当該問題レベルに該当する問題の個数で除算して当該推定不合格者の正解率を算出し、当該問題タイプに該当する各問題に正解した推定合格者の人数の積算値を、当該問題タイプに該当する問題の個数と前記推定合格者の人数を乗算して得た値で除算して前記推定合格者の正解率を算出し、前記複数の問題レベルのそれぞれについて前記推定不合格者の正解率と前記推定合格者の正解率とを対比可能にする、
   請求項５に記載の試験結果分析システム。
7. 前記複数の問題を、前記試験に合格するために当該問題を正解することが求められる度合いを表す複数の問題レベルと、前記試験に対する解答形式に応じた複数の問題タイプと、に分類する問題分類部を更に有し、
   前記解答分析部は、前記問題の問題レベル、問題タイプ、および推定合格者正答率に基づき、前記推定不合格者の前記問題への解答を分析する、
   請求項１に記載の試験結果分析システム。
8. 前記問題分類部は、
   前記問題を解くのに要する前提知識を判別し、
   前記問題の文の長さである問題文長を算出し、
   前記問題に対する前記解答形式を特定し、
   前記前提知識と前記問題文長と前記解答形式とに基づいて前記問題レベルを決定し、
   前記解答形式に基づいて前記問題タイプを決定し、
   前記問題レベルと前記問題タイプとを前記推定不合格者の前記解答の分析に用いる、
   請求項７に記載の試験結果分析システム。
9. 複数の問題を含む試験を受けた複数の受験者が該試験で提出した各問題の解答を示す解答データを収集し、
   前記複数の受験者の解答データに基づいて、前記複数の受験者のそれぞれの合否を推定し、
   合格と推定された推定合格者の解答データに基づき、不合格と推定された推定不合格者の前記問題への解答を分析する、ことをコンピュータが実行するものであり、
   前記推定合格者の解答データにおいて各問題について、前記推定合格者の全体に対する当該問題を正解した推定合格者の割合である推定合格者正答率を算出し、前記問題の推定合格者正答率に基づき、前記推定不合格者の前記問題への解答を分析する、
   試験結果分析方法。
   

Images