JP6636602B1 - 試験問題解析システム、方法、およびプログラム - Google Patents

試験問題解析システム、方法、およびプログラム Download PDF

Info

Publication number
JP6636602B1
JP6636602B1 JP2018230578A JP2018230578A JP6636602B1 JP 6636602 B1 JP6636602 B1 JP 6636602B1 JP 2018230578 A JP2018230578 A JP 2018230578A JP 2018230578 A JP2018230578 A JP 2018230578A JP 6636602 B1 JP6636602 B1 JP 6636602B1
Authority
JP
Japan
Prior art keywords
question
target
level
knowledge
option
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018230578A
Other languages
English (en)
Other versions
JP2020095306A (ja
Inventor
山田 浩司
浩司 山田
Original Assignee
株式会社フォーサイト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社フォーサイト filed Critical 株式会社フォーサイト
Priority to JP2018230578A priority Critical patent/JP6636602B1/ja
Application granted granted Critical
Publication of JP6636602B1 publication Critical patent/JP6636602B1/ja
Publication of JP2020095306A publication Critical patent/JP2020095306A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】試験問題を合格に向けた勉強への利用が可能なように解析する技術を提供する。【解決手段】合否のある試験の問題を解析する試験問題解析システムは、解析対象となる対象問題を解くのに要する前提知識を判別する前提知識判別部と、前記対象問題の文の長さである問題文長を算出する問題文長算出部と、前記対象問題に対する回答形式を特定する回答形式特定部と、前記前提知識と前記問題文長と前記回答形式とに基づいて、前記試験に合格するために前記対象問題を正解することが求められる度合いである合格影響度を評価する影響度評価部と、を有する。【選択図】図1

Description

本発明は、試験問題を解析する技術に関する。
国家資格等の合否のある試験では、他の受験生が正解するレベルの問題を確実に正解することができれば試験に合格できると言われ、そのレベルの問題を確実に正解する力を身に着けるのが合格への近道と言われる。過去に行われた試験の問題(過去問)のレベルを的確に把握することができれば、受験生自身の勉強や予備校による受験生への指導に有益である。
特許文献1では、被験者から試験結果を取得し、その試験結果に基づくコンピュータ処理により問題の難易度を判定する手法が提案されている。
特開2002−351304号公報
しかしながら、特許文献1の手法は、被験者が増加していくことを前提とし、被験者の試験結果に基づいて動的に問題の難易度を判定するものである。そのため被験者の現在の能力を把握するにはよいが、試験に合格するためにどの問題は解ける必要があるか、どの問題が解けなくても合否に影響は少ないかといったことが分かり難く、合格に向けた勉強に利用する情報として十分に有益とは言えなかった。そのため現状では予備校講師などは、知識と経験に基づいて感覚的に過去問のレベルを判定し、その結果に基づいて受験生へ指導を行っているのが現状である。
本開示の1つの目的は、試験問題を合格に向けた勉強への利用が可能なように解析する技術を提供することである。
本開示による1つの態様に従う試験問題解析システムは、合否のある試験の問題を解析する試験問題解析システムであって、解析対象となる対象問題を解くのに要する前提知識を判別する前提知識判別部と、前記対象問題の文の長さである問題文長を算出する問題文長算出部と、前記対象問題に対する回答形式を特定する回答形式特定部と、前記前提知識と前記問題文長と前記回答形式とに基づいて、前記試験に合格するために前記対象問題を正解することが求められる度合いである合格影響度を評価する影響度評価部と、を有する。
本開示の1つの態様によれば、試験問題を合格に向けた勉強への利用が可能なように解析する技術を提供することである。
試験問題解析システムの構成を示すブロック図である。 試験問題解析システムのハードウェア構成を示す図である。 正誤問題の一例を示す図である。 択一式問題の一例を示す図である。 組合せ問題の一例を示す図である。 選択式問題の一例を示す図である。 計算問題の一例を示す図である。 個数問題の一例を示す図である。 記述式問題の一例を示す図である。 試験問題解析システムが実行する全体処理の一例を示すフローチャートである。 試験問題情報の一例を示す図である。 前提知識判別処理の一例を示すフローチャートである。 知識分野情報の一例を示す図である。 回答形式特定処理の一例を示すフローチャートである。 影響度評価処理の一例を示すフローチャートである。 回答形式別評価処理のフローチャートである。 合格影響度判定情報の一例を示す図である。 択一式問題総合評価処理の判定論理情報の一例を示す図である。 択一式問題総合評価処理の一例を示すフローチャートである。
以下、本発明の実施形態について図面を参照して説明する。
本実施形態では、過去問などの試験問題を分析するコンピュータシステムを例示する。
試験には複数の試験問題が含まれている。受験者は試験問題に正解することにより得た得点の合計値がボーダーラインを越えたら合格でき、合計値がボーダーラインを下回ったら不合格となる。試験問題によって、試験に合格するためにその問題は解ける必要があるか、解けなくても合否に影響は少ないかが異なることが経験的に知られている。
試験問題の正解を導き出せるか否かを左右する要因として、正解を導き出すために必要な知識自体の習得の難易度、問題文の長さや複雑さ、正解を導きやすさ、など様々なものがある。各試験問題の正解率は、それらの要因が複雑に影響した結果であると想定される。各試験問題の正解率は、合格に向けた勉強における指標となりうると考えられる。しかしながら、資格試験の本試験などでは一般に、試験に含まれている各問題の正解率は公表されない。
そこで、本実施形態による試験問題解析システムは、合否のある試験の各試験問題を対象として解析を行うことにより、試験に合格するために当該試験問題を正解することが求められる度合いである合格影響度を評価する。
図1は、試験問題解析システムの構成を示すブロック図である。図1を参照すると、試験問題解析システム10は、記憶部11、前提知識判別部12、問題文長算出部13、回答形式特定部14、影響度評価部15、および所要時間算出部16を備えている。
記憶部11は、試験に含まれる複数の試験問題の問題文テキストを含む試験データを記憶している。複数の試験問題の全部または一部が解析対象(対象問題)となりうる。
前提知識判別部12は、対象問題を解くのに要する前提知識を判別する。
問題文長算出部13は、対象問題の文の長さである問題文長を算出する。
回答形式特定部14は、対象問題に対する回答形式を特定する。
影響度評価部15は、前提知識と問題文長と回答形式とに基づいて、試験に合格するために対象問題を正解することが求められる度合いを示す指標である合格影響度を評価する。例えば、合格影響度が小さいということは、その試験問題を正解できないことが合否を分けることにはなり難いことを意味する。一般に試験問題の難易度が高い方が影響度は小さくなる傾向となる。例えば、非常に難しい問題は、合格者を含むほとんどの受験者が正解できないため、合否に影響が殆どないということが起こりうる。
以上のように、試験問題の前提知識と問題文長と回答形式とに基づいてその試験問題の合否への影響の度合いを評価するので、試験に含まれる個々の試験問題が試験の合否に対してどの程度影響するかという曖昧になりがちな事柄を客観的に評価可能にすることができ、合格に向けた試験問題の勉強への利用が可能なように解析する技術を提供する。
なお、合格影響度を算出するのに対象問題を正解するのに要する所要時間を考慮してもよい。本実施形態の所要時間算出部16はその場合のためにある。所要時間算出部16は、対象問題を正解するのに要する所要時間を算出する。その場合、影響度評価部15は、前提知識と問題文長と回答形式と所要時間とに基づいて対象問題の合格影響度を評価すればよい。前提知識、問題文長、および回答形式に加え、所要時間を考慮して合格影響度を決定するので、制限時間内に問題を解く形式の試験において、対象問題の合格影響度を所要時間の面の影響も考慮して客観的に評価することができる。
図2は、試験問題解析システムのハードウェア構成を示す図である。本実施形態では、試験問題解析システム10は、ハードウェアとして、プロセッサ21、メインメモリ22、記憶装置23、入力装置24、および表示装置25を有し、それらがバス26に接続されている。記憶装置23は、書込みおよび読み出しが可能にデータを記憶するものであって、この記憶装置23によって、図1に示した記憶部11が実現される。プロセッサ21は、記憶装置23に記憶された試験データをメインメモリ22に読み出し、メインメモリ22を利用してソフトウェアプログラムの処理を実行するプロセッサである。プロセッサ21によって、図1に示した前提知識判別部12、問題文長算出部13、回答形式特定部14、影響度評価部15、および所要時間算出部16が実現される。入力装置24は、キーボードやマウスなどオペレータによる操作入力による情報を受け付ける装置であり、入力された情報はプロセッサ21にてソフトウェア処理に利用される。例えば、試験データは入力装置24を介して記憶装置23に入力される。表示装置25は、プロセッサ21によるソフトウェア処理に伴って画像やテキストの情報をディスプレイ画面に表示する装置である。
以下、試験問題解析システム10が実行する具体的な処理について説明する。
本実施形態にて対象とされる試験には様々な回答形式の試験問題が含まれている。代表的な回答形式として、正誤問題、択一式問題、組合せ問題、選択式問題、計算問題、個数問題、記述式問題がある。同じ分野の知識に関する問題であっても回答形式により正解の導きやすさが変わる可能性がある。回答形式により試験問題の正解の導き出しやすさが変わるので、回答形式は試験問題の合格影響度を定める要因となりうる。
試験問題の回答形式により試験問題の問題文の形式もある程度定まっている。したがって、回答形式特定部14は、対象問題の問題文テキストを解析し、回答形式毎の所定の条件に該当するか否か判定することにより、対象問題がどの回答形式のものであるかを判別することができる。
以下、各回答形式の試験問題の例を示す。
図3は、正誤問題の一例を示す図である。
正誤問題は、ある事項が正しいあるいはそれに準ずるものであるか、誤っているあるいはそれに準ずるものであるかを答えさせる二者択一の問題である。図3には、一例として、与えられた文章が正しいあるいは適切なものであるか、その文章が誤っているあるいは不適切なものであるかを答えさせる正誤問題が示されている。正誤問題は、回答が二者択一であり、問題文に、「正しい」という語句あるいはそれに準ずる所定の語句、および/または、「誤っている」あるいはそれに準ずる所定の語句が含まれているという特徴がある。図3に示した正誤問題における「適切な」は「正しい」に準ずる語句の例である。また、「不適切な」は「誤っている」の準ずる語句の例である。
図4は、択一式問題の一例を示す図である。
択一式問題は、所定個の文章(肢文)を選択肢として有し、その選択肢の中から1つの正解であるもの(正解肢)を選択させる問題である。選択肢の個数(肢数)としては、試験によって、例えば、四肢、五肢、六肢などがある。図4には、一例として、5個の選択肢の文章(肢文)のうちいずれが正しいかを答えさせる択一式問題が示されている。正しいものが正解肢となる。他の例としては、複数の肢文の中から誤っている1つの肢文を答えさせる択一式問題もある。その場合には、誤っているものが正解肢となる。択一式問題は、問題文に複数の肢文を含み、その肢文自体が回答の選択肢となっているという特徴がある。
また法律に関連する試験などの択一式問題の選択肢には、知識問題選択肢、事例問題選択肢、および判例問題選択肢がある。事例問題選択肢は、具体的な事例について問う選択肢である。事例問題選択肢は、事例問題に登場する所定の主体を示す単語(事例主体用語)が問題文に含まれているという特徴がある。法律に関する試験に登場する典型的な事例主体用語として、甲、乙、丙、丁、A社、B社、C社、D社などがある。判例問題選択肢は、特定の判例に関する理解について問う選択肢である。判例問題選択肢は、特定の判例に特有の語句あるいは語句の組合せが問題文に含まれているという特徴がある。知識問題選択肢は、特定の事項に関する知識を問う選択肢である。判例問題選択肢にも事例問題選択肢にも該当しない問題は知識問題選択肢と推定することができる。
図5は、組合せ問題の一例を示す図である。
組合せ問題は、複数個の肢文についての複数の組合せを選択肢として有し、その選択肢の中から、問題文で与えられた条件に該当する肢文の組合せを選択させる問題である。ここでいう組合せには、0個の場合および1個の場合も含まれる。図5には、一例として、ア、イ、ウという3つの事項について1、2、3、4という4つの組合せを選択肢とし、その選択肢の中から、誤っているものの組合せを選択させる組合せ問題が示されている。組合せ問題は、問題文に複数の肢文を有し選択肢の各々が0個以上の肢文の組合せとなっているという特徴がある。
図6は、選択式問題の一例を示す図である。
選択式問題は、問題文に複数の空欄があり問題文とは別にそれらの空欄に当てはまる語句を含む複数の語句が選択肢として与えられ、各空欄に当てはまる語句を選択肢の中から選択させる問題である。図6には、一例として、問題文にア、イ、ウ、エという4つの空欄があり、それら空欄に当てはまる語句を、1〜20という20個の選択肢から選択させる問題が示されている。選択式問題は、複数の空欄を含んだ問題文と空欄に当てはまる語句の候補を選択肢として羅列した部分とあるという特徴がある。
図7は、計算問題の一例を示す図である。
計算問題は、問題文の条件に従って数値計算を行い、正解を導く問題である。図7には、一例として、1〜4という4つの金額が選択肢として与えられており、問題文にて要求された金額を計算し、計算結果の金額と一致する選択肢を選択させる問題が示されている。計算問題は、回答の選択肢の各々に数値が含まれ、問題文にも計算に用いる数値が含まれているという特徴がある。
図8は、個数問題の一例を示す図である。
個数問題は、問題文に複数個の肢文を有し、複数個の肢文の個数を選択肢として有し、その選択肢の中から、問題文で与えられた条件に該当する肢文の個数を選択させる問題である。ここでいう個数には0個も含まれる。図8には、一例として、問題文にア、イ、ウという3つの肢文を有し、1(1つ)、2(2つ)、3(3つ)、4(なし)という4つの選択肢を有し、3つの肢文のうち誤っているものがいくつあるかを、選択肢の中から選択させる個数問題が示されている。個数問題は、複数の選択肢の各々が複数の肢文に対応する記号の組合せとなっているという特徴がある。ここでいう記号は各肢文を識別するものであればなんでも良く、例えば、数字、アルファベット、片仮名、平仮名、漢字、図形などでよい。
図9は、記述式問題の一例を示す図である。
記述式問題は、問題文に基づいて所定の事項について記述させる問題である。図9には、一例として、問題文にて要求される事項について、所定文字数程度の文章で記述させる記述式問題が示されている。記述式問題は、文章で記述することを要求する所定の語句が含まれているという特徴がある。図8に示した問題文における「記述しなさい」は、文章で記述することを要求する所定の語句の例である。他の例として、「記述せよ」「論述しなさい」「説明しなさい」などがある。
図10は、試験問題解析システムが実行する全体処理の一例を示すフローチャートである。
まずステップ101にて前提知識判別部12が前提知識判別処理を実行する。前提知識判別処理は、対象問題を解くのに要する前提知識の知識分野を判別する処理である。この処理により、対象問題がどの知識分野を前提とした問題か、すなわち、どの知識分野の知識の有無を問う問題かが特定される。前提知識判別処理の詳細は図11を参照して後述する。
次にステップ102にて問題文長算出部13が問題文長算出処理を実行する。問題文長算出処理は、対象問題の問題文長を判別する処理である。問題文長は問題文の長さである。問題文長を表す単位は特に限定されないが、例えば、文字数、単語数、行数などで表現されうる。文字数で表現する場合、問題文長算出部13は、問題文に含まれる文字の個数をカウントすればよい。
図11は、試験問題情報の一例を示す図である。試験問題情報40には、試験問題の問題番号41に対応付けて、該当知識分野42、問題文長43、回答形式44、所要時間454、および合格影響度46が登録される。本ステップ102では、試験問題情報40に、対象問題の問題番号41に対応付けて問題文長43が登録される。
次にステップ103にて回答形式特定部14が回答形式特定処理を実行する。回答形式特定処理は、対象問題の回答形式を特定する処理である。回答形式には、上述した、正誤問題、択一式問題、組合せ問題、選択式問題、計算問題、個数問題、記述式問題があり、択一式問題には更に判例問題、事例問題、知識問題がある。回答形式特定処理の詳細は図14を参照して後述する。この処理により対象問題の回答形式が特定される。
次にステップ104にて影響度評価部15が影響度評価処理を実行する。影響度評価処理は、対象問題の合格影響度を評価する処理である。例えば合格影響度を決定すればよい。合格影響度の表現は特に限定されないが、例えば、数値によるスコア、ランク付けなどにより表現することができる。合格影響度は、対象問題の前提知識の知識分野、問題文長、回答形式に基づいて、あるいは更に所要時間に基づいて決定することができる。影響度評価処理の詳細は図15を参照して後述する。
図12は、前提知識判別処理の一例を示すフローチャートである。
前提知識判別部12は、記憶部11から対象問題テキストを取得して解析することにより、対象問題に含まれている分野関連用語を抽出する。
分野関連用語とは、各知識分野の試験問題に登場する用語である。前提知識判別部12は、各知識分野の分野関連用語を予め定めた知識分野情報を管理している。図13は、知識分野情報の一例を示す図である。知識分野情報30は、知識分野31に対応付けて、用語数32と、分野関連用語33と、知識難易度34とが登録されたテーブルである。用語数32は、対応する知識分野に関連する用語の個数を示す。分野関連用語33は、対応する知識分野に関連する用語を示す。知識難易度34は、対応する知識分野の知識を習得の難易度を示す。ここでは一例として知識難易度が10段階で示されているものとする。例えば、知識分野「1」には「abb」、「acc」、「add」、「aee」という4個の分野関連用語33が設定されている。知識分野「1」の知識難易度は「4」である。同様に、知識分野「2」には「bcc」、「bdd」、「bee」、「bff」、「bgg」、「bhh」、「bii」という7個の分野関連用語33が設定されている。知識分野「2」の知識難易度は「7」である。
具体的には、前提知識判別部12は、対象問題に登場する単語と知識分野情報30にて各知識分野に対応づけられた分野関連用語とを照合し、対象問題に登場する各知識分野の分や関連用語を抽出する。
次に、前提知識判別部12は、ステップ201の照合結果に基づいて、当該試験問題が各知識分野の問題である可能性がどの程度であるかについての指標として分野スコアを算出する(ステップ202)。一例として、知識分野Xの分野スコアは式(1)により算出される。
知識分野Xの分野スコアS=(ST/N)×N ・・・(1)
ここでSTは一定値であり、全知識分野に共通する値が用いられる。Nxは知識分野Xに設定されている全体の分野関連用語の個数すなわち用語数32である。Nmは、対象問題に含まれている知識分野Xの分野関連用語の個数である。
各知識分野間でトータルのスコアが一定となるように、一定値STを当該知識分野Xの用語数Nxで割った値を個々の分野関連用語33のスコアとして各分野関連用語33に均等に分配し、対象問題に含まれている分野関連用語33のスコアを積算した値が当該対象問題の当該知識分野Xに対する分野スコアとなる。例えば、対象問題に知識分野Aに関連する「abb」および「acc」という2つの分野関連用語33が含まれていた場合、当該対象問題の知識分野「1」に対する分野スコアSは、S=(ST/4)×2=ST/2となる。
次に、前提知識判別部12は、ステップ202で算出した各知識分野の分野スコアを基に、当該対象問題が該当する知識分野(該当知識分野)を特定する(ステップ203)。例えば、分野スコアが所定の閾値を越えている知識分野を、当該対象問題の該当知識分野としてもよい。当該対象問題の該当知識分野は複数であってもよい。
次に、前提知識判別部12は、ステップ203で特定した対象問題の該当知識分野を試験問題情報40に登録する。本ステップ203では、図11に例示した試験問題情報40に、対象問題の問題番号41に対応付けて該当知識分野42が登録される。
図14は、回答形式特定処理の一例を示すフローチャートである。
まずステップ301にて、回答形式特定部14は、対象問題が正誤問題であるか否か判定する。図3に例示した正誤問題には、回答が二者択一であり、問題文に、「正しい」という語句あるいはそれに準ずる所定の語句、および/または、「誤っている」あるいはそれに準ずる所定の語句が含まれているという特徴がある。回答形式特定部14は対象問題の問題文テキストを解析し、対象問題の問題文テキストに正誤問題の特徴が含まれているか否か判定する。問題文テキストに正誤問題の特徴が含まれていれば、対象問題は正誤問題であると判断できる。対象問題が正誤問題であれば回答形式特定部14はステップ309に進んで、試験問題情報40に、対象問題の問題番号41に対応する回答形式44に「正誤問題」を登録する。
ステップ301にて対象問題が正誤問題でなければ、ステップ302にて、回答形式特定部14は、対象問題が択一式問題であるか否か判定する。図4に示した択一式問題には、問題文に複数の肢文を含み、その肢文自体が回答の選択肢となっているという特徴がある。回答形式特定部14は、対象問題の問題文テキストに択一式問題の特徴が含まれているか否か判定する。問題文テキストに択一式問題の特徴が含まれていれば、対象問題は択一式問題であると判断できる。対象問題が択一式問題であれば回答形式特定部14はステップ303に進む。
ステップ303では、回答形式特定部14は、択一式問題である対象問題の各選択肢が判例問題選択肢、事例問題選択肢、知識問題選択肢のいずれであるか判定する。判定問題選択肢には、特定の判例に特有の語句あるいは語句の組合せが問題文に含まれているという特徴がある。事例問題は、事例主体用語が問題文に含まれているという特徴がある。回答形式特定部14は、問題文テキストに判例問題の特徴が含まれていれば対象問題は判例問題であると判断し、問題文テキストに事例問題の特徴が含まれていれば対象問題は事例問題であると判断し、問題文テキストに判例問題の特徴も事例問題の特徴も含まれていなければ対象問題は知識問題であると判断する。その後、回答形式特定部14は、ステップ309に進んで、試験問題情報40に、対象問題の問題番号41に対応する回答形式44に「択一式問題」を登録する。また、回答形式特定部14は、択一式問題の各選択肢が、判例問題選択肢であるか、事例問題選択肢であるか、知識問題選択肢であるかを記録する。
ステップ302にて対象問題が択一式問題でなければ、ステップ304にて、回答形式特定部14は、対象問題が組合せ問題であるか否か判定する。図5に例示した組合せ問題には、問題文に複数の肢文を有し選択肢の各々が0個以上の肢文の組合せとなっているという特徴がある。回答形式特定部14は、対象問題の問題文テキストに組合せ問題の特徴が含まれているか否か判定する。問題文テキストに組合せ問題の特徴が含まれていれば、対象問題は組合せ問題であると判断できる。対象問題が組合せ問題であれば回答形式特定部14はステップ309に進んで、試験問題情報40に、対象問題の問題番号41に対応する回答形式44に「組合せ問題」を登録する。
ステップ304にて対象問題が組合せ問題でなければ、ステップ305にて、回答形式特定部14は、対象問題が選択式問題であるか否か判定する。図6に例示した選択式問題には、複数の空欄を含んだ問題文と空欄に当てはまる語句の候補を選択肢として羅列した部分とあるという特徴がある。回答形式特定部14は、対象問題の問題文テキストに選択式問題の特徴が含まれているか否か判定する。問題文テキストに選択式問題の特徴が含まれていれば、対象問題は選択式問題であると判断できる。対象問題が選択式問題であれば回答形式特定部14はステップ309に進んで、試験問題情報40に、対象問題の問題番号41に対応する回答形式44に「選択式問題」を登録する。
ステップ305にて対象問題が選択式問題でなければ、ステップ306にて、回答形式特定部14は、対象問題が計算問題であるか否か判定する。図7に例示した計算問題には、回答の選択肢の各々に数値が含まれ、問題文にも計算に用いる数値が含まれているという特徴がある。回答形式特定部14は、対象問題の問題文テキストに計算問題の特徴が含まれているか否か判定する。問題文テキストに計算問題の特徴が含まれていれば、対象問題は計算問題であると判断できる。対象問題が計算問題であれば回答形式特定部14はステップ309に進んで、試験問題情報40に、対象問題の問題番号41に対応する回答形式44に「計算問題」を登録する。
ステップ306にて対象問題が計算問題でなければ、ステップ307にて、回答形式特定部14は、対象問題が個数問題であるか否か判定する。図8に例示した個数問題には、複数の選択肢の各々が複数の肢文に対応する記号の組合せとなっているという特徴がある。回答形式特定部14は、対象問題の問題文テキストに個数問題の特徴が含まれているか否か判定する。問題文テキストに個数問題の特徴が含まれていれば、対象問題は個数問題であると判断できる。対象問題が個数問題であれば回答形式特定部14はステップ309に進んで、試験問題情報40に、対象問題の問題番号41に対応する回答形式44に「個数問題」を登録する。
ステップ307にて対象問題が個数問題でなければ、ステップ308にて、回答形式特定部14は、対象問題が記述式問題であるか否か判定する。図9に例示した記述問題には、文章で記述することを要求する所定の語句が含まれているという特徴がある。回答形式特定部14は、対象問題の問題文テキストに記述式問題の特徴が含まれているか否か判定する。問題文テキストに記述式問題の特徴が含まれていれば、対象問題は記述式問題であると判断できる。対象問題が記述式問題であれば回答形式特定部14はステップ309に進んで、試験問題情報40に、対象問題の問題番号41に対応する回答形式44に「記述式問題」を登録する。
ステップ308にて対象問題が記述式問題でなければ、回答形式特定部14は、対象問題の回答形式がいずれにも該当しなかった旨のエラーを出力する。
図15は、影響度評価処理の一例を示すフローチャートである。
本実施形態では、合格影響度には、試験に合格するために対象問題を正解することが求められる度合いが高い方からレベルA、B、C、Dという4段階がある。レベルDは、正解しなくても合格が可能と想定される問題である。レベルCは、正解の確率が1/2近傍と想定される問題である。レベルBは、合格するには正解すべきと想定される難問である。レベルAは、合格するには正解すべきと想定される易問である。影響度評価部15は、対象試験がどのレベルに該当するか決定する。
このように、試験問題を、正解しなくても合格が可能と想定される問題、正解の確率が1/2近傍と想定される問題、合格するには正解すべきと想定される難問、合格するには正解すべきと想定される易問という4つのレベルに分類できるので、合格に向けた勉強への利用に有益な情報を提供することができる。
資格試験などの試験において、超難問や奇問などと言われる、合格者を含めてほとんど全ての受験者が解けないような問題が出題されることがある。そのような問題を他の問題と同様に扱って勉強するのは合格に向けた勉強としては効果的でない場合がある。レベルDは正解しなくても合格が可能な試験対策の勉強における優先度の低い問題である。それ以外のレベルA〜Cは合格するには正解すべき勉強の必要性の高い問題である。勉強の必要性の高い問題に関する勉強において、3段階に分けたレベルが受験者の学力に合わせた勉強や受験指導に有益な情報となる。
正解できなくても合格が可能で勉強の優先度の低いレベルDを除いた3段階のレベル分けというのは、勉強を段階的に進める上で有効な段階数の一例である。レベルA〜Cの3段階のレベルは段階的に勉強を進める上で有益な情報となる。
図15を参照すると、まずステップ401にて、影響度評価部15は、対象問題の出題頻度を評価する。対象問題の前提知識に対応する知識分野から試験問題が出題されていない期間が所定の期間閾値を越えていれば、対象問題をレベルDと決定する。一般に多くの受験者は長期にわたり出題されていない知識分野を勉強の対象から除いたり、優先度を下げることが多い。そのため長期にわたり出題されていない知識分野の問題については、多くの受験者は、その前提知識を知らないため正解できないことが想定される。そのような知識分野からの試験問題は合否への影響が小さいと推定できる。
次にステップ402にて、影響度評価部15は、対象問題の該当知識分野の知識難易度を評価する。対象問題の該当知識分野は、図11に例示した試験問題情報40を参照することにより知得することができる。対象問題の該当知識分野は1つとは限らず複数である場合もある。該当知識分野の知識難易度は、図13に例示した知識分野情報30を参照することにより、知得することができる。図13に示すように、知識分野31のそれぞれについて、当該知識分野31の知識の習得の難易度を示す知識難易度34が予め設定されている。一例として、各知識分野の知識難易度は予め講師などが設定しておくことにしてもよい。あるいは、教材における当該知識分野の分量に基づいて知識難易度を自動設定してもよい。例えばテキストのページ数が多い知識分野は知識難易度が高いとしてもよい。あるいはeラーニングの時間が長い知識分野は知識難易度が高いとしてもよい。
影響度評価部15は、対象問題の該当知識分野から出題されていない期間が期間閾値以下であれば、該当知識分野の知識難易度に応じて対象問題の合格影響度を設定する。このように対象問題の該当知識分野の知識の習得の難易度を合格影響度に反映させるので、習得すべき知識分野の知識を習得するための勉強に有益な知識難易度を反映した情報を提供することができる。
具体的には、影響度評価部15は、対象問題の該当知識分野の最大値を所定の知識難易度閾値と比較することにより、対象問題の合格影響度をレベルA、B、Cのいずれかに分類する。上述したように、レベルCは、正解の確率が1/2近傍と想定される問題であり、レベルBは、合格するには正解すべきと想定される難問であり、レベルAは、合格するには正解すべきと想定される易問である。知識難易度閾値は、対象問題がそれらレベルA、B、Cに適切に分類されるように予め設定しておく。具体的には、知識難易度が高ければ合格影響度が低くなるようにするとよい。知識難易度が高いほど多くの受験者がその知識分野の知識を習得していない可能性が高まることが想定されるからである。
なお、ここで設定する合格影響度は、最終決定されたものではない。後述するように、問題文長および回答形式に基づいて調整される。
続いてステップ403にて、影響度評価部15は、対象問題の問題文長を評価する。具体的には、影響度評価部15は、対象問題に設定されている合格影響度がレベルAである場合、対象問題の問題文長が所定の問題文長閾値を越えていれば、対象問題の合格影響度をレベルBに調整する。知識難易度の低い知識分野から出題された問題でも、問題文が長くなれば、問題文における前提知識を対応付ける箇所の個数が増え、出題者の意図を把握するのが難しくなる。一方、前提として知っておくべき知識の量が多く相互の関係が複雑であるなど、前提知識の知識難易度の高い分野の問題は性質が異なる。前提知識の知識難易度の高い分野の問題は、予め知識の難易度に合った影響度が設定されていれば、知識と問題の関係の複雑さは既に考慮済みとなるので、更に問題文が長かったとしても、必ずしも更に急激に難易度が上がり影響度が下がるというものではない。このような性質を踏まえ、本態様では、レベルAの対象問題に限り、問題文長が所定の問題文長閾値を越えていれば影響度をレベルBに変更するという処理を行って影響度の妥当性の向上を図っている。
続いてステップ404にて、影響度評価部15は、回答形式別評価処理を実行する。回答形式別評価処理は、対象問題の回答形式に応じて、対象問題の合格影響度を評価する処理である。試験問題には様々な回答形式のものがある。回答形式により正解を導くことの難しさが異なる。回答形式によっては、関連する全ての知識を正確に理解し記憶していなければ正解を導くことが難しい問題がある。その一方で、関連する一部の知識を理解し記憶していれば、消去法等により正解を導ける問題もある。このような回答形式の違いを合格影響度に反映させることができる。回答形式別評価処理の詳細は図16を参照して後述する。
続いてステップ405にて、影響度評価部15は、所要時間により対象問題の合格影響度を評価する。ここでは、対象試験の合格影響度にその対象試験の正解を導くのに要する所要時間を反映させる例を示す。
その場合、所要時間算出部16は、対象試験の所要時間を算出する。所要時間の算出は予め行っておいてもよい。
所要時間算出部16は、試験に取り組んだ受験者のうち対象問題を正解した受験者が対象問題に要した時間である正解時間を取得し、正解時間に基づいて所要時間を算出し、図11に例示した試験問題情報40に所要時間45として登録する。具体的には、例えば、所要時間算出部16は、正解時間の平均値を所要時間としてもよい。正解時間は、例えば、当該試験の問題を提供するeラーニングシステムから取得可能である。通常、eラーニングシステムから取得できるのは、受験勉強の途中段階の受験者の試験結果であるため、正解率は本試験のものと乖離する可能性がある。しかし、正解した受験者の所要時間(正解時間)については本試験での時間に近い値が得られると想定される。なお、対象問題の所要時間は、合格影響度の算出に利用可能であるだけでなく、単独でも受験勉強や受験指導に利用可能な有益な情報である。
影響度評価部15は、対象問題に設定されている合格影響度を、その対象問題の所要時間に応じて調整する。所定時間内に所定数の試験問題を解くことが求められる試験において、他の試験問題に対して所要時間が長い試験問題は、受験者は試験時にその試験問題を後回しにする場合がある。そのため所要時間が長い試験問題は合格影響度が低いと想定される。本例によれば、そのような所要時間を合格影響度に反映させることができる。
図16は、回答形式別評価処理のフローチャートである。
ステップ501にて、影響度評価部15は、対象問題が択一式問題であるか否か判定する。対象問題が択一式問題であるか否かは、回答形式特定部14による処理結果から判定することができる。
対象問題が択一式問題であれば、影響度評価部15は、ステップ502にて、択一式問題に含まれる各選択肢を評価する。その際、影響度評価部15は、各選択肢の選択肢種別に基づいて、当該選択肢の合格影響度を判定する。各選択肢の選択肢種別は回答形式特定部14の処理結果から知得することができる。影響度評価部15は、予め設定されている合格影響度判定情報を参照して、各選択肢の選択肢種別に対応する合格影響度を特定する。
図17は、合格影響度判定情報の一例を示す図である。合格影響度判定情報50は、対象問題の回答形式あるいは選択肢の選択肢種別51に対応付けて、合格影響度52が登録されたテーブルである。対象問題が択一式問題であれば選択肢種別毎に合格影響度が設定され、択一式問題でなければ回答形式毎に合格影響度が設定される。
図17の例では、択一式問題の知識問題選択肢の合格影響度はA以上であると設定されている。択一式問題の低度事例問題選択肢の合格影響度はB以上であると設定されている。択一式問題の判例問題選択肢の合格影響度はB以上であると設定されている。択一式問題の高度事例問題選択肢の合格影響度はC以上であると設定されている。
当該選択肢に設定されている合格影響度が、合格影響度判定情報50に「〇以上」と設定されている合格影響度「〇」より低い場合には、当該選択肢の合格影響度は「〇」に変更される。例えば、当該選択肢が択一式問題の低度事例問題選択肢でありその合格影響度がAに設定されている場合には、合格影響度はBに変更される。
事例問題の選択肢は、前提知識を知っているかどうかが問われる知識問題選択肢と異なり、前提知識を問題に当て嵌める必要があるため、前提知識を知っているだけで解ける簡単な問題ではない。そのため、事例問題選択肢は、知識問題選択肢よりも合格影響度を下げて妥当性を確保している。また、事例問題選択肢の中でも登場する主体が多い高度事例問題選択肢の方が、登場する主体の少ない低度事例問題選択肢よりも当て嵌めを行う箇所が多いので、より合格影響度を下げて妥当性を確保している。このような性質を踏まえ、本態様では、低度事例問題選択肢をレベルBとし、高度事例問題選択肢をレベルCとし、合格影響度の妥当性の確保を図っている。
続いて、影響度評価部15は、ステップ503にて、択一式問題総合評価処理を実行する。択一式問題総合評価処理は、択一式問題である対象問題の合格影響度を、その対象問題に含まれてる各選択肢の合格影響度に基づいて設定する処理である。択一式問題総合評価処理の詳細は図18および図19を参照して後述する。
ステップ501にて対象問題が択一式問題でなければ、影響度評価部15は、ステップ504にて対象問題の合格影響度を評価する。その際、影響度評価部15は、予め設定されている合格影響度判定情報50を参照して、対象問題の回答形式に対応する合格影響度を特定する。
図17の例では、正誤問題の合格影響度はA以上であると設定されている。組合せ問題の合格影響度はB以上であると設定されている。選択式問題の合格影響度はB以上であると設定されている。計算問題の合格影響度はC以上であると設定されている。個数算問題の合格影響度はC以上であると設定されている。記述式問題の合格影響度はC以上であると設定されている。
対象問題に設定されている合格影響度が、合格影響度判定情報50に「〇以上」と設定されている合格影響度「〇」より低い場合には、対象問題の合格影響度は「〇」に変更される。例えば、対象問題が組合せ問題でありその合格影響度がAに設定されている場合には、合格影響度はBに変更される。
すなわち、影響度評価部15は、対象問題の前提知識および問題文長により設定された合格影響度がレベルAであり、対象問題が組合せ問題または選択式問題であれば、対象問題をレベルBに変更する。対象問題の前提知識および問題文長により設定された合格影響度がレベルAまたはレベルBであり、対象問題が計算問題、個数問題、または記述式問題のいずれかであれば、対象問題をレベルCに変更する。回答形式により調整した妥当な合格影響度を提供することができる。
図18は、択一式問題総合評価処理の判定論理情報の一例を示す図である。図19は、択一式問題総合評価処理の一例を示すフローチャートである。
択一式問題総合評価は、択一式問題の合格影響度を各選択肢の合格影響度に基づく総合評価により設定する処理である。総合評価は図18に示した判定論理情報により行われる。
択一式問題は、全ての選択肢について確実に正しい判断ができない場合には、消去法で選択肢を絞り込んでいくことにより正解を導くこととなる。したがって、消去法による選択肢の絞り込みの容易さにより択一式問題の正解を導くことの容易さが変わる。本実施形態では、どの程度絞り込みができるかと総合評価とを対応づける。
図18に示すように、判定論理情報60には、対象問題の選択肢が該当するか否か判定する条件(条件内容62)と、当該条件に該当した対象問題の合格影響度(総合評価63)とを対応付けて、条件番号61を付与して設定されている。本例では条件番号61が小さい順に判断するものとなっている。
条件番号=1の条件では、条件内容「レベルAかつ正解肢である選択肢が含まれている」に該当する対象問題の総合評価としての合格影響度がAである。条件番号=2の条件では、条件内容「レベルAかつ不正解肢である選択肢が選択肢の総個数より1個少ない個数だけ含まれている」に該当する対象問題の総合評価としての合格影響度がAである。条件番号=3の条件では、条件内容「絞り込み条件2に該当せず、レベルBかつ正解肢である選択肢が含まれている」に該当する対象問題の総合評価としての合格影響度がBである。条件番号=4の条件では、条件内容「絞り込み条件1、3に該当せず、レベルAまたはBかつ不正解肢である選択肢が選択肢の総個数より1個少ない個数だけ含まれている」に該当する対象問題の総合評価としての合格影響度がBである。条件番号=5の条件では、条件内容「絞り込み条件2、4に該当せず、レベルCかつ正解肢である選択肢が含まれている」に該当する対象問題の総合評価としての合格影響度がCである。条件番号=6の条件では、条件内容「絞り込み条件1〜5のいずれにも該当せず、レベルAまたはBかつ不正解肢である選択肢が選択肢の総個数よりも2個少ない個数だけ含まれている」に該当する対象問題の総合評価としての合格影響度がCである。条件番号=7の条件では、条件内容「絞り込み条件1〜6のいずれにも該当しない」に該当する対象問題の総合評価としての合格影響度がDである。
図19の択一式問題総合評価処理は一連のフロチャートにより実現している。
まずステップ601にて、影響度評価部15は、対象問題が絞り込み条件1に該当するか否か判定する。影響度評価部15は、対象問題が絞り込み条件1に該当したらステップ603にて対象問題の合格影響度をAとする。
対象問題が絞り込み条件1に該当しなければ、影響度評価部15は、次にステップ602にて、対象問題が絞り込み条件2に該当するか否か判定する。影響度評価部15は、対象問題が絞り込み条件2に該当したらステップ603にて対象問題の合格影響度をAとする。
対象問題が絞り込み条件2に該当しなければ、影響度評価部15は、次にステップ604にて、対象問題が絞り込み条件3に該当するか否か判定する。影響度評価部15は、対象問題が絞り込み条件3に該当したらステップ606にて対象問題の合格影響度をBとする。

対象問題が絞り込み条件3に該当しなければ、影響度評価部15は、次にステップ605にて、対象問題が絞り込み条件4に該当するか否か判定する。影響度評価部15は、対象問題が絞り込み条件4に該当したらステップ606にて対象問題の合格影響度をBとする。
対象問題が絞り込み条件4に該当しなければ、影響度評価部15は、次にステップ607にて、対象問題が絞り込み条件5に該当するか否か判定する。影響度評価部15は、対象問題が絞り込み条件5に該当したらステップ609にて対象問題の合格影響度をCとする。
対象問題が絞り込み条件5に該当しなければ、影響度評価部15は、次にステップ608にて、対象問題が絞り込み条件6に該当するか否か判定する。影響度評価部15は、対象問題が絞り込み条件6に該当したらステップ609にて対象問題の合格影響度をCとする。
対象問題が絞り込み条件6に該当しなければ、影響度評価部15は、ステップ610にて対象問題の合格影響度をDとする。
図19の処理を以下のように整理することもできる。
影響度評価部15は、対象問題が、レベルAかつ正解肢である選択肢が択一式問題に含まれているという絞り込み条件1に該当すればその対象問題をレベルAに設定する。影響度評価部15は、対象問題が、レベルAかつ不正解肢である選択肢が択一式問題に選択肢の個数より1個少ない個数だけ含まれているという絞り込み条件2に該当すればその対象問題をレベルAに設定する。影響度評価部15は、対象問題が、絞り込み条件2に該当せず、レベルBかつ正解肢である選択肢が択一式問題に含まれているという絞り込み条件3に該当すればその対象問題をレベルBに設定する。影響度評価部15は、対象問題が、絞り込み条件1にも絞り込み条件3に該当せず、レベルAかつ不正解肢またはレベルBかつ不正解肢である選択肢が択一式問題に選択肢の総個数より1個少ない個数だけ含まれているという絞り込み条件4に該当すればその対象問題をレベルBに設定する。影響度評価部15は、対象問題が、絞り込み条件2にも絞り込み条件4にも該当せず、レベルCかつ正解肢である選択肢が択一式問題に含まれているという絞り込み条件5に該当すればその対象問題をレベルCに設定する。影響度評価部15は、対象問題が、絞り込み条件1〜5のいずれにも該当せず、レベルAかつ不正解肢またはレベルBかつ不正解肢である選択肢が択一式問題に選択肢の総個数より2個少ない個数だけ含まれているという絞り込み条件6に該当すればその対象問題をレベルCに設定する。影響度評価部15は、対象問題が、絞り込み条件1〜6のいずれにも該当しなければその対象問題をレベルDに設定する。択一式問題についてその択一式問題の全体と各選択肢とについて合格影響度を、合格に向けた勉強への利用に有益な情報として提供することができる。
上述した本発明の実施形態は、本発明の説明のための例示であり、本発明の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。
10…試験問題解析システム、11…記憶部、12…前提知識判別部、13…問題文長算出部、14…回答形式特定部、15…影響度評価部、16…所要時間算出部、21…プロセッサ、22…メインメモリ、23…記憶装置、24…入力装置、25…表示装置、26…バス、30…知識分野情報、31…知識分野、32…用語数、33…分野関連用語、34…知識難易度、40…試験問題情報、41…問題番号、42…該当知識分野、43…問題文長、44…回答形式、45…所要時間、46…合格影響度、50…合格影響度判定情報、51…選択肢種別、52…合格影響度、60…判定論理情報、61…条件番号
62…条件内容、63…総合評価

Claims (6)

  1. 合否のある試験の問題を解析する試験問題解析システムであって、
    解析対象となる対象問題の問題文を解析し、該対象問題に対する解答形式を特定する解答形式特定部と、
    前記解答形式に基づいて、前記試験に合格するために前記対象問題を正解することが求められる度合いである合格影響度を評価する影響度評価部と、
    を有し、
    前記合格影響度には、前記試験に合格するために前記対象問題を正解することが求められる度合いが高い方からレベルA、B、C、Dという4段階があり、
    前記レベルDは、正解しなくても合格が可能と想定される問題であり、
    前記レベルCは、正解の確率が1/2近傍と想定される問題であり、
    前記レベルBは、合格するには正解すべきと想定される難問であり、
    前記レベルAは、合格するには正解すべきと想定される易問であり、
    前記解答形式特定部は、
    前記問題文に複数の肢文が含まれ該肢文が解答の選択肢であれば、前記対象問題が複数の選択肢の中から1つの正解肢を選択する択一式問題であると判定し、その場合には、更に、該対象問題の各選択肢について、所定の主体を示す単語が含まれていれば、具体的な事例に対して答えさせる事例問題選択肢であ特定の判例に特有の語句あるいは語句の組合せが含まれていれば、判例に関する理解に基づいて答えさせる判例問題選択肢であり、前記単語も前記語句あるいは前記組合わせも含まれていなければ、特定の事項に関する知識を答えさせる知識問題選択肢であると特定し、
    前記選択肢が事例問題選択肢である場合には、更に、該選択肢が、登場する前記所定の主体の数が2以下の低度事例問題選択肢か、登場する前記所定の主体の数が3以上の高度事例問題選択肢かを特定し、
    前記影響度評価部は、
    前記対象問題の各選択肢について、前記選択肢が知識問題選択肢であれば該選択肢をレベルAとし、前記選択肢が低度事例問題選択肢または判例問題選択肢であれば該選択肢をレベルBとし、前記選択肢が高度事例問題選択肢であれば該選択肢をレベルCとし、前記選択肢が所定の期間閾値を越えて出題されていない知識分野から出題されたものであれば該選択肢をレベルDとし、
    前記対象問題が、レベルAかつ正解肢である選択肢が択一式問題に含まれているという絞り込み条件1に該当すれば該対象問題をレベルAに設定し、
    前記対象問題が、レベルAかつ不正解肢である選択肢が択一式問題に選択肢の個数より1個少ない個数だけ含まれているという絞り込み条件2に該当すれば該対象問題をレベルAに設定し、
    前記対象問題が、前記絞り込み条件2に該当せず、レベルBかつ正解肢である選択肢が択一式問題に含まれているという絞り込み条件3に該当すれば該対象問題をレベルBに設定し、
    前記対象問題が、前記絞り込み条件1にも前記絞り込み条件3に該当せず、レベルAかつ不正解肢またはレベルBかつ不正解肢である選択肢が択一式問題に選択肢の総個数より1個少ない個数だけ含まれているという絞り込み条件4に該当すれば該対象問題をレベルBに設定し、
    前記対象問題が、前記絞り込み条件2にも前記絞り込み条件4にも該当せず、レベルCかつ正解肢である選択肢が択一式問題に含まれているという絞り込み条件5に該当すれば該対象問題をレベルCに設定し、
    前記対象問題が、前記絞り込み条件1〜5のいずれにも該当せず、レベルAかつ不正解肢またはレベルBかつ不正解肢である選択肢が択一式問題に選択肢の総個数より2個少ない個数だけ含まれているという絞り込み条件6に該当すれば該対象問題をレベルCに設定し、
    前記対象問題が、前記絞り込み条件1〜6のいずれにも該当しなければ該対象問題をレベルDに設定する、
    試験問題解析システム。
  2. 合否のある試験の問題を解析する試験問題解析システムであって、
    解析対象となる対象問題の問題文に含まれている所定の用語に基づいて、前記対象問題を解くのに要する前提知識を判別する前提知識判別部と、
    前記対象問題の文の長さである問題文長を算出する問題文長算出部と、
    前記対象問題に対する解答形式を特定する解答形式特定部と、
    前記前提知識と前記問題文長と前記解答形式とに基づいて、前記試験に合格するために前記対象問題を正解することが求められる度合いである合格影響度を評価する影響度評価部と、
    を有し、
    前記合格影響度には、前記試験に合格するために前記対象問題を正解することが求められる度合いが高い方からレベルA、B、C、Dという4段階があり、
    前記レベルDは、正解しなくても合格が可能と想定される問題であり、
    前記レベルCは、正解の確率が1/2近傍と想定される問題であり、
    前記レベルBは、合格するには正解すべきと想定される難問であり、
    前記レベルAは、合格するには正解すべきと想定される易問であり、
    前記前提知識となりうる複数の知識分野が予め設定され、前記知識分野のそれぞれについて、当該知識分野の知識の習得の難易度を示す知識難易度が予め設定されており、
    前記解答形式特定部は、前記対象問題の問題文を解析することにより、
    前記対象問題が、
    問題文に複数の肢文を含み所定の条件に該当する肢文の組合せを選択させる形式であれば、組合せ問題であ
    問題文に複数の空欄があり前記問題文とは別に前記空欄に該当する語句を含む複数の語句が提示され、前記複数の語句から前記空欄に該当する語句を選択させる形式であれば、選択式問題であ
    問題文数値計算の計算結果を選択させる形式であれば、計算問題であ
    問題文に複数の肢文を含み所定の条件に該当する肢文の個数を選択させる形式であれば、個数問題であ
    問題文所定の事項について記述させる形式であれば、記述式問題である、判別し、
    前記影響度評価部は、
    前記対象問題の前提知識に対応する知識分野から出題されていない期間が所定の期間閾値を越えていれば、前記対象問題をレベルDと決定し、前記対象問題の前提知識に対応する知識分野から出題されていない期間が前記期間閾値以下であれば、前記知識分野の知識難易度に応じて前記対象問題の合格影響度を設定し、
    前記対象問題の合格影響度がレベルAである場合、前記対象問題の問題文長が所定の問題文長閾値を越えていれば、前記対象問題の合格影響度をレベルBに調整し、
    前記対象問題の前記前提知識および前記問題文長により設定された合格影響度がレベルAであり、前記対象問題が組合せ問題または選択式問題であれば、前記対象問題をレベルBに変更し、
    前記対象問題の前記前提知識および前記問題文長により設定された合格影響度がレベルAまたはレベルBであり、前記対象問題が計算問題、個数問題、または記述式問題のいずれかであれば、前記対象問題をレベルCに変更する、
    試験問題解析システム。
  3. 合否のある試験の問題を解析するための試験問題解析方法であって、
    解析対象となる対象問題の問題文を解析し、該対象問題に対する解答形式を特定し、
    前記解答形式に基づいて、前記試験に合格するために前記対象問題を正解することが求められる度合いである合格影響度を評価するものであり、
    前記合格影響度には、前記試験に合格するために前記対象問題を正解することが求められる度合いが高い方からレベルA、B、C、Dという4段階があり、
    前記レベルDは、正解しなくても合格が可能と想定される問題であり、
    前記レベルCは、正解の確率が1/2近傍と想定される問題であり、
    前記レベルBは、合格するには正解すべきと想定される難問であり、
    前記レベルAは、合格するには正解すべきと想定される易問であり、
    前記問題文に複数の肢文が含まれ該肢文が解答の選択肢であれば、前記対象問題が複数の選択肢の中から1つの正解肢を選択する択一式問題であると判定し、その場合には、更に、該対象問題の各選択肢について、所定の主体を示す単語が含まれていれば、具体的な事例に対して答えさせる事例問題選択肢であ特定の判例に特有の語句あるいは語句の組合せが含まれていれば、判例に関する理解に基づいて答えさせる判例問題選択肢であ前記単語も前記語句あるいは前記組合わせも含まれていなければ、特定の事項に関する知識を答えさせる知識問題選択肢であると特定し、
    前記選択肢が事例問題選択肢である場合には、更に、該選択肢が、登場する前記所定の主体の数が2以下の低度事例問題選択肢か、登場する前記所定の主体の数が3以上の高度事例問題選択肢かを特定し、
    前記対象問題の各選択肢について、前記選択肢が知識問題選択肢であれば該選択肢をレベルAとし、前記選択肢が低度事例問題選択肢または判例問題選択肢であれば該選択肢をレベルBとし、前記選択肢が高度事例問題選択肢であれば該選択肢をレベルCとし、前記選択肢が所定の期間閾値を越えて出題されていない知識分野から出題されたものであれば該選択肢をレベルDとし、
    前記対象問題が、レベルAかつ正解肢である選択肢が択一式問題に含まれているという絞り込み条件1に該当すれば該対象問題をレベルAに設定し、
    前記対象問題が、レベルAかつ不正解肢である選択肢が択一式問題に選択肢の個数より1個少ない個数だけ含まれているという絞り込み条件2に該当すれば該対象問題をレベルAに設定し、
    前記対象問題が、前記絞り込み条件2に該当せず、レベルBかつ正解肢である選択肢が択一式問題に含まれているという絞り込み条件3に該当すれば該対象問題をレベルBに設定し、
    前記対象問題が、前記絞り込み条件1にも前記絞り込み条件3に該当せず、レベルAかつ不正解肢またはレベルBかつ不正解肢である選択肢が択一式問題に選択肢の総個数より1個少ない個数だけ含まれているという絞り込み条件4に該当すれば該対象問題をレベルBに設定し、
    前記対象問題が、前記絞り込み条件2にも前記絞り込み条件4にも該当せず、レベルCかつ正解肢である選択肢が択一式問題に含まれているという絞り込み条件5に該当すれば該対象問題をレベルCに設定し、
    前記対象問題が、前記絞り込み条件1〜5のいずれにも該当せず、レベルAかつ不正解肢またはレベルBかつ不正解肢である選択肢が択一式問題に選択肢の総個数より2個少ない個数だけ含まれているという絞り込み条件6に該当すれば該対象問題をレベルCに設定し、
    前記対象問題が、前記絞り込み条件1〜6のいずれにも該当しなければ該対象問題をレベルDに設定する、
    ことをコンピュータが実行する試験問題解析方法。
  4. 合否のある試験の問題を解析するための試験問題解析方法であって、
    解析対象となる対象問題の問題文に含まれている所定の用語に基づいて、前記対象問題を解くのに要する前提知識を判別し、
    前記対象問題の文の長さである問題文長を算出し、
    前記対象問題に対する解答形式を特定し、
    前記前提知識と前記問題文長と前記解答形式とに基づいて、前記試験に合格するために前記対象問題を正解することが求められる度合いである合格影響度を評価するものであり、
    前記合格影響度には、前記試験に合格するために前記対象問題を正解することが求められる度合いが高い方からレベルA、B、C、Dという4段階があり、
    前記レベルDは、正解しなくても合格が可能と想定される問題であり、
    前記レベルCは、正解の確率が1/2近傍と想定される問題であり、
    前記レベルBは、合格するには正解すべきと想定される難問であり、
    前記レベルAは、合格するには正解すべきと想定される易問であり、
    前記前提知識となりうる複数の知識分野が予め設定され、前記知識分野のそれぞれについて、当該知識分野の知識の習得の難易度を示す知識難易度が予め設定されており、
    前記対象問題の問題文を解析することにより、前記対象問題が、
    問題文に複数の肢文を含み所定の条件に該当する肢文の組合せを選択させる形式であれば、組合せ問題であ
    問題文に複数の空欄があり前記問題文とは別に前記空欄に該当する語句を含む複数の語句が提示され、前記複数の語句から前記空欄に該当する語句を選択させる形式であれば、選択式問題であ
    問題文数値計算の計算結果を選択させる形式であれば、計算問題であ
    問題文に複数の肢文を含み所定の条件に該当する肢文の個数を選択させる形式であれば、個数問題であ
    問題文所定の事項について記述させる形式であれば、記述式問題である、判別し、
    前記対象問題の前提知識に対応する知識分野から出題されていない期間が所定の期間閾値を越えていれば、前記対象問題をレベルDと決定し、
    前記対象問題の前提知識に対応する知識分野から出題されていない期間が前記期間閾値以下であれば、前記知識分野の知識難易度に応じて前記対象問題の合格影響度を設定し、
    前記対象問題の合格影響度がレベルAである場合、前記対象問題の問題文長が所定の問題文長閾値を越えていれば、前記対象問題の合格影響度をレベルBに調整し、
    前記対象問題の前記前提知識および前記問題文長により設定された合格影響度がレベルAであり、前記対象問題が組合せ問題または選択式問題であれば、前記対象問題をレベルBに変更し、
    前記対象問題の前記前提知識および前記問題文長により設定された合格影響度がレベルAまたはレベルBであり、前記対象問題が計算問題、個数問題、または記述式問題のいずれかであれば、前記対象問題をレベルCに変更する、
    ことをコンピュータが実行する試験問題解析方法。
  5. 合否のある試験の問題を解析するための試験問題解析プログラムであって、
    解析対象となる対象問題の問題文を解析し、該対象問題に対する解答形式を特定し、
    前記解答形式に基づいて、前記試験に合格するために前記対象問題を正解することが求められる度合いである合格影響度を評価するものであり、
    前記合格影響度には、前記試験に合格するために前記対象問題を正解することが求められる度合いが高い方からレベルA、B、C、Dという4段階があり、
    前記レベルDは、正解しなくても合格が可能と想定される問題であり、
    前記レベルCは、正解の確率が1/2近傍と想定される問題であり、
    前記レベルBは、合格するには正解すべきと想定される難問であり、
    前記レベルAは、合格するには正解すべきと想定される易問であり、
    前記問題文に複数の肢文が含まれ該肢文が解答の選択肢であれば、前記対象問題が複数の選択肢の中から1つの正解肢を選択する択一式問題であると判定し、その場合には、更に、該対象問題の各選択肢について、所定の主体を示す単語が含まれていれば、具体的な事例に対して答えさせる事例問題選択肢であ特定の判例に特有の語句あるいは語句の組合せが含まれていれば、判例に関する理解に基づいて答えさせる判例問題選択肢であ前記単語も前記語句あるいは前記組合わせも含まれていなければ、特定の事項に関する知識を答えさせる知識問題選択肢であると特定し、
    前記選択肢が事例問題選択肢である場合には、更に、該選択肢が、登場する前記所定の主体の数が2以下の低度事例問題選択肢か、登場する前記所定の主体の数が3以上の高度事例問題選択肢かを特定し、
    前記対象問題の各選択肢について、前記選択肢が知識問題選択肢であれば該選択肢をレベルAとし、前記選択肢が低度事例問題選択肢または判例問題選択肢であれば該選択肢をレベルBとし、前記選択肢が高度事例問題選択肢であれば該選択肢をレベルCとし、前記選択肢が所定の期間閾値を越えて出題されていない知識分野から出題されたものであれば該選択肢をレベルDとし、
    前記対象問題が、レベルAかつ正解肢である選択肢が択一式問題に含まれているという絞り込み条件1に該当すれば該対象問題をレベルAに設定し、
    前記対象問題が、レベルAかつ不正解肢である選択肢が択一式問題に選択肢の個数より1個少ない個数だけ含まれているという絞り込み条件2に該当すれば該対象問題をレベルAに設定し、
    前記対象問題が、前記絞り込み条件2に該当せず、レベルBかつ正解肢である選択肢が択一式問題に含まれているという絞り込み条件3に該当すれば該対象問題をレベルBに設定し、
    前記対象問題が、前記絞り込み条件1にも前記絞り込み条件3に該当せず、レベルAかつ不正解肢またはレベルBかつ不正解肢である選択肢が択一式問題に選択肢の総個数より1個少ない個数だけ含まれているという絞り込み条件4に該当すれば該対象問題をレベルBに設定し、
    前記対象問題が、前記絞り込み条件2にも前記絞り込み条件4にも該当せず、レベルCかつ正解肢である選択肢が択一式問題に含まれているという絞り込み条件5に該当すれば該対象問題をレベルCに設定し、
    前記対象問題が、前記絞り込み条件1〜5のいずれにも該当せず、レベルAかつ不正解肢またはレベルBかつ不正解肢である選択肢が択一式問題に選択肢の総個数より2個少ない個数だけ含まれているという絞り込み条件6に該当すれば該対象問題をレベルCに設定し、
    前記対象問題が、前記絞り込み条件1〜6のいずれにも該当しなければ該対象問題をレベルDに設定する、
    ことをコンピュータに実行させるための試験問題解析プログラム。
  6. 合否のある試験の問題を解析するための試験問題解析プログラムであって、
    解析対象となる対象問題の問題文に含まれている所定の用語に基づいて、前記対象問題を解くのに要する前提知識を判別し、
    前記対象問題の文の長さである問題文長を算出し、
    前記対象問題に対する解答形式を特定し、
    前記前提知識と前記問題文長と前記解答形式とに基づいて、前記試験に合格するために前記対象問題を正解することが求められる度合いである合格影響度を評価するものであり、
    前記合格影響度には、前記試験に合格するために前記対象問題を正解することが求められる度合いが高い方からレベルA、B、C、Dという4段階があり、
    前記レベルDは、正解しなくても合格が可能と想定される問題であり、
    前記レベルCは、正解の確率が1/2近傍と想定される問題であり、
    前記レベルBは、合格するには正解すべきと想定される難問であり、
    前記レベルAは、合格するには正解すべきと想定される易問であり、
    前記前提知識となりうる複数の知識分野が予め設定され、前記知識分野のそれぞれについて、当該知識分野の知識の習得の難易度を示す知識難易度が予め設定されており、
    前記対象問題の問題文を解析することにより、前記対象問題が、
    問題文に複数の肢文を含み所定の条件に該当する肢文の組合せを選択させる形式であれば、組合せ問題であ
    問題文に複数の空欄があり前記問題文とは別に前記空欄に該当する語句を含む複数の語句が提示され、前記複数の語句から前記空欄に該当する語句を選択させる形式であれば、選択式問題であ
    問題文数値計算の計算結果を解答させる形式であれば、計算問題であ
    問題文に複数の肢文を含み所定の条件に該当する肢文の個数を選択させる形式であれば、個数問題であ
    問題文所定の事項について記述させる形式であれば、記述式問題である、判別し、
    前記対象問題の前提知識に対応する知識分野から出題されていない期間が所定の期間閾値を越えていれば、前記対象問題をレベルDと決定し、
    前記対象問題の前提知識に対応する知識分野から出題されていない期間が前記期間閾値以下であれば、前記知識分野の知識難易度に応じて前記対象問題の合格影響度を設定し、
    前記対象問題の合格影響度がレベルAである場合、前記対象問題の問題文長が所定の問題文長閾値を越えていれば、前記対象問題の合格影響度をレベルBに調整し、
    前記対象問題の前記前提知識および前記問題文長により設定された合格影響度がレベルAであり、前記対象問題が組合せ問題または選択式問題であれば、前記対象問題をレベルBに変更し、
    前記対象問題の前記前提知識および前記問題文長により設定された合格影響度がレベルAまたはレベルBであり、前記対象問題が計算問題、個数問題、または記述式問題のいずれかであれば、前記対象問題をレベルCに変更する、
    ことをコンピュータに実行させるための試験問題解析プログラム。
JP2018230578A 2018-12-10 2018-12-10 試験問題解析システム、方法、およびプログラム Active JP6636602B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018230578A JP6636602B1 (ja) 2018-12-10 2018-12-10 試験問題解析システム、方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018230578A JP6636602B1 (ja) 2018-12-10 2018-12-10 試験問題解析システム、方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019172533A Division JP2020095686A (ja) 2019-09-24 2019-09-24 試験問題解析システム、方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP6636602B1 true JP6636602B1 (ja) 2020-01-29
JP2020095306A JP2020095306A (ja) 2020-06-18

Family

ID=69183774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018230578A Active JP6636602B1 (ja) 2018-12-10 2018-12-10 試験問題解析システム、方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP6636602B1 (ja)

Also Published As

Publication number Publication date
JP2020095306A (ja) 2020-06-18

Similar Documents

Publication Publication Date Title
Wolfe et al. Features of difficult-to-score essays
US10446044B2 (en) Systems and methods for generating automated evaluation models
Ravand et al. Exploring diagnostic capacity of a high stakes reading comprehension test: A pedagogical demonstration
Fitz-Gibbon Education: realising the potential
JP6416425B1 (ja) 問題分析システム、方法、およびプログラム
Jurenka et al. The learning styles of the generation group Z and their influence on learning results in the learning process
US10424217B1 (en) Systems and methods for ability-appropriate text generation
US20130004931A1 (en) Computer-Implemented Systems and Methods for Determining Content Analysis Metrics for Constructed Responses
Grabowski et al. Reliability analysis of instruments and data coding
Cunningham-Nelson et al. Text analysis in education: a review of selected software packages with an application for analysing students’ conceptual understanding
Tavakol et al. Psychometrics for physicians: everything a clinician needs to know about assessments in medical education
JP6636602B1 (ja) 試験問題解析システム、方法、およびプログラム
JP6823330B1 (ja) 試験結果分析システムおよび方法
JP3227380U (ja) 能力診断システム
JP2020095686A (ja) 試験問題解析システム、方法、およびプログラム
JP6437684B1 (ja) 問題作成支援システム、方法、およびプログラム
Templin et al. Applying model-based approaches to identify performance categories
US20150332599A1 (en) Systems and Methods for Determining the Ecological Validity of An Assessment
Sizmur et al. Achievement of 15-Year Olds in Wales: PISA 2018 National Report
JP6616036B1 (ja) 学習支援システム、学習支援方法、および学習支援プログラム
CN110930033A (zh) 一种呈现大学生英语阅读认知诊断报告的方法
Boels Histograms: An educational eye
Sundar et al. Disengagement detection in online learning using Quasi framework
JP6541849B1 (ja) 出題傾向予測システムおよび出題傾向予測方法
Bachtiar et al. An estimation model of english abilities of students based on their affective factors in learning by neural network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190116

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190116

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190425

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190924

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191004

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20191007

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20191008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191218

R150 Certificate of patent or registration of utility model

Ref document number: 6636602

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250