JP6541849B1 - 出題傾向予測システムおよび出題傾向予測方法 - Google Patents

Abstract

【課題】試験の出題予測を良好に支援する技術を提供する。
【解決手段】過去の複数回の試験の複数の問題に関するデータである出題データと、予め定められた複数の候補予測モデル形式のデータとを保持し、少なくとも１回の試験をモデル選択用予測対象とし、モデル選択用予測対象とした試験よりも前の試験の出題データをモデル選択用予測入力とし、複数の候補予測モデル形式について、出題データを学習して構築された候補予測モデルを用いてモデル選択用予測入力からモデル選択用予測対象の出題傾向を予測し、予測された出題傾向とモデル選択用予測対象の実際の出題傾向との類似度の指標を算出し、候補予測モデル形式毎の指標に基づき、未来の試験の出題傾向の予測に用いる適用予測モデル形式を選択し、適用予測モデル形式による適用予測モデルを用いて、過去の試験の出題データを入力とし、未来の試験の出題傾向を予測する。
【選択図】図１

Description

本発明は、定期的に実施される試験の出題傾向を分析する技術に関する。

国家試験等の資格試験は年１回等のように定期的に実施される。他にも年１回〜年数回といったように定期的に実施される試験は多い。そのように定期的に実施される試験の受験指導を行う予備校などでは、本試験に出題される問題を予測するという作業がある。予測結果は受験指導や模擬試験の作成などに利用される。

本試験の出題予測では、予備校講師は、本試験で過去に出題された問題（過去問）を手作業で分野毎に分類し、分類結果から、各分野の出題頻度や出題周期などの過去の出題傾向を抽出し、過去の出題傾向から次回の本試験で出題される分野や問題を予測するということを行っている。そのため、本試験の出題予測は多大な手間のかかる作業となっている。また、本試験の出題予測の精度は予備校講師の経験、能力、および労力に依存し、それらを他の予備校講師に引き継ぐことは難しい。

そのため、作業軽減および品質確保のため本試験の出題予測の作業を、コンピュータを利用したシステムにより支援することが求められる。

特許文献１には、試験対策コンテンツを提供する技術が開示されている。具体的には、受講者に試験対策コンテンツを提示するとき、その提示した試験対策コンテンツと同一または類似する問題が過去の試験において出題されたか否かを受講者に照会して回答を取得し、回答を換算したポイントに基づき本試験の出題を予測する技術が開示されている。

特開２０１１−１９１４５６号公報

特許文献１の技術では、受講者の回答を利用するので受講者の知識や能力に依存することになり客観性および予測精度が十分に得られない可能性がある。

本発明の目的は、試験の出題予測を良好に支援する技術を提供することである。

本発明の１つの態様による出題傾向予測システムは、所定の試験種別に関して過去の複数回の試験について各回の試験に出題された複数の問題に関するデータである出題データと、予め定められた複数の候補予測モデル形式のデータとを保持する記憶部と、前記試験種別について、前記複数回の試験のうち少なくとも１回の試験をモデル選択用予測対象とし、該モデル選択用予測対象について、該モデル選択用予測対象とした試験よりも前に実施された少なくとも１回の試験の出題データを前記モデル選択用予測対象に対応するモデル選択用予測入力とし、前記複数の候補予測モデル形式について、少なくとも一部の出題データを学習して構築された候補予測モデルを用いて前記モデル選択用予測入力から前記モデル選択用予測対象の出題傾向を予測し、前記予測された出題傾向と前記モデル選択用予測対象の実際の出題傾向との類似の度合いを示す指標を算出し、前記候補予測モデル形式毎の前記指標に基づき、未来の試験の出題傾向の予測に用いる適用予測モデル形式を選択する予測手法選択部と、前記適用予測モデル形式により構築された適用予測モデルを用いて、過去の複数回の試験のうち少なくとも１回の試験の出題データを入力とし、未来の試験の出題傾向を予測する本予測処理部と、前記予測された未来の試験の出題傾向を表示する表示部と、を有する。

本発明によれば、各種性質を有する複数の予測モデル形式を候補として予め用意しておき、予測精度が得られる形式の予測モデルを用いて未来の試験の出題傾向を予測するので、資格試験のように定期的にあるいは時系列的に繰り返し実施される試験について客観的でかつ良好な出題傾向の予測を可能としている。

本実施形態による出題傾向予測システムのブロック図である。 全体処理の一例を示すフローチャートである。 試験問題分析処理の一例を示すフローチャートである。 試験問題データの一例を示す図である。 試験毎試験問題データが示す試験毎の試験問題の一例を示す図である。 出題データの一例を示図である。 予測手法選択処理の一例を示すフローチャートである。 候補予測モデル形式データの一例を示す図である。 モデル選択用予測対象の予測された出題傾向の一例を示す図である。 本予測処理の一例を示すフローチャートである。 次回の試験の出題傾向予測した結果の一例を示す図である。 予測結果を表示する画面の一例を示す図である。 出題傾向予測システムのハードウェア構成例を示すブロック図ある。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本実施形態による出題傾向予測システムのブロック図である。出題傾向予測システム１０は、試験問題分析部１１、予測手法選択部１２、本予測処理部１３、表示部１４、および記憶部１５を有している。記憶部１５には、試験問題データ１６、出題データ１８、候補予測モデル形式データ１７、および予測結果１９のデータが格納される。

記憶部１５に格納されている出題データ１８は、所定の試験種別に関して複数回の試験について各回の問題に出題された複数の問題に関するデータである。出題データ１８は、複数の試験種別毎に分けて格納されている。出題傾向予測システム１０により将来の出題傾向を予測する対象の試験種別は予備校講師などのユーザが指定する。試験種別は、資格試験の種類や試験科目といった出題傾向を予測する単位となる試験の種類をいう。例えば、宅地建物取引士資格試験は、５０問の問題を２時間で回答する１つの試験からなるので、その試験全体が１つの試験種別を構成することにしてもよい。また、複数の科目の試験からなるので、その個々の科目が１つの試験種別を構成することにしてもよい。本実施形態では、出題データ１８は、試験問題分析部１１が、過去に実施された各回の試験にて出題された試験問題のデータである試験問題データ１６を分析して分野毎の出題数（以下「出題傾向」ともいう）にまとめたデータである。

また、候補予測モデル形式データ１７は、将来の出題傾向の算出に用いる予測モデルの形式のデータである。例えば、所定の形式の予測モデルの構築および予測の処理を実行するためのソフトウェアである。形式の例として、ＡＲＭＡモデル（自己回帰移動平均モデル）、ＡＲＩＭＡモデル（自己回帰和分移動平均モデル）、ＳＡＲＩＭＡモデル（季節自己回帰和分移動平均モデル）がある。

予測手法選択部１２は、指定された試験種別について、複数回の試験のうち少なくとも１回の試験をモデル選択用予測対象とし、そのモデル選択用予測対象について、そのモデル選択用予測対象とした試験よりも前に実施された少なくとも１回の試験の出題データをモデル選択用予測対象に対応するモデル選択用予測入力とし、複数の候補予測モデル形式について、出題データを学習して構築した候補予測モデルを用いてモデル選択用予測入力からモデル選択用予測対象の出題傾向を予測し、予測された出題傾向とモデル選択用予測対象の実際の出題傾向との類似の度合いを示す指標を算出し、候補予測モデル毎の指標に基づき、未来の試験の出題傾向の予測に用いる適用予測モデル形式を選択する。類似の度合いを示す指標は、例えば、相関係数、決定係数、平均二乗誤差、またはそれらのうち複数の組合せ、または全ての組合せである。相関係数は１に近いほど類似の度合いが高いとすればよい。決定係数も１に近いほど類似の度合いが高いとすればよい。平均二乗誤差は０に近いほど類似の度合いが高いとすればよい。

本予測処理部１３は、選択された適用予測モデル形式により構築された適用予測モデルを用いて、過去の複数回の試験のうち少なくとも１回の試験の出題データを入力とし、次回の試験の出題傾向を予測する。出題傾向の予測結果は予測結果１９として記憶部１５に記録される。

表示部１４は、過去の複数回の試験の出題傾向を出題データ１８から取得し、予測された次回の試験の出題傾向を予測結果１９から取得し、過去から次回までの試験の出題傾向を時系列に表示する。

資格試験などのように年１回あるいは年数回といったように定期的に実施される試験（以下「定期実施試験」という）では、様々な社会環境の変化による影響等により出題傾向も変化する。試験問題の分析を行ってきた受験機関などでは経験的に、次回試験の出題傾向を予測するのに最大でも過去１０〜１５年分程度の出題データを用いることが多い。そのため統計的な解析処理や機械学習を行うのに十分なデータ量の出題データが得られないことがある。また、定期実施試験の出題傾向やその変化は試験種別により異なる。そのため適切な予測モデルを選択し、その予測モデルを用いて過去の出題データから次回の試験の出題傾向を良好に予測するということが難しい。

本実施形態では、それぞれに特徴を有する複数の予測モデル形式を候補として予め用意しておき、その試験種別に応じて比較的高い予測精度が得られる予測モデル形式の適用予測モデルを用いて次回の試験の出題傾向を予測する。これにより、客観的でかつ良好な出題傾向の予測を可能としている。その際、過去の試験の出題データを学習して予測モデルを構築する処理を複数回実行する必要があるが、本実施形態では学習する出題データのデータ量が膨大とならないものであるため、複数回の学習を行っても学習に要する時間は問題となるほど長時間にはならない点も利点といえる。

図２は、全体処理の一例を示すフローチャートである。全体処理は出題傾向予測システムが実行する一連の処理である。

ステップＳ１０１では、試験問題分析部１１が試験問題分析処理を実行する。試験問題分析処理は、過去の各試験の問題を示す試験問題データ１６から、各試験における分野毎の出題数を示す出題データ１８を生成する処理である。試験問題分析処理の詳細は後述する。

ステップＳ１０２では、予測手法選択部１２が予測手法選択処理を実行する。予測手法選択処理は、次回の試験の出題傾向を予測するのに適用する候補として予め用意された予測モデル形式である候補予測モデル形式のいずれかの中から、次回の試験の出題傾向を予測するのに用いる予測モデル形式（適用予測モデル形式）を選択する処理である。予測手法選択処理の詳細は後述する。

ステップＳ１０３では、本予測処理部１３が次回の試験の出題傾向を予測する予測処理（本予測処理）を実行する。本予測処理では、本予測処理部１３は、ステップＳ１０２で選択された適用予測モデル形式を用いて、過去の試験の出題傾向に基づいて次回の試験の出題傾向を予測する。本予測処理の詳細は後述する。

ステップＳ１０４では、表示部１４が表示処理を実行する。表示処理では、表示部１４は、過去の複数回の試験の出題傾向を出題データ１８から取得し、予測された次回の試験の出題傾向を予測結果１９から取得し、過去から次回までの試験の出題傾向を時系列に表示する。過去から次回までの試験の出題傾向を時系列に表示する画面の一例について後述する。

以下、各処理の詳細について説明する。

図３は、試験問題分析処理の一例を示すフローチャートである。試験問題分析処理は試験の問題を分野毎に分類し、分野毎の出題数を算出する処理である。

図４は、試験問題データの一例を示す図である。図４の試験問題データ１６は一例として宅地建物取引士資格試験の問題のデータである。本試験は、１年に１回実施される試験であり、４つの肢から正解の肢を選択する四肢択一式問題が５０問出題される。試験問題データ１６には、２００１年〜２０１７年の各試験の問題のデータ（試験毎試験問題データ２１）が含まれている。

図５は、試験毎試験問題データが示す試験毎の試験問題の一例を示す図である。図５には、２０１７年の試験毎試験問題データ２１により示される試験２９が示されている。例示された問１７を見ると、試験の問題２２は、複数の肢に共通の問題文２３と、複数の肢それぞれ毎の肢文２４とを含んでいる。

図３に戻り、ステップＳ２０１では、試験問題分析部１１は、試験２９の各問題２２の問題文２３および肢文２４に対して形態素解析を行い、形態素を抽出する。形態素はそのまま単語であるものもあるが、連続する複数の単語が複合されて単語となるものもある。

ステップＳ２０２では、試験問題分析部１１は、必要に応じて連続する複数の形態素を複合し、形態素から単語を抽出する。形態素を複合するとき専門用語の辞書を用い、専門用語を生成するようにしてもよい。一般に試験の問題には専門用語が使われる場合があるので、専門分野の辞書を用いて当該専門分野の専門用語を正しく抽出することが有効である。

ステップＳ２０３では、試験問題分析部１１は、問題文２３と肢文２４とから抽出された単語に基づいて問題２２を複数の出題分野に分類する。例えば、各分野に対して、その分野の問題に登場する専門用語などの単語を対応付けておき、問題文および肢文にどの分野に対応する単語が登場したかによって問題を分野毎に分類してもよい。試験問題分析部１１は、１つの肢について、その肢を含む問題の問題文とその肢の肢文とその肢の解説文とに含まれる語句からその肢の特徴量を算出し、１つの問題について、その問題に含まれる複数の肢の特徴量に基づいて、その問題を分類する出題分野を決定することにしてもよい。

ステップＳ２０４では、試験問題分析部１１は、各回の試験についての出題分野毎の問題の個数を示す出題傾向の情報を出題データ１８として記憶部１５に記録する。

図６は、出題データの一例を示図である。出題データ１８は、実施された過去の試験について、大分類および小分類で示される分野に対して各回の試験の出題数が表形式で示されている。図６の例では、試験種別が宅地建物取引士資格試験である。例えば、大分類が１であり、その中の小分類が（１）である分類についてみると、２００１年の試験では４問出題され、２００２年の試験では５問出題され、・・・、２０１５年の試験では４問出題され、２０１６年の試験では４問出題され、２０１７年の試験では５問出題されていることが分かる。２０１７年の試験までは過去の試験であり出題傾向は求まる。この２０１７年までの試験の出題傾向に基づいて次の試験である２０１８年の試験の出題傾向を予測することになる。

図７は、予測手法選択処理の一例を示すフローチャートである。予測手法選択処理は、予め用意した複数の候補予測モデル形式のうち予測精度が高いことが推定されるものにより次回の試験の出題傾向の予測に用いる適用予測モデルを生成する処理である。

図８は、候補予測モデル形式データの一例を示す図である。本実施形態では、候補予測モデル形式データ１７には、ＡＲＭＡモデルデータ４１、ＡＲＩＭＡモデルデータ４２、およびＳＡＲＩＭＡモデルデータ４３が含まれている。ＡＲＭＡモデルは、自己回帰過程と移動平均過程を組み合わせモデルであり、時系列に適用されるモデルである。ＡＲＩＭＡモデルは、ＡＲＭＡモデルに更に和分過程を組み合わせたモデルである。データ系列の前後のデータの差分系列を用いることに相当する。ＳＡＲＩＭＡモデルは、ＡＲＩＭＡモデルに更に周期性を取り入れたモデルであり、周期性を示す季節要素を用いるモデルである。

実際の出題傾向が既に分かっている試験の出題傾向を、それより前に実施された試験の出題傾向に基づいて、これら各候補予測モデルを用いて予測モデルを生成し、各予測モデルを用いて予測された出題傾向と実際に出題傾向とに基づき予測精度を推定し、予測精度の高い予測モデルを適用予測モデルとして選択する。

図７に戻り、ステップＳ３０１では、予測手法選択部１２は、モデル選択用予測対象と、モデル選択用予測入力とを決定する。モデル選択用予測対象には、既に実施され実際の出題傾向が分かっている過去の試験を用いる。例えば、過去の最も新しい試験をモデル選択用予測対象とすればよく、図６の例では２０１７年の試験をモデル選択用予測対象とすればよい。モデル選択用予測入力は、モデル選択用予測対象を予測するための予測モデルに入力する出題データである。例えば、モデル選択用予測対象の試験よりも前に実施された試験の出題データをモデル選択用予測入力とすればよい。例えば、２００７年の試験から２０１６年の試験までの１０年分の出願データをモデル選択用予測入力とすることにしてもよい。

ステップＳ３０２では、予測手法選択部１２は未処理の候補予測モデル形式を１つ選択する。

ステップＳ３０３では、予測手法選択部１２は、候補予測モデル形式により出題データ１８の少なくとも一部を学習して予測モデル（候補予測モデル）を構築する。候補予測モデルを構築するときに学習する出題データには例えばモデル選択用予測対象の試験よりも前に実施された出題データを用いるとよい。モデル選択用予測入力と同じ出題データを、候補予測モデルを構築するときに学習することにしてもよい。

ステップＳ３０４では、予測手法選択部１２は、候補予測モデルを用いモデル選択用予測入力を入力として、モデル選択用予測対象の出題傾向を予測する。このとき、本実施形態では、予測手法選択部１２は、モデル選択用予測入力の全ての回の試験において出題された問題が同一の個数であった分野については、モデル選択用予測対象の出題される問題の予測値をその同一の個数とし、その出題分野を除いた残りの出題分野の出題される問題の個数を、候補予測モデルを用いた演算で予測した個数とする。

図９は、モデル選択用予測対象の予測された出題傾向の一例を示す図である。ここでは２０１７年の試験をモデル選択用予測対象としているので、モデル選択用予測対象の予測された出題傾向として２０１７年の予測出題傾向５１が示されている。大分類および小分類で示される分野に対して２０１７年の試験の出題数が示されている。

ステップＳ３０５では、予測手法選択部１２は、候補予測モデルにより予測されたモデル選択用予測対象の出題傾向の予測精度を算出する。その際、予測手法選択部１２は、ステップＳ３０４で予測したモデル選択用予測対象の出題傾向と、出題データ１８に含まれているモデル選択用予測対象の試験の実際の出題傾向との類似の度合いを示す指標を算出し、その指標の値を予測精度とする。図６に示された２０１７年の試験の出題傾向と、図９に示された２０１７年の予測出題傾向５１との類似の度合いを示す指標を算出すればよい。

ステップＳ３０６では、予測手法選択部１２は、全ての候補予測モデル形式を選択したか否か判定する。まだ全ての候補予測モデル形式を選択していなければ、予測手法選択部１２はステップＳ３０２に戻り、次の候補予測モデル形式を選択する。既に全ての候補予測モデルを選択していれば、予測手法選択部１２はステップＳ３０７に進む。

ステップＳ３０７では、予測手法選択部１２は、次回の試験の出題傾向を予測するのに用いる適用予測モデル形式を決定する。例えば、予測精度が最も高かった候補予測モデルの形式を適用予測モデル形式として選択すればよい。

図１０は、本予測処理の一例を示すフローチャートである。

ステップＳ４０１では、本予測処理部１３は、予測手法選択部１２により選択された適用予測モデル形式により出題データ１８の少なくとも一部を学習することにより、次回の試験の出題傾向を予測するのに用いる適用予測モデルを構築する。適用予測モデルを構築するときには、例えば、次回の試験よりも前に実施された試験の出題データを学習することにすればよい。ここでは２０１７年の試験までが既に実施されており次回の試験は２０１８年の試験であるので、２０１７年以前の出題データ１８を学習すればよい。例えば、２００８年の試験から２０１７年の試験までの１０年分の出願データを学習することにしてもよい。

ステップＳ４０２では、本予測処理部１３は、ステップＳ４０１で構築した適用予測モデルを用いて次回の試験の出題傾向を予測する。過去の出題データを適用予測モデルに入力することにより次回の試験の出題傾向を予測することができる。例えば、次回の試験が２０１８年の試験であれば、２００８年の試験から２０１７年までの試験の出題データを適用予測モデルに入力することにより２０１８年の試験の出題傾向を予測することにしてもよい。このとき本実施形態では、本予測処理部１３は、入力の全ての回の試験において出題された問題の個数が同一の個数であった分野については、次回の試験の出題される問題の予測値をその同一の個数とし、その出題分野を除いた残りの出題分野の出題される問題の個数を、適用予測モデルを用いた演算で予測した個数とする。

図１１は、次回の試験の出題傾向予測した結果の一例を示す図である。図１１を参照すると、大分類および小分類で示される分野に対して２０１８年の試験の出題数が示されている。

上述したように、表示部１４は次回の試験の出題傾向の予測結果を表示する。

図１２は、予測結果を表示する画面の一例を示す図である。図１２を参照すると、表示画面７１には、予測を行った試験種別が宅地建物取引士資格試験であることが示されている。また、過去に実施された２００９年から２０１７年までの実際の試験と次回実施される２０１８年の試験との出題傾向７２が時系列の表形式で表示されている。出題傾向は大分類および小分類で示される分野に対する出題数が表形式で示されている。

また、表示画面７１には想定予測精度情報７３が示されている。想定予測精度情報７３は次回の試験の出題傾向の予測の想定される精度を示す情報である。図１２の例では、想定予測精度をランク付けした想定予測精度ランクがＡランクである。上述したように、複数の候補予測モデル形式の中から予測精度が最も高いものが適用予測モデル形式として決定される。表示部１４は、適用予測モデル形式が決定されたときのその形式による予測モデルで得られた予測精度に基づいて想定予測精度を決定する。そのときの予測精度が高ければ想定予測精度も高いとすればよい。例えば、そのときの予測精度をそのまま想定予測精度とし、想定予測精度を閾値により複数の想定予測精度ランクに分類することにしてもよい。

また、表示画面７１には変化傾向情報７４が示されている。変化傾向情報７４は過去の試験の出題傾向に内在する可能性のある変化傾向に関する情報である。図１２の例では、変化傾向情報７４には適用予測モデル形式と変化傾向とが示されている。適用予測モデル形式は、次回の試験の出題傾向の予測に用いた予測モデルの形式であり、すなわちステップＳ３０７で決定された適用予測モデル形式である。変化傾向は、複数の候補予測モデル形式の中からその適用予測モデル形式が決定されたことから想定される過去の試験の出題データに内在する可能性のある変化傾向である。適用予測モデルとしてＳＡＲＩＭＡモデルが選択された場合、出題傾向のデータに周期性がある可能性がある。また、適用予測モデルとしてＡＲＩＭＡモデルが選択された場合、出題傾向のデータに和分過程が含まれている可能性がある。

図１３は、出題傾向予測システムのハードウェア構成例を示すブロック図ある。出題傾向予測システム１０は、ハードウェア構成として、プロセッサ８１、メインメモリ８２、記憶装置８３、通信装置８４、入力装置８５、および表示装置８６を有し、それらがバス８７に接続されている。

記憶装置８３は、書込みおよび読み出しが可能にデータを記憶するものであって、この記憶装置８３によって、図１に示した記憶部１５が実現される。プロセッサ８１は、記憶装置８３に記憶されたデータをメインメモリ８２に読み出し、メインメモリ８２を利用してソフトウェアプログラムの処理を実行するプロセッサである。プロセッサ８１によって、図１に示した試験問題分析部１１、予測手法選択部１２、本予測処理部１３、および表示部１４が実現される。通信装置８４は、プロセッサ８１にて処理された情報を有線または無線あるいはそれら両方を含む通信ネットワーク（不図示）を介して送信し、また通信ネットワークを介して受信した情報をプロセッサ８１に伝達する。受信した情報はプロセッサ８１にてソフトウェア処理に利用される。入力装置８５は、キーボードやマウスなどオペレータによる操作入力による情報を受け付ける装置であり、入力された情報はプロセッサ８１にてソフトウェア処理に利用される。例えば、試験問題データ１６および候補予測モデル形式データ１７は通信装置８４や入力装置８５を介して記憶装置８３に入力される。表示装置８６は、プロセッサ８１によるソフトウェア処理に伴って画像やテキストの情報をディスプレイ画面に表示する装置である。

以上説明したように本実施形態によれば、出題傾向予測システム１０は、所定の試験種別に関して過去の複数回の試験について各回の試験に出題された複数の問題に関するデータである出題データ１８と、予め定められた複数の候補予測モデル形式データ１７とを保持する記憶部１５と、試験種別について、複数回の試験のうち少なくとも１回の試験をモデル選択用予測対象とし、そのモデル選択用予測対象について、モデル選択用予測対象とした試験よりも前に実施された少なくとも１回の試験の出題データをモデル選択用予測対象に対応するモデル選択用予測入力とし、複数の候補予測モデル形式について、少なくとも一部の出題データを学習して構築された候補予測モデルを用いてモデル選択用予測入力からモデル選択用予測対象の出題傾向を予測し、予測された出題傾向とモデル選択用予測対象の実際の出題傾向との類似の度合いを示す指標を算出し、候補予測モデル形式毎の指標に基づき、未来の試験の出題傾向の予測に用いる適用予測モデル形式を選択する予測手法選択部１２と、適用予測モデル形式により構築された適用予測モデルを用いて、過去の複数回の試験のうち少なくとも１回の試験の出題データを入力とし、未来の試験の出題傾向を予測する本予測処理部１３と、予測された未来の試験の出題傾向を表示する表示部１４と、を有する。

本例によれば、各種性質を有する予め複数の予測モデル形式を候補として用意しておき、試験種別を限定し、その試験種別について予測精度が得られる予測モデルを適用予測モデルとし、その適用予測モデルを用いて次回の試験の出題傾向を予測するので、客観的でかつ良好な出題傾向の予測が可能となる。

また、本実施形態では、試験の問題は、複数の肢から適切な肢を選択させる多肢選択式問題であり、複数の肢に共通の問題文と、複数の肢それぞれ毎の肢文とを含み、試験問題分析部１１が、問題文と肢文とに基づいて問題を複数の出題分野に分類し、各回の試験についての出題分野毎の問題の個数を示す出題傾向の情報を出題データ１８とし、予測手法選択部１２は、出題分野毎の問題の個数を示す出題傾向に基づいて適用予測モデル形式を選択し、本予測処理部１３は、未来の試験における出題分野毎の問題の個数を示す出題傾向を予測する。問題文および肢文に基づき試験問題を出題分野毎に分類し、その出題傾向を適用予測モデルの決定に用い、未来の試験の出題分野毎の問題数を予測するので、試験問題の分類を容易に行うことができる。また、分野ごとの出題数の傾向が予測できるので、予測結果をどの分野を重点的に学習すべきか判断するのに利用したり、模擬試験の作成において分野毎の問題数を判定するのに利用したりすることができる。

また、本実施形態では、試験問題分析部１１は、１つの肢について、その肢を含む問題の問題文とその肢の肢文とに含まれる語句からその肢の特徴量を算出し、１つの問題について、その問題に含まれる複数の肢の特徴量に基づいて、その問題を分類する出題分野を決定する。問題文と肢文とにより個々の肢の特徴量を算出し、問題に含まれる肢の個々の特徴量を総合してその問題を分類するので、含まれる肢の内容を考慮した問題文の分類が可能である。

また、本実施形態では、出題データ１８は、試験における出題分野毎の出題された問題の個数で示される出題傾向の情報を含み、予測手法選択部１２は、自己回帰と移動平均が組み込まれた第１予測モデル形式と、自己回帰と移動平均とｄ１階差分（ｄ１は変数）が組み込まれた第２予測モデル形式と、自己回帰と移動平均とｄ２階差分（ｄ２は自然数）と季節階差が組み込まれた第３予測モデル形式とを含む複数の候補予測モデル形式を予め定め、その複数の候補予測モデル形式の中から適用予測モデル形式を選択し、表示部１４は、複数回の試験および未来の試験の出題分野毎の出題数を時系列に表示する。定期的に実施される試験種別の試験では、緩やかではあるが年数の経過に伴って出題傾向が変化しうることが経験的に知られている。しかし、利用する出題データの時間範囲が大きくないため、利用する出題データの時間範囲内で平均値が変動する場合と殆どしない場合が考えられる。また、出題者や試験委員により意識的にあるいは無意識的に出題傾向に周期性が形成される場合がある。ただし、利用する出題データの時間範囲が大きくないため、その時間範囲内で周期的な変動を想定するのがよい場合とよくない場合がある。以上のような定期的に実施される試験の性質を踏まえ、本実施形態では、上述したような候補予測モデル形式を予め用意しておき、その中から過去の出題傾向に合う予測モデル形式を選択するので、過去の試験が様々な傾向を示していても次回試験の出題傾向を良好に予測することが可能となる。

また、本実施形態では、表示部１４は、予測手法選択部１２により第３予測モデル形式（ＳＡＲＩＭＡモデル）が適用予測モデル形式として選択された場合、出題傾向に周期性がある可能性がある旨と周期性のあるデータに好適な予測モデルを適用した旨の情報とのいずれか一方または両方を表示する。受験機関のベテラン講師等は手作業による過去問の分析で次回の出題数を予測するだけでなく出題傾向の周期性も知得し、その周期性があるという情報を受験指導に役立てることがある。本実施形態によれば、出題傾向予測システム１０が出題分野毎の出題数だけでなく出題傾向に周期性がある可能性を示唆する情報を表示するので、経験豊富な講師が手作業で出題傾向を予測したときのように、出題傾向の周期性に関する情報を受験指導に役立てることができる。

また、本実施形態では、予測手法選択部１２は、モデル選択用予測入力の全ての回の試験において出題された問題が同一の個数であった出題分野については、モデル選択用予測対象の出題される問題の予測値を前記同一の個数とし、その出題分野を除いた残りの出題分野の出題される問題の個数を、候補予測モデルを用いた演算で予測した個数とし、本予測処理部１３は、入力の全ての回の試験において出題された問題の個数が同一の個数であった出題分野については、次回の試験の出題される問題の予測値を同一の個数とし、その出題分野を除いた残りの出題分野の出題される問題の個数を、適用予測モデルを用いた演算で予測した個数とする。定期的に実施する試験の問題では、ある分野で習得すべき知識の量やその知識を習得していることを確認する必要性あるいは更に他の分野とのバランスから、分野によっては出題数が概ね決まっている場合があることが経験的に知られている。本実施形態では、入力として用いる全ての回の試験において出題数が同一個数の出題分野は、出題数が概ね決まっている出題分野であると推定し、その分野については予測モデルを用いることなく予測値をその同一個数としている。これにより経験則に合致する予測結果を確実に得ることが可能となっている。

また、本実施形態では、表示部１４は、適用予測モデルの、予測された出題傾向と実際の出題傾向との類似の度合いを示す指標の値と、その指標に応じた予測精度に関する情報とのいずれか一方または両方を表示する。受験機関のベテラン講師等は手作業による過去問の分析で次回の出題数を予測するだけでなく、その予測精度がどの程度かを経験に基づいて推測し、その予測精度を受験指導に直接的にあるいは間接的に利用することがある。例えば、予測精度が低いと思える場合には予測が外れる場合も考慮してやや広い分野にわたり勉強するよう指導するかもしれない。本実施形態によれば、出題傾向予測システム１０が出題分野毎の出題数の予測値だけでなくその予測精度を示唆する情報を表示するので、出題傾向の予測精度がどの程度かを受験指導に役立てることができる。

上述した本実施形態は、本発明の説明のための例示であり、本発明の範囲をその実施形態のみに限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様に変形して本発明を実施することができる。以下、いくつかの変形例について説明する。

変形例として、試験の問題に関連して複数の肢文のそれぞれについての解説文を用意し、試験問題分析部１１が試験の各問題を分野毎に分類する処理に利用することにしてもよい。具体的には、試験問題分析部１１は、問題文と肢文と解説文とに基づいて問題を出題分野に分類することにすればよい。試験問題分析部１１は、試験２９の各問題２２の問題文２３および肢文２４と各肢文２４の解説文とに対して形態素解析を行い形態素を抽出し、必要に応じて連続する複数の形態素を複合し、形態素から単語を抽出し、抽出された単語に基づいて問題２２を複数の出題分野に分類する。問題を作成した出題者自身や経験が豊富な講師が作成する解説文には、その問題や肢で問われる重要な知識に関連する単語が現れることがあるので、問題を出題分野に分類するのに問題文と肢文だけでなく解説文を利用することで、問題文や肢文が異なっても問われる知識が近いような類似問題の分野毎の分類を向上させることができる。また、試験問題分析部１１は、１つの肢について、その肢を含む問題の問題文とその肢の肢文とその肢の解説文とに含まれる語句からその肢の特徴量を算出し、１つの問題について、その問題に含まれる複数の肢の特徴量に基づいて、その問題を分類する出題分野を決定することにしてもよい。

また、変形例として、予測手法選択部１２は、複数回の試験をモデル選択用予測対象として複数の候補予測モデル形式による候補予測モデルのそれぞれについて前記指標を算出し、前記モデル選択用予測対象のそれぞれについて前記指標により上位から１つ以上の候補予測モデルを選択し、最も多くの前記モデル選択用予測対象にて選択された候補予測モデルの形式を前記適用予測モデル形式とすることにしてもよい。

また、予測手法選択部１２は、複数回の試験をモデル選択用予測対象として複数の候補予測モデル形式による候補予測モデルのそれぞれについて指標を算出し、その指標に基づきモデル選択用予測対象のそれぞれについて上位から１つ以上の候補予測モデルを選択し、複数のモデル選択用予測対象に対して実施時期が遅いほど大きい値となり、モデル選択用予測対象において上位であるほど大きい値となるように、複数の候補予測モデルを重み付けしたスコアを付与し、スコアの合計値が最も大きい候補予測モデルの形式を適用予測モデル形式とすることにしてもよい。

また、変形例として、予測手法選択部１２は、複数回の試験をモデル選択用予測対象として複数の候補予測モデルのそれぞれについて指標を算出し、モデル選択用予測対象のそれぞれについて指標により上位から１つ以上の候補予測モデルを選択し、モデル選択用予測対象にて選択された回数の多い上位ｎ個（ｎは自然数）の候補予測モデルを適用予測モデルとし、本予測処理部１３は、そのｎ個の適用予測モデルによって算出した、未来の試験で出題される出題分野毎の問題の個数の平均値を出題傾向として算出することにしてもよい。

１０…出題傾向予測システム、１１…試験問題分析部、１２…予測手法選択部、１３…本予測処理部、１４…表示部、１５…記憶部、１６…試験問題データ、１７…候補予測モデル形式データ、１８…出題データ、１９…予測結果、２１…試験毎試験問題データ、２２…問題、２３…問題文、２４…肢文、２９…試験、４１…ＡＲＭＡモデルデータ、４２…ＡＲＩＭＡモデルデータ、４３…ＳＡＲＩＭＡモデルデータ、５１…予測出題傾向、７１…表示画面、７２…出題傾向、７３…想定予測精度情報、７４…変化傾向情報、８１…プロセッサ、８２…メインメモリ、８３…記憶装置、８４…通信装置、８５…入力装置、８６…表示装置、８７…バス

Claims (12)

1. 所定の試験種別に関して過去の複数回の試験について各回の試験における出題分野毎の問題の個数を示すデータである出題データと、予め定められた複数の候補予測モデル形式のデータとを保持する記憶部と、
   前記試験種別について、前記複数回の試験のうち少なくとも１回の試験をモデル選択用予測対象とし、該モデル選択用予測対象について、該モデル選択用予測対象とした試験よりも前に実施された少なくとも１回の試験の出題データを前記モデル選択用予測対象に対応するモデル選択用予測入力とし、前記複数の候補予測モデル形式について、少なくとも一部の出題データを学習して構築された候補予測モデルを用いて前記モデル選択用予測入力から前記モデル選択用予測対象の出題分野毎の問題の個数を示す情報である出題傾向を予測し、前記予測された出題傾向と前記モデル選択用予測対象の実際の出題傾向との類似の度合いを示す指標を算出し、前記候補予測モデル形式毎の前記指標に基づき、未来の試験の出題傾向の予測に用いる適用予測モデル形式を選択する予測手法選択部と、
   前記適用予測モデル形式により構築された適用予測モデルを用いて、過去の複数回の試験のうち少なくとも１回の試験の出題データを入力とし、未来の試験の出題傾向を予測する本予測処理部と、
   前記予測された未来の試験の出題傾向を表示する表示部と、
   を有する出題傾向予測システム。
2. 前記試験の問題は、複数の肢から適切な肢を選択させる多肢選択式問題であり、前記複数の肢に共通の問題文と、前記複数の肢それぞれ毎の肢文とを含み、
   前記問題文と前記肢文とに基づいて前記問題を複数の出題分野に分類し、前記各回の試験についての前記出題分野毎の前記問題の個数を示す出題傾向の情報を前記出題データとして前記記憶部に記録する試験問題分析部を更に有する、
   請求項１に記載の出題傾向予測システム。
3. 前記試験の問題に関連して前記複数の肢文のそれぞれについての解説文があり、
   前記試験問題分析部は、前記問題文と前記肢文と前記解説文とに基づいて前記問題を前記出題分野に分類する、
   請求項２に記載の出題傾向予測システム。
4. 前記試験問題分析部は、１つの肢について、該肢を含む問題の問題文と該肢の肢文とに含まれる語句から前記肢の特徴量を算出し、１つの問題について、該問題に含まれる複数の肢の特徴量に基づいて、該問題を分類する出題分野を決定する、
   請求項２に記載の出題傾向予測システム。
5. 前記予測手法選択部は、自己回帰と移動平均が組み込まれた第１予測モデル形式と、自己回帰と移動平均とｄ１階差分（ｄ１は変数）が組み込まれた第２予測モデル形式と、自己回帰と移動平均とｄ２階差分（ｄ２は自然数）と季節階差が組み込まれた第３予測モデル形式とを含む前記複数の候補予測モデル形式を予め定め、前記複数の候補予測モデル形式の中から前記適用予測モデル形式を選択し、
   表示部は、前記複数回の試験および前記未来の試験の出題分野毎の出題数を時系列に表示する、
   請求項１に記載の出題傾向予測システム。
6. 前記表示部は、前記予測手法選択部により前記第３予測モデル形式が前記適用予測モデル形式として選択された場合、出題傾向に周期性がある可能性がある旨と周期性のあるデータに好適な予測モデルを適用した旨の情報とのいずれか一方または両方を表示する
   請求項５に記載の出題傾向予測システム。
7. 前記予測手法選択部は、前記モデル選択用予測入力の全ての回の試験において出題された問題が同一の個数であった出題分野については、前記モデル選択用予測対象の出題される問題の予測値を前記同一の個数とし、該出題分野を除いた残りの出題分野の出題される問題の個数を、前記候補予測モデルを用いた演算で予測した個数とし、
   前記本予測処理部は、前記入力の全ての回の試験において出題された問題の個数が同一の個数であった出題分野については、前記未来の試験の出題される問題の予測値を前記同一の個数とし、該出題分野を除いた残りの出題分野の出題される問題の個数を、前記適用予測モデルを用いた演算で予測した個数とする、
   請求項１に記載の出題傾向予測システム。
8. 前記予測手法選択部は、複数回の試験を前記モデル選択用予測対象として前記複数の候補予測モデルのそれぞれについて前記指標を算出し、前記モデル選択用予測対象のそれぞれについて前記指標により上位から１つ以上の候補予測モデルを選択し、最も多くの前記モデル選択用予測対象にて選択された候補予測モデルの形式を前記適用予測モデル形式とする、
   請求項１に記載の出題傾向予測システム。
9. 前記予測手法選択部は、複数回の試験を前記モデル選択用予測対象として前記複数の候補予測モデル形式による候補予測モデルのそれぞれについて前記指標を算出し、前記指標に基づき前記モデル選択用予測対象のそれぞれについて上位から１つ以上の候補予測モデルを選択し、前記複数のモデル選択用予測対象に対して実施時期が遅いほど大きい値となり、前記モデル選択用予測対象において上位であるほど大きい値となるように、前記選択された複数の候補予測モデルを重み付けしたスコアを付与し、スコアの合計値が最も大きい候補予測モデルの形式を前記適用予測モデル形式とする、
   請求項１に記載の出題傾向予測システム。
10. 前記予測手法選択部は、複数回の試験を前記モデル選択用予測対象として前記複数の候補予測モデルのそれぞれについて前記指標を算出し、前記モデル選択用予測対象のそれぞれについて前記指標により上位から１つ以上の候補予測モデルを選択し、前記モデル選択用予測対象にて選択された回数の多い上位ｎ個（ｎは自然数）の候補予測モデルを前記適用予測モデルとし、
    前記本予測処理部は、前記ｎ個の適用予測モデルによって算出した、前記未来の試験で出題される前記出題分野毎の問題の個数の平均値を前記出題傾向として算出する、
    請求項１に記載の出題傾向予測システム。
11. 前記表示部は、前記適用予測モデルの前記指標の値と前記指標に応じた予測精度に関する情報とのいずれか一方または両方を表示する、
    請求項１に記載の出題傾向予測システム。
12. 所定の試験種別に関して過去の複数回の試験について各回の試験における出題分野毎の問題の個数を示すデータである出題データと、予め定められた複数の候補予測モデル形式のデータとを保持し、
    前記試験種別について、前記複数回の試験のうち少なくとも１回の試験をモデル選択用予測対象とし、該モデル選択用予測対象について、該モデル選択用予測対象とした試験よりも前に実施された少なくとも１回の試験の出題データを前記モデル選択用予測対象に対応するモデル選択用予測入力とし、前記複数の候補予測モデル形式について、少なくとも一部の出題データを学習して構築された候補予測モデルを用いて前記モデル選択用予測入力から前記モデル選択用予測対象の出題分野毎の問題の個数を示す情報である出題傾向を予測し、前記予測された出題傾向と前記モデル選択用予測対象の実際の出題傾向との類似の度合いを示す指標を算出し、前記候補予測モデル形式毎の前記指標に基づき、未来の試験の出題傾向の予測に用いる適用予測モデル形式を選択し、
    前記適用予測モデル形式により構築された適用予測モデルを用いて、過去の複数回の試験のうち少なくとも１回の試験の出題データを入力とし、未来の試験の出題傾向を予測し、
    前記予測された未来の試験の出題傾向を表示する、
    ことをコンピュータが実行する出題傾向予測方法。

Images