JP6318471B2 - 判定プログラムおよび判定方法 - Google Patents

Description

本発明は、判定プログラムおよび判定方法に関する。

開発のスピード化が求められるＩＴ（Information Technology）技術の技術者にとって、進化し続けるＩＴ技術の習得は欠かせないものである。このような技術者が、効率的にスキルアップするために、自らのスキルレベルを評価する評価手法が知られている。

例えば、特定のスキルレベルに到達しているかを判定する試験をコンピュータベース（CBT：Computer Based Training）で実施する手法が知られている。この手法は、受験者の解答状況および解答成否をリアルタイムにモニタすることで、全部の問題を解答しない状況でもスキルレベルを評価し、各技術者のスキル評価を高速化する。

特開２０１２−９３６９１号公報 特開２００６−７９１１３号公報

しかしながら、従来技術では、試験問題の難易度を決定付ける指標そのものが出題者側の判断に依存しており、客観的な指標ではないことから、スキル評価があいまいであるという問題がある。

例えば、正解数が同じであっても、正解した問題の難易度によってはスキルレベルが異なることがあるが、難易度自体があいまいな基準で設定されている場合には、正確にスキルレベルを評価できない。

１つの側面では、スキル評価の精度を向上させることができる判定プログラムおよび判定方法を提供することを目的とする。

第１の案では、判定プログラムは、複数の問題のそれぞれについて設定された不均一な重み情報を用いて、解答者によって解答がなされた問題についての重みの総計を算出する処理をコンピュータに実行させる。判定プログラムは、算出した前記重みの総計が所定の基準を満たすか否かに応じて、前記解答者に対して解答を求める更なる問題を提供するか否かを判定する処理をコンピュータに実行させる。

本願発明の１実施形態では、スキル評価の精度を向上させることができる。

図１は、実施例１に係るシステムの全体構成例を示す図である。 図２は、実施例１に係るスキル評価サーバの機能構成を示す機能ブロック図である。 図３は、問題セットＤＢに記憶される情報の例を示す図である。 図４は、解答結果ＤＢに記憶される情報の例を示す図である。 図５は、論外な問題の例を示す図である。 図６は、悪い問題の例を示す図である。 図７は、良い問題の例を示す図である。 図８は、難しい問題の例を示す図である。 図９は、易しい問題の例を示す図である。 図１０は、スキル評価処理の流れを示すフローチャートである。 図１１は、学習処理の流れを示すフローチャートである。 図１２は、問題の出題例１を説明する図である。 図１３は、問題の出題例２を説明する図である。 図１４は、スキル評価サーバのハードウェア構成例を示す図である。

以下に、本願の開示する判定プログラムおよび判定方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。なお、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

［全体構成例］
図１は、実施例１に係るシステムの全体構成例を示す図である。図１に示すように、このシステムは、複数の受験者端末１とスキル評価サーバ１０とを有し、受験者のスキルレベルを評価するシステムである。なお、本システムは、情報処理技術に限らず、様々な分野のスキルを評価することができる。

受験者端末１は、スキル評価対象の受験者が使用する端末であり、Ｗｅｂブラウザなどを用いてスキル評価サーバ１０へアクセスし、スキルを評価する試験を受験する端末装置である。この受験者端末１の一例としては、一般的なコンピュータ装置やスマートフォンなどの移動端末がある。

スキル評価サーバ１０は、Ｗｅｂブラウザなどを用いて受験者端末１に問題を出題し、解答した受験者のスキルを評価するサーバ装置である。具体的には、スキル評価サーバ１０は、複数の問題のそれぞれについて設定された不均一な重み情報を用いて、解答者によって解答がなされた問題についての重みの総計を算出する。そして、スキル評価サーバ１０は、算出した重みの総計が所定の基準を満たすか否かに応じて、解答者に対して解答を求める更なる問題を提供するか否か判定する。

このように、スキル評価サーバ１０は、過去の正解率に基づいて算出されたスキル評価指数などの不均一な重み情報が設定された問題を出題し、解答された問題のスキル評価指数の合計が閾値を越えるまで出題を繰り返すことで、解答状況に応じた適切な出題数でスキルを判定できる。この結果、スキル評価サーバ１０は、スキル評価の精度を向上させることができる。

［スキル評価サーバの構成］
図２は、実施例１に係るスキル評価サーバの機能構成を示す機能ブロック図である。図２に示すように、スキル評価サーバ１０は、通信制御部１１、記憶部１２、制御部２０を有する。

通信制御部１１は、他の装置との通信を制御する処理部であり、例えば、ネットワークインタフェースカードなどである。例えば、通信制御部１１は、各受験者端末１とＷｅｂセッションなどを確立して、Ｗｅｂページを用いた通信を実行する。

記憶部１２は、制御部２０が実行するプログラムやデータなどを記憶する記憶装置であり、例えば、メモリやハードディスクなどである。この記憶部１２は、受験者ＤＢ１３、問題セットＤＢ１４、解答結果ＤＢ１５を有する。

受験者ＤＢ１３は、各受験者のスキルレベルを記憶するデータベースである。例えば、受験者ＤＢ１３は、受験者を識別する識別子、最新の受験日時、到達したスキルレベル、過去の成績などを対応付けて記憶する。

問題セットＤＢ１４は、スキルレベルごとに受験者に提供する問題を記憶するデータベースである。図３は、問題セットＤＢに記憶される情報の例を示す図である。なお、ここで図示した問題セットは、例えばスキルレベル３の問題セットである。図３に示すように、問題セットＤＢ１４は、「番号、正解率、スキル評価指数」を対応付けた問題セットを記憶する。

ここで記憶される「番号」は、問題を識別する識別子である。「正解率」は、過去に出題された際の正解率である。「スキル評価指数」は、各問題に設定された不均一な重みの一例であり、例えば、当該問題の正解率と全受験者の得点率との相関係数などである。なお、得点率とは、スキル評価の成績である。すなわち、スキル評価指数が「１」に近いほど、得点率が高い受験者の正解率が高く、かつ、得点率が低い受験者の正解率が低い問題となる。図３の場合、番号１の問題は、正解率が８９．６％であり、スキル評価指数として０．６４６３が設定されていることを示す。

解答結果ＤＢ１５は、受験者の解答状況を記憶するデータベースである。図４は、解答結果ＤＢに記憶される情報の例を示す図である。図４に示すように、解答結果ＤＢ１５は、受験者ごとに、「解答、ポイント（スキル習得度）、スキル評価指数」を対応付けて記憶する。

ここで記憶される「解答」は、受験者の解答を示し、正解であった場合には「○」、不正解であった場合には「×」、解答なしであった場合には「−」が設定される。「ポイント（スキル習得度）」は、正解の場合に加算され、不正解の場合に減算される値であり、受験者のスキルを評価する指標である。例えば、「ポイント（スキル習得度）」には、正解の場合には「１−正解率」の算出結果が設定され、不正解の場合には「−正解率」が設定され、解答なしの場合には「０」が設定される。「スキル評価指数」は、問題に設定されているスキル評価指数である。

なお、ここで格納される順番は、図３の問題セットの順番と同じ順番である。つまり、図４の受験者Ａの先頭の解答結果は、図３の先頭すなわち問題１の解答結果である。この例では、受験者Ａは、問題１（番号１）が不正解であったことを示している。

制御部２０は、スキル評価サーバ１０全体の処理を司る処理部であり、例えばプロセッサなどである。この制御部２０は、出題制御部２１、出題判定部２２、評価実行部２３、学習部２４を有する。例えば、各処理部は、プロセッサが実行するプロセスなどである。

出題制御部２１は、受験者に問題を出題する処理部である。具体的には、出題制御部２１は、Ｗｅｂブラウザを介して受験者端末１から識別子等を受け付けて、受験者ＤＢ１３を参照し、受験者および受験者が到達しているスキルレベルを特定する。そして、出題制御部２１は、特定した到達済みのスキルレベルの次のスキルレベルの問題を問題セットＤＢ１４から特定する。また、出題制御部２１は、当該受験者の解答を格納するために、当該受験者に対応する解答結果を解答結果ＤＢ１５に生成する。その後、出題制御部２１は、特定したスキルレベルの問題を第１問から順に受験者端末１に送信し、その解答結果を解答結果ＤＢ１５に格納する。

例えば、出題制御部２１は、到達したスキルレベルが２の受験者Ａに対して、図３に示したスキルレベル３の第１問を出題する。そして、出題制御部２１は、第１問に正解した場合には、「解答」として「○」、「ポイント」として「１−正解率＝０．１０３８」、スキル評価指数として「０．６４６３」を、受験者Ａの解答結果として解答結果ＤＢ１５に格納する。

また、出題制御部２１は、第１問が不正解であった場合には、「解答」として「×」、「ポイント」として「−正解率＝−０．８９６２」、スキル評価指数として「０．６４６３」を、受験者Ａの解答結果として解答結果ＤＢ１５に格納する。また、出題制御部２１は、第１問の解答がなかった場合には、「解答」として「−」、「ポイント」として「０」、スキル評価指数として「０」を、受験者Ａの解答結果として解答結果ＤＢ１５に格納する。

出題判定部２２は、各問題のそれぞれについて設定されたスキル評価指数を用いて、受験者によって解答がなされた問題についてのスキル評価指数の総計を算出する。そして、出題判定部２２は、算出したスキル評価指数の総計が所定の基準を満たすか否かに応じて、受験者に対して解答を求める更なる問題を提供するか否か判定する処理部である。

具体的には、出題判定部２２は、各受験者について、受験者の解答が解答結果ＤＢ１５に格納されるたびに、その時点までのスキル評価指数の総計を算出する。そして、出題判定部２２は、算出した総計が閾値より小さい場合には、次の問題を出題する指示を出題制御部２１に出力する。この結果、出題制御部２１は、次の問題を出題する。

一方、出題判定部２２は、算出した総計が閾値以上の場合には、次の問題の出題を停止する指示を出題制御部２１に出力し、評価実行部２３に評価の開始を指示する。この結果、出題制御部２１は、出題を停止する。なお、出題判定部２２は、５問ごとなど、定期的に判定するようにしてもよい。

例えば、図４の場合、出題判定部２２は、１０問が終了した時点で、受験者Ａと受験者Ｂのスキル評価指数の総計がそれぞれ「５」以上なので、受験者Ａと受験者Ｂの出題を停止すると判定する。一方、出題判定部２２は、受験者Ｃのスキル評価指数の総計が「５」未満なので、出題を維持する。

評価実行部２３は、出題判定部２２によってスキル評価指数の総計が所定の基準を満たすと判定された場合に、出題された各問題のポイント（スキル習得度）を用いて、受験者の合計ポイントを算出して受験者を評価する処理部である。

具体的には、評価実行部２３は、出題判定部２２によって新たな問題の出題が停止された受験者の解答結果を解答結果ＤＢ１５から特定し、その時点までのポイント（スキル習得度）の総計を算出する。そして、評価実行部２３は、ポイント（スキル習得度）の合計が閾値以上の場合には、スキルレベルに到達したと評価する。この場合、評価実行部２３は、受験者ＤＢ１３における受験者の到達スキルレベルを更新する。また、評価実行部２３は、受験者が更なる試験を要求する場合には、次のスキルレベルの問題の出題を出題制御部２１に指示する。

一方、評価実行部２３は、ポイント（スキル習得度）の総計が閾値未満の場合には、スキルレベルに到達していないと評価する。この場合、評価実行部２３は、受験者ＤＢ１３における受験者の到達スキルレベルを更新せずに前回のレベル設定を維持する。また、評価実行部２３は、受験者が更なる試験を要求する場合には、同じスキルレベルの問題の出題を出題制御部２１に指示する。なお、評価実行部２３は、受験者が更なる試験を要求した場合でも、ポイント（スキル習得度）の合計が下限値を下回っている場合には、今回出題したスキルレベルより１つ下の問題の出題を出題制御部２１に指示することもできる。

例えば、図４の場合、評価実行部２３は、出題が終了した受験者Ａについては、ポイント（スキル習得度）の合計が０以上であることから、スキルレベル３に到達したと評価する。一方、評価実行部２３は、出題が終了した受験者Ｂについては、ポイント（スキル習得度）の合計が０未満であることから、スキルレベル３に未到達であると評価する。

学習部２４は、各受験者の解答状況に基づいて、スキル評価指数を更新する処理部である。具体的には、学習部２４は、全受験者の解答が終了した場合など、任意のタイミングで、各問題について得点率と正解率との相関係数を算出して、スキル評価指数を更新する。また、学習部２４は、スキル評価指数から各問題の質を判定して、各問題が良問、悪問、難問、易問、論外のいずれかであったかを判定する。そして、学習部２４は、悪問や論外については出題する問題から除外することもできる。ここで、各問題の判定例について説明する。

図５は、論外な問題の例を示す図である。図５に示すように、学習部２４は、得点率（Ｓ）と、得点率（Ｓ）の受験者のその問題に対する平均正解率（Ａｓ）との相関係数（Ｒ）が反比例している問題については、「論外」な問題と判定する。つまり、学習部２４は、成績がよい受験者ほど間違っており、成績が悪い受験者ほど正解している問題については、成績が正しく反映できない問題であることから、「論外」と判定する。

図６は、悪い問題の例を示す図である。図６に示すように、学習部２４は、得点率（Ｓ）と、得点率（Ｓ）の受験者のその問題に対する平均正解率（Ａｓ）との相関係数（Ｒ）が比例しておらず、相関係数（Ｒ）が０に近い問題については、「悪い」な問題と判定する。つまり、学習部２４は、成績がよい受験者と成績が悪い受験者とで正解率に差がない問題については、成績を評価するには適さない問題であることから、「悪問」と判定する。

図７は、良い問題の例を示す図である。図７に示すように、学習部２４は、得点率（Ｓ）と、得点率（Ｓ）の受験者のその問題に対する平均正解率（Ａｓ）との相関係数が比例しており、相関係数（Ｒ）が１に近い問題については、「良い」問題と判定する。つまり、学習部２４は、成績がよい受験者ほど正解率が高く、成績が悪い受験者ほど正解率が低く、正解率に差がある問題については、成績によって差が適切に生じる問題であることから、「良問」と判定する。

図８は、難しい問題の例を示す図である。図８に示すように、学習部２４は、得点率（Ｓ）と、得点率（Ｓ）の受験者のその問題に対する平均正解率（Ａｓ）との相関係数が総じて低い問題については、「難しい」問題と判定する。つまり、学習部２４は、成績が非常によい受験者では正解率が高いが、他の受験者では正解率が非常に低い問題については、正解できている受験者が少なすぎる問題であることから、「難問」と判定する。

図９は、易しい問題の例を示す図である。図９に示すように、学習部２４は、得点率（Ｓ）と、得点率（Ｓ）の受験者のその問題に対する平均正解率（Ａｓ）との相関係数が総じて高い問題については、「易しい」問題と判定する。つまり、学習部２４は、成績がよい受験者でも正解率が高く、成績が悪い受験者でも正解率が高い問題については、正解できている受験者が多すぎる問題であることから、「易問」と判定する。

上述したように、悪問や論外の問題は、スキル評価指数が低くなる問題であり、良問や易問は、スキル評価指数が高くなる問題である。したがって、学習部２４は、悪問や論外については出題する問題から除外するようにしてもよい。

また、学習部２４は、各問題の質に応じて、スキル評価指数に重みを与えてもよい。例えば、学習部２４は、良問や難問等については重要視するように、例えば「スキル評価指数×１．２」となる重みを与え、それ以外の問題については重要視しないように、例えば「スキル評価指数×０．８」となる重みを与えることもできる。

このようにして、学習部２４は、各問題について、ある得点率（Ｓ）であった受験者における当該問題の平均正解率を用いて相関係数、すなわち、スキル評価指数を算出することができる。したがって、学習部２４は、各問題について、受験者の解答状況に応じてスキル評価指数を更新することができる。

［スキル評価処理の流れ］
図１０は、スキル評価処理の流れを示すフローチャートである。図１０に示すように、スキル評価サーバ１０の出題制御部２１は、受験者に対して評価を開始すると（Ｓ１０１：Ｙｅｓ）、受験者ＤＢ１３を参照して、当該受験者の現時点でのスキルレベルを特定する（Ｓ１０２）。

続いて、出題制御部２１は、Ｓ１０２で特定したスキルレベルの次のレベルに対応する問題セットを問題セットＤＢ１４から特定し（Ｓ１０３）、当該受験者の解答結果を格納するための解答結果表を解答結果ＤＢ１５に生成する（Ｓ１０４）。そして、出題制御部２１は、第１問から順に問題を受験者に出題する（Ｓ１０５）。

その後、出題制御部２１は、出題した問題に対する解答があった場合には（Ｓ１０６：Ｙｅｓ）、解答結果を解答結果表に格納する（Ｓ１０７）。このとき、出題制御部２１は、出題された問題に設定されるスキル評価指数や、正解または不正解にしたがって算出したポイントもあわせて格納する。

一方、出題制御部２１は、出題した問題に対する解答がない場合には（Ｓ１０６：Ｎｏ）、未解答であることを解答結果表に格納する（Ｓ１０８）。このとき、出題制御部２１は、出題された問題に設定されるスキル評価指数およびポイントに０を格納する。なお、出題制御部２１は、出題後所定時間経過するまでに解答がない場合に、解答がないと判定する。

そして、出題判定部２２は、現時点での解答結果から、スキル評価指数の総計を算出し、算出したスキル評価指数の総計が閾値以上か否かを判定する（Ｓ１０９）。ここで、出題判定部２２によってスキル評価指数の総計が閾値未満と判定された場合（Ｓ１０９：Ｎｏ）、出題制御部２１は、Ｓ１０５に戻って以降の処理を繰り返す。

一方、出題判定部２２によってスキル評価指数の総計が閾値以上と判定された場合（Ｓ１０９：Ｙｅｓ）、評価実行部２３は、現時点までのポイントの合計を算出し、合計ポイントが閾値以上か否かを判定する（Ｓ１１０）。

ここで、評価実行部２３は、現時点までの合計ポイントが閾値以上である場合（Ｓ１１１：Ｙｅｓ）、当該受験者が出題される問題セットのスキルレベルに到達したと評価する（Ｓ１１２）。一方、評価実行部２３は、現時点までの合計ポイントが閾値未満である場合（Ｓ１１１：Ｎｏ）、当該受験者が出題される問題セットのスキルレベルに未到達であると評価する（Ｓ１１３）。

そして、出題制御部２１は、スキルレベルの評価を続けることを受験者から要求された場合には（Ｓ１１４：Ｙｅｓ）、Ｓ１０２以降を繰り返す。また、出題制御部２１は、スキルレベルの評価を終了することを受験者から要求された場合には（Ｓ１１４：Ｎｏ）、処理を終了する。

つまり、出題制御部２１は、スキルレベルに到達した受験者には次のスキルレベルの評価を実行し、スキルレベルに未到達の受験者には同じスキルレベルまたは１つ下のスキルレベルの評価を実行する。

［学習処理の流れ］
図１１は、学習処理の流れを示すフローチャートである。図１１に示すように、スキル評価サーバ１０の学習部２４は、各受験者に対する出題が完了すると（Ｓ２０１：Ｙｅｓ）、各問題について、解答結果を集計し、各問題の統計を算出する（Ｓ２０２）。

そして、学習部２４は、各問題について、得点率（Ｓ）と得点率ごとの平均正解率（Ａｓ）とをプロットし、相関係数（Ｒ）を算出する（Ｓ２０３）。続いて、学習部２４は、相関係数（Ｒ）を用いて各問題の質を判定し（Ｓ２０４）、悪い問題や論外な問題を問題セットから削除する（Ｓ２０５）。

その後、学習部２４は、各問題について、新たに算出した正解率とスキル評価指数で問題セットを更新する（Ｓ２０６）。

上述したように、スキル評価サーバ１０は、問題ごとに、特定のレベルへの到達可否との相関関係が異なる場合であっても、適切に特定のレベルへの到達判断が可能かを判定することができ、追加の出題を行うかどうかの判断に利用することができる。

また、スキル評価サーバ１０は、正解/または正解による得点の加減算ではなく、個々の問題の過去の受験者データに基づく「重み＝難易度（１−正解率）」を採用し、より精度の高いスキル評価を実現することができる。

また、スキル評価サーバ１０は、「解答」と問題の「難易度」に加え、解答した問題の「質」も合わせて総合評価することができるので、スキル評価の精度をさらに高めることができる。また、スキル評価サーバ１０は、問題の「質」を評価する「スキル評価指数」を活用し、問題数の十分性を判定することができる。さらに、スキル評価サーバ１０は、各問題のポイントやスキル評価指数を随時更新するので、精度の劣化を抑制することができる。

さらに、スキル評価サーバ１０は、技術の浸透度に伴うスキルレベルへの変化にも対応できる。例えば、浸透度が低い「新技術」と浸透度の高い「時代遅れの技術」とでは、同じ技術であっても「難易度」は変化する。しかし、スキル評価サーバ１０は、過去の受験データに基づく客観的な指標で評価することで、評価自体のあいまいさが排除されるため、的確なスキル判定ができる。また、スキル評価サーバ１０は、出題数を動的に決定するので、効率的にスキル評価できる。

ところで、スキル評価サーバ１０は、更新したスキル評価指数を用いて、出題する順番等を制御することもできる。そこで、実施例２では、出題例を説明する。

図１２は、問題の出題例１を説明する図である。図１２に示すように、スキル評価サーバ１０は、問題セットをスキル評価指数の昇順で並び替える。そして、スキル評価サーバ１０は、初回の受験者に対しては、例えば１問目から１０問目のうちの真ん中である５問目から出題を開始する。一方、スキル評価サーバ１０は、２回目以降の受験者かつ前回の成績が良い受験者に対しては、９問目から出題を開始する。さらに、スキル評価サーバ１０は、２回目以降の受験者かつ前回の成績が悪い受験者に対しては、２問目から出題を開始する。

さらに、スキル評価サーバ１０は、例えば５問目から出題し、その問題に正解した場合には６問目を出題するように、スキル評価指数が順に高くなるように出題を制御することもできる。また、スキル評価サーバ１０は、例えば５問目から出題し、その問題が不正解であった場合には４問目を出題するように、スキル評価指数が順に低くなるように出題を制御することもできる。

このようにすることで、スキル評価サーバ１０は、出題の非効率を抑制できる。例えば、スキル評価サーバ１０は、スキル評価指数が低いものから順に出題されことで、なかなか評価結果がでない事象や優秀な人でもレベルアップに時間がかかる事象を抑制でき、スキル評価の時間短縮が実現できる。

図１３は、問題の出題例２を説明する図である。図１３に示すように、スキル評価サーバ１０は、スキル評価指数によって問題をグルーピング、つまり、同レベルの問題をグルーピングし、グループ内においてランダムに出題することもできる。そして、スキル評価サーバ１０は、正解した場合には、現在よりスキル評価指数が高いグループの問題を出題し、不正解の場合には、現在よりスキル評価指数が低いグループの問題を出題する。

例えば、スキル評価サーバ１０は、まずレベルが低である問題３と問題４をランダムに出題し、それらの問題に正解した場合には、次にレベルが中の問題５−７をランダムに出題する。なお、スキル評価サーバ１０は、易問である問題１および問題２については、学習後の確認用問題として確保しておいてもよい。

このように、スキル評価サーバ１０は、受験者のスキルレベルに合った問題を動的に抽出して出題することにより、最短かつ的確なスキル評価を行うことができる。また、スキル評価サーバ１０は、出題選択ロジックの設定次第で、スキル評価のバリエーションを多彩に保持できる。この結果、スキル評価サーバ１０は、毎回同じ順番で出題されることで解答順番が同じになることを抑制でき、スキルによらず勘や記憶によって正解することを抑制できるので、スキル評価の精度が向上する。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に異なる実施例を説明する。

（出題例）
例えば、スキル評価サーバ１０は、スキル評価指数が低い易問が多い問題セットを使用する場合には、スキル到達を判定するポイントの閾値、または、出題を制御するスキル評価指数の総数の閾値を、通常よりも大きい値に設定することもできる。また、スキル評価サーバ１０は、スキル評価指数が高い良問が多い問題セットを使用する場合には、スキル到達を判定するポイントの閾値、または、出題を制御するスキル評価指数の総数の閾値を、通常よりも小さい値に設定することもできる。

つまり、易問でスキル評価する場合には、多くの問題を出題し、良問ならば数多く出題しなくてもスキル評価には十分と判断することで、簡単な問題で簡単にスキル到達を防ぐことができ、スキル評価の精度が向上する。

（ハードウェア）
図１４は、スキル評価サーバのハードウェア構成例を示す図である。図１４に示すように、スキル評価サーバ１０は、ＣＰＵ（Central Processing Unit）１０１、メモリ１０２、ＨＤＤ（Hard Disk Drive）１０３、通信インタフェース１０４、入力装置１０５、表示装置１０６を有する。また、図１４に示した各部は、バス等で相互に接続される。

ＨＤＤ１０３は、図２に示した機能を動作させるプログラムやテーブルを記憶する。通信インタフェース１０４は、ネットワークインタフェースカードなどである。入力装置１０５は、例えばキーボードなどであり、表示装置１０６は、例えばタッチパネルやディスプレイなど、各種情報を表示する表示装置である。

ＣＰＵ１０１は、図２に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０３等から読み出してメモリ１０２に展開することで、図２等で説明した各機能を実行するプロセスを動作させる。すなわち、このプロセスは、スキル評価サーバ１０が有する各処理部と同様の機能を実行する。具体的には、ＣＰＵ１０１は、出題制御部２１、出題判定部２２、評価実行部２３、学習部２４等と同様の機能を有するプログラムをＨＤＤ１０３等から読み出す。そして、ＣＰＵ１０１は、出題制御部２１、出題判定部２２、評価実行部２３、学習部２４と同様の処理を実行するプロセスを実行する。

このようにスキル評価サーバ１０は、プログラムを読み出して実行することでスキル評価方法を実行する情報処理装置として動作する。また、スキル評価サーバ１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、スキル評価サーバ１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

（システム）
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともできる。あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）コンピュータに、
複数の問題のそれぞれについて設定された不均一な重み情報を用いて、解答者によって解答がなされた問題についての重みの総計を算出し、
算出した前記重みの総計が所定の基準を満たすか否かに応じて、前記解答者に対して解答を求める更なる問題を提供するか否かを判定する、
処理を実行させることを特徴とする問題提供に関する判定プログラム。

（付記２）前記複数の問題のそれぞれに設定される前記不均一な重み情報は、複数の問題についての解答結果が所定の基準を満たす第１の解答結果群における前記複数の問題における第１の問題の正解率が所定の基準を上回り、かつ、前記複数の問題についての解答結果が前記所定の基準を満たさない第２の解答結果群における前記複数の問題における前記第１の問題の不正解率が所定の基準を上回る場合に、前記第１の問題に対して割り当てられる第１の重みと、前記第１の解答結果群における前記複数の問題における第２の問題の正解率が所定の基準を下回り、及び／又は、前記第２の解答結果群における前記複数の問題における前記第２の問題の不正解率が所定の基準を下回る場合に、前記第２の問題に対して割り当てられる前記第１の重みとは異なる第２の重みとを含み、前記第１の重みは前記第２の重みよりも前記所定の基準を満たすか否かの判断に対する影響度が大きい値である、ことを特徴とする付記１に記載の判定プログラム。

（付記３）前記複数の問題のそれぞれについて、正解した場合には加算されて、不正解であった場合には減算される、当該問題の正解率に基づくポイント情報がさらに設定され、
前記重みの総計が所定の基準を満たすと判定された場合に、出題された各問題のポイント情報を用いて、前記解答者の総ポイント情報を算出して前記解答者を評価する処理を、前記コンピュータにさらに実行させることを特徴とする付記１または２に記載の判定プログラム。

（付記４）複数の解答者に前記複数の問題を出題して解答を得た後に、各問題について正解率と各解答者の総ポイント情報との相関係数を算出し、算出した相関係数を用いて各問題に設定される前記不均一な重み情報を更新する処理を、前記コンピュータにさらに実行させることを特徴とする付記３に記載の判定プログラム。

（付記５）コンピュータが、
複数の問題のそれぞれについて設定された不均一な重み情報を用いて、解答者によって解答がなされた問題についての重みの総計を算出し、
算出した前記重みの総計が所定の基準を満たすか否かに応じて、前記解答者に対して解答を求める更なる問題を提供するか否か判定する、
処理を含んだことを特徴とする問題提供に関する判定方法。

（付記６）メモリと
前記メモリに接続されるプロセッサと、を有し、
前記プロセッサが、
複数の問題のそれぞれについて設定された不均一な重み情報を用いて、解答者によって解答がなされた問題についての重みの総計を算出し、
算出した前記重みの総計が所定の基準を満たすか否かに応じて、前記解答者に対して解答を求める更なる問題を提供するか否か判定する、
処理を実行することを特徴とする出題制御装置。

（付記７）複数の問題のそれぞれについて設定された不均一な重み情報を用いて、解答者によって解答がなされた問題についての重みの総計を算出し、
算出した前記重みの総計が所定の基準を満たすか否かに応じて、前記解答者に対して解答を求める更なる問題を提供するか否か判定する処理をコンピュータに実行させる出題制御プログラムを記憶する、コンピュータ読み取り可能な記憶媒体。

１ 受験者端末
１０ スキル評価サーバ
１１ 通信制御部
１２ 記憶部
１３ 受験者ＤＢ
１４ 問題セットＤＢ
１５ 解答結果ＤＢ
２０ 制御部
２１ 出題制御部
２２ 出題判定部
２３ 評価実行部
２４ 学習部

Claims (5)

1. コンピュータに、
   複数の問題のそれぞれについて設定された、問題の正解率と全解答者の得点に基づいて算出した値との相関係数である重み情報を用いて、解答者によって解答がなされた問題についての重みの総計を算出し、
   算出した前記重みの総計が所定の基準を満たすか否かに応じて、前記解答者に対して解答を求める更なる問題を提供するか否かを判定する、
   処理を実行させることを特徴とする問題提供に関する判定プログラム。
2. 前記複数の問題のそれぞれに設定される前記重み情報は、複数の問題についての解答結果が所定の基準を満たす第１の解答結果群における前記複数の問題における第１の問題の正解率が所定の基準を上回り、かつ、前記複数の問題についての解答結果が前記所定の基準を満たさない第２の解答結果群における前記複数の問題における前記第１の問題の不正解率が所定の基準を上回る場合に、前記第１の問題に対して割り当てられる第１の重みと、前記第１の解答結果群における前記複数の問題における第２の問題の正解率が所定の基準を下回り、及び／又は、前記第２の解答結果群における前記複数の問題における前記第２の問題の不正解率が所定の基準を下回る場合に、前記第２の問題に対して割り当てられる前記第１の重みとは異なる第２の重みとを含み、前記第１の重みは前記第２の重みよりも前記所定の基準を満たすか否かの判断に対する影響度が大きい値である、ことを特徴とする請求項１に記載の判定プログラム。
3. 前記複数の問題のそれぞれについて、正解した場合には加算されて、不正解であった場合には減算される、当該問題の正解率に基づくポイント情報がさらに設定され、
   前記重みの総計が所定の基準を満たすと判定された場合に、出題された各問題のポイント情報を用いて、前記解答者の総ポイント情報を算出して前記解答者を評価する処理を、前記コンピュータにさらに実行させることを特徴とする請求項１または２に記載の判定プログラム。
4. 複数の解答者に前記複数の問題を出題して解答を得た後に、各問題について正解率と各解答者の総ポイント情報との相関係数を算出し、算出した相関係数を用いて各問題に設定される前記重み情報を更新する処理を、前記コンピュータにさらに実行させることを特徴とする請求項３に記載の判定プログラム。
5. コンピュータが、
   複数の問題のそれぞれについて設定された、問題の正解率と全解答者の得点に基づいて算出した値との相関係数である重み情報を用いて、解答者によって解答がなされた問題についての重みの総計を算出し、
   算出した前記重みの総計が所定の基準を満たすか否かに応じて、前記解答者に対して解答を求める更なる問題を提供するか否か判定する、
   処理を含んだことを特徴とする問題提供に関する判定方法。

Images