JPWO2017145765A1 - アイデア創造力を評価するためのオンラインテスト方法及びオンラインテストサーバ - Google Patents

Abstract

アイデア創造力を簡便に評価するためのオンラインテスト方法及びオンラインテストサーバを提供する。多数の受験者に対して、５Ｗ１Ｈに関する状況設定を選択肢から選ばせ、それによるアイデアを記述させるという作業を制限時間内になるべく多く繰り返させる試験をオンライン上で行い、これに対する受験者からの解答に対して所定の基準に従って重み付けを付与して合計点数を算出することで、評価の高いアイデアを多く創出する能力、評価の高いアイデアを幅広く創出する能力、又は、希少で評価の高いアイデアを創出する能力といったイノベーション能力を評価する。

Description

本発明はアイデア創造力を評価するためのオンラインテスト方法に関する。また、本発明はアイデア創造力を評価するためのオンラインテストサーバに関する。

近年、インターネットの普及により検定試験や就職試験などの各種試験がオンライン上でも行われるようになってきている。オンライン試験においては、受験者が自己の端末にて問題をサーバから受信し、受験者は自ら作成した答案をサーバへ送信することにより行う方法が一般的に採用されている。

例えば、特開２００２−６２７９５号公報では、設問形式の問題を受験者に対して提供し、前記問題に対する回答を収集して採点又は解析の結果情報を提供する検定試験システムであって、前記問題を含んだ出題用プログラム及び前記問題に対する回答を返送する転送用ファイルを前記受験者に対して提供するステップと、前記受験者から返送される前記転送用ファイルを受信するステップと、前記転送用ファイルに含まれる回答を採点又は解析するステップと、前記回答を採点又は解析した結果情報を前記受験者に対して配信するステップとを備えたことを特徴とする検定試験システムが開示されている。

しかしながら、オンライン試験に限らず、人の知識や能力を測定するための試験においては選択式であろうと記述式であろうと模範回答が用意されており、受験者による解答を当該模範解答と比較することで、受験者に対する評価を決定するという手順が伝統的に採用されてきた。しかしながら、このような伝統的な採点方法では、模範解答のない問題に対して受験者を評価することは困難である。

そこで、模範解答のない問題に対して、受験者間で相互に評価させるという方法が特表２０１４−５００５３２号公報にて提案されている。当該公報においては、コンピュータ内に存在するメモリデバイスと；前記メモリデバイスと通信するよう配置されたプロセッサと、を含むシステムであって前記プロセッサは：候補者がテーマに基づいた問題を作成することを要求し；前記候補者から前記問題を受信し；少なくとも１人の評価者から前記問題と前記テーマとの評価を要求し；各評価者から問題スコアを受信し、前記問題スコアは前記問題と前記テーマとの評価の客観的指標であり；各評価者に対する格付けを受信し；そして、各評価者からの前記問題スコアと前記各評価者に対する格付けとに基づいて、前記候補者に対する格付けを計算するように構成されるシステムが開示されている。

特開２００２−６２７９５号公報 特表２０１４−５００５３２号公報

業種を問わず多くの企業はビジネスのグローバル化に伴ってかつてないほどの激しい競争環境下に置かれており、どの企業も顧客に訴える魅力的な商品やサービスをいち早く開発することが至上命令となっている。このような厳しい競争環境において、企業成長に欠かせないのは、予め用意された模範解答通りの解答を導き出す能力をもつ人材よりも、斬新で独創的なアイデアを創出する能力、いわばイノベーション能力の高い人材であると考えられる。ところが、従来はそのようなイノベーション能力を評価するための適切な方法というのは存在しない。予め用意された模範解答と比較して受験者を格付けする手法では、受験者の創造性を評価することは困難である。また、受験者間で相互に創造性を評価する仕組みを採用したとしても、各受験者における目利き力が不明である中では、適正な評価が下せる可能性が低い。

本発明は上記事情に鑑みてなされたものであり、アイデア創造力を簡便に評価するためのオンラインテスト方法及びオンラインテストサーバを提供することを課題とする。

本発明者は上記課題を解決するために鋭意検討を行ったところ、多数の受験者に対して、５Ｗ１Ｈに関する状況設定を選択肢から選ばせ、それによるアイデア（典型的にはビジネスアイデア）を記述させるという作業を制限時間内になるべく多く繰り返させる試験をオンライン上で行い、これに対する受験者からの解答を数理解析することで、評価の高いアイデアを多く創出する能力、評価の高いアイデアを幅広く創出する能力、及び、希少で評価の高いアイデアを創出する能力といったイノベーション能力を簡単に評価できると考えた。また、受験者同士でアイデアを相互評価させた後、評価の高いアイデアを創出した受験者を評価者としての能力も高いと仮定して、アイデア評価及び評価者の絞り込みを繰り返して行って収束させることにより、受験者のイノベーション能力をより客観的に評価できるようになるとともに、受験者の目利きとしての能力も評価できるようになると考えた。本発明者は上記基本思想に基づいて本発明を完成させた。

従って、本発明は一側面において、
サーバがネットワークを介して試験管理者端末からテスト開始の指示を受信するステップと、
テスト開始の指示に応じて、サーバが５Ｗ１Ｈの六つの要素のうち少なくとも二つを組み合わせた状況設定を前記要素ごとに複数の選択肢から選択させ、当該選択に対応したアイデアを記述させる設問内容を含む設問データを設問データ記憶部から抽出し、ネットワークを介して各受験者端末に送信するステップと、
サーバが、前記設問に対する受験者の解答内容を含む解答データを、各受験者端末から受信するステップと、
サーバが、タイマーにより予め設定された制限時間内に受信した解答内容を含む解答データにそれぞれ識別子を付与し、解答データを送信した受験者の識別子と関連付けて解答データ記憶部に格納するステップと、
サーバが、乱数発生装置により発生した乱数を取得し、当該乱数を用いて解答データ記憶部に格納されている各解答データ中の解答内容を評価すべき受験者を決定するステップと、
サーバが、前記評価すべき受験者を決定するステップの結果に従い、各受験者が評価すべき解答データを解答データ記憶部から抽出し、ネットワークを介して各受験者端末に送信するステップと、
サーバが、解答データ中の解答内容に対する受験者による評価を含む解答評価データを、各受験者端末から受信するステップと、
サーバが、受信した解答評価データに識別子を付与し、前記解答評価データを送信した評価者としての受験者の識別子、評価された解答データの識別子、及び評価された解答データを送信した受験者の識別子と関連付けて解答評価データを解答評価データ記憶部に格納するステップと、
サーバが、解答評価データ記憶部に格納されている各解答評価データ及び解答データの識別子に基づいて各解答データ中の解答内容に対する評価を集計することにより各解答内容に対する点数を算出し、各解答内容を含む解答データを送信した受験者の識別子と関連付けて解答データ記憶部に格納するステップと、
サーバが、解答データの識別子及び解答データを送信した受験者の識別子と関連付けられて解答データ記憶部に格納されている解答内容に対する点数に少なくとも部分的に基づいて、解答データを送信した受験者の識別子毎に合計点数を算出し、当該合計点数を解答データを送信した受験者の識別子と関連付けて受験者評価データ記憶部に格納するステップと、
但し、合計点数を算出する際、各解答内容に付与された点数に対しては、以下の（１）〜（３）の少なくとも一つの重み付け基準に従って、重み付けを付与することを条件とする：
（１）同一の受験者の識別子が付与された複数の解答データを選択肢の組み合わせ毎に分類し、同一の選択肢の組み合わせに対する解答データの識別子が複数存在するときは、付与された点数が低い解答内容であるほど重み付け後の点数が低くなるように、各解答内容に付与された点数に重み付けを与える、
（２）同一の受験者の識別子が付与された複数の解答データについて選択肢の組み合わせを数値座標化してその中心点を算出し、中心点からの距離が大きい組み合わせを有する解答内容であるほど重み付け後の点数が高くなるように、解答内容に付与された点数に重み付けを与える；
（３）設問内容から想定されるすべての選択肢の組み合わせそれぞれについて、当該選択肢の組み合わせを解答内容として有する解答データの識別子に関連付けられている点数をすべて合計することで当該選択肢の組み合わせの全体獲得点数を算出し、全体獲得点数の低い選択肢の組み合わせを有する解答内容になるほど重み付け後の点数が高くなるようにして、各解答内容に付与された点数に重み付けを与える；
サーバが、受験者評価データ記憶部に格納された各受験者に対する合計点数を含む受験者評価データを抽出し、ネットワークを介して対応する受験者端末に送信するステップと、
を含むアイデア創造力を評価するためのオンラインテスト方法である。

本発明に係るオンラインテスト方法の一実施形態においては、
サーバが、各受験者に対する合計点数を算出し、受験者の識別子と関連付けて受験者評価データ記憶部に格納する前記ステップを実施した後、
サーバが、受験者の識別子及び当該受験者の識別子と関連付けられている合計点数に基づいて受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、解答データの識別子ごとに解答内容に対する評価を改めて集計して点数化し、得られた補正後の点数を解答データの識別子と関連付けて解答データ記憶部に格納するステップＸと、
サーバが、解答データ記憶部に格納されている各解答内容に付与された補正後の点数及び受験者の識別子に基づき、前記（１）〜（３）の少なくとも一つの評価手順に従って各受験者に対する補正後の合計点数を算出し、受験者の識別子と関連付けて受験者評価データ記憶部に格納するステップＹと、
を更に含む。

本発明に係るオンラインテスト方法の別の一実施形態においては、各受験者に対する補正後の合計点数を各受験者に対する合計点数とみなして、サーバがステップＸ及びステップＹを一度以上回繰り返す。

本発明に係るオンラインテスト方法の更に別の一実施形態においては、
サーバが、解答評価データ記憶部に格納されている評価者としての受験者の識別子と関連付けられた各解答内容に対する評価と、解答データ記憶部に格納されている当該解答内容に付与された補正前又は補正後の点数を対比し、両者の近似性を受験者ごとに集計することにより、各受験者の評価精度を算出し、当該評価精度を各受験者の識別子と関連付けて受験者評価データ記憶部に格納するステップと、
サーバが、受験者評価データ記憶部に格納された各受験者に対する評価精度を含む受験者評価データを受験者の識別子に基づき抽出し、ネットワークを介して対応する受験者端末に送信するステップと、
を更に含む。

本発明に係るオンラインテスト方法の更に別の一実施形態においては、
解答データ記憶部に二人以上のサンプル受験者による解答内容を含む解答データが解答データの識別子と関連づけられて格納されており、
サーバが、各受験者の合計点数又は補正されている場合には補正後の合計点数に基づきサンプル受験者も含めた又はサンプル受験者を含めない受験者全体の合計点数の平均値Ａ１を算出するステップと、
サーバが、サンプル受験者の合計点数又は補正されている場合には補正後の合計点数に基づきその平均値Ａ２を算出するステップと、
サーバが、Ａ１及びＡ２の差を算出するステップと、
サーバが、受験者全体の合計点数の平均値がＡ１からＡ２に修正されるように、各受験者の合計点数からＡ１及びＡ２の差をそれぞれ引き算し、当該引き算によって標準化された後の各受験者の合計点数を受験者の識別子と関連付けて受験者評価データ記憶部に格納するステップと、
サーバが、受験者評価データ記憶部に格納された各受験者の標準化された後の合計点数を含む受験者評価データを受験者の識別子に基づいて抽出し、ネットワークを介して対応する受験者端末に送信するステップと、
を更に含む。

本発明に係るオンラインテスト方法の更に別の一実施形態においては、
解答データ記憶部に二人以上のサンプル受験者による解答内容を含む解答データが解答データの識別子と関連づけられて格納されており、
サーバが、各受験者の合計点数又は補正されている場合には補正後の合計点数に基づきサンプル受験者も含めた又はサンプル受験者を含めない受験者全体の合計点数の平均値Ａ１を算出するステップと、
サーバが、サンプル受験者の合計点数又は補正されている場合には補正後の合計点数に基づきその平均値Ａ２を算出するステップと、
サーバが、Ａ１及びＡ２の差を算出するステップと、
サーバが、受験者全体の合計点数の平均値がＡ１からＡ２に修正されるように、各受験者の合計点数からＡ１及びＡ２の差をそれぞれ引き算し、当該引き算された後の各受験者の合計点数を受験者の識別子と関連付けて受験者評価データ記憶部に格納するステップと、
サーバが、各受験者の合計点数又は補正されている場合には補正後の合計点数に基づきサンプル受験者も含めた又はサンプル受験者を含めない受験者全体の合計点数の標準偏差Ｄ１を算出するステップと、
サーバが、サンプル受験者の合計点数又は補正されている場合には補正後の合計点数に基づきサンプル受験者の標準偏差Ｄ２を算出するステップと、
サーバが、Ｄ１とＤ２の比を算出するステップと、
サーバが、受験者全体の標準偏差がＤ１からＤ２に修正されるように、各受験者の合計点数の平均値Ａ１からの差に対してＤ１とＤ２の比を掛け算し、
当該掛け算によって得られた値に平均値Ａ１を加算することにより標準化された後の各受験者の合計点数を受験者の識別子と関連付けて受験者評価データ記憶部に格納するステップと、
サーバが、受験者評価データ記憶部に格納された各受験者の標準化された後の合計点数を含む受験者評価データを受験者の識別子に基づいて抽出し、ネットワークを介して対応する受験者端末に送信するステップと、
を更に含む。

本発明は別の一側面において、
送受信部、制御部、記憶部、タイマー及び乱数発生装置を備え、
前記記憶部は、
各受験者のアカウント情報を受験者の識別子と関連づけて格納するための受験者アカウントデータ記憶部と、
５Ｗ１Ｈの六つの要素のうち少なくとも二つを組み合わせた状況設定を前記要素ごとに複数の選択肢から選択させ、当該選択に対応したアイデアを記述させる設問内容を含む設問データを記憶するための設問データ記憶部と、
送受信部で受信した設問に対する受験者の解答内容を含む解答データを、当該解答データの識別子と共に当該解答データを送信した受験者の識別子と関連付けて格納するための解答データ記憶部と、
送受信部で受信した解答データ中の解答内容に対する受験者による評価を含む解答評価データを、当該解答評価データの識別子と共に当該解答評価データを送信した受験者の識別子、評価された解答データの識別子、及び評価された解答データを送信した受験者の識別子と関連付けて格納するための解答評価データ記憶部と、
受験者に対する合計点数を、受験者の識別子と関連付けて格納するための受験者評価データ記憶部とを有し、
前記制御部はデータ登録部、設問抽出部、制限時間判断部、評価者決定部、解答抽出部、解答評価部、受験者評価部及び受験者評価抽出部を備え、
データ登録部は、送受信部で受信した解答データが、制限時間判断部により制限時間内に受信したと判断された場合、当該解答データに識別子を付与し、当該解答データを送信した受験者の識別子と関連付けて解答データ記憶部に格納することと、送受信部で受信した解答評価データに識別子を付与し、当該解答評価データを送信した受験者の識別子及び評価された解答データの識別子と関連付けて解答評価データ記憶部に格納することができ、
設問抽出部は、試験管理者端末からの指示を送受信部が受信すると、設問データを設問データ記憶部から抽出し、送受信部からネットワークを介して各受験者端末に一斉に送信することができ、且つ、制限時間判断部の指示に従い、設問データを設問データ記憶部から抽出し、送受信部からネットワークを介して対応する受験者端末に個別に送信することができ、
制限時間判断部は、受験者端末から送信された解答データを送受信部で受信した時点が、タイマーを利用して制限時間内にあるか否かを判断することができ、判断の結果、制限時間内と判断した場合は、当該解答データに識別子を付与し、当該解答データを送信した受験者の識別子と関連付けて解答データ記憶部に格納するようデータ登録部に指示することができ、且つ、設問抽出部に対して、当該解答データを送信した受験者の受験者端末に前記設問データを表示可能な形態で送受信部から再度送信するように指示することができ、
評価者決定部は、試験管理者端末からの指示を送受信部が受信すると、乱数発生装置により発生した乱数を取得し、当該乱数を用いて解答データ記憶部に格納されている各解答データ中の解答内容を評価すべき受験者を解答データの識別子毎に受験者の識別子を評価者として関連付けることにより決定することができ、
解答抽出部は、評価者決定部による前記評価すべき受験者の決定に従い、各受験者が評価すべき解答データを解答データの識別子と当該解答データの識別子に評価者として関連付けられた受験者の識別子とに基づいて抽出し、送受信部からネットワークを介して対応する受験者端末に送信することができ、
解答評価部は、解答評価データ記憶部に格納されている解答内容に対する受験者による評価及び当該解答内容に対応する解答データの識別子に基づいて、解答データの識別子ごとに解答内容に対する評価を集計して点数化し、得られた点数を解答データの識別子と関連付けて解答データ記憶部に格納することができ、
受験者評価部は、解答データの識別子及び解答データを送信した受験者の識別子と関連付けられて解答データ記憶部に格納されている解答内容に対する点数に少なくとも部分的に基づいて、解答データを送信した受験者の識別子毎に合計点数を算出し、当該合計点数を解答データを送信した受験者の識別子と関連付けて受験者評価データ記憶部に格納することができ、
但し、合計点数を算出する際、各解答内容に付与された点数に対しては、以下の（１）〜（３）の少なくとも一つの重み付け基準に従って、重み付けを付与することを条件とする：
（１）同一の受験者の識別子が付与された複数の解答データを選択肢の組み合わせ毎に分類し、同一の選択肢の組み合わせに対する解答データの識別子が複数存在するときは、付与された点数が低い解答内容であるほど重み付け後の点数が低くなるように、各解答内容に付与された点数に重み付けを与える、
（２）同一の受験者の識別子が付与された複数の解答データについて選択肢の組み合わせを数値座標化してその中心点を算出し、中心点からの距離が大きい組み合わせを有する解答内容であるほど重み付け後の点数が高くなるように、解答内容に付与された点数に重み付けを与える；
（３）設問内容から想定されるすべての選択肢の組み合わせそれぞれについて、当該選択肢の組み合わせを解答内容として有する解答データの識別子に関連付けられている点数をすべて合計することで当該選択肢の組み合わせの全体獲得点数を算出し、全体獲得点数の低い選択肢の組み合わせを有する解答内容になるほど重み付け後の点数が高くなるようにして、各解答内容に付与された点数に重み付けを与える；
受験者評価抽出部は、受験者評価データ記憶部に格納された各受験者に対する合計点数を含む受験者評価データを受験者の識別子に基づいて抽出し、送受信部からネットワークを介して対応する受験者端末に送信することができる、
アイデア創造力を評価するためのオンラインテストサーバである。

本発明に係るオンラインテストサーバの一実施形態においては、解答評価部は更に、受験者の識別子及び当該受験者の識別子と関連付けられている合計点数に基づいて受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、解答データの識別子ごとに解答内容に対する評価を改めて集計して点数化し、得られた補正後の点数を解答データの識別子と関連付けて解答データ記憶部に格納することができ、且つ、受験者評価部は更に、解答データの識別子及び受験者の識別子と関連付けられて解答データ記憶部に格納されている解答内容に対する補正後の点数に少なくとも部分的に基づいて、受験者の識別子毎に補正後の合計点数を算出することができる。

本発明に係るオンラインテストサーバの別の一実施形態においては、評価精度演算部を更に備え、評価精度演算部は解答評価データ記憶部に格納されている評価者としての受験者の識別子と関連付けられた各解答内容に対する評価と、解答データ記憶部に格納されている当該解答内容に付与された補正前又は補正後の点数を対比し、両者の近似性を受験者ごとに集計することにより、各受験者の評価精度を算出し、当該評価精度を各受験者の識別子と関連付けて受験者評価データ記憶部に格納することができ、
受験者評価抽出部は更に、受験者評価データ記憶部に格納された各受験者に対する評価精度を含む受験者評価データを受験者の識別子に基づき抽出し、送受信部からネットワークを介して対応する受験者端末に送信することができる。

本発明に係るオンラインテストサーバの更に別の一実施形態においては、
解答データ記憶部に二人以上のサンプル受験者による解答内容を含む解答データが解答データの識別子と関連づけられて格納されており、
スコア標準化部を更に備え、スコア標準化部は受験者評価部によって算出された各受験者の合計点数又は補正されている場合には補正後の合計点数に基づきサンプル受験者も含めた又はサンプル受験者を含めない受験者全体の合計点数の平均値Ａ１を算出することができ、
受験者評価部によって算出されたサンプル受験者の合計点数又は補正されている場合には補正後の合計点数に基づきその平均値Ａ２を算出することができ、
得られたＡ１及びＡ２の差を算出することができ、
受験者全体の合計点数の平均値がＡ１からＡ２に修正されるように、各受験者の合計点数からＡ１及びＡ２の差をそれぞれ引き算し、当該引き算によって標準化された後の各受験者の合計点数を受験者の識別子と関連付けて受験者評価データ記憶部に格納することができ、
受験者評価抽出部は、受験者評価データ記憶部に格納された各受験者に対する引き算された後の合計点数を含む受験者評価データを受験者の識別子に基づいて抽出し、送受信部からネットワークを介して対応する受験者端末に送信することができる。

本発明に係るオンラインテストサーバの更に別の一実施形態においては、
解答データ記憶部に二人以上のサンプル受験者による解答内容を含む解答データが解答データの識別子と関連づけられて格納されており、
スコア標準化部を更に備え、スコア標準化部は受験者評価部によって算出された各受験者の合計点数又は補正されている場合には補正後の合計点数に基づきサンプル受験者も含めた又はサンプル受験者を含めない受験者全体の合計点数の平均値Ａ１を算出することができ、
受験者評価部によって算出されたサンプル受験者の合計点数又は補正されている場合には補正後の合計点数に基づきその平均値Ａ２を算出することができ、
得られたＡ１及びＡ２の差を算出することができ、
受験者全体の合計点数の平均値がＡ１からＡ２に修正されるように、各受験者の合計点数からＡ１及びＡ２の差をそれぞれ引き算し、当該引き算された後の各受験者の合計点数を受験者の識別子と関連付けて受験者評価データ記憶部に格納することができ、
スコア標準化部は更に、受験者評価部によって算出された各受験者の合計点数又は補正されている場合には補正後の合計点数に基づきサンプル受験者も含めた又はサンプル受験者を含めない受験者全体の合計点数の標準偏差Ｄ１を算出することができ、
受験者評価部によって算出されたサンプル受験者の合計点数又は補正されている場合には補正後の合計点数に基づき受験者評価部によって算出されたサンプル受験者の標準偏差Ｄ２を算出することができ、
得られたＤ１とＤ２の比を算出することができ、
受験者全体の標準偏差がＤ１からＤ２に修正されるように、各受験者の合計点数の平均値Ａ１からの差に対してＤ１とＤ２の比を掛け算し、当該掛け算によって得られた値に平均値Ａ１を加算することにより標準化された後の各受験者の合計点数を受験者の識別子と関連付けて受験者評価データ記憶部に格納することができ、
受験者評価抽出部は、受験者評価データ記憶部に格納された各受験者に対する標準化された後の合計点数を含む受験者評価データを受験者の識別子に基づいて抽出し、送受信部からネットワークを介して対応する受験者端末に送信することができる。

本発明は更に別の一側面において、本発明に係るオンラインテスト方法をコンピュータに実行させるためのプログラムである。

本発明は更に別の一側面において、本発明に係るプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明の一実施態様によれば、受験者のアイデア創造力を評価するための簡易的なツールを提供することが可能となる。企業は試験結果を、人材の適切な配置及び育成に役立てることができる。特に、アイデア創造力の高い人材を新規事業開発部門に当てることにより、独創的な製品やサービスの開発促進が期待できる。また、受験者としても、アイデア創造力に関する自身の特性と成長余地を把握することで、自身に相応しいキャリアを選択できるという利点が得られる。

本発明の別の一実施態様に従って受験者間で解答を相互評価させる場合、各受験者のアイデア創造力を多数の評価に基づいて測定することができるので、より客観的な評価を下すことが可能となる。そして、アイデア創造力そのものに加えて他者のアイデア創造力を評価する目利きとしての能力も測定することが可能となる。

本発明に係るオンライン試験の一実施形態に係る手順の概念図を示す。 本発明に係るオンライン試験の一実施形態によって得られる評価結果の概念図を示す。 本発明に係るオンライン試験の一実施形態において行われるアイデアの順位付け及び相互評価の繰り返しを表す概念図を示す。 本発明に係るオンライン試験システムの全体構成の例を示す。 サーバ、受験者端末、試験管理者端末及びサーバ管理者端末の基本的なハードウェア構成例を示す。 サーバの機能ブロック図の一例を示す。 設問データファイルのテーブル構造の例を示す。 解答データファイル中の一つの解答データのテーブル構造の例を示す。 解答評価データファイル中の一つの解答評価データのテーブル構造の例を示す。 受験者評価データファイル中の一つの受験者評価データのテーブル構造の例を示す。 受験者アカウントデータファイル中の一人の受験者のアカウント情報が記憶されたテーブル構造の例を示す。 試験管理者アカウントデータファイル中の試験管理者アカウント情報が記憶されたテーブル構造の例を示す。 サーバ管理者アカウントデータファイル中の管理者アカウント情報が記憶されたテーブル構造の例を示す。 試験条件データファイル中の試験条件情報が記憶されたテーブル構造の例を示す。 後半テスト進捗管理データファイル中の後半テストの進捗状況が記憶されたテーブル構造の例を示す。 受験者端末に表示されるトップページの画面の一例である。 受験者端末に表示される受験者用ページのメニュー画面の一例である。 受験者端末に表示される受験者用ページの前半テスト画面の一例である。 受験者端末に表示される受験者用ページの後半テスト画面の一例である。 受験者端末に表示される受験者用ページの採点結果画面の一例である。 試験管理者端末に表示される試験管理者用ページの管理画面の一例である。 試験管理者端末に表示される試験管理者用ページの試験条件設定画面の一例である。 サーバ管理者端末に表示されるサーバ管理者用ページの試験管理者のアカウント情報入力画面の一例である。 サーバ管理者端末に表示されるサーバ管理者用ページの設問内容入力画面の一例である。 試験管理者がサーバへアクセスして受験者登録及び試験条件入力を行うところから、アイデア創造力テスト（前半テスト）のテスト画面が受験者端末に表示されるまでの処理の流れを示すフローチャートである。 アイデア創造力テスト（前半テスト）の開始から前半テストが終了するまでの処理の流れを示すフローチャートである。 アイデア評価テスト（後半テスト）の開始から後半テストが終了するまでの処理の流れを示すフローチャートである。 アイデア評価テスト（後半テスト）の終了後、サーバによって受験者の採点を行い、その結果を受験者及び試験管理者に送信するまでの処理の流れを示すフローチャートである。

以下、本発明に係るアイデア創造力を評価するためのオンラインテスト方法の実施形態について図面を参照しながら詳細に説明するが、本発明はこれらの実施形態に限定されるものではない。

本発明の第一の実施形態に係るオンラインテストの概念図を図１及び図２に示す。前半テストにおいては、受験者は「誰が」、「どこで」、「何を」といった５Ｗ１Ｈに関する要素の選択肢から選び、選んだ選択肢に内在するアイデアを記述する。受験者は試験時間内であれば選択肢の選択及びアイデアの記述を繰り返し実行することができる。各受験者によって創出されたアイデアは後半テストにおいて複数の自分以外の受験者によって○／×等の評価が下される。当該相互評価の結果に基づき、各受験者のアイデア創造力に関する指標を算出する。設問内容が選択式であるため、選択肢の組み合わせを数値化することにより、得られた算出結果は多次元空間上にプロットすることが容易に可能となる。これにより、図２に示すように、例えば各受験者の創出したアイデアの受験者全体から見た分布や傾向（当該受験者のアイデアの多さ、内容の幅の広さ、希少性などを表す）を視覚的にも把握することが可能となる。企業等の試験管理者は当該結果を受験者毎に集計することで、当該企業の有する各人材のアイデア創造力の他、アイデア創造力に関する人材の分布を視覚的に把握することも可能となる。

＜１．システム構成＞
図４に本実施形態に係るオンライン試験システムの全体構成を示す。本システムは、サーバ１１と、1番目からｎ番目までの複数の受験者端末１２と、試験管理者端末１３と、サーバ管理者端末１５とを備え、受験者端末１２、試験管理者端末１３及びサーバ管理者端末１５は、インターネット、専用回線又は公衆網といったコンピュータネットワーク１４を通じてサーバ１１と相互通信可能に接続されている。サーバ管理者端末１５は必ずしもサーバ１１と独立した端末として必要ではなく、サーバ管理者端末１５の機能はサーバ１１が担うこともできる。

［ネットワーク］
コンピュータネットワーク１４は限定的ではないが、例えば、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）など有線ネットワークとすることができ、ＭＩＭＯ（Multiple-Input Multiple-Output）を用いたＷＬＡＮ（Wireless Local Area Network）などの無線ネットワークとすることができる。又は、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネット（Internet）、又は、いわゆる無線ＬＡＮアクセスポイント（Wireless LAN Access Point）としての役割を果たす基地局（図示せず）などを介すものであってもよい。

サーバとはサーバ・コンピュータを意味し、１台又は複数台のコンピュータの協働により構成することができる。受験者端末１２及び試験管理者端末１３はブラウザを搭載したパーソナルコンピュータにより実現できるが、それに限られるものではなく、スマートフォン、タブレット、携帯電話、モバイル及びＰＤＡといった携帯型の端末、更にはデジタルテレビなどのコンピュータネットワークによる通信が可能な機器や装置類で構成することができる。

サーバ１１、受験者端末１２、試験管理者端末１３及びサーバ管理者端末１５の基本的なハードウェア構成は共通しており、図５に示すように、演算装置２０１、記憶装置２０２、出力装置２０３、入力装置２０４及び通信装置２０５を有するコンピュータ２００により実現可能である。また、必要に応じて乱数発生装置２０６及びタイマー２０７を備えてもよい。

演算装置２０１はコンピュータの全体を制御し、入力装置２０４で入力された命令、指示及びデータや、記憶装置２０２に格納されたデータ等を基にプログラムに従って演算処理を実行する装置及び回路等のことを指す。演算装置２０１としては例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を採用することができる。
記憶装置２０２は各種データ、オペレーティングシステム（ＯＳ）、ネットワークアプリケーション（例：サーバ１１側のウェブサーバソフトウェア、受験者端末１２、試験管理者端末１３及びサーバ管理者端末１５のブラウザ）及び各種の演算処理を実行するためのプログラム等を記憶する装置、回路等のことを指し、例えば、主に半導体メモリが用いられる一次記憶装置、主にハードディスクドライブや半導体ディスクが用いられる二次記憶装置（補助記憶装置）、主にＣＤ−ＲＯＭドライブ等リムーバブルメディアドライブが用いられるオフラインストレージ、テープライブラリ等、公知の記憶装置等を用いることができる。より具体的には、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、ＺＩＰドライブ、テープストレージ等、磁気記録媒体を用いる磁気記憶装置の他に、レジスタ、キャッシュメモリ、ＲＯＭ、ＲＡＭ、フラッシュメモリ（例えばＵＳＢメモリ）、半導体ディスク（例えばＲＡＭディスク、仮想ディスク）などの半導体メモリを利用する記憶回路または記憶装置や、ＣＤ、ＤＶＤ等の光学記録媒体、ＭＯ等の光磁気ディスクを利用する光学記憶装置、その他紙テープやパンチカード等を利用する記憶装置、ＰＲＡＭ（ｐｈａｓｅ ｃｈａｎｇｅ ＲＡＭ、相変化メモリ）と呼ばれる相変化記録技術を用いた記憶装置、ホログラフィックメモリ、３次元光メモリを用いた記憶装置、電荷の蓄積を分子レベルで行い情報を記憶する分子メモリを用いた記憶装置等を採用することができる。
出力装置２０３はデータ又は命令の出力を実現する装置、回路等のインターフェースであり、ＬＣＤや有機ＥＬ等のディスプレイの他、プリンター、スピーカ等を採用可能である。
入力装置２０４はデータ又は命令を演算装置２０１に与えるためのインターフェースであり、キーボード、テンキー、マウス等のポインティングデバイス、タッチパネル、リーダー（ＯＣＲ）、入力画面、マイク等の音声入力インターフェース等を採用可能である。
通信装置２０５は装置外部とのデータの送受信を実現する装置、回路であり、例えばＬＡＮポート、モデム、無線ＬＡＮ、ルーター等のネットワークに接続するためのインターフェースである。演算装置２０１の処理結果や記憶装置２０２に記憶する情報をコンピュータネットワーク１４を介して送受信することが可能である。
乱数発生装置２０６は乱数を提供することができる装置である。
タイマー２０７は時間を計測及び通知することができる装置である。

［サーバ］
サーバ１１の機能ブロック図の一例を図６に示す。サーバ１１は送受信部３１０と、制御部３２０と、記憶部３４０とを備える。

サーバ１１の記憶部３４０には、設問データファイル３４１、解答データファイル３４２、解答評価データファイル３４３、受験者評価データファイル３４４、受験者アカウントデータファイル３４５、試験管理者アカウントデータファイル３４６、サーバ管理者アカウントデータファイル３４７、試験条件データファイル３４８及び後半テスト進捗管理データファイル３４９を格納可能である。これらのファイルはデータの種類に応じて個別に用意してもよいし、複数種類のデータをまとめて一つのファイルに格納してもよい。

設問データファイル３４１にはアイデアを解答させるための設問内容を保存することができる。設問データファイル３４１のテーブル構造の例を図７に示す。創造力を簡便に分析して評価できるという観点で、設問は少なくとも一部が選択式の設問であることが好ましく、一実施形態においては、５Ｗ１Ｈの６つの要素のうち少なくとも二つを組み合わせた状況設定を前記要素ごとに複数の選択肢から選択させる設問とすることができる。本発明の具体的な実施形態の一つにおいては、設問は「誰が」、「どこで」、「いつ」、「何を」の各要素がそれぞれ選択式で付与されており、受験者はこれらの各要素の組み合わせを選択して解答する。例えば、「誰が」の選択肢の例としては子供、大人、女性、男性、お年寄りが挙げられる。また、受験者は各要素の組み合わせについて、如何なるアイデア（例えばビジネスアイデア）が潜んでいるかを記述式の解答欄に記入させることが好ましい。これにより、受験者のアイデアを具体的に把握することができ、これに対する評価者による評価もしやすい。記述式の解答欄は一つ又は複数とすることができるが、例えば、上記選択肢からの組み合わせから生じる「ニーズ（例えばビジネスニーズ）」及び「アイデア（例えばニーズに対するソリューション）」を記述させることができる。受験者端末１２に表示される試験画面の一例を図１８に示す。

解答データファイル３４２には前記設問に対する受験者の解答内容を検索可能な状態で保存することができる。解答データファイル中の一つの解答データのテーブル構造の例を図８に示す。当該テーブルには、当該解答データの識別子であるアイデア解答ＩＤ、当該解答データを送信した受験者の識別子である受験ＩＤ（受験番号）、選択式の設問に対する解答、記述式に対する解答、当該解答データのスコア計算結果、及び、受験者の状態（受験開始前、実施中、就業など）を示すステータスを記憶させることができる。スコア計算結果は、当該解答データに対する点数（採点結果）であり、解答評価データファイル３４３に格納されている各解答評価データ及び解答データの識別子に基づいて各解答データ中の解答内容に対する評価を集計することにより算出された各解答内容に対する点数を保存することができる。スコア計算結果は後述するように１回以上補正可能であることから、解答評価データファイル３４３には補正を行う毎に得られたスコア計算結果を「スコア計算結果１」、「スコア計算結果２」などとして保存することもできる。

後述するスコアの標準化のために、解答データファイル３４２中には予め二人以上のサンプル受験者による解答内容を含む解答データをサンプル用のアイデア解答ＩＤと関連づけて格納することもできる。標準化の効果を高めるという観点から、サンプル受験者による解答データは５人以上が好ましく、８人以上がより好ましいが、過度に人数が多いと当該解答を評価する受験者の負担が重くなるため、１５人以下とするのが一般的であり、１２人以下とするのが好ましい。

解答評価データファイル３４３には、各解答内容に対する評価者（例えば受験者）の評価を含む解答評価データを検索可能な状態で保存することができる。解答評価データファイル３４３中の一つの解答評価データのテーブル構造の例を図９に示す。当該テーブルには、当該解答評価データの識別子である解答評価ＩＤ、評価対象となる解答データの識別子であるアイデア解答ＩＤ、評価者の受験ＩＤ、評価対象となる解答データを送信した受験者の識別子である受験ＩＤ、解答内容に対する評価者による評価の結果を示す解答評価、及び、評価前、評価終了などの進捗状況を示すステータスを記憶させることができる。解答評価は○×形式やｇｏｏｄ又はｂａｄのような択一式でもよいし、所定の範囲内の点数で表現してもよい。

受験者評価データファイル３４４には各受験者に対する評価の結果を検索可能な状態で保存することができる。受験者評価データファイル３４４中の一つの受験者評価データのテーブル構造の例を図１０に示す。当該テーブルには、受験者の識別子である受験ＩＤ及び受験ＩＤ毎に受験者の合計得点であるスコア計算結果を格納することができる。スコア計算結果は後述するように１回以上補正可能であることから、受験者評価データファイル３４４には補正を行う毎に得られたスコア計算結果を「スコア計算結果１」、「スコア計算結果２」などとして保存することもできる。また、当該テーブルには、受験者または試験管理者がそのアカウントを作成して登録した日時を示す登録日時、前半テスト（アイデア創造力テスト）オープン日時（教室などでの一斉実施の場合、前半テスト受験日時を意味することができる。一方、遠隔で実施するなどで開始のタイミングが受験者に任される場合、受験者が前半テストを受験可能な日時を意味することができる。）、前半テストの締切日時（教室などでの一斉実施の場合、前半テスト終了日時を意味することができる。一方、遠隔で実施するなどで開始のタイミングが受験者に任される場合、受験者が前半テストを完了させておくべき日時を意味することができる。）、後半テスト（受験者間でアイデア相互評価を行うテスト）のオープン日時（教室などでの一斉実施の場合、後半テスト受験日時を意味することができる。一方、遠隔で実施するなどで開始のタイミングが受験者に任される場合、受験者が後半テストを受験可能な日時を意味することができる。）、後半テストの締切日時（教室などでの一斉実施の場合、後半テスト終了日時を意味することができる。一方、遠隔で実施するなどで開始のタイミングが受験者に任される場合、受験者が後半テストを完了させておくべき日時を意味することができる。）、評価開始前、評価中、評価終了などの進捗状況を示すステータスを記憶させることができる。受験ＩＤに加えて、受験者の識別子である個人ＩＤを更に記憶させることもできる。受験ＩＤ及び個人ＩＤは何れも受験者の識別子の一種であるが、受験番号となる受験ＩＤに加えて個人を特定する個人ＩＤを別に記憶させておくことで、例えば同一人物が複数回受験する場合に、受験結果の推移を容易に分析することが可能となる。

受験者アカウントデータファイル３４５には各受験者のアカウント情報を検索可能な状態で保存することができる。受験者アカウントデータファイル３４５中の一人の受験者のアカウント情報が記憶されたテーブル構造の例を図１１に示す。当該テーブルには受験者の個人ＩＤ、受験ＩＤ、当該受験者が所属する団体の団体ＩＤ、社員番号等の当該団体内でのＩＤ、氏名、氏名の送り仮名、メールアドレス、部署名、生年月日、郵便番号、住所、アカウント開設日時、ログインＰＷ、ステータスなどを記憶させることができる。ステータスとしては未受験、前半テスト受験中、前半テスト受験終了、後半テスト受験中、後半テスト受験終了などの試験の進捗状況に関する情報が挙げられる。

試験管理者アカウントデータファイル３４６には試験管理者、例えば受験者が所属する企業等の団体のアカウント情報を検索可能な状態で保存することができる。試験管理者アカウントデータファイル３４６中の試験管理者アカウント情報が記憶されたテーブル構造の例を図１２に示す。試験管理者が企業等の団体の場合、当該テーブルには団体ＩＤ、団体名、団体名の送り仮名、団体の郵便番号及び住所、担当部署名、担当者の送り仮名、電話番号及びメールアドレス、アカウント開設日時、ログインＰＷ、ステータスなどを記憶させることができる。ステータスとしては「閉鎖済みアカウント」などの試験管理者アカウントの存続に関する情報が挙げられる。

サーバ管理者アカウントデータファイル３４７にはサーバ管理者のアカウント情報を検索可能な状態で保存することができる。サーバ管理者アカウントデータファイル３４７中の管理者アカウント情報が記憶されたテーブル構造の例を図１３に示す。当該テーブルにはサーバ管理者ＩＤ、パスワード、アカウント作成日時、権限レベルなどを記憶させることができる。

試験条件データファイル３４８には、試験条件に関する情報を保存することができる。試験条件データファイル３４８中の試験条件情報が記憶されたテーブル構造の例を図１４に示す。試験条件ＩＤ、前半テストのオープン日時、前半テストの締切日時、前半テストの試験時間、前半テストの中断・再開の可否、後半テストのオープン日時、後半テストの締切日時、後半テストでの１アイデアに対する評価人数、外部アクセス許可範囲等の試験条件を記憶させることができる。１アイデアに対する評価人数とは、一つの解答内容を評価する評価者の人数のことである。当該人数は多い方が多くの評価者からの評価を集めることができるので客観性が高くなることから、複数であることが好ましく、５人以上であることがより好ましく、１０人以上であることが更により好ましいが、試験時間や受験者数を考慮して現実的な人数（例えば５〜２０人の範囲）を設定すればよい。

後半テスト進捗管理データファイル３４９には、受験者による相互評価を実施する後半テストの進捗に関する情報を保存することができる。後半テスト進捗管理データファイル３４９中の後半テスト進捗状況が記憶されたテーブル構造の例を図１５に示す。受験ＩＤ、当該受験ＩＤの受験者が評価すべきアイデア解答ＩＤ、必要評価数、評価済み数等を記憶させることができる。

上記データファイルのテーブルにおいて、各フィールドに対してｉｎｔ（整数型）、ｔｅｘｔ（文字列型）、ｆｌｏａｔ（浮動小数点型）、ｃｒｙｐｔ（暗号化文字列型）及びｄａｔｅ（日付け時刻型）等のデータ型を採用しているが、データ型は図示の態様に限定されるものではなく、必要に応じて適宜変更することができる。

サーバ１１は送受信部３１０を通じて、受験者端末１２、試験管理者端末１３及びサーバ管理者端末１５とネットワーク１４を介して種々のデータのやり取りを行うことができる。例えば、送受信部３１０は試験管理者端末１３からテスト開始の指示を受信することができ、設問データファイル３４１に記憶されている設問データを表示可能な形態で各受験者端末１２に送信することができ、設問に対する受験者の解答内容を含む解答データを各受験者端末１２から受信することができ、解答データファイル３４２に記憶されている各受験者が評価すべき解答データを表示可能な形態で各受験者端末１２に送信することができ、解答内容に対する受験者による評価を含む解答評価データを各受験者端末１２から受信することができ、受験者評価データファイル３４４に格納された各受験者に対するアイデア創造力及び／又は目利き力を示す評価結果を含む受験者評価データを表示可能な形態で各受験者端末１２に送信することができる。

サーバ１１の制御部３２０は、認証処理部３２１、データ登録部３２２、設問抽出部３２３、制限時間判断部３２４、評価者決定部３２５、解答抽出部３２６、解答評価部３２７、受験者評価部３２８、受験者評価抽出部３２９、評価精度演算部３３０、スコア標準化部３３１及び評価数判断部３３２を有しており、各部はそれぞれプログラムに基づいて所期の演算を行うことができる。

認証処理部３２１は、受験者端末１２からのアクセス要求に基づいて、受験ＩＤ及びパスワードを認証することができる。例えば、受験者端末１２からのアクセス要求は、図１６に示すような受験者端末１２のトップページの画面上に表示されている受験ＩＤ及びパスワードを入力し、画面上のログインボタンをクリックすることで実行することができる。受験者の受験ＩＤ及びパスワードはサーバ管理者から予め付与されたものを使用することができる。認証処理は、認証処理部３２１が、受験者アカウントデータファイル３４５を参照して、入力された受験ＩＤ及びパスワードが、受験者アカウントデータファイル３４５内に記憶されているデータと一致するか否かを判別することで行うことができる。入力された受験ＩＤ及びパスワードが記憶されているデータと一致する場合には、受験者用ページの画面データ（例えば図１７及び図１８に記載のメニュー画面やテスト画面）を送受信部３１０から当該受験者端末１２に送信することができる。一致しない場合には、エラーメッセージを送信することができる。

また、認証処理部３２１は試験管理者端末１３からのアクセス要求に基づいて、団体ＩＤ及びパスワードを認証することができる。試験管理者の管理者ＩＤ及びパスワードはサーバ管理者から予め付与されたものを使用することができる。認証処理は、認証処理部３２１が試験管理者アカウントデータファイル３４６を参照して、入力された管理者ＩＤ及びパスワードが、試験管理者アカウントデータファイル３４６内に記憶されているデータと一致するか否かを判別することで行うことができる。入力された管理者ＩＤ及びパスワードが記憶されているデータと一致する場合には、試験管理者用ページの画面データ（例えば図２１及び図２２に記載のテスト管理画面）を送受信部３１０から当該試験管理者端末１３に送信することができる。一致しない場合には、エラーメッセージを送信することができる。

また、認証処理部３２１はサーバ管理者端末１５からのアクセス要求に基づいて、サーバ管理者ＩＤ及びパスワードを認証することができる。サーバ管理者の管理者ＩＤ及びパスワードは自身で予め設定したものを使用することができる。認証処理は、認証処理部３２１がサーバ管理者アカウントデータファイル３４７を参照して、入力された管理者ＩＤ及びパスワードが、サーバ管理者アカウントデータファイル３４７内に記憶されているデータと一致するか否かを判別することで行うことができる。入力された管理者ＩＤ及びパスワードが記憶されているデータと一致する場合には、サーバ管理者用ページの画面データ（例えば図２３に記載の管理画面）を送受信部３１０から当該サーバ管理者端末１５に送信することができる。一致しない場合には、エラーメッセージを送信することができる。

データ登録部３２２は、受験者の登録を行うことができる。例えば、前記手順によって受験者が所属する企業等の試験管理者が試験管理者端末１３を利用してログインすると、試験管理者端末１３には図２１に示すような試験管理者画面が表示される。試験管理者が、「受験者一括追加」又は「受験者個別追加」のボタンをクリックすると、図示しないが、試験管理者端末１３には受験者のアカウント情報を入力する画面が表示され、当該画面上で、受験者の個人ＩＤ、受験ＩＤ、当該受験者が所属する団体の団体ＩＤ、社員番号等の受験者アカウントデータファイル３４５に保存すべき所定の受験者アカウント情報を入力することができる。入力終了後、「ＣＳＶ ｕｐｌｏａｄ一括」又は「ＣＳＶ Ｕｐｌｏａｄ 個別」のボタンをクリックすることで、受験者アカウント情報をサーバ１１に送信することができる。このようにして、サーバ１１に送信されてきた受験者のアカウント情報はサーバ１１の送受信部３１０で受信され、データ登録部３２２は受信した情報を受験者アカウントデータファイル３４５に保存することができる。

また、データ登録部３２２は、試験条件の登録を行うことができる。例えば、試験管理者が図２１に示すような試験管理者画面上で、「試験条件設定」のボタンをクリックすると、図２２に示すような画面に切り替わり、試験管理者は、当該画面上で、前半テストのオープン日時、前半テストの締切日時、時間試験、試験会場、試験中断再開可否、１アイデアに対する評価人数、後半テストの締切日時等の試験条件データファイル３４８に保存すべき情報を入力することができる。入力終了後、「試験条件送信」のボタンをクリックすることで、試験条件をサーバ１１に送信することができる。このようにして、サーバ１１に送信されてきた試験条件情報はサーバ１１の送受信部３１０で受信され、データ登録部３２２は受信した情報を試験条件ＩＤと共に試験条件データファイル３４８に保存することができる。試験条件ＩＤはサーバ管理者が個別に手作業で付与してもよいし、サーバ１１が試験条件情報をデータ登録部３２２に保存するときに予め定めた規則に従って自動的に割り振ってもよい。

また、データ登録部３２２は、試験管理者の登録を行うことができる。サーバ管理者（換言すれば、オンライン試験システム提供者）が、前記手順によってサーバ管理者端末１５を利用してログインすると、サーバ管理者端末１５には図２３の左側に示すようなサーバ理者画面が表示される。サーバ管理者が設定したい項目に応じた「詳細」のボタンをクリックすると、サーバ管理者端末１５には図２３の右側に示すような試験管理者のアカウント情報を入力する画面が表示され、当該画面上で、試験管理者の団体ＩＤ、担当者、連絡先等の試験管理者アカウントデータファイル３４６に保存すべき所定の試験管理者アカウント情報を入力することができる。入力終了後、「保存」のボタンをクリックすることで、試験管理者アカウント情報をサーバ１１に送信することができる。このようにして、サーバ１１に送信されてきた試験管理者のアカウント情報はサーバ１１の送受信部３１０で受信され、データ登録部３２２は受信した情報を試験管理者アカウントデータファイル３４６に保存することができる。

また、データ登録部３２２は、設問内容の登録を行うことができる。例えば、サーバ管理者が、前記手順によってサーバ管理者端末１５を利用してログインすると、サーバ管理者端末１５には図２３に示すようなサーバ管理者画面が表示される。サーバ管理者が「設問設定」に対応した「詳細」のボタンをクリックすると、サーバ管理者端末１５には図２４に示すような設問内容を入力する画面が表示され、当該画面上で、設問内容を入力することができる。入力終了後、「保存」のボタンをクリックすることで、設問内容をサーバ１１に送信することができる。このようにして、サーバ１１に送信されてきた設問内容はサーバ１１の送受信部３１０で受信され、データ登録部３２２は受信した情報を設問データファイル３４１に保存することができる。

また、データ登録部３２２は、解答内容の登録を行うことができる。例えば、受験者端末１２に、図１８に示すようなアイデア創造力を試す前半テストの受験者用画面が表示されているときに、受験者が設問に対する解答内容を入力し、「次へ」のボタンをクリックすると、当該受験者からの解答データがネットワーク１４を介してサーバ１１に送信される。データ登録部３２２は、送受信部３１０で受信した解答内容を含む解答データが、制限時間判断部３２４により制限時間内に受信したと判断された場合、当該解答データにアイデア解答ＩＤを付与し、当該解答データを送信した受験者の受験ＩＤ等と関連付けて当該解答データを解答データファイル３４２に格納することができる。

また、データ登録部３２２は、解答評価の登録を行うことができる。例えば、受験者端末１２に、図１９に示すような他の受験者のアイデアを評価する後半テストの受験者用画面が表示されているときに、受験者がアイデアに対する解答評価を入力（ここでは「ｇｏｏｄ」又は「Ｎｏｔ ｇｏｏｄ」の何れかのボタンをクリック）し、「次へ」のボタンをクリックすると、当該受験者からの解答評価データがネットワーク１４を介してサーバ１１に送信される。データ登録部３２２は、解答評価データを送受信部３１０が受信すると、当該解答評価データに解答評価ＩＤを付与し、当該解答評価データを送信した受験者の受験ＩＤ及びアイデア解答ＩＤ等と関連付けて当該解答評価データを解答評価データファイル３４３に格納することができる。後半テストにおいても、前半テストと同様に、制限時間判断部３２４により制限時間内に受信したと判断された場合のみ、解答評価データを解答評価データファイル３４３に格納するようにしてもよい。

設問抽出部３２３は、試験管理者端末１３から送信される前半テスト開始の指示を送受信部３１０が受信すると、設問データを設問データファイル３４１から抽出し、送受信部３１０からネットワーク１４を介して表示可能な形態で各受験者端末１２に一斉に送信することができる。また、設問抽出部３２３は、制限時間判断部３２４の指示に従って対応する受験者端末１２に個別に設問データを送信することができる。

制限時間判断部３２４は受験者端末１２から送信された解答データを送受信部３１０で受信した時点が、サーバ１１に内蔵されたタイマー２０７を利用し、試験条件データファイル３４８に記憶されている試験条件ＩＤ、前半試験のオープン日時及び前半試験の試験時間、又は前半試験の締切時間などの時間情報に基づいて、制限時間内にあるか否かを判断することができる。判断の結果、制限時間内と判断した場合は、当該解答データにアイデア解答ＩＤを付与し、当該解答データを送信した受験者の受験ＩＤ等と関連付けて解答データファイル３４２に格納するように、データ登録部３２２に指示することができる。また、設問抽出部３２３に対して、当該解答データを送信した受験者の受験者端末１２に前記設問データを表示可能な形態で送受信部３１０から再度送信するように指示することができる。一方、判断の結果、制限時間を過ぎたと判断した場合は解答データの受験者端末１２からの送信又はサーバ１１での受信を拒否することができる。また、制限時間判断部３２４は受験者端末１２からの解答データの受信の有無にかかわらず、所定の制限時間を過ぎたと判断したときには、前半試験終了の旨を表示可能な形態で送受信部３１０から受験者端末１２及び試験管理者端末１３に送信することができ、制限時間を超えて解答データを受信することを拒否することができる。また、前半テストが終了した旨を記録するために、サーバ１１の制限時間判断部３２４は受験者評価データファイル３４４等におけるステータスを「前半テスト終了」に変更することができる。また、制限時間判断部３２４は評価者決定部３２５に対して前半テストが終了した旨を送信してもよい。

受験者評価データファイル３４４等におけるステータスが受験者全員で「前半テスト終了」になる、又は、制限時間判断部３２４から前半テストが終了した旨を受信するなどによって、前半テストが終了したことが確認された後、評価者決定部３２５は、試験管理者端末１３から送信される後半テスト開始の指示を送受信部３１０が受信すると、サーバ１１に内蔵された乱数発生装置２０６より発生した乱数を取得し、当該乱数を用いて解答データファイル３４２に格納されている各解答データ中の解答内容（アイデア）を評価すべき受験者を決定することができる。別法として、受験者評価データファイル３４４等におけるステータスが受験者全員で「前半テスト終了」になる、又は、制限時間判断部３２４から前半テストが終了した旨を受信するなどによって、前半テストが終了したことが確認されると、評価者決定部３２５は試験管理者端末１３から送信される後半テスト開始の指示を待つことなく、自動的にサーバ１１に内蔵された乱数発生装置２０６より発生した乱数を取得し、当該乱数を用いて解答データファイル３４２に格納されている各解答データ中の解答内容（アイデア）を評価すべき受験者を決定することができる。これにより、試験時間を節約することが可能となる。

どの受験者がどのアイデアを評価するかの決定は、評価者決定部３２５が各アイデア解答ＩＤに対して、受験者全員分の受験ＩＤの中から乱数を利用して受験ＩＤを評価に必要な人数分だけ割り当てることで行うことができる。各アイデアを評価すべき受験者が決定されると、評価者決定部３２５は、アイデア解答ＩＤと評価すべき受験者の受験ＩＤを関連付けて解答データファイル３４２等の記憶部３４０に保存することができる。また、評価者決定部３２５は、評価者たる受験者による各回答内容に対する評価の進捗状況を管理するための後半テスト進捗管理データファイル３４９に、評価者たる受験者毎に、受験ＩＤ、評価すべきアイデア解答ＩＤ、及び必要評価数などを関連付けて保存することができる。

評価者決定部３２５による評価者決定の手順の一例を説明する。評価者決定部３２５は、受験者全員分の解答データの総数をカウントし、以下の式によって評価者である受験者一人当たりに配分される解答データ（アイデア）の最大配分数を求めることができる。算出結果は繰り上げて整数にすることができる。
最大配分数＝（アイデアの総数）×（１アイデアに対する評価人数）／（全受験者数）
一つのアイデアに対して評価すべき受験者の人数は試験条件データファイル３４８に記憶されている「後半テストでの１アイデアに対する評価人数」に従うことができる。

評価者決定部３２５は、解答データファイル３４２を参照し、ある解答内容（アイデア）を送信した受験ＩＤと、乱数によって選定された当該解答内容を評価すべき受験者の受験ＩＤが一致した場合は、選定を取り消して乱数による選定を再度実施することが好ましい。また、評価者決定部３２５は、特定の受験ＩＤを有する受験者が上記で求めた最大配分数を超えた回数選定された場合も、当該選定を取り消して乱数による選定を再度実施することが好ましい。このようにして評価者を選定することにより、全ての評価者が（最大配分数）個又は（最大配分数−１）個だけ評価すべきアイデアを配分されることが可能となる。

また、一つの解答データ（アイデア）が幅広いタイプの受験者から評価されるようにするために、評価者決定部３２５は、以下のような手順で予め受験者を幾つかのグループに分類することが好ましい。評価者決定部３２５は、解答データファイル３４２を参照し、受験ＩＤと選択肢の選択内容から、当該受験者が解答した選択肢のユニークな組み合わせ、例えば「誰が」、「いつ」、「どこで」、「何を」の組み合わせの総数を受験者毎に算出する。これにより、受験者をユニークな選択肢の総数が多い順に順位を計算する。同率で並ぶ場合は乱数を振って重複しない順位を割り当てることができる。得られた順位に受験者を受験ＩＤを利用して並べ、受験者全体を上述した「１アイデアに対する評価人数」の数のグループに分ける。グループ分け後、各グループから一人ずつ、各解答データに対して評価すべき受験者を乱数により、上記と同様の手順で選定する。このように、簡易的にアイデア総数の多い順に受験者を順位付けておくと、グループ分けせずに評価すべき受験者を選定する場合よりも、偏りのない評価結果を得られやすいと考えられる。

解答抽出部３２６は、評価者決定部３２５による前記評価すべき受験者の決定に従い、各受験者が評価すべき解答内容（アイデア）を解答データファイル３４２に記憶されているアイデア解答ＩＤを評価者たる受験者の受験ＩＤに応じて抽出し、送受信部３１０からネットワーク１４を介して表示可能な形態で対応する各受験者端末１２に送信することができる。解答内容を含む解答データ（アイデア）の送信は各受験者が評価すべき分すべてを一斉に送信してもよく、分割して送信してもよい。

サーバ１１の評価数判断部３３２は、受験者から一つの解答内容に対する評価をサーバ１１が受信すると、後半テスト進捗管理データファイル３４９に、当該評価を送信した受験者の受験ＩＤと関連付けて評価済み数を一つ増やす。評価数判断部３３２は評価済み数と必要評価数を比較することで、当該受験者の後半テストの進捗状況を把握可能である。解答データ（アイデア）を分割して各受験者に送信する場合、評価数判断部３３２は、当該受験者が前記決定に従った必要評価数に達したか否かを判断し、必要評価数に達していないと判断した場合には、評価数判断部３３２が解答抽出部３２６に対して、未評価分の解答データを、当該受験者が次に評価すべき解答内容（アイデア）を解答データファイル３４２に記憶されているアイデア解答ＩＤを評価者たる受験者の受験ＩＤに応じて抽出し、送受信部３１０からネットワーク１４を介して表示可能な形態で対応する各受験者端末１２に送信することができる。評価数判断部３３２は、ある受験者の評価済み数が必要評価数に達したと判断した場合、後半テスト終了画面又は後半テストが終了したとの進捗情報を送受信部３１０から当該受験者の受験者端末１２及び試験管理者端末１３に送信することができる。この際、後半テストが終了した旨を記録するために、評価数判断部３３２は受験者評価データファイル３４４等におけるステータスを「後半テスト終了」に変更することができる。

解答評価部３２７は、解答評価データファイル３４３に格納されている各解答評価及びアイデア解答ＩＤに基づいて各解答データ中のアイデア解答ＩＤ毎に解答内容に対する評価を集計することができる。例えば、各解答内容に対する評価をｇｏｏｄ及びｂａｄの二択として評価させた場合、ｇｏｏｄ＝１、ｂａｄ＝０のように評価に応じて予め定めた点数を与え、単純な算術平均値を当該解答内容（アイデア）に対する点数とすることができる。解答評価部３２７は、集計した点数を解答データファイル３４２の「スコア計算結果１」にアイデア解答ＩＤ毎に格納することができる。

ただし、この段階では各受験者のアイデアに対する目利き力が分からない。そのため、良いアイデアであったとしても、目利き力のある受験者と目利き力のない受験者によって評価が分かれる可能性がある。このため、すべての受験者からの評価を平等に扱うのではなく、評価に重み付けを与えることが好ましい。評価に重み付けを与える方法としては、受験者評価部３２８が、スコア計算結果に基づき各受験者の合計点数をいったん算出した後、受験ＩＤ及び当該受験ＩＤと関連付けられている合計点数に基づいて受験者に対して順位付けを行い、順位の高い受験者の受験ＩＤと関連付けられている評価ほど解答内容に対する評価に重み付けを付与する方法が挙げられる。これは、アイデア創出に関して評価の高い受験者は、目利き力も高いとの仮定に基づく方法である。このようにして評価に重み付けを与えて各解答内容に対する評価を再度行い、得られた補正後の点数に基づいて再び受験者の順位付けと合計点数の補正を行うことを１回以上、好ましくは５回以上、より好ましくは１０回以上繰り返すことで、目利き力が高いと思われる受験者による評価を受験者の合計点数（アイデアスコア）に大きく反映させることができる。図３に、アイデアの順位付け及び相互評価の繰り返しを表す概念図を示す。

重み付けの具体的な方法の一例を説明する。まず、「スコア計算結果１」に基づき各受験者の合計点数を受験者評価部３２８により算出する。次に、全受験者を、受験者評価部３２８において算出された合計点数の順にソートする。受験者全体をＮ人とすると、ｋ位（ｋ＝１〜Ｎ）の受験者による評価を以下の式で重み付ける。
ｗｅｉｇｈｔ＝１＋ｓｉｎ{（１−２×（ｋ−１）／（Ｎ−１））×ｐｉ／２}
このように重み付けることで、受験ＩＤ毎に重み付け係数を付与することができる。この場合、最上位の受験者による評価は２倍、最下位の受験者による評価は０倍となる。

上記重み付け後、解答データファイル３４２に格納されている各解答内容に対する点数である「スコア計算結果１」を重み付けの算出結果に従って修正する。例えば、各解答内容に対する評価をｇｏｏｄ及びｂａｄの二択として評価させた場合、当初はｇｏｏｄ＝１の点数であったのが、当該点数に重み付け係数（例えば上記のｗｅｉｇｈｔ）を掛け算することで、重み付け後は評価者としての受験者の受験ＩＤによって、ｇｏｏｄ＝１．６となったり、ｇｏｏｄ＝０．５となったりする。

この場合の重み付け後の当該解答内容に対する点数は、ｇｏｏｄ＝１、ｂａｄ＝０による単純な算術平均値から、重み付けを考慮した次式により算出される値に補正することができる。
（重み付け平均値）＝（重み付け合計）÷（重み合計）
重み合計＝Σ（ｗｅｉｇｈｔ）
重み付け合計＝Σ（ｗｅｉｇｈｔ×１又は０）
ここで、重み合計というのは、解答内容毎に、当該解答内容を評価した受験者に付与された重み付け係数の合計である。重み付け合計というのは、当該解答内容を評価した受験者に付与された重み付け係数に当該受験者による評価値を掛け算した値の合計である。
修正後の点数は「スコア計算結果２」として解答データファイル３４２に格納してもよい。

受験者評価部３２８は、解答データファイル３４２に格納されているアイデア解答ＩＤ毎に解答内容に付与された点数（重み付けによる補正後の点数であってもよい）及びその解答内容に対応する受験ＩＤに基づき、受験ＩＤ毎の合計点数を算出し、当該合計点数を受験ＩＤと関連付けて受験者評価データファイル３４４に格納することができる。

このとき、解答データファイル３４２に格納されている各解答内容に付与されたスコア（アイデア評価値）に対しては、以下の（１）〜（３）の少なくとも一つの重み付け基準に従って、重み付けを付与することを条件とすることが好ましい。

（１）同一の受験ＩＤが付与された複数の解答データを選択肢の組み合わせ毎に分類し、同一の選択肢の組み合わせに対するアイデア解答ＩＤの識別子が複数存在するときは、付与された点数が低い解答データであるほど重み付け後の点数が低くなるように、各解答内容に付与された点数に重み付けを与える。
このような重み付けを与えることで、受験者が同一の選択肢の組み合わせに関するアイデアを多数解答したときに、合計点数が増大することが防止可能となる。すなわち、（１）の方法によって点数に重み付けを与える方法は、受験者のアイデア生成量の多さを評価するときに好適に利用できる。
（１）の重み付け基準を利用して各受験者の合計点数を算出する具体的な方法としては例えば以下の方法が挙げられる。
・同一の受験ＩＤが付与された解答データを選択肢の組み合わせ毎に分類し、同一の選択肢の組み合わせに対するアイデア解答ＩＤが複数存在するときは、当該同一の選択肢の組み合わせを有する解答データを各解答内容に付与された点数の高い順に降順ソートする。
・降順ソートしたｋ＝１，２，・・・，ｎ番目の解答データに付与された点数に対してそれぞれ所定の係数を乗じて、各組み合わせについての合計点数を求める。各組み合わせについての合計点数は上限付きとなるように計算式とすることがアイデア生成量の多さを評価する上では好ましい。上限付きの合計点数は例えば次式のように等比数列を利用して計算することができる。
上限付き合計点数＝Σ{（各解答内容に付与された点数）×（減衰係数）^k-1}
減衰係数は適宜設定すればよいが、例えば１／２や２／３などとすることができる。
・上記の合計点数をすべての選択肢の組み合わせに対して求めて、総合計したものを当該受験ＩＤに対応する受験者の合計点数とすることができる。

（２）同一の受験ＩＤが付与された複数の解答データについて選択肢の組み合わせを数値座標化してその中心点を算出し、中心点からの距離が大きい組み合わせを有する解答データであるほど重み付け後の点数が高くなるように、解答内容に付与された点数に重み付けを与える。
このような重み付けを与えることで、幅広い選択肢の組み合わせを解答した受験者により多くの点数が配分されやすくなることから、当該重み付け方法は生成するアイデアの幅の広さを評価する際に好適に利用できる。
（２）の重み付け基準を利用して各受験者の合計点数を算出する具体的な方法としては例えば以下の方法が挙げられる。
同一の受験ＩＤが付与された複数の解答データについて選択肢の組み合わせを数値座標化してその中心点を求めるために、まず、選択肢の番号をすべて０又は１に変換する。例えば、「選択１（誰が）」、「選択２（いつ）」、「選択３（どこで）」、「選択４（何を）」の４つの要素について、それぞれ１〜５までの５つずつ選択肢がある場合を考えると、選択１＝１，２，３，４，５をそれぞれ（１，０，０，０，０）、（０，１，０，０，０）、（０，０，１，０，０）、（０，０，０，１，０）、（０，０，０，０，１）と変換する。選択２、選択３、選択４も同様に変換する。そうすると、すべての選択肢の組み合わせは２０個の０／１の配列の組み合わせで表現可能である。例えば、ある解答データが（選択１、選択２、選択３、選択４）＝（１、４、２、５）という選択肢の組み合わせを有している場合、これは{（１，０，０，０，０）、（０，０，０，１，０）、（０，１，０，０，０）、（０，０，０，０，１）}に変換される。
同一の受験ＩＤが付与されたすべての解答データについて、この配列の算術平均値を取った配列を計算する。得られた配列は２０個のｆｌｏａｔの配列になり、すべて０から１までの値を取る。例えば、ある受験者が５個のアイデアを解答した場合、{（０，１／５，２／５，０，２／５）、（０，１，０，０，０）、（１／５，１／５，１／５，１／５，１／５）、（１／５，１／５，０，０，３／５）}などと平均の０／１配列（中心点）が得られる。
次いで、各選択肢の組み合わせの０／１配列（中心点）について、平均の０／１配列（中心点）との距離の２乗を計算する。距離の２乗は例えば両者の対応する要素同士の差の２乗を合計したものとすることができる。例えば、平均の０／１配列（中心点）が{（０，１／５，２／５，０，２／５）、（０，１，０，０，０）、（１／５，１／５，１／５，１／５，１／５）、（１／５，１／５，０，０，３／５）}であり、ある選択肢の組み合わせの０／１配列が、{（０，１，１，０，０）、（０，１，０，０，０）、（０，１，０，１，１）、（０，１，０，０，１）}である場合は、両者の距離の２乗は［｛（０−０）²＋（１−１／５）²＋（１−２／５）²＋（０−０）²＋（０−２／５）²｝＋｛（０−０）²＋（１−１）²＋（０−０）²＋（０−０）²＋（０−０）²｝＋｛（０−１／５）²＋（１−１／５）²＋（０−１／５）²＋（１−１／５）²＋（１−１／５）²｝＋｛（０−１／５）²＋（１−１／５）²＋（０−０）²＋（０−０）²＋（１−３／５）²｝］としてユークリッド距離で計算することが可能である。
このようにして、当該受験者のすべての解答データについて平均の０／１配列（中心点）との距離の２乗を計算し、各解答データに付与されている点数に距離の２乗を掛け算して重み付け合計点数を算出する。この合計点数を当該受験者の各解答データに付与されている点数の単純合計値で割り算することで重み付き平均値を算出する。
（重み付き平均値）＝Σ{（各解答内容に付与された点数）×（距離の２乗）}÷Σ（各解答内容に付与された点数）
この重み付き平均値を当該受験ＩＤに対応する受験者の合計点数とする。

（３）設問内容から想定されるすべての選択肢の組み合わせそれぞれについて、当該選択肢の組み合わせを解答内容として有する解答データの識別子に関連付けられている点数をすべて合計することで当該選択肢の組み合わせの全体獲得点数を算出し、全体獲得点数の低い選択肢の組み合わせを有する解答内容になるほど重み付け後の点数が高くなるようにして、各解答内容に付与された点数に重み付けを与える。
このような重み付けを与えることで、受験者全体の中において、高い評価を得にくい選択肢の組み合わせに対して高い評価を得ている受験者により多くの点数が配分されやすくなることから、当該重み付け方法は希少性の高いアイデアの創出者を探し出す際に好適に利用できる。
（３）の重み付け基準を利用して各受験者の合計点数を算出する具体的な方法としては例えば以下の方法が挙げられる。
設問内容から想定されるすべての選択肢の組み合わせそれぞれについて、当該選択肢の組み合わせを解答内容として有する解答データの識別子に関連付けられている点数をすべて合計する。例えば、「選択１（誰が）」、「選択２（いつ）」、「選択３（どこで）」、「選択４（何を）」の４つの要素について、それぞれ１〜５までの５つずつ選択肢がある場合、すべての選択肢の組み合わせは５⁴＝６２５個となるので、６２５個の各組み合わせについて全体獲得点数を算出する。全体獲得点数の低い選択肢の組み合わせほど、高い評価を得る難易度が高い選択肢の組み合わせと考えられる。すべての選択肢の組み合わせを、この「全体獲得点数」で並べ替えて降順で順位を付ける。例えば、降順で１位から６２５位まで順位を付ける。
次いで、得られた組み合わせ順位に基づいて、受験ＩＤ毎に重み付き平均値を次式に従って計算する。
（重み付き平均値）＝Σ｛（各解答内容に付与された点数）×（当該解答内容の組み合わせ順位）｝÷Σ｛（各解答内容に付与された点数）｝
この重み付き平均値が当該受験ＩＤに対応する受験者の合計点数となる。

受験者評価抽出部３２９は、受験者評価データファイル３４４に格納された各受験者に対する合計点数を含む受験者評価データを受験ＩＤに基づいて抽出し、送受信部３１０からネットワーク１４を介して表示可能な形態で対応する受験者端末１２に送信することができる。図２０に、受験者端末１２で表示される採点結果の一例を示す。採点結果は上記で算出した合計点数自体であってもよく、他の尺度による数値（例えば、偏差値など）に変換又は補正して表示してもよく、合計点数に基づいてカテゴリー分けされた評価（例えば、アイデア創造力「高い」、「普通」、「低い」など）に変換して表示することもできる。

評価精度演算部３３０は、解答評価データファイル３４３に格納されている評価者としての受験者の受験ＩＤと関連付けられた各解答内容に対する評価と、解答データファイル３４２に格納されている当該解答内容に付与された補正後の点数（例えば「スコア計算結果３」）を対比し、当該対比の結果を受験者ごとに集計することにより、各受験者の評価精度を算出し、当該評価精度を各受験者の受験ＩＤと関連付けて受験者評価データファイル３４４に格納することができる。

評価精度の算出方法の具体例を以下に示す。当該評価者としての受験者による評価の高い順（又は低い順）に当該評価者としての受験者が評価した解答内容を並べ、また、解答データファイル３４２に格納されている補正前又は補正後、好ましくは補正後の点数に基づき、対応する解答内容を点数の高い順（又は低い順）に並べる。両者の順位の近似性が高いほど高い点数を与えるようにして、当該評価者としての受験者による各評価に点数を付与し、合計値を出す。得られた合計値に基づいて評価精度の点数を付与する。評価精度の点数は他の尺度による数値（例えば、偏差値など）に変換又は補正して表示してもよいし、評価精度の点数をカテゴリー分けされた評価精度（例えば、目利き力「高い」、「普通」、「低い」など）に変換して表示することもできる。補正方法としては例えば、与えられた評価条件下においてランダムに評価した場合に得られる評価精度の期待値を求め、（補正評価精度の点数）＝｛（評価精度の点数）−（期待値）｝÷｛１−（期待値）｝とすることもできる。

評価が「ｇｏｏｄ」及び「Ｎｏｔ ｇｏｏｄ」の二択で行われる場合の評価精度の算出方法について具体的に説明する。評価者としての受験者による「ｇｏｏｄ」及び「Ｎｏｔ ｇｏｏｄ」の評価数をそれぞれａ及びｂとする。合計の評価数をＮ＝ａ＋ｂとする。これらは解答評価データファイル３４３に格納されている解答評価ＩＤ毎の評価者としての受験者の受験ＩＤ及び解答評価に基づいて算出可能である。
次いで、当該評価者としての受験者が評価したＮ個の解答内容（アイデア）を、解答データファイル３４２に格納されている補正後の点数（評価スコア）に従って高い順に降順ソートとする。
評価スコアが高い順にｋ＝１，．．．，ａ番目のアイデアについて、「ｇｏｏｄ」と評価していれば「正解」、「Ｎｏｔ ｇｏｏｄ」と評価していれば「不正解」とする。このとき、高い評価スコアを付与されているアイデアに対して「ｇｏｏｄ」と評価している場合には評価精度の点数が高くなるように、評価に重み付けを与えることができる。具体的には、評価者としての受験者による「ｇｏｏｄ」の評価数であるａのうち、評価スコアが１位のアイデアについては１点を付与し、評価スコアがａ位のアイデアに対しては１／ａ点を付与するようにして、「評価点＝（ａ−ｋ＋１）／ａ」を、「正解」または「不正解」の点数に加えることができる。
また、ｋ＝ａ＋１，．．．，ａ＋ｂ番目のアイデアについて、「ｇｏｏｄ」と評価していれば「不正解」、「Ｎｏｔ ｇｏｏｄ」と評価していれば「正解」とする。このとき、低い評価スコアを付与されているアイデアに対して「Ｎｏｔ ｇｏｏｄ」と評価している場合に評価精度の点数が高くなるように、評価に重み付けを与えることができる。具体的には、評価者としての受験者による「Ｎｏｔ ｇｏｏｄ」の評価数であるｂのうち、評価スコアが（ａ＋１）位のアイデアについては１／ｂ点を付与し、評価スコアが（ａ＋ｂ）位のアイデアに対しては１点を付与するようにして、「評価点＝（ｋ−ａ）／ｂ」を、「正解」または「不正解」の点数に加えることができる。
このようにして、（正解点数）÷（正解点数＋不正解点数）を求め、これを評価者としての仮の評価精度の点数とする。
一方、ランダムに答えた場合の期待値は（期待値）＝（ａ²＋ｂ²）／（ａ＋ｂ）²なので、これをもとに以下の式で補正を行う。
（補正後の評価精度の点数）＝｛（仮の評価精度の点数）−（期待値）｝÷｛１−（期待値）｝
この補正後の評価精度の点数を、当該評価者としての受験者の評価精度の点数とすることができる。

上記のサーバ各部の動作によって各受験者のアイデア創造力及び目利き力を簡便に評価することが可能となるが、同一の受験者が同一のアイデアを解答したとしても、受験者の母集団の相違によっては異なる評価となり得る。そこで、母集団の相違による評価の相違を軽減するために、受験者の評価結果を標準化することが好ましい。

標準化の方法の例としては、特定の受験者の母集団による合計点数の平均値をサンプル受験者による合計点数の平均値に修正する方法や、特定の受験者の母集団による合計点数の標準偏差をサンプル受験者による合計点数の標準偏差に修正する方法が挙げられる。前者の場合、スコア標準化部３３１は受験者評価部３２８によって算出された各受験者の合計点数に基づきサンプル受験者も含めた又はサンプル受験者を含めない受験者全体の合計点数の平均値Ａ１を算出し、受験者評価部３２８によって算出されたサンプル受験者の合計点数に基づきその平均値Ａ２を算出し、得られたＡ１及びＡ２の差を算出し、受験者全体の合計点数の平均値がＡ１からＡ２に修正されるように、各受験者の合計点数からＡ１及びＡ２の差をそれぞれ引き算し、当該引き算された後の各受験者の合計点数を受験者の識別子と関連付けて受験者評価データファイル３４４に格納することができる。後者の場合、スコア標準化部３３１は受験者評価部３２８によって算出された各受験者の合計点数に基づきサンプル受験者も含めた又はサンプル受験者を含めない受験者全体の合計点数の標準偏差Ｄ１を算出し、受験者評価部３２８によって算出されたサンプル受験者の標準偏差Ｄ２を算出し、得られたＤ１とＤ２の比を算出し、受験者全体の標準偏差がＤ１からＤ２に修正されるように、各受験者の合計点数の平均値Ａ１からの差に対してＤ１とＤ２の比を掛け算し、得られた値に平均値Ａ１を加算することにより得られた値を各受験者の合計点数として、受験者の識別子と関連付けて受験者評価データファイル３４４に格納することができる。

また、前者の平均値標準化プロセスと後者の標準偏差標準化プロセスを組み合わせることで、受験者全体の合計点数の平均値をＡ１からＡ２に修正するとともに、受験者全体の標準偏差をＤ１からＤ２に修正することが可能である。組み合わせの場合、スコア標準化部３３１は受験者評価部３２８によって算出された各受験者の合計点数に基づきサンプル受験者も含めた又はサンプル受験者を含めない受験者全体の合計点数の標準偏差Ｄ１を算出し、受験者評価部３２８によって算出されたサンプル受験者の標準偏差Ｄ２を算出し、得られたＤ１とＤ２の比を算出し、受験者全体の標準偏差がＤ１からＤ２に修正されるように、各受験者の合計点数の平均値Ａ２からの差に対してＤ１とＤ２の比を掛け算し、得られた値に平均値Ａ２を加算することにより得られた値を各受験者の合計点数として、受験者の識別子と関連付けて受験者評価データファイル３４４に格納することができる。

［受験者端末］
受験者端末１２も先述したコンピュータ２００のハードウェア構成を有することができる。受験者端末１２の記憶装置２０２には、ウェブブラウザ等のプログラムの他、ブラウザデータ、サーバ１１と送受信するデータ、例えば設問データ、解答データ、解答評価データ及び受験者評価データ等のデータを一時的に又は非一時的に保存することができる。受験者端末１２は入力装置２０４により、ログイン情報の入力、設問に対する解答の入力、他の受験者の解答内容に対する評価の入力等を行うことができる。受験者端末１２は出力装置２０３により、ログイン画面、設問内容、自分の解答、他人の解答、及び評価結果等を表示させることができる。受験者端末１２は通信装置２０５により、ネットワーク１４を介してサーバ１１と通信を行うことができる。例えば、サーバ１１からログイン画面、設問データ、解答データ及び受験者評価データを受信することが可能であり、サーバ１１にログイン情報、解答データ及び解答評価データを送信することが可能である。

［試験管理者端末］
試験管理者端末１３も先述したコンピュータ２００のハードウェア構成を有することができる。試験管理者端末１３の記憶装置２０２には、ウェブブラウザ等のプログラムの他、ブラウザデータ、サーバ１１と送受信するデータ、例えば受験者アカウント情報、試験のステータス（進捗）に関するデータ、設問データ、解答データ、解答評価データ及び受験者評価データ等のデータを一時的に又は非一時的に保存することができる。試験管理者端末１３は入力装置２０４により、受験者アカウント情報の入力、ログイン情報の入力、試験開始の指示等を行うことができる。試験管理者端末１３は出力装置２０３により、受験者アカウント情報、ログイン画面、設問内容、受験者の解答、及び評価結果等を表示させることができる。試験管理者端末１３は通信装置２０５により、ネットワーク１４を介してサーバ１１と通信を行うことができる。例えば、サーバ１１からログイン画面、受験者アカウント情報、設問データ、解答データ、受験者評価データ、試験の進捗情報を受信することが可能であり、サーバ１１に試験条件情報（試験開始指示を含む）、受験者アカウント情報及びログイン情報を送信することが可能である。

［サーバ管理者端末］
サーバ管理者端末１５も先述したコンピュータ２００のハードウェア構成を有することができる。サーバ管理者端末１５の記憶装置２０２には、ウェブブラウザ等のプログラムの他、ブラウザデータ、サーバ１１と送受信するデータ、例えば、サーバ管理者アカウント情報、試験管理者アカウント情報、受験者アカウント情報、試験のステータス（進捗）に関するデータ、設問データ、解答データ、解答評価データ及び受験者評価データ等のデータを一時的に又は非一時的に保存することができる。サーバ管理者端末１５は入力装置２０４により、サーバ管理者アカウント情報の入力、試験管理者アカウント情報の入力、ログイン情報の入力、設問内容の入力等を行うことができる。サーバ管理者端末１５は出力装置２０３により、サーバ管理者アカウント情報、試験管理者アカウント情報、ログイン画面、設問内容、受験者の解答、及び評価結果等を表示させることができる。サーバ管理者端末１５は通信装置２０５により、ネットワーク１４を介してサーバ１１と通信を行うことができる。例えば、サーバ１１からログイン画面、サーバ管理者アカウント情報、試験管理者アカウント情報、受験者アカウント情報、設問データ、解答データ、受験者評価データ、試験の進捗情報を受信することが可能であり、サーバ１１にサーバ管理者アカウント情報、試験管理者アカウント情報、受験者アカウント情報及びログイン情報を送信することが可能である。

＜２．オンライン試験のフロー＞
次に、上述のシステムによるオンライン試験方法の手順についてフローチャートを参照しながら説明する。

２−１ 試験条件の設定から前半テスト開始まで
図２５には試験管理者がサーバへアクセスして受験者登録及び試験条件入力を行うところから、アイデア創造力テスト（前半テスト）のテスト画面が受験者端末に表示されるまでの処理の流れがフローチャートで記載されている。試験管理者が試験管理者端末１３から所定のＵＲＬを入力してサーバ１１にアクセスすると、サーバ１１はログイン画面を試験管理者端末１３に送信する（Ｓ１０１）。次いで、試験管理者が試験管理者端末１３にＩＤ及びパスワードを入力し、ログインボタンを押すと（Ｓ１０２）、サーバ１１の認証処理部３２１は、入力された管理者ＩＤ及びパスワードが、試験管理者アカウントデータファイル３４６内に記憶されているデータと一致するか否かを判別し（Ｓ１０３）、一致する場合には、試験管理者用の管理画面を試験管理者端末１３に送信し（Ｓ１０４）、一致しない場合には、エラーメッセージを送信する（Ｓ１０５）。

ログインが成功すると、試験管理者端末１３には管理画面（例：図２１及び図２２）が表示される。試験管理者は管理画面上で、受験者情報及び試験条件を入力し、サーバ１１に送信する（Ｓ１０６）。サーバ１１は受験者情報及び試験条件を受信すると、データ登録部３２２によって、これらのデータが受験者アカウントデータファイル３４５及び試験条件データファイル３４８にそれぞれ保存される（Ｓ１０７）。次いで、サーバ１１は登録された受験者情報及び試験条件を伝える管理画面を試験管理者端末１３に送信する（Ｓ１０８）。試験管理者は当該登録された情報を管理画面上で確認した上で、図２１に示すような管理画面上で「前半テスト開始」のボタンをクリックすると、前半テストの開始指示がサーバ１１に送信される（Ｓ１０９）。サーバ１１の設問抽出部３２３は、試験管理者端末１３から送信される前半テスト開始の指示を受信すると、受験者評価データファイル３４４等においてステータスを前半テストが開始したことを示すステータスに変更して保存する（Ｓ１１０）。その他、受験者評価データファイル３４４等に前半テストの開始時刻を保存してもよい。受験者アカウントデータファイル３４５及び試験条件データファイル３４８など他のファイルにおいてもステータスのフィールドがあるときは、同様にステータスを変更する。なお、試験管理者からの「前半テスト開始の指示は「前半テスト開始」のボタンをクリックするだけではなく、予め前半テスト開始日時を設定してサーバ１１に登録しておくことも含まれる。この場合、設定された日時にサーバ１１が自動的にＳ１１０を実行する。

次いで、サーバ１１は設問データを設問データファイル３４１から抽出し、設問データを含む前半テスト画面を各受験者端末１２に送信する（Ｓ１１１）。これにより、受験者端末１２には図１８に示すような５Ｗ１Ｈに関する選択式設問及びこれに対応するニーズ及びアイデアを記述する設問が組み合わされた前半テスト画面が表示される（Ｓ１１２）。なお、フローチャートによる説明を省くが、受験者端末１２において前半テスト画面が表示されるためには、受験者端末１２も試験管理者端末１３と同様の手順で、ＩＤ及びパスワードの認証を受けてログインされている必要がある。

２−２ 前半テストの開始から終了まで
図２６にはアイデア創造力テスト（前半テスト）の開始から前半テストが終了するまでの処理の流れがフローチャートで記載されている。先述した手順によって前半テスト画面が受験者端末１２で表示された後、受験者が当該画面上で設問に対する解答内容を入力し、「次へ」のボタンをクリックする。すると、当該受験者端末１２から解答データがサーバ１１に送信される（Ｓ１１３）。サーバ１１は解答データを受信すると、解答内容を含む解答データを制限時間内に受信したか否かが制限時間判断部３２４によって判断される（Ｓ１１４）。

制限時間内であると判断された場合、データ登録部３２２は、当該解答データにアイデア解答ＩＤを付与し、当該解答データを送信した受験者の受験ＩＤ等と関連付けて解答データファイル３４２に格納する（Ｓ１１５）。また、制限時間内であると判断された場合、制限時間判断部３２４は当該解答データを送信した受験者の受験者端末１２に前半テスト画面を再度送信するように指示する。設問抽出部３２３は制限時間判断部３２４の指示に従って対応する受験者端末１２に前半テスト画面を送信する（Ｓ１１１）。このようにして、制限時間内にある限り前半テスト画面は繰り返し受験者端末１２に送信される。

一方、サーバ１１の制限時間判断部３２４は、受験者端末１２からの解答データの受信の有無にかかわらず制限時間を過ぎたと判断した場合、前半テストが終了した旨を記録するために、受験者評価データファイル３４４等におけるステータスを「前半テスト終了」に変更する（Ｓ１１６）。また、前半テスト終了画面又は前半テストが終了したとの進捗情報を送受信部３１０から受験者端末１２及び試験管理者端末１３に送信する（Ｓ１１７）。これにより、受験者端末１２には前半テスト終了した旨の画面が表示され（Ｓ１１８）、試験管理者端末１３には、例えば図２１に示すような進捗情報が表示される（Ｓ１１９）。

別法として、サーバ１１はＳ１１１において複数の回答内容を一度に記入できる前半テスト画面を送信してもよい。また、受験者端末１２はＳ１１３において複数の解答内容をまとめてサーバ１１に送信可能にしてもよい。この場合、サーバ１１は一度にすべての解答データを受信することができ、Ｓ１１１を繰り返し行う必要はない。

２−３ 後半テストの開始から終了まで
図２７にはアイデア評価テスト（後半テスト）の開始から後半テストが終了するまでの処理の流れがフローチャートで記載されている。先述した手順によって前半テストが終了した後、試験管理者は図２１に示すような管理画面上で「後半テスト開始」のボタンをクリックすると、後半テストの開始指示がサーバ１１に送信される（Ｓ２０１）。サーバ１１の評価者決定部３２５は、後半テスト開始の指示を受信すると、サーバ１１に内蔵された乱数発生装置２０６により発生した乱数を取得し、当該乱数を用いて解答データファイル３４２に格納されている各解答データ中の解答内容（アイデア）を評価すべき受験者を決定する（Ｓ２０２）。この際、評価者決定部３２５は、評価者たる受験者による各回答内容に対する評価の進捗状況を管理するための後半テスト進捗管理データファイル３４９に、評価者たる受験者毎に、受験ＩＤ、評価すべきアイデア解答ＩＤ、及び必要評価数などを関連付けて保存することができる。なお、評価者決定部３２５による当該決定プロセスは、試験管理者端末１３からの後半テスト開始の指示に限られるものではなく、評価者決定プロセスを開始するための何らかの指示によって開始すればよい。例えば、当該決定プロセスは評価者を決定するためだけの指示を試験管理者端末１３から受信することで実行されてもよいし、その他の指示に合わせて実行されてもよいし、ステータスが前半テスト終了へと変更されることがトリガーとなって実行されてもよい。

解答抽出部３２６は、評価者決定部３２５による各解答を評価すべき受験者の決定に従い、各受験者が評価すべき解答内容（アイデア）を解答データファイル３４２に記憶されているアイデア解答ＩＤと評価者たる受験者の受験ＩＤとに基づいて抽出し、対応する各受験者端末１２に送信する（Ｓ２０３）。受験者端末１２では図１９に記載されるような受験者毎に評価すべき解答内容画面が表示される（Ｓ２０４）。受験者は当該画面上で解答内容に対する評価（「ｇｏｏｄ」又は「Ｎｏｔ ｇｏｏｄ」）のボタンをクリックし、「次へ」のボタンをクリックする。すると、当該受験者端末１２から解答評価データがサーバ１１に送信される（Ｓ２０５）。サーバ１１が解答評価データを受信すると、データ登録部３２２が当該解答評価データに解答評価ＩＤを付与し、当該解答評価データを送信した受験者の受験ＩＤ及びアイデア解答ＩＤ等と関連付けて解答評価データファイル３４３に格納する（Ｓ２０６）。

次いで、サーバ１１の評価数判断部３３２は受験者端末１２から一つの解答内容に対する評価を受信する度に、当該受験者の受験ＩＤに対応した後半テスト進捗管理データファイル３４９における評価済み数を一つ増やすとともに、当該受験者が前記決定に従った必要評価数に達したか否かを判断する（Ｓ２０７）。その結果、必要評価数に達していないと判断した場合には、解答抽出部３２６は、未評価分の解答データを、当該受験者が次に評価すべき解答内容（アイデア）を解答データファイル３４２に記憶されているアイデア解答ＩＤと評価者たる受験者の受験ＩＤとに基づいて抽出し、対応する各受験者端末１２に送信する（Ｓ２０３）。このようにして、必要評価数に達するまで後半テスト画面は繰り返し受験者端末１２に送信される。

一方、サーバ１１の評価数判断部３３２は、必要評価数に達したと判断した場合、当該受験者の後半テストが終了した旨を記録するために、受験者評価データファイル３４４等におけるステータスを「後半テスト終了」に変更する（Ｓ２０８）。また、評価数判断部３３２は後半テスト終了画面又は後半テストが終了したとの進捗情報を送受信部３１０から受験者端末１２及び試験管理者端末１３に送信する（Ｓ２０９）。受験者端末１２及び試験管理者端末１３において、当該画面又は進捗情報を受信すると、受験者端末１２には後半テスト終了した旨の画面が表示され（Ｓ２１０）、試験管理者端末１３には、例えば図２１に示すような進捗情報が表示される（Ｓ２１１）。

２−４ スコア計算
図２８にはアイデア評価テスト（後半テスト）の終了後、サーバ１１によって受験者の採点を行い、その結果を受験者及び試験管理者に送信するまでの処理の流れがフローチャートで記載されている。先述した手順によって後半テストが終了した後、試験管理者は試験管理者端末１３からスコア計算開始の指示を、例えば試験管理者が図２１に示すような管理画面上で「スコア計算開始」のボタンをクリックする（Ｓ３０１）ことにより、サーバ１１に送信する（Ｓ３０１）。なお、「スコア計算開始」のボタンは後半テスト終了後に試験管理者の管理画面上に現れるようにしてもよい。次いで、当該指示をサーバ１１が受信すると、サーバ１１の解答評価部３２７は、解答評価データファイル３４３に格納されている各解答評価及びアイデア解答ＩＤに基づいて各解答データ中のアイデア解答ＩＤ毎に解答内容に対する評価のスコアを算出する（Ｓ３０２）。次いで、受験者評価部３２８は、アイデア解答ＩＤ毎に付与されたスコアに基づいて、受験ＩＤ毎の創造力に関するスコアを算出する（Ｓ３０３）。

このようにして、各受験者の創造力に関するスコアをいったん算出した後、スコアの高い受験者からの評価に対して重み付けを与えるようにしてアイデア解答ＩＤ毎に解答内容に対する評価のスコアを再度算出（補正）し（Ｓ３０４）、さらに補正後のスコアに基づいて受験ＩＤ毎のスコアを再度算出（補正）する（Ｓ３０５）。ステップＳ３０４及びＳ３０５は予め設定した回数繰り返される。

ステップＳ３０４及びＳ３０５が所定回数繰り返されることで、各受験者の創造力に関する最終的なスコアが算出されると共に、各解答内容に対する評価の最終的なスコアも決定される。サーバ１１の評価精度演算部３３０は評価者としての受験者の受験ＩＤと関連付けられた各解答内容に対する評価のスコアと、当該解答内容に付与された最終スコアを対比し、両者の近似性を受験者ごとに集計することにより、各受験者の目利きとしてのスコアを算出する（Ｓ３０６）。

このようにして、各受験者の創造力に関する最終的なスコア及び目利きとしてのスコアが算出されると、受験者評価抽出部３２９は採点結果を含む表示画像を生成し、対応する受験者端末１２に送信する（Ｓ３０７）。スコアは標準化した後に送信してもよい。また、受験者評価抽出部３２９は全受験者分の計算結果画面を試験管理者端末１３に送信する（Ｓ３０７）。受験者端末１２及び試験管理者端末１３において、当該画面を受信すると、図２０に示すような採点結果の画面が表示される（Ｓ３０８、Ｓ３０９）。採点結果の画面には、カテゴリー毎のスコアを表示するのみならず、全体の受験者のアイデア分布に対する各受験者のアイデア分布を多次元空間上にプロットして表示してもよい。

１１ サーバ
１２ 受験者端末
１３ 試験管理者端末
１４ ネットワーク
１５ サーバ管理者端末
２００ コンピュータ
２０１ 演算装置
２０２ 記憶装置
２０３ 出力装置
２０４ 入力装置
２０５ 通信装置
２０６ 乱数発生装置
２０７ タイマー
３１０ 送受信部
３２０ 制御部
３２１ 認証処理部
３２２ データ登録部
３２３ 設問抽出部
３２４ 制限時間判断部
３２５ 評価者決定部
３２６ 解答抽出部
３２７ 解答評価部
３２８ 受験者評価部
３２９ 受験者評価抽出部
３３０ 評価精度演算部
３３１ スコア標準化部
３３２ 評価数判断部
３４０ 記憶部
３４１ 設問データファイル
３４２ 解答データファイル
３４３ 解答評価データファイル
３４４ 受験者評価データファイル
３４５ 受験者アカウントデータファイル

本発明に係るオンラインテスト方法の更に別の一実施形態においては、
解答データ記憶部に二人以上のサンプル受験者による解答内容を含む解答データが解答データの識別子と関連づけられて格納されており、
サーバが、各受験者の合計点数又は補正されている場合には補正後の合計点数に基づきサンプル受験者も含めた又はサンプル受験者を含めない受験者全体の合計点数の平均値Ａ１を算出するステップと、
サーバが、各受験者の合計点数又は補正されている場合には補正後の合計点数に基づきサンプル受験者も含めた又はサンプル受験者を含めない受験者全体の合計点数の標準偏差Ｄ１を算出するステップと、
サーバが、サンプル受験者の合計点数又は補正されている場合には補正後の合計点数に基づきサンプル受験者の標準偏差Ｄ２を算出するステップと、
サーバが、Ｄ１とＤ２の比を算出するステップと、
サーバが、受験者全体の標準偏差がＤ１からＤ２に修正されるように、各受験者の合計点数の平均値Ａ１からの差に対してＤ１とＤ２の比を掛け算し、
当該掛け算によって得られた値に平均値Ａ１を加算することにより標準化された後の各受験者の合計点数を受験者の識別子と関連付けて受験者評価データ記憶部に格納するステップと、
サーバが、受験者評価データ記憶部に格納された各受験者の標準化された後の合計点数を含む受験者評価データを受験者の識別子に基づいて抽出し、ネットワークを介して対応する受験者端末に送信するステップと、
を更に含む。

本発明に係るオンラインテストサーバの更に別の一実施形態においては、
解答データ記憶部に二人以上のサンプル受験者による解答内容を含む解答データが解答データの識別子と関連づけられて格納されており、
スコア標準化部を更に備え、スコア標準化部は受験者評価部によって算出された各受験者の合計点数又は補正されている場合には補正後の合計点数に基づきサンプル受験者も含めた又はサンプル受験者を含めない受験者全体の合計点数の平均値Ａ１を算出することができ、
スコア標準化部は更に、受験者評価部によって算出された各受験者の合計点数又は補正されている場合には補正後の合計点数に基づきサンプル受験者も含めた又はサンプル受験者を含めない受験者全体の合計点数の標準偏差Ｄ１を算出することができ、
受験者評価部によって算出されたサンプル受験者の合計点数又は補正されている場合には補正後の合計点数に基づき受験者評価部によって算出されたサンプル受験者の標準偏差Ｄ２を算出することができ、
得られたＤ１とＤ２の比を算出することができ、
受験者全体の標準偏差がＤ１からＤ２に修正されるように、各受験者の合計点数の平均値Ａ１からの差に対してＤ１とＤ２の比を掛け算し、当該掛け算によって得られた値に平均値Ａ１を加算することにより標準化された後の各受験者の合計点数を受験者の識別子と関連付けて受験者評価データ記憶部に格納することができ、
受験者評価抽出部は、受験者評価データ記憶部に格納された各受験者に対する標準化された後の合計点数を含む受験者評価データを受験者の識別子に基づいて抽出し、送受信部からネットワークを介して対応する受験者端末に送信することができる。

解答データファイル３４２には前記設問に対する受験者の解答内容を検索可能な状態で保存することができる。解答データファイル中の一つの解答データのテーブル構造の例を図８に示す。当該テーブルには、当該解答データの識別子であるアイデア解答ＩＤ、当該解答データを送信した受験者の識別子である受験ＩＤ（受験番号）、選択式の設問に対する解答、記述式に対する解答、当該解答データのスコア計算結果、及び、受験者の状態（受験開始前、実施中、終了など）を示すステータスを記憶させることができる。スコア計算結果は、当該解答データに対する点数（採点結果）であり、解答評価データファイル３４３に格納されている各解答評価データ及び解答データの識別子に基づいて各解答データ中の解答内容に対する評価を集計することにより算出された各解答内容に対する点数を保存することができる。スコア計算結果は後述するように１回以上補正可能であることから、解答評価データファイル３４３には補正を行う毎に得られたスコア計算結果を「スコア計算結果１」、「スコア計算結果２」などとして保存することもできる。

また、前者の平均値標準化プロセスと後者の標準偏差標準化プロセスを組み合わせることで、受験者全体の合計点数の平均値をＡ１からＡ２に修正するとともに、受験者全体の標準偏差をＤ１からＤ２に修正することが可能である。組み合わせの場合、スコア標準化部３３１は受験者評価部３２８によって算出された各受験者の合計点数に基づきサンプル受験者も含めた又はサンプル受験者を含めない受験者全体の合計点数の標準偏差Ｄ１を算出し、受験者評価部３２８によって算出されたサンプル受験者の標準偏差Ｄ２を算出し、得られたＤ１とＤ２の比を算出し、受験者全体の標準偏差がＤ１からＤ２に修正されるように、各受験者の合計点数の平均値Ａ１からの差に対してＤ１とＤ２の比を掛け算し、得られた値に平均値Ａ２を加算することにより得られた値を各受験者の合計点数として、受験者の識別子と関連付けて受験者評価データファイル３４４に格納することができる。

２−４ スコア計算
図２８にはアイデア評価テスト（後半テスト）の終了後、サーバ１１によって受験者の採点を行い、その結果を受験者及び試験管理者に送信するまでの処理の流れがフローチャートで記載されている。先述した手順によって後半テストが終了した後、試験管理者は試験管理者端末１３からスコア計算開始の指示を、例えば試験管理者が図２１に示すような管理画面上で「スコア計算開始」のボタンをクリックすることにより、サーバ１１に送信する（Ｓ３０１）。なお、「スコア計算開始」のボタンは後半テスト終了後に試験管理者の管理画面上に現れるようにしてもよい。次いで、当該指示をサーバ１１が受信すると、サーバ１１の解答評価部３２７は、解答評価データファイル３４３に格納されている各解答評価及びアイデア解答ＩＤに基づいて各解答データ中のアイデア解答ＩＤ毎に解答内容に対する評価のスコアを算出する（Ｓ３０２）。次いで、受験者評価部３２８は、アイデア解答ＩＤ毎に付与されたスコアに基づいて、受験ＩＤ毎の創造力に関するスコアを算出する（Ｓ３０３）。

１１ サーバ
１２ 受験者端末
１３ 試験管理者端末
１４ ネットワーク
１５ サーバ管理者端末
２００ コンピュータ
２０１ 演算装置
２０２ 記憶装置
２０３ 出力装置
２０４ 入力装置
２０５ 通信装置
２０６ 乱数発生装置
２０７ タイマー
３１０ 送受信部
３２０ 制御部
３２１ 認証処理部
３２２ データ登録部
３２３ 設問抽出部
３２４ 制限時間判断部
３２５ 評価者決定部
３２６ 解答抽出部
３２７ 解答評価部
３２８ 受験者評価部
３２９ 受験者評価抽出部
３３０ 評価精度演算部
３３１ スコア標準化部
３３２ 評価数判断部
３４０ 記憶部
３４１ 設問データファイル
３４２ 解答データファイル
３４３ 解答評価データファイル
３４４ 受験者評価データファイル
３４５ 受験者アカウントデータファイル
３４６ 試験管理者アカウントデータファイル
３４７ サーバ管理者アカウントデータファイル
３４８ 試験条件データファイル
３４９ 後半テスト進捗管理データファイル

Claims (13)

1. サーバがネットワークを介して試験管理者端末からテスト開始の指示を受信するステップと、
   テスト開始の指示に応じて、サーバが５Ｗ１Ｈの六つの要素のうち少なくとも二つを組み合わせた状況設定を前記要素ごとに複数の選択肢から選択させ、当該選択に対応したアイデアを記述させる設問内容を含む設問データを設問データ記憶部から抽出し、ネットワークを介して各受験者端末に送信するステップと、
   サーバが、前記設問に対する受験者の解答内容を含む解答データを、各受験者端末から受信するステップと、
   サーバが、タイマーにより予め設定された制限時間内に受信した解答内容を含む解答データにそれぞれ識別子を付与し、解答データを送信した受験者の識別子と関連付けて解答データ記憶部に格納するステップと、
   サーバが、乱数発生装置により発生した乱数を取得し、当該乱数を用いて解答データ記憶部に格納されている各解答データ中の解答内容を評価すべき受験者を決定するステップと、
   サーバが、前記評価すべき受験者を決定するステップの結果に従い、各受験者が評価すべき解答データを解答データ記憶部から抽出し、ネットワークを介して各受験者端末に送信するステップと、
   サーバが、解答データ中の解答内容に対する受験者による評価を含む解答評価データを、各受験者端末から受信するステップと、
   サーバが、受信した解答評価データに識別子を付与し、前記解答評価データを送信した評価者としての受験者の識別子、評価された解答データの識別子、及び評価された解答データを送信した受験者の識別子と関連付けて解答評価データを解答評価データ記憶部に格納するステップと、
   サーバが、解答評価データ記憶部に格納されている各解答評価データ及び解答データの識別子に基づいて各解答データ中の解答内容に対する評価を集計することにより各解答内容に対する点数を算出し、各解答内容を含む解答データを送信した受験者の識別子と関連付けて解答データ記憶部に格納するステップと、
   サーバが、解答データの識別子及び解答データを送信した受験者の識別子と関連付けられて解答データ記憶部に格納されている解答内容に対する点数に少なくとも部分的に基づいて、解答データを送信した受験者の識別子毎に合計点数を算出し、当該合計点数を解答データを送信した受験者の識別子と関連付けて受験者評価データ記憶部に格納するステップと、
   但し、合計点数を算出する際、各解答内容に付与された点数に対しては、以下の（１）〜（３）の少なくとも一つの重み付け基準に従って、重み付けを付与することを条件とする：
   （１）同一の受験者の識別子が付与された複数の解答データを選択肢の組み合わせ毎に分類し、同一の選択肢の組み合わせに対する解答データの識別子が複数存在するときは、付与された点数が低い解答内容であるほど重み付け後の点数が低くなるように、各解答内容に付与された点数に重み付けを与える、
   （２）同一の受験者の識別子が付与された複数の解答データについて選択肢の組み合わせを数値座標化してその中心点を算出し、中心点からの距離が大きい組み合わせを有する解答内容であるほど重み付け後の点数が高くなるように、解答内容に付与された点数に重み付けを与える；
   （３）設問内容から想定されるすべての選択肢の組み合わせそれぞれについて、当該選択肢の組み合わせを解答内容として有する解答データの識別子に関連付けられている点数をすべて合計することで当該選択肢の組み合わせの全体獲得点数を算出し、全体獲得点数の低い選択肢の組み合わせを有する解答内容になるほど重み付け後の点数が高くなるようにして、各解答内容に付与された点数に重み付けを与える；
   サーバが、受験者評価データ記憶部に格納された各受験者に対する合計点数を含む受験者評価データを抽出し、ネットワークを介して対応する受験者端末に送信するステップと、
   を含むアイデア創造力を評価するためのオンラインテスト方法。
2. サーバが、各受験者に対する合計点数を算出し、受験者の識別子と関連付けて受験者評価データ記憶部に格納する前記ステップを実施した後、
   サーバが、受験者の識別子及び当該受験者の識別子と関連付けられている合計点数に基づいて受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、解答データの識別子毎に解答内容に対する評価を改めて集計して点数化し、得られた補正後の点数を解答データの識別子と関連付けて解答データ記憶部に格納するステップＸと、
   サーバが、解答データ記憶部に格納されている各解答内容に付与された補正後の点数及び受験者の識別子に基づき、前記（１）〜（３）の少なくとも一つの評価手順に従って各受験者に対する補正後の合計点数を算出し、受験者の識別子と関連付けて受験者評価データ記憶部に格納するステップＹと、
   を更に含む請求項１に記載のオンラインテスト方法。
3. 各受験者に対する補正後の合計点数を各受験者に対する合計点数とみなして、サーバがステップＸ及びステップＹを一度以上回繰り返す請求項２に記載のオンラインテスト方法。
4. サーバが、解答評価データ記憶部に格納されている評価者としての受験者の識別子と関連付けられた各解答内容に対する評価と、解答データ記憶部に格納されている当該解答内容に付与された補正前又は補正後の点数を対比し、両者の近似性を受験者ごとに集計することにより、各受験者の評価精度を算出し、当該評価精度を各受験者の識別子と関連付けて受験者評価データ記憶部に格納するステップと、
   サーバが、受験者評価データ記憶部に格納された各受験者に対する評価精度を含む受験者評価データを受験者の識別子に基づき抽出し、ネットワークを介して対応する受験者端末に送信するステップと、
   を更に含む請求項２又は３に記載のオンラインテスト方法。
5. 解答データ記憶部に二人以上のサンプル受験者による解答内容を含む解答データが解答データの識別子と関連づけられて格納されており、
   サーバが、各受験者の合計点数又は補正されている場合には補正後の合計点数に基づきサンプル受験者も含めた又はサンプル受験者を含めない受験者全体の合計点数の平均値Ａ１を算出するステップと、
   サーバが、サンプル受験者の合計点数又は補正されている場合には補正後の合計点数に基づきその平均値Ａ２を算出するステップと、
   サーバが、Ａ１及びＡ２の差を算出するステップと、
   サーバが、受験者全体の合計点数の平均値がＡ１からＡ２に修正されるように、各受験者の合計点数からＡ１及びＡ２の差をそれぞれ引き算し、当該引き算によって標準化された後の各受験者の合計点数を受験者の識別子と関連付けて受験者評価データ記憶部に格納するステップと、
   サーバが、受験者評価データ記憶部に格納された各受験者の標準化された後の合計点数を含む受験者評価データを受験者の識別子に基づいて抽出し、ネットワークを介して対応する受験者端末に送信するステップと、
   を更に含む請求項１〜４の何れか一項に記載のオンラインテスト方法。
6. 解答データ記憶部に二人以上のサンプル受験者による解答内容を含む解答データが解答データの識別子と関連づけられて格納されており、
   サーバが、各受験者の合計点数又は補正されている場合には補正後の合計点数に基づきサンプル受験者も含めた又はサンプル受験者を含めない受験者全体の合計点数の平均値Ａ１を算出するステップと、
   サーバが、サンプル受験者の合計点数又は補正されている場合には補正後の合計点数に基づきその平均値Ａ２を算出するステップと、
   サーバが、Ａ１及びＡ２の差を算出するステップと、
   サーバが、受験者全体の合計点数の平均値がＡ１からＡ２に修正されるように、各受験者の合計点数からＡ１及びＡ２の差をそれぞれ引き算し、当該引き算された後の各受験者の合計点数を受験者の識別子と関連付けて受験者評価データ記憶部に格納するステップと、
   サーバが、各受験者の合計点数又は補正されている場合には補正後の合計点数に基づきサンプル受験者も含めた又はサンプル受験者を含めない受験者全体の合計点数の標準偏差Ｄ１を算出するステップと、
   サーバが、サンプル受験者の合計点数又は補正されている場合には補正後の合計点数に基づきサンプル受験者の標準偏差Ｄ２を算出するステップと、
   サーバが、Ｄ１とＤ２の比を算出するステップと、
   サーバが、受験者全体の標準偏差がＤ１からＤ２に修正されるように、各受験者の合計点数の平均値Ａ１からの差に対してＤ１とＤ２の比を掛け算し、
   当該掛け算によって得られた値に平均値Ａ１を加算することにより標準化された後の各受験者の合計点数を受験者の識別子と関連付けて受験者評価データ記憶部に格納するステップと、
   サーバが、受験者評価データ記憶部に格納された各受験者の標準化された後の合計点数を含む受験者評価データを受験者の識別子に基づいて抽出し、ネットワークを介して対応する受験者端末に送信するステップと、
   を更に含む請求項１〜４の何れか一項に記載のオンラインテスト方法。
7. 送受信部、制御部、記憶部、タイマー及び乱数発生装置を備え、
   前記記憶部は、
   各受験者のアカウント情報を受験者の識別子と関連づけて格納するための受験者アカウントデータ記憶部と、
   ５Ｗ１Ｈの六つの要素のうち少なくとも二つを組み合わせた状況設定を前記要素ごとに複数の選択肢から選択させ、当該選択に対応したアイデアを記述させる設問内容を含む設問データを記憶するための設問データ記憶部と、
   送受信部で受信した設問に対する受験者の解答内容を含む解答データを、当該解答データの識別子と共に当該解答データを送信した受験者の識別子と関連付けて格納するための解答データ記憶部と、
   送受信部で受信した解答データ中の解答内容に対する受験者による評価を含む解答評価データを、当該解答評価データの識別子と共に当該解答評価データを送信した受験者の識別子、評価された解答データの識別子、及び評価された解答データを送信した受験者の識別子と関連付けて格納するための解答評価データ記憶部と、
   受験者に対する合計点数を、受験者の識別子と関連付けて格納するための受験者評価データ記憶部とを有し、
   前記制御部はデータ登録部、設問抽出部、制限時間判断部、評価者決定部、解答抽出部、解答評価部、受験者評価部及び受験者評価抽出部を備え、
   データ登録部は、送受信部で受信した解答データが、制限時間判断部により制限時間内に受信したと判断された場合、当該解答データに識別子を付与し、当該解答データを送信した受験者の識別子と関連付けて解答データ記憶部に格納することと、送受信部で受信した解答評価データに識別子を付与し、当該解答評価データを送信した受験者の識別子及び評価された解答データの識別子と関連付けて解答評価データ記憶部に格納することができ、
   設問抽出部は、試験管理者端末からの指示を送受信部が受信すると、設問データを設問データ記憶部から抽出し、送受信部からネットワークを介して各受験者端末に一斉に送信することができ、且つ、制限時間判断部の指示に従い、設問データを設問データ記憶部から抽出し、送受信部からネットワークを介して対応する受験者端末に個別に送信することができ、
   制限時間判断部は、受験者端末から送信された解答データを送受信部で受信した時点が、タイマーを利用して制限時間内にあるか否かを判断することができ、判断の結果、制限時間内と判断した場合は、当該解答データに識別子を付与し、当該解答データを送信した受験者の識別子と関連付けて解答データ記憶部に格納するようデータ登録部に指示することができ、且つ、設問抽出部に対して、当該解答データを送信した受験者の受験者端末に前記設問データを表示可能な形態で送受信部から再度送信するように指示することができ、
   評価者決定部は、試験管理者端末からの指示を送受信部が受信すると、乱数発生装置により発生した乱数を取得し、当該乱数を用いて解答データ記憶部に格納されている各解答データ中の解答内容を評価すべき受験者を解答データの識別子毎に受験者の識別子を評価者として関連付けることにより決定することができ、
   解答抽出部は、評価者決定部による前記評価すべき受験者の決定に従い、各受験者が評価すべき解答データを解答データの識別子と当該解答データの識別子に評価者として関連付けられた受験者の識別子とに基づいて抽出し、送受信部からネットワークを介して対応する受験者端末に送信することができ、
   解答評価部は、解答評価データ記憶部に格納されている解答内容に対する受験者による評価及び当該解答内容に対応する解答データの識別子に基づいて、解答データの識別子ごとに解答内容に対する評価を集計して点数化し、得られた点数を解答データの識別子と関連付けて解答データ記憶部に格納することができ、
   受験者評価部は、解答データの識別子及び解答データを送信した受験者の識別子と関連付けられて解答データ記憶部に格納されている解答内容に対する点数に少なくとも部分的に基づいて、解答データを送信した受験者の識別子毎に合計点数を算出し、当該合計点数を解答データを送信した受験者の識別子と関連付けて受験者評価データ記憶部に格納することができ、
   但し、合計点数を算出する際、各解答内容に付与された点数に対しては、以下の（１）〜（３）の少なくとも一つの重み付け基準に従って、重み付けを付与することを条件とする：
   （１）同一の受験者の識別子が付与された複数の解答データを選択肢の組み合わせ毎に分類し、同一の選択肢の組み合わせに対する解答データの識別子が複数存在するときは、付与された点数が低い解答内容であるほど重み付け後の点数が低くなるように、各解答内容に付与された点数に重み付けを与える、
   （２）同一の受験者の識別子が付与された複数の解答データについて選択肢の組み合わせを数値座標化してその中心点を算出し、中心点からの距離が大きい組み合わせを有する解答内容であるほど重み付け後の点数が高くなるように、解答内容に付与された点数に重み付けを与える；
   （３）設問内容から想定されるすべての選択肢の組み合わせそれぞれについて、当該選択肢の組み合わせを解答内容として有する解答データの識別子に関連付けられている点数をすべて合計することで当該選択肢の組み合わせの全体獲得点数を算出し、全体獲得点数の低い選択肢の組み合わせを有する解答内容になるほど重み付け後の点数が高くなるようにして、各解答内容に付与された点数に重み付けを与える；
   受験者評価抽出部は、受験者評価データ記憶部に格納された各受験者に対する合計点数を含む受験者評価データを受験者の識別子に基づいて抽出し、送受信部からネットワークを介して対応する受験者端末に送信することができる、
   アイデア創造力を評価するためのオンラインテストサーバ。
8. 解答評価部は更に、受験者の識別子及び当該受験者の識別子と関連付けられている合計点数に基づいて受験者に対して順位付けを行い、順位の高い受験者の識別子と関連付けられている評価ほど評価に対して重み付けを付与することを条件として、解答データの識別子ごとに解答内容に対する評価を改めて集計して点数化し、得られた補正後の点数を解答データの識別子と関連付けて解答データ記憶部に格納することができ、且つ、受験者評価部は更に、解答データの識別子及び受験者の識別子と関連付けられて解答データ記憶部に格納されている解答内容に対する補正後の点数に少なくとも部分的に基づいて、受験者の識別子毎に補正後の合計点数を算出することができる請求項７に記載のオンラインテストサーバ。
9. 評価精度演算部を更に備え、評価精度演算部は解答評価データ記憶部に格納されている評価者としての受験者の識別子と関連付けられた各解答内容に対する評価と、解答データ記憶部に格納されている当該解答内容に付与された補正前又は補正後の点数を対比し、両者の近似性を受験者ごとに集計することにより、各受験者の評価精度を算出し、当該評価精度を各受験者の識別子と関連付けて受験者評価データ記憶部に格納することができ、
   受験者評価抽出部は更に、受験者評価データ記憶部に格納された各受験者に対する評価精度を含む受験者評価データを受験者の識別子に基づき抽出し、送受信部からネットワークを介して対応する受験者端末に送信することができる請求項８に記載のオンラインテストサーバ。
10. 解答データ記憶部に二人以上のサンプル受験者による解答内容を含む解答データが解答データの識別子と関連づけられて格納されており、
    スコア標準化部を更に備え、スコア標準化部は受験者評価部によって算出された各受験者の合計点数又は補正されている場合には補正後の合計点数に基づきサンプル受験者も含めた又はサンプル受験者を含めない受験者全体の合計点数の平均値Ａ１を算出することができ、
    受験者評価部によって算出されたサンプル受験者の合計点数又は補正されている場合には補正後の合計点数に基づきその平均値Ａ２を算出することができ、
    得られたＡ１及びＡ２の差を算出することができ、
    受験者全体の合計点数の平均値がＡ１からＡ２に修正されるように、各受験者の合計点数からＡ１及びＡ２の差をそれぞれ引き算し、当該引き算によって標準化された後の各受験者の合計点数を受験者の識別子と関連付けて受験者評価データ記憶部に格納することができ、
    受験者評価抽出部は、受験者評価データ記憶部に格納された各受験者に対する引き算された後の合計点数を含む受験者評価データを受験者の識別子に基づいて抽出し、送受信部からネットワークを介して対応する受験者端末に送信することができる、
    請求項７〜９の何れか一項に記載のオンラインテストサーバ。
11. 解答データ記憶部に二人以上のサンプル受験者による解答内容を含む解答データが解答データの識別子と関連づけられて格納されており、
    スコア標準化部を更に備え、スコア標準化部は受験者評価部によって算出された各受験者の合計点数又は補正されている場合には補正後の合計点数に基づきサンプル受験者も含めた又はサンプル受験者を含めない受験者全体の合計点数の平均値Ａ１を算出することができ、
    受験者評価部によって算出されたサンプル受験者の合計点数又は補正されている場合には補正後の合計点数に基づきその平均値Ａ２を算出することができ、
    得られたＡ１及びＡ２の差を算出することができ、
    受験者全体の合計点数の平均値がＡ１からＡ２に修正されるように、各受験者の合計点数からＡ１及びＡ２の差をそれぞれ引き算し、当該引き算された後の各受験者の合計点数を受験者の識別子と関連付けて受験者評価データ記憶部に格納することができ、
    スコア標準化部は更に、受験者評価部によって算出された各受験者の合計点数又は補正されている場合には補正後の合計点数に基づきサンプル受験者も含めた又はサンプル受験者を含めない受験者全体の合計点数の標準偏差Ｄ１を算出することができ、
    受験者評価部によって算出されたサンプル受験者の合計点数又は補正されている場合には補正後の合計点数に基づき受験者評価部によって算出されたサンプル受験者の標準偏差Ｄ２を算出することができ、
    得られたＤ１とＤ２の比を算出することができ、
    受験者全体の標準偏差がＤ１からＤ２に修正されるように、各受験者の合計点数の平均値Ａ１からの差に対してＤ１とＤ２の比を掛け算し、当該掛け算によって得られた値に平均値Ａ１を加算することにより標準化された後の各受験者の合計点数を受験者の識別子と関連付けて受験者評価データ記憶部に格納することができ、
    受験者評価抽出部は、受験者評価データ記憶部に格納された各受験者に対する標準化された後の合計点数を含む受験者評価データを受験者の識別子に基づいて抽出し、送受信部からネットワークを介して対応する受験者端末に送信することができる、
    請求項７〜９の何れか一項に記載のオンラインテストサーバ。
12. 請求項１〜６の何れか一項に記載のオンラインテスト方法をコンピュータに実行させるためのプログラム。
13. 請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images