JP5768992B1 - 評価装置と評価プログラム並びに評価方法 - Google Patents

Abstract

【課題】評価の精度を高めることができる評価装置を提供する。【解決手段】複数の設問それぞれに対する複数の回答ごとの判定情報が記憶される記憶部２と、判定情報に基づいて、複数の設問ごとの設問評価値、または、複数の回答ごとの回答評価値、を算出する第１算出部３と、設問評価値または回答評価値に基づいて、記憶部に記憶されている判定情報の一部を抽出判定情報として抽出する抽出部５と、抽出判定情報に基づいて、抽出判定情報に対応する設問ごとの抽出設問評価値、または、抽出判定情報に対応する回答ごとの抽出回答評価値、を算出する第２算出部６と、第２算出部が抽出設問評価値を算出したとき、抽出設問評価値に基づいて抽出判定情報に対応する設問ごとの評価結果を出力し、第２算出部が抽出回答評価値を算出したとき、抽出回答評価値に基づいて抽出判定情報に対応する回答ごとの評価結果を出力する、評価結果出力部７と、を有する。【選択図】図１

Description

本発明は、関連する２つの評価対象のいずれか一方を評価するための評価装置と評価プログラム並びに評価方法に関する。

例えば、複数の回答者に同じテストを実施して、テストに含まれる複数の問題それぞれに対する回答者ごとの回答の正答または誤答を示す正誤情報に基づいて、回答者の正答率を算出して回答者を順位付けたり、問題が回答者の能力判定に適していたか否かの判定が行われたりしている。

問題と回答者の回答パターンから注意を要する回答者や能力判定に不適切な悪問を判定するためのツールの例としてＳ−Ｐ表が知られている（例えば「非特許文献１」参照）。

ここで、Ｓ−Ｐ表について説明する。

Ｓ−Ｐ表を作成するには、まずは項目得点表を作成する。ここでは、形成的テストのｎ個の小問の一つ一つを採点して、正答には得点１を与え、誤答には得点０を与えて得たＮ人の生徒の項目得点（小問得点）を集めて、Ｎ（人）×ｎ（問）の項目得点表を作成する。

図８は、生徒ＡからＯの１５人が、問題１から問題１０の１０問を回答したときの項目得点表の例である。同図は、生徒Ａの問題２，３，７，９，１０の５問に対する回答は正答であり、残りの５問に対する回答は誤答であったことを示している。また、同図は、問題１に関して、生徒Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｋ，Ｎ，Ｏの８人の回答は正答であり、残りの生徒７人の回答は誤答であったことを示している。

次いで、正答数の高い順に、問題・生徒を並び替える。その結果、表の左ほど正答率の高い問題（やさしい問題）が位置して、表の上ほど正答率の高い生徒（成績のよい生徒）が位置する。これに次の二つのグラフを書き入れる。

まず、各々の生徒について、得点表の左からそれぞれの生徒の点数（正答の数）だけマス目を数えたところに区切り線を書き入れて、全生徒の区切り線を結ぶと、得点の分布曲線が表される。この得点の分布曲線をＳ曲線という。Ｓ曲線は、各生徒の達成度やクラス全体の達成度の分布や平均的水準を示す。

次いで、各々の問題（小問）について、得点表の上からそれぞれの問題の正答数だけマス目を数えたところに区切り線を書き入れて、全問の区切り線を結ぶと、正答者数（正答率と見てよい）の分布曲線が表される。この分布曲線をＰ曲線という。Ｐ曲線は、各問題の正答率とその分布を示す。

図９は、図８に示した項目得点表に、Ｓ曲線（図中太線で示す）とＰ曲線（図中点線で示す）とを書き入れた得点表である。

このように、行と列を、それぞれの生徒の得点の大きい順、かつ、問題の正答数の大きい順に並び替えた項目得点表の中に、Ｓ曲線とＰ曲線を書き入れたものをＳ−Ｐ表という。

Ｓ−Ｐ表は、テストの得点を図表的に表したもので、各生徒の小問の得点（項目得点）を表示すると同時に、テストの得点の２つの統計グラフ（Ｓ曲線とＰ曲線）を示して、クラスの達成度の水準や傾向に一人一人の生徒の正答・誤答のパターンを照らして読み取ることができるようにした項目得点表である。

Ｓ−Ｐ表からは、良問や悪問の特定や、生徒の集団としての学習特徴や、個々の生徒の学習の特徴、などを評価することができる。

例えば、Ｓ曲線の左側の面積・Ｐ曲線の上側の面積は、平均正答率を示す。また、理論的には、Ｓ曲線より左は「１」（正答）のみで、右は「０」（誤答）のみとなり、Ｐ曲線より上は「１」のみで、下は「０」のみとなるはずである。よって、例えば、Ｓ曲線の左上にある「０」は単なる間違いであり、一方、右下にある「０」は内容が理解されていない、といった評価をすることができる。

Ｓ−Ｐ表を用いた評価のための指標の一つに、注意係数がある。注意係数には、生徒ごとの注意係数（ＣＳ）と問題ごとの注意係数（ＣＰ）とがある。

生徒Ｘの注意係数ＣＳは、
ＣＳ＝（ａｓ−ｂｓ）／（ｃｓ−ｄｓ×ｅｓ）
で、算出される。ここで、
ａｓは、生徒ＸのＳ曲線より左にある「０」の問題の正答者数の和、
ｂｓは、生徒ＸのＳ曲線より右にある「１」の問題の正答者数の和、
ｃｓは、生徒Ｘの得点がｐ点のとき、正答者数欄の左からｐ個までの正答者数の和、
ｄｓは、生徒Ｘの得点率、
ｅｓは、全生徒の合計得点、
である。

図９に示した生徒Ａの注意係数は、
ａｓが、問題４の正答数「９」、
ｂｓが、問題１０の正答数「５」、
ｃｓが、ｐ＝５であるから「５０」、
ｄｓが、０．５、
ｅｓが、５０、
であるから、
生徒Ａの注意係数ＣＳ＝（９−５）／（５０−０．５×８０）＝４／１０＝０．４
となる。

一方、問題Ｙの注意係数ＣＰは、
ＣＰ＝（ａｐ−ｂｐ）／（ｃｐ−ｄｐ×ｅｐ）
で、算出する。ここで、
ａｐは、問題ＹのＰ曲線より上にある「０」の生徒の合計得点の和、
ｂｐは、問題ＹのＰ曲線より下にある「１」の生徒の合計得点の和、
ｃｐは、問題Ｙの正答者数がｑ人のとき、合計得点欄の上からｑ個までの合計得点の和、
ｄｐは、問題Ｙの正答者数、
ｅｐは、全生徒の平均得点、
である。

図９に示した問題９の注意係数ＣＰは、
ａｐが、生徒Ｎの合計得点「５」、
ｂｐが、生徒Ｃの合計得点「３」、
ｃｐが、「５６」、
ｄｐが、「８」、
ｅｐが、「５．３」、
であるから、
問題９の注意係数ＣＰは、
ＣＰ＝（５−３）／（５６−８×５．３）＝２／１３．６＝０．１
となる。

なお、注意係数ＣＳやＣＰは、０．５以上０．７５未満のときは要注意、０．７５以上のときは特に注意が必要、とされている。

このように、問題や回答者の判定には、Ｓ−Ｐ表を用いて算出される２つの指標ＣＰとＣＳが用いられる。ただし、これら２つの指標は互いに独立して用いられていて、ＣＰを用いて悪問を判定し、あるいは、ＣＳを用いて注意を要する回答者を判定する。

なお、注意係数は、その後の研究において、拡張された注意係数（ＥＣＩ：Extended Caution Index）なるものも提案されている（例えば「非特許文献２」参照）。

佐藤隆博著「Ｓ−Ｐ表の入門」明治図書出版、１９８５年５月１日 Tatsuoka, K.K.; Linn, R.L, "Indices for detecting unusual response patterns: Links between two general approaches and potential applications." Applied Psychological Measurement, Vol.7, No.1, pp81-96, 1983.

しかし、悪問を判定する場合、注意を要する回答者の回答が含まれた状態でＣＰを算出しても、正確な判定結果が得られるとは言い難い。同様に、注意を要する回答者を判定する場合、悪問が含まれた状態でＣＳを算出しても、正確な判定結果が得られるとは言い難い。

すなわち、問題を評価するとき、評価結果の精度を高めるためには、回答者が適正でなければならない。同様に、回答者を評価するとき、評価結果の精度を高めるためには、問題が適正でなければならない。

本発明は、以上のような従来技術の問題点を解消するためになされたもので、関連する２つの評価対象の一方を評価する際に、他方の評価対象を絞り込んで、評価の精度を高めることができる、評価装置とプログラム並びに方法を提供することを目的とする。

本発明は、複数の設問それぞれに対する複数の回答ごとの判定情報が記憶される記憶部と、判定情報に基づいて、複数の設問ごとの設問評価値、または、複数の回答ごとの回答評価値、を算出する第１算出部と、設問評価値または回答評価値に基づいて、記憶部に記憶されている判定情報の一部を抽出判定情報として抽出する抽出部と、抽出判定情報に基づいて、抽出判定情報に対応する設問ごとの抽出設問評価値、または、抽出判定情報に対応する回答ごとの抽出回答評価値、を算出する第２算出部と、第２算出部が抽出設問評価値を算出したとき、抽出設問評価値に基づいて抽出判定情報に対応する設問ごとの評価結果を出力し、第２算出部が抽出回答評価値を算出したとき、抽出回答評価値に基づいて抽出判定情報に対応する回答ごとの評価結果を出力する、出力部と、を有してなり、第２算出部は、第１算出部が設問評価値を算出したとき、抽出回答評価値を算出し、第１算出部が回答評価値を算出したとき、抽出設問評価値を算出する、ことを特徴とする。

本発明によれば、関連する２つの評価対象のいずれか一方を評価するときの評価の精度を高めることができる。

本発明にかかる評価装置の実施の形態を示すブロック図である。 上記評価装置の記憶部に記憶される判定情報の例を示す模式図である。 本発明にかかる評価方法の実施の形態を示すフローチャートである。 上記判定情報の一部から抽出された抽出判定情報の例を示す模式図である。 上記抽出判定情報の別の例を示す模式図である。 本発明にかかる評価方法の別の実施の形態を示すフローチャートである。 本発明にかかる評価方法のさらに別の実施の形態を示すフローチャートである。 従来の評価方法で用いられる項目得点表の例を示す模式図である。 上記項目得点表から作成された従来のＳ−Ｐ表の例を示す模式図である。

以下、図面を参照しながら、本発明にかかる評価装置と評価プログラム並びに評価方法の実施の形態について説明する。

なお、以下に説明する実施の形態は、５人の回答者のそれぞれが１０問の設問に回答し、各回答の正答・誤答を示す判定情報を用いて、回答者または設問を評価する場合を例に説明する。すなわち、設問と回答者は、関連する２つの評価対象（第１評価対象と第２評価対象）の例である。

ただし、本発明における関連する２つの評価対象は、設問と回答者の組み合わせに限らない。すなわち、本発明は、複数の第１評価対象それぞれに対する複数の第２評価対象ごとの関係を示す判定情報の一部を、第１評価対象ごとの第１評価対象評価値または第２評価対象ごとの第２評価対象評価値に基づいて抽出し、抽出された抽出判定情報に基づいて、第１評価対象または第２評価対象の評価結果を出力するものである。

また、以下に説明する実施の形態は、設問として、数学の計算問題のように、設問に対する回答から正答・誤答が一意に特定できるものを用いた場合を例とするが、本発明に適用可能な設問は、これに限らない。

また、本発明に適用可能な設問の種類や形式は、異なるものが混在していても構わない。すなわち、例えば、すべての設問が数学の計算問題でもよいし、あるいは、計算問題、記述問題、選択問題、あるいは、アンケートの質問などが混在していてよい。この場合、各設問の種類や形式に応じて、回答の種類や形式を設定するとよい。また、各設問の種類や形式に対する回答の判定情報として、後述する評価値を算出することができるものを設定するとよい。

さらに、以下に説明する実施の形態は、設問と回答の組み合わせごとの判定情報を用いる場合を例とするが、これに代えて、例えば、設問と、その設問に対する回答者の行動（例えば、回答に要した時間など）の組み合わせごとの判定情報を用いるようにしてもよい。

●評価装置●
図１は、本発明にかかる評価装置（以下「本装置」という。）の実施の形態を示すブロック図である。本装置１は、記憶部２と、評価値算出部３と、評価値選択部４と、判定情報抽出部５と、抽出評価値算出部６と、評価結果出力部７と、を有してなる。

ここで、本装置１は、パーソナルコンピュータなどの情報処理装置であって、本発明にかかる評価プログラム（以下「本プログラム」という。）が本装置１で動作して本装置１のハードウェア資源と協働することで、後述する本発明にかかる評価方法（以下「本方法」という。）を実現する。

なお、本プログラムが図示しない情報処理装置で動作することで、同情報処理装置を本装置１と同様に機能させて本方法を実行させることができる。

記憶部２は、本装置１が本方法を実行するために必要な情報が記憶される手段である。

評価値算出部３は、評価値を算出する手段である。評価値とその算出方法については、後述する。

評価値選択部４は、評価値を選択する手段である。評価値の選択方法については、後述する。

判定情報抽出部５は、判定情報を抽出する手段である。判定情報やその抽出方法については、後述する。

抽出評価値算出部６は、抽出評価値を算出する手段である。抽出評価値とその算出方法については、後述する。

評価結果出力部７は、評価結果を出力する手段である。評価結果やその出力方法については、後述する。

●判定情報
図２は、記憶部２に記憶されている、複数の設問それぞれに対する複数の回答ごとの判定情報の例を示す模式図である。判定情報とは、各設問に対する各回答者の回答の正答・誤答を示す情報である。

同図は、５人の回答者それぞれを識別する回答者識別子（回答者ＩＤ）「Ａ」「Ｂ」「Ｃ」「Ｄ」「Ｅ」と、１０問の設問それぞれを識別する設問識別子（設問ＩＤ）「１」「２」「３」「４」「５」「６」「７」「８」「９」「１０」と、各設問に対する各回答者の回答の判定情報「○」「×」と、が関連付けて記憶されていることを示している。

以下、説明の便宜上、回答者ＩＤが「Ａ」の回答者を「生徒Ａ」といい、他の回答者ＩＤについても同様とする。また、設問ＩＤが「１」の設問を「問題１」といい、他の設問ＩＤについても同様とする。

図中の判定情報「○」は正答、判定情報「×」は誤答、であることを示している。すなわち、例えば、生徒Ａの回答は、問題１−１０のうち、問題７，９に対する回答は誤答であり、残りの問題に対する回答は正答であったことを示している。

このように、本実施の形態における判定情報は、「正答（○）」「誤答（×）」の２種類であるが、本発明における判定情報はこれに限らず、例えば、「正答」「誤答」に「無答」を加えた３種類としてもよい。

また、本実施の形態は、判定情報を回答者ＩＤと関連付けて記憶部２に記憶する場合を例にしているが、本発明においては、判定情報を、回答者ＩＤ以外の情報と関連付けて記憶してもよい。すなわち、例えば、同じ回答者が問題１−１０を複数回繰り返して回答した場合に、回答の回数ごとの判定情報、つまり、第１回目の問題１−１０の回答に対する判定情報を、第１回目を特定する情報と関連付けて記憶し、同様に、第２回目以降の問題１−１０の回答に対する判定情報を、第Ｎ回目を特定する情報と関連付けて記憶するようにしてもよい。

●回答評価値
回答評価値は、各回答者の回答の評価指標であって、回答者ごとの各設問に対する回答の判定情報（例えば、生徒Ａの問題１−１０の回答に対する判定情報）から算出される。

ここで、本実施の形態では回答評価値として正答率が用いられていて、例えば、生徒Ａの回答は１０問中８問が正答であるから、生徒Ａの回答評価値は「８０」である。図２は、生徒Ａ−Ｅのそれぞれの回答評価値が「８０」「５０」「６０」「９０」「２０」であることを示している。

なお、本発明において、回答評価値は正答率に限らず、例えば、誤答率や、前述の従来から用いられている注意係数（ＣＳ）や拡張された注意係数（ＥＣＩ）であってもよいし、あるいは、回答ごとの正答率・誤答率・注意係数（ＣＳ）や拡張された注意係数（ＥＣＩ）などに基づいて特定される回答ごとの全回答の中での順位でもよい。

●設問評価値
設問評価値は、各設問に対する回答の評価指標であって、設問ごとの各回答者の回答の判定情報（例えば、問題１に対する生徒Ａ−Ｅの回答に対する判定情報）から算出される。

ここで、本実施の形態では設問評価値として正答者数が用いられていて、例えば、問題１の正答者は５人の生徒のうち４人であるから、問題１の設問評価値は「４」である。図２は、問題１−１０の各設問の設問評価値が「４」「４」「４」「４」「４」「３」「１」「３」「１」「２」であることを示している。

なお、本発明において、設問評価値は正答者数に限らず、例えば、誤答者数や、前述の従来から用いられている注意係数（ＣＰ）や拡張された注意係数（ＥＣＩ）であってもよいし、あるいは、設問ごとの正答者数・誤答者数・注意係数（ＣＰ）や拡張された注意係数（ＥＣＩ）などに基づいて特定される設問ごとの全設問の中での順位でもよい。

●評価方法●
次に、本方法について説明する。
図３は、本方法の実施の形態を示すフローチャートである。

本装置１は、評価値算出部３を用いて、記憶部２に記憶されている判定情報に基づいて、設問ごと（つまり設問ＩＤごと）の設問評価値と、回答者ごと（つまり回答者ＩＤごと）の回答評価値を算出する（Ｓ１０）。

次いで、本装置１は、評価値選択部４を用いて、選択情報に基づいて、設問評価値または回答評価値のいずれか一方を選択する（Ｓ１１）。選択情報とは、本装置１が設問評価値と回答評価値のいずれか一方を選択するために参照する情報であって、評価値選択部４を用いて、例えば、設問評価値や回答評価値などに基づいて生成される。

ここで、本装置１による選択情報の生成方法は、例えば、問題１−１０の設問評価値の分散と、回答者Ａ−Ｅの回答評価値の分散と、を算出して比較し、これら２つの分散の大小関係に基づいて、例えば、分散の大きい方の評価値を特定する情報を含む選択情報を生成する。すなわち、本装置１は、選択情報に含まれる評価値を特定する情報に基づいて、いずれか一方の評価値を選択する。なお、評価値選択部４により算出される前述の分散の値や、生成される選択情報は、記憶部２に記憶される。

なお、本装置１による選択情報の生成方法の別の例として、複数の設問それぞれの信頼性と複数の回答者それぞれの信頼性とを算出して、これらを比較して、例えば、信頼性の高い方の評価対象の評価値を特定する情報を含む選択情報を生成するようにしてもよい。ここで、設問や回答者それぞれの信頼性は、例えば、設問評価値の分散や回答評価値の分散を用いてもよいし、あるいは、複数の設問それぞれの履歴情報や複数の回答それぞれの履歴情報に基づいて算出される情報であってもよい。設問それぞれの履歴情報は、例えば、あらかじめ記憶部２に記憶されている、各設問の過去の累積回答数（累積回答者数）、累積回答時間、設問の改訂回数、設問の過去の評価値などである。同様に、回答者それぞれの履歴情報は、例えば、あらかじめ記憶部２に記憶されている、その回答者の過去の評価値（注意係数（ＣＳ）など）である。

●抽出設問評価値と評価結果
処理Ｓ１１において、回答評価値が選択されたとき、本装置１は、判定情報抽出部５を用いて、抽出判定情報を抽出する（Ｓ１２）。次いで、本装置１は、抽出評価値算出部６を用いて、抽出設問評価値を算出する（Ｓ１３）。次いで、本装置１は、評価結果出力部７を用いて、抽出評価値に基づいて抽出判定情報に対応する設問ごとの評価結果を出力する（Ｓ１４）。

図４は、回答評価値に基づいて、図２に示した記憶部２に記憶されている５人の生徒の問題１−１０の回答に対する判定情報の一部から抽出された抽出判定情報の例を示す模式図である。同図は、５人の生徒の判定情報のうち、回答評価値の上位３人、つまり、正答率の高い生徒Ａ，Ｃ，Ｄの問題１−１０の回答に対する判定情報が抽出判定情報として抽出されて、回答者ＩＤと設問ＩＤとに関連付けて記憶されていることを示している。

このように、回答評価値に基づいて抽出される抽出判定情報とは、回答評価値が所定の範囲の生徒の問題１−１０の回答に対応する判定情報である。

なお、本実施の形態では、回答評価値の所定の範囲の例として、生徒ごとの回答評価値に基づいて特定される生徒ごとの全生徒の中での順位が上位１位から３位としているが、これに代えて、例えば、同順位が上位２位から４位、などとしてもよい。

また、回答評価値の所定の範囲の別の例としては、回答評価値そのものの値の大きさと、あらかじめ記憶部２に記憶されている所定の閾値の大小関係で、例えば、所定の閾値以上または以下の回答評価値、あるいは、所定の２つの閾値の間の回答評価値などを用いてもよい。

図４に戻る。
同図は、問題１−１０のそれぞれについて、生徒Ａ，Ｃ，Ｄの合計の正答数が抽出設問評価値として算出されて、設問ＩＤと関連付けて記憶されていることを示している。すなわち、例えば、問題１の抽出設問評価値は「３」である。

このように、抽出設問評価値とは、抽出判定情報（例えば、問題１に対する生徒Ａ，Ｃ，Ｄの回答に対する判定情報）に対応する設問ごとに算出される、設問ごとの回答の評価指標である。

なお、本発明においては、抽出判定情報に対応する設問ごとに算出される抽出設問評価値の別の例として、例えば、設問ごとの正答率または誤答率あるいは注意係数（ＣＰ）を用いてもよい。

ここで、問題１−１０のうち、問題１−７の抽出設問評価値は、図２に示した設問評価値とは異なる。一方、問題８−１０の抽出設問評価値は、図２に示した設問評価値と同じである。このように、設問評価値と抽出設問評価値とは、同じ場合も異なる場合もある。

また、同図は、問題１−１０の設問ごとの評価結果が、設問ＩＤと関連付けて記憶されていることを示している。ここで、設問ごとの評価結果は、設問ごとの抽出設問評価値に基づいて特定される設問ごとの全設問の中での順位であり、例えば、問題１の評価結果は「１」であり、問題７の評価結果は「１０」であることを示している。

このように、本実施の形態において、評価結果出力部７による設問ごとの評価結果の出力態様は、設問ごとの評価結果を対応する設問ＩＤと関連付けて記憶部２に記憶するものである。

なお、本発明における設問ごとの評価結果の出力態様は、これに限らない。すなわち、例えば、評価結果出力部７は、設問ごとの評価結果を、図示しないディスプレイ装置に表示する、あるいは、他の情報処理端末に通信ネットワークを介して送信する、などしてもよい。

●抽出回答評価値と評価結果
図３に戻る。
処理Ｓ１１において、設問評価値が選択されとき、本装置１は、判定情報抽出部５を用いて、抽出判定情報を抽出する（Ｓ１５）。次いで、本装置１は、抽出評価値算出部６を用いて、抽出回答評価値を算出し（Ｓ１６）する。次いで、本装置１は、評価結果出力部７を用いて、抽出回答評価値に基づいて抽出判定情報に対応する回答ごとの評価結果を出力する（Ｓ１７）。

図５は、設問評価値に基づいて、判定情報の一部から抽出された抽出判定情報の例を示す模式図である。同図は、問題１−１０のうち、設問評価値の下位５問、つまり、問題６−１０の判定情報が抽出判定情報として抽出されていることを示している。

このように、設問評価値に基づいて抽出される判定情報とは、設問評価値が所定の範囲の設問に関する全生徒の回答に対応する判定情報である。

なお、本実施の形態では、設問評価値の所定の範囲の例として、設問ごとの設問評価値に基づいて特定される設問ごとの全設問の中での順位が下位６位から１０位としているが、これに代えて、例えば、同順位が上位１位から５位、などとしてもよい。

また、設問評価値の所定の範囲の別の例としては、設問評価値そのものの値の大きさと、あらかじめ記憶部２に記憶されている所定の閾値の大小関係で、例えば、所定の閾値以上または以下の設問評価値、あるいは、所定の２つの閾値の間の設問評価値などを用いてもよい。

図５に戻る。
同図は、生徒Ａ−Ｅのそれぞれについて、抽出された判定情報に対応する問題６−１０の正答率が抽出回答評価値として算出されて、回答者ＩＤと関連付けて記憶されていることを示している。すなわち、例えば、生徒Ａの抽出回答評価値は「６０」である。

このように、抽出回答評価値とは、生徒ごとの抽出判定情報（例えば、生徒Ａの問題６−１０の回答に対する判定情報）から算出される、生徒ごとの回答の評価指標である。

なお、本発明においては、抽出判定情報に対応する生徒ごとに算出される抽出回答評価値の別の例として、例えば、生徒ごとの正答率または誤答率あるいは注意係数（ＣＳ）を用いてもよい。

ここで、生徒Ａ−Ｅの抽出回答評価値は、図２に示した回答評価値とは異なる。このように、回答評価値と抽出回答評価値とは、異なる場合もあるが、同じ場合もあり得る。

また、同図は、生徒Ａ−Ｅの生徒ごとの評価結果が、回答者ＩＤと関連付けて記憶されていることを示している。ここで、生徒ごとの評価結果は、生徒ごとの抽出回答評価値に基づいて特定される生徒ごとの全生徒の中での順位であり、例えば、生徒Ａの評価結果は「２」であり、生徒Ｂの評価結果は「５」であることを示している。

このように、本実施の形態において、評価結果出力部７による生徒ごとの評価結果の出力態様は、生徒ごとの評価結果を対応する回答者ＩＤと関連付けて記憶部２に記憶するものである。

なお、本発明における生徒ごとの評価結果の出力態様は、これに限らない。すなわち、例えば、評価結果出力部７は、生徒ごとの評価結果を、図示しないディスプレイ装置に表示する、あるいは、他の情報処理端末に通信ネットワークを介して送信する、などしてもよい。

●まとめ
以上説明した実施の形態によれば、関連する２つの評価対象である設問と回答者のうち、設問を評価するときは回答者を絞り込んだ上で行い、また、回答者を評価するときは設問を絞り込んだ上で行うことで、評価の精度を高めることができる。

すなわち、例えば、図４に示した例では、生徒Ａ−Ｅのうち正答率の上位の生徒Ａ，Ｃ，Ｄに絞り込んだ上で各問題１−１０の抽出設問評価値を算出して評価結果を算出することで、生徒を絞り込む前の設問評価値が「１」で同じであった問題７，９の評価結果に差が生じている。つまり、本発明によれば、正答率の高い生徒に絞り込んで設問の正答者数を評価することで、正答率の低い生徒Ｅが正解していた問題７の正答者数を見直すことができ、問題７，９のうち、問題７は問題９に比べて生徒の能力判定の観点で悪問であった可能性を示すことができる。

また、例えば、図５に示した例では、問題１−１０のうち正答者数の下位の問題６−１０に絞り込んだ上で各生徒Ａ−Ｅの抽出回答評価値を算出して評価結果を算出することで、問題を絞り込む前の正答率の低い３人の生徒Ｂ、Ｃ，Ｅの評価結果に変化が生じている。つまり、本発明によれば、正答者数の低い設問に絞り込んで生徒の正答率を評価することで、正答者数の多い問題１−５を誤答していた生徒Ｅの正答率が上昇していることから、生徒Ｅの回答の信頼性が低い可能性を示すことができる。

●評価方法の別の実施の形態●
次に、本方法の別の実施の形態について、先に説明した実施の形態と異なる部分を中心に説明する。
先に説明した実施の形態は、図３に示したように、設問評価値と回答評価値とを算出した上で、いずれか一方を選択して判定情報を抽出し、設問ごと、あるいは、回答ごとの評価結果を出力するものであった。
一方、本実施の形態は、あらかじめ、回答評価値または設問評価値のいずれか一方を算出することが決まっている点で、先に説明した実施の形態と異なる。

●評価方法（その２）

図６は、本方法の実施の形態を示すフローチャートである。本実施の形態は、あらかじめ回答評価値を算出することが決まっていて、回答評価値に基づいて判定情報を抽出した上で、設問ごとの評価結果を算出するものである。

本装置１は、評価値算出部３を用いて、回答評価値を算出する（Ｓ２０）。回答評価値の算出処理は、図３の処理Ｓ１０と同様である。

次いで、本装置１は、判定情報抽出部５を用いて、回答評価値に基づいて、判定情報の一部を抽出判定情報として抽出する（Ｓ２１）。判定情報の抽出処理は、図３の処理Ｓ１２と同様である。

次いで、本装置１は、抽出評価値算出部６を用いて、抽出設問評価値を算出する（Ｓ２２）。抽出設問評価値の算出処理は、図３の処理Ｓ１３と同様である。

次いで、本装置１は、評価結果出力部７を用いて、評価結果を出力する（Ｓ２３）。評価結果の出力処理は、図３の処理Ｓ１４と同様である。

●評価方法（その３）
図７は、本方法の実施の形態を示すフローチャートである。本実施の形態は、あらかじめ設問評価値を算出することが決まっていて、設問評価値に基づいて判定情報を抽出した上で、回答ごとの評価結果を出力するものである。

本装置１は、評価値算出部３を用いて、設問評価値を算出する（Ｓ３０）。設問評価値の算出処理は、図３の処理Ｓ１０と同様である。

次いで、本装置１は、判定情報抽出部５を用いて、設問評価値に基づいて、判定情報の一部を抽出判定情報として抽出する（Ｓ３１）。判定情報の抽出処理は、図３の処理Ｓ１２と同様である。

次いで、本装置１は、抽出評価値算出部６を用いて、抽出回答評価値を算出する（Ｓ３２）。抽出回答評価値の算出処理は、図３の処理Ｓ１３と同様である。

次いで、本装置１は、評価結果出力部７を用いて、評価結果を出力する（Ｓ３３）。評価結果の出力処理は、図３の処理Ｓ１４と同様である。

●まとめ
以上説明した実施の形態によれば、あらかじめ２つの評価対象のいずれか一方の評価値を算出して評価対象を絞り込んだ上で、他方の評価対象の評価結果を出力することで、先に説明した実施の形態と同様、評価の精度を高めることができる。

●本装置の特徴のまとめ●
以上説明した本装置の特徴について、以下にまとめて記載しておく。

（特徴１）
複数の設問それぞれに対する複数の回答ごとの判定情報が記憶される記憶部と、
前記判定情報に基づいて、前記複数の設問ごとの設問評価値、または、前記複数の回答ごとの回答評価値、を算出する第１算出部と、
前記設問評価値または前記回答評価値に基づいて、前記記憶部に記憶されている判定情報の一部を抽出判定情報として抽出する抽出部と、
前記抽出判定情報に基づいて、前記抽出判定情報に対応する設問ごとの抽出設問評価値、または、前記抽出判定情報に対応する回答ごとの抽出回答評価値、を算出する第２算出部と、
前記第２算出部が前記抽出設問評価値を算出したとき、前記抽出設問評価値に基づいて前記抽出判定情報に対応する設問ごとの評価結果を出力し、
前記第２算出部が前記抽出回答評価値を算出したとき、前記抽出回答評価値に基づいて前記抽出判定情報に対応する回答ごとの評価結果を出力する、
出力部と、
を有してなり、
前記第２算出部は、
前記第１算出部が前記設問評価値を算出したとき、前記抽出回答評価値を算出し、
前記第１算出部が前記回答評価値を算出したとき、前記抽出設問評価値を算出する、
ことを特徴とする評価装置。

（特徴２）
前記記憶部には、前記複数の設問それぞれに対する複数の回答ごとの判定情報が、前記複数の設問それぞれの設問識別子と、前記複数の回答それぞれの回答識別子と、に関連付けて記憶され、
前記設問ごとの評価結果は、前記設問ごとの設問識別子と関連付けて前記記憶部に記憶され、
前記回答ごとの評価結果は、前記回答ごとの回答識別子と関連付けて前記記憶部に記憶される、
特徴１記載の評価装置。

（特徴３）
前記記憶部には、複数の回答者それぞれの前記設問それぞれに対する回答ごとの判定情報が、前記複数の設問それぞれの設問識別子と、前記複数の回答者それぞれの回答者識別子と、に関連付けて記憶され、
前記設問ごとの評価結果は、前記設問ごとの設問識別子と関連付けて前記記憶部に記憶され、
前記回答ごとの評価結果は、前記回答者ごとの回答者識別子と関連付けて前記記憶部に記憶される、
特徴１記載の評価装置。

（特徴４）
前記抽出部は、前記回答評価値が所定の範囲の回答に対応する判定情報を、前記抽出判定情報として抽出し、
前記設問ごとの評価結果は、前記設問ごとの抽出設問評価値に基づいて特定される前記設問ごとの前記複数の設問の中での順位である、
特徴１乃至３のいずれかに記載の評価装置。

（特徴５）
前記抽出部は、前記回答ごとの回答評価値に基づいて特定される前記回答ごとの前記複数の回答の中での順位が所定の範囲の回答に対応する判定情報を、前記抽出判定情報として抽出し、
前記設問ごとの評価結果は、前記設問ごとの抽出設問評価値に基づいて特定される前記設問ごとの前記複数の設問の中での順位である、
特徴１乃至３のいずれかに記載の評価装置。

（特徴６）
前記複数の回答ごとの回答評価値は、前記回答ごとの正答率または誤答率に基づいて特定される前記回答ごとの前記複数の回答の中での順位であり、
前記抽出部は、前記順位が所定の範囲の回答に対応する判定情報を、前記抽出判定情報として抽出する、
特徴１乃至３のいずれかに記載の評価装置。

（特徴７）
前記抽出判定情報に対応する設問ごとの抽出設問評価値は、前記設問ごとの正答率または誤答率であり、
前記設問ごとの評価結果は、前記設問ごとの正答率または誤答率に基づいて特定される前記設問ごとの前記複数の設問の中での順位である、
特徴６記載の評価装置。

（特徴８）
前記複数の回答ごとの回答評価値は、前記回答ごとの注意係数であり、
前記抽出部は、前記注意係数が所定の範囲の回答に対応する判定情報を、前記抽出判定情報として抽出する、
特徴１乃至３のいずれかに記載の評価装置。

（特徴９）
前記抽出判定情報に対応する設問ごとの抽出設問評価値は、前記設問ごとの注意係数であり、
前記設問ごとの評価結果は、前記設問ごとの注意係数に基づいて特定される前記設問ごとの前記複数の設問の中での順位である、
特徴８記載の評価装置。

（特徴１０）
前記抽出部は、前記設問評価値が所定の範囲の設問に対応する判定情報を、前記抽出判定情報として抽出し、
前記回答ごとの評価結果は、前記回答ごとの抽出回答評価値に基づいて特定される前記回答ごとの前記複数の回答の中での順位である、
特徴１乃至３のいずれかに記載の評価装置。

（特徴１１）
前記抽出部は、前記設問ごとの設問評価値に基づいて特定される前記設問ごとの前記複数の設問の中での順位が所定の範囲の設問に対応する判定情報を、前記抽出判定情報として抽出し、
前記回答ごとの評価結果は、前記回答ごとの抽出回答評価値に基づいて特定される前記回答ごとの前記複数の回答の中での順位である、
特徴１乃至３のいずれかに記載の評価装置。

（特徴１２）
前記複数の設問ごとの設問評価値は、前記設問ごとの正答率または誤答率に基づいて特定される前記設問ごとの前記複数の設問の中での順位であり、
前記抽出部は、前記順位が所定の範囲の設問に対応する判定情報を、前記抽出判定情報として抽出する、
特徴１乃至３のいずれかに記載の評価装置。

（特徴１３）
前記抽出判定情報に対応する回答ごとの抽出回答評価値は、前記回答ごとの正答率または誤答率であり、
前記回答ごとの評価結果は、前記回答ごとの正答率または誤答率に基づいて特定される前記回答ごとの前記複数の回答の中での順位である、
特徴１２記載の評価装置。

（特徴１４）
前記複数の設問ごとの設問評価値は、前記設問ごとの注意係数であり、
前記抽出部は、前記注意係数が所定の範囲の設問に対応する判定情報を、前記抽出判定情報として抽出する、
特徴１乃至３のいずれかに記載の評価装置。

（特徴１５）
前記抽出判定情報に対応する回答ごとの抽出回答評価値は、前記回答ごとの注意係数であり、
前記回答ごとの評価結果は、前記回答ごとの注意係数に基づいて特定される前記回答ごとの前記複数の回答の中での順位である、
特徴１４記載の評価装置。

（特徴１６）
選択情報を生成する選択部、
を備え、
前記第１算出部は、前記選択情報に基づいて、前記設問評価値または前記回答評価値のいずれを算出するかを決定する、
特徴１乃至１５のいずれかに記載の評価装置。

（特徴１７）
前記記憶部には、前記複数の設問それぞれの履歴情報と前記複数の回答それぞれの履歴情報とが記憶されていて、
前記選択部は、前記複数の設問それぞれの履歴情報に基づいて前記複数の設問それぞれの信頼性を算出し、前記複数の回答それぞれの履歴情報に基づいて前記複数の回答それぞれの信頼性を算出し、前記複数の設問それぞれの信頼性と前記複数の回答それぞれの信頼性とに基づいて前記選択情報を生成する、
特徴１６記載の評価装置。

（特徴１８）
前記選択部は、前記複数の設問それぞれの信頼性と前記複数の回答それぞれの信頼性との比較結果に基づいて前記選択情報を生成する、
特徴１７記載の評価装置。

（特徴１９）
前記選択部は、
前記複数の設問ごとの設問評価値の分散と、
前記複数の回答ごとの回答評価値の分散と、
を算出し、
前記設問評価値の分散と前記回答評価値の分散とに基づいて前記選択情報を生成する、
特徴１６記載の評価装置。

（特徴２０）
複数の設問それぞれに対する複数の回答ごとの判定情報が記憶される記憶部と、
前記判定情報に基づいて、前記複数の設問ごとの設問評価値と、前記複数の回答ごとの回答評価値と、を算出する第１算出部と、
前記設問評価値または前記回答評価値のいずれか一方を選択する選択部と、
前記選択された前記設問評価値または前記回答評価値に基づいて、前記記憶部に記憶されている判定情報の一部を抽出判定情報として抽出する抽出部と、
前記抽出判定情報に基づいて、前記抽出判定情報に対応する設問ごとの抽出設問評価値、または、前記抽出判定情報に対応する回答ごとの抽出回答評価値、を算出する第２算出部と、
前記第２算出部が前記抽出設問評価値を算出したとき、前記抽出設問評価値に基づいて前記抽出判定情報に対応する設問ごとの評価結果を出力し、
前記第２算出部が前記抽出回答評価値を算出したとき、前記抽出回答評価値に基づいて前記抽出判定情報に対応する回答ごとの評価結果を出力する、
出力部と、
を有してなり、
前記第２算出部は、
前記選択部が前記設問評価値を選択したとき、前記抽出回答評価値を算出し、
前記選択部が前記回答評価値を選択したとき、前記抽出設問評価値を算出する、
ことを特徴とする評価装置。

（特徴２１）
前記選択部は、
前記設問評価値の分散と前記回答評価値の分散とを算出し、
前記設問評価値の分散と前記回答評価値の分散とに基づいて、前記設問評価値または前記回答評価値のいずれか一方を選択する、
特徴２０記載の評価装置。

（特徴２２）
前記選択部は、
前記設問評価値の分散が前記回答評価値の分散より大きいとき、前記設問評価値を選択し、
前記設問評価値の分散が前記回答評価値の分散より小さいとき、前記回答評価値を選択する、
特徴２１記載の評価装置。

（特徴２３）
複数の第１評価対象それぞれに対する複数の第２評価対象ごとの関係を示す判定情報が記憶される記憶部と、
前記判定情報に基づいて、前記複数の第１評価対象ごとの第１評価対象評価値、または、前記複数の第２評価対象ごとの第２評価対象評価値、を算出する第１算出部と、
前記第１評価対象評価値または前記第２評価対象評価値に基づいて、前記記憶部に記憶されている判定情報の一部を抽出判定情報として抽出する抽出部と、
前記抽出判定情報に基づいて、前記抽出判定情報に対応する第１評価対象ごとの抽出第１評価対象評価値、または、前記抽出判定情報に対応する第２評価対象ごとの抽出第２評価対象評価値、を算出する第２算出部と、
前記第２算出部が前記抽出第１評価対象評価値を算出したとき、前記抽出第１評価対象評価値に基づいて前記抽出判定情報に対応する第１評価対象ごとの評価結果を出力し、
前記第２算出部が前記抽出第２評価対象評価値を算出したとき、前記抽出第２評価対象評価値に基づいて前記抽出判定情報に対応する第２評価対象ごとの評価結果を出力する、
出力部と、
を有してなり、
前記第２算出部は、
前記第１算出部が前記第１評価対象評価値を算出したとき、前記抽出第２評価対象評価値を算出し、
前記第１算出部が前記第２評価対象評価値を算出したとき、前記抽出第１評価対象評価値を算出する、
ことを特徴とする評価装置。

（特徴２４）
前記記憶部には、前記第１評価対象それぞれに対する複数の第２評価対象ごとの関係を示す判定情報が、前記複数の第１評価対象それぞれの第１識別子と、前記複数の第２評価対象それぞれの第２識別子と、に関連付けて記憶され、
前記第１評価対象ごとの評価結果は、前記第１評価対象ごとの第１識別子と関連付けて前記記憶部に記憶され、
前記第２評価対象ごとの評価結果は、前記第２評価対象ごとの第２識別子と関連付けて前記記憶部に記憶される、
特徴２３記載の評価装置。

（特徴２５）
前記抽出部は、前記第１評価対象評価値が所定の範囲の第１評価対象に対応する判定情報を、前記抽出判定情報として抽出し、
前記第２評価対象ごとの評価結果は、前記第２評価対象ごとの抽出第２評価対象評価値に基づいて特定される前記第２評価対象ごとの前記複数の第２評価対象の中での順位である、
特徴２３または２４記載の評価装置。

（特徴２６）
前記抽出部は、前記第１評価対象ごとの第１評価対象評価値に基づいて特定される前記第１評価対象ごとの前記複数の第１評価対象の中での順位が所定の範囲の第１評価対象に対応する判定情報を、前記抽出判定情報として抽出し、
前記第２評価対象ごとの評価結果は、前記第２評価対象ごとの抽出第２評価対象評価値に基づいて特定される前記第２評価対象ごとの前記複数の第２評価対象の中での順位である、
特徴２３または２４記載の評価装置。

（特徴２７）
前記抽出部は、前記第２評価対象評価値が所定の範囲の第２評価対象に対応する判定情報を、前記抽出判定情報として抽出し、
前記第１評価対象ごとの評価結果は、前記第１評価対象ごとの抽出第１評価対象評価値に基づいて特定される前記第１評価対象ごとの前記複数の第１評価対象の中での順位である、
特徴２３または２４記載の評価装置。

（特徴２８）
前記抽出部は、前記第２評価対象ごとの第２評価対象評価値に基づいて特定される前記第２評価対象ごとの前記複数の第２評価対象の中での順位が所定の範囲の第２評価対象に対応する判定情報を、前記抽出判定情報として抽出し、
前記第１評価対象ごとの評価結果は、前記第１評価対象ごとの抽出第１評価対象評価値に基づいて特定される前記第１評価対象ごとの前記複数の第１評価対象の中での順位である、
特徴２３または２４記載の評価装置。

（特徴２９）
複数の第１評価対象それぞれに対する複数の第２評価対象ごとの関係を示す判定情報が記憶される記憶部と、
前記判定情報に基づいて、前記複数の第１評価対象ごとの第１評価対象評価値と、前記複数の第２評価対象ごとの第２評価対象評価値と、を算出する第１算出部と、
前記第１評価対象評価値または前記第２評価対象評価値のいずれか一方を選択する選択部と、
前記選択された前記第１評価対象評価値または前記第２評価対象評価値に基づいて、前記記憶部に記憶されている判定情報の一部を抽出判定情報として抽出する抽出部と、
前記抽出判定情報に基づいて、前記抽出判定情報に対応する第１評価対象ごとの抽出第１評価対象評価値、または、前記抽出判定情報に対応する第２評価対象ごとの抽出第２評価対象評価値、を算出する第２算出部と、
前記第２算出部が前記抽出第１評価対象評価値を算出したとき、前記抽出第１評価対象評価値に基づいて前記抽出判定情報に対応する第１評価対象ごとの評価結果を出力し、
前記第２算出部が前記抽出第２評価対象評価値を算出したとき、前記抽出第２評価対象評価値に基づいて前記抽出判定情報に対応する第２評価対象ごとの評価結果を出力する、
出力部と、
を有してなり、
前記第２算出部は、
前記選択部が前記第１評価対象評価値を選択したとき、前記抽出第２評価対象評価値を算出し、
前記選択部が前記第２評価対象評価値を選択したとき、前記抽出第１評価対象評価値を算出する、
ことを特徴とする評価装置。

（特徴３０）
前記選択部は、
前記第１評価対象評価値の分散と前記第２評価対象評価値の分散とを算出し、
前記第１評価対象評価値の分散と前記第２評価対象評価値の分散とに基づいて、前記第１評価対象評価値または前記第２評価対象評価値のいずれか一方を選択する、
特徴２９記載の評価装置。

１ 評価装置
２ 記憶部
３ 評価値算出部（第１算出部）
４ 評価値選択部
５ 判定情報抽出部
６ 抽出評価値算出部（第２算出部）
７ 評価結果出力部

Claims (5)

1. 複数の設問それぞれに対する複数の回答ごとの判定情報が記憶される記憶部と、
   前記判定情報に基づいて、前記複数の設問ごとの設問評価値と、前記複数の回答ごとの回答評価値と、を算出する第１算出部と、
   前記算出された前記設問評価値または前記回答評価値に基づいて、前記記憶部に記憶されている判定情報の一部を抽出判定情報として抽出する抽出部と、
   前記抽出判定情報に基づいて、前記抽出判定情報に対応する設問ごとの抽出設問評価値、または、前記抽出判定情報に対応する回答ごとの抽出回答評価値、を算出する第２算出部と、
   前記第２算出部が前記抽出設問評価値を算出したとき、前記抽出設問評価値と前記設問評価値とに基づいて前記抽出判定情報に対応する設問ごとの評価結果を出力し、
   前記第２算出部が前記抽出回答評価値を算出したとき、前記抽出回答評価値と前記回答評価値とに基づいて前記抽出判定情報に対応する回答ごとの評価結果を出力する、
   出力部と、
   を有してなり、
   前記第２算出部は、
   前記抽出部が前記設問評価値に基づいて前記抽出判定情報を抽出したとき、前記抽出回答評価値を算出し、
   前記抽出部が前記回答評価値に基づいて前記抽出判定情報を抽出したとき、前記抽出設問評価値を算出する、
   ことを特徴とする評価装置。
2. 複数の第１評価対象それぞれに対する複数の第２評価対象ごとの関係を示す判定情報が記憶される記憶部と、
   前記判定情報に基づいて、前記複数の第１評価対象ごとの第１評価対象評価値と、前記複数の第２評価対象ごとの第２評価対象評価値と、を算出する第１算出部と、
   前記算出された前記第１評価対象評価値または前記第２評価対象評価値に基づいて、前記記憶部に記憶されている判定情報の一部を抽出判定情報として抽出する抽出部と、
   前記抽出判定情報に基づいて、前記抽出判定情報に対応する第１評価対象ごとの抽出第１評価対象評価値、または、前記抽出判定情報に対応する第２評価対象ごとの抽出第２評価対象評価値、を算出する第２算出部と、
   前記第２算出部が前記抽出第１評価対象評価値を算出したとき、前記抽出第１評価対象評価値と前記第１評価対象評価値とに基づいて前記抽出判定情報に対応する第１評価対象ごとの評価結果を出力し、
   前記第２算出部が前記抽出第２評価対象評価値を算出したとき、前記抽出第２評価対象評価値と前記第２評価対象評価値とに基づいて前記抽出判定情報に対応する第２評価対象ごとの評価結果を出力する、
   出力部と、
   を有してなり、
   前記第２算出部は、
   前記抽出部が前記第１評価対象評価値に基づいて前記抽出判定情報を抽出したとき、前記抽出第２評価対象評価値を算出し、
   前記抽出部が前記第２評価対象評価値に基づいて前記抽出判定情報を抽出したとき、前記抽出第１評価対象評価値を算出する、
   ことを特徴とする評価装置。
3. コンピュータを、請求項１または２記載の評価装置として機能させる、
   ことを特徴とする評価プログラム。
4. 複数の設問それぞれに対する複数の回答ごとの判定情報が記憶される記憶部、
   を備えた装置により実行される評価方法であって、
   前記装置が、
   前記判定情報に基づいて、前記複数の設問ごとの設問評価値と、前記複数の回答ごとの回答評価値と、を算出する第１算出ステップと、
   前記算出された前記設問評価値または前記回答評価値に基づいて、前記記憶部に記憶されている判定情報の一部を抽出判定情報として抽出する抽出ステップと、
   前記抽出判定情報に基づいて、前記抽出判定情報に対応する設問ごとの抽出設問評価値、または、前記抽出判定情報に対応する回答ごとの抽出回答評価値、を算出する第２算出ステップと、
   前記第２算出ステップにおいて前記抽出設問評価値を算出したとき、前記抽出設問評価値と前記設問評価値とに基づいて前記抽出判定情報に対応する設問ごとの評価結果を出力し、
   前記第２算出ステップにおいて前記抽出回答評価値を算出したとき、前記抽出回答評価値と前記回答評価値とに基づいて前記抽出判定情報に対応する回答ごとの評価結果を出力する、
   出力ステップと、
   を有してなり、
   前記第２算出ステップにおいて前記装置は、
   前記抽出ステップにおいて前記設問評価値に基づいて前記抽出判定情報が抽出されたとき、前記抽出回答評価値を算出し、
   前記抽出ステップにおいて前記回答評価値に基づいて前記抽出判定情報が抽出されたとき、前記抽出設問評価値を算出する、
   ことを特徴とする評価方法。
5. 複数の第１評価対象それぞれに対する複数の第２評価対象ごとの関係を示す判定情報が記憶される記憶部、
   を備えた装置により実行される評価方法であって、
   前記装置が、
   前記判定情報に基づいて、前記複数の第１評価対象ごとの第１評価対象評価値と、前記複数の第２評価対象ごとの第２評価対象評価値と、を算出する第１算出ステップと、
   前記算出された前記第１評価対象評価値または前記第２評価対象評価値に基づいて、前記記憶部に記憶されている判定情報の一部を抽出判定情報として抽出する抽出ステップと、
   前記抽出判定情報に基づいて、前記抽出判定情報に対応する第１評価対象ごとの抽出第１評価対象評価値、または、前記抽出判定情報に対応する第２評価対象ごとの抽出第２評価対象評価値、を算出する第２算出ステップと、
   前記第２算出ステップにおいて前記抽出第１評価対象評価値を算出したとき、前記抽出第１評価対象評価値と前記第１評価対象評価値とに基づいて前記抽出判定情報に対応する第１評価対象ごとの評価結果を出力し、
   前記第２算出ステップにおいて前記抽出第２評価対象評価値を算出したとき、前記抽出第２評価対象評価値と前記第２評価対象評価値とに基づいて前記抽出判定情報に対応する第２評価対象ごとの評価結果を出力する、
   出力ステップと、
   を有してなり、
   前記第２算出ステップにおいて前記装置は、
   前記抽出ステップにおいて前記第１評価対象評価値に基づいて前記抽出判定情報が抽出されたとき、前記抽出第２評価対象評価値を算出し、
   前記抽出ステップにおいて前記第２評価対象評価値に基づいて前記抽出判定情報が抽出されたとき、前記抽出第１評価対象評価値を算出する、
   ことを特徴とする評価方法。

Images