JP5166481B2 - 主観評価のための装置、方法およびプログラム - Google Patents

Description

本発明の実施形態は、アンケート調査等に好適な主観評価のための装置、方法およびプログラムに関する。

マーケティング、世論調査、あるいは感性工学といった分野において、人間の主観的な判断、態度の傾向を定量的に把握するために、しばしばアンケート調査が実施される。アンケート調査の例としては、ある評価対象に対する主観的な評価の結果として、回答者が「好ましい」と「好ましくない」という２つのカテゴリにおいて回答を行うものや、「好ましい」から「好ましくない」までの５段階のカテゴリにおいて回答を行うものなどがある。このような主観評価の方法は、たとえば下記非特許文献１に示されている。

主観評価においては、人間の主観的な判断およびその回答に特有な問題が存在する。たとえば、回答者の中には、評価対象についての知識が欠如しており評価対象に対して適切な評価を行えるとはいえないような回答者、故意に反対の評価結果を回答する回答者、調査に対して非協力的で適当な回答を行う回答者などが存在する。この問題に対処するため、調査実施者が目視により各回答者の回答結果を確認し、不真面目な回答を行っていると思われる回答者の回答を集計から省く、といったことが必要となる。しかし、多量のデータに対して人が回答結果を目視で確認することは非常に困難である。

回答者個人に関する客観的な事実に基づいて回答信頼度を算出し、信頼度が一定値以上の回答者の回答結果のみを集計するという方法が、たとえば下記特許文献１に記載されている。しかしこの方法には、回答者各個人についての客観的な事実に関する情報が必要であるという問題点がある。また、回答者を集計から省くか否かを決定する基準を明確に定めることができないという問題点もある。

回答者の各設問に対する回答所要時間を計測し、所要時間が長ければ迷った上での回答であるので信頼度が低いとみなして集計を行う方法が、たとえば下記特許文献２に記載されている。しかしこの方法には、たとえば悪意を持った回答者がランダムに回答を行った場合には所要時間が長くなるとは限らないという問題点があり、仮に所要時間が長かったとしても熟考の上での回答であれば信頼度が低いとは限らないという問題点がある。

異なる回答者が同じ程度、主観的に良いと感じていたとしても、回答者によって回答の厳しさは異なる。したがって、異なる回答者の評価結果同士や、異なる回答者集団の評価結果の平均値同士を同一の尺度で比較することができないという問題点がある。

仮に回答者が同一であっても、評価を行う対象の組合せによって回答値がバイアスを持つことが知られている（たとえば下記非特許文献２を参照）。したがって、異なる回答者や、異なる評価対象の組合せでの評価結果を同一の尺度で比較できるようにするためには、経験を積んだアンケート調査実施者が、回答者の特性や評価対象の組合せを注意深く考慮した上でアンケート調査を実施する必要があった。

特開２００４−１３２７７号公報 特開２００１−３５０８７７号公報

日本工業規格ＪＩＳ Ｚ９０８０：２００４「官能評価分析−方法」 Ｌａｍｉｎｇ，Ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｓｅｎｓａｔｉｏｎ，１９９７

以上で述べたように、異なる回答者や異なる評価対象の組合せについての評価結果を同一の尺度で比較できるようにするためには、経験を積んだアンケート調査実施者が、回答者の特性や評価対象の組合せを注意深く考慮した上でアンケート調査を実施する必要がある。調査実施者が上記の手順にかかる工数を省略したとしても、上記のような手順に従い実施した調査と同等の調査結果が得られることが望ましい。

本発明は、異なる回答者や異なる評価対象による調査結果を同一の尺度で比較することのできる主観評価装置、方法およびプログラムを提供することを目的とする。

実施形態によれば、基準評価値を有する評価対象ＩＤおよび基準評価値を有しない評価対象ＩＤそれぞれについて、評価対象データを記憶する評価対象データベースと、それぞれが基準評価値を有する複数の評価対象ＩＤの第１の提示順序と、それぞれが基準評価値を有しない複数の評価対象ＩＤの第２の提示順序とを生成し、前記第１および第２の提示順序とを統合することにより、一の評価対象提示順序を決定する決定部と、前記評価対象提示順序に従って前記評価対象データを回答者端末に送信し、回答者ＩＤにより識別される回答者からの前記評価対象データに対する回答値を受信する送受信処理部と、前記回答値を評価対象ＩＤおよび前記回答者ＩＤに関連付けて記憶する回答結果データベースと、前記回答者の特性値を前記基準評価値および前記回答値に基づいて推定する回答者特性推定部と、前記回答者の特性値を前記回答者ＩＤに関連付けて記憶する回答者特性データベースと、前記回答値および前記回答者の特性値に基づいて、前記回答者に提示され、基準評価値を有しない評価対象に対する評価値の推定値を算出する評価値推定部と、前記評価値の推定値を評価対象ＩＤごとに記憶する評価結果データベースと、前記評価対象ＩＤごとの評価値の推定値を出力する評価結果出力部と、を具備し、前記評価値推定部は、前記回答者特性データベースに記憶された前記回答者の特性値を用いて、前記基準評価値がＹであったときに前記回答者ＩＤ_ｉの回答値がＸ_ｉである確率Ｐ（Ｘ_ｉ｜Ｙ）とし、前記Ｙの確率分布を任意のＰ（Ｙ）とし、前記基準評価値を有しない評価対象に対する評価値の推定値を、

の値を最大とするＹとして推定することを特徴とする主観評価装置が提供される。

第１の実施形態に係るシステムのブロック図である。 評価対象ＤＢの記録内容の例を示す図である。 回答結果ＤＢの記録内容の例を示す図である。 回答者特性ＤＢの記録内容の例を示す図である。 評価結果ＤＢの記録内容の例を示す図である。 第１の実施形態に係るシステム全体の処理を表すフローチャートである。 アンケート割当て処理を示すフローチャートである。 アンケート提示順序決定処理を示すフローチャートである。 アンケート提示順序統合処理を説明するための図である。 回答取得処理を示すフローチャートである。 回答受諾通知受信処理を示すフローチャートである。 回答結果受信処理を示すフローチャートである。 多段階尺度でのアンケート画面の例を示す図である。 無段階尺度でのアンケート画面の例を示す図である。 第２の実施形態に係るシステムのブロック図である。 第２の実施形態に係るシステム全体の処理を表すフローチャートである。 推定値と誤差の関係を示すグラフである。 第２の実施形態における評価結果ＤＢの記録内容の例を示す図である。 第２の実施形態の変形例に係るシステム全体の処理を表すフローチャートである。 第２の実施形態の変形例に係るアンケート割当て処理を示すフローチャートである。 評価対象の提示および回答の入力を行うための画面の例を示す図である。

以下、図面を参照しながら本発明の実施の形態を詳細に説明する。

（第１の実施形態）
図１は、アンケート調査実施システムのブロック図である。アンケート処理サーバ１は、主観評価装置の一実施形態であって、ネットワーク３を介して回答者端末２ａ〜２ｃに接続されている。アンケート処理サーバ１は、評価対象入力部４、評価対象ＤＢ５、回答結果ＤＢ６、回答者特性ＤＢ７、評価結果ＤＢ８、決定部９、送受信処理部１０、回答者特性推定部１１、評価者特性推定部１２、評価結果出力部１３を備える。

回答者端末２は、送受信処理部１４、評価対象提示部１５、回答入力部１６を備える。回答者端末の総数は、１台以上の任意の数であってよい。回答者端末２の送受信処理部１４は、アンケート処理サーバ１から評価対象情報を受信する。ここで受信した情報は、評価対象提示部１５で提示され、回答者は回答入力部１６により評価対象に対する回答を入力することができる。図２１は、評価対象の提示および回答の入力を行うための画面の例であり、本実施例では回答者は提示された評価対象に対して「好ましい（１）」または「好ましくない（０）」という回答を行う。この回答結果は、送受信処理部１４により、アンケート処理サーバ１へ送信される。

図１に示されるシステム構成において、アンケート処理サーバ１は、コンピュータにより実行されるプログラムとして実現してもよい。コンピュータは、たとえば入力インターフェース、ＣＰＵ、メモリ、ハードディスク、出力インターフェース等を有し、これらはバスに接続される。同コンピュータのハードディスクは、アンケート処理サーバを実現するためのプログラムを格納するための記録媒体の一例であり、上記プログラムがハードディスクからバスを介してメモリに読み出され、ＣＰＵによって実行される。

評価対象入力部４は、評価対象（すなわちアンケート）のデータをアンケート処理サーバ１に入力する。ここで入力される評価対象データには、基準評価値があらかじめ割り当てられているものと、そうでないものとの２種類がある。また評価対象データは、たとえば画像ファイルによって与えられるものの他、文書ファイル、映像ファイル、音声ファイルなど、回答者端末２において回答者に提示可能な任意の形式であってよい。また、基準評価値とは、例えば、ある尺度に沿ってあらかじめ測定された、それぞれの評価対象の好ましさの程度を表す実数値である。

評価対象ＤＢ５は、評価対象入力部４で入力された評価対象の情報を保持する。図２は、評価対象ＤＢ５に格納されるリストの例を示す。このリストにおいて、複数の評価対象それぞれに固有の評価対象ＩＤに評価対象ファイル名および基準評価値が関連付けられる。ただし、基準評価値は、値があらかじめ割り当てられている場合にはその値が記憶されるが、値が割り当てられていない場合はＮＡ（Ｎｏｔ Ａｖａｉｌａｂｌｅ）である旨が記憶される。

決定部９は、評価対象ＤＢ５の内容を参照し、評価対象ＩＤに回答者ＩＤを割り当てるとともに、評価対象の提示順序を決定する。

送受信処理部１０は、評価対象ＩＤに対応する評価対象ファイルおよびその提示順序の情報を、ネットワーク３を介して回答者端末２に送信する。また送受信処理部１０は、回答者端末２からネットワーク３を介して送信された回答結果を受信して回答結果ＤＢ６に書き込む。

回答結果ＤＢ６は、評価対象ＩＤおよび回答者ＩＤに回答値を関連付けて記憶する。記憶されるデータのリストは、たとえば図３に示すような構造を有する。回答値としては、同図に示すような実数値データの代わりに、カテゴリカルデータであっても良い。

回答者特性推定部１１は、複数の回答者それぞれの特性を推定する。具体的には、回答者特性推定部１１は、評価対象ＤＢ５に基準評価値が存在する評価対象の基準評価値と、この基準評価値が存在する評価対象について回答結果ＤＢ６に存在する回答者の回答値とに基づいて、回答者の特性を表す第１および第２のパラメータを推定する。推定された回答者特性を現す第１および第２のパラメータは、回答者ＩＤごとに回答者特性ＤＢ７に書き込まれる。

回答者特性ＤＢ７は、各回答者の特性を表す１つまたは複数のパラメータを回答者ＩＤごとに記憶する。回答者特性ＤＢ７のデータ構造の一例を図４に示す。ここで、パラメータ１〜パラメータＬまでの合計Ｌ個のパラメータによって回答者の特性が表される。パラメータの数Ｌは、仮定する回答者特性によって決まる。本実施形態では、L=2である。

評価値推定部１２は、回答結果ＤＢ６および回答者特性ＤＢ７の内容を参照し、各評価対象に対する評価値を推定する。推定された評価値の値は、対応する評価対象ＩＤとともに評価結果ＤＢ８に書き込まれる。

評価結果ＤＢ８は、各評価対象に対する評価値を評価対象ＩＤと対応させて記憶する。評価結果ＤＢ８のデータ構造の一例を図５に示す。

評価結果出力部１３は、評価結果ＤＢ８の内容を参照し、各評価対象に対する評価値を、アンケート調査実施者が利用可能な形式で出力する。

以上のような構成のアンケート調査実施システムの動作を、図６〜図８，図１１〜図１２のフローチャートを参照しながら詳細に説明する。

図６のステップＭ１において、アンケート調査実施者は評価したい対象の情報を評価対象入力部４に入力する。また、評価対象入力部４は、アンケート調査実施者によって入力された情報を評価対象ＤＢ５に格納する。次にステップＭ２において、決定部９は、評価対象ＤＢ５の内容を参照し、評価対象を回答者に割り当てる。

図７は、図６のステップＭ２におけるアンケート割当て処理の詳細を表したフローチャートである。まずステップＤ１において、必要な数値の初期設定を行う。具体的には、評価対象１つあたりに割り当てられる回答者数の下限をＮｍｉｎとし、回答者一人あたりに割り当てる評価対象数の上限をＭｍａｘとする。これらは、評価対象１つあたり少なくともＮｍｉｎ人の回答者が必要であり、回答者一人あたりに割り当てられる評価対象の数は高々Ｍｍａｘであることを意味する。

次にステップＤ２において、複数の評価対象のうち、基準評価値が存在せず、かつ、回答者の割当てが未実施である評価対象のＩＤを、回答者割当てを実施する評価対象として設定する。続くステップＤ３〜Ｄ５では、ステップＤ２で設定された評価対象を評価する回答者のＩＤを決定する。

まずステップＤ３において、複数の回答者ＩＤのうちの一つを乱数によって選択する。次にステップＤ４において、ステップＤ３で選択された回答者ＩＤに既に割り当てられている評価対象の数を上限値Ｍｍａｘと比較する。評価対象の数が上限値未満であればステップＤ５に進み、上限値以上であればステップＤ３に戻る。

ステップＤ５では、ステップＤ３においてランダムに選択された回答者ＩＤの、ステップＤ２で設定された評価対象ＩＤへの割当てを確定する。ステップＤ６は、ステップＤ２で設定された評価対象ＩＤに対して割り当てられた回答者ＩＤの数が必要数に達したかを判定するステップである。該回答者ＩＤの数が必要数Ｎｍｉｎに達していればステップＤ７に進む。該回答者ＩＤの数が必要数Ｎｍｉｎに達していなければステップＤ３に戻り、さらに回答者ＩＤを追加で割り当てる。

ステップＤ７は、回答者割当てを全ての評価対象に対して実施したかを判定するステップである。全評価対象に対して回答者割当ての実施が完了していなければステップＤ２に戻り、割当てが完了していれば処理を終了する。

ステップＭ３では、各評価対象の各回答者への提示順序を決定する。ここでは、ステップＭ２で決定された各回答者に割り当てられた評価対象の提示順序を決定する。図８は、図６のステップＭ３におけるアンケート提示順序決定処理の詳細を表したフローチャートである。ステップＣ１において、全回答者の中から、評価対象提示順序の設定を未実施である回答者を、以降のステップＣ２〜Ｃ６において選択する。

ステップＣ２において、基準評価値が存在する評価対象の提示順序を乱数に従って生成する。ステップＣ３では、ステップＣ２において生成された提示順序と、基準評価値との相関係数を算出する。次にステップＣ４において、基準評価値と提示順序との相関係数の絶対値が、あらかじめ設定された許容範囲の数値未満であるかを判定する。相関係数の絶対値が、設定された数値以上であればステップＣ２に戻り、提示順序の生成をやり直す。相関係数の絶対値が、設定された数値未満であれば、ステップＣ２で生成された提示順序を採用し、ステップＣ５に進む。これにより、提示順序と基準評価値とに相関があった場合に、評価対象の違いによる回答値の変化と、提示順序による回答値の変化（順序効果と呼ばれる現象）とが分離できなくなることを防ぐことができる。

次にステップＣ５では、ステップＣ１で選択された回答者について、基準評価値のない評価対象の提示順序を乱数に従って生成する。

ステップＣ６では、基準評価値が存在しない評価対象の提示順序と、基準評価値が存在する評価対象との提示順序を統合する。たとえば図９に示すように、基準評価値のある評価対象提示順９０と基準評価値のない評価対象提示順９１とを統合することにより評価対象提示順９２を生成する。この場合、基準評価値のある評価対象が等間隔となるように、基準評価値のない評価対象提示の列に挿入する。

ステップＣ７では、全ての回答者に対して評価対象提示順序を設定したかどうかを判定する。全回答者ＩＤに対して評価対象提示順序の設定が完了していなければステップＣ１に戻り、評価対象提示順序の設定が未実施である回答者ＩＤについて処理を行う。全ての回答者に対して評価対象提示順序が完了したら、処理を終了する。

図６のステップＭ３の処理が終了した時点で、全ての評価対象ＩＤに対して、評価を実施する回答者ＩＤの設定が完了し、回答者ＩＤそれぞれに対してどのような評価対象（アンケート）をどのような順序で提示するかの設定が完了する。

なお、提示順序の生成は上記のように乱数を用いて生成する代わりに、あらかじめ決定部９が提示順序のテーブルを保持していて、それを割り当てるようにしてもよい。

次にステップＭ４において、直前のステップＭ２およびＭ３で設定された回答者ＩＤ、評価対象ＩＤ、アンケート提示順序に基づき、送受信処理部１０がネットワーク３を介して回答者端末２に設問を送信する。回答者端末２は、回答者に設問を提示し、各回答者からの回答結果をネットワーク３を介してアンケート処理サーバ１に送信する。送受信処理部１０は、回答者端末からの回答結果を受信し、回答者ＤＢ６に書き込む。ここでの処理の詳細は、図１０、図１１、図１２のフローチャートを用いて説明する。

図１０は、ステップＭ４における回答取得処理の詳細を表すフローチャートである。図１１および図１２は、図１０に示す回答取得処理の最中に、回答者端末から送信された回答受諾通知または回答結果を受信した際にそれぞれ実行される処理の内容を示している。

図１０のステップＡ１において、送受信処理部１０は、回答者端末２に対して、アンケートへの回答依頼を送信する。回答依頼は、登録された回答者パネルに対してメール等で通知しても良いし、Ｗｅｂページ上で不特定多数の回答者を募集する形態であってもよい。ステップＡ２において、アンケート処理サーバ１は、回答者端末２からの回答受信待ち状態に遷移する。回答受信待ち状態に設定された状態で回答者端末２からの回答受諾通知が受信されると、図１１に示す回答受諾通知受信処理が実行される。同様に、回答結果が受信されると、図１２に示す回答結果受信処理が実行される。

次にステップＡ３において、時間経過をカウントし、一定時間毎にステップＡ４以降の処理を実行する。

ステップＡ４において、回答受信待ち状態に設定されているかを判定する。回答受信待ち状態に設定されていればステップＡ５に進み、回答受信待ち状態が解除されていれば処理を終了する。ステップＡ５において、回答受諾通知を受信し、回答者ＩＤの割当てを行った回答者端末２のうち、一定時間が経過したが回答結果を受信していない回答者端末が存在するかを判定する。該当する回答者端末が存在していればステップＡ６に進み、存在しなければステップＡ３に戻る。ステップＡ６において、回答者ＩＤの割当てを行った回答者端末２のうち、一定時間が経過したが回答結果を受信していない回答者端末をタイムアウト端末とし、回答者ＩＤの割当てを解除する。

上記ステップＡ２の回答受信待ち状態において回答受諾通知を受信した場合の処理を、図１１のフローチャートを用いて説明する。まずステップＪ１において、回答受諾通知を送信した回答者端末２の識別情報を参照し、該回答者識別端末２からの回答結果を既に受信済みであるかを判定する。回答結果を受信済みである場合にはステップＪ４に進み、未受信である場合にはステップＪ２に進む。

ステップＪ２において、回答者ＩＤの一覧の中から、当該回答者端末２への割当てが未実施である回答者ＩＤを選択し、同ＩＤを該回答者端末２に割り当てる。次にステップＪ３では、ステップＭ１およびＭ２において設定された、該回答者ＩＤに対応する評価対象およびその提示順序の情報を含む設問を、ネットワーク３を介して当該回答者端末２に送信する。

ステップＪ４は、当該回答者端末２からの回答結果を既に受信していることがステップＪ１において判定された場合に実行される。既に回答済みであるため回答を受け付けられない旨を、ネットワーク３を介して当該回答者端末２に通知する。

次に、上記ステップＡ２の回答受信待ち状態において回答結果を受信した場合の処理を図１２のフローチャートを用いて説明する。まずステップＫ１において、送受信処理部１０が受信した各評価対象に対する回答結果を、回答者ＩＤおよび評価対象ＩＤに関連付けて回答結果ＤＢ６に書き込む。

次にステップＫ２において、評価対象ＩＤを割り当てた全回答者ＩＤからの回答結果を受信済みであるかを判定する。受信済みであればステップＫ３に進み、受信済みでなければ、回答結果受信処理から復帰する。ステップＫ３は、ステップＫ２において全回答者ＩＤからの回答結果を受信済みであると判定された場合に実行され、アンケート処理サーバ２の回答受信待ち状態を解除する。

以上のステップＭ４における回答取得処理が終了した時点で、回答結果ＤＢ６には、全ての評価対象ＩＤおよび回答者ＩＤに対応する回答値が記録される。

次にステップＭ５において、回答者特性推定部１１が回答結果ＤＢ６および評価対象ＤＢ５の内容を参照し、各回答者ＩＤに対応する回答者特性を推定する。

回答者特性の推定方法を詳細に説明する。

ある回答者ＩＤ_ｉの回答結果の値をＸ_ｉ＝ｘ_ｉｊとする（添え字ｊは、評価対象ＩＤ_ｊに対応する）。また、基準評価値が存在する評価対象ＩＤ_ｊに対応する基準評価値の値をＹ＝ｙ_ｊとする。本実施形態では、Ｘ_ｉの取り得る値が２値（「０」または「１」）であり、Ｙの取り得る値が任意の実数値であり、回答者特性が項目応答理論の２母数ロジスティック回帰モデルに相当する場合を説明する。項目応答理論については、たとえば参考文献「テストと測定の科学−項目反応理論［入門編］，豊田秀樹，２００２」に記載されている。

基準評価値が存在する評価対象ＩＤ_ｊに対応するＹおよびＸ_ｉの値より、以下の回帰式を求める。

ここで求めるパラメータはＰ_１ｉおよびＰ_２ｉであり、たとえば、

とおき、Ｅを最小とするＰ_１ｉおよびＰ_２ｉの値をニュートン法などの一般的な数値最適化法により求めることができる。

こうして求められた第１のパラメータＰ_１ｉは項目応答理論においては、２母数モデルの識別力に相当し、第２のパラメータＰ_２ｉは困難度に相当する。通常、項目応答理論において、これらのパラメータは設問に対して設定される。しかし、本実施形態においては、これらのパラメータを回答者に対して設定している。この場合、第１のパラメータはその回答者が、どの程度適切な評価を行っているかを表すパラメータとなり、第２のパラメータは、その回答者がどの程度厳しい評価を行っているかを表すパラメータとなる。

そして回帰式（１）は、「基準評価値に相当する値がＹであったときに回答者ｉが「１」と回答する確率Ｐ（Ｘ_ｉ＝１｜Ｙ）」と解釈することができる。また、「０」と回答する確率は、１−Ｐ（Ｘ_ｉ＝１｜Ｙ）で表せるので、Ｐ（Ｘ_ｉ｜Ｙ）は、以下の式（３）となる。

このようにして回答者特性を表す第１のパラメータＰ_１ｉおよび第２のパラメータＰ_２ｉを全ての回答者ＩＤについて求め、回答者特性ＤＢ７に回答者ＩＤと対応させて記憶する。

次に図６のステップＭ６において、評価値推定部１２が回答結果ＤＢ６および回答者特性ＤＢ７の内容を参照し、基準評価値が存在しない評価対象に対する評価値を推定する。この評価値の推定方法を詳細に説明する。

基準評価値が存在しない評価対象ＩＤ_ｊに対する評価値をＹ_ｊ（求めたい値）とする。基準評価値に相当する値がＹであったときに、回答者ｉの回答値が「１」または「０」となる確率は、式（３）により表される。したがって、複数の回答者ｉの評価対象ＩＤ_ｊに対する回答結果があった場合、その回答結果が得られる確率は、それぞれの確率の積で表されるので、

によって表される。したがって、ｙ_ｊの推定値ｙ_ｊ＾は、Ｙの確率分布をＰ（Ｙ）とおくと、ベイズの定理より

により求めることができる。これは、関数をＹについて最大化すればよいのでニュートン法などの一般的な数値最適化の方法により求めることができる。なお、Ｐ（Ｙ）には、一様分布を含む任意の確率分布を用いることができる。

ここで、式（５）には、それぞれの回答者の特性を表す第１のパラメータおよび第２のパラメータが含まれる。したがって、式（５）による評価値の推定を行うことにより、それぞれの回答者の回答の適切さや、評価の厳しさを考慮して評価値を推定することが可能となる。また、この値は基準評価値と同一の尺度で扱うことが可能である。

全ての基準評価値が存在しない評価対象ＩＤ_ｊについて式（５）により評価値を求めたのち、その値を評価対象ＩＤに関連付けて評価結果ＤＢ８に書き込む。

最後に、図６のステップＭ７において、評価結果出力部１３は、ステップＭ６までに得られた評価対象の評価値を、アンケート調査実施者が利用可能な形式で出力する。

以上の処理により、回答者ごとに評価の厳しさや適切さが異なる場合であっても、同一の尺度で比較可能な精度の高い結果を、経験を積んだアンケート調査実施者が注意深くアンケート調査の設計を行うことなく得ることができるようになる。

（変形例）
［回答者特性の置き換え例１（多段階尺度）］
回答者特性推定部１１が推定し、評価値推定部１２が評価値の推定に用いる回答者特性を以下に置き換えることも可能である。

図１３は、多段階尺度によるアンケート調査画面の例であり、回答時に選択できるカテゴリ数が３以上となる。この場合、図６のステップＭ５における処理の内容が、以下のように置き換わる。

選択できるカテゴリ数が計Ｃであり、回答値Ｘの取り得る値が０，１，・・・，Ｃ−１の計Ｃ個であったとする。基準評価値に相当する評価値がＹであったときにＸ_ｉ＝ｃである確率をＰ（Ｘ_ｉ＝ｃ｜Ｙ）とすると、Ｘ_ｉ≧ｃである確率Ｐ（Ｘ_ｉ≧ｃ｜Ｙ）を用いて、

と表すことができる。ここで、Ｐ（Ｘ_ｉ≧０｜Ｙ）＝１，Ｐ（Ｘ_ｉ≧Ｃ｜Ｙ）＝０である。また、１≦ｃ≦Ｃ−１については、たとえば２母数ロジスティックモデルを仮定すれば、

と表すことができる。このパラメータＰ_１ｉおよびＰ_２ｉｃ（ｃ＝１，・・・，Ｃ−１）が回答者特性を表すパラメータであり、たとえば

として、Ｅを最小化するＰ_１ｉおよびＰ_２ｉｋを求めればよく、ニュートン法などの一般的な数値最適化法で解くことができる。ただし、

である。なお、この最適化を解く際に、Ｐ_２ｉ１＜Ｐ_２ｉ２＜・・・＜Ｐ_{２ｉＣ−１}という制約条件を課してもよい。

本変形例では、Ｐ_１ｉのパラメータはその回答者が、どの程度適切な評価を行っているかを表すパラメータとなり、Ｐ_２ｉｃのパラメータは、その回答者が、それぞれの段階においてどの程度厳しい評価を行っているかを表すパラメータとなる。

また、ステップＭ６の処理においては、Ｐ（Ｘ_ｉ｜Ｙ）を式（６）に置き換えて評価値の推定を行えばよい。

回答者特性について以上の置き換えを行うことにより、回答における選択肢が３以上であってかつ回答者ごとに評価の厳しさや適切さが異なる場合であっても、同一の尺度で比較可能な精度の高い結果を、経験を積んだアンケート調査実施者が注意深くアンケート調査の設計を行うことなく得ることができるようになる。

［回答者特性の置き換え例２（無段階尺度）］
回答者特性推定部１１が推定し、評価値推定部１２が評価値の推定に用いる回答者特性を以下に置き換えることも可能である。

図１４は、無段階尺度によるアンケート調査画面の例であり、回答値は実数値となる。この場合、図６のステップＭ５における処理が、以下に置き換わる。

まず、基準評価値がＹであったときの、回答者ＩＤ_ｉの回答値Ｘ_ｉの回帰式を、たとえば以下の式（１０）のような１次線形式とする。

として、Ｅを最小化するようにＰ_１ｉ，およびＰ_２ｉを求める。

そして、

によりＰ_３ｉを求める。ここで、Ｊは式（１１）を計算する際に用いたデータの数を表す。

そうすると、基準評価値がＹであったときに回答者ＩＤ_ｉの回答値がＸ_ｉである確率Ｐ（Ｘ_ｉ｜Ｙ）は、誤差に正規分布を仮定すれば、

となる。回答者ｉの特性を表すパラメータは、Ｐ_１ｉ、Ｐ_２ｉ、Ｐ_３ｉとなる。本変形例では、Ｐ_１ｉ、Ｐ_２ｉ、Ｐ_３ｉの３つのパラメータにより、それぞれの回答者の回答の厳しさや適切さを表すことができる。

ここでは線形１次回帰式の例を示したが、任意の回帰式を用いることができる。また、段階回答値の結果を数値とみなし、本処理を適用することもできる。

また、ステップＭ６の処理においては、Ｐ（Ｘ_ｉ｜Ｙ）を式（１３）に置き換えて評価値の推定を行えばよい。

以上のような回答者特性の置き換えによれば、無段階尺度の回答値を採用した場合であってかつ回答者ごとに評価の厳しさや適切さが異なる場合であっても、同一の尺度で比較可能な精度の高い結果を、経験を積んだアンケート調査実施者が注意深くアンケート調査の設計を行うことなく得ることができるようになる。

［回答者特性の置き換え例３（提示順序の考慮）］
回答者特性推定部１１が推定し、評価値推定部１２が評価値の推定に用いる回答者特性を以下に置き換えることも可能である。ここでは、回答者特性が変化する場合の置き換え例について述べる。

上述した実施形態では、回答者特性が常に一定であることを仮定しているが、回答者の特性が時間（回答順序）に沿って変動する可能性がある。したがって、たとえば式（１）のＰ_１ｉとＰ_２ｉを、それぞれ

のように、時間を加味したパラメータとすることができる。ここでＴは、評価対象の提示順序を表す。回答者ｉに対する、評価対象ＩＤ_ｊの提示順をＴ＝ｔ_ｉｊとおき、

として、Ｅを最小化するようにパラメータＰ_１ｉ＿１，Ｐ１_ｉ＿２，Ｐ_２ｉ＿１，Ｐ_２ｉ＿２を定めれば、回答者特性が時間の経過に伴って変化する様子を表現することができる。パラメータは一般的な数値最適化手法によって求めることができる。

また、回答者特性パラメータの変化の表現に例として式（１４）または式（１５）で表される線形１次式を用いたが、変化を表現するための関数は、これに限るものではない。

この変形例によれば、回答者特性が時間に沿って変化した場合の回答者特性を表現することができる。特に本変形例は、回答者一人当たりについて評価する評価対象の数が多い場合に好適である。

（第２の実施形態）
以下、第２の実施形態について説明する。図１５は第２の実施形態に係るシステムのブロック図である。第１の実施形態と処理の内容が同一であるブロックについては、説明を省略する。

評価値誤差推定部１７は、評価値推定部１２による評価値の推定値に基づいて、評価対象の評価値誤差の値を推定して評価値推定部１２に通知する。評価値推定部１２は、この評価値誤差の推定値を、評価値の推定値および評価対象ＩＤに関連付けて評価結果ＤＢ８に記録する。評価結果出力部１３は、評価結果ＤＢ８の内容を参照し、各評価対象に対する評価値および評価値誤差を、アンケート調査実施者が利用可能な形式で出力する。

本実施形態における処理の流れを図１６のフローチャートを参照しながら詳細に説明する。ステップＲ７の処理以外は、図６を参照して説明した第１の実施形態における処理と同様であるので説明を省略する。

ステップＲ７では、基準評価値が存在しない評価対象に対して、評価値を推定するとともに、その誤差も同時に推定する。評価値の誤差の推定方法を詳細に説明する。

評価値を推定した場合のＹ＾には、実際の値Ｙからの誤差が存在する。図１７は、次式の形状を現したグラフである。

グラフ曲線下の全面積をＡとし、Ｙ＾−εからＹ＾＋εまでの面積をＢとすると、ＹがＹ＾±εの範囲に収まる確率は、Ｂ／Ａである。たとえば、グラフの形状に正規分布を仮定すれば、９５％の確率で誤差が±ε以下となるのは、

が成立するときである。

そこで、ステップＲ７では、評価値誤差推定部１７が、各評価対象に対して推定した評価値に基づいて、式（１７）の等号の成り立つεの値を推定により算出する。これはニュートン法などの一般的な数値計算により求めることができる。こうして求めた誤差推定値を評価結果ＤＢ８に誤差情報として記録する。本実施形態において、評価結果ＤＢ８の記録内容は図１８に示すような構造となる。

次にステップＲ８では、得られた評価対象の評価値および評価値誤差の推定値を、アンケート調査実施者が利用可能な形式で出力する。本実施形態によれば、評価対象の評価値とともに評価値の誤差を推定することが可能となり、調査実施者はアンケート調査結果の正確さを知ることができる。

（第２の実施形態の変形例）
続いて、第２の実施形態における変形例について説明する。

本変形例において、決定部９は、評価結果ＤＢ８の評価値誤差情報を参照し、評価対象に対して回答者の追加割当てを実施する。図１９および図２０のフローチャートを参照し、本変形例における処理の流れを説明する。本変形例の処理において、上述した第２の実施形態と同様の処理については説明を省略する。

図１９は、本変形例における全体の処理の流れを表すフローチャートである。ステップＥ８では、評価結果ＤＢ８に記録されている各評価対象に対応する誤差情報をあらかじめ設定された閾値と比較する。全ての評価対象について、式（１７）が成り立っていればステップＥ９に進み、成り立っていない評価対象（評価値が必要な精度に達していない評価対象）が存在すれば、ステップＥ２に進む。

ステップＥ８を経由してステップＥ２に到達した場合、評価対象に対して新たな回答者を追加で割り当てる。なお、回答者を新たに割り当てる評価対象は、ステップＥ８で評価値が必要な精度に達していないと判定された評価対象に限定してもよい。

ステップＥ２での処理を図２０のフローチャートを参照して説明する。なお、図７を用いて上述した処理と内容が同一である処理は説明を省略する。ステップＫ３では、ステップＫ２において設定された評価対象ＩＤに対応する評価値誤差（の推定値）を、あらかじめ定められた規定値と比較する。評価値誤差が規定値以上であればステップＫ４に進む。評価値誤差が規定値以下であれば、該評価対象に対して新たな回答者の割当ては行わずにステップＫ２に進む。

以上の処理を追加することにより、評価値誤差が規定値以上である評価対象に対して、新たな回答者を割り当てて再度アンケート調査を実施することができる。

本変形例によれば、１回目の推定において評価対象の評価値の推定値が必要な精度に達しなかった場合に、回答者を新たに割り当てて評価値を推定することを繰り返すことで、あらかじめ設定した精度が保障される評価値を推定することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組合せにより、種々の発明を形成できる。たとえば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１…アンケート処理サーバ
２ａ〜２ｃ…回答者端末
３…ネットワーク
４…評価対象入力部
５…評価対象データベース
６…回答結果データベース
７…回答者特性データベース
８…評価結果データベース
９…評価対象選択制御部
１０…送受信処理部（サーバ側）
１１…回答者特性推定部
１２…評価値推定部
１３…評価結果出力部
１４…送受信処理部（回答者端末側）
１５…評価対象提示部
１６…回答入力部
１７…評価値誤差推定部

Claims (9)

1. 基準評価値を有する評価対象ＩＤおよび基準評価値を有しない評価対象ＩＤそれぞれについて、評価対象データを記憶する評価対象データベースと、
   それぞれが基準評価値を有する複数の評価対象ＩＤの第１の提示順序と、それぞれが基準評価値を有しない複数の評価対象ＩＤの第２の提示順序とを生成し、前記第１および第２の提示順序とを統合することにより、一の評価対象提示順序を決定する決定部と、
   前記評価対象提示順序に従って前記評価対象データを回答者端末に送信し、回答者ＩＤにより識別される回答者からの前記評価対象データに対する回答値を受信する送受信処理部と、
   前記回答値を評価対象ＩＤおよび前記回答者ＩＤに関連付けて記憶する回答結果データベースと、
   前記回答者の特性値を前記基準評価値および前記回答値に基づいて推定する回答者特性推定部と、
   前記回答者の特性値を前記回答者ＩＤに関連付けて記憶する回答者特性データベースと、
   前記回答値および前記回答者の特性値に基づいて、前記回答者に提示され、基準評価値を有しない評価対象に対する評価値の推定値を算出する評価値推定部と、
   前記評価値の推定値を評価対象ＩＤごとに記憶する評価結果データベースと、
   前記評価対象ＩＤごとの評価値の推定値を出力する評価結果出力部と、を具備し、
   前記評価値推定部は、前記回答者特性データベースに記憶された前記回答者の特性値を用いて、前記基準評価値がＹであったときに前記回答者ＩＤ_ｉの回答値がＸ_ｉである確率Ｐ（Ｘ_ｉ｜Ｙ）とし、前記Ｙの確率分布を任意のＰ（Ｙ）とし、前記基準評価値を有しない評価対象に対する評価値の推定値を、
   

   

   の値を最大とするＹとして推定することを特徴とする主観評価装置。
2. 前記回答値Ｘ_ｉのとりうる値が１か０の２値であり、基準評価値を有する評価対象ＩＤ_ｊの基準評価値がｙ_ｊ、評価対象ＩＤ_ｊに対する回答者ＩＤ_ｉの回答値がＸ_ｉ＝ｘ_ｉｊであったとき、
   

   

   とし、前記回答者特性推定部は、前記回答者の特性値として前記Ｅを最小とするパラメータＰ_１ｉおよびＰ_２ｉを求め、
   前記評価値推定部は、前記パラメータＰ_１ｉおよびＰ_２ｉを用いて前記Ｐ（Ｘ_ｉ｜Ｙ）を、
   

   

   により求める請求項１記載の装置。
3. 前記回答値Ｘ_ｉのとりうる値がＣ個の離散値（Ｘ_ｉ＝ｃ＝｛０，１，・・・，Ｃ−１｝，Ｃ≧３）であり、基準評価値を有する評価対象ＩＤ_ｊの基準評価値がｙ_ｊ、回答者ＩＤ_ｉの回答値がｘ_ｉｊであったとき、
   

   

   とおき、
   

   

   とし、前記回答者特性推定部は、前記回答者の特性値として前記Ｅを最小とするパラメータＰ_１ｉ、Ｐ_２ｉｃ（ｃ＝１，・・・，Ｃ−１）を求め、
   前記評価値推定部は、前記パラメータＰ_１ｉおよびＰ_２ｉｃを用いて
   

   

   とし、前記Ｐ（Ｘ_ｉ｜Ｙ）を、
   

   

   により求める請求項１記載の装置。
4. 基準評価値を有する評価対象ＩＤ_ｊの基準評価値がｙ_ｊ、回答者ＩＤ_ｉの回答値がｘ_ｉｊであったとき、
   

   

   として、前記回答者特性推定部は、前記回答者の特性値として前記Ｅを最小化するパラメータＰ_１ｉ，およびパラメータＰ_２ｉを求め、さらに、
   

   

   によりパラメータＰ_３ｉを求め（但し、Ｊは式（８）を計算する際に用いたデータの数を表す）、
   前記評価値推定部は、前記パラメータＰ_１ｉ、Ｐ_２ｉおよびＰ_３ｉを用いて前記Ｐ（Ｘ_ｉ｜Ｙ）を、
   

   

   により求める請求項１記載の装置。
5. 前記回答者の特性値が、前記評価対象提示順序の関数である請求項１記載の装置。
6. 前記評価値の推定値の誤差を推定する評価値誤差推定部をさらに具備する請求項１記載の装置。
7. 前記誤差が規定値よりも大きい場合に、前記基準評価値を有しない評価対象ＩＤに対してさらに別の回答者を追加する請求項１記載の装置。
8. 評価対象データベースが、基準評価値を有する評価対象ＩＤおよび基準評価値を有しない評価対象ＩＤそれぞれについて、評価対象データを記憶するステップと、
   決定部が、それぞれが基準評価値を有する複数の評価対象ＩＤの第１の提示順序と、それぞれが基準評価値を有しない複数の評価対象ＩＤの第２の提示順序とを生成し、前記第１および第２の提示順序とを統合することにより、一の評価対象提示順序を決定するステップと、
   送受信処理部が、前記評価対象提示順序に従って前記評価対象データを回答者端末に送信し、回答者ＩＤにより識別される回答者からの前記評価対象データに対する回答値を受信するステップと、
   回答結果データベースが、前記回答値を評価対象ＩＤおよび前記回答者ＩＤに関連付けて記憶するステップと、
   回答者特性推定部が、前記回答者ＩＤにより識別される回答者の特性値を前記基準評価値および前記回答値に基づいて推定するステップと、
   回答者特性データベースが、前記回答者の特性値を前記回答者ＩＤに関連付けて記憶するステップと、
   評価値推定部が、前記回答値および前記回答者の特性値に基づいて、前記回答者に提示され、基準評価値を有しない評価対象に対する評価値の推定値を算出するステップと、
   評価結果データベースが、前記評価値の推定値を評価対象ＩＤごとに記憶するステップと、
   評価結果出力部が、前記評価対象ＩＤごとの評価値の推定値を出力するステップと、を具備し、
   前記評価値推定部が、前記回答者特性データベースに記憶された前記回答者の特性値を用いて、前記基準評価値がＹであったときに前記回答者ＩＤ_ｉの回答値がＸ_ｉである確率Ｐ（Ｘ_ｉ｜Ｙ）とし、前記Ｙの確率分布を任意のＰ（Ｙ）とし、前記基準評価値を有しない評価対象に対する評価値の推定値を、
   

   

   の値を最大とするＹとして推定することを特徴とする主観評価方法。
9. コンピュータを、
   基準評価値を有する評価対象ＩＤおよび基準評価値を有しない評価対象ＩＤそれぞれについて、評価対象データを記憶する評価対象データベース、
   それぞれが基準評価値を有する複数の評価対象ＩＤの第１の提示順序と、それぞれが基準評価値を有しない複数の評価対象ＩＤの第２の提示順序とを生成し、前記第１および第２の提示順序とを統合することにより、一の評価対象提示順序を決定する決定部、
   前記評価対象提示順序に従って前記評価対象データを回答者端末に送信し、回答者ＩＤにより識別される回答者からの前記評価対象データに対する回答値を受信する送受信処理部、
   前記回答値を評価対象ＩＤおよび前記回答者ＩＤに関連付けて記憶する回答結果データベース、
   前記回答者ＩＤにより識別される回答者の特性値を前記基準評価値および前記回答値に基づいて推定する回答者特性推定部、
   前記回答者の特性値を前記回答者ＩＤに関連付けて記憶する回答者特性データベース、
   前記回答値および前記回答者の特性値に基づいて、前記回答者に提示され、基準評価値を有しない評価対象に対する評価値の推定値を算出する評価値推定部、
   前記評価値の推定値を評価対象ＩＤごとに記憶する評価結果データベース、
   前記評価対象ＩＤごとの評価値の推定値を出力する評価結果出力部、
   として機能させ、
   前記回答者特性データベースに記憶された前記回答者の特性値を用いて、前記基準評価値がＹであったときに前記回答者ＩＤ_ｉの回答値がＸ_ｉである確率Ｐ（Ｘ_ｉ｜Ｙ）とし、前記Ｙの確率分布を任意のＰ（Ｙ）とし、前記基準評価値を有しない評価対象に対する評価値の推定値を、
   

   

   の値を最大とするＹとして推定するように機能させるためのプログラム。

Images