JP6990330B1 - プログラム、方法、情報処理装置、及びシステム - Google Patents

Abstract

【課題】負担を軽減し、かつ、精度を向上させた、多方面からの人事評価を実施するプログラム、方法、情報処理装置及びシステムを提供する。【解決手段】複数の端末装置とサーバが、有線又は無線の通信規格を用い、ネットワークを介して相互に通信可能に接続されているシステムにおいて、サーバのプログラムは、プロセッサに、複数の第１ユーザから、複数の第２ユーザについての評価スコアを受け付けるステップと、評価スコアそれぞれの信頼性と、複数の第１ユーザそれぞれの公平さと、複数の第２ユーザの良さとを互いに依存させて算出する関数に評価スコアを入力し、関数を計算することで算出される第２ユーザの良さを、当該第２ユーザの評価とするステップと、を実行させる。【選択図】図１１

Description

本開示は、プログラム、方法、情報処理装置、及びシステムに関する。

従来の３６０度（多面）評価は、評価の信頼性担保を目的に、正確な回答が可能だと判断される評価範囲、評価者を予め選定した状態で評価する。例えば、評価者は、自身のステータス、例えば、対象者に対する、上司、同僚、部下かが把握されて対象者を評価する（特許文献１参照）。また、特許文献１では、評価者やその評価内容等を評価管理者等に秘匿するようにしている。そのため、特許文献１では、人事部や上司に批判されるような事態になることを恐れることなく、評価者が率直な評価をすることが可能である。

特開２０１０－５５３２７号公報

従来の３６０度評価では、評価者を選定しなければならないため、実施するために労力がかかっていた。また、評価者やその評価内容等を評価管理者等に秘匿しようとする場合、信頼度の低い回答を行う評価者が存在する恐れがあり、評価結果の正当性を損なう要因となっていた。

本開示の目的は、負担を軽減し、かつ、精度を向上させた、多方面からの人事評価を実施することである。

上記課題を解決するため、本開示のプログラムは、プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムである。プログラムは、プロセッサに、複数の第１ユーザから、複数の第２ユーザについての評価スコアを受け付けるステップと、評価スコアそれぞれの信頼性と、複数の第１ユーザそれぞれの公平さと、複数の第２ユーザの良さとを互いに依存させて算出する関数に評価スコアを入力し、関数を計算することで算出される第２ユーザの良さを、当該第２ユーザの評価とするステップとを実行させる。

本開示によれば、負担を軽減し、かつ、精度を向上させた、多方面からの人事評価を実施できる。

本実施形態のシステムの全体構成を示す図である。 本実施形態のシステムに含まれる端末装置の構成を示すブロック図である。 本実施形態のシステムに含まれるサーバの機能的な構成を示すブロック図である。 算出部による処理を説明するための図である。 評価項目ＤＢのデータ構造を示す図である。 第１評価結果ＤＢのデータ構造を示す図である。 第２評価結果ＤＢのデータ構造を示す図である。 人事評価の初期設定を行う際のサーバの動作を示すフローチャートである。 端末装置のディスプレイに表示される第１設問を表す図である。 サーバによる初期設定を説明するための図である。 評価者からの評価情報を取得し、被評価者の結果値を算出する際のサーバの動作を示すフローチャートである。 端末装置のディスプレイに表示される第１設問乃至第３設問を表す図である。 第２設問における項目を決定する際のサーバの動作を示すフローチャートである。 入れ替え対象となる項目を決定する際のサーバの動作を説明する図である。 入れ替え候補となる項目の抽出を説明する図である。 入れ替え候補となる項目の抽出を説明する図である。 パラメータを更新する際のサーバの動作を示すフローチャートである。

以下、図面を参照しながら、実施の形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。

＜概要＞
本実施形態に係るシステム１は、被評価者についての多方面からの人事評価を実施するシステムである。システム１は、任意の複数の評価者から匿名で、被評価者に対する評価を受け付ける。システム１は、被評価者への評価の質のばらつき、又は／及び、被評価者に対する被評価数のばらつき等の、評価の信頼性に影響する要素を加味し、受け付けた評価スコアから、被評価者に対する真の評価を算出する。評価の質のばらつきは、例えば、好き又は嫌い等の感情、又は、厳しい又は甘い等の態度等に基づくものである。これにより、システム１は、評価者を匿名とする場合であっても、信頼度の低い回答により、被評価者の評価に影響が発生することを抑えることが可能となる。

また、システム１は、評価者に対し、総合評価に関する１つの第１設問と、人材個別の能力評価に関する少数の項目を含む第２設問との回答を依頼する。総合評価は、例えば、評判、口コミ等と換言してもよい。第２設問に含まれる少数の設問は、第１設問についての過去の回答結果と、第２設問についての過去の回答結果とに基づいて多数の項目の中から選定される。これにより、システム１は、評価者の回答負荷を軽減することが可能となると共に、評価結果を効率的に活用させることが可能となる。

＜１ 全体構成＞
図１は、本実施形態のシステム１の全体構成を示す図である。図１に示すように、システム１は、端末装置１０と、サーバ２０とを備えている。端末装置１０と、サーバ２０とは、有線又は無線の通信規格を用い、ネットワーク８０を介して相互に通信可能に接続されている。ネットワーク８０は、例えば、インターネット、及び／又は通信事業者が提供する通信網等により実現される。図示の例では、複数の端末装置１０がシステム１に含まれている。

なお、図１では、サーバ２０が１台のコンピュータである場合を示しているが、サーバ２０は、複数台のコンピュータが組み合わされて実現されてもよい。

端末装置１０は、多方面からの人事評価の被評価者となるユーザ、又は評価者となるユーザが使用する端末である。

端末装置１０は、例えば、据え置き型のＰＣ（Personal Computer）、ラップトップＰＣ、ヘッドマウントディスプレイ等により実現される。また、端末装置１０は、スマートフォン、又はタブレット端末等の携行性を備えたコンピュータであってもよい。

図１に示すように、端末装置１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、ストレージ１６と、プロセッサ１９とを備える。通信ＩＦ１２、入力装置１３、出力装置１４、メモリ１５、ストレージ１６、及びプロセッサ１９は、例えば、バスを介して互いに通信可能に接続されている。

通信ＩＦ１２は、端末装置１０が外部の装置と通信するため、信号を送受信するためのインタフェースである。入力装置１３は、ユーザ（従業員）からの入力操作を受け付けるための入力装置である。入力装置１３は、例えば、タッチパネル、タッチパッド、マウス等のポインティングデバイス、キーボード等を含む。出力装置１４は、ユーザに対し情報を提示するための出力装置である。出力装置１４は、例えば、ディスプレイ、スピーカ等を含む。

メモリ１５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリにより実現される。ストレージ１６は、データを保存するための記憶装置であり、例えば、フラッシュメモリ、ＨＤＤ（Hard Disc Drive）等の不揮発性のメモリにより実現される。プロセッサ１９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。

サーバ２０は、人事評価に関する情報を管理する装置である。人事評価に関する情報には、例えば、人事評価の際に回答が依頼される設問に関する情報、評価結果に関する情報が含まれる。サーバ２０は、例えば、ネットワーク８０に接続されたコンピュータである。

図１に示すように、サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。通信ＩＦ２２、入出力ＩＦ２３、メモリ２５、ストレージ２６、及びプロセッサ２９は、例えば、バスを介して互いに通信可能に接続されている。

通信ＩＦ２２は、サーバ２０が外部の装置と通信するため、信号を送受信するためのインタフェースである。入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、及び、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。メモリ２５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ等の揮発性のメモリにより実現される。

ストレージ２６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ等の不揮発性のメモリにより実現される。ストレージ２６は、必ずしも単独の回路により実現されなくてもよい。ストレージ２６は、例えば、複数の記憶回路により実現されてもよい。プロセッサ２９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。

＜１．１ 端末装置の構成＞
図２は、本実施形態のシステム１に含まれる端末装置１０の構成を示すブロック図である。図２に示すように、端末装置１０は、通信部１２１と、入力装置１３と、出力装置１４と、記憶部１７０と、制御部１８０とを備える。

通信部１２１は、端末装置１０が他の装置と通信するための処理を行う。通信部１２１は、制御部１８０で生成された信号に送信処理を施し、外部（例えば、サーバ２０）へ送信する。通信部１２１は、外部から受信した信号に受信処理を施し、制御部１８０へ出力する。

入力装置１３は、端末装置１０を所有するユーザが指示を入力するための装置である。入力装置１３は、例えば、マウス１３１、キーボード１３２、及び、操作面へ触れることで指示が入力されるタッチ・センシティブ・デバイス１３３等により実現される。入力装置１３は、ユーザから入力される指示を電気信号へ変換し、電気信号を制御部１８０へ出力する。なお、入力装置１３は、マウス１３１、及びキーボード１３２等の物理的な操作デバイスに限定されない。入力装置１３には、例えば、外部の入力機器から入力される電気信号を受け付ける受信ポートが含まれてもよい。

出力装置１４は、端末装置１０を所有するユーザへ情報を提示するための装置である。出力装置１４は、例えば、ディスプレイ１４１等により実現される。ディスプレイ１４１は、制御部１８０の制御に応じて、画像、動画、テキスト等のデータを表示する。ディスプレイ１４１は、例えば、ＬＣＤ（Liquid Crystal Display）、又は有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される。

記憶部１７０は、例えば、メモリ１５、及びストレージ１６等により実現され、端末装置１０が使用するデータ、及びプログラムを記憶する。

制御部１８０は、プロセッサ１９が記憶部１７０に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部１８０は、端末装置１０の動作を制御する。具体的には、例えば、制御部１８０は、操作受付部１８１、送受信部１８２、表示制御部１８３としての機能を発揮する。

操作受付部１８１は、入力装置１３から入力されるユーザの操作を受け付けるための処理を行う。送受信部１８２は、端末装置１０が、サーバ２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。表示制御部１８３は、ユーザに対して種々の情報を提示するため、出力装置１４を制御する。

＜１．２ サーバの機能的構成＞
図３は、本実施形態のシステム１に含まれるサーバ２０の機能的な構成を示すブロック図である。図３に示すように、サーバ２０は、通信部２０１、記憶部２０２、及び制御部２０３としての機能を発揮する。

通信部２０１は、サーバ２０が外部の装置と通信するための処理を行う。

記憶部２０２は、サーバ２０が使用するデータ及びプログラムを記憶する。例えば、記憶部２０２は、評価項目データベース（ＤＢ）２８１、第１評価結果データベース（ＤＢ）２８２、第２評価結果データベース（ＤＢ）２８３を記憶する。

評価項目ＤＢ２８１は、被評価者に対して設定されている第２設問を記憶するためのデータベースである。

第１評価結果ＤＢ２８２は、評価者が回答した評価結果を管理するためのデータベースである。

第２評価結果ＤＢ２８３は、被評価者についての評価結果を管理するためのデータベースである。

制御部２０３は、プロセッサ２９が記憶部２０２に記憶されるプログラムを読み込み、プログラムに含まれる命令を実行することにより実現される。制御部２０３は、サーバ２０の動作を制御する。具体的には、例えば、制御部２０３は、操作受付部２０３１、送受信部２０３２、記憶制御部２０３３、提示部２０３４、算出部２０３５、決定部２０３６、パラメータ設定部２０３７としての機能を発揮する。

操作受付部２０３１は、ユーザからの操作を受け付ける。操作受付部２０３１は、例えば、評価者から、人事評価の被評価者の指定の入力等を受け付ける。

送受信部２０３２は、サーバ２０が、端末装置１０等の外部の装置と、通信プロトコルに従ってデータを送受信する処理を制御する。例えば、送受信部２０３２は、評価者が有する端末装置１０へ、被評価者についての人事評価に関する設問を送信する。本実施形態において、評価者の範囲を制限することはしていない。評価者自身に評価件数、及び被評価者を選択する裁量が与えられている。

また、本実施形態において、端末装置１０へ送信される設問は、例えば、総合評価に関する１つの第１設問と、人材個別の能力評価に関する少数の項目を含む第２設問と、被評価者に対するメッセージに関する第３設問とを含む。より具体的には、第１設問は、例えば、被評価者の総合評価をスコアで回答することを要求する設問である。第２設問は、被評価者毎に設定される少数の項目を、スコアで回答することを要求する設問である。第３設問は、被評価者に対するメッセージをテキスト形式で回答することを要求する設問である。

また、送受信部２０３２は、評価者が端末装置１０を操作して入力した回答を受信する。具体的には、送受信部２０３２は、第１設問についての回答、第２設問についての回答、第３設問についての回答を受信する。第１設問乃至第３設問の回答と共に、送受信部２０３２は、人事評価において評価者を識別可能な情報を受信する。なお、このとき受信する情報は、評価者を特定可能な情報ではない。つまり、評価者は匿名で回答を送信することとなる。

記憶制御部２０３３は、記憶部２０２への情報の記憶を制御する。具体的には、例えば、記憶制御部２０３３は、第１設問乃至第３設問を評価者へ送信する際、被評価者について第２設問として設定されている項目を評価項目ＤＢ２８１から読み出す。また、記憶制御部２０３３は、設問に対する評価者からの回答を第１評価結果ＤＢ２８２に記憶する。具体的には、記憶制御部２０３３は、第１設問に対して評価者から回答されたスコアを第１評価結果ＤＢ２８２に記憶する。また、記憶制御部２０３３は、第２設問に対して評価者から回答されたスコアを第１評価結果ＤＢ２８２に記憶する。また、記憶制御部２０３３は、第３設問に対して評価者から回答されたテキスト形式のメッセージを第１評価結果ＤＢ２８２に記憶する。

また、記憶制御部２０３３は、例えば、評価者からの回答に基づき、被評価者についての真の評価が算出されると、算出された評価結果を第２評価結果ＤＢ２８３に記憶する。また、記憶制御部２０３３は、例えば、第１設問の評価スコアに基づき、次回の評価で用いられる第２設問に含まれる項目が設定されると、設定された項目を評価項目ＤＢ２８１に記憶する。

また、記憶制御部２０３３は、被評価者についての真の評価を算出するのに用いる関数の初期設定が完了すると、当該関数のパラメータ値を記憶部２０２に記憶する。

提示部２０３４は、被評価者についての設問を、評価者に提示する。また、提示部２０３４は、第２評価結果ＤＢ２８３に記憶されている情報を、被評価者が望む態様で提示する。具体的には、提示部２０３４は、被評価者が評価される要因が認識可能なように、評価結果を被評価者に提示する。また、提示部２０３４は、被評価者が習得するべきスキルを認識可能なように、評価結果を被評価者に提示する。

算出部２０３５は、評価者から入力された第１設問のスコアに基づき、被評価者の真の評価を算出する。本実施形態では、被評価者の真の評価を結果値と称する。具体的には、算出部２０３５は、例えば、第１設問のスコアから算出される被評価者のGoodness（良さ）を、Goodness、評価者のFairness（公平さ）、評価者の１票のReliability（信頼性）を用いて補正することで、被評価者の結果値を算出する。

より具体的には、算出部２０３５は、例えば、第１設問のスコアを、評価者のFairnessを算出するための第１関数、評価者の１票のReliabilityを算出するための第２関数、被評価者のGoodnessを算出するための第３関数に入力し、Fairness、Reliability、Goodnessを算出する。第１関数、第２関数、第３関数は、互いに依存関係にある。算出部２０３５は、算出したFairness、Reliability、Goodnessを、第１関数、第２関数、第３関数に再度入力し、Fairness、Reliability、Goodnessを算出する。算出部２０３５は、第１関数、第２関数、第３関数による計算を繰り返し、Goodnessが集束した値を被評価者の結果値とする。

Fairness：Ｆ（ｕ）、Reliability：Ｒ（ｕ，ｐ）、Goodness：Ｇ（ｕ）は、例えば、以下の式のように表される。なお、この式は一例であり、同様の計算が可能であればこの式に限定されることはない。

（１）式において、ｕは評価者を表し、ｐは被評価者を表し、α_１は評価者のFairnessの不確実性を補正するパラメータを表し、μ_ｆは事前信念を表し、α_２は評価者の正常性（異常性）を反映させるパラメータであり、Π_Ｕ（ｕ）は評価者の正常値（Normality score）を表し、Ｏｕｔ（ｕ）は評価者から与えられる評価のセットを表す。

（２）式において、γ_１は評価者のFairnessの影響を反映させるパラメータを表し、γ_２は評価スコアとGoodnessとの差の影響を反映させるパラメータを表し、ｓｃｏｒｅ（ｕ，ｐ）は評価スコアを表し、γ_３は評価の正常性（異常性）を反映させるパラメータであり、Π_Ｒ（ｕ，ｐ）は評価の正常値を表す。

（３）式において、β_１は被評価者のGoodnessの不確実性を補正するパラメータを表し、μ_ｇは事前信念を表し、β_２は被評価者の正常性（異常性）を反映させるパラメータであり、Π_Ｐ（ｐ）は被評価者の正常値を表し、Ｉｎ（ｐ）は被評価者が受ける評価のセットを表す。

（１）式、（３）式において、α_１・μ_ｆ、α_１、β_１・μ_ｇ、β_１、はコールドスタート問題を解決するパートであり、α_２・Π_Ｕ（ｕ）、α_２、γ_３・Π_Ｒ（ｕ，ｐ）、γ_３、β_２・Π_Ｐ（ｐ）、β_２は行動特性を取り込むためのパートである。

図４は、算出部２０３５による処理を説明するための図である。算出部２０３５は、（１）式～（３）式の計算を、Goodnessが集束するまで繰り返し、被評価者の結果値を算出する。

決定部２０３６は、第１設問の評価スコアと、第２設問の評価結果とに基づき、次回の評価で用いられる第２設問に含める項目を決定する。具体的には、例えば、記憶部２０２には、第２設問に含まれ得る項目が２１個記憶されている。なお、記憶されている項目の数は２１個に限定されない。２１個以上であっても、以下であってもよい。決定部２０３６は、人事評価における評価の方針に従い、被評価者を評価するのに適した項目を、第１設問の評価スコアと、第２設問の評価スコアとに基づいて決定する。決定部２０３６は、例えば、第２設問の評価結果に対して協調フィルタリングを利用し、第２設問の評価結果と共起する項目を、被評価者に適した項目として決定する。

また、決定部２０３６は、第３設問の回答にも基づき、次回の評価で用いられる第２設問に含める項目を決定する。具体的には、例えば、決定部２０３６は、第３設問の回答を、自然言語処理を利用して解析する。決定部２０３６は、解析した内容に対して協調フィルタリングを利用し、第３設問の回答と共起する項目を、被評価者に適した項目として決定する。第２設問の評価結果と共起する項目と、第３設問の回答と共起する項目とが複数ある場合、決定部２０３６は、共起される程度の高い項目を、被評価者に適した項目として決定する。

パラメータ設定部２０３７は、被評価者の結果値を算出するための関数におけるパラメータを、導入する組織に併せて設定する。具体的には、例えば、パラメータ設定部２０３７は、信頼される評価がなされている被評価者についての評価スコアを正解値として設定する。

本実施形態において信頼される評価がなされている被評価者とは、例えば、評価スコアの変動係数が小さい被評価者を表す。なお、信頼される評価がなされていることを表す統計指標は、変動係数に限らず、いかなる指標が用いられてもよい。例えば、評価数の多さに基づき、信頼される評価がなされていると判断してもよい。また、複数の信頼性評価のアルゴリズムを組み合わせて利用し、アルゴリズムを切り替えた時の差異の少なさに基づき、信頼される評価がなされていると判断してもよい。

パラメータ設定部２０３７は、回答数を減らした評価ネットワークにおいて、（１）式乃至（３）式により算出される結果値と、設定した正解値との誤差が小さくなるよう関数のパラメータを最適化する。

＜２ データ構造＞
図５乃至図７は、記憶部２０２に記憶されるデータベースのデータ構造を示す図である。なお、図５乃至図７は一例であり、記載されていない情報を除外するものではない。

図５は、評価項目ＤＢ２８１のデータ構造の例を示す図である。図５に示すように、評価項目ＤＢ２８１のレコードは、項目「被評価者ＩＤ」と、項目「評価回数」と、項目「実施期間」と、項目「項目」等とを含む。

項目「被評価者ＩＤ」は、被評価者を識別する情報を表す。項目「被評価者ＩＤ」には、例えば、社員ＩＤ等が用いられる。

項目「評価回数」は、人事評価が実施された回数を表す。

項目「実施期間」は、人事評価が実施された期間を表す。

項目「項目」は、人事評価において、第２設問に含まれる項目を表す。図５に示す例では、項目は番号で表されている。項目は、番号で表されることに限定されず、アルファベットで表されてもよいし、項目名で表されてもよい。図５に示す例では、第２設問に項目が６つ含まれることが表されている。

図６は、第１評価結果ＤＢ２８２のデータ構造の例を示す図である。図６に示すように、第１評価結果ＤＢ２８２のレコードは、項目「管理ＩＤ」と、項目「評価日時」と、項目「被評価者ＩＤ」と、項目「評価結果」等とを含む。

項目「管理ＩＤ」は、評価者による評価結果を区別するための情報を表す。本実施形態において、評価者は匿名で被評価者を評価することが可能である。そのため、管理ＩＤは、社員ＩＤ等、評価者を識別可能な情報ではない。一方、評価者のFairnessを算出するため、評価者と評価結果とを紐づけておく必要がある。管理ＩＤは、評価者と評価結果とを紐づけて管理するためのＩＤである。

項目「評価日時」は、評価者が被評価者を評価した日時を表す。

項目「被評価者ＩＤ」は、被評価者を識別する情報を表す。

項目「評価結果」は、人事評価において、評価者から入力される評価を表す。図６に示す例では、項目「評価結果」は、サブ項目「Ｑ１」、サブ項目「Ｑ２」、サブ項目「Ｑ３」を含む。
サブ項目「Ｑ１」は、第１設問についての評価者からの評価を表す。サブ項目「Ｑ２」は、第２設問についての評価者からの評価を表す。図６に示す例では、第２設問に含まれる項目が６つである場合を示している。サブ項目「Ｑ３」は、第３設問についての評価者からの回答を表す。

図７は、第２評価結果ＤＢ２８３のデータ構造の例を示す図である。図７に示すように、第２評価結果ＤＢ２８３のレコードは、項目「被評価者ＩＤ」と、項目「実施期間」と、項目「項目」と、項目「評価結果」等とを含む。

項目「被評価者ＩＤ」は、被評価者を識別する情報を表す。

項目「実施期間」は、人事評価が実施された期間を表す。

項目「項目」は、人事評価において、被評価者に対して設定されている第２設問の項目を表す。

項目「評価結果」は、人事評価において、評価者からの評価に基づいて算出された評価を表す。図７に示す例では、項目「評価結果」は、サブ項目「結果値」、サブ項目「能力評価値」を含む。

サブ項目「結果値」は、第１設問について、評価者からの評価に基づいて算出される被評価者の真の評価値を表す。サブ項目「能力評価値」は、第２設問について、評価者からの評価スコアに基づいて算出される値を表す。能力評価値は、評価者からの評価スコアの平均値であってもよいし、（１）式乃至（３）式を利用して真の値を算出してもよい。

＜３ 動作＞
人事評価が実施される際のサーバ２０の動作について説明する。

＜３．１ 初期設定＞
まず、サーバ２０は、パラメータ設定部２０３７により、人事評価の初期設定を行う。

図８は、人事評価の初期設定を行う際のサーバ２０の動作の例を示すフローチャートである。本実施形態に係る人事評価の導入者は、人事評価を導入する組織のメンバーに対し、第１設問の回答を依頼する。サーバ２０は、組織のメンバーが所有する端末装置１０へ、第１設問に関する情報を送信する（ステップＳ１１）。
図９は、端末装置１０のディスプレイ１４１に表示される、所定の被評価者に対する総合評価についての第１設問の例を表す図である。図９に示す例では、「あなたはこの人を社内外のビジネスパーソンにどの程度お勧めしたいと思いますか？」の質問が与えられている。回答として、０を最低、１０を最高とする評価スコアの入力が受け付けられている。

組織のメンバーは、例えば、メンバーそれぞれについて、第１設問を受信する。なお、第１設問の被評価者となるのは、メンバー全員でもよいし、メンバーの一部であってもよい。また、評価者となるのは、メンバー全員でもよいし、メンバーの一部であってもよい。組織のメンバーは、端末装置１０を操作し、評価者として被評価者についての第１設問に回答する。

サーバ２０は、回答を端末装置１０から受信する（ステップＳ１２）。

端末装置１０からの回答を受信すると、サーバ２０は、信頼される評価がなされている被評価者についての評価スコアを正解値として設定する（ステップＳ１３）。具体的には、サーバ２０は、例えば、全ての被評価者について統計指標を算出し、算出した統計指標に基づき、信頼される評価がなされている被評価者を抽出する。サーバ２０は、抽出した被評価者に対する評価スコアの平均値又は中間値等を算出する。サーバ２０は、算出した値を正解値として設定する。

図１０は、サーバ２０による初期設定を説明するための図である。図１０に示す例おいて、サーバ２０は、被評価者のうち、信頼される評価がなされている被評価者ｐ１を抽出する。サーバ２０は、被評価者ｐ１についての評価スコア「８」の平均を取り、正解値「８」を設定する。

サーバ２０は、回答数を減らした評価ネットワークを用いて結果値を算出する（ステップＳ１４）。具体的には、サーバ２０は、回答数を減らした評価ネットワークを想定する。例えば、サーバ２０は、図１０の左側の評価ネットワークにおける回答数を減らし、図１０の右側の評価ネットワークを想定する。サーバ２０は、回答数を減らした評価ネットワークにおける評価者からの評価スコアを（１）式乃至（３）式に入力し、被評価者ｐ１の結果値を算出する。

サーバ２０は、（１）式乃至（３）式のパラメータ、例えば、α_１、β_１、γ_１を所定回数変更したか否かを判断する（ステップＳ１５）。パラメータを所定回数変更していないと判断すると（ステップＳ１５のＮｏ）、サーバ２０は、（１）式乃至（３）式のパラメータを変更し（ステップＳ１６）、ステップＳ１４において、被評価者ｐ１の結果値の算出を繰り返す。

パラメータを所定回数変更したと判断すると（ステップＳ１５のＹｅｓ）、サーバ２０は、算出した結果値と正解値とを比較し、結果値と正解値との差が最も近いときのパラメータの値を、この組織に適したパラメータの値として設定する（ステップＳ１７）。なお、本説明例においては、α_２、β_２、γ_３が０であるとしている。また、μ_ｆは、全評価者のFairnessの平均値であり、μ_ｇは、全被評価者のGoodnessの平均値としている。また、初回の計算において、（１）式及び（３）式におけるＲ（ｕ，ｐ）には、評価の正常値が入力され、（２）式におけるＦ（ｕ）には、評価者の正常値が入力され、（２）式におけるＧ（ｕ）には、被評価者の正常値が入力される。

また、ステップＳ１５の判断は、結果値と正解値とが漸近したことを判断し、処理をステップＳ１６又はステップＳ１７へ遷移させてもよい。

＜３．２ 結果値の算出＞
続いて、被評価者の結果値の算出について説明する。

図１１は、評価者からの評価情報を取得し、被評価者の結果値を算出する際のサーバ２０の動作の例を示すフローチャートである。

まず、サーバ２０は、所定の者を被評価者とする人事評価を、提出期限を設定して実施する。サーバ２０は、組織に属する所定の人数のメンバーを評価者としてランダムに選択する。なお、サーバ２０は、組織に属するメンバー全員を評価者としてもよい。

評価者としての組織のメンバーは、端末装置１０により、被評価者の一覧を確認し、評価したい被評価者を選択する。評価者が被評価者を選択すると、端末装置１０は、選択された被評価者についての設問をサーバ２０に要求する。

サーバ２０は、端末装置１０から設問の要求を受ける（ステップＳ２１）。サーバ２０は、端末装置１０から設問の要求を受けると、要求のあった被評価者についての第２設問の項目を評価項目ＤＢ２８１から読み出す。サーバ２０は、要求元の端末装置１０へ、第１設問、第２設問、第３設問に関する情報を送信する（ステップＳ２２）。

サーバ２０は、これが初めての人事評価である場合、予め設定された項目を評価項目ＤＢ２８１から読み出し、要求のあった被評価者の第２設問とする。また、２回目以降の人事評価である場合、サーバ２０は、１回前の評価結果に基づいて被評価者に対して決定された項目を評価項目ＤＢ２８１から読み出し、第２設問とする。

端末装置１０は、第１設問、第２設問、第３設問に関する情報をサーバ２０から受信すると、第１設問、第２設問、第３設問についての画像をディスプレイ１４１に表示する。

図１２は、端末装置１０のディスプレイ１４１に表示される第１設問乃至第３設問の例を表す図である。図１２に示す例では、第１設問は、図９に示す第１設問と同じ内容となっている。

第２設問では、「Ｑ１の質問に回答するにあたって以下の項目がどの程度ポジティブ／ネガティブに影響しましたか？」の質問が与えられている。質問の項目として、６項目が設定されている。なお、図１２では、「組織改革の主体性」、「目標達成意識」の２項目が表示されている。６項目の質問の回答として、「非常にネガティブ」、「ややネガティブ」、「普通」、「ややポジティブ」、「非常にポジティブ」の評価の入力が受け付けられている。「非常にネガティブ」、「ややネガティブ」、「普通」、「ややポジティブ」、「非常にポジティブ」についての評価スコアは、例えば、それぞれ１、２、３、４、５が割り当てられている。

第３設問では、「「ＡＡＡＡ」さんへ「あたたかいメッセージ」と「今後の期待やお願い」をご記入ください」のお題が与えられている。回答として、テキスト形式でのメッセージの入力が受け付けられている。

評価者は、端末装置１０のディスプレイ１４１に表示される第１設問乃至第３設問に回答し、回答が完了すると、ディスプレイ１４１に表示される送信ボタン（図示せず）を押下する。評価者により送信ボタンが押下されると、端末装置１０は、評価情報をサーバ２０へ送信する。

サーバ２０は、評価情報を端末装置１０から受信する（ステップＳ２３）。サーバ２０は、評価情報を受信すると、受信した情報を第１評価結果ＤＢ２８２に記憶する（ステップＳ２４）。

サーバ２０は、所定の要件が満たされたか否かを判断する（ステップＳ２５）。サーバ２０は、例えば、提出期限に達すると、所定の要件が満たされたと判断し（ステップＳ２５のＹｅｓ）、処理をステップＳ２６へ移行させる。一方、提出期限が満たされていない場合、所定の要件が満たされていないと判断し（ステップＳ２５のＮｏ）、サーバ２０は、処理をステップＳ２１から繰り返す。なお、サーバ２０は、人事評価の担当者から、結果値を算出する旨の指示が入力されると、所定の要件が満たされたと判断してもよい。

サーバ２０は、第１評価結果ＤＢ２８２に記憶される第１設問についての評価スコアに基づき、各被評価者についての結果値を算出する（ステップＳ２６）。

具体的には、サーバ２０は、例えば、各評価者が各被評価者に対して評価した評価スコアと、各被評価者が各評価者から評価された評価スコアとを（１）式乃至（３）式に入力することで、各評価者のFairness、各評価のReliability、各被評価者のGoodnessを算出する。サーバ２０は、（１）式乃至（３）式に、評価スコア、算出したFairness、Reliability、Goodnessを入力し、次の回のFairness、Reliability、Goodnessを算出する。サーバ２０は、例えば、前の計算で算出した全ての被評価者についてのGoodnessと、今回の計算で算出した全ての被評価者についてのGoodnessとのそれぞれの差分を取り、全ての差分が所定値未満であれば、計算を終了し、今回の計算で算出したGoodnessを、被評価者についての結果値とする。サーバ２０は、算出した結果値を第２評価結果ＤＢ２８３に記憶する。なお、サーバ２０は、例えば、前の計算で算出したFairness、Reliability、Goodnessと、今回の計算で算出したFairness、Reliability、Goodnessとの差分を取り、全ての差分が所定値未満であれば、計算を終了し、今回の計算で算出したGoodnessを、被評価者についての結果値としてもよい。

サーバ２０は、差が所定値未満となるまで、（１）式乃至（３）式に、評価スコア、算出したFairness、Reliability、Goodnessを入力し、Fairness、Reliability、Goodnessを算出する計算を繰り返す。

サーバ２０は、全ての被評価者について結果値を算出すると、処理を終了させる。サーバ２０は、算出した結果値を被評価者へ提示する。なお、サーバ２０は、結果値と共に、能力評価の評価スコアも被評価者へ提示してもよい。このとき、サーバ２０は、能力評価の評価スコアを、総合評価との関連性を認識可能な態様で被評価者へ提示する。具体的に、例えば、サーバ２０は、提示部２０３４により、総合評価との関連性を横軸とし、能力評価の評価スコアを縦軸とした２軸のテーブルで、第２設問に含まれる項目毎の評価スコアを提示する。

＜３．３ 項目の決定＞
続いて、第２設問における項目の決定について説明する。

図１３は、第２設問における項目を決定する際のサーバ２０の動作の例を示すフローチャートである。図１３に示す例では、一人の被評価者についての項目を決定するフローについて説明する。

まず、サーバ２０は、第１設問の評価スコアと、第２設問の評価結果とに基づき、現在設定されている項目のうち、他の項目と入れ替えるべき項目を決定する（ステップＳ２７）。

具体的には、サーバ２０は、総合評価の評価スコアと、能力評価に含まれる各項目についての評価スコアとの関連性を算出する。

図１４は、入れ替え対象となる項目を決定する際のサーバ２０の動作を説明する図である。図１４に示す例では、「ＡＡＡＡ」さんについての総合評価の評価スコアと、能力評価の評価スコアとが表示されている。能力評価の項目としては、例えば、コミュニケーションと、目標達成意識とが含まれている。

図１４に示す例では、総合評価の評価スコアと、目標達成意識の評価スコアとは、連動して変動する傾向がある。一方、総合評価の評価スコアと、コミュニケーションの評価スコアとは、変動が一致していない。サーバ２０は、総合評価と、能力評価に含まれる項目との間の関連性を表す指標を算出する。

サーバ２０は、能力評価に含まれる各項目について、総合評価との関連性と、評価スコアとに基づき、入れ替えるべき項目を決定する。

例えば、被評価者が評価されている理由を確認したい場合、サーバ２０は、総合評価と関連性が高く、かつ、能力評価が所定値より高い項目を第２設問に含めるべき項目とする。一方、サーバ２０は、総合評価と関連性が低い項目、及び、総合評価と関連性が高く、かつ、能力評価が所定値より低い項目については、第２設問に含める項目から外すべきと判断する。図１４に示す例では、サーバ２０は、総合評価と関連性が高く、かつ、能力評価が所定値より高い項目：「目標達成意識」を第２設問に含めるべき項目とし、総合評価と関連性が低い項目：「コミュニケーション」を第２設問から外すべき項目と判断する。

また、例えば、被評価者が改善するべき特徴を把握したい場合、サーバ２０は、総合評価と関連性が高く、かつ、能力評価が所定値より低い項目を第２設問に含めるべき項目とする。一方、サーバ２０は、総合評価と関連性が低い項目、及び、総合評価と関連性が高く、かつ、能力評価が所定値より高い項目については、第２設問に含める項目から外すべきと判断する。

サーバ２０は、外すべきと判断した項目と入れ替える項目を、記憶部２０２から抽出する（ステップＳ２８）。

具体的には、サーバ２０は、例えば、第２設問に含めるべきと判断した項目に対して協調フィルタリングを利用し、当該項目と共起する項目を、記憶部２０２から抽出する。

図１５は、入れ替え候補となる項目の抽出を説明する図である。図１５に示す例では、サーバ２０は、総合評価と関連性が高く、かつ、能力評価が所定値より高い項目：「目標達成意識」に対して協調フィルタリングを利用し、項目：「目標達成意識」と共起する項目を記憶部２０２から抽出する。図１５に示す例では、サーバ２０は、項目：「目標達成意識」と共起する項目として項目：「プロジェクトの推進」、項目：「チームの先導」を抽出する。

また、サーバ２０は、例えば、第３設問で複数の評価者から回答されたメッセージに対して自然言語処理を実施することで、各メッセージの内容を解析する。サーバ２０は、解析した内容に対して協調フィルタリングを利用し、解析した内容と共起する項目を、記憶部２０２から抽出する。

図１６は、入れ替え候補となる項目の抽出を説明する図である。図１６に示す例では、サーバ２０は、第３設問の回答として評価者から入力された複数のメッセージに対し、自然言語処理、協調フィルタリングを利用し、入れ替え候補となる項目を抽出する。図１６に示す例では、サーバ２０は、例えば、共起された回数の多い項目：「プロジェクトの推進」、項目：「育成支援」、項目：「チームビルディング」を抽出する。

サーバ２０は、抽出した項目に基づき、第２設問に含める項目を決定する（ステップＳ２９）。

具体的には、例えば、サーバ２０は、外すべきと判断した項目と、抽出した項目とを入れ替え、第２設問に含める項目を決定する。なお、抽出した項目から、第２設問に含める項目を選定する手法はいかなる手法であってもよい。

サーバ２０は、決定した項目を評価項目ＤＢ２８１へ記憶し、処理を終了させる。

＜パラメータの更新＞
人事評価は、例えば、半期に１回程度の頻度で実施される。そのため、人事評価が複数回実施されると、年単位の期間が経過し得る。年単位の期間が経過すると、組織自体が様変わりしていることがある。サーバ２０は、自動的に（１）式乃至（３）式のパラメータを更新することで、（１）式乃至（３）式を組織の変化に合わせて修正する。

図１７は、パラメータを更新する際のサーバ２０の動作の例を示すフローチャートである。

まず、サーバ２０は、図１１で示すステップＳ２５で所定の要件が満たされると、図８のステップＳ１３～ステップＳ１７を実施し、（１）式乃至（３）式のパラメータを算出する（ステップＳ３１）。

サーバ２０は、現在のパラメータと、算出した過去のパラメータとの差が所定値を超えるか否かを判断する（ステップＳ３２）。差が所定値を超える場合（ステップＳ３２のＹｅｓ）、サーバ２０は、算出したパラメータを新たなパラメータとして設定する（ステップＳ３３）。なお、人事評価の担当者の承諾に応じ、パラメータを更新してもよい。

差が所定値を超えない場合（ステップＳ３２のＮｏ）、サーバ２０は、処理を終了させる。

なお、パラメータの差分ではなく、正解値と、回答数を低減させたネットワークから算出される結果値との差分が所定値を超えるか否かに基づいて、パラメータの更新を決めてもよい。

以上のように、本実施形態では、サーバ２０は、複数の評価者から、複数の被評価者についての評価スコアを受け付ける。サーバ２０は、評価スコアそれぞれの信頼性（Reliability）と、複数の評価者それぞれの公平さ（Fairness）と、複数の被評価者の良さ（Goodness）とを互いに依存させて算出する関数に評価スコアを入力する。そして、サーバ２０は、関数を計算することで算出される被評価者の良さを、当該被評価者の評価（結果値）とするようにしている。これにより、サーバ２０は、信頼性の低い評価スコアに評価結果が引きずられることを抑えることが可能となる。そのため、評価の質を担保するために同部署の評価に限る等制限を加える必要がなくなる。また、サーバ２０は、被評価者についての被評価数が少ないことによる評価結果への信頼性の低下を抑えることが可能となる。このため、サーバ２０は、被評価者に対して正当な評価を算出することが可能となる。

したがって、本実施形態に係るサーバ２０によれば、負担を軽減し、かつ、精度を向上させた、多方面からの人事評価を実施できる。

また、上記実施形態では、算出部２０３５は、算出した信頼性、公平さ、及び良さを関数へ入力して、信頼性、公平さ、及び良さを算出する処理を繰り返し、集束した良さを、被評価者の評価とするようにしている。これにより、被評価者に対する評価の精度を向上させることが可能となる。

また、上記実施形態では、パラメータ設定部２０３７は、被評価者のうちのいずれかについての評価スコアに基づき、当該被評価者についての第１評価値（正解値）を算出する。パラメータ設定部２０３７は、回答数を減らした評価ネットワークにおける評価スコアを関数へ入力して当該関数を計算することで、被評価者についての第２評価値（結果値）を算出する。そして、パラメータ設定部２０３７は、第１評価値と、第２評価値との差が小さくなるよう関数のパラメータを設定するようにしている。（１）式乃至（３）式のパラメータ値は、一つの評価ネットワークにおいて独自の値となる。サーバ２０は、計算の精度に影響を与えるこれらのパラメータを、評価ネットワークの特性（業態・社風・体制等）に応じ、適切な値に自動的に調整することが可能となる。パラメータ値を最適化することで、評価ネットワーク毎に最適化された評価アルゴリズムを構築可能となり、業態、社風等の特性の異なるネットワークにおいて人事評価の精度を向上させることが可能となる。

また、上記実施形態では、パラメータ設定部２０３７は、先にパラメータを設定してから所定の期間が経過した後に、同様のパラメータを再度取得し、取得したパラメータが所定の要件を満たす場合、取得したパラメータを設定するようにしている。これにより、評価ネットワークの特性が変化した場合であっても、その変化に応じ、計算の精度に影響を与えるパラメータを自動的に調整することが可能となる。このため、パラメータを常に適した値に維持することが可能となる。

また、上記実施形態では、サーバ２０は、被評価者の総合評価に関する第１設問と、被評価者の能力評価に関する複数項目からなる第２設問とについての評価スコアを受け付ける。そして、決定部２０３６は、第１設問の評価スコアと、第２設問の評価スコアとに基づき、次回の評価で第２設問に含める項目を決定するようにしている。

従来の人事評価では、評価項目は、全被評価者に対して一律であることが多いため、結果的に多量の評価項目での実施が横行し、また、一部評価項目については被評価者にとって必ずしも当てはまらないものや、適切ではないものが含まれることがある。個々に対して本質的に必要な評価項目が判断できず、回答負荷が要因で、工数増加や回答率低下が懸念され、長期的に客観性の高い評価を継続することは難易度が高い。本実施形態に係るサーバ２０よれば、第２設問に含める項目が自動的に決定されるため、評価項目数が抑えられ、回答負荷の低い、効率的な人事評価を実施することが可能となる。また、回答負荷が軽くなるため、評価範囲を制限する必要がなくなるため、回答率低下を防ぐことが可能となる。

また、上記実施形態では、決定部２０３６は、第２設問に含まれる項目のうち、総合評価と関連性が高く、かつ、能力評価が所定値より高い項目以外の項目を、第２設問に含まれる項目から外される候補とするようにしている。これにより、サーバ２０は、被評価者が実質的に評価されている能力を確認可能となる。また、被評価者に対して評価するべき能力がすぐわかり、被評価者が自身の強みとして継続的にトレーニングする能力を検討するのに役立つ情報を取得可能となる。

また、上記実施形態では、決定部２０３６は、総合評価と関連性が高く、かつ、能力評価が所定値より高い項目と共起する項目を、第２設問に含まれる候補とするようにしている。これにより、サーバ２０は、被評価者が実質的に評価されている能力を確認可能となる。

また、上記実施形態では、決定部２０３６は、第２設問に含まれる項目のうち、総合評価と関連性が高く、かつ、能力評価が所定値より低い項目以外の項目を、第２設問に含まれる項目から外すようにしている。これにより、サーバ２０は、被評価者が実質的に足りていない能力を確認可能となる。また、被評価者に対して改善を促すべき能力がすぐわかり、被評価者が自身の苦手の克服としてトレーニングすべき能力を検討するのに役立つ情報を取得可能となる。

また、上記実施形態では、決定部２０３６は、総合評価と関連性が高く、かつ、能力評価が所定値より低い項目と共起する項目を、第２設問に含まれる候補とするようにしている。サーバ２０は、被評価者が実質的に足りていない能力を確認可能となる。

また、上記実施形態では、サーバ２０は、第２ユーザへのメッセージに関する第３設問を受け付ける。そして、決定部２０３６は、メッセージの内容と共起する項目を、第２設問に含まれる候補とするようにしている。これにより、サーバ２０は、評価者が被評価者に対して内在的に有するイメージに基づき、第２設問に含める候補を決定することが可能となる。

また、上記実施形態では、決定部２０３６は、算出部２０３５による被評価者の結果値の算出の後に第２設問に含める項目を決定するようにしている。これにより、被評価者を評価するのに不要な設問が都度削除され、被評価者に適した設問のみとなるため、評価者の負担が削減され、効率的に人事評価を実施することが可能となる。

また、上記実施形態では、提示部２０３４は、能力評価の結果を、総合評価との関連性と共に被評価者に提示するようにしている。これにより、抽出した能力要素（評価項目）を集中的に育成・強化することが可能となり、効率的な評価改善が期待できる。

また、上記実施形態では、サーバ２０は、複数の評価者から、評価スコアを匿名で受け付けるようにしている。これにより、サーバ２０は、評価者から、被評価者に対する正直な回答を引き出すことが可能となる。また、匿名の自由な回答が故に、信頼性の疑わしい回答、被評価数のブレが懸念されるが、（１）式～（３）式を用いた評価アルゴリズムの活用で、信頼性の低い評価に引きずられること、被評価数が少ないことによる信頼性低下が抑えられ、より被評価者の真の評価に近い値が算出可能となる。

また、上記実施形態では、サーバ２０は、複数の評価者となるための条件は存在しないようにしている。つまり、サーバ２０は、評価者となるために制限は設けないようにしている。これにより、評価数の低下を抑えることが可能となる。

＜変形例＞
以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。

＜付記＞
以上の各実施形態で説明した事項を以下に付記する。

（付記１）
プロセッサ２９と、メモリ２５とを備えるコンピュータに実行させるためのプログラムであって、プログラムは、プロセッサに、複数の第１ユーザから、複数の第２ユーザについての評価スコアを受け付けるステップ（ステップＳ２３）と、評価スコアそれぞれの信頼性と、複数の第１ユーザそれぞれの公平さと、複数の第２ユーザの良さとを互いに依存させて算出する関数に評価スコアを入力し、関数を計算することで算出される第２ユーザの良さを、当該第２ユーザの評価とするステップ（ステップＳ２６）とを実行させるプログラム。

（付記２）
第２ユーザを評価するステップにおいて、算出した信頼性、公平さ、及び良さを関数へ入力して、信頼性、公平さ、及び良さを算出する処理を繰り返し、値が集束した良さを、第２ユーザの評価とする、（付記１）に記載のプログラム。

（付記３）
第２ユーザのうちのいずれかについての評価スコアに基づき、当該第２ユーザについての第１評価値を算出するステップ（ステップＳ１３）と、回答数を減らした評価ネットワークにおける評価スコアを関数へ入力し、関数を計算することで、第２ユーザについての第２評価値を算出するステップ（ステップＳ１４）と、第１評価値と、第２評価値との差が小さくなるよう関数のパラメータを設定するステップ（ステップＳ１７）とを、プロセッサに実行させる（付記１）又は（付記２）のいずれかに記載のプログラム。

（付記４）
先にパラメータを設定してから所定の期間の経過後にパラメータを取得し、取得したパラメータが所定の要件を満たす場合、取得したパラメータを設定するステップ（ステップＳ３３）を、プロセッサに実行させる（付記３）に記載のプログラム。

（付記５）
評価スコアを受け付けるステップにおいて、第２ユーザの総合評価に関する第１設問と、第２ユーザの能力評価に関する複数項目からなる第２設問とについての評価スコアを受け付け、第１設問の評価スコアと、第２設問の評価スコアとに基づき、次回の評価で第２設問に含める項目を決定するステップ（ステップＳ２９）を、プロセッサに実行させる（付記１）乃至（付記４）のいずれかに記載のプログラム。

（付記６）
決定するステップにおいて、第２設問に含まれる項目のうち、総合評価と関連性が高く、かつ、能力評価が所定値より高い項目以外の項目が、第２設問に含まれる項目から外される候補となる（付記５）に記載のプログラム。

（付記７）
決定するステップにおいて、総合評価と関連性が高く、かつ、能力評価が所定値より高い項目と共起する項目が、第２設問に含まれる候補となる（付記５）又は（付記６）に記載のプログラム。

（付記８）
決定するステップにおいて、第２設問に含まれる項目のうち、総合評価と関連性が高く、かつ、能力評価が所定値より低い項目以外の項目が、第２設問に含まれる項目から外される候補となる（付記５）に記載のプログラム。

（付記９）
決定するステップにおいて、総合評価と関連性が高く、かつ、能力評価が所定値より低い項目と共起する項目が、第２設問に含まれる候補となる（付記５）又は（付記８）に記載のプログラム。

（付記１０）
評価スコアを受け付けるステップにおいて、第２ユーザへのメッセージに関する第３設問を受け付け、決定するステップにおいて、メッセージの内容と共起する項目が、第２設問に含まれる候補となる（付記５）乃至（付記９）のいずれかに記載のプログラム。

（付記１１）
第２ユーザの評価を算出するステップの後に、第２設問に含まれる項目を決定するステップをプロセッサに実行させる（付記５）乃至（付記１０）のいずれかに記載のプログラム。

（付記１２）
能力評価の結果を、総合評価との関連性と共に第２ユーザに提示するステップをプロセッサに実行させる（付記５）乃至（付記１１）のいずれかに記載のプログラム。

（付記１３）
受け付けるステップにおいて、複数の第１ユーザから、評価スコアを匿名で受け付ける（付記１）乃至（付記１２）のいずれかに記載のプログラム。

（付記１４）
受け付けるステップにおいて、複数の第１ユーザとなるための条件は存在しない（付記１）乃至（付記１３）のいずれかに記載のプログラム。

（付記１５）
プロセッサと、メモリとを備えるコンピュータが実行する方法であって、複数の第１ユーザから、複数の第２ユーザについての評価スコアを受け付けるステップと、評価スコアそれぞれの信頼性と、複数の第１ユーザそれぞれの公平さと、複数の第２ユーザの良さとを互いに依存させて算出する関数に評価スコアを入力し、関数を計算することで算出される第２ユーザの良さを、当該第２ユーザの評価とするステップとを実行する方法。

（付記１６）
プロセッサと、メモリとを備える情報処理装置であって、プロセッサが、複数の第１ユーザから、複数の第２ユーザについての評価スコアを受け付けるステップと、評価スコアそれぞれの信頼性と、複数の第１ユーザそれぞれの公平さと、複数の第２ユーザの良さとを互いに依存させて算出する関数に評価スコアを入力し、関数を計算することで算出される第２ユーザの良さを、当該第２ユーザの評価とするステップとを実行する情報処理装置。

（付記１７）
複数の第１ユーザから、複数の第２ユーザについての評価スコアを受け付ける手段と、評価スコアそれぞれの信頼性と、複数の第１ユーザそれぞれの公平さと、複数の第２ユーザの良さとを互いに依存させて算出する関数に評価スコアを入力し、関数を計算することで算出される第２ユーザの良さを、当該第２ユーザの評価とする手段とを具備するシステム。

１…システム
１０…端末装置
１２１…通信部
１３…入力装置
１３１…マウス
１３２…キーボード
１３３…タッチ・センシティブ・デバイス
１４…出力装置
１４１…ディスプレイ
１５…メモリ
１６…ストレージ
１７０…記憶部
１８０…制御部
１８１…操作受付部
１８２…送受信部
１８３…表示制御部
１９…プロセッサ
２０…サーバ
２０１…通信部
２０２…記憶部
２０３…制御部
２０３１…操作受付部
２０３２…送受信部
２０３３…記憶制御部
２０３４…提示部
２０３５…算出部
２０３６…決定部
２０３７…パラメータ設定部
２５…メモリ
２６…ストレージ
２９…プロセッサ
８０…ネットワーク
２８１…評価項目ＤＢ
２８２…第１評価結果ＤＢ
２８３…第２評価結果ＤＢ

Claims (18)

1. プロセッサと、メモリとを備えるコンピュータに実行させるためのプログラムであって、前記プログラムは、前記プロセッサに、
   複数の第１ユーザに設問を提示するステップと、
   複数の第１ユーザから、複数の第２ユーザについての、前記設問に対する評価スコアを受け付けるステップと、
   第１ユーザから入力される第２ユーザへの評価スコアを変数とし、第１ユーザの公平さを表す第１値と第２ユーザの良さを表す第２値とを用い、第１ユーザが入力した少なくとも１回の評価に対する信頼性を表す第３値を算出するための第１関数、及び第１ユーザから入力される第２ユーザへの評価スコアを変数とし、第３値を用いて第２値を算出するための第２関数に前記評価スコアを入力し、前記第１関数、及び第２関数を計算することで第２値を算出し、算出した第２値を第２ユーザの評価とし、第１値は第３値を用いて算出される、ステップと
   を実行させるプログラム。
2. 前記第２ユーザを評価するステップにおいて、第１ユーザが入力した評価の回数を変数とし、第３値を用いて第１値を算出するための第３関数に、評価の回数を入力し、前記第１関数、第２関数、及び第３関数を計算することで第２値を算出する請求項１記載のプログラム。
3. 前記第２ユーザを評価するステップにおいて、第１ユーザが入力した評価の回数と前記第１関数により算出される第３値とを前記第３関数に入力することで第１値を算出する処理を繰り返し、前記評価スコアと前記第３関数により算出される第１値と前記第２関数により算出される第２値とを前記第１関数に入力することで第３値を算出する処理を繰り返し、前記評価スコアと前記第１関数により算出される第３値とを前記第２関数に入力することで第２値を算出する処理を繰り返し、集束した第２値を、前記第２ユーザの評価とする、請求項２記載のプログラム。
4. 前記第２ユーザのうちのいずれかについての評価スコアに基づき、第１評価値としての第２値を算出するステップと、
   回答数を減らした評価ネットワークにおける評価スコアを前記第１関数、及び第２関数へ入力し、第１ユーザが入力した評価の回数を前記第３関数へ入力して計算することで、第２評価値としての第２値を算出するステップと、
   前記第１評価値と、前記第２評価値との差が小さくなるよう前記第１関数、第２関数、及び第３関数のパラメータを設定するステップと
   を、前記プロセッサに実行させる請求項２又は３に記載のプログラム。
5. 先に前記パラメータを設定してから所定の期間の経過後に前記パラメータを取得し、前記取得したパラメータが所定の要件を満たす場合、前記取得したパラメータを設定するステップを、前記プロセッサに実行させる請求項４記載のプログラム。
6. 前記設問を提示するステップにおいて、前記第２ユーザの総合評価に関する第１設問と、前記第２ユーザの能力評価に関する複数項目からなる第２設問とを提示し、
   前記評価スコアを受け付けるステップにおいて、前記第１設問と、前記第２設問とについての評価スコアを受け付け、
   前記第１設問の評価スコアと、前記第２設問の評価スコアとに基づき、次回の評価で前記第２設問に含める項目を決定するステップを、前記プロセッサに実行させる請求項１乃至５のいずれかに記載のプログラム。
7. 前記決定するステップにおいて、前記第２設問に含まれる項目のうち、前記総合評価と関連性が高く、かつ、能力評価が所定値より高い項目以外の項目が、前記第２設問に含まれる項目から外される候補となる請求項６記載のプログラム。
8. 前記決定するステップにおいて、前記総合評価と関連性が高く、かつ、能力評価が所定値より高い項目と共起する項目が、前記第２設問に含まれる候補となる請求項６又は７に記載のプログラム。
9. 前記決定するステップにおいて、前記第２設問に含まれる項目のうち、前記総合評価と関連性が高く、かつ、能力評価が所定値より低い項目以外の項目が、前記第２設問に含まれる項目から外される候補となる請求項６記載のプログラム。
10. 前記決定するステップにおいて、前記総合評価と関連性が高く、かつ、能力評価が所定値より低い項目と共起する項目が、前記第２設問に含まれる候補となる請求項６又は９に記載のプログラム。
11. 前記設問を提示するステップにおいて、前記第２ユーザへのメッセージに関する第３設問を提示し、
    前記評価スコアを受け付けるステップにおいて、前記第３設問に対するメッセージを受け付け、
    前記決定するステップにおいて、前記メッセージの内容と共起する項目が、前記第２設問に含まれる候補となる請求項６乃至１０のいずれかに記載のプログラム。
12. 前記第２ユーザの評価を算出するステップの後に、前記第２設問に含まれる項目を決定するステップを前記プロセッサに実行させる請求項６乃至１１のいずれかに記載のプログラム。
13. 前記能力評価の結果を、前記総合評価との関連性と共に前記第２ユーザに提示するステップを前記プロセッサに実行させる請求項６乃至１２のいずれかに記載のプログラム。
14. 前記受け付けるステップにおいて、前記複数の第１ユーザから、前記評価スコアを匿名で受け付ける請求項１乃至１３のいずれかに記載のプログラム。
15. 前記受け付けるステップにおいて、前記複数の第１ユーザとなるための条件は存在しない請求項１乃至１４のいずれかに記載のプログラム。
16. プロセッサと、メモリとを備えるコンピュータが実行する方法であって、
    複数の第１ユーザに設問を提示するステップと、
    複数の第１ユーザから、複数の第２ユーザについての、前記設問に対する評価スコアを受け付けるステップと、
    第１ユーザから入力される第２ユーザへの評価スコアを変数とし、第１ユーザの公平さを表す第１値と第２ユーザの良さを表す第２値とを用い、第１ユーザが入力した少なくとも１回の評価に対する信頼性を表す第３値を算出するための第１関数、及び第１ユーザから入力される第２ユーザへの評価スコアを変数とし、第３値を用いて第２値を算出するための第２関数に前記評価スコアを入力し、前記第１関数、及び第２関数を計算することで第２値を算出し、算出した第２値を第２ユーザの評価とし、第１値は第３値を用いて算出される、ステップと
    を実行する方法。
17. プロセッサと、メモリとを備える情報処理装置であって、
    前記プロセッサが、
    複数の第１ユーザに設問を提示するステップと、
    複数の第１ユーザから、複数の第２ユーザについての、前記設問に対する評価スコアを受け付けるステップと、
    第１ユーザから入力される第２ユーザへの評価スコアを変数とし、第１ユーザの公平さを表す第１値と第２ユーザの良さを表す第２値とを用い、第１ユーザが入力した少なくとも１回の評価に対する信頼性を表す第３値を算出するための第１関数、及び第１ユーザから入力される第２ユーザへの評価スコアを変数とし、第３値を用いて第２値を算出するための第２関数に前記評価スコアを入力し、前記第１関数、及び第２関数を計算することで第２値を算出し、算出した第２値を第２ユーザの評価とし、第１値は第３値を用いて算出されるステップと
    を実行する情報処理装置。
18. 複数の第１ユーザに設問を提示する手段と、
    複数の第１ユーザから、複数の第２ユーザについての、前記設問に対する評価スコアを受け付ける手段と、
    第１ユーザから入力される第２ユーザへの評価スコアを変数とし、第１ユーザの公平さを表す第１値と第２ユーザの良さを表す第２値とを用い、第１ユーザが入力した少なくとも１回の評価に対する信頼性を表す第３値を算出するための第１関数、及び第１ユーザから入力される第２ユーザへの評価スコアを変数とし、第３値を用いて第２値を算出するための第２関数に前記評価スコアを入力し、前記第１関数、及び第２関数を計算することで第２値を算出し、算出した第２値を第２ユーザの評価とし、第１値は第３値を用いて算出される、手段と
    を具備するシステム。

Images