JP5571230B1 - 評価システムおよび評価方法 - Google Patents

Abstract

【課題】自己申告データの信頼度を保障する期間を拡大し、自己申告データの検証精度を向上させることを目的とする。
【解決手段】評価装置１０は、ネットワーク２を介してサービスを提供するサービス提供システム１のサービスの品質を示すサービス品質情報を測定する。また、評価装置１０は、測定されたサービス品質情報を他の評価装置１０ａ〜１０ｃに公開する。また、評価装置１０は、他の評価装置１０ａ〜１０ｃが公開するサービス品質情報を収集する。そして、評価装置１０は、評価装置１０ａ〜１０ｃから収集されたサービス品質情報と評価装置１０が測定したサービス品質情報とを用いて、サービス提供システム１によって測定されたサービス品質情報の信頼度を評価する。
【選択図】 図１

Description

本発明は、評価システムおよび評価方法に関する。

近年、クラウドコンピューティングに代表されるように、ネットワークを経由して各種サービスを提供するサービス提供システムが知られている。このようなサービス提供システムの一例として、ネットワークを経由して仮想マシンの実行環境をユーザに提供するＩａａＳ（Infrastructure as a Service）が知られている。

また、ＣＰＵ（Central Processing Unit）処理速度、メモリ転送速度、ネットワークの帯域等、サービス提供システムにより提供されるサービスの品質を示すサービス品質情報をユーザに提供する技術が知られている。このような技術の一例として、サービス提供システムの運営者が測定したサービスの品質と、第三者である評価機関が測定したサービスの品質とを用いて、サービス提供システムの利用者に信頼度の高いサービス品質情報を提供する統計監査方式が知られている。

例えば、統計監査方式では、サービス提供システムが提供するサービスの品質をシステム運営者が測定し、測定値を自己申告データとして公開する。一方、評価機関は、サービス提供システムが提供するサービスの品質を抜き打ちで測定し、測定値を監査データとする。そして、評価機関は、公開された自己申告データと監査データとを比較することで、システム運営者による自己申告データの偽装を検証する。

首藤裕一，波戸邦夫，小林秀承，桑名栄二，"インタークラウドにおけるリソース性能測定方式"， 電子情報通信学会技術研究報告，Vol.112, No.393，IN2012-153, 平成25年1月 首藤裕一，波戸邦夫，"インタークラウドにおけるリソース性能測定方式の評価"， 電子情報通信学会技術研究報告，Vol.112, No.464，IN2012-156, 平成25年3月

しかしながら、評価機関が抜き打ちで測定を行った場合は、測定を行った期間については自己申告データの信頼度が保障されるものの、評価機関が抜き打ちで測定を行っていない期間については、自己申告データの信頼度が保障されないという課題がある。

なお、評価機関は、仮説検定を用いて自己申告データの検証を行う場合は、サービス提供システムが提供するサービスの品質を測定する頻度が多いほど、検証精度を向上させることができる。しかしながら、評価機関は、サービス提供システムが提供するサービスの品質を測定する頻度に比例して、測定に要するコストを増加させてしまう。

開示の実施形態は、上述に鑑みてなされたものであって、自己申告データの信頼度を保障する期間を拡大し、自己申告データの検証精度を向上させることを目的とする。

開示する評価システムは、一つの態様において、サービス提供システムがネットワークを介して提供するサービスの品質を評価する複数の評価装置を有する。評価装置は、測定部と、公開部と、収集部と、自己申告データ評価部とを有する。測定部は、サービスの品質を示すサービス品質情報を所定の頻度で測定する。公開部は、測定部が測定したサービス品質情報を他の評価装置に公開する。収集部は、他の評価装置が公開するサービス品質情報を収集する。自己申告データ評価部は、収集部が収集したサービス品質情報と測定部が測定したサービス品質情報とを用いて、サービス提供システムが公開するサービス品質情報の信頼度を評価する。

開示する評価システムの一つの態様によれば、自己申告データの信頼度を保障する期間を拡大し、自己申告データの検証精度を向上させるという効果を奏する。

図１は、第１の実施形態に係る評価システムを説明する図である。 図２は、第１の実施形態に係る評価装置の機能構成を説明する図である。 図３は、第１の実施形態における自己申告データの一例を説明する図である。 図４は、偽装が含まれる自己申告データの一例を説明する図である。 図５は、第１の実施形態に係る監査データの一例を説明する第１の図である。 図６は、第１の実施形態に係る監査データの一例を説明する第２の図である。 図７は、第１の実施形態に係る総合データの一例を説明する図である。 図８は、第１の実施形態に係る評価装置の効果を説明する図である。 図９は、第１の実施形態に係る評価装置が実行する処理の流れを説明するフローチャートである。 図１０は、第１の実施形態に係る評価装置が信頼できる監査データを抽出する処理の流れを説明するフローチャートである。 図１１は、実施形態に係る評価プログラムを実行するコンピュータを示す図である。

以下に添付図面を参照して評価システムおよび評価方法について説明する。なお、本実施形態により開示する発明が限定されるものではない。各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

（第１の実施形態）
以下、図１を用いて、サービス提供システムがネットワークを介して提供するサービスの評価を行う評価システムの一例について説明する。図１は、第１の実施形態に係る評価システムを説明する図である。図１に示す例では、評価システム１００は、ネットワーク２を介して、サービス提供システム１、ユーザ端末３と接続されている。

また、評価システム１００は、それぞれネットワーク２に接続された複数の評価装置１０と、評価装置１０と同様の機能を発揮する評価装置１０ａ〜１０ｃを有する。なお、図１では省略したが、評価システム１００は、他にも、評価装置１０と同様の評価装置を有してもよい。また、評価装置１０ａ〜１０ｃは、評価装置１０と同様の機能を発揮するものとして、以下の説明を省略する。

サービス提供システム１は、ネットワーク２を介して、ユーザ端末３に各種サービスの提供を行う。例えば、サービス提供システム１は、ネットワーク２を介してＶＭ（Virtual Machine）等の仮想リソースをユーザ端末３に提供する。なお、サービス提供システム１は、物理的に１つの情報処理装置である必要はない。また、サービス提供システム１は、例えば、ＩａａＳ等のクラウドシステムであってもよい。

ここで、サービス提供システム１は、所定の頻度で、サービス提供システム１が提供するサービスの品質を示すサービス品質情報を測定し、測定したサービス品質情報を公開する。例えば、サービス提供システム１は、利用者に対して提供するＶＭのベンチマークを常時測定し、測定内容を示すサービス品質情報を公開する。

ここで、サービス品質情報が示す測定内容の例としては、ＶＭが有する仮想的なＣＰＵ（Central Processing Unit）処理速度、メモリ転送速度及びネットワーク帯域等の項目が測定した時刻とともに含まれる。なお、以下の説明では、サービス提供システム１が公開するサービス品質情報の集合を、自己申告データと記載する。

一方、評価装置１０は、抜き打ちで、サービス提供システム１が提供するサービスの品質を示すサービス品質情報を測定する。例えば、評価装置１０は、１ヶ月間当たり３日間の頻度で、サービス提供システム１が利用者に提供するＶＭのベンチマークを抜き打ちで測定し、測定内容を示すサービス品質情報を生成する。

そして、評価装置１０は、生成したサービス品質情報と、同時期にサービス提供システム１が測定した自己申告データとを比較して、自己申告データの信頼度を評価する。すなわち、評価装置１０は、評価値の水増し等が行われている場合は、自己申告データと生成したサービス品質情報との間に有意差が生じるので、自己申告データと生成したサービス品質情報とを比較することで、自己申告データの偽証等を検証する。

ここで、評価装置１０が抜き打ちでサービス品質情報を測定しなかった期間については、一定の抑止力が働くものの、自己申告データの信頼度は保障されていない。また、評価装置１０がサービス品質情報を測定する頻度を増やした場合は、自己申告データの偽証を精度良く検定することができるものの、測定コストを増加させてしまう。

そこで、評価装置１０は、以下の処理を実行する。まず、評価装置１０は、評価装置１０が抜き打ちで測定したサービス品質情報を他の評価装置１０ａ〜１０ｃに公開する。また、他の評価装置１０ａ〜１０ｃも同様に、抜き打ちで測定したサービス品質情報を公開する。そして、評価装置１０は、他の評価装置１０ａ〜１０ｃが公開するサービス品質情報を収集し、収集したサービス品質情報と、評価装置１０が測定したサービス品質情報とを統合した統合データを生成する。その後、評価装置１０は、生成した統合データと自己申告データとを比較することで、自己申告データの信頼度を評価する。

すなわち、各評価装置１０、１０ａ〜１０ｃがサービス品質情報を測定するタイミングは、それぞれ異なると考えられる。このため、評価装置１０は、各評価装置１０、１０ａ〜１０ｃが測定したサービス品質情報を共有し、共有したサービス品質情報を用いて、自己申告データの信頼度を評価した場合は、自己申告データの信頼性を保障する期間を拡大することができる。この結果、評価装置１０は、測定コストの増加を抑えつつ、自己申告データの偽証を精度良く検証できる。

ここで、例えば、一部の評価装置とサービス提供システム１とが癒着状態にある等、各評価装置１０、１０ａ〜１０ｃが共有するサービス品質情報に偽装が含まれる事態が考えられる。また、ベンチマークソフトウェアのバグ等により、一部の評価装置によって測定されたサービス品質情報が他の評価装置によって測定されたサービス品質情報と大きく異なる事態が考えられる。このように、各評価装置１０、１０ａ〜１０ｃが共有するサービス品質情報に偽装やノイズが含まれる場合は、評価装置１０による自己申告データの信頼度を検証する精度が低下する。

そこで、評価装置１０は、各評価装置１０、１０ａ〜１０ｃが測定したサービス品質情報同士をそれぞれ比較することで、偽装が含まれるサービス品質情報やノイズとなるサービス品質情報等、信頼度の低いサービス品質情報を検出する。そして、評価装置１０は、各評価装置１０、１０ａ〜１０ｃが測定したサービス品質情報から、信頼度の低いサービス品質情報を除外し、信頼度の高いサービス品質情報と自己申告データとを比較することで、自己申告データの信頼度を検証する精度を向上させる。

以下、サービス提供システム１が発揮する機能の一例、および、評価装置１０が発揮する機能の一例について説明するが、実施の形態は、このような実施形態に限定されるものではない。例えば、各評価装置１０、１０ａ〜１０ｂはユーザ端末３と同様に、サービス提供システム１の利用者が使用する端末装置であってもよい。また、以下の説明では、評価装置１０が測定したサービス品質情報の集合を監査データと記載する。

また、以下の説明では、評価装置１０は、同時期に測定された監査データと自己申告データとを比較する際、監査データの平均値と自己申告データの平均値とに有意な差が存在するか否かをマン・ホイットニーのＵ検定により検定する例について説明する。しかしながら、実施の形態はこれに限定されるものではなく、例えば、評価装置１０は、各データの平均値ではなく、各データの分散値を用いても良い。また、例えば、評価装置１０は、マン・ホイットニーのＵ検定ではなく、例えば、ウェルチの検定等、他の検定手法を用いても良い。

また、以下の説明では、自己申告データ、および、監査データには、サービス提供システム１が稼動させるＶＭ上で所定のベンチマークソフトウェアを実行し、ベンチマークソフトウェアが算出した所定項目におけるベンチマークの値が格納されているものとする。

図２は、第１の実施形態に係る評価装置の機能構成を説明する図である。図２に示す例では、サービス提供システム１は、自己申告データ公開ＤＢ（DataBase）４、システム制御部５、サービス提供部６、通信部７を有する。また、システム制御部５は、自己測定部８、公開部９を有する。また、サービス提供部６は、複数のＶＭ６ａ、６ｂを稼動させる。なお、図２では、サービス提供部６が稼動させるＶＭ６ａ、６ｂを記載したが、サービス提供部６は、他にも複数のＶＭを稼動させるものとする。

一方、評価装置１０は、通信部１１、制御部１２、監査データ公開ＤＢ１３を有する。また、制御部１２は、測定部１４、公開部１５、収集部１６、連携システム評価部１７、出力部１８、自己申告データ評価部１９を有する。

まず、サービス提供システム１の機能構成について説明する。自己申告データ公開ＤＢ４は、サービス提供システム１が測定した自己申告データを記憶するデータベースである。例えば、自己申告データ公開ＤＢ４には、サービス提供システム１が測定した自己申告データが、測定時刻を示す時刻情報とともに格納されている。システム制御部５は、サービス提供システム１が提供するサービスの品質を測定し、測定値を示す自己申告データの生成、および、公開を行う。

サービス提供部６は、各種サービスの提供を行う。具体的には、サービス提供部６は、ネットワーク２を介して、ユーザ端末３や評価装置１０からサービス提供要求を受け付けると、新たなＶＭを稼動させ、稼動させたＶＭを要求元であるユーザ端末３や評価装置１０に割り当てる。かかる場合、ユーザ端末３は、割り当てられたＶＭに各種プログラムを実行させることができる。また、評価装置１０は、割り当てられたＶＭに、ＶＭの品質（ＣＰＵ処理速度やメモリ転送速度など）を測定するためのベンチマークソフトウェアを実行させ、ベンチマークの値を取得する。

通信部７は、サービス提供システム１の通信を制御する。例えば、通信部７は、ネットワーク２を介して、ユーザ端末３や評価装置１０からサービス提供要求を受信すると、受信したサービス提供要求をサービス提供部６に出力する。そして、通信部７は、ユーザ端末３や評価装置１０とＶＭとの間におけるデータ通信を中継する。また、通信部７は、自己申告データ公開ＤＢ４に格納された自己申告データの送信を要求する送信要求を受信すると、受信した送信要求を公開部９に出力する。かかる場合は、通信部７は、公開部９から自己申告データを受信するので、受信した自己申告データを送信要求の要求元となる評価装置へ送信する。

自己測定部８は、所定の頻度で、自己申告データを測定し、測定した自己申告データを自己申告データ公開ＤＢ４に格納する。例えば、自己測定部８は、１時間に一度の頻度でサービス提供部６にサービス提供要求を発行し、ＶＭの割り当てを受ける。すると、自己測定部８は、割り当てられたＶＭに所定の期間ベンチマークソフトウェアを実行させ、ベンチマークの値を取得する。

そして、自己測定部８は、取得したベンチマークの値と測定時刻を示す時刻情報とを対応付けたサービス品質情報の集合である自己申告データを生成し、生成した自己申告データを自己申告データ公開ＤＢ４に格納する。なお、他の例では、自己測定部８は、サービス提供部６から割り当てられたＶＭに常時ベンチマークソフトウェアを実行させ、取得したベンチマークの値と測定時刻とを対応付けた自己申告データを自己申告データ効果ＤＢ４に格納し続けても良い。また、以下の説明では、時刻情報は、ベンチマークの測定を行った年、月、日、時間、分を示すものとする。

公開部９は、自己申告データ公開ＤＢ４に格納された自己申告データを公開する。例えば、公開部９は、通信部７を介して、自己申告データの送信を要求する送信要求を受信する。かかる場合は、公開部９は、自己申告データ公開ＤＢ４に格納された自己申告データを読出し、読出した自己申告データを通信部７に出力する。

ここで、サービス提供システム１が公開するサービス品質情報には、サービス提供システム１の運営者がＶＭの品質を良く見せようとして、ベンチマークの測定値を２０パーセント程向上させる等、偽装を加える場合が考えられる。以下、図３及び図４を用いて、サービス提供システム１が公開するサービス品質情報の例と、偽装を加えたサービス品質情報の例について説明する。

例えば、図３は、第１の実施形態における自己申告データの一例を説明する図である。なお、図３に示す例では、横軸方向を測定日時とし、縦軸方向を測定されたサービス品質の測定値、すなわち、ベンチマークスコアとして、サービス提供システム１が公開する自己申告データをプロットした。例えば、図３に示す例では、自己申告データは、ベンチマークスコアの値が約６０から約１４０の間に分布している。

一方、図４は、偽装が含まれる自己申告データの一例を説明する図である。なお、図４に示す例では、図３と同様に、横軸方向を測定日時とし、縦軸方向を測定されたベンチマークスコアとして、偽装が含まれる自己申告データをプロットした。詳細には、各ベンチマークスコアを一律で２０パーセント向上させた自己申告データをプロットした。例えば、図４に示す例では、自己申告データは、ベンチマークスコアの値が約８０から約１６０の間に分布している。このため、偽装が含まれる自己申告データと偽装が含まれない自己申告データとでは、ベンチマークスコアの分布に有意差が存在する。

図２に戻り、評価装置１０が有する機能構成について説明する。通信部１１は、評価装置１０の通信を制御する。例えば、通信部１１は、測定部１４からサービス提供要求を受信すると、ネットワーク２を介して、サービス提供要求をサービス提供システム１に送信する。また、通信部１１は、他の評価装置１０ａ〜１０ｃから、監査データの取得要求を受信すると、受信した取得要求を公開部１５に送信し、応答として監査データを受信すると、受信した監査データを取得要求の送信元となる評価装置へ送信する。

また、通信部１１は、収集部１６から監査データの取得要求を受信すると、ネットワーク２を介して、受信した取得要求を各評価装置１０ａ〜１０ｃへ送信し、応答として各評価装置１０ａ〜１０ｃから監査データを受信すると、受信した監査データを収集部１６に出力する。また、通信部１１は、自己申告データ評価部１９から、自己申告データの送信要求を受信すると、ネットワーク２を介して、受信した送信要求をサービス提供システム１に送信し、応答として自己申告データを受信すると、受信した自己申告データを自己申告データ評価部１９に出力する。

制御部１２は、評価装置１０が発揮する機能の制御を行う。また、監査データ公開ＤＢ１３は、サービス提供システム１が提供するサービスの品質を評価装置１０が測定した際の評価値を含む監査データを記憶するデータベースである。

測定部１４は、サービス提供システム１が提供するサービスの品質を示すサービス品質情報の測定を行う。例えば、測定部１４は、通信部１１及びネットワーク２を介して、サービス提供要求を所定の頻度でサービス提供システム１に送信する。そして、測定部１４は、サービス提供システム１から割り当てられたＶＭに、ベンチマークソフトウェアを実行させ、実行結果として取得されるベンチマークの値を取得する。また、測定部１４は、取得したベンチマークの値とベンチマークの値を測定した時刻とを対応付け、監査データ公開ＤＢ１３に格納する。

公開部１５は、測定部１４が測定したサービス品質情報を他の評価装置１０ａ〜１０ｃに公開する。例えば、公開部１５は、ネットワーク２及び通信部１１を介して、他の評価装置１０ａ〜１０ｃから、監査データの取得要求を受信すると、監査データ公開ＤＢ１３から監査データを読み出す。そして、公開部１５は、読み出した監査データを通信部１１に出力する。

収集部１６は、他の評価装置１０ａ〜１０ｃが測定したサービス品質情報を収集する。例えば、収集部１６は、測定部１４がサービス品質情報の測定を実行した場合は、通信部１１に対して監査データの取得要求を出力し、他の評価装置１０ａ〜１０ｃがそれぞれ測定したサービス品質情報を含む複数の監査データを受信する。そして、収集部１６は、受信した各監査データを連携システム評価部１７に出力する。

連携システム評価部１７は、収集部１６が収集したサービス品質情報と測定部１４が測定したサービス品質情報との比較結果に基づいて、収集部１６が収集したサービス品質情報の信頼度をそれぞれ評価する。具体的には、連携システム評価部１７は、各評価装置１０ａ〜１０ｃから取得した監査データから、評価対象となる監査データを選択する。また、連携システム評価部１７は、各評価装置１０ａ〜１０ｃから取得した監査データのうち、評価対象となる監査データ以外の監査データと、評価装置１０の監査データとを統合した統合データを生成する。

そして、連携システム評価部１７は、評価対象となる監査データと統合データとを比較し、両データの平均値や分散値などに有意差が存在するか否かを判定する。その後、連携システム評価部１７は、両データの平均値や分散値などに有意差が存在する場合は、選択した監査データの信頼度が低いと判定し、判定結果を出力部１８に通知する。

以下、連携システム評価部１７が実行する処理の一例を詳細に説明する。なお、以下の説明では、収集部１６が各評価装置１０ａ〜１０ｃから収集した監査データのうち、評価装置１０ａが測定した監査データを監査データＤａと記載し、評価装置１０ｂが測定した監査データを監査データＤｂと記載し、評価装置１０ｃが測定した監査データを監査データＤｃと記載する。また、以下の説明では、評価装置１０が測定した監査データを監査データＤｘと記載する。

なお、以下の説明では、３つの監査データＤａ、Ｄｂ、Ｄｃから信頼度の低い監査データを検出する例について説明するが、実施形態はこれに限定されるものではない。すなわち、連携システム評価部１７は、以下に説明する処理と同様の処理を実行することで、任意の数の監査データから信頼度の低い監査データを検出することができる。

例えば、連携システム評価部１７は、収集部１６から、監査データＤａ、Ｄｂ、Ｄｃを受信する。また、連携システム評価部１７は、監査データ公開ＤＢ１３から監査データＤｘを取得する。続いて、連携システム評価部１７は、監査データＤａ、Ｄｂ、Ｄｃから検証対象となる監査データＤａを選択する。

そして、連携システム評価部１７は、選択した監査データＤａと、監査データＤａ以外の監査データＤｘ、Ｄｂ、Ｄｃの和集合である統合データとを比較し、両データの平均値や分散値に有意差が存在するか否かを判定する。なお、以下の説明では、監査データの和集合をプラス記号で示す。例えば、以下の説明では、監査データＤｂと監査データＤｃとの和集合を総合データＤｂ＋Ｄｃと記載する。

ここで、図５、図６を用いて、総合データＤｂ、Ｄｃの一例について説明する。図５は、第１の実施形態に係る監査データの一例を説明する第１の図である。また、図６は、第１の実施形態に係る監査データの一例を説明する第２の図である。なお、図５には、監査データＤｂの一例を図３、図４と同様にプロットし、図６には、監査データＤｃの一例を図３、図４と同様にプロットした。

図５に示す例では、評価装置１０ｂは、測定日５日、１５日、２０日の３日間、サービス提供システム１が提供するサービスの品質を測定した。このため、監査データＤｂには、図５に示すように、測定日５日、１５日、２０日において、ベンチマークスコアが約１００となるサービス品質情報が含まれる。

一方、図６に示す例では、評価装置１０ｃは、測定日４日、６日、２２日の３日間、サービス提供システム１が提供するサービスの品質を測定した。このため、監査データＤｃには、図６に示すように、測定日４日、６日、２２日において、ベンチマークスコアが約９０となるサービス品質情報が含まれる。

ここで、連携システム評価部１７は、評価装置１０ｂが測定した監査データＤｂと、評価装置１０ｃが測定した監査データＤｃとの和集合を算出する。この結果、例えば、連携システム評価部１７は、図７に示す総合データを取得する。図７は、第１の実施形態に係る総合データの一例を説明する図である。連携システム評価部１７は、監査データＤｂと監査データＤｃとの和集合を算出することで、例えば、図７に示すように、図５に示した監査データＤｂと図６に示した監査データＤｃとを重ね合わせた総合データＤｂ＋Ｄｃを得る。

さらに、連携システム評価部１７は、総合データＤｂ＋Ｄｃと監査データＤｘとの和集合を算出し、統合データＤｘ＋Ｄｂ＋Ｄｃを取得する。次に、連携システム評価部１７は、監査データＤａに含まれるサービス品質情報が測定された時刻と統合データＤｘ＋Ｄｂ＋Ｄｃに含まれるサービス品質情報が測定された時刻とに共通する期間を全て抽出し、抽出した期間の集合を共通測定期間とする。そして、連携システム評価部１７は、共通測定期間内に測定されたサービス品質情報を監査データＤａおよび統合データＤｘ＋Ｄｂ＋Ｄｃから抽出し、抽出したサービス品質情報に有意差の検証を行う。

例えば、連携システム評価部１７は、監査データＤａに含まれるサービス品質情報の時刻情報と、統合データＤｘ＋Ｄｂ＋Ｄｃに含まれるサービス品質情報の時刻情報とを比較し、年、月、日、時間が共通する期間を全て抽出する。詳細な例では、連携システム評価部１７は、監査データＤａに平成２５年３月１日１９時２０分に測定したサービス品質情報が含まれ、統合データＤｘ＋Ｄｂ＋Ｄｃに平成２５年３月１日１９時３５分に測定したサービス品質情報が含まれる際に、共通測定期間の粒度を１時間とする場合は、共通測定期間として、平成２５年３月１日１９時００分００秒〜平成２５年３月１日１９時５９分５９秒を抽出する。

そして、連携システム評価部１７は、監査データＤａおよび統合データＤｘ＋Ｄｂ＋Ｄｃから共通測定期間に測定されたサービス品質情報をそれぞれ抽出し、抽出したサービス品質情報同士の有意差を示す値としてｐ値を仮説検定により算出する。すなわち、連携システム評価部１７は、監査データＤａと統合データＤｘ＋Ｄｂ＋Ｄｃとに差がないと仮定した際に差があると結論づけられる確率の近似値を算出する。その後、連携システム評価部１７は、ｐ値の値が所定の閾値よりも小さいか否かを判定し、所定の閾値よりも小さい場合は、監査データＤａの信頼度が低いと判定する。

また、連携システム評価部１７は、他の監査データＤｂ、Ｄｃについても、監査データＤａと同様に、他の監査データの和集合である統合データとの統計量に有意な差が存在するか否かを仮説検定により判定することで、信頼度の判定を行う。そして、連携システム評価部１７は、各監査データＤｘ、Ｄａ、Ｄｂ、Ｄｃを出力部１８に出力するとともに、各監査データＤｘ、Ｄａ、Ｄｂ、Ｄｃの信頼度が高いか低いかを通知する。

ここで、連携システム評価部１７は、信頼度が低いと判定した監査データについては、他の監査データの信頼度を判断する際に統合データから除外して判定を行う。例えば、連携システム評価部１７は、監査データＤａの信頼度が低いと判定した場合は、監査データＤｂの信頼度を判定する際に、監査データＤｂと統合データＤｘ＋Ｄｃとの比較を行う。かかる場合、連携システム評価部１７は、各監査データの信頼度をどのような順番で判定しても良い。また、連携システム評価部１７は、仮説検定を実行する際に、任意のパラメータ値を採用することができる。

なお、他の例では、連携システム評価部１７は、全ての監査データについて信頼度を判定してから、信頼度が低いと判定されたもののうち、信頼度が最も低い監査データを割愛し、残りの全監査データについて、再度信頼度を判定してもよい。かかる場合、連携システム評価部１７は、マン・ホイットニーのＵ検定等の仮説検定を用いて、各監査データの信頼度をｐ値という定量的な値で算出できるので、監査データの信頼度の順位付けを容易に行うことができる。

また、他の例では、連携システム評価部１７は、複数のサービス提供システムが提供するサービスの品質を、複数の評価装置が評価する場合、サービス提供システムと評価装置との組ごとに、監査データの信頼度を評価する。そして、連携システム評価部１７は、信頼度の評価結果が低い監査データを測定した評価装置による全ての評価データを統合データから除外してもよい。

また、他の例では、連携システム評価部１７は、統合データに含まれるサービス品質情報の数を任意の測定期間ごとに計数し、ある期間内に測定されたサービス品質情報の数が所定の閾値よりも多い場合は、かかる期間内に測定されたサービス品質情報のうち、ランダムに選択した所定の数のサービス品質情報以外のサービス品質情報を削除することで、統合データに含まれるサービス品質情報の時間的な偏りを軽減してもよい。

以下、連携システム評価部１７がある期間内に測定されたサービス品質情報から所定の数のサービス品質情報をランダムに選択する処理について説明する。なお、以下の説明では、サービス品質情報の数が所定の閾値よりも多い期間を重複測定期間と記載する。また、以下の説明では、連携システム評価部１７は、評価装置１０、１０ｂ、１０ｃのうち２つ以上の評価装置がサービス品質情報を測定した重複測定期間を抽出し、抽出した重複測定期間内のサービス品質情報から１つのサービス品質情報を選択する例について説明する。

例えば、連携システム評価部１７は、統合データＤｘ＋Ｄｂ＋Ｄｃに含まれる各サービス品質情報が測定された時刻を参照し、２つ以上のサービス品質情報が測定された重複期間を抽出する。そして、連携システム評価部１７は、抽出した重複測定期間ごとに、重複測定期間内に測定されたサービス品質情報から、１つのサービス品質情報をランダムに選択する。その後、連携システム評価部１７は、重複測定期間内に測定されたサービス品質情報から、選択したサービス品質情報以外のサービス品質情報を削除した統合データＤｘ＋Ｄｂ＋Ｄｃを生成する。

例えば、連携システム評価部１７は、統合データＤｘ＋Ｄｂ＋Ｄｃに平成２５年３月１日１９時台に測定されたサービス品質情報が２つ以上含まれる場合は、重複測定期間である平成２５年３月１日１９時台に測定されたサービス品質情報からランダムに１つのサービス品質情報を選択する。そして、連携システム評価部１７は、統合データＤｘ＋Ｄｂ＋Ｄｃに含まれる平成２５年３月１日１９時台に測定されたサービス品質情報のうち、選択したサービス品質情報以外のサービス品質情報を削除する。その後、連携システム評価部１７は、統合データＤｘ＋Ｄｂ＋Ｄｃと監査データＤａとの比較を行う。

このように、連携システム評価部１７は、各期間におけるサービス品質情報の数をそろえた統合データを生成し、生成した統合データと監査データとを比較することで、監査データの信頼度を評価する。かかる処理を行った場合、評価装置１０は、監査データの評価に用いるサービス品質情報の測定時刻の偏りを軽減するので、監査データの信頼度を精度良く評価できる。

例えば、一部の測定期間において、複数の評価装置がサービス品質情報を重複して測定した場合は、監査データの評価に用いるサービス品質情報に測定時間の偏りが生じる結果、監査データの信頼度の評価精度を悪化させてしまう。そこで、連携システム評価部１７は、重複測定期間内に測定されたサービス品質情報から所定の数のサービス品質情報をランダムに選択することで、監査データの評価に用いる統合データに含まれるサービス品質情報の時間的な偏りを解消する結果、監査データの信頼度の評価精度を向上させることができる。

なお、連携システム評価部１７は、測定されたサービス品質情報の数を計数する測定期間の長さを任意に設定してよい。例えば、連携システム評価部１７は、時間単位ではなく、日単位で測定されたサービス品質情報の数を計数してもよい。また、連携システム評価部１７は、重複測定期間内に測定されたサービス品質情報から、任意の数のサービス品質情報を測定してよい。また、連携システム評価部１７は、上述した任意の処理を矛盾しない範囲で組み合わせて実行することができる。

図２に戻り、出力部１８は、収集部１６が収集した監査データのうち、信頼度が所定の閾値よりも高い監査データと、測定部１４が測定した監査データとの和集合を統合データとして算出し、算出した統合データを自己申告データ評価部１９に出力する。例えば、出力部１８は、連携システム評価部１７から、監査データＤｘ、Ｄａ、Ｄｂ、Ｄｃを受信する。また、出力部１８は、連携システム評価部１７から、監査データＤａの信頼度が低い旨の通知を受信する。かかる場合は、出力部１８は、監査データＤａを除く各監査データＤｘ、Ｄｂ、Ｄｃを統合した統合データＤｘ＋Ｄｂ＋Ｄｃを算出し、算出した統合データＤｘ＋Ｄｂ＋Ｄｃを自己申告データ評価部１９に出力する。

自己申告データ評価部１９は、収集部１６が収集した監査データと測定部１４が測定した監査データとを用いて、サービス提供システム１が公開する自己申告データの信頼度を評価する。具体的には、自己申告データ評価部１９は、出力部１８から、信頼度が所定の閾値よりも高い監査データを統合した統合データを受信する。かかる場合、自己申告データ評価部１９は、通信部１１に対し、自己申告データの送信要求を出力し、自己申告データを受信する。そして、自己申告データ評価部１９は、出力部１８から受信した統合データと受信した自己申告データとを比較し、自己申告データの信頼度を評価する。その後、自己申告データ評価部１９は、例えば、自己申告データの評価結果をユーザ端末３等に通知する。

なお、自己申告データ評価部１９は、例えば、マン・ホイットニーのＵ検定等の統計的検定により、自己申告データと統合データとの平均値や分散値などに有意差が存在するか否かによって、自己申告データの信頼度を評価する。詳細な例を挙げると、自己申告データ評価部１９は、連携システム評価部１７と同様に、自己申告データと統合データとから共通測定期間を抽出する。そして、自己申告データ評価部１９は、抽出した共通測定期間内に測定されたサービス品質情報を自己申告データと統合データとから抽出し、抽出したサービス品質情報の有意差を示す値としてｐ値を仮説検定により算出する。

その後、自己申告データ評価部１９は、ｐ値が所定の閾値よりも低い場合は、自己申告データの信頼度が低いと評価する。一方、自己申告データ評価部１９は、ｐ値が所定の閾値よりも高い場合は、自己申告データと統合データとに有意差がないと判断し、自己申告データの信頼度が高いと評価する。

なお、自己申告データ評価部１９は、連携システム評価部１７と同様に、以下の処理を行っても良い。すなわち、自己申告データ評価部１９は、出力部１８から受信した統合データに含まれるサービス品質情報の測定日時を参照し、所定の閾値以上の数のサービス品質情報が測定された重複測定期間を抽出する。また、自己申告データ評価部１９は、統合データに含まれるサービス品質情報のうち、抽出した重複測定期間内に測定されたサービス品質情報からランダムに所定の数のサービス品質情報を選択する。そして、自己申告データ評価部１９は、抽出した重複測定期間内に測定されたサービス品質情報のうち、選択したサービス品質情報以外のサービス品質情報を削除する。

その後、自己申告データ評価部１９は、自己申告データと統合データとを比較することで、自己申告データの信頼度を評価する。かかる処理を実行することで、評価装置１０は、統合データからサービス品質情報を測定した時間的な偏りを軽減するので、自己申告データの信頼度を評価する精度を向上させることができる。

次に、図８を用いて、評価装置１０の効果について説明する。図８は、第１の実施形態に係る評価装置の効果を説明する図である。なお、図８に示す例では、サービス提供システム１がサービス品質情報を常時測定する例について説明する。例えば、従来の評価機関は、図８中（Ａ）に示すように、所定の頻度でサービス品質情報を測定した監査データと、自己申告データとを比較する。このため、従来の評価機関は、図８中（Ａ）で網掛けした範囲についてのみ自己申告データが正しいか否かを保障するが、他の部分については、保証することができない。

一方、図８中（Ｂ）に示すように、評価装置１０は、評価装置１０、１０ａ〜１０ｃの監査データを統合して自己申告データが正しいか否かを判定する。このため、評価装置１０は、図８中（Ｃ）に示すように、評価装置１０がサービス品質情報の測定を行った範囲だけではなく、評価装置１０ａ〜１０ｃがサービス品質情報の測定を行った範囲についても自己申告データが正しいか否かを保障することができる。この結果、評価装置１０は、図８中（Ｂ）の網掛けした範囲に示すように、自己申告データが正しいか否かを保障する期間を拡大する結果、自己申告データの検査精度を向上させることができる。

また、評価装置１０は、評価装置１０、１０ａ〜１０ｃの監査データをそれぞれ比較し、信頼度の高い監査データのみを統合した統合データを生成する。そして、評価装置１０は、生成した統合データと自己申告データとを比較して、自己申告データの信頼度を評価する。この結果、評価装置１０は、偽装を行う評価装置やサービス品質情報の測定精度が悪い評価装置の監査データを除外して自己申告データの信頼度を評価するので、検査制度の悪化を防ぐことができる。

ここで、図８中（Ｃ）に示す範囲には、監査装置１０ａと監査装置１０ｂとがサービス品質情報の測定を行った重複測定期間が存在し、かかる期間だけ複数のサービス品質情報が存在するので、統合データにサービス品質情報の時間的な偏りが存在する。そこで、評価装置１０は、重複測定期間内に測定されたサービス品質情報のうち、監査装置１０ａが測定したサービス品質情報と監査装置１０ｂが測定したサービス品質情報とのいずれか一方を選択し、他方のサービス品質情報を統合データから削除する。この結果、評価装置１０は、統合データに含まれるサービス品質情報の時間的な偏りを解消できるので、自己申告データの信頼度を評価する精度を向上させることができる。

次に、図９を用いて、評価装置１０が実行する処理の流れについて説明する。図９は、第１の実施形態に係る評価装置が実行する処理の流れを説明するフローチャートである。例えば、評価装置１０は、他の評価装置１０ａ〜１０ｃから監査データを収集する（ステップＳ１０１）。次に、評価装置１０は、収集した監査データと自装置の監査データとを用いて、信頼できる監査データの抽出を行う（ステップＳ１０２）。

また、評価装置１０は、抽出した信頼できる監査データと自装置の監査データとを統合した統合データを生成する（ステップＳ１０３）。そして、評価装置１０は、サービス提供システム１から自己申告データを取得し（ステップＳ１０４）、統合データと自己申告データとを比較して自己申告データの信頼度を評価する（ステップＳ１０５）。その後、評価装置１０は、評価結果を出力し（ステップＳ１０６）、処理を終了する。

次に、図１０を用いて、評価装置１０が信頼できる監査データの抽出を行う処理の一例について説明する。図１０は、第１の実施形態に係る評価装置が信頼できる監査データを抽出する処理の流れを説明するフローチャートである。なお、図１０に示す処理は、図９中ステップＳ１０２に示す処理を詳細にしたものである。

また、図１０に示す処理は、処理を一般化するため、評価装置の集合をＥ_１，Ｅ_２、…，Ｅ_ｍとし、サービス提供システムの集合をＩ_１，Ｉ_２，…，Ｉ_ｎとする。また、図１０に示す例では、評価装置Ｅ_ｉによるサービス提供システムＩ_ｊの監査データをＤ_ｉ，ｊと記載した。また、図１０に示す例では、監査データＤ_ｉ，ｊの信頼度を評価する際に用いる統合データをＤ_ａｌｌ（ｉ，ｊ）と記載した。

まず、評価装置１０は、初期値をｉ＝１、ｊ＝１として図１０に示す処理を開始する（ステップＳ２０１）。次に、評価装置１０は、Ｄ_ｉ，ｊが、後述するステップＳ２１２の処理によって除外されているか否かを判定する（ステップＳ２０２）。そして、評価装置１０は、Ｄ_ｉ，ｊが、後述するステップＳ２１２の処理によって除外されていない場合は（ステップＳ２０２：否定）、統合データＤ_ａｌｌ（ｉ，ｊ）の算出を行う（ステップＳ２０３）。

詳細には、評価装置１０は、統合データＤ_ａｌｌ（ｉ，ｊ）＝Σ_ｋ≠ｉＤ_ｋ，ｊ＝Ｄ_１，ｊ＋Ｄ_２，ｊ＋…Ｄ_{ｉ−１，ｊ}＋Ｄ_{ｉ＋１，ｊ}＋…Ｄ_ｍ，ｊを算出する。この際、評価装置１０は、ステップＳ２１２にて除外されたＤ_{ｉ’，ｊ’}については無視して加算を行わない。すなわち、評価装置１０は、サービス提供システムＩ_ｊに対する全評価装置１０、１０ａ〜１０ｃの監査データのうち、信頼度の評価対象となる監査データＤ_ｉ，ｊと、信頼度が低いと判断された監査データＤ_{ｉ’，ｊ’}とを除外した監査データの総和を統合データＤ_ａｌｌ（ｉ，ｊ）として算出する。次に、評価装置１０は、Ｄ_ａｌｌ（ｉ，ｊ）とＤ_ｉ，ｊとから共通測定期間に測定された測定値を抽出し、抽出したデータに対して仮説検定を実行し（ステップＳ２０４）、仮説検定の結果をｐ_ｉ，ｊとして記憶する（ステップＳ２０５）。

次に、評価装置１０は、ｊ＝ｎであるか否かを判定する（ステップＳ２０６）。すなわち、評価装置１０は、評価装置Ｅ_ｉが測定した全ての監査データについて、信頼度の評価を行ったか否かを判定する。そして、評価装置１０は、ｊ＝ｎではない場合（ステップＳ２０６：Ｎｏ）、すなわち、評価装置Ｅ_ｉが測定した他の監査データについて信頼度の評価を行っていない場合は、ｊの値に１を加算し（ステップＳ２０７）、ステップＳ２０２を実行する。また、評価装置１０は、ｊ＝ｎである場合は（ステップＳ２０６：Ｙｅｓ）、ｉ＝ｍであるか否かを判定する（ステップＳ２０８）。すなわち、評価装置１０は、サービス提供システムＩ_ｊについての全ての監査データについて、信頼度の評価を行ったか否かを判定する。そして、評価装置１０は、ｉ＝ｍではない場合（ステップＳ２０８：Ｎｏ）、すなわち、サービス提供システムＩ_ｊについて測定された監査データのうち、信頼度の評価が行われていない監査データが存在する場合は、ｉの値に１を加算し（ステップＳ２０９）、ステップＳ２０２を実行する。

また、評価装置１０は、ｉ＝ｍである場合（ステップＳ２０８：Ｙｅｓ）、すなわち、全ての評価装置と全てのサービス提供システムとの組について、仮説検定の結果を算出した場合は、記憶したｐ_ｉ，ｊのうち、最小の値を選択する（ステップＳ２１０）。続いて、評価装置１０は、選択したｐ_ｉ，ｊの値が所定の閾値以下か否かを判定し（ステップＳ２１１）、選択したｐ_ｉ，ｊの値が所定の閾値以下である場合は（ステップＳ２１１：Ｙｅｓ）、Ｄ_ｉ，１、Ｄ_ｉ，２…、Ｄ_ｉ，ｎを処理の対象から除外する（ステップＳ２１２）。すなわち、評価装置１０は、仮説検定の結果、信頼度が所定の閾値よりも低く、かつ、信頼度が最も低い監査データを測定した評価装置により測定された全ての監査データをＤ_{ｉ’，ｊ’}として処理の対象から除外する。

その後、評価装置１０は、記憶した全てのｐ_ｉ，ｊを消去して（ステップＳ２１３）、ステップＳ２０１から処理を再度実行する。一方、評価装置１０は、選択したｐ_ｉ，ｊの値が所定の閾値より大きい場合は（ステップＳ２１１：Ｎｏ）、ステップＳ２１２にて除外したＤ_{ｉ’，ｊ’}を信頼度が低い監査データとして出力し（ステップＳ２１４）、処理を終了する。なお、評価装置１０は、Ｄ_ｉ，ｊが、ステップＳ２１２の処理によって除外されている場合は（ステップＳ２０２：肯定）、ステップＳ２０３〜Ｓ２０５の処理をスキップし、ステップＳ２０６を実行する。

［評価装置１０の効果］
上述したように、評価装置１０は、サービス提供システム１のサービス品質情報を測定する。また、評価装置１０は、測定したサービス品質情報を公開する。また、評価装置１０は、他の評価装置１０ａ〜１０ｃが測定したサービス品質情報を収集し、収集したサービス品質情報と測定したサービス品質情報とを用いて、サービス提供システム１が測定したサービス品質情報である自己申告データの信頼度を評価する。

このため、評価装置１０は、自己申告データの信頼度を保障する期間を拡大し、自己申告データの検証精度を向上させることができる。また、評価装置１０は、評価装置１０、１０ａ〜１０ｃの監査データを統合することで、監査データに含まれるサービス品質情報の標本数が増加するので、自己申告データの検査制度を向上させることができる。

また、評価装置１０は、他の評価装置１０ａ〜１０ｃが測定したサービス品質情報と評価装置１０が測定したサービス品質情報との比較結果に基づいて、他の評価装置１０ａ〜１０ｃが測定したサービス品質情報の信頼度をそれぞれ評価する。そして、評価装置１０は、信頼度が所定の閾値よりも高いサービス品質情報と、評価装置１０が測定したサービス品質情報とを用いて、自己申告データの信頼度を評価する。このため、評価装置１０は、偽装が含まれるサービス品質情報や、測定精度が悪いサービス品質情報等、ノイズとなるサービス品質情報を除外して自己申告データの信頼度を検証するので、自己申告データの検証精度を向上させることができる。

また、評価装置１０は、統合データに含まれるサービス品質情報と、評価対象となるサービス品質情報とから、共通測定期間内に測定されたサービス品質情報を抽出し、抽出したサービス品質情報の比較結果に応じて、評価対象となるサービス品質情報の信頼度を評価する。すなわち、評価装置１０は、同時期に測定されたサービス品質情報の比較結果に応じて、各評価装置１０ａ〜１０ｃが測定したサービス品質情報の信頼度を評価するので、より適切にサービス品質情報の信頼度を評価できる。

また、評価装置１０は、統合データに含まれるサービス品質情報から、所定の閾値よりも多くのサービス品質情報が測定された重複測定期間を抽出し、重複測定期間内に測定されたサービス品質情報から所定の数のサービス品質情報をランダムに選択する。また、評価装置１０は、重複測定期間内に測定されたサービス品質情報のうち、選択したサービス品質情報以外のサービス品質情報を削除する。その後、評価装置１０は、統合データと評価対象となる監査データとの比較結果に応じて、評価対象となる監査データの信頼度を評価する。このため、評価装置１０は、監査データの評価を行う際に時間的な偏りを解消するので、監査データの評価を精度良く実行できる。

また、評価装置１０は、信頼度が所定の閾値よりも高いと評価された監査データの和集合である統合データに含まれるサービス品質情報から、所定の閾値よりも多くのサービス品質情報が測定された重複測定期間を抽出し、重複測定期間内に測定されたサービス品質情報から所定の数のサービス品質情報をランダムに選択する。また、評価装置１０は、重複測定期間内に測定されたサービス品質情報のうち、選択したサービス品質情報以外のサービス品質情報を削除する。そして、評価装置１０は、統合データと自己申告データとの比較結果に応じて、自己申告データの信頼度を評価する。このため、評価装置１０は、自己申告データの評価を行う際に、各評価装置１０、１０ａ〜１０ｃが測定した監査データの時間的な偏りを解消するので、自己申告データの評価を制度良く実行できる。

また、評価装置１０は、評価装置１０ａ〜１０ｃが測定したサービス品質情報のうち、評価対象となるサービス品質情報および信頼度が所定の閾値よりも低いと評価されたサービス品質情報を除外したサービス品質情報と、評価装置１０が測定したサービス品質情報との和集合である統合データと、評価対象となるサービス品質情報とを比較する。このため、評価装置１０は、より適切にサービス品質情報の信頼度を評価できる。

（他の実施形態）
これまで第１の実施形態について説明したが、開示する発明は上述した実施形態以外にも様々な異なる形態にて実施されてよいものである。そこで、以下では他の実施形態について説明する。

（システム構成）
また、第１の実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上述文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

（信頼度を評価する際の処理について）
評価装置１０は、上述した処理以外の処理を実行することで、各監査データの評価を行っても良い。例えば、評価装置１０は、複数のサービス提供システムが存在する場合は、各評価装置１０ａ〜１０ｃが各サービス提供システムについて測定した監査データに対する信頼度の値（ｐ値等）の最小値や平均値、最大値を取るなどして評価装置１０ａ〜１０ｃごとの信頼度を算出し、算出した信頼度が所定の閾値よりも低い評価装置が測定した監査データを、統合データから除外してもよい。

また、評価装置１０は、監査データの信頼度を評価する際に、仮説検定以外の処理を行っても良い。また、評価装置１０は、監査データの信頼度を定量的に算出する必要はなく、任意の手法を用いて、監査データの信頼度を評価し、評価結果に応じて監査データの除外等を行ってもよい。また、評価装置１０は、ｐ値以外の値を評価値として用いてもよい。すなわち、評価装置１０は、監査データや自己申告データの信頼度を示す情報が所定の閾値よりも低く、信頼度が低いと判断した場合は、監査データや自己申告データに偽装が含まれると判定しても良い。

（プログラム）
また、上記実施形態において説明した評価装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、第１の実施形態に係る評価装置１０が実行する処理をコンピュータが実行可能な言語で記述した評価プログラムを作成することもできる。この場合、コンピュータが評価プログラムを実行することにより、上記実施形態と同様の効果を得ることができる。

さらに、かかる通評価プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された評価プログラムをコンピュータに読み込ませて実行することにより上記第１の実施形態と同様の処理を実現してもよい。以下に、評価装置１０と同様の機能を実現する評価プログラムを実行するコンピュータの一例を説明する。

図１１は、実施形態に係る評価プログラムを実行するコンピュータを示す図である。図１１に示すように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ（Central Processing Unit）１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ（Random Access Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。ディスクドライブ１１００には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１１１０およびキーボード１１２０が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１１３０が接続される。

ここで、図１１に示すように、ハードディスクドライブ１０９０は、例えば、ＯＳ（Operating System）１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。本実施形態に係る評価プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ１０９０に記憶される。具体的には、上記実施形態で説明した測定部１４、公開部１５、収集部１６、連携システム評価部１７、出力部１９、自己申告データ評価部１９が実行する各種処理を実行させるためのプログラムモジュールが、ハードディスクドライブ１０９０に記憶される。

また、上記実施形態で説明した監査データのように、評価プログラムによる情報処理に用いられるデータは、プログラムデータとして、例えば、ハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０９０に記憶されたプログラムモジュールやプログラムデータを必要に応じてＲＡＭ１０１２に読み出して、収集ステップと、選択ステップと、表示ステップとを実行する。

なお、評価プログラムに係るプログラムモジュールやプログラムデータは、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、情報送受信プログラムに係るプログラムモジュールやプログラムデータは、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

これまでいくつかの実施形態を説明したが、本願が開示する技術はこれらの実施形態に限定されるものではない。すなわち、これらの実施形態は、その他の様々な形態で実施されることが可能であり、種々の省略、置き換え、変更を行うことができる。

例えば、各装置の分散・統合の具体的形態（例えば、図２の形態）は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合することができる。一例を挙げると、測定部１４と公開部１５とを一つの部として統合してもよい。また、収集部１６、連携システム評価部１７、出力部１８を１つの部として統合してもよい。

また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともできる。

これらの実施形態やその変形は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ サービス提供システム
２ ネットワーク
３ ユーザ端末
４ 自己申告データ公開ＤＢ
５ システム制御部
６ サービス提供部
６ａ、６ｂ ＶＭ
７ 通信部
８ 自己測定部
９ 公開部
１０、１０ａ〜１０ｃ 評価装置
１１ 通信部
１２ 制御部
１３ 監査データ公開ＤＢ
１４ 測定部
１５ 公開部
１６ 収集部
１７ 連携システム評価部
１８ 出力部
１９ 自己申告データ評価部
１００ 評価システム

Claims (8)

1. サービス提供システムによりネットワークを介して提供されるサービスの品質を評価する複数の評価装置を備えた評価システムであって、
   前記評価装置は、
   前記サービスの品質を示すサービス品質情報を測定する測定部と、
   前記測定部が測定したサービス品質情報を他の評価装置に公開する公開部と、
   前記他の評価装置が公開するサービス品質情報を収集する収集部と、
   前記収集部が収集したサービス品質情報と前記測定部が測定したサービス品質情報とを用いて、前記サービス提供システムにより測定されたサービス品質情報の信頼度を評価する自己申告データ評価部と
   を有することを特徴とする評価システム。
2. 前記評価装置は、
   前記収集部が収集したサービス品質情報と前記測定部が測定したサービス品質情報との比較結果に基づいて、前記収集部が収集したサービス品質情報の信頼度をそれぞれ評価する連携システム評価部を有し、
   前記自己申告データ評価部は、前記収集部が収集したサービス品質情報のうち、前記連携システム評価部により評価された信頼度が所定の閾値よりも高いサービス品質情報と、前記測定部が測定したサービス品質情報とを用いて、前記サービス提供システムが公開するサービス品質情報の信頼度を評価することを特徴とする請求項１に記載の評価システム。
3. 前記連携システム評価部は、前記収集部が収集したサービス品質情報のうち評価対象となるサービス品質情報以外のサービス品質情報と前記測定部が測定したサービス品質情報との和集合である統合データと、前記評価対象となるサービス品質情報とを比較することで、該評価対象となるサービス品質情報の信頼度を評価することを特徴とする請求項２に記載の評価システム。
4. 前記連携システム評価部は、前記統合データに含まれる測定値と前記評価対象となるサービス品質情報に含まれる測定値とから、共通してサービス品質情報の測定を行った期間を抽出し、前記統合データに含まれる測定値のうち抽出した期間内に測定された測定値と前記評価対象となるサービス品質情報に含まれる測定値のうち抽出した期間内に測定された測定値との比較結果に応じて、前記評価対象となるサービス品質情報の信頼度を評価することを特徴とする請求項３に記載の評価システム。
5. 前記連携システム評価部は、前記統合データに含まれる測定値から、所定の閾値よりも多くの測定値が測定された重複測定期間を抽出し、当該重複測定期間内に測定された測定値から、ランダムに選択された所定の数の測定値以外の測定値を削除し、当該測定値の削除を行った統合データに含まれる測定値と前記評価対象となるサービス品質情報に含まれる測定値との比較結果に応じて、前記評価対象となるサービス品質情報の信頼度を評価することを特徴とする請求項３または４に記載の評価システム。
6. 前記自己申告データ評価部は、前記連携システム評価部により信頼度が所定の閾値よりも高いと評価されたサービス品質情報と前記測定部が測定したサービス品質情報との和集合である統合データに含まれる測定値から、所定の閾値よりも多くの測定値が測定された重複測定期間を抽出し、当該重複測定期間内に測定された測定値から、ランダムに選択された所定の数の測定値以外の測定値を削除し、当該測定値の削除を行った統合データに含まれる測定値と前記サービス提供システムにより測定されたサービス品質情報に含まれる測定値との比較結果に応じて、前記サービス提供システムが公開するサービス品質情報の信頼度を評価することを特徴とする請求項２〜５のいずれか１つに記載の評価システム。
7. 前記連携システム評価部は、前記収集部が収集したサービス品質情報のうち、評価対象となるサービス品質情報および信頼度が所定の閾値よりも低いと評価されたサービス品質情報を除くサービス品質情報と、前記測定部が測定したサービス品質情報との和集合である統合データを生成し、当該生成データと前記評価対象となるサービス品質情報とを比較することを特徴とする請求項３〜６のいずれか１つに記載の評価システム。
8. サービス提供システムによりネットワークを介して提供されるサービスの品質を評価する複数の評価装置を有する評価システムで実行される評価方法であって、
   各評価装置が、
   前記サービスの品質を示すサービス品質情報を所定の頻度で測定する測定工程と、
   前記測定工程で測定されたサービス品質情報を他の評価装置に公開する公開工程と、
   前記他の評価装置が公開するサービス品質情報を収集する収集工程と、
   前記収集工程で収集されたサービス品質情報と前記測定工程で測定されたサービス品質情報とを用いて、前記サービス提供システムが公開するサービス品質情報の信頼度を評価する自己申告データ評価工程と
   を含むことを特徴とする評価方法。
   

Images