JP5779616B2 - ＱｏＥ評価装置、ＱｏＥ評価方法及びプログラム - Google Patents

Description

本発明は、情報通信サービスのユーザ体感品質（QoE: Quality of Experience）を評価及び管理するための技術に関する。

モバイルネットワークやクラウドコンビューティングを利用して、データや映像、音響等をIP技術を用いて通信する情報通信サービスが提供されている。ユーザに快適な情報通信サービスを提供するためには、ユーザが体感する品質(QoE: Quality of Experience)を適切に監視・管理することが重要視されている。情報通信サービスの品質を評価する指標の１つとして、ユーザがサービス開始要求をしてから応答結果を知覚するまでの応答時間（レスポンスタイム）が利用される。

ITU-T勧告G.1030（非特許文献１）では、データアプリケーション（具体的には、Web閲覧)のレスポンスタイムに対するQoE（5段階（5:非常に良い、4:良い、3:普通、2:悪い、1:非常に悪い）の平均評点）の推定手法が勧告されている。本勧告では、Web閲覧での「検索サイト表示要求」、「検索サイト表示」、「検索開始要求」及び「検索結果表示」の単純化された作業フローに対して、レスポンスタイムが、ユーザ要求からサーバ応答（データ）がユーザ端末に戻るまでの処理時間と、ユーザ端末での表示時間との２つに分類される。そして、各処理のレスポンスタイム（「検索サイト表示要求」からサーバ応答がユーザ端末に戻るまでの時間、サーバ応答が戻ってから検索サイトがユーザ端末に表示されるまでの時間、検索開始要求からサーバ応答がユーザ端末に戻るまでの時間、サーバ応答が戻ってから検索結果が表示されるまでの時間）に対して重みづけを行い、重みづけされたレスポンスタイムを入力としてQoEを推定する手法が勧告されている。

また、非特許文献２に記載されるように、同じレスポンスタイムであってもWebアクセス、電話、電子メール、ファイルダウンロードといったサービス(アプリケーション)の種類によりQoEが異なることが報告されている。

ITU-T Recommendation G.1030 "Estimating end-to-end performance in IP networks for data applications" 「待ち時間に対する満足度を考慮したアプリケーション分類に関する一検討」信学技報IEICE Technical Report CQ2010-15(2010-4)

しかしながら、情報通信サービスに対するQoEは、サービス(アプリケーション)の種類の違いのみではなく、同一サービス内で発生する様々な個別処理に応じて異なると考えられる。例えば、メールアプリケーション（Webメールやクラウドコンビューティングを利用したメールアプリケーション等）では、「アプリケーションの起動」、「ログイン」、「メール受信」、「メール送信」、「アドレス検索」等の異なる処理が実行されるが、各処理のレスポンスタイムに対するユーザの許容度やQoEは、同じレスポンスタイムであっても異なると考えられる。例えば、「アプリケーションの起動」に多少時間がかかってもユーザは許容する傾向にあるが、「アドレス検索」に時間がかかった場合、ユーザはこの遅延を許容しない傾向があると想定される。

従来技術では、情報通信サービスの一連の処理フローで発生する複数のレスポンスタイムに対して１つのQoEは推定できたが、同一サービス内に存在する異なる個別処理毎のレスポンスタイムに対する個別のQoEを推定することはできなかった。そのため、サービス利用時の一連の処理フローに対する全体的なQoEを評価することはできるが、QoEが低下した際に、QoE低下の要因となった個別処理を特定することはできなかった。

上記問題点に鑑み、本発明の１つの課題は、情報通信サービスの一連の処理過程におけるQoE変動要因となる個別処理を特定するための技術を提供することである。

上記課題を解決するため、本発明の一態様は、評価対象となる情報通信サービスを提供するのに実行される処理シーケンスを特定し、前記処理シーケンスについて測定された全体レスポンスタイム、前記処理シーケンスを構成する各個別処理について測定された処理別レスポンスタイム及び前記処理シーケンスのパケット転送遅延時間を取得し、前記取得した全体レスポンスタイム、前記処理別レスポンスタイム及び前記パケット転送遅延時間に基づき、QoEを評価するのに利用されるパケット転送遅延時間を規定するQoE評価条件を決定する評価条件決定部と、前記情報通信サービスに対するQoE評価実行要求を受け付ける評価実行要求受付部と、前記QoE評価実行要求の受付に応答して、前記情報通信サービスのQoE評価条件に規定されたパケット転送遅延時間に従って実行された処理シーケンスの前記全体レスポンスタイムに対する総合QoE評価値と、前記処理別レスポンスタイムに対する処理別QoE評価値とを取得するQoE評価部と、前記総合QoE評価値に対する前記処理別QoE評価値の影響の大きさを決定するQoE相関決定部とを有するQoE評価装置に関する。

本発明によると、情報通信サービスの一連の処理過程におけるQoE変動要因となる個別処理を特定するための技術を提供することが可能になる。

図１は、本発明の一実施例による情報通信システムを示す概略図である。 図２は、メールサービスの処理シーケンスの一例を示す図である。 図３は、メールサービスのレスポンスタイムの一例を示す図である。 図４は、本発明の一実施例によるQoE評価装置の構成を示すブロック図である。 図５は、QoE評価条件を決定するための一例となる回帰式を示す図である。 図６は、処理別レスポンスタイムと処理別QoE評価値との間の一例となる関係を示す図である。 図７は、メールサービスの一例となる総合QoEと処理別QoEとの間の相関係数を示す図である。 図８は、本発明の一実施例によるQoE評価方法を示すフロー図である。

以下、図面に基づいて本発明の実施の形態を説明する。

後述される本発明の実施例を概略すると、QoE評価装置は、ユーザ端末においてメールサービスやウェブサービスなどの情報通信サービスを提供するのに実行される処理シーケンスと当該処理シーケンスを構成する各個別処理とを特定し、処理シーケンス全体について測定された全体レスポンスタイム、各個別処理について測定された処理別レスポンスタイム及び当該処理シーケンスのパケット転送遅延時間を取得する。QoE評価装置は、これら取得した測定情報に基づき、パケット転送遅延時間を制御するためのQoE評価条件を決定する。QoE評価条件は、情報通信サービスの処理シーケンスを実行するためユーザ端末とネットワーク側との間でやりとりされるパケットのパケット転送遅延時間を網品質制御装置を介し制御するためのパラメータである。QoE評価装置からQoE評価条件を受信すると、網品質制御装置は、受信したQoE評価条件に指定されたパケット転送遅延時間に従って、ネットワーク側とユーザ端末との間のパケット転送遅延時間を制御する。

その後、情報通信サービスに対するQoE評価実行要求を受け付けると、QoE評価装置は、各QoE評価条件に対応したパケット転送遅延時間による網品質制御装置の制御の下、当該情報通信サービスの処理シーケンス全体の全体レスポンスタイムに対するQoE（総合QoE評価値）と、当該処理シーケンスを構成する各個別処理の処理別レスポンスタイムに対するQoE（処理別QoE評価値）とを複数のユーザ又は評価者から収集する。ここで、収集したQoE評価値の信頼性を向上させるため、QoE評価装置は、所定数以上の異なるQoE評価条件の下で実行された処理シーケンスについて、評価者からQoE評価値を収集することが好ましい。

QoE評価装置は、収集した総合QoE評価値と処理別QoE評価値とに対して相関係数を算出するなどの統計処理を実行することによって、総合QoE評価値に対する各処理別QoE評価値の影響の大きさを決定する。これにより、QoE評価装置は、情報通信サービスの処理シーケンス全体のレスポンスタイムの変動要因となる個別処理を特定することが可能になる。

まず、図１を参照して、本発明の一実施例による情報通信システムを説明する。図１は、本発明の一実施例による情報通信システムを示す概略図である。

図１に示されるように、情報通信システム１０は、ユーザ端末５０、QoE評価装置１００、レスポンスタイム測定装置２００、パケット転送遅延測定装置２５０、情報通信サービス提供サーバ３００、ネットワーク３５０及び網品質制御装置４００を有する。

ユーザ端末５０は、例えば、デスクトップPC (Personal Computer)、ノートPC、タブレット、スマートフォンなどであり、ネットワーク３５０を介し情報通信サービス提供サーバ３００や他のネットワーク装置と通信し、ユーザに対して各種情報通信サービスを提供する。図示された実施例では、１つのユーザ端末５０しか示されていないが、典型的には、複数のユーザ端末５０があってもよい。

ユーザ端末５０は、典型的には、補助記憶装置、メモリ装置、CPU（Central Processing Unit）、通信装置、表示装置、入力装置などの各種ハードウェアリソースから構成される。補助記憶装置は、ハードディスクやフラッシュメモリなどから構成され、ユーザ端末５０における各種処理を実現するためのプログラムやデータを格納する。これらのプログラム及びデータは、例えば、ネットワーク３５０上の各種サーバからダウンロードされてもよく、又はユーザ端末５０のインタフェースに接続された記憶媒体から提供されてもよい。メモリ装置は、RAM（Random Access Memory）などから構成され、プログラムの起動指示があった場合に、補助記憶装置からプログラムを読み出して格納する。CPUは、情報を処理するプロセッサとして機能し、メモリ装置に格納されたプログラムを実行することによって、ユーザ端末５０における各種機能を実現する。通信装置は、ネットワーク３５０を介しQoE評価装置１００や情報通信サービス提供サーバ３００などの他の装置に接続するための各種通信回路から構成される。表示装置は、ディスプレイなどから構成され、ネットワーク３５０を介し受信したコンテンツやプログラムによるGUI（Graphical User Interface）等を表示する。入力装置は、典型的には、操作ボタン、タッチパネル、キーボード、マウス等で構成され、ユーザ端末５０のユーザが様々な操作命令を入力するのに用いられる。なお、ユーザ端末５０は、上述したハードウェア構成に限定されるものでなく、他の何れか適切なハードウェア構成を有してもよい。

QoE評価装置１００は、情報通信サービス提供サーバ３００によってユーザ端末５０に提供される情報通信サービスのレスポンスタイムに対するユーザ体感品質(QoE)を評価する。ここで、情報通信サービスのレスポンスタイムとは、情報通信システム１０において、当該情報通信サービスに対するユーザのサービス開始要求から、応答結果がユーザに知覚されるまでの時間として定義される。典型的には、情報通信サービスのレスポンスタイムは、情報通信サービス提供サーバ３００における要求された情報通信サービスを提供するための処理時間、ユーザ端末５０と情報通信サービス提供サーバ３００との間のパケット転送遅延時間、及びユーザ端末５０における表示に係る処理時間から構成される。

例えば、メールサービスが評価対象の情報通信サービスである場合、図２に示されるように、メールサービスを提供するため実行される処理シーケンスは、「メーラ起動」、「ログイン」、「メール受信」、...、「メール作成」、「メール送信」及び「ログアウト」の複数の個別処理から構成される。QoE評価装置１００は、「メーラ起動」、「ログイン」、「メール受信」、...、「メール作成」、「メール送信」及び「ログアウト」の各個別処理について、レスポンスタイム測定装置２００からレスポンスタイムＴ_１，Ｔ_２，Ｔ_３，...，Ｔ_ｎ−２，Ｔ_ｎ−１，Ｔ_ｎを取得し、後述するような処理に従って当該処理シーケンス全体の総合QoE評価値(tQoE)と処理別QoE評価値（dQoE₁, dQoE₂, dQoE₃, ..., dQoE_n-2, dQoE_n-1, dQoE_n）とを算出する。

QoE評価装置１００は、各種情報通信サービスのレスポンスタイムに対するQoEを評価するため、情報通信サービスを提供する際にユーザ端末５０とネットワーク側との間でやりとりされるパケットのパケット転送遅延時間を網品質制御装置４００を介し制御して、異なるパケット転送遅延時間の下で情報通信サービスを実行する。これら異なるパケット転送遅延時間は、QoE評価装置１００により決定された各QoE評価条件に規定される。各QoE評価条件の下で実行された処理シーケンスに対して、QoE評価装置１００は、全体レスポンスタイムに対する総合QoE評価値と処理別レスポンスタイムに対する処理別QoE評価値とをユーザ又は評価者から収集する。QoE評価装置１００は、収集した総合QoE評価値と処理別QoE評価値とに対して相関係数を求めるなどの統計処理を実行することによって、総合QoE評価値に対する各処理別QoE評価値の影響の大きさを決定する。

図示された実施例では、QoE評価装置１００は、ユーザ端末５０に通信接続された独立した装置として示され、後述されるQoE評価処理を実現するためのCPU、補助記憶装置、メモリ装置、通信装置などのハードウェアリソースから構成される。しかしながら、本発明のQoE評価装置１００は、これに限定されるものでなく、例えば、ユーザ端末５０に組み込まれてもよい。この場合、QoE評価装置１００は、例えば、ユーザ端末５０上で実行されるコンピュータプログラムにより実現されてもよい。

レスポンスタイム測定装置２００は、情報通信サービス提供サーバ３００によってユーザ端末５０に提供される情報通信サービスのレスポンスタイムを測定する。より詳細には、レスポンスタイム測定装置２００は、評価対象の情報通信サービスを提供するために実行される処理シーケンスの各個別処理の処理時間として定義された処理別レスポンスタイムを測定すると共に、当該処理シーケンス全体の全体レスポンスタイムを測定する。

例えば、レスポンスタイム測定装置２００は、以下の手順により情報通信サービスを提供するため実行される処理シーケンスの各個別処理のレスポンスタイムを測定する。すなわち、レスポンスタイム測定装置２００は、（ａ）情報通信サービスの各個別処理に対するレスポンスタイムを測定するため、ユーザ端末５０の操作ログを受信する。ここで、操作ログとは、例えば、ブラウザのログ等でマウスクリックなどにより測定開始した時刻、情報通信サービス配信サーバ３００からの応答がユーザ端末５０の画面上に表示された時刻等である。なお、操作ログに実施した操作の操作種別は記録されない。本実施例では、予め設定された処理シーケンスに沿って評価者が作業を実施することにより、各個別処理順に実施した操作の操作種別を特定することが可能である。このように、操作ログに操作種別が記録されなくても、何らかの方法で各個別処理に対するレスポンスタイムが測定できればよい。次に、レスポンスタイム測定装置２００は、（ｂ）受信したユーザ端末の操作ログを用いて、各個別処理毎に分割してレスポンスタイムを算出する。さらに、レスポンスタイム測定装置２００は、算出したレスポンスタイムの情報を測定開始及び測定終了の時刻情報を付与して保存する。例えば、メールサービスの処理シーケンスのレスポンスタイムを測定した場合、レスポンスタイム測定装置２００は、図３に示されるようなデータ形式によりレスポンスタイムの情報を保存してもよい。これにより、当該パケットに対するレスポンスタイムとパケット転送遅延時間との対応付けが可能になる。

図示された実施例では、レスポンスタイム測定装置２００は、ユーザ端末５０に通信接続された独立した装置として示されているが、本発明はこれに限定されるものでなく、レスポンスタイム測定装置２００は、例えば、ユーザ端末５０に組み込まれてもよい。なお、レスポンスタイム測定装置２００は、測定対象となる情報通信サービスのデータストリームの受信中は常に動作し、測定情報を保存し続けるようにしてもよい。

パケット転送遅延測定装置２５０は、ユーザ端末５０とネットワーク側との間でやりとりされる各種パケットの転送時間を測定する。例えば、パケット転送遅延測定装置２５０は、以下の手順により情報通信サービスのパケットの転送時間を測定する。すなわち、パケット転送遅延測定装置２５０は、（ａ）ユーザ端末５０に配信されるデータストリームのパケットデータを受信し、パケットヘッダ情報（宛先又は送信元のIPアドレスやポート番号等）により、測定対象パケットを特定する。測定対象パケットは、予め設定されていてもよいし、受信パケットデータのうち最もデータ量が大きなパケットデータ（受信パケット数の多いデータストリーム）であってもよい。次に、パケット転送遅延測定装置２５０は、（ｂ）情報通信サービスの処理シーケンスで受信したパケットを対象に処理シーケンスにおける平均パケット転送遅延時間を算出する。さらに、パケット転送遅延測定装置２５０は、（ｃ）算出した平均パケット転送遅延時間の情報に測定開始及び測定終了の時刻情報を付与して保存する。これにより、当該パケットに対するレスポンスタイムとパケット転送遅延時間との対応付けが可能になる。なお、パケット転送遅延測定装置２５０は、測定対象となる情報通信サービスのデータストリームの受信中は常に動作し、測定情報を保存し続けるようにしてもよい。

情報通信サービス提供サーバ３００は、ネットワーク３５０を介しユーザ端末５０からサービス開始要求を受信すると、受信したサービス開始要求に係る情報通信サービスをネットワーク３５０を介しユーザ端末５０に提供する。情報通信サービス提供サーバ３００は、例えば、Webサービスを提供するWebサーバ、メールサービスを提供するメールサーバなどである。サービス開始要求を受信すると、情報通信サービス提供サーバ３００は、要求された情報通信サービスを提供するために各種処理を実行する。当該処理が完了すると、情報通信サービス提供サーバ３００は、要求された情報通信サービスを提供するための情報をユーザ端末５０に送信する。当該情報を受信すると、ユーザ端末５０は、受信した情報に対して表示処理などの各種処理を実行し、応答結果をユーザに表示する。当該応答結果の表示開始時点がレスポンスタイムの終了時点となる。

ネットワーク３５０は、インターネットや情報通信システム１０のオペレータにより運営されるネットワークなどである。ユーザ端末５０がネットワーク３５０と無線接続する場合、ネットワーク３５０は、例えば、基地局（図示せず）やアクセスポイント（図示せず）を介しユーザ端末５０と通信する。

網品質制御装置４００は、ユーザ端末５０においてユーザに提供される各種サービスの品質監視や品質制御等の品質管理を実行する。本実施例では、QoE評価装置１００からパケット転送遅延時間を示すパケット転送遅延制御要求を受信すると、網品質制御装置４００は、指定されたパケット転送遅延時間に従ってネットワーク側とユーザ端末５０との間のパケット転送遅延時間を制御する。

次に、図４を参照して、本発明の一実施例によるQoE評価装置の構成を説明する。本実施例によるQoE評価装置は、情報通信サービスを提供するするユーザ端末５０とネットワーク側との間でやりとりされるパケットのパケット転送遅延時間を制御することによって、異なるパケット転送遅延時間の下で当該情報通信サービスをユーザ又は評価者に提供し、当該評価者から処理シーケンス全体のレスポンスタイムに対する総合QoE評価値と、当該処理シーケンスを構成する各個別処理のレスポンスタイムに対する処理別QoE評価値とを収集する。収集したQoE評価値に基づき、QoE評価装置は、総合QoE評価値と各処理別QoE評価値との相関を導出することによって、総合QoE評価値に対する各処理別QoE評価値の影響の大きさを特定する。

図４は、本発明の一実施例によるQoE評価装置の構成を示すブロック図である。図４に示されるように、QoE評価装置１００は、評価条件決定部１１０、QoE評価実行要求受付部１２０、QoE評価部１３０及びQoE相関決定部１４０を有する。

評価条件決定部１１０は、評価対象となる情報通信サービスを提供するのに実行される処理シーケンスを特定し、特定した処理シーケンスについて測定された全体レスポンスタイム、当該処理シーケンスを構成する各個別処理について測定された処理別レスポンスタイム及び処理シーケンスのパケット転送遅延時間を取得し、取得した全体レスポンスタイム、処理別レスポンスタイム及びパケット転送遅延時間に基づき、QoEを評価するのに利用されるパケット転送遅延時間を規定するQoE評価条件を決定する。

一実施例では、評価条件決定部１１０は、評価対象となる情報通信サービスを提供するため実行される処理シーケンスの各個別処理の情報を評価シナリオとして受け付ける。例えば、メールアプリケーション（Webメールやクラウドコンビューティングを利用したメールアプリケーション等）が評価対象の情報通信サービスである場合、評価条件決定部１１０は、メールサービスを提供するため実行される個別処理と当該個別処理の実行順とが規定された処理シーケンス（例えば、「アプリケーションの起動」→「ログイン」→「メール受信」→「アドレス検索」→「メール送信」→「ログアウト」など）を特定する。当該処理シーケンスの特定は、例えば、評価対象となる各情報通信サービスに対応して、当該情報通信サービスを提供するのに実行される処理シーケンスを示す情報が予め評価条件決定部１１０に格納されている。評価対象となる情報通信サービスが指定されると、評価条件決定部１１０は、格納されている情報を参照して、指定された情報通信サービスに対応する処理シーケンスを特定してもよい。

評価シナリオを特定すると、評価条件決定部１１０は、次に評価対象となる情報通信サービスのレスポンスタイムに対するQoEを評価するためのパケット転送遅延時間を規定したQoE評価条件を決定する。QoE評価条件を決定するため、一実施例では、評価条件決定部１１０は、受け付けた評価シナリオに対応した各個別処理のレスポンスタイムの実測値とパケット転送遅延時間の実測値とを、それぞれレスポンスタイム測定装置２００とパケット転送遅延測定装置２５０とから取得する。評価条件決定部１１０は、当該測定情報において最もレスポンスタイムの長い処理シーケンスを特定する。図５に、メールサービスを例として、取得したパケット転送遅延時間とレスポンスタイムと間の関係が各個別処理について示される。例えば、取得した測定情報の範囲において、各処理シーケンスのレスポンスタイムの平均値を算出し、最も平均値の大きい処理シーケンスを最もレスポンスタイムの長い処理シーケンスと特定してもよい。

次に、評価条件決定部１１０は、特定したレスポンスタイムのうちで最も長い個別処理の測定情報（パケット転送遅延時間とレスポンスタイム）を用いて回帰式を求める。図５では、線形回帰によって算出した回帰直線f(x)が示される。回帰式の算出には、相関係数が最も高くなるように、線形回帰又は非線形回帰が選択されてもよい。当該回帰式が決定されると、評価条件決定部１１０は、QoE評価を実施するのに利用するレスポンスタイムを任意に選定する。例えば、レスポンスタイムは、0から21秒までを1.5秒刻みで選定されてもよい。図５の破線グラフは、0から21秒までの1.5秒刻みのレスポンスタイムの直線(y=1.5×n (n:0から14の整数))を示している。

次に、評価条件決定部１１０は、算出したレスポンスタイムが最も長い処理の回帰式と選定した任意の評価対象レスポンスタイムとを用いて、パケット転送遅延時間を示すQoE評価条件を決定する。具体的には、評価条件決定部１１０は、選定された各レスポンスタイムに対応するパケット転送遅延時間を回帰式から決定し、決定されたパケット転送遅延時間をQoE評価条件として決定する。図５の例では、回帰式f(x)とレスポンスタイム(y=1.5×n (n:0から14の整数))との交点のx座標の値が、QoE評価条件のパケット転送遅延時間となる。図５の例では、x=0からx=1000までの範囲において、13個のパケット転送遅延時間の値がQoE評価条件になる。ここで、パケット転送遅延時間の制御とは、例えば、ネットワークエミュレータ等の公知の装置を用いて、パケット遅延時間（固定遅延時間を50ミリ秒加える等)の設定の変更を制御することであり、これによりパケット転送遅延時間の変更制御が可能となる。パケット転送遅延の変動がレスポンスタイムの変動に影響することから、上記設定の変更制御を１つのサービス提供に対して１回行うことで、レスポンスタイム測定装置２００とパケット転送遅延測定装置２５０とにレスポンスタイムとパケット転送遅延時間とをそれぞれ測定させることができる。

なお、適切な回帰式を取得するため、評価条件決定部１１０は、網品質制御装置４００に所定数以上の異なるパケット転送遅延時間によりパケット転送遅延を制御するよう指示してもよい。具体的には、取得した個別処理の測定情報が所定数以上のパケット転送遅延時間の下で測定されていなかった場合、評価条件決定部１１０は、当該測定情報が十分なバリエーションのパケット転送遅延時間の下で測定されておらず、QoEを評価するのに信頼性が不十分であると判断する。一般に、情報通信サービスのレスポンスタイムに対するQoE評価を実施するためには、ある程度のサンプル数のレスポンスタイムに対して、QoE評価を実施することが望ましいためである。この場合、評価条件決定部１１０は、例えば、網品質制御装置４００にパケット転送遅延制御要求を送信し、所定数以上の異なるパケット転送遅延時間の下でレスポンスタイム測定装置２００とパケット転送遅延測定装置２５０とにレスポンスタイムとパケット転送遅延時間とをそれぞれ測定させるようにしてもよい。なお、上述した所定数は、任意の整数値に予め設定されてもよいし、又は、パケット転送遅延時間とレスポンスタイムの回帰式を算出する際に相関係数が高くなる数を予め設定してもよい。他方、取得した個別処理の測定情報が所定数以上の異なるパケット転送遅延時間の下で測定されていた場合、評価条件決定部１１０は、当該測定情報がQoEを評価するのに十分な信頼性があると判断する。

QoE評価実行要求受付部１２０は、情報通信サービスに対するQoE評価実行要求を受け付ける。具体的には、QoE評価装置１００の管理者又はユーザなどからQoE評価実行要求を受け付けると、QoE評価実行要求受付部１２０は、評価条件決定部１１０においてQoE評価条件が決定されているか判断する。QoE評価条件が決定されていた場合、QoE評価実行要求受付部１２０は、QoE評価を実行するようQoE評価部１３０に指示し、他方、QoE評価条件が決定されていない場合、QoE評価実行要求受付部１２０は、QoE評価部１３０にQoE評価を実行するよう指示せず、評価条件決定部１１０に当該情報通信サービスに対するQoE評価条件の決定を促してもよい。

また、QoE評価の実行を指示する場合、QoE評価実行要求受付部１２０は、評価条件決定部１１０で決定されたQoE評価条件に示されるパケット転送遅延時間に基づき網品質制御装置４００にパケット転送遅延制御要求を送信してもよい。当該パケット転送遅延制御要求を送信する際、QoE評価実行要求受付部１２０は、パケット転送遅延時間の情報を網品質制御装置４００に通知してもよい。なお、QoE評価条件は、最もレスポンスタイムが長い個別処理を"基準"として決定するものであり、処理シーケンスの全ての個別処理に対してパケット転送遅延時間の評価条件を決定しなくてもよい。当該決定したQoE評価条件に対して、QoE評価部１３０は、総合QoE評価値及び処理別QoE評価値を算出することになる。

ここで、QoE評価要求受付部１２０は、QoE評価値の入力を可能とするために、QoE評価値の入力インタフェースをQoE評価装置１００又はユーザ端末５０上に表示してもよい。例えば、画面上にボタンやキー入力可能なボタン等が表示され、当該ボタンをユーザが操作することによって、QoE評価値が入力されてもよい。

QoE評価部１３０は、QoE評価実行要求の受付に応答して、情報通信サービスのQoE評価条件に対して全体レスポンスタイムに対する総合QoE評価値と、処理別レスポンスタイムに対する処理別QoE評価値とを取得する。一実施例では、QoE評価部１３０は、各QoE評価条件のパケット転送遅延時間の下でシミュレートされた情報通信サービスの処理シーケンスと当該処理シーケンスの各個別処理とのそれぞれに対して、複数のユーザ又は評価者から各自のQoE評価値を取得する。当該QoE評価値は、例えば、以下の尺度による評価値であってもよい。すなわち、評価者から取得する総合QoE評価値は、５段階尺度(5:非常に良い、4:良い、3:普通、2:悪い、1:非常に悪い)のtQoEと、２段階尺度(1:許容できる、0:許容できない)の許容度とから構成されてもよい。また、各個別処理に対するQoE評価値(dQoEi)は、５段階尺度(5:遅延が全くわからない、4:遅延がわかるが気にならない、3:遅延がわずかに気になる、2:遅延が気になる、1:遅延が非常に気になる)により表現されてもよい。各個別処理が終了した時点で、QoE評価部１３０は、上述した評価尺度を用いて当該個別処理に対する処理別QoE評価値を入力するよう各評価者に促す。処理シーケンス全体が終了すると、QoE評価部１３０はさらに、上述した評価尺度を用いてtQoEと許容度とを入力するよう各評価者に促す。

複数の評価者から総合QoE評価値（tQoEと許容度）と処理別QoE評価値とを収集すると、QoE評価部１３０は、収集した総合QoE評価値と処理別QoE評価値とから、評価者間の総合QoE評価値の平均値と処理別QoE評価値の平均値とを算出し、算出した総合QoE評価値の平均値と処理別QoE評価値の平均値とをそれぞれ当該情報通信サービスの総合QoE評価値と処理別QoE評価値とする。

次に、QoE評価部１３０は、各QoE評価条件で評価された処理別QoE評価値（dQoE_i）と、当該評価時に測定したパケット転送時間の平均値とレスポンスタイムの平均値とを関連付けて保存する。図６に、評価結果の一例として、処理別レスポンスタイムと処理別QoE評価値と間の関係が示される。また、QoE評価部１３０は、当該処理シーケンス全体の総合QoE評価値（tQoEと許容度）も併せて保存する。QoE評価部１３０は、評価条件決定部１１０において決定された全てのQoE評価条件、すなわち、設定された全てのパケット転送遅延時間について、上述したQoEの評価が終了したか判断する。全てのQoE評価条件についてQoEの評価が終了していない場合、QoE評価部１３０は、網品質制御装置４００に残りのQoE評価条件のパケット転送遅延時間に従ってパケット転送遅延時間を制御するよう要求し、全ての評価条件に対して上述したQoE評価を実行する。

QoE相関決定部１４０は、総合QoE評価値に対する処理別QoE評価値の影響の大きさを決定する。一実施例では、パケット転送時間の全ての評価条件に対する総合QoE評価値と各処理別QoE評価値との間の相関係数を算出し、総合QoE評価値に対する各処理別QoE評価値の影響の大きさを決定してもよい。図７に、一例として、メールサービスのQoE評価結果とそのデータを用いて相関分析を実施した結果が示される。この例では、「ログイン」処理が相関係数0.93726で総合QoE評価値と最も相関が高く、総合QoE評価値に対して最も大きな影響を与えると判定される。次に、「メール送信」処理が相関係数0.93113を有し、総合QoE評価値に対して次に大きな影響を与えていると判定される。QoE相関決定部１４０は、各個別処理について算出した相関係数を保存する。上記実施例では、総合QoE評価値と各処理別QoE評価値との間の相関関係が相関係数により表現されたが、本発明による相関関係は、これに限定されるものでなく、相関する２つの変数の間の相関関係を表す他の何れか適切な統計量又は数値が利用されてもよい。

次に、図８を参照して、本発明の一実施例によるQoE評価装置における処理を説明する。図８は、本発明の一実施例によるQoE評価方法を示すフロー図である。

当該QoE評価方法は、情報通信サービスのレスポンスタイムに対するQoE評価条件を決定する処理（ステップＳ１０１〜Ｓ１０３）と、決定されたQoE評価条件の下で実行される情報通信サービスに対して総合QoE評価値と処理別QoE評価値とを収集し、総合QoE評価値と処理別QoE評価値との相関を決定する処理（Ｓ１０４〜Ｓ１０６）とに大別される。

ステップＳ１０１において、QoE評価装置１００は、評価対象となる情報通信サービスを提供するのに実行される処理シーケンスを特定する。具体的には、ある情報通信サービスが評価対象として指定されると、QoE評価装置１００は、予め格納している各情報通信サービスの処理シーケンスから、指定された情報通信サービスに対応する処理シーケンスを抽出する。

ステップＳ１０２において、QoE評価装置１００は、特定した処理シーケンス全体について測定された全体レスポンスタイムと、当該処理シーケンスを構成する各個別処理について測定される処理別レスポンスタイムとをレスポンスタイム測定装置２００から取得する。さらに、QoE評価装置１００は、当該処理シーケンスにおいてネットワーク側とユーザ端末５０との間でやりとりされたパケットのパケット転送遅延時間をパケット転送遅延測定装置２５０から取得する。取得したレスポンスタイムとパケット転送遅延時間とは、例えば、図３に示されるようなデータ形式によりQoE評価装置１００に保持されてもよい。

ステップＳ１０３において、QoE評価装置１００は、取得したレスポンスタイムとパケット転送遅延時間とに基づき、ユーザ又は評価者から各種パケット転送遅延時間の下で実行される情報通信サービスのレスポンスタイムに対するQoE評価値を収集するため、これらのパケット転送遅延時間を規定したQoE評価条件を決定する。一実施例では、QoE評価装置１００は、取得したレスポンスタイムとパケット転送遅延時間との測定値に対して回帰式を決定し、任意に抽出されたレスポンスタイムの各値に対応するパケット転送遅延時間をQoE評価条件として利用してもよい。このとき、取得した処理別レスポンスタイムのうち最長のレスポンスタイムを有する個別処理の処理別レスポンスタイムとパケット転送遅延時間とを利用して、回帰式を決定してもよい。また、適切な回帰式を導出するため、所定数以上の異なるパケット転送遅延時間の下で処理シーケンスが実行され、十分なサンプル数のレスポンスタイムが測定されることが好ましい。

ステップＳ１０４において、QoE評価装置１００は、情報通信サービスに対するQoE評価実行要求を受け付ける。例えば、当該QoE評価実行要求は、QoE評価装置１００の管理者又はユーザ端末５０から発信される。一実施例では、QoE評価装置１００は、QoE評価実行要求を受け付けると、当該QoE評価実行要求に係る情報通信サービスに対するQoE評価条件があるか判定し、QoE評価条件を有していない場合、当該QoE評価条件を決定するため、ステップＳ１０１〜Ｓ１０３を実行してもよい。

ステップＳ１０５において、QoE評価装置１００は、決定されている各QoE評価条件に対して総合QoE評価値と処理別QoE評価値とを取得する。一実施例では、QoE評価装置１００は、評価対象となる情報通信サービスの処理シーケンスを実行する際、各QoE評価条件に規定されるパケット転送遅延時間に従ってパケット転送遅延制御を実行するよう網品質制御装置４００に指示する。QoE評価装置１００は、網品質制御装置４００によるパケット転送遅延制御の下で実行された処理シーケンスのレスポンスタイムに対して、総合QoE評価値と各処理別QoE評価値とを複数の評価者から収集する。総合QoE評価値と各処理別QoE評価値とを複数の評価者から収集すると、QoE評価装置１００は、収集した総合QoE評価値の平均値と各処理別QoE評価値の平均値とを算出し、算出した総合QoE評価値の平均値と各処理別QoE評価値の平均値とをステップＳ１０６における相関の決定に利用してもよい。

ステップＳ１０６において、QoE評価装置１００は、ステップＳ１０５において取得した総合QoE評価値と各処理別QoE評価値との間の相関を決定する。一実施例では、QoE評価装置１００は、総合QoE評価値と処理別QoE評価値とに対して相関係数の算出などの統計処理を実行することによって、総合QoE評価値に対する各処理別QoE評価値の影響の大きさを決定する。

以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ 情報通信システム
５０ ユーザ端末
１００ QoE評価装置
１１０ 評価条件決定部
１２０ QoE評価実行要求受付部
１３０ QoE評価部
１４０ QoE相関決定部
２００ レスポンスタイム測定装置
２５０ パケット転送遅延測定装置
３００ 情報通信サービス提供サーバ
３５０ ネットワーク
４００ 網品質制御装置

Claims (7)

1. 評価対象となる情報通信サービスを提供するのに実行される処理シーケンスを特定し、前記処理シーケンスについて測定された全体レスポンスタイム、前記処理シーケンスを構成する各個別処理について測定された処理別レスポンスタイム及び前記処理シーケンスのパケット転送遅延時間を取得し、前記取得した全体レスポンスタイム、前記処理別レスポンスタイム及び前記パケット転送遅延時間に基づき、QoEを評価するのに利用されるパケット転送遅延時間を規定するQoE評価条件を決定する評価条件決定部と、
   前記情報通信サービスに対するQoE評価実行要求を受け付ける評価実行要求受付部と、
   前記QoE評価実行要求の受付に応答して、前記情報通信サービスのQoE評価条件に規定されたパケット転送遅延時間に従って実行された処理シーケンスの前記全体レスポンスタイムに対する総合QoE評価値と、前記処理別レスポンスタイムに対する処理別QoE評価値とを取得するQoE評価部と、
   前記総合QoE評価値に対する前記処理別QoE評価値の影響の大きさを決定するQoE相関決定部と、
   を有するQoE評価装置。
2. 前記QoE相関決定部は、総合QoE評価値と前記処理別QoE評価値との間の相関係数を算出し、前記算出した相関係数を前記総合QoE評価値に対する前記処理別QoE評価値の影響の大きさとして利用する、請求項１記載のQoE評価装置。
3. 前記評価条件決定部は、前記取得した各個別処理に対する処理別レスポンスタイムのうち最長のレスポンスタイムを有する個別処理を特定し、前記特定した個別処理のパケット転送遅延時間と処理別レスポンスタイムとに基づきレスポンスタイムの予測のための回帰式を導出し、前記導出した回帰式から前記QoE評価条件を決定する、請求項１又は２記載のQoE評価装置。
4. 前記評価条件決定部は、前記処理別レスポンスタイムが所定数以上の異なるパケット転送遅延時間の下で測定されたものであるか判定することによって、前記測定された処理別レスポンスタイムと前記測定されたパケット転送遅延時間とがQoEを評価するのに信頼できるものであるか判断する、請求項１乃至３何れか一項記載のQoE評価装置。
5. 前記QoE評価部は、前記情報通信サービスのQoE評価条件に規定されたパケット転送遅延時間に従って実行された処理シーケンスについて、複数の評価者から前記全体レスポンスタイムに対する総合QoE評価値と、前記処理別レスポンスタイムに対する処理別QoE評価値とを収集し、
   前記QoE相関決定部は、前記収集した総合QoE評価値と処理別QoE評価値とを前記評価者間で平均化し、前記算出した総合QoE評価値の平均値と前記処理別QoE評価値の平均値とに基づき、前記総合QoE評価値に対する前記処理別QoE評価値の影響の大きさを決定する、請求項１乃至４何れか一項記載のQoE評価装置。
6. 評価対象となる情報通信サービスを提供するのに実行される処理シーケンスを特定するステップと、
   前記処理シーケンスについて測定された全体レスポンスタイム、前記処理シーケンスを構成する各個別処理について測定された処理別レスポンスタイム及び前記処理シーケンスのパケット転送遅延時間を取得するステップと、
   前記取得した全体レスポンスタイム、処理別レスポンスタイム及びパケット転送遅延時間に基づき、QoEを評価するのに利用されるパケット転送遅延時間を規定するQoE評価条件を決定するステップと、
   前記情報通信サービスに対するQoE評価実行要求を受け付けるステップと、
   前記決定されたQoE評価条件に対して、前記全体レスポンスタイムに対する総合QoE評価値と前記処理別レスポンスタイムに対する処理別QoE評価値とを取得するステップと、
   前記総合QoE評価値に対する前記処理別QoE評価値の影響の大きさを決定するステップと、
   を有するQoE評価方法。
7. 評価対象となる情報通信サービスを提供するのに実行される処理シーケンスを特定するステップと、
   前記処理シーケンスについて測定された全体レスポンスタイム、前記処理シーケンスを構成する各個別処理について測定された処理別レスポンスタイム及び前記処理シーケンスのパケット転送遅延時間を取得するステップと、
   前記取得した全体レスポンスタイム、処理別レスポンスタイム及びパケット転送遅延時間に基づき、QoEを評価するのに利用されるパケット転送遅延時間を規定するQoE評価条件を決定するステップと、
   前記情報通信サービスに対するQoE評価実行要求を受け付けるステップと、
   前記決定されたQoE評価条件に対して、前記全体レスポンスタイムに対する総合QoE評価値と前記処理別レスポンスタイムに対する処理別QoE評価値とを取得するステップと、
   前記総合QoE評価値に対する前記処理別QoE評価値の影響の大きさを決定するステップと、
   をプロセッサに実行させるためのプログラム。

Images