JP6293021B2 - 品質管理システム、方法、およびプログラム - Google Patents

Description

本発明の実施形態は、情報通信サービスのユーザ体感品質を推定する品質管理システム、方法、およびプログラムに関する。

情報通信サービスにおいて、ユーザ満足度の高いサービスを提供するためには、データ転送時間等のＫＰＩ(Key performance indicator)と、体感待ち時間等のＫＱＩ(Key quality indicator)と、ユーザ体感品質（ＱｏＥ：Quality of experience）との関係を明らかにし、ＱｏＥが一定水準を満たすために必要なＫＰＩやＫＱＩの要求条件に基づいて情報通信サービスの品質を管理することが重要である。（例えば、非特許文献１参照）

これまで、ウェブブラウザや動画視聴サービス等を対象に、客観的に計測可能な物理パラメータであるＫＰＩに基づいてＫＱＩを推定する技術や、ＫＱＩに基づいてＭＯＳ(Mean opinion score)等で示されるＱｏＥを推定する技術が確立されてきた。これにより、ＫＰＩを計測することでＫＱＩを推定し、さらに、このＫＱＩに基づいてＱｏＥを推定することが可能である。（例えば、非特許文献５，６，７参照）

しかし、上記のＱｏＥ推定技術におけるＱｏＥは、体感待ち時間等のＫＱＩに対する知覚品質として計算される。実際のＱｏＥは、ユーザの意識／サービスの利用目的（暇つぶしや緊急等）や、ユーザ属性（年齢、性別、職業等）、ユーザの場所（自宅、会社、電車等）等の状況によって変動するため、上記の知覚品質とは乖離が生じる。

そのため、ユーザが置かれた状況（前提条件や状態）ごとに、ＫＱＩがＱｏＥに与える影響が異なることを前提として、ＫＰＩやＫＱＩに加えて、上記のユーザが置かれた状況を考慮してＱｏＥを推定する技術が提案されている。さらに、推定したＱｏＥに基づき制御則（ユーザに対する誘導規則、ネットワークの優先制御など）を生成する方法が提案されている。（例えば、非特許文献８参照）

山本浩司,中村天真,本多泰理,高橋玲、ブラウザベースアプリケーション品質推定技術、［online］、NTT技術ジャーナル 25(2) pp.24-27, Feb.2013.、［平成２６年８月１８日検索］、インターネット〈URL：http://www.ntt.co.jp/journal/1302/files/jn201302024.pdf〉 池上大介,本多泰理,山本浩司他、プログレッシブダウンロード系サービスの停止時間推定法、信学技報,vol.111, no.278, CQ2011-59, pp.91-96, Nov.2011. 池上大介,本多泰理,山本浩司、チャンク型映像配信サービスにおける再生状態推定法の検討、電子情報通信学会総合大会、B-11-24, 2012年3月. 本多泰理，池上大介，山本浩司、Ack観測による映像再生状態推定法の検討、電子情報通信学会総合大会,B-11-25，2012年3月. ITU-T 勧告P.1201.1. Tobias Hobfeld, R.Schatz, E.Biersack, Louis Plissonneau、Internet Video Delivery in YouTube: From Traffic Measurements to Quality of Experience、［online］、Data Traffic Monitoring and Analysis, Lecture notes in Computer Science 7754 (2013), 264~301.、［平成２６年８月１８日検索］、インターネット〈URL：http://www.e-biersack.eu/BPublished/Youtubelncs.pdf〉 R. K. P. Mok, Edmond W. W. Chan, and Rocky K. C. Chang、Measuring the Quality of Experience of HTTP Video Streaming、 Proc. W-MUST 2011(2011). 石原健司,新熊亮一,本多泰理,高橋玲,高橋達郎、ユーザコンテキストを表現可能なモデルに基づいた通信制御方式の検討、信学技報,vol.113, no.405, CQ2013-76, pp.51-54, Jan.2014.

非特許文献８では、ユーザの状況に応じてＱｏＥを推定するとともに、一部のユーザの通信を待機させて他のユーザの通信を優先する制御が可能である。

しかし、通信事業者の設備の性能不足等で起こる輻輳等によるＱｏＥ低下を抜本的に改善するためには、上記の優先制御等に加えて、各設備に収容された端末を用いるユーザのＱｏＥ低下を検知して、このＱｏＥ低下を多発させている設備を増強することが重要である。

本発明は、推定されたＱｏＥに基づいて、設備増強等の品質管理を実施することが可能になる品質管理システム、方法、およびプログラムを提供することを目的とする。

上記目的を達成するために、この発明の実施形態における品質管理システムの態様は、情報通信サービスにおけるユーザ体感品質（ＱｏＥ）に基づいて前記情報通信サービスの品質を管理するシステムであって、前記ＱｏＥの閾値を、（１）ユーザの場所、前記ユーザが利用するＲＡＴ（Radio access technology）、前記ユーザが利用するアプリケーションの少なくとも１種類を含む、前記ユーザが置かれた状況ごと、および（２）前記ユーザが利用する端末による通信頻度、前記ユーザの身分の少なくとも１種類を含む、前記ユーザの属性ごとに示す閾値リストを保存する閾値リスト保存部と、前記情報通信サービスの前記ユーザのＫＰＩ情報リストを保存するＫＰＩ情報リスト保存部と、前記ＫＰＩ情報リストに基づいて前記情報通信サービスのＫＱＩを推定し、前記推定したＫＱＩに基づいて前記ＱｏＥを推定するＫＱＩ／ＱｏＥ推定部と、前記閾値リストと前記推定したＱｏＥとを比較することで、前記情報通信サービスを提供する設備が実現するサービス品質を定量化する品質管理部とを有することを特徴とする品質管理システムを提供する。

本発明の実施形態における品質管理方法の態様は、品質管理システムに適用される方法であって、品質管理システムは、前記ＱｏＥの閾値を、（１）ユーザの場所、前記ユーザが利用するＲＡＴ、前記ユーザが利用するアプリケーションの少なくとも１種類を含む、前記ユーザが置かれた状況ごと、および（２）前記ユーザが利用する端末による通信頻度、前記ユーザの身分の少なくとも１種類を含む、前記ユーザの属性ごとに示す閾値リストを保存し、前記情報通信サービスの前記ユーザのＫＰＩ情報リストを保存し、前記ＫＰＩ情報リストに基づいて前記情報通信サービスのＫＱＩを推定し、前記推定したＫＱＩに基づいて前記ＱｏＥを推定し、前記閾値リストと前記推定したＱｏＥとを比較することで、前記情報通信サービスを提供する設備が実現するサービス品質を定量化する。

本発明によれば、推定されたＱｏＥに基づいて、設備増強等の品質管理を実施することができる。

本発明の実施形態における品質管理システムの構成例を示すブロック図。 本発明の実施形態における品質管理システムによる実施手順の一例を示すフローチャート。 本発明の実施形態における品質管理システムにより保存する、ユーザごとや状況ごとの単一閾値リストの一例を表形式で示す図。 本発明の実施形態における品質管理システムにより保存する、指定した条件における状況ごとの閾値リストの一例を表形式で示す図。 本発明の実施形態における品質管理システムにより保存する、ユーザごと及び状況ごとの複数閾値リストの一例を表形式で示す図。 本発明の実施形態における品質管理システムにより保存する、指定した条件における状況ごとの複数閾値リストの一例を表形式で示す図。 本発明の実施形態における品質管理システムにより求める、１時間単位での得点の計算結果の一例を表形式で示す図。 本発明の実施形態における品質管理システムにより求める、１時間単位での得点の計算結果の一例をグラフ形式で示す図。

以下、図面を参照して、この発明に係る実施形態を説明する。
本発明は、ＱｏＥに基づく設備ごとの品質管理及び設計を実現するものである。
図１は、本発明の実施形態における品質管理システムの構成例を示すブロック図である。
図２は、本発明の実施形態における品質管理システムによる実施手順の一例を示すフローチャートである。
図１に示すように、実施形態における品質管理システムは、閾値リスト保存部１１、ＫＰＩ情報リスト保存部１２、ＫＱＩ／ＱｏＥ推定部１３、品質管理部１４を有する。

閾値リスト保存部１１は、例えばサーバなどに搭載される不揮発性メモリなどの記憶装置で実現され、ＱｏＥの閾値を示す閾値リストを保存する。
このＱｏＥの閾値は、ユーザの状況ごとに、ＭＯＳ等で示される。図３に示した例では、このユーザの状況は、ユーザの場所（自宅、電車等）、ユーザが利用するＲＡＴ（Radio access technology: ３Ｇ／ＬＴＥ（Long Term Evolution）／Ｗｉ−Ｆｉ（Wireless Fidelity）等）、ユーザが利用するアプリケーション（以下、アプリと呼ぶ。例：ブラウザ、動画等）で区分される。

上記の閾値は、既存技術を用いて導出できるが、その導出の方法は特に限定されない。以下、各種の閾値リストについて説明する。
図３は、本発明の実施形態における品質管理システムにより保存する、ユーザごとや状況ごとの単一閾値リストの一例を表形式で示す図である。
この閾値リストは、ユーザＩＤで区別されたユーザごとに、各状況および各ユーザの属性におけるＱｏＥの閾値を示す。図３に示した例では、ユーザの属性は、ユーザによる利用端末の機種、ユーザが該利用端末を用いることによる通信頻度（ヘビーユーザ／ライトユーザ等）、ユーザの職業（会社員／学生等）で区分される。これにより、ユーザの状況およびユーザ属性を考慮してＱｏＥの閾値を管理できるので、ユーザの状況およびユーザ属性に応じてＱｏＥの低下を検知できる。

例えば、同じ状況でもユーザの利用端末の機種によってＱｏＥの閾値が異なる場合であっても、ＱｏＥの値が閾値を超えたかどうかを各ユーザの利用端末の機種に応じて適切に判定できる。

図４は、本発明の実施形態における品質管理システムにより保存する、指定した条件における状況ごとの閾値リストの一例を表形式で示す図である。
図３に示した閾値リストでは、同じ状況や通信頻度であってもユーザごとに閾値を決定する必要がある。このため、これらの閾値を算出するためには多数のデータが必要となる。
これに対し、図４に示した閾値リストでは、閾値をユーザごとに決定するのではなく、ユーザＩＤで特定されないユーザの通信頻度、およびユーザＩＤで特定されないユーザの状況（場所、ＲＡＴ、アプリ）ごとに閾値が決定される。このため、図３に示した閾値リストと比較して、図４に示した閾値リストでは、同一の状況や通信頻度であれば、これらに該当するユーザが複数であっても設定する閾値は１つで済むので、閾値を計算するための負荷を低減することができる。

例えば、図４に示した閾値リストでは、アプリ利用時間等の自動的に収集可能なパラメータに基づいて、各ユーザをヘビーユーザおよびライトユーザに分類し、この分類した条件と状況（場所、ＲＡＴ、アプリ）に基づいて閾値を管理する。これにより、図３に示した閾値リストと比較して、図４に示した閾値リストでは、閾値を簡易に求めることが可能となる。

図５は、本発明の実施形態における品質管理システムにより保存する、ユーザごと及び状況ごとの複数閾値リストの一例を表形式で示す図である。
図３や図４に示した閾値リストでは、状況などに対して定められる閾値が１つである。このため、ＱｏＥが段階的に変化する場合（例えば、３：快適、２：不快だが許容できる、１：許容できないほど不快)には、このＱｏＥの変化を捉えきれない。

これに対し、図５に示した閾値リストでは、状況やユーザ属性に対して閾値を複数種類（赤、黄、青）設定しているので、ＱｏＥの段階的な変化を捉えることが可能である。
例えば、図５に示した閾値リスト上のＮｏ．１について、ユーザＩＤαに該当するユーザは、自宅で３Ｇ通信を利用してブラウザを利用している場合、体感待ち時間が１５秒以上（ＱｏＥの推定値が3.0未満、閾値の種別が赤）であれば許容できないほど不快であると感じ、体感待ち時間が１２秒未満であれば快適と感じ（ＱｏＥの推定値が3.3以上、閾値の種別が青）、体感待ち時間が１２秒以上１５秒未満（ＱｏＥの推定値が3.0以上3.3未満、閾値の種別が黄）であれば不快だが許容できると感じることが示される。

図６は、本発明の実施形態における品質管理システムにより保存する、指定した条件における状況ごとの複数閾値リストの一例を表形式で示す図である。
図６に示した閾値リストは、図４、図５に示した閾値リストを応用したものである。
つまり、図６に示した閾値リストでは、ユーザＩＤで特定されないユーザの通信頻度、およびユーザＩＤで特定されない状況（場所、ＲＡＴ、アプリ）ごとに複数種類（赤、黄、青）の閾値を設定している。これにより、図３に示した閾値リストと比較して各ユーザの閾値を簡易に求め、かつ、ＱｏＥの段階的な変化を捉えることが可能である。

ＫＰＩ情報リスト保存部１２は、スマートフォン等のユーザ端末または通信事業者の網内情報等から、ＫＱＩを推定するために必要なＫＰＩ情報（データ転送時間等）及び各端末が接続していた設備の情報を収集してＫＰＩ情報リストを作成して、不揮発性メモリなどの記憶装置に保存する。

ＫＰＩ情報リスト保存部１２が収集するＫＰＩ情報の項目は、既存技術に基づいて選択することができるが、特に限定されない。このＫＰＩ情報の収集方法は、例えばスマートフォンＯＳのＡＰＩを利用してユーザ端末から収集する方法や、通信事業者の設備に測定器を設置して収集する方法等が想定されるが、特に限定されない。

ＫＱＩ／ＱｏＥ推定部１３は、各設備に収容されている、各ユーザ端末（スマートフォン等）のＫＰＩ情報（データ転送時間等）を含むＫＰＩ情報リスト取得し（図２のＳ１）、このＫＰＩ情報リストに基づいて、該ユーザ端末におけるＫＱＩ（待ち時間等）を推定する（図２のＳ２）。

さらに、ＫＱＩ／ＱｏＥ推定部１３は、この推定したＫＱＩに基づいてＱｏＥを推定する（図２のＳ３）。
ＫＱＩの推定及びＱｏＥの推定には既存技術を利用することができるが、特に限定されない。

品質管理部１４は、閾値リスト保存部１１に保存された閾値リストと、ＫＱＩ／ＱｏＥ推定部１３によるＱｏＥ推定値とに基づき、ＱｏＥ推定値が閾値を下回る回数を設備ごとに算出し、各設備が実現しているサービス品質を定量化して、性能不足が疑われる設備を抽出する（図２のＳ４）。

ここでは、定量化されたサービス品質に基づき、各設備の対応緊急度を品質管理部１４により算出する方法の例を、以下の４パターン（（ア）〜（エ））示す。

図７は、本発明の実施形態における品質管理システムにより求める、１時間単位での得点の計算結果の一例を表形式で示す図である。
図８は、本発明の実施形態における品質管理システムにより求める、１時間単位での得点の計算結果の一例をグラフ形式で示す図である。

（ア）品質管理部１４は、ＱｏＥ推定値が閾値（ＭＯＳ）を下回る回数を複数の設備の間で比較し、この回数が多い設備を、増強の緊急度が高い設備として抽出する。

（イ）図７および図８に示すように２４時間を１時間単位に区切り、品質管理部１４は、各時間帯においてＱｏＥ推定値が閾値（ＭＯＳ）を下回る回数を設備ごとに算出し、その最大値（平均値や中央値等でもよい）が大きい設備を、増強の緊急度が高い設備として抽出する。

（ウ）品質管理部１４は、ＱｏＥ推定値に応じて重み付けした得点を設備ごとに算出する。例えば、図５に示した閾値リストの場合、品質管理部１４は、ＱｏＥ推定値が赤の閾値（ＭＯＳ）未満に分類される場合は２点、ＱｏＥ推定値が黄色の閾値（ＭＯＳ）の範囲に分類される場合は１点、ＱｏＥ推定値が青色の閾値（ＭＯＳ）以上に分類される場合は０点として得点を計算する。

図５に示した閾値リストのＮｏ．１の場合、ユーザＩＤ「α」に該当するユーザが、自宅において３Ｇ通信中にブラウザを利用する場合におけるＫＱＩ（待ち時間）が２０秒（１５秒以上、ＱｏＥの値が3.0未満、閾値の種別が赤）であれば、品質管理部１４は、２点をその設備の得点として加算する。このように、品質管理部１４は、各設備の得点を算出し、この得点が高い設備を増強の緊急度が高い設備として抽出する。

（エ）図７、図８に示すように、（イ）及び（ウ）の応用として、品質管理部１４は、２４時間を１時間単位に区切り、各時間帯におけるＱｏＥ推定値に応じて重み付けした得点を設備ごとに算出し、その最大値（平均値や中央値等でもよい）が大きい設備を、増強の緊急度が高い設備として抽出する。

例えば、得点の最大値（図７参照）に基づき品質管理を実施する場合、図８に示すように、セルＢ、セルＡ、セルＣの順に増強の緊急度は高くなる。
一方、得点の最大値の代わりに、平均値を緊急度の基準にする場合は、図８に示すように、セルＡ、セルＣ、セルＢの順に増強の緊急度は高くなる。

以上説明した実施形態では、推定されたＱｏＥに基づいて、設備増強等の品質管理を実施することが可能となる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

また、実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。

１１…閾値リスト保存部
１２…ＫＰＩ情報リスト保存部
１３…ＫＱＩ／ＱｏＥ推定部
１４…品質管理部。

Claims (8)

1. 情報通信サービスにおけるユーザ体感品質（ＱｏＥ:Quality of experience）に基づいて前記情報通信サービスの品質を管理するシステムであって、
   前記ＱｏＥの閾値を、（１）ユーザの場所、前記ユーザが利用するＲＡＴ（Radio access technology）、前記ユーザが利用するアプリケーションの少なくとも１種類を含む、前記ユーザが置かれた状況ごと、および（２）前記ユーザが利用する端末による通信頻度、前記ユーザの身分の少なくとも１種類を含む、前記ユーザの属性ごとに示す閾値リストを保存する閾値リスト保存部と、
   前記情報通信サービスの前記ユーザのＫＰＩ(Key performance indicator)情報リストを保存するＫＰＩ情報リスト保存部と、
   前記ＫＰＩ情報リストに基づいて前記情報通信サービスのＫＱＩ(Key quality indicator)を推定し、前記推定したＫＱＩに基づいて前記ＱｏＥを推定するＫＱＩ／ＱｏＥ推定部と、
   前記閾値リストと前記推定したＱｏＥとを比較することで、前記情報通信サービスを提供する設備が実現するサービス品質を定量化する品質管理部とを有することを特徴とする品質管理システム。
2. 前記閾値リスト保存部は、
   ＭＯＳ(Mean Opinion Score)で示される、前記ＱｏＥの閾値の一覧である閾値リストを前記ユーザが置かれた状況ごと、および前記ユーザの属性ごとに保存することを特徴とする、請求項１に記載の品質管理システム。
3. 前記ＫＱＩ／ＱｏＥ推定部は、
   前記設備の単位に、各設備に収容される前記ユーザが利用する端末によるデータ転送時間を含む前記ＫＰＩ情報リストに基づいて該端末における前記ＫＱＩを推定して、前記推定したＫＱＩに基づいて前記ＱｏＥを推定することを特徴とする、請求項１に記載の品質管理システム。
4. 前記品質管理部は、
   前記閾値リストと前記推定したＱｏＥの値とに基づいて、前記ＱｏＥの値が前記閾値リストで示される閾値を下回る回数を前記設備ごとに算出し、前記算出した回数を該設備が実現しているサービス品質として定量化することを特徴とする、請求項１に記載の品質管理システム。
5. 前記品質管理部は、
   前記設備ごとに、２４時間を所定の単位に区切ってなる各時間帯において前記ＱｏＥが前記閾値を下回る回数の所定の統計値を算出し、前記統計値を該設備が実現しているサービス品質として定量化することを特徴とする、請求項４に記載の品質管理システム。
6. 前記品質管理部は、
   前記推定したＱｏＥの値が前記閾値リストで示される閾値に応じて重み付けをしてなる得点を前記設備ごとに算出し、前記算出した得点を該設備が実現しているサービス品質として定量化することを特徴とする、請求項１に記載の品質管理システム。
7. 情報通信サービスにおけるユーザ体感品質（ＱｏＥ:Quality of experience）に基づいて前記情報通信サービスの品質を管理する品質管理システムに適用される方法であって、
   前記品質管理システムは、
   前記ＱｏＥの閾値を、（１）ユーザの場所、前記ユーザが利用するＲＡＴ（Radio access technology）、前記ユーザが利用するアプリケーションの少なくとも１種類を含む、前記ユーザが置かれた状況ごと、および（２）前記ユーザが利用する端末による通信頻度、前記ユーザの身分の少なくとも１種類を含む、前記ユーザの属性ごとに示す閾値リストを保存し、
   前記情報通信サービスの前記ユーザのＫＰＩ(Key performance indicator)情報リストを保存し、
   前記ＫＰＩ情報リストに基づいて前記情報通信サービスのＫＱＩ(Key quality indicator)を推定し、前記推定したＫＱＩに基づいて前記ＱｏＥを推定し、
   前記閾値リストと前記推定したＱｏＥとを比較することで、前記情報通信サービスを提供する設備が実現するサービス品質を定量化することを特徴とする品質管理方法。
8. 請求項１に記載の品質管理システムの一部分として動作するコンピュータに用いられるプログラムであって、
   前記コンピュータを、
   前記閾値リスト保存部、前記ＫＰＩ情報リスト保存部、前記ＫＱＩ／ＱｏＥ推定部、および前記品質管理部
   として機能させるための品質管理プログラム。

Images