JP4460548B2 - ユーザ体感品質推定装置、方法、およびプログラム - Google Patents

Description

本発明は、通信品質推定技術に関し、特にリアルタイム系アプリケーションのユーザ体感品質を推定する技術に関する。

近年、パケット通信技術の飛躍的な発展に伴い、パケット網が音声や映像等のメディア（コンテンツ）を１対１あるいは多地点間で通信するリアルタイム系アプリケーションで利用されつつある。パケット網のインサービス品質管理では、このようなアプリケーションに対する品質管理も必要とされている。特にリアルタイム系アプリケーションでは、実際にアプリケーションを利用するユーザレベルでの主観的あるいは客観的な品質などのユーザ体感品質を用いた品質管理が重要視されており、ネットワーク品質からユーザ体感品質を推定する技術も提案されている（例えば、非特許文献１等参照）。

また、発明者らは、無効パケットに基づきリアルタイム系アプリケーションの主観品質を推定する技術を提案した（例えば、特許文献１等参照）。この技術では、試験用パケットのうち受信側端末へ到着しなかった損失パケットと、直前到着パケットとの到着間隔がリアルタイム系アプリケーションの揺らぎ吸収許容時間を越えた遅着パケットとを無効パケットと判定してこれら無効パケット数を計数し、送信側から送信されたすべての試験用パケット数に対する無効パケット数の割合を無効パケット率として算出し、予め生成しておいた無効パケット率と主観品質評価値との関係を示す品質推定モデルを参照して、無効パケット率に対応する主観品質評価値を推定している。

これに対して、従来、発明者らは、損失パケットから推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてリアルタイム系アプリケーションの主観品質を推定する技術を提案した（例えば、特許文献２等参照）。この技術では、ユーザ端末へ送る映像パケット毎にそのパケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む。ユーザ端末において、損失パケットの生成番号から１映像フレーム内の品質劣化の程度や割合などの度合いを推定し、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定し、推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてユーザ端末において復号される映像の主観品質を推定している。これにより、簡単な構成で推定精度の改善が得られた。

特許第３５７９３３４号公報 特開２００６−０３３７２２号公報 ITU-T Recommendation G.107,"The E-Model, a computational model for use in transmission planning", May 2000

しかしながら、このような従来技術では、無効パケットの発生過程の違いによる、ユーザ体感品質に与える影響の差については、あまり考慮されておらず、高い推定精度が求められる場合には十分ではないという問題点があった。

リアルタイム系アプリケーションでは、高能率符号化した映像信号や音声信号などのメディア信号をフレームに分解した後、さらにメディア用パケットに変換してやり取りしている。このため、アプリケーション端末でメディア信号を復号する際、受信したメディア用パケットからフレームを組み立て、さらに前後のフレーム情報を使用してメディア信号を復号する。

したがって、パケット網でパケット損失が発生した場合、１パケットの損失によるメディア信号の品質劣化が当該フレームにとどまらず、複数のフレームに及ぶことがある。例えば、パケット損失が発生した次のフレームでパケット損失が生じていない場合、直前フレームの欠損により次のフレームの復号に影響が及び、復号されたメディア信号では品質劣化が発生するが、パケットレベルでは品質劣化がないと判断されるため、実際のリアルタイム系アプリケーションでの品質劣化状況とは異なる推定結果となる。

この際、受信側端末で正常に受信できなかったメディア用パケットには、送信側端末と受信側端末の途中で損失したパケットや到着順が逆転したパケットのほか、例えば直前到着パケットとの到着間隔がリアルタイム系アプリケーションの揺らぎ吸収許容時間を越えた遅着パケットも含まれる。この遅着パケットは、受信側端末において当該フレームの復号には間に合わなかったものの、その内容自体はエラーなく受信される場合が多い。

このような場合には、後続フレームの復号には間に合って、後続フレーム以降は正常に再生されることになり、ユーザ体感品質はそれぞれど大きく劣化しない。したがって、このような遅着パケットが、送信側端末と受信側端末の途中で損失したパケットや到着順が逆転したパケットと同程度の映像劣化を引き起こすとは限らない。
このように、無効パケットがユーザ体感品質に与える影響には、当該無効パケットの発生過程の違いによる影響の差が実際に存在する。

本発明はこのような課題を解決するためのものであり、遅着パケットがユーザ体感品質に与える影響を考慮して、リアルタイム系アプリケーションのユーザ体感品質値を高い精度で推定することができるユーザ体感品質推定装置、方法、およびプログラムを提供することを目的としている。

このような目的を達成するために、本発明にかかるユーザ体感品質推定装置は、パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置であって、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得部と、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定するとともに、当該無効パケットの発生過程に応じて当該無効パケットを異なるクラスのいずれかに分類する無効パケット判定部と、無効パケットのクラスに応じた判定基準に基づいて、メディア用パケットで送受信した各フレームのうち無効パケットによる影響を受けた無効フレームを判定し、これら無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析部と、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定部とを備えている。

この際、品質解析部に、送信品質情報に基づいて無効パケットに対応するフレームを対象フレームとして識別するフレーム識別手段と、各フレームのうち、対象フレームから、当該対象フレームに対応する無効パケットのクラスに応じた判定基準により算出したフレーム数分を、無効フレームと判定する無効フレーム判定手段と、１つ以上連続する無効フレームのうち重みフレーム数を超える無効フレームを等価無効フレームとして選択する等価無効フレーム選択手段と、メディア用パケットで送信された全フレーム数に対する等価無効フレーム数の割合を等価無効フレーム率として算出する等価無効フレーム率算出手段とを設けてもよい。

また、無効パケット判定部で、送信品質情報で送信が確認されたメディア用パケットのうち受信品質情報で受信が確認されていないパケット、および受信品質情報で受信確認されたメディア用パケットのうち送信順序と受信順序とが矛盾するパケットを、無効パケットと判定するとともに損失クラスに分類し、送信品質情報および受信品質情報の両方で送受信が確認されたメディア用パケットのうち直前メディア用パケットとの到着間隔を示す遅延揺らぎ時間がアプリケーションの許容パケット遅延時間を超えている遅着パケットを、無効パケットと判定するとともに遅着クラスに分類するようにしてもよい。

また、無効フレーム判定手段で、各フレームのうち、損失クラスの無効パケットに対応する対象フレームについては、当該対象フレームからメディアの符号化に用いたフレーム構成に応じたフレーム数分を無効フレームと判定し、遅着クラスの無効パケットに対応する対象フレームについては、当該対象フレームから所定のフレーム数分を無効フレームと判定するようにしてもよい。

また、品質情報取得部で、受信側アプリケーション端末のパケット受信部で受信された送信側アプリケーション端末側からの送信品質情報を送信品質情報として取得するとともに、受信側アプリケーション端末のパケット受信部で受信されたメディア用パケットから得られた受信品質情報を受信品質情報として取得するようにしてもよい。

また、品質情報取得部で、送信側アプリケーション端末のパケット受信部で受信された受信側アプリケーション端末側からの受信品質情報を受信品質情報として取得するとともに、送信側アプリケーション端末のパケット送信部で送信されたメディア用パケットから得られた送信品質情報を送信品質情報として取得するようにしてもよい。

また、送信側アプリケーション端末のパケット送信部で得られた送信品質情報を受信側アプリケーション端末へ通知する品質情報通知部をさらに備えてもよい。

また、受信側アプリケーション端末のパケット受信部で得られた受信品質情報を送信側アプリケーション端末へ通知する品質情報通知部をさらに備えてもよい。

また、本発明にかかるユーザ体感品質推定方法は、パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置で用いられるユーザ体感品質推定方法であって、品質情報取得部により、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、無効パケット判定部により、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定するとともに、当該無効パケットの発生過程に応じて当該無効パケットを異なるクラスのいずれかに分類する無効パケット判定ステップと、品質解析部により、無効パケットのクラスに応じた判定基準に基づいて、メディア用パケットで送受信した各フレームのうち無効パケットによる影響を受けた無効フレームを判定し、これら無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析ステップと、ユーザ体感品質推定部により、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップとを備えている。

また、本発明にかかるプログラムは、パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置のコンピュータに、品質情報取得部により、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、無効パケット判定部により、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定するとともに、当該無効パケットの発生過程に応じて当該無効パケットを異なるクラスのいずれかに分類する無効パケット判定ステップと、品質解析部により、無効パケットのクラスに応じた判定基準に基づいて、メディア用パケットで送受信した各フレームのうち無効パケットによる影響を受けた無効フレームを判定し、これら無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析ステップと、ユーザ体感品質推定部により、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップとを実行させる。

本発明によれば、無効パケット判定部により、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットが無効パケットとして判定されるとともに、当該無効パケットの発生過程に応じて当該無効パケットが異なるクラスのいずれかに分類され、品質解析部により、無効パケットのクラスに応じた判定基準に基づいて、メディア用パケットで送受信した各フレームのうち無効パケットによる影響を受けた無効フレームが判定され、これら無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合が等価無効フレーム率として算出され、ユーザ体感品質推定部により、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値が導出され、アプリケーションのユーザ体感品質の推定値として出力される。

これにより、無効パケットのうち、直前到着パケットとの到着間隔がリアルタイム系アプリケーションの揺らぎ吸収許容時間を越えた遅着パケットと、送信側端末と受信側端末の途中で損失したパケットや到着順が逆転したパケットとが、異なるクラスに分類されて、それぞれに応じた判定基準に基づき無効フレームが判定される。
したがって、遅着パケットがユーザ体感品質に与える影響が考慮されて、無効パケットの発生過程により異なる無効フレームの発生数を正確に判定でき、ユーザ体感品質の推定精度を向上させることができる。

次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置について説明する。図１は、本発明の第１の実施の形態にかかるユーザ体感品質推定装置の構成を示すブロック図である。

ユーザ体感品質推定装置１は、通信機能を有する情報処理装置からなり、アプリケーション端末２さらにはパケット網５と接続されて、アプリケーション端末２で実行されるリアルタイム系アプリケーションのユーザ体感品質を推定する。
このユーザ体感品質推定装置１には、主な機能部として、品質情報取得部１１、無効パケット判定部１２、品質解析部１３、ユーザ体感品質推定部１５、推定結果通知部１８、および品質情報通知部１９が設けられている。

本実施の形態は、品質情報取得部１１により、送信側アプリケーション端末から送信されたメディアデータの通信に用いるメディア用パケットの送信状況を示す送信品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得し、無効パケット判定部１２により、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定するとともに、当該無効パケットの発生過程に応じて当該無効パケットを異なるクラスのいずれかに分類し、品質解析部１３により、無効パケットのクラスに応じた判定基準に基づいて、メディア用パケットで送受信した各フレームのうち無効パケットによる影響を受けた無効フレームを判定し、これら無効フレームに対して所定の重みフレーム数１４で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出し、ユーザ体感品質推定部１５により、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデル１６から、品質解析部１３で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値１７として出力するようにしたものである。

［ユーザ体感品質推定装置］
次に、図１を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置について詳細に説明する。
ユーザ体感品質推定装置１の各機能部は、専用の回路部や演算処理部、さらには記憶部から構成されている。特に、演算処理部（コンピュータ）は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、周辺回路内のメモリや記憶部に格納されているプログラムを読み込んで実行することにより、上記ハードウェアとプログラムとを協働させて各機能部を実現する。記憶部は、メモリやハードディスクなどの記憶装置からなり、各機能部での処理に用いる各種処理情報を記憶する。

品質情報取得部１１は、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信品質情報をアプリケーション端末２のパケット受信部２１から取得する機能と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報をアプリケーション端末２のパケット受信部２１から取得する機能とを有している。

無効パケット判定部１２は、品質情報取得部１１で取得された送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定する機能と、当該無効パケットの発生過程に応じて当該無効パケットを異なるクラスのいずれかに分類する機能とを有している。

無効パケットとは、送信側のリアルタイム系アプリケーションから送信されたメディア（コンテンツ）のデータを含むメディア用パケットのうち、受信側のリアルタイム系アプリケーションで正常に受信できず、メディアとして再生できないパケットのことである。具体的には、送信側アプリケーション端末と受信側アプリケーション端末とをパケット網５を介して結ぶ伝送路上で損失したパケット、受信側アプリケーションの持つ揺らぎ吸収バッファで到着間隔が調整できなかった遅着パケット、さらにはメディア用パケットの到着順序が規定されているリアルタイム系アプリケーションでメディア用パケットの到着順序が逆転したパケットなどが対象となる。

また、無効パケットのクラスは、当該無効パケットの発生過程に応じて複数設けられたクラスである。具体的には、送信側アプリケーション端末と受信側アプリケーション端末とをパケット網５を介して結ぶ伝送路上で損失したパケット、およびメディア用パケットの到着順序が規定されているリアルタイム系アプリケーションでメディア用パケットの到着順序が逆転したパケットを損失クラスに分類し、受信側アプリケーションの持つ揺らぎ吸収バッファで到着間隔が調整できなかった遅着パケットを遅着クラスに分類する。

特に、遅着クラスの無効パケットは、損失クラスの無効パケットとは異なり、その到着が遅れただけで受信側アプリケーション端末では受信されているため、後続のパケットと連携して次のフレームを正常に再構築することが可能である。このため、損失クラスの無効パケットと比較して、当該無効パケットを起因として発生する無効フレームの数が少なく、映像品質に対する影響が小さい。したがって、無効パケットのクラスごとに設けた判定基準を用いれば、無効フレームを正確に判定でき、ユーザ体感品質の推定精度を向上させることができる。

品質解析部１３は、品質情報取得部１１で取得された送信品質情報および受信品質情報に基づいてメディア用パケットで送受信した各フレームのうち無効パケットによる影響を受けた無効フレームの割合を無効フレーム率として算出する機能を有している。
品質解析部１３を構成する主な機能手段としては、対象フレーム識別手段１３Ａ、無効フレーム判定手段１３Ｂ、等価無効フレーム選択手段１３Ｃ、および等価無効フレーム率算出手段１３Ｄがある。

対象フレーム識別手段１３Ａは、送信品質情報に基づいて無効パケットに対応するフレームを対象フレームとして識別する機能を有している。
無効フレーム判定手段１３Ｂは、対象フレームから、当該対象フレームに対応する無効パケットのクラスに応じた判定基準により算出したフレーム数分を、無効フレームと判定する機能を有している。具体的には、各フレームのうち、損失クラスの無効パケットに対応する対象フレームについては、当該対象フレームからメディアの符号化に用いたフレーム構成に応じたフレーム数分を無効フレームと判定し、遅着クラスの無効パケットに対応する対象フレームについては、当該対象フレームから所定のフレーム数（固定数）分を無効フレームと判定する。

等価無効フレーム選択手段１３Ｃは、無効フレーム判定手段１３Ｂで判定された無効フレームについて、１つ以上連続する無効フレームのうち所定の重みフレーム数１４を超える無効フレームを等価無効フレームとして選択する機能を有している。重みフレーム数１４は、人間の知覚特性を示す値であり、連続する無効フレーム数で規定され、予め記憶部に登録されている。
等価無効フレーム率算出手段１３Ｄは、任意の評価期間にメディア用パケットで送信された全フレーム数に対する等価無効フレーム数の割合を等価無効フレーム率として算出する機能を有している。

ユーザ体感品質推定部１５は、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデル１６から、品質解析部１３で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションの品質推定値１７として出力する機能を有している。

推定結果通知部１８は、パケット網５を介して対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）や品質管理サーバ（図示せず）に対し、制御パケットを用いて、当該装置で得られた品質推定値１７さらにはこのユーザ体感品質値の算出に用いた送受信品質情報などの品質要因情報を含む推定結果情報を、定期的あるいは必要に応じて通知する機能を有している。
品質情報通知部１９は、アプリケーション端末２のパケット送信部２２で得られた送信品質情報を送信側アプリケーション端末へ通知する機能を有している。

［第１の実施の形態の動作］
次に、図２および図３を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置の動作について説明する。図２は、本発明の第１の実施の形態にかかるユーザ体感品質推定装置での無効パケット判定処理を示すフローチャートである。図３は、本発明の第１の実施の形態にかかるユーザ体感品質推定装置でのユーザ体感品質推定処理を示すフローチャートである。

ここでは、アプリケーション端末２が受信側であり、送信側となる対向アプリケーション端末（図示せず）から送信されパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定する場合を例として説明する。この際、対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）から、対向アプリケーション端末のパケット送信部で得られた送信品質情報がアプリケーション端末２へ制御用パケットにより通知される場合を例として説明する。

ユーザ体感品質推定装置１の品質情報取得部１１で取得した送信品質情報に含まれている主な品質情報としては、各送信メディア用パケットに関する、送信順序を示すシーケンス番号、映像フレーム種別、映像フレーム番号、送信パケット数、および送信フレーム数がある。また受信品質情報に含まれている主な品質情報としては、各受信メディア用パケットに関する、送信順序を示すシーケンス番号および直前メディア用パケットとの到着時刻差を示す遅延揺らぎ時間がある。

［無効パケット判定処理］
まず、図２を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置１での無効パケット判定処理について説明する。
ユーザ体感品質推定装置１の無効パケット判定部１２は、まず、送信品質情報から未判定の送信メディア用パケットを任意に選択し（ステップ１００）、そのシーケンス番号と同じメディア用パケットが受信されているか受信品質情報で確認する（ステップ１０１）。ここで、シーケンス番号と同じメディア用パケットが受信されていない場合には（ステップ１０１：ＮＯ）、当該メディア用パケットが途中の伝送路で損失したという損失過程を有する損失パケットであると判断できることから、当該パケットを損失クラスの無効パケットであると判定する（ステップ１０２）。

一方、ステップ１０１において、シーケンス番号と同じメディア用パケットが受信されている場合には（ステップ１０１：ＹＥＳ）、当該送信メディア用パケットの遅延揺らぎ時間を受信品質情報で確認し、リアルタイム系アプリケーションが持つ許容遅延時間と比較する（ステップ１０３）。ここで、遅延揺らぎ時間が許容遅延時間を上回っている場合には（ステップ１０３：ＮＯ）、当該メディア用パケットが途中の伝送路や端末内で遅延して到着したため損失したという損失過程を有する遅着パケットであると判断できることから、当該パケットを遅着クラスの無効パケットであると判定する（ステップ１０４）。

また、ステップ１０３において、遅延揺らぎ時間が許容遅延時間以下である場合には（ステップ１０３：ＹＥＳ）、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なす場合にのみ（ステップ１０５：ＹＥＳ）、当該メディア用パケットの到着順とシーケンス番号とが一致するか受信品質情報により確認する（ステップ１０６）。ここで、この一致が確認できず到着順序が逆転しているパケットである場合には（ステップ１０６：ＹＥＳ）、到着順序が逆転したため損失したという損失過程を有する無効パケットであると判断できることから、当該パケットを損失クラスの無効パケットであると判定する（ステップ１０７）。

なお、ステップ１０６において、到着順序が逆転していない場合（ステップ１０６：ＮＯ）や、ステップ１０５において、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なさない場合（ステップ１０５：ＮＯ）、当該パケットは無効パケットではないと判定する（ステップ１０８）。
このようにして、選択した送信メディア用パケットに対して無効パケット判定を行った後、無効パケット未判定の送信パケットが残っている場合には（ステップ１０９：ＹＥＳ）、前述したステップ１００へ戻って残りの受信メディア用パケットに対する無効パケット判定を繰り返し行う。一方、すべての送信メディア用パケットに対して無効パケット判定が終了した場合（ステップ１０９：ＮＯ）、一連の無効パケット判定処理を終了する。

このようにして、無効パケット判定部１２により、品質情報取得部１１で取得された送信品質情報および受信品質情報に基づき、メディア用パケットのうち損失したパケットが無効パケットとして判定されるとともに、当該無効パケットの損失過程に応じて当該無効パケットが複数のクラスに分類される。これにより、後述する品質解析部１３において、無効パケットのクラスに基づいて、メディア用パケットで送受信した各フレームのうち無効パケットによる影響を受けた無効フレームを精度よく判定することができる。

［ユーザ体感品質推定処理］
次に、図３を参照して、本発明の第１の実施の形態にかかるユーザ体感品質推定装置でユーザ体感品質推定動作について説明する。
ユーザ体感品質推定装置１の品質情報取得部１１は、対向アプリケーション端末側からＲＴＣＰ ＸＲ(RTP Control Protocol)などの制御用パケットで送信された送信品質情報が、アプリケーション端末２のパケット受信部２１で受信されたものを取得する（ステップ１２０）。また、アプリケーション端末２のパケット受信部２１で対向アプリケーション端末からのメディア用パケットから得られた受信品質情報を取得する（ステップ１２１）。

次に、無効パケット判定部１２は、送信品質情報で送信が確認されている各メディア用パケットについて、前述した図２の無効パケット判定処理を実行することにより、無効パケットの判定を行う（ステップ１２２）。これにより、アプリケーション端末２のパケット受信部２１で受信された各メディア用パケットについて、当該パケットが無効パケットか否か、および無効パケットであれば損失クラスまたは遅着クラスのいずれに属するかが判定される。

次に、品質解析部１３は、対象フレーム識別手段１３Ａにより、送信品質情報を参照して、無効パケット判定部１２で無効パケットと判定されたメディア用パケットのフレーム種別とフレーム番号を取得し、無効パケットを含む対象フレームを識別する（ステップ１２３）。

続いて、品質解析部１３は、無効フレーム判定手段１３Ｂにより、各フレームのうち、対象フレームから、当該対象フレームに対応する無効パケットのクラスに応じた判定基準により算出したフレーム数分を、メディア用パケットの損失すなわち無効パケットによる影響を受けた復号できない無効フレームと判定する（ステップ１２４）。

この際、遅着クラスの無効パケットは、損失クラスの無効パケットとは異なり、その到着が遅れただけで受信側アプリケーション端末では受信されているため、後続のパケットと連携して次のフレームを正常に再構築することが可能である。このため、損失クラスの無効パケットと比較して、当該無効パケットを起因として発生する無効フレームの数が少なく、映像品質に対する影響が小さい。

本実施の形態では、遅着クラスの無効パケットに対応する対象フレームについては、当該対象フレームから所定のフレーム数（固定数）分を無効フレームと判定する判定基準を適用する。
また、損失クラスの無効パケットに対応する対象フレームについては、当該対象フレームからメディアの符号化に用いたフレーム構成に応じたフレーム数分を無効フレームと判定する判定基準を適用する。

例えば、映像通信では、Ｉ，Ｐ，Ｂなどの各種フレームを用いて基準フレームとの差分データで後続フレームを転送するＭＰＥＧ(Moving Picture Experts Group)などの圧縮符号化方式が用いられ、このようなフレーム構成がＧＯＰ(Group of Picture)構成情報で予め規定されている。このような圧縮符号化方式を用いる場合、差分データが正常に受信されていても基準フレームが無効フレームとなれば後続フレームも復号できず、結果として後続フレームも無効フレームとなる。

図４は、等価無効フレーム率算出動作を示す説明図である。ここでは、各フレームが３つのパケットに分割して送信側アプリケーション端末から受信側アプリケーション端末２が受信してフレームを再構築する場合が例として示されている。
図４において、パケット３１Ａは無効パケット判定部１２により遅着クラスに分類された無効パケットであり、パケット３１Ｂは損失クラスに分類された無効パケットである。

品質解析部１３の対象フレーム識別手段１３Ａにより、これらパケット３１Ａ，３１Ｂに対応するフレーム３２Ａ，３２Ｂがそれぞれ対象フレームとして識別されている。そして、無効フレーム判定手段１３Ｂにより、遅着クラスの判定基準に基づきフレーム３２Ａが無効フレームと判定され、損失クラスの判定基準に基づきフレーム３２Ｂ，３２Ｃ，３２Ｄがそれぞれ無効フレームと判定されている。

この後、品質解析部１３は、等価無効フレーム選択手段１３Ｃにより、各無効フレームに対して重みフレーム数１４で重み付けを行って等価無効フレームを選択する。
等価無効フレーム選択手段１３Ｃは、まず、各フレームにおける無効フレームのフレーム番号に基づき無効フレームの位置を確認し、１つ以上連続する無効フレームを１つのユニットとして識別する（ステップ１２５）。図４の例では、ユニットＡが１つの無効フレームから構成され、ユニットＢが３つの連続する無効フレームから構成されている。

次に、等価無効フレーム選択手段１３Ｃは、各ユニットに含まれる無効フレーム数から重みフレーム数を減算することにより等価無効フレーム数を算出し（ステップ１２６）、得られた等価無効フレーム数が負の場合は（ステップ１２７：ＹＥＳ）、等価無効フレーム数を「０」とする（ステップ１２８）。

この際、重みフレーム数１４は、人間の知覚特性のうちメディアの劣化に対する敏感性を示す値であり、連続する無効フレーム数で規定されている。したがって、上記減算を行うことにより、各ユニットのうちユーザが劣化と認識しうる無効フレーム、すなわち１つ以上連続する無効フレームのうち重みフレーム数１４を超える無効フレームを、等価無効フレームとして選択することができる。
図４において、重みフレーム数１４が「１」の場合、ユニットＡの無効フレーム数が「１」であることからユニットＡの等価無効フレーム数は「０」となる。同様にして、ユニットＢの等価無効フレーム数は「２」となる。

このようにして、無効等価フレームを選択して各ユニットの等価無効フレーム数を算出した後（ステップ１２７：ＮＯ、ステップ１２８）、品質解析部１３は、等価無効フレーム率算出手段１３Ｄにより、各ユニットの等価無効フレーム数を合計して等価無効フレーム総数を求め（ステップ１２９）、これを任意の評価期間における送信品質情報で示される全フレームで除算する。これにより、全フレームのうち等価無効フレーム選択手段１３Ｃにより判定された等価無効フレームの割合を等価無効フレーム率として算出する（ステップ１３０）。図４の例では、等価無効フレーム総数が「３」であり、全フレーム数が「９」であることから、その等価無効フレーム率は「０．２２」となる。

次に、ユーザ体感品質推定部１５は、予め用意して記憶部（図示せず）に格納しておいた無効フレーム率とユーザ体感品質値との関係を示す品質推定モデル１６から、品質解析部１３で算出された無効フレーム率に対応するユーザ体感品質値を導出し（ステップ１３１）、リアルタイム系アプリケーションのユーザ体感品質の品質推定値１７として記憶部へ出力する。

品質推定モデルの作成は、中間パラメータと実際にオピニオン評価を行って得られた主観評価値であるＭＯＳ値(Mean Opinion Score 平均オピニオン評点)からなるユーザ体感品質との関係を回帰曲線またはテーブルによって表すことでモデル化しておく。
従来、中間パラメータとしてパケット網５上で損失した損失パケットの無効パケット率を用い、この無効パケット率とＭＯＳ値との関係を示す推定モデルを用いて、無効パケット率からＭＯＳ値を推定していた（特許文献１など参照）。このような推定モデルでは、ある程度の推定精度は保証できるが、メディア用パケットとフレームとが１対１に対応していないことから、高い推定精度が求められる場合には十分ではない。

また、無効フレーム率とＭＯＳ値との関係を示す推定モデルについては、無効パケット率とＭＯＳ値との関係を示す推定モデルと比較してばらつきが少ないが、人間の知覚特性が考慮されておらず、実際のリアルタイム系アプリケーションでの品質劣化状況から、このような推定モデルにより推定した推定結果には、メディアに対するユーザの主観的な品質評価との誤差を含んでいる。

本実施の形態では、人間の知覚特性のうちメディアの劣化に対する敏感性を考慮した等価無効フレーム率を求め、これを中間パラメータとして用いている。等価無効フレーム率は、無効パケット率や無効フレーム率を求めた際と同じメディア用パケットの品質情報から導出したものであり、無効フレーム率とＭＯＳ値との関係を示す推定モデルを用いた場合と比較して、さらにばらつきが少ない。

ここで、等価バッファサイズと無効フレーム判定について説明する。図５は、等価無効フレーム率とＭＯＳ値との関係を示す説明図であり、当該アプリケーションに応じた適切な等価バッファサイズ(＝１３０ｍｓ）用いて無効パケットを判定するとともに、無効フレームの判定基準として損失クラスの判定基準のみを用いて無効フレームを判定した例である。この例では、遅着クラスの無効パケットを多く含む（図中破線部）場合、等価フレーム率が正確に算出されておらず大きな値となっているため、ＭＯＳ値がばらついており、品質推定モデル１６を示す理想的な回帰曲線（図中実線）との誤差が大きく、ＭＯＳ値推定の精度が悪いことがわかる。

図６は、等価無効フレーム率とＭＯＳ値との関係を示す他の説明図であり、当該アプリケーションとは異なる擬似的な等価バッファサイズ(＝１７０ｍｓ）用いて無効パケットを判定するとともに、無効フレームの判定基準として損失クラスの判定基準のみを用いて無効フレームを判定した例である。この例では、等価バッファサイズの増大により遅着クラスと判定される無効パケットが見かけ上少なくなり、図５と比較して誤差は少ないものの、等価バッファサイズが正しくないため、伝送路上での遅延揺らぎによるユーザ体感品質への影響が正しく推定できていない。

図７は、等価無効フレーム率とＭＯＳ値との関係を示す説明図であり、当該アプリケーションに応じた適切な等価バッファサイズ(＝１３０ｍｓ）用いて無効パケットを判定するとともに、無効フレームの判定基準としてクラスごとに個別の判定基準を用いて無効フレームを判定した例である。この例では、遅着クラスの無効パケットに応じた無効フレームが正確に判定されて、等価フレーム率が正確に算出されているため、品質推定モデル１６を示す理想的な回帰曲線（図中実線）との誤差が極めて小さく、高い精度でＭＯＳ値が推定されることがわかる。

実際にユーザ体感品質推定部１５で用いる品質推定モデル１６としては、図５の回帰曲線を用いてもよく、これをテーブル化した推定モデルを用いてもよい。
具体的には、図５において、例えば入力パラメータの入力最小単位である最小刻（具体的には、等価無効フレーム率の入力最小単位）を０．０１とした場合、０．０１刻で、出力された値を平均することで表を作成する。つまり、最小刻の範囲内に入っているＭＯＳ値を平均することで、０から最小刻ごとに等価無効フレーム率とＭＯＳの関係をテーブルを作成する。ただし、評価サンプル数が少ない場合、最小刻の中でデータがないものが存在する。その際には、前後にデータが存在するものを利用して補完を行う。この補完は、線形であっても、回帰を用いても構わない。このような現象が極力少なくなるように、モデル作成時には、多数のデータサンプルを取得することが望ましい。

この後、推定結果通知部１８は、ユーザ体感品質推定部１５で推定された品質推定値１７を記憶部から読み込んで、ＲＴＣＰ ＸＲなどの制御用パケットに格納し、パケット網５を介して対向アプリケーション端末に接続されているユーザ体感品質推定装置（図示せず）や品質管理サーバ（図示せず）に対して送信し（ステップ１３２）、一連のユーザ体感品質推定処理を終了する。
この際、一定間隔ごとに品質推定値１７の平均値やばらつきを示す分散などを求める統計処理した結果を推定結果通知部１８で通知してもよい。

このように、本実施の形態では、品質情報取得部１１により、送信側アプリケーション端末から送信されたメディアデータの通信に用いるメディア用パケットの送信状況を示す送信品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報とを取得し、無効パケット判定部１２により、送信品質情報と受信品質情報とに基づいてメディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定するとともに、当該無効パケットの発生過程に応じて当該無効パケットを異なるクラスのいずれかに分類し、品質解析部１３により、無効パケットのクラスに応じた判定基準に基づいて、メディア用パケットで送受信した各フレームのうち無効パケットによる影響を受けた無効フレームを判定し、これら無効フレームに対して所定の重みフレーム数１４で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出し、ユーザ体感品質推定部１５により、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデル１６から、品質解析部１３で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、アプリケーションのユーザ体感品質の推定値１７として出力している。

これにより、無効パケットのうち、直前到着パケットとの到着間隔がリアルタイム系アプリケーションの揺らぎ吸収許容時間を越えた遅着パケットと、送信側端末と受信側端末の途中で損失したパケットや到着順が逆転したパケットとが、異なるクラスに分類されて、それぞれに応じた判定基準に基づき無効フレームが判定される。
したがって、遅着パケットがユーザ体感品質に与える影響が考慮されて、無効パケットの発生過程により異なる無効フレームの発生数を正確に判定でき、ユーザ体感品質の推定精度を向上させることができる。

また、具体的な判定基準として、各フレームのうち、損失クラスの無効パケットに対応する対象フレームについては、当該対象フレームからメディアの符号化に用いたフレーム構成に応じたフレーム数分を無効フレームと判定し、遅着クラスの無効パケットに対応する対象フレームについては、当該対象フレームから所定のフレーム数（固定数）分を無効フレームと判定するようにしたので、それぞれのクラスの無効パケットに応じて無効フレームを極めて精度よく判定できる。

また、本実施の形態では、無効パケット判定部１２により、送信品質情報で送信が確認されたメディア用パケットのうち受信品質情報で受信が確認されていないメディア用パケット、および受信品質情報の各メディア用パケットの到着時刻から得た直前メディア用パケットとの到着時刻差がアプリケーションの許容パケット遅延時間を超えるメディア用パケットを無効パケットと判定するようにしたので、途中の伝送路だけではなく遅着により損失したパケットについても無効パケットと判定することができ、受信側のリアルタイム系アプリケーションでメディアとして再生できないパケットを正確に判定できる。

また、無効パケット判定部１２により、受信品質情報で受信確認されたメディア用パケットの送信順序と受信順序とが矛盾するメディア用パケットを無効パケットと判定するようにしたので、当該リアルタイム系アプリケーションが到着順序逆転パケットを損失と見なす場合、受信側のリアルタイム系アプリケーションでメディアとして再生できないパケットをさらに正確に判定できる。

［第２の実施の形態］
次に、図８を参照して、本発明の第２の実施の形態にかかるユーザ体感品質推定装置について説明する。図８は、本発明の第２の実施の形態にかかるユーザ体感品質推定装置の無効フレーム判定処理を示すフローチャートである。

本実施の形態では、前述した第１の実施の形態の無効フレーム判定手段１３Ｂにおける無効フレーム判定処理の具体例について説明する。
無効フレーム判定手段１３Ｂは、まず、受信品質情報を参照して、受信側に到着した順序にしたがって無効フレーム未判定のフレームを選択し（ステップ１５０）、対象フレーム識別手段１３Ａにより無効パケットを含むことから対象フレームと識別されたフレームかどうか判定する（ステップ１５１）。ここで、対象フレームではない場合（ステップ１５１：ＮＯ）、当該フレームが無効フレームではないと判定する（ステップ１５２）。

一方、当該フレームが対象フレームの場合（ステップ１５１：ＹＥＳ）、当該フレームを無効フレームと判定し（ステップ１５３）、当該フレームに対応する無効パケットが損失クラスか否か判断する（ステップ１５４）。
ここで、無効パケットが損失クラスの場合（ステップ１５４：ＹＥＳ）、当該リアルタイム系アプリケーションでメディアの符号化に用いたフレーム構成を示すフレーム構成情報と受信品質情報とを参照することにより、フレーム構成に基づいて当該無効フレームを復号時に用いる後続のフレーム数を算出する（ステップ１５５）。フレーム構成情報は、予め記憶部に設定しておいてもよく送受信品質情報で取得してもよい。

一方、無効パケットが遅着クラスの場合（ステップ１５４：ＮＯ）、当該アプリケーションの特性に応じて予め設定されている所定フレーム数を記憶部（図示せず）から取得する（ステップ１５６）。
このようにして、ステップ１５５またはステップ１５６で得られたフレーム数分だけ当該フレームから後続のフレームを無効フレームと判定する（ステップ１５７）。

図９は、無効フレームの判定処理例である。ここでは、例えば、ＭＰＥＧ符号化方式に基づいて、映像メディアが「ＩＢＢ」のＧＯＰ構成で圧縮符号化されフレームに分割されている。フレーム種別Ｉフレームは基準となるフレームで、Ｉフレームだけで元のフレームを復号できる。フレーム種別ＢフレームはＩフレームとの差分データからなり、その復号にはＩフレームが必要となる。

図９に示すように、フレーム「１〜９」が「ＩＢＢ」のＧＯＰ構成にしたがってメディア用パケットに分割されて送信され、受信側で受信した際、このうちフレーム「２，４」に損失クラスの無効パケットが含まれており、フレーム「７」に遅着クラスの無効パケットが含まれていたとする。
この場合、フレーム「２」については、損失クラスの判定基準が適用され、ＧＯＰ構成に基づき当該フレームを復号時に用いるフレーム数が算出されるが、フレーム「２」はＢフレームであり、当該フレームを用いるフレーム数は「０（ゼロ）」となり、フレーム「２」のみが無効フレームとなる。

また、フレーム「４」については、損失クラスの判定基準が適用され、ＧＯＰ構成に基づき当該フレームを復号時に用いるフレーム数が算出される。この場合、フレーム「４」はＩフレームであることから、当該フレームを復号時に用いるフレーム数が「２」となり、この場合はフレーム「４，５，６」が無効クレームとなる。
また、フレーム「７」については、遅着クラスの判定基準が適用され、この場合、所定フレーム数として「０」（固定数）が設定されており、当該フレーム「７」のみが無効フレームと判定される。

このようにして、選択したフレームおよび後続のフレームに対して無効フレーム判定を行った後、無効フレーム未判定のフレームが残っている場合には（ステップ１５８：ＹＥＳ）、前述したステップ１５０へ戻って残りのフレームに対する無効フレーム判定を繰り返し行う。一方、すべての送信メディア用パケットに対して無効パケット判定が終了した場合（ステップ１５８：ＮＯ）、一連の無効フレーム判定処理を終了する。

このように、本実施の形態では、無効フレーム判定手段１３Ｂにより、各フレームのうち対象フレームを無効フレームと判定するとともに、損失クラスの無効パケットに対応する対象フレームについては、当該対象フレームからメディアの符号化に用いたフレーム構成に応じたフレーム数分を無効フレームと判定し、遅着クラスの無効パケットに対応する対象フレームについては、当該対象フレームから所定のフレーム数（固定数）分を無効フレームと判定するようにしたので、それぞれのクラスの無効パケットに応じて無効フレームを極めて精度よく判定できる。

［各実施の形態の拡張］
以上の各実施の形態では、アプリケーション端末２が受信側であり、送信側となる対向アプリケーション端末（図示せず）から送信されパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定する場合を例として説明したがこれに限定されるものではない。すなわち、アプリケーション端末２が送信側であり、受信側となる対向アプリケーション端末（図示せず）でパケット網５を介して受信した映像メディアのメディア用パケットに関するユーザ体感品質値を推定することもできる。

この場合には、ユーザ体感品質推定装置１の品質情報取得部１１により、アプリケーション端末２のパケット送信部２２で得られた品質情報を前述した送信品質情報として用いるとともに、アプリケーション端末２のパケット受信部２１で受信した対向アプリケーション端末からの品質情報を前述した受信品質情報として用いればよい。
この際、対向アプリケーション端末でも同様のユーザ体感品質を推定する場合には、前述した品質情報通知部１９でアプリケーション端末２のパケット送信部２２で得られた送信品質情報を送信する代わりに、パケット受信部２１で得られた受信メディア用パケットに関する受信品質情報を対向アプリケーション端末へ送信すればよい。

なお、これら送受信品質情報は、直接、送信側と受信側との間でやり取りしてもよいが、これら品質情報を管理する品質管理サーバを介してやり取りするようにしてもよい。また、ユーザ体感品質推定装置１で、品質情報を直接受信するようにしてもよい。

また、以上の各実施の形態では、ユーザ体感品質推定装置１をアプリケーション端末２とは別個の装置で実現した場合を例として説明したが、これに限定されるものではなく、リアルタイム系アプリケーションと並行してアプリケーション端末２で実行される品質推定アプリケーションにより実現してもよい。これにより、アプリケーション端末２のハードウェア資源を共用して実現でき、極めて容易にユーザ体感品質を管理できる。

本発明の第１の実施の形態にかかるユーザ体感品質推定装置の構成を示すブロック図である。 本発明の第１の実施の形態にかかるユーザ体感品質推定装置の無効パケット判定処理を示すフローチャートである。 本発明の第１の実施の形態にかかるユーザ体感品質推定装置のユーザ体感品質推定処理を示すフローチャートである。 等価無効フレーム率算出動作を示す説明図である。 等価無効フレーム率とＭＯＳ値との関係を示す説明図である。 等価無効フレーム率とＭＯＳ値との関係を示す他の説明図である。 等価無効フレーム率とＭＯＳ値との関係を示す他の説明図である。 本発明の第２の実施の形態にかかるユーザ体感品質推定装置の無効フレーム判定処理を示すフローチャートである。 無効フレームの判定処理例を示す説明図である。

符号の説明

１…ユーザ体感品質推定装置、１１…品質情報取得部、１２…無効パケット判定部、１３…品質解析部、１３Ａ…対象フレーム識別手段、１３Ｂ…無効フレーム判定手段、１３Ｃ…等価無効フレーム選択手段、１３Ｄ…等価無効フレーム率算出手段、１４…重みフレーム数、１５…ユーザ体感品質推定部、１６…品質推定モデル、１７…品質推定値、１８…推定結果通知部、１９…品質情報通知部、２…アプリケーション端末、２１…パケット受信部、２２…パケット送信部、５…パケット網。

Claims (10)

1. パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、前記受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置であって、
   前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得部と、
   前記送信品質情報と前記受信品質情報とに基づいて前記メディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定するとともに、当該無効パケットの発生過程に応じて当該無効パケットを異なるクラスのいずれかに分類する無効パケット判定部と、
   前記無効パケットのクラスに応じた判定基準に基づいて、前記メディア用パケットで送受信した各フレームのうち前記無効パケットによる影響を受けた無効フレームを判定し、これら無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析部と、
   等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定部と
   を備えることを特徴とするユーザ体感品質推定装置。
2. 請求項１に記載のユーザ体感品質推定装置において、
   前記品質解析部は、
   前記送信品質情報に基づいて前記無効パケットに対応するフレームを対象フレームとして識別するフレーム識別手段と、
   前記各フレームのうち、前記対象フレームから、当該対象フレームに対応する無効パケットのクラスに応じた判定基準により算出したフレーム数分を、前記無効フレームと判定する無効フレーム判定手段と、
   １つ以上連続する前記無効フレームのうち前記重みフレーム数を超える無効フレームを等価無効フレームとして選択する等価無効フレーム選択手段と、
   前記メディア用パケットで送信された全フレーム数に対する前記等価無効フレーム数の割合を前記等価無効フレーム率として算出する等価無効フレーム率算出手段と
   を有することを特徴とするユーザ体感品質推定装置。
3. 請求項２に記載のユーザ体感品質推定装置において、
   前記無効パケット判定部は、前記送信品質情報で送信が確認されたメディア用パケットのうち前記受信品質情報で受信が確認されていないパケット、および前記受信品質情報で受信確認されたメディア用パケットのうち送信順序と受信順序とが矛盾するパケットを、前記無効パケットと判定するとともに損失クラスに分類し、前記送信品質情報および前記受信品質情報の両方で送受信が確認されたメディア用パケットのうち直前メディア用パケットとの到着間隔を示す遅延揺らぎ時間が前記アプリケーションの許容パケット遅延時間を超えている遅着パケットを、前記無効パケットと判定するとともに遅着クラスに分類することを特徴とするユーザ体感品質推定装置。
4. 請求項３に記載のユーザ体感品質推定装置において、
   前記無効フレーム判定手段は、前記各フレームのうち、前記損失クラスの無効パケットに対応する対象フレームについては、当該対象フレームから前記メディアの符号化に用いたフレーム構成に応じたフレーム数分を前記無効フレームと判定し、前記遅着クラスの無効パケットに対応する対象フレームについては、当該対象フレームから所定のフレーム数分を前記無効フレームと判定することを特徴とするユーザ体感品質推定装置。
5. 請求項１に記載のユーザ体感品質推定装置において、
   前記品質情報取得部は、前記受信側アプリケーション端末のパケット受信部で受信された前記送信側アプリケーション端末側からの送信品質情報を前記送信品質情報として取得するとともに、前記受信側アプリケーション端末のパケット受信部で受信されたメディア用パケットから得られた受信品質情報を前記受信品質情報として取得することを特徴とするユーザ体感品質推定装置。
6. 請求項１に記載のユーザ体感品質推定装置において、
   前記品質情報取得部は、前記送信側アプリケーション端末のパケット受信部で受信された前記受信側アプリケーション端末側からの受信品質情報を前記受信品質情報として取得するとともに、前記送信側アプリケーション端末のパケット送信部で送信されたメディア用パケットから得られた送信品質情報を前記送信品質情報として取得することを特徴とするユーザ体感品質推定装置。
7. 請求項１に記載のユーザ体感品質推定装置において、
   前記送信側アプリケーション端末のパケット送信部で得られた前記送信品質情報を前記受信側アプリケーション端末へ通知する品質情報通知部をさらに備えることを特徴とするユーザ体感品質推定装置。
8. 請求項１に記載のユーザ体感品質推定装置において、
   前記受信側アプリケーション端末のパケット受信部で得られた前記受信品質情報を前記送信側アプリケーション端末へ通知する品質情報通知部をさらに備えることを特徴とするユーザ体感品質推定装置。
9. パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、前記受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置で用いられるユーザ体感品質推定方法であって、
   品質情報取得部により、前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、
   無効パケット判定部により、前記送信品質情報と前記受信品質情報とに基づいて前記メディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定するとともに、当該無効パケットの発生過程に応じて当該無効パケットを異なるクラスのいずれかに分類する無効パケット判定ステップと、
   品質解析部により、前記無効パケットのクラスに応じた判定基準に基づいて、前記メディア用パケットで送受信した各フレームのうち前記無効パケットによる影響を受けた無効フレームを判定し、これら無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析ステップと、
   ユーザ体感品質推定部により、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップと
   を備えることを特徴とするユーザ体感品質推定方法。
10. パケット網を介して接続された送信側および受信側アプリケーション端末間で、リアルタイム系のアプリケーションにより映像や音声などのメディアを符号化して得られた各フレームをメディア用パケットで送受信した際に、前記受信側アプリケーション端末で受信再生したメディアについてユーザが実感するユーザ体感品質を推定するユーザ体感品質推定装置のコンピュータに、
    品質情報取得部により、前記送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信品質情報と、前記受信側アプリケーション端末で受信した前記メディア用パケットの受信状況を示す受信品質情報とを取得する品質情報取得ステップと、
    無効パケット判定部により、前記送信品質情報と前記受信品質情報とに基づいて前記メディア用パケットのうち正常に受信できなかったパケットを無効パケットとして判定するとともに、当該無効パケットの発生過程に応じて当該無効パケットを異なるクラスのいずれかに分類する無効パケット判定ステップと、
    品質解析部により、前記無効パケットのクラスに応じた判定基準に基づいて、前記メディア用パケットで送受信した各フレームのうち前記無効パケットによる影響を受けた無効フレームを判定し、これら無効フレームに対して所定の重みフレーム数で重み付けを行って選択した等価無効フレームの割合を等価無効フレーム率として算出する品質解析ステップと、
    ユーザ体感品質推定部により、等価無効フレーム率とユーザ体感品質値との関係を示す品質推定モデルから、前記品質解析部で算出された等価無効フレーム率に対応するユーザ体感品質値を導出し、前記アプリケーションのユーザ体感品質の推定値として出力するユーザ体感品質推定ステップと
    を実行させるプログラム。

Images