JP5172440B2 - 映像品質推定装置、方法およびプログラム - Google Patents

Description

本発明は、インターネットのようなＩＰ（Internet Protocol）ネットワークを介して行われるＩＰＴＶサービス、映像配信サービス、及び映像コミュニケーションサービス等における映像通信の品質を推定する映像品質推定技術に関する。

インターネットアクセス回線の高速・広帯域化に伴い、インターネットを介して映像さらには音声を含む映像メディアを端末間あるいはサーバ−端末間で転送する映像通信サービスの普及が期待されている。
インターネットは必ずしも通信品質の保証されていないネットワークであるため、音声および映像メディアなどを用いて通信を行う場合、ユーザ端末間のネットワークの回線帯域が狭かったり、回線が輻輳したりすると、音声や映像メディアなどに対してユーザが知覚する品質［ユーザ体感品質：ＱｏＥ（Qualty of Experience）］が劣化してしまう。

具体的には、映像に品質劣化が加わると、映像のぼけ、にじみ、モザイク状の歪み、ぎくしゃく感として知覚される。上記映像通信サービスを良好な品質で提供するためには、サービス提供に先立ったアプリケーションおよびネットワークの品質設計やサービス開始後の品質管理が重要となる。したがって、視聴者が享受する映像品質を適切に表現でき、しかも簡便かつ効率的な映像品質評価技術が必要とされる。

従来、国際標準化機関ＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）勧告Ｊ．１４４において、映像品質客観評価法が規定されている。また、ＩＴＵ−Ｔ勧告Ｇ．１０７０には、テレビ電話の品質設計を行うための品質推定法が規定されている。これらの客観評価技術は、或る一定の条件下で主観品質の統計的曖昧さと同程度の推定誤差で主観品質を推定することができる。
なお、出願人は、本明細書に記載した先行技術文献情報で特定される先行技術文献以外には、本発明に関連する先行技術文献を出願時までに発見するには至らなかった。
ITU-T Recommendation J.144（ＩＴＵ−Ｔ勧告Ｊ．１４４） ITU-T Recommendation G.1070（ＩＴＵ−Ｔ勧告Ｇ．１０７０）

しかしながら、上記のＩＴＵ−Ｔ勧告Ｊ．１４４は、映像メディア信号（画素信号）を用いる品質推定方法であり、品質推定に関する計算量が膨大である。そのため、ネットワーク間から品質情報を抽出して推定するような場合、特に大規模ネットワークで品質推定を行うような場合には不向きであるという問題がある。

また、映像の品質に影響を与える品質パラメータから品質を推定する方法（前述のＩＴＵ−Ｔ勧告Ｇ．１０７０）は、ランダムパケット損失（つまり、バースト損失長が「１」のパケット損失）のみを推定できるモデルであり、バーストパケット損失（パケット損失が連続的に発生するもの）を推定することはできない。

具体的には、バーストパケット損失が発生すると、１回の損失で複数のＩＰパケットが連続して損失するため、ランダムパケット損失の場合と比較すると、映像内に発生する損失回数は少なくなる。例えば、パケット損失率が同じ３％であっても、バーストパケット損失長が「１」の場合に、パケット損失回数が３回であるとすると、バーストパケット損失長が「３」の場合のパケット損失回数は１回となる。

すなわち、前者（バーストパケット損失長が「１」、即ちランダムパケット損失）では、映像内に３回パケット損失が発生したと知覚されるのに対し、後者（バーストパケット損失が連続的に発生、即ちバーストパケット損失）は１回パケット損失が発生したと知覚される。

このように、同じパケット損失率であっても、バーストパケット損失が発生した映像品質は、図１０（ａ）に示すようにランダムパケット損失が発生した映像品質よりも高くなる。従来の方法では、以上の事実を考慮できないため、バーストパケット損失が発生した映像品質が実際より低く評価されてしまい、推定精度が著しく低下するという問題があった。

また、モバイル通信では、１フレームを１〜数パケットで構成するため、バーストパケット損失が発生すると、数フレーム損失することになる（ＨＤ規格の映像の場合、１フレームを数十パケット以上で構成するため、バーストパケット損失長が１０程度までであれば、１フレームの劣化でおさまる）。これに対してランダムパケット損失（つまり、バーストパケット損失長が１の場合）では、数フレームにまたがり損失することがほとんどない（ただし、１パケットに複数フレームの情報があるときは、１パケットの損失でも複数フレーム損失する）。このため、バーストパケット損失長が長い場合、複数フレームが劣化するので、ランダムパケット損失と比較して、人が知覚する品質は低くなるという問題がある。すなわち、例えば１フレームの損失が３０ｆｐｓの場合、損失時間は３３ｍｓであるが、例えば１０フレーム損失した場合は、３３０ｍｓの間、損失が継続することになるため、同じパケット損失回数のとき、バーストパケット損失のほうが、ランダムパケット損失より品質が低くなる。

本発明は以上のような問題点に鑑みてなされたものであり、その目的とするところは、バーストパケット損失が発生した映像の品質を的確に推定することを可能にすることにある。

このような課題を解決するために本発明は、入力したＩＰパケットから、符号化ビットレート、フレームレートおよびパケット損失パターンを品質パラメータとして抽出するパケット解析部と、抽出されたパケット損失パターンから、連続する複数のＩＰパケットの区間を表す一定区間に発生したパケット損失を１回のパケット損失として計数することにより、この計数値をパケット損失回数として算出するパケット損失回数算出部と、抽出された符号化ビットレートおよびフレームレートに基づいて第１の映像品質値を算出する符号化品質算出部と、パケット損失回数算出部により算出されたパケット損失回数と符号化品質算出部により算出された第１の映像品質値とに基づいて第２の映像品質値を算出する映像品質推定部とを有することを特徴とする。

この場合、パケット損失回数算出部は抽出されたパケット損失パターンから、連続して損失したパケット数を表すバーストパケット損失長を算出し、映像品質推定部は、パケット損失回数算出部により算出されたバーストパケット損失長とパケット損失回数、および符号化品質算出部により算出された第１の映像品質値に基づいて第２の映像品質値を算出する。

また、本発明は、入力したＩＰパケットから、符号化ビットレート、フレームレートおよびパケット損失パターンを品質パラメータとして抽出する抽出ステップと、抽出されたパケット損失パターンから、連続する複数のＩＰパケットの区間を表す一定区間に発生したパケット損失を１回のパケット損失として計数することにより、この計数値をパケット損失回数として算出するパケット損失回数算出ステップと、抽出された符号化ビットレートとフレームレートに基づいて第１の映像品質値を算出する符号化品質算出ステップと、算出されたパケット損失回数と第１の映像品質値とに基づいて第２の映像品質値を算出する映像品質推定ステップとを有することを特徴とする。

この場合、パケット損失回数算出ステップは抽出されたパケット損失パターンから、連続して損失したパケット数を表すバーストパケット損失長を算出し、映像品質推定ステップは、パケット損失回数算出ステップにより算出されたバーストパケット損失長とパケット損失回数、および符号化品質算出ステップにより算出された第１の映像品質値に基づいて第２の映像品質値を算出する。

また、本発明は、入力したＩＰパケットから、符号化ビットレート、フレームレートおよびパケット損失パターンを品質パラメータとして抽出する抽出処理と、抽出されたパケット損失パターンから、連続する複数のＩＰパケットの区間を表す一定区間に発生したパケット損失を１回のパケット損失として計数することにより、この計数値をパケット損失回数として算出するパケット損失回数算出処理と、抽出された符号化ビットレートとフレームレートに基づいて第１の映像品質値を算出する符号化品質算出処理と、算出されたパケット損失回数と第１の映像品質値とに基づいて第２の映像品質値を算出する映像品質推定処理とをコンピュータに実行させるプログラムを有することを特徴とする。

この場合、パケット損失回数算出処理は、抽出されたパケット損失パターンから、連続して損失したパケット数を表すバーストパケット損失長を算出するバーストパケット損失長算出処理を含み、映像品質推定処理は、パケット損失回数算出処理により算出されたバーストパケット損失長とパケット損失回数、および符号化品質算出処理により算出された第１の映像品質値に基づいて第２の映像品質値を算出する第２の映像品質値算出処理を含み、前記バーストパケット損失長算出処理と、前記第２の映像品質値算出処理とをコンピュータに実行させるプログラムを有する。

以上説明したように、本発明は、抽出されたパケット損失パターンから、連続する複数のＩＰパケットの区間を表す一定区間に発生したパケット損失を１回のパケット損失として計数することにより、この計数値をパケット損失回数として算出する一方、抽出された符号化ビットレートおよびフレームレートに基づいて第１の映像品質値を算出し、この第１の映像品質値と前記パケット損失回数に基づいて第２の映像品質値を算出してこれを映像推定値としたので、バーストパケット損失が発生した映像の品質を的確に推定することができ、したがって、バーストパケット損失が発生した映像品質の推定精度が著しく低下するといった問題を回避することができる。

また、抽出されたパケット損失パターンから、連続して損失したパケット数を表すバーストパケット損失長を算出し、算出されたバーストパケット損失長とパケット損失回数、および算出された第１の映像品質値に基づいて第２の映像品質値を算出するようにしたので、モバイル通信のように低ビットレートで符号化される場合、同じパケット損失回数のときに、バーストパケット損失のほうがランダムパケット損失より品質が低くなるといった問題を回避できる。

一般に、パケット損失回数が同一回数の場合は、図１０（ｂ）に示すように、連続損失長（バーストパケット損失長）の長さに関わらず、主観品質値がほぼ同等であることより、パケット損失回数で品質を推定することが望ましいことがわかる。本発明では、この事実を用いて、バーストパケット損失の影響を考慮した品質推定を実現するものである。

具体的には、従来のパケット損失率を用いる方法ではなく、品質推定区間内（例えば、１０秒間）に発生したパケット損失回数を用いる方法である。すなわち、ＩＰパケットをキャプチャ（捕捉）し、そのＩＰパケットのＩＰパケットヘッダやＲＴＰ（Real-time Transport Protocol）ヘッダ内に設定されているシーケンス番号などからランダムパケット損失か、或いはバーストパケット損失かを判断し、パケット損失の塊が品質推定区間内に何回発生したかをカウントし、そのパケット損失回数（例えば、５回）から映像品質（例えば、ＭＯＳ＝２．５、ここで、ＭＯＳはMean Opinion Score（主観映像品質値）表す）を推定する。

本発明により、サービス提供中の映像品質を、映像メディアの画素情報を用いることなく、ネットワーク内から抽出可能なＩＰパケットに設定されている情報から推定できることから、低演算量にバーストパケット損失を考慮できる。

以下、本発明について図面を用いて説明する。図１は本発明に係る映像品質推定装置の実施の形態を示すブロック図である。
この映像品質推定装置は、ＣＰＵなどのコンピュータが記憶媒体に記憶されたプログラムを読み出して実行することにより、図１に示すような、ＩＰパケット解析部１０１、パケット損失回数算出部１０２、符号化品質算出部１０３および映像品質推定部１０４等の各部の機能を実現するものであり、また、この映像品質推定装置には記憶部が設けられ、記憶部には、後述する品質データベース１０３Ａ，１０４Ａや、係数データベース１０３Ｂ，１０４Ｂが設けられている。

この映像品質推定装置では、まず、映像通信に用いるＩＰパケットをキャプチャ（捕獲）する。ＩＰパケット内には、ＩＰヘッダ（IP header）、トランスポートストリーム（TS：Transport stream）、エレメンタリストリーム（ES：Elementary stream）などが存在する。

捕獲したＩＰパケットはＩＰパケット解析部１０１に送られる。ＩＰパケット解析部１０１は、そのＩＰパケットを入力すると、映像品質推定を行うために後述する映像品質推定関数へのパラメータとしてパケット損失回数算出部１０２，符号化品質算出部１０３に入力される品質パラメータを抽出する。そして抽出した品質パラメータを、パケット損失回数算出部１０２，符号化品質算出部１０３に送出し、パケット損失回数算出部１０２，符号化品質算出部１０３に映像品質推定関数へのパラメータとして入力させる。ここで、本実施の形態では、品質パラメータとして、後述するように、パケット損失回数、パケット損失間隔、映像品質推定区間内のビットレート、及びフレームレートを用いている。

パケット損失回数については、パケット損失回数の増加とともに映像品質が低下する特性を有することを利用する。
品質パラメータとしては、本実施の形態で用いたものの他に、ＩＰパケット内に設定される映像フォーマット、符号化レート、フレーム情報（イントラリフレッシュレート、ＧｏＰ、フレームタイプ）、動き補償後の誤差信号に対する情報（量子化ステップ数、変換係数（ＤＣＴ係数／整数変換係数／ウェーブレット係数など）、パケット損失情報（パケット損失率、パケット損失パターン、パケット遅延時間など）などを用いても良い。

以下に、本実施の形態において、具体的にどのように各品質パラメータを抽出し、パケット損失回数算出部１０２，符号化品質算出部１０３に送出するかについて説明する。
（ａ）パケット損失パターン
パケット損失回数を算出するために、ＩＰパケットヘッダ、ＲＴＰヘッダなどに設定されているシーケンス番号などから、シーケンス番号の抜けを探し、その番号をパケット損失回数算出部１０２に送出して入力させる。

（ｂ）ビットレート
ＩＰパケット内の映像符号化に必要な符号量（即ち、ビット数）をカウントし、そのビットレートを符号化品質算出部１０３に送出して入力させる。また、暗号化などにより直接ビットレートをカウントできないときは、参照可能なヘッダをカウントし、そのカウント値をＩＰヘッダ内に記述されるＩＰ長から減算して、それをビットレートとして利用する。

（ｃ）フレームレート
映像符号化に関する情報を参照し、ＧｏＰ（Group of Picture）構成からフレームレートを求め、符号化品質算出部１０３に送出して入力させる。ただし、放送サービスなどではフレームレートが固定されるケースが多く、フレームレートに例えば３０ｆｐｓなどの固定値を与えても良い。また、映像符号化に関する情報が暗号化されている場合、アプリケーションによってはＲＴＰヘッダ内に存在するマーカービットがフレームの終点を示している。この情報をもらいフレーム数をカウントしても良い。同様にＴＳヘッダ内のペイロードユニットスタートインジケータ（payload unit start indicator）を用いてフレーム数をカウントしても良い。

パケット損失回数算出部１０２は、パケット損失パターンからパケット損失回数を算出し、映像品質推定部１０４へ送出して映像品質推定部１０４に入力させる。具体的には、以下の手順でパケット損失回数は算出される。なお、パケット損失回数とは、１つのパケットが損失した場合でも、また、例えば連続してパケットが損失した場合でも１回とカウントすることを意味する。

（ａ）例えば、ＩＰパケットのシーケンス番号が３１から３４まで損失しているとＩＰパケット解析部１０１により分析され、パケットが連続して損失している図８のケースｂ，ｃのような場合は、パケット連続損失長（例えば、上記例ではパケット連続損失長は「４」）によらずに１回とカウントする。ただし、ＩＰパケットのシーケンス番号が例えば３１，３３，３５，３７と抜けているような、図８のケースａのような場合は損失回数は「４」となる。
（ｂ）一定区間に発生したパケット損失はパケット損失パターンによらずに図９に示すように１回とカウントする。例えば、一定区間を１０ＩＰパケットとしたとき（シーケンス番号は例えば３０〜３９）、上記の図８のケースａは１回とカウントされる。

ここで、一定区間の与え方として、以下のような場合がある。
（ａ）一定のＩＰパケット数を１区間とする（例えば、１０ＩＰパケット）。
（ｂ）フレームを構成するスライスを１区間とする（複数スライスを１区間としても良い）。
（ｃ）１フレームを１区間とする（複数フレームを１区間としても良い）。
（ｄ）１ＧｏＰを１区間とする（複数ＧｏＰを１区間としても良い）。
また、スライス、フレーム、ＧｏＰをメディアに関するペイロード情報から直接読み出しても良い。ただし、メディアに関するペイロード情報は、著作権保護の観点でしばしば暗号化されるため、前述したように、ＲＴＰヘッダ内のマーカービットや、ＴＳヘッダ内のペイロードユニットスタートインジケータを用いて判別しても良い。
上記区間は一例であり、本発明はその他の方法を用いて決定した区間も含む。

また、「一定区間」の起点として、損失したパケットを起点としても良い。
なお、上記区間はフレーム単位、ＧｏＰ単位、秒単位などにより与えられるが、システムやＣＯＤＥＣ（符号化器や復号化器）に依存するため、主観評価などにより決定する（他の方法で決定してもよい）。

なお、図９にケースａとして記述されているように、１つおきにパケット損失が発生する場合などは（図９のケースｂおよびケースｃなども同様）、所定の区間内を１つのパケット損失として扱ったほうが品質推定精度の向上が見込める。具体的には、連続損失長が「１」のものと、連続損失長が「１０」のものとがほぼ同等の品質であることから、所定の区間を、例えば、パケット１０個分としたとき、図９のケースａ〜ｃのようなものは損失回数１回とカウントすることが望ましい。

符号化品質算出部１０３は、符号化ビットレートＢｒ、フレーム情報（フレームレートＦｒの他に、イントラリフレッシュレート、ＧｏＰなどを用いても良い）から、符号化直後の映像品質を推定する。この符号化品質算出部１０３における映像品質の推定例を、以下に第１及び第２の実施の形態として示す。

（第１の実施の形態）
第１の実施の形態では、符号化品質算出部１０３は、図１に示すように、対象の映像がＩＰＴＶやＶｏＤ（Video on Demand）、或いはテレビ電話などというような映像通信のサービス種別情報Ａ、対象の映像がＨＤ（High Definition）やＳＤ（Standard Definition）というようなその映像通信のフォーマット情報Ｂ、Ｈ．２６４やＭＰＥＧ４というようなＣＯＤＥＣ情報Ｃを入力して、記憶部の品質データベースの中から、入力したサービス種別情報Ａおよび映像フォーマット情報Ｂ、ＣＯＤＥＣ情報Ｃに応じた図５（ａ）に示すような品質データベース１０３Ａにアクセスし、さらに、そのアクセスした品質データベース１０３Ａの映像品質値の中からＩＰパケット解析部１０１から入力した符号化ビットレートとフレームレートに対応した品質値（図１に品質特性Ａとして示される品質値）を導き出す。そして、この品質値を映像品質推定部１０４に渡す。ただし、入力情報はサービス種別情報Ａ、映像フォーマット情報Ｂ、ＣＯＤＥＣ情報Ｃに限るものではなく、他の情報を入力して品質値を導き出しても良い。更に、入力情報はＩＰパケット内から抽出できる情報に限定されるものではなく、サービス種別情報Ａのように外部情報として入力しても良い。

（第２の実施の形態）
第２の実施の形態では、符号化品質算出部１０３は品質特性を数式化する。そして、その数式中の後述するパラメータ値ν１〜ν７として、図５（ｂ）に示す係数データベース１０３Ｂの中から入力したサービス種別情報Ａ、映像フォーマット情報ＢおよびＣＯＤＥＣ情報Ｃに応じたパラメータ値を求め、求めたパラメータ値を前記数式に入力することで品質値を、後述のＶｃとして導き出し、映像品質推定部１０４に渡す。ここで、映像品質値は次式で数式化できるが、この次式よりさらに簡単な式で数式化できる場合がある。そのため、数式に関しては本数式に限定されるものではない。

以下に、品質推定に数式を用いた例を示す。本符号化品質算出部１０３にはＩＴＵ−Ｔ勧告Ｇ．１０７０等の映像品質推定関数を適用できる。一例として、Ｇ．１０７０モデルを以下に示す。

ここで、上記の式（１）において、Ｖｃは映像品質値を表し、映像品質値Ｖｃは１〜５の値をとる。また、Ｉcodingは同様に映像品質特性を表し、映像品質値Ｉcodingは０〜４の値をとる。また、Ｏｆｒは最適フレームレート（各ビットレートに対し映像品質を最大にするフレームレート）を表し、ＩOfrは最適フレームレートのときの映像品質値を表す。なお、Ｂｒは前述した符号化ビットレート、Ｆｒは前述したフレームレート、ν１，ν２，…，ν７は前述の係数データベース１０３Ｂに記憶されているパラメータ値であって、映像サービス種別、映像フォーマットやＣＯＤＥＣ（符号化および復号化器）により決まる係数である。

映像品質推定部１０４は、パケット損失回数算出部１０２からのパケット損失回数ＰＬＦ、および符号化品質算出部１０３からの符号化直後の映像品質値Ｖｃから映像品質値Ｖを推定する。この映像品質推定部１０４における映像品質の推定例を、以下に第３及び第４の実施の形態として示す。

（第３の実施の形態）
第３の実施の形態では、映像品質推定部１０４は、図１に示すように、対象の映像のサービス種別情報Ａや、対象の映像のフォーマット情報Ｂ、Ｈ．２６４やＭＰＥＧ４というようなＣＯＤＥＣ情報Ｃを入力して、記憶部の品質データベースの中から、入力したサービス種別情報Ａおよび映像フォーマット情報Ｂ、ＣＯＤＥＣ情報Ｃに対応した図６（ａ）に示すような品質データベース１０４Ａにアクセスし、アクセスした品質データベース１０４Ａの映像品質値の中から符号化品質算出部１０３から入力した映像品質値と、パケット損失回数算出部１０２から入力したパケット損失回数とに対応した映像品質値（図１に品質特性Ｂとして示される映像品質値）を導き出す。ただし、入力情報はサービス種別情報Ａ、映像フォーマット情報Ｂ、ＣＯＤＥＣ情報Ｃに限るものではなく、他の情報を入力して品質値を導き出しても良い。更に、入力情報はＩＰパケット内から抽出できる情報に限定されるものではなく、サービス種別情報Ａのように外部情報として入力しても良い。

（第４の実施の形態）
第４の実施の形態では、映像品質推定部１０４は品質特性を数式化する。そして、その数式中の後述するパラメータ値ν８として、図６（ｂ）に示す係数データベース１０４Ｂのパラメータ値の中から入力したサービス種別情報Ａおよび映像フォーマット情報Ｂ、ＣＯＤＥＣ情報Ｃに応じたパラメータ値を求め、求めたパラメータ値を前記数式に入力することで品質値を品質値Ｖとして導き出す。ここで、映像品質値は次式で数式化できるが、この次式よりさらに簡単な式で数式化できる場合がある。そのため、数式に関しては本数式に限定されるものではない。
以下に、品質推定に数式を用いた例を示す。本品質推定式は次式で表される。

ここで、上記の式（２）において、Ｖは映像品質値を表し、映像品質値Ｖは１〜５の値をとる。また、ν８は前述の係数データベース１０４Ｂに記憶されているパラメータ値であって、映像サービス種別、映像フォーマットやＣＯＤＥＣ（符号化および復号化器）により決まる係数である。

このように、映像品質に関するパラメータにより映像通信サービスの映像品質値を推定することが可能になるため、サービスを利用するユーザに対して或る一定以上の品質を保っているか否かを容易に判断させることができる。これにより、上記映像通信サービスで用いる品質パラメータの設計や、提供中のサービスの品質実態を把握・管理することが可能になる。

（第５の実施の形態）
図２は本発明に係る映像品質推定装置の第５の実施の形態を示すブロック図である。この映像品質推定装置は、ＣＰＵなどのコンピュータが記憶媒体に記憶されたプログラムを読み出して実行することにより、図１，図２に示すような、ＩＰパケット解析部１０１、パケット損失回数算出部１０２、符号化品質算出部１０３、映像品質推定部１０４、バーストパケット損失長算出部１０５、パケット損失変化指標算出部１０６等の各部の機能を実現するものであり、また、この映像品質推定装置には記憶部が設けられ、記憶部には、品質データベース１０３Ａ，１０４Ａや、係数データベース１０３Ｂ，１０４Ｂ，１０５Ｂが設けられている。

前述した第４の実施の形態では、パラメータ値ν８をサービス種別情報Ａ、映像フォーマット情報ＢおよびＣＯＤＥＣ情報Ｃに対応する固定値として推定する例を示した。これは、ＨＤＴＶなどの高ビットレートの場合、１フレームを構成するパケットの数が多いため（例えば、１フレームは数十〜数百パケットで構成されている）、バーストパケット損失長（１回のパケット損失の中で、連続して何個パケットが欠損したかの個数を表す）が数十程度であれば、１フレーム内に損失が収まる確率が高く、パケット損失回数で映像品質を推定することができる。

しかしながら、モバイル通信のように低ビットレートで符号化される場合、１フレームを構成するパケット数が短いため（例えば、１フレームを１パケットで構成）、バーストパケット損失（例えば、バーストパケット損失長が１０）が発生すると、一度に多数のフレームが損失（例えば、１０フレームが損失）することになり、バースト損失長の長い損失の方が短い方と比較して映像品質が悪くなる傾向にある。

そこで、第５の実施の形態では、映像品質推定部１０４は、パケット損失回数算出部１０２からのパケット損失回数ＰＬＦ、符号化品質算出部１０３からの符号化直後の映像品質値Ｖｃ、パケット損失変化指標算出部１０６からのパケット損失変化指標ν８から映像品質値Ｖを推定する。

第５の実施の形態では、パケット損失変化指標ν８を数式化する。図７に示す係数データベース１０５Ｂのパラメータ値の中から入力したサービス種別情報Ａ、映像フォーマット情報Ｂ、およびＣＯＤＥＣ情報Ｃに応じたパラメータ値を求め、求めたパラメータ値を下記の式に入力することで、パケット損失変化指標ν８を導き出す。
以下に、数式を用いた例を示す。本推定式は次式で表される。

ここで、上記の式において、ν８はパケット損失変化指標を表す。また、ａ，ｂ，ｃは図７に示す係数データベース１０５Ｂに記憶されるパラメータ値であって、映像サービス種別、映像フォーマット、およびＣＯＤＥＣにより決まる係数である。なお、ＢＬはパケット損失回数算出部１０２により算出された各パケット損失のバーストパケット損失長からバーストパケット損失長算出部１０５でそれらを平均化した平均バーストパケット損失長である。

このようにして求めたパケット損失変化指標ν８と、第１の映像品質値Ｖｃおよびパケット損失回数ＰＬＦとを上記の式（２）に入力することで、所望の第２の映像品質値Ｖを得ることができる。

次に、図３は本発明の第１〜第４の実施の形態に示される映像品質推定装置を構成する各部の動作を要約して示したフローチャートである。このフローチャートをもとにこの映像品質推定装置の要部動作について説明する。
ＩＰパケット解析部１０１は、捕獲されたＩＰパケットを入力すると、映像品質推定を行うために後述する映像品質推定関数としてパケット損失回数算出部１０２，符号化品質算出部１０３に入力される、符号化ビットレート、フレームレート等のフレーム情報およびパケット損失パターンからなる品質パラメータを抽出する。そして抽出した品質パラメータを、パケット損失回数算出部１０２，符号化品質算出部１０３に送出する（ステップＳ１０１）。

パケット損失回数算出部１０２は、ＩＰパケット解析部１０１により抽出されたパケット損失パターンからパケット損失回数を算出し、映像品質推定部１０４へ送出する（ステップＳ１０２）。

符号化品質算出部１０３は、ＩＰパケット解析部１０１により抽出された符号化ビットレートおよびフレーム情報から、符号化直後の映像品質を推定する。この場合、符号化品質算出部１０３は、入力したサービス種別情報Ａおよび映像フォーマット情報Ｂ、ＣＯＤＥＣ情報Ｃに対応した品質データベース１０３Ａにアクセスし、入力した符号化ビットレートとフレームレートに対応した品質値（図１に品質特性Ａとして示される品質値）を導き出すか、或いは、品質特性を上記の式（１）のように映像品質推定関数として数式化し、その数式にパラメータを入力することで品質値Ｖｃを導き出して映像品質推定部１０４に渡す（ステップＳ１０３）。

映像品質推定部１０４は、パケット損失回数算出部１０２で算出されたパケット損失回数と、符号化品質算出部１０３からの符号化直後の映像品質値Ｖｃとから映像品質値Ｖを推定する。この場合、映像品質推定部１０４は、入力したサービス種別情報Ａおよび映像フォーマット情報Ｂ、ＣＯＤＥＣ情報Ｃに対応した品質データベース１０４Ａにアクセスし、入力した符号化直後の映像品質値Ｖｃ及びパケット損失回数に対応した品質値（図１に品質特性Ｂとして示される品質値）を導き出すか、或いは、品質特性を上記の式（２）のように映像品質推定関数として数式化し、その数式にパラメータを入力することで品質値を品質値Ｖとして導き出す（ステップＳ１０４）。

次に、図４は本発明の第５の実施の形態に示される映像品質推定装置を構成する各部の動作を要約して示したフローチャートである。このフローチャートをもとにこの映像品質推定装置の要部動作について説明する。
ＩＰパケット解析部１０１は、捕獲されたＩＰパケットを入力すると、映像品質推定を行うために映像品質推定関数としてパケット損失回数算出部１０２，符号化品質算出部１０３に入力される、符号化ビットレート、フレームレート等のフレーム情報およびパケット損失パターンからなる品質パラメータを抽出する。そして抽出した品質パラメータを、パケット損失回数算出部１０２，符号化品質算出部１０３に送出する（ステップＳ２０１）。

パケット損失回数算出部１０２は、ＩＰパケット解析部１０１により抽出されたパケット損失パターンからパケット損失回数を算出し、映像品質推定部１０４へ送出する（ステップＳ２０２）。また、パケット損失回数算出部１０２は、ＩＰパケット解析部１０１により抽出されたパケット損失パターンから１回のパケット損失に対応するバーストパケット損失長を算出し、バーストパケット損失長算出部１０５に送出する（ステップＳ２０３）。

バーストパケット損失長算出部１０５は、パケット損失回数算出部１０２により算出された１回のパケット損失に対応するバーストパケット損失長から品質推定区間内の平均バーストパケット損失長を算出し、パケット損失変化指標算出部１０６に送出する（ステップＳ２０４）。

パケット損失変化指標算出部１０６は、バーストパケット損失長算出部１０５により算出された平均バーストパケット損失長に対応するパケット損失変化指標を算出する。この場合、パケット損失変化指標算出部１０６は、入力したサービス種別情報Ａ、映像フォーマット情報Ｂ、およびＣＯＤＥＣ情報Ｃに対応した品質特性を上記の式（３）のように推定関数として数式化し、その数式（３）に図７に示される係数データベース１０５Ｂ内のパラメータを入力することでパケット損失変化指標（図２に品質特性Ｃとして示される品質特性係数値）を導き出して映像品質推定部１０４に送出する（ステップＳ２０５）。

なお、この実施の形態（第５の実施の形態）では、バーストパケット損失長を複数回計測した後、その平均値（平均バースト損失長）を求め、これを変化指標の算出に用いている。しかし、変化指標の算出に用いる値は、平均バースト損失長に限定されるものではなく、例えば１回の計測で得た値でも、複数回の計測で得た代表値、或いは、平均値以外の統計処理を施した値などでも良い。

符号化品質算出部１０３は、ＩＰパケット解析部１０１により抽出された符号化ビットレートおよびフレーム情報から、符号化直後の映像品質を推定する。この場合、符号化品質算出部１０３は、入力したサービス種別情報Ａおよび映像フォーマット情報Ｂ、ＣＯＤＥＣ情報Ｃに対応した品質データベース１０３Ａにアクセスし、入力した符号化ビットレートとフレームレートに対応した品質値（図２に品質特性Ａとして示される品質値）を導き出すか、或いは、品質特性を上記の式（１）のように映像品質推定関数として数式化し、その数式にパラメータを入力することで品質値Ｖｃを導き出して映像品質推定部１０４に渡す（ステップＳ２０６）。

映像品質推定部１０４は、パケット損失回数算出部１０２で算出されたパケット損失回数と、符号化品質算出部１０３からの符号化直後の映像品質値Ｖｃと、パケット損失変化指標算出部１０６で算出されたパケット損失変化指標とから映像品質値Ｖを推定する（ステップＳ２０７）。

本発明の第１〜第４の実施の形態を示す映像品質推定装置のブロック図である。 本発明の第５の実施の形態を示す映像品質推定装置のブロック図である。 図１に示す映像品質推定装置を構成する各部の動作を要約して示すフローチャートである。 図２に示す映像品質推定装置を構成する各部の動作を要約して示すフローチャートである。 上記映像品質推定装置に設けられた品質データベース１０３Ａの構成を示す図（図５（ａ））及び係数データベース１０３Ｂの構成を示す図（図５（ｂ））である。 上記映像品質推定装置に設けられた品質データベース１０４Ａの構成を示す図（図６（ａ））及び係数データベース１０４Ｂの構成を示す図（図６（ｂ））である。 係数データベース１０５Ｂの構成を示す図である。 パケットの損失状況を示す図である。 パケットの損失状況を示す図である。 パケットの連続損失長の多寡に応じたパケットの主観品質とパケット損失率との関係を示す図（図１０（ａ））、およびパケットの連続損失長の多寡に応じたパケットの主観品質とパケット損失回数との関係を示す図（図１０（ｂ））である。

符号の説明

１０１…ＩＰパケット解析部、１０２…パケット損失回数算出部、１０３…符号化品質算出部、１０４…映像品質推定部、１０５…バーストパケット損失算出部、１０６…パケット損失変化指標算出部、１０３Ａ，１０４Ａ…品質データベース、１０３Ｂ，１０４Ｂ，１０５Ｂ…係数データベース。

Claims (13)

1. 入力したＩＰパケットから、符号化ビットレート、フレームレートおよびパケット損失パターンを品質パラメータとして抽出するパケット解析部と、
   抽出された前記パケット損失パターンから、連続する複数のＩＰパケットの区間を表す一定区間に発生したパケット損失を１回のパケット損失として計数することにより、この計数値をパケット損失回数として算出するパケット損失回数算出部と、
   抽出された前記符号化ビットレートおよびフレームレートに基づいて第１の映像品質値を算出する符号化品質算出部と、
   前記パケット損失回数算出部により算出されたパケット損失回数と前記符号化品質算出部により算出された第１の映像品質値とに基づいて第２の映像品質値を算出する映像品質推定部と
   を有することを特徴とする映像品質推定装置。
2. 請求項１において、
   前記パケット損失回数算出部は、損失したパケットを前記一定区間の起点とすることを特徴とする映像品質推定装置。
3. 請求項１において、
   前記符号化ビットレートと前記フレームレートに対応して映像品質値が設定されている第１のテーブルを備え、
   前記符号化品質算出部は、前記第１のテーブルをアクセスして、抽出された符号化ビットレートとフレームレートに応じた映像品質値を選択し、選択した映像品質値を前記第１の映像品質値として算出することを特徴とする映像品質推定装置。
4. 請求項１において、
   前記第１の映像品質値と前記パケット損失回数に対応して映像品質値が設定されている第２のテーブルを備え、
   前記映像品質推定部は、前記第２のテーブルをアクセスして、前記符号化品質算出部により算出された第１の映像品質値と前記パケット損失回数算出部により算出されたパケット損失回数とに応じた映像品質値を選択し、選択した映像品質値を前記第２の映像品質値として算出することを特徴とする映像品質推定装置。
5. 請求項１において、
   前記パケット損失回数算出部は抽出された前記パケット損失パターンから、連続して損失したパケット数を表すバーストパケット損失長を算出し、
   前記映像品質推定部は、前記パケット損失回数算出部により算出された前記バーストパケット損失長とパケット損失回数、および前記符号化品質算出部により算出された第１の映像品質値に基づいて第２の映像品質値を算出することを特徴とする映像品質推定装置。
6. 請求項５において、
   前記バーストパケット損失長から品質推定区間内のバーストパケット損失長に関する統計情報を算出するバーストパケット損失算出部と、
   前記バーストパケット損失長に関する統計情報に対応するパケット損失変化指標を算出するパケット損失変化指標算出部とを備え、
   前記映像品質推定部は、前記パケット損失変化指標算出部により算出されたパケット損失変化指標と、前記パケット損失回数算出部により算出されたパケット損失回数と、前記符号化品質算出部により算出された第１の映像品質値とに基づいて第２の映像品質値を算出することを特徴とする映像品質推定装置。
7. 入力したＩＰパケットから、符号化ビットレート、フレームレートおよびパケット損失パターンを品質パラメータとして抽出する抽出ステップと、
   抽出された前記パケット損失パターンから、連続する複数のＩＰパケットの区間を表す一定区間に発生したパケット損失を１回のパケット損失として計数することにより、この計数値をパケット損失回数として算出するパケット損失回数算出ステップと、
   抽出された前記符号化ビットレートと前記フレームレートに基づいて第１の映像品質値を算出する符号化品質算出ステップと、
   算出された前記パケット損失回数と前記算出された第１の映像品質値とに基づいて第２の映像品質値を算出する映像品質推定ステップと
   を有することを特徴とする映像品質推定方法。
8. 請求項７において、
   前記パケット損失回数算出ステップは、損失したパケットを前記一定区間の起点とするステップを含むことを特徴とする映像品質推定方法。
9. 請求項７において、
   前記符号化品質算出ステップは、前記符号化ビットレートと前記フレームレートに対応して映像品質値が設定されている第１のテーブルをアクセスして、抽出された符号化ビットレートとフレームレートに応じた映像品質値を選択し、選択した映像品質値を前記第１の映像品質値として算出するステップを含むことを特徴とする映像品質推定方法。
10. 請求項７において、
    前記映像品質推定ステップは、前記第１の映像品質値と前記パケット損失回数に対応して映像品質値が設定されている第２のテーブルをアクセスして、前記符号化品質算出ステップにより算出された第１の映像品質値と前記パケット損失回数算出ステップにより算出されたパケット損失回数とに応じた映像品質値を選択し、選択した映像品質値を前記第２の映像品質値として算出するステップを含むことを特徴とする映像品質推定方法。
11. 請求項７において、
    前記パケット損失回数算出ステップは抽出された前記パケット損失パターンから、連続して損失したパケット数を表すバーストパケット損失長を算出し、
    前記映像品質推定ステップは、前記パケット損失回数算出ステップにより算出された前記バーストパケット損失長とパケット損失回数、および前記符号化品質算出ステップにより算出された第１の映像品質値に基づいて第２の映像品質値を算出することを特徴とする映像品質推定方法。
12. 請求項１１において、
    前記バーストパケット損失長から品質推定区間内のバーストパケット損失長に関する統計情報を算出するバーストパケット損失算出ステップと、
    前記バーストパケット損失長に関する統計情報に対応するパケット損失変化指標を算出するパケット損失変化指標算出ステップとを有し、
    前記映像品質推定ステップは、前記パケット損失変化指標算出ステップにより算出されたパケット損失変化指標と、前記パケット損失回数算出ステップにより算出されたパケット損失回数と、前記符号化品質算出ステップにより算出された第１の映像品質値とに基づいて第２の映像品質値を算出することを特徴とする映像品質推定方法。
13. 請求項７〜１２の何れか１項に記載されたステップの処理をコンピュータに実行させるプログラム。

Images