JP4317540B2 - 映像品質推定装置、方法およびプログラム - Google Patents

Description

この発明は、インターネットなどのネットワークを経由して行われる映像配信サービスや映像コミュニケーションサービスなどの映像通信サービスの映像品質を推定する映像品質推定装置、方法およびプログラムに関するものである。

近年、インターネットアクセス回線の高速・広帯域化に伴い、音声及び映像メディアなどを用いた映像通信サービスが期待されている。インターネットは必ずしも通信品質が保証されていないネットワークであるため、音声及び映像メディアなどを用いて通信を行う場合、ユーザ間のネットワークの回線帯域が狭かったり、回線が輻輳したりすると、音声や映像メディアなどに対してユーザが知覚する品質（主観品質）が劣化してしまう。

具体的には、音声に品質劣化が加わると、途切れ・雑音などとして知覚され、映像に品質劣化が加わると、ぼけ・にじみ・モザイク状の歪・ぎくしゃく感などとして知覚される。また、音声及び映像メディア信号送信時の処理時間（送信バッファ時間、音声及び映像のエンコード処理時間など）、ネットワークにおける遅延時間（ネットワークを構成するルータ等での処理時間、ネットワーク回線の物理的距離など）、音声及び映像メディア信号受信時の処理時間（受信バッファ時間、音声及び映像のデコード処理時間など）に起因する遅延時間によって、音声や映像の応答の遅れが知覚される場合がある。

上記サービスを品質良く提供するためには、サービス提供に先立った品質推定やサービス開始後の品質管理が重要となり、このためには、ユーザが享受する品質を適切に表現でき、しかも簡便かつ効率的な品質評価技術が必要となる。

従来、音声品質を推定する技術については、非特許文献１において音声品質客観評価法ＰＥＳＱ(Perceptual Evaluation of Speech Quality )が規定され、映像品質を推定する技術についても、非特許文献２において映像品質客観評価法が記載されている。また、非特許文献３において、ＶｏＩＰ（Voice over IP ）のネットワークプランニングを行うための品質推定法が記載されている。これらの客観評価技術は、ある一定の条件下で主観品質の統計的曖昧さと同程度の推定誤差で主観品質を推定可能である。

国際標準化機関ＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector）勧告Ｐ．８６２． ＩＴＵ−Ｔ勧告Ｊ．１４４． ＩＴＵ−Ｔ勧告Ｇ．１０７．

しかしながら、ネットワークを経由して行われる映像通信サービスでは、映像品質を左右する多くの要因がある。例えば、これらの要因として、映像パケット損失率、映像ビットレート、フレームレートなどが考えられる。上述した客観評価技術を用いれば、提供中の映像通信サービスの映像品質をある程度の精度で推定することが可能ではあるが、上記の要因が映像通信サービスの映像品質に与える影響が不明確であり、どの要因が映像品質に悪影響を与えているのかなど、提供中の映像通信サービスの映像品質の実態を把握・管理することができなかった。また、映像通信サービスの提供に先立って、どの要因を改善すれば映像品質が良くなるのかなど、設計・管理の指針が得られないという問題があった。

本発明は、このような課題を解決するためになされたもので、その目的とするところは、提供中の映像通信サービスの映像品質の実態を把握・管理したり、映像通信サービスの提供に先立って設計・管理の指針を得たりすることが可能な映像品質推定装置、方法およびプログラムを提供することにある。

このような目的を達成するために、本発明（請求項１に係る発明）は、ネットワークを経由して行われる映像通信サービスの映像品質を推定する映像品質推定装置において、映像通信サービスの通信品質を左右する第１〜第Ｎ（Ｎ≧２）の通信品質パラメータを入力とし、この第１〜第Ｎの通信品質パラメータを予め定められている第１〜第Ｎの関数に従って、その通信品質パラメータが単独で映像通信サービスの映像品質に与える影響を定量化した第１〜第Ｎの中間パラメータに変換する中間パラメータ変換手段と、第１〜第Ｎの中間パラメータを入力とし、それぞれの中間パラメータが相互に作用する影響を考慮に入れて予め定められている評価関数に従って、映像通信サービスの映像品質を推定する映像品質推定手段とを設けたものである。

この発明によれば、例えば、映像パケット損失率を第１の通信品質パラメータ、映像ビットレートを第２の通信品質パラメータ、フレームレートを第３の通信品質パラメータとした場合、映像パケット損失率が第１の関数に従って第１の中間パラメータ（映像パケット損失率が単独で映像通信サービスの映像品質に与える影響を定量化したパラメータ）に変換され、映像ビットレートが第２の関数に従って第２の中間パラメータ（映像ビットレートが単独で映像通信サービスの映像品質に与える影響を定量化したパラメータ）に変換され、フレームレートが第３の関数に従って第３の中間パラメータ（フレームレートが単独で映像通信サービスの映像品質に与える影響を定量化したパラメータ）に変換される。そして、この第１〜第３の中間パラメータから、それぞれの中間パラメータが相互に作用する影響を考慮に入れた評価関数に従って、映像通信サービスの映像品質が推定される。

本発明において、推定される映像品質は、通信品質パラメータの値によって左右される。したがって、推定された映像品質が規定の値よりも低かったような場合、通信品質パラメータの値を擬似的に調整することにより、どの要因が映像品質に悪影響を与えているのか、どの要因を改善すれば映像品質が良くなるのかなどを知ることが可能となる。これにより、提供中の映像通信サービスの映像品質の実態を把握・管理したり、映像通信サービスの提供に先立って設計・管理の指針を得ることが可能となる。

本発明において、第１〜第Ｎの通信品質パラメータを第１〜第Ｎの中間パラメータに変換する際に使用する第１〜第Ｎの関数、第１〜第Ｎの中間パラメータから映像品質を推定する際に使用する評価関数は、主観評価実験などによって導き出すことが可能である。これらの関数において、使用される係数は、ユーザ側の通信の利用環境によって異なる。そこで、請求項２に係る発明では、ユーザ側の通信の利用環境を示す通信利用環境パラメータ（符号化方式、表示サイズ、表示解像度など）を入力とし、第１〜第Ｎの通信品質パラメータを第１〜第Ｎの中間パラメータに変換する際、第１〜第Ｎの関数で使用する係数を通信利用環境パラメータに基づいて決定するようにする。また、第１〜第Ｎの中間パラメータから映像品質を推定する際、評価関数で使用する係数を通信利用環境パラメータに基づいて決定するようにする。これにより、ユーザ側の通信の利用環境が考慮され、高精度で映像品質を推定することが可能となる。

なお、本発明は、映像品質推定装置としてではなく、映像品質推定方法としても実現することが可能である（請求項３に係る発明）。また、コンピュータにその処理を実行させるプログラムとしても提供することができる（請求項４に係る発明）。

本発明によれば、映像通信サービスの通信品質を左右する第１〜第Ｎの通信品質パラメータを入力とし、この第１〜第Ｎの通信品質パラメータをその通信品質パラメータが単独で映像通信サービスの映像品質に与える影響を定量化した第１〜第Ｎの中間パラメータに変換し、この第１〜第Ｎの中間パラメータからその中間パラメータが相互に作用する影響を考慮に入れて映像通信サービスの映像品質を推定するようにしたので、推定された映像品質が規定の値よりも低かったような場合、通信品質パラメータの値を擬似的に調整することにより、どの要因が映像品質に悪影響を与えているのか、どの要因を改善すれば映像品質が良くなるのかなどを知ることが可能となり、提供中の映像通信サービスの映像品質の実態を把握・管理したり、映像通信サービスの提供に先立って設計・管理の指針を得たりすることが可能となる。

以下、本発明を図面に基づいて詳細に説明する。図１は本発明に係る映像品質推定装置の一実施の形態の概略を示す構成図である。この映像品質推定装置１００は、インターネットなどのネットワークを経由して行われる映像通信サービスとして映像コミュニケーションサービスを対象として設けられ、中間パラメータ変換部１０１と、映像品質推定部１０２と、第１のテーブルＴＢ１と、第２のテーブルＴＢ２とを備えている。

〔中間パラメータ変換部〕
中間パラメータ変換部１０１は、映像コミュニケーションサービスの通信品質を左右する通信品質パラメータ（この例では、映像パケット損失率〔ｐｖ〕、映像ビットレート〔ｂｒ〕、フレームレート〔ｆｒ〕）を入力とし、またユーザ側の通信の利用環境を示す通信利用環境パラメータ（この例では、符号化方式、表示サイズ、表示解像度）を入力とし、通信利用環境パラメータに応ずる後述する係数αｋ，βｋ，γｋ（ｋ＝１〜３）を第１のテーブルＴＢ１から読み出し、予め定められている第１、第２、第３の関数（後述）に従って、通信品質パラメータとして入力された映像パケット損失率、映像ビットレート、フレームレートを、その通信品質パラメータが単独で映像コミュニケーションサービスの映像品質に与える影響を定量化した中間パラメータｖ１（ｐｖ），ｖ２（ｂｒ），ｖ３（ｆｒ）に変換する。

〔映像品質推定部〕
映像品質推定部１０２は、中間パラメータ変換部１０１からの中間パラメータｖ１（ｐｖ），ｖ２（ｂｒ），ｖ３（ｆｒ）を入力とし、また中間パラメータ変換部１０１への通信利用環境パラメータ（符号化方式、表示サイズ、表示解像度）を分岐入力とし、通信利用環境パラメータに応ずる後述する係数α４，β４，γ４を第２のテーブルＴＢ２から読み出し、中間パラメータｖ１（ｐｖ），ｖ２（ｂｒ），ｖ３（ｆｒ）が相互に作用する影響（交互作用による影響）を考慮に入れて予め定められている評価関数（後述）に従って、映像コミュニケーションサービスの映像品質ＭＯＳｖを推定する。

〔中間パラメータ変換部における第１、第２、第３の関数〕
中間パラメータ変換部１０１には、第１の関数として下記（１）式が、第２の関数として下記（２）式が、第３の関数として下記（３）式が定められている。
ｖ１（ｐｖ）＝α１＋β１ｅｘｐ（−ｐｖ／ｔ１）＋γ１ｅｘｐ（−ｐｖ／ｔ２） ・・・・(１)
ｖ２（ｂｒ）＝α２＋（β２−α２）／｛１＋（ｂｒ／ｂｒ₀ ）^γ2 ｝・・・・（２）
ｖ３（ｆｒ）＝α３＋β３・ｆｒ＋γ３・ｆｒ² ・・・・（３）
ここで、α１，α２，α３、β１，β２，β３、γ１，γ２，γ３は第１のテーブルＴＢ１から読み出される係数であり、ｔ１，ｔ２，ｂｒ₀ は第１のテーブルＴＢ１から読み出される固定値として定められる係数である。

上記（１）式、(２)式、(３)式、およびこれらの式で使用する係数は、以下のような主観評価実験により決定することができる。

まず、映像品質が異なる複数の実験条件を設定し、これらに対し主観評価実験を行う。映像品質は映像コミュニケーションサービス環境（パケット損失率などのネットワークパラメータ）が制御できる実験系を用いることで制御可能である。実験系としては、例えば、ネットワークエミュレータ装置を介して、映像コミュニケーションサービスを用いる端末／アプリケーションを接続する。

主観評価実験では、被験者に映像コミュニケーションサービスを想定した会話を実施してもらい、映像品質を５段階品質尺度（５：非常に良い、４：良い、３：普通、２：悪い、１：非常に悪い）で評価し、映像品質を被験者の平均評点（ＭＯＳ）で表す。このＭＯＳの値と各通信品質パラメータとの関係より上記（１）式、（２）式、（３）式を導き出し、各係数を決定する。

この（１）式、（２）式、（３）式において、使用される係数αｋ，βｋ，γｋ（ｋ＝１〜３）は、ユーザ側の通信の利用環境によって異なる。そこで、本実施の形態では、ユーザ側の通信の利用環境を示す通信利用環境パラメータを符号化方式、表示サイズ、表示解像度とし、符号化方式、表示サイズ、表示解像度毎に係数αｋ，βｋ，γｋ（ｋ＝１〜３）を求め、図２に示すような表示サイズと表示解像度とでその係数が示されるα１，β１，γ１のテーブル、α２，β２，γ２のテーブル、α３，β３，γ３のテーブルを符号化方式毎に作成し、第１のテーブルＴＢ１としている。

〔映像品質推定部における評価関数〕
映像品質推定部１０２には、中間パラメータｖ１（ｐｖ），ｖ２（ｂｒ），ｖ３（ｆｒ）が相互に作用する影響を考慮に入れた評価関数として、下記（４）式が定められている。
ＭＯＳｖ（ｐｖ，ｂｒ，ｆｒ）＝α４＋β４｛ｖ１（ｐｖ）・ｖ２（ｂｒ）・ｖ３（ｆｒ）｝^1／γ4 ・・・・（４）
ここで、α４，β４，γ４は第２のテーブルＴＢ２から読み出される係数である。

上記（４）式、およびこの式で使用する係数は、上述した第１、第２、第３の関数の場合と同様の主観評価実験によって決定することができる。この（４）式において、使用される係数α４，β４，γ４は、ユーザ側の通信の利用環境によって異なる。そこで、本実施の形態では、ユーザ側の通信の利用環境を示す通信利用環境パラメータを符号化方式、表示サイズ、表示解像度とし、符号化方式、表示サイズ、表示解像度毎に係数α４，β４，γ４を求め、図３に示すような表示サイズと表示解像度とでその係数が示されるα４，β４，γ４のテーブルを符号化方式毎に作成し、第２のテーブルＴＢ２としている。

〔映像品質の推定〕
この映像品質推定装置１００では次のようにして映像品質の推定が行われる。なお、この映像品質の推定動作は、プロセッサや記憶装置からなるハードウェアと、これらのハードウェアと協働して各種機能を実現させるプログラムとによって実現される。また、プログラムは媒体に記憶された形で提供され、ハードウェアシステムに組み込まれている記憶装置、例えばハードディスク装置にインストールされることによって実行される。

今、インターネットなどのネットワークを経由して、映像コミュニケーションサービスが行われているものとする。この場合、中間パラメータ変換部１０１には、映像コミュニケーションサービスの通信品質を左右する通信品質パラメータとして映像パケット損失率〔ｐｖ〕、映像ビットレート〔ｂｒ〕、フレームレート〔ｆｒ〕が、ユーザ側の利用環境を示す通信利用環境パラメータとして符号化方式、表示サイズ、表示解像度が入力される。また、映像品質推定部１０２には、中間パラメータ変換部１０１への通信利用環境パラメータ（符号化方式、表示サイズ、表示解像度）が分岐して入力される。

中間パラメータ変換部１０１は、通信利用環境パラメータとして入力された符号化方式、表示サイズ、表示解像度を検索キーとして、第１のテーブルＴＢ１よりその符号化方式、表示サイズ、表示解像度に応ずる係数α１，α２，α３、β１，β２，β３、γ１，γ２，γ３を読み出し、第１の関数を示す上記（１）式に係数α１，β１，γ１をセットし、第２の関数を示す上記（２）式にα２，β２，γ２をセットし、第３の関数を示す上記（３）式にα３，β３，γ３をセットする。また、第１のテーブルＴＢ１より係数ｔ１，ｔ２ｂｒ₀ を読み出し、上記（１）式および（２）式にセットする。

そして、通信品質パラメータとして入力された映像パケット損失率〔ｐｖ〕を係数α１，β１，γ１がセットされた上記（１）式に代入して、映像パケット損失率〔ｐｖ〕が単独で映像コミュニケーションサービスの映像品質に与える影響を定量化した中間パラメータｖ１（ｐｖ）を求める。また、通信品質パラメータとして入力された映像ビットレート〔ｂｒ〕を係数α２，β２，γ２がセットされた上記（２）式に代入して、映像ビットレート〔ｂｒ〕が単独で映像コミュニケーションサービスの映像品質に与える影響を定量化した中間パラメータｖ２（ｂｒ）を求める。また、通信品質パラメータとして入力されたフレームレート〔ｆｒ〕をα３，β３，γ３がセットされた上記（３）式に代入して、フレームレート〔ｆｒ〕が単独で映像コミュニケーションサービスの映像品質に与える影響を定量化した中間パラメータｖ３（ｆｒ）を求める。そして、この求めた中間パラメータｖ１（ｐｖ），ｖ２（ｂｒ），ｖ３（ｆｒ）を映像品質推定部１０２へ送る。

映像品質推定部１０２は、通信利用環境パラメータとして入力された符号化方式、表示サイズ、表示解像度を検索キーとして、第２のテーブルＴＢ２よりその符号化方式、表示サイズ、表示解像度に応ずる係数α４，β４，γ４を読み出し、上記（４）式に係数α４，β４，γ４をセットする。そして、中間パラメータ変換部１０１から送られてきた中間パラメータｖ１（ｐｖ），ｖ２（ｂｒ），ｖ３（ｆｒ）を係数α４，β４，γ４がセットされた上記（４）式で示される評価関数に代入して、すなわち中間パラメータｖ１（ｐｖ），ｖ２（ｂｒ），ｖ３（ｆｒ）が相互に作用する影響を考慮に入れた評価関数に代入して、映像コミュニケーションサービスの映像品質ＭＯＳｖを求める。

図４は、映像パケット損失率、映像ビットレート、フレームレート、符号化方式、表示サイズ、表示解像度を入力として、映像品質を推定した結果の一例である。図４（ａ）は、符号化方式をＭＰＥＧ−４、表示サイズを約１０．６インチ（ｉｎｃｈ）、表示解像度をＶＧＡとした時のものであり、図４（ｂ）は、符号化方式をＭＰＥＧ−４、表示サイズを約１０．６インチ（ｉｎｃｈ）、表示解像度をＱＶＧＡとした時のものである。縦軸は実測により求めた映像品質値ＭＯＳｓ、横軸は本推定式を用いた映像品質値ＭＯＳｖを示している。ほとんどのデータが４５度の線上に位置することから、本推定方式は非常に精度良く映像品質を推定していることがわかる。

この映像品質推定装置１００において、推定される映像品質ＭＯＳｖは、通信品質パラメータ（映像パケット損失率〔ｐｖ〕、映像ビットレート〔ｂｒ〕、フレームレート〔ｆｒ〕）の値によって左右される。したがって、推定された映像品質ＭＯＳｖが規定の値よりも低かったような場合、通信品質パラメータの値を擬似的に調整することにより、どの要因が映像品質に悪影響を与えているのか、どの要因を改善すれば映像品質が良くなるのかなどを知ることが可能となる。

例えば、映像パケット損失率〔ｐｖ〕を擬似的に低くすることによって、映像品質ＭＯＳｖの規定の値を超える大きな上昇が確認できれば、映像パケット損失率〔ｐｖ〕が悪影響を与えており、この映像パケット損失率〔ｐｖ〕を改善することによって映像品質が良くなることが分かる。これにより、提供中の映像通信サービスの映像品質の実態を把握・管理したり、映像通信サービスの提供に先立って設計・管理の指針を得ることが可能となる。

なお、本実施の形態では、通信利用環境パラメータを入力とし、この通信利用環境パラメータに応ずる係数α，β，γを使用することによってユーザ側の通信利用環境を考慮に入れるようにしたが、必ずしもユーザ側の通信利用環境を考慮にいれなくてもよい。本実施の形態では、ユーザ側の通信利用環境を考慮に入れているので、映像品質の推定をより高精度で行うことができている。

また、本実施の形態では、通信品質パラメータを映像パケット損失率、映像ビットレート、フレームレートとし、通信利用環境パラメータを符号化方式、表示サイズ、表示解像度としたが、これらに限られるものではない。例えば、通信品質パラメータとしてパケット遅延時間を入力するようにしてもよく、通信品質パラメータは２つ以上であればその数は幾つであってもよい。また、通信利用環境パラメータは、必ずしも複数でなくてもよく、１つあっても構わない。

本発明に係る映像品質推定装置の一実施の形態の概略を示す構成図である。 この映像品質推定装置で用いる第１のテーブルの構成を例示する図である。 この映像品質推定装置で用いる第２のテーブルの構成を例示する図である。 この映像品質推定装置によって推定した映像品質の評価精度を実証する図である。

符号の説明

１００…映像品質推定装置、１０１…中間パラメータ変換部、１０２…映像品質推定部、ＴＢ１…第１のテーブル、ＴＢ２…第２のテーブル。

Claims (4)

1. ネットワークを経由して行われる映像通信サービスの映像品質を推定する映像品質推定装置において、
   前記映像通信サービスの通信品質を左右する第１〜第Ｎ（Ｎ≧２）の通信品質パラメータを入力とし、この第１〜第Ｎの通信品質パラメータを予め定められている第１〜第Ｎの関数に従って、その通信品質パラメータが単独で前記映像通信サービスの映像品質に与える影響を定量化した第１〜第Ｎの中間パラメータに変換する中間パラメータ変換手段と、
   前記第１〜第Ｎの中間パラメータを入力とし、それぞれの中間パラメータが相互に作用する影響を考慮に入れて予め定められている評価関数に従って、前記映像通信サービスの映像品質を推定する映像品質推定手段と
   を備えることを特徴とする映像品質推定装置。
2. 請求項１に記載された映像品質推定装置において、
   前記中間パラメータ変換手段は、ユーザ側の通信の利用環境を示す通信利用環境パラメータを入力とし、前記第１〜第Ｎの通信品質パラメータを前記第１〜第Ｎの中間パラメータに変換する際、前記第１〜第Ｎの関数で使用する係数を前記通信利用環境パラメータに基づいて決定する手段を備え、
   前記映像品質推定手段は、前記通信利用環境パラメータを入力とし、前記第１〜第Ｎの中間パラメータから前記映像通信サービスの映像品質を推定する際、前記評価関数で使用する係数を前記通信利用環境パラメータに基づいて決定する手段を備える
   ことを特徴とする映像品質推定装置。
3. ネットワークを経由して行われる映像通信サービスの映像品質を推定する映像品質推定方法において、
   前記映像通信サービスの通信品質を左右する第１〜第Ｎ（Ｎ≧２）の通信品質パラメータを入力する第１ステップと、
   前記第１〜第Ｎの通信品質パラメータをその通信品質パラメータが単独で前記映像通信サービスの映像品質に与える影響を定量化した第１〜第Ｎの中間パラメータに変換する第２ステップと、
   前記第１〜第Ｎの中間パラメータからその中間パラメータが相互に作用する影響を考慮に入れて前記映像通信サービスの映像品質を推定する第３ステップと
   を備えることを特徴とする映像品質推定方法。
4. コンピュータに、
   ネットワークを経由して行われる映像通信サービスの通信品質を左右する第１〜第Ｎ（Ｎ≧２）の通信品質パラメータを入力させる第１の処理と、
   前記第１〜第Ｎの通信品質パラメータをその通信品質パラメータが単独で前記映像通信サービスの映像品質に与える影響を定量化した第１〜第Ｎの中間パラメータに変換させる第２の処理と、
   前記第１〜第Ｎの中間パラメータからその中間パラメータが相互に作用する影響を考慮に入れて前記映像通信サービスの映像品質を推定させる第３の処理と
   を実現させるための映像品質推定プログラム。
   

Images