JP4308227B2 - 映像品質推定装置、映像品質管理装置、映像品質推定方法、映像品質管理方法、およびプログラム - Google Patents

Description

本発明は、通信品質推定技術に関し、特にリアルタイム系アプリケーションでやり取りした映像に関するユーザ体感品質を推定する技術に関する。

ＩＰ網のアクセス網が広帯域化するなか、映像配信サービスやテレビ会議など映像系のサービスが普及しつつある。これらの映像アプリケーションでは、ネットワークや端末でパケットの損失や遅延が生じた場合に映像品質劣化となり、サービス品質が落ちるため、一定の映像品質を確保するようネットワークや端末の品質を管理する必要がある。このためには、例えばパケット損失や遅延などのネットワーク品質がユーザの視聴する映像品質にどのような影響を及ぼしているかを測定し、品質状態を管理する必要がある。

このような受信映像の品質を推定する技術として、パケット損失や遅延といったネットワーク品質をパラメータとした場合の劣化映像を被験者に見せ、主観評価値を得ることにより、ネットワーク品質とアプリケーション品質の対応関係を求め、得られたアプリケーション品質推定式および目標値を元に、品質管理を行う技術が提案されている（例えば特許文献１など参照）。
この技術では、サーバ側でユーザの体感品質を推定する手法が提案されているが、ネットワーク品質だけが考慮され、端末でのパケット損失は考慮されておらず、パケット損失に対する平均的なユーザ体感品質を推定することしかできなかった。これは、映像フレーム種別情報を収集する手段がなく映像フレーム種別の影響を把握することができなかったためである。

また、上記技術では、受信側映像通信端末でのゆらぎ吸収バッファ溢れが生じた場合のパケット損失についても、収集する手段がなく、情報を得ることができなかった。ネットワークあるいは端末でパケット損失が生じた場合、高能率符号化により映像圧縮して伝送されている映像信号はフレーム間の動き予測符号化を用いており、前後のフレーム情報を使うことから１パケット損失による映像品質劣化が１映像フレームにとどまらず、複数フレームに及ぶ場合がある。

このような場合、次映像フレームではパケット損失が生じていないにもかかわらず復号された映像では品質劣化が生じており、ネットワーク上のパケット損失発生状況と映像アプリケーションでの劣化発生状況との対応は必ずしも取れなかった。したがって、ネットワーク品質とアプリケーション品質の対応関係を精度よく求めるためには、符号化情報に基づき、品質劣化の影響範囲を正確に把握する必要がある。

これに対して、従来、映像の符号化規則情報ならびに端末での無効パケット情報から、無効フレーム率を算出し、無効フレーム率による映像品質推定値の導出、得られた映像品質推定値を用いた品質管理技術が提案されている（例えば、特許文献２など参照）。これにより、無効パケット率を用いた映像のユーザ体感品質推定に比べ、映像品質劣化継続時間となる無効フレーム率を考慮することにより映像品質推定精度の向上が得られた。

特開２００５−２２９２１４号公報 特開２００６−０３３７２２号公報 吉村、林、中島、「コンテンツ属性と符号化速度別の映像サービス品質の評価"、信総大、B-11-9、pp.629、2002 ITU-T Rec. P.910, "Subjective video quality assessment methods For multimedia applications".

しかしながら、このような従来技術では、受信側での映像劣化がフレームベースで考慮されているものの、映像の動きによる映像品質への影響の違いについては考慮されておらず、複数映像の平均や安全側を考慮して映像品質を推定しているため、より高い精度で映像品質を推定できないという問題点があった。

映像品質を評価する場合、パケット損失率や無効パケット率などネットワーク品質尺度の値が同じでも対象となる映像の中身が異なる場合には、映像品質劣化に対する主観評価値が異なることがわかっている（例えば、非特許文献１など参照）。これは、損失フレームをメディアの劣化として知覚するかどうかという人間の知覚特性がコンテンツの内容に応じて左右されるからであり、例えば、動きの大きいスポーツ映像ではフレーム損失の影響が大きく、動きの少ないテレビ会議ではフレーム損失の影響は小さい。

本発明はこのような課題を解決するためのものであり、品質推定対象となる映像の動きを考慮して高精度の映像品質推定を実現できる映像品質推定装置、映像品質管理装置、映像品質推定方法、映像品質管理方法、およびプログラムを提供することを目的としている。

このような目的を達成するために、本発明にかかる映像品質推定装置は、パケット網を介して接続された送信側および受信側映像通信端末間で、映像を符号化して得られた各映像フレームをデータパケットで送受信する映像通信について、受信側映像通信端末で受信再生した映像に対してユーザが実感するユーザ体感品質を推定する映像品質推定装置であって、映像フレームに関するフレーム構成および映像動き量を映像符号化情報として収集する映像符号化情報収集部と、映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出する映像動き率算出部と、データパケットのうち受信側映像通信端末で正常に受信できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集部と、無効パケット情報と映像のフレーム構成とに基づいて、各映像フレームのうち無効パケットの影響により受信側映像通信端末で正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出する無効フレーム率算出部と、映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づき、無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値を導出し、ユーザ体感品質の推定値として出力する映像品質推定部とを備えている。

また、本発明にかかる映像品質管理装置は、パケット網を介して接続された送信側および受信側映像通信端末間で、映像を符号化して得られた各映像フレームをデータパケットで送受信する映像通信について、受信側映像通信端末で受信再生した映像に対してユーザが実感するユーザ体感品質を管理する映像品質管理装置であって、映像フレームに関するフレーム構成および映像動き量を映像符号化情報として収集する映像符号化情報収集部と、映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出する映像動き率算出部と、データパケットのうち受信側映像通信端末で正常に受信できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集部と、無効パケット情報と映像のフレーム構成とに基づいて、各映像フレームのうち無効パケットの影響により受信側映像通信端末で正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出する無効フレーム率算出部と、映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づき、無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値を導出し、ユーザ体感品質の推定値として出力する映像品質推定部と推定値と所定の管理値とを比較することによりユーザ体感品質の劣化有無を判定し、その判定結果を出力する映像品質管理部とを備えている。

また、本発明にかかる映像品質推定方法は、パケット網を介して接続された送信側および受信側映像通信端末間で、映像を符号化して得られた各映像フレームをデータパケットで送受信する映像通信について、受信側映像通信端末で受信再生した映像に対してユーザが実感するユーザ体感品質を推定する映像品質推定装置で用いられる映像品質推定方法であって、映像符号化情報収集部により、映像フレームに関するフレーム構成および映像動き量を映像符号化情報として収集する映像符号化情報収集ステップと、映像動き率算出部により、映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出する映像動き率算出ステップと、無効パケット情報収集部により、データパケットのうち受信側映像通信端末で正常に受信できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集ステップと、無効フレーム率算出部により、無効パケット情報と映像のフレーム構成とに基づいて、各映像フレームのうち無効パケットの影響により受信側映像通信端末で正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出する無効フレーム率算出ステップと、映像品質推定部により、映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づき、無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値を導出し、ユーザ体感品質の推定値として出力する映像品質推定ステップとを備えている。

また、本発明にかかる映像品質管理方法は、パケット網を介して接続された送信側および受信側映像通信端末間で、映像を符号化して得られた各映像フレームをデータパケットで送受信する映像通信について、受信側映像通信端末で受信再生した映像に対してユーザが実感するユーザ体感品質を管理する映像品質管理装置で用いられる映像品質管理方法であって、映像符号化情報収集部により、映像フレームに関するフレーム構成および映像動き量を映像符号化情報として収集する映像符号化情報収集ステップと、映像動き率算出部により、映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出する映像動き率算出ステップと、無効パケット情報収集部により、データパケットのうち受信側映像通信端末で正常に受信できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集ステップと、無効フレーム率算出部により、無効パケット情報と映像のフレーム構成とに基づいて、各映像フレームのうち無効パケットの影響により受信側映像通信端末で正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出する無効フレーム率算出ステップと、映像品質推定部により、映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づき、無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値を導出し、ユーザ体感品質の推定値として出力する映像品質推定ステップと、映像品質管理部により、推定値と所定のしきい値とを比較することによりユーザ体感品質の劣化有無を判定し、その判定結果を出力する映像品質管理ステップとを備えている。

また、本発明にかかるプログラムは、パケット網を介して接続された送信側および受信側映像通信端末間で、映像を符号化して得られた各映像フレームをデータパケットで送受信する映像通信について、受信側映像通信端末で受信再生した映像に対してユーザが実感するユーザ体感品質を推定する映像品質推定装置のコンピュータに、映像符号化情報収集部により、映像フレームに関するフレーム構成および映像動き量を映像符号化情報として収集する映像符号化情報収集ステップと、映像動き率算出部により、映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出する映像動き率算出ステップと、無効パケット情報収集部により、データパケットのうち受信側映像通信端末で正常に受信できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集ステップと、無効フレーム率算出部により、無効パケット情報と映像のフレーム構成とに基づいて、各映像フレームのうち無効パケットの影響により受信側映像通信端末で正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出する無効フレーム率算出ステップと、映像品質推定部により、映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づき、無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値を導出し、ユーザ体感品質の推定値として出力する映像品質推定ステップとを実行させる。

パケット網を介して接続された送信側および受信側映像通信端末間で、映像を符号化して得られた各映像フレームをデータパケットで送受信する映像通信について、受信側映像通信端末で受信再生した映像に対してユーザが実感するユーザ体感品質を管理する映像品質管理装置のコンピュータに、映像符号化情報収集部により、映像フレームに関するフレーム構成および映像動き量を映像符号化情報として収集する映像符号化情報収集ステップと、映像動き率算出部により、映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出する映像動き率算出ステップと、無効パケット情報収集部により、データパケットのうち受信側映像通信端末で正常に受信できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集ステップと、無効フレーム率算出部により、無効パケット情報と映像のフレーム構成とに基づいて、各映像フレームのうち無効パケットの影響により受信側映像通信端末で正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出する無効フレーム率算出ステップと、映像品質推定部により、映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づき、無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値を導出し、ユーザ体感品質の推定値として出力する映像品質推定ステップと、映像品質管理部により、推定値と所定のしきい値とを比較することによりユーザ体感品質の劣化有無を判定し、その判定結果を出力する映像品質管理ステップとを実行させる。

本発明によれば、映像動き率算出部により、映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合が映像動き率として算出され、無効フレーム率算出部により、無効パケット情報と映像のフレーム構成とに基づいて、各映像フレームのうち無効パケットの影響により受信側映像通信端末で正常に復号できなかった無効フレームの割合を示す無効フレーム率が算出され、映像品質推定部により、映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づいて、無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値が導出され、ユーザ体感品質の推定値として出力される。

これにより、無効フレーム率に対応する映像品質推定値を導出する際、品質推定対象となる映像の映像動き率に応じた最適な映像品質推定モデルが自動的に選択される。
したがって、従来のように複数映像の平均や安全側を考慮して映像品質を推定した場合と比較して、品質推定対象となる映像の動きを考慮して高精度の映像品質推定を実現でき、多種多様な映像に対するユーザ体感品質を、ユーザごとにリアルタイムで、高い精度で推定することが可能となる。

次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかる映像品質推定装置について説明する。図１は、本発明の第１の実施の形態にかかる映像品質推定装置の構成を示すブロック図である。

映像品質推定装置１は、通信機能を有する情報処理装置からなり、パケット網３さらには映像通信側映像通信端末２（２Ａ，２Ｂ）と接続されて、映像通信側映像通信端末２間での映像通信により受信側映像通信端末で受信再生した映像に対してユーザが実感するユーザ体感品質を推定する。
この映像品質推定装置１には、主な機能部として、映像符号化情報収集部１１、無効パケット情報収集部１２、映像動き率算出部１３、無効フレーム率算出部１４、映像品質推定モデルデータベース（以下、映像品質推定モデルＤＢという）１５、および映像品質推定部１６が設けられている。

本実施の形態は、映像動き率算出部１３により、映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出し、無効フレーム率算出部１４により、無効パケット情報と映像のフレーム構成とに基づいて、各映像フレームのうち無効パケットの影響により受信側映像通信端末２Ｂで正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出し、映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づき、無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値を導出し、ユーザ体感品質の推定値として出力するようにしたものである。

［映像品質推定装置］
映像品質推定装置１の各機能部は、専用の回路部や演算処理部、さらには記憶部から構成されている。特に、演算処理部は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、周辺回路内のメモリや記憶部に格納されているプログラムを読み込んで実行することにより、上記ハードウェアとプログラムとを協働させて各機能部を実現する。記憶部は、メモリやハードディスクなどの記憶装置からなり、各機能部での処理に用いる各種処理情報を記憶する。

符号化情報収集部１１は、映像フレームに関するフレーム構成および映像動き量を映像符号化情報として収集する機能を有している。一般に、リアルタイム系アプリケーションにより映像通信を行う映像通信側映像通信端末は、映像符号化情報として、映像を符号化する際の、符号化方式、符号化速度、ＧＯＰ構成、映像フレームごとの動き量の情報を有している。符号化情報収集部１１は、このような映像符号化情報を映像通信側映像通信端末２Ａ，２Ｂから収集する。なお、映像符号化情報については、パケット網３から収集してもよく、あるいは映像通信側映像通信端末２Ａ，２Ｂ間でやり取りされた映像用のデータパケットをパケット網３からキャプチャし、符号化情報収集部１１でこれらデータパケットから収集してもよい。

映像符号化情報を映像通信側映像通信端末２Ａ，２Ｂから映像品質推定装置１へ送信する方法としては、映像用データパケット内のＴＯＳビットに映像符号化情報を埋め込む方法、あるいは映像用データパケットの生成番号と対応付けた映像符号化情報を品質情報として制御パケットに埋め込む方法などがある。
また、映像符号化情報のうち、符号化方式、符号化速度、ＧＯＰ構成については、測定時に一度送出すればよく、映像フレームごとの動き量については、任意の測定期間ごとに送ってもよい。

無効パケット情報収集部１２は、映像通信側映像通信端末２Ａ，２Ｂ間でやり取りされた映像用のデータパケットのうち受信側映像通信端末２Ｂで正常に受信できなかった無効パケットに関する無効パケット情報を収集する機能を有している。無効パケットとは、送信側映像通信端末２Ａから送信された映像用データパケットのうち、受信側映像通信端末２Ｂで正常に受信できなかったパケットのことである。具体的には、送信側映像通信端末２Ａと受信側映像通信端末２Ｂとをパケット網３を介して結ぶ伝送路上で損失したパケット、受信側アプリケーションの持つ揺らぎ吸収バッファで到着間隔が調整できなかった遅着パケット、さらには映像用パケットの到着順序が規定されているリアルタイム系アプリケーションで映像用データパケットの到着順序が逆転したパケットなどが対象となる。

一般に、リアルタイム系アプリケーションにより映像通信を行う映像通信側映像通信端末は、このような無効パケットに関する情報を管理しており、無効パケット情報収集部１２は、このような無効パケット情報を映像通信側映像通信端末２Ａ，２Ｂから収集する。なお、無効パケット情報は、パケット網から収集してもよく、あるいは映像用データパケットに関する送受信品質情報を映像通信側映像通信端末２Ａ，２Ｂから収集し、無効パケット情報収集部１２により送受信品質情報から無効パケットを判定してもよい。

映像通信側映像通信端末２Ａ，２Ｂから映像品質推定装置１に対して、映像符号化情報や無効パケット情報を通知する際、制御パケットを利用できる。制御パケットとは、ＲＴＣＰ（RTP Control Protocol）を用い、ＲＴＰ（Real-time Transport Protocol）に基づきサーバ・受信側映像通信端末間、あるいは送受信側映像通信端末間で各種制御情報をやり取りする際に用いられるパケットである。この制御パケットに、受信側映像通信端末で得られた無効パケット情報とそれに対応する映像フレーム種別情報およびＧＯＰ構成情報、映像フレームごとの動き量を埋め込み、映像品質推定装置１に送信すればよい。

映像動き率算出部１３は、映像符号化情報収集部１１により収集された映像符号化情報に基づいて、任意の計測期間において送信側映像通信端末２Ａから映像用データパケットで送信された各映像フレームのうち、当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出する機能を有している。映像動き量は、任意のフレーム間における映像の変化の大きさを示す尺度であり、例えば非特許文献２に開示されている、Ｔｅｍｐｏｒａｌ Ｉｎｄｅｘ（ＴＩ）がある。本実施の形態では、このＴｅｍｐｏｒａｌ Ｉｎｄｅｘを映像動き量として用いる場合を例として説明する。なお、映像動き量は、Ｔｅｍｐｏｒａｌ Ｉｎｄｅｘに限定されるものではなく、他の映像動き量を用いてもよい。

しきい値は、符号化方式、符号化速度ごとに異なる値を用いてもよいし、さらにコンテンツジャンルに分けて求めてもよい。コンテンツジャンルとは、スポーツ映像やテレビ会議など、映像の内容に基づく分類であり、各映像に固有の情報である。例えば、スポーツなどはもともと動き量が多いコンテンツであるため比較的高いしきい値を用い、テレビ電話ではもともと動き量が少ないため比較的低いしきい値を用いる、という使い分けが考えられる。これらしきい値は、予め符号化方式、符号化速度ごと、さらにはコンテンツジャンルごとに実験などで求めておけばよい。

無効フレーム率算出部１４は、無効パケット情報と映像のフレーム構成とに基づいて、各映像フレームのうち無効パケットの影響により受信側映像通信端末で正常に復号できなかった無効フレームを判定する機能と、任意の計測期間において送信側映像通信端末２Ａから送信された各映像フレームのうち、無効フレームと判定されたフレームの割合を示す無効フレーム率を算出する機能とを有している。無効フレーム率算出部１４における無効フレーム判定処理については、後で詳細に説明する。

映像品質推定モデルＤＢ１５は、無効フレーム率算出部１４で算出された無効フレーム率から所望の映像品質推定値１７を導出する際に用いる映像品質推定モデルとして、例えば映像動き率算出部１３で算出された映像動き率などのモデル係数ごとに異なる映像品質推定モデルを保存する機能を有している。

映像品質推定部１６は、例えば映像動き率算出部１３で算出された映像動き率などのモデル係数に対応する映像品質推定モデルを映像品質推定モデルＤＢ１５から選択する機能と、選択した映像品質推定モデルに基づいて、無効フレーム率算出部１４で算出された無効フレーム率から所望の映像品質推定値１７を導出する機能とを有している。

［映像通信端末］
次に、図１を参照して、映像通信端末について説明する。
映像通信端末２Ａ，２Ｂは、通信機能を有する情報処理装置からなり、所定のリアルタイム系アプリケーションを実行することにより、映像通信端末２Ａ，２Ｂ間で映像通信を行う機能を有している。
映像通信端末２Ａ，２Ｂは、主な機能手段として、映像符号化情報データベース（以下、映像符号化情報ＤＢという）２１および無効パケット情報取得部２２を備えている。

映像符号化情報ＤＢ２１は、符号化方式、符号化速度、ＧＯＰ構成、映像フレームごとの動き量などの映像符号化情報をリアルタイム系アプリケーションから収集して保存する機能を有している。
無効パケット情報収集部１２は、通信相手の映像通信端末２から損失パケット、順序逆転パケット、遅着パケットなどの無効パケットに関する発生情報を収集する機能を有している。

［無効フレーム判定処理］
次に、図２を参照して、本発明の第１の実施の形態にかかる映像品質推定装置の無効フレーム判定処理について詳細に説明する。図２は、本発明の第１の実施の形態にかかる映像品質推定装置の無効フレーム判定処理を示すフローチャートである。
ここでは、無効フレーム率算出部１４における無効フレーム判定処理の具体例について説明する。

無効フレーム率算出部１４は、まず、送信品質情報で送信確認されている各フレームのうち、対象フレーム識別手段１２Ｂにより無効パケットを含むために対象フレームと識別されたフレームを無効フレームと判定する（ステップ１００）。

次に、受信品質情報を参照して、受信側に到着した順序にしたがって無効フレーム未判定のフレームを選択し（ステップ１０１）、当該リアルタイム系アプリケーションでメディアの符号化に用いたフレーム構成を示すフレーム構成情報と受信品質情報とを参照することにより、当該フレームの復号に用いる他のフレームに、無効フレームが含まれているか確認する（ステップ１０２）。フレーム構成情報は、予め記憶部に設定しておいてもよく送受信品質情報で取得してもよい。

ここで、無効フレームが含まれている場合（ステップ１０２：ＹＥＳ）、当該フレームを正常に復号できないことから、当該フレームを無効フレームと判定する（ステップ１０３）。一方、無効フレームが含まれていない場合（ステップ１０２：ＮＯ）、当該フレームを正常に復号できることから、当該フレームを無効フレームではないと判定する（ステップ１０４）。

図３は、無効フレームの判定処理例である。ここでは、映像メディアが「ＩＢＢ」のＧＯＤ構成で圧縮符号化されフレームに分割されている。フレーム種別Ｉフレームは基準となるフレームで、Ｉフレームだけで元のフレームを復号できる。フレーム種別ＢフレームはＩフレームとの差分データからなり、その復号にはＩフレームが必要となる。

図３に示すように、フレーム「１〜９」が「ＩＢＢ」のＧＯＤ構成にしたがってメディア用パケットに分割されて送信され、受信側で受信した際、このうちフレーム「２，７，８」に無効パケットが含まれていたとする。
この場合には、まず、無効パケットを含む対象フレームが無効フレームと判定され、さらに、これら無効フレームを復号時に用いるフレームについても無効フレームと判定される。

具体的には、フレーム「５，６」の復号にフレーム「４，７」を用いるがフレーム「７」が無効フレームであるため、これらフレーム「５，６」も無効フレームと判定される。同様に、フレーム「９」の復号にフレーム「７」を用いるがフレーム「７」が無効フレームであるため、フレーム「９」も無効フレームと判定される。なお、フレーム「３」の復号にフレーム「１，４」を用いるがフレーム「１，４」が無効フレームではないため、フレーム「３」は無効フレームではないと判定される。

このようにして、選択したフレームに対して無効フレーム判定を行った後、無効フレーム未判定のフレームが残っている場合には（ステップ１０５：ＹＥＳ）、前述したステップ１０１へ戻って残りのフレームに対する無効フレーム判定を繰り返し行う。一方、すべての送信メディア用パケットに対して無効パケット判定が終了した場合（ステップ１０５：ＮＯ）、一連の無効フレーム判定処理を終了する。

このように、本実施の形態では、無効フレーム率算出部１４により、各フレームのうち対象フレームを無効フレームと判定するとともに、フレーム構成で規定されているフレーム種別の並びに従って当該フレームの復号に用いる他のフレームに無効フレームが含まれている場合には当該フレームを無効フレームと判定するようにしたので、単に無効パケットの有無により無効フレームを判定する場合と比較して、実際のフレーム構成に応じて正確に無効フレームを判定できる。

［第１の実施の形態の動作］
次に、図４を参照して、本発明の第１の実施の形態にかかる映像品質推定装置の動作について説明する。図４は、本発明の第１の実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。

ここでは、送信側映像通信端末２Ａから任意の計測期間内に送信されて、パケット網３を介して受信側映像通信端末２Ｂで受信再生した映像について、ユーザが実感するユーザ体感品質値を推定する場合を例として説明する。なお、計測期間は主観評価実験での映像時間長である１０秒程度が望ましいが、計測条件に応じて変更しても構わず、最低時間長は１ＧＯＰ時間となる。

映像品質推定装置１の符号化情報収集部１１は、映像通信端末２Ａ，２Ｂからパケット網３を介して、映像フレームに関するフレーム構成および映像動き量を映像符号化情報として収集する（ステップ１２０）。

映像動き率算出部１３は、映像符号化情報収集部１１により収集された映像符号化情報に基づいて、任意の計測期間において送信側映像通信端末２Ａから映像用データパケットで送信された各映像フレームのうち、当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出する（ステップ１２１）。

一方、無効パケット情報収集部１２は、映像通信端末２Ａ，２Ｂからパケット網３を介して、映像通信側映像通信端末２Ａ，２Ｂ間でやり取りされた映像用のデータパケットのうち受信側映像通信端末２Ｂで正常に受信できなかった無効パケットに関する無効パケット情報を収集する（ステップ１２２）。

この後、無効フレーム率算出部１４は、無効パケット情報収集部１２で収集した無効パケット情報と、符号化情報収集部１１で収集した映像符号化情報のフレーム構成とに基づいて、各映像フレームのうち無効パケットの影響により受信側映像通信端末で正常に復号できなかった無効フレームを判定し、当該計測期間において送信側映像通信端末２Ａから送信された各映像フレームのうち、無効フレームと判定されたフレームの割合を示す無効フレーム率を算出する（ステップ１２３）。

続いて、映像品質推定部１６は、映像動き率算出部１３で算出された映像動き率（モデル係数）に対応する映像品質推定モデルを映像品質推定モデルＤＢ１５から選択する（ステップ１２４）。
映像動き率を考慮した、無効フレーム率による映像品質推定モデルは、Ｘを無効フレーム率とし、Ａを定数とし、Ｂを映像動き率から求められるモデル係数とし、Ｙをユーザ体感品質とした場合、次のような指数関数で表すことができる。
Ｙ＝Ａ・ｅｘｐ（−ＢＸ）＋１

また、モデル係数Ｂは、Ｚを映像動き率とし、ａ，ｂ，ｃを定数とした場合、次のような２次関数で表すことができる。
Ｂ＝ａＺ²＋ｂＺ＋ｃ
図５は、映像品質推定モデル例を示す説明図であり、映像動き率Ｚに応じて映像品質推定モデルここでは無効フレーム率−ＭＯＳ値特性が異なることがわかる。したがって、映像動き率ごとに映像品質推定モデルを予め算出しておき、これらを映像品質推定モデルＤＢ１５へ保存しておけばよい。

映像品質推定部１６は、選択した映像品質推定モデルに基づいて、無効フレーム率算出部１４で算出された無効フレーム率から所望の映像品質推定値１７を導出して（ステップ１２５）、画面表示部（図示せず）や装置外部へ推定結果として出力し、一連の映像品質推定処理を終了する。

このように、本実施の形態は、映像動き率算出部１３により、映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出し、無効フレーム率算出部１４により、無効パケット情報と映像のフレーム構成とに基づいて、各映像フレームのうち無効パケットの影響により受信側映像通信端末２Ｂで正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出し、映像品質推定部１６により、映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づいて、無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値を導出し、ユーザ体感品質の推定値として出力する。

これにより、無効フレーム率に対応する映像品質推定値を導出する際、品質推定対象となる映像の映像動き率に応じた最適な映像品質推定モデルが自動的に選択される。
したがって、従来のように複数映像の平均や安全側を考慮して映像品質を推定した場合と比較して、品質推定対象となる映像の動きを考慮して高精度の映像品質推定を実現でき、多種多様な映像に対するユーザ体感品質を、ユーザごとにリアルタイムで、高い精度で推定することが可能となる。

［第２の実施の形態］
次に、図６を参照して、本発明の第２の実施の形態にかかる映像通信品質管理装置について説明する。図６は、本発明の第２の実施の形態にかかる映像通信品質管理装置の構成を示すブロック図であり、前述した図１と同じまたは同等部分には同一符号を付してある。

第１の実施の形態では、品質推定対象となる映像の映像動き率に応じた映像品質推定モデルを用いて、映像の無効フレーム率に対応する映像品質推定値を導出する映像通信品質推定装置について説明した。本実施の形態では、第１の実施の形態と同様にして、品質推定対象となる映像の映像動き率に応じた映像品質推定モデルを用いて、映像の無効フレーム率に対応する映像品質推定値を推定し、その映像品質推定値を用いて映像品質管理を行う映像品質管理装置について説明する。

第１の実施の形態にかかる映像品質推定装置１と比較して、本実施の形態にかかる映像品質管理装置５には、機能部として映像品質管理部５７が追加されているとともに、記憶部（図示せず）に映像品質管理情報５８が追加されている。なお、この他の構成や動作については、前述した映像品質推定装置１と同様であり、ここでの詳細な説明は省略する。

映像品質管理部５７は、映像品質推定部１６で得られた映像品質推定値１７と映像品質管理情報５８として保存されている所定の管理値とを比較することにより、受信側映像通信端末２Ｂでのユーザ体感品質の劣化有無を判定し、その判定結果を画像表示部（図示せず）や装置外部へ出力する。
この際、映像品質管理部５７は、判定結果として映像品質推定値１７と所定の管理値との比較表示し、映像品質推定値１７が所定の管理値を下回る場合にはアラーム表示を行う。また、このような判定結果を電子メールで管理者宛に送信するようにしてもよい。

このように、映像品質管理部５７は、映像品質推定部１６で得られた映像品質推定値１７と映像品質管理情報５８として保存されている所定の管理値とを比較することにより、受信側映像通信端末２Ｂでのユーザ体感品質の劣化有無を判定し、その判定結果を出力するようにしたので、前述した第１の実施の形態にかかる作用効果に基づき、品質推定対象となる映像の動きを考慮した高精度の映像品質推定値を映像品質管理に用いることができ、多種多様な映像に対するユーザ体感品質を、ユーザごとにリアルタイムで、高い精度で管理することが可能となる。

［各実施の形態の拡張］
以上の各実施の形態では、映像符号化情報や無効パケット情報を映像通信時にリアルタイムで映像通信端末２Ａ，２Ｂから収集する場合を例として説明したが、予め管理サーバ（図示せず）が映像通信時にリアルタイムでこれら映像符号化情報や無効パケット情報を収集して蓄積し、その後、映像品質推定装置１や映像品質管理装置５が、管理サーバから所望の映像通信に関する映像符号化情報や無効パケット情報を収集して、映像品質を推定し、さらには映像品質を管理するようにしてもよい。

また、以上の各実施の形態では、映像品質推定装置１や映像品質管理装置５を映像通信端末２とは別個の装置で実現した場合を例として説明したが、これに限定されるものではなく、リアルタイム系アプリケーションと並行して映像通信端末２で実行される品質推定アプリケーション、さらには品質管理アプリケーションにより、映像品質推定装置１や映像品質管理装置５の機能を実現してもよい。これにより、映像通信端末２のハードウェア資源を共用して実現でき、極めて容易にユーザ体感品質を推定・管理できる。

本発明の第１の実施の形態にかかる映像品質推定装置の構成を示すブロック図である。 本発明の第１の実施の形態にかかる映像品質推定装置の無効フレーム判定処理を示すフローチャートである。 無効フレームの判定処理例である。 本発明の第１の実施の形態にかかる映像品質推定装置の映像品質推定処理を示すフローチャートである。 映像品質推定モデル例を示す説明図である。 本発明の第２の実施の形態にかかる映像通信品質管理装置の構成を示すブロック図である。

符号の説明

１…映像品質推定装置、１１…映像符号化情報収集部、１２…無効パケット情報収集部、１３…映像動き率算出部、１４…無効フレーム率算出部、１５…映像品質推定モデルＤＢ、１６…映像品質推定部、１７…映像品質推定値、２，２Ａ，２Ｂ…映像通信端末、２１…映像符号化情報ＤＢ、２２…無効パケット情報取得部、３…パケット網、５…映像品質管理情報、５７…映像品質管理部、５８…映像品質管理情報。

Claims (6)

1. パケット網を介して接続された送信側および受信側映像通信端末間で、映像を符号化して得られた各映像フレームをデータパケットで送受信する映像通信について、前記受信側映像通信端末で受信再生した映像に対してユーザが実感するユーザ体感品質を推定する映像品質推定装置であって、
   前記映像フレームに関するフレーム構成および映像動き量を映像符号化情報として収集する映像符号化情報収集部と、
   前記映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出する映像動き率算出部と、
   前記データパケットのうち前記受信側映像通信端末で正常に受信できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集部と、
   前記無効パケット情報と前記映像のフレーム構成とに基づいて、各映像フレームのうち前記無効パケットの影響により前記受信側映像通信端末で正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出する無効フレーム率算出部と、
   前記映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づき、前記無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値を導出し、前記ユーザ体感品質の推定値として出力する映像品質推定部と
   を備えることを特徴とする映像品質推定装置。
2. パケット網を介して接続された送信側および受信側映像通信端末間で、映像を符号化して得られた各映像フレームをデータパケットで送受信する映像通信について、前記受信側映像通信端末で受信再生した映像に対してユーザが実感するユーザ体感品質を管理する映像品質管理装置であって、
   前記映像フレームに関するフレーム構成および映像動き量を映像符号化情報として収集する映像符号化情報収集部と、
   前記映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出する映像動き率算出部と、
   前記データパケットのうち前記受信側映像通信端末で正常に受信できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集部と、
   前記無効パケット情報と前記映像のフレーム構成とに基づいて、各映像フレームのうち前記無効パケットの影響により前記受信側映像通信端末で正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出する無効フレーム率算出部と、
   前記映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づき、前記無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値を導出し、前記ユーザ体感品質の推定値として出力する映像品質推定部と
   前記推定値と所定の管理値とを比較することにより前記ユーザ体感品質の劣化有無を判定し、その判定結果を出力する映像品質管理部と
   を備えることを特徴とする映像品質管理装置。
3. パケット網を介して接続された送信側および受信側映像通信端末間で、映像を符号化して得られた各映像フレームをデータパケットで送受信する映像通信について、前記受信側映像通信端末で受信再生した映像に対してユーザが実感するユーザ体感品質を推定する映像品質推定装置で用いられる映像品質推定方法であって、
   映像符号化情報収集部により、前記映像フレームに関するフレーム構成および映像動き量を映像符号化情報として収集する映像符号化情報収集ステップと、
   映像動き率算出部により、前記映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出する映像動き率算出ステップと、
   無効パケット情報収集部により、前記データパケットのうち前記受信側映像通信端末で正常に受信できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集ステップと、
   無効フレーム率算出部により、前記無効パケット情報と前記映像のフレーム構成とに基づいて、各映像フレームのうち前記無効パケットの影響により前記受信側映像通信端末で正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出する無効フレーム率算出ステップと、
   映像品質推定部により、前記映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づき、前記無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値を導出し、前記ユーザ体感品質の推定値として出力する映像品質推定ステップと
   を備えることを特徴とする映像品質推定方法。
4. パケット網を介して接続された送信側および受信側映像通信端末間で、映像を符号化して得られた各映像フレームをデータパケットで送受信する映像通信について、前記受信側映像通信端末で受信再生した映像に対してユーザが実感するユーザ体感品質を管理する映像品質管理装置で用いられる映像品質管理方法であって、
   映像符号化情報収集部により、前記映像フレームに関するフレーム構成および映像動き量を映像符号化情報として収集する映像符号化情報収集ステップと、
   映像動き率算出部により、前記映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出する映像動き率算出ステップと、
   無効パケット情報収集部により、前記データパケットのうち前記受信側映像通信端末で正常に受信できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集ステップと、
   無効フレーム率算出部により、前記無効パケット情報と前記映像のフレーム構成とに基づいて、各映像フレームのうち前記無効パケットの影響により前記受信側映像通信端末で正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出する無効フレーム率算出ステップと、
   映像品質推定部により、前記映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づき、前記無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値を導出し、前記ユーザ体感品質の推定値として出力する映像品質推定ステップと、
   映像品質管理部により、前記推定値と所定のしきい値とを比較することにより前記ユーザ体感品質の劣化有無を判定し、その判定結果を出力する映像品質管理ステップと
   を備えることを特徴とする映像品質管理方法。
5. パケット網を介して接続された送信側および受信側映像通信端末間で、映像を符号化して得られた各映像フレームをデータパケットで送受信する映像通信について、前記受信側映像通信端末で受信再生した映像に対してユーザが実感するユーザ体感品質を推定する映像品質推定装置のコンピュータに、
   映像符号化情報収集部により、前記映像フレームに関するフレーム構成および映像動き量を映像符号化情報として収集する映像符号化情報収集ステップと、
   映像動き率算出部により、前記映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出する映像動き率算出ステップと、
   無効パケット情報収集部により、前記データパケットのうち前記受信側映像通信端末で正常に受信できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集ステップと、
   無効フレーム率算出部により、前記無効パケット情報と前記映像のフレーム構成とに基づいて、各映像フレームのうち前記無効パケットの影響により前記受信側映像通信端末で正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出する無効フレーム率算出ステップと、
   映像品質推定部により、前記映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づき、前記無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値を導出し、前記ユーザ体感品質の推定値として出力する映像品質推定ステップと
   を実行させるプログラム。
6. パケット網を介して接続された送信側および受信側映像通信端末間で、映像を符号化して得られた各映像フレームをデータパケットで送受信する映像通信について、前記受信側映像通信端末で受信再生した映像に対してユーザが実感するユーザ体感品質を管理する映像品質管理装置のコンピュータに、
   映像符号化情報収集部により、前記映像フレームに関するフレーム構成および映像動き量を映像符号化情報として収集する映像符号化情報収集ステップと、
   映像動き率算出部により、前記映像符号化情報に基づいて各映像フレームのうち当該映像動き量が所定のしきい値を超えるフレームの割合を映像動き率として算出する映像動き率算出ステップと、
   無効パケット情報収集部により、前記データパケットのうち前記受信側映像通信端末で正常に受信できなかった無効パケットに関する無効パケット情報を収集する無効パケット情報収集ステップと、
   無効フレーム率算出部により、前記無効パケット情報と前記映像のフレーム構成とに基づいて、各映像フレームのうち前記無効パケットの影響により前記受信側映像通信端末で正常に復号できなかった無効フレームの割合を示す無効フレーム率を算出する無効フレーム率算出ステップと、
   映像品質推定部により、前記映像動き率に応じた、無効フレーム率と映像品質値との関係を示す映像品質推定モデルに基づき、前記無効フレーム率算出部で算出された無効フレーム率に対応する映像品質推定値を導出し、前記ユーザ体感品質の推定値として出力する映像品質推定ステップと、
   映像品質管理部により、前記推定値と所定のしきい値とを比較することにより前記ユーザ体感品質の劣化有無を判定し、その判定結果を出力する映像品質管理ステップと
   を実行させるプログラム。

Images