JP4740967B2 - 映像品質推定装置、方法、およびプログラム - Google Patents

Description

本発明は、映像通信技術に関し、特にネットワーク経由で行うＩＰＴＶサービス、映像配信サービス、映像コミュニケーションサービスなどの映像通信の品質を推定するシステムに関する。

インターネットアクセス回線の高速・広帯域化に伴い、音声及び映像メディアなどを用いた映像通信サービスが期待されている。インターネットは必ずしも通信品質の保証されていないネットワークであるため、音声及び映像メディアなどを用いて通信を行う場合、ユーザ間のネットワークの回線帯域が狭かったり、回線が輻輳したりすると、音声や映像メディアなどに対してユーザが知覚する品質、すなわちユーザ体感品質（ＱｏＥ：Quality of Experience）が劣化してしまう。具体的には、映像に品質劣化が加わると、ぼけ・にじみ・モザイク状の歪・ぎくしゃく感などとして知覚される。

上記サービスを品質良く提供するためには、サービス提供に先立った品質設計やサービス開始後の品質管理が重要となり、このためには、ユーザが享受する品質を適切に表現でき、しかも簡便かつ効率的な品質評価技術が必要となる。
従来、国際標準化機関ＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector）勧告Ｊ．１４４において映像品質客観評価法が記載されている。また、ＩＴＵ−Ｔ勧告Ｇ．１０７０には、テレビ電話の品質設計を行うための品質推定法が記載されている。これらの客観評価技術は、ある一定の条件下で主観品質の統計的曖昧さと同程度の推定誤差で主観品質を推定可能である。

ＩＴＵ−Ｔ勧告Ｊ．１４４ ＩＴＵ−Ｔ勧告Ｇ．１０７０

しかしながら、このような従来技術では、ネットワーク経由で行うＩＰＴＶサービス、映像配信サービス、映像コミュニケーションサービスなどの映像通信の品質を推定する際には適用できないという問題点があった。
まず、ＩＴＵ−Ｔ勧告Ｊ．１４４は、映像メディア信号（画素信号）を用いる品質推定方法であり、品質推定に関する計算量が膨大である。そのため、ネットワーク間から品質情報を抽出し、大規模ネットワークにおける品質を推定して管理する場合には向かない。

また、ＩＴＵ−Ｔ勧告Ｇ．１０７０は、映像の品質に影響を与える品質パラメータから映像代表品質を推定するモデルである。図１１は、ＩＴＵ−Ｔ勧告Ｇ．１０７０で用いる品質推定モデルの品質推定精度を示す説明図である。すなわち、ＩＴＵ−Ｔ勧告Ｇ．１０７０は、図１１に示すように、映像の動き量やフレーム単位の精細度に関して異なる多数の映像から得た平均的な特性Ｔに基づき推定している。このため、個々の映像が持つ品質、例えば映像の動き量やフレーム単位の精細度が、平均的な映像とは異なるような映像Ａや映像Ｂについては、実際の映像品質とは誤差ΔＶａやΔＶｂが発生し、これら映像Ａ、Ｂの品質の推定誤差が大きい原因となる。

本発明はこのような課題を解決するためのものであり、映像の動き量やフレーム単位の精細度が、平均的な映像とは異なるような映像であっても、映像品質の推定精度を改善できる映像品質推定装置、方法、およびプロクラムを提供することを目的としている。

このような目的を達成するために、本発明にかかる映像品質推定装置は、Ｉフレームを含む複数のフレームに映像信号を圧縮符号化してパケットで送信する映像通信の映像品質を推定する映像品質推定装置であって、入力されたパケットを分析して、当該映像通信の単位Ｉフレーム数当たりの情報量を示す個別Ｉフレーム情報量と、当該映像通信の映像品質に関する品質パラメータとを抽出するパケット分析部と、複数の映像の映像品質を平均化して得られた映像代表品質を推定する映像代表品質推定モデルから、当該映像通信の品質パラメータに対応する映像代表品質を推定する映像代表品質推定部と、映像代表品質と当該映像の映像個別品質との差に相当する映像差分品質を推定する映像差分品質推定モデルから、当該映像通信の個別Ｉフレーム情報量と品質パラメータとに対応する映像差分品質を推定する映像差分品質推定部と、映像代表品質と映像差分品質とから当該映像通信の映像個別品質を算出する映像個別品質算出部とを備えている。

この際、映像差分品質推定部に、個別Ｉフレーム情報量と複数の映像から得られた単位Ｉフレーム数当たりの情報量の平均値を示す代表Ｉフレーム情報量との差から差分Ｉフレーム情報量を算出する差分Ｉフレーム情報量算出部と、映像代表品質と映像個別品質との差分の最大値を示す映像最大差分品質を推定する映像最大差分品質推定モデルから、品質パラメータに対応する映像最大差分品質を推定する映像最大差分品質推定部と、映像差分品質推定モデルから、当該映像通信の映像差分品質と差分Ｉフレーム情報量とに対応する映像個別品質を算出する映像差分品質算出部とを設けてもよい。

また、映像差分品質推定部に、代表Ｉフレーム情報量と品質パラメータとの関係を示す代表Ｉフレーム情報量推定モデルから、品質パラメータに対応する代表Ｉフレーム情報量を推定する代表Ｉフレーム情報量推定部をさらに設けてもよい。

また、代表Ｉフレーム情報量推定モデルとして、符号化レートからなる品質パラメータの増加に伴って代表Ｉフレーム情報量が増加する特性を用いてもよい。

また、映像最大差分品質推定モデルとして、符号化レートからなる品質パラメータの増加に伴って映像最大差分品質が増加（または減少）し、当該品質パラメータのさらなる増加に伴って映像最大差分品質が減少（または増加）する特性を用いてもよい。

また、映像差分品質推定モデルとして、差分Ｉフレーム情報量と映像最大差分品質との積の増加に伴って、映像差分品質が増加する特性を用いてもよい。

また、本発明にかかる映像品質推定方法は、Ｉフレームを含む複数のフレームに映像信号を圧縮符号化してパケットで送信する映像通信の映像品質を推定する映像品質推定方法であって、入力されたパケットを分析して、当該映像通信の単位Ｉフレーム数当たりの情報量を示す個別Ｉフレーム情報量と、当該映像通信の映像品質に関する品質パラメータとを抽出するパケット分析ステップと、複数の映像の映像品質を平均化して得られた映像代表品質を推定する映像代表品質推定モデルから、当該映像通信の品質パラメータに対応する映像代表品質を推定する映像代表品質推定ステップと、映像代表品質と当該映像の映像個別品質との差に相当する映像差分品質を推定する映像差分品質推定モデルから、当該映像通信の個別Ｉフレーム情報量と品質パラメータとに対応する映像差分品質を推定する映像差分品質推定ステップと、映像代表品質と映像差分品質とから当該映像通信の映像個別品質を算出する映像個別品質算出ステップとを備えている。

また、本発明にかかるプログラムは、Ｉフレームを含む複数のフレームに映像信号を圧縮符号化してパケットで送信する映像通信の映像品質を推定する映像品質推定装置のコンピュータに、入力されたパケットを分析して、当該映像通信の単位Ｉフレーム数当たりの情報量を示す個別Ｉフレーム情報量と、当該映像通信の映像品質に関する品質パラメータとを抽出するパケット分析ステップと、複数の映像の映像品質を平均化して得られた映像代表品質を推定する映像代表品質推定モデルから、当該映像通信の品質パラメータに対応する映像代表品質を推定する映像代表品質推定ステップと、映像代表品質と当該映像の映像個別品質との差に相当する映像差分品質を推定する映像差分品質推定モデルから、当該映像通信の個別Ｉフレーム情報量と品質パラメータとに対応する映像差分品質を推定する映像差分品質推定ステップと、映像代表品質と映像差分品質とから当該映像通信の映像個別品質を算出する映像個別品質算出ステップとを実行させる。

本発明によれば、対象となる映像通信の個別Ｉフレーム情報量を考慮した映像品質を推定することができる。このため、映像の動き量やフレーム単位の精細度が、平均的な映像とは異なるような映像の映像通信についても、ＩＰパケットから抽出可能なパラメータに基づいて、誤差の少ない映像品質を推定することができる。
したがって、ネットワーク経由で行うＩＰＴＶサービス、映像配信サービス、映像コミュニケーションサービスなどの映像通信サービスを利用するユーザに対して、ある一定以上の映像品質を保っているかどうかを容易に判断することができる。これにより、上記サービスで用いる品質パラメータの設計や、提供中のサービスの品質実態を把握・管理することが可能となる。

次に、本発明の実施の形態について図面を参照して説明する。
まず、図１を参照して、本発明の一実施の形態にかかる映像品質推定装置について説明する。図１は、本発明の一実施の形態にかかる映像品質推定装置の構成を示すブロック図である。
この映像品質推定装置１は、入力された情報を演算処理するコンピュータなどの情報処理装置からなり、複数のフレームに符号化した映像信号を圧縮符号化した後、通信端末２Ａから通信端末２Ｂ端末へ、インターネットなどのＩＰネットワーク３を介してパケットで送信する映像通信について、その映像通信のパケットを入力として、通信端末２Ｂで復号されて再生された当該映像から視聴者が実感する主観映像品質の推定値を映像個別品質として算出する装置である。

この映像品質推定装置１には、主な機能部として、操作入力部１１、画面表示部１２、通信インターフェース部（以下、通信Ｉ／Ｆ部という）１３、記憶部１４、特性係数記憶部１５、および演算処理部１６が設けられている。また演算処理部１６には、主な処理部として、パケット分析部１６Ａ、映像代表品質推定部１６Ｂ、映像最大差分品質推定部１６Ｃ、代表Ｉフレーム情報量推定部１６Ｄ、差分Ｉフレーム情報量算出部１６Ｅ、映像差分品質算出部１６Ｆ、および映像個別品質算出部１６Ｇが設けられている。このうち、映像最大差分品質推定部１６Ｃ、代表Ｉフレーム情報量推定部１６Ｄ、差分Ｉフレーム情報量算出部１６Ｅ、および映像差分品質算出部１６Ｆにより、映像差分品質推定部１７が構成されている。

ＭＰＥＧ−２(Moving Picture Experts Group-2)などの圧縮符号化方式では、Ｉフレームの情報は、動き量の多い映像の場合には、フレーム間予測方式のＢフレームやＰフレームについて符号量を配分しようとする特徴と、精細度が高い映像の場合には、ＢフレームやＰフレームの符号量を減らしフレーム内予測方式のＩフレームについて符号量を増やす特徴がある。
本実施の形態では、映像の動き量やフレーム単位の精細度に応じて個別Ｉフレーム情報量が変化するという特徴に着目し、対象となる映像通信の個別Ｉフレーム情報量を考慮して映像品質を推定している。

具体的には、パケット分析部１６Ａにより、入力されたパケットを分析して、当該映像通信の単位Ｉフレーム数当たりの情報量を示す個別Ｉフレーム情報量と、当該映像通信の映像品質に関する品質パラメータとを抽出し、映像代表品質推定部１６Ｂにより、複数の映像の映像品質を平均化して得られた映像代表品質を推定する映像代表品質推定モデルから、当該映像通信の品質パラメータに対応する映像代表品質を推定し、映像差分品質推定部１７により、映像代表品質と当該映像の映像個別品質との差に相当する映像差分品質を推定する映像差分品質推定モデルから、当該映像通信の品質パラメータと個別Ｉフレーム情報量とに対応する映像差分品質を推定し、映像個別品質算出部１６Ｇにより、映像代表品質と映像差分品質とから当該映像通信の映像個別品質を算出する。

［映像品質推定装置の構成］
次に、図１および図２を参照して、本発明の一実施の形態にかかる映像品質推定装置の構成について詳細に説明する。図２は、本発明の一実施の形態にかかる映像品質推定装置の動作フローを示す説明図である。

操作入力部１１は、キーボードやマウスなどの操作入力装置からなり、オペレータの操作を検出して演算処理部１６へ出力する機能を有している。
画面表示部１２は、ＬＣＤやＰＤＰなどの画面表示装置からなり、演算処理部１６からの指示に応じて、操作メニューや推定結果である映像個別品質を画面表示する機能を有している。
通信Ｉ／Ｆ部１３は、専用の通信回路からなり、ＩＰネットワーク３や外部装置（図示せず）との間でデータ通信を行う機能を有している。品質推定の対象となる映像通信のパケットについては、ＩＰネットワーク３を介して通信Ｉ／Ｆ部１３により取得してもよく、受信側の通信端末２Ｂから通信Ｉ／Ｆ部１３により取得してもよい。

記憶部１４は、ハードディスクやメモリなどの記憶装置からなり、演算処理部１６での処理動作に用いる各種処理情報とプログラム１４Ｐとを記憶する機能を有している。プログラム１４Ｐは、映像品質推定装置１に設けられている通信Ｉ／Ｆ部１３などのデータ入出力機能を介して外部装置や記録媒体（図示せず）から予め読み込まれて記憶部１４に格納されている。

記憶部１４で記憶される主な処理情報としては、個別Ｉフレーム情報量１４Ａ、符号化レート１４Ｂ、および特性係数特定パラメータ１４Ｃがある。
このうち個別Ｉフレーム情報量１４Ａおよび符号化レート１４Ｂは、いずれも通信Ｉ／Ｆ部１３から入力された対象となる映像通信のパケットから、パケット分析部１６Ａにより抽出されて記憶部１４へ保存される。また、特性係数特定パラメータ１４Ｃは、操作入力部１１や通信Ｉ／Ｆ部１３を介して予め記憶部１４へ保存される。

個別Ｉフレーム情報量１４Ａは、対象となる映像通信における単位Ｉフレーム数当たりの情報量を示す。
符号化レート１４Ｂは、対象となる映像通信において単位時間当たりに送信される情報量である。
特性係数特定パラメータ１４Ｃは、対象となる映像通信で用いる圧縮符号化方式や、当該映像を画面表示する際の表示解像度、のほか、符号化に関するキーフレーム、端末でのメディア再生機能に関するモニタサイズ、モニタ解像度、端末でのメディア再生の際の室内照度などのパラメータからなる。

特性係数記憶部１５は、ハードディスクやメモリなどの記憶装置からなり、演算処理部１６での処理動作に用いる各種特性係数を記憶する複数の個別記憶部を有している。特性係数記憶部１５の主な個別記憶部として、映像代表品質特性係数記憶部１５Ａ、映像最大差分品質特性係数記憶部１５Ｂ、代表Ｉフレーム情報量特性係数記憶部１５Ｃ、および映像差分品質特性係数記憶部１５Ｄがある。

映像代表品質特性係数記憶部１５Ａは、符号化レート１４Ｂから映像代表品質２２を推定する映像代表品質推定モデルを特定するための映像代表品質特性係数を、特性係数特定パラメータ１４Ｃの値に対応して予め記憶する機能と、入力された特性係数特定パラメータ１４Ｃに対応する映像代表品質特性係数を読み出して映像代表品質推定部１６Ｂへ出力する機能とを有している。

映像最大差分品質特性係数記憶部１５Ｂは、符号化レート１４Ｂから映像最大差分品質２３を推定する映像最大差分品質推定モデルを特定するための映像最大差分品質特性係数を、特性係数特定パラメータ１４Ｃの値に対応して予め記憶する機能と、入力された特性係数特定パラメータ１４Ｃに対応する映像最大差分品質特性係数を読み出して映像最大差分品質推定部１６Ｃへ出力する機能とを有している。

代表Ｉフレーム情報量特性係数記憶部１５Ｃは、符号化レート１４Ｂから代表Ｉフレーム情報量２４を推定する代表Ｉフレーム情報量推定モデルを特定するための代表Ｉフレーム情報量特性係数を、特性係数特定パラメータ１４Ｃの値に対応して予め記憶する機能と、入力された特性係数特定パラメータ１４Ｃに対応する代表Ｉフレーム情報量特性係数を読み出して代表Ｉフレーム情報量推定部１６Ｄへ出力する機能とを有している。

映像差分品質特性係数記憶部１５Ｄは、映像差分品質２６を推定する映像差分品質推定モデルを映像最大差分品質２３と差分Ｉフレーム情報量２５から特定するための映像差分品質特性係数を、特性係数特定パラメータ１４Ｃの値に対応して予め記憶する機能と、映像最大差分品質２３と差分Ｉフレーム情報量２５とに対応する映像最分品質特性係数を読み出して映像差分品質算出部１６Ｆへ出力する機能とを有している。

図３は、特性係数特定パラメータと各種特性係数との関係を示す説明図である。図３の例では、特性係数特定パラメータ１４Ｃとして、ＣＯＤＥＣ（符号化方式）、映像フォーマット、サービス種別が用いられている。ＣＯＤＥＣについては、Ｈ．２６４，Ｈ．２６３，Ｈ２６１，ＭＰＥＧ１，ＭＰＥＧ２，ＭＰＧ４などの値をとり、映像フォーマットについては、ＨＤ，ＳＤ，ＶＧＡ，ＱＶＧＡ，ＣＩＦ，ＱＣＩＦなどの値をとり、サービス種別については、ＩＰＴＶ，ＶｏＤ，ＴＶ電話、ＴＶ会議などの値をとる。

特性係数記憶部１５では、これら特性係数特定パラメータ１４Ｃの組合せごとに、映像代表品質特性係数（ｖ１〜ｖ３）、映像最大差分品質特性係数（ｖ４〜ｖ９）、代表Ｉフレーム情報量特性係数（ｔ１〜ｔ３）、および映像差分品質特性係数（ａ，ｂ）が予め対応付けられて、それぞれ映像代表品質特性係数記憶部１５Ａ、映像最大差分品質特性係数記憶部１５Ｂ、代表Ｉフレーム情報量特性係数記憶部１５Ｃ、および映像差分品質特性係数記憶部１５Ｄに予め格納されている。

演算処理部１６は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部１４のプログラム１４Ｐを読み込んで実行することにより、上記ハードウェアとプログラム１４Ｐとを協働させて映像品質推定処理に用いる各種処理部を実現する機能を有している。
演算処理部１６で実現される主な処理部として、パケット分析部１６Ａ、映像代表品質推定部１６Ｂ、映像最大差分品質推定部１６Ｃ、代表Ｉフレーム情報量推定部１６Ｄ、差分Ｉフレーム情報量算出部１６Ｅ、映像差分品質算出部１６Ｆ、および映像個別品質算出部１６Ｇが設けられている。このうち、映像最大差分品質推定部１６Ｃ、代表Ｉフレーム情報量推定部１６Ｄ、差分Ｉフレーム情報量算出部１６Ｅ、および映像差分品質算出部１６Ｆにより、映像差分品質推定部１７が構成されている。

パケット分析部１６Ａは、入力された対象映像通信に関するパケットを分析して、個別Ｉフレーム情報量１４Ａおよび符号化レート１４Ｂを抽出し、記憶部１４へ保存する機能を有している。

映像代表品質推定部１６Ｂは、特性係数特定パラメータ１４Ｃに応じて映像代表品質特性係数記憶部１５Ａから読み出された映像代表品質特性係数により映像代表品質推定モデルを導出する機能と、この映像代表品質推定モデルから記憶部１４の符号化レート１４Ｂに対応する映像代表品質２２を推定する機能とを有している。

映像最大差分品質推定部１６Ｃは、特性係数特定パラメータ１４Ｃに応じて映像最大差分品質特性係数記憶部１５Ｂから読み出された映像最大差分品質特性係数により映像最大差分品質推定モデルを導出する機能と、この映像最大差分品質推定モデルから記憶部１４の符号化レート１４Ｂに対応する映像最大差分品質２３を推定する機能とを有している。

代表Ｉフレーム情報量推定部１６Ｄは、特性係数特定パラメータ１４Ｃに応じて代表Ｉフレーム情報量特性係数記憶部１５Ｃから読み出された代表Ｉフレーム情報量特性係数により代表Ｉフレーム情報量推定モデルを導出する機能と、この代表Ｉフレーム情報量推定モデルから記憶部１４の符号化レート１４Ｂに対応する代表Ｉフレーム情報量２４を推定する機能とを有している。

差分Ｉフレーム情報量算出部１６Ｅは、代表Ｉフレーム情報量推定部１６Ｄで推定された代表Ｉフレーム情報量２４と記憶部１４の個別Ｉフレーム情報量１４Ａとから、差分Ｉフレーム情報量２５を算出する機能を有している。

映像差分品質算出部１６Ｆは、特性係数特定パラメータ１４Ｃに応じて映像差分品質特性係数記憶部１５Ｄから読み出された映像差分品質特性係数により映像差分品質推定モデルを導出する機能と、この映像差分品質推定モデルから、映像最大差分品質推定部１６Ｃで推定された映像最大差分品質２３と差分Ｉフレーム情報量算出部１６Ｅで算出された差分Ｉフレーム情報量２５とに対応する映像差分品質２６を推定する機能とを有している。

映像個別品質算出部１６Ｇは、映像代表品質推定部１６Ｂで推定された映像代表品質２２と映像差分品質算出部１６Ｆで推定された映像差分品質２６とから映像個別品質２７を算出する機能を有している。

［映像品質推定装置の動作］
次に、図２〜図４を参照して、本発明の一実施の形態にかかる映像品質推定装置の動作について説明する。図４は、本発明の一実施の形態にかかる映像品質推定装置の映像個別品質推定処理を示すフローチャートである。

まず、以下の説明で用いる各種データの定義について説明する。
映像個別品質２７（Ｖｑ_in）は、個々の映像通信に対する個別の映像品質のことを指し、映像品質推定装置１は、入力された対象映像通信に関するパケットに基づいて、この映像個別品質２７を推定する。一方、映像代表品質２２（Ｖｑ_rep）は、無限に存在する映像集合の中にある任意の映像部分集合の平均により定義される映像品質である。実際には、これら映像個別品質２７および映像代表品質２２は、受信側の通信端末２Ｂで復号されて再生された映像から視聴者が実感する主観映像品質からなる。

映像差分品質２６（ΔＩｃ_±）は、映像代表品質２２と映像個別品質２７との差で定義される値である。但し、映像差分品質２６は、正負の値をとる。
映像最大差分品質２３（ΔＩｃ_Max±）は、映像代表品質２２と映像個別品質２７との差が最大となる差分品質で定義される値であり、例えば、映像代表品質２２と任意の映像Ａの映像個別品質２７との差が最大であるとすると、この値を映像最大差分品質と定義する。但し、映像最大差分品質２３は、正負の値をとる。

個別Ｉフレーム情報量１４Ａ（ＴＳ_Iin）は、ある品質推定区間（例えば、１０秒間、１００秒間など）において、対象映像のＩＰパケットからＩフレームのＴＳパケット数（ビットレートに換算したものでもよい）をカウントし、区間内のＩフレーム数で割った値、つまり、単位Ｉフレーム当たりのＴＳパケット数で定義される。なお、ＴＳ（Transport Stream）パケットとは、映像信号をＭＰＥＧ−２規格に基づき圧縮符号化して生成したＴＳストリームを固定長で分割して生成したものである。この際、各フレームは、１つ以上のＴＳパケットで個々のフレームが構成されることになり、単位Ｉフレーム当たりに含まれるＴＳパケット数が多いほど、Ｉフレームに含まれる情報量が多く、より精細に表現されていることが分かる。

代表Ｉフレーム情報量２４（ＴＳ_Irep）は、上記品質推定区間おいて、上記映像部分集合の各映像のＩＰパケットから計算した単位Ｉフレーム当たりのＴＳパケット数を、これら映像で平均して得られる代表値で定義される。
差分Ｉフレーム情報量２５（ΔＴＳ_I）は、個別Ｉフレーム情報量１４Ａと代表Ｉフレーム情報量２４との差分値で定義される。

次に、図２〜図４を参照して、映像品質推定装置１の映像個別品質推定処理について詳細に説明する。
映像品質推定装置１の演算処理部１６は、操作入力部１１により検出されたオペレータの処理開始指示に応じて、図２および図４の映像個別品質推定処理を開始する。

まず、演算処理部１６は、ＩＰネットワーク３から通信Ｉ／Ｆ部１３により受信した映像通信に用いるＩＰパケットを、パケット分析部１６Ａにより分析する。このＩＰパケット内には、ＩＰヘッダ、ＴＳ（Transport stream）パケット、ＥＳ（Elementary Stream）などが含まれている。
パケット分析部１６Ａは、これら入力ＩＰパケットから、個別Ｉフレーム情報量１４Ａおよび符号化レート１４Ｂを抽出し、記憶部１４へ保存する（ステップ１００）。

次に、演算処理部１６は、映像代表品質推定部１６Ｂにより、記憶部１４に予め保存されている特性係数特定パラメータ１４Ｃに応じて映像代表品質特性係数記憶部１５Ａから映像代表品質特性係数（ｖ₁〜ｖ₃）を読み出し、これら映像代表品質特性係数に基づいて映像代表品質推定モデルを導出する（ステップ１０１）。映像代表品質推定部１６Ｂは、この映像代表品質推定モデルから、記憶部１４の符号化レート１４Ｂに対応する映像代表品質２２を推定する（ステップ１０２）。

図５は、映像代表品質と符号化レートとの関係を示すグラフである。通常、映像代表品質２２は、符号化レートの増加（減少）に従い、ある最大（最小）品質に漸近するという特性を有している。映像代表品質推定モデルは、この特性を利用して近似できる。映像代表品質特性値（映像代表品質から１を引いた値）をＩｃ_repとし、符号化レートをＢｒとした場合、映像代表品質Ｖｑ_repは、次の関数式（１）で表される。映像代表品質特性係数ｖ₁〜ｖ₃は定数である。

次に、演算処理部１６は、映像最大差分品質推定部１６Ｃにより、記憶部１４の特性係数特定パラメータ１４Ｃに応じて映像最大差分品質特性係数記憶部１５Ｂから映像最大差分品質特性係数（ｖ₄〜ｖ₉）を読み出し、これら映像最大差分品質特性係数により映像最大差分品質推定モデルを導出する（ステップ１０３）。映像最大差分品質推定部１６Ｃは、この映像最大差分品質推定モデルから、記憶部１４の符号化レート１４Ｂに対応する映像最大差分品質２３を推定する（ステップ１０４）。

図６は、映像最大差分品質と符号化レートの対数値との関係を示すグラフである。差分Ｉフレーム情報量２５が０より大きい場合、映像最大差分品質２３は、符号化レートの増加に伴って増加し、符号化パラメータのさらなる増加に伴って映像最大差分品質が減少する特性を有している。また、差分Ｉフレーム情報量２５が０より小さい場合、映像最大差分品質２３は、符号化レートの増加に伴って減少し、符号化パラメータのさらなる増加に伴って映像最大差分品質が増加する特性を有している。映像最大差分品質推定モデルは、この特性を利用して近似できる。符号化レートをＢｒとした場合、差分Ｉフレーム情報量ΔＩｃ_Max±は、次の関数式（２）で表される。但し、差分Ｉフレーム情報量２５（ΔＴＳ_I）の正負に応じて、関数式ΔＩｃ_Max+，ΔＩｃ_Max-は切り替えられる。映像最大差分品質特性係数（ｖ₄〜ｖ₉）は定数である。

次に、演算処理部１６は、代表Ｉフレーム情報量推定部１６Ｄにより、記憶部１４の特性係数特定パラメータ１４Ｃに応じて代表Ｉフレーム情報量特性係数記憶部１５Ｃから代表Ｉフレーム情報量特性係数（ｔ₁〜ｔ₃）を読み出し、これら代表Ｉフレーム情報量特性係数により代表Ｉフレーム情報量推定モデルを導出する（ステップ１０５）。代表Ｉフレーム情報量推定部１６Ｄは、この代表Ｉフレーム情報量推定モデルから、記憶部１４の符号化レート１４Ｂに対応する代表Ｉフレーム情報量２４を推定する（ステップ１０６）。

図７は、代表Ｉフレーム情報量と符号化レートとの関係を示すグラフである。通常、代表Ｉフレーム情報量２４は、符号化レートの増加に伴って増加する特性を有している。代表Ｉフレーム情報量推定モデルは、この特性を利用して例えば指数関数で近似できる。符号化レートをＢｒとした場合、代表Ｉフレーム情報量ＴＳ_Irepは、次の関数式（３）で表される。代表Ｉフレーム情報量特性係数（ｔ₁〜ｔ₃）は定数である。

次に、演算処理部１６は、差分Ｉフレーム情報量算出部１６Ｅにより、代表Ｉフレーム情報量推定部１６Ｄで推定された代表Ｉフレーム情報量２４と記憶部１４の個別Ｉフレーム情報量１４Ａとの差から、差分Ｉフレーム情報量２５を算出する（ステップ１０７）。代表Ｉフレーム情報量をＴＳ_Irepとし、個別Ｉフレーム情報量をＴＳ_Iinとした場合、差分Ｉフレーム情報量ΔＴＳ_Iは、次の式（４）に基づいて算出される。

次に、演算処理部１６は、映像差分品質算出部１６Ｆにより、記憶部１４の特性係数特定パラメータ１４Ｃに応じて映像差分品質特性係数記憶部１５Ｄから映像差分品質特性係数（ａ，ｂ）を読み出し、これら映像差分品質特性係数により映像差分品質推定モデルを導出する（ステップ１０８）。映像差分品質算出部１６Ｆは、この映像差分品質推定モデルから、映像最大差分品質推定部１６Ｃで推定された映像最大差分品質２３と差分Ｉフレーム情報量算出部１６Ｅで算出された差分Ｉフレーム情報量２５とに対応する映像差分品質２６を推定する（ステップ１０９）。

図８は、映像差分品質とΔＴＳ_I・ΔＩｃ_Max±との関係を示すグラフである。通常、映像差分品質２６は、映像最大差分品質２３と差分Ｉフレーム情報量２５との積と相関が高いという特性を有している。映像差分品質推定モデルは、この特性を利用して例えば線形関数で近似できる。差分Ｉフレーム情報量をΔＴＳ_Iとした場合、映像差分品質ΔＩｃ_±は、次の関数式（５）で表される。映像差分品質特性係数（ａ，ｂ）は定数である。但し、ΔＩｃ_Max+，ΔＩｃ_Max-に応じてΔＩｃ₊，ΔＩｃ_-は切り替えられる。

次に、演算処理部１６は、映像個別品質算出部１６Ｇにより、映像代表品質推定部１６Ｂで推定された映像代表品質２２と映像差分品質算出部１６Ｆで推定された映像差分品質２６との和から映像個別品質２７を算出する（ステップ１１０）。映像代表品質をＶｑ_repとし、映像差分品質をΔＩｃ_±とし、映像代表品質特性値（映像代表品質から１を引いた値）をＩｃ_repとした場合、映像個別品質Ｖｑ_inは次の式（６）で表される。

映像個別品質算出部１６Ｇは、算出した映像個別品質２７を記憶部１４に保存し、あるいは画面表示部１２へ画面表示し、あるいは通信Ｉ／Ｆ部１３から外部装置（図示せず）へ送信した後、一連の映像個別品質推定処理を終了する。

図９は、従来の映像品質推定方法による推定結果を示すグラフである。図１０は、本実施の形態にかかる映像品質推定方法による推定結果を示すグラフである。これらいずれのグラフも、映像の動き量やフレーム単位の精細度が、平均的な映像とは異なるような映像の映像通信について、実際のオピニオン評価により得た主観評価値Ｖｑｓ（縦軸）と映像品質推定方法で推定した映像個別品質２７である推定評価値Ｖｑｅ（横軸）とを示している。

これらグラフでは、個々の映像通信に関するデータが、原点を通る傾き４５度の直線に近いほど、主観評価値と推定評価値の差、すなわち推定誤差が小さく精度が高いことを表す。
図９では、ほぼ同一の推定評価値に対して主観評価値が大きくばらついている領域があるのに対して、図１０では、原点を通る傾き４５度の直線に沿って各データが分布しており、本実施の形態にかかる映像品質推定方法により、映像の動き量やフレーム単位の精細度が、平均的な映像とは異なるような映像の映像通信についても、映像品質の推定誤差を低減されていることがわかる。

［本実施の形態の効果］
このように、本実施の形態では、映像代表品質推定部１６Ｂにより、複数の映像の映像品質を平均化して得られた映像代表品質を推定する映像代表品質推定モデルから、当該映像通信の品質パラメータに対応する映像代表品質を推定し、映像差分品質推定部１７により、映像代表品質と当該映像の映像個別品質との差に相当する映像差分品質を推定する映像差分品質推定モデルから、当該映像通信の品質パラメータと個別Ｉフレーム情報量とに対応する映像差分品質を推定し、映像個別品質算出部１６Ｇにより、映像代表品質と映像差分品質とから当該映像通信の映像個別品質を算出するようにしたので、対象となる映像通信の個別Ｉフレーム情報量を考慮した映像品質を推定することができる。

特に、ＭＰＥＧ−２などの圧縮符号化方式では、動き量の多い映像の場合にはＩフレームの符号量を減らしフレーム間予測方式のＢフレームやＰフレームについて符号量を増配しようとする特徴と、精細度が高い映像の場合には、ＢフレームやＰフレームの符号量を減らしフレーム内予測方式のＩフレームについて符号量を増やす特徴がある。
本実施の形態では、映像の動き量やフレーム単位の精細度に応じて個別Ｉフレーム情報量が変化するという特徴に着目し、対象となる映像通信の個別Ｉフレーム情報量を考慮して映像品質を推定している。

このため、映像の動き量やフレーム単位の精細度が、平均的な映像とは異なるような映像の映像通信についても、ＩＰパケットから抽出可能なパラメータに基づいて、誤差の少ない映像品質を推定することができる。
したがって、ネットワーク経由で行うＩＰＴＶサービス、映像配信サービス、映像コミュニケーションサービスなどの映像通信サービスを利用するユーザに対して、ある一定以上の映像品質を保っているかどうかを容易に判断することができる。これにより、上記サービスで用いる品質パラメータの設計や、提供中のサービスの品質実態を把握・管理することが可能となる。

また、本実施の形態では、映像通信のＩＰパケットから容易に抽出可能な個別Ｉフレーム情報量や符号化レートを用いて映像品質を推定するようにしたので、著作権保護の観点から映像メディアに関する情報が暗号化されているようなケースや、品質推定に要する計算能力が十分にないようなケースでも、誤差の少ない映像品質を推定することが可能となる。但し、暗号化されているケースで個別Ｉフレーム情報量を計算する際には、Ｉフレームを特定する必要がある。そのような場合には、例えば以下の非特許文献を参照してＩフレームを特定するようにしてもよく（牛木,他2名、「ＴＳヘッダ情報を用いた映像フレーム種別推定法の有効性検証」、信学技報, vol.107, no.312, CQ2007-74, pp.15-19）、他の方法で特定してもよい。

また、本実施の形態では、映像差分品質算出部１７として、個別Ｉフレーム情報量と複数の映像から得られた単位Ｉフレーム数当たりの情報量の平均値を示す代表Ｉフレーム情報量との差から差分Ｉフレーム情報量を算出する差分Ｉフレーム情報量算出部１６Ｅと、映像代表品質と映像個別品質との差分の最大値を示す映像最大差分品質を推定する映像最大差分品質推定モデルから、品質パラメータに対応する映像最大差分品質を推定する映像最大差分品質推定部１６Ｃと、映像差分品質推定モデルから、当該映像通信の映像差分品質と差分Ｉフレーム情報量とに対応する映像個別品質を算出する映像差分品質算出部１６Ｆとが設けられている。これにより、対象となる映像通信の品質パラメータを考慮して、高い精度で映像最大差分品質を推定でき、結果として、個別Ｉフレーム情報量を考慮した映像差分品質を精度よく推定することが可能となる。

また、本実施の形態では、代表Ｉフレーム情報量推定部１６Ｄにより、代表Ｉフレーム情報量と品質パラメータとの関係を示す代表Ｉフレーム情報量推定モデルから、品質パラメータに対応する代表Ｉフレーム情報量を推定している。これにより、対象となる映像通信の品質パラメータを考慮して、高い精度で代表Ｉフレーム情報量を推定でき、結果として、個別Ｉフレーム情報量を考慮した映像差分品質を精度よく推定することが可能となる。

［実施の形態の拡張］
以上の説明では、映像差分品質推定モデルから映像差分品質２６を推定する際、対象となる映像通信の個別Ｉフレーム情報量と符号化レートとに基づいて、推定・算出した映像最大差分品質２３、代表Ｉフレーム情報量２４、および差分Ｉフレーム情報量２５からなる中間パラメータを用いて映像差分品質２６を推定する場合を例として説明したが、これに限定されるものではない。例えば、対象となる映像通信の個別Ｉフレーム情報量と符号化レートとに基づいて、他の中間パラメータを介して映像差分品質２６を推定してもよい。あるいは、対象となる映像通信の個別Ｉフレーム情報量と符号化レートとに基づいて、直接、映像差分品質２６を推定するモデルを作成してもよい。

また、映像代表品質推定モデル、映像最大差分品質推定モデル、代表Ｉフレーム情報量推定モデル、および映像差分品質推定モデルについては、複数の映像通信から個々の特性を予め計測して、得られた計測データに対して例えば最小二乗法による収束演算を行うことにより、それぞれのモデルを作成すればよい。また、これらモデルは、関数式を用いて実現した場合を例として説明したが、例えばニューラルネットワークや事例ベースなど、入出力特性のみが特定されるようなブラックボックスモデルを用いて実現してもよい。また、対象となる映像が特定のものに限定される場合、あるいはある程度の推定誤差が許容される場合、例えば映像代表品質２２、映像最大差分品質２３、あるいは代表Ｉフレーム情報量２４として、固定値を用いてもよい。

また、以上では、対象映像通信の品質パラメータとして符号化レート１４Ｂを用いた場合を例として説明したが、これに限定されるものではなく、例えば、フレームレートなどの他の品質パラメータを用いてもよい。この際、前述したように、当該品質パラメータを用いたモデルを予め作成しておけばよい。また、品質パラメータは１つではなく、複数の品質パラメータを同時に使用してもよく、中間パラメータごとに任意の品質パラメータを用いて推定するようにしてもよい。

本発明の一実施の形態にかかる映像品質推定装置の構成を示すブロック図である。 本発明の一実施の形態にかかる映像品質推定装置の動作フローを示す説明図である。 特性係数特定パラメータと各種特性係数との関係を示す説明図である。 本発明の一実施の形態にかかる映像品質推定装置の映像個別品質推定処理を示すフローチャートである。 映像代表品質と符号化レートとの関係を示すグラフである。 映像最大差分品質と符号化レートの対数値との関係を示すグラフである。 代表Ｉフレーム情報量と符号化レートとの関係を示すグラフである。 映像差分品質とΔＴＳ_I・ΔＩｃ_Max±との関係を示すグラフである。 従来の映像品質推定方法による推定結果を示すグラフである。 本実施の形態にかかる映像品質推定方法による推定結果を示すグラフである。 ＩＴＵ−Ｔ勧告Ｇ．１０７０で用いる品質推定モデルの品質推定精度を示す説明図である。

符号の説明

１…映像品質推定装置、１１…操作入力部、１２…画面表示部、１３…通信Ｉ／Ｆ部、１４…記憶部、１４Ａ…個別Ｉフレーム情報量、１４Ｂ…符号化レート、１４Ｃ…特性係数特定パラメータ、１４Ｐ…プログラム、１５…特性係数記憶部、１５Ａ…映像代表品質特性係数記憶部、１５Ｂ…映像最大差分品質特性係数記憶部、１５Ｃ…代表Ｉフレーム情報量特性係数記憶部、１５Ｄ…映像差分品質特性係数記憶部、１６…演算処理部、１６Ａ…パケット分析部、１６Ｂ…映像代表品質推定部、１６Ｃ…映像最大差分品質推定部、１６Ｄ…代表Ｉフレーム情報量推定部、１６Ｅ…差分Ｉフレーム情報量算出部、１６Ｆ…映像差分品質算出部、１６Ｇ…映像個別品質算出部、１７…映像差分品質推定部、２Ａ，２Ｂ…通信端末、３…ＩＰネットワーク。

Claims (8)

1. Ｉフレームを含む複数のフレームに映像信号を圧縮符号化してパケットで送信する映像通信の映像品質を推定する映像品質推定装置であって、
   入力された前記パケットを分析して、当該映像通信の単位Ｉフレーム数当たりの情報量を示す個別Ｉフレーム情報量と、当該映像通信の映像品質に関する品質パラメータとを抽出するパケット分析部と、
   複数の映像の映像品質を平均化して得られた映像代表品質を推定する映像代表品質推定モデルから、当該映像通信の品質パラメータに対応する映像代表品質を推定する映像代表品質推定部と、
   前記映像代表品質と当該映像の映像個別品質との差に相当する映像差分品質を推定する映像差分品質推定モデルから、当該映像通信の個別Ｉフレーム情報量と品質パラメータとに対応する映像差分品質を推定する映像差分品質推定部と、
   前記映像代表品質と前記映像差分品質とから当該映像通信の映像個別品質を算出する映像個別品質算出部と
   を備えることを特徴とする映像品質推定装置。
2. 請求項１に記載の映像品質推定装置において、
   前記映像差分品質推定部は、
   前記個別Ｉフレーム情報量と複数の映像から得られた単位Ｉフレーム数当たりの情報量の平均値を示す代表Ｉフレーム情報量との差から差分Ｉフレーム情報量を算出する差分Ｉフレーム情報量算出部と、
   前記映像代表品質と前記映像個別品質との差分の最大値を示す映像最大差分品質を推定する映像最大差分品質推定モデルから、前記品質パラメータに対応する映像最大差分品質を推定する映像最大差分品質推定部と、
   前記映像差分品質推定モデルから、当該映像通信の映像差分品質と差分Ｉフレーム情報量とに対応する映像個別品質を算出する前記映像差分品質算出部と
   を備えることを特徴とする映像品質推定装置。
3. 請求項２に記載の映像品質推定装置において、
   前記映像差分品質推定部は、代表Ｉフレーム情報量と品質パラメータとの関係を示す代表Ｉフレーム情報量推定モデルから、前記品質パラメータに対応する代表Ｉフレーム情報量を推定する代表Ｉフレーム情報量推定部をさらに備えることを特徴とする映像品質推定装置。
4. 請求項３に記載の映像品質推定装置において、
   前記代表Ｉフレーム情報量推定モデルは、符号化レートからなる品質パラメータの増加に伴って代表Ｉフレーム情報量が増加する特性からなることを特徴とする映像品質推定装置。
5. 請求項２に記載の映像品質推定装置において、
   前記映像最大差分品質推定モデルは、符号化レートからなる品質パラメータの増加に伴って映像最大差分品質が増加（または減少）し、当該品質パラメータのさらなる増加に伴って映像最大差分品質が減少（または増加）する特性からなることを特徴とする映像品質推定装置。
6. 請求項２に記載の映像品質推定装置において、
   前記映像差分品質推定モデルは、差分Ｉフレーム情報量と映像最大差分品質との積の増加に伴って、映像差分品質が増加する特性からなることを特徴とする映像品質推定装置。
7. Ｉフレームを含む複数のフレームに映像信号を圧縮符号化してパケットで送信する映像通信の映像品質を推定する映像品質推定方法であって、
   入力された前記パケットを分析して、当該映像通信の単位Ｉフレーム数当たりの情報量を示す個別Ｉフレーム情報量と、当該映像通信の映像品質に関する品質パラメータとを抽出するパケット分析ステップと、
   複数の映像の映像品質を平均化して得られた映像代表品質を推定する映像代表品質推定モデルから、当該映像通信の品質パラメータに対応する映像代表品質を推定する映像代表品質推定ステップと、
   前記映像代表品質と当該映像の映像個別品質との差に相当する映像差分品質を推定する映像差分品質推定モデルから、当該映像通信の個別Ｉフレーム情報量と品質パラメータとに対応する映像差分品質を推定する映像差分品質推定ステップと、
   前記映像代表品質と前記映像差分品質とから当該映像通信の映像個別品質を算出する映像個別品質算出ステップと
   を備えることを特徴とする映像品質推定方法。
8. Ｉフレームを含む複数のフレームに映像信号を圧縮符号化してパケットで送信する映像通信の映像品質を推定する映像品質推定装置のコンピュータに、
   入力された前記パケットを分析して、当該映像通信の単位Ｉフレーム数当たりの情報量を示す個別Ｉフレーム情報量と、当該映像通信の映像品質に関する品質パラメータとを抽出するパケット分析ステップと、
   複数の映像の映像品質を平均化して得られた映像代表品質を推定する映像代表品質推定モデルから、当該映像通信の品質パラメータに対応する映像代表品質を推定する映像代表品質推定ステップと、
   前記映像代表品質と当該映像の映像個別品質との差に相当する映像差分品質を推定する映像差分品質推定モデルから、当該映像通信の個別Ｉフレーム情報量と品質パラメータとに対応する映像差分品質を推定する映像差分品質推定ステップと、
   前記映像代表品質と前記映像差分品質とから当該映像通信の映像個別品質を算出する映像個別品質算出ステップと
   を実行させるプログラム。

Images