JP4733049B2 - 映像品質客観評価装置、評価方法およびプログラム - Google Patents

Description

本発明は、人間が映像を見てその品質を評価する主観評価品質試験を行うことなく、映像信号または映像ファイルの物理的特徴量の測定から人間が見たときに感じる主観品質を推定する映像品質客観評価装置、評価方法およびプログラムに関するものである。

従来の映像提供サービスは、放送のように伝送時のエラーが少ない電波等の媒体を使って映像を提供するものやテープなどの媒体を使って映像を提供するものであった。そのため、基準映像と劣化映像とを比較して、主観評価と同等の精度で映像品質の客観評価値を導出する客観評価技術は、主に符号化歪を対象に適切な評価値が出せるように検討されてきた。

よって、従来の客観評価技術として、符号化歪による劣化が空間的、時間的に比較的均一であることを利用して、「映像毎の補正係数」や「ＳＮ」あるいは「Ｓｏｂｅｌフィルタを適用した劣化量」を用いてフレーム全体の劣化の平均値や時間方向の劣化の平均値を導出することにより、主観評価と同等の精度で主観品質を推定するような技術が提案されている（例えば、特開２００４−８０１７７号公報、米国特許第５４４６４９２号明細書、米国特許第６７０４４５１号明細書参照）。

また、岡本淳，吉村憲子，高橋玲，「映像品質客観評価技術の適用法に関する一検討」，電子情報通信学会２００２年通信ソサイエティ大会講演論文集２，ｎｏ．Ｂ−１１−１４，２００２年９月，ｐ．４２８、岡本淳，栗田孝昭，「入力映像の特徴量を考慮した映像品質客観評価法の検討」，信学技報，Ｖｏｌ．１０３，Ｎｏ．２８９，ＣＱ２００３−５２，２００３年９月，ｐ．６１−６６に開示された技術によれば、目標とする精度で主観評価値を推定できることが述べられている。

近年、通信ネットワークを使う映像提供サービスが普及し始めている。この通信ネットワークにおいては、パケット損失や遅延ゆらぎなどが発生することも多く、このようなネットワークの品質劣化現象によって、空間的（１フレーム内）に局所的な映像劣化や時間的に程度が変動する映像劣化が発生する。このような映像劣化現象は、映像品質に与える影響が大きく、今まで発生しなかった劣化現象であるため、従来の評価技術では映像品質を精度良く評価することができないという問題点があった。

本発明は、上記課題を解決するためになされたもので、劣化が時間・空間方向に局所的に発生しているような映像の場合でも、映像の主観品質を推定することができる映像品質客観評価装置、評価方法およびプログラムを提供することを目的とする。

本発明は、評価対象となる劣化映像信号とこの劣化映像信号の劣化前の信号である基準映像信号とから、前記劣化映像信号に生じた劣化の特徴量である時空間特徴量を導出する時空間特徴量導出部と、予め得られている劣化映像とユーザの主観評価値との関係に基づいて前記時空間特徴量に重み付けを行うことにより前記劣化映像信号についての主観品質を推定する主観品質推定部とを備え、前記時空間特徴量導出部は、前記劣化映像信号の評価対象フレームに生じた劣化の空間的な局所性を考慮した空間特徴量を導出する第１の導出手段と、前記劣化映像信号の評価対象フレームに生じた劣化の時間特徴量を導出する第２の導出手段と、前記空間特徴量と時間特徴量とを用いて、前記評価対象フレームに生じた劣化の空間的な局所性と時間軸上の局所性とを考慮した前記時空間特徴量を導出する第３の導出手段とを備え、前記第３の導出手段は、前記空間特徴量と時間特徴量の各々を劣化量とし、時間軸上の局所的な劣化量と、時間軸上に局所的な劣化が生じていない場合の平均劣化量と、予め得られている劣化量とユーザの主観評価値との関係に基づいて、前記時空間特徴量を前記空間特徴量と時間特徴量の各々について導出することを特徴とするものである。

本発明によれば、評価対象となる劣化映像信号とこの劣化映像信号の劣化前の信号である基準映像信号とから、劣化映像信号に生じた劣化の特徴量である時空間特徴量を導出する時空間特徴量導出部と、予め得られている劣化映像とユーザの主観評価値との関係に基づいて時空間特徴量に重み付けを行うことにより、劣化映像信号についての主観品質を推定する主観品質推定部とを設けることにより、例えば通信ネットワーク上のパケット損失などに起因する劣化が時間・空間方向に局所的に発生しているような映像の場合でも、映像の主観品質を推定することができ、従来の主観評価技術を本発明の映像品質客観評価装置に置き換えることにより、主観評価を行うのに必要とした多大な労力と時間を必要としなくなる。

また、本発明では、時空間特徴量導出部に、劣化映像信号の評価対象フレームに生じた劣化の空間的な局所性を考慮した空間特徴量を導出する第１の導出手段を設けることにより、劣化の空間的な局所性を考慮した品質評価を行うことができ、主観評価値の推定精度を高めることができる。

また、本発明では、時空間特徴量導出部に、劣化映像信号の評価対象フレームに生じた劣化の時間特徴量を導出する第２の導出手段と、空間特徴量と時間特徴量とを用いて、評価対象フレームに生じた劣化の時間軸上の局所性を考慮した時空間特徴量を導出する第３の導出手段を設けることにより、劣化の時間軸上の局所性を考慮した品質評価を行うことができ、主観評価値の推定精度を高めることができる。

図１は、空間内で局所的に劣化が発生した映像の１例を示す図である。 図２は、映像のフレーム番号と映像の劣化量との関係の１例を示す図である。 図３は、本発明の第１の実施例となる映像品質客観評価装置の構成を示すブロック図である。 図４は、本発明の第１の実施例の映像品質客観評価装置の動作を示すフローチャートである。 図５は、本発明の第１の実施例において空間内の局所的映像劣化を考慮した空間特徴量の導出方法を示すフローチャートである。 図６は、本発明の第１の実施例におけるブロック毎の劣化量のヒストグラムを示す図である。 図７は、本発明の第１の実施例における時間軸上の局所的映像劣化の捉え方を説明するための図である。 図８は、本発明の第１の実施例において時間軸上の局所的映像劣化を考慮した時空間特徴量の導出方法を示すフローチャートである。 図９は、本発明の第１の実施例の時空間特徴量の導出における単位測定期間の設定の１例を示す図である。 図１０は、本発明の第１の実施例の時空間特徴量の導出における単位測定期間の設定の他の例を示す図である。 図１１は、定常平均劣化量と、局所的映像劣化の劣化変動量及び継続時間を示す図である。 図１２は、本発明の第１の実施例における局所劣化判別閾値の導出関数を示す図である。 図１３は、本発明の第１の実施例における劣化強度データベースのテーブルの構成を示す図である。 図１４は、本発明の第１の実施例における劣化強度の合計方法を説明するための図である。 図１５は、本発明の第１の実施例における第１の劣化量足し合わせテーブルの構成を示す図である。 図１６は、本発明の第１の実施例における第２の劣化量足し合わせテーブルの構成を示す図である。 図１７は、空間内で局所的に劣化が発生した映像の他の例を示す図である。 図１８は、本発明の第２の実施例において空間内の局所的映像劣化を考慮した空間特徴量の導出方法を示すフローチャートである。 図１９は、動きベクトルを説明するための図である。 図２０は、本発明の第２の実施例において局所的映像劣化の動きの速さに対する重み付け係数を示す図である。 図２１は、本発明の第２の実施例において局所的映像劣化の注目レベルに対する重み付け係数を示す図である。

［第１の実施例］
パケット損失や遅延ゆらぎなど通信ネットワークの品質劣化による映像劣化は、空間内で局所的に発生したり、時間軸上で局所的に発生したりする特徴がある。
図１は、空間内で局所的に劣化が発生した映像の１例を示す図である。通信ネットワークのパケット損失や符号誤りによる映像劣化は、映像の動きのある領域を中心として局所的に生じるため、空間的な局所性を考慮する必要がある。図１のＰ₁は、劣化発生箇所である。

そこで、本発明では、空間内の局所的映像劣化については、フレーム単位での基準映像と劣化映像との差分に基づく劣化量と、局所的劣化が発生している領域単位での基準映像と劣化映像との差分に基づく劣化量とに対して、実際の劣化映像と主観評価値との関係から予め求めておいた重み付けを行うことにより、主観評価値を推定する。これにより、主観評価値の推定精度を高める。

図２は、時間軸上で局所的に発生した映像劣化の１例を示す図であり、映像のフレーム番号と映像の劣化量との関係の１例を示す図である。通信ネットワークにパケット損失や符号誤りが発生すると、コマ飛びにより突然発生する１フレームフリーズの劣化（図２のＪ）や、次のＩ（Intra ）フレームがデコードされるまで発生し続ける劣化（図２のＫ）等の程度の大きい局所的映像劣化が生じる。

このような時間軸上の局所的映像劣化については、局所的劣化が発生しなかったときの劣化量と、局所的劣化が発生したときの劣化量の増分（劣化変動量）及び継続時間とに対して、予め求めておいた主観評価特性を考慮して重み付けを行うことにより、主観評価値を推定する。これにより、主観評価値の推定精度を高める。

図３は、本発明の第１の実施例となる映像品質客観評価装置の構成を示すブロック図である。以下に動作の概要を説明する。図３の映像品質客観評価装置では、図示しない評価対象系（例えばコーデックなど）から出力された評価対象となる劣化映像信号ＰＩと図示しない記憶装置に予め登録された、前記劣化映像信号ＰＩの劣化前の信号である基準映像信号ＲＩとを用いる。

アライメント部１１は、フレーム表示間隔やフォーマットを合わせた状態で基準映像信号ＲＩと劣化映像信号ＰＩより両者の時間や位置が一致するところを探し出し、時間と位置が一致した状態の基準映像信号ＲＩと劣化映像信号ＰＩを時空間特徴量導出部１２に出力する。

時空間特徴量導出部１２は、アライメント部１１において調整された基準映像信号ＲＩと劣化映像信号ＰＩとを用い、必要に応じて劣化強度データベース（以下、劣化強度ＤＢと略する）１３を参照することにより、劣化の物理的特徴量である時空間特徴量ＰＣを導出して主観品質推定部１４に渡す。時空間特徴量導出部１２は、劣化映像信号ＰＩの評価対象フレームに生じた劣化の空間特徴量を導出する第１の導出手段１２１と、劣化映像信号ＰＩの評価対象フレームに生じた劣化の時間特徴量を導出する第２の導出手段１２２と、空間特徴量と時間特徴量とを用いて時空間特徴量ＰＣを導出する第３の導出手段１２３とを有する。

主観品質推定部１４は、時空間特徴量導出部１２から受け取った時空間特徴量ＰＣに対して、劣化映像に対するユーザの主観評価値とその劣化映像の時空間特徴量との対応関係から予め求められた客観評価値導出関数によって重み付け演算を行うことにより、客観評価値を導出する。

以下、図３の各部の動作の詳細を説明する。図４は、図３の映像品質客観評価装置の動作を示すフローチャートである。
アライメント部１１は、劣化映像信号ＰＩと基準映像信号ＲＩのフレーム表示間隔とフォーマットを合わせた上で、基準映像信号ＲＩをフレーム単位で時間方向に検索することにより、劣化映像信号ＰＩと同一フレームの基準映像信号ＲＩを探索し、さらに探索した基準映像信号ＲＩを上下左右方向に動かすことにより、劣化映像信号ＰＩと基準映像信号ＲＩとが画素単位で最も等しくなるように調整した上で、調整した基準映像信号ＲＩと劣化映像信号ＰＩを時空間特徴量導出部１２に渡す（図４ステップＳ１）。

時空間特徴量導出部１２は、アライメント部１１から受け取った基準映像信号ＲＩと劣化映像信号ＰＩに対して以下で述べるような処理を行い、複数の時空間特徴量ＰＣを導出して主観品質推定部１４に渡す（ステップＳ２）。
まず、評価対象フレーム内に生じる空間内の局所的映像劣化を考慮した空間特徴量ＤＳの導出方法の詳細を説明する。図５は、空間特徴量ＤＳの導出方法を示すフローチャートである。

時空間特徴量導出部１２の第１の導出手段１２１は、アライメント部１１から受け取った基準映像信号ＲＩと劣化映像信号ＰＩとから評価対象フレームを分割したブロック毎の劣化量Ｓを算出して記憶する（図５ステップＳ１０）。劣化量Ｓとしては、信号対雑音比であるＰＳＮＲ（Peak Signal to Noise Ratio）やＡＮＳＩ（American National Standards Institute ）で規定されたＡｖｅｒａｇｅ Ｅｄｇｅ Ｅｎｅｒｇｙなどのパラメータが挙げられる。

続いて、第１の導出手段１２１は、算出したブロック毎の劣化量Ｓを評価対象フレーム全体で平均した値であるフレーム平均劣化量Ｘave＿allと、評価対象フレームのうち劣化強度が強い領域内で劣化量Ｓを平均した値である局所的劣化領域平均劣化量Ｘave＿badとを算出して記憶する（ステップＳ１１）。図６は、ブロック毎の劣化量Ｓのヒストグラムを示す図であり、横軸は劣化量Ｓ、縦軸は各劣化量Ｓが発生したブロックの個数を劣化量毎に累積したブロック数である。図６では、右方向にいくほど映像劣化が大きいものとする。局所的劣化領域平均劣化量Ｘave＿badは、所定の劣化強度範囲内（図６の斜線部）に含まれる劣化量Ｓを平均した値である。ここでは、全ブロック数のうち劣化量が大きい上位１０％のブロック数を所定の劣化強度範囲内とする。

次に、第１の導出手段１２１は、あらかじめ主観評価実験により求めておいた係数Ａ，Ｂを用いた次式を計算することにより、評価対象フレームにおける空間内の局所的映像劣化を考慮した空間特徴量ＤＳを算出して記憶する（ステップＳ１２）。
ＤＳ＝Ａ・Ｘave＿all＋Ｂ・Ｘave＿bad ・・・（１）
式（１）において、Ａは空間内に局所的な映像劣化が生じていない場合の主観評価特性により予め求められた係数、Ｂは空間内に局所的な映像劣化が生じている場合の主観評価特性により予め求められた係数である。

係数Ａ，Ｂを導出するためには、符号化劣化のみ発生している映像（空間内に局所的な映像劣化が生じていない映像）に対するユーザの主観評価特性、及び符号化劣化に加えてパケット損失等に起因する局所的劣化が発生している映像に対するユーザの主観評価特性に対して、これらの主観評価と空間特徴量ＤＳがより良く対応するように最適な値の組み合わせを決定すればよい。

時空間特徴量導出部１２は、以上の処理を時間の推移に合わせてフレーム毎に行う。なお、本実施例では、空間特徴量ＤＳの算出にフレーム平均劣化量Ｘave＿allと局所的劣化領域平均劣化量Ｘave＿badとを用いているが、その他に評価対象フレームの各種劣化量分布の統計量を使うことが考えられる。例えば、図６に示した評価対象フレームの劣化量分布において、各劣化量のうち発生頻度の多いところの面積やそのブロック数を空間特徴量ＤＳの算出に用いてもよいし、劣化量の標準偏差や分散値を用いてもよいし、さらには、フレーム平均劣化量Ｘave＿allと局所的劣化領域平均劣化量Ｘave＿badとの差分値を用いてもよい。また、これらの統計量を組み合わせて空間特徴量ＤＳを算出するようにしてもよい。

次に、時間軸上の局所的映像劣化を考慮した時空間特徴量ＰＣの詳細な導出方法を説明する。導出にあたっては、時間軸上の局所的映像劣化が発生しなかった場合の映像劣化の影響と時間軸上の局所的映像劣化の影響とを別個に評価し、最終的にその両者の劣化の影響を考慮して時空間特徴量ＰＣを導出する。すなわち、図７に示すように、局所劣化のみで単位測定期間ｕｔにおける劣化の影響を計算すると共に、単位測定期間ｕｔの平均劣化量Ｑ２の影響を計算し、両者の劣化の影響を考慮して時空間特徴量ＰＣを導出する。なお、単位測定期間ｕｔとフレームは、単位測定期間ｕｔ≧１フレーム期間の関係にある。図７のＱ１は局所劣化量である。

図８は、時空間特徴量ＰＣの導出方法を示すフローチャートである。まず、時空間特徴量導出部１２は、アライメント部１１から受け取った基準映像信号ＲＩと劣化映像信号ＰＩとから単位測定期間ｕｔ（フレームあるいは一定の測定間隔）毎に劣化量Ｃを算出して記憶する（図８ステップＳ２０）。

第２の導出手段１２２は、時間特徴量を導出する。この時間特徴量としては、フレームレート、フレームスキップ数、ＩＴＵ−Ｔ−１ＲｅｃＰ．９１０で規定されたＴＩ値、ＡＮＳＩで規定された特徴量などがある。そして、この第２の導出手段１２２が導出した時間特徴量を劣化量Ｃとして使うことができ、さらに第１の導出手段１２１で先に導出された空間特徴量ＤＳや空間特徴量ＤＳの導出時に利用した劣化量Ｓも劣化量Ｃとして使うことができる。なお、上述のような劣化量を用いて、予めフレーム毎の主観評価値として変換・推定した値（客観評価値）を劣化量Ｃとして用いても良い。

ステップＳ２０の処理の結果、時系列に計算された劣化量Ｃが導出されることになる。時空間特徴量導出部１２の第３の導出手段１２３は、劣化量Ｃから定常平均劣化量Ｄｃｏｎｓと、局所的映像劣化の劣化変動量ｄ及びその継続時間ｔを単位測定期間ｕｔ毎に算出して記憶する（図８ステップＳ２１）。なお、単位測定期間ｕｔは、図９に示すように互いに重なることなく設定してもよいし、図１０に示すように互いに重なるように設定してもよい。

図１１に、定常平均劣化量Ｄｃｏｎｓと、局所的映像劣化の劣化変動量ｄ及び継続時間ｔを示す。定常平均劣化量Ｄｃｏｎｓは、単位測定期間ｕｔにおいて局所的映像劣化発生時を除いた定常時の劣化量Ｃの平均値で、単位測定期間ｕｔ毎に算出される。なお、単位測定期間ｕｔの途中においては、直前の単位測定期間ｕｔで算出された定常平均劣化量Ｄｃｏｎｓが使用される。

局所的映像劣化の劣化変動量ｄは、局所的映像劣化量と定常平均劣化量Ｄｃｏｎｓとの差分値である。本実施例では、単位測定期間ｕｔにおいて定常平均劣化量Ｄｃｏｎｓとの差分値が局所劣化判別閾値以上になったときに局所的映像劣化が発生したと判断し、この差分値が局所劣化判別閾値以上になった最初の劣化量Ｃを局所的映像劣化量として、このときの定常平均劣化量Ｄｃｏｎｓとの差を劣化変動量ｄとする。

局所的映像劣化の継続時間ｔは、局所的映像劣化が発生したときに、劣化量Ｃと定常平均劣化量Ｄｃｏｎｓとの差分値が（ｄ−Δｖ）以上、（ｄ＋Δｖ）以下の範囲内にある時間である。Δｖは予め定められた許容変動範囲である。局所的映像劣化が発生したか否かを判断するための局所劣化判別閾値は、図１２に示すような局所劣化判別閾値導出関数から、現在の定常平均劣化量Ｄｃｏｎｓに対応する値が決定される。

局所劣化判別閾値導出関数を予め用意しておくためには、局所的映像劣化が発生している映像に対するユーザの主観評価特性を、定常平均劣化量Ｄｃｏｎｓを変化させながら調べ、ユーザが主観的に行った局所的映像劣化の判別と局所劣化判別閾値に基づく局所的映像劣化の判別とが良く対応するように、局所劣化判別閾値導出関数を決定して、第３の導出手段１２３に記憶させておけばよい。なお、局所的映像劣化は、単位測定期間ｕｔ内に複数回発生することがあるので、局所的映像劣化が発生する度に劣化変動量ｄと継続時間ｔの組を求めて保持することになる。

次に、第３の導出手段１２３は、ステップＳ２１で算出した劣化変動量ｄと継続時間ｔに基づいて劣化強度ＤＢ１３を参照し、単位測定期間ｕｔにおける劣化変動量ｄと継続時間ｔとがユーザの主観評価に与える影響を考慮した劣化強度Ｄを求めて記憶する（図８ステップＳ２２）。図１３に示すように、劣化強度ＤＢ１３には、継続時間ｔと劣化強度Ｄとの関係を示す継続時間−劣化強度曲線が登録された継続時間−劣化強度テーブル１３０が、各劣化変動量ｄ毎に予め用意されている。

第３の導出手段１２３は、このような劣化強度ＤＢ１３を参照して、劣化変動量ｄと継続時間ｔの組を劣化強度Ｄに変換する。なお、継続時間−劣化強度曲線は、局所的映像劣化が発生している映像に対するユーザの主観評価特性を、劣化変動量ｄと継続時間ｔを変化させながら調べ、ユーザの主観評価と劣化強度Ｄが良く対応するように決定すればよい。第３の導出手段１２３は、単位測定期間ｕｔ内で劣化変動量ｄと継続時間ｔの組が複数得られた場合には、各組毎にステップＳ２２の処理を行う。

続いて、第３の導出手段１２３は、劣化強度Ｄを単位測定期間ｕｔ毎に合計して、合計値を記憶する（図８ステップＳ２３）。劣化強度Ｄを合計するためには、ステップＳ２２で導出した劣化強度Ｄを単純に足してもよいが、ユーザの主観特性に合わせるため次の点を考慮する。すなわち、ユーザの主観評価は、映像中に強い局所的劣化と弱い局所的劣化の両方が存在すると、劣化強度の強い局所的劣化に影響される。また、ユーザの主観評価は、強度が同じ程度の局所的劣化が複数発生している場合、それらの劣化の合計値に影響される。

以上のような点を考慮して、図１４に示すように、単位測定期間ｕｔ内で発生した複数の局所劣化の劣化強度Ｄ１，Ｄ２，Ｄ３，・・・・，ＤＮ−１，ＤＮ を降順に並べ、劣化強度の小さい方から順番に図１５のような第１の劣化量足し合わせテーブル１２４を参照しながら足し合わせてゆく。第１の劣化量足し合わせテーブル１２４は、劣化強度ＤａとＤｂと合計劣化強度Ｄｓｕｍとを対応付けて記憶するものであり、第３の導出手段１２３内に予め用意されている。

図１４のステップ２０１で劣化強度Ｄ１，Ｄ２，Ｄ３，・・・・，ＤＮ−１，ＤＮ を降順に並べ直したものをＤ’１，Ｄ’２，Ｄ’３，・・・・，Ｄ’Ｎ−１，Ｄ’Ｎ とすると、初回の足し合わせでは、ステップ２０２に示すように、最小の劣化強度Ｄ’１ をＤａ、次に小さい劣化強度Ｄ’２ をＤｂとして、この劣化強度Ｄａ，Ｄｂを基に第１の劣化量足し合わせテーブル１２４を参照して、劣化強度Ｄａ，Ｄｂに対応する合計劣化強度Ｄｓｕｍを取得する（ステップ２０３）。

２回目以降の足し合わせでは、ステップ２０４に示すように、前回導出した合計劣化強度ＤｓｕｍをＤａ、足し合わせしていない未処理の劣化強度のうち最小の劣化強度をＤｂとして、第１の劣化量足し合わせテーブル１２４を参照し、劣化強度Ｄａ，Ｄｂに対応する合計劣化強度Ｄｓｕｍを取得する（ステップ２０５）。以下、劣化強度Ｄ’Ｎ までステップ２０４，２０５に示した処理を繰り返す。第３の導出手段１２３は、最終的に得られた合計劣化強度Ｄｓｕｍを単位測定期間ｕｔにおける劣化強度の合計値Ｄｐａｒｔとして記憶する。

なお、第１の劣化量足し合わせテーブル１２４は、局所的映像劣化が発生している映像に対するユーザの主観評価特性を、２つの劣化強度ＤａとＤｂを変化させながら調べ、ユーザの主観評価と合計劣化強度Ｄｓｕｍが良く対応するように決定されたものである。第１の劣化量足し合わせテーブル１２４によれば、劣化強度Ｄａよりも劣化強度Ｄｂが大きいときには、合計劣化強度Ｄｓｕｍは劣化強度Ｄｂに近い値となり、また劣化強度ＤａとＤｂが同程度の値のときには、合計劣化強度Ｄｓｕｍは劣化強度ＤａとＤｂの合計値に近い値となることが分かる。これにより、前述のように劣化強度Ｄの合計値をユーザの主観特性に合わせることができる。

次に、第３の導出手段１２３は、単位測定期間ｕｔにおける劣化強度の合計値Ｄｐａｒｔと定常平均劣化量Ｄｃｏｎｓに基づいて図１６のような第２の劣化量足し合わせテーブル１２５を参照することにより、時間軸上の局所的映像劣化を考慮した時空間特徴量ＰＣを取得して記憶する（図８ステップＳ２４）。

第２の劣化量足し合わせテーブル１２５は、劣化強度の合計値Ｄｐａｒｔと定常平均劣化量Ｄｃｏｎｓと時空間特徴量ＰＣとを対応付けて記憶するものであり、第３の導出手段１２３内に予め用意されている。この第２の劣化量足し合わせテーブル１２５は、局所的映像劣化が発生している映像に対するユーザの主観評価特性を、劣化強度の合計値Ｄｐａｒｔと定常平均劣化量Ｄｃｏｎｓを変化させながら調べ、ユーザの主観評価と時空間特徴量ＰＣが良く対応するように決定されたものである。

以上で、時空間特徴量導出部１２の処理が終了する。なお、前述のようにステップＳ２０で求める劣化量Ｃには、フレームレートやフレームスキップ数などの複数の種類がある。時空間特徴量導出部１２は、ステップＳ２０で複数種類の劣化量Ｃを求める場合、劣化量Ｃの種類毎にステップＳ２１〜Ｓ２４の処理を行う。したがって、単位測定期間ｕｔ毎に得られる時空間特徴量ＰＣも複数となる。

次に、主観品質推定部１４は、時空間特徴量導出部１２から受け取った複数の時空間特徴量ＰＣに基づいて次式のような重み付け演算を行うことにより、客観評価値を算出する（図４ステップＳ３）。
Ｙ＝Ｆ（Ｘ１，Ｘ２，・・・・Ｘｎ） ・・・（２）
式（２）において、Ｙは客観評価値、Ｘ１，Ｘ２，・・・・Ｘｎは時空間特徴量ＰＣ、Ｆは客観評価値導出関数である。

時空間特徴量ＰＣがＸ１，Ｘ２の２つの場合、客観評価値導出関数Ｆは例えば次式のようになる。
Ｙ＝Ｆ（Ｘ１，Ｘ２）＝αＸ１＋βＸ２＋γ ・・・（３）
Ｘ１は、例えば劣化量Ｃとして空間特徴量ＤＳを用いたときに、空間特徴量ＤＳからステップＳ２１〜Ｓ２４の処理によって得られた時空間特徴量ＰＣである。Ｘ２は、例えば劣化量Ｃとしてフレームレートを用いたときに、フレームレートから得られた時空間特徴量ＰＣである。

α，β，γは予め定められた係数である。係数α，β，γを導出するためには、局所的映像劣化が発生している映像に対するユーザの主観評価特性を、劣化量を変化させながら調べ、ユーザの主観評価と客観評価値Ｙが良く対応するように最適な値の組み合わせを決定すればよい。

［第２の実施例］
次に、本発明の第２の実施例について説明する。図１７は、空間内で局所的に劣化が発生した映像の他の例を示す図である。図１７は、被写体である車１７０の移動をカメラで追っているために、背景が右から左へ速い速度で移動している映像を示している。空間内の局所的映像劣化の場合、動きが速く、目に追えないような箇所に局所的映像劣化１７１が発生したとしても、ユーザの主観評価に与える影響が小さいといったように、映像の動きの速さによりユーザの主観評価に違いが生じる。また、背景領域で発生した局所的映像劣化１７１と被写体領域で発生した局所的映像劣化１７２とでは被写体領域で発生した劣化１７２の方がユーザの主観評価に与える影響が大きいといったように、映像に対するユーザの注目レベル（注目度）によりユーザの主観評価に違いが生じる。

そこで、本実施例では、映像の動きの速さによって劣化が検知され易い場合と検知され難い場合があるという、映像の動きの速さによる主観評価の相違を考慮して重み付けを行うことにより、また局所的映像劣化が起こる領域が被写体のように注目される領域かどうかという、映像に対するユーザの注目レベルによる主観評価の相違を考慮して重み付けを行うことにより、主観評価値の推定精度を高める。

本実施例の映像品質客観評価装置の構成及び処理の流れは、第１の実施例と同様であるので、図３、図４の符号を用いて本実施例について説明する。本実施例が第１の実施例と異なる点は、図４のステップＳ２の処理のうち、時空間特徴量導出部１２の第１の導出手段１２１による空間特徴量ＤＳの導出方法である。以下、評価対象フレーム内に生じる空間内の局所的映像劣化を考慮した空間特徴量ＤＳの導出方法を説明する。図１８は、本実施例における空間特徴量ＤＳの導出方法を示すフローチャートである。

時空間特徴量導出部１２の第１の導出手段１２１は、アライメント部１１から受け取った基準映像信号ＲＩから評価対象フレームを分割したブロック毎の動きベクトル量を算出して記憶する（図１８ステップＳ３０）。図１９は、動きベクトルを説明するための図である。動きベクトルとは、例えば８×８画素のブロックのフレーム間の移動量（方向と距離）を示すベクトルである。ブロックの移動量を求めるには、現在のフレームと１つ前のフレームで差分値が最小となるブロックを見つけ出すようにすればよい。例えば図１９の例では、ボール１９０が左下に動くシーンを示しており、１つ前のフレームｆＮ のブロックＥが現在のフレームｆＮ＋１ ではＥ’に動いた例を示している。このときの動きベクトルが図１９のＶである。第１の導出手段１２１は、基準映像信号ＲＩの１フレームを対象としてブロック毎の動きベクトル量を算出し、ブロック毎にその方向と長さ（ノルム）を算出する。

続いて、第１の導出手段１２１は、ステップＳ３０で計算した基準映像信号ＲＩの動きベクトルの分布特性に合わせて、各ブロックの注目レベルを導出するために必要となる評価対象フレーム毎の注目レベルの閾値を導出する（ステップＳ３１）。ここでは、第１の導出手段１２１は、同じ動きベクトルを持つ複数のブロックからなる領域が存在し、かつこの領域に属するブロックが一定数以上の場合は、この領域を背景領域（注目レベル２）とし、それ以外の動きベクトルを持つブロックを被写体領域（注目レベル１）として、２つに分類するための閾値を導出する。なお、この注目レベルは２つ以上存在してもよい。

なお、映像に対するユーザの注目レベルを判定する際には、被写体の動きに合わせたカメラワークを考慮すると、背景が動く場合として以下の２つが考えられる。
まず、第１の場合は、被写体の動きに合わせてカメラが上下左右（パン、チルト）に動く場合である。被写体の動きに合わせてカメラが上下左右に動く場合、背景領域はカメラの移動方向と逆の向きに移動することになる。そこで、第１の導出手段１２１は、動きベクトルの方向と長さが互いに等しい複数のブロックからなる領域が存在し、かつこの領域に属するブロックが一定数以上の場合は、この領域を背景領域とする。なお、この注目レベルの判定法によると、被写体が動かない場合も背景領域として判定することになる。

第２の場合は、被写体に対してカメラがズーム操作（拡大、縮小）をする場合である。被写体を拡大しようとすると、被写体の位置（例えば映像の中央部）から周辺部のあらゆる方向に向かって放射状に動きベクトルが生じる。逆に、被写体を縮小しようとすると、周辺部から被写体の位置に向かって動きベクトルが生じる。また、被写体を拡大又は縮小しようとするとき、動きベクトルの長さは映像の中央部付近に位置する被写体の動きベクトルの長さよりも周辺部の背景領域の動きベクトルの方が長い。

そこで、第１の導出手段１２１は、動きベクトルが各方向に均等に分布し、かつ動きベクトルの長さが閾値以上の複数のブロックからなる領域が存在する場合は、この領域を背景領域とする。このときの閾値としては、予め定められた一定値を用いてもよいが、動きベクトルの分布から以下のように求めるようにしてもよい。動きベクトルの分布から閾値を求める場合、第１の導出手段１２１は、横軸に動きベクトルの長さをとり、縦軸に動きベクトルの発生頻度（ブロック数）をとった動きベクトルのヒストグラムを求める。そして、第１の導出手段１２１は、このヒストグラムの横軸上に任意の境界値を定めて、この境界値よりも長い動きベクトルの発生頻度を求め、発生頻度が全ブロック数の例えば８０％以上に達するとき、この境界値を閾値とする。

次に、第１の導出手段１２１は、基準映像信号ＲＩと劣化映像信号ＰＩとから評価対象フレームを分割したブロック毎の劣化量Ｓを算出し、フレーム内の位置毎にその値を記憶する（ステップＳ３２）。劣化量Ｓとしては、信号対雑音比であるＰＳＮＲやＡＮＳＩで規定されたＡｖｅｒａｇｅ Ｅｄｇｅ Ｅｎｅｒｇｙなどのパラメータが挙げられる。

最後に、第１の導出手段１２１は、ステップＳ３０〜Ｓ３２の結果を利用して、次式のように評価対象フレームにおける空間内の局所的映像劣化を考慮した空間特徴量ＤＳを算出して記憶する（ステップＳ３３）。
ＤＳ＝（１／Ｎ）×Σ（Ｆ１ｉ×Ｆ２ｉ×Ｓｉ） ・・・（４）
式（４）において、Ｎは対象ブロック数、Ｆ１ｉ はブロックｉ（ｉは１〜Ｎまでの自然数）の動きベクトルの方向や長さに依存した重み付け係数、Ｆ２ｉ はブロックｉの注目レベルに依存した重み付け係数、Ｓｉ はブロックｉの劣化量である。式（４）は、劣化量Ｓを重み付け係数Ｆ１，Ｆ２で重み付けした結果をブロック毎に求めて、このブロック毎の結果を評価対象フレーム全体で平均した値を空間特徴量ＤＳとすることを意味する。

具体的な重み付けＦ１とＦ２の導出方法は以下の通りである。
重み付け係数Ｆ１は、式（４）の対象ブロック毎（iがインクリメントされる毎）に、ブロック毎の動きベクトルの長さに対して、予め求められた劣化映像の動きベクトルの長さと重み付け係数Ｆ１との対応関係から導出される。このＦ１は図２０に示すように映像に動きがない場合（動きベクトルが短い場合）、あるいは映像の動きが目で追えないくらい速い場合（動きベクトルが長い場合）には、弱く重みを付け、映像が中程度である場合には強く重みをつける係数である。なお、劣化映像の動きベクトルの長さと重み付け係数Ｆ１との対応関係は、動きベクトルの長さが異なる領域に特定の局所劣化を加えた場合に得られる主観評価特性（これを空間特徴量ＤＳの平均値とする）から導出する。
重み付け係数Ｆ２は、式（４）の対象ブロック毎（iがインクリメントされる毎）に、ブロック毎の動きベクトルの長さと方向より、ステップＳ３１で導出した閾値から注目レベルを判定し、予め求められている注目レベルと重み付け係数Ｆ２との対応関係から導出される。この重み付け係数Ｆ２は、図２１に示すように被写体領域のように注目レベルが高い領域では強く重みを付け、背景領域のように注目レベルが低い領域では弱く重みがつけられる係数である。なお、注目レベルと重み付け係数Ｆ２との対応関係は、予め注目レベルを分類（動きベクトルを用いて先に述べたように被写体の動きあわせたカメラワークに応じて分類）した映像に対して特定の局所劣化を加えた場合に得られる主観評価特性（これを空間特徴量ＤＳの平均値とする）から重み付け係数Ｆ１の影響も考慮に入れて最適な対応関係を導出する。

ここで、ステップ３３の段階ではなく、ステップ３０の段階でブロック毎の動きベクトルから、重み付け値Ｆ１を導出してテーブルとして求めておくと共に、ステップ３１の段階で１フレームにおける動きベクトルから注目レベルを判別する閾値を導出した後に、ブロック毎の重み付け値Ｆ２をテーブルとして求めておき、ステップ３３において式（４）の計算時にそれらのテーブルを参照して計算しても良いものとする。
こうして、空間特徴量ＤＳの導出が終了する。時空間特徴量導出部１２の第１の導出手段１２１は、以上の処理を時間の推移に合わせてフレーム毎に行う。ステップＳ２のうち空間特徴量ＤＳの導出を除く処理、及びステップＳ１、Ｓ３の処理は第１の実施例と々である。

本実施例によれば、映像の動きの速さによる主観評価の相違を考慮して重み付けを行い、また映像に対するユーザの注目レベルによる主観評価の相違を考慮して重み付けを行うことにより、主観評価値の推定精度を高めることができる。
なお、決まった場所で行う映像コミュニケーションサービス（背景が固定されている環境）においては、ステップＳ３１，Ｓ３２の処理を被写体部分についてのみ行えば済むため、ステップＳ３０において動きベクトルではなく、フレーム間差分を求め、フレーム間差分がある領域を被写体領域、フレーム間差分がない領域を背景領域として簡易に計算することも考えられる。

［第３の実施例］
次に、本発明の第３の実施例について説明する。本実施例は、第１の実施例で説明した空間特徴量ＤＳの導出方法と第２の実施例で説明した空間特徴量ＤＳの導出方法とを組み合わせるものである。

すなわち、時空間特徴量導出部１２の第１の導出手段１２１は、動きベクトルを考慮した第２の実施例のステップＳ３０〜Ｓ３２に基づいて、ブロック毎の劣化量を算出する。続いて、第１の導出手段１２１は、フレーム全体での平均劣化量と劣化強度が強い領域内での平均劣化量とを考慮した第１の実施例のステップＳ１１，Ｓ１２に基き、式（１）により空間特徴量ＤＳを算出する。こうして、第１、第２の実施例の導出方法を組み合わせることができる。

なお、第１〜第３の実施例の映像品質客観評価装置は、ＣＰＵ、記憶装置および外部とのインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプログラムによって実現することができる。このようなコンピュータにおいて、本発明の映像品質客観評価方法を実現させるための映像品質客観評価プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で提供される。ＣＰＵは、記録媒体から読み込んだプログラムを記憶装置に書き込み、プログラムに従って第１〜第３の実施例で説明した処理を実行する。

本発明は、映像信号の物理的特徴量の測定から主観品質を推定する映像品質客観評価技術に適用することができる。

Claims (11)

1. 評価対象となる劣化映像信号とこの劣化映像信号の劣化前の信号である基準映像信号とから、前記劣化映像信号に生じた劣化の特徴量である時空間特徴量を導出する時空間特徴量導出部と、
   予め得られている劣化映像とユーザの主観評価値との関係に基づいて前記時空間特徴量に重み付けを行うことにより前記劣化映像信号についての主観品質を推定する主観品質推定部とを備え、
   前記時空間特徴量導出部は、前記劣化映像信号の評価対象フレームに生じた劣化の空間的な局所性を考慮した空間特徴量を導出する第１の導出手段と、前記劣化映像信号の評価対象フレームに生じた劣化の時間特徴量を導出する第２の導出手段と、前記空間特徴量と時間特徴量とを用いて、前記評価対象フレームに生じた劣化の空間的な局所性と時間軸上の局所性とを考慮した前記時空間特徴量を導出する第３の導出手段とを備え、
   前記第３の導出手段は、前記空間特徴量と時間特徴量の各々を劣化量とし、時間軸上の局所的な劣化量と、時間軸上に局所的な劣化が生じていない場合の平均劣化量と、予め得られている劣化量とユーザの主観評価値との関係に基づいて、前記時空間特徴量を前記空間特徴量と時間特徴量の各々について導出することを特徴とする映像品質客観評価装置。
2. 前記時空間特徴量導出部の第１の導出手段は、前記評価対象フレーム内の空間的な劣化量分布の統計量と、予め得られている前記統計量とユーザの主観評価値との関係に基づいて、前記空間特徴量を求めることを特徴とする請求項１記載の映像品質客観評価装置。
3. 前記劣化量分布の統計量として、評価対象フレーム全体で劣化量を平均した値であるフレーム平均劣化量、前記評価対象フレームのうち所定の劣化強度範囲に含まれる劣化が生じた領域の大きさ、この領域に属する劣化量を平均した値である局所的劣化領域平均劣化量、前記フレーム平均劣化量と前記局所的劣化領域平均劣化量との差分値のうちのいずれかあるいはこれらの値の中の任意の組み合わせを用いることを特徴とする請求項２記載の映像品質客観評価装置。
4. 前記時空間特徴量導出部の第３の導出手段は、予め得られている劣化量とユーザの主観評価値との関係に基づいて局所劣化判別閾値を決定し、現時点の劣化量と現時点までの前記平均劣化量との差分値が前記局所劣化判別閾値以上のとき、前記局所的劣化が発生したと判断することを特徴とする請求項１記載の映像品質客観評価装置。
5. 前記平均劣化量に対する前記局所的劣化の変動量及び継続時間がユーザの主観評価に与える影響を考慮して決定された、前記局所的劣化の変動量及び継続時間と劣化強度との関係を記憶する劣化強度データベースを備え、前記時空間特徴量導出部の第３の導出手段は、前記局所的劣化が発生する度に、この局所的劣化の変動量及び継続時間に対応する劣化強度を前記劣化強度データベースから取得することを特徴とする請求項４記載の映像品質客観評価装置。
6. 劣化量とユーザの主観評価値との関係に基づいて決定された、劣化強度の合計値を記憶する第１のテーブルと、劣化量とユーザの主観評価値との関係に基づいて決定された、劣化強度の合計値と時空間特徴量との関係を記憶する第２のテーブルとを備え、前記時空間特徴量導出部の第３の導出手段は、前記劣化強度データベースから取得した劣化強度を前記第１のテーブルに基づいて単位測定期間毎に合計し、この劣化強度の合計値から前記第２のテーブルに基づいて前記時空間特徴量を導出することを特徴とする請求項５記載の映像品質客観評価装置。
7. 前記時空間特徴量導出部の第１の導出手段は、フレームを分割したブロック毎のフレーム間差分値に基づいて前記基準映像信号における映像の動きをブロック毎に検出し、前記劣化映像信号のブロックの劣化量を、対応する前記基準映像信号のブロックで検出した映像の動きと、予め得られている劣化映像の動きの速さとユーザの主観評価値との関係に基づいてブロック毎に重み付けすることにより、前記空間特徴量を求めることを特徴とする請求項１記載の映像品質客観評価装置。
8. 前記時空間特徴量導出部の第１の導出手段は、フレームを分割したブロック毎の動きベクトルに基づいて前記基準映像信号における映像の動きをブロック毎に検出し、前記劣化映像信号のブロックの劣化量を、対応する前記基準映像信号のブロックで検出した映像の動きと、予め得られている劣化映像の動きの速さとユーザの主観評価値との関係に基づいてブロック毎に重み付けすることにより、前記空間特徴量を求めることを特徴とする請求項１記載の映像品質客観評価装置。
9. 前記時空間特徴量導出部の第１の導出手段は、フレームを分割したブロック毎の動きベクトルに基づいて前記基準映像信号に対するユーザの注目度をブロック毎に導出し、前記劣化映像信号のブロックの劣化量を、対応する前記基準映像信号のブロックで導出した注目度と、予め得られている劣化映像に対するユーザの注目度とその劣化映像に対するユーザの主観評価値との関係に基づいてブロック毎に重み付けすることにより、前記空間特徴量を求めることを特徴とする請求項１記載の映像品質客観評価装置。
10. 評価対象となる劣化映像信号とこの劣化映像信号の劣化前の信号である基準映像信号とから、前記劣化映像信号に生じた劣化の特徴量である時空間特徴量を導出する時空間特徴量導出手順と、
    予め得られている劣化映像とユーザの主観評価値との関係に基づいて前記時空間特徴量に重み付けを行うことにより、前記劣化映像信号についての主観品質を推定する主観品質推定手順とを備え、
    前記時空間特徴量導出手順は、前記劣化映像信号の評価対象フレームに生じた劣化の空間的な局所性を考慮した空間特徴量を導出する第１の導出手順と、前記劣化映像信号の評価対象フレームに生じた劣化の時間特徴量を導出する第２の導出手順と、前記空間特徴量と時間特徴量とを用いて、前記評価対象フレームに生じた劣化の空間的な局所性と時間軸上の局所性とを考慮した前記時空間特徴量を導出する第３の導出手順とからなり、
    前記第３の導出手順は、前記空間特徴量と時間特徴量の各々を劣化量とし、時間軸上の局所的な劣化量と、時間軸上に局所的な劣化が生じていない場合の平均劣化量と、予め得られている劣化量とユーザの主観評価値との関係に基づいて、前記時空間特徴量を前記空間特徴量と時間特徴量の各々について導出することを特徴とする映像品質客観評価方法。
11. 評価対象となる劣化映像信号とこの劣化映像信号の劣化前の信号である基準映像信号とから、前記劣化映像信号に生じた劣化の特徴量である時空間特徴量を導出する時空間特徴量導出手順と、
    予め得られている劣化映像とユーザの主観評価値との関係に基づいて前記時空間特徴量に重み付けを行うことにより、前記劣化映像信号についての主観品質を推定する主観品質推定手順とをコンピュータに実行させ、
    前記時空間特徴量導出手順は、前記劣化映像信号の評価対象フレームに生じた劣化の空間的な局所性を考慮した空間特徴量を導出する第１の導出手順と、前記劣化映像信号の評価対象フレームに生じた劣化の時間特徴量を導出する第２の導出手順と、前記空間特徴量と時間特徴量とを用いて、前記評価対象フレームに生じた劣化の空間的な局所性と時間軸上の局所性とを考慮した前記時空間特徴量を導出する第３の導出手順とからなり、
    前記第３の導出手順は、前記空間特徴量と時間特徴量の各々を劣化量とし、時間軸上の局所的な劣化量と、時間軸上に局所的な劣化が生じていない場合の平均劣化量と、予め得られている劣化量とユーザの主観評価値との関係に基づいて、前記時空間特徴量を前記空間特徴量と時間特徴量の各々について導出することを特徴とする映像品質客観評価プログラム。

Images