JP6373681B2 - 客観画質評価装置、客観画質評価方法、およびプログラム - Google Patents

Description

本発明は、客観画質評価装置、客観画質評価方法、およびプログラムに関する。

近年、映像撮影機器や記録メディアなどの発達によって、デジタル映像コンテンツの高解像度化や高フレームレート化が進んでいる。一方で、このような高精細なデジタル映像コンテンツのデータ量は、膨大なものとなる。そこで、デジタル映像コンテンツを蓄積したり伝送したりする際には、視覚的な劣化を抑えて画質を維持したままデータ量を圧縮する、圧縮符号化が用いられることが多い。

圧縮符号化方式としては、MPEG-2や、H.264/AVCや、H.265/HEVC（例えば、非特許文献１参照）などがある。しかし、これら圧縮符号化方式は、非可逆圧縮と呼ばれ、可逆圧縮の圧縮符号化方式と比べて符号化効率が高いものの、原画を完全に復元することはできず、画質劣化が生じてしまう。このため、デジタル映像コンテンツを提供するコンテンツ提供者は、画質劣化を評価して、映像品質を管理する必要がある。

画質劣化の測定方法としては、主観評価法と、客観評価法と、の主に２つがある。

主観評価法は、視覚心理実験により、映像に対する評点を複数の評価者に付けてもらい、集めた評点を統計的に処理して数値を求め、求めた数値に基づいて定量的に画質を測定する方法である。しかし、主観評価法では、再現性および信頼性の高い評価を行う必要がある。このため、評価者が多数必要であるとともに、ITU-R BT.500-11やITU-T P.910などに規定される実験環境を用意する必要があるため、コストを抑えるのが難しい。

そこで、評価者や実験環境を必要としない客観評価法が注目されている。この客観評価法は、映像信号を分析して映像の特徴を示す数値的指標を求め、求めた数値的指標に基づいて主観画質を推定する方法である。

映像の客観画質評価は、主に、ＦＲ（Full Reference）型、ＲＲ（Reduced Reference）型、ＮＲ（No Reference）型の３種類に分類される。ＦＲ型の客観画質評価と、ＲＲ型の客観画質評価とは、原画像の情報を必要とするため、原画像を取得できない場合には適用できない。一方、ＮＲ型の客観画質評価（例えば、特許文献１、２や非特許文献２参照）は、ＦＲ型の客観画質評価やＲＲ型の客観画質評価と比べて主観画質の推定精度は劣るものの、符号化された映像データを必要とし、原画像の情報は必要としない。このため、ＮＲ型の客観画質評価には、適用範囲が広いという利点がある。

特開２０１２−１７５４１１号公報 特開２０１１−１９９３８０号公報

ITU-T Recommendation H.265, "High efficiency video coding" M. Saad, A. Bovik, and C. Charrier," Blind Prediction of Natural Video Quality ", IEEE Trans. Image Processing, vol.23, no.3, pp.1352-1365, Jan. 2014.

圧縮符号化に起因する画質劣化の度合いは、ビットレートが等しくても、テクスチャの複雑さが異なっていれば、異なってくる。このため、ＮＲ型の客観画質評価において主観画質を高精度に推定するためには、テクスチャの複雑さを考慮した上で、画質劣化の要因となる特徴を捉える必要がある。

特許文献１に示されているＮＲ型の客観画質評価では、復号された画素情報から得られる空間周波数成分を用いてテクスチャの複雑度を考慮しつつ、フレーム間の画素情報の差分から得られる特徴量に基づいて主観画質を推定する。このため、特許文献１に示されているＮＲ型の客観画質評価は、復号された画素情報を必要とするので、計算量やメモリ使用量が多くなってしまっていた。

一方、特許文献２に示されているＮＲ型の客観画質評価や、非特許文献２に示されているＮＲ型の客観画質評価では、復号の課程で得られる予測残差信号の直交変換係数を用いて、主観画質を推定する。このため、特許文献１に示されているＮＲ型の客観画質評価と比べて、計算量やメモリ使用量を少なくすることができる。しかし、非特許文献１に示されているH.265/HEVCのように、多様なブロックサイズが許容され、従来の圧縮符号化方式と比べて自由度が高く符号化効率の高い圧縮符号化方式は、主観評価値が低くなるような低ビットレート時に、予測残差信号をほとんど有さない傾向にあるため、主観画質を推定できない場合があった。

そこで、本発明は、上述の課題を鑑みてなされたものであり、原画像と復号画像と予測残差信号とを用いることなく、主観画質を推定することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。
（１） 本発明は、映像の主観画質を推定する客観画質評価装置（例えば、図１の客観画質評価装置１に相当）であって、符号化単位ブロックを四分木構造で再帰的に分割する際の分割回数に相当するブロック深度（例えば、図１のブロック深度情報ＳＩＧ２に相当）を、圧縮ビットストリーム（例えば、図１のビットストリームＳＩＧ１に相当）から求めるパラメータ解析手段（例えば、図１のパラメータ解析部１０に相当）と、前記パラメータ解析手段により求められたブロック深度に基づいて、フレームの複雑度に関する複雑度特徴量（例えば、図１の複雑度特徴量ＳＩＧ８に相当）を求める複雑度特徴量算出手段（例えば、図１の複雑度特徴量算出部２０に相当）と、前記複雑度特徴量算出手段により求められた複雑度特徴量に基づいて、客観画質評価を行う画質劣化特徴量統合手段（例えば、図１の画質劣化特徴量統合部５０に相当）と、を備えることを特徴とする客観画質評価装置を提案している。

この発明によれば、客観画質評価装置に、パラメータ解析手段、複雑度特徴量算出手段、および画質劣化特徴量統合手段を設けることとした。また、パラメータ解析手段により、符号化単位ブロックを四分木構造で再帰的に分割する際の分割回数に相当するブロック深度を、圧縮ビットストリームから求めることとした。また、複雑度特徴量算出手段により、パラメータ解析手段により求められたブロック深度に基づいて、フレームの複雑度に関する複雑度特徴量を求めることとした。また、画質劣化特徴量統合手段により、複雑度特徴量算出手段により求められた複雑度特徴量に基づいて、客観画質評価を行うこととした。このため、圧縮ビットストリームのみから複雑度特徴量を求め、客観画質評価を行うことができる。したがって、原画像と復号画像と予測残差信号とを用いることなく、主観画質を推定することができる。

（２） 本発明は、（１）の客観画質評価装置について、前記複雑度特徴量算出手段は、前記パラメータ解析手段により求められたブロック深度から得られるブロックサイズの大きさに応じて、前記複雑度特徴量に重み付けすることを特徴とする客観画質評価装置を提案している。

この発明によれば、（１）の客観画質評価装置において、複雑度特徴量算出手段により、パラメータ解析手段により求められたブロック深度から得られるブロックサイズの大きさに応じて、複雑度特徴量に重み付けすることとした。このため、ブロックサイズの大きさの違いを、主観画質の推定に反映させることができる。

（３） 本発明は、（１）または（２）の客観画質評価装置について、前記パラメータ解析手段は、動きベクトルおよび変換係数を伝送しないモード（例えば、後述のスキップモードに相当）であるか否かを示すスキップフラグ情報（例えば、図１のＳＫＩＰフラグ情報ＳＩＧ４に相当）と、差分動きベクトルを伝送しない符号化（例えば、後述のマージ符号化に相当）に関する情報を示すマージ符号化関連情報（例えば、図１のマージ符号化関連情報ＳＩＧ５に相当）と、動きベクトル（例えば、図１の動きベクトル情報ＳＩＧ６に相当）と、を前記圧縮ビットストリームから求め、前記パラメータ解析手段により求められたブロック深度、スキップフラグ情報、マージ符号化関連情報、および動きベクトルに基づいて、フリッキングの発生に起因する品質劣化の知覚度に関する時間的劣化特徴量（例えば、図１の時間的劣化特徴量ＳＩＧ９に相当）を求める時間的劣化特徴量算出手段（例えば、図１の時間的劣化特徴量算出部３０に相当）を備え、前記画質劣化特徴量統合手段は、前記複雑度特徴量算出手段により求められた複雑度特徴量と、前記時間的劣化特徴量算出手段により求められた時間的劣化特徴量と、に基づいて客観画質評価を行うことを特徴とする客観画質評価装置を提案している。

この発明によれば、（１）または（２）の客観画質評価装置に時間的劣化特徴量算出手段を設け、パラメータ解析手段により、スキップフラグ情報、マージ符号化関連情報、および動きベクトルを圧縮ビットストリームから求めることとした。また、時間的劣化特徴量算出手段により、パラメータ解析手段により求められたブロック深度、スキップフラグ情報、マージ符号化関連情報、および動きベクトルに基づいて、フリッキングの発生に起因する品質劣化の知覚度に関する時間的劣化特徴量を求め、画質劣化特徴量統合手段により、複雑度特徴量算出手段により求められた複雑度特徴量と、時間的劣化特徴量算出手段により求められた時間的劣化特徴量と、に基づいて客観画質評価を行うこととした。このため、主観画質の推定に、フレームの複雑度だけでなく、フリッキングの発生に起因する品質劣化の知覚度も用いることができる。

（４） 本発明は、（３）の客観画質評価装置について、前記時間的劣化特徴量算出手段は、前記パラメータ解析手段により求められたブロック深度から得られるブロックサイズが、前記圧縮ビットストリームに含まれる映像コンテンツの解像度に応じて定まるブロックサイズよりも大きいことを示す第１の条件（例えば、図５のステップＳ２２の処理を参照）と、前記パラメータ解析手段により求められたスキップフラグ情報が、動きベクトルおよび変換係数を伝送しないモードであることを示す第２の条件（例えば、図５のステップＳ２３の処理を参照）と、前記パラメータ解析手段により求められたマージ符号化関連情報が、差分動きベクトルを伝送しない符号化であることを示す第３の条件（例えば、図５のステップＳ２３の処理を参照）と、の３つを全て満たすブロックを特定ブロックとして求める（例えば、図５のステップＳ２４の処理を参照）とともに、前記特定ブロックに参照されるブロックが、当該特定ブロックを包含する位置に存在することを示す第４の条件（例えば、図５のステップＳ２５の処理を参照）と、前記パラメータ解析手段により求められた動きベクトルの大きさが、予め定められた大きさよりも小さいことを示す第５の条件（例えば、図５のステップＳ２６の処理を参照）と、前記特定ブロックを含む参照元フレームが参照するフレームと、当該特定ブロックに参照されるブロックを含む参照先フレームが参照するフレームと、が異なることを示す第６の条件（例えば、図４のステップＳ１０の処理を参照）と、の３つを全て満たす場合に、前記パラメータ解析手段により求められた前記特定ブロックのブロック深度から得られるブロックサイズの大きさに基づいて前記時間的劣化特徴量を求めることを特徴とする客観画質評価装置を提案している。

この発明によれば、（３）の客観画質評価装置において、時間的劣化特徴量算出手段により、第１の条件と第２の条件と第３の条件との全てを満たすブロックを特定ブロックとして求めるとともに、第４の条件と第５の条件と第６の条件との全てを満たす場合に、求めた特定ブロックのブロック深度から得られるブロックサイズに基づいて時間的劣化特徴量を求めることとした。このため、第１の条件から第６の条件の６つの条件により、平坦な領域を推定することができる。したがって、平坦な領域で知覚されやすい性質を有するフリッキングについて、このフリッキングの発生に起因する品質劣化の知覚度を、適切に求めることができる。

（５） 本発明は、（４）の客観画質評価装置について、前記時間的劣化特徴量算出手段は、符号化ブロックがインターブロックであるとともに、前記第１の条件と、前記第２の条件と、前記第３の条件と、前記第４の条件と、前記第５の条件と、のそれぞれを満たすか否かを前記参照元フレームに対して行った場合には、前記参照元フレームを、前記参照元フレームが参照するフレームに更新した後に、前記第１の条件と、前記第２の条件と、前記第３の条件と、前記第４の条件と、前記第５の条件と、のそれぞれを満たすか否かを前記参照元フレームに対して行い、符号化ブロックがイントラブロックであるとともに、前記第１の条件と、前記第２の条件と、前記第３の条件と、前記第４の条件と、前記第５の条件と、のそれぞれを満たすか否かを前記参照先フレームに対して行った場合には、前記参照先フレームを、前記参照先フレームが参照するフレームに更新した後に、前記第１の条件と、前記第２の条件と、前記第３の条件と、前記第４の条件と、前記第５の条件と、のそれぞれを満たすか否かを前記参照先フレームに対して行い、符号化ブロックがイントラブロックであるとともに、前記第１の条件と、前記第２の条件と、前記第３の条件と、前記第４の条件と、前記第５の条件と、のそれぞれを満たすか否かを前記参照元フレームに対して行った場合には、前記第６の条件を満たすか否かを判別することを特徴とする客観画質評価装置を提案している。

ここで、異なるＰＯＣ（Picture Order Count）であっても、同じフレームかつ同じ位置に存在するブロックを参照する場合が多い。そこで、この発明によれば、（４）の客観画質評価装置において、時間的劣化特徴量算出手段により、符号化ブロックがインターブロックであるとともに、第１の条件から第５の条件のそれぞれを満たすか否かを参照元フレームに対して行った場合には、参照元フレームを、参照元フレームが参照するフレームに更新した後に、第１の条件から第５の条件のそれぞれを満たすか否かを更新後の参照元フレームに対して行うこととした。符号化ブロックがイントラブロックであるとともに、第１の条件から第５の条件のそれぞれを満たすか否かを参照先フレームに対して行った場合には、参照先フレームを、参照先フレームが参照するフレームに更新した後に、第１の条件から第５の条件のそれぞれを満たすか否かを更新後の参照先フレームに対して行うこととした。符号化ブロックがイントラブロックであるとともに、第１の条件から第５の条件のそれぞれを満たすか否かを参照元フレームに対して行った場合には、第６の条件を満たすか否かを判別することとした。このため、参照先フレームに存在するブロックのうち、参照元フレームにおいて特定ブロックが存在している座標を含むものについて、平坦な領域であるか否かを判別し、平坦な領域であると判別した場合には、参照先フレームに参照されるフレームの情報を辿ることができる。したがって、フリッキングの発生に影響する平坦な領域を、適切に推定することができる。

（６） 本発明は、（４）または（５）の客観画質評価装置について、前記時間的劣化特徴量算出手段は、前記パラメータ解析手段により求められた前記特定ブロックのブロック深度から得られるブロックサイズの大きさに応じて、前記時間的劣化特徴量に重み付けすることを特徴とする客観画質評価装置を提案している。

この発明によれば、（４）または（５）の客観画質評価装置において、時間的劣化特徴量算出手段により、パラメータ解析手段により求められた特定ブロックのブロック深度から得られるブロックサイズの大きさに応じて、時間的劣化特徴量に重み付けすることとした。このため、ブロックサイズの大きさの違いを、主観画質の推定に反映させることができる。

（７） 本発明は、（１）または（２）の客観画質評価装置について、前記パラメータ解析手段は、量子化パラメータ（例えば、図１のＱＰ情報ＳＩＧ７に相当）を前記圧縮ビットストリームから求め、前記パラメータ解析手段により求められた量子化パラメータに基づいて、量子化の粗さを表すＱＰ特徴量（例えば、図１のＱＰ特徴量ＳＩＧ１０に相当）を求めるＱＰ特徴量算出手段（例えば、図１のＱＰ特徴量算出部４０に相当）を備え、前記画質劣化特徴量統合手段は、前記複雑度特徴量算出手段により求められた複雑度特徴量と、前記ＱＰ特徴量算出手段により求められたＱＰ特徴量と、に基づいて客観画質評価を行うことを特徴とする客観画質評価装置を提案している。

この発明によれば、（１）または（２）の客観画質評価装置にＱＰ特徴量算出手を設け、パラメータ解析手段により、量子化パラメータを圧縮ビットストリームから求めることとした。また、ＱＰ特徴量算出手段により、パラメータ解析手段により求められた量子化パラメータに基づいて、量子化の粗さを表すＱＰ特徴量を求め、画質劣化特徴量統合手段により、複雑度特徴量算出手段により求められた複雑度特徴量と、ＱＰ特徴量算出手段により求められたＱＰ特徴量と、に基づいて客観画質評価を行うこととした。このため、主観画質の推定に、フレームの複雑度だけでなく、量子化の粗さも用いることができる。

（８） 本発明は、（３）から（６）のいずれかの客観画質評価装置について、前記パラメータ解析手段は、量子化パラメータ（例えば、図１のＱＰ情報ＳＩＧ７に相当）を前記圧縮ビットストリームから求め、前記パラメータ解析手段により求められた量子化パラメータに基づいて、量子化の粗さを表すＱＰ特徴量（例えば、図１のＱＰ特徴量ＳＩＧ１０に相当）を求めるＱＰ特徴量算出手段（例えば、図１のＱＰ特徴量算出部４０に相当）を備え、前記画質劣化特徴量統合手段は、前記複雑度特徴量算出手段により求められた複雑度特徴量と、前記時間的劣化特徴量算出手段により求められた時間的劣化特徴量と、前記ＱＰ特徴量算出手段により求められたＱＰ特徴量と、に基づいて客観画質評価を行うことを特徴とする客観画質評価装置を提案している。

この発明によれば、（３）から（６）のいずれかの客観画質評価装置にＱＰ特徴量算出手を設け、パラメータ解析手段により、量子化パラメータを圧縮ビットストリームから求めることとした。また、ＱＰ特徴量算出手段により、パラメータ解析手段により求められた量子化パラメータに基づいて、量子化の粗さを表すＱＰ特徴量を求め、画質劣化特徴量統合手段により、複雑度特徴量算出手段により求められた複雑度特徴量と、時間的劣化特徴量算出手段により求められた時間的劣化特徴量と、ＱＰ特徴量算出手段により求められたＱＰ特徴量と、に基づいて客観画質評価を行うこととした。このため、主観画質の推定に、フレームの複雑度と、フリッキングの発生に起因する品質劣化の知覚度と、だけでなく、量子化の粗さも用いることができる。

（９） 本発明は、パラメータ解析手段（例えば、図１のパラメータ解析部１０に相当）、複雑度特徴量算出手段（例えば、図１の複雑度特徴量算出部２０に相当）、および画質劣化特徴量統合手段（例えば、図１の画質劣化特徴量統合部５０に相当）を備え、映像の主観画質を推定する客観画質評価装置（例えば、図１の客観画質評価装置１に相当）における客観画質評価方法であって、前記パラメータ解析手段が、符号化単位ブロックを四分木構造で再帰的に分割する際の分割回数に相当するブロック深度（例えば、図１のブロック深度情報ＳＩＧ２に相当）を、圧縮ビットストリーム（例えば、図１のビットストリームＳＩＧ１に相当）から求める第１のステップと、前記複雑度特徴量算出手段が、前記第１のステップにより求められたブロック深度に基づいて、フレームの複雑度に関する複雑度特徴量（例えば、図１の複雑度特徴量ＳＩＧ８に相当）を求める第２のステップと、前記画質劣化特徴量統合手段が、前記第２のステップにより求められた複雑度特徴量に基づいて、客観画質評価を行う第３のステップと、を備えることを特徴とする客観画質評価方法を提案している。

この発明によれば、符号化単位ブロックを四分木構造で再帰的に分割する際の分割回数に相当するブロック深度を、圧縮ビットストリームから求め、求めたブロック深度に基づいてフレームの複雑度に関する複雑度特徴量を求め、この複雑度特徴量に基づいて客観画質評価を行うこととした。このため、上述した効果と同様の効果を奏することができる。

（１０） 本発明は、パラメータ解析手段（例えば、図１のパラメータ解析部１０に相当）、複雑度特徴量算出手段（例えば、図１の複雑度特徴量算出部２０に相当）、および画質劣化特徴量統合手段（例えば、図１の画質劣化特徴量統合部５０に相当）を備え、映像の主観画質を推定する客観画質評価装置（例えば、図１の客観画質評価装置１に相当）における客観画質評価方法を、コンピュータに実行させるためのプログラムであって、前記パラメータ解析手段が、符号化単位ブロックを四分木構造で再帰的に分割する際の分割回数に相当するブロック深度（例えば、図１のブロック深度情報ＳＩＧ２に相当）を、圧縮ビットストリーム（例えば、図１のビットストリームＳＩＧ１に相当）から求める第１のステップと、前記複雑度特徴量算出手段が、前記第１のステップにより求められたブロック深度に基づいて、フレームの複雑度に関する複雑度特徴量（例えば、図１の複雑度特徴量ＳＩＧ８に相当）を求める第２のステップと、前記画質劣化特徴量統合手段が、前記第２のステップにより求められた複雑度特徴量に基づいて、客観画質評価を行う第３のステップと、をコンピュータに実行させるためのプログラムを提案している。

この発明によれば、コンピュータを用いてプログラムを実行することで、符号化単位ブロックを四分木構造で再帰的に分割する際の分割回数に相当するブロック深度を、圧縮ビットストリームから求め、求めたブロック深度に基づいてフレームの複雑度に関する複雑度特徴量を求め、この複雑度特徴量に基づいて客観画質評価を行うこととした。このため、上述した効果と同様の効果を奏することができる。

本発明によれば、原画像と復号画像と予測残差信号とを用いることなく、主観画質を推定することができる。

本発明の一実施形態に係る客観画質評価装置のブロック図である。 本発明の一実施形態に係る客観画質評価装置が複雑度特徴量を求める際における、ＢＦＦ関数のｄｅｐｔｈに対する戻り値の一例を示す図である。 本発明の一実施形態に係る客観画質評価装置が備える時間的劣化特徴量算出部の処理を示すフローチャートである。 本発明の一実施形態に係る客観画質評価装置が備える時間的劣化特徴量算出部の処理を示すフローチャートである。 本発明の一実施形態に係る客観画質評価装置が備える時間的劣化特徴量算出部の処理を示すフローチャートである。 本発明の一実施形態に係る客観画質評価装置が時間的劣化特徴量を求める際における、ＢＦＦ関数のｄｅｐｔｈに対する戻り値の一例を示す図である。 回帰分析について説明するための図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

図１は、本発明の一実施形態に係る客観画質評価装置１のブロック図である。客観画質評価装置１は、圧縮符号化されたビットストリームＳＩＧ１を入力として客観画質評価を行って、客観評価尺度として統合品質情報ＳＩＧ１１を出力する。この客観画質評価装置１は、パラメータ解析部１０、複雑度特徴量算出部２０、時間的劣化特徴量算出部３０、ＱＰ特徴量算出部４０、および画質劣化特徴量統合部５０を備える。

［パラメータ解析部１０の動作］
パラメータ解析部１０は、複数の処理ブロックサイズが許容される圧縮符号化方式（例えば、非特許文献１に示されているH.265/HEVC）で圧縮符号化されたビットストリームＳＩＧ１を入力とする。このパラメータ解析部１０は、ビットストリームＳＩＧ１から符号化パラメータを求めて出力する。パラメータ解析部１０が求める符号化パラメータには、ブロック深度情報ＳＩＧ２と、ピクチャ情報ＳＩＧ３と、ＳＫＩＰフラグ情報ＳＩＧ４と、マージ符号化関連情報ＳＩＧ５と、動きベクトル情報ＳＩＧ６と、ＱＰ（量子化パラメータ）情報ＳＩＧ７と、が含まれる。

ブロック深度情報ＳＩＧ２は、符号化単位ブロックを四分木構造で再帰的に分割する際の分割回数に相当する、符号化ブロック（ＣＵ：Coding Unit）の深度（ｄｅｐｔｈ）情報や変換ブロック（ＴＵ：Transform Unit）の深度情報を含んでいる。

ピクチャ情報ＳＩＧ３は、処理フレームのピクチャの種類（Ｉピクチャ、Ｂピクチャ、Ｐピクチャ）を示す情報を含んでいる。

ＳＫＩＰフラグ情報ＳＩＧ４は、動きベクトルや変換係数を伝送しないモードであるスキップモードであるか否かを示す、ＣＵのスキップフラグ情報を含んでいる。

マージ符号化関連情報ＳＩＧ５は、差分動きベクトルを伝送しないマージ符号化に関係する情報を含んでおり、具体的には、予測ブロック（ＰＵ：Prediction Unit）のマージフラグ情報と、マージインデックス情報と、マージモードが適用されたＣＵ内のＰＵが有する参照フレームリストと、参照フレームインデックスと、を含んでいる。なお、マージ符号化とは、ブロック分割が過剰に発生してしまって動き情報が増大してしまうのを防止するために、空間方向や時間方向で近接するブロック間で動きベクトルを共有する符号化方法のことである。

動きベクトル情報ＳＩＧ６は、動きベクトルの向きおよび大きさに関する情報を含んでいる。

ＱＰ情報ＳＩＧ７は、ＣＵのブロックサイズごとのＱＰ値を含んでいる。

なお、符号化パラメータは、ビットストリームＳＩＧ１から直接抽出できる場合と、復号の課程で中間デコード情報として取得できる場合と、がある。本実施形態では、ビットストリームＳＩＧ１の種類を限定しないため、符号化パラメータを求める際には、ビットストリームＳＩＧ１の符号化方式に応じた方法を適用して、ビットストリームＳＩＧ１から符号化パラメータを求めることとする。

［複雑度特徴量算出部２０の動作］
圧縮符号化に起因する画質劣化の度合いは、上述のように、ビットレートが等しくても、テクスチャの複雑さが異なっていれば、異なってくる。そこで、複雑度特徴量算出部２０は、ブロック深度情報ＳＩＧ２と、ピクチャ情報ＳＩＧ３と、を入力とし、シーケンスの処理フレーム内のブロック分割の深度の分布によって画像内の複雑度を表し、複雑度特徴量ＳＩＧ８として出力する。

具体的には、複雑度特徴量算出部２０は、まず、フレームごとに、各ＣＵまたは各ＴＵの深度に応じて得られる特徴量を積算して積算特徴量とし、フレームごとの積算特徴量を所定値ａで平準化したものをフレーム複雑度Ｃ［ｉ］として求める（ただし、ｉは、フレーム番号を示す任意の整数）。次に、フレーム複雑度Ｃ［ｉ］を求める処理を、シーケンス全体に対して行う。これら処理は、以下の数式（１）で表すことができる。

なお、所定値ａは、予め定められた値であり、この所定値ａには、例えばビットレートの値や、ビットレートに応じて定まる値（例えば、ビットレートに正比例または反比例する値や、ビットレートに応じて段階的に変化する値など）や、「１」や「２」といった定数を適用することが可能である。所定値ａに「１」を適用した場合には、図７を用いて後述する回帰分析において、複雑度特徴量ＳＩＧ８とＱＰ特徴量ＳＩＧ１０との変数間で多重共線性の問題を緩和することが可能になり、所定値ａにビットレートの値を適用した場合と比べて客観評価値推定精度を向上できる場合がある。

数式（１）において、ｉはフレーム番号を示し、ｄｅｐはブロック深度を示し、ｂｉｔｒａｔｅはビットレートを示す。また、ＢＦＦ（）は、ブロック深度から得られるブロックサイズの大きさに応じて特徴量に重み付けするための関数を示す。ＢＦＦ関数のｄｅｐｔｈに対する戻り値ｂの一例を、図２に示す。

次に、複雑度特徴量算出部２０は、シーケンス中に画面内の複雑度が変わる状況がしばしば発生することを考慮して、フレーム複雑度Ｃ［ｉ］の中央値または平均値を求め、複雑度特徴量ＳＩＧ８として出力する。

なお、複雑度とは、テクスチャの複雑さの度合い、すなわち高周波成分を所定の割合以上含んでいるテクスチャの度合いを示すものとする。

また、複雑度特徴量算出部２０は、ピクチャ情報ＳＩＧ３に基づいて処理フレームのピクチャの種類を判別し、処理フレームがＩピクチャである場合にのみ、複雑度特徴量ＳＩＧ８を求めて出力するものとする。これは、処理フレームがＢピクチャである場合には、符号量の少ない理由が、予測性能が高いからなのか、それとも粗い圧縮符号化が行われたからなのかを、判別することができないためである。

［ＱＰ特徴量算出部４０の動作］
ＱＰ特徴量算出部４０は、ＱＰ情報ＳＩＧ７を入力とし、量子化の粗さを表す画質劣化特徴量としてＱＰ特徴量ＳＩＧ１０を求めて出力する。具体的には、ＱＰ特徴量算出部４０は、シーケンス内でのＱＰ情報ＳＩＧ７から得られる量子化ステップ幅の平均値を求め、ＱＰ特徴量ＳＩＧ１０として出力する。

［時間的劣化特徴量算出部３０の動作］
圧縮符号化に起因する画質劣化の原因としてフリッキングが存在しており、このフリッキングは、フレームの同位置で画素値変動が生じた際に発生し、フレームの平坦な領域で知覚されやすい。また、この平坦な領域が、時間方向と空間方向との両方で連続して存在する場合、エンコーダは、ＳＫＩＰモードやマージモードを選択することで符号量を節約することができる。ただし、このようなモードが選択された同一座標に存在するブロックでは、再生する順序における時間方向に隣接する２つのフレーム間で参照フレームが異なると、わずかに画素値が変化する場合が多い。特に、大きく分割されたブロックでＳＫＩＰモードおよびマージモードの両方が選択されるような平坦な領域では、わずかな画素値変動であっても、連続して広範囲に影響が及んでしまうため、劣化として知覚されやすくなる。

そこで、時間的劣化特徴量算出部３０は、ブロック深度情報ＳＩＧ２と、ピクチャ情報ＳＩＧ３と、ＳＫＩＰフラグ情報ＳＩＧ４と、マージ符号化関連情報ＳＩＧ５と、動きベクトル情報ＳＩＧ６と、を入力とし、フリッキングの発生に起因する品質劣化の知覚程度を表す尺度として時間的劣化特徴量ＳＩＧ９を求めて出力する。

図３、４は、ＣＵごとに行われる時間的劣化特徴量算出部３０における処理を示すフローチャートである。

ステップＳ１において、時間的劣化特徴量算出部３０は、処理フレームがＢピクチャであるか否かをピクチャ情報ＳＩＧ３に基づいて判別する。処理フレームがＢピクチャであると判別した場合には、ステップＳ２に処理を移し、処理フレームがＢピクチャではないと判別した場合には、図３、４に示した処理を終了する。

ステップＳ１の処理によれば、ステップＳ２以降の処理は、処理フレームがＢピクチャである場合にのみ行われることになる。これは、ステップＳ２以降の処理（具体的には、図５のステップＳ２３の処理）において、マージフラグ情報を参照するためである。

ステップＳ２において、時間的劣化特徴量算出部３０は、処理フレームを、参照元フレームとするとともに、処理フレームが参照するフレームを、参照先フレームとし、ステップＳ３に処理を移す。

ステップＳ３において、時間的劣化特徴量算出部３０は、図５を用いて後述する平坦領域推定処理を、参照元フレームに対して行って、ステップＳ４に処理を移す。

ステップＳ４において、時間的劣化特徴量算出部３０は、ＣＵがイントラブロックであるか否かを判別する。イントラブロックであると判別した場合には、図４のステップＳ８に処理を移し、イントラブロックではないと判別した場合、すなわちインターブロックであると判別した場合には、ステップＳ５に処理を移す。

ステップＳ５において、時間的劣化特徴量算出部３０は、図５を用いて後述する平坦領域推定処理を、参照元フレームに対して行った直後であるか否かを判別する。参照元フレームに対して行った直後であると判別した場合には、ステップＳ６に処理を移す。一方、参照元フレームに対して行った直後ではないと判別した場合、すなわち図４のステップＳ９において詳述する参照先フレームに対して行った直後であると判別した場合には、ステップＳ７に処理を移す。

ステップＳ６において、時間的劣化特徴量算出部３０は、参照元フレームを、参照元フレームが参照するフレームに更新し、ステップＳ３に処理を戻す。

ステップＳ７において、時間的劣化特徴量算出部３０は、参照先フレームを、参照先フレームが参照するフレームに更新し、図４のステップＳ９に処理を戻す。

図４に移って、ステップＳ８において、時間的劣化特徴量算出部３０は、ステップＳ５と同様に、図５を用いて後述する平坦領域推定処理を、参照元フレームに対して行った直後であるか否かを判別する。参照元フレームに対して行った直後であると判別した場合には、ステップＳ９に処理を移す。一方、参照先フレームに対して行った直後であると判別した場合には、ステップＳ１０に処理を移す。

ステップＳ９において、時間的劣化特徴量算出部３０は、図５を用いて後述する平坦領域推定処理を、参照先フレームに対して行って、ステップＳ４に処理を戻す。

ステップＳ１０において、時間的劣化特徴量算出部３０は、参照元フレームの参照フレーム番号と、参照先フレームの参照フレーム番号と、が異なるか否かを判別する。異なると判別した場合には、ステップＳ１１に処理を移し、等しいと判別した場合には、図３、４に示した処理を終了する。

ステップＳ１１において、時間的劣化特徴量算出部３０は、ブロック深度情報ＳＩＧ２から得られるブロックサイズの大きさに基づいて特徴量を求め、この特徴量をシーケンスの総フレーム数で除算して時間的劣化特徴量ＳＩＧ９とし、図３、４に示した処理を終了する。

図５は、上述の平坦領域推定処理のフローチャートである。この平坦領域推定処理は、ステップＳ３では参照元フレームに対して行われ、ステップＳ９では参照先フレームに対して行われる。

ステップＳ２１において、時間的劣化特徴量算出部３０は、ＣＵサイズまたはＴＵサイズをブロック深度情報ＳＩＧ２から取得し、ステップＳ２２に処理を移す。

ステップＳ２２において、時間的劣化特徴量算出部３０は、ステップＳ２１で取得したブロックサイズが予め定められたサイズよりも大きいか否かを判別する。ステップＳ２１で取得したブロックサイズが予め定められたサイズよりも大きいと判別した場合には、ステップＳ２３に処理を移し、ステップＳ２１で取得したブロックサイズが予め定められたサイズ以下であると判別した場合には、図３、４に示した処理を終了する。予め定められたサイズとは、例えば、ビットストリームＳＩＧ１に含まれる映像コンテンツの解像度がＨＤＴＶ解像度以上である場合には３２×３２とし、ビットストリームＳＩＧ１に含まれる映像コンテンツの解像度がＨＤＴＶ解像度未満である場合には１６×１６とする。なお、予め定められたサイズについては、ビットストリームＳＩＧ１に含まれる映像コンテンツの解像度に比例するように設定してもよい。

ステップＳ２３において、時間的劣化特徴量算出部３０は、ＳＫＩＰフラグ情報ＳＩＧ４に含まれるスキップフラグと、マージ符号化関連情報ＳＩＧ５に含まれるマージフラグと、の双方が立っている領域が存在するか否かを判別する。存在すると判別した場合には、ステップＳ２４に処理を移し、存在しないと判別した場合には、図３、４に示した処理を終了する。

ステップＳ２４において、時間的劣化特徴量算出部３０は、ＳＫＩＰフラグ情報ＳＩＧ４に含まれるスキップフラグと、マージ符号化関連情報ＳＩＧ５に含まれるマージフラグと、の双方が立っているブロックを、特定ブロックとし、ステップＳ２５に処理を移す。

ステップＳ２５において、時間的劣化特徴量算出部３０は、特定ブロックに参照されるブロックが、特定ブロックを包含する位置に存在するか否かを判別する。存在すると判別した場合には、ステップＳ２６に処理を移し、存在しないと判別した場合には、図３、４に示した処理を終了する。

ステップＳ２６において、時間的劣化特徴量算出部３０は、動きベクトル情報ＳＩＧ６に基づいて、動きベクトルの大きさが予め定められた値より小さいか否かを判別する。小さいと判別した場合には、ステップＳ４に処理を戻し、小さくないと判別した場合には、図３、４に示した処理を終了する。

時間的劣化特徴量ＳＩＧ９をＴで表すこととすると、時間的劣化特徴量Ｔは、以下の数式（２）で表すことができる。

数式（２）において、ｄｅｐはブロック深度を示し、ｆ_ｎｕｍはシーケンスの総フレーム数を示す。また、ＢＦＦ（）は、ブロック深度から得られるブロックサイズの大きさに応じて特徴量に重み付けするための関数を示す。ＢＦＦ関数のｄｅｐｔｈに対する戻り値ｂの一例を、図６に示す。

［画質劣化特徴量統合部５０の動作］
画質劣化特徴量統合部５０は、複雑度特徴量ＳＩＧ８と、時間的劣化特徴量ＳＩＧ９と、ＱＰ特徴量ＳＩＧ１０と、を入力とし、これら特徴量を統合して客観評価値ＤＭＯＳを求め、統合品質情報ＳＩＧ１１として出力する。客観評価値ＤＭＯＳは、以下の数式（３）により求めることができる。

数式（３）において、Ｃは複雑度特徴量を示し、ＱはＱＰ特徴量を示し、Ｔは時間的劣化特徴量を示す。また、ｆ（）は、予め定められた関数を示す。

なお、主観評価値と客観評価値ＤＭＯＳとの相関については図７を用いて後に詳述するが、これらの相関を示す最適な近似式は、評価対象の画像フォーマットや圧縮符号化方式や符号化ビットレートなどの条件によって異なってくる。そこで、数式（３）のｆ（）として、これら条件のもとで主観評価値と客観評価値ＤＭＯＳとの相関が最大となる関数形が定められる。ｆ（）の一例として、ｗ（ｉ＝０〜２）を重み係数として定義し、以下の数式（４）のように重み付き和で表す方法がある。

なお、上述の主観評価値と客観評価値ＤＭＯＳとの相関は、複数の評価映像を用いて得られた客観評価値ＤＭＯＳの系列および主観評価値の系列を、回帰分析することによって求めることができる。この回帰分析について、図７を用いて以下に説明する。

図７において、縦軸は、主観評価値を示し、横軸は、客観評価値ＤＭＯＳを示す。複数の評価映像のそれぞれについて、評価映像を用いることで得られた主観評価値と客観評価値ＤＭＯＳとを図５に示すようにプロットすると、これら主観評価値と客観評価値ＤＭＯＳとの関係は、回帰曲線で近似することができる。回帰曲線には、一次関数だけでなく、高次多項式やロジスティック関数などの非線形関数も適用できる。客観画質評価の目的は、主観画質の推定であり、回帰曲線による近似の精度が高くなるに従って、すなわち図５のグラフ上の各プロット点と回帰曲線との距離が近くなるに従って、主観画質の推定精度が高くなる。

以上の客観画質評価装置１によれば、以下の効果を奏することができる。

客観画質評価装置１は、ビットストリームＳＩＧ１のみから、複雑度特徴量ＳＩＧ８と、時間的劣化特徴量ＳＩＧ９と、ＱＰ特徴量ＳＩＧ１０と、を求め、客観画質評価を行うことができる。このため、原画像と復号画像と予測残差信号とを用いることなく、主観画質を推定することができる。

また、客観画質評価装置１は、複雑度特徴量算出部２０により、パラメータ解析部１０により求められたブロック深度情報ＳＩＧ２から得られるブロックサイズの大きさに応じて複雑度特徴量に重み付けするため、ブロックサイズの大きさの違いを、主観画質の推定に反映させることができる。

また、客観画質評価装置１は、時間的劣化特徴量算出部３０によるステップＳ２２からＳ２６およびステップＳ１０の処理により、平坦な領域を推定することができる。したがって、平坦な領域で知覚されやすい性質を有するフリッキングについて、このフリッキングの発生に起因する品質劣化の知覚度を、適切に求めることができる。

また、客観画質評価装置１は、時間的劣化特徴量算出部３０により、ステップＳ９の処理を行った後に、ステップＳ３に処理を戻す。このため、参照先フレームに存在するブロックのうち、参照元フレームにおいて特定ブロックが存在している座標を含むものについて、平坦な領域であるか否かを判別し、平坦な領域であると判別した場合には、参照先フレームに参照されるフレームの情報を辿ることができる。したがって、フリッキングの発生に影響する平坦な領域を、適切に推定することができる。

なお、本発明の客観画質評価装置１の処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを客観画質評価装置１に読み込ませ、実行することによって、本発明を実現できる。

ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、客観画質評価装置１に設けられたプロセッサによって行われる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した客観画質評価装置１から、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を客観画質評価装置１にすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の実施形態では、ビットストリームＳＩＧ１を圧縮符号化する符号化方式として、非特許文献１に示されているH.265/HEVCを例に挙げたが、これに限らず、H.265/HEVCと同等の符号化パラメータを有する符号化方式で、ビットストリームＳＩＧ１が圧縮符号化されているものとしてもよい。

また、上述の実施形態では、客観画質評価装置１は、特徴量を求める構成として、複雑度特徴量算出部２０、時間的劣化特徴量算出部３０、およびＱＰ特徴量算出部４０を備えることとした。しかし、これに限らず、複雑度特徴量算出部２０だけを備えていたり、複雑度特徴量算出部２０および時間的劣化特徴量算出部３０だけを備えていたり、複雑度特徴量算出部２０およびＱＰ特徴量算出部４０だけを備えていたりしてもよい。

また、上述の実施形態において、客観画質評価装置１から統合品質情報ＳＩＧ１１として出力される客観評価値ＤＭＯＳについて、監視部により監視してもよい。具体的には、客観評価値ＤＭＯＳを記憶したり、客観評価値ＤＭＯＳに基づいて映像品質が予め定められた品質よりも悪いか否かを判別し、悪いと判別した場合にその旨を外部に報知したりしてもよい。

１・・・客観画質評価装置
１０・・・パラメータ解析部
２０・・・複雑度特徴量算出部
３０・・・時間的劣化特徴量算出部
４０・・・ＱＰ特徴量算出部
５０・・・画質劣化特徴量統合部

Claims (6)

1. 映像の主観画質を推定する客観画質評価装置であって、
   符号化単位ブロックを四分木構造で再帰的に分割する際の分割回数に相当するブロック深度を、圧縮ビットストリームから求めるパラメータ解析手段と、
   前記パラメータ解析手段により求められたブロック深度に基づいて、フレームの複雑度に関する複雑度特徴量を求める複雑度特徴量算出手段と、
   前記複雑度特徴量算出手段により求められた複雑度特徴量に基づいて、客観画質評価を行う画質劣化特徴量統合手段と、を備えることを特徴とする客観画質評価装置。
2. 前記複雑度特徴量算出手段は、前記パラメータ解析手段により求められたブロック深度から得られるブロックサイズの大きさに応じて、前記複雑度特徴量に重み付けすることを特徴とする請求項１に記載の客観画質評価装置。
3. 前記パラメータ解析手段は、動きベクトルおよび変換係数を伝送しないモードであるか否かを示すスキップフラグ情報と、差分動きベクトルを伝送しない符号化に関する情報を示すマージ符号化関連情報と、動きベクトルと、を前記圧縮ビットストリームから求め、
   前記パラメータ解析手段により求められたブロック深度、スキップフラグ情報、マージ符号化関連情報、および動きベクトルに基づいて、フリッキングの発生に起因する品質劣化の知覚度に関する時間的劣化特徴量を求める時間的劣化特徴量算出手段を備え、
   前記画質劣化特徴量統合手段は、前記複雑度特徴量算出手段により求められた複雑度特徴量と、前記時間的劣化特徴量算出手段により求められた時間的劣化特徴量と、に基づいて客観画質評価を行うことを特徴とする請求項１または２に記載の客観画質評価装置。
4. 前記時間的劣化特徴量算出手段は、
   前記パラメータ解析手段により求められたブロック深度から得られるブロックサイズが、前記圧縮ビットストリームに含まれる映像コンテンツの解像度に応じて定まるブロックサイズよりも大きいことを示す第１の条件と、
   前記パラメータ解析手段により求められたスキップフラグ情報が、動きベクトルおよび変換係数を伝送しないモードであることを示す第２の条件と、
   前記パラメータ解析手段により求められたマージ符号化関連情報が、差分動きベクトルを伝送しない符号化であることを示す第３の条件と、
   の３つを全て満たすブロックを特定ブロックとして求めるとともに、
   前記特定ブロックに参照されるブロックが、当該特定ブロックを包含する位置に存在することを示す第４の条件と、
   前記パラメータ解析手段により求められた動きベクトルの大きさが、予め定められた大きさよりも小さいことを示す第５の条件と、
   前記特定ブロックを含む参照元フレームが参照するフレームと、当該特定ブロックに参照されるブロックを含む参照先フレームが参照するフレームと、が異なることを示す第６の条件と、
   の３つを全て満たす場合に、前記パラメータ解析手段により求められた前記特定ブロックのブロック深度から得られるブロックサイズの大きさに基づいて前記時間的劣化特徴量を求めることを特徴とする請求項３に記載の客観画質評価装置。
5. パラメータ解析手段、複雑度特徴量算出手段、および画質劣化特徴量統合手段を備え、映像の主観画質を推定する客観画質評価装置における客観画質評価方法であって、
   前記パラメータ解析手段が、符号化単位ブロックを四分木構造で再帰的に分割する際の分割回数に相当するブロック深度を、圧縮ビットストリームから求める第１のステップと、
   前記複雑度特徴量算出手段が、前記第１のステップにより求められたブロック深度に基づいて、フレームの複雑度に関する複雑度特徴量を求める第２のステップと、
   前記画質劣化特徴量統合手段が、前記第２のステップにより求められた複雑度特徴量に基づいて、客観画質評価を行う第３のステップと、を備えることを特徴とする客観画質評価方法。
6. パラメータ解析手段、複雑度特徴量算出手段、および画質劣化特徴量統合手段を備え、映像の主観画質を推定する客観画質評価装置における客観画質評価方法を、コンピュータに実行させるためのプログラムであって、
   前記パラメータ解析手段が、符号化単位ブロックを四分木構造で再帰的に分割する際の分割回数に相当するブロック深度を、圧縮ビットストリームから求める第１のステップと、
   前記複雑度特徴量算出手段が、前記第１のステップにより求められたブロック深度に基づいて、フレームの複雑度に関する複雑度特徴量を求める第２のステップと、
   前記画質劣化特徴量統合手段が、前記第２のステップにより求められた複雑度特徴量に基づいて、客観画質評価を行う第３のステップと、をコンピュータに実行させるためのプログラム。

Images