JP6253944B2 - 客観画質評価装置、客観画質評価方法、およびプログラム - Google Patents

Description

本発明は、客観画質評価装置、客観画質評価方法、およびプログラムに関する。

従来、デジタル映像を蓄積したり伝送したりする際に、圧縮符号化による情報量の削減が行われる。圧縮符号化の圧縮形式には、可逆圧縮と非可逆圧縮とが存在するが、デジタル映像の圧縮符号化では、非可逆圧縮が行われることが多い。非可逆圧縮とは、符号化情報（エンコードされたビットストリーム）を復号した際に符号化前の原画像を完全には再構築できないが、視覚的な劣化を十分に抑える、すなわち画質を十分に高く保つという条件のもとで、情報量を削減する圧縮形式である。非可逆圧縮の典型的な例としては、MPEG-2や、H.264/AVCや、H.265/HEVCなどがある。

ところが、ビットレートが低下するに従って、視覚的な劣化が目立つようになり、画質を保つのが難しくなる。また、圧縮率が同一であっても、画面内の物体の精細さや動きの大きさや複雑さなど、映像の特徴に応じて、視覚的に認識される劣化の度合いが異なってくる。そこで、非可逆圧縮に伴う画質劣化を定量的に測定できる技術が求められている。

従来の画質劣化の測定では、主観評価と呼ばれる手法が用いられていた。この主観評価では、２０名程度の被験者に対して映像を提示し、これら被験者のそれぞれに主観により評点を付けてもらい、これら評点に対して平均を求めるといった統計的な処理を施して得られた数値を、映像の品質として定義する。主観評価については、例えばITU-R BT.500-11や、ITU-T P.910に規定されている。

しかし、主観評価は、上述のように厳しい視聴条件を満たさなければならなかったり、多数の被験者を集める必要があったりするなど、映像品質の評価を容易に行うことのできる手法ではなかった。

そこで、映像信号を分析することによって、映像の特徴を示す１つまたは複数の数値的指標を求め、これら数値的指標から映像の品質を求める、客観画質評価が検討されている。客観画質評価は、主観画質評価の代わりに用いられることを目的としており、客観画質評価により求められる映像の品質は、主観画質を推定したものになる。

映像の客観画質評価は、主に、ＦＲ（Full Reference）型、ＲＲ（Reduced Reference）型、ＮＲ（No Reference）型の３種類に分類される。これら３種類の中でも、ＮＲ型の客観画質評価は、原画像を用いず、復号画像のみを用いるので、伝送される映像を監視する際に有効である。このＮＲ型の客観画質評価は、例えば特許文献１に示されている。

特開２０１１−１９９３８０号公報

特許文献１に示されているＮＲ型の客観画質評価は、圧縮ビットストリームと、復号過程で生成される中間デコード情報と、のみから主観画質を推定する。

しかし、特許文献１に示されているＮＲ型の客観画質評価は、例えばMPEG-2やH.264/AVCのような、固定的な処理ブロックサイズしか許容されていない符号化技術で圧縮符号化された映像を前提としている。このため、例えばH.265/HEVCのような、予測ブロックや変換ブロックに様々なブロックサイズが許容される符号化技術により圧縮符号化された映像に対しては、適用できなかった。

そこで、本発明は、上述の課題を鑑みてなされたものであり、複数の処理ブロックサイズが許容される符号化技術で圧縮符号化された映像の主観画質を、ビットストリーム解析に基づく画質評価方式により推定することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。
（１） 本発明は、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置であって、符号化ブロックの量子化パラメータ（例えば、図１の量子化パラメータ情報ＳＩＧ２に相当）を圧縮ビットストリーム（例えば、図１のビットストリームＳＩＧ１に相当）から求める第１のパラメータ解析手段（例えば、図１のパラメータ解析部１０に相当）と、前記第１のパラメータ解析手段により求められた符号化ブロックごとの量子化パラメータの平均値を、符号化ブロックのブロックサイズごとに求める量子化パラメータ平均値算出手段（例えば、図１の量子化パラメータ平均値算出部２０に相当）と、を備えることを特徴とする客観画質評価装置を提案している。

この発明によれば、符号化ブロックの量子化パラメータを圧縮ビットストリームから求め、求めた符号化ブロックごとの量子化パラメータの平均値を、符号化ブロックのブロックサイズごとに求めることとした。

このため、圧縮ビットストリームのみから、符号化ブロックのブロックサイズごとに量子化パラメータの平均値を求めることができる。したがって、求めた符号化ブロックのブロックサイズごとの量子化パラメータの平均値を、画質劣化特徴量として用いて客観画質評価を行うことで、複数の処理ブロックサイズが許容される符号化技術で圧縮符号化された映像の主観画質を、ビットストリーム解析に基づく画質評価方式により推定することができる。

（２） 本発明は、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置であって、直交変換ブロックの直交変換係数（例えば、図１の変換係数ＳＩＧ３に相当）を圧縮ビットストリーム（例えば、図１のビットストリームＳＩＧ１に相当）から求める第２のパラメータ解析手段（例えば、図１のパラメータ解析部１０に相当）と、処理対象の直交変換ブロックのブロック歪特徴量（例えば、図１の空間的劣化特徴量ＳＩＧ７に相当）を求める空間的劣化特徴量算出手段（例えば、図１の空間的劣化特徴量算出部３０に相当）と、を備え、前記空間的劣化特徴量算出手段は、前記第２のパラメータ解析手段より求められた直交変換ブロックごとの直交変換係数を用いて、処理対象の直交変換ブロックと、当該処理対象の直交変換ブロックに隣接する直交変換ブロックのそれぞれと、の間で予測残差に基づくブロック歪特徴量を算出し、前記隣接する直交変換ブロックごとに算出したブロック歪特徴量について、当該隣接する直交変換ブロックのブロックサイズに応じて重み付け和を算出して、前記処理対象の直交変換ブロックのブロック歪特徴量とすることを特徴とする客観画質評価装置を提案している。

この発明によれば、直交変換ブロックの直交変換係数を圧縮ビットストリームから求めることとした。また、求めた直交変換ブロックごとの直交変換係数を用いて、処理対象の直交変換ブロックと、処理対象の直交変換ブロックに隣接する直交変換ブロックのそれぞれと、の間で予測残差に基づくブロック歪特徴量を算出することとした。また、隣接する直交変換ブロックごとに算出したブロック歪特徴量について、隣接する直交変換ブロックのブロックサイズに応じて重み付け和を算出して、処理対象の直交変換ブロックのブロック歪特徴量とすることとした。

このため、圧縮ビットストリームのみから、処理対象の直交変換ブロックのブロック歪特徴量を、直交変換ブロックのブロックサイズを考慮して求めることができる。したがって、求めた処理対象の直交変換ブロックのブロック歪特徴量を、画質劣化特徴量として用いて客観画質評価を行うことで、複数の処理ブロックサイズが許容される符号化技術で圧縮符号化された映像の主観画質を、ビットストリーム解析に基づく画質評価方式により推定することができる。

（３） 本発明は、（２）の客観画質評価装置について、前記空間的劣化特徴量算出手段は、前記隣接する直交変換ブロックごとに算出するブロック歪特徴量として、前記処理対象の直交変換ブロックと、当該処理対象の直交変換ブロックに隣接する直交変換ブロックのそれぞれと、の間で予測残差の直流成分の差分二乗平均値を算出することを特徴とする客観画質評価装置を提案している。

この発明によれば、（２）の客観画質評価装置において、隣接する直交変換ブロックごとに算出するブロック歪特徴量として、処理対象の直交変換ブロックと、処理対象の直交変換ブロックに隣接する直交変換ブロックのそれぞれと、の間で予測残差の直流成分の差分二乗平均値を算出することとした。

このため、処理対象の直交変換ブロックと、この直交変換ブロックに隣接する直交変換ブロックと、の間で算出した予測残差の直流成分の差分二乗平均値を用いて、客観画質評価を行うことができる。

（４） 本発明は、（２）または（３）の客観画質評価装置について、前記空間的劣化特徴量算出手段は、前記隣接する直交変換ブロックごとに算出したブロック歪特徴量の重み付け和を算出する際の重み付け係数を、前記処理対象の直交変換ブロックの各辺のうち当該隣接する直交変換ブロックに接するものの長さに応じて決定することを特徴とする客観画質評価装置を提案している。

この発明によれば、（２）または（３）の客観画質評価装置において、隣接する直交変換ブロックごとに算出したブロック歪特徴量の重み付け和を算出する際の重み付け係数を、処理対象の直交変換ブロックの各辺のうち隣接する直交変換ブロックに接するものの長さに応じて決定することとした。

このため、直交変換ブロックのブロックサイズを考慮して、隣接する直交変換ブロックごとのブロック歪特徴量から処理対象の直交変換ブロックのブロック歪特徴量を求めることができる。

（５） 本発明は、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置であって、直交変換ブロックの直交変換係数（例えば、図１の変換係数ＳＩＧ３に相当）を圧縮ビットストリーム（例えば、図１のビットストリームＳＩＧ１に相当）から求める第３のパラメータ解析手段（例えば、図１のパラメータ解析部１０に相当）と、処理対象の動き補償予測ブロックのフリッキング特徴量（例えば、図１の時間的劣化特徴量ＳＩＧ８に相当）を求める時間的劣化特徴量算出手段（例えば、図１の時間的劣化特徴量算出部４０に相当）と、を備え、前記時間的劣化特徴量算出手段は、処理対象の動き補償予測ブロックに少なくとも一部が含まれている直交変換ブロックのそれぞれのフリッキング特徴量を、前記第３のパラメータ解析手段により求められた当該直交変換ブロックの直交変換係数に基づいて算出し、前記直交変換ブロックごとに算出したフリッキング特徴量について、当該直交変換ブロックのうち前記処理対象の動き補償予測ブロックに属している領域のサイズに応じて重み付け和を算出して、当該処理対象の動き補償予測ブロックのフリッキング特徴量とすることを特徴とする客観画質評価装置を提案している。

この発明によれば、直交変換ブロックの直交変換係数を圧縮ビットストリームから求めることとした。また、求めた直交変換ブロックの直交変換係数に基づいて、処理対象の動き補償予測ブロックに少なくとも一部が含まれている直交変換ブロックのそれぞれのフリッキング特徴量を算出することとした。また、直交変換ブロックごとに算出したフリッキング特徴量について、直交変換ブロックのうち処理対象の動き補償予測ブロックに属している領域のサイズに応じて重み付け和を算出して、処理対象の動き補償予測ブロックのフリッキング特徴量とすることとした。

このため、圧縮ビットストリームのみから、処理対象の動き補償予測ブロックのフリッキング特徴量を、動き補償予測ブロックおよび直交変換ブロックの大きさを考慮して求めることができる。したがって、求めた処理対象の動き補償予測ブロックのフリッキング特徴量を、画質劣化特徴量として用いて客観画質評価を行うことで、複数の処理ブロックサイズが許容される符号化技術で圧縮符号化された映像の主観画質を、ビットストリーム解析に基づく画質評価方式により推定することができる。

（６） 本発明は、（１）の量子化パラメータ平均値算出手段により求められた量子化パラメータの平均値と、（２）から（４）のいずれかの空間的劣化特徴量算出手段により求められた処理対象の直交変換ブロックのブロック歪特徴量と、（５）の時間的劣化特徴量算出手段により求められた処理対象の動き補償予測ブロックのフリッキング特徴量と、に基づいて、客観画質を示す客観評価値を求める画質劣化特徴量統合手段（例えば、図１の画質劣化特徴量統合部５０に相当）を備えることを特徴とする客観画質評価装置を提案している。

この発明によれば、（１）の量子化パラメータ平均値算出手段により求められた量子化パラメータの平均値と、（２）から（４）のいずれかの空間的劣化特徴量算出手段により求められた処理対象の直交変換ブロックのブロック歪特徴量と、（５）の時間的劣化特徴量算出手段により求められた処理対象の動き補償予測ブロックのフリッキング特徴量と、に基づいて、客観画質を示す客観評価値を求めることとした。

このため、量子化パラメータの平均値と、処理対象の直交変換ブロックのブロック歪特徴量と、処理対象の動き補償予測ブロックのフリッキング特徴量と、を画質劣化特徴量として用いて客観画質評価を行って、客観評価値を求めることができる。

（７） 本発明は、（６）の客観画質評価装置について、前記画質劣化特徴量統合手段は、（１）の量子化パラメータ平均値算出手段により求められた量子化パラメータの平均値と、（２）から（４）のいずれかの空間的劣化特徴量算出手段により求められた処理対象の直交変換ブロックのブロック歪特徴量と、（５）の時間的劣化特徴量算出手段により求められた処理対象の動き補償予測ブロックのフリッキング特徴量と、の重み付け和により、前記客観評価値を求めることを特徴とする客観画質評価装置を提案している。

この発明によれば、（６）の客観画質評価装置において、（１）の量子化パラメータ平均値算出手段により求められた量子化パラメータの平均値と、（２）から（４）のいずれかの空間的劣化特徴量算出手段により求められた処理対象の直交変換ブロックのブロック歪特徴量と、（５）の時間的劣化特徴量算出手段により求められた処理対象の動き補償予測ブロックのフリッキング特徴量と、の重み付け和により、客観評価値を求めることとした。

このため、重み付け和を算出する際の重み付け係数を、主観評価値と客観評価値との相関が最大になるように設定することで、客観評価値の精度を向上させて、主観画質の推定精度を向上させることができる。

（８） 本発明は、（６）の客観画質評価装置について、前記画質劣化特徴量統合手段は、（１）の量子化パラメータ平均値算出手段により求められた量子化パラメータの平均値と、（２）から（４）のいずれかの空間的劣化特徴量算出手段により求められた処理対象の直交変換ブロックのブロック歪特徴量と、（５）の時間的劣化特徴量算出手段により求められた処理対象の動き補償予測ブロックのフリッキング特徴量と、のそれぞれを予め定められた第１の値でべき乗したものの重み付け和を、予め定められた第２の値でべき乗して、前記客観評価値を求めることを特徴とする客観画質評価装置を提案している。

この発明によれば、（１）の量子化パラメータ平均値算出手段により求められた量子化パラメータの平均値と、（２）から（４）のいずれかの空間的劣化特徴量算出手段により求められた処理対象の直交変換ブロックのブロック歪特徴量と、（５）の時間的劣化特徴量算出手段により求められた処理対象の動き補償予測ブロックのフリッキング特徴量と、のそれぞれを予め定められた第１の値でべき乗したものの重み付け和を、予め定められた第２の値でべき乗して、客観評価値を求めることとした。

このため、重み付け和を算出する際の重み付け係数を、主観評価値と客観評価値との相関が最大になるように設定することで、客観評価値の精度を向上させて、主観画質の推定精度を向上させることができる。

（９） 本発明は、（６）の客観画質評価装置について、前記画質劣化特徴量統合手段は、（１）の量子化パラメータ平均値算出手段により求められた量子化パラメータの平均値と、（２）から（４）のいずれかの空間的劣化特徴量算出手段により求められた処理対象の直交変換ブロックのブロック歪特徴量と、（５）の時間的劣化特徴量算出手段により求められた処理対象の動き補償予測ブロックのフリッキング特徴量と、のそれぞれを処理ブロックサイズに応じて重み付けした和を算出して、前記客観評価値を求めることを特徴とする客観画質評価装置を提案している。

この発明によれば、（６）の客観画質評価装置において、（１）の量子化パラメータ平均値算出手段により求められた量子化パラメータの平均値と、（２）から（４）のいずれかの空間的劣化特徴量算出手段により求められた処理対象の直交変換ブロックのブロック歪特徴量と、（５）の時間的劣化特徴量算出手段により求められた処理対象の動き補償予測ブロックのフリッキング特徴量と、のそれぞれを処理ブロックサイズに応じて重み付けした和を算出して、客観評価値を求めることとした。

このため、重み付け和を算出する際の重み付け係数を、処理ブロックサイズを考慮して決定することができるので、客観評価値の精度を向上させて、主観画質の推定精度を向上させることができる。

（１０） 本発明は、第１のパラメータ解析手段（例えば、図１のパラメータ解析部１０に相当）および量子化パラメータ平均値算出手段（例えば、図１の量子化パラメータ平均値算出部２０に相当）を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置における客観画質評価方法であって、前記第１のパラメータ解析手段が、符号化ブロックの量子化パラメータ（例えば、図１の量子化パラメータ情報ＳＩＧ２に相当）を圧縮ビットストリーム（例えば、図１のビットストリームＳＩＧ１に相当）から求める第１のステップと、前記量子化パラメータ平均値算出手段が、前記第１のステップで求められた符号化ブロックごとの量子化パラメータの平均値を、符号化ブロックのブロックサイズごとに求める第２のステップと、を備えることを特徴とする客観画質評価方法を提案している。

この発明によれば、符号化ブロックの量子化パラメータを圧縮ビットストリームから求め、求めた符号化ブロックごとの量子化パラメータの平均値を、符号化ブロックのブロックサイズごとに求めることとした。このため、上述した効果と同様の効果を奏することができる。

（１１） 本発明は、第２のパラメータ解析手段（例えば、図１のパラメータ解析部１０に相当）および空間的劣化特徴量算出手段（例えば、図１の空間的劣化特徴量算出部３０に相当）を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置における客観画質評価方法であって、前記第２のパラメータ解析手段が、直交変換ブロックの直交変換係数（例えば、図１の変換係数ＳＩＧ３に相当）を圧縮ビットストリーム（例えば、図１のビットストリームＳＩＧ１に相当）から求める第１のステップと、前記空間的劣化特徴量算出手段が、処理対象の直交変換ブロックのブロック歪特徴量（例えば、図１の空間的劣化特徴量ＳＩＧ７に相当）を求める第２のステップと、を備え、前記第２のステップでは、前記空間的劣化特徴量算出手段が、前記第１のステップで求められた直交変換ブロックごとの直交変換係数を用いて、処理対象の直交変換ブロックと、当該処理対象の直交変換ブロックに隣接する直交変換ブロックのそれぞれと、の間で予測残差に基づくブロック歪特徴量を算出し、前記隣接する直交変換ブロックごとに算出したブロック歪特徴量について、当該隣接する直交変換ブロックのブロックサイズに応じて重み付け和を算出して、前記処理対象の直交変換ブロックのブロック歪特徴量とすることを特徴とする客観画質評価方法を提案している。

この発明によれば、直交変換ブロックの直交変換係数を圧縮ビットストリームから求めることとした。また、求めた直交変換ブロックごとの直交変換係数を用いて、処理対象の直交変換ブロックと、処理対象の直交変換ブロックに隣接する直交変換ブロックのそれぞれと、の間で予測残差に基づくブロック歪特徴量を算出することとした。また、隣接する直交変換ブロックごとに算出したブロック歪特徴量について、隣接する直交変換ブロックのブロックサイズに応じて重み付け和を算出して、処理対象の直交変換ブロックのブロック歪特徴量とすることとした。このため、上述した効果と同様の効果を奏することができる。

（１２） 本発明は、第３のパラメータ解析手段（例えば、図１のパラメータ解析部１０に相当）および時間的劣化特徴量算出手段（例えば、図１の時間的劣化特徴量算出部４０に相当）を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置における客観画質評価方法であって、前記第３のパラメータ解析手段が、直交変換ブロックの直交変換係数（例えば、図１の変換係数ＳＩＧ３に相当）を圧縮ビットストリーム（例えば、図１のビットストリームＳＩＧ１に相当）から求める第１のステップと、前記時間的劣化特徴量算出手段が、処理対象の動き補償予測ブロックのフリッキング特徴量（例えば、図１の時間的劣化特徴量ＳＩＧ８に相当）を求める第２のステップと、を備え、前記第２のステップでは、前記時間的劣化特徴量算出手段が、処理対象の動き補償予測ブロックに少なくとも一部が含まれている直交変換ブロックのそれぞれのフリッキング特徴量を、前記第１のステップで求められた当該直交変換ブロックの直交変換係数に基づいて算出し、前記直交変換ブロックごとに算出したフリッキング特徴量について、当該直交変換ブロックのうち前記処理対象の動き補償予測ブロックに属している領域のサイズに応じて重み付け和を算出して、当該処理対象の動き補償予測ブロックのフリッキング特徴量とすることを特徴とする客観画質評価方法を提案している。

この発明によれば、直交変換ブロックの直交変換係数を圧縮ビットストリームから求めることとした。また、求めた直交変換ブロックの直交変換係数に基づいて、処理対象の動き補償予測ブロックに少なくとも一部が含まれている直交変換ブロックのそれぞれのフリッキング特徴量を算出することとした。また、直交変換ブロックごとに算出したフリッキング特徴量について、直交変換ブロックのうち処理対象の動き補償予測ブロックに属している領域のサイズに応じて重み付け和を算出して、処理対象の動き補償予測ブロックのフリッキング特徴量とすることとした。このため、上述した効果と同様の効果を奏することができる。

（１３） 本発明は、第１のパラメータ解析手段（例えば、図１のパラメータ解析部１０に相当）および量子化パラメータ平均値算出手段（例えば、図１の量子化パラメータ平均値算出部２０に相当）を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置における客観画質評価方法を、コンピュータに実行させるためのプログラムであって、前記第１のパラメータ解析手段が、符号化ブロックの量子化パラメータ（例えば、図１の量子化パラメータ情報ＳＩＧ２に相当）を圧縮ビットストリーム（例えば、図１のビットストリームＳＩＧ１に相当）から求める第１のステップと、前記量子化パラメータ平均値算出手段が、前記第１のステップで求められた符号化ブロックごとの量子化パラメータの平均値を、符号化ブロックのブロックサイズごとに求める第２のステップと、をコンピュータに実行させるためのプログラムを提案している。

この発明によれば、コンピュータを用いてプログラムを実行することで、符号化ブロックの量子化パラメータを圧縮ビットストリームから求め、求めた符号化ブロックごとの量子化パラメータの平均値を、符号化ブロックのブロックサイズごとに求めることとした。このため、上述した効果と同様の効果を奏することができる。

（１４） 本発明は、第２のパラメータ解析手段（例えば、図１のパラメータ解析部１０に相当）および空間的劣化特徴量算出手段（例えば、図１の空間的劣化特徴量算出部３０に相当）を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置における客観画質評価方法を、コンピュータに実行させるためのプログラムであって、前記第２のパラメータ解析手段が、直交変換ブロックの直交変換係数（例えば、図１の変換係数ＳＩＧ３に相当）を圧縮ビットストリーム（例えば、図１のビットストリームＳＩＧ１に相当）から求める第１のステップと、前記空間的劣化特徴量算出手段が、処理対象の直交変換ブロックのブロック歪特徴量（例えば、図１の空間的劣化特徴量ＳＩＧ７に相当）を求める第２のステップと、をコンピュータに実行させ、前記第２のステップでは、前記空間的劣化特徴量算出手段が、前記第１のステップで求められた直交変換ブロックごとの直交変換係数を用いて、処理対象の直交変換ブロックと、当該処理対象の直交変換ブロックに隣接する直交変換ブロックのそれぞれと、の間で予測残差に基づくブロック歪特徴量を算出し、前記隣接する直交変換ブロックごとに算出したブロック歪特徴量について、当該隣接する直交変換ブロックのブロックサイズに応じて重み付け和を算出して、前記処理対象の直交変換ブロックのブロック歪特徴量とするためのプログラムを提案している。

この発明によれば、コンピュータを用いてプログラムを実行することで、直交変換ブロックの直交変換係数を圧縮ビットストリームから求めることとした。また、求めた直交変換ブロックごとの直交変換係数を用いて、処理対象の直交変換ブロックと、処理対象の直交変換ブロックに隣接する直交変換ブロックのそれぞれと、の間で予測残差に基づくブロック歪特徴量を算出することとした。また、隣接する直交変換ブロックごとに算出したブロック歪特徴量について、隣接する直交変換ブロックのブロックサイズに応じて重み付け和を算出して、処理対象の直交変換ブロックのブロック歪特徴量とすることとした。このため、上述した効果と同様の効果を奏することができる。

（１５） 本発明は、第３のパラメータ解析手段（例えば、図１のパラメータ解析部１０に相当）および時間的劣化特徴量算出手段（例えば、図１の時間的劣化特徴量算出部４０に相当）を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置における客観画質評価方法を、コンピュータに実行させるためのプログラムであって、前記第３のパラメータ解析手段が、直交変換ブロックの直交変換係数（例えば、図１の変換係数ＳＩＧ３に相当）を圧縮ビットストリーム（例えば、図１のビットストリームＳＩＧ１に相当）から求める第１のステップと、前記時間的劣化特徴量算出手段が、処理対象の動き補償予測ブロックのフリッキング特徴量（例えば、図１の時間的劣化特徴量ＳＩＧ８に相当）を求める第２のステップと、をコンピュータに実行させ、前記第２のステップでは、前記時間的劣化特徴量算出手段が、処理対象の動き補償予測ブロックに少なくとも一部が含まれている直交変換ブロックのそれぞれのフリッキング特徴量を、前記第１のステップで求められた当該直交変換ブロックの直交変換係数に基づいて算出し、前記直交変換ブロックごとに算出したフリッキング特徴量について、当該直交変換ブロックのうち前記処理対象の動き補償予測ブロックに属している領域のサイズに応じて重み付け和を算出して、当該処理対象の動き補償予測ブロックのフリッキング特徴量とするためのプログラムを提案している。

この発明によれば、コンピュータを用いてプログラムを実行することで、直交変換ブロックの直交変換係数を圧縮ビットストリームから求めることとした。また、求めた直交変換ブロックの直交変換係数に基づいて、処理対象の動き補償予測ブロックに少なくとも一部が含まれている直交変換ブロックのそれぞれのフリッキング特徴量を算出することとした。また、直交変換ブロックごとに算出したフリッキング特徴量について、直交変換ブロックのうち処理対象の動き補償予測ブロックに属している領域のサイズに応じて重み付け和を算出して、処理対象の動き補償予測ブロックのフリッキング特徴量とすることとした。このため、上述した効果と同様の効果を奏することができる。

本発明によれば、複数の処理ブロックサイズが許容される符号化技術で圧縮符号化された映像の主観画質を、ビットストリーム解析に基づく画質評価方式により推定することができる。

本発明の一実施形態に係る客観画質評価装置のブロック図である。 処理対象の直交変換ブロックと、これに隣接する直交変換ブロックと、の関係の一例を示す図である。 本発明の一実施形態に係る客観画質評価装置が時間的劣化特徴量を出力するために行う処理のフローチャートである。 本発明の一実施形態に係る客観画質評価装置が時間的劣化特徴量を求める際に用いる重み付け係数について説明するための図である。 本発明の一実施形態に係る客観画質評価装置が時間的劣化特徴量を求める際に用いる重み付け係数について説明するための図である。 本発明の一実施形態に係る客観画質評価装置が行う時間的劣化特徴量算出処理のフローチャートである。 参照フレーム数と、フレーム番号の大小関係と、フレーム間距離が最大になるフレーム番号と、の関係を示す図である。 処理対象の動き補償予測ブロックの予測残差信号電力を配列に配分することを示す図である。 回帰分析について説明するための図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

図１は、本発明の一実施形態に係る客観画質評価装置１のブロック図である。客観画質評価装置１は、ビットストリーム解析に基づく画質評価方式により映像の主観画質を推定する。この客観画質評価装置１は、パラメータ解析部１０、量子化パラメータ平均値算出部２０、空間的劣化特徴量算出部３０、時間的劣化特徴量算出部４０、および画質劣化特徴量統合部５０を備える。

［パラメータ解析部１０の動作］
パラメータ解析部１０は、複数の処理ブロックサイズが許容される符号化技術（本実施形態では、H.265/HEVC）で圧縮符号化されたビットストリームＳＩＧ１を入力とする。このパラメータ解析部１０は、ビットストリームＳＩＧ１から符号化パラメータを求めて出力する。符号化パラメータには、量子化パラメータ情報ＳＩＧ２と、変換係数ＳＩＧ３と、参照フレーム情報ＳＩＧ４と、動き補償予測ブロックの形状情報ＳＩＧ５と、が含まれる。

量子化パラメータ情報ＳＩＧ２は、符号化ブロック（ＣＵ：Coding Unit）のブロックサイズごとの量子化パラメータを含んでいる。

変換係数ＳＩＧ３は、直交変換ブロックのブロックサイズごとの直交変換係数を含んでいる。

参照フレーム情報ＳＩＧ４は、動き補償予測ブロックの参照フレームを示す参照フレーム番号を含んでおり、動き補償予測ブロックが動きベクトルを有している場合に出力される。なお、動き補償予測ブロックに双予測が適用されている場合には、２つの参照フレーム番号が、参照番号の小さい順に出力される。

動き補償予測ブロックの形状情報ＳＩＧ５は、動き補償予測ブロックの形状を示す情報を含んでいる。

なお、符号化パラメータの求める際には、ビットストリームＳＩＧ１から直接抽出できる場合と、復号の課程で中間情報として取得できる場合と、がある。本実施形態では、ビットストリームＳＩＧ１の種類を限定しないため、符号化パラメータを求める際には、ビットストリームＳＩＧ１の圧縮符号化方式に応じた方法を適用するものとする。

［量子化パラメータ平均値算出部２０の動作］
量子化パラメータ平均値算出部２０は、量子化パラメータ情報ＳＩＧ２を入力とする。この量子化パラメータ平均値算出部２０は、量子化パラメータに基づく画質劣化特徴量として、シーケンス内での量子化パラメータの平均値を求め、量子化パラメータの平均値ＳＩＧ６として出力する。なお、本実施形態では、ＣＵのブロックサイズが可変であるため、ＣＵのブロックサイズごとに、量子化パラメータ情報ＳＩＧ２から量子化パラメータを取得し、シーケンス内平均を求めるものとする。

［空間的劣化特徴量算出部３０の動作］
空間的劣化特徴量算出部３０は、変換係数ＳＩＧ３を入力とする。この空間的劣化特徴量算出部３０は、見た目に与える品質劣化の視覚的重要度が処理ブロックサイズに応じて異なることを考慮して、直交変換ブロックのブロックサイズごとに変換係数ＳＩＧ３を用いて空間的劣化特徴量を算出し、それぞれに対して重み付けを行い、空間的劣化特徴量ＳＩＧ７として出力する。

空間的劣化特徴量とは、ブロック歪特徴量、すなわち復号画像上のブロック歪の視覚的な認識程度を示す指標のことである。ブロック歪は、MPEG-2やH.264/AVCやH.265/HEVCなどのブロック単位で処理を行う圧縮符号化において発生する画質劣化の要因の１つであり、ブロック歪による画質劣化と、主観画質の劣化と、の間には高い相関があると考えられる。このブロック歪は、画素ブロックの境界で信号値が大きく変化することによって発生し、ブロック間の直流成分が大きく変化している場合に視覚的に目立つようになる。

そこで、本実施形態では、空間的劣化特徴量算出部３０は、処理対象の直交変換ブロックと、これに隣接する直交変換ブロックのそれぞれと、の間の予測残差信号の直流成分の差分二乗平均値により、空間的劣化特徴量を定義する。

具体的には、まず、空間的劣化特徴量算出部３０は、変換係数ＳＩＧ３を用いて、処理対象の直交変換ブロックと、これに隣接する直交変換ブロックのそれぞれと、の間で予測残差信号のＤＣ差分二乗平均値を求めて、空間的劣化特徴量とする。ただし、処理対象の直交変換ブロックと、隣接する直交変換ブロックと、でブロックサイズが異なる場合には、隣接する直交変換ブロックのそれぞれとの間のＤＣ差分二乗について、処理対象の直交変換ブロックの各辺のうち隣接する直交変換ブロックに接しているものの長さに応じて重み付けを行う。この辺の長さに応じた重み付けについて、図２を用いて詳述する。

図２は、処理対象の直交変換ブロックと、これに隣接する直交変換ブロックと、の関係の一例を示す図である。図２では、処理対象の直交変換ブロックを直交変換ブロックＢＬ［０］と表し、直交変換ブロックＢＬ［０］に隣接する直交変換ブロックを、直交変換ブロックＢＬ［Ｓ］と表している（ただし、Ｓは、１≦Ｓ≦８を満たす任意の整数であるものとする）。また、直交変換ブロックＢＬ［０］のブロックサイズは、１６×１６であるものとする。

直交変換ブロックＢＬ［０］と直交変換ブロックＢＬ［Ｓ］との間の予測残差信号の直流成分を、ＤＣ［Ｓ］と表すこととすると、直交変換ブロックＢＬ［０］における空間的劣化特徴量ＳＩ（０）_ｄｅｐ２は、以下の数式（１）で求めることができる。数式（１）において、ｄＤＣ［０，Ｓ］は、以下の数式（２）で定まるものとする。

なお、数式（１）のｋ５には、直交変換ブロックＢＬ［０］が有する辺のうち、この直交変換ブロックＢＬ［０］と隣接する直交変換ブロックに接するものの数が代入される。具体的には、直交変換ブロックＢＬ［０］は、右辺、下辺、左辺、および上辺の４つの辺を有しており、これら４つの辺の全てが他の直交変換ブロックに接している。このため、数式（１）のｋ５には、「４」が代入される。

また、数式（１）のｋ１からｋ４のそれぞれには、直交変換ブロックＢＬ［０］の右辺、下辺、左辺、および上辺のそれぞれのうち隣接する直交変換ブロックに接しているものの長さに応じた数が代入される。

具体的には、直交変換ブロックＢＬ［０］の下方には、直交変換ブロックＢＬ［５］があり、直交変換ブロックＢＬ［０］の下辺の全体が直交変換ブロックＢＬ［５］に接している。このため、数式（１）のｋ２には、「１」が代入される。

また、直交変換ブロックＢＬ［０］の左方には、直交変換ブロックＢＬ［６］があり、直交変換ブロックＢＬ［０］の左辺の全体が直交変換ブロックＢＬ［６］に接している。このため、数式（１）のｋ３にも、「１」が代入される。

一方、直交変換ブロックＢＬ［０］の上方には、直交変換ブロックＢＬ［７］、ＢＬ［８］があり、直交変換ブロックＢＬ［０］の上辺の全体のうち１／２ずつが、直交変換ブロックＢＬ［７］、ＢＬ［８］にそれぞれ接している。このため、数式（１）のｋ４には、「２」が代入される。

また、直交変換ブロックＢＬ［０］の右方には、直交変換ブロックＢＬ［１］からＢＬ［４］があり、直交変換ブロック［０］の右辺の全体のうち１／４ずつが、直交変換ブロックＢＬ［１］からＢＬ［４］にそれぞれ接している。このため、数式（１）のｋ１には、「４」が代入される。

なお、本実施形態において「２つの直交変換ブロックが隣接する」とは、２つの直交変換ブロックのうち一方と他方とが隣り合っており、一方の直交変換ブロックに含まれる画素のうち２つ以上と、他方の直交変換ブロックに含まれる画素のうち２つ以上と、が接している場合のことを示すものとする。例えば図２において、直交変換ブロックＢＬ［０］と直交変換ブロックＢＬ［１００］とは隣り合っているが、互いに接している画素の数は、直交変換ブロックＢＬ［０］も直交変換ブロックＢＬ［１００］も、ともに「１」である。このため、直交変換ブロックＢＬ［０］と直交変換ブロックＢＬ［１００］とは、本実施形態では、「隣接」していないとして考える。

次に、空間的劣化特徴量算出部３０は、各直交変換ブロックにおける空間的劣化特徴量ＳＩ（Ｂ）_ｄｅｐｎ（ただし、Ｂは、任意の整数であり、ｎは、１≦ｎ≦４を満たす任意の整数であるものとする）を上述の数式（１）により求めた後に、これら空間的劣化特徴量ＳＩ（Ｂ）_ｄｅｐｎの平均値ＳＩ_ｄｅｐｎを以下の数式（３）によりｄｅｐｔｈごとに求め、空間的劣化特徴量ＳＩＧ７とする。

なお、数式（３）において、Ｎ_{（Ｂ）ｄｅｐｎ}は、シーケンス内の直交変換ブロックの各ブロックサイズの総数を示す。

［時間的劣化特徴量算出部４０の動作］
時間的劣化特徴量算出部４０は、変換係数ＳＩＧ３と、参照フレーム情報ＳＩＧ４と、動き補償予測ブロックの形状情報ＳＩＧ５と、を入力とする。この時間的劣化特徴量算出部４０は、変換係数ＳＩＧ３と、参照フレーム情報ＳＩＧ４と、動き補償予測ブロックの形状情報ＳＩＧ５と、を用いて各動き補償予測ブロックにおける時間的劣化特徴量を算出し、時間的劣化特徴量ＳＩＧ８として出力する。また、複数の動き補償予測ブロックによる予測残差信号が１つの直交変換ブロックに含まれている場合には、この１つの直交変換ブロックが処理対象の動き補償予測ブロックに跨がっている割合に応じて、算出した時間的劣化特徴量を分配する。なお、参照フレームを利用できない動き補償予測ブロックについては、時間的劣化特徴量の算出を行わないものとする。

時間的劣化特徴量とは、フリッキング特徴量、すなわち復号画像上のフリッカ妨害の視覚的な認識程度を示す指標のことである。フリッカ妨害は、動き補償予測符号化のイントラフレーム挿入の周期ごとに大きな品質変動がある場合などに検知される劣化であり、連続するフレーム間での輝度変化が急激に発生することによって知覚される。このフリッカ妨害による画質劣化と、主観画質の劣化と、の間にも高い相関があると考えられる。

そこで、本実施形態では、時間的劣化特徴量算出部４０は、処理ブロック内の時間的な輝度値の変化を捉えるために、各動き補償予測ブロックにおける輝度のフレーム間差分を時間的劣化特徴量として定義する。

図３は、時間的劣化特徴量算出部４０が時間的劣化特徴量ＳＩＧ８を出力するために行う処理のフローチャートである。

ステップＳ１において、時間的劣化特徴量算出部４０は、参照フレーム情報ＳＩＧ４から、処理対象の動き補償予測ブロックにおける参照フレーム番号を抽出できるか否かを判別する。そして、抽出できると判別した場合には、ステップＳ２に処理を移し、抽出できないと判別した場合には、処理対象の動き補償予測ブロックは参照フレームを利用できない動き補償予測ブロックであるとして、図３に示した処理を終了する。

ステップＳ２において、時間的劣化特徴量算出部４０は、動き補償予測ブロックの形状情報ＳＩＧ５に基づいて、処理対象の動き補償予測ブロックに少なくとも一部が含まれる直交変換ブロックのそれぞれの直交変換係数を変換係数ＳＩＧ３から求め、ステップＳ３に処理を移す。

ステップＳ３において、時間的劣化特徴量算出部４０は、ステップＳ２で求めた直交変換係数を用いて、以下の数式（４）により処理対象の動き補償予測ブロックに少なくとも一部が含まれる直交変換ブロックＢのそれぞれの予測残差信号電力Ｐ（Ｂ）を算出し、ステップＳ４に処理を移す。

なお、数式（４）において、Ｘ_Ｂ（ｉ，ｊ）は、直交変換ブロックＢにおける直交変換係数を示し、Ｓｍａｘは、処理対象の動き補償予測ブロックに少なくとも一部が含まれる直交変換ブロックの数を示し、Ｎｓｉｚｅは、処理対象の動き補償予測ブロックに少なくとも一部が含まれる直交変換ブロックのサイズを示す。

ステップＳ４において、時間的劣化特徴量算出部４０は、処理対象の動き補償予測ブロックに少なくとも一部が含まれる直交変換ブロックＢの予測残差信号電力Ｐ（Ｂ）の重み付け和を、処理対象の動き補償予測ブロックの予測残差信号電力ＰＵＰ（Ｂ）として算出し、ステップＳ５に処理を移す。

重み付けは、直交変換ブロックの全体のうち、処理対象の動き補償予測ブロックに属する領域の面積（画素数）に応じて行う。具体的には、直交変換ブロックの全体が処理対象の動き補償予測ブロックに属している場合には、この直交変換ブロックの予測残差信号電力の重み付け係数を「１」に設定する。一方、直交変換ブロックの全体ではなく一部が処理対象の動き補償予測ブロックに属している場合には、この直交変換ブロックの予測残差信号電力の重み付け係数を、この直交変換ブロックの全体のうち処理対象の動き補償予測ブロックに属している面積の割合に設定する。この重み付け係数の具体例について、図４、５を用いて以下に説明する。

図４は、処理対象の動き補償予測ブロックに少なくとも一部が含まれている直交変換ブロックが１つ以上あり、これら１つ以上の直交変換ブロックのそれぞれの全体が処理対象の動き補償予測ブロックに属している例を示す図である。

図４では、動き補償予測ブロックＰＵ_０に、直交変換ブロックＢ_０の全体が属している。このため、直交変換ブロックＢ_０の予測残差信号電力Ｐ（Ｂ）_０の重み付け係数は、「１」になり、動き補償予測ブロックＰＵ_０の予測残差信号電力ＰＵＰ（Ｂ）_０は、直交変換ブロックＢ_０の予測残差信号電力Ｐ（Ｂ）_０となる。

また、図４では、動き補償予測ブロックＰＵ_１に、直交変換ブロックＢ_１の全体と、直交変換ブロックＢ_３の全体と、が属している。このため、直交変換ブロックＢ_１の予測残差信号電力Ｐ（Ｂ）_１の重み付け係数と、直交変換ブロックＢ_３の予測残差信号電力Ｐ（Ｂ）_３の重み付け係数とは、「１」になり、動き補償予測ブロックＰＵ_１の予測残差信号電力ＰＵＰ（Ｂ）_１は、直交変換ブロックＢ_１の予測残差信号電力Ｐ（Ｂ）_１と、直交変換ブロックＢ_３の予測残差信号電力Ｐ（Ｂ）_３と、の和になる。

すなわち、図４に示したように、処理対象の動き補償予測ブロックに少なくとも一部が含まれている直交変換ブロックが１つ以上あり、これら１つ以上の直交変換ブロックのそれぞれの全体が処理対象の動き補償予測ブロックに属している場合には、処理対象の動き補償予測ブロックの予測残差信号電力ＰＵＰ（Ｂ）は、処理対象の動き補償予測ブロックに全体が属する直交変換ブロックＢのそれぞれの予測残差信号電力Ｐ（Ｂ）を用いて、以下の数式（５）により求めることができる。なお、数式（５）において、ｍは、処理対象の動き補償予測ブロックに全体が属する直交変換ブロックＢの数を示す。

一方、図５は、処理対象の動き補償予測ブロックに少なくとも一部が含まれている直交変換ブロックが１つ以上あり、これら１つ以上の直交変換ブロックのうち少なくとも１つは、全体ではなく一部のみがこの動き補償予測ブロックに属している例を示す図である。

図５では、動き補償予測ブロックＰＵ_０に、直交変換ブロックＢ_０の一部と、直交変換ブロックＢ_２の一部と、が属している。ここで、直交変換ブロックＢ_０の全体のうち、動き補償予測ブロックＰＵ_０に属している領域と、動き補償予測ブロックＰＵ_０に属していない領域（動き補償予測ブロックＰＵ_１に属している領域）と、の面積比をｐ：ｑと表すものとする。また、直交変換ブロックＢ_２の全体のうち、動き補償予測ブロックＰＵ_０に属している領域と、動き補償予測ブロックＰＵ_０に属していない領域（動き補償予測ブロックＰＵ_１に属している領域）と、の面積比をｒ：ｓと表すものとする。

すると、動き補償予測ブロックＰＵ_０の予測残差信号電力ＰＵＰ（Ｂ）_０を求める場合、直交変換ブロックＢ_０の予測残差信号電力Ｐ（Ｂ）_０の重み付け係数は、「ｐ／（ｐ＋ｑ）」になり、直交変換ブロックＢ_２の予測残差信号電力Ｐ（Ｂ）_２の重み付け係数は、「ｒ／（ｒ＋ｓ）」になる。このため、動き補償予測ブロックＰＵ_０の予測残差信号電力ＰＵＰ（Ｂ）_０は、以下の数式（６）により求めることができる。

また、図５では、動き補償予測ブロックＰＵ_１に、直交変換ブロックＢ_０の一部と、直交変換ブロックＢ_１の全体と、直交変換ブロックＢ_２の一部と、直交変換ブロックＢ_３の全体と、が属している。このため、動き補償予測ブロックＰＵ_１の予測残差信号電力ＰＵＰ（Ｂ）_１を求める場合、直交変換ブロックＢ_０の予測残差信号電力Ｐ（Ｂ）_０の重み付け係数は、「ｑ／（ｐ＋ｑ）」になり、直交変換ブロックＢ_２の予測残差信号電力Ｐ（Ｂ）_２の重み付け係数は、「ｓ／（ｒ＋ｓ）」になり、直交変換ブロックＢ_１の予測残差信号電力Ｐ（Ｂ）_１の重み付け係数と、直交変換ブロックＢ_３の予測残差信号電力Ｐ（Ｂ）_３の重み付け係数とは、「１」になる。したがって、動き補償予測ブロックＰＵ_１の予測残差信号電力ＰＵＰ（Ｂ）_１は、以下の数式（７）により求めることができる。

図３に戻って、ステップＳ５において、時間的劣化特徴量算出部４０は、時間的劣化特徴量算出処理を行って、図３に示した処理を移す。

図６は、時間的劣化特徴量算出部４０が行う時間的劣化特徴量算出処理のフローチャートである。

ステップＳ１１において、時間的劣化特徴量算出部４０は、処理対象の動き補償予測ブロックの参照フレームを、参照フレーム情報ＳＩＧ４に基づいて求め、ステップＳ１２に処理を移す。なお、以降では、動き補償予測ブロックに双予測が適用されていない場合（参照フレーム数が「１」の場合）に求められた参照フレームは、フレーム番号ｆ_ｒｅｆ０のフレームの１つであり、動き補償予測ブロックに双予測が適用されている場合（参照フレーム数が「２」の場合）に求められた参照フレームは、フレーム番号ｆ_ｒｅｆ０のフレームと、フレーム番号ｆ_ｒｅｆ１のフレーム（ただし、ｆ_ｒｅｆ０＞ｆ_ｒｅｆ１とする）と、の２つであるものとする。

ステップＳ１２において、時間的劣化特徴量算出部４０は、動き補償予測ブロックが保持するフレームの中からフレーム間距離が最大になる２つのフレームを求め、これら２つのフレームのフレーム番号をｆ_{ｓｔａｒｔ}、ｆ_ｓｔｏｐ（ただし、ｆ_{ｓｔａｒｔ}＜ｆ_ｓｔｏｐとする）とし、ステップＳ１３に処理を移す。

ここで、処理対象フレームのフレーム番号をｆ_ｃｕｒとする。すると、動き補償予測ブロックに双予測が適用されていない場合（参照フレーム数が「１」の場合）には、フレーム間距離とは、フレーム番号ｆ_ｃｕｒのフレームとフレーム番号ｆ_ｒｅｆ０のフレームとの距離の１種類のことである。一方、動き補償予測ブロックに双予測が適用されている場合（参照フレーム数が「２」の場合）には、フレーム間距離とは、フレーム番号ｆ_ｃｕｒのフレームとフレーム番号ｆ_ｒｅｆ０のフレームとの距離と、フレーム番号ｆ_ｃｕｒのフレームとフレーム番号ｆ_ｒｅｆ１のフレームとの距離と、フレーム番号ｆ_ｒｅｆ０のフレームとフレーム番号ｆ_ｒｅｆ１のフレームとの距離と、の３種類のことである。

図７は、参照フレーム数と、フレーム番号ｆ_ｒｅｆ０、ｆ_ｒｅｆ１、ｆ_ｃｕｒの大小関係と、フレーム間距離が最大になるフレーム番号ｆ_{ｓｔａｒｔ}、ｆ_ｓｔｏｐと、の関係を示す図である。図７に示すように、参照フレーム数と、フレーム番号ｆ_ｒｅｆ０、ｆ_ｒｅｆ１、ｆ_ｃｕｒの大小関係と、を求めれば、フレーム間距離が最大になるフレーム番号ｆ_{ｓｔａｒｔ}、ｆ_ｓｔｏｐを一意に求めることができる。そこで、時間的劣化特徴量算出部４０は、参照フレーム情報ＳＩＧ４から参照フレーム数を求めるとともに、フレーム番号ｆ_ｒｅｆ０、ｆ_ｒｅｆ１、ｆ_ｃｕｒの大小関係を求め、これら求めた結果に基づいてフレーム間距離が最大になるフレーム番号ｆ_{ｓｔａｒｔ}、ｆ_ｓｔｏｐを求める。

図６に戻って、ステップＳ１３において、時間的劣化特徴量算出部４０は、フレーム番号を特定する変数ｉｎｄｅｘに、ステップＳ１３で求めたフレーム番号ｆ_{ｓｔａｒｔ}を設定して、ステップＳ１４に処理を移す。

ステップＳ１４において、時間的劣化特徴量算出部４０は、図８に示すように、まず、ステップＳ４で算出した処理対象の動き補償予測ブロックの予測残差信号電力ＰＵＰ（Ｂ）を、ステップＳ１２で求めたフレーム番号ｆ_{ｓｔａｒｔ}のフレームとフレーム番号ｆ_ｓｔｏｐのフレームとのフレーム間距離で平均する。次に、平均した結果を、フレーム番号がｉｎｄｅｘのフレームの配列Ｐ_ｄｉｓｔ（ｉｎｄｅｘ）に加算して、ステップＳ１５に処理を移す。なお、配列Ｐ_ｄｉｓｔ（）の全要素は、シーケンスの先頭フレームに対して図３に示した処理を開始する際に、ゼロに初期化されるものとする。

ステップＳ１５において、時間的劣化特徴量算出部４０は、変数ｉｎｄｅｘがフレーム番号ｆ_ｓｔｏｐに等しいか否かを判別する。そして、等しいと判別した場合には、ステップＳ１７に処理を移し、等しくないと判別した場合には、ステップＳ１６に処理を移す。

ステップＳ１６において、時間的劣化特徴量算出部４０は、変数ｉｎｄｅｘをインクリメントして、ステップＳ１４に処理を戻す。

ステップＳ１７において、時間的劣化特徴量算出部４０は、数式（８）により配列Ｐ_ｄｉｓｔ（）の全要素の平均を算出して時間的劣化特徴量ＴＩとし、図６に示した処理を終了する。この時間的劣化特徴量ＴＩが、時間的劣化特徴量ＳＩＧ８として時間的劣化特徴量算出部４０から出力される。

［画質劣化特徴量統合部５０の動作］
画質劣化特徴量統合部５０は、量子化パラメータの平均値ＳＩＧ６と、空間的劣化特徴量ＳＩＧ７と、時間的劣化特徴量ＳＩＧ８と、を入力とする。この画質劣化特徴量統合部５０は、量子化パラメータの平均値ＳＩＧ６と、空間的劣化特徴量ＳＩＧ７と、時間的劣化特徴量ＳＩＧ８と、の各画質劣化特徴量を統合して客観評価値Ｑ_ｏｂｊを求め、統合品質情報ＳＩＧ９として出力する。客観評価値Ｑ_ｏｂｊは、以下の数式（９）により求めることができる。

ここで、主観評価値と客観評価値Ｑ_ｏｂｊとの関係を表す最適な近似式は、評価対象の画像フォーマットや符号化方式や符号化ビットレートなどの条件によって異なる。このため、数式（９）において、ｆ（）は、予め定められた関数を示し、このｆ（）には、上述の条件に応じて主観評価値と客観評価値Ｑ_ｏｂｊとの相関が最大になる関数が適用される。

ｆ（）として適用できる関数の例として、第１の関数、第２の関数、および第３の関数を以下に説明する。

第１の関数は、ｗ_ｔ（ただし、ｔは、０≦ｔ≦８を満たす任意の整数）を重み付け係数として、以下の数式（１０）のように重み付き和を求める関数である。数式（１０）において、ｗ_０からｗ_８は、主観評価値と客観評価値Ｑ_ｏｂｊとの相関が最大になるように設定される。

第２の関数は、ｗ_ｔとγ１とγ２とを重み付け係数として、以下の数式（１１）のように重み付き和を求める関数である。数式（１１）において、ｗ_０からｗ_４とγ１とγ２とは、主観評価値と客観評価値Ｑ_ｏｂｊとの相関が最大になるように設定される。

第３の関数は、ｗ_ｘ、ｗ_ｙ、ｗ_ｚを重み付け係数として、以下の数式（１２）のように重み付き和を求める関数である。ｗ_ｘ、ｗ_ｙ、ｗ_ｚは、主観評価値と客観評価値Ｑ_ｏｂｊとの相関が最大になるように設定される。

なお、数式（１２）において、ＳＩ_ｘは、数式（１３）により求めることができ、ａＱ_ｚは、数式（１４）により求めることができる。数式（１３）、（１４）において、ｗ_ａからｗ_ｈのそれぞれは、見た目に与える品質劣化の視覚的重要度が処理ブロックサイズに応じて異なることを考慮して、ブロックの面積比や辺の長さの比といった、ブロックサイズに応じて定められる重み付け係数である。

なお、上述の主観評価値と客観評価値Ｑ_ｏｂｊとの相関は、複数の評価映像を用いて得られた客観評価値Ｑ_ｏｂｊの系列および主観評価値の系列を、回帰分析することによって求めることができる。この回帰分析について、図９を用いて以下に説明する。

図９において、縦軸は、主観評価値を示し、横軸は、客観評価値Ｑ_ｏｂｊを示す。複数の評価映像のそれぞれについて、評価映像を用いることで得られた客観評価値Ｑ_ｏｂｊと主観評価値とを図９に示すようにプロットすると、これら客観評価値Ｑ_ｏｂｊと主観評価値との関係は、回帰曲線で近似することができる。回帰曲線には、一次関数だけでなく、高次多項式やロジスティック関数などの非線形関数も適用できる。客観画質評価の目的は、主観画質の推定であり、回帰曲線による近似の精度が高くなるに従って、すなわち図９のグラフ上の各プロット点と回帰曲線との距離が近くなるに従って、主観画質の推定精度が高くなる。

以上の客観画質評価装置１によれば、以下の効果を奏することができる。

客観画質評価装置１は、パラメータ解析部１０により、符号化ブロックの量子化パラメータをビットストリームＳＩＧ１から求め、求めた符号化ブロックごとの量子化パラメータの平均値を、符号化ブロックのブロックサイズごとに求める。また、画質劣化特徴量統合部５０により、符号化ブロックのブロックサイズごとに求めた量子化パラメータの平均値を、画質劣化特徴量として用いて客観評価値Ｑ_ｏｂｊを求める。このため、ビットストリームＳＩＧ１のみから、符号化ブロックのブロックサイズごとに量子化パラメータの平均値を求めることができる。したがって、複数の処理ブロックサイズが許容される符号化技術で圧縮符号化された映像の主観画質を、ビットストリーム解析に基づく画質評価方式により推定することができる。

また、客観画質評価装置１は、パラメータ解析部１０により、直交変換ブロックの直交変換係数をビットストリームＳＩＧ１から求める。また、空間的劣化特徴量算出部３０により、ビットストリームＳＩＧ１から求めた直交変換ブロックの直交変換係数を用いて、処理対象の直交変換ブロックと、処理対象の直交変換ブロックに隣接する直交変換ブロックのそれぞれと、の間で空間的劣化特徴量を求める。また、空間的劣化特徴量算出部３０により、隣接する直交変換ブロックごとに求めた空間的劣化特徴量について、隣接する直交変換ブロックのブロックサイズに応じて重み付け和を算出して、処理対象の直交変換ブロックの空間的劣化特徴量とする。また、画質劣化特徴量統合部５０により、処理対象の直交変換ブロックの空間的劣化特徴量を、画質劣化特徴量として用いて客観評価値Ｑ_ｏｂｊを求める。このため、ビットストリームＳＩＧ１のみから、処理対象の直交変換ブロックの空間的劣化特徴量を、直交変換ブロックのブロックサイズを考慮して求めることができる。したがって、複数の処理ブロックサイズが許容される符号化技術で圧縮符号化された映像の主観画質を、ビットストリーム解析に基づく画質評価方式により推定することができる。

また、客観画質評価装置１は、空間的劣化特徴量算出部３０により、ビットストリームＳＩＧ１から求めた直交変換ブロックの直交変換係数を用いて、処理対象の直交変換ブロックと、処理対象の直交変換ブロックに隣接する直交変換ブロックのそれぞれと、の間で予測残差信号のＤＣ差分二乗平均値を求めて、空間的劣化特徴量とする。このため、処理対象の直交変換ブロックと、この直交変換ブロックに隣接する直交変換ブロックと、の間で算出した予測残差信号の直流成分の差分二乗平均値を用いて、客観評価値Ｑ_ｏｂｊを求めることができる。

また、客観画質評価装置１は、空間的劣化特徴量算出部３０により、隣接する直交変換ブロックごとに求めた空間的劣化特徴量の重み付け和を算出する際の重み付け係数を、処理対象の直交変換ブロックの各辺のうち隣接する直交変換ブロックに接するものの長さに応じて決定する。このため、直交変換ブロックのブロックサイズを考慮して、隣接する直交変換ブロックごとの空間的劣化特徴量から処理対象の直交変換ブロックの空間的劣化特徴量を求めることができる。

また、客観画質評価装置１は、空間的劣化特徴量算出部３０により、隣接する直交変換ブロックごとに求めた空間的劣化特徴量の重み付け和を算出する際の重み付け係数を、見た目に与える品質劣化の視覚的重要度が処理ブロックサイズに応じて異なることを考慮して決定する。このため、見た目に与える品質劣化の視覚的重要度が処理ブロックサイズに応じて異なることを考慮しつつ、客観評価値Ｑ_ｏｂｊを求めることができる。

また、客観画質評価装置１は、パラメータ解析部１０により、直交変換ブロックの直交変換係数をビットストリームＳＩＧ１から求める。また、時間的劣化特徴量算出部４０により、ビットストリームＳＩＧ１から求めた直交変換ブロックの直交変換係数に基づいて、処理対象の動き補償予測ブロックに少なくとも一部が含まれている直交変換ブロックのそれぞれの時間的劣化特徴量を算出する。また、時間的劣化特徴量算出部４０により、直交変換ブロックごとに算出した時間的劣化特徴量について、直交変換ブロックのうち処理対象の動き補償予測ブロックに属している領域のサイズに応じて重み付け和を算出して、処理対象の動き補償予測ブロックの時間的劣化特徴量とする。また、画質劣化特徴量統合部５０により、処理対象の動き補償予測ブロックの時間的劣化特徴量を、画質劣化特徴量として用いて客観評価値Ｑ_ｏｂｊを求める。このため、ビットストリームＳＩＧ１のみから、処理対象の動き補償予測ブロックの時間的劣化特徴量を、動き補償予測ブロックおよび直交変換ブロックの大きさを考慮して求めることができる。したがって、複数の処理ブロックサイズが許容される符号化技術で圧縮符号化された映像の主観画質を、ビットストリーム解析に基づく画質評価方式により推定することができる。

また、客観画質評価装置１は、画質劣化特徴量統合部５０により、量子化パラメータ平均値算出部２０により求められた量子化パラメータの平均値と、空間的劣化特徴量算出部３０により求められた処理対象の直交変換ブロックの空間的劣化特徴量と、時間的劣化特徴量算出部４０により求められた処理対象の動き補償予測ブロックの時間的劣化特徴量と、の重み付け和により、客観評価値Ｑ_ｏｂｊを求める。また、重み付け和を算出する際の重み付け係数を、数式（１０）から（１４）を用いて上述したように、主観評価値と客観評価値Ｑ_ｏｂｊとの相関が最大になるように設定する。このため、主観画質の推定精度を向上させることができる。

なお、本発明の客観画質評価装置１の処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを客観画質評価装置１に読み込ませ、実行することによって、本発明を実現できる。

ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、客観画質評価装置１に設けられたプロセッサによって行われる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した客観画質評価装置１から、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を客観画質評価装置１にすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の実施形態では、ビットストリームＳＩＧ１を圧縮符号化する符号化技術として、H.265/HEVCを例に挙げたが、これに限らない。

また、上述の実施形態において、客観画質評価装置１から統合品質情報ＳＩＧ９として出力される客観評価値Ｑ_ｏｂｊについて、監視部により監視してもよい。具体的には、客観評価値Ｑ_ｏｂｊを記憶したり、客観評価値Ｑ_ｏｂｊに基づいて映像品質が予め定められた品質よりも悪いか否かを判別し、悪いと判別した場合にはその旨を外部に報知したりしてもよい。

また、上述の実施形態において、ブロック形状は、四角形だけでなく、三角形や五角形といった直線の辺により囲まれた形状や、円といった曲線の辺により囲まれた形状や、直線の辺と曲線の辺とにより囲まれた形状など、任意の形状であってよい。

１・・・客観画質評価装置
１０・・・パラメータ解析部
２０・・・量子化パラメータ平均値算出部
３０・・・空間的劣化特徴量算出部
４０・・・時間的劣化特徴量算出部
５０・・・画質劣化特徴量統合部

Claims (12)

1. 参照画像を用いることなく映像の主観画質を推定する客観画質評価装置であって、
   直交変換ブロックの直交変換係数を圧縮ビットストリームから求める第２のパラメータ解析手段と、
   処理対象の直交変換ブロックのブロック歪特徴量を求める空間的劣化特徴量算出手段と、を備え、
   前記空間的劣化特徴量算出手段は、
   前記第２のパラメータ解析手段より求められた直交変換ブロックごとの直交変換係数を用いて、処理対象の直交変換ブロックと、当該処理対象の直交変換ブロックに隣接する直交変換ブロックのそれぞれと、の間で予測残差に基づくブロック歪特徴量を算出し、
   前記隣接する直交変換ブロックごとに算出したブロック歪特徴量について、当該隣接する直交変換ブロックのブロックサイズに応じて重み付け和を算出して、前記処理対象の直交変換ブロックのブロック歪特徴量とすることを特徴とする客観画質評価装置。
2. 前記空間的劣化特徴量算出手段は、前記隣接する直交変換ブロックごとに算出するブロック歪特徴量として、前記処理対象の直交変換ブロックと、当該処理対象の直交変換ブロックに隣接する直交変換ブロックのそれぞれと、の間で予測残差の直流成分の差分二乗平均値を算出することを特徴とする請求項１に記載の客観画質評価装置。
3. 前記空間的劣化特徴量算出手段は、前記隣接する直交変換ブロックごとに算出したブロック歪特徴量の重み付け和を算出する際の重み付け係数を、前記処理対象の直交変換ブロックの各辺のうち当該隣接する直交変換ブロックに接するものの長さに応じて決定することを特徴とする請求項１または２に記載の客観画質評価装置。
4. 参照画像を用いることなく映像の主観画質を推定する客観画質評価装置であって、
   直交変換ブロックの直交変換係数を圧縮ビットストリームから求める第３のパラメータ解析手段と、
   処理対象の動き補償予測ブロックのフリッキング特徴量を求める時間的劣化特徴量算出手段と、を備え、
   前記時間的劣化特徴量算出手段は、
   処理対象の動き補償予測ブロックに少なくとも一部が含まれている直交変換ブロックのそれぞれのフリッキング特徴量を、前記第３のパラメータ解析手段により求められた当該直交変換ブロックの直交変換係数に基づいて算出し、
   前記直交変換ブロックごとに算出したフリッキング特徴量について、当該直交変換ブロックのうち前記処理対象の動き補償予測ブロックに属している領域のサイズに応じて重み付け和を算出して、当該処理対象の動き補償予測ブロックのフリッキング特徴量とすることを特徴とする客観画質評価装置。
5. 符号化ブロックの量子化パラメータを圧縮ビットストリームから求める第１のパラメータ解析手段と、
   前記第１のパラメータ解析手段により求められた符号化ブロックごとの量子化パラメータの平均値を、符号化ブロックのブロックサイズごとに求める量子化パラメータ平均値算出手段と、を備え、
   該量子化パラメータ平均値算出手段により求められた量子化パラメータの平均値と、請求項１から３のいずれかに記載の空間的劣化特徴量算出手段により求められた処理対象の直交変換ブロックのブロック歪特徴量と、請求項４に記載の時間的劣化特徴量算出手段により求められた処理対象の動き補償予測ブロックのフリッキング特徴量と、に基づいて、客観画質を示す客観評価値を求める画質劣化特徴量統合手段を備えることを特徴とする客観画質評価装置。
6. 符号化ブロックの量子化パラメータを圧縮ビットストリームから求める第１のパラメータ解析手段と、
   前記第１のパラメータ解析手段により求められた符号化ブロックごとの量子化パラメータの平均値を、符号化ブロックのブロックサイズごとに求める量子化パラメータ平均値算出手段と、を備え、
   前記画質劣化特徴量統合手段は、前記量子化パラメータ平均値算出手段により求められた量子化パラメータの平均値と、請求項１から３のいずれかに記載の空間的劣化特徴量算出手段により求められた処理対象の直交変換ブロックのブロック歪特徴量と、請求項４に記載の時間的劣化特徴量算出手段により求められた処理対象の動き補償予測ブロックのフリッキング特徴量と、の重み付け和により、前記客観評価値を求めることを特徴とする請求項５に記載の客観画質評価装置。
7. 符号化ブロックの量子化パラメータを圧縮ビットストリームから求める第１のパラメータ解析手段と、
   前記第１のパラメータ解析手段により求められた符号化ブロックごとの量子化パラメータの平均値を、符号化ブロックのブロックサイズごとに求める量子化パラメータ平均値算出手段と、を備え、
   前記画質劣化特徴量統合手段は、前記量子化パラメータ平均値算出手段により求められた量子化パラメータの平均値と、請求項１から３のいずれかに記載の空間的劣化特徴量算出手段により求められた処理対象の直交変換ブロックのブロック歪特徴量と、請求項４に記載の時間的劣化特徴量算出手段により求められた処理対象の動き補償予測ブロックのフリッキング特徴量と、のそれぞれを予め定められた第１の値でべき乗したものの重み付け和を、予め定められた第２の値でべき乗して、前記客観評価値を求めることを特徴とする請求項５に記載の客観画質評価装置。
8. 符号化ブロックの量子化パラメータを圧縮ビットストリームから求める第１のパラメータ解析手段と、
   前記第１のパラメータ解析手段により求められた符号化ブロックごとの量子化パラメータの平均値を、符号化ブロックのブロックサイズごとに求める量子化パラメータ平均値算出手段と、を備え、
   前記画質劣化特徴量統合手段は、前記量子化パラメータ平均値算出手段により求められた量子化パラメータの平均値と、請求項１から３のいずれかに記載の空間的劣化特徴量算出手段により求められた処理対象の直交変換ブロックのブロック歪特徴量と、請求項４に記載の時間的劣化特徴量算出手段により求められた処理対象の動き補償予測ブロックのフリッキング特徴量と、のそれぞれを処理ブロックサイズに応じて重み付けした和を算出して、前記客観評価値を求めることを特徴とする請求項５に記載の客観画質評価装置。
9. 第２のパラメータ解析手段および空間的劣化特徴量算出手段を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置における客観画質評価方法であって、
   前記第２のパラメータ解析手段が、直交変換ブロックの直交変換係数を圧縮ビットストリームから求める第１のステップと、
   前記空間的劣化特徴量算出手段が、処理対象の直交変換ブロックのブロック歪特徴量を求める第２のステップと、を備え、
   前記第２のステップでは、前記空間的劣化特徴量算出手段が、
   前記第１のステップで求められた直交変換ブロックごとの直交変換係数を用いて、処理対象の直交変換ブロックと、当該処理対象の直交変換ブロックに隣接する直交変換ブロックのそれぞれと、の間で予測残差に基づくブロック歪特徴量を算出し、
   前記隣接する直交変換ブロックごとに算出したブロック歪特徴量について、当該隣接する直交変換ブロックのブロックサイズに応じて重み付け和を算出して、前記処理対象の直交変換ブロックのブロック歪特徴量とすることを特徴とする客観画質評価方法。
10. 第３のパラメータ解析手段および時間的劣化特徴量算出手段を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置における客観画質評価方法であって、
    前記第３のパラメータ解析手段が、直交変換ブロックの直交変換係数を圧縮ビットストリームから求める第１のステップと、
    前記時間的劣化特徴量算出手段が、処理対象の動き補償予測ブロックのフリッキング特徴量を求める第２のステップと、を備え、
    前記第２のステップでは、前記時間的劣化特徴量算出手段が、
    処理対象の動き補償予測ブロックに少なくとも一部が含まれている直交変換ブロックのそれぞれのフリッキング特徴量を、前記第１のステップで求められた当該直交変換ブロックの直交変換係数に基づいて算出し、
    前記直交変換ブロックごとに算出したフリッキング特徴量について、当該直交変換ブロックのうち前記処理対象の動き補償予測ブロックに属している領域のサイズに応じて重み付け和を算出して、当該処理対象の動き補償予測ブロックのフリッキング特徴量とすることを特徴とする客観画質評価方法。
11. 第２のパラメータ解析手段および空間的劣化特徴量算出手段を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置における客観画質評価方法を、コンピュータに実行させるためのプログラムであって、
    前記第２のパラメータ解析手段が、直交変換ブロックの直交変換係数を圧縮ビットストリームから求める第１のステップと、
    前記空間的劣化特徴量算出手段が、処理対象の直交変換ブロックのブロック歪特徴量を求める第２のステップと、をコンピュータに実行させ、
    前記第２のステップでは、前記空間的劣化特徴量算出手段が、
    前記第１のステップで求められた直交変換ブロックごとの直交変換係数を用いて、処理対象の直交変換ブロックと、当該処理対象の直交変換ブロックに隣接する直交変換ブロックのそれぞれと、の間で予測残差に基づくブロック歪特徴量を算出し、
    前記隣接する直交変換ブロックごとに算出したブロック歪特徴量について、当該隣接する直交変換ブロックのブロックサイズに応じて重み付け和を算出して、前記処理対象の直交変換ブロックのブロック歪特徴量とするためのプログラム。
12. 第３のパラメータ解析手段および時間的劣化特徴量算出手段を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置における客観画質評価方法を、コンピュータに実行させるためのプログラムであって、
    前記第３のパラメータ解析手段が、直交変換ブロックの直交変換係数を圧縮ビットストリームから求める第１のステップと、
    前記時間的劣化特徴量算出手段が、処理対象の動き補償予測ブロックのフリッキング特徴量を求める第２のステップと、をコンピュータに実行させ、
    前記第２のステップでは、前記時間的劣化特徴量算出手段が、
    処理対象の動き補償予測ブロックに少なくとも一部が含まれている直交変換ブロックのそれぞれのフリッキング特徴量を、前記第１のステップで求められた当該直交変換ブロックの直交変換係数に基づいて算出し、
    前記直交変換ブロックごとに算出したフリッキング特徴量について、当該直交変換ブロックのうち前記処理対象の動き補償予測ブロックに属している領域のサイズに応じて重み付け和を算出して、当該処理対象の動き補償予測ブロックのフリッキング特徴量とするためのプログラム。

Images