JP6087779B2

JP6087779B2 - 客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラム

Info

Publication number: JP6087779B2
Application number: JP2013205132A
Authority: JP
Inventors: 圭河村; 内藤　整; 整内藤
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2013-09-30
Filing date: 2013-09-30
Publication date: 2017-03-01
Anticipated expiration: 2033-09-30
Also published as: JP2015070539A

Description

本発明は、客観画質評価装置、自動監視装置、客観画質評価方法、およびプログラムに関する。

従来、デジタル映像を蓄積したり伝送したりする際に、圧縮符号化による情報量の削減が行われる。圧縮符号化の圧縮形式には、可逆圧縮と非可逆圧縮とが存在するが、デジタル映像の圧縮符号化では、非可逆圧縮が行われることが多い。非可逆圧縮とは、符号化情報（エンコードされたビットストリーム）を復号した際に符号化前の原画像を完全には再構築できないが、視覚的な劣化を十分に抑える、すなわち画質を十分に高く保つという条件のもとで、情報量を削減する圧縮形式である。非可逆圧縮の典型的な例としては、MPEG-2や、H.264/AVCや、H.265/HEVCなどがある（例えば、非特許文献１、２、９参照）。

非可逆圧縮では、情報量を削減するために、符号化側で処理ブロックごとに予測残差の変換係数を量子化する。この量子化の際に用いた量子化スケールは、サイド情報として復号側に伝送される。量子化スケールは、H.264/AVCではマクロブロックごとに、H.265/HEVCでは符号化単位（Coding Unit）ごとに変更可能であり、この変更についてもサイド情報として復号側に伝送される。

ところで、上述の量子化により予測残差の変換係数がゼロになった場合に、例えばH.264/AVCにおけるスキップモードやH.265/HEVCにおけるマージモードのように量子化スケールを復号側に伝送しないことや、信頼できないデータを量子化スケールとして復号側に伝送することがある。このような場合には、復号側では、伝送された量子化スケールは、処理ブロックの復号には用いられず、後続のブロックにおいて量子化スケールを導出する際に用いられる。このため、量子化により予測残差の変換係数がゼロになっても、符号化側で利用した量子化スケールについて、上述のように復号側に伝送しなかったり、上述のように信頼できないデータで復号側に伝送したりしても、復号はされる。

ここで、インターブロックにおける予測において用いられる動き補償について、以下に説明する。動き補償とは、参照フレーム情報および動きベクトルを用いて、処理ブロックの画素値を予測する技術である。この動き補償では、まず、符号化済みのフレームを、予め定められたフレーム数だけ参照フレームとして蓄積しておく。次に、符号化対象である処理ブロックについて、参照フレーム群のうち１フレームまたは２フレームについて水平および垂直方向に１／４画素精度で平行移動させた画素値または画素値の平均値を、予測画素とする。なお、参照フレームの添字は、参照フレーム情報と呼ばれ、水平および垂直方向の移動量は、動きベクトルと呼ばれ、これら参照フレーム情報および動きベクトルは、サイド情報として符号化されて復号側に伝送される。

以上の非可逆圧縮では、上述のように視覚的な劣化を十分に抑えた上で符号化が行われるが、圧縮率が高くなるに従って、すなわちビットレートが低下するに従って、画質の劣化が視覚的に認識されやすくなる。また、圧縮率が同一であっても、画面内の物体の精細さや動きの大きさや複雑さなどの映像の特徴によって、画質の劣化が視覚的に認識される度合いが変化する。そこで、非可逆圧縮に伴う画質劣化を定量的に測定できる技術が求められている。

従来の画質劣化の測定では、主観評価と呼ばれる手法が用いられていた。この主観評価では、２０名程度の被験者に対して映像を提示し、これら被験者のそれぞれに主観により評点を付けてもらい、これら評点に対して平均を求めるといった統計的な処理を施して得られた数値を、映像の品質として定義する。主観評価については、例えばITU-R勧告BT.500-11や、ITU-T勧告P.910に規定されている（例えば、非特許文献３、４参照）。

しかし、主観評価は、上述の勧告が規定しているような厳しい視聴条件を満たさなければならなかったり、多数の被験者を集める必要があったりするなど、映像品質の評価を容易に行うことのできる手法ではなかった。

そこで、映像信号を分析することによって、映像特徴量と呼ばれる映像の特徴を示す１つまたは複数の数値的指標を抽出し、映像特徴量から映像の品質を求める、客観画質評価が検討されている。客観画質評価は、主観画質評価の代わりに用いられることを目的としており、客観画質評価により求められる映像の品質は、主観画質を推定したものになる。

客観画質評価法のフレームワークは、ITU-T J.143（例えば、非特許文献５参照）に規定されており、評価のための伝送や蓄積のどの段階の映像や情報を用いるかによって、以下の３つに分類される。

１つ目は、ＦＲ（Full Reference）型に基づく客観画質評価法である。ＦＲ型に基づく客観画質評価法は、ITU-T勧告J.144（例えば、非特許文献６参照）や、ITU-T勧告J.267（例えば、非特許文献７参照）や、特許文献１などに示されている。非特許文献６には、標準テレビ方式（SDTV）の符号化劣化を対象とした客観画質評価法が示されており、非特許文献７および特許文献１には、マルチメディアアプリケーションで用いられる映像フォーマットを対象とした客観画質評価法が示されている。

ＦＲ型に基づく客観画質評価法は、圧縮符号化前の原画像および復号画像のベースバンド信号、または、送信画像および受信画像のベースバンド信号を用いる。すなわち、このＦＲ型に基づく客観画質評価法は、圧縮符号化前のベースバンド信号と、復号後のベースバンド信号と、を用いる。このため、主観画質の推定精度が３つのフレームワークの中で最も高くなる。

２つ目は、ＮＲ（No Reference）型に基づく客観画質評価法である。ＮＲ型に基づく客観画質評価法は、例えば特許文献２に示されている。

ＮＲ型に基づく客観画質評価法は、ＦＲ型に基づく客観画質評価法とは、原画像や送信画像を用いない点で異なる。すなわち、このＮＲ型に基づく客観画質評価法は、圧縮符号化前のベースバンド信号を用いないので、主観画質の推定精度は、ＦＲ型より低くなる。しかし、復号後のベースバンド信号のみでの主観画質の推定が可能であるため、システム構成を簡易化できるといった利点があり、伝送映像を監視する際に有効なフレームワークである。

３つ目は、ＲＲ（Reduced Reference）型に基づく客観画質評価法である。ＲＲ型に基づく客観画質評価法は、例えばITU-T勧告J.246（例えば、非特許文献８参照）に示されている。非特許文献８には、マルチメディアアプリケーションの映像フォーマットを前提とした客観画質評価法が示されている。

ＲＲ型に基づく客観画質評価法は、情報量が制限された原画像または送信画像の画像特徴量と、復号画像または受信画像のベースバンド信号と、を用いる。すなわち、このＲＲ型に基づく客観画質評価法は、ＮＲ型で用いられる復号画像または受信画像のベースバンド信号に加えて、原画像または送信画像の画像特徴量も用いる。このため、主観画質の推定精度は、ＦＲ型よりは低くなるが、ＮＲ型よりも高くなる。なお、画像特徴量は、数十から数百ｋｂｐｓ程度の情報であり、原画像のベースバンド信号と比べて非常に情報量が少なく、映像回線とは別に用意されたデータ回線を介して送信側から受信側に伝送される。

特開２００８−３５３５７号公報特開２０１０−１２４１０４号公報特開２０１１−１９９３８０号公報

ITU-T Recommendation H.262, "Information technology - Generic coding of moving pictures and associated audio information: Video " ITU-T Recommendation H.264, "Advanced video coding for generic audiovisual services" Recommendation ITU-R BT.500-11, "Methodology for the subjective assessment of the quality of television pictures" ITU-T Recommendation P.910, "Subjective video quality assessment methods for multimedia applications" ITU-T Recommendation J.143, "User requirements for objective perceptual video quality measurements in digital cable television" ITU-T Recommendation J.144, "Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference " ITU-T Recommendation J.247, "Objective perceptual multimedia video quality measurement in the presence of a full reference" ITU-T Recommendation J.246, "Perceptual audiovisual quality measurement techniques for multimedia services over digital cable television networks in the presence of a reduced bandwidth reference" ITU-T Recommendation H.265, "High Efficiency Video Coding"

特許文献２に示されているＮＲ型に基づく客観画質評価法によれば、復号後のベースバンド信号のみで主観画質の推定が可能である。しかし、ベースバンド信号は、情報を画素単位で有しており、膨大な情報量を有している。このため、復号後のベースバンド信号のみで主観画質を推定することは、精細な分析が可能であるものの、メモリからの読み出しやメモリへの蓄積や演算の処理に膨大なリソースを要する。そこで、復号後のベースバンド信号ではなく、圧縮ビットストリームと、圧縮ビットストリームの復号の過程で生成される中間コード情報と、のみで主観画質を推定する方法が提案されている（例えば、特許文献３参照）。

特許文献３に示されている客観画質評価法によれば、圧縮符号化前のベースバンド信号だけでなく、復号後のベースバンド信号も用いることなく、主観画質を推定することができる。このため、ベースバンド信号に対する処理が不要であり、主観画質を推定する処理の大幅な軽量化を実現できる。

しかし、特許文献３に示されている客観画質評価法は、上述の量子化により予測残差の変換係数がゼロになる場合について、考慮しない。このため、量子化スケールが、符号化側と復号側とで一致せず、主観画質の推定精度が低下するという課題があった。

そこで、本発明は、上述の課題を鑑みてなされたものであり、量子化により予測残差の変換係数がゼロになる場合も考慮して、符号化映像の主観画質を推定することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。
（１）本発明は、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置（例えば、図１の客観画質評価装置１に相当）であって、処理ブロックの属するスライスの符号化タイプ（例えば、図１のスライスタイプｃに相当）と、当該処理ブロックの量子化スケール（例えば、図１の量子化スケールｄに相当）と、当該処理ブロックにおける動きベクトル（例えば、図１の動きベクトル情報ｆに相当）と、当該処理ブロックの参照フレームを示す参照フレーム情報（例えば、図１の参照フレーム情報ｇに相当）と、を圧縮ビットストリーム（例えば、図１のビットストリームａに相当）から取得するマクロブロック層パラメータ解析手段（例えば、図１のマクロブロック層パラメータ解析部１０に相当）と、量子化スケール（例えば、図１の量子化スケールｉに相当）を記憶する量子化スケールバッファ（例えば、図１の量子化スケールバッファ５０に相当）と、前記マクロブロック層パラメータ解析手段により取得された動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケール（例えば、図１の量子化スケールｎに相当）を、前記量子化スケールバッファから読み出す量子化スケール導出手段（例えば、図１の量子化スケール導出部２０に相当）と、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、前記量子化スケール導出手段により読み出された量子化スケールを選択し、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、前記マクロブロック層パラメータ解析手段により取得された量子化スケールを選択する量子化スケール選択手段（例えば、図１の量子化スケール選択部３０に相当）と、前記マクロブロック層パラメータ解析手段により取得されたスライスの符号化タイプごとに、前記量子化スケール選択手段により選択された量子化スケールの統計処理を行う量子化スケール計算手段（例えば、図１の量子化スケール平均値算出部４０に相当）と、前記量子化スケール計算手段による統計処理の結果に基づいて、客観評価値を算出する特徴量統合手段（例えば、図１の特徴量統合部６０に相当）と、を備え、前記量子化スケールバッファは、前記量子化スケール選択手段により選択された量子化スケールを記憶することを特徴とする客観画質評価装置を提案している。

この発明によれば、圧縮ビットストリームから、処理ブロックの属するスライスの符号化タイプと、処理ブロックの量子化スケールと、処理ブロックにおける動きベクトルと、処理ブロックの参照フレームを示す参照フレーム情報と、を取得することとした。また、処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、取得した動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケールを選択して記憶し、処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、取得した量子化スケールを選択して記憶することとした。

このため、圧縮符号化前のベースバンド信号だけでなく、復号後のベースバンド信号も用いることなく、圧縮ビットストリーム内のパラメータ抽出と、量子化スケールの選択および記憶と、で量子化により予測残差の変換係数がゼロになる場合も考慮して、符号化映像の主観画質を推定することができる。

（２）本発明は、（１）の客観画質評価装置について、前記量子化スケール選択手段は、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、前記圧縮ビットストリームに含まれるcoded block flagに基づいて判断することを特徴とする客観画質評価装置を提案している。

この発明によれば、（１）の客観画質評価装置において、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、圧縮ビットストリームに含まれるcoded block flagに基づいて判断することができる。

（３）本発明は、（１）の客観画質評価装置について、前記量子化スケール選択手段は、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、当該処理ブロックが予測残差の変換係数を符号化しないブロックであるか否かに基づいて判断することを特徴とする客観画質評価装置を提案している。

この発明によれば、（１）の客観画質評価装置において、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、処理ブロックが予測残差の変換係数を符号化しないブロックであるか否かに基づいて判断することができる。

（４）本発明は、（１）から（３）のいずれかの客観画質評価装置について、前記量子化スケール計算手段は、前記量子化スケールの統計処理として、当該量子化スケールの平均値をフレームまたはシーケンスごとに求めることを特徴とする客観画質評価装置を提案している。

この発明によれば、（１）から（３）のいずれかの客観画質評価装置において、量子化スケールの統計処理として、量子化スケールの平均値をフレームまたはシーケンスごとに求めることができる。

（５）本発明は、（１）から（３）のいずれかの客観画質評価装置について、前記量子化スケール計算手段は、前記量子化スケールの統計処理として、当該量子化スケールの最大値または最小値を予め定められた数のフレームごとに求め、その結果の平均値をシーケンスごとに求めることを特徴とする客観画質評価装置を提案している。

この発明によれば、（１）から（３）のいずれかの客観画質評価装置において、量子化スケールの統計処理として、量子化スケールの最大値または最小値を予め定められた数のフレームごとに求め、その結果の平均値をシーケンスごとに求めることができる。

（６）本発明は、（１）から（５）のいずれかの客観画質評価装置と、前記客観画質評価装置による主観画質の推定結果を監視する監視手段（例えば、図４の間支部２に相当）と、を備えることを特徴とする自動監視装置（例えば、図４の自動監視装置ＡＡに相当）を提案している。

この発明によれば、（１）から（５）のいずれかの客観画質評価装置と、この客観画質評価装置による主観画質の推定結果を監視する監視手段と、を備える。このため、主観画質の推定結果の監視結果を、監視したり外部に報知したりすることができる。

（７）本発明は、マクロブロック層パラメータ解析手段（例えば、図１のマクロブロック層パラメータ解析部１０に相当）、量子化スケールバッファ（例えば、図１の量子化スケールバッファ５０に相当）、量子化スケール導出手段（例えば、図１の量子化スケール導出部２０に相当）、量子化スケール選択手段（例えば、図１の量子化スケール選択部３０に相当）、量子化スケール計算手段（例えば、図１の量子化スケール平均値算出部４０に相当）、および特徴量統合手段（例えば、図１の特徴量統合部６０に相当）を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置（例えば、図１の客観画質評価装置１に相当）における客観画質評価方法であって、前記マクロブロック層パラメータ解析手段が、処理ブロックの属するスライスの符号化タイプ（例えば、図１のスライスタイプｃに相当）と、当該処理ブロックの量子化スケール（例えば、図１の量子化スケールｄに相当）と、当該処理ブロックにおける動きベクトル（例えば、図１の動きベクトル情報ｆに相当）と、当該処理ブロックの参照フレームを示す参照フレーム情報（例えば、図１の参照フレーム情報ｇに相当）と、を圧縮ビットストリーム（例えば、図１のビットストリームａに相当）から取得する第１のステップと、前記量子化スケールバッファが、量子化スケール（例えば、図１の量子化スケールｉに相当）を記憶する第２のステップと、前記量子化スケール導出手段が、前記第１のステップにより取得された動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケール（例えば、図１の量子化スケールｎに相当）を、前記量子化スケールバッファから読み出す第３のステップと、前記量子化スケール選択手段が、前記第１のステップにより取得された量子化スケールと、前記第３のステップにより読み出された量子化スケールと、のいずれかを選択する第４のステップと、前記量子化スケール計算手段が、前記第１のステップにより取得されたスライスの符号化タイプごとに、前記第４のステップにより選択された量子化スケールの統計処理を行う第５のステップと、前記特徴量統合手段が、前記第５のステップによる統計処理の結果に基づいて、客観評価値を算出する第６のステップと、を備え、前記第２のステップでは、前記量子化スケールバッファは、前記第４のステップにより選択された量子化スケールを記憶することを特徴とする客観画質評価方法を提案している。

この発明によれば、圧縮ビットストリームから、処理ブロックの属するスライスの符号化タイプと、処理ブロックの量子化スケールと、処理ブロックにおける動きベクトルと、処理ブロックの参照フレームを示す参照フレーム情報と、を取得することとした。また、処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、取得した動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケールを選択して記憶し、処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、取得した量子化スケールを選択して記憶することとした。このため、上述した効果と同様の効果を奏することができる。

（８）本発明は、マクロブロック層パラメータ解析手段（例えば、図１のマクロブロック層パラメータ解析部１０に相当）、量子化スケールバッファ（例えば、図１の量子化スケールバッファ５０に相当）、量子化スケール導出手段（例えば、図１の量子化スケール導出部２０に相当）、量子化スケール選択手段（例えば、図１の量子化スケール選択部３０に相当）、量子化スケール計算手段（例えば、図１の量子化スケール平均値算出部４０に相当）、および特徴量統合手段（例えば、図１の特徴量統合部６０に相当）を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置（例えば、図１の客観画質評価装置１に相当）における客観画質評価方法を、コンピュータに実行させるためのプログラムであって、前記マクロブロック層パラメータ解析手段が、処理ブロックの属するスライスの符号化タイプ（例えば、図１のスライスタイプｃに相当）と、当該処理ブロックの量子化スケール（例えば、図１の量子化スケールｄに相当）と、当該処理ブロックにおける動きベクトル（例えば、図１の動きベクトル情報ｆに相当）と、当該処理ブロックの参照フレームを示す参照フレーム情報（例えば、図１の参照フレーム情報ｇに相当）と、を圧縮ビットストリーム（例えば、図１のビットストリームａに相当）から取得する第１のステップと、前記量子化スケールバッファが、量子化スケール（例えば、図１の量子化スケールｉに相当）を記憶する第２のステップと、前記量子化スケール導出手段が、前記第１のステップにより取得された動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケール（例えば、図１の量子化スケールｎに相当）を、前記量子化スケールバッファから読み出す第３のステップと、前記量子化スケール選択手段が、前記第１のステップにより取得された量子化スケールと、前記第３のステップにより読み出された量子化スケールと、のいずれかを選択する第４のステップと、前記量子化スケール計算手段が、前記第１のステップにより取得されたスライスの符号化タイプごとに、前記第４のステップにより選択された量子化スケールの統計処理を行う第５のステップと、前記特徴量統合手段が、前記第５のステップによる統計処理の結果に基づいて、客観評価値を算出する第６のステップと、をコンピュータに実行させ、前記第２のステップでは、前記量子化スケールバッファは、前記第４のステップにより選択された量子化スケールを記憶するためのプログラムを提案している。

本発明によれば、量子化により予測残差の変換係数がゼロになる場合も考慮して、符号化映像の主観画質を推定することができる。

本発明の第１実施形態に係る客観画質評価装置のブロック図である。回帰分析について説明するための図である。本発明の第２実施形態に係る客観画質評価装置のブロック図である。本発明の第３実施形態に係る自動監視装置のブロック図である。

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１実施形態＞
［客観画質評価装置１の構成および動作］
図１は、本発明の第１実施形態に係る客観画質評価装置１のブロック図である。客観画質評価装置１は、ベースバンド信号としての参照画像を用いることなく映像の主観画質を推定する。この客観画質評価装置１は、マクロブロック層パラメータ解析部１０、量子化スケール導出部２０、量子化スケール選択部３０、量子化スケール平均値算出部４０、量子化スケールバッファ５０、および特徴量統合部６０を備える。

マクロブロック層パラメータ解析部１０は、圧縮符号化されたビットストリームａを入力とする。このマクロブロック層パラメータ解析部１０は、ビットストリームａの復号の過程で生成される中間コード情報である符号化パラメータを、ビットストリームａから求めて出力する。上述の出力される符号化パラメータには、スライスタイプｃと、量子化スケールｄと、残差係数有無情報ｅと、動きベクトル情報ｆと、参照フレーム情報ｇと、が含まれる。

スライスタイプｃは、処理ブロックの属するスライスの符号化タイプがＩスライス、Ｐスライス、Ｂスライスのいずれであるかを示す。なお、ＳＩスライスは、Ｉスライスと解釈し、ＳＰスライスは、Ｐスライスと解釈する。

量子化スケールｄは、処理ブロックの量子化スケールを示す。

残差係数有無情報ｅは、coded block flagとしてビットストリームａに含まれており、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを示す。

動きベクトル情報ｆは、処理ブロックにおける動きベクトルを示す。

参照フレーム情報ｇは、処理ブロックの参照フレームを示し、処理ブロックが動きベクトルを有している場合に出力される。なお、処理ブロックに双予測が適用されている場合には、２つの参照フレームについての情報が、参照番号の小さい順に出力される。

量子化スケール導出部２０は、動きベクトル情報ｆと、参照フレーム情報ｇと、量子化スケールバッファ５０から出力される後述の量子化スケールｎと、を入力とする。この量子化スケール導出部２０は、まず、参照フレーム情報ｇで示された参照フレームに属する画素ブロックの中から、動きベクトル情報ｆで示される画素ブロックを求める。次に、求めた画素ブロックにおける量子化スケールを量子化スケールｎとして量子化スケールバッファ５０から読み出し、量子化スケールｈとして出力する。

量子化スケール選択部３０は、量子化スケールｄと、残差係数有無情報ｅと、量子化スケールｈと、を入力とする。この量子化スケール選択部３０は、処理ブロックごとに、残差係数有無情報ｅに応じて量子化スケールｄまたは量子化スケールｈを選択し、量子化スケールｉとして出力する。具体的には、処理ブロックにおける予測残差の変換係数が量子化によりゼロになり、かつ、この処理ブロックが動き補償ブロックである場合には、量子化スケールｈを量子化スケールｉとして選択する。一方、処理ブロックにおける予測残差の変換係数が量子化によりゼロにならない場合と、処理ブロックが動き補償ブロックではない場合と、の少なくともいずれかの場合には、量子化スケールｄを量子化スケールｉとして選択する。

量子化スケール平均値算出部４０は、スライスタイプｃと、量子化スケールｉと、を入力とする。この量子化スケール平均値算出部４０は、シーケンス全体における量子化スケールの平均値を、Ｉスライス、Ｐスライス、およびＢスライスのそれぞれのスライスタイプごとに求める。そして、シーケンス全体のうちＩスライスにおける量子化スケールの平均値を、量子化スケール平均値ｊとして出力する。また、シーケンス全体のうちＰスライスにおける量子化スケールの平均値を、量子化スケール平均値ｋとして出力する。また、シーケンス全体のうちＢスライスにおける量子化スケールの平均値を、量子化スケール平均値ｍとして出力する。

なお、上述のシーケンス全体とは、１つの動画像コンテンツの全部や、１つの動画像コンテンツの一部分や、１つ以上のフレームのことである。

量子化スケールバッファ５０は、量子化スケールｉを入力とする。この量子化スケールバッファ５０は、入力された量子化スケールｉを、量子化スケールの最小変更単位と同じブロックサイズの精度で記憶し、適宜、量子化スケールｎとして量子化スケール導出部２０に供給する。

特徴量統合部６０は、量子化スケール平均値ｊ、ｋ、ｍを入力とする。この特徴量統合部６０は、これら量子化スケール平均値ｊ、ｋ、ｍに基づいて、シーケンス全体のうちＩスライスにおける量子化スケールの平均値と、シーケンス全体のうちＰスライスにおける量子化スケールの平均値と、シーケンス全体のうちＢスライスにおける量子化スケールの平均値と、を統合して、客観評価尺度Ｑ_ｏｂｊを算出し、統合品質情報ｂとして出力する。なお、客観評価値Ｑ_ｏｂｊの算出には、以下の数式（１）を用いる。

数式（１）において、αＱ_Ｉは、量子化スケール平均値ｊにより求めることのできるシーケンス全体のうちＩスライスにおける量子化スケールの平均値のことである。また、αＱ_Ｐは、量子化スケール平均値ｋにより求めることのできるシーケンス全体のうちＰスライスにおける量子化スケールの平均値のことである。また、αＱ_Ｂは、量子化スケール平均値ｍにより求めることのできるシーケンス全体のうちＢスライスにおける量子化スケールの平均値のことである。

また、数式（１）において、ｆ（）は、予め定められた関数のことである。このｆ（）には、評価対象の画像フォーマットや符号化方式や符号化ビットレートなどの条件に応じて、客観評価値Ｑ_ｏｂｊと主観評価値との相関が最大になる関数が選ばれる。ｆ（）に選ばれる関数の一例を、以下の数式（２）および数式（３）に示す。

数式（２）および数式（３）において、ｗ_１、ｗ_２、ｗ_３は、重み係数のことである。また、数式（３）において、γ１、γ２は、べき指数のことである。数式（２）におけるｗ_０、ｗ_１、ｗ_２や、数式（３）におけるｗ_０、ｗ_１、ｗ_２、γ１、γ２は、客観評価値Ｑ_ｏｂｊと主観評価値との相関が最大になるように予め設定される。客観評価値Ｑ_ｏｂｊと主観評価値との相関は、複数の評価映像を用いて得られた客観評価値の系列および主観評価値の系列を、回帰分析することによって求めることができる。この回帰分析について、図２を用いて以下に説明する。

図２において、縦軸は、主観評価値を示し、横軸は、客観評価値を示す。複数の評価映像のそれぞれについて、評価映像を用いることで得られた客観評価値と主観評価値とを求め、これらを図２に示すようにプロットすると、これら客観評価値と主観評価値との関係は、回帰曲線で近似することができる。回帰曲線には、一次関数だけでなく、高次多項式やロジスティック関数などの非線形関数も適用できる。客観画質評価の目的は、主観画質の推定であり、回帰曲線による近似の精度が高くなるに従って、すなわち図２のグラフ上の各プロット点と回帰曲線との距離が近くなるに従って、主観画質の推定精度が高くなる。

以上の客観画質評価装置１によれば、以下の効果を奏することができる。

客観画質評価装置１は、ビットストリームａから、処理ブロックの属するスライスの符号化タイプを示すスライスタイプｃと、処理ブロックの量子化スケールｄと、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを示す残差係数有無情報ｅと、処理ブロックにおける動きベクトル情報ｆと、処理ブロックの参照フレームを示す参照フレーム情報ｇと、を取得する。また、残差係数有無情報ｅに基づいて、処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、動きベクトル情報ｆおよび参照フレーム情報ｇで示された画素ブロックにおける量子化スケールｎを選択して記憶し、処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、量子化スケールｄを選択して記憶する。

このため、圧縮符号化前のベースバンド信号だけでなく、復号後のベースバンド信号も用いることなく、ビットストリームａ内のパラメータ抽出と、量子化スケールの選択および記憶と、で量子化により予測残差の変換係数がゼロになる場合も考慮して、符号化映像の主観画質を推定することができる。

また、客観画質評価装置１は、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、圧縮ビットストリームに含まれるcoded block flagに基づいて判断することができる。

また、客観画質評価装置１は、量子化スケールの平均値を、シーケンスおよびスライスタイプごとに求めることができる。

＜第２実施形態＞
［客観画質評価装置１Ａの構成および動作］
図３は、本発明の第２実施形態に係る客観画質評価装置１Ａのブロック図である。客観画質評価装置１Ａは、図１に示した本発明の第１実施形態に係る客観画質評価装置１とは、マクロブロック層パラメータ解析部１０の代わりにマクロブロック層パラメータ解析部１０Ａを備える点と、特徴量統合部６０の代わりに特徴量統合部６０Ａを備える点と、空間的劣化特徴量計算部７０および時間的劣化特徴量計算部８０を備える点と、が異なる。なお、客観画質評価装置１Ａにおいて、客観画質評価装置１と同一構成要件については、同一符号を付し、その説明を省略する。

マクロブロック層パラメータ解析部１０Ａは、圧縮符号化されたビットストリームａを入力とする。このマクロブロック層パラメータ解析部１０Ａは、ビットストリームａの復号の過程で生成される中間コード情報である符号化パラメータを、ビットストリームａから求めて出力する。上述の出力される符号化パラメータには、スライスタイプｃと、量子化スケールｄと、残差係数有無情報ｅと、動きベクトル情報ｆと、参照フレーム情報ｇと、に加えて、直交変換係数ｐが含まれる。

直交変換係数ｐは、処理ブロック内の各直交変換ブロック内の直交変換係数を示す。

空間的劣化特徴量計算部７０は、直交変換係数ｐを入力とする。この空間的劣化特徴量計算部７０は、直交変換係数ｐを用いて処理ブロック内の空間的劣化特徴量を求め、空間的劣化特徴量ｑとして出力する。

空間的劣化特徴量とは、復号画像上のブロック歪の視覚的な認識程度を示す指標のことである。ブロック歪は、MPEG-2やH.264などのブロック単位で処理を行う圧縮符号化形式において発生する画質劣化の要因の１つであり、ブロック歪による画質劣化と、主観画質の劣化と、の間には高い相関があると考えられる。このブロック歪は、画素ブロックの境界で信号値が大きく変化することによって発生し、ブロック間の直流成分が大きく変化している場合に視覚的に目立つようになる。

そこで、本実施形態では、空間的劣化特徴量計算部７０は、特許文献３に示されている空間的劣化特徴量計算部と同様に、隣接する８×８画素ブロック間の直流成分の差分二乗平均値により、空間的劣化特徴量を定義する。

時間的劣化特徴量計算部８０は、参照フレーム情報ｇと、直交変換係数ｐと、を入力とする。この時間的劣化特徴量計算部８０は、参照フレーム情報ｇおよび直交変換係数ｐを用いて時間的劣化特徴量を求め、時間的劣化特徴量ｒとして出力する。

時間的劣化特徴量とは、復号画像上のフリッカ妨害の視覚的な認識程度を示す指標のことである。フリッカ妨害は、動き補償予測符号化のイントラフレーム挿入の周期ごとに大きな品質変動がある場合などに検知される劣化であり、連続するフレーム間での輝度変化が急激に発生することによって知覚される。このフリッカ妨害による画質劣化と、主観画質の劣化と、の間にも高い相関があると考えられる。

そこで、本実施形態では、時間的劣化特徴量計算部８０は、特許文献３に示されている時間的劣化特徴量計算部と同様に、処理ブロック内の時間的な輝度値の変化を捉えるために、各画素ブロックにおける輝度のフレーム間差分を時間的劣化特徴量として定義する。

特徴量統合部６０Ａは、量子化スケール平均値ｊ、ｋ、ｍに加えて、空間的劣化特徴量ｑと、時間的劣化特徴量ｒと、を入力とする。この特徴量統合部６０Ａは、これら量子化スケール平均値ｊ、ｋ、ｍと空間的劣化特徴量ｑと時間的劣化特徴量ｒとに基づいて、シーケンス全体のうちＩスライスにおける量子化スケールの平均値と、シーケンス全体のうちＰスライスにおける量子化スケールの平均値と、シーケンス全体のうちＢスライスにおける量子化スケールの平均値と、空間的劣化特徴量および時間的劣化特徴量と、を統合して、客観評価尺度Ｑ_ｏｂｊを算出し、統合品質情報ｂとして出力する。なお、客観評価値Ｑ_ｏｂｊの算出には、以下の数式（４）を用いる。

数式（４）において、ＳＩは、空間的劣化特徴量のことであり、ＴＩは、時間的劣化特徴量のことである。

また、数式（４）におけるｆ（）に選ばれる関数の一例を、以下の数式（５）および数式（６）に示す。

以上の客観画質評価装置１Ａによれば、客観画質評価装置１が奏することのできる上述の効果に加えて、以下の効果を奏することができる。

客観画質評価装置１Ａは、符号化映像の主観画質の推定に、空間的劣化特徴量および時間的劣化特徴量を用いる。このため、符号化映像の主観画質の推定精度をさらに向上することができる。

＜第３実施形態＞
［自動監視装置ＡＡの構成および動作］
図４は、本発明の第３実施形態に係る自動監視装置ＡＡのブロック図である。自動監視装置ＡＡは、ベースバンド信号としての参照画像を用いることなく映像の主観画質を推定して、映像品質の自動監視を行う。この自動監視装置ＡＡは、図１に示した本発明の第１実施形態に係る客観画質評価装置１と、監視部２と、を備える。

監視部２は、客観画質評価装置１により求められた客観評価尺度Ｑ_ｏｂｊを監視する。具体的には、監視部２は、客観画質評価装置１により求められた客観評価尺度Ｑ_ｏｂｊを、図示しない記憶部に記憶させる。また、この客観評価尺度Ｑ_ｏｂｊに基づいて、映像品質が予め定められた品質より悪いか否かを判別し、悪いと判別した場合には、その旨を外部に報知する。

以上の自動監視装置ＡＡによれば、客観画質評価装置１が奏することのできる上述の効果に加えて、以下の効果を奏することができる。

自動監視装置ＡＡは、映像品質が予め定められた品質より悪い場合に、その旨を外部に報知することができる。

なお、本発明の客観画質評価装置１、１Ａや自動監視装置ＡＡの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを客観画質評価装置１、１Ａや自動監視装置ＡＡに読み込ませ、実行することによって、本発明を実現できる。

ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、客観画質評価装置１、１Ａや自動監視装置ＡＡに設けられたプロセッサによって行われる。

また、上述のプログラムは、このプログラムを記憶装置などに格納した客観画質評価装置１、１Ａや自動監視装置ＡＡから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を客観画質評価装置１、１Ａや自動監視装置ＡＡにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

例えば、上述の第１実施形態では、量子化スケール平均値算出部４０は、シーケンス全体における量子化スケールの平均値をスライスタイプごとに求めるものとした。しかし、これに限らず、例えば、シーケンス全体における量子化スケールの移動平均や、最大値や、最小値や、幾何学平均などを求めるものとしてもよい。また、シーケンス全体における量子化スケールではなく、予め定められた数のフレームごとに、上述のように平均値や移動平均などを求めるものとしてもよい。また、量子化スケールの最大値または最小値を予め定められた数のフレームごとに求め、その結果の平均値をシーケンスごとに求めるものとしてもよい。

また、上述の各実施形態では、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、圧縮ビットストリームに含まれるcoded block flagに基づいて判断するものとした。しかし、これに限らず、例えば、処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、処理ブロックが予測残差の変換係数を符号化しないブロックであるか否かに基づいて判断してもよい。

また、上述の第２実施形態では、客観画質評価装置１Ａは、空間的劣化特徴量計算部７０および時間的劣化特徴量計算部８０を備えるものとしたが、これに限らず、例えば、空間的劣化特徴量計算部７０および時間的劣化特徴量計算部８０のうちいずれか一方を備えるものとしてもよい。

１、１Ａ・・・客観画質評価装置
２・・・監視部
１０、１０Ａ・・・マクロブロック層パラメータ解析部
２０・・・量子化スケール導出部
３０・・・量子化スケール選択部
４０・・・量子化スケール平均値算出部
５０・・・量子化スケールバッファ
６０、６０Ａ・・・特徴量統合部
７０・・・空間的劣化特徴量計算部
８０・・・時間的劣化特徴量計算部
ＡＡ・・・自動監視装置

Claims

参照画像を用いることなく映像の主観画質を推定する客観画質評価装置であって、
処理ブロックの属するスライスの符号化タイプと、当該処理ブロックの量子化スケールと、当該処理ブロックにおける動きベクトルと、当該処理ブロックの参照フレームを示す参照フレーム情報と、を圧縮ビットストリームから取得するマクロブロック層パラメータ解析手段と、
量子化スケールを記憶する量子化スケールバッファと、
前記マクロブロック層パラメータ解析手段により取得された動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケールを、前記量子化スケールバッファから読み出す量子化スケール導出手段と、
前記処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、前記量子化スケール導出手段により読み出された量子化スケールを選択し、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、前記マクロブロック層パラメータ解析手段により取得された量子化スケールを選択する量子化スケール選択手段と、
前記マクロブロック層パラメータ解析手段により取得されたスライスの符号化タイプごとに、前記量子化スケール選択手段により選択された量子化スケールの統計処理を行う量子化スケール計算手段と、
前記量子化スケール計算手段による統計処理の結果に基づいて、客観評価値を算出する特徴量統合手段と、を備え、
前記量子化スケールバッファは、前記量子化スケール選択手段により選択された量子化スケールを記憶することを特徴とする客観画質評価装置。
前記量子化スケール選択手段は、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、前記圧縮ビットストリームに含まれるcoded block flagに基づいて判断することを特徴とする請求項１に記載の客観画質評価装置。
前記量子化スケール選択手段は、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロであるか否かを、当該処理ブロックが予測残差の変換係数を符号化しないブロックであるか否かに基づいて判断することを特徴とする請求項１に記載の客観画質評価装置。
前記量子化スケール計算手段は、前記量子化スケールの統計処理として、当該量子化スケールの平均値をフレームまたはシーケンスごとに求めることを特徴とする請求項１から３のいずれかに記載の客観画質評価装置。
前記量子化スケール計算手段は、前記量子化スケールの統計処理として、当該量子化スケールの最大値または最小値を予め定められた数のフレームごとに求め、その結果の平均値をシーケンスごとに求めることを特徴とする請求項１から３のいずれかに記載の客観画質評価装置。
請求項１から５のいずれかに記載の客観画質評価装置と、
前記客観画質評価装置による主観画質の推定結果を監視する監視手段と、を備えることを特徴とする自動監視装置。
マクロブロック層パラメータ解析手段、量子化スケールバッファ、量子化スケール導出手段、量子化スケール選択手段、量子化スケール計算手段、および特徴量統合手段を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置における客観画質評価方法であって、
前記マクロブロック層パラメータ解析手段が、処理ブロックの属するスライスの符号化タイプと、当該処理ブロックの量子化スケールと、当該処理ブロックにおける動きベクトルと、当該処理ブロックの参照フレームを示す参照フレーム情報と、を圧縮ビットストリームから取得する第１のステップと、
前記量子化スケールバッファが、量子化スケールを記憶する第２のステップと、
前記量子化スケール導出手段が、前記第１のステップにより取得された動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケールを、前記量子化スケールバッファから読み出す第３のステップと、
前記量子化スケール選択手段が、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、前記量子化スケール導出手段により読み出された量子化スケールを選択し、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、前記マクロブロック層パラメータ解析手段により取得された量子化スケールを選択する第４のステップと、
前記量子化スケール計算手段が、前記第１のステップにより取得されたスライスの符号化タイプごとに、前記第４のステップにより選択された量子化スケールの統計処理を行う第５のステップと、
前記特徴量統合手段が、前記第５のステップによる統計処理の結果に基づいて、客観評価値を算出する第６のステップと、を備え、
前記第２のステップでは、前記量子化スケールバッファは、前記第４のステップにより選択された量子化スケールを記憶することを特徴とする客観画質評価方法。
マクロブロック層パラメータ解析手段、量子化スケールバッファ、量子化スケール導出手段、量子化スケール選択手段、量子化スケール計算手段、および特徴量統合手段を備え、参照画像を用いることなく映像の主観画質を推定する客観画質評価装置における客観画質評価方法を、コンピュータに実行させるためのプログラムであって、
前記マクロブロック層パラメータ解析手段が、処理ブロックの属するスライスの符号化タイプと、当該処理ブロックの量子化スケールと、当該処理ブロックにおける動きベクトルと、当該処理ブロックの参照フレームを示す参照フレーム情報と、を圧縮ビットストリームから取得する第１のステップと、
前記量子化スケールバッファが、量子化スケールを記憶する第２のステップと、
前記量子化スケール導出手段が、前記第１のステップにより取得された動きベクトルおよび参照フレーム情報で示された画素ブロックにおける量子化スケールを、前記量子化スケールバッファから読み出す第３のステップと、
前記量子化スケール選択手段が、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロである場合には、前記量子化スケール導出手段により読み出された量子化スケールを選択し、前記処理ブロックにおける予測残差の変換係数が量子化によりゼロではない場合には、前記マクロブロック層パラメータ解析手段により取得された量子化スケールを選択する第４のステップと、
前記量子化スケール計算手段が、前記第１のステップにより取得されたスライスの符号化タイプごとに、前記第４のステップにより選択された量子化スケールの統計処理を行う第５のステップと、
前記特徴量統合手段が、前記第５のステップによる統計処理の結果に基づいて、客観評価値を算出する第６のステップと、を備え、
前記第２のステップでは、前記量子化スケールバッファは、前記第４のステップにより選択された量子化スケールを記憶するためのプログラム。