JP5982240B2 - 映像品質の客観評価装置 - Google Patents

Description

本発明は映像品質の客観評価装置に関し、特に、動画像の圧縮符号化および伝送路障害に起因する再生不良により劣化した画像の知覚品質を、参照画像を用いず、復号画像のベースバンド信号の解析のみから推定する映像品質の客観評価装置に関する。

デジタル映像の蓄積・伝送に際しては、通常、圧縮符号化による情報量の削減が行われる。この圧縮符号化は、一般に非可逆圧縮を意味しており、復号された画像は、所与の圧縮率（ビットレート）に対する視覚的な劣化は最小となるよう制御されているものの、原画像に対しては画像特徴に応じた誤差を有するという特徴を持つ。

ここで、画像特徴とは、画面内の構成物の精細さや動きの大きさ、複雑さなどの特徴を指す。上述のように、非可逆圧縮による視覚的劣化は最小になるよう設計されており、一般に非可逆符号化では、圧縮率が一定であっても上述の画像特徴によって認識される劣化の程度が異なるという性質を有する。このため、非可逆圧縮に伴う画質劣化を定量的に測定する技術が求められている。

従来の画質の測定は、人間の目視に基づく主観評価により行われていた。主観評価の実施には所定の評価手法を正しく理解し実施するための知識・経験と、多数の非専門家を集め、個々の被験者に対し映像を提示するという時間的・費用的負担を要するため、その実施は容易とはいえない。そこで、映像信号の分析により数値化された映像特徴（特徴量）を抽出し、その映像特徴量から当該映像の品質を導出する客観画質評価方式の確立が望まれている。

客観画質評価法は、評価対象の映像信号のほかに参照情報（リファレンス；圧縮符号化前の原画像など）を使用するか、分析対象の映像信号が圧縮信号であるのか非圧縮映像信号であるかにより複数のフレームワークに分類される。

前者の観点では、参照情報を用いるFR(Full Reference)/RR(Reduced Reference)および参照情報を用いないNR(No Reference)という分類があり、後者の観点では、圧縮情報を分析するビットストリーム型／非圧縮信号を分析するベースバンド型／ビットストリームとベースバンドを併用するハイブリッド型の分類がある。

一般に、客観画質評価は、品質の基準となる参照情報があるほうが主観画質の推定精度が高いが、実施の形態（アプリケーション）によっては、必ずしも参照情報が得られるとは限らない（例：映像伝送系の受信側での監視を想定すると、送信側の画像は参照することができない）ため、適用範囲が狭いという課題がある。また、圧縮ビットストリームの参照についても、暗号解除や多重分離などを要する場合があり、映像受信機が出力として必ず具備するベースバンド信号のみを参照するのに比べると実施可能な構成が限定されることがある。

以上より、主観画質の推定精度の課題はあるものの、参照情報なしにベースバンド信号に含まれる画素情報の解析のみで主観画質を推定するベースバンドNR型客観評価方式が、多様な実施形態に対応するという観点で望ましいと言える。

パラメトリックNR型評価方式として、当発明者らの出願に係る特許文献1が存在する。

また、ベースバンドNR型客観評価方式として、当発明者らの出願に係る特許文献2が存在する。特許文献2に開示の発明では、符号化劣化による主観品質の劣化を推定することを前提としており、符号化劣化として視覚上認識されやすいブロック歪みとフリッカの強度をベースバンド信号解析により映像特徴量として求め、さらにその2つの特徴量を統合することで主観画質を推定している。

特開2011-199380 (映像品質の客観画質評価装置および自動監視装置) 特開2010-124104 (映像の客観画質評価装置)

特許文献2に開示の発明では、復号画像のベースバンド信号のうち、ブロック歪み特徴量の計算に所与のアダマール変換係数成分（基底画像が矩形かつその境界が符号化ブロック境界に一致する）を、フリッカ特徴量の計算にフレーム間差分電力を用いている。これらはブロック歪み・フリッカの誤差信号の特性を鑑みて定義されたものであるが、対象画像が本来矩形の模様を持っていたり、早い動きを持っていたりする場合、それが符号化劣化に起因するものであるのか、評価対象の映像が本来から持つ時空間的な性質に起因するものなのかを判別することが困難である場合があった。両者を正しくに識別できない場合、符号化劣化の強度を不当に高く見積もって客観評価が行われ、当該評価に基づく主観画質の推定精度を大きく損ねる点が課題であった。

上記課題に鑑みて、本発明の目的は、評価対象の映像が本来有する時空間的性質の影響を低減してより高精度に客観評価値を得ることのできる映像品質の客観評価装置を提供することにある。

上記課題を解決するため、本発明は、参照画像を用いず、評価画像の画素信号の情報のみを使って画質を評価する映像品質の客観評価装置において、評価画像における評価対象フレーム及びその直前のフレームの各画素信号から動きベクトルを検出する動き検出部と、前記動きベクトル及び評価画像の画素信号から予測信号を生成する予測信号生成部と前記予測信号と前記評価画像対象フレームの画素信号との差分として残差信号を生成する残差信号計算部と、前記残差信号から各フレームにおけるブロック歪特徴量を計算するブロック歪特徴量計算部と、前記ブロック歪特徴量の映像シーケンス内平均に基づいて映像画質の客観評価値を導出する特徴量統合部と、を備えることを第1の特徴とする。

また本発明は、前記残差信号から各フレームにおけるフリッカ特徴量を計算するフリッカ特徴量計算部をさらに備え、前記特徴量統合部が、前記ブロック歪み特徴量及び前記フリッカ特徴量のそれぞれの映像シーケンス内平均に基づいて映像品質の客観評価値を導出することを第2の特徴とする。

前記第１の特徴によれば、残差信号からブロック歪み特徴量を計算するので、評価対象の映像が本来有する空間的な性質の影響を低減して、高精度に客観評価値を推定することができる。

前記第２の特徴によればさらに、残差信号からフリッカ特徴量を計算するので、評価対象の映像が本来有する空間的な性質の影響を低減して、高精度に客観評価値を推定することができる。

一実施形態に係る映像品質の客観評価装置の機能ブロック図である。 ブロック歪特徴量の定義を説明するための例を示す図である。

図1は、一実施形態に係る映像品質の客観評価装置の機能ブロック図である。映像品質の客観評価装置10は、動き検出部1、フレームメモリ2、グローバル動きベクトル(GMV)選択部3、予測信号生成部4、残差信号計算部5、ブロック歪特徴量計算部6、フリッカ特徴量計算部7、特徴量統合部8、主観評価値推定部9及びスイッチ11を備え、非圧縮映像信号を入力とし、客観評価値を1つの出力とし、また当該出力を用いてさらに算出を行うことで主観評価値の推定値をもう１つの出力とする。以下に、当該各機能部を説明する。

[入力映像信号について]
映像品質の客観評価装置10には非圧縮映像信号がフレーム番号順に入力され、当該入力映像信号は動き検出部1、フレームメモリ2及び残差信号計算部5へ渡される。

[フレームメモリ2について]
フレームメモリ2は、入力映像信号をフレーム単位で保持して動き検出部1に提供することによって、動き検出部1が隣接フレーム間の動きベクトル検出を行う際に、当該検出対象フレームの1つ前のフレームの情報を参照できるようにする。

[動き検出部1について]
動き検出部1は、入力映像信号から得られるフレームを小画素ブロック単位に分割し、フレームメモリ2の保持する前フレームを参照して当該分割されたブロック単位に動き予測を適用し、動きベクトル(MV)を検出する。MV検出精度としては整数精度で良く、動画像符号化のように動き補償を用いて小数画素単位の動きを検出する必要はない。

MV検出の手法は、任意の手法を選択してもよい。一例として、単純なブロックマッチング法によるMV ;v_B=(v_B0, v_B1)は以下(式1)のように定義される。

ここで、x_f,B(n₀, n₁)はフレーム番号f, 当該画素ブロックB内の画素位置(n₀, n₁)における輝度信号(画素信号)値を表し、輝度信号差分の二乗和を最小とするものとしてMVが検出される。なお、画素ブロックのサイズは想定する符号化方式における制御単位と一致していることが望ましい。例えば、H.264であればマクロブロック(MB)サイズと同じく 16×16画素あるいはその整数倍が好適である。評価対象映像に適用された符号化方式が既知であれば対応する制御単位の所定サイズを用いればよく、未知の場合もユーザ指定等により何らかの符号化方式において想定される所定サイズを用いるようにすればよい。

[スイッチ11について]
スイッチ11は接点A又はBのいずれかにつながるよう設定され、接点Aにつながる場合はGMV選択部3を利用する第1実施形態に、接点Bにつながる場合はGMV選択部3をスキップする第2実施形態に対応する。なお、スイッチ11はユーザ指定等によって固定して設定され、評価対象映像の途中で接点A又はBのつながり状態が切り替わることはない。

第１実施形態では、動き検出部1の検出した動きベクトルよりGMV選択部3がGMVを導出して、予測信号生成部4へと入力する。第2実施形態では動き検出部1の検出した動きベクトルがそのまま予測信号生成部4へと入力される。いずれの実施形態においても、動き検出部1の検出した動きベクトルはフリッカ特徴量計算部7へも入力される。

[GMV選択部3について]
本発明では、第2実施形態の場合、入力映像が本来持っていた特徴と劣化信号成分とを分離するために、予測信号生成部4にて動き検出部1の出力した各画素ブロックのMVを用いて予測画像を生成し、残差信号計算部5が残差画像を得る。

しかし、当該MVをそのまま直接に用いると、動きが一様でなく隣接ブロック間でMVが一致していない場合（例：芝生、水面など）、検出しようとしている劣化信号成分に起因するのではなく、動き検出部1のMV選択のばらつきに起因して、残差画像の画素ブロック境界で信号の不連続による大きなエッジ（ブロック歪み）が検出される恐れがある。

そこで、第1実施形態においては動き検出部1の出力した各画素ブロックのMVから、GMV選択部3がグローバル動きベクトル(Global MV; GMV)を導出することで隣接ブロック間のMVを極力一致させるようにする。

GMVの導出方法は任意の手法を用いてよい。一例として、Dirac符号化では、局所ベクトルv（動き検出部1のMV検出結果）に対してアフィン変換を施したベクトルG=Av + b（A, bはアフィン変換行列およびオフセット）をGMVとし、局所ベクトルとGMVの差のL2ノルム|| G - v ||²を最小とするアフィン変換行列を求めることにより導出する。

[予測信号生成部4について]
予測信号生成部4は、第2実施形態においては動き検出部1の検出した動きベクトル(局所ベクトル)を直接用いて、第1実施形態においてはGMV選択部3の導出したGMVを用いて、(式2)にて予測信号x_{pred, B}(n₀, n₁)を生成し、残差信号計算部5に入力する。なお、v_B=(v_B0, v_B1)が局所ベクトル又はGMVである。

[残差信号計算部5について]
残差信号計算部5は、(式3)に示すように入力映像信号と予測信号の同一画素位置(n₀, n₁)における差を求め、残差信号r_{f , B}(n₀, n₁)を得て、当該残差信号をブロック歪特徴量計算部6及びフリッカ特徴量計算部7へと入力する。

[ブロック歪特徴量計算部6について]
ブロック歪特徴量計算部6は、復号画像上の空間劣化であるブロック歪みの視覚的な認識程度を示す指標として、ブロック歪特徴量を各フレームにつき出力し、特徴量統合部8へ入力する。この際、以下のようにブロック毎のブロック歪特徴量をまず求めてから、その中で視覚特性を考慮した所定条件を満たすものの平均として、フレーム毎のブロック歪特徴量を最終的に出力する。

ブロック歪みは、直交変換ブロック間で量子化ステップが大きく異なる場合、予測残差信号が動き予測の単位ブロック（多くの符号化方式においては、マクロブロックが該当）境界で不連続になること等に起因して輝度信号上において視覚的に検知されようになると考えられる。

さらに、ブロック歪みではなくその画像が本来持っていた空間的特徴に起因する輝度信号上の不連続成分は、予測残差信号上においては大きな不連続性を生じさせないと考えられる。よって、本発明ではブロック歪特徴量を、動き予測の単位ブロックの境界部における予測残差信号の不連続性に基づき定義する。

図2はブロック歪特徴量の定義を説明するための例を示す図であり、ここでは動き検出の単位ブロック(第2画素ブロック)が2N_M画素×2N_Mラインであり、直交変換の単位ブロック(第1画素ブロック)がN_M画素×N_Mラインである場合を例としているが、当該単位ブロック同士の大きさの関係が異なる場合も同様にブロック歪特徴量を求めることができる。

図2において、直交変換の単位ブロックB₀, B₁, B₂,はそれぞれ異なる動き検出ブロックA,B,Cに属しており、これらの動き検出ブロックの境界部に大きな輝度変化が発生することによりブロック歪みが検知されると前提する。ここで、ブロックB₀のブロック歪特徴量を求める場合、隣接し且つ異なる動き検出ブロックに属している2つのブロックB₁,B₂との境界部（図中、太線にて表記）に沿った画素間(図中、双方向矢印で表記)で予測残差信号の差分絶対値を求める。当該ブロックB₀におけるブロック歪特徴量SI(B₀)は以下(式4)のように表される。

すなわち、動き検出ブロックA内に2×2個存在する直交変換単位ブロックのうち右下箇所である当該ブロックB₀においては、その右端部{(N_M −1, j) | j ∈border}に別の動き検出ブロックBにおけるブロックB₁との境界が存在し、その下端部{(i, N_M −1) | i ∈border}に別の動き検出ブロックCにおけるブロックB₂との境界が存在しているので、(式4)ではこれら境界部における予測残差信号の差分絶対値の和を取っている。ブロックB₀の右端部且つ下端部である画素(N_M−1, N_M−1)ではブロックB₁及びB₂の各画素との差分絶対値を求めることとなる。

同様に、ブロックB₁の特徴量SI(B₁)を求める場合であればその上端部及び右端部を境界部として、ブロックB₂の特徴量SI(B₂)を求める場合であればその左端部及び下端部を境界部として、当該各境界部において差分絶対値の和を求めればよい。

なお、(式4)のように、異なる動き検出単位ブロック(第2画素ブロック)間の境界部に限定してブロック歪特徴量を求める実施形態(1)に対する実施形態(2)として、当該異なる動き検出単位ブロック間への限定を設けないようにしてもよい。この場合、属する動き検出単位ブロックとは無関係に、直交変換の単位ブロック(第1画素ブロック)の境界部全体において予測残差信号の差分絶対値の和を求めることとなる。

実施形態(2)では例えばブロックB₀であれば、第1実施形態のように右端部及び下端部のみではなく、さらに左端部及び上端部をも境界部として同様の計算を行う。ただし、本発明では実施形態(1)の方が好ましい。なおまた、仮に動き検出単位ブロックと直交変換単位ブロックとが一致する場合であれば、実施形態(1)と実施形態(2)は一致する。

ブロック歪特徴量計算部6は最終的に、当該フレームに対するブロック歪特徴量を、各ブロックに対するブロック歪特徴量の平均として求める。ただしここで、画素ブロック内の信号分散が大きい場合、視覚特性上ブロック境界の輝度変化はブロック歪として知覚されにくいことが知られている。よって、その信号分散が所与の閾値以下であるブロックの空間劣化特徴量の平均を求める。

ここで、ブロックBの輝度成分(画素信号)の信号分散をvar(B), 所与の閾値をσ_TH, N_Vを信号分散var(B)が所与の閾値σ_TH以下となるブロック数とすると、フレームfのブロック歪特徴量SI[f]は、以下の(式5)の通り表される。

なお、当該ブロックBとは、ブロック歪特徴量SI(B)の算出単位である直交変換ブロック(図2の例におけるB₀, B₁, B₂,等)であり、動き検出の単位ブロックではない。また信号分散var(B)は、画素信号の分散であって、予測残差信号の分散ではない。

なお、動き検出部1の説明にて動き検出の単位ブロックのサイズ設定について言及したのと同様にして、直交変換の単位ブロックのサイズも設定すればよい。すなわち、符号化方式にて利用されたサイズが既知であれば当該既知サイズに、未知であれば何らかの符号化方式にて想定される所定サイズに設定すればよい。

[フリッカ特徴量計算部7について]
フリッカ特徴量計算部7は、映像のフリッカ劣化に対する各フレームの影響度合いを表すフリッカ特徴量を、対象フレームとその直前フレームにおける残差信号のフレーム間差分電力の平均としてまず求め、さらに映像全体としてのフリッカ特徴量を求めて、特徴量統合部8へと入力する。この際、動き検出部1から入力されるMVを用いて、視覚特性を考慮した際に実際に劣化に影響をおよぼしうる部分において平均電力を求める。

フリッカ劣化は、動き補償予測符号化のイントラフレーム挿入の周期ごとに大きな品質変動がある場合などに検知される劣化であり、連続するフレーム間での輝度変化が急激に発生することにより知覚される。本発明では、残差信号計算部5における残差信号の導出により、評価対象の画像が本来有する動きの多くは除去されていると考えられる。よって残差信号の強度が時間的に大きく変化するような特徴があれば、それはその画像が本来の持っていた時間的特徴（すなわち動きの特徴）に起因するものではなく、圧縮符号化に伴う劣化によるものであると考えられる。

ただし、動きの大きい領域では大きな輝度変化があっても視覚上マスキングされることが予想される。よってフリッカ特徴量計算部7は以下の(式6)に示すように、当該動き検出ブロックの局所ベクトルの大きさが所与の閾値V_TH以下の場合にのみ当該ブロックにおける残差信号フレーム間差分電力の平均を求めることで、当該フレームfのフリッカ特徴量TI[f]となす。

なおここで局所ベクトルとは前述のように、動き検出部1で導出したMVそのものであり、特にGMV選択部3によるGMVと特に区別するために局所ベクトルと呼ぶ。また、(式6)においてN_Tは局所ベクトルの大きさが所与の閾値を下回るブロック数とする。

[特徴量統合部8について]
特徴量統合部8は、各フレームfにつき定義されそれぞれブロック歪特徴量計算部6及びフリッカ特徴量計算部7により導出されたブロック歪特徴量SI[f]及びフリッカ特徴量TI[f]を用いることで、客観評価値を導出する。

このためまず、当該SI[f]及びTI[f]の平均をそれぞれ求めることで、以下の(式7)及び(式8)に示すようにシーケンス全体( f ∈ sequence )のブロック歪特徴量SI及びフリッカ特徴量TIを求める。なお、以下の各式においてN_Fはシーケンス中の総フレーム数である。

そして、特徴量統合部8は、客観評価値Q_objを以下の(式9)によって求める。ここで、c0, c1, c2は重み付け和のための定数であり、α,βは当該重み付け和をさらに変調するための冪指数としての定数である。

[主観評価値推定部9について]
主観評価値推定部9は、上記導出された客観評価値Q_objに対し変換関数fを適用することにより、以下の(式10)に示すように主観評価値の推定値Q_estを求める。

上述の変換関数は、知覚心理における非線形な特性を考慮した特性を持つものであり、単調な3次関数やロジスティック関数などの非線形関数が好適である。単調な3次関数は、以下の(式11)に示す関数形を持つ。ロジスティック関数は、以下の(式12)に示す関数形を持つ。(式11)及び(式12)において k_i (i=0,1,2,3)は定数である。

なお、上式(式9)〜(式12)における定数c_i (i=0,1,2),α,β, k_i (i=0,1,2,3)は、主観評価値の推定値Q_estと真の主観評価値の相関が最大になるように予め設定される。具体的には、主観評価値が既知である複数の評価画像を用い、上記の定義に基づき得られる推定値Q_estと真の主観評価値（主観評価実験により求めた実測値）の差分自乗和を最小とする係数を重回帰分析により求める。

[本発明の別実施実施形態及び補足事項について]
映像品質の客観評価装置10は、図1の構成に対する別実施形態として、ブロック歪特徴量計算部6及びフリッカ特徴量計算部7の部分に関して、それらのうちの片方のみを備えて構成されていてもよく、この場合、客観評価値と主観評価値の推定値とがブロック歪特徴量及びフリッカ特徴量のうちの片方のみに基づいて与えられることとなる。

当該別実施形態において、特徴量統合部8はブロック歪特徴量又はフリッカ特徴量の片方のみを入力として受け取り、受け取らなかったもう片方の特徴量はゼロであったとみなすことで、又は(式9)のブロック歪特徴量SI及びフリッカ特徴量TIの項がないものとみなすことで、前述の両者を用いる実施形態の場合と形式上同様に機能することができる。

ブロック歪特徴量計算部6及びフリッカ特徴量計算部7における補足事項として、これら機能部においては(式5)及び(式6)に示すように、共に閾値条件(それぞれ、画素信号分散に関する閾値条件及び局所ベクトルの大きさに関する閾値条件)を用いて対象を限定することで計算を行っている。当該閾値条件は、用いる方が好ましいが、用いないようにしてもよい。

すなわち、(式5)の代わりに分散値と関係なく、フレームfに属するブロックB全てのブロック歪特徴量の平均としてフレームfのブロック歪特徴量SI[f]を求めてもよいし、(式6)の代わりに局所ベクトルの大きさと関係なく、フレームf内の全ての箇所を対象として残差信号フレーム間差分電力を求ることでフレームfのフリッカ特徴量TI[f]としてもよい。

10…映像品質の客観評価装置、1…動き検出部、2…フレームメモリ、3…GMV(グローバル動きベクトル)選択部、4…予測信号生成部、5…残差信号計算部、6…ブロック歪特徴量計算部、7…フリッカ特徴量計算部、8…特徴量統合部、9…主観評価値推定部

Claims (10)

1. 参照画像を用いず、評価画像の画素信号の情報のみを使って画質を評価する映像品質の客観評価装置において、
   評価画像における評価対象フレーム及びその直前のフレームの各画素信号から動きベクトルを検出する動き検出部と、
   前記動きベクトル及び評価画像の画素信号から予測信号を生成する予測信号生成部と
   前記予測信号と前記評価対象フレームの画素信号との差分として残差信号を生成する残差信号計算部と、
   前記残差信号から各フレームにおけるブロック歪特徴量を計算するブロック歪特徴量計算部と、
   前記ブロック歪特徴量の映像シーケンス内平均に基づいて映像画質の客観評価値を導出する特徴量統合部と、を備えることを特徴とする映像品質の客観評価装置。
2. 前記ブロック歪特徴量計算部が、所定の第１画素ブロックの境界における前記残差信号の差分絶対値に基づいて前記ブロック歪特徴量を計算することを特徴とする請求項１に記載の映像品質の客観評価装置。
3. 前記動き検出部は、所定の第２画素ブロックを単位として前記動きベクトルを検出し、
   前記ブロック歪特徴量計算部が、前記所定の第１画素ブロックの境界のうち、前記所定の第２画素ブロックの境界に一致する部分のみにおける前記残差信号の差分絶対値に基づいて前記ブロック歪特徴量を計算することを特徴とする請求項２に記載の映像品質の客観評価装置。
4. 前記ブロック歪特徴量計算部が、前記所定の第１画素ブロックにおける画素信号の分散が所定の閾値条件を満たしている箇所のみにおける前記残差信号の差分絶対値に基づいて前記ブロック歪特徴量を計算することを特徴とする請求項2または3に記載の映像品質の客観評価装置。
5. 前記残差信号から各フレームにおけるフリッカ特徴量を計算するフリッカ特徴量計算部をさらに備え、
   前記特徴量統合部が、前記ブロック歪特徴量及び前記フリッカ特徴量のそれぞれの映像シーケンス内平均に基づいて映像品質の客観評価値を導出することを特徴とする請求項１ないし4のいずれかに記載の映像品質の客観評価装置。
6. 前記フリッカ特徴量計算部が、前記残差信号のフレーム間差分電力に基づいて前記フリッカ特徴量を計算することを特徴とする請求項5に記載の映像品質の客観評価装置。
7. 前記フリッカ特徴量計算部が、前記残差信号のうち、前記動きベクトルが所定の閾値条件を満たす箇所にあるもののみにおけるフレーム間差分電力に基づいて前記フリッカ特徴量を計算することを特徴とする請求項6に記載の映像品質の客観評価装置。
8. 前記動きベクトルを用いて各フレームのグローバル動きベクトルを導出するグローバル動きベクトル選択部をさらに備え、
   前記予測信号生成部が、前記動きベクトルに代えて前記グローバル動きベクトルを用いて予測信号を生成することを特徴とする請求項１ないし7のいずれかに記載の映像品質の客観評価装置。
9. 前記客観評価値に所定の非線形関数を適用することで映像画質の主観評価値を推定する主観評価値推定部をさらに備えることを特徴とする請求項１ないし8のいずれかに記載の映像品質の客観評価装置。
10. 前記主観評価値推定部が前記所定の非線形関数として、単調に増加又は減少する３次関数と、ロジスティック関数と、のいずれかを用いることを特徴とする請求項9に記載の映像品質の客観評価装置。