JP4817246B2

JP4817246B2 - 映像品質の客観評価装置

Info

Publication number: JP4817246B2
Application number: JP2006208091A
Authority: JP
Inventors: 修杉本; 茂之酒澤; 淳小池
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2006-07-31
Filing date: 2006-07-31
Publication date: 2011-11-16
Anticipated expiration: 2026-07-31
Also published as: JP2008035357A; US20080025400A1; US8457204B2

Description

本発明は映像品質の客観評価装置に関し、特に、動画像の伝送や蓄積などにおいて、圧縮符号化等の画像処理が適用される場合の画像処理後の動画像、いわゆる受信画像、再生画像の品質を、人間の主観による判断なしに自動的に評価する映像品質の客観評価装置に関する。

本発明に関連する従来技術として、下記の非特許文献１，２に開示されるようなものがある。

非特許文献１は、主にテレビジョン伝送における自動客観画質評価方式のユーザ要求について記述したものである。客観評価を行うにあたって、伝送前後の映像信号をいかに使用するかにより、Full Reference, Reduced Reference, No Reference という3つのフレームワークを規定されている。一般に、Full Referenceは圧縮符号化の品質評価に、Reduced Reference, No Referenceは伝送映像の受信画質の評価に用いられるべきであるなど、利用目的別のシステム実装法を記すことにより、自動客観画質評価方式に対するユーザ要求を示している。

非特許文献２は、標準テレビ方式の2次分配品質（2次分配とは、主にテレビ局〜視聴者宅を結ぶ映像の伝送を指す。ほかに、テレビ局間での番組素材の配信を行う１次分配、スポーツ、ニュースなどの番組素材提供のための素材伝送などのカテゴリがある。）を想定した、Full Reference型の自動客観評価方式の勧告である。非特許文献１ではシステムのフレームワークのみ示されていたが、非特許文献２では、具体的な画質評価の方式について記述されている。
ITU-T勧告 J.143 "User requirements for objective perceptual video quality measurements in digital cable television" ITU-T勧告 J.144 "Objective perceptual video quality measurement techniques for digital cable television in the presence of a full reference"

非特許文献２に記述されたFull Reference型の画質評価方式はITU勧告として認められる品質を達成している。しかし、これは標準テレビ方式の２次分配系を前提としたものである。標準テレビ方式とは、NTSC(525/60）方式の場合は、720画素×486ライン、毎秒30フレーム（インタレース方式）であり、PAL(625/50)方式の場合は、720画素×576ライン、毎秒25フレーム（インタレース方式）なる信号形式である。

また、２次分配の場合、映像の圧縮符号化で割り当てられるビットレート、すなわちテレビジョン伝送の帯域は、およそ1〜４Mbpsと想定されている。また、使用する圧縮符号化方式は主にMPEG-2方式であるという前提である。

一方、近年の、InternetにおけるIP放送、携帯電話網における地上デジタルワンセグ放送などに代表されるマルチメディアアプリケーションの普及に伴い、これらのアプリケーションで伝送される映像についても上記テレビジョン伝送の映像と同じく品質評価の要求が高まっている。

しかしながら、非特許文献２の勧告は、上述のようにテレビジョン品質を前提としており、マルチメディアアプリケーションが対象とする、低解像度・低フレームレートの映像（例えば、１５フレーム／秒、１０フレーム／秒、６フレーム／秒など）をMPEG-4/H.264等の高圧縮符号化方式を用い低ビットレートで圧縮するような映像では高い精度は得られない。そのため、これらマルチメディアアプリケーション向けの自動客観画質評価技術が求められている。

本発明は、前記した従来技術の課題に鑑みてなされたものであり、その目的は、マルチメディアアプリケーション向けなどの映像の品質を、人間の主観による判断なしに自動的に主観品質推定する映像品質の客観評価装置を提供することにある。

前記した目的を達成するために、本発明は、原画像と評価画像の２系統の映像信号の解析により映像の主観品質を推定する映像品質の客観評価装置であって、前記原画像に対する評価画像のブロック歪度、該評価画像の全体（以下、「シーケンス内」という）のフレームを対象とするPSNR大域時間変動度、およびフレーム毎のPSNR局所時間変動度を特徴量として抽出する特徴量抽出部と、前記ブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度の重み付き和を求め、客観画質指標を算出する客観画質指標算出部と、前記評価画像のフレームレートを検出するフレームレート検出部と、該フレームレート検出部で検出されたフレームレートに基づいて、前記客観画質指算出部で算出された客観画質指標を補正する補正部と、予め与えられた客観画質指標と主観画質の相関関係に、前記補正された客観画質指標を適用して主観画質推定値を導出する主観画質推定値導出部とを具備した点に特徴がある。

本発明によれば、原画像に対する評価画像のブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度を特徴量として抽出し、該特徴量から客観画質指標を算出し、該客観画質指標を評価画像のフレームレート毎に補正することにより、低フレームレート動画像の特性を反映した評価値を導出するようにしているので、従来のテレビジョン画像の評価方式では困難だった低解像度・低フレームレートのマルチメディア動画像などの映像の品質を高精度にかつ自動的に評価することができるようになる。

また、人間の主観による判断なしに、マルチメディア動画像などの低解像度・低フレームレート映像の主観品質推定が可能になる。

以下に、図面を参照して、本発明を詳細に説明する。図１は、２系統の映像信号を入力し、その映像信号を解析することにより、最終的に主観画質推定値を出力する本発明の一実施形態の自動客観画質評価装置の構成図である。ここでは、映像伝送にかかる画像処理を行う前の映像信号に相当する画像を「原画像ｘ」、伝送後の受信画像に相当し、本発明において主観画質を推定する対象となる画像を「評価画像ｙ」と記す。

図１に示されているように、本実施形態の自動客観画質評価装置は、特徴量抽出部１、重み付き和計算部（または客観画質指標算出部）２、フレームレート検出部３、フレームレート別補正部４、客観評価尺度−主観画質マッピング部（または主観画質推定値導出部）５から構成されている。また、該特徴量抽出部１は、さらにブロック歪度計算部１１、PSNR大域時間変動度計算部１２、PSNR局所時間変動度計算部１３という機能単位に分割される。

以下に、前記した各構成要素の構成または機能を詳細に説明する。
＜特徴量抽出部１＞

特徴量抽出部１では、主観画質の導出に必要な３つの映像特徴量、すなわち、ブロック歪度Ｐ_１、PSNR大域時間変動度Ｐ_２、およびPSNR局所時間変動度Ｐ_３を抽出する。以下に、各映像特徴量の導出法を説明する。
１．ブロック歪度Ｐ_１

ブロック歪度計算部１１では、図２に示す任意サイズ（同図では、８×８画素ブロックの例）の画素ブロック２１と近傍４ブロック（右隣２５、左下２２、下２３、右下２４）とのDC差分のフレーム内平均ｄＤＣ（ｆ）を原画像ｘおよび評価画像ｙから求め、両者の差分をとり、さらに、その差分のシーケンス内最大値と最小値の差分をもってブロック歪度Ｐ_１と定義する。なお、本明細書における「シーケンス」とは、画質評価のために用いる原画像または評価画像の全体を意味し、通常は５〜１５秒の映像により評価される。
Ｐ_１＝max｛ｄＤＣ_Ｒｅｆ（ｆ）−ｄＤＣ_Ｃｏｄ（ｆ）｝−min｛ｄＤＣ_Ｒｅｆ（ｆ）−ｄＤＣ_Ｃｏｄ（ｆ）｝

ここに、ｄＤＣ_Ｒｅｆ（ｆ）は原画像ｘの前記DC差分のフレーム内平均、ｄＤＣ_Ｃｏｄ（ｆ）は評価画像ｙの前記DC差分のフレーム内平均である。また、DC差分のフレーム内平均ｄＤＣ（ｆ）は、図２の場合、次の式で表すことができる。この式中のＮ_Ｂは、フレーム内の画素ブロックの総数である。

２．PSNR大域時間変動度Ｐ_２

PSNR大域時間変動度Ｐ_２は、シーケンス内の誤差電力MSEの最大値、最小値およびシーケンス内平均値を用いて求められる。

まず、原画像ｘと評価画像ｙの間のMSEの最小値、最大値、平均値を定義する。MSEの最大値、最小値、平均値をそれぞれｅ_ｍｉｎ、ｅ_ｍａｘ、ｅ_ａｖｅと表すとき、これらは以下のように定義される。

ここで、ｘ（ｆ、ｎ）はフレームｆのｎ番目の画素の信号値、Ｎ_Ｐはフレーム内の画素数、Ｎ_Ｆはシーケンス中のフレーム数である。例えば毎秒１５回フレームを更新する１０秒間の映像により画質評価をする場合には、該シーケンス中のフレーム数は１５０フレームとなる。なお、原画像／評価画像間のシーケンスでフレームレートが異なる場合には、フレームマッチング等の手段により、対応するフレームを検出し、その対応フレーム間におけるPSNRを導出する。

次に、前記ｅ_ｍａｘ、ｅ_ｍｉｎ、ｅ_ａｖｅを基にPSNR大域時間変動度Ｐ_２を求める。上述のとおり、PSNRは主観画質推定のための有力な情報である一方、シーケンス内の平均値のみを扱った場合、シーケンス内で画質が時間的に大きく変動するようなケースでその相関が低下する傾向が確認されている。そこで、シーケンス内の誤差電力の最大値ｅ_ｍａｘ、最小値ｅ_ｍｉｎについての平均値ｅ_ａｖｅからの偏りに応じて、以下のとおりPSNRの時間変動度Ｐ_２を定義する。

ここで、ｆ（ｅ_ａｖｅ）はシーケンス内平均MSEの平均値ｅ_ａｖｅに応じて値を変化させるスケーリング関数である。ｆ（ｅ_ａｖｅ）の詳細についてはｅ_ａｖｅの全域（ただし、ｅ_ａｖｅの定義より、実質的にはｅ_ａｖｅ＞０の区間）で単調増加する任意の関数が適用可能であるが、一例として、以下の関数が挙げられる。
・線形特性

この線形特性は、ｆ（ｅ_ａｖｅ）＝ｅ_ａｖｅで定義される。特性としては、図３に示す特性となる。
・シグモイド関数

このシグモイド関数は、ｅ_ａｖｅの値の高い部分と低い部分で飽和するような特性を持つ。ｆ（ｅ_ａｖｅ）は次式により定義される。

特性としては、図４に示す特性となる。なお、図４においては、ｂ_１＝１０、ｂ_２＝１、ｂ_３＝２５、ｂ_４＝１０である。

ｆ（ｅ_ａｖｅ）が単調増加するという性質からわかるとおり、ｆ（ｅ_ａｖｅ）の項により、ｅ_ａｖｅの値が小さいとき、すなわち平均MSEが小さく評価画像の品質が高い場合には、Ｐ_２の値を抑制し、ｅ_ａｖｅの値が大きく、評価画像の品質が低い場合には、Ｐ_２の値を増加させる効果を持たせることができる。さらに、シグモイド関数を適用する場合、図４の両端の領域で一定値に飽和する特性を与えることができる。これは、人間の視覚の飽和特性を反映した特性といえる。
３．PSNR局所時間変動度Ｐ_３

マルチメディアアプリケーション向けの低レート符号化では、キーフレームの挿入、シーンチェンジ、急激な動きの発生などによるPSNRの時間的な局所劣化が発生しやすい。そのため、PSNR局所時間変動度Ｐ_３によりこれらの局所劣化による主観画質の劣化を検出する。

図５に示すとおり、PSNRのV字型の時間変化dPSNR(f)を求め、これをPSNR局所時間変動度Ｐ_３とする。具体的には、当該フレームのインデクス（フレーム番号）をｆとすると、その前後フレームｆ−１、ｆ＋１の平均PSNR値と当該フレームのPSNR値の差分絶対値をdPSNR(f)と定義し、dPSNR(f)のシーケンス中の最大値を求め、これをPSNR局所時間変動度Ｐ_３とする。

なお、前記PSNR局所時間変動度Ｐ_３に対して、当該フレームのMSE値によって値を変化するスケーリング関数を乗じてもよい。このスケーリング関数としては、MSE値によって単調減少する任意の関数が適用可能である。
＜重み付き和計算部２＞

上述の客観評価尺度Ｐ_１、Ｐ_２、Ｐ_３の重み付き和により、客観評価指標Ｑ_ｏｂｊを以下のとおり定義する。

Ｑ_ｏｂｊ＝αＰ_１+βＰ_２ +γＰ_３

重みパラメータα、β、γについては、客観評価指標Ｑ_ｏｂｊをフレームレート別補正部、客観評価指標−主観画質マッピング部で変換した際に、主観画質との推定誤差が最小となる値を選ぶこととする。例えば、α＝０．２，β＝０．４，γ＝０．００４とすることができる。なお、該重みパラメータα、β、γは、負の数になることもありうる。
＜フレームレート検出部３＞

フレームレート検出部３では、評価画像ｙの映像信号を解析し、フレームレート値を出力する。本発明では、原画像ｘのフレームレートと評価画像ｙのフレームレートは同一か、もしくは原画像ｘのフレームレートが高いことを前提とするため、両者のうちフレームレートの低い側である評価画像ｙのフレームレートを検出する。

検出されたフレームレート値は、フレームレート別補正部４に出力される。
＜フレームレート別補正部４＞

重み付き和計算部２で出力された客観評価指標Ｑ_ｏｂｊと主観画質（DMOS）の相関をとると、図６のようにフレームレートａ、ｂ、ｃ、・・・毎に異なる特性を示すことがある。自動客観評価装置としては、フレームレートに依存せず安定した評価値を出力することが求められるため、本フレームレート別補正部４では、補正特性（図１参照）を用いてフレームレート毎の主観評価尺度−客観評価尺度の特性の違いを吸収し、フレームレートによらない客観評価値に補正する。補正の方法は以下の通りである。

図７に示されているように、フレームレートｂの画像の主観評価値とそれを近似した客観評価値のデータの組を（Ｑｂ，ＤＭＯＳｂ）とし、これを基準となるフレームレートａの特性ｙ＝ｃ_０×Ｑ_ｏｂｊ＋ｃ_１上に移動させることを考える。この場合、フレームレートａの特性直線上で、主観評価値ＤＭＯＳｂを与えるような客観評価値Ｑ_ａを求め、これを補正後の客観評価値とする。すなわち、

ＤＭＯＳｂ＝ｃ_０×Ｑ_ａ＋ｃ_１
なる関係が得られるため、これをＱ_ａについて解き、

Ｑ_ａ＝ＤＭＯＳｂ／ｃ_０−ｃ_１
なる補正値を得る。
＜客観評価―主観評価マッピング部（主観画質推定値導出部）５＞

最終的に上記のフレームレート別補正を行った後の客観評価指標Ｑ_ｏｂｊと主観評価尺度DMOSの関係を、多数のサンプルで求めると例えば図８のとおりとなる。図８は、３ｆｐｓ（フレーム／秒）、５ｆｐｓ、１０ｆｐｓおよび１５ｆｐｓの評価画像を用いて、客観評価指標Ｑ_ｏｂｊと主観評価尺度DMOSの関係を求めたものである。図示から明らかなように、両者の関係は、多項式関数により良く近似することができる。

しかしながら、これらのデータをフレームレート毎に分類してみると、フレームレート毎にデータの集合に偏りがあることが分かる。そこで、図９のように、フレームレート毎に回帰曲線を求めると、フレームレート単位で回帰直線の傾きが異なり、これによりデータのばらつきが発生していることが分かる。よって、全てのフレームレートのデータ集合が同一の直線上に乗るようにＱ_ｏｂｊの値に補正を行う。

図１０は、この補正を行った後のＱ_ｏｂｊ−DMOS特性である。この時の両者の関係は、一例として、下記の多項式関数によりよく近似することができる。

ＤＭＯＳ＝−０．００３５ｘ^３＋０．１７７６ｘ^２−２．８２３４ｘ＋１４．３７９（なお、ｘ＝Ｑ_ｏｂｊである）

したがって、この関数を客観評価―主観評価マッピング部５または主観画質推定値導出部５に予め記憶させておき、該関数に前記補正された客観画質指標Ｑ_ｏｂｊを適用して主観画質推定値を導出する。すなわち、図１０の実線の曲線上の点が客観画質指標Ｑ_ｏｂｊに対応する推定主観画質となる。

以上のように、本発明によれば、人間の主観による判断なしに、マルチメディア動画像などの低解像度・低フレームレート映像の主観品質推定が可能になる。

なお、本実施形態で説明した前記特徴量抽出部１におけるブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度の導出方法、重み付き和計算部２における重み付き和の計算方法は一例に過ぎず、本発明は他の導出方法、計算方法であってもよいことは勿論である。

本発明の一実施形態の概略の構成を示すブロック図である。ブロックのDC差分を求める一方法の説明図である。線形特性の一例を示す図である。線形特性の他の例であるジグモイド関数を示す図である。 PSNR局所的劣化の定義を示す図である。フレームレート毎の客観評価値−主観評価値特性を示す図である。客観評価値−主観評価値特性のフレームレート補正方法を示す図である。フレームレート補正後の客観評価値−主観評価値特性を示す図である。フレームレートの集合毎の回帰曲線を示す図である。フレームレートのデータ集合が同一の直線上に乗るように補正した後の客観評価値−主観評価値特性を示す図である。

符号の説明

１・・・特徴量抽出部、２・・・重み付き和計算部、３・・・フレームレート検出部、４・・・フレームレート別補正部、５・・・客観評価尺度・主観画質マッピング部、
１１・・・ブロック歪度計算部、１２・・・PSNR大域時間変動度計算部、１３・・・PSNR局所時間変動度計算部。

Claims

原画像と評価画像の２系統の映像信号の解析により映像の主観品質を推定する映像品質の客観評価装置であって、
前記原画像に対する評価画像のブロック歪度、該評価画像の全体（以下、「シーケンス内」という）のフレームを対象とするPSNR大域時間変動度、およびフレーム毎のPSNR局所時間変動度を特徴量として抽出する特徴量抽出部と、
前記ブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度の重み付き和を求め、客観画質指標を算出する客観画質指標算出部と、
前記評価画像のフレームレートを検出するフレームレート検出部と、
該フレームレート検出部で検出されたフレームレートに基づいて、前記客観画質指算出部で算出された客観画質指標を補正する補正部と、
予め与えられた客観画質指標と主観画質の相関関係に、前記補正された客観画質指標を適用して主観画質推定値を導出する主観画質推定値導出部とを具備したことを特徴とする映像品質の客観評価装置。
請求項１に記載の映像品質の客観評価装置において、
前記ブロック歪度は、
前記原画像、評価画像の各画素ブロックと隣接ブロックのDC差分フレーム内平均値を求め、
前記原画像における前記DC差分フレーム内平均値のシーケンス内最大値と前記評価画像における前記DC差分フレーム内平均値のシーケンス内最大値の差分をDC差分最大値として求め、
原画像における前記DC差分フレーム内平均値のシーケンス内最小値と評価画像における前記DC差分フレーム内平均値のシーケンス内最小値の差分をDC差分最小値として求め、
さらに、前記DC差分最大値とDC差分最小値の差をブロック歪度として求めることを特徴とする映像品質の客観評価装置。
請求項１に記載の映像品質の客観評価装置において、
前記PSNR大域時間変動度は、
シーケンス内の各フレームのMSEの最大値と平均値との差分絶対値と、シーケンス内の各フレームのMSEの最小値と平均値との差分絶対値の比をもとに導出することを特徴とする映像品質の客観評価装置。
請求項３に記載の映像品質の客観評価装置において、
前記シーケンス内のMSEの最大値と平均値の差と、最小値と平均値の差との比に対して、シーケンス内のMSE平均値によって値を変化させるスケーリング関数を乗じることを特徴とする映像品質の客観評価装置。
請求項１に記載の映像品質の客観評価装置において、
前記PSNR局所時間変動度は、当該フレームのPSNR値とその前後フレームのPSNR値の平均値との差分絶対値の、シーケンス内最大値であることを特徴とする映像品質の客観評価装置。
請求項５に記載の映像品質の客観評価装置において、
前記PSNR局所時間変動度は、前記シーケンス内最大値に対して、当該フレームのMSE値によって値を変化させるスケーリング関数を乗じることを特徴とする映像品質の客観評価装置。