JP4763525B2 - 映像整合方法 - Google Patents

Description

本発明は、評価対象となる劣化映像信号とこの劣化映像信号の劣化する前の信号である基準映像信号の物理的特徴量から、劣化映像信号の主観品質を推定する前に、基準映像信号と劣化映像信号とを整合させる映像整合方法に関するものである。

従来より、映像品質評価は、ユーザがその映像を実際に観たときに感じる品質を測定する、いわゆる主観品質評価が基本である。しかしながら、主観品質評価は専用の設備と膨大な時間および労力を要する。そこで、映像品質評価をより効率的に行うために、映像から物理的に測定される量から主観品質を推定する客観評価法の開発が望まれている。

従来の客観評価法では、対象とする映像信号は例えば放送局での利用などプロユースの安定した信号を扱えればよく、標準化においても客観評価アルゴリズムのみを決めるだけであった（例えば、非特許文献１参照）。
そのため、劣化映像信号の主観品質を推定する前に行われる整合処理においては、劣化映像信号と劣化前の基準映像信号のフォーマットを合わせるフォーマット変換処理と、劣化映像信号と基準映像信号の時間と位置を一致させる位置・同期整合処理とを施せば、劣化映像信号と基準映像信号の整合を実現できた（例えば、特許文献１参照）。

米国特許第５４４６４９２号明細書 「Objective Perceptual Video Quality Measurement Techniques for Digital Cable Television in the Presence of a Full Reference」，ITU-T Recommendation J.144，2004

しかし、例えばパーソナルコンピュータ（ＰＣ）で視聴する環境において実際に視聴する信号レベル（モニタ信号）を用いて映像の品質を評価をする場合には、プレイヤの処理やモニタ出カボードの特性・性能などにより映像信号にノイズやバイアスが付加されることがある。このノイズやバイアスには、人間の目には知覚できず主観品質には影響を与えないものがあり、このような人間の目には知覚できないノイズやバイアスを品質劣化要因として算入してしまうと、映像の品質劣化を過大に見積もってしまうことになり、主観品質の推定精度が落ちてしまうという問題点があった。

本発明は、上記課題を解決するためになされたもので、劣化映像信号にノイズやバイアスが付加された場合でも、このノイズやバイアスを除去して、劣化映像信号の品質を適切に評価することができる映像整合方法を提供することを目的とする。

本発明は、評価対象となる劣化映像信号とこの劣化映像信号の劣化する前の信号である基準映像信号とを用いて前記劣化映像信号の主観品質を推定する前に、前記基準映像信号と前記劣化映像信号とを整合させる映像整合方法において、人間の目には見えない高周波成分のノイズである特異点を前記劣化映像信号と前記基準映像信号とから除去する特異点除去処理と、前記特異点除去処理によって信号処理した劣化映像信号に付加されている画素値のバイアスを除去する画素値補正処理とを備え、前記画素値補正処理は、前記特異点除去処理によって信号処理した基準映像信号と劣化映像信号との対応する画素値間の関係から二次式の回帰式を導出し、この回帰式を用いて前記劣化映像信号の画素値が全体として前記基準映像信号の画素値に一致するように前記劣化映像信号の画素値を補正することを特徴とするものである。
また、本発明の映像整合方法は、前記劣化映像信号に付加されている画素値のバイアスを除去する画素値補正処理を備え、前記画素値補正処理は、前記基準映像信号と前記劣化映像信号との対応する画素値間の関係から二次式の回帰式を導出し、この回帰式を用いて前記劣化映像信号の画素値が全体として前記基準映像信号の画素値に一致するように前記劣化映像信号の画素値を補正するものである。

また、本発明の映像整合方法の１構成例において、前記特異点除去処理は、前記劣化映像信号と前記基準映像信号とをそれぞれ空間周波数に変換して前記高周波成分を除去した後に逆変換を行って映像信号に戻すことにより前記特異点を除去するか、あるいは平均化フィルタもしくはメディアンフィルタを用いて前記特異点を除去するようにしたものである。
また、本発明の映像整合方法の１構成例において、前記特異点除去処理は、特異点除去量を次段の客観評価値導出の入力情報として出力するようにしたものである。
また、本発明の映像整合方法の１構成例において、前記画素値補正処理は、画素値の補正で用いる回帰曲線の形状と係数を次段の客観評価値導出の入力情報として出力するようにしたものである。

本発明によれば、人間の目には見えない高周波成分のノイズである特異点を劣化映像信号から除去する特異点除去処理を行うことにより、プレイヤの後処理やモニタ出力ボードの特性・性能によって劣化映像信号にノイズが付加された場合でも、このノイズを除去することができる。その結果、本発明では、実際に視聴する信号レベル（モニタ信号）で映像の品質を評価する場合に、劣化映像信号の品質を適切に評価することができる。

また、本発明では、劣化映像信号に加えて、基準映像信号に対して特異点除去処理を行うことにより、劣化映像信号に対する特異点除去処理を加えることによって新たに生じる主観品質推定精度への悪影響を無くすことができる。その結果、劣化映像信号のみに特異点除去処理を行う場合に比べて、主観品質の推定精度を向上させることができる。

また、本発明では、劣化映像信号に付加されている画素値のバイアスを除去する画素値補正処理を行うことにより、プレイヤのポストフィルタ処理やモニタ出力ボードの色補正機能によって劣化映像信号にバイアスが付加された場合でも、このバイアスを除去することができる。その結果、本発明では、実際に視聴する信号レベル（モニタ信号）で映像の品質を評価する場合に、劣化映像信号の品質を適切に評価することができる。

また、本発明では、特異点除去量を次段の客観評価値導出の入力情報として出力することにより、特異点除去処理で想定外の処理が行われた場合に、この想定外の処理が主観品質の推定精度に与える影響を次段の客観評価値導出の際に考慮することができる。

また、本発明では、画素値の補正で用いる回帰曲線の形状と係数を次段の客観評価値導出の入力情報として出力することにより、画素値補正処理で想定外の処理が行われた場合に、この想定外の処理が主観品質の推定精度に与える影響を次段の客観評価値導出の際に考慮することができる。

以下、本発明の実施の形態について図面を参照して説明する。図１は本発明の実施の形態に係る映像品質客観評価装置の構成を示すブロック図である。
映像品質客観評価装置は、整合処理部１と、主観品質推定部２とを有する。整合処理部１は、符号化やネットワークでの損失によって劣化した劣化映像信号とこの劣化映像信号の劣化する前の信号である基準映像信号の入力に対して、両者に信号処理を加えて、整合基準映像信号と整合劣化映像信号を出力する。主観品質推定部２は、整合基準映像信号と整合劣化映像信号の特徴量を測定して、整合劣化映像信号の主観品質を推定する。

整合処理部１は、フォーマット変換処理部１０と、位置・同期整合処理部１１と、特異点除去処理部１２と、画素値補正処理部１３とを備えている。図２は整合処理部１の動作を示すフローチャートである。
フォーマット変換処理部１０は、基準映像信号と劣化映像信号のフォーマットを合わせるフォーマット変換処理を行う（ステップＳ１０）。
位置・同期整合処理部１１は、基準映像信号と劣化映像信号の時間軸上のずれと位置のずれをなくす位置・同期整合処理を行う（ステップＳ１１）。

特異点除去処理部１２は、劣化映像信号から特異点（ノイズ）を除去する特異点除去処理を行う（ステップＳ１２）。なお、特異点除去処理部１２は、後述する理由により、基準映像信号についても特異点除去処理を行う。
画素値補正処理部１３は、劣化映像信号に付加されているバイアス（画素値の偏り）を除去する画素値補正処理を行う（ステップＳ１３）。

以下、整合処理部１の各処理の動作を詳細に説明する。
フォーマット変換処理部１０は、基準映像信号と劣化映像信号の信号形式、サイズ、アスペクト比が異なる場合に劣化映像信号を変換して、劣化映像信号のフォーマットを基準映像信号に合わせる。例えば基準映像信号が非圧縮のＹＵＶ形式であり、劣化映像信号のデータ形式が非圧縮のＲＧＢ形式であれば、劣化映像信号をＩＴＵ−Ｒ（International Telecommunications Union Radiocommunication Sector）勧告ＢＴ−６０１“STUDIO ENCODING PARAMETERS OF DIGITAL TELEVISION FOR STANDARD 4:3 AND WIDE-SCREEN 16:9 ASPECT RATIOS”で規定された変換式を用いて変換すればよい。なお、劣化映像信号が圧縮形式の場合は事前に非圧縮形式に変換する必要がある。

また、フォーマット変換処理部１０は、基準映像信号と劣化映像信号のサイズやアスペクト比が異なる場合は、サイズやアスペクト比が同一となるように劣化映像信号を変換する。基準映像信号と劣化映像信号のサイズやアスペクト比が整数倍の関係にあれば単純な整数倍で計算できるが、整数倍の関係にない場合には、劣化映像信号を任意のサイズに変換する必要がある。この場合は、例えば文献「“よくわかるディジタル画像処理―フィルタ処理からＤＣＴ＆ウェーブレットまで”，ＣＱ出版，１９９６年」の第７章に記載された画像の解像度変換のように任意のサイズヘの変換を行えばよい。なお、フォーマット変換処理部１０は、基準映像信号と劣化映像信号のフォーマットが異なることにより、基準映像信号と劣化映像信号の輝度値の出現範囲や色の出現範囲が異なっている場合には、必要に応じてこれらの出現範囲を合わせる整合処理も行う。

位置・同期整合処理部１１は、フォーマット変換処理部１０によりフォーマット変換された基準映像信号と劣化映像信号のフレームと画素の位置を合わせるため、図３（Ａ）に示す劣化映像信号の対象フレームＰＦと基準映像信号の対象フレームＯＦとの差分値を求める。このとき、位置・同期整合処理部１１は、図３（Ｂ）に示すように基準映像信号の対象フレームＯＦの座標Ｏ（１，１）を対象領域の左上とし、これに対応する劣化映像信号の対象フレームＰＦの対象領域をシフトさせながら、フレームＯＦとＰＦの対象領域間の画素毎の差分値の総和を求める。なお、図３（Ｂ）のフレームＯＦとＰＦの枡目は画素を表している。

位置・同期整合処理部１１は、座標Ｐ（１，１），Ｐ（１，２），Ｐ（１，３），Ｐ（２，１），Ｐ（２，２），Ｐ（２，３），Ｐ（３，１），Ｐ（３，２），Ｐ（３，３）がそれぞれ対象領域の左上となるように劣化映像信号の対象領域をシフトさせ、これらの対象領域の各々について基準映像信号の対象領域との間で画素毎の差分値の総和を求める。図３（Ｂ）におけるＡ１は座標Ｐ（１，１）を左上とする場合の対象領域、Ａ２は座標Ｐ（２，２）を左上とする場合の対象領域、Ａ３は座標Ｐ（３，３）を左上とする場合の対象領域である。

そして、位置・同期整合処理部１１は、基準映像信号の現在の対象フレームＯＦについて劣化映像信号の対象フレームＰＦとの間で画素毎の差分値の総和を求め終えると、この対象フレームＯＦの隣のフレームを新たな対象フレームＯＦとして、劣化映像信号の対象フレームＰＦとの間で画素毎の差分値の総和を求める（以下、画素毎の差分値の総和を差分値と略する）。こうして、位置・同期整合処理部１１は、劣化映像信号の１つの対象フレームＰＦと基準映像信号の複数の対象フレームＯＦとの間で差分値をフレームＯＦ毎及びフレームＰＦの対象領域毎に求め、差分値が最小となる状態を基準映像信号と劣化映像信号との間の整合が最もとれた状態（時間と位置が一致した状態）として、整合がとれた状態の基準映像信号と劣化映像信号を特異点除去処理部１２に出力する。

特異点除去処理部１２は、位置・同期整合処理部１１により位置・同期整合処理された基準映像信号と劣化映像信号を受け取り、人間の目には見えない高周波成分のノイズである特異点を劣化映像信号から除去する。この特異点は、プレイヤの後処理やモニタ出力ボードの特性・性能により付加された圧縮伸張に寄らないノイズである。

特異点除去処理部１２は、例えば図４（Ａ）に示す劣化映像信号のフレーム全体あるいはその一部を２次元フーリエ変換などにより図４（Ｂ）のように空間周波数に変換し、高周波成分ＨＦを除去した後に、２次元フーリエ変換の逆変換を行って、図４（Ｃ）のように劣化映像信号に戻すことにより、劣化映像信号から特異点Ｕを除去する。
あるいは、特異点除去処理部１２は、劣化映像信号のフレーム内の対象画素の値をＸ（ｍ，ｎ）とするとき、特異点除去後の同対象画素の値Ｙ（ｍ，ｎ）を次式のように求めて特異点を除去する。

式（１）におけるＷ（ｉ，ｊ）はフィルタ関数である。式（１）の計算を実現するものとしては、ｋ＝ｌ＝１を想定すれば、図５（Ａ）に示す３×３近傍の平均化フィルタ、図５（Ｂ）に示す３×３近傍の重み付け平均化フィルタ、図５（Ｃ）に示すクロス型の平均化フィルタなどが考えられる。

３×３近傍の平均化フィルタは、図５（Ａ）の水平方向３画素×垂直方向３画素のうち中心の画素を対象画素とするものであり、各画素のフィルタ関数Ｗ（ｉ，ｊ）を図５（Ａ）のように定めて対象画素の値Ｙ（ｍ，ｎ）を求めるものである。同様に、３×３近傍の重み付け平均化フィルタは、フィルタ関数Ｗ（ｉ，ｊ）を図５（Ｂ）のように定めて対象画素の値Ｙ（ｍ，ｎ）を求めるものである。クロス型の平均化フィルタは、５個の画素からなるクロスの中心の画素を対象画素とするものであり、各画素のフィルタ関数Ｗ（ｉ，ｊ）を図５（Ｃ）のように定めて対象画素の値Ｙ（ｍ，ｎ）を求めるものである。

また、式（１）の計算を実現するものとして、図５（Ｄ）に示す３×３近傍のメディアンフィルタ、図５（Ｅ）に示すクロス型のメディアンフィルタ、図５（Ｆ）に示すロングクロス型のメディアンフィルタを用いてもよい。３×３近傍のメディアンフィルタは、図５（Ｄ）の水平方向３画素×垂直方向３画素のうち中心の画素を対象画素とするものであり、９個の画素値の中央値を対象画素の値Ｙ（ｍ，ｎ）とするものである。クロス型のメディアンフィルタは、図５（Ｅ）の５個の画素からなるクロスの中心の画素を対象画素とするものであり、５個の画素値の中央値を対象画素の値Ｙ（ｍ，ｎ）とするものである。ロングクロス型のメディアンフィルタは、図５（Ｆ）の９個の画素からなるクロスの中心の画素を対象画素とするものであり、９個の画素値の中央値を対象画素の値Ｙ（ｍ，ｎ）とするものである。

なお、特異点除去処理部１２によって信号処理された劣化映像信号は、特異点除去処理部１２に入力される前の劣化映像信号に別の劣化が加わった形になる。したがって、特異点除去処理部１２によって信号処理された劣化映像信号と処理されていない基準映像信号とを用いて主観品質を推定すると、推定精度が落ちてしまう。そこで、特異点除去処理部１２は、位置・同期整合処理部１１から入力された基準映像信号についても劣化映像信号と同様の信号処理を行い、特異点を除去する。これにより、後段の主観品質推定部２で主観品質を推定する際に適切な評価値を導出できるようになる。

なお、特異点除去処理部１２で用いるフィルタとして、各種低域通過フィルタが想定されるが、発明者の検討では、特異点除去処理として図５（Ｅ）のクロス型のメディアンフィルタを利用することが適切であった。その理由は、計算量がそれほど多くないことと、より多くの方式や機器の組み合わせを考慮した結果、最も良好な推定精度を得ることができたからである。

画素値補正処理部１３は、劣化映像信号に付加されているバイアスを除去するために、特異点除去処理１２により特異点除去処理された基準映像信号と劣化映像信号の対応する画素値間の関係を求めて、劣化映像信号の画素値が全体として基準映像信号の画素値に一致するように劣化映像信号の画素値を補正する。劣化映像信号のバイアスは、例えばプレイヤのデコード処理やデコード後のポストフィルタ処理、あるいはモニタ出力ボードの色補正機能によって付加されたものである。

画素値補正処理部１３は、基準映像信号と劣化映像信号の対応する画素値間の関係を図６（Ａ）、図６（Ｂ）のように求める。図６（Ａ）は、劣化映像信号に対するデコード時の処理の影響を示すものであり、横軸を劣化映像信号の輝度値、縦軸を基準映像信号の輝度値として、基準映像信号の画素値とプレイヤのポストフィルタ処理を通過した後の劣化映像信号の画素値の関係をプロットしたものである。図６（Ｂ）は、劣化映像信号に対するデコード後の処理の影響を示すものであり、基準映像信号の画素値とモニタ出力ボードの色補正機能を通過した後の劣化映像信号の画素値の関係をプロットしたものである。

そして、画素値補正処理部１３は、基準映像信号と劣化映像信号の対応する画素値間の関係から回帰式を導出し、この回帰式を用いて劣化映像信号の画素値を補正する。画素値補正処理部１３は、特異点除去処理部１２から入力された基準映像信号を整合基準映像信号として主観品質推定部２に出力すると共に、画素値を補正した劣化映像信号を整合劣化映像信号として主観品質推定部２に出力する。画素値補正処理部１３で導出する回帰式としては、線形式、二次式、多項式、指数関数、ｌｏｇ関数やこれらを組み合わせた式が考えられる。発明者の検討では、多くの場合二次式で近似をすれば賄えたことから、ここでは二次式により回帰を行っている。本実施の形態では、基準映像信号に劣化映像信号を合わせているが、劣化映像信号に合わせて基準映像信号の画素値を補正するようにしてもよい。

主観品質推定部２は、整合基準映像信号と整合劣化映像信号の特徴量を測定して、劣化映像信号の主観品質を推定する。主観品質推定部２の例としては、例えば文献「岡本，林，高橋，栗田，“映像の時空間的特徴量を考慮した映像品質客観評価法の提案”，電子情報通信学会論文誌，Ｖｏｌ．Ｊ８８−Ｂ，Ｎｏ．４，Ｐ．８１３−８２３，２００５年」に開示されたものがある。

以上のように、本実施の形態では、特異点除去処理部１２を設けることにより、プレイヤの後処理やモニタ出力ボードの特性・性能によって劣化映像信号にノイズが付加された場合でも、このノイズを除去することができる。また、本実施の形態では、画素値補正処理部１３を設けることにより、プレイヤのポストフィルタ処理やモニタ出力ボードの色補正機能によって劣化映像信号にバイアスが付加された場合でも、このバイアスを除去することができる。その結果、本実施の形態では、劣化映像信号の品質を適切に評価することができる。

なお、本実施の形態では、特異点除去処理における特異点除去量（例えば、劣化映像信号の特異点除去前後のピクセル値変化量の和−基準映像信号の特異点除去前後のピクセル値変化量の和）を特異点除去処理部１２から主観品質推定部２への入力情報として出力してもよいし、画素値補正処理による回帰曲線の形状や係数を画素値補正処理部１３から主観品質推定部２への入力情報として出力してもよい。

これにより、主観品質推定部２による客観評価値導出の際に、整合処理部１による整合処理によってどの程度劣化映像信号を変化させているかを主観品質推定部２が考慮できるよう、整合処理の程度を主観品質推定部２に伝えることができる。本実施の形態では、人間の目で知覚できるような特異点の除去や画素値の補正を想定していないが、このような想定外の処理が特異点除去処理部１２や画素値補正処理部１３によって行われた場合、主観品質推定部２による客観評価値導出に影響を与えることが考えられる。そこで、整合処理の程度を主観品質推定部２に伝えることにより、想定外の処理を主観品質推定部２で考慮できるようになる。

なお、本実施の形態の映像品質客観評価装置は、ＣＰＵ、記憶装置および外部とのインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプログラムによって実現することができる。このようなコンピュータにおいて、本発明の映像整合方法を実現させるためのプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で提供される。ＣＰＵは、記録媒体から読み込んだプログラムを記憶装置に書き込み、プログラムに従って本実施の形態で説明した処理を実行する。

本発明は、映像信号の物理的特徴量の測定から主観品質を推定する映像品質客観評価技術に適用することができる。

本発明の実施の形態に係る映像品質客観評価装置の構成を示すブロック図である。 本発明の実施の形態における整合処理部の動作を示すフローチャートである。 本発明の実施の形態における位置・同期整合処理部の動作を説明するための図であり、基準映像信号と劣化映像信号の画素合わせの概念を示す図である。 本発明の実施の形態における特異点除去処理部の動作の１例を説明するための図であり、劣化映像信号の高周波成分除去の処理例を示す図である。 本発明の実施の形態における特異点除去処理部の動作の他の例を説明するための図であり、雑音除去（低域通過）フィルタの１例を示す図である。 本発明の実施の形態における画素値補正処理部の動作を説明するための図であり、劣化映像信号に対するデコード時およびデコード後の処理の影響を示す図である。

符号の説明

１…整合処理部、２…主観品質推定部、１０…フォーマット変換処理部、１１…位置・同期整合処理部、１２…特異点除去処理部、１３…画素値補正処理部。

Claims (5)

1. 評価対象となる劣化映像信号とこの劣化映像信号の劣化する前の信号である基準映像信号とを用いて前記劣化映像信号の主観品質を推定する前に、前記基準映像信号と前記劣化映像信号とを整合させる映像整合方法において、
   人間の目には見えない高周波成分のノイズである特異点を前記劣化映像信号と前記基準映像信号とから除去する特異点除去処理と、
   前記特異点除去処理によって信号処理した劣化映像信号に付加されている画素値のバイアスを除去する画素値補正処理とを備え、
   前記画素値補正処理は、前記特異点除去処理によって信号処理した基準映像信号と劣化映像信号との対応する画素値間の関係から二次式の回帰式を導出し、この回帰式を用いて前記劣化映像信号の画素値が全体として前記基準映像信号の画素値に一致するように前記劣化映像信号の画素値を補正することを特徴とする映像整合方法。
2. 評価対象となる劣化映像信号とこの劣化映像信号の劣化する前の信号である基準映像信号とを用いて前記劣化映像信号の主観品質を推定する前に、前記基準映像信号と前記劣化映像信号とを整合させる映像整合方法において、
   前記劣化映像信号に付加されている画素値のバイアスを除去する画素値補正処理を備え、
   前記画素値補正処理は、前記基準映像信号と前記劣化映像信号との対応する画素値間の関係から二次式の回帰式を導出し、この回帰式を用いて前記劣化映像信号の画素値が全体として前記基準映像信号の画素値に一致するように前記劣化映像信号の画素値を補正することを特徴とする映像整合方法。
3. 請求項１に記載の映像整合方法において、
   前記特異点除去処理は、前記劣化映像信号と前記基準映像信号とをそれぞれ空間周波数に変換して前記高周波成分を除去した後に逆変換を行って映像信号に戻すことにより前記特異点を除去するか、あるいは平均化フィルタもしくはメディアンフィルタを用いて前記特異点を除去することを特徴とする映像整合方法。
4. 請求項１に記載の映像整合方法において、
   前記特異点除去処理は、特異点除去量を次段の客観評価値導出の入力情報として出力することを特徴とする映像整合方法。
5. 請求項１又は２に記載の映像整合方法において、
   前記画素値補正処理は、画素値の補正で用いる回帰曲線の形状と係数を次段の客観評価値導出の入力情報として出力することを特徴とする映像整合方法。

Images