JP4101132B2 - ビデオ・シーケンスのブレ評価方法 - Google Patents

Description

本発明は、一般にビデオのサービス品質に関し、特に、ビデオ処理によるビデオ・シーケンス内のブレ（blurring：ぼけ、不鮮明さ）を測定（評価）する方法に関する。

多くの異なる要素がデジタル・ビデオ・シーケンスの視覚品質に影響する。ビデオ・シーケンスにおけるブレの量は、全体的な視覚品質に最大の影響を与える要素であることが、多数の主観的検討によりわかった。よって、ビデオ・シーケンスのブレの量を客観的に測定する機能は、ビデオ品質測定における重要な要素である。符号／復号器の開発者や、圧縮サービス・プロバイダは、このビデオ品質情報を用いて、圧縮処理を変更したり、高品質のデジタル・ビデオ・サービスを提供するのに必要な種々のトレードオフに関する情報判断を行うことができる。

ブレの識別における調査を行ったが、スペクトラム、バイスペクトラム及び最大確度に基づいたアプローチの如きほとんどのブレ識別アプローチは、均一なブレと仮定するか、白のガウス・ノイズの存在を許容する制限において開発された。ブロック離散コサイン変換（ＤＣＴ）に基づいた補償の結果によるブレの影響は、異なるマクロブロックを符号化するのに用いる異なる量子化パラメータにより、ブロックごとに変化する。さらに、ＤＣＴ成分の量子化から生じるノイズは、空間領域にて独立していないが、ブロック・エラーに影響すると共に、エッジ周囲の高周波ノイズにも影響する。ＭＰＥＧ及びＨ．２６３ビデオ・シーケンスにおけるブレ歪は、ＤＣＴ量子化が原因となる。量子化が高周波ＤＣＴ係数を完全に切り捨てたとき、ビデオ・シーケンス内に損失がブレとして現れる。量子化レベルは、ブロック境界を横切って変化するので、その結果のブレと、量子化ノイズとが変化する。

シングル・エンドブレを評価する従来の技術が、非特許文献１に記載されている。この技術のいくつかのステップには、スプリアス・エッジを発生するアーティファクトを除去するための前置処理と、ブレの評価用に適切な位置を選択するための評価ポイント選択と、各選択された評価ポイントでのブレの評価と、平均化してフレームをベースとしたブレの評価とがある。ブレの評価のためには、簡単なロウパス・フィルタにより、ブロック境界のエッジを減らすことができる。この評価ポイント選択により、エッジの輝度及び連結性を基準として１組の画像エッジ・ポイントを決定して、圧縮における量子化以外によるブレを除去する。最後に、統計的アプローチを用いて、映像のブレの範囲を範囲を評価する。この際、次のように、エッジの傾斜の基準を用いて、選択されたエッジ・ポイントでの広がったエッジのプロファイルを抽出する。
１）現在の評価ポイントにおける傾斜ベクトルを計算する。
２）評価ポイントが中心となった傾斜ベクトルの両側に沿ったエッジ画像ｅ（ｘ，ｙ）をサンプルする。
３）サンプルしたエッジ値のデータ列を、評価ポイントでのエッジのプロファイルとして設定する。
４）エッジ・プロファイルの広がりを計算する。
工業点検におけるマシーン・ビジョン・アプリケーションの論文であり、アメリカ合衆国カリフォルニア州サンホゼで２００１年１月に発行されたProceedings SPIE 4301 のJiuhuai Lu著「ビデオ・アーティファクト評価の画像分析及び測定(Image Analysis for Video Artifact Estimation and Measurement)」

エッジ・プロファイルｐは、評価すべきポイント（ｘ，ｙ）を中心とし、等しい間隔にする。エッジ・プロファイルの自動補正を求め、これを用いてエッジ・プロファイルの広がりを得る。自動補正関数を計算する前に、エッジ・プロファイルが傾斜した基線を具えていれば、このエッジ・プロファイルを補正する。ビデオ映像又はフレームのブレの評価は、総ての選択された評価ポイントにおけるエッジ・プロファイルの広がりの平均である。ここで開示された技術は、一般的であり、正確且つ確実な測定を行うための特別な詳細を示さず、また、ダブル・エンド又は縮小基準アプリケーションではなく、シングル・エンド・アプリケーションにのみ適用される。

ビデオ品質測定が必要な任意のアプリケーションで用いるために、正確、確実、再現可能、且つコンピュータで実行可能な方法でビデオシーケンス内のブレを評価することが望まれている。

本発明は、テスト・ビデオ・シーケンスにおけるビデオ処理によるブレを評価する方法であって；有効な画像エッジを有する上記テスト・ビデオ・シーケンスの各フレーム内のブロックを検出し；ビデオ処理により誘導されたブロック境界エッジではなく上記テスト・ビデオ・シーケンスのエッジを強化したものとして作用するエッジ・ポイントであって、検出されたブロックの各々の中央に配置された上記エッジ・ポイントを選択し；上記エッジ・ポイントにて上記有効な画像エッジに垂直な関数として上記テスト・ビデオ・シーケンスに対するブレ値を評価することを特徴としている。

本発明によれば、正確、確実、再現可能、且つコンピュータで実行可能な方法で、ビデオシーケンス内のブレを評価でき、ビデオ品質測定が必要な任意のアプリケーションで利用することができる。

よって、本発明は、ビデオ・シーケンス内のブレの測定を行うために、エッジ定義フィルタ及びエッジ強調フィルタの両方により、テスト・ビデオ・シーケンスをろ波する。エッジ定義フィルタの出力信号とブロック・サイズ情報とを用いて、有効画像エッジを含むテスト・ビデオ・シーケンスの各フレーム内のこれらブロックを決定する。適切ならば、ビデオ処理により導入されたブロック境界エッジを除去した後に、エッジ強調フィルタからの出力とブロックのサイズ情報とを、有効な画像エッジ・ブロックと共に用いて、エッジ・ポイントを選択する。エッジ強調フィルタの出力の関数として、エッジ・ポイントにおける有効画像エッジの垂直線を用いて、テスト・ビデオ・シーケンスの各フレームに対するブレの値を評価する。

縮小した基準又は完全な基準を適用するために、テスト・ビデオ・シーケンスに対応する基準ビデオ・シーケンスから基準ブレ値を発生する。この基準ブレ値は、信号源にて発生して、テスト・ビデオ・シーケンスと共に伝送されるか、又は、受信器にて、テスト・ビデオ・シーケンスと共に発生する。基準ブレ値を、テスト・ビデオ・シーケンスのブレ値と比較して、相対的なブレ値を求める。

本発明の目的、利点及び新規な特徴は、添付図を参照した以下の説明から理解できよう。

図１は、本発明によるシングル・エンド・ブレの評価アルゴリズムを示す流れ図である。このブレのシングル・エンド測定において、テスト・ビデオ画像のルミナンス成分（Ｙ）を、カニー・フィルタ（Canny filter）１２の如きエッジ定義フィルタと、ソーベル・フィルタ（Sobel filter）１４の如きエッジ強調フィルタとの両方に入力する。カニー・フィルタ１４は、エッジの強調を行い、その値は、０及び１の間で変化する（正規化）。カニー・フィルタ１２からの出力を検出器手段１６に入力し、有効な「エッジ」ブロック、即ち、真の（公式な）画像エッジを有する所定ブロック又は量子化ブロックを検出する。ソベル・フィルタ１４の出力をブロッキネス除去手段１８に入力し、圧縮されたビデオ・シーケンスの量子化ブロッキネスに関連したエッジ、即ち、真の画像エッジでないエッジを除去する。また、必要に応じて、ブロックのサイズや、空間配列に必要な任意のオフセットに関する情報を検出器手段１６及びブロッキネス除去手段１８に入力する。検出器手段１６及びブロッキネス除去手段１８からの出力を選択器手段２０に入力して、有効な画像エッジ・ポイントを選択する。ブロッキネス除去手段１８からの出力は、マップ発生器手段２２にも供給される。選択器手段２０の出力は、ブレ計算（評価）手段２４にも供給される。このブレ計算手段２４は、フレームに基づいた、又はビデオ・シーケンスに基づいた、又はこれら両方に基づいたブレ値を発生する。このブレ値は、マップ発生器手段２２にも供給される。このマップ発生器手段２２は、表示用に重み付けされたブレ・マップを発生する。

本発明の基本的な考え方は、ビデオ・シーケンスの画像又はフレームにおける最強のエッジ及び／又はラインを見つけ、これらポイントにおけるエッジのプロファイルを求め、エッジがどの様に広がっているかを調べることである。よって、画像のブレの指示が得られる。これらポイントが大きく広がっていることは、フレームのブレが強くなり、狭い広がりは、画像がシャープであることを示す。ルミナンス・フレーム（Ｙ）と、ブロッキネス・サイズ及び任意のオフセットの両方も入力される。適切ならば、ブロッキネス情報により量子化ブロック境界を除去できるので、真の画像エッジのみを用いて、スケーリングを行って、有効な画像エッジを含むブロックを見つけることができる。ブロッキネス・サイズ及びオフセットは、デコーダ内の情報から直接得てもよいし、ブロッキネス検出アルゴリズムを実行してえてもよい。かかる技術は、従来技術であり、例えば、本願出願人に譲渡され、１９９８年９月１０に出願された米国特許出願第０９／１５２４９５号「ブロッキネスを用いた映像品質分析」（特開２０００−１０２０４１に対応）にも記載されている。ビデオ・シーケンスがブロッキネスを含んでいない場合、即ち、ビデオ・シーケンスがブロック・ベース（ブロックに基づいた）エンコーダにより圧縮されていない場合、選択手段２０にて有効な画像エッジによりブロックを見つける際に、ブロッキネス除去処理を省き、デフォルトのブロック・サイズを用いる。

ブロック境界にてソーベル・フィルタ１４の出力を、最も近い隣接から補間したソーベル出力と置換をして、ブロッキネス除去手段１８内でのエッジ除去を行ってもよい。有効な画像エッジを含んでいるブロックの検出は、図２に示すように、カニー・フィルタ１２の出力を用いる。なお、図２は、本発明によるブレ評価アルゴリズムを適用するために、ビデオ・フレーム内の有効ブロックの選択を説明する図である。ブロッキネス・サイズ及びオフセット入力により決まるブロック・サイズ又はデフォルトのサイズを用いて、画像を複数の個別のブロックに分割する。図２のＡに示すように、ブロックの境界の周囲で０から１への遷移の数が２に等しい場合、このブロックは、画像エッジを含むものに分類される。図２のＣに示すように、２個より多い遷移を含んだブロックは、テクスチャーのようになるので、ブレの評価にはそれ程有用ではない。一方、遷移が２個未満のブロックは、平坦のようであり、ブレの評価には不適切である。

図３は、本発明によるブレ評価アルゴリズムを適用するために、選択されたブロック内の有効エッジ・ポイントの選択を説明する図である。この図３に示すように、選択器手段２０からの各有用ブロックを更にテストして、ブレの評価に使用できる有用なエッジ・ポイントを検出する。各有効ブロックの「セーフ」領域、即ち、中央領域内でブロッキネスが除去されたソーベル・エッジ・マップのピーク値の（ｘ，ｙ）位置を決定する。ピーク・ソーベル値は、Ｓ（０）と表示する。このポイントでのエッジの方向は、このポイントにおけるソーベル・エッジ・マップのｘ及びｙ出力から計算する。このエッジ方向に垂直で、このエッジのプロファイルを得る。ソーベル出力からのエッジ方向に垂直なラインに沿って、Ｎ個のポイント、典型的には、有効なポイントのいずれかの側で３〜４個のポイントを、重み付けした４ポイント補間を用いて、補間する。一般に、傾斜の垂線は、完全なピーク座標に正確には一致しないので、この補間が必要となる。ポイント（０）が中心となるエッジのプロファイルを値Ｓ（−Ｎ）・・・Ｓ（Ｎ）が形成する。エッジ・プロファイルを正規化して、S_normを次のように発生する。
S_flat(n)=S(-N)+(n+N)*(S(N)-S(-N))/(2N)
S_norm(n)=max[0,S(n)-S_flat(n)-kS(0)]
なお、ｋは、非常に小さなエッジを除去するために設定された定数であり、ｋ＝０．２であり、ｎは、−ＮからＮまでの範囲である。

Ｓ_normの広がりを決める客観的な方法が必要である。Ｒ_normを与えるＳ_normでの自動相関は、良好に動作する。係数の総計が１に等しくなるように、この自動相関Ｒ_normをスケーリングする。次に、重み付けされた中央の位置Ｐ_prodからそれらの距離の平方根に比例する係数Ｒ_normを重み付けして、広がりＳ_pを計算する。
P_prod=sum[nR_norm(n)]
S_p=sum[(n-P_prod)²R_norm(n)]
なお、ｎは、−ＮからＮまでの範囲である。この方法において、画像内の各有効ポイントに対して、広がりの程度を求める。Ｓ_pの高い値は、高い広がりのエッジを示すので、強いブレとなる。一方、広がりの低い値は、非常にシャープなエッジを示す。Ｎの所定値に対して、広がりの理論的最大レベルを計算できる。これにより、最大可能ブレに基づいた１単位内でブレを表せる。これは、異なるエッジ及び異なるシーンにわたる意味のある比較を可能にするため、有用である。

全体の画像又はフレームに対するブレ値を計算するために、Ｓ_p値のヒストグラムを得て、ｐ番目に高い百分位数を用いて、画像又はフレーム用のブレの平均量を示す。ｐ＝４０〜５０％の量は、良好な結果を与える。

ビデオ・シーケンスの特定の部分又は全体のビデオ・シーケンスに対するブレ値も計算できる。フレーム・ブレ値の平均は、シーケンスのブレの良好な指示を与える。ミンコフスキー加法又は最大／最小計算などの他の一層複雑な方を用いてもよい。

各フレーム用のブレ値を出力するのと同様に、ブレ・マップも提供できる。このブレ・マップは、ブレが最も目立つ画像内の領域を示す。これは、フレーム・ブレの程度であるブロッキネス除去ソーベル・マップを重み付けすることにより得られる。マップを用いるアプリケーションに基づいて、線形又は非線型重み付けのいずれを用いてもよい。図５は、本発明により、ぶれたフレーム用の時間／フレーム数にわたるブレの値を示すブレのマップ出力を示す図である。この図５に示すように、非圧縮ビデオ画像におけるブレに対して、線形重み付けを好結果でテストした。図６は、圧縮ビデオ画像内のブレの対応する光景である。図５及び図６の表示における象限の上側は、左側が基準（Reference）で、右側がテスト・ビデオ画像である。また、左下側の象限は、時間／フレーム数にわたるブレ値を示す。さらに、右下の象限は、有効なエッジ・ポイントを有するブレ・マップを示す。非線形「Ｓ」曲線を用いて、又は、各有効ポイントでのエッジの評価した強さに基づいた有効ポイント近傍で局部的な重み付けを行うなどの多くの方法にて、非線形重み付けを行うことができる。

上述のシングル・エンド・ブレ測定に非常に類似した方法で、縮小した基準ブレ測定が機能する。シングル・エンド・ブレを基準フレームで計算する。ここでは、異なるチャネル又はビデオ・ヘッダーを用いて、その結果のブレ値をテスト・フレームと一緒にパスさせる。受信器において、テスト・フレームでシングル・エンド測定を実行して、テスト・ブレ値を発生する。テスト・フレームに誘導されたブレの量を求めるために、テスト・ブレ値を基準ブレ値と比較する。もう一度、線形方法及び非線形方法の両方を用いて、この比較を実行する。基準ブレ値及びテスト・ブレ値の簡単な減算により、良好な結果を得る。

図４は、本発明によるダブル・エンド・ブレのアルゴリズムの流れ図である。図１と同様な手段の説明は省略する。この図４に示すように、ダブルエンド・ブレの測定を実行する際、いつかの簡単な変形を行える。その最も簡単な形式において、基準ビデオ及びテスト・ビデオの両方にて分離したシングル・エンド測定を行い、これらの結果を測定して、ダブル・エンド測定を行える。別の方法としては、基準ビデオのみを用いて、カニー・フィルタ処理を実行し、有効なエッジ・ブロッキネスの選択を実行する。このアプローチは、コンピュータの使用と、潜在的な精度の改善とを提供する。ブレの評価の前に、基準フレーム及びテスト・フレームの両方に対する同じ有効エッジ・ポイントを用いるなどして、更なる変更をできる。ダブル・エンド測定は、基準ビデオ及びテスト・ビデオの間のブレの相対評価を行うので、このアプローチは、異なる形式のビデオにわたって典型的により一層矛盾のないものである。これは、シングル・エンドのアプローチのように信号源に独立したものではないためである。

したがって、図４に示すように、基準ルミナンス・フレーム（Ｙ＿ref）をカニー・フィルタ１２に入力する一方、テスト又は欠陥ルミナンス・フレーム（Ｙ＿imp）をソーベル・フィルタ１４に入力する。選択器手段２０による有効画像エッジ・ブロックの選択は、Ｙ＿refと、ブロッキネス・サイズ及びオフセット情報とにより決定する。また、ブロッキネス除去手段１８からの欠陥ソーベル・エッジ・マップは、Ｙ＿impと、ブロッキネス・サイズ及びオフセット情報とにより決定する。有効エッジ・ポイント、フレーム・ブレ評価、及び重み付けブレ・マップの決定は、Ｙ＿ref及びＹ＿impの両方に対するシングル・エンド・アプローチとして計算する。なお、ソーベル・フィルタ１４からのＹ＿ref出力は、点線で示すように、ブロッキネス除去手段１８をバイパスする。追加されるものは、比較手段２６である。この比較手段２６は、基準ブレ値を欠陥ブレ値と比較して、相対的なブレの評価を決定する。ダブリュ・エンド・アプローチにより、美的なブレを考慮して、欠陥ビデオを生じる基準ビデオのビデオ処理による望ましくないブレのみを測定する。

最後に、図７は、２個の異なるビデオ・シーケンスにおける時間／フレームの期間にわたってブレが徐々に誘導された時に、本発明により生じる結果を示す。

よって、本発明は、ビデオ・シーケンス用のカニー・フィルタ出力に基づいた有効エッジを有するビデオ内のブロックを選択し、ソーベル・フィルタを用いてビデオ・シーケンスからブロック境界を除去し、選択された有効エッジ・ブロック内で中央に存在する有効エッジ・ポイントを選択し、このエッジに垂直な広がりを評価し、評価した広がりのヒストグラムに基づいたシーケンスの一部又は画像若しくはシーケンスの平均を求めて、ビデオ・シーケンスに対するブレの測定を行える。また、ブレ評価により重み付けしたブロック境界補正ソーベル出力からブレ・マップを発生する。

本発明によるシングル・エンド・ブレの評価アルゴリズムを示す流れ図である。 本発明によるブレ評価アルゴリズムを適用するために、ビデオ・フレーム内の有効ブロックの選択を説明する図である。 本発明によるブレ評価アルゴリズムを適用するために、選択されたブロック内の有効エッジ・ポイントの選択を説明する図である。 本発明によるダブル・エンド・ブレのアルゴリズムの流れ図である。 本発明により、ぶれたフレーム用の時間／フレーム数にわたるブレの値を示すブレのマップ出力を示す図である。 本発明により、圧縮されたフレーム用の時間／フレーム数にわたるブレの値を示すブレのマップ出力を示す図である。 本発明により、誘導された増加するブレ・アーティファクトを有する２つのビデオ・シーケンスに対するシングル・エンド・ブレ値のグラフを示す図である。

符号の説明

１２ カニー・フィルタ
１４ ソーベル・フィルタ
１６ 検出器手段
１８ ブロッキネス除去手段
２０ 選択器手段
２２ マップ発生器手段
２４ ブレ計算（評価）手段
２６ 比較手段

Claims (1)

1. テスト・ビデオ・シーケンスにおけるビデオ処理によるブレを評価する方法であって、
   有効な画像エッジを有する上記テスト・ビデオ・シーケンスの各フレーム内のブロックを検出し、
   ビデオ処理により誘導されたブロック境界エッジではなく上記テスト・ビデオ・シーケンスのエッジを強化したものとして作用するエッジ・ポイントであって、検出されたブロックの各々の中央に配置された上記エッジ・ポイントを選択し、
   上記エッジ・ポイントにて上記有効な画像エッジに垂直な関数として上記テスト・ビデオ・シーケンスに対するブレ値を評価する
   ことを特徴とするビデオ・シーケンスのブレ評価方法。