JP3568834B2 - 画像品質測定方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、一般に、画像品質測定に関し、特に、ブロック歪み（blockiness）を利用した画像品質測定に関する。
【０００２】
【従来の技術】
衛星リンクを介した伝送の如く帯域幅が重要であるデジタル・ビデオ伝送において、ビデオ信号の圧縮率が変動すると、各ビデオ・チャンネルに必要な帯域幅が減少する。ＪＰＥＧや、ＭＰＥＧのような一般的に使用される標準規格の圧縮や、それらの変形規格によって圧縮を行うと、「損失」が生じる。すなわち、圧縮率を高くすると、ビデオ信号が表すイメージに歪が生じる。この歪の量は、イメージの複雑さと、圧縮エンコーダが使用できる１秒当たりのビット数（ビット・レート）とに関係する。理想的には、圧縮量が最大でありながら、不要なアーティファクトに影響されないで、ビデオ・イメージ、即ち、画像をユーザに伝送できることが望ましい。
【０００３】
画像品質を分析する既存の測定装置としては、アメリカ合衆国オレゴン州のテクトロニクス・インコーポレイテッドが製造しているＰＱＡ２００型画像品質分析器がある。これら既存の測定装置は、測定の際に、ある基準を用いている。ビデオ・システムを介して伝送されたビデオ信号は、測定装置内の基準ビデオ信号としてのオリジナル・ビデオ信号（ビデオ・システムを介して伝送される前のビデオ信号）と比較される。この基準ビデオ信号は、測定装置内に蓄積されるか、又は、他のなんらかの無歪経路を介して測定装置に伝送された信号である。ソーノフ・コーポレーション（Ｓａｒｎｏｆｆ Ｃｏｒｐｏｒａｔｉｏｎ）によるＪＮＤｍｅｔｒｉｘ（商標）という人間視覚モデル・アルゴリズムの如く高精度のアルゴリズムでは、基準ビデオ信号を使用する必要がある。しかし、基準ビデオ信号が必要であるということは、その内容が予め既知である場合か、又は、信号源のエンコーダの二重チェックなどのように、オリジナル・ビデオ信号が直ちに利用可能な場合に対してのみ、測定を行なえるということを意味する。
【０００４】
離散的コサイン変換（ＤＣＴ：discrete cosine transform）を用いたコーデック（符号／複合回路）により生じた劣化を測定するための他の方法では、圧縮ビデオ・ストリームの量子化の程度を直接調べる必要がある。なお、この量子化の程度には、ビデオ・チャンネルの外部の手段によって伝送されるオリジナル・イメージの複雑さが関与している場合もある。この方法は、精度が良くなく、ある場合には、圧縮されたビデオに対してのみ測定ができた。しかし、この方法では、エンド・ユーザに送る前に、既に伸張（逆圧縮：圧縮されない元の状態に戻す）され、且つ、別の付加的なコーデックを含む他のシステムを通過したビデオ信号を測定できなかった。
【０００５】
【発明が解決しようとする課題】
ビデオ信号の正確な基準が不要で、実時間での測定を実行するためのハードウェアの量が最小であって、ブロック単位のコーデックにおける歪をモニタできる方法が望まれている。
【０００６】
したがって、本発明の目的は、ビデオ圧縮処理によるビデオ信号の歪の量を、ブロック歪みを利用して求める画像品質測定方法を提供するものである。
【０００７】
【課題を解決するための手段】
本発明によれば、イメージ、即ち、画像を表す処理済みビデオ信号のフレーム又はフィールドを順次捕捉し、必要に応じて、ルミナンス（輝度）成分及びカラー成分に変換する。ボックスカー・フィルタの如き適切な垂直及び／又は水平エッジ（縁）強調フィルタによって、１つ以上の成分を分析する。なお、エッジは、明暗のむらに関係する。この結果により得たエッジの値から、無限グリッド（ｉｎｆｉｎｉｔｅ ｇｒｉｄ：エッジのイメージ全体を覆う格子）に対して、第１相関の値を求める。すなわち、無限グリッドである格子をイメージに重ねた状態で、このイメージを分割し、各格子毎に、イメージのエッジの値を累積させ、この累積値から第１相関の値を求める。なお、この無限グリッドの境界（格子の境）は、ビデオ圧縮に用いた各ブロックの境界に対応する。オプションとして、ビデオ圧縮に用いたブロックの境界とわずかに異なる境界を有するグリッドを用いて、第１相関と同様に、第２相関の値を求めてもよい。この場合、求めた第２相関の値を第１相関の値から減算する。さらに、最大の相関値がどこに生じるかを調べることにより、圧縮用のブロックの境界位置を検出できる。この結果により得られた相関結果を処理して、ブロック毎に人間が知覚できる劣化の量を表すイメージ用画像品質評価結果が得られる。なお、人間が知覚できるブロック毎の劣化は、処理済みのビデオ信号に現れる。
【０００８】
本発明のその他の目的、利点及び新規な特徴は、添付図を参照した以下の詳細説明から明らかになろう。
【０００９】
【発明の実施の形態】
今日での最高の圧縮システムは、データを複数のブロックに分割し、離散的コサイン変換（ＤＣＴ）を行って、各ブロック毎に別々に圧縮を行う。研究によれば、かかる圧縮が施されるビデオにおいては、イメージ又は画像の品質は、識別できるブロック歪みの状態に強く相関している。特に、量子化が過度に行き過ぎると、特に、テクスチャー用の周波数が不足しているシーン（場面）に、また、基礎的なシーンにも影響する。なお、基礎的なシーンは、この影響を受けなければ、欠点が隠される。
【００１０】
図１は、本発明による画像品質測定方法を用いたシステムのブロック図である。処理済のビデオ信号は、少なくとも１度、圧縮され且つ逆圧縮（伸張）されており、このビデオ信号の画像品質の劣化を測定する。この処理済ビデオ信号を信号捕捉モジュール１２に順次供給する。この信号捕捉モジュール１２では、イメージをフィールド単位又はフレーム単位で捕捉して、必要に応じて、コンポーネント・ビデオに変換される。この結果のアクティブ画像データは、ビット・マップ・ストレージ（蓄積装置）１４に蓄積される。このビット・マップ・ストレージ１４の内容は、典型的には、ビデオ・データのルミナンス（輝度）成分であり、ビット・マップ分析器、即ち、ビデオ・データ分析器１６により処理される。ビデオ・データ分析器１６の分析結果は、画像品質の評価値であり、結果報告モジュール１８に供給されて、ユーザ／操作者向けの表示を行う。
【００１１】
図２は、本発明による画像品質測定システムにおけるビット・マップ・ストレージからのルミナンス成分からブロック歪みを抽出する動作を説明する図であり、図１のビット・マップ分析器１６の機能に相当する。ビット・マップ・ストレージ１４からのビデオ信号の１つ以上の成分（ルミナンス成分）は、微分ボックスカー・フィルタの如き１対のエッジ強調（エンハンスメント）フィルタ２０及び２２により処理される。ここで、一方のフィルタ２０は、イメージの垂直エッジを強調処理する、即ち、イメージの輝度成分を微分し、その絶対値を求めることにより、輝度が変化する部分をイメージのエッジの値として検出する。同様に、他方のフィルタ２２は、イメージの水平エッジを強調処理する。なお、図２の機能ブロック１４、２０〜２６内における人形の線画は、これら機能ブロックの動作を説明するためであり、ビット・マップ・メモリ１４は、人形の輝度を表し、フィルタ２０及び２２は、エッジを示す。特に、フィルタ２０及び２２において、斜め成分のエッジは、垂直及び水平成分の両方を含むので、斜めの方向に応じて、フィルタの一方のみ又は両方に表示されている。ただし、これは、概念を示すためであり、厳密に表したものではない。フィルタ２０及び２２におけるエッジ強調の結果であるエッジの値から成るイメージは、結合モジュール２４に供給される。この結合モジュール２４は、フィルタ２０及び２２からのイメージのエッジの値の絶対値を２次元にて幾何学的に結合する。結合モジュール２４の人形の線画は、結合されたエッジのイメージを示す。この結合されたイメージを相互相関モジュール２６に供給する。相関モジュール２６では、無限グリッドと結合されたイメージとの相互相関を求める。この無限グリッドは、８の倍数の行及び４の倍数の列で「１」の値であり、それ以外は「０」の値、即ち、中間が０になるように調整されている。即ち、このグリッドは、使用する圧縮規格のブロック・サイズに対応するカーネル（空間）を有する。そして、このグリッド（格子）をエッジのイメージに重ねた状態で、このイメージを分割し、カーネル単位で各グリッドとイメージのエッジとの相関値が求められ、累積される。このとき、イメージ上の任意のブロックにブロック歪みがあると、フィルタ処理後、そのブロックの境界がエッジとして強調されるので、ブロックの境界において「１」であるグリッドとの間で高い相関値が現れることに注意されたい。なお、図２では、機能ブロック２６で、グリッドがずれて表示されているが、これは、グリッドがエッジ・イメージ全体を覆っていることを立体的に示しているためである。カーネル毎に、各グリッドの相互相関の結果（相関値）が最大検出器２８に供給される。ここでは、Ｘ軸をカーネルに対応させ、Ｙ軸を各相関値に対応させる。各カーネルのグリッド毎の累積された相関値を各ビン（Ｘ軸の各範囲）に入力する。各ビン毎の累積された相関値から、その最大値を求める。ブロック歪みが多く現れているほど、ブロックの境界に対応するビンには、相関値が多く累積されるので、その最大値が、ビット・マップ・イメージにおけるブロック歪みの尺度となる。ブロック歪みは、上述の如く、イメージの画像品質に相関しているので、この最大値からイメージの画像品質を測定できる。
【００１２】
更に、グリッドを用いない他の実施例として、実時間分析の効率を改善するために、ハードウェアを限定して、例えば、垂直次元である１次元のみのエッジ強調を実行すると共に、結合モジュール２４を除去することにより、ブロック歪み抽出アルゴリズムを簡単にしてもよい。ビデオ・データが捕捉されると、デジタル・フィルタ処理を行うように、後半の垂直アルゴリズムを更に変更すると、ビット・マップ・ストレージ１４も除去できる。デジタル・フィルタ処理を単一方向（水平又は垂直方向）のみにすると、ソフトウェア処理の場合、例えば、マットラブ（Matlab）コード（米国マスワークスシャフトが開発した解析、制御、シミュレーション用のエンジニアリング・ソフトウェア）によるセグメントに示すように、この動作が「加算」動作のみにより実現できて簡単となる。このソフトウェア処理は、例えば、次のようになる。
【００１３】

【００１４】
圧縮規格を変更したならば、このアルゴリズムを、カラー・チャンネル内の１６×１６マクロブロック、及び／又は、任意の他のサイズのマクロブロックに適用してもよい。さらに、最大値を含んだ特定のバケットは、圧縮ブロック境界がどこにあるかの情報も含んでおり、これを結果報告モジュール１８に出力してもよい。
【００１５】
上述の如く、ＨＤＴＶアプリケーションの如く、高速データを扱う特定のアルゴリズムでは、マイクロプロセッサ/メモリ環境により上述のアルゴリズムを実施できるが、このアルゴリズムは、図３に示す如きハードウェアによっても実現できる。イメージから分離した成分（例えば、ルミナンス成分）のフィールドをビット・マップ・ストレージ３０に順次蓄積する。つぎに、このルミナンス成分を、ビット・マップ・ストレージ３０から垂直微分回路３２に供給して、ビット・マップ中の隣接するピクセル間のルミナンス成分を垂直方向に対して微分する。微分値をクロップ・モジュール（エッジを求めるモジュール）３４に入力して、各エッジの微分値を求める。ブロック歪みがあるブロックの境界では、ルミナンス成分の変化が大きいので、大きな微分値が得られる。次に、これら微分値をアキュムレータ３６に入力して、微分値を累積する。累積値は、８個のバケット３８に入れる。なお、これらバケットの各々は、図２の機能ブロック２８のビンに相当し、よってカーネル、つまり、圧縮ブロックの大きさ（ここでは垂直方向の大きさ）に対応する。このエッジ・イメージの値（微分値）を累積した後、バケット３８からの出力を総和モジュール４０に入力して、８個のバケットの累積値の総和を求める。次に、この総和を平均化モジュール４２に入力する。この平均化モジュール４２は、微分値の総和を、ビン（バケット）の数、この実施例では８で除算して、平均値を求める。すなわち、総和のデジタル値の２進表現を右に３ビットだけシフトする。バケット３８からの最大値は、最大値検出器４４により抽出されて、減算器４６に入力される。この最大値は、通常、ブロック歪みがあるブロックの境界に対応する微分値を累積したビンのものと考えられる。しかし、平均値とさほど変わらなければ、ブロック歪みがそれほど大きくないとも考えられるので、この点をはっきりさせるため、減算器４６は、最大値検出器４４からの最大値を、バケット３８の総和の平均値（平均化モジュール４２の出力）から減算する。この減算結果の値は、イメージのブロック歪みの尺度であり、イメージの画像品質に相関しているので、画像品質を測定できる。この減算結果を結果報告モジュール１８（図１）に伝送して、ユーザ/操作者用に画像品質の評価値を表示する。
【００１６】
測定精度を改善するために、所定間隔の単一ブロック毎に、又は複数ブロック（マクロブロック）毎に相関を求めて、上述の如くブロック歪み測定を行うように、アルゴリズムを変更してもよい。そして、９の如き非ブロック相関のカーネル・サイズを用いて、このアルゴリズムを繰り返すか、又は同時に計算して、第２の相関の結果を求めてもよい。この第２相関の結果を第１相関の結果から減算して、ＰＱＲ（画像品質評価）値を得る。この結果がゼロ未満であれば、この結果は、ゼロに設定される。これは、ブロック歪みにおける不正確さを大幅に改善する。もし、不正確さを減らせなければ、ノイズのあるイメージが生じてしまう。
【００１７】
人間が感知できるかできないかにより、圧縮ブロックの位置も決まり、これが、操作者、又は、他のイメージ障害分析アルゴリズムに別々に伝えられる。ここで使用した方法では、どの相関累積バケットに、微分の絶対値の最高累積値があるかを単に示すだけである。
【００１８】
【発明の効果】
よって、ブロック歪みを用いて画像品質を分析する本発明では、ビデオ信号が表すイメージ内のエッジを求め、ブロック・サイズのカーネルとエッジの相関から相関値を求めることによって、ビデオ信号の画像品質を測定する。したがって、本発明では、ビデオ信号の画像品質を測定するのに、正確な基準ビデオ信号が不要であり、実時間での測定を実行するためのハードウェアを簡単にできる。
【図面の簡単な説明】
【図１】本発明による画像品質測定方法を用いたシステムのブロック図である。
【図２】本発明により、画像品質測定システムのビット・マップ・メモリからブロック歪みを抽出する動作を説明する図である。
【図３】本発明による画像品質測定方法で用いるブロック検出装置のブロック図である。
【符号の説明】
１２ 信号捕捉モジュール
１４ ビット・マップ・ストレージ
１６ ビット・マップ分析器
１８ 結果報告モジュール
２０、２２ エッジ強調フィルタ
２４ 結合モジュール
２６ 相関モジュール
２８ 最大値検出器
３０ ビット・マップ・ストレージ
３２ 垂直差分回路
３４ クロップ・モジュール
３６ アキュムレータ
３８ バケット
４０ 総和モジュール
４２ 平均化モジュール
４４ 最大値検出器
４６ 減算器

Claims (1)

1. 処理済みビデオ信号が表すイメージの画像品質を、ブロック歪みに応じて測定する方法であって、
   イメージ内のエッジの値を求め、
   特定ブロック・サイズに対応する空間を有するカーネルと上記エッジの値との相関から複数の相関値を発生させ、
   上記相関値から画像品質の評価値を発生する
   ことを特徴とする画像品質測定方法。

Images