JP4324690B2

JP4324690B2 - 圧縮されたビデオデータの客観的質を見積もるための方法及び装置

Info

Publication number: JP4324690B2
Application number: JP2003544681A
Authority: JP
Inventors: イングウェイチェン
Original assignee: アイピージーエレクトロニクス５０３リミテッド
Priority date: 2001-11-16
Filing date: 2002-10-29
Publication date: 2009-09-02
Anticipated expiration: 2022-10-29
Also published as: WO2003042922A3; KR20040060982A; JP2005510098A; CN1596422A; US20030112333A1; AU2002339677A1; US6810083B2; EP1449170A2; WO2003042922A2

Description

本発明は、圧縮されたビデオデータの質を測定するための方法及び装置に関し、特に圧縮された画像の客観的質、すなわちピーク信号対ノイズ比（ＰＳＮＲ）をソースの（元の）ビデオデータを参照することなく評価する方法及びシステムに関する。

視聴者に最も知覚的にアピールするビデオイメージを供給することが、ビデオ専門家の最終目標である。出力イメージの質が良いか悪いかを決定する１つのやり方は、一定のビデオシーケンスを視聴するパネルの視聴者に意見を求めることである。ビデオシーケンスを分析する他のやり方は、ビデオの質の良否（優れているか又は劣っている）を評価する自動化されたメカニズムを提供することである。このタイプの手順は、“objective video quality assessment（客観的ビデオ質評価）”として知られている。

圧縮プロセスのピクチャの質を測定するための一般的アプローチは、処理されたイメージと処理されていないソースイメージとの比較を行うことである（これ以降、「double-ended measurement（ダブルエンド測定）」と呼ばれる）。客観的なピクチャの質測定を評価するための種々の計量、すなわちブロック偽信号法（Block Artifact Metric (BAM)）、PSNR、知覚的に重み付けされたPSNR等が用いられる。特に、ＰＳＮＲは、いろんなピクチャの質を測定するための、特にＭＰＥＧ２ビデオビットストリームを評価する際の最も一般的に用いられるパラメータである。しかしながら、ダブルエンド測定は、ソース画像及び処理された画像間のアライメント（合わせ）又はソースデータが利用可能でないならば、処理された画像及びソース画像両方へのアクセスが容易でないという幾つかの欠点を持つ。この問題を克服するために、ソースが利用可能でもなく制御可能でもないときにビデオの質をモニタするために、「シングルエンド測定(single-ended measurement)」が提案された。ダブルエンド測定とは違って、シングルエンド測定技術は、ビデオの質を評価するときにソースピクチャへのアクセスなしに圧縮されたピクチャで動作する。種々のシングルエンド方法が提案されてきたが、どのシングルエンド測定もソースピクチャ又は圧縮されたビデオビットストリームへのアクセスなしに圧縮されたピクチャ単独で評価するＰＳＮＲ計量(metric)を使用していない。したがって、本発明は、ソースデータ又は圧縮されたビデオビットストリームを利用することなしに圧縮されたピクチャの客観的質を評価するためのＰＳＮＲ計量を使用する客観的質評価を提案する。

本発明は、圧縮解除されたピクチャから直接的に見積もられた量子化パラメータを利用することにより、ソースデータ又は圧縮されたビデオビットストリームへのアクセスなしに符号化されたビデオデータの質を評価するための装置及び方法についてである。

本発明の一の態様によると、ピクチャの質を評価する方法は、少なくとも１つのＡＣ周波数帯域に対するＤＣＴ係数のセットを作るために、圧縮解除されたビデオデータの少なくとも大部分について離散余弦変換（ＤＣＴ）を実施するステップと、同時に、前記少なくとも１つのＡＣ周波数帯域に対する量子化マトリクスのデータを引き出し、前記圧縮解除されたビデオデータの各ブロックに対して量子化スケールを引き出すステップと、前記ＤＣＴ係数の分散を見積もるステップと、得られた分散、量子化マトリクス及び量子化スケールに基づいて前記ＤＣＴ係数の各セットに対して平均量子化誤差を決定するステップと、前記平均量子化誤差に基づいてピーク信号対ノイズ比（ＰＳＮＲ）を計算するステップとを含む。

本発明の他の態様によると、本発明は、圧縮解除されたビデオデータからイントラＤＣプレシジョンレベルを回復するためＤＣ計算動作を実施するステップと、もし前記イントラＤＣプレシジョンレベルが既定の閾値より低い場合、イントラ符号化されたピクチャとして復号されたビデオデータをクラス分けするステップと、少なくとも１つのＡＣ周波数帯域に対するＤＣＴ係数のセットを作るために前記圧縮解除されたビデオデータについて離散余弦変換（ＤＣＴ）を実施するステップと、前記少なくとも１つのＡＣ周波数帯域に対する量子化マトリクスのデータを引き出すステップと、前記圧縮解除されたビデオデータの各ブロックに対する量子化スケールを引き出すステップと、前記ＤＣＴ係数の分散を見積もるステップと、前記ＤＣＴ係数の各セットに対する平均量子化誤差を決定するステップと、前記平均量子化誤差に基づいてピーク信号対ノイズ比（ＰＳＮＲ）を計算するステップとを含む。

本発明の他の態様によると、符号化されたビデオデータの質を評価できる装置は、複数のブロックを含む復号されたビデオデータを作るために、前記符号化されたビデオデータの少なくとも大部分を復号する復号器と、圧縮解除されたビデオデータを少なくとも１つのＡＣ周波数帯域に対するＤＣＴ係数のセットへ変換する離散余弦変換器（ＤＣＴ）と、前記少なくとも１つのＡＣ周波数帯域に対する量子化マトリクスのデータを引き出し、前記圧縮解除されたビデオデータの各ブロックに対して量子化スケールを引き出す引き出し器と、前記ＤＣＴ係数の分散を見積もるコレクタと、前記分散、前記量子化マトリクス及び前記量子化スケールに基づいて前記ＤＣＴ係数の各セットに対して平均量子化誤差を決定する第１計算器と、得られた平均量子化誤差に基づいてピーク信号対ノイズ比（ＰＳＮＲ）を決定する第２計算器と、圧縮解除されたビデオデータの各ブロックにおいてイントラ符号化されたピクチャを検出するピクチャ検出器とを含む。前記ピクチャ検出器は、前記圧縮解除されたビデオデータからイントラＤＣプレシジョンレベルを回復するためＤＣ計算動作を実施する手段と、前記イントラＤＣプレシジョンレベルが既定の閾値より低い場合、イントラ符号化されたピクチャとして前記復号されたビデオデータをクラス分けする手段とを含む。

本発明の他の態様によると、装置は、圧縮された可変長ハフマンコードを復号するデコーダであって、復号されたデータを作成し、復号されたビデオデータの各ブロックに対して量子化マトリクスデータ及び量子化スケールを引き出す当該デコーダと、ＤＣＴ係数のセットを作るために、前記デコーダから出力された復号されているデータの逆量子化を実施する逆量子化器と、差分データを含む復号されたデータを復量子化するために前記逆量子化器から出力された信号のブロック内のピクセルの値を変換する逆ＤＣＴ器と、動き補償された画像を形成するために、符号化されたビデオデータ内の参照データ及び前記逆ＤＣＴ器からの前記差分データを入力する動き補償及び加算器と、前記ＤＣＴ係数の分散を見積もるために前記逆量子化器の出力部に結合されるコレクタと、前記分散、前記量子化マトリクス及び前記量子化スケールに基づいて前記ＤＣＴ係数の各セットに対して平均量子化誤差を決定する第１計算器と、得られた平均量子化誤差に基づいてピーク信号対ノイズ比（ＰＳＮＲ）を決定する第２計算器とを有する。装置は更に、再生されたビデオデータを記憶するビデオメモリを含む。

本発明の前述の及び他の特徴並びに利点は、種々の観点を通じて同じ部分に同じ参照符号が付与されている図面で示されるような好ましい実施例のこれ以降の詳細な説明から明らかになるだろう。これらの図は、縮尺通りである必要はなく、その代わりに、本発明の原理を示す際に強調されている。

以下の説明において、限定的というよりはむしろ説明を目的として、本発明の完全な理解を提供するために特定のアーキテクチャ、インタフェース、技術等が詳述される。簡略さ及び明瞭さのために、よく知られた装置、回路及び方法の詳細については、不必要な詳細で本発明の説明を不明瞭にさせないために省略される。

この発明の理解を手助けするために、ＭＰＥＧ２コーディングに関する背景的情報が説明される。一般に、ＭＰＥＧ２コーディングは、イメージ（画像）を１６ｘ１６ピクセルのマクロブロックへ分割することにより、イメージについて各ブロックが別個の量子化スケールの値で実施される。マクロブロックは、更に８ｘ８ピクセルの個別のブロックに分割される。各８ｘ８ピクセルのブロックは、離散余弦変換（ＤＣＴ）されて、６４個の周波数帯域の各々に対するＤＣＴ係数を生成する。８ｘ８ピクセルブロック内のＤＣＴ係数はその後対応する符号化パラメータ、即ち量子化重み付けにより割られる。所与の８ｘ８ピクセルブロックに対する量子化重み付けは、８ｘ８の量子化マトリクスに関して表される。その後、付加的計算が、すなわち量子化スケールを、とりわけ考慮するようにＤＣＴ係数に影響を与え、それによりＭＰＥＧ２コーディングを完全にする。ＪＰＥＧなどの他の符号化技術が本発明に使用されてもよいことに留意されたい。

図１は、本発明の実施例が適用される簡略な回路図である。本発明のシステム１０は、ビデオソース１２、符号化器１４、デコーダ１６及び見積り器１８を含む。ソース１２は、テレビカメラ又は特定のイメージに基づいたビデオデータを生成できる他のビデオ機器のような、どのタイプのビデオ発生装置でもよい。エンコーダ１４及びデコーダ１６は、ＭＰＥＧ２ビデオデータを符号化／復号化するこの技術において知られたどの従来からのエンコーダ及びデコーダでもそれぞれよい。見積もり器１８は、ソースビデオデータ又は圧縮されたビデオビットストリームを利用することなく圧縮されたピクチャの客観的質を評価するように復号されたビデオデータを処理する。これを達成するために、本発明は、以前の符号化動作で圧縮されたピクチャの質を決定するための統計的分析を信頼する。ピクチャの統計が、圧縮解除段階の後又は圧縮解除段階の間の何れかでＤＣＴ係数から集められ、それにより本発明によるとソースピクチャへアクセスする必要性を排除する。

ここで、図２−７を参照して、本発明に関する詳細な説明がなされるであろう。

図２は、本発明の第１実施例による図１に示された見積り器１８及びデコーダ１６の代表的ハードウェアを表したものである。特に、第１実施例は、符号化されたビデオデータがデコーダ１６を介して圧縮解除された後でビデオの質を見積もるための機構を提供する。見積もり器１８は、ピクチャタイプ決定器２０、８ｘ８ＤＣＴ２２、統計コレクタ２４、量子化パラメータ取り出し器２６、ディストーション計算器２８及びＰＳＮＲ計算器３０を含む。本発明のキーとなる原理は、Ｐピクチャ及びＢピクチャ、従って全体のビデオの質がＭＰＥＧ２符号化されたビデオに対するイントラピクチャの質と一般的に整合するという事実によるものである。したがって、ＰＳＮＲがイントラ符号化されたピクチャに対してだけ見積もることができるならば、良好なビデオエンコーダがピクチャからピクチャへの整合した質を維持しようと努力するのと同じように全体のビデオに対する質の計量に役立つ。

動作時において、デコーダ１６により復号された後で、この復号されたビデオデータは、見積り器１８のピクチャタイプ決定器２０へ行く。そして、ピクチャタイプ決定器２０は、復号されたビデオデータがイントラ符号化されたかどうか決定する。ＭＰＥＧ２ビデオでは、イントラＤＣプレシジョン(intra_dc_precision)が、イントラ符号化されたマクロブロック又はイントラ符号化されたピクチャのＤＣ（直流）ＤＣＴ係数の量子化の粗さを制御し、８から１１ビットの範囲とし、ここで１１ビットは量子化誤差がイントラＤＣ係数内で起こらないときとなる最も高いビットである。多くの放送用の良質のデジタルビデオにおいては、最低のイントラＤＣプレシジョンは、典型的には８にセットされる。したがって、見積もられたイントラＤＣプレシジョンが１１より小さいならば、現在のピクチャが本発明によるとイントラ符号化されたものと決定される。もしイントラ符号化されたのであれば、ＤＣＴブロック２２は、ＡＣ（交流）周波数帯域のＤＣＴ係数を生成するために、復号されたビデオデータをＤＣＴ処理する。その後、統計コレクタ２４は、ＤＣＴ係数の分散を見積り、その後見積もられたＤＣＴ分散はディストーション計算器２８へ伝送される。同時に、量子化パラメータ取り出し器２６は前の符号化動作で使用されたものと対応する量子化マトリクスを取り出す。本出願人に譲渡された”System for Extracting Coding Parameters from Video Data”という題名の米国特許第６，１０１，２７８号では、量子化マトリクス(W_i,j)の取り出し方を説明していて、この特許文献は参照としてこの明細書に取り入れられる。そして、ディストーション計算器２８は、平均量子化誤差を決定するために、取り出された量子化マトリクス、量子化ステップサイズ及び見積もられたＤＣＴ分散を用いる。その後、ＰＳＮＲ計算器３０は、ディストーション計算器ブロック２８により得られた平均量子化誤差を使用して、ＰＳＮＲを決定する。ＰＳＮＲの値は、ビデオの質におけるいかなる低下をも評価するためにも用いられる。

図３は、本発明の第１実施例によるビデオの質を評価する動作ステップを説明する流れ図である。処理ブロック及び決定ブロックは、デジタル信号処理回路又はＡＳＩＣのような機能的に等価な回路により実施されるステップを表してもよいことに留意されたい。この流れ図は、いずれかの特別のプログラム言語のシンタックスを説明したものではない。むしろ、この流れ図は、特定の装置で必要とされる処理を実施するためにコンピュータソフトウェアを生成するため又は回路を構築するために通常の当業者が要求する機能的情報を示している。

デコーダ１４から出力された復号されたビデオを受けると、８ｘ８ブロックＤＣプレシジョン計算が、ステップ１００において各マクロブロックに対して前記復号されたビデオがイントラ符号化されたかどうかを決定するために、ピクチャタイプ決定器２０により実施される。イントラ符号化されたピクチャは、圧縮されていないピクチャ又はＰ及びＢの符号化されたピクチャから固有の統計的特性を持ち、イントラＤＣ係数を表すために用いられるビット数が圧縮前に１１ビットであることに留意されたい。よって、イントラＤＣプレシジョンが１１より低いならば、分析されている現在のピクチャは、イントラ符号化されたピクチャとしてクラス分けされる。

ステップ１２０では、検出されたイントラ符号化ピクチャが、ビデオデータのＡＣ（交流）周波数帯域に対するＤＣＴ係数を生成するためにＤＣＴブロック２２によりＤＣＴ変換される。ステップ１４０では、全体のピクチャに対する各マクロブロックについて量子化ステップサイズ（Ｑｍ）及び量子化マトリクス(W_i,j)が得られる。すなわち、分析されている現在のピクチャがイントラ符号化されたピクチャであると決定した後、量子化パラメータ取り出し器２６は、前の符号化動作に用いられたものに対応する各フレームに対する量子化マトリクスを取り出すように動作する。量子化マトリクスは、６４個のエントリからなり、各エントリは重み付けられている。各々が１から２５５までの範囲の８ビットの整数である６４個のエントリは、ブロック内の８ｘ８ＤＣＴ係数に対応する。重み及び量子化スケール値は、ＤＣＴ係数のブロックに対する量子化ステップサイズを決定する。量子化マトリクス(W_i,j)を取り出すプロセスは、本出願人に譲渡された”System for Extracting Coding Parameters
from Video Data”というタイトルの米国特許第６，１０１，２７８号に説明されていて、参照としてここに組み込まれる。量子化パラメータ取り出し器２６は更に、各マクロブロックに対する量子化ステップサイズ／スケールを取り出すように動作する。各マクロブロックに対する量子化ステップサイズ／スケールを取り出すために、マクロブロックのＡＣ係数は平均化される。ＭＰＥＧ２の場合、量子化マトリクスが米国特許第６，１０１，２７８号に説明されているようにして先ず取り出され、重みW_i,jを得る。ここで、i,j=0,1…7であり、i,j≠(0,0)である。各ＡＣ係数は、下記の式

にしたがって重み付けされ、ここでC_i,jは現在のマクロブロックの(i,j)番目のＡＣ係数を表し、

は、重み付けされた又は正規化されたＡＣ係数を表す。量子化マトリクスが利用されない、すなわち同じマクロブロックの全てのＡＣ係数が同じステップサイズで量子化される他のＤＣＴに基づく圧縮方式においては、このステップは省略されてもよい。マクロブロック内のＡＣ係数を平均化した後で、量子化スケール及びＤＣＴタイプを見つける動作は、マクロブロック内の全ての正規化されたＡＣ係数、又はジグザグスキャンの順における最初の４個のＡＣ係数のような選択された係数のセットに対してだけ最大の共通分割を見つけることにより実行される。ＭＰＥＧ２ビデオにとっては、これはフレームＤＣＴデータ及びフィールドＤＣＴデータの両方で実施される。マクロブロック内の全ての正規化されたＡＣ係数に対する最大の共通分割を見つけることは、以下のようにして処理できる。先ずフレームＤＣＴブロックに対して：

上記擬似コード、abs()は、「絶対値」動作を表す。quantize()は、ビデオ符号化方式により特定された量子化処理である。”threshold”の公称値は1.5.next_lower_qであり、種々の符号化方式により決定される。上記コードは本質的に、可能な量子化スケール値及びＤＣＴタイプを通じてサーチ動作を実施する。サーチが始まるとき、フレームに基づいたＤＣＴがＭＰＥＧ２符号化ビデオで多く用いられるのでＤＣＴタイプはフレームＤＣＴに初期化される。ＭＰＥＧ１、ＭＰＥＧ４及びＨ２６３又はＭＰＥＧ２フィールドピクチャのような他のビデオコーディング規格に対しては、ＤＣＴタイプは、フレームベースのままであろう。量子化スケールは、前記規格により許容される最高値に初期化される。例えば、ＭＰＥＧ２では、この数は量子化スケールに用いられる符号化方式に依存して６２又は１１２である。各量子化スケール値に対して、量子化ディストーションが現在のマクロブロックについて計算される。それから、計算されたディストーションは、以前に計算されて記憶されたディストーションと比較される。これら２つの間の比に関するディストーションの減少が所定の閾値（１．５より上に設定された）を超えるならば、そのとき現在の量子化スケールは取り出され戻される。そうでないならば、現在のディストーションが記憶され、サーチが、規格により又は符号化方式により指示されるような次に高い量子化スケールで再び続けられる。量子化スケールがフレームＤＣＴデータから取り出されないならば、そのとき同じサーチオプションがフィールドＤＣＴデータで実施される。それ以外には、サーチが最小の可能な量子化スケールで始まって上がっていくか又はそれと同様な量子化スケールで始まる。例えば、ＤＶＤビデオ又はＤＶＢビデオに対しては１０であり、もっと低いビットレートのビデオに対しては１０より高い。このようにして、先行する段落で述べたように、マクロブロックごとに量子化スケール及びＤＣＴタイプを決定するために、正規化されたＡＣ係数全てに対して最大の共通分割が計算された。

一方で、ステップ１６０では、ＤＣＴ係数の統計見積りが実施される。各ＡＣの位置(i,j)に対して係数λ² _i,jの分散は、下記の式

に従って見積もられる。ここで、C^b _i,jはブロックｂの(i,j)番目のＡＣ係数を表し、Ｎはピクチャ内のブロックの合計数を表す。ステップ１４０及びステップ１６０は本発明によると同時に実施できることに留意すべきである。

ステップ１６０において、ＤＣＴ統計λ² _i,jを決定した後、平均量子化誤差がステップ１８０において見積もられる。これは、同じＤＣＴ位置に対応するＤＣＴ係数の各セットに対して実施される。量子化誤差を計算することは、本出願人に譲渡された”Method of Frame-By-Frame Caluculation of Quantization Matrices”というタイトルの米国特許第６，０６７，１１８号に説明されていて、簡便な参照としてここに組み込まれる。ＤＣ（直流）に対しては、量子化誤差D_0,0が、下記のテーブルにしたがってイントラＤＣ量子化ステップサイズの半分のサイズであると見積もられる。

よって、(i,j)番目のＡＣ位置、量子化誤差D_i,jは以下のように見積もられる。

ここで、

符号化の際の粗い量子化のせいか又は係数が小さな大きさのせいのため、ＡＣの位置に対応する全ての係数が０である事象では、λ_i,jは下記の式により見積もられてよい。

ここでＮはピクチャ内のブロックの数を表す。それ以外には、ルックアップテーブルが、式を迅速に解くために利用されてもよい。このＡＣ位置に対する平均量子化誤差又はディストーションは、このとき下記のように見積もられる。
D_i,j=2λ² _i,j

ここで、(i,j)番目の係数の真分布は、全て０（量子化誤差を持たない）からパラメータλ_i,jを持つラプラシアン分布（量子化誤差2λ² _i,jを持つ）までの範囲であるとする。最後に、ＤＣＴドメインでの全体的な平均のディストーションは、下記のように計算される。

最後に、ステップ２００では、ＰＳＮＲは、下記のように計算される。

ピーク信号に対するノイズ比（ＰＳＮＲ）は、先行する段落で述べられたように、本発明によるピクチャの質を評価するために使用できる。

図４は、本発明の第２実施例による、図１に示された見積り器１８及びデコーダ１６の代表的ハードウェアを示す。見積もり器１８は、パーサ４０、ＤＣＴブロック４２、統計コレクタ４４、ディストーション計算器４６及びＰＳＮＲ計算器４８を含む。動作時、入力ビットストリームはデコーダ１６により復号され、復号されたビデオデータは、当該ビデオデータ内のＡＣ周波数帯域に対するＤＣＴ係数を生成するために、ＤＣＴブロック４２によりＤＣＴ処理される。統計コレクタ４４はＤＣＴ係数の分散を見積り、その後見積もられたＤＣＴ分散は、ディストーション計算器４６へ伝送される。一方、パーサ４０は、前の符号化動作に用いられたものと対応する入力ビットストリームからの量子化マトリクスを取り出す。ディストーション計算ブロック４６は、平均量子化誤差を決定するためにＤＣＴ分散及び量子化マトリクスを使用する。最後に、ＰＳＮＲ計算ブロック４８は、ディストーション計算ブロック４６により得られた平均量子化誤差を使用してＰＳＮＲを決定する。

図５は、本発明の第３実施例による、図１に示された見積り器１８及びデコーダ１６の代表的ハードウェアを示す。この実施例の構成及び動作は、図４に関して上述したものと本質的に同じである。ただ認識できる違いは、パーサ４０の機能が第２実施例の見積り器１８に組み込まれているということである。よって、先行する段落により述べられた要素４２、４４、４６、４８に類似する要素５０、５２、５４、５６の説明は、図４で説明されているので、冗長を避けるため省略される。

図６は、本発明の第２及び第３実施例によるビデオの質を評価する動作ステップを説明する流れ図である。処理ブロック及び決定ブロックは、デジタル信号処理回路又はＡＳＩＣのような機能的に等価な回路により実施されるステップを表してもよいことに留意されたい。加えて、流れ図は、通常の当業者が回路を構築する又は特定の装置に要求される処理を実施するコンピュータソフトウェアを生成するために必要とする機能的情報を示す。特に、図４及び図５を参照して、入力ビデオデータはステップ３００で復号される。復号されたビデオデータから、全体のピクチャの各マクロブロックに対する量子化ステップサイズＱｍ、量子化マトリクス(W_i,j)及びイントラＤＣプレシジョンがステップ３２０で取り出される。量子化マトリクスは６４個のエントリからなり、各エントリは重み付け設計されている。各エントリが１から２５５までの範囲の８ビット整数である６４個のエントリは、ブロック内の８ｘ８ＤＣＴ係数に対応する。重み及び量子化スケール値は、ＤＣＴ係数のブロックに対する量子化ステップサイズを決定する。その後、ステップ３４０では、復号されたビデオデータは、当該ビデオデータのＡＣ周波数帯域に対するＤＣＴ係数を生成するためにＤＣＴ変換される。

ステップ３６０では、ＤＣＴ係数の統計を見積もることが実施される。各ＡＣ位置(i,j)に対して、係数λ² _i,jの分散は、下記の式により見積もられる。

ここで、C^b _i,jはブロックｂの(i,j)番目のＡＣ係数を表し、Ｎはピクチャ内のブロックの合計数を表す。

ＤＣＴ統計λ² _i,jを決定した後、ステップ３８０では、平均量子化誤差が見積もられる。これは、同じＤＣＴ位置に対応するＤＣＴ係数の各セットに対して実施される。量子化誤差を計算することは、本出願人に譲渡された”Method of Frame-By-Frame Caluculation of Quantization Matrices”というタイトルの米国特許第６，０６７，１１８号に説明されていて、簡便な参照としてここに組み込まれる。ＤＣ（直流）に対しては、量子化誤差D_0,0が、下記のテーブルにしたがってイントラＤＣ量子化ステップサイズの半分のサイズであると見積もられる。

(i,j)番目のＡＣ位置に対しては、量子化誤差D_i,jは以下のように見積もられる。

ここで、

ここで、(i,j)番目の係数の真分布は、全て０（量子化誤差を持たない）からパラメータλ_i,jを持つラプラシアン分布（量子化誤差2λ² _i,jを持つ）までの範囲であると推定される。ＤＣＴドメインでの全体的な平均のディストーションは、下記のように計算される。

最後に、ステップ４００では、ＰＳＮＲは、下記のように計算される。

このようにして、ピクチャの質を評価するために必要なピーク信号に対するノイズ比（ＰＳＮＲ）が得られる。

図７は、見積り器のハードウェアが従来のデコーダへ一体化された本発明による第４実施例を示す。本発明によるデコーダは、プログラム可能なビデオデコードシステムであり、ブロックベースのデータパケットを入力し復号するように構成された可変長復号器（ＶＬＤ）６０と、ＶＬＤ６０から入力した量子化されたデータを動作的に逆量子化するためにＶＬＤ６０の出力を入力する逆量子化器６２と、周波数ドメインから空間ドメインへ逆量子化されたデータを変換するために逆量子化器の出力に結合された逆離散余弦変換（ＩＤＣＴ）６４と、量子化されたデータから動きベクトルを入力し、先行するフレーム段に記憶された先行するフレームの動き補償されたブロック及びフレーム記憶部７０から記憶された後続するフレームの動き補償されたブロックに基づいて基準信号を生成するように構成された動き補償器（ＭＣ）６８と、動き補償されたピクチャを形成するためにＩＤＣＴ６４から空間ドメインデータ及び前記基準信号を入力する加算器と、ＤＣＴ係数の分散を見積もるための統計コレクタ７２と、量子化マトリクスに基づいて平均量子化誤差を決定するディストーション計算ブロック７４と、当該ディストーション計算ブロック７４により得られた平均量子化誤差を使用してＰＳＮＲを決定するＰＳＮＲ計算器７６とを有する。

本発明の好ましい実施例が示され説明されてきたが、種々の変更及び変形がなされてもよく、本発明の真の範囲から離れることなく各要素が等価なものと交換されてもよいことは、当業者により理解されるだろう。加えて、多くの変形が、本発明の中心範囲から離れることなく本発明の教え及び特別な状況に適用されてもよい。したがって、本発明を実施するために考察される最良の形態が説明されるように開示された特定の実施例に、本発明は限定されないことを意図し、本発明が従属項の範囲内の全ての実施例を含むことを意図している。

図１は、本発明の実施例による画質推定器を示す簡略なブロック図である。図２は、本発明の第１実施例による見積り装置のブロック図である。図３は、本発明の第１実施例による見積り装置の動作ステップを示すフローチャートである。図４は、本発明の第２実施例による見積り装置の簡略なブロック図である。図５は、本発明の第３実施例による見積り装置の簡略なブロック図である。図６は、本発明による見積り装置の動作ステップを示すフローチャートである。図７は、本発明の第４実施例による見積り装置の簡略なブロック図である。

Claims

符号化されたビデオデータの質を評価する方法であって、
・複数のブロックを含む圧縮解除されたビデオデータを作るために、前記符号化されたビデオデータの少なくとも大部分を復号するステップと、
・少なくとも１つのＡＣ周波数帯域に対するＤＣＴ係数のセットを作るために、前記圧縮解除されたビデオデータについて離散余弦変換（ＤＣＴ）を実施するステップと、
・同時に、前記少なくとも１つのＡＣ周波数帯域に対する量子化マトリクスのデータを引き出し、前記圧縮解除されたビデオデータの各ブロックに対して量子化スケールを引き出すステップと、
・前記ＤＣＴ係数の分散を見積もるステップと、
・前記分散、前記量子化マトリクス及び前記量子化スケールに基づいて前記ＤＣＴ係数の各セットに対して平均量子化誤差を決定するステップと、
・前記平均量子化誤差に基づいてピーク信号対ノイズ比（ＰＳＮＲ）を計算するステップとを有する方法。
符号化されたビデオデータの質を評価するための方法であって、
・ＭＰＥＧデコーダにおいて前記符号化されたビデオデータを少なくとも部分的に圧縮解除し、複数のブロックを含む圧縮解除されたビデオデータを出力するステップと、
・前記圧縮解除されたビデオデータの各ブロック内のイントラ符号化されたピクチャを検出するステップと、
・もし検出された場合少なくとも１つのＡＣ周波数帯域に対するＤＣＴ係数のセットを作るために前記圧縮解除されたビデオデータについて離散余弦変換（ＤＣＴ）を実施するステップと、
・前記少なくとも１つのＡＣ周波数帯域に対する量子化マトリクスのデータを引き出すステップと、
・前記圧縮解除されたビデオデータの各ブロックに対する量子化スケールを引き出すステップと、
・前記ＤＣＴ係数の分散を見積もるステップと、
・前記分散、前記量子化マトリクス及び前記量子化スケールに基づいて前記ＤＣＴ係数の各セットに対する平均量子化誤差を決定するステップと、
・前記平均量子化誤差に基づいてピーク信号対ノイズ比（ＰＳＮＲ）を計算するステップとを有する方法。
前記検出するステップが、
・前記圧縮解除されたビデオデータからイントラＤＣプレシジョンレベルを回復するためＤＣ計算動作を実施するステップと、
・もし前記イントラＤＣプレシジョンレベルが既定の閾値より低い場合、復号されたビデオデータをイントラ符号化されたピクチャとしてクラス分けするステップとを有する、
請求項２に記載の方法。
量子化ステップサイズが、

のように、前記圧縮解除されたビデオデータの各々についてＡＣ係数を平均化することによって計算され、ここでC_ijは現在のブロック内の（ｉ，ｊ）番目のＡＣ係数を表し、

は正規化されたＡＣ係数を表し、W_i,jは（ｉ，ｊ）番目の量子化マトリクスを表す、請求項１又は２に記載の方法。
係数の分散（λ² _i,j）が、

により決められ、ここでC^b _ijは各ブロック（ｂ）内の（ｉ，ｊ）番目のＡＣ係数であり、Ｎはブロックの総数である、請求項４に記載の方法。
前記平均量子化誤差（Ｄ）は、

及びD_i,j=2λ² _i,j
のように計算され、ここでλ² _i,jは係数の分散（λ² _i,j）を表し、D_i,jは各ブロックの（ｉ，ｊ）番目のＡＣ係数に対する量子化誤差を表す、請求項５に記載の方法。
前記ＰＳＮＲが、

のように計算され、ここでＤは平均量子化誤差を表す、請求項６に記載の方法。
前記量子化マトリクス及び前記量子化スケールは、前記符号化されたビデオデータで前に実施された符号化動作に使用された符号化パラメータとほぼ対応する、請求項１に記載の方法。
符号化されたビデオデータの質を評価する装置であって、
・複数のブロックを含む復号されたビデオデータを作るために、前記符号化されたビデオデータの少なくとも大部分を復号する復号器と、
・圧縮解除されたビデオデータを少なくとも１つのＡＣ周波数帯域に対するＤＣＴ係数のセットへ変換する離散余弦変換器（ＤＣＴ）と、
・前記少なくとも１つのＡＣ周波数帯域に対する量子化マトリクスのデータを引き出し、前記圧縮解除されたビデオデータの各ブロックに対して量子化スケールを引き出す引き出し器と、
・前記ＤＣＴ係数の分散を見積もるコレクタと、
・前記分散、前記量子化マトリクス及び前記量子化スケールに基づいて前記ＤＣＴ係数の各セットに対して平均量子化誤差を決定する第１計算器と、
・前記平均量子化誤差に基づいてピーク信号対ノイズ比（ＰＳＮＲ）を決定する第２計算器とを有する装置。
前記圧縮解除されたビデオデータの各ブロックのイントラ符号化されたピクチャの検出のためのピクチャタイプ決定器を更に有する、請求項９に記載の装置。
前記ピクチャタイプ決定器が、
・前記圧縮解除されたビデオデータからイントラＤＣプレシジョンレベルを回復するためＤＣ計算動作を実施する手段と、
・前記イントラＤＣプレシジョンレベルが既定の閾値より低い場合、前記復号されたビデオデータをイントラ符号化されたピクチャとしてクラス分けする手段とを有する、
請求項１０に記載の装置。
量子化ステップサイズが、

のように、前記圧縮解除されたビデオデータの各々についてＡＣ係数を平均化することによって計算され、ここでC_ijは現在のブロック内の（ｉ，ｊ）番目のＡＣ係数を表し、

は正規化されたＡＣ係数を表し、W_i,jは（ｉ，ｊ）番目の量子化マトリクスを表す、請求項９に記載の装置。
係数の分散（λ² _i,j）が、

により決められ、ここでC^b _ijは各ブロック（ｂ）内の（ｉ，ｊ）番目のＡＣ係数であり、Ｎはブロックの総数である、請求項１２に記載の装置。
前記平均量子化誤差（Ｄ）は、

及びD_i,j=2λ² _i,jのように計算され、ここでλ² _i,jは係数の分散（λ² _i,j）を表し、D_i,jは各ブロックの（ｉ，ｊ）番目のＡＣ係数に対する量子化誤差を表す、請求項１３に記載の装置。
前記ＰＳＮＲが、

のように計算され、ここでＤは平均量子化誤差を表す、請求項１４に記載の装置。
符号化されたビデオデータの質を評価する装置であって、
・圧縮された可変長ハフマンコードを復号するデコーダであって、復号されたビデオデータを作成し、前記復号されたビデオデータの各ブロックに対して量子化マトリクスデータ及び量子化スケールを引き出すデコーダと、
・ＤＣＴ係数のセットを作るために、前記デコーダから出力された復号されたビデオデータの逆量子化を実施する逆量子化器と、
・差分データを含む復号されたデータを復量子化するために前記逆量子化器から出力された信号のブロック内のピクセルの値を変換する逆ＤＣＴ器と、
・動き補償されたピクチャを形成するために、符号化されたビデオデータ内の基準データ及び前記逆ＤＣＴ器からの前記差分データを入力する動き補償及び加算器と、
・前記ＤＣＴ係数の分散を見積もるために前記逆量子化器の出力部に結合されるコレクタと、
・前記分散、前記量子化マトリクス及び前記量子化スケールに基づいて前記ＤＣＴ係数の各セットに対して平均量子化誤差を決定する第１計算器と、
・前記平均量子化誤差に基づいてピーク信号対ノイズ比（ＰＳＮＲ）を決定する第２計算器とを有する装置。
再生されたビデオデータを記憶するためのビデオメモリを更に有する、請求項１６に記載の装置。
符号化されたビデオデータの質を評価するシステムであって、
・コンピュータ読取可能なコードを記憶するメモリと、
・前記メモリと機能的に結合されたプロセッサであって、
複数のブロックを含む圧縮解除されたビデオデータを作るために前記符号化されたビデオデータを圧縮解除し、
前記圧縮解除されたビデオデータの各ブロックのイントラ符号化されたピクチャを検出し、
検出されたならば、少なくとも１つのＡＣ周波数帯域に対するＤＣＴ係数のセットを作るために前記圧縮解除されたビデオデータについて離散余弦変換（ＤＣＴ）を実施し、
前記少なくとも１つのＡＣ周波数帯域に対する量子化マトリクスのデータを引き出し、
前記圧縮解除されたビデオデータの各ブロックに対して量子化スケールを引き出し、
前記ＤＣＴ係数の分散を見積もり、
前記分散、前記量子化マトリクス及び前記量子化スケールに基づいて前記ＤＣＴ係数の各セットに対して平均量子化誤差を決定し、
前記平均量子化誤差に基づいてピーク信号対ノイズ比（ＰＳＮＲ）を計算する、プロセッサとを有する、
システム。
前記イントラ符号化されたピクチャの検出が、
・前記圧縮解除されたビデオデータからイントラＤＣプレシジョンレベルを回復するためＤＣ計算動作を実施するステップと、
・前記イントラＤＣプレシジョンレベルが既定の閾値より低い場合、前記復号されたビデオデータをイントラ符号化されたピクチャとしてクラス分けするステップとを含む、
請求項１８に記載のシステム。
前記量子化マトリクス及び前記量子化スケールは、前記符号化されたビデオデータに対して前に実施された符号化動作に使用された符号化パラメータとほぼ対応する、請求項９、１６又は１８に記載の装置。