JP4334768B2

JP4334768B2 - 圧縮映像のブリージングアーチファクトを低減する方法および装置

Info

Publication number: JP4334768B2
Application number: JP2000547589A
Authority: JP
Inventors: ディネイ，アフォンソ，フェレイラフロレンシオ，; シペンリー，
Original assignee: Motorola Inc
Current assignee: Motorola Solutions Inc
Priority date: 1998-05-07
Filing date: 1999-05-07
Publication date: 2009-09-30
Anticipated expiration: 2019-05-07
Also published as: DE69915277T2; CN1301370A; EP1076885B1; EP1076885A1; KR20010043395A; DE69915277D1; KR100545145B1; WO1999057685A1; BR9910272A; US6125147A; JP2002514023A

Description

【０００１】
本発明は、１９９８年５月７日に出願された米国特許仮出願第６０／０８４，６３２号の利益を享受するものである。
【０００２】
【技術分野】
本発明は、一般に、通信システムに関し、さらに詳しく言えば、符号化された情報ストリーム内の「ブリージング(breathing)」アーチファクト(artifact)を低減させる方法および装置に関する。
【０００３】
【背景技術】
さまざまな通信システムの中には、伝送しようとするデータを圧縮して、利用可能な帯域幅をさらに効率的に用いるものがある。例えば、動画像エキスパートグループ（ＭＰＥＧ：Moving Pictures Experts Group)は、ディジタルデータ伝送システムに関する規格をいくつか公表している。第１は、ＭＰＥＧ−１として知られ、ＩＳＯ／ＩＥＣ規格１１１７２と呼ばれるもので、その内容は本願明細書に援用されている。第２は、ＭＰＥＧ−２として知られ、ＩＳＯ／ＩＥＣ規格１３８１８と呼ばれるもので、その内容は本願明細書に援用されている。高度テレビジョンシステム委員会（ＡＴＳＣ：Advanced Television System Committee)）のディジタルテレビジョン規格書Ａ／５３には、圧縮ディジタルビデオシステムについての記載があり、その内容は本願明細書に援用されている。
【０００４】
上記に引用した規格には、固定長または可変長のディジタル通信システムを用いて、映像、音声およびその他の情報を圧縮・伝送するのに非常に適したデータ処理操作技術が説明されている。特に、上記に引用した規格および他の「ＭＰＥＧ的（ＭＰＥＧ−ｌｉｋｅ）」規格および技術は、フレーム内符号化技術（ランレングス符号化、ホフマン符号化等）とフレーム間符号化技術（前後予測符号化、動き補償等）とを用いて、映像情報を圧縮する。さらに詳しく言えば、ビデオ処理システムの場合、ＭＰＥＧおよびＭＰＥＧ的ビデオ処理システムは、フレーム内および／またはフレーム間の動き補償符号化を用いるか、または用いずに映像フレームに予測に基づいた圧縮符号化を行うことを特徴とする。
【０００５】
通常のＭＰＥＧエンコーダでは、所定のグループオブピクチャ（ＧＯＰ：group of pictures)に従って、複数の映像フレームからなる受信映像ストリームが符号化される。すなわち、受信映像ストリームが符号化されると、例えば、イントラ符号化フレーム（Ｉフレーム）、その後に１以上の前予測符号化フレーム（Ｐフレーム）および双方向（すなわち、前後）予測フレーム（Ｂフレーム）を発生する。
【０００６】
残念ながら、動き補償技術が完全なものでないため、予測フレームまたはピクチャは、誤差伝播、編集粒状度の減少など、望ましくない視覚的アーチファクトを受けることがある。さらに、このような予測フレームを含むＧＯＰ構造も、このようなアーチファクトを受けてしまう。ＧＯＰ構造内の個々のフレームの忠実度が、最初の高品質Ｉフレーム後に劣化する傾向にあるため、一連のＧＯＰを表示すると、「ブリージング」として知られ、表示されるＧＯＰの長さに関連する周期的な視覚的アーチファクトを発生してしまう。
【０００７】
従って、上述した「ブリージング」アーチファクトを低減する方法およびその装置の提供が望まれていることが分かる。
【０００８】
【発明の開示】
本発明は、グループオブピクチャ（ＧＯＰ）またはグループオブフレーム（ＧＯＦ）構造を用いて、ＭＰＥＧ的映像情報ストリームでのブリージングアーチファクトを低減する方法および装置に関する。さらに詳しく言えば、グループオブピクチャ（ＧＯＰ）情報構造に従って配列された圧縮画像シーケンスの処理システムにおいて、ＧＯＰ間の視覚的アーチファクトを低減させる本発明による方法は、ＧＯＰ情報構造内の第１のタイプの情報フレームに対して、それぞれの忠実度劣化レベルを決定するステップと、ＧＯＰ情報構造内の第２のタイプの情報フレームに対して、それぞれの忠実度劣化レベルを決定するステップと、決定後の忠実度劣化レベルを用いて、劣化等化パラメータを計算するステップと、計算後の劣化等化パラメータを用いて、第１および第２のタイプの情報フレームが所定の範囲内の忠実度劣化レベルを有するように、第１および第２のタイプの情報フレームの１つを処理するステップとを含む。
【０００９】
本発明の教示は、添付の図面と共に以下の詳細な記載により容易に理解されよう。
【００１０】
理解しやすいように、図面に共通の同一要素を指す場合同一の参照番号を用いている。
【００１１】
【発明を実施するための最良の形態】
本発明は、例えば、ＡＴＳＣテレビジョン受像機等のディジタルテレビジョン（ＤＴＶ）受像機内において、例えば、ＭＰＥＧ−２ビデオデコーダ等のビデオデコーダに関して記載される。しかしながら、本発明は、ＤＶＢ、ＭＰＥＧ−１およびその他の情報ストリームに適用されるシステムを含む任意のビデオ処理システムに応用可能であることは、当業者には明らかであろう。
【００１２】
さらに詳しく言えば、本発明は、圧縮映像情報ストリームＩＮを受信復号して、映像出力ストリームＯＵＴを発生させるＭＰＥＧ的復号化システムに関して主に記載される。本発明は、グループオブピクチャ（ＧＯＰ）情報構造を利用する映像または画像処理システムの場合、視覚忠実度レベルがＧＯＰ間で変化するとＧＯＰの出現の割合で視覚忠実度が変調することによって生じる「ブリージング」アーチファクトを低減するように動作する。しかしながら、グループオブピクチャ（ＧＯＰ）またはグループオブフレーム（ＧＯＦ）情報構造内に異なるインターフレーム忠実度レベルを有する他の情報システムにも広範囲に応用可能であることは、当業者には明らかであろう。
【００１３】
図１Ａから図１Ｃは、グループオブピクチャ（ＧＯＰ）内のビデオ忠実度に関連する１以上のパラメータの相対的なフレーム毎の劣化を示すグラフである。ＧＯＰ内でこのようなフレーム毎の劣化が生じて視覚忠実度が周期的に増大およびまたは減少すると、前述したブリージングアーチファクトが発生する。視覚忠実度の周期的な増大および／または減少が十分大きいものであれば、ＧＯＰを含む映像のシーケンスがディスプレイ装置上に出現すると、視聴者がブリージングアーチファクトに気付くようになる。
【００１４】
例えば、視覚忠実度がＧＯＰ内で著しく変化する（例えば、ＩフレームとＢフレーム間の量的差が大きい）１５フレームＧＯＰにより配列されたＭＰＥＧ的映像情報からなる映像情報ストリームに応答して、３０フレーム／秒（ｆｐｓ）の出現／表示システムの場合を考えてみる。ＧＯＰは、１枚のＩフレームと多数枚のＢフレームからなるため、表示映像が０．５秒毎（１５フレーム（ＧＯＰ／３０ｆｐｓ））に高忠実度のＩフレームで始まり、その後多数の比較的低忠実度のＢフレーム（および、一般に、Ｐフレーム）が続く。このように一連の画像が表示されると、ＧＯＰ内のフレーム間忠実度が変化することにより、１／２秒周期の脈動（すなわち、ブリージング）特徴を示すことがある。
【００１５】
本願発明者等は、ブリージングアーチファクトの主要な原因を、１）ＧＯＰ内の量的レベルのフレーム間の差と、２）ＧＯＰ内の半ピクセル動き推定誤差の伝播と、３）ＧＯＰを処理するデコーダ（またはその特徴）により導入される忠実度の不調和とに特定した。ブリージングアーチファクトを発生させるこれら３つの原因を解消する本発明の実施形態を以下に記載する。
【００１６】
図１Ａは、１枚のＩフレームの後に１０枚のＰフレームが続くＧＯＰ内の映像「鮮明度」がフレーム毎に劣化する様子を示したグラフである。鮮明度は、正確なエッジの出現と高コントラストの輝度転移に重要な高周波数応答の関数である。さらに詳しく言えば、図１Ａは、連続した３つのＧＯＰ（参照番号１０１）と、それに対応させてＧＯＰの各フレームの鮮明度レベルを線図（参照番号１０２）を示す。この図から、映像画像の鮮明度が、ＧＯＰの各Ｉフレームで最大になり、連続したＰフレームのそれぞれで鮮明度が均等に逓減していることが分かる。ＧＯＰの表示速度に一致する速度で鮮明度レベルが次第に劣化し高速に増大することによって、ブリージングアーチファクトが発生する。
【００１７】
図１Ａにおいて、連続したＰフレームのそれぞれで鮮明度が均等に逓減する原因は、ＧＯＰを処理するデコーダの動き補償回路内での半ピクセルの補間である。半ピクセル補間回路は、予測されたマクロブロックまたはピクセルグルーピングを低域フィルタリングするように動作する。図１Ａに示す鮮明度レベルの劣化が比較的線形であるのは、ＧＯＰ内のＰフレームを用いて、半ピクセル補間誤差がほぼ一定であると仮定しているためである。図の斜線部分は、各Ｐフレームが下降している間の誤差の統計的な帯域を示す。各Ｉフレーム（Ｉ₁、Ｉ₂、Ｉ₃）は鮮明度の最大レベルが同じものをもつとして示されているが、Ｉフレームの鮮明度レベルは、ＧＯＰに割り当てられるビットバジェットを含む多くの要因に基づいたエンコーダの速度コントローラにより最初決定される。従って、Ｉフレームの鮮明度レベルと一般的な視覚忠実度は、エンコーダでの要求に依存して、必要に応じて変化する。
【００１８】
図１Ｂは、１枚のＩフレームで始まり、その後に繰り返し連続した３枚のＢフレームと１枚のＰフレームが続くフレームからなる１２枚のフレームＧＯＰ内の映像鮮明度がフレーム毎に劣化する要素を示したグラフである。各Ｐフレームは、すぐ前にあるアンカフレーム（ＩフレームまたはＰフレーム）を用いて予測されるため、Ｐフレームの鮮明度レベルの劣化は比較的線形であることが示されている。しかしながら、各Ｂフレームは、アンカフレーム（ＩフレームまたはＰフレーム）を用いて予測されるため、２つの半ピクセル補間が各Ｂフレームと関連される。従って、各Ｂフレームは、Ｂフレームの予測に用いる最も不正確な参照フレームよりも半ピクセル低い鮮明度レベルをもつものとして示されている。この図から分かるように、映像画像の鮮明度は、ＧＯＰの各Ｉフレームで最大になり、ＧＯＰ内の連続したフレームのそれぞれで鮮明度が可変量で劣化している。ＧＯＰ表示速度と一致する速度で、鮮明度レベルが可変量で劣化し高速に増大することによって、ブリージングアーチファクトが発生する。
【００１９】
図１Ｂにおいて、第１のＩフレーム（Ｉ₁）は、最大値（ｍａｘ）の鮮明度レベルをもつものとして示されている。このＩフレームの後に続く第１のＰフレームは、最大値よりも１／２ピクセル低い鮮明度レベルをもつものとして示されている。第１のＩフレームと第１のＰフレームを用いて予測された３枚のＢフレームは、Ｐフレームの鮮明度レベルよりも１／２ピクセル低い鮮明度レベルをもつものとして示されている。同様に、第１のフレームの後に続く第２のＰフレームは、第１のＰフレームの鮮明度レベルよりも１／２ピクセル低い鮮明度レベルをもち、第１のフレームから予測される。従って、第１のＰフレームと第２のＰフレームを用いて予測されるＢフレームは、第２のＰフレームの鮮明度レベルよりも１／２ピクセル低い鮮明度レベルを有する。
【００２０】
図１Ｃは、１枚のＩフレームで始まり、その後に繰り返し連続した３枚のＢフレームと１枚のＰフレームが続くフレームからなる１２枚のフレームＧＯＰ内のフレーム毎の量子化レベル（すなわち、粒状度）を示すグラフである。Ｉフレームが一般に、Ｐフレームよりも細かい量子化レベルで符号化され、Ｐフレームが一般に、Ｂフレームよりも細かい量子化レベルで符号化されるため、図１Ｃには、ＧＯＰ構造を用いて発生する映像画像の量子化レベルの変化が示されている。この図から見てとれるように、量子化レベルは、最初のＩフレーム（Ｉ₁）で良好なレベルで始まり、Ｂフレームでより粗いレベルに劣化し、Ｐフレームではそれらの間にある粗さのレベルに劣化している。従って、均等な量子化粒状度レベルを含む図１Ｃに示されたＧＯＰ構造を用いて発生させた映像画像は、個々の映像フレームを発生させるために用いるＧＯＰ構造内のフレームタイプに基づいて、忠実度が増減する。また、このように変化または変調することで、前述のブリージングアーチファクトに寄与する。
【００２１】
図２は、本発明によるＭＰＥＧ的デコーダ２００の実施形態を示す図である。さらに詳しく言えば、図２のデコーダ２００は、圧縮映像情報ストリームＩＮを受信・復号して、映像出力ストリームＯＵＴを発生する。映像出力ストリームＯＵＴは、例えば、表示装置（図示なし）内にある表示ドライバ回路に結合するのに適している。ＭＰＥＧ的デコーダ２００は、圧縮映像情報フレームＩＮ内の情報フレーム（例えば、映像または画像フレーム）と関連する忠実度表示パラメータを調べて、その結果得られた圧縮解除された情報ストリーム（例えば、映像ストリーム）が前述のブリージングアーチファクトを示しそうか否かを決定する。ブリージングアーチファクトが存在する傾向にあるという決定に応じて、ＭＰＥＧ的デコーダ２００は、ブリージングアーチファクトを減衰させるように復号情報ストリームを修正する。本発明は、圧縮映像ストリームＩＮ（圧縮映像ストリームＩＮ内の情報以外）を形成するエンコーダの様子を知らなくとも動作できる。
【００２２】
図２のＭＰＥＧ的デコーダ２００は、ビデオデコーダ２１０、ビデオプロセッサ２２０およびコントローラ２３０を備える。ビデオデコーダ２１０は、圧縮映像情報ストリームＩＮを受信・復号するように比較的標準的に動作して、復号映像ストリームＶ１を発生する。圧縮解除された映像ストリームＶ１は、上述したように、ＧＯＰ内のフレーム間忠実度の変動や、ビデオデコーダ２１０自体の不調和（または特徴）により生じるブリージングアーチファクトを受けやすい。圧縮解除された映像ストリームＶ１は、ビデオプロセッサ２２０および、任意に、コントローラ２３０に結合される。
【００２３】
コントローラ２３０で出力される劣化制御信号Ｃに応答して、ビデオプロセッサ２２０は、復号映像ストリームＶ１内に１枚以上のフレームの劣化レベルを適応させて、映像出力ストリームＯＵＴ，例えば、ベースバンドディジタル映像ストリームを発生する。
【００２４】
ビデオプロセッサ２２０は、以下により詳細に記載するように、いくつかの劣化モードの１つで動作する。簡潔に言えば、ノイズ投入動作モードにおいて、ビデオプロセッサ２２０は、ある量のノイズ（コントローラ２３０で決定される）を、有効な量子化レベルが減少されるように意図されたより高い忠実度の画像フレーム（例えば、Ｉフレーム）内に投入する。この動作モードでは、フレーム間量子化レベル（例えば、図１Ｃに示すように）の差が大きいことにより生じるブリージングアーチファクトが、フレーム間量子化レベルの差をしきい値差レベルまで縮めることによって低減される。フィルタ動作モードでは、ビデオプロセッサは、低域フィルタリング（ＬＰＦ）と高域フィルタリング（ＨＰＦ）を、ＧＯＰ内の１以上の画像フレームまたは画像フレームタイプに選択的に適用する。この動作モードでは、予測誤差の伝播により生じるブリージングアーチファクトが、ＧＯＰ内のすべての画像フレームの中で鮮明度の劣化量を等化するように各画像フレームをフィルタリングすることにより低減される。他の動作モードを以下に記載する。
【００２５】
コントローラ２３０は、圧縮映像入力ストリームエンド内の映像フレームに関する量子化レベル、フレームタイプ、ＧＯＰ位置およびその他の情報を表すビデオデコーダ２１０からの忠実度表示パラメータ信号ＤＡＴＡを受信する。任意に、コントローラ２３０は、圧縮解除された映像ストリームＶ１を受信する。さらに、コントローラ２３０は、任意に、供給源（すなわち、エンコーダ）で圧縮映像情報ストリームＩＮに与えられた誤差を表す信号ＳＯＵＲＣＥＥＲＲＯＲを受信する。
【００２６】
コントローラ２３０は、忠実度表示パラメータ信号ＤＡＴＡを処理し、任意に、圧縮解除された映像ストリームＶ１を処理して、圧縮映像情報ストリームＩＮからなる１以上のＧＯＰ内の１以上の画像フレームまたは画像フレームタイプと関連する視覚的忠実度の劣化レベルを決定する。
【００２７】
次いで、コントローラ２３０は、画像フレームまたは画像フレームタイプの劣化レベルが、圧縮解除された映像ストリームＶ１が連続して出現することによりブリージングアーチファクトが発生しそうなものでないかを決定する。確認された劣化変動がブリージングアーチファクトを発生する傾向にあるものであれば（例えば、しきい値差レベルを超える等）、コントローラ２３０は、後に劣化制御信号Ｃとしてビデオプロセッサ２２０に結合される１以上の劣化等化パラメータを計算する。コントローラ２３０の動作を図３に関して以下により詳細に記載する。
【００２８】
図２のＭＰＥＧ的デコーダ２００の例示的実施形態では、ビデオデコーダ２１０は、入力バッファメモリモジュール２１１、可変長デコーダ（ＶＬＤ）モジュール２１２、逆量子化回路（ＩＱ）モジュール２１３、逆離散コサイン変換（ＩＤＣＴ）モジュール２１４、加算器２１５、動き補償モジュール２１６、出力バッファモジュール２１８およびアンカフレームメモリモジュール２１７を備える。
【００２９】
入力バッファメモリモジュール２１１は、例えば、トランスポートデマルチプレクサ／デコーダ回路（図示せず）からの高精度テレビジョン信号（ＨＤＴＶ）または標準精度テレビジョン信号（ＳＤＴＶ）等を表す、例えば、可変長符号化ビットストリーム等の圧縮映像ストリームＩＮを受信する。入力バッファメモリモジュール２１１は、可変長デコーダモジュール２１２が処理用の映像データの受け入れ準備ができるまで、受信した圧縮映像ストリームＩＮを一時的に格納するために使用される。ＶＬＤ２１２は、入力バッファメモリモジュール２１１のデータ出力端に結合される入力端を有し、例えば、データストリームＳ１として格納された可変長の符号化映像データを引き出す。
【００３０】
ＶＬＤ２１２は、引き出したデータを復号して、量子化予測誤差ＤＣＴ係数からなる一定長のビットストリームＳ２と、動きベクトルストリームＭＶを発生する。ＩＱモジュール２１３は、一定長のビットストリームＳ２に応じて逆量子化動作を実行し、標準フォーマットで量子化予測誤差係数からなるビットストリームＳ３を発生する。ＩＤＣＴモジュール２１４は、ビットストリームＳ３に応じて逆離散コサイン変換動作を実行して、ピクセル毎の予測誤差からなるビットストリームＳ４を発生する。これらの予測誤差（および関連する画像劣化）は、図１Ｃに関して上述したように、ピクセル情報のエンコード側の量子化により生じる。
【００３１】
加算器２１５は、ピクセル毎の予測誤差ストリームＳ４を、動き補償モジュール２１６により出力された動き補償された予測ピクセル値ストリームＳ６に加算する。動き補償された予測ピクセル値ストリームＳ６は、図１Ａから１Ｂに関して上述したように、現在のピクセル値を発生させるように使用する前予測の数に関連する予測誤差成分（および関連する鮮明度劣化）からなる。従って、例示的実施形態では、加算器２１５の出力は、図１Ａから１Ｃに関して上述したように、量子化誤差と累積予測誤差の両方で劣化される再構築ピクセル値からなる映像ストリームＳ５である。
【００３２】
加算器２１５により出力された映像ストリームＳ５（量子化誤差と予測誤差を含む）は、アンカフレームメモリモジュール２１７と出力バッファモジュール２１８に結合される。アンカフレームメモリモジュール２１７は、信号経路Ｓ７を介して動き補償モジュール２１６によりアクセスされる。動き補償モジュール２１６は、１以上の格納されたアンカフレーム（例えば、加算器２１５の出力で発生したＩフレームまたはＰフレームの最後のフレーム）と、ＶＬＤ２１２から受信した動きベクトル信号ＭＶを利用して、動き補償された予測ピクセル値ストリームＳ６の値を計算する。
【００３３】
また、上述した映像デコーダ２１０は、例えば、圧縮映像入力ストリームエンド内の映像フレームに関する量子化レベル、フレームタイプ、ＧＯＰ位置およびその他の情報を表す忠実度表示パラメータ信号ＤＡＴＡを発生する。さらに詳しく言えば、上記およびその他の忠実度表示パラメータは、標準的な方法でＶＬＤ２１２により圧縮映像情報ストリームＩＮから抽出される。例えば、圧縮映像情報ストリームＩＮがＭＰＥＧ映像ストリームからなるものであれば、ＶＬＤ２１２は、１以上の映像シーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダ、スライスヘッダおよびマクロブロックヘッダに含まれる情報を調べる。抽出された情報は、忠実度表示パラメータ信号ＤＡＴＡとしてコントローラ２３０に結合される。
【００３４】
図２のＭＰＥＧ的デコーダ２００の例示的実施形態では、コントローラ２３０は、マイクロプロセッサ２３４と、劣化等化ルーチン３００、量子化等化ルーチン４００、周波数等化ルーチン５００の少なくとも１つを格納するメモリ２３８とを備える。これらのルーチンの動作を図３から５に対して以下に詳細に記載する。マイクロプロセッサ２３４は、電源、クロック回路、キャッシュメモリ等の従来の支持回路２３６と、ソフトウェアルーチンの実行を補助する回路と協働する。また、ソフトウェアプロセスとして本願明細書で記載するプロセスステップの中には、例えば、マイクロプロセッサ２３４と協働してさまざまなステップを実行する回路としてハードウェア内で実行されてもよいものがあることが考えられる。また、コントローラ２３０は、マイクロプロセッサ２３４、ビデオデコーダ２１０およびビデオプロセッサ２２０間のインターフェースを形成する入出力回路２３２を含む。コントローラ２３０は、本発明に従って特定の制御機能を実行するようにプログラムされる汎用コンピュータとして記載されているが、本発明を特定用途向けＩＣ（ＡＳＩＣ）としてハードウェア内で実行可能である。さらに、コントローラ２３０は、ビデオプロセッサ２２０とビデオデコーダ２１０のいずれか一方またはその両方と機能的に組み合わせてもよい。実際、本願発明者等により、図２のＭＰＥＧ的デコーダ２００の機能をほぼすべて備えた単一の集積回路が、単一の集積回路として実行されることが考えられている。
【００３５】
図３は、映像信号のブリージングアーチファクトを低減させる本発明による劣化等化ルーチン３００を示す。劣化等化ルーチン３００は、コントローラ２３０内の制御ルーチンとしてか、または、記載しているように汎用計算機装置を備えていないコントローラ２３０の場合には、図２のＭＰＥＧ的デコーダ２００の協働モジュール間の論理関数として実行されるものであってよい。劣化等化ルーチン３００は、例えば、図２のビデオデコーダ２１０が圧縮映像情報ストリームＩＮの受信を開始したときに、ステップ３０２で始まる。次いで、ルーチン３００はステップ３０４に進む。
【００３６】
ステップ３０４では、受信映像フレームまたは映像フレームタイプの相対劣化レベルが決定される。相対劣化レベルは、各映像フレームまたは映像フレームチアプと関連する１以上のパラメータを求めて決定される。さらに詳しく言えば、フレーム量子化レベル（例えば、フレームマクロブロックの平均）、フレームタイプ、ＧＯＰ内のフレーム位置、フレームスペクトル等の１以上のさまざまな画像または映像フレームパラメータが分析されて、ある特定のフレームに関連する劣化レベルが決定されてもよい。次いで、特定の映像または画像フレームと関連する劣化レベルは、例えば、ＧＯＰからなるフレームと関連する名目または平均劣化レベルか、またはＧＯＰからなるフレームのサブセットと比較される。このようにして、ある特定のフレームとＧＯＰまたはサブＧＯＰ平均との劣化差が決定される。次いで、ルーチン３００はステップ３０６に進む。
【００３７】
ステップ３０６では、ステップ３０４で求めたフレームの一部またはすべての劣化レベルおよび／または劣化差を用いて、ＧＯＰ内の１以上のフレームの１以上の劣化等化パラメータを計算する。例えば、忠実度が比較的高い（すなわち、劣化が比較的低い）ＧＯＰ内のフレームは、ステップ３０４で分析された１以上のフレームパラメータの点から劣化されるため、ＧＯＰ内の忠実度劣化のフレーム間差が、認知可能なブリージングアーチファクトとなるレベルかまたはそのレベルよりも下のレベルに抑制される。次いで、ルーチン３００はステップ３０８に進む。
【００３８】
ステップ３０８では、ステップ３０６で計算された劣化等化パラメータは、ＧＯＰ構造内の１以上の適切なフレームに適用されるため、ＧＯＰ構造内のインターフレーム劣化差は、適切に抑制される。映像または画像フレームの忠実度を劣化させることは一般に容易であるため（処理の複雑性等の点から）、適切なフレームは、比較的忠実度が高いレベルのフレームからなる。しかしながら、強化されやすい忠実度パラメータの場合、適切なフレームは、忠実度レベルが比較的低いフレームからなるものであってよい。次いで、ルーチン３００はステップ３１０に進む。
【００３９】
ステップ３１０では、さらにフレームを処理すべきか否かの質問がなされる。ステップ３１０の質問の答えがＹＥＳであれば、ルーチン３００はステップ３０４に進む。ステップ３１０の質問の答えがＮＯであれば、ルーチン３００はステップ３１２に進み、終了する。
【００４０】
劣化レベルを等化するために用いる１つの技術は、１以上の忠実度が比較的高い映像または画像フレームまたはフレームタイプをさらに劣化されることに留意されたい。例えば、ＧＯＰ内のＩフレームの忠実度の低下は、本発明の動作により効果的に低減または除去されたブリージングアーチファクトよりも視聴者に与える不快感はかなり少なくなることが本願発明者等により判明した。従って、ＧＯＰのＧＯＦの１以上のフレーム内の視覚的、聴覚的、またはその他の情報の忠実度をシフトするかまたは選択的に減少させる点で妥協点を見出して、その結果の処理された情報ストリーム（例えば、映像出力ストリームＯＵＴ）は、情報消費者に優れた表示を与える。
【００４１】
本発明は、劣化レベルを決定する方法（ステップ３０４）、劣化等化パラメータを計算する方法（ステップ３０６）および劣化等化パラメータを適用する方法（ステップ３０８）の１以上の方法を用いるものとされる。さらに詳しく言えば、本発明の一実施形態では、図３の劣化等化ルーチン３００を適用して、ＧＯＰ内の量子化レベルのフレーム間差をしきい値量子化差レベルまで下げる。量子化等化の実施形態は、映像または画像フレームの異なるタイプ（すなわち、Ｉフレーム、ＰフレームまたはＢフレーム）間の量子化レベル差に関連するブリージングアーチファクトを減少させるのに特に適しており、それを図４に関して以下に記載する。
【００４２】
本発明の別の実施形態では、図３の劣化等化ルーチン３００を適用して、ＧＯＰ内の周波数ドメインのフレーム間差をしきい値スペクトル差レベルよりも下まで下げる。周波数応答等化の実施形態は、動き予測誤差の伝播により、予測された映像または画像フレーム（すなわち、ＰフレームまたはＢフレーム）に与える低域フィルタリング（すなわち、ピクチャの鮮明度の低下）に関するブリージングアーチファクトを低減するのに特に適しており、それを図５に関して以下に記載する。
【００４３】
第１の方法は、各符号化映像フレームと関連する量子化レベルのパラメータを調べることを含む。通常、ＭＰＥＧビデオデコーダ等のビデオデコーダは、忠実度が比較的高いＩフレームから始まり、その次に忠実度が低減している１以上のＰフレームとＢフレームが続くＧＯＰ構造を発生する。ＧＯＰ構造内の次のフレームを予測するために用いられることから、ＧＯＰの最初のＩフレームを忠実度レベルが高い状態で符号化することが重要である。従って、一般に、良好な量子化レベルが、エンコーダ内の量子化回路で使用される。ＰフレームがＧＯＰ構造内のアンカフレームとして使用される（すなわち、Ｐフレームが次のＰフレームと直前直後のＢフレームを予測するために使用される）ため、Ｐフレームは、Ｂフレームで使用されるレベルよりも一般に優れたレベルで量子化される。前述したように、ＧＯＰ内の量子化レベルが変動すると、望ましくないブリージングアーチファクトを生じる一因となる。従って、ＧＯＰ構造内で量子化レベルを等化させるには、ＧＯＰ内でＩフレームおよび／または１以上のＰフレーム等の有効な量子化レベルを高くする必要がある。量子化劣化等化の例を図４に関して以下に記載する。
【００４４】
図４は、本発明による劣化等化ルーチン４００を示す。さらに詳しく言えば、図４の劣化等化ルーチン４００は、ＧＯＰ内のＩフレームとＧＯＰ内の複数のＢフレーム間の量子化レベルの差に関する映像信号のブリージングアーチファクトを低減させるためのものである。ルーチン４００は、ＧＯＰ構造内の量子化レベルを適用することによって、ＧＯＰ内のＩフレームの忠実度が、例えば、ＧＯＰ内の複数のＢフレームの平均忠実度レベルのしきい値忠実度レベル内まで下がる。劣化等化ルーチン４００は、コントローラ２３０内の制御ルーチンとしてか、または、記載しているように汎用計算機装置を備えていないコントローラ２３０の場合には、図２のＭＰＥＧ的デコーダ２００の協働モジュール間の論理関数として実行されるものであってよい。
【００４５】
劣化等化ルーチン４００は、例えば、図２のビデオデコーダ２１０が圧縮映像情報ストリームＩＮの受信を開始したときに、ステップ４０２で始まる。次いで、ルーチン４００はステップ４０４に進む。
【００４６】
ステップ４０４では、Ｉフレーム（Ｑ_I）と関連する量子化パラメータが、例えば、処理されるＧＯＰ内のＩフレーム内にある各マクロブロックの量子化レベルを平均化することによって決定される。さらに、Ｂフレーム（Ｑ_B）と関連する量子化パラメータが、例えば、処理されるＧＯＰ内の１以上のＢフレーム内にある各マクロブロックの量子化レベルを平均化することによって決定される。例えば、ＭＰＥＧに従う映像ストリームのスライス層ヘッダ内で見つかる場合があり、１から３１の整数（デフォルトテーブル等の一定の量子化回路テーブルが用いられると仮定した場合）であるＭＰＥＧ変数quantizer＿scaleに対して決定がなされてもよい。quantizer＿scaleは、マクロブロック層でも調整可能であることに留意されたい。
【００４７】
次いで、ルーチン４００はステップ４０６に進み、ＢフレームＱ_Bと関連する量子化パラメータが、ＩフレームＱ_Iと関連する量子化パラメータ量子化パラメータと量子化パラメータしきい値量Ｑ_THの和よりも大きいか否かについての質問がなされる。量子化パラメータしきい値レベルＱ_THは、Ｂフレーム量子化パラメータＱ_Bと、認知可能な量子化差となるブリージングアーチファクトを生じることがないＩフレーム量子化パラメータＱ_iとの間の最大値量子化パラメータの偏差を表すものである。
【００４８】
ステップ４０６での質問の答えがＹＥＳであれば、ルーチン４００はステップ４０８に進む。ステップ４０６の質問の答えがＮＯであれば、ルーチンはステップ４１４に進み、さらなるフレーム処理が必要な否かについての質問がなされる。ステップ４１４での質問の答えがＹＥＳであれば、ルーチン４００はステップ４０４に進む。ステップ４１４の質問の答えがＮＯであれば、ルーチンはステップ４１６に進み、終了する。
【００４９】
ステップ４０８では、ＩフレームとＢフレーム内のノイズが特徴化される。すなわち、量子化パラメータＱ_Iを有するＩフレーム内と量子化パラメータＱ_Bを有するＢフレーム内で見つかるものとされるノイズ量は、ノイズ分配を発生する量子化レベル（すなわち、ステップサイズ）に対して決定される。
【００５０】
Ｂフレーム内で見つかるものとされるさらなるノイズ量を決定する１つの方法は、ＢフレームＤＣＴ係数の量子化されたＡＣ係数の出力密度関数（ｐｄｆ）を求めて、参照フレーム（例えば、動き補償モジュールで使用されるアンカフレーム等）に対して同様に得られたｐｄｆを減算することである。例示的実施形態では、ＤＣＴ内の６３個のＡＣ係数のそれぞれに対してｐｄｆが保持されている。ラプラシアン分布はＡＣ係数の実際のｐｄｆの良好な近似法であるため、例示的実施形態では、データを適合させるために好適なｐｄｆとしてこのようなラプラシアン分布が用いられる。しかしながら、本発明を実行するさいに他の分布関数を用いてもよいことは、当業者には理解されよう。さらに、以下に記載するラプラシアンｐｄｆにデータを適合させるために、いくつかの方法の任意の１つが用いられてもよい。
【００５１】
式１に示されているように、ｐｄｆ（すなわち、ｐｄｆ（ｘ））は、各量子化レベル（受信データから計算されたもの）の実際の確率と、ｐｄｆが求められるｐｄｆである場合の量子化レベルの確率との差を最小限にするαを計算することによって求められる。
【００５２】
【数１】

すなわち、式２に示されているように、αに対する最小化のさい、合計が量子化二値Ｂのすべてを超えるものである場合、ｐ（Ｂ_i）は、受信信号の量子化二値の相対周波数であり、Ｂ_ilowとＢ_ihighは、量子化二値の下限と上限である（すなわち、その値に量子化されるであろう最低値と最大値である）。
【００５３】
【数２】

オリジナルの（量子化されていない）ｐｄｆが予測される分布に従うものであると仮定すると、式３に示されているように、誤差のｐｄｆは、オリジナルと各量子化二値の再構築レベルとの間の差のｐｄｆを加えて計算される。
【００５４】
【数３】

ここで、ｒｅｃ（Ｂ_i）は、二値Ｂ_iの再構築レベルである。
【００５５】
次いで、error＿pdfは、参照フレームの（同様に求められた）error＿pdfと比較され、適切な量のノイズが低ノイズフレームに追加されて、ブリージングアーチファクトを低減させる。追加されたノイズは、同等（またはより小さな）差を有し、誤差ｐｄｆと同じｐｄｆを有することもある。
【００５６】
ステップ４１０では、ステップ４０８の特徴化されたＢフレームノイズが、ＩフレームＱ_Iと関連する量子化パラメータに依存して適切なレベルにスケーリングされる。すなわち、すでに決定されたｐｄｆは、Ｑ_B／Ｑ_Iの比率によりスケーリングされて、スケーリングされたｐｄｆを発生する。
【００５７】
次いで、ルーチン４００はステップ４１２に進み、スケーリングされた特徴化ノイズがＩフレームに投入される。本発明の一実施形態では、ステップ４１０で決定されたスケーリングされた量子化レベルの範囲内の乱数を投入することで、このようなノイズ投入を行う。このようにして、Ｉフレームと関連する有効量子化パラメータＱ_Iは、ＢフレームＱ_Bと関連する量子化パラメータのＱ_TH内の値を有する量子化パラメータまで低くする。
【００５８】
図４のルーチン４００が、ＩフレームとＰフレーム、ＰフレームとＢフレーム間の量子化レベル変動を同時または個別に処理するように適用されてもよいことに留意されたい。さらに、ルーチン４００は、個別の各ＧＯＰ上で動作するように示されているが、本願発明者等は、ルーチン４００が複数のＧＯＰで動作するように修正されてもよいとしている。例えば、圧縮映像ストリームＩＮのビットレートが一定である場合、エンコーダで形成される各ＧＯＰの平均ビットバジェットは、ほぼ同じものである。しかしながら、情報ストリームのビットレートが可変である場合、エンコーダにより形成される各ＧＯＰのビットバジェットは、多少とも帯域幅がエンコーダによる使用が利用可能となるときに変化する。可変ビットレートの場合、ＧＯＰ（Ｑ_GOP）の平均量子化パラメータが、１以上の前後のＧＯＰの平均量子化パラメータから、確実に１しきい値量を超える量変化しないように、さらなる変数が使用される。
【００５９】
図５は、本発明によるＧＯＰ等化ルーチン５００の流れ図を示す。さらに詳しく言えば、図５のＧＯＰ等化ルーチン５００は、図１に関して上述したように、ＧＯＰ内の予測フレームの連続する半ピクセル補間で生じる映像信号のブリージングアーチファクトを低減するためのものである。
【００６０】
ルーチン５００は、例えば、図２のビデオデコーダ２１０が圧縮映像情報ストリームＩＮの受信を開始したときに、ステップ５０２で始まる。次いで、ルーチン５００はステップ５０４に進み、ＧＯＰ構造を用いて鮮明度関数が決定される。すなわち、ＧＯＰ内のフレームタイプとＧＯＰ内のフレーム数に基づいて、伝播する画像鮮明度の劣化が求められる。例えば、すべてがＩフレームからなるＧＯＰには、半ピクセル補間による鮮明度の劣化がまったくない（予測が行われないため）。同様に、１枚のＩフレームの後に、複数のＰフレームとＢフレームが続くＧＯＰでは、半ピクセル補間によりある程度鮮明度の劣化が生じる。ステップ５０４で決定される鮮明度関数は、ＧＯＰ内のフレーム位置および／またはフレームタイプの関数としてこのような鮮明度劣化の量を求めるものである。次いで、ルーチン５００はステップ５０６に進む。
【００６１】
ステップ５０６では、等化フィルタパラメータが計算される。等化フィルタパラメータは、ＧＯＰ内の１枚以上のフレームと関連する低域および／または高域フィルタパラメータからなる。すなわち、鮮明度のベースラインレベルが選択される（例えば、ＧＯＰ等において、最も鮮明度がひどく劣化したフレームで規定される最低鮮明度レベル、すべてのフレームの平均鮮明度レベルで規定される中間鮮明度レベル、または特定のフレームタイプ等）。等化フィルタパラメータは、フレームおよび／またはフレームタイプの位置に基づいて、ＧＯＰ内の各フレームに対して決定されるため、ＧＯＰ内のフレーム間での鮮明度の相対差が、図１に関して前述したように、しきい値レベルよりも下がる。次いで、ルーチン５００はステップ５０８に進む。
【００６２】
ステップ５０８では、計算された等化フィルタパラメータを用いて、必要であれば、ＧＯＰ内の１以上のフレームを等化する。次いで、ルーチン５００はステップ５１０に進み、さらなるＧＯＰを処理する必要があるか否かの質問がなされる。ステップ５１０での質問の答えがＮＯであれば、ルーチン５００はステップ５１２に進み終了する。ステップ５１０での質問の答えがＹＥＳであれば、ルーチン５００はステップ５０４に進み、次のＧＯＰに関連する鮮明度関数が計算される。すなわち、ルーチン５００は次のＧＯＰのそれぞれに繰り返される。ＧＯＰ構造が固定されている場合、ステップ５０４で決定される鮮明度関数と、ステップ５０６で計算される等化フィルタパラメータは、次のＧＯＰのそれぞれに対して再度使用されてもよい。
【００６３】
本発明の一実施形態では、「トレーニングシーケンス」が利用されて、デコーダ自体により復号化された画像シーケンスに与えられる誤差を特徴化する。例えば、既知の要因により（例えば、受像機またはデコーダ内の動き補間フィルタにより）、復号化されたＧＯＰ内にゆがみが入れば、プリエンファシスフィルタがこの既知の要因を補償するように計算される。ゆがみを識別するために、スペクトル分析関数が利用される。すなわち、１以上の「一般的」な復号化された映像フレームからなるトレーニングシーケンスの実際のスペクトル特性が、「予測」されるスペクトル特性と比較される。次いで、引き続き復号化される映像フレームのスペクトル特性は、トレーニングシーケンスから得たフィルタに基づいて「補正」される。「予測」されるスペクトル特性は、第２のデコーダに対して決定されてもよいことに留意されたい。
【００６４】
スペクトル補正フィルタの伝達関数は、周波数の関数として、予測されるスペクトルと実際のスペクトルの比率として決定される。これは信号の望ましい周波数応答である。フィルタは、例えば、有限インパルス応答（ＦＩＲ）または無限インパルス応答（ＩＩＲ）フィルタ等として実行されてもよい。例えば、本発明の一実施形態では、決定された伝達関数をほぼ満足するＦＩＲフィルタの係数が計算され、逆にされて、所望の口数にウィンドウ生成される。その結果得られたＦＩＲフィルタは、各復号化されたフレームを処理するように使用されるため、復号化されたフレームのスペクトル特性は、前述の「予測」されたスペクトル特性に近付くことによって、復号化された映像出力信号を等化することができる。
【００６５】
図６は、本発明による劣化等化ルーチン６００の流れ図を示す。さらに詳しく言えば、図６の劣化等化ルーチン６００は、デコーダ自体にある不調和等により復号化された画像シーケンスに与えられるアーチファクトを低減させるためのものである。ルーチンは最初に、トレーニングシーケンスを用いてデコーダを特徴化する。トレーニングシーケンスは、「既知の良好な」デコーダを用いて前もって処理され、関連するスペクトル特性を有する出力画像シーケンスを発生する符号化された画像の「ゴールド符号」シーケンスからなる。このように、既知の良好な復号化されたゴールド符号の関連するスペクトル特性は、「予測スペクトル」と呼ばれる。
【００６６】
ルーチン６００は、ステップ６０２で始まり、ステップ６０４に進んで、トレーニングシーケンスが実行される。トレーニングシーケンスの実行のステップとして、符号化画像の既知の「ゴールド符号」シーケンスをデコーダ入力（例えば、スイッチまたはマルチプレックスユニット等を介して）に与えて、トレーニング情報ストリームを復号化させる。次いで、ルーチン６００はステップ６０６に進み、復号化したトレーニング情報ストリームをスペクトル分析して、トレーニングシーケンススペクトルを発生する。次いで、ルーチン６００はステップ６０８に進む。
【００６７】
ステップ６０８で、ステップ６０６で計算したトレーニングシーケンススペクトルは、予測スペクトル（すなわち、既知の良好なデコーダにより出力されたような前もって計算された「ゴールド符号」映像トレーニングシーケンスのスペクトル）と比較される。広義には、トレーニングシーケンススペクトルと予測スペクトルとの差は、主にデコーダの動きの差により発生するため、デコーダにより復号化された映像情報ストリームに導入されるスペクトルの不調和は、半ピクセル補間または他のデコーダとは関係ない誤差発生源により復号化された映像ストリーム内に導入されたスペクトルの不調和とは隔離されてもよい。次いで、ルーチン６００はステップ６１０に進む。
【００６８】
ステップ６１０では、復号する映像情報ストリームのＧＯＰ構造が既知のもの（すなわち、非トレーニング圧縮映像シーケンス）であるか否かの質問がなされる。ステップ６１０での質問の答えがＹＥＳであれば、ルーチン６００はステップ６１２に進み、トレーニングシーケンスＧＯＰと復号する圧縮映像情報ストリームからのスペクトル分析されたＧＯＰとの間のスペクトル差に基づいて、ＧＯＰ等化フィルタが計算される。すなわち、「ゴールド符号」ＧＯＰと受信したＧＯＰとの間のスペクトル差が比較され、等化フィルタを計算するために使用されることで、これらのＧＯＰ間のスペクトル差があるしきい値レベルを下回るレベルまで下げられる。次いで、ルーチン６００はステップ６１４に進み、計算されたＧＯＰ等化フィルタは受信したＧＯＰに適用される。
【００６９】
次いで、ルーチン６００はステップ６１６に進み、さらにＧＯＰを処理する必要があるか否かの質問がなされる。ステップ６１６での質問の答えがＹＥＳであれば、ルーチンはステップ６１４に進み、コンピュータフィルタは次のＧＯＰに適用される。任意に、ルーチンはステップ６１２に進み、処理すべき次のＧＯＰにスペクトル分析と比較関数を実行して、新しいＧＯＰの等化フィルタが計算される。ステップ６１６の質問の答えがＮＯであれば、ルーチン６００はステップ６１８に進み、終了する。
【００７０】
ステップ６１０の質問の答えがＮＯであれば、ルーチン６００はステップ６２０に進み、「ゴールド符号」トレーニングシーケンスと受信した圧縮映像情報ストリーム内のフレームタイプ間のスペクトル変動が処理される。すなわち、ゴールド符号トレーニングシーケンス内のＰフレームと受信した映像情報ストリーム内のＰフレーム間のスペクトル変動が比較される。同様に、ＩフレームとＢフレーム間のスペクトル変動が比較されてもよい。次いで、ルーチン６００はステップ６２２に進む。
【００７１】
ステップ６２２では、フレームスペクトル差に基づいた１以上のフレームタイプ等化フィルタが計算される。すなわち、例えば、ゴールド符号トレーニングシーケンスのＰフレームと受信情報ストリームのＰフレームとの間のスペクトル変動を使用して、受信情報ストリーム内のＰフレームに適用される場合、スペクトル変動をあるしきい値レベルを下回るレベルまで下げる等化フィルタを計算する。ある特定のものになされるフィルタ選択は、ＧＯＰ内の特定のフレームよりも前のＩフレームおよびＰフレームの数に関係する。例えば、予測誤差がＧＯＰ内の後のフレームに伝播するにつれて予測誤差の大きさが増大するため、ＧＯＰ内の後のフレームに利用されるフィルタは、これに対応させて大幅に基の信号を変化させるように選択される。次いで、ルーチン６００はステップ６２４に進む。
【００７２】
ステップ６２４では、ステップ６２２で計算されたフレームタイプのフィルタは、受信されたＧＯＰ内の各適切なフレームに適用される。次いで、ルーチン６００はステップ６２６に進み、さらなるフレームの処理が必要か否かの質問がなされる。ステップ６２６での質問の答えがＮＯであれば、ルーチンはステップ６３０に進み、終了する。ステップ６２６での質問の答えがＹＥＳであれば、ルーチンはステップ６２８に進み、処理用の次のステップが選択されて、ステップ６２４に進み、ステップ６２２で計算された適切なフレームタイプフィルタに応じて選択されたフレームがフィルタリングされる。すなわち、選択される次のフレーム（すなわち、Ｉフレーム、ＰフレームまたはＢフレーム）は、ステップ６２２で予め計算されたＩフレームスペクトル等化フィルタ、Ｐフレームスペクトル等化フィルタまたはＢフレームスペクトル等化フィルタに応じてフィルタリングされる。
【００７３】
本発明の上述した実施形態は、処理する全ＧＯＰを十分に格納できるメモリリソースを有するデコーダに関するものである。しかしながら、メモリ抑制が全ＧＯＰ構造の格納と処理を妨げる場合、本願発明者等は、上述したブリージングアーチファクトを低減する方法をいくつか考案した。
【００７４】
メモリが抑制されたデコーダに関する本発明による第１の方法では、ＧＯＰ内の１枚のフレームが「忠実度参照」フレームとして選択される。ＧＯＰ内の他のフレームは、必要に応じて、劣化または強化されて、忠実度参照フレームのしきい値レベル内にある忠実度のレベルに合わせる。この方法を図７に関して以下にさらに詳細に記載する。
【００７５】
メモリが抑制されたデコーダに関する本発明による第２の方法では、予め復号されたＧＯＰの特性を用いて、現在復号されているＧＯＰを適応させる。すなわち、第１のＧＯＰの特性は、ＧＯＰが処理されるときに決定され格納される。例えば、ＧＯＰ構造自体、ＧＯＰで利用される量子化レベルおよびこのような他の忠実度に関連するパラメータが格納される。第１のＧＯＰに関して決定され格納されたパラメータを利用して、第１のＧＯＰに続く第２のＧＯＰが処理される。これらのパラメータは、一般に、例えば、共通のシーンを表す画像を含むＧＯＰ間ではあまり変化しないため、仮定は有用である。さらに、シーンが変化する場合でも、第１のシーンの最後のＧＯＰと第２のシーンの最初のＧＯＰとの間に任意の忠実度の差があっても、実際のシーンの変化では認知できないであろう（すなわち、シーンの変化により生じる視覚的断続性が大きいと、ＧＯＰパラメータの予測が不正確であることから生じるブリージングアーチファクトを消す傾向がある）。メモリが抑制されたデコーダに関する本発明によるこれらの方法は、ＧＯＰを復号する前に受信する全ＧＯＰを待つ必要がないという利点を有する。
【００７６】
図７は、メモリが抑制されたデコーダの状態でブリージングアーチファクトを低減するのに適した本発明による劣化等化ルーチン７００の流れ図を示す。ルーチン７００は、例えば、図２のビデオデコーダ２１０が圧縮映像情報ストリームＩＮの受信を開始したときに、ステップ７０２で始まる。次いで、ルーチン７００はステップ７０４に進み、ＧＯＰの一部がメモリに格納される。さらに詳しく言えば、少なくとも１枚の所定の参照フレーム（例えば、最初のＩフレーム後の第１のアンカフレーム）を含むＧＯＰの一部がメモリに格納される。この替わりとして、所定の参照フレームのみがメモリに格納される。次いで、ルーチン７００はステップ７０６に進む。
【００７７】
ステップ７０６では、格納される参照フレームは、例えば、量子化ステップサイズ、ＧＯＰ内の位置、フレームタイプおよびその他のパラメータを示すことによって前述した方法で特徴化される。参照フレームを特徴化することによって、適切な忠実度のベースラインレベルが得られて、ＧＯＰ内の他のフレームの強化および／または劣化を達成する。すなわち、選択した参照フレームよりも忠実度がかなり大きいＩフレームの場合、Ｉフレームと選択した参照フレーム間の忠実度の差があるしきい値レベルよりも下のレベルまで下がるように、少し忠実度を劣化させるように処理される。同様に、選択された参照フレームの忠実度レベルが、例えば、ＧＯＰ内の１以上のＢフレームよりもかなり高ければ、Ｂフレームは、忠実度の増大が明らかになるようにフィルタリングされる。例えば、Ｂフレームは、デコーダ内の半ピクセル補間により誘導される低域パスフィルタリングのオフセットを促進するように高周波で強化されてもよい。次いで、ルーチン７００はステップ７０８に進む。
【００７８】
ステップ７０８では、参照フレームの特徴化されたパラメータに従って、ＧＯＰ内のフレームが処理される。さらに詳しく言えば、ステップ７０８では、参照フレームと共に格納された任意のフレームが、ステップ７０６で決定された参照フレームの特徴に従って、選択的に強化または劣化される。次いで、ルーチン７００はステップ７１０に進み、ＧＯＰ内にさらに処理する必要があるフレームがあるか否かの質問がなされる。
【００７９】
ステップ７１０での質問の答えがＹＥＳであれば、ルーチンはステップ７１６に進み、ステップ７０６で決定された参照フレームの特徴に従って、ＧＯＰ内の次のフレームが処理される。次いで、ルーチン７００はステップ７１０に進む。
【００８０】
ステップ７１０での質問の答えがＮＯであれば、ルーチンはステップ７１２に進み、さらにＧＯＰを処理する必要があるか否かの質問がなされる。ステップ７１２での質問の答えがＮＯであれば、ルーチン７００はステップ７１４に進み、終了する。ステップ７１２での質問の答えがＹＥＳであれば、ルーチン７００はステップ７０４に進み、次のＧＯＰに対してルーチン７００が繰り返される。ＧＯＰ毎の特徴が比較的ゆっくりと変化する（シーンのカット等の場合を除く）ため、前のＧＯＰからの特徴化された参照フレームを用いて、次のＧＯＰが任意に処理されてもよい。
【００８１】
本発明の別の実施形態では、前のＧＯＰの平均的な統計上の測定に従って、各ＧＯＰが処理される。すなわち、各ＧＯＰは、ＧＯＰが処理されるときに上述した１以上の技術を用いて特徴化される。この特徴化の結果は、次のＧＯＰを処理するために用いられる。このようにして、必要なメモリ量は大幅に減る。さらに、潜在的なＧＯＰ間の忠実度誤差が１つのＧＯＰ内で修正されるため、あるシーンの最後のＧＯＰと次のシーンの最初のＧＯＰとの間にブリージングアーチファクトがあるとしても、ほとんど存在しない状態となるであろう。
【００８２】
本発明の別の実施形態では、ブロック毎の単位で復号された映像ストリームに誤差修正および／または等化が行われる。ブロックレベルで処理を行うと、等化プロセスの制御が非常に強化されるという利点がある。例えば、高域パスフィルタリングは、半ピクセル補間を使用したブロックに適切に適用されるが、整数の動きベクトルを有するブロックには適用されない。整数の動きベクトルを有するブロックは、一般に、前述した半画ピクセル誤差成分を含まないため、等化高域フィルタリングが保証する前述した低域パスフィルタリングでは劣化されない。さらに、ブロック毎に処理を行うと、等化処理の制御能力が高まるため、例えば、ブロックに対して行う等化または修正が量子化ステップを超えないことにより、結果的に得られる画像に過度のゆがみが導入されない。
【００８３】
最後に、デコーダにより復号されるオリジナル参照フレームの「コピー」が格納されて参照として使用されて、１量子化ステップ等、所望の最大レベルにドリフトするのを制限してもよいことに留意されたい。
【００８４】
従って、本発明の一実施形態では、「強化」された参照フレーム（すなわち、最大忠実度レベルを有するブロックからなる参照フレーム）が、修正情報を「オリジナル」または「名目上」の参照フレームに与えることで形成される。次いで、強化された参照フレームは、オリジナル参照フレームと共に格納される。ブリージングアーチファクトが生じないように修正がなされる度に、その修正を調べて、修正自体が新しいアーチファクトを導入しないようにすることが望ましい。これは、強化参照フレームとオリジナル参照フレーム間の差を、この差のＤＣＴが計算されたときの１量子化ステップよりも小さいものに制限して行われてもよい。従って、本発明の一実施形態では、強化参照フレーム内のブロック（すなわち、「修正」されたブロック）とオリジナルフレーム内の対応するブロック間の差のＤＣＴが計算される。この差がしきい値レベル、例えば、１量子化ステップを超えるならば、オリジナルブロックが使用されるか、もしくは、任意に、修正されたマクロブロックが再処理される。さらに、強化されたブロックに行う修正を制御するこのプロセスは、非参照フレームに対して使用される。
【００８５】
図８は、本発明によるブロックレベルの修正制御ルーチンの流れ図を示す。ルーチン８００は、ステップ８０２で始まり、ステップ８０４に進み、ブロックまたはマクロブロックが修正される。次いで、ルーチン８００はステップ８０６に進み、修正されたマクロブロックまたはブロックは、対応する未修正のマクロブロックと比較されて、異なる量を発生する。次いで、ルーチン８００はステップ８０８に進み、修正および未修正のマクロブロックまたはブロック間の差に、離散コサイン変換（ＤＣＴ）が実行される。次いで、ルーチン８００はステップ８１０に進み、ステップ８０８で実行されたＤＣＴの量子化ステップサイズが１よりも大きいか否かの質問がなされる。ステップ８１０の質問の答えがＮＯであれば、ルーチンはステップ８１２に進み、終了する。ステップ８１０の質問がＹＥＳであれば、ルーチンはステップ８１４に進み、ブロックまたはマクロブロックが再処理されるべきか否かの質問がなされる。
【００８６】
ステップ８１４での質問の答えがＹＥＳであれば、ルーチン８００はステップ８０４に進み、ブロックまたはマクロブロックは再処理または再修正される。ステップ８０４での再処理または再修正は、ＤＣＴ量子化ステップサイズのさらなる除法とステップ８０８で形成されるＤＣＴ情報を利用する。
【００８７】
ステップ８１４での質問の答えがＮＯであれば、ルーチン８００はステップ８１６に進み、修正されたマクロブロックの代わりに未修正のブロックまたはマクロブロックが使用される。次いで、ルーチン８００はステップ８１２に進み、終了する。
【００８８】
本発明の別のブロックベースの実施形態は、図３または図４に関して上述したものに類似しているが、個々のブロックに対して相対劣化レベルが決定され、個々のブロックが、量子化および／または半ピクセル予測劣化を行って処理される点が異なる。
【００８９】
本発明の別のブロックベースの実施形態は、図７に関して上述したものに類似しているが、例えば、ある特定のフレームタイプまたはイントラＧＯＰフレーム位置でのブロックの平均忠実度レベルに合うようにブロックが処理される点が異なる。
【００９０】
本発明の一実施形態では、修正フィルタは、エンコーダで計算され、符号化された映像ストリームと共にデコーダに伝送される。修正フィルタは、補助ストリーム、強化層ストリームからなるか、またはユーザーデータフィールド内に含まれてもよい。デコーダは、修正フィルタデータを受信、利用して、前述したものと同様の方法でピクチャをフィルタリングして強化する。しかしながら、この実施形態では、エンコーダが修正ファクタを計算する役割があるため、修正ファクタは非常に正確なものとなる。エンコーダが与える修正ファクタを利用しないデコーダの場合には、修正量が比較的少なく（しかしながら、ブリージングアーチファクトを減衰させるには十分な量）、それを利用しないデコーダでも受信した圧縮映像ストリームを復号できる。
【００９１】
本発明は、コンピュータ実行処理およびこれらの処理を行う装置の形態で実施可能である。また、本発明は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードドライバ、または他の任意のコンピュータ読取り可能な記憶媒体等、有形の媒体で具体化されるコンピュータプログラムの形態で実施可能であり、この場合、コンピュータプログラムコードがコンピュータにロードされて実行されると、コンピュータは本発明を実施する装置となる。また、本発明は、例えば、記憶媒体内に格納されるか、コンピュータへのロードおよび／またはコンピュータにより実行されるか、または電気ワイヤやケーブル、光ファイバや電磁放射等の何らかの伝送媒体で伝送されて、コンピュータプログラムコードの形態で実施可能であり、この場合、コンピュータプログラムコードがコンピュータにロードされて実行されると、コンピュータは本発明を実施する装置となる。汎用マイクロプロセッサで実行される場合、コンピュータプログラムコードのセグメントは、マイクロプロセッサを構成して、特定の論理回路を形成する。
【００９２】
本発明の教示を組み入れたさまざまな実施形態を本願明細書に詳細に示し記載してきたが、当業者であれば、これらの教示を組み合わせた他の多くの変更実施形態を容易に考案可能である。
【図面の簡単な説明】
【図１Ａ】グループオブピクチャ（ＧＯＰ）内の映像忠実度と関連する１以上のパラメータの相対的なフレーム毎の劣化を示すグラフである。
【図１Ｂ】グループオブピクチャ（ＧＯＰ）内の映像忠実度と関連する１以上のパラメータの相対的なフレーム毎の劣化を示すグラフである。
【図１Ｃ】グループオブピクチャ（ＧＯＰ）内の映像忠実度と関連する１以上のパラメータの相対的なフレーム毎の劣化を示すグラフである。
【図２】本発明によるＭＰＥＧ的デコーダの実施例を示す図である。
【図３】映像信号のブリージングアーチファクトを低減する本発明による劣化等化ルーチンを示す図である。
【図４】本発明による劣化等化ルーチン４００を示す図である。
【図５】本発明によるＧＯＰ等化ルーチンを示す流れ図である。
【図６】本発明による劣化等化ルーチンを示す流れ図である。
【図７】デコーダのメモリが制限された状況でブリージングアーチファクトを低減することに適した本発明による劣化等化ルーチンを示す流れ図である。
【図８】本発明によるブロックレベル訂正制御ルーチンを示す流れ図である。

Claims

グループオブピクチャ（ＧＯＰ）情報構造に従って配列された圧縮画像シーケンスの処理システムにおいて、ＧＯＰ間の視覚的アーチファクトを低減させる方法であって、
前記ＧＯＰ情報構造内の第１のタイプの情報フレームに対して、それぞれの忠実度劣化レベルを決定するステップ（３０４）と、
前記ＧＯＰ情報構造内の第２のタイプの情報フレームに対して、それぞれの忠実度劣化レベルを決定するステップ（３０４）と、
前記決定後の忠実度劣化レベルを用いて、劣化等化パラメータを計算するステップ（３０６）と、
前記計算後の劣化等化パラメータを用いて、前記第１および第２のタイプの情報フレームが所定の範囲内の忠実度劣化レベルを有するように、前記第１および第２のタイプの情報フレームの１つを処理するステップ（３０８）とを含む方法。
前記第１のタイプの情報フレームが、イントラ符号化情報フレーム（Ｉフレーム）と前予測情報フレーム（Ｐフレーム）のうちの１つからなり、前記第２のタイプの情報フレームが、予測符号化情報フレーム（ＰフレームまたはＢフレーム）からなる請求項１記載の方法。
前記忠実度劣化レベルは、ある量子化レベルに対して決定される請求項１記載の方法。
前記第１のタイプの情報フレームが、前記第２のタイプの除法フレームよりも高い忠実度レベルを有し、前記処理ステップが、
前記第２のタイプの情報フレームと関連する量子化ノイズパラメータＱ₈を特徴化するステップ（４０８）と、
前記劣化等化パラメータに従って、前記特徴化された量子化ノイズパラメータをスケーリングするステップ（４１０）と、
前記第１の情報フレーム内に、前記スケーリングされた量子化ノイズパラメータに近い量子化ノイズを投入するステップ（４１２）とを含む請求項１記載の方法。
前記ＧＯＰ情報構造内の第３のタイプの情報フレームに対して、それぞれの忠実度劣化レベルを決定するステップと、
前記計算後の劣化等化パラメータを用いて、前記第１、第２および第３のタイプの情報フレームが所定の範囲内の忠実度劣化レベルを有するように、前記第３のタイプの情報フレームを処理するステップとをさらに含む請求項１記載の方法。
グループオブピクチャ（ＧＯＰ）情報構造に従って配列された圧縮映像情報フレームの復号システムにおいて、視覚的アーチファクトを低減させる方法であって、
ＧＯＰ内の複数の前記圧縮映像情報の相対忠実度劣化レベルを決定するステップ（３０４）と、
前記決定後の相対忠実度劣化レベルを用いて、忠実度劣化等化パラメータを計算するステップ（３０６）と、
前記ＧＯＰ内の１以上の圧縮映像情報フレームに、前記相対忠実度劣化レベルがしきい値レベルに下がるように、前記計算後の忠実度劣化等化パラメータを適用するステップ（３０８）とを含む方法。
前記相対忠実度劣化レベルは、量子化レベル、圧縮映像情報のフレームタイプ、前記ＧＯＰ内の前記圧縮映像情報フレームの相対位置、前記ＧＯＰ内の前記圧縮映像情報フレームのスペクトル情報分布、および前記ＧＯＰ内の前記圧縮映像情報フレームの鮮明度レベルの１つに対して決定される請求項６記載の方法。
スペクトル情報分布を予測スペクトル分布と比較するステップ（６０８）と、
スペクトル分布等化パラメータを計算するステップ（６２２）と、
前記スペクトル分布等化パラメータを、前記スペクトル情報分布と前記予測スペクトル分布がしきい値レベル内になるように、前記ＧＯＰに適用するステップ（６２４）とをさらに含む請求項６記載の方法。
グループオブピクチャ（ＧＯＰ）情報構造に従って配列された圧縮映像情報フレームシーケンスの復号システムにおいて、
制御信号（Ｃ）に応答して映像情報フレーム（ＶＩ）を処理するビデオプロセッサ（２２０）と、
前記映像情報フレームの忠実度の指標に応答して前記制御信号を発生するコントローラ（２３０）とを含む装置であって、
前記コントローラが、ＧＯＰ内の複数の前記圧縮映像情報フレームの相対忠実度劣化レベルを決定し（３０４）、前記決定後の相対忠実度劣化レベルを用いて、忠実度劣化等化パラメータを計算し（３０６）、
前記ビデオプロセッサが、前記ＧＯＰ内の１以上の映像情報フレームに、前記相対忠実度劣化レベルがあるしきい値レベルに下がるように、前記計算後の忠実度劣化等化パラメータを適用する（３０８）装置。
前記ビデオプロセッサが、量子化ノイズを忠実度が比較的高い前記映像情報フレームに投入することで、忠実度が比較的高い映像情報フレームの忠実度レベルを下げる請求項９記載の装置。