JP4393875B2

JP4393875B2 - 複雑さの軽減された復号化に適したシングルレイヤビデオ符号化されたビットストリームを供給するシステム及び方法

Info

Publication number: JP4393875B2
Application number: JP2003587114A
Authority: JP
Inventors: ツンツォン; フンホン
Original assignee: アイピージーエレクトロニクス５０３リミテッド
Priority date: 2002-04-22
Filing date: 2003-04-15
Publication date: 2010-01-06
Anticipated expiration: 2023-04-15
Also published as: WO2003090469A2; JP2005523658A; EP1500279A2; CN1647540A; AU2003216693A8; KR20040106364A; US6985635B2; WO2003090469A3; US20030198293A1; AU2003216693A1

Description

本発明は、デジタルビデオ情報の圧縮に関し、特に、復号化中に効率を得るために異なるコーディング方策を提供する方法及び装置に関する。

シングルレイヤビデオコーディングは、例えばデジタルビデオ記録及びデジタルテレビジョンのようなさまざまなアプリケーションにおいて最も広く使われている。ビデオは、特定のビットレートで符号化され、復号器は、ビットストリームを復号化し、符号化された完全品質（full quality）であらゆるピクチャを出力する。計算負荷を低減するために、シングルレイヤビットストリームの、複雑さの軽減された復号化が用いられている。しかしながら、ピクチャが部分的な品質で復号化されるとき、復号器側において動き補償のために使用される参照ピクチャは、多くの場合、符号化中に使用されるものと合致しない。その結果、参照ピクチャに現れるエラーは、他のピクチャに伝搬する。これは、予測ドリフト又はエラー伝搬としても知られている。

レイヤードビデオコーディング又はビットレートスケーラブル方法は、シングルレイヤビデオコーディングに取って代わるものである。ビデオは、ベースレイヤを生成するために、まず低ビットレートで符号化される。元のビデオとベースレイヤにより復元されたビデオとの間の差が、１つ又は複数の拡張レイヤを生成するために符号化される。復号器側において、ベースレイヤは常に復号化されるが、拡張レイヤは、利用可能な処理容量に依存して完全に又は部分的に復号化される。ベースレイヤのみが復号化される場合、低品質の参照ピクチャが符号化のために使用されるので予測ドリフトがない。完全（full）な拡張レイヤ及びベースレイヤの双方が復号化される場合、それぞれのレイヤは、復号化の目的で、符号化中の対応する参照ピクチャを使用し、それゆえ予測ドリフトがない。しかしながら、拡張レイヤが部分的にのみ復号化され、拡張レイヤピクチャ間に動き予測がある場合、予測ドリフトが、拡張レイヤに生じる。更に、拡張レイヤにおいて使用される参照ピクチャは効率的な動き予測に向かないので、このタイプのコーディングは、本質的に圧縮中の効率が低い。更に、マルチレイヤードコーディングにおける余分なオーバヘッドは、同じ品質を生成するためにシングルレイヤビットストリームを復号化することよりも複雑である。従って、実際のインプリメンテーションを容易にするのが相対的に簡単である最適な復号化性能を得る必要がある。

本発明は、可変複雑さ復号化に適した符号化されたデジタルビデオ信号を得るために、シングルレイヤ符号化アルゴリズムを変更することによって、ＭＰＥＧデジタルビデオ復号器システムの復号化効率を改善する方法及びシステムに関する。

本発明の１つの見地によれば、少なくとも１つのマクロブロックを有する入力ビデオ画像のストリームを符号化する方法が提供される。方法は、入力ビデオ画像のそれぞれのマクロブロックについて動きベクトルを生成するステップと、動きベクトルに基づいて入力ビデオ画像の予測画像信号を生成するステップと、予測画像信号をＤＣＴ係数の２次元アレイに変換するステップと、予め決められた基準に従って、ＤＣＴ係数のアレイを新しいＤＣＴ係数の組に変更するステップと、新しいＤＣＴ係数を量子化されたＤＣＴ値に量子化するステップと、新しいＤＣＴ係数のそれぞれの行を読んでシリアルチェーンにするためにジグザク走査を実施するステップと、符号化されたマクロブロックを生成するために、ジグザク走査からのシリアルチェーン及び動きベクトルをコード化するステップと、を含む。ＤＣＴ係数のアレイを変更するステップは、ＤＣＴ係数のエネルギーレベルが予め決められたエネルギーレベルに達するまで、最後の列のＤＣＴ係数及び最後の行のＤＣＴ係数を択一的に捨てるステップと、予め決められた値により捨てられた列又は行を割り当てるステップと、を含む。ＤＣＴ係数のアレイを変更するステップは、最も低い２ｘ２ＤＣＴ係数を除き、ＤＣＴ係数の総エネルギーレベルを計算するステップと、ＤＣＴ係数の総エネルギーレベルが予め決められたエネルギーレベルに達するまで、ＤＣＴ係数の最後の列及び最後の行を捨てるステップと、捨てられた列及び行を予め決められた値に割り当てるステップと、を含む。方法は更に、逆量子化された、復号化されたデータを生成するために、量子化されたＤＣＴ値を逆量子化するステップと、参照データを生成するために、逆量子化された、復号化されたデータを周波数ドメインから空間ドメインに変換するステップと、動き補償ピクチャを生成するために、参照データに関して動き補償を実施するステップと、を含む。実施例において、予測画像信号をＤＣＴ係数のアレイに変換するステップの前に、入力ビデオ画像の予測（Ｐ）ピクチャに関してフルペル（full-pel、完全画素）動き補償が実施される。

本発明の別の見地によると、少なくとも１つのマクロブロックを有する入力ビデオ画像を符号化する方法は、（ａ）入力ビデオ画像のそれぞれのマクロブロックについて、少なくとも１つの動きベクトル及び少なくとも１つの動き補償予測値を生成するステップと、（ｂ）予測値をＤＣＴ係数の組に変換するステップと、（ｃ）予め決められた基準に従って、ＤＣＴ係数の組を新しいＤＣＴ係数の組に変更するステップと、（ｄ）ＤＣＴ係数の組を量子化するステップと、（ｅ）符号化されたマクロブロックを生成するために、量子化された係数の組及び動きベクトルをコード化するステップと、を含む。方法は更に、符号化されたマクロブロックを復号化プロセスに送るステップと、入力ビデオ画像からピクチャのタイプを決定するステップと、を含み、予測ピクチャが入力ビデオ画像から検出される場合、予測値をＤＣＴ係数の組に変換するステップ（ｂ）を実施する前に、入力ビデオ画像に関してフルペル動き補償を実施することを含む。予測ピクチャが入力ビデオ画像から検出される場合、動きベクトルは、完全（full）な動きベクトルに変換される。ＤＣＴ係数のアレイは、最も低い２ｘ２ＤＣＴ係数を除いてＤＣＴ係数の総エネルギーレベルを計算し、ＤＣＴ係数の総エネルギーレベルが予め決められたエネルギーレベルに達するまで、ＤＣＴ係数の最後の列及び最後の行を択一的に捨て、予め決められた値により捨てられた列及び行を割り当てることによって変更される。方法は更に、逆量子化された、復号化されたデータを生成するために、量子化されたＤＣＴ値を逆量子化するステップと、参照データを生成するために、逆量子化された、復号化されたデータを周波数ドメインから空間ドメインに変換するステップと、動き補償ピクチャを生成するために、参照データに関して動き補償を実施するステップと、を含む。

本発明の別の見地によれば、入力ビデオ画像を符号化する符号化システムは、入力ビデオ画像を受け取り、少なくとも１つの動きベクトル及び少なくとも一つの予測エラー信号を生成するように構成される動き推定予測モジュールと、動き推定モジュールの出力部に結合され、予測エラー信号をＤＣＴ係数の２次元アレイに変換する離散余弦変換器（ＤＣＴ）モジュールであって、ＤＣＴ係数が、入力ビデオ画像からのピクチャタイプの分類によって変更される、離散余弦変換器（ＤＣＴ）モジュールと、ＤＣＴモジュールに結合され、量子化された係数を生成するために変更されたＤＣＴ係数を量子化する量子化モジュールと、量子化モジュールに結合され、量子化された係数をシリアル表現に変換するように構成されるジグザグ走査モジュールと、符号化されたマクロブロックを生成するために、量子化された係数の組及び動きベクトルをコード化するコード化モジュールと、を有する。システムは更に、量子化モジュールから受け取られる量子化された係数を受け取り、逆にするように結合される逆量子化モジュールと、逆量子化モジュールの出力部に結合され、逆量子化された係数を周波数ドメインから空間ドメインに変換する逆離散余弦変換器（ＩＤＣＴ）と、動き補償されたピクチャを形成するために、ＩＤＣＴから出力信号を受け取る参照フレームバッファと、を有する。

更に別の見地は、本発明が、特定のアプリケーションにとって望まれるハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせにおいて実現されうることである。

更に、本発明は、簡単で、信頼性が高く、安価なインプリメンテーションにおいて実現されることができる。

当業者には、これら及び他の利益が添付の図面とともに以下の詳細な説明を読むことにより明らかになるであろう。

本発明の方法及び装置のより完全な理解は、添付の図面とともに以下の詳細な説明を参照することによって得ることができる。

以下の説明において、本発明の完全な理解を与えるために、限定する目的ではなく説明の目的で、特定のアーキテクチャ、インタフェース、技法、その他のような具体的な詳細が示されている。しかしながら、当業者には、本発明が、これらの具体的な詳細から逸れる他の実施例において実践されてもよいことが明らかであろう。説明を簡潔にし且つ明瞭にするために、よく知られた装置、回路及び方法の詳細な説明は、不必要な詳細により本発明の説明を分かりにくくしないように省かれている。

本発明の理解を容易にするために、以下、ＭＰＥＧ標準に従ってビデオデータを圧縮し復号化する通常の方法を簡潔に説明する。

ビデオ圧縮コーデックの高いコストを低減し、異なる製造業者間の装置のインターオペラビリティ（相互運用性）を提供する方法を実現するために、圧縮標準が、ビデオの符号化及び復号化のためにMoving Pictures Expert Group（ＭＰＥＧ）によって作成されている。ＭＰＥＧ標準は、International Standard ISO/IEC 11172-1, "Information Technology--Coding of moving pictures and associated audio for digital storage media at up to about 1.5 Mbit/s", Parts 1, 2 and 3, First edition 1993-08-01に規定されており、その内容のすべてがここに盛り込まれる。

ＭＰＥＧ標準の下で、イントラフレーム（Ｉフレーム）、順方向予測フレーム（Ｐフレーム）及び双方向予測フレーム（Ｂフレーム）の３種類のビデオ情報のフレームがある。Ｉフレームは、周期的にコード化され、すなわちフレームのそれぞれのグループごとに別個にコード化されるフレームである。予測は、ビデオフレームと、特定の数のフレーム先であり次の参照フレームの前に置かれるべきＰフレームとの合成からなる。Ｂフレームは、２つの参照フレームの間で、又は未来の参照フレームのマクロブロックにより過去の参照フレームのマクロブロックを補間（平均）することによって、予測される。動きベクトルもまた符号化され、これは、現在フレーム内のマクロブロックに対する参照フレーム内のマクロブロックの相対位置を特定する。現在フレームは、以前のフレーム及び後続のフレームに基づいて符号化されることができる。このように、あるフレームは、ＭＰＥＧ符号化規則に基づいて符号化される必要があり、当該フレームに関連する他のフレームは、常に他のフレームから独立してコード化されるＩフレームを除いて、当該フレームからの差に基づいて符号化される。

動き補償に基づくビデオコーディングにおいて、動きベクトルは、参照フレームの実際のピクセル値に関して現在フレームのピクセルの値が特定される整数値（すなわちフルペルコーディング）、又は参照フレームの既存のピクセルから補間される「仮想」ピクセルに関して現在フレームのピクセルの値が特定される半整数値（すなわちハーフペル（半画素）コーディング）、４分の１整数値（すなわち４分の１ペル（画素）コーディング）、及びフラクショナル（以下、分数と呼ぶ）値（すなわち分数ペル（画素）コーディング）をもつことができる。ハーフペル動き補償、４分の１ペル動き補償及び分数ペル動き補償は、復号器がハーフ、４分の１、分数ペルのグリッドをそれぞれ使用して動きベクトルによって参照される以前のマクロブロックからマクロブロックを補間しなければならないので、フルペル動き補償より計算が大量である。

フレームは、特定のコサインに基づく関数の振幅として係数を符号化する離散余弦変換（ＤＣＴ）コーディングスキームを使用してコード化される。ＤＣＴ係数は、量子化され、可変又はランレングス符号化を使用して更にコード化される。圧縮されたコード化されたフレームを受け取ると、復号器は、過去の参照フレームの対応するマクロブロックに適用される動きベクトルを用いて動き補償を実施することによって、現在のＰフレームのマクロブロックを復号化する。復号器は更に、それぞれの過去及び未来の参照フレームに適用される動きベクトルを用いて動き補償を実施することによって、Ｂフレームのマクロブロックを復号化する。あるフレームのピクセルのマクロブロックは、以前の又は後続のフレームのピクセルのマクロブロックを並進させることによって得られうる。並進の量は、動きベクトルと呼ばれる。Ｉフレームは、いかなる過去又は未来のフレームも参照せずに単一の画像として符号化されるので、Ｉフレームを復号化する場合に動き処理は必要でない。

上述したように、特に分数動きベクトルが使用される場合、動き補償は、多くの一般的なビデオ伸張（デコンプレッション）方法において最も計算量の多い演算のうちの１つである。このように、上述の伸張負担の計算の要求についていくことができないビデオシステムは、しばしばフレームをまるごと落とす。これは、ビデオ再生中にピクチャの瞬間的なフリーズとして観測できることがあり、そののちピクチャの突然の不連続又はジャーキネス（ガクガクした動き）が続く。復号化エンドの伸張方法と関連する処理要求を低減するために、さまざまな復号化複雑さを軽減する方法が開発されてきた。本発明は、結果的に得られるビデオ画像の品質を維持しつつ復号化複雑さが軽減されることができるような、圧縮されたビデオビットストリームを構成する新しい方法を提供する。

図１は、ビデオ信号を符号化するための本発明の一実施例による符号器１０の簡略化されたブロック図を示す。符号器１０は、動き推定及び予測モジュール１２、ＤＣＴモジュール１４、量子化モジュール１６、ジグザグ走査モジュール１８、ランレングスコーディングモジュール２０、逆量子化モジュール２２、逆ＤＣＴモジュール２４及び参照フレームバッファモジュール２６を有する。本発明の好ましい実施例において、符号器１０は、パーソナルコンピュータ、ワークステーション、パーソナルディジタルアシスタント（ＰＤＡ）、ハンドヘルドコンピュータ及び／又は例えばマイクロプロセッサ、デジタル信号プロセッサ、マイクロコントローラ、マイクロコンピュータ及び／又はプログラミング命令に基づいてデジタル情報を操る任意の他の装置のような集積回路、の中央処理装置において実現されることができる。参照フレームバッファ２６は、ハードディスクメモリ、ランダムアクセスメモリ、リードオンリメモリ、外部メモリ及び／又はデジタル情報を記憶する他のいかなる装置であってもよい。動き補償及び予測ジュール１２、逆量子化モジュール２２及び逆ＤＣＴモジュール２４を有するモジュールの組は、「組み込み型復号器」として一般に知られていることに留意されたい。このタイプの復号化モジュールは、当業者に良く知られている。それゆえ、その説明は、冗長を避けるために省かれている。

符号器１０によって受け取られる入力ビデオ信号（Ｖ）は、カムコーダー、ＤＶＤプレーヤ、ＶＣＲ、テレビジョンチューナ及び／又はデジタル情報を受け取る他のいかなる装置からの信号であってもよい。このビデオ情報ストリームは、アナログ信号からデジタル信号に変換され、符号器１０に適用される。入力ビデオ信号は更に、１枚の画像（フレーム）に対応するそれぞれのピクチャが複数のスライスに分けられるように複数のレイヤに分けられる。それぞれのスライスは、左から右及び上から下のラインに配置される複数のマクロブロックからなる。マクロブロックの各々は、６つの成分からなり、すなわち１６ｘ１６ピクセルのマクロブロックを構成する４つの８ｘ８ピクセルブロックの輝度（ブライトネス）を表わすＹ１乃至Ｙ４の４つの輝度成分と、同じマクロブロックについて８ｘ８ピクセルブロックの差成分Ｃｂ及びＣｒを構成する２つのカラー（Ｕ，Ｖ）と、からなる。ピクチャのブロック単位への分割は、２つの連続するピクチャ間の変化を平滑化する能力を高める。

図１に示すように、動き推定及び予測モジュール１２は、動きベクトルを推定するために入力ビデオ信号（Ｖ）を受け取り、現在ピクチャブロックの座標から参照フレームの座標へのオフセットを提供するように構成される。動き情報は、ビデオシーケンスの連続するフレームの間に存在する高い冗長性を低減するので、動きベクトルは、以前の参照フレームから現在フレームを復元するためにのちに使用されることができる。更に、現在フレームの推定は、以前に復号化されたフレーム及び動きベクトルを使用して得られることが可能である。動き補償は、予測エラーを形成するために使用される以前に復号化されたサンプル値を含む過去及び／又は未来の参照フレームに対するオフセットを提供するために、動きベクトルを使用する予測を含む。

マクロブロックの８ｘ８ピクセルブロックの各々は、６４の周波数帯の各々についてＤＣＴ係数の８ｘ８ブロックの組を生成するために、離散余弦変換（ＤＣＴ）を施される。それぞれの係数が圧縮効率の損失なく独立して処理されることができる点に留意すべきである。結果として得られるＤＣＴ係数の８ｘ８ブロックは、量子化モジュール１６によって受け取られる。本発明の好ましい実施例において、それぞれのマクロブロックについて符号化するための情報量は更に、量子化の前に、予め決められた基準（図２及び図３を参照して後述する）に従っていくつかの高周波ＤＣＴ係数を処理することによって調整される。８ｘ８ピクセルブロックのＤＣＴ係数は、対応するコーディングパラメータ、すなわち量子化重みによって分けられる。所与の８ｘ８ピクセルブロックに対する量子化重みは、８ｘ８量子化マトリクスに関して表現される。そののち、それぞれのマクロブロックについて量子化器スケール値を考慮に入れるために、付加の計算がＤＣＴ係数に関して実施される。量子化スケール値は、マクロブロックとは異なりうる量子化精度の空間的調整の程度に対応することに留意されたい。調整は、多くの場合、それぞれのマクロブロックの視覚的コンテントの特性に依存する、付加するアーチファクトに対する人間の目の変化する感度を利用する。このような量子化値を用いてＤＣＴ係数を量子化することによって、ＤＣＴ係数の多くはゼロに変換され、従って画像圧縮効率を改善する。

結果として得られる量子化されたＤＣＴ係数の８ｘ８ブロックは、ジグザグ走査モジュール１８によって受け取られる。ジグザグ走査モジュール１８において、量子化された係数の２次元のブロックは、それを量子化されたＤＣＴ係数の１次元ストリングに変換するために、「ジグザグ」の順序で走査される。そののち、ランレングスコーディングモジュール２０は、単一シンボルをもつシンボルのランを符号化することによってコーディング効率を改善するようにランレングスコーディングを使用して、量子化されたＤＣＴ係数のストリング、マクロブロックタイプ及び動きベクトルを符号化する。このコーディングスキームは、当分野において良く知られており、例えばハフマンコーディングのような他のよく知られたコーディングスキームが、本発明の技法によって用いられてもよいことに留意すべきである。ランレングスコーディングモジュール２０の出力は、ビットストリームＢＳである。

ここで、本発明により、量子化の前に高周波ＤＣＴ係数の情報を調整することによって、適切な可変複雑さ復号化を符号化する方策が、詳細な説明に記述される。

図２を参照して、ピクチャは、８ｘ８ピクセルマトリクスブロックに分けられ、８ｘ８変換係数を得るために、ＤＣＴモジュール１４によってＤＣＴがブロック単位に実施される。結果として得られるＤＣＴ係数の長方形８ｘ８ブロックは、マスク変換（以下、「ＤＣＴマスク」と呼ぶ）を受け、この変換において、ＤＣＴ係数は、ＤＣＴ係数のエネルギーの特定のパーセンテージ（α_Ｉ）を含む長方形を得るために解析される。この長方形は、まず、最も低い２ｘ２ＤＣＴ係数を除くすべてのＤＣＴブロックの総エネルギーを計算することによって得られる。最後又は８番目の列の周波数成分が、エネルギーレベル計算中に捨てられ、図２（ａ）に示すように、最も低い２ｘ２ＤＣＴ係数を除くエネルギーレベルが再び計算される。このとき、新たに計算されたエネルギーレベルが、予め決められたパーセンテージ、例えば総エネルギーから８５％を越えるかどうかが決定される。予め決められたパーセンテージを超えない場合、図２（ｂ）に示すように、最も低い２ｘ２ＤＣＴ係数を除いてＤＣＴブロックの残りのエネルギーレベルを計算するとき、最後又は８番目の行の周波数成分が捨てられる。新しく計算されたエネルギーレベルが予め決められたパーセンテージより下にない場合、図２（ｃ）に示すように、７番目の列の周波数成分が捨てられ、最も低い２ｘ２ＤＣＴ係数を除く残りのＤＣＴブロックの新しいエネルギーレベルが再び計算される。このようにして、所望のエネルギーレベルが得られるまで、他の列及び行の周波数成分が択一的に捨てられる。

図３を参照して、一旦所望のエネルギーレベルが得られると、所望のエネルギーレベルを計算するときに捨てられた列及び行の周波数成分は、例えば２５５のような相対的に高い量子化マトリクス重みに割り当てられる。このような高い値によりＤＣＴ係数を量子化することによって、ＤＣＴ係数は、量子化の間に効果的にゼロに変換される。高周波ＤＣＴ係数を捨てることは、符号化中に同様の演算が実施されるとき、重大な予測ドリフトを引き起こさない。

軽減された複雑さをもって復号化されるピクチャは、符号器側のピクチャほど高い周波数情報をもたないが、軽減された複雑さは、予測ドリフトに寄与する傾向があることを留意すべきである。符号器側において使用される参照ピクチャが、部分的な品質の復号化から得られるピクチャにより近づけられることができる場合、予測ドリフトは低減されることができる。こうして、本発明の好ましい実施例において、あるピクチャの予測ドリフトへの寄与がより小さい傾向があるとき、符号化されているピクチャのタイプに異なる重みを与える必要がある。当業者であれば、次のイントラピクチャより前のエラー伝搬に関するフレームがより少ないとき、現在のグループオブピクチャ（ＧＯＰ）におけるＰピクチャは、Ｉピクチャよりも予測ドリフトへの寄与が小さいことが分かるであろう。このように、本発明による複雑さの軽減された復号化を実施するとき、ＧＯＰの後のほうのピクチャに関する量子化マトリクス又はＤＣＴマスクは、より少ない考慮をもって設計されなければならない。同様に、ＧＯＰの最初のピクチャであるＩピクチャに関する量子化マトリクス又はＤＣＴマスクは、部分的品質の復号化の際の予測ドリフトについて最大の考慮をもって設計されなければならない。更に、Ｂピクチャは参照ピクチャとして使用されないので、ＤＣＴマスクは必要でない。従って、符号化中、Ｂピクチャに関する量子化マトリクスは、最適化されたシングルレイヤ符号化に関するものと同じままでありうる。

動き補償は、計算集約的な演算である傾向があるので、復号化複雑さを軽減する別の方法は動き補償を簡略化することによる点に更に留意すべきである。従って、本発明の好ましい実施例において、符号化中、より粗い精度ＭＣが、可変複雑さ復号化を更に容易にするために適用されることができる。例えば、１／２ペルＭＣが（ＭＰＥＧ−２の）符号化のために使用される場合、復号器は、計算のピーク負荷期間中に非整数動きベクトルが現在マクロブロックについて使用されるとき、１／２ペル位置ピクセル値を補間することなくフルペル動き補償のみを適用するように強いられてもよい。同様に、１／４ペルＭＣが符号化するために使用される場合、１／２ペルＭＣ、フルペルＭＣ又はそれらの任意の組み合わせが、復号化のために適用されることができる。従って、簡略化された動き予測が、Ｐピクチャのみに関して符号化中に利用される場合、複雑さの軽減された復号化からの予測ドリフトが除去されることができ又は低減されることができる。しかしながら、動き予測は、Ｉピクチャに関しては実施されず、適用できない。更に、Ｂピクチャは、未来の参照ピクチャとして使用されないので、Ｂピクチャは、完全（full）複雑さのより高い精度の動き補償により符号化されることができる。

上述の考察から、図４の以下のフローチャートは、本発明の実施例により復号化の複雑さを軽減することができる符号化演算プロセスを示す。

図４を参照して、ステップ１００において、符号器１０によって入力ビデオ情報を受け取ると、その入力ビデオ情報は、ステップ１０２においてピクチャのタイプを検出され、それによって、異なる符号化モードが、後述するようなピクチャ分類に従って適用されることができる。

Ｉ．現在ピクチャが、イントラ（Ｉ）ピクチャとして符号化される。

Ｉフレームピクチャは８ｘ８ブロックに分けられ、ステップ１０４において、ＤＣＴが実施される。ここで、それぞれの係数はＣ_ｉ，ｊとして示され、ｉ及びｊは０乃至７である。ステップ１０６において、ＤＣＴ係数は、最も低い２ｘ２ＤＣＴ係数を除くＤＣＴ係数のエネルギーのα_Ｉを含む長方形を得るために解析される。

数学的タームにおいて、長方形（ｉ_αＩ，ｊ_αＩ）は、次のようにして得られる：

まず、最も低い２ｘ２係数を除くすべてのＤＣＴブロックの総エネルギーを計算する：

次に、Ｅ_α＝α_ＩＥを計算する。次に、初期の行及び列番号をセットする：
ｉ＝ｊ＝７
次に、以下のステップを繰り返す：

を計算する。（このステップは、はるか右の列の周波数成分を捨てる。）

Ｅ＜＝Ｅ_αの場合、ストップし、（ｉ，ｊ−１）を出力する；そうでない場合、次のステップを続ける；

を計算する。（このステップは、最も下の行の周波数成分を捨てる）。

Ｅ＜＝Ｅ_αの場合、ストップし、（ｉ−１，ｊ−１）を出力する；そうでない場合、次のステップを続ける。
ｉ＝ｉ−１；ｊ＝ｊ−１。

長方形をもたらす所望のエネルギーレベルを得たのち、対応する長方形のための量子化マトリクスが、ステップ１０８において計算される。完全（full）符号化のための量子化マトリクスが、

であるとする。ここで、ｉ，ｊは０乃至７である。このようなマトリクスの例は、イントラピクチャのための通常のＭＰＥＧコーディングスキーム（すなわち、テストモデル５（ＴＭ５））マトリクスであり、それぞれのマクロブロックに関するコーディングモードは、予測残余（エラー信号）のエネルギーを比較することによって選択される。すなわち、交換（intrade）モード決定は、それぞれのコーディングモードについて、予測残余の分散に対しマクロブロックピクセルの分散を比較することによって決定される。

現在イントラピクチャを部分的に符号化するための量子化マトリクスは、次のように計算される：
ｉ＜＝ｉ_αＩ及びｊ＜＝ｊ_αＩの場合、

そうでない場合、Ｗ_ｉ，ｊ＝２５５。

最後に、ステップ１１０において、変更された量子化マトリクスが符号化され、符号化された信号は復号側に送られる。

ＩＩ．現在ピクチャが予測（Ｐ）ピクチャとして符号化される。

ステップ１０２においてＰピクチャが検出される場合、ステップ１２０において、Ｐピクチャは、フルペル（低減された解像度）動き予測を受ける。ステップ１２２乃至ステップ１２８の演算は、本質的に、ステップ１０４乃至ステップ１１０に関してより上述したのと同じである。唯一の顕著な相違は、α_Ｐの設定が、現在ＧＯＰのこのＰピクチャの位置に依存することである。それゆえ、前の段落に記載したのと同じ構成要素に関する説明は、冗長さを避けるために省かれる。α_Ｐの設定は、現在ＧＯＰにおけるこのＰピクチャの位置に依存する。ＰピクチャはＧＯＰの後ろのほうにあるので、Ｉピクチャが予測サイクルをリセットする前に、より低い予測ドリフトが、後続のフレームに生じる。ＧＯＰサイズ（グループオブピクチャのピクチャ数）をＮと示し、ＧＯＰにおけるＰピクチャの相対位置をｎと示す。α_Ｐは次のように計算される。
α_Ｐ＝α_Ｉ ^{（１−ｎ／Ｎ）}
ここで、ｎは、Ｍ−１乃至Ｎ−１である。

ＩＩＩ．現在ピクチャが双方向予測ピクチャとして符号化される。

現在ピクチャが双方向ピクチャとして符号化される場合、Ｂピクチャとして通常の符号化を実施することは、復号器側における予測ドリフトに寄与しない。従って、符号化時間複雑さの軽減の準備は必要でない。

上述したものは、ビデオ符号器において符号化モードを適応的に変更することによって、伸張方法と関連する処理要求を低減するための方法及びシステムを開示している。当業者には、方法及びシステムの特定の利益が、根本的なビデオ画像を過度に劣化させずに伸張効率を高めることによって達成されることが明らかでなければならない。特定の圧縮効率が符号化の間維持されるように符号化プロセスを設計することによって、複雑さの軽減は、固定の完全品質の復号化のために最適化された通常の符号化プロセスと比べて、復号化中の予測ドリフトを低減するためにより少ない品質劣化をもって達成されることができる。

本発明の好ましい実施例が図示され記載されているが、当業者によって、本発明の真の範囲から逸脱することなく、さまざまな変更及び変形がなされ、等価物がその構成要素に取って代わりうることが分かるであろう。従って、本発明は、本発明を実行するために考えられる最良の形態として開示される特定の実施例に限定されず、本発明は、添付の特許請求の範囲内にあるすべての実施例を含むことが意図される。

ビデオ情報を圧縮する符号器の例示の実施例を示す図。本発明により、復号化する間の計算負荷を低減するためにＤＣＴ係数を変更するグラフィック表現を示す図。本発明により、復号化する間の計算負荷を低減するためにＤＣＴ係数を変更するグラフィック表現を示す図。本発明により、復号化する間の計算負荷を低減するためにＤＣＴ係数を変更するグラフィック表現を示す図。本発明により、量子化を実施する前にＤＣＴ係数を変更するグラフィック表現を示す図。本発明により、量子化を実施する前にＤＣＴ係数を変更するグラフィック表現を示す図。本発明により、量子化を実施する前にＤＣＴ係数を変更するグラフィック表現を示す図。本発明により、復号化する間の計算負荷を低減するプロセスを示すフローチャート。

Claims

少なくとも１つのマクロブロックを有する入力ビデオ画像のストリームを符号化する方法であって、
前記入力ビデオ画像のそれぞれのマクロブロックについて動きベクトルを生成するステップと、
前記動きベクトルに基づいて前記入力ビデオ画像の予測画像信号を生成するステップと、
前記予測画像信号をＤＣＴ係数の２次元アレイに変換するステップと、
前記ＤＣＴ係数のエネルギーレベルが予め決められたエネルギーレベルに達するまで、最後の列のＤＣＴ係数及び最後の行のＤＣＴ係数を択一的に捨てて、前記捨てられた列又は行を予め決められた値により割り当てることにより、前記ＤＣＴ係数のアレイを新しいＤＣＴ係数の組に変更するステップと、
前記新しいＤＣＴ係数を量子化されたＤＣＴ値に量子化するステップと、
前記新しいＤＣＴ係数のそれぞれの行を読んでシリアルチェーンにするためにジグザク走査を実施するステップと、
符号化されたマクロブロックを生成するために、前記ジグザク走査からの前記シリアルチェーン及び前記動きベクトルをコード化するステップと、
を含む方法。
前記ＤＣＴ係数のアレイは８ｘ８マトリクスである、請求項１に記載の方法。
前記予測画像信号を前記ＤＣＴ係数のアレイに変換する前記ステップは、前記ＤＣＴ係数を時間ドメインから周波数ドメインに変換することを含む、請求項１に記載の方法。
前記ＤＣＴ係数のアレイを変更する前記ステップが、
最も低い２ｘ２ＤＣＴ係数を除き前記ＤＣＴ係数の総エネルギーレベルを計算するステップを含む、請求項１に記載の方法。
前記コード化するステップは、予め決められた符号化構成テーブルによって実施される、請求項１に記載の方法。
逆量子化された、復号化されたデータを生成するために、前記量子化されたＤＣＴ値を逆量子化するステップと、
参照データを生成するために、前記逆量子化された、復号化されたデータを周波数ドメインから空間ドメインに変換するステップと、
動き補償ピクチャを生成するために、前記参照データに関して動き補償を実施するステップと、
を更に含む、請求項１に記載の方法。
前記予測画像信号を前記ＤＣＴ係数のアレイに変換する前記ステップの前に、前記入力ビデオ画像の予測ピクチャに関してフルペル動き補償を実施するステップを更に含む、請求項１に記載の方法。
前記符号化されたマクロブロックを復号化プロセスに送るステップを更に含む、請求項１に記載の方法。
少なくとも１つのマクロブロックを有する入力ビデオ画像を符号化する方法であって、
（ａ）前記入力ビデオ画像のそれぞれのマクロブロックについて、少なくとも１つの動きベクトル及び少なくとも１つの動き補償予測値を生成するステップと、
（ｂ）前記予測値をＤＣＴ係数の組に変換するステップと、
（ｃ）前記ＤＣＴ係数のエネルギーレベルが予め決められたエネルギーレベルに達するまで、最後の列のＤＣＴ係数及び最後の行のＤＣＴ係数を択一的に捨てて、前記捨てられた列又は行を予め決められた値により割り当てることにより、前記ＤＣＴ係数の組を新しいＤＣＴ係数の組に変更するステップと、
（ｄ）前記ＤＣＴ係数の組を量子化するステップと、
（ｅ）符号化されたマクロブロックを生成するために、前記量子化されたＤＣＴ係数の組及び前記動きベクトルをコード化するステップと、
を含む方法。
前記入力ビデオ画像からピクチャのタイプを決定するステップを更に含む、請求項９に記載の方法。
前記入力ビデオ画像から予測ピクチャが検出される場合、前記予測値を前記ＤＣＴ係数の組に変換する前記ステップ（ｂ）を実施する前に、前記入力ビデオ画像に関してフルペル動き補償を実施する、請求項１０に記載の方法。
前記入力ビデオ画像から予測ピクチャが検出される場合、前記動きベクトルを完全な動きベクトルに変換することを含む、請求項１０に記載の方法。
入力ビデオ画像を符号化する符号化システムであって、
前記入力ビデオ画像を受け取り、少なくとも１つの動きベクトル及び少なくとも１つの予測エラー信号を生成するように構成される動き推定予測モジュールと、
前記動き推定モジュールの出力部に結合され、前記予測エラー信号をＤＣＴ係数の２次元アレイに変換し、前記ＤＣＴ係数のエネルギーレベルが予め決められたエネルギーレベルに達するまで、最後の列のＤＣＴ係数及び最後の行のＤＣＴ係数を択一的に捨てて、前記捨てられた列又は行を予め決められた値により割り当てることにより、前記ＤＣＴ係数の２次元アレイを変更する離散余弦変換器モジュールと、
前記離散余弦変換器モジュールに結合され、量子化された係数を生成するために前記変更されたＤＣＴ係数を量子化する量子化モジュールと、
前記量子化モジュールに結合され、前記量子化された係数をシリアル表現に変換するように構成されるジグザグ走査モジュールと、
符号化されたマクロブロックを生成するために、前記量子化された係数の組及び前記動きベクトルをコード化するコード化モジュールと、
を有する符号化システム。
前記量子化モジュールから前記量子化された係数を受け取り、逆にするように結合される逆量子化モジュールと、
前記逆量子化モジュールの出力部に結合され、前記逆量子化された係数を周波数ドメインから空間ドメインに変換する逆離散余弦変換器と、
動き補償されたピクチャを形成するために、前記逆離散余弦変換器から出力信号を受け取る参照フレームバッファと、
を更に有する請求項１３に記載の符号化システム。
命令のシーケンスを表すデータが記憶された機械読み取り可能な媒体であって、
前記命令のシーケンスは、プロセッサによって実行される場合、該プロセッサに、
前記入力ビデオ画像のそれぞれのマクロブロックについて動きベクトルを生成し、
前記動きベクトルに基づいて前記入力ビデオ画像の予測画像信号を生成し、
前記予測画像信号をＤＣＴ係数の２次元アレイに変換し、
前記ＤＣＴ係数のエネルギーレベルが予め決められたエネルギーレベルに達するまで、最後の列のＤＣＴ係数及び最後の行のＤＣＴ係数を択一的に捨てて、前記捨てられた列又は行を予め決められた値により割り当てることにより、前記ＤＣＴ係数のアレイを新しいＤＣＴ係数の組に変更し、
前記新しいＤＣＴ係数を量子化されたＤＣＴ値に量子化し、
前記新しいＤＣＴ係数のそれぞれの行を読んでシリアルチェーンにするためにジグザク走査を実施し、
符号化されたマクロブロックを生成するために、前記ジグザク走査からの前記シリアルチェーン及び前記動きベクトルをコード化するようにさせる、
機械読み取り可能な媒体。