JP4794147B2 - フレームシーケンスを符号化する方法、フレームシーケンスを復号する方法、その方法を実施する装置、その方法を実行するコンピュータプログラム、およびそのコンピュータプログラムを格納する記憶媒体 - Google Patents

Description

本発明は、画像シーケンスを符号化および復号化する方法に関する。本発明は特に、時間フィルタリングとそれに続く空間フィルタリングを伴う３−Ｄサブバンド符号化に関する。

Jens-Rainer Ohmによる論文「動き補償を用いた３次元サブバンド符号化（Three-Dimensional Subband Coding with Motion Compensation）」ならびにChoiおよびWoodsによる論文「動き補償されたビデオの３−Ｄサブバンド符号化（Motion-Compensated 3-D Subband Coding of Video）」は、３−Ｄサブバンド符号化を記載する参考文献である。簡単に言えば、ビデオシーケンス中のピクチャグループ（Group of Pictures、ＧＯＰ）等の画像シーケンスを、動き補償（ＭＣ）時間解析とその後の空間ウェーブレット変換(spatial wavelet transform)によって時空間サブバンドに分解する。結果として得られるサブバンド（係数）をさらに送信のために符号化する。

図１および図２を参照して３−Ｄサブバンド符号化システムの一例をより詳細に後述する。

図１は、３−Ｄサブバンド符号化器の一例である動き補償埋め込みゼロブロック（zeroblock）符号化器（ＭＣ−ＥＺＢＣ）のブロック図である。この符号化器は、動き補償時間フィルタリング（ＭＣＴＦ）モジュール１０を含む。このＭＣＴＦモジュール１０の出力は、空間変換モジュール１２および動き推定モジュール１８に接続される。空間変換モジュールの出力は埋め込みゼロブロック（ＥＺＢＣ）モジュール１４に接続される。動き推定モジュール１８の出力の１つはＭＣＴＦモジュール１０に入力され、もう１つの出力は動きベクトル符号化モジュール２０に接続される。ＥＺＢＣモジュール１４および動きベクトル符号化モジュール２０の出力はいずれもパケット化モジュール１６に接続され、パケット化モジュール１６は、送信される圧縮ビデオデータを出力する。

ＧＯＰ（通常１６フレーム）は、ＭＣＴＦが行われるＭＣＴＦモジュール１０に入力される。動き推定モジュール１８とともに、フレームに対して動き推定が行われる。この例において、動き推定は、階層的可変サイズブロックマッチング（ＨＶＳＢＭ）を用いた逆方向動き推定である。このスキームでは、動き推定は先ず大きなブロック（６４×６４画素）で行われる。次に各ブロックを４つのサブブロックに分割する。大きなブロックの動きベクトルを精緻化することによってサブブロックの動きベクトルを生成する。これを、最小ブロックサイズ（４×４）の画素に達するまで繰り返す。レート歪最適化(rate-distortion optimisation)において枝刈り（pruning）プロセスを行った後、可変ブロックサイズのグリッドを得て、結果として得られる動きベクトルを、対応するブロック内の全ての画素に割り当てる。

次に、ＭＣＴＦモジュール１０は、動き推定モジュール１８から入力された動きベクトルを用いて時間フィルタリングを行う。この例において、時間フィルタリングは、ハール時間ウェーブレット変換(Haar temporal wavelet transform)（リフティングスキーム）(lifting scheme)を用いて実施され、図２に示すような階層的時間分解を生じる。

より具体的には、図２を参照して、適切な変換を用いてＧＯＰ内の連続するフレームＡおよびＢの各ペアに対して操作を行い、低域通過フィルタリングされたフレームおよび高域通過フィルタリングされたフレームを生じ、第１階層のサブバンドを生成する。ＧＯＰ全体では、これにより、８個の低域通過フィルタリングされたフレーム（ｔ−Ｌ）および８個の高域通過フィルタリングされたフレーム（ｔ−Ｈ）が生じる。

低域通過フィルタリングされたフレームを用いてこの手順（動き推定および変換）を繰り返して、４つの低域通過フィルタリングされたフレーム（ｔ−ＬＬ）および４つの高域通過フィルタリングされたフレーム（ｔ−ＬＨ）を生じる。同様に、この手順を低域時間サブバンド(low temporal subband)に対して、残りの低域時間サブバンドフレームが１つだけになるまで再帰的に繰り返す。図２に示すように、この結果、ｔ−ＬＬＬＬフレームを１つ、ｔ−ＬＬＬＨフレームを１つ、ｔ−ＬＬＨフレームとｔ−ＬＬＬフレームを２つずつ、ｔ−ＬＬフレームとｔ−ＬＨフレームを４つずつ、ｔ−Ｈフレームとｔ−Ｌフレームを８つずつ有する４階層に分解される。

時間段階の後には空間変換モジュール１２における空間分解が続く。より具体的には、図２に示す分解における明るい各時間サブバンドフレームには、ウェーブレット変換を用いた空間フィルタリングおよび分解が施される。J. M. Shapiroによる論文「ウェーブレット係数のゼロツリーを用いた埋め込み画像符号化（Embedded Image Coding using Zerotrees of Wavelets Coefficients）」（１９９３年１２月）は、画像フレームへのウェーブレット変換の適用を記載する。簡単に言えば、空間分解は、図２に示す時間フィルタリングの構造と同様の階層的分解を結果として生じる。

概して、時空間フィルタリングは、それぞれが各画素位置の係数からなるフィルタリングされたフレームの階層配列を結果として生じる。

ＵＳ６，５１９，２８４は、階層的サブバンド符号化を例示および説明する。

３−Ｄサブバンド係数は、ＥＺＢＣモジュール１４において空間的に符号化される。全ての時空間サブバンドは別々に符号化される。

動き推定モジュール１８によって出力される動きベクトルフィールドは、動きベクトル符号化モジュール２０によってロスレス予測および適応算術符号化を用いて符号化される。

パケット化モジュールは、符号化されたサブバンド係数と符号化された動きベクトルフィールドとを組み合わせる。最終的な出力ビットストリームを形成するためのビットプレーンの走査において、ＧＯＰの全ての時間サブバンドフレームの空間サブバンドはインタリーブされる。ビットストリームの動きベクトル部分は非スケーラブルなやり方で別々に格納される。

上記の動き推定ステップにおいて、動きベクトルは、予測／現フレームの各画素に割り当てられる（図３に示すように、逆方向動き推定を用いた連続するフレームＡおよびＢの場合、予測フレームはフレームＢであり、基準フレームはフレームＡである）。動きベクトルは、変位（displaced）フレーム差（ＤＦＤ）、すなわちフレームＢの画素と、動きベクトルによって特定されるフレームＡの対応画素との画素値の差に基づいて、フレームＢの画素とフレームＡの画素の間の良好な一致を表す場合も表さない場合もある。２つの不一致の画素を用いた時間フィルタリングは、エネルギーの高いＤＦＤおよびフレームレートが低く視覚品質の悪いビデオを含む問題を結果として生じる。

動き補償に伴う主な問題は、フレーム間の関係が動きモデルによって常に完全に記述できるとは限らないことである。これはブロックに基づくモデルの場合、遮蔽、カメラズームまたはパン等の場合に起こるような、動きが区分的に並進（piecewise translational）でないときはいつでも当てはまる。そのような領域において、画素は、未連結（unconnected）（カバーされていない、動きベクトルが不確定）または多重連結（カバーされている、フレームＢのいくつかの画素がフレームＡの同一画素を指す動きベクトルを有する可能性がある）として分類することができる。そのような非連結(disconnected)領域では動き補償の効果は期待できない。

不一致の画素間での動きフィルタリングを避けるために、フレームＡおよびＢの対応画素間のＤＦＤを所定の閾値と比較する。割り当てられた動きベクトルのＤＦＤが閾値を越える画素の場合、動きベクトルは誤りとみなされ、その画素は未連結（動きベクトルが不確定）として処理される。例えば、ＤＦＤ平均二乗誤差（ＭＳＥ）がスケーリングした分散よりも大きい画素は未連結として分類される。

多重連結画素（予測フレーム（フレームＢ）にいくつかの対応画素があるフレームＡの画素）の場合、各動きベクトルのＤＦＤの絶対値を計算し、動きベクトルと、関連するＤＦＤが最小であるフレームＢの関連画素とを選択する。フレームＡの同一画素を示すフレームＢの他の画素は未連結として処理する。

図３において、画素ｂ８およびａ２は未連結であり、画素ａ５は多重連結であり、残りの画素は連結されている。ａ５／ｂ４のＤＦＤがａ５／ｂ５のＤＦＤよりも大きいと仮定すると、ａ５とｂ５の間の動きベクトルが保持され、ｂ４が未連結として処理される。

多重連結画素および未連結画素の問題は、上記のOhmの論文およびChoiおよびWoodsの論文、ならびにＷＯ０２／０８５０２６および同様にカバーされている／カバーされていない画像領域を例示するＵＳ６，３８１，２７６で議論されている。

上記ハール時間ウェーブレット変換の詳細を以下に示す。

２つの連続するフレームＡおよびＢについて、高域通過フィルタリングは次のように表される。
Ｈ（ｍ，ｎ）＝（√２／２）×［Ｂ（ｍ，ｎ）−Ａ（ｍ−ｋ，ｎ−ｌ）］
ここで、Ａ（基準フレーム）およびＢ（現フレーム）は元のフレームであり、Ｈは高域通過フィルタリングされたフレームであり、ｍおよびｎは画素のインデックスであり、ｋおよびｌは動きベクトルである。

低域通過フィルタリングは、連結画素に適応され、
Ｌ（ｍ，ｎ）＝Ｈ（ｍ＋ｋ，ｎ＋ｌ）＋√２×Ａ（ｍ，ｎ）
であり、また、未連結（カバーされている／カバーされていない）画素に適応され、
Ｌ（ｍ，ｎ）＝√２×Ａ（ｍ，ｎ）
である。

復号化器において、ＬおよびＨを用いることにより、同一の補間をＨに対して行い、Ａを連結画素について次のように正確に再構築し、
Ａ（ｍ，ｎ）＝（ｌ／√２）×［Ｌ（ｍ，ｎ）−Ｈ（ｍ＋ｋ，ｎ＋ｌ）］
また、Ａを未連結（カバーされている／カバーされていない）画素について次のように再構築する。
Ａ（ｍ，ｎ）＝（ｌ／√２）×Ｌ（ｍ，ｎ）

Ａが得られたら、同一の補間をＡに対して行い、Ｂを次のように正確に再構築することができる。
Ｂ（ｍ，ｎ）＝√２×Ｈ（ｍ，ｎ）＋Ａ（ｍ−ｋ，ｎ−ｌ）

未連結ブロックを符号化するために、従来技術のアルゴリズムは、セグメント化された(segmented)未連結ブロックに対して順方向動き推定を行う。この結果、特定のブロックのＤＦＤが低くなった場合、順方向動き補償予測（ＭＣＰ）を用いる。そうでない場合、デフォルトの逆方向ＭＣＰを用いる。これで次の３種類の符号化モードが得られる。
・デフォルト（連結ブロック）
・ＩＮＴＲＡ（逆方向ＭＣＰを用いる未連結ブロック）
・ＲＥＶＥＲＳＥ（順方向ＭＣＰを用いる未連結ブロック）
この３種類の場合はそれぞれ、０、１０および１１の３シンボルのハフマン符号を用いて表され、動きベクトルとともにオーバーヘッド情報として送信される。ＭＣＰはＩＮＴＲＡブロックおよびＲＥＶＥＲＳＥブロックに対してＭＣＴＦの代わりに用いられるため、本来ＩＮＴＲＡブロックおよびＲＥＶＥＲＳＥブロックとして選択された現フレーム内のブロックは低域通過時間フィルタリングされない。

可変長符号化は、動きベクトルを符号化するために用いられる。これは、動きベクトルの分布が均一でないからである。動きベクトルはベクトル差の適応算術符号化によってビットストリームに変換される。

３−Ｄサブバンド係数はＥＺＢＣを用いて符号化される。ＥＺＢＣは、サブバンド／ウェーブレット係数のゼロブロック符号化およびコンテキストモデリングを用いた埋め込み画像符号化アルゴリズムである。各フレームは別々に空間符号化され、結果として生じたビットストリームはパケット化モジュールに渡される。

画像シーケンスを符号化する代替的な技法（ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４）には、動き推定／補償および空間変換符号化がある。一部のフレーム（Ｉフレーム）は動き推定を用いずにフレーム内符号化される(intra-coded)。他のフレーム（ＢフレームおよびＰフレーム）は、ブロック動き補償および結果として生じる差分ブロックの空間符号化を伴う。ブロックのフレーム内符号化(intra coding)もまた、動き推定において適切な動きベクトルが見つからなかった場合にＢフレームおよびＰフレームにおいて実行されることができる。フレーム内符号化の効率を上げるために、所与のフレームにおける隣接ブロック間の空間補正を利用することができる。特に、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４コーデック(codec)では、関心のブロックを周囲のブロックから方向情報に従って予測することができる。次に実際のブロックとその予測の間の差を符号化するため、このブロックの動きベクトルは符号化および送信する必要がない。

ＭＣ−ＥＺＢＣおよびフレーム間ウェーブレット符号化器全般の問題の１つは、主に動きベクトルがスケーラブルでないことにより、低ビットレートでの性能が比較的低いことである。

また例えば、現在のフレーム間ウェーブレットビデオ符号化の手法では、隣接フレームの不一致(poor match)が、動き補償予測を用いて、良好な一致と同様に時間フィルタリングされて高域通過時間フレームとなり、それらのフレーム（またはフレーム内のブロック）の品質を悪化させる。これは、動き推定により隣接フレーム間の対応物が見つからない不一致の場合、基準フレームからの予測として用いられるブロックが予測されるべきブロックと著しく異なるためである。

本発明の態様は添付の特許請求の範囲に記載される。

本発明は、時間フィルタリングを伴う３−Ｄサブバンド分解を用いてフレームシーケンスを符号化および復号化する方法を提供し、本方法は時間分解において、特定の条件下で、少なくとも１つの画素について、同一フレーム内の１つまたは複数の他の画素の値を用いて上記画素の値を近似または予測することを特徴とする。時間フィルタリングは、１つのフレームの動きベクトルフィールドを導出すること、および少なくとも２つのフレームを時間フィルタリングに関与させることを伴う。近似した画素値は、（時間）サブバンド分解の高域通過または低域通過フレームのいずれかで上記画素を表すために用いることができる。

好ましくは、上記画素は、同一フレーム内の１つまたは複数の近傍画素、またはそれらの組み合わせを用いて近似される。所与の画素について、近傍画素は、上記画素を直に取り巻く画素のうちのいずれかであってよい。あるいは、例えば可変ブロックサイズマッチングにおいて動きベクトルを求める際に用いられるブロック等の画素ブロック（例えば４×４ブロック）内の画素、または全てが同じ動きベクトルを有する画素のブロックまたはグループ、または連結あるいはセグメント化された画素のブロックまたはグループについて、近傍画素を、上記画素のブロックまたはグループに隣接するかまたはそれを取り巻く画素と考えてもよい。

この「フレーム内」(intra)予測は、例えば未連結画素に、あるいは同一フレームを用いた予測から結果として得られたＤＦＤが動き補償予測を用いた場合よりも低い場合に用いることができる。そうでなければ、標準的な時間フィルタリングを用いることができる。

本明細書において、「フレーム」という用語は、フィルタリング後のものを含む画像単位を説明するために用いられるが、この用語は、画像、フィールド、ピクチャ、または画像・フレーム等のサブユニットまたは領域等の他の同様の専門用語にも当てはまる。画素および画素のブロックまたはグループという用語は必要に応じて置き換え可能に用いられる場合がある。

添付図面を参照して本発明の１実施形態を説明する。

本発明は、上述の従来技術のシステムと同様のシステムを用い、後述の変更を施して実施することができる。

したがって、本実施形態による符号化システムの基本的な構成要素は図１に示す通りであり、従来技術に関して上述したように動作する。ただし、ＭＣＴＦモジュールは未連結画素または未連結画素ブロックの処理に関して変更される。

上記のように、動き推定は、４×４の画素ブロックサイズまで行われ、ブロック内の各画素には同一の動きベクトルが割り当てられる。このような４×４の画素ブロックを図４に示す。図４中、ｃ（ｍ，ｎ）は検討中のブロックの画素を表す。近傍画素は、４×４ブロックの一番上の行の上の行の画素がｔ（ｐ，ｑ）で、４×４ブロックの左の列の左側の列の画素がｌ（ｒ，ｓ）で表される。

動きベクトルを求めた後、従来技術と同様に動きベクトルおよび関連するＤＦＤを処理して、どの画素を未連結（上で定義）として処理すべきかを判定する。

ブロック内の任意の未連結画素について、当該画素をさらなる処理のために、同一フレーム内の隣接画素を用いて近似（または予測）する（以下でフレーム内予測として説明する）。これはいくつかの方法で実施することができる。

この例では３種類のフレーム内モード、すなわち垂直方向フレーム内予測モード、水平方向フレーム内予測モードおよび水平方向−垂直方向平均フレーム内予測モードがある。

垂直方向フレーム内予測モード：
・ｔ（０，−１）によりｃ（０，０）、ｃ（０，１）、ｃ（０，２）およびｃ（０，３）を予測する
・ｔ（１，−１）によりｃ（１，０）、ｃ（１，１）、ｃ（１，２）およびｃ（１，３）を予測する
・ｔ（２，−１）によりｃ（２，０）、ｃ（２，１）、ｃ（２，２）およびｃ（２，３）を予測する
・ｔ（３，−１）によりｃ（３，０）、ｃ（３，１）、ｃ（３，２）およびｃ（３，３）を予測する

水平方向フレーム内予測モード：
・ｌ（−１，０）によりｃ（０，０）、ｃ（１，０）、ｃ（２，０）およびｃ（３，０）を予測する
・ｌ（−１，１）によりｃ（０，１）、ｃ（１，１）、ｃ（２，１）およびｃ（３，１）を予測する
・ｌ（−１，２）によりｃ（０，２）、ｃ（１，２）、ｃ（２，２）およびｃ（３，２）を予測する
・ｌ（−１，３）によりｃ（０，３）、ｃ（１，３）、ｃ（２，３）およびｃ（３，３）を予測する

水平方向−垂直方向平均フレーム内予測モード：
・（ｔ（０，−１）＋ｌ（−１，０））／２によりｃ（０，０）を予測する
・（ｔ（１，−１）＋ｌ（−１，０））／２によりｃ（１，０）を予測する
・（ｔ（２，−１）＋ｌ（−１，０））／２によりｃ（２，０）を予測する
・（ｔ（３，−１）＋ｌ（−１，０））／２によりｃ（３，０）を予測する
・（ｔ（０，−１）＋ｌ（−１，１））／２によりｃ（０，１）を予測する
・（ｔ（１，−１）＋ｌ（−１，１））／２によりｃ（１，１）を予測する
・（ｔ（２，−１）＋ｌ（−１，１））／２によりｃ（２，１）を予測する
・（ｔ（３，−１）＋ｌ（−１，１））／２によりｃ（３，１）を予測する
・（ｔ（０，−１）＋ｌ（−１，２））／２によりｃ（０，２）を予測する
・（ｔ（１，−１）＋ｌ（−１，２））／２によりｃ（１，２）を予測する
・（ｔ（２，−１）＋ｌ（−１，２））／２によりｃ（２，２）を予測する
・（ｔ（３，−１）＋ｌ（−１，２））／２によりｃ（３，２）を予測する
・（ｔ（０，−１）＋ｌ（−１，３））／２によりｃ（０，３）を予測する
・（ｔ（１，−１）＋ｌ（−１，３））／２によりｃ（１，３）を予測する
・（ｔ（２，−１）＋ｌ（−１，３））／２によりｃ（２，３）を予測する
・（ｔ（３，−１）＋ｌ（−１，３））／２によりｃ（３，３）を予測する

本システムは、どの予測モードが好ましいかについて設定することができる。その場合、用いられている予測モードの予測値が得られない場合（例えば垂直方向フレーム内予測モードにおいて関連するｔ（ｐ，ｑ）の値が得られない場合）、システムは、代替的な予測モード（例えば水平方向予測モード）を用いるように設定することができる。他の予測モードの予測値が得られない場合、１２８という予測値を用いる。

フレーム内予測モードを用いる場合、２つの連続フレームＢ（現）およびＡ（参照）の対応ブロックのリフティングの実施態様において、動き補償時間フィルタリング（ＭＣＴＦ）をわずかに変更する。高域通過フィルタリングＨを未連結画素に次式により適応する。
Ｈ（ｍ，ｎ）＝（√２／２）×［Ｂ（ｍ，ｎ）−Ｂ’（ｍ，ｎ）］
ここでＢ’（ｍ，ｎ）は、上記のようなフレーム内予測を用いた現フレーム内の予測画素である。連結画素の高域通過フィルタリングおよび低域通過フィルタリングはそのままである。

次に現フレームを未連結画素について次式により再構築する。
Ｂ（ｍ，ｎ）＝√２×Ｈ（ｍ，ｎ）＋Ｂ’（ｍ，ｎ）
ここでＢ’（ｍ，ｎ）は以前の再構築画素である。残りの再構築の式は変更されない。

このフレーム内予測手法を用いることによって、用いられる予測値が動き推定プロセスを用いる場合よりも予測されるべき画素値に近くなるため、高域通過時間フレームが改善する。最良の結果を得るには、フレーム内予測モードを動き推定プロセスに基づくＭＣ予測と比較して、最も低い平均歪値をもたらすモード（フレーム内予測またはＭＣ予測）を選択する。

より具体的には、全てのフレーム内予測モード（垂直方向、水平方向および水平方向−垂直方向）およびＭＣ予測モード（逆方向および順方向）の平均絶対差（ＭＡＤ）の値を計算する。ＭＡＤ値の最も低いモードを最良の予測モードとして選択する。

本実施形態では、全ての成分、すなわち輝度（ｌｕｍａ、Ｙ）および色差（ｃｈｒｏｍａ、ＣｂおよびＣｒ）に対して同じ３種類のフレーム内予測モードを用い、それに加えて、各モードにより生じる歪レベルに応じて元のＭＣＰモードを用いる。

可変重み付けパラメータを用いることによって、異なるモードを用いた画素／ブロックの比率を変えることができる。例えば、重み付けパラメータを０に設定することは、すべての未連結画素／ブロックが同一フレームからの画素を予測値として用いて予測されることを意味する可能性があり、重み付けパラメータを上げると、動き補償予測を用いて予測される画素／ブロックの比率が上がる。

上記のフレーム内予想モードは、垂直方向、水平方向および平均予測のみを用いる。しかしながら、様々な他のフレーム内予測を用いることもできる。例えば、ＭＰＥＧ−４ ＡＶＣコーデックに規定された全てのモードを用いることができる。それらは、それぞれ垂直方向（モード０）、水平方向（モード１）、ＤＣ（モード２）、対角線左下（モード３）、対角線右下（モード４）、垂直方向右（モード５）、水平方向下（モード６）、垂直方向左（モード７）および水平方向上（モード８）予測モードと呼ばれる９種類のフレーム内予測モードである。また、異なるブロックサイズおよび異なる色成分に適用することができる４種類の異なるフレーム内予測モードもある。

図５に示す完全な予測モードの方向セットを以下に示す。
・モード０：Ｖｅｒｔｉｃａｌ＿Ｕｐ（垂直方向上）
・モード１：Ｖｅｒｔｉｃａｌ＿Ｕｐ＿Ｒｉｇｈｔ（垂直方向右上）
・モード２：Ｄｉａｇｏｎａｌ＿Ｕｐ＿Ｒｉｇｈｔ（対角線右上）
・モード３：Ｈｏｒｉｚｏｎｔａｌ＿Ｕｐ＿Ｒｉｇｈｔ（水平方向右上）
・モード４：Ｈｏｒｉｚｏｎｔａｌ＿Ｒｉｇｈｔ（水平方向右）
・モード５：Ｈｏｒｉｚｏｎｔａｌ＿Ｄｏｗｎ＿Ｒｉｇｈｔ（水平方向右下）
・モード６：Ｄｉａｇｏｎａｌ＿Ｄｏｗｎ＿Ｒｉｇｈｔ（対角線右下）
・モード７：Ｖｅｒｔｉｃａｌ＿Ｄｏｗｎ＿Ｒｉｇｈｔ（垂直方向右下）
・モード８：Ｖｅｒｔｉｃａｌ＿Ｄｏｗｎ（垂直方向下）
・モード９：Ｖｅｒｔｉｃａｌ＿Ｄｏｗｎ＿Ｌｅｆｔ（垂直方向左下）
・モード１０：Ｄｉａｇｏｎａｌ＿Ｄｏｗｎ＿Ｌｅｆｔ（対角線左下）
・モード１１：Ｈｏｒｉｚｏｎｔａｌ＿Ｄｏｗｎ＿Ｌｅｆｔ（水平方向左下）
・モード１２：Ｈｏｒｉｚｏｎｔａｌ＿Ｌｅｆｔ（水平方向左）
・モード１３：Ｈｏｒｉｚｏｔａｌ＿Ｕｐ＿Ｌｅｆｔ（水平方向左上）
・モード１４：Ｄｉａｇｏｎａｌ＿Ｕｐ＿Ｌｅｆｔ（対角線左上）
・モード１５：Ｖｅｒｔｉｃａｌ＿Ｕｐ＿Ｌｅｆｔ（垂直方向左上）
・モード１６：ＤＣ

動き推定では、ブロックサイズの選択はレート歪最適化に基づく。フレーム内予測プロセスは現在、動き推定の後に行われているため、レート歪最適化されていない。フレーム内予測モードの選択は、レート歪最適化に組み込むこともできる。

低域通過フィルタリングされたフレームに対して同様のフレーム内予測プロセスを導入することもできる。

他のタイプの３−Ｄ分解および変換を用いてもよい。例えば、本発明は、空間フィルタリングを先に行った後で時間フィルタリングを行う分解スキームに適用することもできる。

本発明は、例えばコンピュータベースのシステムにおいて、あるいは適切なハードウェアおよび／またはソフトウェアを用いて実施することができる。図１には符号化器を示しており、対応する復号化器は、逆の復号化動作を行うための対応する構成要素を有する。

符号化システムのブロック図である。 ＧＯＰの時間分解を示す図である。 フレームペアならびに連結画素および未連結画素の図である。 フレーム内の画素配列の図である。 予測画素の選択方向を示す図である。

符号の説明

Ａ，Ｂ フレーム、ａ２，ｂ８ 未連結の画素、ａ５ 多重連結の画素、ａ１，ａ３，ａ４，ａ６〜ａ９，ｂ１〜ｂ７，ｂ９ 連結された画素、ｃ（０，０）〜ｃ（３，３） 検討中の画素、ｔ（０，−１）〜ｔ（３，−１），ｌ（−１，０）〜ｌ（−１，３） 近傍画素。

Claims (12)

1. 動き補償時間フィルタリングを伴う３−Ｄサブバンド分解を用いてフレームシーケンスを符号化する方法であって、
   前記動き補償時間フィルタリングは、
   １つのフレームについて動きベクトルを導出することと、
   未連結画素を識別することと、
   前記フレーム内の少なくとも１つの未連結画素について、同一フレーム内の１つまたは複数の画素値に基づいて前記未連結画素の予測値を計算することと、
   前記未連結画素に対する前記動き補償時間フィルタリングにおいて、前記計算された予測画素値を用いることと
   を含む、フレームシーケンスを符号化する方法。
2. 時空間フィルタリングを伴う３次元（３−Ｄ）サブバンド分解を用いる請求項１に記載のフレームシーケンスを符号化する方法。
3. 前記予測画素値は、同一フレーム内の１つまたは複数の近傍画素、またはそれらの組み合わせに基づいて計算される請求項１または請求項２に記載のフレームシーケンスを符号化する方法。
4. 垂直方向または水平方向の近傍画素に基づいて前記予測画素値を計算する請求項３に記載のフレームシーケンスを符号化する方法。
5. 前記方法は、１つの未連結画素について複数の予測値を計算することを含み、
   各予測値は、前記未連結画素と同一のフレーム内の１つまたは複数の画素からなるそれぞれ異なる組に基づいて計算され、
   前記方法は、
   前記未連結画素の実際の値と前記予測値のそれぞれとの差を比較することと、
   前記未連結画素の前記実際の値に最も近い予測画素値を選択することと
   を含む請求項３または４に記載のフレームシーケンスを符号化する方法。
6. 動き補償および他のフレーム内の値を用いて前記予測画素値を計算することと、
   他のフレーム内の画素に基づいて計算された画素値と同一フレーム内の画素に基づく計算された画素値との結果を比較することと、
   最良の近似値を選択することと
   をさらに含む請求項１〜５のいずれか一項に記載のフレームシーケンスを符号化する方法。
7. 前記計算された予測画素値は、前記サブバンド分解における高域通過または低域通過フレーム内の前記画素を表すために用いられる請求項１〜６のいずれか一項に記載のフレームシーケンスを符号化する方法。
8. 前記サブバンド分解における高域通過または低域通過フレーム内の前記画素を表すことは、前記計算された予測画素値、または前記計算された予測画素値および前記画素値を用いた変換式を伴う請求項７に記載のフレームシーケンスを符号化する方法。
9. 請求項１〜８のいずれか一項に記載の方法を用いて符号化されたフレームシーケンスを復号する方法であって、
   同一フレーム内の少なくとも１つの他の画素値を用いてフレームの画素値を再構築することを含む、フレームシーケンスを復号する方法。
10. 請求項１〜９のいずれか一項に記載の方法を実施するようになっている符号化および／または復号装置。
11. 請求項１〜９のいずれか一項に記載の方法をコンピュータに実行させるコンピュータプログラム。
12. 請求項１１に記載のコンピュータプログラムを格納するコンピュータ読み取り可能な記憶媒体。

Images