JP4979023B2 - ビデオ・データを符号化および復号するための方法および装置 - Google Patents

Description

本発明は、ビデオ・データを符号化および復号するための方法および装置に関する。

Ｈ．２６４／ＡＶＣ規格は、良好な符号化効率を提供するが、スケーラブル・ビデオ符号化（ＳＶＣ）を考慮していない。スケーラブル・ビデオ符号化は、複数の異なるレイヤー、通常、ベース・レイヤー（ＢＬ）およびエンハンスメント・レイヤー（ＥＬ）を提供する。ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）は、ビデオ・コーデックの拡張機能に取り組んでいる。様々な技術が提案され、ＪＶＣ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）は、対応するリファレンス・ソフトウエア（ＪＳＶＭ）と共に、ＪＳＶＣと呼ばれる規格を開始した。スケーラブル・ビデオ符号化は、アプリケーションのための時間的なＳＮＲおよびスケーラビリティを提供する。ＪＳＶＭのベース・レイヤーは、Ｈ．２６４と互換性があり、Ｈ．２６４の大部分のコンポーネントは、定められているように、ＪＳＶＭにおいて使用されており、ごく限られたコンポーネントのみがサブバンド構造に従って調節される必要がある。全てのスケーラビリティのうち、空間スケーラビリティは、２つの空間スケーラブル・レイヤーの間のリダンダンシーを使用することが困難であるため、最も困難な課題が存在するが、興味深い。

スケーラブル・ビデオ符号化は、イントラ・ベース・レイヤー（ＩｎｔｒａＢＬ）モード、残差予測、または、ベース・レイヤー・スキップ・モードなど、空間スケーラビリティのための幾つかの技術を提供する。これらのモードは、マクロブロック（ＭＢ）・レベルで選択できる。

イントラ・ベース・レイヤー・モードは、アップサンプリングされた再構築済のベース・レイヤー・ピクチャを使用して、エンハンスメント・レイヤー内のマクロブロックを予測し、残差のみを符号化する。残差予測は、エンハンスメント・レイヤーの動き補償（ＭＣ）の残差のエネルギーを、ベース・レイヤーのアップサンプリングされた動き補償残差を差し引くことによって、低減することを試行する。ベース・レイヤー・スキップ・モードは、エンハンスメント・レイヤーにおけるマクロブロックのためにアップサンプリングされたベース・レイヤー動きベクトル（ＭＶ）を利用しており、マクロブロックがこのモードを選択した場合には、残差のみがビットストリームに書き込まれるようにするだけでよい。従って、ベース・レイヤー・スキップ・モードは、ベース・レイヤーおよびそのエンハンスメント・レイヤーのＭＶの間のリダンダンシーを空間スケーラビリティのケースに利用する。

スケーラブル・ビデオ符号化のＰピクチャおよびＢピクチャのみを含むインター符号化されたピクチャの場合には、残差エネルギーを減少させて符号化効率を向上するために残差予測が使用される。基本的なアイデアは、まず、対応するベース・レイヤー・ピクチャの残差信号をアップサンプリングすることによって、予測残差を得ることであり、２タップ双線形フィルタ（２−ｔａｐ ｂｉｌｉｎｅａｒ ｆｉｌｔｅｒ）が使用される。次に、エンハンスメント・レイヤーにおける動き推定から得られた実際の残差から予測残差が差し引かれ、差がＤＣＴ、エントロピー符号化などによって符号化される。

残差のアップサンプリングは、一般に、マクロブロック毎に行われ、動き補償の精度に基づいて、各マクロブロックについて、４×４、８×８、または１６×１６のサブブロックによって行われる。動き補償の精度が例えば１６×１６である場合には、１６×１６のマクロブロック全体が１つの動きベクトルのみを使用する。動き補償精度が８×８である場合には、４つの８×８のサブブロックの各々が異なる動きベクトルを有する。異なる８×８のサブブロックの残差は相関性が低いため、アップサンプリング処理が４つの異なるサブブロックについて行われる。スケーラブル・ビデオ符号化は、単純な２タップ双線形フィルタを利用し、まず水平方向に、次に、垂直方向にアップサンプリング処理を行う。各フィルタは、マクロブロック・レベルで動作するものであり、８×８ブロックの境界を渡ることはできない。

上述した処理のオプションは、特定のマクロブロックに残差予測を使用するかどうかである。モード決定プロセスは、複数の異なるモードを、全て、残差予測を使用する場合、残差予測を使用しない場合について試行する。これは、アダプティブ残差予測と呼ばれる。

Ｈ．２６４／ＳＶＣによって用いられる通常のフレーム構造には、瞬時復号リフレッシュ（ＩＤＲ）のための受信機において使用される２つのイントラ符号化されたリファレンス・フレームと、さらに、幾つかのＧＯＰ（ｇｒｏｕｐ‐ｏｆ‐ｐｉｃｔｕｒｅｓ）を作り出す多数のイントラ符号化またはインター符号化されたフレームを含む。インター符号化フレームは、補間することもでき、予測することもできる。ウエーブレット分解においては、ＧＯＰのエンハンスメント・レイヤーは、通常、幾つかのハイパス・フレームと、その後に続くローパス・フレームとからなる。ローパス・フレームは、前のハイパス・フレームおよび後のハイパス・フレームの両方、即ち、２つのＧＯＰのために使用される。

（発明の概要）
残差予測を使用することは、符号器および復号器の両者にとって、非常に複雑な処理である。従って、より複雑でない符号器および／または復号器の使用を可能にする簡略化された処理が望ましい。残差予測を無効にすれば、復号器の演算量が約１／２に低減されるが、符号化効率が低下する。また、アダプティブ残差予測は、（ＰＳＮＲに基づいて）同じ客観的品質で、約５〜１０％の符号化効率を向上させることが可能な非常に有望な技術である。一般的に、符号化および復号の処理効率のレベルを概ね維持、または、向上させることが望ましい。従って、残差予測を有効にすることが提案されている。しかしながら、例えば、リアルタイム・アプリケーションでは、残差予測が各ピクチャに対して有効である場合には、公知の復号器では処理が遅すぎるため、例えば、デュアル・レイヤー（ＱＣＩＦ／ＣＩＦ）空間スケーラブル・ビットストリームのリアルタイムな復号を行うことができない。

本発明は、空間スケーラブルエンハンスメント・レイヤーの符号化および／または復号の演算量を低減することに重点を置く一方、符号化効率の低下が若干であるか、または符号化効率を向上させるような簡略化された残差予測技術を提供する。

本発明の一態様によれば、ハイパス・フレームおよびローパス・フレームを含むビデオ・データを符号化する方法は、符号化が予測および更新の各ステップに基づいて行われ、この方法は、
残差予測を行うことを可能に、ローパス・フレームを符号化するステップと、
例えば、連番順により、即ち、固定されたラスターを用いて、例えば、ハイパス・フレームの各々を１つのグループに割り当てることにより、ハイパス・フレームを２つの(好ましくは、インターリービング)フレーム・グループに分割するステップと、
残差予測を行うことを可能に、フレーム・グループのうちの第１のフレーム・グループの各フレームを符号化するステップと、
残差予測を行わない符号化方法を使用して、即ち、各フレームに対する残差予測を禁止して、フレーム・グループのうちの第２のフレーム・グループの各フレームを符号化するステップと、を含む。

本発明のこの態様に係る好ましい実施の形態においては、フレーム・グループのうちの第１のフレーム・グループの各フレームを符号化するステップは、モード選択を行うステップを含み、可能な符号化モードのいずれもマクロブロック・レベルでの残差予測を使用しない。一実施の形態によれば、しかしながら、第１のフレーム・グループのための符号化モードの少なくとも１つは、フレーム・レベルでの残差予測を使用し、これは、本明細書においては、「簡略化された残差予測」と呼ぶ。簡略化された残差予測のため、エンハンスメント・レイヤー残差は、エンハンスメント・レイヤーの情報から好ましくは作成され、ベース・レイヤー残差は使用されない。

特に好ましい実施の形態においては、第１のフレーム・グループは偶数ハイパス・フレームを含み、第２のフレーム・グループは、奇数ハイパス・フレームを含む。

特に、本発明は、スケーラブル・ビデオ信号のエンハンスメント・レイヤーに属するハイパス・フレームおよびローパス・フレームのために有益である。従って、スケーラブル・ビデオ符号化のための残差予測スキームが向上し、簡略化される。

本発明の一実施の形態に係る符号器によって生成される、結果として得られるビデオ信号は、少なくとも２つの空間的にスケーラブルなレイヤー、ベース・レイヤーおよびエンハンスメント・レイヤーを含むビデオ信号であって、
エンハンスメント・レイヤーは、符号化されたローパス・フレーム・データおよび符号化されたパイパス・フレーム・データを含み、
符号化されたハイパス・フレーム・データは、符号化モード・インジケーションを含み、２つのタイプまたはグループに分割可能であり、これらのグループのうちの一方のハイパス・フレーム・データは、フレームが残差予測を用いて符号化されたかどうかを示すインジケーションを含み、フレームの少なくとも幾らかがマクロブロック・レベルでなくフレーム・レベルでの残差予測（簡略化された残差予測）を用いて復号され、これらのグループのうちの他方のハイパス・フレーム・データは、残差予測を用いないで符号化される。従って、これらのフレームは、このような残差予測のインジケーションを含む必要がない。第２のグループのフレーム・データは、残差予測を使用することのない完全に符号化された残差ピクチャを含む。

従って、ハイパス・フレームの第２のグループでは残差予測がスキップ可能であり、この残差予測は、ハイパス・フレームの第１のグループでは、マクロブロック・レベルの代わりにフレーム・レベルで実行することができる。残差予測により、符号化の間も復号の間もフレームがブロックに分割される必要がないため、符号器および復号器の演算量が低減する。

例えば、ＧＯＰのサイズが１６であるとすると、その構造は（従前の瞬時復号リフレッシュ・フレームは図示されていないが、Ｐは予測されたフレームであり、Ｂｘは、双線形予測されたフレームである）、Ｐ１ Ｂ１ Ｂ２ Ｂ３ Ｂ４ Ｂ５ Ｂ６ Ｂ７ Ｂ８ Ｂ９ Ｂ１０ Ｂ１１ Ｂ１２ Ｂ１３ Ｂ１４ Ｂ１５ Ｐ２である。
本発明の好ましい実施の形態によれば、奇数フレームＢ１、Ｂ３、Ｂ７、Ｂ９、Ｂ１１、Ｂ１３、Ｂ１５には、残差予測は行われない。
簡略化されたアダプティブ残差予測が偶数フレームＢ２、Ｂ４、Ｂ６、Ｂ８、Ｂ１０、Ｂ１２、Ｂ１４に対して行われる。
オリジナルの従来のアダプティブ残差予測はＰ１およびＰ２である。

本発明の符号化方法のためには、フレームを複数のマクロブロックに分割する必要はないという利点が得られる。

ハイパス・フレームおよびローパス・フレームを含むビデオ・データを符号化する対応する装置は、符号化が予測および更新の各ステップに基づいて行われ、この装置は、
残差予測を行うことを可能に、ローパス・フレームを符号化する手段と、
例えば、連番順により、例えば、ハイパス・フレームの各々を１つのグループに割り当てることにより、ハイパス・フレームを２つの（好ましくはインターリービング）フレーム・グループに分割する手段と、
残差予測を行うことを可能に、フレーム・グループのうちの第１のフレーム・グループの各フレームを符号化する手段と、
残差予測を行わない符号化方法を使用してフレーム・グループのうちの第２のフレーム・グループの各フレームを符号化する手段と、を含む。さらに、装置は、第１のフレーム・グループのフレームに残差予測インジケーション・フラグを挿入するための手段を含んでいても良い。

発明の別の態様によれば、符号化されたハイパス・フレームおよびローパス・フレームを含むビデオ・データを復号する方法は、少なくともハイパス・フレームの復号が逆予測および逆更新の各ステップに基づいて行われ、この方法は、
例えば、符号化モード・フラグによって示されるように、ローパス・フレームの符号化モードに従ってローパス・フレームを復号するステップと、
ハイパス・フレームの連続順序（連番）から第１または第２の（Ｂ_ｅｖｅｎ、Ｂ_ｏｄｄ）フレームのグループに属するかを判定するステップと、
ハイパス・フレームを復号するステップと、を含み、ハイパス・フレームが第１のフレームのグループ（Ｂ_ｅｖｅｎ）に属する場合には、復号に、逆予測および逆更新ステップのために使用される残差の予測を使用し、ハイパス・フレームが第２のフレームのグループに属する場合には、逆予測および逆更新の各ステップに使用される残差は、予測無しに得られる。この予測には、対応するベース・レイヤー残差をアップサンプリングしたものを用いることができるが、原則的には、別の予測技術を用いることもできる。

符号化されたハイパス・フレームおよびローパス・フレームを含むビデオ・データを復号する対応する装置は、少なくともハイパス・フレームの復号が逆予測および逆更新の各ステップに基づいて行われ、この装置は、少なくとも、
ローパス・フレームの符号化モードに従ってローパス・フレームを復号する手段と、
ハイパス・フレームの連続順序から第１または第２の（Ｂ_ｅｖｅｎ、Ｂ_ｏｄｄ）フレームのグループに属するかを判定する手段と、
ハイパス・フレームを復号する手段と、を含み、ハイパス・フレームが第１のフレームのグループ（Ｂ_ｅｖｅｎ）に属する場合には、復号に、逆予測および逆更新ステップのために使用される残差のフレーム・レベルでの予測を使用し、ハイパス・フレームが第２のフレームのグループに属する場合には、逆予測および逆更新の各ステップに使用される残差は、予測無しに得られる。

本発明の有益な実施の形態は、従属請求項、以下の説明および図面に開示されている

本発明の例示的な実施の形態を添付図面を参照して説明する。

以下の文章は、フレームおよびピクチャについて言及している。フレームについて言及する際には、同様のことがピクチャにも当てはまり、ピクチャについて言及する際には、同様のことがフレームにも当てはまる。

図１は、４×４の動き補償の正確性を用いて、水平方向に残差アップサンプリングを行う原理を示している。スケーラブル・ビデオ符号化は、例えば、単純な２タップ双線形フィルタを利用して、まず、水平方向にアップサンプリング処理を実行し、次に、垂直方向にアップサンプリング処理を実行する。２つの近傍のオリジナルのピクセルを平均化することによってアップサンプリングされたピクセル値が生成され、アップサンプリングされたピクセルの位置は、ちょうど２つのオリジナルのピクセルの真ん中となり、係数は、［１／２、１／２］となる。２タップ・フィルタは、マクロブロック境界を渡ることはできない。左側の境界には問題は存在しないが、右側の境界でアップサンプリングされたピクセルは、単に最も近傍のピクセルのコピーである。これを「最近傍法（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｉｎｇ ｍｅｔｈｏｄ）」と呼ぶ。

従来のアップサンプリングでは、残差ピクチャ全体がまず複数のマクロブロックに分割され、次に、複数のサブブロックに分割される。これは、小さなブロックのために多数のメモリ・コピー動作およびアップサンプリングを行うステップが存在することを意味する。このことは、残差予測が有効である場合に復号器の演算量が大きい理由である。

本発明は、アダプティブに残差予測を用いることにより、残差予測を部分的スキップすることにより、さらに、残差予測方法を修正することにより、符号器の演算量および復号器の演算量を低減する方法を開示している。

通常、各ＧＯＰには、ローパス・フレームであるＰフレームの１つが存在する。例えば、ＧＯＰサイズが１６である場合には、ローパス・フレームに係るパラメータであるＧＯＰ内のピクチャＩＤは、１６である。他のＰフレームまたはＢフレームである１５個のフレームは、複数の異なる分解レベルを有する。最も高い分解レベルを有するフレームは、ＧＯＰ内のピクチャＩＤが奇数の１、３、５、７、９、１１、１３、１５のフレームである。これらのピクチャを奇数ピクチャと言及する。本発明において、我々は、従来の残差アップサンプリング処理に代替する２つの解決法を提案する。

１つの解決法は、従来のアップサンプリング方法を使用して残差予測を実行することである。しかしながら、この処理は各ブロックに対してではなく、フレーム全体に対して行われる。これは、２タップ・フィルタがフレーム全体の境界に達するまでフレーム内のどの境界も考慮しないことを意味する。従って、残差フレーム全体を複数のマクロブロックやサブブロックに分割する必要はない。

第２の解決法は、（符号化効率を向上するために）残差予測が使用されると、モード決定処理においてアダプティブ・タイプが選択されるため、幾つかのフレームに対しては、残差予測を全く使用しないことである。即ち、モード決定の間、動き補償に関する全てのモードは、２つの異なるサブモード、残差予測を用いるモード、または、残差予測を用いないモードを試行する。どのモードが選択されたかを示すフラグである残差予測フラグがピクチャの各マクロブロックに書き込まれる。

実験により、ローパス・ピクチャが残差予測を使用する可能性が高いことが示されている。通常、ローパス・ピクチャのマクロブロックの約３０％で残差予測フラグが有効である。しかしながら、ハイパス・ピクチャの分解ステージが高ければ高いほど、残差予測を使用するマクロブロックが少なくなることが判明している。分解ステージが一番高いピクチャ（奇数ピクチャ）では、残差予測フラグが有効であるマクロブロックはほとんど存在しない。

本発明によれば、ＧＯＰのハイパス・フレームは、２つのインターリービング・グループに分割され、これらのグループのうちの一方のグループのフレームまたはピクチャでは、残差予測はフレーム・レベルで行われ、他方のグループの全てのフレームでは、残差予測が禁止され、従って、モード決定の間スキップされる。

本発明の一実施の形態においては、全ての奇数ピクチャに対する残差予測が禁止される。

残差予測が全く使用されない場合であっても、視聴者は、通常、歪み率性能の低下に気がつかないという利点がある。なぜならば、モードが変更されているマクロブロックが少ないからである。別の重要な理由は、ピクチャ全体におけるどのマクロブロックにも全く残差予測が使用されていない場合に、各マクロブロックは、残差予測フラグのために１つのビットを保存する。エントロピー符号化の後であっても、幾つかのビットが保存され、奇数ピクチャの符号化効率が向上する。

実際、演算量の観点からは、残差予測が無効である場合には、各マクロブロックに対するアップサンプリング処理がスキップされるため、復号処理の間の約半分の計算の負荷が低減される。これは、各リアルタイム復号器にとって有益である。

復号器の演算量を低減する別の方法は、他のハイパス・ピクチャ（即ち、偶数ハイパス・ピクチャ）のために、フレーム全体に基づいて残差アップサンプリングを実行することである。この利点は、動き推定（ＭＥ）ブロックの境界を実際に検出する必要はなく、フレームの境界に当たるまで、２タップ・フィルタが、フレーム全体を通して同様に実行されることである。従って、残差アップサンプリングの前に残差フレーム全体を複数のブロックに分割する必要はない。従って、小さなブロックのために分割する時間、メモリの移動時間が省かれる。

図２に示すように、高い符号化効率を維持するために、オリジナルのアダプティブ残差予測（ＯＲＰ）がローパス・ピクチャのために利用される。最も高い分解ステージ、例えば、ＧＯＰ内のピクチャＩＤが奇数値を有するフレームでは、残差予測が使用されず（ＮＲＰ）、これらのフレームにおける各マクロブロックのために残差予測フラグが保存される。他のハイパス・フレーム（ＧＯＰ内のピクチャＩＤ＝２、４、６）では、例えば、上述した簡略化された残差予測（ＳＲＰ）のような弱い残差予測スキームを選択することができる。

図３および図４は、残差予測および簡略化された残差予測との間の差を示している。現在のＪＳＶＭ残差予測は、各ブロック内で行われる。図３においてフィルタがＭＥブロックの境界に当たった際には、フィルタは停止し、図１に示すように、最近傍法を使用してアップサンプリングされた残差の境界が予測される。しかしながら演算量を低減するために、幾らかのハイパス・ピクチャのために用いられる残差予測処理を簡略化することを選択する。残差予測が行われる場合には、もはや、マクロブロック・レベルに基づいて行われる必要はない。従って、残差フレーム全体が分割される必要はなく、多くのメモリ動作が必要とならない。２タップ・フィルタでは、図４に示すように、畳み込み処理がフレームの右側または底部の境界に到達するまでは差は存在しない。図３および図４における境界は、畳み込み処理のためのものである。

原則的に、上述した２つの技術は、少なくとも幾つかのフレームのために簡略化した残差予測を用いるもの、さらに、他の少なくとも幾らかのフレームのために残差予測をスキップするものであり、これらは、互いに独立して使用してもよく、他のモードと組み合わせて使用することもできる。例えば、ハイパス・フレームを３つのグループに分割し、第１のグループは従来の符号化を使用し、第２のグループに簡略化した残差予測を使用し、第３のグループに残差予測のスキップを使用することができる。

さらに、偶数ハイパス・フレームを１つのグループに割り当て、奇数ハイパス・フレームをその他のグループに割り当てるのではなく、他のインターリービング・スキームを用いることもできる。例えば、以下のスキームを使用することができる。
Ｂ１〜Ｂ３、Ｂ５〜Ｂ７、Ｂ９〜Ｂ１１、Ｂ１３〜Ｂ１５には残差予測を使用しない。
Ｂ４、Ｂ８、Ｂ１２には簡略化されたアダプティブ残差予測を使用する。
Ｐ１およびＰ２にはオリジナルのアダプティブ残差予測を使用する。

想定される別のスキームは、例えば、上述した「残差予測無し」のグループと「簡略化されたアダプティブ残差予測」のグループを入れ替えることである。

復号器が本発明の符号化方法から生じたビデオ信号を受信すると、特定のＢフレームの連番から、残差予測がスキップされたかどうかを判定することができる。例えば、全ての奇数フレームでは、残差予測をスキップする。代替的には、フレームが残差予測が使用された可能性を示唆する上述した残差予測フラグを含むかどうかを評価することができる。このフラグが存在しない場合には、復号器は、符号化の間に残差予測がスキップされたと推定する。

アダプティブ残差予測は、他の想定可能なモード、例えば、インター４×４、インター１６×１６、インター８×８がテストされることを意味する。従って、アダプティブ残差予測と言った場合には、全てのモードについて、残差予測を用いる場合と、残差予測を用いない場合とでテストされる場合があることを意味する。従って、本発明の好ましい実施の形態においては、モード選択は、全てのハイパス・フレーム（Ｂ１、・・・Ｂ１５）について行われる。
偶数フレームについては、符号器は、複数の異なるモードから選択することができ、それぞれ、残差予測を用いる場合もあれば、残差予測を用いない場合もある。残差予測が選択される場合には、フレーム・レベルで、即ち、簡略化された残差予測が行われる。
奇数フレームについては、符号器は、複数のモードから選択することができるが、残差予測は各モードのいずれにも許されていない、即ち、残差予測は無効である。

従って、ハイパス・フレームは、どのように符号化されたかを示すインジケーション（例えば、フラグ）を含む。

従って、符号化の間に２つの決定を行う必要がある。第１の決定は、フレームのために残差予測を使用するかどうかである。このオプションを示すフラグは、既にピクチャ・パラメータ・セット（ＰＰＳ）の一部であるため、符号器の問題となる。第２の決定は、どのように残差予測を行うかである。簡略化されたタイプの残差予測を行うか、オリジナルのタイプの残差予測を行うかである。この決定の結果を示すための１つの想定される方法は、ＰＰＳにフラグを追加することであるが、これは、好ましくは、標準的な（ｎｏｒｍａｔｉｖｅ）ものにすべきである。次に、復号器は、このフラグから対応する復号方法を検出することができる。

本発明においては、インター（ハイパス）・ピクチャの複数の異なる分解レベルで、残差予測の重要性が異なることに基づき、復号器の演算量を大幅に低減する簡略化された解決法が提案される。

本発明は、ビデオ符号化およびビデオ復号のため、特に、ビデオが２つ以上の空間スケーラブル・レイヤーを含み、例えば、動き推定から生ずる残差を使用する際に使用することができる。

水平方向の残差アップサンプリングの原理を示す図である。 ＧＯＰがＧｏｐＳｉｚｅ＝８である場合の本発明に係る残差予測スキームを示す図である。 従来の残差予測のブロック境界を示す図である。 簡略化された残差予測を示す図である。

Claims (10)

1. 動き補償時間フィルタを用いた時間ウエーブレット分解によって得られるハイパス・フレームおよびローパス・フレームを含むビデオ・データを符号化する方法であって、前記符号化が予測および更新の各ステップに基づいて行われ、
   フレーム・レベルで残差予測を行うことを可能に、前記ローパス・フレームを符号化するステップと、
   前記ハイパス・フレームを該ハイパス・フレームの連番に基づいて２つのインターリービング・フレーム・グループに分割するステップと、
   前記フレーム・グループのうちの第１のフレーム・グループの各フレームを符号化するステップであって、フレーム・レベルで残差予測が使用される、該ステップと、
   残差予測を行わない符号化方法を使用して前記フレーム・グループのうちの第２のフレーム・グループの各フレームを符号化するステップと、
   を含む、前記方法。
2. 前記フレーム・グループのうちの第１のフレーム・グループの各フレームを符号化するステップは、複数の符号化モードのうちの１つを選択するステップを含み、可能な符号化モードの少なくとも１つはフレーム・レベルでの残差予測を使用し、かつ、前記可能な符号化モードのいずれもマクロブロック・レベルでの残差予測を使用しない、請求項１記載の方法。
3. 前記第１のフレーム・グループは、偶数ハイパス・フレームを含み、前記第２のフレーム・グループは、奇数ハイパス・フレームを含む、請求項１または２記載の方法。
4. 前記フレーム・グループのうちの第２のフレーム・グループの各フレームを符号化するステップは、モード選択を行うことを含む、請求項１〜３のいずれか一項記載の方法。
5. 符号化されたハイパス・フレームおよびローパス・フレームを含むビデオ・データを復号する方法であって、少なくとも前記ハイパス・フレームの復号が逆予測および逆更新の各ステップに基づいて行われ、
   前記ローパス・フレームの符号化モードに従って前記ローパス・フレームを復号するステップと、
   ハイパス・フレームの連番から第１または第２のフレームのグループに属するかを判定するステップと、
   前記ハイパス・フレームを復号するステップと、を含み、
   前記ハイパス・フレームが前記第１のフレームのグループに属する場合には、前記復号に、前記逆予測および逆更新ステップのために使用される残差のフレーム・レベルでの予測を使用し、前記ハイパス・フレームが前記第２のフレームのグループに属する場合には、前記逆予測および逆更新の各ステップに使用される残差は、予測無しに得られる、前記方法。
6. 動き補償時間フィルタを用いた時間ウエーブレット分解によって得られるハイパス・フレームおよびローパス・フレームを含むビデオ・データを符号化する装置であって、前記符号化が予測および更新の各ステップに基づいて行われ、
   フレーム・レベルで残差予測を行うことを可能に、前記ローパス・フレームを符号化する手段と、
   前記ハイパス・フレームを該ハイパス・フレームの連番に基づいて２つのインターリービング・フレーム・グループに分割する手段と、
   前記フレーム・グループのうちの第１のフレーム・グループの各フレームを符号化する手段であって、フレーム・レベルで残差予測が使用される、該手段と、
   残差予測を行わない符号化方法を使用して前記フレーム・グループのうちの第２のフレーム・グループの各フレームを符号化する手段と、を含む、前記装置。
7. 前記フレーム・グループのうちの第２のフレーム・グループの各フレームを符号化する手段は、モード選択を行う手段を含む、請求項６記載の装置。
8. 符号化されたハイパス・フレームおよびローパス・フレームを含むビデオ・データを復号する装置であって、少なくとも前記ハイパス・フレームの復号が逆予測および逆更新の各ステップに基づいて行われ、
   前記ローパス・フレームの符号化モードに従って前記ローパス・フレームを復号する手段と、
   ハイパス・フレームの連番から第１または第２のフレームのグループに属するかを判定する手段と、
   前記ハイパス・フレームを復号する手段と、を含み、
   前記ハイパス・フレームが前記第１のフレームのグループに属する場合には、前記復号に、前記逆予測および逆更新ステップのために使用される残差のフレーム・レベルでの予測を使用し、前記ハイパス・フレームが前記第２のフレームのグループに属する場合には、前記逆予測および逆更新の各ステップに使用される残差は、予測無しに得られる、前記装置。
9. 上位レイヤーのフレームのための残差予測が低位レイヤーの対応するフレームの残差をアップサンプリングすることを含む、請求項１〜５のいずれか一項記載の方法。
10. 上位レイヤーのフレームのための残差予測が低位レイヤーの対応するフレームの残差をアップサンプリングすることを含む、請求項６〜８のいずれか一項記載の装置。

Images