JP4991699B2 - ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法 - Google Patents

Description

本発明は、一般に、ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法に関し、より詳細には、ベースレイヤからモーション情報を導出することによってエンハンストレイヤをエンコーディングおよびデコーディングする方法に関する。

現在広く使用されている携帯電話またはノートブックコンピュータを介して、または、将来的に広く使用されるであろう携帯用ＴＶまたはハンドヘルドＰＣを介して、無線方式で伝送されるデジタルビデオ信号に、テレビ（ＴＶ）信号に必要な帯域幅のような広帯域幅を割り当てることは難しい。このため、このような携帯用装置のためのビデオ圧縮方式に用いられる標準には、より高いビデオ信号圧縮効率を持たせる必要がある。

さらに、係る携帯用装置は、ビデオ信号を処理したり提供したりする固有の能力が変化することを避けられない。したがって、１秒当たりのフレーム数、解像度、および１ピクセル当たりのビット数などの様々な結合されたパラメータに関して、様々な画質を有するビデオデータが、単一のイメージソースとして提供されなければならない能力に対応するよう、圧縮されたイメージがあらかじめ多様に準備されていなければならないため、コンテンツプロバイダにとっては、避けることのできない大きな負担となる。

このような理由から、コンテンツプロバイダは、個別のイメージソースごとに高ビットレートを有する圧縮されたビデオデータを準備し、携帯用装置がビデオデータを要求したときに、圧縮されたイメージをデコーディングする処理を実行し、イメージを要求した携帯用装置のビデオ処理能力に適したビデオデータに、そのデコーディングされたイメージをエンコーディングする処理を行い、次いで、エンコーディングされたビデオデータを提供する。しかしながら、このような方式には、トランスコーディング（デコーディング＋スケーリング＋エンコーディング）処理が伴うので、携帯用装置によって要求されたイメージを提供する際に若干の時間遅延が発生する。さらに、トランスコーディング処理は、エンコーディングする様々な対象に応じて、複雑なハードウェア装置およびアルゴリズムも必要とする。

このような問題点を克服するために、スケーラブルなビデオコーデック（ＳＶＣ：Scalable Video Codec）が提案されている。ＳＶＣは、ビデオ信号をエンコーディングする際に、最高画質でビデオ信号をエンコーディングし、かつエンコーディングの結果として生成されたピクチャ（フレーム）シーケンス全体の少なくとも一部（シーケンス全体から間欠的に選択されたフレームのシーケンス）がデコーディングされても、画質がある程度確保されるようにする方式である。

ＭＣＴＦ（Motion Compensated Temporal Filter）方式は、スケーラブルなビデオコーデックにおいて用いられるエンコーディング方式の一例である。ＭＣＴＦ方式は、制限された帯域幅しか有さない移動通信環境などの伝送環境に適用される可能性が高く、したがって、ＭＣＴＦ方式は、１秒当たりに送信されるビット数を減少させるために、高圧縮効率、すなわち、高コーディング効率を必要とする。

上述したように、スケーラブルな方式であるＭＣＴＦによってエンコーディングされたピクチャシーケンスのうち部分的なシーケンスのみが受信されて処理されても、画質はある程度確保することができる。しかし、ビットレートが低下すると、深刻な画質の低下につながる。このような問題を解決するために、例えば、小さな画面、および／または１秒当たりのフレーム数が少ないピクチャシーケンスといった、低ビットレート用の別途のサブピクチャシーケンスを提供することができる。

サブピクチャシーケンスはベースレイヤと呼ばれ、メインピクチャシーケンスはエンハンストレイヤ（または、エンハンスメントレイヤ）と呼ばれる。しかし、ベースレイヤおよびエンハンストレイヤは、時間的に異なる解像度および異なるフレームレートを有する同一のイメージコンテンツをエンコーディングすることによって得られるので、リダンダント情報（リダンダンシ）が２つのレイヤのビデオ信号において存在する。したがって、エンハンストレイヤのコーディング効率を向上させるために、エンハンストレイヤのビデオ信号は、ベースレイヤのモーション情報および／またはテクスチャ（texture）情報を用いて、予測されてエンコーディングされる。このようなエンコーディング方法は、レイヤ間予測方法（inter-layer prediction method）と呼ばれる。

レイヤ間予測方法において用いられるベースレイヤのモーション情報は、基準ブロックを含むピクチャ（フレーム）を表す基準インデックス情報、基準ブロックに対する変位を表すモーションベクトル情報、対応するブロック（エンコーディングされるマクロブロックを含み、エンハンストレイヤのフレームと時間的に一致するベースレイヤのフレーム内に配置され、ベースレイヤの画面サイズに対するエンハンストレイヤの画面サイズの比率に従ってブロックが拡大されるときに、そのマクロブロックをカバーする領域を有するブロック）の分割情報などを含む。

図１は、例えば、分割情報、基準インデックス情報、モーションベクトル情報といった、ベースレイヤから、エンハンストレイヤのマクロブロックのモーション情報を導出する従来の方法の実施形態を示す図である。図１（ａ）には、４×４サブブロックｂに対する基準インデックスおよびモーションベクトルがベースレイヤから導出される例が示されている。

まず、エンコーディングされるブロックにおける４つのコーナーピクセル（ｃ１〜ｃ４）の各々に対する基準インデックスおよびモーションベクトルをそれぞれ、各ピクセルに対応するベースレイヤのブロックに対する基準インデックスおよびモーションベクトルとして設定することができる。

しかしながら、時間的に一致するフレームがベースレイヤに存在しない場合と同様に、各ピクセルに対応するブロックがベースレイヤに存在しない場合、または、各コーナーピクセルに対応するブロックがイントラモード（intra mode）でエンコーディングされる場合、ブロックｂをイントラブロックとして設定することができる。

コーナーピクセルに対応するブロックが、基準ピクチャリストＬｉｓｔ＿０に存在するフレームを使用しない場合、Ｌｉｓｔ＿０に存在するフレームおよびＬｉｓｔ＿０に存在するフレームに向けられたモーションベクトルは、ブロックｂにおいて設定されない。これは、Ｌｉｓｔ＿１に対しても同等に適用される。

ブロックｂに対する基準インデックスｒｂ（Ｌｉｓｔ＿ｘ）は、それぞれのコーナーピクセルに対して決定された基準インデックスｒｃｉ（Ｌｉｓｔ＿ｘ）の最小値として設定され、ブロックｂに対するモーションベクトルｍｖｂ（Ｌｉｓｔ＿ｘ）は、設定された基準インデックスｒｂ（Ｌｉｓｔ＿ｘ）を有するコーナーピクセルのモーションベクトルの平均として設定される。

図１（ｂ）には、４×４サブブロックから８×８ブロックＢのモーション情報が導出される例が示されている。

４つの４×４サブブロックのすべてがイントラブロックである場合、８×８ブロックＢは、イントラブロックとして設定される。他の場合では、８×８ブロックＢの基準インデックス情報および分割情報は、以下の手順によって決定される。

それぞれの４×４サブブロックに対して、基準ピクチャリストＬｉｓｔ＿０およびＬｉｓｔ＿１に対する基準インデックスは、同一の値として設定される。例として、Ｌｉｓｔ＿０を用いて記述され、Ｌｉｓｔ＿１に対しても同一の動作が行われる。

４×４サブブロックがＬｉｓｔ＿０に存在するフレームを使用しない場合には、Ｌｉｓｔ＿０に対する基準インデックスおよびモーションベクトルは、８×８ブロックＢに対して設定されない。

他の場合では、８×８ブロックＢに対する基準インデックスｒＢ（Ｌｉｓｔ＿０）は、４つの４×４サブブロックに対する基準インデックスの最小値として算出される。算出された基準インデックスｒＢ（Ｌｉｓｔ＿０）を有する４×４サブブロックの平均モーションベクトルｍｖｍｅａｎ（Ｌｉｓｔ＿０）が算出される。さらに、４×４サブブロックにおいて、i）イントラブロック、ii）Ｌｉｓｔ＿０を使用しないブロック、または、iii）算出された基準インデックスｒＢ（Ｌｉｓｔ＿０）以外の基準インデックスｒｂ（Ｌｉｓｔ＿０）を有するブロックのそれぞれに対する基準インデックスおよびモーションベクトルが、算出された基準インデックスｒＢ（Ｌｉｓｔ＿０）および算出されたモーションベクトルｍｖｍｅａｎ（Ｌｉｓｔ＿０）として、それぞれ強制的に設定される。

その後、８×８ブロックＢに対する分割モード（partitioning mode）が次のように決定される。隣接する２つの４×４サブブロックのモーションベクトルが一致した場合、サブブロックも同一と見なされ、次いで、互いに結合される。図１（ｂ）において、サブブロックｂ１とｂ２とが同一であり、かつｂ３とｂ４とが同一である場合、分割モードは、ＢＬＫ＿８×４モードであると決定される。このとき、サブブロックｂ１とｂ３ともまた同一である場合には、分割モードは、ＢＬＫ＿８×８モードであると決定される。これと同様に、サブブロックｂ１とｂ３とが同一であり、かつｂ２とｂ４とが同一である場合、分割モードは、ＢＬＫ＿４×８モードであると決定される。他の場合では、分割モードは、ＢＬＫ＿４×４モードであると決定される。

しかしながら、ベースレイヤの画面サイズに対するエンハンストレイヤの画面サイズ（または、解像度）の比率が２の倍数でない場合（非ダイアディックケース（non−dyadic case））、例えば、ベースレイヤの画面サイズが、エンハンストレイヤの画面サイズの１／３、２／３などである場合、ベースレイヤから、基準インデックス情報、モーションベクトル情報、または分割情報などのモーション情報を導出するのは困難であり、それにより、レイヤ間予測方法を、エンハンストレイヤのスケーラブルなエンコーディングに十分に適用することができない。

本発明は上記の問題点を解決するためのものであり、その目的は、コーディング効率を向上させるために、非ダイアディックケースに対してもレイヤ間予測方法を效率的に適用する方法を提供することにある。

また、本発明の他の目的は、画面サイズの比率が２の倍数でない値を有するベースレイヤから適切なモーション情報を導出する方法、およびそれに対する新たな基準を提供することにある。

上述の目的を達成するために、本発明の一側面に従うと、ビデオ信号をエンコーディングする方法が提供される。この方法は、ビデオ信号をスケーラブルにエンコーディングし、第１のレイヤのビットストリームを生成する段階と、予め定められた方法を用いてビデオ信号をエンコーディングし、第２のレイヤのビットストリームを生成する段階とを備え、第１のレイヤのモーション情報は、第２のレイヤから導出され、第１のレイヤ内のイメージブロックに対する基準インデックスは、第２のレイヤに基づくメディアン基準（median criterion）を用いて決定される。

上述の目的を達成するために、本発明の別の側面に従うと、エンコーディングされたビデオビットストリームをデコーディングする方法が提供される。この方法は、スケーラブルにエンコーディングされて受信された第１のレイヤのビットストリームをデコーディングする段階と、予め定められた方法を用いてエンコーディングされて受信された第２のレイヤのビットストリームをデコーディングする段階とを備え、第１のレイヤのモーション情報は、第２のレイヤから導出され、第１のレイヤ内のイメージブロックに対する基準ブロックは、第２のレイヤに基づく中間基準を用いて決定される。

本発明の一態様に従うと、イメージブロックに対する基準インデックスとして、イメージブロック内の最大数のピクセルに対応する第２のレイヤのブロックに対する基準インデックスを選択することができ、同一数のピクセルが第２のレイヤ内の３以上のブロックに対応する場合、イメージブロックに対する基準ブロックとして、より近接した基準ブロックを選択することができる。同一数のピクセルに対応する第２のレイヤ内の３以上のブロックに対する基準ブロックが同一である場合、より小さな大きさを有するモーションベクトルを選択することができる。

本発明の別の態様に従うと、イメージブロックに対するモーションベクトルとして、決定された基準インデックスを有する第２のレイヤのブロックに対するモーションベクトルを選択することができ、決定された基準インデックスを有する第２のレイヤのブロックの数が２以上である場合、２以上のブロックに対するモーションベクトルの中から、より短い長さのモーションベクトルを選択することができる。

本発明のさらに別の態様に従うと、イメージブロックを構成し、かつ同一の大きさを有する２以上のサブブロックの各々に対する基準インデックスは、第２のレイヤに基づくメディアン基準を用いて決定することができ、イメージブロックに対する基準インデックスは、サブブロックの各々に対する基準インデックスに基づくメディアン基準を用いて決定することができる。２以上の異なる基準インデックスが選択される場合、より近接した基準インデックスを、イメージブロックに対する基準インデックスであると決定することができる。

本発明のさらに別の態様に従うと、イメージブロックを構成する各サブブロックは、イントラモードまたはインターモードのサブブロックに対応する第２のレイヤのブロックから任意に導出することができる。イメージブロックに対する基準インデックスおよびモーションベクトルは、導出されるイントラモードのサブブロック以外の、導出されるインターモードのサブブロックのみに基づいて第２のレイヤから導出することができる。

本発明によれば、ベースレイヤから、分割情報、基準インデックス情報、またはモーションベクトル情報を導出することができる。特に、ベースレイヤに対するエンハンストレイヤの画面サイズの比率が２の倍数でない値とするベースレイヤからモーション情報などを導出することができるため、コーディング効率を向上させることが可能になる。

本発明をさらに理解するために含まれる添付の図面は、本発明の好適な実施形態を例示するものであり、以下の記載とともに、本発明の原理を説明するのに役立つものである。

以下、添付の図面を参照しながら、本発明の実施形態について詳細に説明する。

図面中、同一の参照番号を付した本発明の機能、要素、および特徴は、１つ以上の実施形態に従う、同一、均等、または類似する機能、要素、および特徴を示している。

図２は、本発明に従う、ビデオ信号をスケーラブルにエンコーディングする方法が適用されるビデオ信号エンコーディング装置の構成を示す図である。

図２のビデオ信号エンコーディング装置は、例えば、ＭＣＴＦ方式を用いてマクロブロック内の入力ビデオ信号をスケーラブルにエンコーディングし、適切な管理情報を生成するためのエンハンストレイヤ（ＥＬ：Enhanced Layer）エンコーダ１００と、エンコーディングされた各マクロブロックのデータを圧縮ビットストリームに変換するためのテクスチャコーディングユニット１１０と、予め定められた方法を用いて、ＥＬエンコーダ１００より得られたイメージブロックのモーションベクトルを圧縮ビットストリームにコーディングするためのモーションコーディングユニット１２０と、例えば、ＭＰＥＧ１、ＭＰＥＧ２、またはＭＰＥＧ４や、Ｈ．２６１またはＨ．２６４といった予め定められた方法を用いて、入力ビデオ信号をエンコーディングし、例えば、オリジナルの大きさの２５％の大きさ、または非ダイアディックケースでは、オリジナルの大きさの３３％の大きさを有するピクチャのシーケンスなどの、小さな画面シーケンスを生成するためのベースレイヤ（ＢＬ：Base Layer）エンコーダ１４０と、テクスチャコーディングユニット１１０の出力データ、ベースレイヤ（ＢＬ）エンコーダ１４０の小さな画面シーケンス、およびモーションコーディングユニット１２０の出力ベクトルデータを予め定められたフォーマットでカプセル化し、カプセル化されたフォーマットデータを予め定められた伝送フォーマットで多重化し、そして、その伝送フォーマットでデータを出力するためのマルチプレクサ（ＭＵＸＥＲ）１３０とを備えている。

ＥＬエンコーダ１００は、任意のビデオフレーム（または、ピクチャ）内のマクロブロックからモーション推定により得られた基準ブロックを減じる予測動作を実行し、マクロブロックと基準ブロックとの間のイメージ差を基準ブロックに選択的に付加する更新動作を実行することができる。

ＥＬエンコーダ１００は、入力ビデオフレームシーケンスを、例えば、奇数フレームおよび偶数フレームなどの、イメージ差を有するフレームおよび残余フレーム（すなわち、イメージ差が選択的に付加されるフレーム）に分離することができ、例えば、単一の高周波フレーム（予測動作により生成されたフレーム、これを「Ｈ」フレームと呼ぶ）、および単一の低周波フレーム（更新動作により生成されたフレーム、これを「Ｌ」フレームと呼ぶ）が単一のピクチャグループ（ＧＯＰ：Group Of Pictures）に対して生成される時間的分解レベル（temporal decomposition level）までといった、数回の時間的分解レベルを介して、予測動作および／または更新動作を実行することができる。

ＥＬエンコーダ１００は、以前の時間的分解レベルで得られた低周波フレームまたは入力ビデオフレームのうち、イメージ差を有するフレームを、各々が予め定められた大きさを有するマクロブロックに分離することと、以前のフレームおよび後続のフレーム、または自身のフレームにおいて、各分離されたマクロブロックのイメージと最も類似するイメージを有するブロックを検出することと、予測されるイメージを生成することと、モーションベクトルを得ることとを行う処理を実行することができる。ＥＬエンコーダ１００は、フレーム内の全てのマクロブロックに対して上記の処理を実行することによって、対応するフレームに対する予測されるイメージである高周波フレームを完成する。

代替として、ＥＬエンコーダ１００は、イントラＢＬ予測方法を用いて、ベースレイヤのフレームからマクロブロックに対する基準ブロックを検出することができる。この場合、ＥＬエンコーダ１００は、ＢＬエンコーダ１４０によって生成されたベースレイヤの時間的に一致するフレーム内においてイントラモードでエンコーディングされた対応するブロックを検出することによって、予測されるイメージを生成することができる（この対応するブロックは、マクロブロックを有するフレームと時間的に一致するベースレイヤのフレーム内に配置され、ベースレイヤに対するエンハンストレイヤの画面サイズの比率に従ってブロックが拡大されるときに、現在のマクロブロックをカバーする領域を有する）。

さらに、上述したように、ＥＬエンコーダ１００は、イントラＢＬ予測方法によって、ベースレイヤのイメージデータ（テクスチャ）を用いてエンハンストレイヤのマクロブロックをエンコーディングするだけでなく、ベースレイヤの対応するブロックに関するモード、基準インデックス、またはモーションベクトルなどのモーション情報に基づいて、エンハンストレイヤのマクロブロックをエンコーディングすることもできる。

さらに、ＥＬエンコーダ１００は、必要に応じて、以前の時間的分解レベルで得られた低周波フレームまたは入力ビデオフレームのうち、イメージ差が付加されるフレーム内の各マクロブロックに対して、マクロブロックの領域の一部または全部に基づいて行われた予測動作によりイメージ差を有するようにエンコーディングされたフレーム内の対応する領域をマクロブロックに付加する更新動作を実行する。この場合、更新されるマクロブロックのモーション情報は、ベースレイヤの対応するブロックから導出されるので、マクロブロックは、モーション情報に基づいて更新することができる。ＥＬエンコーダ１００は、フレームのマクロブロックの全てに対して上述の動作を実行することによって、対応するフレームに対する低周波フレームを完成する。

次に、本発明に従う予測処理および／または更新処理の間に、ベースレイヤから、エンハンストレイヤのマクロブロックの分割情報、基準インデックス情報、またはモーションベクトル情報などのモーション情報を導出する方法について詳細に説明する。

図３を参照しながら、ベースレイヤから、各４×４サブブロックに対する基準インデックスおよびモーション情報を導出する方法の実施形態について説明する。基準インデックスを決定するために、メディアン基準が用いられる。

エンハンストレイヤの４×４サブブロック内の各ピクセルに対応するベースレイヤのブロックが決定される。最大数のピクセルに対応するベースレイヤのブロックに対する基準インデックスは、エンハンストレイヤの４×４サブブロックに対する基準インデックスとして選択される。この状況において、同一数のピクセルがベースレイヤの２個のブロックに対応する場合、相対的により近接した基準インデックスが選択される。２個のブロックに対する基準インデックスが同一である場合、より小さな大きさを有するモーションベクトルが選択され得る。

モーションベクトルとして、選択された基準インデックスを有するベースレイヤのブロックに対するモーションベクトルが選択される。選択された基準インデックスを有するベースレイヤのブロックの数が２以上の場合、より短い長さのモーションベクトルが、２以上のブロックのモーションベクトルの中から選択され得る。

図４を参照しながら、８×８ブロックに対する基準インデックスおよびモーションベクトルを導出する方法の実施形態について説明する。ここでも同様に、基準インデックスを決定するために、メディアン基準が用いられる。

まず、図４（ａ）に示すように、上述した本発明の実施形態に従って４個の４×４サブブロックに対する基準インデックスおよびモーションベクトルが得られる。最適な基準インデックスおよび最適なモーションベクトルは、４個のサブブロックに対する基準インデックスおよびモーションベクトルの中から得ることができる。

他の方法として、基準インデックスおよびモーションベクトルがまず得られる４×４サブブロックから８×８ブロックに対する基準インデックスおよびモーションベクトルの候補を選択する代わりに、８×８ブロックに対応するベースレイヤのブロックに対する基準インデックスの中から、最適な基準インデックスを選択することができる。４×４サブブロックの場合と同様に、使用可能な基準インデックスの中から、最も頻繁に使用される基準インデックスを選択することができる。

例えば、図４（ｂ）に示すように、８×８ブロックに属する各ピクセルに対して、ピクセルに対応するベースレイヤのブロックに対する基準ブロックが、当該ピクセルに対する基準インデックスとして関連付けられ（connected）、最大数のピクセルに関連付けられた基準インデックスは、８×８ブロックに対する基準インデックスとして選択することができる。

この場合、２以上の異なる基準インデックスが８×８ブロックに対して選択される場合、より近接した基準インデックスが、８×８ブロックに対する基準インデックスであると決定される。

一方、８×８ブロックのモードがベースレイヤから導出される場合には、Ｎ×ＮイントラサブブロックモードおよびＮ×Ｎインターサブブロックモードが、８×８ブロック内に共存する。したがって、本発明では、図５に示すように、４×４イントラモードと、４×４インターモードと、８×４インターモードとから構成される８×８ブロックのモードも導出することができる。この場合、従来の方法を、ブロックの組合せに対して適用することができる。

８×８ブロックのモードが導出されて決定されると、単一の基準インデックスが、上述の方法に従って、８×８ブロック内の導出されたイントラモードの４×４サブブロック以外の、導出されたインターモードのサブブロックにのみ基づいて選択される。

上述した方法によってエンコーディングされたデータストリームは、無線または有線でデコーディング装置に伝送することもできるし、記録媒体を介して伝送することもできる。デコーディング装置は、後述する方法に従って、オリジナルのビデオ信号を再構成する。

図６は、図２の装置によってエンコーディングされたビットストリームをデコーディングする装置を示すブロック図である。図６のデコーディング装置は、受信したビットストリームを圧縮モーションベクトルストリームおよび圧縮マクロブロック情報ストリームに分離するためのデマルチプレクサ（ＤＥＭＵＸＥＲ）２００と、圧縮マクロブロック情報ストリームをオリジナルの圧縮が復元されたストリームに再構成するためのテクスチャデコーディングユニット２１０と、圧縮モーションベクトルストリームをオリジナルの圧縮が復元されたストリームに再構成するためのモーションデコーディングユニット２２０と、例えば、ＭＣＴＦを用いて圧縮が復元されたマクロブロック情報ストリームおよび圧縮が復元されたモーションベクトルストリームに対して逆変換を実行し、オリジナルのビデオ信号を得るためのエンハンストレイヤ（ＥＬ）デコーダ２３０と、例えば、ＭＣＴＦ、ＭＰＥＧ−４、またはＨ．２６４といった予め定められた方法を用いてベースレイヤストリームをデコーディングするためのベースレイヤ（ＢＬ）デコーダ２４０とを備えている。

ＥＬデコーダ２３０は、エンコーディングされて入力されるか、または以前の時間的レベルでデコーディングされて生成された「Ｌ」フレーム内のマクロブロックに対して、逆更新動作（inverse update operation）を実行する。この逆更新動作により、ＥＬデコーダ２３０は、マクロブロックの領域の一部または全部に基づいて予測され、かつイメージ差としてエンコーディングされた「Ｈ」フレームの領域が、基準インデックスおよびモーションベクトルを参照して存在するか否かを判定し、必要に応じて、マクロブロックのイメージ値から、決定された領域のイメージ差を減じる。ＥＬデコーダ２３０は、「Ｌ」フレーム内の全てのマクロブロックに対して上記の動作を実行することによって、対応する時間的レベルで「Ｌ」フレームを完成する。

この場合、モーションベクトルデコーディングユニット２２０が、基準インデックスおよびモーションベクトル情報を提供してもよいし、図３および図４を参照して説明した方法を用いて、ＢＬデコーダ２４０によって提供された情報またはデータに基づいて、ベースレイヤから、基準インデックスおよびモーションベクトル情報を導出してもよい。

さらに、エンハンストレイヤのマクロブロックにおける各サブブロックの形状および各サブブロックに対するモーションベクトルは、マクロブロックのヘッダに記録された分割情報に基づいて得ることができる。代替として、マクロブロックの各サブブロックの形状および各サブブロックのモーションベクトルは、図５を参照して説明した方法を用いて、ベースレイヤから導出することができる。

さらに、ＥＬデコーダ２３０は、エンコーディングされて入力された任意の時間レベルで「Ｈ」フレーム内の各マクロブロックに対して、逆予測動作（inverse prediction operation）を実行する。この逆予測動作により、ＥＬデコーダ２３０は、モーションベクトルデコーディングユニット２２０によって提供されるか、またはベースレイヤから導出された基準インデックス、分割情報、およびモーションベクトルを参照して逆更新動作によって生成された後続する時間的レベルで「Ｌ」フレーム内の基準領域を決定し、マクロブロックのイメージ差に基準領域のイメージ値を付加する。ＥＬエンコーダ２３０は、「Ｈ」フレーム内の全てのマクロブロックに対して上述の動作を実行することによって、後続する時間的レベルで「Ｌ」フレームを完成する。完成した「Ｌ」フレームは逆更新されるので、逆更新された「Ｌ」フレームおよび完成した「Ｌ」フレームは交互に配列される。

上述した方法に従うと、エンコーディングされたデータストリームが、完全なビデオフレームシーケンスに再構成される。特に、予測動作および更新動作が、例えばＭＣＴＦ方法を用いて説明したエンコーディング処理の間に、単一のＧＯＰに対してＮ回（すなわち、Ｎの時間的分解レベルで）実行される場合、ＭＣＴＦデコーディング処理の間に、逆更新動作および逆予測動作がＮ回実行されると、オリジナルのビデオ信号の画質と一致する画質を得ることができる。逆更新動作および逆予測動作がＮ回よりも少ない回数しか実行されない場合には、画質はやや低下するが、より低いビットレートのビデオフレームシーケンスを得ることができる。したがって、デコーディング装置は、所望の性能に適するよう、逆更新動作および逆予測動作を実行するように設計される。

上述したデコーディング装置は、移動通信端末や、記録媒体を再生する装置に搭載することができる。

例示の目的のために、本発明の好適な実施形態を開示したが、当業者であれば、特許請求の範囲に記載した本発明の趣旨および範囲を逸脱しない範囲内で、様々な変更、追加、および代替が可能であることが理解されよう。

ベースレイヤから、エンハンストレイヤのマクロブロックのモーション情報を導出する従来の方法の実施形態を示す図である。 本発明に従う、ビデオ信号をスケーラブルにエンコーディングする方法が適用されるビデオ信号エンコーディング装置の構成を示す図である。 本発明に従って、ベースレイヤから、４×４サブブロックに対する基準インデックスおよびモーションベクトルを導出する方法の実施形態を示す図である。 本発明に従って、ベースレイヤから、８×８ブロックに対する基準インデックスおよびモーションベクトルを導出する方法の実施形態を示す図である。 本発明に従って、ベースレイヤから、８×８ブロックに対するモードを導出する方法の実施形態を示す図である。 図２の装置によってエンコーディングされたビットストリームをデコーディングする装置の構成を示す図である。

Claims (3)

1. ビデオ信号をデコーディングする方法であって、
   ベースレイヤの対応するブロックのモーション情報に基づいてエンハンストレイヤの現在のブロックのモーション情報を導出する段階であって、前記モーション情報はモーションベクトル及び基準インデックスを含む、段階と、
   前記現在のブロックの前記モーション情報を使用して前記現在のブロックの第１のピクセル予測値を取得する段階と、
   前記ベースレイヤの前記対応するブロックの中のイントラ符号化ブロックに基づいて前記現在のブロックの第２のピクセル予測値を取得する段階と、
   前記第１のピクセル予測値及び前記第２のピクセル予測値を、受信した残りの値に追加することによって、前記現在のブロックを再構成する段階であって、前記受信した残りの値は、前記現在のブロックのオリジナルのピクセル値と前記現在のブロックのピクセル予測値との間の差分であり、前記ピクセル予測値は、前記第１のピクセル予測値及び前記第２のピクセル予測値を含む、段階と、
   を備え、
   前記ベースレイヤの前記対応するブロックは前記エンハンストレイヤの現在のブロックに対応し、
   前記ベースレイヤと前記エンハンストレイヤの間の空間解像度の比率は非ダイアディック（non−dyadic）であること
   を特徴とする方法。
2. 前記現在のブロックの前記第２のピクセル予測値は、前記イントラ符号化ブロックのピクセル値から取得されること
   を特徴とする請求項１に記載の方法。
3. ビデオ信号をデコーディングする装置であって、
   ベースレイヤの対応するブロックのモーション情報に基づいてエンハンストレイヤの現在のブロックのモーション情報を導出し、
   前記現在のブロックの前記モーション情報を使用して前記現在のブロックの第１のピクセル予測値を取得し、
   前記ベースレイヤの前記対応するブロックの中のイントラ符号化ブロックに基づいて前記現在のブロックの第２のピクセル予測値を取得し、
   前記第１のピクセル予測値及び前記第２のピクセル予測値を、受信した残りの値に追加することによって、前記現在のブロックを再構成し、前記受信した残りの値は、前記現在のブロックのオリジナルのピクセル値と前記現在のブロックのピクセル予測値との間の差分であり、前記ピクセル予測値は、前記第１のピクセル予測値及び前記第２のピクセル予測値を含む、
   エンハンストレイヤデコーダを備え、
   前記ベースレイヤと前記エンハンストレイヤの間の空間解像度の比率は非ダイアディック（non−dyadic）であり、
   前記モーション情報はモーションベクトル及び基準インデックスを含み、
   前記ベースレイヤの前記対応するブロックは前記エンハンストレイヤの現在のブロックに対応することを特徴とする装置。

Images