JP5300921B2 - 符号化および復号のための方法および装置 - Google Patents

Description

本発明は、請求項１の上位概念に記載のビデオ符号化方法、請求項２０の上位概念に記載の復号方法、ならびに請求項２１の上位概念に記載のビデオ符号化のための符号化装置、請求項２２の上位概念に記載の復号装置に関する。

ディジタルビデオデータは、記憶あるいは伝送のために膨大なデータ容量を著しく低減する目的で一般的に圧縮される。その際に圧縮は、ビデオデータ中に含まれている信号冗長性の排除によっても行われるし、人間の目では知覚できない重要ではない信号成分の除去によっても行われる。これは通常、ハイブリッド符号化方式によって行われ、これによれば符号化すべき画像が最初に時間的に予測され、ついで残留する予測誤差が周波数領域においてたとえば離散コサイン変換などによって変換され、その状態で量子化され、可変長符号によって符号化される。その後、動き情報および量子化されたスペクトル係数が伝送される。

次に伝送すべき画像情報に対するこのような予測が向上すればするほど、予測後に残留する予測誤差が小さくなり、引き続きその誤差を符号化するためにデータレートをいっそう僅かにしか使わなくて済むようになる。したがってビデオデータを圧縮する際の重要な課題は、符号化すべき画像のできるかぎり精確な予測をすでに先行して伝送されている画像情報から得ることである。

画像の予測はこれまで、画像を最初にたとえば規則的な部分ブロックに分割し、典型的には８×８画素サイズまたは１６×１６画素サイズの正方形ブロックに分割し、次にこれらの画像ブロック各々について、すでに受信側において既知である画像情報に基づき動き補償によって予測が求められることによって行われていた。（ただしこの場合、それぞれ異なるサイズのブロックを生じさせることもできる。）図１には、このようなやり方が示されている。この場合、予測に関して２つの基本的なケースを区別することができる。

単方向予測：この場合、動き補償はもっぱら、先行して伝送された画像に基づき行われ、これによりいわゆる「Ｐフレーム」が形成される。

双方向予測：この場合、画像の予測は２つの画像の重畳によって行われ、これらの画像のうちの一方は時間的に前、他方は時間的に後に続くものであり、これによっていわゆる「Ｂフレーム」が形成される。ここで留意したいのは、２つの参照画像双方がすでに伝送されていることである。

これら考えられる２つの予測のケースに応じて、動き補償された時間的なフィルタリング（Motion Compensated Temporal Filtering, MTCF）においてＭＳＲＡ（非特許文献１）による方式によれば、図２に描かれているように５つの方向モードが生じることになる。

可能なビットレートに関して、ならびに時間的および局所的な分解能レベルに関して、著しく広い範囲にわたり良好なビデオ品質を保証する目的で、ＭＣＴＦベースのスケーラブルビデオ符号化が用いられる。ただしこの場合、今日知られているＭＣＴＦアルゴリズムは低減されたビットレートについては許容できない結果を示しており、これは画像シーケンスにより定義されるビデオの動き情報（ブロック構造および動きベクトル）に係わる情報に比べてテクスチャ（ブロック情報）が少なすぎることに起因する。

したがってテクスチャと動きデータとの間の最適な関係を各ビットレートおよび分解能においても達成するためには、動き情報のスケーラブルなフォームが必要である。この目的で非特許文献１によれば、ＭＣＴＦアルゴリズムの現在の状態を表すＭＳＲＡ（Microsoft Research Asia）のソリューションが知られている。

この場合、ＭＳＲＡソリューションによれば、動きをレイヤごとに表示させるか、もしくは動きを漸次細分化された構造に分解することが提案されている。したがってＭＳＲＡ方式によって、低いビットレートにおいて画像の品質を概して向上させることができるようになる。

ただしこのソリューションの欠点は、再構成された画像においていくらかずれが引き起こされることである。これは動き情報とテクスチャとの間のずれに起因する。

特許文献１によれば、これに対する改善策が知られている。

そこに記載されている手法によれば、符号化側で定義されるたとえばＭＳＲＡに従って生成される完全な動きベクトルフィールド（一時的なブロック構造ＭＶ＿ＱＣＩＦ，ＭＶ＿ＣＩＦおよびＭＶ＿４ＣＩＦ）が完全に伝送されるのではなく、この動きベクトルフィールドの最も重要な部分だけが伝送されるにすぎない。その際、最も重要な部分の生成はブロック構造に対する一種の細分化により行われ、これは構造特性に基づき相前後して続くブロック構造間における構造差の一部分だけを求めて、細分化されたブロック構造の生成のために用いることによって実現される。

ここで問題となるのは、細分化されたブロック構造およびそれに属するテクスチャにより達成される視覚的品質のどれもが、対応する基本構造およびそれに属するテクスチャにより達成可能な視覚的な品質よりも高まるわけではないことである。

ドイツ連邦共和国特許出願第10 2004 038 110.0号

Jizheng Xu, Ruiqin Xiong, Bo Feng, Gary Sullivan, Ming-Chieh Lee, Feng Wu, Shipeng Li, "3D subband video coding using Barbell lifting", ISO/IEC JTC1/SC29/ WG11 MPEG 68th meeting, M10569/s05, Munich, March 2004.

本発明の基礎となる課題は、細分化された構造の改善された埋め込みないしは組み込みを可能にする符号化および復号のための方法を提供することにある。

この課題は、請求項１の上位概念に記載された符号化方法において、その特徴部分に記載された方法により解決される。

さらに上記の課題は、請求項２０の上位概念に記載の復号方法、請求項２１の上位概念に記載の符号化器、ならびに請求項２２の上位概念に記載の復号器において、それらの特徴部分に記載された構成によって解決される。

スケーラブルな動き情報を生成するための動き予測モデルを示す図である。 このために必要とされる方向モードを示す図である。 ここで用いられるサブブロックサイズを示す図である。 本発明に従って生成されるブロック構造を示す図である。 更新に関する本発明の判定について示す図である。 更新されたビットストリームを本発明に従って生成する様子を示す図である。

本発明による画像シーケンスのビデオ符号化方法によれば、画像シーケンスの画像がスケーリングされ符号化されて、発生したビデオデータが、画像表現ごとに画素数により定義された画像分解能に関して、および／または画像品質に関して（たとえばデータレートに依存して）、それぞれ異なる複数のレベルで画像を表現可能な情報を含み、符号化がブロックベースで行われ、複数の画像のうち１つの画像の一部分について画像シーケンス中に場合によっては含まれる動きを記述するために、動きを記述する少なくとも１つのブロック構造が生成され、このブロック構造は、１つのブロックから複数の部分ブロックへ分割され、同時に一部分でそれらの部分ブロックが順次細かく分けられたサブブロックに分割される。この場合、一時的に少なくとも第１の分解能レベルのために第１のブロック構造が生成され、第２のブロック構造のために第２のブロック構造が生成され、その際、第１の分解能レベルは第２の分解能レベルよりも低い画素数および／または画像品質を有している。さらに第２の第２のブロック構造が第１のブロック構造と比較され、これらのブロック構造における差が求められる。その結果、このような構造差の特性に基づき、第２のブロック構造の部分集合を成す構造をもつ変更された第２のブロック構造が生成される。さらに、変更された第２のブロック構造と第２のブロック構造が、少なくとも画像品質に比例する値に基づき比較され、改善された品質に正比例する値をもつブロック構造がビットシーケンス符号化の基礎とされる。

この方法のステップによって、各テクスチャ情報間の差が最小化され、しかもこれらの情報を最低限の煩雑さで符号化できるようになる。しかも、たとえば最も細かい動きベクトルフィールドが選択されているケースではずれがなくなり、その結果、ビットレートと分解能が比較的低くても画像品質の向上が可能となる。

さらに本発明による比較動作によれば殊に、動き予測と残留エラー画像の埋め込みないしは取り込みとの間においてステップごとに絶えずいっそう良好に整合していくとりわけ最適なマッチングが実現される。しかも本発明は殊に効率的な点で優れている。

この目的で有利には差の形成のために追加されたサブブロックが捕捉され、その際、差の形成のために択一的にもしくはこれに加えるかたちでサブブロックの特性が捕捉される。

サブブロック特性としてサブブロックのブロックサイズが捕捉されるならば、生成されるブロック構造の細かさの程度に対し実際の適用においてきわめて良好な指標が得られる。

差を求めるために、第２のブロック構造の部分ブロックに対応する第１のブロック構造における部分ブロックだけが利用されるならば、テクスチャ情報の差分をさらにいっそう低減することができる。

ここで有利であるのは、第２のブロック構造において定義可能な閾値に達したブロックサイズをもつサブブロックを、変更された第２のブロック構造に取り込むことである。これにより、ブロック構造全体すなわち動きベクトルフィールド全体を伝送する必要はなく、ブロック構造における最も重要な部分だけを伝送すればよくなる。１つにはこれによって、伝送すべき情報が低減されることになり、しかもこのような低減にもかかわらずずれがなくなり、もしくは減少し、その結果、符号化された画像におけるアーチファクトがなくなり、もしくは減少する。実際の適用において、定義可能な閾値を用いるのは著しく有利であり、その理由は、たとえばシミュレーションまたは実験的試行により求められた最適な値をここで調整できるからであり、そのような値について、シミュレーションもしくは実験の結果に基づき非常に良好な結果が期待されるものである。

その際、閾値を以下のように定義するのが有利である。すなわち第２のブロック構造における１つのサブブロックのブロックサイズと、比較に利用される第１のブロック構造の領域中に含まれこの領域の最小サブブロックに属するブロックサイズとの比が、上述の閾値によって表されるよう定義される。

さらに１つの実施形態によれば、取り込まれたサブブロックは非二項ないしは非ダイアディック（non-dyadic）に分割可能であることを特徴としている。

第３の分解能レベルにおける第１のブロック構造として、第２の分解能レベルにおける変更された第２のブロック構造が用いられ、この第２の分解能レベルは、上述の第３の分解能レベルよりも低い画素数および／または画像品質を有するように構成すれば、復号画像の表示に関してさらに結果を向上させることができる。
つまりこれによって、変更された第２のブロック構造を生成するためにいっそう高い分解能レベルのさらに別の可能なブロック構造が用いられ、その際、それぞれ先行する分解能レベルの変更された第２のブロック構造が本発明による比較のために使われる。

符号化を以下のようにして行うのも復号のために有利である。すなわちこの場合、変更された第２のブロック構造に取り込まれないサブブロックがそれぞれ識別されるよう、符号化を行うのである。

このために有利であるのは、たとえば「非細分化」と称する方向モードを適用して上述の識別を行うことである。

本発明の１つの実施形態によれば、ビットシーケンスの符号化にあたりビットストリームが、これによってスケーラブルなテクスチャが表現されるよう生成される。その際にこのことは有利には以下のことにより行われる。すなわちビットストリームがビットプレーンの個数により実現されることによって、ならびにビットストリームが少なくとも比較結果および伝送のために実現すべきビットレートに殊に依存して変更されることによって行われる。これによって、マッチングされたＳＮＲスケーラビリティが達成される。

しかも、ビットプレーンの個数を分解能レベルに依存して変更すれば、ＳＮＲスケーラビリティの細かい粒度が保証される。

有利には、変更された第２のブロック構造の値が正比例であれば、第２のブロック構造を表すビットプレーンにおける少なくとも第１の部分が更新される。これにより復号器側で、対応する変更された第２のブロック構造が利用できるようになる。

その際、更新はたとえば、第２の部分の伝送が行われることによって実施され、あるいは択一的にビットプレーンの第１の部分が第２の部分により変更されることによって行われる。

ここで、この更新は有利には次のようにして行われる。すなわち、第２のブロック構造に属するテクスチャにおいて、変更された第２のブロック構造により定義されている領域が細分化され、それによって最終結果において、種々の局所時間分解能もしくはビットレートであっても良好な画像品質が得られるようになり、その際、動きベクトルフィールドとブロック構造の細分化に利用されない残留エラーブロックとの間のずれによって生じるドリフトは伴わない。

高いビットレートにおいて前述の個数を上回る第２の個数のビットプレーンを伝送すれば、いっそう細かい粒度の付加的なサポートが実現される。

本発明の基礎とする課題は、符号化画像シーケンスを復号する方法によっても解決さる。すなわちこの方法によれば、画像シーケンス中に含まれており動き情報更新方法たとえば上述の方法に従って生成された情報、ならびにスケーラブルテクスチャを表現するビットストリームを考慮して、スケーリングされた画像シーケンス表現が生成される。

上述の課題を解決するために、さらに本発明による符号化器ならびにこれに対応する復号器も寄与している。この場合、符号化器は本発明による方法を実施する手段を有しており、復号器は本発明による方法に従い生成された符号化画像シーケンスを復号する手段を有している。

有利にはこの目的で復号器には、スケーラブルテクスチャを表現するビットストリーム部分を示す第１の信号を検出する手段と、さらにこれに加えて、更新すべき領域を示す第２の信号を検出する手段が設けられている。これらの信号はそれぞれたとえばシンタックスエレメントとして構成されている。この構成により、本発明による方法によって達成される表示品質向上を復号器側で実施できるようになる。

更新によって符号化画像シーケンス表現を向上させるビットプレーンを求める手段が復号器に設けられていれば、さらに択一的にあるいはこの手段に加えて、テクスチャの更新を行うべきビットプレーンを求める手段が復号器に設けられていれば、細分化されたもしくはスケーリング可能な画像シーケンス表現を精確に再構成できるようになる。

更新された動き情報が考慮されるように構成されたテクスチャ更新手段が復号器に設けられているならば、本発明による符号化方法によって達成されるずれの解消が、復号器側で生成されたスケーリング可能な画像シーケンス表現において保証される。

ここで復号器は有利には、存在するテクスチャから更新されたテクスチャが以下のようにして形成されるように構成された更新手段が設けられていることを特徴としている。すなわちこの更新手段によって、テクスチャに属するテクスチャ情報とテクスチャ更新情報から更新されたテクスチャ情報が形成される。さらにこの更新手段は、テクスチャ情報が少なくとも部分的にテクスチャ更新情報によって置き換えられるように構成されている。

図１〜図７を参照しながら本発明の実施例に基づき、本発明の詳細な点ならびに利点について説明する。

図１には、従来技術により知られているＭＳＲＡソリューションが描かれており、本発明の理解を深めるためにこれについて説明する。なぜならば以下で説明する実施例では、このソリューションが少なくとも部分的に適用されるからである。

ＭＳＲＡによれば、既述のマルチレイヤ動き予測が一時的なレイヤにおいて実施される。この場合、動き予測は、生成される動きベクトルフィールドを復号された分解能に整合させることができるようにする目的で、それぞれ異なるマクロブロックサイズを有する一定の空間分解能において実現される。たとえば、元の分解能レベルがＣＩＦ符号化されたフォーマットであり、復号される分解能レベルがＱＣＩＦフォーマットとして行われるのであれば、ＣＩＦフォーマットの分解能レベルもしくはＣＩＦ分解能で動き予測が実行され、この動き予測はベースとして３２×３２のブロックサイズで、また、最小ブロックサイズとして８×８のマクロブロックサイズで行われる。これに対し復号されるフォーマットがＣＩＦフォーマットであれば、図１に示されているようにマクロブロックのサイズはファクタ２だけ下方にスケーリングされる。

さらに図１に示されているように、ＱＣＩＦフォーマットとして存在するブロックの復号に関してそこに描かれている処理の下方の分岐において元の動きベクトルが伝送される一方、それよりも高いレイヤ各々については、たとえばＣＩＦブロック復号のために用いられるレイヤについては、動きベクトルに関する差分情報だけが利用される。この場合、ブロックをいっそう小さい部分ブロックに分割すれば、低い方のレイヤにおける単一の動きベクトルを高い方のレイヤにおける複数のベクトルの予測に用いることができる。

既述のように、また、図２に描かれているように、ここで種々のモードは動き補償の方向を表す一方、ＭＳＲＡ方式によるブロック構造は、MPEG-4 AVC (Advanced Video Coding 特許文献１)標準で用いられるのと同じ方法に従って符号化される。

符号化すべきブロック構造および動き補償の方向を選択する目的でＭＳＲＡアプローチによればいわゆるコスト関数が利用され、これはこの関数のために定義されており、「レート歪み最適化 Rate Distortion Optimisation」という用語で知られている。

ＭＳＲＡによる動きのマルチレイヤ表現において、それぞれ異なる局所分解能に整合される種々の動きの記述が、同じ一時的なレイヤ（フレームレート）のために生成される。この場合、いっそう高い分解能に属する動き予測は、粗い動き情報の検出をベースとして拡充された情報（enhancement layer/information）とみなされる。粗い動きベクトルフィールドにより生成された残留エラーブロックには著しく大きいエネルギーが含まれているので、最も細かい動き補償により生成される残留エラーブロックのみが伝送される。その結果、殊に粗い動き情報が選択されると、再構成された残留エラー画像においてきわめて強いアーチファクトが生じてしまい、しかもこれ自体が著しく高いビットレートにおいて行われる。

図４は、本発明に従って生成された一時的なブロック構造が本発明による方法を用いて処理されて、最終的に伝送すべきブロック構造が形成される様子を表している。

図４には、３つの一時的なブロック構造ＭＶ＿ＱＣＩＦ，ＭＶ＿ＣＩＦ，ＭＶ＿４ＣＩＦが描かれている。ここではこれらのブロック構造の各々が本発明に従いそれぞれ１つの分解能レベルに割り当てられており、その際、分解能レベルによって分解能のフォーマットが表され、このフォーマットによって本発明による方法に従い符号化された画像シーケンスから成るビデオ信号を表すことができる。

本発明による実施例に関してこれは共通中間フォーマットCommon Intermediate Format (CIF)、ＱＣＩＦならびに４ＣＩＦフォーマットである。

ここでＱＣＩＦは、第１の分解能レベルすなわち本発明による方法のために選択される分解能レベルに関して最も低い分解能レベルを成しており、したがってこの分解能レベルに対し本発明によれば第１のブロック構造ＭＶ＿ＱＣＩＦも割り当てられる一方、ＣＩＦは第２の分解能レベルを成しており、これに対して本発明によれば第２のブロック構造ＭＶ＿ＣＩＦが生成される。

その際、ブロック構造の生成は、たとえば既述のＭＣＴＦおよび／またはＭＳＲＡ方式を利用して、動き予測アルゴリズムにおいて行われる。

さらにここに示されているように、一時的なブロック構造ＭＶ＿ＱＣＩＦ，ＭＶ＿ＣＩＦ，ＭＶ＿４ＣＩＦは漸次細分化していく部分ブロック構造を有しており、この部分ブロック構造の特徴は、一時的なブロック構造ＭＶ＿ＱＣＩＦ，ＭＶ＿ＣＩＦ，ＭＶ＿４ＣＩＦごとに定義される部分ブロックＭＢ１＿ＱＣＩＦ〜ＭＢ４＿ＱＣＩＦに基づき、さらに微細になる別のサブブロックが生じることである。

さらにこの図に示されているように、一時的なブロック構造ＭＶ＿ＱＣＩＦ，ＭＶ＿ＣＩＦ，ＭＶ＿４ＣＩＦは等しい局所分解能を有しており、したがってこれは分解能レベルごとに画素数が高まるにもかかわらず一定に保たれている。

図４には、伝送すべきもしくは最終的にたとえばストリーミングアプリケーションのために伝送されるブロック構造ＭＶ＿ＱＣＩＦ，ＭＶ＿ＣＩＦ，ＭＶ＿４ＣＩＦが示されており、これらのブロック構造は本発明による方法を適用して一時的なブロック構造ＭＶ＿ＱＣＩＦ，ＭＶ＿ＣＩＦ，ＭＶ＿４ＣＩＦから以下のようにして生成される。すなわち、高い分解能レベルに属するそれぞれ１つのブロック構造が、すぐ次に低い分解能レベルに属するブロック構造と比較され、その結果として、着目中の分解能レベルに属する変更されたブロック構造が生成され、このブロック構造は、同じ分解能レベルに属する一時的なブロック構造の部分集合のみを含むサブブロック構造を有している。その際にこれは、変更されたブロック構造のサブブロック構造が対応する一時的なブロック構造のサブブロック構造と同一であるケースが除外されることになる真の部分集合ではなく、この特別なケースが本発明による方法に従って現れる可能性もあることから、たとえば数学的に知られている（単純な）部分集合にすぎない。

以下、本発明によるアルゴリズムについていくらか詳しく説明する。

本発明によれば、最も低い分解能レベルに属するブロック構造の生成から開始される。その際、本発明によればこの第１のブロック構造ＭＶ＿ＱＣＩＦから変更されたブロック構造ＭＶ＿ＱＣＩＦがダイレクトに生成される。それというのも、このケースでは当然ながら先行のブロック構造との比較を行うことができないからである。したがってダイレクトに生成された変更されたブロック構造ＭＶ＿ＱＣＩＦは、第１のブロック構造ＭＶ＿ＱＣＩＦが有するものと同じサブブロック構造をもっている。

本発明によれば次のステップにおいて、すぐ次に高い分解能レベルのために、このケースではＣＩＦにおいて、第２のブロック構造ＭＶ＿ＣＩＦが生成される。この場合、第２のブロック構造ＭＶ＿ＣＩＦに別のサブブロックが追加されていることがわかり、これによって、第１のブロック構造ＭＶ＿ＱＣＩＦと比較していっそう細かいサブブロック構造が生じる。追加されているサブブロックないしはサブブロック構造は図中、一点鎖線で描かれている。

このため本発明によれば次のステップにおいて比較が行われ、追加されたサブブロックについて、それらが第１のブロック構造の対応する部分領域の最小ブロックサイズよりも４つぶん以上小さいブロックサイズを有するか否かについてチェックされる。

このことが該当するならば、対応するサブブロック構造が変更された第２のブロック構造ＭＶ＿ＣＩＦにおいて行われ、他方、チェックすべきサブブロックが比較的僅かな細分化状態を成しているケースでは、伝送すべき変更された第２のブロック構造におけるそのサブブロック構造の取り込みが取りやめになる。

このことについていっそうわかりやすく説明できるようにする目的で、図４では第２のブロック構造ＭＶ＿ＣＩＦに含まれているサブブロックのうち２つのサブブロックすなわち第１のサブブロックＳＢ１と第２のサブブロックＳＢ２が一例として抜き出されている。

第１のサブブロックＳＢ１は、第２のブロック構造ＭＶ＿ＣＩＦにおける第１の部分ブロックＭＢ１＿ＣＩＦ中に存在している。このため本発明によれば、第２のブロック構造ＭＶ＿ＣＩＦにおける第１の部分ブロックＭＢ１＿ＣＩＦに対応する第１のブロック構造ＭＶ＿ＱＣＩＦの第１の部分ブロックＭＢ１＿ＱＣＩＦにおいて、それがここで発生する最小サブブロックサイズであるかについてチェックが行われる。ここで示した実施例では、この最小ブロックサイズは最小の第１のサブブロックＭＩＮ＿ＳＢ１によって規定される。ここに示されているように、第１のサブブロックのサイズは第１の最小サブブロックのサイズに対応しているので、このケースでは細分化はまったく行われない。このため本発明によれば、伝送すべき第２のブロック構造ＭＶ＿ＣＩＦにおいて、第１のサブブロックに基づくサブブロック構造は取り込まれず、したがって図４に示されている変更された第２のブロック構造ＭＶ＿ＣＩＦでは対応個所に一点鎖線の格子は描かれていない。

この比較にあたり、とりわけ第２のサブブロックＳＢ２も比較のために利用される。第２のサブブロックＳＢ２は第２のブロック構造ＭＶ＿ＣＩＦにおける第４の部分ブロックＭＢ４＿ＣＩＦに含まれているので、相応に第１のブロック構造ＭＶ＿ＱＣＩＦにおける第４の部分ブロックにおいて最小サブブロックサイズが求められる。これは第２の最小サブブロックＭＩＮ＿ＳＢ２によって与えられ、このケースでは第２の最小サブブロックＭＩＮ＿ＳＢ２は第１のブロック構造ＭＶ＿ＱＣＦにおける第４の部分ブロックＭＢ４＿ＱＣＦを正確に分割している。ここに示されているようにこのケースでは第２のサブブロックＳＢ２のサイズは、第２の最小ブロックＭＩＮ＿ＳＢ２のサイズの８分の１を成しており、したがって第１のブロック構造ＭＶ＿ＱＣＩＦに比べて８倍の細分化が行われる。それゆえ本発明によれば、第２のサブブロックを規定するサブブロック構造が変更された第２のブロック構造ＭＶ′＿ＣＩＦにおいても取り込まれる。変更された第２のブロック構造ＭＶ′＿ＣＦにおける破線の構造で図４に示されているように、これと同じことは第２のブロック構造ＭＶ＿ＣＩＦにおけるすべてのブロックについてあてはまる。

第２のブロック構造ＭＶ＿ＣＩＦと変更された第２のブロック構造ＭＶ′＿ＣＩＦとの比較から明らかなように、第２のブロック構造ＭＶ′＿ＣＩＦにおけるサブブロック構造のすべてが取り込まれるわけではない。符号化されたこの種の画像シーケンスを適正に表示できるようにする目的で、伝送すべきブロック構造の符号化にあたり、変更されたブロック構造に取り込まれなかったサブブロックの識別が符号化に取り込まれる。その際、本発明による方法は、別の分解能レベルにおいても同じように適用される。たとえばこの実施例に従って、フォーマット４ＣＩＦに対してもブロック構造ＭＶ＿４ＣＩＦが生成される。この場合、本発明によればこれは第２のブロック構造として適用される一方、第１のブロック構造は先行する第２のブロック構造ＭＶ＿ＣＩＦによって形成される。その際、これら双方のブロック構造の比較により生成された変更された第２のブロック構造ＭＶ′＿４ＣＩＦ自体は、図４によれば加えられたサブブロック構造の一部分によってのみ細分化されており、これは図中、点線で表されている。

択一的にまたはさらに補うかたちで、比較のために一時的なブロック構造の代わりにすでに生成されて伝送されたすなわち変更された第２のブロック構造を、第１のブロック構造として利用することができる。

その際、本発明によれば、画像シーケンスにおいて符号化されたすべての分解能レベルのために本発明に従い伝送すべきブロック構造を生成する必要はなく、たとえば上述の分解能のうち部分分解能においてのみ生成すればよく、たとえばＱＣＩＦ，ＣＩＦまたは４ＣＩＦが適用されたケースではＣＩＦについてのみ、あるいはＱＣＩＦとＣＩＦが適用されたケースではＣＩＦについてのみ生成すればよい。むしろ実際の適用においては、存在するすべての分解能レベルとの比較において中間的ないしは平均的な分解能レベルにこのことを適用すれば十分である。なぜならば平均的な分解能レベルで最高のパフォーマンスが得られるからであって、その理由はこれによりブロック構造および動きベクトルを何度もアップサンプリングおよびダウンサンプリングすることを回避できるからである。この場合、パラメータによって、種々の局所分解能レベルのために動き情報に対するデータレートがそれぞれ設定され、それによって動き情報およびテクスチャ情報に対するデータレートの最適な関係ないしは比率が各分解能レベルで与えられることになる。

なお、本発明は、図４を参照しながら説明した実施例に限定されるものではなく、当業者の知識範囲において考慮の対象となるものであって本発明の核となる着想をもつすべての実現形態を含むものである。

たとえば、ＭＳＲＡに従って生成される完全な動きベクトルフィールド（一時的なブロック構造ＭＶ＿ＱＣＩＦ，ＭＶ＿ＣＩＦ，ＭＶ＿４ＣＩＦ）は符号化側で定義されもしくは存在するものであるが、これを完全に伝送する必要はなく、この動きベクトルの最も重要な部分だけを伝送すればよい。

その際、本発明によるアルゴリズムの重要は利点は、低いビットレートでも低い分解能でも画像品質が向上することである。

さて、図５には、これまで説明してきたシグナリングもしくは以下で説明するビットストリーム生成を基礎とする方法のステップが示されている。

前述の本発明による選択的な細分化手法に従い本発明により提案されている新たなブロックモードは、現在着目中の動きベクトルフィールドを後続の動きベクトルフィールドのために分割する必要があるか否かを示すものである。そのためこのブロックモードに基づき、低い方のレイヤに割り当てられている先行の残留エラーブロックとは異なる現在の残留エラーブロックが存在する領域を位置特定することができる。

この場合、それらの領域に対応づけられているもしくはそれらの領域に属するブロックは、先行の残留エラーブロック内に存在するブロックにおける同じポジションと比較され、それらに対する差分が符号化される。この情報が符号化側で記憶された後、動き情報とテクスチャとの間の最良のマッチングすなわち最適なマッチングを個々のビットレートについて行う必要がある。

このためには通常、符号化側で利用可能なすべての情報を最適に利用できるよう伝送前にビットストリームを生成する必要がある。

これを実現する目的で図５に示されているようにたとえば、動きベクトルフィールド（ブロック構造）を細分化する必要があるか否かについての判定を下す評価を行うために比較が実行される。

本発明によればこのことが有利である理由は、実際の適用においては、基本動きベクトルフィールド（ブロック構造）ＭＶＦＩＥＬＤ１と対応するテクスチャＴＥＸＴＵＲ１によってテクスチャＴＥＸＴＵＲ１のｘ％を成す値だけ達成される結果よりも改善可能な可視的な品質が生じる可能性があるからであり、これは上述の動きベクトルフィールドが変更されたブロック構造ＭＶＦＩＥＬＤ２に細分化された場合であり、つまり（（ＴＥＸＴＵＲ１）のｙ％＋細分化により定義される）テクスチャＴＥＸＴＵＲ′１の相応の細分化よりも改善されている。この場合、ビットレートが等しければｙはｘよりも小さい。

ここに図示されている相応の判定手順からわかるように、細分化が必要だと思われるケースでは、テクスチャ情報に関する情報の一部分をそれ相応に加える必要がある。ただしこのことによって、テキスト情報の一部分を細分化情報に割り当てる、という問題点も生じる。

このことは上述のように１つには適切なシグナリングによって実現することができ、これによれば細分化可能な殊に細分化すべき残留エラーブロック内の領域を復号器の側で位置特定することができる。したがってこれにより復号器は、残留エラーブロックの埋め込みが行えるよう、すなわち１つの残留エラーブロックにおける細分化の一部分がいくつかの別のブロックにより表現されるよう、動き情報の細分化が加えられる本発明による前述のやり方を識別し、それに応じて考慮できるようになる。

２つめとしてこのためには適切な符号化も必要であり、その目的は圧縮効率について効果的になるようにすることであり、これは次のようにして行われる。すなわち細分化ブロックがブロックベースの変換（ＩＴ，ＤＣＴ等）により符号化され、その際、これらのブロックは動きベクトルフィールドの細分化に基づく残留エラーブロックと、細分化された動きベクトルフィールドには基づかずに生成され所定数のビットプレーンたとえばＮ個のビットプレーンを有する残留エラーブロックとの差分を表すものである。

ただしこのためには図６に示されているように、伝送のために生成すべきビットストリームの適切な編成も必要である。

本発明によるこのようなビットストリーム生成の目的は、動きベクトルフィールドと残留エラーブロックとのずれにより発生する可能性のあるドリフトを伴うことなく、種々の空間的／時間的な分解能レベルもしくはビットレートに対し良好な画像品質を保証することである。したがって本発明により達成されるこれらのステップは概略的に描かれたものである。

ここで示した実施例は初期状態から出発しており、この状態においては特定の個数の動きベクトルフィールドが相応の残留エラーブロックによって符号化側で生成されたものである。たとえば、ＱＣＩＦ分解能のためには第１の動きベクトルフィールドＭＶＦ１と第１の細分化された動きベクトルフィールドＭＶＦ１′であり、ＣＩＦ分解能のためには第１の細分化された動きベクトルフィールドＭＶＦ１′と（図示されていない）第２の動きベクトルフィールドであり、４ＣＩＦ分解能のためには第２の動きベクトルフィールドと第３の動きベクトルフィールドである。ＱＣＩＦ分解能におけるこの種のシナリオに対する符号化もしくは復号は、本発明によれば以下のようにして行われる：ＱＣＩＦ分解能のためにビットレートの広い範囲を復号しなければならないとすれば、最初のステップにおいて必要とされるのは、第１の動きベクトルフィールドＭＶ１と対応する残留エラーブロックを伝送することである。この場合、ビットレートが大きくなるにつれて、残留エラーブロックを表すビットプレーンＢＴＰＬ１〜ＢＴＰＬＮ＋Ｍの個数が増える。さらにこの場合、冒頭で説明したブロック細分化に関する判定によって個数が制限されることもあてはまる。

ここに示した実施例によれば、ビットプレーン数はＮ個に制限される。本発明による評価に従い細分化が必要であると判定が下されると、第１の動きベクトルフィールドＭＶＦ１は、細分化された動きベクトルＭＶＦ１′が生成されるよう細分化される。したがってこのようなケースでは、動きベクトルフィールドと個々のテクスチャとの間のずれを回避する目的で、第１の動きベクトルフィールドＭＶＦ１に対応するテクスチャが更新（"updated"）されるようにすることも必要である。

本発明によって提案されるアルゴリズムも図面に示されており、これは以下のように進行する。

動き情報の上述の評価により、動き情報の更新が必要であるという結果が出た場合、一般には特定の個数のビットプレーンＢＴＰＬ１〜ＢＴＰＬＮがすでに伝送されていたことになる。所定の限界値ＢＴＰＬｎまでは、細分化されていない残留エラーブロックを表すビットプレーン（ＢＴＰＬ１〜ＢＴＰＬｎ）を変更する必要はない。これに対しこの限界値ＢＴＰＬｎに到達すると、この実施例によれば次に続くビットプレーンが更新される。

その際にこれは、細分化されていない残留エラーブロックにおける最後のビットプレーンを表すビットプレーンＢＴＰＬｎから始められ、すでに伝送されているビットプレーンＢＴＰＬＮまで拡げられていく。

その際にこの更新は以下のようにして行われる。すなわち細分化されている部分REFINEMENTに属する領域が後続の動きベクトルフィールドと一致するよう、すなわちここに示した実施例によれば第１の細分化されたベクトルフィールドＭＶＦ１′と一致するよう、その領域が更新される。

この場合、本発明によれば、いっそう高いビットレートであるならば、すでに伝送されているビットプレーン数ＢＴＰＬＮを超える個数のビットプレーンＢＴＰＬＮ＋１〜ＢＴＰＬＮ＋Ｍまでを付加的に伝送することができる。このコンセプトはここでは、各空間分解能および／または品質レベルについて反復され、これによって信号−ノイズのスケーラビリティ（ＳＮＲスケーラビリティ）の粒度をいっそう細かくすることができる。

このような前提シナリオによれば、ＣＩＦ分解能レベルにおける符号化および復号は以下のようにして行われる。

ここでも本発明によればＳＮＲと空間的スケーラビリティを組み合わせるべきであるので、たとえば（ビデオ）ビットストリームをＣＩＦ分解能で復号する必要があり、かつこれをいっそう低いビットレートにおいて行うべきである場合、変更された第１の動きベクトルフィールドＭＶＦ１′がＱＣＩＦ分解能からＣＩＦ分解能へと高められるかたちでスケーリングされる。しかもこの場合、テクスチャＴＥＸＴＵＲ１およびテクスチャＴＥＸＴＵＲ′１のいっそう高い空間分解能を達成する目的で、たとえば逆ウェーブレット変換が行われ、あるいは補間が実行される。

ここで留意したいのは、著しく低いビットレートであればテクスチャＴＥＸＴＵＲ１からテクスチャＴＥＸＴＵＲ′１へのテクスチャの更新を行う必要がないことである（たとえばＣＩＦ分解能を符号化する目的でｎ個のビットプレーンよりも少ないビットレートしか必要とされない場合）。全体としてこれにより空間的スケーラビリティが達成される。

ＣＩＦ分解能におけるＳＮＲスケーラビリティは、元の細分化されたＣＩＦ残留エラーブロックと補間されたまたは逆ウェーブレット変換された細分化されたＱＣＩＦビットプレーンとの差分のビットプレーンを符号化することによって達成される。細分化を行うべきか否かの判定がＣＩＦ分解能において肯定の結果であれば、ＱＣＩＦに対する上述の手法について説明したのと同じストラテジーに従い進められる。同じことはＣＩＦから４ＣＩＦへのスケーリングについてもあてはまる。

ただし、本発明はこれまで説明してきた実施例に限定されるものではない。そうではなく以下のことも適用される：
１．ＳＮＲスケーラビリティは既述の実施例によればテクスチャ情報のビットプレーンごとの表現により生成されるが、このことに限定されるものではない。なぜならば、スケーリング可能である択一的なテクスチャ表現によっても、これを達成できるからである。

２．細分化の前に生じるビットプレーン（ＢＴＰＬＮ）の最大数を、空間分解能ごとに異ならせることができる。

３．さらに、１つの空間分解能レベル内で２回以上の更新を行うことができ、これはその空間分解能レベルについて２つよりも多くの動き情報レイヤが利用される場合である。

その際にこれらのこととは別に、ビットレートならびに空間的時間的分解能の広い領域について動き情報とテクスチャとの著しく良好なマッチングが常に実現され、これは画像品質の劣化を伴わずに行われる。その理由は、本発明による方法によってきわめて良好な情報の分配が達成されるからであり、つまりは動き情報とテクスチャとのずれもなくなるからである。

Claims (27)

1. 画像シーケンスのビデオ符号化方法において、
   画像シーケンスの画像がスケーリングされ符号化されて、発生したビデオデータが、画像表現ごとに画素数により定義された画像分解能（ＱＣＩＦ，ＣＩＦ，４ＣＩＦ）に関して、および／または画像品質に関して、それぞれ異なる複数のレベルで画像を表現可能な情報を含み、
   符号化がブロックベースで行われ、複数の画像のうち１つの画像の一部分について画像シーケンス中に場合によっては含まれる動きを記述するために、該動きを記述する少なくとも１つのブロック構造（ＭＶ＿ＱＣＩＦ，ＭＶ＿ＣＩＦ，ＭＶ＿４ＣＩＦ）が生成され、該ブロック構造（ＭＶ＿ＱＣＩＦ，ＭＶ＿ＣＩＦ，ＭＶ＿４ＣＩＦ）は、１つのブロックから複数の部分ブロックへ分割され、同時に一部分で該部分ブロック（ＭＢ１＿ＱＣＩＦ〜ＭＢ４＿ＱＣＩＦ，ＭＢ１＿ＣＩＦ〜ＭＢ４＿ＣＩＦ，ＭＢ１＿４ＣＩＦ〜ＭＢ４＿４ＣＩＦ）が順次細かく分けられたサブブロックに分割され、
   ａ）一時的に少なくとも第１の分解能レベルに対し第１のブロック構造（ＭＶ＿ＱＣＩＦ；ＭＶ＿ＣＩＦ）が生成され、第２の分解能レベルに対し第２のブロック構造（ＭＶ＿ＣＩＦ，ＭＶ＿４ＣＩＦ）が生成されるステップが設けられており、前記第１の分解能レベルは第２の分解能レベルよりも低い画素数および／または画像品質を有しており、
   ｂ）前記第２のブロック構造（ＭＶ＿ＣＩＦ；ＭＶ＿４ＣＩＦ）が前記第１のブロック構造（ＭＶ＿ＱＣＩＦ、ＭＶ＿ＣＩＦ）と比較されて、各ブロック構造における差が求められるステップと、
   ｃ）前記各ブロック構造における差の特性に基づき、変更された第２のブロック構造（ＭＶ′＿ＣＩＦ，ＭＶ′＿４ＣＩＦ）が生成されて、該変更された第２のブロック構造（ＭＶ′＿ＣＩＦ，ＭＶ′＿４ＣＩＦ）の構造によって前記第２のブロック構造（ＭＶ＿ＣＩＦ；ＭＶ＿４ＣＩＦ）の部分集合が表されるステップと、
   ｄ）前記各画像品質がそれぞれ複数のテクスチャ分解能レベルによって実現されるステップが設けられており、画像品質の向上はさらに複数のテクスチャ分解能レベルを追加することにより可能であり、
   ｅ）前記第２のブロック構造と付加的なテクスチャ分解能レベル（Ｎ＋１…）の第１の符号化により生じる第１の可視的品質が生成され、前記変更された第２のブロック構造と既に使用されたテクスチャ分解能レベル（１…Ｎ）の更新と付加的なテクスチャ分解能レベル（Ｎ＋１…）の第２の符号化により生じる第２の可視的品質が生成されるステップが設けられており、ただしその際、前記第１および第２の可視的品質は前記符号化の基礎をなす同一のビットレートで生成され、
   ｆ）前記第２の可視的品質が前記第１の可視的品質よりも高ければ、前記第２の符号化を以降のビデオ符号化の基礎とし、前記第１の可視的品質が前記第２の可視的品質よりも高ければ、前記第１の符号化を以降のビデオ符号化の基礎とするステップ
   が設けられていることを特徴とする、画像シーケンスのビデオ符号化方法。
2. 請求項１記載の方法において、
   前記差を求めるために、前記第２のブロック構造に加えられたサブブロックが捕捉されることを特徴とする方法。
3. 請求項１または２記載の方法において、
   前記差を求めるために、サブブロック特性が捕捉され、
   サブブロック特性として前記サブブロックのブロックサイズが捕捉されることを特徴とする方法。
4. 請求項１から３のいずれか１項記載の方法において、
   前記差を求めるために、前記第２のブロック構造（ＭＶ＿ＣＩＦ；ＭＶ＿４ＣＩＦ）の部分ブロック（ＭＢ１＿ＣＩＦ〜ＭＢ４＿ＣＩＦ；ＭＢ１＿４ＣＩＦ〜ＭＢ４＿４ＣＩＦ）に対応する第１のブロック構造（ＭＶ＿ＱＣＩＦ；ＭＶ＿ＣＩＦ）の部分ブロック（ＭＢ１＿ＱＣＩＦ〜ＭＢ４＿ＱＣＩＦ；ＭＢ１＿ＣＩＦ〜ＭＢ４＿ＣＩＦ）のみが利用されることを特徴とする方法。
5. 請求項３または４記載の方法において、
   第２のブロック構造（ＭＶ＿ＣＩＦ；ＭＶ＿４ＣＩＦ）において、設定可能な閾値に達するブロックサイズをもつサブブロックのみが、前記変更された第２のブロック構造（ＭＶ′＿ＣＩＦ；ＭＶ′＿４ＣＩＦ）に取り込まれることを特徴とする方法。
6. 請求項５記載の方法において、
   前記閾値の定義によって、前記第２のブロック構造（ＭＶ＿ＣＩＦ；ＭＶ＿４ＣＩＦ）における１つのサブブロックのブロックサイズと、比較に利用される前記第１のブロック構造（ＭＶ＿ＱＣＩＦ；ＭＶ＿ＣＩＦ）の領域中に含まれ該領域の最小サブブロックに属するブロックサイズとの比が前記閾値により表されることを特徴とする方法。
7. 請求項１から６のいずれか１項記載の方法において、
   前記取り込まれたサブブロックは２つ以外に分割可能であることを特徴とする方法。
8. 請求項１から７のいずれか１項記載の方法において、
   第３の分解能レベルにおける第１のブロック構造（ＭＶ＿ＣＩＦ）として、前記第２の分解能レベルにおける前記変更された第２のブロック構造（ＭＶ′＿４ＣＩＦ）が用いられ、該第２の分解能レベルは、前記第３の分解能レベルよりも低い画素数および／または画像品質を有することを特徴とする方法。
9. 請求項５から８のいずれか１項記載の方法において、
   前記符号化により、前記変更された第２のブロック構造（ＭＶ＿ＣＩＦ；ＭＶ＿４ＣＩＦ）に取り込まれなかったサブブロックがそれぞれ識別されることを特徴とする方法。
10. 請求項７から９のいずれか１項記載の方法において、
    前記符号化により、２つ以外に分割されたサブブロックがそれぞれ識別されることを特徴とする方法。
11. 請求項９または１０記載の方法において、
    方向モードにより前記識別が行われることを特徴とする方法。
12. 請求項１から１１のいずれか１項記載の方法において、
    ビットシーケンスの符号化にあたりビットストリームが生成されて、該ビットストリームはブロック構造と動きベクトルの更新と連携してスケーラブルテクスチャを表現し、該スケーラブルテクスチャ表現は、ビットストリームがテクスチャ分解能レベルによって実現されることにより、およびビットストリームが少なくとも比較結果および伝送のために実現すべきビットレートに依存して変更されることにより行われる
    ことを特徴とする方法。
13. 請求項１２記載の方法において、
    前記テクスチャ分解能レベルはビットプレーンの個数として実現されることを特徴とする方法。
14. 請求項１３記載の方法において、
    前記ビットプレーン（ＢＴＰＬ１〜ＢＴＰＬＮ）の個数は前記分解能レベルに依存して変更されることを特徴とする方法。
15. 請求項１３または１４記載の方法において、
    前記変更された第２のブロック構造（ＭＶ′＿ＣＩＦ；ＭＶ′＿４ＣＩＦ）の値が正比例している場合、前記テクスチャを表すビットプレーン（ＢＴＰＬｎ〜ＢＴＰＬＮ）における少なくとも第１の部分が更新されることを特徴とする方法。
16. 請求項１５記載の方法において、
    前記更新は第２の部分（ＢＴＰＬｎ′〜ＢＴＰＬＮ′）の伝送によって行われることを特徴とする方法。
17. 請求項１５記載の方法において、
    前記更新は、前記ビットプレーンの第１の部分（ＢＴＰＬｎ〜ＢＴＰＬＮ）が前記第２の部分（ＢＴＰＬｎ′〜ＢＴＰＬＮ′）により変更されることによって行われることを特徴とする方法。
18. 請求項１４から１７のいずれか１項記載の方法において、
    前記更新は、第２のブロック構造に属するテクスチャ（ＴＥＸＴＵＲ１）において前記変更された第２のブロック構造（ＭＶ′＿ＣＩＦ；ＭＶ′＿４ＣＩＦ）により定義されている領域（ＲＥＦＩＮＥＭＥＮＴ）が細分化されることにより行われることを特徴とする方法。
19. 請求項１２から１７のいずれか１項記載の方法において、
    前記個数（ＢＴＰＬ１〜ＢＴＰＬＮ）よりも大きい第２の個数のビットプレーン（ＢＴＰＬＮ〜ＢＴＰＬＮ＋Ｍ）が高いビットレートで伝送されることを特徴とする方法。
20. 請求項１２から１８のいずれか１項記載の方法により生成され符号化されたビットシーケンスの復号方法において、
    画像シーケンス中に含まれる請求項１２から１８のいずれか１項記載の方法に従い生成されたブロック構造と動きベクトルの更新ならびにスケーラブルテクスチャを表すビットストリームに基づき、前記画像シーケンスのスケーラブル表現が生成されることを特徴とする方法。
21. 請求項１から１８いずれか１項記載の方法を実施する手段が設けられていることを特徴とする、符号化画像シーケンスを生成する符号化器。
22. 請求項１から１８のいずれか１項記載の方法により生成された符号化ビットシーケンスを復号する手段が設けられおり、
    スケーラブルテクスチャを表すビットストリーム部分を示す第１の信号を検出する手段と、
    更新すべき領域を示す第２の信号を検出する手段と、
    テクスチャの更新を行うべきビットプレーン（ＢＴＰＬＮ）を求める手段と、
    更新されるブロック構造と動きベクトルとを考慮して、テクスチャを更新する手段と
    が設けられている
    ことを特徴とする復号器。
23. 請求項２２記載の復号器において、
    前記第１の信号がシンタックス要素として構成されていることを特徴とする復号器。
24. 請求項２２記載の復号器において、
    前記第２の信号がシンタックス要素として構成されていることを特徴とする復号器。
25. 請求項２２から２４のいずれか１項記載の復号器において、
    符号化されたビットシーケンスの表現を更新によって向上させるビットプレーン（ＢＴＰＬｎ）を求める手段が設けられていることを特徴とする復号器。
26. 請求項２２から２５のいずれか１項記載の復号器において、
    更新手段が設けられており、該更新手段により、テクスチャに属するテクスチャ情報とテクスチャ更新情報から更新されたテクスチャ情報が形成されることによって、存在するテクスチャから更新されたテクスチャが形成されることを特徴とする復号器。
27. 請求項２６記載の復号器において、
    前記更新手段により、テクスチャ情報が少なくとも部分的にテクスチャ更新情報によって置き換えられることを特徴とする復号器。

Images