JP5937212B2 - デプス符号化 - Google Patents

Description

３Ｄに関連する実施態様が記載される。様々な特定の実施態様は、ビデオ画像に関連するデプスマップを符号化することに関する。

３次元（“３Ｄ”）応用において、ビデオ画像はしばしば、デプス情報を伴う。デプス情報は、ビデオ画像に対する様々な処理演算のために使用され得る。デプス情報の圧縮（ここでは、符号化と呼ばれる。）は、デプス情報のサイズを低減しようとする。

有効な符号化は、デプス情報の記憶及び送信を容易にするために持続的な要望である。

包括的な態様に従って、セグメンテーションが、ビデオ画像シーケンスに含まれるビデオ画像の特定の部分に関して決定される。セグメンテーションは、前記ビデオ画像シーケンスに含まれる１つのビデオ画像の少なくとも一部分に関連する基準デプスインジケータに基づき決定される。前記ビデオ画像の特定の部分に関連する目標デプスインジケータが処理される。この処理は、前記ビデオ画像の特定の部分において前記決定をされたセグメンテーションに基づく。

他の包括的な態様に従って、セグメンテーションが、ビデオ画像の少なくとも所与の部分に関連するデプスインジケータに基づき前記所与の部分に関して決定される。前記セグメンテーションは、前記所与の部分におけるピクセル値と前記ビデオ画像の目標部分におけるピクセル値とに基づき、前記所与の部分から前記目標部分へ拡張される。

１又はそれ以上の実施態様の詳細は、添付の図面及び以下の記載において説明される。たとえ１つの特定の方法において記載されるとしても、当然、実施態様は様々な方法において構成又は具現されてよい。例えば、実施態様は、方法として実施され、装置、例えば、動作の組を実施するよう構成される装置若しくは動作の組を実施するための命令を記憶する装置として具現され、又は信号において具現されてよい。他の態様及び特徴は、添付の図面及び特許請求の範囲に関連して検討される以下の詳細な説明から明らかになるであろう。

時間にわたるビデオ画像のシーケンスの例と、関連するデプス画像のシーケンスとを表す図である。 デプス値を予測する装置及び処理の実施態様を表すブロック／フロー図である。 デプスブロックＢに隣接するピクセルの例を表す図である。 図３の隣接ピクセルのセグメンテーションの例を表す図である。 図３の隣接ピクセルに関連するビデオピクセルへ適用される図４のセグメンテーションの例を表す図である。 デプスブロックＢに関連するビデオブロックＢ’のビデオピクセルに広げられる図５のセグメンテーションの例を表す図である。 デプスブロックＢへ適用される図６の拡張セグメンテーションの例を表す図である。 図４の隣接デプスピクセルのセグメンテーションを表す他の図である。 図５のセグメンテーションを図６のビデオブロックＢ’に広げる装置及び処理の実施態様を表すブロック／フロー図である。 図５のセグメンテーションを図６のビデオブロックＢ’に広げる他の装置及び処理の実施態様を表すブロック／フロー図である。 デプスサンプルを符号化するエンコーダ及び符号化処理の実施態様を表すブロック／フロー図である。 デプスサンプルを復号するデコーダ及び復号処理の実施態様を表すブロック／フロー図である。 領域拡張に基づく予測によりブロックを符号化する装置及び処理の実施態様を表すブロック／フロー図である。 領域拡張に基づく予測によりブロックを復号する装置及び処理の実施態様を表すブロック／フロー図である。 デプスデータを処理する装置及び処理の実施態様を表すブロック／フロー図である。 １又はそれ以上の実施態様とともに使用され得る送信システム及び処理の実施態様を表すブロック／フロー図である。 １又はそれ以上の実施態様とともに使用され得る受信システム及び処理の例を表すブロック／フロー図である。

本願において提示される特徴の幾つかのプレビューとして、少なくとも１つの実施態様は、（ｉ）デプスマップにおける目標ブロックに隣接する再構成されたデプス値と、（ｉｉ）デプス値の目標ブロックに関連するビデオブロックとによる目標ブロックの符号化について記載する。実施態様は、隣接する再構成されたデプス値に対してセグメント化動作を実行し、その結果得られるセグメンテーションを用いてビデオブロックのセグメンテーションを生成する。ビデオブロックに関して生成されるセグメンテーションは次いで、目標デプスブロックを符号化するよう元の目標デプスブロックへ適用される。このように、デプス情報は、ビデオ情報をセグメント化する開始点を提供し、ビデオ情報のセグメンテーションは次いで、関連するデプス情報を符号化するために使用される。この実施態様は、デプス情報を符号化するためにデプス情報とビデオ情報とをまとめて考える。

他の実施態様では、新しい符号化モードが提供される。新しい符号化モードは、他のデプス画像を用いずにデプス画像を符号化する領域拡張（region-growing）モードと呼ばれることがある。加えて、少なくとも１つの実施態様は、予測参照として如何なる他のデプス画像も用いず、従来の予測参照として如何なるビデオ画像も用いない。

少なくとも１つの実施態様の１つの利点は、関連する２Ｄビデオ及び前に符号化されたデプス情報を用いることによって、現在のデプスブロックにおけるデプス情報が非常に高い精度を有して推定され得ることが可能である点である。幾つかの実施態様において、この推定は、デプス情報の符号化として用いられ、その場合に、デプス情報は、推定がエンコーダと同様にデコーダで決定され得ることから、送信又は記憶される必要がない。代替的に、幾つかの実施態様は、この推定をデプスの予測として使用し、残余が決定され符号化される。結果として、様々な実施態様はデプス情報を符号化するビットレートを低減し、更に、デプス情報の再構成によりレンダリングされるビューの品質を保つ。

少なくとも１つの実施態様において、上述されたように、領域拡張モードは有効なデプスマップ符号化のために提案される。領域拡張モードは、隣接デプス値と目標デプスブロックとの間の相関関係と、デプスマップと関連するビデオとの間の構造的類似性とを使用する。結果として、この符号化モードはまた、符号化されたデプスマップから再構成される再構成デプスマップを用いてレンダリングされるビューの品質を保つ。

様々な実施態様は、様々な応用の１又はそれ以上において有用である。例えば、３Ｄテレビジョン（“３ＤＴＶ”）及び自由視点ビデオ（“ＦＶＶ”）のような新しいビデオ応用では、捕捉、符号化及び復号をされたビューに加えて仮想ビューをレンダリングすることが一般的に必須である。デプス画像に基づくレンダリング（Depth Image Based Rendering）（“ＤＩＢＲ”）は、仮想ビューをレンダリングする技術である。レンダリングされたビューにおいて十分な品質を達成するよう、デプス境界はよく保たれることが望ましい。従来のビデオ符号化技術は通常、シャープエッジの周りで画像アーティファクトを生じる。デプスエッジの忠実な表現は、一般的に、デプス情報の他の領域を符号化することよりも想到に多くのビットを要する。幾つかの実施態様は、許容可能な負担で所望の品質を提供するのに有用である。

デプスデータは、当該技術で知られるように、視差データに変換され得る。加えて、本願で記載される実施態様及び特徴は、デプス及び視差の両方に適用されるよう意図される。然るに、デプス（例えば、デプスデータ、デプス値、デプス画像、デプスマップ、又はデプス情報）及び視差（例えば、視差データ、視差値、視差画像、視差マップ、又は視差情報）は、どの用語が使用されるのかにかかわらず、本明細書の全体を通じて扱われるよう意図される。

加えて、時々用語「デプスインジケータ」が使用され、用語「デプスインジケータ」は、ここで、例えば、デプス及び／又は視差を示す他のタイプのデータ又は情報とともに、デプスインジケータ及び／又は視差インジケータを含むと明示的に定義される。デプスインジケータは、例えば、様々な実施態様において、デプスデータ、視差データ、デプス値、視差値、デプス画像の少なくとも一部、視差画像の少なくとも一部、デプスマップの少なくとも一部、視差マップの少なくとも一部、デプス情報、及び／又は視差情報を含む。前記の事項は必ずしも、もれなくとり得るデプスインジケータではない。デプスインジケータを含むピクチャは、デプスインジケータピクチャと呼ばれることがある。

デプスインジケータは通常、特定のビデオピクセルに関して、又はビデオピクチャの特定の部分に関して、情報（例えば、デプス又は視差情報）を提供する。一例において、デプスインジケータはデプスマップにおいて具現され、デプスマップの位置（ｘ，ｙ）でのデプスインジケータは、特定のビデオピクチャの位置（ｘ，ｙ）での特定のビデオピクセルに関して実際のデプス値を提供する。本願の全体を通して、そのような関係は、デプスインジケータが特定のビデオピクセルに関連すると言うことによって、言及される。同等に、本願は、デプスインジケータが特定のビデオピクセルに対応すると言うことによって、そのような関係に言及する。

この概念は、当然、例えば、単一のピクセルよりも大きいビデオピクチャ及びデプスマップの部分に言及するよう一般化され得る。一例において、デプスマップは、ビデオピクチャにおけるピクセルに関して全てのデプス値を提供する。より具体的には、デプスマップの位置（ｘ，ｙ）でのデプス値は、全ての位置（ｘ，ｙ）に関して、ビデオピクチャの位置（ｘ，ｙ）でのピクセルのデプス値を提供する。デプスマップ全体は、ビデオピクチャ全体に関連する（又は対応する）と言われる。

図1を参照すると、一連のビデオピクチャ１００と、一連のデプスピクチャ１１０とが示されており、これらは、本願における幾つかの実施態様の特定の態様を表すために使用される。一連のビデオピクチャ１００は、時間Ｔ１で起こる第１ビデオピクチャＶ１と、時間Ｔ２で起こる第２ビデオピクチャＶ２と、時間Ｔ３で起こる第３ビデオピクチャＶ３とを含む。一連のデプスピクチャ１１０は、時間Ｔ１で起こる第１デプスピクチャＤ１と、時間Ｔ２で起こる第２デプスピクチャＤ２と、時間Ｔ３で起こる第３デプスピクチャＤ３とを含む。

Ｖ１及びＤ１は互いに対応し、Ｖ２及びＤ２は互いに対応し、Ｖ３及びＤ３は互いに対応する。対応は、例えば、Ｄ２におけるブロックがＶ２の対応する位置に関するデプス情報を含むことを意味する。これは、例えば、Ｄ２の位置（ｘ，ｙ）でのブロック１３０に対応するＶ２の位置（ｘ，ｙ）でのブロック１２０に関して、示されている。

本願の特定の以下の部分は、別個の項目に分けられる。この分割は、説明及び理解を容易にすることを目的とする。なお、分割は、決して本発明を制限するよう意図されない。特に、いずれかの所与の項目において与えられる開示は、項目分割がないのと同様に、いずれかの他の項目における開示に適用可能である。

［Ａ．領域拡張に基づく予測］
ここでは、特定のＭ×Ｎブロックのデプス値に関して、より一般的には推定とも呼ばれる予測を生成する処理の実施態様について述べる。この実施形態において、Ｍ×Ｎブロックのデプス値及び隣接するデプス値のブロックと、対応するビデオが与えられる。この実施形態では、現在のＭ×ＮブロックＢの予測を得るよう、領域拡張に基づく方法が提案される。図２を参照すると、領域拡張に基づく予測子が、図２において図示され且つ以下で記載される処理２００に従って、生成され得る。

ステップ１：図２の動作２１０において記載されるように、ブロックＢに隣接する隣接再構成デプスサンプルを決定する。図３乃至８を参照すると、図３は、ブロックＢの左にある隣接するピクセルの列２０５と、ブロックＢの上にある隣接するピクセルの列２１０とのみが、隣接再構成デプスサンプルとして考慮される当該ステップ１の例を示す。

ステップ２：隣接再構成デプスサンプルをセグメント化し、任意に、夫々のデプスサンプルにセグメンテーションインデックスを割り当てる。当該ステップ２は、図２の動作２２０において記載され、図４において表される。図４は、垂直ハッチングにより示される４つのピクセルを含む第１セグメント２２０と、水平ハッチングにより示される７つのピクセルを含む第２セグメント２２４と、対角ハッチングにより示される５つのピクセルを含む第３セグメント２２８とを含む。

ステップ３：図２の動作２３０において記載されるように、ブロックＢに対応するビデオサンプルを決定する（図３乃至８には図示せず。）。なお、図１のブロック１３０がブロックＢとして考えられる場合は、ブロック１２０は、ブロックＢに対応するビデサンプルを含む。

ステップ４：図２の動作２４０において記載されるように、再構成デプスサンプル２０５、２１０に対応するビデオサンプルをセグメント化する。これを行う一例は、対応する再構成デプスサンプルのセグメンテーションと同じセグメンテーションをビデオサンプルへ適用することである。この例は、デプスブロックＢに対応するブロックであるビデオブロックＢ’に関して、図５において示されている。図５は、ビデオブロックＢ’の左にあるビデオピクセルの列２５０’と、ビデオブロックＢ’の上にあるビデオピクセルの列２１０’とを含む。更に、ピクセル２０５’、２１０’は、デプスブロックＢに対応のセグメンテーションに対応する３つのセグメントに分けられる。すなわち、ピクセル２０５’、２１０’は、（ｉ）４つのピクセルを含み且つ図４のセグメント２２０に対応する、垂直ハッチングにより示される第１セグメント２２０’と、（ｉｉ）７つのピクセルを含み且つ図４のセグメント２２４に対応する、水平ハッチングにより示される第２セグメント２２４’と、（ｉｉｉ）５つのピクセルを含み且つ図４のセグメント２２８に対応する、対角ハッチングにより示される第３セグメント２２８’とに分けられる。

他の実施態様は、対応する再構成デプスサンプルのインデックス番号と同じインデックス番号をビデオサンプルへ割り当てる。

ステップ５：図２の動作２５０において記載されるように、ステップ４の最初のセグメンテーションに基づきビデオブロックＢ’をセグメント化する。一例が図６において示されており、この例において、セグメント２２０’、２２４’及び２２８’はビデオピクセルＶＰと呼ばれ、セグメンテーションはＶＰからビデオブロックＢ’に広げられる。図６は、列２０５’、２１０’における隣接ビデオピクセルＶＰの３つのセグメント２２０’、２２４’及び２２８’が３つのセグメントを生成するようビデオブロックＢ’に広げられていることを示す。ビデオブロックＢ’における３つの生成されるセグメントは、垂直ハッチングにより示される第１セグメント２３０’と、水平ハッチングにより示される第２セグメント２３４’と、対角ハッチングにより示される第３セグメント２３８’とを含む。

ハッチングによって示されるように、一実施態様において、セグメント２３０’、２３４’及び２３８’は、セグメント２２０’、２２４’及び２４８’から広がっていると考えられてよい。具体的に、セグメント２３０’は、セグメント２２０’から広がっていると考えられてよく、セグメント２３４’は、セグメント２２４’から広がっていると考えられてよく、セグメント２３８’は、セグメント２２８’から広がっていると考えられてよい。

ステップ６：図２の動作２６０において記載されているように、対応するビデオブロックＢ’のセグメンテーションに基づきデプスブロックＢをセグメント化する。一例が図７において示されており、この例において、ビデオセグメント２３０’、２３４’及び２３８’はデプスブロックＢに適用される。図７において、（ｉ）デプスブロックＢにおけるセグメント２３０は、共通の垂直ハッチングによって示されるように、隣接再構成デプスサンプルのセグメント２２０に関連し、（ｉｉ）デプスブロックＢにおけるセグメント２３４は、共通の水平ハッチングによって示されるように、隣接再構成デプスサンプルのセグメント２２４に関連し、（ｉｉｉ）デプスブロックＢにおけるセグメント２３８は、共通する対角ハッチングによって示されるように、隣接再構成デプスサンプルのセグメント２２８に関連する。

様々な実施態様は、セグメンテーションインデックスをブロックＢ及びＢ’のセグメントへ割り当てる。更に、特定の実施態様は、ＢとＢ’との間の対応するセグメントに関して、対応するインデックスを割り当てる。

加えて、様々な実施態様は、セグメンテーションインデックスを、再構成デプスサンプル２０５及び２１０のセグメントへ、更に、再構成デプスサンプル２０５及び２１０に対応するビデオサンプル２０５’及び２１０’のセグメントへ割り当てる。更に、特定の実施態様は、それらのデプスサンプル及びビデオサンプルの間の対応するセグメントに関して、対応するインデックスを割り当てる。

ステップ７：図２の動作２７０において記載されるように、図６のセグメンテーションに基づきデプスブロックＢにおける夫々のデプスサンプルに関してデプス予測値を決定する（図３乃至８には図示せず。）。様々な実施態様は以下で与えられる。

以下で、ステップ２、ステップ５及びステップ７の詳細が与えられる。

［Ａ．１．隣接デプスサンプルのセグメンテーション］
以下の説明は、図４によって示される上記ステップ２の実施態様の更なる詳細を提供する。

所与のデプスマップにおけるデプスサンプルはしばしば、シャープエッジによって分けられる同質のエリアを含む。結果として、幾つかの簡単なセグメンテーション方法は、領域拡張に基づく予測のための良好な結果を有すると期待される。一実施形態において、セグメンテーション規則は、閾値ｔｈに基づき連続的なセグメントを生成することである。２つの隣接するデプスサンプルの間のデプス値の差がｔｈよりも大きい場合は、それら２つのサンプルは異なるセグメントへ割り当てられる。図４の実施態様では、デプス値の差は、夫々のデプスサンプルについて１又はそれ以上の方向において決定される。

図４の例は図８において続けられる。図８は１６個の隣接再構成デプスサンプルを示す。それらのデプスサンプルは、サンプル２１４〜２４８及び２５１〜２５８として示されている。セグメンテーションを決定するよう、サンプル２４１のデプス値は、サンプル２４２のデプス値と比較される。差はｔｈより小さいか又は等しく、従って、デプスサンプル２４１及び２４２は共通のセグメント２２０の部分である。同様に、サンプル２４２及び２４３のデプス値の間の差と、サンプル２４３及び２４４のデプス値の間の差とは両方とも、ｔｈより小さいか又は等しい。従って、サンプル２４１〜２４４は全て、共通のセグメント２２０の部分である。

しかし、サンプル２４４及び２４５のデプス値の間の差はｔｈよりも大きく、従って、デプスサンプル２４５はセグメント２２０の部分ではない。むしろ、デプスサンプル２４５はセグメント２２４に含まれる。後続のデプスサンプルの対のデプス値の間の差はｔｈよりも小さいか又は等しい。すなわち、（ｉ）デプスサンプル２４５及び２４６、（ｉｉ）デプスサンプル２４６及び２４７、（ｉｉｉ）デプスサンプル２４７及び２４８、（ｉｖ）デプスサンプル２４８及び２５１、（ｖ）デプスサンプル２５１及び２５２、（ｖｉ）デプスサンプル２５２及び２５３である。従って、デプスサンプル２４５〜２４８及び２５１〜２５３は全て、共通のセグメント２２４の部分である。デプスサンプル２４８及び２５１は、それらが十分に近接していると考えられるので比較される点に留意されたい。なお、他の実施態様は、デプスサンプル２４８からデプスサンプル２５１へ移動する場合に自動的に新しいセグメントを開始する。

しかし、サンプル２５３及び２５４のデプス値の間の差はｔｈよりも大きい。従って、デプスサンプル２５４はセグメント２２４の部分ではない。むしろ、デプスサンプル２５４はセグメント２２８に含まれる。後続のデプスサンプルの対のデプス値の間の差はｔｈよりも小さいか又は等しい。すなわち、（ｉ）デプスサンプル２５４及び２５５、（ｉｉ）デプスサンプル２５５及び２５６、（ｉｉｉ）デプスサンプル２５６及び２５７、（ｉｖ）デプスサンプル２５７及び２５８である。従って、デプスサンプル２５４から２５８は全て、共通のセグメント２２８の部分である。

一実施態様において、閾値ｔｈは定数として設定される。幾つかの他の実施態様では、閾値ｔｈは、デプス画像における対応する最大及び最小デプス値に基づき決定される。１つの特定の実施態様はｔｈ＝α×（ｄ_ｍａｘ−ｄ_ｍｉｎ）を使用する。ここで、ｄ_ｍａｘは最大デプス値であり、ｄ_ｍｉｎは最小デプス値であり、αは［０，１］から選択されるスケーリングされた係数である。

この実施態様の１つの変形において、最大及び最小デプス値は、予め再構成されている隣接するデプスブロックから決定され、それによりデコーダは同じ処理を行うことができる。この実施態様の他の変形は、予め再構成されているが現在のデプスブロックに隣接していない１又はそれ以上のデプスブロックを用いて最大及び最小デプス値を決定する。

この実施態様の他の変形は、符号化されているデプスブロックを用いて最大及び最小デプス値を決定し、更なる他の変形は、未だ符号化されていない１又はそれ以上の他のブロックを考慮する。デコーダは通常、正確な予め符号化されたデプス値を知らないので、特定の実施態様はｔｈを計算しその値を送信する。ｔｈの値は通常整数であり、従って、この値を送信するオーバーヘッドは一般的に小さい。

これらの変形の組み合わせはまた、更なる実施態様を提供する。１つのそのような実施態様では、デプス画像全体が使用され、ｔｈの値が符号化されて送信される。

αの値は多数の方法において選択され得る。１つの実施態様において、αは、レートひずみ最適化に基づき最も効率のよい符号化モードを見つけ出すよう、経験的なデータに基づき決定される。αの小さな値はしばしば、より多くのセグメントをもたらす。より多くのセグメントを有することは、付加的な処理及び記憶を犠牲にして、より正確な予測を生成することができる。しかし、αが小さすぎる場合は、ｔｈも非常に小さいので、セグメンテーションはデプスピクセル値のわずかな変動にも過度に反応する（ロバスト性が低い。）。この過度の反応は、特定の実施態様において、潜在的にノイズの多い領域拡張結果、精度の低い予測、及び効率の悪い圧縮をもたらす。

［Ａ．２．領域拡張］
以下の説明は、図５によって示される上記ステップ５の実施態様の更なる詳細を提供する。様々な方法が、ビデオピクセルへ適用される領域拡張処理において使用されてよい。図９及び１０を参照すると、２つのそのような方法が図９及び１０のフローチャートにおいて示されている。

図９は、ループ初期設定動作９１０において示されるように、ビデオブロックＢ’における夫々のピクセルｐへ適用される処理９００を記載する。処理９００において、隣接ピクセルセットＶＰは予めセグメント化されており、そのセグメンテーションがビデオブロックＢ’に広げられる。

ステップ９−１：処理９００は、ピクセルｐ’＝ａｒｇｍｉｎ_ｑ∈ＶＰ｜｜Ｉ_ｑ−Ｉ_ｐ｜｜を決定する動作９２０を含む。ここで、Ｉ_ｑはピクセルｑに関するピクセル値である。これは、現在のピクセルｐに最も近い値を有するＶＰにおけるビデオピクセルを決定する。他の実施態様は単に、現在のピクセルｐの値の閾値内の値を有する第１ビデオピクセルＶＰを決定する。

更なる他の実施態様は、ＶＰのセグメンテーションの平均（他の実施態様は中央値又はモードを用いる。）を決定し、例えば、ＶＰにおける全てのピクセルとＩ_ｐを比較するのではなく、それらの平均値とＩ_ｐとを比較する。この実施態様は有効に、夫々の現在のピクセルｐをＶＰのセグメントと関連づける。比較は、様々な実施態様において、最も近い平均を決定すること、又は所与の閾値内にある第１平均を決定することによって、行われる。閾値は、様々な実施態様において、平均がピクセル値の絶対値の範囲内にある絶対閾値、又は平均がピクセル値の所与のパーセンテージ内にあるパーセンテージ閾値の１又はそれ以上である。

ステップ９−２：処理９００は、ピクセルｐ’のセグメンテーションインデックスをピクセルｐのセグメンテーションインデックスへ割り当てる動作９３０を含む。セグメンテーションインデックスを使用しない実施態様では、ピクセルｐがピクセルｐ’と同じセグメントに割り当てられれば、そのセグメントが如何にして示されるのかにかかわらず、十分である。

処理９００はまた、ビデオブロックＢ’において処理されるべき更なるピクセルｐが存在するかどうかを決定する動作９４０を含む。処理されるべき更なるピクセルｐが存在する場合は、動作９２０乃至９３０がそれらの残りのピクセルｐに関して繰り返される。

図１０は、ループ初期設定動作１０６０において示されるように、ビデオブロックＢ’における夫々のピクセルｐへ適用される処理１０５０を記載する。処理１０５０において、処理９００と同様に、隣接ピクセルセットＶＰは予めセグメント化されており、そのセグメンテーションがビデオブロックＢ’に広げられる。

ステップ１０−１：初期設定動作として、ピクセルセットＶＰ’＝ＶＰ（ビデオブロックＢ’の隣接ピクセルセット）を設定する（図１０に図示せず。）。

ビデオブロックＢ’における夫々のピクセルｐに関して、次の２つのステップを行う。

ステップ１０−２：処理１０５０は、次のように、セグメンテーションインデックスを決定する動作１０７０を含む：

Ｋ_ｐは、バイラテラルフィルタ設計において一般的に使用される正規化係数である。

処理１０５０はまた、動作１０７０からの結果に従ってピクセルｐのセグメンテーションインデックスを設定する動作１０８０を含む。他の実施態様は動作１０７０及び１０８０を組み合わせる。

Ｓ_ｑはピクセルｐのセグメンテーションインデックスを指す点に留意されたい。更に、関数ｆ及びｇは夫々、ドメイン（空間）フィルタカーネル及びレンジフィルタカーネルを指す。ｆの値は、｜｜ｐ−ｑ｜｜が大きくなるほど小さいべきであり、同様に、ｇの値は、｜｜Ｉ_ｐ−Ｉ_ｑ｜｜が大きくなるほど小さいべきである。例えば、夫々ｐおよびＩ_ｐに中心があるガウシアンフィルタのように、異なる設計がそれら２つのカーネルのために使用されてよい。

動作１０７０及び１０８０は、ビデオブロックＢ’からのピクセルｐを、バイラテラルフィルタ加重を最大とするセグメントに置く効果を有する。所与のセグメントに関する加重は、以下のステップ１０−３において予めセグメントに置かれているビデオブロックＢ’からのピクセルｐ及び隣接ピクセルを含むセグメント内の全てのピクセルにわたって実行される。

バイラテラルフィルタは一般的に、（ｉ）ピクセル間の距離と、（ｉｉ）ピクセル間のピクセル値の差とを両方とも考慮する効果を有する。よって、距離が近いピクセルは、関数ｆにより更なる重みを与えられ、同じであるピクセル値を有するピクセルは、関数ｇにより更なる重みを与えられる。

加えて、当然に、ｆ及びｇの選択は、単一のピクセルにどの程度の強調を与えるべきかを制御する。例えば、ｆ及びｇの選択に依存して、関数ｆ及び／又はｇの１又はそれ以上に関して高い値を有する単一のピクセルは、関数ｆ及びｇに関してより低い値を有する複数のピクセルにより重くされても又はされなくてもよい。

セグメンテーションインデックスを使用しない実施態様では、それ自体は、ピクセルｐが上記の式を最大とする同じセグメントに割り当てられれば十分である。例えば、他の実施態様において、所与のピクセルｐに関するセグメンテーションインデックスを決定する動作１０７０に代えて、動作１０７０はピクセルｐに関するセグメントを決定する。同じバイラテラルフィルタの式が使用される（すなわち、同じ関数ｆ及びｇが使用される）が、バイラテラルフィルタの結果は、所与のセグメントにおける全てのピクセルにわたって合計され、この和を最大とするセグメントがピクセルｐのセグメントとして選択される。

ステップ１０−３：動作１０７０はまた、一実施態様において、ＶＰ’＝ＶＰ’∪｛ｐ｝を設定すること含む。当該ステップ１０−３は、ビデオブロックＢ’における後続のピクセルｐに関して上記のステップ１０−２（同じく動作１０７０に含まれる。）において考慮されるピクセルの組を拡大する効果を有する。他の実施態様はステップ１０−３をスキップし、処理１０５０の全体を通じてセットＶＰ’を不変なままとする。

処理１０５０はまた、ビデオブロックＢ’において処理されるべき更なるピクセルｐが存在するかどうかを決定する動作１０９０を含む。処理されるべき更なるピクセルｐが存在する場合は、動作１０７０乃至１０８０がそれらの残りのピクセルｐに関して繰り返される。

［Ａ．３．デプス予測子の生成］
以下の説明は、図２の動作２７０において示される上記のステップ７の実施態様の更なる詳細を提供する。ステップ７は、上記より、図２の動作２７０において記載されるように（図３乃至８には図示せず。）、セグメンテーションに基づきデプスサンプルのデプスブロックＢにおける夫々のデプスサンプルに関してデプス予測値を決定する。

様々な方法は、デプス予測値（デプス予測子とも呼ばれる。）を決定するために使用されてよい。幾つかの実施態様において、夫々のデプスサンプルの予測は、例えば、セグメンテーションインデックスに基づき、生成される。他の実施態様では、夫々のデプスサンプルの予測は、例えば、隣接ピクセルの値に基づき、生成される。他の実施態様では、夫々のデプスサンプルの予測は、例えば、セグメンテーションインデックス及び隣接ピクセルの値に基づき、生成される。

様々な実施形態において、隣接デプスサンプルの夫々のセグメント（セグメントは、幾つかの実施態様において、セグメンテーションインデックスに対応する。）に関する中央値又は平均値が計算される。これは、隣接デプスサンプルの夫々のセグメントに関して平均値を生成する。図４の例を用いると、例えば、これは、セグメント２２０に関する第１平均値と、セグメント２２４に関する第２平均値と、セグメント２２８に関する第３平均値とを生成する。

図４の例の使用を続けると、デプスブロックＢにおけるデプスサンプルｐに関するデプス予測は、隣接デプスサンプルの割り当てられるセグメントの中央値又は平均値として設定される。その割り当てられるセグメントは、例えば、セグメントインデックスＳ_ｐにより標識されてよい。図７の例を用いると、例えば、これは、（ｉ）セグメント２３０におけるピクセルの夫々に関する第１平均値（セグメント２２０の平均）と等しいデプス予測と、（ｉｉ）セグメント２３４におけるピクセルの夫々に関する第２平均値（セグメント２２４の平均）と等しいデプス予測と、（ｉｉｉ）セグメント２３８におけるピクセルの夫々に関する第３平均値（セグメント２２８の平均）と等しいデプス予測とを生成する。

他の実施態様は、異なるメトリクス又は関数又はフィルタを使用する。１つの特定の実施態様はモードを使用し、他の実施態様は中央値を使用する。

［Ｂ．領域拡張モード］
この実施形態では、新しいデプス符号化モードが提案される。すなわち、領域拡張モードである。モードは、リファレンスとして異なる時間又は異なるビューからのデプスピクチャを用いずに、デプスピクチャの所与のブロックに関して予測を形成する。このモードを領域拡張モードと呼ぶこととする。このモードは、例えば、図１１及び図１２において示されるように、デプスエンコーダ／デコーダにおいて使用される。他の実施態様は、異なる時間からの及び／又は異なるビューからのリファレンスデプスピクチャを用いるよう領域拡張モードを適応させる。そのようなリファレンスデプスピクチャは、現在のデプスブロックを予測するのを助けるために、又は残余を符号化するために、異なる実施態様において使用される。

このモードの実施態様の説明のために更なる文脈を提供するよう、図１１及び１２がここで説明される。図１１は符号化に関し、図１２には復号に関する。

図１１を参照すると、エンコーダ１１００は、様々な実施態様において、例えば、ビデオ画像又はデプス画像のような画像を符号化するために使用されるエンコーダの実施態様を表す。エンコーダ１１００はまた、特定の実施態様において、例えば、符号化されるビットストリームに関する情報を提供するメタデータのようなデータを符号化するためにも使用される。エンコーダ１１００は、一実施態様において、例えば、図１６に関連して後述されるビデオ送信システムの部分として実施される。また当然に、図１１のブロックは、エンコーダのブロック図を提供することに加えて、符号化処理のフロー図を提供する。

入力画像シーケンスが加算器１１０１と、変位補償ブロック１１２０と、変位推定ブロック１１１８と、領域拡張に基づく予測ブロック１１１６とに到着する。変位（displacement）は、例えば、動き変位又は視差変位のいずれかを指す。入力画像シーケンスは、一実施態様において、デプスシーケンスである。加算器１１０１への他の入力は、スイッチ１１２３を通じて受け取られる様々な可能なリファレンスピクチャ情報項目の１つである。

例えば、第１シナリオにおいて、スイッチ１１２３と信号通信を行うモード決定モジュール１１２４は、現在符号化されている同じピクチャ（例えば、デプスピクチャ）からのブロックを参照して、符号化モードがイントラ予測であるべきであると決定する。この第１シナリオでは、加算器１１０１はその入力をイントラ予測モジュール１１２２から受け取る。代替的に、第２シナリオにおいて、モード決定モジュール１１２４は、現在符号化されているピクチャとは異なる（例えば、異なる時間若しくはビュー又はその両方）ピクチャを参照して、符号化モードが変位補償及び推定であるべきであると決定する。この第２のシナリオでは、加算器１１０１はその入力を変位補償モジュール１１２０から受け取る。代替的に、第３シナリオにおいて、モード決定モジュール１１２４は、現在符号化されているデプスおよび対応するビデオピクチャを参照して、符号化モードが領域拡張に基づく予測であるべきであると決定する（以下で更に説明される。）。この第３シナリオでは、加算器１１０１はその入力を領域拡張に基づく予測ブロック１１１６から受け取る。

様々な実施態様において、イントラ予測モジュール１１２２は、符号化されているブロックへ隣接ブロックである１又はそれ以上のブロックに基づく所定の予測子を提供する。様々な実施態様において、イントラ予測モジュール１１２２は、符号化されるピクチャ野中から最良のリファレンスブロックを探すことによって予測子（リファレンス）を提供する。

より具体的には、幾つかのそのような予測子に基づく実施態様は、予め符号化されている現在のピクチャの部分の再構成内を検索する。幾つかの実施態様において、検索は、既存のブロック境界にあるブロックに限定されている。しかし、他の実施態様では、検索は、それらのブロックが既存のブロック境界を横断するかどうかにかかわらずブロックを探すことができる。そのような検索のために、当該実施態様はしばしば、リファレンスとして単に所定の隣接ブロックを用いるよりも多くの時間及びプロセッサを要する。しかし、当該実施態様は通常、所与のブロックのより良い予測を見つけるという利点を提供する。

当該実施態様は、最も良く推定されたイントラ予測ブロックをもたらすことができる。加えて、様々な実施態様において、リファレンスブロックの境界はサブピクセル境界上にあることができ、リファレンスの回復は、復号の間にリファレンスとして使用される実際のブロックをリストアするよう補間ステップを伴う。ピクチャの内容に依存して、そのようなサブピクセル補間の実施態様は、リファレンスとしての隣接ブロックの使用と比較して圧縮効率を改善することができる。

加算器１１０１は、変換モジュール１１０２へ信号を供給する。変換モジュール１１０２は、その入力信号を変換して、変換された信号を量子化モジュール１１０４へ供給するよう構成される。量子化モジュール１１０４は、その受信信号に対して量子化を行い、量子化された情報をエントロピエンコーダ１１０５へ出力するよう構成される。エントロピエンコーダ１１０５は、その入力信号に対してエントロピ符号化を行ってビットストリームを生成するよう構成される。逆量子化モジュール１１０６は、量子化された信号を量子化モジュール１１０４から受信し、量子化された信号に対して逆量子化を行うよう構成される。次いで、逆変換モジュール１１０８は、逆量子化された信号を逆量子化モジュール１１０６から受信し、その受信信号に対して逆変換を行うよう構成される。逆変換モジュール１１０８の出力は、加算器１１０１から出力される信号の再構成である。

加算器（より一般的には、結合器と呼ばれる。）１１０９は、逆変換モジュール１１０８及びスイッチ１１２３から受信される信号を加算（結合）し、結果として得られる信号をイントラ予測モジュール１１２２、インループフィルタ１１１０及び領域拡張に基づく予測ブロック１１１６へ出力する。イントラ予測モジュール１１２２及び領域拡張に基づく予測ブロック１１１６は、その結果として得られる信号を、例えば、現在のピクチャからの更なるブロックを符号化するのに使用する。インループフィルタ１１１０は、所与のピクチャに関する再構成されたピクチャデータにフィルタをかけ、以下で更に説明されるデプスリファレンスバッファ１１１２へこれを供給する。結果として得られる信号は、エンコーダ１１００へ入力される画像シーケンス信号の再構成である。

イントラ予測モジュール１１２２は、その受信信号を用いて、上述されたように、イントラ予測を行う。インループフィルタ１１１０は、加算器１１０９から受信された信号にフィルタをかけ、フィルタ処理された信号をデプスリファレンスバッファ１１１２へ供給する。デプスリファレンスバッファ１１１２は、画像情報を変位推定モジュール１１１８及び変位補償モジュール１１２０へ供給する。一実施態様において、デプスリファレンスバッファ１１１２は、例えば、現在のピクチャからではなく、他の時間インスタンス又は他のビューからのリファレンスピクチャを記憶する。インループフィルタ１１１０は、一実施態様において、デブロッキングフィルタである。

一実施態様において、インループフィルタ１１１０は、現在のブロックにおける所与のピクセルに関してフィルタ処理された結果を得るよう、隣接ピクセルを用いる。様々なフィルタ設計において、現在のブロックに関する隣接ピクセルは、復号されていないブロックからのピクセルを含む。然るに、そのようなフィルタ設計に関して、現在のブロックは、復号されている一方でフィルタ処理され得ない。加えて、既に復号されている特定の隣接ピクセルは、現在のブロックが復号されるまでフィルタ処理され得ない。結果として、少なくとも１つの実施態様は、イントラ予測又は領域拡張モードにおいて、フィルタ処理された結果を用いない。しかし、当該実施態様は、前のピクチャ（リファレンスピクチャ）からの全てのブロックが復号されておりフィルタ処理され得るので、インター予測のためにはフィルタ処理された結果を用いる。メタデータが、符号化されたメタデータとしてエンコーダ１１００へ加えられ、エントロピエンコーダ１１０５からの出力ビットストリームと結合されてよい。代替的に、例えば、符号化されていないメタデータが、量子化された画像シーケンスとともにエントロピ符号化のためにエントロピエンコーダ１１０５へ入力されてよい。

データはまた、モード決定モジュール１１２４によって出力ビットストリームへ与えられる。モード決定モジュール１１２４は、所与のブロックを符号化するために使用されるモードを示す情報をビットストリームへ与える。そのような情報はしばしば、リファレンスブロックの場所のインジケーションを含む。例えば、イントラ予測を使用し且つリファレンスブロックを見つけるよう現在のピクチャの検索を行う様々な実施態様において、モード決定モジュール１１２４は、視差ベクトルを用いてリファレンスの場所を示す。視差ベクトル情報は、イントラ予測モジュール１１２２によってモード決定モジュール１１２４へ供給されてよい。

以下で更に記載されるように、視差ベクトル情報は、リファレンスとして隣接マクロブロックの視差ベクトルを用いて差次的に符号化されてよい。加えて、ピクチャに関する視差ベクトルは、視差ベクトルにおいて空間的類似性が存在する可能性が高いので、エントロピを除くようグループ化され、加えて符号化されてよい。

ビデオリファレンスバッファ１１１４は、一実施態様において、符号化されるデプス画像に対応するビデオ画像を記憶する。別個のビデオエンコーダが、一実施態様において、ビデオ画像を符号化するために使用され、そのビデオエンコーダがビデオリファレンスバッファ１１１４を含む。一実施態様において、領域拡張に基づく予測ブロック１１１６は、符号化されるデプスブロックに対応するビデオの座標を決定するよう、入力画像シーケンスによって供給される情報を使用する。領域拡張に基づく予測ブロック１１１６は、ビデオリファレンスバッファ１１１４からの所望のビデオにアクセスするためにそれらの座標を使用する。所望のビデオは、一実施態様において、符号化されるデプスサンプルに隣接するデプスサンプルに対応するビデオと、符号化されるデプスサンプルに対応するビデオとを含む。

領域拡張に基づく予測ブロック１１１６は、様々な実施態様において、符号化される画像の予測を提供するよう動作する。一実施態様において、領域拡張に基づく予測ブロック１１１６は、図２の処理２００を実行する。

図１２を参照すると、デコーダ１２００は、例えば、デプス画像のような画像を復号するために使用され得るデコーダの実施態様を表す。復号された画像は、一実施態様において、デプスデータに基づき更なるビューを生成するレンダリング装置へ供給される。デコーダ１２００は、他の実施態様では、例えば、復号されたビットストリームに関する情報を提供するメタデータを復号化するために、及び／又はビデオデータを復号するために、使用される。一実施態様において、デコーダ１２００は、例えば、図１７に関連して以下で記載されるビデオ受信システムの部分として実施される。また当然に、図１２のブロックは、デコーダのブロック図を提供することに加えて、復号処理のフロー図を提供する。

デコーダ１２００は、ビットストリーム受信器１２０２を用いてビットストリームを受信するよう構成される。ビットストリーム受信器１２０２は、ビットストリームパーサー１２０４と信号通信を行い、ビットストリームをビットストリームパーサー１２０４へ供給する。

ビットストリームパーサー１２０４は、残余ビットストリームをエントロピデコーダ１２０６へ送信するよう、制御シンタックス要素をモード選択モジュール１２１６へ送信するよう、及び変位（動き／視差）ベクトル情報を変位補償モジュール１２２６へ送信するよう構成される。

変位ベクトル情報は、例えば、動きベクトル情報又は視差ベクトル情報であってよい。動きベクトル情報は通常、前の画像からの相対的な動きを示すインター予測において使用される。視差ベクトル情報は通常、（ｉ）別個の画像に対する視差を示すインター予測、又は（ｉｉ）同じ画像の部分に対する視差を示すイントラ予測のいずれかにおいて使用される。当該技術において知られているように、視差は通常、２つの画像の間の相対オフセット又は変位を示す。視差はまた、画像の２つの部分の間の相対オフセット又は変位を示すために使用されてよい。

逆量子化モジュール１２０８は、エントロピデコーダ１２０６から受信されたエントロピ復号された信号に対して逆量子化を行う。加えて、逆変換モジュール１２１０は、逆量子化モジュール１２０８から受信された逆量子化された信号に対して逆変化を行い、逆変化をされた信号を加算器（結合器とも呼ばれる。）１２１２へ出力するよう構成される。

加算器１２１２は、用いられる復号モードに依存して様々な他の信号の１つを受信することができる。例えば、一実施態様において、モード決定モジュール１２１６は、変位補償又はイントラ予測符号化が現在処理されているブロックに対してエンコーダによって行われたかどうかを、制御シンタックス要素をパースし解析することによって決定する。決定されたモードに依存して、モード選択モジュール１２１６はスイッチ１２１７にアクセスして、制御シンタックス要素に基づきそれを制御し、加算器１２１２が変位補償モジュール１２２６、イントラ予測モジュール１２１８又は領域拡張に基づく予測ブロック１２３０から信号を受信するようにする。

ここで、イントラ予測モジュール１２１８は、現在復号されている同じピクチャへのリファレンスを用いてブロックを復号するようにイントラ予測を行うよう構成される。次に、変位補償モジュール１２２６は、現在復号されているピクチャとは異なる他の前に処理されたピクチャ（例えば、異なる時間若しくはビュー、又はその両方からのピクチャ）のブロックへのリファレンスを用いてブロックを復号するように変位補償を行うよう構成される。領域拡張に基づく予測ブロック１２３０は、復号されるブロックに関して予測を決定するよう構成される。

領域拡張に基づく予測ブロック１２３０は、様々な実施態様において、復号される画像の予測を提供するよう動作する。一実施態様において、領域拡張に基づく予測ブロック１２３０は図２の処理２００を実行する。加えて、様々な実施態様において、領域拡張に基づく予測ブロック１２３０は、エンコーダ１１００の領域拡張に基づく予測ブロック１１１６と同じ動作を実行する。

予測又は補償情報信号を受信した後、加算器１２１２は、インループフィルタ１２１４への送信のために、予測又は補償情報信号を逆変換された信号と結合する。インループフィルタ１２１４は、例えば、ブロッキングアーティファクトを除去するデブロッキングフィルタである。加算器１２１２はまた、結合された信号を、イントラ予測における使用のためにイントラ予測モジュール１２１８へ出力し、更に領域拡張に基づく予測ブロック１２３０へ出力する。

インループフィルタ１２１４は、その入力信号をフィルタ処理し、復号されたピクチャを出力するよう構成される。更に、インループフィルタ１２１４は、フィルタ処理された信号をデプスリファレンスバッファ１２２０へ供給する。デプスリファレンスバッファ１２２０は、変位補償モジュール１２２６による変位補償復号化を可能にし支援するようにその受信信号をパースするよう構成される。変位補償モジュール１２２６へは、デプスリファレンスバッファ１２２０がパースされた信号を供給する。そのようなパースされた信号は、例えば、リファレンスとして使用された様々なピクチャの全て又は部分であってよい。

ビデオリファレンスバッファ１２４０は、一実施態様において、復号されるデプス画像に対応するビデオ画像を記憶する。別個のビデオデコーダが一実施態様において、ビデオ画像を復号するために使用され、そのビデオデコーダがビデオリファレンスバッファ１２４０を含む。領域拡張に基づく予測ブロック１２３０は、少なくとも１つの実施態様において、復号されるデプスブロックに対応するビデオの座標を決定する。領域拡張に基づく予測ブロック１２３０は、ビデオリファレンスバッファ１２４０からの所望のビデオにアクセスするためにそれらの座標を使用する。所望のビデオは、一実施態様において、復号されるデプスサンプルに隣接するデプスサンプルに対応するビデオと、復号されるデプスサンプルに対応するビデオとを含む。領域拡張に基づく予測ブロック１２３０は、様々な方法においてビデオ座標を決定する。例えば、一実施態様において、領域拡張に基づく予測ブロック１２３０は、復号化がピクチャ及びブロック内で既知の態様（例えば、非我利から右及び上から下）において進行するので、復号されるデプスブロックの座標を自動的に知る。他の例として、他の実施態様では、領域拡張に基づく予測ブロック１２３０は、復号されるデプスブロックの座標を決定するよう、入力されるビットストリームによって与えられる情報を使用する。対応するビデオは、デプスブロックと同じ座標を有すると推定され、あるいは、データが、対応するビデオを示すよう与えられる。

メタデータが、ビットストリーム受信器１２０２へ供給されるビットストリームにおいて含まれてよい。メタデータは、ビットストリームパーサー１２０４によってパースされて、エントロピデコーダ１２０６によって復号されてよい。復号されたメタデータは、出力を用いてエントロピ復号化の後にデコーダ１２００から取り出されてよい（図示せず。）。

少なくとも１つの実施態様において、図１２のブロックの多くは、図１１における対応するブロックの逆の動作を行う。例えば、一実施態様において：
・エントロピデコーダ１２０６はエントロピエンコーダ１１０５の逆を実行し、
・逆量子化モジュール１２０８は量子化モジュール１１０４の逆を実行し、
・逆変換モジュール１２１０は変換モジュール１１０２の逆を実行する。

更に、既に上述されたように、少なくとも１つの実施態様において、図１２のブロックの多くは、図１１における対応するブロックと同じ動作を実行する。例えば、一実施態様において：
・インループフィルタ１２１４はインループフィルタ１１１０と同じ動作を実行し、
・イントラ予測モジュール１２１８はイントラ予測モジュール１１２２と同じ動作を実行し、
・変位補償モジュール１２２６は変位補償モジュール１１２０と同じ動作を実行し、
・領域拡張に基づく予測ブロック１２３０は領域拡張に基づく予測ブロック１１１６と同じ動作を実行する。

再び領域拡張モードについて検討する。このモードの一実施態様において、モードは１６×１６マクロブロック（“ＭＢ”）レベルで実施される。しかし、領域拡張予測は４×４ブロックレベルで実行される。他の実施態様は、予測を実行するために異なるサイズを使用する。この実施態様の符号化及び復号化処理は以下で記載される。

［Ｂ．１．領域拡張に基づくモードによる符号化］
再び図１１を参照すると、エンコーダ１１００は、領域拡張モードを実施するデプスエンコーダの実施態様を提供する。エンコーダ１１００の２つのブロックは特に、領域拡張モードを実施するのに関与する。それら２つのブロックは領域拡張に基づく予測ブロック１１１６及びビデオリファレンスバッファ１１１４である。それら２つのブロックの動作は先に記載されている。少なくとも１つの実施態様において、ビデオリファレンスバッファ１１１４は、ビデオエンコーダからの再構成されたビデオフレームがＲＧ予測のためにアクセスされ得るように保持される点に留意されたい。

図１３を参照すると、領域拡張モードによりマクロブロックを符号化する処理１３００が示されている。他の実施態様は、例えば、領域拡張モードのような領域拡張予測を、マクロブロックよりも大きいデータ（例えば、フィールド、フレーム、又はフレームの組）、マクロブロックよりも小さいデータ（例えば、パーティション）、及び／又は不均一な形状のデータ（例えば、非長方形のデータ）へ適用する。処理１３００は次の動作を含む。

ステップ１３−１：処理１３００は、現在のＭＢを４×４のブロックに分割する動作（１３１０）を含む。他の実施態様は、例えば、４×８、８×４、８×８、８×１６、又は１６×８といった、４×４以外のサイズを有するパーティションを使用する。

ステップ１３−２：夫々の４×４ブロックに関して、処理１３００はループに入る（１３２０）。ループ内で、所与の４×４ブロックに関して、処理１３００は、隣接する再構成されたデプスサンプルから領域拡張に基づく予測を決定する動作（１３３０）を行う。一実施態様において、領域拡張に基づく予測は図２の処理２００を用いて決定される。

ステップ１３−３：ループ内で、処理１３００は任意に、ステップ１３−２で決定された予測を精緻化する（１３４０）。動作１３４０の破線ボックスは、動作１３４０が処理１３００において任意であることを示す。

ステップ１３−４：ループ内で、処理１３００は、ステップ１３−２における動作１３３０又はステップ１３−３における動作１３４０のいずれかからの予測されるデプス値と入力デプス情報とに基づき残余を決定する（１３５０）。一実施態様において、残余は、入力デプス情報と予測デプス値との間の差として計算され、次いで、変換及び量子化をなされる（例えば、図１１におけるブロック１１０２、１１０４を参照）。他の実施態様は、符号化処理の部分として残余に対して追加の動作を行う。

ステップ１３−５：ループ内で、処理１３００は、残余情報と予測デプス値とに基づき、再構成されたデプスブロックを決定する（１３６０）。一実施態様において、再構成は、残余情報（例えば、図１１のブロック１１０６及び１１０８において示されるように逆量子化及び逆変換をされる。）を予測デプス値に加えることによって形成される。他の実施態様は、符号化処理の部分として残余に対して追加の動作を行う。

ステップ１３−６：処理１３００は、次のブロックに関して再びループ動作を実行すべきかどうかを決定する（１３７０）。更なるブロックが依然として処理されていない場合は、処理１３００は次のブロックに関してステップ１３−２乃至ステップ１３―５を実行し（ステップ１３−３は任意である点に留意されたい。）、全てのブロックが処理されるまでループ動作を実行し続ける。ブロックは上から下及び左から右へ処理される。一実施態様は、全ての行が処理されるまで、上の行を（左から右へ）処理し、次いで、下にある次の行へ移動することによって、左から右及び上から下へ進む。他の実施態様は、全ての列が処理されるまで、左の列を（上から下へ）処理し、右側の次の行へ移動することによって、同等の結果を提供する。更なる他の実施態様は、どの隣接ピクセルが処理において使用されるかどうかに依存して、右から左へ及び／又は下から上へ処理する。他の実施態様は異なる順序においてブロックを処理する。

ＭＢからの以前に符号化されたブロック／パーティションは、同じＭＢからの現在の（異なる）ブロック／パーティションの予測を生成するために使用され得る点に留意されたい。これは、残余情報が夫々のブロック／パーティションについて独立に処理されるためであり、前のブロック／パーティションの再構成は、現在のブロック／パーティションの予測が決定される前に利用可能である。

ステップ１３−３における精緻化の処理は、エンコーダ及び／又はデコーダの複雑性を低減するために、様々な実施態様においてスキップされる。しかし、幾つかの実施態様は精緻化動作を含む。精緻化動作は、例えば、付加的なフィルタリング動作を含む。

精緻化動作の更なる他の例を提供する。一実施態様において、４×４ブロックにおける所与のデプスサンプルに関して、２つの基準を満足する隣接デプスサンプルが特定される。２つの基準は、所与のデプスサンプル及び隣接デプスサンプルが（ｉ）互いに同じデプス値を有し、且つ（ｉｉ）互いに同じ対応するビデオピクセル値を有することである。それらの特定された隣接デプスサンプルの中央デプス値が決定される。中央値は、精緻化されたデプスサンプル値として使用される。

隣接デプスサンプルは、一実施態様に関して、符号化されるデプスサンプルの４×４のブロックの直ぐ上にある４つのピクセルの組と、直ぐ左側にある４つのピクセルの組とである。隣接デプスサンプルは、１又はそれ以上の前に符号化されたブロック／パーティションからの再構成されたデプスサンプルである点に留意されたい。隣接ピクセルの組は、例えば、最大で８個のピクセルである。隣接ピクセルの組は、動作１３３０及び／又は動作２６０において符号化される所与のデプスピクセルに関連するセグメントにおけるピクセルの組よりも大きいか又はそれより小さく、それと重なり合うか又は重なり合っていない。

隣接デプスサンプルは、他の実施態様に関して、上記の２つの精緻化基準を更に満たす関連セグメント（例えば、動作２６０において決定される。）からのデプスサンプルに制限される。このように、隣接デプスサンプルの組は、当該セグメントにおけるピクセルの組よりも大きくなく、それと重なり合う。

上記の２つの精緻化基準は、例えば、２つの値が互いの所与の閾値範囲内にある場合にそれらの値が同じであると決定することによって、評価され得る。閾値は、例えば、絶対閾値又はパーセンテージ閾値であってよい。

一実施態様は、隣接デプスサンプルの中央値を計算する。なお、他の実施態様は、平均又はモードの１又はそれ以上を計算する。

［Ｂ．２．復号化／レンダリング］
この実施態様のデコーダ側で、２Ｄビデオのフレームは、対応するデプスデータを復号する前に復号される。再び図１２を参照すると、デコーダ１２００は、デプスデータを復号するデプスデコーダの実施態様を提供する。特に、デコーダ１２００は、領域拡張モードを用いて符号化されているデータを復号することができる。デコーダ１２００の２つのブロックが特に、領域拡張モードにより符号化されているデプスデータを復号するのに必要とされる。それら２つのブロックは、領域拡張に基づく予測ブロック１２３０及びビデオリファレンスバッファ１２４０である。それら２つのブロックの動作は上述されている。

図１４を参照すると、領域拡張モードにより符号化されているＭＢを復号する処理１４００が示されている。他の実施態様は、領域拡張に基づくモード、すなわち、より一般的には、領域拡張予測を、マクロブロックよりも大きいデータ（例えば、フィールド、フレーム、フレームの組）、マクロブロックよりも小さいデータ（例えば、パーティション）、及び／又は不均一な形状のデータ（例えば、非長方形のデータ）へ適用する。然るに、復号化側及び復号化側の両方の他の実施態様は、マクロブロックとは異なるサイズ及び／又は形状を有するデータセットに作用する。処理１４００は次の動作を含む。

ステップ１４−１：処理１４００は、残余を復号する（１４１０）。

ステップ１４−２：処理１４００は、ＭＢを４×４のブロックに分割する（１４２０）。

ステップ１４−３：夫々の４×４ブロックに関して、処理１４００はループに入る（１４３０）。ループ内で、所与のブロックに関して、処理１４００は、隣接する復号されたブロックに基づき、領域拡張に基づく予測を決定する動作（１４４０）を含む。この動作は、復号化処理１３００の動作１３３０において行われる動作と同じである。ブロック走査順序は通常、エンコーダにおいて使用された順序と同じであり、例えば、左から右、及び上から下である。これは、エンコーダ及びデコーダで一貫した結果を提供する。これはまた、必要とされるブロックをデコーダで適切な順序において提供し、よって、受け取ったブロックを記憶する如何なる必要性も低減し、一方、受け取ったブロックを該ブロックが受け取られる順序とは異なる順序で復号する。

ステップ１４−４：ループ内で、処理１４００は任意に、動作１４４０で決定された予測を精緻化する（１４５０）。この動作は、符号化処理１３００の動作１３４０で行われる動作と同じである。加えて、他の実施態様は精緻動作を行うが、精緻化された予測を使用すべきかどうかを決定する判定処理を経由する。一貫性を確保するよう、それらの他の実施態様は、エンコーダ及びデコーダの両方で同じ判定処理を行うか、又はエンコーダが判定処理の結果をデコーダへ送信する。動作１４５０の破線ボックスは、動作１４５０が処理１４００において任意であることを示す。

ステップ１４−５：ループ内で、処理１４００は、ブロック再構成する行う動作（１４６０）を含む。一実施態様において、４×４ブロックは、動作１４１０（ステップ１）からの復号された残余情報を、ステップ１４−３（動作１４４０）又はステップ１４−４（動作１４５０）のいずれかから生成された現在のブロック予測に加えることによって、再構成される。再構成されたデプスブロックは、現在のデプスブロックに関する復号された結果である。ステップ１４−４に関して説明されたように、幾つかの実施態様は、精緻化された予測を使用すべきかどうかを決定する判定処理を有する。

ステップ１４−６：処理１４００は、次のブロックに関して再びループ動作を実行すべきかどうかを決定する（１４７０）。更なるブロックが依然として処理されていない場合は、処理１４００は次のブロックに関してステップ１４−２乃至ステップ１４―５（動作１４４０乃至１４６０）を実行する（ステップ１４−４及び動作１４５０は任意である。）。更に、処理１４００は、全てのブロックが処理されるまで（すなわち、全てのブロックが復号されるまで）ループ動作を実行し続ける。ブロックは、符号化側で行われるように、上から下及び左から右へ処理される。他の実施態様は異なる順序においてブロックを処理する。

図１５を参照すると、デプスインジケータを処理する処理１５００が示されている。この処理は様々な異なる動作を含んでよい。例えば、様々な実施態様において、処理は、デプスインジケータの予測を形成すること、デプスインジケータを符号化すること、及び／又はデプスインジケータを復号することを含む。

処理１５００は、ビデオ画像シーケンスに含まれるビデオ画像の特定の部分に関してセグメンテーションを決定する動作（１５１０）を含む。セグメンテーションは、基準デプスインジケータに基づき決定される。基準デプスインジケータは、ビデオ画像シーケンスに含まれる少なくとも１つのビデオ画像に関する。

処理１５００は、ビデオ画像の特定の部分に対応する目標デプスインジケータを処理する動作（１５２０）を含む。この処理動作は、ビデオ画像の特定の部分における決定をされたセグメンテーションに基づく。

処理１５００の様々な実施態様は３ステップ処理を使用する。ここで、特定の実施態様に適用可能な１つのそのような３ステップ処理について説明する。第１ステップで、デプスデータ処理される。第２ステップで、（第１ステップからの）デプスデータの処理が、関連するビデオを処理するのに使用される。関連するビデオは、処理されたデプスデータに厳密には対応する必要がない点に留意されたい。例えば、一実施態様において、関連するビデオデータは、処理されたデプスデータに隣接するデプスデータに対応する。第３ステップで、関連するビデオデータの処理が、対応するデプスデータを処理するのに使用される。このように、当該実施態様の３ステップ処理はデプスデータにより開始及び終了する。

一実施態様において、動作１５１０及び１５２０は、領域拡張に基づく予測ブロック１１１６及び／又は１２３０において行われる。

ここで図１６を参照すると、ビデオ送信システム又は装置１６００が示されている。当該システム又は装置１６００には、上記の特徴及び原理が適用されてよい。ビデオ送信システム又は装置１６００は、例えば、衛星、ケーブル、電話回線、又は地上放送のような様々な媒体のいずれかにより信号を送信するヘッドエンド又は送信システムであってよい。ビデオ送信システム又は装置１６００は更に、又は代替的に、例えば、記憶のために信号を提供するよう使用されてよい。送信は、インターネット又はその他ネットワークを介して提供されてよい。ビデオ送信システム又は装置１６００は、例えば、ビデオコンテンツと、例えば、デプス及び／又は視差値を含むデプスのインジケータのような他のコンテンツとを生成し供給することができる。また当然に、図１６のブロックは、ビデオ送信システム又は装置のブロック図を提供することに加えて、ビデオ送信処理のフロー図を提供する。

ビデオ送信システム又は装置１６００は、プロセッサ１６０１から入力ビデオを受け取る。一実施態様において、プロセッサ１６０１は単に、図１のビデオ画像Ｖ１、Ｖ２及びＶ３のようなビデオ画像をビデオ送信システム又は装置１６００へ供給する。なお、他の実施態様では、プロセッサ１６０１は代替的に、又は付加的に、図１のデプス画像Ｄ１、Ｄ２及びＤ３のようなデプス画像をビデオ送信システム又は装置１６００へ供給する。プロセッサ１６０１はまた、メタデータをビデオ送信システム又は装置１６００へ供給してよく、メタデータは入力画像の１又はそれ以上と関連している。

ビデオ送信システム又は装置１６００は、エンコーダ１６０２と、符号化された信号を送信することができる送信器１６０４とを含む。エンコーダ１６０２はプロセッサ１６０１からビデオ情報を受け取る。ビデオ情報は、例えば、ビデオ画像、及び／又は視差（若しくはデプス）画像を含んでよい。エンコーダ１６０２は、ビデオ及び／又は視差情報に基づき、符号化された信号を生成する。エンコーダ１６０２は、一実施態様において、図１１のエンコーダ１１００である。

様々な実施態様において、エンコーダ１６０２は、例えば、ＡＶＣエンコーダである。ＡＶＣエンコーダは、ビデオ及び視差情報の両方に適用されてよい。ＡＣＶは、既存のＩＳＯ／ＩＥＣ（International Organization for Standardization/International Electrotechnical Commission）ＭＰＥＧ−４（Moving Picture Experts Group-4）パート１０ＡＶＣ（Advanced Video Coding）標準／ＩＴＵ−Ｔ（International Telecommunication Union, Telecommunication Sector）Ｈ．２６４提言（以降、“Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ標準”、あるいは、“ＡＶＣ標準”、“Ｈ．２６４標準”又は単に“ＡＶＣ”若しくは“Ｈ．２６４”のようなその言い換え）を指す。

エンコーダ１６０２は、例えば、記憶又は送信のために情報の様々な片を受信し、それらを構造化されたフォーマットにまとめるアセンブリユニットを含むサブモジュールを含んでよい。情報の様々な片は、例えば、符号化された又は符号化されていないビデオと、符号化された又は符号化されていない視差（又はデプス）値と、例えば、動きベクトル、符号化モードインジケータ、及びシンタックス要素のような符号化された又は符号化されていない要素とを含んでよい。幾つかの実施態様において、エンコーダ１６０２はプロセッサ１６０１を含み、従って、プロセッサ１６０１の動作を実行する。

送信器１６０４は、エンコーダ１６０２から符号化された信号を受信し、符号化された信号を１又はそれ以上の出力信号において送信する。送信器１６０４は、例えば、符号化されたピクチャ及び／又はそれに関する情報を表す１又はそれ以上のビットストリームを有するプログラム信号を送信するよう構成されてよい。典型的な送信器は、例えば、エラー訂正符号化、信号におけるデータのインターリービング、信号におけるエネルギのランダム化、及び変調器１６０６による１又はそれ以上のキャリア上への信号の変調の中の１又はそれ以上のような機能を実行する。送信器１６０４は、アンテナ（図示せず。）を含むか、又はそれとインターフェース接続してよい。更に、送信器１６０４の実施態様は変調器１６０６に制限されてよい。

ビデオ送信システム又は装置１６００はまた、記憶ユニット１６０８へ通信上結合される。一実施態様において、記憶ユニット１６０８はエンコーダ１６０２へ結合され、記憶ユニット１６０８は、エンコーダ１６０２からの符号化されたビットストリームを記憶し、任意に、記憶されたビットストリームを送信器１６０４へ供給する。他の実施態様では、記憶ユニット１６０８は送信器１６０４へ結合され、送信器１６０４からのビットストリームを記憶する。送信器１６０４からのビットストリームは、例えば、送信器１６０４によって更に処理された１又はそれ以上の符号化されたビットストリームを含んでよい。記憶ユニット１６０８は、異なる実施態様において、標準のＤＶＤ、ブルーレイディスク、ハードドライブ、又はその他記憶装置の中の１又はそれ以上である。

ここで図１７を参照すると、ビデオ受信システム又は装置１７００が示されており、当該システム又は装置には、上記の特徴及び原理が適用されてよい。ビデオ受信システム又は装置１７００は、例えば、衛星、ケーブル、電話回線、又は地上放送のような様々な媒体を介して信号を受信するよう構成されてよい。信号は、インターネット又はその他ネットワークを介して受信されてよい。また当然に、図１７のブロックは、ビデオ受信システム又は装置のブロック図を提供することに加えて、ビデオ受信処理のフロー図を提供する。

ビデオ受信システム又は装置１７００は、例えば、符号化されたビデオを受信し、復号されたビデオ信号を表示（例えば、ユーザへの表示）のために、処理のために、又は記憶のために提供する携帯電話機、コンピュータ、セットトップボックス、テレビジョン、又は他の装置であってよい。よって、ビデオ受信システム又は装置１７００は、その出力を、例えば、テレビジョンのスクリーン、コンピュータモニタ、コンピュータ（記憶、処理、又は表示のため）、又はその他の記憶、処理、若しくは表示の装置へ供給してよい。

ビデオ受信システム又は装置１７００は、ビデオ情報を受信し処理することができ、ビデオ情報は、例えば、ビデオ画像及び／又は視差（若しくはデプス）画像を含んでよい。ビデオ受信システム又は装置１７００は、例えば、本願の実施態様において記載される信号のような符号化された信号を受信する受信器１７０２を含む。受信器１７０２は、例えば、図１のビデオ画像Ｖ１、Ｖ２及びＶ３、図１のデプス画像Ｄ１、Ｄ２及びＤ３、又は図６のビデオ送信システム又は装置１６００から（例えば、記憶ユニット１６０８又は送信器１６０４から）出力された信号の中の１又はそれ以上を供給する信号を受信してよい。

受信器１７０２は、例えば、符号化されたピクチャ（例えば、ビデオピクチャ又はデプスピクチャ）を表す複数のビットストリームを有するプログラム信号を受信するよう構成されてよい。典型的な受信器は、例えば、変調され符号化されたデータ信号の受信、復調器１７０４による１又はそれ以上のキャリアからのデータ信号の復調、信号におけるエネルギのデランダマイズ、信号におけるデータのデインターリービング、及び信号のエラー訂正復号化の中の１又はそれ以上のような機能を実行する。受信器１７０２は、アンテナ（図示せず。）を含むか、又はそれとインターフェース接続してよい。受信器１７０２の実施態様は復調器１７０４に制限されてよい。

ビデオ受信システム又は装置１７００はデコーダ１７０６を含む。デコーダ１７０６は、一実施態様において、図１２のデコーダ１２００である。

受信器１７０２は受信信号をデコーダ１７０６へ供給する。受信器１７０２によってデコーダ１７０６へ供給される信号は１又はそれ以上の符号化されたビットストリームを含んでよい。デコーダ１７０６は、例えば、ビデオ情報を含む復号されたビデオ信号、又はデプス情報を含む復号されたデプス信号のような復号された信号を出力する。デコーダ１７０６は、例えば、ＡＶＣデコーダであってよい。

ビデオ受信システム又は装置１７００はまた、記憶ユニット１７０７へ通信上結合される。一実施態様において、記憶ユニット１７０７は受信器１７０２へ結合され、受信器１７０２は、記憶ユニット１７０７からのビットストリームにアクセスし、及び／又は受信したビットストリームを記憶ユニット１７０７へ記憶する。他の実施態様では、記憶ユニット１７０７はデコーダ１７０６へ結合され、デコーダ１７０６は、記憶ユニット１７０７からのビットストリームにアクセスし、及び／又は復号されたビットストリームを記憶ユニット１７０７へ記憶する。記憶ユニット１７０７からアクセスされるビットストリームは、異なる実施態様において、１又はそれ以上の符号化されたビットストリームを含む。記憶ユニット１７０７は、異なる実施態様において、標準のＤＶＤ、ブルーレイディスク、ハードドライブ、又はその他記憶装置の中の１又はそれ以上である。

デコーダ１７０６からの出力ビデオは、一実施態様において、プロセッサ１７０８へ供給される。プロセッサ１７０８は、一実施態様において、新しいビューのレンダリングを行うよう構成されるプロセッサである。幾つかの実施態様において、デコーダ１７０６はプロセッサ１７０８を含み、従って、プロセッサ１７０８の動作を実行する。他の実施態様では、プロセッサ１７０８は、例えば、セットトップボックス又はテレビジョンのようなダウンストリーム装置の部分である。

本願は、図２及び９乃至１７のブロック／フロー図を含む複数のブロック／フロー図を提供する。当然、本願のブロック／フロー図は、処理を記載するフロー図、及び装置の機能ブロックを記載するブロック図の両方を提示する。加えて、本願は、図１及び３乃至８の絵表示を含む複数の絵表示を提供する。当然、本願の絵表示は、例示又は結果若しくは出力、及び処理を記載するフロー図の両方を提示する。

新しいモードを実施する様々な実施態様が記載されてきた。当該モードは領域拡張モードと呼ばれる。様々な実施態様は、モードテーブルにおけるシンタックスを用いて新しいモードを知らしめる。シンタックスは、一実施態様において、特定のブロックが新しい領域拡張モードにより符号化されるか、又は、むしろ、従来のモードにより符号化されるかを示すようフラグを用いることを含む。ＡＶＣは、例えば、様々な従来のモードを含む。

様々な実施態様は、様々な利点の１又はそれ以上を備えてよい。それらの利点の一部には、（ｉ）低い複雑性、（ｉｉ）デプスエッジを保つこと、（ｉｉｉ）画像の平面領域を符号化するのに使用されるビットの数を減らすこと、（ｉｖ）複数のビューではなく単一のビューのみのデプス及びビデオからの情報を用いて、ビュー間のひずみ及びワーピングを防ぐこと、及び（ｖ）単に動き情報（例えば、動きベクトル）及び符号化モードを用いるのではなく、ビデオフレームにおける実際のサンプル値を用いてデプスマップに関するエッジ情報を得ることがある。

このように、特定の特徴及び側面を備える１又はそれ以上の実施態様が提供される。特に、デプスインジケータを予測することに関連する幾つかの実施態様が提供される。なお、それらの実施態様の変形及び更なる応用が考慮され且つ本開示内に含まれ、記載される実施態様の特徴及び側面は他の実施態様のために適応されてよい。

本願で記載される実施態様及び特徴の幾つかは、ＡＶＣ標準、及び／又はＭＶＣ拡張（付録Ｈ）によるＡＶＣ、及び／又はＳＶＣ拡張（付録Ｇ）によるＡＶＣとの関連で使用されてよい。加えて、それらの実施態様及び特徴は、他の標準（既存又は将来）との関連で、又は標準を対象としない状況で使用されてよい。

本原理の「一実施形態」若しくは「実施形態」又は「一実施態様」若しくは「実施態様」との言及及びその変形は、その実施形態に関連して記載される特定の特徴、構造、特性等が本原理の少なくとも１つの実施形態において含まれることを意味する。よって、明細書の全文を通して様々な箇所で見られる「一実施形態において」若しくは「実施形態において」又は「一実施態様において」若しくは「実施態様において」との表現及び如何なる他の変形の出現も、必ずしも全てが同じ実施形態を参照しているわけではない。

加えて、本願又はその特許請求の範囲は、情報の様々な片を「決定する」と言及することがある。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又はメモリから情報を取り出すことの中の１又はそれ以上を含んでよい。

更に、本願又はその特許請求の範囲は、情報の様々な片に「アクセスする」と言及することがある。情報にアクセスすることは、例えば、情報を受信すること、情報を取り出すこと（例えば、メモリ）、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報を複製すること、情報を消去すること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推定することの中の１又はそれ以上を含んでよい。

様々な実施態様は「画像」及び／又は「ピクチャ」に言及する。語「画像」及び「ピクチャ」は、本明細書の全文を通して同義的に使用され、広義語であるよう意図される。「画像」又は「ピクチャ」は、例えば、フレームの又はフィールドの全て又は部分であってよい。語「ビデオ」は画像（又はピクチャ）のシーケンスを指す。画像又はピクチャは、例えば、様々なビデオコンポーネント又はそれらの結合のいずれかを含んでよい。そのようなコンポーネント又はそれらの結合は、例えば、輝度、クロミナンス、（ＹＵＶ又はＹＣｂＣｒ又はＹＰｂＰｒの）Ｙ、（ＹＵＶの）Ｕ、（ＹＵＶの）Ｖ、（ＹＣｂＣｒの）Ｃｂ、（ＹＣｂＣｒの）Ｃｒ、（ＹＰｂＰｒの）Ｐｂ、（ＹＰｂＰｒの）Ｐｒ、（ＲＧＢの）赤（Ｒ）、（ＲＧＢの）緑（Ｇ）、（ＲＧＢの）青（Ｂ）、Ｓ−Ｖｉｄｅｏ、及びそれらの成分のいずれかのネガ又はポジを含む。「画像」又は「ピクチャ」は更に、又は代替的に、例えば、典型的な２次元ビデオ、２Ｄビデオピクチャのための視差マップ、２Ｄビデオピクチャに対応するデプスマップ、又はエッジマップを含む様々な異なるタイプのコンテンツを指すことがある。

「デプスマップ」、若しくは「視差マップ」、若しくは「エッジマップ」、又は同様の語はまた、広義語であるよう意図される。マップは一般的に、例えば、特定のタイプの情報を含むピクチャを指す。しかし、マップは、その名称によって示されない他のタイプの情報を含んでよい。例えば、デプスマップは通常デプス情報を含むが、例えば、ビデオ又はエッジ情報のような他の情報を更に含んでよい。

語「隣接する」及び「隣接」は本願の全体を通して使用されている。例として、第１ブロック又はピクセルは、その第１ブロック又はピクセルが第２ブロック又はピクセルに接する場合に、第２ブロック又はピクセルに隣接すると言われる。従って、所与のブロック又はピクセルは一般的に、上下左右及び四つ角にあるブロック又はピクセルを含む８つの隣接ブロック又はピクセルを有する。

当然に、次の“／”、“及び／又は”、及び“の少なくとも１つ”のいずれかの使用は、例えば、“Ａ／Ｂ”、“Ａ及び／又はＢ”及び“Ａ及びＢの少なくとも１つ”の場合に、最初に挙げられている選択肢（Ａ）のみの選択、又は２番目に挙げられている選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含するよう意図される。更なる例として、“Ａ、Ｂ、及び／又はＣ”及び“Ａ、Ｂ、及びＣの少なくとも１つ”の場合に、そのような表現は、最初に挙げられている選択肢（Ａ）のみの選択、又は２番目に挙げられている選択肢（Ｂ）のみの選択、又は３番目に挙げられている選択肢（Ｃ）のみの選択、又は最初及び２番目に挙げられている選択肢（Ａ及びＢ）のみの選択、又は最初及び３番目に挙げられている選択肢（Ａ及びＣ）のみの選択、又は２番目及び３番目に挙げられている選択肢（Ｂ及びＣ）のみの選択、又は３つの全ての選択肢（Ａ及びＢ及びＣ）の選択を包含するよう意図される。これは、当業者には既に知られているように、挙げられている多くの項目に関して拡張されてよい。

加えて、多くの実施態様は、エンコーダ（例えば、エンコーダ１１００又は１６０２）、デコーダ（例えば、デコーダ１２００又は１７０６）、デコーダからの出力を処理する後置プロセッサ（例えば、プロセッサ１７０８）、又はエンコーダへの入力を処理する前置プロセッサ（プロセッサ１６０１）の中の１又はそれ以上において実施されてよい。更に、他の実施態様が本願によって考慮される。

ここで記載される実施態様は、例えば、方法若しくは処理、装置、ソフトウェアプログラム、データストリーム、又は信号において実施されてよい。たとえ信号形態の実施態様との関連でしか説明されない（例えば、方法としてしか説明されない）としても、説明される特徴の実施態様はまた、他の形態（例えば、装置又はプログラム）において実施されてよい。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実施されてよい。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラム可能ロジック装置を含むプロセッサ（一般的に、プロセッシング装置を指す。）のような装置において実施されてよい。プロセッサはまた、例えば、コンピュータ、携帯電話機、ポータブル／パーソナル・デジタル・アシスタント（“ＰＤＡ”）、及びエンドユーザ間の情報の通信を助ける他の装置のような通信装置を含む。

ここで記載される様々な処理及び特徴の実施は、様々な異なる設備又は用途、特に、例えば、データ符号化、データ復号化、ビュー生成、デプス若しくは視差の処理、並びに画像と関連するデプス及び／又は視差マップとの他の処理に関連する設備又は用途において具現されてよい。そのような設備の例には、エンコーダ、デコーダ、デコーダからの出力を処理する後置プロセッサ、エンコーダへの入力を処理する前置プロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話機、ＰＤＡ、及び他の通信装置がある。当然に、設備は移動可能であり、移動体に設置されてよい。

加えて、方法は、プロセッサによって実行される命令によって実施されてよく、そのような命令（及び／又は実施態様によって生成されるデータ値）は、例えば、集積回路、ソフトウェア担体、又は、例えば、ハードディスク、コンパクトディスケット（“ＣＤ”）、光ディスク（例えば、しばしばデジタル・バーサタイル・ディスク又はデジタル・ビデオ・ディスクと呼ばれるＤＶＤ）、ランダムアクセスメモリ（“ＲＡＭ”）、又は読み出し専用メモリ（“ＲＯＭ”）のような他の記憶装置のようなプロセッサ可読媒体に記憶されてよい。命令は、プロセッサ可読媒体において有形に実施されるアプリケーションプログラムを形成してよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせにあってよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又はそれらの組み合わせにおいて見出されてよい。プロセッサは、従って、例えば、処理を実行するよう構成される装置及び処理を実行する命令を有するプロセッサ可読媒体（例えば、記憶装置）を有する装置の両方として特徴付けられてよい。更に、プロセッサ可読媒体は、命令に加えて又はそれに代わりに、実施態様に従って生成されるデータ値を記憶してよい。

当業者に明らかなように、実施態様は、例えば、記憶又は送信され得る情報を搬送するようフォーマットされた様々な信号を生成してよい。情報は、例えば、方法を実行する命令、又は記載される実施態様の１つによって生成されるデータを含んでよい。例えば、信号は、記載される実施形態のシンタックスを書き込む又は読み出すための規則をデータとして搬送するよう、あるいは、記載される実施形態によって書き込まれる実際のシンタックス値をデータとして搬送するよう、フォーマットされてよい。そのような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を用いる）又はベースバンド信号として、フォーマットされてよい。フォーマッティングは、例えば、データストリーム符号化すること、及び符号化されたデータストリームにより搬送波を変調することを含んでよい。情報は、例えば、アナログ又はデジタル情報であってよい。信号は、知られているような様々な異なる有線又は無線リンクを介して送信されてよい。信号は、プロセッサ可読媒体に記憶されてよい。

多数の実施態様が記載されてきた。それでもなお、様々な変更がなされてよいことが理解されるであろう。例えば、異なる実施態様の要素は、他の実施態様を生じるよう組み合わされ、補完され、変更され、又は取り除かれてよい。加えて、当業者に明らかなように、他の構造及び処理が、開示されている構造及び処理と置き換わってよく、結果として得られる実施態様は、開示されている実施態様と少なくとも略同じ結果を達成するよう、少なくとも略同じ方法において、少なくとも略同じ機能を実行する。然るに、それら及び他の実施態様は本願によって考慮される。
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
基準デプスインジケータに基づき、ビデオ画像シーケンスに含まれるビデオ画像の特定の部分に関してセグメンテーションを決定するステップと、
前記ビデオ画像の特定の部分に関連する目標デプスインジケータを処理するステップと
を有し、
前記基準デプスインジケータは、前記ビデオ画像シーケンスに含まれる１つのビデオ画像の少なくとも一部分に関連するデプスインジケータであり、
前記処理は、前記ビデオ画像の特定の部分における前記決定をされたセグメンテーションに基づく、方法。
（付記２）
前記基準デプスインジケータは、再構成されたデプスインジケータを有する、
付記１に記載の方法。
（付記３）
前記再構成されたデプスインジケータは、前記ビデオ画像の少なくとも一部に関連し、
前記再構成されたデプスインジケータは、前記目標デプスインジケータを有する共通の画像にある、
付記２に記載の方法。
（付記４）
前記特定の部分に関して前記セグメンテーションを決定するステップは、
前記基準デプスインジケータの基準セグメンテーションを決定するステップと、
前記特定の部分に関して前記セグメンテーションを決定するよう前記基準セグメンテーションを用いるステップと
を有する、付記１に記載の方法。
（付記５）
前記基準デプスインジケータは、前記目標デプスインジケータに隣接するデプスインジケータを有し、
前記特定の部分に関して前記セグメンテーションを決定するよう前記基準セグメンテーションを用いるステップは、
前記ビデオ画像の特定の部分の隣の部分である前記ビデオ画像の隣接部分へ前記基準セグメンテーションを適用するステップと、
増大したセグメンテーションを生成するよう前記隣接部分から前記特定の部分へ前記基準セグメンテーションを増大させるステップと
を有する、付記４に記載の方法。
（付記６）
前記基準セグメンテーションを増大させるステップは、
前記特定の部分から所与のピクセルを選択するステップと、
前記所与のピクセルの値を決定するステップと、
前記隣接部分からのピクセルを決定するステップと、
前記隣接部分からのピクセルのセグメントを決定するステップと、
前記隣接部分からのピクセルの前記セグメントへ前記所与のピクセルを割り当てるステップと
を有する、付記５に記載の方法。
（付記７）
前記隣接部分からのピクセルを決定するステップは、前記隣接部分における全てのピクセルの中で、前記所与のピクセルの値に最も近い値を有する前記隣接部分からのピクセルを決定するステップを有する、
付記６に記載の方法。
（付記８）
前記基準セグメンテーションを増大させるステップは、
前記特定の部分から所与のピクセルを選択するステップと、
前記所与のピクセルに関して前記基準セグメンテーションの特定のセグメントに対するメートル値を決定するステップと、
前記決定をされたメートル値に基づき前記特定のセグメントへ前記所与のピクセルを割り当てるステップと
を有し、
前記メートル値は、（ｉ）前記所与のピクセルから前記特定のセグメントにおける１又はそれ以上のピクセルまでの距離と、（ｉｉ）前記所与のピクセルと前記特定のセグメントにおける前記１又はそれ以上のピクセルとの間のピクセル値の差とに基づく、
付記５に記載の方法。
（付記９）
前記目標デプスインジケータを処理するステップは、前記増大したセグメンテーションを前記目標デプスインジケータへ適用するステップを有する、
付記５に記載の方法。
（付記１０）
前記目標デプスインジケータを処理するステップは、
（ｉ）前記増大したセグメンテーションを前記目標デプスインジケータへ適用することにより得られる前記目標デプスインジケータのセグメントを（ｉｉ）前記基準デプスインジケータの前記基準セグメンテーションのセグメントと関連づけるステップと、
前記基準セグメンテーションのセグメントに関して代表値を決定するステップと、
前記目標デプスインジケータのセグメントにおけるデプス値のための予測子として前記代表値を用いるステップと
を更に有する、付記９に記載の方法。
（付記１１）
前記目標デプスインジケータを処理するステップは、前記代表値に基づき前記目標デプスインジケータを符号化するステップを更に有する、
付記１０に記載の方法。
（付記１２）
前記目標デプスインジケータを処理するステップは、前記代表値に基づき前記目標デプスインジケータを復号するステップを更に有する、
付記１０に記載の方法。
（付記１３）
前記代表値を決定するステップは、前記基準セグメンテーションに関して平均又は中央値の少なくとも１つを決定するステップを有する、
付記１０に記載の方法。
（付記１４）
前記処理するステップは、前記ビデオ画像の特定の部分に関する前記決定をされたセグメンテーションに基づき、前記目標デプスインジケータに関して１又はそれ以上の予測子を決定するステップを有する、
付記１に記載の方法。
（付記１５）
前記決定をされたセグメンテーションに基づき前記予測子を決定するステップは、
前記目標デプスインジケータへ前記決定をされたセグメンテーションを適用するステップと、
前記目標デプスインジケータへ前記決定をされたセグメンテーションを適用することにより得られる前記目標デプスインジケータのセグメントに関して、代表デプス値を決定するステップと、
前記目標デプスインジケータのセグメントにおけるデプス値のための予測子として前記代表デプス値を用いるステップと
を有する、付記１４に記載の方法。
（付記１６）
前記目標デプスインジケータを処理するステップは、前記決定をされたセグメンテーションに基づき前記目標デプスインジケータを符号化するステップを有する、
付記１に記載の方法。
（付記１７）
前記決定をされたセグメンテーションに基づき前記目標デプスインジケータを符号化するステップは、前記目標デプスインジケータへ前記決定をされたセグメンテーションを適用するステップを有する、
付記１６に記載の方法。
（付記１８）
前記決定をされたセグメンテーションに基づき前記目標デプスインジケータを符号化するステップは、
前記目標デプスインジケータへ前記決定をされたセグメンテーションを適用することにより得られる前記目標デプスインジケータのセグメントに関して、代表デプス値を決定するステップと、
前記目標デプスインジケータのセグメントにおけるデプス値のための予測子として前記代表デプス値を用いるステップと、
前記予測子に基づき、前記目標デプスインジケータのセグメントに関して残余を決定するステップと、
前記残余を符号化するステップと
を更に有する、付記１７に記載の方法。
（付記１９）
前記目標デプスインジケータを処理するステップは、再構成された目標デプスインジケータを生成するよう、前記決定をされたセグメンテーションに基づき前記目標デプスインジケータを復号するステップを有する、
付記１に記載の方法。
（付記２０）
前記決定をされたセグメンテーションに基づき前記目標デプスインジケータを復号するステップは、前記目標デプスインジケータへ前記決定をされたセグメンテーションを適用するステップを有する、
付記１９に記載の方法。
（付記２１）
前記決定をされたセグメンテーションに基づき前記目標デプスインジケータを復号するステップは、
前記目標デプスインジケータへ前記決定をされたセグメンテーションを適用することにより得られる前記目標デプスインジケータのセグメントに関して、代表デプス値を決定するステップと、
前記目標デプスインジケータのセグメントにおけるデプス値のための予測子として前記代表デプス値を用いるステップと、
前記予測子に基づき、前記目標デプスインジケータのセグメントに関する残余にアクセスするステップと、
前記再構成された目標デプスインジケータを生成するよう前記残余を前記予測子へ加えるステップと
を更に有する、付記２０に記載の方法。
（付記２２）
基準デプスインジケータに基づき、ビデオ画像シーケンスに含まれるビデオ画像の特定の部分に関してセグメンテーションを決定する動作と、
前記ビデオ画像の特定の部分の少なくとも一部分に関連する目標デプスインジケータを処理する動作と
を少なくも実行するよう構成され、
前記基準デプスインジケータは、前記ビデオ画像シーケンスに含まれる少なくとも１つのビデオ画像に関連するデプスインジケータであり、
前記処理は、前記ビデオ画像の特定の部分における前記決定をされたセグメンテーションに基づく、装置。
（付記２３）
エンコーダ又はデコーダの１又はそれ以上を有する
付記２２に記載の装置。
（付記２４）
前記セグメンテーションを決定する動作と、前記目標デプスインジケータを処理する動作とを実行するよう構成されるプロセッサを有する
付記２２に記載の装置。
（付記２５）
基準デプスインジケータに基づき、ビデオ画像シーケンスに含まれるビデオ画像の特定の部分に関してセグメンテーションを決定する手段と、
前記ビデオ画像の特定の部分に関連する目標デプスインジケータを処理する手段と
を有し、
前記基準デプスインジケータは、前記ビデオ画像シーケンスに含まれる１つのビデオ画像の少なくとも一部分に関連するデプスインジケータであり、
前記処理は、前記ビデオ画像の特定の部分における前記決定をされたセグメンテーションに基づく、装置。
（付記２６）
１又はそれ以上のプロセッサに、
基準デプスインジケータに基づき、ビデオ画像シーケンスに含まれるビデオ画像の特定の部分に関してセグメンテーションを決定するステップと、
前記ビデオ画像の特定の部分に対応する目標デプスインジケータを処理するステップと
を集合的に実行させる命令を記憶し、
前記基準デプスインジケータは、前記ビデオ画像シーケンスに含まれる１つのビデオ画像の少なくとも一部分に関連するデプスインジケータであり、
前記処理は、前記ビデオ画像の特定の部分における前記決定をされたセグメンテーションに基づく、プロセッサ可読媒体。
（付記２７）
ビデオ画像の少なくとも所与の部分に関して、該所与の部分に関連するデプスインジケータに基づきセグメンテーションを決定するステップと、
前記所与の部分におけるピクセル値と、前記ビデオ画像の目標部分におけるピクセル値とに基づき、前記所与の部分から前記目標部分へ前記セグメンテーションを拡大するステップと
を有する方法。
（付記２８）
デプスインジケータ画像の少なくとも目標部分へ前記拡大をされたセグメンテーションを適用するステップを更に有し、
前記デプスインジケータ画像の目標部分は、前記ビデオ画像の目標部分に関連するデプスインジケータを含む、
付記２７に記載の方法。
（付記２９）
前記適用をされたセグメンテーションに基づき前記デプスインジケータ画像の目標部分を符号化するステップを更に有する
付記２８に記載の方法。

Claims (9)

1. ビデオ画像に関連するデプスデータを処理する方法であって、
   デプス値の対象部分に隣接した第１隣接部分の基準セグメンテーションを決定するステップであって、前記デプス値の対象部分は前記ビデオ画像の特定の部分に対応し、前記第１隣接部分は前記ビデオ画像において前記特定の部分に隣接した第２隣接部分に対応する、ステップと、
   前記ビデオ画像の前記第２隣接部分をセグメント化するように、該第２隣接部分に前記基準セグメンテーションを適用するステップと、
   前記基準セグメンテーションを前記第２隣接部分から前記特定の部分へ広げて該特定の部分をセグメント化し、拡張セグメンテーションを得るステップと、
   前記デプス値の対象部分をセグメント化し、該対象部分の各セグメントが前記第１隣接部分の対応するセグメントと関連付けられるように、前記対象部分に前記拡張セグメンテーションを適用するステップと、
   前記第１隣接部分の各セグメントについて代表値を決定し、該代表値を、前記デプス値の対象部分の対応するセグメントにおけるデプス値についての予測子とするステップと、
   前記予測子に基づき前記デプス値の対象部分を処理するステップと
   を有し、
   前記処理するステップは、前記予測子に基づき前記デプス値の対象部分を符号化又は復号することを含む、方法。
2. 前記拡張セグメンテーションを得るステップは、前記第２隣接部分における全てのピクセルの中から、前記特定の部分における所与のピクセルの値に最も近い値を有するピクセルを決定することを含み、
   請求項１に記載の方法。
3. 前記拡張セグメンテーションを得るステップは、
   前記特定の部分から所与のピクセルを選択し、
   前記所与のピクセルに関して前記基準セグメンテーションの特定のセグメントに対するメートル値を決定し、
   前記決定をされたメートル値に基づき前記特定のセグメントへ前記所与のピクセルを割り当てる
   ことを含み、
   前記メートル値は、（ｉ）前記所与のピクセルから前記特定のセグメントにおける１又はそれ以上のピクセルまでの距離と、（ｉｉ）前記所与のピクセルと前記特定のセグメントにおける前記１又はそれ以上のピクセルとの間のピクセル値の差とに基づく、
   請求項１に記載の方法。
4. 前記代表値を決定することは、前記基準セグメンテーションに関して平均又は中央値の少なくとも１つを決定することを含む、
   請求項１に記載の方法。
5. ビデオ画像に関連するデプスデータを処理する装置であって、
   デプス値の対象部分に隣接した第１隣接部分の基準セグメンテーションを決定する手段であって、前記デプス値の対象部分は前記ビデオ画像の特定の部分に対応し、前記第１隣接部分は前記ビデオ画像において前記特定の部分に隣接した第２隣接部分に対応する、手段と、
   前記ビデオ画像の前記第２隣接部分をセグメント化するように、該第２隣接部分に前記基準セグメンテーションを適用する手段と、
   前記基準セグメンテーションを前記第２隣接部分から前記特定の部分へ広げて該特定の部分をセグメント化し、拡張セグメンテーションを得る手段と、
   前記デプス値の対象部分をセグメント化し、該対象部分の各セグメントが前記第１隣接部分の対応するセグメントと関連付けられるように、前記対象部分に前記拡張セグメンテーションを適用する手段と、
   前記第１隣接部分の各セグメントについて代表値を決定し、該代表値を、前記デプス値の対象部分の対応するセグメントにおけるデプス値についての予測子とする手段と、
   前記予測子に基づき前記デプス値の対象部分を処理する手段と
   を有し、
   前記処理する手段は、前記予測子に基づき前記デプス値の対象部分を符号化又は復号するよう構成される、装置。
6. 前記拡張セグメンテーションを得る手段は、前記第２隣接部分における全てのピクセルの中から、前記特定の部分における所与のピクセルの値に最も近い値を有するピクセルを決定するよう更に構成される、
   請求項５に記載の装置。
7. 前記拡張セグメンテーションを得る手段は、
   前記特定の部分から所与のピクセルを選択し、
   前記所与のピクセルに関して前記基準セグメンテーションの特定のセグメントに対するメートル値を決定し、
   前記決定をされたメートル値に基づき前記特定のセグメントへ前記所与のピクセルを割り当てる
   よう更に構成され、
   前記メートル値は、（ｉ）前記所与のピクセルから前記特定のセグメントにおける１又はそれ以上のピクセルまでの距離と、（ｉｉ）前記所与のピクセルと前記特定のセグメントにおける前記１又はそれ以上のピクセルとの間のピクセル値の差とに基づく、
   請求項５に記載の装置。
8. 前記代表値を決定する手段は、前記基準セグメンテーションに関して平均又は中央値の少なくとも１つを決定するよう構成される、
   請求項５に記載の装置。
9. プロセッサによって実行される場合に、該プロセッサに、
   ビデオ画像に関連するデプスデータを処理する方法であって、
   デプス値の対象部分に隣接した第１隣接部分の基準セグメンテーションを決定するステップであって、前記デプス値の対象部分は前記ビデオ画像の特定の部分に対応し、前記第１隣接部分は前記ビデオ画像において前記特定の部分に隣接した第２隣接部分に対応する、ステップと、
   前記ビデオ画像の前記第２隣接部分をセグメント化するように、該第２隣接部分に前記基準セグメンテーションを適用するステップと、
   前記基準セグメンテーションを前記第２隣接部分から前記特定の部分へ広げて該特定の部分をセグメント化し、拡張セグメンテーションを得るステップと、
   前記デプス値の対象部分をセグメント化し、該対象部分の各セグメントが前記第１隣接部分の対応するセグメントと関連付けられるように、前記対象部分に前記拡張セグメンテーションを適用するステップと、
   前記第１隣接部分の各セグメントについて代表値を決定し、該代表値を、前記デプス値の対象部分の対応するセグメントにおけるデプス値についての予測子とするステップと、
   前記予測子に基づき前記デプス値の対象部分を処理するステップと
   を実行させ、
   前記処理するステップは、前記予測子に基づき前記デプス値の対象部分を符号化又は復号することを含む、プログラム。

Images