JP6000463B2 - ３ｄ映像符号化の仮想深度値の方法および装置 - Google Patents

Description

本出願は、２０１２年９月２１日に出願された米国特許仮出願番号第６１／７０３９０１号「Ｍｅｔｈｏｄ ｔｏ Ｒｅｔｒｉｅｖｅ Ｄｅｐｔｈ Ｖａｌｕｅｓ ｆｏｒ ３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎg」、２０１２年１０月９日に出願された米国特許仮出願番号第６１／７１１３１４号「Ｍｅｔｈｏｄ ｔｏ Ｐｒｅｄｉｃｔ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ ｆｏｒ ３ｄ Ｖｉｄｅｏ Ｃｏｄｉｎg」からの優先権を主張するものであり、これらの全ては引用によって本願に援用される。

本発明は、３次元映像符号化に関し、特に、３Ｄ映像符号化の仮想深度値の導出に関するものである。

３次元（３Ｄ）テレビは、視聴者のセンセーショナルな視聴体験をもたらすことを目的とする、近年の技術である。様々な技術が３Ｄ視聴を可能にするように開発されてきた。その中でも、マルチビュービデオは、３ＤＴＶの中でも鍵となる技術である。従来の映像は、カメラのビューから視聴者にシーンの単一のビューのみを提供する、２次元の（２Ｄ）媒体であった。しかしながら、マルチビュービデオは、動的シーンの任意のビューを提供し、視聴者に臨場感を体感させることができる。

マルチビュービデオは、通常、複数のカメラを、各カメラが１つのビューからシーンをキャプチャするように、適切に配置した上で、同時に複数のカメラを用いてシーンをキャプチャすることによって作られる。従って、複数のカメラが複数のビューに対応して、複数のビデオシーケンスをキャプチャする。より多くのビューを提供するようにするために、より多くのカメラが、ビューと関連した多数のビデオシーケンスを有するマルチビュービデオを生成するのに用いられてきた。従って、マルチビュービデオは、保存するための大容量の記憶領域、および／または、伝送するための高帯域幅を必要とする。このため、マルチビュー映像符号化の技術は、記憶領域または伝送帯域幅を減らすように、開発されてきた。

直接のアプローチは、単に従来の映像符号化の技術を各シングルビューでビデオシーケンスに個別に適用させることで、異なるビューであらゆる相関関係を無視することができる。このような符号化システムは、非常に効率が悪い。マルチビュー映像符号化（ＭＶＣ）の効率を向上させるために、一般のマルチビュー映像符号化は、視点間（ｉｎｔｅｒ−ｖｉｅｗ）冗長性を利用している。このため、ほとんどの３Ｄ映像符号化（３ＤＶＣ）システムは、複数のビューと深度マップに関連したビデオデータの相関関係を考慮する。ＭＶＣは、時間的予測と空間的予測を用いて圧縮効率を向上させる。ＭＶＣの開発段階においては、照度補償、適応参照フィルタリング、動きスキップモード、および視点合成予測（ＶＳＰ）を含む、いくつかのマクロブロックレベルの符号化ツールが提案される。これらの符号化ツールは、複数の視点間冗長性を利用するように提案されている。照度補償は、異なる視点間の照度変動を補償することを目的としている。適応参照フィルタリングは、カメラ間の焦点の不整合による変動を減少することを目的としている。動きスキップモードは、現在のビューで動きベクトルが他のビューから推測されるのを許可する。視点合成予測は、他のビューから現在のビューの画像を予測するように用いられる。

しかしながら、ＭＶＣでは、深度マップおよびカメラパラメータは、符号化されない。新世代の３Ｄ映像符号化（３ＤＶＣ）の近年の標準化の開発では、テクスチャデータ、深度データ、およびカメラパラメータは、全て符号化される。新世代の３Ｄ映像符号化（３ＤＶＣ）技術の深度データとカメラパラメータの存在により、テクスチャ画像と深度マップ間の関係は、圧縮能力を更に向上させるために研究する必要がある。深度マップとテクスチャ画像は、それらが全て同一形状に対応しているため、高い相関性を持つ。テクスチャデータと深度データ間の冗長性は、対応する相関関係を通して利用される。例えば、深度マップは、高い符号化利得または少ない符号化時間のテクスチャ画像圧縮を助けることができる。また、深度マップは変換されて、テクスチャ画像に対応するペアを表すことができ、視点間予測のプロセスに役立つ。

３Ｄ映像符号化では、テクスチャデータと深度データの符号化順序は、テクスチャと深度間の冗長性のため、常に問題となっている。３Ｄ映像符号化の第１の標準開発中、符号化順序は、ＡＶＣベースの３Ｄ映像符号化（３Ｄ−ＡＶＣ）用に、ディペンデントビューのテクスチャデータの前に深度データを符号化するように選ばれている。一方、符号化順序は、ＨＥＶＣベースの３Ｄ映像符号化（３Ｄ−ＨＥＶＣ）用に、ディペンデントビューの深度データの前にテクスチャ深度データを符号化するように選ばれている。３Ｄ−ＨＥＶＣ用に符号化順序を変えることが可能な、フレキシブルな符号化順序を実現する技術は、文献に述べられている。テクスチャ用の符号化効率は、深度情報を参照することによって向上させることができる。深度情報は、多くの異なる方法で符号化効率を向上できる。３Ｄ−ＡＶＣの深度ベースの動きベクトル予測（ＤＭＶＰ）は、符号化された深度を用いて動きベクトル予測の精度を向上できる。深度マップは、動きパラメータ予測の視点間候補を特定することを助ける。視点合成予測（ＶＳＰ：Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ）は、他のビューからワーピングされた（ｗａｒｐｅｄ）フレームから視点間参照を特定する一般的な予測方法（ｐｏｐｕｌａｒ ｔｏｐｉｃ）である。視点合成予測では、第１のビューのテクスチャデータと深度データがまず符号化／復号化される。第２のビューは、第１のビューを第２のビューの位置にワーピングすることによって予測されることができる。深度マップは、テクスチャ画像を正しい位置にワーピングするのを助ける。

動きベクトルの継承と視点間動きパラメータ予測などの符号化ツールは、現在のブロックの予測を向上させる深度情報を更に活用する。３ＤＶＣ標準化の近年の開発では、予測された深度マップ（ＰＤＭ：Ｐｒｅｄｉｃｔｅｄ Ｄｅｐｔｈ Ｍａｐ）アルゴリズムが開示され、深度情報を現在のテクスチャ画像に提供している。予測された深度マップは符号化された視差ベクトルから導出されるか、または符号化されたビューの深度マップからワーピングされる。現在のブロックは、予測された深度マップから分割された動きパラメータによって符号化されることができる。隣接するブロックの視差ベクトル（ＮＢＤＶ：Ｎｅｉｇｈｂｏｒｉｎｇ Ｂｌｏｃｋ Ｄｉｓｐａｒｉｔｙ Ｖｅｃｔｏｒ）は、文献に述べられている。ＮＢＤＶは、隣接するブロックの視点間予測からの視差ベクトル（ＤＶ）を用いて、動きベクトル予測を向上させる。しかしながら、ＮＢＤＶは、ＰＤＭに基づき第１の方法に置き換えているが、深度情報は、なお３Ｄ−ＡＶＣにおいて役立つことが証明されている。深度情報は、符号化効率を向上させるのに役立つことができるため、現在のブロック用に深度情報を得る方法は、重要になっている。従って、３次元映像符号化の仮想深度情報を生成する方法を開発することが望ましい。

本発明は、３Ｄ映像符号化の仮想深度値を抽出するための方法及び装置を提供する。

仮想深度情報を用いた３次元映像符号化または復号化の方法および装置が示されている。ディペンデントビューの現在のテクスチャブロックでは、本発明を組み込んだ方法は、まず、推定された視差ベクトルを導出して対応するテクスチャブロック符号化されたビューに配置する。符号化されたビューの対応するテクスチャブロックと同一配置された（ｃｏｌｌｏｃａｔｅｄ ｗｉｔｈ）符号化されたビューの同一位置の深度ブロックは特定され、仮想深度情報を導出するのに用いられる。本発明の一態様は、推定された視差ベクトルの導出プロセスに取り組むことである。推定された視差ベクトルは、ディペンデントビューの現在のテクスチャブロックの視差ベクトルの候補に基づいて導出されることができる。視差ベクトルの候補は、ディペンデントビューの現在のテクスチャブロックの空間的／時間的に隣接するブロックから導出、または現在のテクスチャブロックに対応する時間的に同一位置のテクスチャブロックの１つ以上の空間的／時間的に隣接するブロックから導出されることができ、空間的／時間的に隣接するブロックは、視差補償予測（ＤＣＰ）ブロック、または視差ベクトル動き補償予測（ＤＶ−ＭＣＰ）ブロックである。例えば、視差ベクトルの候補は、前記１つ以上の空間的／時間的に隣接するブロックの全ての視差ベクトルまたは一部の視差ベクトルの平均、最大、最小、または中間に対応することができる。視差ベクトルの候補は、ディペンデントビューの符号化されたグローバルな幾何学モデルから導出されることができる。

推定された視差ベクトルは、探索順序に基づいて、視差ベクトルの候補から決定されることができる。もう１つの実施形態では、推定された視差ベクトルの導出のプロセスは、視差ベクトルの候補から第１の視差ベクトルを選び、符号化されたビューの深度参照ブロックを得るステップ、深度参照ブロックから、符号化されたビューの対応するテクスチャブロックからディペンデントビューの第１の位置を指している第２の視差ベクトルを抽出するステップ、第１の視差ベクトルと第２の視差ベクトルとの間の整合性エラーを決定するステップ、および推定された視差ベクトルとして最小の整合性エラーとなる視差ベクトルの候補から１つの視差ベクトルの候補を選ぶステップを含む。もう１つの実施形態では、推定された視差ベクトルの導出のプロセスは、１つの視差ベクトルの候補に対応する符号化されたビューの深度参照ブロックを得るステップ、深度参照ブロックから変換された視差ベクトルを抽出するステップ、変換された視差ベクトルと１つの視差ベクトルの候補との間の整合性エラーを決定するステップ、および推定された視差ベクトルとして最小の整合性エラーを有する１つの変換された視差ベクトルを選ぶステップを含む。

本発明のもう１つの一態様は、推定された仮想ベクトル深度情報の使用に取り組むことである。１つの応用では、導出された仮想深度情報は、視点合成予測に用いられ、現在のテクスチャブロックの分割からなるサブブロックのサブブロック視差ベクトルを導出する。もう１つの応用では、動きベクトル予測子または視差ベクトル予測子は、仮想深度情報から導出され、マージモードまたはスキップモードで符号化された現在のテクスチャまたは深度ブロックの符号化または復号化に用いられる。現在のテクスチャまたは深度ブロックの分割は、仮想深度情報から継承または導出されることができる。またもう１つの応用では、仮想深度情報は、視点間動き補償を用いて、現在のテクスチャまたは深度ブロックを符号化する参照ブロックを導出するのに用いられることができる。仮想深度情報は、現在のテクスチャまたは深度ブロックの視点間動き予測の視差ベクトルを導出するのに用いられることもできる。視点間視差ベクトルは、現在のテクスチャまたは深度ブロックと関連した残差データの視点間残差予測の仮想深度情報から得られることができる。

本実施形態に係る、仮想深度情報の導出を例示している。 視差ベクトルの候補を決定する現在のブロックと関連した隣接のブロックを例示している。 推定された視差ベクトルが探索順序に基づいて視差ベクトルの候補から決定される、推定された視差ベクトルの導出を例示している。 推定された視差ベクトルが最小の整合性エラーを有する視差ベクトルの候補から決定される、推定された視差ベクトルの導出を例示している。 抽出された視差ベクトルが最小の整合性エラーを有する視差ベクトルの候補から導出された抽出された視差ベクトルに基づき決定される、推定された視差ベクトルの導出を例示している。 サブブロックのサブブロック視差ベクトルが導出された仮想深度情報から導出される、視点合成予測の導出された仮想深度情報の使用方法を例示している。 視差ベクトル予測子が導出された仮想深度情報から導出される、視点間動き予測の導出された仮想深度情報の使用方法を例示している。 テクスチャブロックの分割が導出された仮想深度情報に基づいて継承、または導出される、テクスチャブロックの分割の導出された仮想深度情報の使用方法を例示している。 参照ブロックが導出された仮想深度情報を用いて配置される、インター／視点間予測（Ｉｎｔｅｒ／ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）の導出された仮想深度情報の使用方法を例示している。 仮想深度ブロックが深度イントラ予測または深度分割の予測子として用いられる、深度イントラ予測または深度分割の導出された仮想深度情報の使用方法を例示している。 本実施形態に係る、仮想深度情報を組み込んだ符号化システムのフローチャートを示している。

本実施形態において、仮想深度の取得方法は、現在のテクスチャ画像と関連した実際の深度マップの使用をなくし、その代わりに、深度値は予測ベースの予め符号化された深度データを用いて導出される。導出された深度値は、本実施形態では仮想深度値（ｖｉｒｔｕａｌ ｄｅｐｔｈ ｖａｌｕｅｓ）と呼ばれる。仮想深度の取得方法は、以下の第１、第２ステップからなる。第１ステップは、推定された視差ベクトルを用い、現在のブロック（ＣＢ）に対応して、符号化したビューでテクスチャブロックを配置するステップである。第２ステップは、現在のブロックの仮想深度として符号化されたビューで同一位置（ｃｏｌｌｏｃａｔｅｄ）の深度を用いるステップである。

本実施形態に係る仮想深度の導出プロセスが図１に示されている。ビュー０の符号化されたテクスチャ画像および符号化された深度マップは、それぞれＴ０とＤ０とする。ビュー１で符号化されるテクスチャは、Ｔ１とする。符号化される現在のブロック（ＣＢ）は、Ｔ１のブロック１１０とする。推定された視差ベクトル１２０は、符号化されたテクスチャＴ０の対応するブロック（１１０Ａ）を配置するように用いられる。Ｔ０の点線で示すボックスは、ブロック１１０の位置に対応する。次いで、Ｔ０のブロック１１０Ａは、符号化されたビューＤ０の深度ブロック１１０Ｂを配置するように用いられる。次いで、深度ブロック１１０Ｂと関連した深度データは、現在のテクスチャ画像Ｔ１用に仮想深度ブロック１１０Ｃを導出する。導出された仮想深度ブロック１１０Ｃは、現在の深度マップＤ１に用いられることができる。

推定された視差ベクトルを導出する各種の手順がある。例えば、推定された視差ベクトルは、視差ベクトルの候補から導出されることができる。視差ベクトルの候補は、空間的／時間的に隣接するブロックから導出されることができる。隣接するブロックは、視差補償予測（ＤＣＰ：Ｄｉｓｐａｒｉｔｙ Ｃｏｍｐｅｎｓａｔｉｏｎ Ｐｒｅｄｉｃｔｅｄ）ブロック、空間的／時間的に隣接する視差ベクトルの動き補償予測（ＤＶ−ＭＣＰ：Ｄｉｓｐａｒｉｔｙ Ｖｅｃｔｏｒ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ Ｐｒｅｄｉｃｔｅｄ）ブロック、または１セットの符号化された視差ベクトルであるか、もしくは現在のビューのシーンのおおよそ幾何学（ｒｏｕｇｈ ｇｅｏｍｅｔｒｙ）を示すグローバルなモデル（ｇｌｏｂａｌ ｍｏｄｅｌ）である。グローバルな幾何学モデルは、符号化された視差または深度ベクトルに対応することができる。グローバルな幾何学モデルは、符号化されたラフな（ｒｏｕｇｈ）メッシュモデルに対応することもできる。隣接するブロックに関連した視差ベクトルの候補が得られない場合、デフォルトの視差ベクトルが用いられることができる。現在のブロックの隣接するブロックの例が図２に示される。ブロック２１０は、現在のブロックに対応し、ブロック２２０は、現在のブロックの上側隣接ブロックに対応し、ブロック２３０は、現在のブロックの左側隣接ブロックに対応する。隣接するブロックは、時間的に同一位置の隣接するブロックも含むことができる。また、隣接するブロックは、時間的に同一位置のブロックの隣接するブロックも含むことができる。視差ベクトルは、視差ベクトルの候補の全てまたは一部の平均、最大、最小、または中間に基づいて導出されることができる。

視差ベクトルの候補が決定された後、同様のチェックプロセスを視差ベクトルの候補に行うことができる。このプロセスは、選ばれた視差ベクトルの候補が、現在のブロックの上側または現在のブロックの左側のブロックの隣接の視差ベクトルの候補と類似しているかどうかをチェックするものである。隣接するブロックの中の最も高い類似性をもつ視差ベクトルの候補が、推定された視差ベクトルとして用いられることができる。例えば、左上隣接ブロックの視差ベクトルの候補が左隣接ブロックの視差ベクトルの候補よりも上隣接ブロックの視差ベクトルの候補に類似する場合、上隣接ブロックの視差ベクトルの候補は、推定された視差ベクトルとして選ばれる。上隣接ブロックの視差ベクトルの候補が推定された視差ベクトルとして選ばれない場合には、左隣接ブロックの視差ベクトルの候補が推定された視差ベクトルとして選ばれる。

一旦、視差ベクトルの候補が決定されると、仮想深度を得るのに用いられる最終の視差ベクトルが視差ベクトルの候補から導出される。最終の推定された視差ベクトルを導出するためには、多くの方法がある。推定された視差ベクトルの３つの例示的な導出プロセスが以下に述べられる。

推定された視差ベクトルの導出の第１例は、図３に示される。推定された視差ベクトル（３１０）は、探索順序に基づいて、現在のブロック（３４０）の隣接するブロック（３２０と３３０）と関連した視差ベクトルの候補から決定される。視差ベクトルの候補は、探索順序に応じてチェックされ、第１の現存の視差ベクトルの候補は、推定された視差ベクトルとして選ばれる。探索順序は、予め定められることができる。現在のブロック（３４０）に対応する符号化されたテクスチャＴ０のテクスチャブロック（３４０Ａ）は、推定された視差ベクトル（３１０）を用いて配置されることができる。符号化された深度Ｄ０の同一位置の深度ブロック（３４０Ｂ）が配置され、同一位置の深度ブロック（３４０Ｂ）は、現在のテクスチャＴ１の現在のテクスチャブロック用に仮想深度データ（３５０）を導出するように用いられることができる。符号化された深度Ｄ０の同一位置の深度ブロック（３４０Ｂ）は、現在のディペンデントビューによって仮想深度として導出されて用いられることができる。また、符号化された深度Ｄ０の同一位置の深度ブロック（３４０Ｂ）は、ワーピングされて、または変換されて仮想深度情報を得ることができる。例えば、アフィン変換（ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍ）が同一位置の深度ブロックを仮想深度情報に変換するのに用いられてもよい。符号化されたＴ０とＤ０の破線ボックスは、現在のブロックの位置に対応する。隣接するブロック（３２０と３３０）の例示的なセットが図３に示されているが、隣接するブロックは、１つ以上の時間的に同一位置の隣接するブロックも含むことができる。他の空間的に隣接するブロックの構成も用いられることができる。

第２の例では、図４に示されるように、推定された視差ベクトルの導出は、視差ベクトルの候補から第１の視差ベクトルｖ_ｉ（４１０）を選び、深度参照ブロック（４１０Ｂ）を得る。第１の視差ベクトル４１０は、深度参照ブロック４１０Ｂに応じて符号化されたテクスチャＴ０に対応するブロック（４１０Ａ）を指す。現在のビューを示している第２の視差ベクトルｖ_ｓ（４２０）は、次いで深度参照ブロック４１０Ｂから抽出される。第２のＤＶは、深度参照の全ての深度値または一部の深度値の平均、最大、最小、または中間から抽出されることができる。符号化されたＴ０とＤ０の破線ボックスは、現在のブロックの位置に対応する。現在のテクスチャＴ１の破線ボックス（４１０Ｃ）は、Ｔ０の符号化されたＴ０とＤ０の対応するブロック（４１０Ａ）の位置に対応する。整合性チェックは、第２の視差ベクトルに行われることができる。整合性エラーは、第１の視差ベクトルおよび第２の視差ベクトルとの間の差に対応することができる。また、整合性エラーは、現在のブロック（４４０）の中央（４３０Ａ）と第２の視差ベクトル（４２０）によって示された現在のビューに対応する位置（４３０Ｂ）との間の距離に、対応することができる。最小の整合性エラーとなる視差ベクトルの候補は、推定された視差ベクトルとして選ばれることができる。他のタイプの整合性チェックも推定された視差ベクトルを選ぶのに用いられることができる。

第３の例では、推定された視差ベクトルの導出は、図５に示される視差ベクトルの候補に基づいて、複数の深度参照ブロックを得る。２つの深度参照ブロック（５１０Ａと５１０Ｂ）が図５に示されている。２つの深度参照ブロックは、（図５に示されていない）２つの対応する視差ベクトルの候補に基づいて決定される。現在のテクスチャＴ１の破線ボックス（５１０Ｃと５１０Ｄ）は、Ｔ０に対応するブロック（５１０Ａと５１０Ｂ）の位置に対応する。次いで、視差ベクトルは、深度参照ブロックから抽出される。視差ベクトルは、深度参照ブロックの全ての深度値または一部の深度値の平均、最大、最小、または中間に基づいて抽出されることができる。図５は、１つの視差ベクトル（５２０）が深度参照ブロックから抽出されることを示している。整合性チェックを、各抽出された視差ベクトルに行うことができる。第２の例の整合チェックと同様に、整合性エラーは、抽出された視差ベクトルと対応する視差ベクトルの候補との間の差に対応することができる。また、整合性エラーは、現在のブロック（５４０）の中央（５３０Ａ）と抽出された視差ベクトル（５２０）によって示された現在のビューで対応する位置（５３０Ｂ）との間の距離に対応することができる。最小の整合性エラーを有する抽出された視差ベクトルは、推定された視差ベクトルとして選ばれることができる。

仮想深度情報が得られた後、仮想深度情報を、各種の符号化ツールまたは符号化プロセスによって用いることができる。３次元符号化システムの仮想深度情報の使用は、指示に応じて適応的に使用可能または不可能にすることができる。例えば、フラグは、仮想深度情報の使用が可能か否かを指示するのに用いられることができる。テクスチャブロックまたは深度ブロックは、画像領域、任意の形状、または画素に対応することができる。仮想深度のいくつかの例示的な使用法を以下に示す。

利用１−仮想視点合成予測（Ｖｉｒｔｕａｌ Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ）
視点合成予測では、両テクスチャと深度情報が視点合成予測に必要である。導出される仮想深度は、視点合成のための深度情報として用いられることができる。深度情報は、上述の導出プロセスによって得られる。後方マッピングの視点合成は、取得した深度情報に応じてテクスチャ情報を符号化されたテクスチャＴ０に配置する。例えば、図６では、得られた深度情報（６１０）は、現在のテクスチャブロック６２０によって仮想深度参照（６１０Ａ）として用いられ、テクスチャ情報（符号化されたテクスチャＴ０で斜線ボックスによって図示されている）を配置する。現在のテクスチャブロックは、複数のサブブロックに分割されることができる。サブブロック視差ベクトル（符号化されたテクスチャＴ０で矢印により図示されている）は、対応する仮想深度サブブロック（６１０Ａ）から導出できる。後方マッピングの視点合成は、仮想深度および指示されたテクスチャ情報によって行われる。合成ブロックは、予測用に参照として用いられることができる。配置されたテクスチャ情報（符号化されたテクスチャＴ０で斜線ボックスによって図示されている）は、合成ブロックに対応する。また、仮想深度は、前方マッピング用に参照領域を制限するように用いられることが可能である。前方および後方の両方のマッピングは、仮想深度より利点を得る。サブブロック視差ベクトルは、仮想深度マップの同一位置のサブブロック内の全ての深度値または一部の深度値の平均、最大、最小、または中間に基づいて決定されることができる。

利用２−視点間動きベクトル予測（Ｉｎｔｅｒ−ｖｉｅｗ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）
現存するＨＥＶＣベースの３Ｄ映像符号化では、動き予測は、視差補償を視点間動き補償とし、視点間参照画像を参照リストに置き、視差ベクトルを動きベクトルとして用いる。本実施形態は、動きベクトルとして仮想深度データに基づく視差ベクトルを導出する。図７は、仮想深度を用いて、視点間動き予測用に視差ベクトル予測子を導出する例を示している。動きベクトル予測子は、仮想深度から抽出された視差ベクトルを用いることによって得られ、符号化されたビューで動きベクトルを参照することもできる。視差ベクトル予測子（ＤＶＰ）または抽出された視差ベクトルは、仮想深度から変換された最大視差、平均視差、または一部の最大視差とすることができる。いくつかの映像符号化システムでは、動きベクトル予測子候補のリストが、維持され、最終の動きベクトル予測子がリストから選ばれる。この場合、抽出されたＭＶＰまたはＤＶＰは、候補として用いることもできる。例えば、抽出された深度情報（７１０）は、現在のブロック（７２０）によって仮想深度参照（７１０Ａ）として用いられ、ＤＶＰ（７３０）を配置する。

利用３−分割継承（Ｐａｒｔｉｔｉｏｎ Ｉｎｈｅｒｉｔａｎｃｅ）
図８に示されるように、現在のブロックの分割は、仮想深度を参照して、更なる分割が必要かどうかを決定することができる。仮想深度ブロックが深度ブロックに分割が必要であると示す場合、更なる分割が現在のテクスチャブロックに適用される。例えば、図８の仮想深度ブロック（８１０）が仮想深度ブロックに分割が必要であると示した場合、現在のテクスチャブロック（８２０）も分割される。他のケースでは、仮想深度の分割が知られている場合、現在のブロックの分割は、仮想深度の分割から継承されることができる。フラグは、分割の継承が用いられるかどうかを示すのに用いられる。

利用４−深度符号化予測（Ｄｅｐｔｈ Ｃｏｄｉｎｇ Ｐｒｅｄｉｃｔｉｏｎ）
図９に示されるように、仮想深度ブロック（９１０）は、同一位置のテクスチャブロック（９２０）の視差ベクトルに応じて見つけられることができる。仮想深度ブロック（９１０）は、ディペンデント深度Ｄ１の深度ブロック（９３０）のインター／視点間予測用に参照として用いられる。

利用５−深度イントラ予測（Ｄｅｐｔｈ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）
図１０に示されるように、仮想深度ブロック（１０１０）は、同一位置のテクスチャブロック（１０２０）の視差ベクトルに応じて見つけられることができる。仮想深度ブロック（１０１０）は、ディペンデント深度Ｄ１の深度ブロック（１０３０）の深度イントラ予測または深度ブロック分割用に予測子として用いられることができる。

利用６−マージ／スキップモード（Ｍｅｒｇｅ／Ｓｋｉｐ Ｍｏｄｅ）
仮想深度のサブセットは、マージ／スキップモードの時間的な視点間動きベクトルのマージ候補用に視差ベクトルを導出するのに用いられることができる。マージ／スキップモードで符号化されたテクスチャまたは深度ブロックは、深度を参照して、マージ／スキップモードに用いられる視差ベクトル予測子を決定することができる。

利用７−視点間残差予測（Ｉｎｔｅｒ−ｖｉｅｗ Ｒｅｓｉｄｕａｌ Ｐｒｅｄｉｃｔｉｏｎ）
３Ｄ−ＨＥＶＣでは、視点間残差予測が用いられ、現在のビューで残差情報は、視点間視差ベクトルに基づいて符号化されたビューで参照データを用いて予測される。視点間視差ベクトルは、仮想深度から得られることができる。視点間視差ベクトルは、仮想深度の最大視差、平均視差、または一部の最大視差とすることができる。視点間視差ベクトルが得られた後、残差情報は、導出された視差ベクトルに応じて符号化されたビューで参照データによって予測できる。

図１１は、本実施形態に係る、仮想深度情報の使用を組み込んだ３次元符号化または復号化システムの例示的なフローチャートを示している。このシステムは、ステップ１１１０にて、ディペンデントビューで現在のテクスチャブロックと関連した入力データを受信する。符号化では、入力データは、現在のテクスチャまたは深度ブロックと関連しており、元の画素データまたは符号化される深度データに対応する。視点間残差予測のケースでは、現在のテクスチャブロックと関連した入力データは、視点間予測される残差画素データまたは深度データ、或いは残差を計算する符号化されたビューで再構成された画素データに対応する。復号化では、入力データは、現在のテクスチャまたは深度ブロックと関連した符号化されたデータに対応する。入力データは、コンピュータメモリ、バッファ（ＲＡＭまたはＤＲＡＭ）または他のメディアなどの記憶装置から得られることが可能である。入力データは、第１のデータを生成するコントローラ、中央演算処理装置（ＣＰＵ）、デジタル信号プロセッサ、または電子回路などのプロセッサから受信できる。ステップ１１２０にて、符号化されたビューで対応するテクスチャブロックを配置するために、推定された視差ベクトルが導出される。ステップ１１３０にて、符号化されたビューで対応するテクスチャブロックを同一に配置するために、同一位置の深度ブロックを特定する。ステップ１１４０にて、ディペンデントビューに対応付けられた仮想深度情報が、符号化されたビューで同一位置の深度ブロックに基づいて、導出される。ステップ１１５０にて、符号化プロセスが仮想深度情報を用いて入力データに適用される。

上述のフローチャートは、関連の深度ブロックから導出された視差ベクトルに基づいた視点間予測の例を説明するためのものである。なお、各々のステップは変更してもよくステップの順番を変えてもよく、それぞれのステップを分割した上で、本実施形態に係るフローを行ってもよい。

上述の説明は、当業者が本願発明を実行できるように示している。本願発明は、ここで述べられた特定の実施形態に限定されることを意図するものではなく、ここで述べられる原理および新しい特徴を包括する最も広い範囲で解釈されるべきである。

上述の本発明の実施形態は、さまざまなハードウェア、ソフトウェアコード、またはその組み合わせに行われることができる。例えば、本発明の実施形態は、ここに述べられる処理を行う、画像圧縮チップ内に統合された回路、または画像圧縮ソフトウェア内に統合されたプログラムコードであることができる。本実施形態は、ここで述べられる処理を行う、デジタル信号プロセッサ（ＤＳＰ）で実行されるプログラムコードでもよい。本実施形態は、コンピュータプロセッサ、デジタル信号プロセッサ、マイクロプロセッサ、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）によって行なわれるいくつかの機能も含むことができる。これらのプロセッサは、発明で実現される特定の方法を定める機械読み取り可能なソフトウェアコードまたはファームウェアコードを実行することによって、発明に応じて特定のタスクを行うように構成されることができる。ソフトウェアコードまたはファームウェアコードは、異なるプログラミング言語と異なるフォーマットまたはスタイルで開発されることができる。ソフトウェアコードは、異なるターゲットプラットホーム用にコンパイルされてもよい。しかしながら、ソフトウェアコードの異なるコードフォーマット、スタイルと、言語、および本発明に応じてタスクを行うコードを設定する他の手段は、本発明の思想を逸脱しない。

上述の実施形態は、本明細書中に記述される発明を限定するものでない。よって本願発明の範囲は、前述の説明によってではなく、添付の請求の範囲によって示される。

１１０、１１０Ａ、１１０Ｂ、１１０Ｃ、２１０、２２０、２３０、３１０、３２０、３３０、３４０、３４０Ａ、３４０Ｂ、３５０、４１０、４１０Ａ、４１０Ｂ、４１０Ｃ、４２０、４３０Ａ、４３０Ｂ、４４０、５１０Ａ、５１０Ｂ、５１０Ｃ，５１０Ｄ、５２０、５３０Ａ、５３０Ｂ、６１０、６１０Ａ、６２０、７１０、７１０Ａ、７２０、７３０、８１０、８２０、９１０、９２０、９３０、１０１０、１０２０、１０３０…ブロック

Claims (23)

1. ディペンデントビューでテクスチャデータの３次元若しくはマルチビュー映像符号化、又は、ディペンデントビューのテクスチャデータの３次元若しくはマルチビュー映像復号化の方法であって、前記方法は、
   前記ディペンデントビューで現在のテクスチャブロックと関連した入力データを受けるステップ、
   推定された視差ベクトルを導出し、符号化されたビューで対応するテクスチャブロックを配置するステップ、
   前記符号化されたビューで、前記対応するテクスチャブロックと同一配置された同一位置の深度ブロックを特定するステップ、
   前記符号化されたビューで前記同一位置の深度ブロックに基づいて、前記ディペンデントビューで仮想深度情報を導出するステップ、および
   前記仮想深度情報を用いて入力データに符号化プロセスを適用するステップを含む方法。
2. 前記推定された視差ベクトルの導出は、前記ディペンデントビューで現在のテクスチャブロックにおける視差ベクトルの候補に基づく請求項１に記載の方法。
3. 前記視差ベクトルの候補は、前記ディペンデントビューで現在のテクスチャブロックと空間的／時間的に隣接するブロックから導出、または、前記現在のテクスチャブロックに対応する時間的に同一位置のテクスチャブロックと空間的／時間的に隣接する１つ以上のブロックから導出され、
   前記空間的／時間的に隣接するブロックは、視差補償予測（ＤＣＰ）ブロック、または視差ベクトル動き補償予測（ＤＶ−ＭＣＰ）ブロックである請求項２に記載の方法。
4. 前記視差ベクトルの候補は、前記空間的／時間的に隣接する１つ以上のブロックの全ての視差ベクトルまたは一部の視差ベクトルの平均、最大、最小、または中間に対応する請求項３に記載の方法。
5. 前記視差ベクトルの候補は、前記ディペンデントビューで、符号化されたグローバルな幾何学モデルから導出される請求項２に記載の方法。
6. 前記推定された視差ベクトルは、前記視差ベクトルの候補の優先順位または相関関係に応じて前記視差ベクトルの候補から決定される請求項２に記載の方法。
7. 左上隣接ブロックと関連した第１の視差ベクトルの候補が、左隣接ブロックと関連した第３の視差ベクトルの候補よりも、上隣接ブロックと関連した第２の視差ベクトルの候補に類似する場合には、前記第２の視差ベクトルの候補は、前記推定された視差ベクトルとして選ばれ、
   前記第２の視差ベクトルの候補が前記推定された視差ベクトルとして選ばれない場合には、前記第３の視差ベクトルの候補が前記推定された視差ベクトルとして選ばれる請求項２に記載の方法。
8. 前記推定された視差ベクトルは、探索順序に基づいて、前記視差ベクトルの候補から決定される請求項２に記載の方法。
9. 前記推定された視差ベクトルの導出するステップは、
   前記視差ベクトルの候補から第１の視差ベクトルを選び、前記符号化されたビューで深度参照ブロックを得るステップ、
   前記深度参照ブロックから、前記符号化されたビューで前記対応するテクスチャブロックから前記ディペンデントビューで第１の位置を指している第２の視差ベクトルを抽出するステップ、
   前記第１の視差ベクトルと前記第２の視差ベクトルとの間の整合性エラーを決定するステップ、および
   前記推定された視差ベクトルとして最小の整合性エラーとなる前記視差ベクトルの候補から１つの視差ベクトルの候補を選ぶステップを含む請求項２に記載の方法。
10. 前記整合性エラーは、第１の視差ベクトルと第２の視差ベクトルとの間の差、または現在のテクスチャブロックの第１の位置と中心位置との間の距離に対応する請求項９に記載の方法。
11. 前記推定された視差ベクトルの導出するステップは、
    １つの視差ベクトルの候補に対応する前記符号化されたビューで深度参照ブロックを得るステップ、
    前記深度参照ブロックから変換された視差ベクトルを抽出するステップ、
    前記変換された視差ベクトルと前記１つの視差ベクトルの候補との間の整合性エラーを決定するステップ、および
    前記推定された視差ベクトルとして最小の整合性エラーを有する１つの変換された視差ベクトルを選ぶステップを含む請求項２に記載の方法。
12. シンタックス要素は、前記ディペンデントビューで前記テクスチャデータと関連した仮想深度情報が使用されているかどうかを示している請求項１に記載の方法。
13. 前記現在のブロックをサブブロックに分割するステップ、
    前記各サブブロックの仮想深度からサブブロック視差ベクトルを導出するステップ、
    前記各サブブロックのサブブロック視差ベクトルに応じて視点間参照サブブロックを得るステップ、および
    対応する視点間参照サブブロックを用いて各サブブロックに視点間予測の符号化を適用するステップを更に含む請求項１に記載の方法。
14. 前記サブブロック視差ベクトルは、対応するサブブロックの仮想深度値から変換される請求項１３に記載の方法。
15. 前記サブブロック視差ベクトルは、前記対応するサブブロックの全てまたは一部の仮想深度値の平均、最大、最小、または中間に対応する請求項１４に記載の方法。
16. 前記仮想深度情報から導出された動きベクトル予測子または視差ベクトル予測子は、マージモード若しくはスキップモードで符号化された現在のテクスチャブロックの符号化、又は、マージモード若しくはまたはスキップモードで復号化された現在のテクスチャブロックの復号化に用いられる請求項１に記載の方法。
17. 前記仮想深度情報から導出された１つの視差ベクトルは、マージモードまたはスキップモードで符号化された前記現在のテクスチャブロックの時間的な視点間動きベクトルのマージ候補を生成するために用いられる請求項１に記載の方法。
18. 前記現在のテクスチャブロックの分割または現在の深度ブロックの分割は、前記仮想深度情報に基づいて継承または導出される請求項１に記載の方法。
19. 前記仮想深度情報は参照ブロックを導出するために用いられ、
    前記参照ブロックは、前記現在のテクスチャまたは現在の深度ブロックを視点間動き補償を用いて符号化するためのブロックである
    請求項１に記載の方法。
20. 前記仮想深度情報は、１つの視差ベクトルを導出するために用いられ、
    前記視差ベクトルは、現在のテクスチャブロックまたは現在の深度ブロックの視点間動き補償のためのベクトルである請求項１に記載の方法。
21. 動きベクトル予測子は、前記仮想深度情報から導出された前記視差ベクトルを用いて得られ、前記符号化されたビューで動きベクトルを参照する請求項２０に記載の方法。
22. 視点間視差ベクトルは、前記現在のテクスチャブロックまたは現在の深度ブロックと関連した残差データの視点間残差予測の前記仮想深度情報から得られる請求項１に記載の方法。
23. ディペンデントビューでテクスチャデータの３次元またはマルチビュー映像符号化または復号化の装置であって、
    １つ以上の電子回路を備え、
    前記１つ以上の電子回路は、
    前記ディペンデントビューで現在のテクスチャブロックと関連した入力データを受信し、
    推定された視差ベクトルを導出し、符号化されたビューで対応するテクスチャブロックを配置し、
    前記符号化されたビューで前記対応するテクスチャブロックと同一配置された同一位置の深度ブロックを特定し、
    前記符号化されたビューで前記同一位置の深度ブロックに基づいて、前記ディペンデントビューの仮想深度情報を導出し、且つ、
    前記仮想深度情報を用いて入力データに符号化プロセスを適用する装置。
    

Images