JP7161150B2

JP7161150B2 - ジオメトリ情報の動き補償

Info

Publication number: JP7161150B2
Application number: JP2020568718A
Authority: JP
Inventors: ダニーログラジオッシ
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2018-06-26
Filing date: 2019-06-12
Publication date: 2022-10-26
Anticipated expiration: 2039-06-12
Also published as: WO2020003037A1; CN112219222A; US11501507B2; KR20200142567A; KR102402494B1; EP3794552A1; CN112219222B; US20190392651A1; JP2021528734A

Description

〔関連出願の相互参照〕
本出願は、米国特許法第１１９条（ｅ）の下で、２０１８年６月２６日出願の米国仮特許出願番号６２／６９０，０５１「ＭＯＴＩＯＮＣＯＭＰＥＮＳＡＴＩＯＮＯＦＧＥＯＭＥＴＲＹＩＮＦＯＲＭＡＴＩＯＮ」の優先権を主張するものであり、その開示内容全体は、全ての目的に対して引用により本明細書に組み込まれる。

本発明は、３次元グラフィックに関する。より具体的には、本発明は、３次元グラフィックの動き補償に関する。

経時的に変化する３Ｄジオメトリデータの現在の符号化は、ジオメトリトラッキングを必要とする動きモデリング段階を利用するが、これは、計算的に重く、トポロジ変化及び速い動きにより誤差が生じやすい場合がある。

その他は、３Ｄジオメトリ情報の動き補償を実行するための異なる方法を試みた。しかしながら、これらの解決法は、著しいマイナス面を有するので、望ましくない。

１．動画メッシュの符号化のＭＰＥＧ規格（ＦＡＭＣ）は、登録されたメッシュのみの動きモデリング及び動き補償を実行するが、これは、メッシュトラッキング段階が必要であることを意味し、トポロジ変化及び速い動きなどの問題は、動きモジュールが、正確なメッシュトラッキングを実行することを妨げる可能性がある。

２．（学究）Ｙａｍａｓａｋｉら（ＩＣＩＰ２０１０）の方法は、パッチベースの動き補償を利用するが、３Ｄから２Ｄへの投影を利用しないので、個々のパッチ対応情報を、ビットストリームで明示的に送る必要がある。Ｄｏｕｍａｎｏｇｌｏｕら（ＩＥＥＥＣＳＶＴ２０１４）による方法は、パッチを利用しないが、スキニングモデルを用いて、メッシュセグメンテーションを行う。その方法も、動き補償のために従来のボーントラッキングを必要としており、利用可能ではないかもしれない。

３．（産業）ＭＰＥＧによって現在開発中のポイントクラウド符号化規格は、パッチを用いて、３Ｄポイントを符号化するものであり、ｍ４２７１２（ＭＰＥＧ１２１ｍｅｅｔｉｎｇ）では、時間的に一貫したパッチパッキングのための方法が提案された。しかしながら、パッチ間の対応は、２Ｄ投影された表面及び法線方向を利用するが、これは、信頼できるものではなく、パッチの３Ｄの動きを補償しない。

本明細書では、３Ｄデータのジオメトリ表現のための動き補償の方法を説明する。この方法は、まず、時間領域において対応する３Ｄ表面を識別し、次に、動き補償された３Ｄ表面パッチの３Ｄから２Ｄへの投影が続き、最後に、投影された３Ｄ表面パッチに対して２Ｄ動き補償を実行することによって、動き補償を実行する。

一態様では、装置の非一時的メモリにプログラムされた方法は、３Ｄジオメトリから、３Ｄパッチを生成するステップと、時点間の対応する３Ｄパッチを決定するステップと、前記対応する３Ｄパッチを用いて、３Ｄマッチングしたパッチの動き補償を実装するステップと、前記対応する３Ｄパッチを、２Ｄキャンバス画像上に投影するステップと、一連の２Ｄキャンバス画像を用いて、２Ｄ動き補償を実装するステップと、を含む。前記３Ｄパッチを生成するステップは、前記３Ｄジオメトリの表面上において接続されるポイントを決定することを含む。時点間の対応する３Ｄパッチを決定するステップは、各３Ｄパッチの３Ｄバウンディングボックスによって作成される立方体の視体積交差を評価することによって、パッチ間の時間的対応点を識別することを含む。３Ｄマッチングしたパッチの動き補償を実装するステップは、前記対応する３Ｄパッチを、ＵＶマップ上において、動きを補償するための位置に位置決めすることを含む。前記３Ｄパッチを、前記２Ｄキャンバス上に投影するステップは、前記対応する３Ｄパッチを、前記２Ｄキャンバス上に配置して、３Ｄの一致する座標が、投影後、２Ｄの同じ位置に対応するようにすることを含む。３Ｄパッチの深度を調整することによって、対応するパッチデータの類似度を増加させる。前記３Ｄマッチングしたパッチの動き補償を実装するステップ及び前記２Ｄ動き補償を実装するステップの後、動き補償された３Ｄジオメトリが確立される。

別の態様では、装置は、アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、３Ｄジオメトリから、３Ｄパッチを生成するステップと、時点間の対応する３Ｄパッチを決定するステップと、前記対応する３Ｄパッチを用いて、３Ｄマッチングしたパッチの動き補償を実装するステップと、前記対応する３Ｄパッチを、２Ｄキャンバス画像上に投影するステップと、一連の２Ｄキャンバス画像を用いて、２Ｄ動き補償を実装するステップと、を実行するためのものである、非一時的メモリと、前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、を含む。前記３Ｄパッチを生成するステップは、前記３Ｄジオメトリの表面上において接続されるポイントを決定することを含む。時点間の対応する３Ｄパッチを決定するステップは、各３Ｄパッチの３Ｄバウンディングボックスによって作成される立方体の視体積交差を評価することによって、パッチ間の時間的対応点を識別することを含む。３Ｄマッチングしたパッチの動き補償を実装するステップは、前記対応する３Ｄパッチを、ＵＶマップ上において、動きを補償するための位置に位置決めすることを含む。前記３Ｄパッチを、前記２Ｄキャンバス上に投影するステップは、前記対応する３Ｄパッチを、前記２Ｄキャンバス上に配置して、３Ｄの一致する座標が、投影後、２Ｄの同じ位置に対応するようにすることを含む。３Ｄパッチの深度を調整することによって、対応するパッチデータの類似度を増加させる。前記３Ｄマッチングしたパッチの動き補償を実装するステップ及び前記２Ｄ動き補償を実装するステップの後、動き補償された３Ｄジオメトリが確立される。

別の態様では、システムは、３Ｄジオメトリから、３Ｄパッチを生成するように構成される生成モジュールと、時点間の対応する３Ｄパッチを決定するように構成される対応モジュールと、前記対応する３Ｄパッチを用いて、３Ｄマッチングしたパッチの動き補償を実装するように構成される３Ｄマッチング動き補償モジュールと、前記対応する３Ｄパッチを、２Ｄキャンバス画像上に投影するように構成される投影モジュールと、一連の２Ｄキャンバス画像を用いて、２Ｄ動き補償を実装するように構成される２Ｄ動き補償モジュールと、を含む。前記３Ｄパッチを生成するステップは、前記３Ｄジオメトリの表面上において接続されるポイントを決定することを含む。時点間の対応する３Ｄパッチを決定するステップは、各３Ｄパッチの３Ｄバウンディングボックスによって作成される立方体の視体積交差を評価することによって、パッチ間の時間的対応点を識別することを含む。３Ｄマッチングしたパッチの動き補償を実装するステップは、前記対応する３Ｄパッチを、ＵＶマップ上において、動きを補償するための位置に位置決めすることを含む。前記３Ｄパッチを、前記２Ｄキャンバス上に投影するステップは、前記対応する３Ｄパッチを、前記２Ｄキャンバス上に配置して、３Ｄの一致する座標が、投影後、２Ｄの同じ位置に対応するようにすることを含む。３Ｄパッチの深度を調整することによって、対応するパッチデータの類似度を増加させる。前記３Ｄマッチングしたパッチの動き補償を実装するステップ及び前記２Ｄ動き補償を実装するステップの後、動き補償された３Ｄジオメトリが確立される。

いくつかの実施形態による、３Ｄ表面パッチ及び２Ｄ投影を用いて、動き補償を実装する方法のフロー図である。いくつかの実施形態による３Ｄパッチ対応を実装する図である。いくつかの実施形態による３Ｄマッチングしたパッチの動き補償の図である。いくつかの実施形態による３Ｄパッチ動き補償－深度変換の図である。いくつかの実施形態による輝度調整の図である。いくつかの実施形態による一連の投影されたパッチの２Ｄ動き推定の図である。いくつかの実施形態による動き補償方法を実装するように構成される例示的なコンピュータ装置のブロック図である。

ポイントクラウド、メッシュ、又は同様の３Ｄ構造などの３Ｄデータのジオメトリ表現のための動き補償の方法を、本明細書で説明する。新規の方法を利用して、まず、時間領域において対応する３Ｄ表面を識別し、次に、動き補償された３Ｄ表面パッチの３Ｄから２Ｄへの投影が続き、最後に、投影された３Ｄ表面パッチに対して２Ｄ動き補償を実行することによって、動き補償を実行する。動き補償を実装することによって、３Ｄデータを圧縮することができる。例えば、重複するポイントクラウドのフルセットを送る代わりに、第１のポイントクラウドを送り、次に、第１のポイントクラウドの動き情報を送るが、これは、重複するポイントクラウドのフルセットよりもはるかに少ない情報である。

経時的に変化するデータの圧縮は、通常、動き補償段階を利用して、時間領域にわたってデータ対応を増加させて、より効率的な符号化を提供する。３Ｄジオメトリデータの場合、動き補償は、通常、時間的に対応する３Ｄポイントの動きをモデリングすることによって行われ、これは、ポイント対応を識別するために、計算的に集中したメッシュトラッキングブロックを必要とする。更に、メッシュトラッキング段階は、トポロジ変化及び速い動きにより誤差が生じやすい。

本明細書で説明する３Ｄジオメトリ動き補償は、従来のジオメトリトラッキング段階の必要がなく行われる。各時点について、ジオメトリが、３Ｄ表面パッチにセグメント化される。新規の技術は、時間にわたって対応する表面パッチを識別する。対応するパッチは、動き補償され、次に、全てのパッチが、２Ｄキャンバス表面内に投影される。最初の２つの段階が、ジオメトリの動きを十分に取り込むことができないかもしれないので、最後の２Ｄ動き補償段階が、一連の２Ｄキャンバス画像に適用される。

３Ｄ表面の動き補償及び２Ｄ投影されたパッチの動き補償と一緒に、３Ｄ表面の対応を利用することは、以前に適用されたことがない新規の技術を示す。この技術は、時間的に変化するジオメトリ情報を符号化するとき、ビットレートの節約をもたらすことができる。更に、この技術は、動き補償を実行するために、ジオメトリ情報のトラッキングを必要としない。

いくつかの実施形態では、３Ｄジオメトリは、オブジェクトの表面のパッチの直交投影の集合として表現され、これらは、３Ｄ動き補償に用いられる。いくつかの実施形態では、各パッチの３Ｄバウンディングボックスによって作成される立方体の視体積交差を評価することによって、パッチ間の時間的対応点を識別する。いくつかの実施形態では、対応するパッチを、２Ｄキャンバス画像内に配置して、３Ｄの一致する座標が、投影後、２Ｄの同じ位置に対応するようにする。いくつかの実施形態では、パッチの深度を調整すること（２Ｄ投影されたパッチの輝度レベルを調整することと同様）によって、対応するパッチデータの類似度を増加させる。いくつかの実施形態では、投影されたパッチを有する一連の２Ｄキャンバス画像が、更に、２Ｄ動き補償される。

図１は、いくつかの実施形態による、３Ｄ表面パッチ及び２Ｄ投影を用いて、動き補償を実装する方法のフロー図を示す。３Ｄジオメトリは、一連の初期ポイントクラウド（又は他の３Ｄデータ）（例えば、各時点のポイントクラウド）である。ステップ１００において、３Ｄジオメトリから、３Ｄパッチを取得／生成する。３Ｄパッチは、同様の特性を有するポイントを識別することによって、ポイントクラウドの表面を記述する。同様の特性を有するポイントは、同様の法線を有するポイント（例えば、同じ位置に向いていて、３Ｄ空間内で接続されるポイント）である。３Ｄパッチは、ポイントクラウド圧縮の規格から３Ｄパッチ生成などの任意の方法で取得／生成することができる。例えば、３Ｄジオメトリの表面上で接続されるポイントは、３Ｄパッチと見なされる（例えば、表面の一部をカバーする空間内で接続される３Ｄポイント）。例えば、人のポイントクラウドの場合、人の顔の半分は、１つのパッチであり、人の顔の残りの半分は、第２のパッチである。フレーム（又は時点）毎に、３Ｄジオメトリは、３Ｄパッチに分解される。ステップ１０２において、パッチ対応を実装して、（異なるフレーム／時点からの）どのパッチが互いに対応するかを判定する。ポイントクラウド全体のポイントの対応を見つける代わりに、パッチ毎に、対応を見つける。異なるフレーム／時点からのパッチを相互に関連させる方法を、本明細書で説明する。パッチのバウンディングボックスを用いて、フレーム１からのパッチＡが、フレーム２からのパッチＢに対応する時を決定することができる。ステップ１０４において、３Ｄマッチングしたパッチの動き補償を実行する。３Ｄパッチ対応は、どのパッチが互いに対応するかを判定するが、パッチがどこに属するか（例えば、パッチがどこに移動したか）を判定しない。どのパッチが対応するかは、既に判定されているので、このステップは、パッチを、ＵＶマップ上において、本明細書で説明するように動きを補償するための適切な位置に配置することを含む。換言すれば、３Ｄオブジェクトが移動したので、３Ｄマッチングしたパッチの動き補償は、移動に基づいて、パッチを次のフレームに配置／位置決めする。また、深度デルタを決定し、その値を輝度値（又は輝度値と同様の値）に加算することによって、深度のための動き補償を実装することができる。ステップ１０６において、３Ｄから２Ｄへのパッチ投影を利用する。本明細書で説明されるように、３Ｄパッチを２ＤＵＶ領域に投影することができ、動き補償を用いて、パッチを適切な位置に投影することができる。ステップ１０８において、２Ｄ動き補償を実装する。バウンディングボックスは、非常に微細な詳細な移動／動きを検出することができない場合がある。しかしながら、ビデオエンコーダが、各ブロック／マクロブロックの動きを計算して、２Ｄ動き補償を実行することができる。いくつかの実施形態では、より少ない又は追加のステップを実装する。いくつかの実施形態では、ステップの順序は変更される。

図２は、いくつかの実施形態による３Ｄパッチ対応を実装する図を示す。３Ｄパッチは、ポイントから参照ポイントまでの距離を示すポイントの輝度を有するグレースケール画像である。例えば、図２に示すように、３Ｄパッチバウンディングボックスは、Ｕ１，Ｖ１，Ｄ１の左後部ポイントを有し、バウンディングボックスの右下ポイントは、ｓｉｚｅＵ，ｓｉｚｅＶ，ｓｉｚｅＤである。この例を更に進めて、Ｕ及びＶは、グレースケール画像の２Ｄ画像寸法であり、Ｄは、輝度値であり、それを３Ｄパッチにする。３Ｄジオメトリからの全てのパッチは、３Ｄバウンディングボックスを有する。例えば、第１のフレームについては、いくつかのパッチが生成され、全てのパッチに、バウンディングボックスが生成される。そして、次のフレームでは、いくつかの異なるパッチが生成され、それらのパッチの各々は、バウンディングボックスを有する。１つのフレームからのバウンディングボックスを別のフレームのバウンディングボックスに関連させる方法は、各フレームからのバウンディングボックスの交差を決定することによるものである。例えば、第１のフレームからの第１のバウンディングボックスは、第２のフレームからの第２のバウンディングボックスを有する交差を有する。この例を更に進めて、オブジェクトがあまり変化又は移動しない場合、各フレームからのバウンディングボックスは、完全に又はほとんど完全に重なる。バウンディングボックスの交差は、体積に対応する。その体積は、パッチがどのくらい相互に関連しているかの表示として用いられる。対応するパッチは、最も高いｉｏｕｃを有し、ｉｏｕｃは、交差の体積を体積の結合で除算したものに等しい。例えば、第１のバウンディングボックスが３Ｄジオメトリの前部パッチからのものであり、第２のバウンディングボックスが３Ｄジオメトリの後部パッチからのものである場合、それらの交差又はｉｏｕｃは、パッチが似ていないので、非常に小さくなる可能性が最も高く、これは、それらのパッチが相互に関連していないことを意味する。別の例では、第１のバウンディングボックスが３Ｄジオメトリの前部パッチからのものであり、第２のバウンディングボックスが、わずかに後の３Ｄジオメトリの前部パッチからのものである場合、それらの交差又はｉｏｕｃは、パッチが似ているので、非常に高くなる可能性が最も高く、これは、それらのパッチが相互に関連していることを意味し、また、パッチが３Ｄジオメトリの同じ又は類似した表面を表現することも意味する。換言すれば、３Ｄパッチ対応は、３Ｄパッチのバウンディングボックスの交差に基づいて決定される。いくつかの実施形態では、バウンディングボックスは、異なるサイズ又は均一なサイズとすることができる。いくつかの実施形態では、バウンディングボックスは、パッチの位置についての情報を含むことができる。

図３は、いくつかの実施形態による３Ｄマッチングしたパッチの動き補償の図を示す。３Ｄパッチ情報が、２Ｄ領域（Ｕ，Ｖ）上に投影される。それが２Ｄ領域であっても、３Ｄ情報は含まれる。例えば、３Ｄオブジェクトが移動する場合、パッチのバウンディングボックスは、パッチが移動したことを示す。この例を更に進めて、図３では、フレーム０において、Ｕ１，Ｖ１は、［１０５，１４３］であり、フレーム１において、Ｕ１，Ｖ１は、［１０４，１５５］であり、これは、オブジェクトが、約１０～１２単位（例えば画素）だけ垂直に移動したことを示す。したがって、パッチは、この移動に基づいて配置することができ、これは、動き補償とも呼ばれる。この例を更に進めて、フレーム（ｔ＋１）については、パッチは、ｔからｔ＋１までのパッチの［Ｕ１，Ｖ１］のデルタに基づいて位置決めされる。ＵＶ領域内でパッチを移動させることは、３Ｄパッチの動き補償を実行することに相当する。

図４は、いくつかの実施形態による３Ｄパッチ動き補償－深度変換の図を示す。上記の３Ｄパッチ動き補償は、パッチを、ｘ方向及びｙ方向に移動させるだけである。しかしながら、パッチ（３Ｄパッチ）は、ｚ方向にも移動することができる。ｚ方向の動きは、深度変換に対応し、これは、グレースケールに加算される値に対応する。深度変換によって、パッチをｚ方向に移動させることができる。例えば、元のパッチは、深度（ｔ）を有し、深度（ｔ＋１）で、パッチは、デルタの量だけ移動している。デルタは、その値を輝度値（又は同様の値）に加算することによって、補償することができる。

図５は、いくつかの実施形態による輝度調整の図を示す。図４で説明するように、輝度は、特定の平均値（例えば、約１２８）を常に有するように、パッチ毎に調整することができる。いくつかの実施形態では、現在値及び平均値からのデルタを、オキュパンシーマップ又は他のデータ構造に送ることができる。

輝度調整に関する例示的なコードは、本明細書に含まれ、以下の通りである。

図６は、いくつかの実施形態による一連の投影されたパッチの２Ｄ動き推定の図を示す。上記のように、３Ｄブロックを利用するので、３Ｄ動き補償は大まかなものである。動きの残りは、ビデオエンコーダによって取り込むことができる。換言すれば、３Ｄオブジェクトの微細な動きは、ＨＥＶＣ又は他のエンコーダによって取り込まれる。

いくつかの実施形態では、標準擬似動き補償が、パッチに用いられる。例えば、図３で説明する動き補償は、標準擬似動き補償を含むことができる。標準擬似動き補償を用いることによって、マッチングしたパッチについて、差分情報を送ることができる。例示的なコードをここに示す。

図７は、いくつかの実施形態による動き補償方法を実装するように構成される例示的なコンピュータ装置のブロック図を示す。コンピュータ装置７００を用いて、３Ｄコンテンツを含む画像及びビデオなどの情報を、取得、記憶、計算、処理、通信、及び／又は表示することができる。コンピュータ装置７００は、動き補償方法の態様のいずれかを実装することができる。一般に、コンピュータ装置７００を実装するのに適したハードウェア構造は、ネットワークインタフェース７０２、メモリ７０４、プロセッサ７０６、Ｉ／Ｏデバイス７０８、バス７１０、及び記憶装置７１２を含む。プロセッサの選択は、十分な速度を有する好適なプロセッサが選ばれる限り重要ではない。メモリ７０４は、当該技術分野で公知の任意の従来のコンピュータメモリとすることができる。記憶装置７１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、超高精細ドライブ、フラッシュメモリカード、又は他の任意の記憶装置を含むことができる。コンピュータ装置７００は、１又は２以上のネットワークインタフェース７０２を含むことができる。ネットワークインタフェースの一例は、イーサネット又は他の種類のＬＡＮに接続されるネットワークカードを含む。Ｉ／Ｏデバイス７０８は、以下のもの、すなわち、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインタフェース、及び他のデバイスのうちの１又は２以上を含むことができる。動き補償方法を実装するのに用いられる動き補償アプリケーション７３０は、記憶装置７１２及びメモリ７０４に記憶され、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置７００は、図７に示すより多い又は少ない構成要素を含むことができる。いくつかの実施形態では、動き補償ハードウェア７２０が含まれる。図７のコンピュータ装置７００は、動き補償方法のためのアプリケーション７３０及びハードウェア７２０を含むが、動き補償方法は、コンピュータ装置に、ハードウェア、ファームウェア、ソフトウェア、又はそれらの任意の組み合わせとして実装することができる。例えば、いくつかの実施形態では、動き補償アプリケーション７３０は、メモリ内にプログラムされ、プロセッサを用いて実行される。別の例では、いくつかの実施形態では、動き補償ハードウェア７２０は、動き補償方法を実装するように専用に設計されるゲートを含む、プログラムされたハードウェアロジックである。

いくつかの実施形態では、動き補償アプリケーション７３０は、いくつかのアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールは、１又は２以上のサブモジュールも含む。いくつかの実施形態では、より少ない又は追加のモジュールを含むことができる。

いくつかの実施形態では、動き補償ハードウェア７２０は、レンズなどのカメラコンポーネント、イメージセンサ、及び／又は他の任意のカメラコンポーネントを含む。

好適なコンピュータ装置の例は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ電話／携帯電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、スマートフォン、携帯音楽プレーヤー、タブレットコンピュータ、移動体デバイス、ビデオプレーヤー、ビデオディスクライター／プレーヤー（例えば、ＤＶＤライター／プレーヤー、高精細ディスクライター／プレーヤー、超高精細ディスクライター／プレーヤー）、テレビジョン、家庭用娯楽システム、拡張現実デバイス、仮想現実デバイス、スマートジュエリー（例えば、スマートウォッチ）、車両（例えば、自動運転車両）、又は他の任意の好適なコンピュータ装置を含む。

本明細書で説明する動き補償方法を利用するために、装置が、３Ｄコンテンツを取得又は受信し、３Ｄコンテンツの適切で効率的な表示を可能にするように最適化された方法でコンテンツを処理及び／又は送信する。動き補償方法は、ユーザの援助によって又はユーザが関与することなく自動的に実装することができる。

動作時、動き補償方法は、３Ｄコンテンツをより効率的に処理し、はるかに少ない情報が送られるようにデータを圧縮することを含む。

ジオメトリ情報の動き補償のいくつかの実施形態
１．装置の非一時的メモリにプログラムされた方法であって、
３Ｄジオメトリから、３Ｄパッチを生成するステップと、
時点間の対応する３Ｄパッチを決定するステップと、
前記対応する３Ｄパッチを用いて、３Ｄマッチングしたパッチの動き補償を実装するステップと、
前記対応する３Ｄパッチを、２Ｄキャンバス画像上に投影するステップと、
一連の２Ｄキャンバス画像を用いて、２Ｄ動き補償を実装するステップと、
を含む方法。

２．前記３Ｄパッチを生成するステップは、前記３Ｄジオメトリの表面上において接続されるポイントを決定することを含む、第１項に記載の方法。

３．時点間の対応する３Ｄパッチを決定するステップは、各３Ｄパッチの３Ｄバウンディングボックスによって作成される立方体の視体積交差を評価することによって、パッチ間の時間的対応点を識別することを含む、第１項に記載の方法。

４．３Ｄマッチングしたパッチの動き補償を実装するステップは、前記対応する３Ｄパッチを、ＵＶマップ上において、動きを補償するための位置に位置決めすることを含む、第１項に記載の方法。

５．前記３Ｄパッチを、前記２Ｄキャンバス上に投影するステップは、前記対応する３Ｄパッチを、前記２Ｄキャンバス上に配置して、３Ｄの一致する座標が、投影後、２Ｄの同じ位置に対応するようにすることを含む、第１項に記載の方法。

６．３Ｄパッチの深度を調整することによって、対応するパッチデータの類似度を増加させる、第１項に記載の方法。

７．前記３Ｄマッチングしたパッチの動き補償を実装するステップ及び前記２Ｄ動き補償を実装するステップの後、動き補償された３Ｄジオメトリが確立される、第１項に記載の方法。

８．装置であって、
アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
３Ｄジオメトリから、３Ｄパッチを生成するステップと、
時点間の対応する３Ｄパッチを決定するステップと、
前記対応する３Ｄパッチを用いて、３Ｄマッチングしたパッチの動き補償を実装するステップと、
前記対応する３Ｄパッチを、２Ｄキャンバス画像上に投影するステップと、
一連の２Ｄキャンバス画像を用いて、２Ｄ動き補償を実装するステップと、
を実行するためのものである、非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含む装置。

９．前記３Ｄパッチを生成するステップは、前記３Ｄジオメトリの表面上において接続されるポイントを決定することを含む、第８項に記載の装置。

１０．時点間の対応する３Ｄパッチを決定するステップは、各３Ｄパッチの３Ｄバウンディングボックスによって作成される立方体の視体積交差を評価することによって、パッチ間の時間的対応点を識別することを含む、第８項に記載の装置。

１１．３Ｄマッチングしたパッチの動き補償を実装するステップは、前記対応する３Ｄパッチを、ＵＶマップ上において、動きを補償するための位置に位置決めすることを含む、第８項に記載の装置。

１２．前記３Ｄパッチを、前記２Ｄキャンバス上に投影するステップは、前記対応する３Ｄパッチを、前記２Ｄキャンバス上に配置して、３Ｄの一致する座標が、投影後、２Ｄの同じ位置に対応するようにすることを含む、第８項に記載の装置。

１３．３Ｄパッチの深度を調整することによって、対応するパッチデータの類似度を増加させる、第８項に記載の装置。

１４．前記３Ｄマッチングしたパッチの動き補償を実装するステップ及び前記２Ｄ動き補償を実装するステップの後、動き補償された３Ｄジオメトリが確立される、第８項に記載の装置。

１５．システムであって、
３Ｄジオメトリから、３Ｄパッチを生成するように構成される生成モジュールと、
時点間の対応する３Ｄパッチを決定するように構成される対応モジュールと、
前記対応する３Ｄパッチを用いて、３Ｄマッチングしたパッチの動き補償を実装するように構成される３Ｄマッチング動き補償モジュールと、
前記対応する３Ｄパッチを、２Ｄキャンバス画像上に投影するように構成される投影モジュールと、
一連の２Ｄキャンバス画像を用いて、２Ｄ動き補償を実装するように構成される２Ｄ動き補償モジュールと、
を含むシステム。

１６．前記３Ｄパッチを生成するステップは、前記３Ｄジオメトリの表面上において接続されるポイントを決定することを含む、第１５項に記載のシステム。

１７．時点間の対応する３Ｄパッチを決定するステップは、各３Ｄパッチの３Ｄバウンディングボックスによって作成される立方体の視体積交差を評価することによって、パッチ間の時間的対応点を識別することを含む、第１５項に記載のシステム。

１８．３Ｄマッチングしたパッチの動き補償を実装するステップは、前記対応する３Ｄパッチを、ＵＶマップ上において、動きを補償するための位置に位置決めすることを含む、第１５項に記載のシステム。

１９．前記３Ｄパッチを、前記２Ｄキャンバス上に投影するステップは、前記対応する３Ｄパッチを、前記２Ｄキャンバス上に配置して、３Ｄの一致する座標が、投影後、２Ｄの同じ位置に対応するようにすることを含む、第１５項に記載のシステム。

２０．３Ｄパッチの深度を調整することによって、対応するパッチデータの類似度を増加させる、第１５項に記載のシステム。

２１．前記３Ｄマッチングしたパッチの動き補償を実装するステップ及び前記２Ｄ動き補償を実装するステップの後、動き補償された３Ｄジオメトリが確立される、第１５項に記載のシステム。

本発明の構成及び動作の原理の理解を容易にするために、詳細内容を組み込んだ特定の実施形態に関して本発明を説明してきた。このような本明細書における特定の実施形態及びその詳細内容への言及は、本明細書に添付される特許請求の範囲を限定することを意図するものではない。特許請求の範囲によって規定される本発明の精神及び範囲から逸脱することなく、例示のために選択された実施形態に、他の様々な修正を行うことができることは、当業者に容易に理解されるであろう。

１００３Ｄジオメトリから３Ｄパッチを取得／生成
１０２３Ｄパッチ対応
１０４３Ｄマッチングしたパッチの動き補償
１０６３Ｄから２Ｄへのパッチ投影
１０８２Ｄ動き補償
７００コンピュータ装置
７０２ネットワークインタフェース
７０４メモリ
７０６プロセッサ
７０８Ｉ／Ｏデバイス
７１０バス
７１２記憶装置
７２０動き補償ハードウェア
７３０動き補償アプリケーション

Claims

装置の非一時的メモリにプログラムされた方法であって、
３Ｄジオメトリから、３Ｄパッチを生成するステップと、
時点間の対応する３Ｄパッチを決定するステップと、
前記対応する３Ｄパッチを用いて、３Ｄマッチングしたパッチの動き補償を実装するステップと、
前記対応する３Ｄパッチを、２Ｄキャンバス画像上に投影するステップと、
一連の２Ｄキャンバス画像を用いて、２Ｄ動き補償を実装するステップと、
を含むことを特徴とする方法。
前記３Ｄパッチを生成するステップは、前記３Ｄジオメトリの表面上において接続されるポイントを決定することを含むことを特徴とする、請求項１に記載の方法。
時点間の対応する３Ｄパッチを決定するステップは、各３Ｄパッチの３Ｄバウンディングボックスによって作成される立方体の視体積交差を評価することによって、パッチ間の時間的対応点を識別することを含むことを特徴とする、請求項１に記載の方法。
３Ｄマッチングしたパッチの動き補償を実装するステップは、前記対応する３Ｄパッチを、ＵＶマップ上において、動きを補償するための位置に位置決めすることを含むことを特徴とする、請求項１に記載の方法。
前記３Ｄパッチを、前記２Ｄキャンバス画像上に投影するステップは、前記対応する３Ｄパッチを、前記２Ｄキャンバス画像上に配置して、３Ｄの一致する座標が、投影後、２Ｄの同じ位置に対応するようにすることを含むことを特徴とする、請求項１に記載の方法。
３Ｄパッチの深度を調整することによって、対応するパッチデータの類似度を増加させることを特徴とする、請求項１に記載の方法。
前記３Ｄマッチングしたパッチの動き補償を実装するステップ及び前記２Ｄ動き補償を実装するステップの後、動き補償された３Ｄジオメトリが確立されることを特徴とする、請求項１に記載の方法。
装置であって、
アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
３Ｄジオメトリから、３Ｄパッチを生成するステップと、
時点間の対応する３Ｄパッチを決定するステップと、
前記対応する３Ｄパッチを用いて、３Ｄマッチングしたパッチの動き補償を実装するステップと、
前記対応する３Ｄパッチを、２Ｄキャンバス画像上に投影するステップと、
一連の２Ｄキャンバス画像を用いて、２Ｄ動き補償を実装するステップと、
を実行するためのものである、非一時的メモリと、
前記非一時的メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含むことを特徴とする装置。
前記３Ｄパッチを生成するステップは、前記３Ｄジオメトリの表面上において接続されるポイントを決定することを含むことを特徴とする、請求項８に記載の装置。
時点間の対応する３Ｄパッチを決定するステップは、各３Ｄパッチの３Ｄバウンディングボックスによって作成される立方体の視体積交差を評価することによって、パッチ間の時間的対応点を識別することを含むことを特徴とする、請求項８に記載の装置。
３Ｄマッチングしたパッチの動き補償を実装するステップは、前記対応する３Ｄパッチを、ＵＶマップ上において、動きを補償するための位置に位置決めすることを含むことを特徴とする、請求項８に記載の装置。
前記３Ｄパッチを、前記２Ｄキャンバス画像上に投影するステップは、前記対応する３Ｄパッチを、前記２Ｄキャンバス画像上に配置して、３Ｄの一致する座標が、投影後、２Ｄの同じ位置に対応するようにすることを含むことを特徴とする、請求項８に記載の装置。
３Ｄパッチの深度を調整することによって、対応するパッチデータの類似度を増加させることを特徴とする、請求項８に記載の装置。
前記３Ｄマッチングしたパッチの動き補償を実装するステップ及び前記２Ｄ動き補償を実装するステップの後、動き補償された３Ｄジオメトリが確立されることを特徴とする、請求項８に記載の装置。
システムであって、
３Ｄジオメトリから、３Ｄパッチを生成するように構成される生成モジュールと、
時点間の対応する３Ｄパッチを決定するように構成される対応モジュールと、
前記対応する３Ｄパッチを用いて、３Ｄマッチングしたパッチの動き補償を実装するように構成される３Ｄマッチング動き補償モジュールと、
前記対応する３Ｄパッチを、２Ｄキャンバス画像上に投影するように構成される投影モジュールと、
一連の２Ｄキャンバス画像を用いて、２Ｄ動き補償を実装するように構成される２Ｄ動き補償モジュールと、
を含むことを特徴とするシステム。
前記３Ｄパッチを生成するステップは、前記３Ｄジオメトリの表面上において接続されるポイントを決定することを含むことを特徴とする、請求項１５に記載のシステム。
時点間の対応する３Ｄパッチを決定するステップは、各３Ｄパッチの３Ｄバウンディングボックスによって作成される立方体の視体積交差を評価することによって、パッチ間の時間的対応点を識別することを含むことを特徴とする、請求項１５に記載のシステム。
３Ｄマッチングしたパッチの動き補償を実装するステップは、前記対応する３Ｄパッチを、ＵＶマップ上において、動きを補償するための位置に位置決めすることを含むことを特徴とする、請求項１５に記載のシステム。
前記３Ｄパッチを、前記２Ｄキャンバス画像上に投影するステップは、前記対応する３Ｄパッチを、前記２Ｄキャンバス画像上に配置して、３Ｄの一致する座標が、投影後、２Ｄの同じ位置に対応するようにすることを含むことを特徴とする、請求項１５に記載のシステム。
３Ｄパッチの深度を調整することによって、対応するパッチデータの類似度を増加させることを特徴とする、請求項１５に記載のシステム。
前記３Ｄマッチングしたパッチの動き補償を実装するステップ及び前記２Ｄ動き補償を実装するステップの後、動き補償された３Ｄジオメトリが確立されることを特徴とする、請求項１５に記載のシステム。