JP7185194B2 - ポイントクラウドグローバルテトリスパッキング - Google Patents

Description

〔関連出願の相互参照〕
本出願は、米国特許法第１１９条（ｅ）の下で、２０１９年３月１８日出願の米国仮特許出願第６２／８１９，８５６号「ポイントクラウドグローバルテトリスパッキング（ＰＯＩＮＴ ＣＬＯＵＤ ＧＬＯＢＡＬ ＴＥＴＲＩＳ ＰＡＣＫＩＮＧ）」の優先権を主張するものであり、その開示内容全体は、全ての目的に対して引用により本明細書に組み込まれる。

本発明は、３次元グラフィックに関する。より具体的には、本発明は、３次元グラフィックのコーディングに関する。

ポイントクラウドは、３Ｄスキャナ、ＬＩＤＡＲセンサによって取り込まれる又は仮想現実／拡張現実（ＶＲ／ＡＲ）などの一般的な用途に使用される３Ｄデータの伝送のための候補フォーマットとして考えられてきた。ポイントクラウドは、３Ｄ空間内のポイントの組である。空間位置（Ｘ，Ｙ，Ｚ）の他に、各ポイントは、通常、色（Ｒ，Ｇ，Ｂ）又は更には反射率及び経時的なタイムスタンプ（例えばＬＩＤＡＲ画像内）などの関連する属性を有する。対象３Ｄオブジェクトの高忠実度表現を得るために、装置は、数千又は更には数百万程度のポイントのポイントクラウドを取り込む。更に、ＶＲ／ＡＲ用途に使用される動的３Ｄシーンのために、全ての単一のフレームは、多くの場合、固有の高密度のポイントクラウドを有し、その結果、毎秒数百万個のポイントクラウドを伝送することになる。このような大量のデータの実現可能な伝送のために、多くの場合、圧縮が適用される。

２０１７年、ＭＰＥＧは、ポイントクラウドの圧縮のための提案募集（ＣｆＰ）を実施した。いくつかの提案の評価の後、ＭＰＥＧは、ポイントクラウド圧縮のための２つの異なる技術、すなわち、（ｏｃｔｒｅｅ及び同様のコーディング方法に基づく）３Ｄネイティブコーディング技術、又は３Ｄから２Ｄへの投影後に従来のビデオコーディングを行うことを考えている。動的３Ｄシーンの場合、ＭＰＥＧは、パッチ表面モデリング、３Ｄ画像から２Ｄ画像へのパッチの投影、及びＨＥＶＣなどのビデオエンコーダで２Ｄ画像を符号化することに基づいて、テストモデルソフトウェア（ＴＭＣ２）を使用している。この方法は、ネイティブ３Ｄコーディングよりも効率的であることが判明しており、許容品質で競合ビットレートを実現することができる。

ポイントクラウドを符号化する時、ＴＭＣ２は、２Ｄキャンバス画像内のパッチ位置及びバウンディングボックスサイズなどのパッチ投影に関連する補助情報を符号化する。補助情報の時間的コーディングのために、現在のポイントクラウドからのパッチと直ちに復号されたポイントクラウドからのパッチとの間のパッチマッチングを使用して予測を行う。この手順は直接の近隣に限定され、シーケンス内の全てのフレームに対してデルタコーディングを実行することを含む。

本明細書では、更に効率的な時間的コーディングのために、３Ｄポイントクラウドデータを２Ｄ表面内にマッピングする方法を説明する。ポイントクラウドグローバルテトリスパッキングは、３Ｄ表面パッチを利用してポイントクラウドを表現して、３Ｄパッチ表面データの２Ｄキャンバス画像内への時間的に一貫したグローバルマッピングを実行する。

一態様では、装置の非一時的メモリにプログラムされた方法は、パッチマッチングを実行して、一致したパッチを決定するステップと、前記一致したパッチを含む双方向連結リストを生成するステップと、前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算するステップと、を含む。パッチマッチングを実行するステップは、パッチを比較して、前記パッチが閾値を上回る類似度を有するかどうかを判定するための画像処理を含む。前記双方向連結リストは、前方パッチ及び／又は後方パッチと一致するものがあるかどうかを指示する。前記累積オキュパンシーマップを計算するステップは、前記一致したパッチの論理和をとることによって生成される。前記累積オキュパンシーマップを計算するステップは、パッチのバウンディングボックスを位置合わせするステップを含む。各パッチの前記重みを計算するステップは、後方一致パッチが存在するかどうか、及び前方一致パッチの重みに基づく。前記方法は、更に、パッチソートアルゴリズムに基づいて、前記一致したパッチを含むパッチを順序付けるステップを含む。前記パッチソートアルゴリズムは、ランの長さ、パッチサイズ、及び前記一致したパッチに対して前のフレームの順序を使用することに基づく。

別の態様では、装置は、アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、パッチマッチングを実行して、一致したパッチを決定するステップと、前記一致したパッチを含む双方向連結リストを生成するステップと、前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算するステップと、を実行するためのものである、非一時的メモリと、前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、を含む。パッチマッチングを実行するステップは、パッチを比較して、前記パッチが閾値を上回る類似度を有するかどうかを判定するための画像処理を含む。前記双方向連結リストは、前方パッチ及び／又は後方パッチと一致するものがあるかどうかを指示する。前記累積オキュパンシーマップを計算するステップは、前記一致したパッチの論理和をとることによって生成される。前記累積オキュパンシーマップを計算するステップは、パッチのバウンディングボックスを位置合わせするステップを含む。各パッチの前記重みを計算するステップは、後方一致パッチが存在するかどうか、及び前方一致パッチの重みに基づく。前記アプリケーションは、更に、パッチソートアルゴリズムに基づいて、前記一致したパッチを含むパッチを順序付けるステップを実行するためのものである。前記パッチソートアルゴリズムは、ランの長さ、パッチサイズ、及び前記一致したパッチに対して前のフレームの順序を使用することに基づく。

別の態様では、システムは、３次元コンテンツを取得するための１又は２以上のカメラと、エンコーダであって、パッチマッチングを実行して、一致したパッチを決定し、前記一致したパッチを含む双方向連結リストを生成し、前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算すること、によって、前記３次元コンテンツを符号化するためのエンコーダと、を含む。パッチマッチングを実行することは、パッチを比較して、前記パッチが閾値を上回る類似度を有するかどうかを判定するための画像処理を含む。前記双方向連結リストは、前方パッチ及び／又は後方パッチと一致するものがあるかどうかを指示する。前記累積オキュパンシーマップを計算することは、前記一致したパッチの論理和をとることによって生成される。前記累積オキュパンシーマップを計算することは、パッチのバウンディングボックスを位置合わせすることを含む。各パッチの前記重みを計算することは、後方一致パッチが存在するかどうか、及び前方一致パッチの重みに基づく。前記システムは、更に、パッチソートアルゴリズムに基づいて、前記一致したパッチを含むパッチを順序付けることを含む。前記パッチソートアルゴリズムは、ランの長さ、パッチサイズ、及び前記一致したパッチに対して前のフレームの順序を使用することに基づく。

いくつかの実施形態によるポイントクラウドのパッチ及び結果を示す図である。 いくつかの実施形態による結果を示す図である。 いくつかの実施形態による重みを決定して累積オキュパンシーマップを生成する図である。 いくつかの実施形態による累積オキュパンシーマップの図である。 いくつかの実施形態によるパッチソートアルゴリズムの図である。 いくつかの実施形態によるポイントクラウドグローバルテトリスパッキングを実装する方法のフローチャートである。 いくつかの実施形態によるポイントクラウドグローバルテトリスパッキングを実装するように構成される例示的なコンピュータ装置のブロック図である。

本明細書では、更に効率的な時間的コーディングのために、３Ｄポイントクラウドデータを２Ｄ表面内にマッピングする方法を説明する。ポイントクラウドグローバルテトリスパッキングは、３Ｄ表面パッチを利用してポイントクラウドを表現して、３Ｄパッチ表面データの２Ｄキャンバス画像内への時間的に一貫したグローバルマッピングを実行する。

ビデオエンコーダを使用する３Ｄポイントクラウドコーディングでは、３Ｄから２Ｄへの投影を使用して、ポイントクラウドを表現するビデオを生成する。このビデオを生成する最も効率的な方法は、３Ｄパッチを使用して、オブジェクトの表面をセグメント化し、直交投影を使用して、一緒にまとめられてビデオエンコーダの入力として使用されるセグメント化された深度画像を生成する。現在のポイントクラウドの規格では、パッチが、第１のフレーム内のそのサイズに従って、次に、後続のフレーム内の一致したパッチに従って、２Ｄキャンバス内に配置される。この方法は、時間的に一貫したパッチ割り当てを保証せず、圧縮効率を低下させる。

本明細書では、一致したパッチ間の時間的一貫性を保証するように、時間的パッチマッチングを実行して、その後、パッチをソートして２Ｄキャンバス内に配置するための方法を説明する。この方法は、新規の重み計算によって一致したパッチのより長いランを識別して、このようなパッチの割り当てを優先させる。更に、パッチが複数のフレームにわたってもそれらの一致したパッチに対して一貫した３Ｄ位置を維持できるように、パッチを配置する。

図１Ａ及び図１Ｂに、いくつかの実施形態によるポイントクラウドのパッチ及び結果を示す。例えば、ポイントクラウドのパッチ（又はセグメント）を２Ｄ表面にマッピングする。

ポイントクラウドがセグメント化された時、時間的に、多くのパッチは互いに類似しており、パッチが類似している時、それらは一致したパッチとして見なされる。１又は２以上の後続のフレーム内で、１又は複数のパッチを探索する。時間的に一貫するように、２Ｄキャンバス上にパッチを配置する。したがって、パッチが同じである（例えば、一致するものが見つかった）場合、同じ位置にパッチを配置して、次のフレーム内で同じ位置にパッチが存在するようにすべきである。例えば、ヘルメットをかぶっている兵士のビデオでは、ヘルメットは時間を通して一貫しているので、２Ｄキャンバス内の同じ位置にヘルメットを配置することができる。

一致するパッチは、画像を比較して、画像がどのくらい類似しているかを判定するための画像処理を使用するなどの任意の方法で識別される。例えば、２つの画像の画素の９５％が同じ位置で同じ色である場合、これらの画像は一致している。別の例では、他のコーディング及び／又は位置決めマッチングを実装して、一致するものが検出されたかどうかを判定する。パッチは、３Ｄの表面、オブジェクトの表面のセグメントを表現し、それらの表面が３Ｄ空間内又は投影された２Ｄ空間内のいずれかで重なる時、一致がある。一致があるためには、バウンディングボックスは同様のサイズを有し、できるだけ重なるべきである。いくつかの実施形態では、このような場合、ジオメトリ情報のみを考慮し、色情報は考慮に入れない。いくつかの実施形態では、ジオメトリ情報及び色情報の両方を考慮する。

双方向連結リスト（又は他のデータ構造）を生成し、これを使用して、一致したパッチ（前方及び後方）を格納する。時間的に前方に向いて一致するものが存在する場合、第１の矢印（リンク）を追加し、時間的に後方に向いて一致するものが存在する場合、第２の矢印（リンク）を追加する。完成時、双方向連結リストは、どのパッチが時間的に一致するかを指示する。

一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算する。

図２に、いくつかの実施形態による重みを決定して累積オキュパンシーマップを生成する図を示す。フレーム３の画像では、オキュパンシーマップは、どの画素が有効であるかを示す。フレーム２の画像では、パッチがわずかに異なる（例えば、手が動いた）。フレーム３のオキュパンシーマップとフレーム２のオキュパンシーマップとの間の「論理和」演算を実行して、オキュパンシーマップを得る。論理和演算の結果、いずれかのオキュパンシーマップからの画素が１である場合、画素が満たされる。オキュパンシーマップの互いの論理和がとられるので、オキュパンシーマップは満たされる。結果として得られるオキュパンシーマップを使用してパッチを配置して、この領域の全てがパッチによって占められることになる。

重みについては、後方から前方まで、パッチが後方一致パッチを有する場合、最後のフレームを重み１で初期化する。そうでない場合には、重みを０として初期化する。その他のフレームについては、同じ初期化を実行して、１＋前方一致パッチの重みを追加する。

最初のフレームについては、重みに従ってリストをソートして、パッチを配置する。後続のフレームについては、（ｂｌｏｃｋ２Ｐａｔｃｈに対して）前のフレームと同じ順序を使用して、一致したパッチを最初に配置し、次に、パッチの残りを、それらのそれぞれの重みに従ってソートする。バウンディングボックスは、同じＵ０，Ｖ０を有する必要がない。配置アルゴリズムは、任意のもの（例えば、アンカー、フレキシブルな向き、テトリスパッキング）とすることができる。

図３に、いくつかの実施形態による累積オキュパンシーマップの図を示す。３Ｄ座標（Ｕ１，Ｖ１）に基づいて、バウンディングボックスを位置合わせして、次に、影響を受けた領域全体を成長させることによって、累積オキュパンシーマップを推定する。

図４に、いくつかの実施形態によるパッチソートアルゴリズムの図を示す。いくつかの実施形態では、ソートアルゴリズムは、１）より長いランによるソート、２）サイズによるソート、３）一致したパッチに対して前のフレームと同じ順序に従うこと、である。例えば、一連の３つの小さいパッチが、一連の２つの大きいパッチの前に来て、その一連の２つの大きいパッチは、一連の２つの小さいパッチの前に来る。時間領域内で一致するいくつかの一連のパッチを、２Ｄキャンバス内に最初に配置して、他のパッチは、これらのパッチに衝突／干渉することができない。いくつかの実施形態では、ソートアルゴリズムが異なる（例えば、サイズによるソートが最初である）。

図５に、いくつかの実施形態によるポイントクラウドグローバルテトリスパッキングを実装する方法のフローチャートを示す。ステップ５００において、パッチマッチングを実行して、一致したパッチを決定する。パッチマッチングは、画像を比較して、画像がどのくらい類似しているかを判定するための画像処理を使用するなどの任意の方法で実装される。例えば、２つの画像の画素の９５％が同じ位置で同じ色である場合、これらの画像は一致している。別の例では、他のコーディング及び／又は位置決めマッチングを実装して、一致するものが検出されたかどうかを判定する。任意の画像比較／マッチングプロセスを使用して、一致するパッチを決定することができる。ステップ５０２において、一致したパッチを含む双方向連結リスト（又は他の同様のデータ構造）を生成する。双方向連結リストは、一致するフレーム間のポインタ（リンク）を含む。例えば、フレーム３内のパッチがフレーム２内のパッチと一致する場合、この２つのフレーム内のパッチ間のリンクがあり、フレーム２内のパッチがフレーム１内のパッチと一致する場合、フレーム２及びフレーム１内のパッチ間のリンクがあり、フレーム１内のパッチがフレーム０と一致する場合、フレーム１及びフレーム０内のパッチ間のリンクがある。ステップ５０４において、一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算する。パッチの互いの論理和をとることによって、累積オキュパンシーマップを計算する。分かりやすくするために、論理和をとることは、下式を意味する。
０ ＯＲ ０ ＝ ０，
０ ＯＲ １ ＝ １，
１ ＯＲ ０ ＝ １，
１ ＯＲ １ ＝ １．
例えば、フレーム３及びフレーム２からの一致したパッチの論理和がとられる場合、フレーム３からのパッチからの第１の画素（例えば、最も左上の画素）と対応する画素（例えば、最も左上の画素）との論理和がとられて、最後の画素（例えば、最も右下の画素）まで、パッチに対してプロセスを続行する。この例を更に進めて、フレーム３内のパッチ内の最も左上の画素が０であり、フレーム２内のパッチ内の対応する画素が０であるので、累積オキュパンシーマップは、最も左上の画素において０を有するが、次の画素がフレーム３内で１、フレーム２内で０であるので、累積オキュパンシーマップは、次の画素などにおいて１を有する。実装に応じて、次の一致するパッチ（例えば、４つの一致するパッチがあると仮定する）とオキュパンシーマップとの論理和をとって、最後のオキュパンシーマップが、論理和がとられたパッチ（例えば、４つのパッチ）の組み合わせであるようにする。

いくつかの実施形態では、累積オキュパンシーマップは、３Ｄ座標（Ｕ１，Ｖ１）が与えられたパッチのバウンディングボックスを位置合わせして、影響を受けた領域全体を成長させることによって累積オキュパンシーマップを推定することにも基づく。

パッチをどのように編成する／順序付けるかを決定することは、本明細書で説明するようなパッチソートアルゴリズム（例えば、より長いランによるソート、サイズによるソート、及び一致したパッチに対して前のフレームと同じ順序に従うこと）に基づく。

後方から前方まで、各パッチの重みを計算する。ここで、最後のフレームのパッチが後方一致パッチを有する場合、最後のフレームのパッチは重み１を有する。そうでない場合には、パッチは重み０を有する。そして、その他のフレームのパッチについては、同じ初期化を実行して、１＋前方一致パッチの重みを追加する。例えば、フレーム３のパッチ（フレーム０～３からのパッチが一致する場合）が、後方一致パッチを有するので、パッチは重み１を有する。次に、フレーム２は、フレーム１への後方一致パッチを有するので、１＋（１＋１）＝３の重みを有する。フレーム１は、フレーム０への後方一致パッチを有するので、１＋（１＋３）＝５の重みを有する。フレーム０は、後方一致パッチを有さないので、０＋（１＋５）＝６の重みを有する。いくつかの実施形態では、より少ない又は追加のステップを実装する。いくつかの実施形態では、ステップの順序が変更される。

図６に、いくつかの実施形態によるポイントクラウドグローバルテトリスパッキングを実装するように構成される例示的なコンピュータ装置のブロック図を示す。コンピュータ装置６００を使用して、３Ｄコンテンツを含む画像及びビデオなどの情報を、取得、記憶、計算、処理、通信及び／又は表示することができる。コンピュータ装置６００は、ポイントクラウドグローバルテトリスパッキングの態様のいずれかを実装することができる。一般に、コンピュータ装置６００を実装するのに適したハードウェア構造は、ネットワークインタフェース６０２、メモリ６０４、プロセッサ６０６、Ｉ／Ｏデバイス６０８、バス６１０、及び記憶装置６１２を含む。プロセッサの選択は、十分な速度を有する好適なプロセッサが選ばれる限り重要ではない。メモリ６０４は、当該技術分野で公知の任意の従来のコンピュータメモリとすることができる。記憶装置６１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、超高精細ドライブ、フラッシュメモリカード又は他の任意の記憶装置を含むことができる。コンピュータ装置６００は、１又は２以上のネットワークインタフェース６０２を含むことができる。ネットワークインタフェースの一例は、イーサネット又は他のタイプのＬＡＮに接続されるネットワークカードを含む。Ｉ／Ｏデバイス６０８は、以下のもの、すなわち、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインタフェース及び他のデバイスのうちの１又は２以上を含むことができる。ポイントクラウドグローバルテトリスパッキングを実装するのに使用されるポイントクラウドグローバルテトリスパッキングアプリケーション６３０は、記憶装置６１２及びメモリ６０４に記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置６００は、図６に示すより多い又は少ない構成要素を含むことができる。いくつかの実施形態では、ポイントクラウドグローバルテトリスパッキングハードウェア６２０が含まれる。図６のコンピュータ装置６００は、ポイントクラウドグローバルテトリスパッキングのためのアプリケーション６３０及びハードウェア６２０を含むが、ポイントクラウドグローバルテトリスパッキングは、コンピュータ装置に、ハードウェア、ファームウェア、ソフトウェア又はそれらの任意の組み合わせとして実装することができる。例えば、いくつかの実施形態では、ポイントクラウドグローバルテトリスパッキングアプリケーション６３０は、メモリにプログラムされて、プロセッサを使用して実行される。別の例では、いくつかの実施形態では、ポイントクラウドグローバルテトリスパッキングハードウェア６２０は、ポイントクラウドグローバルテトリスパッキングを実装するように専用に設計されるゲートを含む、プログラムされたハードウェアロジックである。

いくつかの実施形態では、ポイントクラウドグローバルテトリスパッキングアプリケーション６３０は、いくつかのアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールは、１又は２以上のサブモジュールも含む。いくつかの実施形態では、より少ない又は追加のモジュールを含むことができる。

いくつかの実施形態では、ポイントクラウドグローバルテトリスパッキングハードウェア６２０は、レンズなどのカメラコンポーネント、イメージセンサ、及び／又は他の任意のカメラコンポーネントを含む。

好適なコンピュータ装置の例は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ電話／携帯電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、スマートフォン、携帯音楽プレーヤー、タブレットコンピュータ、移動体デバイス、ビデオプレーヤー、ビデオディスクライター／プレーヤー（例えば、ＤＶＤライター／プレーヤー、高精細ディスクライター／プレーヤー、超高精細ディスクライター／プレーヤー）、テレビジョン、家庭用娯楽システム、拡張現実デバイス、仮想現実デバイス、スマートジュエリー（例えば、スマートウォッチ）、車両（例えば、自動運転車両）又は他の任意の好適なコンピュータ装置を含む。

ポイントクラウドグローバルテトリスパッキング方法を利用するために、装置が３Ｄコンテンツを取得又は受信して、３Ｄコンテンツの適切で効率的な表示を可能にするように最適化された方法でコンテンツを処理及び／又は送信する。ポイントクラウドグローバルテトリスパッキングは、ユーザの援助によって又はユーザが関与することなく自動的に実装することができる。

動作時、ポイントクラウドグローバルテトリスパッキングは、符号化に関してより効率的である。エンコーダ側で生成される連結リストを見て時間的一貫性を強化して、より大きいオキュパンシーマップ（いくつかの単一オキュパンシーマッチの論理和の結果）を利用することによって、パッチ割り当てのためのキャンバス内の空間を確保して、パッチの衝突を回避することによって、２Ｄキャンバス内にパッチを配置することによって、効率の向上を達成する。

ポイントクラウドグローバルテトリスパッキングのいくつかの実施形態
１．装置の非一時的メモリにプログラムされた方法であって、
パッチマッチングを実行して、一致したパッチを決定するステップと、
前記一致したパッチを含む双方向連結リストを生成するステップと、
前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算するステップと、
を含む方法。

２．パッチマッチングを実行するステップは、パッチを比較して、前記パッチが閾値を上回る類似度を有するかどうかを判定するための画像処理を含む、第１項に記載の方法。

３．前記双方向連結リストは、前方パッチ及び／又は後方パッチと一致するものがあるかどうかを指示する、第１項に記載の方法。

４．前記累積オキュパンシーマップを計算するステップは、前記一致したパッチの論理和をとることによって生成される、第１項に記載の方法。

５．前記累積オキュパンシーマップを計算するステップは、パッチのバウンディングボックスを位置合わせするステップを含む、第１項に記載の方法。

６．各パッチの前記重みを計算するステップは、後方一致パッチが存在するかどうか、及び前方一致パッチの重みに基づく、第１項に記載の方法。

７．更に、パッチソートアルゴリズムに基づいて、前記一致したパッチを含むパッチを順序付けるステップを含む、第１項に記載の方法。

８．前記パッチソートアルゴリズムは、ランの長さ、パッチサイズ、及び前記一致したパッチに対して前のフレームの順序を使用することに基づく、第７項に記載の方法。

９．装置であって、
アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
パッチマッチングを実行して、一致したパッチを決定するステップと、
前記一致したパッチを含む双方向連結リストを生成するステップと、
前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算するステップと、
を実行するためのものである、非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含む装置。

１０．パッチマッチングを実行するステップは、パッチを比較して、前記パッチが閾値を上回る類似度を有するかどうかを判定するための画像処理を含む、第９項に記載の装置。

１１．前記双方向連結リストは、前方パッチ及び／又は後方パッチと一致するものがあるかどうかを指示する、第９項に記載の装置。

１２．前記累積オキュパンシーマップを計算するステップは、前記一致したパッチの論理和をとることによって生成される、第９項に記載の装置。

１３．前記累積オキュパンシーマップを計算するステップは、パッチのバウンディングボックスを位置合わせするステップを含む、第９項に記載の装置。

１４．各パッチの前記重みを計算するステップは、後方一致パッチが存在するかどうか、及び前方一致パッチの重みに基づく、第９項に記載の装置。

１５．前記アプリケーションは、更に、パッチソートアルゴリズムに基づいて、前記一致したパッチを含むパッチを順序付けるステップを実行するためのものである、第９項に記載の装置。

１６．前記パッチソートアルゴリズムは、ランの長さ、パッチサイズ、及び前記一致したパッチに対して前のフレームの順序を使用することに基づく、第１５項に記載の装置。

１７．システムであって、
３次元コンテンツを取得するための１又は２以上のカメラと、
エンコーダであって、
パッチマッチングを実行して、一致したパッチを決定し、
前記一致したパッチを含む双方向連結リストを生成し、
前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算すること、
によって、前記３次元コンテンツを符号化するためのエンコーダと、
を含むシステム。

１８．パッチマッチングを実行することは、パッチを比較して、前記パッチが閾値を上回る類似度を有するかどうかを判定するための画像処理を含む、第１７項に記載のシステム。

１９．前記双方向連結リストは、前方パッチ及び／又は後方パッチと一致するものがあるかどうかを指示する、第１７項に記載のシステム。

２０．前記累積オキュパンシーマップを計算することは、前記一致したパッチの論理和をとることによって生成される、第１７項に記載のシステム。

２１．前記累積オキュパンシーマップを計算することは、パッチのバウンディングボックスを位置合わせすることを含む、第１７項に記載のシステム。

２２．各パッチの前記重みを計算することは、後方一致パッチが存在するかどうか、及び前方一致パッチの重みに基づく、第１７項に記載のシステム。

２３．更に、パッチソートアルゴリズムに基づいて、前記一致したパッチを含むパッチを順序付けることを含む、第１７項に記載のシステム。

２４．前記パッチソートアルゴリズムは、ランの長さ、パッチサイズ、及び前記一致したパッチに対して前のフレームの順序を使用することに基づく、第２３項に記載のシステム。

本発明の構成及び動作の原理の理解を容易にするために、詳細内容を組み込んだ特定の実施形態に関して本発明を説明してきた。このような本明細書における特定の実施形態及びその詳細内容への言及は、本明細書に添付される特許請求の範囲を限定することを意図するものではない。特許請求の範囲によって規定される本発明の精神及び範囲から逸脱することなく、例示のために選択された実施形態に、他の様々な修正を行うことができることは、当業者に容易に理解されるであろう。

５００ パッチマッチングを実行して、一致したパッチを決定
５０２ 一致したパッチを含む双方向連結リストを生成
５０４ 一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算
６００ コンピュータ装置
６０２ ネットワークインタフェース
６０４ メモリ
６０６ プロセッサ
６０８ Ｉ／Ｏデバイス
６１０ バス
６１２ 記憶装置
６２０ ポイントクラウドグローバルテトリスパッキングハードウェア
６３０ ポイントクラウドグローバルテトリスパッキングアプリケーション

Claims (24)

1. 装置の非一時的メモリにプログラムされた方法であって、
   パッチマッチングを実行して、一致したパッチを決定するステップと、
   前記一致したパッチを含む双方向連結リストを生成するステップと、
   前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算するステップと、
   を含むことを特徴とする方法。
2. パッチマッチングを実行するステップは、パッチを比較して、前記パッチが閾値を上回る類似度を有するかどうかを判定するための画像処理を含むことを特徴とする、請求項１に記載の方法。
3. 前記双方向連結リストは、前方パッチ及び／又は後方パッチと一致するものがあるかどうかを指示することを特徴とする、請求項１に記載の方法。
4. 前記累積オキュパンシーマップを計算するステップは、前記一致したパッチの論理和をとることによって生成されることを特徴とする、請求項１に記載の方法。
5. 前記累積オキュパンシーマップを計算するステップは、パッチのバウンディングボックスを位置合わせするステップを含むことを特徴とする、請求項１に記載の方法。
6. 各パッチの前記重みを計算するステップは、後方一致パッチが存在するかどうか、及び前方一致パッチの重みに基づくことを特徴とする、請求項１に記載の方法。
7. 更に、パッチソートアルゴリズムに基づいて、前記一致したパッチを含むパッチを順序付けるステップを含むことを特徴とする、請求項１に記載の方法。
8. 前記パッチソートアルゴリズムは、ランの長さ、パッチサイズ、及び前記一致したパッチに対して前のフレームの順序を使用することに基づくことを特徴とする、請求項７に記載の方法。
9. 装置であって、
   アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
   パッチマッチングを実行して、一致したパッチを決定するステップと、
   前記一致したパッチを含む双方向連結リストを生成するステップと、
   前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算するステップと、
   を実行するためのものである、非一時的メモリと、
   前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
   を含むことを特徴とする装置。
10. パッチマッチングを実行するステップは、パッチを比較して、前記パッチが閾値を上回る類似度を有するかどうかを判定するための画像処理を含むことを特徴とする、請求項９に記載の装置。
11. 前記双方向連結リストは、前方パッチ及び／又は後方パッチと一致するものがあるかどうかを指示することを特徴とする、請求項９に記載の装置。
12. 前記累積オキュパンシーマップを計算するステップは、前記一致したパッチの論理和をとることによって生成されることを特徴とする、請求項９に記載の装置。
13. 前記累積オキュパンシーマップを計算するステップは、パッチのバウンディングボックスを位置合わせするステップを含むことを特徴とする、請求項９に記載の装置。
14. 各パッチの前記重みを計算するステップは、後方一致パッチが存在するかどうか、及び前方一致パッチの重みに基づくことを特徴とする、請求項９に記載の装置。
15. 前記アプリケーションは、更に、パッチソートアルゴリズムに基づいて、前記一致したパッチを含むパッチを順序付けるステップを実行するためのものであることを特徴とする、請求項９に記載の装置。
16. 前記パッチソートアルゴリズムは、ランの長さ、パッチサイズ、及び前記一致したパッチに対して前のフレームの順序を使用することに基づくことを特徴とする、請求項１５に記載の装置。
17. システムであって、
    ３次元コンテンツを取得するための１又は２以上のカメラと、
    エンコーダであって、
    パッチマッチングを実行して、一致したパッチを決定し、
    前記一致したパッチを含む双方向連結リストを生成し、
    前記一致したパッチに従って、各パッチの累積オキュパンシーマップ及び重みを計算すること、
    によって、前記３次元コンテンツを符号化するためのエンコーダと、
    を含むことを特徴とするシステム。
18. パッチマッチングを実行することは、パッチを比較して、前記パッチが閾値を上回る類似度を有するかどうかを判定するための画像処理を含むことを特徴とする、請求項１７に記載のシステム。
19. 前記双方向連結リストは、前方パッチ及び／又は後方パッチと一致するものがあるかどうかを指示することを特徴とする、請求項１７に記載のシステム。
20. 前記累積オキュパンシーマップを計算することは、前記一致したパッチの論理和をとることによって生成されることを特徴とする、請求項１７に記載のシステム。
21. 前記累積オキュパンシーマップを計算することは、パッチのバウンディングボックスを位置合わせすることを含むことを特徴とする、請求項１７に記載のシステム。
22. 各パッチの前記重みを計算することは、後方一致パッチが存在するかどうか、及び前方一致パッチの重みに基づくことを特徴とする、請求項１７に記載のシステム。
23. 更に、パッチソートアルゴリズムに基づいて、前記一致したパッチを含むパッチを順序付けることを含むことを特徴とする、請求項１７に記載のシステム。
24. 前記パッチソートアルゴリズムは、ランの長さ、パッチサイズ、及び前記一致したパッチに対して前のフレームの順序を使用することに基づくことを特徴とする、請求項２３に記載のシステム。

Images