JPWO2020148603A5 - - Google Patents

Description

図１は、幾つかの実施形態による点群マッピングの方法のフローチャートを示している。３Ｄ点群１００が取得される（例えば、カメラ／ビデオカメラによって取り込まれ、別のデバイスから受信され、ダウンロードされる）。ステップ１１０において、３Ｄ点群に関する法線が推定される。法線の推定は、ｋｄツリーの構築、ローカル近傍（例えば、ｋ近傍など）の調査、最適な近似接平面の計算（共分散分析を使用）、法線平滑化の実行、法線向きの決定（最小スパニングツリー伝搬）を含む。ステップ１１２において、初期セグメンテーションが実行される。初期セグメンテーションは、６つの向き（＋Ｘ、－Ｘ、＋Ｙ、－Ｙ、＋Ｚ、－Ｚ）に従って点を分類することを含む。初期セグメンテーションは、固定された向きに従って点を分類する。分類後、向きは、平面に投影される。点のクラスタが決定されると、これらの点は、同じ平面に投影される。点の投影は、点のバウンディングボックスを規定すること１１４において、セグメンテーションが精緻化される。セグメンテーションを精緻化することは、近傍法を使用して画素分類を平滑化することを含む（例えば、指定されたスコアを最大にするため）。ステップ１１６において、パッチがセグメント化される。パッチをセグメント化することは、隣接情報を計算すること、パッチを抽出すること、奥行きフィルタリングを実行すること、及び欠落点を特定することを含む。３Ｄ点群マッピングは、２Ｄ画像１０２をもたらす。幾つかの実施形態では、より少ない又は追加のステップが実行される。幾つかの実施形態では、ステップの順序が変更される。

Claims (21)

1. デバイスの非一時メモリにプログラムされた方法であって、
   ３次元コンテンツを取得することであって、該３次元コンテンツを取得することは、前記３次元コンテンツのパッチをセグメント化することと、バウンディングボックスの生成のためにどの平面が選択されているかを示すインデックスを送信することとを含むものであり、ここで、前記３次元コンテンツの同様の特性を有する点は、同じ平面に投影され、３Ｄ位置は、点からサーフェスまでの距離であることと、
   ホモグラフィ変換を使用して前記３次元コンテンツを符号化することであって、該ホモグラフィ変換を使用して前記３次元コンテンツを符号化することは、法線を推定することを含み、該法線を推定することは、ｋｄツリーを構築することと、ローカル近傍を調べることと、共分散分析を使用して最適な近似接平面を計算することと、法線平滑化を実行することと、法線向きを決定することとを含むものであることと、
   を含む方法。
2. 前記ホモグラフィ変換を使用して前記３次元コンテンツを符号化することは、前記３次元コンテンツを２次元コンテンツに変換することを含む、請求項１に記載の方法。
3. 前記ホモグラフィ変換を使用して前記３次元コンテンツを符号化することは、３次元から２次元への変換のホモグラフィ変換係数を送信することを含む、請求項１に記載の方法。
4. 前記ホモグラフィ変換を使用して前記３次元コンテンツを符号化することは、ホモグラフィ行列を計算することを含む、請求項１に記載の方法。
5. デバイスの非一時メモリにプログラムされた方法であって、
   ３次元コンテンツを取得することと、
   ホモグラフィ変換を使用して前記３次元コンテンツを符号化することと、
   を含み、
   前記ホモグラフィ変換を使用して前記３次元コンテンツを符号化することは、ホモグラフィ行列を計算することを含み、
   前記ホモグラフィ行列は、３つの行列から計算される方法。
6. 前記３つの行列は、ビューイング行列、投影行列、及びビューポート行列を含む、請求項５に記載の方法。
7. 前記ビューイング行列は、カメラを表し、前記投影行列は、前記カメラのセンサ内の画素を表し、前記ビューポート行列は、前記カメラ内の前記画素から画像内の前記画素への変換を表す、請求項６に記載の方法。
8. ３次元コンテンツを取得することであって、該３次元コンテンツを取得することは、前記３次元コンテンツのパッチをセグメント化することと、バウンディングボックスの生成のためにどの平面が選択されているかを示すインデックスを送信することとを含むものであり、ここで、前記３次元コンテンツの同様の特性を有する点は、同じ平面に投影され、３Ｄ位置は、点からサーフェスまでの距離であること、及びホモグラフィ変換を使用して前記３次元コンテンツを符号化することであって、該ホモグラフィ変換を使用して前記３次元コンテンツを符号化することは、法線を推定することを含み、該法線を推定することは、ｋｄツリーを構築することと、ローカル近傍を調べることと、共分散分析を使用して最適な近似接平面を計算することと、法線平滑化を実行することと、法線向きを決定することとを含むものであることのためのアプリケーションを格納するための非一時的メモリと、
   前記メモリに結合されており、前記アプリケーションを処理するように構成されたプロセッサと、
   を備える装置。
9. 前記ホモグラフィ変換を使用して前記３次元コンテンツを符号化することは、前記３次元コンテンツを２次元コンテンツに変換することを含む、請求項８に記載の装置。
10. 前記ホモグラフィ変換を使用して前記３次元コンテンツを符号化することは、３次元から２次元への変換のホモグラフィ変換係数を送信することを含む、請求項８に記載の装置。
11. 前記ホモグラフィ変換を使用して前記３次元コンテンツを符号化することは、ホモグラフィ行列を計算することを含む、請求項８に記載の装置。
12. ３次元コンテンツを取得すること、及びホモグラフィ変換を使用して前記３次元コンテンツを符号化することのためのアプリケーションを格納するための非一時的メモリと、
    前記メモリに結合されており、前記アプリケーションを処理するように構成されたプロセッサと、
    を備え、
    前記ホモグラフィ変換を使用して前記３次元コンテンツを符号化することは、ホモグラフィ行列を計算することを含み、
    前記ホモグラフィ行列は、３つの行列から計算される装置。
13. 前記３つの行列は、ビューイング行列、投影行列、及びビューポート行列を含む、請求項１２に記載の装置。
14. 前記ビューイング行列は、カメラを表し、前記投影行列は、前記カメラのセンサ内の画素を表し、前記ビューポート行列は、前記カメラ内の前記画素から画像内の前記画素への変換を表す、請求項１３に記載の装置。
15. ３次元コンテンツを取得するための１又は２以上のカメラと、
    ホモグラフィ変換を使用して前記３次元コンテンツを符号化するためのエンコーダと、
    を備え、
    前記３次元コンテンツを取得することは、向きに従って点を分類することを含む、前記３次元コンテンツのパッチをセグメント化することと、バウンディングボックスの生成のためにどの平面が選択されているかを示すインデックスを送信することとを含むものであり、ここで、前記３次元コンテンツの同様の特性を有する点は、同じ平面に投影され、３Ｄ位置は、点からサーフェスまでの距離であり、
    前記ホモグラフィ変換を使用して前記３次元コンテンツを符号化することは、法線を推定することを含み、該法線を推定することは、ｋｄツリーを構築することと、ローカル近傍を調べることと、共分散分析を使用して最適な近似接平面を計算することと、法線平滑化を実行することと、法線向きを決定することとを含むものであるシステム。
16. 前記ホモグラフィ変換を使用して前記３次元コンテンツを符号化することは、前記３次元コンテンツを２次元コンテンツに変換することを含む、請求項１５に記載のシステム。
17. 前記ホモグラフィ変換を使用して前記３次元コンテンツを符号化することは、３次元から２次元への変換のホモグラフィ変換係数を送信することを含む、請求項１５に記載のシステム。
18. 前記ホモグラフィ変換を使用して前記３次元コンテンツを符号化することは、ホモグラフィ行列を計算することを含む、請求項１５に記載のシステム。
19. ３次元コンテンツを取得するための１又は２以上のカメラと、
    ホモグラフィ変換を使用して前記３次元コンテンツを符号化するためのエンコーダと、
    を備え、
    前記ホモグラフィ変換を使用して前記３次元コンテンツを符号化することは、ホモグラフィ行列を計算することを含み、
    前記ホモグラフィ行列は、３つの行列から計算されるシステム。
20. 前記３つの行列は、ビューイング行列、投影行列、及びビューポート行列を含む、請求項１９に記載のシステム。
21. 前記ビューイング行列は、カメラを表し、前記投影行列は、前記カメラのセンサ内の画素を表し、前記ビューポート行列は、前記カメラ内の前記画素から画像内の前記画素への変換を表す、請求項２０に記載のシステム。