JP7181977B2 - ３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム - Google Patents

３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム Download PDF

Info

Publication number
JP7181977B2
JP7181977B2 JP2021147477A JP2021147477A JP7181977B2 JP 7181977 B2 JP7181977 B2 JP 7181977B2 JP 2021147477 A JP2021147477 A JP 2021147477A JP 2021147477 A JP2021147477 A JP 2021147477A JP 7181977 B2 JP7181977 B2 JP 7181977B2
Authority
JP
Japan
Prior art keywords
shape
depth map
captured
processors
mesh
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021147477A
Other languages
English (en)
Other versions
JP2021185542A (ja
Inventor
ウェイ シャオリン
チャン イーフー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2021185542A publication Critical patent/JP2021185542A/ja
Application granted granted Critical
Publication of JP7181977B2 publication Critical patent/JP7181977B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Generation (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

（関連出願の相互参照）
本願は、２０１５年９月２５日に出願され”ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＤＥＴＥＣＴＩＮＧ ＡＮＤ ＣＯＭＢＩＮＩＮＧ ＳＴＲＵＣＴＵＲＡＬ ＦＥＡＴＵＲＥＳ ＩＮ ３Ｄ ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ，”と題された米国仮特許出願第６２，２３２，８３３号に対する優先権を主張するものであり、該米国仮特許出願の開示は、あらゆる目的のために、その全体が参照により本明細書中に援用される。
本発明は、概して、コンピュータ化された３次元（３Ｄ）画像再構成の分野に関し、より具体的には、３Ｄ再構成内の構造特徴を検出し、組み合わせるための方法およびシステムに関する。
本明細書に説明されるように、本発明の実施形態は、従来の技法によって十分に対処されていない問題を解決し、かつ添付の図面とともに考慮されるとき、以下の詳細な説明を参照することによって容易に明らかとなる、付加的特徴を提供することを対象とする。
本明細書に開示されるいくつかの実施形態は、形状認識３Ｄ再構成を提供するための方法およびシステムを対象とする。いくつかの実装は、形状検出、形状認識姿勢推定、形状認識立体融合アルゴリズム、および同等物等、改良された形状認識技法を組み込む。
本発明のある実施形態によると、再構成された３Ｄメッシュを形成するための方法が、提供される。本方法は、場面と関連付けられた捕捉された奥行マップのセットを受信するステップと、捕捉された奥行マップのセットと関連付けられた初期カメラ姿勢整合を行うステップと、捕捉された奥行マップのセットを基準フレーム内にオーバーレイするステップとを含む。本方法はまた、捕捉された奥行マップのオーバーレイされたセット内の１つまたはそれを上回る形状を検出するステップと、初期カメラ姿勢整合を更新し、形状認識カメラ姿勢整合を提供するステップとを含む。本方法はさらに、形状認識立体融合を行うステップと、場面と関連付けられた再構成された３Ｄメッシュを形成するステップとを含む。
本発明の別の実施形態によると、場面内に存在する形状を検出する方法が、提供される。本方法は、複数の捕捉された奥行マップを含む、点群と関連付けられた垂直方向を判定するステップと、垂直方向に直交する仮想平面を形成するステップとを含む。本方法はまた、点群の点を仮想平面上に投影させるステップと、点群の点に関する投影統計を計算するステップとを含む。本方法はさらに、１つまたはそれを上回る線を計算された投影統計から検出するステップであって、１つまたはそれを上回る線は、垂直壁と関連付けられる、ステップと、場面内に存在する形状を投影統計および１つまたはそれを上回る検出された線から検出するステップとを含む。
本発明の具体的実施形態によると、形状認識カメラ姿勢整合を行う方法が、提供される。本方法は、捕捉された奥行マップのセットを受信するステップを含む。捕捉された奥行マップはそれぞれ、物理的カメラ姿勢と関連付けられる。本方法はまた、１つまたはそれを上回る検出された形状を受信するステップを含む。１つまたはそれを上回る検出された形状の各形状は、寸法および場所／配向によって特徴付けられる。本方法はさらに、１つまたはそれを上回る検出された形状毎に３Ｄメッシュを作成するステップと、各３Ｄメッシュと関連付けられた１つまたはそれを上回る仮想カメラをローカル基準フレーム内に作成するステップとを含む。加えて、本方法は、１つまたはそれを上回る奥行マップをレンダリングするステップを含む。１つまたはそれを上回るレンダリングされた奥行マップはそれぞれ、各３Ｄメッシュと関連付けられた各仮想カメラと関連付けられる。さらに、本方法は、１つまたはそれを上回るレンダリングされた奥行マップと捕捉された奥行マップのセットとの間の整合を最適化することによって、物理的カメラ姿勢および１つまたはそれを上回る検出された形状の各形状の場所／配向を共に解くステップを含む。
ある実施形態では、形状認識３Ｄ再構成方法は、捕捉された奥行マップのセットの姿勢推定を行うステップと、姿勢推定に続いて、整合された姿勢の形状検出を行うステップと、形状認識姿勢推定を検出された形状に行うステップと、整合された姿勢および形状に基づいて、形状認識立体融合を実施し、１つまたはそれを上回る３Ｄメッシュを生成するステップとのうちの１つまたはそれを上回るステップを含む。
従来の技法に優る多数の利点が、本発明によって達成される。例えば、本発明の実施形態は、鮮明かつ鮮鋭な形状および縁を３Ｄメッシュ内に提供し、その結果、３Ｄメッシュがより現実的に見え、これは、形状認識３Ｄ再構成を使用しては生成されない。故に、本発明の実施形態によって提供される３Ｄメッシュは、視認者にとってより快適である。別の利点は、３Ｄ再構成のプロセスにおける検出された形状の存在の結果として、捕捉された奥行マップのより正確かつロバストな整合が達成されることである。さらに、人工場面の従来の知識を適用し、同時に、場面不均質に対して柔軟性を維持する、エンドツーエンド３Ｄ再構成フレームワークが、提供される。本発明のこれらおよび他の実施形態は、その利点および特徴の多くとともに、以下の文章および添付の図と併せてより詳細に説明される。
本明細書は、例えば、以下の項目も提供する。
（項目１）
再構成された３Ｄメッシュを形成するための方法であって、
１つまたはそれを上回るプロセッサにおいて、場面と関連付けられた捕捉された奥行マップのセットを受信するステップと、
前記１つまたはそれを上回るプロセッサを使用して、前記捕捉された奥行マップのセットと関連付けられた初期カメラ姿勢整合を行うステップと、
前記１つまたはそれを上回るプロセッサを使用して、前記捕捉された奥行マップのセットを基準フレーム内にオーバーレイするステップと、
前記１つまたはそれを上回るプロセッサを使用して、前記捕捉された奥行マップのオーバーレイされたセット内の１つまたはそれを上回る形状を検出するステップと、
前記１つまたはそれを上回るプロセッサを使用して、前記初期カメラ姿勢整合を更新し、形状認識カメラ姿勢整合を提供するステップと、
前記１つまたはそれを上回るプロセッサを使用して、形状認識立体融合を行うステップと、
前記１つまたはそれを上回るプロセッサを使用して、前記場面と関連付けられた再構成された３Ｄメッシュを形成するステップと
を含む、方法。
（項目２）
前記捕捉された奥行マップのセットは、前記場面に対して異なる位置から得られる、項目１に記載の方法。
（項目３）
前記捕捉された奥行マップのセットは、異なる時間において、前記場面に対して単一位置から得られる、項目１に記載の方法。
（項目４）
前記基準フレームは、前記１つまたはそれを上回る検出された形状のうちの１つの基準フレームを備える、項目１に記載の方法。
（項目５）
前記捕捉された奥行マップのオーバーレイされたセット内の１つまたはそれを上回る形状を検出するステップは、
前記捕捉された奥行マップのオーバーレイされたセットと関連付けられた点群と関連付けられた垂直方向を判定するステップと、
前記垂直方向に直交する仮想平面を形成するステップと、
前記点群の点を前記仮想平面上に投影させるステップと、
前記点群の点に関する投影統計を計算するステップと、
１つまたはそれを上回る線を前記計算された投影統計から検出するステップであって、前記１つまたはそれを上回る線は、垂直壁と関連付けられる、ステップと、
前記１つまたはそれを上回る形状を前記投影統計および前記１つまたはそれを上回る検出された線から検出するステップと
を含む、項目１に記載の方法。
（項目６）
前記検出された１つまたはそれを上回る形状は、壁角または扉枠のうちの少なくとも１つを備える、項目１に記載の方法。
（項目７）
前記形状認識カメラ姿勢整合を提供するステップは、
前記１つまたはそれを上回る検出された形状毎に３Ｄメッシュを作成するステップであって、前記捕捉された奥行マップのオーバーレイされたセットは、物理的カメラ姿勢と関連付けられ、前記１つまたはそれを上回る検出された形状はそれぞれ、寸法および場所／配向によって特徴付けられる、ステップと、
各３Ｄメッシュと関連付けられた１つまたはそれを上回る仮想カメラをローカル基準フレーム内に作成するステップと、
１つまたはそれを上回る奥行マップをレンダリングするステップであって、前記１つまたはそれを上回るレンダリングされた奥行マップはそれぞれ、各３Ｄメッシュと関連付けられた各仮想カメラと関連付けられる、ステップと、
前記１つまたはそれを上回るレンダリングされた奥行マップと前記捕捉された奥行マップのセットとの間の整合を最適化することによって、前記物理的カメラ姿勢および前記１つまたはそれを上回る検出された形状の各形状の場所／配向を共に解くステップと
を含む、項目１に記載の方法。
（項目８）
場面内に存在する形状を検出する方法であって、
１つまたはそれを上回るプロセッサを使用して、複数の捕捉された奥行マップを含む点群と関連付けられた垂直方向を判定するステップと、
前記１つまたはそれを上回るプロセッサを使用して、前記垂直方向に直交する仮想平面を形成するステップと、
前記１つまたはそれを上回るプロセッサを使用して、前記点群の点を前記仮想平面上に投影させるステップと、
前記１つまたはそれを上回るプロセッサを使用して、前記点群の点に関する投影統計を計算するステップと、
前記１つまたはそれを上回るプロセッサを使用して、１つまたはそれを上回る線を前記計算された投影統計から検出するステップであって、前記１つまたはそれを上回る線は、
垂直壁と関連付けられる、ステップと、
前記１つまたはそれを上回るプロセッサを使用して、前記場面内に存在する形状を前記投影統計および前記１つまたはそれを上回る検出された線から検出するステップと
を含む、方法。
（項目９）
前記検出された形状の寸法および位置を判定するステップをさらに含む、項目８に記載の方法。
（項目１０）
前記垂直方向を判定するステップは、点法線の使用を含む、項目８に記載の方法。
（項目１１）
前記投影統計は、前記仮想平面内の所定のｘ、ｙ場所上に投影された前記点群の点の数を備える、項目８に記載の方法。
（項目１２）
前記投影統計は、前記仮想平面内の所定のｘ、ｙ場所上に投影された前記点群の点に関する点法線の分布を備える、項目１１に記載の方法。
（項目１３）
前記投影統計は、前記仮想平面内の所定のｘ、ｙ場所上に投影された前記点群の点の初期高さを備える、項目１１に記載の方法。
（項目１４）
前記場面内に存在する検出された形状は、壁角または扉枠のうちの少なくとも１つを備える、項目８に記載の方法。
（項目１５）
形状認識カメラ姿勢整合を行う方法であって、
１つまたはそれを上回るプロセッサにおいて、捕捉された奥行マップのセットを受信するステップであって、前記捕捉された奥行マップはそれぞれ、物理的カメラ姿勢と関連付けられる、ステップと、
前記１つまたはそれを上回るプロセッサにおいて、１つまたはそれを上回る検出された形状を受信するステップであって、前記１つまたはそれを上回る検出された形状の各形状は、寸法および場所／配向によって特徴付けられる、ステップと、
前記１つまたはそれを上回るプロセッサを使用して、前記１つまたはそれを上回る検出された形状毎に、３Ｄメッシュを作成するステップと、
前記１つまたはそれを上回るプロセッサを使用して、各３Ｄメッシュと関連付けられた１つまたはそれを上回る仮想カメラをローカル基準フレーム内に作成するステップと、
前記１つまたはそれを上回るプロセッサを使用して、１つまたはそれを上回る奥行マップをレンダリングするステップであって、前記１つまたはそれを上回るレンダリングされた奥行マップはそれぞれ、各３Ｄメッシュと関連付けられた各仮想カメラと関連付けられる、ステップと、
前記１つまたはそれを上回るプロセッサを使用して、前記１つまたはそれを上回るレンダリングされた奥行マップと前記捕捉された奥行マップのセットとの間の整合を最適化することによって、前記物理的カメラ姿勢および前記１つまたはそれを上回る検出された形状の各形状の場所／配向を共に解くステップと
を含む、方法。
（項目１６）
前記１つまたはそれを上回るレンダリングされた奥行マップと前記捕捉された奥行マップのセットとの間の整合を最適化するステップは、
前記１つまたはそれを上回るレンダリングされた奥行マップ間の整合を最適化するステップと、
前記１つまたはそれを上回るレンダリングされた奥行マップと前記捕捉された奥行マップのセットとの間の整合を最適化するステップと
を含む、項目１５に記載の方法。
（項目１７）
前記ローカル基準フレームは、前記１つまたはそれを上回る検出された形状のうちの１つの基準フレームを備える、項目１５に記載の方法。
（項目１８）
前記１つまたはそれを上回る検出された形状毎の３Ｄメッシュは、複数の三角形を備え、前記複数の三角形はそれぞれ、前記１つまたはそれを上回る仮想カメラのうちの少なくとも１つの視野内にある、項目１５に記載の方法。
（項目１９）
前記捕捉された奥行マップのセットは、場面に対して異なる位置から得られる、項目１５に記載の方法。
（項目２０）
前記捕捉された奥行マップのセットは、異なる時間において、場面に対して単一位置から得られる、項目１５に記載の方法。
本開示は、１つまたはそれを上回る種々の実施形態に従って、以下の図を参照して詳細に説明される。図面は、例証目的のためだけに提供され、単に、本開示の例示的実施形態を描写する。これらの図面は、本開示の読者の理解を促進するために提供され、本開示の範疇、範囲、または可用性の限定と見なされるべきではない。例証の明確性および容易性のために、これらの図面は、必ずしも正確な縮尺で描かれていないことに留意されたい。
図１は、捕捉された奥行マップの複数のフレームを使用して、場面の３Ｄメッシュを作成するための方法を図示する、簡略化されたフローチャートである。 図２は、本発明のある実施形態による、捕捉された奥行マップの複数のフレームを使用して、場面の３Ｄメッシュを生成するための方法を図示する、簡略化されたフローチャートである。 図３は、本発明のある実施形態による、点群内に存在する形状を検出する方法を図示する、簡略化されたフローチャートである。 図４は、本発明のある実施形態による、形状認識カメラ姿勢整合を行う方法を図示する、簡略化されたフローチャートである。 図５は、本発明のある実施形態による、形状認識立体融合を行う方法を図示する、簡略化されたフローチャートである。 図６Ａは、本発明のある実施形態による、壁の端部の３Ｄメッシュを図示する、簡略化された略図である。 図６Ｂは、本発明のある実施形態による、扉枠の３Ｄメッシュを図示する、簡略化された略図である。 図７Ａは、本発明のある実施形態による、扉枠の内部図と関連付けられたレンダリングされた奥行マップおよび関連付けられた仮想カメラを図示する、簡略化された概略図である。 図７Ｂは、本発明のある実施形態による、扉枠の外部図と関連付けられたレンダリングされた奥行マップおよび関連付けられた仮想カメラを図示する、簡略化された概略図である。 図７Ｃは、本発明のある実施形態による、２つの壁の角と関連付けられたレンダリングされた奥行マップおよび関連付けられた仮想カメラを図示する、簡略化された概略図である。 図８Ａは、本発明のある実施形態による、仮想カメラからレンダリングされた扉枠の内部図のレンダリングされた奥行マップを図示する、簡略化された概略図である。 図８Ｂは、本発明のある実施形態による、仮想カメラからレンダリングされた扉枠の外部図のレンダリングされた奥行マップを図示する、簡略化された概略図である。 図９Ａは、オーバーレイされた捕捉された奥行マップを図示する、簡略化された点群略図である。 図９Ｂは、本発明の実施形態によって提供される形状認識方法を使用して、オーバーレイされた捕捉された奥行マップおよびレンダリングされた奥行マップを図示する、簡略化された点群略図である。 図１０Ａは、図１に関連して説明される方法を使用して再構成された第１の再構成された３Ｄメッシュを示す、画像である。 図１０Ｂは、図２に関連して説明される方法を使用して再構成された第２の再構成された３Ｄメッシュを示す、画像である。 図１１Ａは、図１に関連して説明される方法を使用して再構成された第３の再構成された３Ｄメッシュを示す、画像である。 図１１Ｂは、図２に関連して説明される方法を使用して再構成された第４の再構成された３Ｄメッシュを示す、画像である。 図１２は、本発明のある実施形態による、捕捉された奥行マップを使用して３Ｄメッシュを再構成するためのシステムを図示する、簡略化された概略図である。 図１３は、実施形態を組み込む、実施形態の中に組み込まれる、または本開示内で見出される革新、実施形態、および／または実施例のいずれかを実践するために使用され得る、コンピュータシステムまたは情報処理デバイスのブロック図である。
本発明の実施形態は、コンピュータ化された３次元（３Ｄ）場面再構成のための方法およびシステムに関し、より具体的には、３Ｄ再構成において構造特徴を検出し、組み合わせるための方法およびシステムに関する。
以下の説明は、当業者が本発明を成すことおよび使用することを可能にするように提示される。特定のデバイス、技法、および用途の説明は、実施例としてのみ提供される。本明細書で説明される実施例に対する種々の修正は、当業者に容易に明白となり、本明細書で定義される一般的な原則は、本発明の精神および範囲から逸脱することなく、他の実施例および用途に適用されてもよい。このように、本発明の実施形態は、本明細書で説明され、示される実施例に限定されることは意図されておらず、請求項と整合する範囲に合致することが意図されている。
「例示的」という言葉は、本明細書では、「実施例または例証としての機能を果たすこと」を意味するために使用される。本明細書で「例示的」として説明される任意の側面または設計は、必ずしも他の側面または設計より好ましい、または有利として解釈されるべきではない。
ここで、対象となる技術の側面を詳細に参照するが、これらの実施例は、添付の図面に図示され、図中、類似参照番号は、全体を通して類似要素を参照する。
本明細書で開示されるプロセスにおけるステップの特定の順序または階層は、例示的アプローチの実施例であることを理解されたい。設計選好に基づいて、プロセスにおけるステップの特定の順序または階層は、本開示の範囲内に留まりながら並べ替えられてもよいことが理解される。添付の方法の請求項は、サンプル順序における種々のステップの要素を提示し、提示される特定の順序または階層に限定されることを意図しない。
本明細書で開示される実施形態は、形状認識３Ｄ再構成を提供する方法およびシステムを対象とする。本明細書に説明されるように、本発明のいくつかの実施形態は、形状検出、形状認識姿勢推定、形状認識立体融合アルゴリズム、および同等物等、改良された形状認識技法を組み込む。本発明のある実施形態によると、形状認識３Ｄ再構成方法は、奥行画像のセットの姿勢推定を行うステップと、姿勢推定に続いて、整合された姿勢の形状検出を行うステップと、検出された形状に形状認識姿勢推定を行うステップと、整合された姿勢および形状に基づいて、形状認識立体融合を実施し、３Ｄメッシュを生成するステップとのうちの１つまたはそれを上回るステップを含むことができる。
３Ｄ再構成は、３Ｄコンピュータビジョンにおいて最も探求されている主題のうちの１つである。これは、画像（例えば、カラー／グレースケール画像、奥行画像、または同等物）を入力として撮影し、観察される場面を表す３Ｄメッシュを生成する（例えば、自動的に）。３Ｄ再構成は、仮想現実、マッピング、ロボット、ゲーム、映画製作等において多くの用途を有する。
実施例として、３Ｄ再構成アルゴリズムは、入力画像（例えば、カラー／グレースケール画像、カラー／グレースケール画像＋奥行画像、または奥行のみ）を受信し、必要に応じて、入力画像を処理し、捕捉された奥行マップを形成することができる。例えば、受動奥行マップは、マルチビューステレオアルゴリズムを使用して、カラー画像から生成されることができ、能動奥行マップは、構造化光奥行センサ等の能動感知技術を使用して得られることができる。前述の実施例が図示されるが、本発明の実施形態は、任意のタイプの奥行マップを取り扱うように構成されることができる。当業者は、多くの変形例、修正、および代替を認識するであろう。
図１は、捕捉された奥行マップの複数のフレームを使用して、場面の３Ｄメッシュを作成するための方法を図示する、簡略化されたフローチャートである。図１を参照すると、場面の３Ｄモデル、例えば、場面と関連付けられた３Ｄ表面を表す３Ｄ三角形メッシュを捕捉された奥行マップの複数のフレームから作成する方法が、図示される。方法１００は、捕捉された奥行マップのセットを受信するステップ（１１０）を含む。捕捉された奥行マップは、各ピクセルが、ピクセルから奥行画像を得るカメラまでの奥行を表す、関連付けられた奥行値を有する、奥行画像である。ピクセルあたり３つまたはそれを上回るチャネルを有することができる、カラー画像（例えば、赤色、緑色、および青色成分を伴うＲＧＢ画像）と比較して、奥行マップは、ピクセルあたり単一チャネル（すなわち、カメラからのピクセル距離）を有することができる。捕捉された奥行マップのセットを受信するプロセスは、入力画像、例えば、ＲＧＢ画像を処理し、捕捉された奥行マップのフレームとも称される、１つまたはそれを上回る捕捉された奥行マップを生成することを含むことができる。他の実施形態では、捕捉された奥行マップは、飛行時間カメラ、ＬＩＤＡＲ、ステレオカメラ、または同等物を使用して得られ、したがって、システムによって受信される。
捕捉された奥行マップのセットは、異なるカメラ角度および／または位置からの奥行マップを含む。実施例として、奥行マップストリームは、可動式奥行カメラによって提供されることができる。可動式奥行カメラが、パンおよび／または移動するにつれて、奥行マップは、奥行画像のストリームとして生成される。別の実施例として、静止奥行カメラが、異なる角度および／または異なる位置またはそれらの組み合わせから、場面の一部または全部の複数の奥行マップを収集するために使用され得る。
本方法はまた、捕捉された奥行マップのセットと関連付けられたカメラ姿勢を基準フレーム内に整合させるステップ（１１２）と、捕捉された奥行マップのセットを基準フレーム内にオーバーレイするステップ（１１２）とを含む。ある実施形態では、姿勢推定のプロセスは、全カメラからの奥行点を整合させ、局所的および大域的に一貫した点群を３Ｄ世界座標内に作成するために利用される。世界座標内の同一位置からの奥行点は、可能な限り相互に近接して整合されるべきである。しかしながら、奥行マップ内に存在する不正確度に起因して、姿勢推定は、通常、特に、屋内場面における壁の角、壁の端部、扉枠、および同等物等の構造特徴上において完璧ではなく、これは、それらが生成されたメッシュ内に存在するとき、アーチファクトをこれらの構造特徴上に生じさせる。さらに、これらの不正確度は、アーチファクトがユーザにはるかに顕著となるであろうため、遮蔽物（すなわち、背景オブジェクトを遮るオブジェクト）としてメッシュ境界が見られるときに悪化し得る。
各奥行画像と関連付けられたカメラの位置および配向を示す、カメラ姿勢を整合させるために、奥行マップが、オーバーレイされ、隣接および／または重複ピクセルの位置の差異が、低減または最小限にされる。いったん基準フレーム内のピクセルの位置が調節されると、カメラ姿勢は、調節および／または更新され、カメラ姿勢と調節されたピクセル位置を整合させる。したがって、カメラ姿勢は、基準フレーム内に整合される（１１４）。言い換えると、レンダリングされた奥行マップは、推定されたカメラ姿勢に基づいて、全奥行マップの奥行点を基準フレーム（例えば、３Ｄ世界座標系）に投影することによって作成されることができる。
本方法はさらに、立体融合を行うステップ（１１６）と、再構成された３Ｄメッシュを形成するステップ（１１８）とを含む。立体融合プロセスは、複数の捕捉された奥行マップを観察される場面の符号付距離関数の離散化バージョンとして立体表現に融合するステップを含むことができる。３Ｄメッシュ生成は、多角形メッシュを３Ｄ空間内の立体表現から抽出するためのマーチングキューブアルゴリズムまたは他の好適な方法の使用を含むことができる。
前述のアーチファクトを低減させるために、本発明の実施形態は、形状検出、形状認識姿勢推定、形状認識立体融合アルゴリズム、および同等物等、改良された形状認識技法を組み込む、形状認識３Ｄ再構成を行うための方法およびシステムを提供する。
屋内構造に関して、それらは、人工的であるため、構造は、典型的には、有機屋外構造と対照的に、規則的形状を有する。加えて、安価な奥行カメラは、各ピクセルと関連付けられた奥行値内に誤差をもたらす、比較的に高レベルの雑音を含有する捕捉された奥行マップを生成し得る。これらの奥行誤差は、カメラ姿勢推定プロセスにおける不正確度につながり得る。これらの誤差は、システムを通して伝搬し、雑音および不正確度を含む誤差を再構成された３Ｄメッシュ内にもたらし得る。実施例として、壁のうねったまたは歪曲した角、平坦であるべき壁内のうねり、および同等物は、ユーザにとって視覚的に好ましくない。故に、本発明の実施形態を利用することで、再構成された３Ｄメッシュは、増加した正確度、低減した雑音、および同等物を特徴とし、ユーザに視覚的に好ましい３Ｄメッシュをもたらす。
図１に図示される具体的ステップは、本発明のある実施形態による、捕捉された奥行マップの複数のフレームを使用して場面の３Ｄメッシュを作成する特定の方法を提供することを理解されたい。ステップの他のシーケンスもまた、代替実施形態に従って行われてもよい。例えば、本発明の代替実施形態は、異なる順序で上記で概略されたステップを行ってもよい。さらに、図１に図示される個々のステップは、個々のステップに対して必要に応じて種々のシーケンスで行われ得る、複数のサブステップを含んでもよい。さらに、付加的ステップが、特定の用途に応じて、追加または除去されてもよい。当業者は、多くの変形例、修正、および代替を認識するであろう。
図２は、本発明のある実施形態による、捕捉された奥行マップの複数のフレームを使用して、場面の３Ｄメッシュを生成するための方法を図示する、簡略化されたフローチャートである。図２に図示される方法は、形状認識３Ｄ再構成方法およびシステムの使用によって再構成された３Ｄメッシュを捕捉された奥行マップから生成するためのプロセスと見なされることができる。
図２を参照すると、方法２００は、捕捉された奥行マップのセットを受信するステップ（２１０）を含む。図１に関連して議論されるように、捕捉された奥行マップのセットは、奥行マップ、奥行マップの処理されたバージョンとして受信される、または他の画像から生成され、捕捉された奥行マップのセットを提供することができる。本方法はまた、初期カメラ姿勢推定を行うステップ（２１２）と、捕捉された奥行マップのセットを基準フレーム内にオーバーレイするステップ（２１４）とを含む。初期カメラ姿勢推定では、奥行マップが、オーバーレイされ、隣接および／または重複ピクセルの位置の差異が、低減されるかまたは最小限にされる。いったん基準フレーム内のピクセルの位置が調節されると、カメラ姿勢は、調節および／または更新され、カメラ姿勢と調節されるピクセル位置を整合させ、初期カメラ姿勢推定を提供する。
捕捉された奥行マップのセットの本初期精緻化の間、カメラ姿勢の初期推定は、ある程度の不正確度を含むことが可能性として考えられる。その結果、オーバーレイされた奥行マップは、特に、構造特徴の領域内において、ある程度の不整合を呈し得る。故に、本発明の実施形態は、形状検出を整合されたカメラ姿勢に適用し、以下により完全に説明されるように、点群の点分布を使用して、顕著な特性を有し得る構造形状を検出する。図２に図示されるように、本方法は、捕捉された奥行マップのオーバーレイされたセット内の形状を検出するステップ（２１８）を含む。
図３は、本発明のある実施形態による、点群内に存在する形状を検出する方法を図示する、簡略化されたフローチャートである。点群は、捕捉された奥行マップのセットを基準フレーム内にオーバーレイすることによって形成されることができる。捕捉された奥行マップ、レンダリングされた奥行マップ、またはそれらの組み合わせに基づく、点群の形成に関連する付加的説明は、図９に関連して提供される。図３に図示される方法は、点群内に存在する扉枠、窓、壁角、壁端部、壁、家具、他の人工構造、および同等物等の構造を検出するために有用である。
カメラ姿勢は、判定されることができるが、カメラ姿勢と垂直基準フレームの関係は、既知ではない場合がある。いくつかの実施形態では、基準フレームのｚ－軸は、重力方向と整合されることができる。故に、方法３００は、点法線を使用して、点群と関連付けられた垂直方向を判定するステップ（３１０）を含む。特に、屋内場面に関して、壁および他の構造特徴の存在は、点群の垂直方向とも称される、点群と関連付けられた垂直方向を判定する際に使用されることができる。例えば、点群内の所与のピクセルに関して、所与のピクセルの近傍のピクセルは、所与のピクセルに関する法線ベクトルを判定するために分析される。本法線ベクトルは、点法線と称される。実施例として、壁の一部を表すピクセルに関して、近隣ピクセルは、概して、平面内にあるであろう。したがって、平面に対する法線ベクトルは、着目ピクセルに関する法線ベクトルを画定するために使用されることができる。
点群内のピクセルの一部または全部に関する法線ベクトルを前提として、法線ベクトルに直交する方向は、垂直方向を画定するであろう。言い換えると、法線ベクトルは、概して、平行な水平平面にあって、垂直方向は、これらの平行な水平平面に直交するであろう。
いくつかの実施形態では、垂直方向を判定するステップは、垂直方向を推定し、次いで、推定される垂直方向を精緻化するステップを含むが、これらのステップは、所望の垂直方向ベクトルを提供する、単一プロセスに組み合わせられることができる。当業者は、多くの変形例、修正、および代替を認識するであろう。
本方法はまた、垂直方向に直交する仮想平面を形成するステップ（３１２）と、点群内の点を垂直方向に直交する仮想平面上に投影させ、その投影統計を計算するステップ（３１４）とを含む。重力と整合される垂直方向を前提として、水平表面、例えば、部屋の床を表すであろう、垂直方向に直交する平面を画定することが可能である。垂直方向に直交する本平面は、用語「仮想平面」に加え、投影平面と称され得る。計算される投影統計の実施例は、点分布が仮想平面上の２次元位置毎に収集され得ることである。
点群内の点を垂直方向に直交する仮想平面上に投影させることによって、点群内の点は全て、２次元データセットとして表されることができる。本２次元データセットは、点のｘ－ｙ空間内の位置、ｘ－ｙ位置上に投影された点の高さ範囲、およびｘ－ｙ位置と関連付けられた点の密度を表すであろう。
ｘ－ｙ空間と称され得る、投影平面内の所与の位置に関して、所与の位置上に投影された点の密度は、所与の位置の上方の高さにおいて点群内に存在した点の数を表す。実施例として、壁内に扉を伴う壁を検討すると、壁の下方の位置における点の密度は、高く、扉枠に到達するまで、高密度で継続するであろう。投影平面上への投影は、壁の底部に沿って延びる線をもたらすであろう。扉枠の下方の位置に関する点の密度は、低いであろう（扉枠の上部および扉枠の上方の壁と関連付けられた点のみ）。いったん扉枠の他側に到達すると、密度は、再び増加するであろう。
投影平面上への点群の投影後、投影平面内の点の密度は、事実上、場面の間取を提供するであろう。投影平面内の各ピクセルは、特定のピクセル上に投影された特定のピクセルと関連付けられた点の数を示す、グレースケール値を有することができる。点分布を前提として、本方法はまた、線を投影統計から垂直壁として検出するステップ（３１６）を含む。投影統計は、投影画像の要素と見なされることができる。
したがって、本発明の実施形態は、２Ｄ仮想平面上の特定のｘ／ｙ場所上に投影された所定の数の点を含む、１つまたはそれを上回る投影統計を利用する。別の投影統計は、特定のｘ／ｙ場所上に投影された点に関する点法線の分布である。さらに、別の投影統計は、特定のｘ／ｙ場所上に投影された点の高さ範囲である。当業者は、多くの変形例、修正、および代替を認識するであろう。
投影統計および１つまたはそれを上回る検出された線に基づいて、本方法は、１つまたはそれを上回る形状（例えば、壁角、扉枠、扉、および同等物）を検出するステップ（３１８）を含む。１つまたはそれを上回る形状は、異なる形状（壁角および扉枠）または形状の複数の実施例（部屋内の異なる部分における２つの壁角）であることができる。本発明者らは、最も規則的な形状が壁と関連付けられると判定した。例えば、壁角は、２つの直交壁の接続であって、壁端部は、壁の端部であって、扉枠は、壁内の開口部である。点分布を分析することによって、これらの構造特徴が、識別および検出される。
本方法はまた、１つまたはそれを上回る検出された形状の寸法および位置を判定するステップ（３２０）を含む。各２次元位置上に投影された点の密度に加えて利用可能である、投影平面の上方の各２次元位置の点高さ分布が、検出された形状の垂直範囲または区域を判定するために使用されることができる。実施例として、２次元位置が、全高が７フィートを上回る、いくつかの点を有する場合、本２次元位置は、扉枠の下方にあって、扉枠の上部まで覆われておらず、次いで、扉枠の上方で凝集する可能性が高い。ヒストグラムが、２次元位置毎に作成されることができ、２次元位置上に投影された点は、投影平面の上方のその高さの関数としてヒストグラムに沿って配置される。
いくつかの実施形態では、１つまたはそれを上回る検出された形状の寸法および位置の判定は、各形状の初期寸法および位置の判定であって、これは、形状のタイプに応じてパラメータ化されることになる。例えば、２次元位置、方向、および垂直範囲が、壁の角に関して判定される。扉枠に関して、厚さおよび幅が、判定されることができる。扉に関して、高さおよび幅が、判定されることができる。
図３に図示される具体的ステップは、本発明のある実施形態による、点群内に存在する形状を検出する特定の方法を提供することを理解されたい。ステップの他のシーケンスもまた、代替実施形態に従って行われてもよい。例えば、本発明の代替実施形態は、異なる順序で上記で概略されたステップを行ってもよい。さらに、図３に図示される個々のステップは、個々のステップに対して必要に応じて種々のシーケンスで行われ得る、複数のサブステップを含んでもよい。さらに、付加的ステップが、特定の用途に応じて、追加または除去されてもよい。当業者は、多くの変形例、修正、および代替を認識するであろう。
再び図２を参照すると、点群（すなわち、捕捉された奥行画像のオーバーレイされたセット）内の形状が検出された後、本方法は、形状認識カメラ姿勢整合とも称される、形状認識カメラ姿勢推定を行うステップ（２１８）を含む。したがって、本発明の実施形態は、点群内で検出された形状の存在によって知らされ、それによって、制約として検出された形状で最適化される、奥行画像のセットのそれぞれと関連付けられたカメラ姿勢を提供する、第２のカメラ姿勢整合プロセスを行う。オーバーレイされた捕捉された奥行マップ間の重複に基づいて、カメラ姿勢を整合させることに加え、実施形態は、オーバーレイされた捕捉された奥行マップと検出された形状との間の重複に基づいて、カメラ姿勢を整合させる。奥行マップを検出された形状に整合させることによって、再構成された３Ｄメッシュは、追加された制約としての検出された形状の使用の結果として、より優れた正確度を有する。検出された形状を制約として使用することによって、システムを通して伝搬し得る誤差は、低減または排除され、改良された３Ｄメッシュ正確度をもたらす。
図４は、本発明のある実施形態による、形状認識カメラ姿勢整合を形成する方法を図示する、簡略化されたフローチャートである。図４に関連して議論される方法４００は、図２におけるプロセス２１８に関連して議論される形状認識カメラ姿勢整合を行う方法であることができる。以下に説明されるように、検出された形状は、カメラ姿勢推定の最適化において使用される。
方法４００は、捕捉された奥行マップのセットを受信するステップ（４１０）を含む。捕捉された奥行マップはそれぞれ、物理的カメラ姿勢と関連付けられる。本方法はまた、１つまたはそれを上回る検出された形状を受信するステップ（４１２）を含む。１つまたはそれを上回る検出された形状の各形状は、寸法および場所／配向によって特徴付けられる。本方法は、１つまたはそれを上回る検出された形状毎に３Ｄメッシュを作成するステップ（４１４）を含む。作成された形状メッシュの実施例は、図６Ａおよび図６Ｂに見られ得る。図６Ａに図示されるように、壁の端部の３Ｄメッシュが、示される。図６Ｂでは、扉枠の３Ｄメッシュが、示される。これらの形状は、図３に関連して議論される方法を使用して検出されることができる。図６Ｂに示されるように、扉枠メッシュは、複数の隣接三角形領域から成る。扉枠は、異なる高さ、幅、開口部幅、および同等物を有することができるが、扉枠の側面と上部との間の角度および他の特徴は、概して、規則的かつ予測可能であろう。扉枠または他の構造特徴と関連付けられた３Ｄメッシュは、図１におけるプロセス１１８から生じるメッシュと別個であろう。本明細書に説明されるように、形状認識立体融合は、形状認識再構成３Ｄメッシュを形成する際、構造特徴と関連付けられたメッシュを利用する。
本方法はまた、３Ｄメッシュ毎に、１つまたはそれを上回る仮想カメラをローカル基準フレーム内に作成するステップ（４１６）を含む。１つまたはそれを上回る仮想カメラは、検出された形状を参照して、ローカル基準フレーム内に作成される。所与の検出された形状に関して、仮想カメラは、検出された形状の基準フレーム内に位置付けられるであろう。検出された形状の位置および／または配向が調節される場合、仮想カメラは、一定位置を基準フレーム内に維持するように調節するであろう。検出された形状の寸法が変化する、例えば、扉枠厚が減少する場合、扉枠の両側上の仮想カメラは、扉枠厚の減少と連動して、相互により近接して引き寄せられるであろう。したがって、形状に関する３Ｄメッシュ内の全ての三角形は、少なくとも１つの仮想カメラによって視認されることができる。例えば、壁角に関して、１つの仮想カメラが、全三角形を網羅するために十分である一方、壁端部または扉枠に関して、少なくとも２つの仮想カメラが、典型的には、全三角形を網羅するために必要である。これらの仮想カメラは、それらが仮想カメラと関連付けられた検出された形状を有するため、特殊であることを理解されたい。
図６Ｂを参照すると、扉枠と関連付けられた３Ｄメッシュが、図示される。扉枠が、図２に関連して議論されるように検出された後、３Ｄメッシュが、図６Ｂに図示されるように、作成される。３Ｄメッシュに関する仮想カメラを作成するために、扉枠と関連付けられたレンダリングされた奥行マップが、図７Ａに図示されるように形成される。レンダリングされた奥行マップに基づいて、仮想カメラ７１０が、所定の位置および配向において作成されることができる。
図７Ａは、本発明のある実施形態による、扉枠の内部図と関連付けられたレンダリングされた奥行マップおよび関連付けられた仮想カメラを図示する、簡略化された概略図である。図７Ｂは、本発明のある実施形態による、扉枠の外部図と関連付けられたレンダリングされた奥行マップおよび関連付けられた仮想カメラを図示する、簡略化された概略図である。レンダリングされた奥行マップは、点群のサブセットである。点群は、奥行マップ（すなわち、奥行マップのフレーム）を組み合わせることによって形成される。点群は、捕捉された奥行マップ、レンダリングされた奥行マップ、または捕捉およびレンダリングされた奥行マップの組み合わせを組み合わせることによって形成されることができる。図７Ａおよび７Ｂを参照すると、レンダリングされた奥行マップは、構造（すなわち、扉枠）と関連付けられた奥行点のセットを含む。
扉枠の内側から見ると、レンダリングされた奥行マップ７０５は、扉枠を構成するピクセルから扉枠を含む奥行マップの一部のための仮想カメラ７１０までの距離を表すと見なされることができる。扉枠の外側から見ると、レンダリングされた奥行マップ７１５は、扉枠を構成するピクセルから扉枠を含む奥行マップの一部のための仮想カメラ７２０までの距離を表すと見なされることができる。レンダリングされた奥行マップ７１５の部分７１７は、いったん扉枠から外に開扉されると、開放扉を表す。
図７Ａに図示されるように、仮想カメラは、扉枠上に心合された位置であって、かつ所定の距離、例えば、扉枠から２メートルの位置に設置されることができる。したがって、異なる形状毎に、異なるカメラ位置および配向が、利用されることができる。
図７Ｃは、本発明のある実施形態による、２つの壁の角と関連付けられたレンダリングされた奥行マップおよび関連付けられた仮想カメラを図示する、簡略化された概略図である。２つの壁は、図示される実施形態では、９０°の角度で交わる。図７Ｃに図示されるように、仮想カメラ７３０は、２つの隣接する壁が交わる角上に心合される。
本方法はさらに、検出された形状毎に、奥行マップを各３Ｄメッシュの各仮想カメラから合成するステップ（４１８）を含む。言い換えると、検出された形状毎に、各仮想カメラからの奥行マップが、形状に関する３Ｄメッシュに基づいて合成されるであろう。したがって、実施形態は、各仮想カメラと関連付けられた奥行マップを提供する。
図８Ａは、本発明のある実施形態による、仮想カメラからレンダリングされた扉枠の内部図のレンダリングされた奥行マップを図示する、簡略化された概略図である。図８Ｂは、本発明のある実施形態による、仮想カメラからレンダリングされた扉枠の外部図のレンダリングされた奥行マップを図示する、簡略化された概略図である。これらの奥行マップでは、グレースケールが、奥行値を表すために使用される。図８Ｂに示されるように、扉は、奥行マップの左側に開放される。故に、開扉は、扉枠の左側の一部を遮る。扉枠および扉は、２つの異なる形状として処理され得ることを理解されたい。当業者は、多くの変形例、修正、および代替を認識するであろう。
図８Ａに示される奥行マップは、図７Ａに図示される仮想カメラ７１０と関連付けられる。図８Ｂに示される奥行マップは、図７Ｂに図示される仮想カメラ７２０と関連付けられる。
本方法はまた、カメラ姿勢および／または各検出された形状の寸法および位置の共最適化を行うステップ（４２０）を含む。各検出された形状の位置は、レンダリングされた奥行マップの姿勢と相関する。寸法は、類似する。これらのカメラ姿勢整合は、共最適化の一部として、プロセス４１４からのレンダリングされた奥行マップおよび捕捉された奥行マップ（例えば、受動または能動）を利用する。姿勢推定／精緻化とも称され得る、共最適化は、ＩＣＰベースの整合または他の技法を使用して行われることができる。着目すべきこととして、レンダリングされた奥行マップの姿勢も、随意に、本プロセスの一部として最適化される。
さらに、図４およびプロセス４１６に関連して提供される説明に対して、形状認識カメラ姿勢整合のプロセスは、以下のステップを含むことができる。
ステップ１：各フレーム－フレーム対間の最近傍点対を見つける。
ステップ２：各フレーム－形状対間の最近傍点対を見つける。
ステップ３：以下の目的関数を用いて、各フレームのＲ、Ｔと、各形状のＦ、Ｇ、およびＤとを共最適化する。
ステップ４：ステップ１から開始し、最適化が収束するまで反復する。
Figure 0007181977000001
目的関数では、第１の項は、捕捉された奥行マップ間の整合に関する。第２の項は、捕捉された奥行マップとレンダリングされた奥行マップ（すなわち、検出された形状）との間の整合に関する。第３および第４の項は、姿勢軌道が平滑であることを確実にすることに関する。
上記の方程式では、
ｉは、指数を各フレームに提供する。
ｊは、指数を相互フレームに提供する。
ｍは、指数を各最近傍点対に提供する。
ｐｉ（・）およびｑｊ（・）は、フレームｉからの奥行点ｐと、フレームｊからのその対応する最近傍奥行点ｑとを表す。
ｐｉ（・）およびｈｋ（・）は、フレームｉからの奥行点ｐと、形状ｋからのその対応する最近傍奥行点ｈとを表す。
ＲｉおよびＴｉは、フレームｉの回転および平行移動（すなわち、カメラ姿勢）に関する。
ＦｋおよびＧｋは、形状ｋの回転および平行移動（すなわち、カメラ姿勢）に関する。
Ｄｋは、形状ｋの寸法を規定する。
ｗは、各項の加重を表す。
カメラ姿勢の共最適化が行われた後、オリジナル奥行画像は、レンダリングされた奥行マップに整合され、したがって、１つまたはそれを上回る検出された形状にも同様に整合される。したがって、３Ｄメッシュ再構成のために使用される点群は、特に、顕著な形状および構造に近い領域内において、より正確かつ一貫するようになるであろう。検出された形状の有無別の点群整合の比較が、図９Ａおよび９Ｂに示される。図９Ａは、オーバーレイされた捕捉された奥行マップを図示する、簡略化された点群略図である。図９Ｂは、本発明の実施形態によって提供される形状認識方法を使用して、オーバーレイされた捕捉された奥行マップおよびレンダリングされた奥行マップを図示する、簡略化された点群略図である。点は、図９Ｂに示される画像に示されるように、形状認識カメラ姿勢推定とより良好に整合されることが観察され得る。
図４に図示される具体的ステップは、本発明のある実施形態による、形状認識カメラ姿勢整合を形成する特定の方法を提供することを理解されたい。ステップの他のシーケンスもまた、代替実施形態に従って行われてもよい。例えば、本発明の代替実施形態は、異なる順序で上記で概略されたステップを行ってもよい。さらに、図４に図示される個々のステップは、個々のステップに対して必要に応じて種々のシーケンスで行われ得る、複数のサブステップを含んでもよい。さらに、付加的ステップが、特定の用途に応じて、追加または除去されてもよい。当業者は、多くの変形例、修正、および代替を認識するであろう。
再び図２を参照すると、方法２００は、形状認識立体融合を行うステップ（２２０）と、形状認識立体融合技法を使用して、再構成された３Ｄメッシュを形成するステップ（２２２）とを含む。形状認識立体融合の実装に関連する付加的説明が、図５に関連して提供される。
本発明のある実施形態による、図２に図示される具体的ステップは、捕捉された奥行マップの複数のフレームを使用して、場面の３Ｄメッシュを生成する特定の方法を提供することを理解されたい。ステップの他のシーケンスもまた、代替実施形態に従って行われてもよい。例えば、本発明の代替実施形態は、異なる順序で上記で概略されたステップを行ってもよい。さらに、図２に図示される個々のステップは、個々のステップに対して必要に応じて種々のシーケンスで行われ得る、複数のサブステップを含んでもよい。さらに、付加的ステップが、特定の用途に応じて、追加または除去されてもよい。当業者は、多くの変形例、修正、および代替を認識するであろう。
図５は、本発明のある実施形態による、形状認識立体融合を行う方法を図示する、簡略化されたフローチャートである。本技法を適用する際、検出された形状が、利用され、他の方法におけるものより鮮鋭かつより鮮明な形状メッシュをもたらす。
方法５００は、最適化された形状寸法を用いて、検出された形状毎に形状メッシュを再作成するステップ（５１０）を含む。本方法はまた、奥行マップを各形状メッシュの各仮想カメラからレンダリングするステップ（５１２）と、捕捉された奥行マップおよびレンダリングされた奥行マップを用いて、共立体融合を行うステップ（５１４）とを含む。
共立体融合（５１４）は、最初に、「複合モデルを距離画像から構築するための立体方法」において導入された、立体融合の基本作業に加えて展開される。より具体的には、ボクセルの３Ｄグリッドに均一に細分割された３Ｄ体積が、最初に、作成され、これは、捕捉された面積の３Ｄ物理空間にマップされる。本立体表現の各ボクセルは、実際の表面までの相対的距離を規定する値を保持するであろう。これらの値は、実際の表面の正面では正となり、背後では負となり、したがって、本立体表現は、３Ｄ表面、すなわち、値が符号を変化させる場所を暗示的に記述する。立体融合は、捕捉された奥行マップのセットを本立体表現に変換することができる。各ボクセル内の距離値、すなわち、切り捨て符号付距離関数（ＴＳＤＦ）は、以下のように算出される。
Figure 0007181977000002
式中、
ｖは、ボクセルの位置である。
ｔｓｄｆ（ｖ）は、ボクセルの相対的距離値である。
Ｐｒｏｊｉ（ｖ）は、捕捉された奥行マップｉ上のｖの投影である。
ｗｉ ｖは、捕捉された奥行マップｉ上に投影させるボクセルｖのための加重である。
Ｄｉ（・）は、捕捉された奥行マップｉである。
Ｔｉは、カメラｉの位置である。
ｗｉ ｖは、（１）ボクセルｖがカメラｉの円錐台の外側にある場合、または（２）
Figure 0007181977000003
が所定の切り捨て距離Ｍを上回る場合、常時、ゼロに設定されるであろう。他の場合に関して、ｗｉ ｖは、１または捕捉された奥行マップ内の対応する点の信頼値に設定されることができる。
本発明の実施形態に従って行われる形状認識立体融合に関して、切り捨て符号付距離関数が、捕捉された奥行マップおよびレンダリングされた奥行マップ（すなわち、検出された形状）の両方から算出される。
Figure 0007181977000004
式中、
Ｄｉ（・）は、レンダリングされた奥行マップｓである。
Ｇｉは、仮想カメラの位置ｓである。
ｗｓ ｖは、同様に、（１）ボクセルｖがカメラｓの円錐台の外側にある場合、または（２）
Figure 0007181977000005
が所定の切り捨て距離Ｍを上回る場合、ゼロに設定されるであろう。ゼロではないとき、ｗｓ ｖは、レンダリングされた奥行マップからの点が優勢となるであろうように、捕捉された奥行マップのｗｉ ｖ（すなわち、１）より大きい値（すなわち、２０）に設定される。いくつかの実施形態はまた、検出された形状の境界により近づく点に関して、ｗｓ ｖの値を徐々に減少させる（すなわち、２０から１）。境界の周囲の加重の減少は、より鮮鋭である、検出された形状から、捕捉された奥行マップを使用して生成されたオリジナルメッシュへの平滑遷移を作成する。
形状認識立体融合後、最終メッシュ内の主要構造（例えば、扉枠、壁角、壁端部等）は、はるかに鮮鋭かつ鮮明になるであろう。
図５に図示される具体的ステップは、本発明のある実施形態による、形状認識立体融合を行う特定の方法を提供することを理解されたい。ステップの他のシーケンスもまた、代替実施形態に従って行われてもよい。例えば、本発明の代替実施形態は、異なる順序で上記で概略されたステップを行ってもよい。さらに、図５に図示される個々のステップは、個々のステップに対して必要に応じて種々のシーケンスで行われ得る、複数のサブステップを含んでもよい。さらに、付加的ステップが、特定の用途に応じて、追加または除去されてもよい。当業者は、多くの変形例、修正、および代替を認識するであろう。
図１０Ａは、図１に関連して説明される方法を使用して再構成された第１の再構成された３Ｄメッシュを示す、画像である。図１０Ｂは、図２に関連して説明される方法を使用して再構成された第２の再構成された３Ｄメッシュを示す、画像である。したがって、図１０Ａおよび１０Ｂは、それぞれ、形状認識３Ｄ再構成技法の有無別の再構成された３Ｄメッシュの比較を提供する。
壁内の扉を表す、図１０Ａに示される画像では、再構成された３Ｄメッシュは、扉脇柱の左縁に沿って、および扉脇柱の右縁に沿って、うねりを含む。図１０Ａに示される同一扉を図示する、図１０Ｂに示される画像では、形状認識３Ｄメッシュ再構成は、はるかに鮮明かつ正確な出力を生成する。扉脇柱の左縁を検討すると、壁は、視認者に向かって外にたわんで見える。物理的場面を正確に表していない、本たわみは、推定カメラ姿勢における誤差から生じる可能性が最も高い。
図１０Ｂに示されるように、扉枠形状からメッシュの残りへの遷移は、より平滑かつより明白に、直線垂直扉脇柱によって画定された。したがって、屋内場面に関して、本発明の実施形態は、視覚的に好ましく、かつ正確な３Ｄメッシュ再構成を提供する。
図１１Ａは、図１に関連して説明される方法を使用して再構成された第３の再構成された３Ｄメッシュを示す、画像である。図１１Ｂは、図２に関連して説明される方法を使用して再構成された第４の再構成された３Ｄメッシュを示す、画像である。したがって、図１１Ａおよび１１Ｂは、それぞれ、形状認識３Ｄ再構成技法の有無別の再構成された３Ｄメッシュの比較を提供する。
凹所内のブースおよびテーブルを表す、図１１Ａに示される画像では、再構成された３Ｄメッシュは、凹所の左側を構成する壁の端部におけるうねりおよび凹所の右側を構成する壁の端部におけるうねりを含む。加えて、凹所の上方の壁は、うねりおよび非均一性をベンチの上方の壁の左側に呈する。図１１Ａに示されるものと同の一凹所、ベンチ、およびテーブルを図示する、図１１Ｂに示される画像では、形状認識３Ｄメッシュ再構成は、はるかに鮮明かつ正確な出力を生成する。特に、凹所の右縁を構成する壁は、図１１Ａにおいて次の凹所の中に延在して見える。しかしながら、図１１Ｂでは、左壁の右側は、平坦であって、鮮明な壁端部を伴い、隣接する凹所を明確に分離し、物理的場面を正確に表す。
図１２は、本発明のある実施形態による、奥行画像を使用して３Ｄメッシュを再構成するためのシステムを図示する、簡略化された概略図である。本システムは、一連の捕捉された奥行マップを収集するために使用され得る、奥行カメラ１２２０を含む。本実施例では、第１の奥行マップは、位置１における奥行カメラを用いて、場面１２１０から捕捉され、第２の奥行マップは、カメラが位置２に位置付けられるときに、場面１２１０から捕捉される（１２２２）。
捕捉された奥行マップのセットは、奥行カメラと統合される、またはそれと別個であり得る、コンピュータシステム１２３０に伝送される。コンピュータシステムは、本明細書に説明される算出方法を行い、ディスプレイ１２３２を通したユーザへの表示のために、場面１２１０の再構成された３Ｄメッシュを生成するように動作可能である。再構成された３Ｄメッシュは、表示、記憶、または同等物のために、Ｉ／Ｏインターフェース１２４０を通して、他のシステムに伝送されることができる。当業者は、多くの変形例、修正、および代替を認識するであろう。
図１３は、実施形態を組み込む、実施形態の中に組み込まれる、または本開示内で見出される革新、実施形態、および／または実施例のいずれかを実践するために使用され得る、コンピュータシステムまたは情報処理デバイスのブロック図である。
図１３は、コンピュータシステム１３００のブロック図である。図１３は、単なる例証である。いくつかの実施形態では、コンピュータシステムは、単一コンピュータ装置を含み、サブシステムは、コンピュータ装置のコンポーネントであることができる。他の実施形態では、コンピュータシステムは、複数のコンピュータ装置を含むことができ、それぞれ、内部コンポーネントを伴う、サブシステムである。コンピュータシステム１３００およびそのコンポーネントまたはサブシステムのいずれかは、本明細書に説明される方法を行うために構成される、ハードウェアおよび／またはソフトウェア要素を含むことができる。
コンピュータシステム１３００は、１つまたはそれを上回るデータプロセッサまたは中央処理ユニット（ＣＰＵ）１３０５、１つまたはそれを上回るグラフィックプロセッサまたはグラフィカル処理ユニット（ＧＰＵ）１３１０、メモリサブシステム１３１５、記憶サブシステム１３２０、１つまたはそれを上回る入力／出力（Ｉ／Ｏ）インターフェース１３２５、通信インターフェース１３３０、または同等物等の一般的コンピュータコンポーネントを含んでもよい。コンピュータシステム１３００は、前述のコンポーネントを相互接続し、デバイス間通信としてのコネクティビティ等の機能性を提供する、システムバス１３３５を含むことができる。
１つまたはそれを上回るデータプロセッサまたは中央処理ユニット（ＣＰＵ）１３０５は、特定用途向け機能性を提供するための論理またはプログラムコードを実行することができる。ＣＰＵ１３０５のいくつかの実施例は、１つまたはそれを上回るマイクロプロセッサ（例えば、単一コアおよびマルチコア）またはマイクロコントローラ、１つまたはそれを上回るフィールドゲートプログラマブルアレイ（ＦＰＧＡＳ）、および特定用途向け集積回路（ＡＳＩＣ）を含むことができる。本明細書で使用されるように、プロセッサは、同一統合チップ上のマルチコアプロセッサまたは単一回路基板上のまたはネットワーク化される複数の処理ユニットを含む。
１つまたはそれを上回るグラフィックプロセッサまたはグラフィカル処理ユニット（ＧＰＵ）１３１０は、グラフィックと関連付けられた、またはグラフィック特有の機能性を提供するための論理またはプログラムコードを実行することができる。ＧＰＵ１３１０は、従来のビデオカードによって提供されるもの等、任意の従来のグラフィック処理ユニットを含んでもよい。種々の実施形態では、ＧＰＵ１３１０は、１つまたはそれを上回るベクトルまたはパラレル処理ユニットを含んでもよい。これらのＧＰＵは、ユーザプログラム可能であって、具体的タイプのデータ（例えば、ビデオデータ）をエンコード／デコードするため、または２Ｄまたは３Ｄ描画動作、テクスチャ化動作、陰影動作、または同等物を加速させるためのハードウェア要素を含んでもよい。１つまたはそれを上回るグラフィックプロセッサまたはグラフィカル処理ユニット（ＧＰＵ）１３１０は、任意の数のレジスタ、論理ユニット、算術ユニット、キャッシュ、メモリインターフェース、または同等物を含んでもよい。
メモリサブシステム１３１５は、例えば、機械可読物品、情報記憶デバイス、またはコンピュータ可読記憶媒体を使用して、情報を記憶することができる。いくつかの実施例は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭＳ）、揮発性メモリ、不揮発性メモリ、および他の半導体メモリを含むことができる。メモリサブシステム１３１５は、データおよびプログラムコード１３４０を含むことができる。
記憶サブシステム１３２０もまた、機械可読物品、情報記憶デバイス、またはコンピュータ可読記憶媒体を使用して、情報を記憶することができる。記憶サブシステム１３２０は、記憶媒体１３４５を使用して、情報を記憶してもよい。記憶サブシステム１３２０によって使用される記憶媒体１３４５のいくつかの実施例は、フロッピー（登録商標）ディスク、ハードディスク、光学記憶媒体、例えば、ＣＤ－ＲＯＭＳ、ＤＶＤ、およびバーコード、可撤性記憶デバイス、ネットワーク化記憶デバイス、または同等物を含むことができる。いくつかの実施形態では、データおよびプログラムコード１３４０の全部または一部は、記憶サブシステム１３２０を使用して記憶されてもよい。
１つまたはそれを上回る入力／出力（Ｉ／Ｏ）インターフェース１３２５が、Ｉ／Ｏ動作を行うことができる。１つまたはそれを上回る入力デバイス１３５０および／または１つまたはそれを上回る出力デバイス１３５５は、１つまたはそれを上回るＩ／Ｏインターフェース１３２５に通信可能に結合されてもよい。１つまたはそれを上回る入力デバイス１３５０は、情報をコンピュータシステム１３００のための１つまたはそれを上回るソースから受信することができる。１つまたはそれを上回る入力デバイス１３５０のいくつかの実施例は、コンピュータマウス、トラックボール、追跡パッド、ジョイスティック、無線遠隔装置、描画タブレット、音声コマンドシステム、眼追跡システム、外部記憶システム、タッチスクリーンとして適切に構成されるモニタ、送受信機として適切に構成される通信インターフェース、または同等物を含んでもよい。種々の実施形態では、１つまたはそれを上回る入力デバイス１３５０は、コンピュータシステム１３００のユーザが、１つまたはそれを上回る非グラフィカルまたはグラフィカルユーザインターフェースと相互作用し、コマンド、ボタンのクリック、または同等物を介して、コメントを入力すること、モニタ／ディスプレイデバイス上に現れるオブジェクト、アイコン、テキスト、ユーザインターフェースウィジェット、または他のユーザインターフェース要素を選択することを可能にしてもよい。
１つまたはそれを上回る出力デバイス１３５５は、情報をコンピュータシステム１３００のための１つまたはそれを上回る宛先に出力することができる。１つまたはそれを上回る出力デバイス１３５５のいくつかの実施例は、プリンタ、ファックス、マウスまたはジョイスティックのためのフィードバックデバイス、外部記憶システム、モニタまたは他のディスプレイデバイス、送受信機として適切に構成される通信インターフェース、または同等物を含むことができる。１つまたはそれを上回る出力デバイス１３５５は、コンピュータシステム１３００のユーザが、オブジェクト、アイコン、テキスト、ユーザインターフェースウィジェット、または他のユーザインターフェース要素を視認することを可能にしてもよい。ディスプレイデバイスまたはモニタは、コンピュータシステム１３００と併用されてもよく、情報を表示するために構成される、ハードウェアおよび／またはソフトウェア要素を含むことができる。
通信インターフェース１３３０は、データの送受信を含む、通信動作を行うことができる。通信インターフェース１３３０のいくつかの実施例は、ネットワーク通信インターフェース（例えば、Ｅｔｈｅｒｎｅｔ（登録商標）、Ｗｉ－Ｆｉ等）を含んでもよい。例えば、通信インターフェース１３３０は、コンピュータネットワーク、ＵＳＢハブ、または同等物等の通信ネットワーク／外部バス１３６０に結合されてもよい。コンピュータシステムは、例えば、通信インターフェース１３３０または内部インターフェースによってともに接続される、複数の同一コンポーネントまたはサブシステムを含むことができる。いくつかの実施形態では、コンピュータシステム、サブシステム、または装置は、ネットワークを経由して通信することができる。そのような事例では、１つのコンピュータは、クライアントと見なされ、別のコンピュータは、サーバと見なされることができ、それぞれ、同一コンピュータシステムの一部であることができる。クライアントおよびサーバはそれぞれ、複数のシステム、サブシステム、またはコンポーネントを含むことができる。
コンピュータシステム１３００はまた、本明細書に開示される技法を実行する、行う、または別様に実装するために、プロセッサによって実行されるべき１つまたはそれを上回るアプリケーション（例えば、ソフトウェアコンポーネントまたは機能）を含んでもよい。これらのアプリケーションは、データおよびプログラムコード１３４０として具現化されてもよい。加えて、コンピュータプログラム、実行可能コンピュータコード、人間可読ソースコード、シェーダコード、レンダリングエンジン、または同等物、およびデータ、例えば、画像ファイル、オブジェクトの幾何学的記述、オブジェクトの順序付けされた幾何学的記述、モデルの手続的記述を含む、モデル、場面記述子ファイル、または同等物が、メモリサブシステム１３１５および／または記憶サブシステム１３２０内に記憶されてもよい。
そのようなプログラムはまた、インターネットを含む、種々のプロトコルに準拠する有線、光学、および／または無線ネットワークを介した伝送のために適合される搬送波信号を使用して、エンコードおよび伝送されてもよい。したがって、本発明のある実施形態によるコンピュータ可読媒体は、そのようなプログラムでエンコードされたデータ信号を使用して作成されてもよい。プログラムコードでエンコードされたコンピュータ可読媒体は、互換性があるデバイスとともにパッケージ化されてもよい、または他のデバイスと別個に提供されてもよい（例えば、インターネットダウンロードを介して）。任意のそのようなコンピュータ可読媒体は、単一コンピュータ製品（例えば、ハードドライブ、ＣＤ、またはコンピュータシステム全体）上または内部に常駐してもよく、システムまたはネットワーク内の異なるコンピュータ製品上または内部に存在してもよい。コンピュータシステムは、本明細書で述べられた結果のいずれかをユーザに提供するために、モニタ、プリンタ、または他の好適なディスプレイを含んでもよい。
本明細書に説明される方法のいずれかは、ステップを行うように構成されることができる、１つまたはそれを上回るプロセッサを含む、コンピュータシステムを用いて全体的または部分的に行われてもよい。したがって、実施形態は、潜在的に、個別のステップまたはステップの個別の群を行う異なるコンポーネントを用いて、本明細書に説明される方法のいずれかのステップを行うように構成されるコンピュータシステムを対象とすることができる。番号が付与されたステップとして提示されるが、本明細書の方法ステップは、同時または異なる順序で行われることができる。加えて、これらのステップの一部は、他の方法からの他のステップの一部と併用されてもよい。また、ステップの全部または一部は、随意であってもよい。加えて、方法のいずれかのステップのいずれかは、これらのステップを行うためのモジュール、回路、または他の手段を用いて行われることができる。
本発明の種々の実施形態を上記で説明したが、それらは、限定ではなく一例のみとして提示されていることを理解されたい。同様に、種々の図面は、本開示のための例示的な構造上または他の構成例を表してもよく、これは、本開示に含まれ得る特徴および機能性を理解するのに役立つように行われる。本開示は、図示された基本設計概念または構成例に制限されず、種々の代替的な基本設計概念および構成を使用して実装することができる。加えて、本開示は、種々の例示的実施形態および実装の観点から上記で説明されるが、個別の実施形態のうちの１つまたはそれを上回るものに説明される種々の特徴および機能性は、それらの適用性において、それらが説明される特定の実施形態に限定されないことを理解されたい。代わりに、それらは単独またはいくつかの組み合わせにおいて、本開示の他の実施形態のうちの１またはそれを上回るものに適用可能であり得、そのような実施形態が説明されるかどうかにかかわらず、そしてそのような特徴が説明されるかどうかにかかわらず、実施形態の一部であるとして提示される。このように、本開示の範疇および範囲は、前述の例示的実施形態のいずれによっても限定されるべきではない。
本書では、本明細書で使用されるような「モジュール」という用語は、本明細書で説明される関連機能を果たすためのソフトウェア、ファームウェア、ハードウェア、およびこれらの要素の任意の組み合わせを指す。加えて、論議の目的で、種々のモジュールは、離散モジュールとして説明されるが、当業者には明白となるように、本発明の実施形態による関連機能を果たす単一モジュールを形成するように、２つまたはそれを上回るモジュールが組み合わされてもよい。
明確化の目的のために、上記の説明は、異なる機能ユニットおよびプロセッサを参照して本発明の実施形態を説明していることが理解されるであろう。しかしながら、異なる機能ユニット、プロセッサ、またはドメインの間での機能性の任意の好適な分散が、本発明から逸脱することなく使用されてもよいことが明白となるであろう。例えば、別個のプロセッサまたはコントローラによって果たされるように例示される機能性は、同じプロセッサまたはコントローラによって果たされてもよい。したがって、特定の機能ユニットの参照は、厳密な論理または物理構造または編成を示すのではなく、説明された機能性を提供するための好適な手段の参照にすぎないと考えられる。
本書で使用される用語および語句およびそれらの変化例は、特に明記されない限り、限定的ではなく非限定的に解釈されるべきである。前述の例として、「含む」という用語は、「限定ではないが、～を含む」または同等物等を意味するものとして解釈されるべきであり、「実施例」という用語は、その包括的または限定的リストではなく、検討されている項目の例示的事例を提供するために使用され、「従来の」、「伝統的な」、「通常の」、「標準の」、「公知の」等の形容詞、および同様の意味の用語は、説明される項目を、所与の期間に、または所与の時点で利用可能な項目に限定するものとして解釈されるべきではない。しかし、代わりに、これらの用語は、現在または将来の任意の時点で、利用可能であり、公知であり得る、従来、伝統的、通常、または標準の技術を包含すると解釈されるべきである。同様に、「および」という接続詞で連結される項目群は、これらの項目のうちのそれぞれおよびあらゆるものが群に存在することを要求するものとして読まれるべきではなく、特に明記されない限り、むしろ「および／または」として解釈されるべきである。同様に、「または」という接続詞で連結される項目群は、その群の中で相互排他性を要求するものとして解釈されるべきではなく、特に明記されない限り、むしろ「および／または」として解釈されるべきである。さらに、本開示の項目、要素、またはコンポーネントは、単数形で説明または請求される場合があるが、単数形への限定が明示的に記述されない限り、複数形がその範囲内であると考えられる。いくつかの場合における「１つまたはそれを上回る」、「少なくとも」、「しかし～に制限されない」、または他の類似語句等の拡大する単語および語句の存在は、そのような拡大語句が存在しない場合の事例において、より狭義の事例が意図される、または要求されることを意味すると解釈されるべきではない。
また、本明細書に説明される実施例および実施形態は、例証目的のためだけのものであって、それに照らした種々の修正または変更が、当業者に示唆され、本願の精神および範囲および添付の請求項の範囲内に含まれるものとすることを理解されたい。

Claims (10)

  1. カメラ姿勢を更新する方法であって、前記方法は、
    １つまたはそれを上回るプロセッサにおいて、捕捉された奥行マップのセットを受信することであって、前記捕捉された奥行マップはそれぞれ、物理的カメラ姿勢と関連付けられ、前記捕捉された奥行マップのセットは、場面を含む、ことと、
    前記１つまたはそれを上回るプロセッサを使用して、前記場面内に存在する第１の形状および第２の形状を検出することであって、前記第１の形状は、第１の寸法および／または第１の場所／配向によって特徴付けられ、前記第２の形状は、第２の寸法および／または第２の場所／配向によって特徴付けられる、ことと、
    前記１つまたはそれを上回るプロセッサを使用して、前記第１の形状に関する第１の３Ｄメッシュを作成することと、
    前記１つまたはそれを上回るプロセッサを使用して、前記第１の３Ｄメッシュと関連付けられた第１の仮想カメラを第１のローカル基準フレーム内に作成することと、
    前記１つまたはそれを上回るプロセッサを使用して、第１の奥行マップをレンダリングすることであって、前記第１の奥行マップは、前記第１の仮想カメラと関連付けられる、ことと、
    前記１つまたはそれを上回るプロセッサを使用して、前記第２の形状に関する第２の３Ｄメッシュを作成することと、
    前記１つまたはそれを上回るプロセッサを使用して、前記第２の３Ｄメッシュと関連付けられた第２の仮想カメラを第２のローカル基準フレーム内に作成することと、
    前記１つまたはそれを上回るプロセッサを使用して、第２の奥行マップをレンダリングすることであって、前記第２の奥行マップは、前記第２の仮想カメラと関連付けられる、ことと、
    前記１つまたはそれを上回るプロセッサを使用して、捕捉された奥行マップのサブセットを識別することであって、前記サブセット内の前記捕捉された奥行マップはそれぞれ、少なくとも、前記第１の形状の第１の部分または前記第２の形状の第２の部分を含む、ことと、
    前記捕捉された奥行マップのサブセットと関連付けられた前記物理的カメラ姿勢を、前記１つまたはそれを上回るプロセッサを使用して、前記第１の奥行マップ、前記第２の奥行マップ、および前記捕捉された奥行マップのセットのサブセット間の整合を最適化することによって、前記第１の寸法および第１の場所／配向、前記第２の寸法および第２の場所／配向、ならびに前記物理的カメラ姿勢に対する前記第１の形状および前記第２の形状を共に解くことによって、更新することにより、更新された物理的カメラ姿勢を提供することと
    を含む、方法。
  2. 前記第１の形状および前記第２の形状を検出することは、
    前記１つまたはそれを上回るプロセッサを使用して、点群内の複数のピクセルに対して、前記複数のピクセルの各々に対する近隣ピクセルの点法線によって前記複数のピクセルの各々に対して画定される複数の水平平面を決定することと、
    １つまたはそれを上回るプロセッサを使用して、前記複数の水平平面に垂直であるベクトルを算出することであって、前記ベクトルは、前記点群と関連付けられた垂直方向を画定する、ことと、
    前記１つまたはそれを上回るプロセッサを使用して、前記垂直方向に直交する仮想平面を形成することと、
    前記１つまたはそれを上回るプロセッサを使用して、前記点群の点を前記仮想平面上に投影させることにより、前記仮想平面内の所定の位置と関連付けられた前記点群の点の数を表す２次元データセットを生成することと、
    前記１つまたはそれを上回るプロセッサを使用して、前記点群の点に関する投影統計を計算することと、
    前記１つまたはそれを上回るプロセッサを使用して、複数の線を前記計算された投影統計から検出することであって、前記複数の線は、垂直壁と関連付けられる、ことと、
    前記１つまたはそれを上回るプロセッサを使用して、前記第１の形状および前記第２の形状を前記投影統計および前記複数の検出された線から検出することと
    を含む、請求項１に記載の方法。
  3. 前記捕捉された奥行マップのサブセットと関連付けられた前記物理的カメラ姿勢は、第１の物理的カメラ姿勢および第２の物理的カメラ姿勢を含み、前記第１の物理的カメラ姿勢は、前記捕捉された奥行マップのサブセットのうちの第１の捕捉された奥行マップと関連付けられ、前記第２の物理的カメラ姿勢は、前記捕捉された奥行マップのサブセットのうちの第２の捕捉された奥行マップと関連付けられ、前記第１の捕捉された奥行マップは、前記第１の奥行マップの一部に対応し、前記第２の捕捉された奥行マップは、前記第２の奥行マップの一部に対応する、請求項１に記載の方法。
  4. 前記第１の奥行マップ、前記第２の奥行マップ、および前記捕捉された奥行マップのサブセット間の整合を最適化することは、
    前記第１の奥行きマップと前記第２の奥行きマップとの間の整合を最適化することと、
    前記第１の奥行マップと前記捕捉された奥行マップのサブセットとの間の整合を最適化することと、
    前記第２の奥行マップと前記捕捉された奥行マップのサブセットとの間の整合を最適化することと
    を含む、請求項１に記載の方法。
  5. 前記第１の形状に関する前記第１の３Ｄメッシュは、複数の三角形を備え、前記複数の三角形の少なくとも一部分は、前記第１の仮想カメラの視野内にある、請求項１に記載の方法。
  6. 前記１つまたはそれを上回るプロセッサを使用して、前記第１の３Ｄメッシュと関連付けられた第３の仮想カメラを作成することをさらに含み、前記複数の三角形の第２の部分は、前記第３の仮想カメラの第２の視野内にあり、前記複数の三角形の各三角形は、前記第１の視野および前記第２の視野のうちの少なくとも１つの視野内にある、請求項５に記載の方法。
  7. 前記第１のローカル基準フレームは、前記第１の形状の第１の基準フレームを含む、請求項１に記載の方法。
  8. 前記第２のローカル基準フレームは、前記第２の形状の第２の基準フレームを含む、請求項１に記載の方法。
  9. 前記捕捉された奥行マップのセットは、場面に対して異なる位置から得られる、請求項１に記載の方法。
  10. 前記捕捉された奥行マップのセットは、異なる時間において、場面に対して単一位置から得られる、請求項１に記載の方法。
JP2021147477A 2015-09-25 2021-09-10 ３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム Active JP7181977B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562232833P 2015-09-25 2015-09-25
US62/232,833 2015-09-25
JP2018514855A JP6944441B2 (ja) 2015-09-25 2016-09-23 ３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018514855A Division JP6944441B2 (ja) 2015-09-25 2016-09-23 ３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム

Publications (2)

Publication Number Publication Date
JP2021185542A JP2021185542A (ja) 2021-12-09
JP7181977B2 true JP7181977B2 (ja) 2022-12-01

Family

ID=58387454

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018514855A Active JP6944441B2 (ja) 2015-09-25 2016-09-23 ３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム
JP2021147477A Active JP7181977B2 (ja) 2015-09-25 2021-09-10 ３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018514855A Active JP6944441B2 (ja) 2015-09-25 2016-09-23 ３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム

Country Status (9)

Country Link
US (3) US10559127B2 (ja)
EP (2) EP3975121A1 (ja)
JP (2) JP6944441B2 (ja)
KR (2) KR102653808B1 (ja)
CN (2) CN114863059A (ja)
AU (2) AU2016327985B2 (ja)
CA (1) CA2996009A1 (ja)
IL (2) IL291685B2 (ja)
WO (1) WO2017053821A1 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6944441B2 (ja) 2015-09-25 2021-10-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム
US10573018B2 (en) * 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
CA3042554C (en) 2016-11-16 2023-07-18 Magic Leap, Inc. Multi-resolution display assembly for head-mounted display systems
CN108694740A (zh) * 2017-03-06 2018-10-23 索尼公司 信息处理设备、信息处理方法以及用户设备
CA3057109A1 (en) 2017-03-22 2018-09-27 Magic Leap, Inc. Depth based foveated rendering for display systems
EP3602399B1 (en) 2017-03-24 2022-10-05 Magic Leap, Inc. Accumulation and confidence assignment of iris codes
US10979687B2 (en) * 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
US20230107110A1 (en) * 2017-04-10 2023-04-06 Eys3D Microelectronics, Co. Depth processing system and operational method thereof
CN109559271B (zh) * 2017-09-26 2023-02-28 富士通株式会社 对深度图像进行优化的方法和装置
US10594917B2 (en) 2017-10-30 2020-03-17 Microsoft Technology Licensing, Llc Network-controlled 3D video capture
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
US10460512B2 (en) * 2017-11-07 2019-10-29 Microsoft Technology Licensing, Llc 3D skeletonization using truncated epipolar lines
KR102557356B1 (ko) 2017-12-22 2023-07-18 매직 립, 인코포레이티드 가상, 증강 또는 혼합 현실 환경에서 3d 비디오들을 생성 및 디스플레이하기 위한 방법들 및 시스템
JP2019159910A (ja) * 2018-03-14 2019-09-19 国立大学法人豊橋技術科学大学 三次元画像分類装置および三次元画像分類方法
CN112136094A (zh) 2018-03-16 2020-12-25 奇跃公司 用于显示系统的基于深度的凹式渲染
US10930001B2 (en) * 2018-05-29 2021-02-23 Zebra Technologies Corporation Data capture system and method for object dimensioning
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
WO2020014700A1 (en) 2018-07-13 2020-01-16 Magic Leap, Inc. Systems and methods for display binocular deformation compensation
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
US10957112B2 (en) 2018-08-13 2021-03-23 Magic Leap, Inc. Cross reality system
WO2020072985A1 (en) 2018-10-05 2020-04-09 Magic Leap, Inc. Rendering location specific virtual content in any location
US11127166B2 (en) * 2019-03-01 2021-09-21 Tencent America LLC Method and apparatus for enhanced patch boundary identification for point cloud compression
US11170526B2 (en) 2019-03-26 2021-11-09 Samsung Electronics Co., Ltd. Method and apparatus for estimating tool trajectories
JP7423659B2 (ja) 2019-05-20 2024-01-29 マジック リープ， インコーポレイテッド 眼姿勢を推定するためのシステムおよび技法
CN110147775B (zh) * 2019-05-24 2021-05-18 北京建筑大学 利用细化空间分隔法从点云提取室内导航元素的方法
KR102156336B1 (ko) * 2019-07-01 2020-09-15 서울대학교산학협력단 3차원 형상 재현 방법
US20220301217A1 (en) * 2019-07-05 2022-09-22 Magic Leap, Inc. Eye tracking latency enhancements
US11928399B1 (en) * 2019-09-24 2024-03-12 Zoox, Inc. Simulating object occlusions
CN114586071A (zh) 2019-10-15 2022-06-03 奇跃公司 支持多设备类型的交叉现实系统
US11568605B2 (en) 2019-10-15 2023-01-31 Magic Leap, Inc. Cross reality system with localization service
JP2022551735A (ja) 2019-10-15 2022-12-13 マジック リープ， インコーポレイテッド 無線フィンガプリントを用いたクロスリアリティシステム
JP2023501952A (ja) 2019-10-31 2023-01-20 マジック リープ， インコーポレイテッド 持続座標フレームについての品質情報を伴うクロスリアリティシステム
JP7525603B2 (ja) 2019-11-12 2024-07-30 マジック リープ， インコーポレイテッド 位置特定サービスおよび共有場所ベースのコンテンツを伴うクロスリアリティシステム
EP4073763A4 (en) 2019-12-09 2023-12-27 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH SIMPLIFIED PROGRAMMING OF VIRTUAL CONTENT
JP2023504207A (ja) 2019-12-09 2023-02-01 マジック リープ， インコーポレイテッド ユーザ識別に基づいて頭部搭載型ディスプレイシステムを動作させるためのシステムおよび方法
US11252398B2 (en) 2020-01-16 2022-02-15 Fyusion, Inc. Creating cinematic video from multi-view capture data
US11869135B2 (en) * 2020-01-16 2024-01-09 Fyusion, Inc. Creating action shot video from multi-view capture data
WO2021163295A1 (en) 2020-02-13 2021-08-19 Magic Leap, Inc. Cross reality system with prioritization of geolocation information for localization
US11410395B2 (en) 2020-02-13 2022-08-09 Magic Leap, Inc. Cross reality system with accurate shared maps
CN115398314A (zh) 2020-02-13 2022-11-25 奇跃公司 使用多分辨率帧描述符进行地图处理的交叉现实系统
CN111353409B (zh) * 2020-02-25 2023-05-02 达闼机器人股份有限公司 容器识别方法、装置和机器人
US11551430B2 (en) 2020-02-26 2023-01-10 Magic Leap, Inc. Cross reality system with fast localization
JP2023524446A (ja) 2020-04-29 2023-06-12 マジック リープ， インコーポレイテッド 大規模環境のためのクロスリアリティシステム
CN111569432B (zh) * 2020-05-19 2021-01-15 北京中科深智科技有限公司 一种从游戏中捕捉6DoF场景图像的系统及方法
IL299775A (en) 2020-07-15 2023-03-01 Magic Leap Inc Eye tracking using an aspheric cornea model
US11868527B2 (en) 2020-07-23 2024-01-09 Magic Leap, Inc. Eye tracking using alternate sampling
WO2022026609A1 (en) * 2020-07-29 2022-02-03 Magic Leap, Inc. Camera extrinsic calibration via ray intersections
CN113156447A (zh) * 2021-03-10 2021-07-23 深圳市杉川机器人有限公司 房门位置的确定方法、扫地机以及计算机可读存储介质
US11710272B2 (en) * 2021-03-24 2023-07-25 Disney Enterprises, Inc. Volumetric representation of digital objects from depth renderings

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10044169A1 (de) * 2000-09-07 2002-03-21 Daimler Chrysler Ag Verfahren zur zerstörungsfreien Wandstärkenprüfung
US6940538B2 (en) * 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
US7003136B1 (en) * 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
JP2004234349A (ja) * 2003-01-30 2004-08-19 Univ Tokyo 画像処理装置、画像処理方法、及び画像処理プログラム
EP2236980B1 (en) * 2009-03-31 2018-05-02 Alcatel Lucent A method for determining the relative position of a first and a second imaging device and devices therefore
US8884948B2 (en) * 2009-09-30 2014-11-11 Disney Enterprises, Inc. Method and system for creating depth and volume in a 2-D planar image
US8872889B2 (en) * 2010-01-14 2014-10-28 Innovmetric Logiciels Inc. Synchronization of the orientation of a 3D measurement device and the orientation of an intelligent guidance device
US20110187704A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Generating and displaying top-down maps of reconstructed 3-d scenes
EP2606472A2 (en) * 2010-06-11 2013-06-26 Estill, James A. System and method for manipulating data having spatial coordinates
US8872851B2 (en) * 2010-09-24 2014-10-28 Intel Corporation Augmenting image data based on related 3D point cloud data
KR101764424B1 (ko) * 2010-11-08 2017-08-14 삼성전자주식회사 영상 데이터 검색 방법 및 장치
EP2538388B1 (en) * 2011-06-20 2015-04-01 Alcatel Lucent Method and arrangement for image model construction
JP5566353B2 (ja) * 2011-09-02 2014-08-06 株式会社パスコ データ解析装置、データ解析方法、及びプログラム
CA3207408A1 (en) * 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
DK2788958T3 (da) * 2011-12-05 2019-12-16 Commw Scient Ind Res Org Fremgangsmåde og system til at karakterisere plantefænotype
EP2615580B1 (en) * 2012-01-13 2016-08-17 Softkinetic Software Automatic scene calibration
US8831290B2 (en) * 2012-08-01 2014-09-09 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining poses of vehicle-mounted cameras for in-road obstacle detection
US8633970B1 (en) * 2012-08-30 2014-01-21 Google Inc. Augmented reality with earth data
US9251590B2 (en) * 2013-01-24 2016-02-02 Microsoft Technology Licensing, Llc Camera pose estimation for 3D reconstruction
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
WO2014145722A2 (en) * 2013-03-15 2014-09-18 Digimarc Corporation Cooperative photography
JP2014185947A (ja) * 2013-03-25 2014-10-02 Geo Technical Laboratory Co Ltd ３次元復元のための画像撮影方法
KR102184766B1 (ko) * 2013-10-17 2020-11-30 삼성전자주식회사 3차원 모델 복원 시스템 및 방법
US9336440B2 (en) * 2013-11-25 2016-05-10 Qualcomm Incorporated Power efficient use of a depth sensor on a mobile device
US9280825B2 (en) * 2014-03-10 2016-03-08 Sony Corporation Image processing system with registration mechanism and method of operation thereof
US9779508B2 (en) * 2014-03-26 2017-10-03 Microsoft Technology Licensing, Llc Real-time three-dimensional reconstruction of a scene from a single camera
US9373190B2 (en) * 2014-07-09 2016-06-21 Google Inc. High-quality stereo reconstruction featuring depth map alignment and outlier identification
EP3167430A4 (en) * 2014-11-04 2017-08-16 SZ DJI Technology Co., Ltd. Camera calibration
US9519289B2 (en) * 2014-11-26 2016-12-13 Irobot Corporation Systems and methods for performing simultaneous localization and mapping using machine vision systems
JP6944441B2 (ja) 2015-09-25 2021-10-06 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hassan Afzal, 外4名，"RGB-D Multi-view System Calibration for Full 3D Scene Reconstruction"，2014 22nd International Conference on Pattern Recognition，IEEE，2014年，p.2459-2464
佐藤智和, 外3名，"マーカと自然特徴点の追跡による動画像からのカメラ移動パラメータの復元"，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，2003年10月01日，第J86-D-II巻, 第10号，p.1431-1440

Also Published As

Publication number Publication date
CA2996009A1 (en) 2017-03-30
US20220122322A1 (en) 2022-04-21
EP3353750A4 (en) 2019-03-06
IL291685A (en) 2022-05-01
US11688138B2 (en) 2023-06-27
KR102653808B1 (ko) 2024-04-01
KR20180059836A (ko) 2018-06-05
EP3975121A1 (en) 2022-03-30
EP3353750A1 (en) 2018-08-01
US11189093B2 (en) 2021-11-30
AU2021204409A1 (en) 2021-07-22
IL257634B (en) 2022-05-01
IL291685B1 (en) 2023-05-01
EP3353750B1 (en) 2021-09-01
IL291685B2 (en) 2023-09-01
CN108027984B (zh) 2022-05-13
JP2021185542A (ja) 2021-12-09
CN114863059A (zh) 2022-08-05
NZ739813A (en) 2021-06-25
US20200126298A1 (en) 2020-04-23
JP6944441B2 (ja) 2021-10-06
AU2016327985A1 (en) 2018-03-15
CN108027984A (zh) 2018-05-11
IL257634A (en) 2018-04-30
US10559127B2 (en) 2020-02-11
KR102504246B1 (ko) 2023-02-24
KR20230028598A (ko) 2023-02-28
AU2016327985B2 (en) 2021-07-29
US20170091996A1 (en) 2017-03-30
JP2018536915A (ja) 2018-12-13
WO2017053821A1 (en) 2017-03-30

Similar Documents

Publication Publication Date Title
JP7181977B2 (ja) ３次元再構成において構造特徴を検出し、組み合わせるための方法およびシステム
US11727587B2 (en) Method and system for scene image modification
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
US10360718B2 (en) Method and apparatus for constructing three dimensional model of object
CN105701857B (zh) 3d建模的对象的纹理化
EP2272050B1 (en) Using photo collections for three dimensional modeling
EP2874118B1 (en) Computing camera parameters
KR101310589B1 (ko) 이미지들로부터의 빠른 스테레오 재구성을 위한 기술들
US20230419526A1 (en) Method, apparatus, and computer-readable medium for room layout extraction
Han et al. 3D human model reconstruction from sparse uncalibrated views
NZ739813B2 (en) Methods and systems for detecting and combining structural features in 3d reconstruction
Shesh et al. Peek‐in‐the‐Pic: Flying Through Architectural Scenes From a Single Image
Eisemann et al. 3-D Cinematography with Approximate or No Geometry
Wirz Simulating the Hitchcock Effect with Kinect
Grum et al. 3D scene correction using disparities with its projections

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221021

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221118

R150 Certificate of patent or registration of utility model

Ref document number: 7181977

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150