JP5951908B2 - 電力効率の良い深度センサーの使用によるリアルタイム３ｄ再構成 - Google Patents

電力効率の良い深度センサーの使用によるリアルタイム３ｄ再構成 Download PDF

Info

Publication number
JP5951908B2
JP5951908B2 JP2015555387A JP2015555387A JP5951908B2 JP 5951908 B2 JP5951908 B2 JP 5951908B2 JP 2015555387 A JP2015555387 A JP 2015555387A JP 2015555387 A JP2015555387 A JP 2015555387A JP 5951908 B2 JP5951908 B2 JP 5951908B2
Authority
JP
Japan
Prior art keywords
model
image
depth
camera
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015555387A
Other languages
English (en)
Other versions
JP2016514384A (ja
Inventor
ダニエル・ワグナー
アレッサンドロ・ムローニ
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2016514384A publication Critical patent/JP2016514384A/ja
Application granted granted Critical
Publication of JP5951908B2 publication Critical patent/JP5951908B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

関連出願の相互参照
本出願は、2014年1月22日に出願された「Real-Time 3D Reconstruction with Power Efficient Depth Sensor Usage」と題する米国出願第14/161,140号の利益および優先権を主張する。この米国出願第14/161,140号は、2013年1月30日に出願された「Real-Time 3D Reconstruction with Power Efficient Depth Sensor Usage」と題する米国仮出願第61/758,699号および2013年2月26日に出願された「Real-Time 3D Reconstruction with Power Efficient Depth Sensor Usage」と題する米国仮出願第61/769,465号の利益および優先権を主張する。上記で特定された米国特許出願のすべては、その全体が参照により本明細書に組み込まれる。
本開示は一般に、モバイルデバイスにおける電力効率のための装置および方法に関する。
コンピュータビジョンおよびコンピュータグラフィックスでは、3D再構成は、現実のオブジェクトの形状および/または外観を判断するプロセスである。3D再構成は、様々なタイプのセンサーから取得されたオブジェクトのデータおよび/または画像に基づき得る。たとえば、カメラが使用されて、オブジェクトの表面によって反射された、またはオブジェクトの表面から発せられた輝度または光が測定されることがあり、その場合に、カメラによってキャプチャされたオブジェクトの画像から、および他のセンサーによって提供された情報から、オブジェクトの3D構造またはモデルが推測され得る。一般に、3Dモデルという用語は、本明細書において、3D環境の表現を指すために使用される。
通常、3D再構成では、デジタル画像のセットが他の知覚情報とともにバッチモードでオフラインで処理されて、3Dモデルが取得され、この3Dモデルはオブジェクトの3Dメッシュの形をとり得る。しかしながら、3D再構成は昔から計算コストが高いので、オフラインで実行されることが多く、3D再構成の結果は通常、かなり遅れて利用可能になり得る。したがって、3D再構成を使用する実際のリアルタイムアプリケーションは、これまで限定的であった。
より最近では、増大した処理能力の利用可能性、進化したアルゴリズムならびに新しい形の入力データを含む要素の組合せにより、リアルタイムまたはほぼリアルタイムの3D再構成の魅力が増してきている。ユーザは、キャプチャされたピクチャがモバイルデバイスを含むコンピューティングデバイスによって迅速に処理される現在、ほぼリアルタイムで3D再構成に対するフィードバックを取得することができる。しかしながら、3D再構成に使用される多くの技法は電力を必要とし、比較的多くの電力使用につながる。モバイルデバイスでは、たとえば、電力消費の増大が電力源またはバッテリーを消耗させ、それにより3D構成の現実的適用可能性が限定されることがある。
したがって、コンピューティングデバイスおよびモバイルデバイスでの電力効率の良いリアルタイム3D再構成を容易にする装置、システムおよび方法が必要である。
いくつかの態様によれば、モバイルデバイスでの電力効率の良いリアルタイム3D再構成のための方法が開示される。いくつかの実施形態では、移動局(MS)は、少なくとも1つのカメラおよび深度センサーを含むことができ、本方法は、少なくとも1つのカメラにより第1の画像をキャプチャするステップであって、第1の画像は、MSによってモデル化されている環境の少なくとも一部分に関する色情報を含む、ステップと、第1の画像に関するカメラ姿勢情報を取得するステップとを含むことができる。いくつかの実施形態では、本方法は、第1のキャプチャされた画像および第1の画像に関するカメラ姿勢情報に部分的に基づいて、環境の第1の3次元(3D)モデルを拡大すべきかどうかを判断するステップと、第1の3Dモデルが拡大されないときに、深度センサーを無効にするステップとをさらに含むことができる。
別の態様では、MSは、色情報を含む第1の画像をキャプチャすることができるカメラと、カメラに結合された深度センサーと、深度センサーおよびカメラに結合されたプロセッサとを含むことができる。いくつかの実施形態では、プロセッサは、第1の画像に関するカメラ姿勢情報を取得し、第1の画像および第1の画像に関するカメラ姿勢情報に部分的に基づいて、MSによってモデル化されている環境の第1の3次元(3D)モデルを拡大すべきかどうかを判断し、第1の3Dモデルが拡大されない場合に、深度センサーを無効にするように構成され得る。
さらなる態様では、開示される実施形態は、色情報を含む第1の画像をキャプチャするためのイメージング手段と、イメージング手段に結合された深度感知手段と、深度感知手段およびイメージング手段に結合された処理手段とを含む装置に関係する。いくつかの実施形態では、処理手段は、第1の画像に関するイメージング手段姿勢情報を取得するための手段と、第1の画像および第1の画像に関するイメージング手段姿勢情報に部分的に基づいて、装置によってモデル化されている環境の第1の3次元(3D)モデルを拡大すべきかどうかを判断するための手段と、第1の3Dモデルが拡大されない場合に、深度感知手段を無効にするための手段とをさらに含むことができる。
開示される実施形態はまた、プロセッサによって実行されたときに、少なくとも1つのカメラおよび深度センサーを含むMSの方法のステップを実行する命令を含む非一時的コンピュータ可読媒体に関係する。いくつかの実施形態では、本方法は、少なくとも1つのカメラにより第1の画像をキャプチャするステップであって、第1の画像は、MSによってモデル化されている環境の少なくとも一部分に関する色情報を含む、ステップと、第1の画像に関するカメラ姿勢情報を取得するステップとを含むことができる。いくつかの実施形態では、本方法は、第1のキャプチャされた画像および第1の画像に関するカメラ姿勢情報に部分的に基づいて、環境の第1の3次元(3D)モデルを拡大すべきかどうかを判断するステップと、第1の3Dモデルが拡大されないときに、深度センサーを無効にするステップとをさらに含むことができる。
別の態様では、少なくとも1つのカメラおよび深度センサーを含む移動局(MS)の方法は、少なくとも1つのカメラにより第1の画像をキャプチャするステップであって、第1の画像は、MSによってモデル化されている環境の少なくとも一部分に関する色情報を含む、ステップと、第1の画像に関するカメラ姿勢情報を取得するステップと、第1のキャプチャされた画像および第1の画像に関するカメラ姿勢情報に部分的に基づいて、環境の第1の3次元(3D)モデルを更新すべきかどうかを判断するステップと、第1の3Dモデルが更新されないときに、深度センサーを無効にするステップとを含むことができる。さらに、深度センサーを無効にするステップは、深度センサーに供給される電力をオフにするステップ、または深度画像の計算に関係する機能を無効にするステップのうちの少なくとも1つを含むことができる。本方法は、第1の3Dモデルが更新されるときに、深度センサーを有効にするステップをさらに含むことができる。深度センサーを有効にすると、第1の3Dモデルは、少なくとも1つのカメラにより第2の画像をキャプチャするステップと、深度センサーによって少なくとも部分的に提供された深度情報により第2の画像を拡張することによって深度マップを取得するステップと、深度情報により第1の3Dモデルにおける容量測定データセット(volumetric data set)を更新するステップとによって更新され得る。いくつかの実施形態では、容量測定データセットは、3D切断符号付き距離関数(TDSF:Truncated Signed Distance Function)によって表され得る。容量測定データセットは、カメラ姿勢に基づいて3D TDSFにおけるサンプルを深度マップに投影するステップと、サンプルロケーションから容量測定データセットによって画定された表面までの測定相対距離を判断するステップと、測定相対距離をTDSFにマップするステップと、サンプルに関する記憶されたTDSF値とマップされたTDSF値を組み合わせるステップとによって更新され得る。
別の態様では、MSは、色情報を含む第1の画像をキャプチャすることができるカメラと、カメラに結合された深度センサーと、深度センサーおよびカメラに結合されたプロセッサとを含むことができる。いくつかの実施形態では、処理手段は、第1の画像に関するカメラ姿勢情報を取得し、第1の画像および第1の画像に関するカメラ姿勢情報に部分的に基づいて、環境の第1の3次元(3D)モデルを更新すべきかどうかを判断し、第1の3Dモデルが更新されないときに、深度センサーを無効にするように構成され得る。
さらなる態様では、開示される実施形態は、色情報を含む第1の画像をキャプチャするためのイメージング手段と、イメージング手段に結合された深度感知手段と、深度感知手段およびイメージング手段に結合された処理手段とを含む装置に関係する。いくつかの実施形態では、処理手段は、第1の画像に関するカメラ姿勢情報を取得するための手段と、第1の画像および第1の画像に関するカメラ姿勢情報に部分的に基づいて、環境の第1の3次元(3D)モデルを更新すべきかどうかを判断するための手段と、第1の3Dモデルが更新されないときに、深度センサーを無効にするための手段とをさらに含むことができる。
開示される実施形態はまた、プロセッサによって実行されたときに、少なくとも1つのカメラおよび深度センサーを含むMSの方法のステップを実行する命令を含む非一時的コンピュータ可読媒体に関係する。いくつかの実施形態では、本方法は、少なくとも1つのカメラにより第1の画像をキャプチャするステップであって、第1の画像は、MSによってモデル化されている環境の少なくとも一部分に関する色情報を含む、ステップと、第1の画像に関するカメラ姿勢情報を取得するステップと、第1のキャプチャされた画像および第1の画像に関するカメラ姿勢情報に部分的に基づいて、環境の第1の3次元(3D)モデルを更新すべきかどうかを判断するステップと、第1の3Dモデルが更新されないときに、深度センサーを無効にするステップとを含むことができる。
開示される実施形態はまた、ソフトウェア、ファームウェア、およびコンピュータ可読媒体またはコンピュータ可読メモリを使用するプロセッサによって作成、記憶、アクセスまたは変更されるプログラム命令に関係する。説明する方法は、プロセッサおよび様々なモバイルデバイス上で実行され得る。
これらの実施形態および他の実施形態が、以下の図に対してさらに以下で説明される。例示によって様々な態様が図示および記載された以下の詳細な説明から、他の態様が当業者に容易に明らかになることを理解されたい。図面および詳細な説明は、本質的に例示的なものと見なされるべきであって、限定的なものと見なされるべきではない。
本発明の実施形態は、図面を参照して、例としてのみ記載される。
電力効率の良い3D再構成が可能な例示的なモバイルデバイスのブロック図である。 開示される実施形態と合致する、電力効率の良い3D再構成のための例示的な方法に関するフローチャートである。 開示される実施形態と合致する、電力効率の良い3D再構成のための例示的な方法に関するフローチャートである。 開示される実施形態と合致する、容量測定再構成技法を使用して再構成を拡大するためのルーチンまたは方法275に関するフローチャートである。 開示される実施形態と合致する、カメラフレームからの深度データを容量測定データセットに融合させるための例示的な方法を示すフローチャートである。 開示される実施形態と合致する、3D再構成のための例示的な方法400のフローチャートである。
添付の図面とともに以下に記載する詳細な説明は、本開示の様々な態様の説明として意図されており、本開示が実施される態様のみを表すことは意図されていない。本開示で説明される各態様は、単に本開示の例または説明として与えられ、他の態様よりも好適または有利であるとは、必ずしも解釈されるべきではない。発明の詳細な説明は、本開示の完全な理解をもたらす目的で、具体的な詳細を含んでいる。しかしながら、本開示は、これら具体的な詳細なしで実施され得ることが当業者に明らかになるであろう。場合によっては、本開示の概念を曖昧にするのを回避するために、周知の構造およびデバイスがブロック図の形式で示されている。単に利便性および明確性のために、頭文字および他の記述的な用語が使用され得るが、本開示の範囲を限定することは意図されていない。
図1は、開示される実施形態と合致するように、リアルタイムまたはほぼリアルタイムの3D構成を実行することが可能な例示的な移動局(MS)100のブロック図を示している。本明細書で使用する場合、モバイルデバイスまたは移動局(MS)100は、セルラー電話、モバイル電話または他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、または携帯情報端末(PDA)、ラップトップ、タブレット、ノートブックおよび/または手持ち式のコンピュータの形をとり得る。モバイルデバイスまたは移動局という用語は、本明細書では互換的に使用される。いくつかの実施形態では、MS100は、ワイヤレス通信および/またはナビゲーション信号を受信することが可能であり得る。「モバイルデバイス」および「移動局」という用語は、本明細書では互換的に使用される。
さらに、「移動局」という用語は、たとえば、短距離ワイヤレス接続、赤外線接続、有線接続または他の接続によって、パーソナルナビゲーションデバイス(PND)と通信するデバイスを含むことも意図されており、かつ/または位置関連処理がそのデバイスまたはPNDにおいて行われる。また、「移動局」は、サーバとの通信が可能である様々なワイヤレス通信デバイスを含むすべてのデバイスを、ワイヤレス信号受信、支援データ受信、および/または関連処理がそのデバイスにおいて行われるか、サーバにおいて行われるか、またはネットワークに関連する別のデバイスにおいて行われるかにかかわらず含むことが意図される。上記のデバイスの任意の動作可能な組合せも「移動局」と見なされる。
「移動局」という用語は、ネットワークに接続するように、または他の方法によりワイヤレスに、もしくは有線接続により別のデバイスと通信するように構成されないことがあるゲームまたは他のデバイスを含むことも意図される。たとえば、「移動局」は、通信要素および/またはネットワーキング機能を省くことができる。たとえば、本明細書で説明する実施形態は、別のデバイスとの有線またはワイヤレスネットワーキングのために接続するように構成されない独立型デバイスで実装され得る。
図1に示すように、MS100は、カメラ110、慣性測定ユニット(IMU)130、プロセッサ150、メモリ160および/または送受信機170、ディスプレイ/スクリーン180を含むことができ、これらは互いに、またMS100での他の機能ユニット(図示せず)に接続120を通して動作可能に結合され得る。接続120は、バス、ライン、ファイバー、リンクなど、またはそれらの何らかの組合せを含むことができる。
送受信機170は、たとえば、1つまたは複数のタイプのワイヤレス通信ネットワークを介して1つまたは複数の信号を送信するように対応した送信機と、1つまたは複数のタイプのワイヤレス通信ネットワークを介して送信される1つまたは複数の信号を受信するための受信機とを含み得る。送受信機170は、限定はしないが、フェムトセル、IEEE 802.11規格ファミリーに基づき得るWi-Fiネットワークもしくはワイヤレスローカルエリアネットワーク(WLAN)、Bluetooth(登録商標)、近距離通信(NFC)、IEEE 802.15x規格ファミリーに基づくネットワークなどのようなワイヤレスパーソナルエリアネットワーク(WPANS)、および/またはLTE、WiMAXなどのようなワイヤレスワイドエリアネットワーク(WWAN)のような様々な技術に基づくワイヤレスネットワークとの通信を許容し得る。MS100はまた、有線ネットワークを介して通信するための1つまたは複数のポートを含むことができる。
いくつかの実施形態では、MS100は、CCDセンサーまたはCMOSセンサーなどの画像センサーおよび/またはカメラ110(以下「カメラ110」と呼ぶ)を含むことができる。カメラ110は、光画像を電子画像またはデジタル画像に変換することができ、キャプチャされた画像をプロセッサ150に送ることができる。
一般に、カメラ110は、カラーまたはグレースケールのカメラであってよく、これは「色情報」を提供する一方、「深度情報」が深度センサーによって提供され得る。本明細書で使用する「色情報」という用語は、カラーおよび/またはグレースケールの情報を指す。一般に、本明細書で使用する色画像または色情報は、1〜N個のチャネルを含むものと見なされてよく、このNは、画像を記憶するために使用されている色空間に依存する整数である。たとえば、RGB画像は、3つのチャネルを含み、赤情報、青情報および緑情報にそれぞれ1つのチャネルがある。
深度情報は、深度センサーを使用して様々な方法でキャプチャされ得る。「深度センサー」という用語は、単独でおよび/またはカメラ110と連携して深度情報を取得するために使用され得る機能ユニットを指すために使用される。いくつかの実施形態では、深度センサーは、使用中ではないときに無効にされ得る。たとえば、深度センサーは、使用されていないときに待機モードにされるか、またはパワーオフされ得る。いくつかの実施形態では、プロセッサ150は、開示される実施形態と合致するように、1つまたは複数の時点で深度感知を無効に(または有効に)し得る。「深度センサーを無効にする」という用語はまた、ステレオビジョンセンサーなどの受動センサーおよび/または深度画像の計算に関係する機能(そのような機能に関連するハードウェア、ファームウェア、および/またはソフトウェアを含む)を無効にすることを指すために使用される。たとえば、一実施形態では、ステレオビジョンセンサーが無効にされるとき、カメラ110によってキャプチャされる画像は単眼であり得る。さらに、「深度センサーを無効にする」という用語はまた、受動ステレオビジョンセンサーによってキャプチャされたステレオ画像の処理に関連する計算を無効にすることを指すために使用される。たとえば、一実施形態では、受動ステレオビジョンセンサーによってステレオ画像がキャプチャされ得るが、プロセッサ150は、ステレオ画像を処理しないことがあり、代わりに、処理のためにステレオペアから単一の画像を選択することがある。
いくつかの実施形態では、深度センサーはカメラ110の一部であり得る。たとえば、いくつかの実施形態では、MS100はRGBDカメラを含むことがあり、RGBDカメラは、深度センサーが有効にされるときに、色(RGB)画像に加えて、ピクセルごとの深度(D)情報をキャプチャすることができる。
別の例として、いくつかの実施形態では、カメラ110は、3Dタイムオブフライト(3DTOF)カメラの形をとり得る。3DTOFカメラ110による実施形態では、深度センサーは、3DTOFカメラ110に結合されたストロボの形をとってよく、ストロボは、シーンにおけるオブジェクトを照らすことができ、カメラ110におけるCCD/CMOSセンサーによって反射光がキャプチャされ得る。光パルスがオブジェクトに伝播し、センサーに戻るまでに要する時間を測定することによって、深度情報が取得され得る。
さらなる例として、深度センサーは、カメラ110に結合された光源の形をとることができる。一実施形態では、光源は、光の1つまたは複数の狭帯域からなり得る構造化またはテクスチャ加工された光のパターンを、シーンにおけるオブジェクトに投影することができる。次いでオブジェクトの表面の形状によって引き起こされた投影されたパターンの幾何学的歪曲を活用することによって、深度情報が取得され得る。一実施形態では、深度情報は、赤外線構造化光プロジェクタとRGBカメラに対応した(registered)赤外線カメラとの組合せなどのステレオセンサーから取得され得る。
いくつかの実施形態では、カメラ110は、立体視カメラの形をとることができる。たとえば、深度センサーは、受動ステレオビジョンセンサーの一部を形成することができ、受動ステレオビジョンセンサーは、2つ以上のカメラを使用して、シーンに関する深度情報を取得することができる。キャプチャされたシーンにおける両方のカメラに共通するポイントのピクセル座標が、カメラ姿勢情報および/または三角測量技法とともに使用されて、ピクセルごとの深度情報が取得され得る。
いくつかの実施形態では、MS100は、様々なセンサーを組み込むこともある、デュアルフロントカメラおよび/または前面/後面カメラなどの複数のカメラ110を備えることができる。いくつかの実施形態では、カメラ110は、静止画像とビデオ画像の両方をキャプチャすることが可能であり得る。いくつかの実施形態では、カメラ110は、30フレーム/秒(fps)で画像をキャプチャすることが可能なRGBDまたは立体視ビデオカメラであり得る。一実施形態では、カメラ110によってキャプチャされた画像は、未加工の圧縮されていないフォーマットであってよく、処理および/またはメモリ160への記憶の前に圧縮され得る。いくつかの実施形態では、画像圧縮がプロセッサ150によって、可逆または不可逆圧縮技法を使用して実行され得る。
いくつかの実施形態では、プロセッサ150はIMU130から入力を受信することもできる。他の実施形態では、IMU130は3軸加速度計、3軸ジャイロスコープおよび/または磁力計を含むことができる。IMU130は、速度、方位および/または他の位置関係情報をプロセッサ150に提供することができる。いくつかの実施形態では、IMU130は、カメラ110による各画像フレームのキャプチャと同期して測定情報を出力することができる。いくつかの実施形態では、IMU130の出力がプロセッサ150によって部分的に使用されて、カメラ110および/またはMS100の姿勢が判断され得る。
さらに、MS100は、3D画像を含む色画像をレンダリングすることが可能なスクリーンまたはディスプレイ180を含むことができる。いくつかの実施形態では、ディスプレイ180は、カメラ110によってキャプチャされたライブ画像、拡張現実(AR)画像、グラフィカルユーザインターフェース(GUI)、プログラム出力などを表示するために使用され得る。いくつかの実施形態では、ディスプレイ180は、ユーザが仮想キーボード、アイコン、メニューもしくは他のグラフィカルユーザインターフェース(GUI)、ユーザのジェスチャー、および/または入力デバイス、たとえばスタイラスおよび他の筆記用具の何らかの組合せによってデータを入力できるように、タッチスクリーンを含み、かつ/またはタッチスクリーンとともに格納され得る。いくつかの実施形態では、ディスプレイ180は、液晶画面(LCD)ディスプレイまたは発光ダイオード(LED)ディスプレイ、たとえば有機LED(OLED)ディスプレイを使用して実装され得る。他の実施形態では、ディスプレイ180は装着型ディスプレイであってよく、これはMS100における他の機能ユニットに動作可能に結合されるが、他の機能ユニットとは別個に格納され得る。いくつかの実施形態では、MS100は、MS100に結合された別個のモニターを通した3D再構成済み画像の表示を可能にするためのポートを含むことができる。
カメラ110の姿勢は、基準系に対するカメラ110の位置および方位を指す。いくつかの実施形態では、3つの並進成分(基準系のX、Y、Z座標によって与えられ得る)と3つの角度成分(たとえば、同じ基準系に対するロール、ピッチおよびヨー)とを指す6自由度(6DOF)に関して、カメラ姿勢が判断され得る。
いくつかの実施形態では、カメラ110および/またはMS100の姿勢は、プロセッサ150によって視覚追跡ソリューションを使用して、カメラ110によってキャプチャされた画像に基づいて判断および/または追跡され得る。たとえば、プロセッサ150上で動作しているコンピュータビジョン(CV)モジュール155は、コンピュータビジョンベースの追跡、モデルベースの追跡、および/またはSimultaneous Localization And Mapping(SLAM)方法を実装し実行することができる。SLAMは、MS100によってモデル化されている環境のマップなどの環境のマップが作成される一方でそのマップに対するカメラの姿勢を同時に追跡する技法の一種を指す。いくつかの実施形態では、CVモジュール155によって実施される方法は、カメラ110によってキャプチャされたカラーまたはグレースケールの画像データに基づいてよく、カメラの6DOF姿勢測定の推定値を生成するために使用され得る。いくつかの実施形態では、IMU130の出力は、推定された姿勢を推定、訂正、および/または他の方法で調整するために使用され得る。さらに、いくつかの実施形態では、カメラ110によってキャプチャされた画像は、IMU130用にバイアス調整を再較正または実行するために使用され得る。
MS100に含まれるすべての機能ユニットが図1に示されているわけではない。例示的なMS100はまた、本開示と合致するように様々な方法で、たとえば、図示の機能ブロックのうちの1つまたは複数を追加、結合または省略することによって、変更され得る。たとえば、いくつかの構成では、MS100はIMU130または送受信機170を含まないことがある。さらに、いくつかの例示的な実装形態では、MS100は、周辺光センサー、マイクロフォン、音響センサー、超音波センサー、レーザー距離計などのような様々な他のセンサー(図示せず)を含むことができる。いくつかの実施形態では、MS100の一部は、1つまたは複数のチップセットなどの形をとり得る。
プロセッサ150は、ハードウェア、ファームウェアおよびソフトウェアの組合せを使用して実装され得る。プロセッサ150は、3D再構成、SLAM、追跡、画像処理などに関係する計算の手順またはプロセスの少なくとも一部分を実行するように構成可能な1つまたは複数の回路を表すことができ、命令および/またはデータをメモリ160から取り出すことができる。プロセッサ150は、本明細書で説明する機能を実行するように設計された、1つまたは複数の特定用途向け集積回路(ASIC)、中央処理装置および/もしくはグラフィックス処理ユニット(CPUおよび/もしくはGPU)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラ、マイクロコントローラ、マイクロプロセッサ、組込みプロセッサコア、電子デバイス、他の電子ユニット、またはそれらの組合せを使用して実装され得る。
メモリ160は、プロセッサ150内で、および/またはプロセッサ150の外部で実装され得る。本明細書で使用する「メモリ」という用語は、任意のタイプの長期メモリ、短期メモリ、揮発性メモリ、不揮発性メモリ、または他のメモリを指し、いずれかの特定のタイプのメモリもしくはいずれかの特定の数のメモリ、またはメモリが記憶されるいずれかの特定のタイプの物理媒体に限定すべきではない。いくつかの実施形態では、メモリ160は、1つまたは複数の画像処理を支援するプログラムコードを保持し、SLAM、追跡、3D再構成、およびプロセッサ150のCVモジュール155によって実行される他のタスクを実行することができる。たとえば、メモリ160は、データ、キャプチャされた静止画像、深度情報、ビデオフレーム、プログラム結果、ならびにIMU130および他のセンサーによって提供されたデータを保持することができる。一般に、メモリ160は、任意のデータ記憶機構を表すものであってよい。たとえば、メモリ160は1次メモリおよび/または2次メモリを含み得る。1次メモリは、たとえば、ランダムアクセスメモリ、読み取り専用メモリなどを含み得る。図1ではプロセッサ150とは別個のものとして示されているが、1次メモリの全部または一部がプロセッサ150内に設けられるか、あるいはプロセッサ150と共設および/または結合され得ることを理解されたい。
2次メモリは、たとえば、1次メモリ、ならびに/または、たとえば、フラッシュ/USBメモリドライブ、メモリカードドライブ、ディスクドライブ、光ディスクドライブ、テープドライブ、固体ドライブ、ハイブリッドドライブなど、1つもしくは複数のデータ記憶デバイスもしくはシステムと同じまたは同様のタイプのメモリを含み得る。いくつかの実装形態では、2次メモリは、MS100に結合されたリムーバブルメディアドライブ(図示せず)における非一時的コンピュータ可読媒体を動作可能に受容するか、または場合によってはそれに結合するように構成可能であり得る。いくつかの実施形態では、非一時的コンピュータ可読媒体は、メモリ160および/またはプロセッサ150の一部を形成することができる。
いくつかの実施形態では、CVモジュール155は、様々なコンピュータビジョン方法を実施すること、および/またはカメラ110によってキャプチャされた画像を処理することができる。たとえば、CVモジュール155は、カメラ110によってキャプチャされた1つまたは複数の画像を、キャプチャされた画像に関連する深度情報を使用してモデル化されている環境の3D再構成を実行するために処理することが可能であり得る。いくつかの実施形態では、深度情報は深度センサーから取得され得る。
深度データに基づいて、再構成中に各ピクセルは3D座標を割り当てられ得る。一実施形態では、プロセッサ150のCVモジュール155は、カメラ110の正確および頑強な6DOF追跡用に、MSの周りの環境の粗いマップを作るために、単眼(単一のカメラ)視覚SLAMシステムを使用することによって、カメラ110の位置を追跡することができる。単眼という用語は、画像をキャプチャするための単一の非立体視カメラの使用、または深度情報のないキャプチャされた画像を指す。この場合、3D再構成モジュールが、カメラ姿勢およびピクセルごとの深度情報を使用して、視覚方向に沿ってキャプチャされた画像を押し出し、テクスチャ加工の高密度3Dメッシュを作成することができ、これが使用されて、モデル化されている3D環境がレンダリングされ得る。
従来型の3D再構成方法では、すべての入力サンプルは常に、色+深度ペアなどの同じモダリティを有する。そのため、構造化照明またはストロボなどの深度センサーを使用した深度データの収集は、単純なRGBカメラよりもはるかに多くの電力を消費し得る。さらに、ステレオビジョンセンサーからの深度は受動感知を使用し得るが、3D再構成中の継続的ステレオ融合動作からの計算オーバーヘッドは、電力消費を著しく増大させ得る。したがって、モバイルデバイスにおける従来型のリアルタイム3D再構成は、電力利用可能性の制約のために非現実的であることが多い。たとえば、ストロボまたは他の光源の反復使用が、MSのバッテリーを急速に枯渇させ、それにより3D再構成の適用可能性が限定されることがある。
図2A〜図2Cは、開示される実施形態と合致する、電力効率の良い3D再構成のための例示的な方法に関するフローチャートを示している。いくつかの実施形態では、方法200は、MS100のプロセッサ150によって、1つまたは複数の他の機能ユニットと連携して実行され得る。いくつかの実施形態では、方法200の一部は、CVモジュール155によって実行され得る。
いくつかの実施形態では、方法200は、追跡モジュール210および再構成モジュール250という2つのモジュールからなり得る。単眼SLAM(MonoSLAM:Monocular SLAM)、並列追跡およびマッピング(PTAM:Parallel Tracking and Mapping)などのような、開示される実施形態と合致する任意のリアルタイム追跡システムが、追跡モジュール210とともに使用するために選択され得る。いくつかの実施形態では、追跡モジュール210および再構成モジュール250は同時に動作し得る。追跡モジュール210は、カメラ姿勢および/または他の関係する非深度センサーデータを周期的または継続的に追跡または更新し、更新済みのカメラ姿勢、センサー情報および色画像を、深度情報なしで周期的に、または要求に応じて再構成モジュール250に提供することができる。いくつかの実施形態では、追跡モジュール210は、単一または単眼のカメラを使用して、深度情報なしで画像をキャプチャし、姿勢情報を取得することができる。
再構成モジュール250は、いくつかの実施形態では、追跡モジュール210と同時に動作することができ、周期的または継続的な更新を追跡モジュール210から受信し得る。追跡モジュール210から受信された更新は、深度情報のない色画像およびカメラ110に関する6DOF姿勢測定値などの正確な姿勢情報を提供することができる。いくつかの実施形態では、再構成モジュール250は、更新済みカメラ姿勢および関連する画像を使用して、色3Dメッシュまたは容量測定データ構造の形をとり得る既存の3Dモデルを拡大すべきかどうかを判断することができる。
表面再構成(surface reconstruction)のコンテキストで使用する「拡大」という用語(およびその変形)は、環境の部分的モデルから新たに収集されたデータを環境の既存の3Dモデルに追加することを指す。容量測定再構成(volumetric reconstruction)のコンテキストで使用する「更新」という用語(およびその変形)は、容量測定データセットによって表され得る、環境の既存の3Dモデルと新たに収集された深度データを組み合わせることを指す。
いくつかの実施形態では、再構成モジュール250は、フレームごとの深度+色画像入力の入力に依存しない任意の再構成技法を使用することができる。いくつかの実施形態では、再構成モジュール250は、色+深度データの入力に関するより低い固定レートを使用するように構成され得る。いくつかの実施形態では、色+深度データに関するより低い固定レートは、システムパラメータに基づいて設定可能であり得る。たとえば、一実施形態では、再構成モジュール250は、4つの色のみの(すなわち、深度データのない)フレームの後で、1つの色+深度画像入力を受信するように構成され得る。別の実施形態では、再構成モジュール250は、追加の深度画像(または深度データ)が要求に応じてトリガされるか、またはオンデマンドで提供され得るように構成され得る。一般に、システムパラメータに応じて、ある指定レートで、またはオンデマンドで深度情報が提供され得る。したがって、より低い深度センサー使用頻度から部分的に電力節約が生じ得る。たとえば、深度データがフレームごとに提供される30フレーム/秒のフレームレートで動作するシステムに対して、深度情報が再構成モジュール250に5フレームごとに提供される場合、システム200における深度センサーの使用は5分の1に低減され得る。いくつかの実施形態では、再構成モジュール250は、表面再構成に基づく技法および/または容量測定再構成に基づく技法を使用するように構成され得る。
(たとえば、MS100の深度センサーを使用することによって)色情報および深度情報を伴う画像を以前取得したことのある再構成モジュール250は、深度情報を伴うキャプチャされた先行画像に基づく既存の3Dモデルを有し得る。深度情報を伴うキャプチャされた画像は、ポイントクラウドとして表され得る。たとえば、ポイントクラウドは、モデル化されているオブジェクト/環境の外表面を表すデータポイントのセットであり得る。データポイントは何らかの座標系に、たとえばX、Y、およびZ座標を使用して指定され得る。三角形、四角形または他の多角形からなり得る3Dメッシュが、たとえば、ポイントクラウドから生成され得る。
表面再構成技法が適用される再構成モジュール250の実施形態では、3Dメッシュが3Dポイントクラウドに基づいて、様々な基準に基づいて三角形、四角形または他の多角形を形成するように3Dポイントクラウド上のポイントのサブセットを結合することによって取得され得る。3Dメッシュは、3Dにおける多面オブジェクトの形状を画定する頂点、辺および面の集合である。面は三角形、四角形または他の単純な凸多角形であってよく、これらが使用されて3Dオブジェクト/環境がレンダリングされ得る。いくつかの周知の技法およびメッシュ再構成アルゴリズムが、(深度マップから導出され得る)3Dポイントクラウドを3Dメッシュに変換するために使用され得る。一実施形態では、深度マップにおける深度測定値の近傍が、同様の深度測定値により近傍ポイントを結合することによって三角形を形成するためのインジケータとして使用され得る。
容量測定再構成技法が適用される再構成モジュール250の実施形態では、容量測定再構成は、カメラフレームからの深度データを計算効率の良い容量測定データ構造に融合させる。一実施形態では、容量測定再構成は、3D切断符号付き距離関数(TDSF)を使用する表面の暗示的表現を使用することができる。3D TDSFは、3D空間における正規サンプルのセットとして表され得る。各サンプルにおいて、サンプル値は、推定表面までの符号付き距離を与える。正の距離は、オブジェクトの外部にあるサンプルを示し、負の距離は、オブジェクトの内部にあるサンプルを示す。
いくつかの実施形態では、再構成モジュール250は、追跡モジュール210から取得された更新済みカメラ姿勢および関連する画像を使用して、既存の3Dモデル(3Dメッシュまたは容量測定データ構造)を拡大または更新すべきかどうかを判断することができる。いくつかの実施形態では、表面および/または容量測定再構成技法が3Dモデルに使用されることがあり、モデルの拡大または更新に関する決定が、モデル化に使用されている特定の技法と合致するように行われ得る。
たとえば、表面再構成手法では、追跡モジュール210から受信された画像およびカメラ姿勢に基づいて、再構成モジュール250は、環境の既存または現在のモデルに現在表されていない情報を画像が含む程度を判断することができる。表面再構成手法では、たとえば、追跡モジュール210からの画像が十分に新しい情報を含むので、モデル化されている環境の3Dモデルが拡大されるべきである場合、画像および関連する姿勢情報のキャプチャと連携して適切な深度センサーをオンにすることによって、画像および深度情報が取得され得る。それ以外の場合、深度センサーは無効にされ得る。たとえば、深度センサーはオフにされるか、または待機モードにされ得る。
容量測定再構成を使用するいくつかの実施形態では、ある指定レートで(たとえば、5フレームごとに)深度データが収集/測定され得る。それ以外の場合、深度センサーは無効にされ得る。たとえば、深度センサーはオフにされるか、または待機モードにされ得る。
モデルが更新されるべきである場合、容量測定再構成中に、収集/測定された深度データに基づく深度マップが使用されて、カメラ姿勢に基づいて判断され得る、カメラの中心のロケーションなどの空間における所与のポイントから推定表面までの距離が判断され得る。次いで、これらの測定距離は、容量測定データセットにおける符号付き距離にマップされ得る。たとえば、マッピングは以下によって実行され得る。(i)容量測定データセットにおける各サンプルを深度マップのカメラ座標系に変換し、サンプルを深度マップに投影すること、(ii)(深度マップにおける)その投影されたピクセルにおける距離値として、光線に沿った表面までの距離の測定値を取得すること、(iii)上記(ii)で取得された測定距離から光線上のサンプルポイントの距離を差し引くことによって、サンプルポイントから表面までの測定相対距離を取得すること、および(iv)光線上のサンプルポイントによって提供された距離推定値を、再帰型フィルタを使用して相対距離と距離推定値を組み合わせることによって更新すること。たとえば、一実装形態は、距離推定値sとともに重みwを使用し、重み付けされた更新を使用することによって新しい測定値mに基づいて距離推定値sを更新することができ、これは以下によって与えられ得る。
Figure 0005951908
容量測定再構成の場合、いくつかの実施形態では、既存のモデルにすでに表されている環境のポイントまたはエリアの追加測定値を融合させることによって、より高い品質が達成され得る。したがって、容量測定再構成が使用される環境では、新しいポイントがない状況でも、モデルまたは3Dメッシュが更新され得る。いくつかの実施形態では、同じ表面要素が更新される回数を制限するように、しきい値または他のパラメータがセットされ得る。
容量測定再構成が使用されている場合、容量測定データ表現から表面抽出が実行されることもある。たとえば、容量測定画像を表すために、3D画素を含む計算効率の良い容量測定データセットが使用されてよく、この3D画素は、3次元空間における値またはグリッドを表し得る。容量測定データセットから表面(または等値面)を抽出するために、マーチングキューブなどの様々な周知の技法が使用され得る。等値面は、3Dデータ分布(3D data distribution)における等しい値を有するポイントの3D表面表現である。いくつかの実施形態では、容量測定再構成は、動的に設定可能であり得る固定/指定データレート(たとえば、5つの色+深度フレーム/秒)を使用することができる。たとえば、深度カメラからの更新の頻度は、アプリケーション要求(たとえば、要求されるモデルのより高い、またはより低い精度)に基づいて、またはコンテキストから得られる手掛かり(たとえば、デバイスでの低い、または高いバッテリーレベル)に基づいて変動する(増加または減少する)ことがある。いくつかの実施形態では、表面抽出ステップは前記融合とは無関係に実行され得る。
したがって、上記の表面手法と容量測定手法の両方において、3D再構成モジュールは深度データを散発的に収集し、それにより電力を節約する。いくつかの実施形態では、電力節約は、センサーを無効化し、オフにし、または待機モードにして、センサーが電力をまったく消費しないか、またはごく最小限の電力を消費することから生じ得る。たとえば、深度センサーが迅速またはほぼ瞬時的な再アクティブ化を許容する場合、一実施形態では、能動センサーへの電力はオフにされ得る。別の実施形態では、センサーが待機モードにされ得る場合、センサーは、迅速または瞬時的な再アクティブ化を許容するための最小限の電力を消費する。たとえば、深度センサーが待機モードにされるとき、構造化光源および/またはストロボはオフにされ得る。
他の実施形態では、立体視カメラが使用されるときなど、ステレオ融合動作の頻度の減少から電力節約が生じ得る。たとえば、深度センサーがステレオビジョンセンサーの形をとる実施形態では、ステレオビジョンセンサーはオフにされてよく、追跡モジュール210は、単眼カメラ画像および関連する姿勢情報を提供し続けることができる。いくつかの実施形態では、ステレオビジョンセンサーがオフにされるとき、受動ステレオビジョンセンサーからキャプチャされたステレオ画像の処理に関連する計算はオフにされ得る。たとえば、一実施形態では、受動ステレオビジョンセンサーによってステレオ画像がキャプチャされ得るが、プロセッサ150は、ステレオ画像を処理しないことがあり、代わりに、処理のためにステレオペアから単一の画像を選択することがある。
図2Aは、実行中の3D再構成プロセス200におけるステップを示している。いくつかの実施形態では、ルーチン225において、カメラ姿勢が更新され得る。たとえば、MS100上で動作している単眼SLAMアルゴリズムが、カメラ110の姿勢を更新するために使用され得る。単眼SLAMを使用することによって、MS100はその環境の表現を構成する一方、環境に対するカメラの姿勢または動きを同時に推定することができる。
ルーチン225では、姿勢情報を取得/更新するために単一のカメラが使用され得る一方、ストロボ、ステレオビジョンセンサー、および/または構造化光源などの深度センサーがオフにされ、無効にされ、または待機モードにされて、深度センサーが電力を消費しないか、または最小限の電力を消費するようになり得る。
ステップ230において、深度情報のない色画像データおよび関連する姿勢情報を含む新しいセンサーデータが収集されることがあり、追跡モジュール210がステップ225に戻って、別の反復を開始し、カメラ姿勢を更新することがある。一般に、追跡モジュールは姿勢を判断するために、任意の追跡方法を使用することができる。たとえば、IMU130からの入力が、姿勢を判断するために使用され得る。
カメラ姿勢更新ルーチン225を実施するための例示的な方法について後述するが、実際には、任意の適切な追跡および姿勢更新方法が使用され得る。フレーム間追跡の場合、ステップ230において収集された直前のフレームIと現在のフレームJとの間のオプティカルフローが、たとえば、Lucas-Kanadeアルゴリズムまたはその変形を使用して計算され得る。Lucas-Kanade法は、動きパラメータを判断するために画像勾配および反復手法を使用し得るオプティカルフロー推定のための2フレーム差分法である。
IおよびJがサイズnx×ny(0≦x≦nx-1および0≦y≦ny-1)の連続画像であり、I(x,y)およびJ(x,y)がポイント(x,y)におけるピクセルのピクセル値(たとえば、グレースケール値)である場合、Jにおけるポイントvのロケーションを計算するために特徴追跡が使用されてよく、このポイントvは、Iにおけるポイントu=[ux, uy]T (ここで、v=u+d=[ux+dx, uy+dy]T)に対応する。変位ベクトルd=[dx, dy]Tは、uにおけるオプティカルフローと呼ばれ、上付き文字「T」は、行列またはベクトルの転置を指すために使用される。Lucas-Kanadeの目標は、下記のような誤差関数ε(d)を最小限に抑える変位ベクトルdを発見することである。
Figure 0005951908
ここで、wは整数であり、サイズw×wピクセルのウィンドウを表す。
いくつかの実施形態では、Lucas-Kanadeオプティカルフローアルゴリズムの修正リアルタイムピラミッド形実装形態またはその変形が、2Dオプティカルフローの計算に使用され得る。たとえば、Lucas-Kanadeアルゴリズムの逆方向合成的画像位置合わせ(Inverse Compositional Image Alignment)変形が使用され得る。
ピラミッド形実装形態では、画像が連続的にダウンサンプリングされて、異なる解像度を有するダウンサンプリング済み画像のピラミッドが取得され得る。たとえば、ピラミッドの最高レベル(レベル0)は、未加工または最高解像度の画像を有することができ、それよりも下の各レベルは、ある因数によって、すぐ上のレベルに対し画像をダウンサンプリングすることができる。たとえば、(レベル0における)サイズ640×480の画像I0に対して、画像I1、I2、I3、およびI4は、それぞれ320×240、160×120、80×60および40×30のサイズを有し、下付き文字は、画像ピラミッドにおける画像レベルを示す。
ピラミッド形Lucas-Kanadeオプティカルフローでは、オプティカルフローは最低ピラミッドレベルLで計算される。次いで、その計算の結果が上位レベルL-1に、レベルL-1における初期ピクセル変位推定値の形で伝搬される。その初期推量を踏まえて、精緻化されたオプティカルフローがレベルL-1において計算され、結果がレベルL-2に伝搬され、以下同様にレベル0(元の画像)まで伝搬される。通常、Iにおけるポイントuに対応するJにおけるポイントvは、画像Jにおけるロケーション[ux,uy]の周りの(たとえば、サイズw×wピクセルの)ウィンドウ内で探索される。ピラミッドベースのオプティカルフローは、より大きい効率的なウィンドウで探索することを可能にし、大きいピクセルの動きがある場合でも特徴の対応付けを容易にする。
いくつかの実施形態では、追跡中に画像間で比較される特徴の数は、システム制約に基づいて割り出され得る。たとえば、画像の解像度、プロセッサ150の速度、およびパフォーマンス基準が、比較される特徴の数を割り出すために使用され得る。
いくつかの実施形態では、合致する特徴のロケーションに基づいて、更新済みカメラ姿勢がルーチン225で計算され得る。いくつかの実施形態では、姿勢および収集されたセンサーデータ(色画像を含む)が、周期的に再構成モジュール250に転送されてよく、再構成モジュール250はステップ255において、追跡モジュール210によって提供される追跡データ更新を待つ。いくつかの実施形態では、追跡モジュール210が約30フレームのフレームレートで継続的に動作して、単眼画像を含むセンサーデータをキャプチャし、姿勢情報を更新することができ、これらは再構成モジュール250に提供され得る。
いくつかの実施形態では、ステップ260において、再構成モジュール250は、ステップ255において受信された更新済みのキャプチャされた画像および関連する姿勢情報に基づいて、既存の再構成モデルが拡大または更新されるべきかどうかを判断することができる。いくつかの実施形態では、再構成モジュール250は、フレームごとの深度+色画像入力の入力に依存しない任意の再構成技法を使用することができる。たとえば、表面および/または容量測定技法が再構成モジュール250によって使用され得る。
いくつかの実施形態では、表面再構成の場合、再構成モジュール250は、モデルが拡大されるべきかどうかを判断するために、追跡モジュール210によって提供された各フレームを分析することができる。別の実施形態では、再構成モジュール250は、モデルが拡大されるべきかどうかを判断するために、追跡モジュール210の構成設定、システムパラメータ、および/または現在のフレームレートに応じて分析用に追跡モジュール210によって提供されたフレームからフレームのサブセットを選択することができる。いくつかの実施形態では、追跡モジュール210の構成は再構成モジュール250によって、画像キャプチャのための適切なフレームレートをセットするように修正され得る。
さらに、表面再構成手法の場合、いくつかの実施形態では、既存の再構成モデルが拡大または更新されるべきかどうかの判断は、現在の画像、および既存のモデルに現在表されていない情報を現在の画像が含む程度に部分的に基づき得る。
いくつかの実施形態では、既存のモデルに現在表されていない、新たにキャプチャされたカメラフレームで初めてイメージングされた環境のポイントまたはエリアがある場合(ステップ260における「Y」)、ステップ265において、新しい深度センサーデータまたは深度情報を収集することによって、モデルまたは3Dメッシュは拡大または更新され得る。
さらに、表面再構成手法の場合、既存のモデルにすでに表されているが、新たにキャプチャされたカメラフレームで異なる視点から初めてイメージングされた環境のポイントまたはエリアがある場合(ステップ260における「Y」)、ステップ265において、新しい深度センサーデータまたは深度情報を収集することによって、モデルまたは3Dメッシュは拡大または更新され得る。いくつかの実施形態では、新しいポイントの存在は、現在の画像に含まれる情報と既存のモデルに記憶されている情報との間の差を計算し、そのような差がゼロではないかどうかを判断することによって判断され得る。
表面再構成手法では、既存の再構成モデルが拡大されるべきである場合(ステップ260における「Y」)、ステップ265において、追跡モジュール210から受信された更新済みカメラ画像フレームを拡張するために、深度センサーがアクティブ化されてよく、深度情報が収集され得る。たとえば、追跡モジュール210から受信された更新済みカメラ画像フレームが、初めてイメージングされたポイントを含む場合、アルゴリズムはステップ265に進み、深度センサーは有効にされ得る。いくつかの実施形態では、ステップ265において深度情報を取得するために、3DTOFカメラ、構造化照明または立体視センサーが使用され得る。
新しいポイントがない場合(ステップ260における「N」)、表面再構成では、モデルは拡大されなくてよく、アルゴリズムはステップ255に戻って、別の反復を開始する。たとえば、表面再構成では、新しいカメラ画像フレームが新しいポイントを含まない場合、アルゴリズムはステップ255に戻って、次の更新を待つことができ、深度センサーは無効にされてよく、または(以前に無効にされた場合)無効にされたままでよい。
容量測定再構成を使用するいくつかの実施形態では、ある指定レートで(たとえば、5フレームごとに)深度データが収集され得る。それ以外の場合、深度センサーは無効にされ得る。たとえば、深度センサーはオフにされるか、または待機モードにされ得る。カメラの中心のロケーションなどの空間における所与のポイントから推定表面までの距離を判断するために、深度マップが使用され得る。したがって、容量測定再構成を使用するいくつかの実施形態では、追跡モジュール210から受信された更新済みカメラ画像フレームを拡張するために、深度センサーが(指定レートに基づいて)周期的にアクティブ化されてよく、深度情報が収集され得る。
容量測定再構成の場合、いくつかの実施形態では、既存のモデルにすでに表されている環境のポイントまたはエリアの追加測定値を融合させることによって、より高い品質が達成され得る。したがって、容量測定再構成が使用される環境では、新しいポイントがない状況でも、モデルまたは3Dメッシュが更新され得る。いくつかの実施形態では、同じ表面要素が更新される回数を制限するように、しきい値がセットされ得る。
いずれの手法でも、追跡モジュール210のフレームレートが十分に高い場合、カメラ姿勢は、(追跡モジュール210から取得された)直近の更新済みフレームの時間およびステップ265における深度センサーを使用した深度情報のキャプチャからの変化に直面している可能性が低い(または最小限に変化している可能性がある)。したがって、ステップ265において収集された深度情報は、最小限の精度低下を伴って、または精度低下を伴わずに、直近の更新済みフレームおよび関連する姿勢に関連付けられ得る。
別の実施形態では、色画像と深度情報の両方を含む新しい画像がステップ265において収集されてよく、新しい色+深度画像のための新しいカメラ姿勢が取得され得る。別の実施形態では、色画像と深度情報の両方を含む新しい画像がステップ265において収集されてよく、追跡モジュール210から取得された直近の更新済みフレームに関連するカメラ姿勢が、新たにキャプチャされた色+深度画像に関連付けられ得る。上記のように、十分に高いフレームレートの場合、追跡モジュール210から取得された直近の更新済みフレームおよび新たにキャプチャされた色+深度画像からのフレーム間カメラ姿勢の変化が、精度の劣化が最小限に抑えられ得るように最小限に抑えられ得る。
いくつかの実施形態では、ステップ265において色画像および深度情報を取得するために、3DTOFカメラ、構造化照明または立体視画像がキャプチャされ得る。受動ステレオセンサーが使用される実施形態では、(たとえば、追跡モジュール210によって受動ステレオセンサーを使用してキャプチャされた直近の更新済み画像からの)ステレオ画像ペアがここで、深度情報を取得するために処理され得る。
したがって、追跡モジュール210から受信された更新済みカメラ画像フレームが、(表面再構成の場合)初めて、または(容量測定再構成の場合)指定フレームレートに基づく適切なフレーム間隔の後、イメージングされたポイントを含む場合、アルゴリズムはステップ265に進んで、深度センサーが深度情報を取得するために有効にされ得る。したがって、いくつかの実施形態では、追跡モジュール210が継続的に動作し得る一方、深度収集を伴う電力集約的動作がステップ265において散発的にのみ実行され、それにより電力を節約する。
次いでアルゴリズムはルーチン275に進み、ルーチン275では、モデル化されている環境の3D再構成が、新たに収集された深度データに基づいて拡大され得る。
図2Bは、表面再構成技法を使用して再構成を拡大するためのルーチンまたは方法275に関するフローチャートである。いくつかの実施形態では、ルーチン275は、再構成モジュール250によって呼び出されること、または再構成モジュール250の一部を形成することがある。いくつかの実施形態では、ルーチン275は入力として、更新済みカメラ姿勢304と、ステップ265においてキャプチャされた色情報および深度情報を含む色+深度画像302とを受け入れることができる。いくつかの実施形態では、更新済みカメラ姿勢304は、ルーチン225によって計算された直近の姿勢であり得る。
いくつかの実施形態では、ステップ305において、色+深度画像302は、随意にフィルタ処理されて雑音成分が除去され、ダウンサンプリングされ得る。いくつかの実施形態では、ダウンサンプリングのレベルは、深度センサーの精度、カメラ姿勢推定304の精度、および/または他のシステムパラメータに部分的に基づき得る。たとえば、一実施形態では、640×480色+深度ピクセルの色+深度画像が320×240色+深度ピクセルにダウンサンプリングされ得る。いくつかの実施形態では、色+深度画像は、異なるレートでダウンサンプリングされ得る。たとえば、一実施形態では、画像の色情報がフル解像度で維持され得る一方、深度情報はダウンサンプリングされ得る。
たとえば、ステップ305において640×480色+深度ピクセル画像がダウンサンプリングされなかった場合、ステップ310において、得られる部分的メッシュは、639*479*2=612,162個もの三角形をもたらし得る。ステップ305において画像が320×240にダウンサンプリングされた場合、三角形の数はわずか152,482個の三角形となる。したがって、様々なシステムパラメータに基づいて、ステップ305においてダウンサンプリングを有利に使用して、再構成の計算上の複雑性を低減し、3D再構成への影響を最小限に抑えてプロセスを迅速化することができ、それにより、電力消費のさらなる効率に寄与することができる。
ステップ310において、表面再構成では、深度画像およびカメラ姿勢に基づいて部分的メッシュが生成され得る。一実施形態では、表面再構成モジュールは深度情報を使用して、視覚方向に沿って色画像を押し出し、テクスチャ加工または有色の高密度3Dメッシュを作成することができる。たとえば、メッシュは、画像をレンダリングするために使用され得る三角形からなり得る。「部分的メッシュ」という用語は、ステップ265において取得された単一の色+深度画像302から作成されたメッシュを指す。「既存メッシュ」という用語は、すべての部分的メッシュの組合せまたはマージから取得された、ある時点における結果を指す。
第1の部分的メッシュが作成されたとき、それは既存メッシュとして自動的に使用される。任意の他の後続部分的メッシュが作成されたとき、後続部分的メッシュは既存メッシュとマージされる。いくつかの実施形態では、メッシュは、関連するカメラ姿勢を伴うキーフレームおよびキーフレームから発生した記述子を伴うまばらな3Dポイントから作成される。キーフレームは、深度情報を含み、カメラの回転および並進の点で互いに比較的離れているカメラ姿勢でキャプチャされた選択された画像である。いくつかの実施形態では、グローバル座標系は、第1のキーフレームに関連するカメラ姿勢に基づいて定義され得る。
ステップ320において、既存メッシュと部分的メッシュとの間の重複が判断される。いくつかの実施形態では、ルーチン275はさらに、(ルーチン225によって計算された)追跡システムの6DOF姿勢304を使用して、最初に新しいメッシュを既存メッシュと位置合わせすることができる。いくつかの実施形態では、ステップ325において、追跡システムの姿勢推定精度に応じて、ルーチン275は、随意にさらに、Iterative Closest Point(ICP)などの方法を使用して位置合わせを精緻化することができる。ICPアルゴリズムは、部分的メッシュと既存メッシュの重複箇所との間の差を最小化する。一実施形態では、ICPアルゴリズムは、以下のステップを反復的に実行して、部分的メッシュと既存メッシュの重複部分との位置合わせを精緻化し、2つのメッシュにおける最も近い近傍ポイントを関連付け、平均二乗コスト関数を使用して変換パラメータを推定し、次いで次の反復を開始する前に推定パラメータを使用してポイントを変換することができる。
次に、ステップ330において、部分的メッシュが既存メッシュと位置合わせされると、再構成モジュールは部分的メッシュから、既存メッシュにすでに存在する重複する細部をすべて削減することができる。いくつかの実施形態では、ステップ330において、重複する細部はすべて除去されること、または、たとえば、すべての近くの/対応する頂点部分を平均化することによって既存メッシュと融合もしくはマージされることがある。別の実施形態では、重複する細部は除去されること、または様々な他のヒューリスティックに基づいて既存のモデルと融合もしくはマージされることがある。たとえば、一実施形態では、細部の直近の観測が維持され得る。別の実施形態では、重複する細部は、既存メッシュの滑らかさを保持するように融合され得る。
ステップ335において、入力色画像302における情報を使用して、重複する情報の除去の後、テクスチャまたは頂点の色情報が部分的メッシュに追加され得る。ステップ340において、部分的メッシュは既存メッシュにマージされる。いくつかの実施形態では、部分的メッシュを既存メッシュとマージする前に、重複する情報が部分的メッシュから除去され得る。別の実施形態では、上記のように、たとえば、部分的メッシュおよび既存メッシュにおけるすべての近くの、もしくは対応する頂点部分を平均化することによって、または他のヒューリスティックを使用することによって、重複する情報を除去することなく、メッシュはマージされ得る。したがって、既存メッシュは成長し、より複雑になり得る。いくつかの実施形態では、表面再構成手法は、オンデマンドで深度センサーから深度情報を取得することができる。たとえば、表面再構成手法は、たとえば、マッピングシーケンスの最初では1秒に1回または2回、および終わりの方では数秒ごとにのみ、オンデマンドで深度情報を収集し、それにより、深度センサーの使用の大幅な低減と、対応する電力消費低減とをもたらすことができる。
図2Cは、容量測定再構成技法を使用して再構成を拡大するためのルーチンまたは方法275に関するフローチャートである。いくつかの実施形態では、ルーチン275は、再構成モジュール250によって呼び出されること、または再構成モジュール250の一部を形成することがある。いくつかの実施形態では、ルーチン275は入力として、更新済みカメラ姿勢304と、ステップ265においてキャプチャされた色情報および深度情報を含む色+深度画像302とを受け入れることができる。いくつかの実施形態では、更新済みカメラ姿勢304は、ルーチン225によって計算された直近の姿勢であり得る。
いくつかの実施形態では、ステップ305において、色+深度画像302は、随意にフィルタ処理されて雑音成分が除去され、ダウンサンプリングされ得る。いくつかの実施形態では、ダウンサンプリングのレベルは、深度センサーの精度、カメラ姿勢推定304の精度、および/または他のシステムパラメータに部分的に基づき得る。したがって、様々なシステムパラメータに基づいて、ステップ305においてダウンサンプリングを有利に使用して、再構成の計算上の複雑性を低減し、3D再構成への影響を最小限に抑えてプロセスを迅速化することができ、それにより、電力消費のさらなる効率に寄与することができる。
ステップ350において、深度画像およびカメラ姿勢に基づいて容量測定データセットが生成および/または更新され得る。いくつかの実施形態では、ステップ350において、カメラフレームからの深度データは、計算効率の良い容量測定データ構造に融合される。一実施形態では、容量測定再構成は、3D距離関数を使用する表面の暗示的表現を使用することができる。
容量測定再構成を使用する実施形態では、ある指定レートで(たとえば、5フレームごとに)深度データが収集され得る。それ以外の場合、深度センサーは無効にされ得る。たとえば、深度センサーはオフにされるか、または待機モードにされ得る。カメラの中心のロケーションなどの空間における所与のポイントから推定表面までの距離を判断するために、深度マップが使用され得る。したがって、容量測定再構成を使用するいくつかの実施形態では、追跡モジュール210から受信された更新済みカメラ画像フレームを拡張するために、深度センサーが(指定レートに基づいて)周期的にアクティブ化されてよく、深度情報が収集され得る。
容量測定再構成の場合、いくつかの実施形態では、既存のモデルにすでに表されている環境のポイントまたはエリアの追加測定値を融合させることによって、より高い品質が達成され得る。したがって、容量測定再構成が使用される環境では、新しいポイントがない状況でも、容量測定データセットが更新され得る。いくつかの実施形態では、同じ表面要素が更新される回数を制限するように、しきい値がセットされ得る。
ステップ355において、様々な技法を使用して容量測定データセット/3Dメッシュから表面抽出が実行され得る。たとえば、表面を抽出するために、マーチングキューブアルゴリズムが使用され得る。いくつかの実施形態では、容量測定再構成の場合、融合ステップとは無関係である別個のステップにおいて表面抽出が行われる。
いくつかの実施形態では、容量測定再構成は、動的に設定可能であり得る固定データレート(たとえば、5つの色+深度フレーム/秒)を使用することができる。たとえば、深度カメラからの更新の頻度は、アプリケーション要求(たとえば、要求されるモデルのより高い、またはより低い精度)に基づいて、またはコンテキストから得られる手掛かり(たとえば、デバイスでの低い、または高いバッテリーレベル)に基づいて変動する(増加または減少する)ことがある。いくつかの実施形態では、表面抽出ステップは融合とは無関係に実行され得る。
図2Dは、カメラフレームからの深度データを容量測定データセットに融合させるための例示的な方法を示すフローチャートを示している。3D空間における正規サンプルのセットとして表すために、3D切断符号付き距離関数(TDSF)が使用され得る。各サンプルにおいて、TDSF(サンプル)値は、推定表面までの符号付き距離をもたらし、この場合、正の距離は、オブジェクトの外部にあるサンプルを示し、負の距離は、オブジェクトの内部にあるサンプルを示す。
容量測定再構成を使用するいくつかの実施形態では、ある指定レートで(たとえば、5フレームごとに)深度データが収集されることがあり、深度マップが使用されて、カメラの中心のロケーションなどの空間における所与のポイントから推定表面までの距離が判断され得る。次いで、これらの距離は、容量測定データセットにおける符号付き距離にマップされ得る。
ステップ351において、容量における各サンプルが深度マップのカメラ座標系に変換されてよく、入力カメラ姿勢に基づいて深度マップにサンプルが投影されて、光線に沿った表面までの測定距離が取得され得る。その投影されたピクセルにおける距離値は、光線に沿った表面までの測定距離推定値をもたらす。
次にステップ353において、サンプル深度と測定距離推定値との間の差が計算される。サンプルロケーションから表面までの測定相対距離は、サンプル深度と測定距離との間の差と定義される。
ステップ355において、測定相対距離がTDSFにマップされ、ステップ357において、マップされたTDSF値が記憶された値と組み合わされ得る。たとえば、光線上のサンプルポイントによって提供された距離推定値は、再帰型フィルタを使用して相対距離と距離推定値を組み合わせることによって更新され得る。たとえば、一実装形態は、距離推定値sとともに重みwを使用し、重み付けされた更新を使用することによって新しい測定値mに基づいて距離推定値sを更新することができ、これは以下によって与えられ得る。
Figure 0005951908
ステップ359において、追加サンプルが処理されるべきである場合(ステップ359における「Y」)、さらなる反復開始が開始されて、次のサンプルが処理され得る。さらなるサンプルがない場合(ステップ359における「N」)、制御は呼出しルーチンに戻され得る。
いくつかの実施形態では、追跡モジュール210および再構成モジュール250は並行して実行され得る。たとえば、追跡モジュール210および再構成モジュール250は、別個のスレッドまたはプロセスとして動作し得る。いくつかの実施形態では、追跡モジュール210および再構成モジュール250は別個のプロセッサコア上で動作し得る。
いくつかの実施形態では、上述の方法200は、電力効率の良い深度センサーの使用によるリアルタイム3D再構成を容易にし得る。一実施形態では、視覚追跡システムが適切なフレームレートで継続的に動作することができる一方、3D再構成モジュールは画像+深度データを散発的に収集することができる。たとえば、色+深度画像ペアが収集され得るレートは、アプリケーションに依存するが、マッピングシーケンスの最初ではより高いことがあり、終わりの方では大幅に低下することがある。いくつかの実施形態では、深度情報が継続的に収集される従来型の方法に対して、上記の方法200は、深度情報を必要とするフレームの数を一定の度合い以上減らし、それにより大幅な電力節約をもたらすことが可能であり得る。
いくつかの例示的な実装形態では、視覚追跡システムが30fpsのフレームレートで継続的に動作することができる一方、3D再構成モジュールは画像+深度データを散発的に収集する。一般に、色+深度画像が収集されるレートは、特定の用途に依存する。しかしながら、いくつかの典型的な使用事例では、3D再構成モジュールは、マッピングシーケンスの最初では1秒に1回または2回、およびマッピングシーケンスの終わりの方では数秒ごとにのみ、画像+深度データを収集することができる。したがって、常に色+深度情報を必要とする従来型の実装形態に対して、本明細書で説明する実施形態は、深度情報が収集されるフレームの数を、従来型の実装形態と比較して10分の1以下に減らす。したがって、深度センサーが迅速に有効にされ、無効にされ、オーバーヘッドが最小限に抑えられ得る場合、開示される実施形態におけるCVアプリケーションの深度収集のための電力消費は、従来の方法によって消費される電力の10%以下となり得る。
図3は、開示される実施形態と合致する、3D再構成のための例示的な方法400のフローチャートを示している。いくつかの実施形態では、方法400はプロセッサ150によって実行され得る。いくつかの実施形態では、方法400の一部は、CVモジュール155によって実行され得る。
ステップ405において、少なくとも1つのカメラを使用して第1の(または次の)画像がキャプチャされてよく、第1の画像は、モデル化されている環境の少なくとも一部分に関する色情報を含む。いくつかの実施形態では、第1の画像は、MS100のカメラ110を使用してキャプチャされ得る。
次にステップ410において、カメラによってキャプチャされた第1の(または次の)画像に関するカメラ姿勢情報が取得され得る。いくつかの実施形態では、ステップ405および410の一部は追跡モジュール210によって実行され得る。
ステップ420において、第1の(または次の)キャプチャされた画像および関連するカメラ姿勢情報に部分的に基づいて、モバイルデバイスによってモデル化されている環境の第1の3次元(3D)モデルを拡大または更新すべきかどうかの判断が行われ得る。いくつかの実施形態では、表面および/または容量測定再構成技法が3Dモデルに使用されることがあり、モデルの拡大に関する決定が、モデル化に使用されている特定の技法と合致するように行われ得る。
たとえば、表面再構成では、第1の(または次の)画像およびカメラ姿勢に基づいて、環境の既存のモデルに現在表されていない情報を画像が含む程度の判断が行われ得る。たとえば、表面再構成では、環境の既存のモデルを拡大すべきかどうかの判断が、既存のモデルにすでに表されているが、新たにキャプチャされたカメラフレームで異なる視点から初めてイメージングされた環境のポイントまたはエリアがあるかどうかに基づき得る。
ステップ430において、モデルが拡大または更新されるべきではない場合(ステップ430における「N」)、ステップ440において、MS100の深度センサーが無効にされ得る。容量測定再構成では、たとえば、深度センサーは、深度情報が収集されている頻度に応じて、フレーム間の適切な間隔で無効にされ得る。表面再構成では、たとえば、画像が新しい情報を含まない場合に、深度センサーは無効にされ得る。容量測定再構成では、深度情報が周期的に指定レートで収集されることがあり、深度センサーは、指定レートに基づいて適切な間隔で有効にされ得る。それ以外の場合、深度センサーは無効にされ得る。たとえば、深度センサーはオフにされるか、または待機モードにされ得る。
いくつかの実施形態では、表面再構成と容量測定再構成の両方の場合、深度センサーを無効にすることは、深度センサーに供給される電力をオフにすること、または深度画像の計算に関係する機能を無効にすることのうちの少なくとも1つを含むことができる。たとえば、深度センサーはオフにされるか、または待機モードにされ得る。いくつかの実施形態では、たとえば、ステレオビジョンセンサーが無効にされるとき、カメラ110によってキャプチャされる画像は単眼であり得る。さらに、いくつかの実施形態では、深度センサーを無効にすることによって、受動ステレオビジョンセンサーによってキャプチャされたステレオ画像の処理に関連する計算も無効にされ得る。たとえば、一実施形態では、受動ステレオビジョンセンサーによってステレオ画像がキャプチャされ得るが、プロセッサ150は、ステレオ画像を処理しないことがあり、代わりに、処理のためにステレオペアから単一の画像を選択することがある。したがって、いくつかの実施形態では、3D再構成モジュールは深度データを散発的に収集/使用し、それにより電力を節約する。
一方、モデルが拡大または更新されるべきである場合(ステップ430における「Y」)、ステップ450において、MS100の深度センサーが有効にされ得る。たとえば、表面再構成では、第1の(次の)画像が十分な新しい情報を含むので、モデル化されている環境の3Dモデルが拡大されるべきである場合、画像および関連する姿勢情報のキャプチャと連携して適切な深度センサーをオンにすることによって、画像および深度情報が取得され得る。
別の例として、ある指定レートで深度情報が収集されている容量測定再構成では、深度センサーが指定レートに基づいて有効にされてよく、環境の3Dモデルが新しい深度情報により更新され得る。容量測定再構成の場合、いくつかの実施形態では、既存のモデルにすでに表されている環境のポイントまたはエリアの追加測定値を融合させることによって、より高い品質が達成され得る。したがって、容量測定再構成が使用される環境では、新しいポイントがない状況でも、モデルまたは3Dメッシュが更新され得る。いくつかの実施形態では、同じ表面要素が更新される回数を制限するように、しきい値または他のパラメータがセットされ得る。
たとえば、いくつかの実施形態では、少なくとも1つのカメラにより第2の画像がキャプチャされ得る。さらに、第2の画像は、深度センサーによって少なくとも部分的に提供された深度情報により拡張され得る。
表面再構成では、MSによってモデル化されている環境の部分的モデルが、環境の第1の3Dモデルとマージされ得る。部分的モデルは、第2の画像ならびに第2の画像に関する深度情報およびカメラ姿勢情報に部分的に基づき得る。いくつかの実施形態では、部分的3Dモデルを第1の3Dモデルとマージする前に、第1の3Dモデルおよび部分的3Dモデルに共通する情報が部分的3Dモデルから除去され得る。いくつかの実施形態では、部分的モデルは、ダウンサンプリングされたより低い解像度の拡張された第2の画像に基づき得る。いくつかの実施形態では、MSによってモデル化されている環境の部分的モデルが、第2の画像に関するカメラ姿勢情報に基づいて、環境の第1の3Dモデルと位置合わせされ得る。いくつかの実施形態では、第1の3Dモデルと部分的3Dモデルの位置合わせは、Iterative Closest Point(ICP)を使用して精緻化され得る。
容量測定再構成では、ある指定レートで(たとえば、5フレームごとに)深度データが収集されることがあり、深度マップが使用されて、カメラの中心のロケーションなどの空間における所与のポイントから推定表面までの距離が判断され得る。次いで、これらの距離は、容量測定データセットにおける符号付き距離にマップされ得る。したがって、容量における各サンプルが深度マップのカメラ座標系に変換されてよく、入力カメラ姿勢に基づいて深度マップにサンプルが投影されて、光線に沿った表面までの測定距離が取得され得る。その投影されたピクセルにおける距離値は、光線に沿った表面までの測定距離推定値をもたらす。
次に、サンプル深度と測定距離推定値との間の差が計算され得る。サンプルロケーションから表面までの測定相対距離は、サンプル深度と測定距離との間の差と定義されるものであり、次いでTDSFにマップされてよく、マップされたTDSF値は記憶された値と組み合わされ得る。たとえば、光線上のサンプルポイントによって提供された距離推定値は、再帰型フィルタを使用して相対距離と距離推定値を組み合わせることによって更新され得る。たとえば、一実装形態は、距離推定値sとともに重みwを使用し、重み付けされた更新を使用することによって新しい測定値mに基づいて距離推定値sを更新することができ、これは以下によって与えられ得る。
Figure 0005951908
処理されるべき追加画像がある場合(ステップ460における「Y」)、プロセスはステップ410に戻って、別の反復を開始する。たとえば、3D再構成および/またはマッピングシーケンスが不完全である場合、追加画像の収集の判断が行われてよく、ステップ405において新しい反復が開始される。そうではなく、さらなる画像がない場合(ステップ460における「N」)、本方法は終了し得る。
本明細書で説明する方法は、アプリケーションに依存する様々な手段によって実施され得る。たとえば、ファームウェアおよび/またはソフトウェア実装形態の場合、これらの方法は、本明細書で説明する機能を実行するモジュール(たとえば、手順、機能など)で実施され得る。命令を有形に具現化するいずれの機械可読媒体も、本明細書で説明する方法を実施する際に使用され得る。
たとえば、ソフトウェアコードはメモリに記憶され、MS100のプロセッサ150などのプロセッサユニットによって実行され得る。いくつかの実施形態では、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶され得る。これらの例には、データ構造によりコード化されたコンピュータ可読媒体およびコンピュータプログラムによりコード化されたコンピュータ可読媒体が含まれる。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体を含む。
記憶媒体は、コンピュータによってアクセスされ得る任意の使用可能な媒体であり得る。限定ではなく、例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または所望のプログラムコードを命令またはデータ構造の形で記憶するために使用されコンピュータによってアクセスされ得る任意の他の媒体を含むことができ、本明細書で使用する場合、ディスク(diskおよびdisc)には、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびブルーレイディスク(disc)が含まれ、ディスク(disk)は通常、データを磁気的に再生するが、ディスク(disc)はデータをレーザーによって光学的に再生する。前述の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
コンピュータ可読媒体における記憶に加えて、命令および/またはデータは、通信装置に含まれる伝送媒体における信号として提供され得る。たとえば、通信装置は、命令およびデータを示す信号を有する送受信機を含むことができる。これら命令およびデータは、1つまたは複数のプロセッサに、特許請求の範囲で概説される機能を実施させるように構成されている。すなわち、通信装置は、開示された機能を実行するための情報を示す信号を伴う送信媒体を含む。第1の時間において、通信装置に含まれる送信媒体は、開示された機能を実行するための情報の第1の部分を含み得る一方、第2の時間において、通信装置に含まれる送信媒体は、開示された機能を実行するための情報の第2の部分を含み得る。
開示された態様の前述の記載は、いかなる当業者であっても、本開示を作成または使用できるように提供される。これらの態様への様々な変形は、当業者に容易に明らかとなり、本明細書で定義された一般原理は、本開示の趣旨または範囲から逸脱することなく、他の態様に適用され得る。
100 移動局(MS)
110 カメラ
120 接続
130 慣性測定ユニット(IMU)
150 プロセッサ
155 コンピュータビジョン(CV)モジュール
160 メモリ
170 送受信機
180 ディスプレイ/スクリーン
200 方法、システム、3D再構成プロセス
210 追跡モジュール
250 再構成モジュール
302 色+深度画像、入力色画像
304 更新済みカメラ姿勢、6DOF姿勢、カメラ姿勢推定
400 方法

Claims (30)

  1. 少なくとも1つのカメラおよび深度センサーを含む移動局において実行される方法であって、
    少なくとも1つのカメラにより第1の画像をキャプチャするステップであって、前記第1の画像は、前記移動局によってモデル化されている環境の少なくとも一部分に関する色情報を含む、ステップと、
    前記第1の画像に関するカメラ姿勢情報を取得するステップと、
    前記第1の画像および前記第1の画像に関する前記カメラ姿勢情報に部分的に基づいて、前記環境の第1の3次元(3D)モデルを、前記移動局によってモデル化されている前記環境の部分的モデルを前記環境の前記第1の3Dモデルとマージすることによって拡大すべきかどうかを判断するステップと、
    前記第1の3Dモデルが拡大されるときに、前記深度センサーを有効にするステップと
    を含む方法。
  2. 前記深度センサーを有効にするステップは、
    前記深度センサーに供給される電力をオンにするステップ、または
    深度画像の計算に関係する機能を有効にするステップ
    のうちの少なくとも1つを含む、請求項1に記載の方法。
  3. 前記第1の3Dモデルが拡大されないときに、前記深度センサーの無効化を維持するステップ
    をさらに含む、請求項1に記載の方法。
  4. 前記深度センサーを有効にすると、前記第1の3Dモデルは、
    前記少なくとも1つのカメラにより第2の画像をキャプチャするステップと、
    前記深度センサーによって少なくとも部分的に提供された深度情報により前記第2の画像を拡張するステップと
    によって拡大され、
    前記部分的モデルは、前記第2の画像ならびに前記第2の画像に関する前記深度情報およびカメラ姿勢情報に部分的に基づく、請求項1に記載の方法。
  5. 前記部分的モデルを前記第1の3Dモデルとマージする前に、前記第1の3Dモデルおよび前記部分的モデルに共通する情報が前記部分的モデルから除去される、請求項4に記載の方法。
  6. 前記部分的モデルは、ダウンサンプリングされたより低い解像度の拡張された第2の画像に基づく、請求項4に記載の方法。
  7. 前記移動局によってモデル化されている前記環境の前記部分的モデルを、前記環境の前記第1の3Dモデルとマージするステップは、前記第2の画像に関する前記カメラ姿勢情報に基づいて、前記第1の3Dモデルと前記部分的モデルを位置合わせするステップをさらに含む、請求項4に記載の方法。
  8. 前記第1の3Dモデルと前記部分的モデルの前記位置合わせは、Iterative Closest Point(ICP)を使用して精緻化される、請求項7に記載の方法。
  9. 色情報を含む第1の画像をキャプチャするためのカメラと、
    前記カメラに結合された深度センサーと、
    前記深度センサーおよび前記カメラに結合されたプロセッサと
    を含む移動局であって、前記プロセッサは、
    前記第1の画像に関するカメラ姿勢情報を取得し、
    前記第1の画像および前記第1の画像に関する前記カメラ姿勢情報に部分的に基づいて、環境の第1の3次元(3D)モデルを、前記移動局によってモデル化されている前記環境の部分的モデルを前記環境の前記第1の3Dモデルとマージすることによって拡大すべきかどうかを判断し、
    前記第1の3Dモデルが拡大される場合に、前記深度センサーを有効にする
    ように構成される、移動局。
  10. 前記深度センサーを有効にするために、前記プロセッサは、
    前記深度センサーに供給される電力をオンにするステップ、または
    深度画像の計算に関係する機能を有効にするステップ
    のうちの少なくとも1つを実行するように構成される、請求項9に記載の移動局。
  11. 前記プロセッサは、
    前記第1の3Dモデルが拡大されないときに、前記深度センサーの無効化を維持する
    ようにさらに構成される、請求項10に記載の移動局。
  12. 前記深度センサーを有効にすると、
    前記カメラはさらに、色情報を含む第2の画像をキャプチャし、
    前記深度センサーはさらに、前記カメラによってキャプチャされた前記第2の画像を深度情報により拡張し、
    前記プロセッサは、
    色情報および深度情報を含む前記拡張された第2の画像を取得するようにさらに構成され、
    前記部分的モデルは、前記第2の画像ならびに前記第2の画像に関する前記深度情報およびカメラ姿勢情報に部分的に基づく、請求項9に記載の移動局。
  13. 前記部分的モデルを前記第1の3Dモデルとマージする前に、前記プロセッサは、
    前記第1の3Dモデルおよび前記部分的モデルに共通する情報を前記部分的モデルから除去する
    ようにさらに構成される、請求項12に記載の移動局。
  14. 前記プロセッサは、
    前記第2の画像のダウンサンプリングされたより低い解像度のバージョンに部分的に基づく前記部分的モデルを取得する
    ように構成される、請求項12に記載の移動局。
  15. 前記移動局によってモデル化されている前記環境の前記部分的モデルを、前記環境の前記第1の3Dモデルとマージするために、前記プロセッサは、
    前記第2の画像に関連する前記カメラ姿勢情報に基づいて、前記第1のモデルと前記部分的モデルを位置合わせする
    ように構成される、請求項12に記載の移動局。
  16. 前記プロセッサは、
    前記第1の3Dモデルと前記部分的モデルの前記位置合わせを、Iterative Closest Point(ICP)を使用して精緻化する
    ように構成される、請求項15に記載の移動局。
  17. 色情報を含む第1の画像をキャプチャするためのイメージング手段と、
    前記イメージング手段に結合された深度感知手段と、
    前記深度感知手段および前記イメージング手段に結合された処理手段と
    を含む装置であって、前記処理手段は、
    前記第1の画像に関するイメージング手段姿勢情報を取得するための手段と、
    前記第1の画像および前記第1の画像に関する前記イメージング手段姿勢情報に部分的に基づいて、環境の第1の3次元(3D)モデルを拡大すべきかどうかを判断するための手段であって、前記モデルは、前記装置によってモデル化されている前記環境の部分的モデルを前記環境の前記第1の3Dモデルとマージすることによって拡大される、手段と、
    前記第1の3Dモデルが拡大される場合に、前記深度感知手段を有効にするための手段と
    をさらに含む、装置。
  18. 前記深度感知手段を有効にするための手段は、
    前記深度感知手段に供給される電力をオンにするための手段、または
    深度画像の計算に関係する機能を有効にするための手段
    のうちの少なくとも1つをさらに含む、請求項17に記載の装置。
  19. 前記処理手段は、
    前記第1の3Dモデルが拡大されないときに、深度センサーの無効化を維持するための手段
    をさらに含む、請求項17に記載の装置。
  20. 前記深度感知手段を有効にすると、
    前記イメージング手段はさらに、色情報を含む第2の画像をキャプチャし、
    前記深度感知手段はさらに、深度情報により前記第2の画像を拡張し、
    前記処理手段は、
    色情報および深度情報を含む前記拡張された第2の画像を取得するための手段と
    をさらに含み、
    前記部分的モデルは、前記拡張された第2の画像および前記第2の画像に関する前記イメージング手段姿勢情報に部分的に基づく、請求項17に記載の装置。
  21. 前記処理手段は、
    前記部分的モデルを前記第1の3Dモデルとマージする前に、前記第1の3Dモデルおよび前記部分的モデルに共通する情報を前記部分的モデルから除去するための手段
    をさらに含む、請求項20に記載の装置。
  22. 前記装置によってモデル化されている前記環境の前記部分的モデルを、前記環境の前記第1の3Dモデルとマージするための手段は、
    前記第2の画像に関連する前記イメージング手段姿勢情報に基づいて、前記第1の3Dモデルと前記部分的モデルを位置合わせするための手段
    をさらに含む、請求項20に記載の装置。
  23. 前記環境の前記部分的モデルを、前記環境の前記第1の3Dモデルとマージするための前記手段は、
    前記拡張された第2の画像を、より低い解像度の拡張された第2の画像にダウンサンプリングするための手段
    をさらに含み、
    マージするための前記手段は、前記ダウンサンプリングされたより低い解像度の拡張された第2の画像に対して動作する、請求項20に記載の装置。
  24. プロセッサによって実行されたときに、少なくとも1つのカメラおよび深度センサーを含む移動局の方法のステップを実行する命令を含む非一時的コンピュータ可読媒体であって、前記方法は、
    少なくとも1つのカメラにより第1の画像をキャプチャするステップであって、前記第1の画像は、前記移動局によってモデル化されている環境の少なくとも一部分に関する色情報を含む、ステップと、
    前記第1の画像に関するカメラ姿勢情報を取得するステップと、
    前記第1の画像および前記第1の画像に関する前記カメラ姿勢情報に部分的に基づいて、前記環境の第1の3次元(3D)モデルを、前記移動局によってモデル化されている前記環境の部分的モデルを前記環境の前記第1の3Dモデルとマージすることによって拡大すべきかどうかを判断するステップと、
    前記第1の3Dモデルが拡大されるときに、前記深度センサーを有効にするステップと
    を含む、非一時的コンピュータ可読媒体。
  25. 前記深度センサーを有効にするステップは、
    前記深度センサーに供給される電力をオンにするステップ、または
    深度画像の計算に関係する機能を有効にするステップ
    のうちの少なくとも1つをさらに含む、請求項24に記載の非一時的コンピュータ可読媒体。
  26. 前記第1の3Dモデルが拡大されない場合に、前記深度センサーの無効化を維持するステップ
    をさらに含む、請求項24に記載の非一時的コンピュータ可読媒体。
  27. 前記深度センサーを有効にすると、前記第1の3Dモデルは、
    前記深度センサーによって少なくとも部分的に提供された深度情報により第2の画像を拡張するステップによって拡張され、
    前記部分的モデルは、前記第2の画像ならびに前記第2の画像に関する前記深度情報およびカメラ姿勢情報に部分的に基づく、請求項24に記載の非一時的コンピュータ可読媒体。
  28. 前記部分的モデルを前記第1の3Dモデルとマージする前に、前記第1の3Dモデルおよび前記部分的モデルに共通する情報が前記部分的モデルから除去される、請求項27に記載の非一時的コンピュータ可読媒体。
  29. 前記移動局によってモデル化されている前記環境の前記部分的モデルを、前記環境の前記第1の3Dモデルとマージするステップは、前記第2の画像に関する前記カメラ姿勢情報に基づいて、前記第1の3Dモデルと前記部分的モデルを位置合わせするステップをさらに含む、請求項27に記載の非一時的コンピュータ可読媒体。
  30. 前記部分的モデルは、ダウンサンプリングされたより低い解像度の拡張された第2の画像に基づく、請求項27に記載の非一時的コンピュータ可読媒体。
JP2015555387A 2013-01-30 2014-01-27 電力効率の良い深度センサーの使用によるリアルタイム３ｄ再構成 Active JP5951908B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361758699P 2013-01-30 2013-01-30
US61/758,699 2013-01-30
US201361769465P 2013-02-26 2013-02-26
US61/769,465 2013-02-26
US14/161,140 2014-01-22
US14/161,140 US9083960B2 (en) 2013-01-30 2014-01-22 Real-time 3D reconstruction with power efficient depth sensor usage
PCT/US2014/013211 WO2014120613A1 (en) 2013-01-30 2014-01-27 Real-time 3d reconstruction with power efficient depth sensor usage

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016114190A Division JP6189483B2 (ja) 2013-01-30 2016-06-08 電力効率の良い深度センサーの使用によるリアルタイム３ｄ再構成

Publications (2)

Publication Number Publication Date
JP2016514384A JP2016514384A (ja) 2016-05-19
JP5951908B2 true JP5951908B2 (ja) 2016-07-13

Family

ID=50727551

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015555387A Active JP5951908B2 (ja) 2013-01-30 2014-01-27 電力効率の良い深度センサーの使用によるリアルタイム３ｄ再構成
JP2016114190A Active JP6189483B2 (ja) 2013-01-30 2016-06-08 電力効率の良い深度センサーの使用によるリアルタイム３ｄ再構成

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016114190A Active JP6189483B2 (ja) 2013-01-30 2016-06-08 電力効率の良い深度センサーの使用によるリアルタイム３ｄ再構成

Country Status (9)

Country Link
US (2) US9083960B2 (ja)
EP (1) EP2951788B1 (ja)
JP (2) JP5951908B2 (ja)
KR (1) KR101654174B1 (ja)
CN (1) CN104956404B (ja)
ES (1) ES2675171T3 (ja)
HU (1) HUE038287T2 (ja)
TW (2) TWI544781B (ja)
WO (1) WO2014120613A1 (ja)

Families Citing this family (155)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US11172126B2 (en) * 2013-03-15 2021-11-09 Occipital, Inc. Methods for reducing power consumption of a 3D image capture system
US9772173B2 (en) 2013-06-27 2017-09-26 Faro Technologies, Inc. Method for measuring 3D coordinates of a surface with a portable articulated arm coordinate measuring machine having a camera
WO2015006224A1 (en) * 2013-07-08 2015-01-15 Vangogh Imaging, Inc. Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
KR102137264B1 (ko) * 2013-07-09 2020-07-24 삼성전자주식회사 카메라 포즈 추정 장치 및 방법
JP6102648B2 (ja) * 2013-09-13 2017-03-29 ソニー株式会社 情報処理装置及び情報処理方法
US9438775B2 (en) 2013-09-17 2016-09-06 Occipital, Inc. Apparatus for real-time 3D capture
US9336440B2 (en) 2013-11-25 2016-05-10 Qualcomm Incorporated Power efficient use of a depth sensor on a mobile device
US9171403B2 (en) * 2014-02-13 2015-10-27 Microsoft Technology Licensing, Llc Contour completion for augmenting surface reconstructions
CN109945844B (zh) 2014-05-05 2021-03-12 赫克斯冈技术中心 测量子系统和测量系统
US20150332464A1 (en) 2014-05-19 2015-11-19 Occipital, Inc. Methods for automatic registration of 3d image data
US10021379B2 (en) 2014-06-12 2018-07-10 Faro Technologies, Inc. Six degree-of-freedom triangulation scanner and camera for augmented reality
US9402070B2 (en) 2014-06-12 2016-07-26 Faro Technologies, Inc. Coordinate measuring device with a six degree-of-freedom handheld probe and integrated camera for augmented reality
US10311638B2 (en) * 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US20160027214A1 (en) * 2014-07-25 2016-01-28 Robert Memmott Mouse sharing between a desktop and a virtual world
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
EP3175200A4 (en) 2014-07-31 2018-04-04 Hewlett-Packard Development Company, L.P. Three dimensional scanning system and framework
JP2017524944A (ja) * 2014-08-11 2017-08-31 ファロ テクノロジーズ インコーポレーテッド 拡張現実のための６自由度三角計測スキャナとカメラ
KR20160022086A (ko) * 2014-08-19 2016-02-29 한국과학기술연구원 3d 프린팅을 지원하는 단말기 및 방법, 그 방법을 수행하기 위한 컴퓨터 프로그램
US10755433B2 (en) * 2014-08-29 2020-08-25 Toyota Motor Europe Method and system for scanning an object using an RGB-D sensor
US10484697B2 (en) * 2014-09-09 2019-11-19 Qualcomm Incorporated Simultaneous localization and mapping for video coding
US10176625B2 (en) 2014-09-25 2019-01-08 Faro Technologies, Inc. Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images
US20170336203A1 (en) * 2014-10-26 2017-11-23 Galileo Group, Inc. Methods and systems for remote sensing with drones and mounted sensor devices
US10455134B2 (en) 2014-10-26 2019-10-22 Galileo Group, Inc. Temporal processes for aggregating multi dimensional data from discrete and distributed collectors to provide enhanced space-time perspective
US9710960B2 (en) 2014-12-04 2017-07-18 Vangogh Imaging, Inc. Closed-form 3D model generation of non-rigid complex objects from incomplete and noisy scans
US9506744B2 (en) 2014-12-16 2016-11-29 Faro Technologies, Inc. Triangulation scanner and camera for augmented reality
US10275113B2 (en) 2014-12-19 2019-04-30 Hewlett-Packard Development Company, L.P. 3D visualization
CN104616127B (zh) * 2015-01-16 2018-04-03 北京邮电大学 一种基于rfid系统的三维重构仓储运维系统及方法
KR102614323B1 (ko) 2015-04-01 2023-12-14 바야비전 리미티드 수동 및 능동 측정을 이용한 장면의 3차원 지도 생성
EP3076579A1 (en) * 2015-04-02 2016-10-05 Thomson Licensing Devices and methods for encryption and decryption of graphical 3d objects
US20160321838A1 (en) * 2015-04-29 2016-11-03 Stmicroelectronics S.R.L. System for processing a three-dimensional (3d) image and related methods using an icp algorithm
US10366534B2 (en) * 2015-06-10 2019-07-30 Microsoft Technology Licensing, Llc Selective surface mesh regeneration for 3-dimensional renderings
US9906715B2 (en) 2015-07-08 2018-02-27 Htc Corporation Electronic device and method for increasing a frame rate of a plurality of pictures photographed by an electronic device
WO2017023210A1 (en) * 2015-08-06 2017-02-09 Heptagon Micro Optics Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
US10559130B2 (en) * 2015-08-31 2020-02-11 Microsoft Technology Licensing, Llc Displaying image data behind surfaces
US10404962B2 (en) * 2015-09-24 2019-09-03 Intel Corporation Drift correction for camera tracking
IL286156B2 (en) 2015-11-20 2024-07-01 Magic Leap Inc Methods and systems for large-scale determination of rgbd camera poses
FR3046014A1 (fr) * 2015-12-21 2017-06-23 Orange Procede de gestion de ressources sur un terminal
CN105654547B (zh) * 2015-12-23 2018-06-19 中国科学院自动化研究所 三维重建方法
CN106997582A (zh) * 2016-01-22 2017-08-01 北京三星通信技术研究有限公司 飞行时间三维传感器的运动模糊消除方法和设备
KR102406327B1 (ko) * 2016-02-02 2022-06-10 삼성전자주식회사 출력 장치를 제어하는 방법 및 장치
US10229502B2 (en) * 2016-02-03 2019-03-12 Microsoft Technology Licensing, Llc Temporal time-of-flight
US10482681B2 (en) 2016-02-09 2019-11-19 Intel Corporation Recognition-based object segmentation of a 3-dimensional image
US10373380B2 (en) 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
US10989542B2 (en) 2016-03-11 2021-04-27 Kaarta, Inc. Aligning measured signal data with slam localization data and uses thereof
EP3427008B1 (en) 2016-03-11 2022-09-07 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
US11567201B2 (en) 2016-03-11 2023-01-31 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
US11573325B2 (en) 2016-03-11 2023-02-07 Kaarta, Inc. Systems and methods for improvements in scanning and mapping
US10841491B2 (en) * 2016-03-16 2020-11-17 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging
US10616552B2 (en) * 2016-03-25 2020-04-07 Intel Corporation Multi-modal real-time camera localization and environment mapping
CN105931240B (zh) * 2016-04-21 2018-10-19 西安交通大学 三维深度感知装置及方法
US10319141B2 (en) 2016-06-21 2019-06-11 Apple Inc. Method and system for vision based 3D reconstruction and object tracking
US10129523B2 (en) 2016-06-22 2018-11-13 Microsoft Technology Licensing, Llc Depth-aware reprojection
US10237531B2 (en) 2016-06-22 2019-03-19 Microsoft Technology Licensing, Llc Discontinuity-aware reprojection
US10573018B2 (en) * 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
KR102529120B1 (ko) * 2016-07-15 2023-05-08 삼성전자주식회사 영상을 획득하는 방법, 디바이스 및 기록매체
GB2552648B (en) * 2016-07-22 2020-09-16 Imperial College Sci Tech & Medicine Estimating dimensions for an enclosed space using a multi-directional camera
US10574909B2 (en) 2016-08-08 2020-02-25 Microsoft Technology Licensing, Llc Hybrid imaging sensor for structured light object capture
KR102420857B1 (ko) * 2016-08-30 2022-07-15 스냅 인코포레이티드 동시 로컬화 및 매핑을 위한 시스템 및 방법
US10339716B1 (en) 2016-09-19 2019-07-02 Occipital, Inc. System and method for dense, large scale scene reconstruction
US10447998B2 (en) * 2016-09-30 2019-10-15 Intel Corporation Power efficient long range depth sensing
US10585278B2 (en) * 2016-10-05 2020-03-10 Magic Leap, Inc. Surface modeling systems and methods
TWI595446B (zh) 2016-10-19 2017-08-11 國立清華大學 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
US11652978B2 (en) * 2017-01-05 2023-05-16 Eys3D Microelectronics, Co. Depth map generation device
US10893182B2 (en) 2017-01-10 2021-01-12 Galileo Group, Inc. Systems and methods for spectral imaging with compensation functions
US10554909B2 (en) 2017-01-10 2020-02-04 Galileo Group, Inc. Systems and methods for spectral imaging with a transmitter using a plurality of light sources
US10445928B2 (en) 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10628950B2 (en) 2017-03-01 2020-04-21 Microsoft Technology Licensing, Llc Multi-spectrum illumination-and-sensor module for head tracking, gesture recognition and spatial mapping
US10573078B2 (en) 2017-03-17 2020-02-25 Magic Leap, Inc. Technique for recording augmented reality data
EP3392834B1 (en) * 2017-04-17 2019-12-25 HTC Corporation 3d model reconstruction method, electronic device, and non-transitory computer readable storage medium
EP3646058A4 (en) * 2017-06-30 2020-12-02 Kaarta, Inc. SCANNING AND MATCHING IMPROVEMENT SYSTEMS AND METHODS
US20190012835A1 (en) * 2017-07-07 2019-01-10 Microsoft Technology Licensing, Llc Driving an Image Capture System to Serve Plural Image-Consuming Processes
CN108269279B (zh) * 2017-07-17 2019-11-08 先临三维科技股份有限公司 基于单目三维扫描系统的三维重构方法和装置
US11095854B2 (en) 2017-08-07 2021-08-17 Verizon Patent And Licensing Inc. Viewpoint-adaptive three-dimensional (3D) personas
US11024078B2 (en) 2017-08-07 2021-06-01 Verizon Patent And Licensing Inc. Systems and methods compression, transfer, and reconstruction of three-dimensional (3D) data meshes
EP3441788A1 (en) * 2017-08-08 2019-02-13 Koninklijke Philips N.V. Apparatus and method for generating a representation of a scene
US11209528B2 (en) 2017-10-15 2021-12-28 Analog Devices, Inc. Time-of-flight depth image processing systems and methods
US10594917B2 (en) 2017-10-30 2020-03-17 Microsoft Technology Licensing, Llc Network-controlled 3D video capture
CN107909643B (zh) * 2017-11-06 2020-04-24 清华大学 基于模型分割的混合场景重建方法及装置
US11393114B1 (en) * 2017-11-08 2022-07-19 AI Incorporated Method and system for collaborative construction of a map
WO2019099605A1 (en) 2017-11-17 2019-05-23 Kaarta, Inc. Methods and systems for geo-referencing mapping systems
US10529086B2 (en) * 2017-11-22 2020-01-07 Futurewei Technologies, Inc. Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system
US11157985B2 (en) * 2017-11-29 2021-10-26 Ditto Technologies, Inc. Recommendation system, method and computer program product based on a user's physical features
CN111788611B (zh) 2017-12-22 2021-12-03 奇跃公司 密集3d重建数据的缓存和更新
US12299828B2 (en) 2017-12-22 2025-05-13 Magic Leap, Inc. Viewpoint dependent brick selection for fast volumetric reconstruction
CN108122281B (zh) * 2017-12-22 2021-08-24 洛阳中科众创空间科技有限公司 一种大范围实时人体三维重建方法
WO2019165194A1 (en) 2018-02-23 2019-08-29 Kaarta, Inc. Methods and systems for processing and colorizing point clouds and meshes
US10628920B2 (en) 2018-03-12 2020-04-21 Ford Global Technologies, Llc Generating a super-resolution depth-map
KR102459717B1 (ko) * 2018-03-29 2022-10-27 삼성전자 주식회사 이미지에 포함된 반사 객체의 속성에 기반하여, 반사 객체에 다른 이미지를 합성하는 방법 및 전자 장치
WO2019187167A1 (ja) * 2018-03-31 2019-10-03 株式会社スペシャルエフエックススタジオ 端末の表示画像の表示法
WO2019195270A1 (en) 2018-04-03 2019-10-10 Kaarta, Inc. Methods and systems for real or near real-time point cloud map data confidence evaluation
US11030721B2 (en) * 2018-04-24 2021-06-08 Snap Inc. Efficient parallel optical flow algorithm and GPU implementation
WO2019208234A1 (ja) * 2018-04-26 2019-10-31 ソニー株式会社 自己位置推定装置、自己位置推定方法、およびそのプログラム
CN110415329B (zh) 2018-04-26 2023-10-13 财团法人工业技术研究院 三维建模装置及应用于其的校准方法
CN108648274B (zh) * 2018-05-10 2020-05-22 华南理工大学 一种视觉slam的认知点云地图创建系统
WO2020009826A1 (en) 2018-07-05 2020-01-09 Kaarta, Inc. Methods and systems for auto-leveling of point clouds and 3d models
US10948297B2 (en) 2018-07-09 2021-03-16 Samsung Electronics Co., Ltd. Simultaneous location and mapping (SLAM) using dual event cameras
US10776943B2 (en) * 2018-07-17 2020-09-15 Samsung Electronics Co., Ltd. System and method for 3D association of detected objects
TWI725522B (zh) * 2018-08-28 2021-04-21 鈺立微電子股份有限公司 具有校正功能的影像擷取系統
WO2020055903A1 (en) * 2018-09-10 2020-03-19 Fanuc America Corporation Robot calibration for ar and digital twin
TWI686747B (zh) * 2018-11-29 2020-03-01 財團法人金屬工業研究發展中心 移動載具全周障礙迴避之方法
US11089279B2 (en) * 2018-12-06 2021-08-10 Htc Corporation 3D image processing method, camera device, and non-transitory computer readable storage medium
CN109631799B (zh) * 2019-01-09 2021-03-26 浙江浙大万维科技有限公司 一种智能化的测量与标记方法
US10686980B1 (en) 2019-01-22 2020-06-16 Daqri, Llc Systems and methods for generating composite depth images based on signals from an inertial sensor
KR20210117289A (ko) 2019-01-25 2021-09-28 소니 어드밴스드 비주얼 센싱 아게 이벤트-기반 비전 센서들을 사용하는 환경 모델 유지
US11187070B2 (en) * 2019-01-31 2021-11-30 Halliburton Energy Services, Inc. Downhole depth extraction using structured illumination
WO2020209491A1 (en) 2019-04-11 2020-10-15 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same
US10867220B2 (en) 2019-05-16 2020-12-15 Rpx Corporation Systems and methods for generating composite sets of data from different sensors
US11030772B2 (en) * 2019-06-03 2021-06-08 Microsoft Technology Licensing, Llc Pose synthesis
US10613203B1 (en) * 2019-07-01 2020-04-07 Velodyne Lidar, Inc. Interference mitigation for light detection and ranging
DE112019007466T5 (de) * 2019-09-06 2022-03-31 Robert Bosch Gmbh Verfahren und Vorrichtung zur Modellierung einer dreidimensionalen Umgebung eines industriellen Roboters, Computerspeichermedium sowie Arbeitsplattform für industriellen Roboter
US11562541B2 (en) * 2019-09-13 2023-01-24 Board Of Regents, The University Of Texas System Topology-change-aware volumetric fusion for real-time dynamic 4D reconstruction
KR102794864B1 (ko) 2019-11-14 2025-04-14 삼성전자주식회사 카메라를 포함하는 전자 장치 및 그의 방법
KR102203173B1 (ko) * 2019-11-22 2021-01-15 한방유비스 주식회사 증강현실 기반의 소방시설 점검 방법, 장치 및 컴퓨터-판독가능 기록매체
US11315266B2 (en) * 2019-12-16 2022-04-26 Robert Bosch Gmbh Self-supervised depth estimation method and system
JP2021097312A (ja) * 2019-12-17 2021-06-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び測距装置
KR102391376B1 (ko) * 2019-12-31 2022-04-28 광운대학교 산학협력단 3d 모델링 장치 및 방법
CN111223049B (zh) * 2020-01-07 2021-10-22 武汉大学 一种基于结构-纹理分解的遥感图像变分融合方法
WO2021155946A1 (en) * 2020-02-07 2021-08-12 Telefonaktiebolaget Lm Ericsson (Publ) Monocular camera activation for localization based on data from depth sensor
WO2021160257A1 (en) * 2020-02-12 2021-08-19 Telefonaktiebolaget Lm Ericsson (Publ) Depth sensor activation for localization based on data from monocular camera
WO2021176422A1 (en) * 2020-03-06 2021-09-10 Yembo, Inc. Systems and methods for building a virtual representation of a location
GB2593717B (en) * 2020-03-31 2022-08-24 Imperial College Innovations Ltd Image processing system and method
CN111539988B (zh) * 2020-04-15 2024-04-09 京东方科技集团股份有限公司 一种视觉里程计实现方法、装置和电子设备
US11232315B2 (en) * 2020-04-28 2022-01-25 NextVPU (Shanghai) Co., Ltd. Image depth determining method and living body identification method, circuit, device, and medium
KR102872157B1 (ko) * 2020-05-22 2025-10-16 구글 엘엘씨 실세계 이미지에 증강 현실 객체를 결합하는 방법 및 장치
CN111798571B (zh) * 2020-05-29 2024-10-15 先临三维科技股份有限公司 牙齿扫描方法、装置、系统和计算机可读存储介质
CN113744407B (zh) * 2020-05-29 2025-10-03 先临三维科技股份有限公司 生成数字化模型的方法及装置
US12039749B2 (en) * 2020-06-17 2024-07-16 Qualcomm Incorporated Low power visual tracking systems
WO2022007792A1 (zh) * 2020-07-06 2022-01-13 先临三维科技股份有限公司 生成数字化模型的方法及装置
EP4185888A4 (en) 2020-07-21 2024-08-21 Leddartech Inc. BEAM STEERING DEVICE, ESPECIALLY FOR LIDAR SYSTEMS
EP4185894A4 (en) 2020-07-21 2024-07-24 Leddartech Inc. SYSTEMS AND METHODS FOR WIDE-ANGLE LIDAR USING NON-UNIFORM MAGNIFICATION OPTICS
US11567179B2 (en) 2020-07-21 2023-01-31 Leddartech Inc. Beam-steering device particularly for LIDAR systems
CN111862316B (zh) * 2020-07-28 2024-01-05 杭州深瞳科技有限公司 一种基于优化的imu紧耦合稠密直接rgbd的三维重建方法
KR102788915B1 (ko) 2020-09-10 2025-03-31 삼성전자주식회사 증강 현실 장치 및 그 제어 방법
US12548233B2 (en) 2020-10-21 2026-02-10 Samsung Electronics Co., Ltd 3D texturing via a rendering loss
JP7300436B2 (ja) * 2020-11-17 2023-06-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、システム、情報処理方法および情報処理プログラム
CN112380312B (zh) * 2020-11-30 2022-08-05 北京智行者科技股份有限公司 基于栅格检测的激光地图更新方法、终端及计算机设备
CN115222810A (zh) * 2021-06-30 2022-10-21 达闼科技（北京）有限公司 目标位姿估计方法、装置、计算设备及存储介质
EP4325433A4 (en) 2021-09-03 2024-10-09 Samsung Electronics Co., Ltd. AUGMENTED REALITY DEVICE AND METHOD FOR ACQUIRING A DEPTH MAP WITH A DEPTH SENSOR
US12388620B2 (en) 2021-12-15 2025-08-12 Galileo Group, Inc. Systems, methods, and devices for generating digital and cryptographic assets by mapping bodies for n-dimensional monitoring using mobile image devices
US12524957B2 (en) 2022-02-23 2026-01-13 Samsung Electronics Co., Ltd. Method of generating three-dimensional model and data processing device performing the same
US11908080B2 (en) * 2022-04-04 2024-02-20 Tencent America LLC Generating surfaces with arbitrary topologies using signed distance fields
CN115113566B (zh) * 2022-06-29 2025-08-15 联想(北京)有限公司 一种模型处理方法、装置及存储介质
JP7745854B2 (ja) * 2023-03-28 2025-09-30 Ｐｃｉソリューションズ株式会社 重量推定装置及び教師データ作成方法
EP4471722A1 (en) * 2023-05-31 2024-12-04 Rovco Limited Computing device and method for mapping
WO2024246514A1 (en) * 2023-05-31 2024-12-05 Rovco Limited Computing device and method for mapping
US12505562B2 (en) 2023-08-04 2025-12-23 Himax Technologies Limited Object tracking system and 3D location reporting method
US20250095283A1 (en) * 2023-09-15 2025-03-20 Qualcomm Incorporated Image background effects
US20250245916A1 (en) * 2024-01-25 2025-07-31 Nec Corporation Of America Detecting three dimensional (3d) changes based on multi-viewpoint images
WO2026015347A1 (en) * 2024-07-10 2026-01-15 Iot Technologies Llc A system for automated detection of the stroboscopic effect

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3133834B2 (ja) * 1992-08-19 2001-02-13 キヤノン株式会社 座標入力装置及びその方法
JPH0895487A (ja) * 1994-09-22 1996-04-12 Sony Corp 歩行用障害物検知装置
JP3581911B2 (ja) * 1996-06-07 2004-10-27 コニカミノルタホールディングス株式会社 移動走行車
CA2305735C (en) * 1997-12-05 2008-01-08 Dynamic Digital Depth Research Pty. Ltd. Improved image conversion and encoding techniques
US7957583B2 (en) * 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
CN101271588B (zh) * 2007-10-26 2012-01-11 威盛电子股份有限公司 可重建几何阴影图方法
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
TW201005673A (en) * 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
CN101388115B (zh) * 2008-10-24 2011-07-27 北京航空航天大学 一种结合纹理信息的深度图像自动配准方法
US8918209B2 (en) 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US8711206B2 (en) * 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US9354310B2 (en) * 2011-03-03 2016-05-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for source localization using audible sound and ultrasound
US10972680B2 (en) 2011-03-10 2021-04-06 Microsoft Technology Licensing, Llc Theme-based augmentation of photorepresentative view
US9053571B2 (en) 2011-06-06 2015-06-09 Microsoft Corporation Generating computer models of 3D objects
RU2455676C2 (ru) 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
GB2492833A (en) * 2011-07-14 2013-01-16 Softkinetic Sensors Nv LED boost converter driver circuit for Time Of Flight light sources
US8462155B1 (en) * 2012-05-01 2013-06-11 Google Inc. Merging three-dimensional models based on confidence scores
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
CN103170973B (zh) * 2013-03-28 2015-03-11 上海理工大学 人机协作装置及实现人机协作的方法
US9336440B2 (en) * 2013-11-25 2016-05-10 Qualcomm Incorporated Power efficient use of a depth sensor on a mobile device

Also Published As

Publication number Publication date
US20150294499A1 (en) 2015-10-15
EP2951788A1 (en) 2015-12-09
US20140139639A1 (en) 2014-05-22
KR20150111999A (ko) 2015-10-06
EP2951788B1 (en) 2018-05-09
JP2016164811A (ja) 2016-09-08
TW201631963A (zh) 2016-09-01
WO2014120613A1 (en) 2014-08-07
CN104956404B (zh) 2018-09-21
JP6189483B2 (ja) 2017-08-30
CN104956404A (zh) 2015-09-30
TW201440490A (zh) 2014-10-16
TWI544781B (zh) 2016-08-01
TWI583176B (zh) 2017-05-11
KR101654174B1 (ko) 2016-09-05
US9443350B2 (en) 2016-09-13
HUE038287T2 (hu) 2018-10-29
US9083960B2 (en) 2015-07-14
ES2675171T3 (es) 2018-07-09
JP2016514384A (ja) 2016-05-19

Similar Documents

Publication Publication Date Title
JP6189483B2 (ja) 電力効率の良い深度センサーの使用によるリアルタイム３ｄ再構成
JP6125100B2 (ja) 点特徴と線特徴とを使用する堅牢な追跡
JP6552729B2 (ja) 異なる分解能を有するセンサーの出力を融合するシステム及び方法
US12511835B2 (en) Method and system for automatic characterization of a three-dimensional (3D) point cloud
EP2992508B1 (en) Diminished and mediated reality effects from reconstruction
CN114445549B (zh) 基于slam的三维稠密面元建图方法及其系统和电子设备
US20140369557A1 (en) Systems and Methods for Feature-Based Tracking
US20240144595A1 (en) 3d scene reconstruction with additional scene attributes
CN112487979A (zh) 目标检测方法和模型训练方法、装置、电子设备和介质
US11908096B2 (en) Stereoscopic image acquisition method, electronic device and storage medium
CN108603933A (zh) 用于融合具有不同分辨率的传感器输出的系统和方法
KR20220106063A (ko) 타겟 평면 검출 및 공간 추정을 위한 장치 및 방법
CN115588085A (zh) 轴线重建方法、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151014

A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20150727

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151014

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20151014

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20151211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160608

R150 Certificate of patent or registration of utility model

Ref document number: 5951908

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250