TWI583176B - 具有功率有效深度感測器運用之即時三維重建 - Google Patents

具有功率有效深度感測器運用之即時三維重建 Download PDF

Info

Publication number
TWI583176B
TWI583176B TW105116553A TW105116553A TWI583176B TW I583176 B TWI583176 B TW I583176B TW 105116553 A TW105116553 A TW 105116553A TW 105116553 A TW105116553 A TW 105116553A TW I583176 B TWI583176 B TW I583176B
Authority
TW
Taiwan
Prior art keywords
image
depth
tdsf
camera
information
Prior art date
Application number
TW105116553A
Other languages
English (en)
Other versions
TW201631963A (zh
Inventor
丹尼爾 瓦格納
艾雷山卓 穆隆尼
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201631963A publication Critical patent/TW201631963A/zh
Application granted granted Critical
Publication of TWI583176B publication Critical patent/TWI583176B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

具有功率有效深度感測器運用之即時三維重建 相關申請案之交叉參考
本申請案主張2013年1月30日申請之名為「具有功率有效深度感測器運用之即時三維重建(Real-Time 3D Reconstruction with Power Efficient Depth Sensor Usage)」之美國臨時申請案第61/758,699號的權利及優先權。另外，本申請案主張2013年2月26日申請之名為「具有功率有效深度感測器運用之即時三維重建(Real-Time 3D Reconstruction with Power Efficient Depth Sensor Usage)」之美國臨時申請案第61/769,465號的權利及優先權。上文所識別之美國臨時專利申請案之全文係以引用方式併入本文中。
本發明大體上係關於用於行動器件中之功率效率之裝置及方法。
在電腦視覺及電腦圖形中，3D重建為判定實際物件之形狀及/或外觀之處理序。3D重建可基於自各種類型之感測器獲得的物件之資料及/或影像。舉例而言，可運用攝影機以量測由物件之表面反射或自物件之表面發射的輻射或光，且接著可自由攝影機捕捉的物件之影像且自由其他感測器提供之資訊推斷物件之3D結構或模型。一般而言，術語3D模型在本文中用以係指3D環境之表示。
通常，在3D重建中，在分批模式中離線處理數位影像集合連同其他感測資訊以獲得3D模型，該3D模型可採取物件之3D網狀結構之形式。然而，因為3D重建傳統上在計算方面昂貴，所以常常離線執行3D重建且通常在很長時間以後才可得到3D重建之結果。因此，運用3D重建之實務即時應用至今受到限制。
新近即時或近即時3D重建已歸因於包括以下各者之因素之組合而取得推進：增加處理能力之可用性、進階演算法，以及新形式之輸入資料。隨著由計算器件(包括行動器件)快速地處理經捕捉圖像，使用者現在可近即時獲得關於3D重建之回饋。然而，用於3D重建之許多技術功耗大，且引起相對高功率運用。舉例而言，在行動器件中，增加功率消耗可耗盡電源或電池，藉此限制3D重建之實務適用性。
因此，需要用以促進計算器件及行動器件上之功率有效即時3D重建之裝置、系統及方法。
根據一些態樣，揭示一種用於一行動器件上之功率有效即時三維重建之方法。在一些實施例中，行動台(Mobile Station,MS)可包含至少一個攝影機及一深度感測器，且該方法可包含：用至少一個攝影機來捕捉一第一影像，其中該第一影像包含用於正由該MS模型化之一環境之至少一部分的色彩資訊；及獲得用於該第一影像之攝影機姿勢資訊(camera pose information)。在一些實施例中，該方法可進一步包含：部分地基於該第一經捕捉影像及用於該第一影像之該攝影機姿勢資訊而判定是否擴展該環境之一第一三維(3D)模型；及當不擴展該第一3D模型時停用該深度感測器。
在另一態樣中，一種MS可包含：一攝影機，其可捕捉包含色彩資訊之一第一影像；一深度感測器，其耦接至該攝影機；及一處理器，其耦接至該深度感測器及該攝影機。在一些實施例中，該處理器 可經組態以：獲得用於該第一影像之攝影機姿勢資訊；部分地基於該第一影像及用於該第一影像之該攝影機姿勢資訊而判定是否擴展正由該MS模型化之一環境之一第一三維(3D)模型；及在不擴展該第一3D模型之情況下停用該深度感測器。
在一另外態樣中，所揭示實施例係關於一種裝置，其包含：成像構件，該成像構件用以捕捉包含色彩資訊之一第一影像；深度感測構件，其耦接至該成像構件；及處理構件，其耦接至該深度感測構件及該成像構件。在一些實施例中，該處理構件可進一步包含：用於獲得用於該第一影像之成像構件姿勢資訊的構件；用於部分地基於該第一影像及用於該第一影像之該成像構件姿勢資訊而判定是否擴展正由該裝置模型化之一環境之一第一三維(3D)模型的構件；及用於在不擴展該第一3D模型之情況下停用該深度感測構件的構件。
所揭示實施例亦係關於非暫時性電腦可讀媒體，其包含指令，該等指令在由一處理器執行時執行在包含至少一個攝影機及一深度感測器之一MS上之一方法中的步驟。在一些實施例中，該方法可包含：用至少一個攝影機來捕捉一第一影像，其中該第一影像包含用於正由該MS模型化之一環境之至少一部分的色彩資訊；及獲得用於該第一影像之攝影機姿勢資訊。在一些實施例中，該方法可進一步包含：部分地基於該第一經捕捉影像及用於該第一影像之該攝影機姿勢資訊而判定是否擴展該環境之一第一三維(3D)模型；及當不擴展該第一3D模型時停用該深度感測器。
在另一態樣中，一種在包含至少一個攝影機及一深度感測器之一行動台(MS)上之方法可包含：用至少一個攝影機來捕捉一第一影像，該第一影像包含用於正由該MS模型化之一環境之至少一部分的色彩資訊；獲得用於該第一影像之攝影機姿勢資訊；部分地基於該第一經捕捉影像及用於該第一影像之該攝影機姿勢資訊而判定是否更新 該環境之一第一三維(3D)模型；及當不更新該第一3D模型時停用該深度感測器。另外，停用該深度感測器可包含以下各者中至少一者：關斷供應至該深度感測器之電力，或停用與一深度影像之計算相關之功能性。該方法可進一步包含：當更新該第一3D模型時啟用該深度感測器。在啟用該深度感測器後，即可藉由以下各者而更新該第一3D模型：用該至少一個攝影機來捕捉一第二影像；藉由用至少部分地由該深度感測器提供之深度資訊來擴增該第二影像而獲得一深度圖(depth map)；及用該深度資訊來更新該第一3D模型中之一體積資料集(volumetric data set)。在一些實施例中，該體積資料集係可由一3D截斷帶正負號距離函數(Truncated Signed Distance Function,TDSF)表示。該體積資料集係可藉由以下各者而更新：基於該攝影機姿勢而將該3D TDSF中之樣本投影至該深度圖中；判定自樣本位點至由該體積資料集定義之一表面之一經量測相對距離；將該經量測相對距離映射至該TDSF；及組合該經映射TDSF值與用於該樣本之一經儲存TDSF值。
在另一態樣中，一種MS可包含：一攝影機，其可捕捉包含色彩資訊之一第一影像；一深度感測器，其耦接至該攝影機；及一處理器，其耦接至該深度感測器及該攝影機。在一些實施例中，處理構件可經組態以：獲得用於該第一影像之攝影機姿勢資訊；部分地基於該第一影像及用於該第一影像之該攝影機姿勢資訊而判定是否更新環境之一第一三維(3D)模型；及當不更新該第一3D模型時停用該深度感測器。
在一另外態樣中，所揭示實施例係關於一種裝置，其包含：成像構件，該成像構件用以捕捉包含色彩資訊之一第一影像；深度感測構件，其耦接至該成像構件；及處理構件，其耦接至該深度感測構件及該成像構件。在一些實施例中，該處理構件可進一步包含：用於獲 得用於該第一影像之攝影機姿勢資訊的構件；用於部分地基於該第一影像及用於該第一影像之該攝影機姿勢資訊而判定是否更新環境之一第一三維(3D)模型的構件；及用於當不更新該第一3D模型時停用該深度感測器的構件。
所揭示實施例亦係關於非暫時性電腦可讀媒體，其包含指令，該等指令在由一處理器執行時執行在包含至少一個攝影機及一深度感測器之一MS上之一方法中的步驟。在一些實施例中，該方法可包含：用至少一個攝影機來捕捉一第一影像，該第一影像包含用於正由該MS模型化之一環境之至少一部分的色彩資訊；獲得用於該第一影像之攝影機姿勢資訊；部分地基於該第一經捕捉影像及用於該第一影像之該攝影機姿勢資訊而判定是否更新該環境之一第一三維(3D)模型；及當不更新該第一3D模型時停用該深度感測器。
所揭示實施例亦係關於由處理器運用電腦可讀媒體或電腦可讀記憶體而建立、儲存、存取或修改之軟體、韌體及程式指令。可在處理器及各種行動器件上執行所描述方法。
下文關於以下諸圖來進一步解釋此等及其他實施例。應理解，自以下【實施方式】，其他態樣對於熟習此項技術者而言將變得易於顯而易見，在【實施方式】中作為說明而展示及描述各種態樣。應將圖式及【實施方式】視為本質上具說明性而非限制性。
100‧‧‧行動台(MS)
110‧‧‧攝影機
120‧‧‧連接
130‧‧‧慣性量測單元(IMU)
150‧‧‧處理器
155‧‧‧電腦視覺(CV)模組
160‧‧‧記憶體
170‧‧‧收發器
180‧‧‧顯示器/螢幕
200‧‧‧方法/執行中三維(3D)重建處理序/系統
210‧‧‧追蹤模組
225‧‧‧常式/步驟
230‧‧‧步驟
250‧‧‧重建模組
255‧‧‧步驟
260‧‧‧步驟
265‧‧‧步驟
275‧‧‧用以運用體積重建技術來擴展重建之常式或方法
302‧‧‧色彩+深度影像
304‧‧‧經更新攝影機姿勢
305‧‧‧步驟
310‧‧‧步驟
320‧‧‧步驟
325‧‧‧步驟
330‧‧‧步驟
335‧‧‧步驟
340‧‧‧步驟
350‧‧‧步驟
351‧‧‧步驟
353‧‧‧步驟
355‧‧‧步驟
357‧‧‧步驟
359‧‧‧步驟
400‧‧‧用於三維(3D)重建之例示性方法
405‧‧‧步驟
410‧‧‧步驟
420‧‧‧步驟
430‧‧‧步驟
440‧‧‧步驟
450‧‧‧步驟
460‧‧‧步驟
將參看圖式而僅作為實例來描述本發明之實施例。
圖1展示能夠進行功率有效3D重建之例示性行動器件的方塊圖。
圖2A及圖2B展示依據所揭示實施例的用於功率有效3D重建之例示性方法的流程圖。
圖2C展示依據所揭示實施例的用以運用體積重建技術來擴展重建之常式或方法275的流程圖。
圖2D展示依據所揭示實施例的描繪用於將來自攝影機圖框之深度資料融合至體積資料集中之例示性方法的流程圖。
圖3展示依據所揭示實施例的用於3D重建之例示性方法400的流程圖。
下文結合附加圖式所闡明之【實施方式】意欲作為本發明之各種態樣之描述，且並不意欲表示可實踐本發明之僅有態樣。本發明所描述之每一態樣係僅僅作為本發明之實例或說明而提供，且未必應被認作比其他態樣較佳或有利。該【實施方式】包括出於提供對本發明之透徹理解之目的之特定細節。然而，對於熟習此項技術者而言將顯而易見，可在無此等特定細節之情況下實踐本發明。在一些例子中，以方塊圖形式來展示熟知結構及器件以便避免混淆本發明之概念。可僅僅出於方便及清晰起見而運用縮寫及其他描述性術語，且其並不意欲限制本發明之範疇。
圖1展示能夠以依據所揭示實施例之方式來執行即時或近即時3D重建之例示性行動台(MS)100的方塊圖。如本文所運用，行動器件或行動台(MS)100可採取以下各者之形式：蜂巢式電話、行動電話或其他無線通信器件、個人通信系統(personal communication system,PCS)器件、個人導航器件(personal navigation device,PND)、個人資訊管理器(Personal Information Manager,PIM)或個人數位助理(Personal Digital Assistant,PDA)、膝上型電腦、平板電腦、筆記型電腦及/或手持型電腦。術語行動器件或行動台在本文中被可互換地運用。在一些實施例中，MS 100可能夠接收無線通信及/或導航信號。術語「行動器件」及「行動台」在本文中被可互換地運用。
另外，術語「行動台」亦意欲包括(諸如)藉由近程無線、紅外線、有線連接或其他連接而與個人導航器件(PND)通信之器件，及/或 在該器件處或在該PND處發生位置相關處理。又，「行動台」意欲包括能夠與伺服器通信而不管在器件處、在伺服器處或在與網路相關聯之另一器件處是否發生無線信號接收、輔助資料接收及/或相關處理之所有器件，包括各種無線通信器件。以上各者之任何可操作組合亦被視為「行動台」。
術語「行動台」亦意欲包括可未經組態成連接至網路或以其他方式(以無線方式抑或經由有線連接)而與另一器件通信之遊戲器件或其他器件。舉例而言，「行動台」可省略通信元件及/或網路連接功能性。舉例而言，本文所描述之實施例可實施於未經組態成連接以用於與另一器件進行有線或無線網路連接之單機器件中。
如圖1所展示，MS 100可包括攝影機110、慣性量測單元(Inertial Measurement Unit,IMU)130、處理器150、記憶體160及/或收發器170、顯示器/螢幕180，前述各者可經由連接120而彼此操作性地耦接且耦接至MS 100上之其他功能單元(未圖示)。連接120可包含匯流排、線路、光纖、鏈路等等，或其某一組合。
舉例而言，收發器170可包括經啟用以經由一或多種類型之無線通信網路而傳輸一或多個信號的傳輸器，及用以接收經由一或多種類型之無線通信網路而傳輸之一或多個信號的接收器。收發器170可准許基於諸如但不限於以下各者之多種技術而與無線網路通信：超微型小區(femtocell)；Wi-Fi網路或無線區域網路(Wireless Local Area Network,WLAN)，其可基於IEEE 802.11標準家族；無線個人區域網路(Wireless Personal Area Network,WPAN)，諸如，藍芽(Bluetooth)、近場通信(Near Field Communication,NFC)、基於IEEE 802.15x標準家族之網路等等；及/或無線廣域網路(Wireless Wide Area Network,WWAN)，諸如，LTE、WiMAX等等。MS 100亦可包括用於經由有線網路而通信之一或多個埠。
在一些實施例中，MS 100可包含諸如CCD或CMOS感測器之影像感測器，及/或攝影機110，其在下文中被稱為「攝影機110」。攝影機110可將光學影像轉換成電子或數位影像，且可將經捕捉影像發送至處理器150。
一般而言，攝影機110可為彩色或灰階攝影機，其提供「色彩資訊」，而「深度資訊」係可由深度感測器提供。如本文所運用之術語「色彩資訊」係指彩色及/或灰階資訊。一般而言，如本文所運用，可將彩色影像或色彩資訊視為包含1個至N個通道，其中N為取決於正用以儲存該影像之色彩空間之某一整數。舉例而言，RGB影像包含三個通道，其中針對紅色資訊、藍色資訊及綠色資訊各自有一個通道。
可運用深度感測器而以多種方式來捕捉深度資訊。術語「深度感測器」用以係指可用以獨立地及/或結合攝影機110獲得深度資訊之功能單元。在一些實施例中，當深度感測器不在運用中時，可停用深度感測器。舉例而言，當不運用深度感測器時，可使深度感測器置於待用模式或電源關閉。在一些實施例中，處理器150可以依據所揭示實施例之方式在一或多個時間點停用(或啟用)深度感測。術語「停用深度感測器」亦用以係指停用被動式感測器，諸如，與深度影像之計算相關之立體視覺感測器及/或功能性，包括與此功能性相關聯之硬體、韌體及/或軟體。舉例而言，在一項實施例中，當停用立體視覺感測器時，由攝影機110捕捉之影像可為單目。另外，術語「停用深度感測器」亦用以係指停用與自被動式立體視覺感測器捕捉之立體影像之處理相關聯的計算。舉例而言，在一項實施例中，儘管立體影像係可由被動式立體視覺感測器捕捉，但處理器150可不處理立體影像且可代替地自立體對選擇單一影像以供處理。
在一些實施例中，深度感測器可為攝影機110之部分。舉例而言，在一些實施例中，MS 100可包含RGBD攝影機，當啟用深度感測 器時，除了彩色(RGB)影像以外，RGBD攝影機亦可捕捉每像素深度(D)資訊。
作為另一實例，在一些實施例中，攝影機110可採取3D飛行時間(3D Time Of Flight,3DTOF)攝影機之形式。在具有3DTOF攝影機110之實施例中，深度感測器可採取耦接至3DTOF攝影機110之頻閃燈之形式，該頻閃燈可照明場景中之物件，且反射光係可由攝影機110中之CCD/CMOS感測器捕捉。可藉由量測光脈衝行進至物件且返回至感測器所花費之時間來獲得深度資訊。
作為一另外實例，深度感測器可採取耦接至攝影機110之光源之形式。在一項實施例中，該光源可將可由光之一或多個窄頻組成之結構化或紋理化光圖案投影至場景中之物件上。接著可藉由採用由物件之表面形狀造成的經投影圖案之幾何失真來獲得深度資訊。在一項實施例中，可自諸如紅外線結構化光投影儀與註冊為RGB攝影機之紅外線攝影機之組合的立體感測器獲得深度資訊。
在一些實施例中，攝影機110可採取立體攝影機之形式。舉例而言，深度感測器可形成被動式立體視覺感測器之部分，被動式立體視覺感測器可運用兩個或兩個以上攝影機以獲得用於場景之深度資訊。可連同攝影機姿勢資訊及/或三角量測技術來運用經捕捉場景中為兩個攝影機所共有之點之像素座標以獲得每像素深度資訊。
在一些實施例中，MS 100可包含亦可併入各種感測器之多個攝影機110，諸如，雙前置攝影機及/或正面拍攝及後置自拍攝影機。在一些實施例中，攝影機110可能夠捕捉靜態影像及視訊影像兩者。在一些實施例中，攝影機110可為能夠以30個圖框/秒(fps)來捕捉影像之RGBD或立體視訊攝影機。在一項實施例中，由攝影機110捕捉之影像可呈原始未壓縮格式，且可在被處理及/或儲存於記憶體160中之前被壓縮。在一些實施例中，可由處理器150運用無損或有損壓縮技術 來執行影像壓縮。
在一些實施例中，處理器150亦可自IMU 130接收輸入。在其他實施例中，IMU 130可包含三軸加速度計、三軸迴轉儀，及/或磁力計。IMU 130可將速度、定向及/或其他位置相關資訊提供至處理器150。在一些實施例中，IMU 130可與由攝影機110對每一影像圖框之捕捉同步地輸出經量測資訊。在一些實施例中，IMU 130之輸出可部分地由處理器150運用以判定攝影機110及/或MS 100之姿勢。
另外，MS 100可包括能夠呈現包括3D影像之彩色影像的螢幕或顯示器180。在一些實施例中，顯示器180可用以顯示由攝影機110捕捉之實況影像、擴增實境(Augmented Reality,AR)影像、圖形使用者介面(Graphical User Interface,GUI)、程式輸出等等。在一些實施例中，顯示器180可包含及/或被容納有觸控式螢幕以准許使用者經由以下各者之某一組合而輸入資料：虛擬鍵盤、圖示、選單或其他圖形使用者介面(GUI)、使用者示意動作，及/或諸如手寫筆及其他書寫用具之輸入器件。在一些實施例中，可運用液晶顯示器(Liquid Crystal Display,LCD)顯示器或發光二極體(Light Emitting Diode,LED)顯示器(諸如，有機LED(Organic LED,OLED)顯示器)來實施顯示器180。在其他實施例中，顯示器180可為可佩戴式顯示器，其可操作性地耦接至MS 100中之其他功能單元，但與該等其他功能單元分離地被容納。在一些實施例中，MS 100可包含用以准許經由耦接至MS 100之分離監視器而顯示經3D重建影像之埠。
攝影機110之姿勢係指攝影機110相對於參考座標之位置及定向。在一些實施例中，可判定攝影機姿勢之6自由度(6-Degree Of Freedom,6DOF)，6自由度係指三個平移分量(其係可由參考座標之X、Y、Z座標給出)及三個角度分量(例如，相對於同一參考座標之橫搖(roll)、縱搖(pitch)及橫偏(yaw))。
在一些實施例中，攝影機110及/或MS 100之姿勢係可由處理器150運用基於由攝影機110捕捉之影像之視覺追蹤解決方案而判定及/或追蹤。舉例而言，在處理器150上執行之電腦視覺(Computer Vision,CV)模組155可實施及執行以電腦視覺為基礎之追蹤、以模型為基礎之追蹤及/或同時定位與地圖測繪(Simultaneous Localization And Mapping,SLAM)方法。SLAM係指一種類別之技術，其中建立環境之地圖(諸如，正由MS 100模型化之環境之地圖)，而同時地追蹤攝影機相對於彼地圖之姿勢。在一些實施例中，由CV模組155實施之方法可基於由攝影機110捕捉之彩色或灰階影像資料，且可用以產生攝影機之6DOF姿勢量測之估計。在一些實施例中，IMU 130之輸出可用以估計、校正及/或以其他方式調整經估計姿勢。另外，在一些實施例中，由攝影機110捕捉之影像可用以重新校準或執行針對IMU 130之偏差調整。
圖1中尚未展示包含於MS 100中之所有功能單元。亦可以依據本發明之方式而以各種方式來修改例示性MS 100，諸如，藉由添加、組合或省略所展示之功能區塊中之一或多者。舉例而言，在一些組態中，MS 100可不包括IMU 130或收發器170。另外，在某些實例實施中，MS 100可包括多種其他感測器(未圖示)，諸如，周圍光感測器、麥克風、聲響感測器、超音波感測器、雷射測距儀等等。在一些實施例中，MS 100之部分可採取一或多個晶片組及/或其類似者之形式。
可運用硬體、韌體及軟體之組合來實施處理器150。處理器150可表示可組態以執行與3D重建、SLAM、追蹤、影像處理等等相關之計算程序或處理序之至少一部分的一或多個電路，且可自記憶體160擷取指令及/或資料。可運用一或多個特殊應用積體電路(application specific integrated circuit,ASIC)、中央處理單元及/或圖形處理單元(central and/or graphical processing unit,CPU及/或GPU)、數位信號處 理器(digital signal processor,DSP)、數位信號處理器件(digital signal processing device,DSPD)、可程式化邏輯器件(programmable logic device,PLD)、場可程式化閘陣列(field programmable gate array,FPGA)、控制器、微控制器、微處理器、嵌入式處理器核心、電子器件、經設計成執行本文所描述之功能之其他電子單元或其組合來實施處理器150。
記憶體160可實施於處理器150內及/或處理器150外。如本文所運用，術語「記憶體」係指任何類型之長期記憶體、短期記憶體、揮發性記憶體、非揮發性記憶體或其他記憶體，且不限於任何特定類型之記憶體或任何特定數目個記憶體，或供儲存記憶體的任何特定類型之實體媒體。在一些實施例中，記憶體160可保持促進一或多個影像處理之程式碼，執行SLAM、追蹤、3D重建及由處理器150上之CV模組155執行之其他任務。舉例而言，記憶體160可保持資料、經捕捉靜態影像、深度資訊、視訊圖框、程式結果，以及由IMU 130及其他感測器提供之資料。一般而言，記憶體160可表示任何資料儲存機構。記憶體160可包括(例如)主要記憶體及/或次要記憶體。主要記憶體可包括(例如)隨機存取記憶體、唯讀記憶體等等。雖然主要記憶體在圖1中被說明為與處理器150分離，但應理解，主要記憶體之全部或部分可提供於處理器150內，或以其他方式而與處理器150共置及/或耦接至處理器150。
次要記憶體可包括(例如)類型與主要記憶體相同或相似之記憶體，及/或一或多個資料儲存器件或系統，諸如，快閃/USB記憶體驅動器、記憶體卡驅動器、磁碟機、光碟機、磁帶機、固態硬碟、混合式硬碟等等。在某些實施中，次要記憶體可操作性地收納耦接至MS 100之抽取式媒體磁碟機(未圖示)中之非暫時性電腦可讀媒體，或以其他方式可組態以耦接至該非暫時性電腦可讀媒體。在一些實施例 中，非暫時性電腦可讀媒體可形成記憶體160及/或處理器150之部分。
在一些實施例中，CV模組155可實施各種電腦視覺方法及/或處理由攝影機110捕捉之影像。舉例而言，CV模組155可能夠處理由攝影機110捕捉之一或多個影像，以運用與經捕捉影像相關聯之深度資訊來執行正被模型化之環境之3D重建。在一些實施例中，可自深度感測器獲得深度資訊。
基於深度資料，在重建期間，可向每一像素指派一3D座標。在一項實施例中，處理器150上之CV模組155可藉由運用單目(單一攝影機)視覺SLAM系統來追蹤攝影機110之位置，以建置MS周圍之環境之粗略地圖而達成攝影機110的準確且穩健之6DOF追蹤。術語單目係指運用單一非立體攝影機以捕捉影像，或係指所捕捉的無深度資訊之影像。3D重建模組接著可運用攝影機姿勢及每像素深度資訊以沿著檢視方向使經捕捉影像立體化，且建立紋理化緻密3D網狀結構，紋理化緻密3D網狀結構可用以呈現正被模型化之3D環境。
在習知3D重建方法中，所有輸入樣本始終具有相同模態，諸如，色彩+深度對。因此，運用諸如結構化燈或頻閃燈之深度感測器來獲取深度資料相比於簡單RGB攝影機可消耗實質上較多功率。另外，儘管來自立體視覺感測器之深度可運用被動式感測，但來自在3D重建期間之連續立體融合操作之計算附加項可顯著地增加功率消耗。因此，行動器件中之習知即時3D重建係由於功率可用性約束而常常不實務。舉例而言，頻閃燈或其他光源之重複運用可快速地耗盡MS上之電池，藉此限制3D重建之適用性。
圖2A至圖2C展示依據所揭示實施例的用於功率有效3D重建之例示性方法的流程圖。在一些實施例中，方法200係可由MS 100上之處理單元150結合一或多個其他功能單元而執行。在一些實施例中，方 法200之部分係可由CV模組155執行。
在一些實施例中，方法200可由如下兩個模組組成：追蹤模組210，及重建模組250。可選擇依據所揭示實施例之任何即時追蹤系統(諸如，單目SLAM(Monocular SLAM,MonoSLAM)、並行追蹤與地圖測繪(Parallel Tracking and Mapping,PTAM)等等)以供追蹤模組210運用。在一些實施例中，追蹤模組210及重建模組250可同時地執行。追蹤模組210可週期性地或連續地追蹤或更新攝影機姿勢及/或其他相關非深度感測器資料，且週期性地或在請求後即將經更新攝影機姿勢、感測器資訊及無深度資訊之彩色影像提供至重建模組250。在一些實施例中，追蹤模組210可運用單一或單目攝影機以捕捉無深度資訊之影像，且獲得姿勢資訊。
在一些實施例中可與追蹤模組210同時地執行之重建模組250可自追蹤模組210接收週期性或連續更新。自追蹤模組210接收之更新可提供無深度資訊之彩色影像，及諸如用於攝影機110之6DOF姿勢量測之準確姿勢資訊。在一些實施例中，重建模組250可運用經更新攝影機姿勢及關聯影像以判定是否擴展現有3D模型，現有3D模型可採取彩色3D網狀結構或體積資料結構之形式。
如在表面重建之上下文中運用之術語「擴展」(及其變體)係指將自環境之部分模型新獲取之資料添加至環境之現有3D模型。如在體積重建之上下文中運用之術語「更新」(及其變體)係指經新獲取之深度資料與環境之現有3D模型的組合，其係可由體積資料集表示。
在一些實施例中，重建模組250可運用不取決於用於每一圖框之深度+色彩影像輸入之輸入的任何重建技術。在一些實施例中，重建模組250可經組態以針對色彩+深度資料之輸入來運用固定較低速率。在一些實施例中，用於色彩+深度資料之固定較低速率可為基於系統參數而可組態的。舉例而言，在一項實施例中，重建模組250可經組 態以在四個僅色彩(亦即，無深度資料)圖框之後接收一個色彩+深度影像輸入。在另一實施例中，重建模組250可經組態成使得可在請求後即觸發或在需求時提供額外深度影像(或深度資料)。一般而言，取決於系統參數，可以某一指定速率或在需求時提供深度資訊。因此，電力節省可部分地由深度感測器運用之較低頻率引起。舉例而言，相對於隨每一圖框而提供深度資料的以30個圖框/秒之圖框速率而操作之系統，若每五個圖框一次將深度資訊提供至重建模組250，則系統200中之深度感測器運用可減少達1/5。在一些實施例中，重建模組250可經組態以運用基於表面重建之技術及/或基於體積重建之技術。
可具有先前所獲得之具有色彩及深度資訊(例如，藉由運用MS 100上之深度感測器)之影像的重建模組250可具有基於具有深度資訊之先前經捕捉影像的現有3D模型。具有深度資訊之經捕捉影像可被表示為點雲(point cloud)。舉例而言，點雲可為表示正被模型化之物件/環境之外表面的資料點集合。可(例如)運用X、Y及Z座標在某一座標系統中指定資料點。可(例如)自點雲產生3D網狀結構，3D網狀結構可包含三角形、四邊形或其他多邊形。
在應用表面重建技術的重建模組250之實施例中，可基於3D點雲而藉由連接3D點雲上之某一點子集以基於各種準則而形成三角形、四邊形或其他多邊形來獲得3D網狀結構。3D網狀結構為以3D來界定多面物件之形狀的頂點、邊緣及面之集合。該等面可為三角形、四邊形或其他簡單凸多邊形，其可用以呈現3D物件/環境。若干熟知技術及網狀結構重建演算法可用以將3D點雲(其係可自深度圖導出)轉換成3D網狀結構。在一項實施例中，可運用深度圖中之深度量測之鄰域作為指示項以藉由連接相鄰點與相似深度量測而形成三角形。
在應用體積重建技術的重建模組250之實施例中，體積重建將來自攝影機圖框之深度資料融合成計算有效體積資料結構。在一項實施 例中，體積重建可運用表面之隱含表示，其運用3D截斷帶正負號距離函數(TDSF)。3D TDSF可被表示為3D空間中之規則樣本集合。在每一樣本處，樣本值給出至經估計表面之帶正負號距離。正距離表示在物件外之樣本，且負距離表示在物件內之樣本。
在一些實施例中，重建模組250可運用自追蹤模組210獲得之經更新攝影機姿勢及關聯影像以判定是否擴展或更新現有3D模型(3D網狀結構或體積資料結構)。在一些實施例中，可針對3D模型來運用表面及/或體積重建技術，且可以依據正用於模型化之特定技術的方式來作出關於模型擴展或更新之決策。
舉例而言，在表面重建途徑中，基於自追蹤模組210接收之影像及攝影機姿勢，重建模組250可判定該影像包括當前未在環境之現有或當前模型中表示之資訊的程度。在表面重建途徑中，若將擴展正被模型化之環境之3D模型(例如，因為來自追蹤模組210之影像包括足夠新資訊)，則接著可藉由結合一影像及關聯姿勢資訊之捕捉而接通適當深度感測器來獲得影像及深度資訊。否則，可停用深度感測器。舉例而言，可關斷深度感測器或使其置於待用模式。
在運用體積重建之一些實施例中，可以某一指定速率(例如，每五個圖框一次)獲取/量測深度資料。否則，可停用深度感測器。舉例而言，可關斷深度感測器或使其置於待用模式。
若將更新模型，則在體積重建期間，可運用基於經獲取/經量測深度資料之深度圖以判定自空間中之給定點(諸如，攝影機中心之位點，其係可基於攝影機姿勢而判定)至經估計表面的距離。接著可將此等經量測距離映射至體積資料集中之帶正負號距離。舉例而言，可藉由以下各者而執行映射：(i)將體積資料集中之每一樣本變換成深度圖之攝影機座標系統且將該樣本投影至深度圖中；(ii)獲得沿著射線至表面之距離的量測作為彼經投影像素處之距離值(在深度圖中)； (iii)藉由自上文在(ii)中獲得之經量測距離減去射線上之樣本點之距離來獲得自樣本點至表面之經量測相對距離；及(iv)藉由運用遞歸濾波器來組合由射線上之樣本點提供的距離估計(s)與相對距離而更新該距離估計(s)。舉例而言，一項實施可運用權數w與距離估計s，且藉由運用加權更新而基於新量測m來更新距離估計s，加權更新係可由 及w=w+1給出。
對於體積重建，在一些實施例中，可藉由融合環境之已經在現有模型中表示之點或區域的額外量測來達成較高品質。因此，在運用體積重建之實施例中，甚至在不存在新點之情形中仍可更新模型或3D網狀結構。在一些實施例中，可設定臨限值或其他參數以限制同一表面元素被更新之次數。
若正運用體積重建，則亦可自體積資料表示來執行表面提取。舉例而言，可運用包含立體像素之計算有效體積資料集以表示體積影像，其中立體像素可表示三維空間中之柵格上之值。可運用諸如跨步立方體(Marching Cube)之各種熟知技術以自體積資料集提取表面(或等值面)。等值面為在3D資料分佈中具有相等值之點之3D表面表示。在一些實施例中，體積重建可運用固定/指定資料速率(例如，5個色彩+深度圖框/秒)，該資料速率可為動態地可組態的。舉例而言，來自深度攝影機之更新頻率可基於應用請求(例如，所請求模型之較低或較高準確度)或基於上下文提示(例如，器件上之低或高電池電量)而變化(增加或減小)。在一些實施例中，可獨立於融合而執行表面提取步驟。
因此，在以上表面途徑及體積途徑兩者中，3D重建模組偶爾地獲取深度資料，藉此節約電力。在一些實施例中，電力節省係可由停用感測器、關斷感測器或使感測器置於待用狀態而產生，在待用狀態 中，感測器不消耗功率或消耗極小功率。舉例而言，若深度感測器准許快速或幾乎瞬時重新啟動，則在一項實施例中，可關斷至主動感測器之電力。在另一實施例中，可使感測器置於待用模式，在待用模式中，感測器消耗最小功率以准許快速及/或瞬時重新啟動。舉例而言，當使深度感測器置於待用模式時，可關斷結構化光源及/或頻閃燈。
在其他實施例中，諸如，當運用立體攝影機時，電力節省係可由立體融合操作頻率之減小而產生。舉例而言，在深度感測器採取立體視覺感測器之形式的實施例中，可關斷立體視覺感測器，且追蹤模組210可繼續提供單目攝影機影像及關聯姿勢資訊。在一些實施例中，當關斷立體視覺感測器時，可關斷與自被動式立體視覺感測器捕捉之立體影像之處理相關聯的計算。舉例而言，在一項實施例中，儘管立體影像係可由被動式立體視覺感測器捕捉，但處理器150可不處理立體影像且可代替地自立體對選擇單一影像以供處理。
圖2A展示執行中3D重建處理序200中之步驟。在一些實施例中，在常式225中，可更新攝影機姿勢。舉例而言，可運用在MS 100上執行之單目SLAM演算法以更新攝影機110之姿勢。藉由運用單目SLAM，MS 100可建構其環境之表示，而同時地估計攝影機相對於環境之姿勢或運動。
在常式225中，可運用單一攝影機以獲得/更新姿勢資訊，而可關斷諸如頻閃燈、立體視覺感測器及/或結構化光源之深度感測器、停用該等深度感測器，或使該等深度感測器置於待用模式，使得其不消耗功率或消耗最小功率。
在步驟230中，可獲取包括無深度資訊之彩色影像資料及關聯姿勢資訊的新感測器資料，且追蹤模組210可返回至步驟225以開始另一反覆且更新攝影機姿勢。一般而言，追蹤模組可運用任何追蹤方法以 判定姿勢。舉例而言，可運用來自IMU 130之輸入以判定姿勢。
下文描述用於實施攝影機姿勢更新常式225之例示性方法，但實務上，可運用任何適當追蹤及姿勢更新方法。對於圖框間追蹤，可(例如)藉由運用盧卡斯-卡納德(Lucas-Kanade)演算法或其變體來計算緊接在前之影像I與在步驟230中獲取之當前影像J之間的光流(optical flow)。盧卡斯卡納德方法為用於可運用影像梯度及反覆途徑以判定運動參數之光流估計的兩圖框差分方法。
若I及J為具有大小nx X ny之連續影像，其中0 x nx-1且0 y ny-1，且I(x,y)及J(x,y)為在點(x,y)處之像素的像素值(例如，灰階值)，則可運用特徵追蹤以計算點v在J中之位點，其對應於I中之點u=[u x ,u y ] T ，其中v=u+d=[u x +d x ,u y +d y ] T 。位移向量d=[d x ,d y ] T 被稱為在u處之光流，且上標「T」用以係指矩陣或向量之轉置。盧卡斯-卡納德之目標係尋找最小化誤差函數ε(d)之位移向量d，其中，
其中，w為整數且表示大小為w×w像素之窗口。
在一些實施例中，可運用盧卡斯-卡納德光流演算法之經修改即時金字塔形實施或其變體以計算2D光流。舉例而言，可運用盧卡斯-卡納德演算法之反向組成影像對準(Inverse Compositional Image Alignment)變體。
在金字塔形實施中，可連續地對影像進行減少取樣以獲得具有不同解析度之經減少取樣影像之金字塔。舉例而言，金字塔之最高層級(層級0)可具有原始或最高解析度影像，且在下方之每一層級可相對於緊接在上方之層級將影像減少取樣達某一因數。舉例而言，對於大小為640×480之影像I 0 (在層級0處)，影像I 1 、I 2 、I 3 及I 4 分別具有大小320×240、160×120、80×60及40×30，其中下標指示影像金字塔中 之影像層級。
在金字塔形盧卡斯-卡納德光流中，在最低金字塔層級L處計算光流。接著，將彼計算之結果以層級L-1處之初始像素位移估計的形式傳播至上部層級L-1。在給出彼初始猜測的情況下，在層級L-1處計算改進型光流，且將結果傳播至層級L-2，且如此直至層級0(原始影像)。通常，在影像J中之位點[u x ,u y ]周圍的窗口(例如，大小為w×w像素)內搜尋J中對應於I中之點u的點v。以金字塔為基礎之光流允許遍及較大有效窗口進行搜尋，且促進甚至在具有大像素運動之面中仍建立特徵對應。
在一些實施例中，可基於系統約束而判定在追蹤期間於影像之間比較之特徵之數目。舉例而言，可運用影像之解析度、處理器150之速度以及效能準則以判定所比較特徵之數目。
在一些實施例中，基於匹配特徵之位點，可在常式225中計算經更新攝影機姿勢。在一些實施例中，可週期性地將姿勢及包括彩色影像之經捕捉感測器資料傳送至重建模組250，重建模組250在步驟255中等待追蹤由追蹤模組210提供之資料更新。在一些實施例中，追蹤模組210可連續地以大約30個圖框之圖框速率而執行以捕捉包括單目影像及經更新姿勢資訊之感測器資料，該感測器資料可被提供至重建模組250。
在一些實施例中，在步驟260中，重建模組250可基於在步驟255中接收的經更新之經捕捉影像及關聯姿勢資訊而判定是否將擴展或更新現有重建模型。在一些實施例中，重建模組250可運用不取決於用於每一圖框之深度+色彩影像輸入之輸入的任何重建技術。舉例而言，可由重建模組250運用表面及/或體積技術。
在一些實施例中，對於表面重建，重建模組250可分析由追蹤模組210提供之每一圖框以判定是否將擴展模型。在另一實施例中，重 建模組250可取決於追蹤模組210之組態設定、系統參數及/或當前圖框速率而自由追蹤模組210提供之圖框選擇圖框子集以供分析，以判定是否將擴展模型。在一些實施例中，追蹤模組210之組態可由重建模組250修改以設定用於圖框捕捉之適當圖框速率。
另外，對於表面重建途徑，在一些實施例中，是否將擴展或更新現有重建模型之判定可部分地基於當前影像及當前影像包括當前未在現有模型中表示之資訊的程度。
在一些實施例中，若存在環境之當前未在現有模型中表示且第一次在經新捕捉之攝影機圖框中成像的點或區域(步驟260中之「是」)，則可藉由在步驟265中獲取新深度感測器資料或深度資訊來擴展或更新模型或3D網狀結構。
另外，對於表面重建途徑，若存在環境之已經在現有模型中表示但根據不同觀點而第一次在經新捕捉之攝影機圖框中成像的點或區域(步驟260中之「是」)，則可藉由在步驟265中獲取新深度感測器資料或深度資訊來擴展或更新模型或3D網狀結構。在一些實施例中，可藉由計算包括於當前影像中之資訊與儲存於現有模型中之資訊之間的差且判定此差是否不空來判定新點之存在。
對於表面重建途徑，若將擴展現有重建模型(步驟260中之「是」)，則在步驟265中，可啟動深度感測器且可獲取深度資訊以擴增自追蹤模組210接收之經更新攝影機影像圖框。舉例而言，若自追蹤模組210接收之經更新攝影機影像圖框包括第一次成像之點，則演算法可進行至步驟265且可啟用深度感測器。在一些實施例中，可運用3DTOF攝影機、結構化燈或立體感測器以在步驟265中獲得深度資訊。
在不存在新點(步驟260中之「否」)之情況下，對於表面重建，可不擴展模型且演算法返回至步驟255以開始另一反覆。舉例而言， 對於表面重建，若新攝影機影像圖框不包括新點，則演算法可返回至步驟255以等待下一更新，且可停用深度感測器或深度感測器可保持被停用(若其先前被停用)。
在運用體積重建之一些實施例中，可以某一指定速率(例如，每五個圖框一次)獲取深度資料。否則，可停用深度感測器。舉例而言，可關斷深度感測器或使其置於待用模式。可運用深度圖以判定自空間中之給定點(諸如，攝影機中心之位點)至經估計表面的距離。因此，在運用體積重建之一些實施例中，可週期性地(基於指定速率)啟動深度感測器，且可獲取深度資訊以擴增自追蹤模組210接收之經更新攝影機影像圖框。
對於體積重建，在一些實施例中，可藉由融合環境之已經在現有模型中表示之點或區域的額外量測來達成較高品質。因此，在運用體積重建之實施例中，甚至在不存在新點之情形中仍可更新模型或3D網狀結構。在一些實施例中，可設定臨限值以限制同一表面元素被更新之次數。
在任一途徑中，若追蹤模組210之圖框速率足夠高，則攝影機姿勢不太可能自最近經更新圖框(自追蹤模組210獲得)及在步驟265中運用深度感測器捕捉深度資訊的時間起已經歷改變(可能已最小程度地改變)。因此，在步驟265中獲取之深度資訊可與最近經更新圖框及具有最小準確度損失或不具有準確度損失之關聯姿勢相關聯。
在另一實施例中，可在步驟265中獲取包含彩色影像及深度資訊兩者之新影像，且可獲得用於新色彩+深度影像之新攝影機姿勢。在另一實施例中，可在步驟265中獲取包含彩色影像及深度資訊兩者之新影像，且與自追蹤模組210獲得之最近經更新圖框相關聯之攝影機姿勢可與經新捕捉之色彩+深度影像相關聯。如上文所提及，對於足夠高之圖框速率，自獲得自追蹤模組210之最近經更新圖框及經新捕 捉之色彩+深度影像的圖框間攝影機姿勢改變可最小，使得任何準確度降級可最小。
在一些實施例中，可捕捉3DTOF攝影機、結構化燈或立體影像以在步驟265中獲得彩色影像及深度資訊。在運用被動式立體感測器之實施例中，現在可處理立體影像對(例如，來自由追蹤模組210運用被動式立體感測器而捕捉之最近經更新影像)以獲得深度資訊。
因此，若自追蹤模組210接收之經更新攝影機影像圖框包括第一次(對於表面重建)或在基於指定圖框速率之適當圖框間隔之後(對於體積重建)成像之點，則演算法可進行至步驟265且可啟用深度感測器以獲得深度資訊。因此，在一些實施例中，雖然追蹤模組210可連續地操作，但在步驟265中僅偶爾地執行涉及深度獲取之功率密集型操作，藉此節約電力。
演算法接著可進行至常式275，其中可基於經新捕捉之深度資料而擴展正被模型化之環境之3D重建。
圖2B展示用以運用表面重建技術來擴展重建之常式或方法275的流程圖。在一些實施例中，常式275可由重建模組250調用或形成重建模組250之部分。在一些實施例中，常式275可接受經更新攝影機姿勢304及包含在步驟265中捕捉之色彩及深度資訊之色彩+深度影像302作為輸入。在一些實施例中，經更新攝影機姿勢304可為藉由常式225而計算之最近姿勢。
在一些實施例中，在步驟305中，可視情況對輸入色彩+深度影像302進行濾波以移除雜訊分量，且可對輸入色彩+深度影像302進行減少取樣。在一些實施例中，減少取樣位準可部分地基於深度感測器之準確度、攝影機姿勢估計304之準確度及/或其他系統參數。舉例而言，在一項實施例中，可將具有640×480色彩+深度像素之色彩+深度影像減少取樣至320×240色彩+深度像素。在一些實施例中，可以不同 速率而對色彩及深度影像進行減少取樣。舉例而言，在一項實施例中，可使影像色彩資訊保持於全解析度，而可對深度資訊進行減少取樣。
舉例而言，若在步驟305中不對640×480色彩+深度像素影像進行減少取樣，則在步驟310中，所得部分網狀結構可引起多達639*479*2=612,162個三角形。若在步驟305中將影像減少取樣至320×240，則三角形之數目將不多於152,482個三角形。因此，基於各種系統參數，可在步驟305中有利地運用減少取樣，以減少重建之計算複雜度且在對3D重建具有最小影響的情況下加快處理序，此情形可藉此促成功率消耗之額外效率。
在步驟310中，對於表面重建，可基於深度影像及攝影機姿勢而產生部分網狀結構。在一項實施例中，表面重建模組可運用深度資訊以沿著檢視方向使彩色影像立體化，且建立紋理化或有色緻密3D網狀結構。舉例而言，網狀結構可由可用以呈現影像之三角形構成。術語「部分網狀結構」係指自單色彩+深度影像302建立之網狀結構，色彩+深度影像302係在步驟265中獲得。術語「現有網狀結構」係指在一時間點的根據將所有部分網狀結構組合或合併在一起而獲得之結果。
當建立第一部分網狀結構時，將其自動地用作現有網狀結構。當建立任何其他後續部分網狀結構時，將該後續部分網狀結構與現有網狀結構合併。在一些實施例中，自具有關聯攝影機姿勢之關鍵圖框及具有起源於該等關鍵圖框之描述符之稀疏3D點建立網狀結構。包括深度資訊之關鍵圖框為以在攝影機之旋轉及平移方面彼此相對遠離之攝影機姿勢而捕捉的選定影像。在一些實施例中，可基於與第一關鍵圖框相關聯之攝影機姿勢而定義全域座標系統。
在步驟320中，判定現有網狀結構與部分網狀結構之間的重疊。 在一些實施例中，常式375可進一步運用追蹤系統之6DOF姿勢304(藉由常式225而計算)以最初使新部分網狀結構與現有網狀結構對準。在一些實施例中，在步驟325中，取決於追蹤系統之姿勢估計準確度，常式375可視情況運用諸如迭代最近點(iterative closest point,ICP)之方法來進一步改進對準。ICP演算法最小化部分網狀結構與現有網狀結構之重疊區段之間的差異。在一項實施例中，ICP演算法可反覆地執行以下步驟以改進部分網狀結構與現有網狀結構之重疊部分之間的對準：使兩個網狀結構中之最近相鄰點相關聯，運用均方成本函數來估計變換參數，且接著在開始下一反覆之前運用經估計參數來變換該等點。
接下來，在步驟330中，一旦已使部分網狀結構與現有網狀結構對準，重建模組就可自部分網狀結構減少已經存在於現有網狀結構中之任何重複細節。在一些實施例中，在步驟330中，可移除任何重複細節，抑或可將任何重複細節與現有網狀結構融合或合併--例如，藉由平均化所有附近/對應頂點位置。在另一實施例中，可移除重複細節，抑或可基於多種其他試探法而將重複細節與現有模型融合/合併。舉例而言，在一項實施例中，可保持細節之最近觀測。在另一實施例中，可以保持現有網狀結構之平滑度的方式來融合重複細節。
在步驟335中，可在移除重複資訊之後運用輸入彩色影像302中之資訊而將紋理或頂點色彩資訊添加至部分網狀結構。在步驟340中，將部分網狀結構合併至現有網狀結構中。在一些實施例中，可在將部分網狀結構與現有網狀結構合併之前自部分網狀結構移除重複資訊。在另一實施例中，如上文所描述，可合併該等網狀結構而不移除重複資訊，例如，藉由平均化部分網狀結構及現有網狀結構中之所有附近或對應頂點位置，或藉由運用其他試探法。因此，現有網狀結構可增長且變得較完整。在一些實施例中，表面重建途徑可在需求時自 深度感測器獲得深度資訊。舉例而言，表面重建途徑可在需求時獲取深度資訊，諸如，在映射序列開始時每秒一次或兩次，且在接近結束時每幾秒僅一次，從而引起顯著較低之深度感測器運用及功率消耗之對應減小。
圖2C展示用以運用體積重建技術來擴展重建之常式或方法275的流程圖。在一些實施例中，常式275可由重建模組250調用或形成重建模組250之部分。在一些實施例中，常式275可接受經更新攝影機姿勢304及包含在步驟265中捕捉之色彩及深度資訊之色彩+深度影像302作為輸入。在一些實施例中，經更新攝影機姿勢304可為藉由常式225而計算之最近姿勢。
在一些實施例中，在步驟305中，可視情況對輸入色彩+深度影像302進行濾波以移除雜訊分量，且對輸入色彩+深度影像302進行減少取樣。在一些實施例中，減少取樣位準可部分地基於深度感測器之準確度、攝影機姿勢估計304之準確度及/或其他系統參數。因此，基於各種系統參數，可在步驟305中有利地運用減少取樣，以減少重建之計算複雜度且在對3D重建具有最小影響的情況下加快處理序，此情形可藉此促成功率消耗之額外效率。
在步驟350中，可基於深度影像及攝影機姿勢而產生及/或更新體積資料集。在一些實施例中，在步驟350中，將來自攝影機圖框之深度資料融合至計算有效體積資料結構中。在一項實施例中，體積重建可運用表面之隱含表示，其運用3D距離函數。
在運用體積重建之實施例中，可以某一指定速率(例如，每五個圖框一次)獲取深度資料。否則，可停用深度感測器。舉例而言，可關斷深度感測器或使其置於待用模式。可運用深度圖以判定自空間中之給定點(諸如，攝影機中心之位點)至經估計表面的距離。因此，在運用體積重建之一些實施例中，可週期性地(基於指定速率)啟動深度 感測器，且可獲取深度資訊以擴增自追蹤模組210接收之經更新攝影機影像圖框。
對於體積重建，在一些實施例中，可藉由融合環境之已經在現有模型中表示之點或區域的額外量測來達成較高品質。因此，在運用體積重建之實施例中，甚至在不存在新點之情形中仍可更新體積資料集。在一些實施例中，可設定臨限值以限制同一表面元素被更新之次數。
在步驟355中，可運用多種技術而自體積資料集/3D網狀結構執行表面提取。舉例而言，可運用跨步立方體演算法以提取表面。在一些實施例中，對於體積重建，在獨立於融合步驟之分離步驟中進行表面提取。
在一些實施例中，體積重建可運用固定資料速率(例如，5個色彩+深度圖框/秒)，該固定資料速率可為動態地可組態的。舉例而言，來自深度攝影機之更新頻率可基於應用請求(例如，所請求模型之較低或較高準確度)或基於上下文提示(例如，器件上之低或高電池電量)而變化(增加或減小)。在一些實施例中，可獨立於融合而執行表面提取步驟。
圖2D展示描繪用於將來自攝影機圖框之深度資料融合至體積資料集中之例示性方法的流程圖。可運用3D截斷帶正負號距離函數(TDSF)以表示為3D空間中之規則樣本集合。在每一樣本處，TDSF(樣本)值得到至經估計表面之帶正負號距離，其中正距離指示在物件外之樣本，而負距離指示在物件內之樣本。
在運用體積重建之一些實施例中，可以某一指定速率(例如，每五個圖框一次)獲取深度資料，且可運用深度圖以判定自空間中之給定點(諸如，攝影機中心之位點)至經估計表面的距離。接著可將此等距離映射至體積資料集中之帶正負號距離。
在步驟351中，可將體積中之每一樣本變換成深度圖之攝影機座標系統，且可基於輸入攝影機姿勢而將樣本投影至深度圖中以獲得沿著射線至表面之經量測距離。彼經投影像素處之距離值提供沿著射線至表面之經量測距離估計。
接下來，在步驟353中，計算樣本深度與經量測距離估計之間的差。自樣本位點至表面之經量測相對距離被定義為樣本深度與經量測距離之間的差。
在步驟355中，將經量測相對距離映射至TDSF，且在步驟357中，可將經映射TDSF值與經儲存值組合。舉例而言，可藉由運用遞歸濾波器來組合由射線上之樣本點提供的距離估計(s)與相對距離而更新該距離估計(s)。舉例而言，一項實施可運用權數w與距離估計s，且藉由運用加權更新而基於新量測m來更新距離估計s，加權更新係可 由及w=w+1給出。
在步驟359中，若將處理額外樣本(步驟359中之「是」)，則可起動另一反覆開始以處理下一樣本。若不存在另外樣本(步驟359中之「否」)，則可將控制返回至呼叫常式。
在一些實施例中，追蹤模組210及重建模組250可並行地執行。舉例而言，追蹤模組210及重建模組250可作為分離執行緒或處理序而執行。在一些實施例中，追蹤模組210及重建模組250可在分離處理器核心上執行。
在一些實施例中，上文所描述之方法200可促進具有功率有效深度感測器運用之即時3D重建。在一項實施例中，雖然視覺追蹤系統可以適當圖框速率連續地執行，但3D重建模組可偶爾地獲取影像+深度資料。舉例而言，雖然取決於應用，但色彩+深度影像對可被獲取之速率可在映射序列開始時較高，且可在接近結束時實質上減小。在 一些實施例中，相對於連續地獲取深度資訊之習知方法，以上方法200可能夠將需要深度資訊之圖框之數目減少達一個數量級或一個數量級以上，藉此引起顯著電力節省。
在一些例示性實施中，視覺追蹤系統可以30fps之圖框速率連續地執行，而3D重建模組偶爾地獲取影像+深度資料。一般而言，色彩+深度影像被獲取之速率取決於特定運用。然而，在一些典型運用狀況下，3D重建模組可在映射序列開始時每秒一次或兩次獲取影像+深度資料，且在接近映射序列結束時每幾秒僅一次獲取影像+深度資料。因此，相對於始終需要色彩+深度資訊之習知實施，本文所描述之實施例相對於習知實施將需要獲取深度資訊之圖框之數目減少達1/10或更少。因此，在可快速地且在具有最小附加項之情況下啟用及停用深度感測器的例子中，在所揭示實施例中用於CV應用中之深度獲取之功率消耗可為藉由傳統方法而消耗之功率的10%或更少。
圖3展示依據所揭示實施例的用於3D重建之例示性方法400的流程圖。在一些實施例中，方法400係可由處理器150執行。在一些實施例中，方法400之部分係可由CV模組155執行。
在步驟405中，可運用至少一個攝影機來捕捉第一(或下一)影像，其中第一影像包含用於正被模型化之環境之至少一部分的色彩資訊。在一些實施例中，可運用MS 100上之攝影機110來捕捉第一影像。
接下來，在步驟410中，可獲得用於由攝影機捕捉之第一(或下一)影像之攝影機姿勢資訊。在一些實施例中，步驟405及410之部分係可由追蹤模組210執行。
在步驟420中，可部分地基於第一(或下一)經捕捉影像及關聯攝影機姿勢資訊而作出是否擴展或更新正由行動器件模型化之環境之第一三維(3D)模型的判定。在一些實施例中，可針對3D模型來運用表面 及/或體積重建技術，且可以依據正用於模型化之特定技術的方式來作出關於模型擴展之決策。
舉例而言，對於表面重建，基於第一(下一)影像及攝影機姿勢，可作出影像包括當前未在環境之現有模型中表示之資訊的程度的判定。舉例而言，對於表面重建，是否擴展環境之現有模型的判定可基於是否存在環境之已經在現有模型中表示但根據不同觀點而第一次在經新捕捉之攝影機圖框中成像的點或區域。
在步驟430中，若將不擴展或更新模型(步驟430中之「否」)，則在步驟440中，可停用MS 100上之深度感測器。舉例而言，對於體積重建，可取決於深度資訊正被獲取之頻率而針對圖框之間的適當間隔來停用深度感測器。舉例而言，對於表面重建，若影像不包括新資訊，則可停用深度感測器。對於可以指定速率週期性地獲取深度資訊之體積重建，可基於指定速率而以適當間隔來啟用深度感測器。否則，可停用深度感測器。舉例而言，可關斷深度感測器或使其置於待用模式。
在一些實施例中，對於表面重建狀況及體積重建狀況兩者，停用深度感測器可包含以下各者中至少一者：關斷供應至深度感測器之電力，或停用與深度影像之計算相關之功能性。舉例而言，可關斷深度感測器或使其置於待用模式。舉例而言，在一些實施例中，當停用立體視覺感測器時，由攝影機110捕捉之影像可為單目。另外，在一些實施例中，藉由停用深度感測器，亦可停用與自被動式立體視覺感測器捕捉之立體影像之處理相關聯的計算。舉例而言，在一項實施例中，儘管立體影像係可由被動式立體視覺感測器捕捉，但處理器150可不處理立體影像且可代替地自立體對選擇單一影像以供處理。因此，在一些實施例中，3D重建模組偶爾地獲取/運用深度資料，藉此節約電力。
另一方面，若將擴展或更新模型(步驟430中之「是」)，則在步驟450中，可啟用MS 100上之深度感測器。舉例而言，對於表面重建，若因為第一(下一)影像包括足夠新資訊而將擴展正被模型化之環境之3D模型，則接著可藉由結合影像及關聯姿勢資訊之捕捉而接通適當深度感測器來獲得影像及深度資訊。
作為另一實例，對於正以某一指定速率來獲取深度資訊之體積重建，接著可基於指定速率而啟用深度感測器且可用新深度資訊來更新環境之3D模型。對於體積重建，在一些實施例中，可藉由融合環境之已經在現有模型中表示之點或區域的額外量測來達成較高品質。因此，在運用體積重建之實施例中，甚至在不存在新點之情形中仍可更新模型或3D網狀結構。在一些實施例中，可設定臨限值或其他參數以限制同一表面元素被更新之次數。
舉例而言，在一些實施例中，可用至少一個攝影機來捕捉第二影像。另外，可用至少部分地由深度感測器提供之深度資訊來擴增第二影像。
對於表面重建，可將正由MS模型化之環境之部分模型與環境之第一3D模型合併。部分模型可部分地基於第二影像以及用於第二影像之深度資訊及攝影機姿勢資訊。在一些實施例中，可在合併部分3D模型與第一3D模型之前自部分3D模型移除為第一3D模型及部分3D模型所共有之資訊。在一些實施例中，部分模型可基於經減少取樣之較低解析度經擴增第二影像。在一些實施例中，可基於用於第二影像之攝影機姿勢資料而使正由MS模型化之環境之部分模型與環境之第一3D模型對準。在一些實施例中，可運用迭代最近點(ICP)來改進部分3D模型與第一3D模型之對準。
對於體積重建，可以某一指定速率(例如，每五個圖框一次)獲取深度資料，且可運用深度圖以判定自空間中之給定點(諸如，攝影機 中心之位點)至經估計表面的距離。接著可將此等距離映射至體積資料集中之帶正負號距離。因此，可將體積中之每一樣本變換成深度圖之攝影機座標系統，且可基於輸入攝影機姿勢而將樣本投影至深度圖中以獲得沿著射線至表面之經量測距離。彼經投影像素處之距離值提供沿著射線至表面之經量測距離估計。
接下來，可計算樣本深度與經量測距離估計之間的差。接著可將被定義為樣本深度與經量測距離之間的差的自樣本位置至表面之經量測相對距離映射至TDSF，且可將經映射TDSF值與經儲存值組合。舉例而言，可藉由運用遞歸濾波器來組合由射線上之樣本點提供的距離估計(s)與相對距離而更新該距離估計(s)。舉例而言，一項實施可運用權數w與距離估計s，且藉由運用加權更新而基於新量測m來更新 距離估計s，加權更新係可由及w=w+1給出。
若存在待處理之額外影像(步驟460中之「是」)，則處理序返回至步驟410以開始另一反覆。舉例而言，若3D重建及/或映射序列未完成，則在步驟405中可作出用以捕捉額外影像之判定且開始新反覆。否則，若不存在另外影像(步驟460中之「否」)，則方法可終止。
取決於應用，可藉由各種方式來實施本文所描述之方法。舉例而言，對於韌體及/或軟體實施，可用執行本文所描述之功能之模組(例如，程序、函式等等)來實施該等方法。有形地體現指令之任何機器可讀媒體可用來實施本文所描述之方法。
舉例而言，軟體程式碼可儲存於記憶體中，且係由MS 100上的諸如處理器150之處理器單元執行。在一些實施例中，該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上。實例包括經編碼有資料結構之電腦可讀媒體，及經編碼有電腦程式之電腦可讀媒體。電腦可讀媒體包括實體電腦儲存媒體。
儲存媒體可為可由電腦存取之任何可用媒體。作為實例而非限制，此等電腦可讀媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件，或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體；如本文所運用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
除了儲存於電腦可讀媒體上以外，指令及/或資料亦可作為信號而提供於包括於通信裝置中之傳輸媒體上。舉例而言，通信裝置可包括具有指示指令及資料之信號之收發器。該等指令及資料經組態以使一或多個處理器實施申請專利範圍中概述之功能。亦即，通信裝置包括具有指示用以執行所揭示功能之資訊之信號的傳輸媒體。在第一時間，包括於通信裝置中之傳輸媒體可包括用以執行所揭示功能之資訊的第一部分，而在第二時間，包括於通信裝置中之傳輸媒體可包括用以執行所揭示功能之資訊的第二部分。
提供所揭示態樣之先前描述以使任何熟習此項技術者能夠製造或運用本發明。在不脫離本發明之精神或範疇的情況下，對此等態樣之各種修改對於熟習此項技術者而言將易於顯而易見，且本文所定義之一般原理可應用於其他態樣。
400‧‧‧用於三維(3D)重建之例示性方法
405‧‧‧步驟
410‧‧‧步驟
420‧‧‧步驟
430‧‧‧步驟
440‧‧‧步驟
450‧‧‧步驟
460‧‧‧步驟

Claims (30)

  1. 一種在包含至少一個攝影機及一深度感測器之一行動台(MS)上之方法，該方法包含：用該至少一個攝影機來捕捉一第一影像，該第一影像包含用於正由該MS模型化之一環境的色彩資訊；獲得用於該第一影像之一攝影機姿勢；部分地基於該第一影像中之色彩資訊及用於該第一影像之該攝影機姿勢而判定是否更新與該環境之一第一三維(3D)模型相關聯之一體積資料集(volumetric dataset)；及當將更新該第一3D模型時，啟用該深度感測器以捕捉深度資訊，其中該經捕捉之深度資訊係至少部分地被使用以更新使用體積重建(volumetric reconstruction)之該第一3D模型。
  2. 如請求項1之方法，其中啟用該深度感測器包含以下各者中至少一者：開啟供應至該深度感測器之電力，或啟用與一深度影像之計算相關之功能性。
  3. 如請求項1之方法，其進一步包含：當不擴展該第一3D模型時維持該深度感測器之停用。
  4. 如請求項1之方法，其中更新該體積資料集之一判定係經做成，其係當：該第一影像中之該色彩資訊包含關於該環境中之一或多個點的資料，該或該等點係未經表示於該體積資料集中；或該第一影像中之該色彩資訊包含關於該環境中之一或多個點的資料，該或該等點係經表示於該體積資料集中且為額外深度資料所要的；或 因該深度感測器最後被啟用，該第一影像係具有色彩資訊之連續影像的一預先判定數目之最後一個。
  5. 如請求項1之方法，其中在啟用該深度感測器後，即藉由以下各者而使用體積重建更新該第一3D模型：用該至少一個攝影機來捕捉具有色彩資訊之一第二影像；用由該深度感測器提供之該經捕捉之深度資訊來擴增該第二影像；及至少部分地基於該第二影像之一攝影機姿勢將該經擴增之第二影像融合至與該第一3D模型相關聯之該體積資料集中。
  6. 如請求項5之方法，其中該體積資料集係使用一截斷帶正負號距離函數(TDSF)而被表示。
  7. 如請求項6之方法，其中將該經擴增之第二影像融合至該體積資料集包含：判定用於該第二影像之該攝影機姿勢；基於用於該第二影像之該攝影機姿勢，基於該經擴增之第二影像投影在該TDSF中之一或多個資料樣本至一深度圖；針對經投影至該深度圖的該或該等資料樣本之每一者，判定從該經投影之資料樣本的一位置至由該TDSF所定義的一表面之一對應經量測相對距離；針對經投影至該深度圖的該或該等資料樣本之每一者，藉由映射該對應經量測相對距離至該TDSF以獲得一對應經映射TDSF值；及針對在該TDSF中的該或該等資料樣本之每一者，組合該對應經映射TDSF值與用於該資料樣本之一經儲存TDSF值。
  8. 如請求項7之方法，其中組合包含：運用一遞歸濾波器(recursive filter)來組合該對應經映射TDSF 值與該經儲存TDSF值。
  9. 一種行動台(MS)，其包含：一攝影機，該攝影機用以捕捉一第一影像，該第一影像包含用於正由該MS模型化之一環境的色彩資訊；一深度感測器，其耦接至該攝影機；及一處理器，其耦接至該深度感測器及該攝影機，該處理器經組態以：獲得用於該第一影像之一攝影機姿勢；部分地基於該第一影像中之色彩資訊及用於該第一影像之該攝影機姿勢而判定是否更新與該環境之一第一三維(3D)模型相關聯之一體積資料集；及當將更新該第一3D模型時，啟用該深度感測器以捕捉深度資訊，其中該經捕捉之深度資訊係至少部分地被使用以更新使用體積重建之該第一3D模型。
  10. 如請求項9之MS，其中為了啟用該深度感測器，該處理器經組態以執行以下各者中至少一者：開啟供應至該深度感測器之電力，或啟用與一深度影像之計算相關之功能性。
  11. 如請求項9之MS，其中該處理器經進一步組態以：當不擴展該第一3D模型時維持該深度感測器之停用。
  12. 如請求項9之MS，其中該處理器經組態以做成更新該體積資料集之一判定，其當：該第一影像中之該色彩資訊包含關於該環境中之一或多個點的資料，該或該等點係未經表示於該體積資料集中；或該第一影像中之該色彩資訊包含關於該環境中之一或多個點的資料，該或該等點係經表示於該體積資料集中且為額外深度 資料所要的；或因該深度感測器最後被啟用，該第一影像係具有色彩資訊之連續影像的一預先判定數目之最後一個。
  13. 如請求項9之MS，其中為在啟用該深度感測器後，使用體積重建更新該第一3D模型，該處理器經組態以：用該至少一個攝影機來捕捉用於該環境之具有色彩資訊之一第二影像；用由該深度感測器提供之該經捕捉之深度資訊來擴增該第二影像；及至少部分地基於該第二影像之一攝影機姿勢將該經擴增之第二影像融合至與該第一3D模型相關聯之該體積資料集中。
  14. 如請求項13之MS，其中該體積資料集係使用一截斷帶正負號距離函數(TDSF)而被表示。
  15. 如請求項14之MS，其中為將該經擴增之第二影像融合至該體積資料集，該處理器經組態以：判定用於該第二影像之該攝影機姿勢；基於用於該第二影像之該攝影機姿勢，基於該經擴增之第二影像投影在該TDSF中之一或多個資料樣本至一深度圖；針對經投影至該深度圖的該或該等資料樣本之每一者，判定從該經投影之資料樣本的一位置至由該TDSF所定義的一表面之一對應經量測相對距離；針對經投影至該深度圖的該或該等資料樣本之每一者，藉由映射該對應經量測相對距離至該TDSF以獲得一對應經映射TDSF值；及針對在該TDSF中的該或該等資料樣本之每一者，組合該對應經映射TDSF值與用於該資料樣本之一經儲存TDSF值。
  16. 如請求項15之MS，其中該處理器經組態以藉由運用一遞歸濾波器來組合該對應經映射TDSF值與該經儲存TDSF值。
  17. 一種用於進行功率有效3D重建之裝置，其包含：成像構件，該成像構件用以捕捉一第一影像，該第一影像包含用於正由該裝置模型化之一環境的色彩資訊，深度感測構件，其耦接至該成像構件，及處理構件，其耦接至該深度感測構件及該成像構件，該處理構件進一步包含：用於獲得用於該第一影像之一成像構件姿勢之構件；用於部分地基於該第一影像中之色彩資訊及用於該第一影像之該成像構件姿勢而判定是否更新與該環境之一第一三維(3D)模型相關聯之一體積資料集之構件；及用於當將更新該第一3D模型時，啟用該深度感測構件以捕捉深度資訊之構件，其中該經捕捉之深度資訊係至少部分地藉由用於更新使用體積重建之該第一3D模型之構件被使用。
  18. 如請求項17之裝置，其中用於啟用該深度感測構件的構件進一步包含以下各者中至少一者：用於開啟供應至該深度感測構件之電力的構件，或用於啟用與一深度影像之計算相關之功能性的構件。
  19. 如請求項17之裝置，其中該處理構件進一步包含：用於當不擴展該第一3D模型時維持該深度感測器之停用的構件。
  20. 如請求項17之裝置，其中該用於判定之構件判定以更新該體積資料集，其係當：該第一影像中之該色彩資訊包含關於該環境中之一或多個點的資料，該或該等點係未經表示於該體積資料集中；或 該第一影像中之該色彩資訊包含關於該環境中之一或多個點的資料，該或該等點係經表示於該體積資料集中且為額外深度資料所要的；或因該深度感測構件最後被啟用，該第一影像係具有色彩資訊之連續影像的一預先判定數目之最後一個。
  21. 如請求項17之裝置，其中在啟用該深度感測構件後，用於使用體積重建更新該第一3D模型之構件包含：用於用該至少一個成像構件來捕捉用於該環境之具有色彩資訊之一第二影像之構件；用於用由該深度感測構件提供之該經捕捉之深度資訊來擴增該第二影像之構件；及用於至少部分地基於該第二影像之一成像構件姿勢將該經擴增之第二影像融合至與該第一3D模型相關聯之該體積資料集中。
  22. 如請求項21之裝置，其中該體積資料集係使用一截斷帶正負號距離函數(TDSF)而被表示。
  23. 如請求項22之裝置，其中用於將該經擴增之第二影像融合至該體積資料集之構件包含：用於判定用於該第二影像之該成像構件姿勢之構件；用於基於用於該第二影像之該成像構件姿勢，基於該經擴增之第二影像投影在該TDSF中之一或多個資料樣本至一深度圖之構件；針對經投影至該深度圖的該或該等資料樣本之每一者，用於判定從該經投影之資料樣本的一位置至由該TDSF所定義的一表面之一對應經量測相對距離之構件；針對經投影至該深度圖的該或該等資料樣本之每一者，用於 藉由映射該對應經量測相對距離至該TDSF以獲得一對應經映射TDSF值之構件；及針對在該TDSF中的該或該等資料樣本之每一者，用於組合該對應經映射TDSF值與用於該資料樣本之一經儲存TDSF值之構件。
  24. 一種非暫時性電腦可讀媒體，其包含指令，該等指令當由一處理器執行時執行在包含至少一個攝影機及一深度感測器之一行動台(MS)上之一方法中的步驟，該方法包含：用該至少一個攝影機來捕捉一第一影像，該第一影像包含用於正由該MS模型化之一環境之至少一部分的色彩資訊；獲得用於該第一影像之一攝影機姿勢；部分地基於該第一影像中之色彩資訊及用於該第一影像之該攝影機姿勢而判定是否更新與該環境之一第一三維(3D)模型相關聯之一體積資料集；及當將更新該第一3D模型時，啟用該深度感測器以捕捉深度資訊，其中該經捕捉之深度資訊係至少部分地被使用以更新使用體積重建之該第一3D模型。
  25. 如請求項24之電腦可讀媒體，其中啟用該深度感測器進一步包含以下各者中至少一者：開啟供應至該深度感測器之電力，或啟用與一深度影像之計算相關之功能性。
  26. 如請求項24之電腦可讀媒體，其進一步包含：在不擴展該第一3D模型之情況下維持該深度感測器之停用。
  27. 如請求項24之電腦可讀媒體，其中更新該體積資料集之一判定係經做成，其係當：該第一影像中之該色彩資訊包含關於該環境中之一或多個點 的資料，該或該等點係未經表示於該體積資料集中；或該第一影像中之該色彩資訊包含關於該環境中之一或多個點的資料，該或該等點係經表示於該體積資料集中且為額外深度資料所要的；或因該深度感測器最後被啟用，該第一影像係具有色彩資訊之連續影像的一預先判定數目之最後一個。
  28. 如請求項24之電腦可讀媒體，其中在啟用該深度感測器後，即藉由以下各者而使用體積重建更新該第一3D模型：用該至少一個攝影機來捕捉用於該環境之具有色彩資訊之一第二影像；用由該深度感測器提供之該經捕捉之深度資訊來擴增該第二影像；及至少部分地基於該第二影像之一攝影機姿勢將該經擴增之第二影像融合至與該第一3D模型相關聯之該體積資料集中。
  29. 如請求項28之電腦可讀媒體，其中該體積資料集係使用一截斷帶正負號距離函數(TDSF)而被表示。
  30. 如請求項29之電腦可讀媒體，其中將該經擴增之第二影像融合至該體積資料集包含：判定用於該第二影像之該攝影機姿勢；基於用於該第二影像之該攝影機姿勢，基於該經擴增之第二影像投影在該TDSF中之一或多個資料樣本至一深度圖；針對經投影至該深度圖的該或該等資料樣本之每一者，判定從該經投影之資料樣本的一位置至由該TDSF所定義的一表面之一對應經量測相對距離；針對經投影至該深度圖的該或該等資料樣本之每一者，藉由映射該對應經量測相對距離至該TDSF以獲得一對應經映射TDSF 值；及針對在該TDSF中的該或該等資料樣本之每一者，組合該對應經映射TDSF值與用於該資料樣本之一經儲存TDSF值。
TW105116553A 2013-01-30 2014-01-29 具有功率有效深度感測器運用之即時三維重建 TWI583176B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361758699P 2013-01-30 2013-01-30
US201361769465P 2013-02-26 2013-02-26
US14/161,140 US9083960B2 (en) 2013-01-30 2014-01-22 Real-time 3D reconstruction with power efficient depth sensor usage

Publications (2)

Publication Number Publication Date
TW201631963A TW201631963A (zh) 2016-09-01
TWI583176B true TWI583176B (zh) 2017-05-11

Family

ID=50727551

Family Applications (2)

Application Number Title Priority Date Filing Date
TW105116553A TWI583176B (zh) 2013-01-30 2014-01-29 具有功率有效深度感測器運用之即時三維重建
TW103103655A TWI544781B (zh) 2013-01-30 2014-01-29 具有功率有效深度感測器運用之即時三維重建

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW103103655A TWI544781B (zh) 2013-01-30 2014-01-29 具有功率有效深度感測器運用之即時三維重建

Country Status (9)

Country Link
US (2) US9083960B2 (zh)
EP (1) EP2951788B1 (zh)
JP (2) JP5951908B2 (zh)
KR (1) KR101654174B1 (zh)
CN (1) CN104956404B (zh)
ES (1) ES2675171T3 (zh)
HU (1) HUE038287T2 (zh)
TW (2) TWI583176B (zh)
WO (1) WO2014120613A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI781357B (zh) * 2018-12-06 2022-10-21 宏達國際電子股份有限公司 三維影像處理方法、攝影裝置及非暫態電腦可讀取儲存媒體

Families Citing this family (134)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US11172126B2 (en) * 2013-03-15 2021-11-09 Occipital, Inc. Methods for reducing power consumption of a 3D image capture system
US9772173B2 (en) 2013-06-27 2017-09-26 Faro Technologies, Inc. Method for measuring 3D coordinates of a surface with a portable articulated arm coordinate measuring machine having a camera
US9715761B2 (en) * 2013-07-08 2017-07-25 Vangogh Imaging, Inc. Real-time 3D computer vision processing engine for object recognition, reconstruction, and analysis
KR102137264B1 (ko) * 2013-07-09 2020-07-24 삼성전자주식회사 카메라 포즈 추정 장치 및 방법
JP6102648B2 (ja) * 2013-09-13 2017-03-29 ソニー株式会社 情報処理装置及び情報処理方法
US9438775B2 (en) 2013-09-17 2016-09-06 Occipital, Inc. Apparatus for real-time 3D capture
US9336440B2 (en) 2013-11-25 2016-05-10 Qualcomm Incorporated Power efficient use of a depth sensor on a mobile device
US9171403B2 (en) * 2014-02-13 2015-10-27 Microsoft Technology Licensing, Llc Contour completion for augmenting surface reconstructions
EP3196594B1 (en) 2014-05-05 2021-08-11 Hexagon Technology Center GmbH Surveying system
US20150332464A1 (en) * 2014-05-19 2015-11-19 Occipital, Inc. Methods for automatic registration of 3d image data
US9402070B2 (en) 2014-06-12 2016-07-26 Faro Technologies, Inc. Coordinate measuring device with a six degree-of-freedom handheld probe and integrated camera for augmented reality
US10021379B2 (en) 2014-06-12 2018-07-10 Faro Technologies, Inc. Six degree-of-freedom triangulation scanner and camera for augmented reality
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US20160027214A1 (en) * 2014-07-25 2016-01-28 Robert Memmott Mouse sharing between a desktop and a virtual world
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US10311638B2 (en) * 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US11290704B2 (en) 2014-07-31 2022-03-29 Hewlett-Packard Development Company, L.P. Three dimensional scanning system and framework
GB2543459A (en) * 2014-08-11 2017-04-19 Faro Tech Inc A six degree-of-freedom triangulation scanner and camera for augmented reality
KR20160022086A (ko) * 2014-08-19 2016-02-29 한국과학기술연구원 3d 프린팅을 지원하는 단말기 및 방법, 그 방법을 수행하기 위한 컴퓨터 프로그램
WO2016029970A1 (en) * 2014-08-29 2016-03-03 Toyota Motor Europe Nv/Sa Method and system for scanning an object using an rgb-d sensor
US10484697B2 (en) 2014-09-09 2019-11-19 Qualcomm Incorporated Simultaneous localization and mapping for video coding
US10176625B2 (en) 2014-09-25 2019-01-08 Faro Technologies, Inc. Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images
US10419657B2 (en) 2014-10-26 2019-09-17 Galileo Group, Inc. Swarm approach to consolidating and enhancing smartphone target imagery by virtually linking smartphone camera collectors across space and time using machine-to machine networks
WO2016069497A1 (en) * 2014-10-26 2016-05-06 Galileo Group, Inc. Methods and systems for remote sensing with airborne drones and mounted sensor devices
US9710960B2 (en) 2014-12-04 2017-07-18 Vangogh Imaging, Inc. Closed-form 3D model generation of non-rigid complex objects from incomplete and noisy scans
US9506744B2 (en) 2014-12-16 2016-11-29 Faro Technologies, Inc. Triangulation scanner and camera for augmented reality
US10275113B2 (en) 2014-12-19 2019-04-30 Hewlett-Packard Development Company, L.P. 3D visualization
CN104616127B (zh) * 2015-01-16 2018-04-03 北京邮电大学 一种基于rfid系统的三维重构仓储运维系统及方法
EP3283843B1 (en) 2015-04-01 2024-01-10 Vayavision Sensing Ltd. Generating 3-dimensional maps of a scene using passive and active measurements
EP3076579A1 (en) * 2015-04-02 2016-10-05 Thomson Licensing Devices and methods for encryption and decryption of graphical 3d objects
US20160321838A1 (en) * 2015-04-29 2016-11-03 Stmicroelectronics S.R.L. System for processing a three-dimensional (3d) image and related methods using an icp algorithm
US10366534B2 (en) * 2015-06-10 2019-07-30 Microsoft Technology Licensing, Llc Selective surface mesh regeneration for 3-dimensional renderings
US9906715B2 (en) 2015-07-08 2018-02-27 Htc Corporation Electronic device and method for increasing a frame rate of a plurality of pictures photographed by an electronic device
WO2017023210A1 (en) * 2015-08-06 2017-02-09 Heptagon Micro Optics Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
US10559130B2 (en) * 2015-08-31 2020-02-11 Microsoft Technology Licensing, Llc Displaying image data behind surfaces
US10404962B2 (en) * 2015-09-24 2019-09-03 Intel Corporation Drift correction for camera tracking
IL286156B2 (en) 2015-11-20 2024-07-01 Magic Leap Inc Methods and systems for large-scale determination of RGBD camera displays
FR3046014A1 (fr) 2015-12-21 2017-06-23 Orange Procede de gestion de ressources sur un terminal
CN105654547B (zh) * 2015-12-23 2018-06-19 中国科学院自动化研究所 三维重建方法
CN106997582A (zh) * 2016-01-22 2017-08-01 北京三星通信技术研究有限公司 飞行时间三维传感器的运动模糊消除方法和设备
KR102406327B1 (ko) * 2016-02-02 2022-06-10 삼성전자주식회사 출력 장치를 제어하는 방법 및 장치
US10229502B2 (en) * 2016-02-03 2019-03-12 Microsoft Technology Licensing, Llc Temporal time-of-flight
US10482681B2 (en) 2016-02-09 2019-11-19 Intel Corporation Recognition-based object segmentation of a 3-dimensional image
US10373380B2 (en) 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
US10989542B2 (en) 2016-03-11 2021-04-27 Kaarta, Inc. Aligning measured signal data with slam localization data and uses thereof
US11567201B2 (en) 2016-03-11 2023-01-31 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
WO2017155970A1 (en) 2016-03-11 2017-09-14 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
WO2019006289A1 (en) * 2017-06-30 2019-01-03 Kaarta, Inc. SYSTEMS AND METHODS FOR SCAN ENHANCEMENT AND CORRECTION
US11573325B2 (en) 2016-03-11 2023-02-07 Kaarta, Inc. Systems and methods for improvements in scanning and mapping
US10841491B2 (en) * 2016-03-16 2020-11-17 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging
US10616552B2 (en) * 2016-03-25 2020-04-07 Intel Corporation Multi-modal real-time camera localization and environment mapping
CN105931240B (zh) * 2016-04-21 2018-10-19 西安交通大学 三维深度感知装置及方法
US10319141B2 (en) 2016-06-21 2019-06-11 Apple Inc. Method and system for vision based 3D reconstruction and object tracking
US10129523B2 (en) 2016-06-22 2018-11-13 Microsoft Technology Licensing, Llc Depth-aware reprojection
US10237531B2 (en) 2016-06-22 2019-03-19 Microsoft Technology Licensing, Llc Discontinuity-aware reprojection
US10573018B2 (en) * 2016-07-13 2020-02-25 Intel Corporation Three dimensional scene reconstruction based on contextual analysis
KR102529120B1 (ko) * 2016-07-15 2023-05-08 삼성전자주식회사 영상을 획득하는 방법, 디바이스 및 기록매체
GB2552648B (en) * 2016-07-22 2020-09-16 Imperial College Sci Tech & Medicine Estimating dimensions for an enclosed space using a multi-directional camera
US10574909B2 (en) 2016-08-08 2020-02-25 Microsoft Technology Licensing, Llc Hybrid imaging sensor for structured light object capture
KR102606785B1 (ko) * 2016-08-30 2023-11-29 스냅 인코포레이티드 동시 로컬화 및 매핑을 위한 시스템 및 방법
US10339716B1 (en) 2016-09-19 2019-07-02 Occipital, Inc. System and method for dense, large scale scene reconstruction
US10447998B2 (en) * 2016-09-30 2019-10-15 Intel Corporation Power efficient long range depth sensing
KR102246841B1 (ko) * 2016-10-05 2021-05-03 매직 립, 인코포레이티드 표면 모델링 시스템들 및 방법들
TWI595446B (zh) * 2016-10-19 2017-08-11 國立清華大學 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
TWI668670B (zh) * 2017-01-05 2019-08-11 鈺立微電子股份有限公司 深度圖產生裝置
US10554909B2 (en) 2017-01-10 2020-02-04 Galileo Group, Inc. Systems and methods for spectral imaging with a transmitter using a plurality of light sources
US10893182B2 (en) 2017-01-10 2021-01-12 Galileo Group, Inc. Systems and methods for spectral imaging with compensation functions
US10445928B2 (en) 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10628950B2 (en) 2017-03-01 2020-04-21 Microsoft Technology Licensing, Llc Multi-spectrum illumination-and-sensor module for head tracking, gesture recognition and spatial mapping
EP3596542B1 (en) * 2017-03-17 2024-01-17 Magic Leap, Inc. Technique for recording augmented reality data
EP3392834B1 (en) * 2017-04-17 2019-12-25 HTC Corporation 3d model reconstruction method, electronic device, and non-transitory computer readable storage medium
US20190012835A1 (en) * 2017-07-07 2019-01-10 Microsoft Technology Licensing, Llc Driving an Image Capture System to Serve Plural Image-Consuming Processes
CN108269279B (zh) * 2017-07-17 2019-11-08 先临三维科技股份有限公司 基于单目三维扫描系统的三维重构方法和装置
US11004264B2 (en) * 2017-08-07 2021-05-11 Verizon Patent And Licensing Inc. Systems and methods for capturing, transferring, and rendering viewpoint-adaptive three-dimensional (3D) personas
US11095854B2 (en) 2017-08-07 2021-08-17 Verizon Patent And Licensing Inc. Viewpoint-adaptive three-dimensional (3D) personas
EP3441788A1 (en) * 2017-08-08 2019-02-13 Koninklijke Philips N.V. Apparatus and method for generating a representation of a scene
WO2019075473A1 (en) 2017-10-15 2019-04-18 Analog Devices, Inc. METHODS AND SYSTEMS FOR PROCESSING FLIGHT TIME DEPTH IMAGE
US10594917B2 (en) 2017-10-30 2020-03-17 Microsoft Technology Licensing, Llc Network-controlled 3D video capture
CN107909643B (zh) * 2017-11-06 2020-04-24 清华大学 基于模型分割的混合场景重建方法及装置
WO2019099605A1 (en) 2017-11-17 2019-05-23 Kaarta, Inc. Methods and systems for geo-referencing mapping systems
US10529086B2 (en) * 2017-11-22 2020-01-07 Futurewei Technologies, Inc. Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system
US11157985B2 (en) * 2017-11-29 2021-10-26 Ditto Technologies, Inc. Recommendation system, method and computer program product based on a user's physical features
CN108122281B (zh) * 2017-12-22 2021-08-24 洛阳中科众创空间科技有限公司 一种大范围实时人体三维重建方法
WO2019126665A1 (en) 2017-12-22 2019-06-27 Magic Leap, Inc. Viewpoint dependent brick selection for fast volumetric reconstruction
WO2019165194A1 (en) 2018-02-23 2019-08-29 Kaarta, Inc. Methods and systems for processing and colorizing point clouds and meshes
US10628920B2 (en) 2018-03-12 2020-04-21 Ford Global Technologies, Llc Generating a super-resolution depth-map
KR102459717B1 (ko) * 2018-03-29 2022-10-27 삼성전자 주식회사 이미지에 포함된 반사 객체의 속성에 기반하여, 반사 객체에 다른 이미지를 합성하는 방법 및 전자 장치
WO2019187167A1 (ja) * 2018-03-31 2019-10-03 株式会社スペシャルエフエックススタジオ 端末の表示画像の表示法
WO2019195270A1 (en) 2018-04-03 2019-10-10 Kaarta, Inc. Methods and systems for real or near real-time point cloud map data confidence evaluation
EP3785225B1 (en) * 2018-04-24 2023-09-13 Snap Inc. Efficient parallel optical flow algorithm and gpu implementation
US11386574B2 (en) * 2018-04-26 2022-07-12 Sony Corporation Self-position estimation device, self-position estimation method, and program thereof
CN110415329B (zh) 2018-04-26 2023-10-13 财团法人工业技术研究院 三维建模装置及应用于其的校准方法
CN108648274B (zh) * 2018-05-10 2020-05-22 华南理工大学 一种视觉slam的认知点云地图创建系统
WO2020009826A1 (en) 2018-07-05 2020-01-09 Kaarta, Inc. Methods and systems for auto-leveling of point clouds and 3d models
US10948297B2 (en) * 2018-07-09 2021-03-16 Samsung Electronics Co., Ltd. Simultaneous location and mapping (SLAM) using dual event cameras
US10776943B2 (en) * 2018-07-17 2020-09-15 Samsung Electronics Co., Ltd. System and method for 3D association of detected objects
TWI725522B (zh) 2018-08-28 2021-04-21 鈺立微電子股份有限公司 具有校正功能的影像擷取系統
WO2020055903A1 (en) * 2018-09-10 2020-03-19 Fanuc America Corporation Robot calibration for ar and digital twin
TWI686747B (zh) * 2018-11-29 2020-03-01 財團法人金屬工業研究發展中心 移動載具全周障礙迴避之方法
CN109631799B (zh) * 2019-01-09 2021-03-26 浙江浙大万维科技有限公司 一种智能化的测量与标记方法
US10686980B1 (en) 2019-01-22 2020-06-16 Daqri, Llc Systems and methods for generating composite depth images based on signals from an inertial sensor
WO2020159513A1 (en) * 2019-01-31 2020-08-06 Halliburton Energy Services, Inc. Downhole depth extraction using structured illumination
WO2020209491A1 (en) 2019-04-11 2020-10-15 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same
US10867220B2 (en) 2019-05-16 2020-12-15 Rpx Corporation Systems and methods for generating composite sets of data from different sensors
US11030772B2 (en) * 2019-06-03 2021-06-08 Microsoft Technology Licensing, Llc Pose synthesis
US10613203B1 (en) * 2019-07-01 2020-04-07 Velodyne Lidar, Inc. Interference mitigation for light detection and ranging
DE112019007466T5 (de) * 2019-09-06 2022-03-31 Robert Bosch Gmbh Verfahren und Vorrichtung zur Modellierung einer dreidimensionalen Umgebung eines industriellen Roboters, Computerspeichermedium sowie Arbeitsplattform für industriellen Roboter
US11562541B2 (en) * 2019-09-13 2023-01-24 Board Of Regents, The University Of Texas System Topology-change-aware volumetric fusion for real-time dynamic 4D reconstruction
KR102203173B1 (ko) * 2019-11-22 2021-01-15 한방유비스 주식회사 증강현실 기반의 소방시설 점검 방법, 장치 및 컴퓨터-판독가능 기록매체
US11315266B2 (en) * 2019-12-16 2022-04-26 Robert Bosch Gmbh Self-supervised depth estimation method and system
KR102391376B1 (ko) * 2019-12-31 2022-04-28 광운대학교 산학협력단 3d 모델링 장치 및 방법
CN111223049B (zh) * 2020-01-07 2021-10-22 武汉大学 一种基于结构-纹理分解的遥感图像变分融合方法
CN115053259A (zh) * 2020-02-07 2022-09-13 瑞典爱立信有限公司 基于来自深度传感器的数据的针对定位的单目相机激活
US20230342972A1 (en) * 2020-02-12 2023-10-26 Telefonaktiebolaget Lm Ericsson (Publ) Depth sensor activation for localization based on data from monocular camera
CA3157915A1 (en) * 2020-03-06 2021-09-10 Devin WALTMAN Capacity optimized electronic model based prediction of changing physical hazards and inventory items
CN111539988B (zh) * 2020-04-15 2024-04-09 京东方科技集团股份有限公司 一种视觉里程计实现方法、装置和电子设备
US11232315B2 (en) * 2020-04-28 2022-01-25 NextVPU (Shanghai) Co., Ltd. Image depth determining method and living body identification method, circuit, device, and medium
EP4154222A1 (en) * 2020-05-22 2023-03-29 Google LLC Method and apparatus for combining an augmented reality object in a real-world image
CN111798571B (zh) * 2020-05-29 2024-10-15 先临三维科技股份有限公司 牙齿扫描方法、装置、系统和计算机可读存储介质
WO2022007792A1 (zh) * 2020-07-06 2022-01-13 先临三维科技股份有限公司 生成数字化模型的方法及装置
CA3125623C (en) 2020-07-21 2023-06-27 Leddartech Inc. Beam-steering device particularly for lidar systems
CA3125718C (en) 2020-07-21 2023-10-03 Leddartech Inc. Beam-steering devices and methods for lidar applications
WO2022016277A1 (en) 2020-07-21 2022-01-27 Leddartech Inc. Systems and methods for wide-angle lidar using non-uniform magnification optics
CN111862316B (zh) * 2020-07-28 2024-01-05 杭州深瞳科技有限公司 一种基于优化的imu紧耦合稠密直接rgbd的三维重建方法
KR20220033924A (ko) 2020-09-10 2022-03-17 삼성전자주식회사 증강 현실 장치 및 그 제어 방법
JP7300436B2 (ja) * 2020-11-17 2023-06-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、システム、情報処理方法および情報処理プログラム
CN112380312B (zh) * 2020-11-30 2022-08-05 北京智行者科技股份有限公司 基于栅格检测的激光地图更新方法、终端及计算机设备
CN115222810A (zh) * 2021-06-30 2022-10-21 达闼科技（北京）有限公司 目标位姿估计方法、装置、计算设备及存储介质
US11908080B2 (en) * 2022-04-04 2024-02-20 Tencent America LLC Generating surfaces with arbitrary topologies using signed distance fields

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200919369A (en) * 2007-10-26 2009-05-01 Via Tech Inc Reconstructable geometry shadow mapping method
US7551770B2 (en) * 1997-12-05 2009-06-23 Dynamic Digital Depth Research Pty Ltd Image conversion and encoding techniques for displaying stereoscopic 3D images
TW201005673A (en) * 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3133834B2 (ja) * 1992-08-19 2001-02-13 キヤノン株式会社 座標入力装置及びその方法
JPH0895487A (ja) * 1994-09-22 1996-04-12 Sony Corp 歩行用障害物検知装置
JP3581911B2 (ja) * 1996-06-07 2004-10-27 コニカミノルタホールディングス株式会社 移動走行車
US7957583B2 (en) * 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
CN101388115B (zh) * 2008-10-24 2011-07-27 北京航空航天大学 一种结合纹理信息的深度图像自动配准方法
US8918209B2 (en) 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US8711206B2 (en) * 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US9354310B2 (en) * 2011-03-03 2016-05-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for source localization using audible sound and ultrasound
US10972680B2 (en) 2011-03-10 2021-04-06 Microsoft Technology Licensing, Llc Theme-based augmentation of photorepresentative view
US9053571B2 (en) 2011-06-06 2015-06-09 Microsoft Corporation Generating computer models of 3D objects
RU2455676C2 (ru) 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
GB2492833A (en) * 2011-07-14 2013-01-16 Softkinetic Sensors Nv LED boost converter driver circuit for Time Of Flight light sources
US8462155B1 (en) * 2012-05-01 2013-06-11 Google Inc. Merging three-dimensional models based on confidence scores
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
CN103170973B (zh) * 2013-03-28 2015-03-11 上海理工大学 人机协作装置及实现人机协作的方法
US9336440B2 (en) * 2013-11-25 2016-05-10 Qualcomm Incorporated Power efficient use of a depth sensor on a mobile device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7551770B2 (en) * 1997-12-05 2009-06-23 Dynamic Digital Depth Research Pty Ltd Image conversion and encoding techniques for displaying stereoscopic 3D images
TW200919369A (en) * 2007-10-26 2009-05-01 Via Tech Inc Reconstructable geometry shadow mapping method
TW201005673A (en) * 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yushuang Liu and W. Heidrich, "Interactive 3D model acquisition and registration," Computer Graphics and Applications, 2003. Proceedings. 11th Pacific Conference on, 2003, pp. 115-122. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI781357B (zh) * 2018-12-06 2022-10-21 宏達國際電子股份有限公司 三維影像處理方法、攝影裝置及非暫態電腦可讀取儲存媒體

Also Published As

Publication number Publication date
JP2016514384A (ja) 2016-05-19
ES2675171T3 (es) 2018-07-09
US20150294499A1 (en) 2015-10-15
US9083960B2 (en) 2015-07-14
EP2951788A1 (en) 2015-12-09
KR101654174B1 (ko) 2016-09-05
US9443350B2 (en) 2016-09-13
WO2014120613A1 (en) 2014-08-07
KR20150111999A (ko) 2015-10-06
JP6189483B2 (ja) 2017-08-30
JP2016164811A (ja) 2016-09-08
US20140139639A1 (en) 2014-05-22
TW201631963A (zh) 2016-09-01
TW201440490A (zh) 2014-10-16
TWI544781B (zh) 2016-08-01
JP5951908B2 (ja) 2016-07-13
HUE038287T2 (hu) 2018-10-29
EP2951788B1 (en) 2018-05-09
CN104956404A (zh) 2015-09-30
CN104956404B (zh) 2018-09-21

Similar Documents

Publication Publication Date Title
TWI583176B (zh) 具有功率有效深度感測器運用之即時三維重建
US9269003B2 (en) Diminished and mediated reality effects from reconstruction
JP6125100B2 (ja) 点特徴と線特徴とを使用する堅牢な追跡
US9779508B2 (en) Real-time three-dimensional reconstruction of a scene from a single camera
US11328479B2 (en) Reconstruction method, reconstruction device, and generation device
JP6228320B2 (ja) 制約なしｓｌａｍ用のセンサベースのカメラ運動検出
JP6258953B2 (ja) 単眼視覚ｓｌａｍのための高速初期化
JP2018535402A (ja) 異なる分解能を有するセンサーの出力を融合するシステム及び方法
US20120105581A1 (en) 2d to 3d image and video conversion using gps and dsm
KR20130115332A (ko) 증강 현실 표현을 위한 2차원 이미지 캡쳐
US11908096B2 (en) Stereoscopic image acquisition method, electronic device and storage medium
WO2022118283A1 (en) Device and method for depth measurement of 3d irregular surfaces
CN116958227A (zh) 场景图像的深度图生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees