TW201447224A - 用於判定影像中物體深度之設備及技術 - Google Patents

用於判定影像中物體深度之設備及技術 Download PDF

Info

Publication number
TW201447224A
TW201447224A TW103107482A TW103107482A TW201447224A TW 201447224 A TW201447224 A TW 201447224A TW 103107482 A TW103107482 A TW 103107482A TW 103107482 A TW103107482 A TW 103107482A TW 201447224 A TW201447224 A TW 201447224A
Authority
TW
Taiwan
Prior art keywords
pattern
resolution
depth
resolution optical
optical pattern
Prior art date
Application number
TW103107482A
Other languages
English (en)
Other versions
TWI495842B (zh
Inventor
Ziv Aviv
David Stanhill
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of TW201447224A publication Critical patent/TW201447224A/zh
Application granted granted Critical
Publication of TWI495842B publication Critical patent/TWI495842B/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2531—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings, projected with variable angle of incidence on the object, and one detection device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一種設備可包括：一發射器，其用以投影一低解析度光學圖案及相比於該低解析度光學圖案具有一較精細解析度之一高解析度光學圖案；以及一感測器，其用以偵測一複合影像，其中該複合影像包含一低解析度光學反射圖案及一高解析度光學反射圖案，該低解析度光學反射圖案包含該經投影低解析度光學圖案之反射，該高解析度光學反射圖案包含該經投影高解析度光學圖案之一反射。該設備亦可包括用以基於該經偵測複合影像來判定一第一深度範圍內之物體深度及一第二深度範圍內之物體深度的邏輯。本發明揭示及主張其他實施例。

Description

用於判定影像中物體深度之設備及技術 發明領域
本文所描述之實施例大體上係關於電子成像(electronic imaging)，且尤其係關於主動式深度攝影機技術(active depth camera technology)。
發明背景
最近，已開發出用以量測視場中之物體深度的電子裝置。此深度資訊用於諸如遊戲裝置、掃描器及三維(3-D)印表機之應用中。在諸如取決於手勢辨識(gesture recognition)之應用的一些應用中，用於場景中之物體的深度資訊可提供比由對場景記錄之習知紅綠藍(RGB)影像獲得之資料更有價值的資料。用以判定物體深度之常見方法通常被稱為「結構光(structured light)」，且涉及將光圖案投影至場景中之物體上，及藉由分析在光圖案由物體攔截時反射之光來擷取深度資訊。發射器通常將可見範圍或紅外線(IR)輻射投影至物體上，該輻射被反射且係由感測器捕捉。
在一些情境中，當使用者與諸如計算裝置、通信裝置、獨立式攝影機或包括深度量測攝影機之其他裝置的電子裝置互動時，關注深度通常位於距攝影機約10cm至150cm之範圍內。將適當光學系統設計成在此範圍內操作係出於若干原因而困難。為了在所需範圍內擷取諸如人體之物體的深度影像，攝影機及發射器兩者之景深應在10cm至150cm之此範圍內。然而，光學透鏡之已知屬性為：對於短範圍，景深短得多。
因此，可需要用以解決此等及其他問題之改良型技術及設備。
依據本發明之一實施例，係特地提出一種設備，其包含：一發射器，其用以投影一低解析度光學圖案及相比於該低解析度光學圖案具有一較精細解析度之一高解析度光學圖案；一感測器，其用以偵測一複合影像，該複合影像包含一低解析度光學反射圖案及一高解析度光學反射圖案，該低解析度光學反射圖案包含該經投影低解析度光學圖案之反射，該高解析度光學反射圖案包含該經投影高解析度光學圖案之一反射；以及用以基於該經偵測複合影像來判定一第一深度範圍內之物體深度及一第二深度範圍內之物體深度的邏輯。
102、140、902‧‧‧結構光組件
108‧‧‧可見光紅綠藍(RGB)攝影機
104‧‧‧第一發射器
106‧‧‧第二發射器
110‧‧‧深度感測器
120、150、500‧‧‧系統
814‧‧‧較大矩形
122‧‧‧音訊輸入裝置
904‧‧‧單一發射器
124‧‧‧處理器
1000‧‧‧第一邏輯流程
126‧‧‧記憶體
1002、1004、1006、1008、1010、1102、1104、1106、1108、1110、1112‧‧‧區塊
128‧‧‧數位顯示器
130‧‧‧音訊輸出裝置
142‧‧‧麥克風
1100‧‧‧第二邏輯流程
152‧‧‧計算裝置
1200‧‧‧平台/系統
502-1、502-2、502-3‧‧‧輸出裝置
1202‧‧‧處理器/圖形核心
1204‧‧‧晶片組/平台控制集線器(PCH)
506、704‧‧‧使用者
504-1、504-2、504-3‧‧‧鏈路
1206‧‧‧輸入/輸出(I/O)裝置
602‧‧‧高解析度光學圖案
1208‧‧‧隨機存取記憶體(RAM)
604‧‧‧低解析度光學圖案
1210‧‧‧唯讀記憶體(ROM)
702、804、906‧‧‧複合光學圖案
1212‧‧‧匯流排
1214‧‧‧平台組件
706、808、908‧‧‧反射光學圖案
1216‧‧‧無線通信晶片
1218‧‧‧圖形裝置
802‧‧‧複合影像
1220‧‧‧顯示電子器件
806‧‧‧使用者手部
1222‧‧‧顯示器背光
812‧‧‧小矩形
圖1描繪結構光組件之實施例。
圖2描繪結構光系統之實施例。
圖3描繪結構光組件之另一實施例。
圖4描繪結構光系統之另一實施例。
圖5描繪結構光系統之另外實施例。
圖6A描繪光學圖案之一個實施例。
圖6B描繪光學圖案之另一實施例。
圖7描繪用於操作結構光系統之一個使用情境。
圖8描繪由結構光組件產生之例示性光圖案。
圖9展示結構光組件之又一實施例。
圖10展示例示性第一邏輯流程。
圖11展示及例示性第二邏輯流程。
圖12說明例示性系統架構。
較佳實施例之詳細說明
實施例係關於用於判定遍及一距離或深度範圍且尤其是遍及距攝影機或感測器約10cm至150cm之範圍之深度資訊的設備及技術。在各種實施例中，結構光組件經建構以包括發射器系統或發射器組件，其包括經設計成以彙總方式發射多個光學圖案之一或多個發射器。在一些實施例中，發射器系統包括多個發射器，其中發射器設計在各發射器之間不同。詳言之，第一發射器可經設計成產生遍及第一深度範圍有用之光學圖案，而第二發射器可經設計成產生遍及第二深度範圍有用之光學圖案。
因此，本實施例提供對遍及距攝影機(在現代為深度感測(或「主動式深度」)攝影機)約10cm至150cm之 範圍之準確深度量測能力缺乏的解決方案。詳言之，一些實施例克服由深度感測攝影機與人類特徵之互動造成的判定影像深度之問題。作為一實例，用於在很近範圍內由深度感測攝影機捕捉之圖案的降級來源為人類皮膚之半透明性，其使射在皮膚上之光的精細細節模糊。當物體接近於發射圖案以反射離開物體之發射器時，射在手部上之圖案細節的大小相對小且由於皮膚半透明性而極大地模糊。
因為射在物體上之特徵的數目隨距攝影機之物體距離而變，所以粗略圖案可提供用於近距物體之足夠深度解析度。然而，此粗略圖案提供較遠物體之低解析度深度資訊。
另一模糊來源為取決於物體距離之離焦模糊。值得注意地，由離焦模糊造成之降級嚴重性隨用以使物體成像之透鏡而變。在習知途徑中，有可能建構在物體離焦時具有微小降級之透鏡；然而，此等透鏡需要小孔徑，該小孔徑在需要高信號功率以產生待成像之光圖案的程度上縮減進入透鏡之光的量。
本實施例藉由提供一種針對接近於發射器之物體產生待分析之較粗略圖案的途徑來克服此等問題，該較粗略圖案遭受來自諸如人類皮膚之物體的較少模糊。同時，投影較精細圖案以提供分析距較遠離於發射器之物體之深度的能力。此途徑提供如下優點：可同時地獲得遍及距結構光主控台或組件之不同物體距離(或深度)的物體深度資訊。此外，另外優點為：可在不縮減記錄光學圖案之 記錄裝置或感測器之圖框速率的情況下獲得深度資訊，如下文關於以下諸圖所詳述。本實施例之多重圖案設計提供如下另外優點：用以捕捉多個圖案之感測器可採用具有大孔徑之透鏡，因此縮減產生多個圖案之經發射信號所需要的功率。
在一些實施例中，除了包括感測器以外，結構光組件亦包括發射器系統，其具有藉由複合光學圖案之投影而產生的延伸景深，該複合光學圖案係由兩個或兩個以上光學圖案組成。如本文所使用之術語「景深」係指一深度範圍，在該深度範圍內，可準確地判定距感測器之物體深度。在一些實施例中，發射器系統可包括第一發射器，其經設計成投影低解析度光學圖案，自該低解析度光學圖案，可擷取用於位於距感測器約10cm至50cm之範圍內的由該低解析度光學圖案照明之物體的物體深度。結構光組件之發射器系統可包括第二發射器，其經設計成投影高解析度光學圖案，自該高解析度光學圖案，可擷取用於位於距感測器約50cm至150cm之範圍內的由該高解析度光學圖案照明之物體的物體深度。可將低解析度光學圖案及高解析度光學圖案預儲存為參考圖案。當將低解析度光學圖案及高解析度光學圖案投影至在約10cm至150cm之範圍內的物體上時，自此等物體之反射係可由感測器偵測且用以判定遍及此深度範圍之物體深度，如下文所詳述。在各種實施例中，與自發射器系統投影之不同光學圖案相關聯的景深可重疊，使得可自第一光學圖案、第二光學圖案或 此兩者之反射擷取物體深度資訊。在各種其他實施例中，結構光組件可經設計成投影三個或三個以上光學圖案，其各自經設計成用於自不同深度範圍擷取深度資訊。根據各種實施例，三個或三個以上光學圖案係可由一或多個發射器產生。該等實施例在此上下文中並不受到限制。
各種實施例可包含一或多個元件。一元件可包含經配置以執行某些操作之任何結構。一些元件可被實施為硬體、軟體或其任何組合，此為給定設計參數或效能約束集合所需要。儘管可作為實例而運用呈某一拓撲之有限數目個元件來描述一實施例，但該實施例可包括呈替代拓撲之更多或更少元件，此為給定實施所需要。值得注意的是，對「一個實施例」或「一實施例」之任何參考意謂結合該實施例而描述之特定特徵、結構或特性包括於至少一實施例中。片語「在一個實施例中」在本說明書中各處之出現未必皆係指同一實施例。
圖1描繪按照各種實施例之結構光組件102之特徵。結構光組件102包括第一發射器104及第二發射器106、可見光紅綠藍(RGB)攝影機108，以及深度感測器110。在一些實施例中，第一發射器104經設計成發射高解析度光學圖案，且第二發射器106經設計成發射低解析度光學圖案。如本文所使用之術語「光學」及「光」通常係指可在由人類可見之範圍內的電磁輻射，以及紅外線(IR)輻射。因此，「光學圖案」表示由諸如發射器之來源產生的電磁輻射圖案。在各種實施例中，此光學圖案包含諸如 彼此隔離之光點或光矩形的小型區。光學圖案可形成經設計成攔截在發射器之角程內之物體且自該等物體反射的經照明區陣列。在一些實施例中，光學圖案可包含包括曲線或線之細長元素。該等實施例在此上下文中並不受到限制。
通常可根據已知技術來產生由本實施例之發射器產生的光學圖案，惟如以其他方式所提到除外。舉例來說，由發射器104、106產生之低解析度光學圖案及/或高解析度光學圖案各自係可由一雷射光束產生，該雷射光束經設計成產生適當光波長，諸如，IR或可見波長。雷射光束可被引導通過與雷射光束相互作用以在相對較暗矩陣內產生亮區之圖案的一或多個光學元件(未圖示)。此等亮區可攔截物體作為光點、正方形、矩形、線、以上各者之組合等等的圖案。在一些實施例中，由發射器104、106產生之亮區的數目可為數千個或數萬個。
按照本實施例，感測器110可經配置以偵測自藉由發射器104、106而產生之光學圖案所照明之物體反射的光。在一些實施例中，感測器110包括根據已知技術而配置之二維子感測器或感測器元件陣列。以此方式，且如下文所詳述，自藉由發射器104、106而照明之物體反射的光學圖案可被偵測為二維光圖案，其確切配置提供關於物體深度之資訊。
在各種實施例中，結構光組件102可部署於不同系統中以提供關於物體深度之動態輸入。圖2描繪包括結 構光組件102、音訊輸入裝置122、處理器124、記憶體126、數位顯示器128及音訊輸出裝置130之例示性系統120。在操作中，可結合諸如音訊輸入裝置122之其他裝置來使用結構光組件102，以提供包括物體深度資訊之輸入，其結果係由數位顯示器128及/或音訊輸出裝置130呈現。
在各種實施例中，處理器124及/或記憶體126可位於結構光組件102內，或替代地可與結構光組件102分離。亦參看圖1，處理器124可包括用以處理來自記憶體126及來自感測器110之輸入以便自藉由發射器104、106而照明之物體擷取深度資訊的邏輯。關於以下諸圖來陳述使用具有不同解析度之多個光學圖案來判定深度資訊的實例。
詳言之，在各種實施例中，處理器124可包含各種硬體元件、軟體元件或此兩者之組合。硬體元件之實例可包括裝置、組件、處理器、微處理器、電路、電路元件(例如，電晶體、電阻器、電容器、電感器等等)、積體電路、特殊應用積體電路(application specific integrated circuit,ASIC)、可規劃邏輯裝置(programmable logic device,PLD)、數位信號處理器(digital signal processor,DSP)、場可規劃閘陣列(field programmable gate array,FPGA)、記憶體單元、邏輯閘、暫存器、半導體裝置、晶片、微晶片、晶片組等等。軟體元件之實例可包括軟體組件、程式、應用程式(application/application program)、電腦程式、系統 程式、機器程式、作業系統軟體、中介軟體、韌體、軟體模組、常式、次常式、函式、方法、程序、軟體介面、應用程式介面(application program interface,API)、指令集、計算程式碼、電腦程式碼、程式碼片段、電腦程式碼片段、字、值、符號或其任何組合。判定是否使用硬體元件及/或軟體元件來實施一實施例可根據諸如以下各者之任何數目個因素而變化：所要計算速率、功率位準、耐熱性、處理循環預算、輸入資料速率、輸出資料速率、記憶體資源、資料匯流排速度及其他設計或效能約束，此為給定實施所需要。
數位顯示器128之實例包括液晶顯示器(liquid crystal display,LCD)、發光二極體顯示器(light emitting diode display,LED)、觸敏式顯示器、電漿顯示器、陰極射線管及其他顯示器類型。在各種實施例中，系統100可包括各種輸入裝置(未圖示)，包括但不限於鍵盤、數字鍵台、滑鼠、搖桿、觸控螢幕或其他輸入裝置。
圖3呈現結構光組件140之變體，其中音訊輸入裝置包括於具有光學發射器及感測器之共同外殼內。在此實施例中，麥克風142之陣列係與發射器104、106及感測器110一起共置於結構光組件140中。
圖4呈現系統150，其包括以通信方式耦接至計算裝置152之結構光組件102。按照本實施例，計算裝置152可為膝上型電腦或筆記型電腦或其他裝置。在此實例中，結構光組件102可記錄及提供結合計算裝置152之操作 而使用的物體深度資訊。舉例來說，使用者手勢係可由結構光組件102記錄以與由計算裝置152呈現之虛擬內容互動。詳言之，結構光組件102可形成自然使用者介面之部分以選擇虛擬項目、控制程式功能，或結合由計算裝置152呈現之內容來執行其他操作。
圖5描繪系統500，其包括結構光組件102及與結構光組件102互動之各種設備。如所說明，輸出裝置502-1、輸出裝置502-2及輸出裝置502-3經由各別鏈路504-1、504-2及504-3而鏈接至結構光組件102。在一個實例中，使用者506可藉由執行各種移動(手勢)而與結構光組件102互動，該等移動(手勢)係由結構光組件102感測且用以與在一個實例中可呈現於輸出裝置502-1上之內容互動。因為結構光組件102可提供遍及寬深度範圍(諸如，跨越距結構光組件102之10cm至150cm距離的範圍)之物體深度資訊，所以使用者可在寬深度範圍內執行可由系統500記錄及攔截之移動。
圖6A描繪高解析度光學圖案602之一個實例，且圖6B呈現低解析度光學圖案604之實例，該等光學圖案中之各者係可由本實施例之結構光組件產生。在各種實施例中，高解析度光學圖案602及低解析度光學圖案604係可由同一發射器或由分離發射器產生。再次轉至圖1，在一個實例中，高解析度光學圖案602係可由第一發射器104產生，而低解析度光學圖案604係可由第二發射器106產生。按照各種實施例，可同時地產生高解析度光學圖案602及 低解析度光學圖案604，使得當物體位於第一發射器104及第二發射器106之投影範圍內時同時地將兩個圖案投影至物體或物體集合上。以此方式，高解析度圖案602及低解析度圖案604自給定物體或物體集合之反射可被同時地偵測，且用以在由高解析度光學圖案602與低解析度光學圖案604之組合涵蓋的深度範圍內擷取物體深度資訊。在一個特定實例中，高解析度圖案602相比於低解析度圖案604可具有大三倍之解析度，且相比於低解析度圖案604可每單位面積包括多九倍之光學特徵。
圖7描繪使用者704與結構光組件102互動之一個使用情境。如此情境中所說明，發射器104投影高解析度光學圖案602，而發射器106投影低解析度光學圖案604。如圖7進一步所描繪，在自各別發射器104、106之投影之後，高解析度光學圖案602與低解析度光學圖案604重疊以形成複合光學圖案702。
在一些實施例中，發射器104及發射器106可在結構光組件102內緊密地間隔。舉例來說，發射器104與發射器106之分離度可為約1cm至數公分。以此方式，光學圖案602與光學圖案604可在距結構光組件102若干公分或更大之距離處實質上重疊。因此，可運用複合光學圖案702來照明位於距結構光組件102大於若干公分之距離處的任何物體，該複合光學圖案在圖案方面不會隨著距結構光組件102之距離增加而實質上變化。
當複合光學圖案702係由使用者704攔截時，來 自複合光學圖案702之光可自使用者704反射，且產生複合影像。在圖7中，複合影像被展示為由感測器110攔截之反射光學圖案706。因為感測器110可包括二維元件或子感測器陣列，所以反射光學圖案706可被感測為光強度根據在複合光學圖案702自使用者704之手部反射時產生之確切光變化而變化的二維圖案。
反射光學圖案706可被視為由以下兩者組成：由光學圖案604之反射引起的低解析度光學反射圖案，及由光學圖案602之反射引起的高解析度光學反射圖案，此等光學圖案中之各者形成射在使用者704上之實際光學圖案702之部分。如下文所論述，藉由分離地擷取反射光學圖案706之低解析度分量及高解析度分量，可同時地判定遍及不同深度範圍之物體深度資訊。
根據一各種實施例，圖8描繪根據感測器之觀點而由結構光組件產生之光圖案之影像，其可大體上對應於圖7所描繪之情境。如所說明，當複合光學圖案804自包括使用者704之手部806的表面反射時，形成複合影像802。可相似於上文所描述之複合光學圖案702而形成複合光學圖案804。如在使用者手部806外部之區域中所說明，複合光學圖案804中展示大體上未失真圖案。在自使用者手部806反射之區域中，如所展示而藉由反射光學圖案808來形成複合影像。自圖8很明顯，反射光學圖案808表示歸因於自使用者手部806之表面之反射的複合光學圖案804之失真，該表面尤其可在不透明性方面變化、在表面定向方面 變化，且在距感測器之深度方面變化。
可採用反射光學圖案808中產生的複合光學圖案804之此失真，以在使用者之手部806在結構光組件102前方移動時判定遍及一深度範圍之使用者手勢、深度資訊、移動及相關資訊。在距結構光組件102之各種深度或距離處，當接收及分析反射光學圖案808時，可採用反射光學圖案808之不同分量以擷取資訊。舉例來說，在很近範圍(諸如，介於約10cm與50cm之間的距離(深度))內，可擷取及分析由發射器104產生之反射光學圖案808之部分以判定適當資訊。在較遠距離(諸如，介於距結構光組件約50cm至150cm之間)處，可擷取及分析由發射器106產生之反射光學圖案808之部分以判定適當資訊。
為了使低解析度光學反射圖案與高解析度光學反射圖案彼此分離出，可採用濾波或其他影像處理。舉例來說，可使反射光學圖案808經受高通濾波以自反射光學圖案808擷取高解析度光學反射圖案(未分離地圖示)。接著可使用已知技術來使此高解析度光學反射圖案與可預儲存於記憶體126中之光學圖案602比較或匹配，以便判定用於在(例如)約50cm至150cm之深度範圍內之物體的物體深度資訊。
可使反射光學圖案808進一步經受低通濾波以自反射光學圖案808擷取低解析度光學反射圖案(未分離地圖示)。接著可使用已知技術來使此低解析度光學反射圖案與可預儲存於記憶體126中之光學圖案604比較，以便判定 用於在(例如)約10cm至50cm之深度範圍內之物體的物體深度資訊。
在一個特定實例中，在使反射光學圖案808經受低通濾波之後，可減少取樣經低通濾波之影像(亦即，經低通濾波之光學圖案808)，以便縮減經濾波影像之大小。隨後，可使經低通濾波且減少取樣之影像傳遞通過高通濾波器以擷取最終低解析度反射光學圖案。接著可使此最終低解析度反射光學圖案與經投影低解析度光學圖案(亦即，光學圖案604)比較或「匹配」，以便擷取諸如遍及(例如)10cm至50cm之深度範圍之深度資訊的資訊。
在各種實施例中，亦如圖8所展示，低解析度光學圖案之部分可與高解析度光學圖案之部分重疊以形成複合光學圖案。舉例來說，複合光學圖案804包括由高解析度光學圖案602產生之小矩形812之圖案，及由低解析度光學圖案604產生之較大矩形814之圖案。在一些狀況下，如所說明，小矩形812疊置於較大矩形814上。然而，如上文所描述之濾波可有效於自複合光學圖案804(尤其是自反射光學圖案808)擷取分離高解析度光學反射圖案及分離低解析度光學反射圖案。
在具有兩個或兩個以上分離發射器之結構光組件的實施例中，發送至一或多個發射器之功率可取決於使用情境而不同。舉例來說，再次轉至圖7，發射器106相比於發射器104係可由弱得多的信號供電。此係因為產生低解析度影像604所需要之功率相比於產生高解析度影像602 所需要之功率可少得多。詳言之，低解析度影像604可需要較少功率，此係因為低解析度影像604之光圖案意欲照明在很近範圍內(諸如，距發射器106小於或等於約50cm)之物體。此外，因為由感測器110偵測之信號強度係與自物體至感測器110之距離的平方成反比關係，所以偵測較接近於結構光組件102而定位之物體可需要少得多的反射光。
運用較低功率信號來對發射器106供電之此能力不僅實現對結構光組件102之總電力節省，而且縮減複合信號之低解析度反射光學圖案對高解析度反射光學圖案的干擾，複合信號可具有相對較高強度。
另外，按照本實施例，高解析度反射光學圖案可呈現對低解析度光學信號之很少干擾，此係因為高解析度反射光學圖案為高頻信號且上文所描述之低通濾波用來將此信號模糊至恆定信號強度。雖然恆定信號強度可增加傾向於使低解析度反射光學圖案之逼真度降級的光子雜訊，但將強低通濾波器應用於反射光學圖案會縮減該雜訊而不使效能降級。
在各種額外實施例中，當所有關注物體接近於攝影機結構光組件時，可藉由開關(未圖示)或其他機構來關斷高解析度發射器(諸如，發射器104)以獲得功率消耗之顯著縮減。
圖9描繪結構光組件902之另一實施例。在此實施例中，結構光組件902含有單一發射器904，其在一個實 例中可產生複合光學圖案906。複合圖案906係可由包括以下各者之兩個或兩個以上圖案組成：第一光學圖案，其含有被分離達相對較大距離且經設計成自遍及與結構光組件902相對緊密地間隔之距離範圍之物體擷取深度資訊的大光學特徵；第二光學圖案，其含有小於第一圖案之光學特徵且被分離達相對小於第一光學圖案中之光學特徵之分離度之距離且經設計成自遍及與結構光組件902相對較遠地間隔之距離範圍之物體擷取深度資訊的光學特徵；選用的第三光學圖案，其含有小於第二光學圖案之光學特徵且被分離達相對大於第一光學圖案中之光學特徵之分離度之距離且相比於第二光學圖案之光學特徵經設計成自遍及與結構光組件902仍較遠地間隔之距離範圍之物體擷取深度資訊的光學特徵；等等。當複合光學圖案906自使用者704反射時，反射光學圖案908係由感測器110偵測。隨後，如上文關於圖6A至圖8大體上所描述，可自反射光學圖案908擷取兩個或兩個以上光學反射圖案，且可使用該等光學反射圖案以產生遍及兩個或兩個以上深度範圍之深度資訊。
在又另外實施例中，結構光組件可包括經配置以偵測含有兩個或兩個以上反射光學圖案之複合影像的兩個或兩個以上感測器。可處理來自兩個或兩個以上感測器之信號，以便擷取兩個或兩個以上反射光學圖案，自該等反射光學圖案獲得遍及各別兩個或兩個以上深度範圍之深度資訊。
本文包括表示用於執行所揭示架構之新穎態樣 之例示性方法的流程圖集合。雖然出於解釋簡單之目的而將本文所展示之一或多種方法(例如，呈流程圖之形式)展示及描述為一系列動作，但應理解及瞭解，該等方法並不受到動作之次序限制，此係因為一些動作可根據該等方法而以不同於本文所展示及描述之次序的次序發生及/或與不同於本文所展示及描述之動作的動作同時地發生。舉例來說，熟習此項技術者應理解及瞭解，可替代地將一方法表示為一系列相關狀態或事件，諸如，呈狀態圖形式。此外，一新穎實施可能並非需要一方法中說明之所有動作。
圖10描繪例示性第一邏輯流程1000。可(例如)藉由結構光裝置來實施邏輯流程1000以自一或多個物體獲得深度資訊。在區塊1002處，接收基於低解析度光學圖案及高解析度光學圖案自物體集合之反射的複合影像。在區塊1004處，自複合影像擷取低解析度光學反射圖案。在區塊1006處，自複合影像擷取高解析度圖案。在區塊1008處，藉由使高解析度光學反射圖案與高解析度光學圖案匹配來判定第一深度範圍內之物體深度。在區塊1010處，藉由使低解析度光學反射圖案與低解析度光學圖案匹配來判定第二深度範圍內之物體深度。
圖11描繪例示性第二邏輯流程1100。可(例如)藉由諸如系統120之結構光系統來實施此邏輯流程。在區塊1102處，應用高通濾波處理序以自複合影像擷取高解析度光學反射圖案，該複合影像係由高解析度光學反射圖案及低解析度光學反射圖案之反射圖案組成。
在區塊1104處，執行複合影像之低通濾波以擷取低解析度光學反射圖案。
在區塊1106處，對經低通濾波之反射圖案執行減少取樣。在區塊1108處，將高通濾波處理序應用於經減少取樣之經低通濾波之反射圖案。在區塊1110處，使低解析度光學圖案與經高通濾波的經減少取樣之經低通濾波之反射圖案比較。在區塊1112處，使高解析度光學圖案與經高通濾波之反射圖案比較。
圖12為例示性系統實施例之圖解，且詳言之，圖12為展示可包括各種元件之平台1200的圖解。舉例來說，圖12展示出平台(系統)1200可包括處理器/圖形核心1202、晶片組/平台控制集線器(platform control hub,PCH)1204、輸入/輸出(input/output,I/O)裝置1206、隨機存取記憶體(random access memory,RAM)(諸如，動態RAM(dynamic RAM,DRAM))1208，以及唯讀記憶體(read only memory,ROM)1210、顯示電子器件1220、顯示器背光1222，及各種其他平台組件1214(例如，風扇、貫流式吹風機、散熱片、DTM系統、冷卻系統、外殼、通風口等等)。系統1200亦可包括無線通信晶片1216及圖形裝置1218。然而，該等實施例不限於此等元件。
如圖12所展示，I/O裝置1206、RAM 1208及ROM 1210藉由晶片組1204而耦接至處理器1202。晶片組1204可藉由匯流排1212而耦接至處理器1202。因此，匯流排1212可包括多個線路。
處理器1202可為包含一或多個處理器核心之中央處理單元，且可包括具有任何數目個處理器核心之任何數目個處理器。處理器1202可包括任何類型之處理單元，諸如，CPU、多處理單元、精簡指令集電腦(reduced instruction set computer,RISC)、具有管線之處理器、複雜指令集電腦(complex instruction set computer,CISC)、數位信號處理器(DSP)等等。在一些實施例中，處理器1202可為位於分離積體電路晶片上之多個分離處理器。在一些實施例中，處理器1202可為具有整合式圖形之處理器，而在其他實施例中，處理器1202可為一或若干圖形核心。
以下實例係關於另外實施例。
實例1為一種用於判定物體深度之設備，其包含：一發射器，其用以投影一低解析度光學圖案及相比於該低解析度光學圖案具有一較精細解析度之一高解析度光學圖案；一感測器，其用以偵測一複合影像，該複合影像包含一低解析度光學反射圖案及一高解析度光學反射圖案，該低解析度光學反射圖案包含該經投影低解析度光學圖案之反射，該高解析度光學反射圖案包含該經投影高解析度光學圖案之一反射；以及用以基於該經偵測複合影像來判定一第一深度範圍內之物體深度及一第二深度範圍內之物體深度的邏輯。
在實例2中，實例1之該低解析度光學圖案可視情況用於判定介於距該感測器10cm與50cm之間的物體深度，且該高解析度光學圖案可用於判定介於距該感測器50 cm與150cm之間的物體深度。
在實例3中，實例1至2中之任一者之該發射器可視情況包括：一第一發射器，其用於以一第一信號功率來投影該低解析度光學圖案；以及一第二發射器，其用於以高於該第一信號功率之一第二信號功率來投影該高解析度光學圖案。
在實例4中，實例1至3中之任一者之該設備可視情況包括：一高通濾波器，其用以自該複合影像擷取該高解析度光學反射圖案；以及一低通濾波器，其用以自該複合影像擷取該低解析度光學反射圖案。
在實例5中，實例1至4中之任一者之該邏輯可視情況藉由使該低解析度光學反射圖案與該低解析度光學圖案匹配來判定一第一深度範圍內之物體深度，以及藉由使該高解析度光學反射圖案與該高解析度光學圖案匹配來判定一第二深度範圍內之物體深度。
在實例6中，實例1至5中之任一者之該邏輯可視情況對該經擷取低解析度光學反射圖案執行減少取樣。
在實例7中，實例1至6中之任一者之該發射器可視情況同時地發射該等各別低解析度及高解析度光學圖案。
在實例8中，實例1至7中之任一者之該低解析度光學圖案及該高解析度光學圖案可視情況包含紅外線輻射。
在實例9中，實例1至8中之任一者之該設備可視 情況包括用以停用該高解析度發射器之一開關。
在實例10中，實例1至9中之任一者之該感測器可視情況以每秒30個圖框或更大之一圖框速率來記錄一系列複合影像。
在實例11中，實例1至10中之任一者之該發射器可視情況投影一中間解析度光學圖案，該感測器可在該複合影像中偵測包含該中間範圍光學圖案之反射的一中間解析度光學反射圖案，且該邏輯可基於該經偵測複合影像來判定一第三深度範圍內之物體深度，該第三深度範圍介於該第一深度範圍與該第二深度範圍中間。
在實例12中，實例1至11中之任一者之該設備可視情況包括用以與由該感測器偵測該複合影像同時地記錄一可見影像之一紅綠藍(RGB)數位攝影機。
在實例13中，至少一電腦可讀儲存媒體包括在執行時使一系統進行以下操作之指令：接收一複合影像，其包含由一低解析度光學圖案之反射形成的一低解析度反射圖案及由一高解析度光學圖案之反射形成的一高解析度反射圖案，該高解析度光學圖案相比於該低解析度光學圖案具有較精細解析度；基於該高解析度光學反射圖案來判定一第一深度範圍內之物體深度；以及基於該高解析度光學反射圖案來判定一第二深度範圍內之物體深度。
在實例14中，實例13之該低解析度光學圖案可視情況用於判定介於10cm與50cm之間的物體深度，且該高解析度光學圖案用於判定介於50cm與150cm之間的物 體深度。
在實例15中，實例13至14中之任一者之該低解析度光學圖案可視情況包括以一第一信號功率而投影之一光學圖案，且該高解析度光學圖案包含以高於該第一信號功率之一第二信號功率而投影之一光學圖案。
在實例16中，實例13至15中之任一者之該至少一電腦可讀儲存媒體可視情況包括在執行時使該系統進行以下操作之指令：產生一第一濾波器以自該複合影像擷取該高解析度光學反射圖案；以及產生一第二濾波器以自該複合影像擷取該低解析度光學反射圖案。
在實例17中，實例13至16中之任一者之該至少一電腦可讀儲存媒體可視情況包括在執行時使該系統進行以下操作之指令：藉由使該低解析度反射圖案與該低解析度光學圖案匹配來判定一第一深度範圍內之物體深度；以及藉由使該高解析度反射圖案與該高解析度光學圖案匹配來判定一第二深度範圍內之物體深度。
在實例18中，實例13至17中之任一者之該至少一電腦可讀儲存媒體可視情況包括在執行時使該系統進行以下操作之指令：對該經擷取低解析度光學圖案執行減少取樣。
在實例19中，實例13至18中之任一者之該至少一電腦可讀儲存媒體可包括在執行時使該系統進行以下操作之指令：同時地發射該等各別低解析度及高解析度影像。
在實例20中，實例13至19中之任一者之該低解析度光學圖案及該高解析度光學圖案可包含紅外線輻射。
在實例21中，實例13至20中之任一者之該至少一電腦可讀儲存媒體可視情況包括在執行時使該系統進行以下操作之指令：以每秒30個圖框或更大之一圖框速率來接收一系列複合影像。
在實例22中，實例13至21中之任一者之該至少一電腦可讀儲存媒體可視情況包括在執行時使該系統進行以下操作之指令：在該複合影像中接收包含中間範圍光學圖案之反射的一中間解析度光學圖案；以及基於該經偵測複合影像來判定一第三深度範圍內之物體深度。
在實例23中，一種電腦實施方法可包括：接收一複合影像，其包含由一低解析度光學圖案之反射形成的一低解析度反射圖案及由一高解析度光學圖案之反射形成的一高解析度反射圖案，該高解析度光學圖案相比於該低解析度光學圖案具有較精細解析度；基於該高解析度反射圖案來判定一第一深度範圍內之物體深度；以及基於該高解析度反射圖案來判定一第二深度範圍內之物體深度。
在實例24中，實例23之該解析度光學圖案可視情況用於判定介於10cm與50cm之間的物體深度，且該高解析度光學圖案用於判定介於50cm與150cm之間的物體深度。
在實例25中，實例23至24中之任一者之該解析度光學圖案可視情況包含以一第一信號功率而投影之一光 學圖案，且該高解析度光學圖案可視情況包含以高於該第一信號功率之一第二信號功率而投影之一光學圖案。
在實例26中，實例23至25中之任一者之該電腦實施方法可視情況包括：產生一第一濾波器以自該複合影像擷取該高解析度光學反射圖案；以及產生一第二濾波器以自該複合影像擷取該低解析度光學反射圖案。
在實例27中，實例23至26中之任一者之該電腦實施方法可視情況包括：藉由使該低解析度反射圖案與該低解析度光學圖案匹配來判定一第一深度範圍內之物體深度；以及藉由使該高解析度反射圖案與該高解析度光學圖案匹配來判定一第二深度範圍內之物體深度。
在實例28中，實例23至27中之任一者之該電腦實施方法可視情況包括對該經擷取低解析度光學圖案執行減少取樣。
在實例29中，實例23至28中之任一者之該電腦實施方法可視情況包括同時地發射該等各別低解析度及高解析度影像。
在實例30中，實例23至29中之任一者之該電腦實施方法可視情況包括以每秒30個圖框或更大之一圖框速率來接收一系列複合影像。
在實例31中，一種設備可視情況包括用以執行實例23至30中之任一者之方法的構件。
在實例32中，至少一機器可讀媒體可視情況包括複數個指令，該複數個指令回應於在一計算裝置上執行 而使該計算裝置進行根據實例23至31中之任一者之一方法。
在實例33中，一種主動式深度攝影機可包括：一發射器系統，其包含具有一第一景深之一第一發射器及具有大於該第一景深之一第二景深之一第二發射器，該發射器系統用以投影包含一低解析度光學圖案及高解析度光學圖案之一複合光學圖案；一感測器系統，其用以偵測一複合影像，該複合影像含有包含該經投影低解析度光學圖案之反射的一低解析度光學反射圖案，且進一步含有包含該經投影高解析度光學圖案之一反射的一高解析度光學反射圖案；以及用以基於該經偵測複合影像來判定一第一深度範圍內之物體深度及一第二深度範圍內之物體深度的邏輯。
在實例34中，實例33之該低解析度光學圖案可視情況用於判定介於距該感測器10cm與50cm之間的物體深度，且該高解析度光學圖案用於判定介於距該感測器50cm與150cm之間的物體深度。
在實例35中，實例33至34中之任一者之該發射器系統可包括：一第一發射器，其用於以一第一信號功率來投影該低解析度光學圖案；以及一第二發射器，其用於以高於該第一信號功率之一第二信號功率來投影該高解析度光學圖案。
在實例36中，實例33至35中之任一者之該主動式深度攝影機可視情況包括：一高通濾波器，其用以自該 複合影像擷取該高解析度光學反射圖案；以及一低通濾波器，其用以自該複合影像擷取該低解析度光學反射圖案。
在實例37中，實例33至36中之任一者之該邏輯可視情況藉由使該低解析度光學反射圖案與該低解析度光學圖案匹配來判定一第一深度範圍內之物體深度；以及藉由使該高解析度光學反射圖案與該高解析度光學圖案匹配來判定一第二深度範圍內之物體深度。
在實例38中，實例33至37中之任一者之該發射器系統可視情況包括用以同時地發射該等各別低解析度及高解析度光學圖案之一單一發射器。
在實例39中，實例33至38中之任一者之該感測器系統可視情況以每秒30個圖框或更大之一圖框速率來記錄一系列複合影像。
在實例40中，實例33至39中之任一者之該發射器系統可視情況投影一中間解析度光學圖案，該感測器系統可在該複合影像中偵測包含該中間範圍光學圖案之反射的一中間解析度光學反射圖案，且該邏輯可基於該經偵測複合影像來判定一第三深度範圍內之物體深度，該第三深度範圍介於該第一深度範圍與該第二深度範圍中間。
在實例41中，實例33至40中之任一者之該主動式深度攝影機可包括用以與由該感測器偵測該複合影像同時地記錄一可見影像之一紅綠藍(RGB)數位攝影機。
可使用表達「一個實施例」或「一實施例」連同其衍生詞來描述一些實施例。此等術語意謂結合該實施 例所描述之特定特徵、結構或特性包括於至少一實施例中。片語「在一個實施例中」在本說明書中各處之出現未必皆係指同一實施例。另外，可使用表達「耦接」及「連接」連同其衍生詞來描述一些實施例。此等術語未必意欲為彼此同義。舉例來說，可使用術語「連接」及/或「耦接」來描述一些實施例以指示出兩個或兩個以上元件彼此進行直接實體或電接觸。然而，術語「耦接」亦可意謂兩個或兩個以上元件彼此不進行直接接觸，但仍彼此協作或互動。
應強調，提供【發明摘要】以允許讀者快速地確定技術揭示內容之本質。在理解到【發明摘要】將不用以解譯或限制申請專利範圍之範疇或意義的情況下提交【發明摘要】。另外，在前述【實施方式】中可看出，出於精簡本發明之目的而在單一實施例中將各種特徵分組在一起。不應將本發明之此方法解譯為反映所主張實施例需要比各請求項中明確地敍述之特徵更多之特徵的意圖。實情為，如以下申請專利範圍所反映，發明性主題在於少於單一所揭示實施例之所有特徵的特徵。因此，將以下申請專利範圍併入至【實施方式】中，其中各請求項獨自地作為一分離實施例。在隨附申請專利範圍中，術語「包括」及「其中」分別作為各別術語「包含」及「其中」之通俗易懂的等效者而使用。此外，術語「第一」、「第二」及「第三」等等僅僅作為標記而使用，且不意欲將數值要求強加於其物體上。
上文已描述之內容包括所揭示架構之實例。當然，沒有可能描述組件及/或方法之每個可想像組合，但一般熟習此項技術者可認識到，許多另外組合及排列係可能的。因此，新穎架構意欲包含屬於隨附申請專利範圍之精神及範疇的所有此等變更、修改及變化。
可使用硬體元件、軟體元件或此兩者之組合來實施各種實施例。硬體元件之實例可包括處理器、微處理器、電路、電路元件(例如，電晶體、電阻器、電容器、電感器等等)、積體電路、特殊應用積體電路(ASIC)、可規劃邏輯裝置(PLD)、數位信號處理器(DSP)、場可規劃閘陣列(FPGA)、邏輯閘、暫存器、半導體裝置、晶片、微晶片、晶片組等等。軟體之實例可包括軟體組件、程式、應用程式(application/application program)、電腦程式、系統程式、機器程式、作業系統軟體、中介軟體、韌體、軟體模組、常式、次常式、函式、方法、程序、軟體介面、應用程式介面(API)、指令集、計算程式碼、電腦程式碼、程式碼片段、電腦程式碼片段、字、值、符號或其任何組合。判定是否使用硬體元件及/或軟體元件來實施一實施例可根據諸如以下各者之任何數目個因素而變化：所要計算速率、功率位準、耐熱性、處理循環預算、輸入資料速率、輸出資料速率、記憶體資源、資料匯流排速度及其他設計或效能約束。
可使用表達「耦接」及「連接」連同其衍生詞來描述一些實施例。此等術語並不意欲為彼此同義。舉例 來說，可使用術語「連接」及/或「耦接」來描述一些實施例以指示出兩個或兩個以上元件彼此進行直接實體或電接觸。然而，術語「耦接」亦可意謂兩個或兩個以上元件彼此不進行直接接觸，但仍彼此協作或互動。
可(例如)使用電腦可讀媒體或物品來實施一些實施例，該電腦可讀媒體或物品可儲存在由電腦執行時可使電腦執行根據該等實施例之方法及/或操作的指令或指令集。此電腦可包括(例如)任何合適處理平台、計算平台、計算裝置、處理裝置、計算系統、處理系統、電腦、處理器或其類似者，且可使用硬體及/或軟體之任何合適組合來實施此電腦。該電腦可讀媒體或物品可包括(例如)任何合適類型之記憶體單元、記憶體裝置、記憶體物品、記憶體媒體、儲存裝置、儲存物品、儲存媒體及/或儲存單元，例如，記憶體、抽取式或非抽取式媒體、可抹除或非可抹除媒體、可寫入或可重寫媒體、數位或類比媒體、硬碟、軟碟、光碟唯讀記憶體(Compact Disk Read Only Memory,CD-ROM)、可記錄光碟(Compact Disk Recordable,CD-R)、可重寫光碟(Compact Disk Rewriteable,CD-RW)、光碟、磁性媒體、磁光媒體、抽取式記憶體卡或磁碟、各種類型之數位影音光碟(Digital Versatile Disk,DVD)、磁帶、卡帶或其類似者。該等指令可包括使用任何合適高階、低階、物體導向式、虛擬、經編譯及/或經解譯程式設計語言而實施的任何合適類型之程式碼，諸如，原始程式碼、經編譯程式碼、經解譯程式碼、可執行程式碼、靜 態程式碼、動態程式碼、經加密程式碼及其類似者。
除非另有特定敍述，否則可瞭解，諸如「處理」、「計算」、「演算」、「判定」或其類似者之術語係指電腦或計算系統或相似電子計算裝置之動作及/或處理序，該電子計算裝置將被表示為計算系統之暫存器及/或記憶體內之物理量(例如，電子)的資料操縱及/或變換成被相似地表示為計算系統之記憶體、暫存器或其他此等資訊儲存、傳輸或顯示裝置內之物理量的其他資料。該等實施例在此上下文中並不受到限制。
儘管已以結構特徵及/或方法動作所特有之語言來描述主題，但應理解，隨附申請專利範圍中定義之主題未必限於上文所描述之特定特徵或動作。實情為，將上文所描述之特定特徵及動作揭示為實施申請專利範圍之實例形式。
本文已陳述眾多特定細節以提供對實施例之透徹理解。然而，熟習此項技術者應理解，可在無此等特定細節之情況下實踐實施例。在其他例子中，尚未詳細地描述熟知之操作、組件及電路，以便不會混淆實施例。可瞭解，本文所揭示之特定結構及功能細節可為代表性的，且未必限制實施例之範疇。
102‧‧‧結構光組件
104‧‧‧第一發射器
106‧‧‧第二發射器
108‧‧‧可見光紅綠藍(RGB)攝影機
110‧‧‧深度感測器

Claims (29)

  1. 一種設備，其包含：一發射器，其用以投影一低解析度光學圖案及具有比該低解析度光學圖案更精細之解析度的一高解析度光學圖案；一感測器，其用以偵測一複合影像，該複合影像包含一低解析度光學反射圖案及一高解析度光學反射圖案，該低解析度光學反射圖案包含經投影之該低解析度光學圖案的反射，該高解析度光學反射圖案包含經投影之該高解析度光學圖案的一反射；以及邏輯，其用以基於被偵測到的該複合影像來判定在一第一深度範圍內之物體深度及在一第二深度範圍內之物體深度。
  2. 如請求項1之設備，該低解析度光學圖案用於判定距該感測器10cm到50cm之間的物體深度；且該高解析度光學圖案用於判定距該感測器50cm到150cm之間的物體深度。
  3. 如請求項1之設備，該發射器包含以一第一信號功率來投影該低解析度光學圖案的一第一發射器，以及以高於該第一信號功率之一第二信號功率來投影該高解析度光學圖案的一第二發射器。
  4. 如請求項1之設備，其包含： 一高通濾波器，其用以自該複合影像擷取該高解析度光學反射圖案；以及一低通濾波器，其用以自該複合影像擷取該低解析度光學反射圖案。
  5. 如請求項1之設備，該邏輯用以：藉由使該低解析度光學反射圖案與該低解析度光學圖案匹配來判定在一第一深度範圍內之物體深度；以及藉由使該高解析度光學反射圖案與該高解析度光學圖案匹配來判定在一第二深度範圍內之物體深度。
  6. 如請求項4之設備，該邏輯用以對經擷取的該低解析度光學反射圖案執行降低取樣頻率。
  7. 如請求項1之設備，該發射器用以同時地發射該等各別之低解析度及高解析度光學圖案。
  8. 如請求項1之設備，該等低解析度光學圖案及該高解析度光學圖案包含紅外線輻射。
  9. 如請求項1之設備，其包含用以停用該高解析度發射器之一開關。
  10. 如請求項1之設備，該感測器用於以每秒30個圖框或更大之一圖框速率來記錄一系列的複合影像。
  11. 如請求項1之設備，其包含：該發射器用以投影一中間解析度光學圖案；該感測器用以在該複合影像中偵測包含該中間範圍光學圖案之反射的一中間解析度光學反射圖案；以 及該邏輯用以基於經偵測的該複合影像來判定在一第三深度範圍內之物體深度，該第三深度範圍介於該等第一與第二深度範圍中間。
  12. 如請求項1之設備，其包含用以在藉由該感測器對該複合影像之偵測的同時記錄一可見影像之一紅綠藍(RGB)數位攝影機。
  13. 一種包含指令的至少一電腦可讀儲存媒體，當該等指令被執行時使一系統進行以下操作：接收一複合影像，其包含由一低解析度光學圖案之反射形成的一低解析度反射圖案，以及由一高解析度光學圖案之反射形成的一高解析度反射圖案，該高解析度光學圖案具有比該低解析度光學圖案更精細之解析度；基於該高解析度光學反射圖案來判定在一第一深度範圍內之物體深度；以及基於該高解析度光學反射圖案來判定在一第二深度範圍內之物體深度。
  14. 如請求項13之至少一電腦可讀儲存媒體，該低解析度光學圖案用於判定介於10cm與50cm之間的物體深度；且該高解析度光學圖案用於判定介於50cm與150cm之間的物體深度。
  15. 如請求項13之至少一電腦可讀儲存媒體，該低解析度 光學圖案包含以一第一信號功率來投影的一光學圖案，且該高解析度光學圖案包含以高於該第一信號功率之一第二信號功率來投影的一光學圖案。
  16. 如請求項13之至少一電腦可讀儲存媒體，其包含當被執行時使該系統進行以下操作之指令：產生一第一濾波器以自該複合影像擷取該高解析度光學反射圖案；以及產生一第二濾波器以自該複合影像擷取該低解析度光學反射圖案。
  17. 如請求項13之至少一電腦可讀儲存媒體，其包含當被執行時使該系統進行以下操作之指令：藉由使該低解析度反射圖案與該低解析度光學圖案匹配來判定在一第一深度範圍內之物體深度；以及藉由使該高解析度反射圖案與該高解析度光學圖案匹配來判定在一第二深度範圍內之物體深度。
  18. 如請求項13之至少一電腦可讀儲存媒體，其包含當被執行時使該系統對經擷取的該低解析度光學圖案執行降低取樣頻率。
  19. 如請求項13之至少一電腦可讀儲存媒體，其包含當被執行時使該系統同時地發射該等各別之低解析度及高解析度影像。
  20. 如請求項13之至少一電腦可讀儲存媒體，該低解析度光學圖案及該高解析度光學圖案包含紅外線輻射。
  21. 如請求項13之至少一電腦可讀儲存媒體，其包含當被 執行時使該系統以每秒30個圖框或更大之一圖框速率來接收一系列的複合影像。
  22. 如請求項13之至少一電腦可讀儲存媒體，其包含當被執行時使該系統進行以下操作之指令：在該複合影像中接收包含該中間範圍光學圖案之反射的一中間解析度光學反射圖案；以及基於該經偵測之複合影像來判定在一第三深度範圍內之物體深度。
  23. 一種電腦實施方法，其包含下列步驟：接收一複合影像，其包含由一低解析度光學圖案之反射所形成的一低解析度反射圖案以及由一高解析度光學圖案之反射所形成的一高解析度反射圖案，該高解析度光學圖案具有比該低解析度光學圖案更精細之解析度；基於該高解析度反射圖案來判定在一第一深度範圍內之物體深度；以及基於該高解析度反射圖案來判定在一第二深度範圍內之物體深度。
  24. 如請求項23之電腦實施方法，該低解析度光學圖案用於判定介於10cm與50cm之間的物體深度；且該高解析度光學圖案用於判定介於50cm與150cm之間的物體深度。
  25. 如請求項23之電腦實施方法，該低解析度光學圖案包含以一第一信號功率來投影的一光學圖案，且該高解 析度光學圖案包含以高於該第一信號功率之一第二信號功率來投影的一光學圖案。
  26. 如請求項23之電腦實施方法，其包含：產生一第一濾波器以自該複合影像擷取該高解析度光學反射圖案；以及產生一第二濾波器以自該複合影像擷取該低解析度光學反射圖案。
  27. 如請求項23之電腦實施方法，其包含：藉由使該低解析度反射圖案與該低解析度光學圖案匹配來判定在一第一深度範圍內之物體深度；以及藉由使該高解析度反射圖案與該高解析度光學圖案匹配來判定在一第二深度範圍內之物體深度。
  28. 如請求項23之電腦實施方法，其包含對經擷取的該低解析度光學圖案執行降低取樣頻率。
  29. 如請求項23之電腦實施方法，其包含同時地發射該等各別之低解析度及高解析度影像。
TW103107482A 2013-03-12 2014-03-05 用於判定影像中物體深度之設備及技術 TWI495842B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/797,885 US20140267701A1 (en) 2013-03-12 2013-03-12 Apparatus and techniques for determining object depth in images

Publications (2)

Publication Number Publication Date
TW201447224A true TW201447224A (zh) 2014-12-16
TWI495842B TWI495842B (zh) 2015-08-11

Family

ID=50342160

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103107482A TWI495842B (zh) 2013-03-12 2014-03-05 用於判定影像中物體深度之設備及技術

Country Status (4)

Country Link
US (1) US20140267701A1 (zh)
EP (1) EP2779092A1 (zh)
CN (1) CN104050656A (zh)
TW (1) TWI495842B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160150219A1 (en) * 2014-11-20 2016-05-26 Mantisvision Ltd. Methods Circuits Devices Assemblies Systems and Functionally Associated Computer Executable Code for Image Acquisition With Depth Estimation
US10242278B2 (en) 2014-12-01 2019-03-26 Koninklijke Philips N.V. Device and method for skin detection
CN107532885B (zh) * 2015-02-25 2020-03-03 脸谱科技有限责任公司 光图案中的强度变化用于体积中的物体的深度绘制
US9683834B2 (en) * 2015-05-27 2017-06-20 Intel Corporation Adaptable depth sensing system
US10761195B2 (en) 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system
KR101733228B1 (ko) * 2016-04-28 2017-05-08 주식회사 메디트 구조광을 이용한 3차원 스캐닝 장치
US10021372B2 (en) 2016-09-16 2018-07-10 Qualcomm Incorporated Systems and methods for improved depth sensing
CN106507019B (zh) 2016-11-29 2019-05-10 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置
CN106507069B (zh) * 2016-11-29 2018-06-05 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
US10771768B2 (en) * 2016-12-15 2020-09-08 Qualcomm Incorporated Systems and methods for improved depth sensing
TWI621832B (zh) * 2017-02-10 2018-04-21 緯創資通股份有限公司 物體偵測系統以及方法
DE102017103660B4 (de) 2017-02-22 2021-11-11 OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung Verfahren zum betrieb einer lichtquelle für eine kamera, lichtquelle, kamera
CN106919928A (zh) * 2017-03-08 2017-07-04 京东方科技集团股份有限公司 手势识别系统、方法及显示设备
KR102326493B1 (ko) 2017-03-13 2021-11-17 옵시스 테크 엘티디 눈-안전 스캐닝 lidar 시스템
US10542245B2 (en) * 2017-05-24 2020-01-21 Lg Electronics Inc. Mobile terminal and method for controlling the same
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
WO2019022941A1 (en) 2017-07-28 2019-01-31 OPSYS Tech Ltd. VCSEL LIDAR TRANSMITTER WITH LOW ANGULAR DIVERGENCE
KR102457891B1 (ko) * 2017-10-30 2022-10-25 삼성전자주식회사 이미치 처리 방법 및 장치
KR102589319B1 (ko) 2017-11-15 2023-10-16 옵시스 테크 엘티디 잡음 적응형 솔리드-스테이트 lidar 시스템
CN109842789A (zh) * 2017-11-28 2019-06-04 奇景光电股份有限公司 深度感测装置及深度感测方法
US20190188513A1 (en) * 2017-12-20 2019-06-20 Datalogic Usa Inc. Systems and methods for object deskewing using stereovision or structured light
US10572002B2 (en) 2018-03-13 2020-02-25 Facebook Technologies, Llc Distributed artificial reality system with contextualized hand tracking
US10528133B2 (en) * 2018-03-13 2020-01-07 Facebook Technologies, Llc Bracelet in a distributed artificial reality system
US11906663B2 (en) 2018-04-01 2024-02-20 OPSYS Tech Ltd. Noise adaptive solid-state LIDAR system
CN109299662B (zh) * 2018-08-24 2022-04-12 上海图漾信息科技有限公司 深度数据计算设备与方法及人脸识别设备
CN109708588A (zh) * 2019-01-14 2019-05-03 业成科技（成都）有限公司 结构光投射器及结构光深度感测器
CN113692540A (zh) 2019-04-09 2021-11-23 欧普赛斯技术有限公司 带激光控制的固态lidar发送器
WO2020242834A1 (en) 2019-05-30 2020-12-03 OPSYS Tech Ltd. Eye-safe long-range lidar system using actuator
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US11450083B2 (en) 2019-09-27 2022-09-20 Honeywell International Inc. Dual-pattern optical 3D dimensioning
TWI761739B (zh) * 2019-12-10 2022-04-21 緯創資通股份有限公司 活體臉部辨識系統與方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5003166A (en) * 1989-11-07 1991-03-26 Massachusetts Institute Of Technology Multidimensional range mapping with pattern projection and cross correlation
WO2006120759A1 (ja) * 2005-05-12 2006-11-16 Techno Dream 21 Co., Ltd. 3次元形状計測方法およびその装置
TWI291013B (en) * 2006-01-25 2007-12-11 Univ Nat Taipei Technology Digital-structured micro-optic three-dimensional confocal surface profile measuring system and technique
US8587681B2 (en) * 2008-11-21 2013-11-19 Omnivision Technologies, Inc. Extended depth of field for image sensor
US8908958B2 (en) * 2009-09-03 2014-12-09 Ron Kimmel Devices and methods of generating three dimensional (3D) colored models
FR2950140B1 (fr) * 2009-09-15 2011-10-21 Noomeo Procede de numerisation tridimensionnelle comprenant une double mise en correspondance
CN101720047B (zh) * 2009-11-03 2011-12-21 上海大学 基于颜色分割的多目摄像立体匹配获取深度图像的方法
GB0921461D0 (en) * 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8687040B2 (en) * 2010-11-01 2014-04-01 Omnivision Technologies, Inc. Optical device with electrically variable extended depth of field
US20120176478A1 (en) * 2011-01-11 2012-07-12 Sen Wang Forming range maps using periodic illumination patterns
JP5746529B2 (ja) * 2011-03-16 2015-07-08 キヤノン株式会社 三次元距離計測装置、三次元距離計測方法、およびプログラム
KR101216953B1 (ko) * 2011-05-19 2012-12-31 (주)로봇에버 코드 라인을 이용하여 3차원 영상을 복원하는 3차원 거리 측정 시스템
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
CN102663721B (zh) * 2012-04-01 2015-04-15 清华大学 动态场景的散焦深度估计和全聚焦图像获取方法

Also Published As

Publication number Publication date
US20140267701A1 (en) 2014-09-18
CN104050656A (zh) 2014-09-17
TWI495842B (zh) 2015-08-11
EP2779092A1 (en) 2014-09-17

Similar Documents

Publication Publication Date Title
TWI495842B (zh) 用於判定影像中物體深度之設備及技術
US10097754B2 (en) Power consumption in motion-capture systems with audio and optical signals
JP6194777B2 (ja) 動作判定方法、動作判定装置および動作判定プログラム
US8971565B2 (en) Human interface electronic device
US20180081434A1 (en) Eye and Head Tracking
US20160309136A1 (en) Three-dimensional image sensors
US9542044B2 (en) Multi-touch positioning method and multi-touch screen
JP6763434B2 (ja) 情報入力装置および情報入力方法
Chen et al. Data processing approaches on SPAD-based d-TOF LiDAR systems: A review
US11125614B2 (en) Sensor for motion information, illumination information and proximity information, and operating method of central processing unit (CPU) using the sensor
KR20170063643A (ko) 이벤트들-기반 시각 센서를 이용한 저-전력 상시-온 얼굴 검출, 추적, 인식 및/또는 분석
US9454708B2 (en) Recognition dictionary creation apparatus and method for creating recognition dictionary by the same
Marcireau et al. Event-based color segmentation with a high dynamic range sensor
TW201411414A (zh) 以深度梯度爲基礎之追蹤
TWI577971B (zh) 雙孔徑測距系統
US11153477B2 (en) Electronic apparatus and controlling method thereof
Mora-Martín et al. High-speed object detection using SPAD sensors
Gyongy et al. High-speed vision with a 3D-stacked SPAD image sensor
US20180227564A1 (en) Method and device for stereoscopic vision
BE1025916B1 (nl) Werkwijzen en inrichtingen voor het snel dimensioneren van een object
Oikawa et al. A computational approach to real-time image processing for serial time-encoded amplified microscopy
JP2021043679A (ja) イメージレジストレーション装置、画像生成システム、イメージレジストレーション方法及びイメージレジストレーションプログラム
US11831859B2 (en) Passive three-dimensional image sensing based on referential image blurring with spotted reference illumination
KR102673019B1 (ko) 식별 장치 및 전자기기
Creek et al. Analysis of Image Thresholding Algorithms for Automated Machine Learning Training Data Generation

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees