TWI509565B - 基於樣式匹配及立體資訊的深度製圖 - Google Patents

基於樣式匹配及立體資訊的深度製圖 Download PDF

Info

Publication number
TWI509565B
TWI509565B TW099125181A TW99125181A TWI509565B TW I509565 B TWI509565 B TW I509565B TW 099125181 A TW099125181 A TW 099125181A TW 99125181 A TW99125181 A TW 99125181A TW I509565 B TWI509565 B TW I509565B
Authority
TW
Taiwan
Prior art keywords
image
depth
coordinates
pixels
candidate
Prior art date
Application number
TW099125181A
Other languages
English (en)
Other versions
TW201112161A (en
Inventor
Alexander Shpunt
Gerard Medioni
Daniel Cohen
Erez Sali
Ronen Deitch
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of TW201112161A publication Critical patent/TW201112161A/zh
Application granted granted Critical
Publication of TWI509565B publication Critical patent/TWI509565B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

基於樣式匹配及立體資訊的深度製圖
本發明大體上係關於電腦視覺，且更特定言之係關於三維(3D)製圖與成像。
本申請案主張2009年7月30日申請之美國臨時專利申請案第61/229,754號之權利，其以引用的方式併入本文中。
已知此項技術中用於光學3D製圖(亦即，藉由處理一物體之一光學影像產生該物體之表面之一3D輪廓)之各種方法。此類3D輪廓亦稱為深度製圖或深度影像，且3D製圖亦稱為深度製圖。
一些3D製圖方法係基於投影一雷射光斑樣式於物體上，且接著分析該物體上之該樣式之一影像。舉例而言，PCT國際公開案WO 2007/043036描述用於物體重建之一系統及方法，其中一相干光源與一任意光點樣式之一產生器投影一相干任意光點樣式於該物體上，該案之揭示內容係以引用的方式併入本文中。一成像單元偵測經照明區域之光回應並產生影像資料。該物體之影像相對於樣式之一參考影像之樣式偏移係用於該物體之一3D製圖之即時重建。使用光點樣式之進一步3D製圖方法係描述於(例如)PCT國際公開案WO 2007/105205中，該案之揭示內容亦以引用的方式併入本文中。
其他光學3D製圖方法投影不同類的樣式於待製圖物體上。舉例而言，PCT國際公開案WO 2008/120217描述一種用於3D製圖之照明總成，該透明總成包含含有一固定光點樣式之一單一透明物，該案之揭示內容係以引用的方式併入本文中。一光源以光學輻射透照該透明物以投影樣式於一物體上。一影像擷取總成擷取該物體上之該樣式之一影像，且處理該影像以重建該物體之一3D圖。
另一些其他3D製圖方法使用一立體方法：通常，在不同位置之兩個或更多個相機擷取該物體之各自影像。一電腦分析該等影像以找出該兩個影像之間之物體特徵之相對像素偏移。該等特徵之該等深度係與該等各自偏移成比例。
於下文描述之本發明之實施例提供用於基於影像資料產生3D圖之若干裝置及方法。在一些實施例中，一物體之一3D圖係藉由結合立體影像分析處理投影於該物體上之一樣式之一影像而產生。
因此，根據本發明之一實施例，提供一種用於深度製圖之方法，其包含投影一光學輻射樣式於一物體上。利用一第一影像感測器擷取該物體上之該樣式之一第一影像，並處理該第一影像以產生關於該物體之基於樣式之深度資料。利用一第二影像感測器擷取該物體之一第二影像，並處理該第二影像與另一影像以產生關於該物體之立體深度資料。結合該基於樣式之深度資料與該立體深度資料以產生該物體之一深度圖。
在一些實施例中，處理該第二影像及另一影像包含處理該第二影像及該第一影像。在一已揭示實施例中，投影該樣式包含投影紅外線(IR)輻射於物體上，且擷取該第一影像包含擷取自該物體反射之該IR輻射，而擷取該第二影像包含擷取該物體之一彩色影像。通常，該彩色影像包含像素，且該深度圖包含深度值，且該方法包含輸出該彩色影像及與該等像素相關聯之深度座標至一顯示器。
此外或替代地，投影該樣式包含投影多個光點於該物體上，且處理該第一影像包含找出該物體上之該等光點與該樣式之一參考影像中之該等光點之間之各自橫向偏移，及基於該等橫向偏移計算該深度資料。
結合該基於樣式之深度資料與該立體深度資料可包含計算相關聯於該基於樣式之深度資料及該立體深度資料之各自置信度量測，及回應於該等各自置信度量測從該基於樣式之深度資料及該立體深度資料中選擇深度座標。
在一些實施例中，結合該基於樣式之深度資料與該立體深度資料包含在該深度圖中定義複數個像素之各者之多個候選深度座標，及選擇在各像素處之該等候選深度座標之一者以包含在該深度圖中。對於該等像素之至少一些，該多個候選深度座標可包含指示未找出有效深度座標之一空值座標。在一已揭示實施例中，選擇該等候選深度座標之該者包含在該等像素中應用加權張量投票以基於在相鄰像素處之該等候選深度座標選擇該等候選深度座標之該者。
在一已揭示實施例中，結合該基於樣式之深度資料與該立體深度資料包含應用一校準程序於該第一影像及該第二影像以校正該第一影像與該第二影像之間之一未對準。通常，應用該校準程序包含校正該光學輻射樣式與該第一影像感測器之間之一對準改變。
根據本發明之一實施例，亦提供一種用於深度製圖之方法，其包含接收一物體之至少一影像，該至少一影像係藉由一影像感測器擷取，該影像包含多個像素。處理該至少一影像以產生包含複數個像素之各者之多個候選深度座標之深度資料。應用一加權投票程序於該深度資料以選擇在各像素處之該等候選深度座標之一者。輸出該物體之一深度圖，該深度圖包含在各像素處之該等候選深度座標之該經選定者。
在一已揭示實施例中，處理該至少一影像包含計算相關聯於該等候選深度座標之各自置信度量測，及應用該加權投票程序包含回應於該等各自置信度量測加權該等候選深度座標之投票。
在一些實施例中，應用該加權投票程序包含在該等像素中應用加權張量投票以基於在相鄰像素處之該等候選深度座標選擇該等候選深度座標之該者。通常，應用該加權張量投票包含計算該等相鄰像素之協方差矩陣之一加權和，及基於該等經加總協方差矩陣之本徵值之間之一差選擇該等候選深度座標之該者。
根據本發明之一實施例，此外提供一種用於深度製圖、包含一照明子總成之設備，該照明子總成係經組態以投影一光學輻射樣式於一物體上。一第一影像感測器係經組態以擷取該物體上之該樣式之一第一影像。至少一第二影像感測器係經組態以擷取該物體之至少一第二影像。一處理器係經組態以處理該第一影像以產生關於該物體之基於樣式之深度資料；處理包含至少該第二影像之一對影像以產生關於該物體之立體深度資料；及結合該基於樣式之深度資料與該立體深度資料以產生該物體之一深度圖。
根據本發明之一實施例，進一步提供一種用於深度製圖、包含至少一影像感測器之設備，該至少一影像感測器係經組態以擷取一物體之至少一影像，該影像包含多個像素。一處理器係經組態以處理該至少一影像以產生包含複數個像素之各者之多個候選深度座標之深度資料；應用一加權投票程序於該深度資料以選擇在各像素處之該等候選深度座標之一者；及輸出包含在各像素處之該等候選深度座標之該經選定者之該物體之一深度圖。
根據本發明之一實施例，此外提供一種電腦軟體產品，其包含儲存程式指令之一電腦可讀媒體，該等指令在被一處理器讀取時，引起該處理器接收已被投影於一物體上之一樣式之一第一影像及接收該物體之至少一第二影像；及處理該第一影像以產生關於該物體之基於樣式之深度資料；處理包含至少該第二影像之一對影像以產生關於該物體之立體深度資料；及結合該基於樣式之深度資料與該立體深度資料以產生該物體之一深度圖。
根據本發明之一實施例，進一步提供一種電腦軟體產品，其包含儲存指令程式之一電腦可讀媒體，該等指令在被一處理器讀取時，引起該處理器接收一物體之至少一影像，該影像包含多個像素；處理該至少一影像以產生包含該複數個像素之各者之多個候選深度座標之深度資料；應用一加權投票程序於該深度資料以選擇在各像素處之該等候選深度座標之一者；及輸出包含在各像素處之該等候選深度座標之該經選定者之該物體之一深度圖。
根據本發明之一實施例，亦提供一種用於深度製圖之方法，該方法包含分別利用第一影像擷取子總成及第二影像擷取子總成擷取一物體之第一影像及第二影像。比較該第一影像及該第二影像以估計該第一影像擷取子總成與第二影像擷取子總成之間之一未對準。一起處理該第一影像及該第二影像，同時校正該未對準以產生關於該物體之立體深度資料。輸出包含該立體深度資料之一深度圖。
在一已揭示實施例中，比較該第一影像及該第二影像包含回應於該深度資料在一第一深度圖中選擇像素；收集關於在由該第一影像擷取子總成及該第二影像擷取子總成擷取的後續影像中之該等經選定像素之統計資料；及應用該等統計資料以更新用於產生一第二、後續深度圖之未對準估計。
比較該第一影像及該第二影像可包含估計該第一影像與該第二影像之間之相對放大之一差及/或該第一影像與該第二影像之間之一偏移。在一已揭示實施例中，校正該未對準包含應用已校正偏移值xnom 以產生該深度資料，併入由下式給定的一校正值dxnom ：
其中dxmeas 係在具有相對於中心座標x0 及x1 獲得之一經量測座標之一像素處之一經量測X方向偏移值，α及β係膨脹因數及收縮因數，且Berror 係相較於一基線值Bnom 之一基線誤差。
根本本發明之一實施例，此外提供一種用於深度製圖、包含第一影像擷取子總成及第二影像擷取子總成之設備，該第一影像擷取子總成及該第二影像擷取子總成係經組態以擷取一物體之各自的第一影像及第二影像。一處理器係經組態以比較該第一影像及該第二影像以估計該第一影像擷取子總成與該第二影像擷取子總成之間之一未對準；一起處理該第一影像及該第二影像，同時校正該未對準以產生關於該物體之立體深度資料；及輸出包含該立體深度資料之一深度圖。
從下文之本發明實施例之詳細描述及圖式，將更充分地理解本發明。
系統縱覽
圖1係根據本發明之一實施例之用於3D製圖及成像之一系統20之一示意性圖示圖解。在此實例中，一成像總成24係經組態以擷取及處理一使用者22(因此其係系統20之「物體」及其操作者)之3D圖及影像。可藉由作為一3D使用者介面之部分之一主機電腦26利用此資訊，該3D使用者介面使使用者可與在該電腦上運行之遊戲及其他應用程式互動。(此類功能性係描述於(例如)美國專利申請公開案第2009/0183125號，該案之揭示內容係以引用的方式併入本文。)然而，系統20之此特定應用係僅以實例的方式顯示於此，且系統20之製圖及成像能力亦可用於其他目的，且可應用於3D物體之實質上任意合適類型。
在圖1所示之該實例中，成像總成24投影一光學輻射樣式於使用者22本體(或至少本體之部分)上，及擷取出現於本體表面之該樣式之一影像。用於此目的之該光學輻射係通常(儘管未必)在紅外線(IR)範圍內。總成24中之一處理器(其功能性係在下文更詳細描述)處理該樣式之該影像以產生該本體之一深度圖，亦即，一3D座標陣列，其包括在一預定義視域內在各點(X，Y)處該身體表面之一深度(Z)座標值。(在一影像相關資料陣列的背景中，此等(X，Y)點亦稱為像素。)在下文描述之實施例中，該處理器基於該樣式中該等光點之橫向偏移，藉由三角量測計算該使用者身體表面上的點之3D座標，如於上述PCT公開案WO 2007/043036、WO 2007/105205及WO 2008/120217中所述。本文中此技術係稱為「基於樣式之深度製圖」。
此外，成像總成24擷取使用者之彩色(2D)影像。該成像總成註冊該等彩色影像且使深度圖與該等彩色影像同步，從而提供重建使用者之一3D彩色影像之基礎。總成24產生包含用於輸出至電腦26之該等深度圖及影像資料之一資料串流。總成24之此等功能係進一步描述於2009年3月4日申請，讓與給本專利申請案之受讓人的美國專利申請案第12/397,362號中，該案之揭示內容以引用的方式併入本文中。
此外，可利用立體影像分析技術，比較由總成24擷取之該等彩色影像及IR影像之特徵以產生額外深度資訊。此立體深度資訊可用於補充該基於樣式之深度圖，特別於該樣式之該影像不清晰之區域中(諸如非常明亮之區域中或具有低反射率之物體之區域上)。下文進一步描述該基於樣式之深度圖之此類立體補充之細節。
電腦26處理由總成24產生之資料以提取3D影像資訊。例如，該電腦可分割該深度圖以識別使用者22之身體之部分及找出其等之3D位置。電腦26可使用此資訊以驅動諸如一顯示器28之一輸出裝置(該裝置通常用以呈現3D影像資訊)及/或可受該使用者身體之部分的移動控制的使用者介面元件。通常，電腦26包括一通用電腦處理器，其在軟體中經程式化以執行此等功能。舉例而言，該軟體可在網路上以電子形式下載至該處理器，或其可替代地提供於實體媒體，諸如光學記憶體媒體、磁記憶體媒體或電子記憶體媒體。
作為另一替代，此處與電腦26相關聯之處理功能可藉由總成24中之一合適處理器或與顯示器28(例如，在一電視機中)或與任意其他合適類的電腦化裝置(諸如一遊戲機或媒體播放器)整合之一處理器執行。
圖2係根據本發明之一實施例之成像總成24之一示意性俯視圖。此處將X軸視為沿著總成24前端之水平方向，Y軸係垂直方向(進入此圖之頁面)，且Z軸以由該總成成像之物體之大致方向遠離總成24延伸。
對於3D製圖，一照明子總成30以諸如一光斑樣式之一適當樣式照明物體。出於此目的，子總成30通常包括一合適輻射源32(諸如一二極體雷射器、LED或其他光源)以及光學器件(諸如一漫射器34或一繞射光學元件)，以產生該樣式，如上述PCT公開案所描述。一深度影像擷取子總成36擷取該物體表面上之該樣式之一影像。子總成36通常包括使該物體表面成像於一偵測器40上之物鏡光學器件38(諸如一CMOS影像感測器)。
如上所述，輻射源32通常發射IR輻射，但是亦可使用在(例如)可見範圍或紫外線範圍內之其他輻射帶。在不具有一IR截止濾光器之情況下，偵測器40可包括一單色影像感測器以以高靈敏度偵測該被投影樣式之影像。為了增強由偵測器40擷取之該影像之對比，光學器件38或該偵測器本身可包括一帶通濾光器，該帶通濾光器使輻射源32之波長通過，同時阻止其他帶內的周圍輻射。
一彩色影像擷取子總成42擷取該物體之彩色影像。子總成42通常包括物鏡光學器件44，該物鏡光學器件44使該物體表面成像於一偵測器46(諸如一CMOS彩色馬賽克影像感測器)上。在此項技術中已知，此一感測器係通常由一拜耳(Bayer)紅綠藍(RGB)馬賽克濾光器覆蓋。光學器件44或偵測器46可包括一濾光器(諸如一IR截止濾光器)，使得由照明子總成30投影之該樣式不出現於由偵測器46擷取之該等彩色影像中。通常，子總成42包括用於適應於自物體反射之光強度之一或多個機構，包含(例如)一電子快門、自動增益控制(AGC)，及/或一可變光圈。子總成36可經類似組態。
一處理器50接收並處理來自子總成36及42之影像輸入。裝置50通常包括一嵌入式微處理器，其係在軟體(或韌體)中經程式化以執行下文所述之處理功能。舉例而言，該軟體可在一網路上以電子形式提供至該處理器；替代地或此外，該軟體可儲存於實體電腦可讀媒體(諸如光學記憶體媒體、磁記憶體媒體，或電子記憶體媒體)中。裝置50亦包括合適輸入及輸出介面且可包括用於執行其功能之一些或全部之專用及/或可程式化硬體邏輯電路。此等處理功能之一些之細節及可用於執行該等功能之電路係呈現於上述美國專利申請案第12/397,362號中。
概括地說，處理器50比較由子總成36提供之影像與由子總成30投影於在與總成24相距一已知距離處之一參考平面上之樣式之一參考影像。(例如，該參考影像可經擷取作為一校準程序之部分且儲存於一記憶體中。)該處理器使該所擷取影像中之局部樣式與該參考影像中的局部樣式匹配並從而找出在該平面內各像素或像素群組之橫向偏移。基於此等橫向偏移及介於子總成30與36之光學軸之間之已知距離DcL ，該處理器計算各像素之一深度(Z)座標。此外，如上所述，該處理器可以立體深度資訊補充此等基於樣式之深度座標，該立體深度資訊係基於子總成36與42之該等各自光學軸之間之已知距離Dcc 而自由子總成36及42兩者提供之該等影像所獲得。
雖然圖2顯示位於照明子總成30與彩色影像擷取子總成42之間之深度影像擷取子總成36，但亦可使用此等元件之其他組態。舉例而言，為了提供精確立體深度資訊，將影像擷取子總成36及42放置於照明子總成30之相對側可為有用的。在此類組態中，將該等子總成沿著X軸等距隔開對於促進該基於樣式之深度資訊及立體深度資訊之註冊係有用的。已找出該等影像擷取子總成與該照明子總成之光學軸之間之7 cm至10 cm之一間隔以在圖1所示之該類應用中賦予良好結果。作為另一實例，子總成36及42可在Y方向(其自圖2所示之視圖之頁面投影出)上隔開。
或者，其他系統組態可用於本文所述之目的且被視為在本發明之範疇內。
處理器50使各3D圖中之深度座標與由子總成42所擷取之彩色影像中的合適像素同步且註冊該等深度座標。該註冊通常涉及與該3D圖中之各深度值相關聯之該等座標之一偏移。該偏移包含基於子總成36與42之該等光學軸之間之距離Dcc 及該等偵測器之間之任意未對準之一靜態成分及取決於該等深度座標本身之一動態成分。該註冊程序係描述於上述美國專利申請案第12/397,362號中。
可校準在總成24之該等組件中的未對準與由於該等組件之非理想行為所致的失真，且可計算合適的校正因數以校正此未對準及失真。處理器50應用此等校正因數來計算該等深度座標。下文參考圖5描述用於執行此校準之一程序。可在系統20開始操作前執行該程序及然後可在操作期間間歇性地重複該程序以補償由於(例如)總成24之溫度改變所致的隨著時間的動態變化。
在註冊該等深度圖及彩色影像後，處理器50經由諸如一USB埠之一埠輸出該深度資料及彩色資料至主機電腦26。
深度製圖技術縱覽
本發明者已發現如上所述，基於樣式之深度製圖本身通常賦予比立體技術所賦予之結果更精確及穩健的結果。然而，在一些情況下，基於樣式之方法並不起作用，例如：
1)　當該待製圖物體為高亮度照明及/或高反射性時，該樣式之影像可被自該物體反射之非樣式照明模糊化。在此等情況下，由子總成36擷取之該影像中之該樣式之相對對比度可能太低以致不能啟用可靠偵測。
2)　當該物體之一區域在該樣式之光譜範圍(諸如接近紅外線(IR))中具有極低反射率時，在由子總成36擷取之該影像中之該樣式之對比度可能又太低以致不能啟用可靠偵測。
3)　當使用IR照明以投影該樣式於該物體上時，可存在弱區域於該樣式中、樣式區域於該物體中或遭受高幾何失真之區域於該深度圖中且因此存在「洞」於該深度圖中。
在此等條件下，儘基於該樣式所產生之該深度圖可含有「洞」--無可用的可靠深度座標之該物體之區域。
在本發明之一些實施例中，該等洞係藉由立體深度製圖填充。在此項技術中已知之立體技術中，隔開一已知距離之兩個或更多個相機擷取相同場景之影像。相同影像特徵出現於兩個影像中，但是處於歸因於該等相機之間隔及該等特徵距離相機平面之距離而由視差引起相對偏移之各自影像中之位置。因此使用一給定特徵之該經量測偏移及該等相機之間之已知間隔來計算該特徵之深度座標。
通常，用於一立體系統中之該多個相機係具有相同類型及特性。然而，在圖2所示之實施例中，使用兩個不同類型的相機：具體實施於子總成36中之IR相機及具體實施於子總成42中之RGB彩色相機。當然，該等相機具有不同光譜回應且亦可具有不同大小之像素。然而，無論如何此等相機之兩者存在於系統20中以使該電腦重建該物體之一3D彩色影像。因此，以較少或無額外硬體成本實現用於立體深度製圖之此兩個不同種類相機的使用且僅需額外處理應用於由該等相機輸出之該等影像。
在該物體之明亮區域(其中該IR相機無法擷取該經投影樣式之一影像)中(上述案例1)，由於存在大量可用光，故該IR相機及該RGB相機兩者通常仍能形成該物體本身之一影像無不當困難。(若該影像太亮，則可使用該電子快門、AGC及/或光圈調整來減小感測器飽和度。)甚至在該物體之黑暗區域中(上述案例2)，在該IR影像及該RGB影像中可存在充分明亮之反白顯示或其他低振幅影像資訊(諸如邊緣)以使該處理器可作一有意義之比較。
處理器50立體地量測該IR影像與該RGB影像之間之局部偏移且從而基於該等相機之光學軸之間之距離Dcc ，獲得此等特徵之深度座標。該等深度座標固有地向該RGB影像註冊。該處理器可應用此項技術中已知之任何立體處理方法。例如，該處理器可識別在該IR影像及該RGB影像中之特定影像特徵並計算該等特徵之間之偏移。此外或替代地，在一適當影像重新製定比例及對準後，該處理器可針對該IR影像與該RGB影像之間之不同偏移值該等影像中之區域或特徵之一正規化相互關聯。選擇最大化該相互關聯之偏移並因而賦予該像素深度座標。或者，可使用如此項技術中已知之一相互資訊計算來找出該兩個影像中之一給定特徵或區域之位置之間之偏移。因而，在該基於樣式之深度圖中之亮洞及暗洞二者可以立體深度資訊填充，以賦予該物體一更完整、精確及穩健3D圖像。
處理器50結合該等立體座標與該等基於樣式之座標以形成一統一深度圖。出於此目的，針對各像素或像素群組，該處理器可在該等立體深度座標與該等基於樣式之深度座標之間選擇以建立最佳深度圖。在下文更詳細描述之一實施例中，該處理器計算成像總成24之整個視域上之基於樣式之深度資料及立體深度資料。因而可找出各像素之多個候選深度座標，及可指派各自置信度值於不同候選座標。然後該處理器執行一加權投票程序以選擇在各像素處之最佳候選深度。或者，該處理器可應用其他方法以混合該等立體深度座標及該等基於樣式之深度座標。
儘管圖1所示實例中之該「物體」係人體，仍可將本發明之原理應用於實質任何類型的3D物體之製圖及成像。此外，儘管在系統20中具體實施於子總成36中之該IR相機係用於基於樣式之深度量測及立體深度測量二者，該等立體量測可替代地由一獨立對相機完成。
使用加權投票之深度製圖
圖3係示意圖解說明根據本發明之一實施例之用於3D製圖之一方法之一流程圖。為了清晰起見，在下文中參考上文圖1及圖2所示之系統組件描述此方法。然而，本方法之該等原理可類似地應用於其他系統組態。舉例而言，該方法可利用用於基於樣式之成像及立體影像之獨立子總成予以執行，而不是利用在兩者功能中之一單一子總成(諸如上述之子總成36)。此外或替代地，該基於樣式之深度值可利用其他類型的經投影樣式(諸如結構光或莫爾樣式(Moirpattern))而找出。
為了在系統20中開始程序，照明子總成30投影一樣式於該物體上。在一樣式擷取步驟52，影像擷取子總成36擷取出現於該物體上之該樣式之一影像，而在一彩色影像擷取步驟54，影像擷取子總成42擷取該物體之一彩色影像。在預處理步驟56及58，處理器50預處理該等所擷取影像之各者。出於與該IR影像比較之目的，該處理器通常將該彩色(RGB)影像轉換為單色形式。例如，該處理器可計算各像素(或R、G及B像素群組)之亮度值，或其可取該等R、G及B值之最大值或和。在步驟56及58中，處理器50亦可藉由在原始輸入資料上執行預處理操作(諸如銳化)增強影像內容。
在一基於樣式之深度計算步驟60，基於該IR影像(可能在該預處理步驟後)，處理器50計算該影像中之所有像素之基於樣式之深度座標。此步驟之一實施方案係詳細描述於(例如)上述美國專利申請案第12/397,362號中。在此步驟，如上所述，處理器50使該所擷取IR影像中之該等局部樣式與在一已儲存參考影像中之局部樣式匹配且從而找出各像素之橫向偏移。此偏移表示該像素相對於該參考平面之該深度座標。
在步驟60，為了使該所擷取影像中之該等局部樣式與該參考影像中之局部樣式匹配，該處理器可執行一局部匹配操作，諸如相互關聯、絕對差之和、最小平方差或此項技術中已知的其他局部匹配技術。替代地或此外，處理器50可使用其他技術以匹配在該IR影像及該彩色影像中之局部樣式。此等技術包含(例如)計算該等局部樣式之間之一平方差和(SSD)及序數量度(如(例如)在《IEEE Transactions on Pattern Analysis and Machine Intelligence》20:4(1998)，第415至423頁中的Bhat及Nayar的「Ordinal Measures for Image Correspondence」中所描述，其以引用的方式併入本文中)。該處理器計算在各像素或像素群組處之各候選偏移之一局部匹配得分，其指示匹配品質。通常，當影像條件係良好時，在各像素處之該深度座標對應於根據以上度量之一者賦予最高局部匹配得分之偏移。
然而，實際上由於不理想影像品質，該等局部匹配結果可能不明確。舉例而言，可存在賦予局部匹配得分中之局部最大得分之兩個或更多個不同偏移，或由於較差照明條件或陰影，該等局部匹配得分對於所有偏移而言可為低。因此，處理器50可能獲取對應於賦予該等最佳局部匹配得分之兩個(或更多個)深度座標，而不是在步驟60簡單地選擇一單一深度值。在此階段，此等深度座標係視為候選深度值。該處理器保存各自局部匹配得分及各候選深度座標作為該座標係正確之一置信度量測。
在一立體深度計算步驟62，處理器50計算所有像素之基於立體之深度座標。在此步驟中，該處理器比較該IR影像之各附近與該彩色影像之偏移附近(如上所述，在預處理兩個影像之後)，或反之亦然。如在步驟60中，該處理器通常計算各可能偏移之一局部匹配得分並選擇賦予最佳局部匹配得分之偏移作為指示該候選深度座標。如在步驟60中，可選擇多個候選座標，且該等局部匹配得分本身可用作為置信度量測。
在一些情況下，成像總成24可能無法找出影像中之一給定像素或區域之任何合理深度候選座標。舉例而言，處理器50可能無法以位於陰影區域中或高反射區域中或代表太遠或太近以致不能被總成24感測其深度之物體之像素之合理置信度計算任何候選深度。在此等情況下，通常較佳的是，處理器50在討論中之該等像素處輸出一空值深度值，其指示未找出有效深度座標，而不是一錯誤值。因此，在步驟62中，當在賦予高於某一預定臨限值之一置信度量測之一給定像素處該IR影像與該彩色影像之間不存在偏移時，處理器50可選擇一空值、「無深度」座標作為該像素之該等深度候選之一者。與此空值候選相關聯之該置信度量測可被視為針對該給定像素處之任何偏移計算之該最高相互關聯值之一倒數(諸如一減去該相互關聯)。
在步驟60及62後，成像總成24之視域中之各像素具有多個候選深度座標，各候選深度座標具有一相關聯置信度量測(亦稱為一置信度得分)。理想地，在任意給定像素處之該等候選深度可相同，或接近，但其等經常不同，且正確深度選擇未必係具有最高分之一者。另一方面，正確3D座標通常係與其等附近及更遠相鄰座標一起構成3D空間中之平滑表面之座標。
因此，為了在各像素處之該等候選深度座標中選擇，在處理器50比較各候選者與某一鄰域內之其他像素之該等候選深度座標。各種方法可用於此目的。在下文更詳細描述之一實施例中，處理器50使用一張量投票方法，其中在投票步驟64中，各像素為位於相鄰像素處之該等候選深度座標投「票」。Mordohai及Medioni在「Tensor Voting: A Perceptual Organization Approach to Computer Vision and Machine Learning(Morgan及Claypool,2006)」中詳細描述此類張量投票之原理，該文章以引用的方式併入本文中。根據在該等相鄰像素處之該等候選深度座標及對應置信度值引導(在張量空間中)及加權投票。
在一顯著性計算步驟66，處理器50累積在各像素處之各候選深度座標之該等加權投票，及加總此等投票以計算各候選者之一顯著性值。該顯著性計算(如由Mordohai及Medioni所說明)賦予經推斷以通過該候選座標之一表面之定向之一指示，及實際上存在於3D空間中之該表面之置信度位準。在一圖輸出步驟68，處理器50選擇在各像素處之具有最高顯著性之該深度座標，及將該等所選擇座標併入一深度圖中。本發明已發現此投票方法賦予基於樣式之3D座標與基於立體之3D座標之間之精確、平滑整合。因此儘管該物體之照明、深度及反射性之變化，系統20皆能在總成24之大部分或全部視域上產生平滑、精確深度圖。
現在參考圖4A及圖4B，其係示意性圖解說明根據本發明之一實施例之張量投票之原理之圖表。下文將使用此等圖表來解釋說明此深度計算方法之細節。圖4A顯示用於產生一投票張量之一法向向量69，而圖4B顯示一投票域70。為視覺明瞭起見，兩圖式受限於X-Z平面。然而，因為繞Z軸之旋轉對稱性，所以該等張量及投票域將在Y-Z平面中或在含有Z軸之任何其他平面中具有相同形式。
在步驟64(圖3)，於一給定像素(X，Y)處之各候選深度(Z)座標收集來自在一預定鄰域內之所有像素之該等候選深度座標之該等投票。在本實施例中，該鄰域被視為由11個像素之一半徑及X-Y平面外之一38°傾斜角限制(所以在附近像素處具有較大深度差之該等候選值不為彼此投票)。由在該鄰域內之各候選者所投之投票值係由下列等式給出：
投票=(置信度得分)‧顯著性‧協方差(n)　(1)
此處該置信度得係如上所述在步驟60或62所計算之值，且下文定義該向量n(其係一投票張量，描述以n作為其表面法線之一表面)之該顯著性及協方差。
圖4A顯示向量67及69，其等係用於產生該等合適的投票張量及用於計算該協方差及該顯著性之相關幾何作圖。在該圖表中，收集該等相鄰像素之該等投票之該候選座標被視為在原點O(0，0，0)且被初始假定為在與該X-Y平面相切於O之一表面切線上。形式[0,0,1]之一單位向量67表示在O處此平面之法線。處於一相鄰像素(X，Y)處之一候選深度座標在3D空間中係表示為點P(X，Y，Z)。向量69表示在P處通過O及P之一表面之法線。如圖所示，該表面係由於O處與向量67垂直且通過P之密切圓界定。該向量69係用於產生一投票張量。
根據顯著性S調整給予由向量69產生之張量之加權，該顯著性S係圖4A所示之張量幾何之一函數：
其中，l係O與P之間之光線長度，且θ係此光線與該X-Y平面之間之角。c值及σ值定義投票比例。對於上述11像素半徑，σ=8，且。可見該顯著性隨著自原點之距離及該平面外之角度而衰減。因此，具有類似候選深度座標之附近像素將具有高顯著性來投票一給定候選者，而較遠像素及高度不同的候選深度座標將具有少許顯著性或不具有顯著性。
圖4B中投票域70顯示於步驟64應用於投票之張量72。(如上所述，此圖顯示通過X-Z平面中之該域之一片段。)各張量72代表處於收集該等投票之域70中心處之該候選者鄰域中一可能候選座標(X，Y，Z)。各張量之加權係根據方程式(2)由該顯著性給出。該方向係由圖4A所示之該幾何圖形給出且可依如下計算具有候選深度Z之像素(X，Y)處之向量n = n x n y n z ：
然後由下列等式給出方程式(1)中之該協方差項(投票張量)：
方程式(1)之投票公式可經修改以給予意謂緊繫於收集該等投票之候選者之候選深度值之「錨定」更大加權。此等錨定之特徵通常為高置信度得分(高於一經選定臨限值)及原點附近之座標(例如，介於+2與-2之間之X、Y及Z座標)。在收集及加總來自此等錨定候選者之該等投票中，處理器50可將由方程式(1)給出的該等值乘以一增強因數，該增強因數通常係介於2與6之間之範圍之數。然後處理器50在選擇候選者以包含於該輸出深度圖中時，將贊成該等錨定。
空值、「無深度」候選者具有一人工Z座標，其經選擇為在實際、非空值深度座標之投票域70之範圍外。因此，無深度候選者將僅為彼此投票(以θ=0所計算之顯著性值)。通常，相鄰無深度座標不接收上述之該類型的「錨定」增強。
在步驟66(圖3)，加總一給定候選者之所有鄰域之由方程式(1)給定的該等投票，導致一3x3協方差和矩陣。具有最大本徵值之此矩陣之本徵向量代表基於該等相鄰像素之該等投票而被推斷為通過像素(X，Y)處之候選深度之一表面之法線。該最大本徵值與第二大本徵值之間之差給予此推斷之一置信度量測：該差越大，該推斷為正確之該置信度越強。
然而，在圖3之方法中，處理器50不必提取實際本徵向量或甚至該等本徵值。更確切地說，充分的是該處理器估計該協方差和矩陣之兩個最大本徵值之差。在(X，Y)處之不同深度候選者之各者之本征值差指示深度候選者(包含無深度候選者)之全部顯著性。因此，該等本徵值差在各候選者中給予一可靠置信度量測。在步驟68，處理器50在各像素(X，Y)處選擇具有最高顯著性之深度候選者以包含於該深度圖中。
雖然圖3、圖4A及圖4B之該實施例使用一特定方法及演算法以在各像素處選擇最佳深度候選者，但是可使用其他方法應用本發明之原理以結合基於樣式及基於立體之深度製圖之該等結果。舉例而言，可利用置信傳播技術(如由Zhu等人在2008年《Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition》中的「Fusion of Time-of-Flight Depth and Stereo for High Accuracy Depth Maps」所述，該文章係以引用的方式併入本文中)結合深度製圖結果。
可在此背景下使用之其他方法係基於馬兒可夫隨機場(MRF)模型。雖然MRF架構產生NP hard之一最佳化問題，但是基於圖形切割及置信傳播之良好近似技術已形成且經證實用於立體及影像恢復。(例如)Boykov等人在《IEEE Transactions on Pattern Analysis and Machine Intelligence》23 (11),第1222頁至第1239頁(2001)中的「Fast Approximate Energy Minimization Via Graph Cuts」中描述圖形切割之使用。置信傳播方法係於Weiss等人之《IEEE Transactions on Information Theory》47 (2)，第723頁至第735頁(2001)中的「On the Optimality of Solutions of Themax-Product Belief Propagation Algorithm in Arbitrary Graphs」及於Sun等人之《IEEE Transactions on Pattern Analysis and Machine Intelligence》25 (7)，第787頁至第800頁(2003)中的「Stereo Matching Using Belief Propagation」中描述。Felzenszwalb等人在《International Journal of Computer Vision》70 :1，第41頁至第54頁(2006)中的「Efficient Belief Propagation for Early Vision」詳細描述用於立體匹配之置信傳播演算法及顯示關於用於立體匹配演算法評估之標準影像之良好實驗結果。該等上述公開案係以引用的方式併入本文中。其等所描述之該等方法在其等所找出之局部最小值為在「大鄰域」上的最小值之意義上及在實踐中其等產生高度精確結果之意義上皆係有用的。
而且，可類似地使用以上所述之加權投票方法以在由其他技術產生之多個深度值中選擇，包含可利用一單一製圖技術(諸如僅基於樣式之製圖)產生之多個候選深度值。
未對準修正
圖5係示意性圖解說明根據本發明之一實施例之用於在成像總成24中計算校準因數之一方法之一流程圖。此方法係藉由處理器50(圖2)週期性地執行以偵測及補償導致照明子總成30及深度與彩色影像擷取子總成36與42之位置與光學效能偏離理想狀況之誤差源。此等效應在本文中係共同稱為「未對準」。
舉例而言，在系統20之操作期間，光學組件可膨脹或收縮，該等子總成之相對位置可偏移，且該經投影樣式之角度放大可改變。此等改變可使該等深度量測失真且可改變該影像IR與該RGB影像之相對位置，其等可導致張量投票程序失敗。圖5之該校準程序動態計算並更新校正因數，然後處理器50應用該等校正因數以校正未對準且因此恢復IR及RGB影像資料至標稱、已註冊之像素座標。
在一統計資料獲取步驟80，對於各校準循環，處理器50獲取關於由成像總成24擷取之一序列C圖框之影像統計資料。C係一可組態參數，其可視系統20之操作條件之相對穩定性或不穩定性而設定。在各經選定像素(X，Y)處，該等已收集之統計資料通常包含下列偏移值於X與Y座標中：
‧ dxr-IR影像相對參考影像之X方向偏移；
‧ dyr-IR影像相對參考影像之Y方向偏移；
‧ dxs-RGB影像相對IR影像之X方向偏移；及
‧ dys-RGB影像相對IR影像之Y方向偏移。
處理器50通常在該IR影像擷取子總成及該RGB影像擷取子總成二者給予有效結果之像素處收集統計資料。舉例而言，該處理器可選擇針對基於樣式及立體深度之量測在步驟60與62(圖3)所計算之置信度值係大於一經選定臨限值之像素。為了仍為更強的確認，該處理器可僅選擇該立體候選深度值贏得該張量投票程序之像素。為了幫助確保該等統計資料之有效性，該處理器可搜索具有相同深度值之像素運行，且接著選擇各像素以從此一運行中間取樣。
在一統計資料分析步驟82，處理器50分析該等統計資料，以估計IR影像相對於參考影像及RGB影像相對於IR影像之作為像素座標(X，Y)之一函數之失真及偏移。該分析採取透過該校準程序之先前迭代結果作為其出發點，並計算校準參數相對於先前值之改變。
在此步驟，處理器50可特定利用Y方向失真及偏移值，此係因為其等係(在理想狀況下)非相依於深度。因此，介於該IR影像與該參考影像之間之Y方向偏離可歸因於由於波長改變或投影透鏡之移動或由於該IR影像擷取子總成或其組件之相對移動而引起之經投影樣式之放大。介於該RGB影像與該IR影像之間之Y方向偏離可歸應於該RGB影像擷取子總成與該IR影像擷取子總成或其等組件之間之相對移動。
因此，對於各對子總成(投影/IR影像擷取子總成及RGB/IR影像擷取子總成)，該處理器對作為X及Y之一函數之Y方向失真及偏移(DY)製圖。該偏移及失真可模型化為該等座標之一線性函數：DY(X,Y)=A(X-Xc )+BY+C。(Xc 代表影像之中心。)該等參數A、B及C可藉由關於在步驟80收集之該等像素統計資料之一最小平方擬合計算。
在校正計算步驟84、86、88、90及92中，處理器50使用此分析之該等結果以計算若干校正因數。此等因數包含膨脹因數α及收縮因數β，其等係在步驟84及86基於在步驟82得到之該等DY值計算。此等因數考慮到物鏡光學器件38及44相對於用於IR-RGB立體影像比較之各自影像感測器的移動及用於IR參考深度影像比較之輻射源32之波長的改變。此外，該處理器使用上述DY模型以估計在總成24中之該等子總成之位移之相對改變，給予相對於該基線值Bnom 之一錯誤值Berror (其可視局部影像座標而定)。
在步驟88及90中，處理器50應用此等因數來計算DX校正，亦即，待應用於IR參考及IR-RGB立體深度計算中之該等像素之X方向相對偏移。該經校正偏移值xnom 係由以下方程式給出：
此處dxmeas 代表在討論中之像素處該經量測X方向像差(偏移)值，dxmeas 在該座標處量測，該座標係相對於影像中心x0 (用於IR相機)或影像或樣式中心x1 (用於照明子總成或RGB相機)獲得。該因數α表示照明子總成或RGB相機之膨脹或收縮，而β表示IR相機之膨脹或收縮(由於焦距改變)。
在步驟92，該處理器更新該DY校正，如上文所說明。
在步驟60及62，處理器50使用由圖5之處理所產生之最新校正來計算後續深度圖之該等基於樣式之深度值及立體深度值。圖3及圖5之該等程序並行進行，使得通常同時處理用於收集圖5之校準程序之統計資料之該等圖框以產生深度圖。當需要經更新校準參數時，其等係自圖5之程序傳遞至圖3之程序。
因此將瞭解上述該等實施例係以實例方式引用，且本發明不限於上文所特定顯示及描述之內容。更確切地說，本發明之範疇包含上文所述各種特徵之組合及子組合，以及熟悉此項技術者在閱讀上述描述後將想到且在先前技術中未揭示之其變更及修改。
20．．．系統
22．．．使用者
24．．．成像總成
26．．．主機電腦
28．．．顯示器
30．．．照明子總成
32．．．輻射源
34．．．漫射器
36．．．深度影像擷取子總成
38．．．物鏡光學器件
40．．．偵測器
42．．．彩色影像擷取子總成
44．．．物鏡光學器件
46．．．偵測器
50．．．處理器
67．．．向量
69．．．法向向量
70．．．投票域
72．．．張量
DCC ．．．子總成36與42之光學軸之間之距離
DCL ．．．子總成30與36之光學軸之間之距離
圖1係根據本發明之一實施例之用於3D製圖之一系統之一示意性、圖示圖解；
圖2係根據本發明之一實施例之一成像總成之一示意性俯視圖；
圖3係示意性圖解說明用於3D製圖之一方法之一流程圖；
圖4A係示意性圖解說明根據本發明之一實施例之用於3D製圖之一投票張量之一圖表；
圖4B係示意性圖解說明根據本發明之一實施例之用於3D製圖之一投票域之一圖表；及
圖5係示意性圖解說明根據本發明之一實施例之用於在用於3D製圖之一系統中計算校準因數之方法之一流程圖。
20．．．系統
22．．．使用者
24．．．成像總成
26．．．主機電腦
28．．．顯示器

Claims (42)

  1. 一種用於深度製圖之方法，其包括：投影一光學輻射樣式於一物體上；利用一第一影像感測器在該物體上擷取該樣式之一第一影像，及單獨處理該第一影像以產生關於該物體之基於樣式之深度資料；利用一第二影像感測器擷取該物體之一第二影像，及處理該第二影像與該第一影像以產生關於該物體之立體深度資料；及結合該基於樣式之深度資料與該立體深度資料以產生該物體之一深度圖。
  2. 如請求項1之方法，其中投影該樣式包括投影紅外線(IR)輻射於該物體上，且其中擷取該第一影像包括擷取自該物體反射之該IR輻射。
  3. 如請求項2之方法，其中擷取該第二影像包括擷取該物體之一彩色影像。
  4. 如請求項3之方法，其中該彩色影像包括像素，且該深度圖包括深度值，且其中該方法包括輸出該彩色影像與相關聯於該等像素之深度座標至一顯示器。
  5. 如請求項1至4中任一項之方法，其中投影該樣式包括投影多個光點於該物體上，且其中處理該第一影像包括找出該物體上之該等光點與該樣式之一參考影像中之該等光點之間的各自橫向偏移，及基於該等橫向偏移計算該深度資料。
  6. 如請求項1至4中任一項之方法，其中結合該基於樣式之深度資料與該立體深度資料包括計算相關聯於該基於樣式之深度資料與立體深度資料的各自置信度量測，及回應於該等各自置信度量測而從該基於樣式之深度資料及立體深度資料中選擇深度座標。
  7. 如請求項1至4中任一項之方法，其中結合該基於樣式之深度資料與該立體深度資料包括在該深度圖中為複數個像素之各者定義多個候選深度座標，及在各像素處選擇該等候選深度座標之一者以包含於該深度圖中。
  8. 如請求項7之方法，其中對於該等像素之至少一些，該多個候選深度座標包括指示未找出有效深度座標之一空值座標。
  9. 如請求項7之方法，其中選擇該等候選深度座標之該者包括在該等像素中應用加權張量投票以基於在相鄰像素處之該等候選深度座標選擇該等候選深度座標之該者。
  10. 如請求項1至4中任一項之方法，其中結合該基於樣式之深度資料與該立體深度資料包括應用一校準程序於該第一影像及該第二影像以校正該第一影像與該第二影像之間之一未對準。
  11. 如請求項10之方法，其中應用該校準程序包括校正該光學輻射樣式與該第一影像感測器之間的一對準改變。
  12. 一種用於深度製圖之方法，其包括：接收由一影像感測器擷取之一物體之至少一影像，該影像包括多個像素； 處理該至少一影像以產生包括該複數個像素之各者之多個候選深度座標之深度資料及相關聯於該等候選深度座標之各自置信度量測；應用一加權投票程序於該深度資料以在各像素處選擇該等候選深度座標之一者，其中回應於該等各自置信度量測，加權該等候選深度座標之投票；及輸出包括在各像素處之該等候選深度座標之該經選定者之該物體之一深度圖。
  13. 如請求項12之方法，其中對於該等像素之至少一些，該多個候選深度座標包括指示未找出有效深度座標之一空值座標。
  14. 如請求項12或13之方法，其中應用該加權投票程序包括在該等像素中應用加權張量投票以基於在相鄰像素處之該等候選深度座標選擇該等候選深度座標之該者。
  15. 如請求項14之方法，其中應用該加權張量投票包括計算該等相鄰像素之協方差矩陣之一加權和，及基於該等已加總協方差矩陣之本徵值之間之一差選擇該等候選深度座標之該者。
  16. 一種用於深度製圖之設備，其包括：一照明子總成，其係經組態以投影一光學輻射樣式於一物體上；一第一影像感測器，其係經組態以擷取該物體上之該樣式之一第一影像；至少一第二影像感測器，其係經組態以擷取該物體之 至少一第二影像；及一處理器，其係經組態以單獨處理該第一影像以產生關於該物體之基於樣式之深度資料；處理包含該第一影像及該第二影像之一對影像以產生關於該物體之立體深度資料；及結合該基於樣式之深度資料與該立體深度資料以產生該物體之一深度圖。
  17. 如請求項16之設備，其中該照明子總成係經組態以投影紅外線(IR)輻射於該物體上，且其中該第一影像感測器係經組態以擷取自該物體反射之該IR輻射。
  18. 如請求項17之設備，其中該第二影像包括該物體之一彩色影像。
  19. 如請求項18之設備，其中該彩色影像包括像素，且該深度圖包括深度值，且其中該處理器係經組態以輸出該彩色影像與相關聯於該等像素之該等深度座標至一顯示器。
  20. 如請求項16至19中任一項之設備，其中該已投影樣式包括投影於該物體上之多個光點，且其中該處理器係經組態以找出該物體上之該等光點與該樣式之一參考影像中之該等光點之間的橫向偏移，及基於該等橫向偏移計算該深度資料。
  21. 如請求項16至19中任一項之設備，其中該處理器係經組態以使各自置信度量測與該基於樣式之深度資料及該立體深度資料相關聯，及回應於該等各自置信度量測而從該基於樣式之深度資料及該立體深度資料中選擇深度座 標。
  22. 如請求項16至19中任一項之設備，其中該處理器係經組態以在該深度圖中為複數個像素之各者定義多個候選深度座標，及在各像素處選擇該等候選深度座標之一者以包含於該深度圖中。
  23. 如請求項22之設備，其中對於該等像素之至少一些，該多個候選深度座標包括指示未找出有效深度座標之一空值座標。
  24. 如請求項22之設備，其中該處理器係經組態以在該等像素中應用加權張量投票以基於在相鄰像素處之該等候選深度座標選擇該等候選深度座標之該者。
  25. 如請求項16至19中任一項之設備，其中該處理係經組態以應用一校準程序於該第一影像及該第二影像以校正該第一影像與該第二影像之間之一未對準。
  26. 如請求項25之設備，其中該校準程序包括校正該光學輻射樣式與該第一影像感測器之間的一對準改變。
  27. 一種用於深度製圖之設備，其包括：至少一影像感測器，其係經組態以擷取一物體之至少一影像，該影像包括多個像素；及一處理器，其係經組態以處理該至少一影像以產生包括該複數個像素之各者之多個候選深度座標之深度資料及相關聯於該等候選深度座標之各自置信度量測；應用一加權投票程序於該深度資料以在各像素處選擇該等候選深度座標之一值，其中回應於該等各自置信度量測， 加權該等候選深度座標之投票；及輸出包括在各像素處之該等候選深度座標之該經選定者之該物體之一深度圖。
  28. 如請求項27之設備，其中對於該等像素之至少一些，該多個候選深度座標包括指示未找出有效深度座標之一空值座標。
  29. 如請求項27之設備，其中該處理器係經組態以在該等像素中應用加權張量投票以基於在相鄰像素處之該等候選深度座標選擇該等候選深度座標之該者。
  30. 如請求項29之設備，其中該處理器係經組態以計算該等相鄰像素之協方差矩陣之一加權和，及基於該等已加總協方差矩陣之本徵值之間之一差選擇該等候選深度座標之該者。
  31. 一種電腦軟體產品，其包括儲存程式指令之一電腦可讀媒體，該等指令在被一處理器讀取時，引起該處理器接收已投影於一物體上之一樣式之一第一影像及接收該物體之至少一第二影像；及單獨處理該第一影像以產生關於該物體之基於樣式之深度資料；處理包含該第一影像及該第二影像之一對影像以產生關於該物體之立體深度資料；及結合該基於樣式之深度資料與該立體深度資料以產生該物體之一深度圖。
  32. 一種電腦軟體產品，其包括儲存程式指令之一電腦可讀媒體，該等指令在被一處理器讀取時，引起該處理器接收一物體之至少一影像，該影像包括多個像素；處理該 至少一影像以產生包括該複數個像素之各者之多個候選深度座標之深度資料及相關聯於該等候選深度座標之各自置信度量測；應用一加權投票程序於該深度資料以選擇在各像素處之該等候選深度座標之一者，其中回應於該等各自置信度量測，加權該等候選深度座標之投票；及輸出包括在各像素處之該等候選深度座標之該經選定者之該物體之一深度圖。
  33. 一種用於深度製圖之方法，其包括：分別利用第一影像擷取子總成及第二影像擷取子總成擷取一物體之第一影像及第二影像；比較該第一影像及該第二影像以估計該第一影像擷取子總成與該第二影像擷取子總成之間之一未對準；一起處理該第一影像及該第二影像，同時校正該未對準以產生關於該物體之立體深度資料；及輸出包括該立體深度資料之一深度圖。
  34. 如請求項33之方法，其中比較該第一影像與該第二影像包括回應於該深度資料在一第一深度圖中選擇像素；收集關於在由該第一影像擷取子總成及該第二影像擷取子總成擷取的後續影像中之該等經選定像素之統計資料；及應用該等統計資料以更新用於產生一第二、後續深度圖之該未對準估計。
  35. 如請求項33之方法，其中比較該第一影像與該第二影像包括估計該第一影像與該第二影像之間之相對放大之一差。
  36. 如請求項33至35中任一項之方法，其中比較該第一影像與該第二影像包括估計該第一影像與該第二影像之間之一偏移。
  37. 如請求項36之方法，其中校正該未對準包括應用已校正偏移值xnom 以產生該深度資料，併入由下式給定的一校正值dxnom ： 其中dxmeas 係在具有相對於中心座標x0 及x1 獲得之一經量測座標之一像素處之一經量測X方向偏移值，α及β係膨脹因數及收縮因數，及Berror 係相較於一基線值Bnom 之一基線誤差。
  38. 一種用於深度製圖之設備，其包括：第一影像擷取子總成及第二影像擷取子總成，其等係經組態以擷取一物體之各自第一影像及第二影像；及一處理器，其係經組態以比較該第一影像與該第二影像以估計該第一影像擷取子總成與該第二影像擷取子總成之間之一未對準；一起處理該第一影像與該第二影像，同時校正該未對準以產生關於該物體之立體深度資料；及輸出包括該立體深度資料之一深度圖。
  39. 如請求項38之設備，其中該處理器係經組態以回應於該深度資料在一第一深度圖中選擇像素；收集關於在由該 第一影像擷取子總成及該第二影像擷取子總成擷取的後續影像中之該等經選定像素之統計資料；及應用該等統計資料以更新用於產生一第二、後續深度圖之該未對準估計。
  40. 如請求項38之設備，其中由該處理器估計之該未對準包括該第一影像與該第二影像之間之相對放大之一差。
  41. 如請求項38之設備，其中由該處理器估計之該未對準包括該第一影像與該第二影像之間之一偏移。
  42. 如請求項41之設備，其中該處理器係經組態以應用經校正偏移值xnom 以產生該深度資料，併入由下式給定的一校正值dxnom ： 其中dxmeas 係在具有相對於中心座標x0 及x1 獲得之一經量測座標之一像素處之一經量測X方向偏移值，α及β係膨脹因數及收縮因數，及Berror 係相較於一基線值Bnom 之一基線誤差。
TW099125181A 2009-07-30 2010-07-29 基於樣式匹配及立體資訊的深度製圖 TWI509565B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US22975409P 2009-07-30 2009-07-30

Publications (2)

Publication Number Publication Date
TW201112161A TW201112161A (en) 2011-04-01
TWI509565B true TWI509565B (zh) 2015-11-21

Family

ID=43526623

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099125181A TWI509565B (zh) 2009-07-30 2010-07-29 基於樣式匹配及立體資訊的深度製圖

Country Status (3)

Country Link
US (4) US9582889B2 (zh)
TW (1) TWI509565B (zh)
WO (1) WO2011013079A1 (zh)

Families Citing this family (217)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110096182A1 (en) * 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
EP1934945A4 (en) 2005-10-11 2016-01-20 Apple Inc METHOD AND SYSTEM FOR RECONSTRUCTING AN OBJECT
US9330324B2 (en) 2005-10-11 2016-05-03 Apple Inc. Error compensation in three-dimensional mapping
JP5174684B2 (ja) 2006-03-14 2013-04-03 プライムセンス リミテッド スペックル・パターンを用いた三次元検出
EP1994503B1 (en) 2006-03-14 2017-07-05 Apple Inc. Depth-varying light fields for three dimensional sensing
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US8350847B2 (en) * 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
US8493496B2 (en) * 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
US8494252B2 (en) * 2007-06-19 2013-07-23 Primesense Ltd. Depth mapping using optical elements having non-uniform focal characteristics
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US9482755B2 (en) 2008-11-17 2016-11-01 Faro Technologies, Inc. Measurement system having air temperature compensation between a target and a laser tracker
US8467072B2 (en) 2011-02-14 2013-06-18 Faro Technologies, Inc. Target apparatus and method of making a measurement with the target apparatus
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
CN102428501A (zh) * 2009-09-18 2012-04-25 株式会社东芝 图像处理装置
US8830227B2 (en) 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
KR101652393B1 (ko) * 2010-01-15 2016-08-31 삼성전자주식회사 3차원 영상 획득 장치 및 방법
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US8537371B2 (en) 2010-04-21 2013-09-17 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
US9377885B2 (en) 2010-04-21 2016-06-28 Faro Technologies, Inc. Method and apparatus for locking onto a retroreflector with a laser tracker
US8724119B2 (en) 2010-04-21 2014-05-13 Faro Technologies, Inc. Method for using a handheld appliance to select, lock onto, and track a retroreflector with a laser tracker
US9772394B2 (en) 2010-04-21 2017-09-26 Faro Technologies, Inc. Method and apparatus for following an operator and locking onto a retroreflector with a laser tracker
US9400170B2 (en) 2010-04-21 2016-07-26 Faro Technologies, Inc. Automatic measurement of dimensional data within an acceptance region by a laser tracker
US8619265B2 (en) 2011-03-14 2013-12-31 Faro Technologies, Inc. Automatic measurement of dimensional data with a laser tracker
US8422034B2 (en) 2010-04-21 2013-04-16 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
EP2395369A1 (en) * 2010-06-09 2011-12-14 Thomson Licensing Time-of-flight imager.
KR20120011653A (ko) * 2010-07-29 2012-02-08 삼성전자주식회사 영상 처리 장치 및 방법
WO2012020380A1 (en) 2010-08-11 2012-02-16 Primesense Ltd. Scanning projectors and image capture modules for 3d mapping
US8428342B2 (en) * 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
US8447098B1 (en) * 2010-08-20 2013-05-21 Adobe Systems Incorporated Model-based stereo matching
US8655093B2 (en) * 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8666144B2 (en) * 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8582866B2 (en) * 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8866889B2 (en) * 2010-11-03 2014-10-21 Microsoft Corporation In-home depth camera calibration
EP2643659B1 (en) 2010-11-19 2019-12-25 Apple Inc. Depth mapping using time-coded illumination
US9131136B2 (en) 2010-12-06 2015-09-08 Apple Inc. Lens arrays for pattern projection and imaging
JP2012138787A (ja) * 2010-12-27 2012-07-19 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
KR101887099B1 (ko) * 2010-12-29 2018-08-09 삼성전자주식회사 이미지 처리 시스템 및 이미지 처리 방법
KR20120084216A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 깊이 정보에 대한 픽셀 노이즈를 제거하는 3차원 이미지 신호 처리 방법 및 상기 방법을 수행하는 3차원 이미지 신호 프로세서
JP5214754B2 (ja) * 2011-02-25 2013-06-19 株式会社東芝 固体撮像装置および携帯情報端末
ES2693060T3 (es) 2011-03-17 2018-12-07 Ssi Schäfer Automation Gmbh Control y supervisión de una instalación de almacén y preparación de pedidos mediante movimiento y voz
DE202011004401U1 (de) 2011-03-17 2012-06-18 SSI Schäfer Noell GmbH Lager- und Systemtechnik Steuerung und Überwachung einer Lager- und Kommissionieranlage durch Bewegung und Sprache
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US9470778B2 (en) * 2011-03-29 2016-10-18 Microsoft Technology Licensing, Llc Learning from high quality depth measurements
EP2505948B1 (en) * 2011-03-30 2018-10-10 General Electric Technology GmbH Cryogenic CO2 separation using a refrigeration system
US9030528B2 (en) 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
US9686532B2 (en) 2011-04-15 2017-06-20 Faro Technologies, Inc. System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices
US9164173B2 (en) 2011-04-15 2015-10-20 Faro Technologies, Inc. Laser tracker that uses a fiber-optic coupler and an achromatic launch to align and collimate two wavelengths of light
US9482529B2 (en) 2011-04-15 2016-11-01 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
WO2012141868A1 (en) 2011-04-15 2012-10-18 Faro Technologies, Inc. Enhanced position detector in laser tracker
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US8760499B2 (en) * 2011-04-29 2014-06-24 Austin Russell Three-dimensional imager and projection device
US9536312B2 (en) * 2011-05-16 2017-01-03 Microsoft Corporation Depth reconstruction using plural depth capture units
EP2719160A2 (en) * 2011-06-06 2014-04-16 3Shape A/S Dual-resolution 3d scanner
US8971572B1 (en) 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
TWI478098B (zh) * 2011-08-18 2015-03-21 Univ Nat Taiwan 立體影像深度圖的校正系統及方法
FR2980292B1 (fr) 2011-09-16 2013-10-11 Prynel Procede et systeme d'acquisition et de traitement d'images pour la detection du mouvement
KR101828609B1 (ko) * 2011-09-30 2018-02-12 엘지이노텍 주식회사 영상데이터 전송장치
TWI526706B (zh) 2011-10-05 2016-03-21 原相科技股份有限公司 影像系統
CN103049933A (zh) * 2011-10-17 2013-04-17 联咏科技股份有限公司 图像处理装置与其方法
US9098908B2 (en) * 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
US8611642B2 (en) * 2011-11-17 2013-12-17 Apple Inc. Forming a steroscopic image using range map
US9041819B2 (en) 2011-11-17 2015-05-26 Apple Inc. Method for stabilizing a digital video
US9236024B2 (en) 2011-12-06 2016-01-12 Glasses.Com Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
US9225959B2 (en) * 2012-01-10 2015-12-29 Samsung Electronics Co., Ltd. Method and apparatus for recovering depth value of depth image
KR101874486B1 (ko) * 2012-01-10 2018-07-05 삼성전자주식회사 깊이 영상의 깊이 값을 복원하는 방법 및 장치
LT2618316T (lt) 2012-01-23 2018-11-12 Novomatic Ag Gestais valdomas "laimės ratas"
DE112013000727T5 (de) 2012-01-27 2014-11-06 Faro Technologies, Inc. Prüfverfahren mit Strichcode-Kennzeichnung
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US8989481B2 (en) 2012-02-13 2015-03-24 Himax Technologies Limited Stereo matching device and method for determining concave block and convex block
JP5985661B2 (ja) 2012-02-15 2016-09-06 アップル インコーポレイテッド 走査深度エンジン
WO2013148308A1 (en) * 2012-03-28 2013-10-03 Intel Corporation Systems, methods, and computer program products for low-latency warping of a depth map
EP2820838B1 (en) * 2012-05-09 2020-01-08 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
KR101913321B1 (ko) * 2012-05-10 2018-10-30 삼성전자주식회사 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치
EP2667615A1 (en) 2012-05-22 2013-11-27 ST-Ericsson SA Method and apparatus for removing distortions when projecting images on real surfaces
US9483853B2 (en) 2012-05-23 2016-11-01 Glasses.Com Inc. Systems and methods to display rendered images
US20130314401A1 (en) 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a user for a virtual try-on product
US9286715B2 (en) 2012-05-23 2016-03-15 Glasses.Com Inc. Systems and methods for adjusting a virtual try-on
US9218526B2 (en) 2012-05-24 2015-12-22 HJ Laboratories, LLC Apparatus and method to detect a paper document using one or more sensors
WO2013184998A2 (en) 2012-06-08 2013-12-12 Unitedhealth Group Incorporated Interactive sessions with participants and providers
US9111135B2 (en) 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US8934675B2 (en) 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US9286530B2 (en) 2012-07-17 2016-03-15 Cognex Corporation Handheld apparatus for quantifying component features
EP2696586A1 (en) 2012-08-06 2014-02-12 ST-Ericsson SA Safety feature for projection subsystem using laser technology
KR101966976B1 (ko) * 2012-09-03 2019-04-08 엘지이노텍 주식회사 3차원 영상처리 시스템
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
KR101691633B1 (ko) * 2012-11-01 2017-01-09 아이캠, 엘엘씨 무선 손목 컴퓨팅과 3d 영상화, 매핑, 네트워킹 및 인터페이스를 위한 제어 장치 및 방법
ES2683364T3 (es) * 2012-11-07 2018-09-26 Artec Europe S.A.R.L. Método para monitorizar dimensiones lineales de objetos tridimensionales
US9811880B2 (en) * 2012-11-09 2017-11-07 The Boeing Company Backfilling points in a point cloud
WO2014083485A1 (en) * 2012-11-29 2014-06-05 Koninklijke Philips N.V. Laser device for projecting a structured light pattern onto a scene
TWI454968B (zh) 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
US9129155B2 (en) 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US9798302B2 (en) 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
US9804576B2 (en) 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
US9393695B2 (en) 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US9134114B2 (en) * 2013-03-11 2015-09-15 Texas Instruments Incorporated Time of flight sensor binning
US9041914B2 (en) 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
DE102013009288B4 (de) * 2013-06-04 2016-02-04 Testo Ag 3D-Aufnahmevorrichtung, Verfahren zur Erstellung eines 3D-Bildes und Verfahren zur Einrichtung einer 3D-Aufnahmevorrichtung
US10075630B2 (en) 2013-07-03 2018-09-11 HJ Laboratories, LLC Providing real-time, personal services by accessing components on a mobile device
US9798388B1 (en) 2013-07-31 2017-10-24 Aquifi, Inc. Vibrotactile system to augment 3D input systems
JP2015049200A (ja) * 2013-09-03 2015-03-16 株式会社東芝 計測装置、方法及びプログラム
ITTO20130784A1 (it) * 2013-09-30 2015-03-31 Sisvel Technology Srl Method and device for edge shape enforcement for visual enhancement of depth image based rendering
CN105829829B (zh) * 2013-12-27 2019-08-23 索尼公司 图像处理装置和图像处理方法
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US11265534B2 (en) * 2014-02-08 2022-03-01 Microsoft Technology Licensing, Llc Environment-dependent active illumination for stereo matching
DE102014103010A1 (de) * 2014-03-06 2015-09-10 Skidata Ag Digitalkamera
US10349037B2 (en) * 2014-04-03 2019-07-09 Ams Sensors Singapore Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
CN103888674B (zh) * 2014-04-15 2017-08-11 聚晶半导体股份有限公司 影像撷取装置及影像撷取方法
TWI524050B (zh) * 2014-04-15 2016-03-01 聚晶半導體股份有限公司 取像裝置、影像深度產生裝置及其方法
US9395174B2 (en) 2014-06-27 2016-07-19 Faro Technologies, Inc. Determining retroreflector orientation by optimizing spatial fit
JP6454489B2 (ja) * 2014-07-10 2019-01-16 オリンパス株式会社 観察システム
CN107155341B (zh) * 2014-07-31 2020-01-10 惠普发展公司，有限责任合伙企业 三维扫描系统和框架
US9894298B1 (en) 2014-09-26 2018-02-13 Amazon Technologies, Inc. Low light image processing
US9414037B1 (en) * 2014-09-26 2016-08-09 Amazon Technologies, Inc. Low light image registration
EP3241151A1 (en) * 2014-12-29 2017-11-08 Keylemon SA An image face processing method and apparatus
EP3241349A4 (en) 2014-12-31 2018-08-15 Nokia Corporation Stereo imaging
JP2016142676A (ja) * 2015-02-04 2016-08-08 ソニー株式会社 情報処理装置と情報処理方法とプログラムおよび撮像装置
KR101954855B1 (ko) * 2015-02-25 2019-03-06 페이스북, 인크. 볼륨 내 물체의 심도 맵핑을 위한 광 패턴의 강도 변화의 사용
JP6645682B2 (ja) 2015-03-17 2020-02-14 キヤノン株式会社 距離取得装置、距離画像信号補正装置、撮像装置、距離画像量子化装置、および方法
JP6601489B2 (ja) * 2015-03-31 2019-11-06 株式会社ニコン 撮像システム、撮像装置、撮像方法、及び撮像プログラム
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US11736832B2 (en) 2015-04-20 2023-08-22 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US11002531B2 (en) 2015-04-20 2021-05-11 Samsung Electronics Co., Ltd. CMOS image sensor for RGB imaging and depth measurement with laser sheet scan
US10250833B2 (en) 2015-04-20 2019-04-02 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US10132616B2 (en) 2015-04-20 2018-11-20 Samsung Electronics Co., Ltd. CMOS image sensor for 2D imaging and depth measurement with ambient light rejection
US20160309135A1 (en) 2015-04-20 2016-10-20 Ilia Ovsiannikov Concurrent rgbz sensor and system
EP3295239B1 (en) * 2015-05-13 2021-06-30 Facebook Technologies, LLC Augmenting a depth map representation with a reflectivity map representation
US20160349918A1 (en) * 2015-05-29 2016-12-01 Intel Corporation Calibration for touch detection on projected display surfaces
US20160360185A1 (en) * 2015-06-03 2016-12-08 Empire Technology Development Llc Three-dimensional imaging sensor calibration
US9280829B1 (en) * 2015-06-25 2016-03-08 Amazon Technologies, Inc. Using linear functions to calculate depth information for scenes illuminated with structured light
US10055881B2 (en) 2015-07-14 2018-08-21 Microsoft Technology Licensing, Llc Video imaging to assess specularity
WO2017014691A1 (en) * 2015-07-17 2017-01-26 Heptagon Micro Optics Pte. Ltd. Generating a distance map based on captured images of a scene
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
JP6657034B2 (ja) * 2015-07-29 2020-03-04 ヤマハ発動機株式会社 異常画像検出装置、異常画像検出装置を備えた画像処理システムおよび画像処理システムを搭載した車両
WO2017023210A1 (en) 2015-08-06 2017-02-09 Heptagon Micro Optics Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
US10672137B2 (en) 2015-08-19 2020-06-02 Ams Sensors Singapore Pte. Ltd. Generating a disparity map having reduced over-smoothing
US20170115737A1 (en) * 2015-10-26 2017-04-27 Lenovo (Singapore) Pte. Ltd. Gesture control using depth data
KR102473735B1 (ko) * 2015-11-09 2022-12-05 삼성전자주식회사 이미징 장치의 동작 방법
US9978147B2 (en) * 2015-12-23 2018-05-22 Intel Corporation System and method for calibration of a depth camera system
US11218688B2 (en) 2016-01-04 2022-01-04 Occipital, Inc. Apparatus and methods for three-dimensional sensing
US9846924B2 (en) * 2016-03-28 2017-12-19 Dell Products L.P. Systems and methods for detection and removal of shadows in an image
US20170302910A1 (en) * 2016-04-19 2017-10-19 Motorola Mobility Llc Method and apparatus for merging depth maps in a depth camera system
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10212408B1 (en) * 2016-06-29 2019-02-19 Amazon Technologies, Inc. Depth-map augmentation techniques
US10237530B1 (en) * 2016-06-29 2019-03-19 Amazon Technologies, Inc. Depth-map augmentation techniques
US10515448B2 (en) * 2016-09-20 2019-12-24 International Business Machines Corporation Handprint analysis to predict genetically based traits
US10271033B2 (en) * 2016-10-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating depth data by converging independently-captured depth maps
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
CN111108342B (zh) * 2016-12-30 2023-08-15 辉达公司 用于高清地图创建的视觉测程法和成对对准
EP3358844A1 (en) * 2017-02-07 2018-08-08 Koninklijke Philips N.V. Method and apparatus for processing an image property map
US10284836B2 (en) * 2017-02-08 2019-05-07 Microsoft Technology Licensing, Llc Depth camera light leakage avoidance
US10445861B2 (en) * 2017-02-14 2019-10-15 Qualcomm Incorporated Refinement of structured light depth maps using RGB color data
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10554957B2 (en) * 2017-06-04 2020-02-04 Google Llc Learning-based matching for active stereo systems
US10535151B2 (en) 2017-08-22 2020-01-14 Microsoft Technology Licensing, Llc Depth map with structured and flood light
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US20190089939A1 (en) * 2017-09-18 2019-03-21 Intel Corporation Depth sensor optimization based on detected distance
WO2019079790A1 (en) 2017-10-21 2019-04-25 Eyecam, Inc ADAPTIVE GRAPHIC USER INTERFACE SYSTEM
KR102457891B1 (ko) * 2017-10-30 2022-10-25 삼성전자주식회사 이미치 처리 방법 및 장치
US10402640B1 (en) * 2017-10-31 2019-09-03 Intuit Inc. Method and system for schematizing fields in documents
US10612912B1 (en) * 2017-10-31 2020-04-07 Facebook Technologies, Llc Tileable structured light projection system
JP7136123B2 (ja) * 2017-12-12 2022-09-13 ソニーグループ株式会社 画像処理装置と画像処理方法およびプログラムと情報処理システム
CN112004645A (zh) 2017-12-19 2020-11-27 卡内基梅隆大学 智能清洁机器人
JP7179067B2 (ja) 2018-01-05 2022-11-28 ロレアル メイクアップ適用を指導するためにクライアントデバイスを利用するためのメイクアップコンパクト
WO2019136256A1 (en) 2018-01-05 2019-07-11 L'oreal Trackable cosmetic device to assist users in makeup application
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US10948596B2 (en) * 2018-01-24 2021-03-16 Sony Semiconductor Solutions Corporation Time-of-flight image sensor with distance determination
US10521926B1 (en) 2018-03-21 2019-12-31 Facebook Technologies, Llc Tileable non-planar structured light patterns for wide field-of-view depth sensing
DE102018002622A1 (de) * 2018-03-29 2019-10-02 Twinner Gmbh 3-D-Objekt-Erfassungssystem
CN110349196B (zh) * 2018-04-03 2024-03-29 联发科技股份有限公司 深度融合的方法和装置
CN108549867B (zh) * 2018-04-12 2019-12-20 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
WO2019196683A1 (zh) 2018-04-12 2019-10-17 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
WO2019205889A1 (zh) 2018-04-28 2019-10-31 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
EP3624006A4 (en) * 2018-04-28 2020-11-18 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE PROCESSING, DEVICE, COMPUTER-READABLE STORAGE MEDIA AND ELECTRONIC DEVICE
US10996335B2 (en) * 2018-05-09 2021-05-04 Microsoft Technology Licensing, Llc Phase wrapping determination for time-of-flight camera
CN108629325B (zh) * 2018-05-11 2021-06-22 北京旷视科技有限公司 物品位置的确定方法、装置及系统
US10863812B2 (en) 2018-07-18 2020-12-15 L'oreal Makeup compact with eye tracking for guidance of makeup application
WO2020024576A1 (zh) * 2018-08-01 2020-02-06 Oppo广东移动通信有限公司 摄像头校准方法和装置、电子设备、计算机可读存储介质
WO2020055619A1 (en) 2018-09-16 2020-03-19 Nephelai Research Llc Calibration of a depth sensing array using color image data
CN113396312B (zh) * 2018-10-12 2024-03-01 电力研究所有限公司 用于在光学失真介质中测量表面特性的方法
CN109544618B (zh) * 2018-10-30 2022-10-25 荣耀终端有限公司 一种获取深度信息的方法及电子设备
US20210341620A1 (en) * 2018-12-02 2021-11-04 Gentex Corporation SYSTEMS, DEVICES AND METHODS FOR MICRO-VIBRATION DATA EXTRACTION USING A TIME OF FLIGHT (ToF) IMAGING DEVICE
US10628968B1 (en) * 2018-12-05 2020-04-21 Toyota Research Institute, Inc. Systems and methods of calibrating a depth-IR image offset
US11343093B2 (en) * 2019-02-08 2022-05-24 Fisher Controls International Llc Methods and apparatus to broadcast data packets in a process control environment
KR20200126129A (ko) * 2019-04-29 2020-11-06 엘지이노텍 주식회사 카메라 모듈
US11493931B2 (en) * 2019-05-14 2022-11-08 Lg Electronics Inc. Method of extracting feature from image using laser pattern and device and robot of extracting feature thereof
KR20210069404A (ko) 2019-12-03 2021-06-11 삼성전자주식회사 라이브니스 검사 방법 및 라이브니스 검사 장치
US11443447B2 (en) 2020-04-17 2022-09-13 Samsung Electronics Co., Ltd. Three-dimensional camera system
CN111768450B (zh) * 2020-06-10 2023-10-13 合肥的卢深视科技有限公司 基于散斑图的结构光相机行偏差的自动检测方法和装置
CN113763450B (zh) * 2021-09-09 2022-05-31 合肥的卢深视科技有限公司 深度图的获取方法、装置、电子设备及存储介质
JP2023105766A (ja) * 2022-01-19 2023-07-31 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2023195911A1 (en) * 2022-04-05 2023-10-12 Ams-Osram Asia Pacific Pte. Ltd. Calibration of depth map generating system
EP4332499A1 (en) 2022-08-30 2024-03-06 Canon Kabushiki Kaisha Three-dimensional measuring apparatus, three-dimensional measuring method, storage medium, system, and method for manufacturing an article
EP4332902A1 (de) 2022-09-02 2024-03-06 Sick Ag Lokalisierung eines optischen markers
US12003691B1 (en) * 2023-05-02 2024-06-04 Microsoft Technology Licensing, Llc Camera focus adjustment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040105580A1 (en) * 2002-11-22 2004-06-03 Hager Gregory D. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
TW200929064A (en) * 2007-12-28 2009-07-01 Ind Tech Res Inst Methof for producing an image with depth by using 2D image

Family Cites Families (165)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2951207A1 (de) 1978-12-26 1980-07-10 Canon Kk Verfahren zur optischen herstellung einer streuplatte
US4542376A (en) 1983-11-03 1985-09-17 Burroughs Corporation System for electronically displaying portions of several different images on a CRT screen through respective prioritized viewports
JPH0762869B2 (ja) 1986-03-07 1995-07-05 日本電信電話株式会社 パタ−ン投影による位置形状計測方法
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
JPH0615968B2 (ja) 1986-08-11 1994-03-02 伍良 松本 立体形状測定装置
JPH01240863A (ja) 1988-03-23 1989-09-26 Kowa Co スペックルパターン発生方法及び装置
JPH0340591A (ja) 1989-07-06 1991-02-21 Katsuji Okino 立体像の撮影・表示方法及び装置
JPH0743683Y2 (ja) 1989-07-28 1995-10-09 日本電気株式会社 光ファイバの余長処理構造
US5075562A (en) 1990-09-20 1991-12-24 Eastman Kodak Company Method and apparatus for absolute Moire distance measurements using a grating printed on or attached to a surface
GB9116151D0 (en) 1991-07-26 1991-09-11 Isis Innovation Three-dimensional vision system
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
DE69226512T2 (de) 1992-03-12 1999-04-22 International Business Machines Corp., Armonk, N.Y. Verfahren zur Bildverarbeitung
US5636025A (en) 1992-04-23 1997-06-03 Medar, Inc. System for optically measuring the surface contour of a part using more fringe techniques
JP3353365B2 (ja) 1993-03-18 2002-12-03 静岡大学長 変位および変位速度測定装置
US5856871A (en) 1993-08-18 1999-01-05 Applied Spectral Imaging Ltd. Film thickness mapping using interferometric spectral imaging
US6041140A (en) 1994-10-04 2000-03-21 Synthonics, Incorporated Apparatus for interactive image correlation for three dimensional image production
JPH08186845A (ja) 1994-12-27 1996-07-16 Nobuaki Yanagisawa 焦点距離制御式立体テレビ
US5630043A (en) 1995-05-11 1997-05-13 Cirrus Logic, Inc. Animated texture map apparatus and method for 3-D image displays
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
EP0839314A1 (en) 1995-07-18 1998-05-06 The Budd Company Moire interferometry system and method with extended imaging depth
JPH09261535A (ja) 1996-03-25 1997-10-03 Sharp Corp 撮像装置
DE19638727A1 (de) 1996-09-12 1998-03-19 Ruedger Dipl Ing Rubbert Verfahren zur Erhöhung der Signifikanz der dreidimensionalen Vermessung von Objekten
JP3402138B2 (ja) 1996-09-27 2003-04-28 株式会社日立製作所 液晶表示装置
IL119341A (en) 1996-10-02 1999-09-22 Univ Ramot Phase-only filter for generating an arbitrary illumination pattern
IL119831A (en) 1996-12-15 2002-12-01 Cognitens Ltd A device and method for three-dimensional reconstruction of the surface geometry of an object
EP0946856A1 (en) 1996-12-20 1999-10-06 Pacific Title and Mirage, Inc. Apparatus and method for rapid 3d image parametrization
US5838428A (en) 1997-02-28 1998-11-17 United States Of America As Represented By The Secretary Of The Navy System and method for high resolution range imaging with split light source and pattern mask
JPH10327433A (ja) 1997-05-23 1998-12-08 Minolta Co Ltd 合成画像の表示装置
US6008813A (en) 1997-08-01 1999-12-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Real-time PC based volume rendering system
DE19736169A1 (de) 1997-08-20 1999-04-15 Fhu Hochschule Fuer Technik Verfahren zur Verformungs- oder Schwingungsmessung mittels elektronischer Speckle-Pattern-Interferometrie
US6101269A (en) 1997-12-19 2000-08-08 Lifef/X Networks, Inc. Apparatus and method for rapid 3D image parametrization
DE19815201A1 (de) 1998-04-04 1999-10-07 Link Johann & Ernst Gmbh & Co Meßanordnung zur Erfassung von Dimensionen von Prüflingen, vorzugsweise von Hohlkörpern, insbesondere von Bohrungen in Werkstücken, sowie Verfahren zur Messung solcher Dimensionen
US6731391B1 (en) 1998-05-13 2004-05-04 The Research Foundation Of State University Of New York Shadow moire surface measurement using Talbot effect
DE19821611A1 (de) 1998-05-14 1999-11-18 Syrinx Med Tech Gmbh Verfahren zur Erfassung der räumlichen Struktur einer dreidimensionalen Oberfläche
GB2352901A (en) 1999-05-12 2001-02-07 Tricorder Technology Plc Rendering three dimensional representations utilising projected light patterns
US6377700B1 (en) * 1998-06-30 2002-04-23 Intel Corporation Method and apparatus for capturing stereoscopic images using image sensors
JP3678022B2 (ja) 1998-10-23 2005-08-03 コニカミノルタセンシング株式会社 ３次元入力装置
US6084712A (en) 1998-11-03 2000-07-04 Dynamic Measurement And Inspection,Llc Three dimensional imaging using a refractive optic design
US8965898B2 (en) 1998-11-20 2015-02-24 Intheplay, Inc. Optimizations for live event, real-time, 3D object tracking
US6759646B1 (en) 1998-11-24 2004-07-06 Intel Corporation Color interpolation for a four color mosaic pattern
JP2001166810A (ja) 1999-02-19 2001-06-22 Sanyo Electric Co Ltd 立体モデル提供装置及び方法
US6259561B1 (en) 1999-03-26 2001-07-10 The University Of Rochester Optical system for diffusing light
US6751344B1 (en) 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
US6512385B1 (en) 1999-07-26 2003-01-28 Paul Pfaff Method for testing a device under test including the interference of two beams
US6268923B1 (en) 1999-10-07 2001-07-31 Integral Vision, Inc. Optical method and system for measuring three-dimensional surface topography of an object having a surface contour
JP2001141430A (ja) 1999-11-16 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
LT4842B (lt) 1999-12-10 2001-09-25 Uab "Geola" Hologramų spausdinimo būdas ir įrenginys
US6301059B1 (en) 2000-01-07 2001-10-09 Lucent Technologies Inc. Astigmatic compensation for an anamorphic optical system
US6700669B1 (en) 2000-01-28 2004-03-02 Zheng J. Geng Method and system for three-dimensional imaging using light pattern having multiple sub-patterns
US6937348B2 (en) 2000-01-28 2005-08-30 Genex Technologies, Inc. Method and apparatus for generating structural pattern illumination
JP4560869B2 (ja) 2000-02-07 2010-10-13 ソニー株式会社 メガネなし表示システムおよびバックライトシステム
JP4265076B2 (ja) 2000-03-31 2009-05-20 沖電気工業株式会社 多画角カメラ、及び自動撮影装置
KR100355718B1 (ko) 2000-06-10 2002-10-11 주식회사 메디슨 스티어링이 가능한 프로브를 사용한 3차원 초음파 영상시스템 및 영상 형성 방법
US6810135B1 (en) 2000-06-29 2004-10-26 Trw Inc. Optimized human presence detection through elimination of background interference
TW527518B (en) 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6686921B1 (en) 2000-08-01 2004-02-03 International Business Machines Corporation Method and apparatus for acquiring a set of consistent image maps to represent the color of the surface of an object
US6754370B1 (en) 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
US6639684B1 (en) 2000-09-13 2003-10-28 Nextengine, Inc. Digitizer using intensity gradient to image features of three-dimensional objects
US6813440B1 (en) 2000-10-10 2004-11-02 The Hong Kong Polytechnic University Body scanner
JP3689720B2 (ja) 2000-10-16 2005-08-31 住友大阪セメント株式会社 三次元形状測定装置
JP2002152776A (ja) 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 距離画像符号化方法及び装置、並びに、距離画像復号化方法及び装置
JP2002191058A (ja) 2000-12-20 2002-07-05 Olympus Optical Co Ltd ３次元画像取得装置および３次元画像取得方法
JP2002213931A (ja) 2001-01-17 2002-07-31 Fuji Xerox Co Ltd ３次元形状計測装置および３次元形状計測方法
US6841780B2 (en) 2001-01-19 2005-01-11 Honeywell International Inc. Method and apparatus for detecting objects
JP2002365023A (ja) 2001-06-08 2002-12-18 Koji Okamoto 液面計測装置及び方法
WO2003007053A2 (en) 2001-07-13 2003-01-23 Mems Optical, Inc. Autosteroscopic display with rotated microlens-array and method of displaying multidimensional images, especially color images
US6741251B2 (en) 2001-08-16 2004-05-25 Hewlett-Packard Development Company, L.P. Method and apparatus for varying focus in a scene
AU2003217587A1 (en) 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7369685B2 (en) 2002-04-05 2008-05-06 Identix Corporation Vision-based operating method and system
US7811825B2 (en) 2002-04-19 2010-10-12 University Of Washington System and method for processing specimens and images for optical tomography
WO2003105289A2 (en) 2002-06-07 2003-12-18 University Of North Carolina At Chapel Hill Methods and systems for laser based real-time structured light depth extraction
US7006709B2 (en) 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
US20040001145A1 (en) 2002-06-27 2004-01-01 Abbate Jeffrey A. Method and apparatus for multifield image generation and processing
US6859326B2 (en) 2002-09-20 2005-02-22 Corning Incorporated Random microlens array for optical beam shaping and homogenization
KR100624405B1 (ko) 2002-10-01 2006-09-18 삼성전자주식회사 광부품 실장용 기판 및 그 제조방법
US7194105B2 (en) 2002-10-16 2007-03-20 Hersch Roger D Authentication of documents and articles by moiré patterns
AU2003287803A1 (en) 2002-11-21 2004-06-15 Solvision Fast 3d height measurement method and system
US20040174770A1 (en) 2002-11-27 2004-09-09 Rees Frank L. Gauss-Rees parametric ultrawideband system
US7639419B2 (en) 2003-02-21 2009-12-29 Kla-Tencor Technologies, Inc. Inspection system using small catadioptric objective
US7127101B2 (en) 2003-03-10 2006-10-24 Cranul Technologies, Inc. Automatic selection of cranial remodeling device trim lines
US20040213463A1 (en) 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
US7539340B2 (en) 2003-04-25 2009-05-26 Topcon Corporation Apparatus and method for three-dimensional coordinate measurement
ATE404952T1 (de) 2003-07-24 2008-08-15 Cognitens Ltd Verfahren und system zur dreidimensionalen oberflächenrekonstruktion eines objekts
CA2435935A1 (en) * 2003-07-24 2005-01-24 Guylain Lemelin Optical 3d digitizer with enlarged non-ambiguity zone
US20050111705A1 (en) 2003-08-26 2005-05-26 Roman Waupotitsch Passive stereo sensing for 3D facial shape biometrics
US6934018B2 (en) 2003-09-10 2005-08-23 Shearographics, Llc Tire inspection apparatus and method
US7187437B2 (en) 2003-09-10 2007-03-06 Shearographics, Llc Plurality of light sources for inspection apparatus and method
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7112774B2 (en) 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
US20050135555A1 (en) 2003-12-23 2005-06-23 Claus Bernhard Erich H. Method and system for simultaneously viewing rendered volumes
US7250949B2 (en) 2003-12-23 2007-07-31 General Electric Company Method and system for visualizing three-dimensional data
US8134637B2 (en) * 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US20070165243A1 (en) 2004-02-09 2007-07-19 Cheol-Gwon Kang Device for measuring 3d shape using irregular pattern and method for the same
US7427981B2 (en) 2004-04-15 2008-09-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical device that measures distance between the device and a surface
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
CN101031837B (zh) 2004-07-23 2011-06-15 通用电气医疗集团尼亚加拉有限公司 用于荧光共焦显微镜检查的方法和设备
US20060017656A1 (en) 2004-07-26 2006-01-26 Visteon Global Technologies, Inc. Image intensity control in overland night vision systems
WO2006011153A2 (en) 2004-07-30 2006-02-02 Extreme Reality Ltd. A system and method for 3d space-dimension based image processing
US7120228B2 (en) 2004-09-21 2006-10-10 Jordan Valley Applied Radiation Ltd. Combined X-ray reflectometer and diffractometer
JP2006128818A (ja) 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
IL165212A (en) 2004-11-15 2012-05-31 Elbit Systems Electro Optics Elop Ltd Device for scanning light
US7076024B2 (en) 2004-12-01 2006-07-11 Jordan Valley Applied Radiation, Ltd. X-ray apparatus with dual monochromators
JP2008537190A (ja) * 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
US20060156756A1 (en) 2005-01-20 2006-07-20 Becke Paul E Phase change and insulating properties container and method of use
US20060221218A1 (en) 2005-04-05 2006-10-05 Doron Adler Image sensor with improved color filter
EP1875162B1 (en) 2005-04-06 2014-06-11 Dimensional Photonics International, Inc. Determining positional error of an optical component using structured light patterns
US7560679B1 (en) 2005-05-10 2009-07-14 Siimpel, Inc. 3D camera
US7609875B2 (en) 2005-05-27 2009-10-27 Orametrix, Inc. Scanner system and method for mapping surface of three-dimensional object
US20110096182A1 (en) 2009-10-25 2011-04-28 Prime Sense Ltd Error Compensation in Three-Dimensional Mapping
EP1934945A4 (en) 2005-10-11 2016-01-20 Apple Inc METHOD AND SYSTEM FOR RECONSTRUCTING AN OBJECT
US8018579B1 (en) 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
EP1949339A2 (en) * 2005-11-04 2008-07-30 Clean Earth Technologies, Llc Tracking using an elastic cluster of trackers
US7856125B2 (en) * 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
US7433024B2 (en) 2006-02-27 2008-10-07 Prime Sense Ltd. Range mapping using speckle decorrelation
KR101408959B1 (ko) 2006-03-14 2014-07-02 프라임센스 엘티디. 삼차원 감지를 위한 깊이 가변 광 필드
EP1994503B1 (en) 2006-03-14 2017-07-05 Apple Inc. Depth-varying light fields for three dimensional sensing
JP5174684B2 (ja) 2006-03-14 2013-04-03 プライムセンス リミテッド スペックル・パターンを用いた三次元検出
US7869649B2 (en) 2006-05-08 2011-01-11 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
US8488895B2 (en) 2006-05-31 2013-07-16 Indiana University Research And Technology Corp. Laser scanning digital camera with pupil periphery illumination and potential for multiply scattered light imaging
US8139142B2 (en) * 2006-06-01 2012-03-20 Microsoft Corporation Video manipulation of red, green, blue, distance (RGB-Z) data including segmentation, up-sampling, and background substitution techniques
EP2584494A3 (en) * 2006-08-03 2015-02-11 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
US7737394B2 (en) 2006-08-31 2010-06-15 Micron Technology, Inc. Ambient infrared detection in solid state sensors
KR20090052889A (ko) * 2006-09-04 2009-05-26 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지들로부터 깊이 맵을 결정하기 위한 방법 및 깊이 맵을 결정하기 위한 디바이스
US7256899B1 (en) 2006-10-04 2007-08-14 Ivan Faul Wireless methods and systems for three-dimensional non-contact shape sensing
US8542421B2 (en) 2006-11-17 2013-09-24 Celloptic, Inc. System, apparatus and method for extracting three-dimensional information of an object from received electromagnetic radiation
US8090194B2 (en) * 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
US7990545B2 (en) 2006-12-27 2011-08-02 Cambridge Research & Instrumentation, Inc. Surface measurement of in-vivo subjects using spot projector
US7840031B2 (en) 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
US8350847B2 (en) 2007-01-21 2013-01-08 Primesense Ltd Depth mapping using multi-beam illumination
US20080212835A1 (en) 2007-03-01 2008-09-04 Amon Tavor Object Tracking by 3-Dimensional Modeling
US8150142B2 (en) 2007-04-02 2012-04-03 Prime Sense Ltd. Depth mapping using projected patterns
US8493496B2 (en) 2007-04-02 2013-07-23 Primesense Ltd. Depth mapping using projected patterns
US8488868B2 (en) 2007-04-03 2013-07-16 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
CA2684603A1 (en) 2007-04-23 2008-11-06 California Institute Of Technology An aperture system with spatially-biased apertures for 3d defocusing-based imaging
US7835561B2 (en) 2007-05-18 2010-11-16 Visiongate, Inc. Method for image processing and reconstruction of images for optical tomography
US8494252B2 (en) 2007-06-19 2013-07-23 Primesense Ltd. Depth mapping using optical elements having non-uniform focal characteristics
WO2009008864A1 (en) 2007-07-12 2009-01-15 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
JP4412362B2 (ja) 2007-07-18 2010-02-10 船井電機株式会社 複眼撮像装置
US20090060307A1 (en) * 2007-08-27 2009-03-05 Siemens Medical Solutions Usa, Inc. Tensor Voting System and Method
DE102007045332B4 (de) 2007-09-17 2019-01-17 Seereal Technologies S.A. Holographisches Display zum Rekonstruieren einer Szene
KR100858034B1 (ko) 2007-10-18 2008-09-10 (주)실리콘화일 단일 칩 활력 이미지 센서
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8176497B2 (en) 2008-01-16 2012-05-08 Dell Products, Lp Method to dynamically provision additional computer resources to handle peak database workloads
CN101984767B (zh) 2008-01-21 2014-01-29 普莱姆森斯有限公司 用于使零级减少的光学设计
US8384997B2 (en) 2008-01-21 2013-02-26 Primesense Ltd Optical pattern projection
KR101420684B1 (ko) * 2008-02-13 2014-07-21 삼성전자주식회사 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치
DE102008011350A1 (de) 2008-02-27 2009-09-03 Loeffler Technology Gmbh Vorrichtung und Verfahren zur Echtzeiterfassung von elektromagnetischer THz-Strahlung
US8121351B2 (en) * 2008-03-09 2012-02-21 Microsoft International Holdings B.V. Identification of objects in a 3D video using non/over reflective clothing
US8035806B2 (en) 2008-05-13 2011-10-11 Samsung Electronics Co., Ltd. Distance measuring sensor including double transfer gate and three dimensional color image sensor including the distance measuring sensor
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US8462207B2 (en) 2009-02-12 2013-06-11 Primesense Ltd. Depth ranging with Moiré patterns
US8786682B2 (en) 2009-03-05 2014-07-22 Primesense Ltd. Reference image techniques for three-dimensional sensing
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8503720B2 (en) * 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8744121B2 (en) * 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8194149B2 (en) * 2009-06-30 2012-06-05 Cisco Technology, Inc. Infrared-aided depth estimation
EP2275990B1 (de) * 2009-07-06 2012-09-26 Sick Ag 3D-Sensor
US8773514B2 (en) 2009-08-27 2014-07-08 California Institute Of Technology Accurate 3D object reconstruction using a handheld device with a projected light pattern
US8830227B2 (en) 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
US8320621B2 (en) * 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US8982182B2 (en) 2010-03-01 2015-03-17 Apple Inc. Non-uniform spatial resource allocation for depth mapping
US8330804B2 (en) 2010-05-12 2012-12-11 Microsoft Corporation Scanned-beam depth mapping to 2D image
US8654152B2 (en) 2010-06-21 2014-02-18 Microsoft Corporation Compartmentalizing focus area within field of view

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040105580A1 (en) * 2002-11-22 2004-06-03 Hager Gregory D. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns
TW200929064A (en) * 2007-12-28 2009-07-01 Ind Tech Res Inst Methof for producing an image with depth by using 2D image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHU J., WANG L., YANG R., DAVIS J. : Fusion of time-of-flight depth and stereo for high accuracy depth maps.Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR) (2008). *

Also Published As

Publication number Publication date
US20110025827A1 (en) 2011-02-03
US9582889B2 (en) 2017-02-28
US10152801B2 (en) 2018-12-11
US11100661B2 (en) 2021-08-24
WO2011013079A1 (en) 2011-02-03
US20200219277A1 (en) 2020-07-09
US20170011524A1 (en) 2017-01-12
US20190087969A1 (en) 2019-03-21
TW201112161A (en) 2011-04-01
US10636155B2 (en) 2020-04-28

Similar Documents

Publication Publication Date Title
US11100661B2 (en) Multi-modal depth mapping
JP6855587B2 (ja) 視点から距離情報を取得するための装置及び方法
Or-El et al. Rgbd-fusion: Real-time high precision depth recovery
US11126016B2 (en) Method and device for determining parameters for spectacle fitting
US9392262B2 (en) System and method for 3D reconstruction using multiple multi-channel cameras
US10387724B2 (en) Iris recognition via plenoptic imaging
Jordt-Sedlazeck et al. Refractive calibration of underwater cameras
US7430312B2 (en) Creating 3D images of objects by illuminating with infrared patterns
US8170297B2 (en) Face authentication system and face authentication method
CN109377551B (zh) 一种三维人脸重建方法、装置及其存储介质
CN109716348B (zh) 独立地处理多个所关注的区域
EP2104365A1 (en) Method and apparatus for rapid three-dimensional restoration
Cao et al. Sparse photometric 3D face reconstruction guided by morphable models
KR102424135B1 (ko) 2개의 카메라로부터의 곡선의 세트의 구조형 광 매칭
CN107203743B (zh) 一种人脸深度跟踪装置及实现方法
US20210256729A1 (en) Methods and systems for determining calibration quality metrics for a multicamera imaging system
KR101021027B1 (ko) 피부 주름 평가를 위한 입체영상 측정 시스템 및 방법
Liao et al. Light fall-off stereo
US10096113B2 (en) Method for designing a passive single-channel imager capable of estimating depth of field
Furferi et al. A RGB-D based instant body-scanning solution for compact box installation
CN118105060A (zh) 根据阴影提供形状的测量系统
JP6244960B2 (ja) 物体認識装置、物体認識方法及び物体認識プログラム
Li et al. Two-phase approach—Calibration and iris contour estimation—For gaze tracking of head-mounted eye camera
CN110505393A (zh) 影像处理装置与方法