TW202002626A - 結構光成像系統及結構光成像系統掃描場景的方法 - Google Patents

結構光成像系統及結構光成像系統掃描場景的方法 Download PDF

Info

Publication number
TW202002626A
TW202002626A TW108112260A TW108112260A TW202002626A TW 202002626 A TW202002626 A TW 202002626A TW 108112260 A TW108112260 A TW 108112260A TW 108112260 A TW108112260 A TW 108112260A TW 202002626 A TW202002626 A TW 202002626A
Authority
TW
Taiwan
Prior art keywords
sub
structured light
predetermined number
scene
area
Prior art date
Application number
TW108112260A
Other languages
English (en)
Inventor
一兵 米歇爾 王
韓承勳
立龍 石
羅炳勳
伊利亞 奥夫相尼科夫
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW202002626A publication Critical patent/TW202002626A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/426—Scanning radar, e.g. 3D radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

一種結構光成像系統包括投射器、影像感測器及控制器。投射器將結構光圖案投射至場景的選定片區上，其中場景的選定片區在第一方向上包括第一預定尺寸且在第二方向上包括第二預定尺寸，第二方向與第一方向實質上正交。影像感測器掃描場景的選定片區，並產生與選定片區的至少一個區中的每一區對應的輸出。影像感測器與投射器以對極方式同步。控制器耦合至影像感測器，並且偵測物體是否位於每一所掃描區內且控制投射器朝向場景的選定片區中尚未被偵測到物體的區投射結構光圖案第一多次。

Description

3D結構光用的高感度低電力相機系統
[相關申請案的交叉參考]本專利申請案依據35 U.S.C.§ 119(e)主張2018年5月10日提出申請的美國臨時專利申請案第62/669,931號的優先權，所述美國臨時專利申請案的揭露內容全文併入本案供參考。
本文中所揭露的標的是有關於用於結構光系統的系統及方法，且更具體而言是有關於用於具有高感度的低電力結構光系統的系統及方法。
在高環境光條件下，三維（three-dimensional，3D）結構光相機需要高動態範圍來偵測近於約四米的物體，同時亦能夠偵測較遠處的物體。所述高環境光條件對於短程物體而言可使相機的感測器的畫素飽和，而對於較遠程物體而言亦會顯著地減小訊雜比（signal-to-noise ratio，SNR）。
實例性實施例提供一種結構光成像系統，所述結構光成像系統可包括投射器、影像感測器及控制器。所述投射器可將結構光圖案投射至場景的選定片區上，所述場景包括一個或多個物體，其中所述場景的所述選定片區在第一方向上可包括第一預定尺寸且在第二方向上可包括第二預定尺寸，所述第二方向與所述第一方向實質上正交。所述影像感測器可掃描所述場景的所述選定片區，並可產生與所述選定片區中的區對應的輸出，其中所述影像感測器與所述投射器可以對極方式同步。所述控制器可耦合至所述影像感測器，且可偵測物體是否位於所掃描的所述區內，且可在已在所掃描的所述區中偵測到所述物體的情況下，控制所述投射器遠離所掃描的所述區而朝向所述場景的所述選定片區的其他區投射所述結構光圖案第一多次。在一個實施例中，所述控制器可進一步基於所掃描的所述區中黑色畫素與白色畫素之間的強度差來確定所偵測物體的反射率。在另一實施例中，所述選定片區在所述第一方向上的所述第一預定尺寸可大於所述選定片區在所述第二方向上的所述第二預定尺寸，所述控制器可進一步控制所述投射器按照選定次序朝向第一預定數目個片區投射所述結構光圖案，所述影像感測器可按照所述選定次序掃描所述第一預定數目個片區，且所述選定次序可以是隨機次序。
另一實例性實施例提供一種結構光成像系統，所述結構光成像系統可包括投射器、影像感測器及控制器。所述投射器可將結構光圖案投射至場景的選定片區上，所述場景包括一個或多個物體，其中所述場景的所述選定片區在第一方向上可包括第一預定尺寸且在第二方向上可包括第二預定尺寸，所述第二方向與所述第一方向實質上正交，且其中所述選定片區在所述第一方向上的所述第一預定尺寸可大於所述選定片區在所述第二方向上的所述第二預定尺寸。所述影像感測器可掃描所述場景的所述選定片區，並可產生與所述選定片區中的區對應的輸出，其中所述影像感測器與所述投射器可以對極方式同步。所述控制器可耦合至所述影像感測器，且可偵測物體是否位於所掃描的所述區中，且可在已在所掃描的所述區中偵測到物體的情況下，控制所述投射器遠離所掃描的所述區而朝向所述場景的所述選定片區的其他區投射所述結構光圖案第一多次。在一個實施例中，所述控制器可進一步控制所述投射器按照選定次序朝向第一預定數目個片區投射所述結構光圖案，所述影像感測器可按照所述選定次序掃描所述第一預定數目個片區，且所述選定次序可以是隨機次序。
又一實例性實施例提供一種結構光成像系統掃描場景的方法，所述方法可包括：自投射器將結構光圖案投射至場景的選定片區上，所述場景包括一個或多個物體，所述場景的所述選定片區在第一方向上包括第一預定尺寸且在第二方向上包括第二預定尺寸，所述第二方向與所述第一方向實質上正交；使用影像感測器來掃描所述場景的所述選定片區，所述影像感測器與所述投射器以對極方式同步；產生與所述選定片區中的區對應的輸出；偵測物體是否位於所掃描的所述區內；以及在已在所掃描的所述區中偵測到物體的情況下，使用控制器來控制所述投射器遠離所掃描的所述區而朝向所述場景的所述選定片區的其他區投射所述結構光圖案第一多次。在一個實施例中，所述結構光圖案可包括含多個子圖案的列，所述列在所述第一方向上延伸，其中每一子圖案可鄰近於至少一個其他子圖案，每一子圖案彼此可皆不同，每一子圖案在子列中可包括第一預定數目個區且在子行中可包括第二預定數目個區，其中所述第一預定數目及所述第二預定數目可為整數，每一區可具有實質上相同的尺寸，每一子列可在所述第一方向上延伸且每一子行可在第二方向上延伸，所述第二方向與所述第一方向實質上正交。在一個實施例中，所述影像感測器可包括多個全域快門陣列，所述多個全域快門陣列中的一個全域快門陣列對應於對極掃描線，且其中所述影像感測器更可以隨機快門模式及滾動快門模式中的一者運作。在一個實施例中，所述投射器可遠離所掃描的所述區投射所述結構光圖案所述第一多次，以偵測較在所掃描的所述區中偵測到的所述物體遠的物體。在又一實施例中，所述方法可更包括：在所述控制器處基於所掃描的所述區中黑色畫素與白色畫素之間的強度差來確定在所掃描的所述區中偵測到的所述物體的反射率。
在以下實施方式中，陳述諸多具體細節以提供對本發明的透徹理解。然而，熟習此項技術者應理解，可在不存在該些具體細節的情況下實踐所揭露的態樣。在其他例子中，未詳細地闡述眾所周知的方法、過程、組件及電路以免模糊本文中所揭露的標的。
本說明書通篇提及「一個實施例」或「實施例」意指，本文中所揭露的至少一個實施例中可包含結合所述實施例闡述的特定的特徵、結構或特性。因此，本說明書通篇各處出現的片語「在一個實施例中」或「在實施例中」或「根據一個實施例」（或具有類似含義的其他片語）可能未必全部皆指代同一實施例。此外，可在一個或多個實施例中以任何適合的方式來組合所述特定的特徵、結構或特性。就此而言，本文中所使用的詞語「示例性」意指「用作實例、例子或說明」。不應將本文中闡述為「示例性」的任何實施例解釋為必定較其他實施例更佳或優於其他實施例。此外，根據本文中的論述的上下文，單數用語可包括對應的複數形式，且複數用語可包括對應的單數形式。更應注意，本文中所示及所論述的各個圖（包括組件圖）僅是出於說明目的，並不按比例繪製。類似地，僅出於說明目的示出各種波形及時序圖。舉例而言，為清晰起見，可相對於其他元件而放大一些元件的尺寸。此外，已在適當情況下在各個圖當中重複使用參考編號以標示對應元件及/或相似元件。
本文中所使用的用語僅是出於闡述特定的示例性實施例的目的，並不旨在限制所主張標的。本文中所使用的單數形式「一（a/an）」及「所述」亦旨在包含複數形式，除非上下文另有明確標示。更應理解，本說明書中所使用的用語「包括（comprises及/或comprising）」規定存在所述的特徵、整數、步驟、操作、元件及/或組件，但並不排除存在或附加一個或多個其他的特徵、整數、步驟、操作、元件、組件及/或其群組。本文中所使用的用語「第一」、「第二」等用作名詞前的標簽，並不暗示任何類型的排序（例如，空間排序、時間排序、邏輯排序等），除非明確地如此定義。此外，可跨越兩個或更多個圖使用相同的參考編號來指代具有相同或類似功能性的部分、組件、區塊、電路、單元或模組。然而，此種使用僅是為說明簡潔及論述簡單起見；並不暗示該些組件或單元的構造或架構細節跨越所有實施例皆相同，亦不暗示該些通常提及的部分/模組是實施本文中所揭露的特定實施例的教示的唯一方式。
除非另有定義，否則本文中所使用的所有用語（包括技術用語及科學用語）皆具有與熟習本標的所屬技術的人員的通常理解相同的意義。更應理解，用語（諸如，常用詞典中所定義的用語）應被解讀為具有與其在相關技術背景中的意義相同的意義，且不應在理想化或過於正式的意義上加以解讀，除非本文中清楚地定義。
本文中所揭露的實施例提供結構光3D系統，所述結構光3D系統可在戶外用於中程應用，且可適合用於例如智慧型電話、飛行器及擴增實境/虛擬實境（altered reality/virtual reality，AR/VR）裝置上。
本文中所揭露的一個實施例提供一種可包括投射器/掃描儀的結構光成像系統，所述投射器/掃描儀可受控制而逐片區地（slice-by-slice）對場景進行選擇性投射/掃描。在一個實施例中，可控制投射器/掃描儀的選定次序可以是隨機次序。投射器/掃描儀可使用具有相對高的峰值光功率及相對短的脈衝持續時間的脈衝。可使影像感測器與投射器/掃描儀同步，以使用具有與投射器的對極面對應的全域快門排列的子畫素陣列來拍攝影像，藉此拒斥可導致深度誤差的多路徑反射，藉此避免使光學感測器飽和，同時亦提供高SNR。可基於每一片區內物體的所偵測距離及所偵測反射率來確定所述片區的掃描重複情況。另一選擇為，可基於每一對極面內物體的所偵測距離及所偵測反射率來確定所述對極面的掃描重複情況。在已於同一片區或平面上偵測到物體之後，可將所投射的光朝向片區或平面的其他部分重新引導。因此，進行中程3D偵測所需的光功率可較使用典型的互補金屬氧化物半導體（Complementary Metal Oxide Semiconductor Transistor，CMOS）影像感測器（CMOS Image Sensor，CIS）的傳統方法小兩個量級。
在一個實施例中，影像感測器可以是轉換增益高及讀出快速的影像感測器，且可與光投射器/掃描儀一起使用，從而提供對極面成像技術來克服高環境光條件。典型CIS並不具有足夠高的轉換增益來偵測可自在近程處及在較長距離處的物體反射的每一光電子。可具有2D成像所需的小畫素間距的典型CIS通常包括不具有足以偵測所有路程處的物體的高動態範圍的全井（full well），而具有大畫素間距及全域快門的典型CIS不具有足夠大的空間解析度來實現用於3D成像的足夠細微的像差解析度。在替代實施例中，本文中所揭露系統的影像感測器可以是特殊的CIS，其具有小畫素間距、高感度、低全井容量及快速讀出時間。
本文中所揭露的另一實施例是有關於一種使用較典型技術小的光功率來產生深度圖資訊的方法。可使用具有高峰值光功率、使用短持續時間脈衝的投射器來投射結構光圖案。可將感測器（所述感測器的每一子陣列皆具有全域快門及短的積分時間）控制成與投射器對極同步，以顯著地抑制強環境光條件，且減小投射器所使用的平均光功率。靠近相機的物體可因較細微的像差而具有較大的深度解析度，所述較細微的像差可由影像感測器的小畫素間距形成。若偵測到靠近影像感測器的物體，則將所投射的光重新引導至場景的其他區域以偵測較遠處的任何物體。亦可基於已自物體反射的光減去環境光來確定物體的反射率。
圖1繪示根據本文中所揭露的標的結構光成像系統100的實例性實施例的方塊圖。結構光成像系統100可包括投射器101、相機102及控制器或處理裝置103。在運作中，控制器103將參考光圖案104發送至投射器101，且投射器101將參考光圖案104投射至場景上，所述場景在圖1中由線105表示。相機102拍攝具有所投射的參考光圖案104的場景作為影像106。影像106被傳輸至控制器103，且控制器103基於拍攝於影像106中的參考光圖案與參考光圖案104的像差來產生深度圖107。深度圖107包括與影像106的片塊對應的估計性深度資訊。
在一個實施例中，控制器103可控制投射器101與相機102以對極方式同步。另外，投射器101與相機102可形成元光子（metaphotonics）投射器/掃描儀系統，所述系統可用於使用高峰值功率、短持續時間光脈衝來以對極方式逐條線地（line–by-line）照射場景105。
控制器103可以是經由軟體指令程式化的微處理器或個人電腦、專用積體電路或這兩者的組合。在一個實施例中，控制器103所提供的處理可完全經由能夠實施處理操作的軟體來實施，經由被圖形處理單元（graphics processing unit，GPU）、多核心系統或被專用硬體加速的軟體來實施。硬體配置及軟體配置兩者皆可提供不同程度的並行性。結構光成像系統100的一個實施方案可以是手持裝置的一部分，所述手持裝置例如是但不限於智慧型電話、手機或數位相機。
在一個實施例中，可在可見光區或紅外線光譜中對投射器101與相機102進行匹配，所述紅外線光譜對人眼不可見。所投射的參考光圖案可處於投射器101及相機102兩者的光譜範圍內。另外，投射器101的解析度與相機102的解析度可不同。舉例而言，投射器101可以視訊圖形陣列（video graphics array，VGA）解析度（例如，640x480個畫素）來投射參考光圖案104，且相機102可具有更高的解析度（例如，1280x720個畫素）。在此種配置中，可減少對影像106的採樣，及/或可僅對被投射器101照射的區域加以分析以產生深度圖107。
圖2A繪示圖1中所說明的參考光圖案104的實例性實施例。在一個實施例中，參考光圖案104可包括多個參考光圖案元素，所述多個參考光圖案元素可在水平及垂直兩個方向上重複以完全填充參考光圖案104。圖2B繪示基礎光圖案108的實例性實施例，基礎光圖案108在水平方向（例如，圖2B中的x方向）上是48個圓點寬，且在垂直方向（例如，圖2B中的y方向）上是4個圓點高。可存在其他的基礎光圖案。為簡潔起見，圓點對畫素的比可為1:1，亦即，所投射的每一圓點可恰好被相機（諸如，相機102）中的一個畫素拍攝。在一個實施例中，可藉由在水平方向上重複基礎光圖案108十次且在垂直方向上重複基礎光圖案108一百六十次來形成圖2A的參考光圖案104。
舉例而言，若4x4畫素窗疊加於基礎光圖案108上且水平地滑動（在邊緣處自動換行），則將有48個獨特的子圖案。若在4x4畫素窗水平地滑動的同時，4x4畫素窗亦在基礎光圖案108的高度的四個畫素之上垂直地滑動（自動換行），則將有總共192個獨特的子圖案。
返回參考圖1，x軸被視為沿著結構光成像系統100前方的水平方向，y軸是垂直方向（在此視圖中穿出紙面），且z軸在被成像的場景105的總方向上遠離成像系統100延伸。對於深度量測而言，投射器101及相機102的光軸可與z軸平行。其他光學排列亦可用於實施本文中所述的原理且被視為在本文中所揭露的標的的範疇內。
在一個實施例中，投射器101可包括光源，諸如但不限於二極體雷射、發射可見光的發光二極體（Light Emitting Diode，LED）、近紅外線（near infrared，NIR）雷射、點光源、處於可見光譜中的單色照明源（諸如，白色燈與單色儀的組合）或任何其他類型的雷射光源。在一個實施例中，雷射光源可固定於成像系統100的殼體內的一個位置中，且可在x方向及y方向上旋轉。另外，投射器101可包括諸如但不限於聚焦透鏡、玻璃/塑膠表面及/或其他圓柱形光學元件等投射光學裝置，所述投射光學裝置可將來自雷射光源的雷射束以點或光斑的形式集中於場景105中的物體的所述表面上。
相機102可包括可將場景105中的物體上的光點以光點的形式聚焦於影像感測器上的光學裝置，所述影像感測器包括畫素陣列。相機102亦可包括聚焦透鏡、玻璃/塑膠表面或其他圓柱形光學元件，上述元件將自場景105中的物體接收到的反射光集中至二維（two-dimensional，2D）陣列中的一個或多個畫素上。2D畫素陣列可形成影像平面，在所述影像平面中相應的每一畫素列在場景105上形成掃描線的對極線。在一個實施例中，相機102的影像感測器可以是轉換增益高且讀出快速的影像感測器，且可用作提供對極面成像技術以克服高環境光條件的光投射器/掃描儀的一部分。在一個實施例中，影像感測器的每一畫素可包括光電二極體，所述光電二極體可具有小於約200e-的全井容量，且可具有可大於約500 μV/e-的轉換增益。所述影像感測器亦可包括約1微米的小畫素間距。
投射器101可使用點掃描或對極掃描技術來照射場景，如由虛線108及虛線109所標示。亦即，來自雷射光源的光束可在處理裝置103的控制下在x-y方向上跨域場景105進行點掃描。點掃描技術可沿著掃描線將光點投射於場景105中的任何物體的表面上，如參考圖3更詳細地論述。自對場景105的點掃描反射的光可包括由場景105中的物體的表面在接收到投射器101的雷射源的照射之後反射或散射的光子。可經由相機102中的集光光學裝置將自被照射物體接收到的光聚焦至一個或多個畫素（例如，2D畫素陣列）上。相機的畫素陣列可將接收到的光子轉換成對應的電性訊號，然後控制器103處理所述電性訊號場景105的3D深度影像。在一個實施例中，控制器103可使用三角量測技術來進行深度量測。
圖3繪示根據本文中所揭露的一個實施例的可如何執行對極掃描或點掃描以進行3D深度量測的實例。在圖3中，作為投射器101的一部分的雷射光源203的x-y旋轉能力由箭頭201及箭頭202標示，且分別表示雷射在x方向上（具有角度「β」）及在y方向上（具有角度「α」）的角運動。在一個實施例中，控制器103可基於例如掃描指令來控制雷射光源203的x-y旋轉運動。
如圖3中所繪示，雷射光源203可藉由沿著一維（one-dimensional，1D）水平的掃描線投射光點來對物體204的表面進行點掃描，所述水平的掃描線中的兩者SR 205及SR+1 206在圖3中由虛線標識。物體204的表面的曲率使得光點207至光點210形成圖3中的掃描線SR 205。為簡便且為清晰起見，未使用參考標示符來標識形成掃描線SR+1 206的光點。雷射203可例如在左右方向上沿著掃描列SR 、SR+1 、SR+2 等一次一個光斑地掃描物體204。
R、R+1等的值亦可指代相機102的2D畫素陣列211中的特定的列，且該些值是已知的。舉例而言，在圖3中的2D畫素陣列211中，使用參考編號212來標識畫素的列R，且使用參考編號213來標識列R+1。應理解，已僅出於說明目的而自多個畫素的列選擇畫素陣列211的列R及列R+1。
含有2D畫素陣列211中的畫素的列的平面可被稱為影像平面，而含有掃描線（諸如，線SR 及線SR+1 ）的平面可被稱為掃描平面。在圖3的實施例中，使用對極幾何來對影像平面及掃描平面進行定向，以使得2D畫素陣列211中的畫素的每一列R、R+1等形成與掃描線SR 、SR+1 等對應的對極線。若所照射的光斑（沿掃描線SR ）投射至影像平面上可沿著列R本身的線形成獨特的光斑，則畫素的列R可被視為與掃描線SR 對應的對極。舉例而言，在圖3中，箭頭214繪示雷射光源203照射出光點208；而箭頭215繪示光點208由聚焦透鏡216沿著畫素陣列211的列R 212成像或投射。儘管圖中未標示，但應理解，畫素陣列211的列R中的對應畫素將對所有的光點207至210進行成像。因此，在一個實施例中，雷射203及畫素陣列211的物理排列（諸如，位置及定向）可使得沿掃描線照射於物體204的表面上的的光點可被畫素陣列211中的對應列中的畫素拍攝或偵測到—所述畫素的列因此形成掃描線的對極線。
2D畫素陣列211中的畫素可排列成列及行。所照射的光點可由畫素陣列211中的對應列及對應行來指代。舉例而言，在圖3中，掃描線SR 上的光點208被指定為XR,i ，以標示光斑208可由畫素陣列211中的列R及行i（Ci ）來成像。行Ci 由虛線217標示。可以類似方式標識其他所照射的光斑。應注意，可能存在以下情形：自兩個或更多個光點反射的光可被列中的單個畫素接收到，或另一情況是，自單個光點反射的光可被畫素的列中的一個以上畫素接收到。亦可使用時間戳記來標識光點。
在圖3中，箭頭218表示光點208距沿著相機102前方的x軸（諸如，圖1中所示的x軸）的深度或距離Z（沿著z軸）。在圖3中，x軸由219標示，可看到所述x軸含有於垂直平面中，所述垂直平面亦含有投射器101的投射光學裝置（未標示）及相機102的集光光學裝置（未標示）。然而，為便於闡釋三角量測方法，在圖3中繪示雷射源203而非投射光學裝置位於x軸219上。在使用三角量測方法時，可使用以下方程式來確定Z的值：
Figure 02_image001
（1）
在方程式（1）中，參數h是集光光學裝置（未標示）與影像感測器211（假設其位於垂直平面中，集光光學裝置下方）之間的距離（沿著z軸）；參數d是光源203與和相機102相關聯的集光光學裝置（由透鏡216表示）之間的偏移距離；參數q是相機102的集光光學裝置與偵測對應光點的畫素（在圖3的實例中，偵測畫素/成像畫素i是由與光點XR,i 208相關聯的行Ci 表示）之間的偏移距離；且參數θ是就討論中的光點（在圖3的實例中，是光點208）而言光源的掃描角度或束角度。另一選擇是，參數q亦可被視為光點在畫素陣列211的視場內的偏移。方程式（1）中的參數亦在圖3中予以標示。基於成像系統100的物理配置，方程式（1）右側的參數值可以是預定的。
依據方程式（1）可明瞭，對於給定的點掃描而言，僅參數θ及q是可變的。由於成像系統100的物理幾何，參數h及d本質上是固定的。由於列R 212是掃描線SR 的對極線，因此物體204的深度差或深度剖面可由水平方向上的影像移位來反映，如由被成像的不同光點的參數q的值來表示。因此，依據掃描角度θ的已知值及被成像的光點的對應位置（如由參數q表示），可使用方程式（1）的三角量測來確定距光點的距離Z。應注意，包括例如布朗（Brown）等人的美國專利申請公開案第2011/0102763 A1號在內的相關文獻中闡述了用於進行距離量測的三角量測，其中與基於三角量測的距離量測相關的揭露內容全部併入本案供參考。
高環境光條件對於短程物體而言可使感測器的畫素飽和，而對於較遠程物體而言亦會顯著地減小訊雜比（SNR）。在產生估計性深度資訊時，可使用對極掃描技術或點掃描技術來減輕高環境光條件所導致的負面效應。舉例而言，圖4A是已由相機使用非對極成像技術成像的照射用鏡像迪斯可球燈的場景。圖4A中的被成像場景包括自迪斯可球燈反射出去的若干個多路徑反射。多路徑反射可導致3D深度量測存在誤差。
與圖4A形成對照，圖4B是已使用對極成像技術成像的照射用鏡像迪斯可球燈的同一場景。由於對極成像技術拒斥了多路徑反射，因此可觀察到，在圖4B的影像中已自迪斯可球燈反射出去的光點顯著少於圖4A中的光點。此外，距離相關像差將僅在感測器對極線上才會被感測到。
返回參考圖1，結構光成像系統100的控制器103可控制投射器101及相機102以對極方式對場景的片區進行成像。舉例而言，圖5繪示根據本文中所揭露的標的的已被劃分成片區401至片區408的實例性參考光圖案400，所述實例性參考光圖案400可被逐片區地投射至場景上。儘管在圖5中已將實例性參考光圖案400劃分成8個片區，但應理解，可使用任何數目個片區來對場景進行掃描。
投射器101可使用相對高的峰值光功率且使用相對短的持續時間脈衝來以對極方式選擇性地投射參考光圖案400的每一片區401至408。在一個實施例中，峰值光功率可為約4瓦，脈衝持續時間為約0.2微秒。相機102可與投射器101同步，且相機102可包括具有低位元類比轉數位轉換器（analog-to-digital converter，ADC）的快速讀出電路。
通常在一次掃描中即會將所掃描片區中的在相對短程處的物體偵測於相機102的輸出中。在已偵測到物體之後，可藉由將脈衝重新導向所掃描片區中尚未被偵測到物體的區，來較高效地使用投射器101的光功率。在一個實施例中，可引導投射器101的光功率以選定數目次重複地掃描片區中尚未被偵測到短程物體的區。可基於累加或分格累加（binning）被反射的光子，來偵測片區中已被重新引導有光功率的區中的任何物體。重複掃描的區可以是任何次序。
可掃描場景的片區的順序可以是任何次序，包括隨機次序。此外，儘管圖5中將片區繪示為具有大致水平的矩形形狀，但在相機及投射器/掃描儀具有垂直位移的情況下，片區可替代性地具有大致垂直的矩形形狀。又或者，不使用片區，可選擇性地掃描場景的具有任何閉合形狀的區。
圖6繪示根據本文中所揭露的標的方法500的實例性流程圖，所述方法500使用結構光相機系統來逐片區地對場景進行選擇性投射/掃描。方法在501處開始。在502處，將指數n初始化。在503處，使用對極成像技術來向場景的選定片區投射結構光圖案。可控制投射器使用相對高的光功率及相對短的脈衝。在504處，使用對極成像技術來與503中所投射的脈衝同步地掃描所述場景。在505處，判斷是否已在選定片區內偵測到物體。可基於已接收到的光電子的數目來偵測短程物體。
若在505處偵測到物體，則流程繼續至506，在506處，使用對極成像技術來掃描選定片區中尚未被偵測到物體的區。亦即，將投射器的光功率引導至選定片區中尚未被偵測到物體的區，且使用對極成像技術來掃描所述區。可將重複投射的結構光圖案僅引導至尚未被偵測到物體的區，且所述結構光圖案可顯露出在較遠程處的物體。在507，判斷是否已在所掃描區的任一者中偵測到物體。流程繼續至508，在508處使指數n遞增。在509處，判斷指數n是否等於預定數目N，諸如8。可使用預定數目N的其他預定值。
若在509處確定指數n不等於預定數目N，則流程返回至506，在506處，以對極成像方式掃描選定片區中尚未被偵測到物體的區。若在509處，指數n等於預定數目N，則流程繼續至512，在512處，判斷是否已掃描所有的片區。若是，則流程繼續至513，在513處方法結束。若在512處，尚未掃描所有的片區，則流程返回至502。
若在505處，確定尚未偵測到物體，則流程繼續至510，在510處使指數n遞增且然後在511處進行驗證。若在511處，指數n確實等於預定數目N，則流程返回至503。若在511處，指數n等於預定數目N，則流程繼續至512，在512處判斷是否已掃描所有的片區。
圖7A繪示根據本文中所揭露的標的可用於相機102中的感測器的實例性堆疊架構600。堆疊架構600可在頂層中包括畫素陣列601且在底層中包括周邊及ADC電路602。畫素陣列601可包括多個畫素603，圖7A中僅標示了多個畫素603中的一個畫素603。畫素陣列601可被設置成包括多個全域快門陣列604，僅標示了多個全域快門陣列604中的一個全域快門陣列604。在一個實施例中，每一全域快門陣列604可對應於一個對極投射/掃描線。全域快門陣列可具有其他尺寸。在替代實施例中，畫素陣列601可被設置成包括可以滾動快門模式運作的快門陣列。底層602可包括低位元ADC陣列605，低位元ADC陣列605包括多個ADC 606，僅標示了多個ADC 606中的一個ADC 606。在一個實施例中，每一個ADC 606可通過快速讀出電路（由短劃線標示）耦合至對應的畫素603，且可具有四個位元或小於四個位元的解析度。底層602亦可包括列驅動器陣列607以及偏壓及其他電路608。
圖7B繪示根據本文中所揭露的標的畫素陣列601中的畫素603的實例性實施例。在一個實施例中，畫素603可具有眾所周知的四電晶體（four transistor，4T）結構，所述四電晶體結構包括QIS光偵測器。在另一實例性實施例中，畫素603可具有共享結構。每一畫素603包括可具有小於約200e-的全井容量的光電二極體，且可具有可大於約500 μV/e-的轉換增益。亦可使用約1微米的小畫素間距。
圖8繪示根據本文中所揭露的標的場景的所偵測片區的輸出的實例性部分700。在一個實施例中，片區可包括480條掃描線，其中可將來自畫素的所偵測輸出分格累加於4x4格區中。實例性部分700中標示為黑色的區表示已僅接收到環境光光子的畫素。標示為白色的畫素是已接收到環境光光子以及參考光圖案的反射光子的畫素。舉例而言，實例性部分700的區701可包括所偵測物體，就此實例而言所述物體在0.3米的路程處。黑色畫素接收到少於一個電子，而白色畫素接收到30個電子。區702可包括在1米的路程處的所偵測物體。在進行十次掃描的情況下，黑色畫素接收到總共0.2個電子且白色畫素接收到30個電子。區703可包括在4米的路程處的所偵測物體。在進行十次掃描且進行4x4分格累加的情況下，黑色畫素接收到3.2個電子且白色畫素接收到40個電子。
最靠近相機的物體會反射出被畫素陣列601偵測到的較多光子，而較遠處的物體會反射出被畫素陣列601偵測到的較少光子。在圖8中將因物體的路程而形成的所偵測光子的數目差繪示為所偵測參考光圖案的白色部分的強度。在偵測到物體之後，可將例如自圖1中所示投射器101投射的光重複地再次引導至已偵測到較少的反射光子或尚未偵測到反射光子的其他區域，直至偵測到物體為止。可使用分格累加來聚集足以偵測到物體的反射光子。舉例而言，僅進行一次掃描即可偵測到區702中的物體，而偵測到區703及區704中的物體可需要進行十次掃描。
可基於黑色畫素與白色畫素之間的差估計物體的反射率。亦即，實例性部分700中標示為黑色的區表示已僅接收到環境光光子的畫素，而標示為白色的畫素是已接收到環境光光子以及參考光圖案的反射光子的畫素。這兩種畫素之間的差表示激活電子的數目。激活電子的理論數目與物體的距離相關，所述距離可使用方程式（1）的三角量測方法來獲得。藉由確定激活電子的接收到數目與理論數目的比，可確定由特定畫素拍攝的物體的反射率。
熟習此項技術者應認識到，可針對各種各樣的應用修改並變化本文中所述的創新性概念。因此，所主張標的的範疇不應僅限於上文所論述的具體示例性教示中的任一者，而是由以下申請專利範圍界定。
100‧‧‧結構光成像系統 101‧‧‧投射器 102‧‧‧相機 103‧‧‧控制器 104、400‧‧‧參考光圖案 105‧‧‧線 106‧‧‧影像 107‧‧‧深度圖 108‧‧‧基礎光圖案 109、217‧‧‧虛線 201、202、214、215、218‧‧‧箭頭 203‧‧‧雷射光源 204‧‧‧物體 205、206‧‧‧掃描線 207、208、209、210、XR,i ‧‧‧光點 211‧‧‧2D畫素陣列 212、213、R、R+1‧‧‧列 216‧‧‧聚焦透鏡 Ci‧‧‧行 219‧‧‧x軸 401、402、403、404、405、406、407、408‧‧‧片區 500‧‧‧方法 501、502、503、504、505、506、507、508、509、510、511、512、513‧‧‧步驟 600‧‧‧堆疊架構 601‧‧‧畫素陣列 602‧‧‧底層 603‧‧‧畫素 604‧‧‧全域快門陣列 605‧‧‧低位元ADC陣列 606‧‧‧ADC 607‧‧‧列驅動器陣列 608‧‧‧偏壓及其他電路 700‧‧‧實例性部分 701、702、703‧‧‧區 d、q‧‧‧偏移距離 SR、SR+1‧‧‧掃描線 h、Z‧‧‧距離 x、y‧‧‧方向 α、β‧‧‧角度 θ‧‧‧光源的掃描角度或束角度
在以下章節中，將參考圖中所說明的示例性實施例闡述本文中所揭露標的的各態樣，在圖中： 圖1繪示根據本文中所揭露的標的結構光成像系統的實例性實施例的方塊圖。 圖2A繪示參考光圖案的實例性實施例。 圖2B繪示基礎光圖案的實例性實施例。 圖3繪示根據本文中所揭露的一個實施例的可如何執行對極掃描（epipolar scan）或點掃描以進行3D深度量測的實例。 圖4A是已由相機使用非對極成像技術成像的照明用鏡像迪斯可球燈的場景。 圖4B是已使用對極成像技術成像的照明用鏡像迪斯可球燈的同一場景。 圖5繪示根據本文中所揭露的標的已被劃分成片區的實例性參考光圖案，所述實例性參考光圖案可被逐片區地投射至場景上。 圖6繪示根據本文中所揭露的標的方法的實例性流程圖，所述方法使用結構光相機系統來逐片區地對場景進行選擇性投射/掃描。 圖7A繪示根據本文中所揭露的標的可用於相機中的感測器的實例性堆疊架構。 圖7B繪示根據本文中所揭露的標的的畫素陣列中的畫素的實例性實施例。 圖8繪示根據本文中所揭露的標的的場景的所偵測片區的輸出的實例性部分。
100‧‧‧結構光成像系統
101‧‧‧投射器
102‧‧‧相機
103‧‧‧控制器
104‧‧‧參考光圖案
105‧‧‧線
106‧‧‧影像
107‧‧‧深度圖
108‧‧‧基礎光圖案
109‧‧‧虛線

Claims (20)

  1. 一種結構光成像系統，包括： 投射器，將結構光圖案投射至場景的選定片區上，所述場景包括一個或多個物體，所述場景的所述選定片區在第一方向上包括第一預定尺寸且在第二方向上包括第二預定尺寸，所述第二方向與所述第一方向實質上正交； 影像感測器，掃描所述場景的所述選定片區，並產生與所述選定片區中的區對應的輸出，所述影像感測器與所述投射器以對極（epipolar）方式同步；以及 控制器，耦合至所述影像感測器，所述控制器偵測物體是否位於所掃描的所述區內，且在已在所掃描的所述區中偵測到所述物體的情況下，控制所述投射器遠離所掃描的所述區而朝向所述場景的所述選定片區的其他區投射所述結構光圖案第一多次。
  2. 如申請專利範圍第1項所述的結構光成像系統，其中所述結構光圖案包括： 含多個子圖案的列，在所述第一方向上延伸， 每一子圖案鄰近於至少一個其他子圖案， 每一子圖案彼此皆不同， 每一子圖案在子列中包括第一預定數目個區且在子行中包括第二預定數目個區，其中所述第一預定數目及所述第二預定數目是整數， 每一區包括實質上相同的尺寸， 每一子列在所述第一方向上延伸，且 每一子行在所述第二方向上延伸。
  3. 如申請專利範圍第2項所述的結構光成像系統，其中所述多個子圖案包括48個子圖案， 其中所述第一預定數目與所述第二預定數目彼此相等，且 其中一區與所述結構光圖案的圓點對應。
  4. 如申請專利範圍第2項所述的結構光成像系統，其中所述第一多次包括十次。
  5. 如申請專利範圍第1項所述的結構光成像系統，其中所述控制器進一步基於所掃描的所述區中黑色畫素與白色畫素之間的強度差來確定所偵測物體的反射率。
  6. 如申請專利範圍第1項所述的結構光成像系統，其中所述選定片區在所述第一方向上的所述第一預定尺寸大於所述選定片區在所述第二方向上的所述第二預定尺寸， 其中所述控制器進一步控制所述投射器按照選定次序朝向第一預定數目個片區投射所述結構光圖案，且 其中所述影像感測器按照所述選定次序掃描所述第一預定數目個片區。
  7. 如申請專利範圍第6項所述的結構光成像系統，其中所述選定次序是隨機次序。
  8. 一種結構光成像系統，包括： 投射器，將結構光圖案投射至場景的選定片區上，所述場景包括一個或多個物體，所述場景的所述選定片區在第一方向上包括第一預定尺寸且在第二方向上包括第二預定尺寸，所述第二方向與所述第一方向實質上正交，且所述選定片區在所述第一方向上的所述第一預定尺寸大於所述選定片區在所述第二方向上的所述第二預定尺寸； 影像感測器，掃描所述場景的所述選定片區並產生與所述選定片區中的區對應的輸出，所述影像感測器與所述投射器以對極方式同步；以及 控制器，耦合至所述影像感測器，所述控制器偵測物體是否位於所掃描的所述區中，且在已在所掃描的所述區中偵測到物體的情況下，控制所述投射器遠離所掃描的所述區而朝向所述場景的所述選定片區的其他區投射所述結構光圖案第一多次。
  9. 如申請專利範圍第8項所述的結構光影像系統，其中所述控制器進一步控制所述投射器按照選定次序朝向第一預定數目個片區投射所述結構光圖案， 其中所述影像感測器按照所述選定次序掃描所述第一預定數目個片區，且 其中所述選定次序是隨機次序。
  10. 如申請專利範圍第9項所述的結構光成像系統，其中所述結構光圖案包括： 含多個子圖案的列，在所述第一方向上延伸， 每一子圖案鄰近於至少一個其他子圖案， 每一子圖案彼此皆不同， 每一子圖案在子列中包括第一預定數目個區且在子行中包括第二預定數目個區，其中所述第一預定數目及所述第二預定數目是整數， 每一區包括實質上相同的尺寸， 每一子列在所述第一方向上延伸，且 每一子行在所述第二方向上延伸。
  11. 如申請專利範圍第10項所述的結構光成像系統，其中所述多個子圖案包括48個子圖案，且 其中所述第一預定數目與所述第二預定數目彼此相等。
  12. 如申請專利範圍第11項所述的結構光成像系統，其中所述第一多次包括十次。
  13. 如申請專利範圍第10項所述的結構光成像系統，其中所述控制器進一步基於所掃描的所述區中黑色畫素與白色畫素之間的強度差來確定所偵測物體的反射率。
  14. 一種結構光成像系統掃描場景的方法，所述方法包括： 使用投射器將結構光圖案投射至場景的選定片區上，所述場景包括一個或多個物體，所述場景的所述選定片區在第一方向上包括第一預定尺寸且在第二方向上包括第二預定尺寸，所述第二方向與所述第一方向實質上正交； 使用影像感測器來掃描所述場景的所述選定片區，所述影像感測器與所述投射器以對極方式同步； 產生與所述選定片區中的區對應的輸出； 偵測物體是否位於所掃描的所述區內；以及 在已在所掃描的所述區中偵測到物體的情況下，使用控制器來控制所述投射器遠離所掃描的所述區而朝向所述場景的所述選定片區的其他區投射所述結構光圖案第一多次。
  15. 如申請專利範圍第14項所述的方法，其中所述結構光圖案包括： 含多個子圖案的列，在所述第一方向上延伸， 每一子圖案鄰近於至少一個其他子圖案， 每一子圖案彼此皆不同， 每一子圖案在子列中包括第一預定數目個區且在子行中包括第二預定數目個區，其中所述第一預定數目及所述第二預定數目是整數， 每一區包括實質上相同的尺寸， 每一子列在所述第一方向上延伸，且 每一子行在所述第二方向上延伸。
  16. 如申請專利範圍第15項所述的方法，其中所述多個子圖案包括48個子圖案， 其中所述第一預定數目與所述第二預定數目彼此相等，且 其中所述第一預定數目次包括十次。
  17. 如申請專利範圍第14項所述的方法，其中所述選定片在所述第一方向上的所述第一預定尺寸大於所述選定片區在所述第二方向上的所述第二預定尺寸， 所述方法更包括： 控制所述投射器進一步按照選定次序朝向第一預定數目個片區投射所述結構光圖案，及 按照所述選定次序掃描所述第一預定數目個片區，且 其中所述選定次序是隨機次序。
  18. 如申請專利範圍第14項所述的方法，其中所述影像感測器包括多個全域快門陣列，所述多個全域快門陣列中的一個全域快門陣列對應於對極掃描線，且 所述方法更包括： 使所述影像感測器以隨機快門模式及滾動快門模式中的一者運作。
  19. 如申請專利範圍第14項所述的方法，更包括： 使用所述投射器來遠離所掃描的所述區投射所述結構光圖案所述第一多次，以偵測較在所掃描的所述區中偵測到的所述物體遠的物體。
  20. 如申請專利範圍第14項所述的方法，更包括： 使用所述控制器基於所掃描的所述區中黑色畫素與白色畫素之間的強度差來確定在所掃描的所述區中偵測到的所述物體的反射率。
TW108112260A 2018-05-10 2019-04-09 結構光成像系統及結構光成像系統掃描場景的方法 TW202002626A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862669931P 2018-05-10 2018-05-10
US62/669,931 2018-05-10
US16/038,146 US20190349569A1 (en) 2018-05-10 2018-07-17 High-sensitivity low-power camera system for 3d structured light application
US16/038,146 2018-07-17

Publications (1)

Publication Number Publication Date
TW202002626A true TW202002626A (zh) 2020-01-01

Family

ID=68463427

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108112260A TW202002626A (zh) 2018-05-10 2019-04-09 結構光成像系統及結構光成像系統掃描場景的方法

Country Status (5)

Country Link
US (1) US20190349569A1 (zh)
JP (1) JP2019197055A (zh)
KR (1) KR20190129693A (zh)
CN (1) CN110471050A (zh)
TW (1) TW202002626A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102688149B1 (ko) * 2020-01-08 2024-07-23 코어포토닉스 리미티드 멀티-애퍼처 줌 디지털 카메라 및 그 사용 방법
TWI771112B (zh) 2021-07-21 2022-07-11 舞蘊股份有限公司 用於合光的超穎光學元件

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5003166A (en) * 1989-11-07 1991-03-26 Massachusetts Institute Of Technology Multidimensional range mapping with pattern projection and cross correlation
US6754370B1 (en) * 2000-08-14 2004-06-22 The Board Of Trustees Of The Leland Stanford Junior University Real-time structured light range scanning of moving scenes
DE60124647T2 (de) * 2000-09-26 2007-03-08 Fuji Photo Film Co., Ltd., Minami-Ashigara Vorrichtung und Verfahren zur Abstandsmessung
US9939233B2 (en) * 2007-10-02 2018-04-10 Doubleshot, Inc. Laser beam pattern projector
JP2012150054A (ja) * 2011-01-20 2012-08-09 Ricoh Co Ltd 物体検出装置及びこれを備えた車両衝突回避システム
US8890953B1 (en) * 2011-06-27 2014-11-18 Rawles Llc Optical-based scene detection and audio extraction
US9396382B2 (en) * 2012-08-17 2016-07-19 Flashscan3D, Llc System and method for a biometric image sensor with spoofing detection
JP2014077668A (ja) * 2012-10-09 2014-05-01 Optex Co Ltd 寸法計測装置および寸法計測方法
US11509880B2 (en) * 2012-11-14 2022-11-22 Qualcomm Incorporated Dynamic adjustment of light source power in structured light active depth sensing systems
US9547222B2 (en) * 2013-02-08 2017-01-17 University Of South Australia Method and apparatus for calibration of multiple projector systems
US9524059B2 (en) * 2013-03-15 2016-12-20 Texas Instruments Incorporated Interaction detection using structured light images
CN105659106B (zh) * 2013-10-23 2018-12-28 脸谱公司 使用动态结构光的三维深度映射
US20150138320A1 (en) * 2013-11-21 2015-05-21 Antoine El Daher High Accuracy Automated 3D Scanner With Efficient Scanning Pattern
WO2016079718A1 (en) * 2014-11-20 2016-05-26 Mantisvision Ltd. Methods circuits devices assemblies systems and functionally associated computer executable code for image acquisition with depth estimation
US20180364045A1 (en) * 2015-01-06 2018-12-20 Discovery Robotics Robotic platform with mapping facility
KR102287958B1 (ko) * 2015-02-06 2021-08-09 한국전자통신연구원 차량 창유리 가시광선 투과율 원격 검사 시스템 및 방법
CN107637074B (zh) * 2015-03-22 2020-09-18 脸谱科技有限责任公司 使用立体摄像机与结构化光的头戴显示器的深度绘制
US10225544B2 (en) * 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10973581B2 (en) * 2016-06-17 2021-04-13 7D Surgical Inc. Systems and methods for obtaining a structured light reconstruction of a 3D surface
US10306203B1 (en) * 2016-06-23 2019-05-28 Amazon Technologies, Inc. Adaptive depth sensing of scenes by targeted light projections
US9947099B2 (en) * 2016-07-27 2018-04-17 Microsoft Technology Licensing, Llc Reflectivity map estimate from dot based structured light systems
CN109891187A (zh) * 2016-08-18 2019-06-14 特拉维夫大学拉莫特有限公司 结构光投影仪
US10380749B2 (en) * 2016-09-26 2019-08-13 Faro Technologies, Inc. Device and method for indoor mobile mapping of an environment
GB2556910A (en) * 2016-11-25 2018-06-13 Nokia Technologies Oy Virtual reality display
EP3566078B1 (en) * 2017-01-03 2024-08-21 Innoviz Technologies Ltd. Lidar systems and methods for detection and classification of objects
US10007001B1 (en) * 2017-03-28 2018-06-26 Luminar Technologies, Inc. Active short-wave infrared four-dimensional camera
US10545240B2 (en) * 2017-03-28 2020-01-28 Luminar Technologies, Inc. LIDAR transmitter and detector system using pulse encoding to reduce range ambiguity
JP2018189443A (ja) * 2017-04-28 2018-11-29 キヤノン株式会社 距離測定装置、距離測定方法及び撮像装置
US20180373348A1 (en) * 2017-06-22 2018-12-27 Microsoft Technology Licensing, Llc Systems and methods of active brightness depth calculation for object tracking
US20190072771A1 (en) * 2017-09-05 2019-03-07 Facebook Technologies, Llc Depth measurement using multiple pulsed structured light projectors
US11297300B2 (en) * 2018-01-29 2022-04-05 Samsung Electronics Co., Ltd. Robust structured-light patterns for 3D camera system

Also Published As

Publication number Publication date
US20190349569A1 (en) 2019-11-14
JP2019197055A (ja) 2019-11-14
CN110471050A (zh) 2019-11-19
KR20190129693A (ko) 2019-11-20

Similar Documents

Publication Publication Date Title
JP6899005B2 (ja) 光検出測距センサ
US10795001B2 (en) Imaging system with synchronized scan and sensing
US10324171B2 (en) Light detection and ranging sensor
JP7146004B2 (ja) 同期スピニングｌｉｄａｒおよびローリングシャッターカメラシステム
US10041787B2 (en) Object detection device
WO2021072802A1 (zh) 一种距离测量系统及方法
US6075883A (en) Method and system for imaging an object or pattern
KR20160045670A (ko) 비행-시간 카메라 시스템
JP6822230B2 (ja) 撮像装置および撮像方法
CN110325879A (zh) 用于压缩三维深度感测的系统和方法
CN110780312B (zh) 一种可调距离测量系统及方法
CN211148917U (zh) 一种距离测量系统
JP2002131016A (ja) 距離測定装置、及び距離測定方法
US9906675B2 (en) Linear image scanner and scanning method
US8144968B2 (en) Method and apparatus for scanning substrates
CN109387354B (zh) 一种光学扫描器测试装置及测试方法
TW202002626A (zh) 結構光成像系統及結構光成像系統掃描場景的方法
US11326874B2 (en) Structured light projection optical system for obtaining 3D data of object surface
KR20230028303A (ko) 확산 조명 및 구조화 광을 위한 프로젝터
JP2023522755A (ja) 物体深度測定用照射パターン
JP2021018081A (ja) 撮像装置、計測装置、及び、計測方法
JP7215472B2 (ja) 撮像装置および撮像方法
Maas Close range photogrammetry sensors
JP2022551193A (ja) マルチパルスｌｉｄａｒシステムおよび観察範囲内のオブジェクトの捕捉するための方法