TWI773133B - 測距裝置以及測距方法 - Google Patents

測距裝置以及測距方法 Download PDF

Info

Publication number
TWI773133B
TWI773133B TW110104840A TW110104840A TWI773133B TW I773133 B TWI773133 B TW I773133B TW 110104840 A TW110104840 A TW 110104840A TW 110104840 A TW110104840 A TW 110104840A TW I773133 B TWI773133 B TW I773133B
Authority
TW
Taiwan
Prior art keywords
projection
patterns
sensing
depth information
image
Prior art date
Application number
TW110104840A
Other languages
English (en)
Other versions
TW202202871A (zh
Inventor
印秉宏
王佳祥
Original Assignee
大陸商廣州印芯半導體技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商廣州印芯半導體技術有限公司 filed Critical 大陸商廣州印芯半導體技術有限公司
Publication of TW202202871A publication Critical patent/TW202202871A/zh
Priority to US17/581,859 priority Critical patent/US11638073B2/en
Application granted granted Critical
Publication of TWI773133B publication Critical patent/TWI773133B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Crystals, And After-Treatments Of Crystals (AREA)
  • Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本發明提出一種測距裝置以及測距方法。測距裝置包括發光源、影像感測器以及處理器。發光源在不同時間投射多個投影圖案至待測物的表面。影像感測器同步於所述多個投影圖案的投射時間來感測待測物的表面，以取得分別對應於所述多個投影圖案的多個感測影像。處理器分析所述多個感測影像，以決定待測物的深度資訊。處理器執行三角函數計算來取得深度資訊。

Description

測距裝置以及測距方法
本發明是有關於一種量測技術，且特別是有關於一種測距裝置以及測距方法。
在目前的測距技術中，飛時測距(Time of Flight；ToF)的感測手段雖可有效取得測距結果，但是實現飛時測距功能通常需要較高成本的元件與複雜的運算電路。有鑑於此，如何提供準確的測距功能且無需配置較高成本的元件與複雜的運算電路的測距裝置，以下將提出幾個實施例的解決方案。
本發明提供一種測距裝置以及測距方法可有準確地取得待測物的深度資訊。
本發明的測距裝置包括發光源、影像感測器以及處理器。發光源用以在不同時間投射多個投影圖案至待測物的表面。影像感測器用以同步於所述多個投影圖案的投射時間來感測待測物的表面，以取得分別對應於所述多個投影圖案的多個感測影 像。處理器耦接發光源以及影像感測器。處理器分析所述多個感測影像，以決定待測物的深度資訊。處理器執行三角函數計算來取得深度資訊。
本發明的測距方法包括以下步驟：透過發光源在不同時間投射多個投影圖案至待測物的表面；透過影像感測器同步於所述多個投影圖案的投射時間來感測待測物的表面，以取得分別對應於所述多個投影圖案的多個感測影像；以及分析所述多個感測影像，以決定待測物的深度資訊，其中深度資訊經由執行三角函數計算所產。
基於上述，本發明的測距裝置以及測距方法可透過取得多個感測影像來準確分析待測物的深度資訊。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100:測距裝置
110:處理器
120:發光源
130:影像感測器
300、600:待測物
410:原始參考圖案
411~416:條紋圖案
420:第一投影圖案
430:第二投影圖案
TD:投影時序
TS:感測時序
t0~t3:時間
S1、S2:表面
S210~S230:步驟
R1:取像範圍
P1、P2、P3:投影圖案
D1:距離參數
L1、L2、L3、y1、y2、y1’、y2’、ya、yb、yc、Da:距離
θ 1、θ 2、θ a、θ b:角度
T1、T2、T3:感測光
Q1、Q2、Q3、Q1’、Q2’、Q3’、Qa、Qb、Qc、Qa’、Qc’:成像位置
圖1是本發明的一實施例的測距裝置的示意圖。
圖2是本發明的一實施例的測距方法的流程圖。
圖3A是本發明的一實施例的測距操作的示意圖。
圖3B是本發明的另一實施例的測距操作的示意圖。
圖4A是本發明的一實施例的原始參考圖案的示意圖。
圖4B是本發明的一實施例的第一投影圖案的示意圖。
圖4C是本發明的一實施例的第二投影圖案的示意圖。
圖5是本發明的一實施例的測距裝置的操作時序圖。
圖6A是本發明的一實施例的待測物表面具有障礙物的測距操作的示意圖。
圖6B是本發明的另一實施例的待測物表面具有障礙物的測距操作的示意圖。
為了使本發明之內容可以被更容易明瞭，以下特舉實施例做為本發明確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。
圖1是本發明的一實施例的測距裝置的示意圖。參考圖1，測距裝置100包括處理器110、發光源120以及影像感測器130。處理器110耦接發光源120以及影像感測器130。在本實施例中，處理器110可驅動發光源120在不同時間投射多個投影圖案至待測物的表面，並且處理器110可驅動影像感測器130同步於發光源120投射所述多個投影圖案的時間來同時操作影像感測器130感測所述多個投影圖案在待測物的表面的投影結果，以取得對應於所述多個投影圖案的多個感測影像。因此，在本實施例中，處理器110可透過分別分析所述多個感測影像以決定待測物的深度資訊。
在本實施例中，處理器110可例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)、其他類似處理裝置或這些裝置的組合。處理器110可用於產生驅動信號、進行信號處理以及執行相關運算功能。值得注意的是，本實施例的測距裝置100適於進行三角測距(Triangulation)操作，並且處理器110可進行基於三角函數關係所執行的相關參數運算，例如包括由處理器110執行三角函數計算來取得深度資訊(距離參數)。
在本實施例中，發光源120可為紅外光發光源(Infrared light source)。在一實施例中，發光源120可例如是紅外線雷射光源，並且發光源120還可進一步包括相關投影模組或發光驅動電路，而本發明並不加以限制。在本實施例中，影像感測器130可為互補式金屬氧化物半導體影像感測器(Complementary Metal-Oxide Semiconductor Image Sensor；CIS)，並且影像感測器130是以全局快門(Global Shutter)的曝光方式來感測影像。值得注意的是，當測距裝置100及待測物的至少其中之一為移動狀態時，由於本實施例的影像感測器130是以全局快門的曝光方式來感測影像，因此可有效改善影像感測器130所取得的感測影像的影像失真(pattern distortion)的情況，而有效提升測距的準確度。
圖2是本發明的一實施例的測距方法的流程圖。參考圖1以及圖2，本實施例的測距裝置100可執行步驟S210~S230來實現測距功能。在步驟S210，測距裝置100可透過發光源120在不同時間投射多個投影圖案至待測物的表面。在步驟S220，測距裝置100可透過影像感測器130同步於多個投影圖案的投射時間來感測待測物的表面，以取得分別對應於多個投影圖案的多個感測影像。在步驟S230，測距裝置100可分析多個感測影像，以決定待測物的深度資訊。在本實施例中，所述深度資訊可經由測距裝置100的處理器110執行三角函數計算所產生。因此，本發明的測距裝置100可操作以多次投影以及影像感測的操作來取得準確的測距結果。並且，以下將由各實施例詳細說明步驟S210~S230的實施方式。
圖3A是本發明的一實施例的測距操作的示意圖。參考圖1以及圖3A，本實施用於解釋本發明的測距裝置100執行的一種三角測距操作(運算)，並且圖3A為俯視示意圖。在本實施例中，發光源120例如投射投影圖案P1至待測物300的表面S1，其中投影圖案P1可例如是光點或條紋。影像感測器130可拍攝待測物300的表面S1，以取得感測影像。在本實施例中，發光源120與影像感測器130可固定設置在電子設備或載具的固定位置。在本實施例中，由於發光源120的光發射角度為已知(預設)，因此處理器110可預先取得角度θ 1，並且發光源120與影像感測器130之間的距離L1為已知。並且，由於影像感測器130的視角為已知， 因此處理器110可進一步透過判斷投影圖案P1在影像感測器130的感測影像中的位置(例如投影圖案P1在取像範圍R1中的位置)，來計算出角度θ 2。最後，處理器110可依據角度θ 1、角度θ 2以及距離L1來進行基於三角函數關係所執行的相關參數運算(三角函數計算)，而取得待測物300與測距裝置100之間的距離參數D1。
圖3B是本發明的另一實施例的測距操作的示意圖。參考圖1以及圖3B，本實施用於解釋本發明的測距裝置100執行的另一種三角測距操作(另一三角函數計算)，並且圖3B為俯視示意圖。在本實施例中，發光源120例如發射感測光T1、T2、T3，以投射投影圖案P1、P2、P3至待測物300的表面S1，其中投影圖案P1、P2、P3可例如是光點或條紋。影像感測器130可拍攝待測物300的表面S1，以取得感測影像。在本實施例中，發光源120與影像感測器130可固定設置在電子設備或載具的固定位置。在本實施例中，感測光T1以及T2的夾角角度θ a為已知(預設)，並且感測光T2以及T3的夾角角度θ b為已知(預設)。感測光T1~T3經由待測物300的表面S1反射至影像感測器130。處理器110可執行如上述運算，以取得感測光T1~T3經由待測物300的表面S1反射而在影像感測器130上成像的成像位置Q1~Q3(或是在感測影像中的投影圖案的位置)與發光源120之間的距離L1~L3。接著，處理器110可進一步計算成像位置Q1以及成像位置Q2之間的距離y1以及成像位置Q2及成像位置Q3之間的距離y2。
對此，如圖3B所示，參考虛擬側的感測光T1~T3虛擬光路結果，以及虛擬側的虛擬成像位置Q1’~Q3’之間的距離y1’、y2’與成像位置Q1~Q3的距離y1、y2相同。因此，當測距裝置100(包含發光源120與影像感測器130)與待測物300之間的距離增加，則可推知成像位置Q1~Q3的距離y1、y2也將對應增加。因此，若待測物300的表面S1為曲面(非平面)，則處理器110可依據距離y1來計算投影圖案P1、P2之間的一點與影像感測器130之間的距離，並且依據距離y2來計算投影圖案P2、P3之間的一點與影像感測器130之間的距離，而可有效取得更精確的待測物300的表面S1的深度資訊，例如曲面的深度變化結果，或是測距裝置100與待測物300的表面S1的距離Da。
圖4A是本發明的一實施例的原始參考圖案的示意圖。圖4B是本發明的一實施例的第一投影圖案的示意圖。圖4C是本發明的一實施例的第二投影圖案的示意圖。圖5是本發明的一實施例的測距裝置的操作時序圖。參考圖1、圖4A至圖5，在本實施例中，發光源120所投射的投影圖案可例如是具有多個條紋圖案。先參考圖4A，在本實施例中，原始參考圖案410可包括多個條紋圖案411~416或其他結構光的圖案形式。對此，由於待測物的表面可能為非常不規則的表面或粗糙表面等，諸如此類的非平滑表面，而導致發光源120基於原始參考圖案410所投射的條紋圖案411~416在待測物的表面可能發生條紋圖案重疊的情況，因此影像感測器130所取得的感測影像中的多個條紋圖案可能無法被正確 地辨識其順序或排列關係等，以致於發生誤判的情況。因此，本實施例的測距裝置100可將原始參考圖案410進行拆解，以分為圖4B所示的第一投影圖案420以及圖4C所示的第二投影圖案430。在本實施例中，第一投影圖案420可包括條紋圖案411、413、415，並且第二投影圖案430可包括條紋圖案412、414、416。條紋圖案411、413、415可為原始參考圖案410中的奇數條的條紋圖案，並且條紋圖案412、414、416可為原始參考圖案410中的偶數條的條紋圖案。
在本實施例中，發光源120與影像感測器130同步，因此如圖5的投影時序TD以及感測時序TS所示，發光源120先在時間t0至時間t1的期間投射第一投影圖案420於待測物的表面，並且影像感測器130同時在時間t0至時間t1的期間感測(拍攝)待測物的表面，以可取得對應於第一投影圖案420的第一感測影像。接著，發光源120在時間t2至時間t3的期間投射第二投影圖案430於待測物的表面，並且影像感測器130同時在時間t2至時間t3的期間感測(拍攝)待測物的表面，以可取得對應於第二投影圖案430的第二感測影像。換言之，測距裝置100可在一次測距操作中進行兩次投射操作以及兩次感測(拍攝)操作。
在本實施例中，測距裝置100可透過影像感測器130先感測條紋圖案411、413、415，並且透過處理器110進行如上述圖3A及圖3B實施例所述的運算，而取得待測物的表面一部分深度資訊。接著，測距裝置100可透過影像感測器130感測條紋圖案 412、414、416，並且透過處理器110進行如上述圖3A及圖3B的運算，而取得待測物的表面另一部分深度資訊。因此，處理器110可合併第一投影圖案420以及第二投影圖案430的感測結果，而有效取得待測物的表面的完整深度資訊。
或者，在一實施例中，處理器110可分別分析第一感測影像以及第二感測影像，以判斷條紋圖案411、413、415以及條紋圖案412、414、416分別在第一感測影像以及第二感測影像中的分布位置以及排列順序(例如計算圖案在影像中的座標參數)。在本實施例中，處理器110可記錄條紋圖案411、413、415以及條紋圖案412、414、416分別在第一感測影像以及第二感測影像中的分布位置以及排列順序。並且，處理器110可將第一感測影像以及第二感測影像疊合以產生疊合影像，其中疊合影像包括條紋圖案411~416。處理器110可分析疊合影像中的條紋圖案411~416的位置關係，以整體性地分析與計算待測物與測距裝置100之間的多個距離參數，其中可例如對疊合影像中的條紋圖案411~416進行如上述圖3A及圖3B實施例所述的運算。
圖6A是本發明的一實施例的待測物表面具有障礙物的測距操作的示意圖。圖6B是本發明的另一實施例的待測物表面具有障礙物的測距操作的示意圖。測距裝置100的處理器110可操作發光源120發射對應於多個投影圖像的多個感測光T1~T3至待測物600的表面S2。參考圖1以及6A，測距裝置100可對待測物600進行測距操作(或深度感測操作)。如圖6A所示，由於待測物 600的表面S2可能存有障礙物OP1，而導致發光源120向待測物600的表面S2發射的感測光T2經由障礙物OP1反射而在影像感測器130上成像的成像位置Qb並未介於成像位置Qa、Qc之間，其中成像位置Qa、Qc為感測光T1、T3經由待測物600的表面S2反射而在影像感測器130上成像的成像位置。成像位置Qa與成像位置Qb之間具有距離ya，並且成像位置Qa與成像位置Qc之間具有距離yb。因此，若發光源120同時發射感測光T1~T3，則處理器110無法判斷在影像感測器130上成像的成像位置Qa、Qb、Qc的正確順序。對此，處理器110可能將成像位置Qa誤判為對應感測光T2，而將成像位置Qb誤判為對應感測光T1。
因此，在本實施例中，測距裝置100的處理器110可操作發光源120依序地分時發射感測光T1~T3，以使處理器110可依據影像感測器130對應於感測光T1~T3依序在影像感測器130上的成像位置Qa、成像位置Qb以及成像位置Qc所接收到的多個感測影像來正確地判斷成像位置Qa、Qb、Qc的正確順序。舉例而言，若處理器110判斷成像位置Qa、Qb、Qc未沿特定方向排列，則處理器110可依其成像順序以及成像位置來判斷出成像位置Qb為異常感測結果，並且處理器110可進而有效地判斷所對應的感測光T2可能受到待測物600的表面S2的障礙物OP1影響。因此，處理器110可忽略成像位置Qb的感測結果，而僅利用成像位置Qa、Qc來計算測距裝置100與待測物600的距離或待測物600的表面S2的深度資訊。
換言之，本實施例的處理器110可依據對應於感測光T1~T3的所述多個投影圖案的投射順序以及所述多個投影圖案分別在所述多個感測影像中的位置來判斷所述多個感測影像的至少一部分為多個有效感測影像，並且依據所述多個有效感測影像來計算待測物600的深度資訊。
參考圖1以及6B，在另一情境中，如圖6B所示，由於待測物600的表面S2可能存有障礙物OP1，而導致發光源120向待測物600的表面S2發射的感測光T2經由障礙物OP1反射而在影像感測器130上成像的成像位置Qb’並未介於感測光T1、T3經由待測物600的表面S2反射而在影像感測器130上成像的成像位置Qa’、Qc’之間。成像位置Qa’與成像位置Qc’之間具有距離yc。甚至，感測光T2經反射後，感測光T2無法成像於影像感測器130上。因此，若發光源120同時發射感測光T1~T3，則處理器110無法判斷在影像感測器130上成像的成像位置Qa’、Qc’是分別對應於哪一個感測光。對此，處理器110可能將成像位置Qc’誤判為對應感測光T2。
因此，在本實施例中，測距裝置100的處理器110可操作發光源120依序地分時發射感測光T1~T3，以使處理器110可依據影像感測器130對應於感測光T1、T3依序在影像感測器130上的成像位置Qa以及成像位置Qc所接收到的感測影像來正確地判斷成像位置Qa、Qc的正確順序。舉例而言，若處理器110判斷影像感測器130未接收到感測光T2，則處理器110可有效地判斷 感測光T1所對應的感測光T2可能受到待測物600的表面S2的障礙物OP1影響。因此，處理器110可忽略感測光T2的感測結果，而僅利用成像位置Qa、Qc來計算測距裝置100與待測物600的距離或待測物600的表面S2的深度資訊。
再參考圖4A至圖4C，上述的感測光的發射方式可適用於圖4A至圖5。在一範例實施例中，測距裝置100的處理器110可操作發光源120可逐一投射條紋圖案411~416至待測物的表面，來使影像感測器130逐一進行拍攝，並且處理器110逐一分析條紋圖案411~416的投射結果。換言之，測距裝置100可在一次測距操作中進行六次投射操作以及六次感測(拍攝)操作。另外，處理器110亦可在判斷完成條紋圖案411~416的投射結果的多個位置以及排列順序後，合併多個感測影像，以產生疊合影像。因此，處理器110可透過分析疊合影像來取得待測物的表面的完整深度資訊。
或者，在另一範例實施例中，測距裝置100的處理器110可操作發光源120先在時間t0至時間t1的期間依序地分時投射第一投影圖案420的條紋圖案411、413、415，來使影像感測器130逐一進行拍攝，並且處理器110逐一分析條紋圖案411、413、415的投射結果。而取得待測物的表面一部分深度資訊。接著，測距裝置100的處理器110可操作發光源120先在時間t2至時間t3的期間依序地分時投射第二投影圖案430的條紋圖案412、414、416，來使影像感測器130逐一進行拍攝，並且處理器110逐一分 析條紋圖案412、414、416的投射結果。而取得待測物的表面一部分深度資訊。因此，處理器110可合併第一投影圖案420以及第二投影圖案430個別的多次感測結果，而有效取得待測物的表面的完整深度資訊，並且可有效避免待測物的表面的障礙物所造成測量誤判。
綜上所述，本發明的測距裝置以及測距方法可透過分時投射不同的多個投影圖案至待測物的表面，並且同步地感測所述多個投影圖案在待測物的表面的投影結果，以取得多個感測影像。本發明的測距裝置以及測距方法可透過分別分析所述多個感測影像來準確地取得待測物的深度資訊。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:測距裝置
110:處理器
120:發光源
130:影像感測器

Claims (16)

  1. 一種測距裝置，包括：一發光源，用以在不同時間投射多個投影圖案至一待測物的一表面；一影像感測器，用以同步於該些投影圖案的投射時間來感測該待測物的該表面，以取得分別對應於該些投影圖案的多個感測影像；以及一處理器，耦接該發光源以及該影像感測器，並且用以分析該些感測影像，以決定該待測物的一深度資訊，其中該處理器執行一三角函數計算來取得該深度資訊，其中當該些投影圖案在該些感測影像中的位置的順序與該些投影圖案的一投射順序不符時，該處理器忽略該些感測影像中的至少一部分來決定該深度資訊。
  2. 如請求項1所述的測距裝置，其中該處理器依據該些投影圖案的該投射順序以及該些投影圖案分別在該些感測影像中的位置來判斷該些感測影像的至少一部分為多個有效感測影像，並且依據該些有效感測影像來計算該待測物的該深度資訊。
  3. 如請求項1所述的測距裝置，其中該些投影圖案包括具有多個條紋圖案的一第一投影圖案以及具有另多個條紋圖案的一第二投影圖案，並且該些條紋圖案與另該些條紋圖案在一原始參考圖案中為交錯排列。
  4. 如請求項3所述的測距裝置，其中該處理器依據對應於該第一投影圖案的該些條紋圖案的一第一感測影像來計算該待測物的一部分深度資訊，並且該處理器依據對應於該第二投影圖案的該些條紋圖案的一第二感測影像來計算該待測物的另一部分深度資訊。
  5. 如請求項3所述的測距裝置，其中該處理器疊合對應於該第一投影圖案的該些條紋圖案的一第一感測影像以及對應於該第二投影圖案的該些條紋圖案的一第二感測影像，以取得一疊合影像，並且該處理器分析該些投影圖案在該疊合影像中的位置來決定該待測物的該深度資訊。
  6. 如請求項1所述的測距裝置，其中該影像感測器為一互補式金屬氧化物半導體影像感測器。
  7. 如請求項1所述的測距裝置，其中該影像感測器以一全局式快門的方式來感測影像。
  8. 如請求項1所述的測距裝置，其中該發光源為一紅外光發光源。
  9. 一種測距方法，包括：透過一發光源在不同時間投射多個投影圖案至一待測物的一表面；透過一影像感測器同步於該些投影圖案的投射時間來感測該待測物的該表面，以取得分別對應於該些投影圖案的多個感測影像； 分析該些感測影像，以決定該待測物的一深度資訊，其中該深度資訊經由執行一三角函數計算所產生；以及當該些投影圖案在該些感測影像中的位置的順序與該些投影圖案的一投射順序不符時，該處理器忽略該些感測影像中的至少一部分來決定該深度資訊。
  10. 如請求項9所述的測距方法，其中分析該些感測影像，以決定該待測物的該深度資訊的步驟包括：依據該些投影圖案的該投射順序以及該些投影圖案分別在該些感測影像中的位置來判斷該些感測影像的至少一部分為多個有效感測影像；以及依據該些有效感測影像來計算該待測物的該深度資訊。
  11. 如請求項9所述的測距方法，其中該些投影圖案包括具有多個條紋圖案的一第一投影圖案以及具有另多個條紋圖案的一第二投影圖案，並且該些條紋圖案與另該些條紋圖案在一原始參考圖案中為交錯排列。
  12. 如請求項11所述的測距方法，其中分析該些感測影像，以決定該待測物的該深度資訊的步驟包括：依據對應於該第一投影圖案的該些條紋圖案的一第一感測影像來計算該待測物的一部分深度資訊；以及依據對應於該第二投影圖案的該些條紋圖案的一第二感測影像來計算該待測物的另一部分深度資訊。
  13. 如請求項11所述的測距方法，其中分析該些感測影像，以決定該待測物的該深度資訊的步驟包括：疊合對應於該第一投影圖案的該些條紋圖案的一第一感測影像以及對應於該第二投影圖案的該些條紋圖案的一第二感測影像，以取得一疊合影像；以及分析該些投影圖案在該疊合影像中的位置來決定該待測物的該深度資訊。
  14. 如請求項9所述的測距方法，其中該影像感測器為一互補式金屬氧化物半導體影像感測器。
  15. 如請求項9所述的測距方法，其中該影像感測器以一全局式快門的方式來感測影像。
  16. 如請求項9所述的測距方法，其中該發光源為一紅外光發光源。
TW110104840A 2020-07-10 2021-02-09 測距裝置以及測距方法 TWI773133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/581,859 US11638073B2 (en) 2020-07-10 2022-01-22 Ranging device and ranging methhod

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063050120P 2020-07-10 2020-07-10
US63/050,120 2020-07-10

Publications (2)

Publication Number Publication Date
TW202202871A TW202202871A (zh) 2022-01-16
TWI773133B true TWI773133B (zh) 2022-08-01

Family

ID=79173267

Family Applications (2)

Application Number Title Priority Date Filing Date
TW110104840A TWI773133B (zh) 2020-07-10 2021-02-09 測距裝置以及測距方法
TW110106111A TWI793531B (zh) 2020-07-10 2021-02-22 動態視覺感測器

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW110106111A TWI793531B (zh) 2020-07-10 2021-02-22 動態視覺感測器

Country Status (3)

Country Link
US (2) US11343456B2 (zh)
CN (2) CN113985425A (zh)
TW (2) TWI773133B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11405581B2 (en) 2017-12-26 2022-08-02 Pixart Imaging Inc. Motion detection methods and image sensor devices capable of generating ranking list of regions of interest and pre-recording monitoring images
US11622092B2 (en) * 2017-12-26 2023-04-04 Pixart Imaging Inc. Image sensing scheme capable of saving more power as well as avoiding image lost and also simplifying complex image recursive calculation
US20230175836A1 (en) * 2021-12-03 2023-06-08 Pixart Imaging Inc. Distance determining system and proximity sensor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020196415A1 (en) * 2001-06-26 2002-12-26 Olympus Optical Co., Ltd. Three-dimensional information acquisition apparatus, projection pattern in three-dimensional information acquisition, and three-dimensional information acquisition method
TW201510475A (zh) * 2013-09-11 2015-03-16 Univ Nat Taiwan 三維形貌輪廓量測裝置及其方法
CN105303572A (zh) * 2015-10-26 2016-02-03 西安电子科技大学 基于主被动结合的深度信息获取方法
CN107370951A (zh) * 2017-08-09 2017-11-21 广东欧珀移动通信有限公司 图像处理系统及方法
US20180176544A1 (en) * 2015-06-19 2018-06-21 Shanghai Percipio Technology Limited Depth Data Detection and Monitoring Apparatus

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
KR101467509B1 (ko) * 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
US8279418B2 (en) * 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
JP5132832B1 (ja) * 2011-07-11 2013-01-30 キヤノン株式会社 計測装置および情報処理装置
JP2014207493A (ja) * 2011-08-24 2014-10-30 パナソニック株式会社 撮像装置
DE102011053219B4 (de) * 2011-09-02 2022-03-03 pmdtechnologies ag Kombiniertes Pixel mit phasensensitivem und farbselektivem Subpixel
KR101854188B1 (ko) * 2011-10-25 2018-05-08 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
US8946613B2 (en) * 2012-11-07 2015-02-03 Himax Imaging, Inc. Ultra low readout noise architecture having a pixel sensor with dual active pixel sensor pixel and dual ramp line
US9041914B2 (en) * 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US10863098B2 (en) * 2013-06-20 2020-12-08 Microsoft Technology Licensing. LLC Multimodal image sensing for region of interest capture
KR20150022231A (ko) * 2013-08-22 2015-03-04 에스케이하이닉스 주식회사 3차원 이미지 센서 모듈 및 이를 이용한 3차원 이미지 구현 방법
US11176655B2 (en) * 2014-01-27 2021-11-16 Cognex Corporation System and method for determining 3D surface features and irregularities on an object
CN106664378B (zh) * 2014-08-20 2020-05-19 松下知识产权经营株式会社 固体摄像装置以及相机
KR102698685B1 (ko) * 2015-09-10 2024-08-23 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치, 모듈, 전자 기기, 및 촬상 장치의 동작 방법
CN108702470B (zh) * 2016-03-17 2021-08-17 索尼公司 摄像元件和电子设备
US10234561B2 (en) * 2016-05-09 2019-03-19 Microsoft Technology Licensing, Llc Specular reflection removal in time-of-flight camera apparatus
KR102527110B1 (ko) * 2016-05-23 2023-05-03 에스케이하이닉스 주식회사 아날로그-디지털 변환 장치 및 그 동작 방법
US10638054B2 (en) * 2017-01-25 2020-04-28 Cista System Corp. System and method for visible and infrared high dynamic range sensing
US10116925B1 (en) * 2017-05-16 2018-10-30 Samsung Electronics Co., Ltd. Time-resolving sensor using shared PPD + SPAD pixel and spatial-temporal correlation for range measurement
CN108989715B (zh) * 2017-06-01 2021-02-12 飞瑞菲尼克斯公司 图像传感器
WO2019041116A1 (zh) * 2017-08-29 2019-03-07 深圳市汇顶科技股份有限公司 光学测距方法以及光学测距装置
US10741592B2 (en) * 2018-06-07 2020-08-11 Semiconductor Components Industries, Llc Image sensors with multi-photodiode image pixels and vertical transfer gates
WO2020045770A1 (en) * 2018-08-31 2020-03-05 Samsung Electronics Co., Ltd. Method and device for obtaining 3d images
TWI837163B (zh) * 2018-09-13 2024-04-01 日商索尼半導體解決方案公司 固態攝像元件及電子機器
US11158074B1 (en) * 2018-10-02 2021-10-26 Facebook Technologies, Llc Depth sensing using temporal coding
US10977775B2 (en) * 2018-12-07 2021-04-13 Himax Technologies Limited Depth decoding system and method for ground truth image rectification
JP7565282B2 (ja) * 2019-01-20 2024-10-10 マジック アイ インコーポレイテッド 複数個の通過域を有するバンドパスフィルタを備える三次元センサ
KR102693894B1 (ko) * 2019-03-29 2024-08-12 삼성전자주식회사 광각 고해상도 거리 측정 장치
US11418274B2 (en) * 2019-05-02 2022-08-16 Guangzhou Tyrafos Semiconductor Technologies Co., Ltd Multimedia system applying time of flight ranging and operating method thereof
TWI748460B (zh) * 2019-06-21 2021-12-01 大陸商廣州印芯半導體技術有限公司 飛時測距裝置及飛時測距方法
CN114730010B (zh) * 2019-12-01 2024-05-31 魔眼公司 利用飞行时间信息增强基于三角测量的三维距离测量
US11132804B2 (en) * 2020-01-07 2021-09-28 Himax Technologies Limited Hybrid depth estimation system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020196415A1 (en) * 2001-06-26 2002-12-26 Olympus Optical Co., Ltd. Three-dimensional information acquisition apparatus, projection pattern in three-dimensional information acquisition, and three-dimensional information acquisition method
TW201510475A (zh) * 2013-09-11 2015-03-16 Univ Nat Taiwan 三維形貌輪廓量測裝置及其方法
US20180176544A1 (en) * 2015-06-19 2018-06-21 Shanghai Percipio Technology Limited Depth Data Detection and Monitoring Apparatus
CN105303572A (zh) * 2015-10-26 2016-02-03 西安电子科技大学 基于主被动结合的深度信息获取方法
CN107370951A (zh) * 2017-08-09 2017-11-21 广东欧珀移动通信有限公司 图像处理系统及方法

Also Published As

Publication number Publication date
TW202203443A (zh) 2022-01-16
US11343456B2 (en) 2022-05-24
US20220014702A1 (en) 2022-01-13
CN113923386A (zh) 2022-01-11
US20220254044A1 (en) 2022-08-11
TW202202871A (zh) 2022-01-16
US11638073B2 (en) 2023-04-25
CN113923386B (zh) 2023-10-27
CN113985425A (zh) 2022-01-28
TWI793531B (zh) 2023-02-21

Similar Documents

Publication Publication Date Title
TWI773133B (zh) 測距裝置以及測距方法
CN104769389B (zh) 用于确定物体的三维坐标的方法和装置
JP5576726B2 (ja) 三次元計測装置、三次元計測方法、及びプログラム
EP2831537B1 (en) Apparatus, method and computer program for three-dimensional measurement
US10776898B2 (en) Projection system, image processing device and projection method
US10121246B2 (en) Measurement apparatus that obtains information of a shape of a surface using a corrected image and measurement method
JP7549025B2 (ja) 三次元計測装置
Ferstl et al. Learning Depth Calibration of Time-of-Flight Cameras.
JP6104662B2 (ja) 計測装置、方法及びプログラム
WO2020066236A1 (ja) 奥行取得装置、奥行取得方法およびプログラム
US10016862B2 (en) Measurement apparatus, calculation method, system, and method of manufacturing article
US11441896B2 (en) Inter-reflection detection apparatus and inter-reflection detection method
JP5122729B2 (ja) ３次元形状測定方法
US20220155056A1 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, program, and storage medium
KR20130041440A (ko) 영상 처리 장치 및 방법
JP7219034B2 (ja) 三次元形状測定装置及び三次元形状測定方法
WO2023286542A1 (ja) 物体検知装置および物体検知方法
KR101465996B1 (ko) 선택적 큰 주기를 이용한 고속 3차원 형상 측정 방법
WO2022209151A1 (ja) 三次元計測装置
JP2023068814A (ja) 距離測定装置、距離測定プログラム
JP2018179654A (ja) 距離画像の異常を検出する撮像装置
JP2001324313A (ja) 三次元形状計測装置
JP2003004425A (ja) 光学的形状測定装置
JP2008170282A (ja) 形状測定装置
JP7448824B2 (ja) 三次元計測システムおよび三次元計測方法