TWI745998B - 用於感測之方法及設備 - Google Patents

用於感測之方法及設備 Download PDF

Info

Publication number
TWI745998B
TWI745998B TW109119267A TW109119267A TWI745998B TW I745998 B TWI745998 B TW I745998B TW 109119267 A TW109119267 A TW 109119267A TW 109119267 A TW109119267 A TW 109119267A TW I745998 B TWI745998 B TW I745998B
Authority
TW
Taiwan
Prior art keywords
pri
sequence
pulses
range
points
Prior art date
Application number
TW109119267A
Other languages
English (en)
Other versions
TW202102877A (zh
Inventor
里瑞 毆吉爾
伯恩哈特 伯特吉恩
克里斯丹尼 L 尼可拉斯
瑞密 海澤
萬代新悟
達沙 雪絲沙
國雄 鍾
摩徐 萊芬菲德
Original Assignee
美商蘋果公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商蘋果公司 filed Critical 美商蘋果公司
Publication of TW202102877A publication Critical patent/TW202102877A/zh
Application granted granted Critical
Publication of TWI745998B publication Critical patent/TWI745998B/zh

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/26Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein the transmitted pulses use a frequency-modulated or phase-modulated carrier wave, e.g. for pulse compression of received signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/484Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4814Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/487Extracting wanted echo signals, e.g. pulse detection
    • G01S7/4876Extracting wanted echo signals, e.g. pulse detection by removing unwanted signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523Details of pulse systems
    • G01S7/524Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523Details of pulse systems
    • G01S7/526Receivers
    • G01S7/527Extracting wanted echo signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523Details of pulse systems
    • G01S7/526Receivers
    • G01S7/53Means for transforming coordinates or for evaluating data, e.g. using computers
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01SDEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00Semiconductor lasers
    • H01S5/10Construction or shape of the optical resonator, e.g. extended or external cavity, coupled cavities, bent-guide, varying width, thickness or composition of the active region
    • H01S5/18Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities
    • H01S5/183Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities having only vertical cavities, e.g. vertical cavity surface-emitting lasers [VCSEL]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/44Electric circuits
    • G01J2001/4446Type of detector
    • G01J2001/446Photodiode
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/10Details of telephonic subscriber devices including a GPS signal receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Aviation & Aerospace Engineering (AREA)

Abstract

感測設備包括一輻射源,該輻射源發射光學輻射之脈衝朝向一目標場景中之多個點。一接收器接收從該目標場景反射之該光學輻射,並且輸出信號,該等信號指示往返於在該目標場景中之該等點的該等脈衝之各別飛行時間。處理及控制電路系統從脈衝重複間隔(PRI)的一經准許範圍選擇一第一PRI及一第二PRI,該第二PRI大於該第一PRI,並驅動該輻射源以依該第一PRI發射該等脈衝之一第一序列,及依該第二PRI發射該等脈衝之一第二序列,以及處理回應於該等脈衝之該第一序列及該第二序列兩者而輸出之該等信號,以運算該目標場景中之該等點之各別深度座標。

Description

用於感測之方法及設備
本發明大致上係關於用於深度映射的系統及方法,且具體地係關於用於飛行時間(time-of-flight,ToF)感測的射束源。
現有及新興消費者應用已使得愈來愈需要即時三維(3D)成像器。這些成像裝置(亦稱為深度感測器或深度映射器)實現藉由用一光束照射目標場景並分析所反射光學信號,遠端測量在一目標場景中之各點的距離(且經常係強度),稱為目標場景深度。一種用來判定該目標場景上之各點的距離之常用技術涉及:將一或多個脈衝光束傳輸朝向該目標場景;隨後測量當該等光束從來源行進至該目標場景並回到相鄰於該來源的一偵測器陣列時,該等光束所花費的往返時間(即,飛行時間(ToF))。
一些ToF系統使用單光子崩潰二極體(single-photon avalanche diode,SPAD)(亦名為蓋格模式崩潰光二極體(Geiger-mode avalanche photodiode,GAPD))測量光子抵達時間。
下文之本發明的實施例提供改善的深度映射系統及用於操作此類系統的方法。
因此,根據本發明之一實施例,提供一種感測設備,其包括一輻射源,該輻射源經組態以發射光學輻射脈衝朝向一目標場景中之多個點。一接收器經組態以接收從該目標場景反射之該光學輻射,並回應於該所接收光學輻射而輸出信號,該等信號指示往返於在該目標場景中之該等點的該等脈衝之各別飛行時間。處理及控制電路系統經組態以:從脈衝重複間隔(pulse repetition interval,PRI)的一經准許範圍選擇一第一PRI及一第二PRI,該第二PRI大於該第一PRI,並驅動該輻射源以依該第一PRI發射該等脈衝之一第一序列,及依該第二PRI發射該等脈衝之一第二序列;以及回應於該等脈衝之該第一序列及該第二序列兩者而處理該接收器所輸出之該等信號,以運算該目標場景中之該等點之各別深度座標。
在所揭示的實施例中,該輻射源包括垂直腔表面發射雷射(vertical-cavity surface-emitting laser,VCSEL)的一陣列。此外或替代地,該輻射源包括一發射器陣列,該等發射器經配置成多個庫,且該處理及控制電路系統經組態以循序驅動該多個庫,使得各庫依該第一PRI及該第二PRI發射該等脈衝之各別第一序列及第二序列。再另外或替代地,感測元件包括單光子崩潰二極體(SPAD)。
在一些實施例中,該第一PRI定義一範圍限制,依該範圍限制,該等脈衝之一飛行時間等於該第一PRI,且該處理及控制電路系統經組態以比較該接收器回應於脈衝之該第一序列及該第二序列而輸出的該等信號,以辨別該場景中該等各別深度座標小於該範圍限制的該等點與該場景中該等各別 深度座標大於該範圍限制的該等點,從而解析該等深度座標之範圍摺疊。在一項此類實施例中,該處理及控制電路系統經組態以:針對該場景中之該等點之各者運算該第一序列及該第二序列中的該等脈衝之該等飛行時間的各別第一直方圖及第二直方圖;以及回應於該第一直方圖與該第二直方圖之間的一差異,而偵測該範圍摺疊已發生在一給定點處。
在一些實施例中,該設備包括一或多個無線電收發器,該一或多個無線電收發器藉由在至少一個所指派頻帶中接收信號而進行空中通訊,其中該處理及控制電路系統經組態以回應於該所指派頻帶而識別該等PRI之該經准許範圍。一般而言,該經准許範圍經定義使得該經准許範圍中的該等PRI不具有在所指派頻帶內的諧波。此外或替代地,該處理及控制電路系統經組態以:回應於該無線電收發器之該所指派頻帶的一變化而修改該經准許範圍;以及選擇該第一PRI與該第二PRI中之一或兩者的新值,使得該等新值落在該經修改範圍內。
在一所揭示之實施例中,該處理及控制電路系統經組態以:儲存該等PRI之多個群組的一記錄,識別該設備之一操作環境,以及回應於該所識別操作環境而選擇在驅動該輻射源時所要應用的該等群組之一者。該處理及控制電路系統可經組態以回應於該設備操作於其中之一地理區域而選擇該等群組之一者。此外或替代地,該等PRI的該等群組具有回應於干擾該無線電收發器所使用之頻率的一可能性而經指派的各別優先順序,且該處理及控制電路系統經組態以回應於該等各別優先順序而選擇該等群組之一者。在一實施例中,各群組中之該等PRI相對於該群組中之其他PRI互質。
在另一實施例中,該處理及控制電路系統經組態以:從該等PRI的該經准許範圍選擇一第三PRI,該第三PRI大於該第二PRI,並驅動該輻射源以依該第三PRI發射該等脈衝之一第三序列;以及回應於該等脈衝之該第一序列、該第二序列及該第三序列而處理該接收器所輸出之該等信號,以運算該目標場景中之該等點之各別深度座標。
此外或替代地,該處理及控制電路系統經組態以選擇該第一PRI及該第二PRI以最大化該深度座標之一範圍,同時維持該深度座標之解析度不大於一預定義解析度限制。
根據本發明之一實施例,亦提供一種用於感測的方法,其包括從脈衝重複間隔(PRI)的一經准許範圍選擇一第一PRI及一第二PRI。一輻射源經驅動以依該第一PRI發射光學輻射之脈衝之一第一序列及依該第二PRI發射該光學輻射之該等脈衝之一第二序列,朝向一目標場景中之多個點之各者。接收從該目標場景反射之該光學輻射,並回應於該所接收光學輻射而輸出信號,該等信號指示往返於在該目標場景中之該等點的該等脈衝之各別飛行時間。回應於該等脈衝之該第一序列及該第二序列兩者而處理該等信號,以運算該目標場景中之該等點之各別深度座標。
由本發明實施例之下列詳細說明、連同圖式將更完整地了解本發明,其中:
10:行動通訊裝置
12:無線電收發器
14:頻率控制器
20:深度相機
21:輻射源
22:二維陣列;發射器陣列
23:接收器
24:單光子崩潰二極體(SPAD)陣列
26:控制器
27:深度處理單元(DPU)
28:處理單元
29:外部控制信號
30:脈衝射束;光線
31:選擇線
32:場景;目標場景
33:笛卡兒座標系統
34:物鏡光學元件
35:組合單元
36:小區域
37:射束光學元件
38:小區域
40:主射線
54:垂直發射器;發射器
62:庫
62a:庫
62b:庫
62c:庫
62d:庫
64:基材
70:脈衝;經傳輸脈衝
72:脈衝;經反射脈衝
74:經反射脈衝
76:第一鋸齒波
78:第二鋸齒波
80:單一圖框
82:分段
84:分段
90:頻帶
92:諧波頻率
94:諧波頻率
100:頻率指派步驟
102:PRI清單產生步驟
104:第一PRI選擇步驟
106:第二PRI選擇步驟
107:進一步PRI選擇步驟
108:深度映射步驟
110:新頻率指派步驟
120:PRI編譯步驟
122:PRI排除步驟
124:群組建置步驟
130:起始PRI選擇步驟
132:進一步PRI選擇步驟
134:群組完成步驟
136:記錄完成步驟
D:距離
T:飛行時間T
Tj:時間
Tk:小時間
j:經反射脈衝
j+1:脈衝
k:經反射脈衝
〔圖1〕係示意地繪示根據本發明之一實施例之具有深度映射相機之行動通訊裝置的方塊圖;〔圖2〕係根據本發明之一實施例之一深度映射相機的示意截面圖;〔圖3〕係根據本發明之一實施例之可用於深度映射相機中之發射器陣列的示意性前視圖;〔圖4A〕、〔圖4B〕、〔圖4C〕及〔圖4D〕係示意地展示根據本發明之實施例之深度映射相機中之時序信號的繪圖;〔圖5〕係根據本發明之一實施例之示意地繪示使用發射器之多個庫的深度映射相機之操作的方塊圖;〔圖6〕係根據本發明之一實施例之示意地繪示參考一蜂巢式通訊頻帶所選擇的一對脈衝重複間隔之諧波頻率的繪圖;〔圖7〕係根據本發明之一實施例之示意地繪示用於選擇脈衝重複間隔以用於深度映射中之方法的流程圖;及〔圖8〕係根據本發明之另一實施例之示意地繪示用於選擇脈衝重複間隔以用於深度映射中之方法的流程圖。
概要
本發明之實施例提供以飛行時間為基礎的深度感測設備,其中一輻射源發射光學輻射之脈衝朝向一目標場景中之多個點。(在本說明書及申請專利範圍之上下文中,可互換使用用語「光學輻射(optical radiation)」與用語「光(light)」,以意指在任何可見光、紅外光及紫外光譜範圍之任何者中的電 磁輻射。)一接收器接收從該目標場景反射之該光學輻射,並且輸出信號,該等信號指示往返於在該目標場景中之該等點的該等脈衝之各別飛行時間。處理及控制電路系統驅動該輻射源,並處理由該接收器輸出之該等信號,以運算該目標場景中之該等點之各別深度座標。
此種類的設備通常遭受低信號/雜訊比(signal/noise ratio,SNR)之問題。為了增加SNR,該處理及控制電路系統在由該輻射源所發射的許多脈衝之序列收集及分析來自該接收器的信號。在一些情況中,該處理及控制電路系統運算從該目標場景中各點反射的脈衝之序列的飛行時間之直方圖,並使用直方圖之分析(例如,在各點處的直方圖模式)作為對應深度座標之一指示項。為了依合理圖框率(例如30個圖框/秒)產生及輸出深度座標,同時在許多脈衝之序列收集信號,希望該輻射源依一高脈衝重複頻率(pulse repetition frequency PRF)、或依一低脈衝重複間隔(PRI)發射脈衝序列。例如,該輻射源可依40至50ns的PRI輸出約1ns持續時間的脈衝。
然而,使用短PRI會導致範圍摺疊的問題:因為光學輻射依約30cm/ns傳播,所以當依40ns之PRI發射一序列中的脈衝從遠離該設備遠大於約6m的物體反射時,該所反射輻射將僅在已經由該輻射源發射下一脈衝之後才會到達該接收器。接著,該處理及控制電路系統無法判定是否所接收輻射由於來自一附近物體之反射而源自於最新近發射的脈衝,或由於一遠處物體而源自於該序列中較早發射之一脈衝。因此,該PRI有效地定義一範圍限制,該範圍極限與PRI成比例,且設定可由該設備感測的物體距離的一上界限。
本發明之實施例藉由相繼地使用二或更多個不同PRI而解決此問題。該處理及控制電路系統從PRI之一經准許範圍選擇(至少)第一PRI與第 二PRI。接著,該處理及控制電路系統驅動該輻射源以依一第一PRI發射該等脈衝之一第一序列,及依該第二PRI發射該等脈衝之一第二序列,以及回應於該等脈衝之該第一序列及該第二序列兩者而處理由該接收器輸出之該等信號,以運算該目標場景中之該等點之深度座標。該等序列可一個接一個予以傳輸,或該等序列可與交替地依該第一PRI及該第二PRI傳輸的脈衝交錯。雖然為了清楚起見,下文之實施例主要引用第一PRI及第二PRI,但是這些實施例之原理可容易地延伸至三或更多個不同PRI。
更具體而言,為了解析及釐清可能的範圍摺疊,該處理及控制電路系統比較該接收器回應於脈衝之該第一序列而輸出之該等信號與回應於該第二序列而輸出之該等信號,以辨別該場景中該等各別深度座標小於由該PRI所定義之該範圍限制的該等點與該場景中該等各別深度座標大於該範圍限制的該等點。例如,該處理及控制電路系統可針對該場景中之該等點之各者運算該第一序列及該第二序列中的該等脈衝之該等飛行時間的各別第一直方圖及第二直方圖。對於比該範圍限制更接近的物體而言,該兩個直方圖將大約相同。然而,超過該範圍限制的物體將回應於該第一脈衝序列及該第二脈衝序列的不同PRI而導致不同的直方圖。因此,該處理及控制電路系統能夠基於在該目標場景中之各點處的該第一直方圖與該第二直方圖之間的相似性或差異來偵測該範圍摺疊已發生在各點處。
另一問題發生在該深度感測設備被併入一行動通訊裝置(諸如智慧型手機)中時。該行動通訊裝置包含至少一個無線電收發器(且經常係多個無線電收發器),其藉由在一所指派頻帶(例如,由分布甚廣的用於蜂巢式通訊之LTE標準所定義之頻帶中之一者)中接收信號來進行空中通訊。此外, 所指派頻帶往往將隨著裝置從一個小區漫遊至另一小區而變化。同時,用來依高PRF來驅動該輻射源的短強電流脈衝的序列導致諧波,其中一些諧波可落在該收發器之所指派頻帶內。由於這些諧波所造成的雜訊會使該無線電收發器的該SNR嚴重劣化。
為了克服此問題,在本發明之一些實施例中,該處理及控制電路系統以避免干擾該無線電收發器之所指派頻帶的方式識別該等PRI之一經准許範圍,並且選擇在此經准許範圍內的該第一PRI值及該第二PRI值。換言之,該經准許範圍較佳地經定義使得在該經准許範圍中的該等PRI將不具有在所指派頻帶內的諧波。該經准許範圍可定義為例如經准許PRI值的一清單,或可選擇在該等PRI值內的一組間隔。此外或替代地,二或更多個PRI的多個群組可經預先定義並儲存在由該設備所保持之一記錄中。接著,可取決於該設備之無線電操作環境而識別及使用適當群組。
當該無線電收發器之該所指派頻帶改變時,該處理及控制電路系統將據此修改PRI值的該經准許範圍或群組。當需要時,該處理及控制電路系統將選擇一或所有PRI之新值,使得該等新值落在該經修改範圍內。可藉由應用預定義最佳化準則來選擇受制於這些範圍約束的PRI,例如,以最大化該等深度座標之該範圍,同時使該等深度座標之解析度維持在不大於一預定義解析度限制的值。
如前文所提及,雖然為了清楚起見,本文中之一些實施例係關於使用兩個PRI值的情境,本發明之原理可類似地應用於選擇及使用三個或更多個PRI值。使用在該經准許範圍之不同部分內的較大數目個PRI值可實用於增強深度映射的範圍與解析度。
系統描述
圖1係示意地繪示根據本發明之一實施例之行動通訊裝置10的方塊圖,該行動通訊裝置包括一以ToF為基礎的深度相機20。圖1中將裝置10展示為智慧型手機,但本發明之原理可類似地應用在任何種類的裝置中,依高脈衝重複率執行(一般而言但非排他地,透過蜂巢式網路)無線電通訊及光學感測。
裝置10包含多個無線電收發器12,該多個無線電收發器將無線電信號傳輸至各別網路及/或接收來自各別網路之無線電信號。例如,對於LTE蜂巢式網路而言,無線電信號可為數個不同頻帶之任何者,一般在介於800MHz與3000MHz之間的範圍中,取決於領地及服務類型。隨著裝置10漫遊,傳輸及接收信號的頻帶一般將會改變。在裝置10中之頻率控制器14選擇在任何給定時間由收發器12用於無線電通訊的頻率。
相機20藉由輸出光學脈衝串朝向一目標場景,並測量從該場景反射回至該相機的該等脈衝之飛行時間,而感測深度。參考以下圖式描述相機20之結構及操作的細節。
依相機20之脈衝重複頻率(PRF,其係脈衝重複間隔(PFI)的倒數)及依PRF的諧波兩者產生自相機20所發射之光學脈衝,導致在裝置10內之實質電雜訊。為了避免干擾收發器12的操作,頻率控制器14提供該等經准許PRI之電流範圍給相機20,該等經准許PRI之諧波完全落在收發器12目前用於傳輸及接收的該(等)頻帶之外。(替代地,該頻率控制器可向該相機通知該收發器目前用於傳輸及接收的該(等)頻帶,且該相機本身可依此為基礎來導出 經准許PRI之電流範圍。)該範圍可具有例如經准許PRI(或等效地,PRF)之清單或可在其內選擇PRI(或PRF)之一組間隔的形式。相機20從該經准許範圍選擇一對PRI,該對PRI將給出最佳深度映射效能,或可能三或更多個PRI,而因此避免干擾裝置10通訊。以下說明用於選擇之準則及程序的細節。
圖2係根據本發明之一實施例之深度相機20的示意截面圖。相機20包含一輻射源21,該輻射源發射M個別脈衝射束(例如,M可係約500)。該輻射源包含配置成二維陣列22的發射器,該二維陣列可與射束光學元件37一起分組成多個庫(如在圖3中詳細展示)。發射器一般包含固態裝置,諸如垂直腔表面發射雷射(VCSEL)或其他種類的雷射或發光二極體(light-emitting diode,LED)。藉由控制器26驅動該等發射器以依兩個不同PRI發射光學脈衝,如下文進一步的說明。
射束光學元件37一般包含準直透鏡並可包含繞射光學元件(diffractive optical element,DOE),其複製藉由陣列22發射的實際射束,以產生投射至場景32上的M個射束。(例如,可使用含四個庫的一陣列(其中各庫中具有呈在4×4配置的16個VCSEL)以產生8×8射束,且一繞射光學元件可將各射束分離成3×3個複製品,以給出總共24×24個射束。)為了簡化起見,未展示射束光學器件37之這些內部元件。
相機20中的接收器23包含一二維偵測器陣列,諸如SPAD陣列24,連同J個處理單元28及用於將該等處理單元耦合至該等SPAD的選擇線31。一組合單元35將處理單元28的數位輸出傳遞至控制器26。SPAD陣列24包含數個偵測器元件N,其可等於M或可能遠大於M,例如100×100個像素或200× 200個像素。處理單元28的數目J取決於各處理單元所耦合至的SPAD陣列24之像素數目。
陣列22發射光之M個脈衝射束30,該等脈衝射束由射束光學元件37導引朝向一目標場景32。雖然圖2將射束30描繪為恆定寬度的平行射束,然而各射束依繞射所支配而發散。此外,射束30彼此發散,以便覆蓋場景32之所需區域。場景32反射或以其他方式散射照射在該場景上的彼等射束30。經反射及經散射的射束被物鏡光學元件34(圖2中以透鏡表示)收集,其在陣列24上形成場景32的影像。因此,例如,在一射束30a已照射在其上的場景32上之小區域36被成像至SPAD陣列24上的小區域38上。
一種笛卡兒座標系統33定義深度相機20及場景32之定向。x軸及y軸經定向在SPAD陣列24的平面中。z軸垂直於陣列,且指向被成像至SPAD陣列32上的場景32。
為了清楚起見,處理單元28經展示為猶如與SPAD陣列24分開,但其等通常與該堆疊陣列整合。同樣地,組合單元35通常與SPN陣列24整合。與組合單元35連同處理單元28一起構成硬體放大與邏輯電路,該等硬體放大與邏輯電路感測及記錄由各別像素或像素群組中的SPAD所輸出之脈衝(稱為「超像素」)。因此,這些電路測量導致該等脈衝的該等光子之抵達時間,以及照射在SPAD陣列24上之光學脈衝的強度。
處理單元28與組合單元35一起可組譯由陣列22所發射之多個脈衝的時間的抵達時間之一或多個直方圖,且因此輸出信號,該等信號指示距離在場景32中之各別點的距離以及信號強度。可用於此目的之電路系統係描述於例如美國專利申請公開案第2017/0176579號,茲將該案之揭露內容以引用方式 併入本文中。替代地或此外,處理單元28及組合單元35之一些或全部組件可與SPN陣列24分開,並可例如與控制器26整合。為了一般性,控制器26、處理單元28及組合單元35在本文中統稱為「處理及控制電路系統」。
控制器26耦合至輻射源21及接收器23兩者。控制器26依適當的PRI交替地驅動陣列22中的發射器庫,以發射脈衝射束。該控制器亦提供一外部控制信號29至接收器23中的處理單元及組合單元,並接收來自該等處理單元及組合單元之輸出信號。輸出信號可包含直方圖資料,且可由控制器26使用,以導出入射時間及信號強度兩者。控制器26從由VCSEL陣列22發射射束30的時序及從由M個處理單元28所測量到的抵達時間來計算M個射束的飛行時間,且因此映射至場景32中之對應M個點的距離。
在一些實施例中,為了最佳地運用可用的感測及處理資源,控制器26識別由透鏡34將從目標場景32之對應區域反射的光學輻射之脈衝成像於其上的SPAD陣列24之各別區域,並且選取對應於這些區域的超像素。由在這些區域外的感測元件所輸出之信號未被使用,且因此可例如藉由減少或關斷至這些感測元件的偏壓電壓來停用這些感測元件。
為了清楚起見,圖2中,發射器陣列22及SPAD陣列24的尺寸已相對於場景32放大。發射器陣列22及SPAD陣列24的側向離距(稱為「基線」)實際上遠小於從發射器陣列22至場景32的距離。因此,來自場景32至SPAD陣列24之一主射線40(通過物鏡光學元件34之中心的射線)幾乎平行於光線30,導致僅小量的視差。
控制器26一般包含一可程式化處理器,該可程式化處理係以軟體及/或韌體予以程式化以實行本文中所述之功能。替代地或另外地,控制器26 包含實行該控制器之至少一些功能的硬接線與/或可程式化硬體邏輯電路。雖然為了簡單起見,圖式中將控制器26展示為單一單塊功能區塊,實務上,該控制器可包含一單一晶片或一組二或更多個晶片,其等具有用於接收及輸出圖中所繪示及本文所描述之信號的合適介面。
控制器26之功能單元之一者係接收及處理來自兩個處理單元28之信號的深度處理單元(depth processing unit,DPU)27。DPU 27計算出射束30之各者中的光子之飛行時間,從而映射距離目標場景32中之對應點的距離。此映射係基於由發射器陣列22發射射束30之時序及由處理單元28所測量到的抵達時間(即,反射光子的入射時間)。在釐清可發生的任何「範圍摺疊」時,DPU 27使用依發射器陣列22的兩個不同PRI所累積的直方圖,如下文參照圖4所解釋。控制器26一般將深度座標儲存在記憶體中,且可輸出對應的深度圖以用於顯示及/或進一步處理。
圖3係根據本發明之一實施例之一射束源21中之發射器陣列22的示意前視圖。在一基材64(諸如半導體晶片)上,垂直發射器54的四個庫62a、62b、62c及62d交錯為交替的垂直條帶。各庫包含若干條帶,該等條帶在該基板上與在另一庫中的條帶交替。替代地,可使用其他交錯方案。發射器54發射各別射束30朝向光學元件37,該等光學元件準直並投射該等射束朝向目標場景。在一典型實施方案中,發射器54包含VCSEL,該等VCSEL係藉由電脈衝所驅動,該等電脈衝係約1ns寬、具有尖銳的上升及下降邊緣,且具有超過1A的峰值脈衝電流,且具有約40ns的PRI。替代地,取決於應用需求,可使用其他時序及電流參數。
為了能夠在不同庫之間進行選擇及切換,陣列22可安裝在一驅動器晶片(未圖示)上,例如,具有用於選擇及驅動個別VCSEL或VCSEL庫的CMOS電路的矽晶片。在此情況中,VCSEL庫可經實體分離,以易於製造及控制,或可在VCSEL晶片上與至驅動器晶片的適當連接件交錯,以實現交替地致動該等庫。因此,射束30同樣地依時間多工圖案幅照目標場景,其中不同組的射束在不同時間照射在場景之各別區域上。
作為所圖示之實施例的進一步替代方案,陣列22可包含較大或較小數目個庫及發射器。一般而言,為了用靜態(非掃描)射束充分覆蓋目標場景,陣列22包含至少四個庫62,各庫中具有至少四個發射器54,且可能具有一DOE以供分裂由該等發射器之各者所發射的輻射。為了更密集的覆蓋,陣列22包含至少八個庫,各庫中具有二十個或更多個發射器。這些選項增強相機20在光學時間多工及電力預算以及處理資源的靈活性。
PRI選擇及控制
圖4A係示意地展示根據本發明之一實施例之深度相機20中之時序信號的繪圖。在此實例中,控制器26已選擇兩個不同PRI:PRI1=40ns,及PRI2=44ns。該控制器驅動發射器54交替地依PRI1發射脈衝序列且依PRI2發射脈衝序列。PRI1導致相機20的約6m之範圍限制75。在此圖所示之實施例中,依PRI1及PRI2的脈衝之飛行時間係藉由時間數位轉換器(time-to-digital converter,TDC)來測量,其中該兩個PRI具有相同斜率,意指依該兩個PRI的時間解析度皆相同。
在所圖示之情境中,輻射源22傳輸一脈衝70。在小距離(例如,與相機20相距2.4m)處的物體傳回一經反射脈衝72在16ns的飛行時間之後到達接收器23。為了測量ToF,接收器23計數介於經傳輸脈衝70與接收到經反射脈衝72之間所歷時的時間。圖4A中由第一鋸齒波76表示用於依PRI1之脈衝序列的計數值,而由第二鋸齒波78表示依PRI2的脈衝序列之值。該兩個鋸齒波波形的形狀相同,但由於PRI的差異而在連續波形之間有間隔偏移。因此,對於經反射脈衝72,依PRI1和PRI2兩者中測量該兩個脈衝序列中的16ns之ToF將相同。在此實施例中,各鋸齒波後續接著重設週期,以用於TDC重同步化之目的。
另一方面,在大於範圍限制的距離(例如,與相機20相距8.4m)處的物體傳回的一經反射脈衝74將在56ns的ToF之後到達接收器23。因此,在輻射源22已經傳輸序列中的下一脈衝之後,且在由鋸齒波76及鋸齒波78所表示之計數器已歸零之後,脈衝74到達該接收器。因此,在依PRI1的序列期間,接收器23將記錄脈衝74的16ns之ToF。然而,因為依PRI2的序列期間PRI較大,所以在此序列期間,該接收器將記錄12ns的ToF。
圖4B及圖4C係示意地展示根據本發明之其他實施例之深度相機20中之時序信號的繪圖。這些時序方案的操作相似於上文參照圖4A所描述者,但不使用TDC重設時期。在圖4B之實施例中,對於依PRI1的鋸齒波76及依PRI2的較長鋸齒波78兩者,該等TDC使用相同計數解析度(相同的最大數目個計數)。此方法有利於減少在直方圖累積中使用的記憶體位元子(memory bin)的數目。在圖4C之實施例中,該等TDC依PRI1及PRI2用相同的絕對時間解析度來 偵測光子抵達時間,意指可增強深度解析度,然而代價是使用較大數目個直方圖區間(histogram bin)。
在處理時,ToF導致上述方案之任何者,在依兩個不同PRI值的脈衝序列期間,控制器26將偵測到在場景32中具有兩個不同ToF值的一特定點。這兩個不同的ToF值係藉由PRI值之間的差異(4ns)而分開。以此方式,控制器26能夠偵測此點發生的範圍摺疊。因此,該控制器辨別該場景中其之各別深度座標小於範圍限制75的點與該場景中其之各別深度座標大於該範圍限制的點,從而解析該等深度座標的範圍摺疊。取決於PRI值(或等效地,PRF值的拍頻)之間的差異,控制器26可能能夠辨別多個不同之範圍限制75,且因此甚至更遠地延長偵測範圍。
圖4D係示意地展示根據本發明之又另一實施例之深度相機20中之時序信號的繪圖。在此實例中,控制器26選擇三或多個不同PRI:PRI1、PRI2、PRI3、...、PRIk。該控制器驅動輻射源22以交替地依不同PRI循序傳輸脈衝70。假設在此情況中的物體係處於一距離D(對應於飛行時間T),其超出隨機的摺疊限制,使得各經反射脈衝72在已傳輸下一經傳輸脈衝70之後才到達接收器23。換言之,各經反射脈衝j在已傳輸脈衝j+1之後的時間Tj到達該接收器。藉由式:T=T1+PRI1=T2+PRI2=T3+PRI3,給出距離物體的實際距離(就飛行時間而論)。
接收器23可在每一經傳輸脈衝70之後立即經歷「死區」(dead zone),其中由於相機20內之散雜反射,而使該接收器無法偵測從目標物體反射之脈衝。圖4D中藉由上一經反射脈衝k例示此死區之實例,該上一經反射脈衝在下一經傳輸脈衝之後的一段小時間Tk達到接收器23。因此,控制器26可忽略 在死區內由該接收器所輸出的信號。使用三或更多種不同PRI(如在本實例中)有利於避免由此種類的死區所造成的歧義並增強深度測量的準確度。當使用三或更多個不同PRI時,亦可能選擇相對較短的PRI值而不會有由於範圍摺疊及死區造成歧義的風險,因此增加諧波之頻率並減少干擾無線電收發器12(圖1)的可能性。
有利的是選擇在圖4D所示種類的方案中一起使用的PRI值,使得各PRI(PRI1、PRI2、PRI3...)相對於其他PRI互質(意指任何對PRI之最大公因數係1)。在此情況中,根據中國餘式定理(Chinese Remainder Theorem),給定組的測量T1、T2、T3、...、將恰好具有一個獨特的解法T,如同上文所呈現之式,而無論範圍摺疊。
圖5係示意地繪示根據本發明之一實施例之使用發射器之多個庫的相機20之操作的方塊圖,諸如在圖3中的發射器54的庫62。控制器26循序地驅動庫62,使得各庫相繼地依該兩個不同PRI發射脈衝的各別序列。替代地,此實施例之原理可延伸以驅動庫62以依三或更多個不同PRI發射脈衝。
圖5展示相機22在深度圖產生的單一圖框80期間的操作,例如33ms的週期。圖框80被劃分成八個分段82、84、...、,其中兩個連續分段分配給四個庫62a、62b、62c及62d之各者。在第一分段82期間,第一庫(例如,庫62a)依由PRI1所給定之間隔傳輸一脈衝序列,後續接著在分段84中依PRI2給定的間隔傳輸一脈衝序列。在各此類分段期間,接收器23產生用於SPAD陣列24中已接收到從目標場景32中之點反射之脈衝的像素(或超像素)的ToF直方圖。因此,控制器26將在各圖框80中接收關於被庫62a幅照的場景32中之點的 兩個ToF直方圖。然後,控制器26可比較兩個直方圖,以釐清任何範圍摺疊(如上文所解釋),且因此將ToF直方圖轉換成精確的深度座標。
針對其他的庫62b、62c及62d之各者,重複依PRI1及PRI2傳輸脈衝序列之此程序,且因此控制器26接收用於接收器23中之對應像素組的雙直方圖及擷取深度座標。控制器26組合在發射器之所有四個庫中產生的深度座標,以建立並輸出場景32的完整深度圖。
雖然圖5繪示藉由依PRI1與PRI2分開地收集直方圖來擷取圖框資料,但在替代實施例中,可在相同直方圖中以同時或交替方式收集ToF資料,而針對各庫僅一次讀出(例如繼圖5中的區塊84之後)。在此情況中,直方圖將包括對應於PRI值兩者的峰。如在圖5之實施例中,在直方圖資料可無歧義地指派給特定PRI的意義上,使用兩個直方圖的讀數提供更多資訊。此外,因為較短的暴露時間,所以ToF資料較不會受到環境雜訊影響,因此改善範圍摺疊可偵測性。另一方面,相對於使用PRI兩者的單一讀數,此情況所需的額外讀數耗時且因此減少光子計數。
圖6係根據本發明之一實施例之示意地繪示參考一蜂巢式通訊頻帶90所選擇的一對脈衝重複間隔之諧波頻率92、94的繪圖。在此實例中,頻率控制器14已接收頻率頻譜中之頻帶90的指派,且已將不會產生在頻帶90內之任何諧波的經准許PRI值之清單輸出給相機20。控制器26從經准許值清單選擇脈衝率間隔PRI1及PRI2。結果,諧波頻率92及94完全落在頻帶90之外,因此最小化對收發器12之效能的任何可能干擾。
圖7係根據本發明之一實施例之示意地繪示用於選擇脈衝重複間隔以用於深度映射中之方法的流程圖。為了清楚及具體,將參考裝置10(圖 1)的組件來描述該方法。然而,此方法之原理可類似地應用於其他裝置中,該等裝置組合無線電通訊及脈衝測距測量之功能。
在頻率指派步驟100,頻率控制器14識別收發器12在其上進行通訊的射頻頻帶。基於此指派,在PRI清單產生步驟102,該頻率控制器運算不具有在該經指派射頻頻帶中的諧波之一PRI清單。替代地,頻率控制器14可運算及輸出可用的PRI值。另外,交替地,頻率控制器14可將該射頻頻帶之指派傳達給相機20,及然後控制器26可運算可用PRI的清單。
在第一PRI選擇步驟104,相機20之控制器26從該清單選擇一第一PRI值(PRI1),及在第二PRI選擇步驟106,選擇一第二PRI值(PRI2)。可選地,在進一步PRI選擇步驟107,控制器26可選擇一或多個額外PRI值,至多PRIk。在選擇該等PRI值時,該控制器可應用任何適合的最佳化準則。例如,控制器26可選擇PRI1及PRI2以最佳化SNR及最大化可藉由相機20測量的深度座標之範圍,同時使深度座標之解析度維持在不大於(即,未更糟)一預定義解析度限制。此方面可應用的準則包括:
●最佳化PRI差異,以最大化長程的可偵測性與可測量性,同時取決於所要覆蓋之最小範圍,設定PRI的下界限。
●最佳化與無線電收發器12之相容性,其包括:
○保證不干擾收發器12。
○探索蜂巢頻率頻道變化的先驗知識(基於在某些環境中之頻道使用的可能性,若可能)。
○從統計觀點選擇涵蓋多樣性無線頻道的PRI,以最小化PRI之潛在重指派。
○只要有可能,使用避免需要在裝置10內切換內部同步電路的PRI,以避免會引入暫態深度誤差的擷取延遲及時序變化。
○每當內部同步頻率需要改變,最小化步進大小,以最小化暫態深度誤差。
以上準則僅舉實例而言予以呈現,且可取決於系統設計及操作環境,使用替代的最佳化準則。下文參照圖8來說明一種用於選擇可有利地一起使用之PRI值群組的一種系統性方法。
在深度映射步驟108,繼選擇PRI值之後,相機20藉由相繼地依PRI1及PRI2發射脈衝序列來擷取深度資料,如上文所解說。
在新頻率指派步驟110,相機20一般繼續以所選取成對之PRI值操作,直到頻率控制器14指派新頻帶以供收發器12進行通訊。在此情況中,該方法返回至步驟100,其中頻率控制器14修改相機20之該經准許PRI範圍。然後,控制器26將選擇PRI1及PRI2之一或兩者的新值,使得該等新值落在該經修改範圍內。繼續使用這些新值來操作相機20。
圖8係根據本發明之另一實施例之示意地繪示用於選擇脈衝重複間隔以用於深度映射中之方法的流程圖。如前文所提及,此特定方法之原理可整合至上文所述之更一般方法中。
具體而言,圖8之方法建構互相容的PRI值的群組,且使控制器26能夠儲存這些群組的記錄。(該方法可由控制器26本身實行,但更典型地,記錄可藉由一般用途電腦離線地產生,然後儲存在可由控制器存取的記憶體中。)在任何給定時間,然後,控制器26可識別行動通訊裝置10之操作環境(諸如該裝置於其中操作的地理區域),並且可基於操作環境的特性來選擇 PRI群組以應用於驅動輻射源21。例如,若控制器26發現某些頻帶通常用於在給定環境中進行無線電通訊,則控制器可接著選擇一PRI群組,以減少干擾此等頻帶之可能性。該控制器可例如藉由分析收發器12的操作或基於接收自外部來源之資訊來導出此資訊。
在典型使用中,行動通訊裝置10包含多個收發器,該等收發器同時在不同頻帶中操作,諸如:在1.5至1.7GHz之範圍中操作的全球定位系統(Global Position System,GPS);在約2.4GHz及5GHz的頻道上操作的無線區域網路(Wi-Fi);及介於600MHz與5GHz之間的各種蜂巢頻帶。在選擇PRI值群組中,控制器26可給出某些頻率的優先順序,使得避免具有在高優先順序無線電頻帶中的諧波之PRI。例如,因為GPS信號弱且需要敏感接收器,所以GPS頻帶將具有高優先順序。用於關鍵傳訊的蜂巢頻道以及更易受到干擾的較低蜂巢頻率範圍也可被排定優先順序。Wi-Fi頻道可具有較低優先順序,只要對於任何給定的PRI值而言,有未受干擾的至少一個Wi-Fi頻道。
在圖8的方法中,電腦開始於在PRI編譯步驟120編譯可由相機20支援的所有可能PRI值的清單。在PRI排除步驟122,電腦接著排除某些PRI值,該等PRI值的諧波容易對某些目標射頻造成電磁干擾(EMI)。例如,電腦可排除:
●具有在一或多個GPS頻帶或頻帶中的諧波之PRI值。
●具有將干擾關鍵蜂巢頻道及/或高優先順序蜂巢頻帶的諧波之PRI值。
●具有將干擾Wi-Fi頻道之整個頻帶的諧波之PRI值。
在群組建置步驟124,從步驟122之後剩餘的PRI值清單開始,電腦建置互相容之PRI值群組。各個此類群組將包括k個成員,其中k
Figure 109119267-A0305-02-0023-1
2。控制 器26儲存這些群組的記錄。在行動通訊裝置10的操作期間,然後,控制器將例如基於實際上由收發器12所使用的操作環境及射頻來選擇待在相機20中使用的PRI值群組中之一者,如上文所解說。
在步驟124,可採用各種方法來建置PRI值的群組。在本實施例中,例如,該電腦開始於在起始PRI選擇步驟130選擇清單中剩餘的最大PRI值。然後,在進一步PRI選擇步驟132,電腦搜尋與已選擇用於包含在此群組中的其他值互質的另一較小PRI值。電腦開始於搜尋接近已在群組中的值的PRI值,同時確保群組中的任何PRI之諧波皆不會干擾至少一個Wi-Fi頻帶。在步驟132中不選擇未滿足此後者需求的PRI值。在群組完成步驟134,持續反覆地新增及評估用於併入於本群組中之PRI值之程序,直到該群組具有k個成員PRI值。
在已組譯給定群組之k個PRI值後,電腦返回至步驟130,以建構下一群組之PRI值。在記錄完成步驟136,建置PRI群組的程序繼續進行直到已建構及儲存足夠數目個群組。例如,電腦可檢查各群組中的PRI之諧波,以確保對於可由收發器12使用的各射頻頻帶(包括蜂巢頻帶及Wi-Fi頻帶),有至少一群組的PRI值將不干擾該頻帶。接著,控制器26將能夠在步驟126選擇適當的PRI群組,以適應在任何給定時間使用的實際射頻。
當理解上述實施例係經由實例方式引用,且本發明並未受限於上文已具體顯示及敘述者。毋寧說,本發明的範圍包括上述各種特徵的組合及子組合兩者以及所屬技術領域中具有通常知識者一經閱讀前文敘述所發想且未經先前技術揭示的變化與修改。
10:行動通訊裝置
12:無線電收發器
14:頻率控制器
20:深度相機

Claims (18)

  1. 一種感測設備,其包含:一輻射源,其經組態以朝向一目標場景中之多個點發射光學輻射脈衝;一接收器,其經組態以接收從該目標場景反射之該光學輻射,並回應於所接收之該光學輻射而輸出信號,該等信號指示往返於在該目標場景中之該等點的該等脈衝之各別飛行時間;一無線電收發器,其經組態以藉由在一所指派頻帶中接收信號而進行空中通訊;及處理及控制電路系統,其經組態以:從脈衝重複間隔(PRI)的一經准許範圍選擇一第一PRI及一第二PRI,該第二PRI大於該第一PRI,並驅動該輻射源以依該第一PRI發射該等脈衝之一第一序列,及依該第二PRI發射該等脈衝之一第二序列;以及回應於該等脈衝之該第一序列及該第二序列兩者而處理該接收器所輸出之該等信號,以運算該目標場景中之該等點之各別深度座標,其中該處理及控制電路系統經組態以回應於該所指派頻帶而識別該等PRI之該經准許範圍。
  2. 如請求項1之設備,其中該輻射源包含垂直腔表面發射雷射(VCSEL)的一陣列。
  3. 如請求項1之設備,其中該輻射源包含一發射器陣列,該等發射器經配置成多個庫,且其中該處理及控制電路系統經組態以循序驅動該多個庫,使得各庫依該第一PRI及該第二PRI發射該等脈衝之各別第一序列及第二序列。
  4. 如請求項1之設備,其中該等感測元件包含單光子崩潰二極體(SPAD)。
  5. 如請求項1之設備,其中該第一PRI定義一範圍限制,依該範圍限制,該等脈衝之一飛行時間等於該第一PRI,且其中該處理及控制電路系統經組態以比較該接收器回應於脈衝之該第一序列及該第二序列而輸出的該等信號,以辨別該場景中該等各別深度座標小於該範圍限制的該等點與該場景中該等各別深度座標大於該範圍限制的該等點,從而解析該等深度座標之範圍摺疊。
  6. 如請求項5之設備,其中該處理及控制電路系統經組態以:針對該場景中之該等點之各者運算該第一序列及該第二序列中的該等脈衝之該等飛行時間的各別第一直方圖及第二直方圖;以及回應於該第一直方圖與該第二直方圖之間的一差異,而偵測該範圍摺疊已發生在一給定點處。
  7. 如請求項1至6中任一項之設備,其中該經准許範圍經定義使得該經准許範圍中的該等PRI不具有在該所指派頻帶內的諧波。
  8. 如請求項1至6中任一項之設備,其中該處理及控制電路系統經組態以:回應於該無線電收發器之該所指派頻帶的一變化而修改該經准許範圍;以及選擇該第一PRI與該第二PRI中之一或兩者的新值,使得該等新值落在經修改之該範圍內。
  9. 如請求項1至6中任一項之設備,其中該處理及控制電路系統經組態以:儲存該等PRI之多個群組的一記錄,識別該設備之一操作環境,以及回應於所識別之該操作環境而選擇在驅動該輻射源時所要應用的該等群組之一者。
  10. 如請求項9之設備,其中該處理及控制電路系統經組態以回應於該設備操作於其中之一地理區域而選擇該等群組之一者。
  11. 如請求項9之設備,其中該等PRI的該等群組具有回應於干擾該無線電收發器所使用之頻率的一可能性而經指派的各別優先順序,且其中該處理及控制電路系統經組態以回應於該等各別優先順序而選擇該等群組之一者。
  12. 如請求項9之設備,其中各群組中的該等PRI相對於該群組中之其他PRI互質。
  13. 如請求項1至6中任一項之設備,其中該處理及控制電路系統經組態以:從該等PRI的該經准許範圍選擇一第三PRI,該第三PRI大於該第二PRI,並驅動該輻射源以依該第三PRI發射該等脈衝之一第三序列;以及回應於該等脈衝之該第一序列、該第二序列及該第三序列而處理該接收器所輸出之該等信號,以運算該目標場景中之該等點之該等各別深度座標。
  14. 如請求項1至6中任一項之設備,其中該處理及控制電路系統經組態以選擇該第一PRI及該第二PRI以最大化該等深度座標之一範圍,同時維持該等深度座標之解析度不大於一預定義解析度限制。
  15. 一種用於感測的方法,其包含:從脈衝重複間隔(PRI)的一經准許範圍選擇一第一PRI及一第二PRI,該第二PRI大於該第一PRI;驅動一輻射源以朝向一目標場景中之多個點之各者,依該第一PRI發射光學輻射之脈衝之一第一序列及依該第二PRI發射該光學輻射之該等脈衝之一第二序列; 接收從該目標場景反射之該光學輻射,並回應於所接收之該光學輻射而輸出信號,該等信號指示往返於在該目標場景中之該等點的該等脈衝之各別飛行時間;及處理回應於該等脈衝之該第一序列及該第二序列兩者而輸出之該等信號,以運算該目標場景中之該等點之各別深度座標,其中選擇該第一PRI與該第二PRI包含:回應於一無線電收發器之一所指派頻帶而識別該等PRI之一經准許範圍,該無線電收發器在鄰近該輻射源時在該所指派頻帶中進行空中通訊;以及從經准許範圍選擇該第一PRI與該第二PRI。
  16. 如請求項15之方法,其中該第一PRI定義一範圍限制,依該範圍限制,該等脈衝之一飛行時間等於該第一PRI,且其中處理該等信號包含:比較回應於脈衝之該第一序列及該第二序列而輸出的該等信號,以辨別該場景中該等各別深度座標小於該範圍限制的該等點與該場景中該等各別深度座標大於該範圍限制的該等點,從而解析該等深度座標之範圍摺疊。
  17. 如請求項15或16之方法,其中該經准許範圍經定義使得該經准許範圍中的該等PRI不具有在所指派頻帶內的諧波。
  18. 如請求項15或16之方法,且包含從該等PRI的該經准許範圍選擇一第三PRI,該第三PRI大於該第二PRI,其中驅動該輻射源包含依該第三PRI引導該等脈衝之一第三序列朝向該目標場景,且其中處理該等信號包含使用回應於該等脈衝之該第一序列、該第二序列及該第三序列而輸出之該等信號,以運算該目標場景中之該等點之該等各別深度座標。
TW109119267A 2019-06-10 2020-06-09 用於感測之方法及設備 TWI745998B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962859211P 2019-06-10 2019-06-10
US62/859,211 2019-06-10

Publications (2)

Publication Number Publication Date
TW202102877A TW202102877A (zh) 2021-01-16
TWI745998B true TWI745998B (zh) 2021-11-11

Family

ID=70975725

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109119267A TWI745998B (zh) 2019-06-10 2020-06-09 用於感測之方法及設備

Country Status (5)

Country Link
US (1) US11500094B2 (zh)
EP (2) EP4050369B1 (zh)
KR (2) KR102433815B1 (zh)
CN (1) CN112068149B (zh)
TW (1) TWI745998B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3646057A1 (en) 2017-06-29 2020-05-06 Apple Inc. Time-of-flight depth mapping with parallax compensation
CN111684304B (zh) * 2017-12-04 2024-06-04 ams国际有限公司 距离飞行时间模组
KR102403544B1 (ko) 2017-12-18 2022-05-30 애플 인크. 방출기들의 어드레스가능 어레이를 사용하는 비행 시간 감지
US11587247B1 (en) 2019-04-03 2023-02-21 Meta Platforms Technologies, Llc Synchronous event driven readout of pixels in a detector for direct time-of-flight depth sensing
US11500094B2 (en) * 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
US11480684B2 (en) 2020-06-18 2022-10-25 Meta Platforms Technologies, Llc Time of flight depth system including an illumination source with addressable illumination blocks
US11747438B1 (en) * 2021-01-07 2023-09-05 Bae Systems Information And Electronic Systems Integration Inc. Cognitive electronic warfare scheduler
CN112817010A (zh) * 2021-02-08 2021-05-18 深圳市灵明光子科技有限公司 投射装置、三维成像系统、三维成像方法及电子产品
CN113406637B (zh) * 2021-06-23 2022-11-01 电子科技大学 一种基于双频窄带信号的联合迭代层析成像方法
CN117546040A (zh) * 2021-06-29 2024-02-09 索尼半导体解决方案公司 光检测装置、光检测系统及光检测方法
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
CN117368854A (zh) * 2022-06-30 2024-01-09 华为技术有限公司 一种多目标检测装置、检测方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110006190A1 (en) * 2009-07-10 2011-01-13 Motorola, Inc. Devices and Methods for Adjusting Proximity Detectors
EP2469297A1 (de) * 2010-12-21 2012-06-27 Riegl Laser Measurement Systems GmbH Verfahren zur Entfernungsmessung mittels Laserimpulsen
TW201602611A (zh) * 2014-03-28 2016-01-16 英特爾股份有限公司 使用微功率脈衝雷達之移動顯示位置與方向的測定
EP3285087A1 (en) * 2016-08-19 2018-02-21 ams AG Sensor arrangement and method for determining time-of-flight
TWI661211B (zh) * 2017-12-08 2019-06-01 財團法人工業技術研究院 距離感測裝置及其方法

Family Cites Families (212)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6384903B1 (en) 1977-02-28 2002-05-07 Bae Systems Information And Electronic Systems Integration, Inc. Range gated remote measurement utilizing two-photon absorption
US4623237A (en) 1984-07-07 1986-11-18 Canon Kabushiki Kaisha Automatic focusing device
US4757200A (en) 1986-07-28 1988-07-12 Visidyne, Inc. Pulsed radiation detection system
GB8902080D0 (en) 1989-01-31 1989-03-22 York Ltd Optical detection apparatus for counting optical photons
JPH02287113A (ja) 1989-04-27 1990-11-27 Asahi Optical Co Ltd 測距装置
US5373148A (en) 1989-10-30 1994-12-13 Symbol Technologies, Inc. Optical scanners with scan motion damping and orientation of astigmantic laser generator to optimize reading of two-dimensionally coded indicia
US5164823A (en) 1990-12-21 1992-11-17 Kaman Aerospace Corporation Imaging lidar system employing multipulse single and multiple gating for single and stacked frames
JPH0567195A (ja) 1991-09-05 1993-03-19 Matsushita Electric Ind Co Ltd 形状測定装置
US5270780A (en) 1991-09-13 1993-12-14 Science Applications International Corporation Dual detector lidar system and method
CA2605339C (en) * 1993-04-12 2008-09-30 The Regents Of The University Of California Ultra-wideband radar motion sensor
JP3240835B2 (ja) 1994-06-09 2001-12-25 株式会社日立製作所 車両用距離計測装置
JPH09197045A (ja) 1996-01-24 1997-07-31 Nissan Motor Co Ltd 車両用レーダ装置
JPH10170637A (ja) 1996-12-16 1998-06-26 Omron Corp 光走査装置
JPH1163920A (ja) 1997-08-26 1999-03-05 Matsushita Electric Works Ltd 光走査式変位測定装置
JP3832101B2 (ja) 1998-08-05 2006-10-11 株式会社デンソー 距離測定装置
IT1316793B1 (it) 2000-03-09 2003-05-12 Milano Politecnico Circuito monolitico di spegnimento attivo e ripristino attivo perfotodiodi a valanga
JP4595197B2 (ja) 2000-12-12 2010-12-08 株式会社デンソー 距離測定装置
US6771103B2 (en) 2001-03-14 2004-08-03 Denso Corporation Time measurement apparatus, distance measurement apparatus, and clock signal generating apparatus usable therein
US6486827B2 (en) 2001-04-18 2002-11-26 Raytheon Company Sparse frequency waveform radar system and method
JP4457525B2 (ja) 2001-06-11 2010-04-28 株式会社デンソー 距離測定装置
US7187445B2 (en) 2001-07-19 2007-03-06 Automotive Distance Control Systems Gmbh Method and apparatus for optically scanning a scene
US7126218B1 (en) 2001-08-07 2006-10-24 Amkor Technology, Inc. Embedded heat spreader ball grid array
US7899339B2 (en) 2002-07-30 2011-03-01 Amplification Technologies Inc. High-sensitivity, high-resolution detector devices and arrays
US7312856B2 (en) 2002-09-12 2007-12-25 Lockheed Martin Corporation Programmable pulse capture device with automatic gain control
AU2003266875A1 (en) 2002-09-16 2004-04-30 Joule Microsystems Canada Inc. Optical system and use thereof for detecting patterns in biological tissue
GB2395261A (en) 2002-11-11 2004-05-19 Qinetiq Ltd Ranging apparatus
JP2006521536A (ja) 2002-11-26 2006-09-21 ジェームス エフ. マンロ 高精度の距離測定装置およびその方法
US7428997B2 (en) 2003-07-29 2008-09-30 Microvision, Inc. Method and apparatus for illuminating a field-of-view and capturing an image
DE10361870B4 (de) 2003-12-29 2006-05-04 Faro Technologies Inc., Lake Mary Laserscanner und Verfahren zum optischen Abtasten und Vermessen einer Umgebung des Laserscanners
DE102005027208B4 (de) 2004-11-16 2011-11-10 Zoller & Fröhlich GmbH Verfahren zur Ansteuerung eines Laserscanners
WO2006077588A2 (en) 2005-01-20 2006-07-27 Elbit Systems Electro-Optics Elop Ltd. Laser obstacle detection and display
US9002511B1 (en) 2005-10-21 2015-04-07 Irobot Corporation Methods and systems for obstacle detection using structured light
US7812301B2 (en) 2005-10-28 2010-10-12 Sony Corporation Solid-state imaging device, method of driving solid-state imaging device and imaging apparatus
US7303005B2 (en) 2005-11-04 2007-12-04 Graftech International Holdings Inc. Heat spreaders with vias
US8355117B2 (en) 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
DE102006013290A1 (de) 2006-03-23 2007-09-27 Robert Bosch Gmbh Vorrichtung zur optischen Distanzmessung sowie Verfahren zum Betrieb einer solchen Vorrichtung
US7405812B1 (en) 2006-05-18 2008-07-29 Canesta, Inc. Method and system to avoid inter-system interference for phase-based time-of-flight systems
EP1860462A1 (de) 2006-05-23 2007-11-28 Leica Geosystems AG Distanzmessverfahren und Distanzmesser zur Erfassung der räumlichen Abmessung eines Zieles
EP2041515A4 (en) 2006-07-13 2009-11-11 Velodyne Acoustics Inc HIGH DEFINITION LIDAR SYSTEM
US8259293B2 (en) 2007-03-15 2012-09-04 Johns Hopkins University Deep submicron and nano CMOS single photon photodetector pixel with event based circuits for readout data-rate reduction communication system
US7652252B1 (en) 2007-10-08 2010-01-26 Hrl Laboratories, Llc Electronically tunable and reconfigurable hyperspectral photon detector
US8332134B2 (en) 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
US20090273770A1 (en) 2008-04-30 2009-11-05 Honeywell International Inc. Systems and methods for safe laser imaging, detection and ranging (lidar) operation
WO2010042253A2 (en) 2008-04-30 2010-04-15 Board Of Regents, The University Of Texas System An apparatus and method for noninvasive evalution of a target versus a non- target
DE102008031681A1 (de) 2008-07-04 2010-01-14 Eads Deutschland Gmbh LIDAR-Verfahren zur Messung von Geschwindigkeiten und LIDAR-Vorrichtung mit zeitgesteuerter Detektion
US8026471B2 (en) 2008-07-23 2011-09-27 Princeton Lightwave, Inc. Single-photon avalanche detector-based focal plane array
JP5585903B2 (ja) 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
IL200332A0 (en) 2008-08-19 2010-04-29 Rosemount Aerospace Inc Lidar system using a pseudo-random pulse sequence
US9554770B2 (en) 2008-09-29 2017-01-31 Siemens Medical Solutions Usa, Inc. High pulse repetition frequency for detection of tissue mechanical property with ultrasound
US20100096459A1 (en) 2008-10-16 2010-04-22 Vladimir Gurevich Electro-optical reader with extended working range
IT1392366B1 (it) 2008-12-17 2012-02-28 St Microelectronics Rousset Fotodiodo operante in modalita' geiger con resistore di soppressione integrato e controllabile, schiera di fotodiodi e relativo procedimento di fabbricazione
US8447563B2 (en) 2009-03-31 2013-05-21 The United States Of America As Represented By The Secretary Of The Navy Method and system for determination of detection probability or a target object based on a range
US8675181B2 (en) 2009-06-02 2014-03-18 Velodyne Acoustics, Inc. Color LiDAR scanner
US8766808B2 (en) 2010-03-09 2014-07-01 Flir Systems, Inc. Imager with multiple sensor arrays
CN101923173B (zh) 2009-06-10 2014-10-01 圣戈本陶瓷及塑料股份有限公司 闪烁体以及检测器组件
US9417326B2 (en) 2009-06-22 2016-08-16 Toyota Motor Europe Nv/Sa Pulsed light optical rangefinder
DE102009029372A1 (de) 2009-09-11 2011-03-24 Robert Bosch Gmbh Messvorrichtung zur Messung einer Entfernung zwischen der Messvorrichtung und einem Zielobjekt mit Hilfe optischer Messstrahlung
DE102009045323A1 (de) 2009-10-05 2011-04-07 Robert Bosch Gmbh Optisches Entfernungsmessgerät mit Kalibrierungseinrichtung
JP2011089874A (ja) 2009-10-22 2011-05-06 Toyota Central R&D Labs Inc 距離画像データ取得装置
US8390791B2 (en) 2009-11-30 2013-03-05 General Electric Company Light detection and ranging system
US20110187878A1 (en) 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
DE102010003843A1 (de) 2010-04-12 2011-10-13 Robert Bosch Gmbh Entfernungsmessgerät mit homogenisierender Messauswertung
JP5633181B2 (ja) 2010-05-07 2014-12-03 株式会社ニコン デプスマップ出力装置
LU91688B1 (en) 2010-05-17 2011-11-18 Iee Sarl Scanning 3D imager
US8687174B2 (en) 2010-08-11 2014-04-01 Samsung Electronics Co., Ltd. Unit pixel, photo-detection device and method of measuring a distance using the same
US8736818B2 (en) 2010-08-16 2014-05-27 Ball Aerospace & Technologies Corp. Electronically steered flash LIDAR
US8836250B2 (en) 2010-10-01 2014-09-16 Accuray Incorporated Systems and methods for cargo scanning and radiotherapy using a traveling wave linear accelerator based x-ray source using current to modulate pulse-to-pulse dosage
GB2485995B (en) 2010-11-30 2014-01-01 St Microelectronics Res & Dev Improved proximity sensor and associated method, computer readable medium and firmware
GB2486165A (en) 2010-11-30 2012-06-13 St Microelectronics Res & Dev Oven using a Single Photon Avalanche Diode (SPAD) array
US8803952B2 (en) 2010-12-20 2014-08-12 Microsoft Corporation Plural detector time-of-flight depth mapping
EP2469301A1 (en) 2010-12-23 2012-06-27 André Borowski Methods and devices for generating a representation of a 3D scene at very high speed
EP2477043A1 (en) 2011-01-12 2012-07-18 Sony Corporation 3D time-of-flight camera and method
JP5834416B2 (ja) 2011-02-01 2015-12-24 セイコーエプソン株式会社 画像形成装置
KR101318951B1 (ko) 2011-02-28 2013-10-17 한국과학기술원 듀얼 가이거 모드 어밸런치 광다이오드를 운용하는 스캐닝 3차원 영상화 펄스 레이저 레이더 시스템 및 방법
DE102011005746A1 (de) 2011-03-18 2012-09-20 Robert Bosch Gmbh Messvorrichtung zur mehrdimensionalen Vermessung eines Zielobjekts
WO2012137109A2 (en) 2011-04-05 2012-10-11 Koninklijke Philips Electronics N.V. Detector array with time-to-digital conversion having improved temporal accuracy
WO2012147082A1 (en) 2011-04-25 2012-11-01 Generic Imaging Ltd. System and method for linearization of multi-camera flat panel x-ray detectors
US9137463B2 (en) 2011-05-12 2015-09-15 Microsoft Technology Licensing, Llc Adaptive high dynamic range camera
EP2535755A1 (en) 2011-06-14 2012-12-19 Ecole Polytechnique Fédérale de Lausanne (EPFL) Cumulant microscopy
US11231502B2 (en) 2011-06-30 2022-01-25 The Regents Of The University Of Colorado Remote measurement of shallow depths in semi-transparent media
DE102011107645A1 (de) 2011-07-12 2013-01-17 Leica Microsystems Cms Gmbh Vorrichtung und Verfahren zum Detektieren von Licht
DE102011081561B4 (de) 2011-08-25 2024-06-13 pmdtechnologies ag Lichtlaufzeitkamerasystem mit Signalpfadüberwachung
WO2013028691A1 (en) 2011-08-25 2013-02-28 Georgia Tech Research Corporation Gas sensors and methods of preparation thereof
US9538987B2 (en) 2011-09-28 2017-01-10 General Electric Company System and method for ultrasound imaging
US9341464B2 (en) 2011-10-17 2016-05-17 Atlas5D, Inc. Method and apparatus for sizing and fitting an individual for apparel, accessories, or prosthetics
US20130092846A1 (en) 2011-10-18 2013-04-18 Uwm Research Foundation, Inc. Fiber-optic sensors for real-time monitoring
JP2013113669A (ja) 2011-11-28 2013-06-10 Mitsubishi Electric Corp レーザレーダ装置
US9024246B2 (en) 2011-12-19 2015-05-05 Princeton Lightwave, Inc. Two-state negative feedback avalanche diode having a control element for determining load state
FR2984522B1 (fr) 2011-12-20 2014-02-14 St Microelectronics Grenoble 2 Dispositif de detection de la proximite d'un objet, comprenant des photodiodes spad
US9052356B2 (en) 2012-02-15 2015-06-09 International Business Machines Corporation Embedded photon emission calibration (EPEC)
US8989596B2 (en) 2012-03-06 2015-03-24 Northrop Grumman Systems Corporation Multiple sensor optical communication systems and methods
US9109888B2 (en) 2012-03-21 2015-08-18 Honda Motor Co., Ltd. Distance measuring system
US9335220B2 (en) 2012-03-22 2016-05-10 Apple Inc. Calibration of time-of-flight measurement using stray reflections
US20130258099A1 (en) 2012-03-29 2013-10-03 Samsung Electronics Co., Ltd. Depth Estimation Device And Operating Method Using The Depth Estimation Device
US9723233B2 (en) 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
KR102038533B1 (ko) 2012-06-14 2019-10-31 한국전자통신연구원 레이저 레이더 시스템 및 목표물 영상 획득 방법
US20130342835A1 (en) 2012-06-25 2013-12-26 California Institute Of Technology Time resolved laser raman spectroscopy using a single photon avalanche diode array
GB2504291A (en) 2012-07-24 2014-01-29 St Microelectronics Ltd A proximity and gesture detection module
EP2708914A1 (de) 2012-09-18 2014-03-19 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung einer Tiefenkarte
WO2014088351A1 (en) * 2012-12-06 2014-06-12 Samsung Electronics Co., Ltd. Information exchange method and apparatus for d2d communication
GB201300334D0 (en) 2013-01-09 2013-02-20 St Microelectronics Ltd Sensor circuit
GB2510890A (en) 2013-02-18 2014-08-20 St Microelectronics Res & Dev Method and apparatus
KR102048361B1 (ko) 2013-02-28 2019-11-25 엘지전자 주식회사 거리 검출 장치, 및 이를 구비하는 영상처리장치
DE202013101039U1 (de) 2013-03-11 2014-03-12 Sick Ag Optoelektronischer Sensor zur Entfernungsmessung
US9182278B2 (en) 2013-03-14 2015-11-10 Sciaps, Inc. Wide spectral range spectrometer
US9516248B2 (en) 2013-03-15 2016-12-06 Microsoft Technology Licensing, Llc Photosensor having enhanced sensitivity
EP2987186B1 (en) 2013-04-19 2020-07-01 Lightspin Technologies, Inc. Integrated avalanche photodiode arrays
GB2513408B (en) 2013-04-26 2017-12-13 Toshiba Res Europe Limited A photon detector and a photon detection method
EP2992357A4 (en) 2013-04-29 2017-01-18 Nokia Technologies OY A method and apparatus for fusing distance data from a distance sensing camera with an image
GB2514576A (en) 2013-05-29 2014-12-03 St Microelectronics Res & Dev Methods and apparatus
US9268012B2 (en) 2013-07-12 2016-02-23 Princeton Optronics Inc. 2-D planar VCSEL source for 3-D imaging
US20150260830A1 (en) 2013-07-12 2015-09-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
GB2520232A (en) 2013-08-06 2015-05-20 Univ Edinburgh Multiple Event Time to Digital Converter
US10061028B2 (en) 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
US8925814B1 (en) 2013-10-09 2015-01-06 Symbol Technologies, Inc. Apparatus for and method of monitoring output power of a laser beam during reading of targets
US9443310B2 (en) 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
US10063844B2 (en) 2013-10-17 2018-08-28 Microsoft Technology Licensing, Llc. Determining distances by probabilistic time of flight imaging
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
JP6489320B2 (ja) 2013-11-20 2019-03-27 パナソニックIpマネジメント株式会社 測距撮像システム
US9210350B2 (en) 2013-12-09 2015-12-08 Omnivision Technologies, Inc. Low power imaging system with single photon avalanche diode photon counters and ghost image reduction
US9625580B2 (en) 2014-01-03 2017-04-18 Princeton Lightwave, Inc. LiDAR system comprising a single-photon detector
US9331116B2 (en) 2014-01-15 2016-05-03 Omnivision Technologies, Inc. Back side illuminated single photon avalanche diode imaging sensor with high short wavelength detection efficiency
US9312401B2 (en) 2014-01-15 2016-04-12 Omnivision Technologies, Inc. Single photon avalanche diode imaging sensor for complementary metal oxide semiconductor stacked chip applications
JP6207407B2 (ja) 2014-01-17 2017-10-04 オムロンオートモーティブエレクトロニクス株式会社 レーザレーダ装置、物体検出方法、及び、プログラム
US9456201B2 (en) 2014-02-10 2016-09-27 Microsoft Technology Licensing, Llc VCSEL array for a depth camera
CN103763485A (zh) 2014-02-17 2014-04-30 苏州超锐微电子有限公司 一种用于智能图像传感器的单光子级分辨率图像采集芯片前端电路模块
CN111781583B (zh) 2014-03-14 2024-05-14 赫普塔冈微光有限公司 可操作以识别虚假反射并补偿由虚假反射导致的误差的光电模块
DE112015001704T5 (de) 2014-04-07 2016-12-29 Samsung Electronics Co., Ltd. Bildsensor mit hoher Auflösung, Frame-Rate und niedrigem Stromverbrauch
US10419703B2 (en) 2014-06-20 2019-09-17 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
WO2015199615A1 (en) 2014-06-27 2015-12-30 Heptagon Micro Optics Pte. Ltd. Structured light imaging system and method
DE202014005508U1 (de) 2014-07-02 2014-10-09 Robert Bosch Gmbh Entfernungsmessvorrichtung
WO2016009688A1 (ja) 2014-07-16 2016-01-21 株式会社リコー システム、機械、制御方法、プログラム
WO2016025502A1 (en) 2014-08-11 2016-02-18 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
US9810777B2 (en) 2014-08-22 2017-11-07 Voxtel, Inc. Asynchronous LADAR and imaging array
US20160072258A1 (en) 2014-09-10 2016-03-10 Princeton Optronics Inc. High Resolution Structured Light Source
US9596440B2 (en) 2014-09-11 2017-03-14 Microvision, Inc. Scanning laser planarity detection
US10295658B2 (en) 2014-10-02 2019-05-21 The Johns Hopkins University Optical detection system
CN107430187B (zh) 2014-12-02 2021-06-18 新加坡恒立私人有限公司 深度传感器模块和深度感测方法
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
CN104730535A (zh) 2015-03-20 2015-06-24 武汉科技大学 一种车载多普勒激光雷达距离测量方法
US10088557B2 (en) 2015-03-20 2018-10-02 MSOTEK Co., Ltd LIDAR apparatus
FR3034204A1 (zh) 2015-03-23 2016-09-30 Stmicroelectronics (Grenoble 2) Sas
US10132616B2 (en) 2015-04-20 2018-11-20 Samsung Electronics Co., Ltd. CMOS image sensor for 2D imaging and depth measurement with ambient light rejection
CN107438774B (zh) * 2015-04-20 2021-08-24 瑞思迈传感器技术有限公司 多传感器射频检测
US9864048B2 (en) 2015-05-17 2018-01-09 Microsoft Technology Licensing, Llc. Gated time of flight camera
US10459114B2 (en) 2015-05-18 2019-10-29 Lasermotive, Inc. Wireless power transmitter and receiver
CN104914446B (zh) 2015-06-19 2017-06-27 南京理工大学 基于光子计数的三维距离图像时域实时去噪方法
EP3113478A1 (en) 2015-06-30 2017-01-04 Thomson Licensing Plenoptic foveated camera
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
US9989357B2 (en) 2015-09-09 2018-06-05 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates
US10063849B2 (en) 2015-09-24 2018-08-28 Ouster, Inc. Optical system for collecting distance information within a field
JP7145073B2 (ja) 2015-10-21 2022-09-30 プリンストン・オプトロニクス・インコーポレイテッド コード化パターンプロジェクタ
US10067224B2 (en) 2015-10-22 2018-09-04 Stmicroelectronics (Research & Development) Limited Time to digital converter (TDC) with synchronous output and related methods
EP3159711A1 (en) 2015-10-23 2017-04-26 Xenomatix NV System and method for determining a distance to an object
WO2017079483A1 (en) 2015-11-05 2017-05-11 Luminar Technologies, Inc. Lidar system with improved scanning speed for high-resolution depth mapping
FR3043797A1 (zh) 2015-11-16 2017-05-19 Stmicroelectronics (Grenoble 2) Sas
EP3411660A4 (en) 2015-11-30 2019-11-27 Luminar Technologies, Inc. LIDAR SYSTEM WITH DISTRIBUTED LASER AND MULTIPLE SENSOR HEADS AND PULSED LASER FOR LIDAR SYSTEM
JP6854828B2 (ja) 2015-12-18 2021-04-07 ジェラルド ディルク スミッツ 物体のリアルタイム位置検知
EP3182156B1 (en) 2015-12-18 2021-01-27 STMicroelectronics (Research & Development) Limited Ranging apparatus
US10324171B2 (en) 2015-12-20 2019-06-18 Apple Inc. Light detection and ranging sensor
US9997551B2 (en) 2015-12-20 2018-06-12 Apple Inc. Spad array with pixel-level bias control
EP3185038B1 (de) 2015-12-23 2018-02-14 Sick Ag Optoelektronischer sensor und verfahren zur messung einer entfernung
EP3185037B1 (en) 2015-12-23 2020-07-08 STMicroelectronics (Research & Development) Limited Depth imaging system
US9823118B2 (en) 2015-12-26 2017-11-21 Intel Corporation Low power, high resolution solid state LIDAR circuit
US10386487B1 (en) 2015-12-30 2019-08-20 Argo AI, LLC Geiger-mode LiDAR system having improved signal-to-noise ratio
US10627490B2 (en) 2016-01-31 2020-04-21 Velodyne Lidar, Inc. Multiple pulse, LIDAR based 3-D imaging
US9933513B2 (en) 2016-02-18 2018-04-03 Aeye, Inc. Method and apparatus for an adaptive ladar receiver
US10641872B2 (en) 2016-02-18 2020-05-05 Aeye, Inc. Ladar receiver with advanced optics
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10048374B2 (en) 2016-03-21 2018-08-14 Velodyne Lidar, Inc. LIDAR based 3-D imaging with varying pulse repetition
US9739881B1 (en) 2016-03-24 2017-08-22 RFNAV, Inc. Low cost 3D radar imaging and 3D association method from low count linear arrays for all weather autonomous vehicle navigation
JP2017195573A (ja) 2016-04-22 2017-10-26 ソニー株式会社 撮像装置および電子機器
US10986998B2 (en) 2016-04-26 2021-04-27 Illinois Institute Of Technology Apparatus and method for enhanced early photon detection in optical projection tomography
US10690756B2 (en) 2016-05-10 2020-06-23 Texas Instruments Incorporated Methods and apparatus for LIDAR operation with pulse position modulation
JP6780308B2 (ja) 2016-06-10 2020-11-04 株式会社リコー 物体検出装置、センシング装置及び移動体装置
US10823826B2 (en) 2016-06-14 2020-11-03 Stmicroelectronics, Inc. Adaptive laser power and ranging limit for time of flight sensor
US20180341009A1 (en) 2016-06-23 2018-11-29 Apple Inc. Multi-range time of flight sensing
US10890649B2 (en) 2016-08-11 2021-01-12 Qualcomm Incorporated System and method for measuring reference and returned light beams in an optical system
CN109844563A (zh) 2016-08-12 2019-06-04 法斯特里3D公司 通过至少一个检测器在多用户环境中测量到目标的距离的方法和设备
US20180059220A1 (en) 2016-08-30 2018-03-01 Qualcomm Incorporated Laser ranging device with beam signature and signature recognition
US10305247B2 (en) 2016-08-30 2019-05-28 Apple Inc. Radiation source with a small-angle scanning array
CN109791195B (zh) * 2016-09-22 2023-02-03 苹果公司 用于光达的自适应发射功率控制
US20180081041A1 (en) * 2016-09-22 2018-03-22 Apple Inc. LiDAR with irregular pulse sequence
US10291895B2 (en) 2016-10-25 2019-05-14 Omnivision Technologies, Inc. Time of flight photosensor
DE102016221049A1 (de) 2016-10-26 2018-04-26 Robert Bosch Gmbh Vorrichtung und Verfahren zum Empfangen eines reflektierten Lichtpulses in einem Lidar-System
CN106405572B (zh) 2016-11-10 2019-02-26 西安交通大学 基于空间编码的远距离高分辨率激光主动成像装置及方法
GB201622429D0 (en) 2016-12-30 2017-02-15 Univ Court Of The Univ Of Edinburgh The Photon sensor apparatus
US10154254B2 (en) 2017-01-17 2018-12-11 Facebook Technologies, Llc Time-of-flight depth sensing for eye tracking
EP3355133B1 (en) 2017-01-25 2019-10-30 ams AG Method for calibrating a time-to-digital converter system and time-to-digital converter system
CN110235024B (zh) * 2017-01-25 2022-10-28 苹果公司 具有调制灵敏度的spad检测器
US11105925B2 (en) 2017-03-01 2021-08-31 Ouster, Inc. Accurate photo detector measurements for LIDAR
JP7134988B2 (ja) 2017-03-01 2022-09-12 アウスター インコーポレイテッド ライダーのための正確な光検出器測定
EP3646057A1 (en) 2017-06-29 2020-05-06 Apple Inc. Time-of-flight depth mapping with parallax compensation
AU2018297291B2 (en) 2017-07-05 2024-03-07 Ouster, Inc. Light ranging device with electronically scanned emitter array and synchronized sensor array
EP3428574A1 (en) 2017-07-11 2019-01-16 Fondazione Bruno Kessler Device for measuring a distance and method for measuring said distance
EP3428683B1 (en) 2017-07-11 2019-08-28 Sick Ag Optoelectronic sensor and method for measuring a distance
WO2019014494A1 (en) * 2017-07-13 2019-01-17 Apple Inc. EARLY-DELAYED PULSE COUNTING FOR DEPTH SENSORS EMITTING LIGHT
US10955552B2 (en) 2017-09-27 2021-03-23 Apple Inc. Waveform design for a LiDAR system with closely-spaced pulses
EP3521856B1 (en) 2018-01-31 2023-09-13 ams AG Time-of-flight arrangement and method for a time-of-flight measurement
US10996323B2 (en) 2018-02-22 2021-05-04 Stmicroelectronics (Research & Development) Limited Time-of-flight imaging device, system and method
DE102018203534A1 (de) 2018-03-08 2019-09-12 Ibeo Automotive Systems GmbH Empfängeranordnung zum Empfang von Lichtimpulsen, LiDAR-Modul und Verfahren zum Empfangen von Lichtimpulsen
US10158038B1 (en) 2018-05-17 2018-12-18 Hi Llc Fast-gated photodetector architectures comprising dual voltage sources with a switch configuration
US11543495B2 (en) 2018-11-01 2023-01-03 Waymo Llc Shot reordering in LIDAR systems
DE112019005749T5 (de) 2018-11-16 2021-08-05 Ams Sensors Singapore Pte. Ltd. Tiefenabtastung mittels optischer lichtlaufzeitverfahren durch einedurchlässige abdeckung
DE102018220688A1 (de) 2018-11-30 2020-06-04 Ibeo Automotive Systems GmbH Analog-Digital-Wandler
WO2020150574A1 (en) 2019-01-18 2020-07-23 Sense Photonics, Inc. Digital pixels and operating methods thereof
KR102604902B1 (ko) 2019-02-11 2023-11-21 애플 인크. 펄스형 빔들의 희소 어레이를 사용하는 깊이 감지
EP3715907B1 (en) 2019-03-27 2024-02-28 Infineon Technologies AG Methods and apparatuses for compensating light reflections from a cover of a time-of-flight camera
US20220196812A1 (en) 2019-04-02 2022-06-23 Ams International Ag Time of flight sensor
US11500094B2 (en) * 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US10613203B1 (en) 2019-07-01 2020-04-07 Velodyne Lidar, Inc. Interference mitigation for light detection and ranging
CN110609293B (zh) 2019-09-19 2022-05-27 深圳奥锐达科技有限公司 一种基于飞行时间的距离探测系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110006190A1 (en) * 2009-07-10 2011-01-13 Motorola, Inc. Devices and Methods for Adjusting Proximity Detectors
EP2469297A1 (de) * 2010-12-21 2012-06-27 Riegl Laser Measurement Systems GmbH Verfahren zur Entfernungsmessung mittels Laserimpulsen
TW201602611A (zh) * 2014-03-28 2016-01-16 英特爾股份有限公司 使用微功率脈衝雷達之移動顯示位置與方向的測定
EP3285087A1 (en) * 2016-08-19 2018-02-21 ams AG Sensor arrangement and method for determining time-of-flight
TWI661211B (zh) * 2017-12-08 2019-06-01 財團法人工業技術研究院 距離感測裝置及其方法

Also Published As

Publication number Publication date
CN112068149B (zh) 2024-05-10
CN112068149A (zh) 2020-12-11
KR20200141937A (ko) 2020-12-21
TW202102877A (zh) 2021-01-16
KR102433815B1 (ko) 2022-08-18
EP4050369B1 (en) 2024-06-05
EP3751307B1 (en) 2022-06-22
EP3751307A1 (en) 2020-12-16
US20200386890A1 (en) 2020-12-10
US11500094B2 (en) 2022-11-15
KR102518450B1 (ko) 2023-04-04
EP4050369A1 (en) 2022-08-31
KR20220117190A (ko) 2022-08-23

Similar Documents

Publication Publication Date Title
TWI745998B (zh) 用於感測之方法及設備
US11703569B2 (en) LIDAR data acquisition and control
CN113330328B (zh) 深度感测方法及装置
CN111465870B (zh) 使用可寻址发射器阵列的飞行时间感测
US20210181317A1 (en) Time-of-flight-based distance measurement system and method
US20180081041A1 (en) LiDAR with irregular pulse sequence
US10955552B2 (en) Waveform design for a LiDAR system with closely-spaced pulses
US9404999B2 (en) Localization system and localization method
CN112105944A (zh) 具有使用短脉冲和长脉冲的多模式操作的光学测距系统
CN216211121U (zh) 深度信息测量装置以及电子设备
US20220350026A1 (en) Selection of pulse repetition intervals for sensing time of flight
US11500095B2 (en) Method for determining the distance separating an object and an optical detection system, and corresponding system
US11681028B2 (en) Close-range measurement of time of flight using parallax shift
US20220350000A1 (en) Lidar systems for near-field and far-field detection, and related methods and apparatus
US20230196501A1 (en) Systems and Methods for Memory-Efficient Pixel Histogramming
CN117890918A (zh) 基于飞行时间的距离测量系统、方法及计算机可读存储介质
JP2021089248A (ja) レーザレーダ
CN113822875A (zh) 深度信息测量装置、全场景避障方法以及电子设备