TWI653427B - 三維感測系統 - Google Patents

三維感測系統 Download PDF

Info

Publication number
TWI653427B
TWI653427B TW107112053A TW107112053A TWI653427B TW I653427 B TWI653427 B TW I653427B TW 107112053 A TW107112053 A TW 107112053A TW 107112053 A TW107112053 A TW 107112053A TW I653427 B TWI653427 B TW I653427B
Authority
TW
Taiwan
Prior art keywords
light source
sensing system
mems
scanning mirror
dimensional sensing
Prior art date
Application number
TW107112053A
Other languages
English (en)
Other versions
TW201944028A (zh
Inventor
林家宇
陳志強
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW107112053A priority Critical patent/TWI653427B/zh
Priority to US16/008,041 priority patent/US20190310460A1/en
Priority to EP18181799.0A priority patent/EP3553555A1/en
Application granted granted Critical
Publication of TWI653427B publication Critical patent/TWI653427B/zh
Publication of TW201944028A publication Critical patent/TW201944028A/zh

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/70Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
    • G01S1/703Details
    • G01S1/7032Transmitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Mechanical Optical Scanning Systems (AREA)

Abstract

三維感測系統包含一光源、一MEMS掃描鏡、一MEMS控制器、一個或多個感測器,以及一微控制器。MEMS掃描鏡用來反射光源提供之光線。MEMS控制器用來控制MEMS掃描鏡之角度以掃描一平面。一個或多個感測器用來記錄接收到由MEMS掃描鏡反射之光線時的時間。微控制器用來依據該一個或多個感測器所記錄之時間計算出一個或多個感測器之目前位置。

Description

三維感測系統
本發明相關於一種三維感測系統,尤指一種採用TOF技術和MEMS技術之三維感測系統。
隨著科技發展,三維感測(3D Sensing)技術逐漸導入自駕車及先進駕駛輔助系統(advanced driver assistance systems, ADAS)、虛擬實境(virtual reality, VR)、擴增實境(augmented reality, AR)、無人商店和人臉辨識等新應用。目前3D感測採用的主流技術包括三角測距(triangulation)和時間延遲。三角測距的應用包含立體視覺法(stereoscopic)、結構光(structured light)和雷射三角量測(laser triangulation)。時間延遲的應用包含飛時測距(time-of-flight, ToF)和干涉量測(interferometry)。
在時差測距系統中,由儀器發射一個雷射光脈衝,雷射光打到物體表面後反射,再由儀器內的探測器接收訊號,並記錄時間,由於光速為一已知條件,光訊號往返一趟的時間即可換算為訊號所行走的距離。因此,如何增加掃描準確度和縮短掃描時間為重要課題。
本發明提供一種三維感測系統,其包含一光源、一MEMS掃描鏡、一MEMS控制器、一個或多個感測器,以及一微控制器。該MEMS掃描鏡用來反射該光源提供之光線。該MEMS控制器用來控制該MEMS掃描鏡之角度以掃描一平面。該一個或多個感測器用來記錄接收到由該MEMS掃描鏡反射之光線時的時間。該微控制器用來依據該一個或多個感測器所記錄之時間計算出該一個或多個感測器之目前位置。
第1圖為本發明實施例中一種3D感測系統100之功能方塊圖。3D感測系統100採用TOF技術,其包含一個或多個光源TX 1~TX M、一微機電系統(micro electro mechanical system, MEMS)掃描鏡20、設置於單一目標物30上之一個或多個複數個感測器SR 1~SR N、一MEMS控制器40,以及一微控制器(microcontroller unit, MCU)50,其中M和N為正整數。
MEMS裝置是將立體的微細結構、電路、感測器和傳動器(actuator)等元件以微積化技術製作於矽晶圓上,並利用電磁、電致伸縮(electrostriction)、熱電、壓電、壓阻(piezoresistive)等效應來操作。第2圖和第3圖為本發明實施例中MEMS掃描鏡20作動時之示意圖。MEMS掃描鏡20可包含一微型電子線圈23、一反射鏡24、一反射鏡撓曲懸吊(flexure suspension)25、一萬向支架(gimbal frame)26,以及一萬向支架撓曲懸吊27。藉由對微型電子線圈23提供電流,萬向支架26上會產生磁力矩,並沿著所希望的旋轉軸產生分量。萬向支架26所產生的其中一磁力矩分量之會讓萬向支架26繞著萬向支架撓曲懸吊27旋轉,亦即帶動反射鏡24沿著箭頭S1所示之方向旋轉,如第2圖所示。萬向支架26所產生的另一磁力矩分量可激發反射鏡24以諧振模式振動並繞著反射鏡撓曲懸吊25旋轉,亦即帶動反射鏡24沿著箭頭S2所示之方向旋轉,如第3圖所示。
第4圖為本發明實施例中3D感測系統100應用時之示意圖。為了說明目的,假設3D感測系統100包含一個光源TX 1和3個感測器SR 1~SR 3,其中安置感測器SR 1~SR 3之目標物30為使用者手持之操作裝置。如第2圖和第3圖所述,MEMS掃描鏡20可將光源TX 1之光線反射以掃描特定平面(使用者正面),其中在水平方向的掃描角度範圍為α,而在垂直方向的掃描角度範圍為β。當感測器SR 1~SR 3接收到光線時,MCU 50(未顯示於第4圖內)即可計算時間差以推算出每一感測器SR 1~SR 3之位置,進而回應使用者透過操作裝置所下達的指示。
第5圖至第7圖為本發明實施例中3D感測系統100掃描方式示意圖。針對MEMS掃描鏡20之一特定掃描面,本發明用時間和序列定義出垂直軸和水平軸。箭號代表MEMS掃描鏡20之移動方式,其中實線箭號代表光源TX 1出光時之實際掃描線,虛線箭號代表MEMS掃描鏡20在轉動過程中並未進行掃描(光源TX 1未出光)。
第5圖顯示了以單一雷射光源TX 1進行單向掃描時的實施例,MEMS掃描鏡20在水平方向每掃描完一列掃描線的距離後,在移至下一列掃描線的起始點的期間並不會掃描(如虛線箭號所示),直到移至下一列掃描線的起始點才會再開始掃描。假設每一圖框的更新頻率為60Hz,特定掃描面在垂直方向總共包含500條掃描線,此時在水平方向的掃描線更新頻率為1/[(1/60)/500]=30KHz。
第6圖顯示了以單一雷射光源TX 1進行雙向掃描的實施例,MEMS掃描鏡20在水平方向每掃描完一列掃描線的距離後,在移至下一列掃描線的起始點的期間依舊會掃描(如實線箭號所示)。假設每一圖框的更新頻率為60Hz,特定掃描面在垂直方向總共包含500*2條掃描線,此時在水平方向的掃描線更新頻率為1/[(1/60)/(500*2)]=60KHz。
第7圖顯示了以多雷射光源TX 1~TX M進行單向掃描時的實施例,以M=8時之實施例來作說明。雷射光源TX 1~TX 8可分別送出波長或頻率相異的8道光線,使得MEMS掃描鏡20可同時掃描8列掃描線。假設每一圖框的更新頻率為60Hz,特定空間在垂直方向總共包含500條掃描線,此時在水平方向的掃描線更新頻率為1/[(1/60)*8/500]=3.75KHz,因此可應付高頻掃描需求。
第8圖為本發明另一實施例中一種3D感測系統200之功能方塊圖。3D感測系統200採用TOF技術,其包含一個或多個光源模組LG 1~LG P、設置於多個目標物上之複數個感測器SR 1~SR N、一MEMS控制器40,以及一MCU 50。每一光源模組LG 1~LG P各包含一個或多個光源TX 1~TX M、一個或多個MEMS掃描鏡,以及一調變控制器,其中M、N和P為正整數。為了簡化說明,第8圖顯示了M=1、N=6和P=2 時的雙光源模組LG 1和LG 2實施例。光源模組LG 1包含一光源TX 1、一MEMS掃描鏡 21,和一調變控制器81,用來動態追蹤第一目標物31,其中第一目標物31設有感測器SR 1~SR 3;光源模組LG 2包含一光源TX 2、一MEMS掃描鏡 22,和一調變控制器82,用來動態追蹤第二目標物32,其中第二目標物32上設有感測器SR 4~SR 6。在多組雷射光源和多個目標物的情況下,每一感測器所獲取的資料以及每一雷射光源啟動時間需由MCU 50來同步。
第9圖和第10圖為本發明實施例3D感測系統200中多個光源模組設置方式之示意圖。針對P=2時之實施例,假設目標物位於X軸、Y軸和Z軸的中心,光源模組LG 1可針對XY平面做定位。在第9圖所示之實施例中,光源模組LG 2另可針對XZ平面做定位。在第10圖所示之實施例中,光源模組LG 2另可針對YZ平面做定位。
第11圖為本發明實施例中3D感測系統200應用時之示意圖。為了說明目的,假設3D感測系統200包含雙光源模組LG 1和LG 2和6個感測器SR1~SR6,其中安置感測器SR1~SR3之第一目標物31為使用者手持之操作裝置,而安置感測器SR4~SR6之第二目標物32為使用者身上的頭戴式顯示器。如第2圖、第3圖和第10圖所述,光源模組LG 1中的MEMS掃描鏡21可將雷射光源TX 1之光線反射以掃描目標物之XZ平面(使用者正面),而光源模組LG 2中的MEMS掃描鏡22可將雷射光源TX 2之光線反射以掃描目標物之YZ平面(使用者側面)。雷射光源TX 1~TX 2之可提供不同PWM、波長或強度之光線,使得感測器SR1~SR6能加以區分。光源模組LG 1和LG 2亦可採用奇偶掃描線交錯或相反掃描方向之方式來增加掃描頻率的準確性。
在本發明中,光源TX 1~TX M可為發光二極體(light emitting diode, LED)或垂直共振腔面射雷射(vertical cavity surface emitting laser, VCSEL),感測器SR 1~SR N可為感光耦合元件(charge coupled device, CCD)或互補式金屬氧化物半導體(complementary metal-oxide-semiconductor, CMOS)。然而,光源TX 1~TX M或感測器SR 1~SR N之種類並不限定本發明之範疇。
綜上所述,本發明提供一種採用TOF技術之3D感測系統,其利用MEMS技術製作之可動式反射鏡來進行掃描,同時也可使用多組發射源來探測多軸位置或多個目標,因此能增加掃描準確度和縮短掃描時間。 以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
20~22‧‧‧MEM掃描鏡
23‧‧‧微型電子線圈
24‧‧‧反射鏡
25‧‧‧反射鏡撓曲懸吊
26‧‧‧萬向支架
27‧‧‧萬向支架撓曲懸吊
30~32‧‧‧目標物
40‧‧‧MEMS控制器
50‧‧‧MCU
81、82‧‧‧調變控制器
100、200‧‧‧3D感測系統
LG1、LG2‧‧‧光源模組
SR1~SRN‧‧‧感測器
TX1~TXM‧‧‧光源
第1圖為本發明實施例中一種3D感測系統之功能方塊圖。 第2圖和第3圖為本發明實施例中MEMS掃描鏡作動時之示意圖。 第4圖為本發明實施例中3D感測系統應用時之示意圖。 第5圖至第7圖為本發明實施例中3D感測系統掃描方式示意圖。第8圖為本發明另一實施例中一種3D感測系統之功能方塊圖。 第9圖和第10圖為本發明另一實施例3D感測系統中多個光源模組設置方式之示意圖。 第11圖為本發明另一實施例中3D感測系統應用時之示意圖。

Claims (10)

  1. 一種三維感測系統,其包含: 一第一光源; 一第一微機電系統(micro electro mechanical system, MEMS)掃描鏡,用來反射該第一光源提供之光線; 一MEMS控制器,用來控制該第一MEMS掃描鏡之角度以掃描一第一平面; 一個或多個感測器,用來記錄接收到由該第一MEMS掃描鏡反射之光線時的時間;以及 一微控制器,用來依據該一個或多個感測器所記錄之時間計算出該一個或多個感測器之目前位置。
  2. 如請求項1所述之三維感測系統,其中: 該第一平面包含M個平行序列; 該MEMS控制器控制該第一MEMS掃描鏡之角度以依序從每一序列之一起始點掃描至一終點;且 M為大於1之整數。
  3. 如請求項2所述之三維感測系統,其另包含: 一第二光源,其中該第一MEMS掃描鏡另用來反射該第二光源提供之光線以同時掃描該M個平行序列中兩相鄰平行序列。
  4. 如請求項1所述之三維感測系統,其中: 該第一平面包含M個平行序列; 該MEMS控制器控制該第一MEMS掃描鏡之角度以從該M個平行序列中一第m個平行序列之起始點掃描至該第m個平行序列之終點,再從該第m個平行序列之終點掃描至該M個平行序列中一第(m+1)個平行序列之起始點; M為大於1之整數;且 m為不大於M之正整數。
  5. 如請求項1所述之三維感測系統,其另包含: 一第二光源; 一第二MEMS掃描鏡,用來反射該第二光源提供之光線,其中: 該MEMS控制器另用來控制該第二MEMS掃描鏡之角度以掃描一第二平面;且 該一個或多個複數個感測器另用來記錄接收到由該第二MEMS掃描鏡反射之光線時的時間。
  6. 如請求項5所述之三維感測系統,其另包含: 一第一調變控制器,用來調變該第一光源使其提供具一第一脈衝調變、一第一波長或一第一頻率之光線; 一第二調變控制器,用來調變該第二光源使其提供具一第二脈衝調變、一第二波長或一第二頻率之光線,其中該第一脈衝調變相異於該第二脈衝調變、該第一波長相異於該第二波長,或該第一頻率相異於該第二頻率。
  7. 如請求項5所述之三維感測系統,其中該微控制器另用來同步每一感測器所獲取的資料以及每一光源之啟動時間。
  8. 如請求項1所述之三維感測系統,其中該第一光源為一發光二極體(light emitting diode, LED)或一垂直共振腔面射雷射(vertical cavity surface emitting laser, VCSEL)。
  9. 如請求項1所述之三維感測系統,其中該一個或多個感測器包含一感光耦合元件(charge coupled device, CCD)或一互補式金屬氧化物半導體(complementary metal-oxide-semiconductor, CMOS)。
  10. 如請求項1所述之三維感測系統,其中第一該微機電系統掃描鏡包含一微型電子線圈、一反射鏡、一反射鏡撓曲懸吊、一萬向支架,以及一萬向支架撓曲懸吊。
TW107112053A 2018-04-09 2018-04-09 三維感測系統 TWI653427B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107112053A TWI653427B (zh) 2018-04-09 2018-04-09 三維感測系統
US16/008,041 US20190310460A1 (en) 2018-04-09 2018-06-14 3d sensing system
EP18181799.0A EP3553555A1 (en) 2018-04-09 2018-07-05 3d sensing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107112053A TWI653427B (zh) 2018-04-09 2018-04-09 三維感測系統

Publications (2)

Publication Number Publication Date
TWI653427B true TWI653427B (zh) 2019-03-11
TW201944028A TW201944028A (zh) 2019-11-16

Family

ID=62874596

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107112053A TWI653427B (zh) 2018-04-09 2018-04-09 三維感測系統

Country Status (3)

Country Link
US (1) US20190310460A1 (zh)
EP (1) EP3553555A1 (zh)
TW (1) TWI653427B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10788659B2 (en) * 2018-10-24 2020-09-29 Infinean Technologies Ag Monitoring of MEMS mirror properties

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6220713B1 (en) * 1998-10-23 2001-04-24 Compaq Computer Corporation Projection lens and system
US7442918B2 (en) * 2004-05-14 2008-10-28 Microvision, Inc. MEMS device having simplified drive
JP5012463B2 (ja) * 2007-12-03 2012-08-29 セイコーエプソン株式会社 走査型画像表示システム及び走査型画像表示装置
WO2014104203A1 (ja) * 2012-12-26 2014-07-03 シチズンホールディングス株式会社 投影装置
EP3093194B1 (en) * 2015-04-24 2021-09-22 Ricoh Company, Ltd. Information provision device
CN206362922U (zh) * 2016-12-14 2017-07-28 北京国承万通信息科技有限公司 定位光信号发射系统及定位系统

Also Published As

Publication number Publication date
US20190310460A1 (en) 2019-10-10
TW201944028A (zh) 2019-11-16
EP3553555A1 (en) 2019-10-16

Similar Documents

Publication Publication Date Title
US10935640B2 (en) Multiplexed LIDAR transceiver
CN104221058B (zh) 装有万向接头的扫描镜阵列
US11181734B2 (en) Micromachined mirror assembly having micro mirror array and hybrid driving method thereof
CN110691983A (zh) 具有结构光及集成照明和检测的基于lidar的3-d成像
US10509198B1 (en) Lever system for driving mirrors of a lidar transmitter
JP2019525183A (ja) 解像度が調整可能な深度マッピング装置および方法
US11085995B2 (en) Non-linear springs to unify the dynamic motion of individual elements in a micro-mirror array
US20200070370A1 (en) Three-Dimensional Measuring Apparatus, Robot, And Robot System
JP2012202803A (ja) パターン光投影装置及び方法
CN113162615A (zh) 用于具有非线性频率响应的振荡器的控制结构
TWI653427B (zh) 三維感測系統
JP2024028338A (ja) 走査装置
US10642025B2 (en) Method for controlling position of a linear MEMS mirror with variable resolution and/or light intensity
US20200183125A1 (en) Non-linear springs to unify the dynamic motion of individual elements in a micro-mirror array
KR20180092738A (ko) 디지털 마이크로 미러 소자를 이용한 거리 정보 획득 장치 및 방법
US10209510B2 (en) Compact modular scanners for scanning laser devices
TWI663376B (zh) 三維感測系統
CN110673150A (zh) 三维感测系统
US20230314790A1 (en) System-level synchronization of microelectromechanical system (mems) mirrors
JP2015040928A (ja) 光偏向装置、画像形成装置、車両及び光偏向装置の制御方法
US20220283429A1 (en) Method of rectangular 2d pattern generation with lissajous scanning
CN110412597A (zh) 三维感测系统
WO2016139917A1 (ja) 走査装置
WO2020117279A1 (en) Non-linear springs to unify the dynamic motion of individual elements in a micro-mirror array
US20240004183A1 (en) Scanning mirror device