TWI781106B - 使用光偵測及測距（ｌｉｄａｒ）以估測運動之方法及系統 - Google Patents

使用光偵測及測距（ｌｉｄａｒ）以估測運動之方法及系統 Download PDF

Info

Publication number
TWI781106B
TWI781106B TW106118829A TW106118829A TWI781106B TW I781106 B TWI781106 B TW I781106B TW 106118829 A TW106118829 A TW 106118829A TW 106118829 A TW106118829 A TW 106118829A TW I781106 B TWI781106 B TW I781106B
Authority
TW
Taiwan
Prior art keywords
data set
resampled
value
speed
sample points
Prior art date
Application number
TW106118829A
Other languages
English (en)
Other versions
TW201743076A (zh
Inventor
坎道爾 貝斯理
理查 賽巴斯汀
Original Assignee
美商Dscg史羅軒公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商Dscg史羅軒公司 filed Critical 美商Dscg史羅軒公司
Publication of TW201743076A publication Critical patent/TW201743076A/zh
Application granted granted Critical
Publication of TWI781106B publication Critical patent/TWI781106B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

追蹤一物件之運動之技術涉及使用經組態以在其中使用一單一掃描運動來移動一物件之一時間段內追蹤該物件之一LIDAR系統。可使用該LIDAR系統執行該物件之追蹤，而排除可見成像硬體(例如，視訊攝影機硬體)。因此，該LIDAR系統可經組態以在完全黑暗中操作、在陽光下操作等。與習知系統相比，該LIDAR系統可更不易受該物件之運動影響。因此，在一些實施方案中，在無例如視訊的情況下，僅從LIDAR量測判定該物件110之該運動。

Description

使用光偵測及測距(LIDAR)以估測運動之方法及系統
此描述係關於用於使用光偵測及測距(LIDAR)以估測運動之系統及方法。
在一些已知系統中，結合一視訊系統使用一雷射光偵測及測距(LIDAR)系統來追蹤物件。一些此等已知系統可係複雜的且難以使用。另外，在一些此等已知系統中，視訊系統可需要光以便偵測待追蹤之物件。因此，存在對解決現有技術之缺點且提供其他嶄新且創新特徵之系統、方法及設備的需要。
100:電子環境
110:物件
120:LIDAR系統
124:處理電路
126:記憶體
130:分析管理器
132:初始移動分析器
134:移動精細化管理器
136:初始速度資料
138:精細化
140(1):位移資料集
140(2):位移資料集
140(3):位移資料集
140(T):位移資料集
150:照明系統
152:掃描機構
154:雷射陣列
160:接收器系統
170:孔隙
180:偵測器
190(1):光束
190(2):光束
190(N):光束
210:物件
220:點
290:面部
292:點
300:方法
302:步驟
304:步驟
306:步驟
308:步驟
310:步驟
420(1):掃描線
420(2):掃描線
500:資料取樣
610:內插方案
702:步驟
704:步驟
706:步驟
708:步驟
710:步驟
712:步驟
802:步驟
804:步驟
806:步驟
808:步驟
810:步驟
812:步驟
x:軸
y:軸
z:軸
圖1係繪示其中可執行本文描述之改良技術之一電子環境內之一例示性LIDAR系統之一方塊圖。
圖2A係繪示在圖1中繪示之電子環境內追蹤之一例示性物件之一圖。
圖2B係繪示在圖1中繪示之電子環境內追蹤之例示性物件之一圖。
圖2C係繪示在圖1中繪示之電子環境內追蹤之另一例示性物件之一圖。
圖2D係繪示在圖1中繪示之電子環境內追蹤之另一例示性物件之一 圖。
圖2E係繪示在圖1中繪示之電子環境內進一步追蹤之另一例示性物件之一圖。
圖3係繪示用於使用一單一組掃描來計算物件速度及旋轉速度之一例示性方法之一流程圖。
圖4係繪示在圖1中繪示之電子環境內之隨時間之一物件之一例示性掃描之一圖。
圖5係繪示來自在圖4中繪示之掃描之物件位移之一例示性取樣之一圖。
圖6係繪示來自在圖5中繪示之取樣之物件位移之一例示性內插之一圖。
圖7係繪示在圖1中繪示之電子環境內判定物件速度及旋轉速度之初始估測之一例示性方法之一流程圖。
圖8係繪示精細化藉由圖7中繪示之程序判定之物件速度及旋轉速度之初始估測之一例示性方法之一流程圖。
相關申請案
此申請案主張標題為「Estimation of Motion Using LIDAR」之2016年6月7日申請之美國臨時申請案第62/346,866號之優先權。
圖1係繪示其中執行追蹤一物件之運動之改良技術之一例示性電子環境100之一圖。電子環境100包含一LIDAR系統120，該LIDAR系統120經組態以在其中使用一單一掃描運動來移動物件110之一時間段內追蹤一物件110。可使用LIDAR系統120執行物件110之追蹤，而排除可見成像硬體 (例如，視訊攝影機硬體)。因此，LIDAR系統120可經組態以在完全黑暗中操作、在陽光下操作等。與習知系統相比，LIDAR系統120可更不易受物件110之運動影響。因此，在一些實施方案中，在無例如視訊的情況下，僅從LIDAR量測判定物件110之運動。
在本文中假定物件110為一些未知形狀之一剛性主體。例如，物件110可為一人臉。假定物件110圍繞一任意軸運動(線性及旋轉二者)。對於一剛性主體，在物件110上之一點r處之時間相依線性速度ν與時間相依旋轉速度ω如下相關：ν=ω×r+ν f (1)
其中×表示一交叉乘積且ν f 為含有原點之一參考座標系統(reference frame)之速度。在本文提供之實例中，參考座標系統被視為LIDAR系統120之慣性座標系統(inertial frame)，但此絕非必要。
應理解，在圖1中展示之電子環境中，存在一自然對稱軸，看見其實質上沿著藉由LIDAR系統120發射之光束。在此情況中且鑑於方程式(1)，可將物件110之運動分解為側向及軸向分量。即，給定z方向上之一對稱軸，可使用分量ν x 、ν y 、ω z 定義側向運動且使用分量ν z 、ω x 、ω y 定義軸向運動。在許多情形中，側向運動及軸向運動大致係獨立的。本文描述之改良技術之主要目的係判定物件之運動之側向分量。可直接從LIDAR範圍及速度量測移除或補償物件之軸向運動。
如在圖1中展示，LIDAR系統120係包含處理電路124、記憶體126、一照明系統150及一接收器系統160之一單一、整合單元。在一些配置中，LIDAR系統120採用可指向物件110之一手持式單元之形式。然而，在其他配置中，LIDAR系統120之組件可分佈於不同單元間(例如，處理 電路124及記憶體126可在與包含照明系統150及接收器系統160之一手持式裝置分離之一運算裝置中)。
處理電路124包含一或多個處理晶片及/或總成。記憶體126包含揮發性記憶體(例如，RAM)及非揮發性記憶體(諸如一或多個ROM、磁碟機、固態磁碟機及類似物)二者。處理單元124組及記憶體126一起形成控制電路，該控制電路經組態且配置以執行如本文描述之各種方法及功能。
在一些配置中，LIDAR系統120之一或多個組件可係或可包含經組態以處理儲存於記憶體126中之指令之處理器。例如，展示為包含於圖1中之記憶體126內之一分析管理器130(及/或其之一部分)可係經組態以執行與一程序相關之指令以實施一或多個功能之一處理器及一記憶體之一組合。
分析管理器130經組態且配置以在其中追蹤物件110之時間段內產生物件110之線性速度分量ν x 、ν y 及旋轉速度ω z 之估測。分析管理器130經組態以在兩個階段中執行此一估測。首先，在一給定時間，分析管理器130經由一初始移動分析器132使用大約以該時間為中心之一對位移資料集(例如，140(1)及140(2))來執行物件110之側向運動之一初始估測。接著，分析管理器130經由一移動精細化管理器134使用實際資料收集時間及(若必要)後續位移資料集(例如，140(3))等來精細化初始估測。
初始移動分析器132經組態以從位移資料集140(1)及140(2)產生初始速度資料136(即，ν x 、ν y 、ω z )。然而，應瞭解，此等初始資料136為第一估測且可使用實際資料收集時間及(若必要)後續位移資料集(例如，140(3))等來精細化。就此而言，移動精細化管理器134經組態以從實際資料收集時間及(在一些情況中)後續位移資料集計算精細化138(即，δν x 、 δν y 、δω z )。此外，移動精細化管理器134經組態以判定何時已達成足夠收斂，使得不再需要精細化計算。
位移資料集之各者(例如，位移資料集140(1))包含依據在一各自時間之笛卡爾座標x及y而變化之z方向上之位移值之一陣列。應瞭解，雖然如在圖1中展示之物件110具有面向LIDAR系統120之一平坦表面，但在現實中，物件110可包含(例如)一人臉、一身體之一部分、一無生命物件等且因而在任何時間t具有一複雜剖面z=f(x,y)。因為假定物件110為一剛性主體，故從一個時間至另一時間之位移剖面之間的差為平移△x、△y及旋轉θ z 之一組合(即，無變形)。分析管理器130接著從此等平移及旋轉找到速度及旋轉速度。
照明系統150經組態且配置以產生照明，該照明在產生位移資料集140(1)、...、140(T)之運動中從物件110反射。如在圖1中展示，此照明採用沿著z軸引導之輻射之多個光束190(1)、...、190(N)之形式。應瞭解，雖然如在圖1中展示之光束190(1)、...、190(N)按相對於z軸之一角度引導，但在現實中，光束實質上沿著z軸行進且圖中之角度被誇大。照明系統150包含一掃描機構152(其包含一雷射陣列154)及一孔隙170。
掃描機構152經組態且配置以在一掃描運動中移動雷射陣列154。如在圖1中展示，掃描機構152經組態以沿著y方向(即，正交於光束190(1)、...、190(N)之方向)來回移動雷射陣列154中之各雷射。然而，在一些配置中，可替代地或另外沿著x方向執行掃描。掃描機構152使雷射陣列154一起移動，使得在一個掃描運動中執行所有掃描。此外，應瞭解，在一個方向上之個別掃描按一足夠之速度執行以被視為已在一單一時刻發生。沿著此等線，在正y方向上之雷射陣列154之一第一掃描可被視 為已在一時刻T0發生，儘管未在LIDAR系統120處同時接收來自掃描中之第一點及掃描中之最後一點之資料。
雷射陣列154經組態且配置以產生雷射輻射之一光束陣列(例如，光束190(1)、...、190(N))，即，實質上同調、準單色光。在許多配置中，雷射陣列154包含雷射之一矩形陣列，各產生一些波長之雷射輻射。矩形陣列中之各雷射對應於物件110上之一樣本點，其中藉由該雷射產生之光束從物件110反射。在其他配置中，使用一單一雷射(未展示)產生光束190(1)、...、190(N)之陣列，該雷射經光纖耦合且分成多個光纖(未展示)，該等光纖接著配置成一光纖發射器陣列。
在一些配置中，藉由雷射陣列154產生之各光束190(1)、...、190(N)中之光之波長為1550nm。此波長具有適用於作為例如人臉之物件之優勢。然而，亦可使用其他波長(例如，1064nm、532nm)。
孔隙170經組態以將藉由雷射陣列154產生之光束190(1)、...、190(N)傳遞出LIDAR系統120至物件110。在一些配置中，孔隙170可簡單為用以使光束190(1)、...、190(N)通過之一開口。在其他配置中，孔隙170可包含用於滿足特定規格(例如，物件上之點大小)之光學器件(未展示)。
接收器系統160經組態且配置以接收從物件110反射之光束且從所接收之光束產生位移資料集140(1)、...、140(T)。接收器系統160可使用任何數目之已知技術(例如，外差偵測)來產生位移資料集140(1)、...、140(T)且將不進一步論述。接收器系統包含一偵測器180，該偵測器180經組態且配置以將所接收之光束轉換為電信號，接收器系統160可從該等電信號產生位移資料集140(1)、...、140(T)。在一些配置中，偵測器180 包含一光電倍增管(PMT)或電荷耦合裝置(CCD)之一陣列。
圖2A及圖2B繪示可藉由LIDAR系統120觀察(例如，藉由其標定)之一例示性物件210。物件210可具有任何形狀，但在圖2A及圖2B中表示為一圓。在圖2A中，在時間T1，藉由LIDAR系統120觀察物件210上之一點220。在時間T1，點220定位於(x,y)平面中之(3,3)。如在圖2B中繪示，在時間T2，點220定位於(x,y)平面中之(4,3)。點之移動可為物件80之不同類型移動之結果。例如，物件220可已從一個位置移動至另一位置(平移移動)或物件220可已旋轉(例如，圍繞平行於x-y平面之y軸之一軸)。
如在圖2C、圖2D及圖2E中繪示，可藉由LIDAR系統120追蹤或觀察一個人之一頭部或面部290。具體言之，可觀察頭部或面部290之一點或位置292。如在圖2C中繪示，在時間T1，點292定位於(x,y)平面中之(3,2)。在時間T2，可觀察點292處於(4,2)。點之移動可為不同類型運動之結果。例如，人或個人可已旋轉其等頭部(例如，圍繞平行於y軸之一軸)，如在圖2D中繪示。或者，人或個人可已移動其等頭部(不存在任何旋轉)，如在圖2E中繪示。
圖3繪示執行本文描述之改良技術之一例示性方法300。方法300可藉由結合圖1描述之建構物執行，該等建構物可駐留於LIDAR系統120之記憶體126中且可藉由處理電路124執行。
在302處，一LIDAR系統使用從一掃描機構發射之電磁輻射之光束，基於對一物件之一第一掃描來定義一第一資料集。例如，LIDAR系統120經由掃描機構152在一時間點用光束190(1)、...、190(N)掃描遍及物件110。LIDAR系統120經由接收器系統160接收光束190(1)、...、190(N)且從所接收之光束產生位移資料集140(1)。
在304處，LIDAR系統使用從掃描機構發射之電磁輻射之光束，基於對物件之一第二掃描來定義一第二資料集。例如，LIDAR系統120經由掃描機構152在一第二時間點用光束190(1)、...、190(N)掃描遍及物件110。LIDAR系統120經由接收器系統160接收光束190(1)、...、190(N)且從所接收之光束產生位移資料集140(2)。
應理解，在第二時間點藉由LIDAR系統120執行之掃描可為下一掃描，即，與第一掃描相反之掃描。然而，在其他配置中，在第二時間點執行之掃描為在與第一掃描相同之方向上之下一掃描。在一些實施方案中，此一情形可能係較佳的，此係因為當在相同方向上執行第一掃描及第二掃描時，可在位移資料集之間存在一更佳之相關性。然而，在其他情形中，將相反方向上之一掃描視為第二掃描可能係較佳的。
在306處，LIDAR系統從第一資料集及第二資料集產生一第一速度(例如，ν x )、一第二速度(例如，ν y )及一旋轉速度(例如，ω z )之初始值。當在相同方向上執行第一掃描及第二掃描時，在第一掃描與第二掃描(即，在相反方向上之一個掃描)之間的掃描時估算此等速度及旋轉速度。參考圖7論述LIDAR系統120如何產生此等值之細節。
在308處，LIDAR系統基於使用從掃描機構發射之電磁輻射之光束對物件之一第三掃描來定義一第三資料集。例如，LIDAR系統120經由掃描機構152在一第三時間點用光束190(1)、...、190(N)掃描遍及物件110。LIDAR系統120經由接收器系統160接收光束190(1)、...、190(N)且從所接收之光束產生位移資料集140(3)。又，第三掃描可為接在第二掃描後之掃描或在與第二掃描相同之方向上之下一掃描，但較佳地在相同方向上。
在310處，LIDAR系統基於第一速度、第二速度及旋轉速度之初始值 及實際資料收集時間及(若必要)第三資料集產生第一速度、第二速度及旋轉速度之精細化值。又，在第一掃描與第二掃描之間的時間針對該等速度及旋轉速度執行精細化。至少結合圖8論述LIDAR系統120如何產生此等精細化值之細節。
圖4繪示使用由一例示性雷射陣列154產生之LIDAR系統120之一例示性掃描幾何結構之一俯視圖。在此情況中，雷射陣列154含有配置成一2×8陣列之16個雷射。如在圖4中展示之雷射陣列154之此組態僅為一實例且可使用使用任何數目之雷射(例如，2×4、2×6、3×4、2×6、2×8、3×8、4×4等)之許多組態。
如先前參考圖1之例示性環境陳述，掃描機構152經組態以在一掃描期間將雷射陣列154以整體方式移動。雷射陣列154中之各雷射因此同步且在相同方向上掃描物件110。藉由掃描機構152勾勒出之掃描路徑可為任何型樣，但為了簡化視為沿著沿一個軸(如在圖4中展示之y軸)之一直線。
藉由掃描機構152執行之此一線性掃描型樣在圖4中展示之物件110上方產生掃描線420(1)。應瞭解，作為一第一近似值，產生掃描線420(1)之掃描被視為已在一單一時刻T0發生，即便跨物件110之掃描時間係有限的。在精細化第一近似值時，可考慮一有限掃描時間。
亦應瞭解，藉由在相同行中之雷射陣列154之雷射產生之光束之掃描線可重疊。此在圖4中展示為各掃描線420(1)實際上為兩條重疊之掃描線。在一些實施方案中，此重疊因為藉由掃描機構152執行之一掃描之範圍長於在雷射陣列154之各行中之雷射之間的距離而發生。
因為物件110在運動中，故下一掃描之掃描線出現在物件110上之一 不同位置上。在圖4中，從一時間T2(即，在相同方向上之下一掃描之時間)之掃描產生掃描線420(2)。掃描線420(2)在圖4中展示為虛線以區分掃描線420(1)。又，各掃描線420(2)實際上為兩條重疊之掃描線。
圖5繪示基於在圖4中展示之掃描線之一資料取樣500。注意，如在圖5中描繪之軸相對於在圖4中描繪之軸旋轉，且圖5中之掃描方向係水平的。資料取樣500表示在已於偵測器處接收光束190(1)、...、190(N)之後且在已產生位移資料集140(1)、...、140(T)之前儲存於記憶體126中之內容。注意，圖5中描繪之樣本點在物件之參考座標系統中且非在LIDAR系統120之參考座標系統中。各小圓表示在時間T0(即，在正y方向上之第一掃描期間)物件110之表面在z方向上之一位移。各小正方形表示在時間T2(即，在正y方向上之第二掃描期間)物件110之表面在z方向上之一位移。各圓或正方形之充填表示藉由雷射陣列154之各行中之第一或第二雷射產生之光束。應瞭解，沿著各掃描線之中心在兩個光束之間存在重疊且此藉由圖5中之交叉影線表示。
亦應瞭解，歸因於物件110之側向移動，第一掃描及第二掃描之範圍係不同的。例如，雖然第一掃描線可沿著y方向佔據介於10cm與200cm之間的一範圍，但第二掃描線可沿著y方向佔據介於0cm與190cm之間的一範圍。又，用於定義座標系統之原點之參考座標系統係LIDAR系統120之慣性座標系統。
進一步應瞭解，沿著x方向之取樣通常係非常稀疏的。雖然沿著y方向取得之樣本數目可儘可能大或小，但沿著x方向之樣本之數目受雷射陣列154之一列中之雷射之數目限制。在圖5中展示之情況中，雖然存在若干打樣本且沿著掃描方向可存在數百個此等樣本，但可僅存在垂直於掃描 方向之八個樣本。
圖5中表示之資料之蒐集可用於計算側向線性速度ν x 、ν y 及側向旋轉速度ω z 之一初始估測。此藉由計算時間T0之資料集與時間T2之資料集之間的平移△x、△y及旋轉θ z 之一估測。應瞭解，雖然此處僅考慮側向運動，但時間T0與時間T2之間仍可存在一些軸向位移。然而，可使用來自T0、T1及T2之LIDAR範圍及速度資料來移除或補償此位移。
在一些實施方案中，在繼續進行估測之前，可觀察到原始資料被過於稀疏地取樣而無法提供物件之一有意義覆蓋。為提供計算小平移及旋轉所需之靈活性，在一些實施方案中，可有利地對該等資料集重新取樣。例如，藉由引入產生一密集網格之一內插方案，可相對容易地找到平移及旋轉之初始估測。
圖6繪示此一內插方案610之一實例。圖6展示來自圖5之一掃描線之兩個行，其中該等行之樣本點之間繪製一三角形網格。因此，各樣本點係網格中之兩個三角形之一頂點。在各三角形區域內，可使用(例如)質心或矩形座標來定義一各自線性內插函數。
然而，應瞭解，內插方案610可用於將內插物件位移定義為一三角形區域內之座標之一連續函數。如此，可達成找到平移及旋轉。例如，可依據平移及/或旋轉判定在T0及T2之兩個資料集之間的一相關性。初始估測之平移及旋轉接著可為最大化資料集之間的相關性之該等值。沿著此等線，在一個實施方案中最大化資料集之間的相關性意味著最小化平移及/或旋轉內之內插物件位移值之間的平方差之一和。參考圖7論述進一步細節。
圖7繪示圖3中展示之方法300之元素306之進一步細節，其中LIDAR 系統120從第一資料集及第二資料集產生一第一速度(例如，ν x )、一第二速度(例如，ν y )及一旋轉速度(例如，ω z )之初始值。
在702處，一LIDAR系統120經由內插獲取在時間T0之物件位移之一密集取樣。一密集取樣為比原始資料集之物件位移密集兩倍或兩倍以上之物件位移之一取樣，例如，若一原始資料集具有200×8個資料點，則經由內插獲取之密集取樣可為800×800或更高。例如，在一個實施方案中，圖1中展示之LIDAR系統120使用位移資料集140(1)上之一曼哈頓網格執行如參考圖描述之一線性內插。此內插之一結果係在時間T0針對資料集之一矩形網格內之物件位移之一密集取樣。已發現，如圖6中描繪之曼哈頓網格內之內插導致比使用一最近鄰近似法之方案更快之計算時間。
在704處，LIDAR系統120接著形成在時間T2之物件位移(例如，位移資料集140(2))之一密集取樣以產生依據物件位移△x、△y而變化之一內插資料集。在一個實施方案中，LIDAR系統120將(△x,△y)=(0,0)視為在T2之內插樣本點，其等具有與在T0之內插樣本點相同之座標。使用藉由第二資料集定義之內插函數，LIDAR系統120計算對應於在時間T0之各內插樣本點但在各各自方藉由平移△x、△y向上移位之內插物件位移。在一些配置中，可僅在一個方向上完成移位。
若f 0(x,y)表示在時間T0之物件位移且f 2(x,y)表示在時間T2之物件位移，則針對密集(內插)網格中之各樣本點(x i ,y j )，LIDAR系統120形成函數f 2(x i +△x,y j +△y)，其被視為△x及△y之一函數。
在706處，LIDAR系統120判定最佳化在T0之內插資料集與在T2之內插資料集之間的一相關性之△x及△y之值。在一些實施方案中，最佳化一相關性涉及最小化或實質上減小在T0之位移及在T2之經平移位移之間的 平方差之一和。換言之，LIDAR系統120可找到最小化下列數量之△x及△y之值：
Figure 106118829-A0305-02-0015-6
 其中K及L分別為x及y方向上之內插樣本點之數目。應瞭解，內插樣本點x i 及y j 未必在一矩形網格上。LIDAR系統120可使用所屬技術領域中已知之任何方法來執行E trans(△x,△y)之最小化。最小化此函數之值表示為(△x 0 ,△y 0)且表示在時間T0與時間T2之間的時間T1之物件之平移之初始估測。
在708處，LIDAR系統120基於一樣本點旋轉通過一角度θ z 而從在時間T2之資料集形成另一內插函數。應瞭解，從平移之初始估測獨立地判定旋轉之初始估測。
在710處，LIDAR系統120判定最大化在T0之內插資料集與在T2之內插資料集之間的相關性之旋轉θ z 之值。在一些實施方案中，最大化一相關性涉及最小化在T0之位移及在T2之經平移位移之間的平方差之一和。換言之，LIDAR系統120可找到最小化下列數量之θ z 之值：
Figure 106118829-A0305-02-0015-3
 其中依接近零之θ z 之預估值估算E rot(θ z )。LIDAR系統120可使用所屬技術領域中已知之任何方法來執行E rot(θ z )之最小化。最小化此函數之值表示為θ z0且表示在時間T0與時間T2之間的時間T1之物件之旋轉之初始估測。
在712處，LIDAR系統120基於值△x 0、△y 0及θ z0判定速度ν x 、ν y 及旋轉速度ω z 在時間T1之初始估測。
圖8繪示圖3中展示之方法300之元素310之例示性細節，其中LIDAR系統120基於第一速度、第二速度及旋轉速度之初始估測產生在時間T1之第一速度、第二速度及旋轉速度之精細化值。在一些實施方案中，LIDAR系統120亦使用後續資料集及其等各自速度估測來進一步精細化第一速度、第二速度及旋轉速度之此等值。
在802處，LIDAR系統120基於一掃描速度判定在T0及T2之掃描之樣本點之實際位置。沿著此等線，如先前參考初始估測論述，假定在進行速度之估測時，一單一掃描之樣本點皆在一單一時間點獲得。由於掃描具有一有限速度，故此並非事實。因此，LIDAR系統120根據掃描時間且基於在時間T1之速度ν x 、ν y 及旋轉速度ω z 之初始估測執行掃描中之樣本點之位置之校正。
作為一實例，假設對應於時間T0之第一掃描花費10毫秒完成。為初始估測之目的，該掃描被視為已在T0=5msec發生。進一步假設已知掃描之一樣本點(x i ,y j )已在T=1msec產生。(例如，樣本點可已按一均勻速率產生)。接著，經線性校正(無旋轉)之樣本點具有等於(x i ',y j ')=(x i +ν x △T,y j +ν y △T)之一位置，其中△T=T0-T。將旋轉納入考慮之經校正樣本點具有等於
Figure 106118829-A0305-02-0016-4
Figure 106118829-A0305-02-0016-5
之一位置。此後者位置係該樣本點之精細化位置。找到樣本點之精細化位置之此程序針對T0及T2掃描中之所有樣本點繼續。
在804處，一旦已找到在T0及T2之樣本點之精細化位置，LIDAR系 統120即重複來自圖7之702、704及706。沿著此等線，LIDAR系統120找到最大化在時間T0與在時間T2之內插物件位移之間的一相關性之平移及一旋轉。在一些實施方案中，LIDAR系統120最小化或至少實質上減小xy平面中之各種樣本點處之物件位移之間的平方差之一和。和之最小化(即，相關性之最佳化)之結果係新的平移△x 1、△y 1及旋轉θ z1之一規格。
在806處，LIDAR系統120從新的平移及旋轉判定對在時間T1之線性及旋轉速度之精細化δν x 、δν y 及δω z 。
在808處，LIDAR系統120判定對速度ν x 、ν y 及旋轉速度ω z 之初始估測之此等精細化是否小於一臨限值。
在810處，若精細化小於臨限值，則程序310已收斂且已判定在時間T0之物件110之運動。
在812處，若精細化不小於臨限值，則程序310尚未收斂且存在對線性及旋轉速度之更多精細化。沿著此等線，LIDAR系統120可藉由使用在偶數時間(例如，T4、T6等)獲得之後續資料集而判定在後續(奇數)時間之物件110之運動。在一個實施方案中，假設LIDAR系統120已基於在時間T2及T4之物件樣本點之精細化位置產生在時間T3之精細化速度ν x 、ν y 及旋轉速度ω z 。接著，速度可被視為依據時間而變化。憑藉兩個資料點(在T1及T3之速度)，可使用一線性剖面來模型化各速度：ν(T)=ν(T1)+a(T-T1)，其中從在T1及T3之速度判定係數a。針對各速度之此時間相依模型將產生在T0及T2之速度之新的經調整值。從速度之此等新的經調整值，LIDAR系統120可判定樣本點之進一步精細化位置，可從該等進一步精細化位置判定對在T1之速度之新精細化。若此等精細化不小於臨限值，則LIDAR系統120使用在T6之掃描資料來判定在T5之速度，從該等速 度產生二次速度模型，如此直至對速度之精細化小於臨限值。已發現，上述程序快速收斂。
用於進一步精細化之時間相依速度無需為依時間之速度之一簡單線性內插。在一些實施方案，當已知兩個以上速度估測時，可使用速度之任何更精確之內插，諸如三次樣條內插。
LIDAR系統120之組件(例如，模組、處理器(例如，經定義於一基板(諸如一矽基板)內之一處理器))(例如，分析管理器130)可經組態以基於可包含一或多個類型之硬體、軟體、韌體、作業系統、運行時庫等之一或多個平台(例如，一或多個類似或不同平台)操作。在一些實施方案，LIDAR系統120之組件可經組態以在一裝置叢集(例如，一伺服器陣列(server farm))內操作。
在一些實施方案中，可在第一掃描之相反方向上執行圖3中提及之第二掃描。如前，在第一掃描與第二掃描之間的半途之一時間估算如此判定之速度及旋轉速度。
在一些實施方案中，圖1中之LIDAR系統120中展示之組件之一或多個部分可係或可包含一基於硬體之模組(例如，一數位信號處理器(DSP)、一場可程式化閘陣列(FPGA)、一記憶體)、一韌體模組及/或一基於軟體之模組(例如，電腦程式碼之一模組、可在一電腦處執行之一組電腦可讀指令)。例如，在一些實施方案中，LIDAR系統120之一或多個部分可係或可包含經組態以供至少一個處理器(未展示)執行之一軟體模組。在一些實施方案中，組件之功能性可包含於與圖1中所展示不同之模組及/或不同之組件中。
在一些實施方案中，LIDAR系統120之一或多個組件可係或可包含經 組態以處理儲存於一記憶體中之指令之處理器。例如，分析管理器130(及/或其之一部分)可係經組態以執行與一程序相關之指令以實施一或多個功能之一處理器及一記憶體之一組合。
儘管未展示，但在一些實施方案中，LIDAR系統120之組件(或其之部分)可經組態以在(例如)一資料中心(例如，一雲端運算環境)、一電腦系統、一或多個伺服器/主機裝置等內操作。在一些實施方案中，LIDAR系統120之組件(或其之部分)可經組態以在一網路內操作。因此，LIDAR系統120(或其之部分)可經組態以在可包含一或多個裝置及/或一或多個伺服器裝置之各種類型之網路環境內起作用。例如，網路可係或可包含一區域網路(LAN)、一廣域網路(WAN)等。網路可係或可包含一無線網路及/或使用(例如)閘道器裝置、橋接器、交換器等實施之無線網路。網路可包含一或多個區段及/或可具有基於各種協定(諸如網際網路協定(IP)及/或一專屬協定)之部分。網路可包含網際網路之至少一部分。
在一些實施方案中，LIDAR系統120可包含一記憶體。記憶體可係任何類型之記憶體，諸如一隨機存取記憶體、一磁碟機記憶體、快閃記憶體等。在一些實施方案中，記憶體可經實施為與LIDAR系統120之組件相關聯之一個以上記憶體組件(例如，一個以上RAM組件或磁碟機記憶體)。
在一些實施方案中，一LIDAR系統包含一雷射系統，該雷射系統包含經組態以依相對於被追蹤之物件之一或多個型樣移動之雷射或雷射光束。例如，在一些實施方案中，LIDAR系統120之掃描機構152包含經組態以依相對於被追蹤之物件之一或多個型樣移動之複數個雷射或光束。
例如，在一些實施方案中，LIDAR系統120可具有其中雷射光束係固定或靜態的一個模式及其中雷射光束依一或多個型樣(諸如一形狀)移動之 一第二模式。在一些實施方案中，當LIDAR系統120處於第二模式中時，兩個或兩個以上雷射光束依一或多個型樣移動。在一些實施方案中，不同雷射光束可依不同型樣獨立地移動。
在其他實施方案中，LIDAR系統120包含一些雷射或產生係靜態的一些雷射光束及經組態以依一型樣(或諸型樣)或形狀移動之一些雷射光束。
雷射或光束可依任何型樣或形狀移動。例如，在一些實施方案中，雷射或光束經組態以依橢圓形形狀移動。在其他實施方案中，雷射或光束經組態以依一線、圓、正方形、矩形、三角形或任何其他形狀移動。在一些實施方案中，雷射或光束移動之形狀或型樣由被追蹤之物件支配或判定。例如，在一些實施方案中，雷射移動之型樣或形狀可類似於被追蹤之物件之形狀。例如，當追蹤一個人之一面部時，可使用一橢圓形形狀或型樣，此係因為一個人之面部形狀係大體上橢圓形。
可在數位電子電路中、或在電腦硬體、韌體、軟體中、或在其等之組合中實施本文描述之各種技術之實施方案。實施方案可經實施為一電腦程式產品，即，在一資訊載體中(例如，在一機器可讀儲存裝置(電腦可讀媒體、一非暫時性電腦可讀儲存媒體、一有形電腦可讀儲存媒體)中)或在一經傳播信號中有形地體現以供資料處理設備(例如，一可程式化處理器、一電腦或多個電腦)處理或控制其控制之一電腦程式。一電腦程式(諸如上文描述之(諸)電腦程式)可以任何形式之程式設計語言(包含編譯或解譯語言)編寫，且可以任何形式部署，包含作為一獨立程式或作為一模組、組件、副常式或適用於一運算環境之其他單元。一電腦程式可經部署以在一個電腦上或在一個位置處或跨多個位置分佈且藉由一通信網路互連之多個電腦上處理。
可藉由執行一電腦程式以藉由運算輸入資料及產生輸出而執行功能之一或多個可程式化處理器執行方法步驟。方法步驟亦可藉由專用邏輯電路(例如，一FPGA(場可程式化閘陣列)或一ASIC(特定應用積體電路))執行，且一設備可實施為該專用邏輯電路。
適用於處理一電腦程式之處理器藉由實例包含通用及專用微處理器兩者，及任何類型之數位電腦之任何一或多個處理器。一般言之，一處理器將從一唯讀記憶體或一隨機存取記憶體或兩者接收指令及資料。一電腦之元件可包含用於執行指令之至少一個處理器及用於儲存指令及資料之一或多個記憶體裝置。一般言之，一電腦亦可包含用於儲存資料之一或多個大容量儲存裝置(例如，磁碟、磁光碟或光碟)，或可操作地耦合以自該一或多個大容量儲存裝置接收資料或傳送資料至該一或多個大容量儲存裝置，或以上兩種情況。適用於體現電腦程式指令及資料之資訊載體包含所有形式之非揮發性記憶體，包含(藉由實例)：半導體記憶體裝置(例如，EPROM、EEPROM及快閃記憶體器件)；磁碟(例如，內部硬碟或可抽換磁碟)；磁光碟；及CD-ROM及DVD-ROM碟。處理器及記憶體可藉由專用邏輯電路補充或併入專用邏輯電路中。
為提供與一使用者之互動，實施方案可在具有用於顯示資訊給使用者之一顯示裝置(例如，一液晶顯示器(LCD或LED)監視器、一觸摸螢幕顯示器)及使用者可藉由其提供輸入至電腦之一鍵盤及一指標裝置(例如，一滑鼠或一軌跡球)之一電腦上實施。其他類型之裝置亦可用於提供與一使用者之互動；例如，提供給使用者之回饋可係任何形式之感測回饋(例如，視覺回饋、聽覺回饋或觸覺回饋)；且可以任何形式接收來自使用者之輸入，包含聲學、語音或觸覺輸入。
實施方案可實施在一運算系統中，該運算系統包含一後端組件(例如，作為一資料伺服器)，或包含一中間體組件(例如，一應用程式伺服器)，或包含一前端組件(例如，一用戶端電腦，其具有一使用者可透過其與一實施方案互動之一圖形使用者介面或一網頁瀏覽器)，或包含此等後端、中間體或前端組件之任何組合。組件可藉由任何形式或媒體之數位資料通信(例如，一通信網路)互連。通信網路之實例包含一區域網路(LAN)及一廣域網路(WAN)(例如，網際網路)。
在一些實施方案中，LIDAR系統120可達成一個體或個人之移動面部之毫米範圍精確度效能。然而，在一些實施方案中，固體物件速度估測需要處理多個樣本以便從語音及其他生物組分移除大的速度分量。具有0.05mm(50微米)之一振幅之一500Hz振動將具有約16cm/sec(2*π*500*5E-5=0.157m/sec)之一最大速度。即使振動之振幅對於追蹤一受試者或個人之面部之程序係一微小範圍改變，但瞬時速度可係大的且可移除振動速度。在一些實施方案中，移除振動速度可需要處理明顯長於將被移除之振動之週期之一速度資料樣本且注意避免雜訊或偏置。例如，速度(例如，z方向上之速度)中之雜訊可影響或劣化偵測或判定物件之旋轉或物件之z速度之能力。在一些實施方案，振動或速度雜訊係相對較小的且可平均化以移除其效應。
雖然所描述之實施方案之特定特徵已如本文描述般繪示，但熟習此項技術者現將想到許多修改、替換、改變及等效物。因此，應理解隨附發明申請專利範圍意在涵蓋落入實施方案之範疇內之所有此等修改及改變。應理解其等已僅藉由實例而非限制之方式呈現，且可在形式及細節上進行各種改變。本文描述之設備及/或方法之任何部分可以任何組合組合，惟 互斥之組合除外。本文描述之實施方案可包含所描述之不同實施方案之功能、組件及/或特徵之各種組合及/或子組合。
300:方法
302:步驟
304:步驟
306:步驟
308:步驟
310:步驟

Claims (16)

  1. 一種使用光偵測及測距(Light Detection And Ranging；LIDAR)以估測運動之方法，其包括：使用從一掃描機構(scanning mechanism)發射之電磁輻射之複數個光束，基於在一第一時間對一物件之一第一掃描之一執行(a performance)來定義一第一資料集；使用從該掃描機構發射之電磁輻射之該複數個光束，基於在一第二時間對該物件之一第二掃描之一執行來定義一第二資料集，在實質上垂直於該複數個光束之一方向之一方向上執行該第一掃描及該第二掃描之各者；基於該第一資料集及該第二資料集產生：(i)沿著正交於該複數個光束之該方向之一第一軸之該物件之一第一速度之一初始值；(ii)沿著正交於該複數個光束之該方向之一第二軸之該物件之一第二速度之一初始值；及(iii)圍繞平行於該複數個光束之該方向之一軸之該物件之一旋轉速度之一初始值，其中該掃描機構之電磁輻射之該複數個光束經配置於一矩形網格中，其中從產生準同調光學輻射(quasi-coherent optical radiation)作為該光束之一雷射發射該掃描機構之電磁輻射之該複數個光束之各者，其中定義該第一資料集包含在該第一時間，在藉由該矩形網格定義之該第一資料集之樣本點處，獲得沿著平行於該複數個光束之該方向之該軸之該物件之位移之值，藉由從該物件上之一各自點反射之各光束之一相 對光學路徑長度判定該等位移之該等值，該等位移經定義為該物件之一經變化位置，其中定義該第二資料集包含在該第二時間，在藉由該矩形網格定義之該第二資料集之樣本點處，獲得沿著平行於該複數個光束之該方向之該軸之該物件之該等位移之值，藉由從該物件上之一各自點反射之各光束之該相對光學路徑長度判定該位移之該等值，該等位移經定義為該物件之一經變化位置，其中產生該第一速度及該第二速度之該等初始值包含：對該第一資料集重新取樣以產生一第一重新取樣資料集，依點之一矩形網格對該第一重新取樣資料集取樣，該矩形網格之網格線平行於該第一軸或該第二軸之任一者；對該第二資料集重新取樣以產生一第二重新取樣資料集，依點之該矩形網格對該第二重新取樣資料集取樣；執行一運動估測運算以基於該第一重新取樣資料集及該第二重新取樣資料集估測一運動估測；及在執行該運動估測運算之後，基於該運動估測產生該第一速度及該第二速度之該等初始值。
  2. 如請求項1之方法，其中對該第一資料集重新取樣包含執行一線性內插運算以產生該第一重新取樣資料集之樣本點及在該第一重新取樣資料集之該等樣本點處之該物件之內插位移；及其中對該第二資料集重新取樣包含執行該線性內插運算以產生該第二重新取樣資料集之樣本點及在該第二重新取樣資料集之該等樣本點處之 該物件之內插位移。
  3. 如請求項2之方法，其中執行該線性內插運算包含：使用一資料集之四個樣本點作為一矩形區之頂點來形成該矩形區，及產生在該矩形區內之一樣本點處之該物件之一內插位移作為在該矩形區之該等頂點處之該等物件之位移之一線性組合。
  4. 如請求項2之方法，其中該第二重新取樣資料集之該等樣本點藉由沿著該第一軸之一第一平移及沿著該第二軸之一第二平移而與該第一重新取樣資料集之該等樣本點偏移；及其中執行該運動估測運算包含找到一第一平移及一第二平移作為該運動估測，該第一平移及該第二平移最大化在該第一重新取樣資料集之該等樣本點處之該物件之該等內插位移與在該第二重新取樣資料集之該等樣本點處之該物件之該等內插位移之間的一相關性。
  5. 如請求項3之方法，其中找到該第一平移及該第二平移包含：產生在該第一重新取樣資料集之該等樣本點處之該物件之該等內插位移與在該第二重新取樣資料集之該等樣本點處之該物件之該等內插位移之間的平方差之一和之一倒數，作為在該第一重新取樣資料集之該等樣本點處之該物件之該等內插位移與在該第二重新取樣資料集之該等樣本點處之該物件之該等內插位移之間的該相關性。
  6. 如請求項2之方法，其中產生圍繞平行於該複數個光束之該方向之該 軸之該物件之該旋轉速度之該初始值包含：從該第一重新取樣資料集產生一經調整資料集；執行一旋轉估測運算以基於該經調整資料集產生一旋轉估測；及在執行該旋轉估測運算後，基於該旋轉估測產生圍繞平行於該複數個光束之該方向之該軸之該物件之該旋轉速度之該初始值。
  7. 如請求項6之方法，其中從該第一重新取樣資料集產生該經調整資料集包含：執行一線性內插運算以產生樣本點及在該經調整資料集之該等樣本點處之該物件之位移，該經調整資料集之該等樣本點係基於該運動估測。
  8. 如請求項7之方法，其中該經調整資料集之該等樣本點藉由圍繞平行於該複數個光束之該方向之該軸之該第一重新取樣資料集之該等樣本點之一旋轉而與該第一重新取樣資料集之該等樣本點偏移；及其中執行該旋轉估測運算包含找到一旋轉作為該旋轉估測，該旋轉最大化在該第一重新取樣資料集之該等樣本點處之該物件之該等內插位移與在該經調整資料集之該等樣本點處之該物件之該等位移之間的一相關性。
  9. 如請求項8之方法，其中找到該旋轉包含：產生在該第一重新取樣資料集之該等樣本點處之該物件之該等內插位移與在該經調整資料集之該等樣本點處之該物件之該等位移之間的平方差之一和之一倒數，作為在該第一重新取樣資料集之該等樣本點處之該物件之該等內插位移與在該經調整 資料集之該等樣本點處之該物件之該等位移之間的該相關性。
  10. 如請求項1之方法，其進一步包括在產生該第一速度、該第二速度及該旋轉速度之該等初始值之後，基於該第一速度之該初始值、該第二速度之該初始值及該旋轉速度之該初始值產生該第一速度之一精細化值(refined value)、該第二速度之一精細化值及該旋轉速度之一精細化值。
  11. 如請求項10之方法，其中產生該第一速度之該精細化值、該第二速度之該精細化值及該旋轉速度之該精細化值包含：基於該第一速度之該初始值、該第二速度之該初始值及該旋轉速度之該初始值產生該第一資料集之精細化樣本點以產生一第一精細化資料集；基於該第一速度之該初始值、該第二速度之該初始值及該旋轉速度之該初始值產生該第二資料集之精細化樣本點以產生一第二精細化資料集；對該第一精細化資料集重新取樣以產生一第一重新取樣精細化資料集，該第一重新取樣精細化資料集依點之該矩形網格取樣且具有在點之該矩形網格中之各點處之該位移之一各自重新取樣值；重新取樣該第二精細化資料集以產生一第二重新取樣精細化資料集，該第二重新取樣資料集依點之該矩形網格取樣且具有在點之該矩形網格中之各點處之該位移之一各自重新取樣值；找到一精細化第一平移、一精細化第二平移及一精細化旋轉，其等最大化該第一重新取樣精細化資料集之該位移之該重新取樣值與該第二重 新取樣精細化資料集之該位移之該重新取樣值之間的一相關性；及基於該精細化第一平移、該精細化第二平移及該精細化旋轉產生該第一速度之該精細化值、該第二速度之該精細化值及該旋轉之該精細化值。
  12. 如請求項11之方法，其中在不同於該第一時間之一各自時刻收集該第一資料集之各精細化樣本點，及其中產生該第一資料集之該等精細化樣本點包含：針對該第一資料集之各精細化樣本點：產生等於收集該樣本點之該時刻與該第一時間之間的一差之一時間差；產生該樣本點之一第一精細化，該第一精細化係基於該時間差與該第一速度之一值及該第二速度之一值之各者之一乘積；產生該樣本點之一第二精細化作為該第一資料集之該精細化樣本點，該第二精細化係基於在等於該旋轉速度之一值與該時間差之一乘積之一旋轉角度內之該樣本點之該第一精細化之一旋轉。
  13. 如請求項12之方法，其中該第一速度之該值為該第一速度之該初始值，該第二速度之該值為該第二速度之該初始值，且該旋轉速度之該值為該旋轉速度之該初始值。
  14. 如請求項12之方法，其進一步包括：在該第二時間之後之時刻收集該第一速度之值、該第二速度之值及 該旋轉速度之值；及基於該第一速度之該等收集值產生依時間之一第一速度剖面(profile)、基於該第二速度之該等收集值產生依時間之一第二速度剖面及基於該旋轉速度之該等收集值產生依時間之一旋轉速度剖面，及其中該第一速度之該值等於在該第一時間估算之該第一速度剖面，該第二速度之該值等於在該第一時間估算之該第二速度剖面，且該旋轉速度之該值等於在該第一時間估算之該旋轉速度剖面。
  15. 一種使用光偵測及測距(LIDAR)以估測運動之系統，其包括：一掃描機構，其經組態且配置以在一方向上發射電磁輻射之複數個光束且用該複數個光束在實質上垂直於該複數個光束之該方向之一方向上掃描遍及一物件之區域；及一運算裝置，其包含記憶體及經耦合至該記憶體之控制電路，該控制電路經建構且配置以：使用從一掃描機構發射之電磁輻射之複數個光束，基於在一第一時間對一物件之一第一掃描之一執行來定義一第一資料集；使用從該掃描機構發射之電磁輻射之該複數個光束，基於在一第二時間對該物件之一第二掃描之一執行來定義一第二資料集，在實質上垂直於該複數個光束之一方向之一方向上執行該第一掃描及該第二掃描之各者；基於該第一資料集及該第二資料集產生：(i)沿著正交於該等光束之該方向之一第一軸之該物件之一第一速度之一初始值；(ii)沿著正交於該等光束之該方向之一第二軸之該物件之一第二速度之一初始 值；及(iii)圍繞平行於該等光束之該方向之一軸之該物件之一旋轉速度之一初始值，其中該掃描機構之電磁輻射之該複數個光束經配置於一矩形網格中，其中從產生準同調光學輻射作為該光束之一雷射發射該掃描機構之電磁輻射之該複數個光束之各者，其中定義該第一資料集包含，以在該第一時間，在藉由該矩形網格定義之該第一資料集的樣本點處獲得沿著平行於該複數個光束之該方向之該軸之該物件之位移之值，藉由從該物件上之一各自點反射之各光束之一相對光學路徑長度判定該等位移之該等值，該等位移經定義為該物件之一經變化位置，其中定義該第二資料集包含，以在該第二時間，在藉由該矩形網格定義之該第二資料集的樣本點處，獲得沿著平行於該複數個光束之該方向之該軸之該物件之該等位移之值，藉由從該物件上之一各自點反射之各光束之該相對光學路徑長度判定該等位移之該等值，該等位移經定義為該物件之一經變化位置，其中產生該第一速度及該第二速度之該等初始值包含：對該第一資料集重新取樣以產生一第一重新取樣資料集，依點之一矩形網格對該第一重新取樣資料集取樣，該矩形網格之網格線平行於該第一軸或該第二軸之任一者；對該第二資料集重新取樣以產生一第二重新取樣資料集，依點之該矩形網格對該第二重新取樣資料集取樣；執行一運動估測運算以基於該第一重新取樣資料集及該第二重 新取樣資料集估測一運動估測；及在執行該運動估測運算之後，基於該運動估測產生該第一速度及該第二速度之該等初始值。
  16. 如請求項15之系統，其中經建構且配置以對該第一資料集重新取樣之該控制電路經進一步建構且配置以執行一線性內插運算以產生該第一重新取樣資料集之樣本點及在該第一重新取樣資料集之該等樣本點處之該物件之內插位移；及其中經建構且配置以對該第二資料集重新取樣之該控制電路經進一步建構且配置以執行該線性內插運算以產生該第二重新取樣資料集之樣本點及在該第二重新取樣資料集之該等樣本點處之該物件之內插位移。
TW106118829A 2016-06-07 2017-06-07 使用光偵測及測距（ｌｉｄａｒ）以估測運動之方法及系統 TWI781106B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662346866P 2016-06-07 2016-06-07
US62/346,866 2016-06-07
US15/613,974 2017-06-05
US15/613,974 US10557942B2 (en) 2016-06-07 2017-06-05 Estimation of motion using LIDAR

Publications (2)

Publication Number Publication Date
TW201743076A TW201743076A (zh) 2017-12-16
TWI781106B true TWI781106B (zh) 2022-10-21

Family

ID=60578124

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106118829A TWI781106B (zh) 2016-06-07 2017-06-07 使用光偵測及測距（ｌｉｄａｒ）以估測運動之方法及系統

Country Status (8)

Country Link
US (2) US10557942B2 (zh)
EP (1) EP3465259A4 (zh)
JP (1) JP7057289B2 (zh)
CN (2) CN117761657A (zh)
AU (1) AU2017279528B2 (zh)
CA (1) CA3026638A1 (zh)
TW (1) TWI781106B (zh)
WO (1) WO2017214144A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12123950B2 (en) 2016-02-15 2024-10-22 Red Creamery, LLC Hybrid LADAR with co-planar scanning and imaging field-of-view
US11029399B2 (en) * 2018-02-01 2021-06-08 Beijing Voyager Technology Co., Ltd. System and method for calibrating light intensity
US20190383942A1 (en) * 2018-06-18 2019-12-19 DSCG Solutions, Inc. Lidar-only lock-on tracking system
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
US11740360B2 (en) * 2020-11-02 2023-08-29 Motional Ad Llc Light detection and ranging (LiDaR) scan smoothing
IL283638B2 (en) * 2021-05-18 2023-04-01 Elbit Systems Ltd A system and method for creating focused 3D maps

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200401114A (en) * 2002-03-11 2004-01-16 Teratech Corp Ultrasound probe with integrated electronics
US20050182518A1 (en) * 2004-02-13 2005-08-18 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
US6937774B1 (en) * 2000-10-24 2005-08-30 Lockheed Martin Corporation Apparatus and method for efficiently increasing the spatial resolution of images
US20100109938A1 (en) * 2007-01-31 2010-05-06 Gordon Kenneth Andrew Oswald Adaptive radar
WO2015179515A1 (en) * 2014-05-21 2015-11-26 DSCG Solutions, Inc. Devices, systems, and methods for real time tracking of an object

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2292605B (en) * 1994-08-24 1998-04-08 Guy Richard John Fowler Scanning arrangement and method
US5988862A (en) 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
JP4106582B2 (ja) 2001-01-04 2008-06-25 オムロン株式会社 車両用検知装置
US7302174B2 (en) 2003-12-31 2007-11-27 Symbol Technologies, Inc. Method and apparatus for capturing images using a color laser projection display
JP2006030147A (ja) 2004-07-22 2006-02-02 Hitachi Ltd 環境認識システムおよび移動機構
US8855848B2 (en) 2007-06-05 2014-10-07 GM Global Technology Operations LLC Radar, lidar and camera enhanced methods for vehicle dynamics estimation
US7999923B2 (en) 2009-02-19 2011-08-16 Northrop Grumman Systems Corporation Systems and methods for detecting and analyzing objects
CN102713671A (zh) 2009-12-11 2012-10-03 株式会社拓普康 点群数据处理装置、点群数据处理方法和点群数据处理程序
DE112011104992T5 (de) 2011-03-01 2014-01-23 Toyota Jidosha Kabushiki Kaisha Zustandsschätzvorrichtung
US11284846B2 (en) 2011-05-12 2022-03-29 The John Hopkins University Method for localization and identification of structures in projection images
CN102305932B (zh) * 2011-07-26 2013-10-30 中国科学院上海光学精密机械研究所 菲涅耳望远镜成像激光雷达运动目标成像方法
US9134402B2 (en) 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
US9188676B2 (en) 2012-08-15 2015-11-17 Digital Signal Corporation System and method for detecting a face contour using a three-dimensional measurement system
US8948497B2 (en) 2012-09-04 2015-02-03 Digital Signal Corporation System and method for increasing resolution of images obtained from a three-dimensional measurement system
US9523772B2 (en) 2013-06-14 2016-12-20 Microsoft Technology Licensing, Llc Object removal using lidar-based classification
US10564285B2 (en) 2015-11-19 2020-02-18 DSCG Solutions, Inc. Estimation of motion in six degrees of freedom (6DOF) using LIDAR

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6937774B1 (en) * 2000-10-24 2005-08-30 Lockheed Martin Corporation Apparatus and method for efficiently increasing the spatial resolution of images
TW200401114A (en) * 2002-03-11 2004-01-16 Teratech Corp Ultrasound probe with integrated electronics
US20050182518A1 (en) * 2004-02-13 2005-08-18 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
US20100109938A1 (en) * 2007-01-31 2010-05-06 Gordon Kenneth Andrew Oswald Adaptive radar
WO2015179515A1 (en) * 2014-05-21 2015-11-26 DSCG Solutions, Inc. Devices, systems, and methods for real time tracking of an object

Also Published As

Publication number Publication date
US20200150273A1 (en) 2020-05-14
TW201743076A (zh) 2017-12-16
CA3026638A1 (en) 2017-12-14
EP3465259A4 (en) 2020-01-15
CN109416398B (zh) 2023-12-08
CN109416398A (zh) 2019-03-01
AU2017279528A1 (en) 2019-01-03
US10557942B2 (en) 2020-02-11
JP2019518957A (ja) 2019-07-04
AU2017279528B2 (en) 2022-03-24
WO2017214144A1 (en) 2017-12-14
EP3465259A1 (en) 2019-04-10
JP7057289B2 (ja) 2022-04-19
US20180348372A1 (en) 2018-12-06
CN117761657A (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
TWI781106B (zh) 使用光偵測及測距（ｌｉｄａｒ）以估測運動之方法及系統
US10564285B2 (en) Estimation of motion in six degrees of freedom (6DOF) using LIDAR
US10571573B2 (en) Devices, systems, and methods for real time tracking of an object
EP2959315B1 (en) Generation of 3d models of an environment
US20230169683A1 (en) Association of concurrent tracks across multiple views
Wang et al. Modelling and calibration of the laser beam-scanning triangulation measurement system
US11262454B2 (en) Dwell-angle-independent tracking and monitoring objects using LIDAR
US11513229B2 (en) Multi-beam processing of lidar vibration signals
US20190377066A1 (en) Tracking objects using video images and lidar
EP3807676A1 (en) Lidar-only lock-on tracking system
Wang et al. Real-time range imaging system based on a light-emitting diode array phase-shift range finder for fast three-dimensional shape acquisition
CN117146710A (zh) 基于主动视觉的动态投影三维重建系统及方法

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent