TW202206849A - 用於測量的裝置及用以判定環境中兩點間之距離之方法 - Google Patents

用於測量的裝置及用以判定環境中兩點間之距離之方法 Download PDF

Info

Publication number
TW202206849A
TW202206849A TW110127726A TW110127726A TW202206849A TW 202206849 A TW202206849 A TW 202206849A TW 110127726 A TW110127726 A TW 110127726A TW 110127726 A TW110127726 A TW 110127726A TW 202206849 A TW202206849 A TW 202206849A
Authority
TW
Taiwan
Prior art keywords
distance
environment
points
optical signal
sensor
Prior art date
Application number
TW110127726A
Other languages
English (en)
Inventor
那允中
李宇軒
張閎智
林德松
Original Assignee
美商光程研創股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商光程研創股份有限公司 filed Critical 美商光程研創股份有限公司
Publication of TW202206849A publication Critical patent/TW202206849A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申請提供一種用於測量的裝置及用以判定環境中兩點間之距離之方法。例如，一範例裝置可包含一距離估算系統、一距離精化系統及一處理系統。距離估算系統可配置為接收一第一光學訊號，並判定一環境中兩點間之一第一距離。距離精化系統可配置為接收一第二光學訊號，並判定該環境中該兩點間之一第二距離。處理系統可配置為接收代表該第一距離及該第二距離之資訊，並基於該第一距離及該第二距離，判定該環境中該兩點間之一第三距離。該環境中該兩點間之一真實距離與該第一距離間之一差異，可大於該環境中該兩點間之該真實距離與該第三距離間之一差異。

Description

用於測量的裝置及用以判定環境中兩點間之距離之方法
本申請主要關於感測器系統。更詳而言之，本申請係關於可偵測光學訊號、估算物體距離、並精化估算距離以判定準確距離測量值之系統。所述系統可基於準確距離測量值而發起一或多項操作。
感測器廣泛用於諸如智慧型手機、機器人學及自動駕駛車輛等應用，以判定環境中物體之特性（例如物體辨識、物體分類、深度資訊、邊緣偵測、動作資訊等）。但其判定結果可能具有不確定性，亦即包含估算誤差。例如，RGB攝像頭雖可用於偵測物體邊緣，但若此物體與另一物體部分重疊，則利用RGB影像偵測物體邊緣之軟體（例如機器學習模型）可能產生具有不確定性之輸出。
在另一範例中，三維影像感測器，或稱深度感測器，可利用例如立體、直接飛時測距（d-ToF）、及間接飛時測距（i-ToF）技術等原理。但i-ToF感測器可能出現不明誤差的問題。例如，在i-ToF系統中，高調變頻率（例如300 MHz）雖有助於提升深度解析度及準確度，但可辨距離（unambiguous range）有限（例如50公分）。因此，i-ToF感測器可能無法區分10公分之距離與60公分之距離，導致出現不明誤差(ambiguous errors)，或稱混疊(aliasing)。
關於i-ToF系統不明誤差問題之一種解決方案，是在時域中利用額外的低調變頻率（例如75MHz）以延伸可視範圍。然而，若此方案所用之多個調變頻率在時間上呈分離狀態，則會降低系統幀率，導致動作假影及其他硬體副作用。或者，若在添加多個調變頻率時系統幀率維持不變之情況下，會使得每一頻率之積分時間縮短，導致深度解析度及準確度降低。此外，多頻調變頻率感測仍可能發生去混疊誤差(de-aliasing error)，特別是當系統訊噪比（SNR）降低時，例如是在較遠距離時。
為克服感測器不確定性或誤差問題，可配合使用多種類型之感測器以獲得更準確之結果。例如，為解決不明誤差及/或去混疊誤差，同時維持系統幀率及深度解析度，可將由距離估算系統（例如連接機器學習模型之RGB攝像頭）所產生之低深度解析度深度圖，與由i-ToF感測器所產生之高深度解析度深度圖結合，藉以獲得高深度解析度/準確度且可視範圍廣之最終深度圖。
透過以下說明或經由實施本申請實施例，將可得知並理解本申請實施例之各種態樣及優點。
本申請之一種範例態樣係一用於測量的裝置，其包含一具有感測器系統之距離估算系統。距離估算系統配置為接收一第一光學訊號；並基於第一光學訊號，判定一環境中兩點間之一第一距離。所述裝置包含一距離精化系統，其具有一或多個間接飛時測距感測器。距離精化系統配置為接收一第二光學訊號；並基於第二光學訊號，判定環境中兩點間之一第二距離。所述裝置包含一處理系統，其具有一或多個運算元件。處理系統配置為接收代表第一距離及第二距離之資訊；並基於第一距離及第二距離，判定環境中兩點間之一第三距離。（i）環境中兩點間之一真實距離與（ii）第一距離間之一差異，大於（i）環境中兩點間之真實距離與（ii）第三距離間之一差異。
本申請之另一範例態樣係用以判定一環境中兩點間之一距離之方法。所述方法包含由一感測器系統接收一第一光學訊號。所述方法包含由感測器系統基於第一光學訊號，判定一環境中兩點間之一第一距離。所述方法包含由一或多個與感測器系統分離之間接飛時測距感測器接收一第二光學訊號。所述方法包含由一或多個間接飛時測距感測器基於第二光學訊號，判定環境中兩點間之一第二距離。所述方法包含由一或多個運算元件接收代表第一距離及第二距離之資訊。所述方法包含由一或多個運算元件基於第一距離及第二距離，判定環境中兩點間之一第三距離。（i）環境中兩點間之一真實距離與（ii）第一距離間之一差異，大於（i）環境中兩點間之真實距離與（ii）第三距離間之一差異。
本申請之又一範例態樣係一用於測量的裝置。所述裝置包含一距離估算系統，其具有一感測器系統。距離估算系統配置為接收一第一光學訊號；並基於第一光學訊號產生一第一電性訊號，以判定一環境中兩點間之一第一距離。所述裝置包含一距離精化系統，其具有一或多個間接飛時測距感測器。距離精化系統配置為接收一第二光學訊號；並基於第二光學訊號產生一第二電性訊號，以判定環境中兩點間之一第二距離。所述裝置包含一處理系統，其具有一或多個運算元件。處理系統配置為接收第一電性訊號及第二電性訊號；將代表第一電性訊號及第二電性訊號之輸入資訊提供至一機器學習模型；接收代表環境中兩點間之一第三距離之輸出資訊；並判定環境中兩點間之第三距離。第二距離之一最大值小於一與一或多個間接飛時測距感測器關聯之可辨距離。第三距離之一最大值大於一與一或多個間接飛時測距感測器關聯之可辨距離。
本申請之再一範例態樣係一用於測量的裝置。所述裝置包含一估算系統，其具有一感測器系統。估算系統配置為接收一第一訊號；並基於第一訊號，判定與一環境中之一目標物體關聯之一特性之一第一值。所述裝置包含一精化系統，其具有一或多個間接飛時測距感測器。精化系統配置為接收一第二訊號；並基於第二訊號，判定與環境中之目標物體關聯之特性之一第二值。所述裝置包含一處理系統，其具有一或多個運算元件。處理系統配置為接收代表第一值及第二值之資訊；並基於第一值及第二值，判定與環境中之目標物體關聯之特性之一第三值。（i）與環境中之目標物體關聯之特性之一真實值與（ii）第一值間之一差異，大於（i）特性之真實值與（ii）第三值間之一差異。
本申請之其他範例態樣包含關於所述技術之系統、方法、裝置、感測器、運算元件、有形非暫態電腦可讀媒體、及記憶體元件。
以下將參照所附請求項說明各種實施例之上述及其他特徵、態樣與優點。各圖式構成本說明書之一部分，其目的在於闡明本申請之實施例，並配合描述解說相關原理。
本申請案主張2020年8月13日所提美國臨時專利申請案第63/065,482號之優先權，該案之整體內容經參照併入本文。
本申請之範例態樣為用以判定一環境中兩點間之距離之改良系統及方法。例如，一深度感測系統可利用來自第一類型感測器（例如RGB攝像頭）之距離估算值及來自第二類型感測器（例如間接飛時測距感測器）之精化距離估算值，而針對元件（例如使用者裝置、自動化平台等）與其所在環境中一物體間之距離判定更準確之估算值。在些許實施方式中，所述深度感測系統可利用一或多個經訓練之機器學習模型。例如，機器學習模型可接收距離估算值作為其輸入，並因應於此而輸出元件與物體間距離之更準確估算值，如下文將詳述者。
本申請之系統及方法提供多種技術效益。例如，本申請之技術提供改良之深度及距離估算，協助運用此等技術之系統改善功能，包含改善自動化平台之預測及動作控制、使用者裝置之應用程式操作等。此外，本申請之系統及方法可藉由比較來自不同類型感測器之不同距離估算值，而對去混疊誤差進行偵測及修正。據此，本申請之技術可改善三維感測器準確度，並因此協助採用此種技術之系統改善機能。
以下將參照各圖式詳細說明本申請之範例實施例。應知參照一圖所描述之實施例、特徵、硬體、軟體、及/或其他元件亦可用於另一圖所示之系統及程序中。
圖1顯示一深度感測系統100，其係用以判定一環境中一元件102與一物體140間之一距離。元件102可為一行動裝置（例如智慧型手機、平板電腦、穿戴裝置、車輛、無人機等）或一固定裝置（例如監視系統、機械手臂等）。元件102包含一距離估算系統110、一距離精化系統120、及一處理系統130。
距離估算系統110可配置為接收一第一光學訊號，並基於第一光學訊號而判定一環境中兩點間之一第一距離。例如，距離估算系統110係配置為接收一光學訊號，並基於光學訊號而判定元件102與物體140間之一距離。距離估算系統110可包含一感測器系統112及一深度繪製系統114。一般而言，感測器系統112接收來自物體140之一光學訊號（例如反射光），並產生一或多個電性訊號。感測器系統112可包含一感測器陣列，其配置為接收第一光學訊號並產生一或多個第一電性訊號。感測器陣列可為RGB攝像頭之感測器陣列。在些許實施方式中，感測器系統112可包含一具有多個鏡頭之立體攝像頭、一結構光偵測系統、及/或一或多個直接飛時測距（d-ToF）感測器。
例如，參照圖2之距離估算系統200之範例，感測器系統112之實施可採用連接有一機器學習模型204之一RGB攝像頭202（或IR攝像頭），或一立體攝像頭212，或一結構光系統222，或一d-ToF感測器232，或一i-ToF感測器242，或連接有一機器學習模型254之一動作估計器252（例如，基於由一或多個影像感測器隨時間擷取之多重影像所判定之動作估算值，而進行深度估算），或聲納感測器，或雷達感測器，或位置感測器（例如加速度計、陀螺儀、NFC、GPS等），或上述任何感測器之組合。深度繪製系統114接收來自感測器系統112之一或多個電性訊號，並判定元件102與物體140間之距離。例如，當使用一或多個直接飛時測距感測器時，可基於環境中兩點間（例如元件102與物體140間之距離）之光往返時間而判定一第一距離。深度繪製系統114之實施可採用硬體電路系統（例如ASIC、FPGA）、查找表(LUT)、一或多個具有軟體之處理器（例如MCU、CPU、GPU、TPU）、或任何其他適合方式。
復參照圖1，距離精化系統120可配置為接收一第二光學訊號，並基於第二光學訊號而判定環境中兩點間之一第二距離。例如，在圖1中，距離精化系統120係配置為接收一光學訊號，並基於此光學訊號而判定元件102與物體140間之一距離。距離精化系統120可包含一或多個i-ToF系統122及一深度繪製系統124。深度繪製系統124之實施亦可採用硬體電路系統（例如ASIC、FPGA）、查找表(LUT)、一或多個具有軟體之處理器（例如MCU、CPU、GPU、TPU）、或任何其他適合方式。
參照圖3之範例，一或多個i-ToF系統122可包含一發送器單元302、一接收器單元304、及一控制器306。於操作時，發送器單元302可向一目標物體（例如物體140）發出一發射光。接收器單元304可接收反射自目標物體之反射光。控制器306可驅動至少發送器單元302及接收器單元304。在些許實施例中，一或多個i-ToF系統122可配置為在一第一頻率操作。感測器系統112可包含一或多個在一第二頻率操作之第二間接飛時測距感測器，所述第二頻率與第一頻率不同。
發送器單元302可包含一或多個光源，其發光之峰值波長在高於800 nm之不可見光波長範圍內，例如850 nm、940 nm、1050 nm、1064 nm、1310 nm、1350 nm、或1550 nm。
接收器單元304可包含一或多個i-ToF感測器，例如一像素陣列。i-ToF感測器之材質可為III-V族之半導體材料（例如GaAs/AlAs、InP/InGaAs/InAlAs、GaSb/InAs、或InSb）、含IV族元素（例如Ge、Si、或Sn）之半導體材料、或例如為Six Gey Sn1-x-y （其中，0≦x≦1，0≦y≦1，x+y≦1）、Ge1-a Sna （其中，0≦a≦1）、或Ge1-x Six （其中，0≦x≦1）之化合物。
舉例而言，一像素陣列可實施於一矽上鍺（Ge-on-Si）平台。圖11顯示一矽上鍺平台1100上之範例像素陣列截面（及適合用於像素陣列之時鐘訊號）。圖11之範例像素陣列採用矽上鍺架構，其可吸收近紅外線（NIR，例如波長範圍自780 nm至1400 nm，或由特定應用所定義之任何類似波長範圍）及短波紅外線（SWIR，例如波長範圍自1400 nm 至3000 nm，或由特定應用所定義之任何類似波長範圍）光譜中之波長。如此能夠在不超出最大允許暴露限制（MPE）之情況下達成較佳訊噪比（SNR）。
矽上鍺平台1100可與i-ToF影像感測器相關聯。例如，i-ToF影像感測器可採用背照（back-side illumination，BSI）配置，其中，鍺區域形成於一第一晶圓1101（例如頂部晶圓）上，且一或多個電路位於一第二晶圓1102（例如底部晶圓）。第一晶圓1101與第二晶圓1102可經由一晶圓接合介面1103相互接合。在些許實施例中，像素可按照雙開關鎖定像素架構。第一晶圓1101上並可分散設置一或多個差動解調時鐘1104（例如CLKP、CLKN），以例如在鍺表面（例如較接近通孔VIA之一側）上於每一像素中第一節點1105（例如Demod1、Demod2）之間創造一連續切換橫向電場。光電荷可經由第二節點1106（例如FD1、FD2）收集。在些許實施例中，由於多數光電荷是產生於鍺層內，且鍺層較薄，因此鍺表面上之橫向電場可將光電荷有效掃至第二節點1106。此外，同樣因為鍺層不厚，光電荷漂移至一或多個第二節點1106（例如FD1及/或FD2）之過渡時間不長，因此能夠大幅改善解調速度。在些許實施例中，為避免耦接至任何敏感性高阻抗節點，並放寬設計規則要求，可使第二節點1106（例如FD1及/或FD2）與部分覆蓋像素區域之晶圓接合介面相互作用。一或多個差動解調時鐘1104（例如CLKP及/或CLKN）可路由至像素區域外部之第二晶圓1102時鐘驅動器。像素解調驅動器可採用錐形反相傳輸鏈（tapered inverter chain）實現，且透過調整反相傳輸鏈之供應可發揮最大性能。在些許實施例中，像素電路之實施可採用差動式四電晶體架構。圖11之底部亦顯示簡化時序圖。每次曝光前，可經由受控於訊號RST之Msh1/Msh2及Mrt1/Mrt2重設所有像素。經曝光、整合、及解調後，收集而得之光電荷可儲存於受訊號SH所控制之C1及C2上。最後，經由源極隨耦器Msf1/Msf2及受控於訊號BS之列選擇開關Mbt1/Mbt2，可讀出至ADC。在些許實施例中，可利用四相步測量重獲深度資訊，而無需顧慮類比非理想性問題。
復見圖3，在些許實施例中，控制器306包含一時序產生器及一處理單元。時序產生器接收一參考時鐘訊號，並將時序訊號提供至發送器單元302，用以調變發射之光線。此時序訊號亦傳送至接收器單元304，用以控制光載子之收集。處理單元處理由接收器單元304產生並收集之光載子，而後判定目標物體之原始資料。處理單元可包含控制電路系統、一或多個用於處理接收器單元304所輸出資訊之訊號處理器、及/或可儲存用於判定或儲存目標物體之原始資料之指令之電腦儲存媒體。一般而言，控制器306利用發送器單元302所發出光線與接收器單元304所接收光線間之相位差異，而判定兩點間之一距離。
在些許案例中，接收器單元304與控制器306係實施於同一半導體晶片，例如系統單晶片（SoC）。在些許案例中，發送器單元302係由兩塊不同半導體晶片實施，例如III-V基板上之雷射發光器晶片及矽基板上之矽雷射驅動器晶片。
圖4顯示一範例系統400，其中，感測器系統112包含一RGB攝像頭202及一機器學習模型204。RGB攝像頭202可為任何可光學擷取環境之影像並將之轉換為電性訊號之適用攝像頭（例如CMOS數位攝像頭）。一或多個儲存媒體，其可配置為儲存一或多個機器學習模型。一或多個機器學習模型，其可經訓練而接收所述一或多個第一電性訊號之一表徵作為其輸入，並提供一代表第一距離之輸出。舉例而言，一或多個第一電性訊號之表徵可包含由RGB攝像頭202所輸出之一光學影像之至少一部分。機器學習模型204可例如為，經訓練而可接收由RGB攝像頭202所擷取之影像之一部分（例如包含有環境中物體140之影像之一部分）作為其輸入，並產生一代表元件102與物體140之間距離之輸出。與此同時，或以為替代，感測器系統112可包含一立體攝像頭。所述一或多個第一電性訊號可包含由立體攝像頭所輸出之一三維影像之至少一部分。在些許實施例中，與此同時，或以為替代，機器學習模型204係經訓練而接收由立體攝像頭所輸出之一三維影像之至少一部分作為其輸入，並產生一代表元件102與物體140之間距離之輸出。在些許實施方式中，機器學習模型204可為卷積神經網路模型、深度神經網路模型、或任何其他適合之機器學習模型。一般而言，利用距離估算系統110所判定之距離，或深度，可提供良好之估算值，但由於機器學習模型204之訓練係基於經驗資料（例如具有距離資訊之訓練影像集），且未必準確切合所有可能之操作情境，因此容易出現誤差較高及/或深度解析度較低之問題。
反之，i-ToF感測器之深度解析度取決於i-ToF感測器之解調頻率。解調頻率高（例如300 MHz）時，i-ToF感測器通常可產生深度解析度高且誤差低之結果。但i-ToF感測器卻受其可辨距離所限制，可辨距離(unambiguous range)之定義為：
Figure 02_image001
其中，c為光速，fdemod 為解調頻率。例如，解調頻率為300 MHz時，i-ToF感測器之可辨距離為50公分。因此，當以300 MHz操作時，i-ToF感測器可能無法分辨10公分距離與60公分距離，從而可能發生不明誤差。
由於距離估算系統110可就元件102與物體140間之距離提供誤差較大但距離範圍較廣之估算值，而距離精化系統120在可辨距離內能夠提供誤差較低之距離估算值，因此處理系統130可結合來自距離估算系統110與距離精化系統120兩者之距離資料，針對元件102與物體140間之距離提供準確度高且範圍較廣之估算值。處理系統130之實施可採用硬體電路系統（例如ASIC、FPGA）、查找表、一或多個具有軟體之處理器（例如MCU、CPU、GPU、TPU）、或任何其他適合方式。
圖5繪示一深度感測系統之範例操作。在此，距離估算系統110（例如以連接有機器學習模型之RGB攝像頭實施）判定元件102與物體140間之一距離為D1。此外，距離精化系統120判定元件102與物體140間之一距離為D2。處理系統130可包含一或多個運算元件（例如一或多個處理器、一或多個硬線電路系統、一或多個現場可程式化閘極陣列、其他元件、或其組合）。處理系統130可配置為接收代表第一距離D1及第二距離D2之資訊，並基於第一距離D1及第二距離D2而判定環境中兩點間之一第三距離。環境中兩點間之一第一點可代表，例如，一裝置（例如元件102）之一所在位置。環境中兩點間之一第二點可代表物體140在環境中之一所在位置。基於第一距離D1，可判定與一或多個間接飛時測距感測器關聯之一可辨距離之一乘數。例如，將第二距離加上可辨距離與乘數之一乘積，可得一第三距離。（i）環境中兩點間之一真實距離（例如實際距離）與（ii）第一距離間之一差異（例如一絕對差異），可大於（例如統計上大於）（i）環境中兩點間之真實距離與（ii）第三距離間之一差異。此外，在些許實施方式中，（i）環境中兩點間之真實距離與（ii）第一距離D1間之差異可代表一第一誤差，第一誤差小於與一或多個間接飛時測距感測器關聯之一可辨距離。第二距離D2之值在可辨距離內。（i）環境中兩點間之真實距離與（ii）第三距離間之差異可代表一第二誤差，第二誤差小於（例如統計上小於）第一誤差。
舉例而言，基於D1及距離精化系統120之已知可辨距離（基於公式（1）所示i-ToF感測器之操作頻率），處理系統130可判定元件102與物體140間之一遠程及高深度解析度距離Dout ：
Figure 02_image003
其中，N為元件102與物體140間可辨距離之最接近倍數，且floor()為取整函數，其計算小於或等於D1與可辨距離間除法商數之最大整數。只要來自距離估算系統110之距離誤差小於與距離精化系統120關聯之可辨距離，距離Dout 便可視為準確。
在些許實施方式中，i-ToF感測器之混疊問題，可藉由在時間上交替使用二或更多種不同頻率（例如75 MHz及50 MHz）操作i-ToF感測器之方式加以解決。然而，即便採用多頻操作，仍可能發生去混疊誤差，尤其是當系統SNR降低時。例如，假設在75 MHz及50 MHz，可辨距離分別為2公尺及3公尺。在此二頻率操作i-ToF感測器之對應去混疊可辨距離是6公尺。若SNR高，則在75 MHz與50 MHz所測得距離之差異較小，例如，若第一次測量之基準真相為1公尺，i-ToF系統122在75 MHz及50 MHz測得之距離可能分別為0.9公尺及1.2公尺，由深度繪製系統124運算出之距離可為0.9公尺或1.2公尺（取決於所選頻率資料）。然而，若SNR低，則在75 MHz與50 MHz所測得距離之差異可能較大，例如，若為1公尺之基準真相在嘈雜環境中完成之第二次測量，由i-ToF系統122在75 MHz及50 MHz所測得之距離可能分別為0.7公尺及1.4公尺，由深度繪製系統124運算出之距離在此情況下可能為4.7公尺或4.4公尺（取決於所選頻率資料），產生去混疊誤差。
為解決去混疊誤差，處理系統130可使用由距離估算系統110所判定之距離作為一參考距離。利用上述範例，處理系統130可自距離估算系統110接收1公尺之距離測量值（例如D1）。若處理系統130之後自距離精化系統120接收4.7公尺及/或4.4公尺之距離測量值（例如D2），處理系統130可經由與D1比較而判定去混疊誤差已經發生。若處理系統130判定去混疊誤差已經發生，處理系統130可利用對應可辨距離之一整數倍數（例如2 x 2公尺或1 x 3公尺，取決於所選者為 75 MHz或50 MHz），調整來自距離精化系統120之距離測量值。據此，深度感測系統可偵測並修正去混疊誤差。
圖6顯示利用一深度感測系統（例如深度感測系統100）判定一遠程及高深度解析度距離之一範例程序。
深度感測系統接收一第一光學訊號（步驟602）。具體而言是由一感測器系統（例如深度感測系統的）接收第一光學訊號。例如，距離估算系統110之RGB攝像頭202可擷取在一環境中一物體之一影像。深度感測系統判定環境中兩點間之一第一距離（步驟604）。具體而言是由感測器系統基於第一光學訊號，判定環境中兩點間之第一距離。例如，距離估算系統110之機器學習模型204可利用RGB攝像頭202所擷取影像之一部分，而產生代表元件102與物體140間之距離之一輸出。深度繪製系統114可利用機器學習模型204之輸出而判定元件102與物體140間之距離，其判定之距離範圍較遠但誤差較大。
深度感測系統接收一第二光學訊號（步驟606）。具體而言是由與感測器系統分離之一或多個間接飛時測距感測器接收第二光學訊號。例如，距離精化系統120之一或多個i-ToF感測器可偵測一環境中自一物體反射之光線。深度感測系統判定環境中兩點間之一第二距離（步驟608）。具體而言是由一或多個間接飛時測距感測器基於第二光學訊號，判定環境中兩點間之第二距離。例如，距離精化系統120之深度繪製系統124可利用一發射光與一反射光間之相位差異，來判定一可辨距離內之一距離。
深度感測系統判定兩點間之一第三距離（步驟610）。具體而言是由深度感測系統之一或多個運算元件接收代表第一距離及第二距離之資訊，再由一或多個運算元件，基於第一距離及第二距離，而判定環境中兩點間之第三距離。（i）環境中兩點間之一真實距離與（ii）第一距離間之一差異（例如一絕對差異），可大於（例如統計上大於）（i）環境中兩點間之真實距離與（ii）第三距離間之一差異。例如，處理系統130可利用由距離估算系統110所判定之第一距離、與i-ToF感測器之操作頻率關聯之可辨距離、以及由距離精化系統120所判定之第二距離，來判定元件102與物體140間之一遠程及高深度解析度距離（例如參考圖5所描述之Dout ）。
圖7顯示一深度感測系統700，其係利用以感測器融合訓練之機器學習模型，來判定一環境中一元件702與一物體140間之一距離。元件702可為行動裝置（例如智慧型手機、平板電腦、穿戴裝置、車輛、無人機等）或固定裝置（例如監視系統、機械手臂等）。元件702包含一距離估算系統710、一距離精化系統720、及一處理系統730。
距離估算系統710係配置為接收一光學訊號，並基於光學訊號提供一電性訊號（例如數位影像），可用於估算元件702與物體140間之一距離。距離估算系統710可包含一感測器系統712。感測器系統712之實施可採用一RGB攝像頭202。感測器系統712之實施亦可採用一立體攝像頭212，或一結構光系統222，或一d-ToF感測器232，或一i-ToF感測器242，或一動作估計器252，或上述任何感測器之組合。此時距離估算系統710可配置為接收一第一光學訊號，並基於第一光學訊號而產生一第一電性訊號，用以判定一環境中兩點間之一第一距離。
距離精化系統720係配置為接收一光學訊號，並基於光學訊號提供一電性訊號（例如正交振幅），可用於判定元件702與物體140間之一距離。距離精化系統720可包含一或多個i-ToF系統122，此時距離精化系統720可配置為接收一第二光學訊號，並基於第二光學訊號而產生一第二電性訊號，用以判定環境中兩點間之一第二距離。
處理系統730可將來自距離估算系統710及距離精化系統720兩者之電性訊號結合，而判定元件702與物體140間之一距離，其判定之距離範圍較廣且準確度高。處理系統730可包含一機器學習模型734及一深度繪製系統736。處理系統730之實施可採用硬體電路系統（例如ASIC、FPGA）、查找表、一或多個具有軟體之處理器（例如MCU、CPU、GPU、TPU）、或任何其他適合方式。
處理系統730（例如包含一或多個運算元件）可配置為接收第一電性訊號及第二電性訊號，將代表第一電性訊號及第二電性訊號之輸入資訊提供至一機器學習模型，接收代表環境中兩點間之一第三距離之輸出資訊，並判定環境中兩點間之第三距離。第二距離之一最大值可小於一與一或多個間接飛時測距感測器關聯之可辨距離，且第三距離之一最大值可大於與一或多個間接飛時測距感測器關聯之可辨距離。
例如，機器學習模型734係經訓練而可接收來自距離估算系統710之一訊號（例如由RGB攝像頭202所擷取之包含環境中物體140之數位影像之一部分）及來自距離精化系統720之一訊號（例如由i-ToF系統122所擷取之包含環境中物體140之正交振幅之一部分）作為一結合輸入，並產生代表元件702與物體140間之一距離之一輸出。在些許實施方式中，機器學習模型734可為卷積神經網路模型、深度神經網路模型、或任何其他適合之機器學習模型。例如，機器學習模型734可經訓練而利用物體之RGB影像資料及i-ToF感測器在特定操作頻率（例如300 MHz）下產生之對應相位資料，而輸出距離資料。由於距離估算系統710之感測器（例如RGB攝像頭）可就元件702與物體140間之距離提供誤差較高但範圍較大之估算值，且距離精化系統720之感測器（例如i-ToF感測器）可在可辨距離內提供誤差較低之距離估算值，因此機器學習模型734可經訓練而將來自距離估算系統710及距離精化系統720兩者之資訊結合，以判定元件702與物體140間之一距離，其準確度高且判定範圍廣。
深度繪製系統736接收機器學習模型734之輸出，並判定元件702與物體140間之距離。深度繪製系統736之實施可採用硬體電路系統（例如ASIC、FPGA）、查找表、一或多個具有軟體之處理器（例如MCU、CPU、GPU、TPU）、或任何其他適合方式。在些許實施方式中，可將深度繪製系統736納入機器學習模型734中（例如為機器學習模型734之一或多個輸出層）。
圖8顯示利用一深度感測系統（例如深度感測系統700）判定一遠程及高深度解析度距離之一範例程序。
深度感測系統接收一第一光學訊號（步驟802）。例如，距離估算系統710之一RGB攝像頭可擷取一物體在一環境中之一影像。深度感測系統提供代表環境之一第一電性訊號（步驟804）。例如，距離估算系統710可向處理系統730提供代表影像及/或任何關聯元資料之至少一部分之資訊。
深度感測系統接收一第二光學訊號（步驟806）。例如，距離精化系統720之一或多個i-ToF感測器可偵測一環境中自一物體反射之光線。深度感測系統提供代表環境之一第二電性訊號（步驟808）。例如，距離精化系統720之i-ToF系統122可向處理系統730輸出資訊，此資訊代表元件702之一發射光與物體140之一反射光間之一相位差異。
深度感測系統判定兩點間之一距離（步驟810）。例如，處理系統730可接收（i）來自距離估算系統710且代表影像及/或任何關聯元資料之至少一部分之資訊，以及（ii）來自距離精化系統720且代表元件702之發射光與物體140之反射光間之相位差異之資訊。處理系統730可將接收之資訊融合而產生供給機器學習模型734之一輸入（例如一或多個多維向量）。機器學習模型734可利用此輸入而產生代表元件702與物體140間之距離之一輸出。深度繪製系統736可利用來自機器學習模型734之輸出而判定元件702與物體140間之距離（例如參考圖5所描述之Dout ）。
圖9顯示一系統900，用於判定一環境中一物體140之一或多種特性。總括言之，系統900包含一估算系統910、一精化系統920、及一處理系統930。估算系統910係配置為利用感測器系統112以判定一輸出，此輸出代表一環境中一物體140之一或多種特性之估算值且由處理系統914判定。精化系統920係配置為利用i-ToF系統122以判定一輸出，此輸出代表物體140之一或多種特性之精化結果且由處理系統924判定。處理系統930係配置為接收來自估算值系統910及精化系統920之輸出，以判定一或多種特性之更準確數值（例如確定性較高之值、誤差界線較低之值等）。與物體140關聯之範例特性可包含物體140與元件102間之距離、物體140之邊緣、物體140之辨識、物體140之分類、物體140之動作、及任何其他應用特性。
例如，圖1之深度感測系統100可為系統900之一種範例，其中，距離估算系統110可為估算系統910之一種範例，距離精化系統120可為精化系統920之一種範例，且處理系統130可為處理系統930之一種範例。
在另一範例中，可使用系統900區分物體140以及與其部分重疊之另一物體940。在此估算系統910可利用連接一機器學習模型之一RGB攝像頭，判定代表物體140之邊緣之一輸出。由於物體940在RGB影像中是與物體140部分重疊，估算系統910可對鄰近物體140之一群像素中之每一像素賦予一不確定值，其中不確定值可代表對應像素屬於物體140之可能性。精化系統920可利用i-ToF系統122判定物體140與物體940間相對之一深度差異。處理系統930可利用估算系統910及精化系統920兩者之輸出，判定相鄰像素是否為物體140之一部分。
圖10顯示另一種系統1000，用以判定一環境中一物體140之一或多種特性。一般而言，系統1000包含一估算系統1010、一精化系統1020、及一處理系統1030。估算系統1010係配置為利用感測器系統112以提供一輸出，此輸出可用於判定一環境中一物體140之一或多種特性之估算值。精化系統1020係配置為利用i-ToF系統122以提供一輸出，此輸出可用於判定物體140之一或多種特性之精化結果。處理系統1030係配置為接收來自估算系統1010及精化系統1020兩者之輸出，以判定一或多種特性之值。例如，圖7之深度感測系統700可為系統1000之一種範例，其中，距離估算系統710可為估算系統1010之一種範例，距離精化系統720可為精化系統1020之一種範例，而處理系統730可為處理系統1030之一種範例。於一些實施例中，物體140與其另一物體1040部分重疊。
以此方式，圖9及圖10之系統900及/或1000可包含一估算系統910、1010（例如包含一感測器系統112），其係配置為接收一第一訊號，並基於第一訊號，判定與一環境中之一目標物體關聯之一特性之一第一值。系統910、1010可包含一精化系統920、1020（例如包含一或多個間接飛時測距感測器），其係配置為接收一第二訊號，並基於第二訊號，判定與環境中之目標物體關聯之特性之一第二值。系統910、1010可包含一處理系統930、1030（例如包含一或多個運算元件），其配置為接收代表第一值及第二值之資訊，並基於第一值及第二值，判定與環境中之目標物體關聯之特性之一第三值。（i）與環境中之目標物體關聯之特性之一真實值與（ii）第一值間之一差異（例如一絕對差異），可大於（例如統計上大於）（i）特性之真實值與（ii）第三值間之一差異。
以下提供本申請之系統及方法之範例實施方式。此等實施方式僅屬說明目的，不具限制性。
在些許實施方式中，自動化平台可利用本申請之系統及方法改善其功能及操作。所述自動化平台可包含任何系統或執行任何在此所述且示於圖中之方法/程序。
在些許實施例中，自動化平台可包含一自動駕駛車輛。自動駕駛車輛可包含一車載運算系統，其作用為自主感知車輛所在環境並控制車輛在環境中之動作。自動駕駛車輛可包含一在此所述之深度感測系統，深度感測系統幫助於改善自動駕駛車輛之感知功能。例如，所述深度感測系統可幫助自動駕駛車輛透過例如車輛運算系統，更準確分類物體並預測其行為。此功能可用於區分自動駕駛車輛之周遭環境內之一第一物體（例如第一車輛）以及與第一物體部分重疊之一第二物體（例如第二車輛）。深度感測系統之一估算系統可利用一第一感測器（例如在些許實施方式中，連接一機器學習模型之一RGB攝像頭），判定代表第一物體之邊緣之一輸出。由於第二物體是至少部分重疊於第一物體（例如在RGB影像中），估算系統可對鄰近物體之一群像素中之每一像素賦予一不確定值（例如對應像素屬於第一物體之可能性）。一精化系統可利用一第二感測器系統（例如i-ToF系統）以判定第一物體與第二物體間之一相對深度差異。一處理系統可利用來自估算系統及精化系統兩者之輸出而判定相鄰像素是否屬於第一物體。如此可幫助自動駕駛車輛判定第一物體及/或第二物體之分界線。
自動駕駛車輛可基於深度差異、第一物體之判定距離、及/或像素屬於第一物體之判定，對第一物體進行分類（例如分類為車輛等）。例如，此功能可輔助自動駕駛車輛更加明瞭物體之形狀，並因此於語義上將物體標示為特定類型。此外，藉由判定物體之識別及/或類型，自動駕駛車輛更能夠正確預測物體之動作。例如，自動駕駛車輛可基於物體之類型，而提升對於第一物體動作軌跡之預測正確性。在些許實施方式中，自動駕駛車輛可判定物體為可能在周遭環境中移動之一動態物體（例如車輛），及/或為可能在周遭環境中保持不動之一靜態物體（例如燈柱）。在些許實施方式中，自動駕駛車輛可基於物體之類型而判定物體之特定移動方式。例如，汽車較自行車更可能在道路之車道分界線內行進。
自動化平台（例如自動駕駛車輛）可例如基於如圖6及圖8所述之程序，而判定更準確之特性（例如物體與自動駕駛車輛間之距離）。所判定之距離可用於更加確定自動化平台在其周遭環境中之位置。例如，自動駕駛車輛可基於估算系統所判定之一第一距離及精化系統所判定之一第二距離，而判定兩點間之一第三距離。所述兩點可包含自動化平台及可用於確認位置之一物體。例如，一自動駕駛車輛可基於一地標而至少部分確定其本身在環境中之位置。自動駕駛車輛可判定其本身與地標（例如建築物、雕像、交叉路口等）間之一更準確距離。如此可輔助自動駕駛車輛（或遠端系統）更準確判定自動駕駛車輛之地點/所在位置，並規劃其在環境中之動作。
在些許實施方式中，自動化平台可包含空中自動化平台，例如無人機。所述無人機可包含如在此所述且如圖所示之一深度感測系統。深度感測系統可改善無人機之操作及功能，包含例如無人機降落在降落區域或識別成像區域時之精密度及準確度。舉例而言，無人機可經由一距離估算系統而接收一第一光學訊號，並基於第一光學訊號，判定一環境中無人機與一降落/成像區域間之一第一距離。無人機可經由一距離精化系統而接收一第二光學訊號，並基於第二光學訊號而判定無人機與降落/成像區域間之一第二距離。無人機可經由一處理系統，基於第一距離及第二距離而判定無人機與降落/成像區域間之一第三距離。第三距離比第一距離更準確地判定無人機與降落/成像區域間之距離如此可使得無人機更準確降落，及/或將其成像感測器（例如機載攝像頭）聚焦於待成像之區域。
在另一範例中，自動化平台可關乎製造應用及/或醫療應用。舉例而言，自動化平台可包含一機械手臂。所述機械手臂可為機電式手臂，配置為輔助組裝製造項目（例如包含有複數個電子元件之硬體運算架構）之至少一部分。機械手臂可包含如在此所述且如圖所示之一深度感測系統。利用深度感測系統，機械手臂可更準確定位待安裝於一項目（例如電路板）中之一元件（例如微處理器）。例如，機械手臂（例如關聯運算系統）可經由一距離估算系統接收一第一光學訊號，並基於第一光學訊號而判定機械手臂（或其一部分）與一放置地點間之一第一距離。機械手臂可經由一距離精化系統接收一第二光學訊號，並基於第二光學訊號而判定機械手臂（或其一部分）與一放置地點間之一第二距離。機械手臂可經由一處理系統，基於第一距離及第二距離而判定機械手臂與放置地點間之第三距離。與第一距離相較，第三距離比第一距離更準確地判定機械手臂與放置地點間之距離。如此可使得機械手臂能夠以更佳之效率及準確度組裝製造項目。
在些許實施方式中，一使用者裝置可利用本申請之系統及方法改善其功能及操作。所述使用者裝置可為，例如，行動裝置、平板電腦、穿戴式耳機等。使用者裝置可包含一深度感測系統，並執行在此所述且如圖所示之方法/程序。
舉例而言，使用者裝置（例如行動裝置）可包含一或多個感測器系統。感測器系統可包含一第一感測器（例如RGB攝像頭）及/或一第二感測器（例如i-ToF感測器）。例如，感測器系統可包含一或多個嵌設於行動裝置中之攝像頭。與此同時，或以為替代，感測器系統可包含一或多個間接飛時測距感測器，所述間接飛時測距感測器包含嵌設於行動裝置中之一三維感測器陣列。在些許實施方式中，一或多個攝像頭及三維感測器陣列可嵌設於行動裝置之後側，即與行動裝置之螢幕相反之一側。與此同時，或以為替代，一或多個攝像頭及三維感測器陣列可嵌設於行動裝置之前側，即與行動裝置之螢幕同側。
深度感測系統可利用感測器系統改善使用者裝置之操作及功能，包含物體之成像、軟體應用程式之啟動/操作、使用者裝置之存取等。例如，使用者裝置可經由一距離估算系統而接收一第一光學訊號，並基於第一光學訊號而判定使用者裝置與一物體間之一第一距離。使用者裝置可經由一距離精化系統而接收一第二光學訊號，並基於第二光學訊號而判定使用者裝置與一物體間之一第二距離。使用者可經由一處理系統，基於第一距離及第二距離而判定使用者裝置與物體間之一第三距離，如在此所述。使用者裝置可基於第三距離而執行一或多項功能或操作。例如，使用者裝置可基於授權使用者臉部之距離或由授權使用者所為之手勢，而執行一存取功能（例如解鎖行動電話）。在另一範例中，使用者裝置可基於使用者裝置與/或一待成像物體（例如使用者等）間之一判定距離，而令使用者裝置之攝像頭進行對焦。與此同時，或以為替代，使用者裝置可基於判定距離而啟動一應用程式及/或發起一特定功能之操作。例如，使用者可做出與啟動使用者裝置上成像應用程式關聯之一手勢，使得使用者裝置因應於此而啟動成像應用程式。使用者裝置可基於判定距離而發起一過濾功能。憑藉使用者裝置所判定之距離，可將所述過濾功能以更準確之方式運用於待成像物體。
在些許實施方式中，使用者裝置可具有擴增實境（AR）及虛擬實境（VR）功能。例如，本申請之技術可提供沉浸度更高之擴增實境（AR）及虛擬實境（VR）體驗。例如，使用者裝置可利用本申請之深度感測系統及程序，更準確判定使用者裝置（及其使用者）與擴增實境內一物體之距離。使用者裝置可至少部分基於使用者裝置與物體間之判定距離而執行一或多個行動。例如，使用者裝置可基於判定距離，而繪製擴增實境中圍繞物體之元件及/或繪製虛擬環境。
在些許實施方式中，本申請之系統及方法可用於一監視系統中。例如，一監視系統可配置為基於一物體之一距離及/或物體之一偵測，而執行一或多項操作。監視系統可經由一距離估算系統接收一第一光學訊號，並基於第一光學訊號而判定監視系統與一物體（例如人員）間之一第一距離。監視系統可經由一距離精化系統而接收一第二光學訊號，並基於第二光學訊號而判定監視系統與一物體間之一第二距離。監視系統可經由一處理系統，基於第一距離及第二距離而判定監視系統與物體間之一第三距離，如在此所述。監視系統可基於第三距離而執行一或多項功能或操作。例如，監視系統可基於物體（例如入侵者）之距離及/或其動作，而執行進出功能（例如拒絕進出）。
圖12根據本申請之範例實施例描繪一範例運算系統1200之方塊圖。範例系統1200包含一運算系統1202及一機器學習運算系統1232，兩者在一網路1250上通訊耦接。
在些許實施方式中，運算系統1202可執行在此所述各種運算元件之操作及功能。例如，運算系統1202可代表一深度感測系統、估算系統、精化系統、處理系統、及/或在此所述之其他系統，並執行此等系統之功能。運算系統1202可包含一或多個彼此區別之實體運算元件。
運算系統1202可包含一或多個運算元件1204。一或多個運算元件1204可包含一或多個處理器1206及一記憶體1208。一或多個處理器1206可為任何適合之處理元件（例如處理器核心、微處理器、ASIC、FPGA、控制器、微控制器等），且可為單一處理器或複數個操作相連之處理器。記憶體1208可包含一或多個非暫態電腦可讀儲存媒體，例如RAM、ROM、EEPROM、EPROM、一或多個記憶體元件、快閃記憶體元件等、及其組合。
記憶體1208可儲存由一或多個處理器1206存取之資訊。例如，記憶體1208（例如一或多個非暫態電腦可讀儲存媒體、記憶體元件）可儲存被取得、接收、存取、寫入、調處、建立、及/或儲存之資料1210。資料1210可包含，例如，表示距離、物體、訊號、誤差、範圍、模型輸入、模型輸出、及/或如在此所述任何其他資料及/或資訊中一或多者之資料。在些許實施方式中，運算系統1202可自遠離系統1202之一或多個記憶體元件取得資料。
記憶體1208亦可儲存由一或多個處理器1206執行之電腦可讀指令1212。指令1212可為以任何適合之編程語言撰寫之軟體，或可實施於硬體中。與此同時，或以為替代，指令1212可執行於處理器1206上邏輯分離及/或虛擬分離之執行緒。
例如，當由一或多個處理器1206執行記憶體1208儲存之指令1212時，可致使一或多個處理器1206執行在此所述之任何操作及/或功能，包含，例如，在此所述任何系統之操作或功能、在此所述方法/程序之一或多個部分、及/或任何其他功能或操作。
根據本申請之一種態樣，運算系統1202可儲存或包含一或多個機器學習模型1216。例如，機器學習模型1216可為或可以其他方式包含各種機器學習模型，例如神經網路（例如深度神經網路）、支援向量機、決策樹、集成模型、k近鄰演算模型、貝氏網路、或其他類型之模型（包含線性模型及/或非線性模型）。範例神經網路包含前饋神經網路、遞歸神經網路（例如長短期記憶遞歸神經網路等）、卷積神經網路、及/或其他形式之神經網路。
在些許實施方式中，運算系統1202可經由網路1250接收來自機器學習運算系統1232之一或多個機器學習模型1216，且可將所述一或多個機器學習模型1216儲存於記憶體1208。運算系統1202而後可使用或以其他方式運用一或多個機器學習模型1216（例如經由處理器1206）。詳言之，運算系統1202可利用機器學習模型1216輸出距離資料。所述距離資料可表示一深度估算。例如，機器學習模型1216可判定一深度估算，如由一或多個影像感測器隨時間所擷取之多個影像所決定者。機器學習模型1216可接收包含一環境中一物體之影像之至少一部分，並輸出一深度估算。
在些許實施方式中，機器學習模型1216可接收融合輸入。例如，所述融合輸入可基於來自距離估算系統之一訊號（例如由RGB攝像頭所擷取環境中一物體之數位影像之一部分）以及來自距離精化系統之一訊號（例如由i-ToF系統所擷取環境中物體之正交振幅之一部分）。機器學習模型1216可配置為接收融合輸入，並產生代表運算系統1202與物體間之距離之一輸出。
機器學習運算系統1232包含一或多個處理器1234及一記憶體1236。一或多個處理器1234可為任何適合之處理元件（例如處理器核心、微處理器、ASIC、FPGA、控制器、微控制器等），且可為單一處理器或複數個操作相連之處理器。記憶體1236可包含一或多個非暫態電腦可讀儲存媒體，例如RAM、ROM、EEPROM、EPROM、一或多個記憶體元件、快閃記憶體元件等、及其組合。
記憶體1236可儲存由一或多個處理器1234存取之資訊。例如，記憶體1236（例如一或多個非暫態電腦可讀儲存媒體、記憶體元件）可儲存可被取得、接收、存取、寫入、調處、建立、及/或儲存之資料1238。資料1238可包含，例如，任何在此所述之資料及/或資訊。在些許實施方式中，機器學習運算系統1232可自遠離機器學習運算系統1232之一或多個記憶體元件取得資料。
記憶體1236亦可儲存由一或多個處理器1234所執行之電腦可讀指令1240。指令1240可為以任何適合之編程語言撰寫之軟體，或可實施於硬體中。與此同時，或以為替代，指令1240可執行於處理器1234上邏輯分離及/或虛擬分離之執行緒。
例如，當由一或多個處理器1234執行記憶體1236儲存之指令1240時，可致使一或多個處理器1234執行在此所述之任何操作及/或功能，包含，例如，在此所述任何系統之操作或功能、在此所述方法/程序之一或多個部分、及/或任何其他功能或程序。
在些許實施方式中，機器學習運算系統1232包含一或多個伺服器運算元件。若機器學習運算系統1232包含多個伺服器運算元件，此等伺服器運算元件可根據各種運算架構操作，運算架構包含，例如，順序運算架構、平行運算架構、或其些許組合。
與運算系統1202之機器學習模型1216同時，或以為替代，機器學習運算系統1232可包含一或多個機器學習模型1242。例如，機器學習模型1242可為或可以其他方式包含各種機器學習模型，例如神經網路（例如深度神經網路）、支援向量機、決策樹、集成模型、k近鄰演算模型、貝氏網路、或其他類型之模型（包含線性模型及/或非線性模型）。範例神經網路包含前饋神經網路、遞歸神經網路（例如長短期記憶遞歸神經網路等）、卷積神經網路、及/或其他形式之神經網路。
在一範例中，機器學習運算系統1232可根據一客戶端/伺服器架構而與運算系統1202通訊。例如，機器學習運算系統1232可利用機器學習模型1242而對運算系統1202提供一網路服務。例如，所述網路服務可提供深度感測系統及/或其他在此所述系統之功能及操作（例如判定兩點間之距離、元件/系統與物體間之距離等）。
因此，機器學習模型1216可位於並用於運算系統1202，及/或機器學習模型1242可位於並用於機器學習運算系統1232。
在些許實施方式中，機器學習運算系統1232及/或運算系統1202可利用一模型訓練器1244訓練機器學習模型1216及/或1242。模型訓練器1244可利用一或多種訓練或學習演算法訓練機器學習模型1216及/或1242。一種範例訓練技術為誤差反向傳播（backwards propagation of error）。在些許實施方式中，模型訓練器1244可利用一組標記訓練資料而執行受監管之訓練技術。於其他實施方式中，模型訓練器1244可利用一組無標記訓練資料而執行不受監管之訓練技術。模型訓練器1244可執行數種泛化(generalization)技術以提升所訓練模型之泛化能力。泛化技術包含權重衰減、丟棄法、或其他技術。
詳言之，模型訓練器1244可基於一組訓練資料1246而訓練機器學習模型1216及/或1242。所述訓練資料1246可包含，例如，標記輸入資料（例如來自RGB及/或i-ToF感測器者）及/或表示距離資訊之融合感測器資料。模型訓練器1244可實施為用以控制一或多個處理器之硬體、韌體、及/或軟體。
運算系統1202亦可包含一通訊介面1214，用於與一或多個系統或元件通訊，包含遠離運算系統1202之系統或元件。通訊介面1214可包含任何電路、組件、軟體等，用於經由一或多個網路1250進行通訊。在些許實施方式中，通訊介面1214可包含，例如，通訊控制器、接收器、收發器、傳送器、連接埠、傳導器、用於傳遞資料之軟體及/或硬體中之一或多者。機器學習運算系統1232同樣可包含一通訊介面1248。
網路1250可為任何類型之網路或網路組合，其可實現元件間之通訊。在些許實施例中，網路可包含區域網路、廣域網路、網際網路、安全網路、行動通訊網路、網狀網路、對等式通訊連結、及/或其些許組合中之一或多者，且可包含任何數量之有線或無線連結。在網路1250上之通訊可藉由例如使用任何類型之協定、防護方案、編碼、格式、封裝等之網路介面而達成。
圖12繪示可用於實施本申請之一種範例運算系統1200，但亦可使用其他運算系統。例如，在些許實施方式中，運算系統1202可包含模型訓練器1244及訓練資料1246。於此種實施方式中，機器學習模型1216可在運算系統1202本地進行訓練及使用。在另一範例中，根據些許實施方式，運算系統1202並不連接於其他運算系統。
再者，在文中及/或圖中顯示為包含於運算系統1202或1232中其一之組件，可改為包含於運算系統1202或1232中之另一者。此等配置之實施亦屬本申請之範疇。利用電腦式系統可實現組件間之多種可能配置、組合、及任務與機能劃分。由電腦實施之操作可執行於單一組件上或跨多個組件執行。由電腦實施之任務及/或操作可先後或同時執行。所述資料及指令可儲存於單一記憶體元件中，或跨多個記憶體元件儲存。
各種手段可配置為執行在此所述之方法、操作、及程序。例如，任何系統（例如估算系統、精化系統、處理系統、深度感測系統）可包含用以執行其在此所述操作及功能之單元及/或其他手段。在些許實施方式中，上述單元中之一或多者可分離實施。在些許實施方式中，一或多個單元可為一或多個其他單元之一部分或包含於其中。此等手段可包含處理器、微處理器、圖形處理單元、邏輯電路、專屬電路、應用特定積體電路、可編程陣列邏輯、現場可編程閘極陣列（field-programmable gate array）、控制器、微控制器、及/或其他適合之硬體。所述手段亦可，或改為，包含例如以處理器或邏輯電路系統而實現之軟體控制手段。所述手段可包含記憶體，或能夠以其他方式存取記憶體，例如，為一或多個非暫態電腦可讀儲存媒體，例如隨機存取記憶體、唯讀記憶體、電子抹除式可編程唯讀記憶體、抹除式可編程唯讀記憶體、快閃/其他記憶體元件、資料暫存器、資料庫、及/或其他適合之硬體。
雖然以上透過範例說明本申請之較佳實施例，但應知本申請並不以此為限。反之，其意在涵蓋各種修改及類似安排與程序，且因此所附請求項之範圍應採最廣義解釋，以將所有此等修改及類似安排與程序包含於其中。
100:深度感測系統 102:元件 110:距離估算系統 112:感測器系統 114:深度繪製系統 120:距離精化系統 122:i-ToF系統 124:深度繪製系統 130:處理系統 140:物體 200:距離估算系統 202:RGB攝像頭 204:機器學習模型 212:立體攝像頭 222:結構光系統 232:d-ToF感測器 242:i-ToF感測器 252:動作估計器 254:機器學習模型 302:發送器單元 304:接收器單元 306:控制器 400:系統 602,604,606,608,610:步驟 700:深度感測系統 702:元件 710:距離估算系統 712:感測器系統 720:距離精化系統 730:處理系統 734:機器學習模型 736:深度繪製系統 802,804,806,808,810:步驟 900:系統 910:估算系統 914:處理系統 920:精化系統 924:處理系統 930:處理系統 940:物體 1000:系統 1010:估算系統 1020:精化系統 1030:處理系統 1040: 物體 1100:矽上鍺平台 1101:第一晶圓 1102:第二晶圓 1103:晶圓接合介面 1104:差動解調時鐘 1105:第一節點 1106:第二節點 1200:系統 1202:運算系統 1204:運算元件 1206:處理器 1208:記憶體 1210:資料 1212:指令 1214:通訊介面 1216:機器學習模型 1232:機器學習運算系統 1234:處理器 1236:記憶體 1238:資料 1240:指令 1242:機器學習模型 1244:模型訓練器 1246:訓練資料 1248:通訊介面 1250:網路 D1:第一距離 D2:第二距離
以下實施方式連同圖式將使所屬技術領域中具有通常知識者更輕易領會並理解以上態樣及本申請之諸多優點，於圖式中：
圖1為根據本申請範例態樣描繪一範例深度感測系統之方塊圖；
圖2為根據本申請範例態樣描繪一範例距離估算系統之方塊圖；
圖3為根據本申請範例態樣描繪一範例感測器系統之方塊圖；
圖4為根據本申請範例態樣描繪一範例系統；
圖5為根據本申請範例態樣描繪一深度感測系統之範例操作；
圖6為根據本申請範例態樣描繪一範例程序之流程圖；
圖7為根據本申請範例態樣描繪一範例深度感測系統之方塊圖；
圖8為根據本申請範例態樣描繪一範例程序之流程圖；
圖9為根據本申請範例態樣描繪一範例系統；
圖10為根據本申請範例態樣描繪一範例系統；
圖11為描繪根據本申請範例態樣之範例光偵測器中範例部分之截面圖；及
圖12為描繪根據本申請範例態樣之範例運算系統組件及元件。
100:深度感測系統
102:元件
110:距離估算系統
112:感測器系統
114:深度繪製系統
120:距離精化系統
122:i-ToF系統
124:深度繪製系統
130:處理系統
140:物體

Claims (20)

  1. 一種用於測量的裝置，其包含： 一距離估算系統，包含一感測器系統，該距離估算系統配置為：接收一第一光學訊號；並基於該第一光學訊號，判定一環境中兩點間之一第一距離； 一距離精化系統，包含一或多個間接飛時測距感測器，該距離精化系統配置為：接收一第二光學訊號；並基於該第二光學訊號，判定該環境中該兩點間之一第二距離；以及 一處理系統，包含一或多個運算元件，該處理系統配置為：接收代表該第一距離及該第二距離之資訊；並基於該第一距離及該第二距離，判定該環境中該兩點間之一第三距離； 其中，（i）該環境中該兩點間之一真實距離與（ii）該第一距離間之一差異，大於（i）該環境中該兩點間之該真實距離與（ii）該第三距離間之一差異。
  2. 如請求項1所述之用於測量的裝置，其中，該感測器系統包含： 一感測器陣列，配置為接收該第一光學訊號，並產生一或多個第一電性訊號；以及 一或多個儲存媒體，配置為儲存一或多個機器學習模型，該一或多個機器學習模型係經訓練而可：接收該一或多個第一電性訊號之一表徵作為輸入；並提供一代表該第一距離之輸出。
  3. 如請求項2所述之用於測量的裝置，其中，該感測器陣列係屬於一RGB攝像頭之一感測器陣列，且該一或多個第一電性訊號之該表徵包含由該RGB攝像頭所輸出之一光學影像之至少一部分。
  4. 如請求項2所述之用於測量的裝置，其中，該一或多個機器學習模型包含一卷積神經網路模型。
  5. 如請求項1所述之用於測量的裝置，其中，該感測器系統包含一具有複數個鏡頭之立體攝像頭，且該第一光學訊號包含由該立體攝像頭所輸出之一三維影像之至少一部分。
  6. 如請求項1所述之用於測量的裝置，其中，該感測器系統包含一結構光偵測系統。
  7. 如請求項1所述之用於測量的裝置，其中，該感測器系統包含一或多個直接飛時測距感測器，且判定該第一距離包含：基於該環境中該兩點間之一光線往返時間，判定該第一距離。
  8. 如請求項1所述之用於測量的裝置，其中，所述一或多個間接飛時測距感測器係配置為在一第一頻率操作，該感測器系統包含一或多個在一第二頻率操作之第二間接飛時測距感測器，且該第二頻率小於該第一頻率。
  9. 如請求項1所述之用於測量的裝置，其中，該感測器系統包含一影像式感測器系統及一飛時測距式感測器系統，且判定該第一距離包含： 取得該影像式感測器系統之一輸出； 取得該飛時測距式感測器系統之一輸出；以及 基於該影像式感測器系統之該輸出及該飛時測距式感測器系統之該輸出，以判定該第一距離。
  10. 如請求項1所述之用於測量的裝置，其中，判定該環境中該兩點間之該第三距離包含： 基於該第一距離，判定與該一或多個間接飛時測距感測器相關之一可辨距離之一乘數；以及 將該第二距離加上該可辨距離與該乘數之一乘積，以判定該第三距離。
  11. 如請求項1所述之用於測量的裝置，其中，該環境中該兩點間之一第一點代表該裝置之一所在位置，且該環境中該兩點間之一第二點代表一物體在該環境中之一所在位置。
  12. 如請求項1所述之用於測量的裝置，其中，該裝置係一行動裝置，該感測器系統包含一或多個嵌設於該行動裝置中之攝像頭，且該一或多個間接飛時測距感測器包含一嵌設於該行動裝置中之三維感測器陣列。
  13. 如請求項12所述之用於測量的裝置，其中，該一或多個攝像頭及該三維感測器陣列係嵌設於該行動裝置之一後側，即位於該行動裝置之一螢幕之一反側。
  14. 如請求項12所述之用於測量的裝置，其中，該一或多個攝像頭及該三維感測器陣列係嵌設於該行動裝置之一前側，即位於該行動裝置之一螢幕之一同側。
  15. 如請求項1所述之用於測量的裝置，其中，該一或多個運算元件包含一或多個處理器、一或多個硬線電路系統、一或多個現場可程式化閘極陣列、或其組合。
  16. 如請求項1所述之用於測量的裝置，其中，（i）該環境中該兩點間之該真實距離與（ii）該第一距離間之該差異代表一第一誤差，該第一誤差小於一可辨距離，該可辨距離係關聯於該一或多個間接飛時測距感測器；該第二距離之值在該可辨距離內；且（i）該環境中該兩點間之該真實距離與（ii）該第三距離間之該差異代表一第二誤差，該第二誤差小於該第一誤差。
  17. 一種用以判定一環境中兩點間之一距離之方法，其包含： 由一感測器系統接收一第一光學訊號； 由該感測器系統基於該第一光學訊號，判定一環境中兩點間之一第一距離； 由一或多個與該感測器系統分離之間接飛時測距感測器接收一第二光學訊號； 由該一或多個間接飛時測距感測器基於該第二光學訊號，判定該環境中該兩點間之一第二距離； 由一或多個運算元件接收代表該第一距離及該第二距離之資訊；以及 由該一或多個運算元件基於該第一距離及該第二距離，判定該環境中該兩點間之一第三距離； 其中，（i）該環境中該兩點間之一真實距離與（ii）該第一距離間之一差異，大於（i）該環境中該兩點間之該真實距離與（ii）該第三距離間之一差異。
  18. 如請求項17所述之方法，其中，一自動駕駛車輛或一使用者裝置包含該感測器系統、該一或多個間接飛時測距感測器、及該一或多個運算元件。
  19. 一種用於測量的裝置，其包含： 一距離估算系統，包含一感測器系統，該距離估算系統配置為：接收一第一光學訊號；並基於該第一光學訊號產生一第一電性訊號，以判定一環境中兩點間之一第一距離； 一距離精化系統，包含一或多個間接飛時測距感測器，該距離精化系統配置為：接收一第二光學訊號；並基於該第二光學訊號產生一第二電性訊號，以判定該環境中該兩點間之一第二距離；以及 一處理系統，包含一或多個運算元件，該處理系統配置為：接收該第一電性訊號及該第二電性訊號；將代表該第一電性訊號及該第二電性訊號之輸入資訊提供至一機器學習模型；接收代表該環境中該兩點間之一第三距離之輸出資訊；並判定該環境中該兩點間之該第三距離； 其中，該第二距離之一最大值係小於一可辨距離，該可辨距離係關聯於該一或多個間接飛時測距感測器，且該第三距離之一最大值係大於該可辨距離。
  20. 一種用於測量的裝置，其包含： 一估算系統，包含一感測器系統，該估算系統配置為：接收一第一訊號；並基於該第一訊號，判定與一環境中之一目標物體關聯之一特性之一第一值； 一精化系統，包含一或多個間接飛時測距感測器，該精化系統配置為：接收一第二訊號；並基於該第二訊號，判定與該環境中之該目標物體關聯之該特性之一第二值；以及 一處理系統，包含一或多個運算元件，該處理系統配置為：接收代表該第一值及該第二值之資訊；並基於該第一值及該第二值，判定與該環境中之該目標物體關聯之該特性之一第三值； 其中，（i）與該環境中之該目標物體關聯之該特性之一真實值與（ii）該第一值間之一差異，大於（i）該特性之該真實值與（ii）該第三值間之一差異。
TW110127726A 2020-08-13 2021-07-28 用於測量的裝置及用以判定環境中兩點間之距離之方法 TW202206849A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063065482P 2020-08-13 2020-08-13
US63/065,482 2020-08-13
US17/363,831 2021-06-30
US17/363,831 US20220050206A1 (en) 2020-08-13 2021-06-30 System and Method for Improving 3D Sensor Measurement Accuracy

Publications (1)

Publication Number Publication Date
TW202206849A true TW202206849A (zh) 2022-02-16

Family

ID=80222822

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110127726A TW202206849A (zh) 2020-08-13 2021-07-28 用於測量的裝置及用以判定環境中兩點間之距離之方法

Country Status (3)

Country Link
US (1) US20220050206A1 (zh)
CN (1) CN114076951A (zh)
TW (1) TW202206849A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200137380A1 (en) * 2018-10-31 2020-04-30 Intel Corporation Multi-plane display image synthesis mechanism

Also Published As

Publication number Publication date
CN114076951A (zh) 2022-02-22
US20220050206A1 (en) 2022-02-17

Similar Documents

Publication Publication Date Title
US11113959B2 (en) Crowdsourced detection, identification and sharing of hazardous road objects in HD maps
TWI695181B (zh) 用於產生彩色點雲的方法和系統
US10671083B2 (en) Neural network architecture system for deep odometry assisted by static scene optical flow
Mancini et al. Toward domain independence for learning-based monocular depth estimation
US10830894B2 (en) Intensity and depth measurements in time-of-flight sensors
US20190080470A1 (en) Output of a neural network method for deep odometry assisted by static scene optical flow
US20190079536A1 (en) Training and testing of a neural network system for deep odometry assisted by static scene optical flow
JP2023529766A (ja) カメラマップおよび／またはレーダー情報を使用した物体サイズの推定
CN111670419A (zh) 用于自主导航的主动补充曝光设置
TW202013251A (zh) 在機器人設備上使用光流感測器進行vslam比例估計的系統和方法
WO2020186444A1 (zh) 物体检测方法、电子设备与计算机存储介质
US20190079533A1 (en) Neural network architecture method for deep odometry assisted by static scene optical flow
US10268205B2 (en) Training and testing of a neural network method for deep odometry assisted by static scene optical flow
US11443522B2 (en) Processing sensor information for object detection
US20190080167A1 (en) Data acquistion and input of neural network system for deep odometry assisted by static scene optical flow
CN113887400B (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
US11308324B2 (en) Object detecting system for detecting object by using hierarchical pyramid and object detecting method thereof
KR20210112672A (ko) 객체를 검출하기 위한 프로세서 및 객체 검출 방법
TW202206849A (zh) 用於測量的裝置及用以判定環境中兩點間之距離之方法
US11561553B1 (en) System and method of providing a multi-modal localization for an object
US20240151855A1 (en) Lidar-based object tracking
CN115131756A (zh) 一种目标检测方法及装置
Machkour et al. Monocular based navigation system for autonomous ground robots using multiple deep learning models
US20240062349A1 (en) Enhanced high dynamic range pipeline for three-dimensional image signal processing
US20230341558A1 (en) Distance measurement system