TWI758980B - 移動載具的環境感知裝置與方法 - Google Patents

移動載具的環境感知裝置與方法 Download PDF

Info

Publication number
TWI758980B
TWI758980B TW109142067A TW109142067A TWI758980B TW I758980 B TWI758980 B TW I758980B TW 109142067 A TW109142067 A TW 109142067A TW 109142067 A TW109142067 A TW 109142067A TW I758980 B TWI758980 B TW I758980B
Authority
TW
Taiwan
Prior art keywords
dimensional
processing circuit
circuit
image frame
object information
Prior art date
Application number
TW109142067A
Other languages
English (en)
Other versions
TW202223438A (zh
Inventor
李宗翰
江進豐
徐世鈞
張祖錕
魏宏源
雷震台
Original Assignee
財團法人金屬工業研究發展中心
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人金屬工業研究發展中心 filed Critical 財團法人金屬工業研究發展中心
Priority to TW109142067A priority Critical patent/TWI758980B/zh
Priority to CN202110236739.2A priority patent/CN114639097A/zh
Priority to US17/195,583 priority patent/US11636690B2/en
Priority to DE102021123309.7A priority patent/DE102021123309A1/de
Priority to GB2114094.2A priority patent/GB2603993B/en
Application granted granted Critical
Publication of TWI758980B publication Critical patent/TWI758980B/zh
Publication of TW202223438A publication Critical patent/TW202223438A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本發明提供一種移動載具的環境感知裝置與方法。環境感知裝置包括攝影機模組、光達模組、資料庫以及處理電路。攝影機模組拍攝移動載具附近的場域而產生三維影像幀。光達模組掃描該場域而產生三維掃描幀。處理電路融合三維影像幀與三維掃描幀，以產生三維物件資訊。處理電路比對三維物件資訊與在資料庫中的三維地圖，以判定物件是否為靜止物件。當該物件不是靜止物件時，處理電路對三維物件資訊進行分析計算，以獲知該物件的運動特性。當該物件是靜止物件時，處理電路略過對三維物件資訊的分析計算。

Description

移動載具的環境感知裝置與方法
本發明是有關於一種移動載具，且特別是有關於一種環境感知裝置與方法。
當移動載具（例如汽車）在道路行駛時，移動載具需要感知在環境中的障礙物，包括靜態物件與動態物件（運動物件）。例如，當有物體靠近車尾時，倒車雷達會以音效發出警報。現有技術僅判斷物件與移動載具的距離，無法有效辨識周邊物件的輪廓，從而無法分辨物件實際上是什麼東西。當移動載具周邊為雜草等無礙物體，現有技術仍然會產生警示音效，甚至因而觸發自動剎車等，造成不必要的麻煩。環境感知是移動載具技術領域的重要技術課題之一。
本發明提供一種移動載具的環境感知裝置與環境感知方法，以結合攝影機模組與光達模組的特點去進行環境感知。
在本發明的一實施例中，上述的環境感知裝置包括攝影機模組、光達模組、資料庫以及處理電路。攝影機模組與光達模組配置於移動載具。攝影機模組適於拍攝移動載具附近的場域而產生三維影像幀。光達模組適於掃描該場域而產生三維掃描幀。資料庫適於儲存三維地圖。處理電路耦接至攝影機模組與光達模組，以接收三維影像幀與三維掃描幀。處理電路被配置為融合三維影像幀與三維掃描幀，以產生在該場域中的物件所對應的三維物件資訊。處理電路比對三維物件資訊與三維地圖，以判定該物件是否為靜止物件。在該物件不是靜止物件的情況下，或是在該物件未曾被紀錄於該三維地圖的情況下，處理電路對三維物件資訊進行分析計算，以獲知該物件的運動特性。在該物件是靜止物件的情況下，處理電路對三維物件資訊略過分析計算。
在本發明的一實施例中，上述的環境感知方法包括：由被配置於移動載具的攝影機模組拍攝移動載具附近的場域而產生三維影像幀；由被配置於移動載具的光達模組掃描該場域而產生三維掃描幀；由處理電路融合三維影像幀與三維掃描幀，以產生在該場域中的物件所對應的三維物件資訊；由處理電路比對三維物件資訊與被儲存於資料庫的三維地圖，以判定該物件是否為靜止物件；在該物件不是靜止物件的情況下，或是在該物件未曾被紀錄於該三維地圖的情況下，由處理電路對三維物件資訊進行分析計算以獲知該物件的運動特性；以及在該物件是靜止物件的情況下，由處理電路略過對三維物件資訊的分析計算。
基於上述，本發明諸實施例所述環境感知裝置配置有攝影機模組與光達模組。處理電路可以融合攝影機模組的三維影像幀的三維資訊與光達模組的三維掃描幀的三維資訊，以產生在場域中的某一個物件所對應的三維物件資訊。因此，處理電路可以結合攝影機模組與光達模組的特點去進行環境感知。在一些實施例中，處理電路可以比對三維物件資訊與被儲存於資料庫的三維地圖。在所述三維物件資訊未曾被分析的情況下（亦即所述三維物件資訊未曾被紀錄於資料庫），處理電路可以對所述三維物件資訊進行分析計算以獲知該物件的運動特性，然後將所述三維物件資訊與分析計算結果紀錄於資料庫以建構三維地圖。運動的物件（人或車）一般不屬於在三維地圖中的靜止物件，因此處理電路可以對運動的物件進行分析計算以獲知該物件的運動特性。在該物件是靜止物件的情況下，處理電路可以略過對曾經分析過的靜止物件的分析計算，以減少計算的重複。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
在本案說明書全文（包括申請專利範圍）中所使用的「耦接（或連接）」一詞可指任何直接或間接的連接手段。舉例而言，若文中描述第一裝置耦接（或連接）於第二裝置，則應該被解釋成該第一裝置可以直接連接於該第二裝置，或者該第一裝置可以透過其他裝置或某種連接手段而間接地連接至該第二裝置。本案說明書全文（包括申請專利範圍）中提及的「第一」、「第二」等用語是用以命名元件（element）的名稱，或區別不同實施例或範圍，而並非用來限制元件數量的上限或下限，亦非用來限制元件的次序。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟代表相同或類似部分。不同實施例中使用相同標號或使用相同用語的元件/構件/步驟可以相互參照相關說明。
圖1是依照本發明的一實施例的一種環境感知裝置100的電路方塊（circuit block）示意圖。環境感知裝置100可以被配置在移動載具（例如汽車，未繪示），以感知移動載具的環境。圖1所示環境感知裝置100包括攝影機模組110、光達（LiDAR）模組120、處理電路130、資料庫140以及提示單元150。攝影機模組110與光達模組120被配置於所述移動載具。攝影機模組110適於拍攝所述移動載具附近的場域10而產生三維影像幀111。光達模組120適於掃描場域10而產生三維掃描幀121。在圖1所示範例中，物件11在場域10中。處理電路130耦接至攝影機模組110與光達模組120，以接收三維影像幀111與三維掃描幀121。
圖2是依照本發明的一實施例的一種環境感知方法的流程示意圖。請參照圖1與圖2。在步驟S210中，被配置於移動載具（例如汽車，未繪示）的攝影機模組110可以拍攝所述移動載具附近的場域10而產生三維影像幀111。攝影機模組110的實施可以依照設計需求來決定。舉例來說，在一些實施例中，攝影機模組110可以包括深度攝影機（未繪示），而三維影像幀111可以包括深度影像幀。攝影機模組110可以偵測移動載具附近的數十公尺內的空間（場域10）當中是否存在可能會影響行車安全的物件，例如行人、動物、車、機車以及/或是其他移動物件，或者是固定之柵欄、灌木叢等。
在另一些實施例中，攝影機模組110可以包括2個彩色攝影機（未繪示）、1個紅外線（infrared，IR）攝影機（未繪示）與2個IR光源（未繪示）。若移動載具的周邊存在其他物體（例如物件11），則IR光源的光線會投於物件11之表面。來自於物件11的反射光線會被攝影機所接收，進而產生三維影像幀111。
在步驟S220中，被配置於移動載具（例如汽車，未繪示）的光達模組120可以掃描場域10而產生三維掃描幀121。光達模組120的雷射光源可以向場域10照射一束光（例如一束脈衝雷射）來測量目標（例如物件11）的距離等參數。光達模組120的雷射光源具有同調性好、衰減慢、量測距離長、精準度高等特性，加上雷射光源不易受其他光源影響，因此較一般的光線投射為佳。基於光達模組120的三維掃描幀121的三維資訊，環境感知裝置100可以提前預知移動載具方圓200公尺內各種物件的動態行為（例如移動速度、加速度及方向性）。
在步驟S230中，環境感知裝置100的處理電路130可以融合三維影像幀111與三維掃描幀121，以產生在場域10中的物件11所對應的三維物件資訊。一般而言，相較於攝影機模組110，光達模組120不適用於霧中。相較於光達模組120，攝影機模組110不適用於暗處以及（或是）逆光處。環境感知裝置100可以融合攝影機模組110的特性與光達模組120的特性。因此，環境感知裝置100可以不受日夜間環境影響，進而提升辨識準確率以強化行車安全。
資料庫140適於儲存三維地圖。在步驟S240中，處理電路130可以比對物件11所對應的三維物件資訊與被儲存於資料庫140的三維地圖。基於步驟S240的比對結果，處理電路130可以在步驟S250中決定是否略過對所述三維物件資訊的分析計算。舉例來說，在所述三維物件資訊未曾被分析的情況下（亦即物件11未曾被紀錄於資料庫的三維地圖），處理電路130可以對所述三維物件資訊進行分析計算，以獲知物件11的運動特性，然後將所述三維物件資訊與分析計算結果紀錄於資料庫140以建構三維地圖。
「處理電路130可以在三維地圖中找到物件11」的意義為，環境感知裝置100在先前時間中偵測到物件11在場域10中的位置相同於環境感知裝置100在目前時間中偵測到物件11在場域10中的位置。亦即，物件11是在場域10中的靜止物件。因此，處理電路130可以在步驟S240中比對物件11所對應的三維物件資訊與被儲存於資料庫140的三維地圖，以判定物件11是否為靜止物件。在物件11不是靜止物件的情況下，處理電路130可以在步驟S250中對所述三維物件資訊進行分析計算，以獲知物件11的運動特性。依照設計需求，所述運動特性包括物件11的大小、位置、距離、速度、加速度與方向其中至少一者。本實施例並不限制關於運動特性的所述分析計算的演算細節。舉例來說，在一些實施例中，所述分析計算可以包括習知的物件運動特性計算方式或是其他分析計算。在物件11是靜止物件的情況下，處理電路130可以在步驟S250中略過對所述三維物件資訊的分析計算。
移動載具的周邊會存在不同類型的物件，而不同類型的物件對於行車的安全性有不同程度的影響。例如，物件11（例如車輛或行人）可能會在短時間內與移動載具發生碰撞。當物件11為大量的雜草時，「移動載具撞上物件11」實際上這並不是危險的事。處理電路130可以將物件11所對應的三維物件資訊進行分類，以判斷物件11是否對移動載具造成威脅。分類的方式可利用不同物體的外觀特徵進行辨識。處理電路130可以利用物件11的特徵與資料庫140中所預先儲存的資料作比對。此資料庫140可以是與處理電路130相耦接的儲存模組。在另一些實施例中，資料庫140可以是位於雲端的資料庫。經過分類，處理電路130可以判斷物件11是否影響移動載具的安全性。例如，當物件11為對於行車安全不會造成危險的草時，處理電路130可以忽視物件11。所述「忽視」意為，不耗費運算資源去預估物件11的運動趨勢（物件11與移動載具碰撞之可能性）。
反之，若物件11在分類上會影響移動載具的安全性，則處理電路130可以進行的所述分析計算，以基於所述運動特性而獲知物件11的運動趨勢。處理電路130可以利用移動載具本身的運動資訊（包含了移動速度以及移動方向等資訊）與物件11的運動資訊（運動特性，包含了移動速度以及移動方向等資訊）而預估物件11與移動載具的碰撞可能性。若預估的結果顯示物件11與移動載具存在碰撞的可能性，則處理電路130可以驅動提示單元150以觸發障礙物警告，使駕駛能夠獲知危機的存在。
處理電路130可以基於所述運動趨勢而決定是否驅動提示單元150以觸發障礙物警告。舉例來說，當物件11的運動趨勢指出「將與物件11發生碰撞」時，處理電路130可以觸發障礙物警告。舉例來說，當移動載具（例如汽車，未繪示）至障礙物（物件11）的距離小於100公尺並且物件11與移動載具平行移動時，處理電路130可以在顯示面板（提示單元150）的畫面中標示出障礙物。當移動載具至障礙物（物件11）的距離小於10公尺並且物件11的運動趨勢為「向移動載具靠近」時，處理電路130可以在顯示面板（提示單元150）的畫面中標示出障礙物，並且驅動喇叭（提示單元150）發出一聲警示音。當移動載具至障礙物（物件11）的距離小於5公尺並且物件11的運動趨勢為「與移動載具平行移動」時，處理電路130可以在顯示面板（提示單元150）的畫面中標示出障礙物，並且驅動喇叭（提示單元150）發出間歇式警示音。當移動載具至障礙物（物件11）的距離小於2公尺並且物件11的運動趨勢為「向移動載具靠近」時，處理電路130可以在顯示面板（提示單元150）的畫面中標示出障礙物，並且驅動喇叭（提示單元150）發出連續警示音。此外，若是移動載具由電腦自動駕駛，則處理電路130可以觸發相對應的迴避機制，以避免移動載具碰撞物件11。
本實施例主要是透過深度影像環境掃描以及影像融合產生三維環境資訊，以進行高精度三維掃描辨識。透過重複路徑之三維地圖建置，本實施例能應用於市區複雜擁擠環境並精確提供避障警示。基於三維影像幀111與三維掃描幀121的融合，本實施例可以應用於全環境中而不易受環境雜訊影響，進而提升辨識準確率。
圖3是依照本發明的一實施例說明圖1所示處理電路130的電路方塊示意圖。圖3所示攝影機模組110、光達模組120以及處理電路130可以參照圖1所示攝影機模組110、光達模組120以及處理電路130的相關說明，故不再贅述。在圖3所示實施例中，處理電路130包括分區電路131、分區電路132與物件辨識電路133。分區電路131耦接至攝影機模組110，以接收三維影像幀111。分區電路132耦接至光達模組120，以接收三維掃描幀121。
圖4是依照本發明的另一實施例的一種環境感知方法的流程示意圖。圖4所示步驟S210、S220、S230與S240可以參照圖2所示步驟S210、S220、S230與S240的相關說明，故不再贅述。在圖4所示實施例中，步驟S230包括步驟S231、S232與S233。請參照圖3與圖4。在步驟S231中，分區電路131可以進行第一演算法，以從三維影像幀111分割出物件11所對應的第一區域。本實施例並不限制所述第一演算法的實施細節。舉例來說，分區電路131可以進行最大穩定極值區域（Maximally Stable Extremal Regions，MSER）演算法（第一演算法），以從三維影像幀111分割出物件11所對應的第一區域。在步驟S232中，分區電路132可以進行第二演算法，以從三維掃描幀121分割出物件11所對應的第二區域。本實施例並不限制所述第二演算法的實施細節。舉例來說，分區電路132可以進行最大穩定色彩區域（Maximally Stable Colour Regions，MSCR）演算法（第二演算法），以從三維掃描幀121分割出物件11所對應的第二區域。
物件辨識電路133耦接至分區電路131與分區電路132。在步驟S233中，物件辨識電路133可以進行融合操作，以將互相匹配的所述第一區域與所述第二區域融合為物件11所對應的三維物件資訊。在一些實施例中，所述融合操作可以包括邊緣偵測演算法。所述邊緣偵測演算法可以處理所述第一區域與所述第二區域，以產生邊緣偵測後的所述第一區域與邊緣偵測後的所述第二區域。舉例來說，物件辨識電路133可以進行索伯（Sobel）邊緣偵測，以便融合三維影像幀111與三維掃描幀121。依照設計需求，物件辨識電路133可以使用最大熵馬爾可夫模型（Maximum Entropy Markov Model，MEMM）來融合三維影像幀111與三維掃描幀121，以獲得物件11所對應的三維物件資訊。物件辨識電路133可以比對所述三維物件資訊與所述三維地圖，以判定物件11是否為靜止物件。在物件11不是靜止物件的情況下，物件辨識電路133可以對所述三維物件資訊進行所述分析計算。在物件11是靜止物件的情況下，物件辨識電路133可以對所述三維物件資訊略過所述分析計算。
依照不同的設計需求，上述處理電路130、分區電路131、分區電路132以及（或是）物件辨識電路133的實現方式可以是硬體（hardware）、韌體（firmware）、軟體（software，即程式）或是前述三者中的多者的組合形式。
以硬體形式而言，上述處理電路130、分區電路131、分區電路132以及（或是）物件辨識電路133可以實現於積體電路（integrated circuit）上的邏輯電路。上述處理電路130、分區電路131、分區電路132以及（或是）物件辨識電路133的相關功能可以利用硬體描述語言（hardware description languages，例如Verilog HDL或VHDL）或其他合適的編程語言來實現為硬體。舉例來說，上述處理電路130、分區電路131、分區電路132以及（或是）物件辨識電路133的相關功能可以被實現於一或多個控制器、微控制器、微處理器、特殊應用積體電路（Application-specific integrated circuit, ASIC）、數位訊號處理器（digital signal processor, DSP）、場可程式邏輯閘陣列（Field Programmable Gate Array, FPGA）及/或其他處理單元中的各種邏輯區塊、模組和電路。
以軟體形式及/或韌體形式而言，上述處理電路130、分區電路131、分區電路132以及（或是）物件辨識電路133的相關功能可以被實現為編程碼（programming codes）。例如，利用一般的編程語言（programming languages，例如C、C++或組合語言）或其他合適的編程語言來實現上述處理電路130、分區電路131、分區電路132以及（或是）物件辨識電路133。所述編程碼可以被記錄/存放在記錄媒體中。在一些實施例中，所述記錄媒體例如包括唯讀記憶體（Read Only Memory，ROM）、隨機存取記憶體（Random Access Memory，RAM）以及（或是）儲存裝置。所述儲存裝置包括硬碟（hard disk drive，HDD）、固態硬碟（Solid-state drive，SSD）或是其他儲存裝置。在另一些實施例中，所述記錄媒體可以包括「非臨時的電腦可讀取媒體（non-transitory computer readable medium）」。舉例來說，帶（tape）、碟（disk）、卡（card）、半導體記憶體、可程式設計的邏輯電路等可以被使用來實現所述非臨時的電腦可讀取媒體。電腦、中央處理器（Central Processing Unit，CPU）、控制器、微控制器或微處理器可以從所述記錄媒體中讀取並執行所述編程碼，從而實現上述處理電路130、分區電路131、分區電路132以及（或是）物件辨識電路133的相關功能。而且，所述編程碼也可經由任意傳輸媒體（通信網路或廣播電波等）而提供給所述電腦（或CPU）。所述通信網路例如是網際網路（Internet）、有線通信（wired communication）網路、無線通信（wireless communication）網路或其它通信介質。
綜上所述，上述諸實施例所述環境感知裝置100配置有攝影機模組110與光達模組120。處理電路130可以融合攝影機模組110的三維影像幀111的三維資訊與光達模組120的三維掃描幀121的三維資訊，以產生在場域10中的某一個物件11所對應的三維物件資訊。因此，處理電路130可以結合攝影機模組110與光達模組120的特點去進行環境感知。在一些實施例中，處理電路130可以比對三維物件資訊與被儲存於資料庫140的三維地圖。在所述三維物件資訊未曾被分析的情況下（亦即所述三維物件資訊未曾被紀錄於資料庫140），處理電路130可以對所述三維物件資訊進行分析計算以獲知物件11的運動特性，然後將所述三維物件資訊與分析計算結果紀錄於資料庫140以建構三維地圖。運動的物件（人或車）一般不屬於在三維地圖中的靜止物件，因此處理電路130可以對運動的物件進行分析計算以獲知物件的運動特性。在物件11是靜止物件的情況下，處理電路可以略過對曾經分析過的靜止物件11的分析計算，以減少計算的重複。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:場域 11:物件 100:環境感知裝置 110:攝影機模組 111:三維影像幀 120:光達模組 121:三維掃描幀 130:處理電路 131、132:分區電路 133:物件辨識電路 140:資料庫 150:提示單元 S210～S250:步驟
圖1是依照本發明的一實施例的一種環境感知裝置的電路方塊（circuit block）示意圖。 圖2是依照本發明的一實施例的一種環境感知方法的流程示意圖。 圖3是依照本發明的一實施例說明圖1所示處理電路的電路方塊示意圖。 圖4是依照本發明的另一實施例的一種環境感知方法的流程示意圖。
10:場域
11:物件
100:環境感知裝置
110:攝影機模組
111:三維影像幀
120:光達模組
121:三維掃描幀
130:處理電路
140:資料庫
150:提示單元

Claims (12)

  1. 一種移動載具的環境感知裝置，包括：一攝影機模組，配置於該移動載具，適於拍攝該移動載具附近的一場域而產生一三維影像幀；一光達模組，配置於該移動載具，適於掃描該場域而產生一三維掃描幀；一資料庫，適於儲存一三維地圖；以及一處理電路，耦接至該攝影機模組與該光達模組以接收該三維影像幀與該三維掃描幀，其中該處理電路被配置為融合該三維影像幀與該三維掃描幀以產生在該場域中的一物件所對應的一三維物件資訊，該處理電路還比對該三維物件資訊與該三維地圖以判定該物件是否為一靜止物件，其中在判定該物件不是該靜止物件的情況下或是在該物件未曾被紀錄於該三維地圖的情況下該處理電路對該三維物件資訊進行一分析計算以獲知該物件的一運動特性，以及在判定該物件是該靜止物件的情況下該處理電路對該三維物件資訊略過執行與該運動特性相關聯的分析計算。
  2. 如請求項1所述的環境感知裝置，其中該攝影機模組包括一深度攝影機，而該三維影像幀包括一深度影像幀。
  3. 如請求項1所述的環境感知裝置，其中該處理電路包括：一第一分區電路，耦接至該攝影機模組以接收該三維影像幀， 其中該第一分區電路被配置為進行一第一演算法以從該三維影像幀分割出該物件所對應的一第一區域；一第二分區電路，耦接至該光達模組以接收該三維掃描幀，其中該第二分區電路被配置為進行一第二演算法以從該三維掃描幀分割出該物件所對應的一第二區域；以及一物件辨識電路，耦接至該第一分區電路與該第二分區電路，其中該物件辨識電路進行一融合操作以將互相匹配的該第一區域與該第二區域融合為該三維物件資訊，該物件辨識電路比對該三維物件資訊與該三維地圖以判定該物件是否為該靜止物件，在判定該物件不是該靜止物件的情況下該物件辨識電路對該三維物件資訊進行與該運動特性相關聯的該分析計算，以及在判定該物件是該靜止物件的情況下該物件辨識電路對該三維物件資訊略過執行與該運動特性相關聯的該分析計算。
  4. 如請求項3所述的環境感知裝置，其中該融合操作包括一邊緣偵測演算法，該邊緣偵測演算法適於處理該第一區域與該第二區域，以產生邊緣偵測後的該第一區域與邊緣偵測後的該第二區域。
  5. 如請求項1所述的環境感知裝置，其中該運動特性包括一大小、一位置、一距離、一速度、一加速度與一方向其中至少一者。
  6. 如請求項1所述的環境感知裝置，其中該處理電路更基於該運動特性而獲知該物件的一運動趨勢，以及該處理電路更基於該運動趨勢而決定是否觸發一障礙物警告。
  7. 一種移動載具的環境感知方法，包括：由被配置於該移動載具的一攝影機模組拍攝該移動載具附近的一場域而產生一三維影像幀；由被配置於該移動載具的一光達模組掃描該場域而產生一三維掃描幀；由一處理電路融合該三維影像幀與該三維掃描幀，以產生在該場域中的一物件所對應的一三維物件資訊；由該處理電路比對該三維物件資訊與被儲存於一資料庫的一三維地圖，以判定該物件是否為一靜止物件；在判定該物件不是該靜止物件的情況下，或是在該物件未曾被紀錄於該三維地圖的情況下，由該處理電路對該三維物件資訊進行一分析計算以獲知該物件的一運動特性；以及在判定該物件是該靜止物件的情況下，由該處理電路對該三維物件資訊略過執行與該運動特性相關聯的該分析計算。
  8. 如請求項7所述的環境感知方法，其中該攝影機模組包括一深度攝影機，而該三維影像幀包括一深度影像幀。
  9. 如請求項7所述的環境感知方法，更包括：由該處理電路的一第一分區電路進行一第一演算法，以從該三維影像幀分割出該物件所對應的一第一區域； 由該處理電路的一第二分區電路進行一第二演算法，以從該三維掃描幀分割出該物件所對應的一第二區域；由該處理電路的一物件辨識電路進行一融合操作，以將互相匹配的該第一區域與該第二區域融合為該三維物件資訊；由該物件辨識電路比對該三維物件資訊與該三維地圖，以判定該物件是否為該靜止物件；在判定該物件不是該靜止物件的情況下，由該物件辨識電路對該三維物件資訊進行與該運動特性相關聯的該分析計算；以及在判定該物件是該靜止物件的情況下，由該物件辨識電路對該三維物件資訊略過執行與該運動特性相關聯的該分析計算。
  10. 如請求項9所述的環境感知方法，其中該融合操作包括一邊緣偵測演算法，該邊緣偵測演算法適於處理該第一區域與該第二區域，以產生邊緣偵測後的該第一區域與邊緣偵測後的該第二區域。
  11. 如請求項7所述的環境感知方法，其中該運動特性包括一大小、一位置、一距離、一速度、一加速度與一方向其中至少一者。
  12. 如請求項7所述的環境感知方法，更包括：當該處理電路進行與該運動特性相關聯的該分析計算時，該處理電路基於該運動特性而獲知該物件的一運動趨勢，以及由該處理電路基於該運動趨勢而決定是否觸發一障礙物警告。
TW109142067A 2020-11-30 2020-11-30 移動載具的環境感知裝置與方法 TWI758980B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
TW109142067A TWI758980B (zh) 2020-11-30 2020-11-30 移動載具的環境感知裝置與方法
CN202110236739.2A CN114639097A (zh) 2020-11-30 2021-03-03 移动载具的环境感知装置与方法
US17/195,583 US11636690B2 (en) 2020-11-30 2021-03-08 Environment perception device and method of mobile vehicle
DE102021123309.7A DE102021123309A1 (de) 2020-11-30 2021-09-09 Umgebungswahrnehmungsvorrichtung und verfahren für ein mobiles fahrzeug
GB2114094.2A GB2603993B (en) 2020-11-30 2021-10-01 Environment perception device and method of mobile vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109142067A TWI758980B (zh) 2020-11-30 2020-11-30 移動載具的環境感知裝置與方法

Publications (2)

Publication Number Publication Date
TWI758980B true TWI758980B (zh) 2022-03-21
TW202223438A TW202223438A (zh) 2022-06-16

Family

ID=78497756

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109142067A TWI758980B (zh) 2020-11-30 2020-11-30 移動載具的環境感知裝置與方法

Country Status (5)

Country Link
US (1) US11636690B2 (zh)
CN (1) CN114639097A (zh)
DE (1) DE102021123309A1 (zh)
GB (1) GB2603993B (zh)
TW (1) TWI758980B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201638833A (zh) * 2015-01-16 2016-11-01 高通公司 使用圖像資料之位置資料及縮放空間表示之物件偵測
TW201835603A (zh) * 2017-03-01 2018-10-01 美商奧斯特公司 用於光達之準確光偵測器量測
TWM578804U (zh) * 2019-01-07 2019-06-01 先進光電科技股份有限公司 行動載具輔助系統
TW202014993A (zh) * 2018-10-11 2020-04-16 日商三菱電機股份有限公司 資訊處理裝置、記錄媒體、程式產品及資訊處理方法
TW202020734A (zh) * 2018-11-29 2020-06-01 財團法人工業技術研究院 載具、載具定位系統及載具定位方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4647201B2 (ja) 2003-12-05 2011-03-09 富士重工業株式会社 車両の走行制御装置
TWI332453B (en) 2008-07-21 2010-11-01 Univ Nat Defense The asynchronous photography automobile-detecting apparatus and method thereof
CN102145688A (zh) 2010-02-08 2011-08-10 鸿富锦精密工业（深圳）有限公司 车辆防撞监控系统及方法
JP2012118666A (ja) * 2010-11-30 2012-06-21 Iwane Laboratories Ltd 三次元地図自動生成装置
US9396401B2 (en) * 2011-11-01 2016-07-19 Aisin Seiki Kabushiki Kaisha Obstacle alarm device
US20140005886A1 (en) 2012-06-29 2014-01-02 Microsoft Corporation Controlling automotive functionality using internal- and external-facing sensors
US8886387B1 (en) * 2014-01-07 2014-11-11 Google Inc. Estimating multi-vehicle motion characteristics by finding stable reference points
CN104899855A (zh) 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
TWM490591U (en) 2014-07-03 2014-11-21 Univ Shu Te 3D image system using distance parameter to correct accuracy of patterns surrounding the vehicle
CN105313782B (zh) 2014-07-28 2018-01-23 现代摩比斯株式会社 车辆行驶辅助系统及其方法
CN205010095U (zh) 2015-09-18 2016-02-03 华创车电技术中心股份有限公司 三维行车影像校正装置
WO2017159382A1 (ja) 2016-03-16 2017-09-21 ソニー株式会社 信号処理装置および信号処理方法
US10671860B2 (en) * 2018-02-20 2020-06-02 GM Global Technology Operations LLC Providing information-rich map semantics to navigation metric map
US11500099B2 (en) 2018-03-14 2022-11-15 Uatc, Llc Three-dimensional object detection
US10854011B2 (en) * 2018-04-09 2020-12-01 Direct Current Capital LLC Method for rendering 2D and 3D data within a 3D virtual environment
CN109146938B (zh) * 2018-08-30 2020-09-15 百度在线网络技术（北京）有限公司 动态障碍物的位置校准方法、装置、设备及存储介质
CN111238494B (zh) * 2018-11-29 2022-07-19 财团法人工业技术研究院 载具、载具定位系统及载具定位方法
CN111609852A (zh) * 2019-02-25 2020-09-01 北京奇虎科技有限公司 语义地图构建方法、扫地机器人及电子设备
CN111144211B (zh) * 2019-08-28 2023-09-12 华为技术有限公司 点云显示方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201638833A (zh) * 2015-01-16 2016-11-01 高通公司 使用圖像資料之位置資料及縮放空間表示之物件偵測
TW201835603A (zh) * 2017-03-01 2018-10-01 美商奧斯特公司 用於光達之準確光偵測器量測
TW202014993A (zh) * 2018-10-11 2020-04-16 日商三菱電機股份有限公司 資訊處理裝置、記錄媒體、程式產品及資訊處理方法
TW202020734A (zh) * 2018-11-29 2020-06-01 財團法人工業技術研究院 載具、載具定位系統及載具定位方法
TWM578804U (zh) * 2019-01-07 2019-06-01 先進光電科技股份有限公司 行動載具輔助系統

Also Published As

Publication number Publication date
CN114639097A (zh) 2022-06-17
GB2603993A (en) 2022-08-24
GB202114094D0 (en) 2021-11-17
US20220171976A1 (en) 2022-06-02
GB2603993B (en) 2024-06-05
TW202223438A (zh) 2022-06-16
DE102021123309A1 (de) 2022-06-02
US11636690B2 (en) 2023-04-25

Similar Documents

Publication Publication Date Title
US11390276B2 (en) Control device, control method, and non-transitory storage medium
US10495753B2 (en) Video to radar
US9740944B2 (en) Virtual sensor data generation for wheel stop detection
JP6459659B2 (ja) 画像処理装置、画像処理方法、運転支援システム、プログラム
US20170206426A1 (en) Pedestrian Detection With Saliency Maps
JP3922245B2 (ja) 車両周辺監視装置および方法
US10336252B2 (en) Long term driving danger prediction system
Cho A study on the obstacle recognition for autonomous driving RC car using LiDAR and thermal infrared camera
US11273841B2 (en) Method and apparatus for spoofing prevention
US11698675B2 (en) Autonomous vehicle visual based communication
GB2554148A (en) Virtual sensor data generation for bollard receiver detection
CN113253299B (zh) 障碍物检测方法、装置及存储介质
TW201621840A (zh) 用於防撞之立體深度感測系統及其運作方法
JP6411933B2 (ja) 車両状態判定装置
TWI758980B (zh) 移動載具的環境感知裝置與方法
JPWO2020008685A1 (ja) 情報報知装置、情報報知装置用プログラム、および情報報知システム
JP2011198266A (ja) 危険判定装置及びプログラム
CN105652286A (zh) 用于防撞的立体深度感测系统及其运作方法
US11335104B2 (en) Methods and system for predicting driver awareness of a feature in a scene
TW201337786A (zh) 影像感測裝置及其影像處理方法
TWI505706B (zh) 應用近紅外線與遠紅外線之物體偵測方法、裝置以及其電腦可讀取記錄媒體
JP2021001756A (ja) 測距装置
US12051324B2 (en) Collaborative illumination
WO2020105225A1 (ja) 機械学習方法、学習済みモデル、制御プログラム、および物体検知システム
JP2024078391A (ja) 車両に対して静止物体を警告する方法