TWI826723B - 用於產生物件之物件分類的方法和裝置 - Google Patents

用於產生物件之物件分類的方法和裝置 Download PDF

Info

Publication number
TWI826723B
TWI826723B TW109129725A TW109129725A TWI826723B TW I826723 B TWI826723 B TW I826723B TW 109129725 A TW109129725 A TW 109129725A TW 109129725 A TW109129725 A TW 109129725A TW I826723 B TWI826723 B TW I826723B
Authority
TW
Taiwan
Prior art keywords
radar
image
based object
classifier
object classification
Prior art date
Application number
TW109129725A
Other languages
English (en)
Other versions
TW202117598A (zh
Inventor
安卓斯 維葛恩
艾拉斯 帕帕戴麗斯
丹尼爾 史塔和
艾爾納伯 巴哈塔恰傑
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW202117598A publication Critical patent/TW202117598A/zh
Application granted granted Critical
Publication of TWI826723B publication Critical patent/TWI826723B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本發明揭示一種經提供用於產生一物件之一物件分類之裝置，該裝置包括：一影像感測器、一雷達感測器及一處理單元，該處理單元經組態以執行以下步驟：自該影像感測器接收該物件之影像資料；對該影像資料操作一基於影像之物件分類器以產生一基於影像之物件分類；自該雷達感測器接收該物件之雷達資料；對該雷達資料操作一基於雷達之物件分類器，以產生一基於雷達之物件分類；在該基於影像之物件分類與該基於雷達之物件分類之間選擇以作為該物件之該物件分類輸出；判定該基於雷達之物件分類是否滿足一訓練條件；及當該基於雷達之物件分類滿足該訓練條件時，使用該基於影像之物件分類訓練該基於雷達之物件分類器。

Description

用於產生物件之物件分類的方法和裝置
現今正進行大量工作來改良感測器資料之處理及分類。許多研究及開發領域關注於改良使用各種感測器(包含攝影機、雷達、超音波感測器等)觀察到之物件之自動偵測及分類。解決此任務之一個有希望的技術領域係人工神經網路之領域，包含應用諸如迴旋神經網路(CNN)、遞迴神經網路(RNN)及其他類似方法之技術來訓練且辨識物件。
已經提出許多方法來訓練神經網路以使用感測器資料辨識物件。在一一般實例中，應用一監督學習方法來訓練包括一神經網路之一物件分類器，以從一影像感測器資料辨識一人類。在訓練程序中，為物件分類器饋送經標記影像資料，其中標記在影像資料中展示之各個人。此標記可被稱為「實況」資料。影像資料由物件分類器接收，且將物件標記發送至一損失函數計算器。物件分類器處理表示待分類之物件之影像資料並產生一物件分類。在損失函數中，判定物件分類器神經網路之輸出與正確值(取自實況資料)相比較之間的一差。接著將來自損失函數之結果傳輸至一權重調整函數，該權重調整函數經組態以調整物件分類器之神經網路中使用之權重。物件分類與標記之間的差愈大，權重之調整愈大。隨著用表 示人類之更多影像訓練神經網路，神經網路在其對物件分類之輸出方面變得愈來愈精確。當完全訓練物件分類器時，其可用於使用非訓練影像資料精確判定物件分類。
為達成一經正確訓練之物件分類器，需要非常大量的經標記影像資料。一般言之，需要數十萬或甚至數百萬個經標記影像資料例項。此訓練資料之產生係非常資源密集的，此係因為其通常需要由一人類手動標記所要物件分類。對於一些分類，可購買大標記資料集。最常見資料集包含已經分類之影像。此等現有資料集之一個問題在於，其等可未標記為你將訓練你的物件分類器辨識之物件類別。現有資料集之另一問題在於，其等可不使用你將對其進行你的物件分類之輸入影像資料之形式。另一問題係缺乏可公開獲取之非影像資料，例如雷達資料，從而要求隨著時間而建立一資料集。
物件分類器可為任何類型的神經網路、人工智慧或機器學習方案。
本發明之一第一態樣係一種使用一影像感測器及一雷達感測器產生一物件之一物件分類的方法，該方法包括：使用該影像感測器產生該物件之影像資料；對該影像資料操作一基於影像之物件分類器以產生一基於影像之物件分類；使用該雷達感測器產生該物件之雷達資料；對該雷達資料操作一基於雷達之物件分類器，以產生一基於雷達之物件分類；在該基於影像之物件分類與該基於雷達之物件分類之間選擇以作為該物件之該物件分類輸出；判定該基於雷達之物件分類是否滿足一訓練條件；及若該基於雷達之物件分類滿足該訓練條件，則使用該基於影像之物件分類 訓練該基於雷達之物件分類器。
視情況而言，該選擇步驟包括當滿足一雷達條件時選擇該基於雷達之物件分類。視情況而言，當以下一或多者為真時，滿足該雷達條件：該基於影像之物件分類的一概率值低於一臨限值；該基於雷達之物件分類的一概率值高於一臨限值；該影像感測器至少部分被阻擋；使用該影像感測器判定一弱光條件；使用該影像感測器判定一低對比度條件；判定該影像感測器具有擁有一低信雜比之一輸出；判定該物件之該影像資料低於一臨限解析度；判定該物件距該影像感測器比一臨限距離更遠。
該選擇步驟可包括依賴於一天中之時間、一亮度級、一可見性距離、一濕度位準及一天氣條件之一或多者在該基於影像之物件分類與該基於雷達之物件分類之間選擇。
該天氣條件可藉由一獨立感測器判定。該基於雷達之物件分類可包括一雷達物件概率值。視情況而言，當以下一或多者為真時，滿足該訓練條件：該雷達物件概率值低於一第一臨限值；該基於影像之物件分類之一概率值高於一第二臨限值；該基於影像之物件分類與該基於雷達之物件分類實質上不匹配。
視情況而言，並行執行產生影像資料及產生雷達資料之步驟。視情況而言，該影像感測器及一雷達感測器共同定位。視情況而言，該影像感測器及一雷達感測器具有一重疊視野。該影像感測器及一雷達感測器可經配置於分開外殼中。該影像感測器及一雷達感測器可具有一重疊可觀察區域。
本發明之一第二態樣係一種用於產生一物件之一物件分類之裝置，該裝置包括：一影像感測器、一雷達感測器及一處理單元，該處 理單元經組態以執行以下步驟：自該影像感測器接收該物件之影像資料；對該影像資料操作一基於影像之物件分類器以產生一基於影像之物件分類；自該雷達感測器接收該物件之雷達資料；對該雷達資料操作一基於雷達之物件分類器，以產生一基於雷達之物件分類；在該基於影像之物件分類與該基於雷達之物件分類之間選擇以作為該物件之該物件分類輸出；判定該基於雷達之物件分類是否滿足一訓練條件；及當該基於雷達之物件分類滿足該訓練條件時，使用該基於影像之物件分類訓練該基於雷達之物件分類器。
本發明之一第三態樣係一種使用一或多個影像感測器及一或多個深度感測器來產生一物件分類的方法，該方法包括：使用該一或多個影像感測器產生該物件之一組影像資料；對該影像資料組操作至少一個基於影像之物件分類器以產生一組基於影像之物件分類；使用該一或多個深度感測器產生該物件之一組深度資料；對該組深度資料操作至少一個基於深度之物件分類器，以產生一組基於深度之物件分類；從該組基於影像之物件分類及該組基於深度之物件分類選擇待輸出之一物件分類；當該基於深度之物件分類滿足一條件時，使用來自該組基於影像之物件分類之至少一個基於影像之物件分類來訓練該等基於深度之物件分類器之一者。
該一或多個影像感測器可包括一可見光攝影機、熱攝影機、NIR攝影機、UV攝影機之至少一者，且該一或多個深度感測器可包括一雷達、LIDAR及飛行時間攝影機之至少一者。
10:影像感測器
15:影像資料
20:雷達感測器
25:雷達資料
40:處理單元
58:可選裁切模組
60:訓練模組
61:權重調整器
62:權重調整器
64:訓練模組
70:物件分類控制器
75:物件分類輸出介面
90:物件
91:物件
92:物件
93a:定界框
93b:定界框
95:物件分類
100:物件分類裝置
110:基於影像之物件分類器
115:基於影像之物件分類
120:基於雷達之物件分類器
125:基於雷達之物件分類
201:人類
202:垃圾桶/項目
210:第一物件分類器
215:資料
220:第二物件分類器
225:資料
260:訓練模組
261:可選權重調整器
262:權重調整器
270:物件分類控制器
275:物件分類輸出介面
S101:步驟
S102:步驟
S103:步驟
S111:步驟
S112:步驟
S113:步驟
S120:步驟
S130:步驟
S140:步驟
S150:步驟
參考隨附圖式，本發明之其他特徵及優勢將從一實例之下列實施方式變得明白，其中： 圖1係一物件分類裝置之一示意方塊圖，圖2a及圖2b係藉由一影像感測器擷取之一場景之感測器資料之示意視圖，圖3為藉由一雷達感測器擷取之圖2之對應場景之感測器資料之一示意性視圖，圖4係用於訓練一分類器之一訓練系統之一示意性方塊圖，圖5係一分類及訓練程序之一流程圖，圖6係用於訓練一分類器之另一訓練系統之一示意性方塊圖，及圖7係一替代性實例中之一分類及訓練程序之一示意性方塊圖。
本發明係關於用於使用多個感測器輸入來提供持續改良物件偵測及分類之裝置及技術。貫穿本描述，相同元件符號用於識別對應元件。
圖1係一物件分類裝置100之一實例之一示意方塊圖。裝置100包括影像感測器10、雷達感測器20及處理單元40。影像感測器10經組態以擷取一物件90之一影像並將對應於物件90之影像之影像資料15提供至處理單元40。類似地，雷達感測器20經組態以擷取同一物件90之雷達資料25並將對應於物件90之雷達回波之雷達資料25提供至處理單元40。在一些實例中，裝置100可安裝至一建築或車輛上以用於測量一近端空間。在進一步實例中，裝置100可安裝於一屋頂上，沿著一壁面朝下，以 便監測一立面。裝置100亦可經引導超向天空以偵測且追蹤無人機或其他飛行器或物件。
在此實例中，處理單元40包括一基於影像之物件分類器110，該基於影像之物件分類器110經組態以接收影像資料15並判定影像資料15中之一或多個物件90之一基於影像之物件分類115。處理單元40進一步包括一基於雷達之物件分類器120，該基於雷達之物件分類器120經組態以接收雷達資料25並判定雷達資料25中之一或多個物件90之一基於雷達之物件分類125。處理單元40包括一物件分類控制器70，該物件分類控制器70經組態以接收基於影像之物件分類115及基於雷達之物件分類125，並選擇基於基於影像之物件分類115及基於雷達之物件分類125的哪一者作為物件分類95輸出至物件分類輸出介面75。在此實例中，在滿足某些條件的情況下，使用基於影像之物件分類115來訓練基於雷達之物件分類器120。如此，使用經標記資料(或「實況」資料)對基於雷達之物件分類器120進行持續訓練及改良。此使基於雷達之物件分類器120能夠達成使用工廠提供之設定無法達成之物件分類效能位準。
處理單元40已在上文中被描述為一單一單元，但可經組態為分開的控制器或模組。分開的處理單元或模組可為用於(例如)處理視訊及影像之專用控制器，或可控制超過一個組件之通用控制器或模組。處理單元40或專用模組或控制器可至少部分地藉由由中央處理單元(CPU)執行的軟體來實施。在一實例中，一電腦程式產品包括指令，當由一電腦執行該程式時該等指令使電腦執行如上文相關於處理單元40論述之步驟。處理單元可藉由在一或多個通用或專用運算器件上運行的專用軟體(或韌體)實施。在此內容脈絡中，應理解，此一運算器件之各「元件」或「構件」係 指一方法步驟之一概念等效物；在元件/構件與特定硬體或軟體常式件之間並不總是存在一對一對應關係。一個硬體件有時包括不同構件/元件。例如，一處理單元在執行一個指令時可充當一個元件/構件，但在執行另一指令時可充當另一元件/構件。另外，在一些情況下，一個元件/構件可由一個指令實施，但在其他一些情況下可由複數個指令實施。自然，可設想，一或多個元件(構件)完全由類似硬體元件實施。
處理單元可包含一或多個處理單元，例如一CPU(「中央處理單元」)、一GPU(「圖形處理單元」)、一AI加速器晶片、一DSP(「數位信號處理器」)、一ASIC(「特定應用積體電路」)、一定標器、一DDIC(顯示驅動器積體電路)、離散類比及/或數位組件，或一些其他可程式化邏輯器件(諸如一FPGA(「場可程式化閘陣列」))。處理單元可進一步包含一系統記憶體及將包含系統記憶體的各種系統組件耦合至處理單元之一系統匯流排。系統匯流排可為若干類型之匯流排結構之任一者，包含一記憶體匯流排或記憶體控制器、一週邊匯流排及使用各種匯流排架構之任一者之一局部匯流排。系統記憶體可包含易失性及/或非易失性記憶體形式的電腦儲存媒體，諸如唯讀儲存器(ROM)、隨機存取記憶體(RAM)及快閃記憶體。專用軟體及相關聯控制參數值可儲存於系統記憶體中，或者儲存於包含在運算器件中或運算器件可存取之其他可移除/不可移除揮發性/非揮發性電腦儲存媒體上，例如磁性媒體、光學媒體、快閃記憶卡、數位磁帶、固態RAM，固態ROM等。處理單元可包含一或多個通信介面，諸如一串列介面、一平行介面、一USB介面、一無線介面、一網路配接器等，以及一或多個資料獲取器件(諸如一A/D轉換器)。專用軟體可在任何合適電腦可讀媒體(包含一記錄媒體及一唯讀記憶體)上提供至 處理單元。
圖2a係藉由一影像感測器10擷取之一場景之一影像資料15之一示意視圖。影像資料15可包括一靜態影像或一系列影像(諸如一視訊串流)。影像資料15可包括一可見光影像、一熱輻射影像、一近紅外(NIR)光影像、一紫外光影像等的一個或一組合。影像感測器10可包括一可見光感測器(例如，一半導體電荷耦合器件(CCD)、互補金屬氧化物半導體(CMOS)中之一主動像素感測器，或一N型金屬氧化物半導體(NMOS，Live MOS)感測器)、熱輻射感測器(例如，諸如熱電及鐵電偵測器)、一近紅外光感測器或一紫外光感測器的一個或一組合。影像感測器10之視野(FOV)經定義為影像感測器10可拾取電磁輻射之角。視野取決於影像感測器10之大小及與影像感測器10一起使用之透鏡的一焦距。一水平視野(HFOV)係影像感測器10可在水平軸上拾取電磁輻射之角，且一垂直視野(VFOV)係影像感測器10可在垂直軸上拾取電磁輻射之角。
在本發明之一實例中，影像資料15被傳遞至基於影像之物件分類器110。圖2b展示影像資料15之分類應用之一實例，其中物件90經識別為人類201，且物件91經識別為垃圾桶202。物件90及物件91用界定其等定位其中的影像之部分之定界框93a及93b展示。雖然圖2a及圖2b展示兩個物件90、91，但基於影像之物件分類器110可經組態以分類更大數目個物件。
圖3為藉由一雷達感測器20擷取之圖2之對應場景之感測器資料之一示意性視圖。類似於影像資料15，雷達資料25可包括一單一雷達影像或一系列雷達影像。雷達感測器20經組態以發射一無線電信號並偵測由無線電信號路徑中的(若干)物件反射之無線電信號之回波。雷達感測 器20之視野(FOV)經定義為雷達感測器20可傳輸且拾取來自雷達回波之電磁輻射之角。一水平視野(HFOV)係雷達感測器20可在水平軸上傳輸且拾取來自雷達回波之電磁輻射之角，且一垂直視野(VFOV)係雷達感測器20可在垂直軸上傳輸且拾取來自雷達回波之電磁輻射之角。在一典型雷達組態中，相較於水平視野，垂直視野可為相對小的。使用一影像感測器中之像素之相似性，垂直視野可被簡單地描述為一單一像素高。在一個實例中，一雷達具有一120度HFOV及一25度VFOV，且能夠使用水平平面中之複數個「像素」來解析水平平面中之多個物件而在垂直平面中僅具有一單一「像素」。
如在圖3中展示，物件90及物件91亦藉由雷達感測器20成像。雖然圖3展示雷達資料25中之兩個物件90、91，但基於雷達之物件分類器120可經組態以分類更大數目個物件。
雖然貫穿本申請案被描述為一雷達感測器20，但應理解，可替代雷達感測器20使用其他感測器類型。此等其他感測器類型可包含一光偵測及測距(LIDAR)感測器、飛行時間攝影機、聲納、超音波、麥克風或麥克風陣列、可見光影像感測器、一熱輻射影像感測器、一近紅外(NIR)光影像感測器、一紫外光影像感測器之一或多者。在一些實例中，可使用用於提供物件90、91的深度或距離資訊之任何深度感測器來代替雷達感測器20，其中任何實例參考圖描述。深度在此處被定義為FOV深度，即，距感測器之距離。
圖4係用於訓練一分類器之訓練系統之一實例之一示意性方塊圖。如上文描述，訓練系統可完全或部分在處理單元40上運行。現將根據圖5中展示之流程圖詳細描述訓練系統之操作。
在步驟S101中，由影像感測器10產生描繪物件90之影像資料15，並將影像資料15傳遞至基於影像之物件分類器110。
在步驟S102中，藉由基於影像之物件分類器110處理影像資料15。在一個實例中，基於影像之物件分類器110係一基於神經網路之分類器。在此實例中，基於影像之物件分類器110可已使用具有對應物件分類標記資料之大量訓練影像進行訓練。在一實例中，在需要基於影像之物件分類器110來對在一典型保全或汽車內容脈絡中使用之物件進行分類的情況下，訓練資料可包括經標記人類及車輛的影像。在典型保全或汽車內容脈絡中可受關注之進一步物件類型可包含動物、自行車、機車、廣泛範圍之卡車大小及類型。亦可訓練基於影像之物件分類器110以辨識且排除可以其他方式觸發假警報之物件。此等物件類型可包括隨風飄動之旗幟、移動的陰影、光耀斑等。在一個實例中，訓練資料包括用於上述任何組合之經標記影像。
在步驟S103中，基於影像之物件分類器110針對影像資料15中描繪之物件90產生基於影像之物件分類115。基於影像之物件分類115係將物件90分類至基於影像之物件分類器110經訓練以辨識的若干物件之一者。基於影像之物件分類115可包括以下項之至少一者：一物件類型、一物件大小、一定界區(例如，描述含有所分類物件之影像資料部分之一定界框、定界輪廓或定界體積)、描述物件之移動之一物件向量(諸如物件之速度及/或加速度)、一物件像素解析度、一物件距離、一(若干)物件空間座標，或指示基於影像之物件分類器110已正確地判定基於影像之物件分類115變數之一可能性的一概率值。在另一實例中，基於影像之物件分類115可包括物件90及91之更具描述性的特徵，例如，由定界區所含 之個別RGB通道之直方圖。概率值可為指示整個分類的可靠性之一單一概率值，或指示基於影像之物件分類115變數的各者之可靠性的一或多個概率值。
在一可選步驟(未展示)中，一可選裁切模組58從基於影像之物件分類器110接收資料並產生一對應裁切資料。此裁切資料可包括藉由基於影像之物件分類器110分類之(若干)物件的大小及位置。裁切資料接著可被傳遞至基於雷達之物件分類器120，且可由基於雷達之物件分類器120用於更準確地分類雷達回波中識別之一或多個物件。此處可參考申請人之同在申請中的歐洲專利申請18174974.8，以獲得影像資料與雷達資料之間的一可能映射方式之一更詳細描述。
在步驟S111中，由雷達感測器20產生描繪物件90之雷達資料25，並將雷達資料25傳遞至基於雷達之物件分類器120。
在步驟S112中，藉由基於雷達之物件分類器120處理雷達資料25。在一個實例中，基於雷達之物件分類器120係一基於神經網路之分類器。在此實例中，類似於上文描述之基於影像之物件分類器110，基於雷達之物件分類器120可已使用具有對應物件分類標記資料之大量訓練影像進行訓練。較佳地，訓練基於雷達之物件分類器120以使用與基於影像之物件分類器110相同的物件組來分類物件，以確保由基於影像之物件分類器110與基於雷達之物件分類器120產生之分類之間的最佳可能相關性。基於雷達之物件分類125可包括以下項之至少一者：一物件類型、一物件大小、描述含有所分類物件之雷達資料部分之一定界框、描述物件之移動之一物件向量(諸如物件之速度及/或加速度)、一物件雷達影像解析度、一物件距離、一(若干)物件空間座標，或指示基於雷達之物件分類器 120已正確地判定基於雷達之物件分類125變數之一可能性的一概率值。在另一實例中，基於雷達之物件分類125可包括物件90及91之更具描述性的特徵，例如，與一物件相關聯之所有個別偵測的徑向速度之直方圖。概率值可為指示整個分類的可靠性之一單一概率值，或指示基於雷達之物件分類125變數的各者之可靠性的一或多個概率值。
在步驟S113中，基於雷達之物件分類器120針對雷達資料25中描繪之物件90產生一基於雷達之物件分類125。基於雷達之物件分類125係將物件90分類至基於雷達之物件分類器120經訓練以辨識的若干物件之一者。
在步驟S120中，物件分類控制器70接收基於影像之物件分類115及基於雷達之物件分類125。物件分類控制器70接著判定將基於影像之物件分類115及基於雷達之物件分類125的哪一者傳遞至物件分類輸出介面75。
在一些實例中，判定將基於影像之物件分類115及基於雷達之物件分類125的哪一者傳遞至物件分類輸出75可依賴於一弱光條件進行。處理單元40可經組態以判定由影像感測器10所觀察到之環境係一弱光環境，例如，未照明室內環境或室外黃昏/黎明/夜間環境。可透過對影像資料15的分析來判定此條件，以判定跨影像之全部或大部分之一低亮度級。在一個實例中，可判定一單一或多個圖框中之影像資料15之各像素的一平均亮度值。可由物件分類控制器70在一函數中使用此平均亮度值來判定待輸出之物件分類的哪一者。一函數可包括一或多個輸入變數，包含本描述中描述的彼等之一或多者。替代地，平均亮度值可與一臨限值比較。與臨限值之比較結果可直接用於判定待輸出基於影像之物件分類的哪一 者，或比較結果可在用於判定待輸出物件分類的哪一者之一函數中使用。
在一個實例中，可使用使用一分開的光感測器之亮度級之一判定或指示一低亮度級之信號來判定一弱光環境。
一大體上照明良好的場景可仍包括藉由陰影隱藏之物件。因此，在另一實例中，可僅相對於由基於影像之物件分類器110分類之物件來判定一弱光條件，而部分或完全忽略觀察到之場景的剩餘部分之照明條件。在一個實例中，可判定在一單一或多個圖框中之經分類物件(例如，圖2b之項目202)之各像素的一平均亮度值，並將該平均亮度值直接用於一函數中，或如與一臨限值比較以判定輸出物件分類的哪一者。可透過分析由基於影像之物件分類器110針對物件界定之定界框內的像素來判定經分類物件之各像素之平均亮度值。
類似於上述實例，處理單元40可經組態以判定由影像感測器10觀察到之環境係一低對比度環境，例如，照明不足或由霧或煙霧部分遮蔽，或藉由陽光使影像感測器10飽和之情形。可透過對影像資料15的分析來判定此條件，以判定跨影像之全部或大部分之一低對比度。在一個實例中，可判定一單一或多個圖框中之影像資料15之一平均對比度值。可由物件分類控制器70在一函數中使用此平均對比度值來判定待輸出物件分類的哪一者。替代地，平均對比度值可與一臨限值比較。與臨限值之比較結果可直接用於判定待輸出物件分類的哪一者。替代地，比較結果可在用來判定待輸出物件分類的哪一者之一函數中使用。
一大體上高對比度場景仍可包括藉由陰影或煙霧隱藏之物件。因此，在另一實例中，可僅相對於由基於影像之物件分類器110分類之物件來判定一低對比度條件，而部分或完全忽略觀察到之場景的剩餘部 分之對比度。在一個實例中，可判定在一單一或多個圖框中之經分類物件(例如，圖2b之項目202)之各像素的一平均對比度值，並將該平均對比度值直接用於一函數中，或如與一臨限值比較以判定輸出物件分類的哪一者。即使針對邊緣情況(諸如當一物件完全或部分被對可見光不透明但對雷達透明之一材料(例如一油布或一帳篷)遮擋時)，此方法亦可為有用的。
雖然一影像感測器通常將返回一固定解析度之一影像，但經分類物件之解析度可取決於其等與影像感測器的距離顯著變化。因此，在一個實例中，可使用觀察到物件90之一物件解析度值來判定輸出物件分類的哪一者。通常將針對由基於影像之物件分類器110分類之物件判定物件解析度值。在一個實例中，一物件解析度值係基於在一單一或多個圖框中之經分類物件(例如，圖2b之項目202)之定界框93b內之像素數目，可經判定，並用於一函數中，或如與一臨限值比較以判定輸出物件分類的哪一者。
在與描述物件距離用於判定輸出物件分類的哪一者的以上實例類似之一實例中，可使用雷達感測器20直接量測且使用物件距離。因此，在一個實例中，可使用觀察到物件之一物件距離值來判定輸出物件分類的哪一者。通常將針對由基於影像之物件分類器110分類之物件判定物件距離值。在一個實例中，一物件距離值係基於如在一單一或多個圖框中由雷達感測器20及/或基於雷達之物件分類器120(例如圖3之物件91)判定的物件之距離。物件距離值可接著由物件分類控制器70在一函數中使用，或如與一臨限值比較來判定待輸出物件分類的哪一者。
在一個實例中，可使用物件距離及物件對比度之一組合來 判定可見性距離。在一物件90可由雷達感測器20及基於雷達之物件分類器120在一特定距離處觀察到，但無法使用影像感測器10及基於影像之物件分類器110解析的情況下，可由處理單元40判定可見性距離小於物件90之距離。可藉由物件分類控制器70使用此可見性計算來判定針對物件90及藉由物件分類控制器70評估之其他物件輸出物件分類的哪一者。
對於室外場景，亮度級至少可部分地由天空中太陽之位置預測。因此，在一個實例中，可使用一時間值來判定輸出物件分類的哪一者。在一個實例中，一時間值(視情況與一位置值組合)由物件分類控制器70在一函數中使用，或如與一臨限值比較來判定待輸出物件分類的哪一者。
在一個實例中，當一水滴覆蓋影像感測器之視野之部分時，可算術地偵測水滴之存在及位置。水滴之存在及位置可接著由物件分類控制器70在一函數中使用，或如與一臨限值比較來判定待輸出物件分類的哪一者。
特定環境條件可導致雷達影像實質上降級。例如，特定輻射源可破壞一雷達影像。在一個實例中，一電磁干擾位準使用一可選電磁干擾感測器(未展示)判定且由物件分類控制器70在一函數中使用，或如與一臨限值比較來判定待輸出物件分類的哪一者。在另一實例中，大雨或冰雹可使用一雨量、水分、濕度或冰雹感測器進行偵測。鑑於大雨或冰雹可使一雷達影像降級，大雨或冰雹之一判定可由物件分類控制器70在一函數中使用，或如與一臨限值比較來判定待輸出物件分類的哪一者。
在一個實例中，基於影像之物件分類器110概率值及基於雷達之物件分類器120概率值的一者或兩者由物件分類控制器70在一函數 中使用，或如與一臨限值比較，以判定輸出物件分類的哪一者。在本描述中，一概率值係藉由各自分類器針對偵測到之物件產生之一概率值。在一個實例中，一分類器可自一輸入影像判定具有對應概率值的一組可能物件分類。在此實例中，對於各物件，分類器可經組態以輸出具有最高概率值連同對應概率值之物件分類。
在一個實例中，藉由基於影像之物件分類器110及基於雷達之物件分類器120提供物件分類，且藉由物件分類控制器70選擇具有最大概率值之物件分類。在一個實例中，除非基於影像之物件分類115概率值下降至低於一特定臨限值，否則始終輸出基於影像之物件分類115，此時，僅在基於雷達之物件分類125概率值高於一特定臨限值的情況下，輸出基於雷達之物件分類125。
在一些實例中，基於影像之物件分類器110概率值及基於雷達之物件分類器120概率值之臨限值為66.7%，此對應於與平均值之一個標準差。在一些實例中，基於影像之物件分類器110概率值及基於雷達之物件分類器120概率值之臨限值為95%，此對應於與平均值之兩個標準差。在一些其他實例中，基於影像之物件分類器110概率值及基於雷達之物件分類器120概率值之臨限值為99.7%，此對應於與平均值之三個標準差。位於一或多個標準差外(即，低於上述臨限值)的概率值可用於判定偵測到之物件係一異常，且未由系統用於物件偵測及/或用於訓練。在一些其他實例中，基於影像之物件分類器110概率值及基於雷達之物件分類器120概率值之臨限值可為用於提供良好物件分類之任何合適臨限值。在一些進一步實例中，基於影像之物件分類器110概率值及基於雷達之物件分類器120概率值之臨限值可取決於物件分類輸出介面75而動態變化。
在步驟S130中，物件分類控制器70接著將所選擇之物件分類傳遞至物件分類輸出介面75以供一第二系統(未展示)使用。第二系統可為一主控系統，其中裝置100係一子組件。替代地，第二系統可為一遠端系統，裝置100經由一網路連接至該遠端系統。
在步驟S140中，訓練模組60接收基於影像之物件分類115及基於雷達之物件分類125。接著，訓練模組60判定是否應執行一訓練動作。選擇何時應執行一訓練動作之原則一般係判定基於影像之物件分類115足夠可靠，以用作訓練基於雷達之物件分類器120之「實況」資料。若情況並非如此，則基於雷達之物件分類器120之任何訓練可損害基於雷達之物件分類器120的效能。例如，在使用不正確的基於影像之物件分類反覆訓練基於雷達之物件分類器120的情況下(可能由視覺偽影引起)，基於雷達之物件分類器120最終將無法可靠地區分真實物件與不存在物件。
在一個實例中，由訓練模組60使用基於影像之物件分類器110概率值及基於雷達之物件分類器120概率值的一者或兩者來判定是否執行一訓練動作，以使用基於影像之物件分類115結合雷達資料25訓練基於雷達之物件分類器120。
在一個實例中，當基於影像之物件分類115概率值高於一特定臨限值時，始終執行訓練動作。在另一實例中，當基於影像之物件分類115概率值高於一特定臨限值且基於雷達之物件分類125概率值低於一特定臨限值時，始終執行訓練動作。在一些實例中，當基於影像之物件分類115及基於雷達之物件分類125實質上匹配時，不執行訓練。在至少兩個分類之物件類型係相同的情況下，基於影像之物件分類115及基於雷達之物件分類125可實質上匹配。在一些實例中，在基於雷達之物件分類器 120無法分類雷達資料25中之任何物件的情況下，始終執行訓練。在其他實例中，在基於雷達之物件分類器120無法分類雷達資料25中之任何物件且基於影像之物件分類115概率值高於一特定臨限值的情況下執行訓練。
在一些實例中，依賴於基於影像之物件分類115或基於雷達之物件分類125之以下變數之至少一者來作出是否執行訓練動作之判定：一物件類型、一物件大小、一物件移動向量、一物件雷達解析度、一物件距離、一(若干)物件空間座標、由定界區所含之個別RGB通道之直方圖、來自與一物件相關聯之所有個別偵測之徑向速度之直方圖。
在一些實例中，依賴於物件之大小判定是否執行訓練動作之判定。在物件過小或過大而無法藉由基於影像之物件分類器110或基於雷達之物件分類器120可靠地解析的情況下(例如，在物件係一小動物的情況下)，不執行訓練。
在一些實例中，依賴於物件之類型判定是否執行訓練動作之判定。在物件具有一光學或雷達剖面，使得剖面無法分別藉由基於影像之物件分類器110或基於雷達之物件分類器120可靠地解析的情況下(例如，在判定物件為一煙柱的情況下)，不執行訓練。
類似於上文，在一些實例中，依賴於物件之可用雷達解析度判定是否執行訓練動作之判定。在物件太遠或太小而無法由基於雷達之物件分類器120可靠地解析的情況下，不執行訓練。
在一些實例中，基於物件之移動判定是否執行訓練動作之判定。在物件過快移動而無法藉由基於影像之物件分類器110或基於雷達之物件分類器120可靠地解析的情況下(例如，在物件係一飛鳥的情況下)，不執行訓練。
在一些實例中，基於物件之位置判定是否執行訓練動作之判定。在物件定位於裝置100之一受關注區域之外的一位置處的情況下(例如，可由系統忽略不在地面上的所有物件)，不執行訓練。
在一些實例中，依賴於影像資料15之以下變數之至少一個來作出是否執行訓練動作之判定：一影像品質指標或一影像信雜比。在處理單元40判定一影像品質指標或一影像信雜比指示一低品質影像的情況下，不執行訓練以避免使用低品質資料訓練基於雷達之物件分類器120，即，除非可提供來自基於影像之分類器110之一可靠分類，即，「實況」係值得信賴的，否則不訓練基於雷達之物件分類器120。
在步驟S150中，在作出判定應執行一訓練動作之後，結合雷達資料25使用基於影像之物件分類115來訓練基於雷達之物件分類器120以更佳地辨識在基於影像之物件分類115中識別之類型之物件。計算一損失函數以判定由基於雷達之物件分類器120之神經網路判定的基於雷達之物件分類125與基於影像之物件分類115之間的差。由權重調整器61使用此損失函數來對基於雷達之物件分類器120之神經網路產生適當權重調整。此等權重調整應用於基於雷達之物件分類器120之神經網路，從而改良基於雷達之物件分類器120辨識在基於影像之物件分類115中識別之類型的物件之能力。如此，隨著時間推移，基於雷達之物件分類器120正確地分類與基於影像之物件分類器110相同之物件的能力逐步改良。此被稱為「逐步學習」。此容許持續改良基於雷達之物件分類器120在條件防止基於影像之物件分類器110正確地分類物件時正確地分類物件之能力。
在一些實例中，權重調整器61依賴於來自基於影像之物件分類115的概率值來產生對基於雷達之物件分類器120之神經網路的權重 調整。在基於影像之物件分類115的概率值高的情況下，基於雷達之物件分類器120之神經網路的權重調整可更大，以確保對神經網路之更顯著調整。在基於影像之物件分類115的概率值低的情況下，基於雷達之物件分類器120之神經網路的權重調整可為小的，以限制一較差分類對基於雷達之物件分類器120之神經網路的潛在不利效應。
圖6係一替代性實例中之一分類及訓練程序之一流程圖。在此實例中，訓練模組64及權重調整器62切換至基於影像之物件分類器110之側。
在此系統之實例中，訓練模組64接收基於影像之物件分類115及基於雷達之物件分類125。接著，訓練模組64判定是否應執行一訓練動作。在作出判定應執行一訓練動作之後，結合影像資料15使用基於雷達之物件分類125來訓練基於影像之物件分類器110以更佳地辨識在基於雷達之物件分類125中識別之類型之物件。計算一損失函數以判定由基於影像之物件分類器110判定的基於影像之物件分類115與基於雷達之物件分類125之間的差。由權重調整器62使用此損失函數來對基於影像之物件分類器110之神經網路產生適當權重調整。此等權重調整應用於基於影像之物件分類器110之神經網路，從而改良基於影像之物件分類器110辨識在基於雷達之物件分類125中識別之類型的物件之能力。如此，基於影像之物件分類器110正確地分類與基於雷達之物件分類器120相同之物件的能力改良。此容許基於影像之物件分類器110在條件防止基於雷達之物件分類器120正確地分類物件時正確地分類物件之改良能力。此可用於在由電磁干擾或其他環境條件損及雷達資料25時，改良基於影像之物件分類器110之極弱光效能。
圖7係一替代性實例中之一分類及訓練程序之一流程圖。圖7提供圖4及圖6的實例之一般化實例，其中可訓練一第一物件分類器210及/或一第二物件分類器220。
描繪物件90之來自感測器1之資料215經產生並傳遞至第一物件分類器210，其中處理資料215。第一物件分類器210接著對資料215中描繪之物件90產生一感測器1物件分類。感測器1物件分類接著被傳遞至物件分類控制器270。隨後或並行地，描繪物件90之來自感測器2之資料225經產生並傳遞至第二物件分類器220，其中處理資料225。第二物件分類器220接著對資料225中描繪之物件90產生一感測器2物件分類。感測器1物件分類接著被傳遞至物件分類控制器270。物件分類控制器270在感測器1物件分類與感測器2物件分類之間選擇，並將所選物件分類傳遞至物件分類輸出介面275以供一第二系統使用。訓練模組260接收感測器1物件分類及感測器2物件分類，並判定是否應執行一或多個訓練動作。可根據上文之實例中描述之任一原理執行作出是否應執行一訓練動作之判定。在作出判定將執行第一物件分類器210之一訓練的情況下，計算一損失函數以判定由第一物件分類器210判定之感測器1物件分類與感測器2物件分類之間的差。由權重調整器262使用此損失函數來對物件分類器210之神經網路產生適當權重調整。此等權重調整應用於物件分類器210之神經網路，從而改良物件分類器210辨識在感測器2物件分類中識別之類型的物件之能力。視情況而言，訓練模組260可經組態以判定將執行物件分類器220之一訓練。在此情況中，計算一損失函數以判定由物件分類器220判定之感測器2物件分類與感測器1物件分類之間的差。由可選權重調整器261使用此損失函數來對物件分類器220之神經網路產生適當權重調整。 此等權重調整應用於物件分類器220之神經網路，從而改良物件分類器220辨識在感測器1物件分類中識別之類型的物件之能力。
感測器1可包括以下感測器類型之一或多者：雷達感測器、光偵測及測距(LIDAR)感測器、飛行時間攝影機、聲納、超音波、可見光影像、一熱輻射影像、一近紅外(NIR)光影像、一紫外光影像。類似地，感測器2可包括以下感測器類型之一或多者：雷達感測器、光偵測及測距(LIDAR)感測器、飛行時間攝影機、聲納、超音波、可見光影像、一熱輻射影像、一近紅外(NIR)光影像、一紫外光影像。
在一個實例中，感測器1及感測器2含於一共同外殼中。在此實例中，感測器1及感測器2可包括同一積體電路。此確保感測器1及感測器2之一FOV實質上匹配，具有一實質上共同的FOV原點(即，感測器位置)。在一個實例中，感測器1及感測器2之FOV重疊，確保由兩個感測器同時觀察到實體空間的一部分。圖2a及圖2b提供提供一重疊視野之2個感測器之一實例，其中可藉由各感測器解析物件91及物件92兩者。
在一個實例中，感測器1及感測器2不含於一共同外殼中，但仍提供一重疊可觀察區域，其中可觀察區域經界定為由各感測器觀察到的實體空間。此可藉由將感測器1及感測器2兩者引導朝向同一實體空間來實施，即使在該等感測器實體分離的情況下亦如此。
10:影像感測器
15:影像資料
20:雷達感測器
25:雷達資料
40:處理單元
70:物件分類控制器
75:物件分類輸出介面
90:物件
95:物件分類
100:物件分類裝置
110:基於影像之物件分類器
115:基於影像之物件分類
120:基於雷達之物件分類器
125:基於雷達之物件分類

Claims (19)

  1. 一種產生用於定位(localized)於物件之一第一影像及一第二影像中一物件之一物件分類之方法，分別使用一光成像感測器及一雷達感測器擷取(capture)該等物件之該第一影像及該第二影像，該方法包括：產生定位於該等物件之該第一影像中之該物件之影像資料，使用該光成像感測器擷取該等物件之該第一影像；對該影像資料操作一基於影像之物件分類器(image-based object classifier)，以產生定位於該等物件之該第一影像中之該物件之一基於影像之物件分類；產生對應於自定位於該等物件之該第二影像中之該物件反射之一回波(echo)之雷達資料，使用該雷達感測器擷取該等物件之該第二影像；對該雷達資料操作一基於雷達之物件分類器(radar-based object classifier)，以產生定位於該等物件之該第二影像中之該物件之一基於雷達之物件分類；在該基於影像之物件分類與該基於雷達之物件分類之間選擇以作為該物件之該物件分類輸出；判定該基於雷達之物件分類是否滿足一訓練條件；及若該基於雷達之物件分類滿足該訓練條件，則使用該基於影像之物件分類訓練該基於雷達之物件分類器，其中該物件係一人類、一動物或一車輛中之一者。
  2. 如請求項1之方法，其中該選擇步驟包括當滿足一雷達條件時選擇該基於雷達之物件分類。
  3. 如請求項2之方法，其中當該基於影像之物件分類之一概率值低於一臨限值時滿足該雷達條件。
  4. 如請求項3之方法，其中僅當該基於雷達之物件分類之一概率值高於一臨限值時滿足該雷達條件。
  5. 如請求項2之方法，其中當該光成像感測器至少部分被阻擋時滿足該雷達條件。
  6. 如請求項2之方法，其中當使用該光成像感測器判定一弱光條件時滿足該雷達條件。
  7. 如請求項2之方法，其中當使用該光成像感測器判定一低對比度條件時滿足該雷達條件。
  8. 如請求項2之方法，其中當該光成像感測器經判定為具有擁有一低信雜比之一輸出時滿足該雷達條件。
  9. 如請求項1之方法，其中該選擇步驟包含依賴於以下項之一或多者在該基於影像之物件分類與該基於雷達之物件分類之間選擇： 一天中之時間，一亮度級，一可見性距離，一濕度位準，及一天氣條件。
  10. 如請求項9之方法，其中該一天中之時間、一亮度級、一可見性距離、一濕度位準及/或天氣條件係藉由一獨立感測器判定。
  11. 如請求項1之方法，其中該基於雷達之物件分類包括一雷達物件概率值。
  12. 如請求項11之方法，其中當該雷達物件概率值低於一第一臨限值時滿足該訓練條件。
  13. 如請求項12之方法，其中僅當該基於影像之物件分類之一概率值高於一第二臨限值時滿足該訓練條件。
  14. 如請求項1之方法，其中當該基於影像之物件分類與該基於雷達之物件分類實質上不匹配時滿足該訓練條件。
  15. 如請求項1之方法，其中該基於影像之物件分類器係一基於神經網路之分類器；及 該基於雷達之物件分類器係一基於神經網路之分類器。
  16. 如請求項15之方法，其中在該基於影像之物件分類與該基於雷達之物件分類之間選擇以作為該物件之該物件分類輸出係自動地執行。
  17. 一種用於產生複數個物件之一物件之一物件分類之裝置，其包括：一光成像感測器；一雷達感測器；及一處理器，該處理器經組態以：接收對應於藉由該等物件之一第一影像中之一定界框(bounding box)定位之該物件之影像資料，該光成像感測器擷取該等物件之該第一影像；對該影像資料操作一基於影像之物件分類器，以產生一基於影像之物件分類；接收對應於自該等物件之一第二影像中之該物件反射之一回波之雷達資料，該雷達感測器擷取該等物件之該第二影像；對該雷達資料操作一基於雷達之物件分類器，以產生一基於雷達之物件分類；在該基於影像之物件分類與該基於雷達之物件分類之間選擇以作為該物件之該物件分類輸出；判定該基於雷達之物件分類是否滿足一訓練條件；及當該基於雷達之物件分類滿足該訓練條件時，使用該基於影像之物件分類訓練該基於雷達之物件分類器， 其中該物件係一人類、一動物或一車輛中之至少一者。
  18. 如請求項17之裝置，其中該基於影像之物件分類器係一基於神經網路之分類器；及該基於雷達之物件分類器係一基於神經網路之分類器。
  19. 如請求項18之裝置，其中該處理器經組態以自動地在該基於影像之物件分類與該基於雷達之物件分類之間選擇以作為該物件之該物件分類輸出。
TW109129725A 2019-10-03 2020-08-31 用於產生物件之物件分類的方法和裝置 TWI826723B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19201236.7 2019-10-03
EP19201236.7A EP3800581A1 (en) 2019-10-03 2019-10-03 A method and apparatus for generating an object classification for an object

Publications (2)

Publication Number Publication Date
TW202117598A TW202117598A (zh) 2021-05-01
TWI826723B true TWI826723B (zh) 2023-12-21

Family

ID=68137878

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109129725A TWI826723B (zh) 2019-10-03 2020-08-31 用於產生物件之物件分類的方法和裝置

Country Status (6)

Country Link
US (1) US11455503B2 (zh)
EP (1) EP3800581A1 (zh)
JP (1) JP2021077350A (zh)
KR (1) KR102617223B1 (zh)
CN (1) CN112613336B (zh)
TW (1) TWI826723B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3800581A1 (en) * 2019-10-03 2021-04-07 Axis AB A method and apparatus for generating an object classification for an object
US11270170B2 (en) * 2020-03-18 2022-03-08 GM Global Technology Operations LLC Object detection using low level camera radar fusion
TWI790738B (zh) 2020-11-20 2023-01-21 財團法人工業技術研究院 用於防止動暈之圖像顯示系統及圖像顯示方法
KR102640795B1 (ko) * 2021-08-10 2024-02-27 한화오션 주식회사 레이더 기반 선박의 이/접안 지원 시스템 및 방법, 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408482A (zh) * 2014-12-08 2015-03-11 电子科技大学 一种高分辨率sar图像目标检测方法
US20180172824A1 (en) * 2015-06-16 2018-06-21 Urthecast Corp Systems and methods for enhancing synthetic aperture radar imagery
CN109033951A (zh) * 2017-06-12 2018-12-18 法拉第未来公司 用于基于图形处理来检测遮挡对象的系统及方法
CN109871829A (zh) * 2019-03-15 2019-06-11 北京行易道科技有限公司 一种基于深度学习的检测模型训练方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4426436B2 (ja) * 2004-12-27 2010-03-03 株式会社日立製作所 車両検知装置
US9984314B2 (en) * 2016-05-06 2018-05-29 Microsoft Technology Licensing, Llc Dynamic classifier selection based on class skew
US10289925B2 (en) * 2016-11-29 2019-05-14 Sap Se Object classification in image data using machine learning models
EP3340103A1 (en) 2016-12-21 2018-06-27 Axis AB Method for identifying events in a motion video
DE102017207442A1 (de) 2017-05-03 2018-11-08 Scania Cv Ab Verfahren und Vorrichtung zum Klassifizieren von Objekten im Umfeld eines Kraftfahrzeuges
EP3422255B1 (en) 2017-06-30 2023-03-15 Axis AB Method and system for training a neural network to classify objects or events
US10963709B2 (en) * 2019-01-02 2021-03-30 Zoox, Inc. Hierarchical machine-learning network architecture
EP3800581A1 (en) * 2019-10-03 2021-04-07 Axis AB A method and apparatus for generating an object classification for an object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408482A (zh) * 2014-12-08 2015-03-11 电子科技大学 一种高分辨率sar图像目标检测方法
US20180172824A1 (en) * 2015-06-16 2018-06-21 Urthecast Corp Systems and methods for enhancing synthetic aperture radar imagery
CN109033951A (zh) * 2017-06-12 2018-12-18 法拉第未来公司 用于基于图形处理来检测遮挡对象的系统及方法
CN109871829A (zh) * 2019-03-15 2019-06-11 北京行易道科技有限公司 一种基于深度学习的检测模型训练方法和装置

Also Published As

Publication number Publication date
EP3800581A1 (en) 2021-04-07
JP2021077350A (ja) 2021-05-20
CN112613336B (zh) 2023-10-03
TW202117598A (zh) 2021-05-01
KR102617223B1 (ko) 2023-12-26
US20210103781A1 (en) 2021-04-08
KR20210040258A (ko) 2021-04-13
CN112613336A (zh) 2021-04-06
US11455503B2 (en) 2022-09-27

Similar Documents

Publication Publication Date Title
TWI826723B (zh) 用於產生物件之物件分類的方法和裝置
John et al. Traffic light recognition in varying illumination using deep learning and saliency map
US9104918B2 (en) Method and system for detecting sea-surface oil
Lookingbill et al. Reverse optical flow for self-supervised adaptive autonomous robot navigation
Chauvin et al. Cloud detection methodology based on a sky-imaging system
CN111753609A (zh) 一种目标识别的方法、装置及摄像机
Haghbayan et al. An efficient multi-sensor fusion approach for object detection in maritime environments
US20060177099A1 (en) System and method for on-road detection of a vehicle using knowledge fusion
US11568654B2 (en) Object recognition method and object recognition device performing the same
CN106919895B (zh) 用于运动目标的跟踪方法和系统
JP2018516799A (ja) 路面反射を認識し評価するための方法及び装置
JP6557923B2 (ja) 車載レーダ装置及び領域検出方法
Amin et al. Quality of obstacle distance measurement using ultrasonic sensor and precision of two computer vision-based obstacle detection approaches
US20220035003A1 (en) Method and apparatus for high-confidence people classification, change detection, and nuisance alarm rejection based on shape classifier using 3d point cloud data
JP2021077350A5 (zh)
Singh et al. Vision-based UAV Detection in Complex Backgrounds and Rainy Conditions
TW202029134A (zh) 行車偵測方法、車輛及行車處理裝置
CN115034324A (zh) 一种多传感器融合感知效能增强方法
CN115424233A (zh) 基于信息融合的目标检测方法以及目标检测装置
EP3400405B1 (en) Automatic lighting and security device
KR102505691B1 (ko) 이상 개체 검출 장치 및 방법, 이를 포함하는 촬상 장치
Arthi et al. Object detection of autonomous vehicles under adverse weather conditions
Brehar et al. Pedestrian detection in the context of multiple-sensor data alignment for far-infrared and stereo vision sensors
Mosberger et al. Estimating the 3d position of humans wearing a reflective vest using a single camera system
Hung et al. Vision-based shadow-aided tree crown detection and classification algorithm using imagery from an unmanned airborne vehicle