TWI685798B - 目標檢測系統、自動駕駛車輛以及其目標檢測方法 - Google Patents

目標檢測系統、自動駕駛車輛以及其目標檢測方法 Download PDF

Info

Publication number
TWI685798B
TWI685798B TW107127429A TW107127429A TWI685798B TW I685798 B TWI685798 B TW I685798B TW 107127429 A TW107127429 A TW 107127429A TW 107127429 A TW107127429 A TW 107127429A TW I685798 B TWI685798 B TW I685798B
Authority
TW
Taiwan
Prior art keywords
sensor
target
preliminary
type
detection
Prior art date
Application number
TW107127429A
Other languages
English (en)
Other versions
TW202004560A (zh
Inventor
泗得 蔣
梁珮蓉
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to CN201811099764.5A priority Critical patent/CN110501709B/zh
Publication of TW202004560A publication Critical patent/TW202004560A/zh
Application granted granted Critical
Publication of TWI685798B publication Critical patent/TWI685798B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/414—Discriminating targets with respect to background clutter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本揭露涉及一種目標檢測系統，包含：第一類型感測器，用於產生第一感測器資料；第二類型感測器，用於產生第二感測器資料；以及處理器，耦合到第一類型感測器以及第二類型感測器，且至少配置成用於：通過使用第一多個目標檢測演算法來處理第一感測器資料以及通過使用第二多個目標檢測演算法來處理第二感測器資料，其中多個第一目標檢測演算法中的每一個以及第二多個目標檢測演算法中的每一個包含根據多個參數檢測演算法計算的環境參數；以及為每一所檢測到的目標確定由處理第一感測器資料以及處理第二感測器資料產生的定界框。

Description

目標檢測系統、自動駕駛車輛以及其目標檢測方法
本揭露涉及一種由自動駕駛車輛使用的目標檢測系統、一種使用所述目標檢測系統的自動駕駛車輛以及其目標檢測方法。
由於包含基於深度學習的目標檢測演算法的推動以及利用移動強大的計算系統(mobile powerful computing system)來實施先進技術的因素，使得多年來自動駕駛車輛的發展飆升。此外，利用更複雜且精確架構的成像感測器的發展已使得感測技術，例如光達（LiDAR）傳感器（transducer）以及雷達（RaDAR）傳感器的基於主動式的技術，超越如攝影機中所使用的基於被動式的技術。與來自攝影機感測器的例如亮度和色度資訊的僅二維（two-dimensional；2D）的資訊相比，這些主動式感測器還可通過導入深度資訊來提供三維（three-dimensional；3D）訊息。另外，各種實施方案已研發多感測技術以從不同類型感測裝置的資料融合中獲得綜合資訊，以便增加目標檢測系統的精確度。
然而，不同類型感測裝置的最近發展以及使用多感測裝置的目標檢測的現有技術現況的執行具有一些缺點。舉例來說，來自用於自動駕駛車輛的每種類型的感測裝置的資料品質受外部約束條件和內部約束條件影響。對應類型的感測裝置的任何不利約束條件將降低資料品質。研發技術以使來自多感測裝置的資料融合的技術現況大多數僅主要地考慮內部約束條件（目標相對位置、目標相對距離、分類器可靠度等等）。研發融合技術功用於多感測裝置的技術現況中的一些已融合輸入級上的資訊並且利用單一分類器以執行目標檢測。通過這樣做，較高的漏檢率（miss rate）的可能性可能增加。
在自動駕駛車輛中，將安置在車輛內的感測裝置視為對於獲得周圍目標和條件的精確資訊為必需的。理想地，通過實施從不同感測模態（即不同類型感測器）中擷取的感測器輸入的綜合種類和數量，可取得更可靠的資訊而每一感測裝置還可驗證從其它感測裝置中擷取的資訊。
用於自動駕駛車輛研發的常用感測裝置可包含成像感測器、光檢測與測距（light detection and ranging；LiDAR，又稱「光達」）傳感器以及無線電檢測與測距（radio detection and ranging；RaDAR，又稱「雷達」）傳感器。這些感測裝置中的每一個擁有可保持有利地增強感測性能或不利地惡化感測性能的特性和行為的感測模態。感測性能是增強還是惡化，將取決於歸因於每一感測裝置的獨特操作原理的特定情形和環境。
例如彩色（RGB）攝影機的成像感測器的操作原理是通過從外部環境接收包含從周圍目標反射的光的光資訊來被動地進行成像。相反地，光達和雷達是主動傳感器，其至少依賴於發射器和接收器以獲得來自周圍目標和環境的資訊。光達與雷達之間的差異是所使用的光譜（即紅外波相較於毫米波），所述光譜隨後確定對應感測模態的特性。具體來說，光達將使用調變紅外（infrared；IR）波來以全方位（即360度）視場測量發射器與接收器之間的飛行時間（time of flight）；然而雷達將使用射頻波來以特定角度（例如小於360度）的視場測量發射器與接收器之間的飛行時間。
表1展示通常實施於自動駕駛車輛中的各種感測裝置中的特性的比較。表1中所示的值僅出於示範性目的示出，同時特定值可基於設計考量而變化。
約束條件 彩色攝影機 光達 雷達
感測器類型 被動式 主動式 主動式
勒克斯(lux)干擾 高度敏感 不敏感 不敏感
日曬干擾 高度敏感 輕微敏感 不敏感
天氣干擾 輕度敏感 高度敏感 輕微敏感
感測範圍 50公尺 100公尺 150公尺
視場 60o 360o 30o
資料解析度 密集 稀疏 高度稀疏
表1
根據表1以及先前詳細闡述，因為較差或過度光強度可能損害所擷取影像的感知品質，所以成像感測器將有可能易受光干擾。與成像感測器的通用特性相反，光達傳感器和雷達傳感器更不易受光強度的干擾的影響，這是因為光達和雷達的感測介質不在與可見光譜相同的頻率範圍內。因此，從勒克斯（lux）干擾的角度，在具有一定量的光強度的環境中通過使用成像感測器來執行目標檢測，相比於基於光達的目標檢測系統或基於雷達的目標檢測系統，將有可能是較不利的。
此外，各種感測裝置中的比較還展示在自動駕駛車輛內操作這些感測裝置時受到日曬干擾的潛在可能。對攝影機鏡頭的直接日曬可能引入訊號削波（signal clipping），所述訊號削波使曝光眩光範圍內的色彩資訊衰減，從而引起無意地移除所擷取影像的顯著資訊。類似地，光達也對直接日曬輕微敏感，這是因為來自日的輻射能量含有可能在光達接收器的光譜的範圍內的紅外（IR）波。然而，因為來自光達發射器的IR波經調變，所以干擾將幾乎不會如攝影機中的一樣高。另一方面，因為用於感測的裝置含有毫米波長度範圍內的射頻，所以雷達傳感器幾乎不受日曬影響。
自動駕駛車輛的戶外環境產生可明顯使每一感測裝置的性能降低的自變量。為實施精確目標檢測機制，不利天氣條件可能是需要考慮的不可避免的約束條件。攝影機、光達以及雷達當中的相似性為可基於非接觸式感測技術的架構，所述非接觸式感測技術需要一介質，其用於待向外發送的資訊以及待從待由這些不同類型感測裝置中的每一個檢測的目標收回的資訊。在不利天氣條件（例如雨、霧或霾）期間，介質可含有不合需要的材料，例如雨中的水滴、霧中的水膠體以及霾中的污染物膠體，這些可能降低可見度且因此使在待檢測的目標與其對應感測裝置之間傳播的資訊的強度衰減。
圖1A示出用於自動駕駛車輛的常用感測裝置的特性。圖1B示出圖1A的感測裝置中的每一個的視場（field of view；FOV）和範圍。自動駕駛車輛可使用彩色攝影機101、光達 102以及雷達 103以用於感測鄰近目標。除了受外部約束條件影響以外，這些感測裝置（例如101、102、103）的內部規格也可影響其對目標檢測的性能。如表1中可見，可影響感測特性的內部約束條件可劃分成至少三個類別，包含（但不限於）：（a）感測範圍、（b）FOV以及（c）資料解析度。這些約束條件中的每一個可操作為彩色攝影機101、光達 102以及雷達 103的性能中的平衡點（trade-off）。
舉例來說，從如圖1B中所示感測範圍的角度，雷達 103可為已知目標檢測演算法中的大部分提供高達150公尺的最廣感測範圍。然而，從FOV的角度，光達 102可提供涵蓋360 o或全視野的最寬視場。然而，雷達 103和光達 102都將有可能無法提供與彩色攝影機101一樣高的資料解析度。
基於上文所描述的詳細闡述，內部約束條件和外部約束條件都可能潛在地干擾資料品質，且因此將影響資料感測器中的每一個的目標檢測的性能。然而，因為並不同時對所有感測器施加不利條件，所以有可能通過利用實施多感測模態和多目標檢測的全面架構來解決所述缺點。
因此，本揭露涉及一種由自動駕駛車輛使用的目標檢測系統、一種使用所述目標檢測系統的自動駕駛車輛以及其目標檢測方法。
在示範性實施例中的一個中，本揭露涉及一種目標檢測系統，所述目標檢測系統應包含（不限於）：第一類型感測器，用於產生第一感測器資料；第二類型感測器，用於產生第二感測器資料；以及處理器，耦合到第一類型感測器以及第二類型感測器，且至少配置成用於：通過使用第一多個目標檢測演算法來處理第一感測器資料，以產生對應於所述第一類型感測器的第一初步檢測結果；通過使用第二多個目標檢測演算法來處理第二感測器資料，以產生對應於所述第二類型感測器的第二初步檢測結果；應用參數檢測演算法以產生多個信賴度值，所述參數檢測演算法包括用於所述第一初步檢測結果以及所述第二初步檢測結果中的每一個的多個環境參數，其中每一所述信賴度值對應於所述多個環境參數中的不同環境參數；以及基於所述第一類型感測器的特性、所述第二類型感測器的特性、所述第一初步檢測結果與所述第二初步檢測結果之間的關係以及所述多個信賴度值來確定所檢測到的目標。
在示範性實施例中的一個中，本揭露涉及一種自動駕駛車輛，所述自動駕駛車輛包含（不限於）目標檢測系統，其包含：第一類型感測器，用於產生第一感測器資料；第二類型感測器，用於產生第二感測器資料；以及處理器，耦合到第一類型感測器以及第二類型感測器，且至少配置成用於：通過使用第一多個目標檢測演算法來處理第一感測器資料，以產生對應於所述第一類型感測器的第一初步檢測結果；通過使用第二多個目標檢測演算法來處理第二感測器資料，以產生對應於所述第二類型感測器的第二初步檢測結果；應用參數檢測演算法以產生多個信賴度值，所述參數檢測演算法包括用於所述第一初步檢測結果以及所述第二初步檢測結果中的每一個的多個環境參數，其中每一所述信賴度值對應於所述多個環境參數中的不同環境參數；以及基於所述第一類型感測器的特性、所述第二類型感測器的特性、所述第一初步檢測結果與所述第二初步檢測結果之間的關係以及所述多個信賴度值來確定所檢測到的目標。
在示範性實施例中的一個中，本揭露涉及一種由自動駕駛車輛使用的目標檢測方法，所述方法應包含（不限於）：通過使用第一類型感測器來產生第一感測器資料；通過使用第二類型感測器來產生第二感測器資料；通過使用第一多個目標檢測演算法來處理第一感測器資料，以產生對應於所述第一類型感測器的第一初步檢測結果；通過使用第二多個目標檢測演算法來處理第二感測器資料，以產生對應於所述第二類型感測器的第二初步檢測結果；應用參數檢測演算法以產生多個信賴度值，所述參數檢測演算法包括用於所述第一初步檢測結果以及所述第二初步檢測結果中的每一個的多個環境參數，其中每一所述信賴度值對應於所述多個環境參數中的不同環境參數；以及基於所述第一類型感測器的特性、所述第二類型感測器的特性、所述第一初步檢測結果與所述第二初步檢測結果之間的關係以及所述多個信賴度值來確定所檢測到的目標。
為讓本揭露的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
現在將詳細參考本揭露的當前示範性實施例，附圖中示出了所述示範性實施例的實例。只要有可能，相同的參考標號在圖式和描述中用以指代相同或相似部分。
本揭露提供自動駕駛車輛的架構以檢測鄰近目標，並且待從目標檢測系統、使用所述目標檢測系統的自動駕駛車輛以及目標檢測方法的角度來說明所述架構。系統可安置在自動駕駛車輛內，所述自動駕駛車輛將自動地操作而無需人為干預，且因此目標檢測精確度將至關重要。系統應包含（但不限於）具有重疊FOV的多個不同感測裝置集合，例如：成像裝置集合，具有用於從周圍擷取二維（two dimensional；2D）彩色資料的一個或多個影像感測器；光達傳感器集合，具有用於從周圍擷取三維（three dimensional；3D）點雲體積（point clouds volume）的一個或多個光達傳感器；雷達傳感器集合，具有用於從周圍擷取3D回聲點體積（echo points volume）的一個或多個雷達傳感器；以及處理單元，至少配置成為每種類型的感測器執行目標檢測演算法集合以及分析來自所有演算法的檢測結果以基於感測器相對於各種約束條件的特性和行為來確定最終檢測結果。這類約束條件可包含光強度、天氣條件、曝光程度、目標位置、目標距離以及檢測演算法的可靠度。從感測器所擷取的可用資訊將整合在每一較早檢測結果上，其隨後由處理裝置進一步自動分析以獲得最終檢測結果，所述最終檢測結果可以是用於進一步分析的綜合資料的一部分。通過提供的架構，可遏制誤報（false positive）從而增加整體目標檢測的精確度。圖2到圖5以其它細節闡明所提供的目標檢測架構。
圖2示出根據本揭露的示範性實施例中的一個的目標檢測系統的硬體方塊圖。目標檢測系統應包含（不限於）第一類型感測器201、第二類型感測器202以及處理器203。第一類型感測器201可以是成像感測器，例如將指定FOV內的可見光捕獲到2D影像中的彩色影像感測器。第二類型感測器202可以是成像感測器或測距感測器，例如從指定FOV內取樣反射訊號並相應地重構建3D體積的光達感測器或雷達感測器。處理器203將至少配置成通過使用第一多個目標檢測演算法來處理第一感測器資料以及通過使用第二多個目標檢測演算法來處理第二感測器資料。第一多個目標檢測演算法中的每一個以及第二多個目標檢測演算法中的每一個應包含根據多個參數檢測演算法計算的環境參數。處理器203將隨後配置成用於為每一所檢測到的目標確定由處理第一感測器資料以及處理第二感測器資料產生的定界框（bounding box）。
假設第一類型感測器201是例如彩色攝影機的彩色影像感測器，第一多個目標檢測演算法可包含以下中的一個或組合：‘YOLO’演算法，如由 J. 雷德蒙（ J.Redmon ）等人, “你只看一次：統一即時的目標檢測（ You Only Look Once: Unified, Real-time Object Detection ）” CoRR, 卷 abs/1506.02640, 2016所教示；更快R-CNN（Faster R-CNN）演算法，如由 S. 任（ S. Ren ）等人, “更快 R-CNN ：利用區域方案網路實現即時目標檢測（ Faster R-CNN: Towards Real-time Object Detection with Region Proposal Networks ）” CoRR, 卷 abs/1506.01497, 2016所教示；以及單發檢測（Single Shot Detection；SSD）演算法，如由 W. 劉（ W. Liu ）等人, “ SSD ：單發多盒檢測器（ SSD: Single Shot Multibox Detector ）” CoRR, 卷 abs/1512/02325, 2015所教示。上文所述的目標檢測演算法中的每一個以引用的方式併入。
假設第二類型感測器202是例如光達感測器的成像感測器或測距感測器，第二多個目標檢測演算法可包含以下中的一個或組合：3D-FCN演算法，如由 B. Li （ B. 李）等人, “使用完全卷積網路從 3D 光達的車輛檢測（ Vehicle Detection from 3D 光達 Using Fully Convolutional Network ）” , CoRR, 卷 abs/1608.0791, 2016所教示；圖森（TuSimple）演算法，如由 J. 郭（ J. Guo ）等人, “利用所有層：快速且精確的 CNN 目標檢測器，具有尺度相關合併以及級聯拒絕分類器（ Exploit All the Layers: Fast and Accurate CNN Object Detector with Scale Dependent Pooling and Cascaded Rejection Classifiers ）” IEEE CVPR, 第 770 至 779 頁 , 2016所教示；以及L-SVM演算法，如由 C. 吉代（ C. Guidel ）, “使用 CNN 特徵的聯合目標檢測和視點估計（ Joint Object Detection and Viewpoint Estimation using CNN Features ）” IEEE VES, 第 145 至 150 頁 , 2017所教示。上文所述的目標檢測演算法中的每一個以引用的方式併入。
圖3示出根據本揭露的示範性實施例中的一個的使用目標檢測系統的自動駕駛車輛。自動駕駛車輛300應包含（不限於）如圖2所示的目標檢測系統200。
圖4示出是根據本揭露的示範性實施例中的一個使用目標檢測系統的目標檢測方法的步驟的流程圖。在步驟S401中，目標檢測系統將通過使用第一類型感測器產生第一感測器資料。在步驟S402中，目標檢測系統將通過使用第二類型感測器產生第二感測器資料。在步驟S403中，目標檢測系統將通過使用第一多個目標檢測演算法來處理第一感測器資料，並且還將通過使用第二多個目標檢測演算法來處理第二感測器資料。第一多個目標檢測演算法中的每一個以及第二多個目標檢測演算法中的每一個應包含根據多個參數檢測演算法計算的環境參數。在步驟S404中，目標檢測系統將為每一所檢測到的目標確定由處理第一感測器資料以及處理第二感測器資料產生的定界框。
圖5到圖12B用一些示範性實施例和實例闡明所提供的目標檢測架構。圖5示出根據本揭露的示範性實施例中的一個的目標檢測架構的詳細方塊圖。待描述的架構將包含檢測融合系統，其利用多種類型的感測裝置以通過針對重疊FOV（如圖2中所示）上的每種類型的感測裝置使用多個目標檢測演算法（即分類器）來執行目標檢測。多種類型的感測裝置可包含雷達傳感器陣列501、彩色攝影機陣列502、光達傳感器陣列503以及環境感測器陣列504。環境感測器陣列504可以是例如一個或多個雨感測器、可見光譜光感測器、壓力感測器等等的陣列。
更具體地說，從環境感測器陣列504收集的環境資料可包含所檢測到的天氣條件、局部強度測量以及曝光過度/曝光不足檢測，這些隨後由特徵對齊模組S512、特徵對齊模組S532使用處理以計算目標的相對距離、目標的相對角度位置、對應目標的分類器信賴度和/或可基於對應類型感測器影響目標檢測性能的任何其它參數。收集的環境資料隨後歸一化以通過數學建模符合每種類型的感測器的特性，所述數學建模估計歸一化值的均勻範圍（uniform range）中的結果。
如圖5中所示，雷達傳感器陣列501可以是一個或多個RF傳感器的集合，且每一傳感器可收集用於執行A目標檢測（A object detection(s)）S511的原始感測器資料（raw sensor data）集合。類似地，彩色攝影機陣列502可以是一個或多個影像感測器的集合，且每一影像感測器可收集用於執行B目標檢測（B object detection(s)）S521的原始感測器資料集合。此外，光達傳感器陣列503可以是一個或多個紅外傳感器的集合，且每一傳感器可收集用於執行C目標檢測（C object detection(s)）S531的原始感測器資料集合。環境感測器陣列504可以是一個或多個不同類型感測器，所述不同類型感測器收集用於執行環境分析S541的環境資料。來自感測裝置（即501、502、503、504）中的每一個的原始資料可以同時獲得，並且來自不同類型感測裝置的目標檢測也可以同時執行。
接下來，將應用感測裝置（即501、502、503、504）中的每一個的各種目標檢測演算法以獲得每一所檢測到的目標的可以由呈定界框（bounding box；BB）表徵的類別和位置。在特徵對齊（feature alignment） S512、特徵對齊S532期間，可以從環境感測器504中的每一個獲得基於環境的約束條件。隨後將通過使作為步驟S512、步驟S521、步驟S532以及步驟S541的結果的所有資料融合以及為所述結果中的每一個應用一個或多個目標檢測演算法來執行基於環境的約束條件建模（environmental-based constraints modeling）S551，以便識別一個或多個所檢測到的目標類別和位置作為初步檢測結果。換句話說，在步驟S551中，將來自雷達傳感器陣列501、彩色攝影機陣列502、光達傳感器陣列503中的每一個的目標檢測結果S512、S521以及S532與來自環境感測器陣列504中的每一個的一些基於環境的約束條件以及環境分析S541的所獲得值組合到一起作為初步檢測結果，所述初步檢測結果通過決策融合模組融合在一起，所述決策融合模組根據基於環境的約束條件分析初步檢測結果。根據環境條件，可根據初步檢測結果與對應感測器特性的關係基於各種約束條件由最可靠的檢測結果中選出初步檢測結果。
將利用產生初步目標檢測結果的指定目標檢測演算法集合指定每種類型的感測裝置（例如501、502、503、504）（例如雷達傳感器陣列501及光達傳感器503在3D坐標系中，同時彩色攝影機陣列502在2D坐標系中）。在可對初步檢測結果執行資料融合之前以及在能夠產生最終檢測結果之前，通過使用特徵對齊模組S512、特徵對齊模組S532來將來自雷達傳感器陣列501及光達傳感器陣列503的結果從3D坐標系轉換到2D坐標系。這些模組將用於校正2D坐標系中待同步的決策融合的輸入格式，其中為每一初步檢測結果嵌入深度資訊。然而，如果初步檢測投影到重疊的FOV外，那麼對應資料將直接處理作為3D坐標系中的最終檢測結果。
校正初步檢測結果中的每一個可以成BB形式，並且兩個BB可基於關係標準而成對地分析，所述關係標準可包含空間距離、深度以及類別值的基於目標的約束條件的比較。因此，確定成對校正初步檢測結果是否可彼此從屬或彼此獨立。在圖5的情況中，因為每一BB是從不同類型感測裝置產生的，所以可能有多達三個BB的群（cluster）。
可使用兩種不同技術以基於在每對校正初步檢測結果之間觀察到的重疊-雜亂標準（overlapping-cluttering criterion）分析校正初步檢測結果。因此，在步驟S552中，將確定BB是否是雜亂和重疊的。將基於使用歸一化約束條件參數（normalized constraints parameters）從初步檢測結果中確定最終檢測結果。基於任何校正初步檢測結果對是否小於如基於兩個BB之間的中心之間的距離L2計算的預定檢測距離閾值來確定是否存在雜亂。此外，基於成對BB之間的重疊區域是否超出預定區域閾值（例如，預定重疊閥值與預定距離閾值）來確定是否存在重疊。如果BB既雜亂又重疊，那麼檢測結果將利用鄧普斯特-謝弗模組（Dempster-Shafer module）S553；否則，檢測結果將利用參數過濾器（parameter filter）模組S555，其中，在未超出預定重疊閾值以及預定距離閾值中的一個時使用參數過濾器模組S555。對於任何從屬BB對，鄧普斯特-謝弗模組S553可用以基於對所有參數的總信賴度的分析來從對應對中保留更可靠的BB且移除另一BB。對於任何獨立BB，參數過濾器模組S555將用以基於對相對於其偽BB（pseudo BB）的所有參數的總信賴度的分析來確定是否保留或移除獨立BB。其中，補充說明的是，基於BB對之間的空間距離、BB的深度資訊以及類別值來將成對BB確定為獨立BB或從屬的BB對。
鄧普斯特-謝弗模組S553可簡單地描述為根據不同觀察變數的信賴度值（將在將要到來的部分中進一步詳細描述）競爭性地對照BB對的技術。鄧普斯特-謝弗模組S553是通過根據觀察變數保留具有最高可靠度的檢測結果來提高檢測精確度。如由鄧普斯特-謝弗模組S553確定的最終檢測結果將是由BB S554突出顯示的目標。類似地，參數過濾器模組S555是一種過濾技術，用於基於不同觀察變數的信賴度值有區別地測量相較於偽BB的任何獨立定界框的可靠度。偽BB是基於初始BB而產生，因此具有相同觀察的約束條件。然而，偽BB的約束條件用建模公式計算，如同用其它類型感測器測量一般。如圖6中所示，目標類別的BB對在雜亂距離和重疊面積較小時，將通過使用鄧普斯特-謝弗模組S553來分析具有相同或不同所檢測到的目標類別的BB對；然而，目標類別的BB對在雜亂距離和重疊面積較大時，將通過使用參數過濾器模組S555來分析具有相同或不同所檢測到的目標類別的BB對。
圖7通過擴展圖5的實施例來展示更詳細方塊圖。在圖7中，假設實施例使用具有一個或多個雷達感測器的雷達感測器陣列（例如501）、具有一個或多個彩色攝影機的彩色攝影機陣列（例如502）以及具有一個或多個光達感測器的光達感測器陣列（例如503）。雷達感測器陣列將執行步驟S701到步驟S707以產生具有在具有深度資訊的2D BB中呈現的一個或多個初步檢測到的目標中的每一個的一個或多個雷達初步檢測到的目標。彩色攝影機陣列將執行步驟S711到步驟S716以產生具有在具有深度資訊的2D BB中呈現的一個或多個初步檢測到的目標中的每一個的一個或多個攝影機初步檢測到的目標。光達感測器陣列將執行步驟S721到步驟S728，以基於初步檢測到的目標是否在與雷達感測器陣列和彩色攝影機陣列的FOV重疊的FOV內來產生具有在具有深度資訊的2D BB中呈現的或在3D BB中呈現的一個或多個初步檢測到的目標中的每一個的一個或多個光達初步檢測到的目標。處理器（例如203）將融合來自雷達感測器陣列、彩色攝影機陣列以及光達感測器陣列的初步檢測到的目標的所有資訊，並且通過併入基於環境的建模來處理資訊以匯出在BB中呈現的檢測到的目標的最終集合。或者，處理器（例如203）也可執行包含步驟S701到步驟S707、步驟S711到步驟S716、步驟S721到步驟S729以及步驟S731到步驟S738的所有步驟。如下描述圖7的細節。
在步驟S701中，雷達感測器陣列的回聲點擷取模組將獲得來自雷達感測器陣列的原始感測器資料。在步驟S702中，存在n R數目的目標檢測演算法，實施所述目標檢測演算法以產生呈3D坐標系的原始檢測結果，且所述n R數目是大於1的整數。在步驟S703中，隨後基於3D重疊檢測分析原始檢測結果，所述3D重疊檢測測量每對原始檢測結果的BB距離以便產生初步檢測結果。在步驟S705中，回聲點對齊模組將接收來自回聲點擷取模組S701的原始感測器資料且產生轉換矩陣。在步驟S704中，深度擷取模組將為校正初步檢測結果中的每一個計算深度資訊。在步驟S706中，初步檢測結果經校正以通過使用正向轉換模組來將其坐標系從3D轉換成2D，並且產生2D BB，所述正向轉換模組需要來自回聲點對齊模組S705的轉換矩陣。在步驟S707中，將產生在嵌入有對應深度資訊的2D BB中呈現的一個或多個雷達校正初步檢測到的目標。
對於彩色攝影機陣列，在步驟S711中，影像擷取模組將捕獲一個或多個靜態或連續影像。在步驟S712中，存在n c數目的目標檢測演算法，實施所述目標檢測演算法以產生呈2D坐標系格式的原始檢測結果。在步驟S713中，基於2D重疊檢測分析這些原始檢測結果，所述2D重疊檢測測量每對原始檢測結果的BB距離，從而產生初步檢測結果。在步驟S714中，反向轉換模組（inverse transformation module）將接收初步檢測結果以通過使用來自S722的來自點雲對齊模組（point clouds alignment module）的轉換矩陣來將其從2D轉換成3D坐標系格式。在步驟S715中，通過使用呈3D坐標系的轉換結果來計算初步檢測結果的每一BB的深度資訊。在擷取深度資訊之後，在步驟S716中，來自步驟S713的校正初步檢測結果將嵌入有來自步驟S715的對應深度資訊，以產生具有在具有深度資訊的2D BB中呈現的一個或多個校正初步檢測到的目標中的每一個的一個或多個攝影機初步檢測到的目標。
對於光達感測器陣列，在步驟S721中，將從深度擷取模組擷取感測器資料，如3D點雲。在步驟S722中，點雲對齊模組將接收3D點雲以輸出轉換矩陣。在步驟S723中，存在n L數目的目標檢測演算法，所述目標檢測演算法將接收捕獲的影像以產生呈3D坐標系格式的原始檢測結果。在步驟S724中，隨後基於3D重疊檢測分析這些原始檢測結果，所述3D重疊檢測測量每對原始檢測結果的BB距離從而產生初步檢測結果。在步驟S725中，這些初步檢測結果經校正以通過使用正向轉換模組來將其坐標系從3D轉換成2D，所述正向轉換模組需要來自S722的來自點雲對齊模組的轉換矩陣。在步驟S726中，通過使用深度擷取模組來為呈2D的校正初步檢測結果中的每一個計算深度資訊（以公尺為單位）。
在步驟S727中，將確定轉換的校正初步檢測結果是否在光達感測器陣列和彩色攝影機陣列的FOV重疊的FOV內。如果轉換的初步檢測結果在光達感測器陣列和彩色攝影機陣列的FOV重疊的FOV內，那麼在步驟S728中，轉換的校正初步檢測結果將嵌入有對應深度資訊以產生具有在具有深度資訊的2D BB中呈現的一個或多個校正初步檢測到的目標中的每一個的一個或多個光達校正初步檢測到的目標。如果轉換的校正初步檢測結果在光達感測器陣列和彩色攝影機陣列的FOV重疊的FOV外，那麼在步驟S729中，具有在3D BB中呈現的一個或多個初步檢測到的目標中的每一個的一個或多個光達初步檢測到的目標將產生並且將直接被視為使用初始3D坐標系的最終檢測結果。
在步驟S731中，將來自步驟S707、步驟S716以及步驟S728的所有輸出融合在一起以確定BB是否是雜亂和重疊的，以便基於歸一化參數確定最終檢測結果。假設存在基於先前描述標準的足夠的雜亂和重疊，那麼將執行步驟S732到步驟S734；否則將執行步驟S735到步驟S738。在步驟S732中，將來自步驟S707、步驟S716、步驟S728的輸出中的每一個發送到隨後進一步詳細描述的參數檢測模組中。在步驟S733中，鄧普斯特-謝弗模組將通過基於對所有參數的總信賴度的分析為每一對應對保留更可靠的BB以及通過移除另一BB來處理所有參數檢測模組的輸出。鄧普斯特-謝弗將輸出最終檢測結果，其作為由BB S554突出顯示的目標並且具有對應深度資訊。
在步驟S735中，將來自步驟S707、步驟S716以及步驟S728的輸出傳送到偽BB產生模組和參數檢測模組。偽BB產生模組輸出也將傳送到參數檢測模組。在步驟S736中，參數檢測模組中的每一個將處理接收的資料且將經處理資料傳送到參數過濾器模組（parameter filtering module）。將在隨後部分進一步詳細描述參數檢測模組。在步驟S737中，參數過濾器模組將基於相對於偽BB產生模組輸出的所有參數的總信賴度的分析來確定是否保留或移除獨立BB。參數過濾器模組S555將基於不同觀察變數的信賴度值有區別地測量比較偽BB與任何獨立BB的可靠度。在步驟S738中，參數提交模組將輸出最終檢測結果，其作為由BB S554突出顯示的目標並且具有對應深度資訊。
圖8示出根據本揭露的示範性實施例中的一個的參數檢測模組的整體圖。參數檢測模組可通過利用強度測量模組801、勒克斯檢測模組802、天氣檢測模組803、曝光不足檢測（underexposure detection；UE）模組804、曝光過度檢測（overexposure detection；OE）模組805以及角度位置測量模組806來指定六個基於環境的約束條件，並且還可指定一個額外約束條件。
強度測量模組801將通過計算每一區域的平均亮度值來測量輸入彩色影像的一致大小區域（uniformly-sized regions）中的光強度。對來自攝影機感測器的局部影像塊執行測量，其中連續值（I）從範圍0（暗）到1（亮）。BB的I值由基於強度的歸一化模組807根據感測器類型歸一化為：
Figure 02_image001
 對於攝影機 （1A）
Figure 02_image003
 對於光達 （1B）
Figure 02_image005
 對於雷達 （1C）
基於強度的歸一化模組807的輸出表示基於強度測量的信賴度值（C 1）。
勒克斯檢測模組802將通過對影像內的所有局部區域的或指定勒克斯感測器的平均亮度值進行比較來確定輸入彩色影像的光強度。檢測表徵為離散值（L）範圍0（暗）或1（亮）。定界框的L值將用於基於強度的歸一化模組807。
天氣檢測模組803將通過分析輸入彩色影像的頻域的圖案來確定即時天氣條件。對來自攝影機感測器或來自指定濕度感測器的影像全域地執行測量。檢測表徵為離散值（W）範圍0（不良天氣）或1（良好天氣）。BB的W值由基於天氣的歸一化模組808根據感測器類型歸一化為：
Figure 02_image007
 對於攝影機 （2A）
Figure 02_image009
 對於光達 （2B）
Figure 02_image011
 對於雷達 （2C）
其中α、β以及γ表示預定常數。基於天氣的歸一化模組808的輸出表示基於天氣檢測的信賴度值（C 2）。
曝光不足檢測模組804和曝光過度檢測模組805將通過評估影像的對比度、亮度以及飽和度來量化輸入彩色影像的每一像素的暴露不足和暴露過度程度。對像素層級局部地執行檢測，其連續值（U和O）範圍0（未曝光不足或曝光過度）到1（曝光不足或曝光過度）。BB的U值和O值由基於曝光的歸一化模組809根據感測器類型歸一化為：
Figure 02_image013
其中
Figure 02_image015
 對於攝影機 （3A）
Figure 02_image017
 對於光達 （3B）
Figure 02_image019
 對於雷達 （3C）
基於曝光的歸一化模組809的輸出表示基於曝光不足和曝光過度的信賴度值（C 3）。
深度估計（例如S704、S715、S726）將直接擷取來自校正初步檢測結果的深度值。檢測表徵為連續值（D）範圍0（太近）或1（太遠）。BB的深度（D）值由基於深度的歸一化模組810根據感測器類型歸一化為：
Figure 02_image021
 對於攝影機 （4A）
Figure 02_image023
 對於光達 （4B）
Figure 02_image025
 對於雷達 （4C）
其中θ表示表徵參數。基於深度的歸一化模組810的輸出表示基於深度值的信賴度值（C 4）。
角度位置估計模組806將量化從笛卡爾（Cartesian）坐標系到圓柱坐標系的定界框中心的角度位置。所述估計對每一校正初步BB局部地執行為連續值（T）。BB的T值由基於角度的歸一化模組811根據感測器類型歸一化為：
Figure 02_image027
 對於攝影機 （5A）
Figure 02_image029
 對於光達 （5B）
Figure 02_image027
 對於雷達 （5C）
其中R表示參考座標。基於角度的歸一化模組811的輸出表示基於角度位置的信賴度值（C 5）。
另外，信賴度值集合也包括對應目標檢測演算法的可靠度分數，表示為C CLS。在計算所需的信賴度的值之後，獨立的校正初步檢測結果與信賴度值集合一起發送到參數過濾器模組S737。然而，偽BB通過模擬檢測結果產生，如同由不同感測模態創建一般。基於提供最低累計信賴度值的BB選擇用於偽BB的模態。獨立的校正初步檢測結果的最終信賴度值測量為：
Figure 02_image031
 （6）
其中w i表示每種類型的信賴度值的加權係數。另外，偽BB的最終信賴度值測量為：
Figure 02_image033
 （7）
如果 C＞
Figure 02_image035
，那麼分類器的檢測保持；否則，去除分類器的檢測。另外，添加前提條件，其中如果 C CLS=0，那麼C CLS=0.5。
在參數檢測（例如S732、S736）已完成之後，包含來自參數檢測模組中的每一個的C 1到C 5以及C CLS的校正初步檢測結果與信賴度值集合一起傳送到鄧普斯特-謝弗模組S733或參數過濾器模組S737。對於符合前述標準的待發送到鄧普斯特-謝弗模組S733的BB的群，群對(cluster pair)的過程將遵循以下情況中的一個：
針對第1種情況，如果來自第一類型感測器分類器與第二類型感測器分類器的BB的類別相同，那麼第一類型感測器的校正初步檢測結果的最終信賴度值測量為：
Figure 02_image037
 （8）
並且第二類型感測器的校正初步檢測結果的最終信賴度值測量為：
Figure 02_image039
 （9）
如果C A＞C B，那麼第一類型感測器的分類器的檢測將保持；否則，第二類型感測器的分類器的檢測將保持。
針對第2種情況，如果來自第一類型感測器分類器與第二類型感測器分類器的BB的類別不相同，那麼第一類型感測器的校正初步檢測結果的最終信賴度值測量為：
Figure 02_image041
 （10A）
Figure 02_image043
 （10B）
並且第二類型感測器的校正初步檢測結果的最終信賴度值測量為：
Figure 02_image045
 （11A）
Figure 02_image047
 （11B）
如果
Figure 02_image049
，那麼使用第一類型感測器的分類器的類別；否則，使用第二類型感測器的分類器的類別。此後，過程將繼續進行到第1種情況。
針對第3種情況，如果分類器中的任一個沒有辨識功能(
Figure 02_image051
)，那麼第一類型感測器的校正初步檢測結果的最終信賴度值測量為：
Figure 02_image053
 （12）
並且第二類型感測器的校正初步檢測結果的最終信賴度值測量為：
Figure 02_image055
 （13）
如果
Figure 02_image059
，那麼第一類型感測器的分類器的檢測將保持；否則，第二類型感測器的分類器的檢測將保持。
圖9示出根據本揭露的示範性實施例中的一個的由自動駕駛車輛使用的感測器候選項的FOV以及每一可能的檢測情況。參看表2，其描述所提出架構的預設定常數(predefined constants)，為增加所提出架構的明確性，並將簡單論述所提出架構的性能以及所提出目標檢測架構的幾個示範性的示範。在一實驗中，通過使用兩個16束光達、一個32束光達以及一個彩色攝影機來實施所提出架構。
預設定常數 值 預設定常數 值
α 0.8 θ 0.3
β 0.7
Figure 02_image061
 0.6
γ 0.9
Figure 02_image063
 5
Figure 02_image065
 =
Figure 02_image067
 6
Figure 02_image069
 6
表2
基於這些實驗設定，主要對從重疊視場擷取的976幀進行性能評估。真陽性率（true positive rate；TPR）、精密度（precision；PPV）、精確度（accuracy；ACC）以及精密度和精確度的諧波平均值（F 1）經測量且呈現在表3中，其展示所提出架構的定量觀測（Quantitative Observation）。
度量（Metric） 基於光達 （SVM） 基於攝影機（YOLO） 決策融合
TPR 0.400 0.894 0.918
PPV 0.905 0.965 0.999
ACC 0.385 0.872 0.918
F1 0.554 0.928 0.957
表3
根據表3，展示所提出架構能夠大體上增強各種目標檢測演算法的性能，特別是在與基於光達的檢測演算法相比時。另外，所提出架構的計算成本被認為是高效的，其在具有4G RAM的英特爾i7（Intel i7）中為43.227毫秒。為強調所提出架構的作用，如圖10A到圖12B中所示的以下詳細闡述描述如圖9中所示的情況。
在對應於圖10A到圖10B的第一實例中，假設存在如表4中所示的校正初步檢測結果。
ID
Figure 02_image071
Figure 02_image073
Figure 02_image075
 h
Figure 02_image077
Figure 02_image079
0 546 354 101 103 攝影機 3
1 549 364 165 104 光達 3
2 120 373 68 44 攝影機 3
表4
在表4中作為連續表格，x值和y值表示在笛卡爾系統中的對應2D定界框的左上角座標。w和h分別表示在像素單元（即笛卡爾）中的對應2D定界框的寬度和高度。MOD表示感測器模態，即對應BB是由哪種感測器模態產生（例如來自攝影機或來自光達）。CLS表示對應定界框的類別索引。在本示範性實施例以及後續示範性實施例中，基於攝影機的目標檢測演算法或基於光達的目標檢測演算法可能將檢測到的目標劃分為四個或大於四個類別，其中“0”代表行人目標，“1”代表摩托車目標，“2”代表汽車目標以及“3”代表卡車目標。
如圖10A中所示，在重疊-雜亂分析之後，已知BB ID=0和ID=1發送到鄧普斯特-謝弗模組，且BB ID=2發送到參數過濾器模組。因此，因為BB ID=2已發送到參數過濾器；偽BB ID=2'用BB ID=2的類似規格和約束條件創建，然而具有互補模態（complementing modality；MOD）。根據影像，可見圖10A的環境條件包含高勒克斯和中等局部強度、良好天氣，且存在一些曝光不足以及曝光過度。因此，為每一BB計算基於環境的約束條件，如下表5所示。
ID
Figure 02_image081
Figure 02_image083
Figure 02_image085
Figure 02_image087
Figure 02_image089
0 0.989 1/1 0.327 0.310 0.321
1 0.837 1/1 0.751 0.000 0.327
2 0.325 1/1 0.000 0.000 0.421
2' 0.325 1/1 0.000 0.000 0.421
表5
隨後歸一化且處理這些約束條件以找出每一BB的最終信賴度值，如下表6中所示。
ID
Figure 02_image091
Figure 02_image093
Figure 02_image095
Figure 02_image097
Figure 02_image099
Figure 02_image101
Figure 02_image103
0 0.993 1.000 0.988 0.984 0.911 0.900 0.962
1 0.012 1.000 0.986 0.996 0.800 0.900 0.782
2 0.238 1.000 0.893 0.838 0.375 0.500 0.334
2' 0.761 1.000 1.000 0.914 0.800 0.500 0.447
表6 根據上述資料，保留BB ID=0，而去除BB ID=1。因為最終信賴度確實有利於偽BB，所以不保留發送到參數過濾器的BB ID=2。結果見於圖10B中。
在第二實例中，假設存在如下表7中所示的以下初步檢測結果：
ID x y w h Mod CLS
0 351 396 110 81 攝影機 2
1 354 396 113 89 光達 3
2 541 396 74 98 光達 3
表7
如圖11A中所示，在重疊-雜亂分析之後，已知BB ID=0和ID=1發送到鄧普斯特-謝弗模組，且BB ID=2發送到參數過濾器模組。因此，因為BB ID=2已發送到參數過濾器；偽BB ID=2'用定界框ID=2的類似規格和約束條件創建，然而具有互補模態（MOD）。根據影像，可見圖11A的環境條件將包含高勒克斯和中等局部強度、良好天氣，且存在一些曝光不足以及曝光過度。因此，為每一BB計算基於環境的約束條件，如下表8中所示。
ID I W/L O U D
0 0.090 1/1 0.000 0.302 0.332
1 0.090 1/1 0.000 0.000 0.351
2 0.090 1/1 0.000 0.000 0.411
2' 0.090 1/1 0.000 0.829 0.411
表8
隨後歸一化且處理這些約束條件以找出每一BB的最終信賴度值，如下表9中所示。
ID C1 C2 C3 C4 C5 CCLS C
0 0.006 1.000 0.946 0.976 0.561 0.900 0.731
1 0.993 1.000 1.000 0.991 0.800 0.900 0.947
2 0.993 1.000 0.800 0.935 0.800 0.800 0.756
2' 0.006 1.000 0.982 0.854 0.876 0.200 0.148
表9
根據上述資料，保留BB ID=1，同時去除BB ID=0。因為最終信賴度並不有利於偽BB，所以保留發送到參數過濾器的BB ID=2。結果可見於圖11B中。
在第三實例中，假設存在如下文表10中所示的以下校正初步檢測結果。
ID
Figure 02_image105
Figure 02_image107
Figure 02_image109
Figure 02_image111
Figure 02_image113
Figure 02_image115
0 692 339 25 26 光達 2
表10
如圖12A中所見，在重疊-雜亂分析之後，已知BB ID=0發送到參數過濾器模組。因此，因為BB ID=0已發送到參數過濾器；偽BB ID=0'用BB ID=0的類似規格和約束條件創建，然而具有互補模態（MOD）。根據影像，可見圖12A的環境條件將包含高勒克斯和中等局部強度、良好天氣，且存在一些曝光過度。因此，為每一BB計算基於環境的約束條件，如下表11中所示。
ID
Figure 02_image117
Figure 02_image119
Figure 02_image121
Figure 02_image123
Figure 02_image125
0 0.372 1/1 0.000 0.000 0.627
0' 0.372 1/1 0.000 0.000 0.627
表11
隨後歸一化且處理這些約束條件以找出每一定界框的最終信賴度值，如下表12中所示。
ID
Figure 02_image091
Figure 02_image093
Figure 02_image095
Figure 02_image097
Figure 02_image099
Figure 02_image101
Figure 02_image103
0 0.365 1.000 1.000 0.750 0.890 0.700 0.560
0' 0.634 1.000 1.000 0.074 0.800 0.300 0.210
表12
根據上述資料，因為最終信賴度並不有利於偽BB，所以保留發送到參數過濾器的BB ID=0。結果可見於圖12B中。
鑒於前述描述，本揭露提供適合於用於自動駕駛車輛的目標檢測系統。具體地說，本揭露的目的可包含：通過使用所提供的決策融合來提高每一感測器的分類器的檢測率；通過考慮每一感測器的特性和行為來設計所提供的決策融合；以及提供包含定界框位置（以像素為單位且以公尺為單位）、目標類別以及檢測信賴度的最終檢測結果。通過這種方式，可提高目標檢測的精確度。
本申請所揭露的實施例的詳細描述中使用的元件、動作或指令不應解釋為對本揭露來說絕對關鍵或必要的，除非明確地如此描述。而且，如本文中所使用，不定冠詞“一（a/an）”可以包含一個以上專案。如果意圖表示只有一個專案，那麼能夠使用術語“單個”或類似語言。此外，如本文中所使用，在多個項目和/或多個項目種類的列表之前的術語“中的任一個”意圖包含所述項目和/或項目種類個別地或結合其它項目和/或其它項目種類“中的任一個”、“中的任何組合”、“中的任何多個”和/或“中的多個的任何組合”。此外，如本文中所使用，術語“集合”意圖包含任何數目個專案，包含零個。此外，如本文中所使用，術語“數目”意圖包含任何數目，包含零。
本領域的技術人員將顯而易見，在不脫離本揭露的範圍或精神的情況下，可對所揭露的實施例的結構作出各種修改和變化。鑒於前述內容，意圖本揭露涵蓋屬於隨附權利要求書和其等效物的範圍內的本揭露的修改及變化。
雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。
101：彩色攝影機； 102：光達傳感器； 103：雷達傳感器； 200：目標檢測系統； 201：第一類型感測器； 202：第二類型感測器； 203：處理器； 300：自動駕駛車輛； 501：雷達傳感器陣列； 502：彩色攝影機陣列； 503：光達傳感器陣列； 504：環境感測器陣列； 801：強度測量模組； 802：勒克斯檢測模組； 803：天氣檢測模組； 804：曝光不足檢測模組； 805：曝光過度檢測模組； 806：角度位置測量模組； 807：基於強度的歸一化模組； 808：基於天氣的歸一化模組； 809：基於曝光的歸一化模組； 810：基於深度的歸一化模組； 811：基於角度的歸一化模組； A、B、C：標誌； B 1、B 2、B 3、B 4、B 5：視場； C 1、C 2、C 3、C 4、C 5、C CLS：信賴度值； DS：鄧普斯特-謝弗； L2：距離； S401、S402、S403、S404、S552、S701~S707、S711~S716、S721~S729、S731~S738：步驟； S511：A目標檢測； S512、S532：特徵對齊、目標檢測結果； S521：B目標檢測、目標檢測結果； S531：C目標檢測； S541：環境分析； S551：基於環境的約束條件建模； S553：鄧普斯特-謝弗模組； S554、S556：定界框； S555：參數過濾器模組。
圖1A示出用於自動駕駛車輛的常用感測裝置的特性。 圖1B示出圖1A的感測裝置中的每一個的FOV和範圍。 圖2示出根據本揭露的示範性實施例中的一個的目標檢測系統的硬體方塊圖。 圖3示出根據本揭露的示範性實施例中的一個的使用目標檢測系統的自動駕駛車輛。 圖4是示出根據本揭露的示範性實施例中的一個的目標檢測方法的步驟的流程圖。 圖5示出根據本揭露的示範性實施例中的一個的目標檢測架構的方塊圖。 圖6示出根據本揭露的示範性實施例中的一個的用於分析定界框的技術。 圖7是示出根據本揭露的示範性實施例中的一個產生感測器資料且隨後分析檢測結果以輸出定界框的詳細方塊圖。 圖8示出根據本揭露的示範性實施例中的一個的參數檢測演算法。 圖9示出根據本揭露的示範性實施例中的一個的由自動駕駛車輛使用的感測器候選項的FOV以及每一可能的檢測情況。 圖10A到圖10B示出根據本揭露的示範性實施例中的一個的目標檢測方法的第一實施實例。 圖11A到圖11B示出根據本揭露的示範性實施例中的一個的目標檢測方法的第二實施實例。 圖12A到圖12B示出根據本揭露的示範性實施例中的一個的目標檢測方法的第三實施實例。
S401、S402、S403、S404：步驟

Claims (16)

  1. 一種目標檢測系統，包括：第一類型感測器，用於產生第一感測器資料；第二類型感測器，用於產生第二感測器資料；以及處理器，耦合到所述第一類型感測器以及所述第二類型感測器，且至少配置成用於：通過使用第一多個目標檢測演算法來處理所述第一感測器資料，以產生對應於所述第一類型感測器的第一初步檢測結果；通過使用第二多個目標檢測演算法來處理所述第二感測器資料，以產生對應於所述第二類型感測器的第二初步檢測結果；應用參數檢測演算法以產生多個信賴度值，所述參數檢測演算法包括用於所述第一初步檢測結果以及所述第二初步檢測結果中的每一個的多個環境參數，其中每一所述信賴度值對應於所述多個環境參數中的不同環境參數；基於所述第一類型感測器的特性、所述第二類型感測器的特性、所述第一初步檢測結果與所述第二初步檢測結果之間的關係以及所述多個信賴度值來確定所檢測到的目標；使所述第一初步檢測結果以及所述第二初步檢測結果融合以產生融合的初步檢測結果；使兩個定界框配對；以及 通過確定兩個定界框是否重疊高於預定重疊閾值以及分離高於預定距離閾值來根據所述融合的初步檢測結果執行重疊以及雜亂分析，其中至少基於所述成對定界框之間的空間距離、所述定界框的深度資訊以及類別值來將所述成對定界框確定為獨立的或從屬的。
  2. 如申請專利範圍第1項所述的目標檢測系統，其中所述處理器進一步配置成用於：在超出所述預定重疊閾值以及所述預定距離閾值兩個時使用鄧普斯特-謝弗模組。
  3. 如申請專利範圍第1項所述的目標檢測系統，其中所述處理器進一步配置成用於：在未超出所述預定重疊閾值以及所述預定距離閾值中的一個時使用參數過濾器模組。
  4. 如申請專利範圍第2項所述的目標檢測系統，其中所述處理器進一步配置成用於：至少基於所述多個信賴度值來保留確定為所述成對定界框中更可靠的第一定界框以及捨棄所述成對定界框中的另一定界框。
  5. 如申請專利範圍第3項所述的目標檢測系統，其中所述處理器進一步配置成用於：確定偽定界框；以及至少基於所述多個信賴度值確定是否保留或移除來自所述融合的初步檢測結果的每一定界框。
  6. 如申請專利範圍第1項所述的目標檢測系統，其中所述多個環境參數包括以下中的至少一個：天氣條件、局部強度測量、曝光過度檢測、曝光不足檢測、目標的相對距離、所述目標的角度位置以及所述目標的分類器信賴度。
  7. 如申請專利範圍第6項所述的目標檢測系統，其中將所述多個環境參數歸一化以符合所述第一類型感測器以及所述第二類型感測器的範圍。
  8. 如申請專利範圍第1項所述的目標檢測系統，其中所述第一類型感測器包括無線電檢測與測距感測器，且所述第二類型感測器包括攝影機。
  9. 一種自動駕駛車輛，包括：目標檢測系統，包括：第一類型感測器，用於產生第一感測器資料；第二類型感測器，用於產生第二感測器資料；以及處理器，耦合到所述第一類型感測器以及所述第二類型感測器，且至少配置成用於：通過使用第一多個目標檢測演算法來處理所述第一感測器資料，以產生對應於所述第一類型感測器的第一初步檢測結果；通過使用第二多個目標檢測演算法來處理所述第二感測器資料，以產生對應於所述第二類型感測器的第二初步檢測結果； 應用參數檢測演算法以產生多個信賴度值，所述參數檢測演算法包括用於所述第一初步檢測結果以及所述第二初步檢測結果中的每一個的多個環境參數，其中每一所述信賴度值對應於所述多個環境參數中的不同環境參數；基於所述第一類型感測器的特性、所述第二類型感測器的特性、所述第一初步檢測結果與所述第二初步檢測結果之間的關係以及所述多個信賴度值來確定所檢測到的目標；使所述第一初步檢測結果以及所述第二初步檢測結果融合以產生融合的初步檢測結果；使兩個定界框配對；以及通過確定兩個定界框是否重疊高於預定重疊閾值以及分離高於預定距離閾值來根據所述融合的初步檢測結果執行重疊以及雜亂分析，其中至少基於所述成對定界框之間的空間距離、所述定界框的深度資訊以及類別值來將所述成對定界框確定為獨立的或從屬的。
  10. 一種由自動駕駛車輛使用的目標檢測方法，所述方法包括：通過使用第一類型感測器來產生第一感測器資料；通過使用第二類型感測器來產生第二感測器資料；通過使用第一多個目標檢測演算法來處理所述第一感測器資料，以產生對應於所述第一類型感測器的第一初步檢測結果；通過使用第二多個目標檢測演算法來處理所述第二感測器資 料，以產生對應於所述第二類型感測器的第二初步檢測結果；應用參數檢測演算法以產生多個信賴度值，所述參數檢測演算法包括用於所述第一初步檢測結果以及所述第二初步檢測結果中的每一個的多個環境參數，其中每一所述信賴度值對應於所述多個環境參數中的不同環境參數；基於所述第一類型感測器的特性、所述第二類型感測器的特性、所述第一初步檢測結果與所述第二初步檢測結果之間的關係以及所述多個信賴度值來確定所檢測到的目標；使所述第一初步檢測結果以及所述第二初步檢測結果融合以產生融合的初步檢測結果；使兩個定界框配對；以及通過確定兩個定界框是否重疊高於預定重疊閾值以及分離高於預定距離閾值來根據所述融合的初步檢測結果執行重疊以及雜亂分析，其中至少基於所述成對定界框之間的空間距離、所述定界框的深度資訊以及類別值來將所述成對定界框確定為獨立的或從屬的。
  11. 如申請專利範圍第10項所述的目標檢測方法，進一步包括：在超出所述預定重疊閾值以及所述預定距離閾值兩個時使用鄧普斯特-謝弗模組。
  12. 如申請專利範圍第10項所述的目標檢測方法，進一步包括： 在未超出所述預定重疊閾值以及所述預定距離閾值中的一個時使用參數過濾器模組。
  13. 如申請專利範圍第11項所述的目標檢測方法，進一步包括：至少基於所述多個信賴度值來保留確定為所述成對定界框中更可靠的第一定界框以及捨棄所述成對定界框中的另一定界框。
  14. 如申請專利範圍第12項所述的目標檢測方法，進一步包括：確定偽定界框；以及至少基於所述多個信賴度值確定是否保留或移除來自所述融合的初步檢測結果的每一定界框。
  15. 如申請專利範圍第10項所述的目標檢測方法，其中所述多個環境參數包括以下中的至少一個：天氣條件、局部強度測量、曝光過度檢測、曝光不足檢測、目標的相對距離、所述目標的角度位置以及所述目標的分類器信賴度。
  16. 如申請專利範圍第15項所述的目標檢測方法，其中將所述多個環境參數歸一化以符合所述第一類型感測器以及所述第二類型感測器的範圍。
TW107127429A 2018-05-18 2018-08-07 目標檢測系統、自動駕駛車輛以及其目標檢測方法 TWI685798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811099764.5A CN110501709B (zh) 2018-05-18 2018-09-20 目标检测系统、自主车辆以及其目标检测方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862673131P 2018-05-18 2018-05-18
US62/673,131 2018-05-18
US16/009,207 US10852420B2 (en) 2018-05-18 2018-06-15 Object detection system, autonomous vehicle using the same, and object detection method thereof
US16/009,207 2018-06-15

Publications (2)

Publication Number Publication Date
TW202004560A TW202004560A (zh) 2020-01-16
TWI685798B true TWI685798B (zh) 2020-02-21

Family

ID=68533550

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107127429A TWI685798B (zh) 2018-05-18 2018-08-07 目標檢測系統、自動駕駛車輛以及其目標檢測方法

Country Status (3)

Country Link
US (1) US10852420B2 (zh)
JP (1) JP6667596B2 (zh)
TW (1) TWI685798B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12023565B2 (en) 2021-08-26 2024-07-02 Industrial Technology Research Institute Projection system and projection calibration method using the same
US12028642B2 (en) 2022-10-25 2024-07-02 Industrial Technology Research Institute Target tracking system and target tracking method using the same

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6914065B2 (ja) * 2017-03-17 2021-08-04 シャープ株式会社 障害物検出装置、走行装置、障害物検出システムおよび障害物検出方法
CN112368598A (zh) * 2018-07-02 2021-02-12 索尼半导体解决方案公司 信息处理设备、信息处理方法、计算机程序和移动设备
US10884131B1 (en) 2018-08-03 2021-01-05 GM Global Technology Operations LLC Conflict resolver for a lidar data segmentation system of an autonomous vehicle
CN110874926A (zh) * 2018-08-31 2020-03-10 百度在线网络技术（北京）有限公司 智能路侧单元
CN108983213B (zh) * 2018-09-07 2021-01-01 百度在线网络技术（北京）有限公司 障碍物静止状态的确定方法、装置、设备及存储介质
US10884424B2 (en) 2018-09-07 2021-01-05 GM Global Technology Operations LLC Traffic light occlusion detection for autonomous vehicle
US11428817B2 (en) * 2018-10-11 2022-08-30 Baidu Usa Llc Automatic LIDAR calibration based on cross validation for autonomous driving
US10928819B2 (en) * 2018-10-29 2021-02-23 Here Global B.V. Method and apparatus for comparing relevant information between sensor measurements
US11948362B2 (en) * 2018-10-31 2024-04-02 Arcus Holding A/S Object detection using a combination of deep learning and non-deep learning techniques
US11423570B2 (en) * 2018-12-26 2022-08-23 Intel Corporation Technologies for fusing data from multiple sensors to improve object detection, identification, and localization
US11891067B2 (en) 2019-12-11 2024-02-06 Electronics And Telecommunications Research Institute Vehicle control apparatus and operating method thereof
KR102543174B1 (ko) * 2019-12-11 2023-06-14 한국전자통신연구원 차량 제어 장치 및 그의 작동 방법
CN114755673A (zh) * 2020-12-25 2022-07-15 欧特明电子股份有限公司 多传感器自动驾驶系统
TWI797526B (zh) * 2020-12-25 2023-04-01 歐特明電子股份有限公司 多感測器自動駕駛系統
KR102414632B1 (ko) * 2021-06-02 2022-06-30 (주)에이아이매틱스 다중 관측정보를 이용한 고정객체의 위치 결정 방법
WO2022271742A1 (en) * 2021-06-21 2022-12-29 Cyngn, Inc. Granularity-flexible existence-based object detection
CN116027318A (zh) * 2021-10-26 2023-04-28 北京万集科技股份有限公司 多传感器信号融合的方法、装置、电子设备及存储介质
DE102021006248A1 (de) 2021-12-17 2023-06-22 Automotive Research & Testing Center Objekterfassungsverfahren
WO2024018427A1 (en) * 2022-07-20 2024-01-25 Thales Canada Inc. High integrity path extraction in rail using autonomy sensors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070046448A1 (en) * 2002-09-20 2007-03-01 M7 Visual Intelligence Vehicle based data collection and processing system and imaging sensor system and methods thereof
TW201511997A (zh) * 2013-09-24 2015-04-01 Automotive Res & Testing Ct 主動式自動駕駛輔助系統與方法
US20150248591A1 (en) * 2014-02-28 2015-09-03 Ricoh Co., Ltd. Method for Product Recognition from Multiple Images
TWI615301B (zh) * 2016-12-21 2018-02-21 致伸科技股份有限公司 自動輔助駕駛系統及其方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3750184B2 (ja) 1996-04-03 2006-03-01 松下電器産業株式会社 移動物体の抽出装置及び抽出方法
JP2002099907A (ja) 2000-09-22 2002-04-05 Mazda Motor Corp 物体認識装置
JP2007310741A (ja) 2006-05-19 2007-11-29 Fuji Heavy Ind Ltd 立体物認識装置
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
JP4211809B2 (ja) 2006-06-30 2009-01-21 トヨタ自動車株式会社 物体検出装置
TWI339627B (en) 2008-12-30 2011-04-01 Ind Tech Res Inst System and method for detecting surrounding environment
JP4858574B2 (ja) 2009-05-19 2012-01-18 トヨタ自動車株式会社 物体検出装置
JP5556508B2 (ja) 2010-08-30 2014-07-23 株式会社デンソー 物体検出装置
US8761991B1 (en) * 2012-04-09 2014-06-24 Google Inc. Use of uncertainty regarding observations of traffic intersections to modify behavior of a vehicle
US9221396B1 (en) * 2012-09-27 2015-12-29 Google Inc. Cross-validating sensors of an autonomous vehicle
US9097800B1 (en) 2012-10-11 2015-08-04 Google Inc. Solid object detection system using laser and radar sensor fusion
US8818609B1 (en) * 2012-11-15 2014-08-26 Google Inc. Using geometric features and history information to detect features such as car exhaust in point maps
US8983705B2 (en) 2013-04-30 2015-03-17 Google Inc. Methods and systems for detecting weather conditions including fog using vehicle onboard sensors
US9305223B1 (en) 2013-06-26 2016-04-05 Google Inc. Vision-based indicator signal detection using spatiotemporal filtering
CN106461774B (zh) * 2014-02-20 2019-04-23 御眼视觉技术有限公司 基于雷达提示视觉成像的高级驾驶员辅助系统
US9183459B1 (en) * 2014-05-06 2015-11-10 The Boeing Company Sensor fusion using detector confidence boosting
KR102178433B1 (ko) 2014-05-30 2020-11-16 주식회사 만도 긴급 제동 시스템 및 그의 보행자 인식 방법
US9599706B2 (en) 2015-04-06 2017-03-21 GM Global Technology Operations LLC Fusion method for cross traffic application using radars and camera
US20170242117A1 (en) 2016-02-19 2017-08-24 Delphi Technologies, Inc. Vision algorithm performance using low level sensor fusion
JP6256531B2 (ja) 2016-06-10 2018-01-10 三菱電機株式会社 物体認識処理装置、物体認識処理方法および自動運転システム
US10671068B1 (en) * 2016-09-21 2020-06-02 Apple Inc. Shared sensor data across sensor processing pipelines
GB201616097D0 (en) * 2016-09-21 2016-11-02 Univ Oxford Innovation Ltd Segmentation of path proposals
US10160448B2 (en) 2016-11-08 2018-12-25 Ford Global Technologies, Llc Object tracking using sensor fusion within a probabilistic framework
US20180349746A1 (en) * 2017-05-31 2018-12-06 Uber Technologies, Inc. Top-View Lidar-Based Object Detection
US10438371B2 (en) * 2017-09-22 2019-10-08 Zoox, Inc. Three-dimensional bounding box from two-dimensional image and point cloud data
US10852419B2 (en) * 2017-10-20 2020-12-01 Texas Instruments Incorporated System and method for camera radar fusion
US10726567B2 (en) * 2018-05-03 2020-07-28 Zoox, Inc. Associating LIDAR data and image data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070046448A1 (en) * 2002-09-20 2007-03-01 M7 Visual Intelligence Vehicle based data collection and processing system and imaging sensor system and methods thereof
TW201511997A (zh) * 2013-09-24 2015-04-01 Automotive Res & Testing Ct 主動式自動駕駛輔助系統與方法
US20150248591A1 (en) * 2014-02-28 2015-09-03 Ricoh Co., Ltd. Method for Product Recognition from Multiple Images
TWI615301B (zh) * 2016-12-21 2018-02-21 致伸科技股份有限公司 自動輔助駕駛系統及其方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12023565B2 (en) 2021-08-26 2024-07-02 Industrial Technology Research Institute Projection system and projection calibration method using the same
US12028642B2 (en) 2022-10-25 2024-07-02 Industrial Technology Research Institute Target tracking system and target tracking method using the same

Also Published As

Publication number Publication date
JP6667596B2 (ja) 2020-03-18
US20190353774A1 (en) 2019-11-21
JP2019200773A (ja) 2019-11-21
US10852420B2 (en) 2020-12-01
TW202004560A (zh) 2020-01-16

Similar Documents

Publication Publication Date Title
TWI685798B (zh) 目標檢測系統、自動駕駛車輛以及其目標檢測方法
CN110244322B (zh) 基于多源传感器的路面施工机器人环境感知系统及方法
WO2022012158A1 (zh) 一种目标确定方法以及目标确定装置
JP6305171B2 (ja) シーン内の物体を検出する方法
TWI601097B (zh) 將影像特徵與參考特徵相匹配之方法及其所用積體電路
TWI816002B (zh) 用於目標偵測及追蹤之神經形態視覺與框速率成像
WO2016129702A1 (en) Method for image denoising
CN112750168B (zh) 事件相机内参的标定方法、装置、计算机设备和存储介质
CN110400315A (zh) 一种缺陷检测方法、装置及系统
KR101907883B1 (ko) 객체 검출 및 분류 방법
CN114155501A (zh) 一种无人车在烟雾遮挡环境下的目标检测方法
CN109509213B (zh) 一种应用于异步时域视觉传感器的Harris角点检测方法
JP2002203240A (ja) 物体認識装置、物体を認識する方法、プログラムおよび記録媒体
Yoshida et al. Time-of-flight sensor depth enhancement for automotive exhaust gas
CN117113284B (zh) 多传感器融合的数据处理方法、装置与多传感器融合方法
CN110501709B (zh) 目标检测系统、自主车辆以及其目标检测方法
CN117036404A (zh) 一种单目热成像同时定位与建图方法和系统
Gupta A survey of techniques and applications for real time image processing
WO2011047508A1 (en) Embedded vision tracker and mobile guiding method for tracking sequential double color beacons array with extremely wide-angle lens
CN116012712A (zh) 基于物体通用特征的目标检测方法、装置、设备及介质
Xie et al. Application of intelligence binocular vision sensor: Mobility solutions for automotive perception system
Hajebi et al. Sparse disparity map from uncalibrated infrared stereo images
TWI819613B (zh) 物件的雙感測方法及用於物件感測的運算裝置
JP6332703B2 (ja) 空間認識装置
Parvizi et al. Real-time approach for adaptive object segmentation in time-of-flight sensors