TWI843116B - 移動物體檢測方法、裝置、電子設備及存儲介質 - Google Patents

移動物體檢測方法、裝置、電子設備及存儲介質 Download PDF

Info

Publication number
TWI843116B
TWI843116B TW111120593A TW111120593A TWI843116B TW I843116 B TWI843116 B TW I843116B TW 111120593 A TW111120593 A TW 111120593A TW 111120593 A TW111120593 A TW 111120593A TW I843116 B TWI843116 B TW I843116B
Authority
TW
Taiwan
Prior art keywords
point cloud
cloud data
moving object
image
target scene
Prior art date
Application number
TW111120593A
Other languages
English (en)
Other versions
TW202349927A (zh
Inventor
簡瑜萱
郭錦斌
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Priority to TW111120593A priority Critical patent/TWI843116B/zh
Publication of TW202349927A publication Critical patent/TW202349927A/zh
Application granted granted Critical
Publication of TWI843116B publication Critical patent/TWI843116B/zh

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一種移動物體檢測方法包括獲取目標場景之點雲資料集與第一圖像;識別出所述第一圖像中靜止物體區域;將所述點雲資料集中對應所述靜止物體區域之點雲資料記錄為第一點雲資料,根據所述第一點雲資料得到第一速度範圍;根據第二點雲資料與所述第一速度範圍判斷所述目標場景中是否存在移動物體,其中,所述第二點雲資料為所述點雲資料集中除了所述第一點雲資料之外之點雲資料。本申請還揭示了一種移動物體檢測裝置、電腦存儲介質及電子設備。結合雷達所獲得之點雲資料,可以提高檢測移動物體之準確率。

Description

移動物體檢測方法、裝置、電子設備及存儲介質
本申請涉及移動物體檢測技術領域,尤其涉及一種移動物體檢測方法、裝置、電子設備及存儲介質。
自動駕駛(automated driving/ADS)技術是藉由傳感系統感知周圍環境之資訊,基於感知之資訊進行行駛路徑之決策規劃,基於規劃之行駛路徑控制自身自動完成駕駛之過程。例如,目前之自動駕駛技術可用於智慧車(smart/intelligent car),由車輛之車載傳感系統感知道路環境,然後由車輛控制系統進行行車路徑規劃,並基於規劃之行車路徑,控制自身實現自動駕駛。
其中,在上述自動駕駛之過程中,藉由圖像辨識出行駛路段上之移動物體,進而根據識別到之移動物體來預測其未來之軌跡以進行避障路徑規劃。然而單靠圖像無法得知哪些物體是移動物體,如識別出該圖像中之物體是車輛,但無法判斷這車輛是否移動。
有鑑於此,有必要提供一種移動物體檢測方法、裝置、電子設備及存儲介質,結合雷達所獲得之點雲資料,可以提高檢測移動物體之準確率。
第一方面本申請提供一種移動物體檢測方法,應用於電子設備,該方法包括:獲取目標場景之點雲資料集與第一圖像,識別出所述第一圖像中靜 止物體區域,將所述點雲資料集中對應所述靜止物體區域之點雲資料記錄為第一點雲資料,根據所述第一點雲資料得到第一速度範圍,根據第二點雲資料與所述第一速度範圍判斷所述目標場景中是否存在移動物體,其中,所述第二點雲資料為所述點雲資料集中除了所述第一點雲資料之外之點雲資料。
在一些實施例中,所述將所述點雲資料集中對應所述靜止物體區域之點雲資料記錄為第一點雲資料包括:將所述點雲資料集轉換成二維座標,得到二維座標集;針對所述二維座標集中每一所述二維座標,判斷所述二維座標是否對應所述靜止物體區域;若是,則記錄所述二維座標對應之點雲資料為第一點雲資料。
在一些實施例中,所述判斷所述二維座標是否對應所述靜止物體區域包括:獲取所述靜止物體區域之座標範圍,其中所述靜止物體區域為地面所在區域;判斷所述二維座標是否位於所述座標範圍內;若是,則所述二維座標對應所述靜止物體區域。
在一些實施例中,所述根據所述第一點雲資料得到第一速度範圍包括:獲取每一所述第一點雲資料之第一速度;根據所述第一速度得到所述第一速度範圍。
在一些實施例中,所述根據第二點雲資料與所述第一速度範圍判斷所述目標場景中是否存在移動物體包括:判斷所述第二點雲資料之速度是否在所述第一速度範圍內;若否,則將所述第二點雲資料對應之第一物體記錄為所述移動物體,其中所述第一物體為所述目標場景中之物體。
在一些實施例中,所述方法還包括:檢測到所述第二點雲資料之速度不在所述第一速度範圍內,根據所述第二點雲資料對應之二維座標確定所述第一圖像之第一圖元;將所述第一圖元所在之區域確定為移動物體區域。
在一些實施例中,所述電子設備包括雷達和攝像裝置;則所述獲取目標場景之點雲資料集與第一圖像包括:藉由所述雷達獲取所述目標場景之所述點雲資料集;藉由所述攝像裝置獲取所述目標場景之第一圖像,其中所述第一圖像和所述點雲資料集為同一時刻所獲得。
第二方面提供一種移動物體檢測裝置,該裝置包括:獲取模組,用於獲取目標場景之點雲資料集與第一圖像;識別模組,用於識別出所述第一圖像中靜止物體區域;記錄模組,用於將所述點雲資料集中對應所述靜止物體區域之點雲資料記錄為第一點雲資料;得到模組,用於根據所述第一點雲資料得到第一速度範圍;判斷模組,用於根據第二點雲資料與所述第一速度範圍判斷所述目標場景中是否存在移動物體,其中,所述第二點雲資料為所述點雲資料集中除了所述第一點雲資料之外之點雲資料。
協力廠商面提供一種電腦存儲介質,該電腦存儲介質存儲多條指令,所述多條指令適於由處理器載入並執行如上移動物體檢測方法。
第四方面提供一種電子設備,包括:處理器,用以實現一條或一條以上指令;及電腦存儲介質,用以存儲多條指令,所述多條指令適於由處理器載入並執行如上移動物體檢測方法。
實施本申請實施例至少具有如下有益效果: 提出了一種新移動物體檢測方案。藉由獲取同一時刻目標場景之點雲資料集與第一圖像,藉由影像處理識別出第一圖像中靜止物體所在之靜止物體區域。找出點雲資料集中對應到該靜止物體區域之點雲資料,也即找出點雲資料集中對應到該靜止物體之點雲資料,記錄該點雲資料為第一點雲資料。根據第一點雲資料之速度確定第一速度範圍,由此可以得到靜止物體之第一速度範圍。進而判斷除第一點雲資料之外之第二點雲資料之速度與第一速度範圍之間之關係,也即判斷第二點雲資料所對應之物體與靜止物體之間之相對關係。若第二點雲資料之速度在第一速度範圍內,則第二點雲資料所對應之物體相對靜止物體靜止,若第二點雲資料之速度不在第一速度範圍內,則第二點雲資料所對應之物體相對靜止物體移動。該靜止物體選擇為地面,則可以確定相對地面移動之物體為移動物體。結合雷達所獲得之點雲資料,可以提高檢測移動物體之準確率。
100:電子設備
200:移動物體檢測裝置
10:記憶體
20:處理器
30:雷達
40:攝像裝置
50:通信單元
60:輸入輸出單元
210:獲取模組
220:識別模組
230:記錄模組
240:得到模組
250:判斷模組
S31~S35:步驟
S41~S44:步驟
S51~S54:步驟
S61~S63:步驟
圖1為本申請實施例提供之一種電子設備結構示意圖。
圖2為本申請實施例提供之一種移動物體檢測裝置結構示意圖。
圖3為本申請實施例提供之一種移動物體檢測方法流程示意圖。
圖4為本申請實施例提供之一種記錄第一點雲資料方法流程示意圖。
圖5為本申請實施例提供之一種判斷是否對應靜止物體區域方法流程示意圖。
圖6為本申請實施例提供之一種判斷是否存在移動物體方法流程示意圖。
下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發明一部分實施例,而不是全部的實施例。基於本發明中的實施例,本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例,都屬於本發明保護之範圍。
需要說明的是,當一個元件被認為是“連接”另一個元件,它可以是直接連接到另一個元件或者可能同時存在居中設置之元件。當一個元件被認為是“設置於”另一個元件,它可以是直接設置在另一個元件上或者可能同時存在居中設置之元件。
除非另有定義,本文所使用之所有之技術和科學術語與屬於本發明之技術領域之技術人員通常理解之含義相同。本文中在本發明之說明書中所使用之術語只是為了描述具體之實施例之目的,不是旨在於限制本發明。本文所使用之術語“及/或”包括一個或多個相關之所列項目的任意之和所有之組合。
請參閱圖1,本申請實施例供一種電子設備100。電子設備100包括記憶體10、處理器20以及存儲在記憶體10中並可在處理器20上運行之移動物體檢測裝置200。處理器20可以用於執行移動物體檢測方法實施例中之步驟,例如圖3至圖6所示之步驟。處理器20執行移動物體檢測裝置200時實現移動物體檢測方法實施例中之步驟,或者,處理器20執行移動物體檢測裝置200時實現移動物體檢測裝置200中各模組之功能,例如圖2中之模組210~250。
移動物體檢測裝置200可以被分割成一個或多個模組,一個或者多個模組被存儲在記憶體10中,並由處理器20執行,以完成本申請移動物體檢測方法實施例。一個或多個模組可以是能夠完成特定功能之一系列電腦程式指令段,指令段用於描述移動物體檢測裝置200在電子設備100中之執行過程。例如,移動物體檢測裝置200可以被分割成圖2中獲取模組210、識別模組220、記錄模組230、得到模組240和判斷模組250。上述模組之具體功能請參下述各模組之功能。
所稱處理器20可以是中央處理單元(Central Processing Unit,CPU),還可以是其他通用處理器、數位訊號處理器(Digital Signal Processor,DSP)、專用積體電路(Application Specific Integrated Circuit,ASIC)、現成可程式設計閘陣列(Field-Programmable Gate Array,FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可以是微處理器或者 處理器20也可以是任何常規之處理器20等,處理器20可以利用各種介面和匯流排連接電子設備100之各個部分。
記憶體10可用於存儲移動物體檢測裝置200和/或模組,處理器20藉由運行或執行存儲在記憶體10內之電腦程式和/或模組,以及調用存儲在記憶體10內之資料,實現電子設備100之各種功能。記憶體10可以包括高速隨機存取記憶體,還可以包括非易失性記憶體,例如硬碟、記憶體、插接式硬碟,智慧存儲卡(Smart Media Card,SMC),安全數位(Secure Digital,SD)卡,快閃記憶體卡(Flash Card)、至少一個磁碟記憶體件、快閃記憶體器件、或其他非易失性固態記憶體件。
在一實施方式中,電子設備100還包括雷達30,雷達30是利用電磁波探測目標場景中物體之電子設備100。雷達30掃描目標場景可以得到目標場景之點雲資料集,點雲資料集包括多個點雲資料,其中點雲資料包括目標場景中之物體至電磁波發射點之距離、距離變化率(徑向速度)、方位、高度、速度與移動方向等資訊。雷達30與處理器20連接,雷達30將獲取到之點雲資料集傳輸至處理器20。其中,點雲資料也稱為鐳射點雲(point cloud data,PCD)資料或三維點雲資料,可以是利用鐳射在同一空間參考系下獲取目標場景中物體表面每個採樣點之三維空間座標,所得到之一系列表達物體空間分佈和物體表面特性之海量點之集合。相比於圖像,點雲資料雖然缺乏詳細之紋理資訊,但是包含了豐富之三維空間資訊、物體與雷達30之間之距離以及物體之速度。
更具體地說,雷達30包括發射機和接收機,接收機通常與發射機藉由可以設置於電子設備100上同一位置。發射機發射射頻波之脈衝,射頻波之脈衝從在其路徑上之任何物體反彈。被物體反射回來之脈衝將射頻波之能量之小部分返回給接收機。接收機可以接收到目標場景中多個物體反射回來之射頻波,也即可以獲得關於目標場景之多個點雲資料,雷達30得到目標場景之點雲資料集。
其中,雷達30可以為車載毫米波雷達、雷射雷達、超聲波雷達等。
在一實施方式中,電子設備100還包括攝像裝置40,攝像裝置40可以用於獲取目標場景之第一圖像。攝像裝置40與處理器20連接,將獲得之第一圖像傳輸給處理器20。攝像裝置40又稱攝像頭或相機。若該電子設備100實現為車輛,則該攝像裝置40可以實現為行車記錄器。
在一實施方式中,電子設備100還包括通信單元50,通信單元50用於藉由有線或無線之方式與其他電腦裝置建立通信連接。通信單元50可為有線通信單元或無線通訊單元。在一實施方式中,電子設備100還可包括輸入輸出單元60,輸入輸出單元60鍵盤、滑鼠、顯示幕等,顯示幕用於顯示電子設備100之媒體檔。
電子設備100可以是車載設備、車輛(例如自動駕駛車輛)、移動機器人(例如清掃機器人、導遊機器人)以及雲端伺服器等設備。本領域技術人員可以理解,示意圖僅是電子設備100之示例,並不構成對電子設備100之限定,可以包括比圖示更多或更少之部件,或者組合某些部件,或者不同之部件,例如電子設備100還可以包括網路接入設備、匯流排等。
請參閱圖2,本申請實施例供一種移動物體檢測裝置200。移動物體檢測裝置200可以包括獲取模組210、識別模組220、記錄模組230、得到模組240以及判斷模組250。
在一實施方式中,上述模組可以為存儲於記憶體10中且可被處理器20調用執行之可程式化軟體指令。可以理解的是,在其他實施方式中,上述模組也可為固化於處理器20中之程式指令或固件(firmware)。獲取模組210用於獲取目標場景之點雲資料集與第一圖像。識別模組220用於識別出第一圖像中靜止物體區域。記錄模組230用於將點雲資料集中對應靜止物體區域之點雲資料記錄為第一點雲資料。得到模組240用於根據第一點雲資料得到第一速度範圍。判斷 模組250用於根據第二點雲資料與第一速度範圍判斷目標場景中是否存在移動物體,其中,第二點雲資料為點雲資料集中除了第一點雲資料之外之點雲資料。
請參閱圖3,本申請實施例提供之一種移動物體檢測方法之流程。該移動物體檢測方法可以應用於上述圖1所示電子設備100,可以由處理器20執行。根據不同之需求,流程圖中步驟之順序可以改變,某些步驟可以省略。下面具體說明。
步驟S31:獲取目標場景之點雲資料集與第一圖像。
在本申請實施例中,步驟S31具體可以包括電子設備100藉由雷達30獲取目標場景之點雲資料集,藉由攝像裝置40獲取目標場景之第一圖像。處理器20接收雷達30傳輸之點雲資料集以及攝像裝置40傳輸之第一圖像。
在步驟S31中處理器20所獲取之第一圖像和點雲資料集,分別為雷達30和攝像裝置40在同一時刻所獲得之資料,也即雷達30獲得之該點雲資料集之時刻與攝像裝置40獲得該第一圖像之時刻相同。
示例性地,以電子設備100為車輛,雷達30和攝像裝置40位於車輛前方為例。在車輛行駛過程中,攝像頭202對車輛行駛前方之目標場景進行圖像採集,獲得第一圖像,並記錄獲得該第一圖像之時刻,得到第一圖像之時間戳記。雷達30對車輛行駛前方之目標場景進行掃描,獲得點雲資料,並記錄獲得該點雲資料之時刻,得到點雲數據之時間戳記。獲取時間戳記相同之點雲資料,得到點雲資料集以及該點雲資料集之時間戳記。處理器20接收到點雲資料集以及第一圖像後,根據時間戳記,篩選出時間戳記相同之第一圖像與點雲資料集。將時間戳記相同之第一圖像與點雲資料集用於後續步驟S32-S35之處理。
步驟S32:識別出第一圖像中靜止物體區域。
在本申請實施例中,處理器20中可以存儲有分類網路,該分類網路可以為預先訓練好之神經網路。該分類網路可以用於識別圖像,例如可以識別 出圖像中之人、車、交通號燈、建築物、道路、地面、分隔島等。其中,分類網路為成熟技術,在此不再贅述。
在本申請實施例中,靜止物體區域即為第一圖像中靜止物體所在之區域,靜止物體可以為交通號燈、建築物、道路、地面等。
在本申請實施例中,可以預先確定要作為參考之靜止物體,例如,基於電子設備100應用於車輛,可以選取地面或道路為靜止物體。識別出作為參考之靜止物體在第一圖像之區域,該區域即為靜止物體區域。以靜止物體為地面為例,靜止物體區域為地面所在之區域。
步驟S33:將點雲資料集中對應靜止物體區域之點雲資料記錄為第一點雲資料。
在一些實施例中,請參閱圖4,步驟S33具體可以為:
步驟S41:將點雲資料集轉換成二維座標,得到二維座標集。
在本申請實施例中,處理器20可以預先獲取攝像裝置40之內參以及攝像裝置40與雷達30之間之外參,然後根據外參和內參將點雲資料集轉換為二維座標集。可以理解,獲取攝像裝置40之內參以及攝像裝置40與雷達30之間外參是成熟之技術,根據外參將三維點雲圖像轉換為二維圖像為成熟之技術,在此不再贅述。
示例性地,處理器20根據下述轉換公式將點雲資料轉換成二維座標,針對每一點雲資料進行轉換,可以得到二維座標集。轉換公式如下:
Figure 111120593-A0305-02-0011-1
其中,xw、yw、zw為雷達30點雲資料之三維座標,K為攝像裝置40內參,
Figure 111120593-A0305-02-0011-2
為雷達30與攝像裝置40之間之外參,u和v為轉換後之二維座標。
步驟S42:針對二維座標集中每一二維座標,判斷二維座標是否對應靜止物體區域。
在本申請實施例中,第一圖像中靜止物體區域對應目標場景中靜止物體,例如,該靜止物體區域為地面區域,則該靜止物體區域對應到目標場景中之地面。雷達30可以掃描到目標場景中各個物體或同一物體不同位置,例如,某一個二維座標對應到之目標場景之點為點A,該點A為目標場景中A物體之點a。另一二維座標對應到之目標場景之點為點B,該點B為目標場景中B物體之點b。為此,針對二維座標集中每一二維座標,判斷該二維座標是否對應到靜止物體區域。換句話說,即判斷二維座標所對應之目標場景之物體是否為靜止物體區域所指示之靜止物體。或者說,判斷二維座標所對應之目標場景之空間點是否為目標場景中靜止物體所處之空間區域範圍內。
在一些實施例中,請參閱圖5,步驟S42具體可以為:
步驟S51:獲取靜止物體區域之座標範圍。
步驟S52:判斷二維座標是否位於座標範圍內。
若是,步驟S53:二維座標對應靜止物體區域。
若否,步驟S54:二維座標不對應靜止物體區域。
需要說明的是,二維座標集上之二維座標點可以對應到第一圖像上之圖元點。若雷達30掃描到目標場景中之A物體上之點a,獲得該點a之點雲資料,並將該點雲資料轉換為二維座標(x,y)。相應地,在第一圖像中可以找到對應目標場景中之A物體上之點a之圖元座標為(x1,y1)。二維座標(x,y)與第一圖像上圖元座標(x1,y1)可以相同也可以不同。若不同,可以根據攝像裝置40之內參以及攝像裝置40與雷達30之間之外參確定二維座標與第一圖像圖元點之間之關係。
示例性地,以靜止物體區域之座標範圍為((0,0),(3,0),(3,3),(0,3))為例,若二維座標(x,y)與第一圖像上圖元座標(x1,y1)相同,也即對應目標場景中A物體上之點a,點a之點雲資料轉換後得到之二維座標為(3,0),點a在第一圖像上之圖元座標也為(3,0),可以判斷到點雲 資料之二維座標(3,0)位於靜止物體區域之座標範圍為((0,0),(3,0),(3,3),(0,3)),則該二維座標對應靜止物體區域。若二維座標(x,y)與第一圖像上圖元座標(x1,y1)不相同,可以根據二維座標與第一圖像圖元點之間之關係,同理,確定二維座標是否落入座標範圍。
若是,步驟S43:記錄二維座標對應之點雲資料為第一點雲資料。
在本申請實施例中,藉由雷達30之點雲資料與第一圖像之間之比較處理,篩選出對應到靜止物體區域之點雲資料,也即篩選出掃描到靜止物體之點雲資料,並將其記錄為第一點雲資料。
若否,步驟S44:不記錄該二維座標對應之點雲資料為第一點雲資料。在一些實施例中,若二維座標不是位於座標範圍內,可以記錄該二維座標對應之點雲資料為第二點雲資料。
步驟S34:根據第一點雲資料得到第一速度範圍。
在本申請實施例中,雷達30掃描到目測場景中物體,根據掃描到該物體之點雲資料可以得到該物體之速度。也即接收機在接收到目標場景中物體反射該射頻波之點雲數據時,該點雲數據中攜帶著反射該射頻波之物體之速度資訊。
在本申請實施例中,第一點雲資料可以包括一個或一個以上。示例地,發射機所發射之射頻波掃描到地面上100個點,接收機接收到該100個點所反射回來之射頻波,該100個點雲資料為第一點雲資料。該100個點雲資料之速度最小值為5.5km/h,速度最大值為5.7km/h,則第一速度範圍為5.5km/h至5.7km/h。
步驟S35:根據第二點雲資料與第一速度範圍判斷目標場景中是否存在移動物體,其中,第二點雲資料為點雲資料集中除了第一點雲資料之外之點雲資料。
在一些實施例中,請參閱圖6,步驟S35具體可以包括:
步驟S61:判斷第二點雲資料之速度是否在第一速度範圍內。
若否,步驟S62:將第二點雲資料對應之第一物體記錄為移動物體。其中第一物體為目標場景中之物體。
若是,步驟S63:將第二點雲資料對應之第一物體記錄為靜止物體。
在本申請實施例中,若第二點雲資料之速度在第一速度範圍內,則該點雲資料所對應之目標場景之第一物體相對於靜止物體是靜止之。若第二點雲資料之速度不在第一速度範圍內,則該點雲資料所對應之目標場景之第一物體相對於靜止物體是運動。基於該靜止物體為地面,若第一物體相對於地面靜止,則該第一物體為靜止物體。若第一物體相對地面運動,則該第一物體為移動物體。
在一些實施例中,該方法還包括:檢測到第二點雲資料之速度不在第一速度範圍內,根據第二點雲資料對應之二維座標確定第一圖像之第一圖元。將第一圖元所在之區域確定為移動物體區域。
具體地,根據點雲資料所攜帶之速度,判斷雷達30所掃描到之物體是否為移動物體。即判斷第二點雲資料之速度是否在第一速度範圍內,若否,則該點雲資料所對應之目標場景之物體為移動物體。根據該點雲資料對應之二維座標在第一圖像上標識出移動物體區域。
在本申請實施例中,獲取同一時刻目標場景之點雲資料集與第一圖像,藉由影像處理識別出第一圖像中靜止物體所在之靜止物體區域。找出點雲資料集中對應到該靜止物體區域之點雲資料,也即找出點雲資料集中對應到該靜止物體之點雲資料,記錄該點雲資料為第一點雲資料。根據第一點雲資料之速度確定第一速度範圍,由此可以得到靜止物體之第一速度範圍。進而判斷除第一點雲資料之外之第二點雲資料之速度與第一速度範圍之間之關係,也即判斷第二點雲資料所對應之物體與靜止物體之間之相對關係。若第二點雲資料之速度在第一速度範圍內,則第二點雲資料所對應之物體相對靜止物體靜止,若第二點雲資料 之速度不在第一速度範圍內,則第二點雲資料所對應之物體相對靜止物體移動。該靜止物體選擇為地面,則可以確定相對地面移動之物體為移動物體。
本申請實施例還提供一種電腦可讀存儲介質,電腦可讀存儲介質存儲有至少一個指令,至少一個指令被處理器20執行時實現如上移動物體檢測方法。
最後應說明的是,以上實施例僅用以說明本發明之技術方案而非限制,儘管參照較佳實施例對本發明進行了詳細說明,本領域之普通技術人員應當理解,可以對本發明之技術方案進行修改或等同替換,而不脫離本發明技術方案之精神和範圍。
本技術領域之普通技術人員應當認識到,以上之實施方式僅是用來說明本申請,而並非用作為對本申請之限定,只要在本申請之實質精神範圍之內,對以上實施例所作之適當改變和變化都落在本申請要求保護之範圍之內。
S31~S35:步驟

Claims (9)

  1. 一種移動物體檢測方法,應用於電子設備,其改良在於,所述電子設備包括雷達和攝像裝置;所述方法包括:藉由所述雷達獲取所述目標場景之所述點雲資料集;藉由所述攝像裝置獲取所述目標場景之第一圖像,其中所述第一圖像和所述點雲資料集為同一時刻所獲得;識別出所述第一圖像中靜止物體區域;將所述點雲資料集中對應所述靜止物體區域之點雲資料記錄為第一點雲資料;根據所述第一點雲資料得到第一速度範圍;根據第二點雲資料與所述第一速度範圍判斷所述目標場景中是否存在移動物體,其中,所述第二點雲資料為所述點雲資料集中除了所述第一點雲資料之外之點雲資料。
  2. 如請求項1所述之移動物體檢測方法,其中,所述將所述點雲資料集中對應所述靜止物體區域之點雲資料記錄為第一點雲資料包括:將所述點雲資料集轉換成二維座標,得到二維座標集;針對所述二維座標集中每一所述二維座標,判斷所述二維座標是否對應所述靜止物體區域;若是,則記錄所述二維座標對應之點雲資料為第一點雲資料。
  3. 如請求項2所述之移動物體檢測方法,其中,所述判斷所述二維座標是否對應所述靜止物體區域包括:獲取所述靜止物體區域之座標範圍,其中所述靜止物體區域為地面所在區域;判斷所述二維座標是否位於所述座標範圍內; 若是,則所述二維座標對應所述靜止物體區域。
  4. 如請求項3所述之移動物體檢測方法,其中,所述根據所述第一點雲資料得到第一速度範圍包括:獲取每一所述第一點雲資料之第一速度;根據所述第一速度得到所述第一速度範圍。
  5. 如請求項1至4中任意一項所述之移動物體檢測方法,其中,所述根據第二點雲資料與所述第一速度範圍判斷所述目標場景中是否存在移動物體包括:判斷所述第二點雲資料之速度是否在所述第一速度範圍內;若否,則將所述第二點雲資料對應之第一物體記錄為所述移動物體,其中所述第一物體為所述目標場景中之物體。
  6. 如請求項5所述之移動物體檢測方法,其中,所述方法還包括:檢測到所述第二點雲資料之速度不在所述第一速度範圍內,根據所述第二點雲資料對應之二維座標確定所述第一圖像之第一圖元;將所述第一圖元所在之區域確定為移動物體區域。
  7. 一種移動物體檢測裝置,應用於電子設備,其改良在於,所述電子設備包括雷達和攝像裝置;所述裝置包括:獲取模組,用於藉由所述雷達獲取所述目標場景之所述點雲資料集,並藉由所述攝像裝置獲取所述目標場景之第一圖像,其中所述第一圖像和所述點雲資料集為同一時刻所獲得;識別模組,用於識別出所述第一圖像中靜止物體區域;記錄模組,用於將所述點雲資料集中對應所述靜止物體區域之點雲資料記錄為第一點雲資料; 得到模組,用於根據所述第一點雲資料得到第一速度範圍;判斷模組,用於根據第二點雲資料與所述第一速度範圍判斷所述目標場景中是否存在移動物體,其中,所述第二點雲資料為所述點雲資料集中除了所述第一點雲資料之外之點雲資料。
  8. 一種電腦可讀存儲介質,其改良在於,所述電腦可讀存儲介質存儲有至少一個指令,所述至少一個指令被處理器執行時實現如請求項1至6中任意一項所述之移動物體檢測方法。
  9. 一種電子設備,其改良在於,所述電子設備包括記憶體和處理器,所述記憶體用於存儲至少一個指令,所述處理器用於執行所述至少一個指令時實現如請求項1至6中任意一項所述之移動物體檢測方法。
TW111120593A 2022-06-02 2022-06-02 移動物體檢測方法、裝置、電子設備及存儲介質 TWI843116B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW111120593A TWI843116B (zh) 2022-06-02 2022-06-02 移動物體檢測方法、裝置、電子設備及存儲介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111120593A TWI843116B (zh) 2022-06-02 2022-06-02 移動物體檢測方法、裝置、電子設備及存儲介質

Publications (2)

Publication Number Publication Date
TW202349927A TW202349927A (zh) 2023-12-16
TWI843116B true TWI843116B (zh) 2024-05-21

Family

ID=90039239

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111120593A TWI843116B (zh) 2022-06-02 2022-06-02 移動物體檢測方法、裝置、電子設備及存儲介質

Country Status (1)

Country Link
TW (1) TWI843116B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170177937A1 (en) * 2015-12-18 2017-06-22 Iris Automation, Inc. Systems and methods for dynamic object tracking using a single camera mounted on a moving object
CN111340797A (zh) * 2020-03-10 2020-06-26 山东大学 一种激光雷达与双目相机数据融合检测方法及系统
TW202205857A (zh) * 2020-04-14 2022-02-01 美商內數位專利控股公司 用於基於視訊的點雲流的isobmff容器中的部分存取支援

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170177937A1 (en) * 2015-12-18 2017-06-22 Iris Automation, Inc. Systems and methods for dynamic object tracking using a single camera mounted on a moving object
CN111340797A (zh) * 2020-03-10 2020-06-26 山东大学 一种激光雷达与双目相机数据融合检测方法及系统
TW202205857A (zh) * 2020-04-14 2022-02-01 美商內數位專利控股公司 用於基於視訊的點雲流的isobmff容器中的部分存取支援

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
網路文獻 Gehrung, J. et al., "An Approach to Extract Moving Objects from Mls Data Using a Volumetric Background Representation", ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, May 30 2017 IV-1/W1 *
網路文獻 Gehrung, J. et al., "An Approach to Extract Moving Objects from Mls Data Using a Volumetric Background Representation", ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, May 30 2017 IV-1/W1。

Also Published As

Publication number Publication date
TW202349927A (zh) 2023-12-16

Similar Documents

Publication Publication Date Title
US20230072637A1 (en) Vehicle Drivable Area Detection Method, System, and Autonomous Vehicle Using the System
JP6696697B2 (ja) 情報処理装置、車両、情報処理方法およびプログラム
WO2019179417A1 (zh) 数据融合方法以及相关设备
WO2021253430A1 (zh) 绝对位姿确定方法、电子设备及可移动平台
EP3283843B1 (en) Generating 3-dimensional maps of a scene using passive and active measurements
CN110782465B (zh) 一种基于激光雷达的地面分割方法、装置及存储介质
WO2020243962A1 (zh) 物体检测方法、电子设备和可移动平台
CN109993192B (zh) 目标对象识别方法及装置、电子设备、存储介质
WO2021072710A1 (zh) 移动物体的点云融合方法、系统及计算机存储介质
CN112513679B (zh) 一种目标识别的方法和装置
CN111045000A (zh) 监测系统和方法
CN112347999A (zh) 障碍物识别模型训练方法、障碍物识别方法、装置及系统
US20220237533A1 (en) Work analyzing system, work analyzing apparatus, and work analyzing program
CN113743171A (zh) 目标检测方法及装置
US20220215197A1 (en) Data processing method and apparatus, chip system, and medium
WO2022198637A1 (zh) 点云滤噪方法、系统和可移动平台
Gazis et al. Examining the sensors that enable self-driving vehicles
WO2022083529A1 (zh) 一种数据处理方法及装置
CN113376643B (zh) 距离检测方法、装置及电子设备
CN114565906A (zh) 障碍物检测方法、装置、电子设备及存储介质
US11421997B2 (en) Map construction system and map construction method
TWI843116B (zh) 移動物體檢測方法、裝置、電子設備及存儲介質
CN114026461A (zh) 构建点云帧的方法、目标检测方法、测距装置、可移动平台和存储介质
US20220309693A1 (en) Adversarial Approach to Usage of Lidar Supervision to Image Depth Estimation
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质