TW202349264A - 三維目標檢測方法、電子設備及計算機可讀存儲媒體 - Google Patents

Abstract

本申請提供了一種三維目標檢測方法、電子設備及計算機可讀存儲媒體。所述方法包括：獲取訓練圖像；構建並訓練語義分割模型得到訓練完成的語義分割模型；將檢測圖像輸入訓練完成的語義分割模型，得到物體類別及物體位置；從三維物體模型庫中確定物件模型；根據深度圖像得到物體的點雲數據及深度相機到物件模型的距離；根據點雲數據及物件模型，確定物件模型的旋轉角度；根據深度相機到物件模型的距離、旋轉角度及物體的位置，確定物件模型在三維空間中的位置，從而確定物體在三維空間中的位置。本申請能夠快速確定物體在三維空間中的位置。

Description

三維目標檢測方法、電子設備及計算機可讀存儲媒體

本申請涉及計算機視覺和深度學習技術、尤其涉及一種三維目標檢測方法、電子設備及計算機可讀存儲媒體。

在自動駕駛領域中，自動駕駛系統會利用不同種類的傳感器檢測車輛前方或附近的物體，並做出對應的決策。例如，自動駕駛系統需要快速精準的檢測出物體的類別及三維位置，然後做出對應的決策以確保行車安全。然而，目前利用三維目標檢測算法檢測出物體的類別及位置，並利用回歸運算得到物體的三維位置，然而回歸運算在預測上需要花費很長的時間。此外，在進行三維目標檢測時，現有自動駕駛系統利用光達或者雷達取得深度信息來檢測車輛與前方物體的距離，但目前使用光達或者雷達的成本高昂、視場範圍比較小。

鑒於以上內容，有必要提供一種三維目標檢測方法、電子設備及計算機可讀存儲媒體，以解決物體檢測效率慢及成本高的問題。

本申請實施例提供了一種三維目標檢測方法，所述三維目標檢測方法包括：獲取訓練圖像；基於全卷積網路構建語義分割模型；將所述訓練圖像輸入所述語義分割模型，利用所述語義分割模型中的卷積層和池化層進行多次卷積及池化，得到多個不同尺寸的特徵圖；將所述多個不同尺寸的特徵圖進行上採樣，得到和所述訓練圖像相同尺寸的第一圖像，對所述第一圖像進行像素分類並優化分類損失，輸出所述訓練圖像中物體的物體類別及所述物體的位置，得到訓練完成的語義分割模型；獲取檢測圖像及所述檢測圖像相應的深度圖像，其中，所述深度圖像藉由深度相機獲取；將所述檢測圖像輸入所述訓練完成的語義分割模型，得到所述檢測圖像中物體的物體類別及物體位置；根據所述物體類別，從所述三維物體模型庫中確定與所述物體對應的物件模型；根據所述深度圖像得到所述物體的點雲數據及所述深度相機到所述物件模型的距離；根據所述點雲數據及所述物件模型，確定所述物件模型的旋轉角度；根據所述深度相機到所述物件模型的距離、所述旋轉角度及所述物體的位置，確定所述物件模型在三維空間中的位置。

在一種可選的實施方式中，所述將所述多個不同尺寸的特徵圖進行上採樣，得到和所述訓練圖像相同尺寸的第一圖像包括：將所述多個不同尺寸的特徵圖進行上採樣後，進行反卷積運算，得到運算結果；對所述運算結果進行加和運算，得到和所述訓練圖像相同尺寸的第一圖像。

在一種可選的實施方式中，所述根據所述物體類別，從所述三維物體模型庫中確定與所述物體對應的物件模型包括：根據所述物體類別查找所述三維物體模型庫，確定所述物體的物件模型，所述三維物體模型庫包括物體類別及與物體類別對應的物件模型。

在一種可選的實施方式中，所述根據所述深度圖像得到所述物體的點雲數據及所述深度相機到所述物件模型的距離包括：根據所述深度圖像獲取所述物體的深度值及座標，根據所述深度值確定所述深度相機到所述物件模型的距離；根據所述座標和所述深度相機的內外參矩陣變換公式得到所述點雲數據。

在一種可選的實施方式中，所述根據所述點雲數據及所述物件模型，確定所述物件模型的旋轉角度包括：根據所述點雲數據，得到物體輪廓的第一點雲數據；將所述物件模型轉化爲第二點雲數據；將所述第一點雲數據與所述第二點雲數據進行點雲匹配，將所述第一點雲數據中物體輪廓的點擬合成第一平面並計算所述第一平面的曲率，將所述第二點雲數據的點擬合成第二平面並計算所述第二平面的曲率；計算所述第一平面的曲率與所述第二平面的曲率之差得到曲率偏差值，根據所述曲率偏差值確定所述物體的物件模型的旋轉角度。

在一種可選的實施方式中，所述將所述物件模型轉化爲第二點雲數據包括：

利用點雲庫中的多個函數對所述物體的物件模型進行處理並生成所述第二點雲數據。

在一種可選的實施方式中，所述根據所述深度相機到所述物件模型的距離、所述旋轉角度及所述物體的位置，確定所述物件模型在三維空間中的位置包括：根據所述旋轉角度確定所述物件模型在三維空間中的方向；根據所述物件模型在所述三維空間中的方向、所述深度相機到所述物件模型的距離及所述物體的位置，確定所述物件模型在三維空間中的位置。

在一種可選的實施方式中，所述方法還包括：將所述物體的物件模型在三維空間中的位置作爲所述物體在三維空間中的位置，輸出所述物體類別及所述物體在三維空間中的位置。

本申請實施例還提供了一種電子設備，所述電子設備包括處理器和記憶體，所述處理器用於執行所述記憶體中存儲的計算機程式時實現所述的三維目標檢測方法。

本申請實施例還提供了一種計算機可讀存儲媒體，所述計算機可讀存儲媒體上存儲有計算機程式，所述計算機程式被處理器執行時實現所述的三維目標檢測方法。

本申請的技術方案成本低且不需進行複雜的運算，能快速的得到物體的三維位置。

爲了能夠更清楚地理解本申請的上述目的、特徵和優點，下面結合附圖和具體實施例對本申請進行詳細描述。需要說明的是，此處所描述的具體實施例僅用以解釋本申請，並不用於限定本申請。

在下面的描述中闡述了很多具體細節以便於充分理解本申請，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬本申請保護的範圍。

除非另有定義，本文所使用的所有的技術和科學術語與屬本申請的技術領域的技術人員通常理解的含義相同。本文中在本申請的說明書中所使用的術語只是爲了描述具體的實施例的目的，不是旨在於限制本申請。

參閱圖1所示，爲本申請實施例提供的一種三維目標檢測方法的流程圖。所述方法應用於電子設備（例如，圖4所示的電子設備4）中，所述電子設備可以是任何一種可與用戶進行人機交互的電子產品，例如，個人計算機、平板電腦、智能手機、個人數位助理（Personal Digital Assistant，PDA）、遊戲機、交互式網路電視（Internet Protocol Television，IPTV）、智能穿戴式裝置等。

所述電子設備是一種能夠按照事先設定或存儲的指令，自動進行數值計算和/或 信息處理的設備，其硬體包括，但不限於：微處理器、專用集成電路(Application Specific Integrated Circuit，ASIC)、可編程門陣列(Field－Programmable Gate Array，FPGA)、數位訊號處理器(Digital Signal Processor，DSP)、嵌入式設備等。

所述電子設備還可以包括網路設備和/或用戶設備。其中，所述網路設備包括，但不限於單個網路伺服器、多個網路伺服器組成的伺服器組或基於雲計算（Cloud Computing）的由大量主機或網路伺服器構成的雲。

所述電子設備所處的網路包括但不限於網際網路、廣域網、城域網、區域網、虛擬專用網路（Virtual Private Network，VPN）等。

所述方法具體包括如下：

101，獲取訓練圖像。

在本申請的至少一個實施例中，所述訓練圖像包括，但不限於在不同時間段城市、鄉村等各類公路上的場景圖像。在本實施例中，所述訓練圖像包括Pascal VOC數據集、Cityscapes數據集中的圖像。

在本申請的至少一個實施例中，所述方法還包括：對所述訓練圖像進行數據增強操作，以擴增不同的訓練圖像。所述數據增強操作包括，但不限於翻轉圖像、旋轉圖像、縮放圖像、裁剪圖像。需要說明的是，藉由所述數據增強操作可以得到更多不同場景下的車輛前方圖像作爲訓練樣本，對語義分割模型學習進行訓練與優化，使所述語義分割模型更具魯棒性。

102，構建語義分割模型並利用訓練圖像訓練所述語義分割模型，得到訓練完成的語義分割模型。

在本申請的至少一個實施例中，構建語義分割模型包括：

基於全卷積網路構建語義分割模型。

基於所述全卷積網路，能夠對輸入全卷積網路的圖像中的多個目標進行分割識別。例如，將一張圖像輸入至所述語義分割模型，所述圖像中包括多個目標。例如車、人、小狗等。所述語義分割模型對所述圖像中的多個目標進行分割並識別後，輸出所述訓練圖像中物體的物體類別及所述物體的位置。

在本申請的至少一個實施例中，訓練語義分割模型得到訓練完成的語義分割模型的方法包括：

將所述訓練圖像輸入所述語義分割模型，利用所述語義分割模型中的卷積層和池化層進行多次卷積及池化，得到多個不同尺寸的特徵圖；

將多個所述不同尺寸的特徵圖進行上採樣，再進行反卷積運算，得到運算結果；

對所述運算結果進行加和運算，得到和所述訓練圖像相同尺寸的第一圖像；

對所述第一圖像進行像素分類，並計算和優化分類損失，輸出所述訓練圖像中物體的物體類別及所述物體的位置得到訓練完成的語義分割模型。在本實施例中，採用softmax交叉熵函數作爲損失函數對所述語義分割模型進行訓練。例如，如圖2所示，圖2爲本申請實施例提供的經過所述訓練完成的語義分割模型分割後的圖像。

103，獲取檢測圖像及與所述檢測圖像對應的深度圖像。

在本申請的至少一個實施例中，利用安裝在車輛內部或外部的攝像頭進行拍攝，將拍攝到的車輛前方的圖像作爲檢測圖像。

在本申請的至少一個實施例中，獲取與所述檢測圖像對應的深度圖像包括：

使用深度相機獲取深度圖像，利用安裝在車輛上的深度相機拍攝的車輛前方的圖像作爲深度圖像。需要說明的是，當利用安裝在車輛內部或者外部的攝像頭拍攝車輛前方的圖像作爲檢測圖像時，所述深度相機同時拍攝車輛前方圖像作爲深度圖像，所述深度圖像與所述檢測圖像對應。例如，利用不同類型的攝像頭針對車輛前方的同一對象分別進行拍攝以得到檢測圖像與深度圖像。

需要說明的是，所述深度相機爲現有的深度相機，所述方法還包括：從深度相機獲取深度圖像的深度信息。

104，根據所述物體類別，從所述三維物體模型庫中確定與所述物體對應的物件模型。

在本申請的至少一個實施例中，所述根據所述物體類別，從所述三維物體模型庫中確定與所述物體對應的物件模型包括：

建立物體類別與物件模型相對應的三維物體模型庫，其中，所述三維物體模型庫包括物體類別及與物體類別對應的物件模型；

根據所述物體類別查找所述三維物體模型庫確定所述物體的物件模型。參考圖3所示，爲本申請實施例提供的三維物體模型庫示意圖。當物體類別爲小車時，基於三維物體模型庫查找小車的物件模型；當物體類別爲小貨車時，基於三維物體模型庫查找小貨車的物件模型；當物體類別爲電動車時，基於三維物體模型庫查找電動車的物件模型；當物體類別爲大型巴士時，基於三維物體模型庫查找大型巴士的物件模型。

在本申請實施例中，所述物體的物件模型包括物體的三維模型。

105，根據所述深度圖像得到所述點雲數據及所述深度相機到所述物件模型的距離。

在本申請的至少一個實施例中，確定所述深度相機到所述物件模型的距離包括：根據所述深度圖像獲取所述物體的深度值；根據所述深度值確定所述深度相機到所述物件模型的距離。在本實施例中，所述深度值從深度相機中獲得。具體地，在利用深度相機拍攝得到深度圖像時，深度相機顯示深度值，所述深度值爲所述深度相機到所述物體的距離，在本實施例中，將所述深度相機到所述物體的距離作爲所述深度相機到所述物體的物件模型的距離。

在本申請的至少一個實施例中，獲取所述點雲數據的方法包括：

根據所述深度圖像獲取所述物體的座標集；

根據所述座標集和所述深度相機的內外參矩陣變換公式得到所述物體的點雲數據。在本實施例中，所述物體的座標集爲物體的像素座標集；所述物體的點雲數據爲所述物體的座標集中的座標對應的世界座標。所述物體的點雲數據用於表徵物體的輪廓的數據。將所述物體的座標集中的座標轉化爲對應的世界座標需經過內外參矩陣變換公式得到，所述內外參矩陣變換公式爲：

其中 爲世界座標，用於表示爲一個像素座標的點雲， 爲焦距， 爲深度值， 爲所述二維邊線框內物體的座標集中任意一像素點的像素座標。利用上述公式將所述做座標集中的所有座標逐一轉化爲世界座標，得到所述物體的點雲數據。

106，根據所述點雲數據及所述物件模型，確定所述物件模型的旋轉角度。

在本申請的至少一個實施例中，所述根據所述點雲數據及所述物件模型，確定所述物件模型的旋轉角度包括：

根據所述點雲數據，得到所述物體輪廓的第一點雲數據；

將所述物件模型轉化爲第二點雲數據； 將所述第一點雲數據與所述第二點雲數據進行點雲匹配，將所述第一點雲數據中物體輪廓的點擬合成第一平面並計算所述第一平面的曲率，將所述第二點雲數據的點擬合成第二平面並計算所述第二平面的曲率；

計算所述第一平面的曲率與所述第二平面的曲率之差得到曲率偏差值，根據所述曲率偏差值確定所述物體的物件模型的旋轉角度。

在本申請的至少一個實施例中，所述將所述物體的物件模型轉化爲第二點雲數據包括：

利用點雲庫（Point Cloud Library，PCL）中的多個函數對所述物體的物件模型進行處理並生成所述物體的物件模型的點雲數據作爲第二點雲數據。

107，確定所述物體在三維空間中的位置。

在本申請的至少一個實施例中，根據所述旋轉角度確定所述物件模型在所述三維空間中的方向，根據所述物件模型在所述三維空間中的方向、所述深度相機到所述物件模型的距離及所述物體的位置，確定所述物件模型在三維空間中的位置。具體地，將所述物件模型在三維空間中的位置作爲所述物體在三維空間中的位置，輸出所述物體類別及所述物體在三維空間中的位置。例如，將所述物體類別及所述物體在三維空間中的位置顯示於一顯示屏上。

以上所述，僅是本申請的具體實施方式，但本申請的保護範圍並不局限於此，對於本領域的普通技術人員來說，在不脫離本申請創造構思的前提下，還可以做出改進，但這些均屬本申請的保護範圍。

如圖4所示，圖4爲本申請實施例提供的一種電子設備結構示意圖。所述電子設備4包括記憶體401、至少一個處理器402、存儲在所述記憶體401中並可在所述至少一個處理器402上運行的計算機程式403及至少一條通訊匯流排404。

本領域技術人員可以理解，圖4所示的示意圖僅僅是所述電子設備4的示例，並不構成對所述電子設備4的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如所述電子設備4還可以包括輸入輸出設備、網路接入設備等。

所述至少一個處理器402可以是中央處理單元（Central Processing Unit，CPU），還可以是其他通用處理器、數位訊號處理器（Digital Signal Processor，DSP）、專用集成電路（Application Specific Integrated Circuit，ASIC）、現場可編程門陣列（Field-Programmable Gate Array，FPGA）或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬體組件等。該至少一個處理器402可以是微處理器或者該至少一個處理器402也可以是任何常規的處理器等，所述至少一個處理器402是所述電子設備4的控制中心，利用各種介面和線路連接整個電子設備4的各個部分。

所述記憶體401可用於存儲所述計算機程式403，所述至少一個處理器402藉由運行或執行存儲在所述記憶體401內的計算機程式403，以及調用存儲在記憶體401內的數據，實現所述電子設備4的各種功能。所述記憶體401可主要包括存儲程式區和存儲數據區，其中，存儲程式區可存儲操作系統、至少一個功能所需的應用程式（比如聲音播放功能、圖像播放功能等）等；存儲數據區可存儲根據電子設備4的使用所創建的數據（比如音頻數據）等。此外，記憶體401可以包括非易失性記憶體，例如硬碟、內存、插接式硬碟，智能存儲卡（Smart Media Card，SMC），安全數位（Secure Digital，SD）卡，閃存卡（Flash Card）、至少一個磁盤記憶體件、閃存器件、或其他非易失性固態記憶體件。

所述電子設備4集成的模塊/單元如果以軟件功能單元的形式實現並作爲獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲媒體中。基於這樣的理解，本申請實現上述實施例方法中的全部或部分流程，也可以藉由計算機程式來指令相關的硬體來完成，所述的計算機程式可存儲於一計算機可讀存儲媒體中，該計算機程式在被處理器執行時，可實現上述各個方法實施例的步驟。其中，所述計算機程式包括計算機程式代碼，所述計算機程式代碼可以爲源代碼形式、對象代碼形式、可執行文件或某些中間形式等。所述計算機可讀媒體可以包括：能夠攜帶所述計算機程式代碼的任何實體或裝置、記錄媒體、隨身碟、移動硬碟、磁碟、光盤、計算機記憶體以及唯讀記憶體（Read-Only Memory，ROM）。

對於本領域技術人員而言，顯然本申請不限於上述示範性實施例的細節，而且在不背離本申請的精神或基本特徵的情況下，能夠以其他的具體形式實現本申請。因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本申請的範圍由所附請求項而不是上述說明限定，因此旨在將落在請求項的等同要件的含義和範圍內的所有變化涵括在本申請內。不應將請求項中的任何附關聯圖標記視爲限制所涉及的請求項。

最後應說明的是，以上實施例僅用以說明本申請的技術方案而非限制，儘管參照較佳實施例對本申請進行了詳細說明，本領域的普通技術人員應當理解，可以對本申請的技術方案進行修改或等同替換，而不脫離本申請技術方案的精神和範圍。

4:電子設備 401:記憶體 402:處理器 403:計算機程式 404:通訊匯流排 101-107:步驟

圖1爲本申請實施例提供的一種三維目標檢測方法的流程圖。

圖2爲本申請實施例提供的經過所述訓練完成的語義分割模型分割後的圖像。

圖3爲本申請實施例提供的三維物體模型庫示意圖。

圖4爲本申請實施例提供的一種電子設備的結構示意圖。

101-107:步驟

Claims (10)

1. 一種三維目標檢測方法，其中，所述三維目標檢測方法包括： 獲取相機拍攝的檢測圖像； 將所述檢測圖像輸入至訓練完成的目標檢測模型，利用所述目標檢測模型確定所述檢測圖像中物體的物體類別、物體的二維邊線框及物體的旋轉角度； 根據所述物體類別，查找三維物體模型庫確定與所述物體對應的物件模型及與所述物件模型對應的三維邊線框； 根據所述物體的二維邊線框的大小、所述檢測圖像的圖像信息及所述相機的焦距確定所述相機到所述物件模型的距離； 根據所述物體的旋轉角度、所述相機到所述物件模型的距離及所述三維邊線框確定所述物件模型在三維空間中的位置，將所述物件模型在三維空間中的位置作爲所述物體在三維空間中的位置。
2. 如請求項1所述的三維目標檢測方法，其中，所述方法還包括： 構建所述目標檢測模型，基於Single Shot MultiBox Detector（SSD）網路改進所述目標檢測模型，其中，所述SSD網路包括backbone網路及第一head網路； 所述基於SSD網路進行改進包括： 在所述SSD網路中的所述backbone網路後新增第二head網路； 改進後，所述目標檢測模型包括所述backbone網路、所述第一head網路及所述第二head網路。
3. 如請求項2所述的三維目標檢測方法，其中，所述方法還包括： 獲取訓練樣本圖像； 利用所述目標檢測模型中所述backbone網路對所述訓練樣本圖像進行特徵提取，得到所述訓練樣本圖像的多個不同尺度的訓練特徵圖； 在所述多個不同尺度的訓練特徵圖上生成多個第一默認框及將每個不同尺度的訓練特徵圖輸入所述第一head網路進行卷積，輸出所述多個第一默認框內物體的物體類別的得分和所述多個第一默認框的位置； 將所述多個第一默認框進行非極大值抑制運算，輸出所述訓練樣本圖像中物體的二維邊線框，其中，所述訓練樣本圖像中物體的二維邊線框包括所述二維邊線框內的物體類別及所述二維邊線框的位置； 將每個不同尺度的訓練特徵圖輸入所述第二head網路進行卷積，輸出所述訓練樣本圖像中物體的旋轉角度； 最小化所述第一head網路及所述第二head網路的損失值，得到訓練完成的目標檢測模型。
4. 如請求項3所述的三維目標檢測方法，其中，所述方法還包括： 對所述訓練樣本圖像進行數據增強處理以增加所述訓練樣本圖像，其中所述數據增強處理包括對所述訓練樣本圖像進行翻轉、旋轉、縮放比例、移位處理。
5. 如請求項1所述的三維目標檢測方法，其中，所述根據所述物體類別，查找三維物體模型庫確定與所述物體對應的物件模型及與所述物件模型對應的三維邊線框包括： 建立三維物體模型庫，其中，所述三維物體模型庫包括與不同物體類別對應的多個物件模型及與每個物件模型對應的三維邊線框，所述三維邊線框包括所述物體類別對應的長、寬、高。
6. 如請求項1至5中任一項所述的三維目標檢測方法，其中，所述根據所述物體的二維邊線框的大小、所述檢測圖像的圖像信息及所述相機的焦距確定所述相機到所述物件模型的距離包括： 根據所述物體的二維邊線框的寬度及/或長度、所述相機焦距、所述檢測圖像的分辨率及像素寬度計算得到所述相機到所述物件模型的距離。
7. 如請求項1至5中任一項所述三維目標檢測方法，其中，所述根據所述物體的旋轉角度、所述相機到所述物件模型的距離及所述三維邊線框確定所述物件模型在三維空間中的位置包括： 將所述物體的旋轉角度作爲所述物件模型的旋轉角度； 根據所述物件模型的旋轉角度確定所述物件模型在所述三維空間中的方向； 根據所述物件模型在所述三維空間中的方向、所述相機到所述物件模型的距離及所述三維邊線框，確定所述物件模型在三維空間中的位置。
8. 如請求項7所述的三維目標檢測方法，其中，所述方法還包括： 輸出所述物體類別及所述物體在三維空間中的位置並將所述物體類別及所述物體在三維空間中的位置顯示於顯示屏。
9. 一種電子設備，其中，所述電子設備包括處理器和記憶體，所述處理器用於執行記憶體中存儲的計算機程式以實現如請求項1至8中任意一項所述的三維目標檢測方法。
10. 一種計算機可讀存儲媒體，其中，所述計算機可讀存儲媒體存儲有至少一個指令，所述至少一個指令被處理器執行時實現如請求項1至8任意一項所述的三維目標檢測方法。

Images