TWI817579B - 行車安全輔助方法、電子設備及電腦可讀存儲媒體 - Google Patents
行車安全輔助方法、電子設備及電腦可讀存儲媒體 Download PDFInfo
- Publication number
- TWI817579B TWI817579B TW111123317A TW111123317A TWI817579B TW I817579 B TWI817579 B TW I817579B TW 111123317 A TW111123317 A TW 111123317A TW 111123317 A TW111123317 A TW 111123317A TW I817579 B TWI817579 B TW I817579B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- interest
- vehicle
- dimensional
- depth
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 58
- 230000011218 segmentation Effects 0.000 claims description 48
- 238000013527 convolutional neural network Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 230000035515 penetration Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Steering Control In Accordance With Driving Conditions (AREA)
Abstract
本申請提供一種行車安全輔助方法、電子設備及電腦可讀存儲媒體。所述方法包括：當檢測到車輛行駛時，獲取車輛前方的RGB圖像；基於預先訓練完成的深度估計模型對RGB圖像進行處理得到RGB圖像對應的深度圖像；將深度圖像轉換為三維點雲圖；根據車輛的尺寸，從三維點雲圖中確定車輛的三維感興趣區域；將三維感興趣區域轉換為二維感興趣區域；判斷二維感興趣區域是否包括障礙物，若二維感興趣區域不包括障礙物，控制車輛繼續行駛；若二維感興趣區域包括障礙物，控制車輛發出警報。本申請能夠提高行車安全及駕駛員的駕駛體驗。
Description
本申請涉及自動駕駛領域，尤其涉及一種行車安全輔助方法、電子設備及電腦可讀存儲媒體。
在自動駕駛領域，當車輛行駛時，需要檢測車輛前進的路上有沒有障礙物，若有障礙物則會啟動相應的措施，例如緊急刹車或發出警報等，以保證行車安全。然而，在檢測障礙物時，車輛無法準確地知道障礙物所在範圍，導致行車不安全的問題且影響使用者的駕駛體驗。
鑒於以上內容，有必要提供一種行車安全輔助方法、電子設備及電腦可讀存儲媒體，以解決車輛行車過程中因障礙物無法精準檢測而導致的安全問題。
本申請實施例提供一種行車安全輔助方法，所述行車安全輔助方法包括：當檢測到車輛行駛時，獲取車輛前方的RGB圖像；基於預先訓練完成的深度估計模型對所述RGB圖像進行處理得到所述RGB圖像對應的深度圖像；將所述深度圖像轉換為三維點雲圖；根據所述車輛的尺寸，從所述三維點雲圖中確定車輛的三維感興趣區域；基於所述RGB圖像對應的相機的內參及所述三維感興趣區域，將所述三維感興趣區域轉換為所述二維感興趣區域；判斷所述二維感興趣區域是否包括障礙物，若所述二維感興趣區域不包括障礙物，控制所述車輛繼續行駛；若所述二維感興趣區域包括障礙物，控制所述車輛發出警報。
在一種可選的實施方式中，所述基於所述RGB圖像對應的相機的內參及所述三維感興趣區域，將所述三維感興趣區域轉換為所述二維感興趣區域包
括：將所述三維感興趣區域透過公式
；
轉換為
所述二維感興趣區域；其中，(x 1 ，y 1 )表示所述二維感興趣區域的座標，K表示相機的內參，B表示所述三維感興趣區域的座標(x，y，z)，f x 表示相機的像平面中u軸方向的尺度因數，f y 表示相機的像平面中v軸方向的尺度因數，(c x ，c y )為相機的像平面的中心點座標。
在一種可選的實施方式中，所述根據所述車輛的尺寸，從所述三維點雲圖中確定車輛的三維感興趣區域包括：根據所述車輛的長度、寬度及高度從所述三維點雲圖中確定所述車輛的三維感興趣區域。
在一種可選的實施方式中，所述深度估計模型包括深度估計卷積神經網路及位姿估計卷積神經網路，所述方法還包括：訓練所述深度估計模型包括：獲取訓練圖像；將所述訓練圖像輸入所述深度估計卷積神經網路，得到所述訓練圖像對應的深度圖像；將所述訓練圖像的相鄰幀圖像輸入所述位姿估計卷積神經網路，得到所述相鄰幀圖像的相機位姿信息；基於所述深度圖像、所述相機位姿信息和所述RGB圖像對應的相機的內參重建所述訓練圖像，得到重建圖像；利用預設的損失函數計算得到所述訓練圖像與所述重建圖像之間的損失值，調整所述深度估計模型的參數以使得所述損失值最小，得到訓練完成的深度估計模型。
在一種可選的實施方式中，所述基於所述深度圖像、相機位姿信息和所述RGB圖像對應的相機的內參重建所述訓練圖像，得到重建圖像包括：
透過公式：
，計算得到所述重建圖像，其中，P t+1表
示所述重建圖像，K表示所述相機的內參，
表示所述相鄰幀圖像的相機位
姿信息，
(P t )表示像素座標點P t 的深度值，P t 表示所述訓練圖像的像素座標點。
在一種可選的實施方式中，所述將所述深度圖像轉化為三維點雲
圖包括：基於所述RGB圖像對應的相機的內參以及所述深度圖像，將所述深度
圖像透過公式
；
轉換為三維點雲圖；其中，D
表示所述深度圖像的深度值，(a 1 ，b 1 )表示所述深度圖像中深度值對應的座標，K表示相機的內參，U表示三維點雲圖中點的座標(a，b，c)，f x 表示相機的像平面中u軸方向的尺度因數，f y 表示相機的像平面中v軸方向的尺度因數，(c x ，c y )為相機的像平面的中心點座標。
本申請實施例還提供一種行車安全輔助方法，所述行車安全輔助方法包括：當檢測到車輛行駛時，獲取車輛前方的RGB圖像；基於預先訓練完成的深度估計模型對所述RGB圖像進行處理得到所述RGB圖像對應的深度圖像；將所述深度圖像轉換為三維點雲圖；根據所述車輛的尺寸，從所述三維點雲圖中確定車輛的三維感興趣區域；基於所述RGB圖像對應的相機的內參及所述三維感興趣區域，將所述三維感興趣區域轉換為二維感興趣區域；判斷所述二維感興趣區域是否包括障礙物，若所述二維感興趣區域包括障礙物，獲取所述二維感興趣區域的圖像，對所述二維感興趣區域的圖像進行語義分割處理，得到分割結果，其中，所述分割結果包括所述二維感興趣區域中障礙物的物體類別；根據所述分割結果判斷所述障礙物是否為目標對象，若所述障礙物為目標對象，控制所述車輛繼續行駛；若所述障礙物不為所述目標對象，控制所述車輛發出警報。
在一種可選的實施方式中，所述對所述二維感興趣區域的圖像進行語義分割，得到分割結果包括：將所述二維感興趣區域的圖像輸入至預先訓練好的語義分割模型中，得到二維感興趣區域中障礙物的物體類別，其中，所述預先訓練好的語義分割為基於全卷積網路構建的語義分割模型。
本申請實施例還提供一種電子設備，所述電子設備包括處理器和記憶體，所述處理器用於執行記憶體中存儲的電腦程式以實現所述的行車安全輔助方法。
本申請實施例還提供一種電腦可讀存儲媒體，所述電腦可讀存儲媒體存儲有至少一個指令，所述至少一個指令被處理器執行時實現所述的行車安全輔助方法。
本申請實施例中所述的行車安全輔助方法、電子設備及存儲媒體，透過獲取車輛前方的RGB圖像及RGB圖像對應的深度圖像；將深度圖像轉換為三維點雲圖；根據車輛的尺寸，從三維點雲圖中確定車輛的三維感興趣區域；將三維感興趣區域轉換為二維感興趣區域，判斷二維感興趣區域是否包括障礙物，若二維感興趣區域不包括障礙物，控制車輛繼續行駛；若二維感興趣區域包括障礙物，控制車輛發出警報。透過將三維感興趣區域轉換為二維感興趣區域，可以在獲取到的車輛前方RGB圖像上直接判斷二維感興趣區域中是否存在障礙物，減少了車輛在行駛過程中判斷前方障礙物的時間，提高了行車安全及駕駛員的駕駛體驗。
4:電子設備
401:記憶體
402:處理器
403:電腦程式
404:通訊匯流排
201-208:步驟
301-310:步驟
圖1為本申請實施例一提供的一種行車安全輔助方法的應用場景圖。
圖2為本申請實施例二提供的一種行車安全輔助方法的流程圖。
圖3為本申請實施例三提供的一種行車安全輔助方法的流程圖。
圖4為本申請實施例四提供的一種電子設備的結構示意圖。
為了能夠更清楚地理解本申請的上述目的、特徵和優點，下面結合附圖和具體實施例對本申請進行詳細描述。需要說明的是，此處所描述的具體實施例僅用以解釋本申請，並不用於限定本申請。
在下面的描述中闡述了很多具體細節以便於充分理解本申請，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬本申請保護的範圍。
以下，術語“第一”、“第二”僅用於描述目的，而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術特徵的數量。由此，限定有“第一”、“第二”的特徵可以明示或者隱含地包括一個或者更多個該特徵。在本申請的一些實施例的描述中，“示例性的”或者“例如”等詞用於表示作例子、例證或說明。本申請的一些實施例中被描述為“示例性的”或者“例如”
的任何實施例或設計方案不應被解釋為比其它實施例或設計方案更優選或更具優勢。確切而言，使用“示例性的”或者“例如”等詞旨在以具體方式呈現相關概念。
除非另有定義，本文所使用的所有的技術和科學術語與屬本申請的技術領域的技術人員通常理解的含義相同。本文中在本申請的說明書中所使用的術語只是為了描述具體的實施例的目的，不是旨在於限制本申請。
實施例一
參閱圖1所示，為本申請實施例提供的一種行車安全輔助方法的應用場景圖。所述方法應用領域為自動駕駛領域，圖中的二維方框為車輛處於直線行駛狀態的二維感興趣區域，只有在二維感興趣區域內的物體才會被判斷是否為障礙物，其他區域則不會進行判斷。
實施例二
參閱圖2所示，為本申請實施例提供的一種行車安全輔助方法的流程圖。所述方法可以應用於車輛中，對於需要進行行車安全輔助的車輛，可以直接在車輛上集成本申請的方法所提供的用於行車安全輔助的功能，或者以軟件開發工具包(Software Development Kit，SDK)的形式運行在車輛上。
在本申請的至少一個實施例中，所述方法還可以應用於電子設備(例如，圖4所示的電子設備4)中，電子設備與車輛進行連接，從而實現本申請的方法。所述電子設備可以是任何一種可與用戶進行人機交互的電子產品，例如，個人電腦、平板電腦、智能手機、個人數位助理(Personal Digital Assistant，PDA)、遊戲機、交互式網路電視(Internet Protocol Television，IPTV)、穿戴式智能裝置等。
所述電子設備是一種能夠按照事先設定或存儲的指令，自動進行數值計算和/或信息處理的設備，其硬體包括，但不限於：微處理器、專用集成電路(Application Specific Integrated Circuit，ASIC)、可編程門陣列(Field-Programmable Gate Array，FPGA)、數位訊號處理器(Digital Signal Processor，DSP)、嵌入式設備等。
所述電子設備還可以包括網路設備和/或用戶設備。其中，所述網路設備包括，但不限於單個網路伺服器、多個網路伺服器組成的伺服器組或基於雲計算(Cloud Computing)的由大量主機或網路伺服器構成的雲。
所述電子設備所處的網路包括，但不限於：網際網路、廣域網、城域網、區域網路、虛擬專用網路(Virtual Private Network，VPN)等。
所述方法具體包括如下。
步驟201，當檢測到車輛行駛時，獲取車輛前方的RGB圖像。
在本申請的至少一個實施例中，檢測車輛是否處於行駛狀態包括：檢測車輛儀錶盤上的轉速表的指針是否指在“0”轉速刻度上，若轉速表的指針指在“0”轉速刻度上，確定車輛處於非行駛狀態。若轉速表的指針不指在“0”轉速刻度上，確定車輛處於行駛狀態。在本實施例中，還可以透過檢測車輛的速度判斷車輛是否處於行駛狀態。
在本申請的至少一個實施例中，獲取車輛前方的RGB圖像包括：透過相機獲取車輛前方的RGB圖像。例如，利用安裝在車輛上的相機拍攝車輛前方的圖像作為RGB圖像。
在本申請的至少一個實施例中，當檢測到車輛行駛時，啟動車輛的相機對車輛前方場景進行拍攝，獲取車輛前方的RGB圖像。
步驟202，基於預先訓練完成的深度估計模型對所述RGB圖像進行處理得到所述RGB圖像對應的深度圖像。
在本申請的至少一個實施例中，所述深度估計模型包括，深度估計卷積神經網路與位姿估計卷積神經網路。在本實施例中，所述深度估計卷積神經網路包括輸入層、卷積層、反卷積層；所述位姿估計卷積神經網路包括輸入層、卷積層。
在本申請的至少一個實施例中，所述訓練所述深度估計模型的方法包括：獲取訓練圖像；將所述訓練圖像輸入所述深度估計卷積神經網路，得到所述訓練圖像對應的深度圖像；將所述訓練圖像的相鄰幀圖像輸入所述位姿估計卷積神經網路，得到所述相鄰幀圖像的相機位姿信息；基於所述深度圖像、所述相機位姿信息和所述RGB圖像對應的相機的內參重建所述訓練圖像，得到重建圖像；利用預設的損失函數計算得到所述訓練圖像與所述重建圖像之間的損失值，調整所述深度估計模型的參數以使得所述損失值最小，得到訓練完成的深度估計模型。
在本申請的至少一個實施例中，所述獲取訓練圖像方法還包括：對所述訓練圖像進行數據增強操作，以獲取更多的訓練樣本，所述數據增強操作包括，但不限於翻轉圖像、旋轉圖像、縮放圖像、裁剪圖像。透過對所述訓練圖像進行數據增強操作可以有效擴充樣本數據，使用更多不同場景下的訓練圖像訓練並優化所述深度估計模型，從而使所述深度估計模型更具魯棒性。
在本申請的至少一個實施例中，所述將所述訓練圖像輸入所述深度估計卷積神經網路，得到所述訓練圖像對應的深度圖像包括：
將所述訓練圖像透過所述深度估計卷積神經網路的輸入層輸入所述深度估計卷積神經網路中，經過所述卷積層進行卷積運算得到所述訓練圖像的特徵圖，將所述特徵圖輸入所述深度估計卷積神經網路的反卷積層進行反卷積運算得到運算後的特徵圖，最後將所述運算後的特徵圖中每一個像素點映射成對應的深度得到深度圖像，並輸出所述訓練圖像對應的深度圖像。
在本實施例中，所述訓練圖像的相鄰幀圖像包括所述訓練圖像的前一幀圖像或者後一幀圖像。例如，t時刻的訓練圖像，則t時刻的相鄰幀圖像為t-1時刻的訓練圖像或者t+1時刻的訓練圖像。需要說明的是，所述訓練圖像均為RGB圖像。在本申請的至少一個實施例中，所述將所述訓練圖像的相鄰幀
圖像輸入位姿估計卷積神經網路，得到所述相鄰幀圖像的相機位姿信息包括：將所述訓練圖像的相鄰幀圖像透過所述位姿估計卷積神經網路的輸入層輸入所述位姿估計卷積神經網路中，經過所述位姿估計卷積神經網路的卷積層進行卷積運算得到所述相鄰幀圖像的相機位姿信息。在本實施例中，所述相機位姿信息包括：旋轉矩陣和平移矩陣，用六個自由度表示，含義為訓練圖像中的像素座標透過相機位姿信息確定相鄰幀圖像中對應的像素座標。
在本申請的至少一個實施例中，所述基於所述深度圖像、所述相機位姿信息和所述RGB圖像對應的相機的內參重建所述訓練圖像，得到重建圖像包括：
透過公式：
；
計算得到所述重建圖像；其中，P t+1表示所述重建圖像，K表示相
機的內參，
表示所述相鄰幀圖像的位姿估計值，
(P t )表示像素座標點P t 的
深度值，P t 表示訓練圖像的像素座標點。在本實施例中，所述相機的內參為一個
矩陣，則K -1表示為相機內參的逆矩陣。
在本申請的至少一個實施例中，所述利用預設的損失函數計算得到所述訓練圖像與所述重建圖像之間的損失值，調整深度估計模型的參數以使得所述損失值最小，得到訓練完成的深度估計模型包括：
用預設的損失函數計算所述訓練圖像與所述重建圖像之間的損失值，調整深度估計模型的參數以使得所述損失值最小，得到訓練完成的深度估計模型。
在本實施例中，所述預設的損失函數為：
其中，I t (p)表示訓練圖像I t 上的像素點座標，I t+1(p)表示重建圖像上的像素座標，N表示像素點的個數，N表示訓練圖像的個數。
在本實施例中，所述配置參數是指所述深度估計卷積神經網路及所述位姿估計卷積神經網路中初始化配置的參數，例如，所述配置參數包括所述深度估計卷積神經網路中卷積層、反卷積層的層數及所述卷積層、所述反卷積層中卷積核的大小，所述配置參數還包括所述位姿估計卷積神經網路中卷積層的層數及所述卷積層中卷積核的大小。
在本申請的至少一個實施例中，在完成對深度估計模型的訓練，並得到訓練完成的深度估計模型後，將所述RGB圖像輸入至所述訓練完成的深度估計模型，可輸出所述RGB圖像對應的深度圖像。
步驟203，將所述深度圖像轉換為三維點雲圖。
在本申請的至少一個實施例中，所述將所述深度圖像轉換為三維點雲圖包括：基於所述RGB圖像對應的相機的內參以及所述深度圖像，將所述深度圖像轉換為三維點雲圖。
在本實施例中，將所述深度圖像透過公式：
轉換為三維點雲圖；其中，D表示所述深度圖像的深度值，(a 1 ，b 1 )表示所述深度圖像中深度值對應的座標，K表示相機的內參，U表示三維點雲圖中點的座標(a，b，c)，f x 表示相機的像平面中u軸方向的尺度因數，f y 表示相機的像平面中v軸方向的尺度因數，(c x ，c y )為相機的像平面的中心點座標。
步驟204，根據所述車輛的尺寸，從所述三維點雲圖中確定車輛的三維感興趣區域。
在本申請的至少一個實施例中，根據所述車輛的尺寸，從所述三維點雲圖中確定車輛的三維感興趣區域包括：確定車輛的長度、寬度及高度；根據所述車輛的長度、寬度及高度從所述三維點雲圖中確定一個三維區域作為所述車輛的三維感興趣區域。
步驟205，將所述三維感興趣區域轉換為二維感興趣區域。
在本申請的至少一個實施例中，所述將所述三維感興趣區域轉換為二維感興趣區域包括：基於所述RGB圖像對應的相機的內參及所述三維感興趣區域，將所述三維感興趣區域轉換為所述二維感興趣區域；將所述三維感興趣區域透過公式：
轉換為所述二維感興趣區域；其中，(x 1 ，y 1 )表示所述二維感興趣區域的座標，K表示相機的內參，B表示所述三維感興趣區域的座標(x，y，z)，f x 表示相機的像平面中u軸方向的尺度因數，f y 表示相機的像平面中v軸方向的尺度因數，(c x ，c y )為相機的像平面的中心點座標。
步驟206，判斷二維感興趣區域是否包括障礙物。
在本申請的至少一個實施例中，所述判斷所述二維感興趣區域是否包括障礙物包括：透過高級駕駛輔助系統分析所述二維感興趣區域示是否包括障礙物，得到判斷結果，所述高級駕駛輔助系統根據所述判斷結果控制所述車輛繼續行駛或者控制所述車輛發出警報。在本實施例中，所述判斷結果包括所述二維感興趣區域包括障礙物及所述二維感興趣區域不包括障礙物，若二維感興趣區域不包括障礙物，執行步驟207，控制所述車輛繼續行駛。若二維感興趣區域包括障礙物，執行步驟208，控制所述車輛發出警報。在本實施例中，所述發出警報包括，發出碰撞警報或者自動刹車。
本實施例中透過將三維感興趣區域轉換為二維感興趣區域，能夠當獲取到的車輛前方RGB圖像時，直接在所述RGB圖像上判斷二維感興趣區
域中是否存在障礙物，減少了車輛在行駛過程中判斷前方障礙物的時間，提高了行車安全及駕駛員的駕駛體驗。
實施例三
參閱圖3所示，為本申請實施例提供的一種行車安全輔助方法的流程圖。
其中301至305與實施例二中步驟201至步驟205的方法相似，本實施例在此不再贅述。
步驟306，判斷二維感興趣區域是否包括障礙物。
在本申請的至少一個實施例中，所述判斷二維感興趣區域是否包括障礙物包括：透過高級駕駛輔助系統分析所述二維感興趣區域示是否包括障礙物，得到判斷結果，所述高級駕駛輔助系統根據所述判斷結果控制所述車輛繼續行駛或者控制所述車輛發出警報。在本實施例中，所述判斷結果包括所述二維感興趣區域包括障礙物及所述二維感興趣區域不包括障礙物，若二維感興趣區域不包括障礙物，執行步驟307，控制所述車輛繼續行駛。若二維感興趣區域包括障礙物，執行步驟308，獲取所述二維感興趣區域的圖像，對所述二維感興趣區域的圖像進行語義分割處理，得到分割結果。
步驟307，控制所述車輛繼續行駛。
在本申請的至少一個實施例中，所述控制所述車輛繼續行駛包括：若二維感興趣區域不包括障礙物，控制所述車輛繼續行駛。
步驟308，獲取所述二維感興趣區域的圖像，對所述二維感興趣區域的圖像進行語義分割處理，得到分割結果。
在本申請的至少一個實施例中，對所述二維感興趣區域的圖像進行語義分割處理，得到分割結果包括：將所述二維感興趣區域的圖像輸入至預先訓練好的語義分割模型中，得到二維感興趣區域中障礙物的物體類別，其中，所述預先訓練好的語義分割為基於全卷積網路(Fully Convolutional Network、FCN)構建的語義分割模型。所述FCN網路可以是將現有VGG-16或CNN網路中的所包含的全連接層轉化成卷積層的網路變形，即將現有VGG-16/CNN網路最後三層全連接層轉換成為三層卷積層，進而形成所述FCN網路，所述FCN網路可以接受任意尺寸的輸入圖像。
具體地，訓練所述語義分割模型的方法包括：獲取訓練圖像；將所述訓練圖像輸入所述語義分割模型，利用所述語義分割模型中的卷積層和池化層進行多次卷積及池化，得到多個不同尺寸的特徵圖；將所述多個不同尺寸的特徵圖進行上採樣，使多個不同尺寸的特徵圖恢復到與所述訓練圖像相同的尺寸；最後再與輸入訓練圖像等大小的特徵圖上對每個像素進行分類，逐像素地用softmax函數分類計算每一像素的損失值；
調整所述語義分割模型的參數，使所述損失值最小，得到訓練完成的語義分割模型，將所述訓練完成的語義分割模型作為預先訓練好的語義分割模型。
在本實施例中，所述softmax函數可以是將一個K維的任意實數向量壓縮(映射)成另一個K維的實數向量的函數，其中向量中的每個元素取值均介於(0，1)之間，softmax函數可用在所述語義分割模型的最後一層，以作為輸出層對每一像素點進行分類，得到訓練圖像的分割結果。
在本申請的至少一個實施例中，透過上述方法，可以完成對語義分割模型的訓練，並得到訓練完成的語義分割模型，將所述訓練完成的語義分割模型作為預先訓練好的語義分割模型。進一步地，將所述二維感興趣區域圖像輸入至所述預先訓練好的語義分割模型，輸出所述二維感興趣區域的分割結果。在本實施例中，所述二維感興趣區域的分割結果包括所述二維感興趣區域中障礙物的物體類別。
步驟309，根據所述分割結果判斷障礙物是否為目標對象。
在本申請的至少一個實施例中，所述背景包括天空及/或路面。
具體地，所述根據所述分割結果判斷障礙物是否為目標對象包括：若所述分割結果顯示障礙物為天空及/或路面，執行步驟307，控制所述車輛繼續行駛。若所述分割結果顯示障礙物不為天空及/或路面，執行步驟310，控制所述車輛發出警報。
步驟310，控制車輛發出警報。
在本申請的至少一個實施例中，所述發出警報包括，發出碰撞警報或者啟動自動刹車。
透過對二維感興趣區域進行語義分割處理，可以判斷障礙物中是否存在天空及/或路面，若存在天空及/或路面，則不用發出警報，從而減少二維感興趣區域中天空及/或路面的干擾，提高了行車安全及駕駛員的駕駛體驗。
以上所述，僅是本申請的具體實施方式，但本申請的保護範圍並不局限於此，對於本領域的普通技術人員來說，在不脫離本申請創造構思的前提下，還可以做出改進，但這些均屬本申請的保護範圍。
實施例四
如圖4所示，圖4為本申請實施例提供的一種電子設備的結構示意圖。所述電子設備4包括記憶體401、至少一個處理器402、存儲在所述記憶體401中並可在所述至少一個處理器402上運行的電腦程式403及至少一條通訊匯流排404。
本領域技術人員可以理解，圖4所示的示意圖僅僅是所述電子設備4的示例，並不構成對所述電子設備4的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如所述電子設備4還可以包括輸入輸出設備、網路接入設備等。
所述至少一個處理器402可以是中央處理單元(Central Processing Unit，CPU)，還可以是其他通用處理器、數位訊號處理器(Digital Signal Processor，
DSP)、專用集成電路(Application Specific Integrated Circuit，ASIC)、現場可編程門陣列(Field-Programmable Gate Array，FPGA)或者其他可編程邏輯器件、分立元器件門電路、電晶體組件、分立硬體組件等。該至少一個處理器402可以是微處理器或者該至少一個處理器402也可以是任何常規的處理器等，所述至少一個處理器402是所述電子設備4的控制中心，利用各種介面和線路連接整個電子設備4的各個部分。
所述記憶體401可用於存儲所述電腦程式403，所述至少一個處理器402透過運行或執行存儲在所述記憶體401內的電腦程式403，以及調用存儲在記憶體401內的數據，實現所述電子設備4的各種功能。所述記憶體401可主要包括存儲程式區和存儲數據區，其中，存儲程式區可存儲操作系統、至少一個功能所需的應用程式(比如聲音播放功能、圖像播放功能等)等；存儲數據區可存儲根據電子設備4的使用所創建的數據(比如音頻數據)等。此外，記憶體401可以包括非易失性記憶體，例如硬碟、內存(memory)、插接式硬碟，智能存儲卡(Smart Media Card，SMC)，安全數位(Secure Digital，SD)卡，記憶卡(Flash Card)、至少一個磁盤記憶體件、閃存器件、或其他非易失性固態記憶體件。
所述電子設備4集成的模塊/單元如果以軟件功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲媒體中。基於這樣的理解，本申請實現上述實施例方法中的全部或部分流程，也可以透過電腦程式來指令相關的硬體來完成，所述的電腦程式可存儲於一電腦可讀存儲媒體中，該電腦程式在被處理器執行時，可實現上述各個方法實施例的步驟。其中，所述電腦程式包括電腦程式代碼，所述電腦程式代碼可以為源代碼形式、對象代碼形式、可執行文件或某些中間形式等。所述計算機可讀媒體可以包括：能夠攜帶所述電腦程式代碼的任何實體或裝置、記錄媒體、隨身碟、移動硬碟、磁碟、光盤、計算機記憶體以及只讀記憶體(ROM，Read-Only Memory)。
對於本領域技術人員而言，顯然本申請不限於上述示範性實施例的細節，而且在不背離本申請的精神或基本特徵的情況下，能夠以其他的具體形式實現本申請。因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本申請的範圍由所附請求項而不是上述說明限定，因此旨在將落在請求項的等同要件的含義和範圍內的所有變化涵括在本申請內。不應將請求項中的任何附關聯圖標記視為限制所涉及的請求項。
最後應說明的是，以上實施例僅用以說明本申請的技術方案而非限制，儘管參照較佳實施例對本申請進行了詳細說明，本領域的普通技術人員應當理解，可以對本申請的技術方案進行修改或等同替換，而不脫離本申請技術方案的精神和範圍。
201-208:步驟
Claims (10)
- 一種行車安全輔助方法，其中，所述行車安全輔助方法包括：當檢測到車輛行駛時，獲取車輛前方的RGB圖像；基於預先訓練完成的深度估計模型對所述RGB圖像進行處理得到所述RGB圖像對應的深度圖像；將所述深度圖像轉換為三維點雲圖；根據所述車輛的尺寸，從所述三維點雲圖中確定車輛的三維感興趣區域；基於所述RGB圖像對應的相機的內參及所述三維感興趣區域，將所述三維感興趣區域轉換為二維感興趣區域；判斷所述二維感興趣區域是否包括障礙物，若所述二維感興趣區域不包括障礙物，控制所述車輛繼續行駛；若所述二維感興趣區域包括障礙物，控制所述車輛發出警報。
- 根據請求項1所述的行車安全輔助方法，其中，所述基於所述RGB圖像對應的相機的內參及所述三維感興趣區域，將所述三維感興趣區域轉換為所述二維感興趣區域包括： 將所述三維感興趣區域透過公式；
轉換 為所述二維感興趣區域；其中，(x 1 ，y 1 )表示所述二維感興趣區域的座標，K表示相機的內參，B表示所述三維感興趣區域的座標(x，y，z)。
- 根據請求項1所述的行車安全輔助方法，其中，所述根據所述車輛的尺寸，從所述三維點雲圖中確定車輛的三維感興趣區域包括：根據所述車輛的長度、寬度及高度從所述三維點雲圖中確定所述車輛的三維感興趣區域。
- 根據請求項1所述的行車安全輔助方法，其中，所述深度估計模型包括深度估計卷積神經網路及位姿估計卷積神經網路，所述方法還包括：訓練所述深度估計模型包括：獲取訓練圖像；將所述訓練圖像輸入所述深度估計卷積神經網路，得到所述訓練圖像對應的深度圖像；將所述訓練圖像的相鄰幀圖像輸入所述位姿估計卷積神經網路，得到所述相鄰幀圖像的相機位姿信息；基於所述深度圖像、所述相機位姿信息和所述RGB圖像對應的相機的內參重建所述訓練圖像，得到重建圖像；利用預設的損失函數計算得到所述訓練圖像與所述重建圖像之間的損失值，調整所述深度估計模型的參數以使得所述損失值最小，得到訓練完成的深度估計模型。
- 根據請求項4所述的行車安全輔助方法，其中，所述基於所述深度圖像、相機位姿信息和所述RGB圖像對應的相機的內參重建所述訓練圖像，得到重建圖像包括： 透過公式：，計算得到所述重建圖像，其中，P t+1 表示所述重建圖像，K表示所述相機的內參，
表示所述相鄰幀圖像的相機 位姿信息，
(P t )表示像素座標點P t 的深度值，P t 表示所述訓練圖像的像素座標點。
- 根據請求項1所述的行車安全輔助方法，其中，所述將所述深度圖像轉化為三維點雲圖包括：基於所述RGB圖像對應的相機的內參以及所述深度圖像，將所述深度圖像 透過公式；
轉換為三維點雲圖，其中，D表示 所述深度圖像的深度值，(a 1 ，b 1 )表示所述深度圖像中深度值對應的座標，K表示相機的內參，U表示三維點雲圖中點的座標(a，b，c)。
- 一種行車安全輔助方法，其中，所述行車安全輔助方法包括：當檢測到車輛行駛時，獲取車輛前方的RGB圖像；基於預先訓練完成的深度估計模型對所述RGB圖像進行處理得到所述RGB圖像對應的深度圖像；將所述深度圖像轉換為三維點雲圖；根據所述車輛的尺寸，從所述三維點雲圖中確定車輛的三維感興趣區域；基於所述RGB圖像對應的相機的內參及所述三維感興趣區域，將所述三維感興趣區域轉換為二維感興趣區域；判斷所述二維感興趣區域是否包括障礙物，若所述二維感興趣區域包括障礙物，獲取所述二維感興趣區域的圖像，對所述二維感興趣區域的圖像進行語義分割處理，得到分割結果，其中，所述分割結果包括所述二維感興趣區域中障礙物的物體類別；根據所述分割結果判斷所述障礙物是否為目標對象，若所述障礙物為目標對象，控制所述車輛繼續行駛；若所述障礙物不為所述目標對象，控制所述車輛發出警報。
- 根據請求項7所述的行車安全輔助方法，其中，所述對所述二維感興趣區域的圖像進行語義分割，得到分割結果包括：將所述二維感興趣區域的圖像輸入至預先訓練好的語義分割模型中，得到二維感興趣區域中障礙物的物體類別，其中，所述預先訓練好的語義分割為基於全卷積網路構建的語義分割模型。
- 一種電子設備，其中，所述電子設備包括處理器和記憶體，所述處理器用於執行記憶體中存儲的電腦程式以實現如請求項1至8中任意一項所述的行車安全輔助方法。
- 一種電腦可讀存儲媒體，其中，所述電腦可讀存儲媒體存儲有至少一個指令，所述至少一個指令被處理器執行時以實現如請求項1至8中任意一項所述的行車安全輔助方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111123317A TWI817579B (zh) | 2022-06-22 | 2022-06-22 | 行車安全輔助方法、電子設備及電腦可讀存儲媒體 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111123317A TWI817579B (zh) | 2022-06-22 | 2022-06-22 | 行車安全輔助方法、電子設備及電腦可讀存儲媒體 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI817579B true TWI817579B (zh) | 2023-10-01 |
| TW202400446A TW202400446A (zh) | 2024-01-01 |
Family
ID=89857804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111123317A TWI817579B (zh) | 2022-06-22 | 2022-06-22 | 行車安全輔助方法、電子設備及電腦可讀存儲媒體 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI817579B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132829A (zh) * | 2020-10-23 | 2020-12-25 | 北京百度网讯科技有限公司 | 车辆信息的检测方法、装置、电子设备和存储介质 |
| CN112634343A (zh) * | 2020-12-23 | 2021-04-09 | 北京百度网讯科技有限公司 | 图像深度估计模型的训练方法、图像深度信息的处理方法 |
| CN113228043A (zh) * | 2019-01-22 | 2021-08-06 | 深圳市大疆创新科技有限公司 | 移动平台基于神经网络的障碍物检测及关联的系统和方法 |
| CN114495064A (zh) * | 2022-01-28 | 2022-05-13 | 浙江大学 | 一种基于单目深度估计的车辆周围障碍物预警方法 |
-
2022
- 2022-06-22 TW TW111123317A patent/TWI817579B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113228043A (zh) * | 2019-01-22 | 2021-08-06 | 深圳市大疆创新科技有限公司 | 移动平台基于神经网络的障碍物检测及关联的系统和方法 |
| CN112132829A (zh) * | 2020-10-23 | 2020-12-25 | 北京百度网讯科技有限公司 | 车辆信息的检测方法、装置、电子设备和存储介质 |
| CN112634343A (zh) * | 2020-12-23 | 2021-04-09 | 北京百度网讯科技有限公司 | 图像深度估计模型的训练方法、图像深度信息的处理方法 |
| CN114495064A (zh) * | 2022-01-28 | 2022-05-13 | 浙江大学 | 一种基于单目深度估计的车辆周围障碍物预警方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202400446A (zh) | 2024-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021063341A1 (zh) | 图像增强方法以及装置 | |
| WO2018119786A1 (zh) | 一种显示数据处理方法及装置 | |
| CN112507862B (zh) | 基于多任务卷积神经网络的车辆朝向检测方法及系统 | |
| WO2019095735A1 (zh) | 用于车辆的信息输出方法和装置 | |
| JP2021530823A (ja) | ニューラルネットワークのトレーニング方法、視線追跡方法及び装置並びに電子機器 | |
| WO2022205663A1 (zh) | 神经网络训练、目标对象检测、行驶控制方法及装置 | |
| CN114091521B (zh) | 车辆航向角的检测方法、装置、设备及存储介质 | |
| WO2022206414A1 (zh) | 三维目标检测方法及装置 | |
| US11282180B1 (en) | Object detection with position, pose, and shape estimation | |
| WO2018119676A1 (zh) | 一种显示数据处理方法及装置 | |
| CN114170826B (zh) | 自动驾驶控制方法和装置、电子设备和存储介质 | |
| TWI817579B (zh) | 行車安全輔助方法、電子設備及電腦可讀存儲媒體 | |
| TWI817580B (zh) | 行車安全輔助方法、電子設備及電腦可讀存儲媒體 | |
| TWI817578B (zh) | 行車安全輔助方法、電子設備及電腦可讀存儲媒體 | |
| US20230386230A1 (en) | Method for detection of three-dimensional objects and electronic device | |
| US11741671B2 (en) | Three-dimensional scene recreation using depth fusion | |
| WO2022052853A1 (zh) | 目标跟踪方法、装置、设备及计算机可读存储介质 | |
| US20230419682A1 (en) | Method for managing driving and electronic device | |
| TWI832302B (zh) | 深度圖像獲取方法、電子設備及電腦可讀存儲媒體 | |
| CN117333837A (zh) | 行车安全辅助方法、电子设备及存储介质 | |
| CN117333836A (zh) | 行车安全辅助方法、电子设备及存储介质 | |
| TWI817540B (zh) | 深度圖像獲取方法、電子設備及計算機可讀存儲媒體 | |
| CN113200039B (zh) | 基于泊车的道路生成方法、装置、车辆及可读介质 | |
| TWI831176B (zh) | 影像處理方法、裝置、電腦裝置及儲存介質 | |
| US20240169668A1 (en) | Computer-implemented method for creating a three-dimensional virtual model of an environment of a motor vehicle |