TWI817580B - 行車安全輔助方法、電子設備及電腦可讀存儲媒體 - Google Patents
行車安全輔助方法、電子設備及電腦可讀存儲媒體 Download PDFInfo
- Publication number
- TWI817580B TWI817580B TW111123318A TW111123318A TWI817580B TW I817580 B TWI817580 B TW I817580B TW 111123318 A TW111123318 A TW 111123318A TW 111123318 A TW111123318 A TW 111123318A TW I817580 B TWI817580 B TW I817580B
- Authority
- TW
- Taiwan
- Prior art keywords
- vehicle
- image
- depth
- driving
- interest
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 3
- 238000012549 training Methods 0.000 claims description 56
- 238000013527 convolutional neural network Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 13
- 238000005452 bending Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 9
- 230000035515 penetration Effects 0.000 claims 1
- 239000011159 matrix material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Steering Control In Accordance With Driving Conditions (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本申請提供一種行車安全輔助方法、電子設備及電腦可讀存儲媒體。所述方法包括：當檢測到車輛行駛時，獲取車輛前方的RGB圖像；基於預先訓練完成的深度估計模型對RGB圖像進行處理得到RGB圖像對應的深度圖像；將深度圖像轉換為三維點雲圖；基於車輛的行駛狀態，計算車輛的曲率；根據車輛的尺寸及車輛的曲率，從三維點雲圖中確定車輛的三維感興趣區域；判斷三維感興趣區域是否包括障礙物，若三維感興趣區域不包括障礙物，控制車輛繼續行駛；或若三維感興趣區域包括障礙物，控制車輛發出警報。本申請能夠提高行車安全及駕駛員的駕駛體驗。
Description
本申請涉及自動駕駛領域，尤其涉及一種行車安全輔助方法、電子設備及電腦可讀存儲媒體。
在自動駕駛領域，當車輛行駛時，需要探測車輛前進的路上有沒有障礙物，若有障礙物則會啟動相應的措施，例如緊急刹車或發出警報等，以保證車輛的行車安全。然而，在探測障礙物時，車輛無法準確地知道障礙物所在範圍，導致行車不安全且使用者的駕駛體驗差。
鑒於以上內容，有必要提供一種行車安全輔助方法、電子設備及存儲媒體，以解決車輛在行駛過程中因無法精準檢測障礙物而導致不安全的問題。
本申請的實施例提供一種行車安全輔助方法，所述行車安全輔助方法包括：當檢測到車輛行駛時，獲取車輛前方的RGB圖像；基於預先訓練完成的深度估計模型對所述RGB圖像進行處理得到所述RGB圖像對應的深度圖像；將所述深度圖像轉換為三維點雲圖；基於所述車輛的行駛狀態，計算所述車輛的曲率；根據所述車輛的尺寸及所述車輛的曲率，從所述三維點雲圖中確定車輛的三維感興趣區域；判斷所述三維感興趣區域是否包括障礙物，若所述三維感興趣區域不包括障礙物，控制所述車輛繼續行駛；或若所述三維感興趣區域包括障礙物，控制所述車輛發出警報。
在一種可選的實施方式中，所述車輛的行駛狀態包括直線行駛狀態及轉彎行駛狀態，所述方法還包括：若所述車輛的方向盤角度大於或等於預設角度閥值，確定所述車輛處於所述轉彎行駛狀態；或若所述車輛的方向盤角度小於所述預設角度閥值，確定所述車輛處於所述直線行駛狀態。
在一種可選的實施方式中，所述基於所述車輛的行駛狀態，計算所述車輛的曲率，包括：若所述車輛處於所述直線行駛狀態，確定所述車輛的曲率為0；若所述車輛處於所述轉彎行駛狀態，獲取所述車輛的速度及所述車輛的方向盤角度，根據所述車輛的速度及所述車輛的方向盤角度計算所述車輛的曲率。
在一種可選的實施方式中，所述根據所述車輛的尺寸及所述車輛的曲率，從所述三維點雲圖中確定車輛的三維感興趣區域包括：根據所述車輛的曲率，確定彎道大小；根據所述車輛的轉向燈或所述車輛的方向盤角度，確
定所述車輛的轉彎方向；根據所述車輛的轉彎方向及所述彎道大小，確定所述三維感興趣區域的彎曲方向及彎曲程度；根據所述車輛的長度、寬度及高度從所述三維點雲圖中確定三維感興趣區域。
在一種可選的實施方式中，所述深度估計模型包括深度估計卷積神經網路及位姿估計卷積神經網路，所述方法還包括：訓練所述深度估計模型包括：獲取訓練圖像；將所述訓練圖像輸入所述深度估計卷積神經網路，得到所述訓練圖像對應的深度圖像；將所述訓練圖像的相鄰幀圖像輸入所述位姿估計卷積神經網路，得到所述相鄰幀圖像的相機位姿信息；基於所述深度圖像、所述相機位姿信息和所述RGB圖像對應的相機的內參對所述訓練圖像進行重建，得到重建圖像；利用預設的損失函數計算得到所述訓練圖像與所述重建圖像之間的損失值，調整所述深度估計模型的參數直至所述損失值最小，得到訓練完成的深度估計模型。
在一種可選的實施方式中，所述基於所述訓練對應的深度圖像、相機位姿信息和所述RGB圖像對應的相機的內參重建所述訓練圖像，得到重建
圖像包括：透過公式：
，計算得到所述重建圖像，其
中，P t+1表示重建圖像，K表示相機的內參，
表示相鄰幀圖像的相機位姿
信息，P t 表示訓練圖像的像素座標點，
(P t )表示像素座標點P t 的深度值。
在一種可選的實施方式中，所述將所述深度圖像轉化為三維點雲圖包括：基於所述RGB圖像對應的相機的內參以及所述深度圖像，將所述深度圖像轉換為三維點雲圖。
在一種可選的實施方式中，所述基於所述RGB圖像對應的相機的內參以及所述深度圖像，將所述深度圖像轉換為三維點雲圖包括：將所述深度
圖像透過公式
；
轉換為三維點雲圖，其中，D
表示所述深度圖像的深度值，(x 1 ，y 1 )表示所述深度圖像中深度值對應的像素座標，K表示相機的內參，U表示三維點雲圖中點的座標(x，y，z)，f x 表示相機的像平面中u軸方向的尺度因數，f y 表示相機的像平面中v軸方向的尺度因數，(c x ，c y )為相機的像平面的中心點座標。
本申請實施例還提供一種電子設備，所述電子設備包括處理器和記憶體，所述處理器用於執行記憶體中存儲的電腦程式以實現所述的行車安全輔助方法。
本申請實施例還提供一種電腦可讀存儲媒體，所述電腦可讀存儲媒體存儲有至少一個指令，所述至少一個指令被處理器執行時實現所述的行車安全輔助方法。
本申請實施例中所述的行車安全輔助方法、電子設備及存儲媒體，透過獲取車輛前方的RGB圖像及RGB圖像對應的深度圖像；將深度圖像轉換為三維點雲圖；基於所述車輛的行駛狀態，計算所述車輛的曲率；根據所述車輛的尺寸及所述車輛的曲率，從所述三維點雲圖中確定車輛的三維感興趣區域；
判斷所述三維感興趣區域是否包括障礙物，若三維感興趣區域不包括障礙物，控制車輛繼續行駛；或若三維感興趣區域包括障礙物，控制車輛發出警報。透過計算車輛的曲率，使車輛的轉彎時也可根據三維感興趣區域準確的判斷車輛的前進路上的障礙物，提高了行車安全及駕駛員的駕駛體驗。
5:電子設備
501:記憶體
502:處理器
503:電腦程式
504:通訊匯流排
201-208:步驟
圖1為本申請實施例提供的一種行車安全輔助方法的應用場景圖。
圖2為本申請實施例提供的一種行車安全輔助方法的流程圖。
圖3為本申請實施例提供的車輛直線行駛時的三維感興趣區域示意圖。
圖4為本申請實施例提供的車輛轉彎時的三維感興趣區域示意圖。
圖5為本申請實施例提供的一種電子設備的結構示意圖。
為了能夠更清楚地理解本申請的上述目的、特徵和優點，下面結合附圖和具體實施例對本申請進行詳細描述。需要說明的是，此處所描述的具體實施例僅用以解釋本申請，並不用於限定本申請。
在下面的描述中闡述了很多具體細節以便於充分理解本申請，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬本申請保護的範圍。
以下，術語“第一”、“第二”僅用於描述目的，而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術特徵的數量。由此，限定有“第一”、“第二”的特徵可以明示或者隱含地包括一個或者更多個該特徵。在本申請的一些實施例的描述中，“示例性的”或者“例如”等詞用於表示作例子、例證或說明。本申請的一些實施例中被描述為“示例性的”或者“例如”的任何實施例或設計方案不應被解釋為比其它實施例或設計方案更優選或更具優勢。確切而言，使用“示例性的”或者“例如”等詞旨在以具體方式呈現相關概念。
除非另有定義，本文所使用的所有的技術和科學術語與屬本申請的技術領域的技術人員通常理解的含義相同。本文中在本申請的說明書中所使用的術語只是為了描述具體的實施例的目的，不是旨在於限制本申請。
參閱圖1所示，為本申請實施例提供的一種行車安全輔助方法的應用場景圖。圖1中的三維方框為車輛處於直線行駛狀態的三維感興趣區域，只有在三維感興趣區域內的物體才會被判斷是否為障礙物，其他區域則不會進行判斷。
參閱圖2所示，為本申請實施例提供的一種行車安全輔助方法的流程圖。所述方法可以應用於車輛中，對於需要進行行車安全輔助的車輛，可以直接在車輛上集成本申請的方法所提供的用於行車安全輔助的功能，或者以軟件開發工具包(Software Development Kit，SDK)的形式運行在車輛上。
在本申請的至少一個實施例中，所述方法還可以應用於電子設備(例如，圖5所示的電子設備5)中，電子設備與車輛進行連接，從而實現本申請的方法。所述電子設備可以是任何一種可與用戶進行人機交互的電子產品，例如，個人電腦、平板電腦、智能手機、個人數位助理(Personal Digital Assistant，PDA)、遊戲機、交互式網路電視(Internet Protocol Television，IPTV)、穿戴式智能設備等。
所述電子設備是一種能夠按照事先設定或存儲的指令，自動進行數值計算和/或信息處理的設備，其硬體包括，但不限於：微處理器、專用集成電路(Application Specific Integrated Circuit，ASIC)、可編程門陣列(Field-Programmable Gate Array，FPGA)、數位訊號處理器(Digital Signal Processor，DSP)、嵌入式設備等。
所述電子設備還可以包括網路設備和/或用戶設備。其中，所述網路設備包括，但不限於單個網路伺服器、多個網路伺服器組成的伺服器組或基於雲計算(Cloud Computing)的由大量主機或網路伺服器構成的雲。
所述電子設備所處的網路包括，但不限於：網際網路、廣域網、城域網、區域網路、虛擬專用網路(Virtual Private Network，VPN)等。
所述方法具體包括如下。
步驟201，當檢測到車輛行駛時，獲取車輛前方的RGB圖像。
在本申請的至少一個實施例中，檢測車輛是否處於行駛狀態包括：檢測車輛儀錶盤上的轉速表的指針是否指在“0”轉速刻度上，若轉速表的指針指在“0”轉速刻度上，確定車輛處於非行駛狀態。若轉速表的指針在非“0”的其它轉速刻度上，確定車輛處於行駛狀態。在本實施例中，還可以透過檢測車輛的速度判斷車輛是否處於行駛狀態。
在本申請的至少一個實施例中，獲取車輛前方的RGB圖像包括：透過相機獲取車輛前方的RGB圖像。例如，利用安裝在車輛上的相機拍攝車輛前方的圖像作為RGB圖像。
在本申請的至少一個實施例中，當檢測到車輛行駛時，啟動車輛的相機對車輛前方場景進行拍攝，獲取車輛前方的RGB圖像。
步驟202，基於預先訓練完成的深度估計模型對所述RGB圖像進行處理得到所述RGB圖像對應的深度圖像。
在本申請的至少一個實施例中，所述深度估計模型包括，深度估計卷積神經網路與位姿估計卷積神經網路。在本實施例中，所述深度估計卷積神經網路包括輸入層、卷積層、反卷積層；所述位姿估計卷積神經網路包括輸入層、卷積層。
在本申請的至少一個實施例中，所述訓練所述深度估計模型的方法包括：獲取訓練圖像；將所述訓練圖像輸入所述深度估計卷積神經網路，得到所述訓練圖像對應的深度圖像；
將所述訓練圖像的相鄰幀圖像輸入所述位姿估計卷積神經網路，得到所述相鄰幀圖像的相機位姿信息；基於所述深度圖像、所述相機位姿信息和所述RGB圖像對應的相機的內參重建所述訓練圖像，得到重建圖像；利用預設的損失函數計算得到所述訓練圖像與所述重建圖像之間的損失值，調整所述深度估計模型的參數以使得所述損失值最小，得到訓練完成的深度估計模型。
在本申請的至少一個實施例中，所述獲取訓練圖像方法還包括：對所述訓練圖像進行數據增強操作，以獲取更多訓練樣本，所述數據增強操作包括，但不限於翻轉圖像、旋轉圖像、縮放圖像、裁剪圖像。透過對所述訓練圖像進行所述數據增強操作可以有效擴充樣本數據，使用更多不同場景下的訓練圖像訓練並優化所述深度估計模型，從而使所述深度估計模型更具魯棒性。
在本申請的至少一個實施例中，所述將所述訓練圖像輸入所述深度估計卷積神經網路，得到所述訓練圖像對應的深度圖像包括：將所述訓練圖像透過所述深度估計卷積神經網路的輸入層輸入所述深度估計卷積神經網路中，經過所述卷積層進行卷積運算得到所述訓練圖像的特徵圖，將所述特徵圖輸入所述深度估計卷積神經網路的反卷積層進行反卷積運算得到運算後的特徵圖，最後將所述運算後的特徵圖中每一個像素點映射成對應的深度得到深度圖像，並輸出所述訓練圖像對應的深度圖像。
在本申請的至少一個實施例中，所述訓練圖像的相鄰幀圖像包括所述訓練圖像的前一幀圖像或者後一幀圖像。例如，t時刻的訓練圖像，則t時刻的相鄰幀圖像為t+1時刻的訓練圖像或者t-1時刻的訓練圖像。需要說明的是，所述訓練圖像均為RGB圖像。
在本實施例中，所述將所述訓練圖像的相鄰幀圖像輸入所述位姿估計卷積神經網路，得到所述相鄰幀圖像的相機位姿信息包括：將所述訓練圖像的相鄰幀圖像透過所述位姿估計卷積神經網路的輸入層輸入所述位姿估計卷積神經網路中，經過所述位姿估計卷積神經網路的卷積層進行卷積運算得到所述相鄰幀圖像的相機位姿信息。在本實施例中，所述相機位姿信息包括：旋轉矩陣和平移矩陣，用六自由度表示，含義為訓練圖像中的像素座標透過相機位姿信息確定相鄰幀圖像中對應的像素座標。
在本申請的至少一個實施例中，所述基於所述深度圖像、所述相機位姿信息和所述RGB圖像對應的相機的內參重建所述訓練圖像，得到重建圖像包括：透過公式：
計算得到所述重建圖像，其中，P t+1表示重建圖像，K表示相機的
內參，
表示所述相鄰幀圖像的位姿估計值，
(P t )表示像素座標點P t 的深
度值，P t 表示訓練圖像的像素座標點。在本實施例中，所述相機的內參為一個矩陣，則K -1表示相機內參的逆矩陣。
在本申請的至少一個實施例中，所述利用預設的損失函數計算得到所述訓練圖像與所述重建圖像之間的損失值，調整深度估計模型的參數以使得所述損失值最小，得到訓練完成的深度估計模型包括：用預設的損失函數計算所述訓練圖像與所述重建圖像之間的損失值，調整深度估計模型的參數以使得所述損失值最小，得到訓練完成的深度估計模型。
在本實施例中，所述預設的損失函數為：
其中，I t (p)表示訓練圖像I t 上的像素點座標，I t+1(p)表示重建圖像上的像素座標，N表示像素點的個數，N表示訓練圖像的個數。
在本實施例中，所述配置參數是指所述深度估計卷積神經網路及所述位姿估計卷積神經網路中初始化配置的參數，例如，所述配置參數包括所述深度估計卷積神經網路中卷積層、反卷積層的層數及所述卷積層、所述反卷積層中卷積核的大小，所述配置參數還包括所述位姿估計卷積神經網路中卷積層的層數及所述卷積層中卷積核的大小。
在本申請的至少一個實施例中，在完成對深度估計模型的訓練，並得到訓練完成的深度估計模型後，將所述RGB圖像輸入至所述訓練完成的深度估計模型，可輸出所述RGB圖像對應的深度圖像。
步驟203，將所述深度圖像轉換為三維點雲圖。
在本申請的至少一個實施例中，所述將所述深度圖像轉換為三維點雲圖包括：基於所述RGB圖像對應的相機的內參以及所述深度圖像，將所述深度圖像轉換為三維點雲圖。
在本實施例中，將所述深度圖像透過公式：
轉換為三維點雲圖，其中，D表示所述深度圖像的深度值，(x 1 ，y 1 )表示所述深度圖像中深度值對應的座標，K表示相機的內參，U表示三維點雲圖中點的座標(x，y，z)，f x 表示相機的像平面中u軸方向的尺度因數，f y 表示相機的像平面中v軸方向的尺度因數，(c x ，c y )為相機的像平面的中心點座標。
步驟204，基於所述車輛的行駛狀態，計算所述車輛的曲率。
在本申請的至少一個實施例中，所述車輛的行駛狀態包括直線行駛狀態及轉彎行駛狀態。
在本申請的至少一個實施例中，確定所述車輛的行駛狀態包括：若所述車輛的方向盤角度大於或等於預設角度閥值，確定所述車輛處於所述轉彎行駛狀態；或
若所述車輛的方向盤角度小於所述預設角度閥值，確定所述車輛處於所述直線行駛狀態。
在本申請的至少一個實施例中，所述基於所述車輛的行駛狀態，計算所述車輛的曲率包括：若所述車輛的行駛狀態為直線行駛狀態，確定所述車輛的曲率為0；若所述車輛的行駛狀態為轉彎行駛狀態，獲取所述車輛的速度及所述車輛的方向盤角度，根據所述車輛的速度及所述車輛的方向盤角度計算所述車輛的曲率。
在本申請的至少一個實施例中，利用速度傳感器獲取所述車輛的速度及利用方向盤角度記測量所述方向盤角度。
在本申請的至少一個實施例中，所述根據所述車輛的速度及所述車輛的方向盤角度計算所述車輛的曲率包括：在本實施例中，所述曲率為衡量幾何體彎曲程度的量。將所述車輛視為剛體，所述剛體為形狀和大小不變，而且內部各點的相對位置不變的物體。在本實施例中，利用公式：
計算得到所述車輛的曲率；其中，A為所述車輛的曲率，S為所述車輛轉彎時的弧長，α為所述車輛的轉向角度。在本實施例中，所述車輛的轉向角度由所述車輛的方向盤角度計算得到，所述車輛轉彎時的弧長由所述車輛的速度計算得到。
步驟205，根據所述車輛的尺寸及所述車輛的曲率，從所述三維點雲圖中確定車輛的三維感興趣區域。
在本申請的至少一個實施例中，根據所述車輛的尺寸及所述車輛的曲率，從所述三維點雲圖中確定三維感興趣區域包括：確定車輛的長度、寬度及高度；根據車輛的長度、寬度及高度確定所述三維感興趣區域的大小；若所述車輛處於直線行駛狀態，也即所述車輛的曲率為0，根據所述車輛的長度、寬度及高度從所述點雲圖中確定所述三維感興趣區域，例如，參考圖3所示，所述三維感興趣區域為一個立方體。
在本申請的至少一個實施例中，若所述車輛的方向盤角度大於或等於預設角度閥值，確定所述車輛處於所述轉彎行駛狀態；或若所述車輛的方向盤角度小於所述預設角度閥值，確定所述車輛處於所述直線行駛狀態。
若所述車輛處於轉彎行駛狀態，也即所述車輛的曲率不為0，由204確定所述車輛的曲率，根據所述車輛的曲率，確定所述彎道大小。
根據車輛的轉向燈或車輛的方向盤角度，確定所述車輛的轉彎方向。
根據所述車輛的轉彎方向及所述彎道大小，確定所述三維感興趣區域的彎曲方向及彎曲程度；根據車輛的長度、寬度及高度確定所述三維感興趣區域的大小。
在本實施例中，根據所述車輛的長度、寬度、高度、所述三維感興趣區域的彎曲方向及彎曲程度確定所述三維感興趣區域。例如，根據所述車輛的長度、寬度、高度、所述三維感興趣區域的彎曲方向及彎曲程度確定所述三維感興趣區域如圖4所示。
需要說明的是，所述三維感興趣區域的長度、寬度及高度和所述車輛的長度、寬度及高度相同，從而確定三維感興趣區域的大小。
透過車輛的曲率確定的三維感興趣區域，可以在車輛轉彎的時候，也可以準確的探測到車輛轉彎時前方是否存在障礙物，提高了行車安全。
步驟206，判斷三維感興趣區域是否包括障礙物。
在本申請的至少一個實施例中，所述判斷所述三維感興趣區域是否包括障礙物包括：透過高級駕駛輔助系統分析所述三維感興趣區域示是否包括障礙物，得到判斷結果，並由所述高級駕駛輔助系統根據所述判斷結果控制所述車輛繼續行駛或者控制所述車輛發出警報。在本實施例中，所述判斷結果包括三維感興趣區域包括障礙物及三維感興趣區域不包括障礙物，若三維感興趣區域不包括障礙物，執行步驟207，控制所述車輛繼續行駛。若三維感興趣區域包括障礙物，執行步驟208，控制所述車輛發出警報。在本實施例中，所述發出警報包括，發出碰撞警報或者自動刹車。
以上所述，僅是本申請的具體實施方式，但本申請的保護範圍並不局限於此，對於本領域的普通技術人員來說，在不脫離本申請創造構思的前提下，還可以做出改進，但這些均屬本申請的保護範圍。
如圖5所示，圖5為本申請實施例提供的一種電子設備的結構示意圖。所述電子設備5包括記憶體501、至少一個處理器502、存儲在所述記憶體501中並可在所述至少一個處理器502上運行的電腦程式503及至少一條通訊匯流排504。
本領域技術人員可以理解，圖5所示的示意圖僅僅是所述電子設備5的示例，並不構成對所述電子設備5的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如所述電子設備5還可以包括輸入輸出設備、網路接入設備等。
所述至少一個處理器502可以是中央處理單元(Central Processing Unit，CPU)，還可以是其他通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專用集成電路(Application Specific Integrated Circuit，ASIC)、現場可編程門陣列(Field-Programmable Gate Array，FPGA)或者其他可編程邏輯器件、分立元器件門電路、電晶體組件、分立硬體組件等。該至少一個處理器502可以是微處理器或者該至少一個處理器502也可以是任何常規的處理器等，所述
至少一個處理器502是所述電子設備5的控制中心，利用各種介面和線路連接整個電子設備5的各個部分。
所述記憶體501可用於存儲所述電腦程式503，所述至少一個處理器502透過運行或執行存儲在所述記憶體501內的電腦程式503，以及調用存儲在記憶體501內的數據，實現所述電子設備5的各種功能。所述記憶體501可主要包括存儲程式區和存儲數據區，其中，存儲程式區可存儲操作系統、至少一個功能所需的應用程式(比如聲音播放功能、圖像播放功能等)等；存儲數據區可存儲根據電子設備5的使用所創建的數據(比如音頻數據)等。此外，記憶體501可以包括非易失性記憶體，例如硬碟、內存(memory)、插接式硬碟，智能存儲卡(Smart Media Card，SMC)，安全數位(Secure Digital，SD)卡，閃存卡(Flash Card)、至少一個磁盤記憶體件、閃存器件、或其他非易失性固態記憶體件。
所述電子設備5集成的模塊/單元如果以軟件功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲媒體中。基於這樣的理解，本申請實現上述實施例方法中的全部或部分流程，也可以透過電腦程式來指令相關的硬體來完成，所述的電腦程式可存儲於一電腦可讀存儲媒體中，該電腦程式在被處理器執行時，可實現上述各個方法實施例的步驟。其中，所述電腦程式包括電腦程式代碼，所述電腦程式代碼可以為源代碼形式、對象代碼形式、可執行文件或某些中間形式等。所述計算機可讀媒體可以包括：能夠攜帶所述電腦程式代碼的任何實體或裝置、記錄媒體、隨身碟、移動硬碟、磁碟、光盤、計算機記憶體以及唯讀記憶體(ROM，Read-Only Memory)。
對於本領域技術人員而言，顯然本申請不限於上述示範性實施例的細節，而且在不背離本申請的精神或基本特徵的情況下，能夠以其他的具體形式實現本申請。因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本申請的範圍由所附請求項而不是上述說明限定，因此旨在將落在請求項的等同要件的含義和範圍內的所有變化涵括在本申請內。不應將請求項中的任何附關聯圖標記視為限制所涉及的請求項。
最後應說明的是，以上實施例僅用以說明本申請的技術方案而非限制，儘管參照較佳實施例對本申請進行了詳細說明，本領域的普通技術人員應當理解，可以對本申請的技術方案進行修改或等同替換，而不脫離本申請技術方案的精神和範圍。
201-208:步驟
Claims (10)
- 一種行車安全輔助方法，其中，所述行車安全輔助方法包括：當檢測到車輛行駛時，獲取車輛前方的RGB圖像；基於預先訓練完成的深度估計模型對所述RGB圖像進行處理得到所述RGB圖像對應的深度圖像；將所述深度圖像轉換為三維點雲圖；基於所述車輛的行駛狀態，計算所述車輛的曲率；根據所述車輛的尺寸及所述車輛的曲率，從所述三維點雲圖中確定車輛的三維感興趣區域；判斷所述三維感興趣區域是否包括障礙物，若所述三維感興趣區域不包括障礙物，控制所述車輛繼續行駛；或若所述三維感興趣區域包括障礙物，控制所述車輛發出警報。
- 根據請求項1所述的行車安全輔助方法，其中，所述車輛的行駛狀態包括直線行駛狀態及轉彎行駛狀態，所述方法還包括：若所述車輛的方向盤角度大於或等於預設角度閥值，確定所述車輛處於所述轉彎行駛狀態；或若所述車輛的方向盤角度小於所述預設角度閥值，確定所述車輛處於所述直線行駛狀態。
- 據請求項2所述的行車安全輔助方法，其中，所述基於所述車輛的行駛狀態，計算所述車輛的曲率，包括：若所述車輛處於所述直線行駛狀態，確定所述車輛的曲率為0；若所述車輛處於所述轉彎行駛狀態，獲取所述車輛的速度及所述車輛的方向盤角度，根據所述車輛的速度及所述車輛的方向盤角度計算所述車輛的曲率。
- 根據請求項3所述的行車安全輔助方法，其中，所述根據所述車輛的尺寸及所述車輛的曲率，從所述三維點雲圖中確定車輛的三維感興趣區域包括：根據所述車輛的曲率，確定彎道大小；根據所述車輛的轉向燈或所述車輛的方向盤角度，確定所述車輛的轉彎方向；根據所述車輛的轉彎方向及所述彎道大小，確定所述三維感興趣區域的彎曲方向及彎曲程度；根據所述車輛的長度、寬度及高度從所述三維點雲圖中確定三維感興趣區域。
- 據請求項1所述的行車安全輔助方法，其中，所述深度估計模型包括深度估計卷積神經網路及位姿估計卷積神經網路，所述方法還包括：訓練所述深度估計模型包括：獲取訓練圖像； 將所述訓練圖像輸入所述深度估計卷積神經網路，得到所述訓練圖像對應的深度圖像；將所述訓練圖像的相鄰幀圖像輸入所述位姿估計卷積神經網路，得到所述相鄰幀圖像的相機位姿信息；基於所述深度圖像、所述相機位姿信息和所述RGB圖像對應的相機的內參對所述訓練圖像進行重建，得到重建圖像；利用預設的損失函數計算得到所述訓練圖像與所述重建圖像之間的損失值，調整所述深度估計模型的參數直至所述損失值最小，得到訓練完成的深度估計模型。
- 根據請求項5所述的行車安全輔助方法，其中，所述基於所述訓練對應的深度圖像、所述相機位姿信息和所述RGB圖像對應的相機的內參重建所述訓練圖像，得到重建圖像包括： 透過公式：，計算得到所述重建圖像，其中，P t+1 表示重建圖像，K表示相機的內參，
表示相鄰幀圖像的相機位姿信息，P t 表 示訓練圖像的像素座標點，
(P t )表示像素座標點P t 的深度值。
- 根據請求項1所述的行車安全輔助方法，其中，所述將所述深度圖像轉化為三維點雲圖包括：基於所述RGB圖像對應的相機的內參以及所述深度圖像，將所述深度圖像轉換為三維點雲圖。
- 根據請求項7所述的行車安全輔助方法，其中，所述基於所述RGB圖像對應的相機的內參以及所述深度圖像，將所述深度圖像轉換為三維點雲圖包括： 將所述深度圖像透過公式；
轉換為三維 點雲圖，其中，D表示所述深度圖像的深度值，(x 1 ，y 1 )表示所述深度圖像中深度值對應的像素座標，K表示相機的內參，U表示三維點雲圖中點的座標(x，y，z)。
- 一種電子設備，其中，所述電子設備包括處理器和記憶體，所述處理器用於執行記憶體中存儲的電腦程式以實現如請求項1至8中任意一項所述的行車安全輔助方法。
- 一種電腦可讀存儲媒體，其中，所述電腦可讀存儲媒體存儲有至少一個指令，所述至少一個指令被處理器執行時實現如請求項1至8中任意一項所述的行車安全輔助方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111123318A TWI817580B (zh) | 2022-06-22 | 2022-06-22 | 行車安全輔助方法、電子設備及電腦可讀存儲媒體 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111123318A TWI817580B (zh) | 2022-06-22 | 2022-06-22 | 行車安全輔助方法、電子設備及電腦可讀存儲媒體 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI817580B true TWI817580B (zh) | 2023-10-01 |
| TW202400447A TW202400447A (zh) | 2024-01-01 |
Family
ID=89857805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111123318A TWI817580B (zh) | 2022-06-22 | 2022-06-22 | 行車安全輔助方法、電子設備及電腦可讀存儲媒體 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI817580B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132829A (zh) * | 2020-10-23 | 2020-12-25 | 北京百度网讯科技有限公司 | 车辆信息的检测方法、装置、电子设备和存储介质 |
| CN112634343A (zh) * | 2020-12-23 | 2021-04-09 | 北京百度网讯科技有限公司 | 图像深度估计模型的训练方法、图像深度信息的处理方法 |
| CN113228043A (zh) * | 2019-01-22 | 2021-08-06 | 深圳市大疆创新科技有限公司 | 移动平台基于神经网络的障碍物检测及关联的系统和方法 |
| CN114495064A (zh) * | 2022-01-28 | 2022-05-13 | 浙江大学 | 一种基于单目深度估计的车辆周围障碍物预警方法 |
-
2022
- 2022-06-22 TW TW111123318A patent/TWI817580B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113228043A (zh) * | 2019-01-22 | 2021-08-06 | 深圳市大疆创新科技有限公司 | 移动平台基于神经网络的障碍物检测及关联的系统和方法 |
| CN112132829A (zh) * | 2020-10-23 | 2020-12-25 | 北京百度网讯科技有限公司 | 车辆信息的检测方法、装置、电子设备和存储介质 |
| CN112634343A (zh) * | 2020-12-23 | 2021-04-09 | 北京百度网讯科技有限公司 | 图像深度估计模型的训练方法、图像深度信息的处理方法 |
| CN114495064A (zh) * | 2022-01-28 | 2022-05-13 | 浙江大学 | 一种基于单目深度估计的车辆周围障碍物预警方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202400447A (zh) | 2024-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3033999B1 (en) | Apparatus and method for determining the state of a driver | |
| WO2018119786A1 (zh) | 一种显示数据处理方法及装置 | |
| US11282180B1 (en) | Object detection with position, pose, and shape estimation | |
| CN114170826B (zh) | 自动驾驶控制方法和装置、电子设备和存储介质 | |
| WO2022205663A1 (zh) | 神经网络训练、目标对象检测、行驶控制方法及装置 | |
| CN111107310B (zh) | 照相机参数估计装置、照相机参数估计方法 | |
| CN114091521B (zh) | 车辆航向角的检测方法、装置、设备及存储介质 | |
| CN114419604A (zh) | 障碍物信息生成方法、装置、电子设备和计算机可读介质 | |
| US20230186562A1 (en) | Method and system for 3d modeling based on volume estimation | |
| JP2021531601A (ja) | ニューラルネットワーク訓練、視線検出方法及び装置並びに電子機器 | |
| JP2016115117A (ja) | 判定装置および判定方法 | |
| WO2018119676A1 (zh) | 一种显示数据处理方法及装置 | |
| US11741671B2 (en) | Three-dimensional scene recreation using depth fusion | |
| TWI817580B (zh) | 行車安全輔助方法、電子設備及電腦可讀存儲媒體 | |
| US20230415760A1 (en) | Method for assisting safer driving and electronic device | |
| CN117333837A (zh) | 行车安全辅助方法、电子设备及存储介质 | |
| TWI817579B (zh) | 行車安全輔助方法、電子設備及電腦可讀存儲媒體 | |
| TWI817578B (zh) | 行車安全輔助方法、電子設備及電腦可讀存儲媒體 | |
| KR20210147405A (ko) | 객체 인식을 수행하는 전자 장치 및 이의 동작 방법 | |
| CN117252912A (zh) | 深度图像获取方法、电子设备及存储介质 | |
| TWI817540B (zh) | 深度圖像獲取方法、電子設備及計算機可讀存儲媒體 | |
| JP2019175210A (ja) | 口形状検出装置 | |
| US20230419682A1 (en) | Method for managing driving and electronic device | |
| TWI832302B (zh) | 深度圖像獲取方法、電子設備及電腦可讀存儲媒體 | |
| TWI831176B (zh) | 影像處理方法、裝置、電腦裝置及儲存介質 |