TW202349342A - 深度估計模型優化與物體距離檢測方法及相關設備 - Google Patents
深度估計模型優化與物體距離檢測方法及相關設備 Download PDFInfo
- Publication number
- TW202349342A TW202349342A TW111120329A TW111120329A TW202349342A TW 202349342 A TW202349342 A TW 202349342A TW 111120329 A TW111120329 A TW 111120329A TW 111120329 A TW111120329 A TW 111120329A TW 202349342 A TW202349342 A TW 202349342A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- depth
- estimation model
- depth estimation
- loss function
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000005457 optimization Methods 0.000 claims description 51
- 230000009466 transformation Effects 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 42
- 238000005516 engineering process Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Radar Systems Or Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices Characterised By Use Of Acoustic Means (AREA)
Abstract
本發明提供一種深度估計模型優化和物體距離檢測方法及相關設備，所述方法包括：利用初始深度估計模型獲得第一圖像的第一深度圖像；獲取第一圖像與第二圖像之間的對應關係；對第一深度圖像進行反向投影獲得第三圖像；基於對應關係與第三圖像獲得第四圖像；基於初始深度估計模型獲取第一圖像與第四圖像之間的初始損失函數；利用雷達裝置基於第一圖像與第四圖像的深度值獲得更新後的損失函數；基於更新後的損失函數獲得目標深度估計模型；利用目標深度估計模型獲得物體圖像的深度圖像。本申請可以提高物體距離檢測的準確性。
Description
本發明涉及圖像檢測技術領域，特別是指一種深度估計模型優化與物體距離檢測方法及相關設備。
在對物體進行距離檢測時，可以透過獲取物體圖像對應的深度圖像來確定物體與攝像裝置之間的距離。目前的機器學習演算法難以獲得準確的深度資訊，預測距離與實際距離之間的誤差較大。
鑒於以上內容，有必要提供一種深度估計模型優化與物體距離檢測方法及相關設備，能夠使用雷達裝置獲得的準確深度資訊對初始深度估計模型進行優化反覆運算，可以提高物體距離檢測的準確性。
所述深度估計模型優化方法包括：獲取物體影像，從所述影像中截取第一圖像與第二圖像；
對預先訓練的初始深度估計模型執行優化流程，獲得更新後的深度估計模型，所述優化流程包括：利用所述初始深度估計模型獲得所述第一圖像的第一深度圖像：獲取所述第一圖像中的每個圖元點與所述第二圖像中的每個圖元點之間的對應關係；對所述第一深度圖像進行反向投影，獲得所述第一圖像的第三圖像；根據所述對應關係，將所述第三圖像中的每個圖元點的圖元值更新為所述第二圖像中對應的圖元點的圖元值，獲得第四圖像；基於所述初始深度估計模型獲取所述第一圖像與所述第四圖像之間的初始損失函數；利用雷達裝置分別獲取所述第一圖像與所述第四圖像中每個圖元點的深度值，基於所述深度值優化所述初始損失函數，獲得更新後的損失函數；利用所述更新後的損失函數優化所述初始深度估計模型，獲得更新後的深度估計模型；
對所述更新後的深度估計模型重複執行上述優化流程，直至獲得符合要求的深度估計模型作為目標深度估計模型。
可選地，所述獲取物體影像，從所述影像中截取第一圖像與第二圖像包括：利用攝像裝置獲取所述物體影像，從所述物體影像中獲取所述物體的不同視角的兩幀圖像作為所述第一圖像與所述第二圖像。
可選地，所述獲取所述第一圖像中的圖元點與所述第二圖像中的圖元點之間的對應關係包括：計算所述第一圖像與所述第二圖像之間的位元姿轉換關係，根據所述位元姿轉換關係計算所述對應關係。
可選地，計算所述第一圖像與所述第二圖像之間的位元姿轉換關係包括：利用圖像特徵點提取演算法和圖像特徵匹配演算法，獲取預設數量對的匹配點，每對匹配點包括所述第一圖像的特徵點與所述第二圖像中對應的特徵點；基於三角測量方法，利用所述預設數量對的匹配點，獲得每個所述第一圖像的特徵點與每個所述第二圖像中的特徵點的三維空間座標；基於Perspective-n-Point演算法，利用所述三維空間座標計算獲取所述物體影像的攝像裝置拍攝所述第一圖像時的第一相機位元姿，以及所述攝像裝置拍攝所述第二圖像時的第二相機位元姿；根據所述第一相機位元姿和所述第二相機位姿計算所述位姿轉換關係。
可選地，基於所述初始深度估計模型獲取所述第一圖像與所述第四圖像之間的損失函數包括：將所述第四圖像輸入所述初始深度模型，獲得所述第四圖像的第四深度圖像；計算所述第一深度圖像與所述第四深度圖像中對應圖元點之間的初始深度差值，基於所述初始深度差值構建所述損失函數，所述損失函數包括所述第一深度圖像與所述第四深度圖像的結構相似性。
可選地，所述基於所述深度值優化所述損失函數包括：計算所述第一圖像的每個圖元點的深度值與所述第四圖像中對應圖元點的深度值之間的校準後的深度差值；利用所述校準後的深度差值作為所述損失函數的優化目標對所述損失函數進行優化。
可選地，所述方法還包括：當所述更新後的損失函數收斂至預設的閾值範圍時，確定所述更新後的深度估計模型符合要求。
所述物體距離檢測方法包括：利用攝像裝置獲取物體圖像，將所述物體圖像輸入至目標深度估計模型，所述目標深度估計模型為所述深度估計模型優化方法所獲得；從所述目標深度估計模型獲得輸出的深度圖像，基於所述深度圖像中每個圖元點的圖元值，確定所述物體與所述攝像裝置的距離。
所述電腦可讀儲存介質儲存有至少一個指令，所述至少一個指令被處理器執行時實現所述深度估計模型優化方法或所述物體距離檢測方法。
所述電腦裝置包括儲存器和至少一個處理器，所述儲存器中儲存有至少一個指令，所述至少一個指令被所述至少一個處理器執行時實現所述深度估計模型優化方法或所述物體距離檢測方法。
相較於習知技術，所述深度估計模型優化和物體距離檢測方法及相關設備，能使用雷達裝置獲得的準確深度資訊對初始深度估計模型的損失函數進行優化反覆運算，獲得的目標深度估計模型可以提高物體距離檢測的準確性，尤其是應用在智慧駕駛領域時，可透過對距離的準確判定，有效提高用戶駕駛車輛時的行車安全。
為了能夠更清楚地理解本申請的上述目的、特徵和優點，下面結合附圖和具體實施例對本申請進行詳細描述。需要說明的是，在不衝突的情況下，本申請的實施例及實施例中的特徵可以相互組合。
在下面的描述中闡述了很多具體細節以便於充分理解本申請，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本申請保護的範圍。
除非另有定義，本文所使用的所有的技術和科學術語與屬於本申請的技術領域的技術人員通常理解的含義相同。本文中在本申請的說明書中所使用的術語只是為了描述具體的實施例的目的，不是旨在於限制本申請。
參閱圖1所示，為本申請較佳實施例的深度估計模型優化方法的流程圖。
在本實施例中，所述深度估計模型優化方法可以應用於電腦裝置中（例如圖4所示的電腦裝置），對於需要進行物體距離檢測的電腦裝置，可以直接在電腦裝置上集成本申請實施例的方法所提供的深度估計模型優化與物體距離檢測的功能，或者以軟體開發套件（Software Development Kit，SDK）的形式運行在電腦裝置上。
如圖1所示，所述深度估計模型優化方法具體包括以下步驟，根據不同的需求，該流程圖中步驟的順序可以改變，某些步驟可以省略。
步驟S1、電腦裝置獲取物體影像，從所述影像中截取第一圖像與第二圖像。
在一個實施例中，所述獲取物體影像，從所述影像中截取第一圖像與第二圖像包括：利用攝像裝置（例如單目攝像裝置）獲取所述物體影像（例如，視頻片段），電腦裝置從所述攝像裝置獲取所述物體影像，並從所述物體影像中截取所述物體的不同視角的兩幀圖像作為所述第一圖像與所述第二圖像，其中，所述兩幀圖像可以是連續的兩幀圖像。
在本申請的實施例中，所述第一圖像與所述第二圖像的圖片尺寸一致。
步驟S2、電腦裝置對預先訓練的初始深度估計模型執行優化流程，獲得更新後的深度估計模型。
在一個實施例中，電腦裝置訓練所述初始深度估計模型的方法包括：獲取預設數量（例如，3萬張）的初始樣本圖像；對所述樣本圖像進行圖像預處理（例如，尺寸調整、灰度調整等），並獲得目標樣本圖像；利用所述目標樣本圖像基於現有的訓練深度估計模型的方法（例如，基於無監督的深度學習方法）訓練深度估計（depth estimation）神經網路（例如，卷積神經網路ResNet50、VGG16），獲得所述初始深度估計模型。在其他實施例中，電腦裝置還可以使用傳統的機器學習方法等訓練所述初始深度估計模型。
在一個實施例中，所述優化流程包括如下步驟S21至步驟S27，具體可參考如圖2所示的優化流程。
步驟S21、電腦裝置利用所述初始深度估計模型獲得所述第一圖像的第一深度圖像。
在一個實施例中，將所述第一圖像輸入所述初始深度估計模型，利用所述初始深度估計模型輸出所述第一深度圖像。
在一個實施例中，深度圖像（depth image)也被稱為距離圖像（range image）。舉例而言，所述第一深度圖像中任一圖元點的圖元值表示為深度，所述深度可表示由所述初始深度估計模型估計得到的所述任一圖元點的物體至所述攝像裝置的距離。
在一個實施例中，所述第一深度圖像還可以包括三維點雲圖像。
步驟S22、電腦裝置獲取所述第一圖像中的每個圖元點與所述第二圖像中的每個圖元點之間的對應關係。
在一個實施例中，所述獲取所述第一圖像中的圖元點與所述第二圖像中的圖元點之間的對應關係包括：計算所述第一圖像與所述第二圖像之間的位元姿轉換關係，根據所述位元姿轉換關係計算所述對應關係。
在一個實施例中，電腦裝置基於同步定位與建圖（SLAM，Simultaneous Localization and Mapping）計算所述第一圖像與所述第二圖像之間的位元姿轉換關係，包括：
利用圖像特徵點檢測演算法（例如，Harris角點演算法）和圖像特徵匹配演算法（例如，尺度不變特徵變換匹配演算法），獲取預設數量對（例如，10對）的匹配點，每對匹配點包括所述第一圖像的特徵點與所述第二圖像中對應的特徵點；基於三角測量（Triangulation）方法，利用所述預設數量對的匹配點，獲得每個所述第一圖像的特徵點與每個所述第二圖像中的特徵點的三維空間座標；基於Perspective-n-Point演算法，利用所述三維空間座標計算獲取所述物體圖像的攝像裝置拍攝所述第一圖像時的第一相機位元姿，以及所述攝像裝置拍攝所述第二圖像時的第二相機位元姿；根據所述第一相機位元姿和所述第二相機位姿計算所述位姿轉換關係。
在一個實施例中，相機位姿（pose）包括相機（例如，所述攝像裝置）的位置和姿態，表示世界坐標系與相機坐標系之間的轉換關係。所述位姿轉換關係包括：所述第一相機位姿和所述第二相機位姿之間的變換矩陣（transformation matrix）。
在一個實施例中，所述根據所述位元姿轉換關係計算所述對應關係包括：利用所述第一圖像中的任一圖元點的三維空間座標乘以所述變換矩陣，獲得變換後的三維空間座標；將變換後的三維空間座標對應的所述第二圖像中的圖元點作為所述第一圖像中的所述任一圖元點的對應點。
在一個實施例中，還可以利用步驟S22的方法訓練卷積神經網路，獲得位元姿估計模型。
步驟S23、電腦裝置對所述第一深度圖像進行反向投影，獲得所述第一圖像的第三圖像。
在一個實施例中，電腦裝置可以利用預先編寫的OpenCV程式對所述第一深度圖像進行反向投影（Back Projection），獲得所述第一圖像的第三圖像。
步驟S24、電腦裝置根據所述對應關係，將所述第三圖像中的每個圖元點的圖元值更新為所述第二圖像中對應的圖元點的圖元值，獲得第四圖像。
步驟S25、電腦裝置基於所述初始深度估計模型獲取所述第一圖像與所述第四圖像之間的初始損失函數。
在一個實施例中，基於所述初始深度估計模型獲取所述第一圖像與所述第四圖像之間的損失函數包括：將所述第四圖像輸入所述初始深度模型，獲得所述第四圖像的第四深度圖像；計算所述第一深度圖像與所述第四深度圖像中對應圖元點之間的初始深度差值，基於所述初始深度差值構建所述損失函數，所述損失函數包括所述第一深度圖像與所述第四深度圖像的結構相似性（SSIM，Structural Similarity）。
在一個實施例中，所述損失函數還可以包括：所述第一深度圖像與所述第四深度圖像中對應圖元點之間圖元差值（即所述初始深度差值）的L1範數、交叉熵損失函數等。
步驟S26、電腦裝置利用雷達裝置分別獲取所述第一圖像與所述第四圖像中每個圖元點的深度值，基於所述深度值優化所述初始損失函數，獲得更新後的損失函數。
在一個實施例中，所述基於所述深度值優化所述損失函數包括：計算所述第一圖像的每個圖元點與所述第四圖像中對應圖元點之間的所述深度值的校準後的深度差值；利用所述校準後的深度差值作為所述損失函數的優化目標對所述損失函數進行優化，包括：根據所述優化目標利用隨機梯度下降法基於求導的鏈式法則對所述損失函數進行優化。
在一個實施例中，使用雷達裝置獲得的深度值可以校準所述第一圖像與所述第四圖像中低紋理（low texture）區域的深度值，提高對低紋理區域深度值檢測的準確率。
步驟S27、電腦裝置利用所述更新後的損失函數優化所述初始深度估計模型，獲得更新後的深度估計模型。
步驟S3、對所述更新後的深度估計模型重複執行上述優化流程，直至獲得符合要求的深度估計模型作為目標深度估計模型。
在一個實施例中，對所述損失函數進行優化更新的過程即對所述更新的深度估計模型的優化過程。當所述更新後的損失函數收斂至預設的閾值範圍（例如，小於或等於0.2）時，確定所述更新後的深度估計模型符合要求。
本申請提供的深度估計模型優化方法，使用雷達裝置獲得的準確深度資訊對初始深度估計模型的損失函數進行優化反覆運算，獲得的目標深度估計模型可以提高物體距離檢測的準確性。
參閱圖3所示，為本申請較佳實施例的物體距離檢測方法的流程圖。
在本實施例中，透過利用所述深度估計模型優化方法獲得的目標深度估計模型，可以實現對物體距離的檢測。在實際應用中，對物體距離的檢測可應用在各種不同的場景中，例如智慧駕駛、智慧家居（掃地機器人）等。
如圖3所示，所述物體距離檢測方法具體包括以下步驟，根據不同的需求，該流程圖中步驟的順序可以改變，某些步驟可以省略。
步驟S4、利用攝像裝置獲取物體圖像，將所述物體圖像輸入至目標深度估計模型。
在一個實施例中，所述攝像裝置可以安裝在車輛或其他需要進行物體距離檢測的裝置中。
步驟S5、從所述目標深度估計模型獲得輸出的深度圖像，基於所述深度圖像中每個圖元點的圖元值，確定所述物體與所述攝像裝置的距離。
本申請提供的物體距離檢測方法，使用所述目標深度估計模型，可以提高物體距離檢測的準確性，例如，在智慧駕駛領域，透過在行車過程中檢測與路面物體的距離，可以提高用戶駕駛車輛時的行車安全。
進一步地，在本申請的其他實施例中，在確定物體與所述攝像裝置的距離之後，還可將所述距離與預設距離閾值進行比較。若所述距離小於或等於所述預設距離閾值，輸出提示資訊。例如，若應用在智慧駕駛領域中，當所述距離小於或等於所述預設距離閾值，不僅可以透過語音或其他方式輸出提示資訊，還可對行駛中車輛進行減速控制，例如在預設時段內逐步減速直至在所述距離內停止下來。
上述圖1詳細介紹了本申請的深度估計模型優化方法，下面結合圖4，對實現所述深度估計模型優化方法的軟體系統的功能模組以及實現所述深度估計模型優化方法的硬體裝置架構進行介紹。
應該瞭解，所述實施例僅為說明之用，在專利申請範圍上並不受此結構的限制。
參閱圖4所示，為本申請較佳實施例提供的電腦裝置的結構示意圖。
在本申請較佳實施例中，所述電腦裝置3包括儲存器31、至少一個處理器32。本領域技術人員應該瞭解，圖4示出的電腦裝置的結構並不構成本申請實施例的限定，既可以是匯流排型結構，也可以是星形結構，所述電腦裝置3還可以包括比圖示更多或更少的其他硬體或者軟體，或者不同的部件佈置。
在一些實施例中，所述電腦裝置3包括一種能夠按照事先設定或儲存的指令，自動進行數值計算和/或資訊處理的終端，其硬體包括但不限於微處理器、專用積體電路、可程式設計閘陣列、數位訊號處理器及嵌入式設備等。
需要說明的是，所述電腦裝置3僅為舉例，其他現有的或今後可能出現的電子產品如可適應於本申請，也應包含在本申請的保護範圍以內，並以引用方式包含於此。
在一些實施例中，所述儲存器31用於儲存程式碼和各種資料。例如，所述儲存器31可以用於儲存安裝在所述電腦裝置3中的深度估計模型優化系統30，並在電腦裝置3的運行過程中實現高速、自動地完成程式或資料的存取。所述儲存器31包括唯讀記憶體（Read-Only Memory，ROM）、可程式設計唯讀記憶體（Programmable Read-Only Memory，PROM）、可抹除可程式設計唯讀記憶體（Erasable Programmable Read-Only Memory，EPROM）、一次可程式設計唯讀記憶體（One-time Programmable Read-Only Memory，OTPROM）、電子抹除式可複寫唯讀記憶體（Electrically-Erasable Programmable Read-Only Memory，EEPROM）、唯讀光碟（Compact Disc Read-Only Memory，CD-ROM）或其他光碟儲存器、磁碟儲存器、磁帶儲存器、或者任何其他能夠用於攜帶或儲存資料的電腦可讀的儲存介質。
在一些實施例中，所述至少一個處理器32可以由積體電路組成，例如可以由單個封裝的積體電路所組成，也可以是由多個相同功能或不同功能封裝的積體電路所組成，包括一個或者多個中央處理器（Central Processing unit，CPU）、微處理器、數位訊號處理晶片、圖形處理器及各種控制晶片的組合等。所述至少一個處理器32是所述電腦裝置3的控制核心（Control Unit），利用各種介面和線路連接整個電腦裝置3的各個部件，透過運行或執行儲存在所述儲存器31內的程式或者模組，以及調用儲存在所述儲存器31內的資料，以執行電腦裝置3的各種功能和處理資料，例如執行圖1所示的深度估計模型優化的功能。
在一些實施例中，所述深度估計模型優化系統30運行於電腦裝置3中。所述深度估計模型優化系統30可以包括多個由程式碼段所組成的功能模組。所述深度估計模型優化系統30中的各個程式段的程式碼可以儲存於電腦裝置3的儲存器31中，並由至少一個處理器32所執行，以實現圖1所示的深度估計模型優化的功能。
本實施例中，所述深度估計模型優化系統30根據其所執行的功能，可以被劃分為多個功能模組。本申請所稱的模組是指一種能夠被至少一個處理器所執行並且能夠完成固定功能的一系列電腦程式段，其儲存在儲存器中。
儘管未示出，所述電腦裝置3還可以包括給各個部件供電的電源（比如電池），優選的，電源可以透過電源管理裝置與所述至少一個處理器32邏輯相連，從而透過電源管理裝置實現管理充電、放電、以及功耗管理等功能。電源還可以包括一個或一個以上的直流或交流電源、再充電裝置、電源故障測試電路、電源轉換器或者逆變器、電源狀態指示器等任意元件。所述電腦裝置3還可以包括多種感測器、藍牙模組、Wi-Fi模組等，在此不再贅述。
應該瞭解，所述實施例僅為說明之用，在專利申請範圍上並不受此結構的限制。
上述以軟體功能模組的形式實現的集成的單元，可以儲存在一個電腦可讀取儲存介質中。上述軟體功能模組儲存在一個儲存介質中，包括若干指令用以使得一台電腦裝置（可以是伺服器、個人電腦等）或處理器（processor）執行本申請各個實施例所述方法的部分。
所述儲存器31中儲存有程式碼，且所述至少一個處理器32可調用所述儲存器31中儲存的程式碼以執行相關的功能。儲存在所述儲存器31中的程式碼可以由所述至少一個處理器32所執行，從而實現所述各個模組的功能以達到深度估計模型優化的目的。
在本申請所提供的幾個實施例中，應該理解到，所揭露的裝置和方法，可以透過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模組的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。
所述作為分離部件說明的模組可以是或者也可以不是物理上分開的，作為模組顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。
另外，在本申請各個實施例中的各功能模組可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。
對於本領域技術人員而言，顯然本申請不限於上述示範性實施例的細節，而且在不背離本申請的精神或基本特徵的情況下，能夠以其他的具體形式實現本申請。因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本申請的範圍由所附請求項而不是上述說明限定，因此旨在將落在請求項的等同要件的含義和範圍內的所有變化涵括在本申請內。不應將請求項中的任何附圖標記視為限制所涉及的請求項。此外，顯然“包括”一詞不排除其他單元或，單數不排除複數。裝置請求項中陳述的多個單元或裝置也可以由一個單元或裝置透過軟體或者硬體來實現。第一，第二等詞語用來表示名稱，而並不表示任何特定的順序。
最後所應說明的是，以上實施例僅用以說明本申請的技術方案而非限制，儘管參照以上較佳實施例對本申請進行了詳細說明，本領域的普通技術人員應當理解，可以對本申請的技術方案進行修改或等同替換，而不脫離本申請技術方案的精神和範圍。
3:電腦裝置
30:深度估計模型優化系統
31:儲存器
32:處理器
S1~S3:步驟
S21~S27:步驟
S4~S5:步驟
為了更清楚地說明本申請實施例或習知技術中的技術方案，下面將對實施例或習知技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據提供的附圖獲得其他的附圖。
圖1是本申請實施例提供的深度估計模型優化方法的流程圖。
圖2是本申請實施例提供的優化流程的流程圖。
圖3是本申請實施例提供的物體距離檢測方法的流程圖。
圖4是本申請實施例提供的電腦裝置的架構圖。
S1~S3:步驟
Claims (10)
- 一種深度估計模型優化方法，應用於電腦裝置，其中，所述方法包括： 獲取物體影像，從所述影像中截取第一圖像與第二圖像； 對預先訓練的初始深度估計模型執行優化流程，獲得更新後的深度估計模型，所述優化流程包括： 利用所述初始深度估計模型獲得所述第一圖像的第一深度圖像： 獲取所述第一圖像中的每個圖元點與所述第二圖像中的每個圖元點之間的對應關係； 對所述第一深度圖像進行反向投影，獲得所述第一圖像的第三圖像； 根據所述對應關係，將所述第三圖像中的每個圖元點的圖元值更新為所述第二圖像中對應的圖元點的圖元值，獲得第四圖像； 基於所述初始深度估計模型獲取所述第一圖像與所述第四圖像之間的初始損失函數； 利用雷達裝置分別獲取所述第一圖像與所述第四圖像中每個圖元點的深度值，基於所述深度值優化所述初始損失函數，獲得更新後的損失函數； 利用所述更新後的損失函數優化所述初始深度估計模型，獲得所述更新後的深度估計模型； 對所述更新後的深度估計模型重複執行上述優化流程，直至獲得符合要求的深度估計模型作為目標深度估計模型。
- 如請求項1所述的深度估計模型優化方法，其中，所述獲取物體影像，從所述影像中截取第一圖像與第二圖像包括： 利用攝像裝置獲取所述物體影像，從所述物體影像中獲取所述物體的不同視角的兩幀圖像作為所述第一圖像與所述第二圖像。
- 如請求項1所述的深度估計模型優化方法，其中，所述獲取所述第一圖像中的圖元點與所述第二圖像中的圖元點之間的對應關係包括： 計算所述第一圖像與所述第二圖像之間的位元姿轉換關係，根據所述位元姿轉換關係計算所述對應關係。
- 如請求項3所述的深度估計模型優化方法，其中，計算所述第一圖像與所述第二圖像之間的位元姿轉換關係包括： 利用圖像特徵點提取演算法和圖像特徵匹配演算法，獲取預設數量對的匹配點，每對匹配點包括所述第一圖像的特徵點與所述第二圖像中對應的特徵點； 基於三角測量方法，利用所述預設數量對的匹配點，獲得每個所述第一圖像的特徵點與每個所述第二圖像中的特徵點的三維空間座標； 基於Perspective-n-Point演算法，利用所述三維空間座標計算獲取所述物體影像的攝像裝置拍攝所述第一圖像時的第一相機位元姿，以及所述攝像裝置拍攝所述第二圖像時的第二相機位元姿； 根據所述第一相機位元姿和所述第二相機位姿計算所述位姿轉換關係。
- 如請求項1所述的深度估計模型優化方法，其中，基於所述初始深度估計模型獲取所述第一圖像與所述第四圖像之間的損失函數包括： 將所述第四圖像輸入所述初始深度模型，獲得所述第四圖像的第四深度圖像； 計算所述第一深度圖像與所述第四深度圖像中對應圖元點之間的初始深度差值，基於所述初始深度差值構建所述損失函數，所述損失函數包括所述第一深度圖像與所述第四深度圖像的結構相似性。
- 如請求項5所述的深度估計模型優化方法，其中，所述基於所述深度值優化所述損失函數包括： 計算所述第一圖像的每個圖元點的深度值與所述第四圖像中對應圖元點的深度值之間的校準後的深度差值； 利用所述校準後的深度差值作為所述損失函數的優化目標對所述損失函數進行優化。
- 如請求項1所述的深度估計模型優化方法，其中，所述方法還包括： 當所述更新後的損失函數收斂至預設的閾值範圍時，確定所述更新後的深度估計模型符合要求。
- 一種物體距離檢測方法，其中，所述方法包括： 利用攝像裝置獲取物體圖像，將所述物體圖像輸入至目標深度估計模型，所述目標深度估計模型為利用如請求項1至7中任意一項所述的深度估計模型優化方法所獲得； 從所述目標深度估計模型獲得輸出的深度圖像，基於所述深度圖像中每個圖元點的圖元值，確定所述物體與所述攝像裝置的距離。
- 一種電腦可讀儲存介質，其中，所述電腦可讀儲存介質儲存有至少一個指令，所述至少一個指令被處理器執行時實現如請求項1至7中任意一項所述的深度估計模型優化方法，或實現如請求項8所述的物體距離檢測方法。
- 一種電腦裝置，其中，該電腦裝置包括儲存器和至少一個處理器，所述儲存器中儲存有至少一個指令，所述至少一個指令被所述至少一個處理器執行時實現如請求項1至7中任意一項所述的深度估計模型優化方法，或實現如請求項8所述的物體距離檢測方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111120329A TWI803334B (zh) | 2022-05-31 | 2022-05-31 | 深度估計模型優化與物體距離檢測方法及相關設備 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111120329A TWI803334B (zh) | 2022-05-31 | 2022-05-31 | 深度估計模型優化與物體距離檢測方法及相關設備 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI803334B TWI803334B (zh) | 2023-05-21 |
| TW202349342A true TW202349342A (zh) | 2023-12-16 |
Family
ID=87424615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111120329A TWI803334B (zh) | 2022-05-31 | 2022-05-31 | 深度估計模型優化與物體距離檢測方法及相關設備 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI803334B (zh) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10061029B2 (en) * | 2015-01-06 | 2018-08-28 | Samsung Electronics Co., Ltd. | Correction of depth images from T-O-F 3D camera with electronic-rolling-shutter for light modulation changes taking place during light integration |
| US11044462B2 (en) * | 2019-05-02 | 2021-06-22 | Niantic, Inc. | Self-supervised training of a depth estimation model using depth hints |
| CN114332214A (zh) * | 2020-09-29 | 2022-04-12 | 北京三星通信技术研究有限公司 | 物体姿态估计方法、装置、电子设备及存储介质 |
-
2022
- 2022-05-31 TW TW111120329A patent/TWI803334B/zh active
Also Published As
| Publication number | Publication date |
|---|---|
| TWI803334B (zh) | 2023-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11557085B2 (en) | Neural network processing for multi-object 3D modeling | |
| CN107909612B (zh) | 一种基于3d点云的视觉即时定位与建图的方法与系统 | |
| CN113095336B (zh) | 关键点检测模型的训练方法和检测目标对象关键点的方法 | |
| CN113674416B (zh) | 三维地图的构建方法、装置、电子设备及存储介质 | |
| WO2021000630A1 (zh) | 更新移动机器人工作地图的方法、装置及存储介质 | |
| WO2019196476A1 (zh) | 基于激光传感器生成地图 | |
| WO2023164933A1 (zh) | 一种建筑物建模方法以及相关装置 | |
| CN114549612A (zh) | 模型训练和图像处理方法、装置、设备及存储介质 | |
| CN112967340A (zh) | 同时定位和地图构建方法、装置、电子设备及存储介质 | |
| CN114061586B (zh) | 用于生成电子设备的导航路径的方法和产品 | |
| CN109544516B (zh) | 图像检测方法及装置 | |
| CN115578433B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| WO2023087758A1 (zh) | 定位方法、定位装置、计算机可读存储介质和计算机程序产品 | |
| WO2023142353A1 (zh) | 一种位姿预测方法及装置 | |
| CN110428461B (zh) | 结合深度学习的单目slam方法及装置 | |
| CN113762397B (zh) | 检测模型训练、高精度地图更新方法、设备、介质及产品 | |
| CN113610702B (zh) | 一种建图方法、装置、电子设备及存储介质 | |
| US20230410338A1 (en) | Method for optimizing depth estimation model, computer device, and storage medium | |
| CN116524165B (zh) | 三维表情模型的迁移方法、装置、设备和存储介质 | |
| CN112414444B (zh) | 一种数据标定方法、计算机设备、存储介质 | |
| CN117274370A (zh) | 三维位姿确定方法、装置、电子设备和介质 | |
| TW202349342A (zh) | 深度估計模型優化與物體距離檢測方法及相關設備 | |
| CN112405526A (zh) | 一种机器人的定位方法及装置、设备、存储介质 | |
| KR20230006628A (ko) | 이미지 처리 방법과 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 | |
| TWM637241U (zh) | 運算裝置及模型產生系統 |