TWI823491B - 深度估計模型的優化方法、裝置、電子設備及存儲介質 - Google Patents
深度估計模型的優化方法、裝置、電子設備及存儲介質 Download PDFInfo
- Publication number
- TWI823491B TWI823491B TW111127565A TW111127565A TWI823491B TW I823491 B TWI823491 B TW I823491B TW 111127565 A TW111127565 A TW 111127565A TW 111127565 A TW111127565 A TW 111127565A TW I823491 B TWI823491 B TW I823491B
- Authority
- TW
- Taiwan
- Prior art keywords
- estimation model
- depth estimation
- target
- frame
- point cloud
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000005457 optimization Methods 0.000 title claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 29
- 230000006870 function Effects 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 abstract description 11
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Geophysics And Detection Of Objects (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
一種深度估計模型的優化方法包括：利用單目相機獲取當前環境中包
含動態物體的目標影像，及從目標影像中抽取連續的目標幀及參考幀；根據參考幀及預設的深度估計模型對目標幀進行重建，得到重建幀，及獲取目標幀與重建幀間的重建誤差；對目標影像進行預處理，得到目標影像中的點雲數據及實例分割數據；將目標影像中的點雲數據與實例分割數據進行融合，得到雷達掩膜數據；根據重建誤差與雷達掩膜數據得到損失函數，及基於損失函數對深度估計模型進行訓練。本申請還提出一種深度估計模型的優化裝置、電子設備及電腦可讀存儲介質。
Description
本申請涉及電腦視覺技術領域，尤其涉及一種深度估計模型的優化方法、裝置、電子設備及電腦可讀存儲介質。
如何從三維場景採集所成的二維圖像序列恢復場景的深度信息是電腦視覺領域一個重要的研究內容，而單目深度估計是理解三維場景幾何關係的重要方法。單目深度估計是指通過對單目攝像頭拍攝的圖片或視頻進行處理，得到圖片或視頻所對應深度數據的過程。其中，利用單目攝像頭所拍攝到的視頻可以稱為單目視頻。在拍攝單目視頻時，受鏡頭的晃動、拍攝場景中的物體移動以及雜訊等不穩定因素的影響，拍攝得到的單目視頻中，相鄰的幀之間可能會存在差異。這種差異會導致對單目視頻進行單目深度估計時會存在較大的抖動，即相鄰兩個視頻幀的深度數據存在較大差異。
為了抑制這種抖動，目前單目深度估計的深度學習方法中，主要利用SFM(Structure From Motion)原理，通過給予模型不同時間、視角的影像，讓模型推論目標深度並利用參考影像重建目標視角的影像。誤差較低的深度估計所重建出來的影像會較接近原始的目標影像，但重建影像相似度在以下情境中無法精準表達深度的誤差程度：移動中的物體不符合SFM的視角位姿轉換，無法正確重建。
現有技術在訓練單目深度估計模型的過程中無法完全過濾出移動的物體，使得模型深度估計的精準度有較大的誤差，從而無法使模型參數達到最優。
有鑑於此，本申請提出了一種深度估計模型的優化方法、裝置、電子設備及電腦可讀存儲介質，通過利用重建誤差與雷達掩膜數據得到損失函數，以優化深度估計模型，能夠獲得更精確的動態場景深度估計結果。
第一方面，本申請一實施例提供一種深度估計模型的優化方法，包括：利用單目相機獲取當前環境中包含動態物體的目標影像，及從所述目標影像中抽取連續的目標幀及參考幀；根據所述參考幀及預設的深度估計模型對所述目標幀進行重建，得到重建幀，及獲取所述目標幀與所述重建幀間的重建誤差；對所述目標影像進行預處理，得到所述目標影像中的點雲數據及實例分割數據；將所述目標影像中的所述點雲數據與所述實例分割數據進行融合，得到雷達掩膜數據；根據所述重建誤差與所述雷達掩膜數據得到損失函數，及基於所述損失函數對所述深度估計模型進行訓練，直到所述損失函數收斂，以優化所述深度估計模型。
於一實施例中，對所述目標影像進行預處理的方式，包括：基於實例分割網路得到所述目標影像中每一個像素點的實例分割數據，利用激光雷達掃描所述目標影像，得到所述激光雷達的點雲數據。
於一實施例中，所述將所述點雲數據與所述實例分割數據進行融合，得到雷達掩膜數據，包括：獲取所述單目相機和所述激光雷達的外參數，所述外參數包括旋轉矩陣和平移矩陣；根據所述外參數將所述激光雷達的點雲數據投影到所述單目相機的三維坐標系下；獲取所述單目相機的內參數，所述內參數包括內參數矩陣和畸變參數矩陣；根據所述內參數將所述單目相機的三維坐標系下的點投影到成像平面，得到所述激光雷達的點雲數據和所述目標影像的像素間的對應關係；根據所述對應關係將所述目標影像中每一個像素點的實例分割數據附加到所述點雲數據上，得到所述雷達掩膜數據。
於一實施例中，所述激光雷達的點雲數據和所述目標影像的像素間的對應關係，涉及的計算公式為：
其中，P代表所述點雲數據的三維坐標，Z代表所述點雲數據的三維坐標的Z分量，Puv代表所述成像平面的二維坐標，X代表所述點雲數據的三維坐標的X分量，Y代表所述點雲數據的三維坐標的Y分量，K代表所述單目相機的內參數。
於一實施例中，所述根據所述參考幀及預設的深度估計模型對所述目標幀進行重建，得到重建幀，包括：通過所述深度估計模型對所述目標幀進行深度估計，得到所述目標幀的深度信息；將所述目標幀及所述參考幀輸入預設的位姿估計模型，得到所述目標幀與所述參考幀間的相機位姿變化；根據所述深度信息及所述相機位姿變化對所述目標幀進行重建，得到所述目標幀重構後的重建幀。
於一實施例中，所述獲取所述目標幀與所述重建幀間的重建誤差，包括：計算所述目標幀與所述重建幀的亮度差，根據所述亮度差獲取所述重建誤差。
於一實施例中，所述深度估計模型的優化方法，還包括：利用優化後的深度估計模型前向傳播，計算出新的目標幀的預測深度圖。
第二方面，本申請一實施例提供一種深度估計模型的優化裝置，包括：獲取模組，用於利用單目相機獲取當前環境中包含動態物體的目標影像，及從所述目標影像中抽取連續的目標幀及參考幀；重建模組，用於根據所述參考幀及預設的深度估計模型對所述目標幀進行重建，得到重建幀，及獲取所述目標幀與所述重建幀間的重建誤差；處理模組，用於對所述目標影像進行預處理，得到所述目標影像中的點雲數據及實例分割數據；融合模組，用於將所述目標影像中的所述點雲數據與所述實例分割數據進行融合，得到雷達掩膜數據；計算模組，用於根據所述重建誤差與所述雷達掩膜數據得到損失函數，及基於所述損失函數對所述深度估計模型進行訓練，直到所述損失函數收斂，以優化所述深度估計模型。
第三方面，本申請一實施例提供一種電子設備，所述電子設備包括處理器和記憶體，所述記憶體用於存儲指令，所述處理器用於調用所述記憶體中的指令，使得所述電子設備執行如第一方面所述的深度估計模型的優化方法。
第四方面，本申請一實施例提供一種電腦可讀存儲介質，所述電腦可讀存儲介質存儲電腦指令，當所述電腦指令在電子設備上運行時，使得所述電子設備執行如第一方面所述的深度估計模型的優化方法。
本申請實施方式提供的深度估計模型的優化方法、裝置、電子設備及電腦可讀存儲介質，通過參考幀及預設深度估計模型得到重建幀，並獲取目標幀與重建幀的重建誤差，同時，通過融合目標影像中的點雲數據及實例分割數據得到雷達掩膜數據，結合重建誤差與雷達掩膜數據計算損失值，以訓練深度估計模型。通過以上方法訓練出來的深度估計模型，在對視頻序列中目標影像進行深度圖估計時，所得深度圖的精確度得到顯著的提高，從而能夠獲得更精確的動態場景的深度估計結果。
10:深度估計模型的優化裝置
11:獲取模組
12:重建模組
13:處理模組
14:融合模組
15:計算模組
20:電子設備
21:處理器
22:記憶體
S100、S200、S300、S400、S500、S600:步驟
圖1為本申請一實施例的深度估計模型的優化方法的步驟流程示意圖。
圖2為本申請一實施例的深度估計模型的優化方法的應用場景示意圖。
圖3為本申請一實施例的深度估計模型的優化裝置的功能模組示意圖。
圖4為本申請一實施例的電子設備的架構示意圖。
下面將結合本申請實施方式中的附圖，對本申請實施方式中的技術方案進行清楚、完整地描述，顯然，所描述的實施方式是本申請一部分實施方式，而不是全部的實施方式。
需要說明的是，本申請實施例中“至少一個”是指一個或者多個，多個是指兩個或兩個以上。除非另有定義，本文所使用的所有的技術和科學術語與屬
於本申請中的技術領域的技術人員通常理解的含義相同。本申請的說明書中所使用的術語只是為了描述具體的實施例的目的，不是旨在於限制本申請。
需要說明的是，本申請實施例中，“第一”、“第二”等詞彙，僅用於區分描述的目的，而不能理解為指示或暗示相對重要性，也不能理解為指示或暗示順序。限定有“第一”、“第二”的特徵可以明示或者隱含地包括一個或者更多個所述特徵。在本申請實施例的描述中，“示例性的”或者“例如”等詞用於表示作例子、例證或說明。本申請實施例中被描述為“示例性的”或者“例如”的任何實施例或設計方案不應被解釋為比其它實施例或設計方案更優選或更具優勢。確切而言，使用“示例性的”或者“例如”等詞旨在以具體方式呈現相關概念。
請參閱圖1，圖1為本申請一實施例提供的深度估計模型的優化方法的步驟流程示意圖。
本實施例提供的深度估計模型的優化方法主要應用於包含動態物體的動態環境中，如圖2所示，動態物體意指前一時刻在單目相機O1視角下位置為P，但後一時刻在單目相機O2視角下位置為P'的物體。P'在單目相機O2視角下的投影點為P3,(P1,P3)為動態物體的特徵點匹配。(P1,P3)動態物體特徵點匹配不同於(P1,P2)等靜態物體的特徵點匹配求出的視角轉換位姿關係，故SFM技術大多應用在靜態物體的建模。
具體地，本實施例的深度估計模型的優化方法可以包括：
步驟S100，利用單目相機獲取當前環境中包含動態物體的目標影像，及從目標影像中抽取連續的目標幀及參考幀。
具體地，可以利用單目相機，比如RGB相機或IR相機獲取當前環境中包含動態物體的目標影像。通過單目相機拍攝周圍的環境信息，由於單目相機安裝方便、體積小、成本低等優點，在深度估計領域具有更廣闊的應用前景。
優選地，在採用目標幀及參考幀訓練深度估計模型之前，可以對目標幀及參考幀進行校正標定處理，從而保證後續深度模型訓練效果。
需要說明的是，從目標影像中抽取連續的目標幀及參考幀用於在訓練深度估計模型過程中作為訓練數據，以輔助降低深度估計模型訓練時所需要的訓練數據的採集成本，並且，能夠有效避免借助於過多的外部圖像信息，從而
在有效地保障深度估計模型的學習建模能力的同時，有效降低深度估計模型的訓練成本。
步驟S200，根據參考幀及預設的深度估計模型對目標幀進行重建，得到重建幀，及獲取目標幀與重建幀間的重建誤差。
具體地，通過深度估計模型對目標幀進行深度估計，得到目標幀的深度信息。將目標幀及參考幀輸入預設的位姿估計模型，得到目標幀與參考幀間的相機位姿變化。根據深度信息及相機位姿變化對目標幀進行重建，得到目標幀重構後的重建幀。計算目標幀與重建幀的亮度差，根據亮度差獲取重建誤差。其中，預設的位姿估計模型是現有成熟技術，不再具體描述。
需要說明的是，圖像亮度可以理解為圖像的明暗程度，而亮度差信息，可以是在前一時刻單目相機拍攝到的目標幀和在後一時刻單目相機拍攝到的參考幀所確定得到的。亮度差信息，能夠用於描述圖像亮度識別處理過程中，計算得到的亮度和實際的亮度之間的誤差情況，即目標幀圖像與重建幀圖像的重建誤差。
需要說明的是，本實施例中可以採用任意可能的方式來確定目標幀與重建幀的亮度差，比如可以採用模型匹配的方式、工程學方式，影像處理的方式等，對此不做限制。
步驟S300，對目標影像進行預處理，得到目標影像中的點雲數據及實例分割數據。
具體地，基於實例分割網路得到目標影像中每一個像素點的實例分割數據。利用激光雷達掃描目標影像，得到激光雷達的點雲數據。
在其他實施例中，可以通過其他方式獲點雲數據及實例分割數據，本申請對此不作限制。
步驟S400，將目標影像中的點雲數據與實例分割數據進行融合，得到雷達掩膜數據。
具體地，獲取單目相機和激光雷達的外參數，外參數包括旋轉矩陣和平移矩陣；根據外參數將激光雷達的點雲數據投影到單目相機的三維坐標系下；
獲取單目相機的內參數，內參數包括內參數矩陣和畸變參數矩陣；根據內參數將單目相機的三維坐標系下的點投影到成像平面，得到激光雷達的點雲數據和目標影像的像素間的對應關係；根據對應關係將目標影像中每一個像素點的實例分割數據附加到點雲數據上，得到雷達掩膜數據。
具體地，激光雷達的點雲數據和目標影像的像素間的對應關係，涉及的計算公式為：
其中，P代表點雲數據的三維坐標，Z代表點雲數據的三維坐標的Z分量，Puv代表成像平面的二維坐標，X代表點雲數據的三維坐標的X分量，Y代表點雲數據的三維坐標的Y分量，K代表單目相機的內參數。
其中，點雲數據包含速度信息，可以通過點雲數據所包含的速度信息統計出物體是否正在移動。
步驟S500，根據重建誤差與雷達掩膜數據得到損失函數，及基於所述損失函數對所述深度估計模型進行訓練，直到損失函數收斂，以優化深度估計模型。
具體地，根據重建誤差與雷達掩膜數據得到損失函數，可以排除目標影像中所有正在移動的物體，克服了原有方法只能排除相對於相機等速移動的物體的弊端，消除了動態場景中移動目標所帶來的影響，同時，通過反覆運算求解的方式，對深度估計模型所存在的系統誤差進行修正，提高了深度估計模型的深度估計精度。
在本實施例中，損失值的計算方法可以為：假設實例分割數據為L，重建誤差為D，雷達掩膜數據為M，損失函數為Loss，則涉及的計算公式如下：
Loss=DM
其中，(u,v)或(u',v')為任意圖片的像素坐標，I為實例分割的流水號集合，重建誤差D是大小為W*H的圖片，像素代表誤差值，雷達掩膜數據M也是大小為W*H的圖片，像素
{0,1}。
其中，損失函數Loss為重建誤差D與雷達掩膜數據M的乘積，損失函數Loss的結果會保留雷達掩膜數據M中像素值為1時，重建誤差D的誤差值，將所保留的誤差值平均後作為最後的損失值。基於該損失值輔助訓練預設的深度估計模型，以得到優化後的深度估計模型，對此不做限制。
在本實施例中，通過預設的位姿估計模型及深度估計模型獲取目標幀與重建幀的重建誤差，同時，通過融合目標影像中的點雲數據及實例分割數據得到雷達掩膜數據，結合重建誤差與雷達掩膜數據得到損失函數，以訓練深度估計模型。
通過上述訓練方法訓練出的深度估計模型可以排除單目影像中所有正在移動的物體，克服了原有方法只能排除相對於相機等速移動的物體的弊端，消除了動態場景中移動目標所帶來的影響，同時，通過反覆運算求解的方式，對預設的深度估計模型所存在的系統誤差進行修正，提高了深度估計模型的深度估計精度。
步驟S600，利用優化後的深度估計模型前向傳播，計算出新的目標幀的預測深度圖。
具體地，利用優化後的深度估計模型前向傳播，計算出新的目標幀的預測深度圖，可以獲得更精確的動態場景深度估計結果。通過以上方法訓練出來的深度估計模型，在對視頻序列中新的目標影像進行深度圖估計時，所得深度圖的精確度得到顯著的提高，從而能夠獲得更精確的動態場景的深度估計結果。
上述實施例的流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個或更多個用於實現特定邏輯功能或過程的步驟的可執行指令的代碼的模組、片段或部分，並且本發明的優選實施方式的範圍包括另外的實現，其中可以不按所示出或討論的順序，包括根據所涉及的功能按
基本同時的方式或按相反的順序，來執行功能，這應被本申請的實施例所屬技術領域的技術人員所理解。
請參閱圖3，圖3為本申請一實施例提供的深度估計模型的優化裝置10的功能模組示意圖。
在本實施例中，基於與上述實施例中的深度估計模型的優化方法相同的思想，本申請還提供一種深度估計模型的優化裝置10，該深度估計模型的優化裝置10可用於執行上述實施例中的深度估計模型的優化方法。為了便於說明，深度估計模型的優化裝置10實施例的功能模組示意圖中，僅僅示出了與本申請實施例相關的部分，本領域技術人員可以理解，圖示結構並不構成對該深度估計模型的優化裝置10的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件佈置。
具體地，在本實施例中，深度估計模型的優化裝置10包括：獲取模組11，用於利用單目相機獲取當前環境中包含動態物體的目標影像，及從目標影像中抽取連續的目標幀及參考幀；重建模組12，用於根據參考幀及預設的深度估計模型對目標幀進行重建，得到重建幀，及獲取目標幀與重建幀間的重建誤差；處理模組13，用於對目標影像進行預處理，得到目標影像中的點雲數據及實例分割數據；融合模組14，用於將目標影像中的點雲數據與實例分割數據進行融合，得到雷達掩膜數據；計算模組15，用於根據重建誤差與雷達掩膜數據得到損失函數，及基於損失函數對所述深度估計模型進行訓練，直到損失函數收斂，以優化深度估計模型。
請參閱圖4，圖4為本申請一實施例提供的電子設備20的架構圖。
具體地，電子設備20包括處理器21和記憶體22，記憶體22用於存儲電腦指令，處理器21用於調用記憶體22中的電腦指令，使得電子設備20執行如上述實施例的深度估計模型的優化方法的步驟。
示例性的，電腦指令可以被分割成一個或多個模組/單元，一個或者多個模組/單元被存儲在記憶體22中，並由處理器21執行。一個或多個模組/單元可以是能夠完成特定功能的一系列電腦指令指令段，指令段用於描述電腦指令
在電子設備20中的執行過程。例如，可以分割成圖3所示的獲取模組11、重建模組12、處理模組13、融合模組14、計算模組15。
電子設備20可以是桌上型電腦、筆記本、掌上型電腦、工業電腦、平板電腦、伺服器等計算設備。本領域技術人員可以理解，示意圖僅僅是電子設備20的示例，並不構成對電子設備20的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如電子設備20還可以包括輸入輸出設備、網路接入設備、匯流排等。
處理器21可以是中央處理單元(Central Processing Unit，CPU)，還可以是其他通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專用積體電路(Application Specific Integrated Circuit，ASIC)、現成可程式設計閘陣列(Field-Programmable Gate Array，FPGA)或者其他可程式設計邏輯器件或者電晶體邏輯器件、分立硬體元件等。通用處理器可以是微處理器、單片機或者處理器21也可以是任何常規的處理器等。
記憶體22可用於存儲電腦指令和/或模組/單元，處理器21通過運行或執行存儲在記憶體22內的電腦指令和/或模組/單元，以及調用存儲在記憶體22內的數據，實現電子設備20的各種功能。記憶體22可主要包括存儲程式區和存儲數據區，其中，存儲程式區可存儲作業系統、至少一個功能所需的應用程式(比如聲音播放功能、圖像播放功能等)等；存儲數據區可存儲根據電子設備20的使用所創建的數據(比如音訊數據)等。此外，記憶體22可以包括高速隨機存取記憶體，還可以包括非易失性記憶體，例如硬碟、記憶體、插接式硬碟，智慧存儲卡(Smart Media Card,SMC)，安全數位(Secure Digital,SD)卡，快閃記憶體卡(Flash Card)、至少一個磁碟記憶體件、快閃記憶體器件、或其他非易失性固態記憶體件。
本申請還公開一種電腦可讀存儲介質，電腦可讀存儲介質存儲電腦指令，當電腦指令在電子設備20上運行時，使得電子設備20執行如上述實施例的深度估計模型的優化方法的步驟。其中，存儲介質可以是U盤、移動硬碟、唯
讀記憶體ROM、隨機存取記憶體RAM、磁片或者光碟等各種可以存儲程式碼的介質。
本申請實施方式提供的深度估計模型的優化方法、裝置、電子設備及電腦可讀存儲介質，通過參考幀及預設深度估計模型得到重建幀，並獲取目標幀與重建幀的重建誤差，同時，通過融合目標影像中的點雲數據及實例分割數據得到雷達掩膜數據，結合重建誤差與雷達掩膜數據計算損失值，以訓練深度估計模型。
上述實施例中的深度估計模型的優化方法、裝置、電子設備及電腦可讀存儲介質，在對視頻序列中目標影像進行深度圖估計時，所得深度圖的精確度得到顯著的提高，從而能夠獲得更精確的動態場景的深度估計結果。
本技術領域的普通技術人員應當認識到，本說明書中所描述的具體實施例，所取名稱可以不同，本說明書中所描述的以上內容僅僅是對本申請結構所做的舉例說明。凡依據本申請構思的構造、特徵及原理所做的等效變化或者簡單變化，均包括於本申請的保護範圍內。本申請所屬技術領域的技術人員可以對所描述的具體實例做各種各樣的修改或補充或採用類似的方法，只要不偏離本申請的結構或者超越本請求項書所定義的範圍，均應屬於本申請的保護範圍。
S100、S200、S300、S400、S500、S600:步驟
Claims (8)
- 一種深度估計模型的優化方法，包括：利用單目相機獲取當前環境中包含動態物體的目標影像，及從所述目標影像中抽取連續的目標幀及參考幀；根據所述參考幀及預設的深度估計模型對所述目標幀進行重建，得到重建幀，及獲取所述目標幀與所述重建幀間的重建誤差；基於實例分割網路得到所述目標影像中每一個像素點的實例分割數據，利用激光雷達掃描所述目標影像，得到所述激光雷達的點雲數據；獲取所述單目相機和所述激光雷達的外參數，所述外參數包括旋轉矩陣和平移矩陣；根據所述外參數將所述激光雷達的點雲數據投影到所述單目相機的三維坐標系下；獲取所述單目相機的內參數，所述內參數包括內參數矩陣和畸變參數矩陣；根據所述內參數將所述單目相機的三維坐標系下的點投影到成像平面，得到所述激光雷達的點雲數據和所述目標影像的像素間的對應關係；根據所述對應關係將所述目標影像中每一個像素點的實例分割數據附加到所述點雲數據上，得到雷達掩膜數據；根據所述重建誤差與所述雷達掩膜數據得到損失函數，及基於所述損失函數對所述深度估計模型進行訓練，直到所述損失函數收斂，以優化所述深度估計模型。
- 如請求項1所述的深度估計模型的優化方法，其中，所述激光雷達的點雲數據和所述目標影像的像素間的對應關係，涉及的計算公式為：
- 如請求項1所述的深度估計模型的優化方法，其中，所述根據所述參考幀及預設的深度估計模型對所述目標幀進行重建，得到重建幀，包括：通過所述深度估計模型對所述目標幀進行深度估計，得到所述目標幀的深度信息；將所述目標幀及所述參考幀輸入預設的位姿估計模型，得到所述目標幀與所述 參考幀間的相機位姿變化；根據所述深度信息及所述相機位姿變化對所述目標幀進行重建，得到所述目標幀重構後的重建幀。
- 如請求項1所述的深度估計模型的優化方法，其中，所述獲取所述目標幀與所述重建幀間的重建誤差，包括：計算所述目標幀與所述重建幀的亮度差，根據所述亮度差獲取所述重建誤差。
- 如請求項1所述的深度估計模型的優化方法，還包括：利用優化後的深度估計模型前向傳播，計算出新的目標幀的預測深度圖。
- 一種深度估計模型的優化裝置，包括：獲取模組，用於利用單目相機獲取當前環境中包含動態物體的目標影像，及從所述目標影像中抽取連續的目標幀及參考幀；重建模組，用於根據所述參考幀及預設的深度估計模型對所述目標幀進行重建，得到重建幀，及獲取所述目標幀與所述重建幀間的重建誤差；處理模組，基於實例分割網路得到所述目標影像中每一個像素點的實例分割數據，利用激光雷達掃描所述目標影像，得到所述激光雷達的點雲數據；融合模組，用於獲取所述單目相機和所述激光雷達的外參數，所述外參數包括旋轉矩陣和平移矩陣，及根據所述外參數將所述激光雷達的點雲數據投影到所述單目相機的三維坐標系下，及獲取所述單目相機的內參數，所述內參數包括內參數矩陣和畸變參數矩陣，及根據所述內參數將所述單目相機的三維坐標系下的點投影到成像平面，得到所述激光雷達的點雲數據和所述目標影像的像素間的對應關係，及根據所述對應關係將所述目標影像中每一個像素點的實例分割數據附加到所述點雲數據上，得到雷達掩膜數據；計算模組，用於根據所述重建誤差與所述雷達掩膜數據得到損失函數，及基於所述損失函數對所述深度估計模型進行訓練，直到所述損失函數收斂，以優化所述深度估計模型。
- 一種電子設備，包括處理器和記憶體，所述記憶體用於存儲指令，所述處理器用於調用所述記憶體中的指令，使得所述電子設備執行如請求項1至請求項5中任一項所述的深度估計模型的優化方法。
- 一種電腦可讀存儲介質，用於存儲電腦指令，當所述電腦指令在電子設備上運行時，使得所述電子設備執行如請求項1至請求項5中任一項所述的深度估計模型的優化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111127565A TWI823491B (zh) | 2022-07-22 | 2022-07-22 | 深度估計模型的優化方法、裝置、電子設備及存儲介質 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111127565A TWI823491B (zh) | 2022-07-22 | 2022-07-22 | 深度估計模型的優化方法、裝置、電子設備及存儲介質 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI823491B true TWI823491B (zh) | 2023-11-21 |
| TW202405753A TW202405753A (zh) | 2024-02-01 |
Family
ID=89722729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111127565A TWI823491B (zh) | 2022-07-22 | 2022-07-22 | 深度估計模型的優化方法、裝置、電子設備及存儲介質 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI823491B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110135485A (zh) * | 2019-05-05 | 2019-08-16 | 浙江大学 | 单目相机与毫米波雷达融合的物体识别与定位方法和系统 |
| CN111386550A (zh) * | 2017-11-15 | 2020-07-07 | 谷歌有限责任公司 | 图像深度和自我运动预测神经网络的无监督学习 |
| TW202125316A (zh) * | 2019-12-20 | 2021-07-01 | 中國商深圳市商湯科技有限公司 | 影像處理方法、電子設備和電腦儲存介質 |
| US20210264624A1 (en) * | 2019-09-25 | 2021-08-26 | Blue River Technology Inc. | Identifying and avoiding obstructions using depth information in a single image |
| TW202141428A (zh) * | 2020-04-28 | 2021-11-01 | 大陸商深圳市商湯科技有限公司 | 場景深度和相機運動預測方法、電子設備和電腦可讀儲存介質 |
-
2022
- 2022-07-22 TW TW111127565A patent/TWI823491B/zh active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111386550A (zh) * | 2017-11-15 | 2020-07-07 | 谷歌有限责任公司 | 图像深度和自我运动预测神经网络的无监督学习 |
| CN110135485A (zh) * | 2019-05-05 | 2019-08-16 | 浙江大学 | 单目相机与毫米波雷达融合的物体识别与定位方法和系统 |
| US20210264624A1 (en) * | 2019-09-25 | 2021-08-26 | Blue River Technology Inc. | Identifying and avoiding obstructions using depth information in a single image |
| TW202125316A (zh) * | 2019-12-20 | 2021-07-01 | 中國商深圳市商湯科技有限公司 | 影像處理方法、電子設備和電腦儲存介質 |
| TW202141428A (zh) * | 2020-04-28 | 2021-11-01 | 大陸商深圳市商湯科技有限公司 | 場景深度和相機運動預測方法、電子設備和電腦可讀儲存介質 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202405753A (zh) | 2024-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| WO2018112788A1 (zh) | 图像处理方法及设备 | |
| CN112311965B (zh) | 虚拟拍摄方法、装置、系统及存储介质 | |
| CN112561978B (zh) | 深度估计网络的训练方法、图像的深度估计方法、设备 | |
| WO2017091927A1 (zh) | 图像处理方法和双摄像头系统 | |
| JP7064257B2 (ja) | 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体 | |
| TW202117611A (zh) | 電腦視覺訓練系統及訓練電腦視覺系統的方法 | |
| US11527014B2 (en) | Methods and systems for calibrating surface data capture devices | |
| CN112750168B (zh) | 事件相机内参的标定方法、装置、计算机设备和存储介质 | |
| WO2022156533A1 (zh) | 三维人体模型重建方法、装置、电子设备及存储介质 | |
| WO2021139176A1 (zh) | 基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质 | |
| TWI722638B (zh) | 一種點雲融合方法、電子設備和電腦儲存介質 | |
| CN110493512B (zh) | 摄影构图方法、装置、摄影设备、电子装置及存储介质 | |
| WO2021027543A1 (zh) | 基于单目图像的模型训练方法、装置及数据处理设备 | |
| WO2019157922A1 (zh) | 一种图像处理方法、装置及ar设备 | |
| CN109902675B (zh) | 物体的位姿获取方法、场景重构的方法和装置 | |
| WO2022061850A1 (zh) | 点云运动畸变修正方法和装置 | |
| WO2018058476A1 (zh) | 一种图像校正方法及装置 | |
| CN113286084B (zh) | 终端的图像采集方法及装置、存储介质、终端 | |
| TWI823491B (zh) | 深度估計模型的優化方法、裝置、電子設備及存儲介質 | |
| CN116051736A (zh) | 一种三维重建方法、装置、边缘设备和存储介质 | |
| CN116012418A (zh) | 多目标跟踪方法及装置 | |
| CN113034345B (zh) | 一种基于sfm重建的人脸识别方法及系统 | |
| TWI814500B (zh) | 減少深度估計模型誤差的方法、裝置、設備及存儲介質 | |
| WO2022041119A1 (zh) | 三维点云处理方法及装置 |