TWI814500B - 減少深度估計模型誤差的方法、裝置、設備及存儲介質 - Google Patents
減少深度估計模型誤差的方法、裝置、設備及存儲介質 Download PDFInfo
- Publication number
- TWI814500B TWI814500B TW111127564A TW111127564A TWI814500B TW I814500 B TWI814500 B TW I814500B TW 111127564 A TW111127564 A TW 111127564A TW 111127564 A TW111127564 A TW 111127564A TW I814500 B TWI814500 B TW I814500B
- Authority
- TW
- Taiwan
- Prior art keywords
- frame image
- depth estimation
- estimation model
- target frame
- pixel
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000003068 static effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012407 engineering method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Analysing Materials By The Use Of Radiation (AREA)
- Automatic Tape Cassette Changers (AREA)
- Image Processing (AREA)
Abstract
一種減少深度估計模型誤差的方法包括：獲取單目影像及單目影像的
點雲數據，每個單目影像包括目標幀圖像及參考幀圖像；根據參考幀圖像及預設初始深度估計模型對目標幀圖像進行重建得到重建幀圖像，確定重建誤差；根據點雲數據的速度信息與目標幀圖像的像素信息得到每個像素的慣性概率；對慣性概率高於預設閾值的每個像素進行標注得到掩膜數據；根據重建誤差與掩膜數據得到損失函數，基於損失函數對預設初始深度估計模型進行訓練得到目標深度估計模型。本申請還提出一種減少深度估計模型誤差的裝置、電子設備及電腦可讀存儲介質。
Description
本申請涉及電腦視覺技術領域，尤其涉及一種減少深度估計模型誤差的方法、裝置、電子設備及電腦可讀存儲介質。
如何從三維場景採集所成的二維圖像序列恢復場景的深度信息是電腦視覺領域一個重要的研究內容，而單目深度估計是理解三維場景幾何關係的重要方法。單目深度估計是指通過對單目攝像頭拍攝的圖片或視頻進行處理，得到圖片或視頻所對應深度數據的過程。其中，利用單目攝像頭所拍攝到的視頻可以稱為單目視頻。在拍攝單目視頻時，受鏡頭的晃動、拍攝場景中的物體移動以及雜訊等不穩定因素的影響，拍攝得到的單目視頻中，相鄰的幀之間可能會存在差異。這種差異會導致對單目視頻進行單目深度估計時會存在較大的抖動，即相鄰兩個視頻幀的深度數據存在較大差異。
為了抑制這種抖動，目前單目深度估計的深度學習方法中，主要利用SFM(Structure From Motion)原理，通過給予模型不同時間、視角的影像，讓模型推論目標深度並利用參考影像重建目標視角的影像。誤差較低的深度估計所重建出來的影像會較接近原始的目標影像，但重建影像相似度在以下情境中無法精準表達深度的誤差程度：移動中的物體不符合SFM的視角位姿轉換，無法正確重建。
現有技術在訓練單目深度估計模型的過程中無法完全過濾出移動的物體，使得模型深度估計的精準度有較大的誤差，從而無法使模型參數達到最優。
有鑑於此，本申請提出的一種減少深度估計模型誤差的方法、裝置、電子設備及電腦可讀存儲介質，能夠保證在模型訓練過程中動態物體的亮度差不會影響深度學習，可以減少深度估計誤差，以獲得更精確的動態場景的深度估計結果。
第一方面，本申請一實施例提供一種減少深度估計模型誤差的方法，包括：獲取單目影像及所述單目影像的點雲數據，每個所述單目影像包括目標幀圖像及參考幀圖像；根據所述參考幀圖像及預設初始深度估計模型對所述目標幀圖像進行重建得到重建幀圖像，以確定所述目標幀圖像與所述重建幀圖像的重建誤差；根據所述點雲數據的速度信息與所述目標幀圖像的像素信息，得到每個所述像素的慣性概率；對所述慣性概率高於預設閾值的每個所述像素進行標注，得到掩膜數據；根據所述重建誤差與所述掩膜數據得到損失函數，並基於所述損失函數對所述預設初始深度估計模型進行訓練，以得到目標深度估計模型。
於一實施例中，所述根據所述點雲數據的速度信息與所述目標幀圖像的像素信息，得到每個所述像素的慣性概率，包括：根據所述點雲數據的速度信息與所述目標幀圖像的像素信息，計算每個像素對於不同的點雲的初始慣性概率；利用非極大值抑制演算法融合每個像素對於不同的點雲的初始慣性概率，選取最大的初始慣性概率作為每個所述像素的慣性概率。
於一實施例中，所述初始慣性概率的計算公式為：Pr(x)=c(x，r)s(I(x)，I(r))其中，Pr(x)表示每個像素對不同的點雲的初始慣性概率，x表示每個像素，r代表每個點雲，I(x)表示每個像素x的顏色，I(r)表示每個點雲r的顏色，c表示貼近度函數，s表示相似性函數。
於一實施例中，所述根據所述參考幀圖像及預設初始深度估計模型對所述目標幀圖像進行重建得到重建幀圖像，包括：通過所述預設初始深度估計模型對所述目標幀圖像進行深度估計，得到所述目標幀圖像的深度信息；將所
述目標幀圖像及所述參考幀圖像輸入預設位姿估計模型，得到所述目標幀圖像與所述參考幀圖像間的相機位姿變化信息；根據所述深度信息及所述相機位姿變化信息對所述目標幀圖像進行重建，得到所述目標幀圖像重構後的重建幀圖像。
於一實施例中，所述確定所述目標幀圖像與所述重建幀圖像的重建誤差，包括：計算所述目標幀圖像與所述重建幀圖像的光度差，根據所述光度差獲取所述重建誤差。
於一實施例中，在所述得到訓練完成的目標深度估計模型之後，還包括：獲取待測影像，所述待測影像包括目標幀與參考幀；利用所述目標深度模型推論出所述目標幀的深度信息；根據所述參考幀及所述深度信息對所述目標幀進行重建，獲得所述目標幀的預測深度圖像。
於一實施例中，所述點雲數據的獲取方法包括：利用激光雷達掃描所述單目影像，得到所述激光雷達的點雲數據。
第二方面，本申請一實施例提供一種減少深度估計模型誤差的裝置，包括：獲取模組，用於獲取單目影像及所述單目影像的點雲數據，每個所述單目影像包括目標幀圖像及參考幀圖像；重建模組，用於根據所述參考幀圖像及預設初始深度估計模型對所述目標幀圖像進行重建得到重建幀圖像，以確定所述目標幀圖像與所述重建幀圖像的重建誤差；計算模組，用於根據所述點雲數據的速度信息與所述目標幀圖像的像素信息，得到每個所述像素的慣性概率；融合模組，用於對所述慣性概率高於預設閾值的每個所述像素進行標注，得到掩膜數據；訓練模組，根據所述重建誤差與所述掩膜數據得到損失函數，並基於所述損失函數對所述預設初始深度估計模型進行訓練，以得到目標深度估計模型。
第三方面，本申請一實施例提供一種電子設備，所述電子設備包括處理器和記憶體，所述記憶體用於存儲指令，所述處理器用於調用所述記憶體中的指令，使得所述電子設備執行如第一方面所述的減少深度估計模型誤差的方法。
第四方面，本申請一實施例提供一種電腦可讀存儲介質，所述電腦可讀存儲介質存儲電腦指令，當所述電腦指令在電子設備上運行時，使得所述電子設備執行如第一方面所述的減少深度估計模型誤差的方法。
本申請實施方式提供的減少深度估計模型誤差的方法、裝置、電子設備及電腦可讀存儲介質，通過參考幀圖像及預設初始深度估計模型得到重建幀圖像，以確定目標幀圖像與重建幀圖像的重建誤差。根據所述點雲數據的速度信息與所述目標幀圖像的像素信息，得到每個所述像素的慣性概率。對所述慣性概率高於預設閾值的每個所述像素進行標注，得到掩膜數據。根據所述重建誤差與所述掩膜數據得到損失函數，以得到訓練完成的目標深度估計模型。通過以上方法訓練出來的目標深度估計模型，在對視頻序列中單目影像進行深度圖估計時，所得深度圖的精確度得到顯著的提高，從而能夠獲得更精確的動態場景的深度估計結果。
10:減少深度估計模型誤差的裝置
11:獲取模組
12:重建模組
13:計算模組
14:融合模組
15:訓練模組
20:電子設備
21:處理器
22:記憶體
S10、S20、S30、S100、S200、S300、S400、S500:步驟
圖1為本申請一實施例的減少深度估計模型誤差的方法的應用場景示意圖。
圖2為本申請一實施例的減少深度估計模型誤差的方法的步驟流程示意圖。
圖3為本申請一實施例的目標深度估計模型的深度估計方法的步驟流程示意圖。
圖4為本申請一實施例的減少深度估計模型誤差的裝置的功能模組示意圖。
圖5為本申請一實施例的電子設備的架構示意圖。
下面將結合本申請實施方式中的附圖，對本申請實施方式中的技術方案進行清楚、完整地描述，顯然，所描述的實施方式是本申請一部分實施方式，而不是全部的實施方式。
需要說明的是，本申請實施例中“至少一個”是指一個或者多個，多個是指兩個或兩個以上。除非另有定義，本文所使用的所有的技術和科學術語與屬於本申請中的技術領域的技術人員通常理解的含義相同。本申請的說明書中所使用的術語只是為了描述具體的實施例的目的，不是旨在於限制本申請。
需要說明的是，本申請實施例中，“第一”、“第二”等詞彙，僅用於區分描述的目的，而不能理解為指示或暗示相對重要性，也不能理解為指示或暗示順序。限定有“第一”、“第二”的特徵可以明示或者隱含地包括一個或者更多個所述特徵。在本申請實施例的描述中，“示例性的”或者“例如”等詞用於表示作例子、例證或說明。本申請實施例中被描述為“示例性的”或者“例如”的任何實施例或設計方案不應被解釋為比其它實施例或設計方案更優選或更具優勢。確切而言，使用“示例性的”或者“例如”等詞旨在以具體方式呈現相關概念。
請參閱圖1，圖1為本申請一實施例的減少深度估計模型誤差的方法的應用場景示意圖。
本實施例提供的減少深度估計模型誤差的方法主要應用於包含動態物體的動態環境中，如圖1所示，動態物體意指前一時刻在單目相機O1視角下位置為P，但後一時刻在單目相機O2視角下位置為P'的物體。P'在單目相機O2視角下的投影點為P3,(P1,P3)為動態物體的特徵點匹配。(P1,P3)動態物體特徵點匹配不同於(P1,P2)等靜態物體的特徵點匹配求出的視角轉換位姿關係，現有技術大多應用在靜態物體的建模，無法完全過濾出移動物體，使得模型精準度有較大的誤差。
請參閱圖2，為本申請一實施例提供的減少深度估計模型誤差的方法的步驟流程示意圖。
具體地，本實施例公開的減少深度估計模型誤差的方法可以包括：
步驟S100，獲取單目影像及單目影像的點雲數據，每個單目影像包括目標幀圖像及參考幀圖像。
具體地，可以利用單目相機，比如RGB相機或IR相機獲取當前環境中包含動態物體的單目影像。通過單目相機拍攝周圍的環境信息，是由於單目相機安裝方便、體積小、成本低等優點，在深度估計領域具有更廣闊的應用前景。
具體地，點雲數據的獲取方法包括：利用激光雷達掃描單目影像，得到激光雷達的點雲數據。
優選地，在採用目標幀圖像及參考幀圖像訓練預設初始深度估計模型之前，可以對目標幀圖像及參考幀圖像進行校正標定處理，從而保證後續預設初始深度模型訓練效果。
優選地，可以從單目影像中抽取連續的目標幀圖像及參考幀圖像用於在訓練預設初始深度估計模型過程中作為訓練數據，以輔助降低預設初始深度估計模型訓練時所需要的訓練數據的採集成本，並且，能夠有效避免借助於過多的外部圖像信息，從而在有效地保障預設初始深度估計模型的學習建模能力的同時，有效降低預設初始深度估計模型的訓練成本。例如，目標幀圖像及參考幀圖像的數量可以是一張或多張，本申請對此不做限制。
步驟S200，根據參考幀圖像及預設初始深度估計模型對目標幀圖像進行重建得到重建幀圖像，以確定目標幀圖像與重建幀圖像的重建誤差。
具體地，通過預設初始深度估計模型對目標幀圖像進行深度估計，得到目標幀圖像的深度信息。將目標幀圖像及參考幀圖像輸入預設位姿估計模型，得到目標幀圖像與參考幀圖像間的相機位姿變化信息。根據深度信息及相機位姿變化信息對目標幀圖像進行重建，得到目標幀圖像重構後的重建幀圖像。計算目標幀圖像與重建幀圖像的光度差，根據光度差獲取重建誤差。其中，預設的位姿估計模型是現有成熟技術，不再具體描述。
需要說明的是，圖像的光度可以理解為圖像的明暗程度，而光度差信息可以是在前一時刻單目相機拍攝到的目標幀圖像和在後一時刻單目相機拍攝
到的參考幀圖像所確定得到的。光度差信息，能夠用於描述圖像光度識別處理過程中，計算得到的光度和實際的光度之間的誤差情況，即目標幀圖像與重建幀圖像的重建誤差。
需要說明的是，本實施例中可以採用任意可能的方式來確定目標幀圖像與重建幀圖像的光度差，比如可以採用模型匹配的方式、工程學方式，影像處理的方式等，對此不做限制。
步驟S300，根據點雲數據的速度信息與目標幀圖像的像素信息，得到每個像素的慣性概率。
具體地，根據點雲數據的速度信息與目標幀圖像的像素信息，計算每個像素x對於不同的點雲r的初始慣性概率Pr(x)。利用非極大值抑制演算法NMS(Non Maximum Suppression)，融合每個像素x對於不同的點雲r的初始慣性概率Pr(x)，選取最大的初始慣性概率Pr(x)作為每個像素x的慣性概率P(x)。
進一步地，初始慣性概率Pr(x)的計算公式為：Pr(x)=c(x，r)s(I(x)，I(r))其中，Pr(x)表示每個像素x對不同的點雲r的初始慣性概率，x表示每個像素，r代表每個點雲。I(x)表示每個像素x的顏色，I(r)表示每個點雲r的顏色。c(closeness function)表示貼近度函數，為2D高斯分佈(gaussian distribution)，像素x離點雲r位置越近則c值越高。s(similarity function)表示相似性函數，亦為2D高斯分佈(gaussian distribution)，像素x與點雲r顏色越接近則s值越高。
進一步地，初始慣性概率P(x)的計算公式為：
其中，慣性概率P(x)代表該像素x屬於動態物體的概率。
步驟S400，對慣性概率高於預設閾值的每個像素進行標注，得到掩膜數據。
具體地，根據試驗結果設定一預設閾值，標注慣性概率P(x)高於預設閾值T的區域，從而得到掩膜數據。掩膜數據可以讓模型訓練時避免動態物體的損失值影響學習，排除移動中的物體。
步驟S500，根據重建誤差與掩膜數據得到損失函數，並基於損失函數對預設初始深度估計模型進行訓練，以得到目標深度估計模型。
通過上述訓練方法訓練出的目標深度估計模型可以排除單目影像中所有正在移動的物體，克服了原有方法只能排除相對於相機等速移動的物體的弊端，消除了動態場景中移動目標所帶來的影響，同時，通過反覆運算求解的方式，對預設初始深度估計模型所存在的系統誤差進行修正，提高了目標深度估計模型的深度估計精度。
在本實施例中，損失函數是損失值的計算方法可以為：假設重建誤差為D，掩膜數據為M，損失函數為L，則涉及的計算公式如下：
其中，重建誤差D是大小為W*H的圖片，像素x代表誤差值，掩膜數據M也是大小為W*H的圖片，像素x
{0,1}。
損失函數Loss為重建誤差D與掩膜數據M的乘積，損失函數Loss的結果會保留掩膜數據M中像素值為1時，重建誤差D的誤差值，將所保留的誤差值平均後作為最後的損失值。基於該損失值輔助訓練預設初始深度估計模型，以得到目標深度估計模型，對此不做限制。
在本實施例中，通過參考幀圖像及預設初始深度估計模型得到重建幀圖像，以確定目標幀圖像與重建幀圖像的重建誤差。根據點雲數據的速度信息與目標幀圖像的像素信息，得到每個像素的慣性概率。對慣性概率高於預設閾值的每個像素進行標注，得到掩膜數據。根據重建誤差與掩膜數據得到損失函數，以得到訓練完成的目標深度估計模型，能夠有效地輔助提升訓練得到的目標深度估計模型針對圖像的深度特徵的表達建模能力。
通過上述方法訓練出來的目標深度估計模型，在對視頻序列中單目影像進行深度圖像估計時，所得深度圖像的精確度得到顯著的提高，從而能夠獲得更精確的動態場景的深度估計結果。
於一實施例中，如圖3所示，步驟S500後還可以包括：
步驟S10，獲取待測影像，待測影像包括目標幀與參考幀。
步驟S20，利用目標深度模型推論出目標幀的深度信息。
步驟S30，根據參考幀及深度信息對目標幀進行重建，獲得目標幀的預測深度圖像。
具體地，待測影像可以是靜態圖像，也可以是動態視頻，對此不作限制。
在本實施例中，通過獲取待測影像，並將從待測影像中抽取連續的目標幀及參考幀，將目標幀輸入至上述的減少深度估計模型誤差的方法訓練得到的目標深度估計模型之中，以得到目標幀的深度信息，然後，根據參考幀及深度信息對目標幀進行重建，獲得目標幀的預測深度圖像。由於目標深度估計模型是根據重建誤差與掩膜數據得到的損失函數訓練得到的，從而在採用目標深度估計模型對待測影像進行深度估計時，所得到的更為準確的預測深度圖像，從而能夠獲得更精確的動態場景的深度估計結果。
上述實施例的流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個或更多個用於實現特定邏輯功能或過程的步驟的可執行指令的代碼的模組、片段或部分，並且本發明的優選實施方式的範圍包括另外的實現，其中可以不按所示出或討論的順序，包括根據所涉及的功能按基本同時的方式或按相反的順序，來執行功能，這應被本申請的實施例所屬技術領域的技術人員所理解。
請參閱圖4，圖4為本申請一實施例提供的減少深度估計模型誤差的裝置10的功能模組示意圖。
在本實施例中，基於與上述實施例中的減少深度估計模型誤差的方法相同的思想，本申請還提供一種減少深度估計模型誤差的裝置10，該減少深度估計模型誤差的裝置10可用於執行上述減少深度估計模型誤差的方法。為了便於說明，減少深度估計模型誤差的裝置10實施例的功能模組示意圖中，僅僅示出了與本申請實施例相關的部分，本領域技術人員可以理解，圖示結構並不構
成對該減少深度估計模型誤差的裝置10的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件佈置。
具體地，在本實施例中，減少深度估計模型誤差的裝置10可以包括：獲取模組11，用於獲取單目影像及單目影像的點雲數據，每個單目影像包括目標幀圖像及參考幀圖像；重建模組12，用於根據參考幀圖像及預設初始深度估計模型對目標幀圖像進行重建得到重建幀圖像，以確定目標幀圖像與重建幀圖像的重建誤差；計算模組13，用於根據點雲數據的速度信息與目標幀圖像的像素信息，得到每個像素的慣性概率；融合模組14，用於對慣性概率高於預設閾值的每個像素進行標注，得到掩膜數據；訓練模組15，用於根據重建誤差與掩膜數據得到損失函數，並基於損失函數對預設初始深度估計模型進行訓練，以得到目標深度估計模型。
請參閱圖5，圖5為本申請一實施例提供的電子設備20的架構圖。
具體地，電子設備20包括處理器21和記憶體22，記憶體22用於存儲電腦指令，處理器21用於調用記憶體22中的電腦指令，使得電子設備20執行如上述實施例的減少深度估計模型誤差的方法的步驟。
示例性的，電腦指令可以被分割成一個或多個模組/單元，一個或者多個模組/單元被存儲在記憶體22中，並由處理器21執行。一個或多個模組/單元可以是能夠完成特定功能的一系列電腦指令指令段，指令段用於描述電腦指令在電子設備20中的執行過程。例如，可以分割成圖4所示的獲取模組11、重建模組12、計算模組13、融合模組14、訓練模組15。
電子設備20可以是桌上型電腦、筆記本、掌上型電腦、工業電腦、平板電腦、伺服器等計算設備。本領域技術人員可以理解，示意圖僅僅是電子設備20的示例，並不構成對電子設備20的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如電子設備20還可以包括輸入輸出設備、網路接入設備、匯流排等。
處理器21可以是中央處理單元(Central Processing Unit，CPU)，還可以是其他通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專用積體
電路(Application Specific Integrated Circuit，ASIC)、現成可程式設計閘陣列(Field-Programmable Gate Array，FPGA)或者其他可程式設計邏輯器件或者電晶體邏輯器件、分立硬體元件等。通用處理器可以是微處理器、單片機或者處理器21也可以是任何常規的處理器等。
記憶體22可用於存儲電腦指令和/或模組/單元，處理器21通過運行或執行存儲在記憶體22內的電腦指令和/或模組/單元，以及調用存儲在記憶體22內的數據，實現電子設備20的各種功能。記憶體22可主要包括存儲程式區和存儲數據區，其中，存儲程式區可存儲作業系統、至少一個功能所需的應用程式(比如聲音播放功能、圖像播放功能等)等；存儲數據區可存儲根據電子設備20的使用所創建的數據(比如音訊數據)等。此外，記憶體22可以包括高速隨機存取記憶體，還可以包括非易失性記憶體，例如硬碟、記憶體、插接式硬碟，智慧存儲卡(Smart Media Card,SMC)，安全數位(Secure Digital,SD)卡，快閃記憶體卡(Flash Card)、至少一個磁碟記憶體件、快閃記憶體器件、或其他非易失性固態記憶體件。
本申請還公開一種電腦可讀存儲介質，電腦可讀存儲介質存儲電腦指令，當電腦指令在電子設備20上運行時，使得電子設備20執行如上述實施例的減少深度估計模型誤差的方法的步驟。其中，存儲介質可以是U盤、移動硬碟、唯讀記憶體ROM、隨機存取記憶體RAM、磁碟或者光碟等各種可以存儲程式碼的介質。
本申請實施方式提供的減少深度估計模型誤差的方法、裝置、電子設備及電腦可讀存儲介質，通過參考幀圖像及預設初始深度估計模型得到重建幀圖像，以確定目標幀圖像與重建幀圖像的重建誤差。根據點雲數據的速度信息與目標幀圖像的像素信息，得到每個像素的慣性概率。對慣性概率高於預設閾值的每個像素進行標注，得到掩膜數據。根據重建誤差與掩膜數據得到損失函數，以得到訓練完成的目標深度估計模型，能夠有效地輔助提升訓練得到的目標深度估計模型針對圖像的深度特徵的表達建模能力。通過上述方法訓練出來的目標深度估計模型，在對視頻序列中單目影像進行深度圖像估計時，所得深
度圖像的精確度得到顯著的提高，從而能夠獲得更精確的動態場景的深度估計結果。
本技術領域的普通技術人員應當認識到，本說明書中所描述的具體實施例，所取名稱可以不同，本說明書中所描述的以上內容僅僅是對本申請結構所做的舉例說明。凡依據本申請構思的構造、特徵及原理所做的等效變化或者簡單變化，均包括於本申請的保護範圍內。本申請所屬技術領域的技術人員可以對所描述的具體實例做各種各樣的修改或補充或採用類似的方法，只要不偏離本申請的結構或者超越本請求項書所定義的範圍，均應屬於本申請的保護範圍。
S100、S200、S300、S400、S500:步驟
Claims (10)
- 一種減少深度估計模型誤差的方法，應用於服務器，所述減少深度估計模型誤差的方法包括：獲取單目影像及所述單目影像的點雲數據，每個所述單目影像包括目標幀圖像及參考幀圖像；根據所述參考幀圖像及預設初始深度估計模型對所述目標幀圖像進行重建得到重建幀圖像，以確定所述目標幀圖像與所述重建幀圖像的重建誤差；根據所述點雲數據的速度信息與所述目標幀圖像的像素信息，得到每個所述像素的慣性概率；對所述慣性概率高於預設閾值的每個所述像素進行標注，得到掩膜數據；根據所述重建誤差與所述掩膜數據得到損失函數，並基於所述損失函數對所述預設初始深度估計模型進行訓練，以得到目標深度估計模型。
- 如請求項1所述的減少深度估計模型誤差的方法，其中，所述根據所述點雲數據的速度信息與所述目標幀圖像的像素信息，得到每個所述像素的慣性概率，包括：根據所述點雲數據的速度信息與所述目標幀圖像的像素信息，計算每個像素對於不同的點雲的初始慣性概率；利用非極大值抑制演算法融合每個像素對於不同的點雲的初始慣性概率，選取最大的初始慣性概率作為每個所述像素的慣性概率。
- 如請求項2所述的減少深度估計模型誤差的方法，其中，所述初始慣性概率的計算公式為：Pr(x)=c(x，r)s(I(x)，I(r))其中，Pr(x)表示每個像素對不同的點雲的初始慣性概率，x表示每個像素，r代表每個點雲，I(x)表示每個像素x的顏色，I(r)表示每個點雲r的顏色，c表示貼近度函數，s表示相似性函數。
- 如請求項1所述的減少深度估計模型誤差的方法，其中，所述根據所述參考幀圖像及預設初始深度估計模型對所述目標幀圖像進行重建得到重建幀圖像，包括：通過所述預設初始深度估計模型對所述目標幀圖像進行深度估計，得到所述目標幀圖像的深度信息；將所述目標幀圖像及所述參考幀圖像輸入預設位姿估計模型，得到所述目標幀圖像與所述參考幀圖像間的相機位姿變 化信息；根據所述深度信息及所述相機位姿變化信息對所述目標幀圖像進行重建，得到所述目標幀圖像重構後的重建幀圖像。
- 如請求項1所述的減少深度估計模型誤差的方法，其中，所述確定所述目標幀圖像與所述重建幀圖像的重建誤差，包括：計算所述目標幀圖像與所述重建幀圖像的光度差，根據所述光度差獲取所述重建誤差。
- 如請求項1所述的減少深度估計模型誤差的方法，其中，在所述得到訓練完成的目標深度估計模型之後，還包括：獲取待測影像，所述待測影像包括目標幀與參考幀；利用所述目標深度模型推論出所述目標幀的深度信息；根據所述參考幀及所述深度信息對所述目標幀進行重建，獲得所述目標幀的預測深度圖像。
- 如請求項1所述的減少深度估計模型誤差的方法，其中，所述點雲數據的獲取方法包括：利用激光雷達掃描所述單目影像，得到所述激光雷達的點雲數據。
- 一種減少深度估計模型誤差的裝置，包括：獲取模組，用於獲取單目影像及所述單目影像的點雲數據，每個所述單目影像包括目標幀圖像及參考幀圖像；重建模組，用於根據所述參考幀圖像及預設初始深度估計模型對所述目標幀圖像進行重建得到重建幀圖像，以確定所述目標幀圖像與所述重建幀圖像的重建誤差；計算模組，用於根據所述點雲數據的速度信息與所述目標幀圖像的像素信息，得到每個所述像素的慣性概率；融合模組，用於對所述慣性概率高於預設閾值的每個所述像素進行標注，得到掩膜數據；訓練模組，用於根據所述重建誤差與所述掩膜數據得到損失函數，並基於所述損失函數對所述預設初始深度估計模型進行訓練，以得到目標深度估計模型。
- 一種電子設備，包括處理器和記憶體，所述記憶體用於存儲指令，所述處理器用於調用所述記憶體中的指令，使得所述電子設備執行請求項1至請求項7中任一項所述的減少深度估計模型誤差的方法。
- 一種電腦可讀存儲介質，用於存儲電腦指令，當所述電腦指令在電子設備上運行時，使得所述電子設備執行如請求項1至請求項7中任一項所述的減少深度估計模型誤差的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111127564A TWI814500B (zh) | 2022-07-22 | 2022-07-22 | 減少深度估計模型誤差的方法、裝置、設備及存儲介質 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111127564A TWI814500B (zh) | 2022-07-22 | 2022-07-22 | 減少深度估計模型誤差的方法、裝置、設備及存儲介質 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI814500B true TWI814500B (zh) | 2023-09-01 |
| TW202405752A TW202405752A (zh) | 2024-02-01 |
Family
ID=88965885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111127564A TWI814500B (zh) | 2022-07-22 | 2022-07-22 | 減少深度估計模型誤差的方法、裝置、設備及存儲介質 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI814500B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106056664A (zh) * | 2016-05-23 | 2016-10-26 | 武汉盈力科技有限公司 | 一种基于惯性和深度视觉的实时三维场景重构系统及方法 |
| US20200160542A1 (en) * | 2018-11-15 | 2020-05-21 | Toyota Research Institute, Inc. | Systems and methods for registering 3d data with 2d image data |
| US20210042997A1 (en) * | 2018-05-01 | 2021-02-11 | Commonwealth Scientific and Industrial Research Orginisation | Method and System for Use in Colourisation of a Point Cloud |
| CN112446227A (zh) * | 2019-08-12 | 2021-03-05 | 阿里巴巴集团控股有限公司 | 物体检测方法、装置及设备 |
| US20210264629A1 (en) * | 2020-02-25 | 2021-08-26 | Zebra Technologies Corporation | Depth-based data capture system configuration |
| TW202204853A (zh) * | 2020-07-21 | 2022-02-01 | 佐臻股份有限公司 | 用深度對齊影像的方法 |
-
2022
- 2022-07-22 TW TW111127564A patent/TWI814500B/zh active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106056664A (zh) * | 2016-05-23 | 2016-10-26 | 武汉盈力科技有限公司 | 一种基于惯性和深度视觉的实时三维场景重构系统及方法 |
| US20210042997A1 (en) * | 2018-05-01 | 2021-02-11 | Commonwealth Scientific and Industrial Research Orginisation | Method and System for Use in Colourisation of a Point Cloud |
| US20200160542A1 (en) * | 2018-11-15 | 2020-05-21 | Toyota Research Institute, Inc. | Systems and methods for registering 3d data with 2d image data |
| CN112446227A (zh) * | 2019-08-12 | 2021-03-05 | 阿里巴巴集团控股有限公司 | 物体检测方法、装置及设备 |
| US20210264629A1 (en) * | 2020-02-25 | 2021-08-26 | Zebra Technologies Corporation | Depth-based data capture system configuration |
| TW202204853A (zh) * | 2020-07-21 | 2022-02-01 | 佐臻股份有限公司 | 用深度對齊影像的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202405752A (zh) | 2024-02-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10354129B2 (en) | Hand gesture recognition for virtual reality and augmented reality devices | |
| US10254845B2 (en) | Hand gesture recognition for cursor control | |
| US10304164B2 (en) | Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data | |
| US11048913B2 (en) | Focusing method, device and computer apparatus for realizing clear human face | |
| CN113286194A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
| CN110008806B (zh) | 信息处理装置、学习处理方法、学习装置及物体识别装置 | |
| CN112750168B (zh) | 事件相机内参的标定方法、装置、计算机设备和存储介质 | |
| JP2020529086A (ja) | プレビュー写真をぼかすための方法および装置ならびにストレージ媒体 | |
| CN112561978B (zh) | 深度估计网络的训练方法、图像的深度估计方法、设备 | |
| TWI722638B (zh) | 一種點雲融合方法、電子設備和電腦儲存介質 | |
| TW202117611A (zh) | 電腦視覺訓練系統及訓練電腦視覺系統的方法 | |
| WO2021027543A1 (zh) | 基于单目图像的模型训练方法、装置及数据处理设备 | |
| CN109934873B (zh) | 标注图像获取方法、装置及设备 | |
| CN110493512B (zh) | 摄影构图方法、装置、摄影设备、电子装置及存储介质 | |
| US11288543B1 (en) | Systems and methods for depth refinement using machine learning | |
| CN109902675B (zh) | 物体的位姿获取方法、场景重构的方法和装置 | |
| WO2023116117A1 (zh) | 光流估计模型的训练方法和装置 | |
| WO2018058476A1 (zh) | 一种图像校正方法及装置 | |
| CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
| CN113435367A (zh) | 社交距离评估方法、装置及存储介质 | |
| CN113286084A (zh) | 终端的图像采集方法及装置、存储介质、终端 | |
| TWI814500B (zh) | 減少深度估計模型誤差的方法、裝置、設備及存儲介質 | |
| US10783704B2 (en) | Dense reconstruction for narrow baseline motion observations | |
| TWI823491B (zh) | 深度估計模型的優化方法、裝置、電子設備及存儲介質 | |
| CN117474962A (zh) | 深度估计模型的优化方法、装置、电子设备及存储介质 |