TWI817540B - 深度圖像獲取方法、電子設備及計算機可讀存儲媒體 - Google Patents
深度圖像獲取方法、電子設備及計算機可讀存儲媒體 Download PDFInfo
- Publication number
- TWI817540B TWI817540B TW111121118A TW111121118A TWI817540B TW I817540 B TWI817540 B TW I817540B TW 111121118 A TW111121118 A TW 111121118A TW 111121118 A TW111121118 A TW 111121118A TW I817540 B TWI817540 B TW I817540B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- point cloud
- cloud image
- depth
- deep learning
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013135 deep learning Methods 0.000 claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims description 50
- 230000009466 transformation Effects 0.000 claims description 32
- 238000013527 convolutional neural network Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申請提供一種深度圖像獲取方法、電子設備及計算機可讀存儲媒體。所述方法包括：獲取第一圖像及第二圖像並基於深度學習網路模型得到第一深度圖及第二深度圖；將第一深度圖、第二深度圖變為第一點雲圖及第二點雲圖；將第一點雲圖、第二點雲圖變為第三點雲圖及第四點雲圖；將第一點雲圖與第四點雲圖進行匹配，並計算第一誤差值；將第二點雲圖與第三點雲圖進行匹配，並計算第二誤差值；調整深度學習網路模型，得到目標深度學習網路模型；將待檢測圖像輸入至目標深度學習網路模型，得到深度圖像。本申請能夠獲得更加精準的深度圖像。
Description
本申請涉及機器視覺領域，尤其涉及一種深度圖像獲取方法、電子設備及計算機可讀存儲媒體。
車輛在自動行駛過程中，需要利用深度圖像監測車輛周圍的行人、車輛或者障礙物。目前獲取深度圖像的方式包括雙目視覺方式、結構光方式以及飛行時間方式等。然而，目前上述幾種方式獲取的深度圖像不夠準確，從而影響自動駕駛的安全。
鑒於以上內容，有必要提供一種深度圖像獲取方法、電子設備及計算機可讀存儲媒體，能夠解決不夠精確的深度圖像會影響車輛自動行駛的安全性的技術問題。
本申請實施例提供一種深度圖像獲取方法，所述深度圖像獲取方法包括：獲取相機相鄰時間拍攝的第一圖像及第二圖像；及基於深度學習網路模型對所述第一圖像進行處理得到第一預測深度圖；及對所述第二圖像進行處理得到第二預測深度圖；對所述第一圖像及所述第二圖像進行處理得到所述第一圖像和所述第二圖像之間的相機轉換矩陣；將所述第一預測深度圖轉換為第一點雲圖，及將所述第二預測深度圖轉換為第二點雲圖；根據所述相機轉換矩
陣將所述第一點雲圖轉換為第三點雲圖，及將所述第二點雲圖轉換為第四點雲圖；將所述第一點雲圖與所述第四點雲圖進行點雲匹配，並計算所述第一點雲圖與所述第四點雲圖進行點雲匹配的第一誤差值；及將所述第二點雲圖與所述第三點雲圖進行點雲匹配，並計算所述第二點雲圖與所述第三點雲圖進行點雲匹配的第二誤差值；根據所述第一誤差值及所述第二誤差值調整所述深度學習網路模型，得到目標深度學習網路模型；將待檢測圖像輸入至所述目標深度學習網路模型，得到所述待檢測圖像對應的深度圖像。利用所述方法，能夠獲取精確的深度圖像以避免影響車輛的自動行駛。
在一種可選的實施方式中，所述將所述第一預測深度圖轉換為第一點雲圖，及將所述第二預測深度圖轉換為第二點雲圖包括：從所述第一預測深度圖獲取第一像素點座標，並根據所述第一像素點座標和所述相機的內外參矩陣變換公式得到所述第一點雲圖；及從所述第二預測深度圖獲取第二像素點座標，並根據所述第二像素點座標和所述相機的內外參矩陣變換公式得到所述第二點雲圖。
在一種可選的實施方式中，所述相機轉換矩陣包括旋轉矩陣及平移矩陣，所述根據所述相機轉換矩陣將所述第一點雲圖轉換為第三點雲圖，及將所述第二點雲圖轉換為第四點雲圖包括：獲取所述第一點雲圖中點的座標並組合成第一座標集；獲取所述第二點雲圖中點的座標並組合成第二座標集；將所述旋轉矩陣、所述平移矩陣與所述第一座標集相乘得到所述第三點雲圖；及將所述旋轉矩陣、所述平移矩陣與所述第二座標集相乘得到所述第四點雲圖。
在一種可選的實施方式中，所述深度學習網路模型包括深度估計卷積神經網路及位姿估計卷積神經網路，所述基於深度學習網路模型對所述第一圖像進行處理得到第一預測深度圖，及對所述第二圖像進行處理得到第二預測深度圖包括：基於所述深度估計卷積神經網路對所述第一圖像進行卷積運算
及反卷積運算得到所述第一預測深度圖；基於所述深度估計卷積神經網路對所述第二圖像進行卷積運算及反卷積運算得到所述第二預測深度圖。
在一種可選的實施方式中，所述對所述第一圖像及所述第二圖像進行處理得到所述第一圖像和所述第二圖像之間的相機轉換矩陣包括：基於所述位姿估計卷積神經網路對所述第一圖像及所述第二圖像進行卷積運算得到相機轉換矩陣。
在一種可選的實施方式中，所述將所述第一點雲圖與所述第四點雲圖進行點雲匹配包括：根據所述相機轉換矩陣及ICP算法公式將所述第一點雲圖與所述第四點雲圖進行點雲匹配；其中，所述ICP算法公式為：E(X,Y)=Σ i=1(Rx i +t-y i )2
其中，E(X,Y)為點雲匹配結果，R為所述旋轉矩陣，x i 為所述第一點雲圖中的第i個點，t為所述平移矩陣，y i 為所述第四點雲圖中的第i個點。
在一種可選的實施方式中，所述計算所述第一點雲圖與所述第四點雲圖進行點雲匹配的第一誤差值包括：確定所述第一點雲圖與所述第四點雲圖的多個對應點對；根據所述相機的轉換矩陣及多個所述對應點對，利用點雲匹配的損失函數計算所述第一誤差值，所述損失函數為：
其中，LOSS為第一誤差值，n為所述第一點雲圖與所述第四點雲圖的對應點對的數量，A j 為所述第一點雲圖中的第j個點，B j 為所述第四點雲圖中的第j個點，A j 和B j 為一對對應點對。
在一種可選的實施方式中，所述根據所述第一誤差值及所述第二誤差值調整所述深度學習網路模型，得到目標深度學習網路模型包括：計算所述第一誤差值與所述第二誤差值的總和，得到所述深度學習網路模型的訓練總
誤差值；調整所述深度學習網路模型的配置參數，直至所述訓練總誤差值不再降低，得到所述目標深度學習網路模型。
本申請實施例還提供一種電子設備，所述電子設備包括處理器和記憶體，所述處理器用於執行記憶體中存儲的計算機程式以實現所述的深度圖像獲取方法。
本申請實施例還提供一種計算機可讀存儲媒體，所述計算機可讀存儲媒體存儲有至少一個指令，所述至少一個指令被處理器執行時實現所述的深度圖像獲取方法。
本申請的技術方案中，能夠提高所述深度圖像的精確度及精細度，從而使自動駕駛更加安全。
1:電子設備
2:單目攝像機
301:記憶體
302:處理器
303:計算機程式
304:通訊匯流排
201-209:步驟
圖1為本申請實施例提供的一種深度圖像獲取方法的應用環境圖。
圖2為本申請實施例提供的一種深度圖像獲取方法的流程圖。
圖3為本申請實施例提供的一種電子設備的結構示意圖。
為了能夠更清楚地理解本申請的上述目的、特徵和優點，下面結合附圖和具體實施例對本申請進行詳細描述。需要說明的是，此處所描述的具體實施例僅用以解釋本申請，並不用於限定本申請。
在下面的描述中闡述了很多具體細節以便於充分理解本申請，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬本申請保護的範圍。
以下，術語“第一”、“第二”僅用於描述目的，而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術特徵的數量。由此，限定有“第一”、“第二”的特徵可以明示或者隱含地包括一個或者更多個該特徵。在本申請的一些實施例的描述中，“示例性的”或者“例如”等詞用於表示作例子、例證或說明。本申請的一些實施例中被描述為“示例性的”或者“例如”的任何實施例或設計方案不應被解釋為比其它實施例或設計方案更優選或更具優勢。確切而言，使用“示例性的”或者“例如”等詞旨在以具體方式呈現相關概念。
除非另有定義，本文所使用的所有的技術和科學術語與屬本申請的技術領域的技術人員通常理解的含義相同。本文中在本申請的說明書中所使用的術語只是為了描述具體的實施例的目的，不是旨在於限制本申請。
如圖1所示，圖1為本申請實施例提供的一種深度圖像獲取方法的應用環境圖。所述深度圖像獲取方法可應用於一個或者多個電子設備1中，所述電子設備1與單目攝像機2相通信。
所述深度圖像獲取方法應用於一個或者多個電子設備中，所述電子設備是一種能夠按照事先設定或存儲的計算機可讀指令，自動進行數值計算和/或信息處理的設備，其硬體包括但不限於微處理器、專用集成電路(Application Specific Integrated Circuit，ASIC)、可編程門陣列(Field-Programmable Gate Array，FPGA)、數位訊號處理器(Digital Signal Processor，DSP)、嵌入式設備等。
所述電子設備可以是任何一種可與用戶進行人機交互的電子產品，例如，個人計算機、平板電腦、智能手機、個人數位助理(Personal Digital Assistant，PDA)、遊戲機、交互式網路電視(Tnternet Protocol Television，IPTV)、智能穿戴式設備等。
所述電子設備可以包括網路設備和/或用戶設備。其中，所述網路設備包括，但不限於單個網路電子設備、多個網路電子設備組成的電子設備組或基於雲計算(Cloud Computing)的由大量主機或網路電子設備構成的雲。
所述電子設備所處的網路包括，但不限於：網際網路、廣域網、城域網、區域網、虛擬專用網路(Virtual Private Network，VPN)等。
如圖2所示，圖2為本申請實施例提供的一種深度圖像獲取方法的流程圖。根據不同的需求，該流程圖中各個步驟的順序可以根據實際需求進行調整，某些步驟可以省略。所述方法的執行主體為電子設備，例如圖1所示的電子設備1。
201，獲取相機相鄰時間拍攝的第一圖像及第二圖像。
在本申請的至少一個實施例中，所述相機可以是單目攝像機。所述第一圖像及第二圖像可以是車輛在行駛過程中利用單目攝像機所拍攝的圖像。
在本申請的至少一個實施例中，第一圖像及第二圖像的獲取方法還包括：
對所述車輛在行駛過程中的前方視野內容利用單目攝像機進行錄製視頻，利用OpenCV技術獲取所述視頻中相鄰幀的圖像作為所述第一圖像及所述第二圖像。
202，基於深度學習網路模型獲取所述第一圖像的第一預測深度圖、所述第二圖像的第二預測深度圖。
在本申請的至少一個實施例中，所述深度學習網路模型包括深度估計卷積神經網路及位姿估計卷積神經網路。
在本申請的至少一個實施例中，基於深度學習網路模型獲取所述第一圖像的第一預測深度圖、所述第二圖像的第二預測深度圖包括：
利用所述深度估計卷積神經網路對所述第一圖像進行處理得到所述第一預測深度圖，所述深度估計卷積神經網路對所述第二圖像進行處理得到所述第二預測深度圖。
在本實施例中，所述深度估計卷積神經網路包括輸入層、卷積層、反卷積層。
在本實施例中，將所述第一圖像藉由所述深度估計卷積神經網路的輸入層輸入所述深度估計卷積神經網路，經過所述深度估計卷積神經網路的卷積層進行卷積運算得到所述第一圖像的特徵圖，將所述特徵圖輸入所述反卷積層進行反卷積運算得到第一高維度特徵圖，最後將所述第一高維度特徵圖中每一個像素點映射成對應的深度並輸出所述第一預測深度圖。
在本實施例中，將所述第二圖像藉由所述輸入層輸入所述深度估計卷積神經網路，經過所述卷積層進行卷積運算得到所述第二圖像的特徵圖，將所述特徵圖輸入所述反卷積層進行反卷積運算得到第二高維度特徵圖，最後將所述第二高維度特徵圖中每一個像素點映射成對應的深度並輸出所述第二預測深度圖。
203，對所述第一圖像及所述第二圖像進行處理得到所述第一圖像和所述第二圖像之間的相機轉換矩陣。
在本申請的至少一個實施例中，所述對所述第一圖像及所述第二圖像進行處理得到所述第一圖像和所述第二圖像之間的相機轉換矩陣包括：
利用所述位姿估計卷積神經網路對所述第一圖像及所述第二圖像進行處理得到所述第一圖像和所述第二圖像之間的相機轉換矩陣。
在本實施例中，所述位姿估計卷積神經網路包括輸入層、卷積層。
在本實施例中，將所述第一圖像和所述第二圖像藉由所述位姿估計卷積神經網路的輸入層輸入所述位姿卷積神經網路，經過所述位姿估計卷積
神經網路的卷積層進行卷積運算得到所述第一圖像及第二圖像的特徵圖，利用相機位姿估計算法，得到所述第一圖像與所述第二圖像之間的相機位姿，即相機轉換矩陣。
204，將所述第一預測深度圖轉換為第一點雲圖，及將所述第二預測深度圖轉換為第二點雲圖。
在本申請的至少一個實施例中，所述第一點雲圖及所述第二點雲圖均為三維(three dimension,3D)點雲圖。
在本申請的至少一個實施例中，將所述第一預測深度圖轉換為第一點雲圖包括：從所述第一預測深度圖獲取第一像素點座標，並根據所述第一像素點座標和所述相機的內外參矩陣變換公式得到所述第一點雲圖。在本實施例中，將深度圖轉為點雲的實質是座標系的變換，即將圖像座標系轉換為世界座標系，基於相機的內外參矩陣變換公式，可以將深度圖轉換為3D點雲圖，從而解決如何將深度圖轉變為點雲的問題。在本實施例中，所述第一像素點座標可以是所述第一預測深度圖中的任意一點像素點座標。
在本實施例中，所述相機的內外參矩陣變換公式為：
其中，(x，y，z)為世界座標，即第一像素點座標對應的點雲，f為相機的焦距，D為深度值，(x 1 ，y 1 )為所述第一像素點座標。利用上述公式(1)將所述第一預測深度圖中的像素點座標逐一轉化為世界座標，得到所述第一點雲圖。
在本申請的至少一個實施例中，所述將所述第二預測深度圖轉換為第二點雲圖與所述將所述第一預測深度圖轉換為第一點雲圖的方法相似，本申請對此不在贅述。
205，根據所述相機轉換矩陣將所述第一點雲圖轉換為第三點雲圖，及將所述第二點雲圖轉換為第四點雲圖。
在本申請的至少一個實施例中，所述相機轉換矩陣包括旋轉矩陣和平移矩陣。
在本申請的至少一個實施例中，根據所述相機轉換矩陣將所述第一點雲圖轉換為第三點雲圖，及將所述第二點雲圖轉換為第四點雲圖包括：獲取所述第一點雲圖中點的座標並組合成第一座標集；獲取所述第二點雲圖中點的座標並組合成第二座標集；將所述旋轉矩陣、所述平移矩陣與所述第一座標集相乘得到所述第三點雲圖；及將所述旋轉矩陣、所述平移矩陣與所述第二座標集相乘得到所述第四點雲圖。
206，將所述第一點雲圖與所述第四點雲圖進行點雲匹配，並計算所述第一點雲圖與所述第四點雲圖進行點雲匹配的第一誤差值。
在本申請的至少一個實施例中，根據所述相機轉換矩陣及ICP算法公式將所述第一點雲圖與所述第四點雲圖進行點雲匹配。在本實施例中，所述ICP算法公式為：E(X,Y)=Σ i=1(Rx i +t-y i )2 (2)
其中，E(X,Y)為點雲匹配結果，R為所述旋轉矩陣，x i 為所述第一點雲圖中的第i個點，t為所述平移矩陣，y i 為所述第四點雲圖中的第i個點。利用上述公式將所述第一點雲圖與所述第四點雲圖進行點雲匹配。
在本申請的至少一個實施例中，計算所述第一點雲圖與所述第四點雲圖進行點雲匹配的第一誤差值包括：確定所述第一點雲圖與所述第四點雲圖的多個對應點對；
根據所述相機的轉換矩陣及多個所述對應點對，利用點雲匹配的損失函數計算所述第一誤差值，所述損失函數為：
其中，LOSS為第一誤差值，n為所述第一點雲圖與所述第四點雲圖的對應點對的數量，A j 為所述第一點雲圖中的第j個點，B j 為所述第四點雲圖中的第j個點，A j 和B j 為一對對應點對。
在本實施例中，確定所述第一點雲圖與所述第四點雲圖的多個對應點對包括：獲取所述第一點雲圖中的任意一點及所述第四點雲圖中的任意一點，根據所述相機轉換矩陣及公式(2)進行點雲匹配，根據所述第一點雲與所述第四點雲進行點雲匹配所選取的點，利用公式(4)；
計算兩點之間的距離，若所述距離小於預設閾值，確定所述第一點雲所選取的點與所述第四點雲所選取的點為一對對應點對。
在公式(4)，其中，d為第一點雲與第四點雲所選取的點的距離，m為所述第一點雲圖與所述第四點雲圖所選取的點的數量，A k 為所述第一點雲圖中的第k個點，B k 為所述第四點雲圖中的第k個點。
207，將所述第二點雲圖與所述第三點雲圖進行點雲匹配，並計算所述第二點雲圖與所述第三點雲圖進行點雲匹配的第二誤差值。
在本申請的至少一個實施例中，將所述第二點雲圖與所述第三點雲圖進行點雲匹配，並計算所述第二點雲圖與所述第三點雲圖進行點雲匹配的第二誤差值的方法與所述將所述第一點雲圖與所述第四點雲圖進行點雲匹配，並計算所述第一點雲圖與所述第四點雲圖進行點雲匹配的第一誤差值的方法相似，本申請在此不在贅述。
208，根據所述第一誤差值及所述第二誤差值調整所述深度學習網路模型，得到目標深度學習網路模型。
在本申請的至少一個實施例中，根據所述第一誤差值及所述第二誤差值調整所述深度學習網路模型，得到目標深度學習網路模型包括：計算所述第一誤差值與所述第二誤差值的總和，得到所述深度學習網路模型的訓練總誤差值；調整所述深度學習網路模型的配置參數，直至所述訓練總誤差值不再降低，得到所述目標深度學習網路模型。
其中，所述配置參數是指所述深度估計卷積神經網路及所述位姿估計卷積神經網路中初始化配置的參數，例如，所述配置參數包括所述深度估計卷積神經網路中卷積層、反卷積層的層數及卷積層、反卷積層中卷積核的大小，所述配置參數還包括所述位姿估計卷積神經網路中卷積層的層數及卷積層中卷積核的大小。
209，將待檢測圖像輸入至所述目標深度學習網路模型，得到所述待檢測圖像對應的深度圖像。
在本申請的至少一個實施例中，所述待檢測圖像包括自動駕駛車輛在行駛過程中的視野所對應的圖像。
在本申請的至少一個實施例中，將所述待檢測圖像輸入至所述目標深度學習網路模型即可得到所述待檢測圖像對應的深度圖像，實現了基於單目圖像獲取深度圖像的技術效果。
需要說明的是，以上所述，僅是本申請的具體實施方式，但本申請的保護範圍並不局限於此，對於本領域的普通技術人員來說，在不脫離本申請創造構思的前提下，還可以做出改進，但這些均屬本申請的保護範圍。
如圖3所示，圖3為本申請實施例提供的一種電子設備的結構示意圖。所述電子設備1包括記憶體301、至少一個處理器302、存儲在所述記憶體301中並可在所述至少一個處理器302上運行的計算機程式303及至少一條通訊匯流排304。
本領域技術人員可以理解，圖3所示的示意圖僅僅是所述電子設備1的示例，並不構成對所述電子設備1的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如所述電子設備1還可以包括輸入輸出設備、網路接入設備等。
所述至少一個處理器302可以是中央處理單元(Central Processing Unit，CPU)，還可以是其他通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專用集成電路(Application Specific Integrated Circuit，ASIC)、現場可編程門陣列(Field-Programmable Gate Array，FPGA)或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬體組件等。該至少一個處理器302可以是微處理器或者該至少一個處理器302也可以是任何常規的處理器等，所述至少一個處理器302是所述電子設備1的控制中心，利用各種介面和線路連接整個電子設備1的各個部分。
所述記憶體301可用於存儲所述計算機程式303，所述至少一個處理器302藉由運行或執行存儲在所述記憶體301內的計算機程式303，以及調用存儲在記憶體301內的數據，實現所述電子設備1的各種功能。所述記憶體301可主要包括存儲程式區和存儲數據區，其中，存儲程式區可存儲操作系統、至少一個功能所需的應用程式(比如聲音播放功能、圖像播放功能等)等；存儲數據區可存儲根據電子設備1的使用所創建的數據(比如音頻數據)等。此外，記憶體301可以包括非易失性記憶體，例如硬碟、內存、插接式硬碟，智能存儲卡(Smart Media Card，SMC)，安全數位(Secure Digital，SD)卡，閃存卡
(Flash Card)、至少一個磁盤記憶體件、閃存器件、或其他非易失性固態記憶體件。
所述電子設備1集成的模塊/單元如果以軟件功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲媒體中。基於這樣的理解，本申請實現上述實施例方法中的全部或部分流程，也可以藉由計算機程式來指令相關的硬體來完成，所述的計算機程式可存儲於一計算機可讀存儲媒體中，該計算機程式在被處理器執行時，可實現上述各個方法實施例的步驟。其中，所述計算機程式包括計算機程式代碼，所述計算機程式代碼可以為源代碼形式、對象代碼形式、可執行文件或某些中間形式等。所述計算機可讀媒體可以包括：能夠攜帶所述計算機程式代碼的任何實體或裝置、記錄媒體、隨身碟、移動硬碟、磁碟、光碟、計算機記憶體以及唯讀記憶體(Read-Only Memory，ROM)。
對於本領域技術人員而言，顯然本申請不限於上述示範性實施例的細節，而且在不背離本申請的精神或基本特徵的情況下，能夠以其他的具體形式實現本申請。因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本申請的範圍由所附請求項而不是上述說明限定，因此旨在將落在請求項的等同要件的含義和範圍內的所有變化涵括在本申請內。不應將請求項中的任何附關聯圖標記視為限制所涉及的請求項。
最後應說明的是，以上實施例僅用以說明本申請的技術方案而非限制，儘管參照較佳實施例對本申請進行了詳細說明，本領域的普通技術人員應當理解，可以對本申請的技術方案進行修改或等同替換，而不脫離本申請技術方案的精神和範圍。
201-209:步驟
Claims (9)
- 一種深度圖像獲取方法，應用於電子設備，其中，所述深度圖像獲取方法包括：獲取相機相鄰時間拍攝的第一圖像及第二圖像；及基於深度學習網路模型對所述第一圖像進行處理得到第一預測深度圖，所述深度學習網路模型包括位姿估計卷積神經網路；及對所述第二圖像進行處理得到第二預測深度圖；對所述第一圖像及所述第二圖像進行處理得到所述第一圖像和所述第二圖像之間的相機轉換矩陣，包括：基於所述位姿估計卷積神經網路對所述第一圖像及所述第二圖像進行卷積運算得到相機轉換矩陣；將所述第一預測深度圖轉換為第一點雲圖，及將所述第二預測深度圖轉換為第二點雲圖；根據所述相機轉換矩陣將所述第一點雲圖轉換為第三點雲圖，及將所述第二點雲圖轉換為第四點雲圖；將所述第一點雲圖與所述第四點雲圖進行點雲匹配，並計算所述第一點雲圖與所述第四點雲圖進行點雲匹配的第一誤差值；及將所述第二點雲圖與所述第三點雲圖進行點雲匹配，並計算所述第二點雲圖與所述第三點雲圖進行點雲匹配的第二誤差值；根據所述第一誤差值及所述第二誤差值調整所述深度學習網路模型，得到目標深度學習網路模型；將待檢測圖像輸入至所述目標深度學習網路模型，得到所述待檢測圖像對應的深度圖像。
- 如請求項1所述的深度圖像獲取方法，其中，所述將所述第一預測深度圖轉換為第一點雲圖，及將所述第二預測深度圖轉換為第二點雲圖包括：從所述第一預測深度圖獲取多個第一像素點座標，並根據所述多個第一像素點座標和所述相機的內外參矩陣變換公式得到所述第一點雲圖；及從所述第二預測深度圖獲取多個第二像素點座標，並根據所述多個第二像素點座標和所述相機的內外參矩陣變換公式得到所述第二點雲圖。
- 如請求項1所述的深度圖像獲取方法，其中，所述相機轉換矩陣包括旋轉矩陣及平移矩陣，所述根據所述相機轉換矩陣將所述第一點雲圖轉換為第三點雲圖，及將所述第二點雲圖轉換為第四點雲圖包括：獲取所述第一點雲圖中點的座標並組合成第一座標集；獲取所述第二點雲圖中點的座標並組合成第二座標集；將所述旋轉矩陣、所述平移矩陣與所述第一座標集相乘得到所述第三點雲圖；及將所述旋轉矩陣、所述平移矩陣與所述第二座標集相乘得到所述第四點雲圖。
- 如請求項1所述的深度圖像獲取方法，其中，所述深度學習網路模型包括深度估計卷積神經網路，所述基於深度學習網路模型對所述第一圖像進行處理得到第一預測深度圖，及對所述第二圖像進行處理得到第二預測深度圖包括：基於所述深度估計卷積神經網路對所述第一圖像進行卷積運算及反卷積運算得到所述第一預測深度圖；基於所述深度估計卷積神經網路對所述第二圖像進行卷積運算及反卷積運算得到所述第二預測深度圖。
- 如請求項3所述的深度圖像獲取方法，其中，所述將所述第一點雲圖與所述第四點雲圖進行點雲匹配包括：根據所述相機轉換矩陣及ICP算法公式將所述第一點雲圖與所述第四點雲圖進行點雲匹配；其中，所述ICP算法公式為：
- 如請求項1所述的深度圖像獲取方法，其中，所述計算所述第一點雲圖與所述第四點雲圖進行點雲匹配的第一誤差值包括：確定所述第一點雲圖與所述第四點雲圖的多個對應點對；根據所述相機的轉換矩陣及多個所述對應點對，利用點雲匹配的損失函數計算所述第一誤差值，所述損失函數為：
- 如請求項1所述的深度圖像獲取方法，其中，所述根據所述第一誤差值及所述第二誤差值調整所述深度學習網路模型，得到目標深度學習網路模型包括：計算所述第一誤差值與所述第二誤差值的總和，得到所述深度學習網路模型的訓練總誤差值； 調整所述深度學習網路模型的配置參數，直至所述訓練總誤差值不再降低，得到所述目標深度學習網路模型。
- 一種電子設備，其中，所述電子設備包括處理器和記憶體，所述處理器用於執行記憶體中存儲的計算機程式以實現如請求項1至7中任意一項所述的深度圖像獲取方法。
- 一種計算機可讀存儲媒體，其中，所述計算機可讀存儲媒體存儲有至少一個指令，所述至少一個指令被處理器執行時實現如請求項1至7中任意一項所述的深度圖像獲取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111121118A TWI817540B (zh) | 2022-06-07 | 2022-06-07 | 深度圖像獲取方法、電子設備及計算機可讀存儲媒體 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111121118A TWI817540B (zh) | 2022-06-07 | 2022-06-07 | 深度圖像獲取方法、電子設備及計算機可讀存儲媒體 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI817540B true TWI817540B (zh) | 2023-10-01 |
| TW202349345A TW202349345A (zh) | 2023-12-16 |
Family
ID=89857789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111121118A TWI817540B (zh) | 2022-06-07 | 2022-06-07 | 深度圖像獲取方法、電子設備及計算機可讀存儲媒體 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI817540B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI708210B (zh) * | 2017-12-25 | 2020-10-21 | 宏達國際電子股份有限公司 | 三維模型重建方法、電子裝置及非暫態電腦可讀取記錄媒體 |
| TWM608782U (zh) * | 2020-07-15 | 2021-03-11 | 國立雲林科技大學 | 一種實體物件轉換點雲資訊之模型建置系統 |
| CN113724379A (zh) * | 2021-07-08 | 2021-11-30 | 中国科学院空天信息创新研究院 | 三维重建方法、装置、设备及存储介质 |
| CN114494594A (zh) * | 2022-01-18 | 2022-05-13 | 中国人民解放军63919部队 | 基于深度学习的航天员操作设备状态识别方法 |
-
2022
- 2022-06-07 TW TW111121118A patent/TWI817540B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI708210B (zh) * | 2017-12-25 | 2020-10-21 | 宏達國際電子股份有限公司 | 三維模型重建方法、電子裝置及非暫態電腦可讀取記錄媒體 |
| TWM608782U (zh) * | 2020-07-15 | 2021-03-11 | 國立雲林科技大學 | 一種實體物件轉換點雲資訊之模型建置系統 |
| CN113724379A (zh) * | 2021-07-08 | 2021-11-30 | 中国科学院空天信息创新研究院 | 三维重建方法、装置、设备及存储介质 |
| CN114494594A (zh) * | 2022-01-18 | 2022-05-13 | 中国人民解放军63919部队 | 基于深度学习的航天员操作设备状态识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202349345A (zh) | 2023-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020207191A1 (zh) | 虚拟物体被遮挡的区域确定方法、装置及终端设备 | |
| WO2020119684A1 (zh) | 一种3d导航语义地图更新方法、装置及设备 | |
| WO2018119889A1 (zh) | 三维场景定位方法和装置 | |
| CN110363817B (zh) | 目标位姿估计方法、电子设备和介质 | |
| WO2018098811A1 (zh) | 定位方法和装置 | |
| CN108604379A (zh) | 用于确定图像中的区域的系统及方法 | |
| WO2021082801A1 (zh) | 增强现实处理方法及装置、系统、存储介质和电子设备 | |
| WO2018119786A1 (zh) | 一种显示数据处理方法及装置 | |
| US20210133469A1 (en) | Neural network training method and apparatus, gaze tracking method and apparatus, and electronic device | |
| WO2022174594A1 (zh) | 基于多相机的裸手追踪显示方法、装置及系统 | |
| JP2021531601A (ja) | ニューラルネットワーク訓練、視線検出方法及び装置並びに電子機器 | |
| WO2023024441A1 (zh) | 模型重建方法及相关装置、电子设备和存储介质 | |
| TWI817540B (zh) | 深度圖像獲取方法、電子設備及計算機可讀存儲媒體 | |
| TWI731430B (zh) | 資訊顯示方法與資訊顯示系統 | |
| US20220012860A1 (en) | Methods and apparatus to synthesize six degree-of-freedom views from sparse rgb-depth inputs | |
| WO2022271499A1 (en) | Methods and systems for depth estimation using fisheye cameras | |
| CN117252912A (zh) | 深度图像获取方法、电子设备及存储介质 | |
| TWI817580B (zh) | 行車安全輔助方法、電子設備及電腦可讀存儲媒體 | |
| TWI817579B (zh) | 行車安全輔助方法、電子設備及電腦可讀存儲媒體 | |
| TWI817578B (zh) | 行車安全輔助方法、電子設備及電腦可讀存儲媒體 | |
| TWI831552B (zh) | 圖像識別模型訓練方法、圖像深度識別方法及相關設備 | |
| TW202401355A (zh) | 深度圖像獲取方法、電子設備及電腦可讀存儲媒體 | |
| TWI817594B (zh) | 圖像深度識別方法、電腦設備及儲存介質 | |
| TWI823491B (zh) | 深度估計模型的優化方法、裝置、電子設備及存儲介質 | |
| TWI845060B (zh) | 人物識別方法及相關設備 |