TW202103153A - 一種點雲融合方法、電子設備和電腦儲存介質 - Google Patents
一種點雲融合方法、電子設備和電腦儲存介質 Download PDFInfo
- Publication number
- TW202103153A TW202103153A TW108140143A TW108140143A TW202103153A TW 202103153 A TW202103153 A TW 202103153A TW 108140143 A TW108140143 A TW 108140143A TW 108140143 A TW108140143 A TW 108140143A TW 202103153 A TW202103153 A TW 202103153A
- Authority
- TW
- Taiwan
- Prior art keywords
- depth
- current frame
- depth map
- pixel
- frame
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 45
- 230000004927 fusion Effects 0.000 title description 87
- 238000007499 fusion processing Methods 0.000 claims abstract description 58
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 26
- 238000012217 deletion Methods 0.000 claims description 23
- 230000037430 deletion Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 17
- 230000000717 retained effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 2
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Lining Or Joining Of Plastics Or The Like (AREA)
- Information Transfer Systems (AREA)
Abstract
本公開實施例公開了一種點雲融合方法、電子設備和電腦儲存介質，該方法包括：根據場景資訊和/或相機資訊中至少兩種影響因素，確定所述當前幀深度圖中的像素點的深度置信度，其中所述場景資訊和相機資訊分別至少包括一種影響因素；根據所述深度置信度，對所述當前幀深度圖中的像素點進行點雲融合處理。如此，本公開實施例中，可以綜合考慮多種因素來確定像素點的深度置信度，因而，可以提高深度置信度的可靠性，進而，可以提高點雲融合處理的可靠性。
Description
本公開關於電腦視覺技術，尤其關於一種點雲融合方法、裝置、電子設備和電腦儲存介質，可以應用於三維建模、三維場景和增強現實等場景中。
利用鐳射掃描器或深度相機，可以採集大量的點雲資料，以實現物體或場景的三維模型的重建，這種基於點雲資料的三維模型重建方法，可以被用於移動平台的增強現實和遊戲等應用中，例如，可以實現三維物體的線上展示及場景交互、陰影投射、交互碰撞等功能，也可以實現電腦視覺領域的三維物體識別等功能。
本公開實施例期望提供點雲融合的技術方案。
本公開實施例提供了一種點雲融合方法，所述方法包括：
根據場景資訊和/或相機資訊中至少兩種影響因素，確定所述當前幀深度圖中的像素點的深度置信度，其中所述場景資訊和相機資訊分別至少包括一種影響因素；
根據所述深度置信度，對所述當前幀深度圖中的像素點進行點雲融合處理。
可選地，所述根據場景資訊和/或相機資訊中至少兩種影響因素，確定所述當前幀深度圖中的像素點的深度置信度，包括：
獲取所述當前幀深度圖中深度有效的像素點；
根據場景資訊和/或相機資訊中至少兩種影響因素，確定每個所述深度有效的像素點的深度置信度；
所述根據所述深度置信度，對所述當前幀深度圖中的像素點進行點雲融合處理，包括：
根據所述深度置信度，對所述當前幀深度圖中深度有效的像素點進行點雲融合處理。
可以看出，本公開實施例中，由於點雲融合處理過程是基於深度有效的像素點實現，因而，可以增加點雲融合處理的可靠性。
可選地，所述獲取當前幀深度圖中深度有效的像素點包括：
根據至少一個參考幀深度圖，檢測當前幀深度圖的像素點的深度是否有效；
保留所述當前幀深度圖中深度有效的像素點。
可以看出，本公開實施例中，可以保留當前幀深度圖中深度有效的像素點，以便後續根據深度有效的像素點進行點雲融合，從而可以剔除深度無效的點雲，提高點雲融合的準確性，同時提高點雲融合的處理速度，有利於實現點雲融合的即時展示。
可選地，所述至少一個參考幀深度圖包括在獲取當前幀深度圖前獲取的至少一幀深度圖。
可以看出，本公開實施例中，可以根據獲取當前幀深度圖前獲取的深度圖作為參考幀，來判斷當前幀深度圖的像素點的深度是否有效，因而，可以在獲取當前幀深度圖前獲取的深度圖的基礎上，較為準確地判斷當前幀深度圖的像素點的深度是否有效。
可選地，所述根據至少一個參考幀深度圖，檢測當前幀深度圖的像素點的深度是否有效，包括：
利用所述至少一個參考幀深度圖，對所述當前幀深度圖的像素點進行深度一致性檢查；
確定通過所述深度一致性檢查的像素點的深度有效，未通過所述深度一致性檢查的像素點的深度無效。
可以看出，本公開實施例中，可以通過深度一致性檢查，來判斷當前幀深度圖的像素點的深度是否有效，因而，可以較為準確地判斷當前幀深度圖的像素點的深度是否有效。
可選地，所述利用所述至少一個參考幀深度圖，對所述當前幀深度圖的像素點進行深度一致性檢查，包括：
獲取多個參考幀深度圖；
判斷所述當前幀深度圖的第一像素點與每個所述參考幀深度圖的對應像素點之間是否滿足深度一致性條件，所述第一像素點是所述當前幀深度圖的任意一個像素點；
在與所述第一像素點之間滿足所述深度一致性條件的所述對應像素點的個數大於或等於設定值的情況下，確定所述第一像素點通過所述深度一致性檢查；在與所述第一像素點之間滿足所述深度一致性條件的所述對應像素點的個數小於設定值的情況下，確定所述第一像素點未通過所述深度一致性檢查。
可以看出，本公開實施例中，根據與第一像素點之間滿足深度一致性條件的所述對應像素點的個數的多少，來確定第一像素點是否通過深度一致性檢查，在與第一像素點之間滿足深度一致性條件的所述對應像素點的個數較多的情況下，認為第一像素點通過深度一致性檢查；反之，認為第一像素點未通過深度一致性檢查，這樣，可以提高深度一致性檢查的魯棒性和可靠性。
可選地，所述判斷所述當前幀深度圖的第一像素點與每個所述參考幀深度圖的對應像素點之間是否滿足深度一致性條件，包括：
將所述第一像素點投影至每個所述參考幀深度圖，得到每個所述參考幀深度圖中投影點的投影位置和投影深度；
獲取每個所述參考幀深度圖中所述投影位置的測量深度值；
獲取每個參考幀深度圖中所述投影點的投影深度與所述投影位置的測量深度值之間的差值；
在所述差值小於或等於第一設定深度閾值的情況下，確定所述第一像素點與對應的參考幀深度圖的對應像素點之間滿足深度一致性條件；在所述差值大於第一設定深度閾值的情況下，確定所述第一像素點與對應的參考幀深度圖的對應像素點之間不滿足深度一致性條件。
由於相機拍攝視角不同，可能存在同一物體的某個位置在當前幀深度圖中被遮擋，而其在參考幀深度圖中未被遮擋的情況，此時，該位置在當前幀深度圖中的像素點的深度及其在參考幀深度圖中對應位置的像素點的深度的差別較大，則該位置的像素點的深度可靠性較低，採用該像素點進行點雲融合會降低融合的精度。為了減少遮擋導致的融合精度降低問題，本公開中，可以先判斷每個參考幀深度圖中投影點的投影深度與投影位置的測量深度值之間的差值，然後該差值較小時，確定第一像素點與對應的參考幀深度圖的對應像素點之間滿足深度一致性條件；否則，確定第一像素點與對應的參考幀深度圖的對應像素點之間不滿足深度一致性條件；如此，可以降低某個位置在當前幀深度圖中被遮擋對像素點的深度可靠性造成的影響，採用該像素點
進行點雲融合時，可以使點雲融合的精度保持在較高的水準。
可選地，所述場景資訊中包括場景結構和場景紋理中至少一種影響因素，所述相機資訊中至少包括相機配置。
可以看出，本公開實施例中，可以通過綜合考慮場景結構、場景紋理和相機配置中的至少兩種因素，來確定像素點的深度置信度，因而，可以提高深度置信度的可靠性，進而，可以提高點雲融合處理的可靠性。
可選地，所述根據場景資訊和/或相機資訊中至少兩種影響因素，確定所述當前幀深度圖中的像素點的深度置信度包括：
針對當前幀深度圖中的像素點，分別得出場景結構、相機配置和場景紋理中至少兩種影響因素對應的權重；
融合所述至少兩種影響因素對應的權重，獲得所述當前幀深度圖中像素點的深度置信度。
可以看出，本公開實施例中，可以通過綜合考慮場景結構、場景紋理和相機配置中的至少兩種因素的權重，來確定像素點的深度置信度，因而，可以提高深度置信度的可靠性，進而，可以提高點雲融合處理的可靠性。
可選地，所述針對當前幀深度圖中的像素點，分別得出場景結構、相機配置和場景紋理中至少兩種影響因素對應的權重，包括：
根據所述當前幀深度圖中的像素點的屬性資訊，分別得出場景結構、相機配置和場景紋理中至少兩種影響因素對應的權重；所述屬性資訊至少包括：位置和/或法向量。
可以看出，由於像素點的屬性資訊便於預先得知，因而，可以較為方便地得出場景結構、相機配置和場景紋理中至少兩種影響因素對應的權重，進而，有利於得出當前幀深度圖中像素點的深度置信度。
可選地，所述融合所述至少兩種影響因素對應的權重，獲得所述當前幀深度圖中像素點的深度置信度，包括：
通過將所述至少兩種影響因素對應的權重相乘，得到聯合權重；根據所述聯合權重，得出所述當前幀深度圖中像素點的深度置信度。
可以看出，通過將至少兩種影響因素對應的權重相乘，可以較為方便的得出前幀深度圖中像素點的深度置信度，便於實現。
可選地，所述根據所述深度置信度，對所述當前幀深度圖中的像素點進行點雲融合處理，包括：
用面元表示所述當前幀深度圖中的每個像素點；每個面元至少包括對應像素點的深度置信度；
根據當前幀的面元集合，對上一幀更新後的現有面元集合進行集合更新，得到當前幀更新後的現有面元集合，所述當前幀更新後的現有面元集合表示當前幀深度圖的點雲融
合處理結果；所述當前幀的面元集合包括當前幀深度圖中深度有效的像素點對應的面元的集合；
所述集合更新包括面元增加、面元更新和麵元刪除中的至少一種操作。
可以看出，本公開實施例中，可以採用基於面元的表達，實現點雲融合處理；而面元可以表示點的屬性資訊，因而，可以根據點的屬性資訊，高效地實現點雲融合處理。
可選地，所述每個面元還包括對應像素點的位置、法向量、內點權重和外點權重；其中，所述內點權重用於表示對應像素點屬於內點的概率，所述外點權重用於表示對應像素點屬於外點的概率，所述內點權重與所述外點權重的差值用於表示對應像素點的深度置信度。
可以看出，採用基於面元的表示，可以很方便地添加點的各種屬性資訊，進而，便於在綜合考慮點的各種屬性資訊的基礎上，較為準確地實現點雲融合處理。
可選地，所述根據當前幀的面元集合，對所述上一幀更新後的現有面元集合進行集合更新，包括：
在所述當前幀的面元集合中存在未被所述上一幀更新後的現有面元集合覆蓋的第一面元的情況下，將所述第一面元添加到所述上一幀更新後的現有面元集合中。
由於第一面元是未被上一幀更新後的現有面元集合覆蓋的面元，因而，是需要添加上一幀更新後的現有面
元集合的面元，進而，通過上述面元增加操作，可以得到符合實際需求的點雲融合處理結果。
可選地，所述根據當前幀的面元集合，對所述上一幀更新後的現有面元集合進行集合更新，包括：
在所述當前幀的面元集合中存在被所述上一幀更新後的現有面元集合覆蓋的第二面元，且所述第二面元的深度大於所述上一幀更新後的現有面元集合中對應面元的投影深度，同時所述第二面元的深度與所述上一幀更新後的現有面元集合中對應面元的投影深度的差值大於或等於第一設定深度閾值的情況下，在所述上一幀更新後的現有面元集合中增加所述第二面元。
可以看出，根據上述第二面元與上一幀更新後的現有面元集合的關係，可以確定第二面元是需要添加上一幀更新後的現有面元集合的面元，進而，通過上述面元增加操作，可以得到符合實際需求的點雲融合處理結果。
可選地，所述根據當前幀的面元集合，對所述上一幀更新後的現有面元集合進行集合更新，包括：
在所述當前幀的面元集合中存在被所述上一幀更新後的現有面元集合覆蓋的第二面元，且所述第二面元的深度小於所述上一幀更新後的現有面元集合中對應面元的投影深度，同時所述第二面元的深度與所述上一幀更新後的現有面元集合中對應面元的投影深度的差值大於或等於第二設定深度閾值的情況下，增加所述上一幀更新後的現有面元集合中對應面元的外點權重值。
可以看出，在第二面元的深度小於上一幀更新後的現有面元集合中對應面元的投影深度的情況下，說明第二面元屬於外點的可能性比較大，此時，通過增加上一幀更新後的現有面元集合中對應面元的外點權重值，可以使面元更新更加符合實際需求。
可選地，所述根據當前幀的面元集合，對所述上一幀更新後的現有面元集合進行集合更新，包括：
在所述當前幀的面元集合中存在被所述上一幀更新後的現有面元集合覆蓋的第二面元，且所述第二面元的深度與所述上一幀更新後的現有面元集合中對應面元的投影深度的差值小於第三設定深度閾值，同時所述上一幀更新後的現有面元集合中對應面元的法向量與所述第二面元的法向量的夾角小於或等於設定角度值的情況下，更新所述上一幀更新後的現有面元集合中對應面元的位置、法向量，並增加所述上一幀更新後的現有面元集合中對應面元的內點權重值。
可以看出，在第二面元的深度與上一幀更新後的現有面元集合中對應面元的投影深度的差值小於第三設定深度閾值，且上一幀更新後的現有面元集合中對應面元的法向量與第二面元的法向量的夾角小於或等於設定角度值的情況下，說明當前幀的面元集合中第二面元的測量深度是有效的深度，此時，更新對應面元的位置、法向量和內點權重，可以使面元更新更加符合實際需求。
可選地，所述根據當前幀的面元集合，對所述上一幀更新後的現有面元集合進行集合更新，包括：
在所述當前幀的面元集合中存在被所述上一幀更新後的現有面元集合覆蓋的第二面元，且所述第二面元的深度與所述上一幀更新後的現有面元集合中對應面元的投影深度的差值小於第三設定深度閾值，同時所述上一幀更新後的現有面元集合中對應面元的法向量與所述第二面元的法向量的夾角大於設定角度值的情況下，增加所述上一幀更新後的現有面元集合中對應面元的外點權重值。
由於細微結構處深度差距小但不同視角的法向變化大，只是簡單融合深度差距會被平均掉，而本公開會更新外點權重，保留細微深度差異，因而，可以使得本公開實施例的點雲融合方案對細微結構的處理更有效。
可選地，所述根據當前幀的面元集合，對所述上一幀更新後的現有面元集合進行集合更新，包括：
在所述當前幀的面元集合中存在滿足預設刪除條件的面元的情況下，刪除所述當前幀的面元集合中滿足預設刪除條件的面元；其中，所述滿足預設刪除條件的面元為：對應像素點的深度置信度小於設定置信度閾值的面元。
可以看出，通過刪除深度置信度較小的面元，可以將使得保留下的面元均具有較高的深度置信度，因而，有利於提升點雲融合的可靠性和準確性。
本公開實施例還提供了一種點雲融合裝置，所述裝置包括確定模組和融合模組，其中，
確定模組，配置為根據場景資訊和/或相機資訊中至少兩種影響因素，確定所述當前幀深度圖中的像素點的深度置信度，其中所述場景資訊和相機資訊分別至少包括一種影響因素；
融合模組，配置為根據所述深度置信度，對所述當前幀深度圖中的像素點進行點雲融合處理。
可選地，所述確定模組，配置為獲取所述當前幀深度圖中深度有效的像素點；根據場景資訊和/或相機資訊中至少兩種影響因素，確定每個所述深度有效的像素點的深度置信度；
所述融合模組，配置為根據所述深度置信度，對所述當前幀深度圖中深度有效的像素點進行點雲融合處理。
可以看出，本公開實施例中，由於點雲融合處理過程是基於深度有效的像素點實現，因而，可以增加點雲融合處理的可靠性。
可選地，所述確定模組，配置為根據至少一個參考幀深度圖，檢測當前幀深度圖的像素點的深度是否有效；保留所述當前幀深度圖中深度有效的像素點。
可以看出，本公開實施例中，可以保留當前幀深度圖中深度有效的像素點，以便後續根據深度有效的像素點進行點雲融合，從而可以剔除深度無效的點雲，提高點雲融合的準確性，同時提高點雲融合的處理速度，有利於實現點雲融合的即時展示。
可選地，所述至少一個參考幀深度圖包括在獲取當前幀深度圖前獲取的至少一幀深度圖。
可以看出，本公開實施例中，可以根據獲取當前幀深度圖前獲取的深度圖，來判斷當前幀深度圖的像素點的深度是否有效，因而，可以在獲取當前幀深度圖前獲取的深度圖的基礎上，較為準確地判斷當前幀深度圖的像素點的深度是否有效。
可選地，所述確定模組，配置為利用所述至少一個參考幀深度圖，對所述當前幀深度圖的像素點進行深度一致性檢查；確定通過所述深度一致性檢查的像素點的深度有效，未通過所述深度一致性檢查的像素點的深度無效。
可以看出，本公開實施例中，可以通過深度一致性檢查，來判斷當前幀深度圖的像素點的深度是否有效，因而，可以較為準確地判斷當前幀深度圖的像素點的深度是否有效。
可選地，所述確定模組，配置為獲取多個參考幀深度圖；判斷所述當前幀深度圖的第一像素點與每個所述參考幀深度圖的對應像素點之間是否滿足深度一致性條件；在與所述第一像素點之間滿足所述深度一致性條件的所述對應像素點的個數大於或等於設定值的情況下，確定所述第一像素點通過所述深度一致性檢查；在與所述第一像素點之間滿足所述深度一致性條件的所述對應像素點的個數小於設定值的情況下，確定所述第一像素點未通過所述深度一致性檢查；所述第一像素可以看出，本公開實施例中，根據
與第一像素點之間滿足深度一致性條件的所述對應像素點的個數的多少，來確定第一像素點是否通過深度一致性檢查，在與第一像素點之間滿足深度一致性條件的所述對應像素點的個數較多的情況下，認為第一像素點通過深度一致性檢查；反之，認為第一像素點未通過深度一致性檢查，這樣，可以提高深度一致性檢查的魯棒性和可靠性。點是所述當前幀深度圖的任意一個像素點。
可選地，所述確定模組，配置為將所述第一像素點投影至每個所述參考幀深度圖，得到每個所述參考幀深度圖中投影點的投影位置和投影深度；獲取每個所述參考幀深度圖中所述投影位置的測量深度值；獲取每個參考幀深度圖中所述投影點的投影深度與所述投影位置的測量深度值之間的差值；在所述差值小於或等於第一設定深度閾值的情況下，確定所述第一像素點與對應的參考幀深度圖的對應像素點之間滿足深度一致性條件；在所述差值大於第一設定深度閾值的情況下，確定所述第一像素點與對應的參考幀深度圖的對應像素點之間不滿足深度一致性條件。
由於相機拍攝視角不同，可能存在同一物體的某個位置在當前幀深度圖中被遮擋，而其在參考幀深度圖中未被遮擋的情況，此時，該位置在當前幀深度圖中的像素點的深度及其在參考幀深度圖中對應位置的像素點的深度的差別較大，則該位置的像素點的深度可靠性較低，採用該像素點進行點雲融合會降低融合的精度。為了減少遮擋導致的融合精度降低問題，本公開中，可以先判斷每個參考幀深度
圖中投影點的投影深度與投影位置的測量深度值之間的差值，然後該差值較小時，確定第一像素點與對應的參考幀深度圖的對應像素點之間滿足深度一致性條件；否則，確定第一像素點與對應的參考幀深度圖的對應像素點之間不滿足深度一致性條件；如此，可以降低某個位置在當前幀深度圖中被遮擋對像素點的深度可靠性造成的影響，採用該像素點進行點雲融合時，可以使點雲融合的精度保持在較高的水準。
可選地，所述場景資訊中包括場景結構和場景紋理中至少一種影響因素，所述相機資訊中至少包括相機配置。
可以看出，本公開實施例中，可以通過綜合考慮場景結構、場景紋理和相機配置中的至少兩種因素，來確定像素點的深度置信度，因而，可以提高深度置信度的可靠性，進而，可以提高點雲融合處理的可靠性。
可選地，所述確定模組，配置為針對當前幀深度圖中的像素點，分別得出場景結構、相機配置和場景紋理中至少兩種影響因素對應的權重；融合所述至少兩種影響因素對應的權重，獲得所述當前幀深度圖中像素點的深度置信度。
可以看出，本公開實施例中，可以通過綜合考慮場景結構、場景紋理和相機配置中的至少兩種因素的權重，來確定像素點的深度置信度，因而，可以提高深度置信度的可靠性，進而，可以提高點雲融合處理的可靠性。
可選地，所述確定模組，配置為根據所述當前幀深度圖中的像素點的屬性資訊，分別得出場景結構、相機配置和場景紋理中至少兩種影響因素對應的權重；所述屬性資訊至少包括：位置和/或法向量。
可以看出，由於像素點的屬性資訊便於預先得知，因而，可以較為方便地得出場景結構、相機配置和場景紋理中至少兩種影響因素對應的權重，進而，有利於得出當前幀深度圖中像素點的深度置信度。
可選地，所述確定模組，配置為通過將所述至少兩種影響因素對應的權重相乘，得到聯合權重；根據所述聯合權重，得出所述當前幀深度圖中像素點的深度置信度。
可以看出，通過將至少兩種影響因素對應的權重相乘，可以較為方便的得出前幀深度圖中像素點的深度置信度，便於實現。
可選地，所述融合模組，配置為用面元表示所述當前幀深度圖中的每個像素點；每個面元至少包括對應像素點的深度置信度；
所述融合模組，配置為根據當前幀的面元集合，對上一幀更新後的現有面元集合進行集合更新，得到當前幀更新後的現有面元集合，所述當前幀更新後的現有面元集合表示當前幀深度圖的點雲融合處理結果；所述當前幀的面元集合包括當前幀深度圖中深度有效的像素點對應的面元的集合；
所述集合更新包括面元增加、面元更新和麵元刪除中的至少一種操作。
可以看出，本公開實施例中，可以採用基於面元的表達，實現點雲融合處理；而面元可以表示點的屬性資訊，因而，可以根據點的屬性資訊，高效地實現點雲融合處理。
可選地，所述每個面元還包括對應像素點的位置、法向量、內點權重和外點權重；其中，所述內點權重用於表示對應像素點屬於內點的概率，所述外點權重用於表示對應像素點屬於外點的概率，所述內點權重與所述外點權重的差值用於表示對應像素點的深度置信度。
可以看出，採用基於面元的表示，可以很方便地添加點的各種屬性資訊，進而，便於在綜合考慮點的各種屬性資訊的基礎上，較為準確地實現點雲融合處理。
可選地，所述融合模組，配置為在所述當前幀的面元集合中存在未被所述上一幀更新後的現有面元集合覆蓋的第一面元的情況下，將所述第一面元添加到所述上一幀更新後的現有面元集合中。
由於第一面元是未被上一幀更新後的現有面元集合覆蓋的面元，因而，是需要添加上一幀更新後的現有面元集合的面元，進而，通過上述面元增加操作，可以得到符合實際需求的點雲融合處理結果。
可選地，所述融合模組，配置為在所述當前幀的面元集合中存在被所述上一幀更新後的現有面元集合覆蓋的第二面元，且所述第二面元的深度大於所述上一幀更新後的現有面元集合中對應面元的投影深度，同時所述第二面
元的深度與所述上一幀更新後的現有面元集合中對應面元的投影深度的差值大於或等於第一設定深度閾值的情況下，在所述上一幀更新後的現有面元集合中增加所述第二面元。
可以看出，根據上述第二面元與上一幀更新後的現有面元集合的關係，可以確定第二面元是需要添加上一幀更新後的現有面元集合的面元，進而，通過上述面元增加操作，可以得到符合實際需求的點雲融合處理結果。
可選地，所述融合模組，配置為在所述當前幀的面元集合中存在被所述上一幀更新後的現有面元集合覆蓋的第二面元，且所述第二面元的深度小於所述上一幀更新後的現有面元集合中對應面元的投影深度，同時所述第二面元的深度與所述上一幀更新後的現有面元集合中對應面元的投影深度的差值大於或等於第二設定深度閾值的情況下，增加所述上一幀更新後的現有面元集合中對應面元的外點權重值。
可以看出，在第二面元的深度小於上一幀更新後的現有面元集合中對應面元的投影深度的情況下，說明第二面元屬於外點的可能性比較大，此時，通過增加上一幀更新後的現有面元集合中對應面元的外點權重值，可以使面元更新更加符合實際需求。
可選地，所述融合模組，配置為在所述當前幀的面元集合中存在被所述上一幀更新後的現有面元集合覆蓋的第二面元，且所述第二面元的深度與所述上一幀更新後
的現有面元集合中對應面元的投影深度的差值小於第三設定深度閾值，同時所述上一幀更新後的現有面元集合中對應面元的法向量與所述第二面元的法向量的夾角小於或等於設定角度值的情況下，更新所述上一幀更新後的現有面元集合中對應面元的位置、法向量，並增加所述上一幀更新後的現有面元集合中對應面元的內點權重值。
可以看出，在第二面元的深度與上一幀更新後的現有面元集合中對應面元的投影深度的差值小於第三設定深度閾值，且上一幀更新後的現有面元集合中對應面元的法向量與第二面元的法向量的夾角小於或等於設定角度值的情況下，說明當前幀的面元集合中第二面元的測量深度是有效的深度，此時，更新對應面元的位置、法向量和內點權重，可以使面元更新更加符合實際需求。
可選地，所述融合模組，配置為在所述當前幀的面元集合中存在被所述上一幀更新後的現有面元集合覆蓋的第二面元，且所述第二面元的深度與所述上一幀更新後的現有面元集合中對應面元的投影深度的差值小於第三設定深度閾值，同時所述上一幀更新後的現有面元集合中對應面元的法向量與所述第二面元的法向量的夾角大於設定角度值的情況下，增加所述上一幀更新後的現有面元集合中對應面元的外點權重值。
可以看出，由於細微結構處深度差距小但不同視角的法向變化大，只是簡單融合深度差距會被平均掉，而
本公開會更新外點權重，保留細微深度差異，因而，可以使得本公開實施例的點雲融合方案對細微結構的處理更有效。
可選地，所述融合模組，配置為在所述當前幀的面元集合中存在滿足預設刪除條件的面元的情況下，刪除所述當前幀的面元集合中滿足預設刪除條件的面元；其中，所述滿足預設刪除條件的面元為：對應像素點的深度置信度小於設定置信度閾值的面元。
可以看出，通過刪除深度置信度較小的面元，可以將使得保留下的面元均具有較高的深度置信度，因而，有利於提升點雲融合的可靠性和準確性。
本公開實施例還提供了一種電子設備，包括處理器和配置為儲存能夠在處理器上運行的電腦程式的記憶體；其中，所述處理器配置為在運行所述電腦程式的情況下，執行上述任意一種點雲融合方法。
本公開實施例還提供了一種電腦儲存介質，其上儲存有電腦程式，該電腦程式被處理器執行時實現上述任意一種點雲融合方法。
本公開實施例還提供了一種電腦程式，所述電腦程式被處理器執行時實現上述任意一種點雲融合方法。
基於本公開實施例的提出的點雲融合方法、裝置、電子設備和電腦儲存介質中，根據場景資訊和/或相機資訊中至少兩種影響因素，確定所述當前幀深度圖中的像素點的深度置信度，其中所述場景資訊和相機資訊分別至少包括一種影響因素；根據所述深度置信度，對所述當前幀深度
圖中的像素點進行點雲融合處理。如此，本公開實施例中，可以綜合考慮多種因素來確定像素點的深度置信度，因而，可以提高深度置信度的可靠性，進而，可以提高點雲融合處理的可靠性。
70‧‧‧電子設備
71‧‧‧記憶體
72‧‧‧處理器
601‧‧‧確定模組
602‧‧‧融合模組
圖1為本公開實施例的點雲融合方法的流程圖；
圖2為本公開實施例中獲取的深度圖的一個示意圖；
圖3為在圖2的基礎上採用本公開實施例的方案得到的通過深度一致性檢查後的當前幀深度圖；
圖4為在圖2和圖3的基礎上基於本公開實施例的技術方案生成的深度置信度圖；
圖5為在圖3和圖4的基礎上基於本公開實施例的技術方案生成的融合後的點雲資料的示意圖；
圖6為本公開實施例的點雲融合裝置的組成結構示意圖；
圖7為本公開實施例的電子設備的結構示意圖。
以下結合附圖及實施例，對本公開進行進一步詳細說明。應當理解，此處所提供的實施例僅僅用以解釋本公開，並不用於限定本公開。另外，以下所提供的實施例是用於實施本公開的部分實施例，而非提供實施本公開的全部
實施例，在不衝突的情況下，本公開實施例記載的技術方案可以任意組合的方式實施。
需要說明的是，在本公開實施例中，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的方法或者裝置不僅包括所明確記載的要素，而且還包括沒有明確列出的其他要素，或者是還包括為實施方法或者裝置所固有的要素。在沒有更多限制的情況下，由語句“包括一個......”限定的要素，並不排除在包括該要素的方法或者裝置中還存在另外的相關要素(例如方法中的步驟或者裝置中的單元，例如的單元可以是部分電路、部分處理器、部分程式或軟體等等)。
例如，本公開實施例提供的點雲融合方法包含了一系列的步驟，但是本公開實施例提供的點雲融合方法不限於所記載的步驟，同樣地，本公開實施例提供的點雲融合裝置包括了一系列模組，但是本公開實施例提供的裝置不限於包括所明確記載的模組，還可以包括為獲取相關資訊、或基於資訊進行處理時所需要設置的模組。
本公開實施例可以應用於終端設備、電腦系統、伺服器等電子設備，其可與眾多其它通用或專用計算系統環境或配置一起操作。適於與終端設備、電腦系統、伺服器等電子設備一起使用的眾所周知的終端設備、計算系統、環境和/或配置的例子包括但不限於：個人電腦系統、伺服器電腦系統、瘦客戶機、厚客戶機、手持或膝上設備、基於微處理器的系統、機上盒、可程式設計消費電子產品、網路
個人電腦、小型電腦系統、大型電腦系統和包括上述任何系統的分散式雲計算技術環境，等等。
終端設備、電腦系統、伺服器等電子設備可以在由電腦系統執行的電腦系統可執行指令(諸如程式模組)的一般語境下描述。通常，程式模組可以包括常式、程式、目的程式、元件、邏輯、資料結構等等，它們執行特定的任務或者實現特定的抽象資料類型。電腦系統/伺服器可以在分散式雲計算環境中實施，分散式雲計算環境中，任務是由通過通信網路連結的遠端處理設備執行的。在分散式雲計算環境中，程式模組可以位於包括存放裝置的本地或遠端計算系統儲存介質上。
下面對相關的點雲融合方案存在的問題進行示例性說明。對於鐳射掃描器採集到的點雲資料，一種簡單的點雲融合方法為利用八叉樹進行點雲融合簡化，這種方法對落在同一個體素內的點進行加權平均，經常會遇到同一個體素覆蓋了物體的不同區域的情況，特別是細微結構中，簡單的加權平均無法區分細微結構。在一些稠密同步定位與建圖(Simultaneous Localization and Mapping，SLAM)應用中，不同視角的圖像往往存在較大面積的重疊，現有的點雲融合方法要麼簡單地對重疊區域的深度值進行融合，這樣會造成可靠度比較低的區域也被錯誤的融合在一起；要麼根據深度置信度進行融合，而深度置信度根據點雲的局部結構或場景紋理計算得到，但這種方法計算的深度置信度並不
可靠，比如對弱紋理區域，基於場景紋理的深度置信度計算方法，並不能得到準確的深度置信度。
另外，在移動平台中，往往要求點雲融合的過程能夠即時線上展示，這也對點雲融合的計算效率提出很大的挑戰。
針對上述技術問題，本公開實施例提出了一種點雲融合方法，其執行主體可以是點雲融合裝置，例如，圖像深度估計方法可以由終端設備或伺服器或其它電子設備執行，其中，終端設備可以為使用者設備(User Equipment，UE)、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理(Personal Digital Assistant，PDA)、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該圖像深度估計方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。本公開提出的點雲融合方法可以應用於三維建模、增強現實、影像處理、拍照、遊戲、動畫、影視、電子商務、教育、房產和家居裝修等領域。本公開實施例中，並不對點雲資料的獲取方式進行限定。採用本公開實施例的技術方案，可以利用相機採集得到連續視頻幀，在視頻連續幀的相機位元姿和深度圖已知時，可以通過對多視圖深度進行融合，得到高精度點雲資料。
圖1為本公開實施例的點雲融合方法的流程圖，如圖1所示，該流程可以包括：
步驟101：根據場景資訊和/或相機資訊中至少兩種影響因素，確定所述當前幀深度圖中的像素點的深度置信度，其中所述場景資訊和相機資訊分別至少包括一種影響因素。
本公開實施例中，並不對獲取當前幀深度圖的方式進行限定；例如，當前幀深度圖可以由用戶通過人機對話模式輸入；圖2為本公開實施例中獲取的深度圖的一個示意圖。
步驟102：根據所述深度置信度，對所述當前幀深度圖中的像素點進行點雲融合處理。
步驟101至步驟102可以利用電子設備中的處理器實現，上述處理器可以為特定用途積體電路(Application Specific Integrated Circuit，ASIC)、數位訊號處理器(Digital Signal Processor，DSP)、數位信號處理裝置(Digital Signal Processing Device，DSPD)、可程式設計邏輯裝置(Programmable Logic Device，PLD)、現場可程式設計閘陣列(Field Programmable Gate Array，FPGA)、中央處理器(Central Processing Unit，CPU)、控制器、微控制器、微處理器中的至少一種。
可以看出，本公開實施例中，可以綜合考慮多種因素來確定像素點的深度置信度，因而，可以提高深度置信度的可靠性，進而，可以提高點雲融合處理的可靠性；這裡，點雲融合處理表示將多個點雲資料在一個統一的全域坐標系下進行資料融合；在資料融合的過程中，需要過濾掉冗餘的重疊部分，使整個點雲維持合理的數量。本公開實施例
中，並不對點雲融合處理的實現方式進行限定，在一個示例中，可以基於八叉樹結構對點雲資料進行處理，從而實現點雲融合。
對於步驟101的實現方式，示例性地，可以獲取當前幀深度圖中深度有效的像素點；根據場景資訊和/或相機資訊中至少兩種影響因素，確定每個深度有效的像素點的深度置信度；
相應地，對於步驟102的實現方式，示例性地，可以根據上述深度置信度，對當前幀深度圖中深度有效的像素點進行點雲融合處理。
具體地，可以預先判定當前幀深度圖中像素點的深度是否有效，例如通過人工或參考幀對比的方式，然後再根據場景資訊和/或相機資訊中至少兩種影響因素，確定深度有效的像素點的深度置信度，以對深度有效的像素點進行點雲融合。可以看出，本公開實施例中，由於點雲融合處理過程是基於深度有效的像素點實現，因而，可以增加點雲融合處理的可靠性。
可選地，在獲取到至少一個參考幀深度圖後，便可以根據至少一個參考幀深度圖，檢測當前幀深度圖的像素點的深度是否有效，並丟棄當前幀深度圖中深度無效的像素點，保留深度有效的像素點，以便後續根據深度有效的像素點進行點雲融合，從而可以剔除深度無效的點雲，提高點雲融合的精度和準確性，同時提高點雲融合的處理速度，有利於實現點雲融合的即時展示。
可選地，上述至少一個參考幀深度圖可以包括在獲取當前幀深度圖前獲取的至少一幀深度圖；在一個具體的示例中，上述至少參考幀深度圖包括與所述當前幀深度圖相鄰的前N幀深度圖，其中，N為大於或等於1的整數；可選地，1
N
7。
也就是說，對於當前幀深度圖，可以利用相鄰的前N幀深度圖作為參考幀深度圖。
可以看出，本公開實施例中，可以根據獲取當前幀深度圖前獲取的深度圖，來判斷當前幀深度圖的像素點的深度是否有效，因而，以獲取當前幀深度圖前獲取的深度圖為依據，可以較為準確地判斷當前幀深度圖的像素點的深度是否有效。
對於根據至少一個參考幀深度圖，檢測當前幀深度圖的像素點的深度是否有效的實現方式，示例性地，可以利用至少一個參考幀深度圖，對當前幀深度圖的像素點進行深度一致性檢查；確定通過深度一致性檢查的像素點的深度有效，未通過所述深度一致性檢查的像素點的深度無效。
這裡，深度一致性檢查可以是指檢查當前幀深度圖的像素點與參考幀深度圖對應像素點的深度的差異在預設範圍內，在差異處於預設範圍內的情況下，確定該像素點的深度有效，否則確定該像素點的深度無效。
可以看出，本公開實施例中，可以通過深度一致性檢查，來判斷當前幀深度圖的像素點的深度是否有效，
因而，可以較為準確地判斷當前幀深度圖的像素點的深度是否有效。
這裡，在丟棄當前幀深度圖中深度無效的像素點後，可以得到通過深度一致性檢查後的當前幀深度圖，圖3為在圖2的基礎上採用本公開實施例的方案得到的通過深度一致性檢查後的當前幀深度圖。
在一些實施例中，可以獲取一個參考幀深度圖，然後判斷當前幀深度圖的像素點與該參考幀深度圖對應像素點之間是否滿足深度一致性條件，在當前幀深度圖的像素點與該參考幀深度圖對應像素點之間滿足深度一致性條件的情況下，確定該像素點的深度有效，否則確定該像素點的深度無效。
在一些實施例中，可以獲取多個參考幀深度圖，然後，可以判斷當前幀深度圖的第一像素點與每個參考幀深度圖的對應像素點之間是否滿足深度一致性條件，第一像素點是所述當前幀深度圖的任意一個像素點；
在與第一像素點之間滿足深度一致性條件的對應像素點的個數大於或等於設定值的情況下，確定第一像素點通過深度一致性檢查；在與第一像素點之間滿足深度一致性條件的對應像素點的個數小於設定值的情況下，確定第一像素點未通過深度一致性檢查。
這裡，深度一致性條件可以是：當前幀深度圖的像素點與參考幀深度圖對應像素點的深度的差異小於預設範圍。
本公開實施例中，通過判斷當前幀深度圖的第一像素點與每個參考幀深度圖的對應像素點之間是否滿足深度一致性條件，可以確定出與第一像素點之間滿足深度一致性條件的所述對應像素點的個數；例如，當前幀深度圖的第一像素點與M個參考幀深度圖的對應像素點之間是否滿足深度一致性條件，則與第一像素點之間滿足深度一致性條件的對應像素點的個數為M。
設定值可以根據實際需要確定，例如設定值可以是為參考幀深度圖總數的50%、60%或70%。
可以看出，本公開實施例中，根據與第一像素點之間滿足深度一致性條件的所述對應像素點的個數的多少，來確定第一像素點是否通過深度一致性檢查，在與第一像素點之間滿足深度一致性條件的所述對應像素點的個數較多的情況下，認為第一像素點通過深度一致性檢查；反之，認為第一像素點未通過深度一致性檢查，這樣，可以提高深度一致性檢查的魯棒性和可靠性。
對於判斷當前幀深度圖的第一像素點與每個參考幀深度圖的對應像素點之間是否滿足深度一致性條件的實現方式，在第一個示例中，可以將第一像素點投影至每個參考幀深度圖，得到每個參考幀深度圖中投影點的投影位置和投影深度；獲取每個參考幀深度圖中投影位置的測量深度值；由於深度感測器存在誤差，且資料傳輸可能存在雜訊干擾，因此每個參考幀對應的投影深度與投影位置的測量深度值之間通常會存在較小的差距。這裡，投影深度表示通過在
不同的深度圖之間進行像素點投影得到的深度值，測量深度表示投影位置利用測量設備測得的實際深度值。
在判斷像素點是否滿足深度一致性條件時，設定一個第一設定深度閾值；獲取每個參考幀深度圖中投影點的投影深度與投影位置的測量深度值之間的差值；在上述差值小於或等於第一設定深度閾值的情況下，確定第一像素點與對應的參考幀深度圖的對應像素點之間滿足深度一致性條件；在上述差值大於第一設定深度閾值的情況下，確定所述第一像素點與對應的參考幀深度圖的對應像素點之間不滿足深度一致性條件。
在一些其它的實施例中，對於判斷當前幀深度圖的像素點與每個參考幀深度圖的對應像素點之間是否滿足深度一致性條件的實現方式，可以將參考幀深度圖的像素點投影至當前幀深度圖，得到當前幀深度圖的投影位置和投影深度；獲取當前幀深度圖中投影位置的測量深度值；得出當前幀深度圖中投影點的投影深度與投影位置的測量深度值之間的差值；上述當前幀深度圖中投影點的投影深度與投影位置的測量深度值之間的差值小於第二設定深度閾值的情況下，可以確定當前幀深度圖的像素點與每個參考幀深度圖的對應像素點之間滿足深度一致性條件；否則，確定當前幀深度圖的像素點與每個參考幀深度圖的對應像素點之間不滿足深度一致性條件。
在一些其它的實施例中，對於判斷當前幀深度圖的像素點與每個參考幀深度圖的對應像素點之間是否滿
足深度一致性條件的實現方式，可以將參考幀深度圖的像素點和當前幀深度圖對應像素點均投影至三維空間，然後，在三維空間中比較參考幀深度圖的像素點和當前幀深度圖對應像素點的深度差異，在該深度差異小於第三設定深度閾值的情況下，可以確定當前幀深度圖的像素點與每個參考幀深度圖的對應像素點之間滿足深度一致性條件；否則，確定當前幀深度圖的像素點與每個參考幀深度圖的對應像素點之間不滿足深度一致性條件。
這裡，第一設定深度閾值、第二設定深度閾值和第三設定深度閾值可以根據實際應用需求預先確定，第一設定深度閾值、第二設定深度閾值和第三設定深度閾值兩兩之間可以相同，也可以不同；在一個具體的示例中，第一設定深度閾值、第二設定深度閾值或第三設定深度閾值的取值範圍可以是0.025m至0.3m，可以將第一設定深度閾值、第二設定深度閾值或第三設定深度閾值記為τ，τ=0.01*(d' max-d' min)，其中，(d' min,d' max)是深度感測器的有效範圍，例如，(d' min,d' max)=(0.25m,3m)。
由於相機拍攝視角不同，可能存在同一物體的某個位置在當前幀深度圖中被遮擋，而其在參考幀深度圖中未被遮擋的情況，此時，該位置在當前幀深度圖中的像素點的深度及其在參考幀深度圖中對應位置的像素點的深度的差別較大，則該位置的像素點的深度可靠性較低，採用該像素點進行點雲融合會降低融合的精度。為了減少遮擋導致的融合精度降低問題，本公開中，可以先判斷每個參考幀深度
圖中投影點的投影深度與投影位置的測量深度值之間的差值，然後該差值較小時，確定第一像素點與對應的參考幀深度圖的對應像素點之間滿足深度一致性條件；否則，確定第一像素點與對應的參考幀深度圖的對應像素點之間不滿足深度一致性條件；如此，可以降低某個位置在當前幀深度圖中被遮擋對像素點的深度可靠性造成的影響，採用該像素點進行點雲融合時，可以使點雲融合的精度保持在較高的水準。
下面以當前幀深度圖D中的像素點p為例，對檢測當前幀深度圖的像素點的深度是否有效的實現方式進行示例性說明。
對於當前幀深度圖D中的像素點p，利用其深度D(p)反投影至3D空間獲得3D點P，反投影計算公式如下：
P=T -1*(D(p)*π -1(p)) (1)
其中，π表示投影矩陣，投影矩陣是指相機坐標系到像素坐標系的轉換矩陣，採用透視投影方式；投影矩陣可以是預先標定的，也可以是通過計算得出；π -1表示投影矩陣的逆矩陣，T表示當前幀深度圖D對應的世界坐標系到相機坐標系的剛性變換，T -1為T的逆變換。
然後，利用相機內外參將像素點p投影至參考幀D’，獲得投影位置p’和投影深度d p’ 。
p’=π(T’*P) (2)
其中，T’表示參考幀D’的剛性變換(參考幀D’對應的世界坐標系到相機坐標系的剛性變換)；投影深度d p’ 表示進行投影後計算得到的投影點的第三維座標。
這裡，可以根據投影深度d p’ 和點p’的深度值D’(p’)的差是否超過第一設定深度閾值來判斷像素點p的深度值是否滿足深度一致性條件；D’(p’)是參考幀中投影位置本身的觀測深度；通常投影深度d p’ 和點p’的深度值D’(p’)的差距不會過大；如果投影深度d p’ 和點p’的深度值D’(p’)的差距較大，則可能出現被遮擋或出現其他錯誤，此時，該像素點深度可能不可靠。
為了減少由於遮擋的出現帶來的像素點深度不一致的問題，可以設置當前幀像素點p與超過60%的參考幀深度圖的對應像素點之間滿足深度一致性條件的情況下，判定像素點p的深度有效，具體可以用以下公式表示：
p' k =π(T' k *T k -1*(D(p)*π -1(p))) (5)
其中，p' k 表示將像素點p投影至第k個參考幀時得到的投影位置，
表示將像素點p投影至第k個參考幀時得到的投影深度；D'(p' k )表示第k個參考幀中投影位置p' k 的深度值，T' k 表示第k個參考幀對應的世界坐標系到相機坐標系的剛性變換，T k -1表示T' k 的逆變換；N表示參考幀深度圖的總數，C(p' k )用於判定像素點p與第k個參考幀對應像素點之間
是否滿足深度一致性條件，在C(p' k )等於1的情況下，說明像素點p與第k個參考幀對應像素點之間滿足深度一致性條件，在C(p' k )等於0的情況下，說明像素點p與第k個參考幀對應像素點之間不滿足深度一致性條件；δ表示設定的參考幀個數，需要說明的是，公式(3)中的δ的取值僅僅是本公開實施例的δ的取值的一個示例，δ也可以不等於0.6N；C(p)用於判定像素點p的深度是否有效，在C(p)等於1的情況下，說明像素點p的深度有效，在C(p)等於0的情況下，說明像素點p的深度無效。
在獲取當前幀深度圖中深度有效的像素點後，可以根據場景資訊和/或相機資訊中至少兩種影響因素，確定每個所述深度有效的像素點的深度置信度。
本公開實施例中，場景資訊可以包括場景結構和場景紋理中至少一種影響因素，相機資訊可以至少包括相機配置；場景結構和場景紋理分別表示場景的結構特徵和紋理特徵，例如，場景結構可以表示場景的表面朝向或其他結構資訊，場景紋理可以是光度一致性或其他紋理特徵；光度一致性是基於以下原理提出的紋理特徵：基於同一個點不同角度光度通常是一致的，因而，採用光度一致性可以衡量場景紋理；相機配置可以是相機距離場景的遠近或其它相機配置項。
在一些實施例中，可以根據場景結構、相機配置和場景紋理中的至少兩種影響因素，確定當前幀深度圖中的像素點的深度置信度。
在現有技術中，在計算深度置信度時，要麼只考慮相機配置，要麼只考慮場景紋理，深度圖的深度置信度的可靠程度較低；而由於深度圖的精確度與場景和相機的資訊相關，尤其是與場景結構、相機配置、場景紋理三方面因素相關性較大，在本公開實施例中，通過考慮場景結構、相機配置和場景紋理中的至少兩種因素，因此得出的像素點的深度置信度，可以增強像素點的深度置信度的可靠性。
對於根據場景資訊和/或相機資訊中至少兩種影響因素，確定所述當前幀深度圖中的像素點的深度置信度的實現方式，在一個示例中，可以根據場景資訊或相機資訊任一種中選取的至少兩種影響因素，或者根據場景資訊和相機資訊中同時選出的至少兩種影響因素，確定當前幀深度圖中的像素點的深度置信度。
這裡，確定當前幀深度圖中深度有效的實現方式已經在前述記載的實施例中作出說明，這裡不再贅述。
可以理解的是，深度置信度可以用於衡量深度圖的精確度，深度圖的精確度與場景結構、相機配置、場景紋理三方面因素相關；基於此，在一種實現方式中，可以針對當前幀深度圖中的像素點，分別得出場景結構、相機配置和場景紋理中至少兩種影響因素對應的權重；融合所述至少兩種影響因素對應的權重，獲得所述當前幀深度圖中像素點的深度置信度。
可以看出，本公開實施例中，可以通過綜合考慮場景結構、場景紋理和相機配置中的至少兩種因素的權
重，來確定像素點的深度置信度，因而，可以提高深度置信度的可靠性，進而，可以提高點雲融合處理的可靠性。
對於針對當前幀深度圖中的像素點，分別得出場景結構、相機配置和場景紋理中至少兩種影響因素對應的權重的實現方式，示例性地，可以根據所述當前幀深度圖中的像素點的屬性資訊，分別得出場景結構、相機配置和場景紋理中至少兩種影響因素對應的權重；所述屬性資訊至少包括：位置和/或法向量。
可選地，為了得出場景結構、相機配置和場景紋理中至少兩種影響因素對應的權重，還可以考慮相機與像素點之間的位置關係、相機的參數等其它參數。
可以看出，由於像素點的屬性資訊便於預先得知，因而，可以較為方便地得出場景結構、相機配置和場景紋理中至少兩種影響因素對應的權重，進而，有利於得出當前幀深度圖中像素點的深度置信度。
對於融合至少兩種影響因素對應的權重，獲得當前幀深度圖中像素點的深度置信度的實現方式，示例性地，可以通過將至少兩種影響因素對應的權重相乘，得到聯合權重；根據所述聯合權重，得出當前幀深度圖中像素點的深度置信度。
可選地，可以將聯合權重作為當前幀深度圖中像素點的深度置信度；也可以利用聯合權重調整前一幀對應點的深度置信度，得到當前幀中像素點的深度置信度。
可以看出，通過將至少兩種影響因素對應的權重相乘，可以較為方便的得出前幀深度圖中像素點的深度置信度，便於實現。
在本公開的一個具體的示例中，深度置信度可以代表場景結構、相機配置和光度一致性的聯合權重，即包含基於幾何結構的權重項，基於相機配置的權重項和基於光度一致性的權重項。
下面分別對基於幾何結構的權重項，基於相機配置的權重項和基於光度一致性的權重項進行說明。
1)基於幾何結構的權重項(幾何權重項)
深度準確度跟場景表面朝向相關，在平行於相機成像平面的區域深度準確度高於斜面區域，定義幾何權重項如下：
其中，w g (p)表示當前幀深度圖中像素點對應的三維空間點P的幾何權重項，n p 表示像素點p的單位法向量，v p 表示該點p到相機光心的單位向量，α max 表示允許的n p 與v p 之間的最大角度(75~90度)，n p 與v p 之間的角度超過α max 時，幾何權重向為0，表示該點不可靠，〈n p ,v p 〉表示n p 與v p 的點乘運算，a cos(n p ,v p )表示n p 與v p 之間的角度。
2)基於相機配置的權重項(相機權重項)
深度準確度跟表面距離相機的遠近有關，一般情況下，距離越遠，深度值越不準確，本公開實施例中，定義相機權重項如下：
w c (p)=1-e -λξ (7)
其中，w c (p)表示當前幀深度圖中像素點對應的三維空間點P的相機權重項，λ為設定的懲罰因數，ξ為像素點p沿著投影射線方向移動一段距離產生的像素偏移；像素偏移表示投影點跟原像素點之間的距離，投影點是三維空間點P變動小量後投影到當前幀中得到的像素點。
實際應用中，點p沿著投影射線方向移動的距離可以設置為：(d' max-d' min)×1/600，其中，(d' min,d' max)=(0.25m,3m)。λ用於確定ξ對相機權重項的影響程度，其取值範圍在0~1之間(包括邊界點)，例如取0.5。
3)基於光度一致性的權重項。
這裡，可以利用歸一化的交叉相關性(Normalized Cross Correlation，NCC)或其他參數計算光度一致性的權重項；採用NCC計算光度一致性的權重項，可以對光照變化有一定抗干擾能力。下面對採用NCC計算光度一致性的權重項的過程進行示例性說明。
基於光度一致性的權重項公式如下：
其中，w ph (p)表示當前幀深度圖中像素點對應的三維空間點P的光度一致性的權重項，thr表示設定門限，在一個示
例中，thr等於0.65，計算NCC的視窗大小為5 * 5。存在多個參考幀的情況下，可以將每個參考幀與當前幀計算得到的NCC值進行加權平均或取中值等處理，得到最終的NCC(p)。
在一些其他的實施例中，由於NCC的值即可以衡量光度一致性，NCC越大一致性越高，因此也可以不需要進行截斷處理，即，可以直接將NCC(p)作為w ph (p)。
在計算出基於幾何結構的權重項，基於相機配置的權重項和基於光度一致性的權重項後，可以根據以下公式得到聯合權重w(p)：
w(p)=w g (p)*w c (p)*w ph (p) (9)
本公開實施例中，可以將該聯合權重直接作為像素點p的深度置信度，可以根據計算得到的深度置信度，生成深度置信度圖，圖4為在圖2和圖3的基礎上基於本公開實施例的技術方案生成的深度置信度圖。當然，在其他實施例中，也可以利用該聯合權重調整前一幀對應點的深度置信度，得到當前幀中像素點的深度置信度。
需要說明的是，本公開的前述實施例中，可以根據場景資訊和/或相機資訊中至少兩種影響因素，確定當前幀深度圖中的所有像素點的深度置信度；也可以根據場景資訊和/或相機資訊中至少兩種影響因素，確定當前幀深度圖中深度有效的像素點的深度置信度，以便於提高點雲融合處理的精度。
在一些實施例中，可以用面元表示當前幀深度圖中每個像素點或深度有效的每個像素點；每個面元至少包
括對應像素點的深度置信度；並對當前幀深度圖的面元集合進行調整，實現當前幀深度圖的點雲融合處理。
可選地，每個面元還包括對應像素點的位置、法向量、內點權重和外點權重；當然，面元中還可以包括對應像素點的顏色等；其中，內點權重用於表示對應像素點屬於內點的概率，外點權重用於表示對應像素點屬於外點的概率，像素點的深度置信度定義為內點權重與外點權重之差。例如，初始時，內點權重為w(p)，外點權重為0。本公開實施例中，內點表示鄰域在當前幀的深度圖的面元集合之內的像素點，外點表示鄰域在當前幀的深度圖的面元集合之外的像素點。
可以看出，由於面元包含點的位置、法向、內/外點權重、深度置信度等資訊，採用基於面元的表示，可以很方便地添加點的各種屬性資訊，進而，便於在綜合考慮點的各種屬性資訊的基礎上，較為準確地實現點雲融合處理。
面元是場景三維結構表達的重要方式之一，面
元包含三維點P的座標、像素點p的法向量n p 、內點權重
、外點權重
，這裡，採用三維點P的座標可以表示對應像素點p的位置，這種表示方式可以使得點位置統一在同一個參考坐標系下，便於查看和比較，以及便於後續處理；若採用像素點的座標，每個面元坐標系可能都不相同，處理時需要進行頻繁轉換。
本公開實施例中，點雲融合的目標是維護一個高品質的面元集合，其融合過程也是面元的融合過程。
本公開實施例中，在確定當前幀深度圖中每個像素點或深度有效的像素點的深度置信度後，可以執行基於深度置信度的面元融合；也就是說，可以根據當前幀的面元集合，對上一幀更新後的現有面元集合進行集合更新，得到當前幀更新後的現有面元集合，當前幀更新後的現有面元集合表示當前幀深度圖的點雲融合處理結果；當前幀的面元集合包括當前幀深度圖中深度有效的像素點對應的面元的集合。特別地，對於初始幀，在得出初始幀的面元集合後，並不執行基於深度置信度的面元融合，而是從第二幀開始，執行基於深度置信度的面元融合。
這裡，集合更新可以包括面元增加、面元更新和麵元刪除中的至少一種操作。本公開實施例中，根據當前幀的面元集合對現有面元集合進行更新的過程可以看作為：將當前幀的面元集合與現有面元集合進行融合的過程。
可以看出，本公開實施例中，可以採用基於面元的表達，實現點雲融合處理；而面元可以表示點的屬性資訊，因而，可以根據點的屬性資訊，高效地實現點雲融合處理。
這裡，在根據本公開實施例的方案進行點雲融合處理後，可以得到融合後的點雲資料的示意圖，圖5為在圖3和圖4的基礎上基於本公開實施例的技術方案生成的融合後的點雲資料的示意圖。
下面分別對面元增加、面元更新和麵元刪除進行示例性說明。
1)面元增加
在初始化時，第一幀的深度圖全部作為新的面元加入到現有面元集合中，同時更新面元的內點權重和外點權重；例如，初始化時，內點權重為w(p)，外點權重為0。
在當前幀的面元集合中存在未被上一幀更新後的現有面元集合覆蓋的第一面元的情況下，可以將第一面元添加到上一幀更新後的現有面元集合中，由於第一面元是未被上一幀更新後的現有面元集合覆蓋的面元，因而，是需要添加上一幀更新後的現有面元集合的面元，進而，通過上述面元增加操作，可以得到符合實際需求的點雲融合處理結果。
在實際實施時，可以將上一幀更新後的現有面元集合的面元向當前幀的面元集合投影，在投影時，若存在當前幀的第一面元被上一幀更新後的現有面元集合的面元覆蓋的情況，則可以進行第一面元的更新或刪除操作；若存在當前幀的第一面元未被上一幀更新後的現有面元集合的面元覆蓋的情況，則可以進行第一面元的增加操作，即將未被覆蓋的面元增加到現有面元集合中。
2)面元更新
將上一幀更新後的現有面元集合中的面元投影到當前幀時投影點的投影深度記為d pold ，將當前幀的面元集合中面元的測量深度記為d p ，其中投影深度d pold 可以利用上述公式(2)得到；這裡，面元的更新可以從以下幾種不同的情況進行說明。
(a)在一些實施例中，在當前幀的面元集合中存在被上一幀更新後的現有面元集合覆蓋的第二面元，且第二面元的深度大於上一幀更新後的現有面元集合中對應面元的投影深度，同時第二面元的深度與上一幀更新後的現有面元集合中對應面元的投影深度的差值大於或等於第一設定深度閾值的情況下，可以認為產生遮擋，因為當前幀觀測到了與上一幀更新後的現有面元集合不同的表面，這種情況是真實存在的情況，此時，可以在上一幀更新後的現有面元集合中增加第二面元，例如，第二面元可以作為內點增加到上一幀更新後的現有面元集合中。
這裡，第一設定深度閾值的取值範圍可以是0.025m至0.3m。
可以看出，根據上述第二面元與上一幀更新後的現有面元集合的關係，可以確定第二面元是需要添加上一幀更新後的現有面元集合的面元，進而，通過上述面元增加操作，可以得到符合實際需求的點雲融合處理結果。
在一個具體的示例中，在測量深度d p 遠大於投影深度d pold 的情況下，例如，在測量深度d p 除以投影深度d pold 得到的比值大於第一設定比例的情況下，例如，第一設定比例的取值範圍可以是4至10。在測量深度d p 遠大於投影深度d pold 的情況下，可以認為出現遮擋，這種情況下不存在可視衝突，此時，可以將測量深度d p 對應的第二面元作為內點增加上一幀更新後的現有面元集合中。
(b)在當前幀的面元集合中存在被上一幀更新後的現有面元集合覆蓋的第二面元，且第二面元的深度小於上一幀更新後的現有面元集合中對應面元的投影深度，同時第二面元的深度與上一幀更新後的現有面元集合中對應面元的投影深度的差值大於或等於第二設定深度閾值的情況下，增加上一幀更新後的現有面元集合中對應面元的外點權重值。
這裡，第二設定深度閾值的取值範圍可以是0.025m至0.3m。
可以看出，在第二面元的深度小於上一幀更新後的現有面元集合中對應面元的投影深度的情況下，說明第二面元屬於外點的可能性比較大，此時，通過增加上一幀更新後的現有面元集合中對應面元的外點權重值，可以使面元更新更加符合實際需求。
具體地說，測量深度d p 遠小於現有面元深度d pold 的情況，屬於實際不存在的情況(可視衝突)，例如，在測量深度d p 除以投影深度d pold 得到的比值小於第二設定比例的情況下，例如，第二設定比例的取值範圍可以是0.001至0.01。在這種情況下，可以根據對應像素點的深度置信度，增加所述現有面元集合中對應面元的外點權重值，使得更新後該點的深度置信度降低。例如，可以根據以下公式增加上一幀更新後的現有面元集合中對應面元的外點權重值：
其中，
表示上一幀更新後的現有面元集合中對應
面元的更新前的外點權重值，
表示上一幀更新後的現有面元集合中對應面元的更新後的外點權重值。
(c)在當前幀的面元集合中存在被上一幀更新後的現有面元集合覆蓋的第二面元，且第二面元的深度與上一幀更新後的現有面元集合中對應面元的投影深度的差值小於第三設定深度閾值，同時上一幀更新後的現有面元集合中對應面元的法向量與第二面元的法向量的夾角小於或等於設定角度值的情況下，更新上一幀更新後的現有面元集合中對應面元的位置、法向量，並增加上一幀更新後的現有面元集合中對應面元的內點權重值。
可以看出，在第二面元的深度與上一幀更新後的現有面元集合中對應面元的投影深度的差值小於第三設定深度閾值，且上一幀更新後的現有面元集合中對應面元的法向量與第二面元的法向量的夾角小於或等於設定角度值的情況下，說明當前幀的面元集合中第二面元的測量深度是有效的深度，此時，更新對應面元的位置、法向量和內點權重，可以使面元更新更加符合實際需求。
這裡，第三設定深度閾值可以是當前幀的面元集合中對應面元的深度與第三設定比例的乘積；第三設定比例的取值範圍可以是0.008至0.012；設定角度值可以是一個銳角角度值，例如設定角度值的範圍可以是30°至60°。例如，第三設定深度閾值的取值範圍可以是0.025m至0.3m。
在一個具體的示例中，
且a cos(n pold ,n p )
45°
時，說明對應像素點的測量深度屬於有效的深度，此時，可以對上一幀更新後的現有面元集合中對應面元的深度、法向和內點權重進行更新；這裡，n pold 表示上一幀更新後的現有面元集合中對應面元的法向量；d pold 表示上一幀更新後的現有面元集合中對應面元的投影深度；a cos(n pold ,n p )表示上一幀更新後的現有面元集合和當前幀的面元集合中對應面元的法向之間的夾角，45°為設定角度值，0.01是第三設定比例，其與當前幀第二面元的深度的乘積0.01 d p 表示該第三設定深度閾值。
例如，對上一幀更新後的現有面元集合中對應面元的位置、法向和內點權重進行更新的公式可以為：
其中，X p 包含面元的深度和法向，X pold 表示面元更新前
的深度和法向；
表示面元更新前的內點權重；面元的深度和法向均可以通過上述公式(11)進行更新。此外，在對面元的位置進行更新時，除了更新深度，也可以更新面元的對應像素點的位置，例如更新像素點對應的三維點座標。
可以看出，在情況(c)中，可以對內點權重進行加權，在對內點權重加權時，使用了歷史參考幀的權重資訊，因而，可以使得點雲融合處理具有更好的魯棒性和準確度。
(d)在當前幀的面元集合中存在被上一幀更新後的現有面元集合覆蓋的第二面元，且第二面元的深度與上一幀更新後的現有面元集合中對應面元的投影深度的差值小於第三設定深度閾值，同時上一幀更新後的現有面元集合中對應面元的法向量與第二面元的法向量的夾角大於設定角度值的情況下，增加上一幀更新後的現有面元集合中對應面元的外點權重值。
在一個具體的示例中，
且a cos(n pold ,n p )>45°
時，說明面元的深度滿足深度一致性，但是不滿足法向一致性；此時，可以根據公式(10)更新對應面元的外點權重。
可以理解的是，本公開實施例中，在面元融合時考慮法向一致性，對不滿足法向一致性的點，增加其成為外點的權重，由於細微結構處深度差距小但不同視角的法向變化大，只是簡單融合深度差距會被平均掉，而本方法會更新外點權重，保留細微深度差異，因而，可以使得本公開實施例的點雲融合方案對細微結構的處理更有效。
(e)在一些實施例中，在測量深度d p 和投影深度d pold 之間不滿足上述(a)-(d)任意一種條件的情況下，可以認為上一幀更新後的現有面元集合和當前幀的面元集合中對應的像素點都屬於外點，此時，不更新面元。
3)面元刪除
在當前幀的面元集合中存在滿足預設刪除條件的面元的情況下，刪除所述當前幀的面元集合中滿足預設刪除條件
的面元；其中，所述滿足預設刪除條件的面元為：深度置信度小於設定置信度閾值的面元，即內點權重與外點權重的差小於設定置信度閾值的面元。
可以看出，通過刪除深度置信度較小的面元，可以使得保留下的面元均具有較高的深度置信度，因而，有利於提升點雲融合的可靠性和準確性。
這裡，設定置信度閾值可以記為c thr ，設定置信度閾值c thr 可以根據實際需求預先設置，例如，c thr 的取值範圍在0.5至0.7之間；可以理解的是，設定置信度閾值越大，則刪除的面元越多，反之刪除的面元越少；當設定置信度閾值太小時，會使一些低品質的面元得到保留。刪除面元後會產生部分空洞，這些空洞能被後繼的更高深度置信度的面元填充。
在現有方法中，基於三維點的融合，沒有考慮法線的資訊，對於權重項的處理多採用贏者通吃(Winner Take All，WTA)的方式；而在本公開實施例中，採用基於面元的表達，高效地處理點雲的融合、去冗餘，同時採用多因素融合確定深度置信度，提高深度置信度的可靠性，使得保留下來的點雲更可靠；進一步地，本公開實施例中，增加法向資訊判斷點雲的可視衝突關係，同時參考歷史幀可靠程度，魯棒性和準確性都更好。
可以看出，本公開實施例的前述實施例中，可以首先確定當前幀深度圖中的像素點的深度置信度，然後基於確定的深度置信度，進行點雲融合處理。
需要說明的是，在本公開的另一些實施例中，也可以首先確定當前幀深度圖的像素點中深度有效的像素點，然後，基於深度有效的像素點，進行點雲融合處理。
在具體的示例中，可以根據至少一個參考幀深度圖，檢測當前幀深度圖的像素點的深度是否有效；然後，丟棄當前幀深度圖中深度無效的像素點，並根據當前幀深度圖中深度有效的像素點，進行點雲融合處理。
這裡，檢測當前幀深度圖的像素點的深度是否有效的實現方式已經在前述記載的內容中作出說明，這裡不再贅述。對於根據當前幀深度圖中深度有效的像素點，進行點雲融合處理的實現方式，可以不考慮像素點的深度置信度，並且可以直接將重疊區域的深度值進行融合。
採用本公開實施例的方案，可以實現點雲的即時高精度融合；對輸入的每一幀深度圖，均可以利用步驟101至步驟102得到當前幀更新後的現有面元集合，實現冗餘點雲的剔除和麵元集合擴展或更新操作。本公開實施例的技術方案可以用於線上即時錨點放置和高精度建模，從而有效地輔助增強現實應用中的三維渲染、互動遊戲和電腦視覺中的三維物體識別。
本公開實施例的應用場景包括但不限於以下場景：
1)在使用者用帶深度攝影頭的移動設備拍攝某個場景的情況下，可以利用本公開實施例的點雲融合方法即時重建
場景的點雲，並對冗餘點雲進行融合，提供用戶端即時的三維重建效果。
2)使用者用帶深度攝影頭的移動設備，可以利用本公開實施例的點雲融合方法即時重建場景點雲，並對冗餘點雲進行融合，提供錨點放置的功能。
3)可以利用本公開實施例的點雲融合方法重建的點雲，重構物體或場景的表面結構，然後將重建的模型放置於真實環境中，從而獲得移動端增強現實效果。
4)可以利用本公開實施例的點雲融合方法即時重建的點雲，重構物體的表面結構，然後進行紋理映射，從而獲取物體的3D相冊效果。
在前述實施例提出的點雲融合方法的基礎上，本公開實施例提出了一種點雲融合裝置。
圖6為本公開實施例的點雲融合裝置的組成結構示意圖，如圖6所示，所述裝置位於電子設備中，所述裝置包括：確定模組601和融合模組602，其中，
確定模組601，配置為根據場景資訊和/或相機資訊中至少兩種影響因素，確定所述當前幀深度圖中的像素點的深度置信度，其中所述場景資訊和相機資訊分別至少包括一種影響因素；
融合模組602，配置為根據所述深度置信度，對所述當前幀深度圖中的像素點進行點雲融合處理。
在一實施方式中，所述確定模組601，配置為獲取所述當前幀深度圖中深度有效的像素點；根據場景資訊
和/或相機資訊中至少兩種影響因素，確定每個所述深度有效的像素點的深度置信度；
所述融合模組，配置為根據所述深度置信度，對所述當前幀深度圖中深度有效的像素點進行點雲融合處理。
在一實施方式中，所述確定模組601，配置為根據至少一個參考幀深度圖，檢測當前幀深度圖的像素點的深度是否有效；保留所述當前幀深度圖中深度有效的像素點。
在一實施方式中，所述至少一個參考幀深度圖包括在獲取當前幀深度圖前獲取的至少一幀深度圖。
在一實施方式中，所述確定模組601，配置為利用所述至少一個參考幀深度圖，對所述當前幀深度圖的像素點進行深度一致性檢查；確定通過所述深度一致性檢查的像素點的深度有效，未通過所述深度一致性檢查的像素點的深度無效。
在一實施方式中，所述確定模組601，配置為獲取多個參考幀深度圖；判斷所述當前幀深度圖的第一像素點與每個所述參考幀深度圖的對應像素點之間是否滿足深度一致性條件；在與所述第一像素點之間滿足所述深度一致性條件的所述對應像素點的個數大於或等於設定值的情況下，確定所述第一像素點通過所述深度一致性檢查；在與所述第一像素點之間滿足所述深度一致性條件的所述對應像素點的個數小於設定值的情況下，確定所述第一像素點未通
過所述深度一致性檢查；所述第一像素點是所述當前幀深度圖的任意一個像素點。
在一實施方式中，所述確定模組601，配置為將所述第一像素點投影至每個所述參考幀深度圖，得到每個所述參考幀深度圖中投影點的投影位置和投影深度；獲取每個所述參考幀深度圖中所述投影位置的測量深度值；獲取每個參考幀深度圖中所述投影點的投影深度與所述投影位置的測量深度值之間的差值；在所述差值小於或等於第一設定深度閾值的情況下，確定所述第一像素點與對應的參考幀深度圖的對應像素點之間滿足深度一致性條件；在所述差值大於第一設定深度閾值的情況下，確定所述第一像素點與對應的參考幀深度圖的對應像素點之間不滿足深度一致性條件。
在一實施方式中，所述場景資訊中包括場景結構和場景紋理中至少一種影響因素，所述相機資訊中至少包括相機配置。
在一實施方式中，所述確定模組601，配置為針對當前幀深度圖中的像素點，分別得出場景結構、相機配置和場景紋理中至少兩種影響因素對應的權重；融合所述至少兩種影響因素對應的權重，獲得所述當前幀深度圖中像素點的深度置信度。
在一實施方式中，所述確定模組601，配置為根據所述當前幀深度圖中的像素點的屬性資訊，分別得出場景結構、相機配置和場景紋理中至少兩種影響因素對應的權重；所述屬性資訊至少包括：位置和/或法向量。
在一實施方式中，所述確定模組601，配置為通過將所述至少兩種影響因素對應的權重相乘，得到聯合權重；根據所述聯合權重，得出所述當前幀深度圖中像素點的深度置信度。
在一實施方式中，所述融合模組602，配置為用面元表示所述當前幀深度圖中的每個像素點；每個面元至少包括對應像素點的深度置信度；
所述融合模組602，配置為根據當前幀的面元集合，對上一幀更新後的現有面元集合進行集合更新，得到當前幀更新後的現有面元集合，所述當前幀更新後的現有面元集合表示當前幀深度圖的點雲融合處理結果；所述當前幀的面元集合包括當前幀深度圖中深度有效的像素點對應的面元的集合；
所述集合更新包括面元增加、面元更新和麵元刪除中的至少一種操作。
在一實施方式中，所述每個面元還包括對應像素點的位置、法向量、內點權重和外點權重；其中，所述內點權重用於表示對應像素點屬於內點的概率，所述外點權重用於表示對應像素點屬於外點的概率，所述內點權重與所述外點權重的差值用於表示對應像素點的深度置信度。
在一實施方式中，所述融合模組602，配置為在所述當前幀的面元集合中存在未被所述上一幀更新後的現有面元集合覆蓋的第一面元的情況下，將所述第一面元添加到所述上一幀更新後的現有面元集合中。
在一實施方式中，所述融合模組602，配置為在所述當前幀的面元集合中存在被所述上一幀更新後的現有面元集合覆蓋的第二面元，且所述第二面元的深度大於所述上一幀更新後的現有面元集合中對應面元的投影深度，同時所述第二面元的深度與所述上一幀更新後的現有面元集合中對應面元的投影深度的差值大於或等於第一設定深度閾值的情況下，在所述上一幀更新後的現有面元集合中增加所述第二面元。
在一實施方式中，所述融合模組602，配置為在所述當前幀的面元集合中存在被所述上一幀更新後的現有面元集合覆蓋的第二面元，且所述第二面元的深度小於所述上一幀更新後的現有面元集合中對應面元的投影深度，同時所述第二面元的深度與所述上一幀更新後的現有面元集合中對應面元的投影深度的差值大於或等於第二設定深度閾值的情況下，增加所述上一幀更新後的現有面元集合中對應面元的外點權重值。
在一實施方式中，所述融合模組602，配置為在所述當前幀的面元集合中存在被所述上一幀更新後的現有面元集合覆蓋的第二面元，且所述第二面元的深度與所述上一幀更新後的現有面元集合中對應面元的投影深度的差值小於第三設定深度閾值，同時所述上一幀更新後的現有面元集合中對應面元的法向量與所述第二面元的法向量的夾角小於或等於設定角度值的情況下，更新所述上一幀更新後
的現有面元集合中對應面元的位置、法向量，並增加所述上一幀更新後的現有面元集合中對應面元的內點權重值。
在一實施方式中，所述融合模組602，配置為在所述當前幀的面元集合中存在被所述上一幀更新後的現有面元集合覆蓋的第二面元，且所述第二面元的深度與所述上一幀更新後的現有面元集合中對應面元的投影深度的差值小於第三設定深度閾值，同時所述上一幀更新後的現有面元集合中對應面元的法向量與所述第二面元的法向量的夾角大於設定角度值的情況下，增加所述上一幀更新後的現有面元集合中對應面元的外點權重值。
在一實施方式中，所述融合模組602，配置為在所述當前幀的面元集合中存在滿足預設刪除條件的面元的情況下，刪除所述當前幀的面元集合中滿足預設刪除條件的面元；其中，所述滿足預設刪除條件的面元為：對應像素點的深度置信度小於設定置信度閾值的面元。
另外，在本實施例中的各功能模組可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能模組的形式實現。
所述集成的單元如果以軟體功能模組的形式實現並非作為獨立的產品進行銷售或使用時，可以儲存在一個電腦可讀取儲存介質中，基於這樣的理解，本實施例的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術
方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備(可以是個人電腦，伺服器，或者網路設備等)或processor(處理器)執行本實施例所述方法的全部或部分步驟。而前述的儲存介質包括：U盤、移動硬碟、唯讀記憶體(Read Only Memory，ROM)、隨機存取記憶體(Random Access Memory，RAM)、磁碟或者光碟等各種可以儲存程式碼的介質。
具體來講，本實施例中的一種點雲融合方法對應的電腦程式指令可以被儲存在光碟，硬碟，U盤等儲存介質上，當儲存介質中的與一種點雲融合方法對應的電腦程式指令被一電子設備讀取或被執行時，實現前述實施例的任意一種點雲融合方法。
基於前述實施例相同的技術構思，本公開實施例還提供了一種電腦程式，該電腦程式被處理器執行時實現上述任意一種點雲融合方法。
基於前述實施例相同的技術構思，參見圖7，其示出了本公開實施例提供的一種電子設備70，可以包括：相互連接的記憶體71和處理器72；其中，
所述記憶體71，配置為儲存電腦程式和資料；
所述處理器72，配置為執行所述記憶體中儲存的電腦程式，以實現前述實施例的任意一種點雲融合方法。
在實際應用中，上述記憶體71可以是易失性記憶體(volatile memory)，例如RAM；或者非易失性記
憶體(non-volatile memory)，例如ROM，快閃記憶體(flash memory)，硬碟(Hard Disk Drive，HDD)或固態硬碟(Solid-State Drive，SSD)；或者上述種類的記憶體的組合，並向處理器72提供指令和資料。
上述處理器72可以為ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微處理器中的至少一種。可以理解地，對於不同的設備，用於實現上述處理器功能的電子器件還可以為其它，本公開實施例不作具體限定。
通過以上的實施方式的描述，本領域的技術人員可以清楚地瞭解到上述實施例方法可借助軟體加必需的通用硬體平台的方式來實現，當然也可以通過硬體，但很多情況下前者是更佳的實施方式。基於這樣的理解，本公開的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質(如ROM/RAM、磁碟、光碟)中，包括若干指令用以使得一台終端(可以是手機，電腦，伺服器，空調器，或者網路設備等)執行本公開各個實施例所述的方法。
上面結合附圖對本公開的實施例進行了描述，在不違背邏輯的情況下，本申請不同實施例之間可以相互結合，不同實施例描述有所側重，為側重描述的部分可以參見其他實施例的記載。本公開並不局限於上述的具體實施方式，上述的具體實施方式僅僅是示意性的，而不是限制性的，本領域的普通技術人員在本公開的啟示下，在不脫離本
公開宗旨和申請專利範圍所保護的範圍情況下，還可做出很多形式，這些均屬於本公開的保護之內。
圖1代表圖為流程圖，無元件符號說明。
Claims (17)
- 一種點雲融合方法，包括：根據場景資訊和/或相機資訊中至少兩種影響因素，確定所述當前幀深度圖中的像素點的深度置信度，其中所述場景資訊和相機資訊分別至少包括一種影響因素；根據所述深度置信度，對所述當前幀深度圖中的像素點進行點雲融合處理。
- 根據請求項1所述的方法，其中，所述根據場景資訊和/或相機資訊中至少兩種影響因素，確定所述當前幀深度圖中的像素點的深度置信度，包括：獲取所述當前幀深度圖中深度有效的像素點；根據場景資訊和/或相機資訊中至少兩種影響因素，確定每個所述深度有效的像素點的深度置信度；所述根據所述深度置信度，對所述當前幀深度圖中的像素點進行點雲融合處理，包括：根據所述深度置信度，對所述當前幀深度圖中深度有效的像素點進行點雲融合處理。
- 根據請求項2所述的方法，其中，所述獲取當前幀深度圖中深度有效的像素點包括：根據至少一個參考幀深度圖，檢測當前幀深度圖的像素點的深度是否有效；保留所述當前幀深度圖中深度有效的像素點。
- 根據請求項3所述的方法，其中，所述至少一個參考幀深度圖包括在獲取當前幀深度圖前獲取的至少一幀深度圖。
- 根據請求項3所述的方法，其中，所述根據至少一個參考幀深度圖，檢測當前幀深度圖的像素點的深度是否有效，包括：利用所述至少一個參考幀深度圖，對所述當前幀深度圖的像素點進行深度一致性檢查；確定通過所述深度一致性檢查的像素點的深度有效，未通過所述深度一致性檢查的像素點的深度無效。
- 根據請求項5所述的方法，其中，所述利用所述至少一個參考幀深度圖，對所述當前幀深度圖的像素點進行深度一致性檢查，包括：獲取多個參考幀深度圖；判斷所述當前幀深度圖的第一像素點與每個所述參考幀深度圖的對應像素點之間是否滿足深度一致性條件，所述第一像素點是所述當前幀深度圖的任意一個像素點；在與所述第一像素點之間滿足所述深度一致性條件的所述對應像素點的個數大於或等於設定值的情況下，確定所述第一像素點通過所述深度一致性檢查；在與所述第一像素點之間滿足所述深度一致性條件的所述對應像素點的個數小於設定值的情況下，確定所述第一像素點未通過所述深度一致性檢查。
- 根據請求項6所述的方法，其中，所述判斷所述當前幀深度圖的第一像素點與每個所述參考幀深度圖的對應像素點之間是否滿足深度一致性條件，包括：將所述第一像素點投影至每個所述參考幀深度圖，得到每個所述參考幀深度圖中投影點的投影位置和投影深度；獲取每個所述參考幀深度圖中所述投影位置的測量深度值；獲取每個參考幀深度圖中所述投影點的投影深度與所述投影位置的測量深度值之間的差值；在所述差值小於或等於第一設定深度閾值的情況下，確定所述第一像素點與對應的參考幀深度圖的對應像素點之間滿足深度一致性條件；在所述差值大於第一設定深度閾值的情況下，確定所述第一像素點與對應的參考幀深度圖的對應像素點之間不滿足深度一致性條件。
- 根據請求項1-7任一項所述的方法，其中，所述場景資訊中包括場景結構和場景紋理中至少一種影響因素，所述相機資訊中至少包括相機配置。
- 根據請求項8所述的方法，其中，所述根據場景資訊和/或相機資訊中至少兩種影響因素，確定所述當前幀深度圖中的像素點的深度置信度包括：針對當前幀深度圖中的像素點，分別得出場景結構、相機配置和場景紋理中至少兩種影響因素對應的權重；融合所述至少兩種影響因素對應的權重，獲得所述當前幀深度圖中像素點的深度置信度。
- 根據請求項9所述的方法，其中，所述針對當前幀深度圖中的像素點，分別得出場景結構、相機配置和場景紋理中至少兩種影響因素對應的權重，包括：根據所述當前幀深度圖中的像素點的屬性資訊，分別得出場景結構、相機配置和場景紋理中至少兩種影響因素對應的權重；所述屬性資訊至少包括：位置和/或法向量。
- 根據請求項9所述的方法，其中，所述融合所述至少兩種影響因素對應的權重，獲得所述當前幀深度圖中像素點的深度置信度，包括：通過將所述至少兩種影響因素對應的權重相乘，得到聯合權重；根據所述聯合權重，得出所述當前幀深度圖中像素點的深度置信度。
- 根據請求項1-7任一項所述的方法，其中，所述根據所述深度置信度，對所述當前幀深度圖中的像素點進行點雲融合處理，包括：用面元表示所述當前幀深度圖中的每個像素點；每個面元至少包括對應像素點的深度置信度；根據當前幀的面元集合，對上一幀更新後的現有面元集合進行集合更新，得到當前幀更新後的現有面元集合，所述當前幀更新後的現有面元集合表示當前幀深度圖的點雲融合處理結果；所述當前幀的面元集合包括當前幀深度圖中深度有效的像素點對應的面元的集合；所述集合更新包括面元增加、面元更新和麵元刪除中的至少一種操作。
- 根據請求項12所述的方法，其中，所述每個面元還包括對應像素點的位置、法向量、內點權重和外點權重；其中，所述內點權重用於表示對應像素點屬於內點的概率，所述外點權重用於表示對應像素點屬於外點的概率，所述內點權重與所述外點權重的差值用於表示對應像素點的深度置信度。
- 根據請求項12所述的方法，其中，所述根據當前幀的面元集合，對所述上一幀更新後的現有面元集合進行集合更新，包括以下情況中的一種或多種：在所述當前幀的面元集合中存在未被所述上一幀更新後的現有面元集合覆蓋的第一面元的情況下，將所述第一面元添加到所述上一幀更新後的現有面元集合中；在所述當前幀的面元集合中存在被所述上一幀更新後的現有面元集合覆蓋的第二面元，且所述第二面元的深度大於所述上一幀更新後的現有面元集合中對應面元的投影深度，同時所述第二面元的深度與所述上一幀更新後的現有面元集合中對應面元的投影深度的差值大於或等於第一設定深度閾值的情況下，在所述上一幀更新後的現有面元集合中增加所述第二面元；在所述當前幀的面元集合中存在滿足預設刪除條件的面元的情況下，刪除所述當前幀的面元集合中滿足預設刪 除條件的面元；其中，所述滿足預設刪除條件的面元為：對應像素點的深度置信度小於設定置信度閾值的面元。
- 根據請求項13所述的方法，其中，所述根據當前幀的面元集合，對所述上一幀更新後的現有面元集合進行集合更新，包括以下情況中的一種或多種：在所述當前幀的面元集合中存在被所述上一幀更新後的現有面元集合覆蓋的第二面元，且所述第二面元的深度小於所述上一幀更新後的現有面元集合中對應面元的投影深度，同時所述第二面元的深度與所述上一幀更新後的現有面元集合中對應面元的投影深度的差值大於或等於第二設定深度閾值的情況下，增加所述上一幀更新後的現有面元集合中對應面元的外點權重值；在所述當前幀的面元集合中存在被所述上一幀更新後的現有面元集合覆蓋的第二面元，且所述第二面元的深度與所述上一幀更新後的現有面元集合中對應面元的投影深度的差值小於第三設定深度閾值，同時所述上一幀更新後的現有面元集合中對應面元的法向量與所述第二面元的法向量的夾角小於或等於設定角度值的情況下，更新所述上一幀更新後的現有面元集合中對應面元的位置、法向量，並增加所述上一幀更新後的現有面元集合中對應面元的內點權重值；在所述當前幀的面元集合中存在被所述上一幀更新後的現有面元集合覆蓋的第二面元，且所述第二面元的深度與所述上一幀更新後的現有面元集合中對應面元的投影深 度的差值小於第三設定深度閾值，同時所述上一幀更新後的現有面元集合中對應面元的法向量與所述第二面元的法向量的夾角大於設定角度值的情況下，增加所述上一幀更新後的現有面元集合中對應面元的外點權重值。
- 一種電子設備，包括處理器和配置為儲存能夠在處理器上運行的電腦程式的記憶體；其中，所述處理器配置為在運行所述電腦程式的情況下，執行請求項1至15任一項所述的方法。
- 一種電腦儲存介質，其上儲存有電腦程式，該電腦程式被處理器執行時實現請求項1至15任一項所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910601035.3 | 2019-07-04 | ||
| CN201910601035.3A CN112184603B (zh) | 2019-07-04 | 2019-07-04 | 一种点云融合方法、装置、电子设备和计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202103153A true TW202103153A (zh) | 2021-01-16 |
| TWI722638B TWI722638B (zh) | 2021-03-21 |
Family
ID=73914625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108140143A TWI722638B (zh) | 2019-07-04 | 2019-11-05 | 一種點雲融合方法、電子設備和電腦儲存介質 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20210241435A1 (zh) |
| JP (1) | JP2022509329A (zh) |
| KR (1) | KR102443551B1 (zh) |
| CN (1) | CN112184603B (zh) |
| SG (1) | SG11202106693PA (zh) |
| TW (1) | TWI722638B (zh) |
| WO (1) | WO2021000390A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI782806B (zh) * | 2021-12-02 | 2022-11-01 | 財團法人國家實驗研究院 | 點雲算圖方法 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113034685B (zh) * | 2021-03-18 | 2022-12-06 | 北京百度网讯科技有限公司 | 激光点云与高精地图的叠加方法、装置及电子设备 |
| US11688144B2 (en) * | 2021-06-16 | 2023-06-27 | International Business Machines Corporation | Self guidance based on dimensional relationship |
| CN114549608B (zh) * | 2022-04-22 | 2022-10-18 | 季华实验室 | 点云融合方法、装置、电子设备及存储介质 |
| CN117152040B (zh) * | 2023-10-26 | 2024-02-23 | 埃洛克航空科技（北京）有限公司 | 一种基于深度图的点云融合方法及装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4786585B2 (ja) * | 2007-04-20 | 2011-10-05 | Ｋｄｄｉ株式会社 | 多視点映像符号化装置 |
| EP2538242B1 (en) * | 2011-06-24 | 2014-07-02 | Softkinetic Software | Depth measurement quality enhancement. |
| US9117295B2 (en) * | 2011-12-20 | 2015-08-25 | Adobe Systems Incorporated | Refinement of depth maps by fusion of multiple estimates |
| WO2014080330A2 (en) * | 2012-11-22 | 2014-05-30 | Geosim Systems Ltd. | Point-cloud fusion |
| CN105374019B (zh) * | 2015-09-30 | 2018-06-19 | 华为技术有限公司 | 一种多深度图融合方法及装置 |
| CN105654492B (zh) * | 2015-12-30 | 2018-09-07 | 哈尔滨工业大学 | 基于消费级摄像头的鲁棒实时三维重建方法 |
| CN105701787B (zh) * | 2016-01-15 | 2019-04-12 | 四川大学 | 基于置信度的深度图融合方法 |
| CN106600675A (zh) * | 2016-12-07 | 2017-04-26 | 西安蒜泥电子科技有限责任公司 | 一种基于深度图约束的点云合成方法 |
| CN107862674B (zh) * | 2017-11-08 | 2020-07-03 | 杭州测度科技有限公司 | 深度图像融合方法及系统 |
| US10628949B2 (en) * | 2017-12-18 | 2020-04-21 | Samsung Electronics Co., Ltd. | Image processing with iterative closest point (ICP) technique |
-
2019
- 2019-07-04 CN CN201910601035.3A patent/CN112184603B/zh active Active
- 2019-08-22 SG SG11202106693PA patent/SG11202106693PA/en unknown
- 2019-08-22 KR KR1020217017360A patent/KR102443551B1/ko active IP Right Grant
- 2019-08-22 JP JP2021547622A patent/JP2022509329A/ja active Pending
- 2019-08-22 WO PCT/CN2019/102081 patent/WO2021000390A1/zh active Application Filing
- 2019-11-05 TW TW108140143A patent/TWI722638B/zh active
-
2021
- 2021-04-26 US US17/239,984 patent/US20210241435A1/en not_active Abandoned
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI782806B (zh) * | 2021-12-02 | 2022-11-01 | 財團法人國家實驗研究院 | 點雲算圖方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112184603B (zh) | 2022-06-24 |
| JP2022509329A (ja) | 2022-01-20 |
| WO2021000390A1 (zh) | 2021-01-07 |
| CN112184603A (zh) | 2021-01-05 |
| US20210241435A1 (en) | 2021-08-05 |
| SG11202106693PA (en) | 2021-07-29 |
| KR102443551B1 (ko) | 2022-09-14 |
| KR20210087524A (ko) | 2021-07-12 |
| TWI722638B (zh) | 2021-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI722638B (zh) | 一種點雲融合方法、電子設備和電腦儲存介質 | |
| US11238606B2 (en) | Method and system for performing simultaneous localization and mapping using convolutional image transformation | |
| Kolev et al. | Turning mobile phones into 3D scanners | |
| Schöps et al. | 3D modeling on the go: Interactive 3D reconstruction of large-scale scenes on mobile devices | |
| Cabral et al. | Piecewise planar and compact floorplan reconstruction from images | |
| Nair et al. | A survey on time-of-flight stereo fusion | |
| Yu et al. | 3d reconstruction from accidental motion | |
| RU2642167C2 (ru) | Устройство, способ и система для реконструкции 3d-модели объекта | |
| WO2018107910A1 (zh) | 一种全景视频融合方法及装置 | |
| US9420265B2 (en) | Tracking poses of 3D camera using points and planes | |
| TWI536318B (zh) | 深度測量之品質提升 | |
| US8355565B1 (en) | Producing high quality depth maps | |
| US8463024B1 (en) | Combining narrow-baseline and wide-baseline stereo for three-dimensional modeling | |
| US11417065B2 (en) | Methods and systems for reprojection in augmented-reality displays | |
| WO2023024441A1 (zh) | 模型重建方法及相关装置、电子设备和存储介质 | |
| CN115035235A (zh) | 三维重建方法及装置 | |
| US20230245396A1 (en) | System and method for three-dimensional scene reconstruction and understanding in extended reality (xr) applications | |
| US8462155B1 (en) | Merging three-dimensional models based on confidence scores | |
| CN110691228A (zh) | 基于三维变换的深度图像噪声标记方法、装置和存储介质 | |
| Wang et al. | Real-time depth image acquisition and restoration for image based rendering and processing systems | |
| Tian et al. | Registration and occlusion handling based on the FAST ICP-ORB method for augmented reality systems | |
| CN107845108A (zh) | 一种光流值计算方法、装置及电子设备 | |
| TWI814500B (zh) | 減少深度估計模型誤差的方法、裝置、設備及存儲介質 | |
| AU2013219167B1 (en) | Merging three-dimensional models based on confidence scores | |
| TWI823491B (zh) | 深度估計模型的優化方法、裝置、電子設備及存儲介質 |