TW202103106A - 一種圖像深度估計方法、電子設備、儲存介質 - Google Patents

一種圖像深度估計方法、電子設備、儲存介質 Download PDF

Info

Publication number
TW202103106A
TW202103106A TW109102630A TW109102630A TW202103106A TW 202103106 A TW202103106 A TW 202103106A TW 109102630 A TW109102630 A TW 109102630A TW 109102630 A TW109102630 A TW 109102630A TW 202103106 A TW202103106 A TW 202103106A
Authority
TW
Taiwan
Prior art keywords
layer
inverse depth
sampling point
image
inverse
Prior art date
Application number
TW109102630A
Other languages
English (en)
Other versions
TWI738196B (zh
Inventor
齊勇
項驍駿
姜翰青
章國鋒
Original Assignee
大陸商浙江商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商浙江商湯科技開發有限公司 filed Critical 大陸商浙江商湯科技開發有限公司
Publication of TW202103106A publication Critical patent/TW202103106A/zh
Application granted granted Critical
Publication of TWI738196B publication Critical patent/TWI738196B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

本公開實施例公開了一種圖像深度估計方法、電子設備儲存介質，該方法包括：獲取當前幀對應的參考幀和當前幀的逆深度空間範圍；對當前幀和參考幀分別進行金字塔降採樣處理，獲得當前幀對應的k層當前圖像，以及參考幀對應的k層參考圖像；k為大於等於2的自然數；基於k層參考圖像和逆深度空間範圍，對k層當前圖像進行逆深度估計反覆運算處理，獲得當前幀的逆深度估計結果。通過實施上述方案，能夠即時獲得圖像的深度估計結果，且深度估計結果的精確度較高。

Description

一種圖像深度估計方法、電子設備、儲存介質
本公開關於電腦視覺技術領域，尤其是一種圖像深度估計方法及裝置、電子設備、儲存介質。
圖像的深度估計是電腦視覺領域的重要問題。在無法直接獲得圖像的深度資訊時，只有通過深度估計方法才能完成場景的三維重建，進而為增強現實和遊戲等應用服務。
目前，基於電腦視覺的深度估計方法可以分為主動視覺方法和被動視覺方法兩類。其中，主動視覺方法是指向被測物體發射可控制光束，然後拍攝光束在物體表面上形成的圖像，通過幾何關係計算出被測物體距離的方法，被動視覺方法包括立體視覺、聚焦法，以及散焦法等，主要是通過一個或多個攝影裝置獲取的二維圖像資訊確定深度資訊。
本公開實施例期望提供一種圖像深度估計方法及裝置、電子設備、儲存介質。
本公開實施例的技術方案是如下這樣實現的。
本公開實施例提供了一種圖像深度估計方法，所述方法包括：
獲取當前幀對應的參考幀和所述當前幀的逆深度空間範圍；
對所述當前幀和所述參考幀分別進行金字塔降採樣處理，獲得所述當前幀對應的k層當前圖像，以及所述參考幀對應的k層參考圖像；k為大於等於2的自然數；
基於所述k層參考圖像和所述逆深度空間範圍，對所述k層當前圖像進行逆深度估計反覆運算處理，獲得所述當前幀的逆深度估計結果。
可以理解的是，在本公開的實施例中，對當前幀和當前幀對應的參考幀進行降採樣處理，將獲得的多層當前圖像結合多層參考圖像進行逆深度估計反覆運算處理，以確定當前幀的逆深度估計結果。由於在確定逆深度估計結果的過程中，逐層減少逆深度搜索空間，從而減少了逆深度估計的計算量，提升了估計速度，能夠即時獲得逆深度估計結果。
在上述圖像深度估計方法中，所述獲取當前幀對應的參考幀，包括：
獲取至少兩個待篩選幀；
從所述至少兩個待篩選幀中，選取與所述當前幀之間滿足預設角度約束條件的至少一幀，將所述至少一幀作為所述參考幀。
可以理解的是，在本公開的實施例中，按照預設角度預設條件從至少兩個待篩選幀中選取參考幀，可以在一定程度上選取出品質較佳，適合與當前幀進行匹配的幀，從而在後續深度估計過程中提高估計的準確性。
在上述圖像深度估計方法中，所述預設角度約束條件包括：
所述當前幀對應的位姿中心和所述參考幀對應的位姿中心，與目標點的連線形成的夾角處於第一預設角度範圍；所述目標點為所述當前幀對應的平均深度點與所述參考幀對應的平均深度點連線的中點；
所述當前幀和所述參考幀對應的光軸夾角處於第二預設角度範圍；
所述當前幀和所述參考幀對應的縱軸夾角處於第三預設角度範圍。
可以理解的是，在本公開的實施例中，第一個角度條件限定了當前場景到兩個相機的距離，角度過大說明場景過近，兩幀重合度會較低，角度過小，則說明場景過遠，視差較小，誤差會比較大，當相機特別接近時也可能發生角度過小的情況，此時誤差同樣較大。第二角度條件是為了保證兩個相機有足夠的共視區域。第三個角度條件是為了避免相機繞著光軸旋轉，影響後續深度估計計算過程。 同時滿足上述三個角度條件的幀作為參考幀有利於提高當前幀深度估計的精度。
在上述圖像深度估計方法中，所述基於所述k層參考圖像和所述逆深度空間範圍，對所述k層當前圖像進行逆深度估計反覆運算處理，獲得所述當前幀的逆深度估計結果，包括：
基於所述k層當前圖像和所述逆深度空間範圍，確定第i層採樣點中每一個採樣點對應的逆深度候選值；所述第i層採樣點為對所述k層當前圖像中第i層當前圖像採樣獲得的像素點，i為大於等於1且小於等於k的自然數；
根據所述第i層採樣點中每一個採樣點對應的逆深度候選值和所述k層參考圖像中第i層參考圖像，確定所述第i層採樣點中每一個採樣點的逆深度值，獲得第i層逆深度值；
令i=i+1，繼續對所述k層當前圖像中解析度高於所述第i層當前圖像的第i+1層當前圖像進行逆深度估計，直至i=k為止，獲得第k層逆深度值；
將所述第k層逆深度值確定為所述逆深度估計結果。
可以理解的是，在本公開的實施例中，基於k層參考圖像和逆深度空間範圍，對k層當前圖像進行逆深度估計反覆運算處理，例如可以從頂層(第1層)當前圖像(像素最少的圖像)開始，依次向底層進行逆深度估計反覆運算，逐層縮小逆深度搜索空間，從而有效的減少逆深度估計的計算量。
在上述圖像深度估計方法中，所述基於所述k層當前圖像和所述逆深度空間範圍，確定第i層採樣點中每一個採樣點對應的逆深度候選值，包括：
對所述逆深度空間範圍進行區間劃分，並在每個劃分區間中選擇一個逆深度值，得到多個初始逆深度值；
將所述多個初始逆深度值確定為第1層採樣點中每一個採樣點對應的逆深度候選值；
當i不等於1的情況下，從所述k層當前圖像中獲取第i-1層採樣點，以及第i-1層逆深度值；
基於所述第i-1層逆深度值、第i-1層採樣點，以及所述多個初始逆深度值，確定所述第i層採樣點中每一個採樣點對應的逆深度候選值。
可以理解的是，在本公開的實施例中，針對逆深度空間範圍進行區間劃分，從而在不同區間內選取逆深度值，可以使得每一個區間內都存在一個逆深度值作為逆深度候選值。也就是說，每一個採樣點在不同逆深度範圍內都存在一個逆深度候選值，在後續進行確定採樣點的逆深度值，可以保證不同逆深度範圍的逆深度值都可以進行逆深度值估計確定，保證估計過程覆蓋整個逆深度空間範圍，從而最終可以估計出準確的逆深度值。
在上述圖像深度估計方法中，所述基於所述第i-1層逆深度估計值、第i-1層採樣點，以及所述多個初始逆深度值，確定所述第i層採樣點中每一個採樣點對應的逆深度候選值，包括：
從所述第i-1層採樣點中，確定與第一採樣點距離最近的第二採樣點，以及與所述第二採樣點相鄰的至少兩個第三採樣點；所述第一採樣點為所述第i層採樣點中任意一個採樣點；
根據所述第i-1層逆深度值，獲取所述至少兩個第三採樣點中每一個採樣點的逆深度值，以及所述第二採樣點的逆深度值，得到至少三個逆深度值；
從所述至少三個逆深度值中，確定最大逆深度值和最小逆深度值；
從所述多個初始逆深度值中，選取處於所述最大逆深度值和所述最小逆深度值範圍內的逆深度值，對所述多個等分逆深度值進行選取，將選取出的逆深度值確定為所述第一採樣點對應的逆深度候選值；
繼續確定所述第i層採樣點中非所述第一採樣點的採樣點對應的逆深度候選值，直至確定出所述第i層採樣點中每一個採樣點對應的逆深度候選值。
可以理解的是，在本公開的實施例中，利用i-1層採樣點對應的逆深度值從多個初始逆深度值中確定第i層採樣點的逆深度候選值，可以更為準確的獲得第i層採樣點的逆深度候選值，並且，減少了逆深度候選值的數量，相應的，減少了逆深度估計的計算量。
在上述圖像深度估計方法中，所述根據所述第i層採樣點中每一個採樣點對應的逆深度候選值和所述k層 參考圖像中第i層參考圖像，確定所述第i層採樣點中每一個採樣點的逆深度值，獲得第i層逆深度值，包括：
對所述第i層採樣點中每一個採樣點，分別按照對應的逆深度候選值中的每一個逆深度值，將所述第i層採樣點中每一個採樣點投影到所述第i層參考圖像中，獲得所述第i層採樣點中每一個採樣點對應的第i層投影點；
根據所述第i層採樣點和所述第i層投影點進行塊匹配，獲得所述第i層採樣點中每一個採樣點對應的第i層匹配結果；
根據所述第i層匹配結果，確定所述第i層採樣點中每一個採樣點的逆深度值，獲得所述第i層逆深度值。
可以理解的是，在本公開的實施例中，針對的第i層採樣點，分別與相應的第i層投影點進行匹配，從而確定與採用不同逆深度值投影的投影點的差異程度，因此，可以準確選取出第i層採樣點的逆深度值。
在上述圖像深度估計方法中，所述根據所述第i層採樣點和所述第i層投影點進行塊匹配，獲得所述第i層採樣點中每一個採樣點對應的第i層匹配結果，包括：
利用預設視窗，從所述第i層當前圖像中選取以待匹配採樣點為中心的第一圖像塊，並從所述第i層參考圖像中選取以所述待匹配採樣點對應的第i層投影點中的每一個投影點分別為中心的多個第二圖像塊；所述待匹配採樣點為所述第i層採樣點中任意一個採樣點；
將所述第一圖像塊分別與所述多個第二圖像塊中每一個圖像塊進行比較，獲得多個匹配結果，並將所述多個匹配結果確定為所述待匹配採樣點對應的第i層匹配結果；
繼續確定所述第i層採樣點中與所述待匹配採樣點不同的採樣點對應的第i層匹配結果，直至獲得所述第i層採樣點中每一個採樣點對應的第i層匹配結果。
可以理解的是，在本公開的實施例中，利用塊匹配的方式進行採樣點和投影點的匹配，得到的匹配結果實際上就是匹配的懲罰值，其表徵了該投影點與採樣點的差異度，相應的，也體現了投影該投影點的逆深度值可作為採樣點逆深度值的程度，因此，可以利用其結果後續較為準確的選取採樣點的逆深度值。
在上述圖像深度估計方法中，所述根據所述第i層匹配結果，確定所述第i層採樣點中每一個採樣點的逆深度值，獲得所述第i層逆深度值，包括：
從目標採樣點對應的第i層匹配結果中選取出目標匹配結果；所述目標採樣點為所述第i層採樣點中任意一個採樣點；
將所述目標採樣點對應的第i層投影點中，所述目標匹配結果對應的投影點確定為目標投影點；
將所述逆深度候選值中，所述目標投影點對應的逆深度值確定為所述目標採樣點的逆深度值；
繼續確定所述第i層採樣點中與所述目標採樣點不同的採樣點的逆深度值，直至確定出所述第i層採樣點中每一個採樣點的逆深度值，獲得所述第i層逆深度值。
可以理解的是，在本公開的實施例中，上述針對採樣點匹配的過程，實際上就是針對一個採樣點，分別確定與採用不同逆深度值投影的投影點的差異程度。選取出匹配結果值最小結果，表徵對應的投影點與採樣點差異度最小，因此，可以將該投影點採用的逆深度值確定為採樣點的逆深度值，從而得到採樣點準確的逆深度值。
在上述圖像深度估計方法中，所述獲得第k層逆深度值之後，所述方法還包括：
對所述第k層逆深度值進行插值優化，獲得優化後的第k層逆深度值；
將所述優化後的第k層逆深度值確定為所述逆深度估計結果。
可以理解的是，在本公開的實施例中，上述過程中估計的深度為離散值，因此，還可以進行二次插值，調整每個採樣點的逆深度，從而獲得更為準確的逆深度值。
在上述圖像深度估計方法中，所述對所述第k層逆深度值進行插值優化，獲得優化後的第k層逆深度值，包括：
對所述第k層逆深度值中每一個逆深度值，分別從第k層採樣點中對應的採樣點的候選逆深度值中，選取相鄰 逆深度值；所述第k層採樣點為對所述k層當前圖像中第k層當前圖像採樣獲得的像素點；
獲取所述相鄰逆深度值對應的匹配結果；
基於所述相鄰逆深度值和所述相鄰逆深度值對應的匹配結果，對所述第k層逆深度值中的每一個逆深度值進行插值優化，獲得所述優化後的第k層逆深度值。
可以理解的是，在本公開的實施例中，利用確定的採樣點的逆深度值，其相鄰逆深度值和相鄰逆深度值對應匹配結果，可以更為精確的對採樣點的逆深度值進行插值調整，且調整方式簡單快速。
本公開實施例提供了一種圖像深度估計裝置，包括：
獲取模組，配置為獲取當前幀對應的參考幀和所述當前幀的逆深度空間範圍；
降採樣模組，配置為對所述當前幀和所述參考幀分別進行金字塔降採樣處理，獲得所述當前幀對應的k層當前圖像，以及所述參考幀對應的k層參考圖像；k為大於等於2的自然數；
估計模組，配置為基於所述k層參考圖像和所述逆深度空間範圍，對所述k層當前圖像進行逆深度估計反覆運算處理，獲得所述當前幀的逆深度估計結果。
在上述圖像深度估計裝置中，所述獲取模組，具體配置為獲取至少兩個待篩選幀；從所述至少兩個待篩選幀 中，選取與所述當前幀之間滿足預設角度約束條件的至少一幀，將所述至少一幀作為所述參考幀。
在上述圖像深度估計裝置中，所述預設角度約束條件包括：
所述當前幀對應的位姿中心和所述參考幀對應的位姿中心，與目標點的連線形成的夾角處於第一預設角度範圍；所述目標點為所述當前幀對應的平均深度點與所述參考幀對應的平均深度點連線的中點；
所述當前幀和所述參考幀對應的光軸夾角處於第二預設角度範圍；
所述當前幀和所述參考幀對應的縱軸夾角處於第三預設角度範圍。
在上述圖像深度估計裝置中，所述估計模組，具體配置為基於所述k層當前圖像和所述逆深度空間範圍，確定第i層採樣點中每一個採樣點對應的逆深度候選值；所述第i層採樣點為對所述k層當前圖像中第i層當前圖像採樣獲得的像素點，i為大於等於1且小於等於k的自然數；根據所述第i層採樣點中每一個採樣點對應的逆深度候選值和所述k層參考圖像中第i層參考圖像，確定所述第i層採樣點中每一個採樣點的逆深度值，獲得第i層逆深度值；令i=i+1，繼續對所述k層當前圖像中解析度高於所述第i層當前圖像的第i+1層當前圖像進行逆深度估計，直至i=k為止，獲得第k層逆深度值；將所述第k層逆深度值確定為所述逆深度估計結果。
在上述圖像深度估計裝置中，所述估計模組，具體配置為對所述逆深度空間範圍進行區間劃分，並在每個劃分區間中選擇一個逆深度值，得到多個初始逆深度值；將所述多個初始逆深度值確定為第1層採樣點中每一個採樣點對應的逆深度候選值；在i不等於1的情況下，從所述k層當前圖像中獲取第i-1層採樣點，以及第i-1層逆深度值；基於所述第i-1層逆深度估計值、第i-1層採樣點，以及所述多個初始逆深度值，確定所述第i層採樣點中每一個採樣點對應的逆深度候選值。
在上述圖像深度估計裝置中，所述估計模組，具體配置為從所述第i-1層採樣點中確定與第一採樣點距離最近的第二採樣點，以及與所述第二採樣點相鄰的至少兩個第三採樣點；所述第一採樣點為所述第i層採樣點中任意一個採樣點；根據所述第i-1層逆深度值，獲取所述至少兩個第三採樣點中每一個採樣點的逆深度值，以及所述第二採樣點的逆深度值，得到的至少三個逆深度值；從所述至少三個逆深度值中，確定最大逆深度值和最小逆深度值；從所述多個初始逆深度值中，選取處於所述最大逆深度值和所述最小逆深度值範圍內的逆深度值，將選取出的逆深度值確定為所述第一採樣點對應的逆深度候選值；繼續確定所述第i層採樣點中非所述第一採樣點的採樣點對應的逆深度候選值，直至確定出所述第i層採樣點中每一個採樣點對應的逆深度候選值。
在上述圖像深度估計裝置中，所述估計模組，具體配置為對所述第i層採樣點中每一個採樣點，分別按照對應的逆深度候選值中的每一個逆深度值，將所述第i層採樣點中每一個採樣點投影到所述第i層參考圖像中，獲得所述第i層採樣點中每一個採樣點對應的第i層投影點；根據所述第i層採樣點和所述第i層投影點進行塊匹配，獲得所述第i層採樣點中每一個採樣點對應的第i層匹配結果；根據所述第i層匹配結果，確定所述第i層採樣點中每一個採樣點的逆深度值，獲得所述第i層逆深度值。
在上述圖像深度估計裝置中，所述估計模組，具體配置為利用預設視窗，從所述第i層當前圖像中選取以待匹配採樣點為中心的第一圖像塊，並從所述第i層參考圖像中選取以所述待匹配採樣點對應的第i層投影點中的每一個投影點分別為中心的多個第二圖像塊；所述待匹配採樣點為所述第i層採樣點中任意一個採樣點；將所述第一圖像塊分別與所述多個第二圖像塊中每一個圖像塊進行比較，獲得多個匹配結果，並將所述多個匹配結果確定為所述待匹配採樣點對應的第i層匹配結果；繼續確定所述第i層採樣點中與所述待匹配採樣點不同的採樣點對應的第i層匹配結果，直至獲得所述第i層採樣點中每一個採樣點對應的第i層匹配結果。
在上述圖像深度估計裝置中，所述估計模組，具體配置為從目標採樣點對應的第i層匹配結果中選取出目標匹配結果；所述目標採樣點為所述第i層採樣點中任意一 個採樣點；將所述目標採樣點對應的第i層投影點中，所述目標匹配結果對應的投影點確定為目標投影點；將所述逆深度候選值中，所述目標投影點對應的逆深度值確定為所述目標採樣點的逆深度值；繼續確定所述第i層採樣點中與所述目標採樣點不同的採樣點的逆深度值，直至確定出所述第i層採樣點中每一個採樣點的逆深度值，獲得所述第i層逆深度值。
在上述圖像深度估計裝置中，所述估計模組，還配置為對所述第k層逆深度值進行插值優化，獲得優化後的第k層逆深度值；將所述優化後的第k層逆深度值確定為所述逆深度估計結果。
在上述圖像深度估計裝置中，所述估計模組，具體配置為對所述第k層逆深度值中每一個逆深度值，分別從第k層採樣點中對應的採樣點的候選逆深度值中，選取相鄰逆深度值；所述第k層採樣點為對所述k層當前圖像中第k層當前圖像採樣獲得的像素點；獲取所述相鄰逆深度值對應的匹配結果；基於所述相鄰逆深度值和所述相鄰逆深度值對應的匹配結果，對所述第k層逆深度值中的每一個逆深度值進行插值優化，獲得所述優化後的第k層逆深度值。
本公開實施例提供了一種電子設備，所述電子設備包括：處理器、記憶體和通信匯流排；其中：
所述通信匯流排，配置為實現所述處理器和所述記憶體之間的連接通信；
所述處理器，配置為執行所述記憶體中儲存的圖像深度估計程式，以實現上述圖像深度估計方法。
在上述電子設備中，所述電子設備為手機或平板電腦。
本公開實施例提供了一種電腦可讀儲存介質，所述電腦可讀儲存介質儲存有一個或者多個程式，所述一個或者多個程式可以被一個或者多個處理器執行，以實現上述圖像深度估計方法。
本公開實施例提供了一種電腦程式，包括電腦可讀代碼，所述電腦可讀代碼被處理器執行時，實現上述圖像深度估計方法對應的步驟。
由此可見，本公開實施例的技術方案中，獲取當前幀對應的參考幀和當前幀的逆深度空間範圍；對當前幀和參考幀分別進行金字塔降採樣處理，獲得當前幀對應的k層當前圖像，以及參考幀對應的k層參考圖像；k為大於等於2的自然數；基於k層參考圖像和逆深度空間範圍，對k層當前圖像進行逆深度估計反覆運算處理，獲得當前幀的逆深度估計結果。也就是說，本公開提供的技術方案，採取了對多層當前圖像結合多層參考圖像進行逆深度估計反覆運算處理，以逐層減少逆深度搜索空間，確定當前幀的逆深度估計結果，該逆深度估計結果為當前幀的像素點在相機坐標系下的z軸座標值的倒數，不需要額外進行座標變換，且逐層減少逆深度搜索空間有助於減少逆深度 估計的計算量，提升估計速度，從而能夠即時獲得圖像的深度估計結果，且深度估計結果的精確度較高。
801:獲取模組
802:降採樣模組
803:估計模組
804:確定模組
901:處理器
902:記憶體
903:匯流排
圖1為本公開實施例提供的一種圖像深度估計方法的流程示意圖；
圖2為本公開實施例提供的一種示例性的相機位姿夾角的示意圖；
圖3為本公開實施例提供的一種逆深度估計反覆運算處理的流程示意圖一；
圖4為本公開實施例提供的一種示例性的3層當前圖像的示意圖；
圖5為本公開實施例提供的一種確定逆深度候選值的流程示意圖；
圖6為本公開實施例提供的一種示例性的採樣點投影示意圖；
圖7為本公開實施例提供的一種逆深度估計反覆運算處理的流程示意圖二；
圖8為本公開實施例提供的一種圖像深度估計裝置的結構示意圖；
圖9為本公開實施例提供的一種電子設備的結構示意圖。
下面將結合本公開實施例中的附圖，對本公開實施例中的技術方案進行清楚、完整地描述。
本公開實施例提供了一種圖像深度估計方法，其執行主體可以是圖像深度估計裝置，例如，圖像深度估計方法可以由終端設備或伺服器或其它電子設備執行，其中，終端設備可以為使用者設備(User Equipment，UE)、移動設備、使用者終端、終端、蜂窩電話、無繩電話、個人數文書處理(Personal Digital Assistant，PDA)、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該圖像深度估計方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。圖1為本公開實施例提供的一種圖像深度估計方法的流程示意圖。如圖1所示，主要包括以下步驟。
S101、獲取當前幀對應的參考幀和當前幀的逆深度空間範圍。
在本公開的實施例中，執行主體以圖像深度估計裝置為例進行說明。首先，圖像深度估計裝置對當前幀進行深度估計時，需要先獲取到當前幀對應的參考幀和當前幀的逆深度空間範圍。
需要說明的是，在本公開的實施例中，當前幀為需要進行深度估計的圖像，而參考幀為在對當前幀進行深度估計時，用於進行參考匹配的圖像，參考幀的數量可以為多個，考慮到深度估計的速度和魯棒性的平衡，選取5個 左右的參考幀較為合適，具體的當前幀的參考幀本公開實施例不作限定。
具體的，在本公開的實施例中，圖像深度估計裝置獲取當前幀對應的參考幀包括以下步驟：獲取至少兩個待篩選幀；從至少兩個待篩選幀中，選取與當前幀之間滿足預設角度約束條件的至少一幀，將該至少一幀作為參考幀。
需要說明的是，在本公開的實施例中，圖像深度估計裝置還可以以其它方式獲取參考幀，例如，接收用戶發送的針對至少兩個待篩選幀的選擇指令，將選擇指令指示的至少一幀作為參考幀。具體的參考幀獲取方式本申請實施例不作限定。
需要說明的是，在本公開的實施例中，圖像深度估計裝置從至少兩個待篩選幀中，選取出的當前幀對應的參考幀可以為多個，而每一個參考幀均與當前幀之間滿足預設角度約束條件。待篩選幀即為與當前幀針對同一場景，但是不同角度下獲取到的圖像。圖像深度估計裝置可以配置有攝影模組，通過該攝影模組可以獲取到待篩選幀，當然，也可以通過其它獨立的攝影設備先獲取待篩選幀，圖像深度估計裝置再從攝影設備中進一步獲取待篩選幀。具體的預設角度約束條件可以根據實際深度估計需求預先設置在圖像深度估計裝置中，也可以儲存在其他裝置中，需要進行深度估計時從其他裝置中獲取，又或者可以通過 接收用戶輸入的角度約束條件獲取等，本公開實施例不作限定。
具體的，在本公開的實施例中，預設角度約束條件包括：當前幀對應的位姿中心和參考幀對應的位姿中心，與目標點的連線形成的夾角處於第一預設角度範圍；目標點為當前幀對應的平均深度點與參考幀對應的平均深度點連線的中點；當前幀和參考幀對應的光軸夾角處於第二預設角度範圍；當前幀和參考幀對應的縱軸夾角處於第三預設角度範圍。其中，縱軸即為三維空間中相機坐標系的Y軸。
在本公開的一些實施例中，當前幀對應的位姿中心，實際上就是相機在處於獲取當前幀時的位置和姿態下，相機的中心(光心)。參考幀對應的位姿中心，實際上就是相機在處於獲取參考幀時的位置和姿態下，相機的中心(光心)。
示例性的，在本公開的實施例中，如圖2所示，定義獲取當前幀時相機的位姿為位姿1，獲取參考幀時相機的位姿為位姿2，位姿1時相機的中心(光心)到對應場景的平均深度點為點P1，位姿2時相機的中心(光心)到對應場景的平均深度點為點P2，P1和P2的連線中點為點P，預設角度預設條件具體包括三個角度條件：第一個角度條件為，位姿1和位姿2時相機中心與P點的連線形成的視角α在[5°，45°]之間；第二個角度條件為相機處於位姿1和位姿2時的光軸夾角在[0°，45°]之間；第 三個角度條件為相機處於位姿1和位姿2時的Y軸夾角在[0°，30°]之間，只有同時滿足了這三個角度條件的幀才能作為參考幀。以上角度區間實際中都可以進行調整。
需要說明的是，在本公開的實施例中，獲取當前幀和參考幀的相機可以配置有定位裝置，從而在獲取當前幀和參考幀時直接獲取到相應的位姿，圖像深度估計裝置可以獲取定位裝置中獲得的相關位姿，當然，圖像深度估計裝置還可以按照位姿估計演算法，結合獲得的當前幀和參考幀中的一些特徵點，計算出相應的位姿。
可以理解的是，在本公開的實施例中，第一個角度條件限定了當前場景到兩個相機的距離，角度過大說明場景過近，兩幀重合度會較低，角度過小，則說明場景過遠，視差較小，誤差會比較大，當相機特別接近時也可能發生角度過小的情況，此時誤差同樣較大。第二角度條件是為了保證兩個相機有足夠的共視區域。第三個角度條件是為了避免相機繞著光軸旋轉，影響後續深度估計計算過程。同時滿足上述三個角度條件的幀作為參考幀有利於提高當前幀深度估計的精度。
需要說明的是，在本公開的實施例中，圖像深度估計裝置可以根據當前幀直接獲取到對應的逆深度空間範圍，逆深度空間範圍為當前幀中的像素點的逆深度值可取的空間範圍，當然，圖像深度估計裝置還可以接收使用者的設置指令，根據設置指令獲取使用者指示的逆深度空間範圍。具體的逆深度空間範圍本公開實施例不作限定。例 如，逆深度空間範圍為[dmin，dmax]，dmin為逆深度空間範圍內最小的逆深度值，dmax為逆深度空間範圍內最大的逆深度值。
S102、對當前幀和參考幀分別進行金字塔降採樣處理，獲得當前幀對應的k層當前圖像，以及參考幀對應的k層參考圖像；k為大於等於2的自然數。
在本公開的實施例中，圖像深度估計裝置在獲取到當前幀對應的參考幀之後，可以對當前幀和參考幀分別進行金字塔降採樣處理，從而獲得當前幀對應的k層當前圖像，以及參考幀對應的k層參考圖像。
需要說明的是，在本公開的實施例中，由於參考幀可以為多個，因此，圖像深度估計裝置對於每一個參考幀圖像分別進行金字塔降採樣處理，從而獲得的k層參考圖像實際上為多組，具體的k層參考圖像的數量本公開實施例不作限定。
需要說明的是，在本公開的實施例中，圖像深度估計裝置對當前幀和參考幀分別進行金字塔降採樣處理，獲得的當前圖像金字塔和參考圖像金字塔的層數是相同的，採用的尺度因數也是相同的。例如，圖像深度估計裝置對當前幀和參考幀分別進行尺度因數為2的降採樣，形成三層當前圖像和三層參考圖像，在這兩組三層圖像中，頂層圖像的解析度最低，中間層圖像的解析度高於頂層圖像的解析度，底層圖像的解析度最高，實際上，底層圖像也就是原圖像，即對應的當前幀和參考幀。具體的圖像層數k， 以及降採樣的尺度因數可以根據實際需求預先設置，本公開實施例不作限定。
示例性的，在本公開的實施例中，圖像深度估計裝置獲取到了當前幀It對應的5個參考幀，分別為：參考幀I1、參考幀I2、參考幀I3、參考幀I4，以及參考幀I5，圖像深度估計裝置對這些幀分別進行尺度因數為2的降採樣，從而獲取當前幀It對應的3層當前圖像，以及參考幀I1、參考幀I2、參考幀I3、參考幀I4和參考幀I5各自對應的三層參考圖像。
S103、基於k層參考圖像和逆深度空間範圍，對k層當前圖像進行逆深度估計反覆運算處理，獲得當前幀對應的逆深度估計結果。
在本公開的實施例中，圖像深度估計裝置在獲得k層當前圖像和k層參考圖像之後，可以基於k層參考圖像和逆深度空間範圍，對k層當前圖像進行逆深度估計反覆運算處理，例如可以從頂層(第1層)當前圖像(像素最少的圖像)開始，依次向底層進行逆深度估計反覆運算，逐層縮小逆深度搜索空間，直到最底第k層，獲得當前幀對應的逆深度估計結果。
圖3為本公開實施例提供的一種逆深度估計反覆運算處理的流程示意圖。如圖3所示，圖像深度估計裝置基於k層參考圖像和逆深度空間範圍，對k層當前圖像進行逆深度估計反覆運算處理，獲得當前幀對應的逆深度估計結果，包括如下步驟。
S301、基於k層當前圖像和逆深度空間範圍，確定第i層採樣點中每一個採樣點對應的逆深度候選值；第i層採樣點為對k層當前圖像中第i層當前圖像採樣獲得的像素點，i為大於等於1且小於等於k的自然數。
在本公開的實施例中，k層當前圖像按照解析度由低到高依次包括：第1層當前圖像、第2層當前圖像、第3層當前圖像，……，第k層當前圖像，第1層當前圖像為k層當前圖像中的頂層圖像，第k層當前圖像為當前圖像金字塔中的底層圖像，同樣的，k層參考圖像中按照解析度由低到高依次包括：第1層參考圖像、第2層參考圖像、第3層參考圖像，……，第k層參考圖像，第1層參考圖像為參考圖像金字塔中的頂層圖像，第k層參考圖像為參考圖像金字塔中的底層圖像。
需要說明的是，在本公開的實施例中，圖像深度估計裝置可以對k層當前圖像中第i層當前圖像進行像素點採樣，採樣獲得的像素點即為第i層採樣點，具體的i的取值為大於1且小於等於k的自然數，本公開實施例不作限定。
需要說明的是，在本公開的實施例中，圖像深度估計裝置對第i層當前圖像進行像素點採樣，可以按照預設的採樣步長來實現。具體的採樣步長可以根據實際需求確定，本公開實施例不作限定。
圖4為本公開實施例提供的一種示例性的3層當前圖像的示意圖。如圖4所示，圖像深度估計裝置可以預 先對當前幀，在x軸和y軸座標按照採樣步長為2進行像素點採樣，共獲得3層當前圖像，其中，第1層當前圖像解析度最低，第2層當前圖像解析度高於第1層當前圖像，第3層當前圖像解析度高於第2層當前圖像，第3層當前圖像實際上就是當前幀原圖。
具體的，在本公開的實施例中，圖像深度估計裝置基於k層當前圖像和逆深度空間範圍，確定第i層採樣點中每一個採樣點對應的第i層逆深度候選值，包括：當i等於1時，對逆深度空間範圍進行區間等分，獲得劃分區間的多個等分逆深度值；將多個等分逆深度值確定為第1層採樣點中每一個採樣點對應的逆深度候選值；當i不等於1時，從k層當前圖像中獲取第i-1層採樣點，以及第i-1層逆深度估計值；基於第i-1層逆深度估計值、第i-1層採樣點，以及多個等分逆深度值，確定第i層採樣點中每一個採樣點對應的逆深度候選值。
可以理解的是，在本公開的實施例中，圖像深度估計裝置針對逆深度空間範圍進行區間劃分，從而在不同區間內選取逆深度值，可以使得每一個區間內都存在一個逆深度值作為逆深度候選值。也就是說，每一個採樣點在不同逆深度範圍內都存在一個逆深度候選值，在後續進行確定採樣點的逆深度值，可以保證不同逆深度範圍的逆深度值都可以進行逆深度值估計確定，保證估計過程覆蓋整個逆深度空間範圍，從而最終可以估計出準確的逆深度值。
可以理解的是，在本公開的實施例中，當i等於1時，即圖像深度估計裝置需要確定第1層採樣點中每一個採樣點對應的逆深度候選值，其中，第1層採樣點為k層當前圖像中解析度最低的第1層當前圖像中的採樣點，圖像深度估計裝置獲取到當前幀對應的逆深度空間範圍為[dmin，dmax]，可以將其進行等分，獲得進行劃分區間的q個等分逆深度值d1、d2，……，dq，可以將這q個等分逆深度值均確定為初始逆深度值，也就是第1層採樣點中每一個採樣點對應的逆深度候選值，當然，逆深度候選值還可以包括dmin和dmax。即對於第1層採樣點中每一個採樣點而言，其對應的逆深度候選值是完全相同的。圖像深度估計裝置對逆深度空間範圍的等分區間可以根據實際需求進行設置，本公開實施例不作限定。
需要說明的是，在本公開的實施例中，圖像深度估計裝置如果按照上述等分的方式對逆深度空間範圍進行區間劃分，並將劃分區間的逆深度值作為逆深度候選值，可以保證逆深度候選值均勻覆蓋整個逆深度空間範圍，保證後續從逆深度候選值中確定的逆深度值更加準確。
需要說明的是，在本公開的實施例中，在i等於1的情況下，除了針對逆深度空間範圍進行等分的方式進行劃分，還可以以非等分方式進行劃分。例如，以預先設置的多個不同間隔依次對逆深度空間範圍進行劃分，或者，基於預設的初始劃分間隔，結合間隔變化規則，每劃分一次進行間隔的調整，再利用調整後的間隔進行下一區間的 劃分。當然，初始逆深度值的選取也可以直接在劃分的區間中隨機選取一個逆深度值，也可以選取每個劃分區間的中間的逆深度值。具體的區間劃分方式和初始逆深度值選取方式本公開實施例不作限定。
需要說明的是，在本公開的實施例中，在i不等於1的情況下，圖像深度估計裝置需要從k層當前圖像中獲取第i-1層採樣點，也就是對k層當前圖像中，第i-1層採樣點進行採樣所獲得的像素點，並且，還需要獲取第i-1層逆深度值。每一層當前圖像都可以以不同的採樣步長進行採樣。其中，在確定第i層採樣點中每一個採樣點對應的逆深度候選值之前，在i=i-1的情況下，圖像深度估計裝置已經按照上述逆深度估計步驟獲得了第i層逆深度值，也就是第i-1層採樣點中每一個採樣點的逆深度值。因此，圖像深度估計裝置可以直接獲取到第i-1層逆深度值，並進一步的根據第i-1層逆深度值、第i-1層採樣點，以及多個等分逆深度值，確定第i層採樣點中每一個採樣點對應的逆深度候選值。
圖5為本公開實施例提供的一種確定逆深度候選值的流程示意圖。如圖5所示，圖像深度估計裝置基於第i-1層逆深度估計值、第i-1層採樣點，以及多個初始逆深度值，確定第i層採樣點中每一個採樣點對應的逆深度候選值，包括：
S501、從第i-1層採樣點中確定與第一採樣點距離最近的第二採樣點，以及與第二採樣點相鄰的至少兩個第 三採樣點；第一採樣點為第i層採樣點中任意一個採樣點。
S502、根據第i-1層逆深度值，獲取至少兩個第三採樣點中每一個採樣點的逆深度值，以及第二採樣點的深度值，得到至少三個逆深度值。
S503、從至少三個逆深度值中，確定最大逆深度值和最小逆深度值。
S504、從多個初始逆深度值中，選取處於最大逆深度值和最小逆深度值範圍內的逆深度值，將選取出的逆深度值確定為第一採樣點對應的逆深度候選值。
S505、繼續確定第i層採樣點中非第一採樣點的採樣點對應的逆深度候選值，直至確定出第i層採樣點中每一個採樣點對應的逆深度候選值。
需要說明的是，在本公開的實施例中，在i等於1的情況下，第i層採樣點，即第1層採樣點中每一個採樣點對應的逆深度候選值，均相同，而在i不等於1的情況下，第i層採樣點中，每一個採樣點對應的第i層逆深度候選值可以根據第i-1層採樣點和第i-1層逆深度值，從多個初始逆深度值中進行選取，確定出範圍較小的逆深度候選值，且第i層採樣點中每一個採樣點對應的逆深度候選值可能均不相同。
示例性的，在本公開的實施例中，
Figure 109102630-A0101-12-0027-22
為第i層採樣點中任意一個採樣點，圖像深度估計裝置可以在第i-1層採樣點中查找出距離
Figure 109102630-A0101-12-0027-23
最近的採樣點
Figure 109102630-A0101-12-0027-24
，從而從第i-1層 採樣點中以
Figure 109102630-A0101-12-0028-26
為中心，確定其相鄰的多個(例如8個)採樣點，之後，根據第i-1層逆深度值，獲取
Figure 109102630-A0101-12-0028-27
，以及與其相鄰的8個採樣點中每一個採樣點的逆深度值，即獲得9個逆深度值，進一步的，將9個逆深度值中以最大的逆深度值d1和最小的逆深度值d2為界限，將多個初始逆深度值中d1和d2之間的深度值選取出來，包括d1和d2，均確定為
Figure 109102630-A0101-12-0028-71
對應的候選逆深度值。
需要說明的是，在本公開的實施例中，圖像深度估計裝置從第i-1層採樣點中確定與第二採樣點相鄰的第三採樣點，可以將其周圍的8個採樣點均確定為第三採樣點，當然，也可以將與其左右相鄰的2個採樣點，或者上下相鄰的2個採樣點確定為第三採樣點，還可以將其上下左右相鄰的4個採樣點均確定為第三採樣點，具體的第三採樣點的數量本公開實施例不作限定。
需要說明的是，在本公開的實施例中，圖像深度估計裝置還可以按照其它的規則確定第i層採樣點中每一個採樣點對應的逆深度候選值。例如，接收用戶設置的針對不同層採樣點設置的不同逆深度候選值，同一層採樣點中每一個採樣點對應的逆深度候選值相同。具體的逆深度候選值確定方式本公開實施例不作限定。
S302、根據第i層採樣點中每一個採樣點對應的逆深度候選值和k層參考圖像中第i層參考圖像，確定第i層採樣點中每一個採樣點的逆深度值，獲得第i層逆深度值。
具體的，在本公開的實施例中，圖像深度估計裝置根據第i層採樣點中每一個採樣點對應的逆深度候選值和k層參考圖像中第i層參考圖像，確定第i層採樣點中每一個採樣點的逆深度值，獲得第i層逆深度值，包括：對第i層採樣點中每一個採樣點，分別按照對應的逆深度候選值中的每一個逆深度值，將第i層採樣點中每一個採樣點投影到第i層參考圖像中，獲得第i層採樣點中每一個採樣點對應的第i層投影點；根據第i層採樣點和第i層投影點進行塊匹配，獲得第i層採樣點中每一個採樣點對應的第i層匹配結果；根據第i層匹配結果，確定第i層採樣點中每一個採樣點的逆深度值，獲得第i層逆深度值。
需要說明的是，在本公開的實施例中，圖像深度估計裝置對第i層採樣點中的每一個採樣點，均按照對應的逆深度候選值中的每一個逆深度值投影到第i層參考圖像中。當然，如果有多個參考幀，相應的，有多個第i層參考圖像，那麼圖像深度估計裝置是將第i層採樣點中的每一個採樣點，分別按照對應的逆深度候選值中的每一個逆深度值，分別投影到每一個第k層參考圖像中。
具體的，在本公開的實施例中，對於當前幀t和參考幀r，圖像深度估計裝置對於第i層採樣點中的任意一個採樣點
Figure 109102630-A0101-12-0029-17
，u和v為該採樣點的x軸和y軸座標，對於
Figure 109102630-A0101-12-0029-30
對應的逆深度候選值中的任意一個逆深度值dz，按照以下公式(1)和公式(2)進行投影到第k層參考圖像中：
Figure 109102630-A0101-12-0030-1
Figure 109102630-A0101-12-0030-2
需要說明的是，K為獲取當前幀t和參考幀r的相機對應的相機內參矩陣，
Figure 109102630-A0101-12-0030-34
和
Figure 109102630-A0101-12-0030-36
為第i層當前圖像對應的焦距在x軸和y軸上的基於像素度量的尺度因數，
Figure 109102630-A0101-12-0030-37
為使用像素來描述的x軸方向焦距的長度，
Figure 109102630-A0101-12-0030-38
為使用像素來描述的y軸方向焦距的長度。
Figure 109102630-A0101-12-0030-16
為第i層當前圖像的主點位置，Rr為3×3的旋轉矩陣，Tr為3×1的平移向量。公式(1)最終獲得的Xr是一個3×1的矩陣，其中，第一行元素為Xr(0)，第二行元素為Xr(1)，第三行元素為Xr(2)，按照公式(2)進一步計算，即可獲得採樣點
Figure 109102630-A0101-12-0030-39
按照對應的逆深度候選值中的逆深度值dz，投影到參考幀r中第i層參考圖像中的投影點
Figure 109102630-A0101-12-0030-40
。
可以理解的是，在本公開的實施例中，對於第i層採樣點中的每一個採樣點，均可以通過公式(2)和公式(3)，按照對應逆深度候選值中的每一個逆深度值投影到第i層參考圖像中，如果是多個第i層參考圖像，重複執行即可。
需要說明的是，在本公開的實施例中，圖像深度估計裝置在獲得第i層投影點之後，可以根據第i層採樣點和第i層投影點進行塊匹配，具體是對第i層採樣點中的每一個採樣點，與對應的第i層投影點中的每一個投影點 分別進行塊匹配，從而獲得每一個採樣點對應的第i層匹配結果。
具體的，在本公開的實施例中，圖像深度估計裝置根據第i層採樣點和第i層投影點進行塊匹配，獲得第i層採樣點中每一個採樣點對應的第i層匹配結果，包括：利用預設視窗，從第i層當前圖像中選取以待匹配採樣點為中心的第一圖像塊，並從第i層參考圖像中選取以待匹配採樣點對應的第i層投影點中的每一個投影點分別為中心的多個第二圖像塊；待匹配採樣點為第i層採樣點中任意一個採樣點；將第一圖像塊分別與多個第二圖像塊中每一個圖像塊進行比較，獲得多個匹配結果，並將多個匹配結果確定為待匹配採樣點對應的第i層匹配結果；繼續確定第i層採樣點中與待匹配採樣點不同的採樣點對應的第i層匹配結果，直至獲得第i層採樣點中每一個採樣點對應的第i層匹配結果。例如，採用一個3×3的視窗，在第i層當前圖像和第i層參考圖像中，分別以第i層採樣點中的每一個採樣點和其對應的投影點為中心，獲取採樣點和投影點的領域點，得到兩個圖像塊，然後對獲取的圖像塊中對應位置的像素點的像素值進行比較，得到兩個圖像塊的匹配的懲罰值(如像素差值的絕對值之和)。針對同一逆深度值，每個第i層參考圖像，可以得到一個懲罰值；存在多個第i層參考圖像時，對得到的多個懲罰值進行融合(例如多個懲罰值取平均)，即可以得到每個採樣點對應一個逆深度值的第i層匹配結果。針對每個採樣點的多 個逆深度值，均可以得到每個逆深度值對應的一個懲罰值，即得到每個採樣點對應的第i層匹配結果。
具體的，在本公開的實施例中，如圖6所示，對於當前幀t和m個參考幀，m為大於等於1的自然數，圖像深度估計裝置對於第i層採樣點中的任意一個採樣點
Figure 109102630-A0101-12-0032-41
，按照以下公式(3)所示，與對應的第i層投影點中以逆深度值為dz投影獲得的投影點
Figure 109102630-A0101-12-0032-42
進行塊匹配，從而獲得第i層匹配結果中逆深度值為dz的匹配結果：
Figure 109102630-A0101-12-0032-3
其中，
Figure 109102630-A0101-12-0032-43
為
Figure 109102630-A0101-12-0032-44
按照自身對應的候選逆深度值中的逆深度值dz，分別投影到m個參考幀中每一幀分別對應的第i層參考圖像中的投影點，共計m個。
Figure 109102630-A0101-12-0032-72
為
Figure 109102630-A0101-12-0032-48
和
Figure 109102630-A0101-12-0032-49
的鄰域像素值比較函數，該比較函數可以是
Figure 109102630-A0101-12-0032-50
和
Figure 109102630-A0101-12-0032-51
的鄰域灰度值的零均值歸一化協方差(Zero-mean Normalized Cross Correlation，ZNCC)，也可以使用絕對差之和(Sum of absolute differences，SAD)或差方和(Sum of Squared Differences，SSD)兩種方法。
Figure 109102630-A0101-12-0032-73
即為
Figure 109102630-A0101-12-0032-53
對應的第i層匹配結果中，逆深度值為dz的匹配結果。
需要說明的是，在本公開的實施例中，第i層採樣點中，每一個採樣點對應的第i層匹配結果均包括了自身對應的逆深度候選值中，不同逆深度值的匹配結果，例如，對於第i層採樣點中的任意一個採樣點
Figure 109102630-A0101-12-0032-54
，對應的逆深度候選值包括d1、d2，……，dq，獲得的第i層匹配結果 包括每一個逆深度值的匹配結果，具體的第i層匹配結果本公開實施例不作限定。
示例性的，在本公開的實施例中，當前幀對應的參考幀包括2個幀，每一個幀對應有一組2層參考圖像，即有兩個第1層參考圖像，圖像深度估計裝置將當前幀中第1層當前圖像的一個採樣點
Figure 109102630-A0101-12-0033-56
，按照其對應的逆深度候選值d1、d2和d3分別投影到兩個第1層參考圖像中，分別在兩個第1層參考圖像中獲得三個投影點，共6個投影點，作為其對應的第1層投影點。其中，按照d1投影到一個第1層參考圖像的投影點為
Figure 109102630-A0101-12-0033-57
，按照d1投影到另一個第1層參考圖像的投影點為
Figure 109102630-A0101-12-0033-60
，因此，可以將
Figure 109102630-A0101-12-0033-61
、
Figure 109102630-A0101-12-0033-62
和
Figure 109102630-A0101-12-0033-63
代入公式(3)中，即m等於2，獲得
Figure 109102630-A0101-12-0033-58
對逆深度值為d1的匹配結果，同樣的，也可以獲得逆深度候選值为d2和d3的匹配結果，組成
Figure 109102630-A0101-12-0033-59
對應的第i層匹配結果。
具體的，在本公開的實施例中，圖像深度估計裝置根據第i層匹配結果，確定第i層採樣點中每一個採樣點的逆深度值，獲得第i層逆深度值，包括：從目標採樣點對應的第i層匹配結果中選取出目標匹配結果；目標採樣點為第i層採樣點中任意一個採樣點；將目標採樣點對應的第i層投影點中，目標匹配結果對應的投影點確定為目標投影點；將逆深度候選值中，目標投影點對應的逆深度值確定為目標採樣點的逆深度值；繼續確定第i層採樣點中與目標採樣點不同的採樣點的逆深度值，直至確定出第 i層採樣點中每一個採樣點的逆深度值，獲得第i層逆深度值。
需要說明的是，在本公開的實施例中，圖像深度估計裝置在獲得第i層採樣點中每一個採樣點對應的第i層匹配結果之後，可以按照以下公式(4)確定第i層採樣點中任意一個採樣點
Figure 109102630-A0101-12-0034-64
的逆深度值：
Figure 109102630-A0101-12-0034-4
其中，由於
Figure 109102630-A0101-12-0034-65
對應的第i層匹配結果中逆深度值為dz的匹配結果
Figure 109102630-A0101-12-0034-18
，相比與其它逆深度值的匹配結果值最小，因此，將對應的逆深度值dz實際上確定為
Figure 109102630-A0101-12-0034-66
的逆深度值。
可以理解的是，在本公開的實施例中，上述針對採樣點匹配的過程，實際上就是針對一個採樣點，分別確定與採用不同逆深度值投影的投影點的差異程度，而採用公式(4)進行逆深度值的確定，實際上就是選取出匹配結果值最小結果，表徵對應的投影點與採樣點差異度最小，因此，可以將該投影點採用的逆深度值確定為採樣點的逆深度值，從而得到採樣點準確的逆深度值。
需要說明的是，在本公開的實施例中，圖像深度估計方法還可以以其它方式確定第i層採樣點中每一個採樣點的逆深度值。例如，從每一個採樣點中對應的匹配結果中選取處於特定範圍的部分結果，之後，從部分結果中隨機選取一個匹配結果，將隨機選取出的匹配結果對應的投影點採用的逆深度值確定為採樣點的逆深度值。
S303、令i=i+1，繼續對k層當前圖像中解析度高於第i層當前圖像的第i+1層當前圖像進行逆深度估計，直至i=k為止，獲得第k層逆深度值。
在本公開的實施例中，圖像深度估計裝置獲得第i層逆深度值之後，令i=i+1，從而進一步繼續對第i層當前圖像的第i+1層當前圖像進行逆深度估計，其過程與獲取第i層逆深度值相同，在此不再贅述，在不斷反覆運算估計過程中，直至i=k時，圖像深度估計裝置獲得了第k層逆深度值，即k層當前圖像中解析度最高的圖像，實際就是當前幀原圖中每一個採樣點的逆深度值，則停止令i=i+1。
S304、將第k層逆深度值確定為逆深度估計結果。
在本公開的實施例中，圖像深度估計裝置在獲得第k層逆深度值之後，即可將第k層逆深度值確定為逆深度估計結果。
可選地，上述過程中估計的深度為離散值，為獲得更為準確的逆深度，還可以進行二次插值，調整每個採樣點的逆深度。具體地，如圖7所示，在步驟S303之後還可以包括S305~S306。
S305、對第k層逆深度值進行插值優化，獲得逆深度估計結果。
在本公開的實施例中，圖像深度估計裝置在獲得第k層逆深度值之後，第k層逆深度值包括第k層採樣點中 每一個採樣點對應的逆深度值，而為了獲得更準確的第k層逆深度值，可以對第k層逆深度值進行插值優化，也就是將第k層採樣點中每一個採樣點的逆深度值分別進行調整優化，從而獲得優化後的第k層逆深度值。
具體的，在本公開的實施例中，圖像深度估計裝置對第k層逆深度值進行插值優化，獲得優化後的第k層逆深度值，包括：對第k層逆深度值中每一個逆深度值，分別從第k層採樣點中對應的採樣點的候選逆深度值中，選取逆深度值的相鄰逆深度值；第k層採樣點為對k層當前圖像中第k層當前圖像採樣獲得的像素點；獲取相鄰逆深度值對應的匹配結果；基於相鄰逆深度值和相鄰逆深度值對應的匹配結果，對第k層逆深度值中的每一個逆深度值進行插值優化，獲得優化後的第k層逆深度值。
具體的，在本公開的實施例中，第k層逆深度值包括第k層採樣點中每一個採樣點對應的逆深度值，圖像深度估計裝置需要對第k層採樣點中每一個採樣點對應的逆深度值進行插值優化，從而獲得插值優化結果，作為當前幀的逆深度估計結果。其中，對第k層採樣點中任意一個採樣點
Figure 109102630-A0101-12-0036-67
，若其對應的逆深度值為dz，可以按照公式(5)進行插值優化：
dopt=dz+0.5×(dz-dz-1)×(Cz+1-Cz-1)/(Cz+1+Cz-1-2×Cz) (5)
其中，dz-1為採樣點
Figure 109102630-A0101-12-0036-68
對應的逆深度候選值中，與dz相鄰的前一個逆深度值。Cz+1為
Figure 109102630-A0101-12-0036-20
，Cz-1為
Figure 109102630-A0101-12-0036-19
，Cz為
Figure 109102630-A0101-12-0036-21
，均可在計算
Figure 109102630-A0101-12-0036-69
的逆深度值時，通過公式(3) 計算得到，dz+1和dz-1為
Figure 109102630-A0101-12-0037-70
對應的候選逆深度值中dz相鄰的兩個逆深度值，在此不再贅述。
可以理解的是，在本公開的實施例中，圖像深度估計裝置按照公式(5)對第k層逆深度值進行插值優化，由於k層當前圖像中，第k層當前圖像實際上就是當前幀，即實際上在獲得了當前幀中每一個採樣點的逆深度值之後，進一步對其進行了優化，從而獲得了當前幀中每一個採樣點更為準確的逆深度值，即獲得了當前幀的逆深度估計結果。在本公開的實施例中，圖像深度估計裝置還可以獲取三個或者更多個相鄰逆深度值及其對應的匹配結果，利用與公式(5)類似的多項式進行插值優化。此外，圖像深度估計裝置還可以針對第k層採樣點中每一個採樣點的逆深度值，獲取其對應逆深度候選值中與確定的逆深度值相鄰的兩個深度值，並將這三個逆深度值的均值作為採樣點最終的逆深度值，實現逆深度值的優化。
S306、將優化後的第k層逆深度值確定為逆深度估計結果。
在本公開的實施例中，圖像深度估計裝置在獲得優化後的第k層逆深度值之後，即可將優化後的第k層逆深度值確定為逆深度估計結果。
可選的，在本公開的實施例中，圖像深度估計裝置在確定出逆深度估計結果之後，即步驟S103之後，還可以執行以下步驟：
S104、根據逆深度估計結果，確定當前幀的深度估計結果。
在本公開的實施例中，圖像深度估計裝置在獲得當前幀的逆深度估計結果之後，即可根據逆深度估計結果，確定當前幀的深度估計結果；該深度估計結果可用於實現基於當前幀的三維場景構建。
需要說明的是，在本公開的實施例中，對於一個採樣點而言，其逆深度值和深度值互為倒數，因此，圖像深度估計裝置在獲得當前幀的逆深度估計結果，即當前幀中每一個採樣點插值優化後的逆深度值之後，分別取其倒數即可獲得對應的深度值，從而獲得當前幀的深度估計結果。例如，當前幀中某一個採樣點插值優化後的逆深度值為A，則其深度值為1/A。
需要說明的是，在本公開的實施例中，相比于現有技術中需要進行三角化反求解等計算才能獲得相機坐標系下的z軸座標值，上述圖像深度估計方法所確定最終的深度估計結果為當前幀的採樣點在相機坐標系下的z軸座標值，不需要額外進行座標變換。
需要說明的是，在本公開的實施例中，上述圖像深度估計方法可以應用在實現基於當前幀的三維場景構建過程中。例如，使用者利用移動設備攝影頭拍攝某個場景時，可以利用上述圖像深度估計方法獲得當前幀的深度估計結果，進而重建視頻場景的3D結構；使用者點擊移動設備中視頻的當前幀中的某個位置時，可以利用上述圖像 深度估計方法確定的當前幀的深度估計結果，進行點擊位置的視線求交找到錨點擺放虛擬物體，從而實現虛擬物體和真實場景幾何一致性融合的增強現實效果；單目視頻中可以利用上述圖像深度估計方法恢復出三維場景結構，計算真實場景和虛擬物體之間的遮擋關係，從而實現虛擬物體和真實場景遮擋一致性融合的增強現實效果；單目視頻中可以利用上述圖像深度估計方法恢復出場景三維結構，獲得具有真實感的陰影效果，從而實現虛擬物體和真實場景光照一致性融合的增強現實效果；單目視頻中可以利用上述圖像深度估計方法恢復出場景三維結構，與虛擬動畫角色之間的物理碰撞，從而實現虛擬動畫角色和真實場景物理一致性融合的真實感動畫效果。
此外，本公開實施例中，也可以不執行上述步驟S104，該逆深度估計結果可以用於非三維場景建立的其它影像處理。例如，直接輸出圖像採樣點的深度資訊變化值，至其它設備進行目標識別或三維點距離計算等資料處理。
本公開實施例提供了一種圖像深度估計方法，獲取當前幀對應的參考幀和當前幀的逆深度空間範圍；對當前幀和參考幀分別進行金字塔降採樣處理，獲得當前幀對應的k層當前圖像，以及參考幀對應的k層參考圖像；k為大於等於2的自然數；基於k層參考圖像和逆深度空間範圍，對k層當前圖像進行逆深度估計反覆運算處理，獲得當前幀的逆深度估計結果。也就是說，本公開提供的技術 方案，採取了對多層當前圖像結合多層參考圖像進行逆深度估計反覆運算處理，以逐層減少逆深度搜索空間，確定當前幀的深度估計結果，且最終的深度估計結果為當前幀的像素點在相機坐標系下的z軸座標值，不需要額外進行座標變換，從而能夠即時獲得圖像的深度估計結果，且深度估計結果的精確度較高。
本公開實施例還提供了一種圖像深度估計裝置，圖8為本公開實施例提供的一種圖像深度估計裝置的結構示意圖。如圖8所示，包括：
獲取模組801，配置為獲取當前幀對應的參考幀和所述當前幀的逆深度空間範圍；
降採樣模組802，配置為對所述當前幀和所述參考幀分別進行金字塔降採樣處理，獲得所述當前幀對應的k層當前圖像，以及所述參考幀對應的k層參考圖像；k為大於等於2的自然數；
估計模組803，配置為基於所述k層參考圖像和所述逆深度空間範圍，對所述k層當前圖像進行逆深度估計反覆運算處理，獲得所述當前幀的逆深度估計結果。
可選地，本公開實施例的圖像深度估計裝置還可以包括：確定模組804，配置為根據所述逆深度估計結果，確定所述當前幀的深度估計結果；所述深度估計結果可用於實現基於所述當前幀的三維場景構建。
可選的，所述獲取模組801，具體配置為獲取至少兩個待篩選幀；從所述至少兩個待篩選幀中，選取與所 述當前幀之間滿足預設角度約束條件的至少一幀，將所述至少一幀作為所述參考幀。
可選的，所述預設角度約束條件包括：
所述當前幀對應的位姿中心和所述參考幀對應的位姿中心，與目標點的連線形成的夾角處於第一預設角度範圍；所述目標點為所述當前幀對應的平均深度點與所述參考幀對應的平均深度點連線的中點；
所述當前幀和所述參考幀對應的光軸夾角處於第二預設角度範圍；
所述當前幀和所述參考幀對應的縱軸夾角處於第三預設角度範圍。
可選的，所述估計模組803，具體配置為基於所述k層當前圖像和所述逆深度空間範圍，確定第i層採樣點中每一個採樣點對應的逆深度候選值；所述第i層採樣點為對所述k層當前圖像中第i層當前圖像採樣獲得的像素點，i為大於等於1且小於等於k的自然數；根據所述第i層採樣點中每一個採樣點對應的逆深度候選值和所述k層參考圖像中第i層參考圖像，確定所述第i層採樣點中每一個採樣點的逆深度值，獲得第i層逆深度值；令i=i+1，繼續對所述k層當前圖像中解析度高於所述第i層當前圖像的第i+1層當前圖像進行逆深度估計，直至i=k為止，獲得第k層逆深度值；將所述第k層逆深度值確定為所述逆深度估計結果。
可選的，所述估計模組803，具體配置為當對所述逆深度空間範圍進行區間劃分，並在每個劃分區間中選擇一個逆深度值，得到多個初始逆深度值；將所述多個初始逆深度值確定為第1層採樣點中每一個採樣點對應的逆深度候選值；在i不等於1的情況下，從所述k層當前圖像中獲取第i-1層採樣點，以及第i-1層逆深度值；基於所述第i-1層逆深度估計值、第i-1層採樣點，以及所述多個初始逆深度值，確定所述第i層採樣點中每一個採樣點對應的逆深度候選值。
可選的，所述估計模組803，具體配置為從所述第i-1層採樣點中確定與第一採樣點距離最近的第二採樣點，以及與所述第二採樣點相鄰的至少兩個第三採樣點；所述第一採樣點為所述第i層採樣點中任意一個採樣點；根據所述第i-1層逆深度值，獲取所述至少兩個第三採樣點中每一個採樣點的逆深度值，以及所述第二採樣點的逆深度值，得到至少三個逆深度值；從所述至少三個逆深度值中，確定最大逆深度值和最小逆深度值；從所述多個初始逆深度值中，選取處於所述最大逆深度值和所述最小逆深度值範圍內的逆深度值，將選取出的逆深度值確定為所述第一採樣點對應的逆深度候選值；繼續確定所述第i層採樣點中非所述第一採樣點的採樣點對應的逆深度候選值，直至確定出所述第i層採樣點中每一個採樣點對應的逆深度候選值。
可選的，所述估計模組803，具體配置為對所述第i層採樣點中每一個採樣點，分別按照對應的逆深度候選值中的每一個逆深度值，將所述第i層採樣點中每一個採樣點投影到所述第i層參考圖像中，獲得所述第i層採樣點中每一個採樣點對應的第i層投影點；根據所述第i層採樣點和所述第i層投影點進行塊匹配，獲得所述第i層採樣點中每一個採樣點對應的第i層匹配結果；根據所述第i層匹配結果，確定所述第i層採樣點中每一個採樣點的逆深度值，獲得所述第i層逆深度值。
可選的，所述估計模組803，具體配置為利用預設視窗，從所述第i層當前圖像中選取以待匹配採樣點為中心的第一圖像塊，並從所述第i層參考圖像中選取以所述待匹配採樣點對應的第i層投影點中的每一個投影點分別為中心的多個第二圖像塊；所述待匹配採樣點為所述第i層採樣點中任意一個採樣點；將所述第一圖像塊分別與所述多個第二圖像塊中每一個圖像塊進行比較，獲得多個匹配結果，並將所述多個匹配結果確定為所述待匹配採樣點對應的第i層匹配結果；繼續確定所述第i層採樣點中與所述待匹配採樣點不同的採樣點對應的第i層匹配結果，直至獲得所述第i層採樣點中每一個採樣點對應的第i層匹配結果。
可選的，所述估計模組803，具體配置為從目標採樣點對應的第i層匹配結果中選取出目標匹配結果；所述目標採樣點為所述第i層採樣點中任意一個採樣點；將 所述目標採樣點對應的第i層投影點中，所述目標匹配結果對應的投影點確定為目標投影點；將所述逆深度候選值中，所述目標投影點對應的逆深度值確定為所述目標採樣點的逆深度值；繼續確定所述第i層採樣點中與所述目標採樣點不同的採樣點的逆深度值，直至確定出所述第i層採樣點中每一個採樣點的逆深度值，獲得所述第i層逆深度值。
可選的，所述估計模組803，還配置為對所述第k層逆深度值進行插值優化，獲得優化後的第k層逆深度值；將所述優化後的第k層逆深度值確定為所述逆深度估計結果。
可選的，所述估計模組803，具體配置為對所述第k層逆深度值中每一個逆深度值，分別從第k層採樣點中對應的採樣點的候選逆深度值中，選取相鄰逆深度值；所述第k層採樣點為對所述k層當前圖像中第k層當前圖像採樣獲得的像素點；獲取所述相鄰逆深度值對應的匹配結果；基於所述相鄰逆深度值和所述相鄰逆深度值對應的匹配結果，對所述第k層逆深度值中的每一個逆深度值進行插值優化，獲得所述優化後的第k層逆深度值。
本公開實施例提供了一種圖像深度估計裝置，獲取當前幀對應的參考幀和當前幀的逆深度空間範圍；對當前幀和參考幀分別進行金字塔降採樣處理，獲得當前幀對應的k層當前圖像，以及參考幀對應的k層參考圖像；k為大於等於2的自然數；基於k層參考圖像和逆深度空間範 圍，對k層當前圖像進行逆深度估計反覆運算處理，獲得當前幀的逆深度估計結果。也就是說，本公開提供的圖像深度估計裝置，採取了對多層當前圖像結合多層參考圖像進行逆深度估計反覆運算處理，以逐層減少逆深度搜索空間，確定當前幀的深度估計結果，且最終的深度估計結果為當前幀的像素點在相機坐標系下的z軸座標值，不需要額外進行座標變換，從而能夠即時獲得圖像的深度估計結果，且深度估計結果的精確度較高。
本公開實施例還提供了一種電子設備，圖9為本公開實施例提供的一種電子設備的結構示意圖。如圖9所示，所述電子設備包括：處理器901、記憶體902和通信匯流排903；其中：
所述通信匯流排903，配置為實現所述處理器901和所述記憶體902之間的連接通信；
所述處理器901，配置為執行所述記憶體902中儲存的圖像深度估計程式，以實現上述圖像深度估計方法。
需要說明的是，在本公開的實施例中，所述電子設備為手機或平板電腦，當然，也可以為其它類型設備，本公開實施例不作限定。
本公開實施例還提供了一種電腦可讀儲存介質，所述電腦可讀儲存介質儲存有一個或者多個程式，所述一個或者多個程式可以被一個或者多個處理器執行，以實現上述圖像深度估計方法。電腦可讀儲存介質可以是是易失性記憶體(volatile memory)，例如隨機存取記憶體 (Random-Access Memory，RAM)；或者非易失性記憶體(non-volatile memory)，例如唯讀記憶體(Read-Only Memory，ROM)，快閃記憶體(flash memory)，硬碟(Hard Disk Drive，HDD)或固態硬碟(Solid-State Drive，SSD)；也可以是包括上述記憶體之一或任意組合的各自設備，如行動電話、電腦、平板設備、個人數位助理等。
本公開實施例還提供了一種電腦程式，包括電腦可讀代碼，所述電腦可讀代碼被處理器執行時，實現上述圖像深度估計方法對應的步驟。
本領域內的技術人員應明白，本公開的實施例可提供為方法、系統、或電腦程式產品。因此，本公開可採用硬體實施例、軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本公開可採用在一個或多個其中包含有電腦可用程式碼的電腦可用儲存介質(包括但不限於磁碟記憶體和光學記憶體等)上實施的電腦程式產品的形式。
本公開是參照根據本公開實施例的方法、設備(系統)、和電腦程式產品的流程圖和/或方塊圖來描述的。應理解可由電腦程式指令實現流程圖和/或方塊圖中的每一流程和/或方塊、以及流程圖和/或方塊圖中的流程和/或方塊的結合。可提供這些電腦程式指令到通用電腦、專用電腦、嵌入式處理機或其他可程式設計信號處理設備的處理器以產生一個機器，使得通過電腦或其他可程式設計信號處理設備的處理器執行的指令產生用於實現在流程圖一 個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的裝置。
這些電腦程式指令也可儲存在能引導電腦或其他可程式設計信號處理設備以特定方式工作的電腦可讀記憶體中，使得儲存在該電腦可讀記憶體中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能。
這些電腦程式指令也可裝載到電腦或其他可程式設計信號處理設備上，使得在電腦或其他可程式設計設備上執行一系列操作步驟以產生電腦實現的處理，從而在電腦或其他可程式設計設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的步驟。
以上所述，僅為本公開的一些實施例而已，並非用於限定本公開的保護範圍。在不違背邏輯的情況下，本申請不同實施例之間可以相互結合，不同實施例描述有所側重，為側重描述的部分可以參見其他實施例的記載。
工業實用性
在本公開實施例的技術方案中，獲取當前幀對應的參考幀和當前幀的逆深度空間範圍；對當前幀和參考幀分別進行金字塔降採樣處理，獲得當前幀對應的k層當前圖像，以及參考幀對應的k層參考圖像；k為大於等於2的自然數；基於k層參考圖像和逆深度空間範圍，對k層當前圖 像進行逆深度估計反覆運算處理，獲得當前幀的逆深度估計結果。也就是說，本公開提供的技術方案，採取了對多層當前圖像結合多層參考圖像進行逆深度估計反覆運算處理，以逐層減少逆深度搜索空間，確定當前幀的逆深度估計結果，該逆深度估計結果為當前幀的像素點在相機坐標系下的z軸座標值的倒數，不需要額外進行座標變換，且逐層減少逆深度搜索空間有助於減少逆深度估計的計算量，提升估計速度，從而能夠即時獲得圖像的深度估計結果，且深度估計結果的精確度較高。
圖1代表圖為流程圖，無元件符號簡單說明。

Claims (13)

  1. 一種圖像深度估計方法，所述方法包括：
    獲取當前幀對應的參考幀和所述當前幀的逆深度空間範圍；
    對所述當前幀和所述參考幀分別進行金字塔降採樣處理，獲得所述當前幀對應的k層當前圖像，以及所述參考幀對應的k層參考圖像；k為大於等於2的自然數；
    基於所述k層參考圖像和所述逆深度空間範圍，對所述k層當前圖像進行逆深度估計反覆運算處理，獲得所述當前幀的逆深度估計結果。
  2. 根據請求項1所述的圖像深度估計方法，其中，所述獲取當前幀對應的參考幀，包括：
    獲取至少兩個待篩選幀；
    從所述至少兩個待篩選幀中，選取與所述當前幀之間滿足預設角度約束條件的至少一幀，將所述至少一幀作為所述參考幀。
  3. 根據請求項2所述的圖像深度估計方法，其中，所述預設角度約束條件包括：
    所述當前幀對應的位姿中心和所述參考幀對應的位姿中心，與目標點的連線形成的夾角處於第一預設角度範圍；所述目標點為所述當前幀對應的平均深度點與所述參考幀對應的平均深度點連線的中點；
    所述當前幀和所述參考幀對應的光軸夾角處於第二預設角度範圍；
    所述當前幀和所述參考幀對應的縱軸夾角處於第三預設角度範圍。
  4. 根據請求項1至3任一項所述的圖像深度估計方法，其中，所述基於所述k層參考圖像和所述逆深度空間範圍，對所述k層當前圖像進行逆深度估計反覆運算處理，獲得所述當前幀的逆深度估計結果，包括：
    基於所述k層當前圖像和所述逆深度空間範圍，確定第i層採樣點中每一個採樣點對應的逆深度候選值；所述第i層採樣點為對所述k層當前圖像中第i層當前圖像採樣獲得的像素點，i為大於等於1且小於等於k的自然數；
    根據所述第i層採樣點中每一個採樣點對應的逆深度候選值和所述k層參考圖像中第i層參考圖像，確定所述第i層採樣點中每一個採樣點的逆深度值，獲得第i層逆深度值；
    令i=i+1，繼續對所述k層當前圖像中解析度高於所述第i層當前圖像的第i+1層當前圖像進行逆深度估計，直至i=k為止，獲得第k層逆深度值；
    將所述第k層逆深度值確定為所述逆深度估計結果。
  5. 根據請求項4所述的圖像深度估計方法，其中，所述基於所述k層當前圖像和所述逆深度空間範圍，確定第i層採樣點中每一個採樣點對應的逆深度候選值，包括：
    對所述逆深度空間範圍進行區間劃分，並在每個劃分區間中選擇一個逆深度值，得到多個初始逆深度值；
    將所述多個初始逆深度值確定為第1層採樣點中每一個採樣點對應的逆深度候選值；
    在i不等於1的情況下，從所述k層當前圖像中獲取第i-1層採樣點，以及第i-1層逆深度值；
    基於所述第i-1層逆深度值、第i-1層採樣點，以及所述多個初始逆深度值，確定所述第i層採樣點中每一個採樣點對應的逆深度候選值。
  6. 根據請求項5所述的圖像深度估計方法，其中，所述基於所述第i-1層逆深度估計值、第i-1層採樣點，以及所述多個初始逆深度值，確定所述第i層採樣點中每一個採樣點對應的逆深度候選值，包括：
    從所述第i-1層採樣點中確定與第一採樣點距離最近的第二採樣點，以及與所述第二採樣點相鄰的至少兩個第三採樣點；所述第一採樣點為所述第i層採樣點中任意一個採樣點；
    根據所述第i-1層逆深度值，獲取所述至少兩個第三採樣點中每一個採樣點的逆深度值，以及所述第二採樣點的逆深度值，得到至少三個逆深度值；
    從所述至少三個逆深度值中，確定最大逆深度值和最小逆深度值；
    從所述多個初始逆深度值中，選取處於所述最大逆深度值和所述最小逆深度值範圍內的逆深度值，將選取 出的逆深度值確定為所述第一採樣點對應的逆深度候選值；
    繼續確定所述第i層採樣點中非所述第一採樣點的採樣點對應的逆深度候選值，直至確定出所述第i層採樣點中每一個採樣點對應的逆深度候選值。
  7. 根據請求項4所述的圖像深度估計方法，其中，所述根據所述第i層採樣點中每一個採樣點對應的逆深度候選值和所述k層參考圖像中第i層參考圖像，確定所述第i層採樣點中每一個採樣點的逆深度值，獲得第i層逆深度值，包括：
    對所述第i層採樣點中每一個採樣點，分別按照對應的逆深度候選值中的每一個逆深度值，將所述第i層採樣點中每一個採樣點投影到所述第i層參考圖像中，獲得所述第i層採樣點中每一個採樣點對應的第i層投影點；
    根據所述第i層採樣點和所述第i層投影點進行塊匹配，獲得所述第i層採樣點中每一個採樣點對應的第i層匹配結果；
    根據所述第i層匹配結果，確定所述第i層採樣點中每一個採樣點的逆深度值，獲得所述第i層逆深度值。
  8. 根據請求項7所述的圖像深度估計方法，其中，所述根據所述第i層採樣點和所述第i層投影點進行塊匹配，獲得所述第i層採樣點中每一個採樣點對應 的第i層匹配結果，包括：
    利用預設視窗，從所述第i層當前圖像中選取以待匹配採樣點為中心的第一圖像塊，並從所述第i層參考圖像中選取以所述待匹配採樣點對應的第i層投影點中的每一個投影點分別為中心的多個第二圖像塊；所述待匹配採樣點為所述第i層採樣點中任意一個採樣點；
    將所述第一圖像塊分別與所述多個第二圖像塊中每一個圖像塊進行比較，獲得多個匹配結果，並將所述多個匹配結果確定為所述待匹配採樣點對應的第i層匹配結果；
    繼續確定所述第i層採樣點中與所述待匹配採樣點不同的採樣點對應的第i層匹配結果，直至獲得所述第i層採樣點中每一個採樣點對應的第i層匹配結果。
  9. 根據請求項7所述的圖像深度估計方法，其中，所述根據所述第i層匹配結果，確定所述第i層採樣點中每一個採樣點的逆深度值，獲得所述第i層逆深度值，包括：
    從目標採樣點對應的第i層匹配結果中選取出目標匹配結果；所述目標採樣點為所述第i層採樣點中任意一個採樣點；
    將所述目標採樣點對應的第i層投影點中，所述目標匹配結果對應的投影點確定為目標投影點；
    將所述逆深度候選值中，所述目標投影點對應的逆深度值確定為所述目標採樣點的逆深度值；
    繼續確定所述第i層採樣點中與所述目標採樣點不同的採樣點的逆深度值，直至確定出所述第i層採樣點中每一個採樣點的逆深度值，獲得所述第i層逆深度值。
  10. 根據請求項4所述的圖像深度估計方法，其中，所述獲得第k層逆深度值之後，所述方法還包括：
    對所述第k層逆深度值進行插值優化，獲得優化後的第k層逆深度值；
    將所述優化後的第k層逆深度值確定為所述逆深度估計結果。
  11. 根據請求項10所述的圖像深度估計方法，其中，所述對所述第k層逆深度值進行插值優化，獲得優化後的第k層逆深度值，包括：
    對所述第k層逆深度值中每一個逆深度值，分別從第k層採樣點中對應的採樣點的候選逆深度值中，選取所述逆深度值的相鄰逆深度值；所述第k層採樣點為對所述k層當前圖像中第k層當前圖像採樣獲得的像素點；
    獲取所述相鄰逆深度值對應的匹配結果；
    基於所述相鄰逆深度值和所述相鄰逆深度值對應的匹配結果，對所述第k層逆深度值中的每一個逆深度值進行插值優化，獲得所述優化後的第k層逆深度值。
  12. 一種電子設備，所述電子設備包括：處理器、記憶體和通信匯流排；其中：
    所述通信匯流排，配置為實現所述處理器和所述記憶體之間的連接通信；
    所述處理器，配置為執行所述記憶體中儲存的圖像深度估計程式，以實現請求項1至11任一項所述的圖像深度估計方法。
  13. 一種電腦可讀儲存介質，所述電腦可讀儲存介質儲存有一個或者多個程式，所述一個或者多個程式可以被一個或者多個處理器執行，以實現請求項1至11任一項所述的圖像深度估計方法。
TW109102630A 2019-07-10 2020-01-22 一種圖像深度估計方法、電子設備、儲存介質 TWI738196B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910621318.4 2019-07-10
CN201910621318.4A CN112215880B (zh) 2019-07-10 2019-07-10 一种图像深度估计方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
TW202103106A true TW202103106A (zh) 2021-01-16
TWI738196B TWI738196B (zh) 2021-09-01

Family

ID=74047542

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109102630A TWI738196B (zh) 2019-07-10 2020-01-22 一種圖像深度估計方法、電子設備、儲存介質

Country Status (7)

Country Link
US (1) US20210350559A1 (zh)
JP (1) JP7116262B2 (zh)
KR (1) KR20210089737A (zh)
CN (1) CN112215880B (zh)
SG (1) SG11202108201RA (zh)
TW (1) TWI738196B (zh)
WO (1) WO2021003807A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI817594B (zh) * 2022-07-04 2023-10-01 鴻海精密工業股份有限公司 圖像深度識別方法、電腦設備及儲存介質

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11688090B2 (en) 2021-03-16 2023-06-27 Toyota Research Institute, Inc. Shared median-scaling metric for multi-camera self-supervised depth evaluation
CN113313742A (zh) * 2021-05-06 2021-08-27 Oppo广东移动通信有限公司 图像深度估计方法、装置、电子设备及计算机存储介质
CN116129036B (zh) * 2022-12-02 2023-08-29 中国传媒大学 一种深度信息引导的全方向图像三维结构自动恢复方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6487304B1 (en) * 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
US7889905B2 (en) * 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
GB2506338A (en) * 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
US9576183B2 (en) * 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
US9519972B2 (en) * 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
CN105007495B (zh) * 2015-08-20 2018-07-20 上海玮舟微电子科技有限公司 一种基于多层3drs的差异估计方法及装置
US11037361B2 (en) * 2016-08-19 2021-06-15 Movidius Ltd. Path planning using sparse volumetric data
TWI756365B (zh) * 2017-02-15 2022-03-01 美商脫其泰有限責任公司 圖像分析系統及相關方法
CN108010081B (zh) * 2017-12-01 2021-12-17 中山大学 一种基于Census变换和局部图优化的RGB-D视觉里程计方法
CN108520554B (zh) * 2018-04-12 2022-05-10 无锡信捷电气股份有限公司 一种基于orb-slam2的双目三维稠密建图方法
CN108648274B (zh) * 2018-05-10 2020-05-22 华南理工大学 一种视觉slam的认知点云地图创建系统
CN109993113B (zh) * 2019-03-29 2023-05-02 东北大学 一种基于rgb-d和imu信息融合的位姿估计方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI817594B (zh) * 2022-07-04 2023-10-01 鴻海精密工業股份有限公司 圖像深度識別方法、電腦設備及儲存介質

Also Published As

Publication number Publication date
TWI738196B (zh) 2021-09-01
KR20210089737A (ko) 2021-07-16
WO2021003807A1 (zh) 2021-01-14
CN112215880A (zh) 2021-01-12
CN112215880B (zh) 2022-05-06
SG11202108201RA (en) 2021-09-29
JP7116262B2 (ja) 2022-08-09
JP2022515517A (ja) 2022-02-18
US20210350559A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
TWI738196B (zh) 一種圖像深度估計方法、電子設備、儲存介質
CN110868541B (zh) 视场融合方法及装置、存储介质、终端
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
CN113643414B (zh) 一种三维图像生成方法、装置、电子设备及存储介质
CN112862897B (zh) 一种基于相位移编码圆的相机离焦状态下的快速标定方法
CN111311667B (zh) 一种内容自适应双目匹配方法和装置
CN109495733B (zh) 三维影像重建方法、装置及其非暂态电脑可读取储存媒体
US10154241B2 (en) Depth map based perspective correction in digital photos
CN115690382A (zh) 深度学习模型的训练方法、生成全景图的方法和装置
US10354399B2 (en) Multi-view back-projection to a light-field
CN114882106A (zh) 位姿确定方法和装置、设备、介质
Zhao et al. Three‐dimensional face modeling technology based on 5G virtual reality binocular stereo vision
CN117196955A (zh) 一种全景图像拼接方法及终端
JP2016070884A (ja) 映像データ処理方法、映像データ処理装置及び映像データ処理プログラム
CN114119701A (zh) 图像处理方法及其装置
CN113436247A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN113034345B (zh) 一种基于sfm重建的人脸识别方法及系统
WO2020146965A1 (zh) 图像重新聚焦的控制方法及系统
CN114494612A (zh) 构建点云地图的方法、装置和设备
CN112767484B (zh) 定位模型的融合方法、定位方法、电子装置
CN111524087B (zh) 图像处理方法及装置、存储介质、终端
CN117409149A (zh) 基于立体约束的光束法平差方程的三维建模方法及系统
CN114299129A (zh) 深度恢复方法、电子设备和计算机可读存储介质
CN116248850A (zh) 基于焦距金字塔网络的复眼相机三维成像方法及装置
CN115423930A (zh) 一种图像采集方法及电子设备