TW202008310A - 雙目圖像的深度估計方法及裝置、設備、程式及介質 - Google Patents

雙目圖像的深度估計方法及裝置、設備、程式及介質 Download PDF

Info

Publication number
TW202008310A
TW202008310A TW108126234A TW108126234A TW202008310A TW 202008310 A TW202008310 A TW 202008310A TW 108126234 A TW108126234 A TW 108126234A TW 108126234 A TW108126234 A TW 108126234A TW 202008310 A TW202008310 A TW 202008310A
Authority
TW
Taiwan
Prior art keywords
image
confidence
pixel
parallax image
neural network
Prior art date
Application number
TW108126234A
Other languages
English (en)
Other versions
TWI721510B (zh
Inventor
肖瑞超
孫文秀
楊成熙
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202008310A publication Critical patent/TW202008310A/zh
Application granted granted Critical
Publication of TWI721510B publication Critical patent/TWI721510B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本發明實施例公開了一種雙目圖像的深度估計方法及裝置、設備、程式及介質，其中，方法包括：將待處理雙目圖像輸入預定神經網路，得到視差圖像及其置信度圖像，其中，所述視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係；根據所述視差圖像得到所述待處理雙目圖像的深度圖像。本發明實施例可以在得到視差圖像的同時得到對應的置信度圖像，利用置信度圖像來對視差圖像進行檢測，從而獲得更加精確的深度圖像。

Description

雙目圖像的深度估計方法及裝置、設 備、程式及介質
本發明涉及電腦視覺技術，尤其是一種雙目圖像的深度估計方法及裝置、電子設備、電腦程式及儲存介質。
隨著機器學習技術的發展，深度學習網路已經應用于眾多現實場景中，例如自動駕駛等。在這些應用中，預測結果是十分重要的，特別是在基於深度學習的回歸任務中，例如雙目立體匹配，通常預測結果都被假設為準確的。然而這樣的假設並不夠合理，若預測錯誤的像素出現在十分重要的區域，例如：比較細小的障礙物，可能會造成基於深度學習的避讓系統失靈。另外，將這些深度學習網路部署於其他場景中時也有可能出現較差甚至不合理的結果。
本發明實施例提供一種雙目圖像的深度估計方案。
根據本發明實施例的一個方面，提供一種雙目圖像的深度估計方法，包括：將待處理雙目圖像輸入預定神經網路，得到視差圖像及其置信度圖像，其中，所述視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係；根據所述視差圖像得到所述待處理雙目圖像的深度圖像。
可選地，在本發明上述方法實施例中，所述將待處理雙目圖像輸入預定神經網路，得到置信度圖像，包括：將所述待處理雙目圖像經過雙目立體匹配神經網路後，依次經過兩個卷積層和一個歸一化層得到所述置信度圖像。
可選地，在本發明上述任一方法實施例中，還包括：利用損失函數訓練所述預定神經網路，其中，所述損失函數由所述視差圖像中各像素的置信度及該像素在所述預設分佈的離散參數計算得到。
可選地，在本發明上述任一方法實施例中，所述損失函數包括：正則化項和調整所述視差圖像中各像素在所述損失函數中的權重的聚焦損失項。
可選地，在本發明上述任一方法實施例中，所述正則化項包括：與置信度相關的正則化項和與預定神經網路參數相關的正則化項。
可選地，在本發明上述任一方法實施例中，所述損失函數由所述視差圖像中各像素的置信度及該像素在所述預設分佈的離散參數計算得到，包括：基於所述視差圖像及其所述置信度圖像、所述預定神經網路參數和真實視差圖像，得到關於所述預定神經網路參數的似然函數；基於所述視差圖像中各像素服從的所述預設分佈，得到所述視差圖像中各像素的置信度與該像素在所述預設分佈的離散參數之間的負相關關係；基於所述視差圖像中各像素的置信度與該像素在所述預設分佈的離散參數之間的負相關關係，所述預定神經網路參數服從所述預設分佈，所述視差圖像中各像素的置信度服從非遞減的分佈，對所述似然函數取負對數，得到所述損失函數。
可選地，在本發明上述任一方法實施例中，所述預設分佈包括拉普拉斯分佈或者高斯分佈。
可選地，在本發明上述任一方法實施例中，回應於所述預設分佈為拉普拉斯分佈的情況，所述損失函數包括：由所述視差圖像與真實視差圖像中各像素的視差值的差值的絕對值與該像素的置信度的比值的平均值得到的聚焦損失項，由所述視差圖像中各像素的置信 度的平均值得到的正則化項，和由所述預定神經網路參數得到的正則化項。
可選地，在本發明上述任一方法實施例中，回應於預設分佈為高斯分佈的情況，所述損失函數包括：由所述視差圖像與真實視差圖像中各像素的視差值的差值的平方與該像素的置信度的比值的平均值得到的聚焦損失項，由所述視差圖像中各像素的置信度的平均值得到的正則化項，和由所述預定神經網路參數得到的正則化項。
根據本發明實施例的另一個方面，提供一種雙目圖像的深度估計裝置，包括：視差圖像獲取單元，用於將待處理雙目圖像輸入預定神經網路，得到視差圖像及其置信度圖像，其中，所述視差圖像中各像素在預設分佈的的離散參數與該像素的置信度呈負相關關係；深度圖像獲取單元，用於根據所述視差圖像得到所述待處理雙目圖像的深度圖像。
可選地，在本發明上述裝置實施例中，所述視差圖像獲取單元，用於將所述待處理雙目圖像經過雙目立體匹配神經網路後，依次經過兩個卷積層和一個歸一化層得到所述置信度圖像。
可選地，在本發明上述任一裝置實施例中，還包括： 神經網路訓練單元，用於利用損失函數訓練所述預定神經網路，其中，所述損失函數由所述視差圖像中各像素的置信度及該像素在所述預設分佈的離散參數計算得到。
可選地，在本發明上述任一裝置實施例中，所述損失函數包括：正則化項和調整所述視差圖像中各像素在所述損失函數中的權重的聚焦損失項。
可選地，在本發明上述任一裝置實施例中，所述正則化項包括：與置信度相關的正則化項和與預定神經網路參數相關的正則化項。
可選地，在本發明上述任一裝置實施例中，所述神經網路訓練單元，包括：損失函數獲得模組；所述損失函數獲得模組，用於基於所述視差圖像及其所述置信度圖像、所述預定神經網路參數和真實視差圖像，得到關於所述預定神經網路參數的似然函數；基於所述視差圖像中各像素服從的所述預設分佈，得到所述視差圖像中各像素的置信度與該像素在所述預設分佈的離散參數之間的負相關關係；以及基於所述視差圖像中各像素的置信度與該像素在所述預設分佈的離散參數之間的負相關關係，所述預定神經網路參數服從所述預設分佈，所述視差圖像中各像素的置信度服從非遞減的分佈，對所述似然函數取負對數，得到所述損失函數。
可選地，在本發明上述任一裝置實施例中，所述預設分佈包括拉普拉斯分佈或者高斯分佈。
可選地，在本發明上述任一裝置實施例中，回應於預設分佈為拉普拉斯分佈的情況，所述損失函數包括：由所述視差圖像與真實視差圖像中各像素的視差值的差值的絕對值與該像素的置信度的比值的平均值得到的聚焦損失項，由所述視差圖像中各像素的置信度的平均值得到的正則化項，和由所述預定神經網路參數得到的正則化項。
可選地，在本發明上述任一裝置實施例中，回應於預設分佈為高斯分佈的情況，所述損失函數包括：由所述視差圖像與真實視差圖像中各像素的視差值的差值的平方與該像素的置信度的比值的平均值得到的聚焦損失項，由所述視差圖像中各像素的置信度的平均值得到的正則化項，和由所述預定神經網路參數得到的正則化項。根據本發明實施例的又一個方面，提供的一種電子設備，包括上述任一實施例所述的裝置。
根據本發明實施例的再一個方面，提供的一種電子設備，包括：記憶體，用於儲存可執行指令；以及處理器，用於執行所述可執行指令從而完成上述任一實施例所述的方法。
根據本發明實施例的再一個方面，提供的一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在設備上運行時，所述設備中的處理器執行用於實現上述任一實施例所述方法的指令。
根據本發明實施例的再一個方面，提供的一種電腦儲存介質，用於儲存電腦可讀指令，所述指令被執行時實現上述任一實施例所述的方法。
基於本發明上述實施例提供的雙目圖像的深度估計方法及裝置、電子設備、電腦程式及儲存介質，通過將待處理雙目圖像輸入預定神經網路，得到視差圖像及其置信度圖像，其中視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係，然後根據視差圖像得到待處理雙目圖像的深度圖像，利用預定神經網路在得到視差圖像的同時得到對應的置信度圖像，可以通過無監督的學習方式得到視差圖像對應的置信度圖像，而不需要置信度標注作為監督，由於置信度具有物理意義，即視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係，因此可以利用置信度圖像來檢測視差圖像中可能出現錯誤的區域，說明分析視差圖像，得到更加精確的深度圖像。
下面通過附圖和實施例，對本發明的技術方案做進一步的詳細描述。
310‧‧‧視差圖像獲取單元
320‧‧‧深度圖像獲取單元
400‧‧‧電子設備
401‧‧‧中央處理單元(CPU)
402‧‧‧唯讀記憶體(ROM)
403‧‧‧隨機訪問記憶體
404‧‧‧匯流排
405‧‧‧I/O介面
406‧‧‧輸入部分
407‧‧‧輸出部分
408‧‧‧儲存部分
409‧‧‧通信部分
410‧‧‧驅動器
411‧‧‧可拆卸介質
412‧‧‧通信部
413‧‧‧影像處理器(GPU)
構成說明書的一部分的附圖描述了本發明的實施例，並且連同描述一起用於解釋本發明的原理。
參照附圖，根據下面的詳細描述，可以更加清楚地理解本發明，其中：圖1為本發明一些實施例的雙目圖像的深度估計方法的流程圖；圖2為本發明一些實施例的獲得包含置信度的損失函數的流程圖；圖3為本發明一些實施例的雙目圖像的深度估計裝置的結構示意圖；圖4為本發明一些實施例提供的電子設備的結構示意圖。
現在將參照附圖來詳細描述本發明的各種示例性實施例。應注意到：除非另外具體說明，否則在這些實施例中闡述的部件和步驟的相對佈置、數位運算式和數值不限制本發明的範圍。
同時，應當明白，為了便於描述，附圖中所示出的各個部分的尺寸並不是按照實際的比例關係繪製的。
以下對至少一個示例性實施例的描述實際上僅僅是說明性的，決不作為對本發明及其應用或使用的任何限制。
對於相關領域普通技術人員已知的技術、方法和設備可能不作詳細討論，但在適當情況下，所述技術、方法和設備應當被視為說明書的一部分。
應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨後的附圖中不需要對其進行進一步討論。
本發明實施例可以應用於電腦系統/伺服器，其可與眾多其它通用或專用計算系統環境或配置一起操作。適於與電腦系統/伺服器一起使用的眾所周知的計算系統、環境和/或配置的例子包括但不限於：個人電腦系統、伺服器電腦系統、瘦客戶機、厚客戶機、手持或膝上設備、基於微處理器的系統、機上盒、可程式設計消費電子產品、網路個人電腦、小型電腦系統、大型電腦系統和包括上述任何系統的分散式雲計算技術環境，等等。
電腦系統/伺服器可以在由電腦系統執行的電腦系統可執行指令(諸如程式模組)的一般語境下描述。通常，程式模組可以包括常式、程式、目的程式、元件、邏輯、資料結構等等，它們執行特定的任務或者實現特定的抽象資料類型。電腦系統/伺服器可以在分散式雲計算環境中實施，分散式雲計算環境中，任務是由通過通信網路連結的遠端處理設備執行的。在分散式雲計算環境中，程式模組可以位於包括存放裝置的本地或遠端計算系統儲存介質上。
圖1是本發明一些實施例的雙目圖像的深度估計方法的流程圖。如圖1所示，該方法包括：
102，將待處理雙目圖像輸入預定神經網路，得到視差圖像及其置信度圖像。
在本實施例中，待處理雙目圖像可以是從圖像採集設備直接獲取的圖像，例如：圖像採集設備為攝像機等，也可以從存放裝置獲取的預先儲存的圖像，例如：存放裝置為U盤等，還可以是通過網路從網站伺服器獲取的圖像，從本實施例對待處理雙目圖像的獲得方式不作限定。將待處理雙目圖像的左視圖和右視圖，或者待處理雙目圖像的上視圖和下視圖輸入預定神經網路，得到視差圖像及其置信度圖像。左視圖、右視圖、上視圖和下視圖為相對的兩個視圖，具體還可以為其他稱謂，本實施例不做具體限定，在後續的實施例中採用左視圖、右視圖來描述。視差圖像可以是以左視圖為基準得到的左視圖對應的視差圖像，也可以是以右視圖為基準得到的右視圖對應的視差圖像，本實施例對此不作限定。置信度圖像可以是基於視差圖像獲得反應視差圖像中各像素的置信度的圖像，其中，視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係，離散參數包括但不限於標準差參數。
在本實施例中，預定神經網路可以是在對待處理雙目圖像的左視圖和右視圖進行處理之前，預先確定的神經網路，此時通過預定神經網路可以獲得需要的視差圖 像，預定神經網路也可以是在對待處理雙目圖像的左視圖和右視圖進行處理之前，預先訓練的神經網路，此時待處理雙目圖像的左視圖和右視圖可以是從訓練資料集中獲取的圖像，可以通過待處理雙目圖像的左視圖和右視圖對預定神經網路進行訓練。
在一個可選的例子中，預定神經網路可以包括：雙目立體匹配神經網路、兩個卷積層和一個歸一化(Sigmoid)層，可以將待處理雙目圖像的左視圖和右視圖經過雙目立體匹配神經網路後，依次經過兩個卷積層和一個歸一化層得到置信度圖像。本實施例對獲得置信度圖像的網路結構不作限定。
104，根據視差圖像得到待處理雙目圖像的深度圖像。
可選地，在獲得待處理雙目圖像的視差圖像後，可以根據相機成像的投影模型，通過深度資訊與視差資訊的幾何運算關係，獲得待處理雙目圖像的深度圖像，本實施例對根據視差圖像獲得深度圖像的方法不作限定。
本實施例提供的雙目圖像的深度估計方法，通過將待處理雙目圖像的左視圖和右視圖輸入預定神經網路，得到視差圖像及其置信度圖像，其中視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係，然後根據視差圖像得到待處理雙目圖像的深度圖像，利用預定神經網路在得到視差圖像的同時得到對應的置信度圖像，可以通過無監督的學習方式得到視差圖 像對應的置信度圖像，而不需要置信度標注作為監督，由於置信度具有物理意義，即視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係，因此可以利用置信度圖像來檢測視差圖像中可能出現錯誤的區域，說明分析視差圖像，得到更加精確的深度圖像。
在一些實施例中，可以利用損失函數訓練預定神經網路，其中，損失函數可以由視差圖像中各像素的置信度及該像素在預設分佈的離散參數計算得到，即根據置信度的物理意義：視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係，可以得到包含置信度的損失函數，利用損失函數中的置信度可以優化損失函數，使利用該損失函數訓練得到的預定神經網路具有更好的魯棒性。
可選地，損失函數可以包括：聚焦損失項和正則化項，其中，聚焦損失項可以通過置信度自動調整視差圖像中各像素在損失函數中的權重，使視差圖像中置信度較高的像素具有較大的權重，視差圖像中置信度較低的像素具有較小的權重，從而可以將學習得到的置信度同步應用到預定神經網路的訓練過程中，減小輸入資料中的雜訊帶來的影響，例如：輸入資料中的雜訊為待處理雙目圖像中被遮擋的區域等，使預定神經網路可以收斂於更優的階段，具有更好的魯棒性。
可選地，損失函數中的正則化項可以包括：與置信度相關的正則化項和與預定神經網路參數相關的正則化 項，其中，與置信度相關的正則化項可以使視差圖像中置信度較低的像素的損失權重不會過小，從而保證訓練的效率，與預定神經網路參數相關的正則化項，也成為權重正則化項，可以防止在訓練過程中預定神經網路過擬合。
圖2為本發明一些實施例的獲得包含置信度的損失函數的流程圖。如圖2所示，該方法包括：
202，基於待處理雙目圖像的視差圖像及其置信度圖像、預定神經網路參數和真實視差圖像，得到關於預定神經網路參數的似然函數。
可選地，可以基於待處理雙目圖像的視差圖像及其置信度圖像、預定神經網路參數和真實視差圖像，根據貝葉斯概率論得到關於預定神經網路參數的似然函數。
204，基於視差圖像中各像素服從的預設分佈，得到視差圖像中各像素的置信度與該像素在預設分佈的離散參數之間的負相關關係。
可選地，可以通過使視差圖像中的各像素服從不同標準差的預設分佈，得到視差圖像中各像素的置信度與該像素在預設分佈的離散參數之間的負相關關係。
206，基於視差圖像中各像素的置信度與該像素在預設分佈的離散參數之間的負相關關係，預定神經網路參數服從預設分佈，視差圖像中各像素的置信度服從非遞減的分佈，對似然函數取負對數，得到損失函數。
可選地，預定神經網路參數可以服從均值為零、標準差為1的預設分佈。
可選地，預設分佈可以為拉普拉斯分佈或者高斯分佈。
在一些實施例中，回應於預設分佈為拉普拉斯分佈的情況，損失函數包括：由待處理雙目圖像的視差圖像與真實視差圖像中各像素的視差值的差值的絕對值與該像素的置信度的比值的平均值得到的聚焦損失項，由視差圖像中各像素的置信度的平均值得到的正則化項，和由預定神經網路參數得到的正則化項。
其中，根據貝葉斯概率論，基於待處理雙目圖像的視差圖像及其置信度圖像、預定神經網路參數和真實視差圖像，得到關於預定神經網路參數的似然函數為：
Figure 108126234-A0101-12-0014-1
其中，x={x1，x2，...，xT}為待處理雙目圖像，y={y 1，y 2，...，y N}為真實視差圖像，其中T和N分別為待處理雙目圖像和真實視差圖像中的像素數量，w為預定神經網路的參數，c={c 1，c 2，...，c N}為置信度圖像。
根據視差圖像中各像素服從不同標準差的拉普拉斯分佈：
Figure 108126234-A0101-12-0015-2
得到視差圖像中各像素的置信度與該像素在拉普拉斯分佈的離散參數之間的負相關關係為：b i =f(c i )=-kc i +a (公式三)
其中，b={b 1，b 2，...，b N}為不同標準差的拉普拉斯分佈，b i 為拉普拉斯分佈的標準差參數，即離散參數，c i
Figure 108126234-A0101-12-0015-15
[0,1]作為一個隨機變數，以b i 與c i 的線性遞減函數表示負相關關係，k和a為滿足a
Figure 108126234-A0101-12-0015-16
k+1的兩個正常數，使得總是滿足b i
Figure 108126234-A0101-12-0015-17
1。
根據預定神經網路參數服從均值為零、標準差為1的拉普拉斯分佈：P(w|x)
Figure 108126234-A0101-12-0015-18
e -|w| (公式四)
根據視差圖像中各像素的置信度服從非遞減的分佈，其中γ
Figure 108126234-A0101-12-0015-19
0：
Figure 108126234-A0101-12-0015-4
將公式二、公式三、公式四和公式五帶入公式一，對似然函數取負對數，得到損失函數：
Figure 108126234-A0101-12-0015-3
 (公式六)聚焦損失項 置信度正則化項 權重正則化項
在另一些實施例中，回應於預設分佈為高斯分佈的情況，損失函數包括：由待處理雙目圖像的視差圖像與真實標視差圖像中各像素的視差值的差值的平方與該像素的置信度的比值的平均值得到的聚焦損失項，由視差圖像中各像素的置信度的平均值得到的正則化項，和由預定神經網路參數得到的正則化項。
其中，根據貝葉斯概率論，基於待處理雙目圖像的視差圖像及其置信度圖像、預定神經網路參數和真實視差圖像，得到關於預定神經網路參數的似然函數為：
Figure 108126234-A0101-12-0016-5
其中，x={x1，x2，...，xT}為待處理雙目圖像，y={y 1，y 2，...，y N}為真實視差圖像，其中T和N分別為待處理雙目圖像和真實視差圖像中的像素數量，w為預定神經網路的參數，c={c 1，c 2，...，c N}為置信度圖像。
根據視差圖像中各像素服從不同標準差的高斯分佈：
Figure 108126234-A0101-12-0016-6
 (公式七)
得到視差圖像中各像素的置信度與該像素在高斯分佈的離散參數之間的負相關關係為：b i =f(c i )=-kc i +a (公式三)
其中，b={b 1，b 2，...，b N}為不同標準差的高斯分佈，b i 為高斯分佈的標準差參數，即離散參數，c i
Figure 108126234-A0101-12-0017-20
[0,1]作為一個隨機變數，以b i 與c i 的線性遞減函數表示負相關關係，k和a為滿足a
Figure 108126234-A0101-12-0017-21
k+1的兩個正常數，使得總是滿足b i
Figure 108126234-A0101-12-0017-22
1。
根據預定神經網路參數服從均值為零、標準差為1的高斯分佈：
Figure 108126234-A0101-12-0017-10
根據視差圖像中各像素的置信度服從非遞減的分佈，其中γ
Figure 108126234-A0101-12-0017-23
0：
Figure 108126234-A0101-12-0017-8
將公式七、公式三、公式八和公式五帶入公式一，對似然函數取負對數，得到損失函數：
Figure 108126234-A0101-12-0017-9
本發明上述各實施例的方法，可以應用於移動終端或者自動駕駛等設備的影像處理，其中，移動終端例如為手機、平板電腦等。
圖3是本發明一些實施例的雙目圖像的深度估計裝置的結構示意圖。
如圖3所示，該裝置包括：視差圖像獲取單元310和深度圖像獲取單元320。其中，視差圖像獲取單元310，用於將待處理雙目圖像輸入預定神經網路，得到視差圖像及其置信度圖像。
在本實施例中，待處理雙目圖像可以是從圖像採集設備直接獲取的圖像，例如：圖像採集設備為攝像機等，也可以從存放裝置獲取的預先儲存的圖像，例如：存放裝置為U盤等，還可以是通過網路從網站伺服器獲取的圖像，從本實施例對待處理雙目圖像的獲得方式不作限定。將待處理雙目圖像的左視圖和右視圖，或者待處理雙目圖像的上視圖和下視圖輸入預定神經網路，得到視差圖像及其置信度圖像。左視圖、右視圖、上視圖和下視圖為相對的兩個視圖，具體還可以為其他稱謂，本實施例不做具體限定，在後續的實施例中採用左視圖、右視圖來描述。視差圖像可以是以左視圖為基準得到的左視圖對應的視差圖像，也可以是以右視圖為基準得到的右視圖對應的視差圖像，本實施例對此不作限定。置信度圖像可以是基於視差圖像獲得反應視差圖像中各像素的置信度的圖像，其中，視差圖像中各像素在 預設分佈的離散參數與該像素的置信度呈負相關關係，離散參數包括但不限於標準差參數。
在本實施例中，預定神經網路可以是在對待處理雙目圖像的左視圖和右視圖進行處理之前，預先確定的神經網路，此時通過預定神經網路可以獲得需要的視差圖像，預定神經網路也可以是在對待處理雙目圖像的左視圖和右視圖進行處理之前，預先訓練的神經網路，此時待處理雙目圖像的左視圖和右視圖可以是從訓練資料集中獲取的圖像，可以通過待處理雙目圖像的左視圖和右視圖對預定神經網路進行訓練。
在一個可選的例子中，預定神經網路可以包括：雙目立體匹配神經網路、兩個卷積層和一個歸一化(Sigmoid)層，視差圖像獲取單元310可以將待處理雙目圖像的左視圖和右視圖經過雙目立體匹配神經網路後，依次經過兩個卷積層和一個歸一化層得到置信度圖像。本實施例對獲得置信度圖像的網路結構不作限定。
深度圖像獲取單元320，用於根據視差圖像得到待處理雙目圖像的深度圖像。
可選地，在獲得待處理雙目圖像的視差圖像後，可以根據相機成像的投影模型，通過深度資訊與視差資訊的幾何運算關係，獲得待處理雙目圖像的深度圖像，本實施例對根據視差圖像獲得深度圖像的方法不作限定。
本實施例提供的雙目圖像的深度估計裝置，通過將待處理雙目圖像的左視圖和右視圖輸入預定神經網路，得到視差圖像及其置信度圖像，其中視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係，然後根據視差圖像得到待處理雙目圖像的深度圖像，利用預定神經網路在得到視差圖像的同時得到對應的置信度圖像，可以通過無監督的學習方式得到視差圖像對應的置信度圖像，而不需要置信度標注作為監督，由於置信度具有物理意義，即視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係，因此可以利用置信度圖像來檢測視差圖像中可能出現錯誤的區域，說明分析視差圖像，得到更加精確的深度圖像。
在一些實施例中，雙目圖像的深度估計裝置還可以包括：神經網路訓練單元，用於利用損失函數訓練預定神經網路，其中，損失函數可以由視差像圖中各像素的置信度及該像素在預設分佈的離散參數計算得到，即根據置信度的物理意義：視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係，可以得到包含置信度的損失函數，利用損失函數中的置信度可以優化損失函數，使利用該損失函數訓練得到的預定神經網路具有更好的魯棒性。
可選地，損失函數可以包括：聚焦損失項和正則化項，其中，聚焦損失項可以通過置信度自動調整 視差圖像中各像素在損失函數中的權重，使視差像圖中置信度較高的像素具有較大的權重，視差圖像中置信度較低的像素具有較小的權重，從而可以將學習得到的置信度同步應用到預定神經網路的訓練過程中，減小輸入資料中的雜訊帶來的影響，例如：輸入資料中的雜訊為待處理雙目圖像中被遮擋的區域等，使預定神經網路可以收斂於更優的階段，具有更好的魯棒性。
可選地，損失函數中的正則化項可以包括：與置信度相關的正則化項和與預定神經網路參數相關的正則化項，其中，與置信度相關的正則化項可以使視差圖像中置信度較低的像素的損失權重不會過小，從而保證訓練的效率，與預定神經網路參數相關的正則化項，也成為權重正則化項，可以防止在訓練過程中預定神經網路過擬合。
可選地，神經網路訓練單元可以包括：損失函數獲得模組，用於獲得包含置信度的損失函數。
在一個可選的例子中，損失函數獲得模組，可以基於待處理雙目圖像的視差圖像及其置信度圖像、預定神經網路參數和真實視差圖像，得到關於預定神經網路參數的似然函數；基於視差圖像中各像素服從的預設分佈，得到視差圖像中各像素的置信度與該像素在預設分佈的離散參數之間的負相關關係；以及基於視差圖像中各像素的置信度與該像素在預設分佈的離散參數之間的負相關關係，預定神經網路參數服從預設分佈，視 差圖像中各像素的置信度服從非遞減的分佈，對似然函數取負對數，得到損失函數。
可選地，損失函數獲得模組可以基於待處理雙目圖像的視差圖像及其置信度圖像、預定神經網路參數和真實視差圖像，根據貝葉斯概率論得到關於預定神經網路參數的似然函數。
可選地，損失函數獲得模組可以通過使視差圖像中的各像素服從不同標準差的預設分佈，得到視差圖像中各像素的置信度與該像素在預設分佈的離散參數之間的負相關關係。
可選地，預定神經網路參數可以服從均值為零、標準差為1的預設分佈。
可選地，預設分佈可以為拉普拉斯分佈或者高斯分佈。
在一些實施例中，回應於預設分佈為拉普拉斯分佈的情況，損失函數包括：由待處理雙目圖像的視差圖像與真實視差圖像中各像素的視差值的差值的絕對值與該像素的置信度的比值的平均值得到的聚焦損失項，由視差圖像中各像素的置信度的平均值得到的正則化項，和由預定神經網路參數得到的正則化項。
在另一些實施例中，回應於預設分佈為高斯分佈的情況，損失函數包括：由待處理雙目圖像的視差圖像與真實視差圖像中各像素的視差值的差值的平方與該像素的置信度的比值的平均值得到的聚焦損失項，由 視差圖像中各像素的置信度的平均值得到的正則化項，和由預定神經網路參數得到的正則化項。
本發明實施例還提供了一種電子設備，例如可以是移動終端、個人電腦(PC)、平板電腦、伺服器等。下面參考圖4，其示出了適於用來實現本申請實施例的終端設備或伺服器的電子設備400的結構示意圖：如圖4所示，電子設備400包括一個或多個處理器、通信部等，所述一個或多個處理器例如：一個或多個中央處理單元(CPU)401，和/或一個或多個影像處理器(GPU)413等，處理器可以根據儲存在唯讀記憶體(ROM)402中的可執行指令或者從儲存部分408載入到隨機訪問記憶體(RAM)403中的可執行指令而執行各種適當的動作和處理。通信部412可包括但不限於網卡，所述網卡可包括但不限於IB(Infiniband)網卡，處理器可與唯讀記憶體402和/或隨機訪問記憶體403中通信以執行可執行指令，通過匯流排404與通信部412相連、並經通信部412與其他目標設備通信，從而完成本申請實施例提供的任一項方法對應的操作，例如，將待處理雙目圖像的左視圖和右視圖輸入預定神經網路，得到視差圖像及其置信度圖像，其中，所述視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係；根據所述視差圖像得到所述待處理雙目圖像的深度圖像。
此外，在RAM 403中，還可儲存有裝置操作所需的各種程式和資料。CPU401、ROM402以及 RAM403通過匯流排404彼此相連。在有RAM403的情況下，ROM402為可選模組。RAM403儲存可執行指令，或在運行時向ROM402中寫入可執行指令，可執行指令使中央處理單元401執行上述通信方法對應的操作。輸入/輸出(I/O)介面405也連接至匯流排404。通信部412可以集成設置，也可以設置為具有多個子模組(例如多個IB網卡)，並在匯流排連結上。
以下部件連接至I/O介面405：包括鍵盤、滑鼠等的輸入部分406；包括諸如陰極射線管(CRT)、液晶顯示器(LCD)等以及揚聲器等的輸出部分407；包括硬碟等的儲存部分408；以及包括諸如LAN卡、數據機等的網路介面卡的通信部分409。通信部分409經由諸如網際網路的網路執行通信處理。驅動器410也根據需要連接至I/O介面405。可拆卸介質411，諸如磁片、光碟、磁光碟、半導體記憶體等等，根據需要安裝在驅動器410上，以便於從其上讀出的電腦程式根據需要被安裝入儲存部分408。
需要說明的，如圖4所示的架構僅為一種可選實現方式，在具體實踐過程中，可根據實際需要對上述圖4的部件數量和類型進行選擇、刪減、增加或替換；在不同功能部件設置上，也可採用分離設置或集成設置等實現方式，例如GPU413和CPU401可分離設置或者可將GPU413集成在CPU401上，通信部可分離設置，也可 集成設置在CPU401或GPU413上，等等。這些可替換的實施方式均落入本發明公開的保護範圍。
特別地，根據本發明的實施例，上文參考流程圖描述的過程可以被實現為電腦軟體程式。例如，本發明的實施例包括一種電腦程式產品，其包括有形地包含在機器可讀介質上的電腦程式，電腦程式包含用於執行流程圖所示的方法的程式碼，程式碼可包括對應執行本申請實施例提供的方法步驟對應的指令，例如，將待處理雙目圖像的左視圖和右視圖輸入預定神經網路，得到視差圖像及其置信度圖像，其中，所述視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係；根據所述視差圖像得到所述待處理雙目圖像的深度圖像。在這樣的實施例中，該電腦程式可以通過通信部分409從網路上被下載和安裝，和/或從可拆卸介質411被安裝。在該電腦程式被中央處理單元(CPU)401執行時，執行本申請的方法中限定的上述功能。
在一個或多個可選實施方式中，本發明實施例還提供了一種電腦程式程式產品，用於儲存電腦可讀指令，該指令被執行時使得電腦執行上述任一可能的實現方式中的雙目圖像的深度估計方法。
該電腦程式產品可以具體通過硬體、軟體或其結合的方式實現。在一個可選例子中，該電腦程式產品具體體現為電腦儲存介質，在另一個可選例子中，該電 腦程式產品具體體現為軟體產品，例如軟體發展包(Software Development Kit，SDK)等等。
在一個或多個可選實施方式中，本發明實施例還提供了一種雙目圖像的深度估計方法及其對應的裝置、電子設備、電腦儲存介質、電腦程式以及電腦程式產品，其中，該方法包括：第一裝置向第二裝置發送基於雙目圖像的深度估計指示，該指示使得第二裝置執行上述任一可能的實施例中的雙目圖像的深度估計方法；第一裝置接收第二裝置發送的雙目圖像的深度估計的結果。
在一些實施例中，該雙目圖像的深度估計指示可以具體為調用指令，第一裝置可以通過調用的方式指示第二裝置執行雙目圖像的深度估計，相應地，回應於接收到調用指令，第二裝置可以執行上述雙目圖像的深度估計方法中的任意實施例中的步驟和/或流程。
應理解，本發明實施例中的“第一”、“第二”等術語僅僅是為了區分，而不應理解成對本發明實施例的限定。
還應理解，在本發明中，“多個”可以指兩個或兩個以上，“至少一個”可以指一個、兩個或兩個以上。
還應理解，對於本發明中提及的任一部件、資料或結構，在沒有明確限定或者在前後文給出相反啟示的情況下，一般可以理解為一個或多個。
還應理解，本發明對各個實施例的描述著重強調各個實施例之間的不同之處，其相同或相似之處可以相互參考，為了簡潔，不再一一贅述。
可能以許多方式來實現本發明的方法和裝置。例如，可通過軟體、硬體、固件或者軟體、硬體、固件的任何組合來實現本發明的方法和裝置。用於所述方法的步驟的上述順序僅是為了進行說明，本發明的方法的步驟不限於以上具體描述的順序，除非以其它方式特別說明。此外，在一些實施例中，還可將本發明實施為記錄在記錄介質中的程式，這些程式包括用於實現根據本發明的方法的機器可讀指令。因而，本發明還覆蓋儲存用於執行根據本發明的方法的程式的記錄介質。
本發明的描述是為了示例和描述起見而給出的，而並不是無遺漏的或者將本發明限於所公開的形式。很多修改和變化對於本領域的普通技術人員而言是顯然的。選擇和描述實施例是為了更好說明本發明的原理和實際應用，並且使本領域的普通技術人員能夠理解本發明從而設計適於特定用途的帶有各種修改的各種實施例。
102‧‧‧將待處理雙目圖像輸入預定神經網路，得到視差圖像及其置信度圖像
104‧‧‧根據視差圖像得到待處理雙目圖像的深度圖像

Claims (11)

  1. 一種雙目圖像的深度估計方法，包括：將待處理雙目圖像輸入預定神經網路，得到視差圖像及其置信度圖像，其中，所述視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係；根據所述視差圖像得到所述待處理雙目圖像的深度圖像。
  2. 根據請求項1所述的方法，其中，所述將待處理雙目圖像輸入預定神經網路，得到置信度圖像，包括：將所述待處理雙目圖像經過雙目立體匹配神經網路後，依次經過兩個卷積層和一個歸一化層得到所述置信度圖像。
  3. 根據請求項1或2所述的方法，還包括：利用損失函數訓練所述預定神經網路，其中，所述損失函數由所述視差圖像中各像素的置信度及該像素在所述預設分佈的離散參數計算得到。
  4. 根據請求項3所述的方法，其中，所述損失函數包括：正則化項和調整所述視差圖像中各像素在所述損失函數中的權重的聚焦損失項。
  5. 根據請求項4所述的方法，其中，所述正則化項包括：與置信度相關的正則化項和與預定神經網路參數相關的正則化項。
  6. 根據請求項3所述的方法，其中，所述損失函數由所述視差圖像中各像素的置信度及該像素在所述預設分佈的離散參數計算得到，包括：基於所述視差圖像及其所述置信度圖像、所述預定神經網路參數和真實視差圖像，得到關於所述預定神經網路參數的似然函數；基於所述視差圖像中各像素服從的所述預設分佈，得到所述視差圖像中各像素的置信度與該像素在所述預設分佈的離散參數之間的負相關關係；基於所述視差圖像中各像素的置信度與該像素在所述預設分佈的離散參數之間的負相關關係，所述預定神經網路參數服從所述預設分佈，所述視差圖像中各像素的置信度服從非遞減的分佈，對所述似然函數取負對數，得到所述損失函數。
  7. 根據請求項3所述的方法，其中，所述預設分佈包括拉普拉斯分佈或者高斯分佈。
  8. 根據請求項7所述的方法，其中，回應於所述預設分佈為拉普拉斯分佈的情況，所述損失函數包 括：由所述視差圖像與真實視差圖像中各像素的視差值的差值的絕對值與該像素的置信度的比值的平均值得到的聚焦損失項，由所述視差圖像中各像素的置信度的平均值得到的正則化項，和由所述預定神經網路參數得到的正則化項。
  9. 根據請求項7所述的方法，其中，回應於預設分佈為高斯分佈的情況，所述損失函數包括：由所述視差圖像與真實視差圖像中各像素的視差值的差值的平方與該像素的置信度的比值的平均值得到的聚焦損失項，由所述視差圖像中各像素的置信度的平均值得到的正則化項，和由所述預定神經網路參數得到的正則化項。
  10. 一種電子設備，包括：記憶體，用於儲存可執行指令；以及處理器，用於執行所述可執行指令從而完成請求項1至9中任意一項所述的方法。
  11. 一種電腦儲存介質，用於儲存電腦可讀取的指令，其特徵在於，所述指令被執行時實現請求項1至9中任意一項所述的方法。
TW108126234A 2018-07-27 2019-07-24 雙目圖像的深度估計方法、設備及儲存介質 TWI721510B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810847268.7 2018-07-27
CN201810847268.7A CN109191512B (zh) 2018-07-27 2018-07-27 双目图像的深度估计方法及装置、设备、程序及介质

Publications (2)

Publication Number Publication Date
TW202008310A true TW202008310A (zh) 2020-02-16
TWI721510B TWI721510B (zh) 2021-03-11

Family

ID=64937763

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108126234A TWI721510B (zh) 2018-07-27 2019-07-24 雙目圖像的深度估計方法、設備及儲存介質

Country Status (6)

Country Link
US (1) US11295466B2 (zh)
JP (1) JP7123133B2 (zh)
CN (1) CN109191512B (zh)
SG (1) SG11202003899WA (zh)
TW (1) TWI721510B (zh)
WO (1) WO2020019765A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI800828B (zh) * 2020-05-11 2023-05-01 美商尼安蒂克公司 用於自單目影像產生立體影像資料之電腦實施方法及電腦可讀儲存媒體

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191512B (zh) 2018-07-27 2020-10-30 深圳市商汤科技有限公司 双目图像的深度估计方法及装置、设备、程序及介质
CN113167269A (zh) * 2018-12-16 2021-07-23 森西亚有限责任公司 泵系统
CN109887019B (zh) * 2019-02-19 2022-05-24 北京市商汤科技开发有限公司 一种双目匹配方法及装置、设备和存储介质
CN111723926B (zh) * 2019-03-22 2023-09-12 北京地平线机器人技术研发有限公司 用于确定图像视差的神经网络模型的训练方法和训练装置
CN110148179A (zh) * 2019-04-19 2019-08-20 北京地平线机器人技术研发有限公司 一种训练用于估计图像视差图的神经网络模型方法、装置及介质
CN112116639B (zh) * 2020-09-08 2022-06-07 苏州浪潮智能科技有限公司 一种图像配准方法、装置及电子设备和存储介质
CN112634341B (zh) * 2020-12-24 2021-09-07 湖北工业大学 多视觉任务协同的深度估计模型的构建方法
JP7451456B2 (ja) 2021-03-22 2024-03-18 株式会社東芝 運動推定装置及びそれを用いた運動推定方法
WO2023047562A1 (ja) * 2021-09-27 2023-03-30 日本電気株式会社 学習装置、学習方法、及び、記録媒体
CN113706599B (zh) * 2021-10-29 2022-01-21 纽劢科技(上海)有限公司 一种基于伪标签融合的双目深度估计方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011054833A1 (de) * 2010-10-29 2012-05-03 Hoya Corp. Verfahren zum Messen der binokularen Sehleistung, Programm zum Messen der binokularen Sehleistung, Verfahren zum Entwerfen von Brillengläsern und Verfahren zur Herstellung von Brillengläsern
EP2509324A1 (en) * 2011-04-08 2012-10-10 Thomson Licensing Method and apparatus for analyzing stereoscopic or multi-view images
JP2012253666A (ja) 2011-06-06 2012-12-20 Sony Corp 画像理装置および方法、並びにプログラム
JP2013005259A (ja) * 2011-06-17 2013-01-07 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5367034B2 (ja) * 2011-08-24 2013-12-11 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
EP2774380B1 (en) * 2011-11-02 2019-05-22 Intuitive Surgical Operations, Inc. Method and system for stereo gaze tracking
CN102523464A (zh) * 2011-12-12 2012-06-27 上海大学 一种双目立体视频的深度图像估计方法
CN102609936A (zh) * 2012-01-10 2012-07-25 四川长虹电器股份有限公司 基于置信度传播的图像立体匹配方法
CN103424105B (zh) * 2012-05-16 2016-02-10 株式会社理光 对象检测方法和装置
CN104662589B (zh) * 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
WO2014037603A1 (en) * 2012-09-06 2014-03-13 Nokia Corporation An apparatus, a method and a computer program for image processing
JP2014078095A (ja) * 2012-10-10 2014-05-01 Sony Corp 画像処理装置、画像処理方法、及びプログラム
US9519972B2 (en) * 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
CN105096300B (zh) * 2014-05-08 2018-06-12 株式会社理光 对象检测方法和设备
TWI608447B (zh) * 2015-09-25 2017-12-11 台達電子工業股份有限公司 立體影像深度圖產生裝置及方法
US10482313B2 (en) * 2015-09-30 2019-11-19 Siemens Healthcare Gmbh Method and system for classification of endoscopic images using deep decision networks
US9881234B2 (en) * 2015-11-25 2018-01-30 Baidu Usa Llc. Systems and methods for end-to-end object detection
JP6769477B2 (ja) * 2016-03-10 2020-10-14 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US10841491B2 (en) * 2016-03-16 2020-11-17 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging
US10482633B2 (en) * 2016-09-12 2019-11-19 Zebra Medical Vision Ltd. Systems and methods for automated detection of an indication of malignancy in a mammographic image
WO2018057714A1 (en) * 2016-09-21 2018-03-29 The General Hospital Corporation Systems, methods and media for automatically generating a bone age assessment from a radiograph
US10003768B2 (en) * 2016-09-28 2018-06-19 Gopro, Inc. Apparatus and methods for frame interpolation based on spatial considerations
US10003787B1 (en) * 2016-12-21 2018-06-19 Canon Kabushiki Kaisha Method, system and apparatus for refining a depth map
CN106683182B (zh) * 2017-01-12 2019-09-20 南京大学 一种权衡立体匹配和视觉外形的三维重建方法
US10580131B2 (en) * 2017-02-23 2020-03-03 Zebra Medical Vision Ltd. Convolutional neural network for segmentation of medical anatomical images
US11835524B2 (en) * 2017-03-06 2023-12-05 University Of Southern California Machine learning for digital pathology
US10616482B2 (en) * 2017-03-10 2020-04-07 Gopro, Inc. Image quality assessment
CN110574050A (zh) * 2017-05-31 2019-12-13 英特尔公司 用于基于四元数的机器学习系统的基于梯度的训练引擎
WO2019024568A1 (zh) * 2017-08-02 2019-02-07 上海市第六人民医院 眼底图像处理方法、装置、计算机设备和存储介质
US10970425B2 (en) * 2017-12-26 2021-04-06 Seiko Epson Corporation Object detection and tracking
US11087130B2 (en) * 2017-12-29 2021-08-10 RetailNext, Inc. Simultaneous object localization and attribute classification using multitask deep neural networks
CN108269273B (zh) * 2018-02-12 2021-07-27 福州大学 一种全景纵向漫游中极线匹配的置信传播方法
US10956714B2 (en) * 2018-05-18 2021-03-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting living body, electronic device, and storage medium
CN110832275B (zh) * 2018-06-14 2021-05-18 北京嘀嘀无限科技发展有限公司 基于双目图像更新高分辨率地图的系统和方法
CN109191512B (zh) * 2018-07-27 2020-10-30 深圳市商汤科技有限公司 双目图像的深度估计方法及装置、设备、程序及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI800828B (zh) * 2020-05-11 2023-05-01 美商尼安蒂克公司 用於自單目影像產生立體影像資料之電腦實施方法及電腦可讀儲存媒體
US11805236B2 (en) 2020-05-11 2023-10-31 Niantic, Inc. Generating stereo image data from monocular images

Also Published As

Publication number Publication date
SG11202003899WA (en) 2020-05-28
WO2020019765A1 (zh) 2020-01-30
CN109191512A (zh) 2019-01-11
TWI721510B (zh) 2021-03-11
US11295466B2 (en) 2022-04-05
JP7123133B2 (ja) 2022-08-22
CN109191512B (zh) 2020-10-30
JP2021502626A (ja) 2021-01-28
US20200258250A1 (en) 2020-08-13

Similar Documents

Publication Publication Date Title
TWI721510B (zh) 雙目圖像的深度估計方法、設備及儲存介質
US11301719B2 (en) Semantic segmentation model training methods and apparatuses, electronic devices, and storage media
US11170210B2 (en) Gesture identification, control, and neural network training methods and apparatuses, and electronic devices
US11798132B2 (en) Image inpainting method and apparatus, computer device, and storage medium
US11557085B2 (en) Neural network processing for multi-object 3D modeling
US11232286B2 (en) Method and apparatus for generating face rotation image
WO2018054329A1 (zh) 物体检测方法和装置、电子设备、计算机程序和存储介质
CN109035319B (zh) 单目图像深度估计方法及装置、设备、程序及存储介质
JP7009614B2 (ja) ディープニューラルネットワークの正規化方法および装置、機器、ならびに記憶媒体
CN108399383B (zh) 表情迁移方法、装置存储介质及程序
CN108427927B (zh) 目标再识别方法和装置、电子设备、程序和存储介质
US10970821B2 (en) Image blurring methods and apparatuses, storage media, and electronic devices
US11380017B2 (en) Dual-view angle image calibration method and apparatus, storage medium and electronic device
US20200175700A1 (en) Joint Training Technique for Depth Map Generation
US11004179B2 (en) Image blurring methods and apparatuses, storage media, and electronic devices
WO2019214344A1 (zh) 系统增强学习方法和装置、电子设备、计算机存储介质
CN111767906B (zh) 人脸检测模型训练方法、人脸检测方法、装置及电子设备
US20220343525A1 (en) Joint depth prediction from dual-cameras and dual-pixels
CN114511041B (zh) 模型训练方法、图像处理方法、装置、设备和存储介质
US11954755B2 (en) Image processing device and operation method thereof
US20230100427A1 (en) Face image processing method, face image processing model training method, apparatus, device, storage medium, and program product
CN111914908A (zh) 一种图像识别模型训练方法、图像识别方法及相关设备
CN109543556B (zh) 动作识别方法、装置、介质及设备
CN115798005A (zh) 基准照片的处理方法及装置、处理器和电子设备
TWI638338B (zh) 多場景的移動物體偵測方法及其影像處理裝置