TWI721510B - 雙目圖像的深度估計方法、設備及儲存介質 - Google Patents

雙目圖像的深度估計方法、設備及儲存介質 Download PDF

Info

Publication number
TWI721510B
TWI721510B TW108126234A TW108126234A TWI721510B TW I721510 B TWI721510 B TW I721510B TW 108126234 A TW108126234 A TW 108126234A TW 108126234 A TW108126234 A TW 108126234A TW I721510 B TWI721510 B TW I721510B
Authority
TW
Taiwan
Prior art keywords
image
pixel
confidence
parallax image
neural network
Prior art date
Application number
TW108126234A
Other languages
English (en)
Other versions
TW202008310A (zh
Inventor
肖瑞超
孫文秀
楊成熙
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202008310A publication Critical patent/TW202008310A/zh
Application granted granted Critical
Publication of TWI721510B publication Critical patent/TWI721510B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本發明實施例公開了一種雙目圖像的深度估計方法及裝置、設備、程式及介質，其中，方法包括：將待處理雙目圖像輸入預定神經網路，得到視差圖像及其置信度圖像，其中，所述視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係；根據所述視差圖像得到所述待處理雙目圖像的深度圖像。本發明實施例可以在得到視差圖像的同時得到對應的置信度圖像，利用置信度圖像來對視差圖像進行檢測，從而獲得更加精確的深度圖像。

Description

雙目圖像的深度估計方法、設備及儲 存介質
本發明涉及電腦視覺技術，尤其是一種雙目圖像的深度估計方法及裝置、電子設備、電腦程式及儲存介質。
隨著機器學習技術的發展，深度學習網路已經應用于眾多現實場景中，例如自動駕駛等。在這些應用中，預測結果是十分重要的，特別是在基於深度學習的回歸任務中，例如雙目立體匹配，通常預測結果都被假設為準確的。然而這樣的假設並不夠合理，若預測錯誤的像素出現在十分重要的區域，例如：比較細小的障礙物，可能會造成基於深度學習的避讓系統失靈。另外，將這些深度學習網路部署於其他場景中時也有可能出現較差甚至不合理的結果。
本發明實施例提供一種雙目圖像的深度估計方案。
根據本發明實施例的一個方面，提供一種雙目圖像的深度估計方法，包括：將待處理雙目圖像輸入預定神經網路，得到視差圖像及其置信度圖像，其中，所述視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係；根據所述視差圖像得到所述待處理雙目圖像的深度圖像。
可選地，在本發明上述方法實施例中，所述將待處理雙目圖像輸入預定神經網路，得到置信度圖像，包括：將所述待處理雙目圖像經過雙目立體匹配神經網路後，依次經過兩個卷積層和一個歸一化層得到所述置信度圖像。
可選地，在本發明上述任一方法實施例中，還包括：利用損失函數訓練所述預定神經網路，其中，所述損失函數由所述視差圖像中各像素的置信度及該像素在所述預設分佈的離散參數計算得到。
可選地，在本發明上述任一方法實施例中，所述損失函數包括：正則化項和調整所述視差圖像中各像素在所述損失函數中的權重的聚焦損失項。
可選地，在本發明上述任一方法實施例中，所述正則化項包括：與置信度相關的正則化項和與預定神經網路參數相關的正則化項。
可選地，在本發明上述任一方法實施例中，所述損失函數由所述視差圖像中各像素的置信度及該像素在所述預設分佈的離散參數計算得到，包括：基於所述視差圖像及其所述置信度圖像、所述預定神經網路參數和真實視差圖像，得到關於所述預定神經網路參數的似然函數；基於所述視差圖像中各像素服從的所述預設分佈，得到所述視差圖像中各像素的置信度與該像素在所述預設分佈的離散參數之間的負相關關係；基於所述視差圖像中各像素的置信度與該像素在所述預設分佈的離散參數之間的負相關關係，所述預定神經網路參數服從所述預設分佈，所述視差圖像中各像素的置信度服從非遞減的分佈，對所述似然函數取負對數，得到所述損失函數。
可選地，在本發明上述任一方法實施例中，所述預設分佈包括拉普拉斯分佈或者高斯分佈。
可選地，在本發明上述任一方法實施例中，回應於所述預設分佈為拉普拉斯分佈的情況，所述損失函數包括：由所述視差圖像與真實視差圖像中各像素的視差值的差值的絕對值與該像素的置信度的比值的平均值得到的聚焦損失項，由所述視差圖像中各像素的置信 度的平均值得到的正則化項，和由所述預定神經網路參數得到的正則化項。
可選地，在本發明上述任一方法實施例中，回應於預設分佈為高斯分佈的情況，所述損失函數包括：由所述視差圖像與真實視差圖像中各像素的視差值的差值的平方與該像素的置信度的比值的平均值得到的聚焦損失項，由所述視差圖像中各像素的置信度的平均值得到的正則化項，和由所述預定神經網路參數得到的正則化項。
根據本發明實施例的另一個方面，提供一種雙目圖像的深度估計裝置，包括：視差圖像獲取單元，用於將待處理雙目圖像輸入預定神經網路，得到視差圖像及其置信度圖像，其中，所述視差圖像中各像素在預設分佈的的離散參數與該像素的置信度呈負相關關係；深度圖像獲取單元，用於根據所述視差圖像得到所述待處理雙目圖像的深度圖像。
可選地，在本發明上述裝置實施例中，所述視差圖像獲取單元，用於將所述待處理雙目圖像經過雙目立體匹配神經網路後，依次經過兩個卷積層和一個歸一化層得到所述置信度圖像。
可選地，在本發明上述任一裝置實施例中，還包括： 神經網路訓練單元，用於利用損失函數訓練所述預定神經網路，其中，所述損失函數由所述視差圖像中各像素的置信度及該像素在所述預設分佈的離散參數計算得到。
可選地，在本發明上述任一裝置實施例中，所述損失函數包括：正則化項和調整所述視差圖像中各像素在所述損失函數中的權重的聚焦損失項。
可選地，在本發明上述任一裝置實施例中，所述正則化項包括：與置信度相關的正則化項和與預定神經網路參數相關的正則化項。
可選地，在本發明上述任一裝置實施例中，所述神經網路訓練單元，包括：損失函數獲得模組；所述損失函數獲得模組，用於基於所述視差圖像及其所述置信度圖像、所述預定神經網路參數和真實視差圖像，得到關於所述預定神經網路參數的似然函數；基於所述視差圖像中各像素服從的所述預設分佈，得到所述視差圖像中各像素的置信度與該像素在所述預設分佈的離散參數之間的負相關關係；以及基於所述視差圖像中各像素的置信度與該像素在所述預設分佈的離散參數之間的負相關關係，所述預定神經網路參數服從所述預設分佈，所述視差圖像中各像素的置信度服從非遞減的分佈，對所述似然函數取負對數，得到所述損失函數。
可選地，在本發明上述任一裝置實施例中，所述預設分佈包括拉普拉斯分佈或者高斯分佈。
可選地，在本發明上述任一裝置實施例中，回應於預設分佈為拉普拉斯分佈的情況，所述損失函數包括：由所述視差圖像與真實視差圖像中各像素的視差值的差值的絕對值與該像素的置信度的比值的平均值得到的聚焦損失項，由所述視差圖像中各像素的置信度的平均值得到的正則化項，和由所述預定神經網路參數得到的正則化項。
可選地，在本發明上述任一裝置實施例中，回應於預設分佈為高斯分佈的情況，所述損失函數包括：由所述視差圖像與真實視差圖像中各像素的視差值的差值的平方與該像素的置信度的比值的平均值得到的聚焦損失項，由所述視差圖像中各像素的置信度的平均值得到的正則化項，和由所述預定神經網路參數得到的正則化項。根據本發明實施例的又一個方面，提供的一種電子設備，包括上述任一實施例所述的裝置。
根據本發明實施例的再一個方面，提供的一種電子設備，包括：記憶體，用於儲存可執行指令；以及處理器，用於執行所述可執行指令從而完成上述任一實施例所述的方法。
根據本發明實施例的再一個方面，提供的一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在設備上運行時，所述設備中的處理器執行用於實現上述任一實施例所述方法的指令。
根據本發明實施例的再一個方面，提供的一種電腦儲存介質，用於儲存電腦可讀指令，所述指令被執行時實現上述任一實施例所述的方法。
基於本發明上述實施例提供的雙目圖像的深度估計方法及裝置、電子設備、電腦程式及儲存介質，通過將待處理雙目圖像輸入預定神經網路，得到視差圖像及其置信度圖像，其中視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係，然後根據視差圖像得到待處理雙目圖像的深度圖像，利用預定神經網路在得到視差圖像的同時得到對應的置信度圖像，可以通過無監督的學習方式得到視差圖像對應的置信度圖像，而不需要置信度標注作為監督，由於置信度具有物理意義，即視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係，因此可以利用置信度圖像來檢測視差圖像中可能出現錯誤的區域，說明分析視差圖像，得到更加精確的深度圖像。
下面通過附圖和實施例，對本發明的技術方案做進一步的詳細描述。
310:視差圖像獲取單元
320:深度圖像獲取單元
400:電子設備
401:中央處理單元(CPU)
402:唯讀記憶體(ROM)
403:隨機訪問記憶體
404:匯流排
405:I/O介面
406:輸入部分
407:輸出部分
408:儲存部分
409:通信部分
410:驅動器
411:可拆卸介質
412:通信部
413:影像處理器(GPU)
構成說明書的一部分的附圖描述了本發明的實施例，並且連同描述一起用於解釋本發明的原理。
參照附圖，根據下面的詳細描述，可以更加清楚地理解本發明，其中：圖1為本發明一些實施例的雙目圖像的深度估計方法的流程圖；圖2為本發明一些實施例的獲得包含置信度的損失函數的流程圖；圖3為本發明一些實施例的雙目圖像的深度估計裝置的結構示意圖； 圖4為本發明一些實施例提供的電子設備的結構示意圖。
現在將參照附圖來詳細描述本發明的各種示例性實施例。應注意到：除非另外具體說明，否則在這些實施例中闡述的部件和步驟的相對佈置、數位運算式和數值不限制本發明的範圍。
同時，應當明白，為了便於描述，附圖中所示出的各個部分的尺寸並不是按照實際的比例關係繪製的。
以下對至少一個示例性實施例的描述實際上僅僅是說明性的，決不作為對本發明及其應用或使用的任何限制。
對於相關領域普通技術人員已知的技術、方法和設備可能不作詳細討論，但在適當情況下，所述技術、方法和設備應當被視為說明書的一部分。
應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨後的附圖中不需要對其進行進一步討論。
本發明實施例可以應用於電腦系統/伺服器，其可與眾多其它通用或專用計算系統環境或配置一起操作。適於與電腦系統/伺服器一起使用的眾所周知的計算系統、環境和/或配置的例子包括但不限於：個人電腦系統、伺服器電腦系統、瘦客戶機、厚客戶機、手持或膝上設備、基於微處理器的系統、機上盒、可程式設計消費電子產品、網路個人電腦、小型電腦系統、大型電腦系統和包括上述任何系統的分散式雲計算技術環境，等等。
電腦系統/伺服器可以在由電腦系統執行的電腦系統可執行指令(諸如程式模組)的一般語境下描述。通常，程式模組可以包括常式、程式、目的程式、元件、邏輯、資料結構等等，它們執行特定的任務或者實現特定的抽象資料類型。電腦系統/伺服器可以在分散式雲計算環境中實施，分散式雲計算環境中，任務是由通過通信網路連結的遠端處理設備執行的。在分散式雲計算環境中，程式模組可以位於包括存放裝置的本地或遠端計算系統儲存介質上。
圖1是本發明一些實施例的雙目圖像的深度估計方法的流程圖。如圖1所示，該方法包括：102，將待處理雙目圖像輸入預定神經網路，得到視差圖像及其置信度圖像。
在本實施例中，待處理雙目圖像可以是從圖像採集設備直接獲取的圖像，例如：圖像採集設備為攝像機等，也可以從存放裝置獲取的預先儲存的圖像，例如：存放裝置為U盤等，還可以是通過網路從網站伺服器獲取的圖像，從本實施例對待處理雙目圖像的獲得方式不作限定。將待處理雙目圖像的左視圖和右視圖，或者待處理雙目圖像的上視圖和下視圖輸入預定神經網路，得到視差圖像及其置信度圖像。左視圖、右視圖、上視圖和下視圖為相對的兩個視圖，具體還可以為其他稱謂，本實施例不做具體限定，在後續的實施例中採用左視圖、右視圖來描述。視差圖像可以是以左視圖為基準得到的左視圖對應的視差圖像，也可以是以右視圖為基準得到的右視圖對應的視差圖像，本實施例對此不作限定。置信度圖像可以是基於視差圖像獲得反應視差圖像中各像素的置信度的圖像，其中，視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係，離散參數包括但不限於標準差參數。
在本實施例中，預定神經網路可以是在對待處理雙目圖像的左視圖和右視圖進行處理之前，預先確定的神經網路，此時通過預定神經網路可以獲得需要的視差圖 像，預定神經網路也可以是在對待處理雙目圖像的左視圖和右視圖進行處理之前，預先訓練的神經網路，此時待處理雙目圖像的左視圖和右視圖可以是從訓練資料集中獲取的圖像，可以通過待處理雙目圖像的左視圖和右視圖對預定神經網路進行訓練。
在一個可選的例子中，預定神經網路可以包括：雙目立體匹配神經網路、兩個卷積層和一個歸一化(Sigmoid)層，可以將待處理雙目圖像的左視圖和右視圖經過雙目立體匹配神經網路後，依次經過兩個卷積層和一個歸一化層得到置信度圖像。本實施例對獲得置信度圖像的網路結構不作限定。
104，根據視差圖像得到待處理雙目圖像的深度圖像。
可選地，在獲得待處理雙目圖像的視差圖像後，可以根據相機成像的投影模型，通過深度資訊與視差資訊的幾何運算關係，獲得待處理雙目圖像的深度圖像，本實施例對根據視差圖像獲得深度圖像的方法不作限定。
本實施例提供的雙目圖像的深度估計方法，通過將待處理雙目圖像的左視圖和右視圖輸入預定神經網路，得到視差圖像及其置信度圖像，其中視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係，然後根據視差圖像得到待處理雙目圖像的深度圖像，利用預定神經網路在得到視差圖像的同時得到對應的置信度圖像，可以通過無監督的學習方式得到視差圖 像對應的置信度圖像，而不需要置信度標注作為監督，由於置信度具有物理意義，即視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係，因此可以利用置信度圖像來檢測視差圖像中可能出現錯誤的區域，說明分析視差圖像，得到更加精確的深度圖像。
在一些實施例中，可以利用損失函數訓練預定神經網路，其中，損失函數可以由視差圖像中各像素的置信度及該像素在預設分佈的離散參數計算得到，即根據置信度的物理意義：視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係，可以得到包含置信度的損失函數，利用損失函數中的置信度可以優化損失函數，使利用該損失函數訓練得到的預定神經網路具有更好的魯棒性。
可選地，損失函數可以包括：聚焦損失項和正則化項，其中，聚焦損失項可以通過置信度自動調整視差圖像中各像素在損失函數中的權重，使視差圖像中置信度較高的像素具有較大的權重，視差圖像中置信度較低的像素具有較小的權重，從而可以將學習得到的置信度同步應用到預定神經網路的訓練過程中，減小輸入資料中的雜訊帶來的影響，例如：輸入資料中的雜訊為待處理雙目圖像中被遮擋的區域等，使預定神經網路可以收斂於更優的階段，具有更好的魯棒性。
可選地，損失函數中的正則化項可以包括：與置信度相關的正則化項和與預定神經網路參數相關的正則化 項，其中，與置信度相關的正則化項可以使視差圖像中置信度較低的像素的損失權重不會過小，從而保證訓練的效率，與預定神經網路參數相關的正則化項，也成為權重正則化項，可以防止在訓練過程中預定神經網路過擬合。
圖2為本發明一些實施例的獲得包含置信度的損失函數的流程圖。如圖2所示，該方法包括：202，基於待處理雙目圖像的視差圖像及其置信度圖像、預定神經網路參數和真實視差圖像，得到關於預定神經網路參數的似然函數。
可選地，可以基於待處理雙目圖像的視差圖像及其置信度圖像、預定神經網路參數和真實視差圖像，根據貝葉斯概率論得到關於預定神經網路參數的似然函數。
204，基於視差圖像中各像素服從的預設分佈，得到視差圖像中各像素的置信度與該像素在預設分佈的離散參數之間的負相關關係。
可選地，可以通過使視差圖像中的各像素服從不同標準差的預設分佈，得到視差圖像中各像素的置信度與該像素在預設分佈的離散參數之間的負相關關係。
206，基於視差圖像中各像素的置信度與該像素在預設分佈的離散參數之間的負相關關係，預定神經網路參數服從預設分佈，視差圖像中各像素的置信度服從非遞減的分佈，對似然函數取負對數，得到損失函數。
可選地，預定神經網路參數可以服從均值為零、標準差為1的預設分佈。
可選地，預設分佈可以為拉普拉斯分佈或者高斯分佈。
在一些實施例中，回應於預設分佈為拉普拉斯分佈的情況，損失函數包括：由待處理雙目圖像的視差圖像與真實視差圖像中各像素的視差值的差值的絕對值與該像素的置信度的比值的平均值得到的聚焦損失項，由視差圖像中各像素的置信度的平均值得到的正則化項，和由預定神經網路參數得到的正則化項。
其中，根據貝葉斯概率論，基於待處理雙目圖像的視差圖像及其置信度圖像、預定神經網路參數和真實視差圖像，得到關於預定神經網路參數的似然函數為：
Figure 108126234-A0305-02-0016-1
其中，x={x1，x2，...，xT}為待處理雙目圖像，y={y 1，y 2，...，y N}為真實視差圖像，其中T和N分別為待處理雙目圖像和真實視差圖像中的像素數量，w為預定神經網路的參數，c={c 1，c 2，...，c N}為置信度圖像。
根據視差圖像中各像素服從不同標準差的拉普拉斯分佈：
Figure 108126234-A0305-02-0017-2
得到視差圖像中各像素的置信度與該像素在拉普拉斯分佈的離散參數之間的負相關關係為：b i =f(c i )=-kc i +a (公式三)
其中，b={b 1，b 2，...，b N}為不同標準差的拉普拉斯分佈，b i 為拉普拉斯分佈的標準差參數，即離散參數，c i
Figure 108126234-A0305-02-0017-11
[0,1]作為一個隨機變數，以b i 與c i 的線性遞減函數表示負相關關係，k和a為滿足a
Figure 108126234-A0305-02-0017-12
k+1的兩個正常數，使得總是滿足b i
Figure 108126234-A0305-02-0017-13
1。
根據預定神經網路參數服從均值為零、標準差為1的拉普拉斯分佈：
Figure 108126234-A0305-02-0017-15
根據視差圖像中各像素的置信度服從非遞減的分佈，其中γ
Figure 108126234-A0305-02-0017-14
0：
Figure 108126234-A0305-02-0017-16
將公式二、公式三、公式四和公式五帶入公式一，對似然函數取負對數，得到損失函數：
Figure 108126234-A0305-02-0017-4
 (公式六)聚焦損失項 置信度正則化項 權重正則化項
在另一些實施例中，回應於預設分佈為高斯分佈的情況，損失函數包括：由待處理雙目圖像的視差圖像與真實標視差圖像中各像素的視差值的差值的平方與該像素的置信度的比值的平均值得到的聚焦損失項，由視差圖像中各像素的置信度的平均值得到的正則化項，和由預定神經網路參數得到的正則化項。
其中，根據貝葉斯概率論，基於待處理雙目圖像的視差圖像及其置信度圖像、預定神經網路參數和真實視差圖像，得到關於預定神經網路參數的似然函數為：
Figure 108126234-A0305-02-0018-7
其中，x={x1，x2，...，xT}為待處理雙目圖像，y={y 1，y 2，...，y N}為真實視差圖像，其中T和N分別為待處理雙目圖像和真實視差圖像中的像素數量，w為預定神經網路的參數，c={c 1，c 2，...，c N}為置信度圖像。
根據視差圖像中各像素服從不同標準差的高斯分佈：
Figure 108126234-A0305-02-0018-8
 (公式七)
得到視差圖像中各像素的置信度與該像素在高斯分佈的離散參數之間的負相關關係為：b i =f(c i )=-kc i +a (公式三)
其中，b={b 1，b 2，...，b N}為不同標準差的高斯分佈，b i 為高斯分佈的標準差參數，即離散參數，c i
Figure 108126234-A0305-02-0019-19
[0,1]作為一個隨機變數，以b i 與c i 的線性遞減函數表示負相關關係，k和a為滿足a
Figure 108126234-A0305-02-0019-20
k+1的兩個正常數，使得總是滿足b i
Figure 108126234-A0305-02-0019-21
1。
根據預定神經網路參數服從均值為零、標準差為1的高斯分佈：
Figure 108126234-A0305-02-0019-17
根據視差圖像中各像素的置信度服從非遞減的分佈，其中γ
Figure 108126234-A0305-02-0019-22
0：
Figure 108126234-A0305-02-0019-18
將公式七、公式三、公式八和公式五帶入公式一，對似然函數取負對數，得到損失函數：
Figure 108126234-A0305-02-0019-10
本發明上述各實施例的方法，可以應用於移動終端或者自動駕駛等設備的影像處理，其中，移動終端例如為手機、平板電腦等。
圖3是本發明一些實施例的雙目圖像的深度估計裝置的結構示意圖。
如圖3所示，該裝置包括：視差圖像獲取單元310和深度圖像獲取單元320。其中，視差圖像獲取單元310，用於將待處理雙目圖像輸入預定神經網路，得到視差圖像及其置信度圖像。
在本實施例中，待處理雙目圖像可以是從圖像採集設備直接獲取的圖像，例如：圖像採集設備為攝像機等，也可以從存放裝置獲取的預先儲存的圖像，例如：存放裝置為U盤等，還可以是通過網路從網站伺服器獲取的圖像，從本實施例對待處理雙目圖像的獲得方式不作限定。將待處理雙目圖像的左視圖和右視圖，或者待處理雙目圖像的上視圖和下視圖輸入預定神經網路，得到視差圖像及其置信度圖像。左視圖、右視圖、上視圖和下視圖為相對的兩個視圖，具體還可以為其他稱謂，本實施例不做具體限定，在後續的實施例中採用左視圖、右視圖來描述。視差圖像可以是以左視圖為基準得到的左視圖對應的視差圖像，也可以是以右視圖為基準得到的右視圖對應的視差圖像，本實施例對此不作限定。置信度圖像可以是基於視差圖像獲得反應視差圖像中各像素的置信度的圖像，其中，視差圖像中各像素在 預設分佈的離散參數與該像素的置信度呈負相關關係，離散參數包括但不限於標準差參數。
在本實施例中，預定神經網路可以是在對待處理雙目圖像的左視圖和右視圖進行處理之前，預先確定的神經網路，此時通過預定神經網路可以獲得需要的視差圖像，預定神經網路也可以是在對待處理雙目圖像的左視圖和右視圖進行處理之前，預先訓練的神經網路，此時待處理雙目圖像的左視圖和右視圖可以是從訓練資料集中獲取的圖像，可以通過待處理雙目圖像的左視圖和右視圖對預定神經網路進行訓練。
在一個可選的例子中，預定神經網路可以包括：雙目立體匹配神經網路、兩個卷積層和一個歸一化(Sigmoid)層，視差圖像獲取單元310可以將待處理雙目圖像的左視圖和右視圖經過雙目立體匹配神經網路後，依次經過兩個卷積層和一個歸一化層得到置信度圖像。本實施例對獲得置信度圖像的網路結構不作限定。
深度圖像獲取單元320，用於根據視差圖像得到待處理雙目圖像的深度圖像。
可選地，在獲得待處理雙目圖像的視差圖像後，可以根據相機成像的投影模型，通過深度資訊與視差資訊的幾何運算關係，獲得待處理雙目圖像的深度圖像，本實施例對根據視差圖像獲得深度圖像的方法不作限定。
本實施例提供的雙目圖像的深度估計裝置，通過將待處理雙目圖像的左視圖和右視圖輸入預定神經網路，得到視差圖像及其置信度圖像，其中視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係，然後根據視差圖像得到待處理雙目圖像的深度圖像，利用預定神經網路在得到視差圖像的同時得到對應的置信度圖像，可以通過無監督的學習方式得到視差圖像對應的置信度圖像，而不需要置信度標注作為監督，由於置信度具有物理意義，即視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係，因此可以利用置信度圖像來檢測視差圖像中可能出現錯誤的區域，說明分析視差圖像，得到更加精確的深度圖像。
在一些實施例中，雙目圖像的深度估計裝置還可以包括：神經網路訓練單元，用於利用損失函數訓練預定神經網路，其中，損失函數可以由視差像圖中各像素的置信度及該像素在預設分佈的離散參數計算得到，即根據置信度的物理意義：視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係，可以得到包含置信度的損失函數，利用損失函數中的置信度可以優化損失函數，使利用該損失函數訓練得到的預定神經網路具有更好的魯棒性。
可選地，損失函數可以包括：聚焦損失項和正則化項，其中，聚焦損失項可以通過置信度自動調整 視差圖像中各像素在損失函數中的權重，使視差像圖中置信度較高的像素具有較大的權重，視差圖像中置信度較低的像素具有較小的權重，從而可以將學習得到的置信度同步應用到預定神經網路的訓練過程中，減小輸入資料中的雜訊帶來的影響，例如：輸入資料中的雜訊為待處理雙目圖像中被遮擋的區域等，使預定神經網路可以收斂於更優的階段，具有更好的魯棒性。
可選地，損失函數中的正則化項可以包括：與置信度相關的正則化項和與預定神經網路參數相關的正則化項，其中，與置信度相關的正則化項可以使視差圖像中置信度較低的像素的損失權重不會過小，從而保證訓練的效率，與預定神經網路參數相關的正則化項，也成為權重正則化項，可以防止在訓練過程中預定神經網路過擬合。
可選地，神經網路訓練單元可以包括：損失函數獲得模組，用於獲得包含置信度的損失函數。
在一個可選的例子中，損失函數獲得模組，可以基於待處理雙目圖像的視差圖像及其置信度圖像、預定神經網路參數和真實視差圖像，得到關於預定神經網路參數的似然函數；基於視差圖像中各像素服從的預設分佈，得到視差圖像中各像素的置信度與該像素在預設分佈的離散參數之間的負相關關係；以及基於視差圖像中各像素的置信度與該像素在預設分佈的離散參數之間的負相關關係，預定神經網路參數服從預設分佈，視 差圖像中各像素的置信度服從非遞減的分佈，對似然函數取負對數，得到損失函數。
可選地，損失函數獲得模組可以基於待處理雙目圖像的視差圖像及其置信度圖像、預定神經網路參數和真實視差圖像，根據貝葉斯概率論得到關於預定神經網路參數的似然函數。
可選地，損失函數獲得模組可以通過使視差圖像中的各像素服從不同標準差的預設分佈，得到視差圖像中各像素的置信度與該像素在預設分佈的離散參數之間的負相關關係。
可選地，預定神經網路參數可以服從均值為零、標準差為1的預設分佈。
可選地，預設分佈可以為拉普拉斯分佈或者高斯分佈。
在一些實施例中，回應於預設分佈為拉普拉斯分佈的情況，損失函數包括：由待處理雙目圖像的視差圖像與真實視差圖像中各像素的視差值的差值的絕對值與該像素的置信度的比值的平均值得到的聚焦損失項，由視差圖像中各像素的置信度的平均值得到的正則化項，和由預定神經網路參數得到的正則化項。
在另一些實施例中，回應於預設分佈為高斯分佈的情況，損失函數包括：由待處理雙目圖像的視差圖像與真實視差圖像中各像素的視差值的差值的平方與該像素的置信度的比值的平均值得到的聚焦損失項，由 視差圖像中各像素的置信度的平均值得到的正則化項，和由預定神經網路參數得到的正則化項。
本發明實施例還提供了一種電子設備，例如可以是移動終端、個人電腦(PC)、平板電腦、伺服器等。下面參考圖4，其示出了適於用來實現本申請實施例的終端設備或伺服器的電子設備400的結構示意圖：如圖4所示，電子設備400包括一個或多個處理器、通信部等，所述一個或多個處理器例如：一個或多個中央處理單元(CPU)401，和/或一個或多個影像處理器(GPU)413等，處理器可以根據儲存在唯讀記憶體(ROM)402中的可執行指令或者從儲存部分408載入到隨機訪問記憶體(RAM)403中的可執行指令而執行各種適當的動作和處理。通信部412可包括但不限於網卡，所述網卡可包括但不限於IB(Infiniband)網卡，處理器可與唯讀記憶體402和/或隨機訪問記憶體403中通信以執行可執行指令，通過匯流排404與通信部412相連、並經通信部412與其他目標設備通信，從而完成本申請實施例提供的任一項方法對應的操作，例如，將待處理雙目圖像的左視圖和右視圖輸入預定神經網路，得到視差圖像及其置信度圖像，其中，所述視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係；根據所述視差圖像得到所述待處理雙目圖像的深度圖像。
此外，在RAM 403中，還可儲存有裝置操作所需的各種程式和資料。CPU401、ROM402以及 RAM403通過匯流排404彼此相連。在有RAM403的情況下，ROM402為可選模組。RAM403儲存可執行指令，或在運行時向ROM402中寫入可執行指令，可執行指令使中央處理單元401執行上述通信方法對應的操作。輸入/輸出(I/O)介面405也連接至匯流排404。通信部412可以集成設置，也可以設置為具有多個子模組(例如多個IB網卡)，並在匯流排連結上。
以下部件連接至I/O介面405：包括鍵盤、滑鼠等的輸入部分406；包括諸如陰極射線管(CRT)、液晶顯示器(LCD)等以及揚聲器等的輸出部分407；包括硬碟等的儲存部分408；以及包括諸如LAN卡、數據機等的網路介面卡的通信部分409。通信部分409經由諸如網際網路的網路執行通信處理。驅動器410也根據需要連接至I/O介面405。可拆卸介質411，諸如磁片、光碟、磁光碟、半導體記憶體等等，根據需要安裝在驅動器410上，以便於從其上讀出的電腦程式根據需要被安裝入儲存部分408。
需要說明的，如圖4所示的架構僅為一種可選實現方式，在具體實踐過程中，可根據實際需要對上述圖4的部件數量和類型進行選擇、刪減、增加或替換；在不同功能部件設置上，也可採用分離設置或集成設置等實現方式，例如GPU413和CPU401可分離設置或者可將GPU413集成在CPU401上，通信部可分離設置，也可 集成設置在CPU401或GPU413上，等等。這些可替換的實施方式均落入本發明公開的保護範圍。
特別地，根據本發明的實施例，上文參考流程圖描述的過程可以被實現為電腦軟體程式。例如，本發明的實施例包括一種電腦程式產品，其包括有形地包含在機器可讀介質上的電腦程式，電腦程式包含用於執行流程圖所示的方法的程式碼，程式碼可包括對應執行本申請實施例提供的方法步驟對應的指令，例如，將待處理雙目圖像的左視圖和右視圖輸入預定神經網路，得到視差圖像及其置信度圖像，其中，所述視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係；根據所述視差圖像得到所述待處理雙目圖像的深度圖像。在這樣的實施例中，該電腦程式可以通過通信部分409從網路上被下載和安裝，和/或從可拆卸介質411被安裝。在該電腦程式被中央處理單元(CPU)401執行時，執行本申請的方法中限定的上述功能。
在一個或多個可選實施方式中，本發明實施例還提供了一種電腦程式程式產品，用於儲存電腦可讀指令，該指令被執行時使得電腦執行上述任一可能的實現方式中的雙目圖像的深度估計方法。
該電腦程式產品可以具體通過硬體、軟體或其結合的方式實現。在一個可選例子中，該電腦程式產品具體體現為電腦儲存介質，在另一個可選例子中，該電 腦程式產品具體體現為軟體產品，例如軟體發展包(Software Development Kit，SDK)等等。
在一個或多個可選實施方式中，本發明實施例還提供了一種雙目圖像的深度估計方法及其對應的裝置、電子設備、電腦儲存介質、電腦程式以及電腦程式產品，其中，該方法包括：第一裝置向第二裝置發送基於雙目圖像的深度估計指示，該指示使得第二裝置執行上述任一可能的實施例中的雙目圖像的深度估計方法；第一裝置接收第二裝置發送的雙目圖像的深度估計的結果。
在一些實施例中，該雙目圖像的深度估計指示可以具體為調用指令，第一裝置可以通過調用的方式指示第二裝置執行雙目圖像的深度估計，相應地，回應於接收到調用指令，第二裝置可以執行上述雙目圖像的深度估計方法中的任意實施例中的步驟和/或流程。
應理解，本發明實施例中的“第一”、“第二”等術語僅僅是為了區分，而不應理解成對本發明實施例的限定。
還應理解，在本發明中，“多個”可以指兩個或兩個以上，“至少一個”可以指一個、兩個或兩個以上。
還應理解，對於本發明中提及的任一部件、資料或結構，在沒有明確限定或者在前後文給出相反啟示的情況下，一般可以理解為一個或多個。
還應理解，本發明對各個實施例的描述著重強調各個實施例之間的不同之處，其相同或相似之處可以相互參考，為了簡潔，不再一一贅述。
可能以許多方式來實現本發明的方法和裝置。例如，可通過軟體、硬體、固件或者軟體、硬體、固件的任何組合來實現本發明的方法和裝置。用於所述方法的步驟的上述順序僅是為了進行說明，本發明的方法的步驟不限於以上具體描述的順序，除非以其它方式特別說明。此外，在一些實施例中，還可將本發明實施為記錄在記錄介質中的程式，這些程式包括用於實現根據本發明的方法的機器可讀指令。因而，本發明還覆蓋儲存用於執行根據本發明的方法的程式的記錄介質。
本發明的描述是為了示例和描述起見而給出的，而並不是無遺漏的或者將本發明限於所公開的形式。很多修改和變化對於本領域的普通技術人員而言是顯然的。選擇和描述實施例是為了更好說明本發明的原理和實際應用，並且使本領域的普通技術人員能夠理解本發明從而設計適於特定用途的帶有各種修改的各種實施例。
102:將待處理雙目圖像輸入預定神經網路，得到視差圖像及其置信度圖像
104:根據視差圖像得到待處理雙目圖像的深度圖像

Claims (10)

  1. 一種雙目圖像的深度估計方法，包括：將待處理雙目圖像輸入預定神經網路，得到視差圖像及其置信度圖像，其中，所述視差圖像中各像素在預設分佈的離散參數與該像素的置信度呈負相關關係，所述預定神經網路利用損失函數訓練得到，所述損失函數由所述視差圖像中各像素的置信度及該像素在所述預設分佈的離散參數計算得到；根據所述視差圖像得到所述待處理雙目圖像的深度圖像。
  2. 根據請求項1所述的方法，其中，所述將待處理雙目圖像輸入預定神經網路，得到置信度圖像，包括：將所述待處理雙目圖像經過雙目立體匹配神經網路後，依次經過兩個卷積層和一個歸一化層得到所述置信度圖像。
  3. 根據請求項1所述的方法，其中，所述損失函數包括：正則化項和調整所述視差圖像中各像素在所述損失函數中的權重的聚焦損失項。
  4. 根據請求項3所述的方法，其中，所述正則化項包括：與置信度相關的正則化項和與預定神經網路參數相關的正則化項。
  5. 根據請求項1所述的方法，其中，所述損失函數由所述視差圖像中各像素的置信度及該像素在所述預設分佈的離散參數計算得到，包括：基於所述視差圖像及其所述置信度圖像、所述預定神經網路參數和真實視差圖像，得到關於所述預定神經網路參數的似然函數；基於所述視差圖像中各像素服從的所述預設分佈，得到所述視差圖像中各像素的置信度與該像素在所述預設分佈的離散參數之間的負相關關係；基於所述視差圖像中各像素的置信度與該像素在所述預設分佈的離散參數之間的負相關關係，所述預定神經網路參數服從所述預設分佈，所述視差圖像中各像素的置信度服從非遞減的分佈，對所述似然函數取負對數，得到所述損失函數。
  6. 根據請求項1所述的方法，其中，所述預設分佈包括拉普拉斯分佈或者高斯分佈。
  7. 根據請求項6所述的方法，其中，回應於所述預設分佈為拉普拉斯分佈的情況，所述損失函數包 括：由所述視差圖像與真實視差圖像中各像素的視差值的差值的絕對值與該像素的置信度的比值的平均值得到的聚焦損失項，由所述視差圖像中各像素的置信度的平均值得到的正則化項，和由所述預定神經網路參數得到的正則化項。
  8. 根據請求項6所述的方法，其中，回應於預設分佈為高斯分佈的情況，所述損失函數包括：由所述視差圖像與真實視差圖像中各像素的視差值的差值的平方與該像素的置信度的比值的平均值得到的聚焦損失項，由所述視差圖像中各像素的置信度的平均值得到的正則化項，和由所述預定神經網路參數得到的正則化項。
  9. 一種電子設備，包括：記憶體，用於儲存可執行指令；以及處理器，用於執行所述可執行指令從而完成請求項1至8中任意一項所述的方法。
  10. 一種電腦儲存介質，用於儲存電腦可讀取的指令，其特徵在於，所述指令被執行時實現請求項1至8中任意一項所述的方法。
TW108126234A 2018-07-27 2019-07-24 雙目圖像的深度估計方法、設備及儲存介質 TWI721510B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810847268.7 2018-07-27
CN201810847268.7A CN109191512B (zh) 2018-07-27 2018-07-27 双目图像的深度估计方法及装置、设备、程序及介质

Publications (2)

Publication Number Publication Date
TW202008310A TW202008310A (zh) 2020-02-16
TWI721510B true TWI721510B (zh) 2021-03-11

Family

ID=64937763

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108126234A TWI721510B (zh) 2018-07-27 2019-07-24 雙目圖像的深度估計方法、設備及儲存介質

Country Status (6)

Country Link
US (1) US11295466B2 (zh)
JP (1) JP7123133B2 (zh)
CN (1) CN109191512B (zh)
SG (1) SG11202003899WA (zh)
TW (1) TWI721510B (zh)
WO (1) WO2020019765A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191512B (zh) * 2018-07-27 2020-10-30 深圳市商汤科技有限公司 双目图像的深度估计方法及装置、设备、程序及介质
EP3894660A1 (en) * 2018-12-16 2021-10-20 Sensia Llc Pump system
CN109887019B (zh) * 2019-02-19 2022-05-24 北京市商汤科技开发有限公司 一种双目匹配方法及装置、设备和存储介质
CN111723926B (zh) * 2019-03-22 2023-09-12 北京地平线机器人技术研发有限公司 用于确定图像视差的神经网络模型的训练方法和训练装置
CN110148179A (zh) * 2019-04-19 2019-08-20 北京地平线机器人技术研发有限公司 一种训练用于估计图像视差图的神经网络模型方法、装置及介质
US20210326694A1 (en) * 2020-04-20 2021-10-21 Nvidia Corporation Distance determinations using one or more neural networks
WO2021229455A1 (en) * 2020-05-11 2021-11-18 Niantic, Inc. Generating stereo image data from monocular images
CN112116639B (zh) * 2020-09-08 2022-06-07 苏州浪潮智能科技有限公司 一种图像配准方法、装置及电子设备和存储介质
CN112634341B (zh) * 2020-12-24 2021-09-07 湖北工业大学 多视觉任务协同的深度估计模型的构建方法
JP7451456B2 (ja) 2021-03-22 2024-03-18 株式会社東芝 運動推定装置及びそれを用いた運動推定方法
WO2023047562A1 (ja) * 2021-09-27 2023-03-30 日本電気株式会社 学習装置、学習方法、及び、記録媒体
CN113706599B (zh) * 2021-10-29 2022-01-21 纽劢科技(上海)有限公司 一种基于伪标签融合的双目深度估计方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105609A1 (en) * 2010-10-29 2012-05-03 Hoya Corporation Binocular visual performance measuring method, binocular visual performance measuring program, eyeglass lens design method and eyeglass lens manufacturing method
CN102523464A (zh) * 2011-12-12 2012-06-27 上海大学 一种双目立体视频的深度图像估计方法
CN102821290A (zh) * 2011-06-06 2012-12-12 索尼公司 图像处理设备、图像处理方法以及程序
US20130107207A1 (en) * 2011-11-02 2013-05-02 Intuitive Surgical Operations, Inc. Method and system for stereo gaze tracking
TW201712639A (zh) * 2015-09-25 2017-04-01 台達電子工業股份有限公司 立體影像深度圖產生裝置及方法
CN108269273A (zh) * 2018-02-12 2018-07-10 福州大学 一种全景纵向漫游中极线匹配的置信传播方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2509324A1 (en) * 2011-04-08 2012-10-10 Thomson Licensing Method and apparatus for analyzing stereoscopic or multi-view images
JP2013005259A (ja) * 2011-06-17 2013-01-07 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5367034B2 (ja) * 2011-08-24 2013-12-11 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
CN102609936A (zh) * 2012-01-10 2012-07-25 四川长虹电器股份有限公司 基于置信度传播的图像立体匹配方法
CN103424105B (zh) * 2012-05-16 2016-02-10 株式会社理光 对象检测方法和装置
US8619082B1 (en) * 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
WO2014037603A1 (en) * 2012-09-06 2014-03-13 Nokia Corporation An apparatus, a method and a computer program for image processing
JP2014078095A (ja) * 2012-10-10 2014-05-01 Sony Corp 画像処理装置、画像処理方法、及びプログラム
WO2014165244A1 (en) * 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
CN105096300B (zh) * 2014-05-08 2018-06-12 株式会社理光 对象检测方法和设备
US10482313B2 (en) * 2015-09-30 2019-11-19 Siemens Healthcare Gmbh Method and system for classification of endoscopic images using deep decision networks
US9881234B2 (en) * 2015-11-25 2018-01-30 Baidu Usa Llc. Systems and methods for end-to-end object detection
EP3428902A4 (en) * 2016-03-10 2019-08-14 Ricoh Company, Ltd. IMAGE PROCESSING DEVICE, IMAGING DEVICE, MOBILE DEVICE CONTROL SYSTEM, PICTURE PROCESSING PROCESS AND PROGRAM
US10841491B2 (en) * 2016-03-16 2020-11-17 Analog Devices, Inc. Reducing power consumption for time-of-flight depth imaging
US10482633B2 (en) * 2016-09-12 2019-11-19 Zebra Medical Vision Ltd. Systems and methods for automated detection of an indication of malignancy in a mammographic image
WO2018057714A1 (en) * 2016-09-21 2018-03-29 The General Hospital Corporation Systems, methods and media for automatically generating a bone age assessment from a radiograph
US10003768B2 (en) * 2016-09-28 2018-06-19 Gopro, Inc. Apparatus and methods for frame interpolation based on spatial considerations
US10003787B1 (en) * 2016-12-21 2018-06-19 Canon Kabushiki Kaisha Method, system and apparatus for refining a depth map
CN106683182B (zh) * 2017-01-12 2019-09-20 南京大学 一种权衡立体匹配和视觉外形的三维重建方法
US10580131B2 (en) * 2017-02-23 2020-03-03 Zebra Medical Vision Ltd. Convolutional neural network for segmentation of medical anatomical images
EP3593357A4 (en) * 2017-03-06 2021-01-06 University of Southern California MACHINE LEARNING FOR DIGITAL PATHOLOGY
US10616482B2 (en) * 2017-03-10 2020-04-07 Gopro, Inc. Image quality assessment
WO2018222896A1 (en) * 2017-05-31 2018-12-06 Intel Corporation Gradient-based training engine for quaternion-based machine-learning systems
WO2019024568A1 (zh) * 2017-08-02 2019-02-07 上海市第六人民医院 眼底图像处理方法、装置、计算机设备和存储介质
US10970425B2 (en) * 2017-12-26 2021-04-06 Seiko Epson Corporation Object detection and tracking
US11087130B2 (en) * 2017-12-29 2021-08-10 RetailNext, Inc. Simultaneous object localization and attribute classification using multitask deep neural networks
US10956714B2 (en) * 2018-05-18 2021-03-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting living body, electronic device, and storage medium
CA3027055C (en) * 2018-06-14 2021-10-26 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating a high-resolution map based on binocular images
CN109191512B (zh) * 2018-07-27 2020-10-30 深圳市商汤科技有限公司 双目图像的深度估计方法及装置、设备、程序及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105609A1 (en) * 2010-10-29 2012-05-03 Hoya Corporation Binocular visual performance measuring method, binocular visual performance measuring program, eyeglass lens design method and eyeglass lens manufacturing method
CN102821290A (zh) * 2011-06-06 2012-12-12 索尼公司 图像处理设备、图像处理方法以及程序
US20130107207A1 (en) * 2011-11-02 2013-05-02 Intuitive Surgical Operations, Inc. Method and system for stereo gaze tracking
CN102523464A (zh) * 2011-12-12 2012-06-27 上海大学 一种双目立体视频的深度图像估计方法
TW201712639A (zh) * 2015-09-25 2017-04-01 台達電子工業股份有限公司 立體影像深度圖產生裝置及方法
CN108269273A (zh) * 2018-02-12 2018-07-10 福州大学 一种全景纵向漫游中极线匹配的置信传播方法

Also Published As

Publication number Publication date
JP2021502626A (ja) 2021-01-28
CN109191512B (zh) 2020-10-30
SG11202003899WA (en) 2020-05-28
US11295466B2 (en) 2022-04-05
TW202008310A (zh) 2020-02-16
WO2020019765A1 (zh) 2020-01-30
CN109191512A (zh) 2019-01-11
US20200258250A1 (en) 2020-08-13
JP7123133B2 (ja) 2022-08-22

Similar Documents

Publication Publication Date Title
TWI721510B (zh) 雙目圖像的深度估計方法、設備及儲存介質
US11301719B2 (en) Semantic segmentation model training methods and apparatuses, electronic devices, and storage media
US11170210B2 (en) Gesture identification, control, and neural network training methods and apparatuses, and electronic devices
JP7236545B2 (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
US11232286B2 (en) Method and apparatus for generating face rotation image
TWI766175B (zh) 單目圖像深度估計方法、設備及儲存介質
CN108304775B (zh) 遥感图像识别方法、装置、存储介质以及电子设备
WO2018054329A1 (zh) 物体检测方法和装置、电子设备、计算机程序和存储介质
WO2020098708A1 (zh) 车道线的检测及驾驶控制方法、装置和电子设备
WO2019223382A1 (zh) 单目深度估计方法及其装置、设备和存储介质
EP4145353A1 (en) Neural network construction method and apparatus
WO2019238072A1 (zh) 深度神经网络的归一化方法和装置、设备、存储介质
US10970821B2 (en) Image blurring methods and apparatuses, storage media, and electronic devices
WO2019214344A1 (zh) 系统增强学习方法和装置、电子设备、计算机存储介质
US11004179B2 (en) Image blurring methods and apparatuses, storage media, and electronic devices
CN110176024B (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN113688907B (zh) 模型训练、视频处理方法，装置，设备以及存储介质
CN114746898A (zh) 用于生成图像抠图的三分图的方法和系统
CN114511041B (zh) 模型训练方法、图像处理方法、装置、设备和存储介质
US11694331B2 (en) Capture and storage of magnified images
CN111914908A (zh) 一种图像识别模型训练方法、图像识别方法及相关设备
CN110856014B (zh) 动态图像生成方法、装置、电子设备及存储介质
CN109543556B (zh) 动作识别方法、装置、介质及设备
CN115798005A (zh) 基准照片的处理方法及装置、处理器和电子设备
TWI638338B (zh) 多場景的移動物體偵測方法及其影像處理裝置