TWI807299B - 圖像深度擴增方法、裝置及電子設備 - Google Patents

圖像深度擴增方法、裝置及電子設備 Download PDF

Info

Publication number
TWI807299B
TWI807299B TW110112996A TW110112996A TWI807299B TW I807299 B TWI807299 B TW I807299B TW 110112996 A TW110112996 A TW 110112996A TW 110112996 A TW110112996 A TW 110112996A TW I807299 B TWI807299 B TW I807299B
Authority
TW
Taiwan
Prior art keywords
image
depth information
depth
information
gradient
Prior art date
Application number
TW110112996A
Other languages
English (en)
Other versions
TW202143174A (zh
Inventor
黃郁凱
徐宏民
劉岳承
吳宗翰
黃子魁
黃俊翔
Original Assignee
荷蘭商荷蘭移動驅動器公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 荷蘭商荷蘭移動驅動器公司 filed Critical 荷蘭商荷蘭移動驅動器公司
Publication of TW202143174A publication Critical patent/TW202143174A/zh
Application granted granted Critical
Publication of TWI807299B publication Critical patent/TWI807299B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本申請涉及一種圖像深度擴增方法、裝置及存儲介質。所述方法包括：獲取第一感測器拍攝得到的第一圖像，其中，所述第一圖像包括深度資訊；獲取第二感測器拍攝得到的第二圖像，其中，所述第二圖像包括梯度資訊，所述第一圖像與所述第二圖像相關聯；利用第一圖像之深度資訊及第二圖像之梯度資訊來擴增第一圖像的深度資訊；基於經擴增的第一圖像的深度資訊產生第三圖像；利用所述第三圖像之深度資訊及所述第二圖像之梯度資訊來產生目標深度圖像。本申請能夠提高圖像的深度資訊的密度及準確性。

Description

圖像深度擴增方法、裝置及電子設備
本申請涉及影像處理領域，尤其涉及一種圖像深度擴增方法、裝置及電子設備。
目前用來測量深度的感測器有很多類型，例如鐳射雷達感測器、立體照相機感測器、TOF攝像頭。然而，上述感測器拍攝的影像雖然可以用來估測深度資訊，但是深度資訊太過稀疏。另外，感測器拍攝的影像中的深度資訊存在距離的限制。例如，影像中太近或太遠的物體的深度資訊會缺失。此外，現有技術中常採用立體匹配(Stereo Matching)估算方法估算影像中的深度資訊，立體匹配估算方法基於雙攝像頭拍攝的影像之間成像的視差(disparity)來估算影像的深度資訊。然而，匹配估算方法估算的深度資訊和影像中的場景相關，影像中的場景的物體太單一或場景的顏色太單一會造成深度資訊的估算錯誤。
鑒於以上內容，有必要提供一種圖像深度擴增方法、裝置及電子設備以提高圖像的深度資訊的密度及準確性。
本申請第一方面提供一種圖像深度擴增方法，所述方法包括：利用第一感測器獲得第一圖像，其中，所述第一圖像包括深度資訊； 利用第二感測器獲得第二圖像，其中，所述第二圖像包括梯度資訊，所述第一圖像與所述第二圖像相關聯；利用所述第一圖像之深度資訊及所述第二圖像之梯度資訊來擴增所述第一圖像的深度資訊；基於經擴增的所述第一圖像的深度資訊產生第三圖像；利用所述第三圖像之深度資訊及所述第二圖像之梯度資訊來產生目標深度圖像。
可選地，所述利用所述第一圖像之深度資訊及所述第二圖像之梯度資訊來擴增所述第一圖像的深度資訊包括：在所述第二圖像中選擇預設區域範圍內的圖元點；確定所述預設區域範圍的中心點的圖元點；將所述預設區域範圍內的圖元點的梯度資訊所對應的梯度值分別與所述中心點的梯度值進行差值運算得到圖元點的梯度差值；將所述預設區域範圍中梯度差值在所述預設範圍值內的圖元點作為目標圖元點；將在所述第一圖像中與所述第二圖像的目標圖元點對應的圖元點作為所述第一圖像中待擴增深度資訊的圖像內容；對所述第一圖像中的待擴增深度資訊的圖像內容進行深度資訊的擴增。
可選地，在所述第二圖像中選擇預設區域範圍的圖元點包括：根據所述第一圖像的深度資訊確定所述第二圖像的預設區域範圍，其中所述第二圖像的預設區域範圍的圖元點所對應的第一圖像的圖元點的深度值在閾值範圍內。
可選地，對所述第一圖像中的待擴增深度資訊的圖像內容進行深度資訊的擴增包括： 在所述待擴增深度資訊的圖像內容中不存在深度資訊的圖元點的位置增加與所述待擴增深度資訊的圖像內容相同的深度資訊。
可選地，所述梯度資訊為RGB顏色資訊或灰度資訊。
可選地，所述利用所述第一圖像之深度資訊及所述第二圖像之梯度資訊來擴增所述第一圖像的深度資訊包括：在所述第二圖像中選擇矩陣區塊作為預設區域範圍，並確定所述矩陣區塊的中心點的圖元點；計算所述矩陣區塊的中心點所在列上的所有圖元點的RGB顏色資訊的RGB顏色值與所述矩陣區塊的中心點的RGB顏色值差值；將所述矩陣區塊的列中RGB顏色差值在所述預設範圍值內的圖元點所對應的行作為目標行；計算所述目標行上所有圖元點的RGB顏色值與所述矩陣區塊的中心點的RGB顏色值差值，並將所述RGB顏色差值在所述預設範圍值內的目標行上的圖元點作為目標圖元點；將在所述第一圖像中與所述第二圖像的目標圖元點對應的圖元點作為所述第一圖像中待擴增深度資訊的圖像內容；對所述第一圖像中的待擴增深度資訊的圖像內容進行深度資訊的擴增。
可選地，所述第一圖像與所述第二圖像關聯包括：所述第一圖像與所述第二圖像分別為對同一物體拍攝得到的圖像。
可選地，所述第一感測器為鐳射雷達感測器或毫米波雷達感測器。
本申請第二方面提供一種圖像深度擴增裝置，所述裝置包括：第一圖像獲取模組，用於利用第一感測器獲得第一圖像，其中，所述第一圖像包括深度資訊； 第二圖像獲取模組，用於利用第二感測器獲得第二圖像，其中，所述第二圖像包括梯度資訊，所述第一圖像與所述第二圖像相關聯；深度資訊擴增模組，用於利用所述第一圖像之深度資訊及所述第二圖像之梯度資訊來擴增所述第一圖像的深度資訊；擴增圖像生成模組，用於基於經擴增的所述第一圖像的深度資訊產生第三圖像；目標深度圖生成模組，利用所述第三圖像之深度資訊及所述第二圖像之梯度資訊來產生目標深度圖像。
本申請第三方面提供一種電子設備，所述電子設備包括：記憶體，存儲至少一個指令；及處理器，執行所述記憶體中存儲的指令以實現上述的圖像深度擴增方法。
本申請根據第二感測器拍攝的第二圖像的梯度資訊確定第一感測器拍攝的第一圖像中待擴增深度資訊的圖像內容以對第一圖像進行深度資訊的擴增可以提高第一圖像中的深度資訊的密度及準確性。
30:圖像深度擴增裝置
301:第一圖像獲取模組
302:第二圖像獲取模組
303:擴增資訊確定模組
304:擴增模組
305:目標深度圖生成模組
6:電子設備
61:記憶體
62:處理器
63:電腦程式
64:第一感測器
65:第二感測器
11:第一圖像
12:第二圖像
13:第三圖像
14:目標深度圖像
S11~S15:步驟
圖1為本申請一實施方式中圖像深度擴增方法的流程圖。
圖2a為本申請一實施方式中第一圖像的示意圖。
圖2b為本申請一實施方式中第二圖像的示意圖。
圖3為本申請一實施方式中圖像深度擴增方法的示意圖。
圖4a-4c為本申請一實施方式中確定第二圖像的目標圖元點的示意圖。
圖5a-5d為本申請一實施方式中利用第一圖像之深度資訊及所述第二圖像的梯度資訊來擴增所述第一圖像的深度資訊方法示意圖。
圖6為本申請一實施方式中圖像深度擴增裝置的示意圖。
圖7為本申請一實施方式中電子設備的示意圖。
為了能夠更清楚地理解本申請的上述目的、特徵和優點，下面結合附圖和具體實施例對本申請進行詳細描述。需要說明的是，在不衝突的情況下，本申請的實施例及實施例中的特徵可以相互組合。
在下面的描述中闡述了很多具體細節以便於充分理解本申請，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本申請保護的範圍。
除非另有定義，本文所使用的所有的技術和科學術語與屬於本申請的技術領域的技術人員通常理解的含義相同。本文中在本申請的說明書中所使用的術語只是為了描述具體地實施例的目的，不是旨在於限制本申請。
優選地，本申請圖像深度擴增方法應用在一個或者多個電子設備中。所述電子設備是一種能夠按照事先設定或存儲的指令，自動進行數值計算和/或資訊處理的設備，其硬體包括但不限於微處理器、專用積體電路(Application Specific Integrated Circuit，ASIC)、可程式設計閘陣列(Field-Programmable Gate Array，FPGA)、數位訊號處理器(Digital Signal Processor，DSP)、嵌入式設備等。
所述電子設備可以是桌上型電腦、筆記型電腦、平板電腦及雲端伺服器等計算設備。所述電子設備可以與使用者藉由鍵盤、滑鼠、遙控器、觸控板或聲控設備等方式進行人機交互。
實施例1
圖1是本申請一實施方式中圖像深度擴增方法的流程圖。所述圖像深度擴增方法應用於電子設備6(參見圖7)中。根據不同的需求，所述流程圖中步驟的順序可以改變，某些步驟可以省略。
參考圖1所示，所述圖像深度擴增方法具體包括以下步驟。
步驟S11，利用第一感測器64(參見圖6)獲得第一圖像11，其中，所述第一圖像11包括深度資訊。
本實施方式中，所述第一感測器64為鐳射雷達感測器或毫米波雷達感測器。所述第一感測器64拍攝的第一圖像11的圖元點具有深度資訊。請參考圖2a，所示為本申請一實施方式中第一圖像11的示意圖。所述第一圖像11中的圖元點呈點雲圖分佈。
步驟S12，利用第二感測器65(參見圖6)獲得第二圖像12，其中，所述第二圖像12包括梯度資訊，所述第一圖像11與所述第二圖像12相關聯。
本實施方式中，所述第二感測器65為攝像機。本實施方式中，所述第二圖像12的每一圖元點具有梯度資訊。參考圖2b，所示為本申請一實施方式中第二圖像12的示意圖。所述第二圖像12包括RGB彩色圖像或灰度。本實施方式中，若所述第二圖像12為RGB彩色圖像，所述第二圖像12的梯度資訊為RGB顏色資訊。若所述第二圖像12為灰度圖像，所述第二圖像12的梯度資訊為灰度資訊。本實施方式中，所述第一圖像11與所述第二圖像12相關聯包括：所述第一圖像11與所述第二圖像12分別為對同一物體拍攝得到的圖像，例如，所述第一圖像11及所述第二圖像12分別為對同一物體在同一角度或相近角度拍攝得到的圖像。所述第一圖像11的圖元點與所述第二圖像12的圖元點對應。在具體實施方式中，在第一感測器64拍攝得到第一圖像11後，在與第一圖像11相同或相近的角度利用第二感測器65拍攝得到第二圖像12。
步驟S13，利用所述第一圖像11之深度資訊及所述第二圖像12之梯度資訊來擴增所述第一圖像11的深度資訊。
本實施方式中，利用所述第一圖像11之深度資訊及所述第二圖像12之梯度資訊來擴增所述第一圖像11的深度資訊包括：在所述第二圖像12中選擇預設區域範圍的圖元點；確定所述預設區域範圍的中心點的圖元點；將所述預設區域範圍內的圖元點的梯度資訊所對應的梯度值分別與所述中心點的梯度值進行差值運算得到圖元點的梯度差值；將梯度差值在預設範圍值內的圖元點作為目標圖元點；將在所述第一圖像11中與所述第二圖像12的目標圖元點對應的圖元點作為所述第一圖像11中待擴增深度資訊的圖像內容；對所述第一圖像11中的待擴增深度資訊的圖像內容進行深度資訊的擴增。
本實施方式中，在所述第二圖像12中選擇預設區域範圍的圖元點包括：根據所述第一圖像11的深度資訊確定所述第二圖像12的預設區域範圍，其中所述第二圖像12的預設區域範圍的圖元點所對應的第一圖像11的圖元點的深度值在閾值範圍內。
參考圖3，所示為本申請一實施方式中對所述第一圖像11中的待擴增深度資訊的圖像內容進行深度資訊的擴增的示意圖。本實施方式中，所述對所述第一圖像11中的待擴增深度資訊的圖像內容進行深度資訊的擴增包括：在所述待擴增深度資訊的圖像內容中不存在深度資訊的圖元點的位置增加與所述待擴增深度資訊的圖像內容相同的深度資訊。
本實施方式中，利用所述第一圖像11之深度資訊及所述第二圖像12的RGB顏色資訊來擴增所述第一圖像11的深度資訊。請參考圖4a-4c，所示為本申請一實施方式中確定第二圖像的目標圖元點的示意圖。參考圖4a，在所述第二圖像12中選擇5x5的矩陣區塊作為第一預設區域範圍，並確定所述矩陣區塊的中心點的圖元點。參考圖4b，計算所述矩陣區塊的中心點所在列上的所 有圖元點的RGB顏色值與中心點的RGB顏色值差值；將所述矩陣區塊的列中RGB顏色差值在第一預設範圍值內的圖元點所對應的行作為目標行。本實施方式中，所述第一預設範圍值可以根據使用者需要進行設定，例如可以將所述第一預設範圍值設置為0至2。參考圖4c，計算所述目標行上所有圖元點的RGB顏色值與中心點的RGB顏色值差值，並將RGB顏色差值在第一預設範圍值內的目標行上的圖元點作為目標圖元點；並將在所述第一圖像11中與所述第二圖像12的目標圖元點對應的圖元點作為所述第一圖像11中待擴增深度資訊的圖像內容；對所述第一圖像11中的待擴增深度資訊的圖像內容進行深度資訊的擴增。
本實施方式中，所述利用所述第一圖像11之深度資訊及所述第二圖像12之梯度資訊來擴增所述第一圖像11的深度資訊包括：利用深度學習模型根據所述第一圖像11之深度資訊及所述第二圖像12之梯度資訊來擴增所述第一圖像11的深度資訊。所述深度學習網路可以為基於遺傳演算法的神經網路或PSM網路。
請參考圖5a-5d，所示為本申請一實施方式中利用所述第一圖像11之深度資訊及所述第二圖像12的梯度資訊來擴增所述第一圖像11的深度資訊方法示意圖。其中，圖5a為第二圖像，例如，圖5a為RGB圖像，圖5b-圖5d為第一圖像，例如圖5b-圖5d為雷達圖像或光達圖像。本實施方式中，利用深度學習模型根據所述第一圖像11之深度資訊及所述第二圖像12之梯度資訊來擴增所述第一圖像11的深度資訊包括：將所述第二圖像12的梯度資訊輸入所述深度學習模型，並經所述深度學習模型處理後輸出第二圖像12的信心指數資訊，其中所述信心指數資訊用於表示圖像中屬於同一物體或具有同一深度資訊的可能程度，所述信心指數資訊的信心指數的取值在0至255之間，其中，信心指數的值越大，圖像中屬於同一物體或具有同一深度資訊的可能程度越大，信心指 數的值越小，圖像中屬於同一物體或具有同一深度資訊的可能程度越小；參考圖5a，在所述第二圖像12的中選擇5x5的矩陣區塊作為第二預設區域範圍，並確定所述矩陣區塊的中心點的圖元點；計算所述矩陣區塊的中心點所在列上的所有圖元點的信心指數值與中心點的信心指數差值；將所述矩陣區塊的列中信心指數差值在第二預設範圍值內的圖元點所對應的行作為目標行。本實施方式中，所述第二預設範圍值可以根據使用者需要進行設定，例如可以將所述第二預設範圍值設置為0至8。計算所述目標行上所有圖元點的信心指數值與中心點的信心指數值差值，並將信心指數值差值在第二預設範圍值內的目標行上的圖元點作為目標圖元點；並將在所述第一圖像11中與所述第二圖像12的目標圖元點對應的圖元點作為所述第一圖像11中待擴增深度資訊的圖像內容；參考圖5b-5d，對所述第一圖像11中的待擴增深度資訊的圖像內容進行深度資訊的擴增。
本實施例中，對所述第一圖像11中的待擴增深度資訊的圖像內容進行深度資訊的擴增包括：在所述第一圖像11中的待擴增深度資訊的圖像內容中不存在深度資訊的圖元點的位置增加與所述第二圖像12的預設區域範圍的中心點對應的第一圖像11的圖元點的的深度資訊相同的深度資訊。例如，參考圖5b，與第二圖像12的第二預設區域範圍的中心點對應的第一圖像11的圖元點的深度資訊為50，參考圖5c-5d，在所述第一圖像11中的待擴增深度資訊的圖像內容中不存在深度資訊的圖元點的位置增加深度資訊50。
本實施方式中，所述深度學習模型利用第二圖像12的圖元點的距離資訊、RGB顏色資訊、灰度資訊或邊緣資訊對所述第二圖像12進行處理後輸出所述第二圖像12的信心指數資訊。
步驟S14，基於經擴增的所述第一圖像11的深度資訊產生第三圖像13。
本實施方式中，所述第一圖像11基於經擴增的所述第一圖像11的深度資訊產生所述第三圖像13。具體地，所述第一圖像11中對待擴增深度資訊的圖像內容進行深度資訊的擴增後產生所述第三圖像13。
步驟S15，利用所述第三圖像13之深度資訊及所述第二圖像12之梯度資訊來產生目標深度圖像14。
本實施例中，利用所述第三圖像13之深度資訊及所述第二圖像12之梯度資訊來產生目標深度圖像14包括：將所述第三圖像13之深度資訊及所述第二圖像12之梯度資訊輸入至深度生成網路經訓練得到稠密的目標深度圖像14。本實施例中，所述第二圖像為立體圖像(stereo image)。所述深度生成網路可以為基於遺傳演算法的神經網路或PSM網路。
本申請根據第二感測器65拍攝的第二圖像12的梯度資訊確定第一感測器64拍攝的第一圖像11中待擴增深度資訊的圖像內容以對第一圖像11進行深度資訊的擴增可以提高第一圖像11中的深度資訊的密度及準確性。
實施例2
圖6為本申請一實施方式中圖像深度擴增裝置30的結構圖。
在一些實施例中，所述圖像深度擴增裝置30運行於電子設備中。所述圖像深度擴增裝置30可以包括多個由程式碼段所組成的功能模組。所述圖像深度擴增裝置30中的各個程式段的程式碼可以存儲於記憶體中，並由至少一個處理器所執行，以執行圖像深度擴增功能。
本實施例中，所述圖像深度擴增裝置30根據其所執行的功能，可以被劃分為多個功能模組。參考圖6所示，所述圖像深度擴增裝置30可以包括第一圖像11獲取模組301、第二圖像12獲取模組302、深度資訊擴增模組303、擴增圖像生成模組304、目標深度圖生成模組305。本申請所稱的模組是指一種能夠被至少一個處理器所執行並且能夠完成固定功能的一系列電腦程式段，其 存儲在記憶體中。所述在一些實施例中，關於各模組的功能將在後續的實施例中詳述。
所述第一圖像11獲取模組301用於利用第一感測器64獲得第一圖像11，其中，所述第一圖像11包括深度資訊。
所述第二圖像12獲取模組302用於利用第二感測器65獲得第二圖像12，其中，所述第二圖像12包括梯度資訊，所述第一圖像11與所述第二圖像12相關聯。
本實施方式中，所述第二圖像12的每一圖元點具有梯度資訊。所述第二圖像12包括RGB彩色圖像或灰度。本實施方式中，若所述第二圖像12為RGB彩色圖像，所述第二圖像12的梯度資訊為RGB顏色資訊。若所述第二圖像12為灰度圖像，所述第二圖像12的梯度資訊為灰度資訊。本實施方式種，所述第一圖像11與所述第二圖像12相關聯包括：所述第一圖像11與所述第二圖像12分別為對同一物體拍攝得到的圖像，例如，所述第一圖像11及所述第二圖像12分別為對同一物體在同一角度或相近角度拍攝得到的圖像。所述第一圖像11的圖元點與所述第二圖像12的圖元點對應。在具體實施方式中，在第一感測器64拍攝得到第一圖像11後，在與第一圖像11相同或相近的角度利用第二感測器65拍攝得到第二圖像12。
所述深度資訊擴增模組303利用所述第一圖像11之深度資訊及所述第二圖像12之梯度資訊來擴增所述第一圖像11的深度資訊
本實施方式中，所述深度資訊擴增模組303在所述第二圖像12中選擇預設區域範圍的圖元點；確定所述預設區域範圍的中心點的圖元點；將所述預設區域範圍內的圖元點的梯度資訊所對應的梯度值分別與所述中心點的梯度值進行差值運算得到圖元點的梯度差值；將梯度差值在預設範圍值內的圖元點作為目標圖元點；將在所述第一圖像11中與所述第二圖像12的目標圖元點對 應的圖元點作為所述第一圖像11中待擴增深度資訊的圖像內容；對所述第一圖像11中的待擴增深度資訊的圖像內容進行深度資訊的擴增。
本實施方式中，所述深度資訊擴增模組303根據所述第一圖像11的深度資訊確定所述第二圖像12的預設區域範圍，其中所述第二圖像12的預設區域範圍的圖元點所對應的第一圖像11的圖元點的深度值在閾值範圍內。
本實施方式中，所述深度資訊擴增模組303在所述待擴增深度資訊的圖像內容中不存在深度資訊的圖元點的位置增加與所述待擴增深度資訊的圖像內容相同的深度資訊。
本實施方式中，所述深度資訊擴增模組303利用所述第一圖像11之深度資訊及所述第二圖像12的RGB顏色資訊來擴增所述第一圖像11的深度資訊。參考圖4a，所述深度資訊擴增模組303在所述第二圖像12中選擇5x5的矩陣區塊作為第二預設區域範圍，並確定所述矩陣區塊的中心點的圖元點。參考圖4b，所述深度資訊擴增模組303計算所述矩陣區塊的中心點所在列上的所有圖元點的RGB顏色值與中心點的RGB顏色值差值；將所述矩陣區塊的列中RGB顏色差值在第一預設範圍值內的圖元點所對應的行作為目標行。本實施方式中，所述第一預設範圍值可以根據使用者需要進行設定，例如可以將所述第一預設範圍值設置為0至2。參考圖4c，所述深度資訊擴增模組303計算所述目標行上所有圖元點的RGB顏色值與中心點的RGB顏色值差值，並將RGB顏色差值在第一預設範圍值內的目標行上的圖元點作為目標圖元點；並將在所述第一圖像11中與所述第二圖像12的目標圖元點對應的圖元點作為所述第一圖像11中待擴增深度資訊的圖像內容；對所述第一圖像11中的待擴增深度資訊的圖像內容進行深度資訊的擴增。
本實施方式中，所述深度資訊擴增模組303利用深度學習模型根據所述第一圖像11之深度資訊及所述第二圖像12之梯度資訊來擴增所述第一 圖像11的深度資訊。所述深度學習網路可以為基於遺傳演算法的神經網路或PSM網路。
所述深度資訊擴增模組303將所述第二圖像12的梯度資訊輸入所述深度學習模型，並經所述深度學習模型處理後輸出第二圖像12的信心指數資訊，其中所述信心指數資訊用於表示圖像中屬於同一物體或具有同一深度資訊的可能程度，所述信心指數資訊的信心指數的取值在0至255之間，其中，信心指數的值越大，圖像中屬於同一物體或具有同一深度資訊的可能程度越大，信心指數的值越小，圖像中屬於同一物體或具有同一深度資訊的可能程度越小；參考圖5a，在所述第二圖像12的中選擇5x5的矩陣區塊作為預設區域範圍，並確定所述矩陣區塊的中心點的圖元點。所述深度資訊擴增模組303計算所述矩陣區塊的中心點所在列上的所有圖元點的信心指數值與中心點的信心指數差值；將所述矩陣區塊的列中信心指數差值在第二預設範圍值內的圖元點所對應的行作為目標行。本實施方式中，所述第二預設範圍值可以根據使用者需要進行設定，例如可以將所述第二預設範圍值設置為0至8。所述深度資訊擴增模組303計算所述目標行上所有圖元點的信心指數值與中心點的信心指數值差值，並將信心指數值差值在第二預設範圍值內的目標行上的圖元點作為目標圖元點；並將在所述第一圖像11中與所述第二圖像12的目標圖元點對應的圖元點作為所述第一圖像11中待擴增深度資訊的圖像內容。參考圖5b-5d，所述深度資訊擴增模組303對所述第一圖像11中的待擴增深度資訊的圖像內容進行深度資訊的擴增。
本實施例中，所述深度資訊擴增模組303在所述第一圖像11中的待擴增深度資訊的圖像內容中不存在深度資訊的圖元點的位置增加與所述第二圖像12的預設區域範圍的中心點對應的第一圖像11的圖元點的的深度資訊相同的深度資訊。例如，參考圖5b，與第二圖像12的第二預設區域範圍的中心點 對應的第一圖像11的圖元點的深度資訊為50，參考圖5c-5d，所述深度資訊擴增模組303在所述第一圖像11中的待擴增深度資訊的圖像內容中不存在深度資訊的圖元點的位置增加深度資訊50。
本實施方式中，所述深度學習模型利用第二圖像12的圖元點的距離資訊、RGB顏色資訊、灰度資訊或邊緣資訊對所述第二圖像12進行處理後輸出所述第二圖像12的信心指數資訊。
所述目標深度圖生成模組305用於利用所述第三圖像13之深度資訊及所述第二圖像12之梯度資訊來產生目標深度圖像14。
本實施例中，所述目標深度圖生成模組305將所述第三圖像13之深度資訊及所述第二圖像12之梯度資訊輸入至深度生成網路經訓練得到稠密的目標深度圖像14。所述深度生成網路可以為基於遺傳演算法的神經網路或PSM網路。
本申請根據第二感測器65拍攝的第二圖像12的梯度資訊確定第一感測器64拍攝的第一圖像11中待擴增深度資訊的圖像內容以對第一圖像11進行深度資訊的擴增可以提高第一圖像11中的深度資訊的密度及準確性。
實施例3
圖7為本申請一實施方式中電子設備6的示意圖。
所述電子設備6包括記憶體61、處理器62以及存儲在所述記憶體61中並可在所述處理器62上運行的電腦程式63、第一感測器64及第二感測器65。所述處理器62執行所述電腦程式63時實現上述圖像深度擴增方法實施例中的步驟，例如圖1所示的步驟S11~S15。或者，所述處理器62執行所述電腦程式63時實現上述圖像深度擴增裝置實施例中各模組/單元的功能，例如圖6中的模組301~305。
示例性的，所述電腦程式63可以被分割成一個或多個模組/單元，所述一個或者多個模組/單元被存儲在所述記憶體61中，並由所述處理器62執行，以完成本申請。所述一個或多個模組/單元可以是能夠完成特定功能的一系列電腦程式指令段，所述指令段用於描述所述電腦程式63在所述電子設備6中的執行過程。例如，所述電腦程式63可以被分割成圖5中的第一圖像獲取模組301、第二圖像獲取模組302、深度資訊擴增模組303、擴增圖像生成模組304、目標深度圖生成模組305，各模組具體功能參見實施例2。
本實施方式中，所述電子設備6可以是桌上型電腦、筆記本、掌上型電腦、伺服器及雲端終端裝置等計算設備。本領域技術人員可以理解，所述示意圖僅僅是電子設備6的示例，並不構成對電子設備6的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如所述電子設備6還可以包括輸入輸出設備、網路接入設備、匯流排等。
所稱處理器62可以是中央處理模組(Central Processing Unit，CPU)，還可以是其他通用處理器、數位訊號處理器(Digital Signal Processor，DSP)、專用積體電路(Application Specific Integrated Circuit，ASIC)、現場可程式設計閘陣列(Field-Programmable Gate Array，FPGA)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可以是微處理器或者所述處理器62也可以是任何常規的處理器等，所述處理器62是所述電子設備6的控制中心，利用各種介面和線路連接整個電子設備6的各個部分。
所述記憶體61可用於存儲所述電腦程式63和/或模組/單元，所述處理器62藉由運行或執行存儲在所述記憶體61內的電腦程式和/或模組/單元，以及調用存儲在記憶體61內的資料，實現所述電子設備6的各種功能。所述記憶體61可主要包括存儲程式區和存儲資料區，其中，存儲程式區可存儲作業系統、至少一個功能所需的應用程式(比如聲音播放功能、圖像播放功能等)等； 存儲資料區可存儲根據電子設備6的使用所創建的資料(比如音訊資料、電話本等)等。此外，記憶體61可以包括高速隨機存取記憶體，還可以包括非易失性記憶體，例如硬碟、記憶體、插接式硬碟，智慧存儲卡(Smart Media Card,SMC)，安全數位(Secure Digital,SD)卡，快閃記憶體卡(Flash Card)、至少一個磁碟記憶體件、快閃記憶體器件、或其他易失性固態記憶體件。
所述電子設備6集成的模組/單元如果以軟體功能模組的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個電腦可讀取存儲介質中。基於這樣的理解，本申請實現上述實施例方法中的全部或部分流程，也可以藉由電腦程式來指令相關的硬體來完成，所述的電腦程式可存儲於一電腦可讀存儲介質中，所述電腦程式在被處理器執行時，可實現上述各個方法實施例的步驟。其中，所述電腦程式包括電腦程式代碼，所述電腦程式代碼可以為原始程式碼形式、物件代碼形式、可執行檔或某些中間形式等。所述電腦可讀介質可以包括：能夠攜帶所述電腦程式代碼的任何實體或裝置、記錄介質、隨身碟、移動硬碟、磁碟、光碟、電腦記憶體、唯讀記憶體(ROM，Read-Only Memory)、隨機存取記憶體(RAM，Random Access Memory)、電載波信號、電信信號以及軟體分發介質等。
在本申請所提供的幾個實施例中，應該理解到，所揭露的裝置和方法，可以藉由其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模組的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。
另外，在本申請各個實施例中的各功能模組可以集成在相同處理模組中，也可以是各個模組單獨物理存在，也可以兩個或兩個以上模組集成在相同模組中。上述集成的模組既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。
對於本領域技術人員而言，顯然本發明不限於上述示範性實施例的細節，而且在不背離本發明的精神或基本特徵的情況下，能夠以其他的具體形式實現本發明。因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本發明的範圍由所附請求項而不是上述說明限定，因此旨在將落在申請專利範圍的等同要件的含義和範圍內的所有變化涵括在本發明內。不應將申請專利範圍中的任何附圖標記視為限制所涉及的申請專利範圍。此外，顯然“包括”一詞不排除其他模組或步驟，單數不排除複數。電子設備申請專利範圍中陳述的多個模組或電子設備也可以由同一個模組或電子設備藉由軟體或者硬體來實現。第一、第二等詞語用來表示名稱，而並不表示任何特定的順序。
綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上所述僅為本發明之較佳實施方式，舉凡熟悉本案技藝之人士，在爰依本案創作精神所作之等效修飾或變化，皆應包含於以下之申請專利範圍內。
S11~S15:步驟

Claims (9)

  1. 一種圖像深度擴增方法，應用於電子設備中，其改良在於，所述方法包括：利用第一感測器獲得第一圖像，其中，所述第一圖像包括深度資訊；利用第二感測器獲得第二圖像，其中，所述第二圖像包括梯度資訊，所述第一圖像與所述第二圖像相關聯；利用所述第一圖像之深度資訊及所述第二圖像之梯度資訊來擴增所述第一圖像的深度資訊，包括:在所述第二圖像中選擇預設區域範圍內的圖元點；確定所述預設區域範圍的中心點的圖元點；將所述預設區域範圍內的圖元點的梯度資訊所對應的梯度值分別與所述中心點的梯度值進行差值運算得到圖元點的梯度差值；將所述預設區域範圍中梯度差值在所述預設範圍值內的圖元點作為目標圖元點；將在所述第一圖像中與所述第二圖像的目標圖元點對應的圖元點作為所述第一圖像中待擴增深度資訊的圖像內容；對所述第一圖像中的待擴增深度資訊的圖像內容進行深度資訊的擴增；基於經擴增的所述第一圖像的深度資訊產生第三圖像；利用所述第三圖像之深度資訊及所述第二圖像之梯度資訊來產生目標深度圖像。
  2. 如請求項1所述的圖像深度擴增方法，其中，在所述第二圖像中選擇預設區域範圍的圖元點包括：根據所述第一圖像的深度資訊確定所述第二圖像的預設區域範圍，其中所述第二圖像的預設區域範圍的圖元點所對應的第一圖像的圖元點的深度值在閾值範圍內。
  3. 如請求項1所述的圖像深度擴增方法，其中，對所述第一圖像中的待擴增深度資訊的圖像內容進行深度資訊的擴增包括： 在所述待擴增深度資訊的圖像內容中不存在深度資訊的圖元點的位置增加與所述待擴增深度資訊的圖像內容相同的深度資訊。
  4. 如請求項1所述的圖像深度擴增方法，其中，所述梯度資訊為RGB顏色資訊或灰度資訊。
  5. 如請求項4所述的圖像深度擴增方法，其中，所述利用所述第一圖像之深度資訊及所述第二圖像之梯度資訊來擴增所述第一圖像的深度資訊包括：在所述第二圖像中選擇矩陣區塊作為預設區域範圍，並確定所述矩陣區塊的中心點的圖元點；計算所述矩陣區塊的中心點所在列上的所有圖元點的RGB顏色資訊的RGB顏色值與所述矩陣區塊的中心點的RGB顏色值差值；將所述矩陣區塊的列中RGB顏色差值在所述預設範圍值內的圖元點所對應的行作為目標行；計算所述目標行上所有圖元點的RGB顏色值與所述矩陣區塊的中心點的RGB顏色值差值，並將所述RGB顏色差值在所述預設範圍值內的目標行上的圖元點作為目標圖元點；將在所述第一圖像中與所述第二圖像的目標圖元點對應的圖元點作為所述第一圖像中待擴增深度資訊的圖像內容；對所述第一圖像中的待擴增深度資訊的圖像內容進行深度資訊的擴增。
  6. 如請求項1所述的圖像深度擴增方法，其中，所述第一圖像與所述第二圖像關聯包括：所述第一圖像與所述第二圖像分別為對同一物體拍攝得到的圖像。
  7. 如請求項1所述的圖像深度擴增方法，其中，所述第一感測器為鐳射雷達感測器或毫米波雷達感測器。
  8. 一種圖像深度擴增裝置，其改良在於，所述裝置包括：第一圖像獲取模組，用於利用第一感測器獲得第一圖像，其中，所述第一圖像包括深度資訊；第二圖像獲取模組，用於利用第二感測器獲得第二圖像，其中，所述第二圖像包括梯度資訊，所述第一圖像與所述第二圖像相關聯；深度資訊擴增模組，用於利用所述第一圖像之深度資訊及所述第二圖像之梯度資訊來擴增所述第一圖像的深度資訊，包括：在所述第二圖像中選擇預設區域範圍內的圖元點；確定所述預設區域範圍的中心點的圖元點；將所述預設區域範圍內的圖元點的梯度資訊所對應的梯度值分別與所述中心點的梯度值進行差值運算得到圖元點的梯度差值；將所述預設區域範圍中梯度差值在所述預設範圍值內的圖元點作為目標圖元點；將在所述第一圖像中與所述第二圖像的目標圖元點對應的圖元點作為所述第一圖像中待擴增深度資訊的圖像內容；對所述第一圖像中的待擴增深度資訊的圖像內容進行深度資訊的擴增；擴增圖像生成模組，用於基於經擴增的所述第一圖像的深度資訊產生第三圖像；目標深度圖生成模組，利用所述第三圖像之深度資訊及所述第二圖像之梯度資訊來產生目標深度圖。
  9. 一種電子設備，其改良在於，所述電子設備包括：記憶體，存儲至少一個指令；及處理器，執行所述記憶體中存儲的指令以實現如請求項1至7中任一項所述的圖像深度擴增方法。
TW110112996A 2020-04-09 2021-04-09 圖像深度擴增方法、裝置及電子設備 TWI807299B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063007929P 2020-04-09 2020-04-09
US63/007929 2020-04-09

Publications (2)

Publication Number Publication Date
TW202143174A TW202143174A (zh) 2021-11-16
TWI807299B true TWI807299B (zh) 2023-07-01

Family

ID=78005774

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110112996A TWI807299B (zh) 2020-04-09 2021-04-09 圖像深度擴增方法、裝置及電子設備

Country Status (2)

Country Link
US (1) US11657485B2 (zh)
TW (1) TWI807299B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110221690B (zh) * 2019-05-13 2022-01-04 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
TWI817594B (zh) * 2022-07-04 2023-10-01 鴻海精密工業股份有限公司 圖像深度識別方法、電腦設備及儲存介質
CN115049791B (zh) * 2022-08-12 2022-11-04 山东鲁晟精工机械有限公司 结合图像处理的数控车床工件三维建模方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103916654A (zh) * 2012-12-28 2014-07-09 三星电子株式会社 获得深度信息的方法和显示设备
US20170351403A1 (en) * 2016-06-07 2017-12-07 Futurewei Technologis, Inc. Pressure conforming three-dimensional icons
CN109087349A (zh) * 2018-07-18 2018-12-25 亮风台（上海）信息科技有限公司 一种单目深度估计方法、装置、终端和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8401336B2 (en) * 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
DE102016200660A1 (de) * 2015-12-23 2017-06-29 Robert Bosch Gmbh Verfahren zur Erstellung einer Tiefenkarte mittels einer Kamera
US11449061B2 (en) * 2016-02-29 2022-09-20 AI Incorporated Obstacle recognition method for autonomous robots
US11348269B1 (en) * 2017-07-27 2022-05-31 AI Incorporated Method and apparatus for combining data to construct a floor plan

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103916654A (zh) * 2012-12-28 2014-07-09 三星电子株式会社 获得深度信息的方法和显示设备
US20170351403A1 (en) * 2016-06-07 2017-12-07 Futurewei Technologis, Inc. Pressure conforming three-dimensional icons
CN109087349A (zh) * 2018-07-18 2018-12-25 亮风台（上海）信息科技有限公司 一种单目深度估计方法、装置、终端和存储介质

Also Published As

Publication number Publication date
US11657485B2 (en) 2023-05-23
TW202143174A (zh) 2021-11-16
US20210319576A1 (en) 2021-10-14

Similar Documents

Publication Publication Date Title
TWI807299B (zh) 圖像深度擴增方法、裝置及電子設備
WO2021057848A1 (zh) 网络的训练方法、图像处理方法、网络、终端设备及介质
WO2020207191A1 (zh) 虚拟物体被遮挡的区域确定方法、装置及终端设备
US10846870B2 (en) Joint training technique for depth map generation
CN108733342B (zh) 音量调节方法、移动终端及计算机可读存储介质
WO2020125500A1 (zh) 机器人避障控制方法、装置及终端设备
WO2021164269A1 (zh) 基于注意力机制的视差图获取方法和装置
CN112966725B (zh) 匹配模板图像的方法、装置及终端设备
US9824494B2 (en) Hybrid surfaces for mesh repair
CN109598250B (zh) 特征提取方法、装置、电子设备和计算机可读介质
CN113505848B (zh) 模型训练方法和装置
CN110211017B (zh) 图像处理方法、装置及电子设备
US20220351490A1 (en) Convolution calculation method, convolution calculation apparatus, and terminal device
TW202044068A (zh) 訊息處理方法及其裝置、電子設備和儲存媒體
WO2021139178A1 (zh) 图像合成方法及相关设备
CN113298122A (zh) 目标检测方法、装置和电子设备
CN112508996A (zh) 无锚点孪生网络角点生成的目标跟踪方法及装置
JP2022068146A (ja) データ注釈方法、装置、電子機器、記憶媒体およびコンピュータプログラム
TW202223920A (zh) 幹細胞密度確定方法、裝置、電腦裝置及儲存介質
TWI734151B (zh) 參數同步方法、電腦裝置及存儲介質
CN114898366B (zh) 一种稀疏点云抽稀方法、装置及存储介质
TW202236160A (zh) 細胞密度分群方法、裝置、電子設備及電腦存儲介質
CN111383238B (zh) 目标检测方法、目标检测装置及智能终端
US20230394620A1 (en) Method for generating distorted images, and electronic device
WO2024079853A1 (ja) 情報処理装置、情報処理方法、及び記録媒体