TW202029125A - 圖像處理方法及裝置、電子設備和儲存介質 - Google Patents

圖像處理方法及裝置、電子設備和儲存介質 Download PDF

Info

Publication number
TW202029125A
TW202029125A TW108147449A TW108147449A TW202029125A TW 202029125 A TW202029125 A TW 202029125A TW 108147449 A TW108147449 A TW 108147449A TW 108147449 A TW108147449 A TW 108147449A TW 202029125 A TW202029125 A TW 202029125A
Authority
TW
Taiwan
Prior art keywords
image
map
feature
feature map
binocular
Prior art date
Application number
TW108147449A
Other languages
English (en)
Other versions
TWI706379B (zh
Inventor
周尚辰
張佳維
任思捷
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202029125A publication Critical patent/TW202029125A/zh
Application granted granted Critical
Publication of TWI706379B publication Critical patent/TWI706379B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公開關於一種圖像處理方法及裝置、電子設備和儲存介質，其中所述方法包括：獲取雙目圖像，其中，所述雙目圖像包括針對同一對象在同一場景下拍攝的第一圖像和第二圖像；獲得所述雙目圖像的第一特徵圖、所述雙目圖像的第一深度圖，以及融合所述雙目圖像的圖像特徵和深度特徵的第二特徵圖；對所述雙目圖像、所述雙目圖像的第一特徵圖、第一深度圖以及所述第二特徵圖進行特徵融合處理，得到所述雙目圖像的融合特徵圖；對所述雙目圖像的融合特徵圖執行優化處理，得到去模糊處理後的雙目圖像。

Description

圖像處理方法及裝置、電子設備和儲存 介質
本公開關於圖像處理領域但不限於圖像處理領域，特別關於雙目圖像的圖像處理方法及裝置、電子設備和儲存介質。
當前雙目視覺在智慧手機、無人駕駛、無人機和機器人等領域得到了飛速發展。雙目相機如今無處不在，且基於雙目圖像的相關課題研究也得到了進一步的發展，例如在立體匹配、雙目圖像超分辨、雙目風格轉換等領域都有所應用。然而，在應用中通常會由於相機晃動、失焦、物體高速運動等因素造成圖像模糊的情況。針對該情況，雙目去模糊領域只有極少量的研究成果，且優化的方法在性能和效率上都不盡人意。
本公開實施例提供了一種提高雙目圖像精度的圖像處理方法及裝置、電子設備和儲存介質。
根據本公開的一方面，提供了一種圖像處理方法，其包括：獲取雙目圖像，其中，所述雙目圖像包括針對同一對象在同一場景下拍攝的第一圖像和第二圖像；獲得所述雙目圖像的第一特徵圖、所述雙目圖像的第一深度圖，以及融合所述雙目圖像的圖像特徵和深度特徵的第二特徵圖；對所述雙目圖像、所述雙目圖像的第一特徵圖、第一深度圖以及所述第二特徵圖進行特徵融合處理，得到所述雙目圖像的融合特徵圖；對所述雙目圖像的融合特徵圖執行優化處理，得到去模糊處理後的雙目圖像。
根據本公開的第二方面，提供了一種圖像處理裝置，其包括：獲取模組，配置為獲取雙目圖像，其中，所述雙目圖像包括針對同一對象在同一場景下拍攝的第一圖像和第二圖像；特徵提取模組，配置為獲得所述雙目圖像的第一特徵圖、所述雙目圖像的第一深度圖，以及融合所述雙目圖像的圖像特徵和深度特徵的第二特徵圖；特徵融合模組，配置為對所述雙目圖像、所述雙目圖像的第一特徵圖、第一深度圖以及所述第二特徵圖進行特徵融合處理，得到所述雙目圖像的融合特徵圖；優化模組，配置為對所述雙目圖像的融合特徵圖執行優化處理，得到去模糊處理後的雙目圖像。
根據本公開的第三方面，提供了一種電子設備，其包括：處理器；配置為儲存處理器可執行指令的記憶 體；其中，所述處理器被配置為：執行第一方面中任意一項所述的方法。
根據本公開的第四方面，提供了一種電腦可讀儲存介質，其上儲存有電腦程式指令，其中，所述電腦程式指令被處理器執行時實現第一方面中任意一項所述的方法。
根據本公開的第五方面，提供了一種電腦程式產品，所述電腦程式產品包括電腦程式指令，其中，所述電腦程式指令被處理器執行時實現第一方面中任意一項所述的方法。
本公開實施例可以實現將雙目圖像作為輸入，並分別對雙目圖像中的第一圖像和第二圖像執行特徵提取處理得到對應的第一特徵圖，並可以獲得雙目圖像中第一圖像和第二圖像的深度圖，而後可以對獲得的特徵進行融合，得到包含視圖資訊和深度資訊的融合特徵，該融合特徵包含更豐富的圖片資訊且對空間變化的模糊更加魯棒，最後再將融合特徵執行優化處理，得到清晰的雙目圖像。本公開實施例對雙目圖像進行去模糊處理，提高了圖像的精度和清晰度。應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本公開。根據下面參考附圖對示例性實施例的詳細說明，本公開的其它特徵及方面將變得清楚。
10‧‧‧獲取模組
20‧‧‧特徵提取模組
30‧‧‧特徵融合模組
40‧‧‧優化模組
800‧‧‧電子設備
802‧‧‧處理組件
804‧‧‧記憶體
806‧‧‧電源組件
808‧‧‧多媒體組件
810‧‧‧音頻組件
812‧‧‧輸入/輸出介面
814‧‧‧感測器組件
816‧‧‧通信組件
820‧‧‧處理器
1900‧‧‧電子設備
1922‧‧‧處理組件
1926‧‧‧電源組件
1932‧‧‧記憶體
1950‧‧‧網路介面
1958‧‧‧輸入輸出介面
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本公開的實施例，並與說明書一起用於說明本公開的技術方案。
圖1示出根據本公開實施例的一種圖像處理方法的流程圖；
圖2示出根據本公開實施例的圖像處理方法中步驟S20的流程圖；
圖3示出根據本公開實施例中實現圖像處理方法的神經網路模型的方塊圖；
圖4示出根據本公開實施例的上下文感知單元的結構方塊圖；
圖5示出根據本公開實施例的圖像處理方法中步驟S23的流程圖；
圖6示出根據本公開實施例的圖像處理方法中步驟S20的另一流程圖；
圖7示出根據本公開實施例的圖像處理方法中步驟S30的流程圖；
圖8示出根據本公開實施例的融合網路模組的方塊圖；
圖9示出根據本公開實施例的圖像處理方法中步驟S31的流程圖；
圖10示出根據本公開實施例的圖像處理裝置的方塊圖；
圖11示出根據本公開實施例的一種電子設備800的方塊圖；
圖12示出根據本公開實施例的一種電子設備1900的方塊圖。
以下將參考附圖詳細說明本公開的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的組件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，為了更好地說明本公開，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本公開同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、組件和電路未作詳細描述，以便於凸顯本公開的主旨。
圖1示出根據本公開實施例的一種圖像處理方法的流程圖，其中本公開實施例的圖像處理方法可以用於對雙目圖像執行去模糊處理，得到清晰的雙目圖像。本公開實施例的方法可以應用在雙目相機、雙目攝影設備、飛行器或者其他具有攝影功能的設備中，或者本公開實施例也可以應用在具有圖像處理的電子設備或者伺服器設備中，如手機、電腦設備等，本公開對此不進行具體限定，只要能夠執行雙目攝影操作，或者能夠執行圖像處理功能就可以應用本公開實施例。下面結合圖1對本公開實施例進行說明。
如圖1所示，本公開實施例的圖像處理方法可以包括如下：
S10：獲取雙目圖像，其中，所述雙目圖像包括針對同一對象在同一場景下拍攝的第一圖像和第二圖像。
如上所述，本公開實施例的方法可以應用攝影設備或者圖像處理設備中，通過上述設備可以獲取雙目圖像，例如通過攝影設備採集，或者通過其他設備傳輸雙目圖像。雙目圖像可以包括第一圖像和第二圖像，由於在實際應用過程中，採集雙目視圖的攝影設備可以會由於各種因素(如設備抖動、拍攝對象的運動等情況)，而造成圖像模糊或者清晰度較低的情況，本公開實施例可以實現對於雙目圖像的去模糊化處理，得到清晰的雙目圖像。其中，根據攝影設備的結構情況的不同，雙目圖像中第一圖像和第二圖像可以分別構造為左側圖像和右側圖像，或者，也可以構造為上側視圖和下側視圖，具體可以根據採集雙目圖像的攝影設備 的攝影鏡頭的位置而確定，本公開實施例對此不進行具體限定。
S20：獲得所述雙目圖像的第一特徵圖、所述雙目圖像的第一深度圖，以及融合所述雙目圖像的圖像特徵和深度特徵的第二特徵圖。
在一些實施例中，所述雙目圖像可為在一個同一個時刻對一個對象採集的不同角度的圖像。如此，結合雙目圖像的視角差就可以確定出該對象的深度值。例如，利用雙目攝影頭模擬人的雙眼分別對一個對象從不同角度採集圖像，在同一個時刻攝影頭採集的兩個圖像就可作為所述雙目圖像。在得到雙目圖像之後，即可以提取雙目圖像中的特徵圖、深度圖，以及融合特徵和深度資訊的特徵圖。
本公開實施例可以通過神經網路實現該特徵提取的功能，如神經網路可以為卷積神經網路，通過該神經網路分別提取第一圖像和第二圖像的第一特徵圖和第一深度圖。神經網路可以包括圖像特徵提取模組和深度特徵提取模組，通過將雙目圖像輸入至圖像特徵提取模組，可以分別獲得第一圖像的第一特徵圖以及第二圖像的第一特徵圖，以及通過將雙目圖像輸入至深度特徵提取模組，可以獲得第一圖像的第一深度圖以及第二圖像的第一深度圖，同時還可以分別獲取融合第一圖像的圖像特徵和深度特徵第二特徵圖，以及融合第二圖像的圖像特徵和深度特徵的第二特徵圖。第一特徵圖表示第一圖像和第二圖像的圖像特徵，如各像素點的像素值等資訊。第一深度圖表示第一圖像和第二圖像的深度 特徵，如各像素點的深度資訊。第二特徵圖中融合了圖像特徵和深度特徵。並且，第一深度圖、第一特徵圖以及第二特徵圖的各像素點一一對應。
圖像特徵提取模組和深度特徵提取模組的結構本公開實施例不作具體限定，其中可以包括例如卷積層、池化層、殘差模組或者全連接層等結構，本領域技術人員可以根據需求進行設定，只要能夠實現特徵提取即可以作為本公開實施例。在獲得各特徵之後，則可以執行特徵融合處理，進一步融合各資訊的基礎上得到更精確的特徵圖。
S30：對所述雙目圖像、所述雙目圖像的第一特徵圖、第一深度圖以及所述第二特徵圖進行特徵融合處理，得到所述雙目圖像的融合特徵圖。
本公開實施例可以根據步驟S20得到的各特徵，執行特徵融合處理，即可以對原始圖像以及對應的第一特徵圖、第二特徵圖和第一深度圖執行特徵融合處理得到融合特徵，該融合特徵中可以包含更豐富的圖片資訊(圖像特徵)且對空間變化的模糊更加魯棒。
例如，本公開實施例的神經網路可以包括融合網路模組，該融合網路模組可以執行上述步驟S30，通過將第一圖像的第一特徵圖、第一深度圖以及第二特徵圖輸入至該融合網路模組，可以得到融合了第一圖像的圖像資訊和深度資訊的第一圖像的融合特徵圖。對應的，將第二圖像的第一特徵圖、第一深度圖以及第二特徵圖輸入至融合網路模組，可以得到融合了第二圖像的圖像資訊和深度資訊的第二 圖像的融合特徵圖。通過得到的融合特徵圖能夠得到更為清晰的優化視圖。其中，融合特徵模組的結構本公開實施例也不作具體限定，其中可以包括例如卷積層、池化層、殘差模組或者全連接層等結構，本領域技術人員可以根據需求進行設定，只要能夠實現特徵融合即可以作為本公開實施例。
在進行特徵圖和深度圖的融合時，可以通過特徵對齊之後的特徵拼接方式來實現融合，也可以是基於特徵對齊之後的特徵加權平均等融合計算實現特徵融合。特徵融合的方式有很多種，在此處就不再做進一步的限定。
S40：對所述雙目圖像的融合特徵圖執行優化處理，得到去模糊處理後的雙目圖像。其中，本公開實施例可以通過卷積處理操作對第一融合特徵圖和第二融合特徵圖進行優化，通過卷積操作可以利用各融合特徵圖中的有效資訊，得到精確度更高的優化視圖，通過本公開實施例可以實現雙目圖像的去模糊化，增加視圖的清晰度。
其中，本公開實施例的神經網路還可以包括優化模組，第一圖像的第一融合特徵圖和第二圖像的第一融合特徵圖可以分別被輸入至優化模組中，通過優化模組的至少一次卷積處理操作，可以分別對兩個圖像的第一融合特徵圖進行融合和優化，得到優化後的融合特徵圖的尺度與原始的雙目圖像的尺度對應，並提高了原始雙目圖像的清晰度。
下面分別對各過程進行詳細說明。如上述所述，在獲得雙目圖像之後可以分別對雙目圖像中的第一圖像和第二圖像執行特徵提取處理。圖2示出根據本公開實施例 的圖像處理方法中步驟S20的流程圖。其中，獲得所述雙目圖像的第一特徵圖，可以包括如下：
S21：對所述第一圖像和第二圖像分別執行第一卷積處理，得到所述第一圖像和第二圖像分別對應的第一中間特徵圖。本公開實施例中，神經網路可以包括圖像特徵提取模組(去模糊網路模組)，可以利用該圖像特徵提取模組執行步驟S20，得到雙目圖像的第一特徵圖。圖3示出根據本公開實施例中實現圖像處理方法的神經網路模型的方塊圖。其中，可以將雙圖像分別輸入至圖像特徵提取模組A中，根據雙目圖像中第一圖像得到第一圖像的第一特徵圖FL，以及根據第二圖像得到第二圖像的第一特徵圖FR。
其中，首先可以對第一圖像和第二圖像分別執行第一卷積處理，該第一卷積處理可以利用至少一個卷積單元執行相應的卷積處理。例如可以依次利用多個卷積單元執行該第一卷積操作，其中前一個卷積單元的輸出作為下一個卷積單元的輸入，通過第一卷積處理，可以得到兩個圖像的第一中間特徵圖，其中第一中間特徵圖可以分別包括對應圖像的圖像特徵資訊。在本實施例中，第一卷積處理可以包括標準卷積處理，標準卷積處理為利用卷積核或者具有設定卷積步長執行的卷積操作，各卷積單元可以為利用相應的卷積核執行卷積，或者按照預設步長執行卷積，最終得到表徵第一圖像的圖像特徵資訊的第一中間特徵圖以及表徵第二圖像的圖像特徵資訊的第一中間特徵圖。其中，卷積核可以為1*1的卷積核，也可以為3*3的卷積核，本領域技術人員可 以根據需求進行選擇和設定，本公開實施例採用的卷積核可以為小卷積核，從而可以簡化神經網路的結構，同時滿足圖像處理的精度需求。
S22：對所述第一圖像和第二圖像的所述第一中間特徵圖分別執行第二卷積處理，得到所述第一圖像和第二圖像分別對應的多尺度的第二中間特徵圖。
本公開實施例中的特徵提取網路模組中可以包括上下文感知單元，在獲得第一中間特徵圖後，可以將第一中間圖輸入至上下文感知單元中，得到多個尺度的第二中間特徵圖。
本公開實施例的上下文感知單元可以對第一圖像的第一中間特徵圖以及第二圖像的第一中間特徵圖執行第二卷積處理，得到多個不同尺度的第二中間特徵圖。
即，在執行第一卷積處理之後，可以將獲得的第一中間特徵圖輸入至上下文感知單元，本公開實施例的上下文感知單元可以對第一中間特徵圖進行第二卷積處理，該過程可以不需要迴圈處理的方式即可以得到與第一中間特徵圖對應的多個尺度的第二中間特徵圖。
圖4示出根據本公開實施例的上下文感知單元的結構方塊圖。其中，可以通過上下文感知單元分別對第一圖像的第一中間特徵圖和第二圖像的第一中間特徵圖進行進一步的特徵融合和優化處理，並同時得到不同尺度的第二中間特徵圖。
其中，第二卷積處理可以為空洞卷積處理，其中可以採用不同的空洞率分別對第一中間特徵圖執行空洞卷積，得到相應尺度的第二中間特徵圖，例如，圖4中採用d1、d2、d3以及d4四個不同的第一空洞率對第一中間特徵圖執行第二卷積處理，得到4個不同尺度的第二中間特徵圖，例如各第二中間特徵圖的尺度可以為2倍變化的關係，本公開對此不進行具體限定，本領域技術人員可以根據需求選擇不同的第一空洞率執行對應的第二卷積，得到相應的第二中間特徵圖，另外，對於空洞率的數量本公開也不作具體限定。空動卷積的空洞率又可以稱之為空洞卷積的擴張率(dilated rates)。空洞率定義了空洞卷積中卷積核處理資料時各值的間距。
根據上述過程，即可以分別得到第一圖像的第一中間特徵圖分別對應的多個尺度的第二中間特徵圖，以及得到第二圖像的第一中間特徵圖分別對應的多個尺度的第二中間特徵圖。得到的第二中間特徵圖可以包括第一中間特徵圖在不同尺度下的特徵資訊，方便後續的處理過程。
S23：對所述第一圖像和第二圖像的各尺度的第二中間特徵圖分別執行殘差處理，得到所述第一圖像和第二圖像分別對應的第一特徵圖。
在得到對應於第一圖像的不同尺度的第二中間特徵圖，以及對應於第二圖像的不同尺度的第二特徵圖之後，可以進一步通過上下文感知單元分別對不同尺度的第二 中間特徵圖進行殘差處理，得到對應於第一圖像的第一特徵圖，以及對應於第二圖像的第一特徵圖。
圖5示出根據本公開實施例的圖像處理方法中步驟S23的流程圖，其中，所述對所述第一圖像和第二圖像的各尺度的第二中間特徵圖執行殘差處理，得到所述第一圖像和第二圖像分別對應的第一特徵圖(步驟S23)，包括如下：
S231：分別連接所述第一圖像的多個尺度的第二中間特徵圖得到第一連接特徵圖，以及分別連接第二圖像的多個尺度的第二中間特徵圖得到第二連接特徵圖。
本公開實施例在對第一中間特徵圖執行多尺度處理之後，還可以對獲得的多個尺度的第二中間特徵圖執行連接處理，繼而得到對應的包括不同尺度資訊的特徵圖。
在一些實施例中，可以分別對第一圖像的各個尺度的第二中間特徵圖執行連接處理，得到第一連接特徵圖，例如對各個第二中間圖在通道資訊的方向上進行連接。同時還可以對第二圖像的各個尺度的第二中間特徵圖執行連接處理得到第二連接特徵圖，例如對各個第二中間圖在通道資訊的方向上進行連接，從而可以得到針對第一圖像和第二圖像的第二中間特徵圖的特徵進行融合。
S232：分別對所述第一連接特徵圖和第二連接特徵圖執行卷積處理。
基於步驟S231的處理結果，可以分別利用卷積單元對第一連接特徵圖和第二連接特徵圖執行卷積處理，該 過程可以進一步融合各個第二中間特徵圖內的特徵，並且卷積處理後的連接特徵圖的尺度與第一中間特徵圖的尺度相同。
在一些實施例中，上下文感知單元中還可以包括卷積單元，用於特徵編碼，其中可以將連接處理得到的第一連接特徵圖或者第二連接特徵圖輸入至該卷積單元執行相應的卷積處理，實現第一連接特徵圖或者第二連接特徵圖的特徵融合，同時通過該卷積單元卷積處理後得到的第一特徵圖與第一圖像的尺度匹配，通過卷積單元卷積處理後的第二特徵圖與第二圖像的尺度匹配。第一特徵圖和第二特徵圖分別能夠體現第一圖像和第二圖像的圖像特徵，如像素點的像素值等資訊。
其中，該卷積單元可以至少一層的卷積層，每層卷積層可以利用不同的卷積核執行卷積操作，或者也可以利用相同的卷積核執行卷積操作，本領域技術人員可以自行選擇，本公開對此不作限定。
S233：對所述第一圖像的第一中間特徵圖和卷積處理後的第一連接特徵圖執行相加處理，得到所述第一圖像的第一特徵圖，以及對所述第二圖像的第一中間特徵圖和卷積處理後的第二連接特徵圖執行相加處理，得到所述第二圖像的第一特徵圖。
基於步驟S232的處理結果，可以進一步將第一圖像的第一中間特徵圖和卷積處理得到的第一連接特徵圖進行相加處理，如元素對應相加，得到第一圖像的第一特徵 圖，對應的，將第二圖像的第一中間特徵圖和卷積處理後的第二連接特徵圖進行相加處理，得到第二圖像的第一特徵圖。
通過上述配置，即可以實現去模糊網路模組的全過程，可以實現第一圖像和第二圖像的特徵資訊的優化和提取的過程，本公開實施例通過引入多分支的上下文感知單元，可以在不增大網路模型的同時，獲取豐富的多尺度特徵，且可以通過小卷積核設計去模糊神經網路，最終得到一個空間佔用小且快速的雙目去模糊的神經網路模型。
另外，步驟S20中還可以獲得第一圖像和第二圖像的第一深度圖。圖6示出根據本公開實施例的圖像處理方法中步驟S20的另一流程圖。其中，獲取第一圖像和第二圖像的第一深度圖，可以包括如下：
S201：將所述第一圖像和第二圖像進行組合，形成組合視圖。
本公開實施例中，神經網路還可以包括深度特徵提取模組B(如圖3所示)。通過該深度特徵提取模組可以獲得第一圖像和第二圖像的深度資訊，如第一深度圖，該第一深度圖可以以矩陣的形式體現，矩陣中的元素可以表示第一圖像或者第二圖像對應像素點的深度值。
首先，可以將第一圖像和第二圖像組合，形成組合視圖後輸入至深度提取模組。其中，圖像組合的方式可以直接將兩個圖像以上下位置的方向連接到一起，在其他的 實施例中，也可以採用左右方向組合的方式連接該兩個圖像，本公開對此不進行具體限定。
S202：對所述組合視圖執行至少一層第三卷積處理得到第一中間深度特徵圖。
在得到組合視圖之後，即可以執行該組合視圖的卷積處理，其中可以執行至少一次第三卷積處理，同樣的該第三卷積處理也可以包括至少一個卷積單元，其中各卷積單元可以為利用第三卷積核執行卷積，或者按照第三預設步長執行卷積，最終得到表徵組合視圖的深度資訊的第一中間深度圖。其中，第三卷積核可以為1*1的卷積核，也可以為3*3的卷積核，第三預設步長可以為2，本領域技術人員可以根據需求進行選擇和設定，本公開實施例對此不進行限定。其中本公開實施例採用的卷積核可以為小卷積核，從而可以簡化神經網路的結構，同時滿足圖像處理的精度需求。
S203：對所述第一中間深度特徵圖執行第四卷積處理，得到多個尺度的第二中間深度特徵圖。
進一步地，本公開實施例的深度提取模組中也可以包括上下文感知單元，用於提取第一中間特徵圖的多尺度特徵，即在得到第一中間特徵圖後，可以採用上下文感知單元得到不同尺度的第二中間深度特徵圖。其中，深度提取模組中的上下文感知單元，也可以採用不同的第二空洞率執行第一中間特徵圖的第四卷積處理，例如，圖4中採用d1、d2、d3以及d4四個不同的第二空洞率對第一中間深度特徵圖執行第二卷積處理，得到4個不同尺度的第二中間深度特徵 圖。例如各第二中間深度特徵圖的尺度可以為2倍變化的關係，本公開對此不進行具體限定，本領域技術人員可以根據需求選擇不同的空洞率執行對應的第四卷積處理，得到相應的第二中間深度特徵圖，另外，對於空洞率的數量本公開也不作具體限定。本公開實施例的第一空洞率和第二空洞率可以相同，也可以不同，本公開對此不進行具體限定。
即在步驟S203中，可以分別將第一圖像的第一中間深度特徵圖和第二圖像的第一中間深度特徵圖輸入至上下文感知單元，並利用上下文感知單元通過不同的第二空洞率對各第一中間深度特徵圖執行空洞卷積處理，得到與第一圖像的第一中間特徵圖對應的多個尺度的第二中間特徵圖，以及與第二圖像的第一中間特徵圖對應的多個尺度的第二中間特徵圖。
S204：對所述第二中間深度特徵圖與所述第一中間深度圖執行殘差處理，分別得到所述第一圖像和第二圖像的第一深度圖，以及根據任意一層第一卷積處理獲得所述第二特徵圖。
本公開實施例中，基於步驟S203的處理結果，可以進一步將第一圖像的各尺度的第二中間深度特徵圖進行連接，如在通道方向上進行連接，而後對連接得到的連接深度圖他執行卷積處理，該過程可以進一步融合各個第二中間深度特徵圖內的深度特徵，並且卷積處理後的連接深度圖的尺度與第一圖像的第一中間深度特徵圖的尺度相同。對應的，可以將第二圖像的各尺度的第二中間深度特徵圖進行連 接，如在通道方向上進行連接，而後對連接得到的連接深度圖他執行卷積處理，該過程可以進一步融合各個第二中間深度特徵圖內的深度特徵，並且卷積處理後的連接深度圖的尺度與第二圖像的第一中間深度特徵圖的尺度相同。
而後，可以將卷積處理後的特徵圖和對應的第一中間深度特徵圖進行相加處理，如元素對應相加，而後對相加結果執行卷積處理，分別得到第一圖像和第二圖像的第一深度圖。
通過上述配置，即可以實現深度提取模組的全過程，可以實現第一圖像和第二圖像的深度資訊的提取和優化的過程，本公開實施例通過引入多分支的上下文感知單元，可以在不增大網路模型的同時，獲取豐富的多尺度深度特徵，具有網路結構簡單且運行速度快的特點。
在此需要說明的是，步驟S20中還可以獲得包含所述第一圖像和第二圖像的圖像資訊和深度資訊的第二特徵圖，該過程可以基於深度提取模組的處理過程獲得，由於在深度提取模組中可以執行至少一次的第三卷積處理，其中可以基於至少一層的第三卷積處理得到融合圖像特徵的深度圖，即可以獲取融合第一圖像的圖像特徵和深度特徵的第二特徵圖，以及融合第二圖像的圖像特徵和深度特徵的第二特徵圖。
在執行步驟S20之後，可以對得到的各特徵執行特徵融合處理，圖7示出根據本公開實施例的圖像處理方法中步驟S30的流程圖，其中，，所述對所述雙目圖像、所 述雙目圖像的第一特徵圖、第一深度圖以及所述第二特徵圖進行特徵融合處理，得到所述雙目圖像的融合特徵圖(步驟S30)，可以包括如下：
S31：根據所述雙目圖像中第一圖像的第一深度圖對第二圖像執行校準處理，獲得所述第一圖像掩模圖，以及根據所述雙目圖像中第二圖像的第一深度圖對第一圖像執行校準處理，獲得所述第二圖像的掩模圖。
本公開實施例的神經網路還可以包括融合網路模組，其用於執行上述特徵資訊的融合處理，圖8示出根據本公開實施例的融合網路模組的方塊圖，其中，可以根據第一圖像、第一圖像的第一深度圖、第一圖像的第一特徵圖以及第一圖像的第二特徵圖的融合處理結果，得到第一圖像的融合特徵圖，以及根據第二圖像、第二圖像的第一深度圖、第二圖像的第一特徵圖以及第二圖像的第二特徵圖的融合處理結果，得到第二圖像的融合特徵圖。
在一些實施例中，如上所述，本公開的神經網路還可以包括特徵融合模組C，通過該特徵融合模組C可以執行特徵資訊的進一步融合和優化。
首先，本公開實施例可以根據雙目圖像中各圖像對應的校準圖和掩模圖，得到雙目圖像各圖像的中間特徵圖。即利用第一圖像的校準圖和掩模圖得到第一圖像的中間融合特徵，以及利用第二圖像的校準圖和掩模圖得到第二圖像的中間融合特徵。其中校準圖是指利用深度資訊校準處理 後的特徵圖。掩模圖表示圖像的第一特徵圖中特徵資訊的被採納度。下面對校準圖和掩模圖的獲取過程進行說明。
圖9示出根據本公開實施例的圖像處理方法中步驟S31的流程圖。其中，所述根據所述雙目圖像中第一圖像的第一深度圖對第二圖像執行校準處理，獲得所述第一圖像掩模圖，以及根據所述雙目圖像中第二圖像的第一深度圖對第一圖像執行校準處理，獲得所述第二圖像的掩模圖，包括如下：
S311：利用雙目圖像中第一圖像的第一深度圖對第二圖像執行對齊處理，得到所述第一圖像的校準圖，以及利用所述第二圖像的第一深度圖對所述第一圖像執行對齊處理，得到所述第二圖像的校準圖。
本公開實施例，可以利用第一圖像的深度特徵執行第二圖像的對齊(warp)處理，得到第一圖像的校準圖。以及利用第二圖像的深度特徵執行第二圖像的對齊(warp)處理，得到第二圖像的校準圖。
其中，執行對齊處理的過程可以通過下式實現：
第一深度特徵=基線*焦距/像素偏移特徵；
其中，基線表示獲取的第一圖像和第二圖像的兩個鏡頭之間的距離，焦距是指兩個鏡頭的焦距，通過上述方式可以根據第一圖像的第一深度圖確定與該第一深度圖對應的第一像素偏移特徵，以及根據第二圖像的第一深度圖確定與該第一深度圖對應的第二像素偏移特徵。這裡的像素偏移特徵是指與第一深度圖中各像素點的深度特徵對應的像素值的 偏差，本公開實施例可以利用該偏差對圖像進行對齊處理，即利用第一圖像的第一深度圖對應的第一像素偏移特徵作用於第二圖像，得到第一圖像的校準圖，利用第二圖像的第一深度圖對應的第二像素偏移特徵作用與第一圖像，得到第二圖像的校準圖。
其中，在得到第一圖像的第一深度圖對應的第一像素偏移量之後，可以將第二圖像按照該第一像素偏移量執行對齊處理，即將第二圖像的像素特徵與第一像素偏移量相加，得到第一圖像的校準圖。以及將第一圖像按照該第二像素偏移量執行對齊處理，即將第一圖像的對應像素特徵與第二像素偏移量相加，得到第一圖像的校準圖。
S312：根據雙目圖像中各圖像與對應的校準圖之間的差異，分別得到所述第一圖像和第二圖像的掩模圖。
在得到每個圖像的校準圖之後，可以將各圖像與對應的校準圖執行差值處理，並利用該差值處理的結果得到掩模圖。
其中，第一圖像與第一圖像的校準圖之間的差值可以表示為△I L =|I L -W L (I R )|，第二圖像與第二圖像的校準圖之間的差值可以表示為△I R =|I R -W R (I L )|，其中，△I L 為第一圖像與第一圖像的校準圖之間的第一差值的校準圖，I L 表示第一圖像，W L (I R )表示利用第一圖像的第一深度圖執行第二圖像的對齊處理後得到的校準圖。△I R 第二圖像與第二圖像的校準圖之間的第二差值，I R 表示第二圖像，W R (I L )表示利用第二圖像的校準圖。
通過上述過程，可以得到第一圖像與第一圖像的校準圖之間的差值，如第一差值和第二差值，該第一差值和第二差值可以分別為矩陣形式，可以表示第一圖像和第二圖像各像素點的偏差。此時可以通過特徵融合模組中的掩模網路模組執行該差值的優化操作，並輸出對應於第一圖像和第二圖像的特徵資訊的被採納度矩陣，即對應的掩模圖。
其中，可以基於所述第一圖像和第一圖像的校準圖的之間的第一差值，獲得第一圖像的掩模圖，以及基於所述第二圖像和第二圖像的校準圖之間的第二差值，獲得第二圖像的掩模圖，所述第一圖像的掩模圖表示所述第一圖像的第一特徵圖中的特徵資訊的被採納度，以及所述第二圖像的掩模圖表示第二圖像的第一特徵圖中的特徵資訊的被採納度。
如圖8所示，可以對第一圖像及其校準圖之間的第一差值執行卷積處理，如兩次卷積處理，並將卷積處理後的結果與原始第一差值相加，而後在此進行卷積處理最終輸出與第一圖像的各特徵資訊對應的被採納程度的矩陣(掩模圖)，該被採納程度的矩陣可以表示第一圖像各像素點的第一特徵資訊的被採納度。另外，可以對第二圖像及其校準圖之間的第二差值執行卷積處理，如兩次卷積處理，並將卷積處理後的結果與原始差值相加，而後在此進行卷積處理最終輸出與第二圖像的各特徵資訊對應的被採納程度的矩陣(掩模圖)，該被採納程度的矩陣可以表示第二圖像各像素點的第一特徵資訊的被採納度。該被採納度可以為0到1之間的 任意數值，按照不同的設計或者模型的訓練方式，可以是該數值越大被採納度越高，也可以是數值越小，被採納度越高，本公開對此不進行具體限定。
S32：基於所述雙目圖像中各圖像對應的所述校準圖和掩模圖，分別獲得所述雙目圖像中各圖像的中間融合特徵。
本公開實施例還可以利用得到的上述資訊，如校準圖、掩模圖以及雙目圖像，進行特徵融合，得到中間融合特徵圖。
在一些實施例中，可以按照第一預設方式，根據第一圖像的校準圖，以及所述第一圖像的掩模圖得到所述第一圖像的中間融合特徵圖，並按照第二預設方式，基於所述第二圖像的校準圖，以及所述第二圖像的掩模圖得到所述第二圖像的中間融合特徵圖。其中，第一預設方式的運算式為：
Figure 108147449-A0101-12-0023-1
其中，
Figure 108147449-A0101-12-0023-2
表示為第一圖像的中間融合特徵，e表示對應元素相乘，W L (I R )表示利用第一圖像的第一深度圖執行第二圖像的對齊處理後得到的校準圖，M L 表示第一圖像的掩模圖。
第二預設方式的運算式為：
Figure 108147449-A0101-12-0023-3
其中，
Figure 108147449-A0101-12-0023-4
表示為第二圖像的中間融合特徵，e表示對應元素相乘，W R (F L )表示利用第二圖像的第一深度圖執行第 一圖像的對齊處理後得到的校準圖，M R 表示第二圖像的掩模圖。
S33：根據所述雙目圖像中各圖像的第一深度圖和第二特徵圖，獲得所述雙目圖像各圖像的深度特徵融合圖。
進一步的，本公開實施例還可以執行兩個圖像的第一深度圖的特徵融合過程，其中可以將第一圖像的第一深度圖以及第一圖像的第二特徵圖得到第一圖像的深度特徵融合圖，即可以將包括了圖像資訊和特徵資訊的第一圖像的第二特徵圖與第一深度圖執行至少一次卷積處理，進一步融合各深度資訊和視圖資訊，得到深度特徵融合圖。
對應的，可以利用所述第二圖像的第一深度圖以及第二圖像的第二特徵圖得到第二圖像的深度特徵融合圖。即可以將包括了視圖資訊和特徵資訊的第二圖像的第二特徵圖與第一深度圖執行至少一次卷積處理，進一步融合各深度資訊和視圖資訊，得到深度特徵融合圖。
S34：根據所述雙目圖像中各圖像的第一圖像的第一特徵圖、第一圖像的中間融合特徵圖以及第一圖像的深度特徵融合圖的連接結果，對應的得到各圖像的所述融合特徵圖。
其中，可以根據所述第一圖像的第一特徵圖、第一圖像的中間融合特徵圖以及第一圖像的深度特徵融合圖的連接結果得到所述第一圖像的融合特徵圖，以及根據所述第二圖像的第一特徵圖、第二圖像的中間融合特徵圖以及 第二圖像的深度特徵融合圖的連接結果得到所述第二圖像的融合特徵圖。
在本公開實施例中，在得到各第一特徵圖中間融合特徵圖以及深度特徵融合圖之後，可以將上述資訊連接，如在通道方向上進行連接，得到相應視圖的融合特徵圖。
通過上述方式得到的融合特徵圖中包括了優化處理後的深度資訊、視圖資訊，以及融合有深度資訊和視圖資訊的中間融合特徵。對應的步驟S40中，可以進一步執行融合特徵圖的卷積處理，得到與雙目圖像的對應的優化後的雙目圖像。其中，所述對所述雙目圖像的融合特徵圖執行優化處理，得到去模糊處理後的雙目圖像，包括：
對所述第一圖像的融合特徵圖執行卷積處理，得到所述優化的第一圖像，以及對所述第二圖像的融合特徵圖執行卷積處理，得到所述優化的第二圖像。
通過S40，一方面可以得到與原始雙目圖像尺度匹配的優化圖像，另一方面可以更加深入的融合各特徵，並提高資訊的精度。
由於圖像模糊產生的原因非常複雜，比如：相機晃動、失焦、物體高速運動等。而現有的圖像編輯工具很難復原這種複雜的模糊圖像。
本公開實施例克服了上述技術問題，並可以應用在雙目智慧手機攝影，利用該方法可以去除由抖動或快速運動產生的圖像模糊，得到清晰的圖片，使使用者有更好的拍照體驗。另外，本公開實施例還可以應用在飛行器、機器 人或自動駕駛的視覺系統上，不僅可以恢復因抖動或快速運動產生的圖像模糊，得到的清晰的圖片還有助於其他視覺系統發揮更好的性能，如避障系統、SLAM重建系統等。
本公開實施例的方法還可以應用在車輛的視頻監控輔助分析中，該方法對快速運動模糊的復原性能有大幅度的提高，可以更清晰地捕捉快速運動的車輛資訊，如車牌和駕駛員樣貌資訊。
綜上所述，本公開實施例可以實現將雙目圖像作為輸入，可以分別雙目圖像中的第一圖像和第二圖像執行特徵提取處理得到對應的第一特徵圖，並可以獲得第一圖像和第二圖像的深度圖，然後對雙目圖像的第一特徵和深度值進行融合，得到包含第一圖像和第二圖像的圖像資訊和深度資訊的特徵，該特徵包含更豐富的圖片資訊且對空間變化的模糊更加魯棒，最後再將融合特徵執行去模糊處理的優化處理，得到清晰的雙目圖像。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
可以理解，本公開提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本公開不再贅述。
此外，本公開還提供了圖像處理裝置、電子設備、電腦可讀儲存介質、程式，上述均可用來實現本公開提 供的任一種圖像處理方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
圖10示出根據本公開實施例的一種圖像處理裝置的方塊圖，如圖10所示，所述圖像處理裝置包括：獲取模組10，配置為獲取雙目圖像，其中，所述雙目圖像包括針對同一對象在同一場景下拍攝的第一圖像和第二圖像；特徵提取模組20，配置為獲得所述雙目圖像的第一特徵圖、所述雙目圖像的第一深度圖，以及融合所述雙目圖像的圖像特徵和深度特徵的第二特徵圖；特徵融合模組30，配置為對所述雙目圖像、所述雙目圖像的第一特徵圖、第一深度圖以及所述第二特徵圖進行特徵融合處理，得到所述雙目圖像的融合特徵圖；優化模組40，配置為對所述雙目圖像的融合特徵圖執行優化處理，得到去模糊處理後的雙目圖像。
在一些可能的實施方式中，所述特徵提取模組包括圖像特徵提取模組，配置為對所述第一圖像和第二圖像分別執行第一卷積處理，得到所述第一圖像和第二圖像分別對應的第一中間特徵圖；對所述第一圖像和第二圖像的所述第一中間特徵圖分別執行第二卷積處理，得到所述第一圖像和第二圖像分別對應的多尺度的第二中間特徵圖；以及對所述第一圖像和第二圖像的各尺度的第二中間特徵圖分別執行殘差處理，得到所述第一圖像和第二圖像分別對應的第一特徵圖。
在一些可能的實施方式中，所述圖像特徵提取模組，還配置為利用第一預設卷積核以及第一卷積步長分別對所述第一圖像和第二圖像分別執行卷積處理，得到所述第一圖像和第二圖像分別對應的第一中間特徵圖。
在一些可能的實施方式中，所述圖像特徵提取模組，還配置為分別按照預設的多個不同的第一空洞率，對所述第一圖像和第二圖像的所述第一中間特徵圖執行卷積處理，得到與該多個第一空洞率分別對應的第二中間特徵圖。
在一些可能的實施方式中，所述圖像特徵提取模組，還配置為分別連接所述第一圖像的多個尺度的第二中間特徵圖得到第一連接特徵圖，以及分別連接第二圖像的多個尺度的第二中間特徵圖得到第二連接特徵圖；分別對所述第一連接特徵圖和第二連接特徵圖執行卷積處理；以及對所述第一圖像的第一中間特徵圖和卷積處理後的第一連接特徵圖執行相加處理，得到第一圖像的第一特徵圖，以及對所述第二圖像的第一中間特徵圖和卷積處理後的第二連接特徵圖執行相加處理，得到所述第二圖像的第一特徵圖。
在一些可能的實施方式中，所述特徵提取模組還包括深度特徵提取模組，配置為將所述第一圖像和第二圖像進行組合，形成組合視圖；對所述組合視圖執行至少一層第三卷積處理得到第一中間深度特徵圖；對所述第一中間深度特徵圖執行第四卷積處理，得到多個尺度的第二中間深度特徵圖；以及對所述第二中間深度特徵與所述第一中間深度 圖執行殘差處理，分別得到所述第一圖像和第二圖像的第一深度圖，以及根據任意一層第三卷積處理獲得所述第二特徵圖。
在一些可能的實施方式中，所述深度特徵提取模組，還配置為利用第二預設卷積核以及第二卷積步長對所述組合視圖執行至少一次卷積處理，得到所述第一中間深度特徵圖。
在一些可能的實施方式中，所述深度特徵提取模組，還配置為分別按照預設的多個不同的第二空洞率，對所述第一中間深度特徵圖執行卷積處理，得到與該多個第二空洞率分別對應的第二中間深度特徵圖。
在一些可能的實施方式中，所述特徵融合模組，還配置為根據所述雙目圖像中第一圖像的第一深度圖對第二圖像執行校準處理，獲得所述第一圖像掩模圖，以及根據所述雙目圖像中第二圖像的第一深度圖對第一圖像執行校準處理，獲得所述第二圖像的掩模圖；基於所述雙目圖像中各圖像對應的所述校準圖和掩模圖，分別獲得所述雙目圖像中各圖像的中間融合特徵；根據所述雙目圖像中各圖像的第一深度圖和第二特徵圖，獲得所述雙目圖像各圖像的深度特徵融合圖；以及根據所述雙目圖像中各圖像的第一圖像的第一特徵圖、第一圖像的中間融合特徵圖以及第一圖像的深度特徵融合圖的連接結果，對應的得到各圖像的所述融合特徵圖。
在一些可能的實施方式中，所述特徵融合模組，還配置為利用雙目圖像中第一圖像的第一深度圖對第二圖像執行對齊處理，得到所述第一圖像的校準圖，以及利用所述第二圖像的第一深度圖對所述第一圖像執行對齊處理，得到所述第二圖像的校準圖；根據雙目圖像中各圖像與對應的校準圖之間的差異，分別得到所述第一圖像和第二圖像的掩模圖。
在一些可能的實施方式中，所述融合特徵模組，還配置為按照第一預設方式，基於所述第一圖像的校準圖，以及所述第一圖像的掩模圖得到所述第一圖像的中間融合特徵圖；以及按照第二預設方式，基於所述第二圖像的校準圖，以及所述第二圖像的掩模圖得到所述第二圖像的中間融合特徵圖。
在一些可能的實施方式中，所述第一預設方式的運算式為：
Figure 108147449-A0101-12-0030-5
其中，
Figure 108147449-A0101-12-0030-6
表示為第一圖像的中間融合特徵，e表示對應元素相乘，W L (I R )表示利用第一圖像的第一深度圖執行第二圖像的對其處理後的結果，M L 表示第一圖像的掩模圖；
所述第二預設方式的運算式為：
Figure 108147449-A0101-12-0030-7
其中，
Figure 108147449-A0101-12-0030-8
表示為第二圖像的中間融合特徵，e表示對應元素相乘，W R (F L )表示利用第二圖像的第一深度圖執行第一圖像的對齊處理後的結果，M R 表示第二圖像的掩模圖。
在一些可能的實施方式中，所述優化模組還用於分別對所述雙目圖像的融合特徵圖執行卷積處理，得到所述去模糊處理後的雙目圖像。
在一些實施例中，本公開實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
本公開實施例還提出一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存介質可以是非易失性電腦可讀儲存介質。
本公開實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為上述方法。電子設備可以被提供為終端、伺服器或其它形態的設備。
本申請實施例公開了一種電腦程式產品，所述電腦程式產品包括電腦程式指令，其中，所述電腦程式指令被處理器執行時實前述任意方法。
圖11示出根據本公開實施例的一種電子設備800的方塊圖。例如，電設備800可以是行動電話，電腦，數位廣播終端，消息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。參照圖11，電子設備800可以包括以下一個或多個組件：處理組件802，記憶體804，電源組件806，多媒體組件808，音頻組件810， 輸入/輸出(I/O)的介面812，感測器組件814，以及通信組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，資料通信，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置為儲存各種類型的資料以支援在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人資料，電話簿資料，消息，圖片，視頻等。記憶體804可以由任何類型的易失性或非易失性儲存裝置或者它們的組合實現，如靜態隨機存取記憶體(SRAM)，電可擦除可程式設計唯讀記憶體(EEPROM)，可擦除可程式設計唯讀記憶體(EPROM)，可程式設計唯讀記憶體(PROM)，唯讀記憶體(ROM)，磁記憶體，快閃記憶體，磁片或光碟。
電源組件806為電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器(LCD)和觸摸面板(TP)。如果螢幕包括觸摸面板，螢幕可以被實現為觸控式螢幕，以接收來自使用者的輸入信號。觸摸面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸感測器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝影頭和/或後置攝影頭。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝影頭和/或後置攝影頭可以接收外部的多媒體資料。每個前置攝影頭和後置攝影頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音頻組件810被配置為輸出和/或輸入音頻信號。例如，音頻組件810包括一個麥克風(MIC)，當電子設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式時，麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步儲存在記憶體804或經由通信組件816發送。在一些實施例中，音頻組件810還包括一個揚聲器，用於輸出音頻信號。
I/O介面812為處理組件802和週邊介面模組之間提供介面，上述週邊介面模組可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件為電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，使用者與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如CMOS或CCD圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通信組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路，如WiFi，2G或3G，或它們的組合。在一個示例性實施例中，通信組件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中，所述通信組件816還包括近場通信(NFC)模組，以促進短程通信。例如，在NFC模組可基於射頻識別(RFID)技術，紅外資料協會(IrDA)技術，超寬頻(UWB)技術，藍牙(BT)技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路(ASIC)、數位訊號處理器(DSP)、 數位信號處理設備(DSPD)、可程式設計邏輯器件(PLD)、現場可程式設計閘陣列(FPGA)、控制器、微控制器、微處理器或其他電子組件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖12示出根據本公開實施例的一種電子設備1900的方塊圖。例如，電子設備1900可以被提供為一伺服器。參照圖12，電子設備1900包括處理組件1922，其進一步包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理組件1922的執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件1922被配置為執行指令，以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置為執行電子設備1900的電源管理，一個有線或無線網路介面1950被配置為將電子設備1900連接到網路，和一個輸入輸出(I/O)介面1958。電子設備1900可以操作基於儲存在記憶體1932的作業系統，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或類似。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的記憶體1932， 上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本公開可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質，其上載有用於使處理器實現本公開的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是但不限於電儲存裝置、磁儲存裝置、光儲存裝置、電磁儲存裝置、半導體儲存裝置或者上述的任意合適的組合。電腦可讀儲存介質的更具體的例子(非窮舉的列表)包括：可擕式電腦盤、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可擦式可程式設計唯讀記憶體(EPROM或快閃記憶體)、靜態隨機存取記憶體(SRAM)、可擕式壓縮磁碟唯讀記憶體(CD-ROM)、數位多功能盤(DVD)、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為暫態信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如，通過光纖電纜的光脈衝)、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備，或者通過網路、例如網際網路、局域網、廣域網路和/或無線網下載到外部電腦或外部儲存裝置。網路可以包括銅傳輸電纜、光纖傳輸、 無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。
用於執行本公開操作的電腦程式指令可以是彙編指令、指令集架構(ISA)指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，所述程式設計語言包括對象導向的程式設計語言-諸如Smalltalk、C++等，以及常規的過程式程式設計語言-諸如“C”語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路-包括局域網(LAN)或廣域網路(WAN)-連接到使用者電腦，或者，可以連接到外部電腦(例如利用網際網路服務提供者來通過網際網路連接)。在一些實施例中，通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、現場可程式設計閘陣列(FPGA)或可程式設計邏輯陣列(PLA)，該電子電路可以執行電腦可讀程式指令，從而實現本公開的各個方面。
這裡參照根據本公開實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或方塊圖描述了本公開的各個方面。應當理解，流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行時，產生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀介質則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本公開的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方 塊可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本公開的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
圖1代表圖為流程圖，無元件符號簡單說明。

Claims (15)

  1. 一種圖像處理方法，包括：
    獲取雙目圖像，其中，所述雙目圖像包括針對同一對象在同一場景下拍攝的第一圖像和第二圖像；
    獲得所述雙目圖像的第一特徵圖、所述雙目圖像的第一深度圖，以及融合所述雙目圖像的圖像特徵和深度特徵的第二特徵圖；
    對所述雙目圖像、所述雙目圖像的第一特徵圖、第一深度圖以及所述第二特徵圖進行特徵融合處理，得到所述雙目圖像的融合特徵圖；
    對所述雙目圖像的融合特徵圖執行優化處理，得到去模糊處理後的雙目圖像。
  2. 根據請求項1所述的方法，其中，所述獲得所述雙目圖像的第一特徵圖，包括：
    對所述第一圖像和第二圖像分別執行第一卷積處理，得到所述第一圖像和第二圖像分別對應的第一中間特徵圖；
    對所述第一圖像和第二圖像的所述第一中間特徵圖分別執行第二卷積處理，得到所述第一圖像和第二圖像分別對應的多尺度的第二中間特徵圖；
    對所述第一圖像和第二圖像的各尺度的第二中間特徵圖分別執行殘差處理，得到所述第一圖像和第二圖像分別對應的第一特徵圖。
  3. 根據請求項2所述的方法，其中，所述對所述雙目圖像的第一圖像和第二圖像分別執行第一卷積處理，得到所述第一圖像和第二圖像分別對應的第一中間特徵圖，包括：
    利用第一預設卷積核以及第一卷積步長分別對所述第一圖像和第二圖像分別執行卷積處理，得到所述第一圖像和第二圖像分別對應的第一中間特徵圖。
  4. 根據請求項2或3所述的方法，其中，所述對所述第一圖像和第二圖像的所述第一中間特徵圖分別執行第二卷積處理，得到所述第一圖像和第二圖像分別對應的多尺度的第二中間特徵圖，包括：
    分別按照預設的多個不同的第一空洞率，對所述第一圖像和第二圖像的所述第一中間特徵圖執行卷積處理，得到與該多個第一空洞率分別對應的第二中間特徵圖。
  5. 根據請求項2或3所述的方法，其中，所述對所述第一圖像和第二圖像的各尺度的第二中間特徵圖分別執行殘差處理，得到所述第一圖像和第二圖像分別對應的第一特徵圖，包括：
    分別連接所述第一圖像的多個尺度的第二中間特徵圖得到第一連接特徵圖，以及分別連接第二圖像的多個尺度的第二中間特徵圖得到第二連接特徵圖；
    分別對所述第一連接特徵圖和第二連接特徵圖執行卷積處理；
    對所述第一圖像的第一中間特徵圖和卷積處理後的第一連接特徵圖執行相加處理，得到第一圖像的第一特徵圖，以及對所述第二圖像的第一中間特徵圖和卷積處理後的第二連接特徵圖執行相加處理，得到所述第二圖像的第一特徵圖。
  6. 根據請求項1至3中任意一項所述的方法，其中，獲得所述雙目圖像的第一深度圖，以及融合所述雙目圖像的圖像特徵和深度特徵的第二特徵圖，包括；
    將所述第一圖像和第二圖像進行組合，形成組合視圖；
    對所述組合視圖執行至少一層第三卷積處理得到第一中間深度特徵圖；
    對所述第一中間深度特徵圖執行第四卷積處理，得到多個尺度的第二中間深度特徵圖；
    對所述第二中間深度特徵與所述第一中間深度圖執行殘差處理，分別得到所述第一圖像和第二圖像的第一深度圖，以及根據任意一層第三卷積處理獲得所述第二特徵圖。
  7. 根據請求項6所述的方法，其中，所述對所述組合視圖執行至少一層第三卷積處理得到第一中間深度特徵圖，包括：
    利用第二預設卷積核以及第二卷積步長對所述組合視圖執行至少一次卷積處理，得到所述第一中間深度特徵圖。
  8. 根據請求項6所述的方法，其中，所述對所述第一中間深度特徵圖執行第四卷積處理，得到多個尺度的第二中間深度特徵圖，包括：
    分別按照預設的多個不同的第二空洞率，對所述第一中間深度特徵圖執行卷積處理，得到與該多個第二空洞率分別對應的第二中間深度特徵圖。
  9. 根據請求項1至3中任意一項所述的方法，其中，所述對所述雙目圖像、所述雙目圖像的第一特徵圖、第一深度圖以及所述第二特徵圖進行特徵融合處理，得到所述雙目圖像的融合特徵圖，包括：
    根據所述雙目圖像中第一圖像的第一深度圖對第二圖像執行校準處理，獲得所述第一圖像掩模圖，以及根據所述雙目圖像中第二圖像的第一深度圖對第一圖像執行校準處理，獲得所述第二圖像的掩模圖；
    基於所述雙目圖像中各圖像對應的所述校準圖和掩模圖，分別獲得所述雙目圖像中各圖像的中間融合特徵；
    根據所述雙目圖像中各圖像的第一深度圖和第二特徵圖，獲得所述雙目圖像各圖像的深度特徵融合圖；
    根據所述雙目圖像中各圖像的第一圖像的第一特徵圖、第一圖像的中間融合特徵圖以及第一圖像的深度特徵融合圖的連接結果，對應的得到各圖像的所述融合特徵圖。
  10. 根據請求項9所述的方法，其中，所述根據所述雙目圖像中第一圖像的第一深度圖對第二圖像執行校準處理，獲得所述第一圖像掩模圖，以及根據所述雙目圖像中第二圖像的第一深度圖對第一圖像執行校準處理，獲得所述第二圖像的掩模圖，包括：
    利用雙目圖像中第一圖像的第一深度圖對第二圖像執行對齊處理，得到所述第一圖像的校準圖，以及利用所述第二圖像的第一深度圖對所述第一圖像執行對齊處理，得到所述第二圖像的校準圖；
    根據雙目圖像中各圖像與對應的校準圖之間的差異，分別得到所述第一圖像和第二圖像的掩模圖。
  11. 根據請求項9所述的方法，其中，基於所述雙目圖像中各圖像對應的所述校準圖和掩模圖，分別獲得所述雙目圖像中各圖像的中間融合特徵，包括：
    按照第一預設方式，基於所述第一圖像的校準圖，以及所述第一圖像的掩模圖得到所述第一圖像的中間融合特徵圖；以及
    按照第二預設方式，基於所述第二圖像的校準圖，以及所述第二圖像的掩模圖得到所述第二圖像的中間融合特徵圖。
  12. 根據請求項11所述的方法，其中，所述第一預設方式的運算式為：
    Figure 108147449-A0101-13-0005-9
    其中，
    Figure 108147449-A0101-13-0005-10
    表示為第一圖像的中間融合特徵，e表示對應元素相乘，W L (I R )表示利用第一圖像的第一深度圖執行第二圖像的對其處理後的結果，M L 表示第一圖像的掩模圖；
    所述第二預設方式的運算式為：
    Figure 108147449-A0101-13-0005-11
    其中，
    Figure 108147449-A0101-13-0006-12
    表示為第二圖像的中間融合特徵，e表示對應元素相乘，W R (F L )表示利用第二圖像的第一深度圖執行第一圖像的對齊處理後的結果，M R 表示第二圖像的掩模圖。
  13. 根據請求項1至3中任意一項所述的方法，其中，所述對所述雙目圖像的融合特徵圖執行優化處理，得到去模糊處理後的雙目圖像，包括：
    分別對所述雙目圖像的融合特徵圖執行卷積處理，得到所述去模糊後處理的雙目圖像。
  14. 一種電子設備，包括：
    處理器；
    用於儲存處理器可執行指令的記憶體；
    其中，所述處理器被配置為：執行請求項1至13中任意一項所述的方法。
  15. 一種電腦可讀儲存介質，其上儲存有電腦程式指令，其中，所述電腦程式指令被處理器執行時實現請求項1至13中任意一項所述的方法。
TW108147449A 2019-01-22 2019-12-24 圖像處理方法及裝置、電子設備和儲存介質 TWI706379B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910060238.6 2019-01-22
CN201910060238.6A CN109829863B (zh) 2019-01-22 2019-01-22 图像处理方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
TW202029125A true TW202029125A (zh) 2020-08-01
TWI706379B TWI706379B (zh) 2020-10-01

Family

ID=66861908

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108147449A TWI706379B (zh) 2019-01-22 2019-12-24 圖像處理方法及裝置、電子設備和儲存介質

Country Status (7)

Country Link
US (1) US20210319538A1 (zh)
JP (1) JP7033674B2 (zh)
KR (1) KR20210028218A (zh)
CN (1) CN109829863B (zh)
SG (1) SG11202106271XA (zh)
TW (1) TWI706379B (zh)
WO (1) WO2020151281A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829863B (zh) * 2019-01-22 2021-06-25 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109977847B (zh) * 2019-03-22 2021-07-16 北京市商汤科技开发有限公司 图像生成方法及装置、电子设备和存储介质
CN110060215B (zh) * 2019-04-16 2021-09-10 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
EP3970112A4 (en) * 2019-05-30 2022-08-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. SINGLEMODAL OR MULTIMODAL STYLE TRANSFER SYSTEM AND METHOD AND RANDOM STYLING SYSTEM USING THE SAME
CN110543849B (zh) * 2019-08-30 2022-10-04 北京市商汤科技开发有限公司 检测器的配置方法及装置、电子设备和存储介质
CN111986075B (zh) * 2020-08-12 2022-08-09 兰州交通大学 一种目标边缘清晰化的风格迁移方法
CN112101302B (zh) * 2020-11-05 2021-04-27 杭州追猎科技有限公司 非法张贴物检测方法、系统和电子设备
US11669986B2 (en) * 2021-04-16 2023-06-06 Adobe Inc. Generating enhanced three-dimensional object reconstruction models from sparse set of object images
KR102554665B1 (ko) * 2021-12-20 2023-07-12 포항공과대학교 산학협력단 역커널 기반 디포커스 블러 제거 방법 및 장치
KR102664276B1 (ko) * 2022-12-02 2024-05-10 고려대학교 산학협력단 수직-수평 분할을 통한 단일 영상 잔상 제거 방법 및 이를 위한 네트워크 시스템
CN116862800B (zh) * 2023-07-11 2024-01-30 哈尔滨工业大学 一种大视场单透镜空变模糊图像复原方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8380630B2 (en) * 2000-07-06 2013-02-19 David Paul Felsher Information record infrastructure, system and method
US20140198977A1 (en) * 2012-03-21 2014-07-17 Texas Instruments Incorporated Enhancement of Stereo Depth Maps
CN105516579B (zh) * 2014-09-25 2019-02-05 联想(北京)有限公司 一种图像处理方法、装置和电子设备
JP6929047B2 (ja) * 2016-11-24 2021-09-01 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
US10409614B2 (en) * 2017-04-24 2019-09-10 Intel Corporation Instructions having support for floating point and integer data types in the same register
US10489877B2 (en) * 2017-04-24 2019-11-26 Intel Corporation Compute optimization mechanism
CN107392868A (zh) * 2017-07-21 2017-11-24 深圳大学 基于全卷积神经网络的压缩双目图像质量增强方法及装置
CN108269280A (zh) * 2018-01-05 2018-07-10 厦门美图之家科技有限公司 一种深度图像的处理方法及移动终端
CN108596040A (zh) * 2018-03-29 2018-09-28 中山大学 一种基于双目视觉的串联通道融合行人检测方法
CN108765333B (zh) * 2018-05-24 2021-08-10 华南理工大学 一种基于深度卷积神经网络的深度图完善方法
CN108846820A (zh) * 2018-07-10 2018-11-20 深圳市唯特视科技有限公司 一种基于尺度递归网络的深度图像去模糊方法
CN109118430B (zh) * 2018-08-24 2023-05-09 深圳市商汤科技有限公司 超分辨率图像重建方法及装置、电子设备及存储介质
CN109829863B (zh) * 2019-01-22 2021-06-25 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110766623A (zh) 2019-10-12 2020-02-07 北京工业大学 一种基于深度学习的立体图像修复方法

Also Published As

Publication number Publication date
US20210319538A1 (en) 2021-10-14
WO2020151281A1 (zh) 2020-07-30
KR20210028218A (ko) 2021-03-11
JP7033674B2 (ja) 2022-03-10
TWI706379B (zh) 2020-10-01
WO2020151281A9 (zh) 2020-09-10
SG11202106271XA (en) 2021-07-29
CN109829863A (zh) 2019-05-31
CN109829863B (zh) 2021-06-25
JP2021530056A (ja) 2021-11-04

Similar Documents

Publication Publication Date Title
TWI706379B (zh) 圖像處理方法及裝置、電子設備和儲存介質
TWI777162B (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存媒體
JP7262659B2 (ja) 目標対象物マッチング方法及び装置、電子機器並びに記憶媒体
CN107798669B (zh) 图像去雾方法、装置及计算机可读存储介质
JP7072119B2 (ja) 画像処理方法および装置、電子機器ならびに記憶媒体
TWI765304B (zh) 圖像重建方法及圖像重建裝置、電子設備和電腦可讀儲存媒體
TWI759647B (zh) 影像處理方法、電子設備，和電腦可讀儲存介質
US9990536B2 (en) Combining images aligned to reference frame
EP3057304B1 (en) Method and apparatus for generating image filter
TWI767596B (zh) 場景深度和相機運動預測方法、電子設備和電腦可讀儲存介質
TWI724712B (zh) 圖像處理方法、電子設備和儲存介質
TW202107339A (zh) 位姿確定方法、位姿確定裝置、電子設備和電腦可讀儲存媒介
WO2017124899A1 (zh) 一种信息处理方法及装置、电子设备
TWI769523B (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
TWI778313B (zh) 圖像處理方法、電子設備和儲存介質
CN111401230B (zh) 姿态估计方法及装置、电子设备和存储介质
WO2022193507A1 (zh) 图像处理方法及装置、设备、存储介质、程序和程序产品
TW202110165A (zh) 一種資訊處理方法、電子設備、儲存媒體和程式
KR20210053121A (ko) 이미지 처리 모델의 훈련 방법, 장치 및 매체
WO2022141969A1 (zh) 图像分割方法及装置、电子设备、存储介质和程序
TWI770531B (zh) 人臉識別方法、電子設備和儲存介質
CN113506324B (zh) 图像处理方法及装置、电子设备和存储介质
CN115134532A (zh) 图像处理方法、装置、存储介质及电子设备
CN109543544B (zh) 跨光谱图像匹配方法及装置、电子设备和存储介质