TW202135005A - 去除圖像中的反光的方法、電子設備和電腦可讀儲存媒體 - Google Patents

去除圖像中的反光的方法、電子設備和電腦可讀儲存媒體 Download PDF

Info

Publication number
TW202135005A
TW202135005A TW109120319A TW109120319A TW202135005A TW 202135005 A TW202135005 A TW 202135005A TW 109120319 A TW109120319 A TW 109120319A TW 109120319 A TW109120319 A TW 109120319A TW 202135005 A TW202135005 A TW 202135005A
Authority
TW
Taiwan
Prior art keywords
image
processed
polarization
training
training image
Prior art date
Application number
TW109120319A
Other languages
English (en)
Other versions
TWI749593B (zh
Inventor
雷晨陽
嚴瓊
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202135005A publication Critical patent/TW202135005A/zh
Application granted granted Critical
Publication of TWI749593B publication Critical patent/TWI749593B/zh

Links

Images

Classifications

    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本發明涉及一種去除圖像中的反光的方法、電子設備和電腦可讀儲存媒體。所述方法包括：獲取待處理圖像；獲取所述待處理圖像對應的多個偏振圖，以及所述待處理圖像對應的偏振訊息，其中，所述待處理圖像對應的多個偏振圖是經過不同角度的偏振片形成的；根據所述待處理圖像對應的多個偏振圖和所述待處理圖像對應的偏振訊息，確定所述待處理圖像對應的反光預測圖；根據所述待處理圖像對應的多個偏振圖和所述待處理圖像對應的反光預測圖，確定所述待處理圖像對應的去除反光後的圖像。

Description

去除圖像中的反光的方法、電子設備和電腦可讀儲存媒體
本申請要求在2020年3月4日提交中國專利局、申請號爲202010144325.2、申請名稱爲“去除圖像中的反光的方法及裝置、電子設備和存儲介質”的中國專利申請的優先權，其全部內容通過引用結合在本申請中。
本發明涉及圖像技術領域，尤其涉及一種去除圖像中的反光的方法、電子設備和電腦可讀儲存媒體。
在實際生活和工作中，利用相機拍攝照片在某些情況下需要透過玻璃拍攝物體。例如透過窗戶拍攝外面的靜物，拍攝戴眼鏡的人物照片，在博物館拍攝玻璃櫃內的展品，在交通道路上拍攝違法車輛的照片等。由於玻璃的兩側的光照條件不同，玻璃表面有一定可能産生反光。
本發明提供了一種去除圖像中的反光的技術方案。
根據本發明的一方面，提供了一種去除圖像中的反光的方法，包括：
獲取待處理圖像；
獲取所述待處理圖像對應的多個偏振圖，以及所述待處理圖像對應的偏振訊息，其中，所述待處理圖像對應的多個偏振圖是經過不同角度的偏振片形成的；
根據所述待處理圖像對應的多個偏振圖和所述待處理圖像對應的偏振訊息，確定所述待處理圖像對應的反光預測圖；
根據所述待處理圖像對應的多個偏振圖和所述待處理圖像對應的反光預測圖，確定所述待處理圖像對應的去除反光後的圖像。
在一種可能的實現方式中，所述獲取所述待處理圖像對應的多個偏振圖，以及所述待處理圖像對應的偏振訊息，包括：
對待處理圖像中屬不同偏振片角度的像素點進行分離，得到所述待處理圖像對應的多個偏振圖；
對所述待處理圖像對應的多個偏振圖中相應的像素點進行處理，得到所述待處理圖像對應的偏振訊息。
在一種可能的實現方式中，所述待處理圖像對應的偏振訊息包括所述待處理圖像對應的第一偏振訊息圖、所述待處理圖像對應的第二偏振訊息圖、所述待處理圖像對應的第三偏振訊息圖和所述待處理圖像對應的第四偏振訊息圖中的至少之一，其中，所述待處理圖像對應的第一偏振訊息圖用於表示所述待處理圖像對應的多個偏振圖的偏振光強度，所述待處理圖像對應的第二偏振訊息圖用於表示所述待處理圖像對應的多個偏振圖的偏振程度，所述待處理圖像對應的第三偏振訊息圖用於表示所述待處理圖像對應的多個偏振圖的光的偏振角度，所述待處理圖像對應的第四偏振訊息圖用於表示所述待處理圖像對應的多個偏振圖去除過曝後的訊息。
在一種可能的實現方式中，在所述獲取待處理圖像之前，所述方法還包括：
獲取訓練圖像對應的多個偏振圖，以及所述訓練圖像對應的偏振訊息，其中，所述訓練圖像對應的多個偏振圖是經過不同角度的偏振片形成的；
將所述訓練圖像對應的多個偏振圖和所述訓練圖像對應的偏振訊息輸入神經網路的第一子網路，經由所述第一子網路輸出所述訓練圖像對應的反光預測圖；
將所述訓練圖像對應的多個偏振圖和所述訓練圖像對應的反光預測圖輸入所述神經網路的第二子網路，經由所述第二子網路輸出所述訓練圖像對應的透射光預測圖；
至少根據所述訓練圖像對應的透射光預測圖，訓練所述第一子網路和所述第二子網路。
在一種可能的實現方式中，所述獲取訓練圖像對應的多個偏振圖，以及所述訓練圖像對應的偏振訊息，包括：
對訓練圖像中屬不同偏振片角度的像素點進行分離，得到所述訓練圖像對應的多個偏振圖；
對所述訓練圖像對應的多個偏振圖中相應的像素點進行處理，得到所述訓練圖像對應的偏振訊息。
在一種可能的實現方式中，所述訓練圖像對應的偏振訊息包括所述訓練圖像對應的第一偏振訊息圖、所述訓練圖像對應的第二偏振訊息圖、所述訓練圖像對應的第三偏振訊息圖和所述訓練圖像對應的第四偏振訊息圖中的至少之一，其中，所述訓練圖像對應的第一偏振訊息圖用於表示所述訓練圖像對應的多個偏振圖的偏振光強度，所述訓練圖像對應的第二偏振訊息圖用於表示所述訓練圖像對應的多個偏振圖的偏振程度，所述訓練圖像對應的第三偏振訊息圖用於表示所述訓練圖像對應的多個偏振圖的光的偏振角度，所述訓練圖像對應的第四偏振訊息圖用於表示所述訓練圖像對應的多個偏振圖去除過曝後的訊息。
在一種可能的實現方式中，所述至少根據所述訓練圖像對應的透射光預測圖，訓練所述第一子網路和所述第二子網路，包括：
根據所述訓練圖像對應的透射光預測圖和所述訓練圖像對應的反光預測圖，確定第一損失函數的值；
至少根據所述第一損失函數的值，訓練所述第一子網路和所述第二子網路。
在一種可能的實現方式中，所述根據所述訓練圖像對應的透射光預測圖和所述訓練圖像對應的反光預測圖，確定第一損失函數的值，包括：
對所述訓練圖像對應的透射光預測圖和所述訓練圖像對應的反光預測圖分別進行歸一化處理，得到所述訓練圖像對應的歸一化的透射光預測圖和歸一化的反光預測圖；
將所述歸一化的透射光預測圖輸入第一預設網路，經由所述第一預設網路的第l層輸出所述歸一化的透射光預測圖對應的第l層的特徵圖，其中，1≤l≤P，P表示所述第一預設網路的總層數；
將所述歸一化的反光預測圖輸入所述第一預設網路，經由所述第一預設網路的第l層輸出所述歸一化的反光預測圖對應的第l層的特徵圖；
根據所述歸一化的透射光預測圖對應的第l層的特徵圖與所述歸一化的反光預測圖對應的第l層的特徵圖之間的歸一化互相關值，確定第一損失函數的值。
在一種可能的實現方式中，所述至少根據所述訓練圖像對應的透射光預測圖，訓練所述第一子網路和所述第二子網路，包括：
根據所述訓練圖像與所述訓練圖像對應的反光真實圖之差，得到所述訓練圖像對應的透射光目標圖；
根據所述訓練圖像對應的透射光預測圖和所述透射光目標圖，確定第二損失函數的值；
至少根據所述第二損失函數的值，訓練所述第一子網路和所述第二子網路。
在一種可能的實現方式中，所述根據所述訓練圖像對應的透射光預測圖和所述透射光目標圖，確定第二損失函數的值，包括：
根據所述訓練圖像對應的透射光預測圖與所述訓練圖像對應的第四偏振訊息圖中相應像素點的像素值的乘積，得到所述訓練圖像對應的去除過曝的透射光預測圖，其中，在所述訓練圖像對應的第四偏振訊息圖中，過曝的像素點的像素值爲第一預設值，非過曝的像素點的像素值爲第二預設值，其中，所述第一預設值小於所述第二預設值；
根據所述透射光目標圖與所述訓練圖像對應的第四偏振訊息圖中相應像素點的像素值的乘積，得到所述訓練圖像對應的去除過曝的透射光目標圖；
將所述去除過曝的透射光預測圖輸入第二預設網路，經由所述第二預設網路的第k層輸出所述去除過曝的透射光預測圖對應的第k層的特徵圖，其中，1≤k≤Q，Q表示所述第二預設網路的總層數；
將所述去除過曝的透射光目標圖輸入所述第二預設網路，經由所述第二預設網路的第k層輸出所述去除過曝的透射光目標圖對應的第k層的特徵圖；
根據所述去除過曝的透射光預測圖對應的第k層的特徵圖與所述去除過曝的透射光目標圖對應的第k層的特徵圖之間的差值，確定第二損失函數的值。
在一種可能的實現方式中，在所述根據所述訓練圖像與所述訓練圖像對應的反光真實圖之差，得到所述訓練圖像對應的透射光目標圖之前，所述方法還包括：
根據本發明的一方面，提供了一種去除圖像中的反光的裝置，包括：
第一獲取模組，用於獲取待處理圖像；
第二獲取模組，用於獲取所述待處理圖像對應的多個偏振圖，以及所述待處理圖像對應的偏振訊息，其中，所述待處理圖像對應的多個偏振圖是經過不同角度的偏振片形成的；
第一預測模組，用於根據所述待處理圖像對應的多個偏振圖和所述待處理圖像對應的偏振訊息，確定所述待處理圖像對應的反光預測圖；
第二預測模組，用於根據所述待處理圖像對應的多個偏振圖和所述待處理圖像對應的反光預測圖，確定所述待處理圖像對應的去除反光後的圖像。
在一種可能的實現方式中，所述第二獲取模組用於：
對待處理圖像中屬不同偏振片角度的像素點進行分離，得到所述待處理圖像對應的多個偏振圖；
對所述待處理圖像對應的多個偏振圖中相應的像素點進行處理，得到所述待處理圖像對應的偏振訊息。
在一種可能的實現方式中，所述待處理圖像對應的偏振訊息包括所述待處理圖像對應的第一偏振訊息圖、所述待處理圖像對應的第二偏振訊息圖、所述待處理圖像對應的第三偏振訊息圖和所述待處理圖像對應的第四偏振訊息圖中的至少之一，其中，所述待處理圖像對應的第一偏振訊息圖用於表示所述待處理圖像對應的多個偏振圖的偏振光強度，所述待處理圖像對應的第二偏振訊息圖用於表示所述待處理圖像對應的多個偏振圖的偏振程度，所述待處理圖像對應的第三偏振訊息圖用於表示所述待處理圖像對應的多個偏振圖的光的偏振角度，所述待處理圖像對應的第四偏振訊息圖用於表示所述待處理圖像對應的多個偏振圖去除過曝後的訊息。
在一種可能的實現方式中，所述裝置還包括：
第三獲取模組，用於獲取訓練圖像對應的多個偏振圖，以及所述訓練圖像對應的偏振訊息，其中，所述訓練圖像對應的多個偏振圖是經過不同角度的偏振片形成的；
第三預測模組，用於將所述訓練圖像對應的多個偏振圖和所述訓練圖像對應的偏振訊息輸入神經網路的第一子網路，經由所述第一子網路輸出所述訓練圖像對應的反光預測圖；
第四預測模組，用於將所述訓練圖像對應的多個偏振圖和所述訓練圖像對應的反光預測圖輸入所述神經網路的第二子網路，經由所述第二子網路輸出所述訓練圖像對應的透射光預測圖；
訓練模組，用於至少根據所述訓練圖像對應的透射光預測圖，訓練所述第一子網路和所述第二子網路。
在一種可能的實現方式中，所述第三獲取模組用於：
對訓練圖像中屬不同偏振片角度的像素點進行分離，得到所述訓練圖像對應的多個偏振圖；
對所述訓練圖像對應的多個偏振圖中相應的像素點進行處理，得到所述訓練圖像對應的偏振訊息。
在一種可能的實現方式中，所述訓練圖像對應的偏振訊息包括所述訓練圖像對應的第一偏振訊息圖、所述訓練圖像對應的第二偏振訊息圖、所述訓練圖像對應的第三偏振訊息圖和所述訓練圖像對應的第四偏振訊息圖中的至少之一，其中，所述訓練圖像對應的第一偏振訊息圖用於表示所述訓練圖像對應的多個偏振圖的偏振光強度，所述訓練圖像對應的第二偏振訊息圖用於表示所述訓練圖像對應的多個偏振圖的偏振程度，所述訓練圖像對應的第三偏振訊息圖用於表示所述訓練圖像對應的多個偏振圖的光的偏振角度，所述訓練圖像對應的第四偏振訊息圖用於表示所述訓練圖像對應的多個偏振圖去除過曝後的訊息。
在一種可能的實現方式中，所述訓練模組用於：
根據所述訓練圖像對應的透射光預測圖和所述訓練圖像對應的反光預測圖，確定第一損失函數的值；
至少根據所述第一損失函數的值，訓練所述第一子網路和所述第二子網路。
在一種可能的實現方式中，所述訓練模組用於：
對所述訓練圖像對應的透射光預測圖和所述訓練圖像對應的反光預測圖分別進行歸一化處理，得到所述訓練圖像對應的歸一化的透射光預測圖和歸一化的反光預測圖；
將所述歸一化的透射光預測圖輸入第一預設網路，經由所述第一預設網路的第l層輸出所述歸一化的透射光預測圖對應的第l層的特徵圖，其中，1≤l≤P，P表示所述第一預設網路的總層數；
將所述歸一化的反光預測圖輸入所述第一預設網路，經由所述第一預設網路的第l層輸出所述歸一化的反光預測圖對應的第l層的特徵圖；
根據所述歸一化的透射光預測圖對應的第l層的特徵圖與所述歸一化的反光預測圖對應的第l層的特徵圖之間的歸一化互相關值，確定第一損失函數的值。
在一種可能的實現方式中，所述訓練模組用於：
根據所述訓練圖像與所述訓練圖像對應的反光真實圖之差，得到所述訓練圖像對應的透射光目標圖；
根據所述訓練圖像對應的透射光預測圖和所述透射光目標圖，確定第二損失函數的值；
至少根據所述第二損失函數的值，訓練所述第一子網路和所述第二子網路。
在一種可能的實現方式中，所述訓練模組用於：
根據所述訓練圖像對應的透射光預測圖與所述訓練圖像對應的第四偏振訊息圖中相應像素點的像素值的乘積，得到所述訓練圖像對應的去除過曝的透射光預測圖，其中，在所述訓練圖像對應的第四偏振訊息圖中，過曝的像素點的像素值爲第一預設值，非過曝的像素點的像素值爲第二預設值，其中，所述第一預設值小於所述第二預設值；
根據所述透射光目標圖與所述訓練圖像對應的第四偏振訊息圖中相應像素點的像素值的乘積，得到所述訓練圖像對應的去除過曝的透射光目標圖；
將所述去除過曝的透射光預測圖輸入第二預設網路，經由所述第二預設網路的第k層輸出所述去除過曝的透射光預測圖對應的第k層的特徵圖，其中，1≤k≤Q，Q表示所述第二預設網路的總層數；
將所述去除過曝的透射光目標圖輸入所述第二預設網路，經由所述第二預設網路的第k層輸出所述去除過曝的透射光目標圖對應的第k層的特徵圖；
根據所述去除過曝的透射光預測圖對應的第k層的特徵圖與所述去除過曝的透射光目標圖對應的第k層的特徵圖之間的差值，確定第二損失函數的值。
在一種可能的實現方式中，所述裝置還包括：
採集模組，用於通過偏振感測器採集訓練圖像和所述訓練圖像對應的反光真實圖。
根據本發明的一方面，提供了一種電子設備，包括：一個或多個處理器；用於儲存可執行指令的記憶體；其中，所述一個或多個處理器被配置爲調用所述記憶體儲存的可執行指令，以執行上述方法。
根據本發明的一方面，提供了一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。
根據本發明的一方面，提供了一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現上述方法。
在本發明實施例中，通過獲取待處理圖像，獲取所述待處理圖像對應的多個偏振圖，以及所述待處理圖像對應的偏振訊息，根據所述待處理圖像對應的多個偏振圖和所述待處理圖像對應的偏振訊息，確定所述待處理圖像對應的反光預測圖，根據所述待處理圖像對應的多個偏振圖和所述待處理圖像對應的反光預測圖，確定所述待處理圖像對應的去除反光後的圖像，由此能夠準確地去除待處理圖像中的反光。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。
根據下面參考圖式對示例性實施例的詳細說明，本發明的其它特徵及方面將變得清楚。
以下將參考圖式詳細說明本發明的各種示例性實施例、特徵和方面。圖式中相同的圖式標記表示功能相同或相似的元件。儘管在圖式中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製圖式。
在這裏專用的詞“示例性”意爲“用作例子、實施例或說明性”。這裏作爲“示例性”所說明的任何實施例不必解釋爲優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，爲了更好地說明本發明，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本發明同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本發明的主旨。
如上所述，由於玻璃的兩側的光照條件不同，玻璃表面有一定可能産生反光。此類反光不僅影響照片的美觀，更可能使得大量真實場景的細節丟失，例如，在交通道路上拍攝違法車輛的照片時，車窗反光過强可能導致無法看見駕駛員的人臉。
爲了解決類似上文所述的技術問題，本發明實施例提供了一種去除圖像中的反光的方法及裝置、電子設備和儲存媒體，通過獲取待處理圖像，獲取所述待處理圖像對應的多個偏振圖，以及所述待處理圖像對應的偏振訊息，根據所述待處理圖像對應的多個偏振圖和所述待處理圖像對應的偏振訊息，確定所述待處理圖像對應的反光預測圖，根據所述待處理圖像對應的多個偏振圖和所述待處理圖像對應的反光預測圖，確定所述待處理圖像對應的去除反光後的圖像，由此能夠準確地去除待處理圖像中的反光。
本發明實施例可以應用於各種應用場景中。例如，在透過窗戶拍攝外面的靜物，在車內對車窗外的景色進行拍照，在博物館拍攝玻璃櫃內的展品，在交通道路上拍攝違法車輛的照片等情況下，可以採用本發明實施例快速去除拍攝的照片中的反光，給用戶提供沒有反光干擾的照片。又如，當拍攝戴眼鏡的人像時，可以採用本發明實施例快速去除拍攝的照片中的反光，使人物的眼睛及眼周區域更加清晰。
本發明實施例可以應用於電腦視覺、智能圖像處理、拍照、自動駕駛、機器人視覺等領域。
圖1示出本發明實施例提供的去除圖像中的反光的方法的流程圖。所述去除圖像中的反光的方法的執行主體可以是去除圖像中的反光的裝置。例如，所述去除圖像中的反光的方法可以由終端設備或伺服器或其它處理設備執行。其中，終端設備可以是用戶設備（User Equipment，UE）、行動設備、用戶終端、終端、行動電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備或者可穿戴設備等。在一些可能的實現方式中，所述去除圖像中的反光的方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。如圖1所示，所述去除圖像中的反光的方法包括步驟S11至步驟S14。
在步驟S11中，獲取待處理圖像。
在本發明實施例中，所述待處理圖像可以是通過偏振感測器採集得到的，所述待處理圖像可以是單通道的圖像。例如，所述待處理圖像可以包括經過4個角度0°、45°、90°和135°的偏振片得到的圖像訊息。
在步驟S12中，獲取所述待處理圖像對應的多個偏振圖，以及所述待處理圖像對應的偏振訊息，其中，所述待處理圖像對應的多個偏振圖是經過不同角度的偏振片形成的。
例如，所述待處理圖像包括4個偏振片角度0°、45°、90°和135°的圖像訊息，相應地，所述待處理圖像對應的偏振圖的數量可以爲4，所述待處理圖像對應的4個偏振圖分別對應於0°、45°、90°和135°這4個偏振片角度。
在一種可能的實現方式中，所述待處理圖像對應的偏振圖可以是灰階圖。
在本發明實施例中，所述待處理圖像對應的偏振訊息可以根據所述待處理圖像對應的多個偏振圖確定。
在一種可能的實現方式中，所述獲取所述待處理圖像對應的多個偏振圖，以及所述待處理圖像對應的偏振訊息，包括：對待處理圖像中屬不同偏振片角度的像素點進行分離，得到所述待處理圖像對應的多個偏振圖；對所述待處理圖像對應的多個偏振圖中相應的像素點進行處理，得到所述待處理圖像對應的偏振訊息。例如，所述待處理圖像包括4個偏振片角度0°、45°、90°和135°的圖像訊息，則可以分離出所述待處理圖像中屬0°的像素點，得到所述待處理圖像對應的第一偏振圖，分離出所述待處理圖像中屬45°的像素點，得到所述待處理圖像對應的第二偏振圖，分離出所述待處理圖像中屬90°的像素點，得到所述待處理圖像對應的第三偏振圖，分離出所述待處理圖像中屬135°的像素點，得到所述待處理圖像對應的第四偏振圖。
在一種可能的實現方式中，所述待處理圖像對應的偏振訊息包括所述待處理圖像對應的第一偏振訊息圖、所述待處理圖像對應的第二偏振訊息圖、所述待處理圖像對應的第三偏振訊息圖和所述待處理圖像對應的第四偏振訊息圖中的至少之一，其中，所述待處理圖像對應的第一偏振訊息圖用於表示所述待處理圖像對應的多個偏振圖的偏振光強度，所述待處理圖像對應的第二偏振訊息圖用於表示所述待處理圖像對應的多個偏振圖的偏振程度，所述待處理圖像對應的第三偏振訊息圖用於表示所述待處理圖像對應的多個偏振圖的光的偏振角度，所述待處理圖像對應的第四偏振訊息圖用於表示所述待處理圖像對應的多個偏振圖去除過曝後的訊息。
在步驟S13中，根據所述待處理圖像對應的多個偏振圖和所述待處理圖像對應的偏振訊息，確定所述待處理圖像對應的反光預測圖。
在一種可能的實現方式中，可以將所述待處理圖像對應的多個偏振圖和所述待處理圖像對應的偏振訊息輸入神經網路的第一子網路，經由所述第一子網路輸出所述待處理圖像對應的反光預測圖。在該實現方式中，所述待處理圖像對應的反光預測圖可以表示所述神經網路預測的所述待處理圖像對應的反光圖。
在步驟S14中，根據所述待處理圖像對應的多個偏振圖和所述待處理圖像對應的反光預測圖，確定所述待處理圖像對應的去除反光後的圖像。
在一種可能的實現方式中，可以將所述待處理圖像對應的多個偏振圖和所述待處理圖像對應的反光預測圖輸入所述神經網路的第二子網路，經由所述第二子網路輸出所述待處理圖像對應的去除反光後的圖像。
在一種可能的實現方式中，在所述獲取待處理圖像之前，所述方法還包括：獲取訓練圖像對應的多個偏振圖，以及所述訓練圖像對應的偏振訊息，其中，所述訓練圖像對應的多個偏振圖是經過不同角度的偏振片形成的；將所述訓練圖像對應的多個偏振圖和所述訓練圖像對應的偏振訊息輸入神經網路的第一子網路，經由所述第一子網路輸出所述訓練圖像對應的反光預測圖；將所述訓練圖像對應的多個偏振圖和所述訓練圖像對應的反光預測圖輸入所述神經網路的第二子網路，經由所述第二子網路輸出所述訓練圖像對應的透射光預測圖；至少根據所述訓練圖像對應的透射光預測圖，訓練所述第一子網路和所述第二子網路。
在該實現方式中，所述訓練圖像可以是單通道的圖像。例如，訓練圖像的高爲H，寬爲W。作爲該實現方式的一個示例，所述訓練圖像可以包括經過4個角度0°、45°、90°和135°的偏振片得到的圖像訊息。相應地，所述訓練圖像對應的偏振圖的數量可以爲4，所述訓練圖像對應的4個偏振圖分別對應於0°、45°、90°和135°這4個偏振片角度。例如，訓練圖像對應的4個偏振圖可以表示爲I1 、I2 、I3 和I4 。其中，I1 、I2 、I3 和I4 的高可以爲
Figure 02_image003
，寬可以爲
Figure 02_image005
。其中，所述訓練圖像對應的偏振圖可以是灰階圖。在該實現方式中，所述訓練圖像對應的偏振訊息可以所述訓練圖像對應的多個偏振圖確定。所述訓練圖像對應的反光預測圖可以表示爲
Figure 02_image007
，所述訓練圖像對應的透射光預測圖可以表示爲
Figure 02_image009
。第一子網路輸出的反光預測圖
Figure 02_image007
作爲第二子網路的輸入，可以用於得到更高品質的透射光預測圖
Figure 02_image009
。在該實現方式中，所述訓練圖像對應的反光預測圖可以表示所述神經網路預測的所述訓練圖像對應的反光圖。所述訓練圖像對應的透射光預測圖可以表示所述神經網路預測的所述訓練圖像去除反光後的圖像。
作爲該實現方式的一個示例，所述第一子網路和所述第二子網路可以採用U-Net的結構。當然，本發明實施例不限於此，本領域技術人員也可以根據實際應用場景需求和/或個人喜好靈活選擇第一子網路和第二子網路的類型和結構。
在一種可能的實現方式中，所述獲取訓練圖像對應的多個偏振圖，以及所述訓練圖像對應的偏振訊息，包括：對訓練圖像中屬不同偏振片角度的像素點進行分離，得到所述訓練圖像對應的多個偏振圖；對所述訓練圖像對應的多個偏振圖中相應的像素點進行處理，得到所述訓練圖像對應的偏振訊息。例如，所述訓練圖像包括經過4個角度0°、45°、90°和135°的偏振片得到的圖像訊息，則可以分離出所述訓練圖像中屬0°的像素點，得到所述訓練圖像對應的第一偏振圖I1 ，分離出所述訓練圖像中屬45°的像素點，得到所述訓練圖像對應的第二偏振圖I2 ，分離出所述訓練圖像中屬90°的像素點，得到所述訓練圖像對應的第三偏振圖I3 ，分離出所述訓練圖像中屬135°的像素點，得到所述訓練圖像對應的第四偏振圖I4 。
在一種可能的實現方式中，所述訓練圖像對應的偏振訊息包括所述訓練圖像對應的第一偏振訊息圖、所述訓練圖像對應的第二偏振訊息圖、所述訓練圖像對應的第三偏振訊息圖和所述訓練圖像對應的第四偏振訊息圖中的至少之一，其中，所述訓練圖像對應的第一偏振訊息圖用於表示所述訓練圖像對應的多個偏振圖的偏振光強度，所述訓練圖像對應的第二偏振訊息圖用於表示所述訓練圖像對應的多個偏振圖的偏振程度，所述訓練圖像對應的第三偏振訊息圖用於表示所述訓練圖像對應的光的偏振角度，所述訓練圖像對應的第四偏振訊息圖用於表示所述訓練圖像對應的多個偏振圖去除過曝後的訊息。
例如，訓練圖像對應的第一偏振訊息圖可以表示爲
Figure 02_image011
、訓練圖像對應的第二偏振訊息圖可以表示爲
Figure 02_image013
、訓練圖像對應的第三偏振訊息圖可以表示爲
Figure 02_image015
和訓練圖像對應的第四偏振訊息圖可以表示爲
Figure 02_image017
。
作爲該實現方式的一個示例，可以採用式1得到訓練圖像對應的第一偏振訊息圖
Figure 02_image011
：
Figure 02_image019
式1，
其中，
Figure 02_image021
爲圖中任一像素點，像素點
Figure 02_image021
的坐標爲（i, j），其中，1≤i≤
Figure 02_image003
，1≤j≤
Figure 02_image005
。
作爲該實現方式的一個示例，可以採用式2得到訓練圖像對應的第二偏振訊息圖
Figure 02_image013
：
Figure 02_image023
式2。
作爲該實現方式的一個示例，可以採用式3得到訓練圖像對應的第三偏振訊息圖
Figure 02_image015
：
Figure 02_image025
式3。
作爲該實現方式的一個示例，可以採用式4得到訓練圖像對應的第四偏振訊息圖
Figure 02_image017
：
Figure 02_image027
式4，
例如，
Figure 02_image029
。其中，若
Figure 02_image031
，則可以表明像素點
Figure 02_image021
過曝；若
Figure 02_image033
，則可以表明像素點
Figure 02_image021
非過曝。在訓練圖像對應的第四偏振訊息圖
Figure 02_image017
中，若像素點
Figure 02_image021
過曝，則像素點
Figure 02_image021
的像素值爲0；若像素點
Figure 02_image021
非過曝，則像素點
Figure 02_image021
的像素值爲1。
上文中，所述待處理圖像對應的第一偏振訊息圖、第二偏振訊息圖、第三偏振訊息圖和第四偏振訊息圖的確定方法，與所述訓練圖像對應的第一偏振訊息圖、第二偏振訊息圖、第三偏振訊息圖和第四偏振訊息圖的確定方法類似，本發明實施例對此不再贅述。
由於反光圖與透射光圖在偏振訊息上具有較大的差異，因此，通過採用所述訓練圖像對應的偏振訊息訓練神經網路，使神經網路能夠學習到識別反光圖與透射光圖並將它們分離的能力。
在一種可能的實現方式中，可以將VGG-19中的皮層柱（Hypercolumn）增加到所述神經網路的輸入中，以增强神經網路的效果。例如，在將所述訓練圖像對應的多個偏振圖和所述訓練圖像對應的偏振訊息輸入神經網路的第一子網路之前，可以採用VGG-19的conv1_2對I1 、I2 、I3 、I4 和
Figure 02_image011
進行處理，並對處理結果進行雙線性插值的上採樣，以使上採樣後的I1 、I2 、I3 、I4 和
Figure 02_image011
的尺寸與訓練圖像相同。爲了適用於VGG-19，可以先對神經網路的輸入圖像（訓練圖像或者待處理圖像）進行伽瑪校正。
圖2示出本發明實施例提供的神經網路的示意圖。在圖2所示的示例中，訓練圖像的高爲H，寬爲W。訓練圖像經過預處理，可以得到訓練圖像對應的4個偏振圖I1 、I2 、I3 和I4 。其中，I1 、I2 、I3 和I4 的高爲
Figure 02_image003
，寬爲
Figure 02_image005
。對I1 、I2 、I3 和I4 進行處理，可以得到訓練圖像對應的第一偏振訊息圖
Figure 02_image011
、訓練圖像對應的第二偏振訊息圖
Figure 02_image035
、訓練圖像對應的第三偏振訊息圖
Figure 02_image037
和訓練圖像對應的第四偏振訊息圖
Figure 02_image017
。將I1 、I2 、I3 、I4 、
Figure 02_image039
輸入第一子網路RNet，可以得到訓練圖像對應的反光預測圖
Figure 02_image007
。將I1 、I2 、I3 、I4 和
Figure 02_image007
輸入第二子網路TNet，可以得到訓練圖像對應的透射光預測圖
Figure 02_image009
。
在一種可能的實現方式中，所述至少根據所述訓練圖像對應的透射光預測圖，訓練所述第一子網路和所述第二子網路，包括：根據所述訓練圖像對應的透射光預測圖和所述訓練圖像對應的反光預測圖，確定第一損失函數的值；至少根據所述第一損失函數的值，訓練所述第一子網路和所述第二子網路。
作爲該實現方式的一個示例，所述根據所述訓練圖像對應的透射光預測圖和所述訓練圖像對應的反光預測圖，確定第一損失函數的值，包括：對所述訓練圖像對應的透射光預測圖和所述訓練圖像對應的反光預測圖分別進行歸一化處理，得到所述訓練圖像對應的歸一化的透射光預測圖和歸一化的反光預測圖；將所述歸一化的透射光預測圖輸入第一預設網路，經由所述第一預設網路的第l層輸出所述歸一化的透射光預測圖對應的第l層的特徵圖，其中，1≤l≤P，P表示所述第一預設網路的總層數；將所述歸一化的反光預測圖輸入所述第一預設網路，經由所述第一預設網路的第l層輸出所述歸一化的反光預測圖對應的第l層的特徵圖；根據所述歸一化的透射光預測圖對應的第l層的特徵圖與所述歸一化的反光預測圖對應的第l層的特徵圖之間的歸一化互相關值，確定第一損失函數的值。
在該實現方式中，第一預設網路可以是VGG-19或者ResNet-18等，本發明實施例對此不作限定。
例如，訓練圖像對應的透射光預測圖可以表示爲
Figure 02_image041
，訓練圖像對應的反光預測圖可以表示爲
Figure 02_image043
。第一損失函數
Figure 02_image045
可以根據式5得到：
Figure 02_image047
式5，
其中，
Figure 02_image049
，
Figure 02_image051
，
Figure 02_image053
表示
Figure 02_image055
的歸一化結果，
Figure 02_image057
的歸一化結果，
Figure 02_image059
表示
Figure 02_image053
輸入第一預設網路之後得到的第l層的特徵圖，
Figure 02_image061
表示
Figure 02_image063
輸入第一預設網路之後得到的第l層的特徵圖，n表示用於確定第一損失函數的總層數。例如，可以使用第一預設網路的conv2_2、conv3_2和conv4_2這三層輸出的特徵圖確定第一損失函數，那麽，在式5中，n=3。
圖3示出本發明實施例中對訓練圖像對應的透射光預測圖和訓練圖像對應的反光預測圖歸一化前後第一損失函數
Figure 02_image001
的單調性的示意圖。其中，
Figure 02_image065
，
Figure 02_image067
，
Figure 02_image069
，
Figure 02_image041
表示訓練圖像對應的透射光預測圖，
Figure 02_image043
表示訓練圖像對應的反光預測圖。如圖3所示，通過對所述訓練圖像對應的透射光預測圖和所述訓練圖像對應的反光預測圖分別進行歸一化處理，能夠使第一損失函數
Figure 02_image001
隨著
Figure 02_image071
的增大單調遞減。
在一種可能的實現方式中，所述至少根據所述訓練圖像對應的透射光預測圖，訓練所述第一子網路和所述第二子網路，包括：根據所述訓練圖像與所述訓練圖像對應的反光真實圖之差，得到所述訓練圖像對應的透射光目標圖；根據所述訓練圖像對應的透射光預測圖和所述透射光目標圖，確定第二損失函數的值；至少根據所述第二損失函數的值，訓練所述第一子網路和所述第二子網路。
在該實現方式中，可以將所述訓練圖像中像素點的像素值與所述訓練圖像對應的反光真實圖中相應像素點的像素值相減，得到所述訓練圖像對應的透射光目標圖。其中，所述訓練圖像對應的透射光目標圖可以表示所述訓練圖像對應的透射光圖的基準真相（Ground Truth），即所述訓練圖像對應的透射光目標圖可以表示所述訓練圖像去除反光後的圖像的基準真相。
圖4示出了背景圖B、透射光圖T、反光圖R和混合圖M的示意圖。其中，背景圖B表示不透過玻璃，直接對拍攝對象（即背景）進行拍攝得到的圖。混合圖M表示透過玻璃對玻璃後的拍攝對象拍攝得到的圖。相關技術中，將背景圖B作爲網路的監督訊息。由於透過玻璃拍攝照片會發生折射，因此，背景圖B與拍攝得到的照片（帶反光的混合圖M）中，相應圖像訊息在圖像中的位置不同。而本發明實施例通過根據所述訓練圖像與所述訓練圖像對應的反光真實圖之差，得到所述訓練圖像對應的透射光目標圖，並將透射光目標圖作爲神經網路的監督訊息，由此能夠使透射光目標圖與訓練圖像中相應圖像訊息在圖像中的位置相同，能夠解決相關技術中背景圖與混合圖中相應圖像訊息在圖像中的位置不對齊的問題，從而能夠提供高品質的訓練數據集，由此訓練得到的神經網路在實際應用時，能夠更準確地去除輸入圖像中的反光，得到更高品質的輸出圖像。其中，訓練圖像爲帶反光的混合圖M，反光真實圖爲訓練圖像對應的反光圖R的基準真相，本發明實施例可以根據T=M-R，得到訓練圖像對應的透射光目標圖T。採用該實現方式提供的方法可以處理多種形式的反射光，從而可以處理真實世界中的複雜光源造成的圖像反光問題，一般化能力較强。
作爲該實現方式的一個示例，在所述根據所述訓練圖像與所述訓練圖像對應的反光真實圖之差，得到所述訓練圖像對應的透射光目標圖之前，所述方法還包括：通過偏振感測器採集訓練圖像和所述訓練圖像對應的反光真實圖。
圖5示出了訓練圖像和訓練圖像對應的反光真實圖的採集方法的示意圖。例如，可以用一塊黑布蓋住玻璃的背面來阻擋所有透射光，通過偏振感測器採集反光真實圖，再移開黑布，通過偏振感測器採集相應的訓練圖像。在本發明實施例中，可以採用不同類型的玻璃獲得訓練圖像和訓練圖像對應的反光真實圖，從而獲得豐富、多樣的訓練數據。
本發明實施例通過上述方式採集訓練圖像和訓練圖像對應的反光真實圖，並將所述訓練圖像與所述訓練圖像對應的反光真實圖之差作爲所述訓練圖像對應的透射光目標圖，由此無需要求玻璃具有特殊的材質、厚度、顔色等，即，本發明實施例所適用的玻璃可以是平整的、彎曲的、薄的、厚的、帶顔色的、不帶顔色的等，從而能夠適用於更廣泛的應用場景。
作爲該實現方式的另一個示例，還可以通過仿真系統獲得訓練圖像和所述訓練圖像對應的反光真實圖。
在一種可能的實現方式中，所述根據所述訓練圖像對應的透射光預測圖和所述透射光目標圖，確定第二損失函數的值，包括：根據所述訓練圖像對應的透射光預測圖與所述訓練圖像對應的第四偏振訊息圖中相應像素點的像素值的乘積，得到所述訓練圖像對應的去除過曝的透射光預測圖，其中，在所述訓練圖像對應的第四偏振訊息圖中，過曝的像素點的像素值爲第一預設值，非過曝的像素點的像素值爲第二預設值，其中，所述第一預設值小於所述第二預設值；根據所述透射光目標圖與所述訓練圖像對應的第四偏振訊息圖中相應像素點的像素值的乘積，得到所述訓練圖像對應的去除過曝的透射光目標圖；將所述去除過曝的透射光預測圖輸入第二預設網路，經由所述第二預設網路的第k層輸出所述去除過曝的透射光預測圖對應的第k層的特徵圖，其中，1≤k≤Q，Q表示所述第二預設網路的總層數；將所述去除過曝的透射光目標圖輸入所述第二預設網路，經由所述第二預設網路的第k層輸出所述去除過曝的透射光目標圖對應的第k層的特徵圖；根據所述去除過曝的透射光預測圖對應的第k層的特徵圖與所述去除過曝的透射光目標圖對應的第k層的特徵圖之間的差值，確定第二損失函數的值。
在該實現方式中，第二預設網路可以是VGG-19或者ResNet-18等，本發明實施例對此不作限定。
作爲該實現方式的一個示例，第一預設值可以爲0，第二預設值可以爲1。當然，本發明實施例不限於此。例如，第一預設值可以爲0.01，第二預設值可以爲1。
例如，第二損失函數可以採用式6來表示：
Figure 02_image073
式6，
其中，
Figure 02_image075
表示透射光目標圖，
Figure 02_image041
表示透射光預測圖，
Figure 02_image017
表示訓練圖像對應的第四偏振訊息圖，
Figure 02_image077
表示第k層的權重，
Figure 02_image077
可以基於各層參數的個數初始化，
Figure 02_image079
表示去除過曝的透射光目標圖，
Figure 02_image081
表示去除過曝的透射光預測圖，
Figure 02_image083
表示將
Figure 02_image079
輸入第二預設網路之後得到的第k層的特徵圖，
Figure 02_image085
表示將
Figure 02_image081
輸入第二預設網路之後得到的第k層的特徵圖，m表示用於確定第二損失函數的總層數。例如，可以使用第二預設網路的conv1_1、conv1_2、conv2_2、conv3_2、conv4_2和conv5_2這6層輸出的特徵圖確定第二損失函數，那麽，在式6中，m=6。
在一種可能的實現方式中，所述神經網路的損失函數可以等於第一損失函數與第二損失函數之和。
在一種可能的實現方式中，在訓練所述神經網路時，可以首先採用Adam的梯度下降優化方法，學習率設置爲0.0001，訓練200個epoch（時期），再將學習率設置爲0.00001，繼續訓練200個epoch。其中，每個epoch所用到的訓練圖像的數量可以根據訓練圖像的總量進行調節。
圖6示出採用本發明實施例提供的去除圖像中的反光的方法對帶有三種不同類型的反光的輸入圖像進行處理後得到的輸出圖像的示意圖。如圖6所示，本發明實施例提供的神經網路能夠準確地移除輸入圖像中的反光圖層，得到較高品質的去除反光後的輸出圖像。
本發明實施例提供的去除圖像中的反光的方法不限定反光類型、光源類型，能夠處理真實世界中的複雜光源造成的圖像反光問題，應用場景較爲廣泛。另外，本發明實施例提供的神經網路的訓練方法能夠快速地完成網路的訓練。本發明實施例利用深度網路，能夠快速且精確地預測得到透射光預測圖（即去除反光後的圖）。
可以理解，本發明提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本發明不再贅述。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
此外，本發明還提供了去除圖像中的反光的裝置、電子設備、電腦可讀儲存媒體、程式，上述均可用來實現本發明提供的任一種去除圖像中的反光的方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
圖7示出本發明實施例提供的去除圖像中的反光的裝置的方塊圖。如圖7所示，所述去除圖像中的反光的裝置包括：第一獲取模組71，用於獲取待處理圖像；第二獲取模組72，用於獲取所述待處理圖像對應的多個偏振圖，以及所述待處理圖像對應的偏振訊息，其中，所述待處理圖像對應的多個偏振圖是經過不同角度的偏振片形成的；第一預測模組73，用於根據所述待處理圖像對應的多個偏振圖和所述待處理圖像對應的偏振訊息，確定所述待處理圖像對應的反光預測圖；第二預測模組74，用於根據所述待處理圖像對應的多個偏振圖和所述待處理圖像對應的反光預測圖，確定所述待處理圖像對應的去除反光後的圖像。
在一種可能的實現方式中，所述第二獲取模組72用於：對待處理圖像中屬不同偏振片角度的像素點進行分離，得到所述待處理圖像對應的多個偏振圖；對所述待處理圖像對應的多個偏振圖中相應的像素點進行處理，得到所述待處理圖像對應的偏振訊息。
在一種可能的實現方式中，所述待處理圖像對應的偏振訊息包括所述待處理圖像對應的第一偏振訊息圖、所述待處理圖像對應的第二偏振訊息圖、所述待處理圖像對應的第三偏振訊息圖和所述待處理圖像對應的第四偏振訊息圖中的至少之一，其中，所述待處理圖像對應的第一偏振訊息圖用於表示所述待處理圖像對應的多個偏振圖的偏振光強度，所述待處理圖像對應的第二偏振訊息圖用於表示所述待處理圖像對應的多個偏振圖的偏振程度，所述待處理圖像對應的第三偏振訊息圖用於表示所述待處理圖像對應的多個偏振圖的光的偏振角度，所述待處理圖像對應的第四偏振訊息圖用於表示所述待處理圖像對應的多個偏振圖去除過曝後的訊息。
在一種可能的實現方式中，所述裝置還包括：第三獲取模組，用於獲取訓練圖像對應的多個偏振圖，以及所述訓練圖像對應的偏振訊息，其中，所述訓練圖像對應的多個偏振圖是經過不同角度的偏振片形成的；第三預測模組，用於將所述訓練圖像對應的多個偏振圖和所述訓練圖像對應的偏振訊息輸入神經網路的第一子網路，經由所述第一子網路輸出所述訓練圖像對應的反光預測圖；第四預測模組，用於將所述訓練圖像對應的多個偏振圖和所述訓練圖像對應的反光預測圖輸入所述神經網路的第二子網路，經由所述第二子網路輸出所述訓練圖像對應的透射光預測圖；訓練模組，用於至少根據所述訓練圖像對應的透射光預測圖，訓練所述第一子網路和所述第二子網路。
在一種可能的實現方式中，所述第三獲取模組用於：對訓練圖像中屬不同偏振片角度的像素點進行分離，得到所述訓練圖像對應的多個偏振圖；對所述訓練圖像對應的多個偏振圖中相應的像素點進行處理，得到所述訓練圖像對應的偏振訊息。
在一種可能的實現方式中，所述訓練圖像對應的偏振訊息包括所述訓練圖像對應的第一偏振訊息圖、所述訓練圖像對應的第二偏振訊息圖、所述訓練圖像對應的第三偏振訊息圖和所述訓練圖像對應的第四偏振訊息圖中的至少之一，其中，所述訓練圖像對應的第一偏振訊息圖用於表示所述訓練圖像對應的多個偏振圖的偏振光強度，所述訓練圖像對應的第二偏振訊息圖用於表示所述訓練圖像對應的多個偏振圖的偏振程度，所述訓練圖像對應的第三偏振訊息圖用於表示所述訓練圖像對應的多個偏振圖的光的偏振角度，所述訓練圖像對應的第四偏振訊息圖用於表示所述訓練圖像對應的多個偏振圖去除過曝後的訊息。
在一種可能的實現方式中，所述訓練模組用於：根據所述訓練圖像對應的透射光預測圖和所述訓練圖像對應的反光預測圖，確定第一損失函數的值；至少根據所述第一損失函數的值，訓練所述第一子網路和所述第二子網路。
在一種可能的實現方式中，所述訓練模組用於：對所述訓練圖像對應的透射光預測圖和所述訓練圖像對應的反光預測圖分別進行歸一化處理，得到所述訓練圖像對應的歸一化的透射光預測圖和歸一化的反光預測圖；將所述歸一化的透射光預測圖輸入第一預設網路，經由所述第一預設網路的第l層輸出所述歸一化的透射光預測圖對應的第l層的特徵圖，其中，1≤l≤P，P表示所述第一預設網路的總層數；將所述歸一化的反光預測圖輸入所述第一預設網路，經由所述第一預設網路的第l層輸出所述歸一化的反光預測圖對應的第l層的特徵圖；根據所述歸一化的透射光預測圖對應的第l層的特徵圖與所述歸一化的反光預測圖對應的第l層的特徵圖之間的歸一化互相關值，確定第一損失函數的值。
在一種可能的實現方式中，所述訓練模組用於：根據所述訓練圖像與所述訓練圖像對應的反光真實圖之差，得到所述訓練圖像對應的透射光目標圖；根據所述訓練圖像對應的透射光預測圖和所述透射光目標圖，確定第二損失函數的值；至少根據所述第二損失函數的值，訓練所述第一子網路和所述第二子網路。
在一種可能的實現方式中，所述訓練模組用於：根據所述訓練圖像對應的透射光預測圖與所述訓練圖像對應的第四偏振訊息圖中相應像素點的像素值的乘積，得到所述訓練圖像對應的去除過曝的透射光預測圖，其中，在所述訓練圖像對應的第四偏振訊息圖中，過曝的像素點的像素值爲第一預設值，非過曝的像素點的像素值爲第二預設值，其中，所述第一預設值小於所述第二預設值；根據所述透射光目標圖與所述訓練圖像對應的第四偏振訊息圖中相應像素點的像素值的乘積，得到所述訓練圖像對應的去除過曝的透射光目標圖；將所述去除過曝的透射光預測圖輸入第二預設網路，經由所述第二預設網路的第k層輸出所述去除過曝的透射光預測圖對應的第k層的特徵圖，其中，1≤k≤Q，Q表示所述第二預設網路的總層數；將所述去除過曝的透射光目標圖輸入所述第二預設網路，經由所述第二預設網路的第k層輸出所述去除過曝的透射光目標圖對應的第k層的特徵圖；根據所述去除過曝的透射光預測圖對應的第k層的特徵圖與所述去除過曝的透射光目標圖對應的第k層的特徵圖之間的差值，確定第二損失函數的值。
在一種可能的實現方式中，所述裝置還包括：採集模組，用於通過偏振感測器採集訓練圖像和所述訓練圖像對應的反光真實圖。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，爲了簡潔，這裏不再贅述。
本發明實施例還提供一種電腦可讀儲存媒體，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。其中，所述電腦可讀儲存媒體可以是非揮發性電腦可讀儲存媒體，或者可以是揮發性電腦可讀儲存媒體。
本發明實施例還提供了一種電腦程式産品，包括電腦可讀代碼，當電腦可讀代碼在電子設備上運行時，所述電子設備中的處理器執行用於實現上述方法。
本發明實施例還提供了另一種電腦程式産品，用於儲存電腦可讀指令，指令被執行時使得電腦執行上述任一實施例提供的去除圖像中的反光的方法的操作。
本發明實施例還提供一種電子設備，包括：一個或多個處理器；用於儲存可執行指令的記憶體；其中，所述一個或多個處理器被配置爲調用所述記憶體儲存的可執行指令，以執行上述方法。
電子設備可以被提供爲終端、伺服器或其它形態的設備。
圖8示出本發明實施例提供的一種電子設備800的方塊圖。例如，電子設備800可以是行動電話，電腦，數位廣播終端，訊息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。
參照圖8，電子設備800可以包括以下一個或多個組件：處理組件802，記憶體804，電源組件806，多媒體組件808，音訊組件810，輸入/輸出（I/O）的介面812，感測器組件814，以及通訊組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，數據通訊，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置爲儲存各種類型的數據以支持在電子設備800的操作。這些數據的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人數據，電話簿數據，訊息，圖片，視訊等。記憶體804可以由任何類型的揮發性或非揮發性儲存設備或者它們的組合實現，如靜態隨機存取記憶體（SRAM），電子可抹除可程式化唯讀記憶體（EEPROM），可抹除可程式化唯讀記憶體（EPROM），可程式化唯讀記憶體（PROM），唯讀記憶體（ROM），磁記憶體，快閃記憶體，磁碟或光碟。
電源組件806爲電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與爲電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和用戶之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器（LCD）和觸控面板（TP）。如果螢幕包括觸控面板，螢幕可以被實現爲觸控螢幕，以接收來自用戶的輸入訊號。觸控面板包括一個或多個觸控感測器以感測觸控、滑動和觸控面板上的手勢。所述觸控感測器可以不僅感測觸控或滑動動作的邊界，而且還檢測與所述觸控或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝影機和/或後置攝影機。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝影機和/或後置攝影機可以接收外部的多媒體數據。每個前置攝影機和後置攝影機可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音訊組件810被配置爲輸出和/或輸入音訊訊號。例如，音訊組件810包括一個麥克風（MIC），當電子設備800處於操作模式，如呼叫模式、記錄模式和語音識別模式時，麥克風被配置爲接收外部音訊訊號。所接收的音訊訊號可以被進一步儲存在記憶體804或經由通訊組件816發送。在一些實施例中，音訊組件810還包括一個揚聲器，用於輸出音訊訊號。
I/O介面812爲處理組件802和周邊介面模組之間提供介面，上述周邊介面模組可以是鍵盤，滑鼠，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啓動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於爲電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件爲電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，用戶與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如CMOS（互補式金氧半導體）或CCD（電荷耦合元件）圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通訊組件816被配置爲便於電子設備800和其他設備之間有線或無線方式的通訊。電子設備800可以接入基於通訊標準的無線網路，如Wi-Fi（無線網路）、2G（第二代行動通訊技術）、3G（第三代行動通訊技術）、4G/LTE（第四代行動通訊技術/長期演進技術）、5G（第五代行動通訊技術）或它們的組合。在一個示例性實施例中，通訊組件816經由廣播信道接收來自外部廣播管理系統的廣播訊號或廣播相關訊息。在一個示例性實施例中，所述通訊組件816還包括近場通訊（NFC）模組，以促進短程通訊。例如，在NFC模組可基於射頻識別（RFID）技術，紅外數據協會（IrDA）技術，超寬頻（UWB）技術，藍牙（BT）技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路（ASIC）、數位訊號處理器（DSP）、數位訊號處理設備（DSPD）、可程式化邏輯裝置（PLD）、現場可程式化邏輯閘陣列（FPGA）、控制器、微控制器、微處理器或其他電子元件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒體，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖9示出本發明實施例提供的一種電子設備1900的方塊圖。例如，電子設備1900可以被提供爲一伺服器。參照圖9，電子設備1900包括處理組件1922，其進一步包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理組件1922的執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件1922被配置爲執行指令，以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置爲執行電子設備1900的電源管理，一個有線或無線網路介面1950被配置爲將電子設備1900連接到網路，和一個輸入輸出（I/O）介面1958。電子設備1900可以操作基於儲存在記憶體1932的操作系統，例如Windows Server®（微軟作業系統），Mac OS X®（麥金塔作業系統），Unix®（UNIX作業系統），Linux®（LINUX作業系統），FreeBSD®（FreeBSD系統）或類似。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒體，例如包括電腦程式指令的記憶體1932，上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本發明可以是系統、方法和/或電腦程式産品。電腦程式産品可以包括電腦可讀儲存媒體，其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令。
電腦可讀儲存媒體可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存媒體例如可以是――但不限於――電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或者上述的任意合適的組合。電腦可讀儲存媒體的更具體的例子（非窮舉的列表）包括：可攜式電腦盤、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可抹除可程式化唯讀記憶體（EPROM或快閃記憶體）、靜態隨機存取記憶體（SRAM）、可攜式壓縮磁碟唯讀記憶體（CD-ROM）、數位多功能影音光碟（DVD）、記憶卡、磁片、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裏所使用的電腦可讀儲存媒體不被解釋爲瞬時訊號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波（例如，通過光纖電纜的光脈衝）、或者通過電線傳輸的電訊號。
這裏所描述的電腦可讀程式指令可以從電腦可讀儲存媒體下載到各個計算/處理設備，或者通過網路、例如網際網路、區域網路、廣域網路和/或無線網下載到外部電腦或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存媒體中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構（ISA）指令、機器指令、機器相關指令、微代碼、韌體指令、狀態設置數據、或者以一種或多種程式化語言的任意組合編寫的原始碼或目標代碼，所述程式化語言包括面向對象的程式化語言—諸如Smalltalk（物件導向語言）、C++（程式設計語言）等，以及常規的過程式程式化語言—諸如“C”語言或類似的程式化語言。電腦可讀程式指令可以完全地在用戶電腦上執行、部分地在用戶電腦上執行、作爲一個獨立的套裝軟體執行、部分在用戶電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路—包括區域網路(LAN)或廣域網路(WAN)—連接到用戶電腦，或者，可以連接到外部電腦（例如利用網際網路服務提供商來通過網際網路連接）。在一些實施例中，通過利用電腦可讀程式指令的狀態訊息來個性化定制電子電路，例如可程式化邏輯電路、現場可程式化邏輯閘陣列（FPGA）或可程式化邏輯陣列（PLA），該電子電路可以執行電腦可讀程式指令，從而實現本發明的各個方面。
這裏參照根據本發明實施例的方法、裝置（系統）和電腦程式産品的流程圖和/或方塊圖描述了本發明的各個方面。應當理解，流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式化數據處理裝置的處理器，從而生産出一種機器，使得這些指令在通過電腦或其它可程式化數據處理裝置的處理器執行時，産生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存媒體中，這些指令使得電腦、可程式化數據處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀媒體則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令加載到電腦、其它可程式化數據處理裝置、或其它設備上，使得在電腦、其它可程式化數據處理裝置或其它設備上執行一系列操作步驟，以産生電腦實現的過程，從而使得在電腦、其它可程式化數據處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
圖式中的流程圖和方塊圖顯示了根據本發明的多個實施例的系統、方法和電腦程式産品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作爲替換的實現中，方塊中所標注的功能也可以以不同於圖式中所標注的順序發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
該電腦程式産品可以具體通過硬體、軟體或其結合的方式實現。在一個可選實施例中，所述電腦程式産品具體體現爲電腦儲存媒體，在另一個可選實施例中，電腦程式産品具體體現爲軟體産品，例如軟體開發套件(Software Development Kit，SDK)等等。
以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
71:第一獲取模組 72:第二獲取模組 73:第一預測模組 74:第二預測模組 800:電子設備 802:處理組件 804:記憶體 806:電源組件 808:多媒體組件 810:音訊組件 812:輸入/輸出介面 814:感測器組件 816:通訊組件 820:處理器 1900:電子設備 1922:處理組件 1926:電源組件 1932:記憶體 1950:網路介面 1958:輸入/輸出介面 S11~S14:步驟
此處的圖式被併入說明書中並構成本說明書的一部分，這些圖式示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案： 圖1示出本發明實施例提供的去除圖像中的反光的方法的流程圖； 圖2示出本發明實施例提供的神經網路的示意圖； 圖3示出本發明實施例中對訓練圖像對應的透射光預測圖和訓練圖像對應的反光預測圖歸一化前後第一損失函數
Figure 02_image001
的單調性的示意圖； 圖4示出了背景圖B、透射光圖T、反光圖R和混合圖M的示意圖； 圖5示出了訓練圖像和訓練圖像對應的反光真實圖的採集方法的示意圖； 圖6示出採用本發明實施例提供的去除圖像中的反光的方法對帶有三種不同類型的反光的輸入圖像進行處理後得到的輸出圖像的示意圖； 圖7示出本發明實施例提供的去除圖像中的反光的裝置的方塊圖； 圖8示出本發明實施例提供的一種電子設備800的方塊圖；及 圖9示出本發明實施例提供的一種電子設備1900的方塊圖。
S11~S14:步驟

Claims (11)

  1. 一種去除圖像中的反光的方法，包括： 獲取待處理圖像； 獲取所述待處理圖像對應的多個偏振圖，以及所述待處理圖像對應的偏振訊息，其中，所述待處理圖像對應的多個偏振圖是經過不同角度的偏振片形成的； 根據所述待處理圖像對應的多個偏振圖和所述待處理圖像對應的偏振訊息，確定所述待處理圖像對應的反光預測圖； 根據所述待處理圖像對應的多個偏振圖和所述待處理圖像對應的反光預測圖，確定所述待處理圖像對應的去除反光後的圖像。
  2. 如請求項1所述的方法，其中，所述獲取所述待處理圖像對應的多個偏振圖，以及所述待處理圖像對應的偏振訊息，包括： 對待處理圖像中屬不同偏振片角度的像素點進行分離，得到所述待處理圖像對應的多個偏振圖； 對所述待處理圖像對應的多個偏振圖中相應的像素點進行處理，得到所述待處理圖像對應的偏振訊息。
  3. 如請求項1或2所述的方法，其中，所述待處理圖像對應的偏振訊息包括所述待處理圖像對應的第一偏振訊息圖、所述待處理圖像對應的第二偏振訊息圖、所述待處理圖像對應的第三偏振訊息圖和所述待處理圖像對應的第四偏振訊息圖中的至少之一，其中，所述待處理圖像對應的第一偏振訊息圖用於表示所述待處理圖像對應的多個偏振圖的偏振光強度，所述待處理圖像對應的第二偏振訊息圖用於表示所述待處理圖像對應的多個偏振圖的偏振程度，所述待處理圖像對應的第三偏振訊息圖用於表示所述待處理圖像對應的多個偏振圖的光的偏振角度，所述待處理圖像對應的第四偏振訊息圖用於表示所述待處理圖像對應的多個偏振圖去除過曝後的訊息。
  4. 如請求項1所述的方法，其中，在所述獲取待處理圖像之前，所述方法還包括： 獲取訓練圖像對應的多個偏振圖，以及所述訓練圖像對應的偏振訊息，其中，所述訓練圖像對應的多個偏振圖是經過不同角度的偏振片形成的； 將所述訓練圖像對應的多個偏振圖和所述訓練圖像對應的偏振訊息輸入神經網路的第一子網路，經由所述第一子網路輸出所述訓練圖像對應的反光預測圖； 將所述訓練圖像對應的多個偏振圖和所述訓練圖像對應的反光預測圖輸入所述神經網路的第二子網路，經由所述第二子網路輸出所述訓練圖像對應的透射光預測圖； 至少根據所述訓練圖像對應的透射光預測圖，訓練所述第一子網路和所述第二子網路。
  5. 如請求項4所述的方法，其中，所述至少根據所述訓練圖像對應的透射光預測圖，訓練所述第一子網路和所述第二子網路，包括： 根據所述訓練圖像對應的透射光預測圖和所述訓練圖像對應的反光預測圖，確定第一損失函數的值； 至少根據所述第一損失函數的值，訓練所述第一子網路和所述第二子網路。
  6. 如請求項5所述的方法，其中，所述根據所述訓練圖像對應的透射光預測圖和所述訓練圖像對應的反光預測圖，確定第一損失函數的值，包括： 對所述訓練圖像對應的透射光預測圖和所述訓練圖像對應的反光預測圖分別進行歸一化處理，得到所述訓練圖像對應的歸一化的透射光預測圖和歸一化的反光預測圖； 將所述歸一化的透射光預測圖輸入第一預設網路，經由所述第一預設網路的第l層輸出所述歸一化的透射光預測圖對應的第l層的特徵圖，其中，1≤l≤P，P表示所述第一預設網路的總層數； 將所述歸一化的反光預測圖輸入所述第一預設網路，經由所述第一預設網路的第l層輸出所述歸一化的反光預測圖對應的第l層的特徵圖； 根據所述歸一化的透射光預測圖對應的第l層的特徵圖與所述歸一化的反光預測圖對應的第l層的特徵圖之間的歸一化互相關值，確定第一損失函數的值。
  7. 如請求項4至6其中任意一項所述的方法，其中，所述至少根據所述訓練圖像對應的透射光預測圖，訓練所述第一子網路和所述第二子網路，包括： 根據所述訓練圖像與所述訓練圖像對應的反光真實圖之差，得到所述訓練圖像對應的透射光目標圖； 根據所述訓練圖像對應的透射光預測圖和所述透射光目標圖，確定第二損失函數的值； 至少根據所述第二損失函數的值，訓練所述第一子網路和所述第二子網路。
  8. 如請求項7所述的方法，其中，所述根據所述訓練圖像對應的透射光預測圖和所述透射光目標圖，確定第二損失函數的值，包括： 根據所述訓練圖像對應的透射光預測圖與所述訓練圖像對應的第四偏振訊息圖中相應像素點的像素值的乘積，得到所述訓練圖像對應的去除過曝的透射光預測圖，其中，在所述訓練圖像對應的第四偏振訊息圖中，過曝的像素點的像素值爲第一預設值，非過曝的像素點的像素值爲第二預設值，其中，所述第一預設值小於所述第二預設值； 根據所述透射光目標圖與所述訓練圖像對應的第四偏振訊息圖中相應像素點的像素值的乘積，得到所述訓練圖像對應的去除過曝的透射光目標圖； 將所述去除過曝的透射光預測圖輸入第二預設網路，經由所述第二預設網路的第k層輸出所述去除過曝的透射光預測圖對應的第k層的特徵圖，其中，1≤k≤Q，Q表示所述第二預設網路的總層數； 將所述去除過曝的透射光目標圖輸入所述第二預設網路，經由所述第二預設網路的第k層輸出所述去除過曝的透射光目標圖對應的第k層的特徵圖； 根據所述去除過曝的透射光預測圖對應的第k層的特徵圖與所述去除過曝的透射光目標圖對應的第k層的特徵圖之間的差值，確定第二損失函數的值。
  9. 如請求項7所述的方法，其中，在所述根據所述訓練圖像與所述訓練圖像對應的反光真實圖之差，得到所述訓練圖像對應的透射光目標圖之前，所述方法還包括： 通過偏振感測器採集訓練圖像和所述訓練圖像對應的反光真實圖。
  10. 一種電子設備，包括： 一個或多個處理器； 用於儲存可執行指令的記憶體； 其中，所述一個或多個處理器被配置爲調用所述記憶體儲存的可執行指令，以執行如請求項1至9其中任意一項所述的方法。
  11. 一種電腦可讀儲存媒體，其上儲存有電腦程式指令，其中，所述電腦程式指令被處理器執行時實現如請求項1至9其中任意一項所述的方法。
TW109120319A 2020-03-04 2020-06-17 去除圖像中的反光的方法、電子設備和電腦可讀儲存媒體 TWI749593B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010144325.2A CN111369464B (zh) 2020-03-04 2020-03-04 去除图像中的反光的方法及装置、电子设备和存储介质
CN202010144325.2 2020-03-04

Publications (2)

Publication Number Publication Date
TW202135005A true TW202135005A (zh) 2021-09-16
TWI749593B TWI749593B (zh) 2021-12-11

Family

ID=71211696

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109120319A TWI749593B (zh) 2020-03-04 2020-06-17 去除圖像中的反光的方法、電子設備和電腦可讀儲存媒體

Country Status (3)

Country Link
CN (1) CN111369464B (zh)
TW (1) TWI749593B (zh)
WO (1) WO2021174687A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI820889B (zh) * 2022-09-01 2023-11-01 英屬維爾京群島商威爾德嘉德有限公司 圖像處理方法及其裝置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598598B (zh) * 2020-12-25 2023-11-28 南京信息工程大学滨江学院 一种基于两级反射光消除网络的图像反射光去除方法
CN113011303B (zh) * 2021-03-12 2023-04-18 支付宝(杭州)信息技术有限公司 一种基于偏振图像的面部特征确定方法及装置
CN113421191A (zh) * 2021-06-28 2021-09-21 Oppo广东移动通信有限公司 图像处理方法、装置、设备及存储介质
CN115358937B (zh) * 2022-07-18 2023-06-20 荣耀终端有限公司 图像去反光方法、介质及电子设备
CN115082477B (zh) * 2022-08-23 2022-10-28 山东鲁芯之光半导体制造有限公司 一种基于去反光效果的半导体晶圆加工质量检测方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006073450A2 (en) * 2004-04-27 2006-07-13 The Trustees Of The University Of Pennsylvania Polarization and reflection based non-contact latent fingerprint imaging and lifting
JP4971531B2 (ja) * 2010-07-21 2012-07-11 パナソニック株式会社 画像処理装置
JP2019004204A (ja) * 2017-06-12 2019-01-10 住友電工システムソリューション株式会社 画像処理装置、画像出力装置およびコンピュータプログラム
CN108038454B (zh) * 2017-12-15 2020-01-07 北京正通亿和文化艺术交流有限公司 一种全息灯光脸部采集系统
TWI725875B (zh) * 2018-01-16 2021-04-21 美商伊路米納有限公司 結構照明成像系統和使用結構化光來創建高解析度圖像的方法
CN108286966B (zh) * 2018-01-24 2021-11-19 北京航空航天大学 一种自适应多光谱偏振导航传感器及其定向方法
CN108492364B (zh) * 2018-03-27 2022-09-20 百度在线网络技术（北京）有限公司 用于生成图像生成模型的方法和装置
CN109325912B (zh) * 2018-08-27 2023-05-12 曜科智能科技（上海）有限公司 基于偏振光光场的反光分离方法及标定拼合系统
CN108900754A (zh) * 2018-08-27 2018-11-27 广州大学 一种用于消除眼镜镜面反光的摄像装置及其控制方法
CN109993124B (zh) * 2019-04-03 2023-07-14 深圳华付技术股份有限公司 基于视频反光的活体检测方法、装置及计算机设备
CN110827217B (zh) * 2019-10-30 2022-07-12 维沃移动通信有限公司 图像处理方法、电子设备及计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI820889B (zh) * 2022-09-01 2023-11-01 英屬維爾京群島商威爾德嘉德有限公司 圖像處理方法及其裝置

Also Published As

Publication number Publication date
CN111369464B (zh) 2021-11-09
TWI749593B (zh) 2021-12-11
CN111369464A (zh) 2020-07-03
WO2021174687A1 (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
TWI749593B (zh) 去除圖像中的反光的方法、電子設備和電腦可讀儲存媒體
TWI728621B (zh) 圖像處理方法及其裝置、電子設備、電腦可讀儲存媒體和電腦程式
WO2021196401A1 (zh) 图像重建方法及装置、电子设备和存储介质
CN107798669B (zh) 图像去雾方法、装置及计算机可读存储介质
TWI706379B (zh) 圖像處理方法及裝置、電子設備和儲存介質
US11475243B2 (en) Training method and device for an image enhancement model, and storage medium
US20220262012A1 (en) Image Processing Method and Apparatus, and Storage Medium
EP3010226A2 (en) Method and apparatus for obtaining photograph
CN104918107B (zh) 视频文件的标识处理方法及装置
TWI777112B (zh) 圖像處理方法、電子設備和儲存介質
JP2021518961A (ja) 画像生成方法および装置、電子機器並びに記憶媒体
TWI769523B (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
CN110619610B (zh) 图像处理方法及装置
JP6909317B2 (ja) 画像処理モデルのトレーニング方法、装置および媒体
KR101701814B1 (ko) 프레이밍 정보를 디스플레이하기 위한 방법 및 장치
WO2022262416A1 (zh) 音频的处理方法及电子设备
KR20220149514A (ko) 이미지 처리 방법, 장치, 기기, 저장 매체 및 프로그램
TWI770531B (zh) 人臉識別方法、電子設備和儲存介質
CN105654470A (zh) 图像选取方法、装置及系统
CN115359105B (zh) 景深扩展图像生成方法、设备及存储介质
CN111275641A (zh) 图像处理方法及装置、电子设备和存储介质
CN107451972B (zh) 图像增强方法、装置及计算机可读存储介质
CN112200745A (zh) 遥感影像的处理方法及装置、电子设备和存储介质
CN110796630A (zh) 图像处理方法及装置、电子设备和存储介质
CN111292250B (zh) 图像处理方法及装置