TWI777112B - 圖像處理方法、電子設備和儲存介質 - Google Patents
圖像處理方法、電子設備和儲存介質 Download PDFInfo
- Publication number
- TWI777112B TWI777112B TW108146508A TW108146508A TWI777112B TW I777112 B TWI777112 B TW I777112B TW 108146508 A TW108146508 A TW 108146508A TW 108146508 A TW108146508 A TW 108146508A TW I777112 B TWI777112 B TW I777112B
- Authority
- TW
- Taiwan
- Prior art keywords
- feature
- reflection
- image
- pixel
- brightness
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000003860 storage Methods 0.000 title claims abstract description 27
- 238000003672 processing method Methods 0.000 claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 claims description 114
- 230000008569 process Effects 0.000 claims description 36
- 230000006870 function Effects 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 30
- 238000005457 optimization Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Holo Graphy (AREA)
Abstract
本公開實施例公開了一種圖像處理方法、電子設備和儲存介質,其中,所述方法包括:獲取輸入圖像的第一亮度特徵;利用所述第一亮度特徵得到所述輸入圖像的第一反射特徵;基於所述第一亮度特徵和第一反射特徵,得到所述輸入圖像的增強後的圖像。本公開實施例能夠提高圖像的處理效率並提高圖像品質。
Description
本公開關於電腦視覺領域,特別關於一種圖像處理方法、電子設備和儲存介質。
在平安城市、智慧交通等安防監控場景中,採集的圖像由於受到時間、位置以及低光照度環境等限制,可能會失真較大。在這種環境中獲取的視頻圖像對比度低、資訊失真。因此對人臉識別、行為分析等智慧視頻分析工作的效率和準確率較低。
本公開實施例提供了一種圖像處理方法、電子設備和儲存介質,其能夠提高圖像處理效率並提高圖像品質。
根據本公開實施例的第一方面,提供了一種圖像處理方法,包括:獲取輸入圖像的第一亮度特徵;
利用所述第一亮度特徵得到所述輸入圖像的第一反射特徵;基於所述第一亮度特徵和第一反射特徵,得到所述輸入圖像的增強後的圖像。
在一些可能的實施方式中,所述第一亮度特徵中的元素表示所述輸入圖像的各像素點的亮度分量,所述獲取輸入圖像的第一亮度特徵,包括:獲得輸入圖像中每個像素點對應的多個顏色通道的特徵值;針對每個像素點,確定所述多個顏色通道的特徵值中的最大值;將每個像素點對應的多個顏色通道中的所述最大值確定為第一亮度特徵中對應像素點的亮度分量,以得到所述第一亮度特徵。
在一些可能的實施方式中,所述第一反射特徵中的元素表示所述輸入圖像對應像素點的反射分量,所述利用所述第一亮度特徵得到所述輸入圖像的第一反射特徵,包括:將所述第一亮度特徵中的各元素與預設常量進行相加處理,得到加和特徵;將所述輸入圖像中對應像素點的每個顏色通道的特徵值與所述加和特徵中對應像素點的特徵值之間的比值,確定為對應像素點的每個顏色通道的第一反射分量;
根據所述輸入圖像的像素點的每個顏色通道的第一反射分量確定所述第一反射特徵。
在一些可能的實施方式中,所述第一反射特徵中的元素表示所述輸入圖像對應像素點的反射分量,所述利用所述第一亮度特徵得到所述輸入圖像的第一反射特徵,包括:將所述第一亮度特徵中的各元素與預設常量進行相加處理,得到加和特徵;獲得所述輸入圖像中對應像素點的每個顏色通道的特徵值與所述加和特徵中對應像素點的特徵值的比值,得到各像素點的每個顏色通道的第一反射分量;對所述第一反射分量執行去噪處理,得到像素點的每個顏色通道的第二反射分量;根據所述輸入圖像的像素點的每個顏色通道的所述第二反射分量確定所述第一反射特徵。
在一些可能的實施方式中,所述基於所述第一亮度特徵和第一反射特徵,得到所述輸入圖像的增強後的圖像,包括:對所述第一亮度特徵進行優化處理,得到第二亮度特徵;基於所述第二亮度特徵和第一反射特徵,得到所述輸入圖像的增強後的圖像。
在一些可能的實施方式中,對所述第一亮度特徵進行優化處理,得到第二亮度特徵,包括:
基於編碼參數,對所述第一亮度特徵執行編碼處理,得到編碼後的第一亮度特徵;基於解碼參數,對所述編碼後的第一亮度特徵執行解碼處理,得到所述第二亮度特徵。
在一些可能的實施方式中,所述基於所述第二亮度特徵和第一反射特徵,得到所述輸入圖像的增強處理後的圖像,包括:對所述第二亮度特徵和第一反射特徵執行乘積處理,得到重建特徵;基於所述重建特徵確定所述增強後的圖像。
在一些可能的實施方式中,所述對所述第一亮度特徵進行優化處理包括:通過第一神經網路對所述第一亮度特徵進行優化處理;其中,所述第一神經網路的訓練過程,包括:獲取圖像樣本;獲取所述圖像樣本的第一亮度特徵和結構權值特徵,所述結構權值特徵中的元素表示所述第一亮度特徵中各像素點的亮度分量的權值;將所述第一亮度特徵和結構權值特徵輸入至所述第一神經網路,得到預測的第二亮度特徵;根據所述預測的第二亮度特徵對應的損失值調整所述第一神經網路的參數,直至所述損失值滿足預設要求。
在一些可能的實施方式中,所述第一神經網路的損失函數為:
其中,L s1為第一神經網路的損失函數,y i 表示第一亮度特徵中像素點i的亮度分量,表示優化的第二亮度特徵中像素點i的亮度分量,N表示像素點的數量,W (l)表示第一神經網路第l層的神經網路參數,w i 表示第i個像素點的結構權值,F表示弗羅貝尼烏斯範數,L1表示第一神經網路中的網路層數,λ為常量。
在一些可能的實施方式中,獲取所述圖像樣本的結構權值特徵,包括:獲取圖像樣本的結構資訊;基於預設運算元得到所述結構資訊的梯度資訊;利用所述梯度資訊得到所述結構權值特徵。
在一些可能的實施方式中,所述獲取圖像樣本的結構資訊,包括以下方式中的至少一種:利用結構-紋理分解演算法獲得所述圖像樣本的結構資訊;利用滾動導向濾波器獲得所述圖像樣本的結構資訊。
在一些可能的實施方式中,所述方法還包括:通過第二神經網路對所述第一反射分量執行去噪處理,其中,所述第二神經網路的損失函數的運算式為:
其中,L s2為第二神經網路的損失函數,R i 表示第一反射分量,表示去噪後的第二反射分量,N表示像素點的數量,W (l)表示第二神經網路第l層的神經網路參數,F表示弗羅貝尼烏斯範數,L2表示第二神經網路中的網路層數,KL(∥ρ)表示K-L散度,並且,,ρ j 表示第二神經網路中隱層的活躍度,ρ表示散度常量,λ為常量。
根據本公開實施例的第二方面,提供了一種圖像處理裝置,其包括:獲取模組,配置為獲取輸入圖像的第一亮度特徵;轉換模組,配置為利用所述第一亮度特徵得到所述輸入圖像的第一反射特徵;增強模組,配置為基於所述第一亮度特徵和第一反射特徵,得到所述輸入圖像的增強後的圖像。
在一些可能的實施方式中,所述獲取模組還配置為獲得輸入圖像中每個像素點對應的多個顏色通道的特徵值;針對每個像素點,確定所述多個顏色通道的特徵值中的最大值;以及將每個像素點對應的多個顏色通道中的所述最大值確定為第一亮度特徵中對應像素點的亮度分量,以得
到所述第一亮度特徵;其中,所述第一亮度特徵中的元素表示所述輸入圖像的各像素點的亮度分量。
在一些可能的實施方式中,所述第一反射特徵中的元素表示所述輸入圖像對應像素點的反射分量;所述轉換模組還配置為將所述第一亮度特徵中的元素與預設常量進行相加處理,得到加和特徵;將所述輸入圖像中對應像素點的每個顏色通道的特徵值與所述加和特徵中對應像素點的特徵值之間的比值,確定為對應像素點的每個顏色通道的第一反射分量;以及根據所述輸入圖像的像素點的每個顏色通道的第一反射分量確定所述第一反射特徵;其中,所述第一反射特徵中的元素表示所述輸入圖像各像素點的反射分量。
在一些可能的實施方式中,所述第一反射特徵中的元素表示所述輸入圖像對應像素點的反射分量;所述轉換模組還配置為將所述第一亮度特徵中的元素與預設常量進行相加處理,得到加和特徵;獲得所述輸入圖像中對應像素點的每個顏色通道的特徵值與所述加和特徵中對應像素點的特徵值的比值,得到像素點的每個顏色通道的第一反射分量;對所述第一反射分量執行去噪處理,得到像素點的每個顏色通道的第二反射分量;以及根據所述輸入圖像的像素點的每個顏色通道的所述第二反射分量確定所述第一反射特徵;其中,所述第一反射特徵中的元素表示所述輸入圖像各像素點的反射分量。
在一些可能的實施方式中,所述增強模組包括:
優化單元,配置為對所述第一亮度特徵進行優化處理,得到第二亮度特徵;增強單元,配置為基於所述第二亮度特徵和第一反射特徵,得到所述輸入圖像的增強後的圖像。
在一些可能的實施方式中,所述優化單元還配置為基於編碼參數,對所述第一亮度特徵執行編碼處理,得到編碼後的第一亮度特徵;基於解碼參數,對所述編碼後的第一亮度特徵執行解碼處理,得到所述第二亮度特徵。
在一些可能的實施方式中,所述增強單元還配置為對所述第二亮度特徵和第一反射特徵執行乘積處理,得到重建特徵;並且基於所述重建特徵確定所述增強後的圖像。
在一些可能的實施方式中,所述優化單元,配置為通過第一神經網路所述第一亮度特徵進行優化處理;所述裝置還包括訓練模組,配置為訓練所述第一神經網路,並且訓練所述第一神經網路的過程包括:獲取圖像樣本;獲取所述圖像樣本的第一亮度特徵和結構權值特徵,所述結構權值特徵中的元素表示所述第一亮度特徵中各像素點的亮度分量的權值;將所述第一亮度特徵和結構權值特徵輸入至所述第一神經網路,得到預測的第二亮度特徵;根據所述預測的第二亮度特徵對應的損失值調整所述第一神經網路的參數,直至所述損失值滿足預設要求。
在一些可能的實施方式中,所述第一神經網路的損失函數為:
其中,L s1為第一神經網路的損失函數,y i 表示第一亮度特徵中像素點i的亮度分量,表示優化的第二亮度特徵中像素點i的亮度分量,N表示像素點的數量,W (l)表示第一神經網路第l層的神經網路參數,w i 表示第i個像素點的結構權值,F表示弗羅貝尼烏斯範數,L1表示第一神經網路中的網路層數,λ為常量。
在一些可能的實施方式中,所述訓練模組,配置為採用以下方式獲取圖像樣本的結構權值特徵:獲取圖像樣本的結構資訊;基於預設運算元得到所述結構資訊的梯度資訊;利用所述梯度資訊得到所述結構權值特徵。
在一些可能的實施方式中,所述訓練模組還配置為採用以下方式中的至少一種獲取圖像樣本的結構資訊:利用結構-紋理分解演算法獲得所述圖像樣本的結構資訊;利用滾動導向濾波器獲得所述圖像樣本的結構資訊。
在一些可能的實施方式中,所述轉換模組還配置為通過第二神經網路對所述第一反射分量執行去噪處理,其中,所述第二神經網路的損失函數的運算式為:
其中,L s2為第二神經網路的損失函數,R i 表示第一反射分量,表示去噪後的第二反射分量,N表示像素點的數量,W (l)表示第二神經網路第l層的神經網路參數,F表示弗羅貝尼烏斯範數,L2表示第二神經網路中的網路層數,KL(∥ρ)表示K-L散度,並且,,ρ j 表示第二神經網路中隱層的活躍度,ρ表示散度常量,λ為常量。
根據本公開實施例的第三方面,提供了一種電子設備,其包括:處理器;用於儲存處理器可執行指令的記憶體;其中,所述處理器被配置為:執行第一方面中任意一項所述的方法。
根據本公開實施例的第四方面,提供了一種電腦可讀儲存介質,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現第一方面中任意一項所述的方法。
本公開實施例可以利用圖像的亮度特徵與反射特徵結合的方式,實現圖像增強的目的。本公開實施例可以首先獲取輸入圖像的亮度特徵,並根據該亮度特徵進一步確定輸入圖像的反射特徵,進而通過獲得的亮度特徵以及反射特徵執行輸入圖像的增強處理,得到增強後的圖像。該過程
具有簡單方便且處理效率高的特點,同時還能夠提高圖像增強效果。
應當理解的是,以上的一般描述和後文的細節描述僅是示例性和解釋性的,而非限制本公開。
根據下面參考附圖對示例性實施例的詳細說明,本公開的其它特徵及方面將變得清楚。
10:獲取模組
20:轉換模組
30:增強模組
800:電子設備
802:處理組件
804:記憶體
806:電源組件
808:多媒體組件
810:音頻組件
812:輸入/輸出介面
814:感測器組件
816:通信組件
820:處理器
1900:電子設備
1922:處理組件
1926:電源組件
1932:記憶體
1950:網路介面
1958:輸入輸出介面
此處的附圖被併入說明書中並構成本說明書的一部分,這些附圖示出了符合本公開的實施例,並與說明書一起用於說明本公開的技術方案。
圖1示出根據本公開實施例的一種圖像處理方法的流程圖;圖2示出根據本公開實施例的圖像處理方法中步驟S100的流程圖;圖3示出根據本公開實施例的一種圖像處理方法中步驟S200的流程圖;圖4示出根據本公開實施例的一種圖像處理方法中步驟S200的另一流程圖;圖5示出根據本公開實施例的一種圖像處理方法中步驟S300的流程圖;圖6示出根據本公開實施例的一種圖像處理方法中步驟S301的流程圖;
圖7示出根據本公開實施例的第一神經網路的各層的結構示意圖;圖8示出根據本公開實施例的一種圖像處理方法中步驟S302的流程圖;圖9示出根據本公開實施例中訓練第一神經網路的流程圖;圖10示出根據本公開實施例中獲取所述圖像樣本的結構權值特徵的流程圖;圖11示出根據本公開實施例的一種圖像處理裝置的方塊圖;圖12示出根據本公開實施例的一種電子設備800的方塊圖;圖13示出根據本公開實施例的一種電子設備1900的方塊圖。
以下將參考附圖詳細說明本公開的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面,但是除非特別指出,不必按比例繪製附圖。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”,僅僅是一種描述關聯物件的關聯關係,表示可以存在三種關係,例如,A和/或B,可以表示:單獨存在A,同時存在A和B,單獨存在B這三種情況。另外,本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合,例如,包括A、B、C中的至少一種,可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外,為了更好地說明本公開實施例,在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解,沒有某些具體細節,本公開實施例同樣可以實施。在一些實例中,對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述,以便於凸顯本公開實施例的主旨。
本公開實施例提供了一種圖像處理方法,該方法可以應用在圖像處理設備或者圖像採集設備中,或者也可以應用在任意的終端或者伺服器中,只要與圖像採集或處理相關的設備,即可以應用本公開實施例的方法。
圖1示出根據本公開實施例的一種圖像處理方法的流程圖。其中,如圖1所示本公開實施例的圖像處理方法可以包括如下。
S100:獲取輸入圖像的第一亮度特徵。
本公開實施例中,獲取的輸入圖像可以為低照度情況下獲取的低照度圖像,或者也可以為由於其他因素而使得圖像的對比度、清晰度、圖像品質、解析度等受到影響
的圖像。本公開實施例可以對輸入圖像執行圖像增強處理,提高輸入圖像的圖像品質。
另外,本公開實施例提供的圖像處理方法可以通過神經網路實現,如深度神經網路,但本公開實施例對此不進行具體限定,本公開實施例也可以通過相應的圖像處理演算法實現本公開實施例的相應功能。
在接收到輸入圖像時,本公開實施例可以首先提取輸入圖像中各像素點的亮度特徵(亮度分量),基於該亮度分量確定輸入圖像的第一亮度特徵。其中,第一亮度特徵可以表示成矩陣形式,並且其中各元素的亮度分量與彩色圖像的各像素點對應。
在一些可能的實施例中,對於RGB圖像(彩色圖像),可以首先獲取每個像素點在R通道、G通道和B通道上的特徵值,並根據各顏色通道的特徵值獲得輸入圖像的第一亮度特徵。對於其他的圖像,也可以獲取每個像素點上其他各顏色通道的特徵值,本公開實施例對此不進行一一舉例說明。
S200:利用所述第一亮度特徵得到所述輸入圖像的第一反射特徵。
在步驟S100之後,可以根據得到的第一亮度特徵獲得輸入圖像各像素點的反射分量。其中,可以通過預設的方式獲得各顏色通道的反射分量,從而形成第一反射特徵。本公開實施例的第一反射特徵可以包括經過去噪處理後的反射特徵,也可以包括未經去噪處理的特徵,本領域技術
人員可以根據不同的需求自行選擇設定。另外,第一反射特徵同樣也可以表示成矩陣形式,並且其中各元素的反射分量也與彩色圖像的各像素點對應。
S300:基於所述第一亮度特徵和第一反射特徵,得到所述輸入圖像的增強後的圖像。
在獲得輸入圖像的第一亮度特徵以及第一反射特徵之後,即可以利用各像素點的亮度分量和反射分量得到增強後的特徵值,例如可以將二者執行乘積處理,以得到增強處理後的圖像。
基於本公開實施例,可以實現根據圖像各像素點的亮度特徵和反射特徵執行圖像增強處理,其具有增強效果好且效率高的特點。
下面結合附圖對本公開實施例的各個步驟進行詳細說明。
如上述實施例所述,本公開實施例步驟S100獲取的第一亮度特徵中的元素可以表示所述輸入圖像的各像素點的亮度分量,通過各顏色通道的特徵值即可以確定第一亮度特徵。圖2示出根據本公開實施例的一種圖像處理方法中步驟S100的流程圖。其中,所述獲取輸入圖像的第一亮度特徵,可以包括如下。
S101:獲得輸入圖像中每個像素點對應的多個顏色通道的特徵值;在本公開實施例中,獲取輸入圖像的第一亮度特徵時,可以提取輸入圖像各像素點上每個顏色通道的特徵值,例如
在圖像為RGB形式時,可以分別獲取輸入圖像的每個像素點處的三個顏色通道的特徵值(如R通道的特徵值、G通道的特徵值和B通道的特徵值)。在本公開的其他實施例中,可以根據圖像的形式的不同獲取不同的顏色通道的特徵值,本公開對此不進行具體限定。
S102:針對每個像素點,確定所述多個顏色通道的特徵值中的最大值。
其中,T(x)表示x像素點的亮度分量,c為顏色通道,L c (x)表示x像素點c顏色通道的特徵值。
通過運算式(1),即可以獲得針對每個像素點的最大顏色通道值,以用於後續的第一亮度特徵的確定。
在本公開的其他實施例中,如果輸入圖像不是RGB形式,也可以將圖像轉換成RGB形式,本公開實施例對圖像形式的轉換過程不作具體限定,本領域技術人員可以選擇適配的方式執行上述轉換。
S103:將每個像素點對應的多個顏色通道中的所述最大值確定為第一亮度特徵中對應像素點的亮度分量,以得到所述第一亮度特徵。
如上所述,在獲得各個像素點的顏色通道的最大值之後,可以將該最大值作為該像素點的亮度分量,並根據每個像素點的亮度分量形成所述第一亮度特徵。
本公開實施例,通過利用每個像素點的顏色通道的最大值形成第一亮度特徵,從而可以有效的減少雜訊對圖像的影響。
通過上述實施例即可以獲得本公開實施例的輸入圖像的第一亮度特徵,在獲得第一亮度特徵之後,可以根據該第一亮度特徵得到第一反射特徵。本公開實施例的第一反射特徵中的元素可以表示所述輸入圖像對應像素點的反射分量,下面針對該過程進行說明。
圖3示出根據本公開實施例的一種圖像處理方法中步驟S200的流程圖,其中,所述利用所述第一亮度特徵得到所述輸入圖像的第一反射特徵,可以包括如下。
S201:將所述第一亮度特徵中元素與預設常量進行相加處理,得到加和特徵。
本公開實施例在得到輸入圖像的第一亮度特徵後,可以根據該第一亮度特徵得到輸入圖像的各像素點的反射分量。其中,首先可以將第一亮度特徵中每個像素點的亮度分量與一預設常量相加,該預設常量可以為一個較小的值,通常小於1,例如可以為0.01。在對每個像素點的亮度分量進行加和處理後,得到每個像素點的加和值,基於各像素點的加和值即可以構成所述加和特徵。同樣的,加和特徵
也可以表示成矩陣形式,其中的元素可以為與彩色圖像的各像素點對應的加和值。
S202:將所述輸入圖像中對應像素點的每個顏色通道的特徵值與所述加和特徵中對應像素點的特徵值之間的比值,確定為對應像素點的每個顏色通道的第一反射分量。
根據前述實施例,在步驟S100中可以獲得輸入圖像的各像素點的每個顏色通道的特徵值,在執行步驟S202時,可以根據該特徵值得到反射分量。步驟S202中,可以將輸入圖像各像素點的每個顏色通道的特徵值與對應像素點的加和值進行相除處理,得到每個像素點的各顏色通道的特徵值與相應像素點的加和值之間的比值,對於RGB圖像,則每個像素點可以得到三個比值,即R通道特徵值和該像素點的加和值的比值,G通道特徵值和該像素點的加和值的比值,以及B通道特徵值和該像素點的加和值的比值。對於其他類型的圖像或者圖像特徵,可以得到其他特徵值的比值,本公開實施例對此不進行限定。
通過上述即可以得到每個顏色通道的比值,每個像素點的各比值即可以作為該像素點的第一反射分量。例如,可以將每個像素點的R通道特徵值、G通道特徵值和B通道特徵值分別與該像素點的加和值相除,得到三個第一反射分量,從而可以獲得每個像素點的三個顏色通道的第一反射分量。
S203:根據所述輸入圖像的像素點的每個顏色通道的第一反射分量確定所述第一反射特徵。
在得到每個像素點的各顏色通道的第一反射分量之後,則可以對應的形成第一反射特徵。該第一反射特徵包括對應於每個像素點的各顏色通道的第一反射分量。
上述過程可以根據下式演算法實現:R c (x)=L c (x)/(T(×)+ε) (2)
其中,R c (x)為像素點x的c顏色通道的第一反射分量,L c (x)為像素點x的c顏色通道的特徵值,T(x)為像素點x的第一亮度分量,ε為預設常量。
通過運算式(2),即可以得到輸入圖像的第一反射特徵。本公開實施例通過結合第一反射特徵和第一亮度特徵,可以得到的增強圖像符合人類視覺特性。
另外,在本公開的一些實施例中,還可以執行反射分量的去噪過程,從而可以減小雜訊對於圖像的影響。
圖4示出根據本公開實施例的一種圖像處理方法中步驟S200的另一流程圖,其中,所述利用所述第一亮度特徵得到所述輸入圖像的第一反射特徵,可以包括如下。
S201:將所述第一亮度特徵中的元素與預設常量進行相加處理,得到加和特徵。
與步驟S201相同,步驟S2001可以將第一亮度特徵中每個像素點的亮度分量與一預設常量相加,該預設常量可以為一個較小的值,通常小於1,例如可以為0.01。在對每個像素點的亮度分量進行加和處理後,得到每個像素點
的加和值,基於各像素點的加和值即可以構成所述加和特徵。同樣的,加和特徵也可以表示成矩陣形式,其中的元素可以為與彩色圖像的各像素點對應的加和值。
S202:獲得所述輸入圖像中對應像素點的每個顏色通道的特徵值與所述加和特徵中對應像素點的特徵值的比值,得到像素點的每個顏色通道的第一反射分量。
與步驟S202相同,步驟S2002中可以得到輸入圖像每個顏色通道的特徵值與對應的加和值進行相除處理,得到每個像素點的各顏色通道的特徵值與相應像素點的加和特徵中的加和值之間的比值,即可以得到每個顏色通道對應的比值,該比值即可以作為該像素點的第一反射分量。例如,可以將每個像素點的R通道特徵值、G通道特徵值和B通道特徵值分別與該像素點的加和值相除,得到三個第一反射分量,從而可以獲得每個像素點的三個顏色通道的第一反射分量。
S203:對所述第一反射分量執行去噪處理,得到像素點的每個顏色通道的第二反射分量。
本公開實施例,在獲得第一反射分量之後,可以對第一反射分量執行去噪處理,得到與各第一反射分量對應的第二反射分量,通過該去噪處理,可以減少圖像中的雜訊分量。本公開實施例可以利用第二神經網路(如去噪自編碼神經網路)對各顏色通道的第一反射分量執行去噪處理。其中,該第二神經網路的訓練過程中採用的損失函數可以為下式:
其中,L s2為第二神經網路的損失函數,R i 表示第一反射分量,表示去噪後的第二反射分量,N表示像素點的數量,W (l)表示第二神經網路第l層的神經網路參數,F表示弗羅貝尼烏斯範數(如為2),L2表示第二神經網路中的網路層數,KL(∥ρ)表示K-L散度,並且,,ρ j 表示第二神經網路中隱層的活躍度,ρ表示散度常量,K為隱層層數,β表示稀疏化權值。
在訓練第二神經網路中,可以向第二神經網路輸入訓練樣本,例如該訓練樣本可以包括由圖像樣本的各像素點的第一反射分量構成的反射分量樣本R i ,通過本公開實施例的第二神經網路執行去噪處理後可以得到去噪後的反射分量樣本,將去噪前後的兩個反射分量輸入至上述損失函數L s2,得到第二損失值,在該第二損失值滿足第二要求時,即可以終止第二神經網路的訓練,得到優化完成的第二神經網路。而在得到的第二損失值不滿足第二要求時,需要調整第二神經網路的參數,如W (l)等參數,再進一步執行訓練樣本的去噪過程,直至得到的第二損失值滿足第二要求。本公開實施例的第二要求可以為第二損失值小於或者等於第二閾值。對於第二閾值的取值本公開不進行具體的限定,本領域技術人員可以根據需求執行設定選取。
通過訓練完成的第二神經網路即可以對第一反射分量執行去噪處理得到對應的第二反射分量,從而降低圖像的雜訊分量。
S204:根據所述輸入圖像的像素點的每個顏色通道的所述第二反射分量確定所述第一反射特徵。
在得到每個像素點的各顏色通道的第二反射分量之後,即可以根據各第二反射分量確定第一反射特徵。
通過圖4示出的實施例,本公開實施例可以實現對於反射分量的優化處理,即可以降低反射分量中的雜訊分量,可以進一步提高重構的圖像的品質。
在得到第一反射特徵以及第一亮度特徵之後,即可以執行步驟S300的圖像恢復過程.即得到增強後的圖像。
本公開實施例可以直接利用第一亮度特徵和第一反射特徵之間的乘積得到增強後的圖像的各像素點的特徵,例如可以將第一反射特徵中每個像素點的各顏色通道的反射分量與第一亮度特徵中相應像素點的亮度分量相乘,從而得到各像素點的每個顏色通道增強處理後的特徵值。基於增強處理後的各顏色通道的特徵值可以獲得對應的圖像,即為增強處理後的圖像。
在本公開的一種可選實施例中,為了提高增強處理的效果,本公開實施例還可以執行第一亮度特徵的優化處理,並利用優化後的亮度特徵與第一反射特徵得到增強後的圖像,下面結合附圖說明該過程。
圖5示出根據本公開實施例的圖像處理方法中步驟S300的流程圖,其中,所述基於所述第一亮度特徵和第一反射特徵,得到所述輸入圖像的增強後的圖像(步驟S300),可以包括如下。
S301:對所述第一亮度特徵進行優化處理,得到第二亮度特徵。
本公開實施例在獲得輸入圖像的第一亮度特徵之後,可以對該第一亮度特徵執行優化處理,該步驟可以初步的提高圖像的各亮度分量的對比度。其中,第二亮度特徵和第一亮度特徵的維度相同。另外,本公開實施例對於第一亮度特徵的優化處理,可以包括編碼步驟和解碼步驟,例如可以利用自編碼網路實現,但本公開實施例對此不進行具體限定。
S302:基於所述第二亮度特徵和第一反射特徵,得到所述輸入圖像的增強後的圖像。
本公開實施例,可以在得到優化的第二亮度特徵以及第一反射矩陣之後,利用各對應元素的乘積結果得到增強圖像的像素特徵,從而恢復出增強後的圖像。
圖6示出根據本公開實施例的一種圖像處理方法中步驟S301的流程圖。其中,所述對所述第一亮度特徵進行優化處理,得到第二亮度特徵,可以包括如下。
S3011:基於編碼參數,對所述第一亮度特徵執行編碼處理,得到編碼後的第一亮度特徵。
本公開實施例的步驟S301可以通過第一神經網路執行,該第一神經網路可以執行上述編碼處理和解碼處理,並且編碼參數和解碼參數可以與圖像的各亮度分量的權值相關。具體的,本公開實施例可以通過向自編碼網路中引入亮度分量的權值的資訊,形成了本公開實施例的第一神經網路。因此,通過本公開實施例的第一神經網路,可以實現第一亮度特徵的自我調整調整,且調整效果更好。
在步驟S3011中,可以根據第一神經網路的編碼參數執行第一亮度特徵的編碼處理,例如可以將第一亮度特徵中的各亮度分量與編碼參數相乘,繼而得到編碼後的第一亮度特徵。圖7示出根據本公開實施例的第一神經網路的各層的結構示意圖,但不作為本公開實施例中第一神經網路的具體限定。其中,第一神經網路可以包括輸入層、隱層和輸出層。其中,在編碼過中,可以通過H=W (1) T得到編碼後的第一亮度特徵,其中,H={h1,h2,...,h k }為隱層的編碼結構,K為隱層的層數,表示編碼參數,M1為編碼參數的個數,T={T 1,...T N }為輸入的第一亮度特徵,N為像素點的個數。
通過上述方式,即可以完成編碼處理的過程,得到編碼後的第一亮度特徵,其中編碼參數的確定可以根據第一神經網路的訓練優化來完成,後續會對第一神經網路的訓練過程進行說明。
S3012:基於解碼參數,對所述編碼後的第一亮度特徵執行解碼處理,得到所述第二亮度特徵。
在對第一亮度特徵執行編碼處理後,即可以利用解碼參數對編碼後的第一亮度特徵執行解碼處理。例如可以通過輸出層執行該解碼處理。例如,可以利用解碼參數與編碼後的第一亮度特徵執行相乘操作,得到優化重建的第二亮度特徵。
通過上述方式,即可以完成解碼處理的過程,得第二亮度特徵,其中解碼參數的確定可以根據第一神經網路的訓練優化來完成,後續會對第一神經網路的訓練過程進行說明。圖8示出根據本公開實施例的一種圖像處理方法中步驟S302的流程圖。其中,所述基於所述第二亮度特徵和第一反射特徵,得到所述輸入圖像的增強後的圖像,可以包括如下。
S3021:對所述第二亮度特徵和第一反射特徵執行乘積處理,得到重建特徵。
本公開實施例得到的重建特徵同樣也可以表示成矩陣形式,其中各元素表示與彩色圖像的各像素點對應的重建後的特徵值,例如可以重建各像素點的R通道特徵值、B通道特徵值和G通道特徵值。
S3022:基於所述重建特徵確定所述輸入圖像的增強處理後的圖像。
在得到每個像素點的重建特徵之後,可以根據該重建後的特徵形成一個新的圖像,該圖像即為輸入圖像增強處理後的圖像。
本公開實施例採用的圖像處理方法,可以通過優化的亮度特徵與反射分量結合,對圖像執行圖像增強,該方式不易受到雜訊的影響,且不需要多張圖像同時處理,有效的提高了即時性,同時本公開實施例不需要額外定義其他參數,適應性較好。本公開實施例增強處理後可以提高輸入圖像的圖像品質,增加對比度,且更加清晰。
下面對本公開實施例的第一神經網路的訓練過程進行詳細說明。本公開實施例在實現第一亮度特徵優化的第一神經網路中引入了圖像的結構權值資訊,從而可以進一步的提高亮度分量的優化效率。其中結構權值資訊為每個像素點的亮度分量的權值資訊。
其中,本公開實施例的第一神經網路可以為根據自編碼神經網路得到的,在自編碼網路中引入了結構權值的資訊。其中,圖9示出根據本公開實施例中訓練第一神經網路的流程圖。其中,訓練所述第一神經網路的步驟,包括如下。
S501:獲取圖像樣本。
首先,可以獲取用於訓練第一神經網路的圖像樣本,該圖像樣本可以為低照度情況下獲取的圖像,或者其他圖像品質較低的圖像,圖像樣本的數量可以根據需求設定,本公開實施例中,各圖像樣本的對比度、清晰度可以不同,從而可以加大圖像樣本的區別性,提高網路的訓練精度。
S502:獲取所述圖像樣本的第一亮度特徵和結構權值特徵,所述結構權值特徵中的元素表示所述第一亮度特徵中像素點的亮度分量的權值。
本公開實施例可以預先獲取圖像樣本的第一亮度特徵,具體可以根據步驟S100執行,在此不再具體說明。同時還可以獲得第一亮度特徵對應的結構權值特徵,該結構權值特徵中可以包括第一亮度特徵的各亮度分量的權值資訊。
其中,圖10示出根據本公開實施例中獲取所述圖像樣本的結構權值特徵的流程圖,步驟S502可以包括如下。
S5021:獲取圖像樣本的結構資訊。
圖像樣本中包含許多級別的重要結構,本公開實施例可以通過第一方式執行圖像樣本的平滑處理獲得上述結構資訊。例如,本公開實施例可以利用結構-紋理分解演算法獲得所述圖像樣本的結構資訊;或者也可以利用滾動導向濾波器(Rolling guidance filter)獲得所述圖像樣本的結構資訊。通過上述方式可以得到各圖像樣本的結構資訊。
S5022:基於預設運算元得到所述結構資訊的梯度資訊。
作為一種示例,本公開實施例可以採用索貝爾(Sobel)運算元對各結構資訊執行處理,得到結構資訊對應的梯度資訊。其中,Sobel運算元的運算方式,本公開實施例不進行具體說明,可以根據現有技術手段實現。
S5023:利用所述梯度資訊得到所述結構權值特徵。
其中,w(x)表示x像素點的結構權值,g(x)表示x像素點的梯度資訊。
通過上式即可以根據每個像素點的梯度資訊確定每個像素點的結構權值,該結構權值表示每個像素點的亮度分量的權值。
S503:將所述第一亮度特徵和結構權值特徵輸入至所述第一神經網路,並根據得到的損失值調整所述第一神經網路的參數,直至所述損失值滿足預設要求。
其中,L s1為第一神經網路的損失函數,y i 表示第一亮度特徵中像素點i的亮度分量,表示優化的第二亮度特徵中像素點i的亮度分量,N表示像素點的數量,W (l)表示第一神經網路第l層的神經網路參數,w i 表示第i個像素點的結構權值,F表示弗羅貝尼烏斯範數,L1表示第一神經網路中的網路層數,λ為常量。
根據上述損失函數L s1,即可以得到每次優化處理後的第二亮度特徵的第一損失值,在該第一損失值滿足第一要求時,即表示完成第一神經網路的訓練,反之,則調整第一神經網路的網路參數,直至得到的第一損失值滿足第一要求,其中滿足第一要求可以包括第一損失值小於或者等於第一閾值,該第一閾值的取值本公開實施例不作具體限定,可以根據需求自行選取設定。
通過上述實施例,本公開實施例不僅可以實現對低照度圖片進行亮度矯正,而且可以進行雜訊壓制,同時由於即將結構資訊加入到自編碼神經網路中,可以加強重建圖像的結構特徵保護。
綜上所述,本公開實施例可以對圖像的亮度分量進行優化,並將優化的亮度分量與反射分量結合。本公開實施例可以首先獲取輸入圖像的亮度特徵,並根據該亮度特徵進一步確定輸入圖像的反射特徵,進而通過獲得的亮度特徵以及反射特徵執行輸入圖像的增強處理,得到增強後的圖像。該過程具有簡單方便且處理效率高的特點,同時還能夠提高圖像增強效果。
本領域技術人員可以理解,在具體實施方式的上述方法中,各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定,各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
可以理解,本公開提及的上述各個方法實施例,在不違背原理邏輯的情況下,均可以彼此相互結合形成結合後的實施例,限於篇幅,本公開不再贅述。
此外,本公開還提供了圖像處理裝置、電子設備、電腦可讀儲存介質、程式,上述均可用來實現本公開提供的任一種圖像處理方法,相應技術方案和描述和參見方法部分的相應記載,不再贅述。
圖11示出根據本公開實施例的一種圖像處理裝置的方塊圖,如圖11所示,所述圖像處理裝置包括:獲取模組10,配置為獲取輸入圖像的第一亮度特徵;轉換模組20,配置為利用所述第一亮度特徵得到所述輸入圖像的第一反射特徵;
增強模組30,配置為基於所述第一亮度特徵和第一反射特徵,得到所述輸入圖像的增強後的圖像。
在一些可能的實施方式中,所述獲取模組還配置為獲得輸入圖像中每個像素點對應的多個顏色通道的特徵值;針對每個像素點,確定所述多個顏色通道的特徵值中的最大值;以及將每個像素點對應的多個顏色通道中的所述最大值確定為第一亮度特徵中對應像素點的亮度分量,以得到所述第一亮度特徵;其中,所述第一亮度特徵中的元素表示所述輸入圖像的各像素點的亮度分量。
在一些可能的實施方式中,所述第一反射特徵中的元素表示所述輸入圖像對應像素點的反射分量;所述轉換模組還配置為將所述第一亮度特徵中的元素與預設常量進行相加處理,得到加和特徵;將所述輸入圖像中對應像素點的每個顏色通道的特徵值與所述加和特徵中對應像素點的特徵值之間的比值,確定為對應像素點的每個顏色通道的第一反射分量;以及根據所述輸入圖像的像素點的每個顏色通道的第一反射分量確定所述第一反射特徵;其中,所述第一反射特徵中的元素表示所述輸入圖像各像素點的反射分量。
在一些可能的實施方式中,所述第一反射特徵中的元素表示所述輸入圖像對應像素點的反射分量;所述轉換模組還配置為將所述第一亮度特徵中的元素與預設常量進行相加處理,得到加和特徵;獲得所述輸入圖像中對應像素點的每個顏色通道的特徵值與所述加和特徵中對應像素
點的特徵值的比值,得到像素點的每個顏色通道的第一反射分量;對所述第一反射分量執行去噪處理,得到各像素點的每個顏色通道的第二反射分量;以及根據所述輸入圖像的像素點的每個顏色通道的所述第二反射分量確定所述第一反射特徵;其中,所述第一反射特徵中的元素表示所述輸入圖像各像素點的反射分量。
在一些可能的實施方式中,所述增強模組包括:優化單元,配置為對所述第一亮度特徵進行優化處理,得到第二亮度特徵;增強單元,配置為基於所述第二亮度特徵和第一反射特徵,得到所述輸入圖像的增強後的圖像。
在一些可能的實施方式中,所述優化單元還配置為基於編碼參數,對所述第一亮度特徵執行編碼處理,得到編碼後的第一亮度特徵;基於解碼參數,對所述編碼後的第一亮度特徵執行解碼處理,得到所述第二亮度特徵。
在一些可能的實施方式中,所述增強單元還配置為對所述第二亮度特徵和第一反射特徵執行乘積處理,得到重建特徵;並且基於所述重建特徵確定所述增強後的圖像。
在一些可能的實施方式中,所述優化單元,配置為通過第一神經網路所述第一亮度特徵進行優化處理;所述裝置還包括訓練模組,配置為訓練所述第一神經網路,並且訓練所述第一神經網路的過程包括:獲取圖像樣本;獲取所述圖像樣本的第一亮度特徵和結構權值特徵,所述結構權
值特徵中的元素表示所述第一亮度特徵中各像素點的亮度分量的權值;將所述第一亮度特徵和結構權值特徵輸入至所述第一神經網路,得到預測的第二亮度特徵;根據所述預測的第二亮度特徵對應的損失值調整所述第一神經網路的參數,直至所述損失值滿足預設要求。
其中,L s1為第一神經網路的損失函數,y i 表示第一亮度特徵中像素點i的亮度分量,表示優化的第二亮度特徵中像素點i的亮度分量,N表示像素點的數量,W (l)表示第一神經網路第l層的神經網路參數,w i 表示第i個像素點的結構權值,F表示弗羅貝尼烏斯範數,L1表示第一神經網路中的網路層數,λ為常量。
在一些可能的實施方式中,所述訓練模組,配置為採用以下方式獲取圖像樣本的結構權值特徵:獲取圖像樣本的結構資訊;基於預設運算元得到所述結構資訊的梯度資訊;利用所述梯度資訊得到所述結構權值特徵。
在一些可能的實施方式中,所述訓練模組還配置為採用以下方式中的至少一種獲取圖像樣本的結構資訊:利用結構-紋理分解演算法獲得所述圖像樣本的結構資訊;利用滾動導向濾波器獲得所述圖像樣本的結構資訊。
其中,w(x)表示x像素點的結構權值,g(x)表示x像素點的梯度資訊。
其中,L s2為第二神經網路的損失函數,R i 表示第一反射分量,表示去噪後的第二反射分量,N表示像素點的數量,W (l)表示第二神經網路第l層的神經網路參數,F表示弗羅貝尼烏斯範數,L2表示第二神經網路中的網路層數,KL(∥ρ)表示K-L散度,並且,,ρ j 表示第二神經網路中隱層的活躍度,ρ表示散度常量,λ為常量。
在一些實施例中,本公開實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法,其具體實現可以參照上文方法實施例的描述,為了簡潔,這裡不再贅述。
本公開實施例還提出一種電腦可讀儲存介質,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存介質可以是非易失性電腦可讀儲存介質。
本公開實施例還提出一種電子設備,包括:處理器;用於儲存處理器可執行指令的記憶體;其中,所述處理器被配置為上述方法。
電子設備可以被提供為終端、伺服器或其它形態的設備。
圖12示出根據本公開實施例的一種電子設備800的方塊圖。例如,電子設備800可以是行動電話,電腦,數位廣播終端,消息收發設備,遊戲控制台,平板設備,醫療設備,健身設備,個人數位助理等終端。
參照圖12,電子設備800可以包括以下一個或多個組件:處理組件802,記憶體804,電源組件806,多媒體組件808,音頻組件810,輸入/輸出(I/O)的介面812,感測器組件814,以及通信組件816。
處理組件802通常控制電子設備800的整體操作,諸如與顯示,電話呼叫,資料通信,相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令,以完成上述的方法的全部或部分步驟。此外,處理組件802可以包括一個或多個模組,便於處理組件802和其他組件之間的交互。例如,處理組件802可以包括多媒體模組,以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置為儲存各種類型的資料以支援在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令,連絡人資
料,電話簿資料,消息,圖片,視頻等。記憶體804可以由任何類型的易失性或非易失性儲存裝置或者它們的組合實現,如靜態隨機存取記憶體(SRAM),電可擦除可程式設計唯讀記憶體(EEPROM),可擦除可程式設計唯讀記憶體(EPROM),可程式設計唯讀記憶體(PROM),唯讀記憶體(ROM),磁記憶體,快閃記憶體,磁片或光碟。
電源組件806為電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統,一個或多個電源,及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中,螢幕可以包括液晶顯示器(LCD)和觸摸面板(TP)。如果螢幕包括觸摸面板,螢幕可以被實現為觸控式螢幕,以接收來自使用者的輸入信號。觸摸面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸感測器可以不僅感測觸摸或滑動動作的邊界,而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中,多媒體組件808包括一個前置攝影頭和/或後置攝影頭。當電子設備800處於操作模式,如拍攝模式或視訊模式時,前置攝影頭和/或後置攝影頭可以接收外部的多媒體資料。每個前置攝影頭和後置攝影頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音頻組件810被配置為輸出和/或輸入音頻信號。例如,音頻組件810包括一個麥克風(MIC),當電子設備800處於操作模式,如呼叫模式、記錄模式和語音辨識模式時,麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步儲存在記憶體804或經由通信組件816發送。在一些實施例中,音頻組件810還包括一個揚聲器,用於輸出音頻信號。
I/O介面812為處理組件802和週邊介面模組之間提供介面,上述週邊介面模組可以是鍵盤,點擊輪,按鈕等。這些按鈕可包括但不限於:主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器,用於為電子設備800提供各個方面的狀態評估。例如,感測器組件814可以檢測到電子設備800的打開/關閉狀態,組件的相對定位,例如所述組件為電子設備800的顯示器和小鍵盤,感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變,使用者與電子設備800接觸的存在或不存在,電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器,被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器,如CMOS或CCD圖像感測器,用於在成像應用中使用。在一些實施例中,該感測器組件814還可以包括加速度感測器,陀螺儀感測器,磁感測器,壓力感測器或溫度感測器。
通信組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路,如WiFi,2G或3G,或它們的組合。在一個示例性實施例中,通信組件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中,所述通信組件816還包括近場通信(NFC)模組,以促進短程通信。例如,在NFC模組可基於射頻識別(RFID)技術,紅外資料協會(IrDA)技術,超寬頻(UWB)技術,藍牙(BT)技術和其他技術來實現。
在示例性實施例中,電子設備800可以被一個或多個應用專用積體電路(ASIC)、數位訊號處理器(DSP)、數位信號處理設備(DSPD)、可程式設計邏輯器件(PLD)、現場可程式設計閘陣列(FPGA)、控制器、微控制器、微處理器或其他電子組件實現,用於執行上述方法。
在示例性實施例中,還提供了一種非易失性電腦可讀儲存介質,例如包括電腦程式指令的記憶體804,上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖13示出根據本公開實施例的一種電子設備1900的方塊圖。例如,電子設備1900可以被提供為一伺服器。參照圖13,電子設備1900包括處理組件1922,其進一步包括一個或多個處理器,以及由記憶體1932所代表的記憶體資源,用於儲存可由處理組件1922的執行的指令,例
如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外,處理組件1922被配置為執行指令,以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置為執行電子設備1900的電源管理,一個有線或無線網路介面1950被配置為將電子設備1900連接到網路,和一個輸入輸出(I/O)介面1958。電子設備1900可以操作基於儲存在記憶體1932的作業系統,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或類似。
在示例性實施例中,還提供了一種非易失性電腦可讀儲存介質,例如包括電腦程式指令的記憶體1932,上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本公開可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質,其上載有用於使處理器實現本公開的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是但不限於是電儲存裝置、磁儲存裝置、光儲存裝置、電磁儲存裝置、半導體儲存裝置或者上述的任意合適的組合。電腦可讀儲存介質的更具體的例子(非窮舉的列表)包括:可擕式電腦盤、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可擦式可程式設計唯讀記憶體(EPROM
或快閃記憶體)、靜態隨機存取記憶體(SRAM)、可擕式壓縮磁碟唯讀記憶體(CD-ROM)、數位多功能盤(DVD)、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為暫態信號本身,諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如,通過光纖電纜的光脈衝)、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備,或者通過網路、例如網際網路、局域網、廣域網路和/或無線網下載到外部電腦或外部儲存裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令,並轉發該電腦可讀程式指令,以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。
用於執行本公開操作的電腦程式指令可以是彙編指令、指令集架構(ISA)指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼,所述程式設計語言包括物件導向的程式設計語言一諸如Smalltalk、C++等,以及常規的過程式程式設計語言一諸如“C”語言或類似的程式設計語言。電腦可讀程式指令可
以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中,遠端電腦可以通過任意種類的網路一包括局域網(LAN)或廣域網路(WAN)一連接到使用者電腦,或者,可以連接到外部電腦(例如利用網際網路服務提供者來通過網際網路連接)。在一些實施例中,通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路,例如可程式設計邏輯電路、現場可程式設計閘陣列(FPGA)或可程式設計邏輯陣列(PLA),該電子電路可以執行電腦可讀程式指令,從而實現本公開的各個方面。
這裡參照根據本公開實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或方塊圖描述了本公開的各個方面。應當理解,流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合,都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器,從而生產出一種機器,使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行時,產生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中,這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作,從而,儲存有指令的電腦可讀介質則包括
一個製造品,其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上,使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟,以產生電腦實現的過程,從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本公開的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上,流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分,所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中,方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如,兩個連續的方塊實際上可以基本並行地執行,它們有時也可以按相反的循序執行,這依所涉及的功能而定。也要注意的是,方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合,可以用執行規定的功能或動作的專用的基於硬體的系統來實現,或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本公開的各實施例,上述說明是示例性的,並非窮盡性的,並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下,對
於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇,旨在最好地解釋各實施例的原理、實際應用或對市場中的技術改進,或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
圖1代表圖為流程圖,無元件符號簡單說明。
Claims (13)
- 一種圖像處理方法,包括:獲取輸入圖像的第一亮度特徵;利用所述第一亮度特徵得到所述輸入圖像的第一反射特徵;基於所述第一亮度特徵和第一反射特徵,得到所述輸入圖像的增強後的圖像;其中,所述第一反射特徵中的元素表示所述輸入圖像對應像素點的反射分量,所述利用所述第一亮度特徵得到所述輸入圖像的第一反射特徵,包括:將所述第一亮度特徵中的元素與預設常量進行相加處理,得到加和特徵;將所述輸入圖像中對應像素點的每個顏色通道的特徵值與所述加和特徵中對應像素點的特徵值之間的比值,確定為對應像素點的每個顏色通道的第一反射分量;根據所述輸入圖像的像素點的每個顏色通道的第一反射分量確定所述第一反射特徵;其中,所述基於所述第一亮度特徵和第一反射特徵,得到所述輸入圖像的增強後的圖像,包括以下方式之一:利用所述第一亮度特徵和所述第一反射特徵之間的乘積得到所述輸入圖像的增強後的圖像的各像素點的特徵;對所述第一亮度特徵進行優化處理,得到第二亮度特徵;基於所述第二亮度特徵和第一反射特徵,得到所述輸入圖像的增強後的圖像。
- 根據請求項1所述的方法,其中,所述第一亮度特徵中的元素表示所述輸入圖像的各像素點的亮度分量,所述獲取輸入圖像的第一亮度特徵,包括:獲得輸入圖像中每個像素點對應的多個顏色通道的特徵值;針對每個像素點,確定所述多個顏色通道的特徵值中的最大值;將每個像素點對應的多個顏色通道中的所述最大值確定為第一亮度特徵中對應像素點的亮度分量,以得到所述第一亮度特徵。
- 根據請求項1或2所述的方法,其中,根據所述輸入圖像的像素點的每個顏色通道的第一反射分量確定所述第一反射特徵,包括:對所述第一反射分量執行去噪處理,得到像素點的每個顏色通道的第二反射分量;根據所述輸入圖像的像素點的每個顏色通道的所述第二反射分量確定所述第一反射特徵。
- 根據請求項1所述的方法,其中,對所述第一亮度特徵進行優化處理,得到第二亮度特徵,包括:基於編碼參數,對所述第一亮度特徵執行編碼處理,得到編碼後的第一亮度特徵;基於解碼參數,對所述編碼後的第一亮度特徵執行解碼處理,得到所述第二亮度特徵。
- 根據請求項1所述的方法,其中,所述基於所述第二亮度特徵和第一反射特徵,得到所述輸入圖像的增強處理後的圖像,包括:對所述第二亮度特徵和第一反射特徵執行乘積處理,得到重建特徵;基於所述重建特徵確定所述增強後的圖像。
- 根據請求項1所述的方法,其中,所述對所述第一亮度特徵進行優化處理包括:通過第一神經網路對所述第一亮度特徵進行優化處理;其中,所述第一神經網路的訓練過程,包括:獲取圖像樣本;獲取所述圖像樣本的第一亮度特徵和結構權值特徵,所述結構權值特徵中的元素表示所述第一亮度特徵中像素點的亮度分量的權值;將所述第一亮度特徵和結構權值特徵輸入至所述第一神經網路,得到預測的第二亮度特徵;根據所述預測的第二亮度特徵對應的損失值調整所述第一神經網路的參數,直至所述損失值滿足預設要求。
- 根據請求項6所述的方法,其中,獲取所述圖像樣本的結構權值特徵,包括:獲取圖像樣本的結構資訊;基於預設運算元得到所述結構資訊的梯度資訊;利用所述梯度資訊得到所述結構權值特徵。
- 根據請求項8所述的方法,其中,所述獲取圖像樣本的結構資訊,包括以下方式中的至少一種:利用結構-紋理分解演算法獲得所述圖像樣本的結構資訊;利用滾動導向濾波器獲得所述圖像樣本的結構資訊。
- 一種電子設備,包括:處理器;用於儲存處理器可執行指令的記憶體;其中,所述處理器被配置為:執行請求項1至11中任意一項所述的方法。
- 一種電腦可讀儲存介質,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現請求項1至11中任意一項所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910133416.3A CN109859144B (zh) | 2019-02-22 | 2019-02-22 | 图像处理方法及装置、电子设备和存储介质 |
CN201910133416.3 | 2019-02-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202032425A TW202032425A (zh) | 2020-09-01 |
TWI777112B true TWI777112B (zh) | 2022-09-11 |
Family
ID=66898709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108146508A TWI777112B (zh) | 2019-02-22 | 2019-12-18 | 圖像處理方法、電子設備和儲存介質 |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN109859144B (zh) |
TW (1) | TWI777112B (zh) |
WO (1) | WO2020168706A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109859144B (zh) * | 2019-02-22 | 2021-03-12 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111462000B (zh) * | 2020-03-17 | 2023-11-28 | 北京邮电大学 | 一种基于预训练自编码器的图像恢复方法及装置 |
CN111462268B (zh) * | 2020-03-31 | 2022-11-11 | 北京市商汤科技开发有限公司 | 图像重建方法及装置、电子设备和存储介质 |
TWI768709B (zh) * | 2021-01-19 | 2022-06-21 | 福邦科技國際股份有限公司 | 雙影像融合方法與裝置 |
CN113066019A (zh) * | 2021-02-27 | 2021-07-02 | 华为技术有限公司 | 一种图像增强方法及相关装置 |
KR20220140369A (ko) * | 2021-04-09 | 2022-10-18 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 및 그 동작 방법 |
CN113506323B (zh) * | 2021-07-15 | 2024-04-12 | 清华大学 | 图像处理方法及装置、电子设备和存储介质 |
TWI800943B (zh) * | 2021-10-08 | 2023-05-01 | 大陸商星宸科技股份有限公司 | 圖像處理裝置與圖像處理方法 |
CN114463228A (zh) * | 2021-12-30 | 2022-05-10 | 济南超级计算技术研究院 | 一种基于深度学习的医学图像增强方法及系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103236040A (zh) * | 2013-04-19 | 2013-08-07 | 华为技术有限公司 | 一种色彩增强方法及装置 |
CN103530848A (zh) * | 2013-09-27 | 2014-01-22 | 中国人民解放军空军工程大学 | 一种非均匀光照图像二次曝光的实现方法 |
CN103578084A (zh) * | 2013-12-09 | 2014-02-12 | 西安电子科技大学 | 基于亮通道滤波的彩色图像增强方法 |
CN103903229A (zh) * | 2014-03-13 | 2014-07-02 | 中安消技术有限公司 | 一种夜晚图像增强方法和装置 |
US20140253601A1 (en) * | 2013-03-11 | 2014-09-11 | Samsung Electronics Co., Ltd. | Display power reduction using sei information |
CN105654437A (zh) * | 2015-12-24 | 2016-06-08 | 广东迅通科技股份有限公司 | 一种对低照度图像的增强方法 |
TWI591583B (zh) * | 2016-04-13 | 2017-07-11 | 瑞昱半導體股份有限公司 | 影像對比增強方法及其裝置 |
CN107358586A (zh) * | 2017-07-06 | 2017-11-17 | 中山大学 | 一种图像增强方法、装置及设备 |
CN108205803A (zh) * | 2017-07-19 | 2018-06-26 | 北京市商汤科技开发有限公司 | 图像处理方法、神经网络模型的训练方法及装置 |
CN108288278A (zh) * | 2018-01-22 | 2018-07-17 | 青岛海信电器股份有限公司 | 一种图像亮度处理方法及装置、电子设备 |
CN108628571A (zh) * | 2018-03-29 | 2018-10-09 | 西安电子科技大学 | 一种显示屏节能方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109859144B (zh) * | 2019-02-22 | 2021-03-12 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
-
2019
- 2019-02-22 CN CN201910133416.3A patent/CN109859144B/zh active Active
- 2019-09-03 WO PCT/CN2019/104247 patent/WO2020168706A1/zh active Application Filing
- 2019-12-18 TW TW108146508A patent/TWI777112B/zh active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140253601A1 (en) * | 2013-03-11 | 2014-09-11 | Samsung Electronics Co., Ltd. | Display power reduction using sei information |
CN103236040A (zh) * | 2013-04-19 | 2013-08-07 | 华为技术有限公司 | 一种色彩增强方法及装置 |
CN103530848A (zh) * | 2013-09-27 | 2014-01-22 | 中国人民解放军空军工程大学 | 一种非均匀光照图像二次曝光的实现方法 |
CN103578084A (zh) * | 2013-12-09 | 2014-02-12 | 西安电子科技大学 | 基于亮通道滤波的彩色图像增强方法 |
CN103903229A (zh) * | 2014-03-13 | 2014-07-02 | 中安消技术有限公司 | 一种夜晚图像增强方法和装置 |
CN105654437A (zh) * | 2015-12-24 | 2016-06-08 | 广东迅通科技股份有限公司 | 一种对低照度图像的增强方法 |
TWI591583B (zh) * | 2016-04-13 | 2017-07-11 | 瑞昱半導體股份有限公司 | 影像對比增強方法及其裝置 |
CN107358586A (zh) * | 2017-07-06 | 2017-11-17 | 中山大学 | 一种图像增强方法、装置及设备 |
CN108205803A (zh) * | 2017-07-19 | 2018-06-26 | 北京市商汤科技开发有限公司 | 图像处理方法、神经网络模型的训练方法及装置 |
CN108288278A (zh) * | 2018-01-22 | 2018-07-17 | 青岛海信电器股份有限公司 | 一种图像亮度处理方法及装置、电子设备 |
CN108628571A (zh) * | 2018-03-29 | 2018-10-09 | 西安电子科技大学 | 一种显示屏节能方法 |
Also Published As
Publication number | Publication date |
---|---|
TW202032425A (zh) | 2020-09-01 |
CN109859144A (zh) | 2019-06-07 |
CN109859144B (zh) | 2021-03-12 |
WO2020168706A1 (zh) | 2020-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI777112B (zh) | 圖像處理方法、電子設備和儲存介質 | |
WO2021196401A1 (zh) | 图像重建方法及装置、电子设备和存储介质 | |
KR102390184B1 (ko) | 전자 장치 및 전자 장치의 영상 표시 방법 | |
TWI755833B (zh) | 一種圖像處理方法、電子設備和儲存介質 | |
TWI771645B (zh) | 文本識別方法及裝置、電子設備、儲存介質 | |
CN107692997B (zh) | 心率检测方法及装置 | |
WO2020155711A1 (zh) | 图像生成方法及装置、电子设备和存储介质 | |
JP6336206B2 (ja) | 動画ファイルの識別子を処理する方法、装置、プログラム及び記録媒体 | |
US11475243B2 (en) | Training method and device for an image enhancement model, and storage medium | |
KR20210065178A (ko) | 생체 검출 방법 및 장치, 전자 기기 및 저장 매체 | |
CN110944230B (zh) | 视频特效的添加方法、装置、电子设备及存储介质 | |
TWI757668B (zh) | 網路優化方法及裝置、圖像處理方法及裝置、儲存媒體 | |
CN109165738B (zh) | 神经网络模型的优化方法及装置、电子设备和存储介质 | |
CN110933334B (zh) | 视频降噪方法、装置、终端及存储介质 | |
WO2021169136A1 (zh) | 图像处理方法及装置、电子设备和存储介质 | |
WO2019205605A1 (zh) | 人脸特征点的定位方法及装置 | |
TWI778313B (zh) | 圖像處理方法、電子設備和儲存介質 | |
WO2022227394A1 (zh) | 图像处理方法、装置、设备、存储介质及程序 | |
CN105704369A (zh) | 一种信息处理方法及装置、电子设备 | |
WO2022021932A1 (zh) | 降噪方法及装置、电子设备、存储介质和计算机程序产品 | |
CN111583142B (zh) | 图像降噪方法及装置、电子设备和存储介质 | |
KR102082365B1 (ko) | 이미지 처리 방법 및 그 전자 장치 | |
CN109447258B (zh) | 神经网络模型的优化方法及装置、电子设备和存储介质 | |
TWI770531B (zh) | 人臉識別方法、電子設備和儲存介質 | |
US20140307116A1 (en) | Method and system for managing video recording and/or picture taking in a restricted environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GD4A | Issue of patent certificate for granted invention patent |