TWI841803B - 圖像處理方法及裝置、記憶媒體、電子設備 - Google Patents
圖像處理方法及裝置、記憶媒體、電子設備 Download PDFInfo
- Publication number
- TWI841803B TWI841803B TW109138907A TW109138907A TWI841803B TW I841803 B TWI841803 B TW I841803B TW 109138907 A TW109138907 A TW 109138907A TW 109138907 A TW109138907 A TW 109138907A TW I841803 B TWI841803 B TW I841803B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- processed
- blurred
- clear
- screen
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 23
- 238000012360 testing method Methods 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 6
- 238000002834 transmittance Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101001121408 Homo sapiens L-amino-acid oxidase Proteins 0.000 description 1
- 102100026388 L-amino-acid oxidase Human genes 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Abstract
一種圖像處理方法及裝置、記憶媒體、電子設備,圖像處理方法包括:獲取待處理的模糊圖像,該待處理的模糊圖像為螢幕下攝像頭透過設備螢幕拍攝得到的;將該待處理的模糊圖像輸入至訓練完成的生成對抗網絡模型,以得到處理後的清晰圖像,該生成對抗網絡模型是採用預設訓練樣本預先訓練得到的,該預設訓練樣本包括相對應的清晰圖片樣本以及模糊圖片樣本;輸出該處理後的清晰圖像。本發明技術方案能夠提升螢幕下攝像頭取樣圖像的圖像質量。
Description
本發明是有關於一種圖像處理技術領域,特別是指一種圖像處理方法及裝置、記憶媒體、電子設備。
隨著手機螢幕技術的發展,全面螢幕成為了新的發展趨勢。目前大多數手機產品都受到前置攝像頭的限制,不得不在正面螢幕上留出前置攝像頭的位置,只能無限趨近於全面螢幕概念。而為了實現真正的全面螢幕,前置攝像頭需要設置在螢幕的下方。
但是,對於真正的全面螢幕設備,由於攝像頭設置在螢幕下方,因此螢幕下攝像頭取樣圖像時要透過螢幕,導致取樣到的圖像存在重影、模糊等現象,圖像質量較差。
因此,本發明的一目的,即在提供一種如何提升模糊圖像的圖像質量,尤其是螢幕下攝像頭取樣圖像的圖像質量。
於是,為解決上述技術問題,本發明的該圖像處理方法,包含:獲取一待處理的模糊圖像;將該待處理的模糊圖像輸入至訓練完成的一生成對抗網絡模型,以得到一處理後的清晰圖像,該生成對抗網絡模型是採用一預設訓練樣本預先訓練得到的,該預設訓練樣本包括一相對應的模糊圖片樣本和清晰圖片樣本。
較佳的,該預設訓練樣本包括多組圖像,每組圖像包括針對同一拍攝對象的模糊圖片樣本和清晰圖片樣本。
較佳的,該待處理的模糊圖像為螢幕下攝像頭透過設備螢幕拍攝得到的圖像、或者運動模糊圖像。
較佳的,該處理後的清晰圖像中包括人臉,該圖像處理方法還包括:將該處理後的清晰圖像進行輸出,以用於人臉識別
較佳的,採用以下方式對該生成對抗網絡模型進行訓練:構建一初始生成對抗網絡模型;將該預設訓練樣本輸入至該初始生成對抗網絡模型,進行疊代訓練,直至達到預設疊代次數或訓練收斂條件。
較佳的,該生成對抗網絡模型的損失函數選取為最小二乘生成對抗網絡損失。
較佳的,該相對應的模糊圖片樣本和清晰圖片樣本包括:該預測訓練數據中的清晰圖片樣本是在該拍攝對象不被遮擋情況下由拍攝裝置拍攝得到的,該預測訓練數據中的模糊圖片樣本是該拍攝裝置透過測試螢幕針對該拍攝對象拍攝得到的,該測試螢幕與該設備螢幕具備相同的光學參數。
較佳的,該相對應的清晰圖片樣本以及模糊圖片樣本具備相同分辨率。
較佳的,該生成對抗網絡模型包括一生成器和一判別器,在對該生成對抗網絡模型進行訓練過程中,該生成器用於由該模糊圖片樣本生成偽清晰圖片,該判別器用於判斷該偽清晰圖片的真假;在對該生成對抗網絡模型訓練完成後,該生成器用於由該待處理的模糊圖像生成該處理後的清晰圖像。
為解決上述技術問題,本發明還公開一種圖像處理裝置,包含:一圖像獲取模組,用以獲取待處理的模糊圖像;一圖像處理模組,用以將該待處理的模糊圖像輸入至訓練完成的一生成對抗網絡模型,以得到處理後的清晰圖像,該生成對抗網絡模型是採用一預設訓練樣本預先訓練得到的,該預設訓練樣本包括相對應的清晰圖片樣本以及模糊圖片樣本。一圖像輸出模組,用以輸出該處理後的清晰圖像。該預設訓練樣本包括多組圖像,每組圖像包括針對同一拍攝對象的模糊圖片樣本和清晰圖片樣本。該待處理的模糊圖像為螢幕下攝像頭透過設備螢幕拍攝得到的圖像、或者運動模糊圖像。
為解決上述技術問題,本發明還公開一種記憶媒體,其儲存有一電腦指令,該電腦指令運行時執行該圖像處理方法的步驟。
為解決上述技術問題,本發明還公開一種電子設備,包括一儲存器和一處理器,該儲存器上儲存有可在該處理器上運行的一電腦指令,該處理器運行該電腦指令時執行該圖像處理方法的步驟。
與現有技術相比,本發明實施例的技術方案具有以下有益效果:
本發明技術方案中,訓練完成的生成對抗網絡能夠針對輸入的模糊圖片生成對應的清晰圖片,通過將待處理的模糊圖像輸入至訓練完成的生成對抗網絡模型,可以獲得具備較高清晰度的處理後圖像。本發明技術方案利用深度學習模型對待處理的模糊圖像進行處理,相對於傳統圖像處理算法,不需要先驗條件,可以在複雜狀況下實現對圖像質量的提升。
此外,通過對螢幕下攝像頭拍攝得到的圖像進行後期圖像處理,相對於在螢幕下攝像頭取樣圖像的過程中對成像過程進行處理,在實現圖像質量提升的基礎上,無需增加硬體組件,還可以避免對設備螢幕的挖孔操作,減小設備成本。
在本發明被詳細描述前,應當注意在以下的說明內容中,類似的元件是以相同的編號來表示。
如背景技術中所述,對於真正的全面螢幕設備,由於攝像頭設置在螢幕下方,因此螢幕下攝像頭取樣圖像時要透過螢幕,導致取樣到的圖像存在重影、模糊等現象,圖像質量較差。
本發明技術方案中,訓練完成的生成對抗網絡能夠針對輸入的模糊圖片生成對應的清晰圖片,通過將待處理的模糊圖像輸入至訓練完成的生成對抗網絡模型,可以獲得具備較高清晰度的處理後圖像。本發明技術方案利用深度學習模型對待處理的模糊圖像進行處理,相對於傳統圖像處理算法,不需要先驗條件,可以在複雜狀況下實現對圖像質量的提升;此外,通過對螢幕下攝像頭拍攝得到的圖像進行後期圖像處理,相對於在螢幕下攝像頭取樣圖像的過程中對成像過程進行處理,在實現圖像質量提升的基礎上,無需增加硬體組件,還可以避免對設備螢幕的挖孔操作,減小設備成本。
為使本發明的上述目的、特徵和優點能夠更為明顯易懂,下面結合附圖對本發明的具體實施例做詳細的說明。
圖1是本發明實施例一種像處理方法的流程圖。
該圖像處理方法可以用於任意具有螢幕下攝像頭的電子設備設備,例如手機、平板電腦等,也即可以由該電子設備設備執行圖1所示方法的各個步驟。
圖1所示圖像處理方法可以包括以下步驟:
步驟S101:獲取待處理的模糊圖像;
步驟S102:將該待處理的模糊圖像輸入至訓練完成的生成對抗網絡模型,以得到處理後的清晰圖像,該生成對抗網絡模型是採用預設訓練樣本預先訓練得到的,該預設訓練樣本為多組圖像,每組圖像包括相對應的清晰圖片樣本以及模糊圖片樣本。
步驟S103:輸出該處理後的清晰圖像。
需要指出的是,本實施例中各個步驟的序號並不代表對各個步驟的執行順序的限定。
在步驟S101的具體實施中,該待處理的模糊圖像為螢幕下攝像頭透過設備螢幕拍攝得到的圖像、或者運動模糊圖像(例如因手抖而拍攝的模糊圖像),獲取該待處理的模糊圖像具體可以是直接從螢幕下攝像頭獲取待處理的模糊圖像;或者,從快取記憶體(數據交換的緩衝區,簡稱Cache)中獲取待處理的模糊圖像,所述快取記憶體中存儲有螢幕下攝像頭取樣到的圖像。
本實施例中所稱螢幕下攝像頭是指設置在設備螢幕的下方的攝像頭,例如,手機螢幕為全面螢幕(也就是全螢幕手機),螢幕下攝像頭為設置在全面螢幕下方的前置攝像頭。
由於螢幕下攝像頭在取樣圖像時,光線需要透過設備螢幕到達攝像頭傳感器,而設備螢幕會對到達攝像頭傳感器的光線產生遮擋、折射等作用,削弱進光量或出現雜光,導致取樣到的圖像質量較差,例如出現重影、模糊等現象。
在步驟S102的具體實施中,生成對抗網絡(Generative Adversarial Networks, GAN)模型是採用預設訓練樣本預先訓練得到的。其中,預設訓練樣本為多組圖像,每組圖像包括針對同一拍攝對象和同一拍攝背景的清晰圖片樣本以及模糊圖片樣本。具體地,在訓練過程中,生成對抗網絡模型的輸入為一組相對應的模糊圖片樣本與清晰圖片樣本(即針對同一拍攝對象和同一拍攝背景),每一次疊代可輸出當前生成器生成的偽清晰圖片。該生成對抗網絡模型收斂即訓練完成後,可將待處理的圖片(例如一張待處理的模糊圖片)輸入至訓練完成的生成對抗網絡模型,輸出生成的清晰圖片,也即與真實清晰圖像非常相近的偽清晰圖片。
需要說明的是,所述清晰圖片樣本可以是指分辨率大於第一預設閾值的圖片,該模糊圖片樣本可以是指分辨率小於第二預設閾值的圖片,該第一預設閾值大於等於該第二預設閾值。第一預設閾值以及第二預設閾值的具體數值可以根據實際的應用環境進行設置。在一些實施例中,所述清晰圖片樣本和該模糊圖片樣本的分辨率可以為256*256以上,網絡會進行自動縮放裁剪,裁剪值可自行調整,圖片大小不得低於網絡設置的裁剪值,裁剪值過低會影響模型效果。
具體而言,生成對抗網絡模型可以包括生成器和判別器,在對該生成對抗網絡模型進行訓練過程中,該生成器可以由模糊圖片樣本生成偽清晰圖片,該判別器用於判斷該偽清晰圖片的真假,訓練過程意圖為提高判別器判斷出偽清晰圖片為生成器偽造的能力,並不斷提高生成器騙過判別器判斷的能力,最終得到還原清晰圖片能力很高的生成器,作為圖像處理的工具;在對該生成對抗網絡模型訓練完成後,該生成器用於由該待處理的模糊圖像生成該處理後的清晰圖像,該處理後的清晰圖像可由該生成對抗網絡模型輸出。生成器的優化過程為提升所生成圖片被判別器預測為真的機率,並使得生成的圖片接近每組圖像中的清晰圖片樣本。而判別器的優化過程則為儘量提高判別生成器所生成圖片為假、每組圖像中的清晰圖片樣本為真的機率。通過將待處理的模糊圖像輸入至生成對抗網絡模型,可以獲得處理後的清晰圖像,相對於該待處理的模糊圖像,該處理後的清晰圖像為具備較高清晰度的圖像。至此,通過上述步驟實現了對待處理的模糊圖像的圖像質量的提升。
進而在步驟S103的具體實施中,可以將處理後的清晰圖像進行輸出,以進行後續的處理流程。例如,將處理後的清晰圖像展示給用戶,或者將處理後的清晰圖像用於身份驗證流程。
本發明實施例中,訓練完成的生成對抗網絡能夠針對輸入的模糊圖片生成對應的清晰圖片,通過將螢幕下攝像頭拍攝得到的待處理的模糊圖像輸入至訓練完成的生成對抗網絡模型,可以獲得具備較高清晰度的處理後圖像。本發明實施例利用深度學習模型對待處理的模糊圖像進行處理,相對於傳統圖像處理算法,不需要先驗條件,可以在複雜狀況下實現對圖像質量的提升;此外,通過對螢幕下攝像頭拍攝得到的圖像進行後期圖像處理,相對於在螢幕下攝像頭取樣圖像的過程中對成像過程進行處理,在實現圖像質量提升的基礎上,無需增加硬體組件,還可以避免對設備螢幕的挖孔操作,減小設備成本。
在本發明另一個實施例中,該處理後的清晰圖像中包括人臉,圖1所示步驟S103可以包括以下步驟:將該處理後的清晰圖像進行輸出,以用於進行人臉識別。
本實施例中,待處理的模糊圖像可以是人臉圖像,也即待處理的模糊圖像是螢幕下攝像頭拍攝用戶的臉部所獲得的圖像。待處理的模糊圖像和處理後的清晰圖像中均包括人臉。
由此,在步驟S102中得到處理後的清晰圖像後,由於處理後圖像為具備較高清晰度的圖像,因此處理後的清晰圖像中的人臉也具備較高的清晰度。在這種情況下,可以利用處理後的清晰圖像執行人臉識別操作,從而提升人臉識別的成功率以及準確性。
在一個具體應用場景中,設備需要取樣用戶的人臉進行身份驗證,以開啟設備或解鎖設備或解鎖應用程序。如果直接採用螢幕下攝像頭取樣的待處理的模糊圖像,則會導致驗證失敗,因為待處理的模糊圖像的圖像質量較差。故而,可以通過上述步驟S101和步驟S102獲得的處理後的清晰圖像進行人臉識別,能夠大大提升人臉識別的準確率,提升用戶體驗。
在本發明另另一個實施例中,圖1所示步驟S103可以包括以下步驟:將該處理後的清晰圖像輸出至顯示界面進行顯示。
本實施例中,在步驟S102中得到處理後的清晰圖像後,可以將該處理後的清晰圖像輸出至設備的顯示界面,例如設備螢幕進行顯示,以展示給用戶。相較於直接將螢幕下攝像頭取樣到的圖像展示給用戶,本發明實施例可以將具備較高清晰度的處理後圖像展示給用戶,提升用戶體驗。
在本發明另一個實施例中,請參照圖2,可以採用以下方式對該生成對抗網絡模型進行訓練:
步驟S201:構建初始生成對抗網絡模型。
步驟S202:將該預設訓練樣本輸入至該初始生成對抗網絡模型,進行疊代訓練,直至達到預設疊代次數或訓練收斂條件。
本實施例中,在訓練生成對抗網絡模型時,可以先構建初始生成對抗網絡模型。具體地,如前所述,生成對抗網絡模型可以包括生成器和判別器,生成器可以由模糊圖片生成清晰圖片,判別器判斷生成器所生成圖片的真假。生成器的優化過程為提升所生成圖片被判別器預測為真的機率,並使得生成的圖片接近每組圖像中的清晰圖片樣本。而判別器的優化過程則為儘量提高判別生成器所生成圖片為假、每組圖像中的清晰圖片樣本為真的機率。
在一些實施例中,該生成器可以使用深度殘差網絡,該判別器可以使用自定義的多層卷積神經網絡,整個生成對抗網絡的損失函數可以使用最小二乘生成對抗網絡損失,包括判別器損失和生成器損失,如下:
判別器損失:
生成器損失:
上述兩式中,G表示生成器,D表示判別器,Pdata為真實數據分佈,PG為生成器生成數據分佈,x為真實樣本即清晰圖片樣本,z為生成樣本即偽清晰圖片,a、b分別為判別器的生成樣本編碼參數和真實樣本編碼參數,c為生成器的生成樣本編碼參數,是生成器為了讓判別器認為生成圖片是真實數據而定的值,一般取a=-1,b=1,c=0或a=1,b=c=1,E代表期望值。其中第一個式子表示的判別器損失包括判別真實清晰圖像和判別偽清晰圖像的部分,其目的在於儘量區分並準確判斷真清晰圖像為真,偽清晰圖像為假。第二個式子表示的生成器損失包括生成的偽清晰圖像的部分,其目的在於儘量讓判別器認為生成圖片是真實清晰圖像。
進而可以將該預設訓練樣本輸入至該初始生成對抗網絡模型,進行訓練、參數更新,直到達到預設疊代訓練次數或訓練收斂條件。具體地,所述訓練收斂條件可以是根據損失函數(生成器損失和判別器損失)計算的損失度達到預設值或預設範圍。
可以理解的是,所述預設值或預設範圍可以是根據實際的應用場景設置的經驗值。
在一個具體應用場景中,生成對抗網絡模型訓練完成之後,可以獲得訓練完整的預訓練模型,經過嵌入式處理可以植入到各類設備中,例如手機、平板電腦等,通過在設備中運行該生成對抗模型,可以執行上述圖像處理方法的各個步驟,對設備的螢幕下攝像頭取樣的圖像進行處理,獲得具備較高清晰度的處理後圖像。
本發明另一個實施例中,本發明實施例中生成對抗網絡模型的損失函數可以是最小平方(Least squares)生成對抗網絡(LSGAN)損失。採用LSGAN執行上述圖像處理過程,可以獲得較好的圖像處理效果且速度較快。
需要說明的是,根據實際應用場景以及訓練數據的不同,可以適應性地選擇不同的生成對抗網絡模型,主要是損失函數的區別,例如可以是傳統生成對抗網絡模型、加入梯度懲罰(Gradient penalty)的生成對抗網絡模型(WGAN-GP)、WGAN等。
本發明另一個實施例中,該預測訓練數據中的清晰圖片樣本是拍攝裝置直接針對拍攝對象拍攝得到的,該預測訓練數據中的模糊圖片樣本是該拍攝裝置透過測試螢幕針對該拍攝對象拍攝得到的,該測試螢幕與該設備螢幕具備相同的光學參數。該拍攝裝置可以是相機或者手機攝像頭。
本實施例中, 對於用於訓練生成對抗模型的每組圖像,清晰圖片樣本和模糊圖片樣本是針對同一拍攝對象和同一拍攝背景拍攝得到的。並且,所述清晰圖片樣本是在該拍攝對象不被遮擋情況下由拍攝裝置拍攝得到的,該模糊圖片樣本是該拍攝裝置透過測試螢幕針對該拍攝對象拍攝得到的。由於測試螢幕本身具備光學參數,例如折射率、透光率等,因此拍攝設備透過測試螢幕時,測試螢幕會對拍攝設備的成像造成干擾。故而相較於模糊圖片,清晰圖片具備較高的清晰度。
進一步地,為了模擬設備螢幕對螢幕下攝像頭成像的影響,測試螢幕與設備螢幕具備相同的光學參數,例如測試螢幕與設備螢幕具備相同的折射率、透光率等等。
在本發明另一個實施例中,為了獲得更好的模型訓練效果,該預測訓練數據中的相對應的一組清晰圖片樣本以及模糊圖片樣本具備相同分辨率。
也就是說,用於訓練生成對抗網絡模型的每組圖像中的清晰圖片樣本和模糊圖片樣本具備相同的分辨率,也即清晰圖片樣本和模糊圖片樣本具備相同的大小。並且,清晰圖片樣本和模糊圖片樣本之間無縮放關係以及放大關係。
在一些實施例中,所述清晰圖片樣本和該模糊圖片樣本的分辨率可以為256*256以上,網絡會進行自動縮放裁剪,裁剪值可自行調整,圖片大小不得低於網絡設置的裁剪值,裁剪值過低會影響模型效果。
本發明實施例的圖像處理方法適用於處理各類圖像雜訊(image noise),例如因螢幕下攝像頭透過設備螢幕拍攝得到的模糊圖像、或者運動模糊圖像。
本發明實施例還公開了一種圖像處理裝置,請參照圖3,圖像處理裝置30可以包括圖像獲取模組301、圖像處理模組302和圖像輸出模組303。
其中,圖像獲取模組301用以獲取待處理的模糊圖像,該待處理的模糊圖像為螢幕下攝像頭透過設備螢幕拍攝得到的;
圖像處理模組302用以將該待處理的模糊圖像輸入至訓練完成的生成對抗網絡模型,以得到處理後的清晰圖像,該生成對抗網絡模型是採用預設訓練樣本預先訓練得到的,該預設訓練樣本為多組圖像,每組圖像包括針對同一拍攝對象和同一拍攝背景的清晰圖片樣本以及模糊圖片樣本;
圖像輸出模組303用以輸出該處理後的清晰圖像。
本發明實施例中,訓練完成的生成對抗網絡能夠針對輸入的模糊圖片生成對應的清晰圖片,通過將螢幕下攝像頭拍攝得到的待處理的模糊圖像輸入至訓練完成的生成對抗網絡模型,可以獲得具備較高清晰度的處理後圖像。本發明實施例利用深度學習模型對待處理的模糊圖像進行處理,相對於傳統圖像處理算法,不需要先驗條件,可以在複雜狀況下實現對圖像質量的提升;此外,通過對螢幕下攝像頭拍攝得到的圖像進行後期圖像處理,相對於在螢幕下攝像頭取樣圖像的過程中對成像過程進行處理,在實現圖像質量提升的基礎上,無需增加硬體組件,還可以避免對設備螢幕的挖孔操作,減小設備成本。
在本發明另一個實施例中,處理後的清晰圖像中包括人臉,圖像輸出模組303可以將該處理後的清晰圖像進行輸出,以用於進行人臉識別。
在本發明另另一個實施例中,圖像輸出模組303可以將該處理後的清晰圖像輸出至顯示界面進行顯示。
在本發明另一個實施例中,可以採用以下模組對該生成對抗網絡模型進行訓練:構建模組(圖未示),用以構建初始生成對抗網絡模型;訓練模組(圖未示),用以將該預設訓練樣本輸入至該初始生成對抗網絡模型,進行疊代訓練,直至達到預設疊代次數或訓練收斂條件。
在本發明另一個實施例中,該預測訓練數據中的清晰圖片樣本是在該拍攝對象不被遮擋情況下由拍攝裝置拍攝得到的,該模糊圖片樣本是該拍攝裝置透過測試螢幕針對該拍攝對象拍攝得到的,該測試螢幕與該設備螢幕具備相同的光學參數。
進一步而言,所述清晰圖片樣本以及該模糊圖片樣本具備相同分辨率。
關於所述圖像處理裝置30的工作原理、工作方式的更多內容,可以參照圖1至圖2中的相關描述,這裡不再贅述。
本發明實施例還公開了一種記憶媒體,該記憶媒體為計算機可讀記憶媒體,其上存儲有電腦指令,該電腦指令運行時可以執行圖1或圖2中所示的步驟。該記憶媒體可以包括ROM、RAM、磁盤或光盤等。該記憶媒體還可以包括非揮發性儲存器(non-volatile)或者非瞬態(non-transitory)儲存器等。
本發明實施例還公開了一種電子設備,該電子設備可以包括儲存器和處理器,該儲存器上儲存有可在該處理器上運行的電腦指令。該處理器運行該電腦指令時可以執行圖1或圖2中所示的步驟。該電子設備包括但不限於手機、電腦、平板電腦等電子設備設備。
雖然本發明披露如上,但本發明並非限定於此。任何本領域技術人員,在不脫離本發明的精神和範圍內,均可作各種更動與修改,因此本發明的保護範圍應當以權利要求所限定的範圍為准。
惟以上所述者,僅為本發明的實施例而已,當不能以此限定本發明實施的範圍,凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾,皆仍屬本發明專利涵蓋的範圍內。
S101:獲取待處理的模糊圖像步驟
S102:輸入至訓練完成的生成對抗網絡模型步驟
S103:輸出該處理後的清晰圖像步驟
S201:生成對抗網絡模型步驟
S202:進行疊代訓練步驟
30:圖像處理裝置
301:圖像獲取模組
302:圖像處理模組
303:圖像輸出模組
本發明的其他的特徵及功效,將於參照圖式的實施方式中清楚地呈現,其中:
圖1是本發明實施例一種圖像處理方法的流程圖;
圖2是本發明實施例一種訓練生成對抗網絡模型的流程圖;
圖3是本發明實施例一種圖像處理裝置的結構示意圖。
S101:獲取待處理的模糊圖像步驟
S102:輸入至訓練完成的生成對抗網絡模型步驟
S103:輸出該處理後的清晰圖像步驟
Claims (13)
- 一種圖像處理方法,包含:獲取一待處理的模糊圖像,該待處理的模糊圖像為全螢幕手機的螢幕下攝像頭透過設備螢幕拍攝得到的圖像、或者運動模糊圖像;將該待處理的模糊圖像輸入至訓練完成的一生成對抗網絡模型,以得到一處理後的清晰圖像,該生成對抗網絡模型是採用一預設訓練樣本預先訓練得到的,該預設訓練樣本包括一相對應的模糊圖片樣本和清晰圖片樣本,該相對應的模糊圖片樣本和清晰圖片樣本包括:該預測訓練數據中的清晰圖片樣本是在該拍攝對象不被遮擋情況下由拍攝裝置拍攝得到的,該預測訓練數據中的模糊圖片樣本是該拍攝裝置透過測試螢幕針對該拍攝對象拍攝得到的,該測試螢幕與該設備螢幕具備相同的光學參數,該光學參數包括折射率、透光率。
- 如請求項1所述的圖像處理方法,其中,該預設訓練樣本包括多組圖像,每組圖像包括針對同一拍攝對象的模糊圖片樣本和清晰圖片樣本。
- 如請求項1所述的圖像處理方法,其中,該處理後的清晰圖像中包括人臉,該圖像處理方法還包括:將該處理後的清晰圖像進行輸出,以用於人臉識別。
- 如請求項1所述的圖像處理方法,還包括:將該處理後的清晰圖像輸出至一顯示界面進行顯示。
- 如請求項1所述的圖像處理方法,其中,採用以下方式對 該生成對抗網絡模型進行訓練:構建一初始生成對抗網絡模型;將該預設訓練樣本輸入至該初始生成對抗網絡模型,進行疊代訓練,直至達到預設疊代次數或訓練收斂條件。
- 如請求項1所述的圖像處理方法,其中,該生成對抗網絡模型的損失函數選取為最小二乘生成對抗網絡損失。
- 如請求項1所述的圖像處理方法,其中,該相對應的清晰圖片樣本以及模糊圖片樣本具備相同分辨率。
- 如請求項1所述的圖像處理方法,其中,該生成對抗網絡模型包括一生成器和一判別器,在對該生成對抗網絡模型進行訓練過程中,該生成器用於由該模糊圖片樣本生成偽清晰圖片,該判別器用於判斷該偽清晰圖片的真假;在對該生成對抗網絡模型訓練完成後,該生成器用於由該待處理的模糊圖像生成該處理後的清晰圖像。
- 一種圖像處理裝置,包含:一圖像獲取模組,用以獲取待處理的模糊圖像,該待處理的模糊圖像為全螢幕手機的螢幕下攝像頭透過設備螢幕拍攝得到的圖像、或者運動模糊圖像;一圖像處理模組,用以將該待處理的模糊圖像輸入至訓練完成的一生成對抗網絡模型,以得到處理後的清晰圖像,該生成對抗網絡模型是採用一預設訓練樣本預先訓練得到的,該預設訓練樣本包括相對應的清晰圖片樣本以及模糊圖片樣本,該相對應的模糊圖片樣本和清晰 圖片樣本包括:該預測訓練數據中的清晰圖片樣本是在該拍攝對象不被遮擋情況下由拍攝裝置拍攝得到的,該預測訓練數據中的模糊圖片樣本是該拍攝裝置透過測試螢幕針對該拍攝對象拍攝得到的,該測試螢幕與該設備螢幕具備相同的光學參數,該光學參數包括折射率、透光率。
- 如請求項9所述的圖像處理裝置,還包括:一圖像輸出模組,用以輸出該處理後的清晰圖像。
- 如請求項9所述的圖像處理裝置,該預設訓練樣本包括多組圖像,每組圖像包括針對同一拍攝對象的模糊圖片樣本和清晰圖片樣本。
- 一種記憶媒體,其儲存有一電腦指令,該電腦指令運行時執行請求項1至8中任一項的圖像處理方法的步驟。
- 一種電子設備,包括一儲存器和一處理器,該儲存器上儲存有可在該處理器上運行的一電腦指令,該處理器運行該電腦指令時執行請求項1至8中任一項的圖像處理方法的步驟。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW109138907A TWI841803B (zh) | 2020-11-06 | 圖像處理方法及裝置、記憶媒體、電子設備 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW109138907A TWI841803B (zh) | 2020-11-06 | 圖像處理方法及裝置、記憶媒體、電子設備 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202219821A TW202219821A (zh) | 2022-05-16 |
TWI841803B true TWI841803B (zh) | 2024-05-11 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11610289B2 (en) | Image processing method and apparatus, storage medium, and terminal | |
WO2020199611A1 (zh) | 活体检测方法和装置、电子设备及存储介质 | |
WO2021179851A1 (zh) | 图像处理方法、装置、终端及存储介质 | |
WO2022134971A1 (zh) | 一种降噪模型的训练方法及相关装置 | |
Ignatov et al. | AIM 2020 challenge on rendering realistic bokeh | |
CN106599872A (zh) | 用于验证活体人脸图像的方法和设备 | |
CN111985281B (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
CN114339409B (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
CN108230384A (zh) | 图像深度计算方法、装置、存储介质和电子设备 | |
CN108572735B (zh) | 瞳孔中心定位装置和方法、虚拟现实设备 | |
CN111833267A (zh) | 一种进行运动模糊复原的双重生成对抗网络及其运行方法 | |
WO2023202285A1 (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN110766610A (zh) | 一种超分辨率图像的重建方法及电子设备 | |
CN107065164B (zh) | 图像展示方法及装置 | |
CN110570375B (zh) | 一种图像处理方法、装置、电子设置以及存储介质 | |
CN113658091A (zh) | 一种图像评价方法、存储介质及终端设备 | |
EP3914953A1 (en) | Capture and storage of magnified images | |
CN113240050B (zh) | 一种特征融合权重可调的金属打印熔池检测方法 | |
CN111144407A (zh) | 一种目标检测方法、系统、装置及可读存储介质 | |
CN113112439B (zh) | 图像融合方法、图像融合模型的训练方法、装置和设备 | |
WO2022110855A1 (zh) | 人脸重建方法、装置、计算机设备及存储介质 | |
CN112801890B (zh) | 一种视频处理方法、装置及设备 | |
TWI841803B (zh) | 圖像處理方法及裝置、記憶媒體、電子設備 | |
CN111489289B (zh) | 一种图像处理方法、图像处理装置及终端设备 | |
CN117037244A (zh) | 人脸安全检测方法、装置、计算机设备和存储介质 |