TWI820889B - 圖像處理方法及其裝置 - Google Patents
圖像處理方法及其裝置 Download PDFInfo
- Publication number
- TWI820889B TWI820889B TW111133136A TW111133136A TWI820889B TW I820889 B TWI820889 B TW I820889B TW 111133136 A TW111133136 A TW 111133136A TW 111133136 A TW111133136 A TW 111133136A TW I820889 B TWI820889 B TW I820889B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- glare
- parameter
- model
- threshold
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 230000004313 glare Effects 0.000 claims abstract description 239
- 238000000034 method Methods 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 4
- 206010052128 Glare Diseases 0.000 description 207
- 230000000875 corresponding effect Effects 0.000 description 25
- 230000000694 effects Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
本發明公開了一種圖像處理方法、裝置、電子設備及可讀存儲介質，屬於圖像處理技術領域。該圖像處理方法包括：獲取待處理資料，該待處理資料包括第一圖像和第一眩光參數，該第一眩光參數用於表徵該第一圖像的眩光強度；根據該第一眩光參數與目標閾值的對應關係，選擇第一模型或第二模型對該第一圖像進行眩光去除處理，獲得目標圖表像。
Description
本發明屬於圖像處理技術領域，具體是關於一種圖像處理方法及其裝置。
在感光元件採集光線到最終成像的過程中，可以應用相關手段對圖像進行去眩光處理，以提升最終的成像品質。
目前，相關技術多通過提高眩光區域對比度以及高光區域的壓暗等方式，對圖像進行去眩光處理，由於眩光區域的判定較為複雜，以及不同場景下的壓暗適度程度較為調控等原因，使得相關技術的去眩光效果較差。
本發明實施例的目的是提供一種圖像處理方法及其裝置，能夠解決相關技術存在的去眩光效果較差的問題。
第一方面，本發明實施例提供了一種方法，該方法包括：
獲取待處理資料，該待處理資料包括第一圖像和第一眩光參數，該第一眩光參數用於表徵該第一圖像的眩光強度；
根據該第一眩光參數與目標閾值的對應關係，選擇第一模型或第二模型對該第一圖像進行眩光去除處理，獲得目標圖表像。
第二方面，本發明實施例提供了一種圖像處理裝置，該裝置包括：
獲取模組，用於獲取待處理資料，該待處理資料包括第一圖像和第一眩光參數，該第一眩光參數用於表徵該第一圖像的眩光強度；
圖像處理模組，用於根據該第一眩光參數與目標閾值的對應關係，選擇第一模型或第二模型對該第一圖像進行眩光去除處理，獲得目標圖表像。
第三方面，本發明實施例提供了一種電子設備，該電子設備包括處理器和記憶體，該記憶體存儲有可在該處理器上運行的程式或指令，該程式或指令被該處理器執行時實現如第一方面所述的方法的步驟。
第四方面，本發明實施例提供了一種可讀存儲介質，該可讀存儲介質上存儲程式或指令，該程式或指令被處理器執行時實現如第一方面所述的方法的步驟。
第五方面，本發明實施例提供了一種晶片，該晶片包括處理器和通信介面，該通信介面和該處理器耦合，該處理器用於運行程式或指令，實現如第一方面所述的方法。
第六方面，本發明實施例提供一種電腦程式產品，該程式產品被存儲在存儲介質中，該程式產品被至少一個處理器執行以實現如第一方面所述的方法。
在本發明實施例中，在對第一圖像進行去眩光處理之前，先獲取用於表徵第一圖像的眩光強度的第一眩光參數，再根據第一眩光參數與目標閾值的對應關係，確定第一圖像中眩光的眩光處理難度，並相應選擇匹配該眩光處理難度的第一模型或第二模型對該第一圖像進行眩光去除處理，使所獲得目標圖表像的眩光去除效果能維持較優水準，以滿足使用者對圖像成像品質的需求，並在一定程度上縮短用戶的等待時間，提升用戶的使用體驗。
下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。根據本發明中的實施例，本領域普通技術人員獲得的所有其他實施例，都屬於本發明保護的範圍。
本發明的說明書和申請專利範圍中的術語「第一」、「第二」等是用於區別類似的物件，而不用於描述特定的順序或先後次序。應該理解這樣使用的資料在適當情況下可以互換，以便本發明的實施例能夠以除了在這裡圖示或描述的那些以外的順序實施，且「第一」、「第二」等所區分的對象通常為一類，並不限定物件的個數，例如第一物件可以是一個，也可以是多個。此外，說明書以及申請專利範圍中「和/或」表示所連線物件的至少其中之一，字元「/」，一般表示前後關聯物件是一種「或」的關係。
下面結合附圖，通過具體的實施例及其應用場景對本發明實施例提供的圖像處理方法進行詳細地說明。
參見圖1，圖1是本發明實施例提供的一種圖像處理方法的流程示意圖，如圖1所示，該圖像處理方法包括以下步驟：
步驟101、獲取待處理資料。
其中，該待處理資料包括第一圖像和第一眩光參數，該第一眩光參數用於表徵該第一圖像的眩光強度。
在本發明實施例中，第一圖像可理解為待進行去眩光處理的圖像，示例性的，第一圖像可以為電子設備的感光元件採集的圖像，也可以為使用者輸入的圖像，本發明實施例對第一圖像的具體來源並不加以限定。
第一圖像的眩光強度可理解為：第一圖像中所存在眩光的去除難度。
上述第一眩光參數可以由第三模型對第一圖像進行處理後得到，也可以由人工確定的方式得到。
其中，第三模型可以為神經網路模型，第三模型用於預測輸入第三模型的圖像的眩光去除難度。
在一示例中，第三模型的訓練過程可以為：
針對圖像中眩光的面積占比與圖像中眩光的去除難度呈正相關趨勢的特點，可利用圖像中眩光的面積占比來表徵圖像中眩光的去除難度，並相應構建圖像中眩光的面積占比與圖像中眩光的去除難度之間的換算公式，隨後將預設置的樣本圖像中眩光的面積占比輸入該換算公式中，以獲得樣本圖像對應的眩光去除難度，再將樣本圖像以及樣本圖像對應的眩光去除難度作為一組第一訓練資料，通過多組第一訓練資料對預先構建的初始模型進行訓練，以獲得該第三模型。如圖2所示，樣本圖像可以為根據無眩光圖像和眩光圖像融合得到的圖像。該眩光圖像應理解為，由純色背景（例如：黑色背景）和眩光組成的圖像，眩光圖像可以通過在眩光場景下實拍的方式的生成，也可以利用光學公式生成，本發明實施例對眩光圖像的具體來源並不加以限定。
步驟102、根據該第一眩光參數與目標閾值的對應關係，選擇第一模型或第二模型對該第一圖像進行眩光去除處理，獲得目標圖表像。
其中，該第一模型的眩光去除效率和該第二模型的眩光去除效率不同，且該第一模型的模型精度和該第二模型的模型精度不同。在本發明實施例中，用於去除圖像眩光的模型（指第一模型和第二模型）的模型精度和該模型的眩光去除效率為負相關關係，也就是說，若第一模型的眩光去除效率高於第二模型的眩光去除效率，則意味著第一模型的模型精度低於第二模型的模型精度；同理，若第一模型的眩光去除效率低於第二模型的眩光去除效率，則意味著第一模型的模型精度高於第二模型的模型精度。該模型精度可理解為第一模型和第二模型對圖像中眩光的處理能力。
假定第一模型的眩光去除效率高於第二模型的眩光去除效率，且第一模型的模型精度低於第二模型的模型精度，此時，通過目標閾值的設置，能對眩光處理難度不同的圖像進行區分，以在去除圖像眩光的過程中，對眩光處理效率和眩光處理效果進行平衡，提升用戶的使用體驗。
示例性的，在假定第一模型的眩光去除效率高於第二模型的眩光去除效率，且第一模型的模型精度低於第二模型的模型精度的情況下，對於眩光處理難度較低的圖像來說（指圖像對應的眩光強度小於目標閾值），應用第一模型所得到目標圖表像的效果和應用第二模型所得到目標圖表像的效果較為相近，因此優選應用第一模型對圖像眩光進行去除，以在保障目標圖表像的眩光去除效果可滿足用戶需求的前提下，減少用戶的等待時間；而對於眩光處理難度較高的圖像來說（指圖像對應的眩光強度大於或等於目標閾值），應用第二模型所得到目標圖表像的效果將會明顯優於應用第一模型所得到目標圖表像的效果，因此優選應用第二模型對圖像眩光進行去除，確保最終輸出的目標圖表像的眩光去除效果可滿足用戶需求。
第一模型和第二模型可以為神經網路模型，在假定第一模型的眩光去除效率高於第二模型的眩光去除效率，且第一模型的模型精度低於第二模型的模型精度的情況下，用於構建第二模型的神經網路架構的複雜度高於用於第一模型的神經網路架構的複雜度第一模型和第二模型的訓練過程類似。
舉例來說，第一模型的訓練過程可以為：
先準備多個樣本圖像（根據無眩光圖像和眩光圖像融合得到），再將每個樣本圖像和該樣本圖像對應的無眩光圖像作為一組第二訓練資料，以生成多組第二訓練資料，之後利用多組第二訓練資料對第一原始模型進行訓練，以獲得該第一模型。
在一些實施方式中，在根據第一眩光參數確定應用第一模型或第二模型對第一圖像進行去眩光處理後，使用者也可以根據所獲得目標圖表像的去眩光效果或去眩光效率，手動將所應用的第一模型調整為第二模型，或將所應用的第二模型調整為第一模型，以獲得新的目標圖表像。
如圖3所示，第一模型或第二模型對第一圖像進行去眩光處理的過程可理解為：先將第一圖像輸入至第一模型或第二模型中，經由神經網路推理得到對應的眩光圖像，再將第一圖像減去推理得到的眩光圖像，即獲得目標圖表像。
上述目標閾值可基於實際需求進行適應性選擇，例如：通過人工設定的方式確定該目標閾值的具體數值，或者，利用無偏估計等方式確定該目標閾值的具體數值，本發明實施例對此並不加以限定。
如上，在對第一圖像進行去眩光處理之前，先獲取用於表徵第一圖像的眩光強度的第一眩光參數，再根據第一眩光參數與目標閾值的對應關係，確定第一圖像中眩光的眩光處理難度，並相應選擇匹配該眩光處理難度的第一模型或第二模型對該第一圖像進行眩光去除處理，使所獲得目標圖表像的眩光去除效果能維持較優水準，以滿足使用者對圖像成像品質的需求，並在一定程度上縮短用戶的等待時間，提升用戶的使用體驗。
可選的，該目標閾值包括第一閾值和第二閾值；
該根據該第一眩光參數與目標閾值的對應關係，選擇第一模型或第二模型對該第一圖像進行眩光去除處理，獲得目標圖表像，包括：
在該第一眩光參數大於或等於該第一閾值，且小於該第二閾值的情況下，根據該第一模型對該第一圖像進行眩光去除處理，獲得目標圖表像；
在該第一眩光參數大於或等於該第二閾值的情況下，根據該第二模型對該第一圖像進行眩光去除處理，獲得該目標圖表像；
其中，該第二模型的模型精度高於該第一模型的模型精度。
通過設置目標閾值包括第一閾值和第二閾值，以對眩光去除效率較高但模型精度較低的模型（指該實施方式中的第一模型）的應用場景作進一步限制（指第一眩光參數需滿足大於或等於第一閾值，且小於第二閾值的條件），避免應用該模型對未存在眩光或眩光較弱（指第一眩光參數小於第一閾值）的圖像進行去眩光處理，以進一步提高目標圖表像的輸出效率，縮短用戶的等待時間，提升用戶的使用體驗。
在一些實施方式中，可以在該第一眩光參數小於或等於第一閾值的情況下，將該第一圖像確定為該目標圖表像。也即對未存在眩光或眩光較弱的第一圖像來說，可跳過眩光去除的步驟，將第一圖像作為目標圖表像直接輸出，以縮短用戶等待目標圖表像輸出的時間，提升用戶的使用體驗。
可選的，該獲取待處理資料，包括：
根據第三模型對該第一圖像進行識別，得到該第一眩光參數；
在根據第三模型對該第一圖像進行識別，得到該第一眩光參數之前，該方法還包括：
獲取第一訓練資料，該第一訓練資料包括第二圖像和第二眩光參數，該第二眩光參數用於表徵該第二圖像的眩光強度；
根據該第一訓練資料對預先構建的初始模型進行訓練，得到該第三模型。
如上所述，在一可選實施方式中，利用訓練好的第三模型對第一圖像進行識別，以通過模型識別的方式得到第一眩光參數，避免人為因素造成的誤差，確保所獲得的第一眩光參數的可靠性。
其中，第二圖像的眩光強度也可理解為：第二圖像的眩光去除難度。
可選的，該第二眩光參數為根據第一參數和第二參數進行加權計算得到的參數，其中，該第一參數用於表徵眩光在該第二圖像中的占比，該第二參數為根據第四模型對該第二圖像進行眩光去除的損失值。
上述第一參數可以理解為：第二圖像中眩光所占區域的面積與第二圖像所有區域的總面積之比。
上述第二參數可以理解為：第四模型（用於對圖像進行去眩光處理）對第二圖像進行去眩光處理後，輸出的結果圖像與第二圖像對應的無眩光圖像之間的圖像差異。也即利用眩光去除能力相對穩定的第四模型作為基準，對不同的第二圖像進行去眩光處理，由於不同第二圖像內的眩光強度各不相同，因此第四模型將輸出不同處理效果的結果圖像，此時通過比較結果圖像與對應的無眩光圖像之間的圖像差異，即可間接確定每個第二圖像的眩光處理難度。需要指出的是，第二圖像中的眩光強度越高，則第二圖像的眩光處理難度也越高，因此，第四模型對第二圖像進行處理後輸出的圖像和第二圖像之間的差異也越大。
需要說明的是，第四模型的訓練過程與第一模型和第二模型的訓練過程類似，具體的訓練過程可以參見前述示例，為避免重複，便不再贅述。
在一示例中，上述圖像差異可以理解為差異區塊與結果圖像中包括的全部區塊之間的數量比，其中，差異區塊為結果圖像與第二圖像對應的無眩光圖像之間存在灰度不一致的區塊，例如，若結果圖像中座標為（1，1）的區塊的灰度值為0，而在第二圖像對應的無眩光圖像中座標為（1，1）的區塊的灰度值為255，則將結果圖像中座標為（1，1）的區塊確定為差異區塊。其中，灰度不一致的區塊可理解為：針對結果圖像、以及第二圖像對應的無眩光圖像，兩者在同一座標的不同區塊的灰度值之差大於或等於灰度閾值；該灰度閾值可基於實際需求進行適應性調整，本發明對灰度閾值的具體取值並不加以限定。
由於眩光在圖像中面積占比與圖像中眩光的處理難度呈正相關趨勢，以及神經網路模型（指第四模型）對圖像進行眩光處理的誤差（即損失值）與圖像中眩光的處理難度呈正相關趨勢，因此，可應用第一參數和第二參數來共同表徵第二圖像的眩光處理難度（也即第二眩光參數），以便利第三模型的特徵訓練，使得第三模型得以獲得較好的訓練效果。
示例性的，第二眩光參數的計算公式（1）可以為：
GlareStrength=a*R+b*L （1）
其中，GlareStrength為第二眩光參數，R為第一參數，L為第二參數，a為第一參數對應的權重參數，b為第二參數對應的權重參數。
可選的，該第二圖像為根據無眩光圖像和眩光圖像融合得到的圖像，該獲取第一訓練資料，包括：
確定該眩光圖像中目的地區域的面積，其中，該目的地區域為該眩光圖像中，像素大於第三閾值的像素點所形成的區域；
將該目的地區域的面積與該眩光圖像的面積的比值確定為該第一參數。
如上所述，相較於第二圖像來說，眩光圖像中的非眩光區域的多個區塊的像素特徵趨於一致，且與眩光區域的多個區塊的像素特徵存在顯著差異，因此，選用第二圖像對應的眩光圖像來計算第一參數，能在第一參數計算過程中，降低圖像中眩光區域和非眩光區域的區分難度，使所確定的第一參數的可靠性得到提高。
示例性的，第一參數的計算公式（2）可以為：
R=Sum（Mask
g）/S （2）
其中，R為第一參數，Sum（Mask
g）用於表徵眩光圖像中眩光區域的面積，S為眩光圖像的面積。
Mask
g可理解為眩光圖像中每一區塊對應的標識（眩光標識-1；非眩光標識-0），Mask
g的計算公式（3）如下所示：
（3）
其中，x為眩光圖像中每一區塊對應的灰度值，t為預設置的灰度閾值。
本發明實施例提供的圖像處理方法，執行主體可以為圖像處理裝置400。本發明實施例中以圖像處理裝置400執行圖像處理方法為例，說明本發明實施例提供的圖像處理裝置400。
如圖4所示，該圖像處理裝置400包括：
獲取模組401，用於獲取待處理資料，該待處理資料包括第一圖像和第一眩光參數，該第一眩光參數用於表徵該第一圖像的眩光強度；
圖像處理模組402，用於根據該第一眩光參數與目標閾值的對應關係，選擇第一模型或第二模型對該第一圖像進行眩光去除處理，獲得目標圖表像。
可選的，該目標閾值包括第一閾值和第二閾值，該圖像處理模組402包括圖像處理第一子模組和圖像處理第二子模組；
該圖像處理第一子模組用於：在該第一眩光參數大於或等於該第一閾值，且小於該第二閾值的情況下，根據該第一模型對該第一圖像進行眩光去除處理，獲得目標圖表像；
該圖像處理第二子模組用於：在該第一眩光參數大於或等於該第二閾值的情況下，根據該第二模型對該第一圖像進行眩光去除處理，獲得該目標圖表像；
其中，該第二模型的模型精度高於該第一模型的模型精度。
可選的，該獲取模組401包括：
識別子模組，用於根據第三模型對該第一圖像進行識別，得到該第一眩光參數；
該圖像處理裝置還包括：
訓練資料獲取模組，用於獲取第一訓練資料，該第一訓練資料包括第二圖像和第二眩光參數，該第二眩光參數用於表徵該第二圖像的眩光強度；
模型訓練模組，用於根據該第一訓練資料對預先構建的初始模型進行訓練，得到該第三模型。
可選的，該第二眩光參數為根據第一參數和第二參數進行加權計算得到的參數，其中，該第一參數用於表徵眩光在該第二圖像中的占比，該第二參數為根據第四模型對該第二圖像進行眩光去除的損失值。
可選的，該第二圖像為根據無眩光圖像和眩光圖像融合得到的圖像；
該訓練資料獲取模組包括區域面積確定子模組和參數確定子模組；
該區域面積確定子模組用於：確定該眩光圖像中目的地區域的面積，其中，該目的地區域為該眩光圖像中，像素大於第三閾值的像素點所形成的區域；
該參數確定子模組用於：將該目的地區域的面積與該眩光圖像的面積的比值確定為該第一參數。
該實施方式中，在對第一圖像進行去眩光處理之前，先獲取用於表徵第一圖像的眩光強度的第一眩光參數，再根據第一眩光參數與目標閾值的對應關係，確定第一圖像中眩光的眩光處理難度，並相應選擇匹配該眩光處理難度的第一模型或第二模型對該第一圖像進行眩光去除處理，使所獲得目標圖表像的眩光去除效果能維持較優水準，以滿足使用者對圖像成像品質的需求，並在一定程度上縮短用戶的等待時間，提升用戶的使用體驗。
本發明實施例中的圖像處理裝置400可以是電子設備，也可以是電子設備中的部件，例如積體電路或晶片。該電子設備可以是終端，也可以為除終端之外的其他設備。示例性的，電子設備可以為手機、平板電腦、筆記型電腦、掌上型電腦、車載電子設備、移動上網裝置（Mobile Internet Device，MID）、增強現實(augmented reality，AR)/虛擬實境(virtual reality，VR)設備、機器人、可穿戴設備、超級移動個人電腦（ultra-mobile personal computer，UMPC）、上網本或者個人數位助理（personal digital assistant，PDA）等，還可以為伺服器、網路附屬記憶體（Network Attached Storage，NAS）、個人電腦（personal computer，PC）、電視機（television，TV）、櫃員機或者自助機等，本發明實施例不作具體限定。
本發明實施例中的圖像處理裝置400可以為具有作業系統的裝置。該作業系統可以為安卓（Android）作業系統，可以為ios作業系統，還可以為其他可能的作業系統，本發明實施例不作具體限定。
本發明實施例提供的圖像處理裝置400能夠實現圖1至圖3的方法實施例實現的各個過程，為避免重複，這裡不再贅述。
可選地，如圖5所示，本發明實施例還提供一種電子設備500，包括處理器501和記憶體502，記憶體502上存儲有可在該處理器501上運行的程式或指令，該程式或指令被處理器501執行時實現上述圖像處理方法實施例的各個步驟，且能達到相同的技術效果，為避免重複，這裡不再贅述。
需要說明的是，本發明實施例中的電子設備包括上述所述的移動電子設備和非移動電子設備。
圖6為實現本發明實施例的一種電子設備的硬體結構示意圖。
該電子設備600包括但不限於：射頻單元601、網路模組602、音訊輸出單元603 、輸入單元604、感測器605、顯示單元606、使用者輸入單元607、介面單元608、記憶體609、以及處理器610等部件。
本領域技術人員可以理解，電子設備600還可以包括給各個部件供電的電源（比如電池），電源可以通過電源管理系統與處理器610邏輯相連，從而通過電源管理系統實現管理充電、放電、以及功耗管理等功能。圖6中示出的電子設備結構並不構成對電子設備的限定，電子設備可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件佈置，在此不再贅述。
其中，處理器610，用於獲取待處理資料，該待處理資料包括第一圖像和第一眩光參數，該第一眩光參數用於表徵該第一圖像的眩光強度；
處理器610，用於根據該第一眩光參數與目標閾值的對應關係，選擇第一模型或第二模型對該第一圖像進行眩光去除處理，獲得目標圖表像。
可選的，該目標閾值包括第一閾值和第二閾值；
處理器610，具體用於：
在該第一眩光參數大於或等於該第一閾值，且小於該第二閾值的情況下，根據該第一模型對該第一圖像進行眩光去除處理，獲得目標圖表像；
在該第一眩光參數大於或等於該第二閾值的情況下，根據該第二模型對該第一圖像進行眩光去除處理，獲得該目標圖表像；
其中，該第二模型的模型精度高於該第一模型的模型精度。
可選的，處理器610，具體用於：根據第三模型對該第一圖像進行識別，得到該第一眩光參數；
在根據第三模型對該第一圖像進行識別，得到該第一眩光參數之前，該處理器610還用於：
獲取第一訓練資料，該第一訓練資料包括第二圖像和第二眩光參數，該第二眩光參數用於表徵該第二圖像的眩光強度；
根據該第一訓練資料對預先構建的初始模型進行訓練，得到該第三模型.
可選的，該第二眩光參數為根據第一參數和第二參數進行加權計算得到的參數，其中，該第一參數用於表徵眩光在該第二圖像中的占比，該第二參數為根據第四模型對該第二圖像進行眩光去除的損失值。
可選的，該第二圖像為根據無眩光圖像和眩光圖像融合得到的圖像；
該處理器610具體用於：
確定該眩光圖像中目的地區域的面積，其中，該目的地區域為該眩光圖像中，像素大於第三閾值的像素點所形成的區域；
將該目的地區域的面積與該眩光圖像的面積的比值確定為該第一參數。
應理解的是，本發明實施例中，輸入單元604可以包括圖形處理器（Graphics Processing Unit，GPU）6041和麥克風6042，圖形處理器6041對在視頻捕獲模式或圖像捕獲模式中由圖像捕獲裝置（如攝像頭）獲得的靜態圖片或視頻的圖像資料進行處理。顯示單元606可包括顯示面板6061，可以採用液晶顯示器、有機發光二極體等形式來配置顯示面板6061。使用者輸入單元607包括觸控面板6071以及其他輸入裝置6072中的至少一種。觸控面板6071，也稱為觸控式螢幕。觸控面板6071可包括觸摸檢測裝置和觸摸控制器兩個部分。其他輸入裝置6072可以包括但不限於實體鍵盤、功能鍵（比如音量控制按鍵、開關按鍵等）、軌跡球、滑鼠、操作桿，在此不再贅述。
記憶體609可用於存儲軟體程式以及各種資料。記憶體609可主要包括存儲程式或指令的第一存儲區和存儲資料的第二存儲區，其中，第一存儲區可存儲作業系統、至少一個功能所需的應用程式或指令（比如聲音播放功能、圖像播放功能等）等。此外，記憶體609可以包括易失性記憶體或非易失性記憶體，或者，記憶體609可以包括易失性和非易失性記憶體兩者。其中，非易失性記憶體可以是唯讀記憶體(Read-Only Memory，ROM)、可程式設計唯讀記憶體(Programmable ROM，PROM)、可擦除可程式設計唯讀記憶體(Erasable PROM，EPROM)、電可擦除可程式設計唯讀記憶體(Electrically EPROM，EEPROM)或快閃記憶體。易失性記憶體可以是隨機存取記憶體(Random Access Memory，RAM)，靜態隨機存取記憶體(Static RAM，SRAM)、動態隨機存取記憶體(Dynamic RAM，DRAM)、同步動態隨機存取記憶體(Synchronous DRAM，SDRAM)、雙倍數據速率同步動態隨機存取記憶體(Double Data Rate SDRAM，DDRSDRAM)、增強型同步動態隨機存取記憶體(Enhanced SDRAM，ESDRAM)、同步連接動態隨機存取記憶體(Synch link DRAM，SLDRAM)和直接記憶體匯流排隨機存取記憶體(Direct Rambus RAM，DRRAM)。本發明實施例中的記憶體609包括但不限於這些和任意其它適合類型的記憶體。
處理器610可包括一個或多個處理單元；可選的，處理器610集成應用處理器和調制解調處理器，其中，應用處理器主要處理涉及作業系統、使用者介面和應用程式等的操作，調制解調處理器主要處理無線通訊信號，如基帶處理器。可以理解的是，上述調制解調處理器也可以不集成到處理器610中。
本發明實施例還提供一種可讀存儲介質，該可讀存儲介質上存儲有程式或指令，該程式或指令被處理器執行時實現上述圖像處理方法實施例的各個過程，且能達到相同的技術效果，為避免重複，這裡不再贅述。
其中，該處理器為上述實施例中所述的電子設備中的處理器。該可讀存儲介質，包括電腦可讀存儲介質，如電腦唯讀記憶體ROM、隨機存取記憶體RAM、磁碟或者光碟等。
本發明實施例另提供了一種晶片，該晶片包括處理器和通信介面，該通信介面和該處理器耦合，該處理器用於運行程式或指令，實現上述圖像處理方法實施例的各個過程，且能達到相同的技術效果，為避免重複，這裡不再贅述。
應理解，本發明實施例提到的晶片還可以稱為系統級晶片、系統晶片、晶片系統或片上系統晶片等。
本發明實施例提供一種電腦程式產品，該程式產品被存儲在存儲介質中，該程式產品被至少一個處理器執行以實現如上述圖像處理方法實施例的各個過程，且能達到相同的技術效果，為避免重複，這裡不再贅述。
需要說明的是，在本文中，術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下，由語句「包括一個……」限定的要素，並不排除在包括所述要素的過程、方法、物品或者裝置中還存在另外的相同要素。此外，需要指出的是，本發明實施方式中的方法和裝置的範圍不限按示出或討論的順序來執行功能，還可包括根據所涉及的功能按基本同時的方式或按相反的順序來執行功能，例如，可以按不同於所描述的次序來執行所描述的方法，並且還可以添加、省去、或組合各種步驟。另外，參照某些示例所描述的特徵可在其他示例中被組合。
通過以上的實施方式的描述，本領域的技術人員可以清楚地瞭解到上述實施例方法可借助軟體加必需的通用硬體平臺的方式來實現，當然也可以通過硬體，但很多情況下前者是更佳的實施方式。根據這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分可以以電腦軟體產品的形式體現出來，該電腦軟體產品存儲在一個存儲介質（如ROM/RAM、磁碟、光碟）中，包括若干指令用以使得一台終端（可以是手機，電腦，伺服器，或者網路設備等）執行本發明各個實施例所述的方法。
上面結合附圖對本發明的實施例進行了描述，但是本發明並不局限於上述的具體實施方式，上述的具體實施方式僅僅是示意性的，而不是限制性的，本領域的普通技術人員在本發明的啟示下，在不脫離本發明宗旨和申請專利範圍所保護的範圍情況下，還可做出很多形式，均屬於本發明的保護之內。
101~102:步驟
400:處理裝置
401:獲取模組
402:圖像處理模組
500:電子設備
501:處理器
502:記憶體
600:電子設備
601:射頻單元
602:網路模組
603:音訊輸出單元
604:輸入單元
6041:圖形處理器
6042:麥克風
605:感測器
606:顯示單元
6061:顯示面板
607:使用者輸入單元
6071:觸控面板
6072:其他輸入裝置
608:介面單元
609:記憶體
610:處理器
圖1是本發明實施例提供的一種圖像處理方法的流程示意圖；
圖2是本發明實施例提供的一種樣本圖像的示意圖；
圖3是本發明實施例提供的一種去眩光處理的流程示意圖；
圖4是本發明實施例提供的一種圖像處理裝置的結構示意圖；
圖5是本發明實施例提供的一種電子設備的示意圖；
圖6是本發明實施例提供的另一種電子設備的硬體結構示意圖。
101~102:步驟
Claims (8)
- 一種圖像處理方法，其特徵在於，包括：獲取待處理資料，該待處理資料包括第一圖像和第一眩光參數，該第一眩光參數用於表徵該第一圖像的眩光強度；根據該第一眩光參數與目標閾值的對應關係，選擇第一模型或第二模型對該第一圖像進行眩光去除處理，獲得目標圖表像；其中，該目標閾值包括第一閾值和第二閾值；該根據該第一眩光參數與目標閾值的對應關係，選擇第一模型或第二模型對該第一圖像進行眩光去除處理，獲得目標圖表像，包括：在該第一眩光參數大於或等於該第一閾值，且小於該第二閾值的情況下，根據該第一模型對該第一圖像進行眩光去除處理，獲得目標圖表像；在該第一眩光參數大於或等於該第二閾值的情況下，根據該第二模型對該第一圖像進行眩光去除處理，獲得該目標圖表像；其中，該第二模型的模型精度高於該第一模型的模型精度。
- 如請求項1所述的圖像處理方法，其中，該獲取待處理資料，包括：根據第三模型對該第一圖像進行識別，得到該第一眩光參數；在根據第三模型對該第一圖像進行識別，得到該第一眩光參數之前，該方法還包括：獲取第一訓練資料，該第一訓練資料包括第二圖像和第二眩光參數，該第二眩光參數用於表徵該第二圖像的眩光強度；根據該第一訓練資料對預先構建的初始模型進行訓練，得到該第三模型。
- 如請求項2所述的圖像處理方法，其中，該第二眩光參數為根據第一參數和第二參數進行加權計算得到的參數，其中，該第一參數用於表徵眩光在該第二圖像中的占比，該第二參數為根據第四模型對該第二圖像進行眩光去除的損失值。
- 如請求項3所述的圖像處理方法，其中，該第二圖像為根據無眩光圖像和眩光圖像融合得到的圖像；該獲取第一訓練資料，包括：確定該眩光圖像中目的地區域的面積，其中，該目的地區域為該眩光圖像中，像素大於第三閾值的像素點所形成的區域；將該目的地區域的面積與該眩光圖像的面積的比值確定為該第一參數。
- 一種圖像處理裝置，其特徵在於，包括：獲取模組，用於獲取待處理資料，該待處理資料包括第一圖像和第一眩光參數，該第一眩光參數用於表徵該第一圖像的眩光強度；圖像處理模組，用於根據該第一眩光參數與目標閾值的對應關係，選擇第一模型或第二模型對該第一圖像進行眩光去除處理，獲得目標圖表像；其中，該目標閾值包括第一閾值和第二閾值，該圖像處理模組包括圖像處理第一子模組和圖像處理第二子模組；該圖像處理第一子模組用於：在該第一眩光參數大於或等於該第一閾值，且小於該第二閾值的情況下，根據該第一模型對該第一圖像進行眩光去除處理，獲得目標圖表像；該圖像處理第二子模組用於：在該第一眩光參數大於或等於該第二閾值的情況下，根據該第二模型對該第一圖像進行眩光去除處理，獲得該目標圖表像； 其中，該第二模型的模型精度高於該第一模型的模型精度。
- 如請求項5所述的圖像處理裝置，其中，該獲取模組包括：識別子模組，用於根據第三模型對該第一圖像進行識別，得到該第一眩光參數；該圖像處理裝置還包括：訓練資料獲取模組，用於獲取第一訓練資料，該第一訓練資料包括第二圖像和第二眩光參數，該第二眩光參數用於表徵該第二圖像的眩光強度；模型訓練模組，用於根據該第一訓練資料對預先構建的初始模型進行訓練，得到該第三模型。
- 如請求項6所述的圖像處理裝置，其中，該第二眩光參數為根據第一參數和第二參數進行加權計算得到的參數，其中，該第一參數用於表徵眩光在該第二圖像中的占比，該第二參數為根據第四模型對該第二圖像進行眩光去除的損失值。
- 如請求項7所述的圖像處理裝置，其中，該第二圖像為根據無眩光圖像和眩光圖像融合得到的圖像；該訓練資料獲取模組包括區域面積確定子模組和參數確定子模組；該區域面積確定子模組用於：確定該眩光圖像中目的地區域的面積，其中，該目的地區域為該眩光圖像中，像素大於第三閾值的像素點所形成的區域；該參數確定子模組用於：將該目的地區域的面積與該眩光圖像的面積的比值確定為該第一參數。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111133136A TWI820889B (zh) | 2022-09-01 | 2022-09-01 | 圖像處理方法及其裝置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111133136A TWI820889B (zh) | 2022-09-01 | 2022-09-01 | 圖像處理方法及其裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI820889B true TWI820889B (zh) | 2023-11-01 |
| TW202411934A TW202411934A (zh) | 2024-03-16 |
Family
ID=89722291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111133136A TWI820889B (zh) | 2022-09-01 | 2022-09-01 | 圖像處理方法及其裝置 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI820889B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170039684A1 (en) * | 2008-12-09 | 2017-02-09 | Abbyy Development Llc | Detecting glare in a frame of image data |
| CN210244031U (zh) * | 2018-10-09 | 2020-04-03 | 先进光电科技股份有限公司 | 防眩光显示系统及成像系统 |
| CN111178118A (zh) * | 2018-11-13 | 2020-05-19 | 浙江宇视科技有限公司 | 图像采集处理方法、装置及计算机可读存储介质 |
| TW202135005A (zh) * | 2020-03-04 | 2021-09-16 | 大陸商深圳市商湯科技有限公司 | 去除圖像中的反光的方法、電子設備和電腦可讀儲存媒體 |
| CN113507558A (zh) * | 2020-03-24 | 2021-10-15 | 华为技术有限公司 | 去除图像眩光的方法、装置、终端设备和存储介质 |
| CN114616587A (zh) * | 2020-09-28 | 2022-06-10 | 谷歌有限责任公司 | 基于学习的镜头眩光移除 |
-
2022
- 2022-09-01 TW TW111133136A patent/TWI820889B/zh active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170039684A1 (en) * | 2008-12-09 | 2017-02-09 | Abbyy Development Llc | Detecting glare in a frame of image data |
| CN210244031U (zh) * | 2018-10-09 | 2020-04-03 | 先进光电科技股份有限公司 | 防眩光显示系统及成像系统 |
| CN111178118A (zh) * | 2018-11-13 | 2020-05-19 | 浙江宇视科技有限公司 | 图像采集处理方法、装置及计算机可读存储介质 |
| TW202135005A (zh) * | 2020-03-04 | 2021-09-16 | 大陸商深圳市商湯科技有限公司 | 去除圖像中的反光的方法、電子設備和電腦可讀儲存媒體 |
| CN113507558A (zh) * | 2020-03-24 | 2021-10-15 | 华为技术有限公司 | 去除图像眩光的方法、装置、终端设备和存储介质 |
| CN114616587A (zh) * | 2020-09-28 | 2022-06-10 | 谷歌有限责任公司 | 基于学习的镜头眩光移除 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202411934A (zh) | 2024-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020056903A1 (zh) | 用于生成信息的方法和装置 | |
| CN106249508B (zh) | 自动对焦方法和系统、拍摄装置 | |
| US9721387B2 (en) | Systems and methods for implementing augmented reality | |
| US9799099B2 (en) | Systems and methods for automatic image editing | |
| US11301669B2 (en) | Face recognition system and method for enhancing face recognition | |
| CN108717701B (zh) | 一种制作影片残影特效的方法、装置、电子设备及介质 | |
| TWI803243B (zh) | 圖像擴增方法、電腦設備及儲存介質 | |
| CN112732553B (zh) | 图像测试方法、装置、电子设备及存储介质 | |
| CN111984803B (zh) | 多媒体资源处理方法、装置、计算机设备及存储介质 | |
| WO2019179242A1 (en) | Image processing method and electronic device | |
| US20230139994A1 (en) | Method for recognizing dynamic gesture, device, and storage medium | |
| CN108920368A (zh) | 数据测试的方法、装置及电子设备 | |
| CN114390201A (zh) | 对焦方法及其装置 | |
| CN112712571B (zh) | 基于视频的物体平面贴图方法、装置以及设备 | |
| TWI820889B (zh) | 圖像處理方法及其裝置 | |
| CN116506732A (zh) | 一种图像抓拍防抖的方法、装置、系统和计算机设备 | |
| CN111917986A (zh) | 图像处理方法及其介质和电子设备 | |
| WO2023036274A1 (zh) | 视频处理方法、装置、电子设备、介质及程序产品 | |
| US7620215B2 (en) | Applying localized image effects of varying intensity | |
| KR102215289B1 (ko) | 비디오 인페인팅 동작 방법 및 이를 수행하는 장치 | |
| CN113066024A (zh) | 图像模糊检测模型的训练方法、图像模糊检测方法及装置 | |
| JP2021092918A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 | |
| WO2022152002A1 (zh) | 图像画质的调试方法、装置、系统及电子设备 | |
| CN118071941B (zh) | 三维扫描方法、装置、设备及存储介质 | |
| US11776141B1 (en) | Hybrid image registration techniques |