TWI759668B - 視頻圖像處理方法、電子設備和電腦可讀儲存介質 - Google Patents

視頻圖像處理方法、電子設備和電腦可讀儲存介質 Download PDF

Info

Publication number
TWI759668B
TWI759668B TW108145856A TW108145856A TWI759668B TW I759668 B TWI759668 B TW I759668B TW 108145856 A TW108145856 A TW 108145856A TW 108145856 A TW108145856 A TW 108145856A TW I759668 B TWI759668 B TW I759668B
Authority
TW
Taiwan
Prior art keywords
image
frame
convolution
deblurring
processing
Prior art date
Application number
TW108145856A
Other languages
English (en)
Other versions
TW202040986A (zh
Inventor
周尚辰
張佳維
任思捷
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202040986A publication Critical patent/TW202040986A/zh
Application granted granted Critical
Publication of TWI759668B publication Critical patent/TWI759668B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Abstract

本申請實施例公開了一種視頻圖像處理方法及裝置。該方法包括：獲取多幀連續視頻圖像，其中，所述多幀連續視頻圖像包括第N幀圖像、第N-1幀圖像以及第N-1幀去模糊處理後的圖像，所述N為正整數；基於所述第N幀圖像、所述第N-1幀圖像以及所述第N-1幀去模糊處理後的圖像，得到所述第N幀圖像的去模糊卷積核；通過所述去模糊卷積核對所述第N幀圖像進行去模糊處理，得到第N幀去模糊處理後的圖像。

Description

視頻圖像處理方法、電子設備和電腦可 讀儲存介質
本申請關於圖像處理技術領域，尤其關於一種視頻圖像處理方法及裝置。
隨著手持相機和機載相機應用的日益普及，越來越多的人們通過相機拍攝視頻，並可基於拍攝的視頻進行處理，如無人機和自動駕駛汽車可基於拍攝的視頻實現追蹤、避障等功能。
由於相機晃動、失焦、拍攝物件高速運動等原因，拍攝的視頻易產生模糊，如機器人行動時，由於相機抖動或拍攝物件的運動產生的模糊，這往往將導致拍攝失敗或者無法基於視頻進行進下一步處理。傳統方法通過光流或神經網路可去除視頻圖像中的模糊，但去模糊效果均較差。
本申請實施例提供一種視頻圖像處理方法及裝置。
第一方面，本申請實施例提供了一種視頻圖像處理方法，包括：獲取多幀連續視頻圖像，其中，所述多幀連續視頻圖像包括第N幀圖像、第N-1幀圖像以及第N-1幀去模糊處理後的圖像，所述N為正整數；基於所述第N幀圖像、所述第N-1幀圖像以及所述第N-1幀去模糊處理後的圖像，得到所述第N幀圖像的去模糊卷積核；通過所述去模糊卷積核對所述第N幀圖像進行去模糊處理，得到第N幀去模糊處理後的圖像。
通過第一方面提供的技術方案，可得到視頻圖像中第N幀圖像的去模糊卷積核，再通過第N幀圖像的去模糊卷積核對第N幀圖像進行卷積處理，可有效地去除第N幀圖像中的模糊，得到第N幀去模糊處理後的圖像。
在一種可能實現的方式中，所述基於所述第N幀圖像、所述第N-1幀圖像以及所述第N-1幀去模糊處理後的圖像，得到所述第N幀圖像的去模糊卷積核，包括：對待處理圖像的像素點進行卷積處理，得到去模糊卷積核，其中，所述待處理圖像由所述第N幀圖像、所述第N-1幀圖像以及所述第N-1幀去模糊處理後的圖像在通道維度上進行疊加得到。
在該種可能實現的方式中，基於第N-1幀圖像的像素點以及第N-1幀去模糊處理後的圖像的像素點之間的去模糊資訊，得到像素點的去模糊卷積核，並用該去模糊卷積核對第N幀圖像中對應的像素點進行去卷積處理，以去除第N幀圖像中像素點的模糊；通過為第N幀圖像中的每個 像素點分別生成一個去模糊卷積核，可去除對第N幀圖像(非均勻模糊圖像)中的模糊，去模糊處理後的圖像清晰、自然。
在另一種可能實現的方式中，所述對待處理圖像的像素點進行卷積處理，得到去模糊卷積核，包括：對所述待處理圖像進行卷積處理，以提取所述第N-1幀圖像的像素點相對於所述第N幀圖像的像素點的運動資訊，得到對齊卷積核，其中，所述運動資訊包括速度和方向；對所述對齊卷積核進行編碼處理，得到所述去模糊卷積核。
在該種可能實現的方式中，基於第N-1幀圖像的像素點以及第N幀圖像的像素點之間的運動資訊，得到像素點的對齊卷積核，後續可通過該對齊核進行對齊處理。再通過對對齊核進行卷積處理，提取出第N-1幀圖像的像素點與第N-1幀去模糊處理後的圖像的像素點之間的去模糊資訊，得到去模糊核，可使去模糊核既包含第N-1幀圖像的像素點與第N-1幀去模糊處理後的圖像的像素點之間的去模糊資訊，又包含了第N-1幀圖像的像素點與第N幀圖像的像素點之間的運動資訊，有利於提升去除第N幀圖像的模糊的效果。
在又一種可能實現的方式中，所述通過所述去模糊卷積核對所述第N幀圖像進行去模糊處理，得到第N幀去模糊處理後的圖像，包括：通過所述去模糊卷積核對所述第N幀圖像的特徵圖像的像素點進行卷積處理，得到第一特 徵圖像；對所述第一特徵圖像進行解碼處理，得到所述第N幀去模糊處理後的圖像。
在該種可能實現的方式中，通過去模糊卷積核對第N幀圖像的特徵圖像進行去模糊處理，可減小去模糊過程的資料處理量，提高處理速度快。
在又一種可能實現的方式中，所述通過所述去模糊卷積核對所述第N幀圖像的特徵圖像的像素點進行卷積處理，得到第一特徵圖像，包括：調整所述去模糊卷積核的維度，使所述去模糊卷積核的通道數與所述第N幀圖像的特徵圖像的通道數相同；通過調整維度後的所述去模糊卷積核對所述第N幀圖像的特徵圖像的像素點進行卷積處理，得到所述第一特徵圖像。
在該種可能實現的方式中，通過調整去模糊卷積核的維度，使去模糊卷積核的維度與第N幀圖像的特徵圖像的維度相同，進而實現通過調整維度去模糊卷積核對第N幀圖像的特徵圖像進行卷積處理。
在又一種可能實現的方式中，所述對所述待處理圖像進行卷積處理，以提取所述第N-1幀圖像的像素點相對於所述第N幀圖像的像素點的運動資訊，得到對齊卷積核之後，還包括：通過所述對齊卷積核對所述第N-1幀去模糊處理後的圖像的特徵圖像的像素點進行卷積處理，得到第二特徵圖像。
在該種可能實現的方式中，通過對齊卷積核對第N-1幀圖像的特徵圖像的像素點進行卷積處理，實現將第N-1幀圖像的特徵圖像向第N幀時刻對齊。
在又一種可能實現的方式中，所述通過所述對齊卷積核對所述第N-1幀去模糊處理後的圖像的特徵圖像的像素點進行卷積處理，得到第二特徵圖像，包括：調整所述對齊卷積核的維度，使所述對齊卷積核的通道數與所述第N-1幀圖像的特徵圖像的通道數相同；通過調整維度後的所述對齊卷積核對所述第N-1幀去模糊處理後的圖像的特徵圖像的像素點進行卷積處理，得到所述第二特徵圖像。
在該種可能實現的方式中，通過調整去對齊卷積核的維度，使去對齊卷積核的維度與第N-1幀圖像的特徵圖像的維度相同，進而實現通過調整維度對齊卷積核對第N-1幀圖像的特徵圖像進行卷積處理。
在又一種可能實現的方式中，所述對所述第一特徵圖像進行解碼處理，得到所述第N幀去模糊處理後的圖像，包括：對所述第一特徵圖像和所述第二特徵圖像進行融合處理，得到第三特徵圖像；對所述第三特徵圖像進行解碼處理，得到所述第N幀去模糊處理後的圖像。
在該種可能實現的方式中，通過將第一特徵圖像和第二特徵圖像進行融合，提升對第N幀圖像的去模糊的效果，再對融合後的第三特徵圖像進行解碼處理得到第N幀去模糊處理後的圖像。
在又一種可能實現的方式中，所述對所述待處理圖像進行卷積處理，以提取所述第N-1幀圖像的像素點相對於所述第N幀圖像的像素點的運動資訊，得到對齊卷積核，包括：對所述第N幀圖像、所述第N-1幀圖像以及所述第N-1幀去模糊處理後的圖像在通道維度上進行疊加處理，得到所述待處理圖像；對所述待處理圖像進行編碼處理，得到第四特徵圖像；對所述第四特徵圖像進行卷積處理，得到第五特徵圖像；通過卷積處理將所述第五特徵圖像的通道數調整至第一預設值，得到所述對齊卷積核。
在該種可能實現的方式中，通過對待處理圖像進行卷積處理，提取第N-1幀圖像的像素點相對於第N幀圖像的像素點的運動資訊，為方便後續處理再通過卷積處理將第五特徵圖像的通道數調整至第一預設值。
在又一種可能實現的方式中，所述對齊卷積核進行編碼處理，得到所述去模糊卷積核，包括：通過卷積處理將所述對齊卷積核的通道數調整至第二預設值，得到第六特徵圖像；對所述第四特徵圖像和所述第六特徵圖像進行融合處理，得到第七特徵圖像；對所述第七特徵圖像進行卷積處理，以提取所述第N-1幀去模糊處理後的圖像的像素點相對於所述第N-1幀圖像的像素點的去模糊資訊，得到所述去模糊卷積核。
在該種可能實現的方式中，通過對對齊卷積核進行卷積處理得到去模糊卷積核，可使去模糊卷積核不僅包含第N-1幀圖像的像素點相對於第N幀圖像的像素點的運動 資訊，還包含第N-1幀去模糊處理後的圖像的像素點相對於第N-1幀圖像的像素點的去模糊資訊，提高後續通過去模糊卷積核去除第N幀圖像的模糊的效果。
在又一種可能實現的方式中，所述對所述第七特徵圖像進行卷積處理，以提取所述第N-1幀去模糊處理後的圖像相對於所述第N-1幀圖像的像素點的去模糊資訊，得到所述去模糊卷積核，包括：對所述第七特徵圖像進行卷積處理，得到第八特徵圖像；通過卷積處理將所述第八特徵圖像的通道數調整至所述第一預設值，得到所述去模糊卷積核。
在該種可能實現的方式中，通過對第七特徵圖像進行卷積處理，提取第N-1幀圖像的像素點相對於第N-1幀去模糊處理後的圖像的像素點的運動資訊，為方便後續處理再通過卷積處理將第八特徵圖像的通道數調整至第一預設值。
在又一種可能實現的方式中，所述對所述第三特徵圖像進行解碼處理，得到所述第N幀去模糊處理後的圖像，包括：對所述第三特徵圖像進行解卷積處理，得到第九特徵圖像；對所述第九特徵圖像進行卷積處理，得到第N幀解碼處理後的圖像；將所述第N幀圖像的第一像素點的像素值與所述第N幀解碼處理後的圖像的第二像素點的像素值相加，得到所述第N幀去模糊處理後的圖像，其中，所述第一像素點在所述第N幀圖像中的位置與所述第二像素點在所述第N幀解碼處理後的圖像中的位置相同。
在該種可能實現的方式中，通過解卷積處理和卷積處理實現對第三特徵圖像的解碼處理，得到第N幀解碼處理後的圖像，再通過將第N幀圖像與第N幀解碼處理後的圖像中對應的像素點的像素值相加，得到所述第N幀去模糊處理後的圖像，進一步提高去模糊的效果。
第二方面，本申請實施例還提供了一種視頻圖像處理裝置，包括：獲取單元，配置為獲取多幀連續視頻圖像，其中，所述多幀連續視頻圖像包括第N幀圖像、第N-1幀圖像以及第N-1幀去模糊處理後的圖像，所述N為正整數；第一處理單元，配置為基於所述第N幀圖像、所述第N-1幀圖像以及所述第N-1幀去模糊處理後的圖像，得到所述第N幀圖像的去模糊卷積核；第二處理單元，配置為通過所述去模糊卷積核對所述第N幀圖像進行去模糊處理，得到第N幀去模糊處理後的圖像。
在一種可能實現的方式中，所述第一處理單元包括：第一卷積處理子單元，配置為對待處理圖像的像素點進行卷積處理，得到去模糊卷積核，其中，所述待處理圖像由所述第N幀圖像、所述第N-1幀圖像以及所述第N-1幀去模糊處理後的圖像在通道維度上進行疊加得到。
在另一種可能實現的方式中，所述第一卷積處理子單元配置為：對所述待處理圖像進行卷積處理，以提取所述第N-1幀圖像的像素點相對於所述第N幀圖像的像素點的運動資訊，得到對齊卷積核，其中，所述運動資訊包括速 度和方向；以及對所述對齊卷積核進行編碼處理，得到所述去模糊卷積核。
在又一種可能實現的方式中，所述第二處理單元包括：第二卷積處理子單元，配置為通過所述去模糊卷積核對所述第N幀圖像的特徵圖像的像素點進行卷積處理，得到第一特徵圖像；解碼處理子單元，配置為對所述第一特徵圖像進行解碼處理，得到所述第N幀去模糊處理後的圖像。
在又一種可能實現的方式中，所述第二卷積處理子單元配置為：調整所述去模糊卷積核的維度，使所述去模糊卷積核的通道數與所述第N幀圖像的特徵圖像的通道數相同；以及通過調整維度後的所述去模糊卷積核對所述第N幀圖像的特徵圖像的像素點進行卷積處理，得到所述第一特徵圖像。
在又一種可能實現的方式中，所述第一卷積處理子單元還配置為：在所述對所述待處理圖像進行卷積處理，以提取所述第N-1幀圖像的像素點相對於所述第N幀圖像的像素點的運動資訊，得到對齊卷積核之後，通過所述對齊卷積核對所述第N-1幀去模糊處理後的圖像的特徵圖像的像素點進行卷積處理，得到第二特徵圖像。
在又一種可能實現的方式中，所述第一卷積處理子單元還配置為：調整所述對齊卷積核的維度，使所述對齊卷積核的通道數與所述第N-1幀圖像的特徵圖像的通道數相同；以及通過調整維度後的所述對齊卷積核對所述第 N-1幀去模糊處理後的圖像的特徵圖像的像素點進行卷積處理，得到所述第二特徵圖像。
在又一種可能實現的方式中，所述第二處理單元配置為：對所述第一特徵圖像和所述第二特徵圖像進行融合處理，得到第三特徵圖像；以及對所述第三特徵圖像進行解碼處理，得到所述第N幀去模糊處理後的圖像。
在又一種可能實現的方式中，所述第一卷積處理子單元還配置為：對所述第N幀圖像、所述第N-1幀圖像以及所述第N-1幀去模糊處理後的圖像在通道維度上進行疊加處理，得到所述待處理圖像；以及對所述待處理圖像進行編碼處理，得到第四特徵圖像；以及對所述第四特徵圖像進行卷積處理，得到第五特徵圖像；以及通過卷積處理將所述第五特徵圖像的通道數調整至第一預設值，得到所述對齊卷積核。
在又一種可能實現的方式中，所述第一卷積處理子單元還配置為：通過卷積處理將所述對齊卷積核的通道數調整至第二預設值，得到第六特徵圖像；以及對所述第四特徵圖像和所述第六特徵圖像進行融合處理，得到第七特徵圖像；以及對所述第七特徵圖像進行卷積處理，以提取所述第N-1幀去模糊處理後的圖像的像素點相對於所述第N-1幀圖像的像素點的去模糊資訊，得到所述去模糊卷積核。
在又一種可能實現的方式中，所述第一卷積處理子單元還配置為：對所述第七特徵圖像進行卷積處理，得 到第八特徵圖像；以及通過卷積處理將所述第八特徵圖像的通道數調整至所述第一預設值，得到所述去模糊卷積核。
在又一種可能實現的方式中，所述第二處理單元還配置為：對所述第三特徵圖像進行解卷積處理，得到第九特徵圖像；以及對所述第九特徵圖像進行卷積處理，得到第N幀解碼處理後的圖像；以及將所述第N幀圖像的第一像素點的像素值與所述第N幀解碼處理後的圖像的第二像素點的像素值相加，得到所述第N幀去模糊處理後的圖像，其中，所述第一像素點在所述第N幀圖像中的位置與所述第二像素點在所述第N幀解碼處理後的圖像中的位置相同。
第三方面，本申請實施例還提供了一種處理器，所述處理器用於執行上述第一方面及其任一種可能的實現方式的方法。
第四方面，本申請實施例還提供了一種電子設備，包括：處理器、輸入裝置、輸出裝置和記憶體，所述處理器、輸入裝置、輸出裝置和記憶體相互連接，所述記憶體中儲存有程式指令；所述程式指令被所述處理器執行時，使所述處理器執行上述第一方面及其任一種可能的實現方式的方法。
第五方面，本申請實施例還提供了一種電腦可讀儲存介質，所述電腦可讀儲存介質中儲存有電腦程式，所述電腦程式包括程式指令，所述程式指令當被電子設備的處理器執行時，使所述處理器執行上述第一方面及其任一種可能的實現方式的方法。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本公開實施例。
1:視頻圖像處理裝置
11:獲取單元
12:第一處理單元
121:第一卷積處理子單元
13:第二處理單元
131:第二卷積處理子單元
132:解碼處理子單元
2:電子設備
21:處理器
22:記憶體
23:攝影頭
為了更清楚地說明本申請實施例或背景技術中的技術方案，下面將對本申請實施例或背景技術中所需要使用的附圖進行說明。
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本公開的實施例，並與說明書一起用於說明本公開的技術方案。
圖1為本申請實施例提供的不同圖像中對應的像素點的示意圖；圖2為本申請實施例提供的一張非均勻模糊圖像；圖3為本申請實施例提供的一種視頻圖像處理方法的流程示意圖；圖4為本申請實施例的視頻圖像處理方法中的去模糊處理的流程示意圖；圖5為本申請實施例提供的另一種視頻圖像處理方法的流程示意圖；圖6為本申請實施例提供的一種獲得去模糊卷積核以及對齊卷積核的流程示意圖；圖7為本申請實施例提供的一種編碼模組示意圖； 圖8為本申請實施例提供的一種對齊卷積核生成模組示意圖；圖9為本申請實施例提供的一種去模糊卷積核生成模組示意圖；圖10為本申請實施例提供的另一種視頻圖像處理方法的流程示意圖；圖11為本申請實施例提供的一種自我調整卷積處理模組示意圖；圖12為本申請實施例提供的一種解碼模組示意圖；圖13為本申請實施例提供的一種視頻圖像去模糊神經網路的結構示意圖；圖14為本申請實施例提供的一種對齊卷積核以及去模糊卷積核生成模組的結構示意圖；圖15為本申請實施例提供的一種視頻圖像處理裝置的結構示意圖；圖16為本申請實施例提供的一種電子設備的硬體結構示意圖。
為了使本技術領域的人員更好地理解本申請方案，下面將結合本申請實施例中的附圖，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做出創造性勞 動前提下所獲得的所有其他實施例，都屬於本申請保護的範圍。
本申請的說明書和申請專利範圍及上述附圖中的術語“第一”、“第二”等是用於區別不同物件，而不是用於描述特定順序。此外，術語“包括”和“具有”以及它們任何變形，意圖在於覆蓋不排他的包含。例如包含了一系列步驟或單元的過程、方法、系統、產品或設備沒有限定於已列出的步驟或單元，而是可選地還包括沒有列出的步驟或單元，或可選地還包括對於這些過程、方法、產品或設備固有的其他步驟或單元。
在本文中提及“實施例”意味著，結合實施例描述的特定特徵、結構或特性可以包含在本申請的至少一個實施例中。在說明書中的各個位置出現該短語並不一定均是指相同的實施例，也不是與其它實施例互斥的獨立的或備選的實施例。本領域技術人員顯式地和隱式地理解的是，本文所描述的實施例可以與其它實施例相結合。
本申請實施例中，將大量出現“對應”這個詞，其中，兩張圖像中對應的像素點指兩張圖像中相同位置的兩個像素點。舉例來說，如圖1所示，圖像A中的像素點a與圖像B中的像素點d對應，圖像A中的像素點b與圖像B中的像素點c對應。需要理解的是，多張圖像中對應的像素點與兩張圖像中對應的像素點的意義相同。
下文中出現的非均勻模糊圖像指圖像內不同像素點的模糊程度不一樣，即不同像素點的運動軌跡不同。例 如：如圖2所示，左上角區域的指示牌上的字體的模糊程度要比右下角的汽車的模糊程度大，即這兩個區域的模糊程度不一致。應用本申請實施例可去除非均勻模糊圖像中的模糊，下面結合本申請實施例中的附圖對本申請實施例進行描述。
請參閱圖3，圖3是本申請實施例提供的一種視頻圖像處理的方法的流程示意圖，如圖3所示，所述方法包括如下。
301、獲取多幀連續視頻圖像，其中，所述多幀連續視頻圖像包括第N幀圖像、第N-1幀圖像以及第N-1幀去模糊處理後的圖像，所述N為正整數。
本申請實施例中，可通過攝影頭拍攝視頻獲得多幀連續視頻圖像。上述第N幀圖像、第N-1幀圖像為多幀連續視頻圖像中相鄰的兩幀圖像，且第N幀圖像為第N-1幀圖像的後一幀圖像，第N幀圖像為當前準備處理(即應用本申請提供的實施方式進行去模糊處理)的一幀圖像。第N-1幀去模糊處理後的圖像即為對第N-1幀圖像進行去模糊處理後得到的圖像。
需要理解的是，本申請實施例對視頻圖像去模糊是一個遞迴的過程，即，第N-1幀去模糊處理後的圖像將作為第N幀圖像去模糊處理過程的輸入圖像，同理，第N幀去模糊處理後的圖像將作為第N+1幀圖像去模糊處理過程的輸入圖像。
可選地，若N為1，即當前去模糊處理的物件為視頻中的第一幀。此時，第N-1幀圖像以及第N-1幀去模糊處理後的圖像均為第N幀，即獲取3張第1幀圖像。
本申請實施例中，將視頻中的每一幀圖像按拍攝的時間順序排列得到的序列稱為視頻幀序列。將去模糊處理後得到的圖像稱為去模糊處理後的圖像。
本申請實施例按視頻幀序列對視頻圖像進行去模糊處理，每一次只對一幀圖像進行去模糊處理。
可選地，視頻圖像以及去模糊處理後的圖像可儲存於電子設備的儲存器中。其中，視頻指視頻流，即按視頻幀序列的順序將視頻圖像儲存於電子設備的記憶體中。因此，電子設備可直接從記憶體中獲取第N幀圖像、第N-1幀圖像以及第N-1幀去模糊處理後的圖像。
需要理解的是，本申請實施例中提到的視頻圖像可以是經電子設備的攝影頭即時拍攝得到的視頻，也可以是儲存於電子設備的記憶體內的視頻圖像。
302、基於所述第N幀圖像、所述第N-1幀圖像以及所述第N-1幀去模糊處理後的圖像，得到所述第N幀圖像的去模糊卷積核。
在本申請的一種可選實施例中，所述基於所述第N幀圖像、所述第N-1幀圖像以及所述第N-1幀去模糊處理後的圖像，得到所述第N幀圖像的去模糊卷積核，包括：對待處理圖像的像素點進行卷積處理，得到去模糊卷積核，其中，所述待處理圖像由所述第N幀圖像、所述第N-1幀圖 像以及所述第N-1幀去模糊處理後的圖像在通道維度上進行疊加得到。
本實施例中，將第N幀圖像、第N-1幀圖像以及第N-1幀去模糊處理後的圖像在通道維度上進行疊加，得到待處理圖像。舉例來說(例1)，假設第N幀圖像、第N-1幀圖像以及第N-1幀去模糊處理後的圖像的尺寸均為100*100*3，疊加後得到的待處理圖像的尺寸為100*100*9，也就是說，將三張圖像(第N幀圖像、第N-1幀圖像以及第N-1幀去模糊處理後的圖像)疊加後得到的待處理圖像中的像素點的數量相較於三張圖像中的任意一張圖像中像素點數量不變，但每個像素點的通道數將變成三張圖像中的任意一張圖像的3倍。
本申請實施例中，對待處理圖像的像素點所做的卷積處理可以由多個任意堆疊的卷積層實現，本申請實施例對卷積層的數量以及卷積層中卷積核的大小不做限定。
通過對待處理圖像的像素點進行卷積處理，可提取出待處理圖像中的像素點的特徵資訊，得到去模糊卷積核。其中，特徵資訊包括第N-1幀圖像的像素點相對於所述第N幀圖像的像素點的運動資訊，以及第N-1幀圖像的像素點相對於所述第N-1幀去模糊處理後的圖像的像素點的去模糊資訊。上述運動資訊包括第N-1幀圖像中的像素點相對第N幀圖像中對應的像素點的運動速度和運動方向。
需要理解的是，本申請實施例中的去模糊卷積核即為對待處理圖像進行卷積處理得到的結果，在本申請實施例的後續處理中將其作為卷積處理的卷積核。
還需理解的是，對待處理圖像的像素點進行卷積處理指對待處理圖像的每個像素點進行卷積處理，分別得到每個像素點的去模糊卷積核。接著例1繼續舉例(例2)，待處理圖像的尺寸為100*100*9，即待處理圖像中包含100*100個像素點，則對待處理圖像的像素點進行卷積處理後，可得到一張100*100的特徵圖像，其中，上述100*100的特徵圖像中的每個像素點均可作為後續對第N幀圖像中的像素點進行去模糊處理的去模糊卷積核。
303、通過所述去模糊卷積核對所述第N幀圖像進行去模糊處理，得到第N幀去模糊處理後的圖像。
在本申請的一種可選實施例中，如圖4所示，所述通過所述去模糊卷積核對所述第N幀圖像進行去模糊處理，得到第N幀去模糊處理後的圖像，可包括如下。
3031，通過所述去模糊卷積核對所述第N幀圖像的特徵圖像的像素點進行卷積處理，得到第一特徵圖像。
上述第N幀圖像的特徵圖像可通過對第N幀圖像進行特徵提取處理得到。其中，特徵提取處理可以是卷積處理，也可以是池化處理，本申請實施例對此不做限定。
通過302的處理得到待處理圖像中每個像素點的去模糊卷積核。其中，待處理圖像的像素點的數量與第N幀圖像的像素點的數量相同，且在待處理圖像中的像素點與 第N幀圖像中的像素點一一對應。本申請實施例中，一一對應的含義可參見下例：待處理圖像中像素點A與第N幀圖像中的像素點B一一對應，即像素點A在待處理圖像中的位置與像素點B在第N幀圖像中的位置相同。
3032，對所述第一特徵圖像進行解碼處理，得到所述第N幀去模糊處理後的圖像。
上述解碼處理可以通過解卷積處理實現，也可以通過解卷積處理與卷積處理組合得到，本申請實施例對此不做限定。
可選地，為提升對第N幀圖像的去模糊處理效果，將對第一特徵圖像進行解碼處理得到的圖像中的像素點的像素值與第N幀圖像的像素點的像素值相加，並將“相加”後得到的圖像作為第N幀去模糊處理後的圖像。通過上述“相加”可利用第N幀圖像的資訊得到第N幀去模糊處理後的圖像。
舉例來說，假設解碼處理後得到的圖像中的像素點C的像素值為200，第N幀圖像中的像素點D的像素值為150，則“相加”後得到的第N幀去模糊處理後的圖像中的像素點E的像素值為350，其中，C在待處理圖像中的位置、D在第N幀圖像中的位置以及E在第N幀去模糊處理後的圖像中的位置相同。
如上所述，非均勻模糊圖像中不同的像素點的運動軌跡不同，且像素點的運動軌跡越複雜其模糊程度越高，本申請實施例通過為待處理圖像中的每個像素點分別預 測一個去模糊卷積核，並通過預測得到的去模糊卷積核對第N幀圖像中的特徵點進行卷積處理，以去除第N幀特徵中的像素點的模糊。由於，非均勻模糊圖像中不同的像素點的模糊程度不同，顯然，為不同的像素點生成相應地去模糊卷積核，可更好的去除每個像素點的模糊，進而實現去除非均勻模糊圖像中的模糊。
本申請實施例基於第N-1幀圖像的像素點以及第N-1幀去模糊處理後的圖像的像素點之間的去模糊資訊，得到像素點的去模糊卷積核，並用該去模糊卷積核對第N幀圖像中對應的像素點進行去卷積處理，以去除第N幀圖像中像素點的模糊；通過為第N幀圖像中的每個像素點分別生成一個去模糊卷積核，可去除對第N幀圖像(非均勻模糊圖像)中的模糊，去模糊處理後的圖像清晰、自然，且整個去模糊處理過程耗時短，處理速度快。
請參閱圖5，圖5是本申請實施例提供的302的一種可能實現的方式的流程示意圖，如圖5所示，所述方法包括如下。
401、對待處理圖像進行卷積處理，以提取第N-1幀圖像的像素點相對於第N幀圖像的像素點的運動資訊，得到對齊卷積核，其中，所述運動資訊包括速度和方向。
本申請實施例中，運動資訊包括速度和方向，可以理解為像素點的運動資訊指該像素點從第N-1幀時刻(拍攝第N-1幀圖像的時刻)至第N幀的時刻(拍攝第N幀圖像的時刻)內的運動軌跡。
由於被拍攝物體在單次曝光時間內的是運動的，且運動軌跡是曲線，進而導致拍攝得到的圖像中產生模糊，也就是說，第N-1幀圖像的像素點相對於第N幀圖像的像素點的運動資訊有助於去除第N幀圖像的模糊。
本申請實施例中，對待處理圖像的像素點所做的卷積處理可以由多個任意堆疊的卷積層實現，本申請實施例對卷積層的數量以及卷積層中卷積核的大小不做限定。
通過對待處理圖像的像素點進行卷積處理，可提取出待處理圖像中的像素點的特徵資訊，得到對齊卷積核。其中，此處的特徵資訊包括第N-1幀圖像的像素點相對於所述第N幀圖像的像素點的運動資訊。
需要理解的是，本申請實施例中的對齊卷積核即為對待處理圖像進行上述卷積處理得到的結果，在本申請實施例的後續處理中將其作為卷積處理的卷積核。具體地，由於對齊卷積核通過對待處理圖像進行卷積處理提取出第N-1幀圖像的像素點相對於第N幀圖像的像素點的運動資訊得到，因此，後續可通過對齊卷積核對第N幀圖像的像素點進行對齊處理。
需要指出的是，本實施例中獲得的對齊卷積核也是即時得到的，即通過上述處理，得到第N幀圖像中的每一個像素點的對齊卷積核。
402、對所述對齊卷積核進行編碼處理，得到所述去模糊卷積核。
此處的編碼處理可以是卷積處理，也可以是池化處理。
在一種可能實現的方式中，上述編碼處理為卷積處理，卷積處理可由多個任意堆疊的卷積層實現，本申請實施例對卷積層的數量以及卷積層中卷積核的大小不做限定。
需要理解的是，402中的卷積處理與401中的卷積處理不同。舉例來說，假設401中的卷積處理由3個通道數是32的卷積層(卷積核的大小為3*3)實現，402中的卷積處理由5個通道數是64的卷積層(卷積核的大小為3*3)實現，兩者(3個卷積層和5個卷積層)本質都是卷積處理，但兩者的具體實現過程不同。
由於待處理圖像是由第N幀圖像、第N-1幀圖像以及第N-1幀去模糊處理後的圖像在通道維度上進行疊加得到，因此，待處理圖像中包含了第N幀圖像、第N-1幀圖像以及第N-1幀去模糊處理後的圖像的資訊。而401中的卷積處理更側重於提取第N-1幀圖像的像素點相對於所述第N幀圖像的像素點的運動資訊，也就是說，經過401的處理，待處理圖像中第N-1幀圖像與第N-1幀去模糊處理後的圖像之間的去模糊處理資訊並沒有被提取出來。
可選地，在對對齊卷積核進行編碼處理之前，可對待處理圖像與對齊卷積核進行融合處理，使融合後得到的對齊卷積核包含第N-1幀圖像與第N-1幀去模糊處理後的圖像之間的去模糊資訊。
通過對對齊卷積核進行卷積處理，提取出第N-1幀去模糊處理後的圖像相對於所述第N-1幀圖像的像素點的去模糊資訊，得到去模糊卷積核。其中，去模糊資訊可以理解為第N-1幀圖像的像素點與第N-1幀去模糊圖像的像素點之間的映射關係，即去模糊處理前的像素點與去模糊處理後的像素點之間的映射關係。
這樣，通過對對齊卷積核進行卷積處理得到的去模糊卷積核既包含第N-1幀圖像的像素點與第N-1幀去模糊處理後的圖像的像素點之間的去模糊資訊，又包含了第N-1幀圖像的像素點與第N幀圖像的像素點之間的運動資訊。後續通過去模糊卷積核對第N幀圖像的像素點進行卷積處理，可提升去模糊的效果。
本申請實施例基於第N-1幀圖像的像素點以及第N幀圖像的像素點之間的運動資訊，得到像素點的對齊卷積核，後續可通過該對齊卷積核進行對齊處理。再通過對對齊卷積核進行卷積處理，提取出第N-1幀圖像的像素點與第N-1幀去模糊處理後的圖像的像素點之間的去模糊資訊，得到去模糊卷積核，可使去模糊卷積核既包含第N-1幀圖像的像素點與第N-1幀去模糊處理後的圖像的像素點之間的去模糊資訊，又包含了第N-1幀圖像的像素點與第N幀圖像的像素點之間的運動資訊，有利於提升去除第N幀圖像的模糊的效果。
上述實施例均通過對圖像進行卷積處理得到去模糊卷積核以及對齊卷積核。由於圖像中所包含的像素點的 數量大，若直接對圖像進行處理，所需處理的資料量大，且處理速度慢，因此，本申請實施例將提供一種根據特徵圖像得到去模糊卷積核以及對齊卷積核的實現方式。
請參閱圖6，圖6是本申請實施例6提供的一種獲得去模糊卷積核以及對齊卷積核的流程示意圖，如圖6所示，所述方法包括如下：
501、對第N幀圖像、第N-1幀圖像以及第N-1幀去模糊處理後的圖像在通道維度上進行疊加處理，得到待處理圖像。
請參見步驟302得到待處理圖像的實現方式，此處將不再贅述。
502、對所述待處理圖像進行編碼處理，得到第四特徵圖像。
上述編碼處理可以通過多種方式實現，例如卷積、池化等，本申請實施例對此不做具體限定。
在一些可能的實現方式中，請參閱圖7，圖7所示模組可用於對待處理圖像進行編碼處理，該模組依次包括一個通道數為32的卷積層(卷積核大小為3*3)、兩個通道數為32的殘差塊(每個殘差塊包含兩個卷積層，卷積層的卷積核的大小為3*3)、一個通道數為64的卷積層(卷積核大小為3*3)、兩個通道數為64的殘差塊(每個殘差塊包含兩個卷積層，卷積層的卷積核的大小為3*3)、一個通道數為128的卷積層(卷積核大小為3*3)、兩個通道數為128 的殘差塊(每個殘差塊包含兩個卷積層，卷積層的卷積核的大小為3*3)。
通過該模組對待處理圖像逐層進行卷積處理完成對待處理圖像的編碼，得到第四特徵圖像，其中，每個卷積層提取出的特徵內容及語義資訊均不一樣，具體表現為，編碼處理一步步地將待處理圖像的特徵抽象出來，同時也將逐步去除相對次要的特徵，因此，越到後面提取出的特徵圖像的尺寸越小，且語義資訊就越濃縮。通過多層卷積層逐級對待處理圖像進行卷積處理，並提取相應的特徵，最終得到固定大小的第四特徵圖像，這樣，可在獲得待處理圖像主要內容資訊(即第四特徵圖像)的同時，將圖像尺寸縮小，減小資料處理量，提高處理速度。
舉例來說(例3)，假設待處理圖像的尺寸為100*100*3，則經過圖7所示的模組進行編碼處理得到的第四特徵圖像的尺寸為25*25*128。
在一種可能實現的方式中，上述卷積處理的實現過程如下：卷積層對待處理圖像做卷積處理，即利用卷積核在待處理圖像上滑動，並將待處理圖像上的像素與對應的卷積核上的數值相乘，然後將所有相乘後的值相加作為卷積核中間像素對應的圖像上像素值，最終滑動處理完待處理圖像中所有的像素，並得到第四特徵圖像。可選地，在該種可能實現的方式中，卷積層的步長可取為2。
請參見圖8，圖8為本申請實施例提供的一種用於生成對齊卷積核的模組，根據圖8所示的模組生成對齊卷積核的具體過程可參見503~504。
503、對所述第四特徵圖像進行卷積處理，得到第五特徵圖像。
如圖8所示，將第四特徵圖像輸入至圖8所示的模組，第四特徵圖像依次經過1個通道數為128的卷積層(卷積核大小為3*3)、兩個通道數為64的殘差塊(每個殘差塊包含兩個卷積層，卷積層的卷積核的大小為3*3)的處理，實現對第四特徵圖像的卷積處理，提取第四特徵圖像中的第N-1幀圖像的像素點與第N幀圖像的像素點之間的運動資訊，得到第五特徵圖像。
需要理解的是，通過上述對第四特徵圖像進行處理，圖像的尺寸並沒有改變，即得到的第五特徵圖像的尺寸與第四特徵圖像尺寸相同。
接著例3繼續舉例(例4)，第四特徵圖像的尺寸為25*25*128，經過303的處理得到的第五特徵圖像的尺寸也為25*25*128。
504、通過卷積處理將所述第五特徵圖像的通道數調整至第一預設值，得到所述對齊卷積核。
為進一步提取第五特徵圖像中第N-1幀圖像的像素點與第N幀圖像的像素點之間的運動資訊，圖8中的第四層對第五特徵圖像進行卷積處理，得到的對齊卷積核的尺寸為25*25* c* k* k(需要理解的是，此處通過第四層的卷 積處理調整第五特徵圖像的通道數)，其中，c為第五特徵圖像的通道數，k為正整數，可選地，k的取值為5。為方便處理，將25*25* c * k* k調整為25*25* ck 2，其中，ck 2即為第一預設值。
需要理解的是，對齊卷積核的高和寬均為25。對齊卷積核包含25*25個元素，每個元素包含c個像素點，且不同的元素在對齊卷積核中的位置不同，如：假設將對齊卷積核的寬和高所在的平面定義為xoy平面，則對齊卷積核中的每個元素均可由座標(x，y)確定，其中，o為原點。對齊卷積核的元素為後續處理中對像素點進行對齊處理的卷積核，每個元素的尺寸為1*1*ck 2。
接著例4繼續舉例(例5)，第五特徵圖像的尺寸為25*25*128，通過304的處理得到的對齊卷積核的尺寸為25*25*128* k* k，即25*25*128 k 2。對齊卷積核包含25*25個元素，每個元素包含128個像素點，且不同的元素在第對齊卷積核中的位置不同。每個元素的尺寸為1*1*128*k 2。
由於第四層為卷積層，而卷積層的卷積核越大，帶來的資料處理量就越大。可選地，圖8中的第四層是一個通道數為128、卷積核大小為1*1的卷積層。通過卷積核大小為1*1的卷積層調整第五特徵圖像的通道數，可減小資料處理量，提高處理速度。
505、通過卷積處理將所述對齊卷積核的通道數調整至第二預設值，得到第六特徵圖像。
由於504中通過卷積處理(即圖8中的第四層)調整了第五特徵圖像的通道數，因此在對對齊卷積核進行卷積處理得到去模糊卷積核之前，需要將對齊卷積核的通道數調整至第二預設值(即第五特徵圖像的通道數)。
在一種可能實現的方式中，通過卷積處理將對齊卷積核的通道數調整至第二預設值，得到第六特徵圖像。可選地，該卷積處理可通過一個通道數為128、卷積核大小為1*1的卷積層實現。
506、對所述第四特徵圖像和所述第六特徵圖像在通道維度上進行疊加處理，得到第七特徵圖像。
本實施例502~504更側重於提取待處理圖像中第N-1幀圖像的像素點與第N幀圖像的像素點之間的運動資訊。由於後續處理需要提取出待處理圖像中第N-1幀圖像的像素點與第N-1幀去模糊處理後的圖像的像素點之間的去模糊資訊，因此在進行後續處理之前，通過將第四特徵圖像與第六特徵圖像進行融合，以在特徵圖像中增加第N-1幀圖像的像素點與第N-1幀去模糊處理後的圖像的像素點之間的去模糊資訊。
在一種可能實現的方式中，對第四特徵圖像和第六特徵圖像進行融合處理(concatenate)，即將第四特徵圖像和第六特徵圖像在通道維度上進行疊加處理，得到第七特徵圖像。
507、對所述第七特徵圖像進行卷積處理，以提取所述第N-1幀去模糊處理後的圖像的像素點相對於所 述第N-1幀圖像的像素點的去模糊資訊，得到所述去模糊卷積核。
第七特徵圖像中包含已提取出的第N-1幀圖像的像素點與第N-1幀去模糊處理後的圖像的像素點之間的去模糊資訊，而通過對第七特徵圖像進行卷積處理，可進一步提取出第N-1幀圖像的像素點與第N-1幀去模糊處理後的圖像的像素點之間的去模糊資訊，得到去模糊卷積核，該過程包括以下步驟。
對第七特徵圖像進行卷積處理，得到第八特徵圖像；通過卷積處理將第八特徵圖像的通道數調整至第一預設值，得到去模糊卷積核。
在一些可能實現的方式中，如圖9所示，將第七特徵圖像輸入至圖9所示的模組，第七特徵圖像依次經過1個通道數為128的卷積層(卷積核大小為3*3)、兩個通道數為64的殘差塊(每個殘差塊包含兩個卷積層，卷積層的卷積核的大小為3*3)的處理，實現對第七特徵圖像的卷積處理，提取第七特徵圖像中的第N-1幀圖像的像素點與第N-1幀去模糊處理後的圖像的像素點之間的去模糊資訊，得到第八特徵圖像。
圖9所示的模組對第七特徵圖像的處理過程可參見圖8所示的模組對第五特徵圖像的處理過程，此處將不再贅述。
需要理解的是，圖8所示的模組(用於生成對齊卷積核)和圖9所示的模組(用於生成去模糊卷積核)相比， 圖8所示模組比圖9所示模組多一個卷積層(即圖8所示模組的第四層)，其餘組成雖然相同，但兩者的的權重並不一樣，這也直接決定了兩者的用途是不一樣的。
可選地，圖8所示的模組和圖9所示的模組的權重可通過對圖8和圖9所示的模組進行訓練獲得。
需要理解的是，507得到的去模糊卷積核為包含第七特徵圖像中每個像素點的去模糊卷積核，且每個像素點的卷積核的尺寸為1*1*ck 2。
接著例5繼續舉例(例6)，第七特徵圖像的尺寸為25*25*128* k* k，也就是說，第七特徵圖像中包含25*25個像素點，相應地，得到的去模糊卷積核(尺寸為25*25*128k 2)中包含25*25個去模糊卷積核(即每個像素點對應一個去模糊卷積核，且每個像素點的去模糊卷積核的尺寸為1*1*128k 2)。
通過將第七特徵圖像中每個像素點的3個維度的資訊合成為一個維度的資訊，將第七特徵圖像中的每個像素點的資訊合成為一個卷積核，即每個像素點的去模糊卷積核。
本實施例通過對待處理圖像的特徵圖像進行卷積處理，提取出第N-1幀圖像的像素點與第N幀圖像的像素點之間的運動資訊，得到每個像素點的對齊卷積核。再通過對第七特徵圖像進行卷積處理，提取出第N-1幀圖像的像素點與第N-1幀去模糊處理後的圖像的像素點之間的去模糊 資訊，得到每個像素點的去模糊卷積核。以便於後續通過對齊卷積核以及去模糊卷積核對第N幀圖像進行去模糊處理。
本實施例詳細闡述了如何得到去模糊卷積核以及對齊卷積核，下述實施例將詳細闡述如何通過去模糊卷積核以及對齊卷積核去除第N幀圖像中的模糊，並得到第N幀去模糊處理後的圖像。
請參閱圖10，圖10是本申請實施例提供的另一種視頻圖像處理方法的流程示意圖，如圖10所示，所述方法包括如下。
901、通過去模糊卷積核對第N幀圖像的特徵圖像的像素點進行卷積處理，得到第一特徵圖像。
上述第N幀圖像的特徵圖像可通過對第N幀圖像進行特徵提取處理得到，其中，特徵提取處理可以是卷積處理，也可以是池化處理，本申請實施例對此不做限定。
在一種可能實現的方式中，可通過圖7所示的編碼模組對第N幀圖像進行特徵提取處理，得到第N幀圖像的特徵圖像。其中，圖7的具體組成，以及圖7對第N幀圖像的處理過程可參見502，此處將不再贅述。
通過圖7所示的編碼模組對第N幀圖像進行特徵提取處理，得到的第N幀圖像的特徵圖像的尺寸比第N幀圖像的尺寸小，且第N幀圖像的特徵圖像包含第N幀圖像的資訊(在本申請中，此處的資訊可理解為第N幀圖像中模糊區域的資訊)，因此後續對第N幀圖像的特徵圖像進行處理可減小資料處理量，提高處理速度。
如上所述，對待處理圖像中的每個像素點進行卷積處理，分別得到每個像素點的去模糊卷積核，通過去模糊卷積核對第N幀圖像的特徵圖像的像素點進行卷積處理指：將通過前述實施例得到的去模糊卷積核中每個像素點的去模糊卷積核分別作為第N幀圖像的特徵圖像中對應的像素點的卷積核，對第N幀圖像的特徵圖像的每個像素點進行卷積處理。
如507所述，去模糊卷積核中的每個像素點的去模糊卷積核包含了第七特徵圖像中每個像素點的資訊，且該資訊在去模糊卷積核中是一維資訊。而第N幀圖像的特徵圖像的像素點是三維，因此，為將第七特徵圖像中每個像素點的資訊分別作為第N幀圖像的特徵圖像中每個像素點的卷積核進行卷積處理，需要調整去模糊卷積核的維度。基於上述考慮，901的實現過程包括以下步驟。
調整去模糊卷積核的維度，使去模糊卷積核的通道數與第N幀圖像的特徵圖像的通道數相同；通過調整維度後的去模糊卷積核對第N幀圖像的特徵圖像的像素點進行卷積處理，得到第一特徵圖像。
請參見圖11，通過圖11所示模組(自我調整卷積處理模組)可將前述實施例得到的去模糊卷積核中每個像素點的去模糊卷積核作為第N幀圖像的特徵圖像中對應的像素點的卷積核，並對該像素點進行卷積處理。
圖11中的調整維度(reshape)指對去模糊卷積核中每個像素點的去模糊卷積核的維度，即將每個像素點的去模糊核的維度由1*1*ck 2調整為c* k* k。
接著例6繼續舉例(例7)，每個像素點的去模糊卷積核的尺寸為1*1*128k 2，對每個像素點的去模糊卷積核進行reshape後，得到的卷積核的尺寸為128* k* k。
通過reshape得到第N幀圖像的特徵圖像的每個像素點的去模糊卷積核，並通過每個像素點的去模糊卷積核分別對每個像素點進行卷積處理，以去除第N幀圖像的特徵圖像的每個像素點的模糊，最終得到第一特徵圖像。
902、通過所述對齊卷積核對所述第N-1幀去模糊處理後的圖像的特徵圖像的像素點進行卷積處理，得到第二特徵圖像。
在本申請的一種可選實施例中，所述通過所述對齊卷積核對所述第N-1幀去模糊處理後的圖像的特徵圖像的像素點進行卷積處理，得到第二特徵圖像，包括：調整所述對齊卷積核的維度，使所述對齊卷積核的通道數與所述第N-1幀圖像的特徵圖像的通道數相同；通過調整維度後的所述對齊卷積核對所述第N-1幀去模糊處理後的圖像的特徵圖像的像素點進行卷積處理，得到所述第二特徵圖像。
本實施例與901通過圖11所示的模組實現將前述實施例得到的去模糊卷積核作為第N幀圖像的特徵圖像每個像素點的去模糊卷積核，對第N幀圖像的特徵圖像進行去模糊處理相同，通過圖11所示的模組中的reshape將前述 實施例得到的對齊卷積核中每個像素點的對齊卷積核的維度調整為128* k* k，並通過調整維度後的對齊卷積核對第N-1幀去模糊處理後的圖像的特徵圖像中對應的像素點進行卷積處理。實現以當前幀為基準，對第N-1幀去模糊處理後的圖像的特徵圖像進行對齊處理，即根據每個像素點的對齊核中包含的運動資訊，分別調整第N-1幀去模糊處理後的圖像的特徵圖像中每個像素點的位置，得到第二特徵圖像。
第N-1幀去模糊處理後的圖像的特徵圖像中包含大量清晰(即不存在模糊)的像素點，但第N-1幀去模糊處理後的圖像的特徵圖像中的像素點與當前幀的像素點之間存在位移。因此，通過902的處理調整第N-1幀去模糊處理後的圖像的特徵圖像的像素點的位置，使調整位置後的像素點更接近於第N幀時刻的位置(此處的位置指被拍攝物件在第N幀圖像中的位置)。這樣，後續處理就可利用第二特徵圖像的資訊去除第N幀圖像中的模糊。
需要理解的是，901與902之間並無先後順序，即可以先執行901，再執行902，也可以先執行902，再執行901，還可以同時執行901和902。進一步地，在通過504得到對齊卷積核之後，可以先執行901，再執行505~507，也可以先執行505~507，再執行901或902。本申請實施例對此不作限定。
903、對所述第一特徵圖像和所述第二特徵圖像進行融合處理，得到第三特徵圖像。
通過將第一特徵圖像與第二特徵圖像進行融合處理，可在基於第N-1幀圖像的像素點與第N幀圖像的像素點之間的運動資訊以及第N-1幀圖像的像素點與第N-1幀去模糊處理後的圖像的像素點之間的去模糊資訊去模糊的基礎上，利用(對齊後的)第N-1幀圖像的特徵圖像的資訊提升去模糊的效果。
在一種可能實現的方式中，對第一特徵圖像和第二特徵圖像在通道維度上進行疊加處理(concatenate)，得到第三特徵圖像。
904、對所述第三特徵圖像進行解碼處理，得到所述第N幀去模糊處理後的圖像。
本申請實施例中，解碼處理可以是解卷積處理、反卷積處理、雙線性插值處理、反池化處理中的任意一種，也可以是解卷積處理、反卷積處理、雙線性插值處理、反池化處理中的任意一種與卷積處理的結合，本申請對此不作限定。
在一種可能實現的方式中，請參見圖12，圖12所示為解碼模組，依次包括一個通道數為64的解卷積層(卷積核的大小為3*3)、兩個通道數為64的殘差塊(每個殘差塊包含兩個卷積層，卷積層的卷積核的大小為3*3)，一個通道數為32的解卷積層(卷積核的大小為3*3)、兩個通道數為32的殘差塊(每個殘差塊包含兩個卷積層，卷積層的卷積核的大小為3*3)。通過圖12所示的解碼模組對第三特徵圖像進行解碼處理，得到第N幀去模糊處理後的圖像包括 以下步驟：對第三特徵圖像進行解卷積處理，得到第九特徵圖像；對第九特徵圖像進行卷積處理，得到第N幀解碼處理後的圖像。
可選地，在得到第N幀解碼處理後的圖像後，還可將第N幀圖像的第一像素點的像素值與第N幀解碼處理後的圖像的第二像素點的像素值相加，得到第N幀去模糊處理後的圖像，其中，第一像素點在第N幀圖像中的位置與第二像素點在第N幀解碼處理後的圖像中的位置相同。使第N幀去模糊處理後的圖像更自然。
通過本實施例可通過前述實施例得到的去模糊卷積核對第N幀圖像的特徵圖像進行去模糊處理，以及通過前述實施例得到的對齊卷積核對第N-1幀圖像的特徵圖像進行對齊處理。通過對去模糊處理得到的第一特徵圖像和對齊處理得到的第二特徵圖像融合後得到的第三特徵圖像進行解碼處理，可提升對第N幀圖像的去模糊效果，使第N幀去模糊處理後的圖像更自然。且本實施例的去模糊處理和對齊處理均的作用物件均是特徵圖像，因此，資料處理量小，處理速度快，可實現對視頻圖像的即時去模糊。
本申請還提供了一種視頻圖像去模糊神經網路，用於實現前述實施例中的方法。
請參閱圖13，圖13是本申請實施例提供的一種視頻圖像去模糊神經網路的結構示意圖。如圖13所示，視頻圖像去模糊神經網路包括：編碼模組、對齊卷積核以及去模糊卷積核生成模組、解碼模組。其中，圖13中的編碼模 組與圖7所示的編碼模組相同，圖13中的解碼模組與圖12所示的解碼模組相同，此處將不再贅述。
請參見圖14，圖14所示的對齊卷積核以及去模糊卷積核生成模組包括：解碼模組、對齊卷積核生成模組、去模糊卷積核生成模組，且對齊卷積核生成模組與去模糊卷積核生成模組之間包含一個通道數為128、卷積核的大小為1*1的卷積層，該卷積層後連接一個融合(concatenate)層。
需要指出的是，圖14所示的自我調整卷積層即為圖11所示的模組。圖14所示模組生成的對齊卷積核和去模糊卷積核通過自我調整卷積層分別對第N-1幀圖像的特徵圖像的像素點以及第N幀圖像的特徵圖像的像素點進行卷積處理(即對齊處理和去模糊處理)，得到第N-1幀圖像的特徵圖像對齊後的特徵圖像以及第N幀圖像的特徵圖像去模糊處理後的特徵圖像。
通過concatenate將上述對齊後的特徵圖像和去模糊處理後的特徵圖像在通道維度上進行串聯，得到第N幀融合後的特徵圖像，並將第N幀融合後的特徵圖像輸入至解碼模組，以及作為視頻圖像去模糊神經網路對第N+1幀圖像進行處理的輸入。
通過解碼模組對第N幀融合後的特徵圖像的解碼處理，得到第N幀解碼處理後的圖像，並將第N幀圖像的第一像素點的像素值與第N幀解碼處理後的圖像的第二像素點的像素值相加，得到第N幀去模糊處理後的圖像，其 中，第一像素點在第N幀圖像中的位置與第二像素點在第N幀解碼處理後的圖像中的位置相同。並將第N幀圖像以及第N幀去模糊處理後的圖像作為視頻圖像去模糊神經網路對第N+1幀圖像進行處理的輸入。
從上述過程中不難看出，視頻圖像去模糊神經網路對視頻中的每一幀圖像進行去模糊處理需要4個輸入，以去模糊物件為第N幀圖像為例，這4個輸入分別為：第N-1幀圖像、第N-1幀去模糊處理後的圖像、第N幀圖像以及第N-1幀去模糊處理後的圖像的特徵圖像(即上述第N幀融合後的特徵圖像)。
通過本實施例提供的視頻圖像去模糊神經網路可對視頻圖像進行去模糊處理，且整個處理過程只需4個輸入，即可直接得到去模糊處理後的圖像，處理速度快。通過去模糊卷積核生成模組和對齊卷積核生成模組為圖像中的每個像素點生成一個去模糊卷積核以及對齊卷積核，可提高視頻圖像去模糊神經網路對視頻中不同幀的非均勻模糊圖像的去模糊效果。
基於實施例提供的視頻圖像去模糊神經網路，本申請實施例提供了一種視頻圖像去模糊神經網路的訓練方法。
本實施例根據均方誤差損失函數確定視頻圖像去模糊神經網路輸出的第N幀去模糊處理後的圖像與第N幀圖像的清晰圖像(即第N幀圖像的監督資料(ground truth))之間的誤差。均方差損失函數的具體運算式如下：
Figure 108145856-A0305-02-0041-1
其中，C、H、W分別是第N幀圖像(假設視頻圖像去模糊神經網路對第N幀圖像進行去模糊處理)通道數、高、寬，R是視頻圖像去模糊神經網路輸入的第N幀去模糊處理後的圖像，S是第N幀圖像的監督資料。
通過感知損失函數(perceptual loss function)確定VGG-19網路輸出的第N幀去模糊處理後的圖像的特徵與第N幀圖像的監督資料的特徵之間的歐氏距離。感知損失函數的具體運算式如下：
Figure 108145856-A0305-02-0041-2
其中，Φ j (．)為預先訓練好的VGG-19網路中第j層輸出的特徵圖像，C j 、H j 、W j 分別為該特徵圖像的通道數、高、寬，R是視頻圖像去模糊神經網路輸入的第N幀去模糊處理後的圖像，S是第N幀圖像的監督資料(ground truth)。
最後，本實施例通過對公式(1)以及公式(2)進行加權求和，得到視頻圖像去模糊神經網路的損失函數，具體運算式如下：L d =L mse +λL P (3)
其中，λ為權重；可選地，λ為自然數。
可選地，上述j的取值可以為15，λ的取值為0.01。
基於本實施例提供的損失函數，可完成對本實施例的視頻圖像去模糊神經網路的訓練。
根據前述實施例提供的視頻圖像處理方法，以及視頻圖像去模糊神經網路，本申請實施例提供了幾種可能實現應用場景。
將本申請實施例應用於無人機中，可即時去除無人機拍攝到的視頻圖像的模糊，為使用者提供更清晰的視頻。同時，無人機的飛行控制系統基於去模糊處理後的視頻圖像進行處理，控制無人機的姿態和運動，可提高控制精度，為無人機完成各種空中作業提供有力的支援。
還可將本申請實施例應用於移動終端(如：手機、運動相機等等)，使用者通過終端對運動劇烈的物件進行視頻採集，終端通過運行本申請實施例提供的方法，可對使用者拍攝的視頻進行即時處理，減小因被拍攝物件的劇烈運動產生的模糊，提高用戶體驗。其中，被拍攝物件的劇烈運動指終端與被拍攝物件之間的相對運動。
本申請實施例提供的視頻圖像處理方法處理速度快，即時性好。本申請實施例提供的神經網路的權重少，運行該神經網路所需的處理資源少，因此，可應用於移動終端。
上述詳細闡述了本申請實施例的方法，下面提供了本申請實施例的裝置。
請參閱圖15，圖15為本申請實施例提供的一種視頻圖像處理裝置的結構示意圖，該裝置1包括：獲取單元11、第一處理單元12以及第二處理單元13，其中： 獲取單元11，配置為獲取多幀連續視頻圖像，其中，所述多幀連續視頻圖像包括第N幀圖像、第N-1幀圖像以及第N-1幀去模糊處理後的圖像，所述N為正整數；第一處理單元12，配置為基於所述第N幀圖像、所述第N-1幀圖像以及所述第N-1幀去模糊處理後的圖像，得到所述第N幀圖像的去模糊卷積核；第二處理單元13，配置為通過所述去模糊卷積核對所述第N幀圖像進行去模糊處理，得到第N幀去模糊處理後的圖像。
在一種可能實現的方式中，所述第一處理單元12包括：第一卷積處理子單元121，配置為對待處理圖像的像素點進行卷積處理，得到去模糊卷積核，其中，所述待處理圖像由所述第N幀圖像、所述第N-1幀圖像以及所述第N-1幀去模糊處理後的圖像在通道維度上進行疊加得到。
在另一種可能實現的方式中，所述第一卷積處理子單元121配置為：對所述待處理圖像進行卷積處理，以提取所述第N-1幀圖像的像素點相對於所述第N幀圖像的像素點的運動資訊，得到對齊卷積核，其中，所述運動資訊包括速度和方向；以及對所述對齊卷積核進行編碼處理，得到所述去模糊卷積核。
在又一種可能實現的方式中，所述第二處理單元13包括：第二卷積處理子單元131，配置為通過所述去模糊卷積核對所述第N幀圖像的特徵圖像的像素點進行卷積處理，得到第一特徵圖像；解碼處理子單元132，配置為對 所述第一特徵圖像進行解碼處理，得到所述第N幀去模糊處理後的圖像。
在又一種可能實現的方式中，所述第二卷積處理子單元131配置為：調整所述去模糊卷積核的維度，使所述去模糊卷積核的通道數與所述第N幀圖像的特徵圖像的通道數相同；以及通過調整維度後的所述去模糊卷積核對所述第N幀圖像的特徵圖像的像素點進行卷積處理，得到所述第一特徵圖像。
在又一種可能實現的方式中，所述第一卷積處理子單元121還配置為：在所述對所述待處理圖像進行卷積處理，以提取所述第N-1幀圖像的像素點相對於所述第N幀圖像的像素點的運動資訊，得到對齊卷積核之後，通過所述對齊卷積核對所述第N-1幀去模糊處理後的圖像的特徵圖像的像素點進行卷積處理，得到第二特徵圖像。
在又一種可能實現的方式中，所述第一卷積處理子單元121還配置為：調整所述對齊卷積核的維度，使所述對齊卷積核的通道數與所述第N-1幀圖像的特徵圖像的通道數相同；以及通過調整維度後的所述對齊卷積核對所述第N-1幀去模糊處理後的圖像的特徵圖像的像素點進行卷積處理，得到所述第二特徵圖像。
在又一種可能實現的方式中，所述第二處理單元13配置為：對所述第一特徵圖像和所述第二特徵圖像進行融合處理，得到第三特徵圖像；以及對所述第三特徵圖像進行解碼處理，得到所述第N幀去模糊處理後的圖像。
在又一種可能實現的方式中，所述第一卷積處理子單元121還配置為：對所述第N幀圖像、所述第N-1幀圖像以及所述第N-1幀去模糊處理後的圖像在通道維度上進行疊加處理，得到所述待處理圖像；以及對所述待處理圖像進行編碼處理，得到第四特徵圖像；以及對所述第四特徵圖像進行卷積處理，得到第五特徵圖像；以及通過卷積處理將所述第五特徵圖像的通道數調整至第一預設值，得到所述對齊卷積核。
在又一種可能實現的方式中，所述第一卷積處理子單元121還配置為：通過卷積處理將所述對齊卷積核的通道數調整至所述第二預設值，得到第六特徵圖像；以及對所述第四特徵圖像和所述第六特徵圖像進行融合處理，得到第七特徵圖像；以及對所述第七特徵圖像進行卷積處理，以提取所述第N-1幀去模糊處理後的圖像的像素點相對於所述第N-1幀圖像的像素點的去模糊資訊，得到所述去模糊卷積核。
在又一種可能實現的方式中，所述第一卷積處理子單元121還配置為：對所述第七特徵圖像進行卷積處理，得到第八特徵圖像；以及通過卷積處理將所述第八特徵圖像的通道數調整至所述第一預設值，得到所述去模糊卷積核。
在又一種可能實現的方式中，所述第二處理單元13還配置為：對所述第三特徵圖像進行解卷積處理，得到第九特徵圖像；以及對所述第九特徵圖像進行卷積處理， 得到第N幀解碼處理後的圖像；以及將所述第N幀圖像的第一像素點的像素值與所述第N幀解碼處理後的圖像的第二像素點的像素值相加，得到所述第N幀去模糊處理後的圖像，其中，所述第一像素點在所述第N幀圖像中的位置與所述第二像素點在所述第N幀解碼處理後的圖像中的位置相同。
在一些實施例中，本公開實施例提供的裝置具有的功能或包含的單元可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
本申請實施例還提供了一種電子設備，包括：處理器、輸入裝置、輸出裝置和記憶體，所述處理器、輸入裝置、輸出裝置和記憶體相互連接，所述記憶體中儲存有程式指令；所述程式指令被所述處理器執行時，使所述處理器執行如本申請實施例所述的方法。
本申請實施例還提供了一種處理器，所述處理器用於執行如本申請實施例所述的方法。
圖16為本申請實施例提供的一種電子設備的硬體結構示意圖。該電子設備2包括處理器21、記憶體22和攝影頭23。該處理器21、記憶體22和攝影頭23通過連接器相耦合，該連接器包括各類介面、傳輸線或匯流排等等，本申請實施例對此不作限定。應當理解，本申請的各個實施例中，耦合是指通過特定方式的相互聯繫，包括直接相連或 者通過其他設備間接相連，例如可以通過各類介面、傳輸線、匯流排等相連。
處理器21可以是一個或多個圖形處理器(Graphics Processing Unit，GPU)，在處理器21是一個GPU的情況下，該GPU可以是單核GPU，也可以是多核GPU。可選的，處理器21可以是多個GPU構成的處理器組，多個處理器之間通過一個或多個匯流排彼此耦合。可選的，該處理器還可以為其他類型的處理器等等，本申請實施例不作限定。
記憶體22可用於儲存電腦程式指令，以及用於執行本申請方案的程式碼在內的各類電腦程式代碼。可選地，記憶體包括但不限於是隨機儲存記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、可擦除可程式設計唯讀記憶體(Erasable Programmable Read Only Memory，EPROM)、或可擕式唯讀記憶體(Compact Disc Read-Only Memory，CD-ROM)，該記憶體用於相關指令及資料。
攝影頭23，可用於獲取相關視頻或圖像等等。
可理解，本申請實施例中，記憶體不僅可用於儲存相關指令，還可用於儲存相關圖像以及視頻，如該記憶體可用於儲存通過攝影頭23獲取的視頻，又或者該記憶體還可用於儲存通過處理器21而生成的去模糊處理後的圖像等等，本申請實施例對於該記憶體中具體所儲存的視頻或圖像不作限定。
可以理解的是，圖16僅僅示出了視頻圖像處理裝置的簡化設計。在實際應用中，視頻圖像處理裝置還可以分別包含必要的其他元件，包含但不限於任意數量的輸入/輸出裝置、處理器、控制器、記憶體等，而所有可以實現本申請實施例的裝置都在本申請的保護範圍之內。
本申請實施例還提供了一種電腦可讀儲存介質，所述電腦可讀儲存介質中儲存有電腦程式，所述電腦程式包括程式指令，所述程式指令當被電子設備的處理器執行時，使所述處理器執行本申請實施例所述的方法。
本領域普通技術人員可以意識到，結合本文中所公開的實施例描述的各示例的單元及演算法步驟，能夠以電子硬體、或者電腦軟體和電子硬體的結合來實現。這些功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本申請的範圍。
所屬領域的技術人員可以清楚地瞭解到，為描述的方便和簡潔，上述描述的系統、裝置和單元的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。所屬領域的技術人員還可以清楚地瞭解到，本申請各個實施例描述各有側重，為描述的方便和簡潔，相同或類似的部分在不同實施例中可能沒有贅述，因此，在某一實施例未描述或未詳細描述的部分可以參見其他實施例的記載。
在本申請所提供的幾個實施例中，應該理解到，所揭露的系統、裝置和方法，可以通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本申請各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。
在上述實施例中，可以全部或部分地通過軟體、硬體、固件或者其任意組合來實現。當使用軟體實現時，可以全部或部分地以電腦程式產品的形式實現。所述電腦程式產品包括一個或多個電腦指令。在電腦上載入和執行所述電腦程式指令時，全部或部分地產生按照本申請實施例所述的流程或功能。所述電腦可以是通用電腦、專用電腦、電腦網路、或者其他可程式設計裝置。所述電腦指令可以儲存在 電腦可讀儲存介質中，或者通過所述電腦可讀儲存介質進行傳輸。所述電腦指令可以從一個網站網站、電腦、伺服器或資料中心通過有線(例如同軸電纜、光纖、數位用戶線路(Digital Subscriber Line，DSL))或無線(例如紅外、無線、微波等)方式向另一個網站網站、電腦、伺服器或資料中心進行傳輸。所述電腦可讀儲存介質可以是電腦能夠存取的任何可用介質或者是包含一個或多個可用介質集成的伺服器、資料中心等資料存放裝置。所述可用介質可以是磁性介質，(例如，軟碟、硬碟、磁帶)、光介質(例如，數位通用光碟(Digital Versatile Disc，DVD))、或者半導體介質(例如固態硬碟(Solid State Disk，SSD))等。
本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程，該流程可以由電腦程式來指令相關的硬體完成，該程式可儲存於電腦可讀取儲存介質中，該程式在執行時，可包括如上述各方法實施例的流程。而前述的儲存介質包括：唯讀記憶體(Read-Only Memory，ROM)或隨機儲存記憶體(Random Access Memory，RAM)、磁碟或者光碟等各種可儲存程式碼的介質。
圖3代表圖為流程圖，無元件符號簡單說明。

Claims (14)

  1. 一種視頻圖像處理方法，包括：獲取多幀連續視頻圖像，其中，所述多幀連續視頻圖像包括第N幀圖像、第N-1幀圖像以及第N-1幀去模糊處理後的圖像，所述N為正整數；第N-1幀去模糊處理後的圖像為對第N-1幀圖像進行去模糊處理後得到的圖像；基於所述第N幀圖像、所述第N-1幀圖像以及所述第N-1幀去模糊處理後的圖像，得到所述第N幀圖像的去模糊卷積核；通過所述去模糊卷積核對所述第N幀圖像進行去模糊處理，得到第N幀去模糊處理後的圖像。
  2. 根據請求項1所述的方法，其中，所述基於所述第N幀圖像、所述第N-1幀圖像以及所述第N-1幀去模糊處理後的圖像，得到所述第N幀圖像的去模糊卷積核，包括：對待處理圖像的像素點進行卷積處理，得到去模糊卷積核，其中，所述待處理圖像由所述第N幀圖像、所述第N-1幀圖像以及所述第N-1幀去模糊處理後的圖像在通道維度上進行疊加得到。
  3. 根據請求項2所述的方法，其中，所述對待處理圖像的像素點進行卷積處理，得到去模糊卷積核，包括：對所述待處理圖像進行卷積處理，以提取所述第N-1幀圖像的像素點相對於所述第N幀圖像的像素點的運動資 訊，得到對齊卷積核，其中，所述運動資訊包括速度和方向；對所述對齊卷積核進行編碼處理，得到所述去模糊卷積核。
  4. 根據請求項2或3所述的方法，其中，所述通過所述去模糊卷積核對所述第N幀圖像進行去模糊處理，得到第N幀去模糊處理後的圖像，包括：通過所述去模糊卷積核對所述第N幀圖像的特徵圖像的像素點進行卷積處理，得到第一特徵圖像；對所述第一特徵圖像進行解碼處理，得到所述第N幀去模糊處理後的圖像。
  5. 根據請求項4所述的方法，其中，所述通過所述去模糊卷積核對所述第N幀圖像的特徵圖像的像素點進行卷積處理，得到第一特徵圖像，包括：調整所述去模糊卷積核的維度，使所述去模糊卷積核的通道數與所述第N幀圖像的特徵圖像的通道數相同；通過調整維度後的所述去模糊卷積核對所述第N幀圖像的特徵圖像的像素點進行卷積處理，得到所述第一特徵圖像。
  6. 根據請求項3所述的方法，其中，所述對所述待處理圖像進行卷積處理，以提取所述第N-1幀圖像的像素點相對於所述第N幀圖像的像素點的運動資訊，得到對齊卷積核之後，還包括： 通過所述對齊卷積核對所述第N-1幀去模糊處理後的圖像的特徵圖像的像素點進行卷積處理，得到第二特徵圖像。
  7. 根據請求項6所述的方法，其中，所述通過所述對齊卷積核對所述第N-1幀去模糊處理後的圖像的特徵圖像的像素點進行卷積處理，得到第二特徵圖像，包括：調整所述對齊卷積核的維度，使所述對齊卷積核的通道數與所述第N-1幀圖像的特徵圖像的通道數相同；通過調整維度後的所述對齊卷積核對所述第N-1幀去模糊處理後的圖像的特徵圖像的像素點進行卷積處理，得到所述第二特徵圖像。
  8. 根據請求項7所述的方法，其中，所述對所述第一特徵圖像進行解碼處理，得到所述第N幀去模糊處理後的圖像，包括：對所述第一特徵圖像和所述第二特徵圖像進行融合處理，得到第三特徵圖像；對所述第三特徵圖像進行解碼處理，得到所述第N幀去模糊處理後的圖像。
  9. 根據請求項3所述的方法，其中，所述對所述待處理圖像進行卷積處理，以提取所述第N-1幀圖像的像素點相對於所述第N幀圖像的像素點的運動資訊，得到對齊卷積核，包括： 對所述第N幀圖像、所述第N-1幀圖像以及所述第N-1幀去模糊處理後的圖像在通道維度上進行疊加處理，得到所述待處理圖像；對所述待處理圖像進行編碼處理，得到第四特徵圖像；對所述第四特徵圖像進行卷積處理，得到第五特徵圖像；通過卷積處理將所述第五特徵圖像的通道數調整至第一預設值，得到所述對齊卷積核。
  10. 根據請求項9所述的方法，其中，所述對齊卷積核進行編碼處理，得到所述去模糊卷積核，包括：通過卷積處理將所述對齊卷積核的通道數調整至第二預設值，得到第六特徵圖像；對所述第四特徵圖像和所述第六特徵圖像進行融合處理，得到第七特徵圖像；對所述第七特徵圖像進行卷積處理，以提取所述第N-1幀去模糊處理後的圖像的像素點相對於所述第N-1幀圖像的像素點的去模糊資訊，得到所述去模糊卷積核。
  11. 根據請求項10所述的方法，其中，所述對所述第七特徵圖像進行卷積處理，以提取所述第N-1幀去模糊處理後的圖像相對於所述第N-1幀圖像的像素點的去模糊資訊，得到所述去模糊卷積核，包括：對所述第七特徵圖像進行卷積處理，得到第八特徵圖像； 通過卷積處理將所述第八特徵圖像的通道數調整至所述第一預設值，得到所述去模糊卷積核。
  12. 根據請求項8所述的方法，其中，所述對所述第三特徵圖像進行解碼處理，得到所述第N幀去模糊處理後的圖像，包括：對所述第三特徵圖像進行解卷積處理，得到第九特徵圖像；對所述第九特徵圖像進行卷積處理，得到第N幀解碼處理後的圖像；將所述第N幀圖像的第一像素點的像素值與所述第N幀解碼處理後的圖像的第二像素點的像素值相加，得到所述第N幀去模糊處理後的圖像，其中，所述第一像素點在所述第N幀圖像中的位置與所述第二像素點在所述第N幀解碼處理後的圖像中的位置相同。
  13. 一種電子設備，包括：處理器、輸入裝置、輸出裝置和記憶體，所述處理器、輸入裝置、輸出裝置和記憶體相互連接，所述記憶體中儲存有程式指令；所述程式指令被所述處理器執行時，使所述處理器執行如請求項1至12任一項請求項所述的方法。
  14. 一種電腦可讀儲存介質，所述電腦可讀儲存介質中儲存有電腦程式，所述電腦程式包括程式指令，所述程式指令當被電子設備的處理器執行時，使所述處理器執行請求項1至12任意一項所述的方法。
TW108145856A 2019-04-22 2019-12-13 視頻圖像處理方法、電子設備和電腦可讀儲存介質 TWI759668B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910325282.5A CN110062164B (zh) 2019-04-22 2019-04-22 视频图像处理方法及装置
CN201910325282.5 2019-04-22

Publications (2)

Publication Number Publication Date
TW202040986A TW202040986A (zh) 2020-11-01
TWI759668B true TWI759668B (zh) 2022-04-01

Family

ID=67319990

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108145856A TWI759668B (zh) 2019-04-22 2019-12-13 視頻圖像處理方法、電子設備和電腦可讀儲存介質

Country Status (7)

Country Link
US (1) US20210352212A1 (zh)
JP (1) JP7123256B2 (zh)
KR (1) KR20210048544A (zh)
CN (3) CN110062164B (zh)
SG (1) SG11202108197SA (zh)
TW (1) TWI759668B (zh)
WO (1) WO2020215644A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110062164B (zh) * 2019-04-22 2021-10-26 深圳市商汤科技有限公司 视频图像处理方法及装置
CN112465698A (zh) * 2019-09-06 2021-03-09 华为技术有限公司 一种图像处理方法和装置
CN111241985B (zh) * 2020-01-08 2022-09-09 腾讯科技（深圳）有限公司 一种视频内容识别方法、装置、存储介质、以及电子设备
CN112200732B (zh) * 2020-04-30 2022-10-21 南京理工大学 一种清晰特征融合的视频去模糊方法
KR20220116331A (ko) 2021-04-07 2022-08-22 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 모델 트레이닝 방법, 보행자 재인식 방법, 장치 및 전자 기기
CN113409209A (zh) * 2021-06-17 2021-09-17 Oppo广东移动通信有限公司 图像去模糊方法、装置、电子设备与存储介质
US20230034727A1 (en) * 2021-07-29 2023-02-02 Rakuten Group, Inc. Blur-robust image segmentation
CN116362976A (zh) * 2021-12-22 2023-06-30 北京字跳网络技术有限公司 一种模糊视频修复方法及装置
CN116132798B (zh) * 2023-02-02 2023-06-30 深圳市泰迅数码有限公司 一种智能摄像头的自动跟拍方法
CN116128769B (zh) * 2023-04-18 2023-06-23 聊城市金邦机械设备有限公司 摇摆运动机构的轨迹视觉记录系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957036A (zh) * 2016-05-06 2016-09-21 电子科技大学 一种加强字符先验的视频去运动模糊方法
CN109360171A (zh) * 2018-10-26 2019-02-19 北京理工大学 一种基于神经网络的视频图像实时去模糊方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8654201B2 (en) * 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
EP2153407A1 (en) * 2007-05-02 2010-02-17 Agency for Science, Technology and Research Motion compensated image averaging
KR101574733B1 (ko) * 2008-11-19 2015-12-04 삼성전자 주식회사 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법
KR20100090961A (ko) * 2009-02-09 2010-08-18 삼성전자주식회사 가변 부호화 어퍼쳐 장치를 이용하는 이미징 방법 및 이를 적용하는 이미징 장치
JP5388072B2 (ja) 2009-02-13 2014-01-15 国立大学法人静岡大学 モーションブラー制御装置、方法、及びプログラム
US8390704B2 (en) * 2009-10-16 2013-03-05 Eastman Kodak Company Image deblurring using a spatial image prior
US8379120B2 (en) * 2009-11-04 2013-02-19 Eastman Kodak Company Image deblurring using a combined differential image
JP5204165B2 (ja) * 2010-08-05 2013-06-05 パナソニック株式会社 画像復元装置および画像復元方法
US8860824B2 (en) * 2010-08-06 2014-10-14 Honeywell International Inc. Motion blur modeling for image formation
CN102073993B (zh) * 2010-12-29 2012-08-22 清华大学 一种基于摄像机自标定的抖动视频去模糊方法和装置
CN102158730B (zh) * 2011-05-26 2014-04-02 威盛电子股份有限公司 影像处理系统及方法
KR101844332B1 (ko) * 2012-03-13 2018-04-03 삼성전자주식회사 블러 영상 및 노이즈 영상으로 구성된 멀티 프레임을 이용하여 비균일 모션 블러를 제거하는 방법 및 장치
CN103049891B (zh) * 2013-01-25 2015-04-08 西安电子科技大学 基于自适应窗口选择的视频图像去模糊方法
US9392173B2 (en) * 2013-12-13 2016-07-12 Adobe Systems Incorporated Image deblurring based on light streaks
CN104932868B (zh) * 2014-03-17 2019-01-15 联想(北京)有限公司 一种数据处理方法及电子设备
CN104135598B (zh) * 2014-07-09 2017-05-17 清华大学深圳研究生院 一种视频图像稳定方法及装置
CN104103050B (zh) * 2014-08-07 2017-03-15 重庆大学 一种基于局部策略的真实视频复原方法
CN106033595B (zh) * 2015-03-13 2021-06-22 中国科学院西安光学精密机械研究所 一种基于局部约束的图像盲去模糊方法
CN105405099A (zh) * 2015-10-30 2016-03-16 北京理工大学 一种基于点扩散函数的水下图像超分辨率重建方法
CN106251297A (zh) * 2016-07-19 2016-12-21 四川大学 一种改进的基于多幅图像模糊核估计的盲超分辨率重建算法
CN106791273B (zh) * 2016-12-07 2019-08-20 重庆大学 一种结合帧间信息的视频盲复原方法
CN107273894A (zh) * 2017-06-15 2017-10-20 珠海习悦信息技术有限公司 车牌的识别方法、装置、存储介质及处理器
CN108875486A (zh) * 2017-09-28 2018-11-23 北京旷视科技有限公司 目标对象识别方法、装置、系统和计算机可读介质
CN108875900B (zh) * 2017-11-02 2022-05-24 北京旷视科技有限公司 视频图像处理方法和装置、神经网络训练方法、存储介质
CN107944416A (zh) * 2017-12-06 2018-04-20 成都睿码科技有限责任公司 一种通过视频进行真人验证的方法
CN108109121A (zh) * 2017-12-18 2018-06-01 深圳市唯特视科技有限公司 一种基于卷积神经网络的人脸模糊快速消除方法
CN108256629B (zh) * 2018-01-17 2020-10-23 厦门大学 基于卷积网络和自编码的eeg信号无监督特征学习方法
CN108629743B (zh) * 2018-04-04 2022-03-25 腾讯科技（深圳）有限公司 图像的处理方法、装置、存储介质和电子装置
CN108846861B (zh) * 2018-06-12 2020-12-29 广州视源电子科技股份有限公司 图像单应矩阵计算方法、装置、移动终端及存储介质
CN108830221A (zh) * 2018-06-15 2018-11-16 北京市商汤科技开发有限公司 图像的目标对象分割及训练方法和装置、设备、介质、产品
CN109345449B (zh) * 2018-07-17 2020-11-10 西安交通大学 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN109410130B (zh) * 2018-09-28 2020-12-04 华为技术有限公司 图像处理方法和图像处理装置
CN109472837A (zh) * 2018-10-24 2019-03-15 西安电子科技大学 基于条件生成对抗网络的光电图像转换方法
CN110062164B (zh) * 2019-04-22 2021-10-26 深圳市商汤科技有限公司 视频图像处理方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957036A (zh) * 2016-05-06 2016-09-21 电子科技大学 一种加强字符先验的视频去运动模糊方法
CN109360171A (zh) * 2018-10-26 2019-02-19 北京理工大学 一种基于神经网络的视频图像实时去模糊方法

Also Published As

Publication number Publication date
CN110062164A (zh) 2019-07-26
JP7123256B2 (ja) 2022-08-22
TW202040986A (zh) 2020-11-01
CN113992848A (zh) 2022-01-28
CN110062164B (zh) 2021-10-26
JP2021528795A (ja) 2021-10-21
KR20210048544A (ko) 2021-05-03
CN113992847A (zh) 2022-01-28
WO2020215644A1 (zh) 2020-10-29
US20210352212A1 (en) 2021-11-11
SG11202108197SA (en) 2021-08-30

Similar Documents

Publication Publication Date Title
TWI759668B (zh) 視頻圖像處理方法、電子設備和電腦可讀儲存介質
JP6471777B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20220222776A1 (en) Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution
TWI777185B (zh) 機器人圖像增強方法、處理器、電子設備、電腦可讀儲存介質
CN110428382B (zh) 一种用于移动终端的高效视频增强方法、装置和存储介质
CN112950471A (zh) 视频超分处理方法、装置、超分辨率重建模型、介质
CN115690382B (zh) 深度学习模型的训练方法、生成全景图的方法和装置
WO2022012231A1 (zh) 视频生成方法、装置、可读介质及电子设备
CN109949234A (zh) 基于深度网络的视频复原模型训练方法及视频复原方法
Angarano et al. Generative adversarial super-resolution at the edge with knowledge distillation
Conde et al. Lens-to-lens bokeh effect transformation. NTIRE 2023 challenge report
CN108122218B (zh) 基于颜色空间的图像融合方法与装置
TWI586144B (zh) 用於視頻分析與編碼之多重串流處理技術
CN111861877A (zh) 视频超分变率的方法和装置
CN113379600A (zh) 基于深度学习的短视频超分辨率转换方法、装置及介质
CN113658050A (zh) 一种图像的去噪方法、去噪装置、移动终端及存储介质
WO2023133889A1 (zh) 图像处理方法、装置、遥控设备、系统及存储介质
WO2023133888A1 (zh) 图像处理方法、装置、遥控设备、系统及存储介质
CN116310408B (zh) 一种建立事件相机与帧相机数据关联的方法及装置
Wei et al. Rethinking blur synthesis for deep real-world image deblurring
WO2024041482A1 (zh) 一种图像处理方法、装置及系统
Li et al. Convolutional neural network based inter-frame enhancement for 360-degree video streaming
Valtchev Lossy Light Field Compression Using Modern Deep Learning and Domain Randomization Techniques
Zheng et al. A RAW Burst Super-Resolution Method with Enhanced Denoising
CN116258635A (zh) 水下图像增强方法、装置、电子设备及存储介质