TWI741305B - 圖像處理方法和裝置 - Google Patents

圖像處理方法和裝置 Download PDF

Info

Publication number
TWI741305B
TWI741305B TW108119192A TW108119192A TWI741305B TW I741305 B TWI741305 B TW I741305B TW 108119192 A TW108119192 A TW 108119192A TW 108119192 A TW108119192 A TW 108119192A TW I741305 B TWI741305 B TW I741305B
Authority
TW
Taiwan
Prior art keywords
image
frame
images
video
offset
Prior art date
Application number
TW108119192A
Other languages
English (en)
Other versions
TW202009876A (zh
Inventor
雷華
陳凱
王隸楨
Original Assignee
大陸商虹軟科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商虹軟科技股份有限公司 filed Critical 大陸商虹軟科技股份有限公司
Publication of TW202009876A publication Critical patent/TW202009876A/zh
Application granted granted Critical
Publication of TWI741305B publication Critical patent/TWI741305B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/211—Ghost signal cancellation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本發明實施例揭露一種圖像處理方法和裝置，該方法包括：對視頻中的每一幀圖像進行亮度調整；對經過亮度調整的每一幀圖像進行偏移量補償；對經過偏移量補償的每一幀圖像的像素作時域濾波。通過該實施例方案，有效去除了視頻中存在的亮度或者顏色波動。

Description

圖像處理方法和裝置
相關申請案
本發明基於申請號為201810961926.5、申請日為2018/8/22的中國專利申請提出，並要求該中國專利申請的優先權，該中國專利申請的全部內容在此引入本發明作為參考。
本發明實施例涉及圖像處理技術，尤指一種圖像處理方法和裝置。
由於光源不穩定（比如日常照明中，由於電源是交流電，光源的亮度會隨著交流電的振幅波動而變化），相機（包括數位相機、手機攝像頭等）拍攝的視頻會出現隨著光源變化而出現的幀與幀之間明暗波動甚至顏色波動的現象。特別是在拍攝幀率（拍攝視頻時使用的幀率，用以區分播放視頻時使用的幀率）為高幀率（大於或等於240幀每秒）的視頻時，這種現象尤為明顯。
目前，針對光源的頻率為60Hz，幀率為240幀每秒的視頻，通過對相鄰兩幀的疊加平均可以明顯的改善視頻的亮度和顏色波動現象。原理上只要是拍攝幀率為光源頻率的整數倍的視頻都可以通過相鄰幾幀疊加的方法改善亮度波動現象（視頻中的每幀圖像的平均亮度或者圖像中每個像素的亮度隨著幀數變化出現明暗波動的現象）和顏色波動現象（由於每個顏色通道亮度波動不一致造成了顏色隨著亮度波動而變化的現象）。
然而該方案只針對拍攝幀率為光源頻率的整數倍的視頻有明顯的效果，其它的視頻效果不明顯。並且通過該方法處理後的視頻，當拍攝視頻時有快速運動物體存在時，會出現移動物體的重影。
本發明的至少部分實施例提供了一種圖像處理方法和裝置，能夠去除視頻中存在的亮度或者顏色波動。
在本發明其中一個實施例中，提供了一種圖像處理方法，包括： 對視頻中的每一幀圖像進行亮度調整； 對經過亮度調整的每一幀圖像進行偏移量補償； 對經過偏移量補償的每一幀圖像的像素作時域濾波。
在一個可選實施例中，所述對視頻中的每一幀圖像進行亮度調整包括： 對所述每一幀圖像分別進行如下處理： 分別統計三個顏色通道的顏色均值；三個顏色通道是指紅色R通道、綠色G通道和藍色B通道； 採用預設的第一濾波方案，分別根據每個顏色通道的顏色均值對相應顏色通道進行第一時域濾波。
在一個可選實施例中，所述對經過亮度調整的每一幀圖像進行偏移量補償包括：採用預設的偏移量補償算法，獲取經過亮度調整的視頻中任意相鄰的兩幀圖像之間的偏移量，並通過對所述偏移量進行補償，以使得所述視頻中任意相鄰的兩幀圖像位於相同的圖像座標下的圖像內容保持一致。
在一個可選實施例中，所述對經過偏移量補償的每一幀圖像的像素作時域濾波包括：採用預設的第二濾波方案對每一幀視頻圖像中的每一個像素作第二時域濾波，以使得當前幀圖像和先於當前幀的幀圖像進行線性疊加。
在一個可選實施例中，所述方法還包括：在對經過亮度調整的每一幀圖像進行偏移量補償以後，對圖像中是否包含運動物體進行判斷。
在一個可選實施例中，所述對圖像中是否包含運動物體進行判斷包括： 分別對當前幀圖像和上一幀圖像進行分塊，獲得多個第一分塊圖像； 根據預設的差異計算算法，分別計算所述當前幀圖像和所述上一幀圖像中相對應的兩個第一分塊圖像的差異； 將所述兩個第一分塊圖像的差異與預設的差異閾值相比較； 當所述兩個第一分塊圖像的差異大於或等於所述差異閾值時，判定所述兩個第一分塊圖像為非相似的，並判定所述兩個第一分塊圖像在所述當前幀圖像和所述上一幀圖像中對應的圖像區域包含有運動物體；當所述兩個第一分塊圖像的差異小於所述差異閾值時，判定所述兩個第一分塊圖像為相似的，並判定所述兩個第一分塊圖像在所述當前幀圖像和所述上一幀圖像中對應的圖像區域不包含有運動物體。
在一個可選實施例中，所述獲取經過亮度調整的視頻中任意相鄰的兩幀圖像之間的偏移量包括： 分別對經過亮度調整後的當前幀圖像和上一幀圖像進行分塊，獲得多個第二分塊圖像； 分別計算所述當前幀圖像和所述上一幀圖像中相對應的兩個第二分塊圖像之間的偏移量； 從所述多個第二分塊圖像中排除包含運動物體的第二分塊圖像，並將剩餘的第二分塊圖像的偏移量的平均值作為所述當前幀圖像和所述上一幀圖像之間的偏移量。
在一個可選實施例中，所述方法還包括： 在判斷出任一幀圖像中包含有運動物體後，生成該幀圖像的遮罩版圖像；其中，該遮罩版圖像中包含有所述運動物體的圖像區域的像素值為1，不包含有所述運動物體的圖像區域的像素值為0； 根據預設的融合算法，利用所述遮罩版圖像將對像素作過所述時域濾波的相應幀圖像與未對像素作過時域濾波的相應幀圖像進行融合，以使得所述包含有所述運動物體的圖像區域得到保留。
在一個可選實施例中，所述方法還包括：對經過融合的每一幀圖像進行空域濾波。
在本發明的其中一個實施例中，還提供了一種圖像處理裝置，包括：處理器和電腦可讀儲存媒體，所述電腦可讀儲存媒體中儲存有指令，其特徵在於，當所述指令被所述處理器執行時，實現上述任意一項所述的圖像處理方法。
本發明實施例包括：對視頻中的每一幀圖像進行亮度調整；對經過亮度調整的每一幀圖像進行偏移量補償；對經過偏移量補償的每一幀圖像的像素作時域濾波。通過該實施例方案，有效去除了視頻中存在的亮度或者顏色波動。
本發明實施例的其它特徵和優點將在隨後的說明書中闡述，並且，部分地從說明書中變得顯而易見，或者通過實施本發明而瞭解。本發明實施例的目的和其他優點可通過在說明書、申請專利範圍以及圖式中所特別指出的結構來實現和獲得。
為使本發明的目的、技術方案和優點更加清楚明白，下文中將結合圖式對本發明的實施例進行詳細說明。需要說明的是，在不衝突的情況下，本發明中的實施例及實施例中的特徵可以相互任意組合。
在圖式的流程圖示出的步驟可以在諸如一組電腦可執行指令的電腦系統中執行。並且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同於此處的循序執行所示出或描述的步驟。
實施例一
一種圖像處理方法，如圖1所示，可以包括步驟S101-S103： S101：對視頻中的每一幀圖像進行亮度調整； S102：對經過亮度調整的每一幀圖像進行偏移量補償； S103：對經過偏移量補償的每一幀圖像的像素作時域濾波。
在本發明實施例中，對於視頻中的每一幀圖像，首先進行整體的亮度調整，之後實施圖像匹配，即對經過亮度調整的每一幀圖像進行偏移量補償；根據圖像匹配後的結果進行時域濾波，有效地減少了高速拍攝視頻在波動光源下產生的亮度波動效應，去除了視頻中存在的亮度或者顏色波動。
在本發明實施例中，對於具體的亮度調整、圖像匹配以及時域濾波的方法、算法和裝置均不作限制，可以根據不同的應用場景，通過目前存在的任意方法、算法或裝置實現。
在本發明實施例中，需要說明的是，該實施例方案可以應用於高幀率（如大於或等於240幀每秒的幀率）中，可以包括但不限於：幀率大於或等於240幀每秒，小於或等於的960幀每秒的視頻。光源的頻率可以包括但不限於：60HZ和50HZ。任何能夠採用本發明實施例方案的視頻均在本發明實施例的保護範圍之內。
實施例二
該實施例在實施例一的基礎上，給出了亮度調整的一個具體實施方式。
在本發明實施例中，如圖2所示，所述對視頻中的每一幀圖像進行亮度調整可以包括：對所述每一幀圖像分別進行如下步驟S201-S202步驟的處理： S201：分別統計三個顏色通道的顏色均值；三個顏色通道是指紅色R通道、綠色G通道和藍色B通道； S202：採用預設的第一濾波方案，分別根據每個顏色通道的顏色均值對相應顏色通道進行第一時域濾波。
在本發明實施例中，對每一幀圖像，分別統計三個顏色通道的顏色均值，假設當前幀圖像的RGB三個顏色通道的顏色均值分別為
Figure 02_image001
、
Figure 02_image003
、
Figure 02_image005
。可以採用預設的第一濾波方案，分別對三個顏色通道的顏色均值進行第一時域濾波。
在本發明實施例中，該第一濾波方案可以包括但不限於：有限脈衝回應濾波器或無限脈衝回應濾波器。
在本發明實施例中，這裡以
Figure 02_image001
為例解釋如何通過有限脈衝回應濾波器進行時域濾波：假設
Figure 02_image007
為先於當前幀圖像
Figure 02_image009
幀圖像的
Figure 02_image011
通道的顏色均值，對
Figure 02_image011
通道的顏色均值進行時域濾波可以用以下關係式描述：
Figure 02_image013
其中，
Figure 02_image015
為
Figure 02_image011
通道時域濾波的結果，
Figure 02_image017
為濾波係數。令
Figure 02_image019
，用
Figure 02_image021
乘以當前幀圖像中每個像素中
Figure 02_image011
通道的像素值，作為該幀圖像中每個像素中
Figure 02_image011
通道的像素值。
在本發明實施例中，對其他通道（G通道和B通道）進行類似的操作，以實現對當前幀圖像中每個像素中
Figure 02_image023
顏色通道的顏色均值進行時域濾波，並利用時域濾波後的結果去調整每個像素的每個顏色通道的像素值，從而實現對視頻中的每一幀圖像進行亮度調整，在此不再一一贅述。
實施例三
該實施例在實施例一或實施例二的基礎上，給出了圖像匹配的一個具體實施方式。
在本發明實施例中，所述對經過亮度調整的每一幀圖像進行偏移量補償可以包括：採用預設的偏移量補償算法，獲取經過亮度調整的視頻中任意相鄰的兩幀圖像之間的偏移量，並通過對所述偏移量進行補償，以使得所述視頻中任意相鄰的兩幀圖像位於相同的圖像座標下的圖像內容保持一致。
在本發明實施例中，由於相機的晃動（比如手持相機時手的抖動會引起相機的晃動），當前幀圖像相對於上一幀圖像會有一定的偏移量，這樣就造成了兩幀圖像中位於相同的圖像座標下的圖像內容不一致，這種現象會對後續的圖像時域濾波造成不良的影響。除了偏移量之外，還有可能存在相機的旋轉，但是如果只考慮相鄰兩幀圖像的話，相機的旋轉可以忽略。圖像匹配的目的就是為了找到圖像之間的偏移量，並通過偏移量的補償，消除圖像內容不一致的現象。
在本發明實施例中，視頻中任意相鄰的兩幀圖像位於相同的圖像座標下的圖像內容保持一致可以是指：任意相鄰的兩幀圖像之間，任意兩個圖像內容相同的區域在相同的圖像座標下所處的位置相同，或者說，所處的位置的偏差量小於或等於預設的偏差閾值。
在本發明實施例中，該偏移量補償算法可以包括但不限於：範本匹配算法和/或基於特徵點的匹配算法，下面將分別對兩種偏移量補償算法進行詳細說明。
在本發明實施例中，最簡單的偏移量補償算法可以是經典的範本匹配算法。其基本原理可簡單描述如下：在參考圖像中截取與模板圖大小一樣的區域，作為截取圖，將模板圖和截取圖進行比較，計算它們的差異。其中，評價圖像差異的技術指標可以包括但不限於：歸一化互相關、平均絕對差、誤差平方和及絕對誤差和等。可以人為設定截取圖在參考圖中的起始位置的範圍，計算在這個範圍內所有截取圖和模板圖的差異，將最小差異對應的截取圖的起始位置作為模板圖和參考圖的偏移量。
在本發明實施例中，基於特徵點的匹配算法的基本原理可簡單描述如下：在待匹配的兩幅圖像中分別提取特徵點，通過特徵點匹配的算法求得特徵點匹配對，根據這些特徵點匹配對計算兩幅圖像之間的偏移量。
在本發明實施例中，提取特徵點的算法也有很多種，例如，可以包括但不限於經典的SIFT算法（SIFT，即Scale-invariant feature transform，尺度不變特徵變換）、HARRIS算法等。
在本發明實施例中，特徵點匹配的算法可以包括但不限於SIFT算法、SURF（Speeded Up Robust Features快速增強的健壯特性）算法等。
在本發明實施例中，除根據這些特徵點匹配對計算兩幅圖像之間的偏移量之外，還可以求得特徵點的光流（如，採用經典Lucas-Kanade算法），通過排除異常的光流（簡單的方法可以是設定一個閾值，大於或等於這個閾值的光流被認定為是異常光流，小於這個閾值的光流被認定為是非異常光流），將剩下的特徵點的光流求平均作為整幅圖像的偏移量。
實施例四
該實施例在實施例三的基礎上，為了消除移動物體對偏移量補償過程的影響，給出了獲取圖像的偏移量的另一個具體實施方式。
在本發明實施例中，如圖3所示，所述獲取經過亮度調整的視頻中任意相鄰的兩幀圖像之間的偏移量可以包括步驟S301-S303： S301：分別對經過亮度調整後的當前幀圖像和上一幀圖像進行分塊，獲得多個第二分塊圖像； S302：分別計算所述當前幀圖像和所述上一幀圖像中相對應的兩個第二分塊圖像之間的偏移量； S303：從所述多個第二分塊圖像中排除包含運動物體的第二分塊圖像，並將剩餘的第二分塊圖像的偏移量的平均值作為所述當前幀圖像和所述上一幀圖像之間的偏移量。
在本發明實施例中，為了消除運動物體對偏移量補償的影響，可以將圖像先進行分塊，分別計算每一個圖像塊（即上述的第二分塊圖像）對應的偏移量，然後排除那些受運動物體影響的圖像塊，將其餘圖像塊的偏移量求平均值作為整個圖像的偏移量。
實施例五
該實施例在實施例三或實施例四的基礎上，給出了對經過偏移量補償後的視頻進行進一步時域濾波的一個具體實施方式。
在本發明實施例中，所述對經過偏移量補償的每一幀圖像的像素作時域濾波可以包括：採用預設的第二濾波方案對每一幀視頻圖像中的每一個像素作第二時域濾波，以使得當前幀圖像和先於當前幀的圖像進行線性疊加。
在本發明實施例中，該步驟中的時域濾波（即第二時域濾波）與步驟S101中的時域濾波（即第一時域濾波）類似，不同的是該步驟是對每一個像素做時域濾波。
在本發明實施例中，需要說明的時，該第一時域濾波和第二時域濾波僅用於區分兩個不同步驟中的時域濾波，不用於限制兩次時域濾波的具體方案和實施順序等。第一時域濾波和第二時域濾波可以採用相同或不同的時域濾波方案。
在本發明實施例中，該第二濾波方案可以包括但不限於：有限脈衝回應濾波器或無限脈衝回應濾波器。
在本發明實施例中，下面以採用有限脈衝回應濾波器濾波為例進行詳細說明。具體地，通過有限脈衝回應濾波器濾波可以通過下述的關係式實現：
Figure 02_image025
其中，
Figure 02_image027
為當前幀圖像，
Figure 02_image029
為先於當前幀圖像
Figure 02_image009
幀的圖像，
Figure 02_image031
為視頻的第一幀圖像，
Figure 02_image033
為時域濾波後的結果，
Figure 02_image035
為圖像像素座標，
Figure 02_image037
為濾波係數。
在本發明實施例中，對視頻中的每一幀幀圖像進行時域濾波，濾波後的結果是當前幀圖像和歷史幀圖像（即先於當前幀的圖像）的線性疊加。
實施例六
該實施例在實施例三或實施例四的基礎上，為了保護好視頻中的運動物體不被模糊或者不出現重影現象，並且為了上述實施例四種的方案順利實施，給出了對圖像中是否包含運動物體進行判斷的實施例方案，並給出了一個具體實施方式。
在本發明實施例中，所述方法還可以包括：在對經過亮度調整的每一幀圖像進行偏移量補償以後，對圖像中的運動物體進行判斷。
在本發明實施例中，如圖4所示，所述對圖像中是否包含運動物體進行判斷可以包括步驟S401-S404： S401：分別對當前幀圖像和上一幀圖像進行分塊，獲得多個第一分塊圖像； S402：根據預設的差異計算算法，分別計算所述當前幀圖像和所述上一幀圖像中相對應的兩個第一分塊圖像的差異； S403：將所述兩個第一分塊圖像的差異與預設的差異閾值相比較； S404：當所述兩個第一分塊圖像的差異大於或等於所述差異閾值時，判定所述兩個第一分塊圖像為非相似的，並判定所述兩個第一分塊圖像在所述當前幀圖像和所述上一幀圖像中對應的圖像區域包含有運動物體；當所述兩個第一分塊圖像的差異小於所述差異閾值時，判定所述兩個第一分塊圖像為相似的，並判定所述兩個第一分塊圖像在所述當前幀圖像和所述上一幀圖像中對應的圖像區域不包含有運動物體。
在本發明實施例中，將當前幀圖像與上一幀圖像進行對比之前，首先將當前幀圖像和上一幀圖像進行分塊，在每一個小塊內，計算當前幀圖像和上一幀圖像之間的差異（該差異的獲取可以採用但不限於：歸一化互相關、平均絕對差、誤差平方和以及絕對誤差和等算法實現），並可以預先設定一個閾值用以判斷這兩幀圖像在這小塊內是否相似，其中，當差異大於或等於該閾值時可以被判斷為非相似，否則判斷為相似。如果判斷結果為非相似，就可以認為該區域包含有運動物體，否則可以判斷該區域不包含運動物體。
在本發明實施例中，需要說明的是，該實施例中的第一分塊圖像和前述實施例中的第二分塊圖像僅是兩個不同的稱呼或標記而已，主要為了區分用於不同目的兩次分塊操作中獲得的分塊圖像，以避免混淆，並沒有任何順序、大小等屬性區分。
在本發明實施例中，需要說明的是，該步驟可以在對經過亮度調整的每一幀圖像進行偏移量補償以後進行，也可以在對經過亮度調整的每一幀圖像進行偏移量補償之前進行，對於其具體實施時間和順序不做詳細限制。
實施例七
該實施例在實施例六的基礎上，為了保護好視頻中的運動物體不被模糊或者不出現重影現象，給出了進一步的具體實施方式。
在本發明實施例中，如圖5所示，該方法還可以包括步驟S501-S502： S501：在判斷出任一幀圖像中包含有運動物體後，生成該幀圖像的遮罩版圖像；其中，該遮罩版圖像中包含有所述運動物體的圖像區域的像素值為1，不包含有所述運動物體的圖像區域的像素值為0； S502：根據預設的融合算法，利用所述遮罩版圖像將對像素作過所述時域濾波（即第二時域濾波）後的相應幀圖像與未對像素作過時域濾波（即第二時域濾波）的相應幀圖像進行融合，以使得所述包含有所述運動物體的圖像區域得到保留。
在本發明實施例中，當任何一幀圖像被判斷出包含運動物體時，可以生成該運動圖像的一幅遮罩版圖像
Figure 02_image039
，該遮罩版圖像
Figure 02_image039
為二值圖像，其中，有運動物體的區域的像素值為1，沒有運動物體的區域的像素值為0。
在本發明實施例中，根據運動物體判斷的結果，可以利用遮罩版圖像
Figure 02_image041
將經過時域濾波後的相應幀圖像與未對像素作過時域濾波的相應幀圖像進行融合，以使得包含有運動物體的圖像區域得到保留，從而消除了時域濾波對運動物體造成的模糊、重影等現象。
在本發明實施例中，該對像素作過所述時域濾波（即第二時域濾波）後的相應幀圖像，以及該未對像素作過時域濾波的相應幀圖像，均是指與上述的遮罩版圖像相對應的幀圖像。
在本發明實施例中，根據該遮罩版圖像
Figure 02_image041
可以採用下述的關係式實現圖像融合：
Figure 02_image043
其中，
Figure 02_image045
為融合後的結果，
Figure 02_image033
為圖像時域濾波的結果，
Figure 02_image047
為當前幀圖像，
Figure 02_image049
為圖像的座標。
在本發明實施例中，通過上述關係式，可以實現時域濾波後的當前幀圖像與未經過時域濾波的當前幀圖像進行簡單疊加，即包含有運動物體的區域採用當前幀圖像的像素值，而沒有包含運動物體的區域採用時域濾波後獲得的結果的像素值。
在本發明實施例中，該預設的融合算法還可以包括：經典的拉普拉斯金字塔融合算法。
在本發明實施例中，經典的拉普拉斯金字塔融合算法基本原理如下：首先產生一系列的模糊圖像
Figure 02_image051
、
Figure 02_image053
…
Figure 02_image055
，其中
Figure 02_image051
為原圖，後面的每層圖像
Figure 02_image057
都是通過對上一層圖像
Figure 02_image059
進行卷積模糊並下採樣生成的，比如
Figure 02_image053
是由
Figure 02_image051
進行卷積模糊並下採樣獲得，卷積模糊核通常採用高斯核，所以這一系列圖像也稱作高斯金字塔。為了簡單起見這裡用高斯金字塔來表示模糊圖像
Figure 02_image051
、
Figure 02_image053
…
Figure 02_image055
序列，儘管有時模糊圖像序列並非由高斯模糊核產生。假設拉普拉斯金字塔標記為
Figure 02_image061
、
Figure 02_image063
…
Figure 02_image065
，那麼拉普拉斯金字塔每一層的圖像可以由該等式獲得：
Figure 02_image067
，其中
Figure 02_image069
函數可以理解為上採樣。即拉普拉斯金字塔的每一層都是由高斯金字塔中的該層對應的圖像減去高斯金字塔中的下一層的圖像經過上採樣的圖像。值得注意的是最後一層
Figure 02_image071
。通過拉普拉斯金字塔重構圖像是上述過程的逆過程。所以通過拉普拉斯金字塔進行融合的步驟描述如下： 1、對時域濾波後的結果
Figure 02_image033
和當前幀
Figure 02_image047
建立拉普拉斯金字塔分別為
Figure 02_image073
和
Figure 02_image075
。 2、對遮罩版圖像
Figure 02_image041
建立高斯金字塔，記為
Figure 02_image077
。 3、構建新的拉普拉斯金字塔
Figure 02_image079
：
Figure 02_image081
。其中
Figure 02_image083
為金字塔層數下標，為正整數，
Figure 02_image049
為圖像的座標。 4、通過
Figure 02_image079
重構圖像得到結果圖。
實施例八
該實施例在實施例七的基礎上，為了去除經過以上步驟後遺留的殘影，給出了進一步的具體實施方式。
在本發明實施例中，所述方法還可以包括：對經過融合的每一幀圖像進行空域濾波。
在本發明實施例中，時域濾波描述的是幀與幀之間的濾波，而空域濾波是指對單幀圖像進行濾波，主要目的是去除經過以上步驟後遺留的殘影。
在本發明實施例中，空域濾波方法可以包括但不限於：保邊濾波器（edge preserved filter）；例如，引導濾波（guided filter）、雙邊濾波（bilateral filter）等濾波器，對圖像融合後的結果進行圖像空域濾波得到最終的結果。
實施例九
該實施例在上述任意實施例的基礎上，給出了一種在視頻圖像縮小的基礎上對視頻圖像進行處理的具體實施方式。
在本發明實施例中，實施例九與實施例一到八的主要流程基本一致，主要的差異在於實施例九中的大部分操作都是在小圖上進行的。其流程圖如圖6所示。具體的如下：在整體亮度調整之後將圖像進行縮小，將整體亮度調整後的圖像標記為
Figure 02_image085
，
Figure 02_image085
縮小後的圖像標記為
Figure 02_image087
。然後對
Figure 02_image087
進行圖像對齊（即進行偏移量補償）、第二時域濾波、運動物體判斷、圖像融合、空域濾波（這些步驟同實施例一到八），將結果記為
Figure 02_image089
。由此可以求得差異圖
Figure 02_image091
：
Figure 02_image093
，其中
Figure 02_image095
為圖像的座標。然後將差異圖
Figure 02_image097
放大到與
Figure 02_image099
同尺寸，得到放大後的差異圖
Figure 02_image101
，將
Figure 02_image101
疊加到
Figure 02_image099
得到最終結果
Figure 02_image103
，其中，
Figure 02_image049
為圖像的座標：
Figure 02_image105
在本發明實施例中，採用了在縮小的圖像上進行大部分處理，然後將處理後的結果和處理前的小圖的差異圖放大後應用到大圖中，該實施例方案在保證效果的前提下可以大大的減少運算時間。
實施例十
一種圖像處理裝置1，如圖7所示，包括：處理器11和電腦可讀儲存媒體12，所述電腦可讀儲存媒體12中儲存有指令，其中，當所述指令被所述處理器11執行時，實現上述任意一項實施例所述的圖像處理方法。
本發明實施例包括：對視頻中的每一幀圖像進行亮度調整；對經過亮度調整的每一幀圖像進行偏移量補償；對經過偏移量補償的每一幀圖像的像素作時域濾波。通過該實施例方案，有效去除了視頻中存在的亮度或者顏色波動，並且很好的保留了運動物體，使其不模糊且無殘影或重影。
本發明實施例所公開的技術可被應用於靜態圖像、運動圖像（例如視頻）中，並且可以被應用於任何合適類型的圖像處理裝置中，例如數碼相機、手機、具有集成數碼相機的電子設備、安全或視頻監視系統、醫療成像系統等等。
與硬體的結合
本發明所屬技術領域中具有通常知識者可以理解，上文中所公開方法中的全部或某些步驟、系統、裝置中的功能模組/單元可以被實施為軟體、固件、硬體及其適當的組合。在硬體實施方式中，在以上描述中提及的功能模組/單元之間的劃分不一定對應於物理組件的劃分；例如，一個物理組件可以具有多個功能，或者一個功能或步驟可以由若干物理組件合作執行。某些組件或所有組件可以被實施為由處理器，如數位訊號處理器或微處理器執行的軟體，或者被實施為硬體，或者被實施為積體電路，如專用積體電路。這樣的軟體可以分布在電腦可讀媒體上，電腦可讀媒體可以包括電腦儲存媒體（或非暫時性媒體）和通訊媒體（或暫時性媒體）。如本發明所屬技術領域中具有通常知識者公知的，術語電腦儲存媒體包括在用於儲存資訊（諸如電腦可讀指令、資料結構、程式模組或其他資料）的任何方法或技術中實施的易失性和非易失性、可移除和不可移除媒體。電腦儲存媒體包括但不限於 RAM、ROM、EEPROM、快閃記憶體或其他記憶體技術、CD-ROM、數位多功能盤（DVD）或其他光碟儲存、磁盒、磁帶、磁片儲存或其他磁儲存裝置、或者可以用於儲存期望的資訊並且可以被電腦訪問的任何其他的媒體。此外，本發明所屬技術領域中具有通常知識者公知的是，通訊媒體通常包含電腦可讀指令、資料結構、程式模組或者諸如載波或其他傳輸機制之類的調製資料信號中的其他資料，並且可包括任何資訊遞送媒體。
1‧‧‧圖像處理裝置 11‧‧‧處理器 12‧‧‧電腦可讀儲存媒體 S101~S103‧‧‧步驟 S201~S202‧‧‧步驟 S301~S303‧‧‧步驟 S401~S404‧‧‧步驟 S501~S502‧‧‧步驟
圖式用來提供對本發明技術方案的進一步理解，並且構成說明書的一部分，與本申請的實施例一起用於解釋本發明的技術方案，並不構成對本發明技術方案的限制。
圖1為本發明實施例的圖像處理方法流程圖。
圖2為本發明實施例的對視頻中的每一幀圖像進行亮度調整的方法流程圖。
圖3為本發明實施例的獲取經過亮度調整的視頻中任意相鄰的兩幀圖像之間的偏移量的方法流程圖。
圖4為本發明實施例的對圖像中是否包含運動物體進行判斷的方法流程圖。
圖5為本發明實施例的對包含有運動物體的圖像進行圖像融合的方法流程圖。
圖6為本發明實施例的在視頻圖像縮小的基礎上對視頻圖像進行處理的方法流程圖。
圖7為本發明實施例的圖像處理裝置組成框圖。
S101~S103‧‧‧步驟

Claims (10)

  1. 一種圖像處理方法，包括以下步驟：對視頻中的每一幀圖像進行亮度調整；在亮度調整後將每一幀圖像進行縮小處理；對經過亮度調整的每一幀縮小後圖像進行偏移量補償；及對經過偏移量補償的每一幀縮小後圖像的像素作時域濾波。
  2. 如請求項1所述之圖像處理方法，其中，所述對視頻中的每一幀圖像進行亮度調整包括：對所述每一幀圖像分別進行如下處理：分別統計三個顏色通道的顏色均值；三個顏色通道是指紅色R通道、綠色G通道和藍色B通道；採用預設的第一濾波方案，分別根據每個顏色通道的顏色均值對相應顏色通道進行第一時域濾波。
  3. 如請求項1所述之圖像處理方法，其中，所述對經過亮度調整的每一幀縮小後圖像進行偏移量補償包括：採用預設的偏移量補償算法，獲取經過亮度調整的視頻中任意相鄰的兩幀圖像之間的偏移量，並通過對所述偏移量進行補償，以使得所述視頻中任意相鄰的兩幀圖像位於相同的圖像座標下的圖像內容保持一致。
  4. 如請求項1所述之圖像處理方法，其中，所述對經過偏移量補償的每一幀縮小後圖像的像素作時域濾波包括：採用預設的第二濾波方案對每一幀視頻圖像中的每一個像素作第二時域濾波，以使得當前幀圖像和先於當前幀的幀圖像進行線性疊加。
  5. 如請求項3所述之圖像處理方法，其中，所述方法還包括：在 所述對經過亮度調整的每一幀縮小後圖像進行偏移量補償以後，對圖像中是否包含運動物體進行判斷。
  6. 如請求項5所述之圖像處理方法，其中，所述對圖像中是否包含運動物體進行判斷包括：分別對當前幀圖像和上一幀圖像進行分塊，獲得多個第一分塊圖像；根據預設的差異計算算法，分別計算所述當前幀圖像和所述上一幀圖像中相對應的兩個第一分塊圖像的差異；將所述兩個第一分塊圖像的差異與預設的差異閾值相比較；當所述兩個第一分塊圖像的差異大於或等於所述差異閾值時，判定所述兩個第一分塊圖像為非相似的，並判定所述兩個第一分塊圖像在所述當前幀圖像和所述上一幀圖像中對應的圖像區域包含有運動物體；當所述兩個第一分塊圖像的差異小於所述差異閾值時，判定所述兩個第一分塊圖像為相似的，並判定所述兩個第一分塊圖像在所述當前幀圖像和所述上一幀圖像中對應的圖像區域不包含有運動物體。
  7. 如請求項3所述之圖像處理方法，其中，所述獲取經過亮度調整的視頻中任意相鄰的兩幀圖像之間的偏移量包括：分別對經過亮度調整後的當前幀圖像和上一幀圖像進行分塊，獲得多個第二分塊圖像；分別計算所述當前幀圖像和所述上一幀圖像中相對應的兩個第二分塊圖像之間的偏移量；從所述多個第二分塊圖像中排除包含運動物體的第二分塊圖像，並將剩餘的第二分塊圖像的偏移量的平均值作為所述當 前幀圖像和所述上一幀圖像之間的偏移量。
  8. 如請求項6所述之圖像處理方法，其中，所述方法還包括：在判斷出任一幀圖像中包含有運動物體後，生成所述幀圖像的遮罩版圖像；其中，所述遮罩版圖像中包含有所述運動物體的圖像區域的像素值為1，不包含有所述運動物體的圖像區域的像素值為0；根據預設的融合算法，利用所述遮罩版圖像將對像素作過所述時域濾波後的相應幀圖像與未對像素作過時域濾波的相應幀圖像進行融合，以使得所述包含有所述運動物體的圖像區域得到保留。
  9. 如請求項8所述之圖像處理方法，其中，所述方法還包括：對經過融合的每一幀圖像進行空域濾波。
  10. 一種圖像處理裝置，包括：處理器和電腦可讀儲存媒體，所述電腦可讀儲存媒體中儲存有指令，其特徵在於，當所述指令被所述處理器執行時，實現如請求項1至9中任一項所述之圖像處理方法。
TW108119192A 2018-08-22 2019-06-03 圖像處理方法和裝置 TWI741305B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810961926.5A CN110858895B (zh) 2018-08-22 2018-08-22 一种图像处理方法和装置
CN201810961926.5 2018-08-22

Publications (2)

Publication Number Publication Date
TW202009876A TW202009876A (zh) 2020-03-01
TWI741305B true TWI741305B (zh) 2021-10-01

Family

ID=69586383

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108119192A TWI741305B (zh) 2018-08-22 2019-06-03 圖像處理方法和裝置

Country Status (5)

Country Link
US (1) US11373279B2 (zh)
JP (1) JP6814849B2 (zh)
KR (1) KR102315471B1 (zh)
CN (1) CN110858895B (zh)
TW (1) TWI741305B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767401B (zh) * 2019-01-15 2021-02-12 深圳看到科技有限公司 画面优化方法、装置、终端及对应的存储介质
CN111935425B (zh) * 2020-08-14 2023-03-24 字节跳动有限公司 视频降噪方法、装置、电子设备及计算机可读介质
CN115359085B (zh) * 2022-08-10 2023-04-04 哈尔滨工业大学 一种基于检出点时空密度判别的密集杂波抑制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547301A (zh) * 2010-09-30 2012-07-04 苹果公司 使用图像信号处理器处理图像数据的系统和方法
US20120240005A1 (en) * 2007-07-04 2012-09-20 Lg Electronics Inc. Digital broadcasting system and method of processing data
TW201611564A (zh) * 2010-12-27 2016-03-16 Rohm Co Ltd 發話接聽單元及接聽單元
CN106464857A (zh) * 2014-03-26 2017-02-22 驼鹿科技公司 紧凑型3d深度捕获系统

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2687670B2 (ja) 1990-04-19 1997-12-08 松下電器産業株式会社 動き検出回路および手ぶれ補正装置
JPH11122513A (ja) 1997-10-09 1999-04-30 Matsushita Electric Ind Co Ltd 蛍光灯フリッカー補正装置及びそれを使用したカメラ
US6747757B1 (en) * 1998-05-20 2004-06-08 Fuji Photo Film Co., Ltd. Image processing method and apparatus
KR100405150B1 (ko) 2001-06-29 2003-11-10 주식회사 성진씨앤씨 시공간 적응적 잡음 제거/고화질 복원 방법 및 이를응용한 고화질 영상 입력 장치
US7570305B2 (en) * 2004-03-26 2009-08-04 Euresys S.A. Sampling of video data and analyses of the sampled data to determine video properties
JP2006024993A (ja) * 2004-07-06 2006-01-26 Matsushita Electric Ind Co Ltd 撮像信号処理装置
JP2007180808A (ja) * 2005-12-27 2007-07-12 Toshiba Corp 映像符号化装置、映像復号化装置、及び映像符号化方法
JP2008109370A (ja) 2006-10-25 2008-05-08 Sanyo Electric Co Ltd 画像補正装置及び方法並びに撮像装置
JP4245045B2 (ja) * 2006-12-26 2009-03-25 ソニー株式会社 撮像装置、撮像信号処理方法及びプログラム
TWI351212B (en) * 2006-12-28 2011-10-21 Altek Corp Brightness adjusting method
JP2009069185A (ja) * 2007-09-10 2009-04-02 Toshiba Corp 映像処理装置及び映像処理方法
US8484028B2 (en) * 2008-10-24 2013-07-09 Fuji Xerox Co., Ltd. Systems and methods for document navigation with a text-to-speech engine
US8538200B2 (en) * 2008-11-19 2013-09-17 Nec Laboratories America, Inc. Systems and methods for resolution-invariant image representation
US8681185B2 (en) * 2009-03-05 2014-03-25 Ostendo Technologies, Inc. Multi-pixel addressing method for video display drivers
JP5374220B2 (ja) * 2009-04-23 2013-12-25 キヤノン株式会社 動きベクトル検出装置およびその制御方法、ならびに撮像装置
KR101089029B1 (ko) 2010-04-23 2011-12-01 동명대학교산학협력단 광류를 이용한 방범용 차량 감지 시스템
CN101964863B (zh) * 2010-05-07 2012-10-24 镇江唐桥微电子有限公司 一种自适应的时空域视频图像降噪方法
US8683377B2 (en) * 2010-05-12 2014-03-25 Adobe Systems Incorporated Method for dynamically modifying zoom level to facilitate navigation on a graphical user interface
US20130169834A1 (en) * 2011-12-30 2013-07-04 Advanced Micro Devices, Inc. Photo extraction from video
JP5362878B2 (ja) 2012-05-09 2013-12-11 株式会社日立国際電気 画像処理装置及び画像処理方法
US9292959B2 (en) * 2012-05-16 2016-03-22 Digizig Media Inc. Multi-dimensional stacking with self-correction
US9495783B1 (en) * 2012-07-25 2016-11-15 Sri International Augmented reality vision system for tracking and geolocating objects of interest
JP6429500B2 (ja) * 2013-06-14 2018-11-28 キヤノン株式会社 光学機器、交換レンズ及び像ぶれ補正方法
CN104995908B (zh) 2014-02-07 2018-01-30 株式会社摩如富 图像处理装置以及图像处理方法
JP5909711B1 (ja) * 2015-06-15 2016-04-27 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線表示方法
JP6558579B2 (ja) * 2015-12-24 2019-08-14 パナソニックＩｐマネジメント株式会社 動線分析システム及び動線分析方法
US20170209125A1 (en) * 2016-01-22 2017-07-27 General Electric Company Diagnostic system and method for obtaining measurements from a medical image
US10497130B2 (en) * 2016-05-10 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method
JP6789682B2 (ja) * 2016-06-13 2020-11-25 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
CN106504717B (zh) * 2016-12-27 2018-01-12 惠科股份有限公司 一种显示装置的驱动方法及显示装置
CN106878787B (zh) * 2017-03-08 2020-02-14 深圳创维－Rgb电子有限公司 电视影院模式实现方法及装置
US20190028766A1 (en) * 2017-07-18 2019-01-24 Audible Magic Corporation Media classification for media identification and licensing
CA3076494A1 (en) * 2017-09-27 2019-04-04 Equifax Inc. Synchronizing data-entry fields with corresponding image regions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120240005A1 (en) * 2007-07-04 2012-09-20 Lg Electronics Inc. Digital broadcasting system and method of processing data
CN102547301A (zh) * 2010-09-30 2012-07-04 苹果公司 使用图像信号处理器处理图像数据的系统和方法
TW201611564A (zh) * 2010-12-27 2016-03-16 Rohm Co Ltd 發話接聽單元及接聽單元
CN106464857A (zh) * 2014-03-26 2017-02-22 驼鹿科技公司 紧凑型3d深度捕获系统

Also Published As

Publication number Publication date
KR20200022334A (ko) 2020-03-03
US11373279B2 (en) 2022-06-28
CN110858895B (zh) 2023-01-24
CN110858895A (zh) 2020-03-03
JP2020031422A (ja) 2020-02-27
TW202009876A (zh) 2020-03-01
KR102315471B1 (ko) 2021-10-20
JP6814849B2 (ja) 2021-01-20
US20200065949A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
US20200374461A1 (en) Still image stabilization/optical image stabilization synchronization in multi-camera image capture
US9591237B2 (en) Automated generation of panning shots
CN108335279B (zh) 图像融合和hdr成像
TWI741305B (zh) 圖像處理方法和裝置
CN111353948B (zh) 一种图像降噪方法、装置及设备
WO2018082185A1 (zh) 图像处理方法和装置
TW201742001A (zh) 影像雜訊估測方法及裝置與影像擷取裝置
US20210243426A1 (en) Method for generating multi-view images from a single image
CN105163047A (zh) 一种基于色彩空间转换的hdr图像生成方法、系统及拍摄终端
US8995784B2 (en) Structure descriptors for image processing
WO2023273868A1 (zh) 图像降噪方法、装置、终端、存储介质
CN114429191B (zh) 基于深度学习的电子防抖方法、系统及存储介质
CN108470327B (zh) 图像增强方法、装置、电子设备及存储介质
CN105809677B (zh) 一种基于双边滤波器的图像边缘检测方法及系统
CN110211065B (zh) 一种食材图像的颜色校正方法和装置
WO2020063072A1 (zh) 图像筛选方法、系统、终端及计算机可读存储介质
WO2017143654A1 (zh) 选择待输出照片的方法、拍照方法、装置及存储介质
CN110689565A (zh) 一种深度图确定的方法、装置及电子设备
CN109308690B (zh) 一种图像亮度均衡方法及终端
CN108810320B (zh) 图像质量提升方法和装置
WO2021068904A1 (zh) 一种图像处理方法及相关装置
Manne et al. Asymmetric wide tele camera fusion for high fidelity digital zoom
CN108122214B (zh) 一种去除伪色的方法及装置
CN110827287B (zh) 确定背景色置信度和图像处理的方法、装置及设备
US9531943B2 (en) Block-based digital refocusing system and method thereof