TWI413023B - 移動偵測方法及裝置 - Google Patents

Description

移動偵測方法及裝置

本發明係指一種移動偵測方法及裝置，尤指一種透過時間像素值差異及空間像素值差異來估計目標像素的移動程度的移動偵測方法及裝置。

視訊在擷取、錄影和傳輸等各種的情形下可能會產生雜訊，進而影響其後續處理的效果。因此，雜訊消除在視訊處理中是一件很重要的任務。一般來說，消除雜訊的方法分成空間雜訊消除(Spatial Noise Reduction)及時間雜訊消除(Temporal Noise Reduction)兩種。在靜止的畫面上，純粹使用時間域上的關聯性來濾除雜訊，會比使用空間上的影像特性，保留更多的影像細節；相反地，在移動的畫面上，使用時間域上的關聯性來濾除雜訊，則會造成殘影的情形，由於影像細節在移動時會略微模糊，使用空間上的影像特性來濾除雜訊，反而無太大的後遺症。因此，為了要正確的將雜訊濾除，視訊濾波器必須能夠在空間域與時間域上工作。

請參考第1圖，第1圖係一習知雜訊消除裝置10之示意圖。雜訊消除裝置10用於一視訊處理系統中消除雜訊，其包含一空間濾波器12、一時間濾波器14、一移動偵測單元16及一輸出端18。空間濾波器12用來對一當前畫面f(t)的像素資料進行二維低通濾波，以消除當前畫面f(t)中與時間無關的雜訊。移動偵測單元16用來判斷當前畫面f(t)的動態程度，其係透過比較當前畫面f(t)與其先前畫面f(t-1)的像素資料，產生當前畫面的移動估測值。根據移動估測值，時間濾波器14可對當前畫面f(t)的像素資料進行適當濾波，以產生一濾波結果f"(t)。當畫面為動態時，時間濾波器14使用空間濾波器12所輸出之二維低通濾波結果，作為當前畫面之濾波結果f"(t)；而當畫面為靜態時，則對先前畫面f(t-1)與當前畫面f(t)之像素資料進行一三維濾波運算，以產生當前畫面之濾波結果f"(t)。

換句話說，移動偵測單元16可判斷畫面的動態程度，而時間濾波器14則根據畫面的動態程度對當前畫面f(t)進行適當的濾波。如此一來，雜訊消除裝置10除可有效的消除雜訊，改善影像的品質之外，又可保持靜態畫面原有的清晰度。

由上可知，習知技術在對視訊訊號進行雜訊濾除時，需要估計當前畫面之移動程度，以決定當前畫面之濾波結果是要使用空間濾波結果還是時間濾波結果，或空間濾波結果及時間濾波結果的某一混合比例。目前來說，業界用來消除雜訊的移動偵測技術大致可分為兩種。一種是藉由先前畫面和當前畫面的像素值差異，來代表像素的移動程度。然而，此種作法的問題在於，當像素發生位移時，雖然相鄰畫面會產生像素值差異，但有像素值差異卻未必代表有可見的像素移動。因此，利用這種方式進行移動偵測常有判斷錯誤的情況發生。

另一種作法則是使用移動估計(motion estimation)及移動補償(motion compensated)的方式進行時間域上雜訊的濾除。然而，移動補償作法複雜，成本較高，僅適用於高階應用。

因此，本發明之主要目的在於提供一種移動偵測方法及裝置。

本發明揭露一種用於一視訊處理系統之移動偵測方法。該方法包含有接收一先前畫面及一當前畫面；計算一目標像素在該當前畫面與該先前畫面之像素值差異，以判斷一時間像素值差異；分別在該先前畫面及該當前畫面中，計算該目標像素與該目標像素之周圍像素的像素值差異，以判斷一空間像素值差異；以及將該時間像素值差異除以該空間像素值差異，以判斷該目標像素之一位移值。

本發明另揭露一種用於一視訊處理系統之移動偵測裝置，其包含有一第一輸入端、一第二輸入端、一時間差值計算單元、一空間差值計算單元及一位移估計單元。該第一輸入端及該第二輸入端分別接收一先前畫面及一當前畫面。該時間差值計算單元耦接於該第一輸入端及該第二輸入端，用來計算一目標像素在該當前畫面與該先前畫面之像素值差異，以判斷一時間像素值差異。該空間差值計算單元耦接於該第一輸入端及該第二輸入端，用來分別在該先前畫面及該當前畫面中，計算該目標像素與該目標像素之周圍像素的像素值差異，以判斷一空間像素值差異。該位移估計單元耦接於該時間差值計算單元及該空間差值計算單元，用來將該時間像素值差異除以該空間像素值差異，以判斷該目標像素之一位移值。

請參考第2圖，第2圖係本發明一移動偵測裝置20之示意圖。移動偵測裝置20用於一視訊處理系統中偵測一當前畫面之移動程度，其包含有輸入端21及22、一時間差值計算單元23、一空間差值計算單元24及一位移估計單元25。輸入端21及22分別用來接收一先前畫面f(t-1)及一當前畫面f(t)。先前畫面f(t-1)較佳地係當前畫面f(t)之前一畫面，但在其他實施例中，其亦可以是當前畫面f(t)之先前複數個畫面中的某一畫面，而不限於此。時間差值計算單元23耦接於輸入端21及22，用來計算一目標像素在當前畫面f(t)與先前畫面f(t-1)之像素值差異，以判斷一時間像素值差異TD。空間差值計算單元24耦接於輸入端21及22，用來計算在先前畫面f(t-1)及當前畫面f(t)中，目標像素與其周圍像素(例如：周圍8個像素)的最大像素值差異，以判斷一空間像素值差異SD。位移估計單元25耦接於時間差值計算單元23及空間差值計算單元24，用來將時間像素值差異TD除以空間像素值差異SD，以得到目標像素之一位移值m_value。

移動偵測裝置20另可包含有低通濾波器26及27，耦接於輸入端21及22，用來對當前畫面f(t)與先前畫面f(t-1)進行低通濾波運算，以減少雜訊對移動偵測的影響。此外，上述像素值一般表示像素之灰階值，而在其他實施例中，亦可以是彩度或亮度等像素資訊，而不限於此。

簡言之，移動偵測裝置20係透過計算目標像素之時間像素值差異及空間像素值差異，來估計目標像素的移動。關於上述移動偵測方式，請繼續參考第3圖之說明。在第3圖中，y(t)代表目標像素在當前畫面f(t)之像素值，y(t-1)表示目標像素在先前畫面f(t-1)之像素值，實線表示目標像素在先前畫面f(t-1)中沿一特定方向之像素值曲線，而虛線則表示目標像素在當前畫面f(t)中沿同一方向之像素值曲線。由圖可知，從先前畫面f(t-1)到當前畫面f(t)時，像素值曲線產生了一個由實線到虛線的位移，使得目標像素之像素值由y(t-1)變化到y(t)。由於在相鄰畫面中，沿同一方向之像素值曲線不會有太大的改變，因此，如果能夠得知目標像素在先前畫面f(t-1)或當前畫面f(t)的像素曲線梯度(即每隔一個像素的像素值差異)，加上已知的時間像素值差異(即∣y(t)－y(t-1)∣)，目標像素在先前畫面f(t-1)與當前畫面f(t)間的位移量就能夠被估計出來，如圖中的水平箭頭所示。

因此，本發明分別對先前畫面f(t-1)及當前畫面f(t)，計算目標像素與其周圍8個像素的最大像素值差異，以取得二維平面的像素曲線梯度。由於從先前畫面f(t-1)可以計算出一個像素曲線梯度，而從當前畫面f(t)也可以得到一個像素曲線梯度，因此，本發明實施例取二者的最小值，作為可能的像素曲線梯度(即第1圖中之空間像素值差異SD)，以預期獲得最大的位移值m_value。

另一方面，透過計算目標像素在當前畫面f(t)與先前畫面f(t-1)之像素值差異(即∣y(t)－y(t-1)∣)，可得到時間像素值差異TD。因此，把時間像素值差異TD除以空間像素值差異SD之後，即可估計出目標像素的位移量，也就是這個目標像素位移了多少個像素。相較於習知技術，雖然同樣利用像素值差異來進行移動偵測，本發明不但可提高判斷準確度，亦不會增加系統的複雜度。

請參考第4圖，第4圖為空間差值計算單元24之一實施例示意圖。空間差值計算單元24包含有一第一差值計算單元242、一第二差值計算單元244及一最小值決定單元246。第一差值計算單元242耦接於輸入端21，用來計算當前畫面f(t)中目標像素與其周圍像素的像素值差異，以取得當前畫面f(t)之一最大像素值差異MSD1。第二差值計算單元244耦接於輸入端22，用來計算先前畫面f(t-1)中目標像素與其周圍像素的像素值差異，以取得先前畫面f(t-1)之一最大像素值差異MSD2。最小值決定單元246則耦接於第一差值計算單元242及第二差值計算單元244，用來取得最大像素值差異MSD1與MSD2中之一最小值，並將該最小值輸出作為空間像素值差異SD。

較佳地，移動偵測裝置20可進一步對位移估計單元25所輸出之位移值m_value進行正規化(normalize)，以判斷目標像素的移動程度。此外，只要空間像素值差異SD或時間像素值差異TD夠大，即可判斷位移估計單元25所輸出之位移值m_value為合理的估計值。因此，移動偵測裝置20可進一步對空間像素值差異SD和時間像素值差異TD的總和進行正規化，以作為可信度的依據。

在此情形下，移動偵測裝置20另可包含有一第一正規化單元28及一第二正規化單元29，如第2圖所示。第一正規化單元28可以第5圖所示之一查詢表實現；當位移值m_value大於一門檻值th2時，判斷目標像素的移動程度MLV為1，當位移值m_value小於一門檻值th1時，判斷目標像素的移動程度MLV為0，而當位移值m_value介於門檻值th1與門檻值th2之間，則判斷移動程度MLV為0與1的線性內插的結果。也就是說，當目標像素位移th1個像素以下，移動偵測裝置20判斷目標像素為不移動，而位移th2個像素以上，則判斷目標像素在相鄰畫面有移動。

同樣地，第二正規化單元29則可以第6圖所示之一查詢表實現；當空間像素值差異SD和時間像素值差異TD的總和SUM大於一門檻值th4時，判斷位移值m_value的可信度為1，當總和SUM小於一門檻值th3時，判斷位移值m_value的可信度為0。也就是說，當空間像素值差異SD和時間像素值差異TD二者皆小的時候，則判斷所得到的位移值m_value不可信，或是把目標像素當成沒有移動。

如此一來，根據移動偵測裝置20計算出來的移動程度MLV與可信度CLV，視訊系統可選擇使用空間濾波或時間濾波，或空間濾波結果及時間濾波結果的某一混合比例來消除目標像素的雜訊。

請參考第7圖。第7圖為本發明實施例之一移動偵測流程70之示意圖。移動偵測流程70係上述移動偵測裝置20之一操作流程，其包含有下列步驟：

步驟700：開始。

步驟710：接收先前畫面f(t-1)及當前畫面f(t)。

步驟720：計算目標像素在當前畫面f(t)與先前畫面f(t-1)之像素值差異，以判斷時間像素值差異TD。

步驟730：分別計算在先前畫面f(t-1)及當前畫面f(t)中，目標像素與其周圍像素的最大像素值差異，以判斷空間像素值差異SD。

步驟740：將時間像素值差異TD除以空間像素值差異SD，以判斷目標像素之位移值m_value。

步驟750：結束。

根據流程70，移動偵測裝置20首先計算目標像素在當前畫面f(t)與先前畫面f(t-1)之像素值差異(即∣y(t)－y(t-1)∣)，以得到時間像素值差異TD。接著，分別在先前畫面f(t-1)及當前畫面f(t)，計算目標像素與其周圍8個像素的最大像素值差異，以取得二維平面的像素曲線梯度。最後，把時間像素值差異TD除以空間像素值差異SD，即可估計出目標像素的位移值，也就是這個目標像素位移了多少個像素。移動偵測裝置20之詳細運作方式已於上述說明，於此不再贅述。

綜上所述，本發明主要係透過相鄰畫面之時間像素值差異及空間像素值差異所代表的像素曲線斜率，來估計目標像素的移動。相較於習知技術，雖然同樣利用像素值差異來進行移動偵測，但本發明可提高判斷準確度，且不會大幅增加系統的複雜度。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

10．．．雜訊消除裝置

12．．．空間濾波器

14．．．時間濾波器

16．．．移動偵測單元

18．．．輸出端

f(t)．．．當前畫面

f(t-1)．．．先前畫面

f"(t)．．．濾波結果

20．．．移動偵測裝置

21、22．．．輸入端

23．．．時間差值計算單元

24．．．空間差值計算單元

25．．．位移估計單元

26、27．．．低通濾波器

28．．．第一正規化單元

29．．．第二正規化單元

242．．．第一差值計算單元

244．．．第二差值計算單元

246．．．最小值決定單元

TD．．．時間像素值差異

SD．．．空間像素值差異

m_value．．．位移值

y(t)、y(t-1)．．．像素值

MSD1、MSD2．．．最大像素值差異

MLV．．．移動程度

CLV．．．可信度

th1～th4．．．門檻值

70．．．移動偵測流程

700～750．．．步驟

第1圖係一習知雜訊消除裝置之示意圖。

第2圖係本發明一移動偵測裝置之示意圖。

第3圖說明了本發明移動偵測方式。

第4圖為第3圖空間差值計算單元之一實施例示意圖。

第5圖及第6圖分別為本發明進行正規化之一查詢表。

第7圖為本發明實施例之一移動偵測流程之示意圖。

f(t)．．．當前畫面

f(t-1)．．．先前畫面

20．．．移動偵測裝置

21、22．．．輸入端

23．．．時間差值計算單元

24．．．空間差值計算單元

25．．．位移估計單元

26、27．．．低通濾波器

28．．．第一正規化單元

29．．．第二正規化單元

TD．．．時間像素值差異

SD．．．空間像素值差異

m_value．．．位移值

Claims (10)

1. 一種移動偵測方法，用於一視訊處理系統，包含有：接收一先前畫面及一當前畫面；計算一目標像素在該當前畫面與該先前畫面之像素值差異，以判斷一時間像素值差異；分別在該先前畫面及該當前畫面中，計算該目標像素與該目標像素之周圍像素的像素值差異，以判斷一空間像素值差異；以及將該時間像素值差異除以該空間像素值差異，以判斷該目標像素之一位移值。
2. 如請求項1所述之移動偵測方法，其中取得該目標像素之該空間像素值差異之步驟，更包含有：根據該先前畫面中該目標像素與該目標像素之周圍像素的像素值差異，計算該先前畫面之一最大像素值差異；根據該當前畫面中該目標像素與該目標像素之周圍像素的像素值差異，計算該當前畫面之一最大像素值差異；以及比較該先前畫面之該最大像素值差異與該當前畫面之該最大像素值差異，以取得一最小值，並將該最小值作為該空間像素值差異。
3. 如請求項1所述之移動偵測方法，其另包含有：根據一查詢表，對該位移值進行正規化(normalize)，而判斷該目標像素之一移動程度(Motion level)。
4. 如請求項3所述之移動偵測方法，其中該查詢表係於該位移值小於一第一門檻值時，判斷該目標像素之該移動程度為0；以及於該位移值大於一第二門檻值時，判斷該目標像素之該移動程度為1。
5. 如請求項1所述之移動偵測方法，其另包含有：根據一查詢表，對該時間像素值差異與該空間像素值差異之一總和進行正規化，而判斷該位移值之一可信度(Confidence Level)，其中該查詢表係於該總和小於一第三門檻值時，判斷該位移值之該可信度為0；以及於該總和大於一第四門檻值時，判斷該位移值之該可信度為1。
6. 一種移動偵測裝置，用於一視訊處理系統，包含有：一第一輸入端，用來接收一先前畫面；一第二輸入端，用來接收一當前畫面；一時間差值計算單元，耦接於該第一輸入端及該第二輸入端，用來計算一目標像素在該當前畫面與該先前畫面之像素值差異，以判斷一時間像素值差異；一空間差值計算單元，耦接於該第一輸入端及該第二輸入端，用來分別在該先前畫面及該當前畫面中，計算該目標像素與該目標像素之周圍像素的像素值差異，以判斷一空間像素值差異；以及一位移估計單元，耦接於該時間差值計算單元及該空間差值計算單元，用來將該時間像素值差異除以該空間像素值差異，以判斷該目標像素之一位移值。
7. 如請求項6所述之移動偵測裝置，其中該空間差值計算單元更包含有：一第一差值計算單元，耦接於該第一輸入端，用來計算該先前畫面中該目標像素與該目標像素之周圍像素的像素值差異，以取得該先前畫面之一最大像素值差異；一第二差值計算單元，耦接於該第二輸入端，用來計算該當前畫面中該目標像素與該目標像素之周圍像素的像素值差異，以取得該當前畫面之一最大像素值差異；以及一最小值決定單元，耦接於該第一差值計算單元及該第二差值計算單元，用來決定該先前畫面之該最大像素值差異與該當前畫面之該最大像素值差異中之一最小值，並將該最小值輸出作為該空間像素值差異。
8. 如請求項6所述之移動偵測裝置，其中該位移估計單元包含有：一第一正規化單元，耦接於該時間差值計算單元及該空間差值計算單元，用來根據一查詢表，對該位移值進行正規化(normalize)，而判斷該目標像素之一移動程度(Motion level)。
9. 如請求項8所述之移動偵測裝置，其中該查詢表係於該位移值小於一第一門檻值時，判斷該目標像素之該移動程度為0；以及於該位移值大於一第二門檻值時，判斷該目標像素之該移動程度為1。
10. 如請求項6所述之移動偵測裝置，其中該位移估計單元包含有：一第二正規化單元，耦接於該時間差值計算單元及該空間差值計算單元，用來根據一查詢表，對該時間像素值差異與該空間像素值差異之一總和進行正規化，而判斷該位移值之一可信度(Confidence Level)。