TWI511545B - 數位視訊的區塊雜訊偵測 - Google Patents

數位視訊的區塊雜訊偵測 Download PDF

Info

Publication number
TWI511545B
TWI511545B TW100104627A TW100104627A TWI511545B TW I511545 B TWI511545 B TW I511545B TW 100104627 A TW100104627 A TW 100104627A TW 100104627 A TW100104627 A TW 100104627A TW I511545 B TWI511545 B TW I511545B
Authority
TW
Taiwan
Prior art keywords
video
video material
specified element
value
block
Prior art date
Application number
TW100104627A
Other languages
English (en)
Other versions
TW201206173A (en
Inventor
Byas Muni
Sujith Srinivasan
Original Assignee
Marvell World Trade Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Marvell World Trade Ltd filed Critical Marvell World Trade Ltd
Publication of TW201206173A publication Critical patent/TW201206173A/zh
Application granted granted Critical
Publication of TWI511545B publication Critical patent/TWI511545B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H04N19/865—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

數位視訊的區塊雜訊偵測
一種用於確定視訊資料特性的系統和方法，特別是從頻率轉換的輸出中擷取特性。
在此提供的背景說明大概呈現出本發明的上下文。關於此點發明人的工作，某種程度上在這個背景部分中描述的工作，以及可能在申請期間沒有資格作為現有技術的說明書的描述，既不明確，也不默示承認作為相對本發明的現有技術。
數位視訊通常先於儲存及/或傳輸進行壓縮。有損壓縮技術可用以保存與壓縮的視訊相關聯的儲存空間及/或傳輸時間，但有損壓縮也可引起如已知的壓縮損傷的視覺失真。當一壓縮方案將一視訊畫面分段成不同區域，或區塊，並獨立壓縮每個區塊時所產生的一類壓縮損傷稱為區塊雜訊。由於每個區塊獨立處理和壓縮，因而被壓縮的區塊會在與其他區塊的交界處存在不連續的像素資料值。進而，這些不連續可在更大的壓縮設定中變得隨時可見。這將造成區塊損傷，其在高清晰度及/或大尺寸顯示器上特別明顯。不同的壓縮演算法使用不同的區塊尺寸。例如，MPEG-2標準使用8×8區塊尺寸，而H.264標準可使用大於一個區塊尺寸以便壓縮單個視訊畫面。
根據本發明實施例，提供了一種確定視訊資料特性的技術。獲得視訊資料的一畫面，其中該畫面包括R列和C行像素資料。基於與指定元素相關聯的所述畫面的行中的像素資料，分配一值至偵測陣列的指定元素。確定該偵測陣列中C個值的頻率轉換，以及自該頻率轉換的輸出中擷取特性。
根據本發明另一實施例，提供一種用於確定視訊資料特性的視訊處理系統。擷取電路用於獲得該視訊資料的一畫面，該畫面包括R列和C行像素資料。邊界偵測電路用於基於與指定元素相關聯的該畫面的列中的像素資料，分配一值至偵測陣列的指定元素，該偵測陣列包括C個元素，以及用於儲存偵測陣列的C個元件。頻率轉換電路用於計算偵測陣列中C個值的頻率轉換；以及參數擷取電路用以從頻率轉換的輸出中擷取特性。
在該排列中，分配至偵測陣列的指定元素的該值意指為與指定元素相關聯的該畫面的行中的像素數目，該指定元素處於距離區塊邊界一像素內。在該排列中，特性的擷取包括確定該頻率轉換的輸出的一峰值；以及將該峰值與該頻率轉換的輸出的平均值作比較。在該排列中，該特性為視訊資料的區塊尺寸。
本發明的進一步特徵，包括其本質及其各種優勢，將從所附圖式及以下優選實施例的詳細描述更為顯而易見。
為了偵測區塊損傷，一些視訊處理技術假設該等區塊是已知的，且可能為固定尺寸，並且利用該假設資訊搜索區塊邊界。該等技術不能偵測非固定及/或已知區塊尺寸的塊，比如，舉例來說，當視訊資料已被縮放時。例如，當標準NTSC視訊縮放至高清晰度形成時，一8×8影像資料的區塊轉換為21.33×18的影像資料區塊。傳統技術不能確定非正方形圖案大小及/或具有很小尺寸的區塊。
第1A圖顯示了根據本發明一些實施例的說明性的視訊處理系統。視訊處理系統100確定了視訊資料壓縮期間的特性。例如，視訊處理系統100可用於偵測塊損傷以及有關塊損傷的尺寸和位置的其他資訊。
視訊資料以壓縮形式從合適的視訊來源獲得，如傳統類比或數位電視信號、視訊記錄信號、網際網路傳輸、或者永久或可攜式數位儲存裝置信號。然後解壓獲得的視訊資料用以將亮度資料102提供至視訊處理系統100。亮度資料102在視訊資料的畫面內被邏輯地及/或物理地劃分，其中每畫面對應視訊的單靜止圖像。在該排列中，每一亮度資料102的畫面代表來自高清晰度電視廣播的影像。例如，每畫面可代表總共資料的1280×720或1920×108像素。
亮度資料102輸入至區塊邊界偵測器105。區塊邊界偵測器105用於將亮度資料102的每個像素歸類為區塊邊界像素，如果該像素鄰近或位於視訊資料的畫面的區塊邊界之上，或者如果像素不鄰近或位於該畫面的區塊邊界之上，歸類為正常像素。區塊邊界偵測器輸出邊界資料110。邊界資料110包含與亮度資料102相同數量的元素。在該排列中，邊界資料110的每個元素為二進位數字。在該排列中，如果亮度資料102的對應像素鄰近或在邊界之上，邊界資料110的像素被賦值“1”。否則邊界資料110的像素被賦值“0”。
亮度資料102由類比或數位值的R×C矩陣表示，其中R指的是表示矩陣中列的數量，C指的是表示矩陣中行的數量，並且其中R×C矩陣中每個值表示視訊畫面中對應像素的亮度。在所述排列中，邊界資料110可由R×C二進位值矩陣表示，其中如果亮度資料102的對應像素鄰近或在邊界之上，邊界資料110的元素被賦值“1”。否則邊界資料110的元素被賦值“0”。
如上所述，偵測區塊邊界在一個像素接著一個像素的基礎上，提供亮度資料102中實際區塊邊界的一些指示。然而，當邊界的任一側上亮度值差異較小時，該技術不能偵測亮度資料102中的區塊邊界。此外，當視訊影像中實際細節類似局部鄰域內的區塊損傷時，亮度資料102中的邊界能被錯誤地偵測。因此，邊界資料110輸入至陣列產生器115，陣列產生器115產生一列陣列或一行陣列或兩者。陣列產生器115的輸出提供了邊界是否存在於或鄰近由亮度資料102所表示的資料的畫面的各自行或列的指示。
陣列產生器115將結果儲存成一個或兩個一維陣列，該一維陣列稱為偵測陣列。尤其，陣列產生器115可將垂直邊界資訊儲存在垂直偵測陣列中，其垂直偵測陣列與亮度資料102所表示的對應視訊畫面的垂直長度具有以像素計數，同樣數目的元素。相似地，陣列產生器115可將水平邊界資訊儲存在水平偵測陣列中，其水平偵測陣列與亮度資料102所表示的對應視訊畫面的水平長度具有以像素計數，同樣數目的元素。因此，陣列產生器使用水平偵測陣列、垂直偵測陣列或兩者皆有。邊界資訊可為邊界是否可鄰近或存在於由亮度資料102所表示的資料的畫面的對應列或行之上的二進位測量，或者任意其他合適的測量。
為了呈現的簡單性，在此提醒本發明將描述陣列產生器115僅輸出水平偵測陣列，如偵測陣列120。然而，應理解的是基於本發明提供的公開和指導，陣列產生器115可輸出僅垂直偵測陣列或水平和垂直偵測陣列兩者。更普遍來說，應理解的是基於本發明提供的公開和指導，存在於本公開的技術很容易修改以包括只有垂直偵測陣列，或者水平和垂直偵測陣列兩者。
離散餘弦轉換(DCT)模組125接收偵測陣列120作為輸入並統計地分析偵測陣列120以確定DCT係數130。為了保留硬體資源，DCT模組125可僅確定對應亮度資料102中相似區塊尺寸的DCT係數。例如，偵測陣列120可具有1024個元件的長度。在這種情況下，DCT傳輸模組可計算全套1024個DCT係數。另一方面，為了保留硬體資源，DCT可僅計算對應可相似區塊尺寸的DCT係數。實際上，DCT模組125可計算20、50、100或任意其他合適數量的係數，並且計算的係數的數量可基於可獲得的硬體資源及/或時間限制而定。DCT模組125輸出DCT係數130至週期和位置識別器135。
週期和位置識別器135分析DCT係數130的值以確定DCT係數130中峰的出現和位置，其中該複數峰為亮度資料102中區塊的週期性的顯示。一般，DCT係數130將反映大平均(DC)元件。然而，該平均元件可能不包括在由DCT模組125執行的計算中，或者可被週期和位置識別器135所忽視。
由週期和位置識別器135確定的區塊的週期及/或位置可被輸入至後處理器145。後處理器145減小亮度資料102及/或視訊資料的序列畫面中區塊雜訊的可見性。例如，後處理器145基於自週期和位置識別器135輸出的週期和位置資料140可對亮度資料102及/或視訊資料的序列畫面應用空間邊緣適應過濾。根據由週期和位置資料140所顯示的峰係數的幅度，後處理器145處執行過濾的程度可被修改。此外，基於週期和位置資料140，後處理器145執行縮放和邊緣增強。例如，軟縮放和下邊緣增強可在後處理器145處執行。
為了保護硬體資源，視訊處理系統100可僅處理一些解壓縮視訊流中存在的視訊畫面。在該排列中，僅處理奇數視訊畫面，並且該處理發生在接收和解壓縮兩個視訊畫面所需時間期間。或者，視訊處理系統100可處理更少(如每五個解壓縮視訊畫面中的一個)或更多(如所有視訊畫面中的百分之九十)視訊畫面。僅處理少量接收的視訊畫面有利地允許第1A圖中顯示的技術在長於所需時間週期內完成(也就是，如果每個接收的視訊畫面通過視訊處理系統100處理)。
第1B圖顯示了根據本發明一些實施例的兩組說明性亮度資料。亮度值160和180每個可代表所有位於視訊畫面的指定水平列的亮度資料102的八個連續樣本(第1A圖)。
圖形150標出在與x軸上像素位置相對的y軸上的明亮度或亮度的單位中的亮度值160。當對亮度資料102(第1A圖)執行無平滑、縮放或相似影像處理技術時，亮度值160表示出區塊邊界附近像素亮度值的典型圖案。亮度資料102(第1A圖)的樣本1-4屬於一畫面內影像資料的第一塊，而樣本5-8屬於第二塊。如第1B圖所示，亮度值160的輸出聚集圍繞在兩個不同亮度水準。尤其，亮度值160的樣本1-4的每一個(近似)為一個亮度水準，水準162，反之樣本5-8的每一個近似為第二亮度水準，水準164。
圖形170標出在與x軸上像素位置相對的y軸上的明亮度或亮度的單位中的亮度值180。在平滑、縮放及/或相似影像處理技術應用於亮度資料102(第1A圖)之後，亮度值180表示區塊邊界附近像素亮度值的典型圖案。亮度資料102(第1A圖)的樣本1-4屬於一畫面內影像資料的第一個區塊，而樣本5-8屬於第二塊。亮度值180的輸出顯示出亮度的逐漸增加圖案。輸出值中該逐漸增加(相對於急劇轉變，如圖形150中所顯示)是由於已對亮度資料102(第1A圖)執行平滑、縮放及/或其他影像處理而導致的。
第2A圖為根據本發明一些實施例用於偵測視訊資料中區塊邊界的說明性的流程圖。在該排列中，過程200是以區塊邊界偵測器所構成。過程200可在視訊處理軟體中完成，其中該軟體由一個或多個微處理器或者直接在專門視訊處理硬體中執行。
在高通濾波器210中，亮度資料102(第1A圖)是利用任何合適的軟體或硬體為基礎的濾波器進行高通濾波。高通濾波加重了一列視訊畫面內像素之間的像素大小幅度差異。在該排列中，高通濾波器[1 0 0 -1]在高通濾波器210完成。該高通濾波器對比目前像素和位於三個元素的像素與水平右側目前像素的幅度。其他高通濾波器可用在高通濾波器210。例如，可使用具有更多或更少零元素的高通濾波器，例如，可使用高通濾波器[10-1]和[10000-1]。然後將在高通濾波器210的輸出，稱為過濾的亮度資料215，傳至閾值量化器220。
過濾的亮度資料215會在閾值量化器220中透過閾值量化器來過濾。尤其，過濾的亮度資料215的每個元素會拿來與低閾值222(th_bd_low)和高閾值223(th_bd_high)作比較。處於兩個閾值之間過濾的亮度資料215的元素在量化的亮度資料225的對應輸出元素中被賦值“1”。另一方面，未處在兩個閾值之間過濾的亮度資料215的元素在量化的亮度資料225的對應輸出元素中被賦值“0”。
低閾值222(th_bd_low)用於消除主要由影像雜訊引起的錯誤邊界偵測，同時高閾值223(th_bd_high)用於消除主要由恰巧為“類區塊”的自然發生的影像特徵而引起的錯誤邊界偵測。尤其，低閾值222(th_bd_low)設定為一值，該值適當區分與表示區塊邊界變化相對的影像內是正常的像素值之間變化。另一方面，高閾值223(th_bd_high)設定為一值，該值適當區分區塊邊界以及甚至是由於視訊畫面的自然特徵而導致的視訊畫面中的“急劇”變化。閾值量化器220的輸出稱為量化的亮度資料225。利用模板T 235通過模板匹配器230進一步過濾量化的亮度資料225。模板匹配器230將來自量化的亮度資料225的資料的“鄰域”和模板235作比較以確定是否有“模板匹配”。
第2B圖描述了根據本發明一些實施例的模板T 235的形式。如第2B圖所示，模板T 235為5×7矩陣。在該排列中，模板匹配器230(第2A圖)將集中在量化的亮度資料225(第2A圖)的特定元素的資料的對應5×7鄰域與模板T 235對比。即模板匹配器230(第2A圖)將亮度資料225(第2A圖)的5列和7行，總共有35個資料值，與模板T 235對比。如果模板匹配器230(第2A圖)描述了一匹配，輸出“1”，並且如果在量化的亮度資料225(第2A圖)的5×7鄰域與模板T 235之間偵測出一個或更多個差異，則輸出“0”。對量化的亮度資料(第2A圖)的每個元素重複該過程從而產生邊界資料110(第1A圖)的輸出。因此，邊界資料110(第1A圖)與量化的亮度資料225(第2A圖)是相同大小並且與亮度資料102(第1A圖)是相同大小。在第2B圖中，行240和250中每個“x”值表示“不在乎”狀態。即模板匹配器230(第2A圖)將偵測具有“x”值的模板T 235的元素和亮度資料225的對應元素之間的匹配，亮度資料225的對應元素是否為“0”或“1”。
第2B圖中描述的模板T 235的設計僅僅是一個合適的設計，並且許多其他設計也適用於模板匹配器230(第2A圖)的組成。例如，模板匹配器230(第2A圖)可使用除了5×7像素之外尺寸的模板，可包括更多或更少“不在乎”狀態，及/或關於“0”、“1”和“x”元素的佈局可顯示出不規則形狀。此外，模板匹配器230(第2A圖)可基於被進行比較的量化的亮度資料225(第2A圖)的對應元素而改變模板的尺寸。例如，當對比模板與表示鄰近或在視訊畫面的邊緣之上的像素的量化的亮度資料225的元素時，模板匹配器230(第2A圖)可使用截短的或其他減小尺寸的模板。
第3A圖為根據本發明一些實施例的用於從邊界資料產生偵測陣列的說明性的流程圖。藉由陣列產生器115，過程300是使用從邊界資料110來產生偵測陣列120。在步驟315中，陣列產生器115(第1A圖)將沿著每行的邊界資料110的元素求和(意即當邊界資料110以模仿視訊畫面的尺寸的矩陣形式表示時)，並且將加和的資料儲存在一排(如一列)累加器作為累加的資料320。儲存在該列累加器內的資料元素的幅度將提供每列邊界資料110中存在區塊邊界的可能性有多大的指示。例如，如果影像資料的區塊尺寸為10×10，然後累加的資料320將每10個樣本顯示一峰值，而在其他點具有較小的幅度值。
在步驟325中，利用閾值322(th-grad)將累加的資料320量化至“0”或“1”值。尤其，將大於閾值322(th-grad)之累加的資料320的每個值量化至值“1”，而將小於或等於閾值322(th-grad)之累加的資料320的每個值量化至值“0”。步驟325的輸出為(二進位值)偵測陣列120。如果對應偵測陣列120的視訊畫面具有區塊雜訊，偵測陣列120將以固定間隔典型地顯示值“1”以及其他顯示值“0”。
例如，第3B圖顯示根據本發明一些實施例偵測陣列的說明性實例。尤其，第3B圖顯示了當與亮度資料相關的區塊尺寸為12×12時相對於偵測陣列120的指數的偵測陣列120的說明實例(為了清晰起見僅顯示一部分偵測陣列120)。在第3B圖中，由至少一個連續“1”值為例證，可以看到每12個指數值出現峰。另一方面，如果對應偵測陣列120的視訊畫面沒有區塊雜訊，則一類似圖形將不能顯示出所述規則且週期性的圖形。
由於錯誤或錯失的區塊邊界偵測，偵測陣列120可能不包含完美地週期性資料。然而，利用頻率轉換技術可得到偵測陣列120資料的基本週期。例如，DCT可用於執行偵測陣列120的頻率轉換同時也避免了其他頻率轉換技術的額外計算需求(如導入複數)。
第4A圖為根據本發明一些實施例用於自偵測陣列中產生一組DCT係數的說明流程圖。過程400通過DCT模組125(第1A圖)而完成。在步驟410中，DCT模組125(第1A圖)自偵測陣列120中獲得1024個樣本，該等樣本將用於判定亮度資料102(第1A圖)中任何區塊邊界的存在。尤其，如果偵測陣列120包含大於1024個樣本，DCT模組將藉由在步驟410中刪減偵測陣列120而準確地獲得1024個偵測陣列120的樣本。一般而言，DCT模組將藉由保持來自偵測陣列120的1024個樣本處於中心而執行該刪減。然而，DCT模組可執行任何合適形式的刪減，包括基於取樣演算法或藉由從偵測陣列120的“左”或“右”部分選取一組連續樣本。另一方面，如果偵測陣列120包含少於1024個樣本，DCT模組125(第1A圖)將墊零樣本添加至偵測陣列120以使樣本的總數為1024。在步驟410處理之後的信號輸出稱作數位信號x(n)415。
應理解的是基於此處提供的公開和技術，樣本數目非1024個樣本的樣本可用在過程400中。例如，可使用任意合適的整數值。為了提供過程400的有效計算完成，樣本數目採用2的乘方(如256、512、1024、2056等)是有利的，該樣本包括在步驟410添加的任意墊零位元組。
在步驟420中，為了有效地鑑別亮度資料102(第1A圖)中區塊壓縮損失的存在，DCT模組125(第1A圖)可確定一組候補區塊尺寸，其小於1024可能區塊尺寸。藉由選擇僅分析部分區塊尺寸，而不是所有1024個可能性，可顯著減小DCT模組125(第1A圖)的計算複雜性。例如，在特定應用中，可能的情況是視訊處理系統100(第1A圖)中僅有8至22個候補區塊尺寸需要被考慮用以偵測可能區塊損傷的存在(例如，這可能是由於視訊壓縮協定的先前知識而導致)。在這種情況下，DCT模組125(第1A圖)在步驟420中設定或獲得區塊尺寸參數範圍8至22。實際上，一般區塊尺寸範圍從4至24且因此僅僅對應該區塊尺寸的範圍的DCT係數需要被計算，如下所述。
在步驟430中，確定對應於在步驟420中選擇的區塊尺寸的DCT指數。尤其，係數指數與選擇的區塊尺寸的關係如以下關係式：
其中n為DCT係數指數值，S為選擇的區塊尺寸，以及N為數位信號x(n)415中包含的樣本的數量。一般來說，N=1024，如上所述，並且在該情況下，關係式變為
因此，如果在亮度資料102(第1A圖)中僅僅預先考慮8至21.33的區塊尺寸，那麼僅具有96至256指數的係數需要被計算。因此，在這種情況下，僅需要計算161個係數，而不是計算全部1024個DCT係數。這允許DCT模組(第1A圖)最佳運行，或接近於最佳，同時僅需要計算可能DCT係數的總數的15%。
在步驟440中，過程400計算在步驟430確定的係數指數值所評估的數位信號x(n)415的DCT。DCT係數130也可表示為x(k)，以顯示特別的係數，而{x(k)}表示一組係數。尤其，DCT模組125(第1A圖)利用關係式將數位信號x(n)415轉換為係數130，關係式為
其中k=0,...,N-1為係數指數以及，如上所述，N為數位信號x(n)415中包含的樣本的數量。通過該關係式所示，每個係數藉由從數位信號x(n)415加總N個輸入值而計算，其中每個輸入值乘以餘弦項。如果數位信號x(n)415是週期性的，然後{x(k)}的某些係數將取大值。該等係數的指數表示數位信號x(n)415的週期性，以及亮度資料102(第1A圖)中壓縮區塊的尺寸。另一方面，如果區塊雜訊不存在，相對於所有係數{x(k)}的平均值，係數{x(k)}將不會是特別高的值。
利用查找表或記憶體可儲存DCT模組125(第1A圖)使用的餘弦值。此外，DCT模組125(第1A圖)僅需要儲存0-90度範圍內的餘弦值，因為所有其他角度的餘弦值，如90-360度範圍內，可從0-90度範圍內中衍生出來。過程400的輸出為DCT係數130。DCT係數130中係數的數量等於在步驟420中確定的有興趣的區塊尺寸的數量。
第4B圖顯示了根據本發明一些實施例的一組說明性的DCT係數值。DCT係數值繪製於y軸上，同時DCT係數指數繪製在x軸上。DCT係數值450表示在440(第4A圖)計算的一組DCT係數的一部分。在該排列中，DCT係數值450表示DCT係數130的一部分。
在第4B圖中，在對應振幅區域460的係數指數值附近有一明顯的峰。該峰顯示亮度資料102(第1A圖)具有明顯的區塊損傷影響，並且，亮度資料102(第1A圖)中存在的壓縮區塊近似地具有週期性或恰好等於對應DCT係數指數470的區塊尺寸。儘管第4B圖不明顯，但一般來說，當與DCT係數指數相對繪製時DCT係數130(第1A圖)可顯示出多重、間隔規律的峰。這可能是由於諧波存在而導致的。例如，一個8×8尺寸的壓縮區塊是指DCT係數130(第1A圖)具有週期8以及16的週期、24的週期等等的週期性。這在當在週期和位置識別器135(第1A圖)處需要找到精確壓縮區塊尺寸時是重要的。
第5圖為根據本發明一些實施例用於獲得關於包含在亮度資料102(第1A圖)中區塊的週期和位置以及區塊損傷的資訊的說明性流程圖。尤其，第5圖說明用於從DCT係數130中獲得關於亮度資料102(第1A圖)中包含的區塊的週期和位置以及區塊損傷的資訊的流程圖。過程500通過週期和位置識別器135(第1A圖)而完成。
在步驟510中，週期和位置識別器135(第1A圖)計算或確定DCT係數130的基值。利用任意適宜的技術可計算基值。例如，基值可確定作為DCT係數130所有係數的平均。此外，週期和位置識別器135(第1A圖)在確定基值之前可捨棄從DCT係數130的異常係數值。
在步驟520中，週期和位置識別器135(第1A圖)藉由比對DCT係數130中某些候補峰值以及在步驟510中確定的基值後即可確定DCT係數130的峰值。例如，來自DCT係數130的最大係數值可選作候補峰值並與基值對比。如果其值足夠地大於基值，該最大係數值可確定為一峰。藉由比對候補峰值和在步驟510確定的基值的比率與閾值及/或藉由獲得候補峰值和基值之間的差異的幅度以超過閾值，可確定候補峰是否為真實峰。因此，多個候補峰值可選自DCT係數130。例如，來自DCT係數130的2、5、10或20最大值可選作候補峰值。然後如利用上述任意標準檢驗每個候補峰值以確定它們是否為(真實)峰值。輸出520為一組峰值525。
在步驟530中，週期和位置識別器135(第1A圖)基於峰值525確定視訊資料的畫面(也就是亮度資料102)內塊週期及/或位置。如果一個峰精確地被包括在峰值525內，那麼週期和位置識別器135(第1A圖)可確定自對應峰的DCT係數指數的區塊週期，並也可確定區塊位置(意即一個畫面內的偏移)。輸出該資訊作為週期和位置資料140。
另一方面，不止一個峰可包括在峰值525內。例如，DCT係數130由於諧波的關係可包含多個峰。在這種情況下，週期和位置識別器135(第1A圖)將藉由在與峰值525內每個峰有關的週期中找到最大公約數而確定“適當的”峰。例如，如果峰值525包括四個峰，對應於每8個像素一區塊、每16個像素一區塊、每24個像素一區塊以及每32個像素一區塊的週期，然後週期和位置識別器135(第1A圖)將確定亮度資料102(第1A圖)中壓縮區塊的週期性為8，因為8是8、16、24和32的最大公約數。
此外，由於在DCT模組125(第1A圖)執行的DCT的基本性質，候補峰不可能以彼此成精確倍數的週期性出現。例如，由於在視訊處理系統100(第1A圖)的所有步驟中數值不精確以及資訊的潛在不完全擷取，峰值525可能包含週期是每8個像素一區塊、每17個像素一區塊、每23個像素一區塊以及每33個像素一區塊的峰。在這種情況下，週期和位置識別器135(第1A圖)將運行具有進一步穩健性標準的最大公分母演算法。該演算法將能確定經過穩健性標準亮度資料102(第1A圖)中區塊的週期性為每8個像素一區塊。
其中，上述描述了用於偵測數位視訊資料中區塊雜訊的方法和裝置。公開的技術實現了水平及/或垂直方向壓縮區塊損傷的存在的偵測，而不論視訊資料的區塊尺寸。所公開的技術可透過解碼器的任意資訊而獨立實施。所公開的技術可利用縮減的硬體設置而實施，並且在一些實施例中，不需要任何畫面儲存空間。偵測區塊壓縮損傷的存在可用於引發雜訊移除過濾以減小區塊損傷並對雜訊內容程式化其他後處理技術。
為了說明而非限制的目的提出本發明的上述實施例。例如，第1A圖的所述技術可對任意數量的視訊畫面執行，並且所述技術可或不透過視訊畫面儲存空間來執行。此外，一個或多個部分的上述技術可以不同順序(或同時)執行並仍能實現理想的結果。此外，本發明可在硬體中實施，如特殊應用積體電路或場可程式閘陣列(FPGA)。本發明也可在軟體中實施。
100．．．視訊處理系統
102．．．亮度資料
105．．．區塊邊界偵測器
110．．．邊界資料
115．．．陣列產生器
120．．．偵測陣列
125．．．DCT模組
130．．．DCT係數
135．．．週期和位置識別器
140．．．週期和位置資料
145．．．後處理器
150、170．．．圖形
160、180．．．亮度值
162、164．．．水準
200、300、400、500．．．過程
210．．．高通濾波器
215．．．過濾的亮度資料
220．．．閾值量化器
225．．．量化的亮度資料
222．．．低閾值
223．．．高閾值
230．．．模板匹配器
235．．．模板T
240、250．．．行
315、325．．．步驟
320．．．累加的資料
322．．．閾值
410、420、430、440、510、520、530．．．步驟
415．．．數位信號
450．．．DCT係數值
460．．．振幅區域
470．．．DCT係數指數
525．．．峰值
本發明的上述及其他特徵，包括其本質及其各種優勢，結合所附圖式考慮以下詳細描述後將更為顯而易見，其中：
第1A圖顯示了根據本發明一些實施例的一種說明性的視訊處理系統；
第1B圖顯示了根據本發明一些實施例的兩組說明性的亮度資料；
第2A圖為根據本發明一些實施例用於偵測視訊資料中區塊邊界的說明性的流程圖；
第2B圖描述了根據本發明一些實施例的模板的形式；
第3A圖為根據本發明一些實施例用於從邊界資料產生偵測陣列的說明性的流程圖；
第3B圖顯示了根據本發明一些實施例的偵測陣列的說明性的實例；
第4A圖為根據本發明一些實施例，用於從偵測陣列產生一組DCT係數的說明性的流程圖；
第4B圖是根據本發明一些實施例而展示一組說明性的DCT係數；以及
第5圖為根據本發明一些實施例用於獲得關於包含在亮度資料中區塊的週期和位置以及區塊損傷的資訊的說明性流程圖。
100．．．視訊處理系統
102．．．亮度資料
105．．．區塊邊界偵測器
110．．．邊界資料
115．．．陣列產生器
120．．．偵測陣列
125．．．DCT模組
130．．．DCT係數
135．．．週期和位置識別器
140．．．週期和位置資料
145．．．後處理器

Claims (22)

  1. 一種確定視訊資料特性的方法，該方法包括：獲得該視訊資料的一畫面，其中該畫面包括複數個列和複數個行的像素資料；基於與指定元素相關聯的該畫面的行中的像素資料，分配一值至偵測陣列的指定元素，該偵測陣列包括複數個元素；使用與區塊尺寸之一預定範圍相關聯的轉換係數之一被選取的子集，確定該偵測陣列中複數個元素的頻率轉換；以及自該頻率轉換的輸出中擷取該特性。
  2. 依據申請專利範圍第1項所述之確定視訊資料特性的方法，其中該特性為視訊資料的區塊尺寸。
  3. 依據申請專利範圍第1項所述之確定視訊資料特性的方法，其中該值意指與該指定元素相關聯的畫面的行中之像素的一個數目，該指定元素處於距離區塊邊界一個像素內。
  4. 依據申請專利範圍第1項所述之確定視訊資料特性的方法，其中所述頻率轉換為離散餘弦轉換。
  5. 依據申請專利範圍第1項所述之確定視訊資料特性的方法，進一步包括應用一影像處理濾波器至該視訊資料，其中該影像處理濾波器的參數至少部分是基於該擷取的特性。
  6. 依據申請專利範圍第1項所述之確定視訊資料特性的方法，其中擷取該特性包括：確定該頻率轉換之輸出的一峰值；以及將該峰值與該頻率轉換之輸出的平均值作比較。
  7. 依據申請專利範圍第1項所述之確定視訊資料特性的方法，其中該區塊尺寸之該預定範圍與一預定視訊壓縮協定相關聯。
  8. 依據申請專利範圍第1項所述之確定視訊資料特性的方法，其中分配該值至該偵測陣列的該指定元素包含應用一加法器至與該指定元素相關聯的畫面的行中之該像素資料並利用該加法器的輸出作為分配值。
  9. 依據申請專利範圍第8項所述之確定視訊資料特性的方法，進一步包括：如果該加法器的輸出超過一閾值，結合第一邏輯值與該指定元素；以及如果該加法器的輸出未超過該閾值，結合第二邏輯值與該指定元素。
  10. 依據申請專利範圍第8項所述之確定視訊資料特性的方法，其中應用該加法器處理之前應用一高通濾波器至與該指定元素相關聯的畫面的行中之該像素資料。
  11. 依據申請專利範圍第8項所述之確定視訊資料特性的方法，其中應用該加法器之前應用一模板匹配器至與該指定元素相關聯的畫面的行中之該像素資料。
  12. 一種用於確定視訊資料特性的視訊處理系統，該視訊處理系統包括：擷取電路，配置以獲得該視訊資料的一畫面，其中該畫面包括複數個列和複數個行像素資料；邊界偵測電路，配置以基於與一指定元素相關聯的該畫面的行中之像素資料，分配一值至偵測陣列的該指定元素，該偵測陣列包括複數個元素；以及儲存該偵測陣列的C個元素；頻率轉換電路，配置以使用與區塊尺寸之一預定範圍相關聯的轉換係數之一被選取的子集計算該偵測陣列中複數個元素的頻率轉換；以及參數擷取電路，配置以從該頻率轉換的輸出中擷取該特性。
  13. 依據申請專利範圍第12項所述之用於確定視訊資料特性的視訊處理系統，其中該特性為該視訊資料的區塊尺寸。
  14. 依據申請專利範圍第12項所述之用於確定視訊資料特性的視訊處理系統，其中該值意指與該指定元素相關聯的畫面的行中之像素的一個數目，該指定元素處於距離區塊邊界一個像素內。
  15. 依據申請專利範圍第12項所述之用於確定視訊資料特性的視訊處理系統，其中該頻率轉換為離散餘弦轉換。
  16. 依據申請專利範圍第12項所述之用於確定視訊資料特性的視訊處理系統，進一步包括影像處理電路，配置以至少部分是基於該擷取的特性來過濾該視訊資料。
  17. 依據申請專利範圍第12項所述之用於確定視訊資料特性的視訊處理系統，其中該參數擷取電路進一步配置以藉由以下獲得該特性：確定該頻率轉換之輸出的一峰值；以及將該峰值與該頻率轉換之輸出的平均值作比較。
  18. 依據申請專利範圍第12項所述之用於確定視訊資料特性的視訊處理系統，其中該區塊尺寸之該預定範圍與一預定視訊壓縮協定相關聯。
  19. 依據申請專利範圍第12項所述之用於確定視訊資料特性的視訊處理系統，其中該邊界偵測電路進一步配置以藉由應用加法電路至與該指定元素相關聯的畫面的行中之該像素資料，分配該值至該偵測陣列的該指定元素。
  20. 依據申請專利範圍第19項所述之系統，進一步配置以：如果該加法電路的輸出超過一閾值，則儲存對應於該指定元素的第一邏輯值；以及如果該加法電路的輸出未超過該閾值，則儲存對應於該指定元素的第二邏輯值。
  21. 依據申請專利範圍第19項所述之用於確定視訊資料特性的視訊處理系統，其中該邊界偵測電路進一步配置以在該加法電路應用之前應用一高通濾波器至與該指定元素相關聯的畫面的行中之該像素資料。
  22. 依據申請專利範圍第19項所述之用於確定視訊資料特性的視訊處理系統，其中該邊界偵測電路進一步配置以在該加法電路應用之前應用一模板匹配器至與該指定元素相關聯的畫面的行中之該像素資料。
TW100104627A 2010-07-28 2011-02-11 數位視訊的區塊雜訊偵測 TWI511545B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US36849110P 2010-07-28 2010-07-28

Publications (2)

Publication Number Publication Date
TW201206173A TW201206173A (en) 2012-02-01
TWI511545B true TWI511545B (zh) 2015-12-01

Family

ID=43898970

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100104627A TWI511545B (zh) 2010-07-28 2011-02-11 數位視訊的區塊雜訊偵測

Country Status (5)

Country Link
US (1) US9077990B2 (zh)
EP (1) EP2599311B1 (zh)
CN (1) CN103026708B (zh)
TW (1) TWI511545B (zh)
WO (1) WO2012014021A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013038454A (ja) * 2011-08-03 2013-02-21 Sony Corp 画像処理装置および方法、並びにプログラム
US9071825B2 (en) * 2012-04-24 2015-06-30 Tektronix, Inc. Tiling or blockiness detection based on spectral power signature
AU2012216341A1 (en) * 2012-08-21 2014-03-13 Canon Kabushiki Kaisha Method, apparatus and system for segmenting an image in an image sequence

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1111928A1 (en) * 1999-12-22 2001-06-27 Tektronix, Inc. Harmonic measurement of blockiness in video signals
US6810082B1 (en) * 1999-12-17 2004-10-26 Koninklijke Philips Electronics N.V. Chroma based adaptive signal peaking
TW200838310A (en) * 2007-03-08 2008-09-16 Realtek Semiconductor Corp Apparatus and method thereof for encoding/decoding video
TW200926764A (en) * 2007-12-03 2009-06-16 Univ Nat Kaohsiung Applied Sci Video noise reduction method suitable for dark environment
US20100128168A1 (en) * 2008-11-25 2010-05-27 Stmicroelectronics Asia Pacific Ptd. Ltd. Apparatus and method for coding block boundary detection using interpolated autocorrelation

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6188799B1 (en) 1997-02-07 2001-02-13 Matsushita Electric Industrial Co., Ltd. Method and apparatus for removing noise in still and moving pictures
EP0998146A4 (en) 1998-05-22 2001-02-28 Matsushita Electronics Corp BLOCK NOISE DETECTOR AND BLOCK NOISE REDUCTION SYSTEM
JP4230636B2 (ja) 2000-02-29 2009-02-25 株式会社東芝 動画像再生方法および動画像再生装置
US7136538B2 (en) 2000-12-21 2006-11-14 Matsushita Electric Industrial Co., Ltd. Noise reducing apparatus and noise reducing method
US7003174B2 (en) 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
JP4145586B2 (ja) 2001-07-24 2008-09-03 セイコーエプソン株式会社 画像処理装置及び画像処理プログラム、並びに画像処理方法
EP1536647A1 (en) 2003-11-26 2005-06-01 STMicroelectronics Limited A video decoding device
JP4066367B2 (ja) 2003-11-28 2008-03-26 ノーリツ鋼機株式会社 画像ノイズ除去方法
JP2005167399A (ja) 2003-11-28 2005-06-23 Noritsu Koki Co Ltd 画像ノイズ除去方法
JP4002599B2 (ja) 2003-12-01 2007-11-07 学校法人日本工業大学 圧縮復元画像におけるモスキート・ノイズの削減方法及び装置
US7471845B2 (en) 2004-01-06 2008-12-30 Sharp Laboratories Of America, Inc. De-ringing filter
WO2006010276A1 (en) 2004-07-30 2006-02-02 Algolith Inc Apparatus and method for adaptive 3d artifact reducing for encoded image signal
JP4457346B2 (ja) 2004-11-12 2010-04-28 ノーリツ鋼機株式会社 画像ノイズ除去方法
US8254462B2 (en) 2005-01-28 2012-08-28 Broadcom Corporation Method and system for block noise reduction
US20060171466A1 (en) 2005-01-28 2006-08-03 Brian Schoner Method and system for mosquito noise reduction
US7680355B2 (en) 2005-05-02 2010-03-16 Intel Corporation Detection of artifacts resulting from image signal decompression
US7657098B2 (en) 2005-05-02 2010-02-02 Samsung Electronics Co., Ltd. Method and apparatus for reducing mosquito noise in decoded video sequence
US7548660B2 (en) 2005-09-30 2009-06-16 Intel Corporation System and method of spatio-temporal edge-preserved filtering techniques to reduce ringing and mosquito noise of digital pictures
JP2009521168A (ja) 2005-12-21 2009-05-28 ペイス マイクロ テクノロジィ ピーエルシー 表示画像における圧縮アーチファクトの低減
JP2007334457A (ja) 2006-06-12 2007-12-27 Toshiba Corp 画像処理装置及び画像処理方法
JP2007336075A (ja) 2006-06-13 2007-12-27 Victor Co Of Japan Ltd ブロック歪み低減装置
JP4410225B2 (ja) 2006-08-07 2010-02-03 株式会社東芝 動画像復号化装置および方法
AU2006252195B8 (en) 2006-12-21 2011-02-03 Canon Kabushiki Kaisha MPEG noise reduction
US8189946B2 (en) 2007-01-24 2012-05-29 Canon Kabushiki Kaisha Image processing apparatus and method thereof for detecting and removing noise in decoded images
WO2009044549A1 (ja) 2007-10-03 2009-04-09 Panasonic Corporation ブロック歪みを減少させる方法および装置
US20090290791A1 (en) * 2008-05-20 2009-11-26 Holub Alex David Automatic tracking of people and bodies in video
WO2010029432A1 (en) * 2008-09-09 2010-03-18 Marvell World Trade, Ltd. Reducing digital image noise
CN101742292B (zh) * 2008-11-14 2013-03-27 北京中星微电子有限公司 基于图像内容信息的环路滤波方法和滤波器
CN101567964B (zh) * 2009-05-15 2011-11-23 南通大学 一种低码率视频应用中的预处理降噪去块效应方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6810082B1 (en) * 1999-12-17 2004-10-26 Koninklijke Philips Electronics N.V. Chroma based adaptive signal peaking
EP1111928A1 (en) * 1999-12-22 2001-06-27 Tektronix, Inc. Harmonic measurement of blockiness in video signals
TW200838310A (en) * 2007-03-08 2008-09-16 Realtek Semiconductor Corp Apparatus and method thereof for encoding/decoding video
TW200926764A (en) * 2007-12-03 2009-06-16 Univ Nat Kaohsiung Applied Sci Video noise reduction method suitable for dark environment
US20100128168A1 (en) * 2008-11-25 2010-05-27 Stmicroelectronics Asia Pacific Ptd. Ltd. Apparatus and method for coding block boundary detection using interpolated autocorrelation

Also Published As

Publication number Publication date
CN103026708B (zh) 2018-01-26
EP2599311B1 (en) 2020-02-05
CN103026708A (zh) 2013-04-03
US9077990B2 (en) 2015-07-07
WO2012014021A1 (en) 2012-02-02
TW201206173A (en) 2012-02-01
US20120027103A1 (en) 2012-02-02
EP2599311A1 (en) 2013-06-05

Similar Documents

Publication Publication Date Title
JP4664432B2 (ja) ショットサイズ識別装置及び方法、電子機器、並びにコンピュータプログラム
JP5233014B2 (ja) 方法および装置
TWI557687B (zh) 圖像二值化處理裝置及其方法
KR101112139B1 (ko) 부호화된 영상의 확대비 및 노이즈 강도 추정장치 및 방법
TWI477153B (zh) 辨識區塊效應之技術
KR101812341B1 (ko) 이미지의 에지 향상 방법
JPWO2002067589A1 (ja) 画像処理システム、画像処理方法、及び画像処理プログラム
CN103270746A (zh) 用于低光降噪的分量滤波
Bagiwa et al. Digital video inpainting detection using correlation of hessian matrix
TWI511545B (zh) 數位視訊的區塊雜訊偵測
JP4936083B2 (ja) サムネイル画像生成方法及びその装置
CN102118547A (zh) 图像加权滤波的方法
TWI524782B (zh) 影像處理裝置與影像處理方法
JP2010226719A (ja) 多焦点面画像の取得および圧縮
US20080260040A1 (en) Method, device, integrated circuit and encoder for filtering video noise
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
Chen et al. A universal reference-free blurriness measure
EP2325801A2 (en) Methods of representing and analysing images
Rosli et al. Some technique for an Image of defect in inspection process based on image processing
WO2017036386A1 (zh) 一种视频去噪方法及装置、终端、存储介质
US8050508B2 (en) Detecting method and system of compression-related noise levels
US9652689B2 (en) Magnification factor estimation device and method for same
US7474800B2 (en) Method and apparatus for removing image compression artifacts
Eerenberg et al. Block-based detection systems for visual artifact location
Ojeda et al. A New Algorithm to Represent Texture Images