TW200535717A - Directional video filters for locally adaptive spatial noise reduction - Google Patents

Description

200535717 九、發明說明： 【發明所屬之技術領域】 本發明係關於視訊訊號處理，且更具體言之係關於用以 消除噪訊之數位濾波技術。 【先前技術】 本發明係關於視訊（數位）影像。每一數位影像包括 個（通常數百或數千）像素。每一像素含有關於一小部分影像 之色度及亮度的資訊（值）。本發明係關於一種用於分析數位 影像之個別像素以判定該像素是否具有”噪訊，，，然後校正 像素值以降低該像素之劈訊位準的技術。藉由”缝”^像 之像素來完成此過程。 :於：：面：原因校正或降低影像像素之噪訊位準是重 陷）第弟，付到之影像看上去可(應當)較好(較少的缺 ㈣。弟二’現代數位壓縮技術具有谓測影像中諸如運動之 欠的功此，且可受益於具有較少噪訊之影像。有 之總的目的在於在不犧牲 3 ^ 突然之變化。㈣圖片清晰度）之情況下清除 噪訊濾波面臨的普遍問題在於當逐 諸如物體邊緣之某些影像特徵看起來非常像/仃濾波時 訊濾波演算法係一可清 本讯。有效噪 法。一般而言，有^ = 士而不犧牲影像品質之演算 虿工間及”時間”兩種 ^ ^空間濾、波中，在給定影像中將像^像慮波。 :周圍(附近、鄰近)之像素值相比較值與給定像 像素。例如’若該陣列之中心像素具） 98100,d〇c 200535717 有1000*χ之值，且周圍像素皆具有2*χ之值，則應假定該 中心像素值錯誤且可使用多項技術變更該值以使該值與周 圍像素值協調。在時間濾波中，將位於一影像内特定位置 之給定像素之值與前一或後一影像中位於相同位置之像素 的值相比較。若位於一給定影像内之特定位置之像素的值 f前-及/或後-影I中位於相同位置之像素的值劇烈地 變化’ m可修改其值以使該值與所期望的值較為協調。空 間與時間濾、波之組合亦已知。 2視訊訊號之噪訊清除用於增強包括視訊訊號之影像的 品質且用於為視訊訊號之有效壓縮做準備。噪訊清除對於 衫像貪訊之壓縮非常重要’因為D喿訊可顯著降低壓縮方案 之有效性，尤其是諸如各種MPEG視訊標準之頻域壓縮方案 之有效性。在影像壓縮技術中，通常在壓縮與影像品質之 間存在-折衷；增加廢縮可導致影像品質降低。通常很難 H亥等差異以達成高品質高度壓縮之影像。與視訊訊號 I缩^關之有效噪訊清除可报好的用於兩個目的且除了良 好壓縮之視訊訊號外產生增強影像。 視訊壓縮藉由移除圖片冗餘降低用於傳輸動態圖片之必 =寬。在空間域及時間域中皆可完成此過程。該過程以 :由離散餘弦變換(DCT)自空間域至頻域之轉換開始。此變 之=方形像素群（術語”區塊”）起作用。將圖片自空間域變換 二藉由使用諸如可變長度編碼(VLC)及遊程長度編碼 (RLC)之較靈活的編碼方案可進—步降低頻寬。 視訊中之噪訊由各種噪訊源弓丨起。最常見為來自拾取裝 98100.doc 200535717 置（攝影管或CCD)、膜顆粒、類比電路等之寬頻或高斯噪 訊。對於經類比鏈路傳輸之訊號而言，亦普遍存在脈衝噪 訊。雖然此類型噪訊尤其普遍存在於衛星及微波鏈路中（且 其強度可位於自一分鐘一或兩個”火花”至衛星饋入太陽能 快耗盡時可見之脈衝”爆布”之範圍内），但是脈衝亦可由設 施内部產生（例如，管理人將真空吸塵器之插頭插入電源）。 最後一類被稱作”表面損傷，，之噪訊（例如）由經錯誤處理之 底片上存在之垂直劃痕引起。此類型之噪訊亦可由訊號串 擾引起。一旦噪訊出現在訊號中，將很難將其移除。在過 去，採用諸如高頻斜坡（high-freqUency roll-〇ff)之技術，但 頻繁地使用該方法將導致對下方圖片之比噪訊本身更嚴重 之損害。 用於清除噪訊之濾波器包含時間及空間濾波器（垂直濾 波裔需要外部硬體）。本發明應用於空間濾波。在一訊框中 貝施水平及垂直低通濾波之基本空間濾波放棄了噪訊及圖 片細即。此技術可提供假像（anifact)與軟圖片之間的折 衷，然而軟圖片之效果顯而易見。美國專利6,229,578 (，578 專利）揭* 了 -基於邊緣债測之脅訊移❺演算法。所揭示之 演算法係一種用於藉由辨別邊緣與非邊緣像素且對分類為 非邊緣像素之像素貫施第…㈣移除技術及對分類為邊緣 像素之像素實施第二噪訊移除技術而移除噪訊之方法。該 方法操作在彩色内插之前位於彩色濾波器陣列(cfa)域内 之影像’且不論邊緣或非邊緣使用豸合該分類之技術。 如’578專利巾所論述，在影像處理技術巾，由感測或捕 98100.doc 200535717 獲裝置所捕獲之物體或景象之 ”噪訊，，(在物體或環境中不存在之：經常受到各種類型之 在影像中）。存在於影像中之 但其可能仍然出現 你/ '、° 了 ~因於諸如感測哭夕4、 像系統的特性，彡^ \ -成 、古丄、 又 < 〜理步驟，发各叫闽 達成不同之目的時可增加噪訊 /、田相 士产 雞辨別指不一俊去+ y冬 素區域”有噪訊”之特徵及特 ，、或像 、嘉絡十旦μ各 &不一像素或像素區域為 邊緣或衫像之精確細節之特徵。 ^ 題在於被指示為㈣之#· 移除噪訊之基本問 …移除實際上常常為精確之邊緣或細 即之移除。若移除了精確細節或 一 夯洛公後、r丨 P次邊緣，則可在影像（進—步 /色衫像)區域内發生模糊效應，該模糊效應導致 # 過：緣至另一像素之滲色。基於線性據波技術之噪訊移： 程序受到此弊病很大影響，1因此研發出—類諸如中值渡 波之基於排序統計之濾波技術。 “ 如專利’ 5 7 8中所論述，中值渡波按照屬於一像素p (實施渡 波之像素）及特定鄰近或沿著像素p之特定向量之像素之強 度值排序。例★"應用於包含且關於像素p之樣本值 {12，13,200,50，14}的中值濾波（應用於特定方向經由該像素 至鄰近像素）將首先排序為{12，13，14，118,2〇〇}。所謂單向有 限脈衝響應（FIR)中值混合渡波將用實例集合之中值_ 代具：像素值200之原始像素位置p。因此，濾波之後之輸 出向里為.{12,13,14,50,14}。若值200實際為邊緣之一部分 而非木Λ，則如輸出向量值中所展示由實施濾波所引起之 平滑將破壞該邊緣特徵。 如專利’578中所論述，已經研發出若干改良之中值濾波 98100.doc 200535717 ==。此中值*波之一特定實例…中值 波二原二=方:重複進行中值渡波且在每-遽 波，直鋅^素。多級中值混合濾波具有平均子濾 \ =由在特定較方向求像素平均值且然 :集合(諸如三個值)執行中值計算來減小排序操作之負 纟中m皮中，對兩個鄰近之西部像素 中佶且將結果連同兩㈣近之東部像素之平均值饋入 :波。中值渡波之第三輸入為所考慮之用於移除噪訊 ’、°在其它方向’實施—相似程序。在三級中值混八 第-級使具有相反方向向量（北與南，等等）之所: 寺經千均之鄰近像素配對且對於每—對方向平均值洋 "個)將它們亦連同所涉及之作為第三輸入之像素饋入/中 值遽波器。將第一渡波之所得中值再次配對且連同所涉及 之像素輸人中錢波。儘管巾值混合在區㈣些邊緣方面 運作非常好，但其在關於邊㈣測之若干態樣仍顯不足。 中值混合毅*考慮邊緣自身的噪訊。換言之，即使採用8 個方向，仍不能精確判定邊緣的方向。例如，—邊緣特徵 可依特定像素之33P“量，且因此8個方向判定邊緣特徵是 不夠的。換言之，單個像素可含有數位影像之離散世界中 :能表示之非離散世界中之係邊緣之一部分及不是邊緣之 一部分。當應用於數位影像時，若應用於所有像素，則由 於存在歸因於邊緣之非基本方向之與邊緣特徵共存之吟气 當試圖移除噪訊時中值混合遽波可傳播噪訊或逐像素轉 移 言曲邊緣為此問題之理想實例。 、 98100.doc 200535717 美國專利5,844,627 (專利，627)揭示了用於清除空間噪訊 、、 方法。用於嗓说清除之數位濾、波自相同訊框之鄰 I像素所獲得之區域差異與相同半訊框之鄰近像素所獲得 之區域差異之間選擇。在一實施例中，數位濾波器包括一 自適應式Wiener濾波器經修改之濾波器，wiener濾波器保 留邊緣並將影像之平滑區域進行平滑。在未引入假像之情 况下在衫像之非常平滑區域可達成高壓縮比率。 專利627中所論述’視訊噪訊清除濾波器經常用於自 視訊影像移除觀察者可見之假像（"噪訊”）。噪訊移除之目標 在於創建一視覺上舒適之影像。此等噪訊清除濾波器包含 中值濾波益及線性低通濾波器。中值濾波器經常引入破壞 〜像中邊緣之額外假像。線性低通濾波器經常使影像中之 邊緣核糊。一般而言，提供該等技術自該影像移除可見缺 陷，所以出於此目的允許引入此等人眼通常不可見之額外 假像。然而，在視訊訊號處理中，該等，，不可見，，假像可能 不利於其它目標，諸如對於視訊影像之儲存及傳輸達成高 藍、、、侣比率較低之壓細比率要求視訊處理系統在較高之位 凡速率（在可變位元速率編碼應用中）或較低之影像品質（在 固定位元速率編碼應用中）下運作。 如專利627中所論述’在先前技術中，wiener濾波器及其 適應式半訊框/訊框變數係已經被廣泛地研究之噪訊清除 數位濾波器。例如，下列文獻描述了某些區域wiener濾波 ⑴】· S· Lee之 Digital Image Enhancement and Noise Filtering by Use of Local Statistics，，，IEEE Transactions on 98100.doc 200535717

Pattern Analysis and Machine Intelligence ’ 第 PAMI-2卷’ 第 2期，1985 年 3 月，第 165-168 頁；（ii) J. S. Lee之’’Refined Filtering of Image Noise Using Local Statistics11，Computer Graphics and Image Processing 15，380-389 (1981);及（iii) Kuan等人之"Adaptive Noise Smoothing Filter for Images with Signal-Dependent Noise11 5 IEEE Transactions on Pattern

Analysis and Machine Intelligence，第 PAMI-7卷，第 2期， 1985年3月，第165-177頁。具體言之，區域Wiener濾波器 基於緊鄰該像素之有限個像素之均值及方差值對影像之每 一像素操作。由於以下兩個原因wiener濾波器在視訊壓縮 處理中顯得很重要。第一，Wiener濾波器移除諸如膜顆粒

根據先前技術， ’對應於專利’627之圖3 a，圖1A展示了一

圖1 A展示3x3鄰域内之 九個像素。基於對像素之3 x3像素 98100-d〇c 200535717 鄰2相同半訊框之九個像素求平均值及計算方差’對每 =象素^算鄰域均值（，，基於半訊框之均值，，）及鄰域方差 (基於半訊框之方差，，） 圖1B展示3x3鄰域内之九個俊夸 ㈣素對於絲巾之每個像素 而言’選擇基於訊框及基於半訊框之鄰域方差中較小 者二、相關聯之鄰域均值分別作為該像素之鄰域方差(用 ~⑽表不）及鄰域均值（用bar_g w)表示）。獨立地，對於 整個影像將所獲得之基於純及基於半訊框之鄰域方差求 ^且累積。所得值用於計算全局（glGbal)噪訊㈣之噪訊方 (用ση表不）。已經揭示了各種方法用於計算^ 2。 美國專利6,335,990 (專利，99〇)揭示了用於改^經壓縮之 數位視訊之空間時間遽波之系統及方法。一在空間及時間 域^由滤波係數以單-步㈣波之遽波器包括：__慮 波器、-臨限單元及一係數暫存器’其中遽波係數可視視 戒複雜度及相鄰訊框之間的運動而變化。將HR據波 限單⑽合以接收視訊資料。IIR濾波器亦輕合至係㈣; :及臨限單元。„R渡波器自係數暫存器接收係數且使用該 等係數渡波所接收之視訊資料。IIR渡波器在單一步驟中^ 垂直、水平及時間維度上渡波資料。將由IIR渡波器輸出之 經渡波之資料發送至臨限單元。臨限單元將經濾波資料斑 原視訊資料之間之差異的絕對值與自係數暫存器之臨限值 進行比較，且然後將原視訊資料或經濾波資料輸出。 根據先前技術，對應於專利，99〇之圖i，圖2係一包人 用作前置濾波器之遽波器之視訊處理系統的方塊圖=視 98100.doc 12 200535717 訊處理系統說明作為—前置遽波 所+ —乂 t 4 /反為的使用。如圖 皮:二 濾波器之輸入端接收原視訊資料流。前置濟 波益處理及遽波資料，且輸出經遽波之資料。 ^ 器之輸出耦合至壓縮單元，該 波 資料且將經壓缩之資++ & 、 &、、、5經‘波之視訊 丁、工/土滩之貝枓輸出至解壓 解壓縮單元之間之耗人#1 :早70。當壓縮單元與 Γ σ 、不為电耦合時，熟習此項技術者 :瞭解遣縮資料之傳輸可採取各種形式包含 送、經ΑΤΜ傳送、經網際網路傳送、經衛星專 //工有線②視傳送或至及自軟碟、CD-ROM或其它相 ^5適媒體傳送。將經壓縮資料提供於解壓縮單元之輪 ::°ΓΓ單元接著將資料解壓縮以重建經滤波之視訊 貝枓’然後將視訊資料發送至顯示裝置以呈現較用者。 如圖2之情形中所梓用，、 置濾波器較佳具有下述係數··使 堅縮及解壓細之後之經濾波之位元流輸出與未經遽波之 位凡流相比具有大體上較好之顯示品質。 美國專利6 2 9 5，3 8 2 ί直法if，1 q ο、4曰-。 ，（專利382)揭不了用於建立一適應式 ϋ呆訊清除濾、波器之方、、表芬 、、 方法及扠備。用於在視訊圖形電路内之 適應式噪訊渡波方法及設備包含判定顯示區域核心之平均 mi心包含以（例如）方形、矩形等之特定方式排列之複 數個像素。接著，判定核心内一像素之方差。基於平均密 度與方差之間之關係’判定訊號噪訊因子。訊號噪訊因子 已3 ^區域、一訊號區域及一邊緣區域。然後基於訊 號噪訊因子、平均密度及像素密度適應式濾波核心内之像 素。 98100.doc 200535717 如專利f382中所論述，適應式濾波器基於下列等式濾波 噪訊： Y輸出=Κ*Χ3(1-Κ)μ，其中 K^SigmaVcSigma^+Sigma^) 〇 在此專式中，μ表示濾波所覆蓋之像素的平均像素值（彩 色、紋理、以混合等），Sigma.sup.2表示顯示幕内之方差，

Sigma 示區域方差且Sigma2n表示噪訊基準。此 外，μ气1/L * wpCjXy，其中W表示濾波之寬度（關於乂方 向）且L表示濾波之長度（關於y方向）。例如，L等於3及”等 於3之3x3濾波器包含9個像素，其中Xc表示濾波之中心像參 素。 如專利’382中所論述，當將此濾波器應用於輸入視訊訊 號時’其基於適應式濾波等式使噪訊衰減。一般而言，當 存在顯著嗶訊時，K項接近於1，因此濾波器主要基於&之 像素值（意即佔優勢）濾波Xe。當存在少量噪訊時， K項接近於〇,因此濾波器基於由濾波器所覆蓋之像素之平 均像素值（意即，（1-Κ)μ項佔優勢）濾波。當噪訊位準位於 _ 二者之間時，兩項皆有助於像素之濾波，當不需要時提供 頜外濾波。因此，影像看上去比預期更平滑因為淡化了影 像邊緣之界定。同樣，所要之視訊品質低於最佳品質。 一種最為吾人熟知且最廣泛地使用之用於編碼動態圖片 影像（視訊）及相關聯音訊之視訊壓縮標準為MpEG_2標準， 。亥私準由負貝研發動態圖片、音訊及其組合之壓縮、解壓 · 縮、處理及編碼表示法的國際標準之IS〇/IEC(國際標準組 _ 、我/國際工耘師協會）之工作組：動態圖片專家組（以柯〇)提 98100.doc -14- 200535717 供。ISO辦公地址位於瑞士 1 rue de Varemb0，Case postale 56，CH-1211 Geneva 20。IEC辦公地址位於美國 549 West Randolph Street，Suite 600，Chicago，IL 60661-2208 〇 國際標準 ISO/IEC 138 1 8-2ffGeneric Coding of Moving Pictures and Associated Audio Information: Video’’及 ATSC 文獻 A/54’’Guide to the Use of the ATSC Digital Television Standard”描述了用於編碼及解碼數位視訊（及音訊）資料之 MPEG-2編碼方案。MPEG-2標準允許對包含通常稱作HDTV (高清晰度電視）之較高解析度之廣泛範圍解析度之視訊進 行編碼。 在MPEG-2中，經解碼之圖片由像素組成。每一 8x8像素 陣列被稱作”區塊’’。2x2區塊陣列被稱為”大區塊π。使用多 種熟知之技術達成MPEG-2視訊壓縮，該等技術包含預測 (編碼器中之運動估計、解碼器中之運動壓縮）、8x8像素區 塊之二維離散餘弦變換（DCT)、DCT係數之量化及Huffman 及遊程長度編碼。無需預測即可編碼稱為”1-訊框”之參考訊 框影像。將稱為ΠΡ_訊框’f之預編碼訊框編碼為關於先前I-訊框或先前P-訊框之預測參數之集合。將稱為ΠΒ-訊框’’之 二向性預測編碼訊框編碼為關於先前及隨後之I-訊框及Ρ-訊框兩者之預測參數。 MPEG-2標準規定了多媒體程式之各種組成部分的格式 化。此程式可能包含（例如）經MPEG-2壓縮之視訊、經壓縮 之音訊、控制資料及/或使用者資料。該標準亦定義了該等 組成部分如何組合為單一同步位元流。將該等成分組合為 98100.doc -15- 200535717 單"IL之過秋被稱為多路傳輪。可經由各種鏈路之任—傳 輸經多路傳輸之流，諸如射頻鏈路（UHF/VHF)、數位廣播 衛星鏈路、有線電視網路、標準陸地通信鏈路、微波視線 (L〇S)鏈路（無線）、數位用戶鏈路（家用ADSL)、封包/蜂巢鏈 路（ATM、ΐρ、ιρν6、乙太網路）。 美國專利5,974,193 (專利，193)揭示了與視訊訊號之 MPEG· 1及MPEG.2編碼相關聯之噪訊清除的技術。 如專利]93中所論述，MPEG傳輸系統使若干視訊、音1 及所關聯之服務❹路傳輸且㈣單—數位傳輸通^發 运。藉由位70速率判定服務之數量且因此判定每一服務佔 用之傳輸頻寬之成本。因此圖片品f之任何改良或位:速 率之減小對於服務提供者而言非常重要。 、 ，專利’193中所論述，許多視訊源產生隨機噪訊：攝影 機^、錄音帶*訊且現有之類比歸之數位重傳輸為引 卞凡之系、4之典型貫例。儘管多數此類噪訊經常偏向於 頻譜之高頻部分且在類比系統中不特別可見，但是此材料 之mpeg編碼經常引人離散餘弦變換（D口）效果或在圖片 周圍”抖動”之假像。 ’、=專利’193中所提及，產生該等效應存在兩個主要原 口第，木成之存在使得許多小振幅高頻DCT係數產生 並以位元流發送。與低頻係數相比該等係數易於較不精確 地量化且僅歸因於噪訊。所傳輪之位讀之增加使得量化 茶數因子（QP)變得較高以維持相同之位元速率。最終結果 為整個圖片品質降低。緊跟Intra⑴訊框之前向預測峨二 98100.doc -16- 200535717 向性預測（B)訊框試圖不斷地校正預測路徑中之噪訊且因 此此導致DCT假像逐個訊框變化。圖片品質損失之第二原 因在於編碼器本身存在噪訊使運動估計精確性降低。此產 生fBf及Τ’訊框之更壞之預測，其不可避免地增加Qp且降低 了圖片品質。 IEEE Transactions of Consumer Electronics，第 44卷，第 3期，第 1091-1098 頁，1998年中 Κ· J0stschulte、Α· Amer、 Μ· Schu、H. Schroeder之 ”perceptive Adaptive Temp〇ral TV-Noise Reduction using Contour Preserving Prefilter Techniques”揭示了經交織視訊之空間時間噪訊清除方案 (” Jostschulte”）。噪訊清除方案主要由基於子頻帶之時間遞 歸濾波器組成，該方案利用了人類視覺系統之某些特殊特 性。此時間系統由具有低硬體消耗之前面之細節保留空間 濾波器支持，其由一影像分析高通濾波器組及一用於噪訊 清除之適應式低通FIR濾波器組成。空間及時間噪訊清除皆 藉由產生很好之客觀及主觀效率之大量模擬來評估。此 外，時間及空間噪訊清除二者之鏈甚至可產生好於純空間 及時間技術之和的結果。 J〇sts=ulte用於消費電視接收器中影像品質技術之改 良。該等影像品質改良任務之一為清除噪訊。 噪訊可以不同之方式破壞影像。某些噪訊源位於攝影機 二且^影像獲取期間尤其是在惡劣之照明條件下變得活 躍細因於放大器及攝影機中之其它物理效應此處添加了 不同類型之噪訊。歸因於經由類比通道(例如衛星或陸地廣 98100.doc 200535717 播/)之傳輸其它噪訊源起作用。數位傳輪插人亦可具有噪訊 特徵之其它失真。藉由諸如VCR之影像記錄裝置添加其它 噪訊。在該等裝置中，將加性白高斯噪訊或在錄音帶訊號 去失（dn>P_〇uts)之情況下將脈衝噪訊添加至訊號。因此在電 視，收器中執行所有該等失真之最終清除是非常重要的。 精由使用影像内之相關性之線性或非線性運算元的應用 執行空間°喿訊清除。但是若保護邊緣則空間噪訊清除僅具 有主觀及客觀增益。因此此濾波器必須由控制此濾波器之 係數之特定影像分析器控制。 在jostschulte中，描述了一空間-時間噪訊清除方案之完 全系統。Jostschulte適當地注意到了空間噪訊清除方案之問 題在於自空間相關影像内容消除空間無關噪訊。進行此過 私之種方法係利用空間低通濾波器。例如，可將該濾波 器建構為如Jostschulte之圖2中所描繪之水平、垂直或對角 的3分接頭FIR濾波器，該圖如本文圖3所複製。此圖係一用 於空間噪訊清除之簡單濾波器的方塊圖。 對應於Jostschulte之圖4,圖4係一用於細節保留空間噪訊 /月除之濾波斋之方塊圖。對應於j〇stschuite之圖$，圖5係一 說明用於慮波一像素之八個遮罩的圖。 如Jostschulte中所論述，假定濾波器具有輸入噪訊方差y輸人。 此濾波器所得之輸出方差σ2輸ta由下列等式給出： σ2輸出=r2 * σ2輸人 + 2 * ((Ι-r) / 2)2 * σ2輸入 假定濾波器不影響原始影像訊號，則此類型濾、波器之嗓 訊清除率R(輪入及輸出之訊號噪訊比率值）由下式給出： 98100.doc -18- 200535717 R[dB]=10 * log (σ2輸人/σ2輸出）=l〇 * i0g (2/(3r2 - 2r + 1)) Jostschulte之圖3中描綠了此濾波器之中心係數與噪訊清 除之相關性（本文未圖示）。對於一簡單c〇s2_s濾波器，結 果得到4.26 dB之噪訊清除值。對於均值濾波器可達成最大 值0 如Jostschulte中所述，此系統之缺點在於易於使影像之邊 緣及線條模糊。因此，空間噪訊清除必須適應空間影像内 容。換言之，空間濾波器僅須應用於物體邊界或非結構區 域。因此，必須應用控制低通濾波器方向之影像分析步驟。 此過程展示於圖4中（對應jostschulte之圖4)。 雖然Jostschulte提及精確偵測邊緣方向之若干演算法係 已知的，但是幾乎所有該等演算法之共性在於非常昂貴之 硬體建構。在此情況下，需要一易於建構之系统。因此選 擇偵測邊緣方向之另一方法。該方法由能夠偵測邊緣及結 構之八個不同方向之高通濾波器集合組成。 圖5(對應J〇stsehulte之圖5)描繪了用於分析及濾波方向 之八個不同遮罩。所有遮罩皆基於川像素陣列，待分析/ 遽波之像素位於陣财，位於陣财q像素包 含於所有遮罩中。如圖可見，亦考慮到了轉角之特定遮罩： 否則’根據Jostschulte，可能會損失物體角之清晰度。 遮罩1包含三個水平延伸穿過3x3陣列中心之像素又。遮罩2 包含三個垂直延伸縱向穿過川陣列中心之像素。遮罩” 有三個自左上至右下對角延伸穿過陣列之像素。遮軍4具= 二個自右上至左下對角延伸穿過陣列之像素。遮罩$包含界 98100.doc -19- 200535717 疋了一右下角之中心右側像素及中 像素。遮罩6包含 界疋了 -左下角之中心左側像素 句八只宗T — + 像素。遮罩7 左上角之中心左側像素及中心頂端像辛。遮 罩8包含界定了一右上角之中心右側像素及中心頂端像素 、在影像分析器中，將具有係數{_1/4,1/2,_1/4}之零均值言 通慮波器沿著所有給定方向應用於影像之每-像素。、^ 具有最小絕對高通輸出之方向作為區域圖片輪廣之方=。 結果為隨後之相同方向之低通遽波器將不會使 構模糊。 ^ 關於PSNR之模擬導致i犯直至2犯之噪訊清除值反。已 發現相清除量取決於影像之内容。在結構區域中，該等 …果同於幾乎非結構區域。非結構區域之損失可以用分析 濾波器易於在噪訊結構中失敗來解釋。在此等情況下，遮 罩選擇，噪訊無關。此即為何R之理論值高於模擬值之原 口但疋甚至在完全非結構影像中，噪訊清除約為工犯。 、，預處理視訊以藉由使空間噪訊衰減來減小熵允許壓縮與 平/月假像之間的折衷。雖然如J〇stschulte中所描述之區域適 應式方向性低通濾波使邊緣模糊最小化，但是在給定位元 速：：其不能調整平滑程度以最佳化品質。提供用於調整 平’月私度，藉此使品質最佳化之系統及方法係有利的。 本务明提供具有前述及其它優點之用於區域適應式空間 噪訊清除之方向性視訊濾波技術。 詞彙表 除非另有說明，或可自使用之上下文容易得知，本文所 98100.doc -20- 200535717 使用之任何術語、縮寫、首字 具有本發明最接近屬於之技術 語之術語表意欲使本文所含之 獻清晰且一致： 母縮寫或科學符號及表示法 學科中之普通含義。下列術 各種私述以及先前技術之文 DCT 離散餘弦變換 FIR 有限脈衝響應 MPEG 動怨圖片專家组，一主|i / 冬 王要致力於數位運動圖 片編碼之標準組織 MPEG 2 一用於數位電視之編碼標準（官方指定為 ISO/IEC 13818，分 9部分） MPEG-4 -種MPEG動態圖片編碼標準之變化形式，其 針對多媒體應用及視訊流，目標在於實現廣泛範圍的位元 速率。官方指定為ISO/IEC 14496，分6部分。 PSNR 峰值訊號噪訊比率 SNR 訊號噪訊比率 【發明内容】 本發明提供一種用於視訊影像中空間噪訊清除之濾波技 術。可將該技術建構為預處理濾波器以改良經壓縮視訊之 品質，諸如MPEG-1、MPEG-2或MPEG_4視訊，包含用於廣 播或多媒體流之經壓縮視訊。本發明藉由提供平滑程度之 參數凋整與簡單建構之減小的計算負擔而擴展用於在壓縮 之前預處理視訊序列之方向性低通濾波。 在主觀測试中，已經觀察到將相同程度之平滑應用於整 個影像之通常所使用之空間低通濾波器，在某些情況下與 98100.doc -21 - 200535717 未、’’工平滑之輪入相比其實際上降低了壓縮視訊之品質。 根據本發明’提供—種清除具有複數個像素之影像中之 空間噪訊(執行平滑)之技術。該技術包括：藉由在至少4個 ^向=於8個方向上，將3分接頭高通濾波器應用於影像 之母一像素來偵測影像中之物體邊界及非結構區域，以 =域低通據波之最佳方向；及僅沿著在影像内物體邊 ^非結構區域應用低通遽波，以使影像邊緣模糊之傾向 取^化。僅使用四個高通遽波器來定位穿過3χ3像素陣列之 中心的水平、垂直及對角的影像邊緣提供良好結果。 :::使：分接頭係數{_1/4，1/2，_1/4}判定低通濾波之 南通渡波器之中心分接頭係數為固定的。低通 /慮波杰'之中心分接頭係數可自零至1變化。 低通濾波適合應用於像素亮度 不穿過影像邊収方向。 了絲«波限制於 本發明之特徵包含： 妻Γ，向求平均值以改變低通遽波器形狀而不直接改變 2)補償參數以促進平滑， ”加權參數中心分接頭以藉由改變低通渡 寬度調整平滑程度， 可之 4)較少區域邊緣偵測濾波器以減少計算負擔兩倍，及 、、祕不損失精確度之情況下以整數運算建構演算法之方 法0 【實施方式】 98100.doc -22- 200535717 本發明大體係關於與視訊壓縮相關之用於空間嗓訊清除 預處理之方向性適應式濾波器。更具體言之，本文所描述 之方向性適應式空間平滑濾波器係基於僅沿著物體邊界及 無結構區域應用低通濾波以使影像邊緣模糊之傾向最小 化。 藉由在八個方向上應用3分接頭高通濾波器可完成影像 中每一像素之區域邊緣偵測以判定區域低通濾波之最佳方 向諸如已經在1EEE Trans, of Consumer Electronics，第 44 卷’第3期’第i〇91-1〇96頁中切咖加以，κ，A·。a，

Schu，Μ·，Schroeder，Η·之”percepti0n Adaptive Temp〇ral TV-Noise Reduction Using Contour Preserving Prefilter Techniques”中所描述（”J〇stschulte，，）。上文已經論述了

Jostschulte。 已經研發出用於空間噪訊清除方法之Jostschulte中所呈 現之基本方向性低通濾波演算法的若干增強。下列基本途 徑之特定附加簡化了方向性降噪建構方式且增加了調整在 所需位元速率下最大化視訊品質所需之平滑程度的極大靈 活性： 1 ·冋通方向性濾波态之數量自八至四之減小減輕了計算 負擔兩倍。 2.當高通結果絕對值幾乎（實質上）相等時，應用多方向性 低通濾波使濾波器形狀變化而不直接改變分接頭加權。 3 ·即使當高通濾波器之最小絕對值為零時導入補償參數 促進平滑。 98100.doc -23 - 200535717 4.中心低通遽》皮器係數之相對加權自零幻之變化提供 了對所應用之平滑程度額外之調整。 下文將論述該等適應性之細節及結$。將描述基本方向 性平滑演算法。亦將描述包含濾波器數量減少、藉由補償 求多方向性平均值及中心加權變化之濾波器設計改良。 方向性濾波器設計 1，小办〜脾晅螂低通應渡之方向 限:於不牙過影像邊緣之方向。如圖6所示，用以判定平滑 之取佳方向之簡單3分接頭零均值高通濾波器具有係數 ，，/4丨可將位於頂端列（1^=0，]^1，]^2，]^3)之四個 高通濾、波器之集合用以定位穿過Μ像素陣列中心之水 ^ '垂直及對角的邊緣。圖中之底端列展

波器（k=4，k=5 kw M h /E ，，—），，'係Jostschulte所建議之藉由穿過 小絕對值之^ {1/4，1/2，1/4}進通較結果作為使用係數 }進订低通濾波之方向。 通常，圖6中沐〜、 之八個遮罩，如下兄月之八個回通濾波器對應圖5中所說明 --稱 圖5 圖6 遮罩1 —---—» k = 3 直 ------ 遮罩2 ----- μ k=i 遮罩3 k = 2 —^角 遮罩4 k = 〇 — ~5Ϊ1 k^7 角 丄 1 " Β 遮罩6 k = 6 St 角 > :~ · 遮罩7 k = 5 遮罩8 ——-—---- k = 4 98100.doc -24- 200535717 基本方向性平滑之逐步過程如下進行： 1·對於I列xj行之視訊訊框中之每一像素冰，刀，根據等式 (1)計算具有分接頭加權{-1/4，1/2，_1/4}之零均值高通濾波 器之集合 k 二 Q，{diagonal」efi) k-\ (vertical k = 2，(diagonal_righi) k = 3, (horizonta) k = 4, {corner_ upper_ right) k = 5, {corner_ upper_ left) k 二 6人corner —lower —left) k = 7, (corner_lower_right)

j) ~ p(i -1,7 Η-1) - p{j +1, y ~ 1)) / 4 j) ~ p(i -1, j) - p(i +15 y))/ 4 (2P(i, j) - P{i ~ 1,7 -1) - p(i + +1))/4 ^ (2P^J)~P(hj-~l)~p(i,j+ 1))/4 j) - p(i -1, j) - /?(/, j + 1))/4 [2P(I，j) - P(i - \ j) - p(i, j — Xj)/4 {^P(h j) - p{i, 7 -1) - p{i +1? y))/ 4 7) - 7 + 1)- p{i +1, y))/ 4 (3x3陣列中頂端及底端水平列及最左邊及最右邊之垂』 行可未經濾波或可藉由複寫計算以產生一（i+i)x(j+1)号 像） 。 絕對值之高通濾波 2.如等式（2)之表達來判定具有最j 器： | Ap_min(/，75/：min) \ = ^k(\hp__filt(i,j\k\)

3·在影像像素ρω)之區域平滑之kmin方向上應用且有分 接，加權U/M/2J/4}之簡單單位增益3χ3低通據波器。藉 由簡單減法可容易地計算出自帶正負號值之直接計算：曰 lP—filt(i，j) = P(i,j)—\ (hp—f邮，j，U \ 減少方向性高通濾波器數量 對於 具有/2X72(5184)像素且含有邊緣特徵之樣4 像（子影像或較大視訊訊框之所選部分）而言，判定八個j 波器(k’，7])之絕對值。使用偽色點陣圖技術來 等…果中可相互比較在辨別邊緣特徵中每—渡波^ 98100.doc -25 - 200535717 有效性。亦產生所有八個方向之區域最 >、 取八個中最好的”） 兩通濾波器絕對值之偽色點陣圖，其中 ”平邊緣特徵顯著可 見。以此方式，可目測且主觀地評定結果。 根據本發明之一態樣，將減少數量 ^ Ά向運用於空間嗓 訊清除（平滑）。為了判定使用減少數量之方向運用於空間嗓 訊清除之有效性，在使用相同樣本影像之情況下，^使用 圖6之頂端列中所展示之四個高通濾波器（意即， k:〇，k=i，k=2，k=3)來判定結果。觀察表明，儘管變得稍微不 清晰，但是對於使用相同彩色階之僅兩個對角、一垂直及 一水平方向（k=[0,3D的最大絕對值先前八個高通遽波器可 見之邊緣仍然可見。四個高通濾波器提供令人滿意之效 月匕。可使用五個、六個或七個濾波器，但是此可能部分地 破壞本發明之目的，本發明之目的係減少高通濾波器及方 向之數量進而簡化整個設計。 亦產生說明低通濾波程度之彩色圖，其將使得產生在四 個及八個濾波器情況下之最小方向。比較該等兩個色點陣 圖，顯而易見雖然其皆顯示大量零I如一πώι(〇·，υ |最小值， 但當使用八個濾波器時低通濾波未改變之像素數量將多得 多。 、夕付 除了比較低通濾波之位置及程度外，其亦用於觀察渡波 器之數量自八個減少到四個之方向性效果。藉由對絕對值 匹配最小值之絕對值的高通方向之數量求和，計算演示樣 本子影像中每一經濾波之像素的分佈統計。將每一方向之 等式|知j/也从)卜I如―min(/"人JI之相對發生率作為總计 98100.doc -26- 200535717 72*72 = 5 1 84個經濾波像素之百分比（％)列於圖7之表格中， 其中k—[0,3](弟2行）且k=[0,7](弟3及第4行）。（在八個淚波哭 之情況下，第3行係關於水平、垂直及兩個對角的渡波器； 且在八個濾波器之情況下，第4行係關於轉角攄波器。） 圖7中，可看出雖然在此特定實例中穿過八個方向之分佈 相對恆定（14%-26%)，但是僅有四個濾波器之分佈嚴重地歪 斜偏向垂直（65%)及左對角（48%)方向。 在圖7所示之實例演示子影像中，可看出让=[〇,3]及k=[〇,7] 之兩種情況之總計分別為139%及160%。在下文多方向性求 平均值之論述中，將更詳細地描述利用超出1〇〇%之該等分 佈總计之方法。 ，-步處理演示子影像（72x72個像素）。為了強調低通渡 波益方向，插入額外之列及行以使經渡波之子影像中之每 個像素顯示為3 X 3陣列。處理步驟為·· 72X72子影像中藉由在每—像素D之間添加2列及2 仃為母一方向創建216x216陣列。（216=72χ3) —^對於絕對值匹配如等式⑺中所定義之！ «从」！的 通波器方向k將值（1，2，1}指派予以賴_心之 3 3陣列中之3個像素。 •對所考慮方向之數量求和且創建_ $ 有對應於值之陰影）。彳且财色點陣圖（例如，具 用四個及八個濾波器所計算之 監一 7上 巴"、、占陣圖之視營fc卜較 展不了類似處以及不π者心 口心优見比竿乂 言，該等θ I + I ° + K子影像中之第—區域而 不出遽波主要在左對角㈣）方向上進行。相 98100.doc -27- 200535717 反’雖然子影像中經4個 τ、/ 丨个 vjv-lu，j " 區域内之作用再次由左對角濾波控制，但^ ^ ^ 渡波之偽影像™亦反映了在直角轉角方向上;;低通 慮波。 圖8Α及8Β分別為對於演示子影像之四個及八個高通渡 波器之低通濾波器圖之展開圖，展示了 〇=[1,4]及〇=[5，㈨ 相同方向（D=n，8]之濾波器正規化和等於4D)上之相對加 權。 多方向性求平均值 如自對演示子影像之圖7所記起之總計超過1〇〇%之方向 性分佈所證明，知j"(/，从)丨 „ min(,7·, ) 1之值可對多於單一 k值匹配 —之值。在圖从及⑽之低通遽波器方向圖中具⑽ ，更大值之非中心像素亦證明了糾相等 ：3^ 像T貫例之展開圖。為了扁 達成r… 向之數量大於1之情況下 違成季父大程度之平滑，可 .m J將用於叶异區域低通濾波器之表 達式谷易地修改為求高通結 齡^本…士 a 丨口乃间之十均值。糟由指 數表不待包含於平均值内之每一 ^ ^ ^ ϋ % ^ ^ "使在早一方向之 Α低通4波之等式（3)中之表達式— 值，如等式（4)所示： 已U個

lP _ j) = ρ(^ j) ~^(hp_ flh(h ^ kj/D m=l 二吏用上文表達式所展示之平均值，在不直接改變传數值 之情況下可達成各㈣μ㈣ 且㈣又係數值 器所說明，對於 /、 π。乂如圖9中對四個高通濾波 、相问方向數㈣，4]存在總計犹卜低通 98100.doc •28- 200535717 濾波為組合。圖式中展示 刀數值。應注意對於所有D中心 加％固疋為1 /2，且其它非 匕非零係數等於1/(4D)。 圖9說明了使用四個高口 伽彳，慮波态對於相同方向數總計15 個低通濾波為加權之所有方向。 圖10係使用八個高通遽 π . 夂的對於相同方向數（D)之低通 — +门，慮波裔之數量（N)位於最右側之 订0 當使用八個方向性高通濾哭 、S、#、rfr抑,人 ，從皮日可，存在總計255個不同低 通處波裔組合。對於D=[1 81之备一 權值及濾波器組合之數量，將可能之分接頭加 里列於表格10中。不論經平均 之方向之數量，中心係數仍固定於 、值1/2。其匕15個非中心 为接頭值之不同分數對〇=[1 古田 ，〆、有取大值1/4及對D=8具 有取小值1/32。 圖11(A及B)更明確地說明了八 ,^ ^ 阿通，慮波态方向D=「l 81 之低通濾波器組合。圖11A及11β展 ， 哭带狀。图n ’、 叫1，8]之低通濾波 口口形狀圖11A展不D = [1，4]，圖u ,.^ 展不 D—[5-8]。在圖 11 中，在母一 3X3陣列之中心展示了方向之數旦卜ώ 中心像素值為1/2。 k數里。母-陣列之 由於濾波器之數量可能很大，所 辟链-一时 對於母一濾波器形狀 僅颛不一早一方向。下列表袼表明藉 田/σ著水平或垂直弟由 線翻轉或鏡像可達成相似形狀之數量： 罝軸 D = [l，8]之每一濾波器核心之方向之數量表格 98100.doc -29- 200535717 D=1 D=2 D=3 D=4 D=5 D=6 D=7 D=8 核心 # 核心 # 核心 # 核心 # 核心 f 核心 # 核心 # 核心 1110 1 1120 4 1130 2 1140 3 1150 8 1160 4 1170 4 1180 1111 1 1121 1 1131 6 1141 8 1151 4 1161 1 1171 2 1112 1 1122 3 1132 4 1142 8 1152 4 1162 3 1172 2 1113 1 1123 5 1133 24 1143 8 1153 4 1163 5 1114 1 1124 3 1134 4 1144 8 1154 5 1164 3 1115 1 1125 12 1135 4 1145 3 1155 8 1165 12 1116 1 1136 4 1146 4 1156 ‘ 4 1117 1 1137 8 1147 ; 8 1157 17 1148 16 1158 2 1149 4 total # > 8 28 56 70 56 28 8 1

應注意對於每一 D=[l，8]之該等整數總和應與圖10之最 右側行中所給定之N值一致。 對於D=1，說明了八個濾波器核心1110..1117，且N=8。 對於D = 2 對於D = 3 對於D = 4 對於D = 5 對於D = 6 對於D = 7 對於D = 8 說明了六個濾波器核心1 120..1125，且N=28。 說明了八個濾波器核心1130.· 1137，且N=56。 說明了十個濾波器核心1140·· 1149，且N=70。 說明了九個濾波器核心1150·· 1158，且N=56。 說明了六個濾波器核心1160·· 1165，且N=28。 說明了三個濾波器核心1170·· 1172，且N=8。 說明了一個濾波器核心11 80，且N= 1。 圖11中用粗體顯示之D=[l，4]之濾波器核心 98100.doc -30- 200535717 (1110,1111’1112,1113，1120，1121，1122，113 0，1131，1140)表示 所,、、、員示之5 1個低通/慮波為形狀之十個可僅使用四個方向性 高通濾波器達成。應注意由於直角轉角濾波器卜[5,8]之 冲±1，刀及沖，^’邙之再使用，所以較大加權傾向於指派給該等 緊鄰沖，力之四個像素而不是四個對角的鄰近像素 沖土U±i)，尤其是對於較大數量之相同方向（D>4)。 為了充分利用由等式（4)中求平均值所提供之多方向性

低通濾波器形狀，可導入非負補償參數δ以使 |如j/呛，7，々)|-如—min(/，从、 T k之所有方向包含於平均值中。 使用一大於零之Δ值可促進如—mi4，Mmin) = 〇之施力處之低通慮 波，藉此減少像素數量，而不應用其它區域平滑。·心 中心加權變化

根據本發明之-特徵，藉由中心分接頭之相對加權的 化可非常容易地達成低通濾波器形狀之額外靈活性。當 式⑷之求平均值表達式為3x3陣狀中心、像素指派固: 1/2時，此相對加權可在丨（其為單位濾波器）下降至零之範 内變化，此給出圍繞施力之僅兩個、 丄:乾 口 /、個或八個鄰: 像素之經加權之平均值。藉由將參數α侧“單位增益丨 域低通滤波器之計算來完成此變化，如 曰皿 L跳力‘.)-«·!>_娜，歹1寻式（5)所示 m=l 來自低通濾、波之平滑效應隨α增強而逐漸增強；對於… 達成了 1/2指派給中心係數之標準低通攄波，且對於二 全忽略了中心像素ρΜ之值。 、α-2?

MatLab模擬及結果 98100.doc -31 - 200535717 執行MatLab模擬以估計上文所描述之技術。MatLab係一 熟知用於藉由矩陣及向量進行數值計算的工具，可自The

MathWorks，Inc·，3 Apple Hill Drive，Natick，ΜΑ 01760-2098 購得。 圖12之流程圖中所描述之例行程序之MatLab建構（適應 式方向性空間低通濾波之高級處理流程）表明上文所呈現 之修改-即經減少之四個方向性高通濾波器之集合、藉由補 信參數Δ求多方向性平均值及可設定為標準固定值1 /2或視 知一mm(z，从niin)+a之區域值而定自動變化為兩個參數之間的任 何值之中心加權變化。使用無正負號8•位元整數輸入及輸 入亮度影像及用於計算中間值之雙精度工作陣列基於一陣 列進行所有計算。 對於不同視訊序列之若干樣本訊框產生偽彩色影像之灰 度1¾版本，其展示哪四個方向包含於區域低通平均值中。 四個方向之每-方向之灰度階影像展示對區域平均值之低 通貢獻，了低通濾波’在所期望方向上產生區域邊緣以

形成樣本訊框内物體之輪廓。對於寬度大於一像素之物 邊界，經延伸之邊緣看上去為雙線。應注意藉由避免在 個方向之一或多個上穿過短的區域邊緣求平均值來使諸 樣本訊框中人的眼睛及Π部之物體細節的模糊最小化。 了使對比度最大化，原影像及經平滑之影像皆用轉換為 度階之偽彩色調色板顯示。原影像與經平滑影像之比較 示了在中心加權為1/2( α = 1 )之方向 節得以良㈣留。 處理相中邊緣 98100.doc -32- 200535717 亦β兒月了中心加權變化之效果。對於樣本訊框、對於Μ % 及50%之相對中心加權藉由產生表示平滑前後像素差異絕 一子值之偽彩色景）像進行此說明。歸因於由中心加權自％減小 至％導致之較大程度的平滑，及α = 1之偽影像比較顯示 出較高差異值。 用於估计空間π呆訊清除有效性之方法比較對於固定量化 值在亮度+滑及未經亮度平滑之情況下該等序列之經編碼 之位凡速率。如Τ列表格所列出，比較了具有補償值Δ=4 種版本之方向性濾波；對於八個及四個高通濾波器兩 者執仃了適應式中心加權，同時使龍定值“ =1以指派標準 中心分接頭值1/2。 ___ 描述 A 8-渡波态方向性（^4,適應式以=[〇， —______ 1.5]) ’ B 4-渡波器方向性如(^4,適應式 -1.51) ’ C 4-渡波器方向忖4 (/\=4同宁η/ — 1V~ 一 D ^—__楚屋式 wiener_3><3 " E —ZHHiS式小波 ^~~ F —_____3χ3 中值 ~ 將每上文之次异法應用於若干測試視訊序列之每一訊 框中之亮度像素之後’纟固定量化值下使用_編碼工具執 行壓縮。對每一序列Φ夕# 士 4 ，, J中之所有轉求平均值，作為未經遽 波及經平滑之序列的對數資料速率之函數以dB為單位μ PSNR值。所有相對直線，該等圖形展示出psNR(相對：： 塵縮之初始序列進行量測，經平滑序狀PSNR值反映了歸 98100.doc -33 · 200535717 因於低通濾、波以及壓縮之損耗）及資料速率與Q = 4,8,12之未 經平滑之結果相比較的下降。應注意，在不降噪之情況下， Q=4時編碼所需之資料速率自一序列之僅272 kbps至另一 視訊序列之大於1.9 Mbps變化。儘管歸因於用六個演算法 平滑之PSNR損耗亦視序列及資料速率而定，但是截止目前 MatLab中值（F)濾波器始終展示出最有效之清除。在適應式 演异法中’ MatLab之Wiener (D)濾波器展示出最具侵略性 之平滑且八-濾波器方向性及基於小波降噪往往展示 出最小侵略性。 認識到PSNR與所感覺之視訊品質之間缺乏相關性，由三 個專業觀察者做出在三個位元速率下用於五個序列及多個 演异法之並列主觀評估。為有助於在可比資料速率下經空 間壳度噪訊清除及未經空間亮度嗓訊清除之情況下主觀品 質之比較，使用下文所描述之方法在範圍[4，16]内對於所有 Q值將初始序列編碼。 在上文之圖中所給定之主觀測試結果之一般觀察結果 _ 為· 1.3X3之㈣膽濾波器及中值濾波器兩者始終使視訊品 質降級， 2. 四-方向性财〇及基於小波（w)演算法之適應式降〇桑 導致所感覺之品質在所有情況下至少與未經濾波序列的品 質一樣好， 3. 執行某些比B或C更壞之處理，使用八個濾波器㈧之方 向性濾波顯示出對於，行動，及’haU，序列之輕微降級。 98100.doc -34- 200535717 比較評估由兩個視訊序列之適應式及非線性濾波器組 成。該等序列之結果亦說明了適應式方向性及基於小波之 濾、波裔對於空間噪訊清除的有效性。 以c建構 使用MatLab模擬以建立空間降噪中四-方向性濾波之潛 在有效性，已經將經增強之噪訊清除演算法用c建構，包含 為離線編碼器（Offline Encoder)之預處理選項。下文闡述 用於具有固定補償（△)及中心分接頭加權（α)參數之獨立版籲 2之原始程式碼。如下文所描述，此c建構專門使用16位元 整數算法，而不需要關於求平均值或正規化的任何除法運 异’也不會損失中間值計算方面之精確度。 藉由下列步驟使具有最大精確度之整數運算成為可能·· 直接按比例:¾加上文所描述之分數分接頭值、對於中間結 果使用16位元整數、延後正規化至最終步驟、將所有分母 限制為2的冪且四捨五入最後八位元輸出值。基於經縮放之 门L係數值{ 1，2，-1} ’在圖13之第一列中之四個3χ3陣列展修 不了由對D-1，2,3或4相同方向求和引起之所有高通分接頭 :權之樣本方向。在自經合適縮放之中心像素祕咸去之 月J乘以纟值視〇及α而定之整數來產生非負低通渡波器 係數，諸如该等在圖13之底端列中顯示之53%中心分接頭 加權。此圖係樣本高通濾波器總數（頂端）及增益_256低通濾 波器（^15/16,相對中心加權=53%)之和的圖。 ， 對於[爲Μ)焉通渡波器分接頭四倍於該等上文之等< , ()中所疋義之刀接頭，及由w(a，D)所表示之整數相乘加權因 98100.doc -35- 200535717 子而言，具有和為整數M之係數之16_位低通平均值之通式 由下列等式（6)給定： Μ filt{ij) = Μ - ρ(/? j) _ hp ^^ ^^ m=l 選擇2的冪作為聰，可藉由簡單地增加M/2及向右移位 位元計算像素施y)之最終四捨五入的八位元低通濾 波器輸出。 lP filt{u j) = (Μ flit(z?y) + Μ / 2) » μ Μ為2之冪及將所有♦，功加權因子限制於整數值之要求 籲 限制了中心加權參數α可達成之值。將該等值列於下列表格 中（Μ=256)作為展示α⑻、相關聯之中心加權百分比及 D=[l，4]方向之w(n，D)的指數陣列。儘管該等加權因子可容 易地由下式計算·· 义⑶=« »2 %⑴=3⑶ % (2) = νν“1)»1 (4) = Wn (2) » 1 但是其亦可較佳儲存為一查找表。應注意對於具有整數 乘法之所有D值指數n=[0，10]給出自100%下降至6〇/〇之中心 ^ 加權。 表格 將自南通濾波器之低通濾波器之計算之中心加權、α及乘 數總計起來。應瞭解若Μ可變化則值提供較精確（μ=256)或 較粗糙（Μ<256)之等級。 98100.doc -36- 200535717 指數 (η) a α (η) 中心 加權 高通加權值：w(n，D) D=1 D-2 D = 3 D = 4 0 0 100% 0 0 0 0 1 3/16 91% 12 6 4 3 _2 3/8 81% 24 12 8 6 3 ------ 4 9/16 72% 36 18 12 9 3/4 63% 48 「24 16 12 5 --—- 6 --——, 7 15/16 53% 60 30 ^ 20 15 11/8 44% 72 36 24 18 1 5/16 34% 84 42 28 21 —8 1 1/2 25% 96 — 48 32 24 9 1 11/16 16% 108 54 36 27 10 17/8 6% 120 60 40 30 雖然對於相對乾淨之序列53%中心加權可良好地工作， 但是含大X噪訊之影像需要更具侵略性之平滑。從實驗上 判疋34 /。中心加權之參數= 及δ = μ之補償可導致空間 噪訊之顯著清除。當使用一以灰度階顯示之偽彩色調色板 顯不牯，在經方向性平滑之子影像中明顯清除了在噪訊視 訊序列之單一訊框之子影像中所見之斑點。且，重要的是 經平滑之子影像内之本文仍然清晰。 使用固定參數之問題在於對於源序列及所要之位元速率 應調整平滑之程度。在另—測試中，實驗上展示了當將“⑺ 及Δ = 32應用於另一影像序列時，僅在非常低之位元速率下 (其中壓縮假像佔優勢）可接收面部細節之明顯模糊。視運作 方案而定，若不能研發出補償及中心分接頭加權參數之自 動調整之穩固方法則可適當使使用者選擇平滑之程戶。 儘官已經結合各種特定實施例描述了本發明，但是熟羽 此項技術者將瞭解在不偏離【申請專利範圍】闈述

明之精神及範疇下可作出諸多調整及修改。 I ^又，可糟由 98100.doc 200535717 此外，本發明之建構可 之空間平滑 高通濾波器 使用組合語言加速用c之軟體建構 包括： 1) 應用於色度以及党度影像像素 2) 用於區域邊緣谓測之猶環對稱 而言自動參數調整 3) 對於品質變化之廣泛範圍輸入序列 以達成最佳效能之穩固方法，及 4) 時間噪訊清除。 【圖式簡單說明】

圖1A係根據先前技術展示一傻 1豕言之由在相同視訊訊框q 之像素所組成之3 X 3鄰域的圖。 圖1B係根據先前技術展示一傻、 像素之由在相同視訊半訊相 中之像素所組成之3x3鄰域的圖。 圖2係根據先前技術包含一前 則罝濾波器之視訊處理系胡 的簡化方塊圖。 、、 圖3係根據先前技術用於空間噪訊清除之簡單濾波器之 方塊圖。 圖4係根據先前技術用於細節保留空㈣訊清除之渡波 器的方塊圖。 圖5係根據先前技術說明_濾波器之八個遮罩的圖。 圖6係根據先前技術說明用以判定區域邊緣方向性之八 個局通3x3濾波器的圖。 、圖7係根據本發明之實例演示子影像列出八至四個之濾 波器數量減少之方向性效果的表格。 ^ 圖8 A及8B分別為根據本發明對於演示子影像四個及八 98100.doc •38· 200535717 個高通濾波器之叙卜# , ^ ^ 、、工 '、佰放之低通濾波器圖的 圖9係根據本發明佶田加古1、〕展開圖。 總計15個低通滹波反时對於相同方向數 少 愿波夯加桔之所有方向的圖。 圖10係展示根據本發明使用八個高通遽波 向數（D=[l，8])之低通遽波器加權的表袼。、；目同方 圖11(A及B)係根據本發明展 D =「l 81夕彻、抑 個阿通濾波器方向 之低通濾波裔組合的圖。 圖12係根據本發明之適應式方 流程的高級流程圖。 L間低通慮波之處理 圖η係根據本發明樣本經縮放高通遽波器分接頭總數 (頂端）及增益-256低通濾波器之和（ 不U〜15/16,相對中心加權 = 53%)的圖。 98100.doc 39-

Claims (1)

1. 200535717 十、申請專利範圍： 1· -種清除在-具有複數個像素之影像中之空間噪訊之方 法，其包括： 藉由在至少四個方向上’將3_分接頭高通濾波器應用於 該影像中之每—像素，㈣測該影像中物體邊界及非結 構區域，以判定區域低通濾波之最佳方向；及 、僅沿著該影像中之物體邊界及非結構區域應用低通遽 波’以使影像邊緣模糊之傾向最小化。 2.如請求項1之方法，進一步包括： 當高通濾波結果之絕對值幾乎相等時，應用多方向性 低通濾波。 3 ·如睛求項1之方法，進一步包括： 當高通濾波結果之絕對值幾乎相等時，應用多方向性 低通濾波而不直接改變分接頭加權。 4·如請求項1之方法，進一步包括： 將一補償參數（△)導入該等高通濾波器以促進平滑。 5·如請求項1之方法，其中該等高通濾波器具有一最小絕對 值’且該方法進一步包括： 即使是當該等高通濾波器之該最小絕對值為零時，亦 將一補償參數（△)導入該等高通濾波器，以促進平滑。 6，如請求項1之方法，其中： 該等高通濾波器具有中心係數；及 該方法進一步包括： 使該等中心係數之相對加權自零至1變化。 98l00.doc 200535717 7. 如請求項1之方法，其中·· 將該低通遽波應用於像素亮度值。 8. 如請求項1之方法，進一步包括·· 將區域低通濾波限制而 哏制於不牙過影像邊緣之方向。 9·如請求項1之方法，其中： 該等高通濾波器為3分接頭零均值高通錢器，·及 该方法進一步包括： 藉由使用分接頭係數來敎低通濾波的—最佳方向 其中該中㈣接頭係數為應用於㈣鄰近像素之 有一相反正負號之分接頭係數的兩倍。 /、 1 〇·如請求項1之方法，進一步包括·· 1史用一僅四個高通濾波器之集合 心祖牙過一 3x3偉 ^ . 丨 才 -歹1之中〜之水平、垂直及對角的影像邊緣。 11·如請求項1之方法，進一步包括·· 藉=對該影像中之㈣像素之所選像素中的每一個肩 取小絕對值之該等高通濾波器之 低通濾波之該方向。 禾末4擇 12. 13. 14. 士 σ月求項1之方法，進一步包括： 等像素之所選 在一水平、垂直及兩個對角方向上對該 像素執行高通濾波。 :請求項:之方法’其中在至少四個方向但少於八個方向 將^等3分接頭高通濾波器應用於該影像中之每—像 ’、以判定區域低通濾波之該（等）最佳方向。 一種用於執行-影像之方向性平滑之方法，其包括： 98100.doc 200535717 上對於在-行之視訊訊框中之每—像素㈣，僅對 該水平、該垂直及該等兩個對角方向，計算具有分接頭 加權之零均值高通濾、波器之—集合，其中該中心分接頭 係數為應用於該等鄰近像素之該等具有—相反正負號之 分接頭係數的兩倍；及 僅/口著4衫像中之物體邊界及非結構區域應用低通濾 波’以使影像邊緣模糊之該傾向最小化。 15. 16. 17. 18. 如明求項14之方法，其中每一像素為一 3χ3像素陣列中之 一中心像素，該陣列具有頂端、中間及底端水平列及最 左、中間及最右垂直行，該方法進一步包括： 使該3x3陣列中之該頂端及該底端水平列未經濾波；及 使該最左及該最右垂直行未經濾波。 如請求項14之方法，進一步包括： 如下列等式所表達來判定具有該最小絕對值之該高通 濾波器： 1知 一 min(/，Mmin )|=miru (| 知―刺“ ) 〇 如請求項1 4之方法，進一步包括： 在該影像像素〆/，y)之區域平滑之該方向U上應用一具 有分接頭加權之單位增益3 X 3低通濾波器，其中該中心分 接頭係數為應用於該等鄰近像素之該等具有一相反正負 號之分接頭係數的兩倍。 如請求項17之方法，其中： 如下列等式藉由簡單減法，自該帶正負號值 計算該低通濾波器： 98100.doc 200535717 娜，力:施力—(如—辦，Mmin)。 19·如請求項14之方法，進一步包括： 藉由對该絕對值匹配該最小值之絕對值的高通方向之 數里求和，來計算每一經濾波像素之分佈統計。 20.如請求項14之方法，進一步包括·· 判定相同方向之該數量，及 當相同方向之該數量大於丨時，根據下列等式藉由對該 等高通結果之D個方向求平均值，計算一區域低通濾波 器： lP ^ j) = p(iy j) km)/D 〇 21 ·如請求項2〇之方法，進一步包括·· 在不直接改變係數值之情況下創建各種濾波器形狀。 22·如請求項2〇之方法，進一步包括·· 導入一非負補償參數（△)，以使如j"(/，M)|-之所有方向k包含於該低通平均值中。 23.如請求項22之方法，其中·· 該補償參數（Δ )大於零之值促進了 Α；7_ιτώι(/，7，^η；Μ之；4力 之低通濾波，藉此減少了像素之數量而無需應用其它區 域平滑。 24· —種執行一影像之空間嗓訊濾波之方法，其包括： 應用複數個3分接頭零均值高通濾波器，以判定複數個 低通濾波器形狀， 使该等高通濾、波器之該中心分接頭之相對加權在1下 98100.doc 200535717 降至零之範圍内變化。 25.如請求項24之方法，進一步包括： 視如―+ A之該區域值而定，使該中心分接頭加 權變數自動地變化至兩個參數之間的任何值。

   98100.doc