TWI491253B - 畫像處理方法、畫像處理裝置、影像編碼／解碼方法、影像編碼／解碼裝置及其程式 - Google Patents

畫像處理方法、畫像處理裝置、影像編碼／解碼方法、影像編碼／解碼裝置及其程式 Download PDF

Info

Publication number
TWI491253B
TWI491253B TW101107618A TW101107618A TWI491253B TW I491253 B TWI491253 B TW I491253B TW 101107618 A TW101107618 A TW 101107618A TW 101107618 A TW101107618 A TW 101107618A TW I491253 B TWI491253 B TW I491253B
Authority
TW
Taiwan
Prior art keywords
search
shape
image
pattern
edge direction
Prior art date
Application number
TW101107618A
Other languages
English (en)
Other versions
TW201304532A (zh
Inventor
Masaaki Matsumura
Seishi Takamura
Atsushi Shimizu
Hirohisa Jozawa
Original Assignee
Nippon Telegraph & Telephone
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph & Telephone filed Critical Nippon Telegraph & Telephone
Publication of TW201304532A publication Critical patent/TW201304532A/zh
Application granted granted Critical
Publication of TWI491253B publication Critical patent/TWI491253B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

畫像處理方法、畫像處理裝置、影像編碼/解碼方法、影像編碼/解碼裝置及其程式
本發明係關於減輕畫像攝影時之雜訊及劣化畫像的劣化之畫像處理技術。
本申請係依據2011年3月9日於日本提出申請之日本國特願2011-051443號主張優先權，並於此引用其內容。
於本說明書中所使用之各語句係定義如下。
● 「搜尋形狀」：作為樣版匹配(template matching)的對象之該畫素周圍的各搜尋點之集合體、或該集合體所形成之形狀。
● 「樣版形狀」：於樣版匹配時在計算該畫素及各搜尋點的類似度時所用之畫素群、或該畫素群所形成之形狀。在該畫素周圍的畫素群及各搜尋點周圍的畫素群上使用相同形狀，並比較相對位置關係為相同之位置彼此的畫素值。
於畫像處理領域中，就減輕畫像處理時之雜訊(noise)及劣化畫像的劣化之手法而言，係提案有各種去雜訊濾波器(denoise filter)。其中，以習知Non-local means法之去雜訊濾波器(參考非專利文獻1)係發揮較高之去雜訊效果。於下述，將依據Non-local means法之去雜訊濾波器稱為NLM濾波器。
第26圖係NLM濾波器之說明圖。於第26圖中，正方形之一格為搜尋點，該等搜尋點之集合體係為搜尋形狀。 P0 為去雜訊對象畫素，Ps 為搜尋目標之搜尋點的畫素。T0 及Ts 係樣版形狀，比較源之樣版形狀T0 及搜尋對象樣版形狀Ts 的形狀係相同。
就NLM濾波器而言，係比較比較源及搜尋對象的各樣版形狀T0 、Ts 內的對應各畫素彼此，來算出樣版類似度。樣版類似度之計算一般而言，係使用SSD(Sum of Square difference，差分平方和)及SAD(Sum of Abusolute Difference，絕對差分和)。
第27圖係為顯示NLM濾波器執行部的輸入輸出之示意圖。NLM濾波器執行部1000係在基本上，將去雜訊對象畫像、搜尋形狀、樣版形狀、及去雜訊資訊之四個資訊作為輸入，並產生去雜訊後的結果畫像。去雜訊係數係在雜訊附加前之原畫像存在時，係賦予分散作為代表值，而在無原畫像時，則使用者(user)設定適當的值。
NLM濾波器執行部1000係以下述方式針對各畫素算出去雜訊後之畫素值。就下述而言，係說明將SSD用於樣版類似度的計算之例。
(1)將加權值的變數SW初始化為0，將畫素值合計的變數SP初始化為0。
(2)對於搜尋形狀內全部的各搜尋點反覆進行以下處理。
(2-1)算出SSD作為樣版類似度。
(2-2)加權值W=exp(-SSD/去雜訊係數)
(2-3)加權值合計SW=加權值合計SW+加權值W
(2-4)畫素值合計SP=畫素值合計SP+加權值W×(搜尋點的 畫素值)
(3)針對搜尋形狀內的全部的搜尋點，若(2)之處理結束時，則依據下式求取去雜訊對象畫素的去雜訊後之畫素值。
(去雜訊後之畫素值)=畫素值合計SP/加權值合計SW
NLM濾波器執行部1000係在賦予有單一的值作為輸入之去雜訊係數、搜尋形狀、樣版形狀時，係對於去雜訊對象畫像的全畫素以單一值或形狀進行去雜訊處理，在賦予按每個畫素附加對應之資料群時，係按每個對應點切換值或形狀來進行去雜訊處理。
再者，在"MPEG(Moving Picture Experts Group，動畫專家群)"及"VCEG(Video Coding Experts Group，影像碼專家群)"中，於現在國際標準化活動所進行之次世代影像編碼標準方式的屬於"High Efficiency Video Coding(高效能視訊壓縮)"的雛形(Test model)之"HM"中，為了去除編碼失真係搭載有由解塊(deblocking)濾波器而來之去雜訊濾波器(參照非專利文獻2)。
(先前技術文獻) (非專利文獻)
非專利文獻1：A.Buades,B.Coll,and J.M.Morel,"A non-local algorithm for image denoising",Proc.IEEE Int.Conf.on Computer Vision and Pattern Recognition,vol,2,pp.60-65,June,2005.
非專利文獻2：Thomas Wiegand,Woo-Jin Han,Benjamin Bross,Jens-Rainer Ohm,Gary J.Sullivan, "WD1：Working Draft 1 of High-Efficiency Video Coding",ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 3rd Meeting：Guangzhou,CN,7-15 October,2010.
如前所述次世代影像編碼標準方式之"High Efficiency Video Coding"之"HM"中，為了去除編碼失真雖搭載有由解塊濾波器而來之去雜訊濾波器，惟若將上述NLM濾波器導入HM，則能設想到可比以往的解塊濾波器更能提高編碼效率。
然而，NLM濾波器係演算量很大，因此，在以解碼裝置使NLM濾波器對於全部的畫素進行計算時，會有大大增加解碼所需之計算時間之虞。
如前所述，對於一個個去雜訊對象畫素，係對任意的搜尋形狀內之各搜尋點，以任意的樣版形狀進行樣版匹配，並進行樣版類似度之計算。因此，例如在將樣版形狀假設為N×N區塊，且搜尋形狀假設為屬於M×M時，為了進行1畫素的去雜訊計算，係需要N2 ×M2 次(order)之演算量。因此，為了將NLM濾波器用於解碼裝置等，係需要刪減該演算量之技術。
本發明之目的在於，提供謀求上述課題之解決，並一面抑制編碼效率下降，一面刪減去雜訊濾波器的演算量之技術。並且，在此就編碼效率而言，係使用屬於例如依據畫質及編碼量所計算之國際性的評估手法之一之BD-rate。
本發明為了解決上述問題，係對成為去雜訊對象畫像之相對於去雜訊的對象畫素之比較源之樣版、與相對於成為前述去雜訊對象畫像之搜尋形狀內的搜尋目標之各搜尋點的樣版進行樣版匹配，且依據因應樣版類似度之加權及該搜尋點之畫素值的加權和來去除前述對象畫素的雜訊之畫像處理中，係進行下述處理。
(1)使用前述去雜訊對象畫像來算出邊緣(edge)方向。
(2)將所算出之前述邊緣方向作為用於前述搜尋形狀的限制之指標，並設定垂直於前述邊緣方向的方向之前述探索點的個數比沿著前述邊緣方向之前述搜尋點的數量更少之搜尋形狀。
(3)將前述樣版匹配僅進行於所設定之前述搜尋形狀內的各搜尋點，並執行去除前述對象畫素的前述雜訊之處理。
再者，本發明係將上述畫像處理適用於影像編碼或解碼之迴路濾波器(相當於以往的解塊濾波器)。
再者，就本發明而言，在將上述畫像處理適用於影像編碼或解碼之迴路濾波器時，除了上述(1)至(3)之處理以外，亦可執行下述處理。
(4)使用解碼畫像，來算出前述對象畫素與前述對象畫素的周圍畫素之偏離度。
(5)將前述偏離度作為用於前述樣版的樣版形狀之限制的指標，且在前述偏離度與前述解碼畫像內的偏離度最大值相比愈小時，則以前述樣版形狀變小之方式執行限制前述 樣版形狀之處理。
再者，亦可附加下述(6)之處理。
(6)由處理(5)所限制之樣版形狀中檢測過剩分配之區域，並藉由樣版形狀之再設定來更進一步限制樣版形狀。
如上述，就處理(1)而言，檢測去雜訊對象畫像之邊緣方向，而就處理(2)而言，係確保沿著處理(1)的邊緣方向之方向的搜尋點，且以刪減與邊緣方向垂直的方向之搜尋點之方式，按每個去雜訊對象畫像之畫素來限制搜尋形狀。藉此，可刪減去雜訊濾波器的演算量。
再者，藉由將上述畫像處理與影像編碼/解碼處理組合，並適用於迴路濾波器，係可達成抑制編碼效率下降之迴路濾波器的演算量刪減。再者，藉由上述處理(4)、(5)，相對於以往係對畫面整體唯一地賦予固定值之樣版形狀，係導入按每個畫素來限制樣版形狀之處理，而可刪減樣版匹配之演算量。再者，若進一步執行處理(6)，則可進一步刪減演算量。
就本發明之效果而言，可例舉如下。
1.去雜訊濾波器之演算量刪減
依據本發明，係藉由限制搜尋形狀，並刪減樣版匹配對象的搜尋點數，來減少樣版匹配之計算次數，而可達成演算量之刪減。
2.在組合影像編碼/解碼時可實現之去雜訊濾波器之演算量
再者，依據本發明，藉由適用於影像編碼/解碼之迴路濾波器，係可實現抑制編碼效率降低之演算量的刪減。
再者，若導入限制樣版形狀，並刪減進行樣版內畫素彼此的比較計算之畫素數的處理，則可減少畫素彼此的比較計算次數，並刪減演算量。亦即，在將限制搜尋區域之手法及限制樣版形狀之手法予以組合時，係由於在各搜尋點進行樣版匹配，而成為在受限制的搜尋範圍內進行更進一步限制之樣版形狀之計算，係可增效性地刪減演算量。
於下述係一面使用圖式，一面說明本發明之實施形態。
(第1實施形態)
第1圖係為顯示本發明第1實施形態之畫像處理裝置的構成例之示意圖。畫像處理裝置10係具備由邊緣方向檢測部102、搜尋形狀設定部103、以及NLM濾波器執行部104所構成之去雜訊濾波器處理部101。
就該畫像處理裝置10而言，去雜訊處理部101係輸入去雜訊係數、搜尋形狀、樣版形狀、及去雜訊對象畫像之四個資訊，並輸出濾波後之去除雜訊之畫像。
邊緣方向檢測部102係檢測去雜訊對象畫像之邊緣方向，並輸出附加對應於去雜訊對象畫像之各畫素之邊緣方向群。就邊緣方向之例而言，可例舉按每個方向附加號碼之號碼群或角度群等。
搜尋形狀設定部103係輸入搜尋形狀，且將所輸入之搜尋形狀作為最大形狀，並輸出附加對應於去雜訊對象畫 像之各畫素之搜尋形狀群。每個畫素之搜尋形狀群係確保沿著邊緣方向之方向的搜尋點數，並設為刪減垂直於邊緣之方向的方向之搜尋點之形狀。
NLM濾波器執行部104係輸入去雜訊對象畫像、去雜訊係數、樣版形狀、以及搜尋形狀設定部103所設定之按每個畫素之搜尋形狀群，並輸出去雜訊後之畫像。該NLM濾波器執行部104所進行之處理，係與非專利文獻1所示之以往的NLM濾波器的處理相同。
第2圖係為第1圖所示之畫像處理裝置10的處理流程圖(flowchart)。首先，就步驟(step)S101而言，去雜訊濾波器處理部101係藉由來自外部之輸入而取得去雜訊係數、去雜訊對象畫像、搜尋形狀、樣版形狀之各資訊。
就步驟S102而言，邊緣方向檢測部102係檢測去雜訊對象畫像的邊緣方向，並輸出邊緣方向群。接著，就步驟S103而言，搜尋形狀設定部103係因應由邊緣方向檢測部102所檢測出之邊緣方向來限制所輸入之搜尋形狀，並輸出每個畫素之搜尋形狀群。所輸出之搜尋形狀群的搜尋形狀係為，以所輸入之搜尋形狀為最大，而比該者更小之搜尋形狀。最後，就步驟S104而言，NLM濾波器執行部104係因應所設定之資訊執行NLM濾波器處理，並輸出濾波後之結果畫像。
第3圖係為用以說明由搜尋形狀之刪減而來之去雜訊濾波器的演算量之刪減之示意圖。於第3圖中，P0 係顯示去雜訊對象畫素，E係顯示檢測出之邊緣方向、Q0 係顯示 刪減前之搜尋形狀(最大範圍)、Q1 係顯示刪減後之搜尋形狀。
於以往，例如第3(A)圖所示，搜尋形狀Q0 係相對於畫面整體而唯一的被賦予固定值。相對於此，就本實施形態而言，藉由邊緣方向檢測部102檢測去雜訊對象畫像之邊緣方向E，且如第3(B)圖所示，藉由搜尋形狀設定部103確保沿著邊緣方向E之方向的搜尋點，並設定刪減垂直於邊緣方向E之方向的搜尋點之搜尋形狀Q1 ，藉此導入按每個畫素限制垂直形狀之處理。
並且，於樣版匹配中，係從計算對象中去除雜訊對象處理畫素P0 。此係由於屬於樣版類似度指標之SSD或SAD一定會成為0，且就於第27圖所說明之NLM濾波器處理之加權值而言，一定會輸出W=1.0。因此，相對於刪減前之搜尋形狀Q0 之樣版匹配次數係48次，相對於刪減後之搜尋形狀Q1 之樣版匹配次數係成為24次，而演算量成為減少約50%。
(第2實施形態)
第4圖係為顯示本發明第2實施形態之畫像處理裝置的構成例之示意圖。畫像處理裝置11係具備由邊緣方向檢測部112、搜尋形狀設定部113、NLM濾波器執行部114所構成之去雜訊濾波器處理部111，並具備去雜訊係數算出部115。
該畫像處理裝置11與第1實施形態之畫像處理裝置10的不同點在於，具備輸入賦予雜訊前的原畫像並算出去 雜訊係數之去雜訊係數算出部115。去雜訊濾波器處理部111之構成係與第1實施形態之去雜訊濾波器處理部101的構成相同。
第5圖係為第4圖所示之畫像處理裝置11的處理流程圖。首先，就步驟S111而言，畫像處理裝置11係藉由來自外部之輸入而取得原畫像、去雜訊對象畫像、搜尋形狀、樣版形狀之各資訊。
就步驟S112而言，去雜訊係數算出部115係依據所輸入之原畫像及去雜訊對象畫像的變量來算出去雜訊係數，並將所算出之去雜訊係數通知至NLM濾波器執行部114。 就步驟S113而言，邊緣方向檢測部112係檢測去雜訊對象畫像的邊緣方向，並輸出邊緣方向群。接著，就步驟S114而言，搜尋形狀設定部113係因應由邊緣方向檢測部112所檢測出之邊緣方向來限制所輸入之搜尋形狀，並輸出每個畫素之搜尋形狀群。所輸出之搜尋形狀群的搜尋形狀係為，以所輸入之搜尋形狀為最大，而比該者更小之搜尋形狀。最後，就步驟S115而言，NLM濾波器執行部114係因應所設定之資訊執行NLM濾波器處理，並輸出濾波後之結果畫像。
(第3實施形態)
第6圖係為本發明第3實施形態之畫像處理裝置的構成例之示意圖。畫像處理裝置12係具備由邊緣方向檢測部122、搜尋形狀設定部123、NLM濾波器執行部124、搜尋形狀記憶部125、樣版形狀記憶部126所構成之去雜訊濾 波器處理部121。
該畫像處理裝置12與上述第1實施形態之畫像處理裝置10的不同點在於，僅輸入去雜訊係數及去雜訊對象畫像，而關於搜尋形狀及樣版形狀，則使用去雜訊濾波器處理部121所保有之固定值。
亦即，去雜訊濾波器處理部121係使用搜尋形狀記憶部125、樣版形狀記憶部126所分別記憶之固定的搜尋形狀、樣版形狀，來代替從外部輸入搜尋形狀及樣版形狀。邊緣方向檢測部122、搜尋形狀設定部123、NLM濾波器執行部124之構成係與於第1實施形態所說明者相同。
(第4實施形態)
就前述之第3實施形態而言，雖由去雜訊濾波器部121將搜尋形狀及樣版形狀兩者作為固定值並予以保有，惟亦可為僅將搜尋形狀及樣版形狀之其中一方作為固定值並予以保有，而將另一方作為來自外部之輸入並設為可變之實施方式。再者，於第3實施形態中，復可以第2實施形態之方式，採用設置去雜訊係數算出部並依據原畫像算出去雜訊係數之實施形態。由於基本之處理流程係與第1實施形態及第2實施形態所說明之例相同，故省略其詳細的處理之說明。
(邊緣方向檢測方法之例1)
就邊緣方向檢測部102、112、122之邊緣方向檢測方法之一例而言，可例舉藉由對解碼畫像適用索貝爾濾波器來檢測邊緣方向，並輸出按每個方向分配之號碼。
第7A圖至第7C圖係用以說明該邊緣方向檢測方法之例(索貝爾濾波器及因應方向之號碼)之示意圖。對於周圍畫素適用第7A圖所示之索貝爾算子，且因應所檢測出之邊緣方向，以第7B圖所示之方式分配號碼VecIndex(0至10)。此時，設定一個臨限值Th，若x軸、y軸各自的成分(dx，dy)的絕對值和未達到臨限值Th，則作為於該畫素未存在有較強的邊緣者而將0號分配於VecIndex，並輸出號碼做為邊緣方向群。
第7C圖係顯示該分配號碼之演算法(algorithm)。
● 若| dx |+| dy |<Th，則設為VecIndex=0。
● 若不符合上述，而dy=0，則設為VecIndex=6。
● 若不符合上述，而dx/dy<-8.0，則設為VecIndex=6。
● 若不符合上述，而dx/dy<-2.0，則設為VecIndex=7。
● 若不符合上述，而dx/dy<-1.0，則設為VecIndex=8。
● 若不符合上述，而dx/dy<-0.5，則設為VecIndex=9。
● 若不符合上述，而dx/dy<-0.125，則設為VecIndex=10。
● 若不符合上述，而dx/dy<0.125，則設為VecIndex=1。
● 若不符合上述，而dx/dy<0.5，則設為VecIndex=2。
● 若不符合上述，而dx/dy<1.0，則設為VecIndex=3。
● 若不符合上述，而dx/dy<2.0，則設為VecIndex=4。
● 若不符合上述，而dx/dy<8.0，則設為VecIndex=5。
● 若不符合上述任一者，則設為VecIndex=6。
為了減輕由DCT(離散餘弦(cosine)變換)所導致之蚊 子狀雜訊(mosquito noise)及攝影時的雜訊之影響，或為了刪減演算量，對於所輸入之去雜訊對象畫像並非是對於等比例畫像，對於長寬縮小1/N的畫像之索貝爾濾波器之適用亦為有效。
對於縮小成1/N之畫像適用索貝爾濾波器時，所算出之索貝爾濾波器的輸出結果，係作為縮小時所使用之複數個畫素群的代表值處理。
(搜尋形狀設定方法之例1)
就搜尋形狀設定部103、113、123之搜尋形狀設定方法之一例而言，係說明使用第7B圖至第7C圖所說明之邊緣方向號碼VecIndex的邊緣方向群，將由裝置所給予之基準搜尋形狀為5×5區塊的全點設為對象時之搜尋形狀之刪減方法之例。
搜尋形狀設定部103、113、123係因應從邊緣方向檢測部102、112、122所接收之邊緣方向群，來設定第8圖所示之搜尋點。於第8圖之5×5區塊中，陰影線所示部分係成為刪減後之搜尋形狀。
以此方式進行之理由係如下述。就NLM濾波器的計算手法而言，係採取藉由樣版匹配來算出成為樣版類似度指標之SSD及SAD，並對該指標設定exponential增益(gain)的加權之機制。因此在顯著之邊緣周圍，若沿著邊緣方向進行採樣則可有效果地發現類似度較高之位置。另一方面，由於愈離開邊緣則類似度愈大幅下降，故加權成為較小之值，而在加權和計算時之影響力較小。因此，沿著邊 緣方向使採樣集中，藉此可一面抑制去雜訊效果的惡化一面抑制演算量。
並且，就第8圖之例而言，由於在5×5區塊的中心位置係作為樣版類似度的指標值處理之SSD/SAD係一定成為0，故該點係成為計算對象外。因此，相對於將5×5區塊的全點作為搜尋點時係有合計24點成為計算對象，在VecIndex=0時係成為1/3之演算量，而除此之外係成為5/12之演算量。在全部的VecIndex平均的出現時，就理論值而言係成為約大於2/5。
(模擬(simulation)結果)
使用上述邊緣方向檢測方法之例1及搜尋形狀設定方法之例1所記載之手法以長寬1/2之畫像為對象，按每個2×2區塊算出邊緣方向，並以下述設定進行模擬之結果係如下述。並且，去雜訊係數係為反覆複數次進行NLM濾波器，並以PSNR(Peak Signal-to-Noise Ratio，峰值訊噪比)成為最大之方式來進行反覆計算之最佳值。
於去雜訊對象畫像加上相對於下述各程序(sequence)的亮度訊號之+5至-5之隨機的(random)雜訊，並對濾波後之PSNR-Y與處理時間的各平均值進行評估。
<模擬條件>
● 程序：BasketballDrive、BQTerrace、Cactus、ParkScene(Full-HD：1920×1080)
● 對象訊框(frame)：前頭各10訊框
● 搜尋形狀：5×5區塊
● 樣版形狀：3×3區塊
<NLM濾波器所需之平均處理時間>
表1
依據表1，雖產生以長寬1/2畫像為對象之邊緣方向檢測及按每個2×2區塊產生之方向適用所導致之條件分歧的影像所導致之延遲，惟可了解可不大幅降低PSNR而將濾波器整體所需之時間刪減至平均大約45%。其中在對於邊緣方向集中地進行採樣上係可觀察到PSNR平均性的提高之程序。
(邊緣方向檢測方法之例2)
就邊緣方向檢測部102、112、122之邊緣方向檢測方法之其他例而言，可例舉藉由對去雜訊對象畫像適用索貝爾濾波器來檢測邊緣方向，並輸出弧度角之例。對於周圍畫素適用前述第7A圖所示之索貝爾算子，且依據x軸、y軸的各自的成分(dx，dy)並使用arctan(-π/2至π/2)來計算弧度角。此時，若dx、dy的絕對值和未達到臨限值Th，則設定arctan(-π/2至π/2)的輸出範圍以外之值 (EXatan：例如100等)。
亦即，弧度角係以下述方式決定。
● | dx |+| dy |<Th時，設為Radian=EXatan。
● 不符合上述，而dy=0時，設為Radian=π/2。
● 其他情形，設為Radian=arctan(dx/dy)。
(搜尋形狀設定方法之例2)
就搜尋形狀設定部103、113、123之搜尋形狀設定方法之其他例而言，係說明使用邊緣方向檢測方法之例2所說明之藉由弧度角所賦予之邊緣方向群，而將由裝置所給予之搜尋形狀係以N×N全點為對象時之搜尋形狀予以刪減之方法之例。
第9A圖至第9B圖係顯示因應弧度角之搜尋形狀的設定例之示意圖。搜尋形狀設定部103、113、123係因應從邊緣方向檢測部102、112、122所接收之弧度角，而將第9A圖至第9B圖所示之圓或橢圓內的搜尋點作為搜尋形狀進行設定。
在弧度角(Radian)為EXtan時，如第9A圖所示，將設定形狀的直徑成為(N-1)之圓內的搜尋點作為搜尋形狀進行設定。
再者，弧度角(Radian)為EXtan以外時，如第9B圖所示將設定形狀的長徑成為(N×21/2 )、短徑成為(N×2-1/2 )之橢圓內的搜尋點作為搜尋形狀進行設定。
(第5實施形態)
第10圖係為顯示本發明第5實施形態之畫像處理裝置 的構成例之示意圖。畫像處理裝置13係具備由邊緣方向檢測部132、搜尋形狀設定部133、NLM濾波器執行部134、搜尋形狀記憶部135、樣版形狀記憶部136、去雜訊係數設定部137、偏離度檢測部138、樣版形狀設定部139所構成之去雜訊濾波器處理部131。
第5實施形態係顯示作為影像編碼裝置或影像解碼裝置之迴路濾波器而使用之畫像處理裝置13之例。去雜訊濾波器處理部131之邊緣方向檢測部132、搜尋形狀設定部133、NLM濾波器執行部134、搜尋形狀記憶部135、樣版形狀記憶部136之基本的功能係與前述之第1至第4實施形態相同。
去雜訊係數設定部137係使用由外部給予之成為基準之去雜訊係數及編碼資訊，來產生附加對應於去雜訊對象畫像的各畫素位置之去雜訊係數。一般在中至低倍率(rate)中，由於在預測處理單位之PredictionUnit及變換處理單位之TransformUnit的各單元邊界上，區塊雜訊係開始變得明顯，故使用編碼資訊，將該等邊界附近的畫素位置之去雜訊係數設定為比區塊內部的去雜訊係數更高。
偏離度檢測部138及樣版形狀設定部139係為了導入按每個畫素限制樣版形狀之處理而予以設置。就以往的NLM濾波器而言，關於樣版形狀係一般而言對於畫面整體給予固定值。相對於此，就本實施形態而言，作為來自NLM濾波器執行部134之NLM濾波器前處理，係藉由偏離度檢測部138對於去雜訊對象畫像的各畫素檢測與周圍畫素之 偏離度，並藉由樣版形狀設定部139對偏離度檢測部138所檢測出之偏離度多階段地進行分類，並因應偏離度的強至弱來分別設定該畫素的樣版形狀(大至小)。
第11圖係為第10圖所示之畫像處理裝置13的處理流程圖。首先，就步驟S131而言，去雜訊濾波器處理部131藉由來自外部之輸入，來取得去雜訊係數、去雜訊對象畫像、編碼資訊。
就步驟S132而言，去雜訊係數設定部137係依據所輸入之成為基準之去雜訊係數及編碼資訊，來設定附加對應於去雜訊對象畫像的各畫素位置之去雜訊係數。
接著，就步驟S133而言，邊緣方向檢測部132係檢測去雜訊對象畫像的邊緣方向，並輸出邊緣方向群。就步驟S134而言，搜尋形狀設定部133因應由邊緣方向檢測部132所檢測出之邊緣方向，來限制從搜尋形狀記憶部135所輸入之搜尋形狀，並設定每個畫素的搜尋形狀群。所設定之搜尋形狀群的搜尋形狀係為，將所輸入之搜尋形狀作為最大，而比該者更小之形狀。
就步驟S135而言，偏離度檢測部138係將去雜訊對象畫像作為輸入，且計算對象畫素與周圍畫素之偏離度，並輸出附加對應於各畫素之偏離度群。就步驟S136而言，樣版形狀設定部139係使用偏離度群及樣版形狀記憶部136所記憶之預定的樣版形狀，來設定並輸出附加對應於各畫素之受到限制之樣版形狀。在限制樣版形狀時，以將所輸入之樣版形狀作為最大形狀，且在偏離度愈低時樣版形狀 變得愈小之方式來適用限制。
最後，就步驟S137而言，NLM濾波器執行部134係因應所設定之資訊而執行NLM濾波器，並輸出濾波後之結果畫像。
第12圖係為由樣版形狀設定部139所設定之樣版形狀限制例之示意圖。例如，由外部所指定之樣版形狀如第12圖(A)所示，係設為5×5之區塊。因應偏離度將該樣版形狀例如以第12圖(B)所示之方式予以限制。在作為樣版類似度而使用SSD時，就原來的樣版形狀而言，係需要加法24次、減法25次、乘法25次之演算，相對於此，藉由以第12圖(B)之方式限制樣版形狀，係成為僅需加法12次、減法13次、乘法13次之演算即可，演算量係刪減約50%。
來自去雜訊濾波器處理部131之處理的目的在於去除編碼導致之雜訊，而不考量進行去除如一般的畫像處理之畫面整體帶有相同雜訊之雜訊。編碼導致之雜訊(編碼失真)係大致可分類為下述種類。
1.平滑化所導致之紋樣的消失
2. DCT所導致之邊緣周圍的蚊子雜訊
3.在PredictionUnit及TransformUnit之各Unit邊界產生之區塊雜訊
其中，因平滑化而損失之紋樣係在復原上非常困難，故在本實施形態中不作為對象。對如此之畫素值沒有變化之經過平滑化之區域適用NLM濾波器時，雖在計算前後畫素訊號幾乎不會變化，惟係變得需要演算量。就本實施形 態而言，係藉由計算與周圍畫素之偏離度，來刪減亦分配到如此之經過平滑化的區域之演算量。
(第6實施形態)
第13圖係為顯示本發明第6實施形態之畫像處理裝置的構成例之示意圖。畫像處理裝置14係具備由邊緣方向檢測部142、搜尋形狀設定部143、NLM濾波器執行部144、搜尋形狀記憶部145、樣版形狀記憶部146、去雜訊係數設定部147、偏離度檢測部148、樣版形狀設定部149、以及樣版形狀再設定部1410所構成之去雜訊濾波器處理部141。
該畫像處理裝置14與第5實施形態之畫像處理裝置13之不同點在於，具備樣版形狀再設定部1410。樣版形狀再設定部1410係參照邊緣方向群及偏離度群、編碼資訊，而用以進行進一步限制由樣版形狀設定部過剩分配之樣版形狀之再設定。具體而言，係進一步將在PredictionUnit及TransformUnit的各Unit邊界容易產生之區塊雜訊周圍容易過剩分配之樣版形狀予以限制。
第14圖係第13圖所示之畫像處理裝置14的處理流程。步驟S141至S146之處理係與第11圖所說明之步驟S131至S136之處理相同。就步驟S147而言，樣版形狀再設定部1410係使用編碼資訊及邊緣資訊來進行樣版形狀的再設定，而刪減步驟S146所設定之樣版形狀的過剩分配。最後，就步驟S148而言，係NLM濾波器執行部144因應所設定之資訊來執行NLM濾波器，並輸出濾波後之結 果畫像。
(偏離度檢測方法之例)
對偏離度檢測部138、148之偏離度檢測方法之一例進行說明。第15A圖至第15B圖係說明偏離度檢測方法例之示意圖。針對將第15A圖所示之畫素z作為去雜訊之對象畫素，且對其周圍畫素賦予a至x之號碼之情形進行說明。在此，將在該畫素z與周圍畫素(a至x)之差分絕對值乘上考量因距離所導致的衰減之係數之加權和作為偏離度的指標(DiffIntensity)來使用。亦即，DiffIntensity係由下式來算出。
DiffIntensity=A(| h-z |+| 1-z |+| m-z |+| q-z |)+B(| g-z |+| i-z |+| p-z |+| r-z |)+C(| c-z |+| k-z |+| n-z |+| v-z |)+D(| b-z |+| d-z |+| f-z |+| j-z |+| o-z |+| s-z |+| u-z |+| w-z |)+E(| a-z |+| e-z |+| t-z |+| x-z |)
式中之A至E係因應該畫素與周圍畫素的距離而預先設定之係數，且為任意設定者。在該等係數A至E之設定上係例如可適用因應距離之高斯(Gauss)分布等。並且，亦無須將A至E全點設為對象，例如若將D設為0，即可刪減濾波器演算量。
偏離度檢測部138、148係在全部的DiffIntensity之算出結束後，將偏離度群輸出至下位樣版形狀設定部139、149。
另外，在偏離度的算出上，亦可考量適用拉普拉斯算子濾波器(Laplacian filter)的絕對值或SSD(Sum of Square Difference，平方差之和)、變量等。
再者，為了刪減演算量，對於解碼畫像係分別對任意大小(size)的N×N區塊將數點之採樣點作為計算對象來進行設定，且亦可考量作為該畫素位置之偏離度的代表值來予以使用之手法。
第15B圖係顯示採樣數的抽選之例。就此例而言，係於2×2區塊分割中，將左上、右下之畫素作為計算對象。若將此例的偏離度顯示為DiffIntensity2×2 ，則DiffIntensity2×2 可藉由下式算出。
DiffIntensity2×2 =(A的畫素位置之DiffIntensity+D的畫素位置之DiffIntensity)/2
在有A至D的畫素位置之偏離度的參照要求時，則將上述DiffIntensity2×2 作為代表值予以使用。就此例而言，偏離度計算所需之演算量係成為約一半。
(樣版形狀設定方法之例1)
就樣版形狀設定部139、149之樣版形狀設定方法之一例而言，可例舉有使用偏離度檢測部138、148所算出之偏離度群，且將由裝置所賦予之成為基準的樣版形狀為將3×3區塊的全點作為對象之情形的樣版形狀的刪減之例。
第16圖係顯示偏離度的直方圖(histogram)與臨限值/區域設定的關係之示意圖。在以自然畫像為對象時，偏離度群的直方圖係偏向值較低側，且因應偏離度變強而出現 頻率變低。再者，具有因應量子化參數的值愈大，而直方圖愈偏向偏離度小之一方之特性。
樣版形狀設定部139、149係產生所輸入之偏離度群的直方圖，且以直方圖的面積比成為均等之方式進行四分割，並以下述方式來設定各自的區域α至δ的樣版形狀TmpShape 。將區域α、β的邊界之值設為Th α，將區域β、γ的邊界之值設為Th β，將區域γ、δ的邊界之值設為Th γ。
(1)在偏離度比臨限值Th α小時
設為TmpShape =None(要素數0)。
在TmpShape 為None時，不進行樣版匹配。
(2)在偏離度為臨限值Th α以上而未達Th β時
設為TmpShape =Point(要素數1)。
在TmpShape 為Point時，僅算出針對對像畫素及搜尋點的畫素之SSD。
(3)在偏離度為臨限值Th β以上而未達時Th γ時
設為TmpShape =Cross(要素數5)。
在TmpShape 為Cross時，藉由在對象畫素加上上下左右之四畫素之五畫素樣版形狀來進行匹配。
(4)在偏離度為臨限值Th γ以上時
設為TmpShape =Block3×3 (要素數9)。
在TmpShape 為Block3×3 時，對3×3區塊的樣版形狀的全點進行匹配。
藉由本手法之導入，與對於全搜尋點以3×3區塊的樣 版形狀的全點進行匹配之手法相比較，各自的演算量係成為如下述。
區域α：演算量0
區域β：演算量1/9
區域γ：演算量5/9
區域δ：演算量1
由於區域係各佔畫面整體的1/4，合計演算量係成為5/12，而成為就理論值而言係成為可將演算量刪減大約小於1/2。
如此，因應偏離度的大小決定樣版形狀係因應下述理由。偏離度係在較強的邊緣周圍容易出現較強訊號，接著係作為較弱之邊緣及DCT所導致之蚊子雜訊、攝影時的雜訊等小至中程度的訊號來出現。由於NLM濾波器係具有邊緣周圍尤其能夠發揮效果之特性，故就本實施形態而言，係藉由對偏離度較大的區域(區域δ)分配大型樣版形狀而可抑制去雜訊效果的惡化。
(樣版形狀設定方法之例2)
就樣版形狀設定部139、149之樣版形狀設定方法之別的例而言，可例舉使用偏離度檢測部138、148所算出之偏離度群，且將由裝置所賦予之成為基準的樣版形狀為將N×N區塊的全點作為對象之情形的樣版形狀的刪減之例。
第17A圖至第17B圖係用以說明因應積分比之採樣數的設定例之示意圖。樣版形狀設定部139、149係產生偏離度群的直方圖，且將直方圖上的去雜訊對象畫素的偏離度設為 ThIntensity ，並藉由顯示偏離度的分布之函數f(DiffIntenseity)(第17B圖)的積分值的比率來設定樣版形狀。
亦即，如第17A圖所示，在成為基準之樣版形狀為作為N×N區塊而被賦予時，係將刪減後之樣版形狀的設定形狀設為圓，並以下述方式決定其直徑。
設定形狀(直徑)=N×[{f(DiffIntenseity)之由0至ThIntensity 為止之積分值}÷{f(DiffIntenseity)之由0至最大值Max為止之積分值}]
藉此，在偏離度較小時使用較小之樣版形狀，而在偏離度較大時使用較大之樣版形狀，而可進行有效果的樣版匹配。
(樣版形狀再設定方法之例)
就樣版形狀再設定部1410之樣版形狀再設定方法之一例而言，係說明對第16圖所示樣版形狀設定部149所設定之樣版形狀，使用第15B圖所示之偏離度檢測部148所輸出之偏離度群、第7B圖至第7C圖所示之邊緣方向群及編碼資訊來進行再設定，而進一步刪減樣版形狀之大小之例。
第18A圖至第18C圖係用以說明樣版形狀的再設定方法之示意圖。首先，從編碼資訊取得屬於DCT等變換處理的單位之TransformUnit的Unit大小，並如第18A圖所示，將各Unit外圍的附近N畫素設定為設定對象之區域。除此以外之區域係設為直接使用前述之樣版形狀設定部 149的設定結果者。
如第18B圖所示，在使用邊緣方向群時，係有在明顯的區塊雜訊的Unit外圍上下部分VecIndex偏向1，而在Unit外圍左右部分VecIndex偏向6之傾向，且該邊界部分的偏離度係檢測出較高之值。再者，就明顯出現區塊雜訊之高量子化參數(parameter)域而言，TransformUnit內部係有容易出現較為平坦的區域之傾向。
亦即，在量子化參數QP較高之中至低倍率域中，於第18A圖之設定對象區域在滿足第18B圖所示之特徵時，則產生區塊雜訊之可能性較高。對於該等VecIndex偏向1或6之區塊邊界的畫素位置，係即便以大型樣版形狀進行計算，或即便以小型樣版形狀進行計算，其結果幾乎不變。然而，在區塊邊界檢測出明顯的邊緣時，由於係設定了大型樣版形狀，故不具效率。因此，由樣版形狀再設定部1410進行樣版形狀的再評估，藉此可謀求所謂屬於不具效率之問題的解決。
就具體手法而言，例如可例舉下述手法。使用相對於量子化參數QP之預定的臨限值Th1QP 、Th2QP (其中，Th1QP <Th2QP )，及相對於偏離度DiffIndensity之預定的臨限值Th1Diff 、Th2Diff (其中，Th1Diff <Th2Diff )，來按每個畫素位置進行如下述之設定。如此，可一面抑制去雜訊效果之惡化且一面刪減演算量。其中，Th1Diff 、Th2Diff 係設定為分別因應量子化參數QP而變動者。
在滿足下述條件時，藉由後述之再設定分岐之演算法， 來設定樣版形狀TmpShape 。
[條件1]：在Unit外圍上下部分的設定對象區域之畫素位置，對象畫素位置的VecIndex為1(橫方向邊緣)或為0(平坦區域)，且鄰接於Unit內側方向之畫素位置VecIndex為0(平坦的區域)時。
[條件2]：再者，在Unit外圍左右部分的設定對象區域之畫素位置，對象畫素位置的VecIndex為6(縱方向邊緣)或為0(平坦的區域)，且鄰接於Unit內側方向之畫素位置VecIndex為0(平坦的區域)時。
「再設定分歧的演算法」之例
(1)量子化參數QP>臨限值Th2QP ，且樣版形狀TmpShap 為Block3×3 或Cross，偏離度DiffIndensity>臨限值Th1Diff 時，將TmpShape 再設定為Point(要素數1)。
(2)在上述情形以外，量子化參數QP>臨限值Th1QP ，且樣版形狀TmpShape 為Block3×3 ，偏離度DiffIndensity>臨限值Th2Diff 時，將TmpShape 再設定為Point(要素數1)。
(3)在上述情形以外，量子化參數QP>臨限值Th1QP ，且樣版形狀TmpShape 為Block3×3 ，偏離度DiffIndensity>臨限值Th1Diff 時，將TmpShape 再設定為Cross(要素數5)。
(4)在上述情形以外，量子化參數QP>臨限值Th1QP ，且樣版形狀TmpShape 為Cross，偏離度DiffIndensity>臨限值Th1Diff 時，將TmpShape 再設定為Point(要素數1)。
(5)在上述(1)至(4)以外之情形，不對TmpShape 進行再設定並結束。
由於第18C圖之四角落的區域E、F、G、H係由於區塊雜訊而無法對所產生之VecIndex進行預測，故在分別滿足下述條件時，係對區域內全部的畫素進行來自前述之(1)至(5)的再設定分岐之樣版形狀的再設定。
● 區域E：在鄰接於正右方之區域A的畫素群或鄰接於正下方之區域C的畫素群上存在有滿足上述條件之畫素。
● 區域F：在鄰接於正左方之區域A的畫素群或鄰接於正下方之區域D的畫素群上存在有滿足上述條件之畫素。
● 區域G：在鄰接於正右方之區域B的畫素群或鄰接於正上方之區域C的畫素群上存在有滿足上述條件之畫素。
● 區域H：在鄰接於正左方之區域B的畫素或鄰接於正上方之區域D的畫素群上存在有滿足上述條件之畫素。
就本實施形態而言，雖顯示對區塊邊界的畫素群刪減演算量之例，惟相反地對區塊內部的畫素群全部設定為TmpShape =None，且不進行針對該部分之樣版匹配，而將去雜訊濾波器僅適用於區塊邊界，藉此亦可達成大幅刪減演算量之實施方式。
並且，就第5實施形態、第6實施形態而言，係說明了將成為基準之搜尋形狀及樣版形狀，由去雜訊濾波器處理部131、141以固定值之方式予以持有之例，惟亦可為以該等之其中一方、或兩者皆為由外部所給予之方式來實施。
(對於影像編碼裝置之適用例)
第19圖係顯示適用本發明實施形態之影像編碼裝置的構成例之示意圖。作為第1實施形態至第6實施形態所 說明之去雜訊濾波器處理部101至141，係可作為第19圖所示之影像編碼裝置之屬於迴路濾波器之去雜訊濾波器處理部313而予以使用。藉此，與使用以往之一般的解塊濾波器之情形相比，係可提高編碼效率。再者，為了解碼畫像之去雜訊，與直接使用以往的NLM濾波器之情形相比，可大幅刪減演算量。並且，於第19圖中，係為將成為基準之搜尋形狀及樣版形狀之兩者，由去雜訊濾波器處理部131、141以固定值之方式予以持有之例。再者，顯示去雜訊係數係與原畫像比較來決定編碼效率最佳之去雜訊係數，且作為去雜訊管理負擔(overhead)而編碼為位元訊流(bit stream)之例。在使搜尋形狀及樣版形狀之任一者、或兩者為由使用者進行設定等而由外部賦予之情形，由於需要將該等形狀傳送至解碼裝置，故雖可與前述去雜訊係數同樣地作為管理負擔而藉由將該等形狀予以編碼來實現來自外部之設定，惟就對於本編碼裝置之適用例及對於解碼裝置之適用例而言，係省略該說明。
於下述，針對第19圖所示之影像編碼裝置進行說明。原畫像記憶部301係為成為編碼對象之輸入程序的全畫像之記憶部，並依序輸出各訊框之編碼對象畫像。
區塊大小決定部302係決定將預定的CodingUnit分割為哪種區塊大小並執行編碼，並輸出對象區塊及區塊大小。預測大小決定部303係決定用以預測對象區塊的畫素值之區塊預測大小，並輸出對象區塊及預測大小。預測手法決定部304係在進行對象區塊的畫素值預測之後，決定 畫面內預測/訊框間預測的各手法中編碼效率最高之手法，並輸出使用該手法時之預測區塊及預測資訊。預測大小決定部303所輸出之對象區塊係計算與預測區塊的差分值而成為差分區塊。
變換大小決定部305係決定用以分割差分區塊之變換大小，並輸出每個經過分割之變換大小的差分區塊及變換大小。就離散餘弦變換部306而言，係對差分區塊適用離散餘弦變換，並輸出DCT係數。就量子化部307而言，係對DCT係數進行量子化，並輸出量子化後之DCT係數。
就逆量子化部308而言，係對量子化後之DCT係數進行逆量子化，而復原為DCT係數。就逆離散餘弦變換部309而言，係對DCT係數適用逆離散餘弦變換，並輸出解碼差分區塊。解碼差分區塊係與預測區塊加算合成而成為部分解碼畫像。解碼畫像記憶部310係儲存部分解碼畫像，且儲存在解碼裝置側亦可參照之畫像之記憶部。畫面內預測部311係參照儲存於解碼畫像記憶部310之部分解碼畫像來輸出預測區塊及預測資訊。
去雜訊係數決定部312係參照解碼畫像及原畫像，而決定編碼效率成為最佳之去雜訊係數，並輸出去雜訊係數。去雜訊濾波器處理部313係參照解碼畫像，並進行在前述第1至第6實施形態等所說明之用以減輕編碼失真之濾波器處理，並產生濾波後解碼畫像。
就ALF(Adaptive Loop Filter，適應迴路濾波器)處理部314而言，係對濾波後解碼畫像以接近原畫像之方式 進行濾波器處理，並輸出ALF後解碼畫像及ALF係數。訊框緩衝器315係儲存ALF後解碼畫像之記憶部。訊框間預測部316係參照訊框緩衝部315，並輸出預測區塊及預測資訊。
程序資訊編碼部317係在對影像的長寬畫素數等，輸入程序固有之資訊進行編碼後，對位元訊流記憶部325輸出程序資訊管理負擔。區塊大小編碼部318係從區塊大小決定部302接收區塊大小，並在編碼化後輸出區塊大小管理負擔。預測大小編碼部319係從預測大小決定部303接收預測大小，且在編碼後，輸出預測大小管理負擔。預測資訊編碼部320係從預測手法決定部304接收預測資訊，且在編碼後，輸出預測資訊管理負擔。
變換大小編碼部321係從變換大小決定部305接收變換大小，且在編碼後，輸出變換大小管理負擔。量子化後DCT係數編碼部322係從量子化部307接收量子化後DCT係數，並在編碼後，輸出DCT管理負擔。去雜訊係數編碼部323係接收由去雜訊係數決定部312所決定之去雜訊係數，且在編碼後，輸出去雜訊係數管理負擔。ALF係數編碼部324係接收ALF係數，且在編碼後，輸出ALF管理負擔。位元訊流記憶部325係儲存各管理負擔之記憶部，且在程序整體的編碼結束後，輸出編碼結果之位元訊流。
編碼資訊記憶部326係為儲存在解碼裝置側亦可參照之編碼資訊之記憶部。該編碼資訊記憶部326所記憶之編碼資訊係由去雜訊濾波器部313及其他各部所參照，並予 以使用。
(影像編碼裝置之處理流程)
第20圖及第21圖係顯示第19圖所示之影像編碼裝置的處理流程圖。影像編碼裝置係進行下述處理。
● 首先，於步驟S301，將輸入程序儲存於原畫像記憶部301。
● 接著，於步驟S302，係對程序資訊進行編碼並儲存於位元訊流記憶部325。
● 接著，於步驟S303，係進行相對於編碼對象的全部訊框之至步驟S318為止的迴路處理。
● 接著，於步驟S304，係進行相對於編碼對象畫像的全部CodingUnit(CU)之至步驟S314為止的迴路處理。
● 接著，於步驟S305，係決定區塊大小，且予以編碼並儲存至位元訊流記憶部325。
● 接著，於步驟S306，係決定預測大小，且予以編碼並儲存至位元訊流記憶部325。
● 接著，於步驟S307，係計算在畫面內/訊框間預測的各預測區塊之中，編碼效率最高之手法與對象區塊的差分值。
● 接著，於步驟S308，係將預測資訊儲存於位元訊流記憶部325。
● 接著，於步驟S309，係決定變換大小，且予以編碼並儲存於位元訊流記憶部325。
● 接著，於步驟S310，係進行離散餘弦變換(DCT)。
● 接著，於步驟S311，係進行量子化，並將量子化後DCT係數予以編碼並儲存於位元訊流記憶部325。
● 接著，於步驟S312，係進行逆量子化及逆離散餘弦變換。
● 接著，於步驟S313，係將於步驟S307所適用之預測區塊與逆變換後之解碼差分區塊進行加算合成。
● 接著，於步驟S314，係將經過加算合成之部分解碼畫像儲存於解碼畫像記憶部310。
● 在解碼對象畫像的相對於全部CU之迴路處理結束時，於步驟S315，係使用解碼畫像及原畫像來算出編碼效率成為最佳之去雜訊係數。
● 接著，於步驟S316，係對解碼畫像使用所算出之去雜訊係數來執行使用本手法之去雜訊濾波器之處理，且將去雜訊係數予以編碼並儲存於位元訊流記憶部325。
● 接著，於步驟S317，係執行ALF(Adaptive Loop Filter)，且將ALF係數予以編碼並儲存於位元訊流記憶部325。
● 接著，於步驟S318，將ALF後解碼畫像儲存於訊框緩衝器315。
● 在相對於編碼對象之全部訊框之濾波處理結束後，於步驟S319，係輸出位元訊流並結束處理。
(對於影像解碼裝置之適用例)
第22圖係顯示適用本發明之實施形態之影像解碼裝置的構成例之示意圖。作為第1至第6實施形態進行說明 之去雜訊濾波器處理部101至141，係可作為第22圖所示之影像解碼裝置之屬於迴路濾波器之去雜訊濾波器處理部415而予以使用。藉此，比起直接使用以往的NLM濾波器之情形更能大幅刪減演算量。
於下述，針對第22圖所示之影像解碼裝置進行說明。位元訊流記憶部401係為輸入位元訊流的記憶部，且因應需要輸出各管理負擔資訊。程序資訊解碼部402係接收程序資訊管理負擔，並將影像長寬畫素數等程序固有資訊予以解碼。
區塊大小解碼部403係接收區塊大小管理負擔，並將顯示預定的CodingUnit為藉由哪個區塊大小進行分割並予以編碼之資訊予以解碼。預測大小解碼部404係接收預測大小管理負擔，並輸出在影像編碼裝置所適用之預測大小。
預測資訊解碼部405係接收預測資訊管理負擔，並輸出預測資訊。變換大小解碼部406係接收變換大小管理負擔，並輸出在影像編碼裝置所適用之變換大小。量子化後DCT係數解碼部407係接收變換大小及DCT管理負擔，並輸出量子化後DCT係數。去雜訊係數編碼部408係接收去雜訊係數管理負擔，並輸出去雜訊係數。ALF係數解碼部409，係接收ALF管理負擔，並輸出ALF係數。
逆量子化部410係對量子化後DCT係數進行逆量子化，並復原為DCT係數。逆離散餘弦變換部411係對DCT係數適用逆離散餘弦變換並輸出解碼差分訊號。預測區塊 產生部412係接收預測資訊、部分解碼畫像、及參照訊框，並產生預測區塊。部分解碼畫像產生部413係進行預測區塊與解碼差分訊號的加算合成，並產生部分解碼畫像。解碼畫像記憶部414係為儲存部分解碼畫像之記憶部。
去雜訊濾波器處理部415係參照解碼畫像，且執行在前述第1至第6實施形態等所說明之用以減輕編碼失真之濾波處理，並產生濾波後解碼畫像。
就ALF處理部416而言，係接收ALF係數，且對濾波後解碼畫像以接近原畫像之方式進行濾波器處理，並輸出ALF後解碼畫像。並且，該ALF後解碼畫像係成為解碼時之最終解碼畫像。訊框緩衝器417係儲存ALF後解碼畫像之記憶部。編碼資訊記憶部418係儲存編碼資訊之記憶部，且該編碼資訊記憶部418所記憶之編碼資訊，係由去雜訊濾波器處理部415及其他各部所參照並予以使用。
(影像解碼裝置之處理流程)
第23圖及第24圖係顯示第22圖所示之影像解碼裝置之處理流程圖。影像解碼裝置係進行下述處理。
● 首先，於步驟S401，係將輸入位元訊流儲存於位元訊流記憶部401。
● 接著，於步驟S402，係將程序資訊予以解碼。
● 接著，於步驟S403，係進行相對於解碼對象的全部訊框之至步驟S414為止之迴路處理。
● 接著，於步驟S404，係進行相對於解碼對象畫像的全部CodingUnit(CU)之至步驟S411為止之迴路處理。
● 接著，於步驟S405，係將區塊大小予以解碼。
● 接著，於步驟S406，係將預測大小予以解碼
● 接著，於步驟S407，係將預測資訊予以解碼，並產生預測區塊。
● 接著，於步驟S408，係將變化大小予以解碼。
● 接著，於步驟S409，係將量子化後DCT係數予以解碼
● 接著，於步驟S410，係進行逆量子化及逆離散餘弦變換。
● 接著，於步驟S411，係使用步驟S407的預測區塊及步驟S410的結果來產生解碼區塊，並儲存於解碼畫像記憶部414。
● 在相對於解碼對象畫像之全部的CU之迴路處理結束後，於步驟S412，對去雜訊係數進行解碼，並對部分解碼畫像執行使用本手法之去雜訊濾波器之處理。
● 接著，於步驟S413，對ALF係數進行解碼，並執行ALF處理。
● 接著，於步驟S414，將ALF後解碼畫像儲存於訊框緩衝器417。
● 在相對於解碼對象的全部訊框之迴路處理結束時，於步驟S415，係依序框號碼順序輸出訊框緩衝器417的各訊框，且產生輸出程序並結束處理。
(演算量刪減效果)
與將先前的NLM濾波器(None-local mean(非局部平均)法之去雜訊濾波器)組入次世代影像編碼標準方式之手法 比較，在適用本手法之去雜訊濾波器之情形，於標準的影像之編碼時，係確認到可一面抑制PSNR的惡化一面刪減上述濾波器所需之演算量大約50%至75%左右。
(使用軟體程式(software program)時之構成例)
上述之畫像處理、影像編碼、解碼之處理亦可藉由電腦(computer)與軟體程式來實現，且亦可將該程式記錄於電腦可讀取之記錄媒體，亦可透過網路(network)來提供。
第25圖係將本發明之實施形態使用電腦及軟體程式來予以實施時之系統構成例。
本系統係構成為藉由匯流排連接下述構件者，該等構件係為：CPU(Central Processing Unit，中央處理單元)50，係執行程式；RAM(Random Access Memory，隨機存取記憶體)等記憶體51，係儲存有CPU50所存取之程式及資料；影像訊號記憶部52，係記憶去雜訊對象的畫像訊號、編碼對象的影像訊號、或解碼畫像的影像訊號；程式記憶裝置53，係儲存有用以使CPU50執行本發明之實施形態所說明的處理之程式；以及編碼訊流記憶部54，係記憶編碼結果之位元訊流或解碼對象的位元訊流。
程式記憶裝置53係儲存有使用本發明實施形態之用以將畫像訊號的雜訊去除之畫像處理程式531、使用本發明實施形態之用以將影像訊號予以編碼之影像編碼程式532、或使用本發明實施形態之用以將編碼位元訊流予以解碼之影像解碼程式533之其中一者。程式記憶裝置53係無須儲存該等程式之全部。
在本系統用於畫像訊號之雜訊去除時，畫像處理程式531係載入(load)至記憶體51，而CPU50係逐次讀取並執行載入於記憶體51之畫像處理程式531的命令，且輸入儲存於影像訊號記憶部52之影像訊號的畫像，並藉由本發明實施形態所說明之手法去除雜訊，之後儲存於影像訊號記憶部52。
再者，在本系統作為影像編碼裝置而予以使用時，影像編碼程式532係載入至記憶體51，而CPU50係逐次讀取並執行載入於記憶體51之影像編碼程式532的命令，且將儲存於影像訊號記憶部52之影像訊號，藉由本發明實施形態所說明之手法進行編碼，之後將編碼結果之位元訊流儲存於編碼訊流記憶部54。或者，亦可經由網路配接器(network adapter)等介面(interface)，將位元訊流輸出至外部裝置。
再者，在本系統作為影像解碼裝置而予以使用時，影像解碼程式532係載入至記憶體51，而CPU50係逐次讀取並執行載入於記憶體51之影像解碼程式533的命令，並將儲存於編碼訊流記憶部54之位元訊流，藉由本發明實施形態所說明之手法進行解碼，之後將解碼結果之影像訊號儲存於影像訊號記憶部52。或者，將解碼結果之影像訊號輸出至外部撥放裝置。
尤其，本發明之實施形態係用於影像編碼程式532、影像解碼程式533之迴路濾波器處理，該迴路濾波器處理的程式部分係可與影像編碼程式532、影像解碼程式533 共通化。
於上述，雖參照圖式針對本發明之實施形態進行說明，惟具體上的構成係並非受該實施形態所限定者，亦包含不脫離本發明的要旨之範圍的設計等(構成之附加、省略、置換、及其他變更)。本發明並非限定於前述之說明，而僅受附件之申請專利範圍所限定。
(產業上之可利用性)
本發明係例如可利用於為了減輕畫像攝影時之雜訊及劣化畫像的劣化。依據本發明，係可一面抑制編碼效率下降，一面刪減去雜訊濾波器的演算量。
10、11、12、13、14‧‧‧畫像處理部
50‧‧‧CPU
51‧‧‧記憶體
52‧‧‧影像訊號記憶部
53‧‧‧程式記憶裝置
54‧‧‧編碼訊流記憶部
101、111、121、131、141、313、415‧‧‧去雜訊濾波器處理部
102、112、122、132、142‧‧‧邊緣方向檢測部
103、113、123、133、143‧‧‧搜尋形狀設定部
104、114、124、134、144‧‧‧NLM濾波器執行部
115‧‧‧去雜訊係數算出部
125、135、145‧‧‧搜尋形狀記憶部
126、136、146‧‧‧樣版形狀記憶部
137、147‧‧‧去雜訊係數設定部
138、148‧‧‧偏離度檢測部
139、149‧‧‧樣版形狀設定部
301‧‧‧原畫像記憶部
302‧‧‧區塊大小決定部
303‧‧‧預測大小決定部
304‧‧‧預測手法決定部
305‧‧‧變換大小決定部
306‧‧‧離散餘弦變換部
307‧‧‧量子化部
308‧‧‧逆量子化部
309‧‧‧逆離散餘弦變換部
310‧‧‧解碼畫像記憶部
311‧‧‧畫面內預測部
312‧‧‧去雜訊係數決定部
314‧‧‧ALF處理部
315、417‧‧‧訊框緩衝器
316‧‧‧訊框間預測部
317‧‧‧程序資訊編碼部
318‧‧‧區塊大小編碼部
319‧‧‧預測大小編碼部
320‧‧‧預測資訊編碼部
321‧‧‧變換大小編碼部
322‧‧‧量子化後DCT係數編碼部
323‧‧‧去雜訊係數編碼部
324‧‧‧ALF係數編碼部
325、401‧‧‧位元訊流記憶部
402‧‧‧程序資訊解碼部
403‧‧‧區塊大小解碼部
404‧‧‧預測大小解碼部
405‧‧‧預測資訊解碼部
406‧‧‧變換大小解碼部
407‧‧‧量子化後DCT係數解碼部
408‧‧‧去雜訊係數解碼部
409‧‧‧ALF係數解碼部
410‧‧‧逆量子化部
411‧‧‧逆離散餘弦變換部
412‧‧‧預測區塊產生部
413‧‧‧部分解碼畫像產生部
414‧‧‧解碼畫像記憶部
416‧‧‧ALF處理部
418‧‧‧編碼資訊記憶部
531‧‧‧畫像處理程式
532‧‧‧影像編碼程式
533‧‧‧影像解碼程式
1000‧‧‧NLM濾波器執行部
1410‧‧‧樣版形狀再設定部
S101至S104、S111至S115、S131至S137、S141至S148S301至S319、S401至S415‧‧‧步驟
第1圖係為顯示本發明第1實施形態之畫像處理裝置的構成例之示意圖。
第2圖係為第1實施形態之畫像處理裝置的處理流程圖。
第3圖係為用以說明由搜尋形狀之刪減而來之去雜訊濾波器的演算量之刪減之示意圖。
第4圖係為顯示本發明第2實施形態之畫像處理裝置的構成例之示意圖。
第5圖係為第2實施形態之畫像處理裝置的處理流程圖。
第6圖係為本發明第3實施形態之畫像處理裝置的構成例之示意圖。
第7A圖係為用以說明邊緣方向檢測方法例之索貝爾 算子(Sobel operator)之示意圖。
第7B圖係為用以說明因應邊緣方向檢測方法例之方向的號碼之示意圖。
第7C圖係為用以說明邊緣方向檢測方法例之號碼的分配方法之示意圖。
第8圖係為顯示因應邊緣方向號碼之搜尋形狀的設定例之示意圖。
第9A圖係為顯示因應弧度(radian)角之搜尋形狀的設定例之示意圖。
第9B圖係為顯示因應弧度角之搜尋形狀的設定例之示意圖。
第10圖係為顯示本發明第5實施形態之畫像處理裝置的構成例之示意圖。
第11圖係為第5實施形態之畫像處理裝置的處理流程圖。
第12圖係為用以說明由樣版形狀設定部所設定之樣版形狀限制例之示意圖。
第13圖係為顯示本發明第6實施形態之畫像處理裝置的構成例之示意圖。
第14圖係為第6實施形態之畫像處理裝置的處理流程圖。
第15A圖係為用以說明偏離度檢測方法例之示意圖。
第15B圖係為用以說明偏離度檢測方法例之示意圖。
第16圖係為顯示偏離度的直方圖(histogram)與臨限 值/區域設定之關係之示意圖。
第17A圖係為用以說明因應積分比之採樣(sampling)數的設定例之示意圖。
第17B圖係為用以說明因應積分比之採樣(sampling)數的設定例之示意圖。
第18A圖係為用以說明樣版形狀的再設定方法例之計算對象區域之示意圖。
第18B圖係為用以說明樣版形狀的再設定方法例之區塊雜訊的特徵之示意圖。
第18C圖係為用以說明樣版形狀的再設定方法例之四角落的設定之示意圖。
第19圖係為顯示適用本發明實施形態之影像編碼裝置的構成例之示意圖。
第20圖係為影像編碼裝置的處理流程圖。
第21圖係為影像編碼裝置的處理流程圖。
第22圖係為顯示適用本發明實施形態之影像解碼裝置的構成例之示意圖。
第23圖係為影像解碼裝置的處理流程圖。
第24圖係為影像解碼裝置的處理流程圖。
第25圖係為顯示使用軟體程式來實施本發明實施形態時之系統構成例之示意圖。
第26圖係為NLM濾波器之說明圖。
第27圖係為顯示NLM執行部的輸入輸出之示意圖。
10‧‧‧畫像處理部
101‧‧‧去雜訊濾波器處理部
102‧‧‧邊緣方向檢測部
103‧‧‧搜尋形狀設定部
104‧‧‧NLM濾波器執行部

Claims (8)

  1. 一種畫像處理方法，係對成為去雜訊對象畫像之相對於去雜訊的對象畫素之比較源之樣版，與相對於成為前述去雜訊對象畫像之搜尋形狀內的搜尋目標的各搜尋點之樣版進行樣版匹配，且依據因應樣版類似度之加權及該搜尋點之畫素值的加權和來去除前述對象畫素的雜訊者，其係具有：使用前述去雜訊對象畫像來算出邊緣方向之步驟；將所算出之前述邊緣方向作為用於前述搜尋形狀的限制之指標，並設定垂直於前述邊緣方向的方向之前述搜尋點的個數比沿著前述邊緣方向之前述搜尋點的個數更少的搜尋形狀之步驟；以及，將前述樣版匹配僅對於所設定之前述搜尋形狀內的各搜尋點施行，並執行去除前述對象畫素的前述雜訊之處理之步驟。
  2. 一種畫像處理裝置，係對成為去雜訊對象畫像之相對於去雜訊的對象畫素之比較源之樣版、與相對於成為前述去雜訊對象畫像之搜尋形狀內的搜尋目標的各搜尋點之樣版進行樣版匹配，且依據因應樣版類似度之加權及該搜尋點之畫素值的加權和來去除前述對象畫素的雜訊者，其係具有：邊緣方向檢測部，使用前述去雜訊對象畫像來算出邊緣方向；搜尋形狀設定部，將所算出之前述邊緣方向作為用 於前述搜尋形狀的限制之指標，並設定垂直於前述邊緣方向的方向之前述搜尋點的個數比沿著前述邊緣前述搜尋點的個數更少的搜尋形狀；以及，濾波器執行部，將前述樣版匹配僅對於所設定之前述搜尋形狀內的各搜尋點施行，並執行去除前述對象畫素的前述雜訊之處理。
  3. 一種影像編碼/解碼方法，係使用迴路濾波器對影像進行編碼或解碼者，其中，前述迴路濾波器係使用對成為相對於解碼畫像之去雜訊的對象畫素之比較源之樣版、與相對於成為前述解碼畫像之搜尋形狀內的搜尋目標的各搜尋點的樣版進行樣版匹配，且依據因應樣版類似度之加權及該搜尋點之畫素值的加權和來去除前述對象畫素的雜訊之畫像處理方法，來去除前述解碼畫像的雜訊之濾波器，該濾波器係執行下述處理：使用前述解碼畫像來算出邊緣方向之步驟；將所算出之前述邊緣方向作為用於前述搜尋形狀的限制之指標，並設定垂直於前述邊緣方向的方向之前述搜尋點的個數比沿著前述邊緣方向的方向之前述搜尋點的個數更少的搜尋形狀之步驟；以及，將前述樣版匹配僅對於所設定之前述搜尋形狀內的各搜尋點施行，並執行去除前述對象畫素的前述雜訊之處理之步驟。
  4. 如申請專利範圍第3項所述之影像編碼/解碼方法，其中，前述迴路濾波器復執行下述步驟： 使用前述解碼畫像，來算出前述對象畫素與前述對象畫素的周圍畫素之偏離度之步驟；以及將前述偏離度作為用於前述樣版的樣版形狀之限制的指標，且在前述偏離度與前述解碼畫像內的偏離度最大值相比愈小時，則以前述樣版形狀變小之方式執行限制前述樣版形狀之步驟。
  5. 一種影像編碼/解碼裝置，係使用迴路濾波器對影像進行編碼或解碼者，其中，前述迴路濾波器係使用對成為相對於解碼畫像之去雜訊的對象畫素之比較源之樣版、與相對於成為前述解碼畫像之搜尋形狀內的搜尋目標的各搜尋點之樣版進行樣版匹配，且依據因應樣版類似度之加權及該搜尋點之畫素值的加權和來去除前述對象畫素的雜訊之畫像處理裝置，來去除前述解碼畫像的雜訊之濾波器，該濾波器係具備下述構件：邊緣方向檢測部，使用前述解碼畫像來算出邊緣方向；搜尋形狀設定部，將所算出之前述邊緣方向作為用於前述搜尋形狀的限制之指標，並設定垂直於前述邊緣方向的方向之前述搜尋點的個數比沿著前述邊緣方向之前述搜尋點的個數更少的搜尋形狀；以及，濾波器執行部，將前述樣版匹配僅對於所設定之前述搜尋形狀內的各搜尋點施行，並執行去除前述對象畫素的前述雜訊之處理。
  6. 如申請專利範圍第5項所述之影像編碼/解碼裝置，其 中，前述迴路濾波器復具備：偏離度檢測部，使用前述解碼畫像，來算出前述對象畫素與前述對象畫素的周圍畫素之偏離度；以及樣版形狀設定部，將前述偏離度作為用於前述樣版的樣版像狀之限制的指標，且在前述偏離度與前述解碼畫像內的偏離度最大值相比愈小時，則以前述樣版形狀變小之方式執行限制前述樣版形狀。
  7. 一種畫像處理程式，係用以使電腦執行申請專利範圍第1項所述之畫像處理方法。
  8. 一種影像編碼/解碼程式，係用以使電腦執行申請專利範圍第3項或第4項所述之影像編碼/解碼方法。
TW101107618A 2011-03-09 2012-03-07 畫像處理方法、畫像處理裝置、影像編碼／解碼方法、影像編碼／解碼裝置及其程式 TWI491253B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011051443A JP5291133B2 (ja) 2011-03-09 2011-03-09 画像処理方法，画像処理装置，映像符号化／復号方法，映像符号化／復号装置およびそれらのプログラム

Publications (2)

Publication Number Publication Date
TW201304532A TW201304532A (zh) 2013-01-16
TWI491253B true TWI491253B (zh) 2015-07-01

Family

ID=46798225

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101107618A TWI491253B (zh) 2011-03-09 2012-03-07 畫像處理方法、畫像處理裝置、影像編碼／解碼方法、影像編碼／解碼裝置及其程式

Country Status (11)

Country Link
US (1) US9363515B2 (zh)
EP (1) EP2670142B1 (zh)
JP (1) JP5291133B2 (zh)
KR (1) KR101546894B1 (zh)
CN (1) CN103404148B (zh)
BR (1) BR112013022553A2 (zh)
CA (1) CA2828930C (zh)
ES (1) ES2583129T3 (zh)
RU (1) RU2565499C2 (zh)
TW (1) TWI491253B (zh)
WO (1) WO2012121269A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5291134B2 (ja) 2011-03-09 2013-09-18 日本電信電話株式会社 映像符号化／復号方法，映像符号化／復号装置およびそのプログラム
JP5291133B2 (ja) 2011-03-09 2013-09-18 日本電信電話株式会社 画像処理方法，画像処理装置，映像符号化／復号方法，映像符号化／復号装置およびそれらのプログラム
JP6452793B2 (ja) * 2012-10-25 2019-01-16 キヤノン株式会社 画像処理装置及び画像処理方法
JP6253331B2 (ja) * 2012-10-25 2017-12-27 キヤノン株式会社 画像処理装置及び画像処理方法
US9075847B2 (en) * 2012-11-28 2015-07-07 Sap Se Methods, apparatus and system for identifying a document
JP6362333B2 (ja) * 2013-02-14 2018-07-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN103208104B (zh) * 2013-04-16 2015-10-07 浙江工业大学 一种基于非局部理论的图像去噪方法
CN104240189B (zh) * 2013-06-17 2017-05-24 富士通株式会社 恢复抗锯齿边缘的滤波方法和装置
JP6465563B2 (ja) * 2014-05-14 2019-02-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9852353B2 (en) * 2014-11-12 2017-12-26 Adobe Systems Incorporated Structure aware image denoising and noise variance estimation
CN105472205B (zh) * 2015-11-18 2020-01-24 腾讯科技（深圳）有限公司 编码过程中的实时视频降噪方法和装置
EP3395073A4 (en) * 2016-02-04 2019-04-10 Mediatek Inc. VIDEO ENCODING METHOD AND APPARATUS USING NON-LOCAL ADAPTIVE LOOP FILTERS
CN107292828B (zh) * 2016-03-31 2020-02-11 展讯通信（上海）有限公司 图像边缘的处理方法和装置
CN106875354B (zh) * 2017-01-20 2020-04-28 北京东软医疗设备有限公司 图像去噪方法、装置及设备
WO2019050426A1 (en) 2017-09-05 2019-03-14 Huawei Technologies Co., Ltd. METHOD FOR QUICKLY ADAPTING BLOCKS FOR COLLABORATIVE FILTERING IN LOSS VIDEO CODECS
JP2021129131A (ja) * 2018-05-18 2021-09-02 ソニーグループ株式会社 符号化装置、符号化方法、復号装置、及び、復号方法
AU2019298063B2 (en) 2018-07-02 2022-10-13 Huawei Technologies Co., Ltd. Apparatus and method for filtering in video coding
CN109100788B (zh) * 2018-07-06 2020-02-07 东北石油大学 地震数据非局部均值去噪方法
CN110956594B (zh) * 2019-11-27 2023-12-01 北京金山云网络技术有限公司 图像滤波方法、装置、电子设备及存储介质
CN110992288B (zh) * 2019-12-06 2023-04-28 武汉科技大学 一种用于矿山井筒环境下的视频图像盲去噪方法
CN111815520B (zh) * 2020-04-14 2023-11-07 桂林电子科技大学 一种基于gpu-cuda编码模型的遥感影像快速处理方法
CN113553261B (zh) * 2021-07-22 2023-09-15 上汽通用五菱汽车股份有限公司 软件自动化测试方法、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060056722A1 (en) * 2004-09-14 2006-03-16 Nathan Moroney Edge preserving method and apparatus for image processing
US7388621B2 (en) * 2004-11-30 2008-06-17 Mediatek Inc. Systems and methods for image processing providing noise reduction and edge enhancement
US20090161988A1 (en) * 2007-12-21 2009-06-25 Ati Technologies Ulc System and method of image correlation based on image structure
US7751482B1 (en) * 2004-02-27 2010-07-06 Vbrick Systems, Inc. Phase correlation based motion estimation in hybrid video compression

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5842033A (en) 1992-06-30 1998-11-24 Discovision Associates Padding apparatus for passing an arbitrary number of bits through a buffer in a pipeline system
JPH1051793A (ja) 1996-08-05 1998-02-20 Nippon Telegr & Teleph Corp <Ntt> ブロックマッチング装置
KR100213089B1 (ko) 1997-01-29 1999-08-02 윤종용 루프필터링 방법 및 루프필터
FI117533B (fi) 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
US20100272182A1 (en) 2004-06-23 2010-10-28 Quanta International Limited Image flow knowledge assisted latency-free in-loop temporal filter
KR100896279B1 (ko) 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
RU2406259C2 (ru) 2006-03-27 2010-12-10 Квэлкомм Инкорпорейтед Способы и системы для кодирования уточняющих коэффициентов при сжатии видеоданных
KR101348365B1 (ko) 2006-08-02 2014-01-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
US8009732B2 (en) 2006-09-01 2011-08-30 Seiko Epson Corporation In-loop noise reduction within an encoder framework
DE602007010514D1 (de) 2006-12-18 2010-12-23 Koninkl Philips Electronics Nv Bildkomprimierung und dekomprimierung
CA2673091C (en) 2006-12-28 2014-03-04 Nippon Telegraph And Telephone Corporation Video processing method and apparatus, video processing program, and storage medium which stores the program
JP2008205737A (ja) * 2007-02-19 2008-09-04 Olympus Corp 撮像システム、画像処理プログラム、画像処理方法
WO2009133844A1 (ja) 2008-04-30 2009-11-05 株式会社 東芝 エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置
JP5223702B2 (ja) * 2008-07-29 2013-06-26 株式会社リコー 画像処理装置、ノイズ低減方法、プログラム、記憶媒体
RU2402070C2 (ru) 2008-08-22 2010-10-20 Самсунг Электроникс Ко., Лтд. Способ удаления искажений на цифровых изображениях
JP5146388B2 (ja) 2009-04-03 2013-02-20 沖電気工業株式会社 映像圧縮符号化データの復号装置
CN101707716B (zh) 2009-11-19 2011-05-11 清华大学 视频编码器和编码方法
CN102948151B (zh) 2010-06-17 2016-08-03 夏普株式会社 图像滤波装置、解码装置及编码装置
CN101957984B (zh) * 2010-08-30 2012-03-28 西安电子科技大学 基于非局部萎缩因子参数估计的图像去噪方法
JP5291133B2 (ja) 2011-03-09 2013-09-18 日本電信電話株式会社 画像処理方法，画像処理装置，映像符号化／復号方法，映像符号化／復号装置およびそれらのプログラム
JP5291134B2 (ja) * 2011-03-09 2013-09-18 日本電信電話株式会社 映像符号化／復号方法，映像符号化／復号装置およびそのプログラム
US9008180B2 (en) 2011-04-21 2015-04-14 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding images using a prediction method adopting in-loop filtering

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7751482B1 (en) * 2004-02-27 2010-07-06 Vbrick Systems, Inc. Phase correlation based motion estimation in hybrid video compression
US20060056722A1 (en) * 2004-09-14 2006-03-16 Nathan Moroney Edge preserving method and apparatus for image processing
US7388621B2 (en) * 2004-11-30 2008-06-17 Mediatek Inc. Systems and methods for image processing providing noise reduction and edge enhancement
US20090161988A1 (en) * 2007-12-21 2009-06-25 Ati Technologies Ulc System and method of image correlation based on image structure

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
M. PROTTER ; M. ELAD ; H. TAKEDA ; P. MILANFAR: "Generalizing the Nonlocal-Means to Super-Resolution Reconstruction", IEEE TRANSACTIONS ON IMAGE PROCESSING., IEEE SERVICE CENTER, PISCATAWAY, NJ., US, vol. 17, no. 1, 1 January 2009 (2009-01-01), US, pages 36 - 51, XP011249162, ISSN: 1057-7149 *
Ming Li, An improved non—local filter for image denoising, International Conference on IriformaLion Engineering and Computer Science, 2009. ICIECS 2009., IEEE, 2009. 12. 19, p. 1-4 *

Also Published As

Publication number Publication date
ES2583129T3 (es) 2016-09-19
KR20130124537A (ko) 2013-11-14
JP5291133B2 (ja) 2013-09-18
RU2565499C2 (ru) 2015-10-20
KR101546894B1 (ko) 2015-08-24
BR112013022553A2 (pt) 2019-09-24
WO2012121269A1 (ja) 2012-09-13
EP2670142A4 (en) 2014-10-29
TW201304532A (zh) 2013-01-16
CN103404148A (zh) 2013-11-20
US9363515B2 (en) 2016-06-07
CN103404148B (zh) 2016-10-26
CA2828930A1 (en) 2012-09-13
US20130343470A1 (en) 2013-12-26
RU2013140540A (ru) 2015-04-20
EP2670142A1 (en) 2013-12-04
JP2012191310A (ja) 2012-10-04
EP2670142B1 (en) 2016-04-20
CA2828930C (en) 2017-04-04

Similar Documents

Publication Publication Date Title
TWI491253B (zh) 畫像處理方法、畫像處理裝置、影像編碼／解碼方法、影像編碼／解碼裝置及其程式
TWI496475B (zh) 影像編碼／解碼方法、影像編碼／解碼裝置及其程式
US11102515B2 (en) In loop chroma deblocking filter
JP5792305B2 (ja) 適応ループフィルタリングの方法及び装置
CN110036637B (zh) 去噪声化已重构图像的方法及装置
JP6825765B2 (ja) ブロッキングアーティファクトを除去するためのフィルタリング方法および装置
JP5653307B2 (ja) 画像符号化方法，画像符号化装置およびそのプログラム
CN113038144B (zh) 一种去除块效应的方法、装置和计算机可读存储介质
JP6485045B2 (ja) インデックス演算装置、プログラム及び方法
Gao et al. In-Loop Filter