TW201528782A - 圖像處理裝置、圖像處理方法、圖像處理程式及記錄媒體 - Google Patents

圖像處理裝置、圖像處理方法、圖像處理程式及記錄媒體 Download PDF

Info

Publication number
TW201528782A
TW201528782A TW104111488A TW104111488A TW201528782A TW 201528782 A TW201528782 A TW 201528782A TW 104111488 A TW104111488 A TW 104111488A TW 104111488 A TW104111488 A TW 104111488A TW 201528782 A TW201528782 A TW 201528782A
Authority
TW
Taiwan
Prior art keywords
horizontal
vertical
filtering
unit
filter
Prior art date
Application number
TW104111488A
Other languages
English (en)
Other versions
TWI578761B (zh
Inventor
池田優
田中潤一
森上義崇
Original Assignee
新力股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新力股份有限公司 filed Critical 新力股份有限公司
Publication of TW201528782A publication Critical patent/TW201528782A/zh
Application granted granted Critical
Publication of TWI578761B publication Critical patent/TWI578761B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

本發明可使應用去區塊濾波器時之處理進而並行化。本發明提供一種圖像處理裝置，其具備：解碼部，其自編碼串解碼圖像；水平濾波部，其對由前述解碼部解碼之圖像內之垂直區塊交界應用去區塊濾波器；垂直濾波部，其對由前述解碼部解碼之圖像內之水平區塊交界應用去區塊濾波器；及控制部，其使包含複數個編碼單位之處理單位中所含之複數個垂直區塊交界在前述水平濾波部並行濾波，且使前述處理單位中所含之複數個水平區塊交界在前述垂直濾波部並行濾波。

Description

圖像處理裝置、圖像處理方法、圖像處理程式及記錄媒體
本發明係關於圖像處理裝置及圖像處理方法。
圖像編碼方式之標準規格之一種的H.264/AVC中，為了抑制起因於圖像編碼時產生之區塊變形之畫質劣化，而於例如每4×4像素區塊之區塊交界應用去區塊濾波器。用於該去區塊濾波器所需要之處理量龐大，一般認為例如亦占圖像解碼時之總處理量之50%。
就下一世代之圖像編碼方式的HEVC(High Efficiency Video Coding，高效能視訊編碼)之標準化作業，於JCTVC-A119(參照下述非專利文獻1)中，提案有每8×8像素以上尺寸之區塊應用去區塊濾波器。根據JCTVC-A119中提案之方法，藉由使應用去區塊濾波器之最小單位之區塊尺寸擴大，而可在1個巨區塊內並行進行同一方向之複數個區塊交界之濾波處理。
[先前技術文獻] [非專利文獻]
[非專利文獻1]K. Ugur (Nokia), K.R. Andersson (LM Ericsson), A. Fuldseth (Tandberg Telecom), 「JCTVC-A119:Video coding technology proposal by Tandberg, Nokia, and Ericsson」, Documents of the first meeting of the Joint Collaborative Team on Video Coding (JCT-VC), Dresden, Germany, 15-23 April, 2010。
但，即使採用JCTVC-A119中提案之方法，於垂直方向之區塊交界之處理與於水平方向之區塊交界之處理間亦留有依存關係。具體言之，例如於1個巨區塊之垂直交界之處理係等待鄰接之巨區塊之水平交界之處理後再進行。又，於1個巨區塊之水平交界之處理同樣係等待巨區塊之垂直交界之處理後再進行。因此，上述方法僅可在非常有限之範圍內使去區塊濾波器之處理並行化。藉此，因於應用去區塊濾波器時之龐大處理量所引起之延遲或資料速率之降低等問題尚難謂已充分解決。
因此，本發明之技術提供一種可使應用去區塊濾波器時之處理進而並行化之圖像處理裝置及圖像處理方法。
根據本發明，提供一種圖像處理裝置，其具備：解碼部，其自編碼串解碼圖像；水平濾波部，其對由前述解碼部解碼之圖像內之處理垂直區塊交界應用去區塊濾波器；垂直濾波部，其對由前述解碼部解碼之圖像內之水平區塊交界應用去區塊濾波器；及控制部，其使包含複數個編碼單位之處理單位中所含之複數個垂直區塊交界在前述水平濾波部並行濾波，且使前述處理單位中所含之複數個水平區塊交界在前述垂直濾波部並行濾波。
上述圖像處理裝置典型上可實現作為使圖像解碼之圖像解碼裝置。
又，根據本發明，提供一種圖像處理方法，其包含：自編碼串解碼圖像；執行對經解碼之圖像內之垂直區塊交界應用去區塊濾波器之水平濾波；執行對經解碼之圖像內之水平區塊交界應用去區塊濾波器之垂直濾波；及以使包含複數個編碼單位之處理單位中所含之複數個垂直區塊交界並行濾波，且使前述處理單位中所含之複數個水平區 塊交界並行濾波之方式，控制前述水平濾波及前述垂直濾波。
又，根據本發明，提供一種圖像處理裝置，其具備：水平濾波部，其對將編碼對象圖像編碼時局部解碼之圖像內之垂直區塊交界應用去區塊濾波器；垂直濾波部，其對前述圖像內之水平區塊交界應用去區塊濾波器；控制部，其使包含複數個編碼單位之處理單位中所含之複數個垂直區塊交界在前述水平濾波部並行濾波，且使前述處理單位中所含之複數個水平區塊交界在前述垂直濾波部並行濾波；編碼部，其使用由前述水平濾波部及前述垂直濾波部而經濾波之圖像，編碼前述編碼對象圖像。
上述圖像處理裝置典型上可實現作為使圖像編碼之圖像編碼裝置。
又，根據本發明，提供一種圖像處理方法，其包含：執行對編碼對象圖像編碼時局部解碼之圖像內之垂直區塊交界應用去區塊濾波器之水平濾波；執行對前述圖像內之水平區塊交界應用去區塊濾波器之垂直濾波；以使包含複數個編碼單位之處理單位中所含之複數個垂直區塊交界並行濾波，且使前述處理單位中所含之複數個水平區塊交界並行濾波之方式，控制前述水平濾波及前述垂直濾波；及使用由前述水平濾波及前述垂直濾波而經濾波之圖像，編碼前述編碼對象圖像。
如以上說明，根據本發明之圖像處理裝置及圖像處理方法，可使應用去區塊濾波器時之處理進而並行化。
10、60‧‧‧圖像處理裝置
24‧‧‧去區塊濾波器
110‧‧‧垂直判斷區塊
112、212‧‧‧第1判斷部(垂直交界判斷部)
112-n‧‧‧垂直交界判斷部
112-1‧‧‧垂直交界判斷部
114‧‧‧水平判斷區塊
116、216‧‧‧第2判斷部(水平交界判斷部)
116-n‧‧‧水平交界判斷部
116-1‧‧‧水平交界判斷部
130‧‧‧水平濾波區塊
132‧‧‧水平濾波部
132-n‧‧‧水平濾波部
132-1‧‧‧水平濾波部
140‧‧‧垂直濾波區塊
142‧‧‧垂直濾波部
142-n‧‧‧垂直濾波部
142-1‧‧‧垂直濾波部
150‧‧‧並行化控制部
圖1係顯示一實施形態之圖像編碼裝置之構成之一例之方塊圖。
圖2係顯示一實施形態之圖像解碼裝置之構成之一例之方塊圖。
圖3係顯示隔著交界而鄰接之像素之一例之說明圖。
圖4係用以說明關於現有方法之濾波要否判斷處理之參考像素之說明圖。
圖5係用以說明關於藉由濾波處理而更新之像素之說明圖。
圖6係用以說明關於用於實施形態說明之邊緣稱呼方法之說明圖。
圖7係用以說明關於現有方法之並行處理之說明圖。
圖8係用以說明關於現有方法之處理間之依存關係之第1說明圖。
圖9係用以說明關於現有方法之處理間之依存關係之第2說明圖。
圖10係用以說明關於現有方法之處理順序之一例之說明圖。
圖11係用以說明關於第1實施例之處理順序之一例之說明圖。
圖12係顯示第1實施例之去區塊濾波器之詳細構成之一例之方塊圖。
圖13係顯示判斷部之更詳細構成之一例之方塊圖。
圖14係用以說明關於隔著切片交界鄰接之區塊之一例之說明圖。
圖15係用以說明關於每個切片之處理順序之第1例之說明圖。
圖16係用以說明關於每個切片之處理順序之第2例之說明圖。
圖17係用以說明關於一變形例中可實現之判斷方法之第1及第2例之說明圖。
圖18係用以說明關於一變形例中可實現之判斷方法之第3及第4例之說明圖。
圖19係用以說明關於一變形例中可實現之判斷方法之第5及第6例之說明圖。
圖20係顯示利用第1實施例中之去區塊濾波器之處理流程之一例 之流程圖。
圖21係顯示濾波要否判斷處理流程之一例之流程圖。
圖22係用以說明有關第2實施例之處理順序之一例之說明圖。
圖23係顯示第2實施例之去區塊濾波器之詳細構成之一例之方塊圖。
圖24係顯示利用第2實施例之去區塊濾波器之處理流程之一例之流程圖。
圖25係用以說明關於每個LCU之處理順序之說明圖。
圖26係顯示每個LCU之處理流程之一例之流程圖。
圖27係用以說明關於第3實施例之概要之說明圖。
圖28係顯示第3實施例之去區塊濾波器之詳細構成之一例之方塊圖。
圖29係用以說明關於用以加權平均之權重決定之說明圖。
圖30係用以說明關於用以加權平均之權重之一例之說明圖。
圖31係用以說明關於自第3實施例之計算部之輸出像素值之說明圖。
圖32係用以說明關於用以比較之處理順序之第1例之說明圖。
圖33係用以說明關於第3實施例中實現之處理順序之第1例之說明圖。
圖34係用以說明關於用以比較之處理順序之第2例之說明圖。
圖35係用以說明關於第3實施例中實現之處理順序之第2例之說明圖。
圖36係顯示利用第3實施例之去區塊濾波器之處理流程之一例之流程圖。
圖37係顯示圖36所示之像素值計算處理流程之一例之流程圖。
圖38係用以說明關於多視點編解碼器之說明圖。
圖39係用以說明關於對一實施形態之圖像編碼處理應用多視點編解碼器之說明圖。
圖40係用以說明關於對一實施形態之圖像解碼處理應用多視點編解碼器之說明圖。
圖41係用以說明關於可縮放(scalable)編解碼器之說明圖。
圖42係用以說明關於對一實施形態之圖像編碼處理應用可縮放編解碼器之說明圖。
圖43係用以說明關於對一實施形態之圖像解碼處理應用可縮放編解碼器之說明圖。
圖44係顯示電視機裝置之概要構成之一例之方塊圖。
圖45係顯示行動電話之概要構成之一例之方塊圖。
圖46係顯示記錄播放裝置之概要構成之一例之方塊圖。
圖47係顯示攝像裝置之概要構成之一例之方塊圖。
以下一面參照附圖，針對本發明之較佳實施形態加以詳細說明。另，本說明書及附圖中，針對實質具有相同構成功能之構成要素，附加相同符號因而省略重複說明。
又，按照以下順序說明本「實施形態」。
1.裝置之概要
1-1.圖像編碼裝置
1-2.圖像解碼裝置
2.現有方法之說明
2-1.去區塊濾波器之基本構成
2-2.現有方法之處理間之依存關係
3.第1實施例
3-1.去區塊濾波器之構成例
3-2.判斷條件之變形例
3-3.處理流程
4.第2實施例
4-1.去區塊濾波器之構成例
4-2.處理流程
4-3.每個LCU之處理例
5.第3實施例
5-1.概要
5-2.去區塊濾波器之構成例
5-3.處理順序之例
5-4.處理流程
6.對各種編解碼器之應用
6-1.多視點編解碼器
6-2.可縮放編解碼器
7.應用例
8.總結
<1.裝置之概要>
首先，使用圖1及圖2說明作為可應用本說明書中揭示之技術之一例之裝置之概要。本說明書中揭示之技術例如可應用於圖像編碼裝置及圖像解碼裝置。
[1-1.圖像編碼裝置]
圖1係顯示一實施形態之圖像編碼裝置10之構成之一例之方塊圖。參照圖1，圖像編碼裝置10具備：A/D(Analogue to Digital，類比數位)變換部11、轉換緩衝器12、減算部13、正交變換部14、量子化部15、可逆編碼部16、蓄積緩衝器17、速率控制部18、逆量子化部21、逆正交變換部22、加算部23、去區塊濾波器24a、訊框記憶體 25、選擇器26、幀內預測部30、移動估算部40、及模式選擇部50。
A/D變換部12將以類比形式輸入之圖像信號變換成數位形式之圖像資料，轉換一連串數位圖像資料，向緩衝器12輸出。
轉換緩衝器12轉換從A/D變換部11輸入之一連串圖像資料中所含之圖像。轉換緩衝器12根據編碼處理之GOP(Group of Pictures，圖像群組)結構轉換圖像後，將轉換後之圖像資料向減算部13、幀內預測部30及移動估算部40輸出。
對減算部13供給從轉換緩衝器12輸入之圖像資料、及藉由隨後說明之模式選擇部50選擇之預測圖像資料。減算部13算出從轉換緩衝器12輸入之圖像資料與從模式選擇部50輸入之預測圖像資料之差分預測誤差資料，將所算出之預測誤差資料向正交變換部14輸出。
正交變換部14對從減算部13輸入之預測誤差資料進行正交變換。藉由正交變換部14進行之正交變換例如亦可為離散餘弦變換(Discrete Cosine Transform：DCT)或卡佛南列夫(Karhunen-Loeve)變換等。正交變換部14將由正交變換處理獲得之變換係數資料向量子化部15輸出。
對量子化部15供給從正交變換部14輸入之變換係數資料、以及自隨後說明之速率控制部18之速率控制信號。量子化部15將變換係數資料量子化，將量子化後之變換係數資料(以下稱作量子化資料)向可逆編碼部16及逆量子化部21輸出。又，藉由量子化部15基於來自速率控制部18之速率控制信號轉換量子化參數(量子化程度)，而使輸入於可逆編碼部16之量子化資料之位元率變化。
對可逆符號化部16供給從量子化部15輸入之量子化資料、以及隨後說明之由幀內預測部30或移動估算部40生成之由模式選擇部50選擇之關於幀內預測或幀間預測之資訊。關於幀內預測之資訊例如可包含表示每個區塊之最佳幀內預測模式之預測模式資訊。又，關於幀間 預測之資訊例如可包含用以預測每個區塊之移動矢量之預測模式資訊，差分移動矢量資訊、及參考圖像資訊等。
可逆編碼部16藉由對量子化資訊進行可逆編碼處理，而生成編碼串。利用可逆編碼部16之可逆編碼例如亦可為可變長編碼或算術編碼等。又，可逆編碼部16使關於上述幀內預測之資訊或關於幀間預測之資訊在編碼串之標頭(例如區塊標頭或切片(slice)標頭等)內多工化。然後，可逆編碼部16將生成之編碼串向蓄積緩衝器17輸出。
蓄積緩衝器17使用半導體記憶體等記憶媒體將從可逆編碼部16輸入之編碼串暫時蓄積。然後，蓄積緩衝器17將所蓄積之編碼串以對應傳送路徑(或自圖像編碼裝置10之輸出線)之帶域之速率輸出。
速率控制部18監視蓄積緩衝器17之空間容量。然後，速率控制部18對應蓄積緩衝器17之空間容量而生成速率控制信號，將所生成之速率控制信號向量子化部15輸出。例如速率控制部18在蓄積緩衝器17之空間容量較少時，生成用以降低量子化資料之位元率之速率控制信號。又，例如速率控制部18在蓄積緩衝器17之空間容量充分大時，生成用以提高量子化資料之位元率之速率控制信號。
逆量子化部21對從量子化部15輸入之量子化資料進行逆量子化處理。然後，逆量子化部21將由量子化處理獲得之變換係數資料向逆正交變換部22輸出。
逆正交變換部22藉由對從逆量子化部21輸入之變換係數資料進行逆正交變換處理，而復原預測誤差資料。然後，逆正交變換部22將所復原之預測誤差資料向加算部23輸出。
藉由加算部23加算從逆正交變換部22輸入並復原之預測誤差資料與從模式選擇部50輸入之預測圖像資料，而生成解碼圖像資料。然後，加算部23將所生成之解碼圖像資料向去區塊濾波器24a及訊框記憶體25輸出。
去區塊濾波器24a進行用以減少圖像之編碼時產生之區塊變形之濾波處理。例如去區塊濾波器24a對從加算部23輸入之解碼圖像資料每個區塊之交界判斷要否濾波，在判斷為應應用濾波之交界應用去區塊濾波器。對去區塊濾波器24a除輸入自加算部23之解碼圖像資料以外，亦輸入用以判斷要否濾波所使用之資訊(例如模式資訊、變換係數資訊及移動矢量)。然後，去區塊濾波器24a將區塊之變形經去除之濾波後之解碼圖像資料向訊框記憶體25輸出。又，關於利用去區塊濾波器24a之處理將隨後詳細說明。
訊框記憶體25使用記憶媒體記憶從加算部23輸入之解碼圖像資訊、及從去區塊濾波器24a輸入之濾波後之解碼圖像資料。
選擇器26從訊框記憶體25讀取用以幀內預測所使用之濾波前之解碼圖像資料，將所讀取之解碼圖像資料作為參考圖像資料供給於幀內預測部30。又，選擇器26從訊框記憶體25讀取用以幀間預測所使用之濾波後之解碼圖像資料，將所讀取之解碼圖像資料作為參考圖像資料供給於移動估算部40。
幀內預測部30基於從轉換緩衝器12輸入之編碼對象之圖像資料、及經由選擇器26供給之解碼圖像資料，進行各幀內預測模式之幀內預測處理。例如幀內預測部30使用特定之成本函數評估利用各幀內預測模式之預測結果。然後，幀內預測部30選擇成本函數值成最小之幀內預測模式，即壓縮率變為最高之幀內預測模式作為最佳幀內預測模式。再者，幀內預測部30將表示該最佳幀內預測模式之預測模式資訊、預測圖像資料、及成本函數值等關於幀內預測之資訊向模式選擇部50輸出。
移動估算部40基於從轉換緩衝器12輸入之編碼對象之圖像資料、及經由選擇器26供給之解碼圖像資料，進行幀間預測處理(訊框間預測處理)。例如移動估算部40使用特定之成本函數評估利用各預 測模式之預測結果。接著，移動估算部40選擇成本函數值成最小之預測模式，即壓縮率成最高之預測模式作為最佳預測模式。又，移動估算部40按照該最佳預測模式生成預測圖像資料。然後，移動估算部40將表示所選擇之最佳預測模式之預測模式資訊、預測圖像資料、及成本函數值等關於幀間預測之資訊向模式選擇部50輸出。
模式選擇部50將關於從幀內預測部30輸入之幀內預測之成本函數值，與關於從移動估算部40輸入之幀間預測之成本函數值進行比較。然後，模式選擇部50選擇幀內預測及幀間預測中成本函數值更少之預測方法。模式選擇部50選擇幀內預測之情形時，將關於幀內預測之資訊向可逆編碼部16輸出，且將預測圖像資料向減算部13及加算部23輸出。又，模式選擇部50選擇幀間預測之情形時，將關於幀間預測之上述資訊向可逆編碼部16輸出，且將預測圖像資料向減算部13及加算部23輸出。
[1-2.圖像解碼裝置]
圖2係顯示一實施形態之圖像解碼裝置60之構成之一例之方塊圖。參照圖2，圖像解碼裝置60具備蓄積緩衝器61、可逆解碼部62、逆量子化部63、逆正交變換部64、加算部65、去區塊濾波器24b、轉換緩衝器67、D/A(Digital to Analogue)變換部68、訊框記憶體69、選擇器70及71、幀內預測部80、以及移動補償部90。
蓄積緩衝器61使用記憶媒體暫時蓄積經由傳送路徑輸入之編碼串。
可逆解碼部62將從蓄積緩衝器61輸入之編碼串按照編碼時使用之編碼方式解碼。又，可逆解碼部62將在編碼串之標頭區域多工化之資訊解碼。所謂在解碼串之標頭區域多工化之資訊，例如可包含關於區塊標頭內之幀內預測之資訊及關於幀間預測之資訊。可逆解碼部62將關於幀內預測之資訊向幀內預測部80輸出。又，可逆解碼部62將關 於幀間預測之資訊向移動補償部90輸出。
逆量子化部63使利用可逆解碼部62解碼後之量子化資料逆量子化。逆正交變換部64按照編碼時使用之正交變換方式，對從逆量子化部63輸入之變換係數進行逆正交變換，藉此生成預算誤差資料。然後，逆正交變換部64將所生成之預測誤差資料向加算部65輸出。
藉由加算部65加算從逆正交變換部64輸入之預測誤差資料，與從選擇器71輸入之預測圖像資料，而生成解碼圖像資料。然後，加算部65將所生成之解碼圖像資料向去區塊濾波器24b及訊框記憶體69輸出。
去區塊濾波器24b進行用以減少出現於經解碼之圖像中之區塊變形之濾波處理。去區塊濾波器24b例如對從加算部65輸入之解碼圖像資料在每個區塊之交界判斷要否濾波，在判斷為應應用濾波器之交界應用去區塊濾波器。對去區塊濾波器24b，除輸入來自加算部65之解碼圖像資料以外，亦輸入用以判斷要否濾波所使用之資訊。然後，去區塊濾波器24b將區塊變形經去除之濾波後之解碼圖像資料向轉換緩衝器67及訊框記憶體69輸出。另，之後針對利用去區塊濾波器24b之處理進行詳細說明。
轉換緩衝器67藉由轉換從去區塊濾波器24b輸入之圖像，而生成時系列一連串圖像資料。然後，轉換緩衝器67將所生成之圖像資料向D/A變換部68輸出。
D/A變換部68將從轉換緩衝器67輸入之數位形式之圖像資料變換成類比形式之圖像信號。然後，D/A變換部68將類比圖像信號輸出至例如連接於圖像解碼裝置60之顯示器(未圖示)，藉此顯示圖像。
訊框記憶體69使用記憶體媒體記憶從加算部65輸入之濾波前之解碼圖像資料，及從去區塊濾波器24b輸入之濾波後之解碼圖像資料。
選擇器70根據藉由可逆解碼部62獲得之模式資訊，於每個圖像內之區塊，在幀內預測部80與移動補償部90間切換自訊框記憶體69之圖像資料之輸出地。例如選擇器70在指定幀內預測模式之情形時，將從訊框記憶體69供給之濾波前之解碼圖像資料作為參考圖像資料向幀內預測部80輸出。又，選擇器70在指定幀間預測模式之情形時，將從訊框記憶體69供給之濾波後之解碼圖像資料作為參考圖像資料向移動補償部90輸出。
選擇器71根據藉由可逆解碼部62獲得之模式資訊，於每個圖像內之區塊，在幀內預測部80與移動補償部90間切換應向加算部65供給之預測圖像資料之輸出地。例如選擇器71在指定幀內預測模式之情形時，將從幀內預測部80輸出之預測圖像資料向加算部65供給。選擇器71在指定幀間預測模式之情形時，將從移動補償部90輸出之預測圖像資料向加算部65供給。
幀內預測部80基於關於從可逆解碼部62輸入之幀內預測之資訊與來自訊框記憶體69之參考圖像資料，進行像素值之畫面內預測，生成預測圖像資料。然後，幀內預測部80將所生成之預測圖像資料向選擇器71輸出。
移動補償部90基於關於從可逆解碼部62輸入之幀間預測之資訊與來自訊框記憶體69之參考圖像資訊，進行移動補償處理，生成預測圖像資料。然後，移動補償部90將所生成之預測圖像資料向選擇器71輸出。
<2.現有方法之說明>
[2-1.去區塊濾波器之基本構成]
一般，H.264/AVC或HEVC等之現有圖像編碼方式中之利用去區塊濾波器之處理包含濾波要否判斷處理及濾波處理2種處理。以下，以HEVC為例針對此2種處理進行說明。
(1)濾波要否判斷處理
濾波要否判斷處理係於每個輸入圖像內之區塊交界判斷是否應應用去區塊濾波器之處理。區塊之交界包含左右鄰接之區塊間之垂直交界與上下鄰接之區塊間之水平交界。JCTVC-A119中，8×8像素之區塊尺寸為最小處理單位。例如16×16像素之巨區塊內存在4個8×8像素之區塊，每個區塊存在1個(左)垂直交界及1個(上)水平交界，即合計4+4=8個交界成為判斷對象。另，本說明書中，巨區塊之用語亦包含HEVC之文脈中之編碼單位(CU：Coding Unit)。
圖3係顯示隔著交界鄰接之2個區塊(鄰接區塊)Ba及Bn內之像素之一例之說明圖。此處以垂直交界為例加以說明，但當然此處說明之事項在水平交界亦可同等應用。圖3之例中，區塊Ba內之像素以pij記號表示。i係行之指數，j係列之指數。行之指數i從靠近垂直交界之行依次(從右向左)編號為0、1、2、3。列之指數j從上向下編號為0、1、2、...、7。另，區塊Ba之左半部分在圖中省略。另一方面，區塊Bb內之像素以qkj記號表示。k係行之指數，j係列之指數。行之指數k從靠近垂直交界之行依次(從左向右)編號為0、1、2、3。另，區塊Bb之右半部分在圖中亦省略。
對於圖3所示之區塊Ba及Bb間之垂直交界，應應用去區塊濾波器與否可根據如下條件判斷：
．亮度成分(Luma)之判斷條件...條件A及條件B均為真則應用
-條件A：(A1)區塊Ba或Bb為幀內預測模式；(A2)區塊Ba或Bb具有非零正交變換係數；或(A3)|MVAx-MVBx|≧4或|MVAy-MVBy|≧4
-條件B：|p22-2p12+p02|+|q22-2q12+q02|+|p25-2p15+p05|+|q25-2q15+q05|<β
另，關於條件A3，使Qpe1(1/4像素)精度之區塊Ba之移動矢量為(MVAx、MVAy)，使區塊Bb之移動矢量為(MVBx、MVBy)。又，條件B中之β係邊緣判斷閾值。B之初始值根據量子化參數給與。又，β之值可由使用者以切片標頭內之參數指定。
．色差成分(Chroma)之判斷條件...條件A為真則應用
-條件A1：區塊Ba或Bb為幀內預測模式
即，如圖4中虛線框L3及L6所示，一般之垂直交界中之濾波要否判斷處理(尤其亮度成分之判斷條件B之判斷)中，參考各區塊之第3列及第6列(使最上列為第1列)之像素。同樣，水平交界中之濾波要否判斷處理中，參考各區塊之第3行及第6行之像素(圖4中未顯示)。然後，對按照上述判斷條件判斷為應應用去區塊濾波器之交界，進行以下說明之濾波處理。
(2)濾波處理
若判斷某交界應應用去區塊濾器，則對垂直交界之該交界左右之像素、水平交界之該交界上下像素進行濾波處理。對於亮度成分，可根據像素值在濾波強度為強(strong)濾波與弱(weak)濾波之間切換。
．亮度成分之濾波
-強度選擇...對每1列(或每1行)選擇濾波強度。以下條件C1~C3均滿足之情形時選擇強濾波，任一者未滿足之情形時選擇弱濾波：(C1)d<(β>>2)
(C2)(|p3j-p0j|+|q0j-q3j|)<(β>>3)
(C3)|p0j-q0j|<((5tC+1)>>1)
此處，j於垂直交界係列之指數，於水平交界係行之指數。又，d=|p22-2p12+p02|+|q22-2q12+q02|+|p25-2p15+p05|+|q25-2q15+q05|。
-弱濾波： △=Clip(-tc,tc,(13(q0j-p0j))+4(q1j-p1j)-5(q2j-p2j)+16)>>5))
p0j=Clip0-255(p0j+△)
q0j=Clip0-255(q0j-△)
p1j=Clip0-255(p1j+△/2)
q1j=Clip0-255(q1j-△/2)
-強濾波：P0j=Clip0-255((p2j+2p1j+2p0j+2q0j+q1j+4)>>3)
q0j=Clip0-255((p1j+2p0j+2q0j+2q1j+q2j+4)>>3)
p1j=Clip0-255((p2j+p1j+p0j+q0j+2)>>2)
q1j=Clip0-255((p0j+q0j+q1j+q2j+2)>>2)
p2j=Clip0-255((2p3j+3p2j+p1j+p0j+q0j+4)>>3)
q2j=Clip0-255((p0j+q0j+q1j+3q2j+2q3j+4)>>3)
另，Clip(a,b,c)表示值c在a≦c≦b範圍內進行截取(clip)之處理，Clip0-255(c)表示值c在0≦c≦255範圍內進行截取之處理。
．色差成分之濾波：△=Clip(-tc,tc,((((q0j-p0j)<<2)+p1j-q1j+4)>>3))
p0j=Clip0-255(p0j+△)
q0j=Clip0-255(q0j-△)
即，如圖5中虛線框C6~C8及C1~C3所示，一般垂直交界之濾波處理(尤其亮度成分之強濾波)，係更新各區塊之第1~3行及第6~8行之像素值。同樣，水平交界之濾波處理，係更新各區塊之第1~3列及第6~8列之像素值。
[2-2.現有方法中之處理間之依存關係]
此處，為說明而如圖6所示，將具有16×16像素尺寸之巨區塊MBx(MB0、MB1...)之左上垂直交界表示為Vx,0，將中央上之垂直交界表示為Vx,1，將左下垂直交界表示為Vx,2，將中央下之垂直交界 表示為Vx,3，將左上之水平交界表示為Hx,0，將右上水平交界表示為Hx,1，將左中央之水平交界表示為Hx,2，將右中央之水平交界表示為Hx,3。又，將例如交界Z之濾波要否判斷處理表示為JZ，將濾波處理表示為FZ等。
上述現有方法中，1個巨區塊內同一方向之複數個交界之處理間不存在依存關係。因此，例如可在1個巨區塊內並行進行複數個垂直交界之濾波，及可並行進行複數個水平交界之濾波。作為一例，參照圖7，可知在巨區塊MB0內，4個濾波處理FV0,0、FV0,1、FV0,2、及FV0,3間無依存關係(即無重複更新之像素)，可並行進行該等。
但，上述現有方法中，垂直交界之濾波處理與水平交界之濾波要否判斷處理間留有依存關係。又，水平交界之濾波處理與垂直交界之濾波要否判斷處理間亦留有依存關係。因此，例如垂直交界比水平交界先處理之情形時)，某巨區塊內之水平交界之濾波要否判斷處理係等待垂直交界之濾波處理結束後再進行。作為一例，參照圖8，顯示在巨區塊MB0內，濾波要否判斷處理JH0,0依存於濾波處理FV0,0及FV0,1之結果，濾波要否判斷JH0,1依存於濾波處理FV0,1之結果。同樣，某巨區塊內之垂直交界之濾波要否判斷處理係等待相鄰巨區塊之水平交界之濾波處理結束後再進行。作為一例，參照圖9，顯示巨區塊MB1之濾波要否判斷處理JV1,0依存於巨區塊MB0之濾波處理FH0,1及FH0,3之結果，且巨區塊MB1之濾波要否判斷處理Jv1,2依存於巨區塊MB0之濾波處理FH0,3之結果。
由於既有之方法具有如此處理間之依存關係，因此即使採用例如JCTVC-A119中提案之方法，亦僅能夠在非常有限之範圍內達成去區塊濾波器處理之並行化。
圖10係用以說明關於既有方法之去區塊濾波器之處理順序之一例之說明圖。此處，作為一例，於去區塊濾波器輸入具有32×32像素 尺寸之圖像。該輸入圖像包含分別具有16×16像素尺寸之4個巨區塊MB0~MB3。
參照圖10，可並行進行之處理分別顯示於各虛線狀框內。例如第1步驟中，並行進行巨區塊MB0之4個垂直交界之濾波要否判斷處理JV0,0、JV0,1、JV,2及JV0,3。接著，第2步驟中，並行進行巨區塊MB0之4個垂直交界之濾波處理FV0,0、FV0,1、FV0,2及FV0,3。接著，第2步驟結束後，第3步驟中，並行進行巨區塊MB0之4個水平交界之濾波要否判斷處理JH0,0、JH0,1、JH0,2及JH0,3。該第3步驟中，將第2步驟之垂直交界之濾波處理後之像素值使用於用以水平交界之濾波要否判斷處理。接著，第4步驟中，並行進行巨區塊MB0之4個水平交界之濾波處理FH0,0、FH0,1、FH0,2及FH0,3。接著，第4步驟結束後，依次進行巨區塊MB1之處理(第5步驟~第8步驟)。其中於第5步驟中，將第4步驟之巨區塊MB0之水平交界之濾波處理後之像素值使用於用以巨區塊MB1之垂直交界之濾波要否判斷處理。接著，巨區塊MB1之處理結束後，依次進行巨區塊MB2之處理(第9步驟~第12步驟)。接著，巨區塊MB2之處理結束後，依次進行巨區塊MB3之處理(第13步驟~第16步驟)。
在如此有限範圍內之處理之並行化，於應用去區塊濾波器時之龐大處理量所引起之延遲或資料率下降等問題難謂已充分解決。對此，根據以下說明之去區塊濾波器之3個實施例，實現應用去區塊濾波器時之處理之進而並行化。
<3.第1實施例>
[3-1.去區塊濾波器之構成例]
本節中，說明圖1所示之圖像編碼裝置10之去區塊濾波器24a及圖2所示之圖像解碼裝置60之去區塊濾波器24b之第1實施例之構成之一例。另，去區塊濾波器24a及去區塊濾波器24b之構成亦可共通。因此以下說明中，於無需特別區別兩者之情形時，將去區塊濾波器24a及 去區塊濾波器24b總稱為去區塊濾波器24。
(1)新處理間之依存關係
本實施例中，利用去區塊濾波器24之處理亦包含上述濾波要否判斷處理及濾波處理2種處理。惟去區塊濾波器24在垂直交界及水平交界之一者之濾波要否判斷處理中，跨及複數個巨區塊，係用來判斷向去區塊濾波器輸入之輸入圖像之像素值。藉此，例如垂直交界比水平交界先處理之情形時，去區塊濾波器24可不等待相鄰區塊之水平交界之濾波處理，即進行某區塊之垂直交界之濾波要否判斷處理。又，水平交界比垂直交界先處理之情形時，去區塊濾波器24可不等待相鄰區塊之垂直交界之濾波處理，即進行某區塊之水平交界之濾波要否判斷處理。因此巨區塊間之處理之依存關係獲得緩和。
巨區塊間之處理之依存關係獲得緩和，從而可使圖像內之複數個巨區塊間之處理並行化。例如可並行進行輸入圖像內之所有區塊之垂直交界之濾波要否判斷處理。又，亦可並行進行輸入圖像內之所有區塊之水平交界之濾波要否判斷處理。
圖11係用以說明關於本實施例中可實現之處理順序之一例之說明圖。此處，作為一例，係於去區塊濾波器輸入具有32×32像素尺寸之圖像。該輸入圖像包含分別具有16×16像素尺寸之4個巨區塊MB0~MB3。
參照圖11，可並行進行之處理分別顯示於各虛線框內。圖10之例中一連串處理需要16個處理步驟，相對於此，圖11之例中相同數量之處理匯總成4個處理步驟。即，第1步驟中，並行進行所有巨區塊MB0~MB3之所有垂直交界之濾波要否判斷處理JV0,0~JV3,3。接著，第2步驟中，並行進行所有巨區塊MB0~MB3之16個垂直交界之濾波處理FV0,0~FV3,3。接著，第3步驟中，並行進行所有巨區塊MB0~MB3之所有水平交界之濾波要否判斷處理JH0,0~JH3,3。接著，第4步驟中，並行 進行所有巨區塊MB0~MB3之16個水平交界之濾波處理FH0,0~FH3,3。另，水平交界比垂直交界先處理之情形時，亦可在第1步驟及第2步驟前進行第3步驟及第4步驟。
圖11係藉由跨及圖像內之所有巨區塊之處理之並行化而使並行度(並行進行之處理之多寡)提高至最大限度之例。惟不限於該例，亦可非跨及圖像內之所有巨區塊，而使僅跨及一部分巨區塊群之處理並行化。
(2)去區塊濾波器之詳細構成
圖12係顯示實現上述並行處理之第1實施例之去區塊濾波器24之詳細構成之一例之方塊圖。參照圖12，去區塊濾波器24具有垂直判斷區塊110、水平判斷區塊114、水平濾波區塊130、垂直濾波區塊140及並行化控制部150。
(2-1)垂直判斷區塊
垂直判斷區塊110包含複數個垂直交界判斷部112-1~112-n。對各垂直交界判斷部112供給向去區塊濾波器24之輸入圖像、及用以濾波要否判斷所使用之判斷資訊。
垂直交界判斷部112-1~112-n使用跨及圖像內之複數個巨區塊向去區塊濾波器24之輸入圖像之像素值，判斷垂直交界是否應應用去區塊濾波器。然後，各垂直交界判斷部112將顯示各垂直交界之判斷結果之資訊(例如「1」係表示應應用去區塊濾波器之判斷結果之二值資訊)向水平濾波區塊130輸出。
(2-2)水平濾波區塊
水平濾波區塊130包含複數個水平濾波部132-1~132-n。對各水平濾波部132供給自輸入圖像及垂直判斷區塊110之各垂直交界之判斷結果。
各水平濾波部132在利用所對應之垂直交界判斷部112之判斷結果 顯示應應用濾波器之情形時，在所對應之垂直交界左右之像素上應用於垂直交界之去區塊濾波器。然後，各水平濾波部132，於應用濾波器之像素時係將濾波後之像素值向水平判斷區塊114及垂直濾波區塊140輸出，於其他像素時係將輸入圖像之像素值向水平判斷區塊114及垂直濾波區塊140輸出。
(2-3)水平判斷區塊
水平判斷區塊114包含複數個水平交界判斷部116-1~116-n。對各水平交界判斷部116供給利用水平濾波區塊130濾波後之像素值、及用以判斷要否濾波而使用之判斷資訊。
水平交界判斷部116-1~116-n，跨及圖像內之複數個巨區塊係使用利用水平濾波區塊130濾波後之像素值，判斷水平交界是否應應用去區塊濾波器。然後，各水平交界判斷部116將表示各水平交界之判斷結果之資訊向垂直濾波區塊140輸出。
(2-4)垂直濾波區塊
垂直濾波區塊140包含複數個垂直濾波部142-1~142-n。對各垂直濾波部142供給利用水平濾波區塊130濾波後之像素值及來自水平判斷區塊114之各水平交界之判斷結果。
各垂直濾波部142在利用所對應之水平交界判斷部116之判斷結果顯示應應用濾波器之情形時，在所對應之水平交界之上下像素應用水平交界之去區塊濾波器。然後，各垂直濾波部142，於應用濾波器之像素時係輸出濾波後之像素值，於其他像素實係輸出從水平濾波區塊130供給之像素值。自各垂直濾波部142之輸出可構成自去區塊濾波器24之輸出圖像。
(3)判斷部之進而詳細構成
圖13係顯示各垂直交界判斷部112及各水平交界判斷部116之進而詳細構成之一例之方塊圖。參照圖13，各判斷部包含分接(tap)構築部 121、運算部122、閾值比較部123、變形評估部124及濾波判斷部125。
分接構築部121從隔著輸入圖像內受關注之交界而鄰接之2個區塊之像素值獲得參考像素之像素值，構築用以判斷上述亮度成分之判斷條件B之分接(參考像素值之組合)。例如各區塊之尺寸為8×8像素之情形時，受關注之交界為垂直交界時，分接構築部121從屬於左右2個區塊之第3列及第6列之像素值構築分接。又，受關注之交界為水平交界之情形時，分接構築部121從屬於上下2個區塊之第3行及第6行之像素值構築分接。運算部122將由分接構築部121構築之分接代入判斷條件B之判斷式左邊，算出與邊緣判斷閾值β比較之邊緣值。閾值比較部123將由運算部122算出之值與邊緣判斷閾值β比較，將比較結果向濾波判斷部125輸出。
變形評估部124使用作為判斷資訊供給之模式資訊(MB模式)、變換係數資訊及移動矢量資訊，評估上述亮度成分之判斷條件A。然後，變形評估部124將評估結果向濾波判斷部125輸出。另，對於色差成分，可基於利用變形評估部124之模式資訊進行僅針對判斷條件A1之判斷。
濾波判斷部125基於針對從閾值比較部123輸入之判斷條件B之比較結果，與針對從變形評估部124輸入之判斷條件A之評估結果，判斷受關注之交界是否應應用去區塊濾波器。然後，濾波判斷部125輸出表示判斷結果之資訊。
(4)並行化控制部
圖12所示之並行化判斷部150控制垂直判斷區塊110及水平判斷區塊114中之濾波要否判斷處理之並行度，以及水平濾波區塊130及垂直濾波區塊140中之濾波處理之並行度。
例如並行化控制部150亦可基於輸入圖像之尺寸控制各區塊之處 理並行度。更具體言之，並行化控制部150在輸入圖像之尺寸相對較大之情形時，提高各區塊之處理並行度。藉此，可順應地防止因對應於圖像尺寸而增加之處理量引起之延遲或資料率之下降。又，例如並行化控制部150亦可基於序列參數集、圖片參數集或切片標頭內所含之參數，控制各區塊之處理並行度。藉此，可根據開發裝置之每個使用者條件靈活設定並行度。例如亦可對應於處理器之核數或軟體之線程(thread)數等安裝環境之制約而設定並行度。
再者，本實施例中，所謂巨區塊間處理之可並行化，意指無論如何設定圖像內之每個區塊之處理順序對最終輸出之結果都無影響。因此，並行化控制部150可對每個區塊控制垂直判斷區塊110及水平判斷區塊114中之濾波要否判斷處理之順序、以及水平濾波區塊130及垂直濾波區塊140中之濾波處理順序。
更具體言之，並行化控制部150亦可對應於巨區塊間之濾波處理之依存關係而控制濾波處理之順序。例如現有方法中，若欲安裝圖像內之每個切片之並行處理，則有因隔著切片交界而鄰接之巨區塊間之處理之依存關係引起處理延遲之情形。但本實施例中，並行化控制部150可比其他巨區塊先進行鄰接於切片交界之巨區塊中之濾波處理。
例如圖14係顯示隔著切片交界而鄰接之8個巨區塊MB10~MB13及MB20~MB23。其中，巨區塊MB10~MB13屬於切片SL1。巨區塊MB20~MB23屬於切片SL2。該等巨區塊中，切片SL2之巨區塊MB20之水平交界之濾波處理依存於切片SL1之巨區塊MB12之垂直交界之濾波處理。同樣，切片SL2之巨區塊MB21之水平交界之濾波處理依存於切片SL1之巨區塊MB13之垂直交界之濾波處理。
如此狀況中，如圖15之例，並行化控制部150例如比其他交界之處理優先進行切片SL1之濾波處理中巨區塊MB12及MB13之垂直交界之濾波處理。其結果，切片SL2之濾波處理中，防止巨區塊MB20及 MB21之水平交界之濾波處理產生較大延遲。又，如圖16之例，並行最先進行切片SL1所含之所有巨區塊之垂直交界之濾波處理之情形時，切片SL2之巨區塊MB20及MB21之水平交界之濾波處理亦不會產生延遲。
[3-2.判斷條件之變形例]
前項中，說明各垂直交界判斷部112，如圖4所示之現有方法，參考區塊之第3列及第6列之像素，判斷各區塊之垂直交界之濾波要否。同樣，說明各水平交界判斷部116參考區塊之第3行及第6行之像素，判斷各區塊之水平交界之濾波要否。如此情形中，可不改變安裝於現有裝置之濾波要否判斷處理之判斷條件，而容易地實施本實施例之構成。
但，各垂直交界判斷部112及各水平交界判斷部116在判斷時亦可使用與現有方法不同之判斷條件。例如各垂直交界判斷部112亦可參考區塊之3個以上之行像素。各水平交界判斷部116亦可參考區塊之3個以上之行像素。再者，各垂直交界判斷部112及各水平交界判斷部116亦可使用與現有方法不同之判斷條件式。以下，使用圖17~圖19，分別說明本實施例中可實現之判斷方法之6例。
(1)第1例
圖17係用以分別說明判斷方法之第1及第2例之說明圖。第1及第2例中，垂直交界之濾波要否判斷處理(尤其亮度成分之判斷條件B之判斷)中，參考各區塊之第1列至第8列之所有列L1~L8之像素。水平交界之濾波要否判斷處理中，亦參考各區塊之第1行至第8行之所有行之像素。
第1例中，亮度成分之判斷條件可如下定義：
．亮度成分(Luma)之判斷條件...條件A及條件B任一者均為真時則應用
-條件A：(A1)區塊Ba或Bb為幀內預測模式；(A2)區塊Ba或Bb具有非零正交變換係數；或(A3)|MVAx-MVBx|≧4或|MVAy-MVBy|≧4
-條件B：iD0=|p20-2p10+p00|+|q20-2q10+q00|+|p27-2p17+p07|+|q27-2q17+q07|
iD1=|p21-2p11+p01|+|q21-2q11+q01|+|p26-2p16+p06|+|q26-2q16+q06|
iD2=|p22-2p12+p02|+|q22-2q12+q02|+|p25-2p15+p05|+|q25-2q15+q05|
iD3=|p23-2p13+p03|+|q23-2q13+q03|+|p24-2p14+p04|+|q24-2q14+q04|
iDave=(iD0+iD1+iD2+iD3)>>2
之情形時，iDave<β
色差成分之判斷條件亦可與已說明之現有方法相同。另，算出4個判斷用參數iD0~iD3之平均值iDave時，亦可計算加權平均。
(2)第2例
第2例中，亮度成分之判斷條件B可如下定義：
-條件B：iD0=|p20-2p10+p00|+|q20-2q10+q00|+|p27-2p17+p07|+|q27-2q17+q07|
iD1=|p21-2p11+p01|+|q21-2q11+q01|+|p26-2p16+p06|+|q26-2q16+q06|
iD2=|p22-2p12+p02|+|q22-2q12+q02|+|p25-2p15+p05|+|q25-2q15+q05|
iD3=|p23-2p13+p03|+|q23-2q13+q03|+|p24-2p14+p04|+|q24-2q14+q04|
之情形時，iD0<β且iD1<β且iD2<β且iD3<β
4個判斷用參數iD0~iD3之算出式與第1例相同。另，亦可非使用4個判斷用參數iD0~iD3全部而係使用至少3個、2個或1個低於邊緣判斷閾值β之條件。
(3)第3例
圖18係用以分別說明判斷方法之第3及第4例之說明圖。第3及第4例中，垂直交界之濾波要否判斷處理(尤其亮度成分之判斷條件B之判斷)中，參考各區塊之4列L1、L3、L6及L8之像素。水平交界之濾波要否判斷處理中亦參考各區塊之4行像素。
第3例中，亮度成分之判斷條件可如下定義：
．亮度成分(Luma)之判斷條件...條件A及條件B之任一者均為真時則應用
-條件A：(A1)區塊Ba或Bb為幀內預測模式；(A2)區塊Ba或Bb具有非零正交變換係數；或(A3)|MVAx-MVBx|≧4或|MVAy-MVBy|≧4
-條件B：iD0=|p20-2p10+p00|+|q20-2q10+q00|+|p27-2p17+p07|+|q27-2q17+q07|
iD2=|p22-2p12+p02|+|q22-2q12+q02|+|p25-2p15+p05|+|q25-2q15+q05|
iDave=(iD0+iD2)>>1
之情形時，iDave<β
色差成分之判斷條件亦可與已說明之現有方法相同。另，算出2個判斷用參數iD0及iD2之平均值iDave時，亦可計算加權平均。
(4)第4例
第4例中，亮度成分之判斷條件B可如下定義：
-條件B：iD0=|p20-2p10+p00|+|q20-2q10+q00|+|p27-2p17+p07|+|q27-2q17+q07|
iD2=|p22-2p12+p02|+|q22-2q12+q02|+|p25-2p15+p05|+|q25-2q15+q05|
之情形時，iD0<β且iD2<β
2個判斷用參數iD0及iD2之算出式與第3例相同。另，亦可使用非 2個判斷用參數iD0及iD2兩者而係至少一者低於邊緣判斷閾值β之條件。
另，此處說明區塊之第1列、第3列、第6列及第8列(或行)L1、L3、L6及L8判斷時參考之例，但亦可參考列或行之其他組合。
(5)第5例
圖19係用以分別說明判斷方法之第5及第6例之說明圖。第5及第6例中，垂直交界之濾波要否判斷處理中，參考各區塊之第4列L1、L3、L5及L7之像素。水平交界之濾波要否判斷處理中亦參考各區塊之4行像素。
第5例中，亮度成分之判斷條件可如下定義：
．亮度成分(Luma)之判斷條件...條件A及條件B任一者均為真時則應用
-條件A：(A1)區塊Ba或Bb為幀內預測模式；(A2)區塊Ba或Bb具有非零正交變換係數；或(A3)|MVAx-MVBx|≧4或|MVAy-MVBy|≧4
-條件B：iD0=|p20-2p10+p00|+|q20-2q10+q00|+|p26-2p16+p06|+|q26-2q16+q06|
iD2=|p22-2p12+p02|+|q22-2q12+q02|+|p24-2p14+p04|+|q24-2q14+q04|
iDave=(iD0+iD2)>>1
之情形時，iDave<β
色差成分之判斷條件亦可與已說明之現有方法相同。另，算出2個判斷用參數iD0及iD2之平均值iDave時，亦可計算加權平均。
(6)第6例
第6例中，亮度成分之判斷條件B可如下定義：
-條件B： iD0=|p20-2p10+p00|+|q20-2q10+q00|+|p26-2p16+p06|+|q26-2q16+q06|
iD2=|p22-2p12+p02|+|q22-2q12+q02|+|p24-2p14+p04|+|q24-2q14+q04|
之情形時，iD0<β且iD2<β
2個判斷用參數iD0及iD2之算出式與第5例相同。另，亦可使用非2個判斷用參數iD0及iD2兩者而係至少一者低於邊緣判斷閾值β之條件。
一般言之，判斷時參考之列及行之數量越多判斷之正確性越提高。因此，參考8列及行之第1例及第2例中，可使本來不應應用去區塊濾波器之區塊經濾波之可能性，及不使原本應應用去區塊濾波器之區塊經濾波之可能性最小化。其結果，編碼及解碼之圖像畫質提高。另一方面，若減少判斷時參考之列及行之數，則可降低處理成本。畫質與處理成本有權衡關係，因此判斷時應參考之列及行之數可根據裝置之用途或安裝之制約等順應地選擇。又，亦可順應地選擇應參考之列之組合及行之組合。
又，如第1、第3及第5例，將判斷用參數之平均值iDave與判斷閾值β進行比較，從而可不受每列或行之參數偏差過度影響而以區塊單位進行適當判斷。
[3-3.處理流程]
接著，使用圖20及圖21說明利用去區塊濾波器24之處理流程。
圖20係顯示利用第1實施例之去區塊濾波器24之處理流程之一例之流程圖。參照圖20，首先垂直交界判斷部112-1~112-n針對輸入圖像內之複數個巨區塊所含之所有垂直交界並行判斷濾波要否(步驟S110)。接著，水平濾波部132-1~132-n針對步驟S110中判斷為應應用去區塊濾波器之所有垂直交界並行應用去區塊濾波器(步驟S120)。接著，水平交界判斷部116-1~116-n針對輸入圖像內之複數個巨區塊所 含之所有水平交界並行判斷濾波要否(步驟S130)。接著，垂直濾波部142-1~142-n針對步驟S130中判斷為應應用去區塊濾波器之所有水平交界並行應用去區塊濾波器(步驟S140)。
另，此處說明之處理流程僅係一例。即，亦可使每2個以上任意數之巨區塊利用去區塊濾波器24之處理並行化。又，處理之順序亦可變更。
圖21係顯示相當於圖20之步驟S110及S130之濾波要否判斷處理流程之一例之流程圖。參照圖21，首先，變形評估部124基於模式資訊、變換係數資訊及移動矢量資訊評估各交界之變形(步驟S150)。此處，評估為有變形之情形(判斷條件A為真之情形)時，處理進行至步驟S154。另一方面，評估為無變形之情形時，處理進行至步驟S160(步驟S152)。
步驟S154中，基於利用分接構築部121構築之參考像素之分接，藉由運算部122算出邊緣之值(步驟S154)。然後，閾值比較部123將所算出之值與邊緣判斷閾值β進行比較(步驟S156)。此處，邊緣之值小於閾值β之情形時(判斷條件B為真之情形)，處理進行至步驟S158。另一方面，邊緣之值小於閾值β之情形時，處理進行至步驟S160。
步驟S158中，濾波判斷部125判斷應對判斷對象之交界應用去區塊濾波器(步驟S158)。另一方面，步驟S140中，濾波判斷部125判斷不應對判斷對象之交界應用去區塊濾波器(步驟S160)。
<4.第2實施例>
[4-1.去區塊濾波器之構成例]
本節中，說明去區塊濾波器24之第2實施例之構成之一例。
(1)新處理間之依存關係
本實施例中，去區塊濾波器24不等待向該區塊所屬之巨區塊內之其他區塊應用去區塊濾波器即進行針對各區塊之垂直交界之濾波要 否判斷處理。又，去區塊濾波器24不等待向該區塊所屬之巨區塊內之其他區塊應用去區塊濾波器即進行針對各區塊之水平交界之濾波要否判斷處理。藉此緩和巨區塊內之處理之依存關係。
作為如上述般處理之依存關係獲得緩和之結果，可使巨區塊內垂直交界及水平交界之濾波要否判斷處理並行化。
圖22係用以說明關於本實施例中可實現之處理順序之一例之說明圖。此處，作為一例，係對去區塊濾波器輸入具有32×32像素尺寸之圖像。該輸入圖像包含分別具有16×16像素尺寸之4個巨區塊MB0~MB3。
參照圖22，可並行進行之處理分別顯示於各虛線框內。圖10之例中一連串處理需要16個處理步驟，相對於此，圖22之例中相同數量之處理匯總成12個處理步驟。即，第1步驟中，並行進行巨區塊MB0之4個垂直交界及4個水平交界之濾波要否判斷處理JV0,0~JV0,3及JH0,0~JH0,3。接著，第2步驟中，並行進行巨區塊MB0之4個垂直交界之濾波處理FV0,0~FV0,3。接著，第3步驟中，並行進行巨區塊MB1之4個垂直交界及4個水平交界之濾波要否判斷處理JV1,0~JV1,3及JH1,0~JH1,3。接著，第4步驟中，並行進行巨區塊MB1之4個垂直交界之濾波處理FV1,0~FV1,3。接著，第5步驟中，並行進行巨區塊MB0之4個水平交界之濾波處理FH0,0~FH0,3。接著，第6步驟中，並行進行巨區塊MB2之4個垂直交界及4個水平交界之濾波要否判斷處理JV2,0~JV2,3及JH2,0~JH2,3。接著，第7步驟中，並行進行巨區塊MB2之4個垂直交界之濾波處理FV2,0~FV2,3。接著，第8步驟中，並行進行巨區塊MB1之4個水平交界之濾波處理FH1,0~FH1,3。接著，第9步驟中，並行進行巨區塊MB3之4個垂直交界及4個水平交界之濾波要否判斷處理JV3,0~JV3,3及JH3,0~JH3,3。接著，第10步驟中，並行進行巨區塊MB3之4個垂直交界之濾波處理FV3,0~FV3,3。接著，第11步驟中，並行進行巨區塊MB2之4 個水平交界之濾波處理FH2,0~FH2,3。接著，第12步驟中，並行進行巨區塊MB3之4個水平交界之濾波處理FH3,0~FH3,3。此時亦可以少於現有方法數量之處理步驟進行針對輸入圖像全體之去區塊濾波器24之處理。
(2)去區塊濾波器之詳細構成
圖23係顯示實現上述並行處理之第2實施例之去區塊濾波器24之詳細構成之一例之方塊圖。參照圖23，去區塊濾波器24具有垂直判斷區塊210、水平判斷區塊214、水平濾波區塊130、垂直濾波區塊140及並行化控制部150。
(2-1)垂直判斷區塊
垂直判斷區塊210包含複數個垂直交界判斷部212-1~212-n。各垂直判斷部212不等待向該區塊所屬之巨區塊內之其他區塊應用去區塊濾波器即進行應否對各區塊之垂直交界應用去區塊濾波器。然後，各垂直交界判斷部212將顯示各垂直交界之判斷結果之資訊(例如「1」係表示應應用去區塊濾波器之判斷結果之二值資訊)向水平濾波區塊130輸出。
(2-2)水平判斷區塊
水平判斷區塊214包含複數個水平交界判斷部216-1~216-n。各水平交界判斷部216不等待向該區塊所屬之巨區塊內之其他區塊應用去區塊濾波器即進行應否對各區塊之水平交界應用去區塊濾波器。然後，各水平交界判斷部216將顯示各水平交界之判斷結果之資訊向垂直濾波區塊140輸出。
另，本實施例中，各垂直交界判斷部212及各水平交界判斷部216亦可參考與現有方法相同位置之像素，判斷各交界之濾波要否。亦可取代其，各垂直交界判斷部212及各水平交界判斷部216根據[3-2.判斷條件之變形例]中說明之方法，判斷各交界之濾波要否。
[4-2.處理流程]
圖24係顯示利用第2實施例中之去區塊濾波器24處理流程之一例之流程圖。參照圖24，首先，垂直交界判斷部212-1~212-n針對輸入圖像內之1個關注巨區塊所含之所有垂直交界並行判斷濾波要否(步驟S202)。又，水平交界判斷部214-1~214-n針對該關注巨區塊所含之所有水平交界並行判斷濾波要否(步驟S204)。該等步驟S202及步驟S204亦並行進行。
接著，水平濾波部132-1~132-n針對步驟S202中判斷為應應用去區塊濾波器之關注巨區塊內之垂直交界並行應用去區塊濾波器(步驟S210)。
下一步驟S220之處理係以前一循環中之關注巨區塊為對象進行。對於最初之關注巨區塊，步驟S220之處理亦可跳過。垂直濾波部142-1~142-n對前一循環之步驟S204中判斷為應應用去區塊濾波器之水平交界並行應用去區塊濾波器(步驟S220)。
其後，於輸入圖像內留有未處理之關注巨區塊之情形時，對新關注之巨區塊重複步驟S202~S220之處理(步驟S230)。
另一方面，未留有未處理之關注巨區塊之情形時，垂直濾波部142-1~142-n以最後循環之關注巨區塊為對象，對判斷為應應用去區塊濾波器之水平交界並行應用去區塊濾波器(步驟S240)。
另，此處說明之處理流程亦僅係一例。即，處理之並行度及順序亦可變更。又，處理之並行度及順序亦可藉由並行化控制部150順應地控制。
[4-3.每個LCU之處理例]
如上述，本說明書中說明之各種實施例之技術亦可作為基於HEVC之編碼單位(CU)之處理而實現。HEVC中，尺寸最大之編碼單位稱為LCU(Largest Coding Unit，最大編碼單位)，例如可選擇64×64 像素之LCU。可選擇之最小CU之尺寸為8×8像素。圖像之編碼及解碼時，通常以圖片(或切片)左上之LCU為起點，按照柵狀掃描(raster scan)之順序，對每個LCU進行處理。因此本項中，針對去區塊濾波器24中之如此每個LCU之處理之例進行說明。
圖25係用以說明關與上述第2實施例關連之每個LCU之處理順序之說明圖。此處，LCU之尺寸為16×16像素，CU之尺寸為8×8像素。
參照圖25，左上之第1階段中，至第n-1號LCU為止之各LCU之濾波結束。另，垂直交界之濾波之對象像素以斜線畫影線，水平交界之濾波對象像素塗黑。
圖25之右上第2階段及左下第3階段之處理係以第n號LCU為對象之處理。首先，第2階段之前並行進行第n號之LCU所屬之所有垂直交界及所有水平交界之濾波要否判斷處理。即，第n號LCU內之各CU所屬之交界之濾波要否判斷處理不等待向該第n號LCU內之其他CU應用去區塊濾波器即進行。接著，第2階段中，並行進行第n號LCU所屬之垂直交界中判斷為應應用去區塊濾波器之垂直交界之濾波處理。接著，並行進行第n號LCU所屬之水平交界中判斷為應應用去區塊濾波器之水平交界之濾波處理。
其後，圖25右下之第4階段之處理係以第n+1號LCU為對象之處理。並行進行第n+1號LCU內之所有CU所屬之交界之濾波要否判斷處理後，於第4階段，並行進行判斷為應應用去區塊濾波器之垂直交界之濾波處理。
另，此處，作為一例，雖使LCU之尺寸設為16×16像素，但LCU之尺寸亦可為32×32像素或64×64像素等。尤其所選擇之LCU之尺寸更大則1個LCU所屬之垂直交界及水平交界之數量亦變多，因此更提高利用並行化之處理時間短縮效果。
圖26係顯示利用去區塊濾波器24之每個LCU之處理流程之一例之 流程圖。
參考圖26，首先，垂直交界判斷部2121~212-n針對輸入圖像內之1個關注LCU所含之所有垂直交界並行判斷濾波要否(步驟S252)。又，水平交界判斷部216-1~216-n針對該關注LCU所含之所有水平交界並行判斷濾波要否(步驟S254)。該等步驟S252及步驟S254亦並行進行。
接著，水平濾波部132-1~132-n對步驟S252中判斷為應應用去區塊濾波器之關注LCU內之垂直交界並行應用去區塊濾波器(步驟S260)。
接著，垂直濾波部142-1~142-n對步驟S254中判斷為應應用去區塊濾波器之關注LCU內之水平交界並行應用去區塊濾波器(步驟S270)。
其後，於輸入圖像內留有未處理LCU之情形時，針對新關注LCU重複步驟S252~S270之處理(步驟S280)。另一方面，不留有未處理LCU之情形時則處理結束。
<5.第3實施例>
[5-1.概要]
第1及第2實施例中，變更去區塊濾波器之現有處理順序，提高處理之並行度。尤其第1實施例中，濾波之要否判斷時更廣泛活用向去區塊濾波器之輸入圖像之像素值，從而緩和處理之依存關係。本節說明之第3實施例中，將此想法進而擴張。即，第3實施例中，垂直交界及水平交界兩者之濾波處理中使朝去區塊濾波器之輸入像素值予以濾波，從而謀求處理之進而並行化。
圖27係用以針對本實施例之概要進行說明之說明圖。圖27之左下係顯示表示利用去區塊濾波器處理前之輸入像素(亦稱作再對比像素)之圖形。本實施例中，向去區塊濾波器之輸入像素在垂直交界及 水平交界之濾波要否判斷處理，以及垂直交界及水平交界之濾波處理進行參考。因此上述2個濾波要否判斷處理間之依存關係及上述2個濾波處理間之依存關係同時消除。
但，垂直交界之濾波要否判斷處理及水平交界之濾波處理中，有更新重複之像素值之可能性。具有此種可能性之像素之位置於圖27中以塗黑之像素表示。因此，本實施例之去區塊濾波器對於由並行動作之2個濾波器重複更新之像素，從2個濾波器輸出計算1個輸出像素值。
[5-2.去區塊濾波器之構成例]
圖28係顯示第3實施例之去區塊濾波器24之詳細構成之一例之方塊圖。參考圖28，去區塊濾波器24具有線記憶體308、判斷區塊310、水平濾波區塊330、垂直濾波區塊340、並行化控制部150及計算部360。
線記憶體308記憶向去區塊濾波器24輸入之輸入圖像之像素值。由線記憶體308記憶之像素值不藉由水平濾波區塊330及垂直濾波區塊340中之濾波處理而更新。由線記憶體308記憶之像素值在利用以下說明之判斷區塊310內之各部分之濾波要否判斷處理中予以參考。另，以與去區塊濾波器24之處理不同目的設於裝置內之記憶體亦可作為線記憶體308再利用(共用)。
判斷區塊310包含複數個垂直交界判斷部312-1~312-n及複數個水平交界判斷部314-1~314-n。對各垂直交界判斷部312及水平交界判斷部314，供給由線記憶體308記憶之向去區塊濾波器24之輸入圖像之像素值，及用以判斷濾波要否所使用之判斷資訊。
各垂直交界判斷部312使用向去區塊濾波器24之輸入像素值，判斷各垂直交界是否應應用去區塊濾波器。然後，各垂直交界判斷部312將表示各垂直交界之判斷結果向水平濾波區塊330輸出。
各水平交界判斷部314亦使用向去區塊濾波器24之輸入像素值，判斷各水平交界是否應應用去區塊濾波器。利用各水平交界判斷部314之判斷處理與利用各垂直交界判斷部312之判斷處理並行進行。然後，各水平交界判斷部314將表示針對各水平交界之判斷結果之資訊向垂直濾波區塊340輸出。
另，本實施例中，各垂直交界判斷部312及各水平交界判斷部314亦可參考與現有方法相同位置之像素，判斷各交界之濾波要否。亦可取代其，各垂直交界判斷部312及各水平交界判斷部314按照[3-2.判斷條件之變形例]中說明之方法判斷各交界之濾波要否。
水平濾波區塊330包含複數個水平濾波部332-1~332-n。對各水平濾波部332供給來自線記憶體308之輸入像素值及來自判斷區塊310之各垂直交界之判斷結果。
各水平濾波部332在由所對應之垂直交界判斷部312判斷結果顯示應應用濾波器之情形時，在所對應之垂直交界之左右像素上應用垂直交界之去區塊濾波器。然後，各水平濾波部332於應用濾波器之像素時將濾波後之像素值向計算部360輸出，而於其他像素值時則將輸入像素值向計算部360輸出。
垂直濾波區塊340包含複數個垂直濾波部342-1~342-n。對各垂直濾波部342供給來自線記憶體308之輸入像素值及來自判斷區塊310之各水平交界之判斷結果。
各垂直濾波部342在由所對應之水平交界判斷部314判斷結果顯示應應用濾波器之情形時，在所對應之水平交界之上下像素應用水平交界之去區塊濾波器。利用垂直濾波部342-1~342-n之濾波處理與利用水平濾波部332-1~332-n之濾波處理並行進行。然後，各垂直濾波部342於應用濾波器之像素時將濾波後之像素值向計算部360輸出，於其他像素時將輸入像素值向計算部360輸出。
對計算部360並行供給來自水平濾波區塊330之輸出像素值與來自垂直濾波區塊340之輸出像素值。再者，對計算部360供給利用垂直交界判斷部312及水平交界判斷部314之判斷結果。計算部360根據所供給之判斷結果，對於利用水平濾波區塊330及垂直濾波區塊340兩者所濾波之像素，基於來自水平濾波區塊330之濾波器輸出及來自垂直濾波區塊340之濾波器輸出計算輸出像素值。
例如，本實施例中，計算部360對重複濾波之像素計算2個濾波器輸出之平均。由計算部360計算之2個濾波器輸出之平均亦可為單純平均。亦可取代其，計算部360計算2個濾波器輸出之加權平均。計算部360例如亦可根據至各像素之垂直交界之距離及至水平交界之距離決定各像素之加權平均之權重。
圖29係用以說明關於用以利用計算部360之加權平均之權重決定之說明圖。參考圖29，位於圖27所示之重複位置之一之關注像素PZ顯示為黑色。關注像素PZ與最近之垂直交界VZ間之距離Dv為3像素。關注像素PZ與最近之水平交界HZ間之距離DH為2像素。距離DH小於距離DV。此時，計算部360可決定關於水平交界HZ之去區塊濾波器之輸出之權重大於關於垂直交界VZ之去區塊濾波器之輸出之權重。圖29之例中，垂直交界VZ之濾波器輸出Vout與水平交界HZ之濾波器輸出Hout間之權重比決定為2：3。
如由圖29可理解，作為2個濾波器輸出之加權平均之計算結果，可在各關注像素獲得應用具有沿著水平方向之濾波器分接與沿著垂直方向之濾波器分接之1個2維濾波器之情形同等之輸出像素值。藉此，使垂直交界及水平交界之濾波處理並行化之情形時，亦可適當減少出現於垂直交界及水平交界兩者之區塊變形。作為其他實施例，去區塊濾波器24亦可具有同時計算水平濾波、垂直濾波及加權平均之1個2維濾波器。但此時會產生使濾波器係數對每個像素進行各種變化之必要 性，因此安裝變得極其複雜。相對於此，若如第3實施例般並行進行2個1維濾波器後計算加權平均，則可有效利用現有去區塊濾波器之結構，可容易實現與2維濾波器實質相等之處理。
圖30係用以說明針對用以按照圖29之例決定之加權平均之權重之一例之說明圖。參考圖30，顯示位於垂直交界與水平交界之1個交點周圍之6×6=36個像素(上述重複位置之像素)。該等像素中對於位於距離垂直交界及水平交界等距離之像素，濾波器輸出Vout於濾波器輸出Hout間之權重比為1比1(或2比2或3比3)。對於靠近垂直交界之像素，向濾波器輸出Vout之權重決定為大於向濾波器輸出Hout之權重(例如像素P1之權重比為Vout：Hout=3：1)。另一方面，對於靠近水平交界之像素，向濾波器輸出Vout之權重決定為小於向濾波器Hout之權重(例如像素P2之權重比為Vout：Hout=1：3)。
如此根據各像素與交界間之距離使加權平均之權重變化，從而可更有效抑制區塊之變形，可改善畫質。
另，上述權重僅係一例。例如計算部360亦可取代各像素與交界間之距離(或除此之外)，根據對應各像素之垂直交界及水平交界之邊緣強度，決定關於各像素之加權平均之權重。此處所謂邊緣權重，例如可以如由圖13所示之運算部122算出之邊緣值之參數表現。此時，可決定邊緣更強交界之濾波器之輸出權重大於邊緣更弱交界之濾波器輸出之權重。如此根據邊緣強度而使加權平均之權重變化，從而可在區塊變形較強呈現之交界順應提高去區塊濾波器之效果。
計算部360對於水平濾波區塊330及垂直濾波區塊340任一者之一濾波之像素，實際選擇來自進行濾波之區塊之輸出。又，計算部360對於未由水平濾波區塊330及垂直濾波區塊340任一者濾波之像素，直接輸出向去區塊濾波器24之輸入像素值。將對應濾波要否判斷結果之來自計算部360之輸出像素值顯示於圖31之表中。
[5-3.處理順序之例]
以下，說明本實施例中可利用去區塊濾波器24實現之處理順序之2例。此處，作為一例，係對去區塊濾波器輸入具有32×32像素尺寸之圖像。該輸入圖像包含分別具有16×16像素尺寸之4個巨區塊MB0~MB3。
(1)第1例
首先，為比較而於圖32顯示於垂直交界之濾波處理與水平交界之濾波處理間留有依存關係時之處理順序。圖32中，第1步驟中，並行進行4個巨區塊MB0~MB3之所有垂直交界及所有水平交界之濾波要否判斷處理JV0,0~JV3,3及JH0,0~JH3,3。接著，第2步驟中，進行4個巨區塊MB0~MB3之16個垂直交界之濾波處理FV0,0~FV3,3。接著，第3步驟中，進行4個巨區塊MB0~MB3之16個水平交界之濾波處理FH0,0~FH3,3。其後，第4步驟中，水平交界之濾波處理後之各像素值儲存於自去區塊濾波器24之輸出用記憶體。
圖33係顯示本實施例中實現之處理順序之第1例。圖33中，第1步驟中，並行進行4個巨區塊MB0~MB3之所有垂直交界及所有水平交界之濾波要否判斷處理JV0,0~JV3,3及JH0,0~JH3,3。接著，第2步驟中，可並行進行4個巨區塊MB0~MB3之所有垂直交界及所有水平交界之濾波處理FV0,0~FV3,3及FH0,0~FH3,3(實際上僅在判斷為有必要濾波之交界進行濾波)。其後，第3步驟中，將各像素值儲存於自去區塊濾波器24之輸出用記憶體。此時，對於由水平濾波區塊330及垂直濾波區塊340兩者濾波之像素，可計算2個濾波器輸出之加權平均作為輸出像素值。
(2)第2例
上述第1例係將並行度提高至最大限度之例，另一方面，本實施例中，去區塊濾波器24亦可實現每個巨區塊之處理。
首先，為比較而於圖34顯示於垂直交界之濾波處理與水平交界 之濾波處理間留有依存關係時之每個巨區塊之處理順序。另，圖34所示之處理順序與第2實施例關連之圖22所示之處理順序實質相同。圖22中由說明簡潔之觀點而言省略圖示之向輸出用記憶體之像素值儲存之4個處理步驟(第6、第10、第14及第16步驟)在圖34中明示。圖34之處理以包含該等4個處理步驟之16個處理步驟構成。
圖35係顯示本實施例中實現之處理順序之第2例。圖35中，第1步驟中，並行進行巨區塊MB0之4個垂直交界及4個水平交界之濾波要否判斷處理JV0,0~JV0,3及JH0,0~JH0,3。接著，第2步驟中，並行進行巨區塊MB0之4個垂直交界及4個水平交界之濾波處理FV0,0~FV0,3及FH0,0~FH0,3。接著，第3步驟中，巨區塊MB0之各像素值儲存至自去區塊濾波器24之輸出用記憶體。此時，對於由2個濾波器重複濾波之像素，可計算2個濾波器輸出之加權平均作為輸出像素值。其後，第4步驟至第6步驟中同樣處理巨區塊MB1，第7步驟至第9步驟中同樣處理巨區塊MB2，第10步驟至第12步驟中同樣處理巨區塊MB3。圖35之處理以比圖34之處理少的12處理步驟構成。
如此，第3實施例中，亦消除垂直交界之濾波處理與水平交界之濾波處理間之依存關係，因此與第1及第2實施形態相比，可以更少處理步驟進行去區塊濾波器24中之處理。另，濾波處理中僅參考向去區塊濾波器之輸入像素之優點之一係無論如何構成濾波器分接，都不會產生垂直交界之濾波處理與水平交界之濾波處理間之依存關係。因此亦可謀求由比現有方法多之像素構成濾波器分接且畫質提高。例如現有方法中，如與圖7關連所說明，各交界之各側使用3像素之濾波器分接。但本實施例中，即使例如各交界之各像素使用5像素以上之濾波器分接，處理間亦不會產生依存關係。又，即使更減小去區塊濾波器之處理單位之區塊尺寸，處理間仍不會產生依存關係。
第3實施例中，與第1及第2實施例相同，去區塊濾波器24中之處 理並行度及順序亦可由並行化控制部150控制。
[5-4.處理流程]
圖36係顯示利用第3實施例之去區塊濾波器之處理流程之一例之流程圖。又，圖37係顯示圖36所示之像素值計算處理流程之一例之流程圖。
參考圖36，首先垂直交界判斷部312-1~312-n針對輸入圖像內(或巨區塊內)之所有垂直交界並行判斷濾波要否(步驟S302)。又，水平交界判斷部314-1~314-n針對輸入圖像內(或巨區塊內)之所有水平交界並行判斷濾波要否(步驟S304)。該等步驟S302及步驟S304亦並行進行。
接著，水平濾波部332-1~332-n對步驟S302中判斷為應應用去區塊濾波器之所有垂直交界並行應用去區塊濾波器(步驟S306)。又，垂直濾波部342-1~342-n對步驟S304中判斷為應應用去區塊濾波器之所有水平交界並行應用去區塊濾波器(步驟S308)。該等步驟S306及步驟S308亦並行進行。
接著，藉由計算部360進行圖37所示之像素值計算處理(步驟S310)。參照圖37，步驟S314至步驟S326之處理對每個處理對象之像素循環(loop)(步驟S312)。
步驟S314中，計算部360判斷關注像素是否由垂直交界及水平交界之2個濾波器兩者濾波(步驟S314)。此處，關注像素由2個濾波器兩者濾波之情形時，處理進行至步驟S322。另一方面，關注像素不由2個濾波器兩者濾波之情形時，處理進行至步驟S316。
步驟S316中，計算部360判斷關注像素是否由垂直交界及水平交界之2個濾波器任一者濾波(步驟S316)。此處，關注像素由2個濾波器之任一者濾波之情形時，處理進行至步驟S320。另一方面，關注像素不藉由任一濾波器濾波之情形時，處理進行至步驟S318。
步驟S318中，計算部360獲得向去區塊濾波器24之輸入像素值(步 驟S318)。步驟S320中，計算部360獲得來自對關注像素實際進行濾波之濾波器之濾波器輸出(步驟S320)。
步驟S322中，計算部360根據例如至關注像素之垂直交界之距離及至水平交界之距離，或對應於關注像素之垂直交界及水平交界之邊緣強度，決定用以計算關注像素之來自2個濾波器之濾波器輸出之加權平均之權重值(步驟S322)。然後，計算部360使用所決定之權重，計算來自2個濾波器之濾波器輸出之加權平均(步驟S324)。
其後，將計算部360在步驟S318或步驟S320中獲得或步驟S324中計算之關注像素之像素值儲存於記憶體(步驟S326)。若對處理對象之所有像素進行如此處理，則圖36及圖37所示之一連串處理結束。
<6.對各種編解碼器之應用>
本揭示之技術可應用於與圖像之編碼及解碼關連之各種編解碼中。本節中，針對本揭示之技術分別應用於多視點編解碼器及可縮放編解碼器之例進行說明。
[6-1.多視點編解碼器]
多視點編解碼器即所謂用以使多視點影像編碼及解碼之圖像編解碼方式。圖38係用以說明關於多視點編解碼器之說明圖。參考圖38，顯示3個視點中分別攝影之3個視點之訊框之順序。對各視點賦予視點ID(view_id)。該等複數個視點中任一視點指定為基本視點(base view)。基本視點以外之視點稱作非基本視點。圖38之例中，視點ID為「0」之視點係基本視點，視點ID為「1」或「2」之2個視點係非基本視點。編碼該等多視點之圖像資料時，藉由基於針對基本視點之訊框之編碼資訊編碼非基本視點之訊框，而可壓縮作為全體之編碼串之資料大小。
按照上述多視點編解碼器之編碼處理及解碼處理中，可對各視點應用去區塊濾波器。向各視點應用去區塊濾波器時，按照本揭示之 技術，亦可以包含各視點之複數個CU之處理單位使水平濾波並行化，及亦可使垂直濾波並行化。上述處理單位亦可為數個CU、LCU或圖片等。又，用以控制並行處理之參數(例如前述(4)並行化控制部第二段落中說明之參數)亦可對每個視點設定。又，基本視點中設定之參數亦可對非基本視點再利用。
又，亦可跨及複數個視點使水平濾波及垂直濾波並行化。用以控制並行處理之參數(例如前述(4)並行化控制部第二段落中說明之參數)亦可跨及複數個視點共通化。又，亦可追加指定顯示跨及複數個視點之參數是否共通化之旗標。
圖39係用以說明關於向上述圖像編碼處理應用多視點編解碼器之說明圖。參考圖39，顯示作為一例之多視點編碼裝置710之構成。多視點編碼裝置710具備第1編碼部720、第2編碼部730及多工化部740。
第1編碼部720編碼基本視點圖像，生成基本視點之編碼串。第2編碼部730編碼非基本視點圖像，生成非基本視點之編碼串。多工化部740使由第1編碼部720生成之基本視點之編碼串與由第2編碼部730生成之1個以上非基本視點之編碼串多工化，生成多視點之多工化串。
圖39所例示之第1編碼部720及第2編碼部730具有與上述實施形態之圖像編碼裝置10相同之構成。藉此，向各視點之應用區塊濾波器時，可以包含複數個CU之處理單位使水平濾波並行化及亦使垂直濾波並行化。控制該等處理之參數亦可插入於各視點之編碼串之標頭區域，或亦可插入於多工化串內之共通標頭區域。
圖40係用以說明關於向上述圖像解碼處理應用多視點編解碼器之說明圖。參考圖40，顯示作為一例之多視點解碼裝置760之構成。多視點解碼裝置760具備逆多工化部770、第1解碼部780及第2解碼部 790。
逆多工化部770使多視點之多工化串逆多工化為基本視點之編碼串及1個以上非基本視點之編碼串。第1解碼部780從基本視點之編碼串解碼基本視點圖像。第2解碼部730從非基本視點之編碼串解碼非基本視點圖像。
圖40所例示之第1解碼部780及第2解碼部790具有與上述實施形態之圖像解碼裝置60相同之構成。藉此，向各視點應用去區塊濾波器時，可以包含複數個CU之處理單位使水平濾波並行化及亦可使垂直濾波並行化。控制該等處理之參數可從各視點之編碼串之標頭區域獲取，或亦可從多工化串內之共通標頭區域獲取。
[6-2.可縮放編解碼器]
可縮放編解碼器即所謂用以實現階層編碼之圖像編碼方式。圖41係用以說明關於可縮放編解碼器之說明圖。參考圖41，顯示空間解像度、時間解像度或畫質不同之3層訊框之順序。對各層賦予層ID(layer_id)。該等複數層中解像度(或畫質)最低之層係基本層(base layer)。基本層以外之層稱作增強層。圖41之例中，層ID為「0」之層係基本層，層ID為「1」或「2」之2層係增強層。編碼該等多層圖像資料時，藉由基於針對基本層之訊框之編碼資訊編碼增強層之訊框，而可壓縮作為全體之編碼串之資料大小。
按照上述可縮放編解碼器之編碼處理及解碼處理中，可對各層應用去區塊濾波器。對各層應用去區塊濾波器時，根據本揭示之技術，可以包含各層之複數個CU之處理單位使水平濾波並行化及亦可使垂直濾波並行化。上述處理單位亦可為數個CU、LCU或圖片等。又，用以控制並行處理之參數(例如前述(4)並行化控制部第二段落中說明之參數)亦可對每層設定。又，基本層中設定之參數亦可在增強層中再利用。
又，亦可跨及複數層使水平濾波及垂直濾波並行化。用以控制並行處理之參數(例如前述(4)並行化控制部第二段落中說明之參數)亦可跨及複數層共通化。又，亦可追加指定顯示跨及複數層參數是否共通化之旗標。
圖42係用以說明關於向上述圖像編碼處理應用可縮放編解碼器之說明圖。參考圖42，顯示作為一例之可縮放編碼裝置810之構成。可縮放編碼裝置810具備第1編碼部820、第2編碼部830及多工化部840。
第1編碼部820編碼基本層圖像，生成基本層之編碼串。第2編碼部830編碼增強層圖像，生成增強層之編碼串。多工化部840將由第1編碼部820生成之基本層之編碼串，與由第2編碼部830生成之1個以上增強層之編碼串多工化，生成多層之多工化串。
圖42所例示之第1編碼部820及第2編碼部830具有與上述實施形態之圖像編碼裝置10相同之構成。藉此，向各層應用去區塊濾波器時，可以包含複數個CU之處理單位使水平濾波並行化及使垂直濾波並行化。控制該等處理之參數可插入於各層之編碼串之標頭區域，或亦可插入於多工化串內之共通標頭區域。
圖43係用以說明關於向上述圖像解碼處理應用可縮放編解碼器之說明圖。參考圖43，顯示作為一例之可縮放解碼裝置860之構成。可縮放解碼裝置860具備逆多工化部870、第1解碼部880及第2解碼部890。
逆多工化部870將多層之多工化串逆多工化為基本層之編碼串及1個以上增強層之編碼串。第1解碼部880從基本層之編碼串解碼基本層圖像。第2解碼部830從增強層之編碼串解碼增強層圖像。
圖43所例示之第1解碼部880及第2解碼部890具有與上述實施形態之圖像解碼裝置60相同之構成。藉此，向各層應用去區塊濾波器 時，可以包含複數個CU之處理單位使水平濾波並行化及使垂直濾波並行化。控制該等處理之參數可從各層之編碼串之標頭區域獲取，或亦可從多工化串內之共通標頭區域獲取。
<7.應用例>
上述實施形態之圖像編碼裝置10及圖像解碼裝置60可應用於衛星傳送、有線電視等之有線傳送、網路上之發訊、及向利用蜂窩通訊之終端之發訊等之發訊機或收訊機、對光碟、磁碟及快閃記憶體等媒體記錄圖像之記錄裝置、或從該等記憶媒體播放圖像之播放裝置等各種電子機器中。以下針對4個應用例進行說明。
[7-1.第1應用例]
圖44係顯示應用上述實施形態之電視機裝置之概要構成之一例。電視機裝置900具備天線901、調諧器902、解多工器903、解碼器904、影像信號處理部905、顯示部906、聲音信號處理部907、揚聲器908、外部介面909、控制部910、使用者介面911、及匯流排912。
調諧器902從經由天線901接收之發送信號抽出期望頻道之信號，將所抽出之信號解調。然後，調諧器902將由解調所得之編碼比串向解多工器903輸出。即，調諧器902具有接收圖像經編碼之編碼串之作為電視機裝置900中之傳送機構之作用。
解多工器903從編碼位元串分離視聽對象之節目之影像串及聲音串，將所分離之各串向解碼器904輸出。又，解多工器903從編碼位元串抽出EPG(Electronic Program Guide：電子節目指南)等輔助資料，將所抽出之資料供給於控制部910。另，解多工器903在編碼位元串經改變頻率(scramble)之情形時亦可進行反倒頻(descramble)。
解碼器904將從解多工器903輸入之影像串及聲音串解碼。然後，解碼器904將由解碼處理生成之影像資料向影像信號處理部905輸出。又，解碼器904將由解碼處理生成之聲音資料向聲音信號處理部 907輸出。
影像信號處理部905播放從解碼器904輸入之影像資料，使影像顯示於顯示部906上。又，影像信號處理部905亦可將經由網路供給之應用畫面顯示於顯示部906。又，影像信號處理部905亦可對影像資料根據設定進行例如雜訊去除等之追加處理。再者，影像信號處理部905亦可生成例如表單、按鈕或游標等之GUI(Graphical User Interface：圖形使用者介面)之圖像，使生成之圖像與輸出圖像重疊。
顯示部906藉由從影像信號處理部905供給之驅動信號驅動，於顯示裝置(例如液晶顯示器、電漿顯示器或OLED(有機發光二極體)等)之影像面上顯示影像或圖像。
聲音信號處理部907對從解碼器904輸入之聲音資料進行D/A變換及增幅等播放處理，從揚聲器908輸出聲音。又，聲音信號處理部907亦可對聲音資料進行雜訊去除等之追加處理。
外部介面909係用以連接電視機裝置900與外部機器或網路之介面。例如經由外部介面909接受之影像串或聲音串亦可由解碼器904解碼。即，外部介面909亦具有接受圖像經編碼之編碼串之作為電視機裝置900中之傳送機構之作用。
控制部910具有CPU(Central Processing Unit：中央處理單元)等處理器，以及RAM(Random Access Memory：隨機存取記憶體)及ROM(Read Only Memory：唯讀記憶體)等記憶體。記憶體記憶由CPU執行之程式、程式資料、EPG資料及經由網路獲取之資料等。由記憶體記憶之程式例如在電視機裝置900起動時由CPU讀取並執行。CPU藉由執行程式而根據例如從使用者介面911輸入之操作信號控制電視機裝置900之動作。
使用者介面911與控制部910連接。使用者介面911例如具有使用者用以操作電視機裝置900之按鈕及開關、以及遠程控制信號之接收 部等。使用者介面911經由該等構成要素檢測出使用者之操作，生成操作信號，將所生成之操作信號向控制部910輸出。
匯流排912將調諧器902、解多工器903、解碼器904、影像信號處理部905、聲音信號處理部907、外部介面909及控制部910相互連接。
如此構成之電視機裝置900中，解碼器904具有上述實施形態之圖像解碼裝置60之功能。藉此，電視機裝置900中之圖像解碼時，可提高去區塊濾波器之處理並行度且可使處理高速化。
[7-2.第2應用例]
圖45係顯示應用上述實施形態之行動電話之概要構成之一例。行動電話920具備天線921、通訊部922、聲音編解碼器923、揚聲器924、麥克風925、照相機926、圖像處理部927、多工分離部928、記錄播放部929、顯示部930、控制部931、操作部932、及匯流排933。
天線921與通訊部922連接。揚聲器924及麥克風925與聲音編解碼器923連接。操作部932與控制部931連接。匯流排933使通訊部922、聲音編解碼器923、照相部926、圖像處理部927、多工分離部928、記錄播放部929、顯示部930、及控制部931相互連接。
行動電話920以包含聲音通訊模式、資料通訊模式、攝影模式及電視電話模式之各種動作模式，進行聲音信號之收發、電子郵件或圖像資料之收發、圖像之攝像、及資料之記錄等動作。
聲音通話模式中，藉由麥克風925生成之類比聲音信號供給於聲音編解碼器923。聲音編解碼器923將類比聲音信號變換成聲音資料，將所變換之聲音資料進行A/D變換並壓縮。然後，聲音編解碼器923將壓縮後之聲音資料向通訊部922輸出。通訊部922將聲音資料編碼及調變，生成發送信號。然後，通訊部922將所生成之發送信號經由天線921向基地台(未圖示)發送。又，通訊部922將經由天線921接收之 無線信號增幅及進行頻率轉換，獲得接收信號。然後，通訊部922將接收信號解調及解碼，生成聲音資料，將所生成之聲音資料向聲音編解碼器923輸出。聲音編解碼器923將聲音資料擴展及進行D/A變換，生成類比聲音信號。然後，聲音編解碼器923將所生成之聲音信號供給於揚聲器924，輸出聲音。
又，資料通信模式中，例如控制部931根據經由操作部932之由使用者之操作，生成構成電子郵件之文字資料。又，控制部931將文字顯示於顯示部930上。又，控制部931根據經由操作部932之自使用者之發送指示，生成電子郵件資料，將所生成之電子郵件資料向通訊部922輸出。通訊部922將電子郵件資料編碼及調變，生成發送信號。然後，通訊部922將所生成之發送信號經由天線921向基地台(未圖示)發送。又，通訊部922將經由天線921接收之無線信號增幅及進行頻率轉換，獲得接收信號。然後，通訊部922將接收信號解調及解碼，復原電子郵件資料，將所復原之電子郵件資料向控制部931輸出。控制部931使電子郵件之內容顯示於顯示部930上，使電子郵件資料記憶於記憶播放部929之記憶媒體中。
記錄播放部929具有可讀寫之任意記憶媒體。例如記憶媒體可為RAM或快閃記憶體等內置型記憶媒體，亦可為硬碟、磁碟、磁光碟、光碟、USB記憶體、或記憶卡等外部安裝型之記憶媒體。
又，攝影模式中，例如照相部926拍攝被攝體並生成圖像資料，將所生成之圖像資料向圖像處理部927輸出。圖像處理部927將從照相部926輸入之圖像資料編碼，將編碼串記憶於記錄播放部929之記憶媒體內。
又，電視電話模式中，例如多工分離部928使由圖像處理部927編碼之影像串，與從聲音編解碼器923輸入之聲音串多工化，將多工化之串向通訊部922輸出。通訊部922將串編碼及調變，生成發送信 號。然後，通訊部922將所生成之發送信號經由天線921向基地台(未圖示)發送。又，通訊部922將經由天線921接收之無線信號增幅及進行頻率轉換，獲得接收信號。該等發送信號及接收信號中可包含編碼位元串。然後，通信部922將接收信號解調及解碼，將串復原，將所復原之串向多工分離部928輸出。多工分離部928從所輸入之串分離影像串及聲音串，將影像串向圖像處理部927輸出，將聲音串向聲音編解碼器923輸出。圖像處理部927解碼影像串，生成影像資料。影像資料供給於顯示部930，由顯示部930顯示一連串圖像。聲音編解碼器923將聲音串擴張及進行D/A變換，生成類比聲音信號。然後，聲音編解碼器923將所生成之聲音信號供給於揚聲器924，輸出聲音。
如此構成之行動電話920中，圖像處理部927具有上述實施形態之圖像編碼裝置10及圖像解碼裝置60之功能。藉此，行動電話920於圖像編碼及解碼時，可提高去區塊濾波器之處理並行度且使處理高速化。
[7-3.第3應用例]
圖46係顯示應用上述實施形態之記錄播放裝置之概要構成之一例。記錄播放裝置940例如將所接收之傳放節目之聲音資料及影像資料編碼，記錄於記錄媒體內。又，記錄播放裝置940例如亦可將從其他裝置獲得之聲音資料及影像資料編碼，記錄於記錄媒體內。又，記錄播放裝置940例如根據使用者之指示，在監視器及揚聲器上播放記錄於記錄媒體之資料。此時，記錄播放裝置940解碼聲音資料及影像資料。
記錄播放裝置940具備調諧器941、外部介面942、編碼器943、HDD(Hard Disk Drive：硬碟驅動器)944、磁碟驅動器945、選擇器946、解碼器947、OSD(On-Screen Display，螢幕上顯示)948、控制部949、及使用者介面950。
調諧器941從經由天線(未圖示)接收之放送信號抽出期望頻道之信號，解調所抽出之信號。然後，調諧器941將由解調所得之編碼位元串向選擇器946輸出。即，調諧器941具有作為記錄播放裝置940中之傳送機構之作用。
外部介面942係用以連接記錄播放裝置940與外部機器或網路之介面。外部介面942例如亦可為IEEE1394介面、網路介面、USB介面、或快閃記憶體介面等。例如經由外部介面942接收之影像資料及聲音資料向編碼器943輸入。即，外部介面942具有作為記錄播放裝置940中之傳送機構之作用。
編碼器943在從外部介面942輸入之影像資料及聲音資料未予編碼之情形中，將影像資料及聲音資料編碼。然後，編碼器943將編碼位元串向選擇器946輸出。
HDD944將影像及聲音等內容資料經壓縮之編碼位元串、各種程式及其他資料記錄於硬碟中。又，HDD944在影像及聲音播放時，從硬碟讀取該等資料。
磁碟驅動器945進行向所安裝之記錄媒體之資料之記錄及讀取。安裝於磁碟驅動器945之記錄媒體亦可為例如DVD磁碟(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)或Blu-ray(註冊商標)磁碟等。
選擇器946在影像及聲音之記錄時選擇從調諧器941或編碼器943輸入之編碼位元串，將所選擇之編碼位元串向HDD944或磁碟驅動器945輸出。又，選擇器946在影像及聲音之播放時將從HDD944或磁碟驅動器945輸入之編碼位元串向解碼器947輸出。
解碼器947解碼編碼位元串，生成影像資料及聲音資料。然後，解碼器947將所生成之影像資料向OSD948輸出。又，解碼器904將所生成之聲音資料向外部之揚聲器輸出。
OSD948播放從解碼器947輸入之影像資料，顯示影像。又，OSD948亦可使例如表單、按鈕或游標等GUI之圖像與所顯示之影像重疊。
控制部949具有CPU等處理器、以及RAM及ROM等記憶體。記憶體記憶由CPU執行之程式、以及程式資料等。由記憶體記憶之程式例如在記錄播放裝置940起動時由CPU讀取並執行。CPU藉由執行程式而例如根據從使用者介面950輸入之操作信號控制記錄播放裝置940之動作。
使用者介面950與控制部949連接。使用者介面950例如具有使用者用以操作記錄播放裝置940之按鈕及開關，以及遠程控制信號之接收部等。使用者介面950經由該等構成要素檢測出使用者之操作，生成操作信號，將所生成之操作信號向控制部949輸出。
如此構成之記錄播放裝置940中，編碼器943具有上述實施形態之圖像編碼裝置10之功能。又，解碼器947具有上述實施形態之圖像解碼裝置60之功能。藉此，記錄播放裝置940中之圖像之編碼及解碼時，可提高去區塊濾波器之處理並行度且使處理高速化。
[7-4.第4應用例]
圖47係顯示應用上述實施形態之攝像裝置之概要構成之一例。攝像裝置960拍攝被攝體且生成圖像，將圖像資料編碼並記錄於記錄媒體中。
攝像裝置960具備光學區塊961、攝像部962、信號處理部963、圖像處理部964、顯示部965、外部介面966、記憶體967、媒體驅動器968、OSD969、控制部970、使用者介面971、及匯流排972。
光學區塊961與攝像部962連接。攝像部962與信號處理部963連接。顯示部965與圖像處理部964連接。使用者介面971與控制部970連接。匯流排972使圖像處理部964、外部介面966、記憶體967、媒體驅 動器968、OSD969、及控制部970相互連接。
光學區塊961具有聚焦透鏡及光圈機構等。光學區塊961將被攝體之光學像成像於攝像部962之攝像面上。攝像部962具有CCD或CMOS等圖像感測器，藉由光電轉換將成像於攝像面之光學像轉換成作為電信號之圖像信號。然後，攝像部962將圖像信號向信號處理部963輸出。
信號處理部963對從攝像部962輸入之圖像信號進行尼(Knee)修正、伽馬修正、顏色修正等各種照相信號處理。信號處理部963將照相信號處理後之圖像資料向圖像處理部964輸出。
圖像處理部964將從信號處理部963輸入之圖像資料編碼，生成編碼資料。然後，圖像處理部964將所生成之編碼資料向外部介面966或媒體驅動器968輸出。又，圖像處理部964將從外部介面966或媒體驅動器968輸入之編碼資料解碼，生成圖像資料。然後，圖像處理部964將所生成之圖像資料向顯示部965輸出。又，圖像處理部964亦可將從信號處理部963輸入之圖像資料向顯示部965輸出，並顯示圖像。又，圖像處理部964亦可使從OSD969獲得之顯示用資料與向顯示部965輸出之圖像重疊。
OSD969例如生成表單、按鈕或游標等GUI之圖像，將所生成之圖像向圖像處理部964輸出。
外部介面966例如作為USB輸入輸出端子而構成。外部介面966例如在圖像列印時連接攝像裝置960與印表機。又，於必要時在外部介面966上連接驅動器。於驅動器上安裝例如磁碟或光碟等可移除媒體，從可移除媒體讀取之程式可安裝於攝像裝置960中。再者，外部介面966亦可作為連接於LAN或網際網路等網路之網路介面而構成。即，外部介面966具有作為攝像裝置960中之傳送機構之作用。
安裝於媒體驅動器968之記錄媒體例如亦可為磁碟、磁光碟、光 碟、或半導體記憶體等可讀寫之任意可移除媒體。又，亦可於媒體驅動器968中固定安裝記錄媒體，構成例如內置型硬碟或SSD(Solid State Drive：固態驅動器)之非可搬性記憶部。
控制部970具有CPU等處理器，以及RAM及ROM等記憶體。記憶體記憶由CPU執行之程式以及程式資料等。由記憶體記憶之程式例如在攝像裝置960起動時由CPU讀取並執行。CPU藉由執行程式而例如根據從使用者介面971輸入之操作信號控制攝像裝置960之動作。
使用者介面971與控制部970連接。使用者介面971例如具有使用者用以操作攝像裝置960之按鈕及開關等。使用者介面971經由該等構成要素檢測出使用者之操作，生成操作信號，將所生成之操作信號向控制部970輸出。
如此構成之攝像裝置960中，圖像處理部964具有上述實施形態之圖像編碼裝置10及圖像解碼裝置60之功能。藉此，攝像裝置960中之圖像編碼及解碼時，可提高去區塊濾波器之處理並行度且使處理高速化。
<8.總結>
截至目前為止，使用圖1~圖47針對一實施形態之圖像編碼裝置10及圖像解碼裝置60之去區塊濾波器之3個實施例詳細說明。根據該等3個實施例，緩和現有方法中存在之去區塊濾波器處理之依存關係。藉此，可提高應用去區塊濾波器時之處理並行度。其結果，可避免因於去區塊濾波器之龐大處理量所引起之延遲或資料率之下降，並使處理高速化。又，亦可根據圖像之尺寸或安裝環境之制約等各種條件而靈活設定去區塊濾波器之處理並行度及順序。
又，根據第1實施例，垂直交界及水平交界之一者中之濾波要否判斷時，跨及圖像內之複數個巨區塊，參考向去區塊濾波器之輸入圖像之像素值。藉此緩和巨區塊間(或編碼單位間)處理之依存關係。因 此可跨及複數個巨區塊(並行度提高至最高時為圖像內之所有巨區塊)使濾波要否判斷處理並行化。
又，根據第2實施例，各區塊之垂直交界及水平交界之濾波要否判斷不等待向該區塊所屬之巨區塊內之其他區塊應用去區塊濾波器即可進行。藉此緩和巨區塊內(或編碼單位內)之垂直交界與水平交界間之處理依存關係。因此可使巨區塊內垂直交界及水平交界之濾波要否判斷處理並行化。
又，根據第3實施例，垂直交界及水平交界之濾波處理兩者，使向去區塊濾波器之輸入像素進行濾波。根據該構成，亦可使垂直交界及水平交界之濾波處理互相並行化。藉此，可使去區塊濾波器中之處理進一步高速化。又，對於藉由並行進行之2個濾波處理兩者更新之像素，基於2個濾波器輸出計算輸出像素值。藉此，使上述2個濾波處理並行化之情形時，亦可適當減少出現於垂直交界及水平交界兩者之區塊變形。又，輸出像素值可作為2個濾波器輸出之加權平均而計算。藉此，亦可提高利用去區塊濾波器之區塊變形之去除效果，進而提高畫質。
另，本說明書中，主要說明垂直交界之濾波處理比水平交界之濾波處理先進行之例，但水平交界之濾波處理先進行之情形亦可同等可獲得利用本揭示之技術之上述效果。又，去區塊濾波器之處理單位之尺寸或巨區塊之尺寸不限於本說明書中所說明之例，亦可為其他尺寸。又，作為1種方法，就省略濾波要否判斷處理本身而言，亦可使向複數個垂直交界及複數個水平交界應用去區塊濾波器並行化。
又，將用以去區塊濾波器之處理並行化所使用之資訊從編碼側向解碼側傳送之方法不限於將該等資訊多工化為編碼串之標頭之方法。例如該等資訊亦可不多工化為編碼位元串，而係作為與編碼位元串關連之個別資料進行傳送或記錄。此處，「關連」之用語意指可將 位元串所含之圖像(亦可為切片或區塊等圖像之一部分)與對應該圖像之資訊在解碼時連結。即，資訊亦可在與圖像(或位元串)不同之傳送路徑傳送。又，資訊亦可記錄於與圖像(或位元串)不同之記錄媒體(或同一記錄媒體之不同記錄區域)上。再者，資訊與圖像(或位元串)例如亦可在複數訊框、1訊框或訊框內之一部分等任意單位內互相關連。
以上，一面參照附圖針對本揭示之較佳實施形態詳細說明，但本揭示之技術範圍不限於該等例。若係具有本揭示之技術領域中之一般知識者，將明瞭在申請專利範圍所記載之技術思想範疇內，可想到各種變更例或修正例，應瞭解該等當然亦屬於本揭示之技術範圍內。
另，本說明書中，將垂直交界之濾波處理表現為「水平濾波」，將水平交界之濾波處理表現為「垂直濾波」。一般而言，垂直交界之濾波處理之濾波器分接係沿著水平方向排列，水平交界之濾波處理之濾波器分接係沿著垂直方向排列。因此採用如上述之濾波處理之稱呼。
24‧‧‧去區塊濾波器
110‧‧‧垂直判斷區塊
112-1‧‧‧垂直交界判斷部
112-n‧‧‧垂直交界判斷部
114‧‧‧水平判斷區塊
116-1‧‧‧水平交界判斷部
116-n‧‧‧水平交界判斷部
130‧‧‧水平濾波區塊
132-1‧‧‧水平濾波部
132-n‧‧‧水平濾波部
140‧‧‧垂直濾波區塊
142-1‧‧‧垂直濾波部
142-n‧‧‧垂直濾波部
150‧‧‧並行化控制部

Claims (16)

  1. 一種圖像處理裝置，其包含：水平濾波器部，其係對於在對圖像進行編碼時被局部解碼之解碼圖像之8x8區塊的垂直區塊交界，將適用水平濾波器之垂直區塊交界作為對象，而跨於複數之垂直區塊交界來進行水平濾波；垂直濾波器部，其係對於上述解碼圖像之8x8區塊的水平區塊交界，將適用垂直濾波器之水平區塊交界作為對象，而跨於複數之水平區塊交界來進行垂直濾波；及編碼部，其係使用根據上述水平濾波器部及上述垂直濾波器部而經適用濾波器之解碼圖像，對上述圖像進行編碼者。
  2. 如請求項1之圖像處理裝置，其中上述水平濾波器部係對於上述解碼圖像之最大編碼單位，對適用水平濾波器之全部的垂直區塊交界進行上述水平濾波；且上述垂直濾波器部係對於上述解碼圖像之最大編碼單位，對適用垂直濾波器之全部的水平區塊交界進行上述垂直濾波。
  3. 如請求項2之圖像處理裝置，其中上述垂直濾波器部係在對於上述解碼圖像之最大編碼單位，對適用水平濾波器之全部的垂直區塊交界藉由上述水平濾波器部進行了上述水平濾波後，對於上述解碼圖像之最大編碼單位，對適用垂直濾波器之全部的水平區塊交界進行上述垂直濾波。
  4. 如請求項1之圖像處理裝置，其中上述水平濾波器部係跨於複數之垂直區塊交界而並行地進行上述水平濾波。
  5. 如請求項4之圖像處理裝置，其中上述水平濾波器部係不依存對其他垂直區塊交界之水平濾波地進行上述水平濾波。
  6. 如請求項5之圖像處理裝置，其中上述垂直濾波器部係跨於複數之水平區塊交界而並行地進行上述垂直濾波。
  7. 如請求項6之圖像處理裝置，其中上述垂直濾波器部係不依存對其他水平區塊交界之垂直濾波地進行上述垂直濾波。
  8. 一種圖像處理方法，其包含：水平濾波步驟，其對於在對圖像進行編碼時被局部解碼之解碼圖像之8x8區塊的垂直區塊交界，將適用水平濾波器之垂直區塊交界作為對象，而跨於複數之垂直區塊交界來進行水平濾波；垂直濾波步驟，其對於上述解碼圖像之8x8區塊的水平區塊交界，將適用垂直濾波器之水平區塊交界作為對象，而跨於複數之水平區塊交界來進行垂直濾波；及編碼步驟，其使用藉由上述水平濾波步驟及上述垂直濾波步驟而經適用濾波器之解碼圖像，對上述圖像進行編碼。
  9. 如請求項8之圖像處理方法，其中上述水平濾波步驟中，對於上述解碼圖像之最大編碼單位，對適用水平濾波器之全部的垂直區塊交界進行上述水平濾波；且上述垂直濾波步驟中，對於上述解碼圖像之最大編碼單位，對適用垂直濾波器之全部的水平區塊交界進行上述垂直濾波。
  10. 如請求項9之圖像處理方法，其中上述垂直濾波步驟係在對於上述解碼圖像之最大編碼單位，對適用水平濾波器之全部的垂直區塊交界由上述水平濾波步驟進行了上述水平濾波後，對於上述解碼圖像之最大編碼單位，對適用垂直濾波器之全部的水平區塊交界進行上述垂直濾波。
  11. 如請求項8之圖像處理方法，其中上述水平濾波步驟中，跨於複 數之垂直區塊交界而並行地進行上述水平濾波。
  12. 如請求項11之圖像處理方法，其中上述水平濾波步驟中，不依存對其他垂直區塊交界之水平濾波地進行上述水平濾波。
  13. 如請求項12之圖像處方法，其中上述垂直濾波步驟中，跨於複數之水平區塊交界而並行地進行上述垂直濾波。
  14. 如請求項13之圖像處理方法，其中上述垂直濾波步驟中，不依存對其他水平區塊交界之垂直濾波地進行上述垂直濾波。
  15. 一種圖像處理程式，其係使電腦執行如下步驟者：水平濾波步驟，其對於在對圖像進行編碼時被局部解碼之解碼圖像之8x8區塊的垂直區塊交界，將適用水平濾波器之垂直區塊交界作為對象，而跨於複數之垂直區塊交界來進行水平濾波；垂直濾波步驟，其對於上述解碼圖像之8x8區塊的水平區塊交界，將適用垂直濾波器之水平區塊交界作為對象，而跨於複數之水平區塊交界來進行垂直濾波；及編碼步驟，其係使用藉由上述水平濾波步驟及上述垂直濾波步驟而經適用濾波器之解碼圖像，對上述圖像進行編碼。
  16. 一種記錄媒體，其係記錄有如請求項15之圖像處理程式者。
TW104111488A 2010-12-07 2011-12-05 An image processing apparatus, an image processing method, an image processing program, and a recording medium TWI578761B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010272907 2010-12-07
JP2011004392 2011-01-12
JP2011045651 2011-03-02
JP2011117558 2011-05-26

Publications (2)

Publication Number Publication Date
TW201528782A true TW201528782A (zh) 2015-07-16
TWI578761B TWI578761B (zh) 2017-04-11

Family

ID=46207096

Family Applications (4)

Application Number Title Priority Date Filing Date
TW100144704A TWI514892B (zh) 2010-12-07 2011-12-05 Image processing apparatus and image processing method
TW104111487A TWI565300B (zh) 2010-12-07 2011-12-05 An image processing apparatus, an image processing method, an image processing program, and a recording medium
TW104111489A TWI578762B (zh) 2010-12-07 2011-12-05 An image processing apparatus, an image processing method, an image processing program, and a recording medium
TW104111488A TWI578761B (zh) 2010-12-07 2011-12-05 An image processing apparatus, an image processing method, an image processing program, and a recording medium

Family Applications Before (3)

Application Number Title Priority Date Filing Date
TW100144704A TWI514892B (zh) 2010-12-07 2011-12-05 Image processing apparatus and image processing method
TW104111487A TWI565300B (zh) 2010-12-07 2011-12-05 An image processing apparatus, an image processing method, an image processing program, and a recording medium
TW104111489A TWI578762B (zh) 2010-12-07 2011-12-05 An image processing apparatus, an image processing method, an image processing program, and a recording medium

Country Status (17)

Country Link
US (7) US9912967B2 (zh)
EP (4) EP3582498A1 (zh)
JP (4) JP6011342B2 (zh)
KR (6) KR102007626B1 (zh)
CN (6) CN106791878B (zh)
AU (1) AU2011339461B2 (zh)
BR (4) BR122020013166B1 (zh)
CA (1) CA2815817C (zh)
CO (1) CO6720978A2 (zh)
ES (1) ES2753587T3 (zh)
MX (2) MX2013006130A (zh)
MY (1) MY174587A (zh)
PH (2) PH12018501811A1 (zh)
RU (3) RU2578665C2 (zh)
TW (4) TWI514892B (zh)
WO (1) WO2012077608A1 (zh)
ZA (2) ZA201303963B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP5359657B2 (ja) * 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
WO2011127941A1 (de) * 2010-04-14 2011-10-20 Siemens Enterprise Communications Gmbh & Co. Kg Verfahren zum deblocking-filtern
TWI508534B (zh) 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
CN105245882B (zh) 2010-06-04 2019-02-22 索尼公司 图像处理设备和方法
EP3748962A1 (en) 2010-12-07 2020-12-09 Sony Corporation Image processing device and image processing method
KR102007626B1 (ko) * 2010-12-07 2019-08-05 소니 주식회사 텔레비전 장치, 휴대 전화기, 재생 장치, 카메라 및 신호 처리 방법
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
JP5884313B2 (ja) 2011-01-18 2016-03-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
BR112013019937B1 (pt) 2011-02-10 2022-05-03 Velos Media International Limited Dispositivo e método de processamento de imagem
CA2826676C (en) 2011-03-11 2020-12-29 Sony Corporation Image processing apparatus and method
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
AU2012277049B2 (en) 2011-06-28 2017-04-06 Sony Corporation Image processing device and image processing method
KR102039544B1 (ko) 2011-09-09 2019-11-01 선 페이턴트 트러스트 저복잡도 디블로킹 필터 결정
TWI569625B (zh) * 2012-04-06 2017-02-01 Sony Corp Image processing apparatus and method, program, and recording medium
US10038904B2 (en) * 2013-10-25 2018-07-31 Mediatek Inc. Method and apparatus for controlling transmission of compressed picture according to transmission synchronization events
US10038919B2 (en) * 2014-05-29 2018-07-31 Apple Inc. In loop chroma deblocking filter
CN105451025B (zh) * 2014-07-31 2019-03-01 富士通株式会社 图像处理方法以及装置
US11477484B2 (en) 2015-06-22 2022-10-18 Qualcomm Incorporated Video intra prediction using hybrid recursive filters
KR102437742B1 (ko) * 2016-08-21 2022-08-29 엘지전자 주식회사 영상 부호화/복호화 방법 및 이를 위한 장치
TWI833248B (zh) * 2017-04-06 2024-02-21 美商松下電器（美國）知識產權公司 解碼方法及編碼方法
CN110290384A (zh) * 2018-03-19 2019-09-27 华为技术有限公司 图像滤波方法、装置及视频编解码器
JP7155568B2 (ja) 2018-03-26 2022-10-19 東洋製罐グループホールディングス株式会社 金属加工物
SG11202103023TA (en) * 2018-11-02 2021-04-29 Sony Corp Image processing device and image processing method
WO2020175146A1 (ja) * 2019-02-27 2020-09-03 ソニー株式会社 画像処理装置及び画像処理方法
WO2020180166A1 (ko) * 2019-03-07 2020-09-10 디지털인사이트주식회사 영상 부호화/복호화 방법 및 장치
CN109905709B (zh) * 2019-03-21 2021-05-07 南京威翔科技有限公司 一种基于流水线重组方式的去方块滤波方法
CN110213579A (zh) * 2019-06-11 2019-09-06 上海富瀚微电子股份有限公司 双核心计算单元实现环路滤波的方法
WO2021015513A1 (ko) * 2019-07-19 2021-01-28 엘지전자 주식회사 필터링을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
CN111314579B (zh) * 2020-02-21 2021-10-15 苏州浪潮智能科技有限公司 一种图像垂直滤波处理的方法及芯片
KR20210125657A (ko) 2020-04-08 2021-10-19 삼성디스플레이 주식회사 표시장치
KR20210130891A (ko) 2020-04-22 2021-11-02 삼성디스플레이 주식회사 표시 장치

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63105586A (ja) 1986-10-23 1988-05-10 Matsushita Electric Ind Co Ltd テレビジヨン信号処理方法
JPH0832030B2 (ja) 1986-10-21 1996-03-27 ソニー株式会社 ブロツク符号化された画像信号の復号装置
JP3687101B2 (ja) * 1997-02-10 2005-08-24 ソニー株式会社 データ処理方法及びデータ処理装置
US6125201A (en) 1997-06-25 2000-09-26 Andrew Michael Zador Method, apparatus and system for compressing data
KR100269125B1 (ko) * 1997-10-25 2000-10-16 윤덕용 양자화효과감소를위한영상데이터후처리방법및장치
CA2341202A1 (en) 1998-08-19 2000-03-02 Umarani Rajalingam Bituminous polyurethane interpenetrating elastomeric network compositions
JP4254017B2 (ja) * 2000-03-10 2009-04-15 ソニー株式会社 画像符号化装置及び方法
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
KR100949418B1 (ko) * 2002-02-15 2010-03-24 소니 주식회사 보행식 이동 로봇의 다리 장치 및 보행식 이동 로봇의제어 방법
JP4114494B2 (ja) 2002-03-07 2008-07-09 セイコーエプソン株式会社 画像処理装置及び画像処理プログラム、並びに画像処理方法
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
JP3743384B2 (ja) * 2002-04-19 2006-02-08 ソニー株式会社 画像符号化装置及び方法、並びに画像復号装置及び方法
US8116379B2 (en) * 2004-10-08 2012-02-14 Stmicroelectronics, Inc. Method and apparatus for parallel processing of in-loop deblocking filter for H.264 video compression standard
JP4270125B2 (ja) * 2004-12-16 2009-05-27 ソニー株式会社 データ処理装置、画像処理装置、それらの方法およびプログラム
KR100843196B1 (ko) 2004-12-17 2008-07-02 삼성전자주식회사 Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US7792385B2 (en) 2005-01-25 2010-09-07 Globalfoundries Inc. Scratch pad for storing intermediate loop filter data
JP2006270851A (ja) 2005-03-25 2006-10-05 Victor Co Of Japan Ltd 画像符号化装置及び画像復号装置
TWI264951B (en) * 2005-05-19 2006-10-21 Cheertek Inc Deblock filter method for applying on video encoding/decoding and the apparatus thereof
JP4825524B2 (ja) * 2006-01-31 2011-11-30 株式会社東芝 動画像復号装置および動画像復号方法
CN101076124B (zh) * 2006-05-18 2010-09-08 北京大学深圳研究生院 去块滤波器
US8542744B2 (en) * 2006-05-19 2013-09-24 Altera Corporation Methods and apparatus for providing a scalable deblocking filtering assist function within an array processor
JP4712642B2 (ja) * 2006-08-17 2011-06-29 富士通セミコンダクター株式会社 デブロッキングフィルタ、画像符号化装置および画像復号化装置
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
US8111760B2 (en) * 2006-11-16 2012-02-07 Texas Instruments Incorporated Deblocking filters
US20080123750A1 (en) * 2006-11-29 2008-05-29 Michael Bronstein Parallel deblocking filter for H.264 video codec
US20080159407A1 (en) * 2006-12-28 2008-07-03 Yang Nick Y Mechanism for a parallel processing in-loop deblock filter
US8204129B2 (en) 2007-03-27 2012-06-19 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
CN101472177B (zh) * 2007-12-27 2013-03-06 宝利微电子系统控股公司 一种块效应检测方法
GB0807804D0 (en) * 2008-04-29 2008-06-04 Imagination Tech Ltd Interlaced video edge filtering
US20090304086A1 (en) 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
JP2010014513A (ja) 2008-07-03 2010-01-21 Fuji Electric Holdings Co Ltd はんだフラックス中の金属成分分析方法
WO2010035403A1 (ja) 2008-09-25 2010-04-01 パナソニック株式会社 フィルタ装置およびフィルタ方法
US8861586B2 (en) * 2008-10-14 2014-10-14 Nvidia Corporation Adaptive deblocking in a decoding pipeline
JP2010136245A (ja) * 2008-12-08 2010-06-17 Toshiba Corp 動画像処理装置及び方法
JP2010141513A (ja) * 2008-12-10 2010-06-24 Toshiba Corp 演算装置及び動画像符号化装置
US8611435B2 (en) * 2008-12-22 2013-12-17 Qualcomm, Incorporated Combined scheme for interpolation filtering, in-loop filtering and post-loop filtering in video coding
JP5087016B2 (ja) * 2009-01-19 2012-11-28 キヤノン株式会社 符号化装置及びその制御方法、コンピュータプログラム
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
US20110123121A1 (en) * 2009-10-13 2011-05-26 Sony Corporation Method and system for reducing blocking artefacts in compressed images and video signals
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
US8606036B2 (en) 2010-04-13 2013-12-10 Panasonic Corporation Coding artifacts removing method, coding method, decoding method, coding artifacts removing apparatus, coding apparatus, and decoding apparatus
CN106231342B (zh) * 2010-04-13 2019-05-31 三星电子株式会社 执行去块滤波的对视频进行解码的方法
TWI508534B (zh) 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
US8805100B2 (en) * 2010-06-03 2014-08-12 Sharp Kabushiki Kaisha Filter device, image decoding device, image encoding device, and filter parameter data structure
CN105245882B (zh) 2010-06-04 2019-02-22 索尼公司 图像处理设备和方法
EP3748962A1 (en) 2010-12-07 2020-12-09 Sony Corporation Image processing device and image processing method
KR102007626B1 (ko) 2010-12-07 2019-08-05 소니 주식회사 텔레비전 장치, 휴대 전화기, 재생 장치, 카메라 및 신호 처리 방법
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
DK2664149T3 (en) * 2011-01-14 2017-02-27 ERICSSON TELEFON AB L M (publ) UNBLOCK FILTERING
BR112013019937B1 (pt) 2011-02-10 2022-05-03 Velos Media International Limited Dispositivo e método de processamento de imagem
CA2826676C (en) 2011-03-11 2020-12-29 Sony Corporation Image processing apparatus and method
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
CN104396256B (zh) 2012-06-29 2018-11-06 威勒斯媒体国际有限公司 解码设备和解码方法

Also Published As

Publication number Publication date
RU2016105596A (ru) 2018-11-22
RU2019125559A (ru) 2021-02-15
CA2815817A1 (en) 2012-06-14
CN103229505A (zh) 2013-07-31
CN106658026B (zh) 2019-06-18
RU2013125500A (ru) 2014-12-10
US9998766B2 (en) 2018-06-12
CN103716632B (zh) 2017-04-19
US20190261021A1 (en) 2019-08-22
WO2012077608A1 (ja) 2012-06-14
JP6819702B2 (ja) 2021-01-27
BR112013013516A2 (pt) 2016-10-11
CN106713934A (zh) 2017-05-24
KR101868651B1 (ko) 2018-06-18
US10785504B2 (en) 2020-09-22
KR102007626B1 (ko) 2019-08-05
CN106791877A (zh) 2017-05-31
RU2702219C2 (ru) 2019-10-07
JP6471786B2 (ja) 2019-02-20
PH12015501384B1 (en) 2015-09-28
BR122020013166B1 (pt) 2021-10-05
CN103716632A (zh) 2014-04-09
BR112013013516B1 (pt) 2021-09-28
EP2651129A4 (en) 2015-03-04
TW201230809A (en) 2012-07-16
AU2011339461A1 (en) 2013-06-20
AU2011339461B2 (en) 2015-09-24
JP2019083545A (ja) 2019-05-30
US10334279B2 (en) 2019-06-25
JP2016208532A (ja) 2016-12-08
KR20190091576A (ko) 2019-08-06
JP6213626B2 (ja) 2017-10-18
EP3582497A1 (en) 2019-12-18
CN106791878A (zh) 2017-05-31
JP6011342B2 (ja) 2016-10-19
KR20190031604A (ko) 2019-03-26
TWI514892B (zh) 2015-12-21
KR20200053645A (ko) 2020-05-18
TW201528781A (zh) 2015-07-16
US11381846B2 (en) 2022-07-05
JP2018014742A (ja) 2018-01-25
RU2016105596A3 (zh) 2019-04-30
EP2651129A1 (en) 2013-10-16
EP3582496B1 (en) 2021-10-27
TWI565300B (zh) 2017-01-01
ZA201303963B (en) 2018-11-28
PH12018501811A1 (en) 2019-02-18
CN106658026A (zh) 2017-05-10
JPWO2012077608A1 (ja) 2014-05-19
MX2013006130A (es) 2013-06-28
US10003827B2 (en) 2018-06-19
CN103229505B (zh) 2017-04-12
US9912967B2 (en) 2018-03-06
CN106713934B (zh) 2019-04-16
MY174587A (en) 2020-04-28
KR102117800B1 (ko) 2020-06-01
US9088786B2 (en) 2015-07-21
KR20130129380A (ko) 2013-11-28
US20170111663A1 (en) 2017-04-20
KR101962591B1 (ko) 2019-03-26
US20180234703A1 (en) 2018-08-16
BR122020013143B1 (pt) 2022-02-22
EP3582498A1 (en) 2019-12-18
BR122020013150B1 (pt) 2021-09-28
TWI578761B (zh) 2017-04-11
US20170111662A1 (en) 2017-04-20
US20130251050A1 (en) 2013-09-26
CO6720978A2 (es) 2013-07-31
CA2815817C (en) 2019-01-15
TW201528783A (zh) 2015-07-16
CN106791877B (zh) 2020-02-28
US20130301743A1 (en) 2013-11-14
EP2651129B1 (en) 2019-10-16
KR20180069080A (ko) 2018-06-22
MX336566B (es) 2016-01-25
TWI578762B (zh) 2017-04-11
ZA201703025B (en) 2018-08-29
RU2578665C2 (ru) 2016-03-27
KR101958611B1 (ko) 2019-03-14
KR20180069917A (ko) 2018-06-25
CN106791878B (zh) 2019-05-14
US20200374565A1 (en) 2020-11-26
PH12015501384A1 (en) 2015-09-28
KR102216571B1 (ko) 2021-02-17
EP3582496A1 (en) 2019-12-18
ES2753587T3 (es) 2020-04-13

Similar Documents

Publication Publication Date Title
TWI578762B (zh) An image processing apparatus, an image processing method, an image processing program, and a recording medium
JP6471787B2 (ja) 画像処理装置及び画像処理方法
JP2013012815A (ja) 画像処理装置及び画像処理方法