TW201707450A - 圖像處理裝置、圖像處理方法、圖像處理程式及記錄媒體 - Google Patents

圖像處理裝置、圖像處理方法、圖像處理程式及記錄媒體 Download PDF

Info

Publication number
TW201707450A
TW201707450A TW105135813A TW105135813A TW201707450A TW 201707450 A TW201707450 A TW 201707450A TW 105135813 A TW105135813 A TW 105135813A TW 105135813 A TW105135813 A TW 105135813A TW 201707450 A TW201707450 A TW 201707450A
Authority
TW
Taiwan
Prior art keywords
filter
unit
clip
image
boundary
Prior art date
Application number
TW105135813A
Other languages
English (en)
Other versions
TWI637626B (zh
Inventor
Masaru Ikeda
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47423858&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=TW201707450(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201707450A publication Critical patent/TW201707450A/zh
Application granted granted Critical
Publication of TWI637626B publication Critical patent/TWI637626B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本技術係關於在解塊濾波處理中適當進行過濾之圖像處理裝置及圖像處理方法。解塊處理前為255(實線)之像素p0i之值於先前之解塊處理後成為159(虛線)，會產生較大之變化。因此，藉由在強過濾中進行剪輯值為10之剪輯處理，解塊處理前為255(實線)之像素p0i之值成為245(粗線)，可將先前產生之像素值之變化抑制至最小限度。本揭示可應用於例如圖像處理裝置。

Description

圖像處理裝置、圖像處理方法、圖像處理程式及記錄媒體
本技術係關於圖像處理裝置及圖像處理方法。詳細而言，在解塊濾波處理中，可適當進行過濾。
近年來，將圖像資訊作為數位處理，其時，以高效之資訊之傳送、儲存為目的，利用圖像資訊特有之冗長性，依據藉由離散餘弦轉換等之正交轉換及動態補償而進行壓縮之MPEG2(ISO(International Organization for Standardization：國際標準化組織)/IEC(International Electrotechnical Commission：國際電工技術委員會)13818-2)等之方式之裝置，正在廣播台等之資訊發佈、及一般家庭之資訊接收之雙方中普及。又，亦開始使用所謂H.264及MPEG4 Part10(AVC(Advanced Video Coding：進階視訊編碼))之方式，其與MPEG2等相比，雖因其編碼、解碼而要求更多之運算量，但可實現更高之編碼效率。再者，近來，以可有效進行高畫質圖像之4倍之4000×2000像素左右之高解析度圖像之壓縮或發佈等之方式，正進行下一代之圖像編碼方式即HEVC(High Efficiency Video Coding：高效視訊編碼)之標準化作業。
在下一代之圖像編碼方式即HEVC(High Efficiency Video Coding：高效視訊編碼)之標準化作業中，在JCTVC-A119(參照下述非專利文獻1)中，提出對每個8×8像素以上之尺寸之區塊應用解塊濾波器。根據JCTVC-A119中所提出之技術，藉由擴大應用解塊濾波器 之最小單位之區塊尺寸，可並行執行針對1個巨區塊內同一方向之複數個區塊邊界之過濾處理。
[先行技術文獻] [非專利文獻]
[非專利文獻1] K.Ugur (Nokia), K.R.Andersson (LM Ericsson), A.Fuldseth (Tandberg Telecom), 「JCTVC-A119:Video coding technology proposal by Tandberg, Nokia, and Ericsson」, Documents of the first meeting of the Joint Collaborative Team on Video Coding (JCT-VC), Dresden, Germany, 15-23 April, 2010。
然而，在先前之解塊濾波處理中，未適當過濾。
因此，在本技術中，以在解塊濾波處理中適當進行過濾為目的。
本技術之第1態樣之圖像處理裝置具備：解碼部，其將以具有階層結構之單位經編碼之編碼串流進行解碼而產生圖像；濾波器部，其根據應用於利用上述解碼部所產生之圖像之區塊與鄰接於上述區塊之鄰接區塊之邊界即區塊邊界之解塊濾波器之強度，而對上述區塊邊界實施解塊濾波；及控制部，其在應用強濾波作為上述解塊濾波器之強度之情形時，將利用上述解碼部所產生之圖像之亮度成份作為對象，以對上述解塊濾波器應用剪輯處理之方式，控制上述濾波器部。
上述控制部可對應用上述解塊濾波器時變化之部份之值應用剪輯處理。
上述控制部依照下述之式，應用上述剪輯處理：[數37] p0i=p0i+Clip(-pv)-(pv)((p2i+2*p1i-6*p0i+2*q0i+q1i+4)>>3)；q0i=q0i+Clip(-pv)-(pv)((p1i+2*p0i-6*q0i+2*q1i+q2i+4)>>3)；p1i=p1i+Clip(-pv)-(pv)((p2i-3*p1i+p0i+q0i+2)>>2)；q1i=q1i+Clip(-pv)-(pv)((p0i+q0i-3*q1i+q2i+2)>>2)；p2i=p2i+Clip(-pv)-(pv)((2*p2i-5*p2i+p1i+p0i+q0i+4)>>3)；q2i=q2i+Clip(-pv)-(pv)((p0i+q0i+p1i-5*q2i+2*q3i+4)>>3)；此處，i=0,7，pv為剪輯值。
上述控制部可將上述解塊濾波器之參數之整數倍之值，作為進行剪輯處理時使用之剪輯值而設定。
上述控制部可將上述解塊濾波器之參數之2倍之值，作為進行剪輯處理時使用之剪輯值而設定。
進而具備濾波器強度判定部，其判定應用於上述區塊邊界之解塊濾波器之強度，且上述濾波器部根據由上述濾波器強度判定部所判定之強度，對上述區塊邊界實施解塊濾波處理，上述控制部在由上述濾波器強度判定部判定為應用強濾波之情形時，將利用上述解碼部所產生之圖像之亮度成份作為對象，以對上述解塊濾波器應用剪輯處理之方式，而可控制上述濾波器部。
上述濾波器強度判定部以複數列為處理單位，可判定上述解塊濾波器之強度。
上述濾波器強度判定部以4列為處理單位，可判定上述解塊濾波器之強度。
進而具備濾波器要否判定部，其將複數列作為處理單位，判定是否對上述區塊邊界應用解塊濾波器，且上述濾波器強度判定部在由 上述濾波器要否判定部判定為應用解塊濾波器之情形時，可判定上述解塊濾波器之強度。
本技術之第1態樣之圖像處理方法，係由圖像處理裝置將以具有階層結構之單位經編碼之編碼串流進行解碼而產生圖像；根據應用於所產生之圖像之區塊與鄰接於上述區塊之鄰接區塊之邊界即區塊邊界之解塊濾波器之強度，對上述區塊邊界實施解塊濾波；在應用強濾波作為上述解塊濾波器之強度之情形時，將所產生之圖像之亮度成份作為對象，以對上述解塊濾波器應用剪輯處理之方式進行控制。
本技術之第2態樣之圖像處理裝置具備：濾波器部，其根據應用於將圖像進行編碼時經局部解碼之圖像之區塊與鄰接於上述區塊之鄰接區塊之邊界即區塊邊界之解塊濾波器之強度，對上述區塊邊界實施解塊濾波；控制部，其在應用強濾波作為上述解塊濾波器之強度之情形時，將上述局部解碼之圖像之亮度成份作為對象，以對上述解塊濾波器應用剪輯處理之方式，控制上述濾波器部；及編碼部，其使用應用上述解塊濾波器之圖像，將上述圖像以具有階層結構之單位進行編碼。
上述控制部可對應用上述解塊濾波器時變化之部份之值應用剪輯處理。
上述控制部依照下述之式，應用上述剪輯處理：[數37] p0i=p0i+Clip(-pv)-(pv)((p2i+2*p1i-6*p0i+2*q0i+q1i+4)>>3)；q0i=q0i+Clip(-pv)-(pv)((p1i+2*p0i-6*q0i+2*q1i+q2i+4)>>3)；p1i=p1i+Clip(-pv)-(pv)((p2i-3*p1i+p0i+q0i+2)>>2)；q1i=q1i+Clip(-pv)-(pv)((p0i+q0i-3*q1i+q2i+2)>>2)；p2i=p2i+Clip(-pv)-(pv)((2*p2i-5*p2i+p1i+p0i+q0i+4)>>3)；q2i=q2i+Clip(-pv)-(pv)((p0i+q0i+p1i-5*q2i+2*q3i+4)>>3)；此處，i=0,7，pv為剪輯值。
上述控制部可將上述解塊濾波器之參數之整數倍之值，作為進行剪輯處理時使用之剪輯值而設定。
上述控制部可將上述解塊濾波器之參數之2倍之值，作為進行剪輯處理時使用之剪輯值而設定。
進而具備濾波器強度判定部，其判定應用於上述區塊邊界之解塊濾波器之強度，且上述濾波器部根據由上述濾波器強度判定部所判定之強度，對上述區塊邊界實施解塊濾波，上述控制部在由上述濾波器強度判定部判定為應用強濾波之情形時，將利用上述解碼部所產生之圖像之亮度成份作為對象，以對上述解塊濾波器應用剪輯處理之方式，可控制上述濾波器部。
上述濾波器強度判定部以複數列為處理單位，可判定上述解塊濾波器之強度。
上述濾波器強度判定部以4列為處理單位，可判定上述解塊濾波器之強度。
進而具備濾波器要否判定部，其將複數列作為處理單位，判定是否對上述區塊邊界應用解塊濾波器，且上述濾波器強度判定部在由上述濾波器要否判定部判定為應用解塊濾波器之情形時，可判定上述 解塊濾波器之強度。
本技術之第2態樣之圖像處理方法，係由圖像處理裝置根據應用於將圖像進行編碼時經局部解碼之圖像之區塊與鄰接於上述區塊之鄰接區塊之邊界即區塊邊界之解塊濾波器之強度，對上述區塊邊界實施解塊濾波；在應用強濾波作為上述解塊濾波器之強度之情形時，將上述局部解碼之圖像之亮度成份作為對象，以對上述解塊濾波器應用剪輯處理之方式進行控制；使用已應用上述解塊濾波器之圖像，將上述圖像以具有階層結構之單位進行編碼。
在本技術之第1態樣中，將以具有階層結構之單位編碼之編碼串流進行解碼而產生圖像，根據應用於所產生之圖像之區塊與鄰接於上述區塊之鄰接區塊之邊界即區塊邊界之解塊濾波器之強度，對上述區塊邊界實施解塊濾波。且，在應用強濾波作為上述解塊濾波器之強度之情形時，將所產生之圖像之亮度成份作為對象，以對上述解塊濾波器應用剪輯處理之方式進行控制。
在本技術之第2態樣中，根據應用於將圖像編碼時局部解碼之圖像之區塊與鄰接於上述區塊之鄰接區塊之邊界即區塊邊界之解塊濾波器之強度，對上述區塊邊界實施解塊濾波。且，在應用強濾波作為上述解塊濾波器之強度之情形時，將上述局部解碼之圖像之亮度成份作為對象，以對上述解塊濾波器應用剪輯處理之方式進行控制，使用已應用上述解塊濾波器之圖像，將上述圖像以具有階層結構之單位進行編碼。
根據該技術，在解塊濾波處理中，可適當地進行過濾處理。
10‧‧‧圖像編碼裝置
11‧‧‧A/D轉換部
12‧‧‧畫面重排序緩衝器
13‧‧‧減法部
14‧‧‧正交轉換部
15‧‧‧量化部
16‧‧‧可逆編碼部
17‧‧‧儲存緩衝器
18‧‧‧速率控制部
21‧‧‧逆量化部
22‧‧‧逆正交轉換部
23‧‧‧加法部
24‧‧‧解塊濾波處理部
25‧‧‧圖框記憶體
26‧‧‧選擇器
31‧‧‧框內預測部
32‧‧‧動態預測、補償部
33‧‧‧預測圖像、最佳模式選擇部
50‧‧‧圖像解碼裝置
51‧‧‧儲存緩衝器
52‧‧‧可逆解碼部
53‧‧‧逆量化部
54‧‧‧逆正交轉換部
55‧‧‧加法部
56‧‧‧解塊濾波處理部
57‧‧‧畫面重排序緩衝器
61‧‧‧圖框記憶體
62‧‧‧選擇器
63‧‧‧框內預測部
64‧‧‧動態補償部
65‧‧‧選擇器
71‧‧‧圖像記憶體
72‧‧‧區塊邊界判定部
72-1‧‧‧區塊邊界判定部
72-2‧‧‧列邊界區塊邊界判定部
73‧‧‧濾波器強度判定部
73-1‧‧‧濾波器強度判定部
73-2‧‧‧列邊界濾波器強度判定部
74‧‧‧濾波器運算部
74-1‧‧‧濾波器運算部
74-2‧‧‧列邊界濾波器運算部
75‧‧‧選擇器
76‧‧‧係數記憶體
77‧‧‧控制部
77A‧‧‧LCU內列判定部
77B‧‧‧LCU內列判定部
241‧‧‧列記憶體
242‧‧‧列邊界檢測部
243‧‧‧濾波器強度判定器
244‧‧‧係數記憶體
245‧‧‧濾波器運算部
246‧‧‧濾波器控制部
2451‧‧‧資料記憶部
2452‧‧‧資料選擇部
2453‧‧‧運算部
2455‧‧‧運算部
2456‧‧‧運算部
2457‧‧‧資料選擇部
2461‧‧‧列邊界判定部
圖1(A)、1(B)係用於說明先前之解塊濾波處理之圖。
圖2係顯示應用於圖像編碼裝置之情形之構成圖。
圖3係顯示圖像編碼動作之流程圖。
圖4係顯示框內預測處理之流程圖。
圖5係顯示框間預測處理之流程圖。
圖6係顯示應用於圖像解碼裝置之情形之構成圖。
圖7係顯示圖像解碼動作之流程圖。
圖8係用於說明解塊濾波處理部之基本動作之圖。
圖9係顯示解塊濾波處理部之第1實施形態之構成圖。
圖10係顯示解塊濾波處理部之第1實施形態之動作之流程圖。
圖11係顯示濾波運算部之構成之圖。
圖12係顯示濾波運算部之構成之圖。
圖13(A)、13(B)係用於說明濾波運算部之動作之圖。
圖14(A)、14(B)係用於說明濾波運算部之動作之圖。
圖15係顯示第5實施形態之動作之流程圖。
圖16係用於說明先前之解塊濾波處理之圖。
圖17係用於說明本技術(第6實施形態)之圖。
圖18係用於說明本技術(第6實施形態)之圖。
圖19係明示本技術之解塊濾波處理中所使用之像素之圖。
圖20係關於因先前之強過濾而變化之像素值進行說明之圖。
圖21係針對由剪輯處理伴隨之強過濾所致之效果進行說明之圖。
圖22係顯示解塊濾波處理部之第6實施形態之構成圖。
圖23係顯示解塊濾波處理部之第6實施形態之動作之流程圖。
圖24係顯示解塊濾波處理部之第7實施形態之構成圖。
圖25係顯示解塊濾波處理部之第8實施形態之構成圖。
圖26係顯示解塊濾波處理部之第8實施形態之動作之流程圖。
圖27係針對亮度信號之解塊處理進行說明之流程圖。
圖28係說明R3W2之情形之例之圖。
圖29係顯示多視點圖像編碼方式之例之圖。
圖30係顯示應用本技術之多視點圖像編碼裝置之主要構成例之圖。
圖31係顯示應用本技術之多視點圖像解碼裝置之主要構成例之圖。
圖32係顯示階層圖像編碼方式之例之圖。
圖33係顯示應用本技術之階層圖像編碼裝置之主要構成例之圖。
圖34係顯示應用本技術之階層圖像解碼裝置之主要構成例之圖。
圖35係顯示電視裝置之概略構成之一例之圖。
圖36係顯示行動電話之概略構成之一例之圖。
圖37係顯示記錄播放裝置之概略構成之一例之圖
圖38係顯示攝像裝置之概略構成之一例之圖
以下，關於用以實施本技術之形態進行說明。另，說明以下述之順序進行。
1. 先前之技術
2. 應用於圖像編碼裝置之情形之構成
3. 圖像編碼裝置之動作
4. 應用於圖像解碼裝置之情形之構成
5. 圖像解碼裝置之動作
6. 解塊濾波處理部之基本動作
7. 解塊濾波處理部之第1實施形態
8. 解塊濾波處理部之第2實施形態
9. 解塊濾波處理部之第3實施形態
10. 解塊濾波處理部之第4實施形態
11. 解塊濾波處理部之第5實施形態
12. 第6至第8實施形態之說明
13. 解塊濾波處理部之第6實施形態
14. 解塊濾波處理部之第7實施形態
15. 解塊濾波處理部之第8實施形態
16. 第9實施形態
17. 第10實施形態(多視點圖像編碼、多視點圖像解碼裝置)
18. 第11實施形態(階層圖像編碼、階層圖像解碼裝置)
19. 應用例
<1. 先前技術>
關於先前之解塊濾波處理，參照圖1進行說明。
如圖1(A)所示，例如以LCU(Largest Coding Unit：最大編碼單元)單位依光柵順序進行解塊濾波處理之情形，在上側區塊即LCUu中，自區塊間之邊界BB，於列記憶體中記憶特定列大小之圖像資料，使用該圖像資料、及此後所得之下側區塊即LCUl之圖像資料而進行垂直濾波處理。例如，如圖1(B)所示，將自區塊間之邊界BB分別3列大小作為垂直濾波處理之處理範圍，使用自邊界BB4列大小之圖像資料而進行濾波運算之情形，自上側區塊即LCUu之邊界BB，於列記憶體中記憶4列之圖像資料。另，在圖中，將解塊濾波器之對象像素以雙圈表示，將解塊濾波器之濾波處理範圍之上側邊界表示為「DBU」，下側邊界表示為「DBL」。
如此般，因將濾波運算中使用之圖像資料以自區塊間之邊界BB特定列大小記憶於列記憶體中，故，若水平方向之像素數量增大，則導致列記憶體之記憶容量變大。
<2. 應用於圖像編碼裝置之情形之構成>
圖2顯示將本技術之圖像處理裝置應用於圖像編碼裝置之情形之構成。圖像編碼裝置10具備：類比/數位轉換部(A/D轉換部)11、畫面重排序緩衝器12、減法部13、正交轉換部14、量化部15、可逆編碼部16、儲存緩衝器17、及速率控制部18。再者，圖像編碼裝置10具備：逆量化部21、逆正交轉換部22、加法部23、解塊濾波處理部24、圖框記憶體25、選擇器26、框內預測部31、動態預測．補償部32、及預測圖像．最佳模式選擇部33。
A/D轉換部11將類比之圖像信號轉換成數位之圖像資料而輸出至畫面重排序緩衝器12。
畫面重排序緩衝器12對自A/D轉換部11所輸出之圖像資料進行圖框之重排序。畫面重排序緩衝器12根據編碼處理之GOP(Group of Pictures：圖像群)構造進行圖框之重排序，且將重排序後之圖像資料輸出至減法部13、框內預測部31、及動態預測．補償部32。
對減法部13供給自畫面重排序緩衝器12所輸出之圖像資料、及以後述之預測圖像．最佳模式選擇部33所選擇之預測圖像資料。減法部13算出自畫面重排序緩衝器12所輸出之圖像資料與自預測圖像．最佳模式選擇部33所供給之預測圖像資料之差分即預測誤差資料，而輸出至正交轉換部14。
正交轉換部14對自減法部13所輸出之預測誤差資料，進行離散餘弦轉換(DCT；Discrete Cosine Transform)、K-L(Karunen-Lowe)轉換等正交轉換處理。正交轉換部14將藉由進行正交轉換處理所得之轉換係數資料輸出至量化部15。
對量化部15供給有自正交轉換部14所輸出之轉換係數資料、及來自後述之速率控制部18之速率控制信號。量化部15進行轉換係數資料之量化，將量化資料輸出至可逆編碼部16及逆量化部21。又，量化 部15基於來自速率控制部18之速率控制信號，切換量化參數(量化標度)，而使量化資料之位元率變化。
對可逆編碼部16供給自量化部15所輸出之量化資料、及來自後述之框內預測部31及動態預測．補償部32以及預測圖像．最佳模式選擇部33之預測模式資訊。另，於預測模式資訊中，根據框內預測或框間預測，而包含可識別預測區塊尺寸之巨區塊類型、預測模式、動態向量資訊、參照圖像資訊等。可逆編碼部16針對量化資料，藉由例如可變長度編碼、或算術編碼等進行可逆編碼處理，產生編碼串流而輸出至儲存緩衝器17。又，可逆編碼部16將預測模式資訊進行可逆編碼，而附加於編碼串流之標頭資訊中。
儲存緩衝器17儲存來自可逆編碼部16之編碼串流。又，儲存緩衝器17將所儲存之編碼串流以因應傳送路之傳送速度進行輸出。
速率控制部18進行儲存緩衝器17之剩餘電容之監視，根據剩餘電容產生速率控制信號而輸出至量化部15。速率控制部18例如自儲存緩衝器17取得顯示剩餘電容之資訊。速率控制部18於剩餘電容變少時，根據速率控制信號而降低量化資料之位元率。又，速率控制部18於儲存緩衝器17之剩餘電容足夠大時，根據速率控制信號而提高量化資料之位元率。
逆量化部21進行自量化部15所供給之量化資料之逆量化處理。逆量化部21將藉由進行逆量化處理所得之轉換係數資料輸出至逆正交轉換部22。
逆正交轉換部22將藉由進行自逆量化部21所供給之轉換係數資料之逆正交轉換處理所得之資料輸出至加法部23。
加法部23將自逆正交轉換部22所供給之資料及自預測圖像．最佳模式選擇部33所供給之預測圖像資料相加而產生解碼圖像資料，輸出至解塊濾波處理部24及圖框記憶體25。
解塊濾波處理部24進行用以減少圖像之編碼時產生之區塊失真之濾波處理。解塊濾波處理部24進行自由加法部23所供給之解碼圖像資料除去區塊失真之濾波處理，將濾波處理後之圖像資料輸出至圖框記憶體25。又，解塊濾波處理部24根據藉由垂直方向之區塊間之邊界檢測所檢測出之邊界，控制位於邊界之上側之區塊之濾波運算使用之圖像範圍。如此般，藉由控制使用於濾波運算之圖像範圍，解塊濾波處理部24即使削減記憶圖像資料之列記憶體之記憶容量，仍可進行垂直濾波處理。另，細節後述。
圖框記憶體25將自加法部23所供給之解碼圖像資料及自解塊濾波處理部24所供給之濾波處理後之解碼圖像資料作為參照圖像之圖像資料而保持。
選擇器26將為進行框內預測而自圖框記憶體25所讀取之濾波處理前之參照圖像資料供給至框內預測部31。又，選擇器26將為進行框間預測而自圖框記憶體25所讀取之濾波處理後之參照圖像資料供給至動態預測．補償部32。
框內預測部31使用自畫面重排序緩衝器12所輸出之編碼對象圖像之圖像資料及自圖框記憶體25所讀取之濾波處理前之參照圖像資料，而進行成為候補之所有框內預測模式之框內預測處理。再者，框內預測部31針對各框內預測模式算出代價函數值，將所算出之代價函數值成為最小之框內預測模式、即編碼效率成為最好之框內預測模式，作為最佳框內預測模式而選擇。框內預測部31將最佳框內預測模式下所產生之預測圖像資料、關於最佳框內預測模式之預測模式資訊、及最佳框內預測模式下之代價函數值輸出至預測圖像．最佳模式選擇部33。又，框內預測部31如後述般獲得代價函數值之算出中使用之產生編碼量，故，在各框內預測模式之框內預測處理中，將關於框內預測模式之預測模式資訊輸出至可逆編碼部16。
動態預測．補償部32以與巨區塊對應之全部之預測區塊尺寸進行動態預測．補償處理。動態預測．補償部32對自畫面重排序緩衝器12所讀取之編碼對象圖像之各預測區塊尺寸之每個圖像，使用自圖框記憶體25所讀取之濾波處理後之參照圖像資料而檢測動態向量。再者，動態預測．補償部32基於所檢測出之動態向量對解碼圖像實施動態補償處理而進行預測圖像之產生。又，動態預測．補償部32針對各預測區塊尺寸算出代價函數值，將所算出之代價函數值成為最小之預測區塊尺寸、即編碼效率成為最好之預測區塊尺寸，作為最佳框間預測模式而進行選擇。動態預測．補償部32將最佳框間預測模式下所產生之預測圖像資料、關於最佳框間預測模式之預測模式資訊、及最佳框間預測模式下之代價函數值輸出至預測圖像．最佳模式選擇部33。又，動態預測．補償部32獲得代價函數值之算出中使用之產生編碼量，故，在各預測區塊尺寸下之框間預測處理中，將關於框間預測模式之預測模式資訊輸出至可逆編碼部16。另，動態預測．補償部32，作為框間預測模式，亦進行跳躍巨區塊或直接模式下之預測。
預測圖像．最佳模式選擇部33將自框內預測部31所供給之代價函數值及自動態預測．補償部32所供給之代價函數值，以巨區塊單位進行比較，而將代價函數值較少之一方作為編碼效率成為最好之最佳模式進行選擇。又，預測圖像．最佳模式選擇部33將最佳模式下所產生之預測圖像資料輸出至減法部13及加法部23。再者，預測圖像．最佳模式選擇部33將最佳模式之預測模式資訊輸出至可逆編碼部16。另，預測圖像．最佳模式選擇部33可以切片單位進行框內預測或框間預測。
另，請求項之編碼部包含：產生預測圖像資料之框內預測部31或動態預測．補償部32、預測圖像．最佳模式選擇部33、減法部13、正交轉換部14、量化部15、及可逆編碼部16等。
<3. 圖像編碼裝置之動作>
圖3係顯示圖像編碼處理動作之流程圖。在步驟ST11中，A/D轉換部11將所輸入之圖像信號進行A/D轉換。
在步驟ST12中，畫面重排序緩衝器12進行畫面重排序。畫面重排序緩衝器12記憶由A/D轉換部11所供給之圖像資料，進行自各圖像之顯示順序向編碼順序之重排序。
在步驟ST13中，減法部13進行預測誤差資料之產生。減法部13算出步驟ST12中重排序之圖像之圖像資料與預測圖像．最佳模式選擇部33中所選擇之預測圖像資料之差分而產生預測誤差資料。預測誤差資料與原來之圖像資料相比，資料量較小。因此，與將圖像直接進行編碼之情形相比，可壓縮資料量。另，預測圖像．最佳模式選擇部33中以切片單位進行自框內預測部31所供給之預測圖像與來自動態預測．補償部32之預測圖像之選擇時，在選擇自框內預測部31所供給之預測圖像之切片中，進行框內預測。又，在選擇來自動態預測．補償部32之預測圖像之切片中，進行框間預測。
在步驟ST14中，正交轉換部14進行正交轉換處理。正交轉換部14將自減法部13所供給之預測誤差資料進行正交轉換。具體而言，對預測誤差資料進行離散餘弦轉換、K-L轉換等之正交轉換，而輸出轉換係數資料。
在步驟ST15中，量化部15進行量化處理。量化部15將轉換係數資料進行量化。量化時，以後述之步驟ST25之處理中所說明之方式，進行速率控制。
在步驟ST16中，逆量化部21進行逆量化處理。逆量化部21將由量化部15量化之轉換係數資料，以與量化部15之特性對應之特性進行逆量化。
在步驟ST17中，逆正交轉換部22進行逆正交轉換處理。逆正交 轉換部22將利用逆量化部21逆量化之轉換係數資料，以與正交轉換部14之特性對應之特性進行逆正交轉換。
在步驟ST18中，加法部23進行解碼圖像資料之產生。加法部23將自預測圖像．最佳模式選擇部33所供給之預測圖像資料、及與該預測圖像對應之位置之逆正交轉換後之資料相加，而產生解碼圖像資料。
在步驟ST19中，解塊濾波處理部24進行解塊濾波處理。解塊濾波處理部24將由加法部23所輸出之解碼圖像資料進行過濾而除去區塊失真。又，解塊濾波處理部24即使削減記憶圖像資料之列記憶體之記憶容量，仍可進行垂直濾波處理。具體而言，解塊濾波處理部24根據藉由垂直方向之區塊間之邊界檢測所檢測出之邊界，控制使用於位於邊界上側之區塊之濾波運算之圖像範圍。
在步驟ST20中，圖框記憶體25記憶解碼圖像資料。圖框記憶體25記憶解塊濾波處理前之解碼圖像資料。
在步驟ST21中，框內預測部31及動態預測．補償部32分別進行預測處理。即，框內預測部31進行框內預測模式之框內預測處理，動態預測．補償部32進行框間預測模式之動態預測．補償處理。根據該處理，分別進行成為候補之所有預測模式下之預測處理，分別算出成為候補之所有預測模式下之代價函數值。且，基於所算出之代價函數值，選擇最佳框內預測模式及最佳框間預測模式，且將所選擇之預測模式下所產生之預測圖像及其代價函數值以及預測模式資訊供給至預測圖像．最佳模式選擇部33。
在步驟ST22中，預測圖像．最佳模式選擇部33進行預測圖像資料之選擇。預測圖像．最佳模式選擇部33基於由框內預測部31及動態預測．補償部32所輸出之各代價函數值，決定編碼效率成為最佳之最佳模式。再者，預測圖像．最佳模式選擇部33選擇所決定之最佳模式之 預測圖像資料，而供給至減法部13及加法部23。該預測圖像如上所述般，利用於步驟ST13、ST18之運算。
在步驟ST23中，可逆編碼部16進行可逆編碼處理。可逆編碼部16將由量化部15所輸出之量化資料進行可逆編碼。即，對量化資料進行可變長度編碼或算術編碼等之可逆編碼，從而壓縮資料。此時，上述之步驟ST22中輸入至可逆編碼部16之預測模式資訊(例如包含：巨區塊類型或預測模式、動態向量資訊、參照圖像資訊等)等亦可逆編碼。再者，於將量化資料進行可逆編碼而產生之編碼串流之標頭資訊中，附加預測模式資訊之可逆編碼資料。
在步驟ST24中，儲存緩衝器17進行儲存處理而儲存編碼串流。適宜讀取該儲存緩衝器17中所儲存之編碼串流，且經由傳送路傳送至解碼側。
在步驟ST25中，速率控制部18進行速率控制。速率控制部18，儲存緩衝器17中儲存編碼串流時，以使儲存緩衝器17中不會發生溢出或下溢之方式，控制量化部15之量化動作之速率。
接著，說明圖3之步驟ST21之預測處理。框內預測部31進行框內預測處理。框內預測部31將處理對象之區塊之圖像，以成為候補之所有框內預測模式進行框內預測。另，框內預測中所參照之參照圖像之圖像資料，無需利用解塊濾波處理部24進行濾波處理而使用記憶於圖框記憶體25中之參照圖像資料。框內預測處理之細節將後述，根據該處理，以成為候補之所有框內預測模式進行框內預測，針對成為候補之所有框內預測模式算出代價函數值。且，基於所算出之代價函數值，自所有框內預測模式之中，選擇編碼效率成為最好之1個框內預測模式。動態預測．補償部32進行框間預測處理。動態預測．補償部32使用圖框記憶體25中所記憶之濾波處理後之參照圖像資料，進行成為候補之所有框間預測模式(所有預測區塊尺寸)之框間預測處理。框間 預測處理之細節將後述，根據該處理，以成為候補之所有框間預測模式進行預測處理，針對成為候補之所有框間預測模式算出代價函數值。且，基於所算出之代價函數值，自所有框間預測模式之中，選擇編碼效率成為最好之1個框間預測模式。
參照圖4之流程圖說明框內預測處理。在步驟ST31中，框內預測部31進行各預測模式之框內預測。框內預測部31使用圖框記憶體25中所記憶之濾波處理前之解碼圖像資料，以每個框內預測模式產生預測圖像。
在步驟ST32中，框內預測部31算出針對各預測模式之代價函數值。例如，針對成為候補之所有預測模式，假設進行至可逆編碼處理為止，針對各預測模式算出以下式(1)表示之代價函數值。
Cost(ModeΩ)=D+λ．R．．．(1)
Ω表示用以將該區塊至巨區塊進行編碼之成為候補之預測模式之全體集合。D表示預測模式下進行編碼之情形之解碼圖像與輸入圖像之差分能量(失真)。R係包含有正交轉換係數或預測模式資訊等之產生編碼量，λ係作為量化參數QP之函數而給予之拉格朗日乘數。
又，針對成為候補之所有預測模式，算出預測圖像之產生、及動態向量資訊或預測模式資訊等之標頭位元為止，針對各預測模式算出以下式(2)表示之代價函數值。
Cost(ModeΩ)=D+QPtoQuant(QP)．Header_Bit．．．(2)
Ω表示用以將該區塊至巨區塊進行編碼之成為候補之預測模式之全體集合。D表示預測模式下進行編碼之情形之解碼圖像與輸入圖像之差分能量(失真)。Header_Bit係針對預測模式之標頭位元，QPtoQuant係作為量化參數QP之函數而給予之函數。
在步驟ST33中，框內預測部31決定最佳框內預測模式。框內預測部31基於步驟ST32中所算出之代價函數值，自該等之中選擇代價 函數值為最小值之1個框內預測模式而決定為最佳框內預測模式。
接著，參照圖5之流程圖，說明框間預測處理。在步驟ST41中，動態預測．補償部32針對各預測模式分別決定動態向量及參照圖像。即，動態預測．補償部32針對各預測模式之處理對象之區塊，分別決定動態向量及參照圖像。
在步驟ST42中，動態預測．補償部32針對各預測模式進行動態補償。動態預測．補償部32針對各預測模式(各預測區塊尺寸)，基於步驟ST41中所決定之動態向量，進行對於參照圖像之動態補償，針對各預測模式產生預測圖像資料。
在步驟ST43中，動態預測．補償部32針對各預測模式進行動態向量資訊之產生。動態預測．補償部32針對各預測模式下所決定之動態向量，產生包含於編碼串流之動態向量資訊。例如，使用中值預測等決定預測動態向量，而產生顯示根據動態預測所檢測出之動態向量與預測動態向量之差之動態向量資訊。藉此產生之動態向量資訊亦使用於以下之步驟ST44之代價函數值之算出，最終在預測圖像．最佳模式選擇部33中選擇對應之預測圖像之情形時，包含於預測模式資訊而向可逆編碼部16輸出。
在步驟ST44中，動態預測．補償部32針對各框間預測模式，進行代價函數值之算出。動態預測．補償部32使用上述之式(1)或式(2)進行代價函數值之算出。
在步驟ST45中，動態預測．補償部32決定最佳框間預測模式。動態預測．補償部32基於步驟ST44中所算出之代價函數值，自該等之中選擇代價函數值為最小值之1個預測模式而決定為最佳框間預測模式。
<4. 應用於圖像解碼裝置之情形之構成>
將輸入圖像編碼而產生之編碼串流經由特定之傳送路或記錄媒 體等被供給至圖像解碼裝置而解碼。
圖6顯示圖像解碼裝置之構成。圖像解碼裝置50具備：儲存緩衝器51、可逆解碼部52、逆量化部53、逆正交轉換部54、加法部55、解塊濾波處理部56、畫面重排序緩衝器57、D/A轉換部58。再者，圖像解碼裝置50具備圖框記憶體61、選擇器62、65、框內預測部63、及動態補償部64。
儲存緩衝器51儲存傳送而來之編碼串流。可逆解碼部52將由儲存緩衝器51所供給之編碼串流，以與圖2之可逆編碼部16之編碼方式對應之方式進行解碼。又，可逆解碼部52將解碼編碼串流之標頭資訊而獲得之預測模式資訊輸出至框內預測部63或動態補償部64。
逆量化部53將可逆解碼部52中所解碼之量化資料，以與圖2之量化部15之量化方式對應之方式進行逆量化。逆正交轉換部54以與圖2之正交轉換部14之正交轉換方式對應之方式，將逆量化部53之輸出進行逆正交轉換而輸出至加法部55。
加法部55將逆正交轉換後之資料與自選擇器65供給之預測圖像資料相加而產生解碼圖像資料，輸出至解塊濾波處理部56及圖框記憶體61。
解塊濾波處理部56對自加法部55所供給之解碼圖像資料，與圖2之解塊濾波處理部24同樣地進行濾波處理，除去區塊失真而輸出至畫面重排序緩衝器57及圖框記憶體61。
畫面重排序緩衝器57進行圖像之重排序。即，利用圖2之畫面重排序緩衝器12為編碼之順序重排序之圖框之順序，依原來之顯示之順序重排序，而輸出至D/A轉換部58。
D/A轉換部58將自畫面重排序緩衝器57所供給之圖像資料進行D/A轉換，輸出至未圖示之顯示器，藉此顯示圖像。
圖框記憶體61將自加法部55所供給之濾波處理前之解碼圖像資 料、及自解塊濾波處理部56所供給之濾波處理後之解碼圖像資料作為參照圖像之圖像而保持。
選擇器62基於自可逆解碼部52所供給之預測模式資訊，進行已進行框內預測之預測區塊之解碼時，將自圖框記憶體61所讀取之濾波處理前之參照圖像資料供給至框內預測部63。又，選擇器62基於自可逆解碼部52所供給之預測模式資訊，進行已進行框間預測之預測區塊之解碼時，將自圖框記憶體61所讀取之濾波處理後之參照圖像資料供給至動態補償部64。
框內預測部63基於自可逆解碼部52所供給之預測模式資訊進行預測圖像之產生，且將所產生之預測圖像資料輸出至選擇器65。
動態補償部64基於自可逆解碼部52所供給之預測模式資訊進行動態補償，產生預測圖像資料而輸出至選擇器65。即，動態補償部64基於預測模式資訊中所包含之動態向量資訊及參照圖框資訊，對參照圖框資訊中所示之參照圖像，以基於動態向量資訊之動態向量進行動態補償，而產生預測圖像資料。
選擇器65將框內預測部63中所產生之預測圖像資料供給至加法部55。又，選擇器65將動態補償部64中所產生之預測圖像資料供給至加法部55。
另，請求項之解碼部係由可逆解碼部52、逆量化部53、逆正交轉換部54、加法部55、框內預測部63、及動態補償部64等構成。
<5. 圖像解碼裝置之動作>
接著，參照圖7之流程圖，說明圖像解碼裝置50中進行之圖像解碼動作。
在步驟ST51中，儲存緩衝器51儲存傳送而來之編碼串流。在步驟ST52中，可逆解碼部52進行可逆解碼處理。可逆解碼部52將自儲存緩衝器51供給之編碼串流進行解碼。即，獲得利用圖2之可逆編碼 部16編碼之各圖像之量化資料。又，可逆解碼部52進行編碼串流之標頭資訊中所包含之預測模式資訊之可逆解碼，將所得之預測模式資訊供給至解塊濾波處理部56或選擇器62、65。再者，預測模式資訊為關於框內預測模式之資訊之情形，可逆解碼部52將預測模式資訊輸出至框內預測部63。又，預測模式資訊為關於框間預測模式之資訊之情形，可逆解碼部52將預測模式資訊輸出至動態補償部64。
在步驟ST53中，逆量化部53進行逆量化處理。逆量化部53將由可逆解碼部52解碼之量化資料，以與圖2之量化部15之特性對應之特性進行逆量化。
在步驟ST54中，逆正交轉換部54進行逆正交轉換處理。逆正交轉換部54將由逆量化部53逆量化之轉換係數資料，以與圖2之正交轉換部14之特性對應之特性進行逆正交轉換。
在步驟ST55中，加法部55進行解碼圖像資料之產生。加法部55將藉由進行逆正交轉換處理所得之資料、及後述之步驟ST59中所選擇之預測圖像資料相加而產生解碼圖像資料。藉此解碼原來之圖像。
在步驟ST56中，解塊濾波處理部56進行解塊濾波處理。解塊濾波處理部56進行由加法部55所輸出之解碼圖像資料之濾波處理，除去解碼圖像中所包含之區塊失真。
在步驟ST57中，圖框記憶體61進行解碼圖像資料之記憶處理。
在步驟ST58中，框內預測部63及動態補償部64進行預測處理。框內預測部63及動態補償部64對應自可逆解碼部52供給之預測模式資訊而分別進行預測處理。
即，自可逆解碼部52供給有框內預測之預測模式資訊之情形，框內預測部63基於預測模式資訊進行框內預測處理，產生預測圖像資料。又，自可逆解碼部52供給有框間預測之預測模式資訊之情形，動態補償部64基於預測模式資訊進行動態補償，而產生預測圖像資料。
在步驟ST59中，選擇器65進行預測圖像資料之選擇。即，選擇器65選擇自框內預測部63所供給之預測圖像及動態補償部64中所產生之預測圖像資料而供給至加法部55，如上所述，在步驟ST55中與逆正交轉換部54之輸出相加。
在步驟ST60中，畫面重排序緩衝器57進行畫面重排序。即，畫面重排序緩衝器57依原來之顯示之順序，將利用圖2之圖像編碼裝置10之畫面重排序緩衝器12為編碼而重排序之圖框之順序重排序。
在步驟ST61中，D/A轉換部58將來自畫面重排序緩衝器57之圖像資料進行D/A轉換。該圖像被輸出至未圖示之顯示器，從而顯示圖像。
<6. 解塊濾波處理部之基本動作>
一般而言，H.264/AVC或HEVC等之圖像編碼方式之解塊濾波處理進行過濾要否判定，對於判定需要過濾之區塊間之邊界進行過濾處理。
區塊間之邊界包含於水平方向進行區塊間之邊界檢測而檢測之邊界、即左右鄰接之區塊間之邊界(以下稱為「垂直邊界」)。又，區塊間之邊界包含於垂直方向進行區塊間之邊界檢測而檢測之邊界、即上下鄰接之區塊間之邊界(以下稱為「列邊界」)。
圖8係顯示包夾邊界而鄰接之2個區塊BKa及BKb內之像素之一例之說明圖。此處雖以垂直邊界為例進行說明，但亦可同等應用於列邊界。在圖8之例中，將區塊BKa內之像素之圖像資料以「pi,j」此記號表示。i為像素之行索引，j為像素之列索引。又，最小編碼處理單位作為8像素×8像素之區塊單位，行索引i自與垂直邊界相近之行依序(自右向左)編號為0、1、2、3。列索引j自上向下編號為0、1、2、...、7。另，圖中省略區塊BKa之左半部份。另一方面，區塊BKb內之像素之圖像資料以「qk,j」此記號表示。k為像素之行索引，j為 像素之列索引。行索引k自與垂直邊界相近之行依序(自左向右)編號為0、1、2、3。另，圖中亦省略區塊BKb之右半部份。
判定邊界應應用解塊濾波器之情形，例如針對垂直邊界進行該邊界之左右之像素之過濾處理。關於亮度成份，根據圖像資料之值，濾波器強度在強(strong)濾波器與弱(weak)濾波器之間切換。
●亮度成份之過濾
在強度選擇中，以每1列(或每1行)判定是否滿足式(3)至式(5)之判別條件，式(3)至式(5)之判別條件皆滿足之情形時選擇強濾波，任1個判定條件不滿足之情形時選擇弱濾波。
[數1]d<(β>>2)．．．(3) ｜p 3 -p 0 ｜+｜q 0 -q 3 ｜<(β>>3)．．．(4) ｜p 0 -q 0 ｜<((5*t C +1)>>1)．．．(5)
另，式(3)中之「d」係基於式(6)而算出之值。又，式(4)、(5)之「β」、及式(5)之「tc」係如表1所示，基於量化參數Q而設定之值。
[數2]d=｜p 2,2 -2*p 1,2 +p 0,2 ｜+｜q 2,2 -2*q 1,2 +q 0,2 ｜+｜p 2,5 -2*p 1,5 +p 0,5 ｜+｜q 2,5 -2*q 1,5 +q 0,5 ｜．．．(6)
[表1]
在弱過濾中，藉由進行式(7)至式(11)之運算，算出濾波處理範圍之各像素之亮度成份。
[數3]p 1 ’=Clip1 Y (p 1 +△/2)．．．(7) p 0 ’=Clip1 Y (p 0 +△)．．．(8) q 0 ’=Clip1 Y (q 0 -△)．．．(9) q 1 ’=Clip1 Y (q 1 -△/2)．．．(10) △=Clip3(-t C ,t C ,(13*(q 0 -p 0 )+4*(q 1 -p 1 )-5*(q 2 -p 0 )+16)>>5)．．．(11)
在強過濾中，藉由進行式(12)至式(18)之運算，算出濾波處理範圍之各像素之亮度成份。
[數4]p 2 ’=Clip1 Y ((2*p 3 +3*p 2 +p 1 +p 0 +q 0 +4)>>3)．．．(12) p 1 ’=Clip1 Y ((p 2 +p 1 +p 0 +q 0 +2)>>2)．．．(13) p 0 ’=Clip1 Y ((p 2 +2*p 1 +2*p 0 +2*q 0 +q 1 +4)>>3)．．．(14) p 0 ’=Clip1 Y ((p 2 +2*p 1 +2*p 0 +2*q 0 +q 1 +4)>>3)．．．(15) q 0 ’=Clip1 Y ((p 1 +2*p 0 +2*q 0 +2*q 1 +q 2 +4)>>3)．．．(16) q 1 ’=Clip1 Y ((p 0 +q 0 +q 1 +q 2 +2)>>2)．．．(17) q 2 ’=Clip1 Y ((p 0 +q 0 +q 1 +3*q 2 +2*q 3 +4)>>3)．．．(18)
又，在色差成份之過濾中，藉由進行式(19)至式(21)之運算，算出濾波處理範圍之各像素之色差成份。
[數5]p 0 ’=Clip1 C (p 0 +△)．．．(19) q 0 ’=Clip1 C (q 0 -△)．．．(20) △=Clip3(-t C ,t C ,((((q 0 -p 0 )<<2)+p 1 -q 1 +4)>>3))．．．(21)
另，在上述之式中，「Clip1Y」、「Clip1c」表示式(22)、(23)之運算，式(22)、(23)之「Clip3(x,y,z)」表示以式(24)決定之值。
又，針對列邊界，將在垂直邊界於水平方向使用像素對每列進行之運算，於垂直方向使用像素對每行進行而進行過濾處理。
在解塊濾波處理中，列記憶體所必須之處理係垂直濾波處理，以下，關於垂直濾波處理中列記憶體之記憶容量之削減進行詳細說明。另，圖像編碼裝置10之解塊濾波處理部24及圖像解碼裝置50之解塊濾波處理部56設為相同之構成及相同之動作，且僅針對解塊濾波處理部24進行說明。
<7. 解塊濾波處理部之第1實施形態>
圖9例示解塊濾波處理部之第1實施形態之構成。解塊濾波處理部24具備：列記憶器241、列邊界檢測部242、濾波器強度判定部243、係數記憶體244、濾波運算部245、及濾波器控制部246。
列記憶體241基於來自濾波器控制部246之控制信號，記憶自加法部23所供給之圖像資料。又，讀取所記憶之圖像資料，輸出至列邊 界檢測部242、濾波器強度判定部243、及濾波運算部245。
列邊界檢測部242檢測進行垂直濾波處理之列邊界。列邊界檢測部242使用自加法部23所供給之圖像資料或自列記憶體241所讀取之圖像資料，對每個區塊進行上述之過濾要否判定處理，而檢測進行垂直濾波處理之列邊界。列邊界檢測部242將檢測結果輸出至濾波器強度判定部243。
濾波器強度判定部243進行如上述之濾波器強度之判定。濾波器強度判定部243使用將進行垂直濾波處理之列邊界包夾而鄰接之2個區塊之圖像資料，判定以強過濾或弱過濾之何種強度進行垂直濾波處理，而將判定結果輸出至濾波運算部245。
係數記憶體244記憶解塊濾波處理之濾波運算中使用之濾波器係數。
濾波運算部245使用自加法部23所供給之圖像資料或列記憶體241中所記憶之圖像資料、及自係數記憶體244所讀取之濾波器係數，以由濾波器強度判定部243所判定之濾波器強度進行濾波運算。濾波運算部245將完成垂直濾波處理之圖像資料輸出至圖框記憶體25。又，濾波運算部245基於自濾波器控制部246所供給之區塊邊界判定結果，而控制位於列邊界之上側之區塊之濾波運算所使用之圖像範圍。
濾波器控制部246控制列記憶體241，而記憶區塊內之下端側之特定列數大小之圖像資料。又，進行所記憶之圖像資料之讀取。又，濾波器控制部246具備列邊界判定部2461。列邊界判定部2461判定是否為於光栅掃瞄方向依序進行處理之區塊單位例如LCU間之列邊界，將判定結果輸出至濾波運算部245。濾波運算部245以即使削減列記憶體之記憶容量仍可進行垂直濾波處理之方式進行控制。
圖10顯示解塊濾波器理部之第1實施形態之動作。在步驟ST71中，解塊濾波處理部24進行列邊界之檢測。解塊濾波處理部24檢測進 行垂直濾波處理之列邊界。
在步驟ST72中，解塊濾波處理部24進行濾波器強度之判定。解塊濾波處理部24針對進行垂直濾波處理之列邊界，判定設為強濾波與弱濾波之何種濾波器強度。
在步驟ST73中，解塊濾波處理部24判別進行垂直濾波處理之邊界是否為LCU間之列邊界。進行垂直濾波處理之邊界為LCU間之列邊界之情形，解塊濾波處理部24進展至步驟ST74，邊界並非LCU間之列邊界之情形，進展至步驟ST75。
在步驟ST74中，解塊濾波處理部24進行範圍削減垂直濾波處理。解塊濾波處理部24針對上側鄰接之LCU削減使用於濾波運算之圖像範圍而進行垂直濾波處理，從而進展至步驟ST76。
在步驟ST75中，解塊濾波處理部24進行通常垂直濾波處理。解塊濾波處理部24無需削減濾波運算中使用之圖像範圍而使用預先設定之標籤及係數進行垂直濾波處理，從而進展至步驟ST76。
在步驟ST76中，解塊濾波處理部24判別邊界之垂直濾波處理是否結束。解塊濾波處理部24，邊界之各行之垂直濾波處理未結束之情形時，返回至步驟ST76，進行其後之行之處理。又，邊界之各行之垂直濾波處理已結束之情形，進展至步驟ST77。
在步驟ST77中，解塊濾波處理部24判別是否直到畫面之最後為止處理已結束。解塊濾波處理部24，處理未進行至畫面之最後為止之情形時，返回至步驟ST71，檢測新邊界而進行垂直濾波處理。又，解塊濾波處理部24，處理已進行至畫面之最後為止之情形，結束11畫面之處理。
[濾波運算部之構成及動作]
圖11及圖12顯示濾波運算部之構成。濾波運算部245進行標籤變更垂直濾波處理之情形時，以即使削減記憶圖像資料之列數，仍可進 行垂直濾波處理之方式，進行標籤之圖像資料之變更或標籤數之變更。另，圖11係顯示變更標籤之圖像資料而進行垂直濾波處理之情形之濾波運算部之構成。又，圖12係顯示變更標籤數而進行垂直濾波處理之情形之濾波運算部之構成。
在圖11中，濾波運算部245具備：資料記憶部2451、資料選擇部2452、及運算處理部2453。
資料記憶部2451在削減列記憶體之記憶容量之情形時，記憶作為已削減之列之位置之標籤而使用之圖像資料。資料記憶部2451將所記憶之圖像資料作為已削減之列之位置之標籤之圖像資料而輸出至資料選擇部2452。
資料選擇部2452進行資料記憶部2451中所記憶之圖像資料、及列記憶體中所記憶之圖像資料之選擇，且將所選擇之圖像資料輸出至運算處理部2453。
運算處理部2453使用自加法部23及資料選擇部2452所供給之圖像資料與自係數記憶體244所讀取之濾波器係數進行運算，產生垂直濾波處理後之圖像資料並輸出至圖框記憶體25。
在圖12中，濾波運算部245具備運算處理部2455及運算處理部2456。
運算處理部2455以特定之標籤數進行運算處理，且將垂直濾波處理後之圖像資料輸出至資料選擇部2457。
運算處理部2456根據列記憶體之削減而削減標籤數，無需使用已削減之列之圖像資料而進行運算處理，且將垂直濾波處理後之圖像資料輸出至資料選擇部2457。
資料選擇部2457根據邊界是否為LCU間之列邊界，而進行圖像資料之選擇。邊界並非LCU間之列邊界之情形時，資料選擇部2457選擇自運算處理部2455所輸出之圖像資料。又，邊界為LCU間之列邊界之 情形時，資料選擇部2457選擇自運算處理部2456所輸出之圖像資料。
圖13係用於說明濾波運算部245之動作之圖。其中顯示鄰接之2個區塊BKu、BK1之各像素之圖像資料。此處，垂直濾波處理之濾波處理範圍，作為自邊界(列邊界)BB起各3像素之範圍，將自邊界BB起各4像素作為標籤而進行濾波運算。根據濾波器強度判定而判定為強過濾之情形時，以運算處理部2453、2455對每行進行上述式(12)至式(18)之運算。又，根據濾波器強度判定而判定為弱過濾之情形時，以運算處理部2453、2455對每行進行上述式(7)至式(10)之運算。
以LCU單位依光栅順序進行解塊濾波處理之情形，判定垂直濾波處理為強過濾而進行上述式(12)至式(18)之運算，故，如圖13(A)所示，在邊界BB之上側之區塊BKu中，有必要將自邊界BB4列大小之圖像資料預先記憶於列記憶體中。
此處，濾波運算部245藉由控制位於邊界BB之上側之區塊之濾波運算中使用之圖像範圍，即使削減列記憶體之記憶容量，仍可進行垂直濾波處理。例如，如圖13(B)所示，記憶自邊界BB3列大小之圖像資料，使用該經記憶之圖像資料進行垂直濾波處理。即，圖11所示之運算處理部2453進行式(25)之運算。又，圖12所示之運算處理部2456進行式(26)之運算，資料選擇部2457選擇來自運算處理部2456之圖像資料而輸出。另，在式(25)、(26)中，i表示像素之行索引，且以8×8像素之區塊單位進行濾波處理之情形成為「i=0至7」。
[數7]p 2i ’=Clip1 Y ((2*p 2i +3*p 2i +p 1i +p 0i +q 0i +4)>>3)．．．(25) p 2i ’=Clip1 Y ((5*p 2i +p 1i +p 0i +q 0i +4)>>3)．．．(26)
運算處理部2453在上側之區塊BKu中，將濾波處理範圍之上端之 像素於上方向複製而使用。即，藉由將資料記憶部2451中所記憶之濾波處理範圍之上端之像素之圖像資料p2作為圖像資料p3使用，根據式(25)之運算而算出濾波處理後之圖像資料p2i’。
在運算處理部2456中，削減標籤數，使用根據標籤數之削減而變更之係數，藉此，根據式(26)之運算而算出濾波處理後之圖像資料p2i’。該情形之係數之變更與標籤範圍之上端之像素之複製加以對應，而將圖像資料p2之係數變更成「3→5」。
另，邊界BB並非LCU間之列邊界之情形，無需使用列記憶體241之圖像資料，因此，無需使濾波運算中使用之圖像範圍變窄而進行與先前相同之濾波運算。即，圖11所示之運算處理部2453進行與先前相同之濾波運算。又，圖12所示之運算處理部2455進行與先前相同之濾器運算，資料選擇部2457選擇來自運算處理部2455之圖像資料而進行輸出。
如此般，邊界為於光栅掃瞄方向依序進行處理之區塊之列邊界之情形，藉由控制濾波運算中使用之圖像範圍，即使削減列記憶體之記憶容量，仍可與削減前同樣地進行解塊濾波處理。又，例如4K×2K之圖像中1列相當於2K×1K之圖像之2列大小。又，在H.264/AVC方式中，具備4列大小之列記憶體，4K×2K之圖像之1列大小之記憶容量相當於H.264/AVC方式之50%之記憶容量。即，在高解析度圖像中記憶容量之削減效果提高。
<8. 解塊濾波處理部之第2實施形態>
解塊濾波處理部之第2實施形態相對第1實施形態，運算處理部2453與運算處理部2456之動作不同。
強過濾中邊界BB為LCU間之列邊界之情形，進行上述之式(12)至式(18)之運算之情形時，如圖13(A)所示，在邊界BB之上側之區塊BKu中，有必要將自邊界BB4列大小之圖像資料預先記憶於列記憶體 中。
此處，濾波運算部245藉由控制位於邊界BB之上側之區塊之濾波運算中使用之圖像範圍，即使削減列記憶體之記憶容量，仍可進行垂直濾波處理。例如，如圖13(B)所示，自邊界BB記憶3列大小之圖像資料，使用該經記憶之圖像資料進行垂直濾波處理。即，圖11所示之運算處理部2453進行式(27)之運算。又，圖12所示之運算處理部2456進行式(28)之運算，資料選擇部2457選擇來自運算處理部2456之圖像資料而進行輸出。另，在式(27)、(28)中，i表示像素之行索引，且以8×8像素之區塊單位進行濾波處理之情形成為「i=0至7」。
[數8]p 2i ’=Clip1 Y ((2*p 1i +3*p 2i +p 1i +p 0i +q 0i +4)>>3)．．．(27) p 2i ’=Clip1 Y ((3*p 2i +3*p 1i +p 0i +q 0i +4)>>3)．．．(28)
運算處理部2453在上側之區塊BKu中，將濾波處理範圍之上端之像素作為基準而進行鏡面複製。即，於資料記憶部2451中記憶圖像資料p1，將該圖像資料p1以濾波處理範圍之上端之像素為基準進行鏡面複製而作為圖像資料p3使用，藉此，根據式(27)之運算算出濾波處理後之圖像資料p2i’。
在運算處理部2456中，削減標籤數，使用對應於標籤數之削減而變更之係數，藉此，根據式(28)之運算算出濾波處理後之圖像資料p2i’。該情形之係數之變更與以濾波處理範圍之上端之像素為基準之鏡面複製加以對應，而將圖像資料p1之係數變更成「2→3」。
另，邊界BB並非LCU間之列邊界之情形，無需使用列記憶體241之圖像資料，因此，無需使濾波運算中使用之圖像範圍變窄而進行與先前相同之濾波運算。即，圖11所示之運算處理部2453進行與先前相同之濾波運算。又，圖12所示之運算處理部2455進行與先前相同之濾 波運算，資料選擇部2457選擇來自運算處理部2455之圖像資料而進行輸出。
如此般，邊界為於光栅掃瞄方向依序進行處理之區塊之列邊界之情形，藉由控制濾波運算中使用之圖像範圍，與第1實施形態相同，即使削減記憶容量，仍可進行解塊濾波處理。
<9. 解塊濾波處理部之第3實施形態>
解塊濾波處理部之第3實施形態相對第1、第2實施形態，運算處理部2453與運算處理部2456之動作不同。
圖14係用於說明濾波運算部245之動作之圖。顯示有鄰接之2個區塊BKu、BK1之各像素之圖像資料。此處，垂直濾波處理之濾波處理範圍，作為自邊界(列邊界)BB分別3像素之範圍，將自邊界BB分別4像素作為標籤而進行濾波運算。根據濾波器強度判定而判定為強過濾之情形，以運算處理部2453、2455對每行進行上述式(12)至式(18)之運算。又，根據濾波器強度判定而判定為弱過濾之情形，以運算處理部2453、2455對每行進行上述式(7)至式(10)之運算。
以LCU單位依光栅順序進行解塊濾波處理之情形，判定垂直濾波處理為強過濾而進行上述式(12)至式(18)之運算，故，如圖14(A)所示，在邊界BB之上側之區塊BKu中，有必要將自邊界BB4列大小之圖像資料預先記憶於列記憶體中。
此處，濾波運算部245藉由控制濾波處理範圍及位於邊界BB之上側之區塊之濾波運算中使用之圖像範圍，即使削減列記憶體之記憶容量，仍可進行垂直濾波處理。例如，如圖14(B)所示，設上側之區塊BKu之濾波處理範圍為自邊界BB2像素之範圍，而記憶自邊界BB2列大小之圖像資料。再者，使用該經記憶之圖像資料，與第1實施形態同樣地進行垂直濾波處理。即，圖11所示之運算處理部2453進行式(29)、(30)之運算。又，圖12所示之運算處理部2456進行式(31)、(32) 之運算，資料選擇部2457選擇來自運算處理部2456之圖像資料而進行輸出。另，在式(29)至式(32)中，i表示像素之行索引，且以8×8像素之區塊單位進行濾波處理之情形成為「i=0至7」。
[數9]p 1i ’=Clip1 Y ((p 1i +p 1i +p 0i +q 0i +2)>>2)．．．(29) p 0i ’=Clip1 Y ((p 1i +2*p 1i +2*p 0i +2*q 0i +q 1i +4)>>3)．．．(30) p 1i ’=Clip1 Y ((2*p 1i +p 0i +q 0i +2)>>2)．．．(31) p 0i ’=Clip1 Y ((3*p 1i +2*p 0i +2*q 0i +q 1i +4)>>3)．．．(32)
運算處理部2453在上側之區塊BKu中，將濾波處理範圍之上端之像素於上方向進行複製而使用。即，藉由將資料記憶部2451中所記憶之濾波處理範圍之上端之像素之圖像資料p1作為圖像資料p2使用，根據式(29)、(30)之運算而算出濾波處理後之圖像資料p1i’、p0i’。
在運算處理部2456中，削減標籤數，使用對應於標籤數之削減而變更之係數，藉此，根據式(31)、(32)之運算而算出濾波處理後之圖像資料p1i’、p0i’。該情形之係數之變更與以標籤範圍之上端之像素之複製加以對應，而將式(31)之圖像資料p1之係數變更成「1→2」，將式(32)之圖像資料p1之係數變更成「2→3」。
另，邊界BB並非LCU之邊界之情形，無需使用列記憶體241之圖像資料，因此，無需使濾波運算中使用之圖像範圍變窄而進行與先前相同之濾波運算。即，圖11所示之運算處理部2453進行與先前相同之濾波運算。又，圖12所示之運算處理部2455進行與先前相同之濾波運算，資料選擇部2457選擇來自運算處理部2455之圖像資料而進行輸出。
如此般，邊界為於光栅掃瞄方向依序進行處理之區塊之列邊界之情形，即使控制濾波處理範圍及使用於濾波運算之圖像範圍而削減 記憶容量，仍可與削減前同樣進行解塊濾波處理。又，可更多地削減記憶容量。
<10. 解塊濾波處理部之第4實施形態>
解塊濾波處理部之第4實施形態相對第3實施形態，運算處理部2453與運算處理部2456之動作不同。
在強過濾中邊界BB為LCU間之列邊界之情形，進行上述之式(12)至式(18)之運算之情形時，如圖14(A)所示，在邊界BB之上側之區塊BKu中，有必要將自邊界BB4列大小之圖像資料預先記憶於列記憶體中。
此處，濾波運算部245藉由控制濾波處理範圍及位於邊界BB之上側之區塊之濾波運算中使用之圖像範圍，即使削減列記憶體之記憶容量，仍可進行垂直濾波處理。例如，如圖14(B)所示，設上側之區塊BKu之濾波處理範圍為自邊界BB2像素之範圍，而記憶自邊界BB2列大小之圖像資料。再者，使用該經記憶之圖像資料，與第2實施形態同樣進行垂直濾波處理。即，圖11所示之運算處理部2453進行式(33)、(34)之運算。又，圖12所示之運算處理部2456進行式(35)、(36)之運算，資料選擇部2457選擇來自運算處理部2456之圖像資料而進行輸出。另，在式(33)至式(36)中，i表示像素之行索引，且以8×8像素之區塊單位進行濾波處理之情形成為「i=0至7」。
[數10]p 1i ’=Clip1 Y ((p 0i +p 1i +p 0i +q 0i +2)>>2)．．．(33) p 0i ’=Clip1 Y ((p 0i +2*p 1i +2*p 0i +2*q 0i +q 1i +4)>>3)．．．(34) p 1i ’=Clip1 Y ((p 1i +2* p 0i +q 0i +2)>>2)．．．(35) p 0i ’=Clip1 Y ((2*p 1i +3*p 0i +2*q 0i +q 1i +4)>>3)．．．(36)
運算處理部2453在上側之區塊BKu中，以濾波處理範圍之上端之像素為基準進行鏡面複製。即，於資料記憶部2451中記憶圖像資料 p0，將圖像資料p0以濾波處理範圍之上端之像素為基準進行鏡面複製而作為圖像資料p2使用，藉此，根據式(33)、(34)之運算而算出圖像資料p1i’、p0i’。
在運算處理部2456中，削減標籤數，使用對應於標籤數之削減而變更之係數，藉此，根據式(35)、(36)之運算而算出濾波處理後之圖像資料p1i’、p0i’。該情形之係數之變更與以濾波處理範圍之上端之像素為基準之鏡面複製加以對應，而將式(35)之圖像資料p0之係數變更成「1→2」，將式(36)之圖像資料p0之係數變更成「2→3」。
另，邊界BB並非LCU間之列邊界之情形，無需使用列記憶體241之圖像資料，因此，無需使濾波運算中使用之圖像範圍變窄而進行與先前相同之濾波運算。即，圖11所示之運算處理部2453進行與先前相同之濾波運算。又，圖12所示之運算處理部2455進行與先前相同之濾波運算，資料選擇部2457選擇來自運算處理部2455之圖像資料而進行輸出。
如此般，邊界為於光栅掃瞄方向依序進行處理之區塊之列邊界之情形，即使控制濾波處理範圍及使用於濾波運算之圖像範圍而削減記憶容量，仍可與削減前同樣進行解塊濾波處理。又，可更多地削減記憶容量。
<11. 解塊濾波處理部之第5實施形態>
上述之解塊濾波處理部根據邊界BB是否為LCU間之列邊界，而進行位於邊界之上側之區塊之濾波運算中使用之圖像範圍之控制或濾波處理範圍之控制。以下，在第5實施形態中，說明設有僅LCU間之列邊界進行圖像範圍之控制之模式、及不論邊界BB是否為LCU間之列邊界而進行圖像範圍之控制之模式之情形。
圖15係顯示第5實施形態之動作之流程圖。在步驟ST81中，解塊濾波處理部24進行列邊界之檢測。解塊濾波處理部24檢測進行垂直濾 波處理之列邊界。
在步驟ST82中，解塊濾波處理部24進行濾波器強度之判定。解塊濾波處理部24針對進行垂直濾波處理之列邊界，判定設為強濾波及弱濾波之何種濾波器強度。
在步驟ST83中，解塊濾波處理部24判斷是否僅LCU間之列邊界進行範圍削減垂直濾波處理，即削減濾波運算中使用之圖像範圍而進行垂直濾波處理。不僅LCU間之列邊界，比LCU尺寸更小之區塊之列邊界亦進行範圍削減垂直濾波處理之情形，解塊濾波處理部24進展至步驟ST84。又，僅LCU間之列邊界進行範圍削減垂直濾波處理之情形，解塊濾波處理部24進展至步驟ST85。
解塊濾波處理部24例如基於以圖框單位設定之量化參數，判別是否僅對LCU間之列邊界進行範圍削減垂直濾波處理。量化參數較小之情形時，與量化參數較大之情形相比畫質良好。因此，解塊濾波處理部24，量化參數大於預先設定之臨限值之情形時，僅對LCU間之列邊界進行範圍削減垂直濾波處理，對於比LCU尺寸更小之區塊之列邊界，判定為藉由進行通常垂直濾波處理而使畫質提高之模式，從而進展至步驟ST84。又，解塊濾波處理部24，量化參數在預先設定之臨限值以下之情形，判定為不僅LCU間之列邊界，比LCU尺寸更小之區塊間之列邊界亦進行範圍削減垂直濾波處理而使控制易化之模式，從而進展至步驟ST85。
在步驟ST84中，解塊濾波處理部24判別進行垂直濾波處理之邊界是否為LCU間之列邊界。解塊濾波處理部24，進行垂直濾波處理之邊界為LCU間之列邊界之情形，進展至步驟ST85，邊界為比LCU尺寸更小之區塊之列邊界之情形，進展至步驟ST86。
在步驟ST85中，解塊濾波處理部24進行範圍削減垂直濾波處理。解塊濾波處理部24針對鄰接之上側區塊削減濾波運算中使用之圖 像範圍而進行垂直濾波處理，從而進展至步驟ST87。另，在範圍削減垂直濾波處理中，亦可削減濾波對象範圍。
在步驟ST86中，解塊濾波處理部24進行通常垂直濾波處理。解塊濾波處理部24無需削減濾波運算中使用之圖像範圍而進行垂直濾波處理，從而進展至步驟ST87。
在步驟ST87中，解塊濾波處理部24判別邊界之垂直濾波處理是否結束。邊界之各行之垂直濾波處理未結束之情形時，解塊濾波處理部24返回至步驟ST87，進行以下之行之處理。又，邊界之各行之垂直濾波處理已結束之情形，進展至步驟ST88。
在步驟ST88中，解塊濾波處理部24判別是否直到畫面之最後為止處理已結束。處理未進行至畫面之最後為止之情形時，解塊濾波處理部24返回至步驟ST81，檢測新邊界而進行垂直濾波處理。又，畫面之最後為止已進行處理之情形，解塊濾波處理部24結束1畫面之處理。
若進行如此之處理，則不僅可削減列記憶體之記憶容量，且除了LCU間之列邊界，亦可對其他之列邊界進行範圍削減垂直濾波處理，從而無需濾波處理之切換而容易控制。又，若僅LCU間之列邊界進行範圍削減垂直濾波處理，則可獲得良好之畫質。
<12. 第6至第8實施形態之說明> [先前之說明]
另，在上述說明中，已說明藉由使濾波運算中使用之圖像範圍變窄，作為不包含於圖像範圍之標籤之圖像資料，將圖像範圍內之標籤之圖像資料進行複製或鏡面複製而使用之例。此處，本說明書之複製與Padding(填充)同義。
與如此之本技術相同，先前，在JCTVC-F053中已提出僅在LCU之列邊界利用Padding(填充)進行濾波處理之方法。
參照圖16，關於HEVC方式之亮度信號之強(strong)濾波器之濾波處理、及利用Padding(填充)之濾波處理進行說明。
圖16係顯示包夾列邊界而上下鄰接之2個區塊BKu及BK1內之像素之一例之說明圖。在圖16之例中，將區塊BKu內之像素之圖像資料以「pji」此記號表示。j為像素之列索引，i為像素之行索引。又，最小編碼處理單位，作為8像素×8像素之區塊單位，列索引j自與列邊界BB相近之列依序(自下向上)編號為0、1、2、3。行索引i自區塊之右向左編號為0、1、2、...、7。另，區塊BKu之上半部份在圖中省略。另一方面，區塊BK1內之像素之圖像資料以「qki」此記號表示。k為像素之列索引，i為像素之行索引。列索引k自與列邊界BB相近之列依序(自上向下)編號為0、1、2、3。另，圖中亦省略區塊BK1之下半部份。
在HEVC方式之亮度信號之強過濾中，藉由進行式(37)至式(42)之運算，算出濾波處理範圍之各像素之亮度成份。另，式(37)至式(42)係與式(14)、式(16)、式(13)、式(17)、式(12)、及式(18)分別對應之式。
[數11]p00=Clip0-255((p2i+2*p1i+2*p0i+2*q0i+q1i+4)>>3)；i=0,7．．．(37) q00=Clip0-255((p1i+2*p0i+2*q0i+2*q1i+q2i+4)>>3)；i=0,7．．．(38) p10=Clip0-255((p2i+p1i+p0i+q0i+2)>>2)；i=0,7．．．(39) q10=Clip0-255((p0i+q0i+q1i+q2i+2)>>2)；i=0,7．．．(40) p20=Clip0-255((2*p3i+3*p2i+p1i+p0i+q0i+4)>>3)；i=0,7．．．(41) q20=Clip0-255((p0i+q0i+q1i+3*q2i+2*q3i+4)>>3)；i=0,7．．．(42)
此處，Clip0-255表示0以下之情形上升至0，255以上之情形下降至255之剪輯處理。關於以下之式亦相同。
與此相對，在上述之先前之提案中，僅為LCU之列邊界，但在 R2W2削減下進行利用Padding(填充)之濾波處理。此處，所謂R2W2，表示參照LCU之列邊界上之2像素，對LCU之列邊界上之2像素應用濾波處理。
在先前之提案之亮度信號之強過濾中，藉由進行式(43)至式(47)之運算，算出濾波處理範圍之各像素之亮度成份。
[數12]．p00=Clip0-255((p1i+2*p1i+2*p0i+2*q0i+q1i+4)>>3)；i=0,7．．．(43) ．q00=Clip0-255((p1i+2*p0i+2*q0i+2*q1i+q2i+4)>>3)；i=0,7．．．(44) ．p10=Clip0-255((p1i+p1i+p0i+q0i+2)>>2)；i=0,7．．．(45) ．q10=Clip0-255((p0i+q0i+q1i+q2i+2)>>2)；i=0,7．．．(46) ．q20=Clip0-255((p0i+q0i+q1i+3*q2i+2*q3i+4)>>3)；i=0,7．．．(47)
此處，先前之提案中之強過濾之式(43)，HEVC方式之強過濾之式(37)之「p2i」替換為「p1i」之點不同。先前之提案中之強過濾之式(45)，HEVC方式之強過濾之式(39)之「p2i」替換為「p1i」之點不同。在先前之提案中之強過濾中，削除與HEVC方式之強過濾之式(41)對應之式之點不同。
另，先前之提案中之強過濾之式(44)、式(46)、及式(47)與HEVC方式之強過濾之式(38)、式(40)、及式(42)分別共通。
即，在先前之提案中，不參照自區塊Bku之列邊界BB向上第3列之列像素「p2i」，因此，取而代之，同一行之正下方之列之像素「p1i」被複製(Padding)使用。
又，由於不對自區塊Bku之列邊界BB向上第3列之列像素「p20」實施濾波處理，因此，在先前之提案之強過濾中，削除與HEVC方式之強過濾之式(41)對應之式。
藉由如以上之方式，在先前之提案中，相較於HEVC方式，抑制 列記憶體之記憶容量增大。
然而，由於4k圖像之情形時有必要具有大量之列記憶體，因此，在解塊處理中，進一步追求削減列記憶體。又，列記憶體削減時，相較於該先前提案之方法，追求保持解塊之區塊失真減少之功能。
此處，在HEVC方式之區塊間之邊界判定中，如下式(48)所示，在包夾列邊界之兩側，以特定傾斜之波形作為處理對象。因此，在本技術中，以下將進行詳細說明，藉由利用區塊間之邊界判定之波形之傾斜，進行LCU之列邊界之解塊處理。
[數13]｜p22-2*p12+p02｜+｜q22-2*q12+q02｜+｜p25-2*p15+p05｜+｜q25-2*q15+q05｜<β．．．(48)
[本技術之說明(線性近似)]〕
在圖17之例中，顯示有式(48)之HEVC方式之區塊間之邊界判定式。
如圖17所示，式(48)之左邊第1項為判定自區塊Bku之左第3行之像素之式，如下所示，可以差分之差分(2次差分)、即傾斜一定之2次微分表示。
p22-2*p12+p02=(p22-p12)-(p12-p02)
式(48)之左邊第2項至第4項分別為判定自區塊Bku之左第6行像素之式、判定自區塊Bk1之左第3行像素之式、判定自區塊Bk1之左第6行像素之式。對於式(48)之左邊第2項至第4項亦同樣成立。
如此般，在HEVC方式之區塊間之邊界判定中，將傾斜一定之波形作為處理對象，因此，在LCU之列邊界之解塊處理中，利用區塊間之邊界判定之波形之傾斜。
在先前之技術中，在LCU之列邊界之解塊處理中，針對無法參照 之像素，利用複製(Padding)。與此相對，在本技術中，在LCU之列邊界之解塊處理中，針對無法參照之像素進行利用波形之傾斜之線性近似。
即，在本技術之LCU之列邊界之解塊處理中，使用以下之線性近似之式(49)。
[數14]p2i=p1i+(p2i-p1i)≒p1i+(p1i-p0i)=2*p1i-p0i．．．(49)
另，如圖18所示，p2i，p1i，p0i之像素值有傾斜之情形，在利用先前之R2W2之複製(Padding)中，無法參照p2i之像素值。因此，代替p2i之像素值，如陰影線之圓圈所示，下一個之p1i之像素值被複製(Padding)使用，實際之p2i之像素值係虛線之圓之位置，故導致產生誤差。
與此相對，在根據本技術之R2W2之一次線性預測中，因無法參照p2i之像素值，故，如陰影線之圓圈所示，p2i之像素值使用自p1i及p0i之像素值之傾斜根據一次線性而預測之像素值(=與實際相同之像素值)。
藉由如以上之方式，在像素值有傾斜之情形下，根據本技術，相比先前之複製(Padding)之方法，不會產生誤差。因此，即使R2W2，仍可一方面保持解塊之區塊失真減少功能，且實現列記憶體之削減。
又，例如4K×2K之圖像之1列相當於2K×1K之圖像之2列大小。又，在H.264/AVC方式中，具備4列大小之列記憶體，4K×2K之圖像之1列大小之記憶容量相當於H.264/AVC方式之50%之記憶容量。即，在高解析度圖像中記憶容量之削減效果提高。
另，p2i、p1i、p0i之像素值有傾斜之情形時，實質上，與使用下一個之p1i之像素值同等。該情形時，即使R2W2，亦可一方面保持解塊之區塊失真減少功能，且實現列記憶體之削減。
[R2W2之情形之濾器處理]
接著，關於R2W2之情形之亮度信號之濾波處理進行說明。R2表示所參照之像素，W2表示應用濾波處理之像素。即，所謂R2W2，如圖19所示，表示參照LCU之列邊界上之2像素，對LCU之列邊界上之2像素應用濾波處理。
另，在圖19之例中，明示無法參照圖16之自區塊BKu內之列邊界BB向上第3行及第4行之像素。
作為比較而再次顯示，在HEVC方式之亮度信號之強過濾中，藉由進行式(50)至式(55)之運算，可算出濾波處理範圍之各像素之亮度成份。另，式(50)至式(55)係分別對應於式(37)至式(42)之式。
[數15]p00=Clip0-255((p2i+2*p1i+2*p0i+2*q0i+q1i+4)>>3)；i=0,7．．．(50) q00=Clip0-255((p1i+2*p0i+2*q0i+2*q1i+q2i+4)>>3)；i=0,7．．．(51) p10=Clip0-255((p2i+p1i+p0i+q0i+2)>>2)；i=0,7．．．(52) q10=Clip0-255((p0i+q0i+q1i+q2i+2)>>2)；i=0,7．．．(53) p20=Clip0-255((2*p3i+3*p2i+p1i+p0i+q0i+4)>>3)；i=0,7．．．(54) q20=Clip0-255((p0i+q0i+q1i+3*q2i+2*q3i+4)>>3)；i=0,7．．．(55)
與此相對，在本技術之R2W2之情形之亮度信號之強過濾中，藉由進行式(56)至式(60)之運算，可算出濾波處理範圍之各像素之亮度成份。
[數16] p00=Clip0-255((4*p1i+p0i+2*q0i+q1i+4)>>3)；i=0,7．．．(56) q00=Clip0-255((p1i+2*p0i+2*q0i+2*q1i+q2i+4)>>3)；i=0,7．．．(57) p10=Clip0-255((3*p1i+q0i+2)>>2)；i=0,7．．．(58) q10=Clip0-255((p0i+q0i+q1i+q2i+2)>>2)；i=0,7．．．(59) q20=Clip0-255((p0i+q0i+q1i+3*q2i+2*q3i+4)>>3)；i=0,7．．．(60)
此處，R2W2之情形之強過濾之式(56)相較於線性近似之式(49)，HEVC方式之強過濾之式(50)之「p2i+2 ＊ p1i+2 ＊ p0i」替換為「4 ＊ p1i+p0i」之點不同。
R2W2之情形之強過濾之式(58)相較於線性近似之式(49)，HEVC方式之強過濾之式(52)之「p2i+p1i+p0i」替換為「3 ＊ p1i」之點不同。
在R2W2之情形之強過濾中，削除與HEVC方式之強過濾之式(54)對應之式之點不同。
即，在本技術之R2W2之情形下，因不參照自區塊Bku之列邊界BB向上第3列之列像素「p2i」，故，取而代之，代入線性近似之式(49)而使用。
又，由於不對自區塊Bku之列邊界BB向上第3列之列像素「p20」實施濾波處理，故，在R2W2之情形之強過濾中，削除與HEVC方式之強過濾之式(54)對應之式。
接著，關於列邊界之亮度信號之弱過濾之判定式及弱過濾進行說明。
首先，在HEVC方式之亮度信號之弱過濾之判定式及弱過濾中，藉由進行式(61)至式(63)之運算，算出過濾處理範圍之各像素之亮度成份。另，式(61)至式(63)之第1式為弱過濾之判定式。
[數17] if(abs(delta)<iThrCut),delta=(9*(q0i-p0i)-3*(q1i-p1i))．p00=Clip0-255(p0i+Clip(-tc)-tc(delta))；i=0,7．q00=Clip0-255(q0i-Clip(-tc)-tc(delta))；i=0,7．．．(61) if(abs((p22-2*p12+p02)+abs(p25-2*p15+p05)<iSideThreshold))．p10=Clip0-255(p1i+Clip(-tc2)-tc2(((p2i+p0i+1)>>1)-p1i+delta)>>1)；i=0,7．．．(62) if(abs((q22-2*q12+q02)+abs(q25-2*q15+q05)<iSideThreshold))．q10=Clip0-255(q1i+Clip(-tc2)-tc2((((q2i+q0i+1)>>1)-q1i-delta)>>1)；i=0,7．．．(63)
此處，如上所述，Clip0-255表示0以下之情形上升至為0，255以上之情形下降至255之剪輯處理。又，Clip(-tc)-tc表示為-tc以下之情形進為-tc，為tc以上之情形切低為tc之剪輯處理。針對tc2之剪輯亦相同。另，關於以下之式亦相同。另，如表1所示，tc係基於參數Q而設定之值。
與此相對，在R2W2之情形之亮度信號之弱過濾之判定式及弱過濾中，藉由進行式(64)至式(66)之運算，算出過濾處理範圍之各像素之亮度成份。另，式(64)至式(66)之第1式為弱過濾之判定式。
[數18]if(abs(delta)<iThrCut),delta=(9*(q0i-p0i)-3*(q1i-p1i))．p00=Clip0-255(p0i+Clip(-tc)-tc(delta))；i=0,7．q00=Clip0-255(q0i-Clip(-tc)-tc(delta))；i=0,7．．．(64) if(abs(0-(p12-p02))+abs(0-(p15-p05))<iSideThreshold))．p10=Clip0-255(p1i+Clip(-tc2)-tc2((((p1i+p1i+1)>>1)-p1i+delta)>>1)；i=0,7．．．(65) if(abs((q22-2*q12+q02)+abs(q25-2*q15+q05)<iSideThreshold))．q10=Clip0-255(q1i+Clip(-tc2)-tc2((((q2i+q0i+1)>>1)-q1i-delta)>>1)；i=0,7．．．(66)
此處，R2W2之情形之式(65)之中、弱過濾之式即第2式之tc2之剪輯內，根據線性近似之式(49)，與HEVC方式之式(62)之中、第2式之tc2之剪輯內不同。即，第2式之tc2之剪輯內，HEVC方式之第2式之tc2之剪輯內「((((p2i+p0i+1)>>1)-p1i+delta)>>1)」替換為 「((((p1i+p1i+1)>>1)-p1i+delta)>>1)」。
又，R2W2之情形之式(65)之中、弱過濾之判定式即第1式之if文內，與HEVC方式之式(62)之中、第1式之if文內不同。即，第1式之if文內，HEVC方式之第1式之if文內「abs(p22-2 ＊ p12+p02)+abs(p25-2 ＊ p15+p05)」替換為「abs(0-(p12-p02))+abs(0-(p15-p05))」。
即，式(65)之中，關於第1式，並非線性近似，而進行下式(67)所示之以下一個之像素之複製(padding)。換言之，「abs(0-(p12-p02))」之0表示「0=p22-p12」，「abs(0-(p15-p05))」之0表示「0=p25-p15」。
[數19]p2i≒p1i．．．(67)
其原因為，關於針對過濾之判定式之傾斜之判定，若使用線性近似，則會導致針對實際無法通過者之判定通過。因此，關於弱過濾之判定式之傾斜之判定，如式(67)所示，設為進行以下一個之像素之複製(padding)者。該點對於以下所述之強過濾之判定式或區塊間之邊界判定式亦同樣可言。
接著，關於列邊界之亮度信號之區塊間之邊界判定式及強過濾之判定式進行說明。
首先，HEVC方式之亮度信號之區塊間之邊界判定式以下式(68)表示，強過濾之判定式以下式(69)表示。
[數20]if(abs((p22-2*p12+p02)+abs(p25-2*p15+p05)+abs((q22-2*q12+q02)+abs((q25-2*q15+q05)+<β) ．．．(68)
[數21]d<(β>>2),d=abs((p22-2*p12+p02)+abs(p25-2*p15+p05)+abs((q22-2*q12+q02)+abs(q25-2*q15+q05)and(｜p3i-p0i｜+｜q0i-q3i｜)<(β>>3 and｜p0i-q0i｜<((5*tc+1)>>1)．．．(69)
與此相對，本技術之R2W2之情形之區塊間之邊界判定式以下式(70)表示，強過濾之判定式以下式(71)表示。
[數22]if(abs(0-(p12-p02))+abs(0-(p15-p05))+abs((q22-2*q12+q02)+abs(q25-2*q15+q05)<β) ．．．(70)
[數23]d<(β>>2),d=abs(0-(p12-p02))+abs(0-(p15-p05))+abs((q22-2*q12+q02)+abs(q25-2*q15+q05)and(｜(p1i-p0i)<<1｜+｜q0i-q3i｜)<(β>>3)and｜p0i-q0i｜<((5*tc+1)>>1)．．．(71)
R2W2之情形之區塊間之邊界判定之式(70)之if文內之第1項目及第2項目，根據複製(padding)之式(67)，與HEVC方式之區塊間之邊界判定之式(68)之if文內的第1項目及第2項目不同。即，if文內之第1項目及第2項目，HEVC方式之if文內之第1項目及第2項目「abs(p22-2 ＊ p12+p02)+abs(p25-2 ＊ p15+p05)」替換為「abs(0-(p12-p02))+abs(0-(p15-p05))」。
又，R2W2之情形之強過濾判定之式(71)之第1列之絕對值內，根據複製(padding)之式(67)，與HEVC方式之強過濾判定之式(69)之第1列之絕對值內不同。即，式(71)之第1列之絕對值內，式(69)之第1列 之絕對值內「abs(p22-2 ＊ p12+p02)+abs(p25-2 ＊ p15+p05)」替換為「abs(0-(p12-p02))+abs(0-(p15-p05))」。
再者，R2W2之情形之強過濾判定之式(71)之第1個「and」以下之式，與HEVC方式之強過濾判定之式(69)之第1個「and」以下之式不同。即，式(71)之第1個「and」以下之式，式(69)之第1個「and」以下之式「(｜p3i-p0i<<1｜+｜q0i-q3i｜)」<(β>>3))」替換為「(｜p1i-p0i<<1｜+｜q0i-q3i｜)」<(β>>3))」。
另，由於該部份之判定係像素值之大小之判定，故使用線性近似之式(49)及複製(padding)之式(67)。即，式(71)之第1個「and」以下之式，在式(69)第1個「and」以下之式中，首先，「p3i」根據複製與「p2i」近似，其後，「p2i」根據線性與「2 ＊ p1i-p0i」近似而產生。
[R2W1之情形之濾波處理]
接著，關於R2W1之情形之亮度信號之濾波處理進行說明。R2表示所參照之像素，W1表示應用濾波處理之像素。即，所謂R2W1，如圖19所示，表示參照LCU之列邊界上之2像素，對LCU之列邊界上之1像素應用濾波處理。
在R2W1之情形之本技術之亮度信號之強過濾中，藉由進行式(72)至式(75)之運算，而算出濾波處理範圍之各像素之亮度成份。
[數24]p00=Clip0-255((4*p1i+p0i+2*q0i+q1i+4)>>3)；i=0,7．．．(72) q00=Clip0-255((p1i+2*p0i+2*q0i+2*q1i+q2i+4)>>3)；i=0,7．．．(73) q10=Clip0-255((p0i+q0i+q1i+q2i+2)>>2)；i=0,7．．．(74) q20=Clip0-255((p0i+q0i+q1i+3*q2i+2*q3i+4)>>3)；i=0,7．．．(75)
此處，R2W1之情形之強過濾之式(72)，根據線性近似之式(49)， HEVC方式之強過濾之式(50)之「p2i+2 ＊ p1i+2 ＊ p0i」替換為「4 ＊ p1i+p0i」之點不同。
在R2W1之情形之強過濾中，削除與HEVC方式之強過濾之式(52)及式(54)對應之式之點不同。
即，在本技術中，由於不參照自區塊Bku之列邊界BB向上第3列之列像素「p2i」，因此，取而代之，代入使用線性近似之式(49)。
又，對自區塊Bku之列邊界BB向上第2列之列像素「p10」及第3列之列像素「p20」，不實施濾波處理。因此，在R2W1之情形之強過濾中，削除與HEVC方式之強過濾之式(52)及式(54)對應之式。
接著，關於列邊界之亮度信號之弱過濾之判定式及弱過濾進行說明。
在R2W1之情形之亮度信號之弱過濾之判定式及弱過濾中，藉由進行式(76)及式(77)之運算，算出濾波處理範圍之各像素之亮度成份。
[數25]if(abs(delta)<iThrCut),delta=(9*(q0i-p0i)-3*(q1i-p1i))p00=Clip0-255(p0i+Clip(-tc)-tc(delta))；i=0,7 q00=Clip0-255(q0i-Clip(-tc)-tc(delta))；i=0,7．．．(76) if(abs((q22-2*q12+q02)+abs(q25-2*q15+q05)<iSideThreshold))．q10=Clip0-255(q1i+Clip(-tc2)-tc2(((q2i+q0i+1)>>1)-q1i-delta)>>1)；i=0,7．．．(77)
此處，R2W1之情形，對自區塊Bku之列邊界BB向上第2列之列像素「p10」，不實施濾波處理。因此，在R2W1之情形之弱過濾之判定式及弱過濾中，削除與HEVC方式之式(62)對應之式。
接著，關於列邊界之亮度信號之區塊間之邊界判定式及強過濾之判定式進行說明。
R2W1之情形之區塊間之邊界判定式以下式(78)表示，強過濾之 判定式以下式(79)表示。
[數26]if(abs(0-(p12-p02))+abs(0-(p15-p05))+abs((q22-2*q12+q02)+abs(q25-2*q15+q05)<β) ．．．(78)
[數27]d<(β>>2),d=abs(0-(p12-p02))+abs(0-(p15-p05))+ abs((q22-2*q12+q02)+abs(q25-2*q15+q05)and(｜(p1i-p0i)<<1｜+｜q0i-q3i｜)<(β>>3)and｜p0i-q0i｜<((5*tc+1)>>1)．．．(79)
R2W1之情形之區塊間之邊界判定之式(78)之if文內之第1項目及第2項目，根據複製(padding)之式(67)，與HEVC方式之區塊間之邊界判定之式(68)之if文內之第1項目及第2項目不同。即，if文內之第1項目及第2項目，HEVC方式之if文內之第1項目及第2項目「abs(p22-2 ＊ p12+p02)+abs(p25-2 ＊ p15+p05)」替換為「abs(0-(p12-p02))+abs(0-(p15-p05))」。
又，R2W1之情形之強過濾判定之式(79)之第1列之絕對值內，根據複製(padding)之式(67)，與HEVC方式之強過濾判定之式(69)之第1列之絕對值內不同。即，式(79)之第1列之絕對值內，式(69)之第1列之絕對值內「abs(p22-2 ＊ p12+p02)+abs(p25-2 ＊ p15+p05)」替換為「abs(0-(p12-p02))+abs(0-(p15-p05))」。
再者，R2W1之情形之強過濾判定之式(79)之第1個「and」以下之式，與HEVC方式之強過濾判定之式(69)之第1個「and」以下之式不同。即，式(79)之第1個「and」以下之式，式(69)之第1個「and」 以下之式「(｜p3i-p0i<<1｜+｜q0i-q3i｜)」<(β>>3))」替換為「(｜p1i-p0i<<1｜+｜q0i-q3i｜)」<(β>>3))」。
R2W2之情形時，如上所述，由於該部份之判定係像素值之大小之判定，故使用線性近似之式(49)及複製(padding)之式(67)。即，式(79)之第1個「and」以下之式，在式(69)第1個「and」以下之式中，首先，「p3i」與「p2i」近似，其後，「p2i」與「2 ＊ p1i-p0i」近似而產生。
另，關於用以實現根據以上之線性近似之判定處理之構成例及動作，作為解塊濾波處理部之第6及第7實施形態，參照後述之圖22至圖24進行說明。
另，如上所述，在本技術中，使用線性近似之式(49)及複製(padding)之式(67)而變更列邊界之區塊間之邊界判定及強過濾判定式。因此，作為誤通過上述判定式，而導致誤進行解塊濾波處理之情形之對策，於強過濾處理中追加剪輯處理。
[本技術之說明(強過濾之剪輯處理)]
接著，關於第8實施形態之強過濾之剪輯處理進行說明。R2W2之情形之亮度信號之強過濾亦可使用已追加剪輯處理之下式(80)至式(84)。
[數28]p00=Clip0-255(p00+Clip(-tc)-tc(((4*p1i+p0i+2*q0i+q1i+4)>>3)-p00))；i=0,7．．．(80) q00=Clip0-255(p00+Clip(-tc)-tc(((p1i+2*p0i+2*q0i+2*q1i+q2i+4)>>3)-p00))；i=0,7．．．(81) p10=Clip0-255(p10+Clip(-tc)-tc(((3*p1i+q0i+2)>>2)-p10))；i=0,7．．．(82) q10=Clip0-255(q10+Clip(-tc)-tc(((p0i+q0i+q1i+q2i+2)>>2)-q10))；i=0,7．．．(83) q20=Clip0-255(q20+Clip(-tc)-tc(((p1i+q0i+q1i+3*q2i+2*q3i+4)>>3)-q20))；i=0,7．．．(84)
強過濾之式(80)係過濾後之p00之算出式。在強過濾之式(80)中， 對於針對式(56)之0至255之剪輯處理內、與p00之差分實施(-tc)至tc之剪輯處理之值相加至p00者，進行0至255之剪輯處理。
強過濾之式(81)係過濾後之q00之算出式。在強過濾之式(81)中，對於針對式(57)之0至255之剪輯處理內、與q00之差分實施(-tc)至tc之剪輯處理之值相加至q00者，進行0至255之剪輯處理。
強過濾之式(82)係過濾後之p10之算出式。在強過濾之式(82)中，對於針對式(58)之0至255之剪輯處理內、與p10之差分實施(-tc)至tc之剪輯處理之值相加至p10者，進行0至255之剪輯處理。
強過濾之式(83)係過濾後之q10之算出式。在強過濾之式(83)中，對於針對式(59)之0至255之剪輯處理內、與q10之差分實施(-tc)至tc之剪輯處理之值相加至q10者，進行0至255之剪輯處理。
強過濾之式(84)係過濾後之q20之算出式。在強過濾之式(84)中，對於針對式(60)之0至255之剪輯處理內、與q20之差分實施(-tc)至tc之剪輯處理之值相加至q20者，進行0至255之剪輯處理。
藉由以上之方式，可抑制過度之濾波處理。
另，此處，有如下之提案：Matthias Narroschke,Tomas Wedi,Semih Esenlik,「Results for modified decisions for deblocking」,JCTVC-G590,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting,Geneva,CH,21-30 November,2011(以下，稱為非專利文獻2)。
在非專利文獻2中，揭示有區塊單位下強過濾、弱過濾之判定處理。然而，在非專利文獻2所揭示之判定處理中，關注列與包含該列之區塊單位之判定不同之情形(關注列為弱過濾之判定，與此相對，包含該列之區塊為強過濾判定，而對關注列應用強過濾之情形)，進行過度之濾波處理。
又，在非專利文獻2中，因以4列單位進行強過濾、弱過濾之判 定處理，故，在判定與過濾處理之間會產生不匹配。作為不匹配之例，雖有必要判定為強，但進行弱濾波，或雖有必要判定為弱，但進行強濾波。
另，在HEVC方式(HM-5.0)之亮度信號之強過濾中，採用下式(85)至式(89)。
[數29]p0i=(p2i+2*p1i+2*p0i+2*q0i+q1i+4)>>3；i=0,7．．．(85) q0i=(p1i+2*p0i+2*q0i+2*q1i+q2i+4)>>3；i=0,7．．．(86) p1i=(3*p1i+q0i+2)>>2；i=0,7．．．(87) q1i=(p0i+q0i+q1i+q2i+2)>>2；i=0,7．．．(88) q2i=(p0i+q0i+q1i+3*q2i+2*q3i+4)>>3；i=0,7．．．(89)
在本技術中，為消除判定處理之不匹配及判定處理之不完全，亦可應用下式(90)至式(94)所示之剪輯處理。另，在式(90)中，因欲對根據濾波處理而變化之部份△值進行剪輯處理，故，p0i被排除至剪輯處理之外。關於其他之式(91)至式(94)亦相同。
[數30]p0i=p0i+Clip(-pv)-(pv)((p2i+2*p1i-6*p0i+2*q0i+q1i+4)>>3)；i=0,7．．．(90) q0i=q0i+Clip(-pv)-(pv)((p1i+2*p0i-6*q0i+2*q1i+q2i+4)>>3)；i=0,7．．．(91) p1i=p1i+Clip(-pv)-(pv)((-p1i+q0i+2)>>2)；i=0,7．．．(92) q1i=q1i+Clip(-pv)-(pv)((p0i+q0i-3*q1i+q2i+2)>>2)；i=0,7．．．(93) q2i=q2i+Clip(-pv)-(pv)((p0i+q0i+q1i-5*q2i+2*q3i+4)>>3)；i=0,7．．．(94)
此處，剪輯值pv設為參數tc之1倍、2倍、3倍4倍、5倍、6倍、7倍、8倍之任一者。即，pv=tc、2 ＊ tc、3 ＊ tc、4 ＊ tc、5 ＊ tc、6 ＊ tc、7 ＊ tc、8 ＊ tc。另，雖可認為剪輯值pv為參數tc之2倍較好，但可設想只要為1至8倍之任一者即可。又，若可獲得同等效果，則並非限定於 1至8倍。
又，tc根據量化參數QP而變動。藉此，亦可使剪輯值之tc相關之倍數亦隨QP變大而變大(即，根據QP而變動)。該剪輯處理相關之參數(剪輯值或剪輯值之tc相關之倍數之值)可預先設定，亦可附加於編碼串流而向解碼側傳送。
另，上述之式(90)至式(94)可如下式(95)至式(99)般進行剪輯處理。
[數31]p0i=Clip0-255(p0i+Clip(-pv)-(pv)((p2i+2*p1i-6*p0i+2*q0i+q1i+4)>>3))；i=0,7．．．(95) q0i=Clip0-255(q0i+Clip(-pv)-(pv)((p1i+2*p0i-6*q0i+2*q1i+q2i+4)>>3))；i=0,7．．．(96) p1i=Clip0-255(p1i+Clip(-pv)-(pv)((-p1i+q0i+2)>>2))；i=0,7．．．(97) q1i=Clip0-255(q1i+Clip(-pv)-(pv)((p0i+q0i-3*q1i+q2i+2)>>2))；i=0,7．．．(98) q2i=Clip0-255(q2i+Clip(-pv)-(pv)((p0i+q0i+q1i-5*q2i+2*q3i+4)>>3))；i=0,7．．．(99)
此處，上述之HEVC方式(HM-5.0)之亮度信號之強過濾之式(85)至式(89)係列邊界之亮度信號之強過濾之式。即，在HEVC方式(HM-5.0)中，亮度信號之強過濾實際上以下式(100)至式(105)表示。
[數32]p0i=(p2i+2*p1i+2*p0i+2*q0i+q1i+4)>>3；i=0,7．．．(100) q0i=(p1i+2*p0i+2*q0i+2*q1i+q2i+4)>>3；i=0,7．．．(101) p1i=(p2i+p1i+p0i+q0i+2)>>2；i=0,7．．．(102) q1i=(p0i+q0i+q1i+q2i+2)>>2；i=0,7．．．(103) p2i=(2*p3i+3*p2i+p1i+p0i+q0i+4)>>3；i=0,7．．．(104) q2i=(p0i+q0i+p1i+3*q2i+2*q3i+4)>>3；i=0,7．．．(105)
對應該等之式(100)至式(105)，在本技術中，為消除判定處理之 不匹配及判定處理之不完全，如下式(106)至式(111)所示，可對亮度信號之強過濾應用剪輯處理。另，在式(106)之第1式中，與上述之式(90)至(94)之例相同，因欲對根據濾波處理而變化之部份△值進行剪輯處理，故，p0i被排除至剪輯處理之外。關於其他之式(107)至式(111)之第1式亦相同。
[數33]p0i=p0i+Clip(-pv)-(pv)((p2i+2*p1i-6*p0i+2*q0i+q1i+4)>>3)；i=0,7=Clip(p0i-pv)-(p0i+pv)((p2i+2*p1i+2*p0i+2*q0i+q1i+4)>>3)；．．．(106) q0i=q0i+Clip(-pv)-(pv)((p1i+2*p0i-6*q0i+2*q1i+q2i+4)>>3)；i=0,7=Clip(q0i-pv)-(q0i+pv)((p1i+2*p0i+2*q0i+2*q1i+q2i+4)>>3)；．．．(107) p1i=p1i+Clip(-pv)-(pv)((p2i-3*p1i+p0i+q0i+2)>>2)；i=0,7=Clip(p1i-pv)-(p1i+pv)((p2i+p1i+p0i+q0i+2)>>2)；．．．(108) q1i=q1i+Clip(-pv)-(pv)((p0i+q0i-3*q1i+q2i+2)>>2)：i=0,7=Clip(q1i-pv)-(q1i+pv)((p0i+q0i+q1i+q2i+2)>>2)；．．．(109) p2i=p2i+Clip(-pv)-(pv)((2*p2i-5*p2i+p1i+p0i+q0i+4)>>3)：i=0,7=Clip(p2i-pv)-(p2i+pv)((2*p3i+3*p2i+p1i+p0i+q0i+4)>>3)；．．．(110) q2i=q2i+Clip(-pv)-(pv)((p0i+q0i+q1i-5*q2i+2*q3i+4)>>3)；i=0,7=Clip(q2i-pv)-(q2i+pv)((p0i+q0i+q1i+3*q2i+2*q3i+4)>>3)；．．．(111)
此處，剪輯值pv設為參數tc之1倍、2倍、3倍、4倍、5倍、6倍、7倍、8倍之任一者。即，pv=tc、2 ＊ tc、3 ＊ tc、4 ＊ tc、5 ＊ tc、6 ＊ tc、7 ＊ tc、8 ＊ tc。另，雖可認為剪輯值pv為參數tc之2倍較好，但可設想只要為1至8倍之任一者即可。又，若可獲得同等效果，則並非限定於1至8倍。
又，tc根據量化參數QP而變動。藉此，亦可使剪輯值之tc相關之倍數亦隨QP變大而變大(即，根據QP而變動)。該剪輯處理相關之參 數(剪輯值或剪輯值之tc相關之倍數之值)可預先設定，亦可附加於編碼串流而向解碼側傳送。
圖20係顯示根據實驗之藉由上述之式(100)至式(105)之HEVC方式(HM-5.0)之亮度信號之強過濾而變化之像素值之最大值之圖。
AI_HE、RA_HE、LB_HE、及LP_HE表示本實驗之條件。AI_HE表示以ALL INTRA High Efficiency進行實驗。RA_HE表示以Random Access High Efficiency進行實驗。LB_HE表示以Low Delay B High Efficiency進行實驗。LP_HE表示以Low Delay P High Efficiency進行實驗。
AI_HE、RA_HE、LB_HE、及LP_HE之下所示之「22、27、32、37」係實驗中所使用之量化參數值。又，Class A至Class F表示實驗中所使用之測試順序之種類。
如圖20所示，根據HEVC方式(HM-5.0)之亮度信號之強過濾而變化之像素值、即無剪輯處理之情形時根據強過濾而變化之像素值，根據情形較大地變化至100以上。
因此，對亮度信號之強過濾應用剪輯處理。藉此，如下圖21所示，可將判定處理之不匹配及判定處理之不完全之影響抑制於最小限度。
在圖21之例中，具有實線所示之邊緣(並非區塊邊界)之情形下，本來不欲進行解塊處理，但若利用非專利文獻2之技術，實施解塊處理，則如虛線所示，像素值較大地變化。
例如，於解塊處理前，如實線所示，像素p2i、像素p1i、及像素p0i之值為255，像素q0i、像素q1i、及像素q2i之值為0，像素p0i與像素q0i之值之差D為255。
與此相對，如虛線所示，解塊處理後之像素p2i之值成為223，像素p1i之值成為191，像素p0i之值成為159，像素p2i、像素p1i、及像素 p0i之像素值較大地變化。又，解塊處理後之像素q0i之值成為96，像素q1i之值成為64，像素q2i之值成為32，像素q0i、像素q1i、及像素q2i之像素值較大地變化。
如此之情形時，例如，在上述之式(106)至式(111)之強過濾中，進行剪輯值為10之剪輯處理。
藉此，如粗線所示，解塊後，像素p2i、像素p1i、及像素p0i之值成為245，像素q0i、像素q1i、及像素q2i之值成為255，從而可將上述之像素值之變化抑制於最小限度。
另，關於用以實現以上之強過濾之剪輯處理之構成例及動作，作為解塊濾波處理部之第8實施形態，參照後述之圖25及圖27進行說明。
<13. 解塊濾波處理部之第6實施形態> [解塊濾波處理部之構成例]
圖22例示解塊濾波處理部之第6實施形態之構成。解塊濾波處理部24以包含圖像記憶體71、區塊邊界判定部72-1、濾波器強度判定部73-1、濾波運算部74-1、選擇器75、係數記憶體76、及濾波器控制部77之方式構成。解塊濾波處理部24以進而包含列邊界區塊邊界判定部72-2、列邊界濾波器強度判定部73-2、及列邊界濾波運算部74-2之方式構成。
圖像記憶體71係與圖9之列記憶體241相當之部份，以列記憶體構成。圖像記憶體71記憶自加法部23所供給之圖像資料。圖像記憶體71讀取所記憶之圖像資料，供給至區塊邊界判定部72-1、濾波器強度判定部73-1、及濾波運算部74-1。又，圖像記憶體71讀取所記憶之圖像資料，亦供給至列邊界區塊邊界判定部72-2、列邊界濾波器強度判定部73-2、及列邊界濾波運算部74-2。
另，在並非列邊界之處，亦有不於圖像記憶體71中記憶圖像資 料，而將自加法部23所供給之圖像資料供給至各部份，將其進行處理之情形。然而，在圖22之例中，為便於說明，暫且說明處理經由圖像記憶體71之圖像資料。
區塊邊界判定部72-1在控制部77之控制之下，進行區塊間之邊界判定。即，區塊邊界判定部72-1使用自圖像記憶體71所讀取之圖像資料，對每個區塊進行上述之區塊間之邊界判定處理，而檢測進行濾波處理之區塊間之邊界。區塊邊界判定部72-1將檢測結果輸出至濾波器強度判定部73-1。
濾波器強度判定部73-1在控制部77之控制之下，以上述之方式進行濾波器強度之判定。即，濾波器強度判定部73-1使用來自圖像記憶體71之包夾區塊之邊界而鄰接之2個區塊之圖像資料，對每一列判定以強過濾或弱過濾之何種強度進行濾波處理，將判定結果輸出至濾波運算部74-1。
濾波運算部74-1在控制部77之控制之下，使用圖像記憶體71中所記憶之圖像資料、及自係數記憶體76所讀取之濾波器係數，對每一列以濾波器強度判定部73-1中所判定之濾波器強度進行濾波運算。濾波運算部74-1將完成濾波處理之圖像資料輸出至選擇器75。
列邊界區塊邊界判定部72-2在控制部77之控制之下，為LCU之列邊界之情形時，進行區塊間之邊界判定。即，列邊界區塊邊界判定部72-2使用自圖像記憶體71所讀取之圖像資料，對每個區塊進行上述之區塊間之邊界判定處理，檢測進行濾波處理之區塊間之邊界。列邊界區塊邊界判定部72-2將檢測結果輸出至列邊界濾波器強度判定部73-2。
列邊界濾波器強度判定部73-2在控制部77之控制之下，為LCU之列邊界之情形時，如上所述般進行濾波器強度判定。即，列邊界濾波器強度判定部73-2使用來自圖像記憶體71之包夾區塊之邊界而鄰接之 2個區塊之圖像資料，對每一列判定以強過濾或弱過濾之何種強度進行過濾處理，將判定結果輸出至列邊界濾波運算部74-2。
列邊界濾波運算部74-2在控制部77之控制之下，使用圖像記憶體71中所記憶之圖像資料、及自係數記憶體76所讀取之濾波器係數，對每一列，以列邊界濾波器強度判定部73-2中所判定之濾波器強度進行濾波運算。列邊界濾波運算部74-2將完成濾波處理之圖像資料輸出至選擇器75。
選擇器75在控制部77之控制之下，選擇來自濾波運算部74-1之圖像資料或來自列邊界濾波運算部74-2之圖像資料之任一者，將所選擇之圖像資料輸出至圖框記憶體25。
係數記憶體76記憶解塊濾波處理之濾波運算中使用之濾波器係數。係數記憶體76讀取所記憶之濾波器係數，供給至濾波運算部74-1及列邊界濾波運算部74-2。
控制部77控制解塊濾波處理部24之各部份。控制部77例如控制圖像記憶體71，記憶區塊內之下端側之特定列數大小之圖像資料，進行所記憶之圖像資料之讀取。控制部77以包含LCU內列判定部77A之方式構成。
LCU內列判定部77A對於光栅掃瞄方向依序進行處理之區塊單位，例如判定是否為LCU間之列邊界而將判定結果供給至區塊邊界判定部72-1、濾波器強度判定部73-1、及濾波運算部74-1，並非列邊界之情形時進行處理。又，LCU內列判定部77A亦將其判定結果供給至列邊界區塊邊界判定部72-2、列邊界濾波器強度判定部73-2、及列邊界濾波運算部74-2，為列邊界之情形時進行處理。再者，LCU內列判定部77A將其判定結果供給至選擇器75，為列邊界之情形，選擇來自列邊界濾波運算部74-2之圖像資料，並非列邊界之情形，選擇來自濾波運算部74-1之圖像資料。
另，在圖22之解塊濾波處理部24中，例如，可預先設定進行R2W2處理，亦可與圖9之例相同，以可控制濾波處理範圍或濾波運算範圍之方式構成。
[解塊濾波處理部之動作]
接著，參照圖23之流程圖，關於圖22之解塊濾波處理部24之解塊處理進行說明。另，在圖23之例中，關於進行R2W2之處理之情形進行說明。
在步驟S91中，LCU內列判定部77A判定於光栅掃瞄方向依序進行處理之區塊單位中進行之濾波是否為LCU邊界之垂直濾波。即，在步驟S91中，判定是否為LCU間之列邊界，進行之濾波是否為垂直濾波。
在步驟S91中判定進行之濾波為LCU邊界之垂直濾波之情形，處理進展至步驟S92。在步驟S92中，列邊界區塊邊界判定部72-2在控制部77之控制之下，為LCU之列邊界之情形時，進行列邊界之區塊間之邊界判定。
即，列邊界區塊邊界判定部72-2使用自圖像記憶體71所讀取之圖像資料，根據上述之式(70)，對每個區塊進行區塊間之邊界判定處理，檢測進行濾波處理之區塊間之邊界。列邊界區塊邊界判定部72-2將檢測結果輸出至列邊界濾波器強度判定部73-2。
在步驟S93中，列邊界濾波器強度判定部73-2在控制部77之控制之下，為LCU之列邊界之情形時，如上所述般，進行列邊界之濾波器強度判定。
即，列邊界濾波器強度判定部73-2使用來自圖像記憶體71之包夾區塊之邊界而鄰接之2個區塊之圖像資料，判定以強過濾或弱過濾之何種強度進行濾波處理。另，根據上述之式(71)進行強過濾之判定。又，根據上述之式(64)至式(66)之第1式，進行弱過濾之判定。列邊界 濾波器強度判定部73-2將判定結果輸出至列邊界濾波運算部74-2。
在步驟S94中，列邊界濾波運算部74-2在控制部77之控制之下，進行列邊界之濾波處理。即，列邊界濾波運算部74-2使用圖像記憶體71中所記憶之圖像資料、及自係數記憶體76讀取之濾波器係數，以列邊界濾波器強度判定部73-2中所判定之濾波器強度進行濾波運算。
如為強過濾之情形，根據上述之式(56)至式(60)進行濾波運算。又，如為弱過濾之情形，根據上述之式(64)至式(66)之第2式及第3式進行濾波運算。列邊界濾波運算部74-2將完成濾波處理之圖像資料輸出至選擇器75。
在步驟S95中，LCU內列判定部77A判定處理對象之列是否為LCU之最後之第8列。在步驟S95中判定處理對象之列並非LCU之最後之第8列之情形，處理返回至步驟S93，重複其以後之處理。
又，在步驟S95中判定處理對象之列為LCU之最後之第8列之情形，處理進展至步驟S100。
另一方面，在步驟S91中判定所施行之濾波並非LCU邊界之垂直濾波之情形，處理進展至步驟S96。在步驟S96中，區塊邊界判定部72-1在控制部77之控制之下，進行區塊間之邊界判定。
即，區塊邊界判定部72-1使用自圖像記憶體71讀取之圖像資料，根據上述之式(68)，對每個區塊進行區塊間之邊界判定處理，檢測所要進行濾波處理之區塊間之邊界。區塊邊界判定部72-1將檢測結果輸出至濾波器強度判定部73-1。
在步驟S97中，濾波器強度判定部73-1在控制部77之控制之下，如上所述般進行濾波器強度之判定。即，濾波器強度判定部73-1使用來自圖像記憶體71之包夾區塊之邊界而鄰接之2個區塊之圖像資料，對每一列判定以強過濾或弱過濾之何者之強度進行濾波處理。另，根據上述之式(69)進行強過濾之判定。又，根據上述之式(61)至式(63) 之第1式，進行弱過濾之判定。濾波器強度判定部73-1將判定結果輸出至濾波運算部74-1。
在步驟S98中，濾波運算部74-1在控制部77之控制之下，進行區塊邊界之濾波運算。即，濾波運算部74-1使用圖像記憶體71中所記憶之圖像資料、及自係數記憶體76讀取之濾波器係數，對每一列以濾波器強度判定部73-1中所判定之濾波器強度進行濾波運算。
如為強過濾之情形，根據上述之式(50)至式(55)進行濾波運算。又，如為弱過濾之情形，根據上述之式(61)至式(63)之第2式及第3式進行濾波運算。濾波運算部74-1將完成濾波處理之圖像資料輸出至選擇器75。
在步驟S99中，LCU內列判定部77A判定處理對象之列是否為LCU之最後之第8列。在步驟S99中判定處理對象之列並非LCU之最後之第8列之情形，處理返回至步驟S97，重複其以後之處理。
又，在步驟S99中判定處理對象之列為LCU之最後之第8列之情形，處理進展至步驟S100。
在步驟S100中，LCU內列判定部77A判定是否為圖像之最後之區塊。即，在步驟S100中，判定是否為畫面內之再度之區塊之列邊界。
在步驟S100中判定為圖像之最後之區塊之情形，解塊處理結束。在步驟S100中判定並非圖像之最後之區塊之情形，處理返回至步驟S91，依光栅掃瞄順序針對以下之LCU重複其以後之處理。
另，在圖22之例中，在濾波運算部74-1中使用列邊界以外之情形之係數，在列邊界濾波運算部74-2中使用列邊界之情形之係數，使用何者，於LCU內列判定部77A中進行選擇。藉此，已說明將列邊界之濾波處理及列邊界以外之濾波處理進行切換之例。
與此相對，藉由設使用之係數為1個而控制讀取之像素之位址，亦可切換列邊界之濾波處理與列邊界以外之濾波處理。
例如，以R2W2之強過濾之P00之算出為例進行說明。在HEVC方式之強過濾之式(50)中，p(區塊BKu)相關之項成為「p2i+2 ＊ p1i+2 ＊ q0i」。
另一方面，在HEVC方式之強過濾之式(56)中，p(區塊BKu)相關之項成為「4 ＊ p1i+q0i」。
此處，4 ＊ p1i+q0i=q0i+2 ＊ p1i+2 ＊ p1i。
即，式(50)之p相關之項、式(56)之p相關之項，係數自左向右均使用1、2、2。因此，使用相同之係數，替換該係數之相乘對象之像素值(變更讀取之位址)，藉此，可切換列邊界之濾波處理與列邊界以外之濾波處理。
<14. 解塊濾波處理部之第7實施形態> [解塊濾波處理部之構成例]
圖24顯示解塊濾波處理部之第7實施形態之構成。
在圖24之例中，解塊濾波處理部24以包含圖像記憶體71、區塊邊界判定部72、濾波器強度判定部73、濾波運算部74、係數記憶體76、及控制部77之方式構成。
另，圖24之解塊濾波處理部24之圖像記憶體71、係數記憶體76、控制部77與圖22之解塊濾波處理部24共通。
圖24之解塊濾波處理部24合併區塊邊界判定部72-1與列邊界區塊邊界判定部72-2而替換為區塊邊界判定部72之點與圖22之解塊濾波處理部24不同。圖24之解塊濾波處理部24合併濾波器強度判定部73-1與列邊界濾波器強度判定部73-2而替換為濾波器強度判定部73之點與圖22之解塊濾波處理部24不同。圖24之解塊濾波處理部24合併濾波運算部74-1與列邊界濾波運算部74-2而替換為濾波運算部74之點與圖22之解塊濾波處理部24不同。
再者，圖24之解塊濾波處理部24，控制部77之LCU內列判定部 77A替換為LCU內列判定部77B之點與圖22之解塊濾波處理部24不同。
即，LCU內列判定部77B，以R2W2之強過濾之P00之算出為例，如上所述般控制自圖像記憶體71讀取之像素之位址。因此，圖像記憶體71基於LCU內列判定部77B之控制，讀取像素，將所讀取之像素供給至區塊邊界判定部72、濾波器強度判定部73、濾波運算部74。
區塊邊界判定部72進行區塊間之邊界判定。即，區塊邊界判定部72使用自圖像記憶體71所讀取之圖像資料，對每個區塊進行上述之區塊間之邊界判定處理，檢測進行濾波處理之區塊間之邊界。區塊邊界判定部72將檢測結果輸出至濾波器強度判定部73。
濾波器強度判定部73如上所述般進行濾波器強度之判定。即，濾波器強度判定部73使用來自圖像記憶體71之包夾區塊之邊界而鄰接之2個區塊之圖像資料，對每一列，判定以強過濾或弱過濾之何種強度進行濾波處理，將判定結果輸出至濾波運算部74。
濾波運算部74使用圖像記憶體71中所記憶之圖像資料、及自係數記憶體76所讀取之濾波器係數，對每一列以濾波器強度判定部73中所判定之濾波器強度進行濾波運算。濾波運算部74將完成濾波處理之圖像資料輸出至圖框記憶體25。
另，由於圖24之解塊濾波處理部24之解塊濾波處理係與參照圖23上述之解塊濾波處理基本相同之處理，故省略其說明。
以如上之方式，針對因濾波運算中使用之圖像範圍變窄而無法參照之像素，使用區塊之邊界判定之波形之傾斜進行內插。藉此，關於像素值間有傾斜之情形之解塊處理，即使在LCU之列邊界縮小圖像範圍仍可進行。
又，針對因濾波運算中使用之圖像範圍變窄而無法參照之像素，在區塊之邊界判定、以及強弱濾波之判定中，使用區塊之邊界判 定之波形之傾斜及Padding進行內插。藉此，關於像素值間有傾斜之情形之解塊之判定處理，即使在LCU之列邊界縮小圖像範圍仍可進行。
藉由以上，在LCU之列邊界，即使圖像範圍變窄，仍可一方面保持解塊處理功能，並實現列記憶體之削減。
<15. 解塊濾波處理部之第8實施形態> [解塊濾波處理部之構成例]
圖25顯示解塊濾波處理部之第8實施形態之構成。
在圖25之例中，解塊濾波處理部24以包含圖像記憶體81、區塊邊界判定部82、濾波器強度判定部83、濾波運算部84、係數記憶體85、及控制部86之方式構成。
圖像記憶體81係與圖22之圖像記憶體71相當之部份，以列記憶體構成。圖像記憶體81記憶自加法部23所供給之圖像資料。圖像記憶體81讀取所記憶之圖像資料，供給至區塊邊界判定部82、濾波器強度判定部83、及濾波運算部84。
另，在並非列邊界之處，亦有不於圖像記憶體81中記憶圖像資料，而將自加法部23所供給之圖像資料供給至各部份，將其進行處理之情形。然而，在圖25之例中，為便於說明，暫且說明處理經由圖像記憶體81之圖像資料。
區塊邊界判定部82在控制部86之控制之下，以每8列導出邊界，算出使用於判定之參數，或以每4列進行區塊間之邊界判定。即，區塊邊界判定部82使用自圖像記憶體81所讀取之圖像資料，導出TU及PU之邊界，導出BS值。再者，區塊邊界判定部82求出鄰接於處理對象之邊界之2個區域之量化參數QP之平均值，算出平均QP(量化參數)，基於所算出之平均QP，算出參數tc及β。
且，區塊邊界判定部82使用來自圖像記憶體81之包夾區塊之邊 界而鄰接之2個區塊之圖像資料、及所算出之參數，以每4列判定是否進行濾波。區塊邊界判定部82將所算出之參數與邊界判定結果一併供給至濾波器強度判定部83。
濾波器強度判定部83在控制部86之控制之下，以每4列進行濾波器強度之判定。即，濾波器強度判定部83判定根據區塊邊界判定部82進行濾波之情形，判定以強過濾或弱過濾之何種強度進行濾波處理，將判定結果輸出至濾波運算部84。
濾波運算部84在控制部86之控制之下，使用圖像記憶體81中所記憶之圖像資料、及自係數記憶體85所讀取之濾波器係數，對每4列4以濾波器強度判定部83中所判定之濾波器強度進行濾波運算。尤其，判定根據濾波器強度判定部83進行強濾波之情形，濾波運算部84使用上述之式(106)至式(111)，進行剪輯處理伴隨之強過濾處理。濾波運算部84將完成濾波處理之圖像資料輸出至後段之圖框記憶體25。
係數記憶體85記憶解塊濾波處理之濾波運算中使用之濾波器係數。係數記憶體85讀取所記憶之濾波器係數，供給至濾波運算部84。
控制部86自未圖示之操作部(解碼側之情形，為可逆解碼部52)輸入資訊(解塊濾波器之ON/OFF資訊、參數β、tc之各偏移值、及剪輯處理相關之參數等)。又，對控制部86，亦供給預測模式資訊或量化參數等解塊濾波所需之參數。
例如，控制部86將輸入之資訊供給至對應之部份，或基於輸入之ON/OFF資訊，控制解塊濾波處理部24之各部。
控制部86例如控制圖像記憶體81，記憶區塊內之下端側之特定列數大小之圖像資料，進行所記憶之圖像資料之讀取。又，控制部86控制濾波運算部84，進行強過濾之情形時，進行剪輯處理伴隨之強過濾處理。此時，控制部86將該剪輯處理相關之參數(例如，剪輯值pv或剪輯值之tc之倍數值)供給至濾波運算部84。
[解塊濾波處理部之動作]
接著，參照圖26之流程圖，關於圖25之解塊濾波處理部24之解塊處理進行說明。
例如，經由未圖示之操作部(解碼側之情形，為可逆解碼部52)將ON/OFF資訊、β偏移值、tc偏移值、及剪輯處理相關之參數輸入至控制部86。又，對控制部86，亦供給預測模式資訊或量化參數等解塊濾波所需之參數。
在步驟S201中，控制部86設定濾波器之偏移(β偏移及tc偏移)，並將所設定之偏移資訊供給至濾波器強度判定部83。
在步驟S202中，控制部86基於ON/OFF資訊，判定是否不可利用解塊濾波器。在步驟S202中判定解塊濾波器不可利用之情形，結束解塊濾波處理。
在步驟S202中判定解塊濾波器並非不可利用之情形，控制部86對區塊邊界判定部82、濾波器強度判定部83、及濾波運算部84通知該旨意，處理進展至步驟S203。其時，亦自控制部86供給各部所需之參數等。
在步驟S203中，區塊邊界判定部82以8列單位導出TU及PU之邊界。在步驟S204中，區塊邊界判定部82基於步驟S203中所導出之TU及PU之邊界等之資訊、或來自控制部86之預測模式資訊等，進行BS(Boundary Strength：邊界強度)值之導出。
在步驟S205中，區塊邊界判定部82、濾波器強度判定部83、及濾波運算部84進行亮度邊界之濾波處理。該亮度邊界之濾波處理，參照下圖27後述，根據步驟S205之處理，對亮度信號實施亮度邊界之濾波。
在步驟S206中，區塊邊界判定部82、濾波器強度判定部83、及濾波運算部84進行色差邊界之濾波處理。根據步驟S206之處理，對色 差信號實施色差邊界之濾波。
在步驟S207中，控制部86判定是否已處理全部之邊界。在步驟S207中判定未處理全部之邊界之情形，處理返回至步驟S205，重複其以下之處理。在步驟S207中判定已處理全部之邊界之情形，處理進展至步驟S208。
在步驟S208中，控制部86判定是否已處理全部之CU。在步驟S208中判定尚未處理全部之CU之情形，處理返回至步驟S203，重複其以下之處理。
在步驟S208中判定已處理全部之CU之情形，結束解塊濾波處理。
[亮度邊界之濾波處理之例]
接著，參照圖27之流程圖，關於圖26之步驟S205之亮度邊界之濾波處理進行說明。
在步驟S231中，區塊邊界判定部82以8列單位判定BS值是否大於0。在步驟S231中判定BS值不大於0之情形，結束亮度邊界之濾波處理。即，對該情形之亮度邊界，不實施利用濾波運算部84之濾波處理，而直接輸出濾波前之像素值。
在步驟S231中判定BS值大於0之情形，處理進展至步驟S232。在步驟S232中，區塊邊界判定部82以8列單位，使用來自像素記憶體81之像素值，求出鄰接於處理對象之邊界之2個區域之量化參數QP之平均值，算出平均QP(量化參數)。此時之量化參數QP，自控制部86得以供給。
在步驟S233中，區塊邊界判定部82以8列單位，基於步驟S232中所算出之平均QP，算出參數tc及β。
在步驟S234中，區塊邊界判定部82進行4列單位之濾波器之on/off判定。即，區塊邊界判定部82使用所算出之參數β等，進行4列 單位之濾波器之on/off判定。對該判定處理，例如使用上述之式(68)。
步驟S234之on/off判定結果作為邊界判定結果，與算出之參數一起，被供給至濾波器強度判定部83。
又，在步驟S235中，濾波器強度判定部83進行4列單位之濾波器強度判定。即，濾波器強度判定部83使用由區塊邊界判定部82算出之參數β或參數tc等，進行4列單位之濾波器強度判定。對該判定處理，例如使用上述之式(69)或式(61)至式(63)之第1式。
步驟S234之on/off判定結果及步驟S235之濾波器強度判定結果被供給至濾波運算部84。另，此時，參數tc亦被供給至濾波運算部84。
在步驟S236中，濾波運算部84基於來自濾波器強度判定部83之判定結果，針對處理對象之4列，判定是否應用強濾波器。在步驟S236中，針對處理對象之4列，判定為應用強濾波器之情形，處理進展至步驟S237。
在步驟S237中，濾波運算部84在控制部86之控制之下，使用上述之式(106)至式(111)，進行剪輯處理伴隨之強過濾處理。濾波運算部84將濾波處理後之像素值輸出至後段。
在步驟S236中判定不應用強濾波之情形，在步驟S238中，濾波運算部84基於來自濾波器強度判定部83之判定結果，針對處理對象之4列，判定是否應用弱濾波器。在步驟S238中判定為應用弱濾波器之情形，處理進展至步驟S239。
在步驟S239中，濾波運算部84進行弱濾波處理。濾波運算部84將濾波處理後之像素值輸出至後段。
在步驟S238中判定不應用弱濾波器之情形，處理進展至步驟S240。在步驟S240中，濾波運算部84基於來自濾波器強度判定部83之判定結果，針對處理對象之4列，不實施處理，而直接將濾波處理後 之像素值輸出至後段。
在步驟S240中，濾波運算部84判定8列之處理是否完成，判定8列之處理已完成之情形，結束亮度信號之解塊。在步驟S240中判定8列之處理尚未完成之情形，處理返回至步驟S234，重複其以後之處理。
如上，判定為應用強濾波之情形時，因進行剪輯處理伴隨之強過濾，故可將判定處理之不匹配及判定處理之不完全之影響抑制於最小限度。藉此，在解塊處理中，可適當進行過濾。
另，在上述說明中，已說明線性近似及剪輯處理伴隨之強過濾。且，在線性近似之說明中，作為例子，已說明R2W2及R2W1之情形，但R3W2、R1W1之情形亦可以相同之方法進行線性近似之處理。
<16. 第9實施形態> [R3W2之例]
接著，參照圖28，關於R3W2之例之情形進行說明。在圖28之例中，實線上之白色圓圈表示解塊濾波前之圖16所示之邊界BB附近之p2i、p1i、p0i、q0i、q1i、q2i之各像素值。如圖28所示，區塊BKu與區塊BK1之階差(差距)係D=p0i-q0i。
又，虛線上之圓圈表示HEVC方式之亮度信號之強過濾後之各像素值。即，該情形時，濾波前之像素值與強過濾後之像素值之差，對於q2i為1/8 ＊ D，對於q1i為2/8 ＊ D，對於q0i為3/8 ＊ D。同樣，濾波前之像素值與強過濾後之像素值之差，對於p0i為3/8 ＊ D，對於p1i、p2i為2/8 ＊ D、1/8 ＊ D。
此處，若考慮R3W2之情形之亮度信號之濾波處理，則針對p2i，不進行過濾。即，p2i成為處於實線上之虛線圓圈之像素值，與p1i之虛線所示之像素值之差變大，僅處於實線上之虛線圓圈所示之p2i之像素值、與虛線所示之p1i之像素值之間，具有急劇之傾斜。
因此，R3W2之情形時，以使該傾斜變緩之方式，p0i之濾波前之像素值(白色圓圈)、與強過濾後之像素值(陰影線圓圈)之差△p1i以下式(112)表示。
[數34]△p1i=1/16*(-3*D+2*4)=(-3*(p0i+q0i)+8)>>4=(13*p0i+3*q0i+8)>>4-p1i≒(4*p2i+5*p1i+4*p0i+3*q0i+8)>>4-p1i．．．(112)
即，該式(112)係以使△p1i取p0i之濾波前之像素值(白色圓圈)、與強過濾後之像素值(陰影線圓圈)之差△p0i之一半之值即3/16 ＊ D之方式而引導者。
且，由於式(112)之最後之近似式之右邊之第2項目係濾波前之像素值(白色圓圈)，故，式(112)之最後之近似式之右邊之第1項目表示陰影圓圈所示之p1i之強過濾後之像素值。
即，將與式(112)之最後之近似式之右邊之第1項目之各像素值相乘之係數作為R3W2之情形之強過濾之係數使用。藉此，如圖28之粗線之傾斜所示，可使R3W2之情形之強過濾後之結果與先前之虛線之傾斜相比較平緩。
另，R3W2之情形之強過濾之判定式以下式(113)表示。
[數35]d<(β>>2)d=abs(q22-2*q12+q02)+abs(p25-2*p15+p05)+abs(q22-2*q12+q02)+abs(q25-2*q15+q05)and(｜p2i-p0i｜+｜q0i-q3i｜)<(β>>3)and｜p0i-q0i｜<((5*tc+1)>>1)．．．(113)
R3W2之情形之強過濾判定之式(113)之第1個「and」以後之式與 HEVC方式之强過濾判定之式(69)之第1個「and」以後之式不同。由於為R3W2，因此無法參照p3i，故，可應用Padding(即，p3i=p2i)。
因此，式(113)之第1個「and」以後之式，式(69)之第1個「and」以後之式「(｜p3i-p0i<<1｜+｜q0i-q3i｜)」<(β>>3))」替換為「(｜p2i-p0i<<1｜+｜q0i-q3i｜)」<(β>>3))」之處不同。
又，關於R3W2之情形之強過濾，根據上述之式(112)，如式(114)所示，有關p10之式與HEVC方式之強過濾之式(52)不同。
[數36]p10=Clip0-255((4*p2i+5*p1i+4*p0i+3*q0i+8)>>4)；i=0,7．．．(114)
另，關於R3W2之情形之強過濾，HEVC方式之強過濾之P20相關之式(54)因不必要故而除去。
基於以上，關於R3W2之情形之強過濾，亦可以不會使精度劣化之方式進行。
又，在本說明書中，解塊濾波器之處理單位之尺寸可為例如H.264/AVC之巨區塊之尺寸或HEVC之編碼單位之編碼樹區塊(Coding Tree Block)之尺寸等。又，在本說明書中，區塊或巨區塊之用語設為亦包含HEVC之文脈之編碼單位(CU：Coding Unit)、預測單位(PU：Prediction Unit)、轉換單位(TU：Transform Unit)者。
說明書中所說明之一連串之處理可利用硬體、或軟體、或兩者之複合構成而執行。執行利用軟體之處理之情形，使記錄有處理順序之程式安裝於組入專用硬體之電腦內之記憶體中而執行。或，亦可於可執行各種處理之通用電腦中安裝程式而執行。
例如，程式可預先記錄於作為記錄媒體之硬碟或ROM(Read Only Memory：唯讀記憶體)。或，程式可於軟性磁碟、CD-ROM(Compact Disc Read Only Memory：光碟唯讀記憶體)、MO(Magneto optical：光磁性)碟片、DVD(Digital Versatile Disc：數位影音光碟)、磁碟、半導體記憶體等之可卸除式記錄媒體中預先暫時或永久儲存(記錄)。如此之可卸除式記錄媒體可作為所謂套裝軟體而提供。
另，程式除了自如上所述之可卸除式記錄媒體安裝於電腦之外，自下載站點無線傳送至電腦，或經由LAN(Local Area Network：區域網路)、網際網路此類之網路，以有線傳送至電腦。在電腦中，接收藉此傳送而來之程式，而可安裝至內置之硬體等之記錄媒體。
<19. 第10實施形態> [向多視點圖像編碼、多視點圖像解碼之應用]
上述之一連串之處理可應用於多視點圖像編碼、多視點圖像解碼。圖29顯示多視點圖像編碼方式之一例。
如圖29所示，多視點圖像包含複數個視點之圖像，其複數個視點之中特定之1個視點之圖像被指定為基礎視圖之圖像。基礎視圖之圖像以外之各視點之圖像作為非基礎視圖之圖像而處理。
進行如圖29所示之多視點圖像編碼之情形，在各視圖(同一視圖)中，可設定與強過濾之剪輯處理相關之參數(例如，剪輯值或剪輯值之tc相關之倍數等)。又，在各視圖(不同視圖)中，亦可共用其他視圖中所設定之強過濾之剪輯處理相關之參數。
該情形時，基礎視圖中所設定之剪輯處理相關之參數在至少1個非基礎視圖中使用。或，例如，非基礎視圖(view_id=0)中所設定之剪輯處理相關之參數在基礎視圖及非基礎視圖(view_id=1)之至少任一方中使用。
再者，在各視圖(同一視圖)中，亦可設定強過濾之剪輯處理相關之參數。又，在各視圖(不同視圖)中，亦可共用其他視圖中所設定之強過濾之剪輯處理相關之參數。
該情形時，基礎視圖中所設定之剪輯處理相關之參數在至少1個非基礎視圖中使用。或，例如，非基礎視圖(view_id=0)中所設定之剪輯處理相關之參數在基礎視圖及非基礎視圖(view_id=1)之至少任一方中使用。
藉此，在解塊處理中，可適當進行過濾。
[多視點圖像編碼裝置]
圖30係顯示進行上述之多視點圖像編碼之多視點圖像編碼裝置之圖。如圖30所示，多視點圖像編碼裝置600具有：編碼部601、編碼部602、及多工部603。
編碼部601將基礎視圖圖像進行編碼，而產生基礎視圖圖像編碼串流。編碼部602將非基礎視圖圖像進行編碼，而產生非基礎視圖圖像編碼串流。多工部603將編碼部601中所產生之基礎視圖圖像編碼串流、及編碼部602中所產生之非基礎視圖圖像編碼串流多工化，而產生多視點圖像編碼串流。
針對該多視點圖像編碼裝置600之編碼部601及編碼部602，可應用圖像編碼裝置10(圖1)。該情形時，多視點圖像編碼裝置600設定編碼部601設定之強過濾之剪輯處理相關之參數、及編碼部602設定之強過濾之剪輯處理相關之參數而進行傳送。
另，亦可將如上所述般編碼部601設定之強過濾之剪輯處理相關之參數，以在編碼部601及編碼部602中共享使用之方式設定而傳送。相反，亦可將編碼部602設定之強過濾之剪輯處理相關之參數，以在編碼部601及編碼部602中共享使用之方式設定而傳送。
[多視點圖像解碼裝置]
圖31係顯示進行上述之多視點圖像解碼之多視點圖像解碼裝置之圖。如圖31所示，多視點圖像解碼裝置610具有：逆多工部611、解碼部612、及解碼部613。
逆多工部611將基礎視圖圖像編碼串流及非基礎視圖圖像編碼串流經多工化之多視點圖像解碼流進行逆多工化，而擷取基礎視圖圖像編碼串流、及非基礎視圖圖像編碼串流。解碼部612將由逆多工部611所擷取之基礎視圖圖像編碼串流進行解碼，而獲得基礎視圖圖像。解碼部613將由逆多工部611所擷取之非基礎視圖圖像編碼串流進行解碼，而獲得非基礎視圖圖像。
針對該多視點圖像解碼裝置610之解碼部612及解碼部613，可應用圖像解碼裝置50(圖6)。該情形時，多視點圖像解碼裝置610使用編碼部601設定、解碼部612解碼之強過濾之剪輯處理相關之參數、及編碼部602設定、解碼部613解碼之強過濾之剪輯處理相關之參數進行處理。
另，有將如上所述般編碼部601(或編碼部602)所設定之強過濾之剪輯處理相關之參數，以在編碼部601及編碼部602中共享使用之方式設定而傳送之情形。該情形時，在多視點圖像解碼裝置610中，使用編碼部601(或編碼部602)設定、解碼部612(或解碼部613)解碼之強過濾之剪輯處理相關之參數而進行處理。
<18. 第11實施形態> [向階層圖像編碼、階層圖像解碼之應用]
上述之一連串之處理可應用於階層圖像編碼、階層圖像解碼。圖32顯示階層圖像編碼方式之一例。
如圖32所示，階層圖像包含複數個階層(解析度)之圖像，該複數個解析度之中特定之1個階層之圖像被指定為基礎層之圖像。基礎層之圖像以外之各階層之圖像作為非基礎層之圖像而處理。
進行如圖32之階層圖像編碼(空間可伸縮性)之情形，在各層(同一層)中，可設定強過濾之剪輯處理相關之參數。又，在各層(不同層)中，可共用其他層中所設定之強過濾之剪輯處理相關之參數。
該情形時，基礎層中所設定之強過濾之剪輯處理相關之參數在至少1個之非基礎層中使用。或，例如，非基礎層(layer_id=0)中所設定之強過濾之剪輯處理相關之參數在基礎層及非基礎層(layer_id=1)之至少任一方中使用。
再者，在各層(同一層)中，亦可設定強過濾之剪輯處理相關之參數。又，在各層(不同層)中，亦可共用其他層中所設定之強過濾之剪輯處理相關之參數。
該情形時，基礎層中所設定之強過濾之剪輯處理相關之參數在至少1個非基礎層中使用。或，例如，非基礎層(layer_id=0)中所設定之強過濾之剪輯處理相關之參數在基礎層及非基礎層(layer_id=1)之至少任一方中使用。
藉此，在解塊處理中，可適當進行過濾。
[階層圖像編碼裝置]
圖33係顯示進行上述之階層圖像編碼之階層圖像編碼裝置之圖。如圖33所示，階層圖像編碼裝置620具有：編碼部621、編碼部622、及多工部623。
編碼部621將基礎層圖像進行編碼，而產生基礎層圖像編碼串流。編碼部622將非基礎層圖像進行編碼，而產生非基礎層圖像編碼串流。多工部623將編碼部621中所產生之基礎層圖像編碼串流、及編碼部622中所產生之非基礎層圖像編碼串流多工化，而產生階層圖像編碼串流。
針對該階層圖像編碼裝置620之編碼部621及編碼部622，可應用圖像編碼裝置10(圖1)。該情形時，階層圖像編碼裝置620設定編碼部621所設定之強過濾之剪輯處理相關之參數、及編碼部622所設定之強過濾之剪輯處理相關之參數而進行傳送。
另，亦可將如上所述般編碼部621所設定之強過濾之剪輯處理相 關之參數，以在編碼部621及編碼部622中共享使用之方式設定而傳送。相反，亦可將編碼部622所設定之強過濾之剪輯處理相關之參數，以在編碼部621及編碼部622中共享使用之方式設定而傳送。
[階層圖像解碼裝置]
圖34係顯示進行上述之階層圖像解碼之階層圖像解碼裝置之圖。如圖34所示，階層圖像解碼裝置630具有：逆多工部631、解碼部632、及解碼部633。
逆多工部631將基礎層圖像編碼串流及非基礎層圖像編碼串流經多工化之階層圖像編碼串流進行逆多工化，而擷取基礎層圖像編碼串流、及非基礎層圖像編碼串流。解碼部632將由逆多工部631所擷取之基礎層圖像編碼串流進行解碼，而獲得基礎層圖像。解碼部633將由逆多工部631所擷取之非基礎層圖像編碼串流進行解碼，而獲得非基礎層圖像。
針對該階層圖像解碼裝置630之解碼部632及解碼部633，可應用圖像解碼裝置50(圖6)。該情形時，階層圖像解碼裝置630使用編碼部621設定、解碼部632解碼之強過濾之剪輯處理相關之參數、及編碼部622設定、解碼部633解碼之強過濾之剪輯處理相關之參數而進行處理。
另，有將如上所述般編碼部621(或編碼部622)所設定之強過濾之剪輯處理相關之參數，以在編碼部621及編碼部622中共享使用之方式設定而傳送之情形。該情形時，在階層圖像解碼裝置630中，使用編碼部621(或編碼部622)設定、解碼部632(或解碼部633)解碼之強過濾之剪輯處理相關之參數而進行處理。
<19. 應用例>
上述實施形態中之圖像編碼裝置10及圖像解碼裝置50可應用於衛星廣播、閉路電視等之有線廣播、在網際網路上之發佈、及利用細 胞通信之向終端之發佈等之傳送機或接收機、於光碟、磁碟及快閃記憶體等之媒體上記錄圖像之記錄裝置、或、自該等記憶媒體使圖像再生之再生裝置等之各種電子機器中。以下，關於4個應用例進行說明。
[第1應用例]
圖35係顯示應用上述實施形態之電視裝置之概略構成之一例。電視裝置900具有天線901、調諧器902、多工解訊器903、解碼器904、影像信號處理部905、顯示部906、音頻信號處理部907、揚聲器908、外部介面部909。再者，電視裝置900具有控制部910、使用者介面部911。
調諧器902自經由天線901接收之傳送信號擷取所期望之通道之信號，並解調所擷取之信號。且，調諧器902將由解調所得之編碼位元串流輸出至多工解訊器903。即，調諧器902具有作為接收圖像被編碼之編碼串流之電視裝置900之傳送機構之作用。
多工解訊器903將視聽對象之節目之影像串流及音頻串流自編碼位元串流分離，並將所分離之各串流輸出至解碼器904。又，多工解訊器903將EPG(Electronic Program Guide：電子節目指南)等之輔助資料自編碼位元串流擷取，並將所擷取之資料供給至控制部910。另，編碼位元串流被擾碼之情形時，多工解訊器903可進行解擾。
解碼器904將自多工解訊器903輸入之影像串流及音頻串流進行解碼。且，解碼器904將藉由解碼處理產生之影像資料輸出至影像信號處理部905。又，解碼器904將藉由解碼處理產生之音頻資料輸出至音頻信號處理部907。
影像信號處理部905將自解碼器904輸入之影像資料再生，於顯示部906顯示影像。又，影像信號處理部905可使經由網路供給之應用程式畫面顯示於顯示部906。又，影像信號處理部905可針對影像資 料，根據設定進行例如雜訊除去等之追加處理。再者，影像信號處理部905可產生例如菜單、按鈕或遊標等之GUI(Graphical User Interface：圖形使用者介面)之圖像，並使所產生之圖像重疊於輸出圖像。
顯示部906由自影像信號處理部905供給之驅動信號驅動，於顯示裝置(例如，液晶顯示器、電漿顯示器或OLED等)之影像面上顯示影像或圖像。
音頻信號處理部907對自解碼器904輸入之音頻資料進行D/A轉換及放大等之再生處理，使音頻自揚聲器908輸出。又，音頻信號處理部907可針對音頻資料進行雜訊除去等之追加處理。外部介面部909係用以連接電視裝置900與外部機器或網路之介面。例如，經由外部介面部909而接收之影像串流或音頻串流可利用解碼器904解碼。即，外部介面部909亦具有作為接收圖像被編碼之編碼串流之電視裝置900之傳送機構之作用。
控制部910具有CPU(Central Processing Unit：中央處理器)等之處理器、以及RAM(Random Access Memory：隨機存取記憶體)及ROM(Read Only Memory：唯讀記憶體)等之記憶體。記憶體記憶由CPU執行之程式、程式資料、EPG資料、及經由網路取得之資料等。由記憶體記憶之程式，例如電視裝置900之起動時由CPU讀入而執行。CPU藉由執行程式，根據例如自使用者介面部911輸入之操作信號，控制電視裝置900之動作。
使用者介面部911與控制部910連接。使用者介面部911具有例如用於使用者操作電視裝置900之按鈕及開關、以及遠端控制信號之接收部等。使用者介面部911經由該等構成要件檢測由使用者引起之操作而產生操作信號，並將所產生之操作信號輸出至控制部910。
匯流排912使調諧器902、多工解訊器903、解碼器904、影像信 號處理部905、音頻信號處理部907、外部介面部909及控制部910相互連接。
在以如此之方式構成之電視裝置900中，解碼器904具有上述實施形態之圖像解碼裝置50之功能。藉此，電視裝置900中之圖像之解碼時，在解塊濾波處理中，可適當進行過濾。
[第2應用例]
圖36係顯示應用上述之實施形態之行動電話之概略構成之一例。行動電話920具有天線921、通信部922、音頻編碼解碼器923、揚聲器924、麥克風925、相機部926、圖像處理部927、多工分離部928、記錄再生部929、顯示部930、控制部931、操作部932，及匯流排933。
天線921連接於通信部922。揚聲器924及麥克風925連接於音頻編碼解碼器923。操作部932連接於控制部931。匯流排933使通信部922、音頻編碼解碼器923、相機部926、圖像處理部927、多工分離部928、記錄再生部929、顯示部930、及控制部931相互連接。
行動電話920在包含音頻通話模式、資料通信模式、攝影模式及電視電話模式之各種動作模式下，進行音頻信號之傳送接收、電子郵件或圖像資料之傳送接收、圖像之攝像、及資料之記錄等之動作。
在音頻通話模式中，由麥克風925產生之類比音頻信號被供給至音頻編碼解碼器923。音頻編碼解碼器923將類比音頻信號轉換成音頻資料，並將所轉換之音頻資料進行A/D轉換而壓縮。且，音頻編碼解碼器923將壓縮後之音頻資料輸出至通信部922。通信部922將音頻資料進行編碼及調變，而產生傳送信號。且，通信部922將所產生之傳送信號經由天線921而傳送至基地台(未圖示)。又，通信部922將經由天線921接收之無線信號進行放大及頻率轉換，而取得接收信號。且，通信部922將接收信號進行解調及解碼而產生音頻資料，並將所 產生之音頻資料輸出至音頻編碼解碼器923。音頻編碼解碼器923將音頻資料進行擴展及D/A轉換，而產生類比音頻信號。且，音頻編碼解碼器923將所產生之音頻信號供給至揚聲器924而輸出音頻。
又，在資料通信模式中，例如，控制部931根據經由操作部932之由使用者引起之操作，產生構成電子郵件之文字資料。又，控制部931使文字顯示於顯示部930。又，控制部931根據經由操作部932之來自使用者之傳送指示而產生電子郵件資料，並將所產生之電子郵件資料向通信部922輸出。通信部922將電子郵件資料進行編碼及調變，而產生傳送信號。且，通信部922將所產生之傳送信號經由天線921而向基地台(未圖示)傳送。又，通信部922將經由天線921接收之無線信號進行放大及頻率轉換，而取得接收信號。且，通信部922將接收信號進行解調及解碼而復原電子郵件資料，並將經復原之電子郵件資料輸出至控制部931。控制部931使電子郵件之內容顯示於顯示部930，且使電子郵件資料記憶於記錄播放部929之記憶媒體中。
記錄播放部929具有可讀寫之任意之記憶媒體。例如，記憶媒體可為RAM或快閃記憶體等之內置型之記憶媒體，亦可為硬碟、磁碟、磁光碟、光碟、USB記憶體、或記憶卡等之外部安裝型之記憶媒體。
又，在攝影模式中，例如，相機部926攝像被攝體而產生圖像資料，並將所產生之圖像資料向圖像處理部927輸出。圖像處理部927將自相機部926輸入之圖像資料進行編碼，並使編碼串流記憶於記錄播放部929之記憶媒體中。
又，在電視電話模式中，例如，多工分離部928將由圖像處理部927所編碼之影像串流、及自音頻編碼解碼器923輸入之音頻串流進行多工化，並將經多工化之串流向通信部922輸出。通信部922將串流進行編碼及調變，而產生傳送信號。通信部922將所產生之傳送信號經 由天線921而向基地台(未圖示)傳送。又，通信部922將經由天線921接收之無線信號進行放大及頻率轉換，而取得接收信號。該等傳送信號及接收信號中，可包含編碼位元串流。且，通信部922將接收信號進行解調及解碼而復原串流，並將經復原之串流輸出至多工分離部928。多工分離部928將影像串流及音頻串流自所輸入之串流中分離，並將影像串流向圖像處理部927輸出，將音頻串流向音頻編碼解碼器923輸出。圖像處理部927將影像串流進行解碼，而產生影像資料。影像資料被供給至顯示部930，由顯示部930顯示一連串之圖像。音頻編碼解碼器923將音頻串流進行擴展及D/A轉換，而產生類比音頻信號。且，音頻編碼解碼器923將所產生之音頻信號供給至揚聲器924而輸出音頻。
在以如此之方式構成之行動電話920中，圖像處理部927具有上述之實施形態之圖像編碼裝置10及圖像解碼裝置50之功能。藉此，行動電話920中之圖像之編碼及解碼時，在解塊濾波處理中，可適當進行過濾。
[第3應用例]
圖37係顯示應用上述之實施形態之記錄播放裝置之概略構成之一例。記錄播放裝置940例如將所接收之廣播節目之音頻資料及影像資料進行編碼而記錄於記錄媒體。又，記錄播放裝置940例如亦可將自其他裝置取得之音頻資料及影像資料進行編碼而記錄於記錄媒體。又，記錄播放裝置940例如因應使用者之指示，將記錄於記錄媒體之資料於監視器及揚聲器上進行播放。此時，記錄播放裝置940將音頻資料及影像資料進行解碼。
記錄播放裝置940具有調諧器941、外部介面部942、編碼器943、HDD(Hard Disk Drive：硬碟驅動機)944、磁碟驅動機945、選擇器946、解碼器947、OSD(On-Screen Display：螢幕顯示)部948、控制 部949、及使用者介面部950。
調諧器941自經由天線(未圖示)接收之廣播信號而擷取所期望之通道之信號，並解調所擷取之信號。且，調諧器941將藉由解調所得之編碼位元串流向選擇器946輸出。即，調諧器941具有作為記錄播放裝置940之傳送機構之作用。
外部介面部942係用以連接記錄播放裝置940與外部機器或網路之介面。外部介面部942例如可為IEEE1394介面、網路介面、USB介面、或快閃記憶體介面等。例如，經由外部介面部942而接收之影像資料及音頻資料被輸入至編碼器943。即，外部介面部942具有作為記錄播放裝置940之傳送機構之作用。
自外部介面部942輸入之影像資料及音頻資料未被編碼之情形時，編碼器943將影像資料及音頻資料進行編碼。且，解碼器943將編碼位元串流向選擇器946輸出。
HDD944將壓縮影像及音頻等之內容資料之編碼位元串流、各種程式及其他資料記錄於內部之硬碟中。又，HDD944於影像及音頻之播放時，自硬碟讀取該等資料。
磁碟驅動機945進行向所安裝之記錄媒體之資料之記錄及讀取。磁碟驅動機945中所安裝之記錄媒體可為例如DVD磁碟(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)光碟或藍光(註冊商標)光碟等。選擇器946於影像及音頻之記錄時，選擇自調諧器941或編碼器943輸入之編碼位元串流，並將所選擇之編碼位元串流向HDD944或磁碟驅動機945輸出。又，選擇器946於影像及音頻之播放時，將自HDD944或磁碟驅動機945輸入之編碼位元串流向解碼器947輸出。
解碼器947將編碼位元串流進行解碼，而產生影像資料及音頻資料。接著，解碼器947將所產生之影像資料向OSD部948輸出。又，解 碼器904將所產生之音頻資料向外部之揚聲器輸出。OSD部948播放自解碼器947輸入之影像資料，而顯示影像。又，OSD部948可於顯示之影像上重疊例如菜單、按鈕或游標等之GUI之圖像。
控制部949具有CPU等之處理器、以及RAM及ROM等之記憶體。記憶體記憶由CPU執行之程式、及程式資料等。由記憶體記憶之程式，例如記錄播放裝置940之起動時，由CPU讀入而執行。CPU藉由執行程式，例如根據自使用者介面部950輸入之操作信號，而控制記錄播放裝置940之動作。
使用者介面部950與控制部949連接。使用者介面部950例如具有用於使用者操作記錄播放裝置940之按鈕及開關、以及遠端控制信號之接收部等。使用者介面部950經由該等構成要件檢測由使用者引起之操作而產生操作信號，且將所產生之操作信號向控制部949輸出。
在以如此之方式構成之記錄播放裝置940中，編碼器943具有上述之實施形態之圖像編碼裝置10之功能。又，解碼器947具有上述之實施形態之圖像解碼裝置50之功能。藉此，記錄播放裝置940中之圖像之編碼及解碼時，在解塊濾波處理中，可適當進行過濾。
[第4應用例]
圖38係顯示應用上述之實施形態之攝像裝置之概略構成之一例。攝像裝置960攝像被攝體而產生圖像，且將圖像資料進行編碼而記錄於記錄媒體。
攝像裝置960具備光學區塊961、攝像部962、相機信號處理部963、圖像處理部964、顯示部965、外部介面部966、記憶體967、媒體驅動機968、OSD部969、控制部970、使用者介面部971，及匯流排972。
光學區塊961具有聚焦透鏡及光圈機構等。光學區塊961使被攝體之光學像成像於攝像部962之攝像面上。攝像部962具有CCD或 CMOS等之影像感測器，藉由光電轉換將成像於攝像面上之光學影像轉換成作為電性信號之圖像信號。且，攝像部962將圖像信號向相機信號處理部963輸出。
相機信號處理部963對自攝像部962輸入之圖像信號進行膝狀物校正、伽馬校正、色彩校正等之各種相機信號處理。相機信號處理部963將相機信號處理後之圖像資料向圖像處理部964輸出。
圖像處理部964將自相機信號處理部963輸入之圖像資料進行編碼，而產生編碼資料。接著，圖像處理部964將所產生之編碼資料向外部介面部966或媒體驅動機968輸出。又，圖像處理部964將自外部介面部966或媒體驅動機968輸入之編碼資料進行解碼，而產生圖像資料。接著，圖像處理部964將所產生之圖像資料向顯示部965輸出。又，圖像處理部964可使自相機信號處理部963輸入之圖像資料向顯示部965輸出而顯示圖像。又，圖像處理部964可使自OSD部969取得之顯示用資料重疊於向顯示部965輸出之圖像。
OSD部969產生例如菜單、按鈕或游標等之GUI之圖像，且將所產生之圖像向圖像處理部964輸出。
外部介面部966作為例如USB輸出入端子而構成。外部介面部966，例如圖像之列印時，連接攝像裝置960與印表機。又，於外部介面部966，根據需要而連接驅動機。於驅動機上安裝例如磁碟或光碟等之可卸除式媒體，且自可卸除式媒體讀取之程式可安裝於攝像裝置960中。再者，外部介面部966可作為連接於LAN或網際網路等之網路之網路介面而構成。即，外部介面部966具有作為攝像裝置960之傳送機構之作用。
安裝於媒體驅動機968之記錄媒體可為例如磁碟、磁光碟、光碟、或半導體記憶體等之可讀寫之任意之可卸除式媒體。又，可於媒體驅動機968中固定地安裝記錄媒體，例如，構成如內置型硬碟驅動 機或SSD(Solid State Drive：固態驅動機)之非可攜性記憶部。
控制部970具有CPU等之處理器、以及RAM及ROM等之記憶體。記憶體記憶由CPU執行之程式、及程式資料等。由記憶體記錄之程式，例如攝像裝置960之起動時，由CPU讀入而實行。CPU藉由執行程式，根據例如自使用者介面部971輸入之操作信號，而控制攝像裝置960之動作。
使用者介面部971與控制部970連接。使用者介面部971具有例如用於使用者操作攝像裝置960之按鈕及開關等。使用者介面部971經由該等構成要件檢測由使用者引起之操作而產生操作信號，並將所產生之操作信號向控制部970輸出。
匯流排972使圖像處理部964、外部介面部966、記憶體967、媒體驅動機968、OSD部969、及控制部970相互連接。
在以如此之方式構成之攝像裝置960中，圖像處理部964具有上述實施形態之圖像編碼裝置10及圖像解碼裝置50之功能。藉此，攝像裝置960中之圖像之編碼及解碼時，在解塊濾波處理中，可適當進行過濾。
另，本說明書中，已說明與強過濾之剪輯處理相關之參數等之各種資訊被多工化成編碼串流而自編碼側向解碼側傳送之例。然而，傳送該等資訊之技術並非限定於上述之例。例如，該等資訊無需多工化成編碼位元串流，而可作為與編碼位元串流相關連之個別之資料得以傳送或記錄。此處，「相關連」之用語，意為可使位元串流中所包含之圖像(切片或區塊等，可為圖像之一部份)與對應於該圖像之資訊於解碼時鏈結。即，資訊可在與圖像(或位元串流)不同之傳送路徑上得以傳送。又，資訊可記錄於與圖像(或位元串流)不同之記錄媒體(或同一記錄媒體之不同記錄區域)中。再者，資訊及圖像(或位元串流)可以例如複數個圖框、一個圖框、或圖框內之一部份等之任意單位互相 相關連。
再者，本技術不應限定於上述之實施形態而解釋。不言而喻，該實施形態以例示之形態揭示本技術，且在不脫離本技術之要旨之範圍內，本領域技術人員可進行實施形態之修正或代用。即，為判斷本技術之要旨，應參酌申請專利範圍。
另，本技術之圖像處理裝置亦可採取如下之構成。
(1)一種圖像處理裝置，其具備：解碼部，其將以具有階層結構之單位編碼之編碼串流進行解碼而產生圖像；濾波器部，其根據應用於由上述解碼部產生之圖像之區塊於鄰接於上述區塊之鄰接區塊之邊界即區塊邊界之解塊濾波器之強度，而對上述區塊邊界實施解塊濾波；及控制部，其在應用強濾波作為上述解塊濾波器之強度之情形時，將由上述解碼部產生之圖像之亮度成份作為對象，以對上述解塊濾波器應用剪輯處理之方式，控制上述濾波器部。
(2)如技術方案(1)之圖像處理裝置，其中上述控制部對應用上述解塊濾波器時變化之部份之值應用剪輯處理。
(3)如技術方案(2)之圖像處理裝置，其中上述控制部依照下述之式，應用上述剪輯處理：[數37] p0i=p0i+Clip(-pv)-(pv)((p2i+2*p1i-6*p0i+2*q0i+q1i+4)>>3)；q0i=q0i+Clip(-pv)-(pv)((p1i+2*p0i-6*q0i+2*q1i+q2i+4)>>3)；p1i=p1i+Clip(-pv)-(pv)((p2i-3*p1i+p0i+q0i+2)>>2)；q1i=q1i+Clip(-pv)-(pv)((p0i+q0i-3*q1i+q2i+2)>>2)；p2i=p2i+Clip(-pv)-(pv)((2*p2i-5*p2i+p1i+p0i+q0i+4)>>3)；q2i=q2i+Clip(-pv)-(pv)((p0i+q0i+p1i-5*q2i+2*q3i+4)>>3)；此處，i=0、7，pv為剪輯值。
(4)如技術方案(3)之圖像處理裝置，其中上述控制部將上述解塊濾波器之參數之整數倍之值作為進行剪輯處理時使用之剪輯值設定。
(5)如技術方案(4)之圖像處理裝置，其中上述控制部將上述解塊濾波器之參數之2倍之值作為進行剪輯處理時使用之剪輯值設定。
(6)如技術方案(1)至(5)中任一項之圖像處理裝置，其中進而包含濾波器強度判定部，其判定應用於上述區塊邊界之解塊濾波器之強度，且上述濾波器部根據利用上述濾波器強度判定部而判定之強度，對上述區塊邊界實施解塊濾波；上述控制部在根據上述濾波器強度判定部而判定為應用強濾波之情形時，將利用上述解碼部而產生之圖像之亮度成份為對象，以對上述解塊濾波器應用剪輯處理之方式，控制上述濾波器部。
(7)如技術方案(6)之圖像處理裝置，其中上述濾波器強度判定部以複數列為處理單位，而判定上述解塊濾波器之強度。
(8)如技術方案(7)之圖像處理裝置，其中上述濾波器強度判定部以4列為處理單位，而判定上述解塊濾波器之強度。
(9)如技術方案(7)之圖像處理裝置，其中進而包含濾波器要否判定部，其將複數列作為處理單位，判定是否對上述區塊邊界應用解塊 濾波器，且上述濾波器強度判定部在由上述濾波器要否判定部判定為應用解塊濾波器之情形時，判定上述解塊濾波器之強度。
(10)一種圖像處理方法，其係由圖像處理裝置：將以具有階層結構之單位編碼之編碼串流進行解碼而產生圖像；根據應用於所產生之圖像之區塊與鄰接於上述區塊之鄰接區塊之邊界即區塊邊界之解塊濾波器之強度，對上述區塊邊界實施解塊濾波；在應用強濾波作為上述解塊濾波之強度之情形時，將所產生之圖像之亮度成份作為對象，以對上述解塊濾波器應用剪輯處理之方式進行控制。
(11)一種圖像處理裝置，其具備：濾波器部，其根據應用於將圖像進行編碼時局部解碼之圖像之區塊與鄰接於上述區塊之鄰接區塊之邊界即區塊邊界之解塊濾波器之強度，對上述區塊邊界實施解塊濾波；控制部，其在應用強濾波作為上述解塊濾波之強度之情形時，將上述局部解碼之圖像之亮度成份作為對象，以對上述解塊濾波器應用剪輯處理之方式，控制上述濾波器部；及編碼部，其使用應用上述解塊濾波器之圖像，將上述圖像以具有階層結構之單位進行編碼。
(12)如技術方案(11)之圖像處理裝置，其中上述控制部對應用上述解塊濾波器時變化之部份之值應用剪輯處理。
(13)如技術方案(12)之圖像處理裝置，其中上述控制部依照下述之式，應用上述剪輯處理：[數37] p0i=p0i+Clip(-pv)-(pv)((p2i+2*p1i-6*p0i+2*q0i+q1i+4)>>3)；q0i=q0i+Clip(-pv)-(pv)((p1i+2*p0i-6*q0i+2*q1i+q2i+4)>>3)；p1i=p1i+Clip(-pv)-(pv)((p2i-3*p1i+p0i+q0i+2)>>2)；q1i=q1i+Clip(-pv)-(pv)((p0i+q0i-3*q1i+q2i+2)>>2)；p2i=p2i+Clip(-pv)-(pv)((2*p2i-5*p2i+p1i+p0i+q0i+4)>>3)；q2i=q2i+Clip(-pv)-(pv)((p0i+q0i+p1i-5*q2i+2*q3i+4)>>3)；此處，i=0、7，pv為剪輯值。
(14)如技術方案(13)之圖像處理裝置，其中上述控制部將上述解塊濾波器之參數之整數倍之值作為進行剪輯處理時使用之剪輯值設定。
(15)如技術方案(14)之圖像處理裝置，其中上述控制部將上述解塊濾波器之參數之2倍之值作為進行剪輯處理時使用之剪輯值設定。
(16)如技術方案(11)至(15)中任一項之圖像處理裝置，其中進而具備濾波器強度判定部，其判定應用於上述區塊邊界之解塊濾波器之強度，且上述濾波器部根據由上述濾波器強度判定部判定之強度，對上述區塊邊界實施解塊濾波；上述控制部在由上述濾波器強度判定部判定為應用強濾波之情形時，將利用上述解碼部而產生之圖像之亮度成份為對象，以對上述解塊濾波器應用剪輯處理之方式，控制上述濾波器部。
(17)如技術方案(16)之圖像處理裝置，其中上述濾波器強度判定部以複數列為處理單位，判定上述解塊濾波器之強度。
(18)如技術方案(17)之圖像處理裝置，其中上述濾波器強度判定部以4列為處理單位，判定上述解塊濾波器之強度。
(19)如技術方案(17)之圖像處理裝置，其中進而具備濾波器要否判定部，其將複數列作為處理單位，判定是否對上述區塊邊界應用解塊濾波器，且上述濾波器強度判定部在由上述濾波器要否判定部判定為應用解塊濾波器之情形時，判定上述解塊濾波器之強度。
(20)一種圖像處理方法，其係由圖像處理裝置：根據應用於將圖像進行編碼時局部解碼之圖像之區塊與鄰接於上述區塊之鄰接區塊之邊界即區塊邊界之解塊濾波器之強度，對上述區塊邊界實施解塊濾波；在應用強濾波作為上述解塊濾波之強度之情形時，將上述局部解碼之圖像之亮度成份作為對象，以對上述解塊濾波器應用剪輯處理之方式進行控制；使用應用上述解塊濾波器之圖像，將上述圖像以具有階層結構之單位進行編碼。
10‧‧‧圖像編碼裝置
11‧‧‧A/D轉換部
12‧‧‧畫面重排序緩衝器
13‧‧‧減法部
14‧‧‧正交轉換部
15‧‧‧量化部
16‧‧‧可逆編碼部
17‧‧‧儲存緩衝器
18‧‧‧速率控制部
21‧‧‧逆量化部
22‧‧‧逆正交轉換部
23‧‧‧加法部
24‧‧‧解塊濾波器
25‧‧‧圖框記憶體
26‧‧‧選擇器
31‧‧‧框內預測部
32‧‧‧動態預測、補償部
33‧‧‧預測圖像．最佳模式選擇部

Claims (18)

  1. 一種圖像處理裝置，其包含：濾波器部，其於將濾波強度比第1濾波器強之第2濾波器作為解塊濾波器而應用之情形時，利用較第1剪輯(clip)值大之值即第2剪輯值，將相對於應用上述第2濾波器前之像素值的應用了上述第2濾波器後之像素值的變化值進行剪輯，藉此將上述第2濾波器應用於位於解碼圖像之區塊邊界之近旁的像素，上述第1剪輯值係：將相對於應用上述第1濾波器前之像素值的應用了上述第1濾波器後之像素值的變化值進行剪輯時所利用者。
  2. 如請求項1之圖像處理裝置，其中上述濾波器部係：於應用上述第2濾波器之情形時，如下述之式所示，將相對於應用上述第2濾波器前之像素值的應用了上述第2濾波器後之像素值的變化值進行剪輯：p0’=p0+Clip(-pv)-(pv)((p2+2*p1-6*p0+2*q0+q1+4)>>3)；=Clip(p0-pv)-(p0+pv)((p2+2*p1+2*p0+2*q0+q1+4)>>3)；=Clip3(p0-pv,p0+pv,(p2+2*p1+2*p0+2*q0+q1+4)>>3)；p1’=p1+Clip(-pv)-(pv)((p2-3*p1+p0+q0+2)>>2)；=Clip(p1-pv)-(p1+pv)((p2+p1+p0+q0+2)>>2)；=Clip3(p1-pv,p1+pv,(p2+p1+p0+q0+2)>>2)；p2’=p2+Clip(-pv)-(pv)((2*p3-5*p2+p1+p0+q0+4)>>3)；=Clip(p2-pv)-(p2+pv)((2*p3+3*p2+p1+p0+q0+4)>>3)；=Clip3(p2-pv,p2+pv,(2*p3+3*p2+p1+p0+q0+4)>>3)；q0’=q0+Clip(-pv)-(pv)((p1+2*p0-6*q0+2*q1+q2+4)>>3)；=Clip(q0-pv)-(q0+pv)((p1+2*p0+2*q0+2*q1+q2+4)>>3)；=Clip3(q0-pv,q0+pv,(p1+2*p0+2*q0+2*q1+q2+4)>>3)；q1’=q1+Clip(-pv)-(pv)((p0+q0-3*q1+q2+2)>>2)；=Clip(q1-pv)-(q1+pv)((p0+q0+q1+q2+2)>>2)；=Clip3(q1-pv,q1+pv,(p0+q0+q1+q2+2)>>2)； q2’=q2+Clip(-pv)-(pv)((p0+q0+q1-5*q2+2*q3+4)>>3)；=Clip(q2-pv)-(q2+pv)((p0+q0+q1+3*q2+2*q3+4)>>3)；=Clip3(q2-pv,q2+pv,p0+q0+q1+3*q2+2*q3+4)>>3)；其中，pv係上述第2濾波器之剪輯值；pN’,qN’(N=0,1,2)係應用上述第2濾波器後之像素值；pM,qM(M=0,1,2,3)係應用上述第2濾波器前之像素值；N,M係表示位於邊界之近鄰之像素之位置的索引。
  3. 如請求項1之圖像處理裝置，其中上述濾波器部係將選擇上述解塊濾波器之強度時所用之參數之整數倍的值作為上述第2剪輯值，而將相對於應用上述第2濾波器前之像素值的應用了上述第2濾波器後之像素值的變化值進行剪輯。
  4. 如請求項3之圖像處理裝置，其中上述濾波器部係將上述參數之±2倍的值作為上述第2剪輯值，而將相對於應用上述第2濾波器前之像素值的應用了上述第2濾波器後之像素值的變化值進行剪輯。
  5. 如請求項4之圖像處理裝置，其中上述濾波器部係：於應用上述第2濾波器之情形時，如下述之式所示，將相對於應用上述第2濾波器前之像素值的應用了上述第2濾波器後之像素值的變化值進行剪輯：p0’=p0+Clip(-2*tc)-(2*tc)((p2+2*p1-6*p0+2*q0+q1+4)>>3)；=Clip(p0-2*tc)-(p0+2*tc)((p2+2*p1+2*p0+2*q0+q1+4)>>3)；=Clip3(p0-2*tc,p0+2*tc,(p2+2*p1+2*p0+2*q0+q1+4)>>3)；p1’=p1+Clip(-2*tc)-(2*tc)((p2-3*p1+p0+q0+2)>>2)；=Clip(p1-2*tc)-(p1+2*tc)((p2+p1+p0+q0+2)>>2)；=Clip3(p1-2*tc,p1+2*tc,(p2+p1+p0+q0+2)>>2)；p2’=p2+Clip(-2*tc)-(2*tc)((2*p2-5*p2+p1+p0+q0+4)>>3)；=Clip(p2-2*tc)-(p2+2*tc)((2*p3+3*p2+p1+p0+q0+4)>>3)； =Clip3(p2-2*tc,p2+2*tc,(2*p3+3*p2+p1+p0+q0+4)>>3)；q0’=q0+Clip(-2*tc)-(2*tc)((p1+2*p0-6*q0+2*q1+q2+4)>>3)；=Clip(q0-2*tc)-(q0+2*tc)((p1+2*p0+2*q0+2*q1+q2+4)>>3)；=Clip3(q0-2*tc,q0+2*tc,(p1+2*p0+2*q0+2*q1+q2+4)>>3)；q1’=q1+Clip(-2*tc)-(2*tc)((p0+q0-3*q1+q2+2)>>2)； =Clip(q1-2*tc)-(q1+2*tc)((p0+q0+q1+q2+2)>>2)；=Clip3(q1-2*tc,q1+2*tc,(p0+q0+q1+q2+2)>>2)；q2’=q2+Clip(-2*tc)-(2*tc)((p0+q0+q1-5*q2+2*q3+4)>>3)；=Clip(q2-2*tc)-(q2+2*tc)((p0+q0+q1+3*q2+2*q3+4)>>3)；=Clip3(q2-2*tc,q2+2*tc,(p0+q0+q1+3*q2+2*q3+4)>>3)；其中，tc係用於上述第1濾波器或上述第2濾波器之選擇的參數；pN’,qN’(N=0,1,2)係應用上述第2濾波器後之像素值；pM,qM(M=0,1,2,3)係應用上述第2濾波器前之像素值；N,M係表示位於邊界之近鄰之像素之位置的索引。
  6. 如請求項5之圖像處理裝置，其中上述濾波器部係以上述解碼圖像之亮度成分之像素作為對象而應用上述第2濾波器。
  7. 如請求項6之圖像處理裝置，其中上述第1濾波器係對位於上述區塊邊界之近旁之4像素應用濾波器之較弱濾波器；且上述第2濾波器係對位於上述區塊邊界之近旁之6像素應用濾波器之較強濾波器。
  8. 如請求項6之圖像處理裝置，其中上述區塊邊界係進行正交轉換之單位即轉換單位(Transform Unit)之邊界、或進行預測處理之單位即預測單位(Prediction Unit)之邊界。
  9. 一種圖像處理方法，其包含如下步驟：圖像處理裝置之濾波器部將濾波強度比第1濾波器強之第2濾 波器作為解塊濾波器而應用之情形時，利用較第1剪輯值大之值即第2剪輯值，將相對於應用上述第2濾波器前之像素值的應用了上述第2濾波器後之像素值的變化值進行剪輯，藉此將上述第2濾波器應用於位於解碼圖像之區塊邊界之近旁的像素，上述第1剪輯值係：將相對於應用上述第1濾波器前之像素值的應用了上述第1濾波器後之像素值的變化值進行剪輯時所利用者。
  10. 如請求項9之圖像處理方法，其中上述濾波器部控制部係：於應用上述第2濾波器之情形時，如下述之式所示，將相對於應用上述第2濾波器前之像素值的應用了上述第2濾波器後之像素值的變化值進行剪輯：p0’=p0+Clip(-pv)-(pv)((p2+2*p1-6*p0+2*q0+q1+4)>>3)；=Clip(p0-pv)-(p0+pv)((p2+2*p1+2*p0+2*q0+q1+4)>>3)；=Clip3(p0-pv,p0+pv,(p2+2*p1+2*p0+2*q0+q1+4)>>3)；p1’=p1+Clip(-pv)-(pv)((p2-3*p1+p0+q0+2)>>2)；=Clip(p1-pv)-(p1+pv)((p2+p1+p0+q0+2)>>2)；=Clip3(p1-pv,p1+pv,(p2+p1+p0+q0+2)>>2)；p2’=p2+Clip(-pv)-(pv)((2*p3-5*p2+p1+p0+q0+4)>>3)；=Clip(p2-pv)-(p2+pv)((2*p3+3*p2+p1+p0+q0+4)>>3)；=Clip3(p2-pv,p2+pv,(2*p3+3*p2+p1+p0+q0+4)>>3)；q0’=q0+Clip(-pv)-(pv)((p1+2*p0-6*q0+2*q1+q2+4)>>3)；=Clip(q0-pv)-(q0+pv)((p1+2*p0+2*q0+2*q1+q2+4)>>3)；=Clip3(q0-pv,q0+pv,(p1+2*p0+2*q0+2*q1+q2+4)>>3)；q1’=q1+Clip(-pv)-(pv)((p0+q0-3*q1+q2+2)>>2)；=Clip(q1-pv)-(q1+pv)((p0+q0+q1+q2+2)>>2)；=Clip3(q1-pv,q1+pv,(p0+q0+q1+q2+2)>>2)；q2’=q2+Clip(-pv)-(pv)((p0+q0+q1-5*q2+2*q3+4)>>3)；=Clip(q2-pv)-(q2+pv)((p0+q0+q1+3*q2+2*q3+4)>>3)；=Clip3(q2-pv,q2+pv,p0+q0+q1+3*q2+2*q3+4)>>3)；其中，pv係上述第2濾波器之剪輯值；pN’,qN’(N=0,1,2)係應用上述第2濾波器後之像素值； pM,qM(M=0,1,2,3)係應用上述第2濾波器前之像素值；N,M係表示位於邊界之近鄰之像素之位置的索引。
  11. 如請求項9之圖像處理方法，其中上述濾波器部係將選擇上述解塊濾波器之強度時所用之參數之整數倍的值作為上述第2剪輯值，而將相對於應用上述第2濾波器前之像素值的應用了上述第2濾波器後之像素值的變化值進行剪輯。
  12. 如請求項11之圖像處理方法，其中上述濾波器部係將上述參數之±2倍的值作為上述第2剪輯值，而將相對於應用上述第2濾波器前之像素值的應用了上述第2濾波器後之像素值的變化值進行剪輯。
  13. 如請求項12之圖像處理方法，其中上述濾波器部係：於應用上述第2濾波器之情形時，如下述之式所示，將相對於應用上述第2濾波器前之像素值的應用了上述第2濾波器後之像素值的變化值進行剪輯：p0’=p0+Clip(-2*tc)-(2*tc)((p2+2*p1-6*p0+2*q0+q1+4)>>3)；=Clip(p0-2*tc)-(p0+2*tc)((p2+2*p1+2*p0+2*q0+q1+4)>>3)； =Clip3(p0-2*tc,p0+2*tc,(p2+2*p1+2*p0+2*q0+q1+4)>>3)；p1’=p1+Clip(-2*tc)-(2*tc)((p2-3*p1+p0+q0+2)>>2)；=Clip(p1-2*tc)-(p1+2*tc)((p2+p1+p0+q0+2)>>2)；=Clip3(p1-2*tc,p1+2*tc,(p2+p1+p0+q0+2)>>2)；p2’=p2+Clip(-2*tc)-(2*tc)((2*p2-5*p2+p1+p0+q0+4)>>3)；=Clip(p2-2*tc)-(p2+2*tc)((2*p3+3*p2+p1+p0+q0+4)>>3)；=Clip3(p2-2*tc,p2+2*tc,(2*p3+3*p2+p1+p0+q0+4)>>3)；q0’=q0+Clip(-2*tc)-(2*tc)((p1+2*p0-6*q0+2*q1+q2+4)>>3)；=Clip(q0-2*tc)-(q0+2*tc)((p1+2*p0+2*q0+2*q1+q2+4)>>3)；=Clip3(q0-2*tc,q0+2*tc,(p1+2*p0+2*q0+2*q1+q2+4)>>3)；q1’=q1+Clip(-2*tc)-(2*tc)((p0+q0-3*q1+q2+2)>>2)；=Clip(q1-2*tc)-(q1+2*tc)((p0+q0+q1+q2+2)>>2)； =Clip3(q1-2*tc,q1+2*tc,(p0+q0+q1+q2+2)>>2)；q2’=q2+Clip(-2*tc)-(2*tc)((p0+q0+q1-5*q2+2*q3+4)>>3)；=Clip(q2-2*tc)-(q2+2*tc)((p0+q0+q1+3*q2+2*q3+4)>>3)；=Clip3(q2-2*tc,q2+2*tc,(p0+q0+q1+3*q2+2*q3+4)>>3)；其中，tc係用於上述第1濾波器或上述第2濾波器之選擇的參數；pN’,qN’(N=0,1,2)係應用上述第2濾波器後之像素值；pM,qM(M=0,1,2,3)係應用上述第2濾波器前之像素值；N,M係表示位於邊界之近鄰之像素之位置的索引。
  14. 如請求項13之圖像處理方法，其中上述濾波器部係以上述解碼圖像之亮度成分之像素作為對象而應用上述第2濾波器。
  15. 如請求項14之圖像處理方法，其中上述第1濾波器係對位於上述區塊邊界之近旁之4像素應用濾波器之較弱濾波器；且上述第2濾波器係對位於上述區塊邊界之近旁之6像素應用濾波器之較強濾波器。
  16. 如請求項14之圖像處理方法，其中上述區塊邊界係進行正交轉換之單位即轉換單位之邊界、或進行預測處理之單位即預測單位之邊界。
  17. 一種圖像處理程式，其係使電腦作為如下者而發揮功能：濾波器部，其將濾波強度比第1濾波器強之第2濾波器作為解塊濾波器而應用之情形時，利用較第1剪輯值大之值即第2剪輯值，將相對於應用上述第2濾波器前之像素值的應用了上述第2濾波器後之像素值的變化值進行剪輯，藉此將上述第2濾波器應用於位於解碼圖像之區塊邊界之近旁的像素，上述第1剪輯值係：將相對於應用上述第1濾波器前之像素值的應用了上述第1濾波器後之像素值的變化值進行剪輯時所利用者。
  18. 一種記錄媒體，其係記錄有如請求項17之圖像處理程式者。
TW105135813A 2011-06-28 2012-06-08 Image processing device, image processing method, image processing program, and recording medium TWI637626B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2011143461 2011-06-28
JP2011-143461 2011-06-28
JP2011240550 2011-11-01
JP2011-240550 2011-11-01
JP2011-243839 2011-11-07
JP2011243839 2011-11-07
JP2012-009326 2012-01-19
JP2012009326 2012-01-19

Publications (2)

Publication Number Publication Date
TW201707450A true TW201707450A (zh) 2017-02-16
TWI637626B TWI637626B (zh) 2018-10-01

Family

ID=47423858

Family Applications (3)

Application Number Title Priority Date Filing Date
TW104132955A TWI571104B (zh) 2011-06-28 2012-06-08 圖像處理裝置、圖像處理方法、圖像處理程式及記錄媒體
TW101120790A TWI542195B (zh) 2011-06-28 2012-06-08 圖像處理裝置及圖像處理方法
TW105135813A TWI637626B (zh) 2011-06-28 2012-06-08 Image processing device, image processing method, image processing program, and recording medium

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW104132955A TWI571104B (zh) 2011-06-28 2012-06-08 圖像處理裝置、圖像處理方法、圖像處理程式及記錄媒體
TW101120790A TWI542195B (zh) 2011-06-28 2012-06-08 圖像處理裝置及圖像處理方法

Country Status (20)

Country Link
US (7) US10291937B2 (zh)
EP (6) EP2728870A4 (zh)
JP (6) JP6070553B2 (zh)
KR (8) KR102010160B1 (zh)
CN (15) CN107454400B (zh)
AU (3) AU2012277049B2 (zh)
BR (2) BR122015001053B1 (zh)
CA (2) CA3059756C (zh)
CO (1) CO6842008A2 (zh)
DK (1) DK3313074T3 (zh)
ES (1) ES2893754T3 (zh)
HU (1) HUE056075T2 (zh)
MX (2) MX356762B (zh)
MY (1) MY167204A (zh)
PH (1) PH12018501265A1 (zh)
RU (4) RU2607243C2 (zh)
SG (3) SG10201404907QA (zh)
TW (3) TWI571104B (zh)
WO (1) WO2013001957A1 (zh)
ZA (1) ZA201309214B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106911934A (zh) * 2017-03-01 2017-06-30 北京奇艺世纪科技有限公司 块效应去除方法及去块效应滤波器

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
KR20190069613A (ko) 2011-02-10 2019-06-19 벨로스 미디어 인터내셔널 리미티드 화상 처리 장치 및 화상 처리 방법
MY167204A (en) * 2011-06-28 2018-08-13 Sony Corp Image processing device and image processing method
TWI652941B (zh) 2011-11-03 2019-03-01 太陽專利信託 用於解區塊之有效修整技術（二）
US9414064B2 (en) * 2011-11-25 2016-08-09 Sun Patent Trust Image processing method and image processing apparatus
US8921511B2 (en) 2012-07-27 2014-12-30 E I Du Pont De Nemours And Company Process for forming an aramid copolymer
US9973784B2 (en) 2012-09-20 2018-05-15 Sony Corporation Image processing device and method
US9445130B2 (en) * 2013-01-09 2016-09-13 Qualcomm Incorporated Blockiness metric for large HEVC block artifacts
US9628822B2 (en) * 2014-01-30 2017-04-18 Qualcomm Incorporated Low complexity sample adaptive offset encoding
JP7310139B2 (ja) * 2016-12-28 2023-07-19 ソニーグループ株式会社 画像処理装置及び画像処理方法
WO2018225593A1 (ja) * 2017-06-05 2018-12-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
US10645408B2 (en) * 2017-09-17 2020-05-05 Google Llc Dual deblocking filter thresholds
US10448009B1 (en) * 2017-12-14 2019-10-15 Amazon Technologies, Inc. Determining sample adaptive offset filter parameters
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
KR102632984B1 (ko) * 2018-03-29 2024-02-05 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
JPWO2019225459A1 (ja) 2018-05-23 2021-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
KR102584455B1 (ko) * 2018-09-24 2023-10-05 후아웨이 테크놀러지 컴퍼니 리미티드 품질 최적화된 디블로킹을 수행하기 위한 이미지 처리 디바이스 및 방법
WO2020073969A1 (en) * 2018-10-10 2020-04-16 Huawei Technologies Co., Ltd. An image processing device and method for performing deblocking
KR102606722B1 (ko) * 2018-10-12 2023-11-24 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩에서 디블로킹 필터를 위한 장치 및 방법
CA3119935A1 (en) 2018-11-14 2020-05-22 Sharp Kabushiki Kaisha Systems and methods for applying deblocking filters to reconstructed video data
CN117157977A (zh) * 2021-03-31 2023-12-01 瑞典爱立信有限公司 超长抽头去块
US20230245286A1 (en) * 2022-01-28 2023-08-03 V-Silicon Semiconductor (Hefei) Co., Ltd. 2d recursive de-banding

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2435757C (en) * 2001-11-29 2013-03-19 Matsushita Electric Industrial Co., Ltd. Video coding distortion removal method and apparatus using a filter
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP4580626B2 (ja) * 2002-07-11 2010-11-17 パナソニック株式会社 フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
US7391812B2 (en) * 2002-07-14 2008-06-24 Apple Inc. Adaptively post filtering encoded video
US7167522B2 (en) * 2003-02-27 2007-01-23 Texas Instruments Incorporated Video deblocking filter
US7995849B2 (en) 2003-03-17 2011-08-09 Qualcomm, Incorporated Method and apparatus for improving video quality of low bit-rate video
JP2004328634A (ja) 2003-04-28 2004-11-18 Sony Corp 画像復号化装置及び方法
CN101616330B (zh) * 2003-07-16 2012-07-04 三星电子株式会社 用于色彩图像的视频编码/解码装置和方法
KR100855466B1 (ko) * 2004-01-27 2008-09-01 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치
US7430336B2 (en) * 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
KR100614647B1 (ko) * 2004-07-02 2006-08-22 삼성전자주식회사 디블록킹 필터에서의 효과적인 에지 필터링 연산을 위한레지스터 어레이 구조
NO322722B1 (no) * 2004-10-13 2006-12-04 Tandberg Telecom As Fremgangsmate for videokoding gjennom reduksjon av blokkartefakter
KR100722972B1 (ko) * 2004-10-26 2007-05-30 삼성전자주식회사 디지털방송 수신기의 영상신호 처리 장치 및 방법
KR100843196B1 (ko) 2004-12-17 2008-07-02 삼성전자주식회사 Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터
RU2276355C1 (ru) * 2005-01-27 2006-05-10 Олег Федорович Меньших Устройство распознавания внутренних неоднородностей объекта
JP4543971B2 (ja) * 2005-03-07 2010-09-15 ソニー株式会社 符号化方法、符号化装置、符号化処理のプログラム及び符号化処理のプログラムを記録した記録媒体
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
JP4825524B2 (ja) 2006-01-31 2011-11-30 株式会社東芝 動画像復号装置および動画像復号方法
JP4605052B2 (ja) * 2006-03-03 2011-01-05 日本電気株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、フィルタ装置及びプログラム
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
TWI384437B (zh) * 2006-12-18 2013-02-01 Sony Corp An image signal processing device, an image signal processing method, and a computer program product
WO2008084996A1 (en) * 2007-01-11 2008-07-17 Samsung Electronics Co, . Ltd. Method and apparatus for deblocking-filtering video data
JP2009004920A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 画像符号化装置および画像符号化方法
US8913670B2 (en) 2007-08-21 2014-12-16 Blackberry Limited System and method for providing dynamic deblocking filtering on a mobile device
US8145977B2 (en) * 2007-10-15 2012-03-27 Joseph Schweiray Lee Methods and apparatus for providing error correction to unwritten pages and for identifying unwritten pages in flash memory
WO2009051719A2 (en) * 2007-10-16 2009-04-23 Thomson Licensing Methods and apparatus for video encoding and decoding geometically partitioned super blocks
CN101472177B (zh) * 2007-12-27 2013-03-06 宝利微电子系统控股公司 一种块效应检测方法
JP5232175B2 (ja) * 2008-01-24 2013-07-10 パナソニック株式会社 動画像圧縮装置
WO2009126299A1 (en) * 2008-04-11 2009-10-15 Thomson Licensing Deblocking filtering for displaced intra prediction and template matching
US8761538B2 (en) * 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
JP2010288079A (ja) * 2009-06-11 2010-12-24 Sony Corp 画像処理装置及び画像処理方法
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP2011049740A (ja) * 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
KR101073150B1 (ko) * 2009-08-28 2011-10-12 성균관대학교산학협력단 공통 데이터 패스 구조를 포함하는 디블록킹 필터링 연산 장치 및 그 방법
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI508534B (zh) 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
DK3177017T3 (da) 2010-06-04 2020-03-02 Sony Corp Kodning af en qp og en delta qp for billedblokke, der er større end en minimumsstørrelse
CN103716632B (zh) 2010-12-07 2017-04-19 索尼公司 图像处理设备和图像处理方法
CN106385586A (zh) 2010-12-07 2017-02-08 索尼公司 图像处理设备和图像处理方法
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
US9565436B2 (en) * 2011-01-14 2017-02-07 Telefonaktiebolaget Lm Ericsson (Publ) Method for filter control and a filtering control device
KR20190069613A (ko) 2011-02-10 2019-06-19 벨로스 미디어 인터내셔널 리미티드 화상 처리 장치 및 화상 처리 방법
MY186854A (en) 2011-03-11 2021-08-26 Sony Corp Image processing apparatus and method
US9338476B2 (en) * 2011-05-12 2016-05-10 Qualcomm Incorporated Filtering blockiness artifacts for video coding
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
MY167204A (en) * 2011-06-28 2018-08-13 Sony Corp Image processing device and image processing method
EP2869560A4 (en) 2012-06-29 2016-09-07 Sony Corp DEVICE AND METHOD OF ENCODING
US10820017B2 (en) * 2017-03-15 2020-10-27 Mediatek Inc. Method and apparatus of video coding

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106911934A (zh) * 2017-03-01 2017-06-30 北京奇艺世纪科技有限公司 块效应去除方法及去块效应滤波器
CN106911934B (zh) * 2017-03-01 2020-03-03 北京奇艺世纪科技有限公司 块效应去除方法及去块效应滤波器

Also Published As

Publication number Publication date
MX352108B (es) 2017-11-09
AU2017202655A1 (en) 2017-05-11
CN113347420A (zh) 2021-09-03
SG10201404907QA (en) 2014-10-30
SG10201507034QA (en) 2015-10-29
US20240056611A1 (en) 2024-02-15
EP3313074B1 (en) 2021-09-22
SG10201507031PA (en) 2015-10-29
AU2017202655B2 (en) 2018-07-26
JP2015136147A (ja) 2015-07-27
CN110611810A (zh) 2019-12-24
US10291937B2 (en) 2019-05-14
KR102105497B1 (ko) 2020-04-29
KR20170055554A (ko) 2017-05-19
RU2643468C1 (ru) 2018-02-01
CN113347419A (zh) 2021-09-03
CN110602492A (zh) 2019-12-20
CN107426571B (zh) 2019-12-10
CN107295335A (zh) 2017-10-24
CN107318019A (zh) 2017-11-03
CA3059756C (en) 2022-10-18
BR122015001053B1 (pt) 2019-07-09
ES2893754T3 (es) 2022-02-10
KR102067368B1 (ko) 2020-01-16
TW201304550A (zh) 2013-01-16
CN107454401A (zh) 2017-12-08
TWI542195B (zh) 2016-07-11
CN107426571A (zh) 2017-12-01
AU2015213302B2 (en) 2017-04-06
CA2837055C (en) 2019-12-31
KR20190090888A (ko) 2019-08-02
US11039172B2 (en) 2021-06-15
CO6842008A2 (es) 2014-01-20
US20210344965A1 (en) 2021-11-04
KR20140043758A (ko) 2014-04-10
JP2018113698A (ja) 2018-07-19
CN110519592A (zh) 2019-11-29
CN107318019B (zh) 2020-02-28
US11647231B2 (en) 2023-05-09
MY167204A (en) 2018-08-13
KR102009050B1 (ko) 2019-08-08
EP3313075B1 (en) 2021-12-29
AU2015213302A1 (en) 2015-09-03
CN110611811B (zh) 2021-07-06
JPWO2013001957A1 (ja) 2015-02-23
KR20190090066A (ko) 2019-07-31
CN110611812A (zh) 2019-12-24
CN104113764A (zh) 2014-10-22
CN103609126B (zh) 2017-09-08
MX2013015405A (es) 2015-10-27
CN107318018B (zh) 2019-11-01
KR20200115675A (ko) 2020-10-07
JP2017060202A (ja) 2017-03-23
KR102166220B1 (ko) 2020-10-15
JP6065037B2 (ja) 2017-01-25
JP6468380B2 (ja) 2019-02-13
MX356762B (es) 2018-06-12
CA3059756A1 (en) 2013-01-03
US20160286240A1 (en) 2016-09-29
EP2728870A4 (en) 2015-01-14
CN110611812B (zh) 2021-07-06
CN110611810B (zh) 2021-06-01
CN103609126A (zh) 2014-02-26
TW201603560A (zh) 2016-01-16
CN107454400B (zh) 2020-10-20
BR112013033183B1 (pt) 2019-07-16
KR102071201B1 (ko) 2020-01-29
PH12018501265A1 (en) 2021-01-18
TWI571104B (zh) 2017-02-11
RU2013156835A (ru) 2015-06-27
ZA201309214B (en) 2014-06-25
HUE056075T2 (hu) 2022-01-28
EP4009637A1 (en) 2022-06-08
CN110602492B (zh) 2021-06-01
US11838556B2 (en) 2023-12-05
EP3001684A3 (en) 2016-07-20
AU2012277049B2 (en) 2017-04-06
CN110519592B (zh) 2021-06-01
CN107454400A (zh) 2017-12-08
AU2012277049A1 (en) 2013-12-12
CN107454401B (zh) 2019-11-19
US20140112396A1 (en) 2014-04-24
EP3313074A1 (en) 2018-04-25
KR102477475B1 (ko) 2022-12-14
US20190230383A1 (en) 2019-07-25
JP6468381B2 (ja) 2019-02-13
CN107318018A (zh) 2017-11-03
US11051043B2 (en) 2021-06-29
EP4009638A1 (en) 2022-06-08
BR112013033183A2 (pt) 2017-03-01
KR102067369B1 (ko) 2020-01-16
TWI637626B (zh) 2018-10-01
CN107295335B (zh) 2020-03-17
EP2728870A1 (en) 2014-05-07
DK3313074T3 (da) 2021-10-25
KR20190088573A (ko) 2019-07-26
JP2018113699A (ja) 2018-07-19
CN110611811A (zh) 2019-12-24
US10298958B2 (en) 2019-05-21
JP6459005B2 (ja) 2019-01-30
US20230232049A1 (en) 2023-07-20
EP3001684A2 (en) 2016-03-30
RU2608476C2 (ru) 2017-01-18
KR20190092623A (ko) 2019-08-07
RU2015103069A (ru) 2015-06-20
CA2837055A1 (en) 2013-01-03
JP6477939B2 (ja) 2019-03-06
JP2018113697A (ja) 2018-07-19
JP6070553B2 (ja) 2017-02-01
KR20200024958A (ko) 2020-03-09
KR102010160B1 (ko) 2019-08-12
US20240031610A1 (en) 2024-01-25
BR122015001053A2 (pt) 2018-03-20
US20190191186A1 (en) 2019-06-20
RU2607243C2 (ru) 2017-01-10
WO2013001957A1 (ja) 2013-01-03
RU2680349C1 (ru) 2019-02-19
EP3313075A1 (en) 2018-04-25
CN104113764B (zh) 2017-10-27

Similar Documents

Publication Publication Date Title
TWI571104B (zh) 圖像處理裝置、圖像處理方法、圖像處理程式及記錄媒體