TW201635789A - 圖像處理裝置及方法 - Google Patents

圖像處理裝置及方法 Download PDF

Info

Publication number
TW201635789A
TW201635789A TW105105049A TW105105049A TW201635789A TW 201635789 A TW201635789 A TW 201635789A TW 105105049 A TW105105049 A TW 105105049A TW 105105049 A TW105105049 A TW 105105049A TW 201635789 A TW201635789 A TW 201635789A
Authority
TW
Taiwan
Prior art keywords
unit
image
offset
filter
adaptive offset
Prior art date
Application number
TW105105049A
Other languages
English (en)
Other versions
TWI592009B (zh
Inventor
Hironari Sakurai
Ohji Nakagami
Takuya Kitamura
Yoichi Yagasaki
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201635789A publication Critical patent/TW201635789A/zh
Application granted granted Critical
Publication of TWI592009B publication Critical patent/TWI592009B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

本揭示係關於一種可提高編碼或解碼之處理效率之圖像處理裝置及方法。該圖像處理方法係在編碼側決定LCU115之類型E0與其係數。類型E0之係數於LCU111之時向解碼側發送，且儲存於解碼側之適應偏移濾波器所具有之EO用緩衝器。因此，在解碼側，對於LCU115不發送類型E0之係數，而自EO用緩衝器複製使用。如上所述，將先前在圖框之開端一次性傳送之適應偏移濾波器之參數針對每個LCU且在LCU之開端逐次發送。本揭示可應用於例如圖像處理裝置。

Description

圖像處理裝置及方法
本揭示係關於圖像處理裝置及方法，尤其是關於可使編碼或解碼之處理效率提高之圖像處理裝置及方法。
近年來，將圖像資訊作為數位處理，其時，以資訊之高效傳送與儲存為目的，利用圖像資訊特有之冗長性，採用藉由離散餘弦轉換等之正交轉換與動態補償而壓縮之編碼方式對圖像進行壓縮編碼之裝置正在普及。該編碼方式有例如MPEG(Moving Picture Experts Group：動畫專家組)或H.264及MPEG-4 Part 10(Advanced Video Coding：進階視訊編碼，以下記為H.264/AVC)等。
且如今，以較H.264/AVC進一步提高編碼效率為目的，由ITU-T(國際電信聯盟電信標準化部門)與ISO/IEC(國際標準化組織/國際電工技術委員會)之共同之標準化團體，即JCTVC(Joint Collaboration Team-Video Coding：聯合協作團隊-視訊編碼)，推進所謂HEVC(High Efficiency Video Coding：高效視訊編碼)之編碼方式之標準化(例如，參照非專利文獻1)。
在現時點之HEVC之草案中，作為迴路內濾波器，採用解塊濾波器、適應迴路濾波器、及適應偏移濾波器(Sample Adaptive Offset(採樣適應偏移)：SAO)。
在HEVC中，適應迴路濾波器之參數係1圖框大小匯總發送至解碼側。對此，在非專利文獻2中，提案有以最大之編碼單位即LCU單 位進行適應迴路濾波器之處理。
[先前技術文獻] [非專利文獻]
[非專利文獻1]Thomas Wiegand，Woo-Jin Han，Benjamin Bross，Jens-Rainer Ohm，Gary J.Sullivan，「Working Draft 4 of High-Efficiency Video Coding」，JCTVC-F803，Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting：Torino，IT，14-22 July，2011
[非專利文獻2]A. Fuldseth，Cisco Systems，G.bjontegaard，Cisco Systems，「Improved ALF with low latency and reduced complexity」，JCTVC-G499，Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting：Geneva，CH，21-30 November，2011
另一方面，在HEVC中，適應偏移濾波器係對適應偏移濾波器用所獨自定義之quad-tree(四元樹)此區域進行適應。且，適應偏移濾波器之參數係在sao_param()中1圖框大小匯總定義。
該sao_param()在編碼串流中，配置於資料(視訊資訊)之前。因此，在編碼側，適應偏移濾波處理結束，適應偏移濾波器之係數決定，從而製作sao_param()之前，有必要於緩衝器中預先保持一圖框大小之資料。
本揭示係鑑於此種狀況而完成者，可提高編碼或解碼之處理效率。
本揭示之第一態樣之圖像處理裝置係具備：取得部，其係從以 最大編碼單位為傳送單位而設定有適應偏移濾波器之參數之編碼串流中，以最大編碼單位取得上述適應偏移濾波器之參數；解碼部，其係對上述編碼串流進行解碼處理，而產生圖像；及適應偏移濾波部，其係使用由上述取得部所取得之參數，以最大編碼單位對由上述解碼部所產生之圖像進行適應偏移濾波。
上述適應偏移濾波器之參數可包含上述適應偏移濾波器之類型與偏移值。
進而具備對由上述解碼部所產生之圖像進行解塊濾波之解塊濾波器部，且上述適應偏移濾波部可對已藉由上述解塊濾波器部進行解塊濾波之圖像進行適應偏移濾波。
上述取得部可從上述編碼串流中，取得識別較當前(Current)最大編碼單位更先進行適應偏移濾波之先前(Previous)最大編碼單位之參數與當前最大編碼單位之參數相同之識別資料，且上述適應偏移濾波部使用由上述取得部所取得之識別資料，以最大編碼單位對由上述解碼部所產生之圖像進行適應偏移濾波。
上述取得部可從上述編碼串流中，取得對是否使用較當前最大編碼單位更先進行適應偏移濾波之先前最大編碼單位之參數進行識別之識別資料，且上述適應偏移濾波部使用由上述取得部所取得之識別資料，以最大編碼單位對由上述解碼部所產生之圖像進行適應偏移濾波。
上述取得部可從上述編碼串流中，取得對是否複製使用較當前最大編碼單位更先進行適應偏移濾波之先前最大編碼單位之參數進行識別之識別資料，且上述適應偏移濾波部使用由上述取得部所取得之識別資料，以最大編碼單位對由上述解碼部所產生之圖像進行適應偏移濾波。
上述取得部可從上述編碼串流中，取得將較當前最大編碼單位 更先進行適應偏移濾波之先前最大編碼單位作為對象而指定與當前最大編碼單位之參數相同之最大編碼單位之識別資料，且上述適應偏移濾波部使用由上述取得部所取得之識別資料，以最大編碼單位對由上述解碼部所產生之圖像進行適應偏移濾波。
上述適應偏移濾波器之參數係在最大編碼單位之開端之時序被傳送。
上述解碼部可以具有階層構造之單位進行解碼處理。
本揭示之第一態樣之圖像處理方法係由圖像處理裝置從以最大編碼單位為傳送單位而設定有適應偏移濾波器之參數之編碼串流中，以最大編碼單位取得上述適應偏移濾波器之參數，對上述編碼串流進行解碼處理而產生圖像，並使用所取得之參數，以最大編碼單位對所產生之圖像進行適應偏移濾波。
本揭示之第二態樣之圖像處理裝置具備：設定部，其係將最大編碼單位作為傳送單位來設定適應偏移濾波器之參數；適應偏移濾波部，其係使用由上述設定部所設定之參數，以最大編碼單位對編碼圖像時已進行局部解碼處理之圖像進行適應偏移濾波；編碼部，其係使用已由上述適應偏移濾波部進行適應偏移濾波之圖像，對上述圖像進行編碼處理，而產生編碼串流；及傳送部，其係傳送由上述設定部所設定之參數、與由上述編碼部所產生之編碼串流。
上述適應偏移濾波器之參數可包含上述適應偏移濾波器之類型與偏移值。
進而具備對已局部解碼之圖像進行解塊濾波之解塊濾波器部，且上述適應偏移濾波部可對由上述解塊濾波器部進行解塊濾波之圖像進行適應偏移濾波。
上述設定部可設定識別較當前最大編碼單位更先進行適應偏移濾波之先前最大編碼單位之參數與當前最大編碼單位之參數相同之識 別資料，且上述傳送部傳送由上述設定部所設定之識別資料、與由上述編碼部所產生之編碼串流。
上述設定部可設定對是否使用較當前最大編碼單位更先進行適應偏移濾波之先前最大編碼單位之參數進行識別之識別資料，且上述傳送部傳送由上述設定部所設定之識別資料、與由上述編碼部所產生之編碼串流。
上述設定部可設定對是否複製使用較當前最大編碼單位更先進行適應偏移濾波之先前最大編碼單位之參數進行識別之識別資料，且上述傳送部傳送由上述設定部所設定之識別資料、與由上述編碼部所產生之編碼串流。
上述設定部可設定將較當前最大編碼單位更先進行適應偏移濾波之先前最大編碼單位作為對象來指定與當前最大編碼單位之參數相同之最大編碼單位之識別資料，且上述傳送部傳送由上述設定部所設定之識別資料、與由上述編碼部所產生之編碼串流。
上述傳送部可在最大編碼單位之開端之時序傳送由上述設定部所設定之適應偏移濾波器之參數。
上述編碼部可以具有階層構造之單位進行編碼處理。
本揭示之第二態樣之圖像處理方法係使圖像處理裝置以最大編碼單位為傳送單位來設定適應偏移濾波器之參數，且使用所設定之參數，以最大編碼單位對編碼圖像時已進行局部解碼處理之圖像進行適應偏移濾波，並使用已進行適應偏移濾波之圖像，對上述圖像進行編碼處理，而產生編碼串流，並傳送所設定之參數、及所產生之編碼串流。
在本揭示之第一態樣中，係從以最大編碼單位為傳送單位而設定有適應偏移濾波器之參數之編碼串流中，以最大編碼單位取得上述適應偏移濾波器之參數，且對上述編碼串流進行解碼處理，從而產生 圖像。接著，使用所取得之參數，以最大編碼單位對所產生之圖像進行適應偏移濾波。
在本揭示之第二態樣中，係以最大編碼單位為傳送單位來設定適應偏移濾波器之參數，且使用所設定之參數，以最大編碼單位對編碼圖像時已進行局部解碼處理之圖像進行適應偏移濾波。接著，使用已進行適應偏移濾波之圖像，對上述圖像進行編碼處理，而產生編碼串流，並傳送所設定之參數、及所產生之編碼串流。
另，上述圖像處理裝置可為獨立之裝置，亦可為構成一個圖像編碼裝置或圖像解碼裝置之內部區塊。
根據本揭示之第一態樣，可解碼圖像。尤其，可使處理效率提高。
根據本揭示之第二態樣，可對圖像進行編碼。尤其，可使處理效率提高。
11‧‧‧圖像編碼裝置
26‧‧‧可逆編碼部
31‧‧‧解塊濾波器
41‧‧‧適應偏移濾波器
42‧‧‧適應迴路濾波器
51‧‧‧圖像解碼裝置
62‧‧‧可逆解碼部
66‧‧‧解塊濾波器
81‧‧‧適應偏移濾波器
82‧‧‧適應迴路濾波器
111‧‧‧LCU
112‧‧‧LCU
113‧‧‧LCU
114‧‧‧LCU
115‧‧‧LCU
116‧‧‧LCU
117‧‧‧LCU
121‧‧‧EO用緩衝器
122‧‧‧BO用緩衝器
211‧‧‧類型/偏移決定部
212‧‧‧偏移處理部
213‧‧‧圖像緩衝器
214‧‧‧係數讀取部
215‧‧‧偏移緩衝器
215-1‧‧‧EO緩衝器
215-2‧‧‧BO緩衝器
216‧‧‧參數設定部
217‧‧‧係數寫入部
221‧‧‧語法寫入部
251‧‧‧語法讀取部
261‧‧‧參數接收部
262‧‧‧係數讀取部
263‧‧‧偏移緩衝器
263-1‧‧‧EO緩衝器
263-2‧‧‧BO緩衝器
264‧‧‧係數寫入部
265‧‧‧偏移處理部
266‧‧‧圖像緩衝器
圖1係顯示圖像編碼裝置之主要構成例之方塊圖。
圖2係說明編碼處理之流程之例之流程圖。
圖3係顯示圖像解碼裝置之主要構成例之方塊圖。
圖4係說明解碼處理之流程之例之流程圖。
圖5係說明HEVC方式之quad-tree構造之圖。
圖6係說明頻帶偏移之圖。
圖7A-F係說明邊緣偏移之圖。
圖8A、B係顯示邊緣偏移之規則一覽表之圖。
圖9係說明本技術之概要之圖。
圖10係說明本技術之效果之圖。
圖11係顯示sao_param()之語法之例之圖。
圖12係說明sao_type_idx之圖。
圖13係顯示應用本揭示之適應偏移濾波器之構成例之方塊圖。
圖14係說明適應偏移濾波處理之流程圖。
圖15係說明係數之寫入處理之流程圖。
圖16係說明係數之寫入處理之圖。
圖17係顯示應用本揭示之適應偏移濾波器之構成例之方塊圖。
圖18係說明適應偏移濾波處理之流程圖。
圖19係說明係數之讀取處理之流程圖。
圖20係說明係數之讀取處理之圖。
圖21係顯示多視點圖像編碼方式之例之圖。
圖22係顯示應用本技術之多視點圖像編碼裝置之主要構成例之圖。
圖23係顯示應用本技術之多視點圖像解碼裝置之主要構成例之圖。
圖24係顯示階層圖像編碼方式之例之圖。
圖25係顯示應用本技術之階層圖像編碼裝置之主要構成例之圖。
圖26係顯示應用本技術之階層圖像解碼裝置之主要構成例之圖。
圖27係顯示電腦之主要構成例之方塊圖。
圖28係顯示電視裝置之概略構成之一例之方塊圖。
圖29係顯示行動電話之概略構成之一例之方塊圖。
圖30係顯示記錄播放裝置之概略構成之一例之方塊圖。
圖31係顯示攝像裝置之概略構成之一例之方塊圖。
圖32係顯示可擴展編碼利用之一例之方塊圖。
圖33係顯示可擴展編碼利用之另一例之方塊圖。
圖34係顯示可擴展編碼利用之再一例之方塊圖。
以下，對用以實施本揭示之形態(以下稱為實施形態)加以說明。另，說明係按以下順序進行。
1.裝置及動作之概要
2.先前技術之說明
3.第1實施形態(圖像處理裝置)
4.第2實施形態(多視點圖像編碼‧多視點圖像解碼裝置)
5.第3實施形態(階層圖像編碼‧階層圖像解碼裝置)
6.第4實施形態(電腦)
7.應用例
8.可擴展編碼之應用例
<1.裝置及動作之概要> [圖像編碼裝置之構成例]
圖1係顯示作為應用本揭示之圖像處理裝置之圖像編碼裝置之一實施形態之構成。
圖1所示之圖像編碼裝置11係使用預測處理對圖像資料進行編碼。此處，作為編碼方式，例如使用HEVC(High Efficiency Video Coding：高效視訊編碼)方式等。在HEVC方式中，規定有編碼單位CU(Coding Unit)、最大編碼單位LCU、最小編碼單位SCU、預測單位PU(Prediction Unit)、轉換單位TU(Transform Unit)，且以具有階層構造之單位進行編碼/解碼。
在圖1之例中，圖像編碼裝置11具有A/D(Analog/Digital：類比/數位)轉換部21、畫面重排序緩衝器22、運算部23、正交轉換部24、量化部25、可逆編碼部26、及儲存緩衝器27。又，圖像編碼裝置11具有逆量化部28、逆正交轉換部29、運算部30、解塊濾波器31、圖框記憶 體32、選擇部33、框內預測部34、動態預測/補償部35、預測圖像選擇部36、及速率控制部37。
再者，圖像編碼裝置11於解塊濾波器31與圖框記憶體32之間，具有適應偏移濾波器41及適應迴路濾波器42。
A/D轉換部21對所輸入之圖像資料進行A/D轉換，且輸出並記憶於畫面重排序緩衝器22內。
畫面重排序緩衝器22將所記憶之顯示順序之圖框之圖像，根據GOP(Group of Picture：畫面群)構造，重排序成用以編碼之圖框之順序。畫面重排序緩衝器22將圖框之順序經重排序之圖像供給至運算部23。又，畫面重排序緩衝器22將圖框之順序經重排序之圖像亦供給至框內預測部34及動態預測/補償部35。
運算部23從自畫面重排序緩衝器22所讀取之圖像中，減去經由預測圖像選擇部36自框內預測部34或動態預測/補償部35供給之預測圖像，且將該差分資訊輸出至正交轉換部24。
例如，進行框內編碼之圖像之情形時，運算部23從自畫面重排序緩衝器22所讀取之圖像中，減去自框內預測部34供給之預測圖像。又，例如進行框間編碼之圖像之情形時，運算部23從自畫面重排序緩衝器22所讀取之圖像中，減去自動態預測/補償部35供給之預測圖像。
正交轉換部24對自運算部23供給之差分資訊實施離散餘弦轉換、及K-L轉換(Karhunen-Loeve Transform)等之正交轉換，且將其轉換係數供給至量化部25。
量化部25將正交轉換部24所輸出之轉換係數進行量化。量化部25將經量化之轉換係數供給至可逆編碼部26。
可逆編碼部26對該經量化之轉換係數實施可變長度編碼、算術編碼等之可逆編碼。
可逆編碼部26從框內預測部34取得表示框內預測模式之資訊等之參數，且從動態預測/補償部35取得表示框間預測模式之資訊或動態向量資訊等之參數。
可逆編碼部26對經量化之轉換係數進行編碼，且將所取得之各參數(語法要素)進行編碼，並作為編碼資料之標頭資訊之一部分(多工化)。可逆編碼部26將進行編碼所獲得之編碼資料供給並儲存於儲存緩衝器27。
例如，在可逆編碼部26中，進行可變長度編碼或算術編碼等之可逆編碼處理。作為可變長度編碼，可例舉CAVLC(Context-Adaptive Variable Length Coding：文絡適應性可變長度編碼)等。作為算術編碼，可例舉CABAC(Context-Adaptive Binary Arithmetic Coding：文絡適應性二進位算術編碼)等。
儲存緩衝器27暫時保持自可逆編碼部26所供給之編碼串流(資料)，且於特定時序，作為已編碼之編碼圖像，例如輸出至後段之未圖示之記錄裝置或傳送路徑等。即，儲存緩衝器27亦為傳送編碼串流之傳送部。
又，於量化部25中經量化之轉換係數亦被供給至逆量化部28。逆量化部28以對應量化部25之量化之方法，對該已量化之轉換係數進行逆量化。逆量化部28將所獲得之轉換係數供給至逆正交轉換部29。
逆正交轉換部29以對應正交轉換部24之正交轉換處理之方法，對所供給之轉換係數進行逆正交轉換。經逆正交轉換之輸出(經復原之差分資訊)被供給至運算部30。
運算部30在由逆正交轉換部29所供給之逆正交轉換結果、即經復原之差分資訊上，加入經由預測圖像選擇部36自框內預測部34或動態預測/補償部35供給之預測圖像，獲得局部解碼之圖像(解碼圖像)。
例如，差分資訊與進行框內編碼之圖像對應之情形時，運算部 30於該差分資訊上加入自框內預測部34供給之預測圖像。此外，例如，差分資訊與進行框間編碼之圖像對應之情形時，運算部30於該差分資訊上加入自動態預測/補償部35供給之預測圖像。
該相加結果之解碼圖像被供給至解塊濾波器31及圖框記憶體32。
解塊濾波器31藉由進行適當之解塊濾波處理，去除解碼圖像之區塊失真。解塊濾波器31將該濾波處理結果供給至適應偏移濾波器41。
適應偏移濾波器41對藉由解塊濾波器31之濾波後之圖像，主要進行去除振動波形之偏移濾波(SAO：Sample adaptive offset：採樣適應偏移)處理。
偏移濾波器之種類有2種頻帶偏移、6種邊緣偏移、及無偏移共計9種。適應偏移濾波器41以每個最大編碼單位即LCU，求得偏移濾波器之種類(類型)與偏移(值)，且使用該等，對藉由解塊濾波器31之濾波後之圖像實施濾波處理。在偏移濾波器41中，上述偏移為濾波器之係數。以下亦適當將偏移稱為係數。
另，適應偏移濾波器41之細節將於圖13中加以後述，適應偏移濾波器41具有儲存係數之緩衝器。適應偏移濾波器41於緩衝器內儲存有與以每個LCU所求得之係數相同之係數之情形時，將表示該旨意之旗標、表示係數在緩衝器中之儲存位置之索引、及表示類型之資訊供給至可逆編碼部26加以編碼。
另一方面，適應偏移濾波器41未於緩衝器內儲存與以每個LCU所求得之係數相同之係數之情形時，將表示該旨意之旗標、係數、及表示類型之資訊供給至可逆編碼部26加以編碼。
適應偏移濾波器41將濾波處理後之圖像供給至適應迴路濾波器42。
適應迴路濾波器42係例如以每個最大編碼單位即LCU進行適應迴路濾波(ALF：Adaptive Loop Filter)處理。在適應迴路濾波器42中，例如使用2維之維納濾波器(Wiener Filter)作為濾波器。當然，亦可使用維納濾波器以外之濾波器。
適應迴路濾波器42對藉由適應偏移濾波器41之濾波後之圖像，使用濾波器係數，以每個LCU進行濾波處理，並將濾波處理結果供給至圖框記憶體32。
另，雖然本說明書中省略詳細說明，但在圖像編碼裝置11中，濾波器係數係於每個LCU以使與來自畫面重排序緩衝器22之原圖像之殘差最小之方式，藉由適應迴路濾波器42算出而使用。所算出之濾波器係數在可逆編碼部26中進行編碼，而發送至下述之圖3之圖像解碼裝置51。又，在本說明書中，雖揭示以每個LCU進行處理之例，但適應迴路濾波器42之處理單位並非限定於此。
圖框記憶體32在特定時序，將儲存之參照圖像經由選擇部33輸出至框內預測部34或動態預測/補償部35。
例如，進行框內編碼之圖像之情形時，圖框記憶體32將參照圖像經由選擇部33供給至框內預測部34。又，例如進行框間編碼之情形時，圖框記憶體32將參照圖像經由選擇部33供給至動態預測/補償部35。
選擇部33在自圖框記憶體32供給之參照圖像為進行框內編碼之圖像之情形時，將該參照圖像供給至框內預測部34。此外，選擇部33在自圖框記憶體32供給之參照圖像為進行框間編碼之圖像之情形時，將該參照圖像供給至動態預測/補償部35。
框內預測部34進行使用畫面內之像素值產生預測圖像之框內預測(畫面內預測)。框內預測部34藉由複數個模式(框內預測模式)進行框內預測。
框內預測部34以所有框內預測模式產生預測圖像，且評估各預測圖像，從而選擇最佳模式。框內預測部34選擇最佳框內預測模式後，將以該最佳模式所產生之預測圖像經由預測圖像選擇部36，供給至運算部23或運算部30。
又，如上所述，框內預測部34將表示所採用之框內預測模式之框內預測模式資訊等之參數適當供給至可逆編碼部26。
動態預測/補償部35針對進行框間編碼之圖像，使用自畫面重排序緩衝器22供給之輸入圖像、與經由選擇部33自圖框記憶體32供給之參照圖像，進行動態預測。又，動態預測/補償部35因應藉由動態預測而檢測出之動態向量，進行動態補償處理，而產生預測圖像(框間預測圖像資訊)。
動態預測/補償部35進行成為候補之所有框間預測模式之框間預測處理，而產生預測圖像。動態預測/補償部35將所產生之預測圖像經由預測圖像選擇部36供給至運算部23或運算部30。
又，動態預測/補償部35將表示所採用之框間預測模式之框間預測模式資訊、或表示所算出之動態向量之動態向量資訊等之參數供給至可逆編碼部26。
進行框內編碼之圖像之情形時，預測圖像選擇部36將框內預測部34之輸出供給至運算部23或運算部30，進行框間編碼之圖像之情形時，將動態預測/補償部35之輸出供給至運算部23或運算部30。
速率控制部37基於儲存緩衝器27所儲存之壓縮圖像，以不會產生溢流或下溢之方式，控制量化部25之量化動作之速率。
[圖像編碼裝置之動作]
參照圖2，對藉由如上所述之圖像編碼裝置11而執行之編碼處理之流程加以說明。
在步驟S11中，A/D轉換部21對所輸入之圖像進行A/D轉換。在步 驟S12中，畫面重排序緩衝器22記憶經A/D轉換之圖像，且進行自各圖片之顯示順序改為編碼順序之重排序。
自畫面重排序緩衝器22供給之處理對象之圖像為進行框內處理之區塊之圖像之情形時，將所參照之解碼完畢之圖像自圖框記憶體32讀取，且經由選擇部33供給至框內預測部34。
基於該等圖像，在步驟S13中，框內預測部34對處理對象之區塊之像素，以成為候補之所有框內預測模式進行框內預測。另，作為被參照之解碼完畢之像素，係使用未藉由解塊濾波器31濾波之像素。
藉由該處理，以成為候補之所有框內預測模式進行框內預測，且針對成為候補之所有框內預測模式算出成本函數值。接著，基於所算出之成本函數值，選擇最佳框內預測模式，且將藉由最佳框內預測模式之框內預測所產生之預測圖像及其成本函數值供給至預測圖像選擇部36。
自畫面重排序緩衝器22供給之處理對象之圖像為進行框間處理之圖像之情形時，將所參照之圖像自圖框記憶體32讀取，且經由選擇部33供給至動態預測/補償部35。基於該等之圖像，於步驟S14中，動態預測/補償部35進行動態預測/補償處理。
藉由該處理，以成為候補之所有框間預測模式進行動態預測處理，且針對成為候補之所有框間預測模式算出成本函數值，並基於所算出之成本函數值決定最佳框間預測模式。接著，將藉由最佳框間預測模式所產生之預測圖像及其成本函數值供給至預測圖像選擇部36。
在步驟S15中，預測圖像選擇部36基於由框內預測部34及動態預測/補償部35所輸出之各成本函數值，將最佳框內預測模式與最佳框間預測模式中之一者決定成最佳預測模式。接著，預測圖像選擇部36選擇所決定之最佳預測模式之預測圖像，且供給至運算部23、30。該預測圖像係利用於後述之步驟S16、S21之運算。
另，該預測圖像之選擇資訊係供給至框內預測部34或動態預測/補償部35。選擇最佳框內預測模式之預測圖像之情形時，框內預測部34將表示最佳框內預測模式之資訊(即，與框內預測相關之參數)供給至可逆編碼部26。
選擇最佳框間預測模式之預測圖像之情形時，動態預測/補償部35將表示最佳框間預測模式之資訊、與因應最佳框間預測模式之資訊(即與動態預測相關之參數)輸出至可逆編碼部26。作為因應最佳框間預測模式之資訊，可例舉動態向量資訊或參照圖框資訊等。
在步驟S16中，運算部23對步驟S12中經重排序之圖像、與步驟S15中所選擇之預測圖像之差分進行運算。預測圖像於進行框間預測之情形時自動態預測/補償部35經由各預測圖像選擇部36被供給至運算部23，於進行框內預測之情形時自框內預測部34經由各預測圖像選擇部36被供給至運算部23。
差分資料與原來之圖像資料相比，資料量變小。因此，與對圖像直接編碼之情形相比，可壓縮資料量。
在步驟S17中，正交轉換部24對自運算部23所供給之差分資訊進行正交轉換。具體而言，係進行離散餘弦轉換、K-L轉換等之正交轉換，並輸出轉換係數。
在步驟S18中，量化部25將轉換係數進行量化。於該量化時，以後述之步驟S28之處理所說明之方式控制速率。
藉由以上之方式所量化之差分資訊，藉由以下之方式局部解碼。即，在步驟S19中，逆量化部28對藉由量化部25而量化之轉換係數，以對應量化部25之特性之特性進行逆量化。在步驟S20中，逆正交轉換部29對藉由逆量化部28而逆量化之轉換係數，以對應正交轉換部24之特性之特性進行逆正交轉換。
在步驟S21中，運算部30將經由預測圖像選擇部36輸入之預測圖 像與經局部解碼之差分資訊相加，而產生局部性得以解碼(即，經局部解碼)之圖像(與向運算部23之輸入對應之圖像)。
在步驟S22中，解塊濾波器31對由運算部30所輸出之圖像進行解塊濾波處理。藉此去除區塊失真。來自解塊濾波器31之濾波後之圖像係輸出至適應偏移濾波器41。
在步驟S23中，適應偏移濾波器41進行適應偏移濾波處理。藉由該處理，以每個最大編碼單位即LCU求得偏移濾波器之類型與係數，且使用該等，對藉由解塊濾波器31之濾波後之圖像實施濾波處理。另，該適應偏移濾波處理之細節係參照圖14予以後述。
接著，於緩衝器內儲存有與以每個LCU所求得之係數相同之係數之情形時，將表示該旨意之旗標、表示在緩衝器中之儲存位置之索引、及表示類型之資訊供給至可逆編碼部26。另一方面，未於緩衝器內儲存與以每個LCU所求得之係數相同之係數之情形時，將表示該旨意之旗標、係數、及表示類型之資訊供給至可逆編碼部26。
該等被供給至可逆編碼部26之各資訊(以下，総稱為適應偏移參數)，在後述之步驟S26中進行編碼。
在步驟S24中，適應迴路濾波器42對藉由適應偏移濾波器41之濾波後之圖像，進行適應迴路濾波處理。例如，對藉由適應偏移濾波器41之濾波後之圖像，使用濾波器係數，且以每個LCU，針對圖像進行濾波處理，並將濾波處理結果供給至圖框記憶體32。
如上所述，藉由配合適應偏移濾波器41與適應迴路濾波器42之處理單位，可有效進行處理。
在步驟S25中，圖框記憶體32記憶經過濾之圖像。另，圖框記憶體32內，未藉由解塊濾波器31、適應偏移濾波器41、及適應迴路濾波器42濾波之圖像亦自運算部30供給而記憶。
另一方面，上述步驟S18中所量化之轉換係數亦被供給至可逆編 碼部26。在步驟S26中，可逆編碼部26將由量化部25所輸出之經量化之轉換係數、與所供給之各參數進行編碼。即，對差分圖像進行可變長度編碼、算術編碼等之可逆編碼而壓縮。
在步驟S27中，儲存緩衝器27將經編碼之差分圖像(即，編碼串流)作為壓縮圖像予以儲存。儲存於儲存緩衝器27之壓縮圖像被適當讀取，且經由傳送路徑而傳送至解碼側。
在步驟S28中，速率控制部37基於儲存緩衝器27所儲存之壓縮圖像，以不會產生溢流或下溢之方式，控制量化部25之量化動作之速率。
若步驟S28之處理結束，則編碼處理結束。
[圖像解碼裝置之構成例]
圖3係表示作為應用本揭示之圖像處理裝置之圖像解碼裝置之一實施形態之構成。圖3所示之圖像解碼裝置51係對應圖1之圖像編碼裝置11之解碼裝置。
藉由圖像編碼裝置11編碼之編碼串流(資料)係經由特定之傳送路徑，傳送至與該圖像編碼裝置11對應之圖像解碼裝置51而解碼。
如圖3所示，圖像解碼裝置51具有儲存緩衝器61、可逆解碼部62、逆量化部63、逆正交轉換部64、運算部65、解塊濾波器66、畫面重排序緩衝器67、及D/A轉換部68。又，圖像解碼裝置51具有圖框記憶體69、選擇部70、框內預測部71、動態預測/補償部72、及選擇部73。
再者，圖像解碼裝置51在解塊濾波器66、畫面重排序緩衝器67、及圖框記憶體69之間，具有適應偏移濾波器81、及適應迴路濾波器82。
儲存緩衝器61亦為接收傳送而至之編碼資料之接收部。儲存緩衝器61接收傳送而至之編碼資料並儲存。該編碼資料係藉由圖像編碼 裝置11而編碼者。可逆解碼部62將在特定時序自儲存緩衝器61所讀取之編碼資料，以對應圖1之可逆編碼部26之編碼方式之方式進行解碼。
可逆解碼部62將經解碼之表示框內預測模式之資訊等之參數供給至框內預測部71，將表示框間預測模式之資訊或動態向量資訊等之參數供給至動態預測/補償部72。又，可逆解碼部62將經解碼之適應偏移參數(表示有無係數向緩衝器儲存之旗標、係數、表示類型之資訊、或表示緩衝器之係數儲存位置之索引等)供給至適應偏移濾波器81。
逆量化部63將藉由可逆解碼部62進行解碼而獲得之係數資料(量化係數)，以對應圖1之量化部25之量化方式之方式進行逆量化。即，逆量化部63係使用自圖像編碼裝置11所供給之量化參數，以與圖1之逆量化部28相同之方法進行量化係數之逆量化。
逆量化部63將經逆量化之係數資料、即正交轉換係數供給至逆正交轉換部64。逆正交轉換部64以對應圖1之正交轉換部24之正交轉換方式之方式，對該正交轉換係數進行逆正交轉換，而獲得與於圖像編碼裝置11中正交轉換前之殘差資料對應之解碼殘差資料。
進行逆正交轉換所獲得之解碼殘差資料係供給至運算部65。又，運算部65中，經由選擇部73自框內預測部71或動態預測/補償部72供給預測圖像。
運算部65將該解碼殘差資料與預測圖像相加，而獲得與藉由圖像編碼裝置11之運算部23減去預測圖像前之圖像資料對應之解碼圖像資料。運算部65將該解碼圖像資料供給至解塊濾波器66。
解塊濾波器66藉由適當進行解塊濾波處理而去除解碼圖像之區塊失真。解塊濾波器66將該濾波處理結果供給至適應偏移濾波器81。
適應偏移濾波器81對藉由解塊濾波器66之濾波後之圖像，主要 進行去除振動波形之偏移濾波(SAO)處理。
適應偏移濾波器81使用自可逆解碼部62供給之適應偏移參數，以每個最大編碼單位即LCU，對藉由解塊濾波器66之濾波後之圖像實施濾波處理。適應偏移濾波器81將濾波處理後之圖像供給至適應迴路濾波器82。
另，適應偏移濾波器81之細節於圖12以後加以後述，適應偏移濾波器81具有儲存係數之緩衝器。適應偏移濾波器81在來自可逆解碼部62之旗標表示有係數向緩衝器儲存之情形時，參照表示類型之資訊、及表示緩衝器之係數儲存位置之索引，自緩衝器讀取係數，且使用所讀取之係數實施濾波處理。
另一方面，適應偏移濾波器81在來自可逆解碼部62之旗標表示無係數向緩衝器儲存之情形時，使用自可逆解碼部62所取得之係數實施濾波處理。其後，適應偏移濾波器81將所取得之係數寫入緩衝器。
適應迴路濾波器82係與圖1之圖像編碼裝置11之適應迴路濾波器42基本同樣地構成，以每個最大編碼單位即LCU，進行適應迴路濾波處理。適應迴路濾波器82對藉由適應偏移濾波器81之濾波後之圖像，使用濾波係數，以每個LCU進行濾波處理，且將濾波處理結果供給至圖框記憶體69及畫面重排序緩衝器67。
另，本說明書中雖省略詳細說明，但於圖像解碼裝置51中，濾波器係數，係藉由圖像編碼裝置11之適應迴路濾波器42以每個LCU算出，且將編碼後發送而至者藉由可逆解碼部62進行解碼而使用。
畫面重排序緩衝器67進行圖像之重排序。即，將為編碼之順序而利用圖1之畫面重排序緩衝器22重排序之圖框之順序，重排序成原來之顯示順序。D/A轉換部68對自畫面重排序緩衝器67所供給之圖像進行D/A轉換，且輸出並顯示於未圖示之顯示器上。
適應迴路濾波器82之輸出進而被供給至圖框記憶體69。
圖框記憶體69、選擇部70、框內預測部71、動態預測/補償部72、及選擇部73係分別對應圖像編碼裝置11之圖框記憶體32、選擇部33、框內預測部34、動態預測/補償部35、及預測圖像選擇部36。
選擇部70從圖框記憶體69讀取框間處理之圖像與參照之圖像，供給至動態預測/補償部72。又，選擇部70自圖框記憶體69讀取使用於框內預測之圖像，供給至框內預測部71。
框內預測部71中，自可逆解碼部62適當供給將標頭資訊進行解碼而獲得之表示框內預測模式之資訊等。框內預測部71基於該資訊，從自圖框記憶體69所取得之參照圖像產生預測圖像，且將所產生之預測圖像供給至選擇部73。
動態預測/補償部72中，自可逆解碼部62供給將標頭資訊進行解碼而獲得之資訊(預測模式資訊、動態向量資訊、參照圖框資訊、旗標、及各種參數等)。
動態預測/補償部72基於自可逆解碼部62供給之該等資訊，從自圖框記憶體69所取得之參照圖像產生預測圖像，並將所產生之預測圖像供給至選擇部73。
選擇部73選擇藉由動態預測/補償部72或框內預測部71而產生之預測圖像，且供給至運算部65。
[圖像解碼裝置之動作]
參照圖4，對藉由如以上之圖像解碼裝置51執行之解碼處理之流程之例加以說明。
開始解碼處理後，在步驟S51中，儲存緩衝器61接收傳送而至之編碼串流(資料)並儲存。在步驟S52中，可逆解碼部62將自儲存緩衝器61供給之編碼資料進行解碼。藉由圖1之可逆編碼部26而編碼之I圖片、P圖片、及B圖片被解碼。
在解碼圖片前，亦對動態向量資訊、參照圖框資訊、預測模式 資訊(框內預測模式、或框間預測模式)等之參數之資訊進行解碼。
預測模式資訊為框內預測模式資訊之情形時，預測模式資訊係供給至框內預測部71。預測模式資訊為框間預測模式資訊之情形時，與預測模式資訊對應之動態向量資訊等係供給至動態預測/補償部72。又，適應偏移參數亦被解碼並供給至適應偏移濾波器81。
在步驟S53中，框內預測部71或動態預測/補償部72對應自可逆解碼部62供給之預測模式資訊，分別進行預測圖像產生處理。
即，自可逆解碼部62供給有框內預測模式資訊之情形時，框內預測部71產生框內預測模式之框內預測圖像。自可逆解碼部62供給有框間預測模式資訊之情形時，動態預測/補償部72進行框間預測模式之動態預測/補償處理，而產生框間預測圖像。
藉由該處理，使藉由框內預測部71所產生之預測圖像(框內預測圖像)、或藉由動態預測/補償部72所產生之預測圖像(框間預測圖像)供給至選擇部73。
在步驟S54中，選擇部73選擇預測圖像。即，供給藉由框內預測部71所產生之預測圖像、或藉由動態預測/補償部72所產生之預測圖像。因此，選擇所供給之預測圖像並供給至運算部，且於後述之步驟S57中與逆正交轉換部64之輸出相加。
在上述步驟S52中，藉由可逆解碼部62所解碼之轉換係數亦被供給至逆量化部63。在步驟S55中，逆量化部63將藉由可逆解碼部62所解碼之轉換係數，以對應圖1之量化部25之特性之特性進行逆量化。
在步驟S56中，逆正交轉換部64將藉由逆量化部63而逆量化之轉換係數，以對應圖1之正交轉換部24之特性之特性進行逆正交轉換。藉此解碼與圖1之正交轉換部24之輸入(運算部23之輸出)對應之差分資訊。
在步驟S57中，運算部65將上述步驟S54之處理中所選擇且經由 選擇部73輸入之預測圖像與差分資訊相加。藉此，解碼原來之圖像。
在步驟S58中，解塊濾波器66對由運算部65所輸出之圖像進行解塊濾波處理。藉此去除區塊失真。來自解塊濾波器66之解碼圖像係輸出至適應偏移濾波器81。
在步驟S59中，適應偏移濾波器81進行適應偏移濾波處理。適應偏移濾波器81使用來自可逆解碼部62之適應偏移參數，對藉由解塊濾波器66進行之濾波後之圖像實施濾波處理。適應偏移濾波器81將濾波處理後之圖像供給至適應迴路濾波器82。
另，適應偏移濾波器81之細節於圖12以後加以後述，適應偏移濾波器81具有儲存係數之緩衝器。來自可逆解碼部62之旗標表示有係數向緩衝器儲存之情形時，參照表示類型之資訊及表示緩衝器之係數儲存位置之索引，自緩衝器讀取係數，且使用所讀取之係數實施濾波處理。
另一方面，來自可逆解碼部62之旗標表示無係數向緩衝器儲存之情形時，使用自可逆解碼部62所取得之係數實施濾波處理。其後，將所取得之係數寫入緩衝器。
在步驟S60中，適應迴路濾波器82對藉由適應偏移濾波器81之濾波後之圖像進行適應迴路濾波處理。適應迴路濾波器82使用以每個最大編碼單位即LCU所計算之濾波器係數，對輸入圖像以每個LCU進行濾波處理，且將濾波處理結果供給至畫面重排序緩衝器67及圖框記憶體69。
在步驟S61中，圖框記憶體69記憶經過濾之圖像。
在步驟S62中，畫面重排序緩衝器67進行適應迴路濾波器82後之圖像之重排序。即，為編碼而利用圖像編碼裝置11之畫面重排序緩衝器22重排序之圖框之順序，被重排序成原來之顯示順序。
在步驟S63中，D/A轉換部68對來自畫面重排序緩衝器67之圖像 進行D/A轉換。該圖像係輸出至未圖示之顯示器，而顯示圖像。
步驟S63之處理結束後，解碼處理結束。
<先前技術之說明> [HEVC方式之適應偏移處理]
接著，對HEVC方式之適應偏移濾波器加以說明。在HEVC方式中，採用Sample Adaptive Offset(採樣適應偏移)方式。
在編碼側，適應偏移濾波器41係設置於解塊濾波器(DB)31、與適應迴路濾波器(ALF)42之間。在解碼側亦相同，適應偏移濾波器81係設置於解塊濾波器(DB)66、與適應迴路濾波器(ALF)82之間。
作為適應偏移之類型(種類)，被稱為頻帶偏移者有2種，被稱為邊緣偏移者有6種，進而，亦可不適應偏移。接著，可將圖像分割成quad-tree，且於各區域內，選擇藉由上述何種適應偏移之類型進行編碼。
該選擇資訊作為PQAO Info.，藉由編碼部(Entropy Coding：熵編碼)編碼而產生位元串流，並將所產生之位元串流發送至解碼側。藉由使用該方法，可使編碼效率提高。
此處，參照圖5，對quad-tree構造進行說明。
例如，在編碼側係如圖5之A1所示，計算表示未分割區域0之狀態之Level-0(分割深度0)之成本函數值J0。此外，計算表示區域0被分割成4個區域1至4之狀態之Level-1(分割深度0)之成本函數值J1、J2、J3、J4。
接著，如A2所示，對成本函數值進行比較，且因J0>(J1+J2+J3+J4)，而選擇Level-1之分割區域(Partitions)。
同樣，如A3所示，計算表示區域0被分割成16個區域5至20之狀態之Level-2(分割深度2)之成本函數值J5至J20。
接著，如A4所示，分別比較成本函數值，且因J1< (J5+J6+J9+J10)，而在區域1中選擇Level-1之分割區域(Partitions)。因J2>(J7+J8+J11+J12)，而在區域2中選擇Level-2之分割區域(Partitions)。因J3>(J13+J14+J17+J18)，而在區域3中選擇Level-2之分割區域(Partitions)。因J4>(J15+J16+J19+J20)，而在區域4中選擇Level-1之分割區域(Partitions)。
其結果係決定quad-tree構造中之A4所示之最終之quad-tree區域(Partitions)。接著，以每個quad-tree構造所決定之區域，針對2種頻帶偏移、6種邊緣偏移、及無偏移之所有類型，算出成本函數值，從而決定藉由何種偏移進行編碼。
例如，在圖5之例中，如白箭頭所示，針對區域1決定為EO(4)、即邊緣偏移中之第4種。針對區域7決定為OFF、即無偏移，針對區域8決定為EO(2)、即邊緣偏移中之第2種。針對區域11及12決定為OFF、即無偏移。
又，針對區域13決定為BO(1)、即頻帶偏移中之第1種，針對區域14決定為EO(2)、即邊緣偏移中之第2種。針對區域17決定為BO(2)、即頻帶偏移中之第2種，針對區域18決定為BO(1)、即頻帶偏移中之第1種。針對區域4決定為EO(1)、即邊緣偏移中之第1種。
接著，參照圖6，對頻帶偏移之細節加以說明。
在頻帶偏移中，在圖6之例中，係表示一個刻度為1頻帶=8像素，亮度像素值被分成32頻帶，且各個頻帶獨立具有偏移值。
即，在圖6之例中，將0至255像素(32頻帶)中、中央之16個頻帶分為第1組，且將兩側各8個頻帶分為第2組。
接著，對第1組及第2組之僅任一方之偏移進行編碼，且發送至解碼側。一般而言，在1個區域內，多為黑白分明、或存在微妙色調之任一者，而第1組與第2組雙方皆具有像素者較少。因此，藉由只發送僅一方之偏移，可抑制在各個quad-tree區域中傳送未包含之值之像 素值而編碼量增加。
另，輸入訊號係藉由廣播者之情形時，亮度訊號被限制於16，235之範圍，色差訊號被限制於16，240之範圍。此時，應用圖6下段所示之broadcast legal(廣播法律)，且不傳送顯示有×印之針對兩側之各2個頻帶之偏移值。
接著，參照圖7，對邊緣偏移之細節加以說明。
在邊緣偏移中，進行該像素值、與鄰接於該像素值之鄰接像素值之比較，且針對與其對應之類別，傳送偏移值。
邊緣偏移中，存在圖7A至圖7D所示之4個1維圖案、與圖7E及圖7F所示之2個2維圖案，且分別以圖7所示之類別傳送偏移。
圖7A係顯示相對該像素C以左右1維配置有鄰接像素、即相對圖7A之圖案成0度之1-D 0-度圖案。圖7B係顯示相對該像素C以上下1維配置有鄰接像素、即相對圖7A之圖案成90度之1-D 90-度圖案。
圖7C係顯示相對該像素C以左上與右下1維配置有鄰接像素、即相對圖7A之圖案成135度之1-D 135-度圖案。圖7D係顯示相對該像素C以右上與左下1維配置有鄰接像素、即相對圖7A之圖案成45度之1-D45-度圖案。
圖7E係顯示相對該像素C以上下左右2維配置有鄰接像素、即相對該像素C交叉之2-D，cross圖案。圖7F係顯示相對該像素C以右上左下、及左上右下之2維配置有鄰接像素、即相對該像素C對角線交叉之2-Ddiagonal圖案。
圖8A係顯示1維圖案之規則一覽表(Classification rule for 1-D patterns)。圖7A至圖7D之圖案係分類成如圖8A所示之5種類別，根據該類別算出偏移，並發送至解碼部。
該像素C之像素值小於兩個鄰接像素之像素值之情形，分類成類別1。該像素C之像素值小於一方之鄰接像素之像素值，且與另一方 之鄰接像素之像素值一致之情形，分類成類別2。該像素C之像素值大於一方之鄰接像素之像素值，且與另一方之鄰接像素之像素值一致之情形，分類成類別3。該像素C之像素值大於兩個鄰接像素之像素值之情形，分類成類別4。並非以上之任一者之情形，分類成類別0。
圖8B係顯示2維圖案之規則一覽表(Classification rule for 2-D patterns)。圖7E及圖7F之圖案被分類成如圖8B所示之7種類別，根據其類別將偏移發送至解碼側。
該像素C之像素值小於四個鄰接像素之像素值之情形，分類成類別1。該像素C之像素值小於三個鄰接像素之像素值，且與第四個鄰接像素之像素值一致之情形，分類成類別2。該像素C之像素值小於三個鄰接像素之像素值，且大於第四個鄰接像素之像素值之情形，分類成類別3。
該像素C之像素值大於三個鄰接像素之像素值，且小於第四個鄰接像素之像素值之情形，分類成類別4。該像素C之像素值大於三個鄰接像素之像素值，且與第四個鄰接像素之像素值一致之情形，分類成類別5。該像素C之像素值大於四個鄰接像素之像素值之情形，分類成類別6。並非以上之任一者之情形，分類成類別0。
如上所述，在邊緣偏移中，由於1維圖案只要僅對鄰接兩像素進行比較即可，故運算量較低。另，在high efficiency(高效率)編碼條件下，與low delay(低延遲)編碼條件相比，可將1位元(bit)偏移之值高精度地向解碼側發送。
如上所述之適應偏移處理係在HEVC方式下於每個quad-tree構造所決定之區域內進行之處理。即，在適應偏移處理中，必須獨自定義所謂quad-tree構造之適應偏移濾波器用之區域。
又，適應偏移濾波器之參數係在配置於資料(視訊資訊)前之sao_param()中1圖框大小匯總定義。因此，在編碼側，適應偏移濾波 處理結束，適應偏移濾波器之係數決定，從而製作sao_param()之前，有必要於緩衝器中預先保持一圖框大小之資料。
鑑於以上之點，在本實施中，配合非專利文獻2所提出之適應迴路濾波器之LCU單位下之處理，如參照此後之圖9加以說明般，以最大編碼單位即LCU單位進行適應偏移濾波。
<3.第1實施形態> [本技術之概要]
在圖9之例中，顯示有分割成LCU111至LCU117之圖像。編碼側之適應偏移濾波器41以最大編碼單位即LCU單位決定適應偏移濾波器之類型與係數(偏移值)，且將其於各LCU之開端之時序分別向解碼側發送。此時，若為已傳送並儲存於緩衝器之係數，則解碼側之適應偏移濾波器81自緩衝器複製使用該係數。
例如，在編碼側決定LCU111之類型E0(類別0之邊緣偏移)與其係數，且將LCU111之類型與係數於LCU111之開端發送至解碼側。在編碼側決定LCU112之類型E1(類別1之頻帶偏移)與其係數，且將LCU111之類型與係數於LCU112之開端發送至解碼側。在編碼側決定LCU113之類型B1(類別1之邊緣偏移)與其係數，且將LCU111之類型與係數於LCU113之開端發送至解碼側。在編碼側決定LCU114之類型B2(類別2之頻帶偏移)與其係數，且將LCU111之類型與係數於LCU114之開端發送至解碼側。
在解碼側，適應偏移濾波器81具有EO(邊緣偏移)用緩衝器121及BO(頻帶偏移)用緩衝器122，以LCU單位實施濾波處理，且儲存有發送而至之各係數。
此處，在編碼側決定LCU115之類型E0(類別0之邊緣偏移)與其係數。類型E0之係數已在LCU111時向解碼側發送，且儲存於解碼側之適應偏移濾波器81所具有之EO(邊緣偏移)用緩衝器121。
因此，在解碼側，關於LCU115，不發送類型E0之係數，而從EO用緩衝器121中複製使用。另，在編碼側，關於LCU116，由於決定為無適應偏移(off)，故不使用係數。
再者，在編碼側決定LCU117之類型E0(類別0之邊緣偏移)與其係數。類型E0之係數已在LCU111時向解碼側發送，且儲存於解碼側之適應偏移濾波器81所具有之EO(邊緣偏移)用緩衝器121。
因此，在解碼側，關於LCU117，不發送類型E0之係數，而從EO用緩衝器121中複製使用。
如上所述，由於將先前在圖框之開端一次性傳送之適應偏移濾波器之參數，在LCU之開端逐次發送，故，相對先前需要1圖框大小之容量之緩衝器而言，可將緩衝器削減至LCU大小之容量。
又，藉由不發送已使用之係數，可減輕因以每個LCU進行發送而造成所發送之係數較多之狀況。
圖10係顯示適應偏移濾波器之分割例。圖10之左側係先前之quad-tree基礎之分割例，圖10之右側係本技術之LCU基礎下之分割例。
quad-tree構造之情形時，如圖10之左側所示，只可以正方形之區域進行分割。對此，LCU單位之情形時，如圖10之右側所示，可分割成凸型之區域或凹形之區域。
實際上，凸型之區域係如虛線所示，表示例如以8×8之LCU與16×16之LCU構成，且相同類型中使用相同係數。同樣，凹型之區域係如虛線所示，表示例如以三個8×8之LCU構成，且相同類型中使用相同係數。
如上所述，藉由以LCU單位進行區域分割，與先前之quad-tree構造之情形相比，可使分割自由度提高，且配合輸入圖像之特性進行適應偏移濾波。
再者，由於使適應偏移濾波器與適應迴路濾波器之處理單位一致，故可以管線等同時或並行進行雙方之濾波處理，從而可提高處理效率。
[語法例]
圖11係顯示藉由圖像編碼裝置11產生之sao_param()之語法例之圖。各列左端之數字係用以說明而標註之列序號。
在圖11之例中，第8列之sample_adaptive_offset_flag係是否進行適應偏移濾波之旗標。第10列之sao_flag_cb係表示在1之情形時，應用cb之適應偏移濾波器者。第12列之sao_flag_cr係表示在1之情形時，應用cr之適應偏移濾波器者。另，關於sample_adaptive_offset_flag、sao_flag_cb、sao_flag_cr，本說明書中不特別言及。
第18列之sao_type_idx係指示偏移類型者。第20列之copy_flag係指定是否複製先前之LCU之sao_type_idx(類型)與sao_offset(係數)者。即，copy_flag係識別比處理中之當前之LCU更先進行適應偏移濾波前之LCU之參數(類型與偏移)與當前LCU之參數相同之識別資料。又，換言之，copy_flag係識別是否使用先前之LCU之參數作為當前LCU之參數之識別資料。進而換言之，copy_flag係識別是否複製使用先前之LCU之參數作為當前LCU之參數之識別資料。
第22列之copy_idx係指示作為複製對象之先前(處理完畢)之sao_type_idx(類型)與sao_offset(係數)者。即，copy_idx係將先前之LCU作為對象，而指定與當前LCU之參數相同之LCU(複製對象)之識別資料。
第25列之sao_offset係指示各類別之偏移(係數)者。
[類型索引例]
圖12係說明sao_type_idx之圖。在圖12之例中，自左按順序顯示 有sao_type_idx、NumSaoCategory、及Edge or Band type。
sao_type_idx係表示適應偏移濾波器之類型之索引。NumSaoCategory係表示該索引中之類別數之資訊。Edge or Band type係表示該索引為何種邊緣(或頻帶)類型之資訊。另，大致區分而言，sao_type_idx在其值為1至4之情形時，係Edge Offset(EO)，sao_type_idx在其值為5及6之情形時，係Band Offset(BO)。
即，sao_type_idx之值為0之情形時，NumSaoCategory(類別數)係0，不進行適應偏移處理。
sao_type_idx之值為1之情形時，NumSaoCategory(類別數)為4，邊緣之類型係圖7A所示之1D 0-度edge。sao_type_idx之值為2之情形時，NumSaoCategory(類別數)為4，邊緣之類型係圖7B所示之1D 90-度edge。sao_type_idx之值為3之情形時，NumSaoCategory(類別數)為4，邊緣之類型係圖7C所示之1D 135-度edge。sao_type_idx之值為4之情形時，NumSaoCategory(類別數)為4，邊緣之類型係圖7D所示之1D 45-度edge。
sao_type_idx之值為5之情形時，NumSaoCategory(類別數)為16，頻帶之類型係Center Band(圖6之第1組)。sao_type_idx之值為6之情形時，NumSaoCategory(類別數)為16，頻帶之類型係Side Band(圖6之第2組)。
另，在圖7之例中，雖未顯示邊緣偏移之2維圖案，但邊緣偏移之2維圖案亦可藉由增加sao_type_idx之數而對應。
[適應偏移濾波器之構成例]
圖13係顯示圖1之圖像編碼裝置之適應偏移濾波器及可逆編碼部之構成例之方塊圖。
在圖13之例中，適應偏移濾波器41係以包含類型/偏移決定部211、偏移處理部212、圖像緩衝器213、係數讀取部214、及偏移緩衝 器215之方式構成。此外，適應偏移濾波器41係以包含參數設定部216、及係數寫入部217之方式構成。
可逆編碼部26係以至少包含語法寫入部221之方式構成。
來自解塊濾波器31之解塊後像素值被輸入至類型/偏移決定部211及偏移處理部212。類型/偏移決定部211以LCU單位決定適應偏移濾波器之類型與該類型之偏移。此時，作為一例，以LCU單位計算成本函數值，而決定成本函數值最小之對該LCU最佳之類型與偏移。類型/偏移決定部211將表示所決定之類型之類型索引(sao_type_idx)、與偏移(sao_offset)供給至偏移處理部212及係數讀取部214。
另，偏移(係數)在邊緣偏移之情形時為5係數，在頻帶偏移之情形時為9係數。
偏移處理部212對來自解塊濾波器31之解塊後像素值，在每個LCU下，以來自類型/偏移決定部211之類型索引表示之類型與偏移，進行適應偏移濾波處理。偏移處理部212將偏移處理後之像素值供給至圖像緩衝器213。
圖像緩衝器213臨時儲存藉由偏移處理部212之偏移處理後之像素值，且在特定之時序供給至適應迴路濾波器42。
係數讀取部214在偏移緩衝器215內搜索是否存在與來自類型/偏移決定部211之偏移一致者。另，係數讀取部214確認來自偏移緩衝器215之類型索引表示之類型之緩衝器(邊緣偏移用或頻帶偏移用)。
係數讀取部214在存在一致者之情形時，以偏移緩衝器215，將表示儲存有一致之係數之位置之複製索引(copy_idx)與類型索引一同供給至參數設定部216。係數讀取部214在無一致者之情形時，將偏移與類型索引供給至參數設定部216。
偏移緩衝器215具有儲存邊緣偏移用之偏移之緩衝器、及儲存頻帶偏移用之偏移之緩衝器。偏移緩衝器215係例如構成為FIFO。
參數設定部216在與類型索引一同供給有複製索引之情形時，將複製旗標(copy_flag)設定為true(真)。參數設定部216將複製旗標、類型索引、及複製索引作為適應偏移參數而供給至語法寫入部221。
參數設定部216在與偏移一同供給有複製索引之情形時，將複製旗標(copy_flag)設定為false(假)。參數設定部216將複製旗標、類型索引、及偏移作為適應偏移參數而供給至語法寫入部221。此時，參數設定部216將類型索引、及偏移亦供給至係數寫入部217，且使偏移寫入偏移緩衝器215之空白區域。
係數寫入部217在偏移緩衝器215中、來自參數設定部216之類型索引表示之類型之緩衝器之空白區域內、靠近開端之空白區域中，寫入來自參數設定部216之偏移。另，靠近開端之空白區域係索引為最小之空白區域。
語法寫入部221將來自參數設定部216之適應偏移參數以LCU單位例如參照圖11上述般，寫入編碼串流之標頭部(sao_param)。
[編碼側之適應偏移濾波處理]
繼而，參照圖14之流程圖，對圖13之適應偏移濾波器41所進行之適應偏移濾波處理加以說明。另，該適應偏移濾波處理係圖2之步驟S23之處理。
來自解塊濾波器31之解塊後像素值被輸入至類型/偏移決定部211及偏移處理部212。類型/偏移決定部211在步驟S211中，以LCU單位決定適應偏移濾波器之類型與該類型之偏移。類型/偏移決定部211將表示所決定之類型之類型索引(sao_type_idx)、與偏移(sao_offset)供給至係數讀取部214。
係數讀取部214在偏移緩衝器215內搜索是否存在與來自類型/偏移決定部211之偏移一致者。係數讀取部214在步驟S212中，於偏移緩衝器215內判定是否存在偏移一致者。另，係數讀取部214確認來自偏 移緩衝器215之類型索引表示之類型之緩衝器(邊緣偏移用或頻帶偏移用)。
在步驟S212中，判定無偏移一致者之情形時，係數讀取部214將偏移與類型索引供給至參數設定部216。
與此對應，參數設定部216在步驟S213中，將複製旗標(copy_flag)設定成false(假)。
參數設定部216將類型索引、及偏移亦供給至係數寫入部217，且在步驟S214中進行係數(偏移)之寫入處理。該係數之寫入處理係參照圖15加以後述。
參數設定部216在步驟S217中，將複製旗標、類型索引、及偏移作為適應偏移參數，供給至語法寫入部221，並將適應偏移參數加以編碼。
與此對應，語法寫入部221在上述圖2之步驟S26中，將來自參數設定部216之適應偏移參數以LCU單位寫入編碼串流之標頭部(sao_param)。
另一方面，在步驟S212中，判定存在偏移一致者之情形時，處理進入步驟S215。
係數讀取部214在步驟S215中，以偏移緩衝器215，設定表示一致之係數所儲存之位置之複製索引(copy_idx)，且與類型索引一同供給至參數設定部216。
與此對應，參數設定部216在步驟S216中，將複製旗標(copy_flag)設定為true(真)。
接著，參數設定部216將複製旗標、類型索引、及複製索引作為適應偏移參數，供給至語法寫入部221，並將適應偏移參數加以編碼。
與此對應，語法寫入部221在上述圖2之步驟S26中，將來自參數 設定部216之適應偏移參數以LCU單位寫入編碼串流之標頭部(sao_param)。
另一方面，在步驟S211中決定之類型索引(sao_type_idx)、與偏移(sao_offset)亦被供給至偏移處理部212。
在步驟S218中，偏移處理部212進行偏移處理。即，偏移處理部212對來自解塊濾波器31之解塊後像素值，以每個LCU，以來自類型/偏移決定部211之類型索引表示之類型與偏移，進行適應偏移濾波處理。適應偏移濾波後之像素值係儲存於圖像緩衝器213，且在特定時序供給至適應迴路濾波器42。
[係數寫入處理]
接著，參照圖15之流程圖，對圖14之步驟S214之係數寫入處理加以說明。另，該係數寫入處理之說明中，參照圖16。
偏移緩衝器215係如圖16所示，以儲存邊緣偏移用之係數之EO緩衝器215-1及儲存頻帶偏移用之係數之BO緩衝器215-2此2個緩衝器而構成。
於EO緩衝器215-1及BO緩衝器215-2中，自靠近開端(左側)之位置開始儲存係數。在EO緩衝器215-1及BO緩衝器215-2中，顯示有複製索引(idx)之位置係已寫入有係數之區域，顯示為「空」之位置係空白區域。
即，在EO緩衝器215-1中，複製索引(idx)=1所示之位置、複製索引=2所示之位置、複製索引=3所示之位置、複製索引=4所示之位置上，已寫入有係數。
例如，在BO緩衝器215-2中，複製索引(idx)=1所示之位置、及複製索引=2所示之位置上，已寫入有係數。
係數寫入部217在圖15之步驟S231中，判定來自參數設定部216之類型索引是否為EO(邊緣偏移)。
在步驟S231中，判定類型索引為EO(邊緣偏移)之情形時，係數寫入部217在步驟S232中，選擇EO緩衝器215-1。
在步驟S231中，判定類型索引並非EO(邊緣偏移)，即為頻帶偏移之情形時，係數寫入部217在步驟S233中，選擇BO緩衝器215-2。
在步驟S234中，係數寫入部217在所選擇之緩衝器中，於靠近開端之空白區域內寫入sao_offset(偏移)。
例如圖16所示，由於在類型索引(sao_type_idx)係5之情形時為頻帶偏移，故在步驟S233中，選擇BO緩衝器215-2。接著，於步驟S234中，在複製索引=2所表示之位置之右鄰之位置上，寫入類型索引為5之sao_offset(偏移)。即，複製索引=2所示之位置之右鄰之位置係空白區域中靠近開端之區域。
[適應偏移濾波器之構成例]
圖17係顯示圖3之圖像解碼裝置之可逆解碼部及適應偏移濾波器之構成例之方塊圖。
在圖17之例中，可逆解碼部62係以至少包含語法讀取部251之方式構成。
適應偏移濾波器81係以包含參數接收部261、係數讀取部262、偏移緩衝器263、係數寫入部264、偏移處理部265、及圖像緩衝器266之方式構成。
語法讀取部251從編碼串流之標頭部讀取語法，其中，將適應偏移參數供給至參數接收部261。
另，在編碼側亦如上所述，適應偏移參數在複製旗標為true(真)之情形時，係以複製旗標、類型索引、及複製索引構成。適應偏移參數在複製旗標為false(假)之情形時，係以複製旗標、類型索引、及偏移而構成。
參數接收部261接收自語法讀取部251所供給之適應偏移參數， 且供給至係數讀取部262。
係數讀取部262判定類型索引是否為0。類型索引為0之情形時，不使偏移處理部265進行適應偏移濾波。
係數讀取部262在複製旗標為true(真)之情形時，自類型索引表示之類型用之緩衝器之複製索引表示之位置讀取偏移。係數讀取部262將所讀取之偏移與類型索引供給至偏移處理部265。
係數讀取部262在複製旗標為false(假)之情形時，將偏移與類型索引供給至偏移處理部265。此時，係數讀取部262將偏移與類型索引亦供給至係數寫入部264，且將偏移寫入偏移緩衝器263。
偏移緩衝器263係與圖13之偏移緩衝器215同樣地構成。即，偏移緩衝器263具有儲存邊緣偏移用之偏移之緩衝器、及儲存頻帶偏移用之偏移之緩衝器。偏移緩衝器263係例如構成為FIFO。
係數寫入部264係與圖13之係數寫入部217基本相同地構成。即，係數寫入部264在偏移緩衝器263中、來自係數讀取部262之類型索引表示之類型之緩衝器之空白區域內、靠近開端之空白區域中，寫入來自係數讀取部262之偏移。
偏移處理部265係與圖13之偏移處理部212基本相同地構成。即，偏移處理部265對來自解塊濾波器66之解塊後像素值，以每個LCU，以來自係數讀取部262之類型索引表示之類型與偏移，進行適應偏移濾波處理。偏移處理部265將偏移處理後之像素值供給至圖像緩衝器266。
另，類型索引為0之情形時，偏移處理部265將來自解塊濾波器66之濾波完畢之像素直接供給至圖像緩衝器266。即，該情形時，不進行適應偏移濾波處理。
圖像緩衝器266係與圖13之圖像緩衝器213基本相同地構成。即，圖像緩衝器266臨時儲存藉由偏移處理部265之偏移處理後之像素 值，且在特定之時序供給至適應迴路濾波器82。
[解碼側之適應偏移濾波處理]
接著，參照圖18之流程圖，對圖17之適應偏移濾波器81進行之適應偏移濾波處理加以說明。另，該適應偏移濾波處理係圖4之步驟S59之處理。
於圖4之步驟S52中，在將編碼串流進行解碼時，語法讀取部251自編碼串流之標頭部讀取語法，其中，將適應偏移參數供給至參數接收部261。
參數接收部261在步驟S251中，接收自語法讀取部251所供給之適應偏移參數，且供給至係數讀取部262。
係數讀取部262在步驟S252中，判定類型索引(sao_type_idx)是否為0。
在步驟S252中判定類型索引為0之情形時，適應偏移濾波處理結束。即，在該情形時，不進行適應偏移濾波處理，偏移處理部265將來自解塊濾波器66之解塊完畢之像素直接供給至圖像緩衝器266。
在步驟S252中判定類型索引不為0之情形時，係數讀取部262在步驟S253中，判定複製旗標(copy_flag)是否為true(真)。
在步驟S253中判定複製旗標為true(真)之情形時，係數讀取部262於步驟S254中進行係數(偏移)讀取處理。該係數讀取處理係參照圖19予以後述。
藉由該處理，自類型索引表示之類型用之緩衝器之複製索引表示之位置讀取偏移。係數讀取部262將所讀取之偏移與類型索引供給至偏移處理部265。
另一方面，在步驟S253中判定複製旗標並非true(真)之情形時，係數讀取部262將來自參數接收部261之偏移與類型索引供給至偏移處理部265。
接著，係數讀取部262在步驟S255中，將來自參數接收部261之偏移與類型索引亦供給至係數寫入部264，並進行向偏移緩衝器263之係數寫入處理。由於該係數寫入處理係與參照圖15上述之係數寫入處理基本相同之處理，故省略其說明。
在步驟S256中，偏移處理部265對來自解塊濾波器66之解塊後像素值，以每個LCU，以來自係數讀取部262之類型索引表示之類型與偏移，進行適應偏移濾波處理。偏移處理部265將偏移處理後之像素值供給至圖像緩衝器266。
[係數讀取處理]
接著，參照圖19之流程圖，對圖18之步驟S254之係數讀取處理加以說明。另，該係數讀取處理之說明中，參照圖20。
偏移緩衝器263係如圖20所示，以儲存邊緣偏移用之係數之EO緩衝器263-1、及儲存頻帶偏移用之係數之BO緩衝器263-2此2個緩衝器構成。
於EO緩衝器263-1及BO緩衝器263-2中，自靠近開端(左側)之位置開始儲存係數。在EO緩衝器263-1及BO緩衝器263-2中，顯示有複製索引(idx)之位置係已寫入有係數之區域，其他位置係空白區域。
即，在EO緩衝器263-1中，複製索引(idx)=1所示之位置、複製索引=2所示之位置、複製索引=3所示之位置、複製索引=4所示之位置中，已寫入有係數。
例如，在BO緩衝器263-2中，複製索引(idx)=1所示之位置、複製索引=2所示之位置、複製索引=3所示之位置、複製索引=4所示之位置中，已寫入有係數。
係數讀取部262在圖19之步驟S271中，判定來自參數接收部261之類型索引是否為EO(邊緣偏移)。
在步驟S271中，判定類型索引為EO(邊緣偏移)之情形時，係數 讀取部262在步驟S272中，選擇EO緩衝器263-1。
在步驟S271中，判定類型索引並非EO(邊緣偏移)，即為頻帶偏移之情形時，係數讀取部262在步驟S273中，選擇BO緩衝器263-2。
在步驟S274中，係數讀取部262在所選擇之緩衝器中，自複製旗標(copy_idx)表示之位置讀取sao_offset(偏移)。
例如圖20所示，由於在類型索引(sao_type_idx)係5之情形時為頻帶偏移，故在步驟S273中，選擇BO緩衝器263-2。接著，於步驟S274中，自複製索引=3所表示之位置讀取sao_offset(偏移)。
如上所述，以最大編碼單位即LCU單位進行適應偏移濾波，且將先前於圖框之開端一次性傳送之適應偏移濾波器之參數在LCU之開端逐次發送。藉此，相對先前需要1圖框大小之容量者而言，可將緩衝器削減至LCU大小之容量。
又，藉由將複製旗標與複製索引發送至解碼側，且不發送已使用之係數，可減輕因以每個LCU進行發送而造成所發送之係數較多之狀況。
再者，由於可以相同之LCU單位進行適應偏移濾波與適應迴路濾波，故可提高處理效率。
又，藉由以LCU單位進行區域分割，與先前之quad-tree構造之情形相比，可使分割自由度提高，且配合輸入圖像之特性進行適應偏移濾波。
另，在上述說明中，雖已顯示偏移緩衝器215及偏移緩衝器263構成為FIFO之例，但並非限定於FIFO。即，偏移緩衝器215及偏移緩衝器263之構成若為於編碼側與解碼側相同之構成，則亦可為其他之緩衝器構成。
以上，作為編碼方式，以HEVC方式為基礎而使用。然而，本揭示並非限定於此，作為迴路內濾波器，可應用至少包含適應偏移濾波 器之其他編碼方式/解碼方式。
另，本揭示可應用於例如以HEVC方式等，將藉由離散餘弦轉換等之正交轉換與藉由動態補償而壓縮之圖像資訊(位元串流)經由衛星廣播、有線電視、網際網路、或行動電話等之網路媒體接收時所使用之圖像編碼裝置及圖像解碼裝置。又，本揭示可應用於在如光、磁碟、及快閃記憶體等之記憶媒體上處理時所使用之圖像編碼裝置及圖像解碼裝置。
<4.第2實施形態> [對多視點圖像編碼、多視點圖像解碼之應用]
上述之一連串處理可應用於多視點圖像編碼、多視點圖像解碼。圖21係表示多視點圖像編碼方式之一例。
如圖21所示，多視點圖像包含複數個視點之圖像，且該複數個視點中特定之一個視點之圖像被指定為基礎視圖之圖像。將基礎視圖之圖像以外之各視點之圖像作為非基礎視圖之圖像處理。
在進行如圖21之多視點圖像編碼之情形時，可於各視圖(相同視圖)中，設定適應偏移濾波參數(複製旗標、及複製索引等)。又，亦可於各視圖(不同視圖)中，共用在其他視圖中設定之適應偏移濾波參數。
該情形時，基礎視圖中所設定之適應偏移濾波參數係在至少一個非基礎視圖中使用。或，例如，於非基礎視圖(view_id=i)中所設定之適應偏移濾波參數係在基礎視圖及非基礎視圖(view_id=j)之至少一方中使用。
藉此，可提高處理效率。
[多視點圖像編碼裝置]
圖22係顯示進行上述之多視點圖像編碼之多視點圖像編碼裝置之圖。如圖22所示，多視點圖像編碼裝置600具有編碼部601、編碼部 602、及多工化部603。
編碼部601將基礎視圖圖像進行編碼，而產生基礎視圖圖像編碼串流。編碼部602將非基礎視圖圖像進行編碼，而產生非基礎視圖圖像編碼串流。多工化部603使編碼部601中所產生之基礎視圖圖像編碼串流、與編碼部602中所產生之非基礎視圖圖像編碼串流多工化，而產生多視點圖像編碼串流。
對於該多視點圖像編碼裝置600之編碼部601及編碼部602，可應用圖像編碼裝置11(圖1)。該情形時，多視點圖像編碼裝置600設定並傳送編碼部601所設定之適應偏移濾波參數、與編碼部602所設定之適應偏移濾波參數。
另，亦可如上所述將編碼部601所設定之適應偏移濾波參數以於編碼部601及編碼部602共用之方式設定並傳送。反之，亦可將編碼部602匯總而設定之適應偏移濾波參數以於編碼部601及編碼部602共用之方式設定並傳送。
[多視點圖像解碼裝置]
圖23係顯示進行上述之多視點圖像解碼之多視點圖像解碼裝置之圖。如圖23所示，多視點圖像解碼裝置610具有逆多工化部611、解碼部612、及解碼部613。
逆多工化部611係使基礎視圖圖像編碼串流與非基礎視圖圖像編碼串流經多工化之多視點圖像編碼串流逆多工化，而擷取基礎視圖圖像編碼串流、與非基礎視圖圖像編碼串流。解碼部612將藉由逆多工化部611所擷取之基礎視圖圖像編碼串流進行解碼，而獲得基礎視圖圖像。解碼部613將藉由逆多工化部611所擷取之非基礎視圖圖像編碼串流進行解碼，而獲得非基礎視圖圖像。
針對該多視點圖像解碼裝置610之解碼部612及解碼部613，可應用圖像解碼裝置51(圖3)。該情形時，多視點圖像解碼裝置610使用編 碼部601設定且解碼部612解碼之適應偏移濾波參數、與編碼部602設定且解碼部613解碼之適應偏移濾波參數進行處理。
另，存在如上所述將編碼部601(或編碼部602)所設定之適應偏移濾波參數以於編碼部601及編碼部602共用之方式設定並傳送之情形。該情形時，於多視點圖像解碼裝置610中，使用編碼部601(或編碼部602)設定且解碼部612(或解碼部613)解碼之適應偏移濾波參數進行處理。
<5.第3實施形態> [向階層圖像編碼、階層圖像解碼之應用]
上述之一連串處理可應用於階層圖像編碼、階層圖像解碼。圖24係顯示多視點圖像編碼方式之一例。
如圖24所示，階層圖像包含複數個階層(解析度)之圖像，且該複數個解析度中特定之一個階層之圖像被指定為基礎層之圖像。基礎層之圖像以外之各階層之圖像係作為非基礎層之圖像而處理。
在進行如圖24之階層圖像編碼(空間可伸縮性)之情形時，可於各層(相同層)中設定適應偏移濾波參數。又，可於各層(不同層)中共用其他層所設定之適應偏移濾波參數。
該情形時，於基礎層中設定之適應偏移濾波參數係在至少一個非基礎層中使用。或，例如，於非基礎層(1ayer_id=i)中設定之適應偏移濾波參數係在基礎層及非基礎層(layer_id=j)之至少一方中使用。
藉此，可提高處理效率。
[階層圖像編碼裝置]
圖25係顯示進行上述之階層圖像編碼之階層圖像編碼裝置之圖。如圖25所示，階層圖像編碼裝置620具有編碼部621、編碼部622、及多工化部623。
編碼部621將基礎層圖像進行編碼，而產生基礎層圖像編碼串 流。編碼部622將非基礎層圖像進行編碼，而產生非基礎層圖像編碼串流。多工化部623使編碼部621中所產生之基礎層圖像編碼串流、與編碼部622中所產生之非基礎層圖像編碼串流多工化，而產生階層圖像編碼串流。
針對該階層圖像編碼裝置620之編碼部621及編碼部622，可應用圖像編碼裝置11(圖1)。該情形時，階層圖像編碼裝置620設定並傳送編碼部621所設定之適應偏移濾波參數、與編碼部602所設定之適應偏移濾波參數。
另，亦可將如上所述編碼部621所設定之適應偏移濾波參數以於編碼部621及編碼部622共用之方式設定並傳送。反之，亦可將編碼部622所設定之適應偏移濾波參數以於編碼部621及編碼部622共用之方式設定並傳送。
[階層圖像解碼裝置]
圖26係顯示進行上述階層圖像解碼之階層圖像解碼裝置之圖。如圖26所示，階層圖像解碼裝置630具有逆多工化部631、解碼部632、及解碼部633。
逆多工化部631使基礎層圖像編碼串流與非基礎層圖像編碼串流經多工化之階層圖像編碼串流逆多工化，而擷取基礎層圖像編碼串流、與非基礎層圖像編碼串流。解碼部632將藉由逆多工化部631所擷取之基礎層圖像編碼串流進行解碼，而獲得基礎層圖像。解碼部633將藉由逆多工化部631所擷取之非基礎層圖像編碼串流進行解碼，而獲得非基礎層圖像。
針對該階層圖像解碼裝置630之解碼部632及解碼部633，可應用圖像解碼裝置51(圖3)。該情形時，階層圖像解碼裝置630使用編碼部621設定且解碼部632解碼之適應偏移濾波參數、與編碼部622設定且解碼部633解碼之適應偏移濾波參數進行處理。
另，存在將如上所述編碼部621(或編碼部622)所設定之適應偏移濾波參數以於編碼部621及編碼部622共用之方式設定並傳送之情形。該情形時，於階層圖像解碼裝置630中，使用編碼部621(或編碼部622)設定且解碼部632(或解碼部633)解碼之適應偏移濾波參數進行處理。
<6.第4實施形態> [電腦之構成例]
上述之一連串處理可藉由硬體而執行，亦可藉由軟體而執行。在藉由軟體執行一連串處理之情形時，構成該軟體之程式係被安裝於電腦。此處，電腦係包含配置於專用硬體之電腦、或藉由安裝各種程式而可執行各種功能之例如通用之個人電腦等。
圖27係顯示將上述之一連串處理藉由程式而執行之電腦之硬體之構成例之方塊圖。
於電腦800中，CPU(Central Processing Unit：中央處理單元)801、ROM(Read Only Memory：唯讀記憶體)802、及RAM(Random Access Memory：隨機存取記憶體)803係藉由匯流排804而相互連接。
匯流排804中進而連接有輸出入介面810。輸出入介面810中連接有輸入部811、輸出部812、記憶部813、通訊部814、及驅動器815。
輸入部811包含鍵盤、滑鼠、麥克風等。輸出部812包含顯示器、揚聲器等。記憶部813包含硬碟或非揮發性之記憶體等。通訊部814包含網路介面等。驅動器815驅動磁碟、光碟、磁光碟、或半導體記憶體等之可卸除式媒體821。
在如以上般構成之電腦中，CPU801將例如記憶部813所記憶之程式經由輸出入介面810及匯流排804負載至RAM803而執行，藉此進行上述之一連串處理。
電腦800(CPU801)執行之程式可例如記錄於作為套裝媒體等之可 卸除式媒體821而提供。又，程式可經由局域網路、網際網路、數位衛星廣播之類有線或無線之傳送媒體而提供。
在電腦中，程式可藉由將可卸除式媒體821安裝至驅動器815，而經由輸出入介面810安裝至記憶部813。又，程式可經由有線或無線之傳送媒體，以通訊部814接收，並安裝至記憶部813。此外，程式可預先安裝於ROM802或記憶部813。
另，電腦執行之程式，可為沿本說明書所說明之順序按時間順序進行處理之程式，亦可為並行或在進行函數調用時等必要之時序進行處理之程式。
又，於本說明書中，記述記錄於記錄媒體中之程式之步驟當然係沿所記載之順序按時間順序進行之處理，即使未必按時間順序處理，亦包含並行或個別執行之處理。
此外，在本說明書中，所謂系統係表示由複數個元件(裝置)構成之裝置整體。
又，可分割上文中作為一個裝置(或處理部)說明之構成，而作為複數個裝置(或處理部)構成。反之，可匯總上文中作為複數個裝置(或處理部)說明之構成，而作為一個裝置(或處理部)構成。此外，當然亦可將上述以外之構成附加於各裝置(或各處理部)之構成。再者，若作為系統整體之構成或動作實質上相同，則可使某個裝置(或處理部)之構成之一部分包含於其他裝置(或其他處理部)之構成。即，本技術並非限定於上述實施形態，在不脫離本技術之主旨之範圍內可進行各種變更。
上述實施形態之圖像編碼裝置及圖像解碼裝置可應用於衛星廣播、有線電視等之有線廣播、網際網路上之發佈、及利用蜂巢式通訊之向終端之發佈等之發送機或接收機、於光碟、磁碟及快閃記憶體等之媒體中記錄圖像之記錄裝置、或自該等記憶媒體使圖像再生之再生 裝置等之各種電子機器。以下，說明4個應用例。
<7.應用例> [第1應用例：電視接收機]
圖28係顯示應用上述之實施形態之電視裝置之概略構成之一例。電視裝置900具備天線901、調諧器902、多工解訊器903、解碼器904、影像訊號處理部905、顯示部906、音頻訊號處理部907、揚聲器908、外部介面909、控制部910、使用者介面911、及匯流排912。
調諧器902自經由天線901接收之廣播訊號擷取期望之通道之訊號，且解調所擷取之訊號。接著，調諧器902將藉由解調而獲得之編碼位元串流向多工解訊器903輸出。即，調諧器902具有作為接收圖像被編碼之編碼串流之電視裝置900中之傳送機構的作用。
多工解訊器903自編碼位元串流分離視聽對象之節目之影像串流及音頻串流，且將所分離之各串流向解碼器904輸出。又，多工解訊器903自編碼位元串流擷取EPG(Electronic Program Guide：電子節目指南)等之輔助資料，並將所擷取之資料供給至控制部910。另，多工解訊器903可於編碼位元串流被擾碼之情形時進行解擾。
解碼器904將自多工解訊器903輸入之影像串流及音頻串流進行解碼。接著，解碼器904將藉由解碼處理而產生之影像資料向影像訊號處理部905輸出。又，解碼器904將藉由解碼處理而產生之音頻資料向音頻訊號處理部907輸出。
影像訊號處理部905令從解碼器904輸入之影像資料再生，且將影像顯示於顯示部906。又，影像訊號處理部905可使經由網路供給之應用程式畫面顯示於顯示部906。此外，影像訊號處理部905可針對影像資料，因應設定進行例如去除雜訊等之追加處理。再者，影像訊號處理部905可產生例如選單、按鈕或遊標等之GUI(Graphical User Interface：圖形使用者介面)之圖像，並使所產生之圖像重疊於輸出圖 像。
顯示部906係藉由自影像訊號處理部905供給之驅動訊號驅動，於顯示裝置(例如液晶顯示器、電漿顯示器或OELD(Organic ElectroLuminescence Display：有機電子發光顯示器)(有機EL顯示器)等)之影像面上顯示影像或圖像。
音頻訊號處理部907對自解碼器904輸入之音頻資料進行D/A轉換及放大等之再生處理，使音頻自揚聲器908輸出。又，音頻訊號處理部907可對音頻資料進行去除雜訊等之追加處理。
外部介面909係用以連接電視裝置900與外部機器或網路之介面。例如，經由外部介面909接收之影像串流或音頻串流可藉由解碼器904解碼。即，外部介面909亦具有作為接收圖像被編碼之編碼串流之電視裝置900中之傳送機構的作用。
控制部910具有CPU等之處理器、以及RAM及ROM等之記憶體。記憶體記憶藉由CPU執行之程式、程式資料、EPG資料、及經由網路取得之資料等。藉由記憶體記憶之程式係例如在電視裝置900啟動時藉由CPU讀取並執行。CPU藉由執行程式，因應例如自使用者介面911輸入之操作訊號而控制電視裝置900之動作。
使用者介面911與控制部910連接。使用者介面911具有例如使用者用以操作電視裝置900之按鈕及開關、以及遠端控制訊號之接收部等。使用者介面911經由該等構成要件檢測使用者之操作，從而產生操作訊號，並將產生之操作訊號向控制部910輸出。
匯流排912將調諧器902、多工解訊器903、解碼器904、影像訊號處理部905、音頻訊號處理部907、外部介面909、及控制部910相互連接。
在如此般構成之電視裝置900中，解碼器904具有上述實施形態之圖像解碼裝置之功能。藉此，在電視裝置900中之圖像解碼時，可 提高處理效率。
[第2應用例：行動電話]
圖29係顯示應用上述之實施形態之行動電話之概略構成之一例。行動電話920具備天線921、通訊部922、音頻編碼解碼器923、揚聲器924、麥克風925、相機部926、圖像處理部927、多工分離部928、記錄播放部929、顯示部930、控制部931、操作部932、及匯流排933。
天線921連接於通訊部922。揚聲器924及麥克風925連接於音頻編碼解碼器923。操作部932連接於控制部931。匯流排933將通訊部922、音頻編碼解碼器923、相機部926、圖像處理部927、多工分離部928、記錄播放部929、顯示部930、及控制部931相互連接。
行動電話920以包含音頻通話模式、資料通訊模式、攝影模式、及視訊電話模式之各種動作模式，進行音頻訊號之傳送接收、電子郵件或圖像資料之傳送接收、圖像之拍攝、及資料之記錄等之動作。
在音頻通話模式中，藉由麥克風925產生之類比音頻訊號係供給至音頻編碼解碼器923。音頻編碼解碼器923將類比音頻訊號向音頻資料轉換，且對所轉換之音頻資料進行A/D轉換而壓縮。接著，音頻編碼解碼器923將壓縮後之音頻資料向通訊部922輸出。通訊部922對音頻資料進行編碼及調變，從而產生發送訊號。且，通訊部922將所產生之發送訊號經由天線921向基地台(未圖示)發送。又，通訊部922對經由天線921接收之無線訊號進行放大及頻率轉換，而取得接收訊號。且，通訊部922對接收訊號進行解調及解碼而產生音頻資料，且將所產生之音頻資料向音頻編碼解碼器923輸出。音頻編碼解碼器923對音頻資料進行擴展及D/A轉換，從而產生類比音頻訊號。接著，音頻編碼解碼器923將所產生之音頻訊號供給至揚聲器924而輸出音頻。
又，在資料通訊模式中，例如，控制部931因應經由操作部932 之使用者之操作，產生構成電子郵件之文字資料。此外，控制部931使文字顯示於顯示部930。又，控制部931因應經由操作部932之來自使用者之發送指示而產生電子郵件資料，且將所產生之電子郵件資料向通訊部922輸出。通訊部922對電子郵件資料進行編碼及調變而產生發送訊號。接著，通訊部922將所產生之發送訊號經由天線921向基地台(未圖示)發送。又，通訊部922對經由天線921接收之無線訊號進行放大且頻率轉換，從而取得接收訊號。且，通訊部922對接收訊號進行解調及解碼，使電子郵件資料復原，且將所復原之電子郵件資料向控制部931輸出。控制部931使電子郵件之內容顯示於顯示部930，且使電子郵件資料記憶於記錄播放部929之記憶媒體。
記錄播放部929具有可讀寫之任意之記憶媒體。例如，記憶媒體可為RAM或快閃記憶體等之內置型之記憶媒體，亦可為硬碟、磁碟、磁光碟、光碟、USB(Unallocated Space Bitmap：未配置空間位圖)記憶體、或記憶卡等之外部安裝型之記憶媒體。
又，在攝影模式中，例如，相機部926拍攝被攝體而產生圖像資料，且將所產生之圖像資料向圖像處理部927輸出。圖像處理部927對自相機部926輸入之圖像資料進行編碼，並使編碼串流記憶於記錄播放部929之記憶媒體。
又，在視訊電話模式中，例如，多工分離部928令藉由圖像處理部927所編碼之影像串流、與自音頻編碼解碼器923輸入之音頻串流多工化，且使經多工化之串流向通訊部922輸出。通訊部922對串流進行編碼及調變而產生發送訊號。接著，通訊部922將所產生之發送訊號經由天線921向基地台(未圖示)發送。又，通訊部922對經由天線921接收之無線訊號進行放大及頻率轉換，從而取得接收訊號。該等發送訊號及接收訊號中，可包含編碼位元串流。且，通訊部922對接收訊號進行解調及解碼，而使串流復原，且將所復原之串流向多工分離部 928輸出。多工分離部928從輸入之串流中分離影像串流及音頻串流，且將影像串流向圖像處理部927輸出，將音頻串流向音頻編碼解碼器923輸出。圖像處理部927對影像串流進行解碼而產生影像資料。影像資料係供給至顯示部930，且藉由顯示部930而顯示一連串之圖像。音頻編碼解碼器923對音頻串流進行擴展及D/A轉換，從而產生類比音頻訊號。接著，音頻編碼解碼器923將所產生之音頻訊號供給至揚聲器924而輸出音頻。
在如此般構成之行動電話920中，圖像處理部927具有上述實施形態之圖像編碼裝置及圖像解碼裝置之功能。藉此，可在行動電話920中之圖像之編碼及解碼時提高處理效率。
[第3應用例：記錄播放裝置]
圖30係顯示應用上述實施形態之記錄播放裝置之概略構成之一例。記錄播放裝置940例如對所接收之廣播節目之音頻資料及影像資料進行編碼而記錄於記錄媒體。此外，記錄播放裝置940亦可例如對自其他裝置取得之音頻資料及影像資料進行編碼而記錄於記錄媒體。又，記錄播放裝置940例如因應使用者之指示，使記錄於記錄媒體之資料於監視器及揚聲器上播放。此時，記錄播放裝置940對音頻資料及影像資料進行解碼。
記錄播放裝置940具備調諧器941、外部介面942、編碼器943、HDD(Hard Disk Drive：硬碟驅動器)944、磁碟驅動器945、選擇器946、解碼器947、OSD(On-Screen Display：螢幕顯示)948、控制部949、及使用者介面950。
調諧器941從經由天線(未圖示)接收之廣播訊號中擷取期望之通道之訊號，且解調所擷取之訊號。接著，調諧器941將藉由解調而獲得之編碼位元串流向選擇器946輸出。即，調諧器941具有作為記錄播放裝置940中之傳送機構的作用。
外部介面942係用以連接記錄播放裝置940與外部機器或網路之介面。外部介面942可為例如IEEE1394介面、網路介面、USB介面、或快閃記憶體介面等。例如，經由外部介面942而接收之影像資料及音頻資料係向編碼器943輸入。即，外部介面942具有作為記錄播放裝置940中之傳送機構之作用。
編碼器943在自外部介面942輸入之影像資料及音頻資料未編碼之情形時，對影像資料及音頻資料進行編碼。接著，編碼器943將編碼位元串流向選擇器946輸出。
HDD944將壓縮影像及音頻等之內容資料之編碼位元串流、各種程式、及其他資料記錄於內部之硬碟中。此外，HDD944於影像及音頻之播放時，從硬碟讀取該等資料。
磁碟驅動器945向所安裝之記錄媒體進行資料之記錄及讀取。安裝於磁碟驅動器945中之記錄媒體可為例如DVD磁碟(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)或Blue-ray(註冊商標)磁碟等。
選擇器946於影像及音頻之記錄時，選擇自調諧器941或編碼器943輸入之編碼位元串流，且將所選擇之編碼位元串流向HDD944或磁碟驅動器945輸出。又，選擇器946於影像及音頻之播放時，將自HDD944或磁碟驅動器945輸入之編碼位元串流向解碼器947輸出。
解碼器947對編碼位元串流進行解碼，而產生影像資料及音頻資料。接著，解碼器947將所產生之影像資料向OSD948輸出。又，解碼器947將所產生之音頻資料向外部之揚聲器輸出。
OSD948使自解碼器947輸入之影像資料播放，而顯示影像。又，OSD948可於顯示之影像中重疊例如選單、按鈕、或遊標等之GUI之圖像。
控制部949具有CPU等之處理器、以及RAM及ROM等之記憶體。 記憶體記憶藉由CPU而執行之程式、及程式資料等。藉由記憶體記憶之程式係例如在記錄播放裝置940啟動時藉由CPU讀取並執行。CPU係藉由執行程式，因應例如自使用者介面950輸入之操作訊號，而控制記錄播放裝置940之動作。
使用者介面950與控制部949連接。使用者介面950例如具有使用者用以操作記錄播放裝置940之按鈕及開關、以及遠端控制訊號之接收部等。使用者介面950經由該等構成要件檢測使用者之操作而產生操作訊號，並將所產生之操作訊號向控制部949輸出。
於如此般構成之記錄播放裝置940中，編碼器943具有上述實施形態之圖像編碼裝置之功能。又，解碼器947具有上述實施形態之圖像解碼裝置之功能。藉此，在記錄播放裝置940中之圖像之編碼及解碼時，可提高處理效率。
[第4應用例：攝像裝置]
圖31係顯示應用上述實施形態之攝像裝置之概略構成之一例。攝像裝置960拍攝被攝體而產生圖像，且對圖像資料進行編碼而記錄於記錄媒體。
攝像裝置960具備光學區塊961、攝像部962、訊號處理部963、圖像處理部964、顯示部965、外部介面966、記憶體967、媒體驅動器968、OSD969、控制部970、使用者介面971、及匯流排972。
光學區塊961連接於攝像部962。攝像部962連接於訊號處理部963。顯示部965連接於圖像處理部964。使用者介面971連接於控制部970。匯流排972將圖像處理部964、外部介面966、記憶體967、媒體驅動器968、OSD969、及控制部970相互連接。
光學區塊961具有聚焦透鏡及光圈機構等。光學區塊961使被攝體之光學影像成像於攝像部962之攝像面上。攝像部962具有CCD(Charge Coupled Device：電荷耦合裝置)或CMOS(Complementary Metal Oxide Semiconductor：互補金屬氧化物半導體)等之影像感測器，且將成像於攝像面上之光學影像藉由光電轉換而轉換成作為電性訊號之圖像訊號。且，攝像部962將圖像訊號向訊號處理部963輸出。
訊號處理部963對自攝像部962輸入之圖像訊號進行膝點效正、伽馬校正、顏色校正等之各種相機訊號處理。訊號處理部963將相機訊號處理後之圖像資料向圖像處理部964輸出。
圖像處理部964將自訊號處理部963輸入之圖像資料進行編碼而產生編碼資料。接著，圖像處理部964將產生之編碼資料向外部介面966或媒體驅動器968輸出。又，圖像處理部964將自外部介面966或媒體驅動器968輸入之編碼資料進行解碼而產生圖像資料。接著，圖像處理部964將產生之圖像資料向顯示部965輸出。又，圖像處理部964可將自訊號處理部963輸入之圖像資料向顯示部965輸出而顯示圖像。又，圖像處理部964可將自OSD969取得之顯示用資料重疊於向顯示部965輸出之圖像上。
OSD969產生例如選單、按鈕或遊標等之GUI之圖像，且將產生之圖像向圖像處理部964輸出。
外部介面966例如作為USB輸出入端子而構成。外部介面966例如在圖像之列印時，連接攝像裝置960與印表機。又，於外部介面966上，根據需要連接驅動器。於驅動器上安裝例如磁碟或光碟等之可卸除式媒體，且自可卸除式媒體讀取之程式可安裝至攝像裝置960。再者，外部介面966可作為連接於LAN或網際網路等之網路之網路介面而構成。即，外部介面966具有作為攝像裝置960中之傳送機構之作用。
安裝於媒體驅動器968之記錄媒體可為例如磁碟、磁光碟、光碟、或半導體記憶體等之可讀寫之任意之可卸除式媒體。又，可於媒體驅動器968固定安裝記錄媒體，而例如構成如內置型硬碟驅動器或 SSD(Solid State Drive：固態驅動機)之非可攜性之記憶部。
控制部970具有CPU等之處理器、以及RAM及ROM等之記憶體。記憶體記憶藉由CPU執行之程式、及程式資料等。藉由記憶體記憶之程式，例如在攝像裝置960之啟動時，藉由CPU讀入並執行。CPU藉由執行程式，因應例如自使用者介面971輸入之操作訊號，控制攝像裝置960之動作。
使用者介面971與控制部970連接。使用者介面971具有例如使用者用以操作攝像裝置960之按鈕及開關等。使用者介面971經由該等構成要件檢測使用者之操作而產生操作訊號，並將所產生之操作訊號向控制部970輸出。
在如此般構成之攝像裝置960中，圖像處理部964具有上述實施形態之圖像編碼裝置與圖像解碼裝置之功能。藉此，可在攝像裝置960中之圖像之編碼及解碼時提高處理效率。
<8.可擴展編碼之應用例> [第1系統]
繼而，參照圖24至圖26，對上述之經可擴展編碼(階層編碼)之可擴展編碼資料之具體利用例加以說明。可擴展編碼係例如圖32所示之例，用以選擇傳送之資料。
在圖32所示之資料傳送系統1000中，發佈伺服器1002讀取可擴展編碼資料記憶部1001所記憶之可擴展編碼資料，經由網路1003而發佈至個人電腦1004、AV機器1005、輸入板裝置1006、及行動電話1007等之終端裝置。
此時，發佈伺服器1002因應終端裝置之能力或通訊環境等，選擇傳送適當品質之編碼資料。即使發佈伺服器1002不必要地傳送高品質之資料，終端裝置中仍未必可獲得高畫質之圖像，有成為發生延遲或溢流之主要原因之虞。又，亦有致使不必要地佔有通訊頻帶，或不 必要地增大終端裝置之負荷之虞。反之，即使發佈伺服器1002不必要地傳送低品質之資料，仍有無法在終端裝置中獲得充分之畫質之圖像。因此，發佈伺服器1002將可擴展編碼資料記憶部1001所記憶之可擴展編碼資料適當地作為相對終端裝置之能力或通訊環境等品質適當之編碼資料而讀取並傳送。
例如，可擴展編碼資料記憶部1001記憶經可擴展地編碼之可擴展編碼資料(BL+EL)1011。該可擴展編碼資料(BL+EL)1011係包含基礎層與增強層之兩者之編碼資料，且係藉由解碼可獲得基礎層之圖像及增強層之圖像之兩者之資料。
發佈伺服器1002因應傳送資料之終端裝置之能力或通訊環境等，選擇適當層，讀取該層之資料。例如，發佈伺服器1002針對處理能力較高之個人電腦1004或輸入板裝置1006，將高品質之可擴展編碼資料(BL+EL)1011從可擴展編碼資料記憶部1001讀取，並直接傳送。與此相對，例如，發佈伺服器1002針對處理能力較低之AV機器1005或行動電話1007，自可擴展編碼資料(BL+EL)1011擷取基礎層之資料，且作為雖為與可擴展編碼資料(BL+EL)1011相同內容之資料但較可擴展編碼資料(BL+EL)1011更低品質之可擴展編碼資料(BL)1012而傳送。
藉由如此般使用可擴展編碼資料，因可較為容易地調整資料量，故可抑制延遲或溢流之發生，或可抑制終端裝置或通訊媒體之負荷之不必要之增大。又，可擴展編碼資料(BL+EL)1011因降低層間之冗長性，故與將各層之編碼資料作為個別資料之情形相比，可減少其資料量。因此，可更有效地使用可擴展編碼資料記憶部1001之記憶區域。
另，由於可如個人電腦1004至行動電話1007般對終端裝置應用各種裝置，故終端裝置之硬體性能係根據裝置而不同。又，因終端裝 置執行之應用程式亦多種多樣，故其軟體之能力亦多樣化。進而，作為通訊媒體之網路1003亦可應用例如網際網路或LAN(Local Area Network：局域網路)等、有線或無線亦或包含該兩者之所有通訊線路網，從而其資料傳送能力係多樣化。再者，亦有因其他通訊等造成變化之虞。
因此，發佈伺服器1002可在開始傳送資料前，與作為資料傳送目的地之終端裝置進行通訊，獲得與終端裝置之硬體性能、或終端裝置執行之應用程式(軟體)之性能等此類終端裝置之能力相關之資訊、以及與網路1003之可利用頻帶寬度等之通訊環境相關之資訊。接著，發佈伺服器1002可基於此處獲得之資訊，選擇適當之層。
另，層之擷取亦可於終端裝置中進行。例如，個人電腦1004對所傳送之可擴展編碼資料(BL+EL)1011進行解碼，而可顯示基礎層之圖像，亦可顯示增強層之圖像。又，例如，個人電腦1004從所傳送之可擴展編碼資料(BL+EL)1011，擷取基礎層之可擴展編碼資料(BL)1012，可記憶，或傳送至其他裝置，或進行解碼而顯示基礎層之圖像。
當然，可擴展編碼資料記憶部1001、發佈伺服器1002、網路1003、及終端裝置之數量皆任意。又，雖然以上對發佈伺服器1002將資料傳送至終端裝置之例加以說明，但利用例並非限定於此。資料傳送系統1000若為在將經可擴展編碼之編碼資料傳送至終端裝置時，因應終端裝置之能力與通訊環境等而選擇適當之層進行傳送之系統，則可應用於任意系統。
且，即使在如上所述之圖32之資料傳送系統1000中，藉由與參照圖24至圖26上述之向階層編碼、階層解碼之應用同樣地應用本技術，仍可獲得與參照圖24至圖26上述之效果相同之效果。
[第2系統]
又，可擴展編碼係例如圖33所示之例般，用於經由複數個通訊媒體之傳送。
在圖33所示之資料傳送系統1100中，廣播台1101藉由地波廣播1111，傳送基礎層之可擴展編碼資料(BL)1121。又，廣播台1101經由有線或無線亦或包含該兩者之通訊網之任意之網路1112，傳送增強層之可擴展編碼資料(EL)1122(例如封包化而傳送)。
終端裝置1102具有接收廣播台1101廣播之地波廣播1111之功能，且接收經由該地波廣播1111傳送之基礎層之可擴展編碼資料(BL)1121。又，終端裝置1102進而具有進行經由網路1112之通訊之通訊功能，且接收經由該網路1112傳送之增強層之可擴展編碼資料(EL)1122。
終端裝置1102因應例如使用者指示等，對經由地波廣播1111所取得之基礎層之可擴展編碼資料(BL)1121，進行解碼而獲得基礎層之圖像，或予以記憶，或傳送至其他裝置。
又，終端裝置1102因應例如使用者指示等，對經由地波廣播1111所取得之基礎層之可擴展編碼資料(BL)1121、與經由網路1112所取得之增強層之可擴展編碼資料(EL)1122進行合成，而獲得可擴展編碼資料(BL+EL)，或將其進行解碼而獲得增強層之圖像，或記憶，或傳送至其他裝置。
如上所述，可擴展編碼資料可經由例如以每層而不同之通訊媒體加以傳送。因此，可分散負荷，從而可抑制延遲或溢流之發生。
又，可因應狀況，以每層選擇使用於傳送之通訊媒體。例如，可使資料量較多之基礎層之可擴展編碼資料(BL)1121經由頻帶寬度較寬之通訊媒體傳送，使資料量較少之增強層之可擴展編碼資料(EL)1122經由頻帶寬度較窄之通訊媒體傳送。又，例如，使傳送增強層之可擴展編碼資料(EL)1122之通訊媒體為網路1112或地波廣播 1111，可因應網路1112之可利用頻帶寬度而切換。當然，針對任意層之資料相同。
藉由如此般控制，可進而抑制資料傳送之負荷之增大。
當然，層數係任意，利用於傳送之通訊媒體之數量亦任意。又，作為資料發佈目的地之終端裝置1102之數量亦任意。再者，以上雖以來自廣播台1101之廣播為例加以說明，但利用例並非限定於此。資料傳送系統1100若為將經可擴展編碼之編碼資料以層為單位分割成複數份，且經由複數個線路傳送之系統，則可應用於任意之系統。
接著，即使於如上所述之圖33之資料傳送系統1100中，藉由與參照圖24至圖26上述之向階層編碼、階層解碼之應用同樣地應用本技術，仍可獲得與參照圖24至圖26上述之效果相同之效果。
[第3系統]
又，可擴展編碼係例如圖34所示之例般，利用於編碼資料之記憶。
在圖34所示之攝像系統1200中，攝像裝置1201對拍攝被攝體1211而獲得之圖像資料進行可擴展編碼，且作為可擴展編碼資料(BL+EL)1221，供給至可擴展編碼資料記憶裝置1202。
可擴展編碼資料記憶裝置1202將自攝像裝置1201供給之可擴展編碼資料(BL+EL)1221以因應狀況之品質記憶。例如，於通常時之情形，可擴展編碼資料記憶裝置1202從可擴展編碼資料(BL+EL)1221擷取基礎層之資料，且記憶為低品質且資料量較少之基礎層之可擴展編碼資料(BL)1222。與此相對，例如，於關注時之情形，可擴展編碼資料記憶裝置1202記憶為高品質且資料量較多之可擴展編碼資料(BL+EL)1221。
藉此，由於可擴展編碼資料記憶裝置1202僅在必要之情形時可高畫質地保存圖像，故可一方面抑制由畫質劣化所造成之圖像價值之 降低，並抑制資料量之增大，從而可提高記憶區域之利用效率。
例如，將攝像裝置1201作為監視相機。攝像圖像內未拍攝到監視對象(例如侵入者)之情形時(通常時之情形)，因攝像圖像之內容不重要之可能性較高，故優先降低資料量，將該圖像資料(可擴展編碼資料)以低品質記憶。與此相對，攝像圖像中拍攝有監視對象作為被攝體1211之情形時(關注時之情形)，因該攝像圖像之內容較為重要之可能性較高，故優先畫質，將該圖像資料(可擴展編碼資料)以高品質記憶。
另，為通常時還是關注時，例如可擴展編碼資料記憶裝置1202可藉由解析圖像而判定。又，可行的是，攝像裝置1201進行判定，且將其判定結果傳送至可擴展編碼資料記憶裝置1202。
另，為通常時還是關注時之判定基準係任意，作為判定基準之圖像之內容係任意。當然，亦可將圖像之內容以外之條件作為判定基準。例如，可因應所收錄之音頻之大小或波形等切換，可於每個特定之時間切換，亦可根據使用者指示等來自外部之指示而切換。
又，以上雖對切換通常時與關注時之2種狀態之例加以說明，但狀態之數量係任意，例如，亦可切換如通常時、略為關注時、關注時、及非常關注時等般三個以上之狀態。且，該切換狀態之上限數係依存於可擴展編碼資料之層數。
又，攝像裝置1201可因應狀態而決定可擴展編碼之層數。例如，於通常時之情形，攝像裝置1201可產生低品質且資料量較少之基礎層之可擴展編碼資料(BL)1222，且供給至可擴展編碼資料記憶裝置1202。又，例如於關注時之情形，攝像裝置1201可產生高品質且資料量較多之基礎層之可擴展編碼資料(BL+EL)1221，且供給至可擴展編碼資料記憶裝置1202。
以上，雖然以監視相機為例加以說明，但該攝像系統1200之用 途係任意，並非限定於監視相機。
且，即使在如上所述之圖34之攝像系統1200中，藉由與參照圖24至圖26上述之向階層編碼、階層解碼之應用同樣地應用本技術，可獲得與參照圖24至圖26上述之效果相同之效果。
另，在本說明書中，已對將適應偏移濾波器之各參數等之各種資訊多工化成編碼串流，且自編碼側向解碼側傳送之例加以說明。然而，傳送該等資訊之技術並非限定於上述之例。例如，該等資訊無需多工化成編碼位元串流，而可作為與編碼位元串流相關聯之個別資料傳送或記錄。此處，所謂「相關聯」之用語意為可使包含於位元串流之圖像(亦可為切片或區塊等、圖像之一部分)與對應該圖像之資訊在解碼時鏈結。即，資訊可在與圖像(或位元串流)不同之傳送路徑上傳送。又，資訊可記錄於與圖像(或位元串流)不同之記錄媒體(或相同記錄媒體之不同記錄區域)。再者，資訊與圖像(或位元串流)可例如以複數個圖框、1圖框、或圖框內之一部分等之任意之單位互相相關聯。
以上，雖參照附加圖式對本揭示之較好之實施形態加以詳細說明，但本揭示並非限定於上述之例。若為具有本揭示所屬之技術領域中之常用知識者，則應了解，在專利申請範圍所揭示之技術思想之範疇內，顯然可設想各種變更例或修正例，關於該等，當然亦屬於本揭示之技術範圍。
另，本技術亦可採取如下構成。
(1)一種圖像處理裝置，其具備：取得部，其係從將最大編碼單位作為傳送單位而設定有適應偏移濾波器之參數之編碼串流中，以最大編碼單位取得上述適應偏移濾波器之參數；解碼部，其係對上述編碼串流進行解碼處理，而產生圖像；及 適應偏移濾波部，其係使用藉由上述取得部所取得之參數，以最大編碼單位對藉由上述解碼部所產生之圖像進行適應偏移濾波。
(2)如上述技術方案(1)之圖像處理裝置，其中上述適應偏移濾波器之參數包含上述適應偏移濾波器之類型與偏移值。
(3)如上述技術方案(1)或(2)之圖像處理裝置，其中進而具備對藉由上述解碼部所產生之圖像進行解塊濾波之解塊濾波部，且上述適應偏移濾波部對已藉由上述解塊濾波部進行解塊濾波之圖像進行適應偏移濾波。
(4)如上述技術方案(1)至(3)中任一項之圖像處理裝置，其中上述取得部從上述編碼串流中，取得識別較當前(Current)最大編碼單位更先進行適應偏移濾波之先前(Previous)最大編碼單位之參數與當前最大編碼單位之參數相同之識別資料，且上述適應偏移濾波部使用由上述取得部所取得之識別資料，以最大編碼單位對由上述解碼部所產生之圖像進行適應偏移濾波。
(5)如上述技術方案(1)至(3)中任一項之圖像處理裝置，其中上述取得部從上述編碼串流中，取得對是否使用較當前最大編碼單位更先進行適應偏移濾波之先前最大編碼單位之參數進行識別之識別資料，且上述適應偏移濾波部使用由上述取得部所取得之識別資料，以最大編碼單位對由上述解碼部所產生之圖像進行適應偏移濾波。
(6)如上述技術方案(1)至(3)中任一項之圖像處理裝置，其中上述取得部從上述編碼串流中，取得識別是否複製使用較當前最大編碼單位更先進行適應偏移濾波之先前最大編碼單位之參數之識別資料，且上述適應偏移濾波部使用由上述取得部所取得之識別資料，以最大編碼單位對由上述解碼部所產生之圖像進行適應偏移濾波。
(7)如上述技術方案(1)至(3)中任一項之圖像處理裝置，其中上述取得部從上述編碼串流中，取得以較當前最大編碼單位更先進行適應偏移濾波之先前最大編碼單位為對象，且指定與當前最大編碼單位之參數相同之最大編碼單位之識別資料，且上述適應偏移濾波部使用由上述取得部所取得之識別資料，以最大編碼單位對由上述解碼部所產生之圖像進行適應偏移濾波。
(8)如上述技術方案(1)至(7)中任一項之圖像處理裝置，其中上述適應偏移濾波器之參數在最大編碼單位之開端之時序被傳送。
(9)如上述技術方案(1)至(8)中任一項之圖像處理裝置，其中上述解碼部以具有階層構造之單位進行解碼處理。
(10)一種圖像處理方法，其係由圖像處理裝置進行：從以最大編碼單位為傳送單位而設定有適應偏移濾波器之參數之編碼串流中，以最大編碼單位取得上述適應偏移濾波器之參數，對上述編碼串流進行解碼處理而產生圖像，且使用所取得之參數，以最大編碼單位對所產生之圖像進行適應偏移濾波。
(11)一種圖像處理裝置，其具備：設定部，其係將最大編碼單位作為傳送單位，而設定適應偏移濾波器之參數；適應偏移濾波部，其係使用由上述設定部所設定之參數，以最大編碼單位對編碼圖像時已進行局部解碼處理之圖像進行適應偏移濾波；編碼部，其係使用已藉由上述適應偏移濾波部進行適應偏移濾波之圖像，對上述圖像進行編碼處理，而產生編碼串流；及傳送部，其係傳送由上述設定部所設定之參數、與由上述編碼部所產生之編碼串流。
(12)如上述技術方案(11)之圖像處理裝置，其中上述適應偏移濾波器之參數包含上述適應偏移濾波器之類型與偏移值。
(13)如上述技術方案(11)或(12)之圖像處理裝置，其中進而具備對已局部解碼之圖像進行解塊濾波之解塊濾波部，且上述適應偏移濾波部對已藉由上述解塊濾波部進行解塊濾波之圖像進行適應偏移濾波。
(14)如上述技術方案(11)至(13)中任一項之圖像處理裝置，其中上述設定部設定識別較當前最大編碼單位更先進行適應偏移濾波之先前最大編碼單位之參數與當前最大編碼單位之參數相同之識別資料，且上述傳送部傳送由上述設定部所設定之識別資料、與由上述編碼部所產生之編碼串流。
(15)如上述技術方案(11)至(13)中任一項之圖像處理裝置，其中上述設定部設定識別是否使用較當前最大編碼單位更先進行適應偏移濾波之先前最大編碼單位之參數之識別資料，且上述傳送部傳送由上述設定部所設定之識別資料、與由上述編碼部所產生之編碼串流。
(16)如上述技術方案(11)至(13)中任一項之圖像處理裝置，其中上述設定部設定識別是否複製使用較當前最大編碼單位更先進行適應偏移濾波之先前最大編碼單位之參數之識別資料，且上述傳送部傳送由上述設定部所設定之識別資料、與由上述編碼部所產生之編碼串流。
(17)如上述技術方案(11)至(13)中任一項之圖像處理裝置，其中上述設定部設定以較當前最大編碼單位更先進行適應偏移濾波之先前最大編碼單位為對象而指定與當前最大編碼單位之參數相同之最大編碼單位之識別資料，且 上述傳送部傳送由上述設定部所設定之識別資料、與由上述編碼部所產生之編碼串流。
(18)如上述技術方案(11)至(17)中任一項之圖像處理裝置，其中上述傳送部在最大編碼單位之開端之時序傳送由上述設定部所設定之適應偏移濾波器之參數。
(19)如上述技術方案(11)至(18)中任一項之圖像處理裝置，其中上述編碼部以具有階層構造之單位進行編碼處理。
(20)一種圖像處理方法，其係由圖像處理裝置進行：以最大編碼單位為傳送單位，設定適應偏移濾波器之參數，使用所設定之參數，以最大編碼單位對編碼圖像時經局部解碼處理之圖像進行適應偏移濾波，且使用已進行適應偏移濾波之圖像，對上述圖像進行編碼處理，而產生編碼串流；傳送所設定之參數、及所產生之編碼串流。
111‧‧‧LCU
112‧‧‧LCU
113‧‧‧LCU
114‧‧‧LCU
115‧‧‧LCU
116‧‧‧LCU
117‧‧‧LCU
121‧‧‧EO用緩衝器
122‧‧‧BO用緩衝器

Claims (6)

  1. 一種圖像處理裝置，其包含：解碼部，其係對適應偏移濾波器之參數經設定於最大編碼單位之開端(beginning)的編碼串流進行解碼處理，而產生圖像；及適應偏移濾波部，其係使用經設定於上述最大編碼單位之開端的適應偏移濾波器之參數，以最大編碼單位對由上述解碼部所產生之圖像進行適應偏移濾波。
  2. 如請求項1之圖像處理裝置，其中進而包含對由上述解碼部所產生之圖像進行解塊濾波之解塊濾波部，且上述適應偏移濾波部對已藉由上述解塊濾波部進行解塊濾波之圖像進行適應偏移濾波。
  3. 如請求項1之圖像處理裝置，其中進而包含取得部，其係從上述適應偏移濾波器之參數經設定於最大編碼單位之開端的編碼串流，於最大編碼單位取得上述適應偏移濾波器之參數。
  4. 如請求項1之圖像處理裝置，其中上述適應偏移濾波器之參數在最大編碼單位之開端被傳送。
  5. 如請求項1之圖像處理裝置，其中上述解碼部以具有階層構造之單位進行解碼處理。
  6. 一種圖像處理方法，其係由圖像處理裝置進行：對適應偏移濾波器之參數經設定於最大編碼單位之開端的編碼串流進行解碼處理而產生圖像，且使用經設定於上述最大編碼單位之開端的適應偏移濾波器之參數，以最大編碼單位對所產生之圖像進行適應偏移濾波。
TW105105049A 2012-01-06 2012-11-14 Image processing apparatus and method TWI592009B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012001559 2012-01-06
JP2012146416A JP2014197723A (ja) 2012-01-06 2012-06-29 画像処理装置および方法

Publications (2)

Publication Number Publication Date
TW201635789A true TW201635789A (zh) 2016-10-01
TWI592009B TWI592009B (zh) 2017-07-11

Family

ID=48745163

Family Applications (3)

Application Number Title Priority Date Filing Date
TW101142522A TWI536808B (zh) 2012-01-06 2012-11-14 Image processing apparatus and method
TW105105049A TWI592009B (zh) 2012-01-06 2012-11-14 Image processing apparatus and method
TW106111277A TWI629893B (zh) 2012-01-06 2012-11-14 Image processing device and method

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW101142522A TWI536808B (zh) 2012-01-06 2012-11-14 Image processing apparatus and method

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW106111277A TWI629893B (zh) 2012-01-06 2012-11-14 Image processing device and method

Country Status (14)

Country Link
US (3) US10567805B2 (zh)
EP (2) EP3595310B1 (zh)
JP (5) JP2014197723A (zh)
KR (2) KR102117147B1 (zh)
CN (2) CN104025597B (zh)
AU (1) AU2012364058B2 (zh)
BR (2) BR112014016116B1 (zh)
CA (2) CA3128226C (zh)
IN (1) IN2015DN02942A (zh)
MX (3) MX346508B (zh)
MY (2) MY168575A (zh)
RU (2) RU2600537C1 (zh)
TW (3) TWI536808B (zh)
WO (1) WO2013103101A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI805784B (zh) * 2018-07-03 2023-06-21 日商優必達株式會社股份有限公司 提高影像品質的方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014197723A (ja) 2012-01-06 2014-10-16 ソニー株式会社 画像処理装置および方法
TWI595776B (zh) 2012-06-27 2017-08-11 Sony Corp Image processing device and method
US20140348222A1 (en) * 2013-05-23 2014-11-27 Mediatek Inc. Method of Sample Adaptive Offset Processing for Video Coding and Inter-Layer Scalable Coding
CN117640952A (zh) 2018-05-23 2024-03-01 松下电器（美国）知识产权公司 解码装置和编码装置
CN108765341B (zh) * 2018-05-29 2022-06-21 郑州云海信息技术有限公司 一种图像处理的方法及其装置
WO2020007489A1 (en) 2018-07-06 2020-01-09 Huawei Technologies Co., Ltd. A picture encoder, a picture decoder and corresponding methods
CN112422969A (zh) * 2020-10-20 2021-02-26 西安万像电子科技有限公司 一种图像编解码方法及装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002347635B2 (en) * 2001-11-29 2008-04-24 Godo Kaisha Ip Bridge 1 Coding distortion removal method and video encoding end decoding methods
US7751484B2 (en) * 2005-04-27 2010-07-06 Lsi Corporation Method for composite video artifacts reduction
CN100438629C (zh) * 2005-09-19 2008-11-26 华为技术有限公司 图像编码处理中的环路滤波方法
WO2009001793A1 (ja) * 2007-06-26 2008-12-31 Kabushiki Kaisha Toshiba 画像符号化と画像復号化の方法及び装置
TW200948092A (en) * 2008-03-07 2009-11-16 Toshiba Kk Dynamic image encoding/decoding method and device
US9143803B2 (en) * 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
EP2262267A1 (en) * 2009-06-10 2010-12-15 Panasonic Corporation Filter coefficient coding scheme for video coding
KR20110017719A (ko) * 2009-08-14 2011-02-22 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
EP2988503A1 (en) * 2010-01-14 2016-02-24 Dolby Laboratories Licensing Corporation Buffered adaptive filters
US8660174B2 (en) * 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
CN105245882B (zh) 2010-06-04 2019-02-22 索尼公司 图像处理设备和方法
US9819966B2 (en) * 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
US20120134425A1 (en) * 2010-11-29 2012-05-31 Faouzi Kossentini Method and System for Adaptive Interpolation in Digital Video Coding
US9161041B2 (en) * 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
US9001883B2 (en) * 2011-02-16 2015-04-07 Mediatek Inc Method and apparatus for slice common information sharing
JP6327435B2 (ja) * 2011-03-03 2018-05-23 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、及び、画像復号装置
PL3220641T3 (pl) * 2011-04-21 2019-07-31 Hfi Innovation Inc. Sposób i urządzenie do poprawionego filtrowania w pętli
US9008170B2 (en) * 2011-05-10 2015-04-14 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
WO2012152174A1 (en) * 2011-05-10 2012-11-15 Mediatek Inc. Method and apparatus for reduction of in-loop filter buffer
US20120294353A1 (en) * 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
US9277228B2 (en) * 2011-07-18 2016-03-01 Qualcomm Incorporated Adaptation parameter sets for video coding
US9641866B2 (en) * 2011-08-18 2017-05-02 Qualcomm Incorporated Applying partition-based filters
US10070152B2 (en) * 2011-08-24 2018-09-04 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
US9344743B2 (en) * 2011-08-24 2016-05-17 Texas Instruments Incorporated Flexible region based sample adaptive offset (SAO) and adaptive loop filter (ALF)
CN103891277B (zh) * 2011-10-14 2018-01-26 寰发股份有限公司 回路滤波方法及其装置
WO2013053314A1 (en) * 2011-10-14 2013-04-18 Mediatek Inc. Method and apparatus for loop filtering
US9386305B2 (en) * 2011-11-28 2016-07-05 Qualcomm Incorporated Largest coding unit (LCU) or partition-based syntax for adaptive loop filter and sample adaptive offset in video coding
BR122019019874B1 (pt) * 2011-12-22 2020-08-11 Samsung Electronics Co., Ltd Método de decodificação de vídeo
JP2014197723A (ja) 2012-01-06 2014-10-16 ソニー株式会社 画像処理装置および方法
DK2822276T3 (en) * 2012-02-29 2019-02-04 Lg Electronics Inc Method for interlayer prediction and device using it
JP5965958B2 (ja) 2014-10-21 2016-08-10 株式会社三共 遊技機および遊技枠

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI805784B (zh) * 2018-07-03 2023-06-21 日商優必達株式會社股份有限公司 提高影像品質的方法

Also Published As

Publication number Publication date
CA2857237A1 (en) 2013-07-11
EP3595310B1 (en) 2021-07-28
RU2604339C2 (ru) 2016-12-10
KR102111175B1 (ko) 2020-05-14
CN104539964B (zh) 2018-08-21
MX368338B (es) 2019-09-30
RU2015101983A (ru) 2015-05-10
BR122015001060A2 (pt) 2019-08-20
JP2017127008A (ja) 2017-07-20
MX2014007974A (es) 2014-08-21
EP2802145A4 (en) 2015-12-16
KR102117147B1 (ko) 2020-05-29
KR20170128609A (ko) 2017-11-22
IN2015DN02942A (zh) 2015-09-18
RU2600537C1 (ru) 2016-10-20
CN104539964A (zh) 2015-04-22
MX346282B (es) 2017-03-14
WO2013103101A1 (ja) 2013-07-11
CA3128226C (en) 2023-01-17
US20230055659A1 (en) 2023-02-23
AU2012364058B2 (en) 2017-03-02
TW201342923A (zh) 2013-10-16
JP6282237B2 (ja) 2018-02-21
MY168575A (en) 2018-11-14
MY193388A (en) 2022-10-11
CN104025597A (zh) 2014-09-03
US10567805B2 (en) 2020-02-18
JPWO2013103101A1 (ja) 2015-05-11
BR112014016116B1 (pt) 2022-04-19
US11601685B2 (en) 2023-03-07
JP2019198123A (ja) 2019-11-14
TW201724851A (zh) 2017-07-01
JP6624462B2 (ja) 2019-12-25
AU2012364058A1 (en) 2014-06-26
CA2857237C (en) 2021-10-12
EP3595310A1 (en) 2020-01-15
KR20140117367A (ko) 2014-10-07
BR112014016116A8 (pt) 2017-07-04
BR112014016116A2 (pt) 2017-06-13
MX346508B (es) 2017-03-23
CN104025597B (zh) 2019-07-26
US20140314159A1 (en) 2014-10-23
JP2015122788A (ja) 2015-07-02
EP2802145A1 (en) 2014-11-12
TWI592009B (zh) 2017-07-11
JP2014197723A (ja) 2014-10-16
US20200077121A1 (en) 2020-03-05
TWI629893B (zh) 2018-07-11
EP2802145B1 (en) 2019-11-27
BR122015001060B1 (pt) 2022-04-26
CA3128226A1 (en) 2013-07-11
JP6282117B2 (ja) 2018-02-21
TWI536808B (zh) 2016-06-01

Similar Documents

Publication Publication Date Title
TWI592009B (zh) Image processing apparatus and method
JP6256340B2 (ja) 画像処理装置および方法、並びにプログラム
WO2014050731A1 (ja) 画像処理装置および方法
JP5900612B2 (ja) 画像処理装置及び画像処理方法
WO2014156708A1 (ja) 画像復号装置および方法
WO2013047325A1 (ja) 画像処理装置および方法
JP5999449B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
WO2013105457A1 (ja) 画像処理装置および方法
JPWO2014002900A1 (ja) 画像処理装置および画像処理方法
WO2013105458A1 (ja) 画像処理装置および方法
AU2015255161B2 (en) Image Processing Device and Method