WO2012176910A1 - オフセット復号装置、オフセット符号化装置、画像フィルタ装置、および、データ構造 - Google Patents

オフセット復号装置、オフセット符号化装置、画像フィルタ装置、および、データ構造 Download PDF

Info

Publication number
WO2012176910A1
WO2012176910A1 PCT/JP2012/066082 JP2012066082W WO2012176910A1 WO 2012176910 A1 WO2012176910 A1 WO 2012176910A1 JP 2012066082 W JP2012066082 W JP 2012066082W WO 2012176910 A1 WO2012176910 A1 WO 2012176910A1
Authority
WO
WIPO (PCT)
Prior art keywords
offset
value
pixel
unit
type
Prior art date
Application number
PCT/JP2012/066082
Other languages
English (en)
French (fr)
Inventor
隆紀 山崎
知宏 猪飼
山本　智幸
将伸 八杉
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47422737&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2012176910(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority to KR1020187036558A priority Critical patent/KR102005212B1/ko
Priority to EP12802275.3A priority patent/EP2725797B1/en
Priority to KR1020187020857A priority patent/KR101931675B1/ko
Priority to KR1020147001188A priority patent/KR101785770B1/ko
Priority to SI201231467T priority patent/SI2725797T1/sl
Priority to AU2012274326A priority patent/AU2012274326B2/en
Priority to EP18160110.5A priority patent/EP3361725B1/en
Priority to ES12802275T priority patent/ES2699974T3/es
Priority to KR1020177027760A priority patent/KR101826215B1/ko
Priority to EP19220154.9A priority patent/EP3720127B1/en
Priority to PL18160110T priority patent/PL3361725T3/pl
Priority to CA2840045A priority patent/CA2840045C/en
Priority to JP2013521650A priority patent/JP5973434B2/ja
Priority to KR1020187002934A priority patent/KR101881869B1/ko
Priority to PL12802275T priority patent/PL2725797T3/pl
Priority to DK12802275.3T priority patent/DK2725797T3/da
Priority to EP22194947.2A priority patent/EP4135322B1/en
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US14/127,889 priority patent/US9497455B2/en
Priority to RS20181435A priority patent/RS58082B1/sr
Priority to EP23155769.5A priority patent/EP4199513B1/en
Priority to CN201280030994.0A priority patent/CN103636210B/zh
Priority to EP22194948.0A priority patent/EP4135323A1/en
Publication of WO2012176910A1 publication Critical patent/WO2012176910A1/ja
Priority to US15/293,078 priority patent/US9866833B2/en
Priority to AU2017204165A priority patent/AU2017204165B2/en
Priority to US15/820,903 priority patent/US10390012B2/en
Priority to AU2018202384A priority patent/AU2018202384B2/en
Priority to US15/997,261 priority patent/US10440362B2/en
Priority to US16/158,602 priority patent/US10477209B2/en
Priority to HRP20181975TT priority patent/HRP20181975T1/hr
Priority to AU2019200704A priority patent/AU2019200704B2/en
Priority to US16/520,735 priority patent/US10764580B2/en
Priority to CY20201100389T priority patent/CY1123096T1/el
Priority to US17/008,475 priority patent/US11089302B2/en
Priority to US17/381,035 priority patent/US11765350B2/en
Priority to US18/354,533 priority patent/US20230370593A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Definitions

  • the present invention relates to an image filter device that performs image filtering.
  • the present invention also relates to an offset decoding apparatus that decodes an offset referred to by an image filter, and an offset encoding apparatus that encodes an offset referred to by an image filter.
  • the present invention also relates to the data structure of encoded data.
  • a moving image encoding device that generates encoded data by encoding the moving image, and decoding by decoding the encoded data
  • a video decoding device (decoding device) that generates an image is used.
  • a specific moving picture encoding method for example, H.264 is used.
  • a method used in AVC a method used in KTA software, which is a joint development codec in VCEG (Video Coding Expert Group), and a method used in TMuC (Test Model Under Consulation) software, which is the successor codec And a method employed in HM (HEVC TestModel) software.
  • an image (picture) constituting a moving image is a slice obtained by dividing the image, a maximum coding unit obtained by dividing the slice (LCU: Largegest Coding Unit, tree block) Hierarchical structure consisting of coding units (CU: Coding ⁇ ⁇ Unit, also called coding node) obtained by dividing the maximum coding unit, and blocks and partitions obtained by dividing the coding unit
  • the block is encoded as a minimum unit.
  • a predicted image is usually generated based on a local decoded image obtained by encoding / decoding an input image, and difference data between the predicted image and the input image is encoded. It becomes.
  • methods for generating a predicted image methods called inter-screen prediction (inter prediction) and intra-screen prediction (intra prediction) are known.
  • intra prediction predicted images in a corresponding frame are sequentially generated based on a locally decoded image in the same frame.
  • one prediction direction is selected from prediction directions included in a predetermined prediction direction (prediction mode) group for each prediction unit (for example, block), and A prediction pixel value on the prediction target region is generated by extrapolating the pixel value of the reference pixel in the locally decoded image in the selected prediction direction.
  • inter prediction by applying motion compensation using a motion vector to a reference image in a reference frame (decoded image) in which the entire frame is decoded, a predicted image in a prediction target frame is converted into a prediction unit ( For example, it is generated for each block).
  • Non-Patent Document 1 and Non-Patent Document 2 describe an adaptive loop filter (“", which is a subsequent stage of a deblocking filter that reduces block distortion of a decoded image and performs filter processing using adaptively determined filter coefficients.
  • An adaptive offset filter (also referred to as an “adaptive offset filter”) introduced before the “adaptive filter” is disclosed. This adaptive offset filter adds an adaptively set offset to each pixel value of an image output from the deblocking filter.
  • JCTVC-D122 Joint Collaborative Team Video Coding
  • JCT-VC Joint Collaborative Team Video Coding
  • ISO / IEC JTC1 / SC29 / WG11 4th Meeting: Daegu, KR, 01/2011 ⁇ JCTVC-E049 ''
  • the offset used in the conventional adaptive offset filter has a problem that a large memory size is required to store the offset because the value range is not set and the number of bits is large. It was.
  • the present invention has been made in view of the above problems, and an object thereof is to realize an image filter device capable of reducing block distortion while suppressing an increase in memory size.
  • an image filter device is an image filter device that adds an offset to each pixel value of an input image composed of a plurality of unit regions, and refers to encoded data.
  • an offset value range is set by the offset attribute setting unit, and an offset having a bit width corresponding to the set offset value range is decoded by the offset decoding unit.
  • the memory size for storing the offset can be effectively reduced.
  • An offset decoding apparatus is an offset decoding apparatus that decodes each offset referred to by an image filter that adds an offset to each pixel value of an input image, and each offset residual is calculated from encoded data.
  • Offset residual decoding means for decoding prediction value deriving means for deriving predicted values of each offset from decoded offsets, predicted values derived by the predicted value deriving means for each offset, and the offset residual Offset calculating means for calculating from the offset residual decoded by the decoding means.
  • an offset residual decoding unit that decodes each offset residual from encoded data, and a prediction value derivation that derives a prediction value of each offset from the decoded offset Means and offset calculation means for calculating each offset from the prediction value derived by the prediction value deriving means and the offset residual decoded by the offset residual decoding means.
  • offset can be appropriately decoded from encoded data with a small code amount.
  • the image filter device is an image filter device that acts on an input image, and calculates a difference value between a pixel value of a target pixel in the input image and pixel values of pixels around the target pixel.
  • Means, a pixel value referred to by the calculation means, or a bit shift means for right bit shifting the difference value calculated by the calculation means by a predetermined shift value, and a difference right-bit shifted by the bit shift means Classifying means for classifying the target pixel into one of a plurality of offset classes according to the magnitude relationship between the value and 0, and associating the pixel value of the target pixel with the offset class classified by the classification means And an offset unit for adding the offsets.
  • the target pixel is classified into one of a plurality of offset classes according to the magnitude relationship between the difference value shifted to the right bit and 0, and the target pixel Since the offset associated with the offset class classified by the classification means is added to the pixel value, the class classification process is less susceptible to noise and the coding efficiency is improved.
  • the image filter device is an image filter device that acts on an input image, and calculates a difference value between a pixel value of a target pixel in the input image and pixel values of pixels around the target pixel.
  • the image filter device configured as described above is configured to assign the target pixel to a plurality of offset classes according to a magnitude relationship between the difference value calculated by the calculation unit and a predetermined first and second threshold value. Since the offset associated with the offset class classified by the classification means is added to the pixel value of the target pixel, the class classification process becomes less susceptible to noise and is encoded. Efficiency is improved.
  • the image filter device is an image filter device that operates on an input image composed of a plurality of unit regions, and includes an object that includes a target pixel in the input image among the first and second offset types.
  • a determination unit that determines an offset type to which the unit area belongs, an offset type to which the target unit area belongs, and an offset class to which the offset is not added and an offset are added to the target pixel according to the pixel value of the target pixel.
  • Classification means for classifying into one of a plurality of offset classes, and an offset associated with the offset type to which the target unit region belongs and the offset class classified by the classification means are added to the pixel value of the target pixel.
  • Offset means, and the classification means is an image of the target pixel. When the value is within a predetermined range, the offset is added to the target pixel regardless of whether the offset type to which the unit region including the target pixel belongs is the first offset type or the second offset type. It is characterized by being classified into an offset class.
  • the offset type to which the unit region including the target pixel belongs is the first and second offsets.
  • the target pixel is classified into an offset class to which an offset is added, so that block noise can be effectively removed. Therefore, according to the above configuration, the encoding efficiency can be improved.
  • An image filter device is an image filter device that adds an offset to each pixel value of an input image composed of a plurality of unit regions, and among the plurality of offset types, the unit region to be processed is A determination unit that determines an offset type to which the signal belongs; an offset encoding unit that determines an offset having a different bit width according to the offset type; and the determination for each pixel value of the input image. And a filter means for adding the offsets.
  • an offset type to which a unit area to be processed belongs is determined from among a plurality of offset types, and an offset having a different bit width is determined according to the determined offset type.
  • the determined offset is added to each pixel of the input image. Also, the determined offset is encoded.
  • the offset encoding apparatus is an offset encoding apparatus that encodes each offset referenced by an image filter that adds an offset to each pixel value of an input image, and the predicted value of each offset is A predicted value deriving unit derived from an encoded offset, an offset residual calculating unit for calculating an offset residual from each offset and a predicted value derived by the predicted value deriving unit, and the offset residual calculating unit And an offset residual encoding means for encoding the calculated offset residual.
  • a predicted value deriving unit that derives a predicted value of each offset from the encoded offset, and a predicted value derived by each offset and the predicted value deriving unit Offset residual calculating means for calculating the offset residual from the above and offset residual encoding means for encoding the offset residual calculated by the offset residual calculating means.
  • the amount can be reduced.
  • the data structure of the encoded data according to the present invention is a data structure of encoded data that is referred to by an image filter that adds an offset to each pixel value of an input image composed of a plurality of unit regions.
  • Offset type designation information for designating the offset type to which the unit area belongs, and offsets having different bit widths according to the offset type, and the image filter includes the offset type designation information included in the encoded data.
  • the offset type to which the unit region to be processed belongs is determined, and offsets having different bit widths are decoded according to the determined offset type.
  • the code amount of the encoded data is reduced.
  • the image filter that decodes the encoded data refers to the offset type designation information, determines the offset type to which the unit area to be processed belongs, and also has an offset having a different bit width depending on the determined offset type. Since decoding is performed, appropriate offset filter processing can be performed while reducing the memory size for storing the offset.
  • the offset type designation information may be determined for each input image, or may be determined for each unit area. Further, it may be determined for each predetermined set of input images, or may be determined for each predetermined set of unit areas.
  • the image filter device is an image filter device that adds an offset to each pixel value of an input image composed of a plurality of unit regions.
  • the image filter device refers to encoded data and sets an offset value range. Offset attribute setting means for setting, offset decoding means for decoding an offset limited to the set offset value range, and filter means for adding the offset to each pixel value of the input image.
  • An image filter device is an image filter device that adds an offset to each pixel value of an input image composed of a plurality of unit regions, and among the plurality of offset types, the unit region to be processed is A determination unit that determines an offset type to which the signal belongs; an offset encoding unit that determines an offset having a different bit width according to the offset type; and the determination for each pixel value of the input image. Filter means for adding the offsets.
  • the data structure of the encoded data according to the present invention is a data structure of encoded data that is referred to by an image filter that adds an offset to each pixel value of an input image composed of a plurality of unit regions.
  • Offset type designation information for designating the offset type to which the unit area belongs, and offsets having different bit widths according to the offset type, and the image filter includes the offset type designation information included in the encoded data.
  • the offset type to which the unit region to be processed belongs is determined, and an offset having a different bit width is decoded according to the determined offset type.
  • FIG. 3 is a diagram illustrating a data configuration of encoded data generated by the video encoding device according to the first embodiment of the present invention and decoded by the video decoding device, and (a) to (d) are respectively The picture layer, the slice layer, the tree block layer, and the CU layer are shown, (e) shows the structure of QAOU information related to the non-leaf QAOU, and (f) shows the structure of QAOU information related to the QAOU of the leaf. Yes. It is a figure which shows each syntax contained in the offset information OI of the coding data which concerns on the 1st Embodiment of this invention.
  • FIG. 4 is a diagram illustrating an example of a QAOMU number assigned to a QAOMU included in a target processing unit in the first embodiment of the present invention, where (a) is a QAOMU attached to a QAOMU having a division depth of 0.
  • FIG. 1 shows the QAOMU number assigned to the QAOMU having a division depth of 1
  • (c) shows the QAOMU number attached to the QAOMU having a division depth of 2.
  • (D) shows a QAOMU number assigned to a QAOMU having a division depth of 3
  • (e) shows a QAOMU number assigned to a QAOMU having a division depth of 4.
  • (a) is a figure which shows each QAOMU of the division
  • (B) is a figure which shows the offset regarding each class which can be selected in the offset type associated with each of QAOU index 0-9 and each offset type. It is a figure which shows the conversion table which the offset information decoding part which concerns on the said 3rd Embodiment uses.
  • FIG. 7 is a graph showing the magnitude relationship between and the value of the function Sign corresponding to the magnitude relationship
  • (b) shows the magnitude relationship between the pixel value of the processing target pixel x and the pixel values of the pixels a and b.
  • (C) is a diagram showing the correspondence between each graph shown in (b) and class_idx, and (d) to (f) ) Is a diagram showing a conversion table representing conversion from EggeType to class_idx.
  • the said 3rd Embodiment it is a figure which shows an example of the class classification
  • FIG. 10 is a diagram for describing a configuration for switching between EO and BO according to a pixel value in the fourth embodiment according to the present invention, and (a) illustrates an overview of a configuration for switching between EO and BO according to a pixel value.
  • B) is a figure for demonstrating a specific switching value
  • (c) is a figure which shows the content of the list memory stored in the offset information storage part 621. .
  • FIG. 10 is a diagram showing an outline when classifying is subdivided in the sixth embodiment, (a) is a diagram showing a conversion table, and (b) to (d) are for explaining class division.
  • FIG. 10 is a diagram showing an outline when classifying is subdivided in the sixth embodiment, (a) is a diagram showing a conversion table, and (b) to (d) are for explaining class division.
  • the sixth embodiment it is a diagram for explaining the case of performing the class classification according to the color difference
  • (a) is a diagram for explaining the class classification in consideration of the achromatic pixel value
  • (B) is a figure for demonstrating a class classification asymmetrical in two range which pinches
  • (c) and (d) are different class classification for every color channel (Cr or Cb). It is a figure for demonstrating, (e) is a figure for demonstrating the case where the class classification of BO is made into one.
  • it is a block diagram which shows the structure of an offset information decoding part.
  • the said 7th Embodiment it is a figure which shows the outline
  • the said 7th Embodiment it is a figure which shows the syntax in the case of using a prediction candidate flag.
  • (A) is a block diagram which shows the structure of the use offset type selection part which concerns on the said 5th Embodiment
  • (b) is a block diagram which shows the structure of another use offset type selection part.
  • (a) is a figure which shows the syntax of offset information
  • (b) is a figure which shows the syntax of QAOU information
  • (C) is a figure which shows the syntax of the whole adaptive offset filter which calls the syntax shown to (a) and (b).
  • (a) is the block diagram which showed the structure of the transmission device carrying a moving image coding apparatus
  • (B) is a block diagram showing a configuration of a receiving apparatus equipped with a moving picture decoding apparatus.
  • FIG. 8B is a block diagram illustrating a configuration of a playback device equipped with a video decoding device.
  • FIG. 2 is a diagram showing a data structure of encoded data # 1.
  • the encoded data # 1 illustratively includes a sequence and a plurality of pictures constituting the sequence.
  • FIG. 2 shows the hierarchical structure below the picture layer in the encoded data # 1.
  • 2A to 2D are included in the picture layer that defines the picture PICT, the slice layer that defines the slice S, the tree block layer that defines the tree block TBLK, and the tree block TBLK, respectively.
  • Picture layer In the picture layer, a set of data referred to by the video decoding device 1 for decoding a picture PICT to be processed (hereinafter also referred to as a target picture) is defined. As shown in FIG. 2A, the picture PICT includes a picture header PH and slices S1 to SNS (NS is the total number of slices included in the picture PICT).
  • the picture header PH includes a coding parameter group referred to by the video decoding device 1 in order to determine a decoding method of the target picture.
  • the encoding mode information (entropy_coding_mode_flag) indicating the variable length encoding mode used in encoding by the moving image encoding device 2 is an example of an encoding parameter included in the picture header PH.
  • the picture PICT is encoded by CAVLC (Context-based Adaptive Variable Variable Length Coding).
  • CAVLC Context-based Adaptive Variable Variable Length Coding
  • CABAC Context-based Adaptive Binary Arithmetic Coding
  • picture header PH is also referred to as a picture parameter set (PPS).
  • PPS picture parameter set
  • slice layer In the slice layer, a set of data referred to by the video decoding device 1 for decoding the slice S to be processed (also referred to as a target slice) is defined. As shown in FIG. 2B, the slice S includes a slice header SH and a sequence of tree blocks TBLK1 to TBLKNC (NC is the total number of tree blocks included in the slice S).
  • the slice header SH includes a coding parameter group that the moving image decoding apparatus 1 refers to in order to determine a decoding method of the target slice.
  • Slice type designation information (slice_type) for designating a slice type is an example of an encoding parameter included in the slice header SH.
  • I slice that uses only intra prediction at the time of encoding (2) P slice that uses unidirectional prediction or intra prediction at the time of encoding, (3) B-slice using unidirectional prediction, bidirectional prediction, or intra prediction at the time of encoding may be used.
  • the slice header SH includes a filter parameter FP that is referred to by an adaptive filter provided in the video decoding device 1.
  • the filter parameter FP may be included in the picture header PH.
  • Tree block layer In the tree block layer, a set of data referred to by the video decoding device 1 for decoding a processing target tree block TBLK (hereinafter also referred to as a target tree block) is defined. Note that a tree block may be referred to as a maximum coding unit (LCU).
  • LCU maximum coding unit
  • the tree block TBLK includes a tree block header TBLKH and coding unit information CU1 to CUNL (NL is the total number of coding unit information included in the tree block TBLK).
  • NL is the total number of coding unit information included in the tree block TBLK.
  • the tree block TBLK is divided into partitions for specifying a block size for each process of intra prediction or inter prediction and conversion.
  • the above partition of the tree block TBLK is divided by recursive quadtree partitioning.
  • the tree structure obtained by this recursive quadtree partitioning is hereinafter referred to as a coding tree.
  • a partition corresponding to a leaf that is a node at the end of the coding tree is referred to as a coding node.
  • the encoding node is a basic unit of the encoding process, hereinafter, the encoding node is also referred to as an encoding unit (CU).
  • CU encoding unit
  • coding unit information (hereinafter referred to as CU information)
  • CU1 to CUNL is information corresponding to each coding node (coding unit) obtained by recursively dividing the tree block TBLK into quadtrees.
  • the root of the coding tree is associated with the tree block TBLK.
  • the tree block TBLK is associated with the highest node of the tree structure of the quadtree partition that recursively includes a plurality of encoding nodes.
  • each encoding node is half the size of the encoding node to which the encoding node directly belongs (that is, the partition of the node one layer higher than the encoding node).
  • the size that each coding node can take depends on the size designation information of the coding node and the maximum hierarchy depth (maximum hierarchical depth) included in the sequence parameter set SPS of the coded data # 1. For example, when the size of the tree block TBLK is 64 ⁇ 64 pixels and the maximum hierarchical depth is 3, the encoding nodes in the hierarchy below the tree block TBLK have three types of sizes, that is, 64 ⁇ 64. It can take any of a pixel, 32 ⁇ 32 pixel, and 16 ⁇ 16 pixel.
  • the tree block header TBLKH includes an encoding parameter referred to by the video decoding device 1 in order to determine a decoding method of the target tree block. Specifically, as shown in FIG. 2C, tree block division information SP_TBLK that designates a division pattern of the target tree block into each CU, and a quantization parameter difference that designates the size of the quantization step. ⁇ qp (qp_delta) is included.
  • the tree block division information SP_TBLK is information representing a coding tree for dividing the tree block. Specifically, the shape and size of each CU included in the target tree block, and the position in the target tree block Is information to specify.
  • the tree block division information SP_TBLK may not explicitly include the shape or size of the CU.
  • the tree block division information SP_TBLK may be a set of flags (split_coding_unit_flag) indicating whether or not the entire target tree block or a partial area of the tree block is divided into four.
  • the shape and size of each CU can be specified by using the shape and size of the tree block together.
  • the quantization parameter difference ⁇ qp is a difference qp ⁇ qp ′ between the quantization parameter qp in the target tree block and the quantization parameter qp ′ in the tree block encoded immediately before the target tree block.
  • CU layer In the CU layer, a set of data referred to by the video decoding device 1 for decoding a CU to be processed (hereinafter also referred to as a target CU) is defined.
  • the encoding node is a node at the root of a prediction tree (PT) and a transformation tree (TT).
  • PT prediction tree
  • TT transformation tree
  • the encoding node is divided into one or a plurality of prediction blocks, and the position and size of each prediction block are defined.
  • the prediction block is one or a plurality of non-overlapping areas constituting the encoding node.
  • the prediction tree includes one or a plurality of prediction blocks obtained by the above division.
  • Prediction processing is performed for each prediction block.
  • a prediction block that is a unit of prediction is also referred to as a prediction unit (PU).
  • intra prediction There are roughly two types of division in the prediction tree: intra prediction and inter prediction.
  • inter prediction there are 2N ⁇ 2N (the same size as the encoding node), 2N ⁇ N, N ⁇ 2N, N ⁇ N, and the like.
  • the encoding node is divided into one or a plurality of transform blocks, and the position and size of each transform block are defined.
  • the transform block is one or a plurality of non-overlapping areas constituting the encoding node.
  • the conversion tree includes one or a plurality of conversion blocks obtained by the above division.
  • the division in the transformation tree includes the one in which an area having the same size as the encoding node is assigned as the transformation block, and the one in the recursive quadtree division as in the above-described division of the tree block.
  • transform processing is performed for each conversion block.
  • the transform block which is a unit of transform is also referred to as a transform unit (TU).
  • the CU information CU specifically includes a skip flag SKIP, PT information PTI, and TT information TTI.
  • the skip flag SKIP is a flag indicating whether or not the skip mode is applied to the target PU.
  • the value of the skip flag SKIP is 1, that is, when the skip mode is applied to the target CU, PT information PTI and TT information TTI in the CU information CU are omitted. Note that the skip flag SKIP is omitted for the I slice.
  • the PT information PTI is information regarding the PT included in the CU.
  • the PT information PTI is a set of information related to each of one or more PUs included in the PT, and is referred to when the moving image decoding apparatus 1 generates a predicted image.
  • the PT information PTI includes prediction type information PType and prediction information PInfo.
  • Prediction type information PType is information that specifies whether intra prediction or inter prediction is used as a prediction image generation method for the target PU.
  • the prediction information PInfo is composed of intra prediction information or inter prediction information depending on which prediction method is specified by the prediction type information PType.
  • a PU to which intra prediction is applied is also referred to as an intra PU
  • a PU to which inter prediction is applied is also referred to as an inter PU.
  • the prediction information PInfo includes information specifying the shape, size, and position of the target PU. As described above, the generation of the predicted image is performed in units of PU. Details of the prediction information PInfo will be described later.
  • TT information TTI is information related to TT included in the CU.
  • the TT information TTI is a set of information regarding each of one or a plurality of TUs included in the TT, and is referred to when the moving image decoding apparatus 1 decodes residual data.
  • a TU may be referred to as a block.
  • the TT information TTI includes TT division information SP_TT that designates a division pattern for each transform block of the target CU, and quantized prediction residuals QD1 to QDNT (NT is a target CU). The total number of blocks contained in).
  • TT division information SP_TT is information for determining the shape and size of each TU included in the target CU and the position in the target CU.
  • the TT division information SP_TT can be realized from information (split_transform_unit_flag) indicating whether or not the target node is divided and information (trafoDepth) indicating the division depth.
  • each TU obtained by the division can have a size from 32 ⁇ 32 pixels to 2 ⁇ 2 pixels.
  • Each quantization prediction residual QD is encoded data generated by the moving image encoding apparatus 2 performing the following processes 1 to 3 on a target block that is a processing target block.
  • Process 1 DCT transform (Discrete Cosine Transform) of the prediction residual obtained by subtracting the prediction image from the encoding target image;
  • Process 2 Quantize the transform coefficient obtained in Process 1;
  • Process 3 Variable length coding is performed on the transform coefficient quantized in Process 2;
  • prediction information PInfo As described above, there are two types of prediction information PInfo: inter prediction information and intra prediction information.
  • the inter prediction information includes an encoding parameter that is referred to when the video decoding device 1 generates an inter predicted image by inter prediction. More specifically, the inter prediction information includes inter PU division information that specifies a division pattern of the target CU into each inter PU, and inter prediction parameters for each inter PU.
  • the inter prediction parameters include a reference image index, an estimated motion vector index, and a motion vector residual.
  • the intra prediction information includes an encoding parameter that is referred to when the video decoding device 1 generates an intra predicted image by intra prediction. More specifically, the intra prediction information includes intra PU division information that specifies a division pattern of the target CU into each intra PU, and intra prediction parameters for each intra PU.
  • the intra prediction parameter is a parameter for designating an intra prediction method (prediction mode) for each intra PU.
  • each picture or each slice is recursively divided into a plurality of offset units (also called QAOU: Quad Adaptive Offset Unit) by a quadtree structure.
  • QAOU is a processing unit of offset filter processing by the adaptive offset filter according to the present embodiment.
  • the QAOU information which is information related to each QAOU, includes sao_split_flag that indicates whether or not it is further divided. More specifically, sao_split_flag is specified by arguments (sao_curr_depth, ys, xs) described later, and is also expressed as sao_split_flag [sao_curr_depth] [ys] [xs].
  • sao_split_flag included in a certain QAOU indicates that the QAOU is further divided (that is, when the QAOU is not a leaf), as shown in FIG. 2 (e), the QAOU
  • the QAOU information related to the QAOU includes offset information OI related to the QAOU.
  • the offset information OI includes offset type designation information OTI for designating an offset type and an offset group determined according to the offset type.
  • the offset group includes a plurality of offsets.
  • the offset in the encoded data is a quantized value.
  • the offset in the encoded data may be a prediction residual obtained by using some prediction, for example, linear prediction.
  • the offset type It is also possible to include the pixel bit depth of the processing target area in the designation information OTI.
  • FIG. 3 is a diagram showing each syntax included in the offset information OI (denoted as sao_offset_param () in FIG. 3).
  • the offset information OI includes the syntax sao_type_idx [sao_curr_depth] [ys] [xs].
  • sao_type_idx [sao_curr_depth] [ys] [xs] is not 0, the offset information OI includes sao_offset [sao_curr_depth] [ys] [xs] [i].
  • sao_curr_depth (Sao_curr_depth, ys, xs)
  • sao_type_idx and sao_offset arguments, sao_curr_depth is an index representing the QAOU division depth
  • ys and xs are indices for representing the position of the QAOU (or QAOMU described later) in the y direction and the position in the x direction, respectively. is there.
  • FIGS. 4A to 4E are diagrams showing aspects of QAOU division according to the value of sao_curr_depth.
  • each QAOU is specified by sao_curr_depth and (xs, ys).
  • sao_type_idx [sao_curr_depth] [ys] [xs] corresponds to the above-described offset type designation information OTI, and is a syntax for designating an offset type for each QAOU.
  • sao_type_idx may be simply referred to as an offset type.
  • sao_type_idx [sao_curr_depth] [ys] [xs] takes an integer value from 0 to 6.
  • sao_offset [sao_curr_depth] [ys] [xs] [i] is a symbol representing a specific value of an offset added to each pixel included in the target QAOU in the offset filter processing by the adaptive offset filter according to the present embodiment. Tax.
  • sao_offset may be simply referred to as an offset.
  • Sao_offset [sao_curr_depth] [ys] [xs] [i] is specified by an index i in addition to the arguments sao_curr_depth, ys and xs.
  • the index i is an index for designating a class, and is also expressed as class_idx.
  • sao_type_idx [sao_curr_depth] [ys] [xs] is any of 5 to 6 (that is, in the case of a band offset)
  • the adaptive offset filter classifies the target pixel included in the target QAOU into one of the plurality of classes, and the class in which the target pixel is classified with respect to the target pixel. Add offset Offset for.
  • Descriptor (descriptor) ue (v) shown in FIG. 3 indicates that the syntax associated with this descriptor is an unsigned numerical value, and the value is variable-length encoded. (v) indicates that the syntax associated with this descriptor is a signed numerical value, and is variable-length encoded into a sign and an absolute value.
  • the moving picture decoding apparatus 1 includes H.264 as a part thereof. H.264 / MPEG-4.
  • a method adopted in AVC a method adopted in KTA software, which is a codec for joint development in VCEG (Video Coding Expert Group), and a method adopted in TMuC (Test Model under Consideration) software, which is the successor codec And the technology employed in HM (HEVC TestModel) software.
  • FIG. 5 is a block diagram showing a configuration of the moving picture decoding apparatus 1.
  • the moving picture decoding apparatus 1 includes a variable length code decoding unit 13, a motion vector restoration unit 14, a buffer memory 15, an inter prediction image generation unit 16, an intra prediction image generation unit 17, and a prediction method determination unit 18. , An inverse quantization / inverse transform unit 19, an adder 20, a deblocking filter 41, an adaptive filter 50, and an adaptive offset filter 60.
  • the moving picture decoding apparatus 1 is an apparatus for generating moving picture # 2 by decoding encoded data # 1.
  • the variable length code decoding unit 13 decodes the prediction parameter PP related to each partition from the encoded data # 1. That is, for the inter prediction partition, the reference image index RI, the estimated motion vector index PMVI, and the motion vector residual MVD are decoded from the encoded data # 1, and these are supplied to the motion vector restoration unit 14. On the other hand, with respect to the intra prediction partition, (1) size designation information for designating the size of the partition and (2) prediction index designation information for designating the prediction index are decoded from the encoded data # 1, and this is decoded into the intra prediction image. This is supplied to the generation unit 17. In addition, the variable length code decoding unit 13 decodes the CU information from the encoded data, and supplies this to the prediction method determination unit 18 (not shown).
  • variable length code decoding unit 13 decodes the quantization prediction residual QD for each block and the quantization parameter difference ⁇ qp for the tree block including the block from the encoded data # 1, and dequantizes and decodes them. This is supplied to the inverse conversion unit 19. Further, the variable length code decoding unit 13 extracts QAOU information from the encoded data # 1 and supplies the extracted QAOU information to the adaptive offset filter 60.
  • the motion vector restoration unit 14 restores the motion vector mv related to each inter prediction partition from the motion vector residual MVD related to that partition and the restored motion vector mv ′ related to another partition. Specifically, (1) the estimated motion vector pmv is derived from the restored motion vector mv ′ according to the estimation method specified by the estimated motion vector index PMVI, and (2) the derived estimated motion vector pmv and the motion vector remaining are derived. The motion vector mv is obtained by adding the difference MVD. It should be noted that the restored motion vector mv ′ relating to other partitions can be read from the buffer memory 15. The motion vector restoration unit 14 supplies the restored motion vector mv together with the corresponding reference image index RI to the inter predicted image generation unit 16. For the inter prediction partition that performs bi-directional prediction (weighted prediction), the restored two motion vectors mv1 and mv2 are supplied to the inter prediction image generation unit 16 together with the corresponding reference image indexes RI1 and RI2.
  • the inter prediction image generation unit 16 generates a motion compensation image mc related to each inter prediction partition. Specifically, using the motion vector mv supplied from the motion vector restoration unit 14, the motion compensated image mc from the filtered decoded image P_FL ′ designated by the reference image index RI also supplied from the motion vector restoration unit 14 is used. Is generated.
  • the filtered decoded image P_FL ′ is obtained by performing deblocking processing by the deblocking filter 41, offset filtering processing by the adaptive offset filter 60, and adaptive filtering processing by the adaptive filter 50 on the decoded image P that has already been decoded.
  • the inter predicted image generation unit 16 can read out the pixel value of each pixel constituting the filtered decoded image P_FL ′ from the buffer memory 15.
  • the motion compensation image mc generated by the inter prediction image generation unit 16 is supplied to the prediction method determination unit 18 as an inter prediction image Pred_Inter.
  • a motion compensated image mc1 is generated from the filtered decoded image P_FL1 ′ specified by the reference image index RI1 using the motion vector mv1.
  • a motion compensated image mc2 is generated from the filtered decoded image P_FL2 ′ specified by the reference image index RI2 using the motion vector mv2, and (3) weighting between the motion compensated image mc1 and the motion compensated image mc2
  • An inter predicted image Pred_Inter is generated by adding an offset value to the average.
  • the intra predicted image generation unit 17 generates a predicted image Pred_Intra related to each intra prediction partition. Specifically, first, the prediction mode decoded from the encoded data # 1 is referred to, and the prediction mode is assigned to the target partition in, for example, raster scan order. Subsequently, a predicted image Pred_Intra is generated from the decoded image P according to the prediction method indicated by the prediction mode. The intra predicted image Pred_Intra generated by the intra predicted image generation unit 17 is supplied to the prediction method determination unit 18.
  • the intra predicted image generation unit 17 supplies the adaptive filter 50 with intra coding mode information IEM, which is information indicating the size of the target partition and the prediction mode assigned to the target partition.
  • IEM intra coding mode information
  • the prediction method determination unit 18 determines whether each partition is an inter prediction partition for performing inter prediction or an intra prediction partition for performing intra prediction based on the CU information.
  • the inter predicted image Pred_Inter generated by the inter predicted image generation unit 16 is supplied to the adder 20 as the predicted image Pred.
  • the inter predicted image generation unit 17 generates the inter predicted image Pred_Inter.
  • the intra predicted image Pred_Intra that has been processed is supplied to the adder 20 as the predicted image Pred.
  • the inverse quantization / inverse transform unit 19 (1) inversely quantizes the quantized prediction residual QD, (2) performs inverse DCT (Discrete Cosine Transform) transform on the DCT coefficient obtained by the inverse quantization, and (3) The prediction residual D obtained by the inverse DCT transform is supplied to the adder 20.
  • the inverse quantization / inverse transform unit 19 derives the quantization step QP from the quantization parameter difference ⁇ qp supplied from the variable length code decoding unit 13.
  • the generation of the prediction residual D by the inverse quantization / inverse transform unit 19 is performed in units of blocks (transform units).
  • the adder 20 generates the decoded image P by adding the prediction image Pred supplied from the prediction method determination unit 18 and the prediction residual D supplied from the inverse quantization / inverse transformation unit 19.
  • the deblocking filter 41 determines that the block boundary in the decoded image P or the block boundary in the decoded image P when the difference between the pixel values of pixels adjacent to each other via the block boundary in the decoded image P or the CU boundary is smaller than a predetermined threshold By performing deblocking processing on the CU boundary, an image near the block boundary or the vicinity of the CU boundary is smoothed.
  • the image subjected to the deblocking process by the deblocking filter 41 is output to the adaptive offset filter 60 as a deblocked decoded image P_DB.
  • the adaptive offset filter 60 performs an offset filter process using an offset decoded from the encoded data # 1 on the deblocked decoded image P_DB supplied from the deblocking filter 41, using QAOU as a processing unit. An offset filtered decoded image P_OF is generated. The generated offset filtered decoded image P_OF is supplied to the adaptive offset filter 60. Since a specific configuration of the adaptive offset filter 60 will be described later, description thereof is omitted here.
  • the adaptive filter 50 performs a filtering process using the filter parameter FP decoded from the encoded data # 1 on the offset filtered decoded image P_OF supplied from the adaptive offset filter 60, thereby obtaining a filtered decoded image P_FL. Is generated.
  • the image that has been filtered by the adaptive filter 50 is output to the outside as a filtered decoded image P_FL, and is associated with the POC designation information decoded from the encoded data by the variable length code decoding unit 13 in the buffer memory 15. Stored.
  • FIG. 1 is a block diagram showing the configuration of the adaptive offset filter 60.
  • the adaptive offset filter 60 includes an adaptive offset filter information decoding unit 61 and an adaptive offset filter processing unit 62.
  • the adaptive offset filter information decoding unit 61 includes an offset information decoding unit 611, a QAOU structure decoding unit 612, and an offset attribute setting unit 613.
  • the offset information decoding unit 611 refers to the QAOU information included in the encoded data # 1, and decodes the offset information OI included in the QAOU information. Also, each value of sao_type_idx [sao_curr_depth] [ys] [xs] and sao_offset [sao_curr_depth] [ys] [xs] [i] obtained by decoding the offset information OI is set to each argument (sao_curr_depth, ys, xs) and (sao_curr_depth, ys, xs, i) are supplied to the offset information storage unit 621 in association with each other.
  • the QAOU structure decoding unit 612 determines the QAOU partition structure by decoding sao_split_flag [sao_curr_depth] [ys] [xs] included in the QAOU information, and represents the determined QAOU partition structure Is supplied to the offset information storage unit 621.
  • the offset attribute setting unit 613 determines an offset bit depth (also referred to as SAO_DEPTH) and an offset value range.
  • the bit depth of the offset is determined from a pixel bit depth (also referred to as PIC_DEPTH) (not shown) input to the offset attribute setting unit 613.
  • the pixel bit depth indicates the range of pixel values constituting the input image of the adaptive offset filter 60 in bit width.
  • the pixel bit depth is N bits
  • the pixel value ranges from 0 to 2 N ⁇ 1.
  • the pixel value can range from 0 to 255.
  • the bit depth of the decoded image / local decoded image is used.
  • the accuracy of the input image and the accuracy of the output image of the adaptive offset filter 60 are pixel bit depths.
  • the pixel bit depth can be used by decoding a value determined using the syntax in the encoded data # 1. For example, in the case of H.264 / AVC, it can be determined using bit_depth_luma_minus8 in the sequence parameter set. Furthermore, as another form, the pixel bit depth may be determined for each unit area to be processed. In this case, the pixel bit depth is decoded from the header of the unit area. The pixel bit depth of the unit area may be included in the parameter information or header in the encoded data # 1 for decoding the input image of the adaptive offset filter 60, or included as part of the QAOU information. Also good.
  • the pixel bit depth may be included in the picture parameter header, slice header, LCU, CU, and the like. Further, as part of the QAOU information, the pixel bit depth may be included in the leaf QAOU, or the pixel bits are included in the QAOU information of a predetermined hierarchy (for example, the QAOU of the highest hierarchy or the QAOU of the first hierarchy). You may include the depth. In addition, it is preferable that the pixel bit depth is encoded as a difference value from 8 bits. In the QAOU information, it is also appropriate to directly encode the shift value in addition to the pixel bit depth. It is also appropriate to encode the shift value only when it exceeds 8 bits.
  • the shift value indicates a bit shift amount necessary for performing inverse quantization.
  • a parameter used for inverse quantization may be a step value in addition to a shift value.
  • the inverse quantization of the offset is performed by a product with the step value, and the quantization of the offset is performed by division by the step value.
  • the bit depth of the offset is a value indicating the accuracy of the offset encoded in the encoded data # 1.
  • the offset included in the encoded data # 1 is quantized, and the quantized offset is dequantized to a bit depth that matches the pixel bit depth by the offset deriving unit 625 described later after decoding.
  • an offset addition unit 626 which will be described later, adds the dequantized offset.
  • the bit depth of the offset has a value less than or equal to the pixel bit depth.
  • the offset value to be encoded means a value quantized using 2 k as the offset quantization step. Conversion from the decoded bit depth to the pixel bit depth is performed by an offset deriving unit 625 described later.
  • the offset attribute setting unit 613 further sets an offset value range according to the determined bit depth of the offset. Furthermore, a shift value is set from the pixel bit depth of the offset and the offset value range.
  • the set offset value range and shift value are supplied to the offset information storage unit 621 and the offset information decoding unit 611.
  • the determination of the offset bit depth and the setting of the shift value are performed in any one of patterns S1 to S6 described later.
  • the setting of the offset value range is performed in one of the patterns C1 and C2 described later. Attributes common to offset, such as an offset value range and a shift value, are called offset attributes. On the other hand, as shown in FIG.
  • the adaptive offset filter processing unit 62 includes an offset information storage unit 621, a QAOU control unit 622, an offset type derivation unit 623.
  • a class classification unit 624, an offset derivation unit 625, and an offset addition unit 626 are provided.
  • the offset information storage unit 621 and the offset type designated for each QAOU This is a configuration for managing and storing a specific value of an offset for each class that can be selected in the offset type, and includes a map memory and a list memory.
  • the map memory stores a QAOU index, which will be described later, assigned to each offset minimum unit (also referred to as QAOMU: Quad-Adaptive-Offset-Minimum-Unit) determined according to the division depth.
  • QAOMU Quad-Adaptive-Offset-Minimum-Unit
  • FIG. 6A is a diagram for explaining an example of the QAOU index stored in the map memory, and is allocated to each QAOMU and each QAOMU having a division depth of 3 constituting a target processing unit (for example, LCU). It is a figure which shows the QAOU index.
  • QAOU is designated for indexes 0 to 9 simply without considering the division depth of QAOU.
  • the thin line in FIG. 6A indicates the QAOMU boundary, and the thick line indicates the QAOU boundary.
  • QAOU0 is composed of four QAOMUs, and 0 is assigned to these four QAOMUs as QAOU indexes.
  • QAOU3 is composed of one QAOMU, and 3 is assigned to this QAOMU as a QAOU index. In this way, the map memory stores the QAOU index assigned to each QAOMU.
  • each QAOU index, an offset type associated with the QAOU index, and a specific value of an offset related to each class selectable in the offset type are stored in association with each other.
  • the offset information storage unit 621 stores an offset whose value range is limited in the offset value range set by the offset attribute setting unit 613.
  • FIG. 6B is a diagram for explaining an example of information stored in the list memory, and relates to the offset type associated with each of the QAOU indexes 0 to 9 and each class selectable in each offset type. Indicates an offset. “Xxx” in FIG. 6B represents specific numerical values that may be different from each other.
  • the offsets are also denoted as BO_1 and 2, respectively.
  • offset 1 to offset 16 are sao_offset [sao_curr_depth] [ys] [xs] [1] to sao_offset [sao_curr_depth] [sao_type_idx [sao_curr_depth] [ys] [xs] when the value is 5 or 6. It refers to the value specified by ys] [xs] [16].
  • the offset type is an edge offset
  • the offset stored in the list memory for the offset type is a total of four offsets 1 to 4.
  • offsets 1 to 4 are sao_offset [sao_curr_depth] [ys] [xs] [1] when the value of sao_type_idx [sao_curr_depth] [ys] [xs] is any one of 1, 2, 3, 4 ⁇ Sao_offset [sao_curr_depth] [ys] [xs] Points to the values specified by [4]. None is stored in offsets 5-16.
  • the memory size of each offset stored in the list memory is determined by the offset value area supplied from the offset attribute setting unit 613.
  • the offset value range is ⁇ 2 4 to 2 4 ⁇ 1
  • it can be expressed by 5 bits per offset, and a memory size of 5 bits is required.
  • Each QAOMU is assigned a QAOMU number, and the QAOMU numbers can be distinguished from each other by the QAOMU number.
  • a QAOMU whose QAOMU number is N Q will also be referred to as QAOMUN Q.
  • the QAOU index is the number of the designated QAOU block from the division depth 0 to the maximum division depth.
  • the offset information storage unit 621 used in the video decoding device 1 it is not necessary to store offsets of all QAOUs of all division depths, so it is not necessary to secure 341 memory areas, and input QAOU information It is sufficient that there are as many memory areas as the number of QAOUs that are actually used in the structure specified in. When the maximum division depth is 4, since the number of blocks is 256 or less, it is sufficient to have 256 map memories and list memories.
  • the QAOU index used in the offset information storage unit 621 is a unique index for identifying the leaf QAOU, for example, an index of 0 to 255 or less that is incremented by 1 every time the lease QAOU is decoded.
  • the offset information storage unit 621 can also store a map list in units of QAOU information corresponding to the maximum division depth.
  • the QAOU index used in the offset information storage unit 621 uses numbers 0 to 255, which correspond to the QAOMU numbers 85 to 340 in FIG.
  • FIGS. 7A to 7E are diagrams showing examples of QAOMU numbers assigned to QAOMUs included in a target processing unit (for example, LCU).
  • FIG. 7A shows QAOMUs whose division depth is zero.
  • B shows the QAOMU number assigned to the QAOMU whose division depth is 1, and
  • c shows the QAOMU number assigned to the QAOMU whose division depth is 2.
  • the QAOMU number is indicated, (d) indicates the QAOMU number assigned to the QAOMU having the division depth of 3, and (e) indicates the QAOMU number assigned to the QAOMU having the division depth of 4. ing.
  • the QAOU control unit 622 controls each unit included in the adaptive offset filter processing unit 62. Further, the QAOU control unit 622 refers to the QAOU structure information, divides the deblocked decoded image P_DB into one or a plurality of QAOUs, and scans each QAOU in a predetermined order. In addition, the QAOMU number representing the target QAOMU to be processed is supplied to the offset type deriving unit 623.
  • the offset type deriving unit 623 derives an offset type specified by the QAOMU number supplied from the QAOU control unit 622 with reference to the map memory and the list memory of the offset information storage unit 621. Further, the derived offset type is supplied to the class classification unit 624.
  • the class classification unit 624 classifies each pixel included in the target QAOU into any of a plurality of classes that can be selected in the offset type supplied from the offset type deriving unit 623.
  • the offset type and a class index indicating a class into which each pixel is classified are supplied to the offset deriving unit 625. The specific classification process performed by the class classification unit 624 will be described later, and will not be described here.
  • the offset deriving unit 625 refers to the list memory of the offset information storage unit 621 and derives an offset specified by the offset type and class index supplied from the class classification unit 624 for each pixel included in the target QAOU. Further, an offset reverse shift unit (not shown) that shifts the offset to the left by the shift value set by the offset attribute setting unit 613 is provided.
  • the offset inverse shift unit performs inverse quantization of the offset so that the bit depth of the offset matches the pixel bit depth. By performing such inverse quantization, it is possible to add the pixel value and the offset at the same bit depth in the adding process of the offset adding unit 626 described later. The offset obtained by inverse quantization for each pixel is supplied to the offset adding unit 626.
  • the offset adding unit 626 adds the offset supplied from the offset deriving unit 625 to each pixel of the deblocked decoded image P_DB in the target QAOU.
  • the offset addition unit 626 outputs an image obtained by performing processing on all the QAOUs included in the deblocked decoded image P_DB as an offset filtered decoded image P_OF.
  • FIG. 8 is a flowchart showing the flow of processing by the adaptive offset filter processing unit 62.
  • Step S101 First, the QAOU control unit 622 acquires QAOU structure information from the offset information storage unit 621.
  • Step S102 Subsequently, the QAOU control unit 622 starts a first loop using the QAOMU number of the target QAOMU to be processed as a loop variable.
  • Step S103 The QAOU control unit 622 supplies the QAOMU number to the offset type deriving unit 623. Based on the control by the QAOU control unit 622, the offset type deriving unit 623 reads the offset type specified by the QAOMU number supplied from the QAOU control unit 622 from the map memory and the list memory of the offset information storage unit 621. Further, the offset type deriving unit 623 supplies the read offset type to the class classification unit 624.
  • Step S104 the QAOU control unit 622 starts a second loop using the pixel number of each pixel included in the target QAOMU as a loop variable.
  • the pixel number is for identifying the pixels included in the target QAOMU from each other.
  • the pixel numbers included in the target QAOMU are assigned with a predetermined scan order. it can.
  • the x coordinate and y coordinate of each pixel included in the target QAOMU may be used as a loop variable.
  • Step S105 the class classification unit 624 classifies the pixel to be processed into any of a plurality of classes that can be selected in the offset type supplied from the offset type deriving unit 623 based on the control by the QAOU control unit 622. Further, the offset type and the class index indicating the class into which the pixel to be processed is classified are supplied to the offset deriving unit 625.
  • the offset deriving unit 625 reads the offset to be added to the pixel to be processed from the offset information storage unit 621 based on the control by the QAOU control unit 622. That is, the offset specified by the offset type and class index supplied from the class classification unit 624 is read. In addition, an offset obtained by dequantizing the offset derived from the pixel to be processed by bit-shifting to the left by the shift value supplied from the offset attribute setting unit 613 is supplied to the offset adding unit 626.
  • Step S107 Subsequently, based on the control by the QAOU control unit 622, the offset addition unit 626 adds the offset supplied from the offset deriving unit 625 to the pixel value of the processing target pixel of the deblocked decoded image P_DB.
  • Step S108 This step is the end of the second loop.
  • Step S109 This step is the end of the first loop.
  • the adder 626 is controlled.
  • SAO_DEPTH and PIC_DEPTH are closely related to each other in terms of quantization error. Since the bit depth of the output image of the adaptive offset filter 60 is the pixel bit depth PIC_DEPTH, and SAO_DEPTH is the bit depth of the offset applied to the pixel, even if an offset with an accuracy exceeding the pixel bit depth is used, it is discarded in the output process. Therefore, SAO_DEPTH, which is the accuracy of the offset, is preferably set to be equal to or less than PIC_DEPTH. Further, when SAO_DEPTH is smaller than PIC_DEPTH, only the correction that is coarser than the accuracy (PIC_DEPTH) that can correct the input image by the filter can be performed, so that the filter effect is reduced.
  • the code amount of the offset increases.
  • the coding efficiency is optimized by minimizing the rate distortion cost D + ⁇ R expressed using the code amount R of the encoded data, the distortion D of the input image, and the weight ⁇ , Since the accuracy of the offset has a negative effect on the distortion D and a positive effect on the rate R, there is a trade-off in the magnitude of the accuracy, and a specific optimum value exists.
  • the bit width for storing the offset quantized by the offset information storage unit 621 is limited by limiting the quantized offset to an offset value range that can be expressed with a constant bit width. Can do. The effect of reducing the memory size can be obtained as compared with the case of not limiting. However, if the offset range is excessively narrowed, the offset reduces the effect of correcting the distortion of the decoded image. Therefore, the offset addition process cannot remove the distortion of the decoded image, and the coding efficiency is reduced. May decrease. Therefore, it is preferable to set an optimum offset value range so that the encoding efficiency does not decrease.
  • the offset attribute setting unit 613 sets the offset bit depth and the offset shift value by any of the patterns S1 to S6, and sets the offset value range by any of the patterns C1 to C3.
  • the offset bit depth SAO_DEPTH is set equal to the pixel bit depth PIC_DEPTH. Since the maximum value of the offset accuracy is the pixel bit depth, the pattern S1 encodes the offset with the maximum accuracy.
  • Pattern S2 In pattern S2, as shown in FIG. 9B, SAO_DEPTH is made equal to PIC_DEPTH when PIC_DEPTH is 10 bits or less, and SAO_DEPTH is set to 10 when PIC_DEPTH is 11 bits or more.
  • the upper limit of the offset bit depth is 10 bits. According to the knowledge of the inventor, when the value of the quantization step QP of the decoded image is small (when the bit rate is high), the bit depth of the offset is reduced when the bit depth of the offset is the same as the pixel bit depth.
  • the coding efficiency is high, and conversely, when the value of the quantization step QP is large, the encoding bit efficiency is smaller when the offset bit depth is smaller than the pixel bit depth than when the pixel bit depth is the same. Becomes higher.
  • the offset bit depth is determined as in the pattern S2, so that the offset bit depth is 8 bits when the pixel bit depth is 9 bits or less.
  • the coding efficiency is improved when the pixel bit depth is 10 bits or more compared to the case where the offset bit depth is 9 bits.
  • the code amount of the offset is changed compared to the case where the bit depth of the offset is equal to the pixel bit depth as in the pattern S1. It can be made small, and high encoding efficiency can be obtained.
  • Pattern S3 In pattern S3, as shown in FIG. 9C, SAO_DEPTH is equal to PIC_DEPTH when PIC_DEPTH is 9 bits or less, and SAO_DEPTH is 9 when PIC_DEPTH is 10 bits or more.
  • the upper limit of the offset bit depth is 9 bits. Also in the pattern S3, similarly to the pattern S2, the offset code amount can be reduced, and high coding efficiency can be obtained.
  • the shift value is represented by a difference value PIC_DEPTH-SAO_DEPTH between PIC_DEPTH and SAO_DEPTH. Since the offset bit depth and the shift value in the patterns S1 to S4 are set without increasing the memory size and the processing amount, the coding efficiency can be improved.
  • the bit depth of the offset is explicitly encoded. Specifically, the difference between the bit depth of the offset and a predetermined value is encoded.
  • the predetermined value is 8 or an appropriate pixel bit depth.
  • SAO_DEPTH-8 is encoded, and in the latter case, PIC_DEPTH-SAO_DEPTH is appropriate.
  • the bit depth of the offset may be encoded as various parameter information or header of encoded data or as a part of QAOU information.
  • the pixel bit depth may be included in the leaf QAOU, or the pixel bit depth may be added to the QAOU information of a predetermined hierarchy (for example, QAOU in the highest hierarchy or QAOU in the first hierarchy). May be included.
  • a predetermined hierarchy for example, QAOU in the highest hierarchy or QAOU in the first hierarchy.
  • the required memory size is reduced by reducing the bit depth when sao_curr_depth is large and increasing the bit depth when sao_curr_depth is small Is possible.
  • sao_curr_depth 0 to 1
  • it is appropriate to set an offset bit depth pixel bit depth (pattern S1)
  • sao_curr_depth 2 to 4
  • an upper limit is set to the offset bit depth (pattern S2).
  • the bit width is encoded in this way. Whether to encode an offset bit width for each QAOU depth or a flag indicating whether to use one offset bit width regardless of the QAOU depth, and whether to encode for each QAOU depth It is also appropriate to switch between.
  • an offset value range is set according to SAO_DEPTH.
  • the maximum bit length representing the value in the offset range is CLIP_BIT.
  • the fact that one offset can be stored in 4 bits means that one offset can be packed and stored in 1 byte by software that handles 8-bit bytes as a unit, and the memory size can be reduced easily. is there.
  • CLIP_BIT N may be set using a constant N that does not depend on SAO_DEPTH.
  • N may be set using a constant N that does not depend on SAO_DEPTH.
  • the offset value range is determined according to the QAOU hierarchy.
  • sao_curr_depth is small (for example, 0 to 1)
  • the offset value range is determined regardless of the offset bit depth
  • sao_curr_depth is large (for example, 2 to 4)
  • CLIP_BIT 8 (pattern C2)
  • SAO_DEPTH-K bit pattern C1
  • the memory size required for the offset information storage unit 621 can be reduced to approximately 3/5 compared to the conventional example.
  • the code amount of the offset included in the encoded data # 1 can be reduced, the encoding efficiency can be improved. Moreover, since an excessive offset is suppressed, an appropriate image quality is ensured.
  • the memory size required for the offset information storage unit 621 can be reduced to about 4/5 compared to the conventional example.
  • the amount of offset code included in the encoded data # 1 can be reduced, the encoding efficiency can be improved. Moreover, since an excessive offset is suppressed, an appropriate image quality is ensured.
  • the code amount of the residual data (pixel value of the residual image) included in the encoded data becomes large.
  • the shift value is set by pattern S2
  • the offset value range of edge offset is set by pattern C2
  • the offset value range of band offset is set by pattern C1. The method to perform is demonstrated.
  • the offset bit depth is set to 10 bits in the pattern S2.
  • An offset belonging to the offset type of edge offset (hereinafter referred to as edge offset offset) is set to a value range of 8 bits from the pattern C2.
  • the offset belonging to the band offset offset type (hereinafter referred to as the band offset offset) is set to a value range of 6 bits from the pattern C1. More generally, when the number of edge offset offset bits is N and the band offset offset number is M bits, the offset bit number is determined so that N ⁇ M is satisfied.
  • the memory size that needs to be secured in the offset information storage unit 621 is the number of offset type classes ⁇ the number of offset bits in units of QAOUs. Therefore, the number of bits of the band offset in which the offset class number is larger than the edge offset should be reduced. For example, the memory area in which the offset is used in the offset information storage unit 621 can be used effectively.
  • the threshold th for limiting the value that can be taken by the offset is greater than 2 m ⁇ 1 and 2 m or less
  • m-bit fixed length encoding / A decoding scheme can be used as an encoding method for encoding the offset.
  • variable length encoding / decoding schemes such as Truncated unary encoding with the maximum value and th and Truncated Rice encoding can be used.
  • the maximum value th is determined by the offset value range supplied from the offset attribute setting unit 613.
  • the moving image decoding apparatus 1 can decode the offset encoded in this way.
  • the offset attribute setting unit 613 sets the offset bit depth, offset value range, and shift value.
  • the adaptive offset filter information decoding unit 61 decodes the quantized offset having a value in the range of the offset value range, and stores the quantized offset in the offset information storage unit 621 having a storage area having a bit width equal to or greater than the offset value range for each offset.
  • the offset value range is determined according to the bit depth of the offset. Further, the bit depth of the offset is determined according to the bit depth of the pixel. Therefore, it is also a feature of this embodiment that the bit depth of the offset is determined according to the bit depth of the pixel.
  • the adaptive offset filter information decoding unit 61 in Embodiment 1 includes a storage unit that stores the decoded offset and an inverse quantization unit that performs inverse quantization on the offset obtained from the storage unit, and an offset derivation unit
  • the inverse quantization process in 625 may be omitted.
  • the storage unit stores the offset limited to the offset value range set by the offset attribute setting unit 613, and the inverse quantization unit shifts to the left according to the shift value set by the offset attribute setting unit 613. And performing an inverse quantization process.
  • the offset information decoding unit 611 decodes each offset referred to by the offset addition unit 626 that adds an offset to each pixel value of an input image composed of a plurality of unit regions from the encoded data # 1, and It can also be expressed as having an offset decoding means for setting an offset value range and a shift value determined according to the pixel bit depth that is not performed, and decoding an offset limited to the offset value range.
  • the adaptive offset filter 60 is an image filter device that adds an offset to each pixel value of an input image composed of a plurality of unit regions, and includes offset type designation information included in encoded data.
  • An offset attribute setting unit 613 that sets an offset attribute in a unit area to be processed, and an offset information decoding unit 611 that decodes an offset having a bit width corresponding to the offset value range included in the set offset attribute, It can also be expressed as an image filter device including an offset addition unit 626 that adds the offset to each pixel value of the input image.
  • the offset information decoding unit 611 determines, in addition to the offset decoding unit, a determination unit that determines an offset type to which a unit area to be processed belongs among a plurality of offset types, and an offset type determined by the determination unit.
  • a determination unit that determines an offset type to which a unit area to be processed belongs among a plurality of offset types, and an offset type determined by the determination unit.
  • an offset decoding unit that decodes offsets having different bit widths may be provided.
  • the offset type designation information includes the bit depth of the pixel value of the input image in each unit area, and the offset information decoding unit 611 decodes an offset having a bit width corresponding to the bit depth of the pixel value. It can be.
  • the class classification unit 624 preferably performs a classification process corresponding to the classification process in the moving picture encoding apparatus that generates the encoded data # 1 among the following classification processing examples.
  • the class classification unit 624 determines whether or not an edge exists in the vicinity of the pixel to be processed and if an edge exists. Determines the type of edge, and classifies the pixel to be processed into one of a plurality of classes according to the determination result.
  • the class classification unit 624 first determines the pixel value pic [x] of the processing target pixel x and the pixel values of two pixels a and b that are adjacent to the processing target pixel or share a vertex.
  • the sign of the difference from pic [a], pic [b] Sign (pic [x] -pic [a]), and Sign (pic [x] -pic [b]) Is calculated.
  • Sign (z) -1 (when z ⁇ 0) It is a function that takes each value of. Further, which pixel is used as the pixel a and the pixel b depends on the offset type and is determined as follows.
  • a pixel adjacent to the left side of the processing target pixel x is defined as a pixel a
  • a pixel adjacent to the right side of the processing target pixel is defined as a pixel b.
  • a pixel sharing the lower left vertex of the processing target pixel x is defined as a pixel a, and a pixel sharing the upper right vertex of the processing target pixel Is a pixel b.
  • FIG. 11A is a graph showing the magnitude relationship between the pixel value pic [x] of the pixel x to be processed and the pixel value of the pixel a or b, and the value of the function Sign corresponding to the magnitude relationship.
  • a black circle with pic [x] indicates a pixel value of the processing target pixel x
  • a black circle without pic [x] indicates the processing target pixel a.
  • the pixel value of b is shown.
  • the vertical direction in the graph shown in FIG. 11A indicates the magnitude of the pixel value.
  • the class classification unit 624 calculates EgdeType based on Sign (pic [x] ⁇ pic [a]) and Sign (pic [x] ⁇ pic [b]) according to the following formula (1-1). To derive.
  • FIG. 11B is a graph showing the magnitude relationship between the pixel value of the processing target pixel x and the pixel values of the pixels a and b, and a diagram showing the value of EgdeType corresponding to the magnitude relationship.
  • the black circle at the center of each graph indicates the pixel value of the processing target pixel x
  • the black circles at both ends indicate the pixel values of the pixels a and b.
  • the vertical direction in the graph shown in FIG. 11B indicates the magnitude of the pixel value.
  • the class classification unit 624 derives the class index (class_idx) of the class to which the processing target pixel x should belong based on the derived EgdeType as follows.
  • class_idx EoTbl [EdgeType]
  • EoTbl [EdgeType] is a conversion table used to derive class_idx from EdgeType.
  • a specific example of the conversion table EoTbl is shown in FIG.
  • FIG. 11C shows the correspondence between each graph shown in FIG. 11B and lass_idx.
  • the class classification unit 624 determines the pixel value of the processing target pixel according to the pixel value pic [x] of the processing target pixel x. Are classified into one of a plurality of classes.
  • the class classification unit 624 determines that the pixel value pic [x] of the processing target pixel x is (Max ⁇ 1/4) ⁇ pic [x] ⁇ (max ⁇ 3/4) Is satisfied, the processing target pixel is classified into a class other than class 0. That is, when the pixel value of the processing target pixel is within the hatched range in FIG. 12A, the processing target pixel is classified into a class other than class 0.
  • the class classification unit 624 determines that the pixel value pic [x] of the processing target pixel x is pic [x] ⁇ (max ⁇ 1/4) or (max ⁇ 3/4) ⁇ pic [x] Is satisfied, the processing target pixel is classified into a class other than class 0. That is, when the pixel value of the processing target pixel is within the hatched range in FIG. 12B, the processing target pixel is classified into a class other than class 0.
  • the class classification process by the class classification unit 624 will be described in more detail as follows.
  • the class classification unit 624 derives the class index (class_idx) of the class to which the processing target pixel x should belong as follows.
  • class_idx EoTbl [sao_type_idx] [pic [x] / 8]
  • EoTbl [sao_type_idx] [pic [x] / 8] is a conversion table used to derive class_idx from the pixel value pic [x] and sao_type_idx of the processing target pixel x.
  • the class classification unit 624 determines that the pixel value pic [x] of the processing target pixel x satisfies 8 ⁇ (pic [x] / 8) ⁇ 23. Depending on the size of pic [x], the processing target pixel x is classified into one of the class indexes 1 to 16.
  • the class classification unit 624 determines that the pixel value pic [x] of the processing target pixel x satisfies pic [x] / 8) ⁇ 7 or 24 ⁇ (pic [x] / 8). , The pixel x to be processed is classified into one of class indexes 1 to 16 according to the size of pic [x].
  • the class classification unit 624 derives the EggeType using the following formula (1-2) instead of the formula (1-1). Others are the same as the classification processing example 1.
  • EgdeType Sign ((pic [x] >> shift) ⁇ (pic [a] >> shift)) + Sign ((pic [x] >> shift) ⁇ (pic [b] >> shift)) + 2... (1-2)
  • “>>” represents a right bit shift
  • “shift” represents the magnitude of the bit shift.
  • a specific value of “shift” can be determined to have a positive correlation with the bit depth of the pixel value, for example.
  • the classification process according to the classification process example 1 even if the gradient of the pixel value is very small, if the gradient of the pixel value is not 0, the value of Sign is non-zero. Therefore, the classification process according to the classification process example 1 has an aspect that it is easily affected by noise.
  • EgdeType Sign ((pic [x] ⁇ pic [a]) >> shift) + Sign ((pic [x] ⁇ pic [b]) >> shift)) + 2 (1-3) That is, the right bit shift may be performed after taking the difference between the pixel values.
  • formula (1-3) also provides the same effect as using the formula (1-2).
  • the class classification unit 624 changes the definition of the function Sign described in the classification processing example 1 as follows. Others are the same as the classification processing example 1.
  • th is a threshold value having a predetermined value. The specific value of the threshold th can be determined so that the absolute value has a positive correlation with the bit depth of the pixel value, for example.
  • the value of EgdeType is less affected by noise, and high coding efficiency can be obtained.
  • the class classification unit 624 replaces the EoTbl [sao_type_idx] [pic [x] / 8] illustrated in FIG. 12C with the EoTbl [sao_type_idx] [pic [x] illustrated in FIG. / 8] is used.
  • the problem can arise. Further, such a problem is that the pixel value of the pre-offset filter image is either 8 or 9 for pic [x] / 8, or 22 or 23 for pic [x] / 8. It can be noticeable in some cases.
  • the class classification unit 624 that performs the classification process of the present processing example has the first and the offset types to which the unit region including the target pixel belongs when the pixel value of the target pixel is within a predetermined range.
  • the target pixel can be expressed as being classified into an offset class to which an offset is added.
  • the moving picture coding apparatus 2 that generates the coded data # 1 by coding the picture to be coded will be described with reference to FIGS. 14 to 18 (a) to (d).
  • the moving image encoding apparatus 2 includes H.264 as a part thereof. H.264 / MPEG-4.
  • a method adopted in AVC a method adopted in KTA software, which is a codec for joint development in VCEG (Video Coding Expert Group), and a method adopted in TMuC (Test Model under Consideration) software, which is the successor codec And the technology employed in HM (HEVC TestModel) software.
  • FIG. 14 is a block diagram showing a configuration of the moving picture coding apparatus 2 according to the present embodiment.
  • the moving image encoding device 2 includes a transform / quantization unit 21, a variable-length code encoding unit 22, an inverse quantization / inverse transform unit 23, a buffer memory 24, an intra-predicted image generation unit 25, The inter prediction image generation unit 26, motion vector detection unit 27, prediction method control unit 28, motion vector redundancy deletion unit 29, adder 31, subtractor 32, deblocking filter 33, adaptive filter 70, and adaptive offset filter 80 are provided. I have.
  • the moving image encoding device 2 is a device that generates encoded data # 1 by encoding moving image # 10 (encoding target image).
  • the transform / quantization unit 21 performs (1) DCT transform (Discrete Cosine Transform) on the prediction residual D obtained by subtracting the predicted image Pred from the encoding target image, and (2) DCT coefficients obtained by the DCT transform. (3) The quantized prediction residual QD obtained by the quantization is supplied to the variable-length code encoding unit 22 and the inverse quantization / inverse transform unit 23.
  • the transform / quantization unit 21 selects (1) a quantization step QP used for quantization for each tree block, and (2) a quantization parameter difference indicating the size of the selected quantization step QP. ⁇ qp is supplied to the variable length code encoding unit 22, and (3) the selected quantization step QP is supplied to the inverse quantization / inverse conversion unit 23.
  • DCT transform Discrete Cosine Transform
  • the variable length code encoding unit 22 includes (1) a quantized prediction residual QD and ⁇ qp supplied from the transform / quantization unit 21, and (2) a quantization parameter PP supplied from a prediction scheme control unit 28 described later, (3)
  • the encoded data # 1 is generated by variable-length encoding the filter set number, filter coefficient group, region designation information, and on / off information supplied from the adaptive filter 70 described later. Further, the variable length code encoding unit 22 encodes the QAOU information supplied from the adaptive offset filter 80 and includes it in the encoded data # 1.
  • the inverse quantization / inverse transform unit 23 (1) inversely quantizes the quantized prediction residual QD, (2) performs inverse DCT (Discrete Cosine Transform) transformation on the DCT coefficient obtained by the inverse quantization, and (3) The prediction residual D obtained by the inverse DCT transform is supplied to the adder 31.
  • the quantization step QP supplied from the transform / quantization unit 21 is used.
  • the prediction residual D output from the inverse quantization / inverse transform unit 23 is obtained by adding a quantization error to the prediction residual D input to the transform / quantization unit 21. Common names are used for this purpose.
  • the intra predicted image generation unit 25 generates a predicted image Pred_Intra related to each partition. Specifically, (1) a prediction mode used for intra prediction is selected for each partition, and (2) a prediction image Pred_Intra is generated from the decoded image P using the selected prediction mode. The intra predicted image generation unit 25 supplies the generated intra predicted image Pred_Intra to the prediction method control unit 28.
  • the intra-predicted image generation unit 25 identifies the prediction index PI for each partition from the size of each partition from the prediction mode selected for each partition, and supplies the prediction index PI to the prediction method control unit 28. .
  • the intra predicted image generation unit 25 supplies the adaptive filter 70 with intra coding mode information IEM that is information indicating the size of the target partition and the prediction mode assigned to the target partition.
  • IEM intra coding mode information
  • the motion vector detection unit 27 detects a motion vector mv related to each partition. Specifically, (1) the filtered decoded image P_FL ′ to be used as a reference image is selected, and (2) the target partition is searched by searching for the region that best approximates the target partition in the selected filtered decoded image P_FL ′. Detects a motion vector mv.
  • the filtered decoded image P_FL ′ is obtained by performing the deblocking process by the deblocking filter 33, the adaptive offset process by the adaptive offset filter 80, and the adaptive filter 70 on the decoded image that has already been decoded.
  • the motion vector detection unit 27 supplies the detected motion vector mv to the inter prediction image generation unit 26 and the motion vector redundancy deletion unit 29 together with the reference image index RI that specifies the filtered decoded image P_FL ′ used as the reference image.
  • the reference image index RI specifies the filtered decoded image P_FL ′ used as the reference image.
  • two filtered decoded images P_FL1 ′ and P_FL2 ′ are selected as reference images, and each of the two filtered decoded images P_FL1 ′ and P_FL2 ′ is selected.
  • Corresponding motion vectors mv1 and mv2 and reference image indexes RI1 and RI2 are supplied to the inter predicted image generation unit 26 and the motion vector redundancy deletion unit 29.
  • the inter prediction image generation unit 26 generates a motion compensation image mc related to each inter prediction partition. Specifically, using the motion vector mv supplied from the motion vector detection unit 27, the motion compensated image mc is obtained from the filtered decoded image P_FL ′ designated by the reference image index RI supplied from the motion vector detection unit 27. Generate. Similar to the motion vector detection unit 27, the inter predicted image generation unit 26 can read out the pixel value of each pixel constituting the filtered decoded image P_FL ′ from the buffer memory 24. The inter prediction image generation unit 26 supplies the generated motion compensated image mc (inter prediction image Pred_Inter) together with the reference image index RI supplied from the motion vector detection unit 27 to the prediction method control unit 28.
  • inter prediction image Pred_Inter inter prediction image Pred_Inter
  • the motion compensated image mc1 is generated from the filtered decoded image P_FL1 ′ specified by the reference image index RI1 using the motion vector mv1, and (2 )
  • a motion compensated image mc2 is generated from the filtered reference image P_FL2 ′ specified by the reference image index RI2 using the motion vector mv2, and (3) an offset value is added to the weighted average of the motion compensated image mc1 and the motion compensated image mc2. Is added to generate the inter predicted image Pred_Inter.
  • the prediction method control unit 28 compares the intra predicted image Pred_Intra and the inter predicted image Pred_Inter with the encoding target image, and selects whether to perform intra prediction or inter prediction.
  • the prediction scheme control unit 28 supplies the intra prediction image Pred_Intra as the prediction image Pred to the adder 31 and the subtracter 32 and also predicts the prediction index PI supplied from the intra prediction image generation unit 25.
  • the parameter PP is supplied to the variable length code encoder 22.
  • the prediction scheme control unit 28 supplies the inter prediction image Pred_Inter as the prediction image Pred to the adder 31 and the subtractor 32, and the reference image index supplied from the inter prediction image generation unit 26.
  • the RI and the estimated motion vector index PMVI and the motion vector residual MVD supplied from the motion vector redundancy deleting unit 29 (described later) are supplied to the variable length code encoding unit as the prediction parameters PP.
  • the prediction residual D is generated by the subtractor 32 by subtracting the prediction image Pred selected by the prediction method control unit 28 from the encoding target image.
  • the prediction residual D generated by the subtractor 32 is DCT transformed / quantized by the transform / quantization unit 21 as described above.
  • the adder 31 by adding the prediction image Pred selected by the prediction method control unit 28 to the prediction residual D generated by the inverse quantization / inverse transformation unit 23, the adder 31 generates a local decoded image P. Generated.
  • the local decoded image P generated by the adder 31 passes through the deblocking filter 33, the adaptive offset filter 80, and the adaptive filter 70, and is then stored in the buffer memory 24 as a filtered decoded image P_FL. Used as
  • the motion vector redundancy deleting unit 29 deletes the redundancy in the motion vector mv detected by the motion vector detecting unit 27. Specifically, (1) an estimation method used for estimating the motion vector mv is selected, (2) an estimated motion vector pmv is derived according to the selected estimation method, and (3) the estimated motion vector pmv is subtracted from the motion vector mv. As a result, a motion vector residual MVD is generated.
  • the motion vector redundancy deletion unit 29 supplies the generated motion vector residual MVD to the prediction method control unit 28 together with the estimated motion vector index PMVI indicating the selected estimation method.
  • the deblocking filter 33 determines whether the block boundary in the decoded image P or the block boundary in the decoded image P or the block boundary in the decoded image P or the block boundary in the decoded image P is smaller than a predetermined threshold value. By performing deblocking processing on the CU boundary, an image near the block boundary or the vicinity of the CU boundary is smoothed. The image subjected to the deblocking process by the deblocking filter 33 is output to the adaptive offset filter 80 as a deblocked decoded image P_DB.
  • the adaptive offset filter 80 generates an offset filtered decoded image P_OF by performing an adaptive offset filter process on the deblocked decoded image P_DB supplied from the deblocking filter 33.
  • the generated offset filtered decoded image P_OF is supplied to the adaptive filter 70. Since a specific configuration of the adaptive offset filter 80 will be described later, description thereof is omitted here.
  • the adaptive filter 70 generates a filtered decoded image P_FL by performing an adaptive filter process on the offset filtered decoded image P_OF supplied from the adaptive offset filter 80.
  • the filtered decoded image P_FL that has been filtered by the adaptive filter 70 is stored in the buffer memory 24.
  • the filter coefficient used by the adaptive filter 70 is determined so that the error between the filtered decoded image P_FL and the encoding target image # 10 becomes smaller, and the filter coefficient thus determined is the filter parameter. It is encoded as FP and transmitted to the video decoding device 1.
  • FIG. 15 is a block diagram showing a configuration of the adaptive offset filter 80.
  • the adaptive offset filter 80 includes an adaptive offset filter information setting unit 81 and an adaptive offset filter processing unit 82.
  • the adaptive offset filter information setting unit 81 includes an offset calculation unit 811, an offset shift unit 816, an offset clip unit 812, an offset information selection unit 813, and an offset attribute setting unit 815.
  • Offset calculation unit 811 calculates offsets for all offset types and all classes for all QAOMUs up to a predetermined division depth included in the target processing unit (for example, LCU).
  • the offset type and class are the same as those described in the description of the video decoding device 1.
  • FIG. 16 is a flowchart showing the flow of processing by the offset calculation unit 811.
  • Step S201 the offset calculation unit 811 starts a first loop using the QAOMU number of the target QAOMU to be processed as a loop variable.
  • Step S202 Subsequently, the offset calculation unit 811 starts a second loop using the offset type that can be selected for the target QAOMU as a loop variable.
  • the second loop is a loop from offset type 1 to offset type 6.
  • Step S203 Subsequently, the offset calculation unit 811 starts a third loop using the pixels included in the target QAOMU as a unit.
  • Step S204 the offset calculation unit 811 classifies the target pixel into one of a plurality of classes. More specifically, when the offset type that is the second loop variable is 1 to 4, the target pixel is classified into one of classes 1 to 4.
  • the classification processing in this step is the same processing as any one of classification processing examples 1 to 4 by the class classification unit 624 included in the adaptive offset filter 60 in the video decoding device 1.
  • part_idx [sao_type_index] [class_idx]
  • part_idx represents a QAOMU number.
  • the offset calculation unit 811 obtains the difference pixel value in the target pixel by taking the difference between the pixel value of the deblocked decoded image P_DB in the target pixel and the pixel value of the encoding target image # 10 in the target pixel. calculate. More specifically, P_DB (x, y) ⁇ Org (x, y) is calculated when the position of the target pixel is (x, y).
  • P_DB (x, y) represents the pixel value of the deblocked decoded image P_DB in the target pixel
  • Org (x, y) represents the pixel value of the encoding target image # 10 in the target pixel. ing.
  • Step S206 This step is the end of the third loop. When this step is completed, the difference pixel values are calculated for all the pixels included in the target QAOMU.
  • the offset calculation unit 811 calculates an offset by dividing the sum of the difference pixel values for each pixel included in the target QAOMU for each class by the number of classifications of the class. More specifically, the offset calculation unit 811 calculates an offset offset [part_idx] [sao_type_idx] [class_idx] for the target QAOMU, the target offset type, and the target class using the following expression.
  • Step S208 This step is the end of the second loop.
  • Step S209 This step is the end of the third loop.
  • the number of bits of each offset is, for example, 10 bits.
  • the offset calculation unit 811 supplies the offset information including the offset, the offset type, the class, and QAOU structure information representing the QAOU division structure calculated by the above processing to the offset shift unit 816.
  • the moving image encoding device 2 is configured to encode a flag indicating which classification processing example according to which classification processing example has been performed in step S204, and the adaptive offset filter 60 included in the moving image decoding device 1 includes: It is possible to refer to the flag and perform the same classification process as the classification process indicated by the flag. Moreover, it is good also as a structure which performs the same classification
  • Offset shift unit 816 quantizes each offset included in the offset information supplied from the offset calculation unit 811. Quantization shifts the offset from the pixel bit depth accuracy to the offset bit depth accuracy by bit shifting the offset to the right. The shift amount in the shift process is determined by a shift value supplied by an offset attribute setting unit 815 described later.
  • Offset clip part 812 The offset clip unit 812 performs the following clip processing 1 and clip processing 2 on the offset supplied from the offset shift unit 816 in order to limit the offset value range supplied from the offset attribute setting unit 815 described later.
  • the clip is processed by any one of the processes.
  • the offset clip unit 812 performs clip processing on each offset included in the offset information supplied from the offset shift unit 816.
  • the offset clip unit 812 represents each offset with 4 bits by clipping each offset supplied from the offset shift unit 816 to a value from ⁇ 8 to 7, for example.
  • Each clipped offset is supplied to the offset information selection unit 813.
  • the bit width to be clipped is set according to the bit depth of the image and the bit depth of the offset, as in the video decoding device 1.
  • each offset the memory size of a memory (not shown) in which each offset is stored can be reduced. Moreover, since the amount of offset codes included in the encoded data # 1 can be reduced, the encoding efficiency can be improved. Moreover, since an excessive offset is suppressed, an appropriate image quality is ensured.
  • the offset clip unit 812 may be configured to set different values for the clip range of each offset supplied from the offset shift unit 816 depending on the offset type.
  • the number of offset bits is 8 bits
  • the number of offset bits is 4 bits. More generally, when the offset bit number is N bits when the offset type is an edge offset and the offset bit number is M bits when the offset type is a band offset, N> M is satisfied. Determines the number of offset bits.
  • m-bit fixed-length encoding is used as an encoding method for encoding the offset.
  • the maximum value th is determined by the offset value range supplied from the offset attribute setting unit 815.
  • clip processing obtained by combining the above clip processing 1 and 2 is also included in the present embodiment.
  • the adaptive offset filter 80 may be configured not to include the offset clip unit 812.
  • Offset information selection unit 813 The offset information selection unit 813 determines an offset type, a class, a combination of offsets, and a corresponding QAOU partition structure with a smaller RD cost (Rate-Distorsion cost), and determines the determined offset type, class, offset, and QAOU information indicating the corresponding QAOM division structure is supplied to the variable-length code encoding unit 22. Further, the offset information selection unit 813 supplies the determined offset to the adaptive offset filter processing unit 82 for each QAOU or each QAOMU.
  • RD cost Rent-Distorsion cost
  • FIG. 17 is a flowchart showing the flow of processing by the offset information selection unit 813.
  • Step S301 First, the offset information selection unit 813 starts a first loop using the QAOMU number of the target QAOMU to be processed as a loop variable.
  • Step S302 the offset information selection unit 813 starts a second loop in which an offset type that can be selected for the target QAOMU is a loop variable.
  • the second loop is a loop from offset type 1 to offset type 6.
  • the offset information selection unit 813 calculates the square error between the offset filtered decoded image P_OF and the encoding target image # 10 in the target QAOMU for the target offset type.
  • Step S304 This step is the end of the second loop.
  • Step S305 This step is the end of the first loop. At the end of the first and second loops, the square error for all offset types is calculated for each QAOMU.
  • the offset information selection unit 813 determines a QAOU partition structure in which the RD cost is smaller among the QAOU partition structures that divide a target processing unit (for example, LCU) into QAOUs.
  • the offset information selection unit 813 calculates the RD cost when the division depth is 0 and the RD cost when the division depth is 1 (FIG. 18A). In FIG. 18A, it is assumed that the RD cost at the division depth 1 is smaller than the RD cost at the division depth 0 (FIG. 18B).
  • the offset information selection unit 813 calculates the RD cost when the division depth is set to 2 (FIG. 18 (c)).
  • the offset information selection unit 813 compares the RD cost of the QAOMU with the division depth 1 with the RD cost of the QAOMU with the division depth 2 included in the QAOMU with the division depth 1, and determines the RD cost of the QAOMU with the division depth 2 If it is smaller, the QAOMU having the division depth 1 is updated to the QAOMU having the division depth 2 (FIG. 18D). This process is repeated until the maximum division depth is reached. As a result, a QAOU partition structure with a smaller RD cost is determined.
  • Offset attribute setting unit 815 receives the pixel bit depth (not shown) and determines the offset bit depth. An offset range and a shift value are set according to the determined bit depth of the offset.
  • the offset value range is supplied to the adaptive offset filter processing unit 82, and the shift value is supplied to the offset shift unit 816. Since the setting of the offset value range and the shift value is the same as that of the offset attribute setting unit 613 described above, description thereof is omitted here.
  • the adaptive offset filter processing unit 82 adds the offset supplied from the offset information selection unit 813 to each pixel of the deblocked decoded image P_DB in the target QAOU.
  • the adaptive offset filter processing unit 82 outputs an image obtained by performing processing on all the QAOUs included in the deblocked decoded image P_DB as an offset filtered decoded image P_OF.
  • the configuration of the adaptive offset filter processing unit 82 is the same as that of the adaptive offset filter processing unit 62, and thus the description thereof is omitted here.
  • Each offset stored in the offset information storage unit included in the adaptive offset filter processing unit 82 not shown here is limited to the offset value range set by the offset attribute setting unit 815.
  • Embodiment 2 In Embodiment 1, sao_offset [sao_curr_depth] [ys] [xs] [i] included in the encoded data # 1 is an offset added to each pixel included in the target QAOU in the offset filter processing by the adaptive offset filter It is assumed that the syntax represents a specific value of.
  • the inventor predictively encodes the offset value used for the offset filter process, that is, encodes the offset residual calculated using the offset value and the predicted value of the offset value.
  • the present inventors have found that the code amount of encoded data can be further reduced.
  • FIGS a moving picture decoding apparatus that performs prediction encoding offset and performs an offset filter process
  • a moving picture encoding apparatus that predictively encodes an offset used for the offset filter process are shown in FIGS.
  • the description will be given with reference. Note that description of portions already described in Embodiment 1 is omitted.
  • Encoded data The encoded data according to the present embodiment is replaced with the offset residual sao_offset_residual [sao_curr_depth] [sao_offset [sao_curr_depth] [ys] [xs] [i] included in the encoded data # 1 according to the first embodiment. Contains ys] [xs] [i].
  • Other configurations of the encoded data according to the present embodiment are the same as the configurations of encoded data # 1 according to the first embodiment.
  • the encoded data according to the present embodiment may be referred to as encoded data # 3.
  • the offset residual sao_offset_residual [sao_curr_depth] [ys] [xs] [i] is the offset value added to each pixel included in the target QAOU in the offset filter processing by the adaptive offset filter according to the present embodiment, and the offset Is a weighted difference value between the predicted value and the sao_offset_residual [sao_type_idx] [class_idx].
  • a is a weighting factor multiplied by the predicted value pred_offset
  • merge_tbl is a function having sao_type_idx as an argument. Since specific examples of a and merge_tbl will be described later, description thereof is omitted here.
  • the moving picture decoding apparatus includes an adaptive offset filter 60 ′ instead of the adaptive offset filter 60 included in the moving picture decoding apparatus 1 according to the first embodiment.
  • Other configurations of the video decoding device according to the present embodiment are the same as those of the video decoding device 1 according to the first embodiment.
  • FIG. 19 is a block diagram showing a configuration of the adaptive offset filter 60 'according to the present embodiment. As illustrated in FIG. 19, the adaptive offset filter 60 ′ includes an offset information decoding unit 611 ′ instead of the offset information decoding unit 611 included in the adaptive offset filter 60.
  • Offset information decoding unit 611 ′ refers to the QAOU information included in the encoded data # 3 and decodes the offset information OI included in the QAOU information.
  • pred_offset [merge_tbl [sao_type_idx]] [class_idx] is a predicted value of Offset [sao_type_idx] [class_idx].
  • pred_offset [merge_tbl [sao_type_idx]] [class_idx]
  • pred_offset [merge_tbl [sao_type_idx]] [class_idx] Offset '[sao_type_idx] [class_idx] Determined by.
  • Offset '[sao_type_idx] [class_idx] is a decoded offset and represents an offset associated with the offset type index sao_type_idx and the class index class_idx.
  • Offset As a predicted value of Offset [sao_type_idx] [class_idx], the offset offset that has been decoded and is associated with the offset type index sao_type_idx and the class index class_idx Offset '[sao_type_idx] [class_idx] ] Is used.
  • pred_offset [merge_tbl [sao_type_idx]] [class_idx]
  • pred_offset [merge_tbl [sao_type_idx]] [class_idx] * W1 + Offset '[sao_type_idx] [class_idx] * W2) >> log 2 (W1 + W2) Determined by.
  • pred_offset '[merge_tbl [sao_type_idx]] [class_idx] represents a predicted value used when calculating the decoded offset Offset' [sao_type_idx] [class_idx].
  • “*” represents an operation symbol that takes a product
  • “>>” represents a right bit shift.
  • pred_offset in order to obtain pred_offset, reference is made to pred_offset 'and Offset', and in order to obtain pred_offset ', reference is made to pred_offset' 'and Offset' '. . . Since the decoded prediction value and offset are recursively referred to as described above, a plurality of decoded offsets contribute to pred_offset. Therefore, excessive fluctuations in the predicted value are suppressed. Thereby, for example, even when an inappropriate prediction value is calculated due to the influence of noise, the influence of such an inappropriate prediction value can be suppressed, so that the encoding efficiency can be improved. I can do it.
  • pred_offset [merge_tbl [sao_type_idx]] [class_idx]
  • pred_offset [merge_tbl [sao_type_idx]] [class_idx] clip3 (-th, th, pred_offset [merge_tbl [sao_type_idx]] [class_idx]) Determined by.
  • clip3 (A, B, C) indicates that the value C is clipped by the lower limit value A and the upper limit value B.
  • pred_offset [merge_tbl [sao_type_idx]] of the clip3 argument is assumed to be determined as in the above specific example 1 or 2, for example.
  • the threshold th is determined as follows depending on the bit depth bit_depth of the pixel value, for example.
  • FIG. 20A is a table showing a first specific example of the function merge_tbl [sao_type_idx].
  • the offset information decoding unit 611 ′ determines the prediction value pred_offset individually for each sao_type_idx and each class_idx, and thus reduces the code amount of the offset residual sao_offset_residual can do.
  • FIG. 20B is a table showing a second specific example of the function merge_tbl [sao_type_idx].
  • the offset information decoding unit 611 By using merge_tbl [sao_type_idx] according to the present example, the offset information decoding unit 611 'performs the following processing for each of the case where the edge offset is designated and the case where the band offset is designated.
  • a predicted value of the decoding target offset is calculated from a decoded offset of the same class as the class associated with the decoding target offset.
  • the offset types may be different. Therefore, since the prediction value set for calculating an offset of a certain offset type can be used for calculating an offset of an offset type different from the certain offset, processing for setting the prediction value is reduced. Is done.
  • a predicted value of the decoding target offset is calculated from an offset type and class offset that are the same as the offset type and class associated with the decoding target offset.
  • weighting factor a multiplied by the prediction value pred_offset 1 may be used regardless of the offset type, or a different value may be used depending on the offset type.
  • a 1 (when edge offset)
  • a 0.5 (when band offset) It is good.
  • the coefficient a when the edge offset is designated is represented as a (edge)
  • the coefficient a when the band offset is designated is represented as a (band).
  • a (edge)> a (band) What satisfies the above may be used.
  • the moving picture coding apparatus includes an adaptive offset filter 80 ′ instead of the adaptive offset filter 80 provided in the moving picture coding apparatus 2 according to the first embodiment.
  • Other configurations of the video encoding apparatus according to the present embodiment are the same as those of the video encoding apparatus 2 according to Embodiment 1.
  • FIG. 21 is a block diagram showing a configuration of the adaptive offset filter 80 'according to the present embodiment.
  • the adaptive offset filter 80 ′ includes an offset residual deriving unit 814 in addition to the units included in the adaptive offset filter 60.
  • Offset residual deriving unit 814 calculates the offset residual by taking the difference between the offset supplied from the offset information selecting unit 813 and the predicted value of the offset.
  • the offset residual is encoded by the variable length code encoding unit 22 as a part of the QAOU information.
  • the prediction value set by the offset residual deriving unit 814 is the same as the prediction value set by the offset information decoding unit 611 ′ included in the video decoding device according to the present embodiment, description thereof is omitted here. .
  • An image filter device is an image filter device that adds an offset to each pixel value of an input image composed of a plurality of unit regions, and performs processing with reference to offset type designation information included in encoded data.
  • Offset attribute setting means for setting an offset attribute in the target unit area
  • offset decoding means for decoding an offset having a bit width corresponding to the offset value area included in the set offset attribute, and each pixel value of the input image
  • a filter means for adding the offset.
  • the offset attribute setting means refers to the offset type designation information included in the encoded data, sets the offset attribute in the unit area to be processed, and is set Since the offset having the bit width corresponding to the offset value range included in the offset attribute is decoded by the offset decoding means, the memory size for storing the offset can be effectively reduced.
  • the offset type designation information may be determined for each input image, or may be determined for each unit area. Further, it may be determined for each predetermined set of input images, or may be determined for each predetermined set of unit areas.
  • the offset type designation information includes a bit depth of the pixel value of the input image in each unit area, and the offset decoding means decodes an offset having a bit width corresponding to the bit depth of the pixel value. preferable.
  • the offset decoding unit decodes an offset having a bit width corresponding to the bit depth of the pixel value, so that the memory size for storing the offset can be effectively reduced. it can.
  • the offset type designation information includes the bit depth of the pixel value of the input image in each unit area, and the offset decoding means decodes an offset having a bit width that can represent a range corresponding to the bit depth. It is good also as a structure.
  • the offset decoding unit decodes an offset having a bit width that can represent a range corresponding to the bit depth of the pixel value of the input image in each unit region, the offset is stored in advance. Therefore, the memory size can be effectively reduced.
  • the bit width that can represent a range corresponding to the bit depth refers to a bit width when a value included in the range is represented in binary, for example, a range of ⁇ 2 3 to 2 3 ⁇ 1. Sometimes the representable bit width is 4 bits.
  • the decoded offset is a quantized value
  • the filter means preferably adds a value obtained by dequantizing the offset using a parameter included in the offset attribute to each pixel value.
  • the decoded offset is a quantized value
  • the filter means converts a value obtained by dequantizing the offset using a parameter included in the offset attribute to each pixel value. Since the addition is performed, an offset corresponding to the parameter included in the offset attribute is added to each image value.
  • the offset type designation information may include a shift value of a pixel value, and the filter unit may add a value obtained by dequantizing the offset using the shift value instead of the offset.
  • the offset type designation information includes a shift value of a pixel value
  • the filter means adds a value obtained by dequantizing the offset using the shift value instead of the offset. Therefore, an offset corresponding to the shift value of the pixel value can be obtained. Therefore, it is possible to improve the encoding efficiency while reducing the memory size for storing the offset.
  • the shift value of the pixel value refers to a difference value between the pixel bit depth and the bit depth of the offset.
  • the shift value is used to dequantize the offset, the offset is shifted to the left by the shift value. It refers to converting from offset bit depth to pixel bit depth by performing a bit shift.
  • the offset type designation information is preferably determined for the input image.
  • the image filter device since the offset type designation information is determined for the input image, the image filter device can perform an appropriate offset process on the input image.
  • An offset decoding apparatus is an offset decoding apparatus that decodes each offset referred to by an image filter that adds an offset to each pixel value of an input image, and each offset residual is calculated from encoded data.
  • Offset residual decoding means for decoding prediction value deriving means for deriving predicted values of each offset from decoded offsets, predicted values derived by the predicted value deriving means for each offset, and the offset residual Offset calculating means for calculating from the offset residual decoded by the decoding means.
  • an offset residual decoding unit that decodes each offset residual from encoded data, and a prediction value derivation that derives a prediction value of each offset from the decoded offset Means and offset calculation means for calculating each offset from the prediction value derived by the prediction value deriving means and the offset residual decoded by the offset residual decoding means.
  • offset can be appropriately decoded from encoded data with a small code amount.
  • the input image includes a plurality of unit regions, and the offset residual decoding unit decodes each offset residual in association with an offset type determined for each unit region and an offset class determined for each pixel.
  • the predicted value deriving unit derives a predicted value of each offset from a decoded offset associated with the same offset type and offset class as the offset.
  • the prediction value of each offset is derived from the decoded offset associated with the same offset type and offset class as the offset, so that the prediction accuracy is improved. Therefore, according to the above configuration, the offset can be appropriately decoded from the encoded data with a small code amount.
  • the input image includes a plurality of unit regions, and the offset residual decoding unit decodes each offset residual in association with an offset type determined for each unit region and an offset class determined for each pixel.
  • the predicted value deriving means uses the same first offset type group and the same as the offset value when the offset type associated with the offset belongs to the first offset type group.
  • the offset type associated with the offset class belongs to the second offset type group and is associated with the same offset type and offset class as the offset type. It is preferable to derive from the decoded offset.
  • the predicted value of each offset is the decoded value associated with the same offset type as the offset.
  • the prediction accuracy can be improved while reducing the processing amount. Therefore, according to the above configuration, it is possible to appropriately decode the offset from the encoded data with a small code amount while reducing the processing amount.
  • the first offset type is, for example, any pixel in the unit area associated with the first offset type, for example, any of a plurality of classes in the vicinity of the pixel depending on the edge mode.
  • the second offset type means that each pixel in the unit area associated with the second offset type is one of a plurality of classes according to the pixel value of the pixel, for example. It refers to those that are classified as crab.
  • the offset calculating means calculates each offset as a linear function of the prediction value derived by the prediction value deriving means and the offset residual decoded by the offset residual decoding means, and the prediction When the offset type associated with the offset belongs to the first offset type group, and the offset type associated with the offset belongs to the second offset type group. It is preferable that they are different.
  • the coefficient to be multiplied by the predicted value includes a case where the offset type associated with the offset belongs to the first offset type group and a case where the offset type associated with the offset is the second. Since it differs depending on the case of belonging to the offset type group, the offset can be calculated using a more appropriate coefficient according to the offset type. Thereby, the encoding efficiency can be improved.
  • the predicted value deriving unit derives the predicted value of each offset by taking a weighted average of the decoded offset and the predicted value of the decoded offset.
  • the predicted value of each offset is derived by taking a weighted average of the decoded offset and the predicted value of the decoded offset, the predicted value of each offset includes Multiple offsets will contribute. Therefore, excessive fluctuations in the predicted value are suppressed. Thereby, for example, even when a prediction value that is not appropriate due to the influence of noise is calculated, the influence of such a prediction value that is not appropriate can be suppressed, so that the encoding efficiency can be improved.
  • the prediction value deriving unit includes a clipping unit that clips the derived prediction values with an upper limit value and a lower limit value corresponding to the bit depth of each pixel value in the input image.
  • the derived prediction values are clipped with the upper limit value and the lower limit value according to the bit depth of each pixel value in the input image, so that a prediction value that is too large or too small does not occur.
  • the encoding efficiency can be improved.
  • the image filter device is an image filter device that acts on an input image, and calculates a difference value between a pixel value of a target pixel in the input image and pixel values of pixels around the target pixel.
  • Means, a pixel value referred to by the calculation means, or a bit shift means for right bit shifting the difference value calculated by the calculation means by a predetermined shift value, and a difference right-bit shifted by the bit shift means Classifying means for classifying the target pixel into one of a plurality of offset classes according to the magnitude relationship between the value and 0, and associating the pixel value of the target pixel with the offset class classified by the classification means And an offset unit for adding the offsets.
  • the target pixel is classified into one of a plurality of offset classes according to the magnitude relationship between the difference value shifted to the right bit and 0, and the target pixel Since the offset associated with the offset class classified by the classification means is added to the pixel value, the class classification process is less susceptible to noise and the coding efficiency is improved.
  • the predetermined shift value has a positive correlation with the bit depth of the pixel value of the target pixel.
  • the encoding efficiency can be improved more effectively.
  • the image filter device is an image filter device that acts on an input image, and calculates a difference value between a pixel value of a target pixel in the input image and pixel values of pixels around the target pixel.
  • the image filter device configured as described above is configured to assign the target pixel to a plurality of offset classes according to a magnitude relationship between the difference value calculated by the calculation unit and a predetermined first and second threshold value. Since the offset associated with the offset class classified by the classification means is added to the pixel value of the target pixel, the class classification process becomes less susceptible to noise and is encoded. Efficiency is improved.
  • the absolute values of the first and second threshold values have a positive correlation with the bit depth of the pixel value of the target pixel.
  • the encoding efficiency can be improved more effectively. You can plan.
  • the image filter device is an image filter device that operates on an input image composed of a plurality of unit regions, and includes an object that includes a target pixel in the input image among the first and second offset types.
  • a determination unit that determines an offset type to which the unit area belongs, an offset type to which the target unit area belongs, and an offset class to which the offset is not added and an offset are added to the target pixel according to the pixel value of the target pixel.
  • Classification means for classifying into one of a plurality of offset classes, and an offset associated with the offset type to which the target unit region belongs and the offset class classified by the classification means are added to the pixel value of the target pixel.
  • Offset means, and the classification means is an image of the target pixel. When the value is within a predetermined range, the offset is added to the target pixel regardless of whether the offset type to which the unit region including the target pixel belongs is the first offset type or the second offset type. It is characterized by being classified into an offset class.
  • the offset type to which the unit region including the target pixel belongs is the first and second offsets.
  • the target pixel is classified into an offset class to which an offset is added, so that block noise can be effectively removed. Therefore, according to the above configuration, the encoding efficiency can be improved.
  • An image filter device is an image filter device that adds an offset to each pixel value of an input image composed of a plurality of unit regions, and among the plurality of offset types, the unit region to be processed is A determination unit that determines an offset type to which the signal belongs; an offset encoding unit that determines an offset having a different bit width according to the offset type; and the determination for each pixel value of the input image. And a filter means for adding the offsets.
  • an offset type to which a unit area to be processed belongs is determined from among a plurality of offset types, and an offset having a different bit width is determined according to the determined offset type.
  • the determined offset is added to each pixel of the input image. Also, the determined offset is encoded.
  • the offset encoding apparatus is an offset encoding apparatus that encodes each offset referenced by an image filter that adds an offset to each pixel value of an input image, and the predicted value of each offset is A predicted value deriving unit derived from an encoded offset, an offset residual calculating unit for calculating an offset residual from each offset and a predicted value derived by the predicted value deriving unit, and the offset residual calculating unit And an offset residual encoding means for encoding the calculated offset residual.
  • a predicted value deriving unit that derives a predicted value of each offset from the encoded offset, and a predicted value derived by each offset and the predicted value deriving unit Offset residual calculating means for calculating the offset residual from the above and offset residual encoding means for encoding the offset residual calculated by the offset residual calculating means.
  • the amount can be reduced.
  • the data structure of the encoded data according to the present invention is a data structure of encoded data that is referred to by an image filter that adds an offset to each pixel value of an input image composed of a plurality of unit regions.
  • Offset type designation information for designating the offset type to which the unit area belongs, and offsets having different bit widths according to the offset type, and the image filter includes the offset type designation information included in the encoded data.
  • the offset type to which the unit region to be processed belongs is determined, and offsets having different bit widths are decoded according to the determined offset type.
  • the code amount of the encoded data is reduced.
  • the image filter that decodes the encoded data refers to the offset type designation information, determines the offset type to which the unit area to be processed belongs, and also has an offset having a different bit width depending on the determined offset type. Since decoding is performed, appropriate offset filter processing can be performed while reducing the memory size for storing the offset.
  • the offset type designation information may be determined for each input image, or may be determined for each unit area. Further, it may be determined for each predetermined set of input images, or may be determined for each predetermined set of unit areas.
  • FIG. 23A is a diagram illustrating the syntax of the offset information OI (denoted as “sao_offset_param ()” in FIG. 23A).
  • the offset information OI includes a parameter “sao_type_idx [sao_curr_depth] [ys] [xs]”.
  • the offset information OI includes the parameter “sao_offset [sao_curr_depth] [ys] [xs] [i]”.
  • FIG. 23B is a diagram showing the syntax of the QAOU information (indicated as “sao_split_param ()” in FIG. 23B). As shown in the syntax of FIG. 23B, if the division depth “sao_curr_depth” is smaller than the maximum value set by the predetermined “saoMaxDepth”, it is selected whether or not the QAOU is further divided by the parameter “sao_split_flag” Is done. When splitting, “sao_split_param ()” of the next hierarchical depth is recursively called.
  • FIG. 44 shows another example of the syntax of offset information and QAOU information.
  • FIG. 44 (a) shows the syntax of offset information.
  • the argument “sao_offset_param ()” and the subscripts of the arrays “sao_split_flag”, “sao_type_idx”, and “sao_offset” are values that represent color components.
  • component has been added. Thereby, different QAOU division can be performed for each color component such as luminance and color difference, and different offsets can be applied.
  • FIG. 44 (b) shows the syntax of QAOU information. Similar to FIG. 44 (a), this is a syntax in which a color component “component” is added as an argument to FIG. 23 (b).
  • FIG. 44 (c) shows the syntax of the entire adaptive offset filter that calls the syntaxes of FIGS. 44 (a) and 44 (b).
  • the value of “component” is 0 for luminance (Y), 1 for color difference (Cb), and 2 for color difference (Cr) to distinguish each color component. The value of component may be another value as long as the color component to be processed can be distinguished.
  • moving picture decoding apparatus 1 ′ Next, moving picture decoding apparatus 1 ′ according to the present embodiment will be described with reference to FIG. 22 and FIGS. Note that members having the same functions as those shown in the above embodiment are given the same reference numerals, and descriptions thereof are omitted.
  • the moving picture decoding apparatus 1 As with the moving picture decoding apparatus 1, the moving picture decoding apparatus 1 ' H.264 / MPEG-4.
  • a method used in AVC a method used in KTA software, which is a joint development codec in VCEG (Video Coding Expert Group), and a method used in TMuC (Test Model Under Consulation) software, which is the successor codec And the technology adopted in HM (HEVC Test Model) software.
  • the moving picture decoding apparatus 1 ′ is different in that an adaptive offset filter 60 ′ is provided instead of the adaptive offset filter 60 in the moving picture decoding apparatus 1, and other configurations are the same.
  • FIG. 22 is a block diagram showing a configuration of the adaptive offset filter 60 ′.
  • the adaptive offset filter 60 ′ includes an adaptive offset filter information decoding unit 61 ′ and an adaptive offset filter processing unit 62 ′.
  • the adaptive offset filter information decoding unit 61 ′ includes an offset information decoding unit 611 and a QAOU structure decoding unit 612.
  • the offset information decoding unit 611 refers to the QAOU information included in the encoded data # 1, and decodes the offset information OI included in the QAOU information. Also, each value of “sao_type_idx [sao_curr_depth] [ys] [xs] [component]” and “sao_offset [sao_curr_depth] [ys] [xs] [i]” obtained by decoding the offset information OI is respectively Are supplied to the offset information storage unit 621 in association with the arguments (sao_curr_depth, ys, xs) and (sao_curr_depth, ys, xs, i).
  • the offset information decoding unit 611 decodes the code from the encoded data # 1, converts the decoded code into a value of “sao_type_idx”, and supplies the value to the offset information storage unit 621 in association with the argument.
  • the offset information decoding unit 611 changes the code decoding method and the conversion from the code to the value of “sao_type_idx” according to the depth of the QAOU hierarchy to be processed. Conditions such as the depth of the QAOU hierarchy are called parameter conditions. Decoding of offset information according to general parameter conditions will be described later with reference to FIGS. 41 and 42.
  • the code decoding method may be performed using different maximum values when the depth of the QAOU hierarchy to be processed is smaller than the threshold and when the depth of the QAOU hierarchy to be processed is greater than or equal to the threshold.
  • the maximum value may be used only when the depth of the QAOU hierarchy to be processed is equal to or greater than a threshold value.
  • different binarization may be used when the depth of the QAOU hierarchy to be processed is smaller than the threshold and when the depth of the QAOU hierarchy to be processed is greater than or equal to the threshold.
  • different contexts may be used depending on whether the depth of the QAOU hierarchy to be processed is smaller than the threshold value and the depth of the QAOU hierarchy to be processed is greater than or equal to the threshold value.
  • the code when the depth of the QAOU layer to be processed is smaller than the threshold, the code is decoded by variable length coding (ue (v)), and when the depth of the QAOU layer to be processed is equal to or greater than the threshold
  • the code may be decoded by truncated coding (te (v)) according to the number of offset types. If the number of offset types is a power of 2, the code may be decoded by fixed length coding. If the number of offset types is four, it can be expressed in 2 bits, and can be fixed-length encoded in 2 bits.
  • the offset information decoding unit 611 performs conversion from the decoded code to the value of “sao_type_idx” using a conversion table 801 and a conversion table 802 as shown in FIG.
  • the conversion table 801 in FIG. 25A shows two conversion patterns. These two types of conversion patterns are properly used depending on the depth of the QAOU hierarchy to be processed. That is, the offset information decoding unit 611 uses the conversion table 801A when the depth of the QAOU hierarchy to be processed is smaller than the threshold value, and uses the conversion table when the depth of the QAOU hierarchy to be processed is equal to or greater than the threshold value. 801B is used.
  • the codes 4 to 6 are not used.
  • the conversion table 801A includes all the offset types used for the adaptive offset (SAO), whereas the conversion table 801B includes a part of the offset types used for the adaptive offset (SAO). Only type is included. Therefore, if the depth of the QAOU hierarchy to be processed is greater than or equal to the threshold value, only some offset types can be used.
  • 25B shows various examples of conversion tables similar to the conversion table 801B that can be used in place of the conversion table 801B. As with the conversion table 801B, the type of each conversion table is limited. A blank indicates that the corresponding code is not used.
  • the conversion table 802A is an example using only an edge offset and does not include a band offset.
  • the number of edge offsets is usually four, and the number of band offsets is usually sixteen.
  • the number of edge offsets is smaller than the number of band offsets. For this reason, by limiting the use of the band offset, the amount of memory used for holding the offset can be reduced.
  • the amount of memory increases because the offset increases.
  • the selectivity of the band offset decreases.
  • the conversion table 802A having only the edge offset when the hierarchy is deep and using the conversion table (for example, 801A) having the edge offset and the band offset when the hierarchy is shallow using the conversion table 802A as the parameter condition, The amount of memory can be reduced without reducing the efficiency. Further, since it is possible to omit the cost calculation of unnecessary options in the encoding device, the processing amount can be reduced.
  • the conversion table 802B is an example using only a band offset and does not include an edge offset.
  • the band offset is characterized in that the amount of calculation is smaller than that of the edge offset, and a line memory or the like for holding the reference pixel is unnecessary because the pixels around the target pixel are not used. Therefore, the above-described effects can be obtained by using the conversion table 802B according to the parameter conditions.
  • the conversion table 802D is an example using one edge offset and two band offsets as in the conversion table 801B.
  • the conversion table 802D is used when the hierarchy is shallow, and a frequently used type is associated with a short code. Thus, encoding efficiency can be improved.
  • an offset type different from any edge offset and band offset of the conversion table 801A can be used alone or in combination with other offset types depending on conditions such as hierarchical depth. Specific examples thereof include an offset type having both EO and BO characteristics, an edge offset that detects an edge at a horizontal sample position different from the conventional edge offset “EO_0”, A band offset by band allocation different from the band offsets “BO — 0” and “BO — 1” can be mentioned.
  • the QAOU structure decoding unit 612 determines the QAOU partition structure by decoding “sao_split_flag [sao_curr_depth] [ys] [xs]” included in the QAOU information, and indicates the determined QAOU partition structure.
  • the structure information is supplied to the offset information storage unit 621.
  • the offset attribute setting unit 613 determines an offset shift value.
  • the offset of the encoded data is encoded with an offset bit depth (also referred to as SAO_DEPTH) that is less accurate than the pixel bit depth (also referred to as PIC_DEPTH). That is, the offset in the encoded data is quantized.
  • the shift value indicates a bit shift amount necessary for performing inverse quantization.
  • the offset attribute setting unit 613 determines the offset bit depth and the offset value range.
  • the bit depth of the offset is determined from a pixel bit depth (also referred to as PIC_DEPTH) (not shown) input to the offset attribute setting unit 613.
  • the pixel bit depth indicates the range of pixel values constituting the input image of the adaptive offset filter 60 in terms of bit width. When the pixel bit depth is N bits, the pixel value ranges from 0 to 2N ⁇ 1. .
  • the SAO bit depth and shift value use the following equations, but other values may be used according to the parameter conditions, as will be described later.
  • the quantization offset value range is determined by the following equation.
  • the adaptive offset filter processing unit 62 ′ includes an offset information storage unit 621, a QAOU control unit 622, an offset type derivation unit 623, a class classification unit 624, an offset derivation unit 625, and an offset addition unit 626. It is the structure containing.
  • the offset information storage unit 621 is designated for each QAOU based on the QAOU structure information, “sao_type_idx [sao_curr_depth] [ys] [xs]”, and “sao_offset [sao_curr_depth] [ys] [xs] [i]”. It manages and stores an offset type and a specific value of an offset relating to each class selectable in the offset type, and has a map memory and a list memory.
  • FIG. 24 is a diagram showing examples stored in the map memory and the list memory
  • FIG. 24A is a diagram for explaining an example of the QAOU index stored in the map memory
  • FIG. FIG. 4 is a diagram for explaining an example of information stored in a list memory.
  • the map memory 601 stores a QAOU index, which will be described later, assigned to each offset minimum unit (also referred to as QAOMU: Quad-Adaptive-Offset-Minimum Unit) determined according to the division depth.
  • FIG. 24A shows each QAOMU having a division depth of 3 that constitutes a target processing unit (for example, LCU) and a QAOU index assigned to each QAOMU.
  • indexes 0 to 9 are simply assigned to QAOUs without considering the division depth of QAOUs.
  • the thin line in FIG. 24A indicates the QAOMU boundary, and the thick line indicates the QAOU boundary.
  • QAOU0 is composed of four QAOMUs, and 0 is assigned to these four QAOMUs as QAOU indexes.
  • QAOU3 is composed of one QAOMU, and 3 is assigned to this QAOMU as a QAOU index. In this way, the map memory stores the QAOU index assigned to each QAOMU.
  • the list memory 602 stores, for each QAOU index, an offset type associated with the QAOU index and a specific value of an offset for each class selectable in the offset type in association with each other. .
  • FIG. 24B shows an offset type associated with each of the QAOU indexes 0 to 9 and an offset for each class selectable in each offset type. “Xxx” in FIG. 24B represents specific numerical values that may be different from each other.
  • “sao_type_idx” 5,6.
  • the band offsets that are offset types are also referred to as “BO_1, 2”.
  • the offset stored in the list memory with respect to the offset type is a total of 16 offsets 1 to 16.
  • the offset 1 to the offset 16 are “sao_offset [sao_curr_depth] [ys] [xs] [1] when the value of“ sao_type_idx [sao_curr_depth] [ys] [xs] ”is“ 5 ”or“ 6 ”. ] ”To“ sao_offset [sao_curr_depth] [ys] [xs] [16] ”.
  • the offset stored in the list memory for the offset type is a total of four offsets 1 to 4.
  • the offsets 1 to 4 are “sao_type_idx [sao_curr_depth] [ys] [xs]” when the value is “1, 2, 3, 4” or “sao_offset [sao_curr_depth] [ys] [ys] [ xs] [1] ”to“ sao_offset [sao_curr_depth] [ys] [xs] [4] ”.
  • nothing is stored in the offsets 5 to 16.
  • Each QAOMU is assigned a QAOMU number, and the QAOMU numbers can be distinguished from each other by the QAOMU number.
  • a QAOMU whose QAOMU number is N Q will also be referred to as QAOMUN Q.
  • the accuracy of the offset may be varied depending on the QAOU hierarchy to be processed.
  • the shift value used for inverse quantization also differs.
  • the offset accuracy and shift value are derived using the pixel bit depth PIC_DEPTH.
  • SAO_DEPTH MIN (PIC_DEPTH, 8)
  • Shift value PIC_DEPTH-MIN (PIC_DEPTH, 8)
  • the offset accuracy can be made different.
  • the accuracy of the offset (offset bit depth, SAO_DEPTH) and the pixel bit depth (PIC_DEPTH) in which the range of pixel values constituting the input image is expressed in bit width are closely related to each other in terms of quantization error. There is a serious relationship. Since the bit depth of the output image of the adaptive offset filter 60 is the pixel bit depth PIC_DEPTH, and SAO_DEPTH is the bit depth of the offset added to the pixel, even if an offset with an accuracy exceeding the pixel bit depth is used, it is discarded in the output process. Therefore, it does not make sense to set SAO_DEPTH beyond PIC_DEPTH. On the other hand, when SAO_DEPTH is smaller than PIC_DEPTH, only the correction that is coarser than the accuracy (PIC_DEPTH) that can correct the input image by the filter can be performed, so that the filter effect is reduced.
  • the bit width for storing the offset quantized by the offset information storage unit 621 can be limited. Therefore, compared with the case where it does not restrict
  • the offset value range is excessively narrowed, the offset reduces the effect of correcting the distortion of the decoded image, and the distortion of the decoded image cannot be removed even by the offset addition process. It will decline.
  • the offset information storage unit 621 switches and secures the unit size of the offset storage area according to the depth of the QAOU hierarchy to be processed. Yes.
  • the offset information storage unit 621 determines that the depth of the processing target QAOU is greater than the threshold value.
  • An area for storing an offset when it is small is secured in n A bit units, and an area for storing an offset when the depth of the QAOU hierarchy to be processed is equal to or greater than a threshold is secured in n B bit units.
  • the offset information storage unit 621 switches the area of the list memory to be secured according to the required number of classes when the required number of classes changes according to the depth of the QAOU hierarchy to be processed. For example, as will be described later, the band offset is classified into 16 classes when the depth of the QAOU hierarchy to be processed is smaller than the threshold, and is classified into 8 classes when the depth of the QAOU hierarchy to be processed is equal to or greater than the threshold.
  • the memory capacity necessary for securing the class when the depth of the QAOU hierarchy to be processed is equal to or greater than the threshold is half that when the depth of the QAOU hierarchy to be processed is smaller than the threshold. Therefore, the offset information storage unit 621 switches the size of the list memory to be secured when the depth of the QAOU hierarchy to be processed is equal to or greater than the threshold to half that when the depth of the QAOU hierarchy to be processed is smaller than the threshold. .
  • the QAOU control unit 622 controls each unit included in the adaptive offset filter processing unit 62. Further, the QAOU control unit 622 refers to the QAOU structure information, divides the deblocked decoded image P_DB into one or a plurality of QAOUs, and scans each QAOU in a predetermined order. In addition, the QAOMU number representing the target QAOMU to be processed is supplied to the offset type deriving unit 623.
  • the offset type deriving unit 623 derives an offset type specified by the QAOMU number supplied from the QAOU control unit 622 with reference to the map memory and the list memory of the offset information storage unit 621. Further, the derived offset type is supplied to the class classification unit 624.
  • the class classification unit 624 classifies each pixel included in the target QAOU into any of a plurality of classes that can be selected in the offset type supplied from the offset type deriving unit 623.
  • the offset type and a class index indicating a class into which each pixel is classified are supplied to the offset deriving unit 625. The specific classification process performed by the class classification unit 624 will be described later, and will not be described here.
  • the offset deriving unit 625 refers to the list memory of the offset information storage unit 621 and derives an offset specified by the offset type and class index supplied from the class classification unit 624 for each pixel included in the target QAOU. Further, an offset reverse shift unit (not shown) that shifts the offset to the left by the shift value set by the offset attribute setting unit 613 is provided.
  • the offset inverse shift unit performs inverse quantization of the offset so that the bit depth of the offset matches the pixel bit depth. By performing such inverse quantization, it is possible to add the pixel value and the offset at the same bit depth in the adding process of the offset adding unit 626 described later. The offset obtained by inverse quantization for each pixel is supplied to the offset adding unit 626.
  • the offset adding unit 626 adds the offset supplied from the offset deriving unit 625 to each pixel of the deblocked decoded image P_DB in the target QAOU.
  • the offset addition unit 626 outputs an image obtained by performing processing on all the QAOUs included in the deblocked decoded image P_DB as an offset filtered decoded image P_OF.
  • FIG. 26 is a diagram for explaining the offset processing by the adaptive offset filter 60.
  • FIG. 26A shows the magnitude relationship between the pixel value pix [x] of the processing target pixel x and the pixel value of the pixel a or b.
  • B is a graph showing the magnitude relationship between the pixel value of the processing target pixel x and the pixel values of the pixels a and b, and the magnitude relationship thereof.
  • C shows the correspondence between each graph shown in (b) and class_idx, and (d) to (f) show conversion tables representing conversion from EgdeType to class_idx. Is shown.
  • FIG. 27 is a diagram for explaining offset processing by the adaptive offset filter 60.
  • FIG. 6 schematically shows the class classification when the number is 6.
  • FIG. 28 is a diagram for explaining the offset processing by the adaptive offset filter 60.
  • FIG. 28A schematically shows the class classification when the depth of the QAOU hierarchy to be processed is smaller than the threshold
  • FIG. ) Schematically shows the class classification when the depth of the QAOU hierarchy to be processed is greater than or equal to a threshold value.
  • FIG. 29 is a diagram illustrating an example of class classification when a band offset is specified.
  • FIG. 29A illustrates an example of class classification when the depth of the QAOU hierarchy to be processed is smaller than a threshold.
  • b) shows an example of class classification when the depth of the QAOU to be processed is greater than or equal to a threshold value.
  • a black circle with pix [x] indicates a pixel value of the processing target pixel x
  • a black circle without pix [x] indicates the processing target pixel a or
  • the pixel value of b is shown.
  • the vertical direction in FIG. 26A indicates the magnitude of the pixel value.
  • the class classification unit 624 calculates EgdeType by the following formula (1-1) based on Sign (pix [x] ⁇ pix [a]) and Sign (pix [x] ⁇ pix [b]). To derive.
  • EgdeType Sign (pix [x] ⁇ pix [a]) + Sign (pix [x] ⁇ pix [b]) + 2 (1-1)
  • EgdeType 0.
  • EgdeType 1.
  • EgdeType 3.
  • the black circle at the center of each graph indicates the pixel value of the processing target pixel x, and the black circles at both ends indicate the pixel values of the pixels a and b. Further, the vertical direction in FIG. 26B indicates the magnitude of the pixel value.
  • the class classification unit 624 derives the class index (class_idx) of the class to which the processing target pixel x should belong based on the derived EgdeType as follows.
  • class_idx EoTbl [EdgeType]
  • EoTbl [EdgeType] is a conversion table used to derive class_idx from EdgeType. Specific examples of the conversion table EoTbl are shown in FIGS.
  • the conversion table 1001X shown in FIG. 26D is a conversion table when the conversion table used is not changed according to the depth of the QAOU hierarchy to be processed.
  • the conversion table 1001A shown in FIG. 26 (e) and the conversion table 1001B shown in FIG. 26 (f) are conversion tables for changing the conversion table used depending on the depth of the QAOU to be processed.
  • the conversion table 1001A is used.
  • the conversion table 1001B is used.
  • the class classification unit 624 performs processing as shown in the conversion table 1001A.
  • the class classification unit 624 sets a plurality of pixel values of the processing target pixel according to the pixel value pix [x] of the processing target pixel x. Classify one of the classes.
  • the class classification unit 624 determines that the pixel value pix [x] of the processing target pixel x is (Max ⁇ 1/4) ⁇ pix [x] ⁇ (max ⁇ 3/4) Is satisfied, the processing target pixel is classified into a class other than class 0. That is, when the pixel value of the processing target pixel is within the hatched range in FIG. 11A, the processing target pixel is classified into a class other than class 0.
  • the class classification unit 624 determines that the pixel value pix [x] of the processing target pixel x is pix [x] ⁇ (max ⁇ 1/4) or (max ⁇ 3/4) ⁇ pix [x] Is satisfied, the processing target pixel is classified into a class other than class 0. That is, when the pixel value of the processing target pixel is within the hatched range in FIG. 11B, the processing target pixel is classified into a class other than class 0.
  • the class classification process by the class classification unit 624 will be described in more detail as follows.
  • class_idx EoTbl [sao_type_idx] [pix [x] / >> BoRefBit32]
  • class_idx EoTbl [sao_type_idx] [pix [x] / >> BoRefBit16]
  • BoTbl [sao_type_idx] [pix [x] / >> BoRefBit32] and BoTbl [sao_type_idx] [pix [x] / >> BoRefBit16] are derived from the pixel values pix [x [x]
  • Class_idx is a conversion table used for deriving.
  • BoRefBit32 and BoRefBit16 are values derived by PIC_DEPTH-5 and PIC_DEPTH-4, respectively, when the image bit depth is set to PIC_DEPTH, and the pixel values are quantized to 32 or 16 values.
  • the quantized pixel value is also described as pixquant. Shifting right by BoRefBit32 and BoRefBit16 corresponds to dividing by 1 ⁇ BoRefBit32 and 1 ⁇ BoRefBit16.
  • This quantization width is called a class width.
  • the class classification unit 624 performs class classification by changing the width of the class to be classified according to the depth of the QAOU hierarchy to be processed. For example, as shown in FIG. 28A, when the depth of the QAOU hierarchy to be processed is smaller than the threshold, the class classification unit 624 classifies the pixel width into 32 pieces with the class width set to “8”. , Classify. Also, as shown in FIG. 28 (b), when the depth of the QAOU hierarchy to be processed is equal to or greater than the threshold, the class classification unit 624 classifies the pixel value into 16 with a class width of “16”, and class Perform classification.
  • the conversion table 1301 shown in FIG. 29A is a conversion table used when the depth of the QAOU hierarchy to be processed is smaller than the threshold
  • the conversion table 1302 shown in FIG. This is a conversion table used when the depth of the QAOU hierarchy is greater than or equal to a threshold value.
  • the eyelid class classification unit 624 has a pixel value pix [x] of 8 ⁇ ( The processing target pixel x satisfying pix [x] / 8) ⁇ 23 is classified into any one of class indices 1 to 16 according to the size of pix [x].
  • the class classification unit 624 determines the pixel x to be processed that satisfies the pixel value pix [x] that satisfies pix [x] / 8) ⁇ 7 or 24 ⁇ (pix [x] / 8). , Pix [x] is classified into any one of class indexes 1 to 16 according to the size of pix [x].
  • the eyelid class classification unit 624 has a pixel value pix [x] of 4 ⁇ A pixel x to be processed that satisfies (pix [x] / 16) ⁇ 11 is classified into one of class indexes 1 to 8 according to the size of pix [x].
  • FIG. 41 shows an offset information decoding unit that changes the offset type to be used according to the type (parameter condition) of the parameter for adaptive offset and / or changes the number of class classifications according to the parameter condition for adaptive offset.
  • FIG. 611 is a block diagram of FIG.
  • the offset information decoding unit 611 includes an adaptive offset type decoding unit 6111, a used offset type selection unit 6112, an offset type decoding unit 6113, an adaptive offset decoding unit 6114, a used offset number selection unit 6115, and an offset decoding unit 6116.
  • the parameter condition is a parameter other than a value calculated from the pixel value.
  • the block size (QAOU size) and color components (components) described in the appendix described later are included. ), QP.
  • the adaptive offset type decoding unit 6111 is means for adaptively decoding an offset type according to parameter conditions from QAOU information in the encoded data, and includes a use offset type selection unit 6112 and an offset type decoding unit 6113.
  • the used offset type selection unit 6112 is means for selecting an offset type to be used according to the parameter condition.
  • One of the parameter conditions is a hierarchy as described above.
  • the number of offset types used when the hierarchy is shallow is smaller than the number of offsets used when the hierarchy is deep.
  • the used offset type selection unit 6112 inputs the conversion table as described in FIG. 8 to the offset type decoding unit 6113 according to the parameter condition. Further, the maximum number of usable offset types is input to the offset type decoding unit 6113.
  • the offset type decoding unit 6113 decodes the offset type from the encoded data according to the input conversion table and the maximum number. Assuming that the maximum number of offset types is N, the range of codes that can be taken is limited to N from 0 to N ⁇ 1. Therefore, the number of bits required for code encoding can be reduced. For example, m-bit fixed length coding can be used when the maximum number is greater than 2m-1 and less than or equal to 2m. In addition, Truncated unary encoding with a maximum value of N-1 or Truncated Rice encoding can be used.
  • the adaptive offset decoding unit 6114 is means for adaptively decoding an offset from the QAOU information in the encoded data according to the parameter condition, and includes a used offset number selection unit 6115 and an offset decoding unit 6116.
  • the used offset number selection unit 6115 is means for selecting the maximum value of the number of offsets to be used and the offset accuracy in accordance with the parameter conditions.
  • One of the parameter conditions is a hierarchy, and the number of offsets used when the hierarchy is shallow is larger than the number of offsets used when the hierarchy is deep. For example, when the hierarchy is shallow, the number of offsets can be 16 as shown in FIG. 29 (a), and when the hierarchy is deep, the number of offsets can be 8 as shown in FIG. 29 (b).
  • the offset accuracy (bit depth) can be changed according to the hierarchy.
  • the used offset number selection unit 6115 inputs the maximum offset number and the offset accuracy to the offset decoding unit 6116.
  • the offset decoding unit 6116 decodes the offset according to the maximum number of offsets and the offset accuracy. When the number of offsets is reduced, the code amount of the offset is reduced.
  • the offset type if the accuracy of each offset is determined, the range that can be taken by the code for encoding the offset is also limited, so that the number of bits required for encoding the code can be reduced.
  • FIG. 42A is a block diagram showing the configuration of the used offset type selection unit 6112.
  • the used offset type selection unit 6112 includes an offset type conversion table selection unit 6117, a first offset type conversion table storage unit 6118, and a second offset type conversion table storage unit 6119.
  • the offset type conversion table selection unit 6117 selects the conversion table provided in the first offset type conversion table storage unit 6118 or the conversion table provided in the second offset type conversion table storage unit 6119 according to the parameter condition.
  • 801A corresponds to the conversion table included in the first offset type conversion table storage unit 6118
  • 801B corresponds to the conversion table included in the second offset type conversion table storage unit 6119.
  • FIG. 42 (b) is a block diagram showing another configuration of the used offset type selection unit.
  • the used offset type selection unit 6112 ' includes an offset type conversion table selection unit 6117', an edge offset type and band offset type conversion table storage unit 6118 ', and a horizontal edge offset type and band offset type conversion table storage unit 6119'.
  • FIG. 43 is a block diagram illustrating a configuration of the class classification unit 624.
  • the class classification unit 624 includes an adaptive edge offset class classification unit 6241, a used edge offset class selection unit 6242, an edge offset class classification unit 6243, an adaptive band offset class classification unit 6244, a used band offset class / class width selection unit 6245, The band offset class classification unit 6246 is configured.
  • the class classification unit 624 classifies each pixel into a class according to the parameter condition and the offset type. If the offset type indicates an edge offset, the adaptive edge offset class classifying unit 6241 classifies the pixel. If the offset type is a band offset, the adaptive band offset class classifying unit 6244 classifies the pixel.
  • the adaptive edge offset class classification unit 6241 is a unit that adaptively classifies pixels into classes according to parameter conditions, and includes a used edge offset class selection unit 6242 and an edge offset class classification unit 6243.
  • the used edge offset class selection unit 6242 selects the type of class to be used.
  • the used edge offset class selection unit 6242 inputs the pixel value classification method to the edge offset class classification unit 6243. Specifically, a method of deriving an intermediate value EdgeType that is temporarily derived when classifying pixel values and a conversion table used for deriving class_idx from EdgeType are input.
  • An example of a method for deriving the intermediate value EdgeType has been described with reference to FIGS. 26A and 26B, and this is called a basic edge classification method.
  • An edge classification method as will be described later with reference to FIG. 33 can also be used.
  • One of the parameter conditions is a hierarchy as described above, and the class used when the hierarchy is shallow is selected so as to be larger than the class used when the hierarchy is deep.
  • 1001A and 1001B are examples of conversion tables used to derive class_idx from EdgeType.
  • a method of switching the edge derivation method according to the color component (component) is also appropriate. In this case, for luminance, a basic edge classification method using horizontal, vertical, and diagonal edge classification methods is used, and for color difference, the range of reference pixels used for edge classification to reduce line memory is horizontal when viewed from the target pixel. It is appropriate to use a horizontal edge classification method limited to the direction.
  • the edge offset class classification unit 6243 classifies pixels based on a given classification method and a conversion table used to derive class_idx from EdgeType.
  • the adaptive band offset class classification unit 6244 is means for adaptively classifying pixels into classes according to parameter conditions, and includes a used band offset class / class width selection unit 6245 and a band offset class classification unit 6246.
  • the used band offset class / class width selection unit 6245 inputs the pixel value classification method to the band offset class classification unit 6246.
  • a class width that is a quantization width used when classifying pixel values into intermediate values and a conversion table that is used to derive class_idx from the intermediate values are input.
  • One of the parameter conditions is the hierarchy as described above, and the width of the class used when the hierarchy is shallow is smaller than the width of the class used when the hierarchy is deep.
  • the band offset class classification unit 6246 classifies the pixel values into classes according to the input class width and a conversion table used to derive class_idx from the intermediate value.
  • the coded data is adaptively decoded according to the parameter conditions, and the pixel classification is performed.
  • the number of class classifications is changed according to the depth of the QAOU hierarchy to be processed. More specifically, when the depth of the QAOU to be processed is large, it is classified into a smaller number of classes compared to the case where the depth is small.
  • the area of the QAOU becomes smaller and the characteristics of the pixel values in the QAOU become nearly uniform, so the effect of offset does not change much even if the number of classes is reduced.
  • the accuracy of the offset is changed according to the depth of the QAOU hierarchy to be processed. More specifically, when the depth of the QAOU to be processed is large, the offset accuracy is lowered as compared with the case where the depth is small. This reduces the amount of code when the depth of the QAOU hierarchy to be processed is large.
  • a moving image encoding device 2 ′ that generates encoded data # 1 by encoding an encoding target image will be described with reference to FIGS. Similar to the moving picture coding apparatus 2, the moving picture coding apparatus 2 ' H.264 / MPEG-4.
  • a method adopted in AVC a method adopted in KTA software, which is a codec for joint development in VCEG (Video Coding Expert Group), and a method adopted in TMuC (Test Model under Consideration) software, which is the successor codec And the technology employed in HM (HEVC TestModel) software.
  • the moving picture coding apparatus 2 ′ is different in that an adaptive offset filter 80 ′ is provided instead of the adaptive offset filter 80 in the moving picture coding apparatus 2, and the other configurations are the same.
  • FIG. 30 is a block diagram showing a configuration of the adaptive offset filter 80 ′.
  • the adaptive offset filter 80 ′ includes an adaptive offset filter information setting unit 81 ′ and an adaptive offset filter processing unit 82 ′.
  • the adaptive offset filter information setting unit 81 ′ includes an offset calculation unit 811, an offset shift unit 816, an offset clip unit 812, an offset information selection unit 813, and an offset attribute setting unit 815. is there.
  • Offset calculation unit 811 For all QAOUs up to a predetermined division depth included in the target processing unit (for example, LCU), the offset calculation unit 811 performs all offset types and all classes that exist according to the hierarchy of the processing target QAOU. The offset of is calculated.
  • the offset type and class are the same as those described in the description of the video decoding device 1.
  • the offset calculation unit 811 supplies offset information including the offset, offset type, class, and QAOU structure information representing the QAOU division structure calculated by the above processing to the offset clip unit 812.
  • Offset clip part 812 The offset clip unit 812 performs clip processing on the offset supplied from the offset calculation unit 811 by any one of clip processing 1 and clip processing 2 as described below.
  • the offset clip unit 812 clips each offset supplied from the offset calculation unit 811 to a value from ⁇ 8 to 7, for example, to express each offset with 4 bits.
  • Each clipped offset is supplied to the offset information selection unit 813.
  • the bit width to be clipped is set according to the bit depth of the image and the bit depth of the offset, as in the video decoding device 1.
  • each offset the memory size of a memory (not shown) in which each offset is stored can be reduced. Moreover, since the amount of offset codes included in the encoded data # 1 can be reduced, the encoding efficiency can be improved. Moreover, since an excessive offset is suppressed, an appropriate image quality is ensured.
  • the offset clip unit 812 may be configured to set different values for the clip range of each offset supplied from the offset calculation unit 811 according to the offset type.
  • the number of offset bits is 8 bits
  • the number of offset bits is 4 bits. More generally, when the offset bit number is N bits when the offset type is an edge offset and the offset bit number is M bits when the offset type is a band offset, N> M is satisfied. Determines the number of offset bits.
  • m-bit fixed-length coding is used as a coding method for coding the offset.
  • m-bit fixed-length coding is used as a coding method for coding the offset.
  • clip processing obtained by combining the above clip processing 1 and 2 is also included in this embodiment.
  • the adaptive offset filter 80 may be configured not to include the offset clip unit 812.
  • the offset clip unit 812 switches the clip range according to the depth of the QAOU hierarchy to be processed in accordance with the offset accuracy. Specifically, it is assumed that the accuracy of the offset is n A bits when the depth of the QAOU hierarchy to be processed is smaller than the threshold, and n B bits when the depth of the QAOU hierarchy to be processed is equal to or greater than the threshold. At this time, if the depth of the QAOU layer to be processed is smaller than the threshold, the offset clip unit 812 sets the clip range to ⁇ 2 nA / 2 to 2 nA / 2 ⁇ 1.
  • the clip range is set to ⁇ 2 nA / 2 to 2 nA / 2 ⁇ 1, and the lower (n A ⁇ n B ) bits are set to “0”. " Thereby, the offset clip unit 812 can cause the offset information selection unit 813 that performs processing using the clipped offset to perform processing without considering the offset accuracy.
  • Offset information selection unit 813 The offset information selection unit 813 determines an offset type, a class, a combination of offsets, and a corresponding QAOU partition structure with a smaller RD cost (Rate-Distortion cost), and determines the determined offset type, class, offset, and QAOU information indicating the corresponding QAOM division structure is supplied to the variable-length code encoding unit 22. Also, the offset information selection unit 813 supplies the determined offset to the adaptive offset filter processing unit 82 for each QAOU.
  • RD cost Rent-Distortion cost
  • FIG. 31 is a diagram showing an outline of calculating a square error for each offset type for a QAOU having a QAOU index of “x”.
  • the offset information selection unit 813 calculates a square error for each offset type for all QAOMUs.
  • the offset type that minimizes the calculated square error is set as the offset type of the QAOU.
  • the offset type is determined for all QAOMUs (QAOMU numbers 0 to 340).
  • the offset information selection unit 813 calculates the RD cost when the division depth is 0 and the RD cost when the division depth is 1. A specific calculation method is as described above with reference to FIG.
  • the adaptive offset filter processing unit 82 ′ adds the offset supplied from the offset information selection unit 813 to each pixel of the deblocked decoded image P_DB in the target QAOU.
  • the adaptive offset filter processing unit 82 ′ outputs an image obtained by processing all the QAOUs included in the deblocked decoded image P_DB as an offset filtered decoded image P_OF. Note that the configuration of the adaptive offset filter processing unit 82 ′ is the same as that of the adaptive offset filter processing unit 62 ′, and thus the description thereof is omitted here.
  • an adaptive clip (AC) type may be provided as one of the offset types.
  • the lower limit value and upper limit value of a clip are adaptively given instead of fixed values
  • the lower limit value and upper limit value may be encoded.
  • the upper limit value is a large value, the encoding efficiency is not lowered by doing so.
  • N 64 (LCU size).
  • the number of SAO types is limited, for example, by limiting EO to horizontal and vertical types, using only one type of BO (conversion table 802C), using only EO and not using BO (conversion table 802A), Only one of horizontal type EO and BO can be used (conversion table 801B, conversion table 802D).
  • the offset information decoding unit 611 uses the conversion table shown in parentheses. Note that the SAO class number limitation and the offset accuracy limitation can be performed in the same manner as in the above-described embodiment.
  • the type of SAO type by limiting the type of SAO type, the number of types, the number of classes, and the offset accuracy, it is possible to reduce the amount of memory used and the processing load.
  • the type type when the type type is limited to BO, or when EO is limited to horizontal and vertical types, the processing load on the class classification unit of the encoding device and the decoding device can be reduced.
  • the number of types when the number of types is limited, the cost calculation for selecting the optimum type can be omitted, so that the processing load on the encoding device can be reduced.
  • Limiting the type of type to EO and limiting the number of classes and offset accuracy can reduce the amount of memory used to store offset.
  • Such a limitation is that the operations of the offset information decoding unit 611 and the class classification unit 624 are adaptively performed according to the parameter condition when the parameter condition is set to the size of QAOUN by the configuration of the means shown in FIGS. It can be realized by changing.
  • the size of a QAOU (hereinafter also referred to as a luminance unit) for adding an offset to the luminance value is different from the size of a QAOU (hereinafter also referred to as a color difference unit) for adding an offset to the color difference.
  • the configuration may be such that the type of SAO, the number of types, the number of classes, the offset accuracy, and the maximum division hierarchy are limited rather than the luminance unit.
  • the fineness of the color difference division is as low as the luminance. No longer needed. Therefore, by limiting the types of SAO types, the number of types, the number of classes, the offset accuracy, and the maximum division hierarchy for the color difference unit, it is possible to reduce the amount of memory used and the processing load. Note that the restriction on the maximum hierarchy of the color difference units can be achieved, for example, by making the maximum depth of the SAO tree structure shallower than that of the luminance unit.
  • Such a limitation is that the operations of the offset information decoding unit 611 and the class classification unit 624 are adaptively performed according to the parameter condition when the parameter condition is set to the size of QAOUN by the configuration of the means shown in FIGS. It can be realized by changing.
  • the offset information decoding unit 611 uses conversion tables such as a conversion table 801B and a conversion table 802D.
  • AY> AC the variables AY and AC for controlling accuracy.
  • the accuracy of the luminance component offset is larger than that of the color difference component.
  • the shift value of the luminance component is smaller than the color difference component.
  • the value of the CU quantization parameter QP (Appendix 4)
  • the type of SAO type, the number of types, the number of classes, the offset accuracy, and the maximum division hierarchy may be limited.
  • the QP value the initial QP value of the picture may be used.
  • the SAO processing target QAOU is along the boundary of the LCU or CU
  • the CU value at the position corresponding to the upper left coordinate or the center coordinate of the QAOU is used.
  • a QP value may be used.
  • Such a limitation is that the operation of the offset information decoding unit 611 and the class classification unit 624 is adaptively changed according to the parameter condition when the parameter condition is QP by the configuration of the means shown in FIGS. This can be achieved.
  • the picture quality of the picture has a great influence on the subsequent pictures, so it is necessary to keep the accuracy of the SAO high.
  • the type of SAO, the number of types, the number of classes, the offset accuracy, and the like for these pictures B picture, IDR picture
  • the maximum hierarchy of division may be limited. As a result, the memory usage can be reduced and the processing load can be reduced.
  • Such a limitation is that the operations of the offset information decoding unit 611 and the class classification unit 624 are adaptively performed according to the parameter condition when the parameter condition is a picture type by the configuration of the means shown in FIGS. It can be realized by changing.
  • the configuration may be such that the number of SAO types, the number of classes, the offset accuracy, and the maximum division hierarchy are limited according to the position of the QAOU on the screen.
  • the number of SAO types, the number of classes, the offset accuracy, and the maximum division hierarchy may be limited.
  • the subjective image quality is lowered as it is, but even if the image quality is lowered at the periphery of the screen, the subjective image quality is not lowered as much as the area near the center of the screen.
  • Boundary determination processing can be reduced if the SAO type that requires sample points exceeding the screen edge is not used.
  • Such a limitation is that the operations of the offset information decoding unit 611 and the class classification unit 624 are adaptively performed according to the parameter condition when the parameter condition is set to the position of QAOU by the configuration of the means shown in FIGS. It can be realized by changing.
  • BO is used in the low pixel value region and the high pixel value region, and EO is used in the intermediate gradation region.
  • FIG. 32 is a diagram for explaining a configuration for switching between EO and BO according to pixel values
  • (a) is a diagram for explaining an outline of a configuration for switching between EO and BO according to pixel values.
  • (b) is a diagram for explaining specific switching values, and
  • (c) is a diagram showing the contents of the list memory stored in the offset information storage unit 621.
  • the SAO type is classified according to the pixel value, and when the pixel value is around 0 and around 255, an offset corresponding to the pixel value is added, and in other regions, an offset corresponding to the edge type is added.
  • EO and BO are determined according to the pixel value range, and a single SAO type uses a portion having a high error correction effect in both EO and BO. Thereby, encoding efficiency can be improved. In addition, since the number of SAO types and the total number of classes can be reduced, it is possible to reduce the amount of memory used and the processing load.
  • the present embodiment uses 1 to 4 for “sao_type_idx” and defines them as follows.
  • “Sao_type_idx” 1: (BO_EO_0) Corresponds to EO_0 + BO of the first embodiment
  • “sao_type_idx” 2: (BO_EO_1) Corresponds to EO_1 + BO of the first embodiment
  • “sao_type_idx” 3: (BO_EO_2)
  • Embodiment “Sao_type_idx” 4: (BO_EO_3) Equivalent to EO_3 + BO of the first embodiment
  • EO_0 to 3 and BO_0, 1 of the first embodiment are not used.
  • category part 624 performs a class classification
  • the edge type is determined according to EO_0 to 3 described in the above embodiment, and classification is performed.
  • the class classification unit 624 can classify the class by switching between BO and EO according to the pixel value.
  • the offset calculation unit 811 calculates the offset by the same method as the offset calculation method described in the above embodiment. However, in the present embodiment, since the number of types of offset types is four, this point is calculated differently.
  • the list memory 2101 stored in the offset information storage unit 621 has a QAOU index, an offset type, and a specific offset value for each class that can be selected in the offset type. Stored in association with each other.
  • Embodiment 5 The following will describe another embodiment of the present invention with reference to FIGS.
  • the present embodiment is different from the above embodiment in that, in the EO classification, the pixels used for edge determination are limited to only the pixels existing in the horizontal direction of the determination target pixel.
  • pixels that exist above or below the target pixel are also used for edge determination. For this reason, a line buffer that holds the pixel value of the pixel before the offset processing is necessary for the pixel that exists in the upper direction of the target pixel (pixel that has undergone the offset processing).
  • the pixels used for the edge determination are limited to the pixels existing in the horizontal direction of the target pixel, there is no need to refer to the upper direction, and the amount of memory used for the line buffer can be reduced.
  • the upper boundary determination (such as the screen edge) is unnecessary, the processing amount can be reduced.
  • FIG. 33A shows pixels existing in the horizontal direction, and x0 to x3 are pixel values of the respective pixels.
  • s1 sign (x1-x0) -sign (x2-x1)
  • s2 sign (x2-x1) -sign (x3-x2)
  • s1 and s2 are values used for classifying the edge at x1 and x2.
  • the processing amount can be reduced by this amount.
  • EO edge offset
  • the edge type is determined using a pixel further separated by 1 pixel from both sides of the target pixel in order to facilitate detection of an edge having a shallow angle with respect to the horizontal. is there.
  • the difference between the pixel values is small and may not be determined as an edge. Even in such a case, it is possible to detect an edge having a shallow angle with respect to the horizontal by taking a difference from the adjacent pixel by one pixel.
  • the left side may be the adjacent pixel
  • the right side may be the difference between one pixel and the adjacent pixel (FIG. 34 (a)), or vice versa (FIG. 34 (b)). It may be used. This is particularly effective when the reference pixel hits the edge of the screen.
  • the configuration may be such that only the horizontal pixels are used.
  • only the picture in the horizontal direction is referred to only in the case of a picture that has little influence on other pictures such as a B picture and a non-reference picture, and in other cases, the configuration is the same as in the first embodiment.
  • pixels in the horizontal direction may be referred to, and other configurations may be the same as those in the above embodiment. In this way, the amount of memory used can be reduced and the amount of processing can also be reduced. Further, since no upward reference is performed, the boundary determination process near the screen edge or slice boundary can be reduced.
  • a flag in units of pictures or blocks may be configured to be explicitly specified by a flag in units of pictures or blocks. For example, in the case where there are many horizontal edges (FIG. 34 (c)), if the process is performed by the method described in the above embodiment, it is possible to prevent the performance from being deteriorated.
  • whether or not to use only the pixels that exist in the horizontal direction may be changed according to the condition described in the above embodiment (whether the depth of the QAOU hierarchy is smaller than a threshold). Furthermore, only in the case where BO and EO are used in combination as described in the above embodiment, EO may be configured to use only pixels that exist in the horizontal direction.
  • the type of edge may be derived depending on whether or not the difference from the pixel existing in the horizontal direction is larger (or smaller) than the threshold value.
  • classes may be classified according to the following formula.
  • th is a threshold value having a predetermined value.
  • the effect limited to the horizontal can be obtained only when there is only one horizontal edge classification method, for example, only in the case of FIG.
  • finer edge classification is possible than when one horizontal edge classification method, for example, FIG. 33B is used.
  • the combination in the case of using a plurality of horizontal edge classification methods is not limited to the case of using two examples by changing the distance between the target pixel and the reference pixel as shown in FIGS.
  • a configuration in which two threshold values used in deriving the type of the above are also possible.
  • two horizontal edge classification methods for the case where the threshold th is 0 and 1 may be provided.
  • the configuration for limiting the use of only the pixels in the horizontal direction is the operation of the offset information decoding unit 611 and the class classification unit 624 adaptively according to the parameter conditions by the configuration of the means shown in FIGS. 41 to 43 of the first embodiment. It can be realized by changing.
  • the type of offset type selected by the used offset type selection unit 6112 is limited to only the horizontal edge classification method according to the parameter condition, and is limited by the offset type decoding unit 6113. Decodes the type offset type.
  • the offset type conversion table selection unit 6117 can convert the edge offset type and band offset type storage unit 6118 ′ according to the parameter condition, or the horizontal edge offset type and band offset type conversion.
  • a conversion table provided in the table storage unit 6119 ′ is selected.
  • the conversion table included in the edge offset type and band offset type storage unit 6118 ′ is selected.
  • the horizontal edge offset type and band offset type conversion table storage unit 6119 is selected. Select the conversion table provided by '.
  • the internal use offset type selection unit 6112 selects an edge classification method limited to only the horizontal edge classification method according to the parameter condition, and the edge offset class classification unit 6243 classifies the pixels.
  • the basic edge classification method is selected when the color component is luminance
  • the horizontal edge classification method is selected when the color component is color difference.
  • the error near the achromatic color has a characteristic that it is easily noticeable in the subjective image quality.
  • the achromatic color is the center of the range, and if the bit depth is 8 bits, it is the color of the pixel having a pixel value of 128. Therefore, in the present embodiment, in the case of BO, the offset accuracy is increased or the class division is made finer by using a smaller class width around the pixel value 128 of the color difference.
  • the value range near the achromatic color for the pixel value of the color difference is referred to as an achromatic color value range.
  • the offset accuracy of the achromatic color range is improved and the class division is subdivided, but this is not limiting, and class division is performed for values in a range that is likely to affect subjective image quality.
  • Subjective image quality can be improved by subdividing or improving the offset accuracy.
  • the same effect can be obtained by a configuration in which the offset accuracy is similarly increased or the class division is subdivided in a pixel value range in which image quality degradation is conspicuous in terms of subjective image quality.
  • FIG. 35 is a diagram showing an outline of a case where the offset accuracy is improved.
  • the accuracy of the offset in the vicinity of the pixel value 128 of the color difference is made high, and the accuracy of the offset in other value ranges is made low.
  • the offset clip unit 812 switches the clip range between a value range where the offset is high accuracy and a value range where the offset is low accuracy.
  • the clip range is -2 nA / 2 to 2 nA / 2 -1
  • the clip range is -2 nB / 2 to 2 nB. / 2 ⁇ 1.
  • FIG. 36 is a diagram showing an outline when class classification is subdivided, (a) shows a conversion table, and (b) to (d) are diagrams for explaining class division.
  • an offset storage area corresponding to “sao_type_idx” 5 is secured in the color difference list memory in the offset information storage unit 621 according to the number of class classifications.
  • the class classification unit 624 determines whether the pixel value of the target pixel is in the achromatic value range when deriving the class from the pixel value. Specifically, class classification is performed using, for example, one of the conversion tables 2501 shown in FIG.
  • “BoTbl [BO — 0] [pix / 4] (c)” shows an example in which the class is divided into 18 parts, the value range near the achromatic color is subdivided, and the maximum value of the class width is also maintained ( FIG. 36 (d)).
  • the correction accuracy of the achromatic color range can be improved by making the class width of the intermediate gradation range relatively larger than the class width of the achromatic color range and reducing the total number of classes.
  • the offset storage area can be reduced while keeping the street. This is possible because the frequency of use of offset correction in the intermediate gradation region is lower than that in the achromatic region.
  • a configuration in which the offset accuracy differs between the pixel value indicating luminance and the pixel value indicating color difference that is, a configuration in which the offset accuracy for the pixel value indicating the color difference is coarser than the offset accuracy for the pixel value indicating the luminance. It may be.
  • clip (x, y, z) indicates a process of limiting the value of x to y ⁇ x ⁇ z.
  • the offset may be added to the intermediate gradation range and other value ranges.
  • class classification may be performed in consideration of achromatic pixel values.
  • a class is assigned to an intermediate gradation range
  • a value range other than the intermediate gradation range is assigned.
  • a class is assigned.
  • classification may be performed asymmetrically in two value ranges sandwiching an achromatic pixel value.
  • the class width is the same as in the example shown in FIG. 37B.
  • different class classifications may be used for each color difference channel (Cr and Cb).
  • the class width differs between the color difference (Cr) and the color difference (Cb).
  • the class width can be changed by subdividing the number of classes as in the conversion table 2501.
  • the color difference may be configured to classify with one BO type.
  • the difference from the above embodiment is not the offset value itself, but the offset value is predictively encoded, that is, the offset residual calculated by using the offset value and the predicted value of the offset value.
  • the difference is encoded, and the offset prediction value is set to “0”.
  • an offset is encoded according to a class indicating an area classification. If there is no pixel classified into the class (the class is empty), “0” is encoded. Normally, the offsets of the neighborhood class and the neighborhood region have close values. Therefore, if the difference is encoded using the already-decoded offset value as a predicted value, the amount of codes can be reduced. However, if the class is empty, the code amount increases.
  • the offset prediction value includes “0”, selects one prediction value from a plurality of prediction value candidates including “0”, and encodes the prediction difference to reduce the code amount of the offset. Reduced.
  • the configuration of the offset information decoding unit 611 'according to the present embodiment will be described with reference to FIG.
  • the offset information decoding unit 611 ′ is provided instead of the offset information decoding unit 611 in FIG. 22, and includes an offset residual decoding unit 651, an offset restoration unit 652, and a predicted value derivation unit 653.
  • the predicted value derivation unit 653 includes a prediction candidate flag decoding unit 661, a fixed prediction value calculation unit 662, an encoded prediction value calculation unit 663, and a prediction value candidate selection unit 664.
  • the offset residual decoding unit 651 decodes the offset residual from the QAOU information included in the encoded data # 1, and supplies the decoded offset residual to the offset restoration unit 652.
  • the predicted value deriving unit 653 derives a predicted offset value.
  • the prediction candidate flag decoding unit 661 decodes the prediction candidate flag from the QAOU information, and supplies the decoded prediction candidate flag to the prediction value candidate selection unit 664. Note that the prediction candidate flag decoding unit 661 may be configured not to decode the candidate selection flag when the previously decoded offset value is “0”. ”
  • the fixed prediction value calculation unit 662 calculates a fixed value (here, “0”) that is an offset that is encoded when there is no pixel classified into the class as a prediction value, and supplies the prediction value candidate selection unit 664 with the prediction value. To do.
  • the encoded predicted value calculation unit 663 reads the offset that has already been decoded from the offset information storage unit 621, calculates a predicted value, and supplies the predicted value to the predicted value candidate selection unit 664.
  • the prediction value candidate selection unit 664 supplies the offset restoration unit 652 with the prediction value supplied from the fixed prediction value calculation unit 662 and the prediction value supplied from the encoded prediction value calculation unit 663 according to the prediction candidate flag. Select the predicted value.
  • the offset restoration unit 652 calculates an offset (Offset) from the prediction value (pred) supplied from the prediction value candidate selection unit 664 and the offset residual (sao_offset) supplied from the offset residual decoding unit 651 according to the following equation. ).
  • “Offset” “pred” + “sao_offset”
  • the reason why the code amount increases when there is a class (empty class) with no pixel to be classified will be described with reference to FIG.
  • FIG. 39 is a diagram showing an outline when there is an empty class. As shown in FIG. 39, a non-empty class is encoded with the offset of the class. Then, for each class, the difference between the predicted value and the offset is encoded using the previous offset as the predicted value. However, if there is an empty class, the predicted value becomes “0” and the difference value becomes large. As a result, the code amount increases.
  • the prediction value can be selected from “0” and “previous (other than 0) offset” by the prediction candidate flag.
  • FIG. 40 is a diagram illustrating the syntax 2901 when the prediction candidate flag is used.
  • “sao_offset_delta” represents the difference d from the predicted value
  • “sao_offset [sao_curr_depth] [ys] [xs]” “offsetp + d”.
  • the prediction candidate flag may not be used in the case of EO, and the prediction candidate flag may be used in the case of BO. This is because an empty class often occurs in BO depending on the distribution of pixel values.
  • it may be configured to determine whether or not to perform predictive encoding itself according to the offset type. For example, in the case of EO, prediction encoding may be performed, and in the case of BO, prediction encoding may not be performed.
  • the intra prediction mode may be used to estimate, limit, or rearrange the class of edge offset in units of LCUs.
  • the edge direction selected as the SAO EO type is considered to be correlated with the intra prediction mode. For this reason, if the intra prediction mode of the CU at the position corresponding to the SAO QAOU is referred to, it can be used to select the EO class.
  • EO class is estimated and determined by intra prediction mode, EO class candidates are limited, or the order (index) of EO classes is rearranged in the order of high possibility of selection. Can do.
  • An image filter device is an image filter device that adds an offset selected from a plurality of offsets to each pixel value of an input image composed of a plurality of unit regions, and is included in each unit region.
  • Offset determining means for determining an offset to be added to the pixel value of each pixel for each unit area; and filter means for adding the offset determined by the offset determining means to the pixel value of the pixel included in the unit area.
  • the offset determining means has an offset with a limited number of offsets that can be selected as compared with the case where the size of the unit area is equal to or larger than the predetermined size.
  • An offset to be added to the pixel value of the pixel included in the unit area is determined from the inside.
  • the offset is added from the limited offsets compared to the case where the size of the unit area is equal to or larger than the predetermined size. An offset is determined.
  • the size of the unit area is small, the number of pixels included in the unit area is small, and the pixels are likely to have approximate values. Therefore, when the size of the unit area is small, even if the number of selectable offsets is limited, the influence on the image after the offset application is small. Further, by limiting the number of offsets that can be selected, the required memory capacity can be reduced.
  • an image filter device is an image filter device that adds an offset to each pixel value of an input image composed of a plurality of unit regions, and includes pixels included in each unit region.
  • Offset determining means for determining the offset to be added to the pixel value for each unit region, and filter means for adding the offset determined by the offset determining means to the pixel value of the pixel included in the unit region,
  • the filter means is characterized in that, when the size of the unit area for which the offset is determined is smaller than a predetermined size, an offset with coarser accuracy is added than when the size of the unit area is equal to or larger than the predetermined size. Yes.
  • the size of the unit area is small, the number of pixels included in the unit area is small, and the pixels are likely to have approximate values. Therefore, when the size of the unit region is small, the influence on the quantization error is small even if the offset accuracy is rough. Therefore, the influence on the image after applying the offset is small. In addition, it is possible to reduce the required memory capacity by increasing the accuracy of the offset.
  • An image filter device is an image filter device that applies an adaptive offset (SAO: Sample Adaptive Offset) to each pixel value of an input image composed of a plurality of unit regions, and the pixels included in each unit region
  • An offset determining unit that determines the type of offset to be added to the pixel value for each unit region, and an offset according to the offset type determined by the offset determining unit is added to the pixel value of the pixel included in the unit region
  • the offset determining means determines the offset type as a band offset (BO) when the pixel value of the target pixel to which the offset is added is near the maximum value and the minimum value, and other than that
  • the pixel in the range is characterized by being determined as edge offset (EO).
  • a band offset is applied to pixels in the vicinity of the maximum and minimum pixel values, and an edge offset is applied to pixels in other value ranges. Is done.
  • the pixel value tends to affect the error more easily than the edge. Therefore, the above configuration increases the error correction efficiency and improves the encoding efficiency. .
  • band offset and edge offset are used together in one type, the number of types of adaptive offset can be reduced, and the amount of memory used and the amount of processing can be reduced.
  • the band offset refers to an offset process in which one of a plurality of offsets is added to the pixel value of the processing target pixel according to the size of the pixel value of the processing target pixel ( The same applies below).
  • the edge offset is a plurality of offsets in the pixel value of the processing target pixel according to the difference between the pixel value of the processing target pixel and the pixel values of the pixels around the processing target pixel. This is offset processing for adding any of the above (same below).
  • the offset determining means performs band detection for pixels in a range of pixel values from the minimum value to a quarter of the maximum value and from a range of the maximum value from a quarter to the maximum value.
  • the offset may be determined, and the value range other than this may be determined as the edge offset.
  • the pixel to which the band offset is applied and the pixel to which the edge offset is applied can be clearly separated.
  • An image filter device is an image filter device that applies an adaptive offset (SAO: Sample Adaptive Offset) to an input image, and performs edge determination to determine a class when applying an edge offset (EO).
  • SAO Sample Adaptive Offset
  • Class classification means for making a determination with reference to only pixels present in the horizontal direction of the target pixel, and filter means for adding an offset corresponding to the class classified by the class classification means when applying edge offset (EO) It is characterized by having.
  • the required memory amount can be reduced as compared with the case of referring to the pixels in the upward direction.
  • the processing amount can also be reduced.
  • the class classification unit may perform edge determination with reference to a pixel located at a position two pixels away from the target pixel in the horizontal direction.
  • the edge can be detected even when the edge angle is shallow.
  • An image filter device is an image filter device that applies an adaptive offset (SAO: Sample Adaptive Offset) to an input image, and a pixel value indicating a color difference is a central value between a maximum value and a minimum value.
  • SAO Sample Adaptive Offset
  • the class division means for determining the class when applying the band offset (BO) by subdividing the division width of the class around the value more than the other value ranges, and when applying the band offset (BO), the above class classification Filter means for adding an offset corresponding to the class classified by the means.
  • the pixel value indicating the color difference is subdivided from the division value of the class around the median value that is the median value of the maximum value and the minimum value, and the band offset (BO) is reduced.
  • the class to apply is determined.
  • the pixel value of the color difference is the median value
  • the pixel is achromatic. Achromatic errors are easily noticeable by humans, and the subjective image quality deteriorates. Therefore, if the class width near the median is subdivided as in the above configuration, the offset can be set finely for the pixels near the median. Thereby, subjective image quality can be improved.
  • the filter means uses the pixel value after the offset addition as the median value. You may do.
  • the offset is not added beyond the median value.
  • a pixel whose color difference has a median value is an achromatic color, and colors that can be perceived by human eyes change on both sides of the median value. So, according to said structure, it can prevent that the color which a person approaches is changed by adding offset.
  • An image filter device is an image filter device that applies an adaptive offset (SAO: Sample Adaptive Offset) to an input image, and a pixel value indicating a color difference is a central value between a maximum value and a minimum value. Filter means for adding an offset with higher accuracy to pixels in the vicinity of values than pixels in other value ranges is provided.
  • SAO Sample Adaptive Offset
  • the pixel value indicating the color difference adds an offset with higher accuracy than the pixels in the other value ranges to the pixels in the vicinity of the median value that is the median value of the maximum value and the minimum value.
  • the pixel value of the color difference is the median value
  • the pixel is achromatic. Achromatic errors are easily noticeable by humans, and the subjective image quality deteriorates. Therefore, as in the above configuration, if the accuracy of the offset to be added is improved in the vicinity of the median value, the offset can be finely added to the pixels in the vicinity of the median value. Thereby, subjective image quality can be improved.
  • An offset decoding apparatus is an offset decoding apparatus that decodes each offset referenced by an image filter that adds an offset to each pixel value of an input image, and decodes each offset residual from encoded data.
  • An offset residual decoding means a prediction value deriving means for deriving a predicted value of each offset from a decoded offset or a predetermined value, and a prediction value derived by the prediction value deriving means, And offset calculating means for calculating from the offset residual decoded by the offset residual decoding means.
  • the offset is decoded from the residual, the amount of code can be reduced as compared with the case where the offset is encoded as it is.
  • the prediction value for obtaining the residual is derived from the decoded offset or a predetermined value, by using only the decoded offset, the code amount of the difference data is made as compared with the case of encoding as it is. It can be prevented from becoming large.
  • “0” can be given as a predetermined value.
  • An offset encoding apparatus is an offset encoding apparatus that encodes each offset referenced by an image filter that adds an offset to each pixel value of an input image, and encodes a predicted value of each offset.
  • the offset is decoded from the residual, the amount of code can be reduced as compared with the case where the offset is encoded as it is.
  • the prediction value for obtaining the residual is derived from the decoded offset or a predetermined value, by using only the decoded offset, the code amount of the difference data is made as compared with the case of encoding as it is. It can be prevented from becoming large.
  • the data structure of the encoded data according to the present invention is a data structure of encoded data that is referred to by an image filter that adds an offset to each pixel value of an input image composed of a plurality of unit regions, and that has a predicted value.
  • Predictive value derivation information indicating whether to derive from a decoded offset or a predetermined value
  • the image filter refers to the predictive value derivation information included in the encoded data, It is characterized by deriving and decoding the offset.
  • whether the predicted value is a decoded offset or a predetermined value can be determined from the predicted value derivation information.
  • the above-described moving picture decoding apparatus 1 (1 ′) and moving picture encoding apparatus 2 (2 ′) can be used by being mounted on various apparatuses that perform transmission, reception, recording, and reproduction of moving pictures.
  • the moving image may be a natural moving image captured by a camera or the like, or an artificial moving image (including CG and GUI) generated by a computer or the like).
  • moving picture decoding apparatus 1 and moving picture encoding apparatus 2 can be used for transmission and reception of moving pictures.
  • FIG. 45 (a) is a block diagram showing a configuration of a transmission apparatus A in which the moving picture encoding apparatus 2 is mounted.
  • the transmitter A encodes a moving image, obtains encoded data, and modulates a carrier wave with the encoded data obtained by the encoder A1.
  • a modulation unit A2 that obtains a modulation signal by the transmission unit A2 and a transmission unit A3 that transmits the modulation signal obtained by the modulation unit A2.
  • the moving image encoding device 2 described above is used as the encoding unit A1.
  • the transmission apparatus A has a camera A4 that captures a moving image, a recording medium A5 that records the moving image, an input terminal A6 for inputting the moving image from the outside, as a supply source of the moving image that is input to the encoding unit A1. You may further provide image processing part A7 which produces
  • FIG. 45 (a) a configuration in which all of these are provided in the transmission apparatus A is illustrated, but a part thereof may be omitted.
  • the recording medium A5 may be a recording of a non-encoded moving image, or a recording of a moving image encoded using a recording encoding scheme different from the transmission encoding scheme. It may be a thing. In the latter case, a decoding unit (not shown) for decoding the encoded data read from the recording medium A5 according to the recording encoding method may be interposed between the recording medium A5 and the encoding unit A1.
  • FIG. 45 (b) is a block diagram showing the configuration of the receiving device B on which the moving image decoding device 1 is mounted.
  • the receiving apparatus B includes a receiving unit B1 that receives a modulated signal, a demodulating unit B2 that obtains encoded data by demodulating the modulated signal received by the receiving unit B1, and a demodulating unit.
  • a decoding unit B3 that obtains a moving image by decoding the encoded data obtained by B2.
  • the moving picture decoding apparatus 1 described above is used as the decoding unit B3.
  • the receiving device B has a display B4 for displaying a moving image, a recording medium B5 for recording the moving image, and an output terminal for outputting the moving image as a supply destination of the moving image output from the decoding unit B3.
  • B6 may be further provided.
  • FIG. 45B illustrates a configuration in which the receiving apparatus B includes all of these, but a part of the configuration may be omitted.
  • the recording medium B5 may be for recording an unencoded moving image, or is encoded by a recording encoding method different from the transmission encoding method. May be.
  • an encoding unit (not shown) that encodes the moving image acquired from the decoding unit B3 in accordance with the recording encoding method may be interposed between the decoding unit B3 and the recording medium B5.
  • the transmission medium for transmitting the modulation signal may be wireless or wired.
  • the transmission mode for transmitting the modulated signal may be broadcasting (here, a transmission mode in which the transmission destination is not specified in advance) or communication (here, transmission in which the transmission destination is specified in advance). Refers to the embodiment). That is, the transmission of the modulation signal may be realized by any of wireless broadcasting, wired broadcasting, wireless communication, and wired communication.
  • a terrestrial digital broadcast broadcasting station (such as broadcasting equipment) / receiving station (such as a television receiver) is an example of a transmitting apparatus A / receiving apparatus B that transmits and receives modulated signals by wireless broadcasting.
  • a broadcasting station (such as broadcasting equipment) / receiving station (such as a television receiver) for cable television broadcasting is an example of a transmitting device A / receiving device B that transmits and receives a modulated signal by cable broadcasting.
  • a server workstation etc.
  • Client television receiver, personal computer, smart phone etc.
  • VOD Video On Demand
  • video sharing service using the Internet is a transmitting device for transmitting and receiving modulated signals by communication.
  • a / reception device B usually, either wireless or wired is used as a transmission medium in a LAN, and wired is used as a transmission medium in a WAN.
  • the personal computer includes a desktop PC, a laptop PC, and a tablet PC.
  • the smartphone also includes a multi-function mobile phone terminal.
  • the video sharing service client has a function of encoding a moving image captured by the camera and uploading it to the server. That is, the client of the video sharing service functions as both the transmission device A and the reception device B.
  • FIG. 46A is a block diagram showing a configuration of a recording apparatus C in which the above-described moving picture decoding apparatus 1 is mounted.
  • the recording apparatus C encodes a moving image to obtain encoded data, and writes the encoded data obtained by the encoding unit C1 to the recording medium M.
  • the moving image encoding device 2 described above is used as the encoding unit C1.
  • the recording medium M may be of a type built in the recording device C, such as (1) HDD (Hard Disk Drive) or SSD (Solid State Drive), or (2) SD memory. It may be of the type connected to the recording device C, such as a card or USB (Universal Serial Bus) flash memory, or (3) DVD (Digital Versatile Disc) or BD (Blu-ray Disc: registration) (Trademark) or the like may be mounted on a drive device (not shown) built in the recording apparatus C.
  • the recording apparatus C also serves as a moving image supply source to be input to the encoding unit C1, a camera C3 that captures moving images, an input terminal C4 for inputting moving images from the outside, and reception for receiving moving images.
  • a unit C5 and an image processing unit C6 that generates or processes an image may be further provided.
  • FIG. 46A illustrates a configuration in which the recording apparatus C includes all of these, but a part of the configuration may be omitted.
  • the receiving unit C5 may receive an unencoded moving image, or receives encoded data encoded by a transmission encoding method different from the recording encoding method. You may do. In the latter case, a transmission decoding unit (not shown) that decodes encoded data encoded by the transmission encoding method may be interposed between the reception unit C5 and the encoding unit C1.
  • Examples of such a recording device C include a DVD recorder, a BD recorder, and an HD (Hard Disk) recorder (in this case, the input terminal C4 or the receiving unit C5 is a main source of moving images).
  • a camcorder in this case, the camera C3 is a main source of moving images
  • a personal computer in this case, the receiving unit C5 or the image processing unit C6 is a main source of moving images
  • a smartphone this In this case, the camera C3 or the receiving unit C5 is a main source of moving images).
  • FIG. 46 (b) is a block diagram showing the configuration of the playback device D on which the above-described video decoding device 1 is mounted.
  • the playback device D obtains a moving image by decoding the read data D1 read from the read data D and the read data read by the read unit D1.
  • the moving picture decoding apparatus 1 described above is used as the decoding unit D2.
  • the recording medium M may be of a type built in the playback device D such as (1) HDD or SSD, or (2) such as an SD memory card or USB flash memory. It may be of a type connected to the playback device D, or (3) may be loaded into a drive device (not shown) built in the playback device D, such as DVD or BD. Good.
  • the playback device D has a display D3 for displaying a moving image, an output terminal D4 for outputting the moving image to the outside, and a transmitting unit for transmitting the moving image as a supply destination of the moving image output by the decoding unit D2.
  • D5 may be further provided.
  • FIG. 46B illustrates a configuration in which the playback apparatus D includes all of these, but a part of the configuration may be omitted.
  • the transmission unit D5 may transmit a non-encoded moving image, or transmits encoded data encoded by a transmission encoding method different from the recording encoding method. You may do. In the latter case, an encoding unit (not shown) that encodes a moving image with a transmission encoding method may be interposed between the decoding unit D2 and the transmission unit D5.
  • Examples of such a playback device D include a DVD player, a BD player, and an HDD player (in this case, an output terminal D4 to which a television receiver or the like is connected is a main moving image supply destination).
  • a television receiver in this case, the display D3 is a main destination of moving images
  • a desktop PC in this case, the output terminal D4 or the transmission unit D5 is a main destination of moving images
  • Laptop type or tablet type PC in this case, display D3 or transmission unit D5 is the main supply destination of moving images
  • smartphone in this case, display D3 or transmission unit D5 is the main supply destination of moving images
  • Digital signage also referred to as an electronic signboard or an electronic bulletin board, and the display D3 or the transmission unit D5 is the main supply destination of moving images
  • Digital signage also referred to as an electronic signboard or an electronic bulletin board, and the display D3 or the transmission unit D5 is the main supply destination of moving images
  • the adaptive filter 70 and the adaptive offset filter 80 (80 ′) are realized by hardware by a logic circuit formed on an integrated circuit (IC chip). Alternatively, it may be realized by software using a CPU (central processing unit).
  • the moving picture decoding apparatus 1 and the moving picture encoding apparatus 2 include a CPU that executes instructions of a control program that realizes each function, a ROM (read only memory) that stores the program, and a RAM that expands the program. (Random access memory), a storage device (recording medium) such as a memory for storing the program and various data.
  • An object of the present invention is to provide a computer with program codes (execution format program, intermediate code program, source program) of control programs for the video decoding device 1 and the video encoding device 2 which are software for realizing the functions described above.
  • a readable recording medium is supplied to the moving picture decoding apparatus 1 and the moving picture encoding apparatus 2, and the computer (or CPU or MPU (micro processing unit)) is recorded on the recording medium. This can also be achieved by reading out and executing.
  • Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, and CD-ROMs (compact disc read-only memory) / MO discs (magneto-optical discs).
  • IC cards including memory cards
  • EPROM Erasable programmable read-only memory
  • EEPROM electrically erasable and programmable read-only memory
  • semiconductor memory such as flash ROM, or PLD (Programmable logic device) or FPGA (Field Programmable Gate Array) Logic circuits can be used.
  • the moving picture decoding apparatus 1 and the moving picture encoding apparatus 2 may be configured to be connectable to a communication network, and the program code may be supplied via the communication network.
  • the communication network is not particularly limited as long as it can transmit the program code.
  • the Internet an intranet, an extranet, a LAN (local area network), an ISDN (integrated services network), a VAN (value-added network), a CATV (community antenna network / cable network), a virtual private network (virtual private network) network), telephone line network, mobile communication network, satellite communication network, and the like.
  • the transmission medium constituting the communication network may be any medium that can transmit the program code, and is not limited to a specific configuration or type.
  • IEEE institute-of-electrical-and-electronic-engineers 1394, USB, power line carrier, cable TV line, telephone line, ADSL (asymmetric-digital-subscriber-loop) line, etc. wired such as IrDA (infrared-data association) or remote control , Bluetooth (registered trademark), IEEE802.11 wireless, HDR (high data rate), NFC (Near field communication), DLNA (Digital Living Network Alliance), mobile phone network, satellite line, terrestrial digital network, etc. Is possible.
  • the present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.
  • the present invention can be suitably used for an image filter that performs offset filtering on image data. Further, the present invention can be suitably applied to a decoding device that decodes encoded data and an encoding device that encodes encoded data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　適応オフセットフィルタ（６０）は、入力画像の各画素値にオフセットを加算するものであり、オフセットタイプ指定情報を参照し、入力画像の対象単位領域におけるオフセット属性を設定し、設定されたオフセット属性に含まれるオフセット値域に応じたビット幅を有するオフセットを復号し、上記入力画像の各画素値に上記オフセットを加算する。

Description

オフセット復号装置、オフセット符号化装置、画像フィルタ装置、および、データ構造
　本発明は、画像のフィルタリングを行う画像フィルタ装置に関する。また、画像フィルタによって参照されるオフセットを復号するオフセット復号装置、および、画像フィルタによってよって参照されるオフセットを符号化するオフセット符号化装置に関する。また、符号化データのデータ構造に関する。
　動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置（符号化装置）、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置（復号装置）が用いられている。具体的な動画像符号化方式としては、例えば、Ｈ．２６４／ＭＰＥＧ－４．ＡＶＣに採用されている方式、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式、その後継コーデックであるＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている方式、および、ＨＭ（HEVC TestModel）ソフトウェアに採用されている方式などが挙げられる。
　このような符号化方式において、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる最大符号化単位（LCU:Largest Coding Unit、ツリーブロックとも呼ばれる）、最大符号化単位を分割することにより得られる符号化単位（CU:Coding Unit、符号化ノードとも呼ばれる）、および、符号化単位を分割することより得られるブロックおよびパーティションからなる階層構造により管理され、多くの場合、ブロックを最小単位として符号化される。
　また、このような符号化方式においては、通常、入力画像を符号化／復号化することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像と入力画像との差分データが符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）と呼ばれる方法が知られている。
　イントラ予測においては、同一フレーム内の局所復号画像に基づいて、当該フレームにおける予測画像が順次生成される。具体的には、イントラ予測においては、通常、予測単位（例えば、ブロック）毎に、予め定められた予測方向（予測モード）群に含まれる予測方向から何れかの予測方向が選択されると共に、局所復号画像における参照画素の画素値を、選択された予測方向に外挿することによって、予測対象領域上の予測画素値が生成される。また、インター予測においては、フレーム全体が復号された参照フレーム（復号画像）内の参照画像に対し、動きベクトルを用いた動き補償を適用することによって、予測対象フレーム内の予測画像が予測単位（例えば、ブロック）毎に生成される。
　非特許文献１および非特許文献２には、復号画像のブロック歪みを低減させるデブロッキングフィルタの後段であって、適応的に決定されたフィルタ係数を用いたフィルタ処理を行う適応的ループフィルタ（「適応フィルタ」とも呼ぶ）の前段に導入された適応的オフセットフィルタ（「適応オフセットフィルタ」とも呼ぶ）が開示されている。この適応オフセットフィルタは、デブロッキングフィルタから出力される画像の各画素値に対して、適応的に設定されたオフセットを加算するというものである。
　このような適応オフセットフィルタを備えることによって、ブロック歪みをより効果的に抑制することができる。
「JCTVC-D122」,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 4th Meeting: Daegu, KR, 01/2011 「JCTVC-E049」,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 5th Meeting: Geneva, CH, 03/2011
　しかしながら、従来の適応オフセットフィルタに用いられるオフセットは、値の範囲が設定されておらず、ビット数が大きいため、オフセットを格納しておくための大きなメモリサイズが必要になるという問題を有していた。
　本発明は、上記の問題に鑑みてなされたものであり、メモリサイズの増大を抑制しつつ、ブロック歪みを低減することのできる画像フィルタ装置を実現することにある。
　上記の問題を解決するために、本発明に係る画像フィルタ装置は、複数の単位領域から構成される入力画像の各画素値にオフセットを加算する画像フィルタ装置であって、符号化データを参照し、オフセット値域を設定するオフセット属性設定手段と、上記設定されたオフセット値域に制限されたフセットを復号するオフセット復号手段と、上記入力画像の各画素値に上記オフセットを加算するフィルタ手段とを備えていることを特徴としている。
　上記のように構成された画像フィルタ装置によれば、上記オフセット属性設定手段により、オフセット値域を設定し、設定されたオフセット値域に応じたビット幅を有するオフセットを上記オフセット復号手段により復号するので、オフセットを格納しておくためのメモリサイズを効果的に削減することができる。
　したがって、上記の構成によれば、オフセットを格納しておくためのメモリサイズを削減しつつ、適切なオフセットフィルタ処理を行うことができる。
　また、本発明に係るオフセット復号装置は、入力画像の各画素値にオフセットを加算する画像フィルタによって参照される各オフセットを復号するオフセット復号装置であって、各オフセット残差を、符号化データから復号するオフセット残差復号手段と、各オフセットの予測値を、復号済みのオフセットから導出する予測値導出手段と、各オフセットを、上記予測値導出手段によって導出された予測値、及び上記オフセット残差復号手段によって復号されたオフセット残差から算出するオフセット算出手段と、を備えていることを特徴としている。
　上記のように構成されたオフセット復号装置によれば、各オフセット残差を、符号化データから復号するオフセット残差復号手段と、各オフセットの予測値を、復号済みのオフセットから導出する予測値導出手段と、各オフセットを、上記予測値導出手段によって導出された予測値、及び上記オフセット残差復号手段によって復号されたオフセット残差から算出するオフセット算出手段と、を備えているので、各オフセットをそのまま符号化する場合に比べて、符号量の少ない符号化データから、オフセットを適切に復号することができる。
　また、本発明に係る画像フィルタ装置は、入力画像に作用する画像フィルタ装置であって、入力画像における対象画素の画素値と該対象画素の周辺の画素の画素値との差分値を算出する算出手段と、上記算出手段によって参照される画素値、または、上記算出手段によって算出された差分値を所定のシフト値だけ右ビットシフトするビットシフト手段と、上記ビットシフト手段によって右ビットシフトされた差分値と０との大小関係に応じて、上記対象画素を複数のオフセットクラスの何れかに分類する分類手段と、上記対象画素の画素値に対して、上記分類手段によって分類されたオフセットクラスに関連付けられたオフセットを加算するオフセット手段と、を備えていることを特徴としている。
　上記のように構成された画像フィルタ装置によれば、右ビットシフトされた差分値と０との大小関係に応じて、上記対象画素を複数のオフセットクラスの何れかに分類し、上記対象画素の画素値に対して、上記分類手段によって分類されたオフセットクラスに関連付けられたオフセットを加算するので、クラス分類処理が、ノイズの影響を受けにくくなり符号化効率が向上する。
　また、本発明に係る画像フィルタ装置は、入力画像に作用する画像フィルタ装置であって、入力画像における対象画素の画素値と該対象画素の周辺の画素の画素値との差分値を算出する算出手段と、上記算出手段によって算出された差分値と、予め定められた第１及び第２の閾値との大小関係に応じて、上記対象画素を複数のオフセットクラスの何れかに分類する分類手段と、上記対象画素の画素値に対して、上記分類手段によって分類されたオフセットクラスに関連付けられたオフセットを加算するオフセット手段と、を備えていることを特徴としている。
　上記のように構成された画像フィルタ装置は、上記算出手段によって算出された差分値と、予め定められた第１及び第２の閾値との大小関係に応じて、上記対象画素を複数のオフセットクラスの何れかに分類し、上記対象画素の画素値に対して、上記分類手段によって分類されたオフセットクラスに関連付けられたオフセットを加算するので、クラス分類処理が、ノイズの影響を受けにくくなり符号化効率が向上する。
　また、本発明に係る画像フィルタ装置は、複数の単位領域から構成される入力画像に作用する画像フィルタ装置であって、第１及び第２のオフセットタイプのうち、入力画像における対象画素を含む対象単位領域が属するオフセットタイプを決定する決定手段と、上記対象単位領域の属するオフセットタイプ、及び上記対象画素の画素値に応じて、上記対象画素を、オフセットを加算しないオフセットクラス、及びオフセットを加算する複数のオフセットクラスの何れかに分類する分類手段と、上記対象画素の画素値に対して、上記対象単位領域の属するオフセットタイプ及び上記分類手段によって分類されたオフセットクラスに関連付けられたオフセットを加算するオフセット手段と、を備えており、上記分類手段は、上記対象画素の画素値が所定の範囲内であるとき、上記対象画素を含む単位領域が属するオフセットタイプが上記第１及び上記第２のオフセットタイプの何れの場合であっても、上記対象画素を、オフセットを加算するオフセットクラスに分類する、ことを特徴としている。
　上記のように構成された画像フィルタ装置によれば、上記対象画素の画素値が所定の範囲内であるとき、上記対象画素を含む単位領域が属するオフセットタイプが上記第１及び上記第２のオフセットタイプの何れの場合であっても、上記対象画素を、オフセットを加算するオフセットクラスに分類するので、ブロックノイズを効果的に除去することができる。したがって、上記の構成によれば、符号化効率の向上を図ることができる。
　また、本発明に係る画像フィルタ装置は、複数の単位領域から構成される入力画像の各画素値にオフセットを加算する画像フィルタ装置であって、複数のオフセットタイプのうち、処理対象の単位領域が属するオフセットタイプを決定する決定手段と、上記オフセットタイプに応じて、異なるビット幅を有するオフセットを決定すると共に、該オフセットを符号化するオフセット符号化手段と、上記入力画像の各画素値に上記決定されたオフセットを加算するフィルタ手段とを備えていることを特徴としている。
　上記のように構成された画像フィルタ装置によれば、複数のオフセットタイプのうち、処理対象の単位領域が属するオフセットタイプを決定し、決定されたオフセットタイプに応じて、異なるビット幅を有するオフセットを決定し、決定されたオフセットを、上記入力画像の各画素に加算する。また、決定されたオフセットを符号化する。
　したがって、上記の構成によれば、オフセットを格納しておくためのメモリサイズを削減しつつ、適切なオフセットフィルタ処理を行うことができる。また、上記の構成によれば、符号化データの符号量が削減されるので、符号化効率が向上する。
　また、本発明に係るオフセット符号化装置は、入力画像の各画素値にオフセットを加算する画像フィルタによって参照される各オフセットを符号化するオフセット符号化装置であって、各オフセットの予測値を、符号化済みのオフセットから導出する予測値導出手段と、各オフセットと上記予測値導出手段によって導出された予測値とからオフセット残差を算出するオフセット残差算出手段と、上記オフセット残差算出手段によって算出されたオフセット残差を符号化するオフセット残差符号化手段と、を備えていることを特徴としている。
　上記のように構成されたオフセット符号化装置によれば、各オフセットの予測値を、符号化済みのオフセットから導出する予測値導出手段と、各オフセットと上記予測値導出手段によって導出された予測値とからオフセット残差を算出するオフセット残差算出手段と、上記オフセット残差算出手段によって算出されたオフセット残差を符号化するオフセット残差符号化手段とを備えているので、符号化データの符号量を削減することができる。
　また、本発明に係る符号化データのデータ構造は、複数の単位領域から構成される入力画像の各画素値にオフセットを加算する画像フィルタによって参照される符号化データのデータ構造であって、各単位領域が属するオフセットタイプを指定するオフセットタイプ指定情報と、該オフセットタイプに応じて異なるビット幅を有するオフセットとを含んでおり、上記画像フィルタは、上記符号化データに含まれるオフセットタイプ指定情報を参照し、処理対象の単位領域が属するオフセットタイプを決定すると共に、決定したオフセットタイプに応じて異なるビット幅を有するオフセットを復号することを特徴としている。
　上記のように構成された符号化データは、オフセットタイプに応じて異なるビット幅を有するオフセットを含んでいるので、符号化データの符号量が削減される。また、上記符号化データを復号する画像フィルタは、上記オフセットタイプ指定情報を参照し、処理対象の単位領域が属するオフセットタイプを決定すると共に、決定したオフセットタイプに応じて異なるビット幅を有するオフセットを復号するので、オフセットを格納しておくためのメモリサイズを削減しつつ、適切なオフセットフィルタ処理を行うことができる。
　なお、上記オフセットタイプ指定情報は、上記入力画像毎に定められているものであってもよいし、上記単位領域毎に定められているものであってもよい。また、上記入力画像の所定のセット毎に定められているものであってもよいし、上記単位領域の所定のセット毎に定められているものであってもよい。
　以上のように、本発明に係る画像フィルタ装置は、複数の単位領域から構成される入力画像の各画素値にオフセットを加算する画像フィルタ装置であって、符号化データを参照し、オフセット値域を設定するオフセット属性設定手段と、上記設定されたオフセット値域に制限されたオフセットを復号するオフセット復号手段と、上記入力画像の各画素値に上記オフセットを加算するフィルタ手段とを備えている。
　また、本発明に係る画像フィルタ装置は、複数の単位領域から構成される入力画像の各画素値にオフセットを加算する画像フィルタ装置であって、複数のオフセットタイプのうち、処理対象の単位領域が属するオフセットタイプを決定する決定手段と、上記オフセットタイプに応じて、異なるビット幅を有するオフセットを決定すると共に、該オフセットを符号化するオフセット符号化手段と、上記入力画像の各画素値に上記決定されたオフセットを加算するフィルタ手段とを備えている。
　また、本発明に係る符号化データのデータ構造は、複数の単位領域から構成される入力画像の各画素値にオフセットを加算する画像フィルタによって参照される符号化データのデータ構造であって、各単位領域が属するオフセットタイプを指定するオフセットタイプ指定情報と、該オフセットタイプに応じて異なるビット幅を有するオフセットとを含んでおり、上記画像フィルタは、上記符号化データに含まれるオフセットタイプ指定情報を参照し、処理対象の単位領域が属するオフセットタイプを決定すると共に、決定したオフセットタイプに応じて異なるビット幅を有するオフセットを復号する。
　上記の構成によれば、オフセットを格納しておくためのメモリサイズを削減しつつ、画像フィルタに適切なオフセットフィルタ処理を行わせることができる。
本発明の第１の実施形態に係る適応オフセットフィルタの構成を示すブロック図である。 本発明の第１の実施形態に係る動画像符号化装置によって生成され、動画像復号装置によって復号される符号化データのデータ構成を示す図であり、（ａ）～（ｄ）は、それぞれ、ピクチャレイヤ、スライスレイヤ、ツリーブロックレイヤ、およびＣＵレイヤを示しており、（ｅ）はリーフでないＱＡＯＵに関するＱＡＯＵ情報の構成を示しており、（ｆ）はリーフのＱＡＯＵに関するＱＡＯＵ情報の構成を示している。 本発明の第１の実施形態に係る符号化データのオフセット情報ＯＩに含まれる各シンタックスを示す図である。 本発明の第１の実施形態に係るオフセット単位の分割の態様を示す図であり、（ａ）はsao_curr_depth＝０、（ｂ）はsao_curr_depth＝１、（ｃ）はsao_curr_depth＝２、（ｄ）はsao_curr_depth＝３、（ｅ）はsao_curr_depth＝４の場合を示している。 本発明の第１の実施形態に係る動画像復号装置の構成を示すブロック図である。 本発明の第１の実施形態を説明するための図であって、（ａ）は、対象の処理単位を構成する分割深度３の各ＱＡＯＭＵと各ＱＡＯＭＵに割り付けられたＱＡＯＵインデックスとを示しており、（ｂ）は、ＱＡＯＵインデックス０～９の各々に関連付けられたオフセットタイプ及び各オフセットタイプにおいて選択可能な各クラスに関するオフセットを示している。 本発明の第１の実施形態において、対象の処理単位に含まれるＱＡＯＭＵに付されたＱＡＯＭＵ番号の一例を示す図であって、（ａ）は、分割深度が０であるＱＡＯＭＵに付されたＱＡＯＭＵ番号を示しており、（ｂ）は、分割深度が１であるＱＡＯＭＵに付されたＱＡＯＭＵ番号を示しており、（ｃ）は、分割深度が２であるＱＡＯＭＵに付されたＱＡＯＭＵ番号を示しており、（ｄ）は、分割深度が３であるＱＡＯＭＵに付されたＱＡＯＭＵ番号を示しており、（ｅ）は、分割深度が４であるＱＡＯＭＵに付されたＱＡＯＭＵ番号を示している。 本発明の第１の実施形態に係る適応オフセットフィルタ処理部による処理の流れを示すフローチャートである。 本発明の第１の実施形態に係る適応フィルタの備えるオフセット属性設定部によって設定されるオフセットのビット深度及びシフト値の例を、画素のビット深度と共に示す図であって、（ａ）～（ｄ）は、それぞれ、パターンＳ１～Ｓ４に対応する例を示しており、（ｅ）は、（ｄ）において、ＳＴＥＰ＝２ととったの場合を示している。 本発明の第１の実施形態に係る適応オフセットフィルタによるオフセット処理を説明するための図であって、（ａ）～（ｄ）は、それぞれ、sao_type_idx＝１～４のときに参照される画素を示している。 本発明の第１の実施形態に係る適応オフセットフィルタによるオフセット処理を説明するための図であって、（ａ）は、処理対象画素ｘの画素値ｐｉｃ［ｘ］と画素ａまたはｂの画素値との大小関係を示すグラフ、及びその大小関係に応じた関数Ｓｉｇｎの値を示しており、（ｂ）は、処理対象画素ｘの画素値と、画素ａ及びｂの画素値との大小関係を示すグラフ、及びその大小関係に応じたＥｇｄｅＴｙｐｅの値を示しており、（ｃ）は、ｂ）に示した各グラフと、ｃｌａｓｓ＿ｉｄｘとの対応を示しており、（ｄ）は、ＥｇｄｅＴｙｐｅからｃｌａｓｓ＿ｉｄｘへの変換を表す変換テーブルを示している。 本発明の第１の実施形態に係る適応オフセットフィルタによるオフセット処理を説明するための図であって、（ａ）は、sao_type_idx＝５であるときのクラス分類を概略的に示しており、（ｂ）sao_type_idx＝６であるときのクラス分類を概略的に示しており、（ｃ）は、バンドオフセットが指定された場合のクラス分類の一例を示す表である。 本発明の第１の実施形態に係る適応オフセットフィルタによるオフセット処理を説明するための図であって、バンドオフセットが指定された場合のクラス分類の他の例を示す表である。 本発明の第１の実施形態に係る動画像符号化装置の構成を示すブロック図である。 本発明の第１の実施形態に係る動画像符号化装置の備える適応オフセットフィルタの構成を示すブロック図である。 本発明の第１の実施形態に係る動画像符号化装置の備える適応オフセットフィルタのオフセット算出部による処理の流れを示すフローチャートである。 本発明の第１の実施形態に係る動画像符号化装置の備える適応オフセットフィルタのオフセット情報選択部による処理の流れを示すフローチャートである。 本発明の第１の実施形態に係る動画像符号化装置の備える適応オフセットフィルタのオフセット情報選択部による処理を説明するための図であって、（ａ）は、分割深度が０及び１である場合の分割の態様を示しており、（ｂ）は、分割深度が１である場合の分割の態様を示しており、（ｃ）は、分割深度が２である場合の分割の態様を示しており、（ｄ）は、オフセット情報選択部によって決定された分割の一例を示している。 本発明の第２の実施形態に係る動画像復号装置の備える適応オフセットフィルタの構成を示すブロック図である。 本発明の第２の実施形態に係る適応オフセットフィルタを説明するための図であって、（ａ）は、関数merge_tbl[sao_type_idx]の第１の具体例を示しており、（ｂ）は、関数merge_tbl[sao_type_idx]の第２の具体例を示している。 本発明の第２の実施形態に係る動画像符号化装置の備える適応オフセットフィルタの構成を示すブロック図である。 本発明の第３の実施の形態に係る適応オフセットフィルタの構成を示すブロック図である。 上記第３の実施の形態に係る符号化データのオフセット情報ＯＩのシンタクスを示す図である。 上記第３の実施の形態を説明するための図であって、（ａ）は、対象の処理単位を構成する分割深度３の各ＱＡＯＭＵと各ＱＡＯＭＵに割り付けられたＱＡＯＵインデックスとを示す図であり、（ｂ）は、ＱＡＯＵインデックス０～９の各々に関連付けられたオフセットタイプおよび各オフセットタイプにおいて選択可能な各クラスに関するオフセットを示す図である。 上記第３の実施の形態に係るオフセット情報復号部が用いる変換テーブルを示す図である。 上記第３の実施の形態に係る適応オフセットフィルタによるオフセット処理を説明するための図であって、（ａ）は、処理対象画素ｘの画素値ｐｉｘ［ｘ］と画素ａまたはｂの画素値との大小関係を示すグラフ、およびその大小関係に応じた関数Ｓｉｇｎの値を示す図であり、（ｂ）は、処理対象画素ｘの画素値と、画素ａおよびｂの画素値との大小関係を示すグラフ、およびその大小関係に応じたＥｇｄｅＴｙｐｅの値を示す図であり、（ｃ）は、（ｂ）に示した各グラフと、ｃｌａｓｓ＿ｉｄｘとの対応を示す図であり、（ｄ）～（ｆ）は、ＥｇｄｅＴｙｐｅからｃｌａｓｓ＿ｉｄｘへの変換を表す変換テーブルを示す図である。 上記第３の実施の形態に係る適応オフセットフィルタによるオフセット処理を説明するための図であって、（ａ）は、sao_type_idx＝５であるときのクラス分類を概略的に示す図であり、（ｂ）sao_type_idx＝６であるときのクラス分類を概略的に示す図である。 上記第３の実施の形態に係る適応オフセットフィルタによるオフセット処理を説明するための図であって、（ａ）は処理対象のＱＡＯＵの階層の深度が閾値よりも小さい場合のクラス分類を概略的に示す図であり、（ｂ）は処理対象のＱＡＯＵの階層の深度が閾値以上の場合のクラス分類を概略的に示す図である。 上記第３の実施の形態において、バンドオフセットが指定された場合のクラス分類の一例を示す図であり、（ａ）は、処理対象のＱＡＯＵの階層の深度が閾値よりも小さい場合のクラス分類の一例を示す図であり、（ｂ）は処理対象のＱＡＯＵの階層の深度が閾値以上の場合のクラス分類の一例を示す図である。 上記第３の実施形態に係る動画像符号化装置の備える適応オフセットフィルタの構成を示すブロック図である。 上記第３の実施の形態において、ＱＡＯＵインデックスが「ｘ」のＱＡＯＵについて、オフセットタイプそれぞれについての２乗誤差を算出する概要を示す図である。 本発明に係る第４の実施の形態において、画素値によってＥＯとＢＯとを切り換える構成を説明するための図であり、（ａ）は、画素値によってＥＯとＢＯとを切り換える構成の概要を説明するための図であり、（ｂ）は、具体的な切り換えの値を説明するための図である、（ｃ）は、オフセット情報格納部６２１に格納されるリストメモリの内容を示す図である。 本発明に係る第５の実施の形態において、ＥＯのタイプを水平方向に限定する場合を説明するための図であり、（ａ）は効果の概要を説明するための図であり、（ｂ）は水平方向の画素の位置を説明するための図であり、（ｃ）は（ｂ）とは異なる状態を説明するための図であり、（ｄ）は（ｃ）の効果を説明するための図である。 上記第５の実施の形態において、ＥＯのタイプを水平方向に限定する場合を説明するための図であり、（ａ）および（ｂ）は参照する画素が非対称の位置にある場合を示す図であり、（ｃ）は水平エッジの概要を示す図である。 本発明に係る第６の実施の形態において、オフセットの精度を向上させる場合についての概要を示す図である。 上記第６の実施の形態において、クラス分類を細分化する場合の概要を示す図であり、（ａ）は変換テーブルを示す図であり、（ｂ）～（ｄ）はクラス分割を説明するための図である。 上記第６の実施の形態において、色差に応じてクラス分類を行う場合を説明するための図であり、（ａ）は無彩色の画素値を考慮したクラス分類を説明するための図であり、（ｂ）は無彩色の画素値を挟む２つの値域で非対称なクラス分類を説明するための図であり、（ｃ）はおよび（ｄ）は色彩チャネル（ＣｒまたはＣｂ）毎に異なるクラス分類を説明するための図であり、（ｅ）はＢＯのクラス分類を１つにする場合を説明するための図である。 本発明に係る第７の実施の形態において、オフセット情報復号部の構成を示すブロック図である。 上記第７の実施の形態において、分類される画素がないクラスがある場合の概要を示す図である。 上記第７の実施の形態において、予測候補フラグを用いる場合のシンタクスを示す図である。 上記第５の実施の形態に係るオフセット情報復号部の構成を示すブロック図である。 （ａ）は、上記第５の実施の形態に係る使用オフセットタイプ選択部の構成を示すブロック図であり、（ｂ）は、別の使用オフセットタイプ選択部の構成を示すブロック図である。 上記第５の実施の形態に係るクラス分類部の構成を示すブロック図である。 上記第３の実施形態に係るオフセット情報およびＱＡＯＵ情報のシンタクスを示す図であり、（ａ）は、オフセット情報のシンタクスを示す図であり、（ｂ）は、ＱＡＯＵ情報のシンタクスを示す図であり、（ｃ）は、（ａ）および（ｂ）に示すシンタクスを呼び出す適応オフセットフィルタ全体のシンタクスを示す図である。 動画像復号装置および動画像符号化装置が、動画像の送受信に利用できることを説明するための図であり、（ａ）は、動画像符号化装置を搭載した送信装置の構成を示したブロック図であり、（ｂ）は、動画像復号装置を搭載した受信装置の構成を示したブロック図である。 動画像復号装置および動画像符号化装置が、動画像の記録および再生に利用できることを説明するための図であり、（ａ）は、動画像符号化装置２を搭載した記録装置の構成を示したブロック図であり、（ｂ）は、動画像復号装置を搭載した再生装置の構成を示したブロックである。
　〔実施の形態１〕
　（符号化データ＃１）
　本実施形態に係る動画像符号化装置２及び動画像復号装置１の詳細な説明に先立って、動画像符号化装置２によって生成され、動画像復号装置１によって復号される符号化データ＃１のデータ構造について説明を行う。
　図２は、符号化データ＃１のデータ構造を示す図である。符号化データ＃１は、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
　符号化データ＃１におけるピクチャレイヤ以下の階層の構造を図２に示す。図２の（ａ）～（ｄ）は、それぞれ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、ツリーブロック（Tree block）ＴＢＬＫを規定するツリーブロックレイヤ、ツリーブロックＴＢＬＫに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。
　　（ピクチャレイヤ）
　ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図２の（ａ）に示すように、ピクチャヘッダＰＨ、及び、スライスＳ1～ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
　なお、以下、スライスＳ1～ＳNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化データ＃１に含まれるデータであって、添え字を付している他のデータについても同様である。
　ピクチャヘッダＰＨには、対象ピクチャの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、動画像符号化装置２が符号化の際に用いた可変長符号化のモードを示す符号化モード情報（entropy_coding_mode_flag）は、ピクチャヘッダＰＨに含まれる符号化パラメータの一例である。
　entropy_coding_mode_flagが０の場合、当該ピクチャＰＩＣＴは、ＣＡＶＬＣ（Context-based Adaptive Variable Length Coding）によって符号化されている。また、entropy_coding_mode_flagが１である場合、当該ピクチャＰＩＣＴは、ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）によって符号化されている。
　なお、ピクチャヘッダＰＨは、ピクチャー・パラメーター・セット（ＰＰＳ：Picture Parameter Set）とも称される。
　　（スライスレイヤ）
　スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図２の（ｂ）に示すように、スライスヘッダＳＨ、及び、ツリーブロックＴＢＬＫ1～ＴＢＬＫNC（ＮＣはスライスＳに含まれるツリーブロックの総数）のシーケンスを含んでいる。
　スライスヘッダＳＨには、対象スライスの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
　スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。
　また、スライスヘッダＳＨには、動画像復号装置１の備える適応フィルタによって参照されるフィルタパラメータＦＰが含まれている。なお、フィルタパラメータＦＰは、ピクチャヘッダＰＨに含まれる構成としてもよい。
　　（ツリーブロックレイヤ）
　ツリーブロックレイヤでは、処理対象のツリーブロックＴＢＬＫ（以下、対象ツリーブロックとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。なお、ツリーブロックのことを最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。
　ツリーブロックＴＢＬＫは、ツリーブロックヘッダＴＢＬＫＨと、符号化単位情報ＣＵ１～ＣＵＮＬ（ＮＬはツリーブロックＴＢＬＫに含まれる符号化単位情報の総数）とを含む。ここで、まず、ツリーブロックＴＢＬＫと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。
　ツリーブロックＴＢＬＫは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するためのパーティションに分割される。
　ツリーブロックＴＢＬＫの上記パーティションは、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。
　以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応するパーティションを、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。
　つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ１～ＣＵＮＬは、ツリーブロックＴＢＬＫを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。
　また、符号化ツリーのルート（root）は、ツリーブロックＴＢＬＫに対応付けられる。換言すれば、ツリーブロックＴＢＬＫは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。
　なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード（すなわち、当該符号化ノードの１階層上位のノードのパーティション）のサイズの縦横とも半分である。
　また、各符号化ノードのとり得るサイズは、符号化データ＃１のシーケンスパラメータセットＳＰＳに含まれる、符号化ノードのサイズ指定情報および最大階層深度（maximum hierarchical depth）に依存する。例えば、ツリーブロックＴＢＬＫのサイズが６４×６４画素であって、最大階層深度が３である場合には、当該ツリーブロックＴＢＬＫ以下の階層における符号化ノードは、３種類のサイズ、すなわち、６４×６４画素、３２×３２画素、および１６×１６画素の何れかをとり得る。
　　（ツリーブロックヘッダ）
　ツリーブロックヘッダＴＢＬＫＨには、対象ツリーブロックの復号方法を決定するために動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図２の（ｃ）に示すように、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報ＳＰ＿ＴＢＬＫ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。
　ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。
　なお、ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばツリーブロック分割情報ＳＰ＿ＴＢＬＫは、対象ツリーブロック全体またはツリーブロックの部分領域を四分割するか否かを示すフラグ(split_coding_unit_flag)の集合であってもよい。その場合、ツリーブロックの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。
　また、量子化パラメータ差分Δｑｐは、対象ツリーブロックにおける量子化パラメータｑｐと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータｑｐ’との差分ｑｐ－ｑｐ’である。
　　（ＣＵレイヤ）
　ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。
　ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
　予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
　予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。
　予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。
　イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。
　また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、Ｎ×２Ｎ、および、Ｎ×Ｎなどがある。
　また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
　変換ツリーにおける分割には、符号化ノードと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
　変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。
　　（ＣＵ情報のデータ構造）
　続いて、図２の（ｄ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容について説明する。図２の（ｄ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、ＰＴ情報ＰＴＩ、および、ＴＴ情報ＴＴＩを含む。
　スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、そのＣＵ情報ＣＵにおけるＰＴ情報ＰＴＩ、および、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。
　ＰＴ情報ＰＴＩは、ＣＵに含まれるＰＴに関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、動画像復号装置１により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図２の（ｄ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。
　予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法として、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。
　予測情報ＰＩｎｆｏは、予測タイプ情報ＰＴｙｐｅが何れの予測方法を指定するのかに応じて、イントラ予測情報、または、インター予測情報より構成される。以下では、イントラ予測が適用されるＰＵをイントラＰＵとも呼称し、インター予測が適用されるＰＵをインターＰＵとも呼称する。
　また、予測情報ＰＩｎｆｏは、対象ＰＵの形状、サイズ、および、位置を指定する情報が含まれる。上述のとおり予測画像の生成は、ＰＵを単位として行われる。予測情報ＰＩｎｆｏの詳細については後述する。
　ＴＴ情報ＴＴＩは、ＣＵに含まれるＴＴに関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数のＴＵそれぞれに関する情報の集合であり、動画像復号装置１により残差データを復号する際に参照される。なお、以下、ＴＵのことをブロックと称することもある。
　ＴＴ情報ＴＴＩは、図２の（ｄ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＴ、および、量子化予測残差ＱＤ1～ＱＤNT（ＮＴは、対象ＣＵに含まれるブロックの総数）を含んでいる。
　ＴＴ分割情報ＳＰ＿ＴＴは、具体的には、対象ＣＵに含まれる各ＴＵの形状、サイズ、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＴは、対象となるノードの分割を行うのか否かを示す情報（split_transform_unit_flag）と、その分割の深度を示す情報（trafoDepth）とから実現することができる。
　また、例えば、ＣＵのサイズが、６４×６４の場合、分割により得られる各ＴＵは、３２×３２画素から２×２画素までのサイズをとり得る。
　各量子化予測残差ＱＤは、動画像符号化装置２が以下の処理１～３を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。
　処理１：符号化対象画像から予測画像を減算した予測残差をＤＣＴ変換（Discrete Cosine Transform）する；
　処理２：処理１にて得られた変換係数を量子化する；
　処理３：処理２にて量子化された変換係数を可変長符号化する；
　なお、上述した量子化パラメータｑｐは、動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。
　　（予測情報ＰＩｎｆｏ）
　上述のとおり、予測情報ＰＩｎｆｏには、インター予測情報およびイントラ予測情報の２種類がある。
　インター予測情報には、動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータが含まれる。より具体的には、インター予測情報には、対象ＣＵの各インターＰＵへの分割パターンを指定するインターＰＵ分割情報、および、各インターＰＵについてのインター予測パラメータが含まれる。
　インター予測パラメータには、参照画像インデックスと、推定動きベクトルインデックスと、動きベクトル残差とが含まれる。
　一方、イントラ予測情報には、動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータが含まれる。より具体的には、イントラ予測情報には、対象ＣＵの各イントラＰＵへの分割パターンを指定するイントラＰＵ分割情報、および、各イントラＰＵについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラＰＵについてのイントラ予測方法（予測モード）を指定するためのパラメータである。
　　（オフセット単位）
　また、本実施の形態において、各ピクチャまたは各スライスは、４分木構造によって複数のオフセット単位（ＱＡＯＵ：Quad Adaptive Offset Unitとも呼ぶ）に再帰的に分割される。ここで、ＱＡＯＵとは、本実施の形態に係る適応オフセットフィルタによるオフセットフィルタ処理の処理単位である。
　図２（ｅ）～（ｆ）に示すように、各ＱＡＯＵに関する情報であるＱＡＯＵ情報は、自身が更に分割されるのか否かを示すsao_split_flagを含んでいる。sao_split_flagは、より具体的には、後述する引数（sao_curr_depth、ys、xs）によって指定されるものであり、sao_split_flag[sao_curr_depth][ys][xs]とも表記する。
　あるＱＡＯＵに含まれるsao_split_flagが、該ＱＡＯＵがさらに分割されるものであることを示している場合（すなわち、当該ＱＡＯＵがリーフではない場合）には、図２（ｅ）に示すように、該ＱＡＯＵに関するＱＡＯＵ情報には、該ＱＡＯＵに含まれる複数のＱＡＯＵの各々に関するＱＡＯＵ情報が含まれる。
　一方で、あるＱＡＯＵに含まれるsao_split_flagが、該ＱＡＯＵがそれ以上分割されないものであることを示している場合（すなわち、当該ＱＡＯＵがリーフである場合）には、図２（ｆ）に示すように、該ＱＡＯＵに関するＱＡＯＵ情報には、該ＱＡＯＵに関するオフセット情報ＯＩが含まれる。また、オフセット情報ＯＩには、図２（ｆ）に示すように、オフセットタイプを指定するオフセットタイプ指定情報ＯＴＩ、及び、オフセットタイプに応じて定まるオフセット群が含まれている。さらに、図２（ｆ）に示すように、オフセット群には、複数のオフセットが含まれている。
　なお、符号化データ中のオフセットは量子化された値である。また、符号化データ中のオフセットは、何らかの予測、例えば線形予測を用いることによって得られる予測残差であっても良い。また、一定の単位領域毎に後述する画素ビット深度が異なって指定される場合、画素ビット深度に応じてオフセットのビット深度、オフセット値域、及びシフト値を変更する本実施の形態においては、オフセットタイプ指定情報ＯＴＩに処理対象領域の画素ビット深度を含めることも可能である。
　オフセット情報ＯＩについて、参照する図面を代えて説明すれば以下の通りである。
　図３は、オフセット情報ＯＩ（図３においてsao_offset_param()と表記）に含まれる各シンタックスを示す図である。
　図３に示すように、オフセット情報ＯＩには、シンタックスsao_type_idx[sao_curr_depth][ys][xs]が含まれている。また、sao_type_idx[sao_curr_depth][ys][xs]が０でない場合、オフセット情報ＯＩには、sao_offset[sao_curr_depth][ys][xs][i]が含まれている。
　（sao_curr_depth、ys、xs）
　sao_type_idx及びsao_offsetの引数であるsao_curr_depthは、ＱＡＯＵの分割深度を表すインデックスであり、ys及びxsは、それぞれ、ＱＡＯＵ（または後述するＱＡＯＭＵ）のｙ方向の位置及びｘ方向の位置を表すためのインデックスである。
　図４（ａ）～（ｅ）は、sao_curr_depthの値に応じたＱＡＯＵの分割の態様を示す図であり、（ａ）はsao_curr_depth＝０、（ｂ）はsao_curr_depth＝１、（ｃ）はsao_curr_depth＝２、（ｄ）はsao_curr_depth＝３、（ｅ）はsao_curr_depth＝４の場合を示している。図４（ａ）～（ｅ）に示すように、各ＱＡＯＵは、sao_curr_depth、及び（xs、ys）によって指定される。
　また、図４（ａ）に示すように、sao_curr_depth＝０であるとき、xs及びysはそれぞれ０であり、図４（ｂ）に示すように、sao_curr_depth＝１であるとき、xs及びysはそれぞれ０及び１の何れかの値をとり得る。また、図４（ｃ）に示すように、sao_curr_depth＝２であるとき、xs及びysはそれぞれ０、１、２及び３の何れかの値をとり得る。一般に、与えられたsao_curr_depthに対して、xs及びysは、それぞれ０～２sao_curr_depth－１の値をとり得る。
　　（sao_type_idx）
　sao_type_idx[sao_curr_depth][ys][xs]は、上述のオフセットタイプ指定情報ＯＴＩに対応するものであり、各ＱＡＯＵについてのオフセットタイプを指定するためのシンタックスである。以下では、sao_type_idxのことを単にオフセットタイプと呼称することもある。
　本実施の形態において、sao_type_idx[sao_curr_depth][ys][xs]は、０から６までの整数値をとる。sao_type_idx[sao_curr_depth][ys][xs]＝０は、対象ＱＡＯＵにおけるオフセットフィルタ前画像（例えば、後述するデブロック済復号画像Ｐ＿ＤＢ）に対して、オフセットフィルタ処理を行わないことを示しており、sao_type_idx[sao_curr_depth][ys][xs]＝１～４は、対象ＱＡＯＵにおけるオフセットフィルタ前画像に対して、エッジオフセット処理を行うことを示しており、sao_type_idx[sao_curr_depth][ys][xs]＝５～６は、対象ＱＡＯＵにおけるオフセットフィルタ前画像に対して、バンドオフセット処理を行うことを示している。エッジオフセット処理及びバンドオフセット処理の具体的内容については後述する。
　　（sao_offset）
　sao_offset[sao_curr_depth][ys][xs][i]は、本実施の形態に係る適応オフセットフィルタによるオフセットフィルタ処理において、対象ＱＡＯＵに含まれる各画素に加算されるオフセットの具体的な値を表すシンタックスである。本実施の形態では、sao_offsetのことを単にオフセットと呼称することもある。
　sao_offset[sao_curr_depth][ys][xs][i]は、引数sao_curr_depth、ys及びxsに加えて、インデックスiによって指定される。ここで、インデックスiは、クラスを指定するためのインデックスであり、class_idxとも表記する。インデックスiは、sao_type_idx[sao_curr_depth][ys][xs]の値が１～４の何れかである場合（すなわち、エッジオフセットの場合）、ｉ＝０～４の何れかの整数値をとる。また、sao_type_idx[sao_curr_depth][ys][xs]の値が５～６の何れかである場合（すなわち、バンドオフセットの場合）、ｉ＝０～１６の何れかの整数値をとる。なお、後述するように、何れの場合もｉ＝０は、オフセットを加算しないことを表している。
　後述するように、本実施の形態に係る適応オフセットフィルタは、対象ＱＡＯＵに含まれる対象画素を上記複数のクラスの何れかに分類し、該対象画素に対して、該対象画素が分類されたクラスについてのオフセットOffsetを加算する。
　また、図３に示したDescriptor（記述子）ue(v)は、この記述子に関連付けられたシンタックスは符号なしの数値であり、値が可変長符号化されることを示しており、se(v)は、この記述子に関連付けられたシンタックスは符号付きの数値であり、符号と絶対値に分けて可変長符号化されることを意味している。
　（動画像復号装置１）
　以下では、本実施の形態に係る動画像復号装置１について図１及び図５～図１３を参照して説明する。動画像復号装置１は、その一部に、Ｈ．２６４／ＭＰＥＧ－４．ＡＶＣに採用されている方式、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式、その後継コーデックであるＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている方式、及び、ＨＭ（HEVC TestModel）ソフトウェアに採用されている技術を含んでいる。
　図５は、動画像復号装置１の構成を示すブロック図である。図５に示すように、動画像復号装置１は、可変長符号復号部１３、動きベクトル復元部１４、バッファメモリ１５、インター予測画像生成部１６、イントラ予測画像生成部１７、予測方式決定部１８、逆量子化・逆変換部１９、加算器２０、デブロッキングフィルタ４１、適応フィルタ５０、及び適応オフセットフィルタ６０を備えている。動画像復号装置１は、符号化データ＃１を復号することによって動画像＃２を生成するための装置である。
　可変長符号復号部１３は、各パーティションに関する予測パラメータＰＰを、符号化データ＃１から復号する。すなわち、インター予測パーティションに関しては、参照画像インデックスＲＩ、推定動きベクトルインデックスＰＭＶＩ、及び、動きベクトル残差ＭＶＤを符号化データ＃１から復号し、これらを動きベクトル復元部１４に供給する。一方、イントラ予測パーティションに関しては、（１）パーティションのサイズを指定するサイズ指定情報、および、（２）予測インデックスを指定する予測インデックス指定情報を符号化データ＃１から復号し、これをイントラ予測画像生成部１７に供給する。また、可変長符号復号部１３は、ＣＵ情報を符号化データから復号し、これを予測方式決定部１８に供給する（図示省略）。更に、可変長符号復号部１３は、各ブロックに関する量子化予測残差ＱＤ、及び、そのブロックを含むツリーブロックに関する量子化パラメータ差分Δｑｐを符号化データ＃１から復号し、これらを逆量子化・逆変換部１９に供給する。また、可変長符号復号部１３は、符号化データ＃１からＱＡＯＵ情報を抽出し、抽出したＱＡＯＵ情報を適応オフセットフィルタ６０に供給する。
　動きベクトル復元部１４は、各インター予測パーティションに関する動きベクトルｍｖを、そのパーティションに関する動きベクトル残差ＭＶＤと、他のパーティションに関する復元済みの動きベクトルｍｖ’とから復元する。具体的には、（１）推定動きベクトルインデックスＰＭＶＩにより指定される推定方法に従って、復元済みの動きベクトルｍｖ’から推定動きベクトルｐｍｖを導出し、（２）導出した推定動きベクトルｐｍｖと動きベクトル残差ＭＶＤとを加算することによって動きベクトルｍｖを得る。なお、他のパーティションに関する復元済みの動きベクトルｍｖ’は、バッファメモリ１５から読み出すことができる。動きベクトル復元部１４は、復元した動きベクトルｍｖを、対応する参照画像インデックスＲＩと共に、インター予測画像生成部１６に供給する。なお、双方向予測（重み付き予測）を行うインター予測パーティションについては、復元した２つの動きベクトルｍｖ１及びｍｖ２を、対応する参照画像インデックスＲＩ１及びＲＩ２と共に、インター予測画像生成部１６に供給する。
　インター予測画像生成部１６は、各インター予測パーティションに関する動き補償画像ｍｃを生成する。具体的には、動きベクトル復元部１４から供給された動きベクトルｍｖを用いて、同じく動きベクトル復元部１４から供給された参照画像インデックスＲＩによって指定されるフィルタ済復号画像Ｐ＿ＦＬ’から動き補償画像ｍｃを生成する。ここで、フィルタ済復号画像Ｐ＿ＦＬ’は、既に復号が完了した復号画像Ｐに対して、デブロッキングフィルタ４１によるデブロック処理、適応オフセットフィルタ６０によるオフセットフィルタ処理、及び適応フィルタ５０による適応的フィルタ処理を施すことによって得られる画像であり、インター予測画像生成部１６は、フィルタ済復号画像Ｐ＿ＦＬ’を構成する各画素の画素値をバッファメモリ１５から読み出すことができる。インター予測画像生成部１６によって生成された動き補償画像ｍｃは、インター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒとして予測方式決定部１８に供給される。なお、双方向予測（重み付き予測）を行うインター予測パーティションについては、（１）動きベクトルｍｖ１を用いて、参照画像インデックスＲＩ１によって指定されたフィルタ済復号画像Ｐ＿ＦＬ１’から動き補償画像ｍｃ１を生成し、（２）動きベクトルｍｖ２を用いて、参照画像インデックスＲＩ２によって指定されたフィルタ済復号画像Ｐ＿ＦＬ２’とから動き補償画像ｍｃ２を生成し、（３）動き補償画像ｍｃ１と動き補償画像ｍｃ２との加重平均にオフセット値を加えることによってインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを生成する。
　イントラ予測画像生成部１７は、各イントラ予測パーティションに関する予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。具体的には、まず、符号化データ＃１から復号された予測モードを参照し、該予測モードを対象パーティションに対して、例えば、ラスタスキャン順に割り付ける。続いて、当該予測モードの示す予測方法に従って、復号画像Ｐから予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。イントラ予測画像生成部１７によって生成されたイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａは、予測方式決定部１８に供給される。
　また、イントラ予測画像生成部１７は、対象パーティションのサイズ、および、対象パーティションに割り付けられた予測モードを示す情報であるイントラ符号化モード情報ＩＥＭを適応フィルタ５０に供給する。
　予測方式決定部１８は、ＣＵ情報に基づいて、各パーティションがインター予測を行うべきインター予測パーティションであるのか、イントラ予測を行うべきイントラ予測パーティションであるのかを決定する。そして、前者の場合には、インター予測画像生成部１６にて生成されたインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを予測画像Ｐｒｅｄとして加算器２０に供給し、後者の場合には、イントラ予測画像生成部１７にて生成されたイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを予測画像Ｐｒｅｄとして加算器２０に供給する。
　逆量子化・逆変換部１９は、（１）量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ係数を逆ＤＣＴ（Discrete Cosine Transform）変換し、（３）逆ＤＣＴ変換によって得られた予測残差Ｄを加算器２０に供給する。なお、量子化予測残差ＱＤを逆量子化する際に、逆量子化・逆変換部１９は、可変長符号復号部１３から供給された量子化パラメータ差分Δｑｐから量子化ステップＱＰを導出する。量子化パラメータｑｐは、直前に逆量子化／逆ＤＣＴ変換したツリーブロックに関する量子化パラメータｑｐ’に量子化パラメータ差分Δｑｐを加算することによって導出でき、量子化ステップＱＰは、量子化ステップｑｐからＱＰ＝２ｐｑ／６によって導出できる。また、逆量子化・逆変換部１９による予測残差Ｄの生成は、ブロック（変換単位）を単位として行われる。
　加算器２０は、予測方式決定部１８から供給された予測画像Ｐｒｅｄと、逆量子化・逆変換部１９から供給された予測残差Ｄとを加算することによって復号画像Ｐを生成する。
　デブロッキングフィルタ４１は、復号画像Ｐにおけるブロック境界、またはＣＵ境界を介して互いに隣接する画素の画素値の差が予め定められた閾値よりも小さい場合に、復号画像Ｐにおける当該ブロック境界、または当該ＣＵ境界に対してデブロッキング処理を施すことによって、当該ブロック境界、または当該ＣＵ境界付近の画像の平滑化を行う。デブロッキングフィルタ４１によりデブロッキング処理が施された画像は、デブロック済復号画像Ｐ＿ＤＢとして、適応オフセットフィルタ６０に出力される。
　適応オフセットフィルタ６０は、デブロッキングフィルタ４１から供給されるデブロック済復号画像Ｐ＿ＤＢに対して、符号化データ＃１から復号されたオフセットを用いたオフセットフィルタ処理を、ＱＡＯＵを処理単位として施すことによってオフセットフィルタ済復号画像Ｐ＿ＯＦを生成する。生成されたオフセットフィルタ済復号画像Ｐ＿ＯＦは、適応オフセットフィルタ６０に供給される。適応オフセットフィルタ６０の具体的な構成については、後述するため、ここでは説明を省略する。
　適応フィルタ５０は、適応オフセットフィルタ６０から供給されるオフセットフィルタ済復号画像Ｐ＿ＯＦに対して、符号化データ＃１から復号されたフィルタパラメータＦＰを用いたフィルタ処理を施すことによって、フィルタ済復号画像Ｐ＿ＦＬを生成する。適応フィルタ５０によりフィルタ処理が施された画像は、フィルタ済復号画像Ｐ＿ＦＬとして外部に出力されると共に、可変長符号復号部１３によって符号化データから復号されたＰＯＣ指定情報と関連付けてバッファメモリ１５に格納される。
　（適応オフセットフィルタ６０）
　図１は、適応オフセットフィルタ６０の構成を示すブロック図である。図１に示すように、適応オフセットフィルタ６０は、適応オフセットフィルタ情報復号部６１及び適応オフセットフィルタ処理部６２を備えている。
　また、図１に示すように、適応オフセットフィルタ情報復号部６１は、オフセット情報復号部６１１、ＱＡＯＵ構造復号部６１２、及びオフセット属性設定部６１３を備えている。
　オフセット情報復号部６１１は、符号化データ＃１に含まれているＱＡＯＵ情報を参照し、ＱＡＯＵ情報に含まれているオフセット情報ＯＩを復号する。また、オフセット情報ＯＩを復号することによって得られたsao_type_idx[sao_curr_depth][ys][xs]及びsao_offset[sao_curr_depth][ys][xs][i]の各値を、それぞれの引数（sao_curr_depth、ys、xs）及び（sao_curr_depth、ys、xs、i）に関連付けて、オフセット情報格納部６２１に供給する。
　ＱＡＯＵ構造復号部６１２は、ＱＡＯＵ情報に含まれているsao_split_flag[sao_curr_depth][ys][xs]を復号することによって、ＱＡＯＵの分割構造を決定し、決定されたＱＡＯＵの分割構造を表すＱＡＯＵ構造情報を、オフセット情報格納部６２１に供給する。
　オフセット属性設定部６１３は、オフセットのビット深度（ＳＡＯ＿ＤＥＰＴＨとも呼称する）とオフセットの値域とを決定する。ここでは、オフセットのビット深度は、オフセット属性設定部６１３に入力される図示されない画素ビット深度（ＰＩＣ＿ＤＥＰＴＨとも呼称する）から決定する。画素ビット深度とは、適応オフセットフィルタ６０の入力画像を構成する画素値の値域をビット幅で示すものであり、画素ビット深度がＮビットのとき、画素値は０から2N-1の範囲を取る。例えば、画素ビット深度が８ビットのとき、画素値は０から２５５の範囲を取りうる。適応オフセットフィルタ６０の入力画像は、動画像復号装置１の復号画像、もしくは、動画像符号化装置２の局所復号画像である場合には、復号画像／局所復号画像のビット深度が用いられる。適応オフセットフィルタ６０の入力画像の精度及び出力画像の精度は画素ビット深度である。
　画素ビット深度は、符号化データ＃１中のシンタックスを用いて定められる値を復号して用いることができる。例えば、H.264/AVCの場合には、シーケンスパラメータセット中のbit_depth_luma_minus8を用いて定めることができる。さらに、別の形態として、画素ビット深度は処理対象の単位領域毎に定まってもよく、その場合は該単位領域のヘッダから画素ビット深度を復号する。単位領域の画素ビット深度は、適応オフセットフィルタ６０の入力画像を復号するための符号化データ＃１中のパラメータ情報やヘッダに含まれていても良いし、ＱＡＯＵ情報の一部として含まれていても良い。入力画像を復号するためのパラメータ情報およびヘッダとしては、ピクチャパラメータヘッダ、スライスヘッダ、ＬＣＵ、ＣＵなどに画素ビット深度を含めておいても良い。また、ＱＡＯＵ情報の一部としては、リーフＱＡＯＵに画素ビット深度を含めておいても良いし、所定の階層（例えば最上位階層のＱＡＯＵ、や、第１階層のＱＡＯＵ）のＱＡＯＵ情報に画素ビット深度を含めておいても構わない。また、画素ビット深度の符号化としては、８ビットからの差分値として符号化することが好適である。ＱＡＯＵ情報では、画素ビット深度の他、シフト値を直接符号化することも適当である。また、シフト値は８ビットを超える場合にのみ符号化することが適当である。ここでシフト値とは、逆量子化を行うために必要なビットシフト量を示す。逆量子化に用いるパラメータとしてはシフト値の他、ステップ値でも良い。この場合、オフセットの逆量子化はステップ値との積、オフセットの量子化はステップ値による除算で実行される。
　また、オフセットのビット深度とは、符号化データ＃１中に符号化されるオフセットの精度を示す値である。符号化データ＃１に含まれるオフセットは量子化されており、この量子化されたオフセットは復号後、後述のオフセット導出部６２５によって、画素ビット深度に合わせたビット深度に逆量子化される。また、後述のオフセット加算部６２６にて、逆量子化されたオフセットの加算が行われる。オフセットのビット深度は、画素ビット深度以下の値を持つ。オフセットのビット深度が画素ビット深度よりもｋビットだけ小さい場合には、符号化されるオフセットの値は、2kをオフセットの量子化ステップとして量子化された値を意味する。復号したビット深度から画素ビット深度への変換は、後述するオフセット導出部６２５で行われる。
　オフセット属性設定部６１３は、さらに、決定したオフセットのビット深度によりオフセット値域を設定する。さらに、オフセットの画素ビット深度とオフセット値域とからシフト値を設定する。設定されたオフセット値域およびシフト値はオフセット情報格納部６２１およびオフセット情報復号部６１１に供給される。オフセットのビット深度の決定とシフト値の設定は後述するパターンＳ１～Ｓ６のいずれかの形態で行われる。オフセット値域の設定は後述するパターンＣ１、パターンＣ２のいずれかの形態で行われる。オフセット値域及びシフト値などオフセットに共通する属性をオフセット属性と呼ぶ。一方で、図１に示すように、適応オフセットフィルタ処理部６２は、オフセット情報格納部６２１、ＱＡＯＵ制御部６２２、オフセットタイプ導出部６２３．クラス分類部６２４、オフセット導出部６２５、及びオフセット加算部６２６を備えている。
　オフセット情報格納部６２１は、ＱＡＯＵ構造情報、sao_type_idx[sao_curr_depth][ys][xs]、及びsao_offset[sao_curr_depth][ys][xs][i]に基づいて、各ＱＡＯＵについて指定されたオフセットタイプ及び該オフセットタイプにおいて選択可能な各クラスに関するオフセットの具体的な値を管理及び格納するための構成であり、マップメモリ及びリストメモリを備えている。
　マップメモリには、分割深度に応じて定まる各オフセット最小単位（QAOMU:Quad Adaptive Offset Minimum Unitとも呼称する）に割り付けられた後述するＱＡＯＵインデックスが格納されている。図６（ａ）では、マップメモリについて説明をする。図６（ａ）は、マップメモリに格納されるＱＡＯＵインデックスの一例を説明するためのものであって、対象の処理単位（例えばＬＣＵ）を構成する分割深度３の各ＱＡＯＭＵと各ＱＡＯＭＵに割り付けられたＱＡＯＵインデックスとを示す図である。図６（ａ）では、簡易的にインデックス０～９をＱＡＯＵの分割深度を考慮せずにＱＡＯＵを指定している。図６（ａ）に示す例においては、ＱＡＯＵインデックス＝Ｉによって指定されるＱＡＯＵをＱＡＯＵＩと表記している。また、図６（ａ）における細線はＱＡＯＭＵの境界を示しており、太線は、ＱＡＯＵの境界を示している。
　図６（ａ）に示すように、ＱＡＯＵ０は、４つのＱＡＯＭＵから構成されており、これら４つのＱＡＯＭＵには、ＱＡＯＵインデックスとして０が割り付けられている。一方で、ＱＡＯＵ３は、１つのＱＡＯＭＵから構成されており、このＱＡＯＭＵには、ＱＡＯＵインデックスとして３が割り付けられている。このように、マップメモリには、各ＱＡＯＭＵに割り付けられたＱＡＯＵインデックスが格納されている。
　一方で、リストメモリには、各ＱＡＯＵインデックス、該ＱＡＯＵインデックスに関連付けられたオフセットタイプ、及び該オフセットタイプにおいて選択可能な各クラスに関するオフセットの具体的な値とが互いに関連付けられて格納されている。オフセット情報格納部６２１は、オフセット属性設定部６１３により設定されるオフセット値域に値の範囲が制限されたオフセットを格納する。
　図６（ｂ）は、リストメモリに格納される情報の一例を説明するためのものであって、ＱＡＯＵインデックス０～９の各々に関連付けられたオフセットタイプ及び各オフセットタイプにおいて選択可能な各クラスに関するオフセットを示している。図６（ｂ）における「ｘｘｘ」は、互いに異なり得る具体的な数値を表しているものとする。
　また、図６（ｂ）における「ＢＯ＿１」は、sao_type_idx＝５によって指定されるオフセットタイプを表している。また、「ＥＯ＿１」は、sao_type_idx＝１によって指定されるオフセットタイプを表している。このように、sao_type_idx＝１、２、３、４によって指定されるオフセットタイプであるエッジオフセットをそれぞれＥＯ＿１、２、３、４とも表記し、sao_type_idx＝５、６によって指定されるオフセットタイプであるバンドオフセットをそれぞれＢＯ＿１、２とも表記する。
　図６（ｂ）に示すように、オフセットタイプがバンドオフセットである場合、該オフセットタイプに関してリストメモリに格納されるオフセットは、オフセット１～オフセット１６の合計１６個である。ここで、オフセット１～オフセット１６は、sao_type_idx[sao_curr_depth][ys][xs]の値が５または６である場合の、sao_offset[sao_curr_depth][ys][xs][1]～sao_offset[sao_curr_depth][ys][xs][16]によってそれぞれ指定される値のことを指す。一方で、オフセットタイプがエッジオフセットである場合、該オフセットタイプに関してリストメモリに格納されるオフセットは、オフセット１～４の合計４個である。ここで、オフセット１～４は、sao_type_idx[sao_curr_depth][ys][xs]の値が１、２、３、４の何れかである場合の、sao_offset[sao_curr_depth][ys][xs][1]～sao_offset[sao_curr_depth][ys][xs][4]によってそれぞれ指定される値のことを指す。オフセット５～１６にはなにも格納されない。
　また、リストメモリに格納されている各オフセットのメモリサイズは、オフセット属性設定部６１３から供給されるオフセット値域により決定される。オフセット値域が-24～24-1である場合、オフセット１個あたり５ビットで表現が可能であり、５ビットのメモリサイズが必要である。
　なお、各ＱＡＯＭＵには、ＱＡＯＭＵ番号が付されており、このＱＡＯＭＵ番号によって各ＱＡＯＭＵは互いに識別可能である。以下では、ＱＡＯＭＵ番号がＮQであるＱＡＯＭＵをＱＡＯＭＵＮQとも表記する。
　ＱＡＯＵインデックスは分割深度０から最大の分割深度までを通して、指定されるＱＡＯＵのブロックの番号である。最大の分割深度が４の場合は、分割深度の全ブロック（１＋４＋１６＋６４＋２５６＝３４１個）に対して、図７に示すように、０～３４０の値がＱＡＯＵインデックスによって指定される。
　動画像復号装置１で用いるオフセット情報格納部６２１においては、全ての分割深度の全てのＱＡＯＵのオフセットを格納する必要がないため、３４１個のメモリ領域を確保する必要がなく、入力されるＱＡＯＵ情報で指定された構造で実際に用いられるＱＡＯＵの数だけのメモリ領域があればよい。最大の分割深度が４のとき、そのブロック数は２５６以下であるため、２５６個のマップメモリ及びリストメモリがあれば十分である。この場合、オフセット情報格納部６２１で用いるＱＡＯＵインデックスは、リーフＱＡＯＵを識別するための一意のインデックス、例えば、リースＱＡＯＵを復号する度に１づつインクリメントする０から２５５以下のインデックスを用いる。また、オフセット情報格納部６２１には、最大分割深度に対応するＱＡＯＵ情報を単位として、マップリストを格納することも可能である。この場合、オフセット情報格納部６２１で用いるＱＡＯＵインデックスは０～２５５の番号を用い、これは図７におけるＱＡＯＭＵ番号８５～３４０に対応する。
　図７（ａ）～（ｅ）は、対象の処理単位（例えばＬＣＵ）に含まれるＱＡＯＭＵに付されたＱＡＯＭＵ番号の一例を示す図であって、（ａ）は、分割深度が０であるＱＡＯＭＵに付されたＱＡＯＭＵ番号を示しており、（ｂ）は、分割深度が１であるＱＡＯＭＵに付されたＱＡＯＭＵ番号を示しており、（ｃ）は、分割深度が２であるＱＡＯＭＵに付されたＱＡＯＭＵ番号を示しており、（ｄ）は、分割深度が３であるＱＡＯＭＵに付されたＱＡＯＭＵ番号を示しており、（ｅ）は、分割深度が４であるＱＡＯＭＵに付されたＱＡＯＭＵ番号を示している。
　ＱＡＯＵ制御部６２２は、適応オフセットフィルタ処理部６２に含まれる各部を制御する。また、ＱＡＯＵ制御部６２２は、ＱＡＯＵ構造情報を参照して、デブロック済復号画像Ｐ＿ＤＢを１または複数のＱＡＯＵに分割し、各ＱＡＯＵを所定の順序でスキャンする。また、処理対象とする対象ＱＡＯＭＵを表すＱＡＯＭＵ番号をオフセットタイプ導出部６２３に供給する。
　オフセットタイプ導出部６２３は、オフセット情報格納部６２１のマップメモリ及びリストメモリを参照し、ＱＡＯＵ制御部６２２から供給されたＱＡＯＭＵ番号によって指定されるオフセットタイプを導出する。また、導出したオフセットタイプを、クラス分類部６２４に供給する。
　クラス分類部６２４は、対象ＱＡＯＵに含まれる各画素を、オフセットタイプ導出部６２３から供給されるオフセットタイプにおいて選択可能な複数のクラスの何れかに分類する。また、当該オフセットタイプと、各画素が分類されたクラスを示すクラスインデックスとをオフセット導出部６２５に供給する。なお、クラス分類部６２４による具体的な分類処理については後述するためここでは説明を省略する。
　オフセット導出部６２５は、オフセット情報格納部６２１のリストメモリを参照し、対象ＱＡＯＵに含まれる各画素について、クラス分類部６２４から供給されるオフセットタイプ及びクラスインデックスによって指定されるオフセットを導出する。さらにオフセット属性設定部６１３によって設定されたシフト値だけ、オフセットを左側へビットシフトするオフセット逆シフト部（不図示）を備える。オフセット逆シフト部は、オフセットのビット深度と画素ビット深度とを合わせるように、該オフセットの逆量子化を行う。このような逆量子化を行うことで、後述するオフセット加算部６２６の加算処理において、同一のビット深度にて、画素値とオフセットの加算を行うことが可能である。各画素について逆量子化したオフセットは、オフセット加算部６２６に供給される。
　オフセット加算部６２６は、対象ＱＡＯＵにおけるデブロック済復号画像Ｐ＿ＤＢの各画素に対して、オフセット導出部６２５から供給されるオフセットを加算する。オフセット加算部６２６は、デブロック済復号画像Ｐ＿ＤＢに含まれる全てのＱＡＯＵに対して処理を行って得られる画像をオフセットフィルタ済復号画像Ｐ＿ＯＦとして出力する。
　図８は、適応オフセットフィルタ処理部６２による処理の流れを示すフローチャートである。
　（ステップＳ１０１）
　まず、ＱＡＯＵ制御部６２２は、オフセット情報格納部６２１からＱＡＯＵ構造情報を取得する。
　（ステップＳ１０２）
　続いて、ＱＡＯＵ制御部６２２は、処理対象とする対象ＱＡＯＭＵのＱＡＯＭＵ番号をループ変数とする第１のループを開始する。
　（ステップＳ１０３）
　ＱＡＯＵ制御部６２２は、オフセットタイプ導出部６２３にＱＡＯＭＵ番号を供給する。ＱＡＯＵ制御部６２２による制御に基づき、オフセットタイプ導出部６２３は、ＱＡＯＵ制御部６２２から供給されたＱＡＯＭＵ番号によって指定されるオフセットタイプを、オフセット情報格納部６２１のマップメモリ及びリストメモリから読み出す。また、オフセットタイプ導出部６２３は、読み出したオフセットタイプを、クラス分類部６２４に供給する。
　（ステップＳ１０４）
　続いて、ＱＡＯＵ制御部６２２は、対象ＱＡＯＭＵに含まれる各画素の画素番号をループ変数とする第２のループを開始する。ここで、画素番号とは、対象ＱＡＯＭＵに含まれる画素を互いに識別するためのものであって、例えば、対象ＱＡＯＭＵに含まれる各画素に対して、所定のスキャン順に付されたものを用いることができる。また、そのような画素番号に代えて、対象ＱＡＯＭＵに含まれる各画素のｘ座標及びｙ座標をループ変数としてもよい。
　（ステップＳ１０５）
　続いて、クラス分類部６２４は、ＱＡＯＵ制御部６２２による制御に基づき、処理対象の画素を、オフセットタイプ導出部６２３から供給されるオフセットタイプにおいて選択可能な複数のクラスの何れかに分類する。また、当該オフセットタイプと、処理対象の画素が分類されたクラスを示すクラスインデックスとをオフセット導出部６２５に供給する。
　（ステップＳ１０６）
　続いて、オフセット導出部６２５は、ＱＡＯＵ制御部６２２による制御に基づき、処理対象の画素に対して加算すべきオフセットをオフセット情報格納部６２１から読み出す。すなわち、クラス分類部６２４から供給されるオフセットタイプ及びクラスインデックスによって指定されるオフセットを読み出す。また、処理対象の画素について導出されたオフセットをオフセット属性設定部６１３から供給されるシフト値だけ左側へビットシフトすることで逆量子化したオフセットを、オフセット加算部６２６に供給する。
　（ステップＳ１０７）
　続いて、オフセット加算部６２６は、ＱＡＯＵ制御部６２２による制御に基づき、デブロック済復号画像Ｐ＿ＤＢの処理対象画素の画素値に対して、オフセット導出部６２５から供給されるオフセットを加算する。
　（ステップＳ１０８）
　本ステップは、第２のループの終端である。
　（ステップＳ１０９）
　本ステップは、第１のループの終端である。
　なお、ステップＳ１０３にて、オフセットタイプ導出部６２３が読み出したオフセットが０（オフセットタイプ＝０）であるとき、ＱＡＯＵ制御部６２２は、処理対象のＱＡＯＭＵの各画素に対してオフセットを加算しないようオフセット加算部６２６を制御する。
　また、ステップＳ１０５にて、対象画素がクラス０（クラスインデックス＝０）に分類された場合、該対象画素に対しては、オフセットを加算しないようオフセット加算部６２６を制御する。
　（オフセットの格納に必要なビット数）
　続いて、オフセット（sao_offset）の格納に必要なビット数について説明する。画素ビット深度が１０ビットで、オフセットのビット深度が９ビットである場合、オフセットは-29～29-1の値を取り、オフセット１つあたりのビット数は１０ビットと大きなビット数を有することになる。このように大きなビット数のオフセットを復号する場合、オフセット情報格納部６２１は、オフセットを格納しておくためのメモリサイズとして、１ピクチャあたり最大で、
　　（１ピクチャあたりのＱＡＯＭＵの総数）×（クラス数）×（オフセットあたりのビット数）＝２５６×１６×１０（ビット）＝４０９６０（ビット）
を有していることが要求される。１ピクチャあたりのＱＡＯＭＵの総数は、復号装置では２５６個であるが、後述する符号化装置では３４１個用いるため、さらに大きなメモリが必要になる。このように、オフセットの値域を制限せず、オフセットのビット深度で可能な値域を用いる場合には、オフセットのビット数が大きいため、オフセットを格納しておくための大きなメモリサイズが必要になる。
　（ＳＡＯ＿ＤＥＰＴＨと符号化効率の関係）
　ＳＡＯ＿ＤＥＰＴＨとＰＩＣ＿ＤＥＰＴＨとは、量子化誤差の観点で互いに密接な関係がある。適応オフセットフィルタ６０の出力画像のビット深度は、画素ビット深度ＰＩＣ＿ＤＥＰＴＨであり、ＳＡＯ＿ＤＥＰＴＨは画素に加えるオフセットのビット深度であるから、画素ビット深度を超える精度のオフセットを用いても出力過程で捨てられてしまうため、オフセットの精度であるＳＡＯ＿ＤＥＰＴＨは、ＰＩＣ＿ＤＥＰＴＨ以下で設定されることが好ましい。また、ＳＡＯ＿ＤＥＰＴＨがＰＩＣ＿ＤＥＰＴＨよりも小さい場合には、入力画像をフィルタにより補正可能な精度（ＰＩＣ＿ＤＥＰＴＨ）よりも粗い補正しか行うことができないため、フィルタ効果は減少する。
　なお、オフセットの精度ＳＡＯ＿ＤＥＰＴＨが高い場合には、オフセットの符号量が増加する。一般に、符号化効率は符号化データの符号量Ｒ、入力画像の歪みＤ、重みλを用いて表現されるレート歪みコストＤ＋λＲを最小化することで最適化されることからも理解できるように、オフセットの精度は、歪みＤに対してマイナス、レートＲに対してプラスの影響を与えることから、精度の大きさにはトレードオフが存在し特定の最適値が存在する。
　さらに、本実施例において、量子化されたオフセットを一定のビット幅で表現できるオフセット値域に制限することで、オフセット情報格納部６２１で量子化されたオフセットを格納するためのビット幅を制限することができる。制限しない場合と比較して、メモリサイズ削減の効果を得ることができる。しかし、過度にオフセット値域を狭くすることは、オフセットが復号画像の歪みを補正する効果を小さくしてしまうので、オフセットの加算処理は復号画像の歪みを除去することができず、符号化効率が低下することがある。したがって、符号化効率が低下しないようにオフセット値域を最適な範囲を設定することが好ましい。
　本実施の形態においては、オフセット属性設定部６１３は、パターンＳ１～Ｓ６の何れかによってオフセットビット深度及びオフセットのシフト値を設定し、パターンＣ１～Ｃ３の何れかによってオフセット値域を設定する。
　（パターンＳ１）
　パターンＳ１では、図９（ａ）に示すように、オフセットのビット深度ＳＡＯ＿ＤＥＰＴＨを画素ビット深度ＰＩＣ＿ＤＥＰＴＨと等しくする。オフセットの精度の最大値は画素ビット深度となることから、パターンＳ１は最大の精度でオフセットを符号化することになる。
　（パターンＳ２）
　パターンＳ２では、図９（ｂ）に示すように、ＰＩＣ＿ＤＥＰＴＨが１０ビット以下の時は、ＳＡＯ＿ＤＥＰＴＨをＰＩＣ＿ＤＥＰＴＨと等しくし、ＰＩＣ＿ＤＥＰＴＨが１１ビット以上の時は、ＳＡＯ＿ＤＥＰＴＨを１０とする。パターンＳ２でオフセットのビット深度の上限を１０ビットとしている。発明者の知見により、復号画像の量子化ステップＱＰの値が小さいとき（ビットレートが高いとき）、オフセットのビット深度が画素ビット深度と同一である場合の方が、オフセットのビット深度を小さくする場合に比較して、符号化効率が高く、逆に、量子化ステップＱＰの値が大きいとき、オフセットのビット深度が画素ビット深度よりも小さい方が、画素ビット深度と同じ場合よりも符号化効率が高くなる。発明者の実験では、量子化パラメータｑｐが１２から２７の領域において、オフセットのビット深度をパターンＳ２のように定めることにより、画素ビット深度が９ビット以下のときにオフセットのビット深度が８ビットであり、画素ビット深度が１０ビット以上のときにオフセットのビット深度が９ビットである場合と比較して、符号化効率が向上することが確認された。したがって、パターンＳ２において、１０ビットを境に画素ビット深度への依存性を変化させることで、パターンＳ１のようにオフセットのビット深度と画素ビット深度を等しくした場合に比べて、オフセットの符号量を小さくすることができ、高い符号化効率を得ることが可能である。
　（パターンＳ３）
　パターンＳ３にでは、図９（ｃ）に示すように、ＰＩＣ＿ＤＥＰＴＨが９ビット以下の時は、ＳＡＯ＿ＤＥＰＴＨをＰＩＣ＿ＤＥＰＴＨと等しくし、ＰＩＣ＿ＤＥＰＴＨが１０ビット以上の時は、ＳＡＯ＿ＤＥＰＴＨを９とする。パターンＳ３でオフセットのビット深度の上限を９ビットとしている。パターンＳ３においても、パターンＳ２と同様に、オフセットの符号量を小さくすることができ、高い符号化効率を得ることが可能である。
　（パターンＳ４）
　パターンＳ４では、図９（ｄ）に示すように、ＰＩＣ＿ＤＥＰＴＨが１０ビット以下の時は、ＳＡＯ＿ＤＥＰＴＨをＰＩＣ＿ＤＥＰＴＨと等しくし、ＰＩＣ＿ＤＥＰＴＨが１１ビット以上の時は、ＳＡＯ＿ＤＥＰＴＨを10-floor((PIC_DEPTH-10)/STEP)とする。ここで関数floor(x)はｘ以下の最大の整数を与える関数である。パターンＳ４では、画素ビット深度が１０ビット以上において、画素ビットがＳＴＥＰビットだけ増加（減少）する毎にオフセットのビット深度が１ビットだけ増加（減少）することを意味する。図９（ｅ）では、パターンＳ４におけるＳＴＥＰ＝２の場合を示していて、画素ビット深度が２ビット増加する毎に、オフセットのビット深度は１ビット増加している。このような構成とすることで、画素ビット深度の大きさを考慮しつつ、ビットレートの大きさに対して、パターンＳ２及びパターンＳ３より自由度の高い対応が可能である。
　また、パターンＳ１～パターンＳ４に共通して、シフト値はＰＩＣ＿ＤＥＰＴＨとＳＡＯ＿ＤＥＰＴＨとの差分値ＰＩＣ＿ＤＥＰＴＨ－ＳＡＯ＿ＤＥＰＴＨで表される。上記のパターンＳ１～Ｓ４におけるオフセットビット深度及びシフト値の変更はメモリサイズ及び処理量の増加をすることなくオフセットビット深度及びシフト値を設定しているので、符号化効率の改善が可能である。
　（パターンＳ５）
　パターンＳ５ではオフセットのビット深度を明示的に符号化する。具体的には、オフセットのビット深度と所定の値の差を符号化する。所定の値は８、もしくは、画素ビット深度が適当であり、前者の場合、ＳＡＯ＿ＤＥＰＴＨ－８が符号化され、後者の場合はＰＩＣ＿ＤＥＰＴＨ－ＳＡＯ＿ＤＥＰＴＨが適当である。なお、オフセットのビット深度は、符号化データの各種パラメータ情報やヘッダもしくは、ＱＡＯＵ情報の一部として符号化しても構わない。ＱＡＯＵ情報の一部としては、リーフＱＡＯＵに画素ビット深度を含めておいても良いし、所定の階層（例えば最上位階層のＱＡＯＵ、や、第１階層のＱＡＯＵ）のＱＡＯＵ情報に画素ビット深度を含めておいても構わない。符号化データの一部として符号化することにより、復号装置および符号化装置でビット深度を最適な値に設定することによって符号化効率を最大化させる効果が得られる。また、ビット深度をＱＡＯＵ情報で符号化する場合には、ＱＡＯＵの深度sao_curr_depthに応じてビット深度を変更することによりオフセットを格納するメモリの低減が可能である。多くのオフセットが出現する可能性があるのはsao_curr_depthが大きい場合であるから、sao_curr_depthが大きい場合にビット深度を小さくし、sao_curr_depthが小さい場合にビット深度を大きく設定することによって必要なメモリサイズの削減が可能である。例えば、sao_curr_depth＝０～１の場合には、オフセットのビット深度＝画素ビット深度（パターンＳ１）とし、sao_curr_depth＝２～４では、オフセットのビット深度に上限を設定する（パターンＳ２）などが適当であり、このようにビット幅を符号化する。また、ＱＡＯＵの深度毎にオフセットのビット幅を符号化するか、ＱＡＯＵの深度によらずオフセットのビット幅を１つ用いるかを示すフラグを符号化し、ＱＡＯＵの深度毎に符号化するか否かを切り替えることも適当である。
　（パターンＳ６）
　パターンＳ６では、明示的な符号化なく、sao_curr_depthに応じてビット深度を決定する。例えば、sao_curr_depth＝０～１の場合には、オフセットのビット深度＝画素ビット深度（パターンＳ１）とし、sao_curr_depth＝２～４では、オフセットのビット深度に上限を設定する（パターンＳ２）などが適当である。
　（パターンＣ１）
　パターンＣ１では、ＳＡＯ＿ＤＥＰＴＨに応じてオフセット値域を設定する。以下ではオフセット値域の値を表す最大のビット長をＣＬＩＰ＿ＢＩＴとする。具体的には、ＣＬＩＰ＿ＢＩＴ＝ＳＡＯ＿ＤＥＰＴＨ－Ｋの計算により、オフセット値域を-2CLIP_BIT-1～2CLIP_BIT-1-1と定める。発明者の実験によれば、Ｋ＝４が適当であることが見出された。すなわち、Ｋ＝４の場合には、オフセット値域によりオフセットの範囲を制限しても符号化効率の低下がないことを確認した。Ｋ＝４は、最も良く使用される画素のビット深度が８の場合に適当である。画素ビット深度が８の場合、オフセットのビット深度ＳＡＯ＿ＤＥＰＴＨも８であり、ＣＬＩＰ＿ＢＩＴ＝８－Ｋ＝４となる。１つのオフセットが４ビットで格納できることは、８ビットのバイトを単位として扱うソフトウェア等で、１バイトに１つのオフセットをパッキングして格納することが可能であり、簡易にメモリサイズの削減が可能である。
　（パターンＣ２）
　パターンＣ２では、ＳＡＯ＿ＤＥＰＴＨに依らずオフセット値域を設定する。具体的には、ＣＬＩＰ＿ＢＩＴ＝８として、オフセット値域を-27～27-1と定める。
　また、一般的に、ＳＡＯ＿ＤＥＰＴＨに依らない定数Ｎを用いてＣＬＩＰ＿ＢＩＴ＝Ｎとしてもよい。ＳＡＯ＿ＤＥＰＴＨに依らずオフセット値域を設定する場合には、メモリサイズを小さくする効果を得るため、オフセットのビット深度よりも小さな値に設定することが好ましい。
　（パターンＣ３）
　パターンＣ３では、オフセット値域を、ＱＡＯＵの階層に応じて決定する。sao_curr_depthが小さい場合（例えば０～１）には、オフセットのビット深度によらずオフセット値域を決定とし、sao_curr_depthが大きい場合（例えば２～４）にはオフセットのビット深度によって決定する、が適当である。例えば、前者はＣＬＩＰ＿ＢＩＴ＝８（パターンＣ２）、後者はＳＡＯ＿ＤＥＰＴＨ－Ｋビット（パターンＣ１）とする方法がある。なお、オフセットのビット深度をＱＡＯＵの階層に応じて変更する場合には、結果として固定のビット数でも構わないことがある。例えば、ＣＬＩＰ＿ＢＩＴ＝４とすることが適当である。
　（オフセットのビット数の具体例１）
　続いて、本実施の形態に係るオフセット（sao_offset）のビット数の第１の具体例について説明する。本例においては、画素ビット深度を１０ビットとし、シフト値の設定をパターンＳ２により行い、オフセット値域の設定をパターンＣ１により行う場合を説明する。パターンＳ２ではオフセットのビット深度は１０ビットに設定され、パターンＣ１ではオフセット値域は１０－４＝６ビットに設定される。オフセット１つあたりのビット数が６ビットであるとは、オフセットのとり得る値を、－３２から３１までの値に制限することに対応する。本例の場合、オフセット情報格納部６２１は、オフセットを格納しておくためのメモリサイズとして、１ピクチャあたり最大で、
　（１ピクチャあたりのＱＡＯＭＵの総数）×（クラス数）×（オフセットあたりのビット数）＝２５６×１６×６（ビット）＝２４５７６（ビット）
を有していれば足りる。
　したがって、オフセットが本例の値域を有する構成とすることによって、従来例に比べて、オフセット情報格納部６２１に必要なメモリサイズを略３／５に減少させることができる。
　符号化データ＃１に含まれるオフセットの符号量を削減することができるので、符号化効率の向上を図ることができる。また、過度なオフセットが加算されることが抑制されるので、適切な画質が保証される。
　（オフセットのビット数の具体例２）
　続いて、本実施の形態に係るオフセット（sao_offset）のビット数の第２の具体例について説明する。本例においては、画素ビット深度を１０ビットとし、シフト値の設定をパターンＳ２により行い、オフセット値域の設定をパターンＣ２により行う例を説明する。パターンＳ２よりオフセットのビット深度は１０ビットに設定され、パターンＣ２よりオフセット値域は８ビットに設定される。オフセット１つあたりのビット数が８ビットであるとは、オフセットのとり得る値を、例えば－１２８から１２７までの値に制限することに対応する。本例の場合、オフセット情報格納部６２１は、オフセットを格納しておくためのメモリサイズとして、１ピクチャあたり最大で、
　（１ピクチャあたりのＱＡＯＭＵの総数）×（クラス数）×（オフセットあたりのビット数）＝２５６×１６×８（ビット）＝３２７６８（ビット）
を有していれば足りる。
　したがって、オフセットが本例のビット数を有する構成とすることによって、従来例に比べて、オフセット情報格納部６２１に必要なメモリサイズを略４／５に減少させることができる。
　また、符号化データ＃１に含まれるオフセットの符号量を削減することができるので、符号化効率の向上を図ることができる。また、過度なオフセットが加算されることが抑制されるので、適切な画質が保証される。
　なお、オフセットのビット数を制限すれば、符号化データに含まれるオフセット情報の符号量を小さくすることができるが、過度に制限してしまうと、適応オフセットフィルタを備えることのメリットが小さくなってしまい、符号化データに含まれる残差データ（残差画像の画素値）の符号量が大きくなってしまうという問題がある。
　（オフセットのビット数の具体例３）
　続いて、オフセット（sao_offset）のビット数の第３の具体例について説明する。本例パターンＣ１、Ｃ２何れかにおいては、オフセットタイプが、エッジオフセット（オフセットタイプ＝１～４）であるのか、バンドオフセット（オフセットタイプ＝５～６）であるのかに応じて、オフセットのビット数に対して異なる値を設定する。ここでは、画素ビット深度を１０ビットとする場合を例に、シフト値の設定をパターンＳ２により行い、エッジオフセットのオフセット値域の設定をパターンＣ２により行い、バンドオフセットのオフセット値域の設定をパターンＣ１により行う方法を説明する。
　画素ビット深度が１０ビットの場合、パターンＳ２ではオフセットのビット深度は１０ビットに設定される。エッジオフセットのオフセットタイプに属するオフセット（以下、エッジオフセットのオフセット）は、パターンＣ２から８ビットに値域が設定される。バンドオフセットのオフセットタイプに属するオフセット（以下、バンドオフセットのオフセット）はパターンＣ１から６ビットに値域が設定される。より一般には、エッジオフセットのオフセットのビット数をＮビットとし、バンドオフセットのオフセットのビット数をＭビットとしたとき、Ｎ≧Ｍが満たされるようにオフセットのビット数を定める。
　オフセット情報格納部６２１で確保が必要なメモリサイズは、ＱＡＯＵ単位で、オフセットタイプのクラス数×オフセットのビット数であるため、オフセットのクラス数がエッジオフセットよりも大きいバンドオフセットのビット数を小さくすれば、オフセットをオフセット情報格納部６２１で用いるメモリ領域を有効に活用することができる。
　このようにオフセットタイプに応じて、オフセットのビット数を異ならせることによって、オフセット情報格納部６２１に過度なメモリサイズを要求することなく、符号化効率の向上を図ることができる。メモリ領域を最も有効的に活用することができる。
　なお、オフセットの取り得る値を制限するための閾値ｔｈが２m-1より大きく、２m以下であるとき、当該オフセットを符号化するための符号化方式として、ｍビットの固定長符号化／復号方式を用いることができる。また、最大値とｔｈとするＴｒｕｎｃａｔｅｄ　ｕｎａｒｙ符号化や、Ｔｒｕｎｃａｔｅｄ　Ｒｉｃｅ符号化などの可変長符号化／復号方式を用いることができる。なお、上記の最大値ｔｈは、オフセット属性設定部６１３から供給されるオフセット値域によって決定される。また、動画像復号装置１は、このようにして符号化されたオフセットを復号することができる。
　以上の構成ではオフセット属性設定部６１３において、オフセットのビット深度、オフセット値域、及び、シフト値が設定される。適応オフセットフィルタ情報復号部６１では、オフセット値域の範囲の値を有する量子化オフセットが復号され、個々のオフセットに対して、オフセット値域以上のビット幅の格納領域を有するオフセット情報格納部６２１に格納される。本実施の形態では、オフセット値域がオフセットのビット深度に応じて決定することを特徴とする。また、オフセットのビット深度は、画素のビット深度に応じて決定する。このため、オフセットのビット深度を画素のビット深度に応じて決定することも、本実施の形態の特徴である。
　また、実施の形態１における適応オフセットフィルタ情報復号部６１は、復号後のオフセットを格納する格納部と該格納部から得られるオフセットを逆量子化を行う逆量子化部とを備え、オフセット導出部６２５における逆量子化処理を省略する形態としてもよい。この場合、格納部はオフセット属性設定部６１３により設定されるオフセット値域に制限されるオフセットを格納することと、逆量子化部はオフセット属性設定部６１３により設定されるシフト値に応じて左側へシフトを行って逆量子化処理を行うことを特徴とする。
　オフセット情報復号部６１１は、複数の単位領域から構成される入力画像の各画素値にオフセットを加算するオフセット加算部６２６によって参照される各オフセットを符号化データ＃１から復号するものであり、図示されない画素ビット深度に応じて定められるオフセット値域及びシフト値を設定し、オフセット値域に制限されるオフセットを復号するオフセット復号手段を備えている、と表現することもできる。
　また、本実施の形態に係る適応オフセットフィルタ６０は、複数の単位領域から構成される入力画像の各画素値にオフセットを加算する画像フィルタ装置であって、符号化データに含まれるオフセットタイプ指定情報を参照し、処理対象の単位領域におけるオフセット属性を設定するオフセット属性設定部６１３と、上記設定されたオフセット属性に含まれるオフセット値域に応じたビット幅を有するオフセットを復号するオフセット情報復号部６１１と、上記入力画像の各画素値に上記オフセットを加算するオフセット加算部６２６とを備えている画像フィルタ装置である、と表現することもできる。
　さらに、オフセット情報復号部６１１は、上記オフセット復号手段に加え、複数のオフセットタイプのうち、処理対象の単位領域が属するオフセットタイプを決定する決定手段と、上記決定手段によって決定されたオフセットタイプに応じて異なるビット幅を有するオフセットを復号するオフセット復号手段を備えている、構成としてもよい。
　また、上記オフセットタイプ指定情報は、各単位領域における上記入力画像の画素値のビット深度を含み、オフセット情報復号部６１１は、上記画素値のビット深度に応じたビット幅を有するオフセットを復号する構成とすることができる。
　以下では、クラス分類部６２４による分類処理の具体例について説明する。クラス分類部６２４は、以下の分類処理例のうち、符号化データ＃１を生成する動画像符号化装置における分類処理に対応する分類処理を行うことが好ましい。
　（クラス分類部６２４による分類処理例１）
　クラス分類部６２４による分類処理の第１の例について、図１０（ａ）～（ｆ）から図１２を参照して説明する。
　（オフセットタイプ＝１～４（エッジオフセット）のとき）
　オフセットタイプ導出部６２３から供給されるオフセットタイプが１～４の何れかであるとき、クラス分類部６２４は、処理対象の画素の近傍にエッジが存在するか否か、及びエッジが存在する場合にはエッジの種類を判定し、判定した結果に応じて、当該処理対象の画素を、複数のクラスの何れかに分類する。
　より具体的には、まず、クラス分類部６２４は、処理対象画素ｘの画素値ｐｉｃ［ｘ］と、該処理対象画素に隣接するか、または頂点を共有する２つの画素ａ、ｂの画素値ｐｉｃ［ａ］、ｐｉｃ［ｂ］との差分の符号
　　Ｓｉｇｎ（ｐｉｃ［ｘ］－ｐｉｃ［ａ］）、及び
　　Ｓｉｇｎ（ｐｉｃ［ｘ］－ｐｉｃ［ｂ］）
を算出する。ここで、Ｓｉｇｎ（ｚ）は、
　　Ｓｉｇｎ（ｚ）＝＋１　（ｚ＞０のとき）
　　Ｓｉｇｎ（ｚ）＝０　　（ｚ＝０のとき）
　　Ｓｉｇｎ（ｚ）＝－１　（ｚ＜０のとき）
の各値をとる関数である。また、何れの画素を画素ａ及び画素ｂとして用いるかは、具体的はオフセットタイプに依存し、以下のように定められる。
　・オフセットタイプ＝１（sao_type_idx＝１）のとき
　図１０（ａ）に示すように、処理対象画素ｘの左側に隣接する画素を画素ａとし、処理対象画素の右側に隣接する画素を画素ｂとする。
　・オフセットタイプ＝２（sao_type_idx＝２）のとき
　図１０（ｂ）に示すように、処理対象画素ｘの上側に隣接する画素を画素ａとし、処理対象画素の下側に隣接する画素を画素ｂとする。
　・オフセットタイプ＝３（sao_type_idx＝３）のとき
　図１０（ｃ）に示すように、処理対象画素ｘの左上の頂点を共有する画素を画素ａとし、処理対象画素の右下の頂点を共有する画素を画素ｂとする。
　・オフセットタイプ＝４（sao_type_idx＝４）のとき
　図１０（ｄ）に示すように、処理対象画素ｘの左下の頂点を共有する画素を画素ａとし、処理対象画素の右上の頂点を共有する画素を画素ｂとする。
　図１１（ａ）は、処理対象画素ｘの画素値ｐｉｃ［ｘ］と画素ａまたはｂの画素値との大小関係を示すグラフ、及びその大小関係に応じた関数Ｓｉｇｎの値を示す図である。図１１（ａ）に示すグラフにおいてｐｉｃ［ｘ］が付されている黒丸は、処理対象画素ｘの画素値を示すものであり、ｐｉｃ［ｘ］が付されていない黒丸は、処理対象画素ａまたはｂの画素値を示すものである。また、図１１（ａ）に示すグラフにおける上下方向は、画素値の大小を示している。
　続いて、クラス分類部６２４は、Ｓｉｇｎ（ｐｉｃ［ｘ］－ｐｉｃ［ａ］）、及びＳｉｇｎ（ｐｉｃ［ｘ］－ｐｉｃ［ｂ］）に基づいて、以下の数式（１－１）によってＥｇｄｅＴｙｐｅを導出する。
　　ＥｇｄｅＴｙｐｅ＝Ｓｉｇｎ（ｐｉｃ［ｘ］－ｐｉｃ［ａ］）＋Ｓｉｇｎ（ｐｉｃ［ｘ］－ｐｉｃ［ｂ］）＋２　　　・・・（１－１）
　図１１（ｂ）は、処理対象画素ｘの画素値と、画素ａ及びｂの画素値との大小関係を示すグラフ、及びその大小関係に応じたＥｇｄｅＴｙｐｅの値を示す図である。図１１（ｂ）において、各グラフの中心の黒丸は、処理対象画素ｘの画素値を示しており、両端の黒丸は、画素ａ及びｂの画素値を示している。また、図１１（ｂ）に示すグラフにおける上下方向は、画素値の大小を示している。
　続いて、クラス分類部６２４は、導出したＥｇｄｅＴｙｐｅに基づいて、処理対象画素ｘが属するべきクラスのクラスインデックス（class_idx）を以下のように導出する。
　　ｃｌａｓｓ＿ｉｄｘ＝ＥｏＴｂｌ［ＥｄｇｅＴｙｐｅ］
ここで、ＥｏＴｂｌ［ＥｄｇｅＴｙｐｅ］は、ＥｄｇｅＴｙｐｅからｃｌａｓｓ＿ｉｄｘを導出するために用いられる変換テーブルである。当該変換テーブルＥｏＴｂｌの具体例を図１１（ｄ）に示す。
　図１１（ｄ）に示すように、クラス分類部６２４は、処理対象画素ｘ、画素ａ及び画素ｂから成る領域にエッジが存在しない場合（以下、平坦な場合とも呼ぶ）、処理対象画素ｘをクラス０（class_idx＝０）に分類する。図１１（ｃ）は、図１１（ｂ）に示した各グラフと、lass_idxとの対応を示している。
　（オフセットタイプ＝５～６（バンドオフセット）のとき）
　オフセットタイプ導出部６２３から供給されるオフセットタイプが５～６の何れかであるとき、クラス分類部６２４は、処理対象画素ｘの画素値ｐｉｃ［ｘ］に応じて、当該処理対象画素の画素値を複数のクラスの何れかに分類する。
　・オフセットタイプ＝５（sao_type_idx＝５）のとき
　クラス分類部６２４は、処理対象画素ｘの画素値ｐｉｃ［ｘ］が、
　　（ｍａｘ×１／４）≦ｐｉｃ［ｘ］≦（ｍａｘ×３／４）
を満たしている場合に、当該処理対象画素をクラス０以外のクラスに分類する。すなわち、処理対象画素の画素値が、図１２（ａ）における斜線の範囲内である場合に、当該処理対象画素をクラス０以外のクラスに分類する。なお、上記ｍａｘは、処理対象画素ｘの画素値の取り得る最大値を表しており、例えば、ｍａｘ＝２５５である。また、ｍａｘ＝２５５であるとき、上記の条件は、
　　８≦（ｐｉｃ［ｘ］／８）≦２３
と表現することもできる。
　・オフセットタイプ＝６（sao_type_idx＝６）のとき
　クラス分類部６２４は、処理対象画素ｘの画素値ｐｉｃ［ｘ］が、
　　ｐｉｃ［ｘ］≦（ｍａｘ×１／４）または（ｍａｘ×３／４）≦ｐｉｃ［ｘ］
を満たしている場合に、当該処理対象画素をクラス０以外のクラスに分類する。すなわち、処理対象画素の画素値が、図１２（ｂ）における斜線の範囲内である場合に、当該処理対象画素をクラス０以外のクラスに分類する。なお、上記ｍａｘは、処理対象画素ｘの画素値の取り得る最大値を表しており、例えば、ｍａｘ＝２５５である。また、ｍａｘ＝２５５であるとき、上記の条件は、
　　（ｐｉｃ［ｘ］／８）≦７または２４≦（ｐｉｃ［ｘ］／８）
と表現することもできる。
　クラス分類部６２４によるクラス分類処理をより具体的に説明すれば以下の通りである。
　オフセットタイプが５～６の何れかであるとき、クラス分類部６２４は、処理対象画素ｘが属するべきクラスのクラスインデックス（class_idx）を以下のように導出する。
　　ｃｌａｓｓ＿ｉｄｘ＝ＥｏＴｂｌ［ｓａｏ＿ｔｙｐｅ＿ｉｄｘ］［ｐｉｃ［ｘ］／８］
ここで、ＥｏＴｂｌ［ｓａｏ＿ｔｙｐｅ＿ｉｄｘ］［ｐｉｃ［ｘ］／８］は、処理対象画素ｘの画素値ｐｉｃ［ｘ］とｓａｏ＿ｔｙｐｅ＿ｉｄｘとから、ｃｌａｓｓ＿ｉｄｘを導出するために用いられる変換テーブルである。当該変換テーブルＥｏＴｂｌの具体例を図１２に示す。図１２（ｃ）において「ＢＯ＿１」は、sao_type_index＝５であることを示しており、「ＢＯ＿２」は、sao_type_index＝６であることを示している。
　図１２（ｃ）に示すように、sao_type_index＝５のとき、クラス分類部６２４は、処理対象画素ｘの画素値ｐｉｃ［ｘ］が８≦（ｐｉｃ［ｘ］／８）≦２３を満たすとき、ｐｉｃ［ｘ］の大きさに応じて、処理対象画素ｘをクラスインデックス１から１６までの何れかのクラスに分類する。
　一方で、sao_type_index＝６のとき、クラス分類部６２４は、処理対象画素ｘの画素値ｐｉｃ［ｘ］がｐｉｃ［ｘ］／８）≦７または２４≦（ｐｉｃ［ｘ］／８）を満たすとき、ｐｉｃ［ｘ］の大きさに応じて、処理対象画素ｘをクラスインデックス１から１６までの何れかのクラスに分類する。
　一般的に、画像のビット深度がＰＩＣ＿ＤＥＰＴＨのとき、ｍａｘ＝２ＰＩＣ＿ＤＥＰＴＨ－１であり、図１２（ｃ）におけるｐｉｃ／８の代わりにｐｉｃ／２（ＰＩＣ＿ＤＥＰＴＨ－５)を用いてクラスの分類をおこなう。
　（クラス分類部６２４による分類処理例２）
　続いて、クラス分類部６２４による分類処理の第２の例について説明する。
　本処理例においては、クラス分類部６２４は、数式（１－１）に代えて、以下の数式（１－２）を用いてＥｇｄｅＴｙｐｅを導出する。他は分類処理例１と同様である。
　　ＥｇｄｅＴｙｐｅ＝Ｓｉｇｎ（（ｐｉｃ［ｘ］＞＞ｓｈｉｆｔ）－（ｐｉｃ［ａ］＞＞ｓｈｉｆｔ））＋Ｓｉｇｎ（（ｐｉｃ［ｘ］＞＞ｓｈｉｆｔ）－（ｐｉｃ［ｂ］＞＞ｓｈｉｆｔ））＋２　　　・・・（１－２）
ここで、「＞＞」は右ビットシフトを表しており、「ｓｈｉｆｔ」は、ビットシフトの大きさを表している。「ｓｈｉｆｔ」の具体的な値は、例えば、画素値のビット深度と正の相関を有するように定めることができる。
　分類処理例１による分類処理においては、画素値の勾配が非常に小さい場合であっても、画素値の勾配が０でなければ、Ｓｉｇｎの値は非０となる。したがって、分類処理例１による分類処理は、ノイズの影響を受けやすいという側面を有する。
　本処理例においては、画素値を右シフトしてから差分をとるので、ＥｇｄｅＴｙｐｅの値がノイズの影響を受けにくくなり、符号化効率が向上するという効果がある。
　なお、本処理例においては、数式（１－２）に代えて、以下の数式（１－３）を用いてもよい。
　　ＥｇｄｅＴｙｐｅ＝Ｓｉｇｎ（（ｐｉｃ［ｘ］－ｐｉｃ［ａ］）＞＞ｓｈｉｆｔ）＋Ｓｉｇｎ（（ｐｉｃ［ｘ］－ｐｉｃ［ｂ］）＞＞ｓｈｉｆｔ））＋２　・・・（１－３）
　すなわち、画素値の差分をとった後に、右ビットシフトを行ってもよい。数式（１－３）を用いることによっても、数式（１－２）を用いた場合と同様の効果を奏する。
　（クラス分類部６２４による分類処理例３）
　続いて、クラス分類部６２４による分類処理の第３の例について説明する。
　本処理例においては、クラス分類部６２４は、分類処理例１において説明した関数Ｓｉｇｎの定義を以下のように変更する。他は分類処理例１と同様である。
　　Ｓｉｇｎ（ｚ）＝＋１　（ｚ＞ｔｈのとき）
　　Ｓｉｇｎ（ｚ）＝０　　（－ｔｈ≦ｚ≦ｔｈのとき）
　　Ｓｉｇｎ（ｚ）＝－１　（ｚ＜－ｔｈのとき）
ここで、ｔｈは、予め定められた値を有する閾値である。閾値ｔｈの具体的な値は、その絶対値が、例えば、画素値のビット深度と正の相関を有するように定めることができる。
　本処理例においても、ＥｇｄｅＴｙｐｅの値がノイズの影響を受けにくくなり、高い符号化効率を得ることができる。
　（クラス分類部６２４による分類処理例４）
　続いて、クラス分類部６２４による分類処理の第４の例について説明する。
　本処理例においては、クラス分類部６２４は、図１２（ｃ）に示したＥｏＴｂｌ［ｓａｏ＿ｔｙｐｅ＿ｉｄｘ］［ｐｉｃ［ｘ］／８］に代えて、図１３に示したＥｏＴｂｌ［ｓａｏ＿ｔｙｐｅ＿ｉｄｘ］［ｐｉｃ［ｘ］／８］を用いる。
　図１３に示すように、本処理例においては、ｐｉｃ［ｘ］／８の値が８及び９の何れかである場合、処理対象画素ｘは、sao_type_index＝５であっても、sao_type_index＝６であっても、クラスインデックスが０でないクラスに分類される。また、ｐｉｃ［ｘ］／８の値が２２及び２３の何れかである場合、処理対象画素ｘは、sao_type_index＝５であっても、sao_type_index＝６であっても、クラスインデックスが０でないクラスに分類される。
　また、本処理例においては、処理対象画素の画素値は、その値が１５以下である場合（ｐｉｃ［ｘ］／８＝０または１である場合）、ＭＩＮにクリップされる。また、処理対象画素の画素値は、その値が２４０以上である場合（ｐｉｃ［ｘ］／８＝３０または３１である場合）、ＭＡＸにクリップされる。ここで、ＭＩＮ及びＭＡＸとしては、
　・ＭＩＮ＝１５、ＭＡＸ＝２４０
　・ＭＩＮ＝１６、ＭＡＸ＝２３９
　・ＭＩＮ＝１６、ＭＡＸ＝２３５
の何れかの組み合わせを用いることが好ましい。
　分類処理例１においては、sao_type_index＝５のときにクラス０に分類される処理対象画素は、sao_type_index＝６のときにクラス０でないクラスに分類される。また、sao_type_index＝６のときにクラス０に分類される処理対象画素は、sao_type_index＝５のときにクラス０でないクラスに分類される。
　したがって、分類処理例１においては、sao_type_index＝５であるのか、sao_type_index＝６であるのかに応じて、オフセットを加算した後の画素値が大きく異なり得るため、符号化効率が期待されるほど向上しないという問題が生じ得る。また、このような問題は、オフセットフィルタ前画像の画素値がｐｉｃ［ｘ］／８の値が８及び９の何れか、または、ｐｉｃ［ｘ］／８の値が２２及び２３の何れかである場合に顕著なものとなり得る。
　本処理例においては、ｐｉｃ［ｘ］／８の値が８及び９の何れかである場合、処理対象画素ｘは、sao_type_index＝５であっても、sao_type_index＝６であっても、クラスインデックスが０でないクラスに分類され、ｐｉｃ［ｘ］／８の値が２２及び２３の何れかである場合、処理対象画素ｘは、sao_type_index＝５であっても、sao_type_index＝６であっても、クラスインデックスが０でないクラスに分類されるので、上述の問題が生じにくい。したがって、本処理例の処理を行うことによって、符号化効率の向上を図ることができる。
　なお、本処理例では、ｐｉｃ［ｘ］／８の値が８及び９の何れかである場合、及び、ｐｉｃ［ｘ］／８の値が２２及び２３の何れかである場合、処理対象画素ｘは、sao_type_index＝５であっても、sao_type_index＝６であっても、クラスインデックスが０でないクラスに分類されるものとしたが、これは本処理例を限定するものではなく、ｐｉｃ［ｘ］／８の値が所定の範囲であるときに、処理対象画素ｘは、sao_type_index＝５であっても、sao_type_index＝６であっても、クラスインデックスが０でないクラスに分類される処理を行えばよい。
　一般的に、画像の画素ビット深度がＰＩＣ＿ＤＥＰＴＨのとき、ｍａｘ＝２ＰＩＣ＿ＤＥＰＴＨ－１であり、図１３におけるｐｉｃ／８の代わりにｐｉｃ／２（ＰＩＣ＿ＤＥＰＴＨ－５)を用いてクラスの分類をおこなう。
　このように、本処理例の分類処理を行うクラス分類部６２４は、上記対象画素の画素値が所定の範囲内であるとき、上記対象画素を含む単位領域が属するオフセットタイプが上記第１及び上記第２のオフセットタイプの何れの場合であっても、上記対象画素を、オフセットを加算するオフセットクラスに分類する、ものであると表現することもできる。
　（動画像符号化装置２）
　以下では、符号化対象画像を符号化することによって符号化データ＃１を生成する動画像符号化装置２について、図１４から図１８（ａ）～（ｄ）を参照して説明する。動画像符号化装置２は、その一部に、Ｈ．２６４／ＭＰＥＧ－４．ＡＶＣに採用されている方式、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式、その後継コーデックであるＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている方式、及び、ＨＭ（HEVC TestModel）ソフトウェアに採用されている技術を含んでいる。
　図１４は、本実施の形態に係る動画像符号化装置２の構成を示すブロック図である。図１４に示すように、動画像符号化装置２は、変換・量子化部２１、可変長符号符号化部２２、逆量子化・逆変換部２３、バッファメモリ２４、イントラ予測画像生成部２５、インター予測画像生成部２６、動きベクトル検出部２７、予測方式制御部２８、動きベクトル冗長性削除部２９、加算器３１、減算器３２、デブロッキングフィルタ３３、適応フィルタ７０、及び適応オフセットフィルタ８０を備えている。動画像符号化装置２は、動画像＃１０（符号化対象画像）を符号化することによって、符号化データ＃１を生成する装置である。
　変換・量子化部２１は、（１）符号化対象画像から予測画像Ｐｒｅｄを減算した予測残差Ｄをブロック毎にＤＣＴ変換（Discrete Cosine Transform）し、（２）ＤＣＴ変換により得られたＤＣＴ係数を量子化し、（３）量子化により得られた量子化予測残差ＱＤを可変長符号符号化部２２及び逆量子化・逆変換部２３に供給する。なお、変換・量子化部２１は、（１）量子化の際に用いる量子化ステップＱＰを、ツリーブロック毎に選択し、（２）選択した量子化ステップＱＰの大きさを示す量子化パラメータ差分Δｑｐを可変長符号符号化部２２に供給し、（３）選択した量子化ステップＱＰを逆量子化・逆変換部２３に供給する。ここで、量子化パラメータ差分Δｑｐとは、ＤＣＴ変換／量子化するツリーブロックに関する量子化パラメータｑｐ（ＱＰ＝２ｐｑ／６）の値から、直前にＤＣＴ変換／量子化したツリーブロックに関する量子化パラメータｑｐ’の値を減算して得られる差分値のことを指す。
　可変長符号符号化部２２は、（１）変換・量子化部２１から供給された量子化予測残差ＱＤ並びにΔｑｐ、（２）後述する予測方式制御部２８から供給された量子化パラメータＰＰ、および、（３）後述する適応フィルタ７０から供給されたフィルタセット番号、フィルタ係数群、領域指定情報、並びにオンオフ情報を可変長符号化することによって、符号化データ＃１を生成する。また、可変長符号符号化部２２は、適応オフセットフィルタ８０から供給されるＱＡＯＵ情報を符号化し、符号化データ＃１に含める。
　逆量子化・逆変換部２３は、（１）量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ係数を逆ＤＣＴ（Discrete Cosine Transform）変換し、（３）逆ＤＣＴ変換によって得られた予測残差Ｄを加算器３１に供給する。量子化予測残差ＱＤを逆量子化する際には、変換・量子化部２１から供給された量子化ステップＱＰを利用する。なお、逆量子化・逆変換部２３から出力される予測残差Ｄは、変換・量子化部２１に入力される予測残差Ｄに量子化誤差が加わったものであるが、ここでは簡単のために共通の呼称を用いる。
　イントラ予測画像生成部２５は、各パーティションに関する予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。具体的には、（１）各パーティションついてイントラ予測に用いる予測モードを選択し、（２）選択した予測モードを用いて、復号画像Ｐから予測画像Ｐｒｅｄ＿Ｉｎｔｒａを生成する。イントラ予測画像生成部２５は、生成したイントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを、予測方式制御部２８に供給する。
　また、イントラ予測画像生成部２５は、各パーティションについて選択された予測モードから、各パーティションのサイズとから各パーティションについての予測インデックスＰＩを特定し、当該予測インデックスＰＩを予測方式制御部２８に供給する。
　また、イントラ予測画像生成部２５は、対象パーティションのサイズ、および、対象パーティションに割り付けられた予測モードを示す情報であるイントラ符号化モード情報ＩＥＭを適応フィルタ７０に供給する。
　動きベクトル検出部２７は、各パーティションに関する動きベクトルｍｖを検出する。具体的には、（１）参照画像として利用するフィルタ済復号画像Ｐ＿ＦＬ’を選択し、（２）選択したフィルタ済復号画像Ｐ＿ＦＬ’において対象パーティションを最良近似する領域を探索することによって、対象パーティションに関する動きベクトルｍｖを検出する。ここで、フィルタ済復号画像Ｐ＿ＦＬ’は、既に復号が完了した復号済みの復号画像に対して、デブロッキングフィルタ３３によるデブロック処理、適応オフセットフィルタ８０による適応的オフセット処理、および、適応フィルタ７０による適応的フィルタ処理を施すことによって得られる画像であり、動きベクトル検出部２７は、フィルタ済復号画像Ｐ＿ＦＬ’を構成する各画素の画素値をバッファメモリ２４から読み出すことができる。動きベクトル検出部２７は、検出した動きベクトルｍｖを、参照画像として利用したフィルタ済復号画像Ｐ＿ＦＬ’を指定する参照画像インデックスＲＩと共に、インター予測画像生成部２６及び動きベクトル冗長性削除部２９に供給する。なお、双方向予測（重み付き予測）を行うパーティションについては、参照画像として２枚のフィルタ済復号画像Ｐ＿ＦＬ１’及びＰ＿ＦＬ２’を選択し、２枚のフィルタ済復号画像Ｐ＿ＦＬ１’及びＰ＿ＦＬ２’の各々に対応する動きベクトルｍｖ１及びｍｖ２、並びに、参照画像インデックスＲＩ１及びＲＩ２をインター予測画像生成部２６及び動きベクトル冗長性削除部２９に供給する。
　インター予測画像生成部２６は、各インター予測パーティションに関する動き補償画像ｍｃを生成する。具体的には、動きベクトル検出部２７から供給された動きベクトルｍｖを用いて、動きベクトル検出部２７から供給された参照画像インデックスＲＩによって指定されるフィルタ済復号画像Ｐ＿ＦＬ’から動き補償画像ｍｃを生成する。動きベクトル検出部２７と同様、インター予測画像生成部２６は、フィルタ済復号画像Ｐ＿ＦＬ’を構成する各画素の画素値をバッファメモリ２４から読み出すことができる。インター予測画像生成部２６は、生成した動き補償画像ｍｃ（インター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒ）を、動きベクトル検出部２７から供給された参照画像インデックスＲＩと共に、予測方式制御部２８に供給する。なお、双方向予測（重み付き予測）をパーティションについては、（１）動きベクトルｍｖ１を用いて、参照画像インデックスＲＩ１によって指定されたフィルタ済復号画像Ｐ＿ＦＬ１’から動き補償画像ｍｃ１を生成し、（２）動きベクトルｍｖ２を用いて、参照画像インデックスＲＩ２によって指定されたフィルタ済参照画像Ｐ＿ＦＬ２’から動き補償画像ｍｃ２を生成し、（３）動き補償画像ｍｃ１と動き補償画像ｍｃ２との加重平均にオフセット値を加えることによってインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを生成する。
　予測方式制御部２８は、イントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａ及びインター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを符号化対象画像と比較し、イントラ予測を行うかインター予測を行うかを選択する。イントラ予測を選択した場合、予測方式制御部２８は、イントラ予測画像Ｐｒｅｄ＿Ｉｎｔｒａを予測画像Ｐｒｅｄとして加算器３１及び減算器３２に供給すると共に、イントラ予測画像生成部２５から供給された予測インデックスＰＩを予測パラメータＰＰとして可変長符号符号化部２２に供給する。一方、インター予測を選択した場合、予測方式制御部２８は、インター予測画像Ｐｒｅｄ＿Ｉｎｔｅｒを予測画像Ｐｒｅｄとして加算器３１及び減算器３２に供給すると共に、インター予測画像生成部２６から供給された参照画像インデックスＲＩ、並びに、動きベクトル冗長性削除部２９（後述）から供給された推定動きベクトルインデックスＰＭＶＩ及び動きベクトル残差ＭＶＤを予測パラメータＰＰとして可変長符号符号化部に供給する。
　予測方式制御部２８にて選択された予測画像Ｐｒｅｄを、符号化対象画像から減算することによって、減算器３２にて予測残差Ｄが生成される。減算器３２にて生成された予測残差Ｄは、上述したとおり、変換・量子化部２１によってＤＣＴ変換／量子化される。一方、予測方式制御部２８にて選択された予測画像Ｐｒｅｄを、逆量子化・逆変換部２３にて生成された予測残差Ｄに加算することによって、加算器３１にて局所復号画像Ｐが生成される。加算器３１にて生成された局所復号画像Ｐは、デブロッキングフィルタ３３、適応オフセットフィルタ８０および適応フィルタ７０を経由したのち、フィルタ済復号画像Ｐ＿ＦＬとしてバッファメモリ２４に格納され、インター予測における参照画像として利用される。
　なお、動きベクトル冗長性削除部２９は、動きベクトル検出部２７によって検出された動きベクトルｍｖにおける冗長性を削除する。具体的には、（１）動きベクトルｍｖの推定に用いる推定方法を選択し、（２）選択した推定方法に従って推定動きベクトルｐｍｖを導出し、（３）動きベクトルｍｖから推定動きベクトルｐｍｖを減算することにより動きベクトル残差ＭＶＤを生成する。動きベクトル冗長性削除部２９は、生成した動きベクトル残差ＭＶＤを、選択した推定方法を示す推定動きベクトルインデックスＰＭＶＩと共に、予測方式制御部２８に供給する。
　デブロッキングフィルタ３３は、復号画像Ｐにおけるブロック境界、またはＣＵ境界を介して互いに隣接する画素の画素値の差が予め定められた閾値よりも小さい場合に、復号画像Ｐにおける当該ブロック境界、または当該ＣＵ境界に対してデブロッキング処理を施すことによって、当該ブロック境界、または当該ＣＵ境界付近の画像の平滑化を行う。デブロッキングフィルタ３３によりデブロッキング処理が施された画像は、デブロック済復号画像Ｐ＿ＤＢとして、適応オフセットフィルタ８０に出力される。
　適応オフセットフィルタ８０は、デブロッキングフィルタ３３から供給されるデブロック済復号画像Ｐ＿ＤＢに対して、適応的オフセットフィルタ処理を施すことによってオフセットフィルタ済復号画像Ｐ＿ＯＦを生成する。生成されたオフセットフィルタ済復号画像Ｐ＿ＯＦは、適応フィルタ７０に供給される。適応オフセットフィルタ８０の具体的な構成については、後述するため、ここでは説明を省略する。
　適応フィルタ７０は、適応オフセットフィルタ８０から供給されるオフセットフィルタ済復号画像Ｐ＿ＯＦに対して、適応的なフィルタ処理を施すことによって、フィルタ済復号画像Ｐ＿ＦＬを生成する。適応フィルタ７０によりフィルタ処理が施されたフィルタ済復号画像Ｐ＿ＦＬは、バッファメモリ２４に格納される。適応フィルタ７０によって用いられるフィルタ係数は、フィルタ済復号画像Ｐ＿ＦＬと符号化対象画像＃１０との誤差がより小さくなるように定められたものであり、このようにして定められたフィルタ係数がフィルタパラメータＦＰとして符号化され、動画像復号装置１に伝送される。
　（適応オフセットフィルタ８０）
　図１５は、適応オフセットフィルタ８０の構成を示すブロック図である。図１５に示すように、適応オフセットフィルタ８０は、適応オフセットフィルタ情報設定部８１及び適応オフセットフィルタ処理部８２を備えている。
　また、図１５に示すように、適応オフセットフィルタ情報設定部８１は、オフセット算出部８１１、オフセットシフト部８１６、オフセットクリップ部８１２、オフセット情報選択部８１３、及びオフセット属性設定部８１５を備えている。
　（オフセット算出部８１１）
　オフセット算出部８１１は、対象の処理単位（例えばＬＣＵ）に含まれる所定の分割深度までの全てのＱＡＯＭＵに対して、全てのオフセットタイプ及び全てのクラスについてのオフセットを算出する。ここで、オフセットタイプ及びクラスは、動画像復号装置１の説明において説明したものと同じものを指す。
　図１６は、オフセット算出部８１１による処理の流れを示すフローチャートである。
　（ステップＳ２０１）
　まず、オフセット算出部８１１は、処理対象とする対象ＱＡＯＭＵのＱＡＯＭＵ番号をループ変数とする第１のループを開始する。例えば、図７（ａ）～（ｅ）に示した例の場合、当該第１のループは、ＱＡＯＭＵ番号＝０からＱＡＯＭＵ番号＝３４０までのループである。
　（ステップＳ２０２）
　続いて、オフセット算出部８１１は、対象ＱＡＯＭＵに対して選択可能なオフセットタイプをループ変数とする第２のループを開始する。当該第２のループは、オフセットタイプ１からオフセットタイプ６までのループである。
　（ステップＳ２０３）
　続いて、オフセット算出部８１１は、対象ＱＡＯＭＵに含まれる画素を単位とする第３のループを開始する。
　（ステップＳ２０４）
　続いて、オフセット算出部８１１は、対象画素を複数のクラスの何れかに分類する。より具体的には、第２のループ変数であるオフセットタイプが１～４であるとき、対象画素をクラス１～４の何れかに分類する。本ステップにおける分類処理は、動画像復号装置１における適応オフセットフィルタ６０の備えるクラス分類部６２４による分類処理例１～分類処理例４の何れかと同じ処理である。
　また、対象ＱＡＯＭＵに関して、クラス毎に、画素が分類された回数である分類回数count[part_idx][sao_type_index][class_idx]を算出する。ここで、part_idxは、ＱＡＯＭＵ番号を表す。
　（ステップＳ２０５）
　続いて、オフセット算出部８１１は、対象画素におけるデブロック済復号画像Ｐ＿ＤＢの画素値と該対象画素における符号化対象画像＃１０の画素値との差分をとることによって該対象画素における差分画素値を算出する。より具体的には、対象画素の位置を（ｘ、ｙ）としたとき、Ｐ＿ＤＢ（ｘ、ｙ）－Ｏｒｇ（ｘ、ｙ）を算出する。ここで、Ｐ＿ＤＢ（ｘ、ｙ）は、対象画素におけるデブロック済復号画像Ｐ＿ＤＢの画素値を表しており、Ｏｒｇ（ｘ、ｙ）は、対象画素における符号化対象画像＃１０の画素値を表している。
　（ステップＳ２０６）
　本ステップは、第３のループの終端である。本ステップが終了した時点で、対象ＱＡＯＭＵに含まれる全ての画素に関して、差分画素値が算出されていることになる。
　（ステップＳ２０７）
　続いて、オフセット算出部８１１は、対象ＱＡＯＭＵに含まれる各画素についての差分画素値のクラス毎の総和を、該クラスの分類回数で除算することによってオフセットを算出する。より具体的には、オフセット算出部８１１は、対象ＱＡＯＭＵ、対象オフセットタイプ、及び対象クラスについてのオフセットoffset[part_idx][sao_type_idx][class_idx]を以下の式を用いて算出する。
　　offset[part_idx][sao_type_idx][class_idx] = Σ(P_DB(x、y)-Org(x、y))/count[part_idx][sao_type_idx][class_idx]
ここで、記号Σは、part_idxによって指定される対象ＱＡＯＭＵ、及びsao_type_idxによって指定される対象オフセットタイプにおいて、class_idxによって指定される対象クラスに分類された画素についての和をとることを示している。
　（ステップＳ２０８）
　本ステップは第２のループの終端である。
　（ステップＳ２０９）
　本ステップは第３のループの終端である。
　以上の処理により、オフセット算出部８１１は、対象ＬＣＵに含まれる所定の分割深度までの全てのＱＡＯＭＵに対して、全てのオフセットタイプ及び全てのクラスについてのオフセットを算出する。例えば、図７（ａ）～（ｅ）に示す例の場合、オフセット算出部８１１は、合計で、
　　（（分割深度０のＱＡＯＭＵの総数）＋．．．＋（分割深度４のＱＡＯＭＵの総数））×（（ＥＯのオフセットタイプ数）×（ＥＯのクラス数）＋（ＢＯのオフセットタイプ数）×（ＢＯのクラス数））＝（１＋４＋１６＋６４＋２５６）×（（４×４）＋（２×１６））＝１６３６８（個）
のオフセットを算出することになる。ここで、各オフセットのビット数は例えば１０ビットである。
　オフセット算出部８１１は、上記の処理によって算出したオフセット、オフセットタイプ、クラス、及び、ＱＡＯＵの分割構造を表すＱＡＯＵ構造情報からなるオフセット情報をオフセットシフト部８１６に供給する。
　なお、動画像符号化装置２は、上記ステップＳ２０４において何れの分類処理例に係る分類処理を行ったのかを示すフラグを符号化する構成とし、動画像復号装置１の備える適応オフセットフィルタ６０は、当該フラグを参照し、当該フラグの示す分類処理と同じ分類処理を行う構成とすることができる。また、そのようなフラグを用いることなく、動画像符号化装置２と動画像復号装置１とで予め定められた同じ分類処理を行う構成としてもよい。
　（オフセットシフト部８１６）
　オフセットシフト部８１６は、オフセット算出部８１１から供給されるオフセット情報に含まれる各オフセットの量子化を行う。量子化はオフセットを右側へビットシフトすることで、オフセットを画素ビット深度の精度からオフセットのビット深度の精度へ変換する。なお、シフト処理におけるシフト量は、後述するオフセット属性設定部８１５によって供給されるシフト値により決定される。
　（オフセットクリップ部８１２）
　オフセットクリップ部８１２は、後述するオフセット属性設定部８１５から供給されるオフセット値域へ制限するために、オフセットシフト部８１６から供給されるオフセットに対して以下に示すようなクリップ処理１、クリップ処理２の何れかの処理によってクリップの処理を行う。
　（クリップ処理１）
　オフセットクリップ部８１２は、オフセットシフト部８１６から供給されるオフセット情報に含まれる各オフセットに対してクリップ処理を行う。オフセットクリップ部８１２は、オフセットシフト部８１６から供給される各オフセットを例えば－８から７までの値にクリップすることによって、各オフセットを４ビットで表現する。クリップされた各オフセットは、オフセット情報選択部８１３に供給される。クリップするビット幅は、動画像復号装置１と同様、画像のビット深度とオフセットのビット深度に応じて設定される。
　このように、各オフセットをクリップすることによって、各オフセットが格納されるメモリ（不図示）のメモリサイズを削減することができる。また、符号化データ＃１に含まれるオフセットの符号量を削減することができるので、符号化効率の向上を図ることができる。また、過度なオフセットが加算されることが抑制されるので、適切な画質が保証される。
　（クリップ処理２）
　また、オフセットクリップ部８１２は、オフセットシフト部８１６から供給される各オフセットのクリップ範囲を、オフセットタイプに応じて異なる値を設定する構成としてもよい。
　例えば、オフセットタイプがエッジオフセットである場合には、オフセットのビット数を８ビットとし、オフセットタイプがバンドオフセットである場合には、オフセットのビット数を４ビットとする。より一般には、オフセットタイプがエッジオフセットである場合のオフセットのビット数をＮビットとし、オフセットタイプがバンドオフセットである場合のオフセットのビット数をＭビットとしたとき、Ｎ＞Ｍが満たされるようにオフセットのビット数を定める。
　このようにオフセットタイプに応じて、オフセットのビット数を異ならせることによって、各オフセットを格納するためのメモリに過度なメモリサイズを要求することなく、符号化効率の向上を図ることができる。
　なお、オフセットの取り得る値を制限するための閾値ｔｈが２m-1より大きく、２m以下であるとき、当該オフセットを符号化するための符号化方式として、ｍビットの固定長符号化を用いることができる。より具体的には、最大値とｔｈとするＴｒｕｎｃａｔｅｄ　ｕｎａｒｙ符号化や、Ｔｒｕｎｃａｔｅｄ　Ｒｉｃｅ符号化を用いることができる。なお、上記の最大値ｔｈは、オフセット属性設定部８１５から供給されるオフセット値域によって決定される。
　また、上記クリップ処理１及び２を組み合わせて得られるクリップ処理も本実施の形態に含まれる。また、適応オフセットフィルタ８０は、オフセットクリップ部８１２を備えない構成としてもよい。
　（オフセット情報選択部８１３）
　オフセット情報選択部８１３は、ＲＤコスト（Rate-Distorsion cost）がより小さくなるオフセットタイプ、クラス、オフセットの組み合わせ、及び、それに対応するＱＡＯＵ分割構造を決定し、決定したオフセットタイプ、クラス、オフセット及び、それに対応するＱＡＯＭ分割構造を示すＱＡＯＵ情報を可変長符号符号化部２２に供給する。また、オフセット情報選択部８１３は、決定したオフセットをＱＡＯＵ毎又はＱＡＯＭＵ毎に適応オフセットフィルタ処理部８２に供給する。
　オフセット情報選択部８１３の処理について図１７～図１８を参照してより具体的に説明すれば以下の通りである。図１７は、オフセット情報選択部８１３による処理の流れを示すフローチャートである。
　（ステップＳ３０１）
　まず、オフセット情報選択部８１３は、処理対象とする対象ＱＡＯＭＵのＱＡＯＭＵ番号をループ変数とする第１のループを開始する。
　（ステップＳ３０２）
　続いて、オフセット情報選択部８１３は、対象ＱＡＯＭＵに対して選択可能なオフセットタイプをループ変数とする第２のループを開始する。当該第２のループは、オフセットタイプ１からオフセットタイプ６までのループである。
　（ステップＳ３０３）
　続いて、オフセット情報選択部８１３は、対象オフセットタイプについて、対象ＱＡＯＭＵにおけるオフセットフィルタ済復号画像Ｐ＿ＯＦと符号化対象画像＃１０との二乗誤差を対算出する。
　（ステップＳ３０４）
　本ステップは第２のループの終端である。
　（ステップＳ３０５）
　本ステップは第１のループの終端である。第１及び第２のループが終了した時点で、各ＱＡＯＭＵに関して、全てのオフセットタイプについての二乗誤差が算出されることになる。
　（ステップＳ３０６）
　続いて、オフセット情報選択部８１３は、対象の処理単位（例えばＬＣＵ）をＱＡＯＵに分割するＱＡＯＵ分割構造のうち、ＲＤコストがより小さくなるＱＡＯＵ分割構造を決定する。
　本ステップにおけるオフセット情報選択部８１３の具体的な処理例を図１８（ａ）～（ｄ）を参照して説明すれば以下の通りである。
　まず、オフセット情報選択部８１３は、分割深度を０としたときのＲＤコストと分割深度を１とした場合のＲＤコストを計算する（図１８（ａ））。図１８（ａ）では、分割深度１のＲＤコストが分割深度０のＲＤコストよりも小さいものとする（図１８（ｂ））。
　続いて、オフセット情報選択部８１３は、分割深度を２とした場合のＲＤコストを計算する（図１８（ｃ））。
　続いて、オフセット情報選択部８１３は、分割深度１のＱＡＯＭＵのＲＤコストと該分割深度１のＱＡＯＭＵに含まれる分割深度２のＱＡＯＭＵのＲＤコストとを比較し、分割深度２のＱＡＯＭＵのＲＤコストの方が小さい場合には、該分割深度１のＱＡＯＭＵを分割深度２のＱＡＯＭＵに更新する（図１８（ｄ））。この処理を最大の分割深度に到達するまで繰り返す。これによって、ＲＤコストがより小さくなるＱＡＯＵ分割構造が決定される。
　（オフセット属性設定部８１５）
　オフセット属性設定部８１５は、図示されない画素ビット深度を入力としてオフセットのビット深度を決定する。決定されたオフセットのビット深度により、オフセット値域及びシフト値を設定する。オフセット値域は適応オフセットフィルタ処理部８２に供給され、シフト値はオフセットシフト部８１６に供給される。オフセット値域及びシフト値の設定は上述したオフセット属性設定部６１３と同一の処理のため、ここでは説明を省略する。
　（適応オフセットフィルタ処理部８２）
　適応オフセットフィルタ処理部８２は、対象ＱＡＯＵにおけるデブロック済復号画像Ｐ＿ＤＢの各画素に対して、オフセット情報選択部８１３から供給されるオフセットを加算する。適応オフセットフィルタ処理部８２は、デブロック済復号画像Ｐ＿ＤＢに含まれる全てのＱＡＯＵに対して処理を行って得られる画像をオフセットフィルタ済復号画像Ｐ＿ＯＦとして出力する。なお、適応オフセットフィルタ処理部８２の構成は、適応オフセットフィルタ処理部６２と同一のため、ここでは説明を省略する。ここで図示されない適応オフセットフィルタ処理部８２に含まれるオフセット情報格納部に格納される各オフセットは、オフセット属性設定部８１５によって設定されるオフセット値域に制限される。
　〔実施の形態２〕
　実施の形態１では、符号化データ＃１に含まれるsao_offset[sao_curr_depth][ys][xs][i]は、適応オフセットフィルタによるオフセットフィルタ処理において、対象ＱＡＯＵに含まれる各画素に加算されるオフセットの具体的な値を表すシンタックスであるものとした。
　一方で、発明者は、オフセットフィルタ処理に用いられるオフセットの値を予測符号化、すなわち、オフセットの値と当該オフセットの値の予測値とを用いて算出されるオフセット残差を符号化することによって、符号化データの符号量を更に削減することができるとの知見を得た。
　本実施の形態では、予測符号化されたオフセットし、オフセットフィルタ処理を行う動画像復号装置と、オフセットフィルタ処理に用いたオフセットを予測符号化する動画像符号化装置について、図１９～図２１を参照して説明する。なお、実施の形態１において既に説明した部分については説明を省略する。
　（符号化データ）
　本実施の形態に係る符号化データは、実施の形態１に係る符号化データ＃１に含まれるsao_offset[sao_curr_depth][ys][xs][i]に代えて、オフセット残差sao_offset_residual[sao_curr_depth][ys][xs][i]を含んでいる。本実施の形態に係る符号化データのその他の構成は、実施の形態１に係る符号化データ＃１の構成と同様である。以下では、本実施の形態に係る符号化データを符号化データ＃３と表記することもある。
　（sao_offset_residual）
　オフセット残差sao_offset_residual[sao_curr_depth][ys][xs][i]は、本実施の形態に係る適応オフセットフィルタによるオフセットフィルタ処理において対象ＱＡＯＵに含まれる各画素に加算されるオフセットの値と、該オフセットの値の予測値との重みつき差分値であり、sao_offset_residual[sao_type_idx][class_idx]とも表記する。
　対象ＱＡＯＵに含まれる対象画素に加算されるオフセットをOffset[sao_type_idx][class_idx]と表記したとき、オフセット残差sao_offset_residual[sao_type_idx][class_idx]は、
　　sao_offset_residual[sao_type_idx][class_idx]
　　= Offset[sao_type_idx][class_idx] 
　　- a*pred_offset[merge_tbl[sao_type_idx]][class_idx]
によって与えられる。ここで、ａは、予測値pred_offsetに乗ぜられる重み係数であり、merge_tblは、sao_type_idxを引数とする関数である。a及びmerge_tblの具体例については後述するためここでは説明を省略する。
　（動画像復号装置）
　本実施の形態に係る動画像復号装置は、実施の形態１に係る動画像復号装置１の備える適応オフセットフィルタ６０に代えて、適応オフセットフィルタ６０’を備えている。本実施の形態に係る動画像復号装置のその他の構成は、実施の形態１に係る動画像復号装置１の構成と同様である。
　図１９は、本実施の形態に係る適応オフセットフィルタ６０’の構成を示すブロック図である。図１９に示すように、適応オフセットフィルタ６０’は、適応オフセットフィルタ６０の備えるオフセット情報復号部６１１に代えて、オフセット情報復号部６１１’を備えている。
　（オフセット情報復号部６１１’）
　オフセット情報復号部６１１’は、符号化データ＃３に含まれているＱＡＯＵ情報を参照し、ＱＡＯＵ情報に含まれているオフセット情報ＯＩを復号する。また、オフセット情報ＯＩを復号することによって得られたオフセット残差sao_offset_residual[sao_type_idx][class_idx]と、予測値pred_offset[merge_tbl[sao_type_idx]][class_idx]とを用いて、適応オフセットフィルタ処理に用いられるオフセットOffset[sao_type_idx][class_idx]を、
　　Offset[sao_type_idx][class_idx]
　　=a*pred_offset[merge_tbl[sao_type_idx]][class_idx]
　　+ sao_offset_residual[sao_type_idx][class_idx]
によって算出し、算出したオフセットOffset[sao_type_idx][class_idx]を、オフセット情報格納部６２１に格納する。ここで、pred_offset[merge_tbl[sao_type_idx]][class_idx]は、Offset[sao_type_idx][class_idx]の予測値である。merge_tbl[sao_type_idx]は、sao_type_idx＝１～６に対して、インデックスが与えられるテーブルであり、１つ以上のsao_type_idxを同一のグループとしてみなすことが可能である。
　（pred_offsetの具体例１）
　pred_offset[merge_tbl[sao_type_idx]][class_idx]の第１の具体例について説明する。本例では、予測値pred_offset[merge_tbl[sao_type_idx]][class_idx]を、
　　pred_offset[merge_tbl[sao_type_idx]][class_idx]
　　= Offset'[sao_type_idx][class_idx]
によって定める。ここで、Offset'[sao_type_idx][class_idx]は、復号済みのオフセットであって、オフセットタイプインデックスsao_type_idx、及び、クラスインデックスclass_idxに関連付けられたオフセットを表している。
　このように、本例では、Offset[sao_type_idx][class_idx]の予測値として、復号済みのオフセットであって、オフセットタイプインデックスsao_type_idx、及び、クラスインデックスclass_idxに関連付けられたオフセットOffset'[sao_type_idx][class_idx]を用いる。
　（pred_offsetの具体例２）
　pred_offset[merge_tbl[sao_type_idx]][class_idx]の第２の具体例について説明する。本例では、予測値pred_offset[merge_tbl[sao_type_idx]][class_idx]を、
　　pred_offset[merge_tbl[sao_type_idx]][class_idx]
　　= (pred_offset'[merge_tbl[sao_type_idx]][class_idx]*W1
　　 + Offset'[sao_type_idx][class_idx]*W2) >> log2(W1+W2)
によって定める。ここで、pred_offset'[merge_tbl[sao_type_idx]][class_idx]は、復号済みのオフセットOffset'[sao_type_idx][class_idx]を算出する際に用いた予測値を表している。また、「*」は、積をとる演算記号を表しており、「>>」は右ビットシフトを表している。また、W1及びW2は、それぞれ重み係数を表しており、例えば、W1=3、W2=１ととることができる。W1及びW2の具体的な値は、符号化効率がより高くなるように定めればよい。
　上式から明らかなように、本例では、pred_offsetを求めるために、pred_offset'及びOffset'を参照し、pred_offset'を求めるためにpred_offset''及びOffset''を参照し、．．．のように復号済みの予測値及びオフセットが再帰的に参照されるので、pred_offsetには、復号済みの複数のオフセットが寄与することになる。したがって、予測値の過度な変動が抑制される。これにより、例えば、ノイズの影響によって適切でない予測値が算出されるような場合であっても、そのような適切でない予測値の影響を抑制することができるので、符号化効率の向上を図ることが出来る。
　（pred_offsetの具体例３）
　pred_offset[merge_tbl[sao_type_idx]][class_idx]の第３の具体例について説明する。本例では、予測値pred_offset[merge_tbl[sao_type_idx]][class_idx]を、
　　pred_offset[merge_tbl[sao_type_idx]][class_idx]
　　= clip3(-th、 th、 pred_offset[merge_tbl[sao_type_idx]][class_idx])
によって定める。ここで、clip3(A、B、C)は、値Ｃを下限値Ａ及び上限値Ｂでクリップすることを示している。また、clip3の引数のpred_offset[merge_tbl[sao_type_idx]]は、例えば、上記具体例１または２のように定められるものとする。また、閾値thは、例えば、画素値のビット深度bit_depthに依存して以下のように定められる。
　th = 4 (bit_depth = 8)
　th = 8 (bit_depth > 8)
　このように、本例では、上限値及び下限値でクリップした予測値を用いることによって、大きすぎる予測値や小さすぎる予測値が生じることがないので、符号化効率の向上を図ることが出来る。また、上限値及び下限値の絶対値は、画素値のビットが大きいときに大きくなるように設定されているので、画素値のビット深度に応じて、適切なクリップ処理を行うことができ、画質の劣化を防止することができる。
　（merge_tblの具体例１）
　図２０（ａ）は、関数merge_tbl[sao_type_idx]の第１の具体例を示す表である。図２０（ａ）に示すように、本例に係るmerge_tbl[sao_type_idx]は、sao_type_idx＝０のときには値をとらず、sao_type_idx＝１～６のとき、それぞれ、０～５の値をとる。したがって、本例に係るmerge_tbl[sao_type_idx]は、
　　merge_tbl[sao_type_idx] = sao_type_idx - 1
と表現することもできる。
　本例に係るmerge_tbl[sao_type_idx]を用いることによって、オフセット情報復号部６１１’は、予測値pred_offsetを、各々のsao_type_idx及び各々のclass_idxに対して個別に定めるので、オフセット残差sao_offset_residualの符号量を削減することができる。
　（merge_tblの具体例２）
　図２０（ｂ）は、関数merge_tbl[sao_type_idx]の第２の具体例を示す表である。図２０（ｂ）に示すように、本例に係るmerge_tbl[sao_type_idx]は、エッジオフセット（sao_type_idx＝１～４）のとき、０の値をとり、バンドオフセット（sao_type_idx＝５～６）のとき、１～２の値をとる。
　例えば、先のオフセットの算出の際にsao_type_idx＝１（merge_tbl[sao_type_idx=1]=0）及びclass_idx＝１が指定され、次のオフセットの算出の際にsao_type_idx＝２（merge_tbl[sao_type_idx=2]=0）及びclass_idx＝１が指定されたとすると、当該次のオフセットを算出する際に用いられる予測値は、当該先のオフセットの算出の際に用いられた予測値と同じものとなる。
　本例に係るmerge_tbl[sao_type_idx]を用いることによって、オフセット情報復号部６１１’は、エッジオフセットが指定された場合、及びバンドオフセットが指定された場合の各々について、以下の処理を行うことになる。
　・エッジオフセットが指定された場合
　復号対象のオフセットに関連付けられたクラスと同じクラスの復号済みのオフセットから当該復号対象のオフセットの予測値を算出する。ここで、復号対象のオフセットと予測値とはクラスが同じであれば、オフセットタイプは異なっていてもよい。したがって、あるオフセットタイプのオフセットを算出するために設定された予測値を、当該あるオフセットとは異なるオフセットタイプのオフセットを算出するために用いることができるので、予測値を設定するための処理が軽減される。
　・バンドオフセットが指定された場合
　復号対象のオフセットに関連付けられたオフセットタイプ及びクラスと同じオフセットタイプ及びクラスのオフセットから当該復号対象のオフセットの予測値を算出する。
　本例に係るmerge_tbl[sao_type_idx]を用いれば、処理量を削減しつつ適切な予測値を算出することができる。
　（係数ａの具体例）
　予測値pred_offsetに乗ぜられる重み係数ａは、オフセットタイプによらずに１を用いてもよいし、オフセットタイプに依存して異なる値を用いてもよい。
　例えば、
　　ａ＝１（エッジオフセットのとき）
　　ａ＝０．５（バンドオフセットのとき）
としてもよい。より一般には、エッジオフセットが指定された場合の係数ａを、ａ（ｅｄｇｅ）と表し、バンドオフセットが指定された場合の係数ａを、ａ（ｂａｎｄ）と表すことにすると、
　　ａ（ｅｄｇｅ）＞ａ（ｂａｎｄ）
を満たすものを用いればよい。
　発明者は、エッジオフセットが指定される場合の、復号済みのオフセットと復号対象のオフセットとの間の相関は、バンドオフセットが指定される場合の、復号済みのオフセットと復号対象のオフセットとの間の相関よりも大きいことを見出した。上記の具体例では、復号済みのオフセットと復号対象のオフセットとの相関の影響を適切に取り込むことができるので、オフセット残差の符号量が削減される。
　（動画像符号化装置）
　本実施の形態に係る動画像符号化装置は、実施の形態１に係る動画像符号化装置２の備える適応オフセットフィルタ８０に代えて、適応オフセットフィルタ８０’を備えている。本実施の形態に係る動画像符号化装置のその他の構成は、実施の形態１に係る動画像符号化装置２の構成と同様である。
　図２１は、本実施の形態に係る適応オフセットフィルタ８０’の構成を示すブロック図である。図２１に示すように、適応オフセットフィルタ８０’は、適応オフセットフィルタ６０の備える各部に加えて、オフセット残差導出部８１４を備えている。
　（オフセット残差導出部８１４）
　オフセット残差導出部８１４は、オフセット情報選択部８１３から供給されるオフセットと、当該オフセットの予測値との差分をとることによって、オフセット残差を算出する。当該オフセット残差は、ＱＡＯＵ情報の一部として、可変長符号符号化部２２によって符号化される。
　オフセット残差導出部８１４により設定される予測値は、本実施の形態に係る動画像復号装置の備えるオフセット情報復号部６１１’により設定される予測値と同様であるので、ここでは説明を省略する。
　（付記事項１）
　本発明は以下のように記載することもできる。
　本発明に係る画像フィルタ装置は、複数の単位領域から構成される入力画像の各画素値にオフセットを加算する画像フィルタ装置であって、符号化データに含まれるオフセットタイプ指定情報を参照し、処理対象の単位領域におけるオフセット属性を設定するオフセット属性設定手段と、上記設定されたオフセット属性に含まれるオフセット値域に応じたビット幅を有するオフセットを復号するオフセット復号手段と、上記入力画像の各画素値に上記オフセットを加算するフィルタ手段とを備えていることを特徴としている。
　上記のように構成された画像フィルタ装置によれば、上記オフセット属性設定手段により、符号化データに含まれるオフセットタイプ指定情報を参照し、処理対象の単位領域におけるオフセット属性を設定し、設定されたオフセット属性に含まれるオフセット値域に応じたビット幅を有するオフセットを上記オフセット復号手段により復号するので、オフセットを格納しておくためのメモリサイズを効果的に削減することができる。
　したがって、上記の構成によれば、オフセットを格納しておくためのメモリサイズを削減しつつ、適切なオフセットフィルタ処理を行うことができる。
　なお、上記オフセットタイプ指定情報は、上記入力画像毎に定められているものであってもよいし、上記単位領域毎に定められているであってもよい。また、上記入力画像の所定のセット毎に定められているものであってもよいし、上記単位領域の所定のセット毎に定められているものであってもよい。
　また、上記オフセットタイプ指定情報は、各単位領域における上記入力画像の画素値のビット深度を含み、上記オフセット復号手段は、上記画素値のビット深度に応じたビット幅を有するオフセットを復号することが好ましい。
　上記の構成によれば、上記オフセット復号手段は、上記画素値のビット深度に応じたビット幅を有するオフセットを復号するので、オフセットを格納しておくためのメモリサイズを効果的に削減することができる。
　なお、上記オフセットタイプ指定情報は、各単位領域における上記入力画像の画素値のビット深度を含み、上記オフセット復号手段は、上記ビット深度に応じた値域を表現可能なビット幅を有するオフセットを復号する構成としてもよい。
　上記の構成によれば、上記オフセット復号手段は、各単位領域における上記入力画像の画素値のビット深度に応じた値域を表現可能なビット幅を有するオフセットを復号するので、オフセットを格納しておくためのメモリサイズを効果的に削減することができる。
　なお、上記ビット深度に応じた値域を表現可能なビット幅とは、値域の範囲に含まれる値を２進数で表現した時のビット幅を指し、例えば値域が-23～23-1のときは表現可能なビット幅は４ビットである。
　また、上記復号されたオフセットは量子化された値であり、上記フィルタ手段は、上記オフセット属性に含まれるパラメータを用いて上記オフセットを逆量子化した値を上記各画素値に加算することが好ましい。
　上記の構成によれば、上記復号されたオフセットは量子化された値であり、上記フィルタ手段は、上記オフセット属性に含まれるパラメータを用いて上記オフセットを逆量子化した値を上記各画素値に加算するので、上記オフセット属性に含まれるパラメータに応じたオフセットが各画像値に加算される。
　したがって、上記の構成によれば、オフセットを格納しておくためのメモリサイズを削減しつつ、符号化効率を向上させることができる。
　なお、上記オフセットタイプ指定情報は、画素値のシフト値を含み、上記フィルタ手段は、上記オフセットに替えて、該シフト値を用いて上記オフセットを逆量子化した値を加算する構成としてもよい。
　上記の構成によれば、上記オフセットタイプ指定情報は、画素値のシフト値を含み、上記フィルタ手段は、上記オフセットに替えて、該シフト値を用いて上記オフセットを逆量子化した値を加算するので、画素値のシフト値に応じたオフセットを得ることができる。したがって、オフセットを格納しておくためのメモリサイズを削減しつつ、符号化効率を向上させることができる。
　なお、画素値のシフト値とは、画素ビット深度とオフセットのビット深度の差分値のことを指し、該シフト値を用いて上記オフセットを逆量子化するとは、上記オフセットを該シフト値だけ左側へビットシフトを行い、オフセットのビット深度から画素ビット深度へ変換することを指す。
　また、上記オフセットタイプ指定情報は、上記入力画像に対して定まるものであることが好ましい。
　上記の構成によれば、オフセットタイプ指定情報は、上記入力画像に対して定まるものであるため、上記画像フィルタ装置は、上記入力画像に対して、適切なオフセット処理を行うことができる。
　また、本発明に係るオフセット復号装置は、入力画像の各画素値にオフセットを加算する画像フィルタによって参照される各オフセットを復号するオフセット復号装置であって、各オフセット残差を、符号化データから復号するオフセット残差復号手段と、各オフセットの予測値を、復号済みのオフセットから導出する予測値導出手段と、各オフセットを、上記予測値導出手段によって導出された予測値、及び上記オフセット残差復号手段によって復号されたオフセット残差から算出するオフセット算出手段と、を備えていることを特徴としている。
　上記のように構成されたオフセット復号装置によれば、各オフセット残差を、符号化データから復号するオフセット残差復号手段と、各オフセットの予測値を、復号済みのオフセットから導出する予測値導出手段と、各オフセットを、上記予測値導出手段によって導出された予測値、及び上記オフセット残差復号手段によって復号されたオフセット残差から算出するオフセット算出手段と、を備えているので、各オフセットをそのまま符号化する場合に比べて、符号量の少ない符号化データから、オフセットを適切に復号することができる。
　また、上記入力画像は、複数の単位領域から構成されており、上記オフセット残差復号手段は、各オフセット残差を、単位領域毎に定まるオフセットタイプ及び画素毎に定まるオフセットクラスに関連付けて復号し、上記予測値導出手段は、各オフセットの予測値を、該オフセットと同一のオフセットタイプ及びオフセットクラスに関連付けられた復号済みのオフセットから導出する、ことが好ましい。
　上記の構成によれば、各オフセットの予測値を、該オフセットと同一のオフセットタイプ及びオフセットクラスに関連付けられた復号済みのオフセットから導出するので、予測精度が向上する。したがって、上記の構成によれば、符号量の少ない符号化データから、オフセットを適切に復号することができる。
　また、上記入力画像は、複数の単位領域から構成されており、上記オフセット残差復号手段は、各オフセット残差を、単位領域毎に定まるオフセットタイプ及び画素毎に定まるオフセットクラスに関連付けて復号し、上記予測値導出手段は、各オフセットの予測値を、該オフセットに関連付けられたオフセットタイプが第１のオフセットタイプ群に属している場合に、該オフセットと同一の第１のオフセットタイプ群及び同一のオフセットクラスに関連付けられた復号済みのオフセットから導出し、該オフセットに関連付けられたオフセットタイプが第２のオフセットタイプ群に属している場合に、該オフセットと同一のオフセットタイプ及びオフセットクラスに関連付けられた復号済みのオフセットから導出する、ことが好ましい。
　上記の構成によれば、各オフセットの予測値を、該オフセットに関連付けられたオフセットタイプが第１のオフセットタイプ群に属している場合に、該オフセットと同一のオフセットタイプに関連付けられた復号済みのオフセットから導出し、該オフセットに関連付けられたオフセットタイプが第２のオフセットタイプ群に属している場合に、該オフセットと同一のオフセットタイプ及びオフセットクラスに関連付けられた復号済みのオフセットから導出するので、処理量を削減しつつ、予測精度を向上させることができる。したがって、上記の構成によれば、処理量を削減しつつ、符号量の少ない符号化データから、オフセットを適切に復号することができる。
　なお、上記第１のオフセットタイプとは、例えば、当該第１のオフセットタイプに関連付けられた単位領域における各画素が、例えば、該画素の近傍にエッジの態様に応じて、複数のクラスの何れかに分類されるものを指し、上記第２のオフセットタイプとは、当該第２のオフセットタイプに関連付けられた単位領域における各画素が、例えば、該画素の画素値に応じて、複数のクラスの何れかに分類されるものを指す。
　また、上記オフセット算出手段は、各オフセットを、上記予測値導出手段によって導出された予測値、及び上記オフセット残差復号手段によって復号されたオフセット残差の線形関数として算出するものであり、上記予測値に乗ぜられる係数は、上記オフセットに関連付けられたオフセットタイプが第１のオフセットタイプ群に属している場合と、上記オフセットに関連付けられたオフセットタイプが第２のオフセットタイプ群に属している場合とで異なっている、ことが好ましい。
　上記の構成によれば、上記予測値に乗ぜられる係数は、上記オフセットに関連付けられたオフセットタイプが第１のオフセットタイプ群に属している場合と、上記オフセットに関連付けられたオフセットタイプが第２のオフセットタイプ群に属している場合とで異なっているので、オフセットタイプに応じて、より適切な係数を用いて上記オフセットを算出することができる。これにより符号化効率の向上を図ることができる。
　また、上記予測値導出手段は、各オフセットの予測値を、復号済みのオフセットと該復号済みのオフセットの予測値との加重平均をとることによって導出する、ことが好ましい。
　上記の構成によれば、各オフセットの予測値を、復号済みのオフセットと該復号済みのオフセットの予測値との加重平均をとることによって導出するので、各オフセットの予測値には、復号済みの複数のオフセットが寄与することになる。したがって、予測値の過度な変動が抑制される。これにより、例えば、ノイズの影響によって適切でない予測値が算出された場合であっても、そのような適切でない予測値の影響を抑制することができるので、符号化効率の向上を図ることが出来る。
　また、上記予測値導出手段は、導出した各予測値を、入力画像における各画素値のビット深度に応じた上限値及び下限値でクリップするクリップ手段を備えている、ことが好ましい。
　上記の構成によれば、導出した各予測値を、入力画像における各画素値のビット深度に応じた上限値及び下限値でクリップするので、大きすぎる予測値や小さすぎる予測値が生じることがなく、符号化効率の向上を図ることが出来る。
　また、本発明に係る画像フィルタ装置は、入力画像に作用する画像フィルタ装置であって、入力画像における対象画素の画素値と該対象画素の周辺の画素の画素値との差分値を算出する算出手段と、上記算出手段によって参照される画素値、または、上記算出手段によって算出された差分値を所定のシフト値だけ右ビットシフトするビットシフト手段と、上記ビットシフト手段によって右ビットシフトされた差分値と０との大小関係に応じて、上記対象画素を複数のオフセットクラスの何れかに分類する分類手段と、上記対象画素の画素値に対して、上記分類手段によって分類されたオフセットクラスに関連付けられたオフセットを加算するオフセット手段と、を備えていることを特徴としている。
　上記のように構成された画像フィルタ装置によれば、右ビットシフトされた差分値と０との大小関係に応じて、上記対象画素を複数のオフセットクラスの何れかに分類し、上記対象画素の画素値に対して、上記分類手段によって分類されたオフセットクラスに関連付けられたオフセットを加算するので、クラス分類処理が、ノイズの影響を受けにくくなり符号化効率が向上する。
　また、上記所定のシフト値は、上記対象画素の画素値のビット深度と正の相関を有している、ことが好ましい。
　上記の構成によれば、上記所定のシフト値は、上記対象画素の画素値のビット深度と正の相関を有しているので、符号化効率の向上をより効果的に図ることができる。
　また、本発明に係る画像フィルタ装置は、入力画像に作用する画像フィルタ装置であって、入力画像における対象画素の画素値と該対象画素の周辺の画素の画素値との差分値を算出する算出手段と、上記算出手段によって算出された差分値と、予め定められた第１及び第２の閾値との大小関係に応じて、上記対象画素を複数のオフセットクラスの何れかに分類する分類手段と、上記対象画素の画素値に対して、上記分類手段によって分類されたオフセットクラスに関連付けられたオフセットを加算するオフセット手段と、を備えていることを特徴としている。
　上記のように構成された画像フィルタ装置は、上記算出手段によって算出された差分値と、予め定められた第１及び第２の閾値との大小関係に応じて、上記対象画素を複数のオフセットクラスの何れかに分類し、上記対象画素の画素値に対して、上記分類手段によって分類されたオフセットクラスに関連付けられたオフセットを加算するので、クラス分類処理が、ノイズの影響を受けにくくなり符号化効率が向上する。
　また、上記第１及び第２の閾値の絶対値は、上記対象画素の画素値のビット深度と正の相関を有している、ことが好ましい。
　上記の構成によれば、上記第１及び第２の閾値の絶対値は、上記対象画素の画素値のビット深度と正の相関を有しているので、符号化効率の向上をより効果的に図ることができる。
　また、本発明に係る画像フィルタ装置は、複数の単位領域から構成される入力画像に作用する画像フィルタ装置であって、第１及び第２のオフセットタイプのうち、入力画像における対象画素を含む対象単位領域が属するオフセットタイプを決定する決定手段と、上記対象単位領域の属するオフセットタイプ、及び上記対象画素の画素値に応じて、上記対象画素を、オフセットを加算しないオフセットクラス、及びオフセットを加算する複数のオフセットクラスの何れかに分類する分類手段と、上記対象画素の画素値に対して、上記対象単位領域の属するオフセットタイプ及び上記分類手段によって分類されたオフセットクラスに関連付けられたオフセットを加算するオフセット手段と、を備えており、上記分類手段は、上記対象画素の画素値が所定の範囲内であるとき、上記対象画素を含む単位領域が属するオフセットタイプが上記第１及び上記第２のオフセットタイプの何れの場合であっても、上記対象画素を、オフセットを加算するオフセットクラスに分類する、ことを特徴としている。
　上記のように構成された画像フィルタ装置によれば、上記対象画素の画素値が所定の範囲内であるとき、上記対象画素を含む単位領域が属するオフセットタイプが上記第１及び上記第２のオフセットタイプの何れの場合であっても、上記対象画素を、オフセットを加算するオフセットクラスに分類するので、ブロックノイズを効果的に除去することができる。したがって、上記の構成によれば、符号化効率の向上を図ることができる。
　また、本発明に係る画像フィルタ装置は、複数の単位領域から構成される入力画像の各画素値にオフセットを加算する画像フィルタ装置であって、複数のオフセットタイプのうち、処理対象の単位領域が属するオフセットタイプを決定する決定手段と、上記オフセットタイプに応じて、異なるビット幅を有するオフセットを決定すると共に、該オフセットを符号化するオフセット符号化手段と、上記入力画像の各画素値に上記決定されたオフセットを加算するフィルタ手段とを備えていることを特徴としている。
　上記のように構成された画像フィルタ装置によれば、複数のオフセットタイプのうち、処理対象の単位領域が属するオフセットタイプを決定し、決定されたオフセットタイプに応じて、異なるビット幅を有するオフセットを決定し、決定されたオフセットを、上記入力画像の各画素に加算する。また、決定されたオフセットを符号化する。
　したがって、上記の構成によれば、オフセットを格納しておくためのメモリサイズを削減しつつ、適切なオフセットフィルタ処理を行うことができる。また、上記の構成によれば、符号化データの符号量が削減されるので、符号化効率が向上する。
　また、本発明に係るオフセット符号化装置は、入力画像の各画素値にオフセットを加算する画像フィルタによって参照される各オフセットを符号化するオフセット符号化装置であって、各オフセットの予測値を、符号化済みのオフセットから導出する予測値導出手段と、各オフセットと上記予測値導出手段によって導出された予測値とからオフセット残差を算出するオフセット残差算出手段と、上記オフセット残差算出手段によって算出されたオフセット残差を符号化するオフセット残差符号化手段と、を備えていることを特徴としている。
　上記のように構成されたオフセット符号化装置によれば、各オフセットの予測値を、符号化済みのオフセットから導出する予測値導出手段と、各オフセットと上記予測値導出手段によって導出された予測値とからオフセット残差を算出するオフセット残差算出手段と、上記オフセット残差算出手段によって算出されたオフセット残差を符号化するオフセット残差符号化手段とを備えているので、符号化データの符号量を削減することができる。
　また、本発明に係る符号化データのデータ構造は、複数の単位領域から構成される入力画像の各画素値にオフセットを加算する画像フィルタによって参照される符号化データのデータ構造であって、各単位領域が属するオフセットタイプを指定するオフセットタイプ指定情報と、該オフセットタイプに応じて異なるビット幅を有するオフセットとを含んでおり、上記画像フィルタは、上記符号化データに含まれるオフセットタイプ指定情報を参照し、処理対象の単位領域が属するオフセットタイプを決定すると共に、決定したオフセットタイプに応じて異なるビット幅を有するオフセットを復号することを特徴としている。
　上記のように構成された符号化データは、オフセットタイプに応じて異なるビット幅を有するオフセットを含んでいるので、符号化データの符号量が削減される。また、上記符号化データを復号する画像フィルタは、上記オフセットタイプ指定情報を参照し、処理対象の単位領域が属するオフセットタイプを決定すると共に、決定したオフセットタイプに応じて異なるビット幅を有するオフセットを復号するので、オフセットを格納しておくためのメモリサイズを削減しつつ、適切なオフセットフィルタ処理を行うことができる。
　なお、上記オフセットタイプ指定情報は、上記入力画像毎に定められているものであってもよいし、上記単位領域毎に定められているものであってもよい。また、上記入力画像の所定のセット毎に定められているものであってもよいし、上記単位領域の所定のセット毎に定められているものであってもよい。
　〔実施の形態３〕
　まず、本実施の形態におけるオフセット情報ＯＩについて、図２３を参照して説明する。図２３（ａ）は、オフセット情報ＯＩ（図２３（ａ）において“sao_offset_param()”と表記）のシンタクスを示す図である。
　図２３（ａ）に示すように、オフセット情報ＯＩには、パラメータ“sao_type_idx[sao_curr_depth][ys][xs]”が含まれている。また、パラメータ“sao_type_idx[sao_curr_depth][ys][xs]”が「０」でない場合、オフセット情報ＯＩには、パラメータ“sao_offset[sao_curr_depth][ys][xs][i]”が含まれている。
　（sao_curr_depth、ys、xs）
　“sao_type_idx”および“sao_offset”の引数である“sao_curr_depth”は、ＱＡＯＵの分割深度を表すパラメータであり、“ys”および“xs”は、それぞれ、ＱＡＯＵ（または後述するＱＡＯＭＵ）のｙ方向の位置およびｘ方向の位置を表すためのパラメータである。
　“sao_curr_depth”の値に応じたＱＡＯＵの分割の態様については、図４を参照して上記で説明したとおりである。
　図２３（ｂ）は、ＱＡＯＵ情報（図２３（ｂ）において“sao_split_param()”と表記）のシンタクスを示す図である。図２３（ｂ）のシンタクスで示すように、分割深度“sao_curr_depth”が所定の“saoMaxDepth”で設定される最大値よりも小さければ、パラメータ“sao_split_flag”によって、ＱＡＯＵがさらに分割されるかどうかが選択される。分割される場合には、次の階層深度の“sao_split_param()”が再帰的に呼び出される。分割深度が最大値に達した（“sao_curr_depth”が“saoMaxDepth”より小さくない）場合には、“sao_split_flag[sao_curr_depth][ys][xs]”には「０」が設定され、それ以上の分割は行われない。
　図４４には、オフセット情報およびＱＡＯＵ情報のシンタクスの別の例を示す。
　図４４（ａ）は、オフセット情報のシンタクスである。図２３（ａ）と同様の構成となっているが、“sao_offset_param()”の引数および、“sao_split_flag”、“sao_type_idx”、“sao_offset”の配列の添字に、色成分を意味する値である“component”が追加されている。これにより、輝度および色差などの色成分毎に異なるＱＡＯＵ分割を行い、かつ、異なるオフセットを適用することができる。
　図４４（ｂ）は、ＱＡＯＵ情報のシンタクスである。図４４（ａ）と同じく、図２３（ｂ）に引数として色成分“component”を追加したシンタクスである。
　図４４（ｃ）は、図４４（ａ）および図４４（ｂ）のシンタクスを呼び出す、適応オフセットフィルタ全体のシンタクスである。パラメータ“sao_flag”は適応オフセットフィルタを適用するか否か選択するフラグであり、当該フラグが真である場合のみ、後続の適応オフセットフィルタに関するパラメータが用いられる。当該フラグが真である場合、各色成分に対して、シンタクス“sao_split_param()”および“sao_offset_param()”が最上位階層を指定して呼び出される。最上位階層であるため、各シンタクスに与えられる引数は、sao_curr_depth＝０、ys＝０、xs＝０ である。また、“component”の値は、輝度（Ｙ）の場合は０、色差（Ｃｂ）の場合は１、色差（Ｃｒ）の場合は２として、各色成分を区別している。なお、componentの値は、処理対象の色成分が区別できれば他の値でもよい。
　なお、色差（Ｃｂ）および色差（Ｃｒ）については、各々に対応するフラグ“sao_flag_cb”“sao_flag_cr”を用いて、適応オフセットフィルタを適用するか否かを選択し、適用しない場合には当該色成分に対応するＱＡＯＵ情報およびオフセット情報を格納しない。
　上記の図４４のシンタクスでは引数“component”が追加されているため、上記図２３を用いた説明において、引数[sao_curr_depth][ys][xs]を[sao_curr_depth][ys][xs][component]に置き換えて処理する。以降の説明でも同様である。
　（動画像復号装置１’）
　次に、本実施の形態に係る動画像復号装置１’について、図２２および図２４～図２９を参照して説明する。なお、上記の実施の形態において示した部材と同一の機能を有する部材には、同一の符号を付し、その説明を省略する。
　動画像復号装置１’は、動画像復号装置１と同様に、その一部に、Ｈ．２６４／ＭＰＥＧ－４．ＡＶＣに採用されている方式、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式、その後継コーデックであるＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている方式、および、ＨＭ（HEVC TestModel）ソフトウェアに採用されている技術を含んでいる。また、動画像復号装置１’は動画像復号装置１における適応オフセットフィルタ６０の代わりに適応オフセットフィルタ６０’が設けられている点が異なり、他の構成は同様である。
　（適応オフセットフィルタ６０’）
　次に、適応オフセットフィルタ６０’の詳細について、図２２を参照して説明する。図２２は、適応オフセットフィルタ６０’の構成を示すブロック図である。図２２に示すように、適応オフセットフィルタ６０’は、適応オフセットフィルタ情報復号部６１’および適応オフセットフィルタ処理部６２’を含む構成である。
　また、図２２に示すように、適応オフセットフィルタ情報復号部６１’は、オフセット情報復号部６１１、およびＱＡＯＵ構造復号部６１２を含む構成である。
　オフセット情報復号部６１１は、符号化データ＃１に含まれているＱＡＯＵ情報を参照し、ＱＡＯＵ情報に含まれているオフセット情報ＯＩを復号する。また、オフセット情報ＯＩを復号することによって得られた“sao_type_idx[sao_curr_depth][ys][xs][component]”および“sao_offset[sao_curr_depth][ys][xs][i]”の各値を、それぞれの引数（sao_curr_depth、ys、xs）および（sao_curr_depth、ys、xs、i）に関連付けて、オフセット情報格納部６２１に供給する。
　より詳細には、オフセット情報復号部６１１は、符号化データ＃１からコードを復号し、復号したコードを“sao_type_idx”の値に変換して、引数に関連付けてオフセット情報格納部６２１に供給する。ここで、オフセット情報復号部６１１は、コードの復号方法、およびコードから“sao_type_idx”の値への変換を、処理対象のＱＡＯＵの階層の深度によって変更している。このＱＡＯＵの階層の深度などの条件をパラメータ条件と呼ぶ。一般のパラメータ条件に応じたオフセット情報の復号については、図４１、図４２を用いて後述する。
　コードの復号方法は、処理対象のＱＡＯＵの階層の深度が閾値よりも小さい場合と処理対象のＱＡＯＵの階層の深度が閾値以上の場合とで、異なる最大値を用いて行うものであってもよいし、処理対象のＱＡＯＵの階層の深度が閾値以上の場合のみ最大値を用いるものであってもよい。また、処理対象のＱＡＯＵの階層の深度が閾値よりも小さい場合と処理対象のＱＡＯＵの階層の深度が閾値以上の場合とで、異なるバイナリゼーションを用いて行うものであってもよい。さらに、処理対象のＱＡＯＵの階層の深度が閾値よりも小さい場合と処理対象のＱＡＯＵの階層の深度が閾値以上の場合とで、異なるコンテキストを用いるものであってもよい。
　例えば、処理対象のＱＡＯＵの階層の深度が閾値よりも小さい場合には、可変長符号化（ue(v)）でコードを復号し、処理対象のＱＡＯＵの階層の深度が閾値以上の場合には、オフセットタイプの数に応じたtruncated符号化（te(v)）で、コードを復号してもよい。また、オフセットタイプ数が、２のべき乗であれば、固定長符号化で、コードを復号してもよい。オフセットタイプ数が４つであれば、２ｂｉｔで表現可能であるので、２ｂｉｔで固定長符号化とすることができる。
　また、オフセット情報復号部６１１は、復号したコードから“sao_type_idx”の値への変換は、図２５に示すような変換テーブル８０１および変換テーブル８０２を用いて行う。図２５（ａ）の変換テーブル８０１では、２通りの変換パターンを示している。この２通りの変換パターンは、処理対象のＱＡＯＵの階層の深度によって、使い分けられる。すなわち、オフセット情報復号部６１１は、処理対象のＱＡＯＵの階層の深度が、閾値よりも小さい場合は、変換テーブル８０１Ａを用い、処理対象のＱＡＯＵの階層の深度が、閾値以上の場合は、変換テーブル８０１Ｂを用いる。
　図２５（ａ）の変換テーブル８０１Ａでは、コード「１」に対しオフセットタイプ「ＥＯ＿０」（“sao_type_idx”＝１）が対応付けられており、コード「２」に対しオフセットタイプ「ＥＯ＿１」（“sao_type_idx”＝２）が対応付けられており、コード「３」に対しオフセットタイプ「ＥＯ＿２」（“sao_type_idx”＝３）が対応付けられている。以下、コード４～６についても同様である。
　また、図２５（ａ）の変換テーブル８０１Ｂでは、コード「１」に対しオフセットタイプ「ＥＯ＿０」（“sao_type_idx”＝１）が対応付けられており、コード「２」に対しオフセットタイプ「ＢＯ＿０」（“sao_type_idx”＝５）が対応付けられており、コード「３」に対しオフセットタイプ「ＢＯ＿１」（“sao_type_idx”＝６）が対応付けられている。そして、変換テーブル８０１Ｂでは、コード４～６は用いられていない。
　このように、変換テーブル８０１Ａでは、適応オフセット（ＳＡＯ）に用いるオフセットタイプの全てが含まれているのに対し、変換テーブル８０１Ｂでは、適応オフセット（ＳＡＯ）に用いるオフセットタイプのうち、一部のオフセットタイプしか含まれていない。よって、処理対象のＱＡＯＵの階層の深度が、閾値以上の場合には、一部のオフセットタイプしか用いることができないことになる。
　これは、深い階層では、ＱＡＯＵの面積が小さくなるため、ＱＡＯＵ内の画素値の特性が一様に近くなり、多くのタイプを用いなくとも、適切なオフセットを導出できるためである。また、これにより、用いるオフセットタイプ数を減らすことができるので、必要なメモリ量を減らすことができるとともに、オフセットタイプを示す符号化データのデータ長等を短くすることにより、符号化効率を向上させることができる。
　なお、変換テーブル８０１Ｂにおけるコードとオフセットタイプとの対応付けが、変換テーブル８０１Ａにおけるコードとオフセットタイプとの対応付けの順序と同じなのであれば、変換テーブル８０１Ａのみを用いる構成であってもよい。
　図２５（ｂ）の変換テーブル８０２は、変換テーブル８０１Ｂに代えて用いることができる、変換テーブル８０１Ｂと同様な変換テーブルの種々の例を示している。いずれの変換テーブルも、変換テーブル８０１Ｂ同様にタイプの種類が制限されている。また、空欄は該当するコードが用いられないことを示す。
　変換テーブル８０２Ａは、エッジオフセットのみを用いる例でありバンドオフセットを含まない。エッジオフセットのオフセット数は通常４個であり、バンドオフセットのオフセット数は通常１６個である。このように、エッジオフセットのオフセット数はバンドオフセットのオフセット数と比べ少ない。このため、バンドオフセットの使用を制限することにより、オフセットの保持に用いるメモリ量を削減することができる。特に、階層が深い場合、オフセットが増加するためメモリ量が大きくなる。また、階層が深い場合には、バンドオフセットの選択率が低下する。そのため、階層をパラメータ条件として、階層が深い場合にエッジオフセットのみを備える変換テーブル８０２Ａを用い、階層が浅い場合には、エッジオフセットとバンドオフセットを備える変換テーブル（例えば８０１Ａ）を用いることによって、符号化効率を低下させることなくメモリ量の削減が可能となる。また、符号化装置において不要な選択肢のコスト計算を省くことができるため処理量を低減することができる。
　変換テーブル８０２Ｂは、バンドオフセットのみを用いる例でありエッジオフセットを含まない。バンドオフセットはエッジオフセットに比べ、演算量が小さいこと、対象画素の周囲の画素を用いないため参照画素を保持するためのラインメモリなどが不要である、という特徴を有する。そのため、パラメータ条件に応じて、変換テーブル８０２Ｂを用いることで、上記による効果を得ることができる。変換テーブル８０２Ｃは、１つのバンドオフセット「ＢＯ＿０」（“sao_type_idx”＝５）のみを用いる例である。
　また、変換テーブル８０２Ｄは、変換テーブル８０１Ｂと同様に１つのエッジオフセットと２つのバンドオフセットを用いる例である。具体的には、オフセットタイプ「ＥＯ＿０」（“sao_type_idx”＝１）および「ＢＯ＿０」（“sao_type_idx”＝５）、「ＢＯ＿１」（“sao_type_idx”＝６）を用い、バンドオフセットタイプに優先的に短いコード（小さいコード番号）に対応付けた例である。階層が浅い場合は、階層が深い場合に比べバンドオフセットの選択率が高くなるため、階層をパラメータ条件として、階層が浅い場合に変換テーブル８０２Ｄを用い、使用頻度の高いタイプに短いコードに対応付けることで、符号化効率を向上させることができる。
　なお、図２５に例示した以外にも、パラメータ条件に応じて、コードとオフセットタイプとの対応付けを変更することが可能である。変換テーブル８０１Ａのいずれのエッジオフセットともバンドオフセットとも異なるオフセットタイプを、階層深度などの条件に応じて単独あるいは他のオフセットタイプとともに使用できる。その具体例としては、後述の別の実施形態において説明する、ＥＯとＢＯの特徴を併せ持つオフセットタイプや、従来のエッジオフセット「ＥＯ＿０」と異なる水平サンプル位置でエッジを検出するエッジオフセットや、従来のバンドオフセット「ＢＯ＿０」および「ＢＯ＿１」とは異なるバンド割り当てによるバンドオフセットが挙げられる。
　ＱＡＯＵ構造復号部６１２は、ＱＡＯＵ情報に含まれている“sao_split_flag[sao_curr_depth][ys][xs]”を復号することによって、ＱＡＯＵの分割構造を決定し、決定されたＱＡＯＵの分割構造を表すＱＡＯＵ構造情報を、オフセット情報格納部６２１に供給する。
　また、次に示すようなオフセット属性設定部６１３を備えていてもよい。オフセット属性設定部６１３は、オフセットのシフト値を決定する。符号化データのオフセットは、画素ビット深度（ＰＩＣ＿ＤＥＰＴＨとも呼称する）よりも精度の低いオフセットのビット深度（ＳＡＯ＿ＤＥＰＴＨとも呼称する）で符号化される。すなわち、符号化データ中のオフセットは、量子化されている。シフト値とは、逆量子化を行うために必要なビットシフト量を示す。また、オフセット属性設定部６１３は、オフセットのビット深度とオフセットの値域とを決定する。ここでは、オフセットのビット深度は、オフセット属性設定部６１３に入力される図示されない画素ビット深度（ＰＩＣ＿ＤＥＰＴＨとも呼称する）から決定する。画素ビット深度とは、適応オフセットフィルタ６０の入力画像を構成する画素値の値域をビット幅で示すものであり、画素ビット深度がＮビットのとき、画素値は０から2N-1の範囲を取る。
　ＳＡＯのビット深度およびシフト値は、以下の式を用いるが、後述するように、パラメータ条件に応じて他の値を用いても良い。
　ＳＡＯ＿ＤＥＰＴＨ　＝　ＭＩＮ（ＰＩＣ＿ＤＥＰＴＨ、１０）
　シフト値　＝　ＰＩＣ＿ＤＥＰＴＨ―ＭＩＮ（ＰＩＣ＿ＤＥＰＴＨ、１０）
　また、量子化オフセットの値域を以下の式で決定する。
　また、図２２に示すように、適応オフセットフィルタ処理部６２’は、オフセット情報格納部６２１、ＱＡＯＵ制御部６２２、オフセットタイプ導出部６２３、クラス分類部６２４、オフセット導出部６２５、およびオフセット加算部６２６を含む構成である。
　オフセット情報格納部６２１は、ＱＡＯＵ構造情報、“sao_type_idx[sao_curr_depth][ys][xs]”、および“sao_offset[sao_curr_depth][ys][xs][i]”に基づいて、各ＱＡＯＵについて指定されたオフセットタイプ、および該オフセットタイプにおいて選択可能な各クラスに関するオフセットの具体的な値を管理および格納するものであり、マップメモリおよびリストメモリを備えた構成である。
　マップメモリ、およびリストメモリについて、図２４を参照して説明する。図２４は、マップメモリおよびリストメモリに格納される例を示す図であり、図２４（ａ）はマップメモリに格納されるＱＡＯＵインデックスの一例を説明するための図であり、図２４（ｂ）はリストメモリに格納される情報の一例を説明するための図である。
　マップメモリ６０１には、分割深度に応じて定まる各オフセット最小単位（ＱＡＯＭＵ:Quad Adaptive Offset Minimum Unitとも呼称する）に割り付けられた後述するＱＡＯＵインデックスが格納されている。図２４（ａ）では、対象の処理単位（例えばＬＣＵ）を構成する分割深度３の各ＱＡＯＭＵと各ＱＡＯＭＵに割り付けられたＱＡＯＵインデックスとを示している。なお、図２４（ａ）では、ＱＡＯＵの分割深度を考慮せずに、簡易的にインデックス０～９をＱＡＯＵに割り付けている。また、図２４（ａ）に示す例においては、ＱＡＯＵインデックス＝Ｉによって指定されるＱＡＯＵをＱＡＯＵＩと表記している。また、図２４（ａ）における細線はＱＡＯＭＵの境界を示しており、太線はＱＡＯＵの境界を示している。
　図２４（ａ）に示すように、ＱＡＯＵ０は、４つのＱＡＯＭＵから構成されており、これら４つのＱＡＯＭＵには、ＱＡＯＵインデックスとして０が割り付けられている。一方、ＱＡＯＵ３は、１つのＱＡＯＭＵから構成されており、このＱＡＯＭＵには、ＱＡＯＵインデックスとして３が割り付けられている。このように、マップメモリには、各ＱＡＯＭＵに割り付けられたＱＡＯＵインデックスが格納されている。
　また、リストメモリ６０２には、各ＱＡＯＵインデックスに対し、該ＱＡＯＵインデックスに関連付けられたオフセットタイプ、および該オフセットタイプにおいて選択可能な各クラスに関するオフセットの具体的な値が互いに関連付けられて格納されている。
　具体的に、図２４（ｂ）を参照して説明する。図２４（ｂ）では、ＱＡＯＵインデックス０～９の各々に関連付けられたオフセットタイプおよび各オフセットタイプにおいて選択可能な各クラスに関するオフセットを示している。図２４（ｂ）における「ｘｘｘ」は、互いに異なり得る具体的な数値を表している。
　また、図２４（ｂ）における「ＢＯ＿１」は、“sao_type_idx”＝５によって指定されるオフセットタイプを表している。また、「ＥＯ＿１」は、“sao_type_idx”＝１によって指定されるオフセットタイプを表している。このように、“sao_type_idx”＝１、２、３、４によって指定されるオフセットタイプであるエッジオフセットをそれぞれ「ＥＯ＿１、２、３、４」とも表記し、“sao_type_idx”＝５、６によって指定されるオフセットタイプであるバンドオフセットをそれぞれ「ＢＯ＿１、２」とも表記する。
　図２４（ｂ）に示すように、オフセットタイプがバンドオフセットである場合、該オフセットタイプに関してリストメモリに格納されるオフセットは、オフセット１～オフセット１６の合計１６個である。ここで、オフセット１～オフセット１６は、“sao_type_idx[sao_curr_depth][ys][xs]”の値が「５」または「６」である場合の、“sao_offset[sao_curr_depth][ys][xs][1]”～“sao_offset[sao_curr_depth][ys][xs][16]”によってそれぞれ指定される値のことを指す。
　一方、オフセットタイプがエッジオフセットである場合、該オフセットタイプに関してリストメモリに格納されるオフセットは、オフセット１～４の合計４個である。ここで、オフセット１～４は、“sao_type_idx[sao_curr_depth][ys][xs]”の値が「１、２、３、４」の何れかである場合の、“sao_offset[sao_curr_depth][ys][xs][1]”～“sao_offset[sao_curr_depth][ys][xs][4]”によってそれぞれ指定される値のことを指す。なお、エッジオフセットの場合、オフセット５～１６にはなにも格納されない。
　なお、各ＱＡＯＭＵには、ＱＡＯＭＵ番号が付されており、このＱＡＯＭＵ番号によって各ＱＡＯＭＵは互いに識別可能である。以下では、ＱＡＯＭＵ番号がＮQであるＱＡＯＭＵをＱＡＯＭＵＮQとも表記する。
　また、本実施形態では、処理対象のＱＡＯＵの階層によって、オフセットの精度を異ならせるものであってもよい。オフセットの精度に応じて、逆量子化に用いるシフト値も異なる。この場合も、オフセットの精度及びシフト値は、画素ビット深度ＰＩＣ＿ＤＥＰＴＨを用いて導出する。
　オフセットの精度の例としては、例えば、ＱＡＯＵの階層の深度が閾値より小さい場合のオフセットの精度、シフト値を、
　ＳＡＯ＿ＤＥＰＴＨ　＝　ＭＩＮ（ＰＩＣ＿ＤＥＰＴＨ、１０）
　シフト値　＝　ＰＩＣ＿ＤＥＰＴＨ―ＭＩＮ（ＰＩＣ＿ＤＥＰＴＨ、１０）
として、ＱＡＯＵの階層の深度が閾値以上である場合のオフセットの精度を、
　ＳＡＯ＿ＤＥＰＴＨ　＝　ＭＩＮ（ＰＩＣ＿ＤＥＰＴＨ、８）
　シフト値　＝　ＰＩＣ＿ＤＥＰＴＨ―ＭＩＮ（ＰＩＣ＿ＤＥＰＴＨ、８）
のようにすれば、オフセットの精度を異なるものとすることができる。
　上述したように、オフセットの精度（オフセットのビット深度、ＳＡＯ＿ＤＥＰＴＨ）と、入力画像を構成する画素値の値域をビット幅で表現した画素ビット深度（ＰＩＣ＿ＤＥＰＴＨ）とは、量子化誤差の観点で互いに密接な関係がある。適応オフセットフィルタ６０の出力画像のビット深度は、画素ビット深度ＰＩＣ＿ＤＥＰＴＨであり、ＳＡＯ＿ＤＥＰＴＨは画素に加えるオフセットのビット深度であるので、画素ビット深度を超える精度のオフセットを用いても出力過程で捨てられてしまい、ＳＡＯ＿ＤＥＰＴＨをＰＩＣ＿ＤＥＰＴＨを超えて設定しても意味がない。逆に、ＳＡＯ＿ＤＥＰＴＨがＰＩＣ＿ＤＥＰＴＨよりも小さい場合には、入力画像をフィルタにより補正可能な精度（ＰＩＣ＿ＤＥＰＴＨ）よりも粗い補正しか行うことができないため、フィルタ効果は減少する。
　したがって、量子化されたオフセットを一定のビット幅で表現できるオフセット値域に制限することで、オフセット情報格納部６２１で量子化されたオフセットを格納するためのビット幅を制限することができる。これにより、制限しない場合と比較して、メモリサイズ削減の効果を得ることができる。一方で、過度にオフセット値域を狭くすることは、オフセットが復号画像の歪みを補正する効果を小さくしてしまい、オフセット加算処理によっても復号画像の歪みを除去することができず、符号化効率が低下してしまう。
　そこで、符号化効率が低下しないようにオフセット値域を最適な範囲を設定することにより、メモリの使用量を削減しつつ、フィルタの効果を維持することできる。
　そして、オフセット値域の値を表す最大のビット長をＣＬＩＰ＿ＢＩＴとし、ＣＬＩＰ＿ＢＩＴ＝ＳＡＯ＿ＤＥＰＴＨ－Ｋの計算により、オフセット値域を-2CLIP_BIT-1～2CLIP_BIT-1-1と定めた場合に、発明者の実験によれば、Ｋ＝４とすると、オフセット値域によりオフセットの範囲を制限しても符号化効率の低下がないことが発見された。
　そして、画素ビット深度＝８の場合、オフセットのビット深度ＳＡＯ＿ＤＥＰＴＨも８であり、ＣＬＩＰ＿ＢＩＴ＝８－Ｋ＝４となる。１つのオフセットが４ビットで格納できることは、８ビットのバイトを単位として扱うソフトウェア等で、１バイトに１つのオフセットをパッキングして格納することが可能であり、簡易にメモリサイズの削減が可能となる。
　そして、設定されるオフセットの精度が、処理対象のＱＡＯＵの階層によって異なる場合、オフセット情報格納部６２１は、処理対象のＱＡＯＵの階層の深度に応じてオフセット格納領域の単位サイズを切り換えて確保している。
　具体的には、処理対象のＱＡＯＵの階層の深度が閾値より小さい場合のオフセットの精度がｎＡビット（例えば、ｎＡ＝８または６）、処理対象のＱＡＯＵの階層の深度が閾値以上の場合のオフセットの精度がｎＢビット（ｎＡ＞ｎＢ、例えば、ｎＢ＝ｎＡ－２）に設定されているとき、オフセット情報格納部６２１は、処理対象のＱＡＯＵの階層の深度が閾値より小さい場合のオフセットを格納する領域をｎＡビット単位で確保し、処理対象のＱＡＯＵの階層の深度が閾値以上の場合のオフセットを格納する領域をｎＢビット単位で確保している。
　なお、処理対象のＱＡＯＵの階層の深度が閾値以上の場合は、オフセット情報格納部６２１に対して、オフセットの読み書きを行うときに、書き込み時は（ｎＡ－ｎＢ）ビット切り下げ、読み出し時は（ｎＡ－ｎＢ）ビット切り上げて入出力を行う構成が好ましい。この構成によれば、他のモジュールにおいてオフセットの精度の差を考慮して処理を行う必要がなくなるためである。
　また、オフセット情報格納部６２１は、処理対象のＱＡＯＵの階層の深度に応じて、必要なクラス数が変わる場合、必要なクラス数に合わせて、確保するリストメモリの領域を切り換える。例えば、後述するように、処理対象のＱＡＯＵの階層の深度が閾値より小さい場合は１６クラスに分類され、処理対象のＱＡＯＵの階層の深度が閾値以上となる場合は８クラスに分類されるバンドオフセットの場合を考える。この場合、処理対象のＱＡＯＵの階層の深度が閾値以上となる場合のクラスの確保に必要なメモリの容量は、処理対象のＱＡＯＵの階層の深度が閾値より小さい場合の半分となる。そこで、オフセット情報格納部６２１は、処理対象のＱＡＯＵの階層の深度が閾値以上となる場合に確保するリストメモリの大きさを、処理対象のＱＡＯＵの階層の深度が閾値より小さい場合の半分に切り換える。
　ＱＡＯＵ制御部６２２は、適応オフセットフィルタ処理部６２に含まれる各部を制御する。また、ＱＡＯＵ制御部６２２は、ＱＡＯＵ構造情報を参照して、デブロック済復号画像Ｐ＿ＤＢを１または複数のＱＡＯＵに分割し、各ＱＡＯＵを所定の順序でスキャンする。また、処理対象とする対象ＱＡＯＭＵを表すＱＡＯＭＵ番号をオフセットタイプ導出部６２３に供給する。
　オフセットタイプ導出部６２３は、オフセット情報格納部６２１のマップメモリおよびリストメモリを参照し、ＱＡＯＵ制御部６２２から供給されたＱＡＯＭＵ番号によって指定されるオフセットタイプを導出する。また、導出したオフセットタイプを、クラス分類部６２４に供給する。
　クラス分類部６２４は、対象ＱＡＯＵに含まれる各画素を、オフセットタイプ導出部６２３から供給されるオフセットタイプにおいて選択可能な複数のクラスの何れかに分類する。また、当該オフセットタイプと、各画素が分類されたクラスを示すクラスインデックスとをオフセット導出部６２５に供給する。なお、クラス分類部６２４による具体的な分類処理については後述するためここでは説明を省略する。
　オフセット導出部６２５は、オフセット情報格納部６２１のリストメモリを参照し、対象ＱＡＯＵに含まれる各画素について、クラス分類部６２４から供給されるオフセットタイプおよびクラスインデックスによって指定されるオフセットを導出する。さらにオフセット属性設定部６１３によって設定されたシフト値だけ、オフセットを左側へビットシフトするオフセット逆シフト部（不図示）を備える。オフセット逆シフト部は、オフセットのビット深度と画素ビット深度とを合わせるように、該オフセットの逆量子化を行う。このような逆量子化を行うことで、後述するオフセット加算部６２６の加算処理において、同一のビット深度にて、画素値とオフセットの加算を行うことが可能である。各画素について逆量子化したオフセットは、オフセット加算部６２６に供給される。
　オフセット加算部６２６は、対象ＱＡＯＵにおけるデブロック済復号画像Ｐ＿ＤＢの各画素に対して、オフセット導出部６２５から供給されるオフセットを加算する。オフセット加算部６２６は、デブロック済復号画像Ｐ＿ＤＢに含まれる全てのＱＡＯＵに対して処理を行って得られる画像をオフセットフィルタ済復号画像Ｐ＿ＯＦとして出力する。
　次に、クラス分類部６２４による分類処理について、図２６～２９を参照して説明する。なお、以下では、ＱＡＯＵの階層の深度などの条件をパラメータ条件とする場合を説明するが、一般のパラメータ条件に応じたクラス分類部の構成については図３４を用いて後述する。
　図２６は、適応オフセットフィルタ６０によるオフセット処理を説明するための図であって、（ａ）は、処理対象画素ｘの画素値ｐｉｘ［ｘ］と画素ａまたはｂの画素値との大小関係を示すグラフ、およびその大小関係に応じた関数Ｓｉｇｎの値を示し、（ｂ）は、処理対象画素ｘの画素値と、画素ａおよびｂの画素値との大小関係を示すグラフ、およびその大小関係に応じたＥｇｄｅＴｙｐｅの値を示し、（ｃ）は、（ｂ）に示した各グラフと、ｃｌａｓｓ＿ｉｄｘとの対応を示し、（ｄ）～（ｆ）は、ＥｇｄｅＴｙｐｅからｃｌａｓｓ＿ｉｄｘへの変換を表す変換テーブルを示している。
　図２７は、適応オフセットフィルタ６０によるオフセット処理を説明するための図であって、（ａ）は“sao_type_idx”＝５であるときのクラス分類を概略的に示し、（ｂ）は“sao_type_idx”＝６であるときのクラス分類を概略的に示している。
　図２８は、適応オフセットフィルタ６０によるオフセット処理を説明するための図であって、（ａ）は処理対象のＱＡＯＵの階層の深度が閾値よりも小さい場合のクラス分類を概略的に示し、（ｂ）は処理対象のＱＡＯＵの階層の深度が閾値以上の場合のクラス分類を概略的に示している。
　図２９は、バンドオフセットが指定された場合のクラス分類の一例を示す図であり、（ａ）は、処理対象のＱＡＯＵの階層の深度が閾値よりも小さい場合のクラス分類の一例を示し、（ｂ）は処理対象のＱＡＯＵの階層の深度が閾値以上の場合のクラス分類の一例を示している。
　　（オフセットタイプ＝１～４（エッジオフセット）のとき）
　オフセットタイプ導出部６２３から供給されるオフセットタイプが１～４の何れかであるときのクラス分類部６２４の処理は、上記で図１０を参照して説明した通りである。
　よって、図２６（ａ）に示すように、画素値ｐｉｘ［ｘ］と画素ａまたはｂの画素値との大小関係において、画素値ｐｉｘ［ｘ］の方が、画素ａまたはｂの画素値よりも小さい場合はＳｉｇｎ（ｐｉｘ［ｘ］－ｐｉｘ［ａ］）＝－１、同じ場合はＳｉｇｎ（ｐｉｘ［ｘ］－ｐｉｘ［ａ］）＝０、大きい場合はＳｉｇｎ（ｐｉｘ［ｘ］－ｐｉｘ［ａ］）＝１となる。なお、図２６（ａ）においてｐｉｘ［ｘ］が付されている黒丸は、処理対象画素ｘの画素値を示すものであり、ｐｉｘ［ｘ］が付されていない黒丸は、処理対象画素ａまたはｂの画素値を示すものである。また、図２６（ａ）における上下方向は、画素値の大小を示している。
　続いて、クラス分類部６２４は、Ｓｉｇｎ（ｐｉｘ［ｘ］－ｐｉｘ［ａ］）、およびＳｉｇｎ（ｐｉｘ［ｘ］－ｐｉｘ［ｂ］）に基づいて、以下の数式（１－１）によってＥｇｄｅＴｙｐｅを導出する。
　　ＥｇｄｅＴｙｐｅ＝Ｓｉｇｎ（ｐｉｘ［ｘ］－ｐｉｘ［ａ］）＋Ｓｉｇｎ（ｐｉｘ［ｘ］－ｐｉｘ［ｂ］）＋２　　　・・・（１－１）
　これにより、図２６（ｂ）に示すように、画素値ｐｉｘ［ｘ］に対し、画素ａおよびｂのいずれの画素値も大きい場合は、ＥｇｄｅＴｙｐｅ＝０となる。また、画素値ｐｉｘ［ｘ］に対し、画素ａおよびｂのうち、一方の画素値が大きく、他方の画素値が同じ場合は、ＥｇｄｅＴｙｐｅ＝１となる。また、画素値ｐｉｘ［ｘ］に対し、画素ａおよびｂのうち、一方の画素値が小さく、他方の画素値が同じ場合は、ＥｇｄｅＴｙｐｅ＝３となる。
また、画素値ｐｉｘ［ｘ］に対し、画素ａおよびｂのいずれの画素値も小さい場合は、ＥｇｄｅＴｙｐｅ＝４となる。また、画素値ｐｉｘ［ｘ］に対し、画素ａおよびｂのうち、一方の画素値が小さく、他方の画素値が大きい場合、または、画素値ｐｉｘ［ｘ］に対し、画素ａおよびｂのいずれの画素値も同じ場合は、ＥｇｄｅＴｙｐｅ＝２となる。
　なお、図２６（ｂ）において、各グラフの中心の黒丸は、処理対象画素ｘの画素値を示しており、両端の黒丸は、画素ａおよびｂの画素値を示している。また、図２６（ｂ）における上下方向は、画素値の大小を示している。
　続いて、クラス分類部６２４は、導出したＥｇｄｅＴｙｐｅに基づいて、処理対象画素ｘが属するべきクラスのクラスインデックス（class_idx）を以下のように導出する。
　　ｃｌａｓｓ＿ｉｄｘ＝ＥｏＴｂｌ［ＥｄｇｅＴｙｐｅ］
ここで、ＥｏＴｂｌ［ＥｄｇｅＴｙｐｅ］は、ＥｄｇｅＴｙｐｅからｃｌａｓｓ＿ｉｄｘを導出するために用いられる変換テーブルである。当該変換テーブルＥｏＴｂｌの具体例を図２６（ｄ）～（ｆ）に示す。
　図２６（ｄ）に示す変換テーブル１００１Ｘは、処理対象のＱＡＯＵの階層の深度によって用いる変換テーブルを変更しない場合の変換テーブルである。
　また、図２６（ｅ）に示す変換テーブル１００１Ａと図２６（ｆ）に示す変換テーブル１００１Ｂとは、処理対象のＱＡＯＵの階層の深度によって用いる変換テーブルを変更する場合の変換テーブルであり、処理対象のＱＡＯＵの階層の深度が閾値よりも小さい場合は変換テーブル１００１Ａを用い、処理対象のＱＡＯＵの階層の深度が閾値以上の場合は変換テーブル１００１Ｂを用いる。
　処理対象のＱＡＯＵの階層の深度によって用いる変換テーブルを変更しない場合、変換テーブル１００１Ｘに示すように、クラス分類部６２４は、処理対象画素ｘ、画素ａおよび画素ｂから成る領域にエッジが存在しない場合（以下、平坦な場合とも呼ぶ）、すなわち、ＥｄｇｅＴｙｐｅ＝２の場合、処理対象画素ｘをクラス０（“class_idx”＝０）に分類する。また、ＥｄｇｅＴｙｐｅ＝０、１、３、４をそれぞれｃｌａｓｓ＿ｉｄｘ＝１、２、３、４に分類する。
　また、処理対象のＱＡＯＵの階層の深度によって用いる変換テーブルを変更しない場合で、処理対象のＱＡＯＵの階層の深度が閾値より小さいとき、変換テーブル１００１Ａに示すように、クラス分類部６２４は、処理対象画素ｘ、画素ａおよび画素ｂから成る領域にエッジが存在しない場合（以下、平坦な場合とも呼ぶ）、すなわち、ＥｄｇｅＴｙｐｅ＝２の場合、処理対象画素ｘをクラス０（“class_idx”＝０）に分類する。また、ＥｄｇｅＴｙｐｅ＝０、１、３、４をそれぞれｃｌａｓｓ＿ｉｄｘ＝１、３、４、２に分類する。また、処理対象のＱＡＯＵの階層の深度が閾値以上のとき、変換テーブル１００１Ｂに示すように、クラス分類部６２４は、処理対象画素ｘ、画素ａおよび画素ｂから成る領域にエッジが存在しない場合（以下、平坦な場合とも呼ぶ）、すなわち、ＥｄｇｅＴｙｐｅ＝２の場合、処理対象画素ｘをクラス０（“class_idx”＝０）に分類する。また、ＥｄｇｅＴｙｐｅ＝０、１をｃｌａｓｓ＿ｉｄｘ＝１に、ＥｄｇｅＴｙｐｅ＝３、４をｃｌａｓｓ＿ｉｄｘ＝２に分類する。よって、変換テーブル１００１Ｂでは、複数のＥｄｇｅＴｙｐｅに対し、１つのｃｌａｓｓ＿ｉｄｘが対応している。
　なお、変換テーブル１００１Ａについては、変換テーブル１００１Ｘと同じでもよいように考えられる。しかしながら、変換テーブル１００１Ａを変換テーブル１００１Ｘと同じにすると、変換Ｓテーブル１００１Ｂとの間で、同じＥｄｇｅＴｙｐｅに対し、異なるｃｌａｓｓ＿ｉｄｘが割り当てられることになり、階層によって処理が変わってしまうことになる。例えば、ＥｄｇｅＴｙｐｅ＝３のときに、階層の深度が閾値より小さい場合は、ｃｌａｓｓ＿ｉｄｘ＝４、階層の深度が閾値以上の場合は、ｃｌａｓｓ＿ｉｄｘ＝２となり、階層によって処理が変わってしまうことになる。
　そこで、変換テーブル１００１Ａを図２６（ｅ）に示すようにすることで、変換テーブル１００１Ｂとの間、すなわち階層間によって、処理が変わらないようにしている。
　　（オフセットタイプ＝５～６（バンドオフセット）のとき）
　オフセットタイプ導出部６２３から供給されるオフセットタイプが５または６であるとき、クラス分類部６２４は、処理対象画素ｘの画素値ｐｉｘ［ｘ］に応じて、当該処理対象画素の画素値を複数のクラスの何れかに分類する。
　・オフセットタイプ＝５（sao_type_idx＝５）のとき
　クラス分類部６２４は、処理対象画素ｘの画素値ｐｉｘ［ｘ］が、
　　（ｍａｘ×１／４）≦ｐｉｘ［ｘ］≦（ｍａｘ×３／４）
を満たしている場合に、当該処理対象画素をクラス０以外のクラスに分類する。すなわち、処理対象画素の画素値が、図１１（ａ）における斜線の範囲内である場合に、当該処理対象画素をクラス０以外のクラスに分類する。なお、上記ｍａｘは、処理対象画素ｘの画素値の取り得る最大値を表しており、例えば、ｍａｘ＝２５５である。また、ｍａｘ＝２５５であるとき、上記の条件は、８≦（ｐｉｘ［ｘ］／８）≦２３と表現することもできるし、４≦（ｐｉｘ［ｘ］／１６）≦１１と表現することもできる。
　・オフセットタイプ＝６（sao_type_idx＝６）のとき
　クラス分類部６２４は、処理対象画素ｘの画素値ｐｉｘ［ｘ］が、
　　ｐｉｘ［ｘ］≦（ｍａｘ×１／４）または（ｍａｘ×３／４）≦ｐｉｘ［ｘ］
を満たしている場合に、当該処理対象画素をクラス０以外のクラスに分類する。すなわち、処理対象画素の画素値が、図１１（ｂ）における斜線の範囲内である場合に、当該処理対象画素をクラス０以外のクラスに分類する。なお、上記ｍａｘは、処理対象画素ｘの画素値の取り得る最大値を表しており、例えば、ｍａｘ＝２５５である。また、ｍａｘ＝２５５であるとき、上記の条件は、（ｐｉｘ［ｘ］／８）≦７または２４≦（ｐｉｘ［ｘ］／８）と表現することもできるし、（ｐｉｘ［ｘ］／１６）≦３または１２≦（ｐｉｘ［ｘ］／１６）と表現することもできる。
　クラス分類部６２４によるクラス分類処理をより具体的に説明すれば以下の通りである。
　オフセットタイプが５～６の何れかであるとき、クラス分類部６２４は、処理対象画素ｘが属するべきクラスのクラスインデックス（class_idx）を、処理対象のＱＡＯＵの階層の深度の応じて、以下のように導出する。
・処理対象のＱＡＯＵの階層の深度が閾値よりも小さい場合
　　ｃｌａｓｓ＿ｉｄｘ＝ＥｏＴｂｌ［ｓａｏ＿ｔｙｐｅ＿ｉｄｘ］［ｐｉｘ［ｘ］／>>BoRefBit32］
・処理対象のＱＡＯＵの階層の深度が閾値以上の場合
　　ｃｌａｓｓ＿ｉｄｘ＝ＥｏＴｂｌ［ｓａｏ＿ｔｙｐｅ＿ｉｄｘ］［ｐｉｘ［ｘ］／>>BoRefBit16］
ここで、ＢｏＴｂｌ［ｓａｏ＿ｔｙｐｅ＿ｉｄｘ］［ｐｉｘ［ｘ］／>>BoRefBit32］、およびＢｏＴｂｌ［ｓａｏ＿ｔｙｐｅ＿ｉｄｘ］［ｐｉｘ［ｘ］／>>BoRefBit16］は、処理対象画素ｘの画素値ｐｉｘ［ｘ］とｓａｏ＿ｔｙｐｅ＿ｉｄｘとから、ｃｌａｓｓ＿ｉｄｘを導出するために用いられる変換テーブルである。BoRefBit32とBoRefBit16は、画像ビット深度をＰＩＣ＿ＤＥＰＴＨとする場合に、各々ＰＩＣ＿ＤＥＰＴＨ－５、ＰＩＣ＿ＤＥＰＴＨ－４で導出される値であり、画素値を３２段階もしくは１６段階の値に量子化したものである。量子化された画素値はpixquantとも記述する。BoRefBit32およびBoRefBit16で右シフトすることは、1<<BoRefBit32および1<<BoRefBit16で除算することに対応する。この量子化幅は画素値のビット深度が８ビットの場合にはそれぞれ、1<<(8-5)＝８、1<<（8-4）＝１６である。以下、量子化幅が８の場合を説明する。また、この量子化幅をクラスの幅と呼ぶ。
　クラス分類部６２４は、処理対象のＱＡＯＵの階層の深度に応じて分類するクラスの幅を変えて、クラスの分類を行う。例えば、図２８（ａ）に示すように、処理対象のＱＡＯＵの階層の深度が閾値よりも小さい場合、クラス分類部６２４は、クラスの幅を「８」として画素値を３２個に分類して、クラス分類を行う。また、図２８（ｂ）に示すように、処理対象のＱＡＯＵの階層の深度が閾値以上の場合、クラス分類部６２４は、クラスの幅を「１６」として画素値を１６個に分類し、クラス分類を行う。
　次に、変換テーブルＥｏＴｂｌの具体例を図２９に示す。図２９の（ａ）、（ｂ）それぞれにおいて「ＢＯ＿１」は、“sao_type_index”＝５であることを示しており、「ＢＯ＿２」は、“sao_type_index”＝６であることを示している。また、図２９（ａ）に示す変換テーブル１３０１は、処理対象のＱＡＯＵの階層の深度が閾値よりも小さい場合に用いられる変換テーブルであり、図２９（ｂ）に示す変換テーブル１３０２は、処理対象のＱＡＯＵの階層の深度が閾値以上の場合に用いられる変換テーブルである。
　処理対象のＱＡＯＵの階層の深度が閾値よりも小さい場合で、“sao_type_index”＝５のとき、図２９（ａ）に示すように、 クラス分類部６２４は、画素値ｐｉｘ［ｘ］が８≦（ｐｉｘ［ｘ］／８）≦２３を満たす処理対象画素ｘについて、ｐｉｘ［ｘ］の大きさに応じて、クラスインデックス１から１６までの何れかのクラスに分類する。
　また、“sao_type_index”＝６のとき、クラス分類部６２４は、画素値ｐｉｘ［ｘ］がｐｉｘ［ｘ］／８）≦７または２４≦（ｐｉｘ［ｘ］／８）を満たす処理対象画素ｘについて、ｐｉｘ［ｘ］の大きさに応じて、クラスインデックス１から１６までの何れかのクラスに分類する。
　また、処理対象のＱＡＯＵの階層の深度が閾値以上の場合で、“sao_type_index”＝５のとき、図２９（ｂ）に示すように、 クラス分類部６２４は、画素値ｐｉｘ［ｘ］が４≦（ｐｉｘ［ｘ］／１６）≦１１を満たす処理対象画素ｘについて、ｐｉｘ［ｘ］の大きさに応じて、クラスインデックス１から８までの何れかのクラスに分類する。
　また、“sao_type_index”＝６のとき、クラス分類部６２４は、画素値ｐｉｘ［ｘ］がｐｉｘ［ｘ］／１６）≦３または１２≦（ｐｉｘ［ｘ］／１６）を満たす処理対象画素ｘについて、ｐｉｘ［ｘ］の大きさに応じて、クラスインデックス１から８までの何れかのクラスに分類する。
（オフセット情報復号部６１１の構成）
　図４１は、適応オフセットのパラメータの種類（パラメータ条件）に応じて、使用するオフセットタイプを変更する、かつ／もしくは、適応オフセットのパラメータ条件に応じて、クラスの分類数を変更するオフセット情報復号部６１１のブロック図である。オフセット情報復号部６１１は、適応的オフセットタイプ復号部６１１１、使用オフセットタイプ選択部６１１２、オフセットタイプ復号部６１１３、適応的オフセット復号部６１１４、使用オフセット数選択部６１１５、オフセット復号部６１１６から構成される。なお、パラメータ条件とは、画素値から算出される値以外のパラメータであり、上記で説明した階層、オフセットタイプの他、後述の付記事項にて説明するブロックサイズ（ＱＡＯＵサイズ）、色成分（コンポーネント）、ＱＰがある。
　適応的オフセットタイプ復号部６１１１は、符号化データ中のＱＡＯＵ情報から、パラメータ条件に応じて適応的にオフセットタイプを復号する手段であり、使用オフセットタイプ選択部６１１２とオフセットタイプ復号部６１１３を備える。
　使用オフセットタイプ選択部６１１２は、パラメータ条件に応じて使用するオフセットタイプを選択する手段である。パラメータ条件の一つは、上述したように階層である。階層が浅い場合に使用するオフセットタイプの数は、階層が深い場合に使用するオフセットの数よりも小さい。使用オフセットタイプ選択部６１１２は、パラメータ条件に応じて図８で説明したような変換テーブルをオフセットタイプ復号部６１１３に入力する。また使用可能なオフセットタイプの最大数をオフセットタイプ復号部６１１３に入力する。
　オフセットタイプ復号部６１１３は、入力された変換テーブルと最大数に応じて符号化データからオフセットタイプを復号する。オフセットタイプの最大数をＮとすると、コードの取り得る範囲が０からＮ－１までのＮ個に制限されることから、コードの符号化に要するビット数を低減することができる。例えば、最大数が２ｍ－１より大きく、２ｍ以下であるときｍビットの固定長符号化を用いることができる。また、最大値をＮ－１とするＴｒｕｎｃａｔｅｄ　ｕｎａｒｙ符号化や、Ｔｒｕｎｃａｔｅｄ　Ｒｉｃｅ符号化を用いることもできる。
　適応的オフセット復号部６１１４は、符号化データ中のＱＡＯＵ情報から、パラメータ条件に応じて適応的にオフセットを復号する手段であり、使用オフセット数選択部６１１５とオフセット復号部６１１６とを備える。使用オフセット数選択部６１１５は、パラメータ条件に応じて、使用するオフセット数の最大値とオフセットの精度を選択する手段である。パラメータ条件の一つは階層であり、階層が浅い場合に使用するオフセットの数は、階層が深い場合に使用するオフセットの数よりも大きい。例えば、階層が浅い場合には図２９（ａ）のようにオフセット数を１６個、階層が深い場合には図２９（ｂ）のようにオフセット数を８個とすることができる。また、上述したように、階層に応じて、オフセットの精度（ビット深度）を変更することも可能である。使用オフセット数選択部６１１５は、オフセット最大数とオフセット精度をオフセット復号部６１１６に入力する。オフセット復号部６１１６は、オフセットの最大数とオフセットの精度に応じてオフセットを復号する。オフセットの数を少なくする場合には、オフセットの符号量が低減する。また、オフセットタイプと同様、オフセットにおいても各オフセットの精度が決まれば、オフセットを符号化するコードの取り得る範囲も制限されることから、コードの符号化に要するビット数を低減することができる。
　図４２（ａ）は、使用オフセットタイプ選択部６１１２の構成を示すブロック図である。
　使用オフセットタイプ選択部６１１２は、オフセットタイプ変換テーブル選択部６１１７、第１オフセットタイプ変換テーブル格納部６１１８、第２オフセットタイプ変換テーブル格納部６１１９を備える。
　オフセットタイプ変換テーブル選択部６１１７は、パラメータ条件に応じて第１オフセットタイプ変換テーブル格納部６１１８が備える変換テーブルもしくは、第２オフセットタイプ変換テーブル格納部６１１９が備える変換テーブルを選択する。上述した例では、８０１Ａが、第１オフセットタイプ変換テーブル格納部６１１８が備える変換テーブルであり、８０１Ｂが、第２オフセットタイプ変換テーブル格納部６１１９が備える変換テーブルに対応する。
　図４２（ｂ）は、使用オフセットタイプ選択部の別の構成を示すブロック図である。
　使用オフセットタイプ選択部６１１２’は、オフセットタイプ変換テーブル選択部６１１７’、エッジオフセットタイプ及びバンドオフセットタイプ変換テーブル格納部６１１８’、水平エッジオフセットタイプ及びバンドオフセットタイプ変換テーブル格納部６１１９’を備える。
　（クラス分類部６２４の構成）
　図４３は、クラス分類部６２４の構成を示すブロック図である。
　クラス分類部６２４は、適応的エッジオフセットクラス分類部６２４１、使用エッジオフセットクラス選択部６２４２、エッジオフセットクラス分類部６２４３、適応的バンドオフセットクラス分類部６２４４、使用バンドオフセットクラス・クラス幅選択部６２４５、バンドオフセットクラス分類部６２４６から構成される。
　クラス分類部６２４は、パラメータ条件およびオフセットタイプに応じて、各画素をクラスに分類する。オフセットタイプがエッジオフセットを示す場合には、適応的エッジオフセットクラス分類部６２４１により画素を分類し、オフセットタイプがバンドオフセットの場合には、適応的バンドオフセットクラス分類部６２４４において、画素を分類する。
　適応的エッジオフセットクラス分類部６２４１は、パラメータ条件に応じて適応的に、画素をクラスに分類する手段であり、使用エッジオフセットクラス選択部６２４２とエッジオフセットクラス分類部６２４３とを備える。使用エッジオフセットクラス選択部６２４２は、使用するクラスの種類を選択する。使用エッジオフセットクラス選択部６２４２は、画素値の分類方法をエッジオフセットクラス分類部６２４３に入力する。具体的には、画素値を分類する場合に一時的に導出される中間値ＥｄｇｅＴｙｐｅの導出方法と、ＥｄｇｅＴｙｐｅからｃｌａｓｓ＿ｉｄｘを導出するために用いられる変換テーブルを入力する。中間値ＥｄｇｅＴｙｐｅの導出方法の例は図２６（ａ）、図２６（ｂ）を用いて説明したものであり、これを基本エッジ分類方法と呼ぶ。図３３で後述するようなエッジ分類方法を用いることもできる。パラメータ条件の一つは、上述したように階層であり、階層が浅い場合に使用するクラスを、階層が深い場合に使用するクラスよりも大きい数となるように選択する。ＥｄｇｅＴｙｐｅからｃｌａｓｓ＿ｉｄｘを導出するために用いられる変換テーブルは、１００１Ａや１００１Ｂが例になる。また、色成分（コンポーネント）に応じて、エッジ導出方法を切り替える方法も適当である。この場合、輝度では、水平、垂直、斜め方向のエッジ分類方法を用いる基本エッジ分類方法を用い、色差では、ラインメモリを削減するためにエッジ分類で用いる参照画素の範囲を、対象画素からみて水平方向に限定した水平エッジ分類方法を用いることが適当である。エッジオフセットクラス分類部６２４３は与えられた分類方法と、ＥｄｇｅＴｙｐｅからｃｌａｓｓ＿ｉｄｘを導出するために用いられる変換テーブルに基づいて画素を分類する。
　適応的バンドオフセットクラス分類部６２４４は、パラメータ条件に応じて適応的に、画素をクラスに分類する手段であり、使用バンドオフセットクラス・クラス幅選択部６２４５とバンドオフセットクラス分類部６２４６とを備える。使用バンドオフセットクラス・クラス幅選択部６２４５は、画素値の分類方法をバンドオフセットクラス分類部６２４６に入力する。具体的には、画素値を中間値に分類する場合に用いられる量子化幅であるクラス幅と、中間値からｃｌａｓｓ＿ｉｄｘを導出するために用いられる変換テーブルを入力する。パラメータ条件の一つは、既に説明したように階層であり、階層が浅い場合に使用するクラスの幅は、階層が深い場合に使用するクラスの幅よりも小さい。バンドオフセットクラス分類部６２４６は、入力されたクラス幅と、中間値からｃｌａｓｓ＿ｉｄｘを導出するために用いられる変換テーブルに応じて画素値をクラスに分類する。入力であるクラス幅は、クラス幅自体ではなく、クラス幅に対応する整数でも構わない。例えば1<<BoRefBit32をクラス幅とする場合、その２を底とする対数である画素の量子化に用いるビット数BoRefBit32や、画素のビット深度から画素を量子化に用いるビット数を求めるための値、例えば、BoRefBit32＝ＰＩＣ＿ＤＥＰＴＨ－５であれば５を、クラス幅の代わりに用いても構わない。
　このように、パラメータ条件に応じて適応的に符号化データを復号し、画素のクラス分類を行う。
　以上のように、本実施形態では、処理対象のＱＡＯＵの階層の深度に応じて、クラスの分類数を変更している。より詳細には、処理対象のＱＡＯＵの階層の深度が大きい場合に、小さい場合と比較してより少ないクラス数に分類している。
　一般に、必要なメモリ量は、メモリ量＝オフセットのデータ長×クラス数×ＱＡＯＵ数であるので、クラス数を減らすことにより、メモリの使用量を削減することができる。
　また、深い階層では、ＱＡＯＵの面積が小さくなるとともに、ＱＡＯＵ内の画素値の特性が一様に近くなるので、クラス数を減らしてもオフセットの効果は、あまり変わらない。
　また、本実施形態では、処理対象のＱＡＯＵの階層の深度に応じて、オフセットの精度を変更している。より詳細には、処理対象のＱＡＯＵの階層の深度が大きい場合に、小さい場合と比較してオフセットの精度を下げている。これにより、処理対象のＱＡＯＵの階層の深度が大きい場合の符号量を減らしている。
　深い階層のＱＡＯＵでは、含まれる画素数が少なくなるため、ＱＡＯＵ全体でみた量子化誤差が上位の階層と比較して小さくなる。よって、深い階層において、オフセットの精度を下げても、オフセットの効果はあまり変わらない。
　（動画像符号化装置２’）
　次に、符号化対象画像を符号化することによって符号化データ＃１を生成する動画像符号化装置２’について、図３０、３１を参照して説明する。動画像符号化装置２’は、動画像符号化装置２と同様に、その一部に、Ｈ．２６４／ＭＰＥＧ－４．ＡＶＣに採用されている方式、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている方式、その後継コーデックであるＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている方式、および、ＨＭ（HEVC TestModel）ソフトウェアに採用されている技術を含んでいる。
　また、動画像符号化装置２’は、動画像符号化装置２における適応オフセットフィルタ８０の代わりに適応オフセットフィルタ８０’が設けらている点が異なり、他の構成は同様である。
　（適応オフセットフィルタ８０’）
　次に、適応オフセットフィルタ８０’について、図３０を参照して説明する。図３０は、適応オフセットフィルタ８０’の構成を示すブロック図である。図３０に示すように、適応オフセットフィルタ８０’は、適応オフセットフィルタ情報設定部８１’および適応オフセットフィルタ処理部８２’を含む構成である。
　また、図３０に示すように、適応オフセットフィルタ情報設定部８１’は、オフセット算出部８１１、オフセットシフト部８１６、オフセットクリップ部８１２、オフセット情報選択部８１３、およびオフセット属性設定部８１５を含む構成である。
　（オフセット算出部８１１）
　オフセット算出部８１１は、対象の処理単位（例えばＬＣＵ）に含まれる所定の分割深度までの全てのＱＡＯＵに対して、処理対象のＱＡＯＵの階層に応じて存在する全てのオフセットタイプおよび全てのクラスについてのオフセットを算出する。ここで、オフセットタイプおよびクラスは、動画像復号装置１の説明において説明したものと同じものを指す。
　オフセット算出部８１１は、上記の処理によって算出したオフセット、オフセットタイプ、クラス、および、ＱＡＯＵの分割構造を表すＱＡＯＵ構造情報からなるオフセット情報をオフセットクリップ部８１２に供給する。
　（オフセットクリップ部８１２）
　オフセットクリップ部８１２は、オフセット算出部８１１から供給されるオフセットに対して以下に示すようなクリップ処理１、クリップ処理２の何れかの処理によってクリップの処理を行う。
　（クリップ処理１）
　オフセットクリップ部８１２は、オフセット算出部８１１から供給される各オフセットを例えば－８から７までの値にクリップすることによって、各オフセットを４ビットで表現する。クリップされた各オフセットは、オフセット情報選択部８１３に供給される。クリップするビット幅は、動画像復号装置１と同様、画像のビット深度とオフセットのビット深度に応じて設定される。
　このように、各オフセットをクリップすることによって、各オフセットが格納されるメモリ（不図示）のメモリサイズを削減することができる。また、符号化データ＃１に含まれるオフセットの符号量を削減することができるので、符号化効率の向上を図ることができる。また、過度なオフセットが加算されることが抑制されるので、適切な画質が保証される。
　（クリップ処理２）
　また、オフセットクリップ部８１２は、オフセット算出部８１１から供給される各オフセットのクリップ範囲を、オフセットタイプに応じて異なる値を設定する構成としてもよい。
　例えば、オフセットタイプがエッジオフセットである場合には、オフセットのビット数を８ビットとし、オフセットタイプがバンドオフセットである場合には、オフセットのビット数を４ビットとする。より一般には、オフセットタイプがエッジオフセットである場合のオフセットのビット数をＮビットとし、オフセットタイプがバンドオフセットである場合のオフセットのビット数をＭビットとしたとき、Ｎ＞Ｍが満たされるようにオフセットのビット数を定める。
　このようにオフセットタイプに応じて、オフセットのビット数を異ならせることによって、各オフセットを格納するためのメモリに過度なメモリサイズを要求することなく、符号化効率の向上を図ることができる。
　なお、オフセットの取り得る値を制限するための閾値ｔｈが２m-1より大きく、２m以下であるとき、当該オフセットを符号化するための符号化方式として、ｍビットの固定長符号化を用いることができる。より具体的には、最大値とｔｈとするＴｒｕｎｃａｔｅｄ　ｕｎａｒｙ符号化や、Ｔｒｕｎｃａｔｅｄ　Ｒｉｃｅ符号化を用いることができる。
　また、上記クリップ処理１および２を組み合わせて得られるクリップ処理も本実施形態に含まれる。また、適応オフセットフィルタ８０は、オフセットクリップ部８１２を備えない構成としてもよい。
　また、オフセットクリップ部８１２は、オフセットの精度に合わせ、処理対象のＱＡＯＵの階層の深度に応じて、クリップ範囲を切り換える。具体的に、オフセットの精度が、処理対象のＱＡＯＵの階層の深度が閾値よりも小さい場合はｎＡビット、処理対象のＱＡＯＵの階層の深度が閾値以上の場合はｎＢビットのときを考える。このとき、オフセットクリップ部８１２は、処理対象のＱＡＯＵの階層の深度が閾値よりも小さければ、クリップ範囲を－２ｎＡ／２～２ｎＡ／２－１とする。また、処理対象のＱＡＯＵの階層の深度が閾値以上であれば、クリップ範囲を－２ｎＡ／２～２ｎＡ／２－１とした上で、下位の（ｎＡ－ｎＢ）ビットを「０」とする。これにより、オフセットクリップ部８１２によって、クリップ処理されたオフセットを用いて処理を行うオフセット情報選択部８１３に対し、オフセットの精度を考慮せずに処理を行わせることができる。
　（オフセット情報選択部８１３）
　オフセット情報選択部８１３は、ＲＤコスト（Rate-Distortion cost）がより小さくなるオフセットタイプ、クラス、オフセットの組み合わせ、および、それに対応するＱＡＯＵ分割構造を決定し、決定したオフセットタイプ、クラス、オフセットおよび、それに対応するＱＡＯＭ分割構造を示すＱＡＯＵ情報を可変長符号符号化部２２に供給する。また、オフセット情報選択部８１３は、決定したオフセットをＱＡＯＵ毎に適応オフセットフィルタ処理部８２に供給する。
　オフセット情報選択部８１３の処理について図３１を参照してより具体的に説明すれば以下の通りである。
　図３１は、ＱＡＯＵインデックスが「ｘ」のＱＡＯＵについて、オフセットタイプそれぞれについての２乗誤差を算出する概要を示す図である。図３１に示すように、オフセット情報選択部８１３は、全てのＱＡＯＭＵについて、オフセットタイプそれぞれについての２乗誤差を算出する。そして、算出した２乗誤差が最小となるオフセットタイプを当該ＱＡＯＵのオフセットタイプとする。これにより、全てのＱＡＯＭＵ（ＱＡＯＭＵ番号０～３４０）について、オフセットタイプが決定する。
　次に、オフセット情報選択部８１３は、分割深度を０としたときのＲＤコストと分割深度を１とした場合のＲＤコストを計算する。具体的な計算方法は、上記で図１８を参照して説明した通りである。
　（適応オフセットフィルタ処理部８２’）
　適応オフセットフィルタ処理部８２’は、対象ＱＡＯＵにおけるデブロック済復号画像Ｐ＿ＤＢの各画素に対して、オフセット情報選択部８１３から供給されるオフセットを加算する。適応オフセットフィルタ処理部８２’は、デブロック済復号画像Ｐ＿ＤＢに含まれる全てのＱＡＯＵに対して処理を行って得られる画像をオフセットフィルタ済復号画像Ｐ＿ＯＦとして出力する。なお、適応オフセットフィルタ処理部８２’の構成は、適応オフセットフィルタ処理部６２’と同一のため、ここでは説明を省略する。
　また、適応クリップタイプを用いる構成であってもよい。すなわち、オフセットタイプの１つとして、適応クリップ（ＡＣ）タイプを設けるようにしてもよい。この場合、オフセットタイプは、ＥＯ、ＢＯ、ＡＣの３種類となる。適応クリップタイプ（ＡＣ）では、オフセットを用いず、下限値ｃ１と上限値ｃ２とのクリップを用いて画素値を補正する。下限値ｃ１および上限値ｃ２の例としては、例えば、ｃ１＝１６、ｃ２＝２３５を挙げることができる。
　適応クリップタイプを用いることにより、オフセットの符号化処理や多数のオフセットを保持するメモリが不要となる。なお、クリップの下限値および上限値を、固定値でなく適応的に与える場合には、下限値と上限値を符号化すればよい。この場合は、それぞれ適当な固定値からの差分、たとえば下限値は１６からのオフセット、上限値は２３５からのオフセットを符号化することが好ましいとよい。特に、上限値は大きな値となるため、このようにすることで、符号化効率を下げることがない。
　（付記事項２）
　また、上述したように、ＱＡＯＵの階層の深度に応じてとは、ＱＡＯＵのサイズに応じてということもできる。すなわち、ＱＡＯＵのサイズに応じてＳＡＯのタイプ数、クラス数やオフセット精度を異ならせてもよい。
　例えば、ＱＡＯＵのサイズがＮ×Ｎ画素未満の場合は、ＳＡＯのタイプ数、クラス数、およびオフセット精度のうち、１または複数を、ＱＡＯＵのサイズがＮ×Ｎ画素以上の場合よりも制限する構成であってもよい。Ｎの具体例としては、例えばＮ＝６４（ＬＣＵのサイズ）を挙げることができる。
　また、ＳＡＯのタイプ数の制限としては、例えば、ＥＯを水平および垂直タイプに制限する、ＢＯを１種類にする（変換テーブル８０２Ｃ）、ＥＯのみを用いてＢＯを用いない（変換テーブル８０２Ａ）、水平タイプのＥＯおよびＢＯのいずれかだけを用いる（変換テーブル８０１Ｂ、変換テーブル８０２Ｄ）、などを挙げることができる。オフセット情報復号部６１１においては括弧内に示す変換テーブルを用いるなお、ＳＡＯのクラス数の制限、およびオフセット精度の制限については、上述した実施形態と同様の方法で行うことができる。
　このように、ＳＡＯのタイプの種類、タイプ数、クラス数、およびオフセット精度を制限することにより、メモリの使用量削減や、処理負荷の軽減を行うことができる。特に、タイプの種類をＢＯに制限する場合や、ＥＯを水平および垂直タイプに制限する場合には、符号化装置、および復号装置のクラス分類部の処理負荷を軽減することができる。また、タイプ数を制限する場合には、最適なタイプを選択するためのコスト計算を省くことができることから、符号化装置の処理負荷を軽減することができる。タイプの種類をＥＯに制限すること、クラス数およびオフセット精度を制限することによりオフセットを蓄積するメモリの使用量削減ができる。また、タイプの種類を水平タイプのＥＯおよびＢＯに制限することにより、クラス分類に用いる参照画素を保持するラインメモリなどの一時的メモリを削減することができ、また、参照画素の復号を待つ間の遅延を短くすることができる。なお、メモリの使用量の削減には、ＢＯのクラス数を制限する方が、ＥＯのクラス数を制限するよりも効果的である。
　このような制限は、図４１～図４３に示す手段の構成により、パラメータ条件をＱＡＯＵＮのサイズとした場合に、パラメータ条件に応じて適応的にオフセット情報復号部６１１、クラス分類部６２４の動作を変更することで実現できる。
　（付記事項３）
　また、輝度値に対してオフセットを加えるＱＡＯＵ（以下、輝度ユニットとも言う）のサイズと、色差に対してオフセットを加えるＱＡＯＵ（以下、色差ユニットとも言う）のサイズとを異ならせ、色差ユニットでは、輝度ユニットよりも、ＳＡＯのタイプの種類、タイプ数、クラス数、オフセット精度、および分割の最大階層を制限する構成であってもよい。
　例えば、ＹＵＶ形式の画像フォーマットにおける４：２：０形式等、輝度と色差とで解像度が異なり、色差の解像度が輝度よりも低いデータ形式であれば、色差の分割の細かさは輝度ほどには必要なくなる。そこで、色差ユニットについて、ＳＡＯのタイプの種類、タイプ数、クラス数、オフセット精度、および分割の最大階層を制限することにより、メモリの使用量削減や、処理負荷の軽減を行うことができる。なお、色差ユニットの最大階層の制限は、例えば、ＳＡＯのツリー構造の最大深度を、輝度ユニットよりも浅くすることにより可能である。
　このような制限は、図４１～図４３に示す手段の構成により、パラメータ条件をＱＡＯＵＮのサイズとした場合に、パラメータ条件に応じて適応的にオフセット情報復号部６１１、クラス分類部６２４の動作を変更することで実現できる。
　特に、輝度と色差のどちらにもＳＡＯ処理を行う場合には、色成分毎にクラス分類に用いる参照画素を保持するラインメモリなどの一時的メモリを備える必要がある。輝度成分は色差成分に比べ重要度が低いことから、パラメータ条件を色差成分として、タイプの種類を水平タイプのＥＯおよびＢＯに制限することにより、色差成分でのラインメモリを削減することができる。この場合、オフセット情報復号部６１１では、変換テーブル８０１Ｂ、変換テーブル８０２Ｄなどの変換テーブルを用いる。
　また、パラメータ条件を色差成分として、輝度成分に比べオフセットの精度を小さくすることも特に有効である。例えば、輝度成分のオフセットの精度を
　ＳＡＯ＿ＤＥＰＴＨ　＝　ＭＩＮ（ＰＩＣ＿ＤＥＰＴＨ、ＡＹ）
　シフト値　＝　ＰＩＣ＿ＤＥＰＴＨ―ＭＩＮ（ＰＩＣ＿ＤＥＰＴＨ、ＡＹ）
として、色差成分の場合には、オフセットの精度、シフト値を、
　ＳＡＯ＿ＤＥＰＴＨ　＝　ＭＩＮ（ＰＩＣ＿ＤＥＰＴＨ、ＴＨＣ）
　シフト値　＝　ＰＩＣ＿ＤＥＰＴＨ―ＭＩＮ（ＰＩＣ＿ＤＥＰＴＨ、ＡＣ）
のように求める場合に、精度を制御する変数ＡＹ、ＡＣとしてＡＹ＞ＡＣを用いることが適当である。例えば、ＡＹ＝１０もしくは９、ＡＣ＝８とする。この場合、輝度成分のオフセットの精度は、色差成分よりも大きいものとなる。シフト値については輝度成分のシフト値が、色差成分よりも小さい値となる。
　（付記事項４）
　また、ＣＵの量子化パラメータＱＰの値（ＱＰ値）が閾値以上の場合に、ＳＡＯのタイプの種類、タイプ数、クラス数、オフセット精度、および分割の最大階層を制限する構成であってもよい。ＱＰ値は、ピクチャの初期のＱＰ値を用いてもよいし、ＳＡＯの処理対象ＱＡＯＵがＬＣＵやＣＵの境界に沿っている場合には、ＱＡＯＵの左上座標もしくは中心座標に対応する位置のＣＵのＱＰ値を用いてもよい。
　ＱＰ値は、その値が高いほど予測画像の画質は低くなり、詳細な分類およびオフセットの補正が困難となるため、ＳＡＯのタイプの種類、タイプ数、クラス数、オフセット精度、および分割の最大階層を制限しても、画質に与える影響が小さい。そこで、ＱＰ値が閾値以上の場合に、ＳＡＯのタイプ数、クラス数、オフセット精度、および分割の最大階層を制限する構成にすれば、画質に影響を与えることなく、メモリの使用量削減や、処理負荷の軽減を行うことができる。
　このような制限は、図４１～図４３に示す手段の構成により、パラメータ条件をＱＰとした場合に、パラメータ条件に応じて適応的にオフセット情報復号部６１１、クラス分類部６２４の動作を変更することで実現できる。
　（付記事項５）
　また、特定タイプのピクチャ、例えばＢピクチャや非参照ピクチャ（ＩＤＲピクチャ）では、ＳＡＯのタイプの種類、タイプ数、クラス数、オフセット精度、および分割の最大階層を制限する構成であってもよい。
　ＩピクチャやＰピクチャでは、そのピクチャの画質が、後のピクチャに大きな影響を与えるためＳＡＯの精度を高く保つ必要がある。一方で、これ以外のピクチャでは、後のピクチャに大きな影響を与えることはないので、これらのピクチャ（Ｂピクチャ、ＩＤＲピクチャ）について、ＳＡＯのタイプの種類、タイプ数、クラス数、オフセット精度、および分割の最大階層を制限してもよい。これにより、メモリの使用量削減や、処理負荷の軽減を行うことができる。
　このような制限は、図４１～図４３に示す手段の構成により、パラメータ条件をピクチャの種類とした場合に、パラメータ条件に応じて適応的にオフセット情報復号部６１１、クラス分類部６２４の動作を変更することで実現できる。
　（付記事項６）
　また、画面上におけるＱＡＯＵの位置に応じて、ＳＡＯのタイプ数、クラス数、オフセット精度、および分割の最大階層を制限する構成であってもよい。
　例えば、画面の周縁では、ＳＡＯのタイプ数、クラス数、オフセット精度、および分割の最大階層を制限してもよい。
　画面の中央付近は、ユーザが注目しやすいため、画質を下げると、そのまま主観画質が低下してしまうが、画面の周縁において画質を下げても、主観画質は画面中央付近ほどは低下しない。
　また、画面端を超えるサンプル点が必要となるＳＡＯタイプを用いなければ、境界判定処理を軽減することができる。
　このような制限は、図４１～図４３に示す手段の構成により、パラメータ条件をＱＡＯＵの位置とした場合に、パラメータ条件に応じて適応的にオフセット情報復号部６１１、クラス分類部６２４の動作を変更することで実現できる。
　〔実施の形態４〕
　本発明の他の実施の形態について図３２に基づいて説明すれば、以下のとおりである。本実施形態において、上記実施形態と異なるのは、画素値に応じて、ＥＯとＢＯとを切り換える点である。
　本願発明者等は、画素において、中間階調域では、ＢＯよりもＥＯの方が効果が高く、その他の値域（低画素値域・高画素値域）ではＢＯの方が効果が高いという特性を発見した。そこで、本実施形態では、低画素値域、および高画素値域ではＢＯを用い、中間階調域はＥＯを用いている。
　具体的に、図３２を参照して説明する。図３２は、画素値によってＥＯとＢＯとを切り換える構成を説明するための図であり、（ａ）は、画素値によってＥＯとＢＯとを切り換える構成の概要を説明するための図であり、（ｂ）は、具体的な切り換えの値を説明するための図である、（ｃ）は、オフセット情報格納部６２１に格納されるリストメモリの内容を示す図である。
　図３２（ａ）に示すように、本実施形態では、画素値（輝度値）が０近辺、および２５５近辺では、ＢＯを用い、それ以外の値域ではＥＯを用いる。すなわち、画素値によってＳＡＯタイプを分類し、画素値が０近辺、および２５５近辺では、画素値に応じたオフセットを加算し、それ以外の地域では、エッジの種類に応じたオフセットを加算する。
　本願発明者等の実験の結果、ＥＯとＢＯとは、用いられる画素値の範囲にそれぞれ偏りがみられた。すなわち、ＥＯは中間階調域に多いということがわかった。これは、低画素値域および高画素値域では、誤差への影響は、エッジの種類よりも画素値の方が大きい傾向があるということを意味している。
　そこで、本実施形態では、ＥＯとＢＯとを、画素値域に応じて決定し、１つのＳＡＯタイプでＥＯおよびＢＯの両者における誤差補正効果が高い部分を利用する構成としている。これにより、符号化効率を向上させることができる。また、ＳＡＯタイプ数や総クラス数を減少させることができるので、メモリの使用量の削減、および処理負荷を軽減することができる。
　次に、本実施の形態について、より詳細に説明する。まず、本実施の形態では、上記実施の形態と異なり、“sao_type_idx”について１～４までを用い、これらを次のように定義する。
・“sao_type_idx”＝１：（ＢＯ＿ＥＯ＿０）　実施の形態１のＥＯ＿０＋ＢＯに相当
・“sao_type_idx”＝２：（ＢＯ＿ＥＯ＿１）　実施の形態１のＥＯ＿１＋ＢＯに相当
・“sao_type_idx”＝３：（ＢＯ＿ＥＯ＿２）　実施の形態１のＥＯ＿２＋ＢＯに相当
・“sao_type_idx”＝４：（ＢＯ＿ＥＯ＿３）　実施の形態１のＥＯ＿３＋ＢＯに相当
　また、実施の形態１におけるＥＯ＿０～３、および ＢＯ＿０，１は用いない。
　そして、クラス分類部６２４は、図３２（ｂ）に示すように、図２９の変換テーブル１３０１におけるＢｏＴｂｌ［ＢＯ＿１］を用いてクラス分類を行う。そして、画素値がｍａｘの１／４以下、およびｍａｘの３／４以上であれば、変換テーブル１３０１を用いて、クラス分類を行う。
　また、画素値が、ｍａｘの１／４と３／４との間であれば、上記実施の形態に説明したＥＯ＿０～３に応じてエッジタイプを判定し、クラス分類を行う。
　これにより、クラス分類部６２４は、ＢＯとＥＯとを画素値によって切り換えてクラスを分類することができる。
　また、オフセット算出部８１１は、上記実施の形態で説明したオフセットの算出方法と同様の方法でオフセットを算出する。ただし、本実施の形態では、オフセットタイプの種類数が４つなので、この点を異ならせて算出する。
　また、オフセット情報格納部６２１に格納されるリストメモリ２１０１は、図３２（ｃ）に示すように、ＱＡＯＵインデックスとオフセットタイプと該オフセットタイプにおいて選択可能な各クラスに関するオフセットの具体的な値とが互いに関連付けられて格納されている。
　なお、ＥＯとＢＯとの特徴を併せ持つオフセットタイプを用いる場合に、まず、ＥＯを用いてクラス分類を行い、特定のクラス（エッジが平坦なクラス）について、ＢＯを用いてさらにクラス分類する構成であってもよい。また、実施の形態に記載したＥＯおよびＢＯをそのまま併用する構成であってもよい。さらに、上記実施の形態に記載した条件（ＱＡＯＵの階層の深度が閾値より小さいか否か）によって、ＥＯとＢＯとの特徴を併せ持つオフセットタイプを設けるか否かを変更して、タイプ数やクラス数を削減する構成であってもよい。
　〔実施の形態５〕
　本発明の他の実施の形態について図３３、３４、４２に基づいて説明すれば、以下のとおりである。本実施形態において、上記実施形態と異なるのは、ＥＯのクラス分類において、エッジの判定に用いる画素を、判定対象の画素の水平方向に存在する画素のみに限定する点である。
　上記実施の形態では、対象画素の上または下方向に存在する画素についても、エッジの判定に用いられていた。そのため、対象画素の上方向に存在する画素（オフセット処理済みの画素）については、当該画素のオフセット処理前の画素値を保持しておくラインバッファが必要となっていた。
　そこで、エッジの判定に用いる画素を、対象画素の水平方向に存在する画素に限定すれば、上方向への参照がなくなるため、ラインバッファ分のメモリの使用量を削減することができる。また、上方向の境界判定（画面端など）が不要となるので、処理量も削減できる。
　また、水平方向に存在する画素のみを用いる場合、前回までの処理結果を流用することが可能となるため、さらに処理量を削減することができる。図３３（ａ）を参照して説明する。図３３（ａ）は、水平方向に存在する画素を示しており、ｘ０～ｘ３は、それぞれの画素の画素値である。
　まず、画素値ｘ１の画素について、両隣との差分は、以下の通りである。
ｓ１＝ｓｉｇｎ（ｘ１－ｘ０）－ｓｉｇｎ（ｘ２－ｘ１）
　次に、画素値ｘ２の画素について、両隣との差分を算出すると、以下の通りとなる。
ｓ２＝ｓｉｇｎ（ｘ２－ｘ１）－ｓｉｇｎ（ｘ３－ｘ２）
　ここで、ｓ１、ｓ２はｘ１、ｘ２におけるエッジのクラス分類に用いられる値である。
　このように、ｓ２を算出する場合に、ｓ１で用いたｓｉｇｎ（ｘ２－ｘ１）を再利用している。よって、この分だけ、処理量を減らすことができる。
　次に、本実施形態の詳細について説明する。本実施形態では、ＥＯのタイプを２種類にしている。すなわち、“sao_type_idx”＝１，２の場合のみを、エッジオフセット（ＥＯ）としている。そして、“sao_type_idx”＝１（ＥＯ＿０）のときは、対象画素の左右の画素と比較してエッジの種類を導出し（図３３（ｂ））、“sao_type_idx”＝２（ＥＯ’＿０）のときは、対象画素の左右で、２画素離れた位置にある画素と比較してエッジの種類を導出する（図３３（ｃ））。
　なお、“sao_type_idx”＝３、４の場合はバンドオフセット（ＢＯ）となる。これは、上記実施の形態１において、“sao_type_idx”＝５、６の場合をそれぞれ３、４と読み替えればよい。
　上記“sao_type_idx”＝２の場合に、対象画素の両隣からさらに１画素分離れた画素を用いてエッジの種類を判定するのは、水平に対して角度の浅いエッジの検出を容易にするためである。図３３（ｄ）に示すように、対象画素の両隣の画素を比較対象とした場合、画素値の差分が小さく、エッジとは判定されない場合がある。このような場合であっても、さらに１画素分隣の画素との差分をとれば、水平に対して角度の浅いエッジを検出することが可能となる。
　また、対象画素の両隣ではなく、左側は隣の画素、右側は１画素さらに隣の画素（図３４（ａ））との差分を用いてもよいし、この逆（図３４（ｂ））を用いてもよい。これは、参照画素が画面の端に当たる場合に特に有効である。
　さらに、水平方向の画素のみを用いる場合を限定する構成であってもよい。例えば、Ｂピクチャや非参照ピクチャなどの他のピクチャへの影響が小さいピクチャの場合のみ、水平方向のみの画素を参照し、これ以外の場合は、上記実施の形態１と同様とする構成であってもよいし、画面端やスライス境界付近などでは、水平方向のみの画素を参照し、これ以外は、上記実施の形態と同様とする構成であってもよい。このようにすれば、メモリの使用量を削減できるとともに、処理量の削減も可能となる。また、上方向の参照を行わないので、画面端やスライス境界付近での境界の判定処理も軽減できる。
　また、ピクチャやブロック単位で、フラグで明示的に指定する構成であってもよい。
例えば、水平エッジ（図３４（ｃ））)が多い場合には、上記実施の形態に記載した方法で処理を行うようにすれば、性能が低下することを防止することができる。
　また、上記実施の形態に記載した条件（ＱＡＯＵの階層の深度が閾値よりも小さいか否か）によって、水平方向に存在する画素のみを用いる構成とするか否かを変更してもよい。さらに、上記実施の形態に記載したような、ＢＯとＥＯとを併用する場合に限り、ＥＯについては、水平方向に存在する画素のみを用いる構成としてもよい。
　また、水平方向に存在する画素との差分が、閾値よりも大きい（または小さい）か否かによって、エッジの種類を導出してもよい。具体的には、以下の式にしたがって、クラスを分類してもよい。
　　Ｓｉｇｎ（ｚ）＝＋１　（ｚ＞ｔｈのとき）
　　Ｓｉｇｎ（ｚ）＝０　　（－ｔｈ≦ｚ≦ｔｈのとき）
　　Ｓｉｇｎ（ｚ）＝－１　（ｚ＜－ｔｈのとき）
　ここで、ｔｈは、予め定められた値を有する閾値である。
　また、色差を表す画素値の場合は、エッジオフセットにおいて、水平方向に存在する画素のみを用いる構成としてもよい。
　水平に限定する効果は、水平エッジ分類方法が１つのみである場合、例えば、図３３（ｂ）のみの場合だけでも得ることができる。上記のように、複数の異なる水平エッジ分類方法を組み合わせる場合には、１つの水平エッジ分類方法、例えば図３３（ｂ）を用いる場合よりも、より細かいエッジの分類が可能である。なお、複数の水平エッジ分類方法を用いる場合の組み合わせは、図３３（ｂ）、（ｃ）のように、対象画素と参照画素の距離を変更して２つの例を用いる場合に限らず、エッジの種類を導出する場合に用いる閾値を２つ用いる構成でも良い。例えば、上記閾値ｔｈが０である場合と１である場合の２つの水平エッジ分類方法を備えてもよい。
　水平方向の画素のみを用いる場合を限定する構成は、実施形態１の図４１～図４３に示す手段の構成により、パラメータ条件に応じて適応的にオフセット情報復号部６１１、クラス分類部６２４の動作を変更することで実現できる。例えば、図４１のオフセット情報復号部６１１において、パラメータ条件に応じて、使用オフセットタイプ選択部６１１２で選択するオフセットタイプの種類を水平エッジ分類方法のみに限定し、オフセットタイプ復号部６１１３では限定された種類のオフセットタイプを復号する。
　図４２（ｂ）で示すように、オフセットタイプ変換テーブル選択部６１１７は、パラメータ条件に応じてエッジオフセットタイプ及びバンドオフセットタイプ格納部６１１８’が備える変換テーブルもしくは、水平エッジオフセットタイプ及びバンドオフセットタイプ変換テーブル格納部６１１９’が備える変換テーブルを選択する。一つの例では、色成分が輝度の場合に、エッジオフセットタイプ及びバンドオフセットタイプ格納部６１１８’が備える変換テーブルを選択し、色差の場合に、水平エッジオフセットタイプ及びバンドオフセットタイプ変換テーブル格納部６１１９’が備える変換テーブルを選択する。
　クラス分類部６２４では、内部の使用オフセットタイプ選択部６１１２において、パラメータ条件に応じて水平エッジ分類方法のみに限定するようなエッジ分類方法を選択し、エッジオフセットクラス分類部６２４３において画素を分類する。一つの例では、色成分が輝度の場合においては、基本エッジ分類方法を選択し、色成分が色差の場合には、水平エッジ分類方法を選択する。
　〔実施の形態６〕
　本発明の他の実施の形態について図３５～３７に基づいて説明すれば、以下のとおりである。本実施形態において、上記実施形態と異なるのは、色差の画素値の中央付近において、オフセット精度を向上させるか、またはクラスの分割を細かくしている点である。
　画像において、無彩色付近の誤差は主観画質において目立ちやすいという特性がある。各色差の画素値において、無彩色とは、値域の中央であり、ビット深度が８ビットの場合であれば、画素値１２８の画素の色である。そこで、本実施形態では、ＢＯの場合に、色差の画素値１２８近辺について、オフセット精度を上げるか、またはより小さなクラス幅を用いてクラス分割を細かくしている。お、以下では、色差の画素値について無彩色付近の値域を、無彩色値域と呼ぶ。
　これにより、無彩色値域のオフセット精度を上げることができるので、無彩色値域でのオフセット補正の性能が向上する。よって、無彩色値域での原画像との誤差が減少し、主観画質を向上させることができる。また、無彩色値域において、クラスの分割を他の値域よりも狭く分割することにより、無彩色値域でのオフセット補正をより精密に行うことができる。これにより、原画像との誤差を減少させることができ、主観画質を向上させることができる。
　なお、本実施の形態では、無彩色値域のオフセット精度の向上、およびクラス分割の細分化を行っているが、これに限らず、主観画質に影響しそうな範囲の値に対して、クラス分割を細分化したり、オフセット精度を向上させたりすれば、主観画質を向上させることができる。また、輝度の画素値においても、主観画質上、画質劣化が目立ちやすい画素値域に対して、同様にオフセット精度を上げたり、クラス分割を細分化したりする構成でも同様の効果を奏することができる。
　まず、オフセットの精度を向上させる場合について、図３５を参照して説明する。図３５は、オフセットの精度を向上させる場合についての概要を示す図である。図３５に示すように、オフセットの精度を向上させる場合、色差の画素値１２８付近のオフセットの精度を高精度にし、これ以外の値域のオフセットの精度を低精度とする。
　また、オフセット情報格納部６２１は、オフセットが高精度の値域のオフセットについては、ｎＢビット（例えばｎＢ＝８）の格納領域を確保し、オフセットが低精度の値域のオフセットについては、ｎＡビット（例えばｎＡ＝６）の格納領域を確保している。なお、記憶領域に余裕があればｎＢビット統一してもよい。この場合は、実装が容易となる。
　また、オフセットクリップ部８１２は、オフセットが高精度の値域と低精度の値域とで、クリップ範囲を切り換える。例えば、オフセットが低精度の値域については、クリップ範囲を、－２ｎＡ／２～２ｎＡ／２－１とし、オフセットが高精度の値域については、クリップ範囲を、－２ｎＢ／２～２ｎＢ／２－１とする。
　次に、クラス分類を細分化する場合について、図３６を参照して説明する。図３６はクラス分類を細分化する場合の概要を示す図であり、（ａ）は変換テーブルを示し、（ｂ）～（ｄ）はクラス分割を説明するための図である。
　そして、クラス分類を細分化する場合は、オフセット情報格納部６２１における色差用のリストメモリにおいて、“sao_type_idx”＝５に相当するオフセット格納領域を、クラス分類数に応じて確保する。
　また、クラス分類部６２４において、ＢＯの場合に、画素値からクラスを導出する際に、対象画素の画素値が無彩色値域かどうかを含めて判定する。具体的には、例えば図３６（ａ）に示す変換テーブル２５０１のいずれかを用いて、クラス分類を行う。
　変換テーブル２５０１では、“class_idx = BoTbl[sao_type_idx][pix[x]/4]”により、クラス分類を行っており、図２９の変換テーブル１３０１、１３０２よりも、より細かい画素値に対してクラスが割り当てられている。
　また、変換テーブル２５０１の「ＢｏＴｂｌ［ＢＯ＿０］［ｐｉｘ／４］（ａ）」では、クラスを１６個に分け、無彩色値域を細分化し、中間階調域（ｐｉｘ／４＝１６～２１，４２～４７）を粗くした例を示している（図３６（ｂ））。また、「ＢｏＴｂｌ［ＢＯ＿０］［ｐｉｘ／４］（ｂ）」では、クラスを１６個に分けるとともに、オフセット有りの値域を狭め、クラス数とクラス幅の最大値を維持しつつ無彩色値域を細分化した例を示している（図３６（ｃ））。また、「ＢｏＴｂｌ［ＢＯ＿０］［ｐｉｘ／４］（ｃ）」では、クラスを１８個に分け、無彩色付近の値域を細分化するとともに、クラス幅の最大値も維持した例を示している（図３６（ｄ））。また、この他にも例を挙げれば、中間階調域のクラス幅を無彩色値域のクラス幅よりも相対的に大きくし、全体のクラス数を減らすことで、無彩色値域の補正精度を従来通り保ったまま、オフセット格納領域を削減することができる。これは、中間階調域におけるオフセット補正の使用頻度が、無彩色領域よりも低いことから可能である。
　また、オフセットの精度向上と、無彩色値域におけるクラス分類の細分化とを併用した構成であってもよい。
　また、輝度を示す画素値と色差を示す画素値とで、オフセットの精度を異ならせる構成、すなわち、色差を示す画素値に対するオフセットの精度を、輝度を示す画素値に対するオフセットの精度より粗くする構成であってもよい。
　（付記事項７）
　また、オフセットの加算を、無彩色（＝色差の画素値１２８）に近づける方向に行う構成であってもよい。すなわち、オフセット加算部６２６は、画素値が１２８以上と１２８未満とで、加算するオフセットの符号を逆にして扱ってもよい。例えば、オフセットａ のとき、ｘ’＝ｘ＋ａ（ｘ＜１２８），ｘ’＝ｘ－ａ（ｘ≧１２８）としてもよい。
　また、オフセット加算後の画素値が１２８をまたぐような場合、１２８でクリップする構成であってもよい。例えば、画素値が「１２６（緑の側）」で、オフセットが「３」のときに、そのままオフセットを加算して、ｘ＝１２６＋３＝１２９とせずに、ｘ＝ｃｌｉｐ（１２６＋３，０，１２８）＝１２８としてもよい。ここで、ｃｌｉｐ（ｘ，ｙ，ｚ）は、ｘの値をｙ≦ｘ≦ｚに制限する処理を示す。
　また、例えば、画素値が「１２９（赤の側）」で、オフセットが「－４」のときも、そのままオフセットを加算して、ｘ＝１２９＋（－４）＝１２５とせずに、ｘ＝ｃｌｉｐ（１２９＋（－４），１２８，２５５）＝１２８としてもよい。
　（付記事項８）
　また、色差において、中間階調域とその他の値域とに分けてオフセットを加算する構成であってもよい。例えば、図３７（ａ）に示すように、無彩色の画素値を考慮してクラス分類を行ってもよい。図３７（ａ）に示す例では、“sao_type_idx”＝５（ＢＯ＿０）の場合、中間階調域にクラスが割り当てられ、“sao_type_idx”＝６（ＢＯ＿１）の場合、中間階調域以外の値域にクラスが割り当てられている。
　また、図３７（ｂ）に示すように、無彩色の画素値を挟む２つの値域で非対称にクラス分類されていてもよい。図３７（ｂ）に示す例では、図３７（ａ）に示す例とクラスの幅は同じで区切りの位置が変更されている。
　また、図３７（ｃ）、（ｄ）に示すように、色差のチャネル（ＣｒおよびＣｂ）ごとに、異なるクラス分類を用いてもよい。図３７（ｃ）、（ｄ）に示す例では、色差（Ｃｒ）と色差（Ｃｂ）とでクラスの幅が異なっている。クラス幅の変更は、変換テーブル２５０１のようにクラス数を細分化することで可能である。
　また、図３７（ｅ）に示すように、色差では、ＢＯのタイプを１つにしてクラス分類を行う構成であってもよい。
　〔実施の形態７〕
　本発明の他の実施の形態について図３８～４０に基づいて説明すれば、以下のとおりである。本実施形態において、上記実施形態と異なるのは、オフセットの値そのものではなく、オフセットの値を予測符号化、すなわち、オフセットの値と当該オフセットの値の予測値とを用いて算出されるオフセット残差を符号化する点、およびオフセット予測値に「０」を設ける点である。
　一般的にＳＡＯでは、領域分類を示すクラスに応じてオフセットを符号化する。当該クラスに分類される画素が無い（クラスが空である）場合には「０」が符号化される。通常、近傍クラスおよび近傍領域のオフセットは近い値を有するため、既に復号したオフセット値を予測値とし差分を符号化すれば、符号量を削減することが可能である。しかしながら、クラスが空である場合には、逆に符号量が増加してしまう。
　そこで、本実施形態では、オフセットの予測値に「０」を含め、「０」を含む複数の予測値候補から１つの予測値を選択し、予測差分を符号化することによりオフセットの符号量を低減している。
　これにより、クラスが空であっても、当該クラスに分類される画素が有り、オフセットが符号化される場合であっても、適した予測値を割り当てることができるため、予測符号化により符号量を削減することができる。
　本実施形態に係るオフセット情報復号部６１１’の構成について、図３８を参照して説明する。オフセット情報復号部６１１’は、図２２のオフセット情報復号部６１１の代わりに設けられているものであり、オフセット残差復号部６５１、オフセット復元部６５２、予測値導出部６５３を含む構成である。また、予測値導出部６５３は、予測候補フラグ復号部６６１、固定予測値算出部６６２、符号化予測値算出部６６３、および予測値候補選択部６６４を含む構成である。
　オフセット残差復号部６５１は、符号化データ＃１に含まれるＱＡＯＵ情報からオフセット残差を復号し、復号したオフセット残差をオフセット復元部６５２へ供給する。
　予測値導出部６５３は、オフセットの予測値を導出する。予測候補フラグ復号部６６１は、予測候補フラグをＱＡＯＵ情報から復号し、復号した予測候補フラグを予測値候補選択部６６４に供給する。なお、予測候補フラグ復号部６６１は、以前に復号されたオフセット値が「０」である場合には、候補選択フラグを復号しない構成であってもよい。”
　固定予測値算出部６６２は、当該クラスに分類される画素が無い場合に符号化されるオフセットである固定値（ここでは「０」）を予測値として算出し、予測値候補選択部６６４に供給する。
　符号化予測値算出部６６３は、既に復号されたオフセットをオフセット情報格納部６２１から読み出し予測値を算出し、予測値候補選択部６６４に供給する。
　予測値候補選択部６６４は、予測候補フラグに応じて、固定予測値算出部６６２から供給された予測値および符号化予測値算出部６６３から供給された予測値から、オフセット復元部６５２に供給する予測値を選択する。
　オフセット復元部６５２は、予測値候補選択部６６４から供給された予測値（pred）とオフセット残差復号部６５１から供給されたオフセット残差（sao_offset）とから、次の式にしたがって、オフセット（Offset）を復元する。
“Offset”＝“pred”+“sao_offset”
　ここで、分類される画素がないクラス（空のクラス）がある場合に、符号量が増えてしまう理由について、図３９を参照して説明する。図３９は、空のクラスがある場合の概要を示す図である。図３９に示すように、空でないクラスには、当該クラスのオフセットが符号化されている。そして、クラス毎に、前回のオフセットを予測値として該予測値とオフセットとの差分が符号化される。しかしながら、空のクラスがあると、予測値が「０」となり、差分値が大きくなってしまう。これにより、符号量が増大してしまう。
　そこで、本実施形態では、予測候補フラグにより、予測値を「０」と「直前の（０以外の）オフセット」とから選択できるようにしている。
　予測候補フラグを用いる場合のシンタクスについて、図４０を参照して説明する。図４０は、予測候補フラグを用いる場合のシンタクス２９０１を示す図である。図４０に示すように、予測候補フラグ“sao_pred_flag”を追加し、“sao_pred_flag”＝０であれば直前に復号した（０でない）オフセットを予測値offsetpとし、“sao_pred_flag”＝１か、または最初のオフセットであれば、予測値offsetp＝０とする。なお、シンタクス２９０１において、“sao_offset_delta”は予測値からの差分ｄを表し、“sao_offset[sao_curr_depth][ys][xs]”＝“offsetp +d”となる。
　なお、オフセットタイプに応じて、予測候補フラグを用いない構成としてもよい。例えば、ＥＯの場合は、予測候補フラグを用いず、ＢＯの場合は、予測候補フラグを用いる構成にしてもよい。これは、ＢＯでは、画素値の分布次第で、空のクラスがしばしば発生するためである。
　また、オフセットタイプに応じて、予測符号化自体を行うか否か決定する構成であってもよい。例えば、ＥＯの場合は、予測符号化を行い、ＢＯの場合は予測符号化を行わない構成であってもよい。
　（付記事項９）
　また、上記実施の形態３～７において、イントラ予測モードを用いて、ＬＣＵ単位で、エッジオフセットのクラスを推定したり、制限したり、並べ替えを行ったりしてもよい。
　ＳＡＯのＥＯタイプとして選択されるエッジ方向は、イントラ予測モードと相関があると考えられる。このため、ＳＡＯのＱＡＯＵと対応する位置にあるＣＵのイントラ予測モードを参照すれば、ＥＯクラスの選択に利用することができる。
　例えば、イントラ予測モードにより、ＥＯクラスを推定して決定したり、ＥＯクラスの候補を制限したり、あるいは、ＥＯクラスの順序（インデックス）を、選択される可能性が高い順に並べ替えたりすることができる。
　これは、ＳＡＯの各階層のブＱＡＯＵのサイズがＣＵと同じサイズの場合、例えばＳＡＯのＱＡＯＵの最大サイズがＬＣＵサイズに等しくなるように画像が分割される場合であれば、特に容易に実現可能である。
　（付記事項１０）
　従来の適応オフセットフィルタでは、オフセットの種類（タイプ、クラス）が多いため、大きなメモリサイズが必要となってしまう可能性がある。そこで、本実施の形態では、メモリサイズの増大を抑制しつつ、ブロック歪みを低減することのできる画像フィルタ装置等を実現している。
　本発明に係る画像フィルタ装置は、複数の単位領域から構成される入力画像の各画素値に、複数のオフセットの中から選択したオフセットを加算する画像フィルタ装置であって、各単位領域に含まれる画素の画素値に加算するオフセットを該単位領域ごとに決定するオフセット決定手段と、上記オフセット決定手段が決定したオフセットを、当該単位領域に含まれる画素の画素値に加算するフィルタ手段と、を備え、上記オフセット決定手段は、オフセットの決定対象となる単位領域のサイズが所定の大きさよりも小さい場合、単位領域のサイズが所定の大きさ以上の場合よりも選択できるオフセット数が制限されたオフセットの中から当該単位領域に含まれる画素の画素値に加算するオフセットを決定することを特徴としている。
　上記の構成によれば、オフセットの決定対象となる単位領域のサイズが所定の大きさよりも小さい場合、単位領域のサイズが所定の大きさ以上の場合よりも制限されたオフセットの中から、加算するオフセットが決定される。
　単位領域のサイズが小さい場合、その中に含まれる画素数は少なくなり、また、その画素同士は、近似した値を持っている可能性が高い。よって、単位領域のサイズが小さい場合は、選択可能なオフセット数を制限したとしても、オフセット適用後の画像に与える影響は小さい。また、選択可能なオフセット数を制限することで、必要なメモリの容量を減らすことができる。
　したがって、上記の構成によれば、オフセット適用後の画像に与える影響を低くしつつ、メモリの使用量を削減することができる。また、選択可能なオフセット数が少なくなることで、符号量が削減でき、符号化効率が向上する。
　上記課題を解決するために、本発明に係る画像フィルタ装置は、複数の単位領域から構成される入力画像の各画素値にオフセットを加算する画像フィルタ装置であって、各単位領域に含まれる画素の画素値に加算するオフセットを該単位領域ごとに決定するオフセット決定手段と、上記オフセット決定手段が決定したオフセットを、当該単位領域に含まれる画素の画素値に加算するフィルタ手段と、を備え、上記フィルタ手段は、オフセットの決定対象となる単位領域のサイズが所定の大きさよりも小さい場合、単位領域のサイズが所定の大きさ以上の場合よりも精度を粗くしたオフセットを加算することを特徴としている。
　上記の構成によれば、オフセットの決定対象となる単位領域のサイズが所定の大きさよりも小さい場合、単位領域のサイズが所定の大きさ以上の場合よりも精度が粗いオフセットが加算される。
　単位領域のサイズが小さい場合、その中に含まれる画素数は少なくなり、また、その画素同士は、近似した値を持っている可能性が高い。よって、単位領域のサイズが小さい場合は、オフセットの精度を粗くしても、量子化誤差に与える影響が小さい。したがって、オフセット適用後の画像に与える影響も小さい。また、オフセットの精度を粗くすることで、必要なメモリの容量を減らすことができる。
　したがって、上記の構成によれば、オフセット適用後の画像に与える影響を低くしつつ、メモリの使用量を削減することができる。また、オフセットの精度が粗くなることで、符号量が削減でき、符号化効率が向上する。
　本発明に係る画像フィルタ装置は、複数の単位領域から構成される入力画像の各画素値に、適応オフセット（ＳＡＯ：Sample Adaptive Offset）を施す画像フィルタ装置であって、各単位領域に含まれる画素の画素値に加算するオフセットの種類を該単位領域ごとに決定するオフセット決定手段と、上記オフセット決定手段が決定したオフセットの種類に応じたオフセットを、当該単位領域に含まれる画素の画素値に加算するフィルタ手段と、を備え、上記オフセット決定手段は、オフセットを加算する対象画素の画素値が最大値および最小値の付近については、オフセットの種類をバンドオフセット（ＢＯ）に決定し、それ以外の値域の画素についてはエッジオフセット（ＥＯ）に決定することを特徴としている。
　上記の構成によれば、適応オフセットを施す場合に、画素値が、最大値および最小値の付近の画素に対しては、バンドオフセットが適用され、これ以外の値域の画素についてはエッジオフセットが適用される。
　高画素値域および低画素値域では、エッジよりも画素値の方が誤差に影響を及ぼし易いという傾向があるので、上記の構成により、誤差補正の効率が高まり、符号化効率を向上させることができる。
　また、１つのタイプでバンドオフセットとエッジオフセットとを併用すれば、適応オフセットのタイプ数を減らすことができ、メモリの使用量および処理量を削減することができる。
　なお、上記の構成において、バンドオフセットとは、処理対象の画素の画素値の大きさに応じて、当該処理対象画素の画素値に複数のオフセットの何れかを加算するオフセット処理のことをいう（以下同様）。また、上記の構成において、エッジオフセットとは、処理対象の画素の画素値と当該処理対象の画素の周辺の画素の画素値との差分に応じて、当該処理対象画素の画素値に複数のオフセットの何れかを加算するオフセット処理のことをいう（以下同様）。
　本発明に係る画像フィルタ装置では、上記オフセット決定手段は、画素値が最小値から最大値の４分の１までと、最大値の４分の３から最大値までの値域の画素については、バンドオフセットに決定し、これ以外の値域についてはエッジオフセットに決定するものであってもよい。
　上記の構成によれば、バンドオフセットが適用される画素とエッジオフセットが適用される画素とを明確に分けることができる。
　本発明に係る画像フィルタ装置は、入力画像に、適応オフセット（ＳＡＯ：Sample Adaptive Offset）を施す画像フィルタ装置であって、エッジオフセット（ＥＯ）を適用するときのクラスを決定するために行うエッジの判定を、対象画素の水平方向に存在する画素のみを参照して行うクラス分類手段と、エッジオフセット（ＥＯ）を適用する場合、上記クラス分類手段が分類したクラスに対応するオフセットを加算するフィルタ手段と、を備えていることを特徴としている。
　上記の構成によれば、エッジの判定に、水平方向の画素しか参照しないので、上方向の画素も参照する場合と比較して、必要なメモリ量を削減することができる。また、上方向の境界判定が不要となるので、処理量も削減することができる。
　本発明に係る画像フィルタ装置では、上記クラス分類手段は、対象画素から水平方向に２画素離れた位置にある画素を参照してエッジの判定を行うものであってもよい。
　上記の構成によれば、対象画素から２画素離れた画素を参照するので、エッジの角度が浅い場合であっても、エッジを検出することができる。
　本発明に係る画像フィルタ装置は、入力画像に、適応オフセット（ＳＡＯ：Sample Adaptive Offset）を施す画像フィルタ装置であって、色差を示す画素値が、最大値および最小値の中央の値である中央値付近のクラスの分割幅を、その他の値域よりも細分化して、バンドオフセット（ＢＯ）を適用するときのクラスを決定するクラス分類手段と、バンドオフセット（ＢＯ）を適用する場合、上記クラス分類手段が分類したクラスに対応するオフセットを加算するフィルタ手段と、を備えていることを特徴としている。
　上記の構成によれば、色差を示す画素値が、最大値および最小値の中央の値である中央値付近のクラスの分割幅を、その他の値域よりも細分化して、バンドオフセット（ＢＯ）を適用するときのクラスを決定される。
　色差の画素値が中央値のとき、当該画素は無彩色となる。無彩色の誤差は、人の目に付き易く、主観画質が低下する。そこで、上記の構成のように、中央値近辺のクラス幅を細分化すれば、中央値近辺の画素に対し、細かくオフセットを設定することができる。これにより、主観画質を向上させることができる。
　本発明に係る画像フィルタ装置では、上記フィルタ手段は、オフセット加算前の画素値と加算後の画素値との間に、上記中央値が存在する場合、オフセット加算後の画素値を上記中央値とするものであってもよい。
　上記の構成によれば、中央値を超えてオフセットが加算されることはなくなる。色差の画素値が中央値の画素は無彩色であり、中央値を挟んだ両側では、人の目で知覚できる色が変わってしまう。そこで、上記の構成によれば、オフセットが加算されたことにより、人が近くする色が変わってしまうことを防止することができる。
　本発明に係る画像フィルタ装置は、入力画像に、適応オフセット（ＳＡＯ：Sample Adaptive Offset）を施す画像フィルタ装置であって、色差を示す画素値が、最大値および最小値の中央の値である中央値付近の画素に対し、その他の値域の画素よりも精度が高いオフセットを加算するフィルタ手段を備えていることを特徴としている。
　上記の構成によれば、色差を示す画素値が、最大値および最小値の中央の値である中央値付近の画素に対し、その他の値域の画素よりも精度が高いオフセットを加算する。
　色差の画素値が中央値のとき、当該画素は無彩色となる。無彩色の誤差は、人の目に付き易く、主観画質が低下する。そこで、上記の構成のように、中央値近辺では、加算するオフセットの精度を向上させれば、中央値近辺の画素に対し、細かくオフセットを加算することができる。これにより、主観画質を向上させることができる。
　本発明に係るオフセット復号装置は、入力画像の各画素値にオフセットを加算する画像フィルタによって参照される各オフセットを復号するオフセット復号装置であって、各オフセット残差を、符号化データから復号するオフセット残差復号手段と、各オフセットの予測値を、復号済みのオフセット、または予め定められた値から導出する予測値導出手段と、各オフセットを、上記予測値導出手段によって導出された予測値、および上記オフセット残差復号手段によって復号されたオフセット残差から算出するオフセット算出手段と、を備えていることを特徴としている。
　上記の構成によれば、残差からオフセットを復号するので、オフセットをそのまま符号化する場合よりも、符号量の少なくすることができる。また、残差を求めるための予測値を復号済みのオフセットまたは予め定められた値から導出するので、復号済みのオフセットのみを用いることにより、差分データの符号量が、そのまま符号化するときよりも大きくなってしまうことを防止することができる。
　なお、予め定められた値としては、例えば「０」を挙げることができる。
　本発明に係るオフセット符号化装置は、入力画像の各画素値にオフセットを加算する画像フィルタによって参照される各オフセットを符号化するオフセット符号化装置であって、各オフセットの予測値を、符号化済みのオフセット、または予め定められた値から導出する予測値導出手段と、各オフセットと上記予測値導出手段によって導出された予測値とからオフセット残差を算出するオフセット残差算出手段と、上記オフセット残差算出手段によって算出されたオフセット残差を符号化するオフセット残差符号化手段と、を備えていることを特徴としている。
　上記の構成によれば、残差からオフセットを復号するので、オフセットをそのまま符号化する場合よりも、符号量の少なくすることができる。また、残差を求めるための予測値を復号済みのオフセットまたは予め定められた値から導出するので、復号済みのオフセットのみを用いることにより、差分データの符号量が、そのまま符号化するときよりも大きくなってしまうことを防止することができる。
　本発明に係る符号化データのデータ構造は、複数の単位領域から構成される入力画像の各画素値にオフセットを加算する画像フィルタによって参照される符号化データのデータ構造であって、予測値を、復号済みのオフセットおよび予め定められた値のいずれから導出するかを示す予測値導出情報を含み、上記画像フィルタは、上記符号化データに含まれる予測値導出情報を参照して、予測値を導出し、オフセットを復号する、ことを特徴としている。
　上記の構成によれば、予測値を、復号済みのオフセットとするか、または予め定められた値とするかを、予測値導出情報により決定できる。
　（応用例）
　上述した動画像復号装置１（１’）および動画像符号化装置２（２’）は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい）。
　まず、上述した動画像復号装置１および動画像符号化装置２を、動画像の送信および受信に利用できることを、図４５を参照して説明する。
　図４５（ａ）は、動画像符号化装置２を搭載した送信装置Ａの構成を示したブロック図である。図４５（ａ）に示すように、送信装置Ａは、動画像を符号化することによって符号化データを得る符号化部Ａ１と、符号化部Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部Ａ２と、変調部Ａ２が得た変調信号を送信する送信部Ａ３と、を備えている。上述した動画像符号化装置２は、この符号化部Ａ１として利用される。
　送信装置Ａは、符号化部Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＡ４、動画像を記録した記録媒体Ａ５、動画像を外部から入力するための入力端子Ａ６、および画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図４５（ａ）においては、これら全てを送信装置Ａが備えた構成を例示しているが、一部を省略しても構わない。
　なお、記録媒体Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体Ａ５と符号化部Ａ１との間に、記録媒体Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。
　図４５（ｂ）は、動画像復号装置１を搭載した受信装置Ｂの構成を示したブロック図である。図４５（ｂ）に示すように、受信装置Ｂは、変調信号を受信する受信部Ｂ１と、受信部Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部Ｂ２と、復調部Ｂ２が得た符号化データを復号することによって動画像を得る復号部Ｂ３と、を備えている。上述した動画像復号装置１は、この復号部Ｂ３として利用される。
　受信装置Ｂは、復号部Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＢ４、動画像を記録するための記録媒体Ｂ５、および、動画像を外部に出力するための出力端子Ｂ６を更に備えていてもよい。図４５（ｂ）においては、これら全てを受信装置Ｂが備えた構成を例示しているが、一部を省略しても構わない。
　なお、記録媒体Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部Ｂ３と記録媒体Ｂ５との間に、復号部Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
　なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、および有線通信の何れによって実現してもよい。
　例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置Ａ／受信装置Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置Ａ／受信装置Ｂの一例である。
　また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置Ａ／受信装置Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線または有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、およびタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
　なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置Ａおよび受信装置Ｂの双方として機能する。
　次に、上述した動画像復号装置１および動画像符号化装置２を、動画像の記録および再生に利用できることを、図４６を参照して説明する。
　図４６（ａ）は、上述した動画像復号装置１を搭載した記録装置Ｃの構成を示したブロック図である。図４６（ａ）に示すように、記録装置Ｃは、動画像を符号化することによって符号化データを得る符号化部Ｃ１と、符号化部Ｃ１が得た符号化データを記録媒体Ｍに書き込む書込部Ｃ２と、を備えている。上述した動画像符号化装置２は、この符号化部Ｃ１として利用される。
　なお、記録媒体Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)などのように、記録装置Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリなどのように、記録装置Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）などのように、記録装置Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
　また、記録装置Ｃは、符号化部Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＣ３、動画像を外部から入力するための入力端子Ｃ４、動画像を受信するための受信部Ｃ５、および、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図４６（ａ）においては、これら全てを記録装置Ｃが備えた構成を例示しているが、一部を省略しても構わない。
　なお、受信部Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部Ｃ５と符号化部Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
　このような記録装置Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤ（Hard Disk）レコーダなどが挙げられる（この場合、入力端子Ｃ４または受信部Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＣ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部Ｃ５または画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＣ３または受信部Ｃ５が動画像の主な供給源となる）なども、このような記録装置Ｃの一例である。
　図４６（ｂ）は、上述した動画像復号装置１を搭載した再生装置Ｄの構成を示したブロックである。図４６（ｂ）に示すように、再生装置Ｄは、記録媒体Ｍに書き込まれた符号化データを読み出す読出部Ｄ１と、読出部Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部Ｄ２と、を備えている。上述した動画像復号装置１は、この復号部Ｄ２として利用される。
　なお、記録媒体Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
　また、再生装置Ｄは、復号部Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＤ３、動画像を外部に出力するための出力端子Ｄ４、および、動画像を送信する送信部Ｄ５を更に備えていてもよい。図４６（ｂ）においては、これら全てを再生装置Ｄが備えた構成を例示しているが、一部を省略しても構わない。
　なお、送信部Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部Ｄ２と送信部Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
　このような再生装置Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＤ３が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子Ｄ４または送信部Ｄ５が動画像の主な供給先となる）、ラップトップ型またはタブレット型ＰＣ（この場合、ディスプレイＤ３または送信部Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＤ３または送信部Ｄ５が動画像の主な供給先となる）、デジタルサイネージ(電子看板や電子掲示板等とも称され、ディスプレイＤ３または送信部Ｄ５が動画像の主な供給先となる)なども、このような再生装置Ｄの一例である。
　（ソフトウェアによる構成）
　最後に、動画像復号装置１（１’）および動画像符号化装置２（２’）の各ブロック、特に可変長符号復号部１３、動きベクトル復元部１４、インター予測画像生成部１６、イントラ予測画像生成部１７、予測方式決定部１８、逆量子化・逆変換部１９、デブロッキングフィルタ４１、適応フィルタ５０、適応オフセットフィルタ６０（６０’）、変換・量子化部２１、可変長符号符号化部２２、逆量子化・逆変換部２３、イントラ予測画像生成部２５、インター予測画像生成部２６、動きベクトル検出部２７、予測方式制御部２８、動きベクトル冗長性削除部２９、デブロッキングフィルタ３３、適応フィルタ７０、適応オフセットフィルタ８０（８０’）は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現していてもよいし、ＣＰＵ（central processing unit）を用いてソフトウェア的に実現してもよい。
　後者の場合、動画像復号装置１および動画像符号化装置２は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである動画像復号装置１および動画像符号化装置２の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記の動画像復号装置１および動画像符号化装置２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（micro processing unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ－ＲＯＭ（compact disc read-only memory）／ＭＯディスク（magneto-optical disc）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disc）／ＣＤ－Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）（登録商標）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
　また、動画像復号装置１および動画像符号化装置２を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television/cable television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asymmetric digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（high data rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
　本発明は上述した各実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
　本発明は、画像データにオフセットフィルタリングを行う画像フィルタに好適に用いることができる。また、符号化データを復号する復号装置、および、符号化データを符号化する符号化装置に好適に適用することができる。
１　　　　　　　　　動画像復号装置（復号装置）
４１　　　　　　　　デブロッキングフィルタ
５０　　　　　　　　適応フィルタ
６０、６０’　　　　適応オフセットフィルタ（画像フィルタ装置）
６１１、６１１’　　オフセット情報復号部（オフセット復号装置、決定手段、オフセット属性設定手段、オフセット復号手段、オフセット残差復号手段、予測値導出手段）
６１２　　　　　　　ＱＡＯＵ構造復号部
６１３　　　　　　　オフセット属性設定部（オフセット属性設定手段）
６２１　　　　　　　オフセット情報格納部
６２２　　　　　　　ＱＡＯＵ制御部
６２３　　　　　　　オフセットタイプ導出部
６２４　　　　　　　クラス分類部（算出手段、ビットシフト手段、分類手段）
６２５　　　　　　　オフセット導出部（オフセット逆シフト手段）
６２６　　　　　　　オフセット加算部（オフセット手段）
２　　　　　　　　　動画像符号化装置（符号化装置）
３３　　　　　　　　デブロッキングフィルタ
７０　　　　　　　　適応フィルタ
８０、８０’　　　　適応オフセットフィルタ（画像フィルタ装置）
８１１　　　　　　　オフセット算出部
８１２　　　　　　　オフセットクリップ部
８１３　　　　　　　オフセット情報選択部
８１４　　　　　　　オフセット残差導出部
８１５　　　　　　　オフセット属性設定部（オフセット属性設定手段）
８１６　　　　　　　オフセットシフト部（オフセットシフト手段）

Claims (19)

  1. 　複数の単位領域から構成される入力画像の各画素値にオフセットを加算する画像フィルタ装置であって、
    　符号化データを参照し、オフセット値域を設定するオフセット属性設定手段と、
    　上記設定されたオフセット値域に制限されたオフセットを復号するオフセット復号手段と、
    　上記入力画像の各画素値に上記オフセットを加算するフィルタ手段と
    を備えていることを特徴とする画像フィルタ装置。
  2. 　上記符号化データは、上記入力画像の画素値のビット深度を含み、
    　上記オフセット属性設定手段は、上記画素値のビット深度に応じて上記オフセット値域を設定する
    ことを特徴とする請求項１に記載の画像フィルタ装置。
  3. 　上記オフセット属性設定手段は、上記オフセットのビット幅であるオフセットビット深度を、前記画素値のビット深度が１０ビット以下の場合は画素値のビット深度と等しい値に設定し、前記画素値のビット深度が１１ビット以上の場合は１０に設定すると共に、上記オフセット値域を２オフセットビット深度－５以下の範囲とすることを特徴とする請求項２に記載の画像フィルタ装置。
  4. 　上記復号されたオフセットは量子化された値であり、
    　上記フィルタ手段は、上記オフセット属性に含まれるパラメータを用いて上記オフセットを逆量子化した値を上記各画素値に加算する
    ことを特徴とする請求項１から３の何れか１項に記載の画像フィルタ装置。
  5. 　上記フィルタ手段は、上記画素値のビット深度から、上記オフセットビット深度を引いた値であるシフト値だけ左シフトをすることにより、復号したオフセットの逆量子化を行うことを特徴とする請求項３に記載の画像フィルタ装置。
  6. 　入力画像の各画素値にオフセットを加算する画像フィルタによって参照される各オフセットを復号するオフセット復号装置であって、
    　各オフセット残差を、符号化データから復号するオフセット残差復号手段と、
    　各オフセットの予測値を、復号済みのオフセットから導出する予測値導出手段と、
    　各オフセットを、上記予測値導出手段によって導出された予測値、及び上記オフセット残差復号手段によって復号されたオフセット残差から算出するオフセット算出手段と、
    を備えていることを特徴とするオフセット復号装置。
  7. 　上記入力画像は、複数の単位領域から構成されており、
    　上記オフセット残差復号手段は、各オフセット残差を、単位領域毎に定まるオフセットタイプ及び画素毎に定まるオフセットクラスに関連付けて復号し、
    　上記予測値導出手段は、各オフセットの予測値を、該オフセットと同一のオフセットタイプ及びオフセットクラスに関連付けられた復号済みのオフセットから導出する、
    ことを特徴とする請求項６に記載のオフセット復号装置。
  8. 　上記入力画像は、複数の単位領域から構成されており、
    　上記オフセット残差復号手段は、各オフセット残差を、単位領域毎に定まるオフセットタイプ及び画素毎に定まるオフセットクラスに関連付けて復号し、
    　上記予測値導出手段は、各オフセットの予測値を、
    　　該オフセットに関連付けられたオフセットタイプが第１のオフセットタイプ群に属している場合に、該オフセットと同一のオフセットタイプに関連付けられた復号済みのオフセットから導出し、
    　　該オフセットに関連付けられたオフセットタイプが第２のオフセットタイプ群に属している場合に、該オフセットと同一のオフセットタイプ及びオフセットクラスに関連付けられた復号済みのオフセットから導出する、
    ことを特徴とする請求項６に記載のオフセット復号装置。
  9. 　上記オフセット算出手段は、各オフセットを、上記予測値導出手段によって導出された予測値、及び上記オフセット残差復号手段によって復号されたオフセット残差の線形関数として算出するものであり、
    　上記予測値に乗ぜられる係数は、上記オフセットに関連付けられたオフセットタイプが第１のオフセットタイプ群に属している場合と、上記オフセットに関連付けられたオフセットタイプが第２のオフセットタイプ群に属している場合とで異なっている、
    ことを特徴とする請求項８に記載のオフセット復号装置。
  10. 　上記予測値導出手段は、各オフセットの予測値を、復号済みのオフセットと該復号済みのオフセットの予測値との加重平均をとることによって導出する、
    ことを特徴とする請求項６から９の何れか１項に記載のオフセット復号装置。
  11. 　上記予測値導出手段は、導出した各予測値を、入力画像における各画素値のビット深度に応じた上限値及び下限値でクリップするクリップ手段を備えている、
    ことを特徴とする請求項６から１０の何れか１項に記載のオフセット復号装置。
  12. 　入力画像に作用する画像フィルタ装置であって、
    　入力画像における対象画素の画素値と該対象画素の周辺の画素の画素値との差分値を算出する算出手段と、
    　上記算出手段によって参照される画素値、または、上記算出手段によって算出された差分値を所定のシフト値だけ右ビットシフトするビットシフト手段と、
    　上記ビットシフト手段によって右ビットシフトされた差分値と０との大小関係に応じて、上記対象画素を複数のオフセットクラスの何れかに分類する分類手段と、
    　上記対象画素の画素値に対して、上記分類手段によって分類されたオフセットクラスに関連付けられたオフセットを加算するオフセット手段と、
    を備えていることを特徴とする画像フィルタ装置。
  13. 　上記所定のシフト値は、上記対象画素の画素値のビット深度と正の相関を有している、
    ことを特徴とする請求項１２に記載の画像フィルタ装置。
  14. 　入力画像に作用する画像フィルタ装置であって、
    　入力画像における対象画素の画素値と該対象画素の周辺の画素の画素値との差分値を算出する算出手段と、
    　上記算出手段によって算出された差分値と、予め定められた第１及び第２の閾値との大小関係に応じて、上記対象画素を複数のオフセットクラスの何れかに分類する分類手段と、
    　上記対象画素の画素値に対して、上記分類手段によって分類されたオフセットクラスに関連付けられたオフセットを加算するオフセット手段と、
    を備えていることを特徴とする画像フィルタ装置。
  15. 　上記第１及び第２の閾値の絶対値は、上記対象画素の画素値のビット深度と正の相関を有している、
    ことを特徴とする請求項１４に記載の画像フィルタ装置。
  16. 　複数の単位領域から構成される入力画像に作用する画像フィルタ装置であって、
    　第１及び第２のオフセットタイプのうち、入力画像における対象画素を含む対象単位領域が属するオフセットタイプを決定する決定手段と、
    　上記対象単位領域の属するオフセットタイプ、及び上記対象画素の画素値に応じて、上記対象画素を、オフセットを加算しないオフセットクラス、及びオフセットを加算する複数のオフセットクラスの何れかに分類する分類手段と、
    　上記対象画素の画素値に対して、上記対象単位領域の属するオフセットタイプ及び上記分類手段によって分類されたオフセットクラスに関連付けられたオフセットを加算するオフセット手段と、
    を備えており、
    　上記分類手段は、上記対象画素の画素値が所定の範囲内であるとき、上記対象画素を含む単位領域が属するオフセットタイプが上記第１及び上記第２のオフセットタイプの何れの場合であっても、上記対象画素を、オフセットを加算するオフセットクラスに分類する、
    ことを特徴とする画像フィルタ装置。
  17. 　複数の単位領域から構成される入力画像の各画素値にオフセットを加算する画像フィルタ装置であって、
    　複数のオフセットタイプのうち、処理対象の単位領域が属するオフセットタイプを決定する決定手段と、
    　上記オフセットタイプに応じて、異なるビット幅を有するオフセットを決定すると共に、該オフセットを符号化するオフセット符号化手段と、
    　上記入力画像の各画素値に上記決定されたオフセットを加算するフィルタ手段と
    を備えていることを特徴とする画像フィルタ装置。
  18. 　入力画像の各画素値にオフセットを加算する画像フィルタによって参照される各オフセットを符号化するオフセット符号化装置であって、
    　各オフセットの予測値を、符号化済みのオフセットから導出する予測値導出手段と、
    　各オフセットと上記予測値導出手段によって導出された予測値とからオフセット残差を算出するオフセット残差算出手段と、
    　上記オフセット残差算出手段によって算出されたオフセット残差を符号化するオフセット残差符号化手段と、
    を備えていることを特徴とするオフセット符号化装置。
  19. 　複数の単位領域から構成される入力画像の各画素値にオフセットを加算する画像フィルタによって参照される符号化データのデータ構造であって、
    　各単位領域が属するオフセットタイプに応じて異なるビット幅を有するオフセットを含んでおり、
    　上記画像フィルタは、上記符号化データを参照し、処理対象の単位領域が属するオフセットタイプを決定すると共に、決定したオフセットタイプに応じて異なるビット幅を有するオフセットを復号する
    ことを特徴とする符号化データのデータ構造。
PCT/JP2012/066082 2011-06-23 2012-06-22 オフセット復号装置、オフセット符号化装置、画像フィルタ装置、および、データ構造 WO2012176910A1 (ja)

Priority Applications (35)

Application Number Priority Date Filing Date Title
EP22194948.0A EP4135323A1 (en) 2011-06-23 2012-06-22 Offset decoding device, offset coding device, image filtering device, and data structure
RS20181435A RS58082B1 (sr) 2011-06-23 2012-06-22 Uređaj za dekodiranje pomaka, uređaj za kodiranje pomaka, uređaj za filtriranje slike, i struktura podataka
KR1020187020857A KR101931675B1 (ko) 2011-06-23 2012-06-22 오프셋 복호 장치, 오프셋 부호화 장치, 화상 필터 장치 및 데이터 구조
US14/127,889 US9497455B2 (en) 2011-06-23 2012-06-22 Offset decoding device, offset coding device, image filtering device, and data structure
SI201231467T SI2725797T1 (sl) 2011-06-23 2012-06-22 Naprava za dekodiranje odmika, naprava za kodiranje odmika, naprava za filtriranje slike in struktura podatkov
AU2012274326A AU2012274326B2 (en) 2011-06-23 2012-06-22 Offset decoding device, offset encoding device, image filter device, and data structure
EP18160110.5A EP3361725B1 (en) 2011-06-23 2012-06-22 Offset decoding device, offset coding device, image filtering device, and data structure
ES12802275T ES2699974T3 (es) 2011-06-23 2012-06-22 Dispositivo de decodificación de desplazamiento, dispositivo de codificación de desplazamiento, dispositivo de filtro de imagen y estructura de datos
KR1020177027760A KR101826215B1 (ko) 2011-06-23 2012-06-22 오프셋 복호 장치, 오프셋 부호화 장치, 화상 필터 장치 및 데이터 구조
EP19220154.9A EP3720127B1 (en) 2011-06-23 2012-06-22 Offset decoding device, offset coding device, image filtering device, and data structure
PL18160110T PL3361725T3 (pl) 2011-06-23 2012-06-22 Urządzenie do dekodowania przesunięcia, urządzenie do kodowania przesunięcia, urządzenie do filtrowania obrazu i struktura danych
EP12802275.3A EP2725797B1 (en) 2011-06-23 2012-06-22 Offset decoding device, offset encoding device, image filter device, and data structure
JP2013521650A JP5973434B2 (ja) 2011-06-23 2012-06-22 画像フィルタ装置、フィルタ方法および動画像復号装置
KR1020187002934A KR101881869B1 (ko) 2011-06-23 2012-06-22 오프셋 복호 장치, 오프셋 부호화 장치, 화상 필터 장치 및 데이터 구조
PL12802275T PL2725797T3 (pl) 2011-06-23 2012-06-22 Urządzenie do dekodowania przesunięcia, urządzenie do kodowania przesunięcia, urządzenie do filtrowania obrazu i struktura danych
DK12802275.3T DK2725797T3 (da) 2011-06-23 2012-06-22 Offset dekoderanordning, offset koderanordning, billedfilteranordning og datastruktur
EP22194947.2A EP4135322B1 (en) 2011-06-23 2012-06-22 Offset decoding device, offset coding device, image filtering device, and data structure
KR1020187036558A KR102005212B1 (ko) 2011-06-23 2012-06-22 오프셋 복호 장치, 오프셋 부호화 장치, 화상 필터 장치 및 데이터 구조
KR1020147001188A KR101785770B1 (ko) 2011-06-23 2012-06-22 오프셋 복호 장치, 오프셋 부호화 장치, 화상 필터 장치 및 데이터 구조
CA2840045A CA2840045C (en) 2011-06-23 2012-06-22 Offset decoding device, offset encoding device, image filter device, and data structure
CN201280030994.0A CN103636210B (zh) 2011-06-23 2012-06-22 偏移解码装置、偏移编码装置、图像滤波器装置
EP23155769.5A EP4199513B1 (en) 2011-06-23 2012-06-22 Offset decoding device, offset coding device, image filtering device, and data structure
US15/293,078 US9866833B2 (en) 2011-06-23 2016-10-13 Offset decoding device, offset coding device, image filtering device
AU2017204165A AU2017204165B2 (en) 2011-06-23 2017-06-20 Offset decoding device, offset encoding device, image filter device, and data structure
US15/820,903 US10390012B2 (en) 2011-06-23 2017-11-22 Offset decoding device, offset coding device, image filtering device
AU2018202384A AU2018202384B2 (en) 2011-06-23 2018-04-04 Offset decoding device, offset coding device, image filtering device, and data structure
US15/997,261 US10440362B2 (en) 2011-06-23 2018-06-04 Offset decoding device, offset coding device, image filtering device
US16/158,602 US10477209B2 (en) 2011-06-23 2018-10-12 Offset decoding device, offset coding device, image filtering device
HRP20181975TT HRP20181975T1 (hr) 2011-06-23 2018-11-23 Uređaj za offset dekodiranje uređaj za offset kodiranje, uređaj za filtriranje slike i struktura podataka
AU2019200704A AU2019200704B2 (en) 2011-06-23 2019-02-01 Offset decoding device, offset coding device, image filtering device, and data structure
US16/520,735 US10764580B2 (en) 2011-06-23 2019-07-24 Offset decoding device, offset coding device, image filtering device
CY20201100389T CY1123096T1 (el) 2011-06-23 2020-04-29 Διαταξη αποκωδικοποιησης μετατοπισης, διαταξη κωδικοποιησης μετατοπισης, διαταξη φιλτραρισματος εικονας, και δομη δεδομενων
US17/008,475 US11089302B2 (en) 2011-06-23 2020-08-31 Offset decoding device, offset coding device, image filtering device
US17/381,035 US11765350B2 (en) 2011-06-23 2021-07-20 Offset decoding device, offset coding device, image filtering device
US18/354,533 US20230370593A1 (en) 2011-06-23 2023-07-18 Offset decoding device, offset coding device, image filtering device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011139961 2011-06-23
JP2011-139961 2011-06-23
JP2011-215476 2011-09-29
JP2011215476 2011-09-29

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/127,889 A-371-Of-International US9497455B2 (en) 2011-06-23 2012-06-22 Offset decoding device, offset coding device, image filtering device, and data structure
US15/293,078 Continuation US9866833B2 (en) 2011-06-23 2016-10-13 Offset decoding device, offset coding device, image filtering device

Publications (1)

Publication Number Publication Date
WO2012176910A1 true WO2012176910A1 (ja) 2012-12-27

Family

ID=47422737

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/066082 WO2012176910A1 (ja) 2011-06-23 2012-06-22 オフセット復号装置、オフセット符号化装置、画像フィルタ装置、および、データ構造

Country Status (18)

Country Link
US (9) US9497455B2 (ja)
EP (6) EP3720127B1 (ja)
JP (7) JP5973434B2 (ja)
KR (5) KR101826215B1 (ja)
CN (3) CN106851318B (ja)
AU (4) AU2012274326B2 (ja)
CA (1) CA2840045C (ja)
CY (1) CY1123096T1 (ja)
DK (3) DK3720127T3 (ja)
ES (2) ES2788690T3 (ja)
HR (2) HRP20181975T1 (ja)
HU (2) HUE049411T2 (ja)
LT (1) LT3361725T (ja)
PL (2) PL2725797T3 (ja)
PT (5) PT4135322T (ja)
RS (1) RS58082B1 (ja)
SI (2) SI3361725T1 (ja)
WO (1) WO2012176910A1 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013154008A1 (ja) * 2012-04-13 2013-10-17 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2013255252A (ja) * 2011-06-27 2013-12-19 Panasonic Corp 画像復号方法、及び画像復号装置
JP2014523183A (ja) * 2011-06-28 2014-09-08 サムスン エレクトロニクス カンパニー リミテッド ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びに該ビデオ復号化方法及びその装置
US20140376608A1 (en) * 2013-06-19 2014-12-25 Apple Inc. Sample adaptive offset control
JP2015502715A (ja) * 2012-01-17 2015-01-22 ジェニップ ピーティーイー． エルティーディー． エッジオフセットを適用する方法
JP2015076866A (ja) * 2013-10-11 2015-04-20 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP2015128239A (ja) * 2013-12-27 2015-07-09 キヤノン株式会社 画像符号化装置、撮像装置、画像符号化方法、及びプログラム
WO2015116472A1 (en) * 2014-01-30 2015-08-06 Qualcomm Incorporated Low complexity sample adaptive offset encoding
JP2015216626A (ja) * 2014-04-23 2015-12-03 ソニー株式会社 画像処理装置及び画像処理方法
KR20150140729A (ko) * 2013-04-08 2015-12-16 퀄컴 인코포레이티드 비트 심도에 기초한 샘플 적응형 오프셋 스케일링
JP2016015753A (ja) * 2015-08-31 2016-01-28 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US9300967B2 (en) 2013-06-19 2016-03-29 Apple Inc. Sample adaptive offset control
JP2016082304A (ja) * 2014-10-10 2016-05-16 ソニー株式会社 画像処理装置、画像処理方法及び画像処理システム
JP2016527793A (ja) * 2013-07-15 2016-09-08 聯發科技股▲ふん▼有限公司Ｍｅｄｉａｔｅｋ Ｉｎｃ． ビデオ符号化のサンプル適応オフセット処理の方法
JP2017225144A (ja) * 2011-11-07 2017-12-21 キヤノン株式会社 サンプル適応オフセットの処理を実行するための情報を符号化する符号化装置、符号化方法、符号化方法を実行させるプログラム、および記憶媒体
JP2018110313A (ja) * 2016-12-28 2018-07-12 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
US10187664B2 (en) 2011-06-28 2019-01-22 Sony Corporation Image processing device and method
CN113298843A (zh) * 2020-02-24 2021-08-24 中科寒武纪科技股份有限公司 数据量化处理方法、装置、电子设备和存储介质

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2732810A1 (en) 2008-08-04 2010-02-11 Liquidpiston, Inc. Isochoric heat addition engines and methods
US20120294353A1 (en) 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
WO2012155553A1 (en) * 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and method of sample adaptive offset for luma and chroma components
KR102349348B1 (ko) 2011-06-14 2022-01-10 엘지전자 주식회사 영상 정보 인코딩 및 디코딩 방법
PL2725797T3 (pl) 2011-06-23 2019-01-31 Huawei Technologies Co., Ltd. Urządzenie do dekodowania przesunięcia, urządzenie do kodowania przesunięcia, urządzenie do filtrowania obrazu i struktura danych
CN107426579B (zh) 2011-06-24 2020-03-10 Lg 电子株式会社 图像信息编码和解码方法
JP6031736B2 (ja) * 2011-07-21 2016-11-24 富士ゼロックス株式会社 物体識別システム及びプログラム
US9277194B2 (en) * 2011-11-08 2016-03-01 Texas Instruments Incorporated Method and apparatus for image and video coding using hierarchical sample adaptive band offset
JP2014197723A (ja) * 2012-01-06 2014-10-16 ソニー株式会社 画像処理装置および方法
CA2864570A1 (en) * 2012-04-16 2013-10-24 Mediatek Inc. Method and apparatus for sample adaptive offset coding with separate sign and magnitude
KR102164698B1 (ko) * 2013-03-25 2020-10-14 광운대학교 산학협력단 입력 버퍼를 재사용하는 샘플 적응적 오프셋 처리 장치 및 샘플 적응적 오프셋 처리 장치의 동작 방법
US20140301447A1 (en) * 2013-04-08 2014-10-09 Research In Motion Limited Methods for reconstructing an encoded video at a bit-depth lower than at which it was encoded
US9674538B2 (en) * 2013-04-08 2017-06-06 Blackberry Limited Methods for reconstructing an encoded video at a bit-depth lower than at which it was encoded
CN104184645B (zh) * 2013-05-27 2018-05-04 华为技术有限公司 一种生成操作请求的方法、设备及系统
PT3005696T (pt) * 2013-05-30 2023-07-19 Huawei Tech Co Ltd Restrições de intervalo dinâmico de deslocamento para filtragem de sao de deslocamento de arestas
US20150049821A1 (en) * 2013-08-16 2015-02-19 Qualcomm Incorporated In-loop depth map filtering for 3d video coding
CN104980747B (zh) * 2014-04-04 2019-08-09 北京三星通信技术研究有限公司 对像素标识进行处理的方法和装置
US10666975B2 (en) * 2014-04-23 2020-05-26 Sony Corporation Image processing apparatus and image processing method
KR102298599B1 (ko) 2014-04-29 2021-09-03 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 샘플 적응 오프셋 필터링에 대한 인코더측 결정
CN105208300B (zh) * 2014-06-23 2018-06-22 上海箩箕技术有限公司 图像传感器、非晶硅tft像素单元的读取电路及方法
CN104202533B (zh) * 2014-09-24 2019-05-21 中磊电子（苏州）有限公司 移动检测装置及移动检测方法
EP3206403A4 (en) * 2014-11-04 2017-11-01 Samsung Electronics Co., Ltd. Video encoding method and apparatus therefor, and video decoding method and apparatus therefor, in which edge type offset is applied
US10785475B2 (en) * 2014-11-05 2020-09-22 Mediatek Singapore Pte. Ltd. Method and apparatus of video coding with prediction offset
US10057587B2 (en) * 2015-01-31 2018-08-21 Qualcomm Incorporated Coding escape pixels for palette mode coding
CA3226914A1 (en) 2015-03-10 2016-09-15 Liquidpiston, Inc. High power density and efficiency epitrochoidal rotary engine
US20170006283A1 (en) * 2015-06-30 2017-01-05 Microsoft Technology Licensing, Llc Computationally efficient sample adaptive offset filtering during video encoding
CN114697679A (zh) 2015-09-11 2022-07-01 株式会社Kt 图像解码方法、图像编码方法和包括比特流的设备
KR20180064423A (ko) * 2015-11-04 2018-06-14 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
CN106817583B (zh) * 2015-12-02 2020-01-10 福州瑞芯微电子股份有限公司 一种hevc sao计算方法和装置
EP3220643A1 (en) * 2016-03-14 2017-09-20 Thomson Licensing Method and device for encoding at least one image unit, and method and device for decoding a stream representative of at least one image unit
JP6634936B2 (ja) * 2016-04-05 2020-01-22 富士通株式会社 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、画像復号プログラムおよび画像伝送システム
US10812791B2 (en) * 2016-09-16 2020-10-20 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor
EP3324543B1 (en) * 2016-11-18 2020-01-08 Nxp B.V. Adaptive filter and method of operating an adaptive filter
EP3324542B1 (en) 2016-11-18 2019-10-23 Nxp B.V. Adaptive filter with manageable resource sharing
KR20180074150A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 Sao 필터링을 포함하는 비디오 데이터의 부호화를 위한 방법 및 장치
CN110100443B (zh) * 2016-12-27 2021-12-28 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法及解码方法
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
EP3606077A4 (en) 2017-03-22 2021-01-06 Industry - University Cooperation Foundation Hanyang University LOOP FILTERING PROCESS ACCORDING TO AN ADAPTIVE PIXEL CLASSIFICATION STANDARD
US11593918B1 (en) * 2017-05-16 2023-02-28 Apple Inc. Gradient-based noise reduction
CN116170590A (zh) * 2017-08-10 2023-05-26 夏普株式会社 图像滤波装置、图像解码装置以及图像编码装置
JP6992351B2 (ja) 2017-09-19 2022-01-13 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム
US10728549B2 (en) * 2017-11-06 2020-07-28 Dolby Laboratories Licensing Corporation Adaptive loop filtering for high-dynamic range video
CN111587576B (zh) 2018-01-05 2023-03-31 株式会社索思未来 编码方法、解码方法、编码装置、解码装置以及记录介质
MX2020007663A (es) * 2018-01-19 2020-09-14 Interdigital Vc Holdings Inc Procesamiento de una nube de puntos.
WO2019167849A1 (en) * 2018-02-28 2019-09-06 Sharp Kabushiki Kaisha Systems and methods for partitioning regions of a picture for video coding using different coding unit sizes
US11216984B2 (en) * 2019-01-09 2022-01-04 Samsung Electronics Co., Ltd. Patch splitting for improving video-based point cloud compression performance
CN113647105B (zh) * 2019-01-28 2024-08-27 Op方案有限责任公司 指数分区的帧间预测
AU2020237237B2 (en) * 2019-03-12 2022-12-22 Tencent America LLC Method and apparatus for color transform in VVC
US11350108B2 (en) * 2019-03-18 2022-05-31 Tencent America LLC Affine inter prediction refinement with optical flow
CN110225339A (zh) * 2019-05-10 2019-09-10 上海德衡数据科技有限公司 一种hevc视频序列编解码加速方法
KR102655352B1 (ko) * 2019-08-22 2024-04-04 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
US11140388B2 (en) * 2019-09-06 2021-10-05 Tencent America LLC Method and apparatus for non-linear loop filtering
WO2021200921A1 (ja) * 2020-03-31 2021-10-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2021246284A1 (ja) * 2020-06-02 2021-12-09 シャープ株式会社 動画像復号装置及び動画像符号化装置
JP7557298B2 (ja) 2020-07-17 2024-09-27 日本放送協会 映像符号化装置、映像復号装置及びこれらのプログラム
US11595644B2 (en) * 2020-10-01 2023-02-28 Tencent America LLC Method and apparatus for offset in video filtering
WO2022126033A1 (en) * 2020-12-29 2022-06-16 Innopeak Technology, Inc. Method and apparatus for extended precision weighted prediction for vvc high bit depth coding
CN117136546A (zh) * 2021-03-30 2023-11-28 创峰科技 用于视频编解码的加权预测
EP4349016A1 (en) * 2021-06-03 2024-04-10 Innopeak Technology, Inc. Quantization level binarization in video coding
US20240244212A1 (en) * 2023-01-13 2024-07-18 Tencent America LLC Adaptive bands for filter offset selection in cross-component sample offset

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4284265B2 (ja) 2004-11-02 2009-06-24 株式会社東芝 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
WO2007114368A1 (ja) * 2006-03-30 2007-10-11 Kabushiki Kaisha Toshiba 画像符号化装置及び方法並びに画像復号化装置及び方法
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
US8774269B2 (en) 2006-10-25 2014-07-08 Franuhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Quality scalable coding with mapping different ranges of bit depths
US7983496B2 (en) 2007-06-26 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding adapted to variable block sizes
US8331663B2 (en) 2007-06-28 2012-12-11 Qualcomm Incorporated Efficient image compression scheme to minimize storage and bus bandwidth requirements
US8208560B2 (en) * 2007-10-15 2012-06-26 Intel Corporation Bit depth enhancement for scalable video coding
KR101365444B1 (ko) 2007-11-19 2014-02-21 삼성전자주식회사 영상의 해상도의 조정을 통하여 동영상을 효율적으로부호화/복호화하는 방법 및 장치
US8750378B2 (en) 2008-09-23 2014-06-10 Qualcomm Incorporated Offset calculation in switched interpolation filters
KR101196920B1 (ko) 2009-04-08 2012-11-05 한국전자통신연구원 적응적 비트 심도 감소를 통한 부호화와 복호화 방법 및 그 장치
US20120251012A1 (en) 2009-12-18 2012-10-04 Tomohiro Ikai Image filter, encoding device, decoding device, and data structure
JP5513221B2 (ja) 2010-04-01 2014-06-04 岡本化学工業株式会社 保護層形成用組成物およびそれを用いた感光性平版印刷版
JP2011223302A (ja) 2010-04-09 2011-11-04 Sony Corp 画像処理装置と画像処理方法
CN101924938B (zh) * 2010-08-11 2012-09-05 上海交通大学 视频解码宏块预测与边界滤波中相邻块信息的处理方法
US9055305B2 (en) 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
EP2700230A4 (en) 2011-04-21 2014-08-06 Mediatek Inc METHOD AND APPARATUS FOR ENHANCED LOOP FILTERING
JP5539258B2 (ja) 2011-04-25 2014-07-02 株式会社イトーキ 机
US9008170B2 (en) 2011-05-10 2015-04-14 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
PL2725797T3 (pl) * 2011-06-23 2019-01-31 Huawei Technologies Co., Ltd. Urządzenie do dekodowania przesunięcia, urządzenie do kodowania przesunięcia, urządzenie do filtrowania obrazu i struktura danych

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHIH-MING FU ET AL.: "CE13: Sample Adaptive Offset with LCU-Independent Decoding", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/ SC29/WG11 5TH MEETING, 16 March 2011 (2011-03-16), GENEVA, CH, XP030048124 *
CHIH-MING FU ET AL.: "CE8 Subset3: Picture Quadtree Adaptive Offset", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 4TH MEETING, 20 January 2011 (2011-01-20), DAEGU, KR, XP030047443 *
JCTVC-D122, January 2011 (2011-01-01)
JCTVC-E049, March 2011 (2011-03-01)
TAKANORI YAMAZAKI ET AL.: "Improvement of Sample Adaptive Offset with modified bit accuracy and restricted offsets", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 6TH MEETING, 14 July 2011 (2011-07-14), TORINO, IT, XP030049385 *

Cited By (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013255252A (ja) * 2011-06-27 2013-12-19 Panasonic Corp 画像復号方法、及び画像復号装置
US10187664B2 (en) 2011-06-28 2019-01-22 Sony Corporation Image processing device and method
US9438922B2 (en) 2011-06-28 2016-09-06 Samsung Electronics Co., Ltd. Video encoding method using offset adjustments according to pixel classification and apparatus therefor, video decoding method and apparatus therefor
JP2016197890A (ja) * 2011-06-28 2016-11-24 サムスン エレクトロニクス カンパニー リミテッド ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びに該ビデオ復号化方法及びその装置
US9462288B2 (en) 2011-06-28 2016-10-04 Samsung Electronics Co., Ltd. Video encoding method using offset adjustments according to pixel classification and apparatus therefor, video decoding method and apparatus therefor
JP2014523183A (ja) * 2011-06-28 2014-09-08 サムスン エレクトロニクス カンパニー リミテッド ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びに該ビデオ復号化方法及びその装置
JP2015128333A (ja) * 2011-06-28 2015-07-09 サムスン エレクトロニクス カンパニー リミテッド ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びに該ビデオ復号化方法及びその装置
US9438921B2 (en) 2011-06-28 2016-09-06 Samsung Electronics Co., Ltd. Video encoding method using offset adjustments according to pixel classification and apparatus therefor, video decoding method and apparatus therefor
JP2015128332A (ja) * 2011-06-28 2015-07-09 サムスン エレクトロニクス カンパニー リミテッド ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びに該ビデオ復号化方法及びその装置
JP2015128334A (ja) * 2011-06-28 2015-07-09 サムスン エレクトロニクス カンパニー リミテッド ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びに該ビデオ復号化方法及びその装置
US10542273B2 (en) 2011-06-28 2020-01-21 Samsung Electronics Co., Ltd. Video encoding method using offset adjustments according to pixel classification and apparatus therefor, video decoding method and apparatus therefor
JP2015164331A (ja) * 2011-06-28 2015-09-10 サムスン エレクトロニクス カンパニー リミテッド ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びに該ビデオ復号化方法及びその装置
US9426483B2 (en) 2011-06-28 2016-08-23 Samsung Electronics Co., Ltd. Video encoding method using offset adjustments according to pixel classification and apparatus therefor, video decoding method and apparatus therefor
US9426482B2 (en) 2011-06-28 2016-08-23 Samsung Electronics Co., Ltd. Video encoding method using offset adjustments according to pixel classification and apparatus therefor, video decoding method and apparatus therefor
US10038911B2 (en) 2011-06-28 2018-07-31 Samsung Electronics Co., Ltd. Video encoding method using offset adjustments according to pixel classification and apparatus therefor, video decoding method and apparatus therefor
JP2017225144A (ja) * 2011-11-07 2017-12-21 キヤノン株式会社 サンプル適応オフセットの処理を実行するための情報を符号化する符号化装置、符号化方法、符号化方法を実行させるプログラム、および記憶媒体
JP2021040333A (ja) * 2011-11-07 2021-03-11 キヤノン株式会社 サンプル適応オフセットの処理を実行するための情報を符号化する符号化方法
JP2020022183A (ja) * 2011-11-07 2020-02-06 キヤノン株式会社 サンプル適応オフセットの処理を実行するための情報を符号化する符号化方法
JP7077385B2 (ja) 2011-11-07 2022-05-30 キヤノン株式会社 サンプル適応オフセットの処理を実行するための情報を符号化する符号化方法
JP2019036982A (ja) * 2011-11-07 2019-03-07 キヤノン株式会社 サンプル適応オフセットの処理を実行するための情報を符号化する符号化方法、および処理方法
US9485522B2 (en) 2012-01-17 2016-11-01 Infobridge Pte. Ltd. Method of applying edge offset
US9172961B2 (en) 2012-01-17 2015-10-27 Infobridge Pte. Ltd. Method of applying edge offset
US9503758B2 (en) 2012-01-17 2016-11-22 Infobridge Pte. Ltd. Method of applying edge offset
JP2015502715A (ja) * 2012-01-17 2015-01-22 ジェニップ ピーティーイー． エルティーディー． エッジオフセットを適用する方法
US9516348B2 (en) 2012-01-17 2016-12-06 Inforbridge Pte. Ltd. Method of applying edge offset
US9491489B2 (en) 2012-01-17 2016-11-08 Infobridge Pte. Ltd. Method of applying edge offset
US9491488B2 (en) 2012-01-17 2016-11-08 Infobridge Pte. Ltd. Method of applying edge offset
US10063859B2 (en) 2012-01-17 2018-08-28 Infobridge Pte. Ltd. Method of applying edge offset
JPWO2013154008A1 (ja) * 2012-04-13 2015-12-17 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2013154008A1 (ja) * 2012-04-13 2013-10-17 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US10009616B2 (en) 2012-04-13 2018-06-26 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
JP2016226035A (ja) * 2012-04-13 2016-12-28 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び符号化ビットストリームを記録した記録媒体
JP2018121352A (ja) * 2012-04-13 2018-08-02 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び符号化ビットストリームのデータ構造を記録した記録媒体
US10334253B2 (en) 2013-04-08 2019-06-25 Qualcomm Incorporated Sample adaptive offset scaling based on bit-depth
JP2016518770A (ja) * 2013-04-08 2016-06-23 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビット深度に基づいたサンプル適応オフセットスケーリング
KR20150140729A (ko) * 2013-04-08 2015-12-16 퀄컴 인코포레이티드 비트 심도에 기초한 샘플 적응형 오프셋 스케일링
KR102318175B1 (ko) 2013-04-08 2021-10-26 퀄컴 인코포레이티드 비트 심도에 기초한 샘플 적응형 오프셋 스케일링
AU2014281169B2 (en) * 2013-06-19 2017-01-19 Apple Inc. Sample adaptive offset control
JP2022174102A (ja) * 2013-06-19 2022-11-22 アップル インコーポレイテッド サンプルアダプティブオフセット制御
JP2018078611A (ja) * 2013-06-19 2018-05-17 アップル インコーポレイテッド サンプルアダプティブオフセット制御
CN111526367A (zh) * 2013-06-19 2020-08-11 苹果公司 样本自适应偏移控制
AU2021204661B2 (en) * 2013-06-19 2022-11-24 Apple Inc. Sample adaptive offset control
US10708588B2 (en) * 2013-06-19 2020-07-07 Apple Inc. Sample adaptive offset control
US20140376608A1 (en) * 2013-06-19 2014-12-25 Apple Inc. Sample adaptive offset control
US11363264B2 (en) 2013-06-19 2022-06-14 Apple Inc. Sample adaptive offset control
US9300967B2 (en) 2013-06-19 2016-03-29 Apple Inc. Sample adaptive offset control
CN111526367B (zh) * 2013-06-19 2023-08-04 苹果公司 具有样本自适应偏移控制的解码方法、系统、介质和装置
AU2017202576B2 (en) * 2013-06-19 2018-03-22 Apple Inc. Sample adaptive offset control
AU2020201584B2 (en) * 2013-06-19 2021-04-08 Apple Inc. Sample adaptive offset control
JP2021044811A (ja) * 2013-06-19 2021-03-18 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． サンプルアダプティブオフセット制御
JP2016527793A (ja) * 2013-07-15 2016-09-08 聯發科技股▲ふん▼有限公司Ｍｅｄｉａｔｅｋ Ｉｎｃ． ビデオ符号化のサンプル適応オフセット処理の方法
JP2018082453A (ja) * 2013-07-15 2018-05-24 寰發股▲ふん▼有限公司ＨＦＩ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃ． ビデオ符号化のサンプル適応オフセット処理の方法
US10659817B2 (en) 2013-07-15 2020-05-19 Hfi Innovation Inc. Method of sample adaptive offset processing for video coding
JP2015076866A (ja) * 2013-10-11 2015-04-20 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP2015128239A (ja) * 2013-12-27 2015-07-09 キヤノン株式会社 画像符号化装置、撮像装置、画像符号化方法、及びプログラム
WO2015116472A1 (en) * 2014-01-30 2015-08-06 Qualcomm Incorporated Low complexity sample adaptive offset encoding
JP2017507571A (ja) * 2014-01-30 2017-03-16 クアルコム，インコーポレイテッド 低複雑度サンプル適応オフセット符号化
CN105940677A (zh) * 2014-01-30 2016-09-14 高通股份有限公司 低复杂性样本自适应偏移编码
US9628822B2 (en) 2014-01-30 2017-04-18 Qualcomm Incorporated Low complexity sample adaptive offset encoding
US10477207B2 (en) 2014-04-23 2019-11-12 Sony Corporation Image processing apparatus and image processing method
JP2015216626A (ja) * 2014-04-23 2015-12-03 ソニー株式会社 画像処理装置及び画像処理方法
JP2016082304A (ja) * 2014-10-10 2016-05-16 ソニー株式会社 画像処理装置、画像処理方法及び画像処理システム
JP2016015753A (ja) * 2015-08-31 2016-01-28 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP2018110313A (ja) * 2016-12-28 2018-07-12 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
CN113298843A (zh) * 2020-02-24 2021-08-24 中科寒武纪科技股份有限公司 数据量化处理方法、装置、电子设备和存储介质
CN113298843B (zh) * 2020-02-24 2024-05-14 中科寒武纪科技股份有限公司 数据量化处理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CY1123096T1 (el) 2021-12-31
SI2725797T1 (sl) 2018-12-31
DK2725797T3 (da) 2019-01-02
EP4199513B1 (en) 2024-08-14
AU2018202384B2 (en) 2018-11-01
KR102005212B1 (ko) 2019-07-29
EP4135322A1 (en) 2023-02-15
SI3361725T1 (sl) 2020-07-31
KR20180136585A (ko) 2018-12-24
CA2840045C (en) 2019-10-22
KR20180015280A (ko) 2018-02-12
RS58082B1 (sr) 2019-02-28
HRP20200675T1 (hr) 2020-07-24
AU2017204165A1 (en) 2017-07-13
CA2840045A1 (en) 2012-12-27
US20140140416A1 (en) 2014-05-22
JP5973434B2 (ja) 2016-08-23
US11765350B2 (en) 2023-09-19
PT2725797T (pt) 2018-12-05
KR101785770B1 (ko) 2017-10-16
US20210352283A1 (en) 2021-11-11
EP4135323A1 (en) 2023-02-15
HRP20181975T1 (hr) 2019-01-25
US20190349583A1 (en) 2019-11-14
US11089302B2 (en) 2021-08-10
JP2018082463A (ja) 2018-05-24
CN103636210A (zh) 2014-03-12
AU2012274326A1 (en) 2014-02-06
PT3720127T (pt) 2024-09-23
US9497455B2 (en) 2016-11-15
JP2021005904A (ja) 2021-01-14
JP2023024631A (ja) 2023-02-16
AU2017204165B2 (en) 2018-01-04
LT3361725T (lt) 2020-07-10
EP3720127A1 (en) 2020-10-07
CN106604038B (zh) 2020-05-08
US20230370593A1 (en) 2023-11-16
PT4135322T (pt) 2024-09-17
AU2018202384A1 (en) 2018-04-26
EP2725797A1 (en) 2014-04-30
US10440362B2 (en) 2019-10-08
AU2019200704B2 (en) 2019-11-14
EP2725797A4 (en) 2015-06-10
JPWO2012176910A1 (ja) 2015-02-23
PL2725797T3 (pl) 2019-01-31
US20200404265A1 (en) 2020-12-24
JP2016201824A (ja) 2016-12-01
ES2699974T3 (es) 2019-02-13
EP2725797B1 (en) 2018-08-29
KR20170116229A (ko) 2017-10-18
DK3720127T3 (da) 2024-10-14
ES2788690T3 (es) 2020-10-22
PT4199513T (pt) 2024-09-05
KR101881869B1 (ko) 2018-07-26
JP2022017267A (ja) 2022-01-25
HUE049411T2 (hu) 2020-10-28
US10764580B2 (en) 2020-09-01
EP4199513A1 (en) 2023-06-21
AU2012274326B2 (en) 2017-03-23
DK3361725T3 (da) 2020-04-27
KR101931675B1 (ko) 2018-12-21
KR101826215B1 (ko) 2018-03-22
US10477209B2 (en) 2019-11-12
HUE041898T2 (hu) 2019-06-28
EP3361725B1 (en) 2020-01-29
US20180098067A1 (en) 2018-04-05
CN106851318B (zh) 2019-01-08
KR20140045978A (ko) 2014-04-17
PT3361725T (pt) 2020-05-06
CN103636210B (zh) 2016-12-07
EP3720127B1 (en) 2024-08-07
KR20180085827A (ko) 2018-07-27
US20190045187A1 (en) 2019-02-07
JP7200320B2 (ja) 2023-01-06
JP6272402B2 (ja) 2018-01-31
CN106604038A (zh) 2017-04-26
EP3361725A1 (en) 2018-08-15
AU2019200704A1 (en) 2019-02-21
JP6780046B2 (ja) 2020-11-04
US9866833B2 (en) 2018-01-09
JP6496802B2 (ja) 2019-04-10
US20170034511A1 (en) 2017-02-02
EP4135322B1 (en) 2024-08-07
PL3361725T3 (pl) 2020-07-13
JP6957715B2 (ja) 2021-11-02
US20180288414A1 (en) 2018-10-04
CN106851318A (zh) 2017-06-13
US10390012B2 (en) 2019-08-20
JP2019126077A (ja) 2019-07-25

Similar Documents

Publication Publication Date Title
JP6496802B2 (ja) 画像フィルタ装置、フィルタ方法および動画像復号装置
JP2013236358A (ja) 画像フィルタ装置、画像復号装置、画像符号化装置、およびデータ構造
WO2013046990A1 (ja) オフセット復号装置、オフセット符号化装置、画像フィルタ装置、および、データ構造
JP2013138395A (ja) 画像フィルタ装置、画像復号装置、画像符号化装置、および、データ構造
JP2013251827A (ja) 画像フィルタ装置、画像復号装置、画像符号化装置、およびデータ構造

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12802275

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013521650

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2840045

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20147001188

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14127889

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2012274326

Country of ref document: AU

Date of ref document: 20120622

Kind code of ref document: A