WO2013145021A1 - 画像復号方法及び画像復号装置 - Google Patents

画像復号方法及び画像復号装置 Download PDF

Info

Publication number
WO2013145021A1
WO2013145021A1 PCT/JP2012/002222 JP2012002222W WO2013145021A1 WO 2013145021 A1 WO2013145021 A1 WO 2013145021A1 JP 2012002222 W JP2012002222 W JP 2012002222W WO 2013145021 A1 WO2013145021 A1 WO 2013145021A1
Authority
WO
WIPO (PCT)
Prior art keywords
layer
unit
decoding
image
encoding
Prior art date
Application number
PCT/JP2012/002222
Other languages
English (en)
French (fr)
Inventor
村上　智一
横山　徹
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to CN201280070816.0A priority Critical patent/CN104205842B/zh
Priority to JP2014507013A priority patent/JP5768180B2/ja
Priority to PCT/JP2012/002222 priority patent/WO2013145021A1/ja
Priority to US14/381,663 priority patent/US9491477B2/en
Publication of WO2013145021A1 publication Critical patent/WO2013145021A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image encoding method for encoding an image, an image encoding device, an image decoding method for decoding encoded image data, an image decoding device, and encoded image data.
  • H.264 / AVC Advanced Video Coding
  • ISO / IEC MPEG and ITU-T VCEG have established JCT-VC (Joint Collaborative Team On Video Coding) in order to achieve compression ratios exceeding this, and are considering the next generation method called HEVC (High Efficiency Video Coding). I'm starting.
  • SVC Scalable Video Coding
  • the macroblock which is a unit for performing the coding, has a fixed size.
  • Non-Patent Document 1 Non-Patent Document 1
  • the description method is not examined even when the base layer is a fixed-size macroblock such as H.264 / AVC or MPEG-2 and the extension layer is a CU of different size such as HEVC. Therefore, there is a problem that efficient compression cannot be performed.
  • an object of the present invention is to provide an image coding with high coding efficiency corresponding to scalability enhancement by clarifying a correspondence relationship between layers in a coding method including coding units having different sizes.
  • the present application includes various means for solving the above-mentioned problems, and one of them is as follows.
  • calculating the CU partitioning method according to certain rules, and decoding the certain layer 1 PU refer to the same layer 1 CU partitioning method and another layer 0 PU partitioning method.
  • the step of calculating the PU partitioning method according to a certain rule and decoding the layer 1 TU is determined by referring to the same layer 1 CU partitioning method and another layer 0 TU partitioning method.
  • Image decoding method characterized by the TU splitting method was calculated according to the rules, to determine the set of rules by the flag.
  • FIG. 1 is a block diagram of an image encoding device according to Embodiment 1.
  • FIG. 1 is a block diagram of an image decoding apparatus according to Embodiment 1.
  • FIG. It is explanatory drawing of the encoding unit which concerns on Example 1.
  • FIG. It is explanatory drawing of the encoding unit which concerns on Example 1.
  • FIG. 3 is an image encoding flowchart used in the image encoding apparatus according to the first embodiment.
  • FIG. 3 is an image encoding flowchart used in the image encoding apparatus according to the first embodiment.
  • 1 is a flowchart of an image decoding method according to Embodiment 1.
  • FIG. 3 is an explanatory diagram of a data recording medium according to Embodiment 1.
  • “macroblock” indicates a fixed-size encoding unit in the conventional encoding method
  • “CU” is a coding unit in which a plurality of sizes can be selected.
  • “PU” indicates Prediction Unit that is a prediction unit from which a plurality of sizes can be selected.
  • “TU” indicates Transform Unit that is a frequency conversion unit in which a plurality of sizes can be selected.
  • coding mode in each description and each drawing of the present specification includes a combination of the type of intra prediction / inter prediction and the block size to be applied.
  • prediction mode information in each description and each drawing of this specification includes one of a division method (CU, PU) or MB, information including a coding mode, and a macro in the case of MB. Means information including the predicted block size in a block.
  • conversion mode information in each description and each drawing in this specification means information including one of the division method (CU, TU) and MB, and the encoding mode.
  • unit information in each description and each drawing of this specification refers to either a division method (CU, PU, TU) or MB, information including an encoding mode, and further to MB This means information including the predicted block size in the macroblock.
  • scaling enhancement in each description and each drawing of this specification is described as meaning a method of adding an upper layer that extends resolution to a lower layer that can be decoded independently.
  • SNR scalability extension that adds higher layer data that has the same resolution but improves the signal to noise ratio
  • frame rate scalability extension that adds higher layers that increase the number of frames. The meaning of is also included.
  • FIG. 1 shows a block diagram of an image encoding apparatus according to the first embodiment.
  • Layer 0, layer 1, and layer 2 are set from the lowest resolution, the lower layer is the lower layer, and the higher one is the upper layer.
  • Layer 0, which is the lowest layer with the lowest resolution, is called a base layer.
  • the others are called enhancement layers.
  • the image encoding apparatus includes a resolution conversion unit 101, a layer 0 unit information calculation unit 102, a layer 1 unit information calculation unit 103, a layer 2 unit information calculation unit 104, a layer 0 CU calculation unit 105, a layer 0 PU calculation unit 106, and a layer 0 TU calculation.
  • each component of the image encoding device may be an autonomous operation of each component as described below, for example.
  • the computer control unit may be realized in cooperation with software stored in the computer storage unit.
  • the resolution conversion unit 101 converts the input image into a plurality of resolutions, and sends them to the unit information calculation unit of each layer as separate layers. For example, when encoding is performed at three resolutions, the same resolution as the input image is set as layer 2, the one converted into half the vertical and horizontal resolution is set as layer 1, and the one converted into the quarter and vertical resolution is layer 0 And layer 0 may be the base layer.
  • a general sampling filter may be used for resolution conversion.
  • the base layer, layer 0, is encoded.
  • the base layer encoding method uses a CU that can select multiple sizes, such as HEVC, and a macroblock whose encoding unit is a fixed size, such as H.264 / AVC and MPEG-2. And the case where encoding is performed.
  • a case where a CU is used is referred to as a “CU case”
  • a case where a macro block is used is referred to as an “MB case”.
  • the layer 0 unit information calculation unit 102 determines whether it is “CU case” or “MB case”, and outputs a layer 0 image and “unit information”.
  • the “unit information” includes the CU partitioning method, the PU partitioning method, and the TU partitioning method in the “CU case” and the encoding mode.
  • the “unit information” The prediction block size and the encoding mode.
  • the layer 0 CU calculation unit 105 determines a layer 0 CU division method.
  • optimization is performed so as to increase the coding efficiency of the entire image as in the existing method, and the division method is determined.
  • MB it is divided at a fixed size.
  • the layer 0 PU calculation unit 106 determines a layer 0 PU dividing method.
  • the PU is divided with reference to the division result of the CU.
  • optimization is performed so as to increase the coding efficiency of the entire image, and a division method and a prediction mode are determined.
  • a division method and a prediction mode are determined.
  • optimization is performed so that the coding efficiency of the entire image is increased, and the prediction block size and the prediction mode in the macroblock are determined.
  • the layer 0 TU calculation unit 107 determines a layer 0 TU division method.
  • the division of the TU is performed with reference to the division result of the CU.
  • optimization is performed so as to increase the coding efficiency of the entire image, and a division method and a conversion method are determined.
  • a division method and a conversion method are determined.
  • a fixed size conversion method is used.
  • the layer 0 unit information calculation unit 102 sends the resolution image of layer 0 and the unit information to the layer 0 intra / inter prediction unit 114 and sends the determination result to the same calculation unit of layer 1. At this time, the unit information is converted into a predetermined flag.
  • an image of layer 0 resolution is encoded.
  • the layer 0 intra / inter prediction unit 114 performs intra prediction or inter prediction according to the CU partitioning method, the PU partitioning method, and the prediction mode in the unit information. These prediction modes use existing methods. Prediction mode information is sent to the layer 0 encoding processing unit 116, and the CU division method and TU division method in the residual component after prediction and unit information are sent to the layer 0 transform / quantization unit 115.
  • the layer 0 conversion / quantization unit 115 performs frequency conversion and quantization according to the CU division method and the TU division method in the unit information. These processing methods use existing methods.
  • the quantized coefficient information is sent to the layer 0 encoding processing unit 116.
  • the layer 0 encoding processing unit 116 performs entropy encoding of the prediction mode information and coefficient information, and outputs the encoded data to the multiplexing unit 123.
  • inverse quantization and inverse frequency conversion are performed as necessary to restore the reference image data and send it to the layer 0 intra / inter prediction unit 114. These processing methods use existing methods.
  • layer 1 encoding with one higher resolution is performed.
  • the layer 1 unit information calculation unit 103 determines three division methods and encoding modes, ie, a layer 1 CU division method, a PU division method, and a TU division method. In the enhancement layer of layer 1 or higher, encoding is performed using CUs having different encoding unit sizes such as HEVC.
  • the layer 1 CU calculation unit 108 determines a layer 1 CU division method.
  • the CU division method is referred to from the CU calculation unit 105 of layer 0, which is one lower layer, and the CU division method is determined according to a certain rule.
  • CU partitioning may be performed independently of layer 0. In that case, basically, according to the rule, the flag is exceptionally inserted so that the division is partially different from the rule.
  • the division method is determined by performing optimization so that the coding efficiency of the entire image is increased. The rule of the CU division method when referring to the lower layer will be described later.
  • the layer 1 PU calculation unit 109 determines a layer 1 PU division method and a prediction mode.
  • the PU division is performed with reference to the division result of the layer 1 CU and the division result of the layer 0 PU.
  • the method of referring to only one of the layer 1 CU division result and the layer 0 PU division method may be determined according to a rule independent of these results. Basically, according to the rules, the division is partially made different from the rules by inserting a flag.
  • the division method and the prediction mode are determined by performing optimization so that the coding efficiency of the entire image is increased. The rules for the division method will be described later.
  • the layer 1 TU calculation unit 110 determines a layer 1 TU division method and a conversion method.
  • the division of the TU is performed with reference to the division result of the layer 1 CU and the division result of the layer 0 TU.
  • the method of referring to only one of the division result of the CU of layer 1 and the TU division method of layer 0 may be determined according to a rule independent from these results. In that case, basically, according to the rule, the division is partially made different from the rule by inserting a flag.
  • the division method and the conversion method are determined by performing optimization so that the coding efficiency of the entire image is increased. The rules for the division method will be described later.
  • the layer 1 unit information calculation unit 103 sends an image of layer 1 resolution and unit information to the layer 1 intra / inter prediction unit 117, and sends a determination result to the same calculation unit of layer 2. At this time, the unit information is converted into a predetermined flag.
  • layer 1 encoding is performed based on the layer 1 unit information.
  • the layer 1 intra / inter prediction unit 117 performs intra prediction or inter prediction according to the CU partitioning method, the PU partitioning method, and the prediction mode in the unit information.
  • the inter-layer prediction also refers to the decoded image of layer 0, which is the lower layer, and the prediction mode at the same position when adjusted by resolution conversion. Existing methods are used for these prediction methods.
  • Prediction mode information is sent to the layer 1 encoding processing unit 119, and the CU division method and TU division method in the residual component after prediction and unit information are sent to the layer 1 transform / quantization unit 118.
  • the layer 1 transform / quantization unit 118 performs frequency transform and quantization according to the CU partitioning method and the TU partitioning method in the unit information. These processing methods use existing methods.
  • the quantized coefficient information is sent to the layer 1 encoding processing unit 119.
  • the layer 1 encoding processing unit 119 performs entropy encoding of the prediction mode information and coefficient information, and outputs the encoded data to the multiplexing unit 123.
  • inverse quantization and inverse frequency conversion are performed as necessary to restore the reference image data and send it to the layer 1 intra / inter prediction unit 117. These processing methods use existing methods.
  • the layer 2 unit information calculation unit 104 determines three division method encoding modes: a layer 2 CU division method, a PU division method, and a TU division method.
  • encoding is performed using CUs having different encoding unit sizes such as HEVC.
  • the layer 2 CU calculation unit 111 determines a layer 2 CU division method.
  • the CU division method is determined according to a certain rule by referring to the CU division method from the CU calculation unit 108 of layer 1 which is one lower layer.
  • CU partitioning may be performed independently of layer 1.
  • the flag is exceptionally inserted so that the division is partially different from the rule.
  • the division method is determined by performing optimization so that the coding efficiency of the entire image is increased. The rule of the CU division method when referring to the lower layer will be described later.
  • the layer 2 PU calculation unit 112 determines a layer 2 PU division method and a prediction mode.
  • the PU division is performed with reference to the division result of the layer 2 CU and the division result of the layer 1 PU.
  • the method of referring to only one of the layer 1 CU division result and the layer 0 PU division method may be determined according to a rule independent of these results. In that case, basically, according to the rule, the division is partially made different from the rule by inserting a flag.
  • the division method and the prediction mode are determined by performing optimization so that the coding efficiency of the entire image is increased. The rules for the division method will be described later.
  • the layer 2 TU calculation unit 113 determines a layer 2 TU division method and conversion method.
  • the division of the TU is performed with reference to the division result of the layer 2 CU and the division result of the layer 1 TU.
  • the method of referring to only one of the division result of the CU of layer 1 and the TU division method of layer 0 may be determined according to a rule independent from these results. Basically, according to the rules, the division is partially made different from the rules by inserting a flag.
  • the division method and the conversion method are determined by performing optimization so that the coding efficiency of the entire image is increased. The rules for the division method will be described later.
  • the layer 2 unit information calculation unit 111 sends the layer 2 resolution image and unit information to the layer 2 intra / inter prediction unit 120. At this time, the unit information is converted into a predetermined flag.
  • layer 2 encoding is performed based on the layer 2 unit information.
  • the layer 2 intra / inter prediction unit 120 performs intra prediction or inter prediction according to the CU partitioning method, the PU partitioning method, and the prediction mode in the unit information.
  • the inter-layer prediction also refers to the decoded image of layer 1, which is a lower layer, and the prediction mode at the same position when adjusted by resolution conversion. Existing methods may be used for these prediction methods.
  • Prediction mode information is sent to the layer 2 encoding processing unit 122, and the CU division method and TU division method in the residual component after prediction and unit information are sent to the layer 2 transform / quantization unit 121.
  • the layer 2 transform / quantization unit 121 performs frequency transform and quantization according to the CU partitioning method and the TU partitioning method in the unit information. These processing methods use existing methods.
  • the quantized coefficient information is sent to the layer 2 encoding processing unit 122.
  • the layer 2 encoding processing unit 122 performs entropy encoding of the prediction mode information and coefficient information, and outputs the encoded data to the multiplexing unit 123. In addition, inverse quantization and inverse frequency conversion are performed as necessary, and the reference image data is restored and sent to the layer 2 intra / inter prediction unit 120. These processing methods use existing methods.
  • the multiplexing unit 123 multiplexes the encoded layer 0, layer 1, and layer 2 data into one stream. Existing methods may be used for the data packetization method, index and flag setting method, and multiplexing method. Finally, the data output unit 124 outputs the multiplexed stream data.
  • the base layer CU is divided as 301. It is assumed that the division method is managed and recorded in a tree shape by a quadtree or the like.
  • a division method rule such as 302 may be defined and specified by a flag or the like.
  • the dividing method 302 is to enlarge the CU of the base layer according to the resolution ratio and set the maximum size for a place that exceeds the maximum size of the CU. Accordingly, the enhancement layer can be divided according to the base layer division method without separately transmitting CU division information. Divided CU information may be managed in a tree form using a quadtree or the like.
  • the division method 303 uses the same CU size as the base layer by referring to the CU of the base layer according to the resolution ratio at each position of the enhancement layer. Therefore, the number of CUs in the enhancement layer is larger than that in the base layer. Similarly, according to this method, the division of the enhancement layer according to the division method of the base layer is possible without separately transmitting the CU division information. Divided CU information may be managed in a tree form using a quadtree or the like.
  • the base layer is encoded with a fixed size macroblock such as H.264 / AVC or MPEG-2 and a prediction mode, and the enhancement layer selects multiple sizes such as HEVC.
  • a fixed size macroblock such as H.264 / AVC or MPEG-2 and a prediction mode
  • the enhancement layer selects multiple sizes such as HEVC.
  • the base layer is encoded by a macro block of a fixed size such as 401, and the prediction unit is defined by the prediction mode of each macro block.
  • a division method rule such as 402 may be defined and specified by a flag or the like.
  • a base layer macroblock is enlarged according to a resolution ratio to form a CU. For locations that exceed the maximum size of the CU, the maximum size may be set.
  • the size specified by the prediction mode may be enlarged according to the resolution ratio to make the PU. This makes it possible to divide the enhancement layer according to the base layer division method without separately transmitting CU or PU division information.
  • Divided CU information may be managed in a tree form using a quadtree or the like.
  • the division method 403 uses the same CU size as the macroblock by referring to the macroblock of the base layer according to the resolution ratio at each position of the enhancement layer.
  • the same size as that specified in the prediction mode of the base layer may be used, or the PU may be matched to the CU size of the enhancement layer.
  • Divided CU information may be managed in a tree form using a quadtree or the like.
  • the CU When referencing the base layer unit from the enhancement layer, it is only necessary to refer to the information of the unit at the same position according to the resolution ratio.
  • the CU has been described as an example, but the same rule can be applied to a PU or TU.
  • the divided units are all square, but it is possible to divide a unit other than a square, such as a rectangle, by merging each unit with a peripheral unit by a method such as PU_MERGE.
  • another division method may be partially applied by inserting a flag or the like.
  • usable sizes of CU, PU, and TU may be designated in advance, and these may be switched by a flag. Not only the size but also the encoding mode that can be used in each layer may be designated and switched by a flag. For example, a high-efficiency encoding mode and a CU, PU, and TU size may differ between a low-resolution image and a high-resolution image. Therefore, if these numbers and patterns are determined in advance according to the resolution, efficient encoding becomes possible.
  • CU, PU, and TU follow may be different or the same. Whether to unify or separate these may be determined by a flag.
  • the division method to be applied and the above rules may be switched depending on the picture type to be encoded in each layer, for example, I picture, P picture, B picture or the like.
  • the above scalability extension can also be applied to multi-view image encoding.
  • the layer to be expanded is two-dimensionally arranged in the resolution direction and the viewpoint (view) direction. Therefore, in application with a multi-viewpoint image, different division methods and rules may be applied to the resolution direction and the viewpoint direction, respectively.
  • Step 501 creates a plurality of resolution images from the original image.
  • the created images are encoded as separate layers. For example, when encoding is performed at three resolutions, the same resolution as the input image is set as layer 2, the one converted into half the vertical and horizontal resolution is set as layer 1, and the one converted into the quarter and vertical resolution is layer 0 And layer 0 may be the base layer.
  • a general sampling filter may be used for resolution conversion.
  • each layer is encoded.
  • the base layer and the enhancement layer are encoded using “CU” in which a plurality of sizes can be selected, such as HEVC.
  • Step 502 determines whether or not the processing target layer is a base layer. If it is a base layer, the process proceeds to step 503; otherwise, the process proceeds to step 504.
  • steps 503 to 505 base layer encoding is performed.
  • step 503 the CU, PU, and TU division method is determined.
  • the division method may be determined by performing optimization so that the coding efficiency of the entire image is increased.
  • step 504 CU, PU, and TU are encoded as a tree structure.
  • step 505 prediction, transformation, quantization, entropy coding, and local decoding are performed. These may use existing coding methods.
  • step 511 buffering of the encoded layer data is performed, and after the other layers are encoded, they are multiplexed by packetization processing, and a multiplexed encoded stream is output.
  • step 512 it is determined whether or not all layers have been processed. If all layers have been processed, the process ends. If there is a layer that has not yet been encoded, the process returns to step 502 to process other layers.
  • the enhancement layer is encoded.
  • step 506 it is determined whether the CU, PU, TU division method is determined according to the lower layer rules or independently. If it is determined according to the rule, the process proceeds to step 507, and if it is determined independently, the process proceeds to step 508.
  • step 507 the CU, PU, and TU division method is determined according to the rules with reference to the lower layer.
  • the rules for the division method are as described above.
  • step 508 the division method of CU, PU, and TU is determined independently of the lower layer.
  • step 509 CU, PU, and TU are encoded as a tree structure.
  • step 510 prediction, transformation, quantization, entropy coding, and local decoding are performed. These may use existing coding methods.
  • steps 511 and 512 are similarly performed after encoding of the enhancement layer.
  • the image encoding adapted to multiple resolutions is performed by the above process.
  • step 601 creates a plurality of resolution images from the original image.
  • the created images are encoded as separate layers.
  • the resolution conversion method is as described above.
  • the base layer performs encoding using macroblocks whose encoding unit is a fixed size such as H.264 / AVC and MPEG-2, and the extension layer can select multiple sizes like HEVC. ”Will be described.
  • Step 602 determines whether the processing target layer is a base layer. If it is the base layer, the process proceeds to step 603; otherwise, the process proceeds to step 604.
  • step 603 and 604 base layer encoding is performed.
  • step 603 the prediction block size and the prediction mode are determined for each macro block having a fixed size, and these encoding modes are determined.
  • the encoding mode determination method may be optimized and determined so as to increase the encoding efficiency of the entire image according to an existing method.
  • step 604 prediction, transformation, quantization, entropy coding, and local decoding processing are performed according to the coding mode. These may use existing coding methods.
  • step 610 buffering of the encoded layer data is performed, and after the other layers are encoded, they are multiplexed by packetization processing, and a multiplexed encoded stream is output.
  • step 611 it is determined whether or not all layers have been processed. If all layers have been processed, the process ends. If there is a layer that has not yet been encoded, the process returns to step 602 to process other layers.
  • the enhancement layer is encoded.
  • step 605 it is determined whether the CU, PU, and TU division method is determined according to the lower layer rule or independently. If it is determined according to the rule, the process proceeds to step 606. If it is determined independently, the process proceeds to step 607.
  • step 606 the division method of CU, PU, and TU is determined according to the rules with reference to the lower layer.
  • the rules for the division method are as described above.
  • step 607 the CU, PU, and TU division method is determined independently of the lower layer.
  • step 608 CU, PU, and TU are encoded as a tree structure.
  • step 609 prediction, transformation, quantization, entropy coding, and local decoding are performed. These may use existing coding methods.
  • steps 610 and 611 are similarly performed after the enhancement layer is encoded.
  • the image encoding adapted to multiple resolutions is performed by the above process.
  • the image encoding device and the image encoding method described above it is possible to describe CU, PU, and TU corresponding to a plurality of resolution layers more efficiently than the existing encoding method, and the compression efficiency is higher than that of the existing method. It is possible to realize a high-quality image encoding device and image encoding method.
  • this image encoding device and image encoding method can be applied to a recording device, a mobile phone, a digital camera, and the like using these.
  • the image encoding device and the image encoding method described above it is possible to reduce the code amount of the encoded data and prevent deterioration of the image quality of the decoded image when the encoded data is decoded. That is, a high compression rate and better image quality can be realized.
  • FIG. 2 shows an example of a block diagram of the image decoding apparatus.
  • the image decoding apparatus includes a stream analysis unit 201, a layer 0 unit information decoding unit 202, a layer 1 unit information decoding unit 203, a layer 2 unit information decoding unit 204, a layer 0 CU decoding unit 205, a layer 0 PU decoding unit 206, Layer 0 TU decoding unit 207, layer 1 CU decoding unit 208, layer 1 PU decoding unit 209, layer 1 TU decoding unit 210, layer 2 CU decoding unit 211, layer 2 PU decoding unit 212, layer 2 TU decoding unit 213, layer 0 entropy decoding unit 214, layer 0 intra / inter prediction unit 215, layer 0 inverse transform / inverse quantization unit 216, layer 0 synthesis unit 217, layer 1 entropy decoding unit 218, layer 1 intra / inter prediction unit 219, layer 1 inverse transform / inverse quantization unit 220, layer 1 synthesis unit 221, layer 2 entropy decoding unit
  • each component of the image decoding apparatus may be an autonomous operation of each component as described below, for example. Further, for example, it may be realized by cooperating with software stored in a control unit or storage unit of a computer.
  • the stream analysis unit 201 analyzes the input encoded stream.
  • the stream analysis unit 201 also performs data extraction processing from packets and information acquisition processing of various headers and flags.
  • the encoded stream input to the stream analysis unit 201 is an encoded stream generated by the image encoding device and the image encoding method according to the first embodiment. Since the generation method is as shown in the first embodiment, the description is omitted. It may be an encoded stream read from a data recording medium to be described later. The recording method will be described later.
  • the encoded data of each layer is separated by the stream analysis unit. First, base layer data is decoded, and then higher layers are sequentially decoded. Here, an example of decoding in order of layer 0, layer 1, and layer 2 is shown.
  • the base layer encoding method uses a case where encoding is performed using a macroblock whose encoding unit is a fixed size such as H.264 / AVC and MPEG-2, and a plurality of sizes such as HEVC. This includes the case of encoding using a CU that is a selectable encoding unit.
  • CU may be read as a macroblock.
  • PU may be read as a prediction block determined in a macroblock.
  • the layer 0 unit information decoding unit 202 decodes the layer 0 CU, TU, and PU.
  • the layer 0 CU decoding unit 205 decodes the layer 0 CU. This may be decoded by a corresponding decoding procedure in accordance with the CU encoding procedure described above.
  • the layer 0 PU decoding unit 206 decodes the layer 0 PU. This may be decoded by a decoding procedure corresponding to the above-described PU encoding procedure while referring to the CU information decoded by the layer 0 CU decoding unit 205.
  • the layer 0 TU decoding unit 207 decodes the layer 0 TU. This may be decoded by a decoding procedure corresponding to the above-described TU encoding procedure while referring to the CU information decoded by the layer 0 CU decoding unit 205.
  • layer 0 decoding is performed based on the layer 0 unit information.
  • the layer 0 entropy decoding unit 214 decodes the entropy-encoded encoding mode information, flag information, and residual coefficient.
  • the layer 0 intra / inter prediction unit 215 performs intra prediction or inter prediction according to the CU partitioning method, the PU partitioning method, and the prediction mode in the unit information. Existing methods are used for these prediction methods.
  • inverse quantization and inverse frequency transformation are performed according to the CU division method and the TU division method in the unit information. These processing methods use existing methods.
  • the layer 0 synthesis unit 217 combines the prediction pixel created by the layer 0 intra / inter prediction unit 215 and the residual component created by the layer 0 inverse transform / inverse quantization unit 216 to create a decoded image.
  • the decoded image is sent to the image output unit 226.
  • layer 1 which is one layer above is decoded.
  • the layer 1 unit information decoding unit 203 decodes the layer 1 CU, TU, and PU.
  • the layer 1 CU decoding unit 208 refers to the lower layer, layer 0 CU, and decodes the layer 1 CU.
  • the procedure for decoding the layer 1 CU and the rules for referring to the layer 0 are as described above.
  • the layer 1 PU decoding unit 209 decodes the layer 1 PU. This is decoded by a decoding procedure corresponding to the above-described PU encoding procedure while referring to the PU of the layer 0 that is the lower layer and the information of the CU decoded by the layer 1 CU decoding unit 208.
  • the layer 1 TU decoding unit 210 decodes the layer 1 TU. This is decoded by a decoding procedure corresponding to the above-described TU encoding procedure while referring to the TU of the lower layer, layer 0, and the information of the CU decoded by the layer 1 CU decoding unit 208.
  • layer 1 decoding is performed based on the layer 1 unit information.
  • the layer 1 entropy decoding unit 218 decodes the entropy-encoded encoding mode information, flag information, and residual coefficient.
  • the layer 1 intra / inter prediction unit 219 performs intra prediction or inter prediction according to the CU partitioning method, the PU partitioning method, and the prediction mode in the unit information. Existing methods are used for these prediction methods.
  • inverse quantization and inverse frequency transformation are performed according to the CU division method and the TU division method in the unit information. These processing methods may use existing methods.
  • the layer 1 synthesis unit 221 combines the prediction pixel created by the layer 1 intra / inter prediction unit 219 and the residual component created by the layer 1 inverse transform / inverse quantization unit 220 to create a decoded image.
  • the decoded image is sent to the image output unit 226.
  • layer 2 which is one layer higher than that is decoded.
  • the layer 2 unit information decoding unit 204 decodes the layer 2 CU, TU, and PU.
  • the layer 2 CU decoding unit 211 refers to the lower layer, the layer 1 CU, and decodes the layer 2 CU.
  • the procedure for decoding the layer 2 CU and the rules for referring to the layer 1 are as described above.
  • the layer 2 PU decoding unit 212 decodes the layer 2 PU. This is decoded by a decoding procedure corresponding to the above-described PU encoding procedure while referring to information of the PU of layer 1 which is a lower layer and the information of the CU decoded by the layer 2 CU decoding unit 211.
  • the layer 2 TU decoding unit 213 decodes the layer 2 TU. This is decoded by a decoding procedure corresponding to the above-mentioned TU encoding procedure while referring to the TU of the lower layer, the layer 1 TU, and the CU information decoded by the layer 2 CU decoding unit 211.
  • layer 2 decoding is performed based on the layer 2 unit information.
  • the layer 2 entropy decoding unit 222 decodes entropy-encoded encoding mode information, flag information, residual coefficients, and the like.
  • the layer 2 intra / inter prediction unit 223 performs intra prediction and inter prediction according to the CU partitioning method, the PU partitioning method, and the prediction mode in the unit information. Existing methods are used for these prediction methods.
  • inverse quantization and inverse frequency transform are performed according to the CU partitioning method and the TU partitioning method in the unit information. These processing methods use existing methods.
  • the layer 2 synthesis unit 225 synthesizes the prediction pixel created by the layer 2 intra / inter prediction unit 223 and the residual component created by the layer 2 inverse transform / inverse quantization unit 224 to create a decoded image.
  • the decoded image is sent to the image output unit 226.
  • the image is decoded from the encoded image stream corresponding to a plurality of resolutions by the above method.
  • step 701 an encoded stream to be decoded is acquired. It is assumed that this encoded stream includes encoded images of a plurality of resolutions, and an image having a designated resolution can be decoded by partially extracting the stream.
  • a decoding target layer is determined.
  • images from the base layer to the target layer are sequentially decoded.
  • description will be made assuming that each layer is sequentially decoded.
  • encoding units such as H.264 / AVC and MPEG-2
  • macroblocks of a fixed size and encoding that allows selection of multiple sizes such as HEVC
  • encoding is performed using a CU that is a unit
  • the enhancement layer is encoded using a CU having a different encoding unit size such as HEVC.
  • Step 703 determines whether to refer to the structure of the lower layer CU, PU, TU, macroblock, or predicted block size. Since the base layer is the lowest layer, it is not referred to. If the lower layer is referenced, the process proceeds to step 704. If not, the process proceeds to step 706.
  • step 704 the structure of the CU, PU, TU, macro block, or prediction block size is decoded with reference to the lower layer.
  • the rules for referring to the lower layer are as described above.
  • step 705 the decoded image of the lower layer is referred to, and prediction, inverse quantization, and inverse frequency conversion are performed using the structure information of the CU, PU, TU, or macroblock and prediction block size decoded in step 704. Decode the layer.
  • step 706 the structure of the CU, PU, TU, macroblock, or prediction block size is decoded independently in that layer.
  • step 707 the decoded image of the lower layer is referred to, and prediction, inverse quantization, and inverse frequency conversion are performed using the CU, PU, TU or macroblock decoded in step 706, and the structure information of the predicted block size. Decode the layer.
  • step 708 it is determined whether the target layer has been decoded. If the target layer has been decoded, the process proceeds to step 709; otherwise, the process proceeds to step 702 to decode a higher layer.
  • step 709 the decoded image is output.
  • the image is decoded from the encoded image stream corresponding to a plurality of resolutions by the above method.
  • the image decoding apparatus and the image decoding method described above it is possible to describe CU, PU, and TU corresponding to a plurality of resolution layers more efficiently than the existing coding method, and the compression efficiency is higher than that of the existing method.
  • An image decoding apparatus and an image decoding method can be realized.
  • this image decoding device and image decoding method can be applied to a playback device, a mobile phone, a digital camera, etc. using these.
  • encoded data with a small code amount can be decoded with higher image quality.
  • FIG. 8 shows a data recording medium in which an encoded stream generated by the above-described image encoding device or image encoding method is stored.
  • the stored encoded stream is an encoded stream generated by the above-described image encoding device or image encoding method. Since the generation method is as described above, the description thereof is omitted.
  • the encoded stream is recorded as a data string 802 on the data recording medium 801.
  • the data string 802 is recorded as an encoded stream according to a predetermined grammar. In the following description, it is assumed that a part of HEVC is changed.
  • a stream is composed of a sequence parameter set 803, a picture parameter set 804, and slices 805, 806, and 807.
  • a case where one image (picture) is stored in one slice will be described.
  • Each slice contains information 808 regarding each CU, PU, and TU.
  • information 808 relating to CU, PU, and TU there is an area for recording the prediction method and conversion method for each CU, PU, and TU, and this is used as an encoding mode flag 809.
  • layer 1 intra / inter prediction unit 118 ... layer 1 transform / quantization unit, 119 ... layer 1 code 120, layer 2 intra / inter prediction unit 121, layer 2 transform / quantization unit 122, layer 2 encoding process , 123 ... multiplexing unit, 124 ... data output unit, 201 ... stream analysis unit, 202 ... layer 0 unit information decoding unit, 203 ... layer 1 unit information decoding unit, 204 ... layer 2 unit information decoding unit, 205 ... layer 0 CU Decoding unit 206 ... Layer 0 PU decoding unit 207 ... Layer 0 TU decoding unit 208 ... Layer 1 CU decoding unit 209 ... Layer 1 PU decoding unit 210 ...

Abstract

　符号量を低減する画像符号化技術を提供するために、複数の解像度のレイヤを一つのストリームに符号化する符号化装置において、各レイヤの符号化単位、予測単位、周波数変換単位に関して、それぞれ一定のルールに従って、下位レイヤの符号化単位、予測単位、周波数変換単位を参照して該レイヤの各単位を決定し、定められたルールをフラグによって切り替えることにより、適応的で効率的な動画像の圧縮を行う。

Description

画像復号方法及び画像復号装置
　本発明は画像を符号化する画像符号化方法、画像符号化装置、符号化画像データを復号する画像復号方法、画像復号装置及び符号化画像データに関する。
　画像符号化規格にH.264/AVC(Advanced Video Coding)がある。ISO/IEC MPEGとITU-T VCEGはこれを超える圧縮率を実現するため、JCT-VC(Joint Collaborative Team on Video Coding)を設立し、HEVC(High Efficiency Video Coding)と呼ばれる次世代方式の検討を始めている。
　符号化された画像を復号、再生する端末には、高い解像度で再生できるもの、低い解像度でのみ再生できるものなど複数種類のものが存在するため、１本の符号化ストリームから部分的にデータを取り出すことによって必要に応じて複数の解像度を再生可能なスケーラビリティ拡張符号化方式が必要とされている。H.264/AVCのスケーラビリティ拡張としてSVC(Scalable Video Coding)が規格化されている。
　H.264/AVCやSVC、MPEG-2を含むこれまでの画像符号化規格では、符号化を行う単位であるマクロブロックは固定サイズであった。
　現在策定中のHEVCでは、H264AVCまでは固定化されていたブロックサイズを可変にすることが検討されている。具体的には、符号化を行う単位CU(Coding Unit)を一辺の画素数が２のべき乗となるようにブロックサイズをツリー構造管理し、任意の階層のブロックサイズで符号化・復号化する。（非特許文献１)
T. Wiegand, W. Han, B. Bross, J. Ohm and G. Sullivan, p.39～p.40「7.3.6 Coding unit syntax」, p.63～p.64「7.4.6 Coding unit semantics」 "Working Draft 3 of High-Efficiency Video Coding", Doc. JCTVC-E603, Joint Collaborative Team on Video Coding (JCT-VC), March 2011.
　画像符号化方式には、符号化の単位が固定サイズであるものと、画像の位置によってサイズが異なるものとがある。サイズが異なるものを含む符号化方式において、どのようにスケーラビリティ拡張を行うか検討されていない。そのため、効率的な圧縮ができない。
　また、CUだけでなく、予測単位であるPU (Prediction Unit)、周波数変換単位であるTU (Transform Unit)についても、記述方法が検討されていない。そのため、効率的な圧縮ができないという問題点があった。
　また、ベースレイヤがH.264/AVCやMPEG-2のような固定サイズのマクロブロックで、拡張レイヤがHEVCのようなサイズが異なるCUである場合についても、記述方法が検討されていない。そのため、効率的な圧縮ができないという問題点があった。
　このように、本発明の目的は、サイズが異なる符号化単位が含まれる符号化方式において、レイヤ間の対応関係を明確にすることにより、スケーラビリティ拡張に対応した高い符号化効率を持つ画像符号化技術、画像復号技術を提供することにある。
　本願は、上記課題を解決するための手段を種々含むものであるが、その一つを挙げると次の通りである。
　画像を符号化した符号化ストリームを復号する画像復号方法であって、該符号化ストリームの一部を取り出すことによって複数の解像度の画像を復号可能であり、各レイヤにおいて符号化する単位CUの分割方法を復号するステップと、予測単位PUの分割方法を復号するステップと、周波数変換単位TUの分割方法を復号するステップを備え、前記あるレイヤ１のCUを復号するステップは、別のレイヤ０のCU分割方法を参照し、一定のルールに従ってCU分割方法を計算し、前記あるレイヤ１のPUを復号するステップは、同じレイヤ１のCU分割方法と、別のレイヤ０のPU分割方法を参照し、一定のルールに従ってPU分割方法を計算し、前記あるレイヤ１のTUを復号するステップは、同じレイヤ１のCU分割方法と、別のレイヤ０のTU分割方法を参照し、一定のルールに従ってTU分割方法を計算し、前記一定のルールをフラグによって判別することを特徴とする画像復号方法。
　本発明によれば、スケーラビリティ拡張機能を持った符号化方式の符号化効率を向上することができる。
実施例１に係る画像符号化装置のブロック図である。 実施例１に係る画像復号装置のブロック図である。 実施例１に係る符号化単位の説明図である。 実施例１に係る符号化単位の説明図である。 実施例１に係る画像符号化装置で用いられる画像符号化フロー図である。 実施例１に係る画像符号化装置で用いられる画像符号化フロー図である。 実施例１に係る画像復号方法のフロー図である。 実施例１に係るデータ記録媒体の説明図である。
　以下、実施例を、図面を参照して説明する。
　また、各図面において、同一の符号が付されている構成要素は同一の機能を有することとする。
　また、本明細書の各記載及び各図面における「マクロブロック」とは従来の符号化方式における固定サイズの符号化単位を示し、「CU」とは複数のサイズを選択できる符号化単位であるCoding Unitを示す。「PU」とは、複数のサイズを選択できる予測単位であるPrediction Unitを示す。「TU」とは、複数のサイズを選択できる周波数変換単位であるTransform Unitを示す。
　また、本明細書の各記載及び各図面における「フラグとともに伝送」という表現は、「フラグに含めて伝送」という意味も含む。
　また、本明細書の各記載及び各図面における「符号化モード」という表現は、イントラ予測／インター予測の種別と適用するブロックサイズとの組み合わせを含むものである。
　また、本明細書の各記載及び各図面における「予測モード情報」という表現は、分割方法（CU、PU）またはMBであることの一方と、符号化モードを含む情報、さらに、MBの場合マクロブロック内の予測ブロックサイズ含む情報を意味する。
　また、本明細書の各記載及び各図面における「変換モード情報」という表現は、分割方法（CU、TU）とMBであることの一方、および符号化モードを含む情報を意味する。
　また、本明細書の各記載及び各図面における「ユニット情報」という表現は、分割方法（CU、PU、TU）またはMBであることの一方と、符号化モードを含む情報、さらに、MBの場合マクロブロック内の予測ブロックサイズ含む情報を意味する。
　また、本明細書の各記載及び各図面における「スケーラビリティ拡張」という表現は、単独で復号可能な下位レイヤに対して、解像度を拡張する上位レイヤを追加する方式を意味するものとして説明している。但し、下位レイヤに対して、解像度は同じだがSN比を改善する上位レイヤのデータを追加するSNRスケーラビリティ拡張や、フレーム数を増やす上位レイヤを追加するフレームレートスケーラビリティ拡張についても適用可能であり、これらの意味も含んでいる。
　まず、実施例１について図面を参照して説明する。　図１に実施例１に係る画像符号化装置のブロック図を示す。以下では入力画像を３つの異なる解像度で符号化可能にした例を示す。解像度が低い方からレイヤ０、レイヤ１、レイヤ２とし、低い方を下位レイヤ、高い方を上位レイヤとする。最も解像度が低い最下位レイヤであるレイヤ０をベースレイヤと呼ぶ。それ以外を拡張レイヤと呼ぶ。
　画像符号化装置は、解像度変換部１０１、レイヤ０ユニット情報計算部１０２、レイヤ１ユニット情報計算部１０３、レイヤ２ユニット情報計算部１０４、レイヤ０CU計算部１０５、レイヤ０PU計算部１０６、レイヤ０TU計算部１０７、レイヤ１CU計算部１０８、レイヤ１PU計算部１０９、レイヤ１TU計算部１１０、レイヤ２CU計算部１１１、レイヤ２PU計算部１１２、レイヤ２TU計算部１１３、レイヤ０イントラ・インター予測部１１４、レイヤ０変換・量子化部１１５、レイヤ０符号化処理部１１６、レイヤ１イントラ・インター予測部１１７、レイヤ１変換・量子化部１１８、レイヤ１符号化処理部１１９、レイヤ２イントラ・インター予測部１２０、レイヤ２変換・量子化部１２１、レイヤ２符号化処理部１２２、多重化部１２３、データ出力部１２４を備えている。
　以下に画像符号化装置の各構成要素の動作を詳細に説明する。
　なお、画像符号化装置の各構成要素の動作は、例えば、以下の記載の通り各構成要素の自律的な動作としても良い。また、コンピュータの制御部がコンピュータの記憶部が記憶するソフトウェアと協働することにより実現しても構わない。
　まず、解像度変換部１０１は入力画像を複数の解像度に変換し、それぞれ別レイヤとして各レイヤのユニット情報計算部に送る。例えば３つの解像度にて符号化を行う場合、入力画像と同じ解像度をレイヤ２とし、縦横半分の解像度に変換したものをレイヤ１とし、縦横それぞれ４分の１の解像度に変換したものをレイヤ０とし、レイヤ０をベースレイヤとすればよい。解像度変換には一般的なサンプリングフィルタを用いればよい。
　次に各レイヤにおける符号化方法について説明する。
　まず、ベースレイヤであるレイヤ０の符号化を行う。ベースレイヤの符号化方式は、HEVCのような複数のサイズを選択できるCUを用いて符号化する場合と、H.264/AVCやMPEG-2のような符号化単位が固定サイズのマクロブロックを用いて符号化する場合とを含む。以下、CUを用いる場合を「CUケース」、マクロブロックを用いる場合を「MBケース」とする。
　レイヤ０ユニット情報計算部１０２は、「CUケース」か「MBケース」か決定し、レイヤ０の画像と「ユニット情報」を出力する。
　「ユニット情報」は、「CUケース」の場合、CUの分割方法、PUの分割方法、TUの分割方法の３つの分割方法と符号化モードであり、「MBケース」の場合、マクロブロック内の予測ブロックサイズと符号化モードである。
　レイヤ０CU計算部１０５は、レイヤ０のCUの分割方法を決定する。CUでは、既存の方式と同様に画像全体の符号化効率が高くなるように最適化を行い、分割方法を決定する。MBでは、固定サイズで分割する。
　レイヤ０PU計算部１０６は、レイヤ０のPUの分割方法を決定する。CUでは、PUの分割はCUの分割結果を参照して行われる。CUでは、画像全体の符号化効率が高くなるように最適化を行い、分割方法と予測モードとを決定する。MBケースでも同様に、画像全体の符号化効率が高くなるように最適化を行い、マクロブロック内の予測ブロックサイズと予測モードを決定する。
　レイヤ０TU計算部１０７は、レイヤ０のTUの分割方法を決定する。TUの分割はCUの分割結果を参照して行われる。CUでは、画像全体の符号化効率が高くなるように最適化を行い、分割方法、変換方式を決定する。MBケースでは固定サイズの変換方式を用いる。
　このようにして、レイヤ０ユニット情報計算部１０２は、レイヤ０の解像度の画像と、ユニット情報をレイヤ０イントラ・インター予測部１１４に送るとともに、レイヤ１の同計算部へ決定結果を送る。この際、ユニット情報はあらかじめ定めておいたフラグに変換しておく。
　続いて、レイヤ０のユニット情報に基づいて、レイヤ０の解像度の画像の符号化を行う。
　レイヤ０イントラ・インター予測部１１４では、ユニット情報におけるCU分割方法、PU分割方法、予測モードに従ってイントラ予測またはインター予測を行う。これらの予測モードは既存の手法を用いる。予測モード情報がレイヤ０符号化処理部１１６に送られ、予測後の残差成分とユニット情報におけるCU分割方法およびTU分割方法がレイヤ０変換・量子化部１１５に送られる。
　レイヤ０変換・量子化部１１５では、ユニット情報におけるCU分割方法、TU分割方法に従って周波数変換と量子化が行われる。これらの処理方法は既存の手法を用いる。量子化後の係数情報がレイヤ０符号化処理部１１６に送られる。
　レイヤ０符号化処理部１１６は、予測モード情報と係数情報のエントロピー符号化を行い、符号化データを多重化部１２３に出力する。
　また、必要に応じて逆量子化、逆周波数変換を行い、参照用画像データを復元してレイヤ０イントラ・インター予測部１１４に送る。これらの処理方法は既存の手法を用いる。
　レイヤ０の符号化に続いて、一つ上位の解像度を持つレイヤ１の符号化を行う。
　レイヤ１ユニット情報計算部１０３は、レイヤ１のCUの分割方法、PUの分割方法、TUの分割方法の３つの分割方法と符号化モードを決定する。レイヤ１以上の拡張レイヤでは、HEVCのような符号化単位のサイズが異なるCUを用いて符号化を行う。
　レイヤ１CU計算部１０８は、レイヤ１のCUの分割方法を決定する。この際一つ下位のレイヤであるレイヤ０のCU計算部１０５からCU分割方法を参照し、一定のルールに従ってCU分割方法を決定する。レイヤ０とは独立にCU分割を行ってもよい。その場合、基本的にはルールに従い、例外的にフラグを挿入することによって部分的にルールとは異なる分割を行うようにする。分割方法は画像全体の符号化効率が高くなるように最適化を行って決定される。下位レイヤを参照した時のCU分割方法のルールについては後述する。
　レイヤ１PU計算部１０９は、レイヤ１のPUの分割方法と予測モードを決定する。PUの分割はレイヤ１のCUの分割結果と、レイヤ０のPUの分割結果を参照して行われる。ただし、レイヤ１のCUの分割結果とレイヤ０のPU分割方法の一方のみを参照する方法でも、これらの結果から独立したルールに従って分割方法を決定してもよい。基本的にはルールに従い、フラグを挿入することによって部分的にルールとは異なる分割を行うようにする。分割方法、予測モードは画像全体の符号化効率が高くなるように最適化を行って決定される。分割方法のルールについては後述する。
　レイヤ１TU計算部１１０は、レイヤ１のTUの分割方法、変換方法を決定する。TUの分割はレイヤ１のCUの分割結果と、レイヤ０のTUの分割結果を参照して行われる。ただし、レイヤ１のCUの分割結果とレイヤ０のTU分割方法の一方のみを参照する方法でも、これらの結果から独立したルールに従って分割方法を決定してもよい。その場合、基本的にはルールに従い、フラグを挿入することによって部分的にルールとは異なる分割を行うようにする。分割方法、変換方法は画像全体の符号化効率が高くなるように最適化を行って決定される。分割方法のルールについては後述する。
　このようにして、レイヤ１ユニット情報計算部１０３は、レイヤ１の解像度の画像と、ユニット情報をレイヤ１イントラ・インター予測部１１７に送るとともに、レイヤ２の同計算部へ決定結果を送る。この際、ユニット情報はあらかじめ定めておいたフラグに変換しておく。
　続いて、レイヤ１のユニット情報に基づいて、レイヤ１の符号化を行う。
　レイヤ１イントラ・インター予測部１１７では、ユニット情報におけるCU分割方法、PU分割方法、予測モードに従ってイントラ予測またはインター予測を行う。この時、レイヤ間予測により、下位レイヤであるレイヤ０の復号画像や、解像度変換によって調整した時に同じ位置になる箇所の予測モードも参照する。これらの予測方法については既存の手法を用いる。予測モード情報がレイヤ１符号化処理部１１９に送られ、予測後の残差成分とユニット情報におけるCU分割方法およびTU分割方法がレイヤ１変換・量子化部１１８に送られる。
　レイヤ１変換・量子化部１１８では、ユニット情報におけるCU分割方法、TU分割方法に従って周波数変換と量子化が行われる。これらの処理方法は既存の手法を用いる。量子化後の係数情報がレイヤ１符号化処理部１１９に送られる。
　レイヤ１符号化処理部１１９は、予測モード情報と係数情報のエントロピー符号化を行い、符号化データを多重化部１２３に出力する。
　また、必要に応じて逆量子化、逆周波数変換を行い、参照用画像データを復元してレイヤ１イントラ・インター予測部１１７に送る。これらの処理方法は既存の手法を用いる。
　レイヤ１の符号化に続いて、一つ上位の解像度を持つレイヤ２の符号化を行う。
　レイヤ２ユニット情報計算部１０４は、レイヤ２のCUの分割方法、PUの分割方法、TUの分割方法の３つの分割方法符号化モードの決定を行う。レイヤ１以上の拡張レイヤでは、HEVCのような符号化単位のサイズが異なるCUを用いて符号化を行う。
　レイヤ２CU計算部１１１は、レイヤ２のCUの分割方法を決定する。この際一つ下位のレイヤであるレイヤ１のCU計算部１０８からCU分割方法を参照し、一定のルールに従ってCU分割方法を決定する。レイヤ１とは独立にCU分割を行ってもよい。その場合、基本的にはルールに従い、例外的にフラグを挿入することによって部分的にルールとは異なる分割を行うようにする。分割方法は画像全体の符号化効率が高くなるように最適化を行って決定される。下位レイヤを参照した時のCU分割方法のルールについては後述する。
　レイヤ２PU計算部１１２は、レイヤ２のPUの分割方法と予測モードを決定する。PUの分割はレイヤ２のCUの分割結果と、レイヤ１のPUの分割結果を参照して行われる。ただし、レイヤ１のCUの分割結果とレイヤ０のPU分割方法の一方のみを参照する方法でも、これらの結果から独立したルールに従って分割方法を決定してもよい。その場合、基本的にはルールに従い、フラグを挿入することによって部分的にルールとは異なる分割を行うようにする。分割方法、予測モードは画像全体の符号化効率が高くなるように最適化を行って決定される。分割方法のルールについては後述する。
　レイヤ２TU計算部１１３は、レイヤ２のTUの分割方法、変換方法を決定する。TUの分割はレイヤ２のCUの分割結果と、レイヤ１のTUの分割結果を参照して行われる。ただし、レイヤ１のCUの分割結果とレイヤ０のTU分割方法の一方のみを参照する方法でも、これらの結果から独立したルールに従って分割方法を決定してもよい。基本的にはルールに従い、フラグを挿入することによって部分的にルールとは異なる分割を行うようにする。分割方法、変換方法は画像全体の符号化効率が高くなるように最適化を行って決定される。分割方法のルールについては後述する。
　このようにして、レイヤ２ユニット情報計算部１１１は、レイヤ２の解像度の画像と、ユニット情報をレイヤ２イントラ・インター予測部１２０に送る。この際、ユニット情報はあらかじめ定めておいたフラグに変換しておく。
　続いてレイヤ２のユニット情報に基づいて、レイヤ２の符号化を行う。
　レイヤ２イントラ・インター予測部１２０では、ユニット情報におけるCU分割方法、PU分割方法、予測モードに従ってイントラ予測またはインター予測を行う。この時、レイヤ間予測により、下位レイヤであるレイヤ１の復号画像や、解像度変換によって調整した時に同じ位置になる箇所の予測モードも参照する。これらの予測方法については既存の手法を用いれば良い。予測モード情報がレイヤ２符号化処理部１２２に送られ、予測後の残差成分とユニット情報におけるCU分割方法およびTU分割方法がレイヤ２変換・量子化部１２１に送られる。
　レイヤ２変換・量子化部１２１では、ユニット情報におけるCU分割方法、TU分割方法に従って周波数変換と量子化が行われる。これらの処理方法は既存の手法を用いる。量子化後の係数情報がレイヤ２符号化処理部１２２に送られる。
　レイヤ２符号化処理部１２２は、予測モード情報と係数情報のエントロピー符号化を行い、符号化データを多重化部１２３に出力する。また、必要に応じて逆量子化、逆周波数変換を行い、参照用画像データを復元してレイヤ２イントラ・インター予測部１２０に送る。これらの処理方法は既存の手法を用いる。
　多重化部１２３は、符号化されたレイヤ０、レイヤ１、レイヤ２のデータを一つのストリームに多重化する。データのパケット化の方法や、インデックス、フラグの設定方法、多重化方法については既存の手法を用いれば良い。最後にデータ出力部１２４が多重化されたストリームデータを出力する。
　続いて図３を用いて、下位レイヤのCU,PU,TUの分割方法から、上位レイヤのCU,PU,TUの分割方法を算出するルールについて説明する。以下CUを例に説明する。
　ベースレイヤのCUが３０１のように分割されているとする。分割方法は四分木などによってツリー状に管理、記録されているものとする。ここで、解像度が縦横それぞれ２倍の拡張レイヤの分割方法を記述する時、３０２のような分割方法のルールを定め、これをフラグ等によって指定すれば良い。３０２の分割方法は、ベースレイヤのCUを解像度比に従って拡大し、CUの最大サイズを超えてしまう場所については最大サイズとするというものである。これによって別途CUの分割情報を伝送することなく、ベースレイヤの分割方法に従った拡張レイヤの分割が可能となる。分割したCUの情報は四分木などによってツリー状に管理すればよい。
　次に別の例として、拡張レイヤが３０３のように分割されるルールについて説明する。３０３の分割方法は、拡張レイヤの各位置において、解像度比に従ってベースレイヤのCUを参照し、ベースレイヤと同じCUサイズを用いるものである。従って、拡張レイヤのCUの数はベースレイヤよりも多くなる。この手法によっても同様に、別途CUの分割情報を伝送することなく、ベースレイヤの分割方法に従った拡張レイヤの分割が可能となる。分割したCUの情報は四分木などによってツリー状に管理すればよい。
　次に図４を用いて、ベースレイヤがH.264/AVCやMPEG-2のような固定サイズのマクロブロックと予測モードによって符号化されており、拡張レイヤがHEVCのように複数のサイズを選択できる「CU」と「PU」を用いている場合に、拡張レイヤの分割方法を算出するルールについて説明する。
　ベースレイヤは４０１のように固定サイズのマクロブロックによって符号化され、予測の単位は各マクロブロックの予測モードによって規定されているとする。ここで解像度が縦横それぞれ２倍の拡張レイヤの分割方法を記述する時、４０２のような分割方法のルールを定め、これをフラグ等によって指定すれば良い。４０２の分割方法は、ベースレイヤのマクロブロックを解像度比に従って拡大しCUとするものである。CUの最大サイズを超えてしまう場所については最大サイズに設定すればよい。またPUについては、予測モードによって指定されるサイズを解像度比に従って拡大しPUとすればよい。これによって別途CUやPUの分割情報を伝送することなく、ベースレイヤの分割方法に従った拡張レイヤの分割が可能となる。分割したCUの情報は四分木などによってツリー状に管理すればよい。
　次に別の例として、拡張レイヤが４０３のように分割されるルールについて説明する。４０３の分割方法は、拡張レイヤの各位置において、解像度比に従ってベースレイヤのマクロブロックを参照し、マクロブロックと同じCUサイズを用いるものである。PUについては、ベースレイヤの予測モードで指定されるサイズと同じサイズを用いてもよいし、拡張レイヤのCUサイズに合わせてもよい。この手法によっても同様に、別途CUやPUの分割情報を伝送することなく、ベースレイヤの分割方法に従った拡張レイヤの分割が可能となる。分割したCUの情報は四分木などによってツリー状に管理すればよい。
　拡張レイヤからベースレイヤのユニットを参照する場合、解像度比に従って同じ位置にあるユニットの情報を参照すれば良い。上記ではCUを例に説明したが、PUやTUでも同様のルール適用が可能である。また上記の例では分割したユニットは全て正方形となっているが、PU_MERGE等の方法によりユニット毎に周辺のユニットとマージすることによって長方形など正方形以外の分割も可能である。上記を基本ルールとして、フラグ等を挿入することにより部分的に別の分割方法を適用してもよい。
　拡張レイヤとベースレイヤにおいて、CU,PU,TUの使用可能なサイズを予め指定しておき、これらをフラグによって切り替えてもよい。サイズだけでなく、各レイヤにおいて使用可能な符号化モードを指定しておき、フラグによって切り替えてもよい。例えば、解像度の低い画像と解像度の高い画像では、効果の高い符号化モードや、CU,PU,TUのサイズが異なる場合がある。従って、解像度に応じてこれらの数、パターンを予め決めておけば効率的な符号化が可能となる。
　CU,PU,TUの従うルールはそれぞれ別であってもよいし、同じでもよい。これを統一するか別々にするかをフラグによって判定してもよい。
　各レイヤにおいて符号化するピクチャタイプ、例えばＩピクチャ、Ｐピクチャ、Ｂピクチャなどによって、適用する分割方法、上記のルールを切り換えてもよい。
　上記のようなスケーラビリティ拡張は多視点画像の符号化にも応用可能である。この場合、拡張するレイヤが解像度方向と視点（ビュー）方向に２次元的に配置される。従って多視点画像での応用では、解像度方向と視点方向に対してそれぞれ別の分割方法、ルールを適用してもよい。
　次に、図５を用いて、画像符号化装置で用いられる画像符号化フローについて説明する。
　まずステップ５０１は、原画像から複数の解像度画像を作成する。作成された画像はそれぞれ別レイヤとして符号化される。例えば３つの解像度にて符号化を行う場合、入力画像と同じ解像度をレイヤ２とし、縦横半分の解像度に変換したものをレイヤ１とし、縦横それぞれ４分の１の解像度に変換したものをレイヤ０とし、レイヤ０をベースレイヤとすればよい。解像度変換には一般的なサンプリングフィルタを用いればよい。
　続いて各レイヤの符号化を行う。以下では、ベースレイヤも拡張レイヤもHEVCのように複数のサイズを選択できる「CU」を用いて符号化する場合について説明する。
　ステップ５０２は、処理対象レイヤがベースレイヤであるかどうかを判定する。ベースレイヤであればステップ５０３に進み、それ以外であればステップ５０４に進む。
　ステップ５０３～５０５ではベースレイヤの符号化を行う。
　ステップ５０３ではCU,PU,TUの分割方法を決定する。分割方法は前述の通り、画像全体の符号化効率が高くなるように最適化を行い、決定すれば良い。
　ステップ５０４ではCU,PU,TUをツリー構造として符号化する。
　ステップ５０５では予測、変換、量子化、エントロピー符号化、およびローカルデコード処理を行う。これらは既存の符号化手法を用いればよい。
　ステップ５１１では、符号化されたレイヤのデータのバッファリングを行い、他のレイヤが符号化された後にパケット化処理によって多重化し、多重化された符号化ストリームを出力する。
　ステップ５１２では、全てのレイヤを処理したかどうかを判定し、全てのレイヤが処理済みであれば終了し、まだ符号化していないレイヤがあればステップ５０２に戻って他のレイヤの処理を行う。
　ステップ５０６～５１０では拡張レイヤの符号化を行う。
　ステップ５０６ではCU,PU,TUの分割方法を下位レイヤのルールに従って決定するか、独立に決定するかを判定する。ルールに従って決定する場合はステップ５０７に進み、独立に決定する場合はステップ５０８に進む。
　ステップ５０７では下位レイヤを参照してルールに従ってCU,PU,TUの分割方法を決定する。分割方法のルールは前述の通りである。
　ステップ５０８では下位レイヤとは独立にCU,PU,TUの分割方法を決定する。
　ステップ５０９ではCU,PU,TUをツリー構造として符号化する。
　ステップ５１０では予測、変換、量子化、エントロピー符号化、およびローカルデコード処理を行う。これらは既存の符号化手法を用いればよい。
　拡張レイヤの符号化後も同様にステップ５１１、５１２の処理を行う。
　上記のプロセスにより複数解像度に適応した画像符号化が行われる。
　次に、図６を用いて、画像符号化装置で用いられる別の画像符号化フローについて説明する。
　まず、ステップ６０１は、原画像から複数の解像度画像を作成する。作成された画像はそれぞれ別レイヤとして符号化される。解像度変換手法は前述の通りである。
　続いて、各レイヤの符号化を行う。以下では、ベースレイヤではH.264/AVCやMPEG-2のような符号化単位が固定サイズのマクロブロックを用いて符号化を行い、拡張レイヤではHEVCのように複数のサイズを選択できる「CU」を用いて符号化を行う場合について説明する。
　ステップ６０２は、処理対象レイヤがベースレイヤであるかどうかを判定する。ベースレイヤであればステップ６０３に進み、それ以外であればステップ６０４に進む。
　ステップ６０３、６０４ではベースレイヤの符号化を行う。
　ステップ６０３では固定サイズの各マクロブロックについて、予測ブロックサイズ、予測モードを判定し、これらの符号化モードを決定する。符号化モードの決定方法は、既存の手法に従い、画像全体の符号化効率が高くなるように最適化し決定すれば良い。
　ステップ６０４では符号化モードに従って予測、変換、量子化、エントロピー符号化、およびローカルデコード処理を行う。これらは既存の符号化手法を用いればよい。
　ステップ６１０では、符号化されたレイヤのデータのバッファリングを行い、他のレイヤが符号化された後にパケット化処理によって多重化し、多重化された符号化ストリームを出力する。
　ステップ６１１では、全てのレイヤを処理したかどうかを判定し、全てのレイヤが処理済みであれば終了し、まだ符号化していないレイヤがあればステップ６０２に戻って他のレイヤの処理を行う。
　ステップ６０５～６０９では拡張レイヤの符号化を行う。
　ステップ６０５ではCU,PU,TUの分割方法を下位レイヤのルールに従って決定するか、独立に決定するかを判定する。ルールに従って決定する場合はステップ６０６に進み、独立に決定する場合はステップ６０７に進む。
　ステップ６０６では下位レイヤを参照してルールに従ってCU,PU,TUの分割方法を決定する。分割方法のルールは前述の通りである。
　ステップ６０７では下位レイヤとは独立にCU,PU,TUの分割方法を決定する。
　ステップ６０８ではCU,PU,TUをツリー構造として符号化する。
　ステップ６０９では予測、変換、量子化、エントロピー符号化、およびローカルデコード処理を行う。これらは既存の符号化手法を用いればよい。
　拡張レイヤの符号化後も同様にステップ６１０、６１１の処理を行う。
　上記のプロセスにより複数解像度に適応した画像符号化が行われる。
　以上説明した画像符号化装置及び画像符号化方法によれば、既存の符号化方式よりも効率的な複数の解像度レイヤに対応したCU,PU,TUの記述が可能となり、既存方式よりも圧縮効率の高い画像符号化装置及び画像符号化方法を実現することが可能となる。
　また、この画像符号化装置及び画像符号化方法は、これらを用いた記録装置、携帯電話、デジタルカメラ等に適用することが可能である。
　以上説明した画像符号化装置及び画像符号化方法によれば、符号化データの符号量を低減し、当該符号化データを復号した場合の復号画像の画質の劣化を防ぐことが可能となる。すなわち、高い圧縮率とより良い画質とを実現することができる。
　次に、図２に画像復号装置のブロック図の例を示す。
　本実施例の画像復号装置は、ストリーム解析部２０１、レイヤ０ユニット情報復号部２０２、レイヤ１ユニット情報復号部２０３、レイヤ２ユニット情報復号部２０４、レイヤ０CU復号部２０５、レイヤ０PU復号部２０６、レイヤ０TU復号部２０７、レイヤ１CU復号部２０８、レイヤ１PU復号部２０９、レイヤ１TU復号部２１０、レイヤ２CU復号部２１１、レイヤ２PU復号部２１２、レイヤ２TU復号部２１３、レイヤ０エントロピー復号部２１４、レイヤ０イントラ・インター予測部２１５、レイヤ０逆変換・逆量子化部２１６、レイヤ０合成部２１７、レイヤ１エントロピー復号部２１８、レイヤ１イントラ・インター予測部２１９、レイヤ１逆変換・逆量子化部２２０、レイヤ１合成部２２１、レイヤ２エントロピー復号部２２２、レイヤ２イントラ・インター予測部２２３、レイヤ２逆変換・逆量子化部２２４、レイヤ２合成部２２５、画像出力部２２６を備えている。
　以下に、画像復号装置の各構成要素の動作を詳細に説明する。なお、画像復号装置の各構成要素の動作は、例えば、以下の記載の通り各構成要素の自律的な動作としても良い。また、例えば、コンピュータの制御部や記憶部が記憶するソフトウェアと協働することにより実現しても構わない。
　まず、ストリーム解析部２０１が、入力された符号化ストリームを解析する。ここで、ストリーム解析部２０１は、パケットからのデータ抽出処理や各種ヘッダ、フラグの情報取得処理も行う。
　また、このとき、ストリーム解析部２０１に入力される符号化ストリームは、実施例１に係る画像符号化装置及び画像符号化方法により生成された符号化ストリームである。その生成方法は、実施例１に示したとおりであるので説明を省略する。後述するデータ記録媒体から読み出した符号化ストリームであってもよい。その記録方法は後述する。
　ストリーム解析部によって各レイヤの符号化データが分離される。まずベースレイヤのデータが復号され、次に順次上位のレイヤが復号される。ここではレイヤ０、レイヤ１、レイヤ２の順に復号される例を示す。
　まずベースレイヤであるレイヤ０の復号が行われる。前述のようにベースレイヤの符号化方式は、H.264/AVCやMPEG-2のような符号化単位が固定サイズのマクロブロックを用いて符号化する場合と、HEVCのように複数のサイズを選択できる符号化単位であるCUを用いて符号化する場合を含む。以下、マクロブロックを用いる場合にはCUをマクロブロックと読み替えればよい。またPUをマクロブロック内で決定される予測ブロックと読み替えればよい。
　レイヤ０ユニット情報復号部２０２はレイヤ０のCU,TU,PUを復号する。
　レイヤ０CU復号部２０５はレイヤ０のCUを復号する。これは前述のCU符号化手順に従って、対応する復号手順によって復号すればよい。
　レイヤ０PU復号部２０６はレイヤ０のPUを復号する。これはレイヤ０CU復号部２０５によって復号されたCUの情報を参照しながら、前述のPU符号化手順に対応する復号手順によって復号すればよい。
　レイヤ０TU復号部２０７はレイヤ０のTUを復号する。これはレイヤ０CU復号部２０５によって復号されたCUの情報を参照しながら、前述のTU符号化手順に対応する復号手順によって復号すればよい。
　続いてレイヤ０のユニット情報に基づいて、レイヤ０の復号を行う。
　レイヤ０エントロピー復号部２１４では、エントロピー符号化された符号化モード情報、フラグ情報、残差係数を復号する。
　レイヤ０イントラ・インター予測部２１５では、ユニット情報におけるCU分割方法、PU分割方法、予測モードに従ってイントラ予測またはインター予測を行う。これらの予測方法については既存の手法を用いる。
　レイヤ０逆変換・逆量子化部２１６では、ユニット情報におけるCU分割方法、TU分割方法に従って逆量子化と逆周波数変換が行われる。これらの処理方法は既存の手法を用いる。
　レイヤ０合成部２１７は、レイヤ０イントラ・インター予測部２１５によって作成された予測画素と、レイヤ０逆変換・逆量子化部２１６によって作成された残差成分を合成し、復号画像を作成する。復号された画像は画像出力部２２６に送られる。
　次に一つ上のレイヤであるレイヤ１の復号が行われる。
　レイヤ１ユニット情報復号部２０３はレイヤ１のCU,TU,PUを復号する。
　レイヤ１CU復号部２０８は下位レイヤであるレイヤ０のCUを参照し、レイヤ１のCUを復号する。レイヤ１のCUを復号する際の手順、レイヤ０を参照する際のルールについては前述の通りである。
　レイヤ１PU復号部２０９はレイヤ１のPUを復号する。これは下位レイヤであるレイヤ０のPUと、レイヤ１CU復号部２０８によって復号されたCUの情報を参照しながら、前述のPU符号化手順に対応する復号手順によって復号する。
　レイヤ１TU復号部２１０はレイヤ１のTUを復号する。これは下位レイヤであるレイヤ０のTUと、レイヤ１CU復号部２０８によって復号されたCUの情報を参照しながら、前述のTU符号化手順に対応する復号手順によって復号する。
　続いてレイヤ１のユニット情報に基づいて、レイヤ１の復号を行う。
　レイヤ１エントロピー復号部２１８では、エントロピー符号化された符号化モード情報、フラグ情報、残差係数を復号する。
　レイヤ１イントラ・インター予測部２１９では、ユニット情報におけるCU分割方法、PU分割方法、予測モードに従ってイントラ予測またはインター予測を行う。これらの予測方法については既存の手法を用いる。
　レイヤ１逆変換・逆量子化部２２０では、ユニット情報におけるCU分割方法、TU分割方法に従って逆量子化と逆周波数変換が行われる。これらの処理方法は既存の手法を用いれば良い。
　レイヤ１合成部２２１は、レイヤ１イントラ・インター予測部２１９によって作成された予測画素と、レイヤ１逆変換・逆量子化部２２０によって作成された残差成分を合成し、復号画像を作成する。復号された画像は画像出力部２２６に送られる。
　次に、さらに一つ上のレイヤであるレイヤ２の復号が行われる。
　レイヤ２ユニット情報復号部２０４はレイヤ２のCU,TU,PUを復号する。
　レイヤ２CU復号部２１１は下位レイヤであるレイヤ１のCUを参照し、レイヤ２のCUを復号する。レイヤ２のCUを復号する際の手順、レイヤ１を参照する際のルールについては前述の通りである。
　レイヤ２PU復号部２１２はレイヤ２のPUを復号する。これは下位レイヤであるレイヤ１のPUと、レイヤ２CU復号部２１１によって復号されたCUの情報を参照しながら、前述のPU符号化手順に対応する復号手順によって復号する。
　レイヤ２TU復号部２１３はレイヤ２のTUを復号する。これは下位レイヤであるレイヤ１のTUと、レイヤ２CU復号部２１１によって復号されたCUの情報を参照しながら、前述のTU符号化手順に対応する復号手順によって復号する。
　続いてレイヤ２のユニット情報に基づいて、レイヤ２の復号を行う。
　レイヤ２エントロピー復号部２２２では、エントロピー符号化された符号化モード情報、フラグ情報、残差係数等を復号する。
　レイヤ２イントラ・インター予測部２２３では、ユニット情報におけるCU分割方法、PU分割方法、予測モードに従ってイントラ予測、インター予測を行う。これらの予測方法については既存の手法を用いる。
　レイヤ２逆変換・逆量子化部２２４では、ユニット情報におけるCU分割方法、TU分割方法に従って逆量子化と逆周波数変換が行われる。これらの処理方法は既存の手法を用いる。
　レイヤ２合成部２２５は、レイヤ２イントラ・インター予測部２２３によって作成された予測画素と、レイヤ２逆変換・逆量子化部２２４によって作成された残差成分を合成し、復号画像を作成する。復号された画像は画像出力部２２６に送られる。
　上記のような手法により複数の解像度に対応した画像符号化ストリームから画像が復号される。
　次に、図７を用いて、実施例１に係る画像復号装置における画像復号方法の流れについて説明する。
　まず、ステップ７０１で、復号対象となる符号化ストリームを取得する。この符号化ストリームには複数の解像度の符号化画像が含まれており、部分的にストリームを取り出すことによって指定された解像度の画像が復号可能であるとする。
　ステップ７０２では、復号対象のレイヤを決定する。対象となったレイヤを復号するためには、ベースレイヤから対象レイヤまでの画像を順次復号する。以下、各レイヤを順に復号することを想定して説明する。またベースレイヤについては、H.264/AVCやMPEG-2のような符号化単位が固定サイズのマクロブロックを用いて符号化されている場合と、HEVCのように複数のサイズを選択できる符号化単位であるCUを用いて符号化する場合の両方を含み、拡張レイヤについてはHEVCのような符号化単位のサイズが異なるCUを用いて符号化されている場合について説明する。
　ステップ７０３は、下位レイヤのCU,PU,TUまたはマクロブロック、予測ブロックサイズの構造を参照するかどうか判別する。ベースレイヤは最下位レイヤであるので参照しない。下位レイヤを参照する場合はステップ７０４に進み、参照しない場合はステップ７０６に進む。
　ステップ７０４では、下位レイヤを参照してCU,PU,TUまたはマクロブロック、予測ブロックサイズの構造を復号する。下位レイヤを参照する場合のルールについては前述の通りである。
　ステップ７０５では、下位レイヤの復号画像を参照し、ステップ７０４で復号されたCU,PU,TUまたはマクロブロック、予測ブロックサイズの構造情報を用いて、予測、逆量子化、逆周波数変換を行ってレイヤを復号する。
　ステップ７０６では、そのレイヤで独立にCU,PU,TUまたはマクロブロック、予測ブロックサイズの構造を復号する。
　ステップ７０７では、下位レイヤの復号画像を参照し、ステップ７０６で復号されたCU,PU,TUまたはマクロブロック、予測ブロックサイズの構造情報を用いて、予測、逆量子化、逆周波数変換を行ってレイヤを復号する。
　ステップ７０８ではターゲットのレイヤを復号したかどうかを判定する。ターゲットのレイヤが復号済みであればステップ７０９に進み、そうでなければステップ７０２に進んでさらに上位のレイヤを復号する。
　ステップ７０９では、復号された画像を出力する。
　上記のような手法により複数の解像度に対応した画像符号化ストリームから画像が復号される。
　以上説明した画像復号装置及び画像復号方法によれば、既存の符号化方式よりも効率的な複数の解像度レイヤに対応したCU,PU,TUの記述が可能となり、既存方式よりも圧縮効率の高い画像復号装置及び画像復号方法を実現することが可能となる。
　また、この画像復号装置及び画像復号方法は、これらを用いた再生装置、携帯電話、デジタルカメラ等に適用することが可能である。
　以上説明した画像復号装置及び画像復号方法によれば、符号量の少ない符号化データをより高画質に復号することが可能となる。
　次に、図８に上述した画像符号化装置または画像符号化方法により生成された符号化ストリームが格納されたデータ記録媒体を示す。格納された符号化ストリームは、上述した画像符号化装置または画像符号化方法により生成された符号化ストリームである。その生成方法は、上述したとおりであるので、説明を省略する。ここで、符号化ストリームは、データ記録媒体８０１上にデータ列８０２として記録される。データ列８０２は、所定の文法に従う符号化ストリームとして記録されている。以下ではHEVCの一部を変更したものとして説明する。
　まず、HEVCでは、シーケンスパラメータセット８０３、ピクチャパラメータセット８０４、スライス８０５、８０６、８０７からストリームが構成される。以下、１つのスライスに１つの画像（ピクチャ）が格納される場合を示す。
　各スライスの内部には、それぞれのCU,PU,TUに関する情報８０８が含まれている。CU,PU,TUに関する情報８０８の内部には、CU,PU,TUごとにそれぞれの予測方法、変換方法を記録する領域があり、これを符号化モードフラグ８０９とする。
　以上説明したデータ記録媒体によれば、既存方式よりも圧縮効率が高い符号化ストリームで記録されているので、多くの画像を記録することができる。
１０１…解像度変換部、１０２…レイヤ０ユニット情報計算部、１０３…レイヤ１ユニット情報計算部、１０４…レイヤ２ユニット情報計算部、１０５…レイヤ０CU計算部、１０６…レイヤ０PU計算部、１０７…レイヤ０TU計算部、１０８…レイヤ１CU計算部、１０９…レイヤ１PU計算部、１１０…レイヤ１TU計算部、１１１…レイヤ２CU計算部、１１２…レイヤ２PU計算部、１１３…レイヤ２TU計算部、１１４…レイヤ０イントラ・インター予測部、１１５…レイヤ０変換・量子化部、１１６…レイヤ０符号化処理部、１１７…レイヤ１イントラ・インター予測部、１１８…レイヤ１変換・量子化部、１１９…レイヤ１符号化処理部、１２０…レイヤ２イントラ・インター予測部、１２１…レイヤ２変換・量子化部、１２２…レイヤ２符号化処理部、１２３…多重化部、１２４…データ出力部、２０１…ストリーム解析部、２０２…レイヤ０ユニット情報復号部、２０３…レイヤ１ユニット情報復号部、２０４…レイヤ２ユニット情報復号部、２０５…レイヤ０CU復号部、２０６…レイヤ０PU復号部、２０７…レイヤ０TU復号部、２０８…レイヤ１CU復号部、２０９…レイヤ１PU復号部、２１０…レイヤ１TU復号部、２１１…レイヤ２CU復号部、２１２…レイヤ２PU復号部、２１３…レイヤ２TU復号部、２１４…レイヤ０エントロピー復号部、２１５…レイヤ０イントラ・インター予測部、２１６…レイヤ０逆変換・逆量子化部、２１７…レイヤ０合成部、２１８…レイヤ１エントロピー復号部、２１９…レイヤ１イントラ・インター予測部、２２０…レイヤ１逆変換・逆量子化部、２２１…レイヤ１合成部、２２２…レイヤ２エントロピー復号部、２２３…レイヤ２イントラ・インター予測部、２２４…レイヤ２逆変換・逆量子化部、２２５…レイヤ２合成部、２２６…画像出力部

Claims (10)

  1. 　画像を符号化した符号化ストリームを復号する画像復号方法であって、
    　該符号化ストリームの一部を取り出すことによって複数の解像度の画像を復号可能であり、
    　各レイヤにおいて符号化する単位CUの分割方法を復号するステップと、
    　予測単位PUの分割方法を復号するステップと、
    　周波数変換単位TUの分割方法を復号するステップを備え、
    　前記あるレイヤ１のCUを復号するステップは、別のレイヤ０のCU分割方法を参照し、一定のルールに従ってCU分割方法を計算し、
    　前記あるレイヤ１のPUを復号するステップは、同じレイヤ１のCU分割方法と、別のレイヤ０のPU分割方法を参照し、一定のルールに従ってPU分割方法を計算し、
    　前記あるレイヤ１のTUを復号するステップは、同じレイヤ１のCU分割方法と、別のレイヤ０のTU分割方法を参照し、一定のルールに従ってTU分割方法を計算し、
    　前記一定のルールをフラグによって判別することを特徴とする画像復号方法。
  2. 　請求項１において、
    　ベースレイヤの復号化方式は、復号化単位が固定サイズのマクロブロックを用いて復号化され、
    　拡張レイヤの復号化方式は、複数のサイズを選択できる符号化単位であるCUを用いて復号化されていることを特徴とする画像復号方法。
  3. 　請求項１において、
    　前記一定のルールとは、
    　下位レイヤのCU,TU,PUのサイズは、解像度比に従って対応する上位レイヤの位置にあるCU,TU,PUを解像度比に従って拡大したサイズを設定し、CU,TU,PUの最大サイズを超える場所については該最大サイズに設定するというルールであることを特徴とする画像復号方法。
  4. 　請求項１において、前記一定のルールとは、
    　下位レイヤのCU,TU,PUのサイズは、解像度比に従って対応する上位レイヤの位置にあるCU,TU,PUを参照し、上位レイヤのCU,TU,PUのサイズと同じサイズに設定するというルールであることを特徴とする画像復号方法。
  5. 　請求項１において、
    　レイヤ毎にCU,PU,TUの使用可能なサイズ、使用可能な符号化モードを予め指定しておき、これらをフラグによって切り替えることを特徴とする画像復号方法。
  6. 　画像を符号化した符号化ストリームを復号する画像復号装置であって、
    　該符号化ストリームの一部を取り出すことによって複数の解像度の画像を復号可能であり、
    　各レイヤにおいて符号化単位CUの分割方法を復号するCU復号部と、予測単位PUの分割方法を復号するPU復号部と、周波数変換単位TUの分割方法を復号するTU復号部とを備え、
    　前記あるレイヤ１のCU復号部は、別のレイヤ０のCU復号部の出力するCU分割方法を参照し、一定のルールに従ってCU分割方法を計算し、
    　前記あるレイヤ１のPU復号部は、同じレイヤ１のCU分割方法と、別のレイヤ０のPU復号部の出力するPU分割方法を参照し、一定のルールに従ってPU分割方法を計算し、
    　前記あるレイヤ１のTU復号部は、同じレイヤ１のCU分割方法と、別のレイヤ０のTU復号部の出力するTU分割方法を参照し、一定のルールに従ってTU分割方法を計算し、
    　前記一定のルールをフラグによって判別することを特徴とする画像復号装置。
  7. 　請求項６において、
    　ベースレイヤの符号化方式は、符号化単位が固定サイズのマクロブロックを用いて符号化され、
    　拡張レイヤの符号化方式は、符号化単位のサイズが異なるCUを用いて符号化されていることを特徴とする画像復号装置。
  8. 　請求項６において、
    　前記一定のルールとは、
    　下位レイヤのCU,TU,PUのサイズは、解像度比に従って対応する上位レイヤの位置にあるCU,TU,PUを解像度比に従って拡大したサイズを設定し、CU,TU,PUの最大サイズを超える場所については該最大サイズに設定するというルールであることを特徴とする画像復号装置。
  9. 　請求項６において、
    　前記一定のルールとは、
    　下位レイヤのCU,TU,PUのサイズは、解像度比に従って対応する上位レイヤの位置にあるCU,TU,PUを参照し、上位レイヤのCU,TU,PUのサイズと同じサイズに設定するというルールであることを特徴とする画像復号装置。
  10. 　請求項６において、
    　レイヤ毎にCU,PU,TUの使用可能なサイズ、使用可能な符号化モードを予め指定しておき、これらをフラグによって切り替えることを特徴とする画像復号装置。
PCT/JP2012/002222 2012-03-30 2012-03-30 画像復号方法及び画像復号装置 WO2013145021A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201280070816.0A CN104205842B (zh) 2012-03-30 2012-03-30 图像解码方法及图像解码装置
JP2014507013A JP5768180B2 (ja) 2012-03-30 2012-03-30 画像復号方法及び画像復号装置
PCT/JP2012/002222 WO2013145021A1 (ja) 2012-03-30 2012-03-30 画像復号方法及び画像復号装置
US14/381,663 US9491477B2 (en) 2012-03-30 2012-03-30 Image decoding method and image decoding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/002222 WO2013145021A1 (ja) 2012-03-30 2012-03-30 画像復号方法及び画像復号装置

Publications (1)

Publication Number Publication Date
WO2013145021A1 true WO2013145021A1 (ja) 2013-10-03

Family

ID=49258394

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/002222 WO2013145021A1 (ja) 2012-03-30 2012-03-30 画像復号方法及び画像復号装置

Country Status (4)

Country Link
US (1) US9491477B2 (ja)
JP (1) JP5768180B2 (ja)
CN (1) CN104205842B (ja)
WO (1) WO2013145021A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015537413A (ja) * 2012-10-01 2015-12-24 ジーイー ビデオ コンプレッション エルエルシー エンハンスメント層の中の変換係数ブロックの副ブロックに基づいた符号化を使用するスケーラブルビデオ符号化
CN106233727A (zh) * 2014-03-17 2016-12-14 高通股份有限公司 多层位流的图片冲洗和经解码图片缓冲器参数推断

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2852158A4 (en) * 2012-05-15 2015-11-18 Sony Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
US10375405B2 (en) * 2012-10-05 2019-08-06 Qualcomm Incorporated Motion field upsampling for scalable coding based on high efficiency video coding
MX348561B (es) * 2013-07-12 2017-06-20 Sony Corp Aparato y método para la codificación de imágenes.
CN110035287B (zh) 2018-01-12 2023-05-09 富士通株式会社 对统一转换单元模式进行分组标识的方法、装置和电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100095992A (ko) * 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
KR101452860B1 (ko) * 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101495724B1 (ko) * 2010-02-02 2015-02-25 삼성전자주식회사 계층적 데이터 단위의 스캔 순서에 기반한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
US8615043B2 (en) * 2010-03-04 2013-12-24 Texas Instruments Incorporated Fixed length coding based image data compression
CN103460694B (zh) * 2011-03-10 2017-02-15 夏普株式会社 图像解码装置、图像编码装置以及编码数据的数据构造
US20130188719A1 (en) * 2012-01-20 2013-07-25 Qualcomm Incorporated Motion prediction in svc using motion vector for intra-coded block

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
DANNY HONG ET AL.: "Scalability Support in HEVC", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT- VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/ WG11 6TH MEETING, July 2011 (2011-07-01), TORINO, IT *
HEIKO SCHWARZ ET AL.: "Overview of the Scalable Video Coding Extension of the H.264/AVC Standard", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 17, no. 9, September 2007 (2007-09-01), pages 1103 - 1120 *
HYOMIN CHOI ET AL.: "Scalable structures and inter-layer predictions for HEVC scalable extension", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 6TH MEETING, July 2011 (2011-07-01), TORINO, IT *
HYOMIN CHOI ET AL.: "Scalable Video Coding Based on High Efficiency Video Coding (HEVC)", 2011 IEEE PACIFIC RIM CONFERENCE ON COMMUNICATIONS, COMPUTERS AND SIGNAL PROCESSING (PACRIM), 23 August 2011 (2011-08-23), pages 346 - 351, XP031971177, DOI: doi:10.1109/PACRIM.2011.6032917 *
KOOHYAR MINOO ET AL.: "Spatial Scalability for HEVC", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/ SC29/WG11 5TH MEETING, March 2011 (2011-03-01), GENEVA, CH *
ZHONGBO SHI ET AL.: "CGS Quality Scalability for HEVC", 2011 IEEE 13TH INTERNATIONAL WORKSHOP ON MULTIMEDIA SIGNAL PROCESSING (MMSP), 17 October 2011 (2011-10-17), pages 1 - 6, XP032027556, DOI: doi:10.1109/MMSP.2011.6093816 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015537413A (ja) * 2012-10-01 2015-12-24 ジーイー ビデオ コンプレッション エルエルシー エンハンスメント層の中の変換係数ブロックの副ブロックに基づいた符号化を使用するスケーラブルビデオ符号化
US10212420B2 (en) 2012-10-01 2019-02-19 Ge Video Compression, Llc Scalable video coding using inter-layer prediction of spatial intra prediction parameters
US10212419B2 (en) 2012-10-01 2019-02-19 Ge Video Compression, Llc Scalable video coding using derivation of subblock subdivision for prediction from base layer
US10218973B2 (en) 2012-10-01 2019-02-26 Ge Video Compression, Llc Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer
US10477210B2 (en) 2012-10-01 2019-11-12 Ge Video Compression, Llc Scalable video coding using inter-layer prediction contribution to enhancement layer prediction
US10694182B2 (en) 2012-10-01 2020-06-23 Ge Video Compression, Llc Scalable video coding using base-layer hints for enhancement layer motion parameters
US11477467B2 (en) 2012-10-01 2022-10-18 Ge Video Compression, Llc Scalable video coding using derivation of subblock subdivision for prediction from base layer
US11575921B2 (en) 2012-10-01 2023-02-07 Ge Video Compression, Llc Scalable video coding using inter-layer prediction of spatial intra prediction parameters
US11589062B2 (en) 2012-10-01 2023-02-21 Ge Video Compression, Llc Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer
CN106233727A (zh) * 2014-03-17 2016-12-14 高通股份有限公司 多层位流的图片冲洗和经解码图片缓冲器参数推断
CN106233727B (zh) * 2014-03-17 2019-11-01 高通股份有限公司 译码视频信息的方法及设备

Also Published As

Publication number Publication date
US20150063437A1 (en) 2015-03-05
CN104205842B (zh) 2017-06-30
CN104205842A (zh) 2014-12-10
JPWO2013145021A1 (ja) 2015-08-03
US9491477B2 (en) 2016-11-08
JP5768180B2 (ja) 2015-08-26

Similar Documents

Publication Publication Date Title
US10779001B2 (en) Image encoding method and image decoding method
KR100772868B1 (ko) 복수 계층을 기반으로 하는 스케일러블 비디오 코딩 방법및 장치
KR20200002764A (ko) 필터 정보 예측을 이용한 영상 부호화/복호화 방법 및 장치
KR20210113390A (ko) 인트라 예측의 인코더, 디코더 및 대응하는 방법
JP6333942B2 (ja) ビデオ情報のスケーラブルコード化のための装置及び方法
EP3085093A1 (en) Signaling color values for 3d lookup table for color gamut scalability in multi-layer video coding
KR20160071415A (ko) 다중-계층 비디오 코딩에서의 3차원 룩업 테이블 기반 색역 스케일러빌리티
EP3085092A1 (en) Signaling partition information for 3d lookup table for color gamut scalability in multi-layer video coding
JP5768180B2 (ja) 画像復号方法及び画像復号装置
CN107409212B (zh) 使用变换系数的逐渐更新进行编码和解码的方法及设备
KR102160242B1 (ko) 영상 복호화 방법 및 이를 이용하는 장치
CN114270836A (zh) 视频编解码的颜色转换
KR20160145117A (ko) 색 공간 스케일러빌리티에 대한 3d 칼라 예측을 위한 비트 심도 값들의 시그널링
JP5913542B2 (ja) 動画像符号化のための方法および構成
KR101553514B1 (ko) 영상 복호화 방법 및 이를 이용하는 장치
WO2013161690A1 (ja) 画像復号装置および画像符号化装置
JPWO2010055675A1 (ja) 動画像符号化装置及び動画像復号装置
US10757448B2 (en) Bitstream transformation apparatus, bitstream transformation method, distribution system, moving image encoding apparatus, moving image encoding method and computer-readable storage medium
US11924408B2 (en) Method and apparatus for video coding
CN116584097A (zh) 联合运动矢量差编解码
CN116998153A (zh) 基于多个预测模式的交叉通道预测
KR20230027156A (ko) 서브레이어 레벨 정보에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
CN116458159A (zh) 跳过变换标志编码
CN117693934A (zh) 基于合并色度块的亮度色度预测

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12872748

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014507013

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14381663

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 12872748

Country of ref document: EP

Kind code of ref document: A1