WO2014162954A1 - 画像復号装置、および画像符号化装置 - Google Patents

画像復号装置、および画像符号化装置 Download PDF

Info

Publication number
WO2014162954A1
WO2014162954A1 PCT/JP2014/058610 JP2014058610W WO2014162954A1 WO 2014162954 A1 WO2014162954 A1 WO 2014162954A1 JP 2014058610 W JP2014058610 W JP 2014058610W WO 2014162954 A1 WO2014162954 A1 WO 2014162954A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
layer
base
decoding
inter
Prior art date
Application number
PCT/JP2014/058610
Other languages
English (en)
French (fr)
Inventor
山本　智幸
知宏 猪飼
健史 筑波
将伸 八杉
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US14/781,336 priority Critical patent/US9912959B2/en
Priority to CN201480010634.3A priority patent/CN105075269B/zh
Priority to EP14779693.2A priority patent/EP2996339A4/en
Priority to JP2015510030A priority patent/JP6352248B2/ja
Publication of WO2014162954A1 publication Critical patent/WO2014162954A1/ja
Priority to HK16105207.0A priority patent/HK1217256A1/zh
Priority to US15/826,757 priority patent/US20180115780A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to an image decoding apparatus that decodes hierarchically encoded data in which an image is hierarchically encoded, and an image encoding apparatus that generates hierarchically encoded data by hierarchically encoding an image.
  • One of information transmitted in a communication system or information recorded in a storage device is an image or a moving image. 2. Description of the Related Art Conventionally, a technique for encoding an image for transmitting and storing these images (hereinafter including moving images) is known.
  • Non-patent Document 1 As video encoding methods, AVC (H.264 / MPEG-4 Advanced Video Coding) and HEVC (High-Efficiency Video Coding), which is a successor codec, are known (Non-patent Document 1).
  • a predicted image is usually generated based on a local decoded image obtained by encoding / decoding an input image, and obtained by subtracting the predicted image from the input image (original image).
  • Prediction residuals (sometimes referred to as “difference images” or “residual images”) are encoded.
  • examples of the method for generating a predicted image include inter-screen prediction (inter prediction) and intra-screen prediction (intra prediction).
  • predicted images in a picture are sequentially generated based on a locally decoded image in the same picture.
  • a predicted image is generated by motion compensation between pictures.
  • Information relating to motion compensation (motion compensation parameters) is often not directly encoded to reduce the amount of code. Therefore, in the inter prediction, a motion compensation parameter is estimated based on a decoding situation or the like around the target block.
  • SHVC Scalable HEVC
  • SHVC supports spatial scalability, temporal scalability, and SNR scalability.
  • spatial scalability an image downsampled from an original image to a desired resolution is encoded as a lower layer.
  • the upper layer performs inter-layer prediction in order to remove redundancy between layers.
  • Inter-layer prediction includes inter-layer motion information prediction for predicting information related to motion prediction from lower layer information at the same time, or inter-layer image prediction for generating a predicted image from a decoded image of a lower layer at the same time (inter-layer texture). Prediction).
  • any one of inter prediction, intra prediction, and inter-layer image prediction can be used to generate a predicted image.
  • the decoded image of the lower layer that can be used in the inter-layer image prediction is limited to the same time as the decoding target picture. Therefore, in the inter-layer image prediction or the predicted image generation process that refers to the decoded image of the lower layer, there is a problem that means for referring to the decoded image of the lower layer having a display time different from that of the decoding target picture is not clearly described. was there.
  • a predicted image is generated by referring to only a decoded image of a lower layer having the same display time as that of the decoding target picture by generating a predicted image with reference to a decoded image of a lower layer having a display time different from that of the decoding target picture.
  • a predicted image close to the input image can be generated, but the prior art cannot refer to decoded images of lower layers having different display times.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a mechanism for generating a predicted image using a decoded image of a lower layer having a display time different from that of a decoding target picture in a hierarchical encoding method. There is to do.
  • an image encoding device and an image decoding device for encoding / decoding encoded data with a small code amount are generated by generating a predicted image closer to the input image than in the related art. .
  • an image decoding apparatus is an image decoding apparatus that restores an upper layer decoded image using upper layer encoded data included in hierarchically encoded data.
  • a variable length decoding means for decoding the parameter set from the encoded data of the upper layer, and a base decoded image buffer for recording the decoded image of the lower layer in association with the picture display order of the upper layer derived from the parameter set
  • a base control means for reading an image decoded by an external means as a base decoded sequence and recording it in the base decoded image buffer; a base reference image is selected from the base decoded images included in the base decoded sequence; Provide an inter-layer image prediction unit that generates a predicted image by inter-layer prediction using a reference image It is characterized.
  • an image encoding device is an image encoding device that generates encoded data of an upper layer from an input image, and encodes a parameter set included in the encoded data of the upper layer.
  • Variable-length encoding means for converting the image, a base decoded image buffer for recording the decoded image of the lower layer in association with the picture display order of the upper layer derived from the parameter set, and a base image decoded by an external means
  • Base control means for reading as a decoded sequence and recording it in the base decoded image buffer; and selecting a base reference image from the base decoded images included in the base decoded sequence, and predicting a predicted image by inter-layer prediction using the base reference image An inter-layer image prediction unit to be generated is provided.
  • an image decoding apparatus is an image decoding apparatus that decodes upper layer encoded data included in hierarchically encoded data and restores an upper layer decoded image.
  • a base reference image buffer that records a decoded image of a lower layer
  • an inter-layer reference image list setting unit that sets an inter-layer reference image set used for decoding a picture of an upper layer
  • the inter-layer reference image set And a predicted image generating means for generating a predicted image of a picture of an upper layer using the base reference image recorded in the base reference image buffer.
  • the image decoding apparatus includes an inter-layer reference image list setting unit that derives an inter-layer reference image set. Therefore, the image decoding apparatus according to the present invention uses an inter-layer reference image set, and uses a prediction image generated using a decoded image of a reference layer having a display order different from that of a decoding target picture, with a small code amount. A decoded image of the target picture can be reproduced from the encoded data.
  • the inter-layer reference image set it is possible to specify the timing at which the decoded image of the reference layer is no longer used for generating the predicted image of the target layer and delete it from the base decoded image buffer, thereby reducing the amount of memory. .
  • the image coding apparatus includes an inter-layer reference image list setting unit that derives an inter-layer reference image set. Therefore, in the image encoding device according to the present invention, by using the inter-layer reference image set, fewer codes are generated using the predicted image generated using the decoded image of the reference layer having a display order different from that of the decoding target picture. Encoded data can be generated in quantities. In addition, by using the inter-layer reference image set, it is possible to specify the timing at which the decoded image of the reference layer is no longer used for generating the predicted image of the target layer and delete it from the base decoded image buffer, thereby reducing the amount of memory. .
  • (C) shows the slice layer that defines the slice S
  • (d) shows the CTU layer that defines the coding tree unit CTU
  • (e) shows the code layer 3 shows a CU layer that defines a coding unit (Coding Unit; CU) included in a coding tree unit CTU.
  • It is a functional block diagram which shows the schematic structure of the said hierarchy moving image decoding apparatus. It is a functional block diagram illustrated about the structure of the base decoding part contained in the said hierarchy moving image decoding apparatus. It is the figure which showed the example of a reference image set and a reference image list, (a) is the figure which arranged the picture which comprises a moving image in display order, (b) is the figure of RPS information applied to an object picture.
  • (C) is a diagram illustrating an example of the current RPS derived when the RPS information illustrated in (b) is applied when the POC of the target picture is 0, and (d) ) And (e) are diagrams showing examples of reference picture lists generated from reference pictures included in the current RPS. It is the figure which showed the example of reference image list correction, (a) is a figure showing the state of the L0 reference image list before correction, (b) is a figure showing the content of the reference image list correction information. (C) is a figure showing the state of the L0 reference image list after correction.
  • FIG. 4 is a diagram illustrating an example of inter-layer image prediction using base decoded images having different display orders. It is a figure which shows the example of the state of each reference image set of an inter-layer reference image set, an inter-layer reference image list, an enhancement layer, and a reference layer, and a reference image list at the time of the hierarchy encoding data which consists of two layers.
  • FIG. 1 It is a figure for demonstrating the specific example of a base decoding image setting process, (a) is a figure showing the reference relationship between the picture of the enhancement layer and reference layer in a concrete example, (b) is each figure of enhancement layer It is a figure which shows the reference image set at the time of picture decoding, the reference image set between layers, a base decoding image buffer, and base decoding image reading. It is a functional block diagram which shows the schematic structure of the hierarchy moving image encoder which concerns on another embodiment of this invention. It is the figure shown about the structure of the transmitter which mounts the said hierarchy moving image encoder, and the receiver which mounts the said hierarchy moving image decoder.
  • (A) shows a transmission device equipped with a hierarchical video encoding device, and (b) shows a reception device equipped with a hierarchical video decoding device. It is the figure shown about the structure of the recording device carrying the said hierarchy moving image encoder, and the reproducing
  • (A) shows a recording device equipped with a hierarchical video encoding device, and (b) shows a playback device equipped with a hierarchical video decoding device.
  • the hierarchical moving picture decoding apparatus 1 and the hierarchical moving picture encoding apparatus 2 according to an embodiment of the present invention will be described based on FIGS. 1 to 23 as follows.
  • a hierarchical video decoding device (image decoding device) 1 decodes encoded data that has been hierarchically encoded by a hierarchical video encoding device (image encoding device) 2.
  • Hierarchical coding is a coding scheme that hierarchically encodes moving images from low quality to high quality.
  • Hierarchical coding is standardized in SVC and SHVC, for example.
  • the quality of a moving image here widely means an element that affects the appearance of a subjective and objective moving image.
  • the quality of the moving image includes, for example, “resolution”, “frame rate”, “image quality”, and “pixel representation accuracy”.
  • the quality of the moving image is different, it means that, for example, “resolution” is different, but it is not limited thereto.
  • the quality of moving images is different from each other.
  • Hierarchical coding techniques are sometimes classified into (1) spatial scalability, (2) temporal scalability, and (3) SNR (Signal to Noise Ratio) scalability from the viewpoint of the type of information to be hierarchized.
  • Spatial scalability is a technique for hierarchizing resolution and image size.
  • Time scalability is a technique for layering at a frame rate (number of frames per unit time).
  • SNR scalability is a technique for hierarchizing in coding noise.
  • the hierarchical video encoding device 2 Prior to detailed description of the hierarchical video encoding device 2 and the hierarchical video decoding device 1 according to the present embodiment, first, (1) the hierarchical video encoding device 2 generates and the hierarchical video decoding device 1 performs decoding.
  • the layer structure of the hierarchically encoded data to be performed will be described, and then (2) a specific example of the data structure that can be adopted in each layer will be described.
  • FIG. 2 is a diagram schematically illustrating a case where a moving image is hierarchically encoded / decoded by three layers of a lower layer L3, a middle layer L2, and an upper layer L1. That is, in the example shown in FIGS. 2A and 2B, of the three layers, the upper layer L1 is the highest layer and the lower layer L3 is the lowest layer.
  • a decoded image corresponding to a specific quality that can be decoded from hierarchically encoded data is referred to as a decoded image of a specific hierarchy (or a decoded image corresponding to a specific hierarchy) (for example, in the upper hierarchy L1).
  • Decoded image POUT # A a decoded image of a specific hierarchy (or a decoded image corresponding to a specific hierarchy) (for example, in the upper hierarchy L1).
  • FIG. 2A shows a hierarchical moving image encoding apparatus 2 # A to 2 # C that generates encoded data DATA # A to DATA # C by hierarchically encoding input images PIN # A to PIN # C, respectively. Is shown.
  • FIG. 2B shows a hierarchical moving picture decoding apparatus 1 # A ⁇ that generates decoded images POUT # A ⁇ POUT # C by decoding the encoded data DATA # A ⁇ DATA # C, which are encoded hierarchically. 1 # C is shown.
  • the input images PIN # A, PIN # B, and PIN # C that are input on the encoding device side have the same original image but different image quality (resolution, frame rate, image quality, and the like).
  • the image quality decreases in the order of the input images PIN # A, PIN # B, and PIN # C.
  • the hierarchical video encoding device 2 # C of the lower hierarchy L3 encodes the input image PIN # C of the lower hierarchy L3 to generate encoded data DATA # C of the lower hierarchy L3.
  • Basic information necessary for decoding the decoded image POUT # C of the lower layer L3 is included (indicated by “C” in FIG. 2). Since the lower layer L3 is the lowest layer, the encoded data DATA # C of the lower layer L3 is also referred to as basic encoded data.
  • the hierarchical video encoding apparatus 2 # B of the middle hierarchy L2 encodes the input image PIN # B of the middle hierarchy L2 with reference to the encoded data DATA # C of the lower hierarchy, and performs the middle hierarchy L2 Encoded data DATA # B is generated.
  • additional data necessary for decoding the decoded image POUT # B of the intermediate hierarchy is added to the encoded data DATA # B of the intermediate hierarchy L2.
  • Information (indicated by “B” in FIG. 2) is included.
  • the hierarchical video encoding apparatus 2 # A of the upper hierarchy L1 encodes the input image PIN # A of the upper hierarchy L1 with reference to the encoded data DATA # B of the intermediate hierarchy L2 to Encoded data DATA # A is generated.
  • the encoded data DATA # A of the upper layer L1 is used to decode the basic information “C” necessary for decoding the decoded image POUT # C of the lower layer L3 and the decoded image POUT # B of the middle layer L2.
  • additional information indicated by “A” in FIG. 2 necessary for decoding the decoded image POUT # A of the upper layer is included.
  • the encoded data DATA # A of the upper layer L1 includes information related to decoded images of a plurality of different qualities.
  • the decoding device side will be described with reference to FIG.
  • the decoding devices 1 # A, 1 # B, and 1 # C corresponding to the layers of the upper layer L1, the middle layer L2, and the lower layer L3 are encoded data DATA # A and DATA # B, respectively.
  • And DATA # C are decoded to output decoded images POUT # A, POUT # B, and POUT # C.
  • the hierarchy decoding apparatus 1 # B of the middle hierarchy L2 receives information necessary for decoding the decoded image POUT # B from the hierarchy encoded data DATA # A of the upper hierarchy L1 (that is, the hierarchy encoded data DATA # A decoded image POUT # B may be decoded by extracting “B” and “C”) included in A.
  • the decoded images POUT # A, POUT # B, and POUT # C can be decoded based on information included in the hierarchically encoded data DATA # A of the upper hierarchy L1.
  • the hierarchical encoded data is not limited to the above three-layer hierarchical encoded data, and the hierarchical encoded data may be hierarchically encoded with two layers or may be hierarchically encoded with a number of layers larger than three. Good.
  • Hierarchically encoded data may be configured as described above. For example, in the example described above with reference to FIGS. 2A and 2B, it has been described that “C” and “B” are referred to for decoding the decoded image POUT # B, but the present invention is not limited thereto. It is also possible to configure the hierarchically encoded data so that the decoded image POUT # B can be decoded using only “B”. For example, it is possible to configure a hierarchical video decoding apparatus that receives the hierarchically encoded data composed only of “B” and the decoded image POUT # C for decoding the decoded image POUT # B.
  • Hierarchically encoded data can also be generated so that In that case, the lower layer hierarchical video encoding device generates hierarchical encoded data by quantizing the prediction residual using a larger quantization width than the upper layer hierarchical video encoding device. To do.
  • Upper layer A layer located above a certain layer is referred to as an upper layer.
  • the upper layers of the lower layer L3 are the middle layer L2 and the upper layer L1.
  • the decoded image of the upper layer means a decoded image with higher quality (for example, high resolution, high frame rate, high image quality, etc.).
  • Lower layer A layer located below a certain layer is referred to as a lower layer.
  • the lower layers of the upper layer L1 are the middle layer L2 and the lower layer L3.
  • the decoded image of the lower layer refers to a decoded image with lower quality.
  • Target layer A layer that is the target of decoding or encoding.
  • Reference layer A specific lower layer referred to for decoding a decoded image corresponding to the target layer is referred to as a reference layer.
  • the reference layers of the upper hierarchy L1 are the middle hierarchy L2 and the lower hierarchy L3.
  • the hierarchically encoded data can be configured so that it is not necessary to refer to all of the lower layers in decoding of the specific layer.
  • the hierarchical encoded data can be configured such that the reference layer of the upper hierarchy L1 is either the middle hierarchy L2 or the lower hierarchy L3.
  • Base layer A layer located at the lowest layer is referred to as a base layer.
  • the decoded image of the base layer is the lowest quality decoded image that can be decoded from the encoded data, and is referred to as a basic decoded image.
  • the basic decoded image is a decoded image corresponding to the lowest layer.
  • the partially encoded data of the hierarchically encoded data necessary for decoding the basic decoded image is referred to as basic encoded data.
  • the basic information “C” included in the hierarchically encoded data DATA # A of the upper hierarchy L1 is the basic encoded data.
  • Extension layer The upper layer of the base layer is called the extension layer.
  • the layer identifier is for identifying the hierarchy, and corresponds to the hierarchy one-to-one.
  • the hierarchically encoded data includes a hierarchical identifier used for selecting partial encoded data necessary for decoding a decoded image of a specific hierarchy.
  • a subset of hierarchically encoded data associated with a layer identifier corresponding to a specific layer is also referred to as a layer representation.
  • a layer representation of the layer and / or a layer representation corresponding to a lower layer of the layer is used. That is, in decoding the decoded image of the target layer, layer representation of the target layer and / or layer representation of one or more layers included in a lower layer of the target layer are used.
  • Inter-layer prediction is based on the syntax element value, the value derived from the syntax element value included in the layer expression of the layer (reference layer) different from the layer expression of the target layer, and the decoded image. It is to predict the syntax element value of the target layer, the encoding parameter used for decoding of the target layer, and the like. Inter-layer prediction that predicts information related to motion prediction from reference layer information is sometimes referred to as motion information prediction. In addition, inter-layer prediction predicted from a lower layer decoded image may be referred to as inter-layer image prediction (or inter-layer texture prediction). Note that the hierarchy used for inter-layer prediction is, for example, a lower layer of the target layer. In addition, performing prediction within a target layer without using a reference layer may be referred to as intra-layer prediction.
  • the lower layer and the upper layer may be encoded by different encoding methods.
  • the encoded data of each layer may be supplied to the hierarchical video decoding device 1 via different transmission paths, or supplied to the hierarchical video decoding device 1 via the same transmission path. It may be done.
  • the base layer when transmitting ultra-high-definition video (moving image, 4K video data) with a base layer and one extended layer in a scalable encoding, the base layer downscales 4K video data, and interlaced video data.
  • MPEG-2 or H.264 The enhancement layer may be encoded by H.264 / AVC and transmitted over a television broadcast network, and the enhancement layer may encode 4K video (progressive) with HEVC and transmit over the Internet.
  • FIG. 3 is a diagram illustrating a data structure of encoded data (hierarchically encoded data DATA # C in the example of FIG. 2) that can be employed in the base layer.
  • Hierarchically encoded data DATA # C illustratively includes a sequence and a plurality of pictures constituting the sequence.
  • FIG. 3 shows a hierarchical structure of data in the hierarchical encoded data DATA # C.
  • 3A to 3E respectively show a sequence layer that defines a sequence SEQ, a picture layer that defines a picture PICT, a slice layer that defines a slice S, and a coding tree unit (CTU).
  • CTU coding tree unit
  • sequence layer a set of data referred to by the hierarchical video decoding device 1 for decoding a sequence SEQ to be processed (hereinafter also referred to as a target sequence) is defined.
  • the sequence SEQ includes a video parameter set VPS (Video Parameter Set), a sequence parameter set SPS (Sequence Parameter Set), a picture parameter set PPS (Picture Parameter Set), and pictures PICT 1 to PICT. It includes NP (NP is the total number of pictures included in the sequence SEQ) and supplemental enhancement information (SEI).
  • the number of layers included in the encoded data and the dependency relationship between the layers are defined.
  • the sequence parameter set SPS defines a set of encoding parameters that the hierarchical video decoding device 1 refers to in order to decode the target sequence of the target layer.
  • a plurality of SPSs may exist in the encoded data.
  • the SPS used for decoding is selected from a plurality of candidates for each target sequence of the target layer.
  • An SPS used for decoding a specific sequence is also called an active SPS.
  • SPS means an active SPS for a target sequence of a target layer.
  • a set of encoding parameters referred to by the hierarchical video decoding device 1 for decoding each picture in the target sequence is defined.
  • a plurality of PPS may exist in the encoded data. In that case, one of a plurality of PPSs is selected from each picture in the target sequence.
  • a PPS used for decoding a specific picture is also called an active PPS. In the following, unless otherwise specified, PPS means active PPS for the current picture.
  • Picture layer In the picture layer, a set of data that is referred to by the hierarchical video decoding device 1 in order to decode a picture PICT to be processed (hereinafter also referred to as a target picture) is defined. As shown in FIG. 3B, the picture PICT includes slice headers SH 1 to SH NS and slices S 1 to S NS (NS is the total number of slices included in the picture PICT).
  • the slice header SH k includes a coding parameter group referred to by the hierarchical video decoding device 1 in order to determine a decoding method for the corresponding slice S k .
  • a coding parameter group referred to by the hierarchical video decoding device 1 in order to determine a decoding method for the corresponding slice S k .
  • an SPS identifier (seq_parameter_set_id) that specifies SPS and a PPS identifier (pic_parameter_set_id) that specifies PPS are included.
  • the slice type designation information (slice_type) for designating the slice type is an example of an encoding parameter included in the slice header SH.
  • I slice that uses only intra prediction at the time of encoding (2) P slice that uses unidirectional prediction or intra prediction at the time of encoding, (3) B-slice using unidirectional prediction, bidirectional prediction, or intra prediction at the time of encoding may be used.
  • slice layer In the slice layer, a set of data that is referred to by the hierarchical video decoding device 1 in order to decode a slice S (also referred to as a target slice) to be processed is defined. As shown in FIG. 3C, the slice S includes a sequence of coding tree units CTU 1 to CTU NC (NC is the total number of CTUs included in the slice S).
  • CTU layer In the CTU layer, a set of data referred to by the hierarchical video decoding device 1 for decoding a coding tree unit CTU to be processed (hereinafter also referred to as a target CTU) is defined.
  • the coding tree unit may be referred to as a coding tree block (CTB) or a maximum coding unit (LCU).
  • CTB coding tree block
  • LCU maximum coding unit
  • the coding tree unit CTU includes a CTU header CTUH and coding unit information CU 1 to CU NL (NL is the total number of coding unit information included in the CTU).
  • NL is the total number of coding unit information included in the CTU.
  • the coding tree unit CTU is divided into units for specifying a block size for each process of intra prediction or inter prediction and conversion.
  • the above unit of the coding tree unit CTU is divided by recursive quadtree division.
  • the tree structure obtained by this recursive quadtree partitioning is hereinafter referred to as a coding tree.
  • a unit corresponding to a leaf that is a node at the end of a coding tree is referred to as a coding node.
  • the encoding node is a basic unit of the encoding process, hereinafter, the encoding node is also referred to as an encoding unit (CU).
  • CU encoding unit
  • coding unit information (hereinafter referred to as CU information)
  • CU 1 to CU NL corresponds to each coding node (coding unit) obtained by recursively dividing the coding tree unit CTU into quadtrees. Information.
  • the root of the coding tree is associated with the coding tree unit CTU.
  • the coding tree unit CTU is associated with the highest node of the tree structure of the quadtree partition that recursively includes a plurality of coding nodes.
  • each coding node is half of the size of the coding node that is the parent node of the coding node (that is, the node that is one layer higher than the coding node).
  • the size of the coding tree unit CTU and the size that each coding unit can take are the size designation information of the minimum coding node and the maximum coding node and the minimum coding node included in the sequence parameter set SPS.
  • the size of the coding tree unit CTU is 64 ⁇ 64 pixels.
  • the size of the encoding node can take any of four sizes, that is, 64 ⁇ 64 pixels, 32 ⁇ 32 pixels, 16 ⁇ 16 pixels, and 8 ⁇ 8 pixels.
  • the CTU header CTUH includes an encoding parameter referred to by the hierarchical video decoding device 1 in order to determine a decoding method of the target CTU. Specifically, as shown in FIG. 3 (d), CTU division information SP_CTU for designating a division pattern of the target CTU into each CU, and a quantization parameter difference ⁇ qp (for designating the quantization step size) qp_delta).
  • the CTU division information SP_CTU is information representing a coding tree for dividing the CTU, and specifically, information specifying the shape and size of each CU included in the target CTU and the position in the target CTU. It is.
  • the CTU partition information SP_CTU does not need to explicitly include the shape or size of the CU.
  • the CTU division information SP_CTU may be a set of flags indicating whether or not the entire target CTU or a partial region of the CTU is to be divided into four. In that case, the shape and size of each CU can be specified by using the shape and size of the CTU together.
  • the quantization parameter difference ⁇ qp is a difference qp ⁇ qp ′ between the quantization parameter qp in the target CTU and the quantization parameter qp ′ in the CTU encoded immediately before the target CTU.
  • CU layer In the CU layer, a set of data referred to by the hierarchical video decoding device 1 for decoding a CU to be processed (hereinafter also referred to as a target CU) is defined.
  • the encoding node is a node at the root of a prediction tree (PT) and a transformation tree (TT).
  • PT prediction tree
  • TT transformation tree
  • the encoding node is divided into one or a plurality of prediction blocks, and the position and size of each prediction block are defined.
  • the prediction block is one or a plurality of non-overlapping areas constituting the encoding node.
  • the prediction tree includes one or a plurality of prediction blocks obtained by the above division.
  • Prediction processing is performed for each prediction block.
  • a prediction block that is a unit of prediction is also referred to as a prediction unit (PU).
  • PU partitioning There are roughly two types of partitioning in the prediction tree (hereinafter abbreviated as PU partitioning): intra prediction and inter prediction.
  • 2N ⁇ 2N (the same size as the encoding node), 2N ⁇ N, 2N ⁇ nU, 2N ⁇ nD, N ⁇ 2N, nL ⁇ 2N, nR ⁇ 2N, and the like are used as division methods. is there.
  • the encoding node is divided into one or a plurality of transform blocks, and the position and size of each transform block are defined.
  • the transform block is one or a plurality of non-overlapping areas constituting the encoding node.
  • the conversion tree includes one or a plurality of conversion blocks obtained by the above division.
  • the division in the transformation tree includes the one in which an area having the same size as the encoding node is assigned as the transformation block, and the one in the recursive quadtree division as in the above-described division of the tree block.
  • transform processing is performed for each conversion block.
  • the transform block which is a unit of transform is also referred to as a transform unit (TU).
  • the CU information CU specifically includes a skip flag SKIP, prediction tree information (hereinafter abbreviated as PT information) PTI, and conversion tree information (hereinafter abbreviated as TT information). Include TTI).
  • PT information prediction tree information
  • TT information conversion tree information
  • the skip flag SKIP is a flag indicating whether or not the skip mode is applied to the target PU.
  • the value of the skip flag SKIP is 1, that is, when the skip mode is applied to the target CU, A part of the PT information PTI and the TT information TTI in the CU information CU are omitted. Note that the skip flag SKIP is omitted for the I slice.
  • the PT information PTI is information related to a prediction tree (hereinafter abbreviated as PT) included in the CU.
  • PT prediction tree
  • the PT information PTI is a set of information related to each of one or a plurality of PUs included in the PT, and is referred to when a predicted image is generated by the hierarchical video decoding device 1.
  • the PT information PTI includes prediction type information PType and prediction information PInfo.
  • Prediction type information PType is information that specifies a predicted image generation method for the target PU. In the base layer, it is information that specifies whether intra prediction or inter prediction is used.
  • the prediction information PInfo is prediction information used in the prediction method specified by the prediction type information PType.
  • intra prediction information PP_Intra is included in the case of intra prediction.
  • inter prediction information PP_Inter is included in the case of inter prediction.
  • Inter prediction information PP_Inter includes prediction information that is referred to when the hierarchical video decoding device 1 generates an inter prediction image by inter prediction. More specifically, the inter prediction information PP_Inter includes inter PU division information that specifies a division pattern of the target CU into each inter PU, and inter prediction parameters (motion compensation parameters) for each inter PU. Examples of the inter prediction parameters include a merge flag (merge_flag), a merge index (merge_idx), an estimated motion vector index (mvp_idx), a reference image index (ref_idx), an inter prediction flag (inter_pred_flag), and a motion vector residual (mvd) including.
  • merge_flag merge flag
  • merge_idx merge index
  • mvp_idx estimated motion vector index
  • ref_idx reference image index
  • inter_pred_flag inter prediction flag
  • mvd motion vector residual
  • the intra prediction information PP_Intra includes an encoding parameter that is referred to when the hierarchical video decoding device 1 generates an intra predicted image by intra prediction. More specifically, the intra prediction information PP_Intra includes intra PU division information that specifies a division pattern of the target CU into each intra PU, and intra prediction parameters for each intra PU.
  • the intra prediction parameter is a parameter for designating an intra prediction method (prediction mode) for each intra PU.
  • the intra prediction parameter is a parameter for restoring intra prediction (prediction mode) for each intra PU.
  • Parameters for restoring the prediction mode include mpm_flag which is a flag related to MPM (Most Probable Mode, the same applies below), mpm_idx which is an index for selecting the MPM, and an index for designating a prediction mode other than the MPM. Rem_idx is included.
  • MPM is an estimated prediction mode that is highly likely to be selected in the target partition.
  • the MPM may include an estimated prediction mode estimated based on prediction modes assigned to partitions around the target partition, and a DC mode or Planar mode that generally has a high probability of occurrence.
  • prediction mode when simply described as “prediction mode”, it means the luminance prediction mode unless otherwise specified.
  • the color difference prediction mode is described as “color difference prediction mode” and is distinguished from the luminance prediction mode.
  • the parameter for restoring the prediction mode includes chroma_mode that is a parameter for designating the color difference prediction mode.
  • the TT information TTI is information regarding a conversion tree (hereinafter abbreviated as TT) included in the CU.
  • TT conversion tree
  • the TT information TTI is a set of information regarding each of one or a plurality of transform blocks included in the TT, and is referred to when the hierarchical video decoding device 1 decodes residual data.
  • the TT information TTI includes TT division information SP_TT that designates a division pattern for each transform block of the target CU, and quantized prediction residuals QD 1 to QD NT (NT is the target The total number of blocks included in the CU).
  • TT division information SP_TT is information for determining the shape of each transformation block included in the target CU and the position in the target CU.
  • the TT division information SP_TT can be realized from information (split_transform_unit_flag) indicating whether or not the target node is divided and information (trafoDepth) indicating the division depth.
  • each conversion block obtained by the division can take a size from 32 ⁇ 32 pixels to 4 ⁇ 4 pixels.
  • Each quantization prediction residual QD is encoded data generated by the hierarchical video encoding device 2 performing the following processes 1 to 3 on a target block that is a conversion block to be processed.
  • Process 1 The prediction residual obtained by subtracting the prediction image from the encoding target image is subjected to frequency conversion (for example, DCT conversion (Discrete Cosine Transform) and DST conversion (Discrete Sine Transform));
  • Process 2 Quantize the transform coefficient obtained in Process 1;
  • the PU partition type specified by the PU partition information includes the following eight patterns in total, assuming that the size of the target CU is 2N ⁇ 2N pixels. That is, 4 symmetric splittings of 2N ⁇ 2N pixels, 2N ⁇ N pixels, N ⁇ 2N pixels, and N ⁇ N pixels, and 2N ⁇ nU pixels, 2N ⁇ nD pixels, nL ⁇ 2N pixels, And four asymmetric splittings of nR ⁇ 2N pixels.
  • N 2 m (m is an arbitrary integer of 1 or more).
  • a prediction unit obtained by dividing the target CU is referred to as a prediction block or a partition.
  • enhancement layer encoded data For encoded data included in the layer representation of the enhancement layer (hereinafter, enhancement layer encoded data), for example, a data structure substantially similar to the data structure shown in FIG. 3 can be employed. However, in the enhancement layer encoded data, additional information can be added or parameters can be omitted as follows.
  • spatial scalability, temporal scalability, SNR scalability, and view scalability hierarchy identification information may be encoded.
  • the prediction type information PType included in the CU information CU is information that specifies whether the prediction image generation method for the target CU is intra prediction, inter prediction, or inter-layer image prediction.
  • the prediction type information PType includes a flag (inter-layer image prediction flag) that specifies whether or not to apply the inter-layer image prediction mode.
  • the inter-layer image prediction flag may be referred to as texture_rl_flag, inter_layer_pred_flag, or base_mode_flag.
  • the CU type of the target CU is an intra CU, an inter-layer CU, an inter CU, or a skip CU.
  • the intra CU can be defined in the same manner as the intra CU in the base layer.
  • the inter-layer image prediction flag is set to “0”, and the prediction mode flag is set to “0”.
  • An inter-layer CU can be defined as a CU that uses a decoded image of a picture in a reference layer for generating a predicted image.
  • the inter-layer image prediction flag is set to “1” and the prediction mode flag is set to “0”.
  • the skip CU can be defined in the same manner as in the HEVC method described above. For example, in the skip CU, “1” is set in the skip flag.
  • the inter CU may be defined as a CU that applies non-skip and motion compensation (MC).
  • MC non-skip and motion compensation
  • the encoded data of the enhancement layer may be generated by an encoding method different from the encoding method of the lower layer. That is, the encoding / decoding process of the enhancement layer does not depend on the type of the lower layer codec.
  • the lower layer is, for example, MPEG-2 or H.264. It may be encoded by the H.264 / AVC format.
  • the VPS may be extended to include a parameter representing a reference structure between layers.
  • SPS, PPS, and slice header are extended, and information related to a decoded image of a reference layer used for inter-layer image prediction (for example, an inter-layer reference image set, an inter-layer reference image list described later) , Syntax for deriving base control information or the like directly or indirectly).
  • a reference layer used for inter-layer image prediction for example, an inter-layer reference image set, an inter-layer reference image list described later
  • the parameters described above may be encoded independently, or a plurality of parameters may be encoded in combination.
  • an index is assigned to the combination of parameter values, and the assigned index is encoded.
  • the encoding of the parameter can be omitted.
  • FIG. 4 is a functional block diagram showing a schematic configuration of the hierarchical video decoding device 1.
  • the hierarchical video decoding device 1 decodes the hierarchical encoded data DATA supplied from the hierarchical video encoding device 2 to generate a target layer decoded image POUT # T.
  • the target layer is an enhancement layer. Therefore, the target layer is also an upper layer with respect to the reference layer. Conversely, the reference layer is also a lower layer with respect to the target layer.
  • the hierarchical video decoding device 1 includes a NAL demultiplexing unit 11, a variable length decoding unit 12, a decoded image buffer 13, a prediction parameter restoration unit 14, a texture restoration unit 15, a base decoding unit 16, and A base decoded image buffer 17 is provided.
  • the NAL demultiplexing unit 11 demultiplexes hierarchically encoded data DATA transmitted in units of NAL units in NAL (Network Abstraction Layer).
  • NAL is a layer provided to abstract communication between a VCL (Video Coding Layer) and a lower system that transmits and stores encoded data.
  • VCL Video Coding Layer
  • VCL is a layer that performs video encoding processing, and encoding is performed in the VCL.
  • the lower system here is H.264.
  • H.264 / AVC and HEVC file formats and MPEG-2 systems are supported.
  • NAL a bit stream generated by VCL is divided into units called NAL units and transmitted to a destination lower system.
  • the NAL unit includes encoded data encoded by the VCL and a header for appropriately delivering the encoded data to the destination lower system.
  • the encoded data in each layer is stored in the NAL unit, is NAL multiplexed, and is transmitted to the hierarchical moving image decoding apparatus 1.
  • the NAL demultiplexing unit 11 demultiplexes the hierarchical encoded data DATA, and extracts the target layer encoded data DATA # T and the reference layer encoded data DATA # R. Further, the NAL demultiplexing unit 11 supplies the target layer encoded data DATA # T to the variable length decoding unit 12, and also supplies the reference layer encoded data DATA # R to the base decoding unit 16.
  • the variable length decoding unit 12 decodes various syntax values from the binary included in the target layer encoded data DATA # T.
  • the decoded syntax values are classified and output.
  • the syntax value classification includes prediction information corresponding to the PTI in FIG. 3E and conversion coefficient information corresponding to the TTI in FIG.
  • variable length decoding unit 12 decodes the CU information from the encoded data DATA # T.
  • the CU information includes information for specifying the shape, size, and position of the CU.
  • the variable length decoding unit 12 decodes a parameter set used for decoding the target layer from the encoded data DATA # T.
  • the parameter set includes VPS, SPS, PPS, and slice header.
  • variable length decoding unit 12 supplies the decoded prediction information and CU information to the prediction parameter restoration unit 14.
  • the variable length decoding unit 12 supplies the decoded transform coefficient information, CU information, and parameter set to the texture restoration unit 15.
  • the decoded image buffer 13 is a picture buffer that records a decoded image of each picture of the target layer restored by the texture restoration unit 15.
  • a decoded image corresponding to each picture of the target layer is recorded in association with the output order (POC: “Picture” Order “Count”).
  • POC output order
  • the decoded image buffer 13 is also referred to as DPB (Decoded Picture Buffer).
  • DPB records the decoded image of the target layer.
  • the base decoding unit 16 decodes, from the reference layer encoded data DATA # R, a base decoded image that is a decoded image of the reference layer that is referenced when decoding a decoded image corresponding to the target layer.
  • the base decoding unit 16 supplies the decoded base decoded image to the texture restoration unit 15.
  • the base decoding unit 16 may decode the base prediction parameter corresponding to the prediction parameter in the reference layer from the reference layer encoded data #R and supply the decoded base prediction parameter to the prediction parameter restoration unit 14.
  • the base decoded image buffer 17 is a picture buffer that records a decoded image of each picture of the reference layer restored by the base decoding unit 16.
  • the decoded images corresponding to the pictures in the reference layer are recorded in association with the output order (POC).
  • POC output order
  • the base decoded image buffer 17 is also referred to as BASE_DPB (Base (Decoded Picture Buffer).
  • the prediction parameter restoration unit 14 restores the prediction parameter using the CU information and the prediction information.
  • the prediction parameter restoration unit 14 supplies the restored prediction parameter to the texture restoration unit 15.
  • the texture restoration unit 15 generates a decoded image POUT # T using the CU information, the transform coefficient information, the base decoded image, and the prediction parameter, and outputs the decoded image POUT # T to the outside.
  • information regarding the restored decoded image is stored in the decoded image buffer 13.
  • FIG. 1 is a functional block diagram illustrating the configuration of the texture restoration unit 15.
  • the texture restoration unit 15 includes an inverse orthogonal transform / inverse quantization unit 151, a texture prediction unit 152, an adder 153, a loop filter unit 154, a reference image list setting unit 155, and an inter-layer reference image list setting. Part 156 is provided.
  • the texture prediction unit 152 includes an inter prediction unit 152T, an intra prediction unit 152S, and an inter-layer image prediction unit 152B.
  • the inverse orthogonal transform / inverse quantization unit 151 (1) inversely quantizes the quantized prediction residual QD included in the transform coefficient information supplied from the variable length decoding unit 12, and (2) obtained by inverse quantization.
  • the DCT coefficient is subjected to inverse orthogonal transformation (for example, DCT (Discrete Cosine Transform) transformation), and (3) the prediction residual D obtained by the inverse orthogonal transformation is supplied to the adder 153. Note that the generation of the prediction residual D is performed in units of transform blocks.
  • the texture prediction unit 152 refers to a base decoded image (also referred to as a base reference image) recorded in the base decoded image buffer 17 or a decoded decoded image recorded in the decoded image buffer 13 according to the prediction parameter. Generate a predicted image.
  • the texture prediction unit 152 supplies the prediction image generated by the inter prediction unit 152T, the intra prediction unit 152S, or the inter-layer image prediction unit 152B to the adder 153.
  • the inter prediction unit 152T generates a prediction image of each prediction block by inter prediction. Specifically, the predicted image is generated by motion compensation prediction based on the pixel value of the region on the reference image indicated by the motion vector included in the prediction parameter.
  • the reference image is a decoded image recorded on the decoded image buffer 13, and is specified by a combination of a reference image index included in the prediction parameter and a reference image list. The details of the predicted image generation processing by inter prediction in the inter prediction unit 152T will be described later together with the reference image list setting processing in the reference image list setting unit 155.
  • the intra prediction unit 152S generates a prediction image related to each intra prediction partition by intra prediction. Specifically, using the spatial prediction mode supplied as a prediction parameter from the intra prediction information restoration unit 144S, a prediction image is generated by spatial prediction referring to the decoded neighboring pixel values of the target PU.
  • the inter-layer image prediction unit 152B refers to the base reference image and generates a predicted image by inter-layer image prediction.
  • the base reference image is selected from the decoded images recorded in the base decoded image buffer 17. More precisely, the base reference image is selected from the base decoded images included in the inter-layer reference image set in the target picture and indicated to be referable from the target picture.
  • a base reference image index included in the prediction parameter is used for selection of the base reference image. Which base decoded image is used as a reference image is determined by a combination of the base reference image index and the inter-layer reference image list. Details of the predicted image generation processing by inter-layer image prediction in the inter-layer image prediction unit 152B will be described later together with the inter-layer reference image list setting processing in the inter-layer reference image list setting unit 156.
  • the adder 153 generates a decoded image by adding the prediction image supplied from the texture prediction unit 152 and the prediction residual D supplied from the inverse orthogonal transform / inverse quantization unit 151.
  • the loop filter unit 154 subjects the decoded image supplied from the adder 153 to deblocking processing and filtering processing using adaptive filter parameters.
  • the reference image list setting unit 155 generates a reference image list used for motion compensation prediction in the inter prediction unit 152T in the texture prediction unit 152 based on the syntax related to the reference image list included in the parameter set.
  • the inter-layer reference image list setting unit 156 uses the inter-layer image prediction in the inter-layer image prediction unit 152B in the texture prediction unit 152 based on the syntax related to the inter-layer reference image list included in the parameter set. A reference image list is generated.
  • a decoded image recorded at a position on the reference image list indicated by the reference image index (refIdx) is used as a reference image.
  • refIdx the reference image index
  • the position of 0 in the reference image list, that is, the first decoded image in the reference image list is used as a reference image for motion compensation prediction.
  • the reference picture list (RPL: “Reference Picture List”) is a candidate list of reference pictures that can be referred to when applying motion compensation prediction. There may be two or more reference image lists. In this embodiment, it is assumed that an L0 reference image list (L0 reference list) and an L1 reference image list (L1 reference list) are used.
  • the RPL correction information is information included in the parameter set (SPS or slice header), and indicates the order of the reference images in the reference image list.
  • a reference picture set represents a set of pictures that may be used as reference pictures in a target picture or a picture that follows the target picture in decoding order.
  • the RPS information is information included in a parameter set (SPS or slice header), and is used to derive a reference image set that is set when each picture is decoded.
  • a picture that is not included in the reference image set for a specific picture is not used for decoding pictures following the specific picture in decoding order. Therefore, the hierarchical moving picture decoding apparatus can delete pictures not included in the reference picture set from the decoded picture buffer.
  • the reference image list can be expressed as an ordered list by selecting pictures that may be used as reference images in the target picture from the pictures included in the reference image set.
  • FIG. 6A shows pictures constituting a moving image arranged in the order of display, and the numbers in the figure represent POCs corresponding to the pictures.
  • the POC is assigned to each picture so as to be in ascending order in the output order.
  • a picture with a POC of 9 indicated as “curr” is the current decoding target picture.
  • FIG. 6B shows an example of RPS information applied to the target picture.
  • the reference image set (current RPS) in the current picture is derived based on the RPS information.
  • the RPS information includes long-term RPS information and short-term RPS information.
  • long-term RPS information the POC of a picture to be included in the current RPS is directly indicated.
  • the short-term RPS information a picture to be included in the current RPS is recorded as a difference with respect to the POC of the target picture.
  • “Before” indicates a picture ahead of the target picture, that is, a picture that is displayed earlier than the target picture.
  • “After” indicates a picture that is behind the publicity of the target picture, that is, a picture that is displayed later than the target picture.
  • FIG. 6C shows an example of the current RPS derived when the RPS information exemplified in FIG. 6B is applied when the POC of the target picture is 0.
  • FIGS. 6D and 6E show examples of reference image lists generated from reference images included in the current RPS.
  • Each element of the reference image list is assigned an index (reference image index) (denoted as idx in the figure).
  • FIG. 6D shows an example of the L0 reference list.
  • the L0 reference list includes reference pictures included in the current RPS having POCs of 5, 8, 10, 1 in this order.
  • FIG. 6E shows an example of the L1 reference list.
  • the L1 reference list includes reference pictures included in the current RPS having POCs of 10, 5, and 8 in this order. Note that, as shown in the example of the L1 reference list, it is not necessary to include all reference images (referenceable pictures) included in the current RPS in the reference image list.
  • the maximum number of elements in the reference image list is the number of reference images included in the current RPS. In other words, the length of the reference image list is equal to or less than the number of pictures that can be referred to in the current picture.
  • FIG. 7 shows a corrected reference picture list (FIG. 7C) obtained when RPL correction information (FIG. 7B) is applied to a specific reference picture list (FIG. 7A).
  • the pre-correction L0 reference list shown in FIG. 7A is the same as the L0 reference list described in FIG.
  • the RPL correction information shown in FIG. 7B is a list whose elements are reference image index values, and values 0, 2, 1, and 3 are stored in order from the top. This RPL correction information indicates that the reference images indicated by the reference image indexes 0, 2, 1, and 3 included in the reference list before correction are used as reference images in the corrected L0 reference list in this order.
  • FIG. 7C shows the modified L0 reference list, which includes pictures with POCs of 5, 10, 8, 1 in this order.
  • the prediction blocks in the target CU are sequentially set as the target prediction blocks, and the following processes from S102 to S105 are sequentially executed.
  • the reference image at the position indicated by the L0 reference index in the L0 reference list is set as the reference image of the target prediction block.
  • An L0 predicted image is generated based on the decoded pixel value of the reference image indicated by the L0 motion vector.
  • the reference image at the position indicated by the L1 reference index in the L1 reference list is set as the reference image of the target prediction block.
  • An L1 predicted image is generated based on the pixel value at the position indicated by the L1 motion vector on the reference image.
  • the L0 prediction image is set as the prediction image of the target prediction block.
  • the L1 prediction image is set as the prediction image of the target prediction block.
  • the target prediction block uses both L0 prediction and L1 prediction (when bi-prediction is used)
  • the weighted average of the L0 prediction image and the L1 prediction image is used as the prediction image of the target prediction block.
  • FIG. 8 is a schematic diagram schematically showing inter-layer image prediction using a base decoded image.
  • a prediction image of a target block (which indicates a prediction block to be decoded (hereinafter the same)) of a target layer (enhancement layer)
  • a reference block (referred to as a predicted block to be referred to hereinafter) that is a block on a picture that is located at the same time as the target block and is a block spatially arranged at a position corresponding to the target block. The same))).
  • a predicted image of a target block of a target layer is a picture that is located at a time that is temporally different from the target block in the reference layer.
  • it can be generated based on a decoded image of a reference block which is a block spatially arranged at a position corresponding to the target block.
  • the upsampling may be performed. Also, if necessary, filtering the decoded image of the reference block (sample adaptive offset (SAO), adaptive loop filter (ALF), edge enhancement, noise removal, deinterlacing, etc.)
  • the intra prediction image may be generated with reference to the base decoded image to which the above is applied.
  • a picture of a reference layer used for predictive image generation by inter-layer image prediction is referred to as a base reference image.
  • the base reference image is selected from the inter-layer reference image list.
  • the inter-layer reference picture list (IL-RPL: “Inter-Layer Reference” Picture List) is a candidate list of base reference pictures that can be referred to when applying inter-layer picture prediction.
  • the IL-RPL correction information is information included in the parameter set (SPS or slice header) and indicates the order of the base reference images in the base reference image list.
  • the inter-layer reference image list is a candidate list of base decoded images that can be referred to when a predicted image is generated in the target layer (enhancement layer).
  • the inter-layer reference image list can also be used when a method called generalized residual prediction is used.
  • the generalized residual prediction is generally a prediction in which a prediction residual estimation value of a target block is derived from a plurality of decoded images of a reference layer, and a prediction image of the target block is generated using the prediction residual estimation value. Is the method.
  • An inter-layer reference image set (IL-RPS: Inter-Layer Reference Picture Set) is used for a target picture on the target layer (enhancement layer) or a picture on the target layer (enhancement layer) that follows the target picture in decoding order.
  • IL-RPS Inter-Layer Reference Picture Set
  • the IL-RPS information is information included in a parameter set (SPS or slice header), and is used to derive a base reference image set that is set when each picture on the target layer (enhancement layer) is decoded.
  • Pictures on the reference layer that are not included in the inter-layer reference image set for a specific picture on the target layer (enhancement layer) are used for decoding pictures on the target layer (enhancement layer) after the specific picture in decoding order. I can't. Therefore, if a picture on the reference layer is not used for decoding a picture on the reference layer after the current picture, the hierarchical video decoding apparatus uses a picture not included in the reference picture set as a base. It can be deleted from the decoded image buffer.
  • FIG. 9 is a diagram exemplifying a state of an inter-layer reference image set, an inter-layer reference image list, each reference image set of an enhancement layer and a reference layer, and a reference image list when decoding hierarchically encoded data including two layers. .
  • FIG. 9A shows the display order of the pictures B1, B2, B3 on the reference layer and the pictures E1, E2, E3 on the target layer (enhancement layer) and the reference relationship by inter prediction or inter-layer image prediction.
  • FIG. 9B shows the decoding order of the pictures, the reference image set (EL-RPS) of the target layer (enhancement layer) at the time of decoding each picture, the inter-layer reference image set (IL-RPS), and the reference layer.
  • description will be given in the order of decoding.
  • B1 decoding Since B1 is the first picture of the reference layer, BL-RPS is empty (“ ⁇ ” in the figure). Since inter prediction is not used, neither L0-RPL nor L1-RPL is used ("-" in the figure). Further, since the reference layer is also a base layer, inter-layer image prediction cannot be used, and IL-RPL is not used (the same applies to B2 and B3 decoding).
  • EL-RPS is empty because E1 is the first picture of the target layer (enhancement layer).
  • the decoded image of B1 can be referred to, that is, B1 is included in IL-RPS and IL-RPL.
  • B1 can refer to B1 by inter prediction. That is, B1 is included in BL-RPS. Also, B1 is included in L0_RPL and L1_RPL.
  • E1 can be referred to by inter prediction. That is, E1 is included in EL-RPS. In addition, E1 is included in L0_PRL and L1_RPL. E3 can refer to B3 by inter-layer image prediction. That is, B3 is included in IL-RPS and IL-RPL.
  • B2 can refer to B1 and B3 by inter prediction. That is, B1 and B3 are included in the BL-RPS. Both L0-RPL and L1-RPL include B1 and B3. In L0-RPL, B1 and B3 are in this order, and in L1-RPL, B3 and B1 are in this order.
  • E2 can refer to E1 and E3 by inter prediction. That is, E1 and E3 are included in EL-RPS. Both L0-RPL and L1-RPL include E1 and E3, but L0-RPL is in the order of E1, E3, and L1-RPL is in the order of E3, E1.
  • B2 can be referred to by inter-layer image prediction. That is, B2 is included in IL-RPS and IL-RPL.
  • B1 is not included in IL-RPS during E3 decoding. This means that B1 is not used for inter-layer image prediction in pictures on the enhancement layer whose decoding order is later than E3. Therefore, the hierarchical moving picture decoding apparatus can delete the decoded picture of B1 from the base decoded picture buffer when B1 is no longer included in the BL-RPS. If IL-RPS is not used, even if B1 is no longer included in BL-RPS, it cannot be determined whether B1 can be used for inter-layer image prediction in pictures on the target layer (enhancement layer) B1 cannot be deleted from the base decoded image buffer.
  • IL-RPS a decoded image of a reference layer that is not used for inter prediction or inter-layer image prediction can be identified and deleted from the base reference image, so that compared with the case where IL-RPS is not used.
  • the amount of memory can be reduced.
  • FIG. 10 illustrates the state of each reference image set and reference image list of an inter-layer reference image set, an inter-layer reference image list, a target layer (enhancement layer) and a reference layer, at the time of decoding hierarchically encoded data including two layers. It is a figure which shows the example of.
  • the example shown in FIG. 10 is different from the example described in FIG. 9 in that the relationship between the decoding order of the reference layer and the display order and the relationship between the display order of the target layer (enhancement layer) and the decoding order do not match.
  • FIG. 10A shows the display order of pictures B1, B2, B3, E1, E2, and E3 and the reference relationship by inter prediction or inter-layer image prediction.
  • FIG. 10B shows the decoding order of the pictures and the EL-RPS, IL-RPS, BL-RPS, L0-RPL, L1-RPL at the time of decoding each picture. And the state of IL-RPL.
  • description will be given in the order of decoding.
  • B1 decoding Since B1 is the first picture in the reference layer, BL-RPS is empty. Also, since inter prediction is not used, neither L0-RPL nor L1-RPL is used. Further, since the reference layer is also a base layer, inter-layer image prediction cannot be used, and IL-RPL is not used (the same applies to B2 and B3 decoding).
  • B2 can refer to B1 by inter prediction. That is, B1 is included in BL-RPS. Also, B1 is included in L0_RPL and L1_RPL.
  • B1 can refer to B1 by inter prediction. That is, B1 is included in BL-RPS. Also, B1 is included in L0_RPL and L1_RPL.
  • EL-RPS is empty because E1 is the first picture of the target layer (enhancement layer).
  • the decoded image of B1 can be referred to, that is, B1 is included in IL-RPS and IL-RPL.
  • E1 can be referred to by inter prediction. That is, E1 is included in EL-RPS. In addition, E1 is included in L0_PRL and L1_RPL. E3 can refer to B3 by inter-layer image prediction. That is, B3 is included in IL-RPL. B1 is not referred to in the inter-layer image prediction in E3, but is referred to in the inter-layer image prediction in E2 decoded after E3. Therefore, IL-RPS includes B1 in addition to B3.
  • E2 can refer to E1 and E3 by inter prediction. That is, E1 and E3 are included in EL-RPS. Both L0-RPL and L1-RPL include E1 and E3, but L0-RPL is in the order of E1, E3, and L1-RPL is in the order of E3, E1.
  • B1 and B3 can be referred to by inter-layer image prediction. That is, B1 and B3 are included in IL-RPS and IL-RPL.
  • B2 is not included in BL-RPS at the time of B3 decoding. Therefore, it can be seen that B2 is not referenced at the time of decoding of pictures on the reference layers after B3 at the time of B3 decoding.
  • B2 is not included in IL-RPS. Therefore, it can be seen that, at the time of E1 decoding, B2 is not referred to when decoding pictures on enhancement layers after E1. Therefore, B2 can be deleted from the base reference image buffer at the time of E1 decoding.
  • the timing at which the decoded image of the reference layer is no longer used for predictive image generation is specified, and the base decoded image It can be deleted from the buffer, thereby reducing the amount of memory.
  • the method using the inter-layer reference image set is effective even when the decoding order of the reference layer and the target layer (enhancement layer) and the decoded image of the reference layer used when generating the predicted image of each picture are not determined in advance.
  • variable length decoding unit 12 decodes the prediction information, the CU information, and the parameter set from the input encoded data, and outputs the decoded information to an appropriate output destination.
  • the details of the decoding of the syntax related to the reference image set, the reference image list, the inter-layer reference image set, and the inter-layer reference image list that are deeply related to the present invention will be described. Processing for deriving a reference image set, a reference image list, an inter-layer reference image set, and an inter-layer reference image list from the decoding syntax will also be described.
  • the RPS information is information decoded from the SPS or slice header in order to construct a reference image set.
  • the RPS information includes the following. 1. 1. SPS short-term RPS information: short-term reference image set information included in the SPS 2. SPS long-term RP information: long-term reference image information included in the SPS SH short-term RPS information: short-term reference image set information included in the slice header SH long-term RP information: long-term reference image information included in the slice header (1. SPS short-term RPS information) The SPS short-term RPS information includes information on a plurality of short-term reference image sets that can be used from each picture that refers to the SPS.
  • the short-term reference image set is a set of pictures that can be a reference image (short-term reference image) specified by a relative position with respect to the target picture (for example, a POC difference from the target picture).
  • FIG. 11 illustrates a part of the SPS syntax table used at the time of SPS decoding.
  • the portion (A) in FIG. 11 corresponds to SPS short-term RPS information.
  • the SPS short-term RPS information includes the number of short-term reference image sets (num_short_term_ref_pic_sets) included in the SPS and information on each short-term reference image set (short_term_ref_pic_set (i)).
  • FIG. 12 illustrates a syntax table of a short-term reference image set used at the time of SPS decoding and slice header decoding.
  • the short-term reference image set information includes the number of short-term reference images (num_negative_pics) whose display order is earlier than that of the target picture and the number of short-term reference images (num_positive_pics) whose display order is later than that of the target picture.
  • a short-term reference image whose display order is earlier than the target picture is referred to as a front short-term reference image
  • a short-term reference image whose display order is later than the target picture is referred to as a rear short-term reference image.
  • the short-term reference image set information includes, for each forward short-term reference image, the absolute value of the POC difference with respect to the target picture (delta_poc_s0_minus1 [i]) and the presence / absence of the possibility of being used as a reference image of the target picture ( used_by_curr_pic_s0_flag [i]).
  • the absolute value of the POC difference with respect to the target picture delta_poc_s1_minus1 [i]
  • the presence / absence of the possibility of being used as the reference image of the target picture used_by_curr_pic_s1_flag [i]
  • the SPS long-term RP information includes information on a plurality of long-term reference images that can be used from each picture that refers to the SPS.
  • a long-term reference image is a picture specified by an absolute position (for example, POC) in a sequence.
  • the part (B) in FIG. 11 corresponds to the SPS long-term RP information.
  • the SPS long-term RP information includes information (long_term_ref_pics_present_flag) indicating the presence or absence of a long-term reference image transmitted by SPS, the number of long-term reference images included in the SPS (num_long_term_ref_pics_sps), and information on each long-term reference image.
  • the long-term reference image information includes the POC of the reference image (lt_ref_pic_poc_lsb_sps [i]) and the presence / absence of the possibility of being used as the reference image of the target picture (used_by_curr_pic_lt_sps_flag [i]).
  • the POC of the reference image may be the POC value itself associated with the reference image, or the POC LSB (Least Significant Bit), that is, the POC divided by a predetermined power of two. The remainder value may be used.
  • POC LSB east Significant Bit
  • the SH short-term RPS information includes information of a single short-term reference image set that can be used from a picture that references a slice header.
  • FIG. 13 illustrates a part of a slice header syntax table used at the time of decoding a slice header.
  • the part (A) in FIG. 13 corresponds to SH short-term RPS information.
  • the SH short-term RPS information includes a flag (short_term_ref_pic_set_sps_flag) indicating whether a short-term reference image set is selected from short-term reference image sets decoded by SPS or explicitly included in a slice header.
  • an identifier short_term_ref_pic_set_idx
  • the SH long-term RP information includes long-term reference image information that can be used from a picture that references a slice header.
  • SH long-term RP information Decoding of SH long-term RP information will be described with reference to FIG. 13 again.
  • the part (B) in FIG. 13 corresponds to the SH long-term RP information.
  • the SH long-term RP information is included in the slice header only when a long-term reference image is available (long_term_ref_pic_present_flag) in the target picture.
  • the number of reference images (num_long_term_sps) that can be referred to in the target picture among the long-term reference images decoded in the SPS is the SH long-term RP information. included.
  • the number of long-term reference images (num_long_term_pics) explicitly transmitted in the slice header is included in the SH long-term RP information.
  • information (lt_idx_sps [i]) for selecting the num_long_term_sps number of long-term reference images from the long-term reference images already transmitted by the SPS is included in the SH long-term RP information.
  • the number of num_long_term_pics is the same as the POC of the reference image (poc_lsb_lt [i]), and the presence / absence of use as a reference image of the target picture (used_by_curr_pic_lt_flag [i]) is included.
  • the RPL correction information is information decoded from the SPS or slice header in order to construct the reference image list RPL.
  • the RPL correction information includes SPS list correction information and SH list correction information.
  • the SPS list correction information is information included in the SPS, and is information related to restrictions on reference image list correction.
  • the SPS list correction information will be described with reference to FIG. 11 again.
  • a portion (C) in FIG. 11 corresponds to SPS list correction information.
  • a flag restricted_ref_pic_lists_flag
  • a flag whether or not information related to list rearrangement exists in the slice header lists_modification_present_flag.
  • the SH list correction information is information included in the slice header, and the update information of the length (reference list length) of the reference image list applied to the target picture, and the reordering information (reference list reordering information) of the reference image list ) Is included.
  • the SH list correction information will be described with reference to FIG. FIG. 14 illustrates a part of a slice header syntax table used at the time of decoding the slice header.
  • the part (C) in FIG. 14 corresponds to SH list correction information.
  • the reference list length update information includes a flag (num_ref_idx_active_override_flag) indicating whether or not the list length is updated.
  • a flag (num_ref_idx_active_override_flag) indicating whether or not the list length is updated.
  • information (num_ref_idx_l0_active_minus1) indicating the reference list length after the change of the L0 reference list and information (num_ref_idx_l1_active_minus1) indicating the reference list length after the change of the L1 reference list are included.
  • FIG. 15 exemplifies a syntax table of reference list rearrangement information used when decoding a slice header.
  • the reference list rearrangement information includes an L0 reference list rearrangement presence / absence flag (ref_pic_list_modification_flag_l0).
  • the L0 reference list rearrangement order (list_entry_l0 [i]) is included in the reference list rearrangement information.
  • NumPocTotalCurr is a variable representing the number of reference images that can be used in the current picture. Therefore, the L0 reference list rearrangement order is included in the slice header only when the L0 reference list is rearranged and the number of reference images available in the current picture is larger than two.
  • the L1 reference list rearrangement presence / absence flag (ref_pic_list_modification_flag_l1) is included in the reference list rearrangement information.
  • the L1 reference list rearrangement order (list_entry_l1 [i]) is included in the reference list rearrangement information.
  • the L1 reference list rearrangement order is included in the slice header only when the L1 reference list is rearranged and the number of reference images available in the current picture is larger than two.
  • the reference picture set RPS is a set of pictures (referenceable pictures) that can be used as reference pictures at the time of decoding in a target picture or a picture on the same layer following the target picture in decoding order.
  • the reference image set is divided into the following two subsets according to the types of referenceable pictures.
  • List of current pictures that can be referred to ListCurr List of pictures that can be referred to in the target picture among pictures on the decoded picture buffer.
  • ListFoll List that can be referred to subsequent pictures
  • ListFoll A picture that is not referenced in the target picture but is subsequent to the target picture in decoding order.
  • NumCurrList The number of pictures included in the current picture referenceable list is referred to as the current picture referenceable picture number NumCurrList. Note that NumPocTotalCurr described with reference to FIG. 15 is the same as NumCurrList.
  • the current picture referable list further includes three partial lists.
  • Current picture long-term referable list ListLtCurr: Current picture referenceable picture specified by SPS long-term RP information or SH long-term RP information
  • ListStCurrBefore List specified by SPS short-term RPS information or SH short-term RPS information Current picture referenceable picture whose display order is earlier than the target picture.
  • Current picture short-term backward referenceable list ListStCurrAfter: current picture referenceable picture specified by SPS short-term RPS information or SH short-term RPS information.
  • the subsequent picture referable list is further composed of two partial lists.
  • Subsequent picture long-term referable list ListLtFoll Subsequent picture referenceable picture specified by SPS long-term RP information or SH long-term RP information.
  • Subsequent picture short-term referable list ListStFoll current picture referable picture specified by SPS short-term RPS information or SH short-term RPS information.
  • the reference image list setting unit 155 includes a reference image set RPS, that is, a current picture short-term forward referenceable list ListStCurrBefore, a current picture short-term backward-referenceable list ListStCurrAfter, a current picture long-term referenceable list ListLtCurr, a subsequent picture short-term referenceable list ListStFoll, and The subsequent picture long-term referable list ListLtFoll is generated by the following procedure.
  • a variable NumPocTotalCurr representing the number of pictures that can be referred to the current picture is derived. Note that each of the referable lists is set to be empty before starting the following processing.
  • a single short-term reference image set used for decoding the target picture is specified. Specifically, when the value of short_term_ref_pic_set_sps included in the SH short-term RPS information is 0, the short-term RPS explicitly transmitted by the slice header included in the SH short-term RPS information is selected. Other than that (when the value of short_term_ref_pic_set_sps is 1, the short-term RPS indicated by short_term_ref_pic_set_idx included in the SH short-term RPS information is selected from a plurality of short-term RPSs included in the SPS short-term RPS information.
  • the POC value of the reference image is derived by subtracting the value of “delta_poc_s0_minus1 [i] +1” from the POC value of the target picture.
  • the reference image is a backward short-term reference image, it is derived by adding the value of “delta_poc_s1_minus1 [i] +1” to the POC value of the target picture.
  • (S203) Confirm the forward reference images included in the short-term RPS in the order of transmission, and if the associated used_by_curr_pic_s0_flag [i] value is 1, add the forward reference image to the current picture short-term forward-referenceable list ListStCurrBefore To do. In other cases (used_by_curr_pic_s0_flag [i] has a value of 0), the forward reference image is added to the subsequent picture short-term referable list ListStFoll.
  • the long-term reference image set used for decoding the target picture is specified based on the SPS long-term RP information and the SH long-term RP information. Specifically, num_long_term_sps reference images are selected from the reference images included in the SPS long-term RP information, and are sequentially added to the long-term reference image set. The selected reference image is the reference image indicated by lt_idx_sps [i]. Subsequently, the reference images included in the SH long-term RP information are sequentially added to the long-term reference image set as many reference images as num_long_term_pics.
  • the POC of the long-term reference image is directly derived from the value of poc_lst_lt [i] or lt_ref_pic_poc_lsb_sps [i] decoded in association with each other.
  • the value of the variable NumPocTotalCurr is set to the sum of reference images that can be referenced from the current picture. That is, the value of the variable NumPocTotalCurr is set to the sum of the numbers of elements of the three lists of the current picture short-term forward referenceable list ListStCurrBefore, the current picture short-term backward referenceable list ListStCurrAfter, and the current picture long-term referenceable list ListLtCurr.
  • the reference image list derivation unit generates a reference image list RPL based on the reference image set RPS and the RPL correction information.
  • the reference image list is composed of two lists, an L0 reference list and an L1 reference list. First, the construction procedure of the L0 reference list will be described.
  • the L0 reference list is constructed by the procedure shown in S301 to S307 below.
  • the elements of the provisional L0 reference list are rearranged to form the L0 reference list.
  • the element RefPicList0 [rIdx] of the L0 reference list corresponding to the reference image index rIdx is derived by the following expression.
  • RefListTemp0 [i] represents the i-th element of the provisional L0 reference list.
  • RefPicList0 [rIdx] RefPicListTemp0 [list_entry_l0 [rIdx]]
  • the value recorded at the position indicated by the reference image index rIdx is referred to, and the reference recorded at the position of the value in the provisional L0 reference list
  • the image is stored as a reference image at the position of rIdx in the L0 reference list.
  • the L1 reference list can also be constructed in the same procedure as the L0 reference list.
  • the L0 reference image, the L0 reference list, the provisional L0 reference list, and list_entry_l0 may be replaced with the L1 reference image, the L1 reference list, the provisional L1 reference list, and list_entry_l1, respectively.
  • the IL-RPS information is information decoded from the SPS or slice header in order to construct an inter-layer reference image set. Since the target picture is a picture on the target layer (enhancement layer), the SPS and slice header in the following description mean an SPS and a slice header referred to when decoding the picture of the target layer (enhancement layer).
  • FIG. 16 is a diagram illustrating a part of an SPS syntax table (seq_parameter_set_rbsp) related to IL-RPS information.
  • the SPS includes an SPS inter-layer RPS estimation flag (sps_infer_inter_layer_rps_flag) and an inter-layer RPS number (num_inter_layer_ref_pic_sets) as syntax elements that are IL-RPS information.
  • an inter-layer RPS (inter_layer_ref_pic_set (i)) is included as a syntax structure that is IL-RPS information.
  • the SPS inter-layer RPS estimation flag is a flag indicating whether or not an inter-layer reference image set is estimated in a sequence to which SPS is applied.
  • the value of the SPS inter-layer RPS estimation flag is 1, it indicates that the inter-layer reference image set is estimated.
  • the inter-layer reference image set is decoded from the explicitly encoded data. It shows that.
  • an inter-layer reference image set is estimated, for example, an inter-layer reference image set in each picture can be realized by duplicating a reference image set in a picture on a reference layer having the same output order as that picture.
  • the inter-layer RPS number indicates the number of inter-layer reference image set information included in the SPS.
  • the SPS includes the same number of inter-layer reference image set information as the number of RPS between layers.
  • FIG. 17 illustrates a syntax table of an inter-layer reference image set (inter_layer_ref_pic_set) used at the time of SPS decoding and slice header decoding.
  • the inter-layer reference image set information includes the number of inter-layer reference images (num_negative_il_pics) whose display order is earlier than that of the target picture, and the number of inter-layer reference images (num_positive_il_pics) whose display order is later than that of the target picture.
  • an inter-layer reference image whose display order is earlier than that of the target picture is referred to as a forward inter-layer reference image
  • an inter-layer reference image whose display order is later than that of the target picture is referred to as a backward inter-layer reference image.
  • the absolute value of the POC difference for the target picture (delta_poc_il_s0_minus1 [i]) and the target picture can be used as the inter-layer reference image for each forward inter-layer reference image.
  • the presence or absence of sex (used_by_curr_pic_il_s0_flag [i]) is included.
  • num_negative_pics, delta_poc_il_s0_minus [i], and used_by_curr_pic_il_s0_flag [i] are inter-layer reference image set information indicating the inter-layer reference image included in the inter-layer reference image set.
  • the absolute value of the POC difference with respect to the target picture (delta_poc_il_s1_minus1 [i]) and the presence / absence of the possibility that the target picture is used as the inter-layer reference image (used_by_curr_pic_il_s1_flag [i] ) Is included.
  • num_positive_pics, delta_poc_il_s1_minus [i], and used_by_curr_pic_il_s1_flag [i] are inter-layer reference image set information indicating the inter-layer reference image in the inter-layer reference image set.
  • a flag indicating whether or not a picture on the reference layer (reference image between the same time layers) having the same display order (POC) as the target picture is included in the inter-layer reference image set.
  • Il_col_pic_in_rps_flag When the inter-layer reference image is included in the inter-layer reference image set (when il_col_pic_in_rps_flag is 1), the presence / absence of the possibility that the inter-layer reference image is used as the inter-layer reference image of the target picture (used_by_curr_pic_il_col_flag) included.
  • il_col_pic_in_rps_flag and used_by_curr_pic_il_col_flag are inter-layer reference image set information indicating inter-layer reference images in the inter-layer reference image set.
  • the above-described syntax table of the inter-layer reference image set information described with reference to FIG. 17 has the following characteristics. That is, the first half of the inter-layer reference image set information (portion A in the figure) includes inter-layer reference picture information related to the reference layer picture excluding the inter-layer same-time picture.
  • the syntax structure of the first half is the same as the syntax structure of the short-term reference image set described with reference to FIG.
  • the same structure means that the syntax value can be decoded by the same parsing process.
  • the latter half part (B part in the figure) includes inter-layer reference picture information regarding inter-layer same-time pictures.
  • the parsing processing used for the short-term reference image set can be diverted to the parsing processing of the first half part, so that the hierarchical video decoding device can be implemented in a simple order.
  • the difference in display time may be set to a syntax value (delta_poc_il_s0_minus1 and delta_poc_il_s1_minus) representing the POC difference.
  • FIG. 18 is a diagram showing a part of a slice header syntax table (seq_parameter_set_rbsp) related to IL-RPS information.
  • the IL-RPS information in the slice header includes information on a single inter-layer reference image set that can be used from a picture that references the slice header.
  • FIG. 18 illustrates a part of a slice header syntax table used when decoding a slice header.
  • the SH-IL-RPS information is decoded when the inter-layer reference image set is not estimated (when sps_infer_inter_layer_rps_flag is 0).
  • the SH-IL-RPS information includes a flag (il_ref_pic_set_sps_flag) indicating whether an inter-layer reference image set is selected from among inter-layer reference image sets decoded by SPS or explicitly included in a slice header.
  • an identifier (il_ref_pic_set_idx) for selecting one set from the decoded inter-layer reference image set is included in the SH-IL-RPS information.
  • information corresponding to the syntax table (inter_layer_ref_pic_set ()) described with reference to FIG. 17 is included in the SH-IL-RPS information.
  • Inter-layer reference image list correction information is information included in the slice header, and update information on the length of the inter-layer reference image list (inter-layer reference list length) applied to the target picture, and , Reference image list rearrangement information (interlayer reference list rearrangement information) is included.
  • the IL-RPL correction information will be described with reference to FIG. FIG. 20 illustrates a portion related to the inter-layer reference image list information in the slice header syntax table used at the time of decoding the slice header.
  • the inter-layer reference list length update information includes a flag (num_il_ref_idx_active_override_flag) indicating whether or not the list length is updated.
  • information (num_il_ref_idx_ active_minus1) indicating the reference list length after the change of the inter-layer reference list is included.
  • FIG. 21 exemplifies a syntax table of inter-layer reference list rearrangement information used when decoding a slice header.
  • the inter-layer reference list rearrangement information includes an inter-layer reference image list rearrangement presence / absence flag (il_ref_pic_list_modification_flag).
  • the flag value is 1 (when the inter-layer reference image list is rearranged), and the inter-layer reference image list rearrangement order (list_entry_il [i]) is included in the reference image list rearrangement information.
  • an inter-layer reference image set ILRPS used for decoding the target picture is generated.
  • the inter-layer reference image set ILRPS is a set of pictures on a reference layer that can be used as a base reference image at the time of decoding in a target picture or a picture on a target layer subsequent to the target picture in decoding order (inter-layer referenceable pictures Set).
  • the inter-layer reference image set is divided into the following two subsets according to the types of inter-layer referenceable pictures.
  • ListIlCurr List of pictures that can be referred to between layers in the target picture among pictures on the base decoded picture buffer
  • ListIlFoll List that can be referred to between subsequent layers
  • ListIlFoll Although not referenced in the target picture, decoding order to the target pictures
  • the number of pictures included in the reference list between current layers is referred to as the number of pictures that can be referred to between current layers NumIlCurrList.
  • the current inter-layer referenceable list further includes three partial lists.
  • Inter-current layer forward referable list ListIlCurrBefore Inter-current layer referable picture specified by the IL-RPS information, which is displayed earlier than the target picture.
  • Inter-current layer backward referenceable list ListIlCurrAfter Inter-current layer referenceable picture specified by the IL-RPS information, which is earlier in display order than the target picture.
  • Inter-current layer simultaneous referenceable picture list ListIlCurrCol Inter-current layer referenceable picture specified by IL-RPS information, in the same display order as the target picture.
  • the subsequent layer referenceable list is defined as follows. Inter-subsequent layer referable list (ListIlFoll): Inter-subsequent layer referable picture specified by IL-RPS information.
  • the inter-layer reference image list setting unit 156 uses the inter-layer reference image set ILRPS, that is, the current inter-layer forward referenceable list ListIlCurrBefore, the current inter-layer backward referenceable list ListIlCurrAfter, and the subsequent inter-layer referenceable list ListIlFoll as follows. Generate with In addition, a variable NumIlPocTotalCurr representing the number of pictures that can be referred to between the current layers is derived. It is assumed that the inter-layer referenceable list is set to be empty before starting the following processing.
  • a single inter-layer reference image set used for decoding the target picture is specified. Specifically, when the value of il_ref_pic_set_sps_flag included in the IL-RPS information of the slice header is 0, an inter-layer reference image set that is explicitly transmitted in the slice header is selected. Otherwise (when the value of il_ref_pic_set_sps_flag is 1), the inter-layer reference image set indicated by il_ref_pic_set_idx included in the IL-RPS information is included in the inter-layer reference image sets included in the IL-RPS information decoded by SPS. Select from.
  • the POC value of the inter-layer reference image is derived by subtracting the value of “delta_poc_il_s0_minus1 [i] +1” from the POC value of the target picture.
  • the inter-layer reference image is a backward short-term reference image, it is derived by adding the value of “delta_poc_il_s1_minus1 [i] +1” to the POC value of the target picture.
  • (S403) Confirm the forward inter-layer reference images included in the inter-layer reference image set in the order of transmission, and if the associated used_by_curr_pic_il_s0_flag [i] value is 1, the forward inter-layer reference image is Add to forward-referenceable list ListIlCurrBefore. In other cases (used_by_curr_pic_il_s0_flag [i] has a value of 0), the reference image between the forward layers is added to the inter-layer referenceable list ListIlFoll.
  • the value of the variable NumIlPocTotalCurr is set to the sum of inter-layer reference images that can be referenced from the current picture. That is, the value of the variable NumIlPocTotalCurr is set to the sum of the numbers of elements of the current inter-layer forward referenceable list ListIlCurrBefore and the current inter-layer backward referenceable list ListIlCurrAfter.
  • the inter-layer reference image list setting unit 156 can construct an inter-layer reference image set used for decoding the target picture based on the syntax related to the inter-layer reference image set decoded by the variable length decoding unit 12. .
  • the syntax related to the inter-layer reference image set and the inter-layer reference image list derivation process are merely examples, and the inter-layer reference image list may be derived by syntax or construction processing other than the above. Good.
  • the inter-layer reference image set constructed in the above procedure is a set of base decoded images that can be used for decoding the target picture or a picture on the target layer subsequent to the target picture in the output order (inter-layer reference is possible) A set of pictures). Therefore, based on the inter-layer reference image set, the decoded image (base decoded image) of the reference layer that should be held in the base decoded image buffer 17 at the time of decoding the target picture can be specified. Therefore, by using the inter-layer reference image set, by leaving only the minimum necessary base decoded image in the base decoded image buffer 17, the memory amount of the base decoded image buffer can be reduced.
  • the inter-layer reference image set constructed by the above procedure includes a set of base decoded images (inter-layer referenceable list) that may be used for decoding the target picture. Therefore, the texture restoration unit 15 can generate an inter-layer prediction image by selecting a base reference image from among base decoded images included in the current inter-layer referenceable list. Therefore, compared to a case where an inter-layer prediction image is generated using only a base decoded image in the same output order as that of the target picture as a base reference image, a prediction image close to the input image can be generated, thereby reducing the code amount of the prediction residual. As a result, hierarchically encoded data of the target layer with a small code amount can be generated.
  • the inter-layer reference image list setting unit 156 in the texture restoration unit 15 generates an inter-layer reference image list ILRPL based on the inter-layer reference image set ILRPS and the IL-RPL correction information.
  • the inter-layer reference image list (IL reference list) is constructed according to the procedure shown in S501 to S507 below.
  • RefPicListIl [rIdx] of the IL reference list corresponding to the reference image index rIdx is derived by the following expression.
  • RefListTempIl [i] represents the i-th element of the provisional IL reference list.
  • RefPicListIl [rIdx] RefPicListTempIl [list_entry_il [rIdx]]
  • the value recorded at the position indicated by the reference image index rIdx is referred to, and is recorded at the position of the value in the provisional IL reference list.
  • the inter-layer reference image is stored as the inter-layer reference image at the position of rIdx in the IL reference list. Thereafter, the process ends.
  • the inter-layer reference image list constructed by the above procedure is a base included in a set of base decoded images (current inter-layer referenceable list) that may be used for decoding the target picture included in the inter-layer reference image set.
  • This is a list in which decoded images are rearranged to allow duplication. Therefore, after constructing an inter-layer reference image list so that a base reference image with a high selection frequency has a higher priority, a prediction parameter for selecting a high-priority base reference image on the inter-layer reference image list Since a base decoded image with a high selection frequency can be selected with a short code prediction parameter by assigning a short code compared to a prediction parameter when a low priority is selected, the code amount of hierarchically encoded data can be reduced.
  • FIG. 5 is a functional block diagram illustrating the configuration of the base decoding unit 16.
  • the base decoding unit 16 includes a variable length decoding unit 161, a base prediction parameter restoration unit 162, a base transform coefficient restoration unit 163, and a base texture restoration unit 164.
  • variable length decoding unit 161 decodes various syntax values from the binary included in the reference layer encoded data DATA # R.
  • variable length decoding unit 161 decodes prediction information and transform coefficient information from the encoded data DATA # R.
  • the syntax of the prediction information and transform coefficients decoded by the variable length decoding unit 161 is the same as that of the variable length decoding unit 12, and therefore detailed description thereof is omitted here.
  • variable length decoding unit 161 supplies the decoded prediction information to the base prediction parameter restoring unit 162 and also supplies the decoded transform coefficient information to the base transform coefficient restoring unit 163.
  • the base prediction parameter restoration unit 162 restores the base prediction parameter based on the prediction information supplied from the variable length decoding unit 161.
  • the method by which the base prediction parameter restoration unit 162 restores the base prediction parameter is the same as that of the prediction parameter restoration unit 14, and thus detailed description thereof is omitted here.
  • the base prediction parameter restoration unit 162 supplies the restored base prediction parameter to the base texture restoration unit 164.
  • the base transform coefficient restoration unit 163 restores transform coefficients based on the transform coefficient information supplied from the variable length decoding unit 161.
  • the method by which the base transform coefficient restoration unit 163 restores the transform coefficients is the same as that of the inverse orthogonal transform / inverse quantization unit 151, and thus detailed description thereof is omitted here.
  • the base conversion coefficient restoration unit 163 supplies the restored base conversion coefficient to the base texture restoration unit 164.
  • the base texture restoration unit 164 uses the base prediction parameter supplied from the base prediction parameter restoration unit 162 and the base transform coefficient supplied from the base transform coefficient restoration unit 163 to generate a decoded image. Specifically, the base texture restoration unit 164 performs the same texture prediction as the texture prediction unit 152 based on the base prediction parameter, and generates a predicted image. Also, the base texture restoration unit 164 generates a prediction residual based on the base conversion coefficient, and generates a base decoded image by adding the generated prediction residual and the predicted image generated by texture prediction.
  • the base texture restoration unit 164 may perform the same filter processing as the loop filter unit 154 on the base decoded image. Further, the base texture restoration unit 164 may include a frame memory for storing the decoded base decoded image, or may refer to the decoded base decoded image stored in the frame memory in texture prediction. Good.
  • the hierarchical moving image decoding apparatus 1 includes an inter-layer reference image list setting unit that derives an inter-layer reference image set. Therefore, the hierarchical moving picture decoding apparatus 1 uses the inter-layer reference picture set to perform coding with a small code amount using a prediction picture generated using a decoded picture of a reference layer having a display order different from that of the decoding target picture. The decoded image of the target picture can be reproduced from the encoded data.
  • inter-layer reference image set it is possible to specify the timing at which the decoded image of the reference layer is no longer used for generating the predicted image of the target layer and delete it from the base decoded image buffer, thereby reducing the amount of memory.
  • a picture on the reference layer corresponding to the forward short-term reference image is referred to as an inter-layer reference image.
  • a flag (pic_s0_in_il_rps_flag [i]) indicating whether to include in the set is decoded.
  • a picture on the reference layer corresponding to the backward short-term reference image is included in the inter-layer reference image set.
  • pic_s1_in_il_rps_flag [i] is 1
  • the presence / absence (used_by_curr_pic_il_s1_flag [i]) of the possibility that the backward short-term reference image is used for decoding the target picture as the inter-layer reference image is decoded.
  • the above-described IL-RPS information signal method can also be roughly expressed as follows. That is, for each reference image included in the reference image set in the target picture, a flag indicating whether or not to include a picture of a reference layer corresponding to the reference image (the display order is the same) in the inter-layer reference image set is decoded. When included, a flag indicating whether or not the picture of the reference layer is likely to be used for decoding the target picture is decoded.
  • the reference layer pictures that can be included in the inter-layer reference image set are limited to those in which the reference image set includes enhancement layer pictures having the same display time. .
  • an inter-layer reference indicates that the reference layer picture at the same display time as the picture of the enhancement layer is not included in the inter-layer reference image set.
  • the image set information can be determined without decoding from the parameter set. Accordingly, the hierarchical moving picture decoding apparatus can delete a part of the reference layer pictures from the inter-layer reference picture buffer without decoding the inter-layer reference picture set information from the parameter set, thereby simplifying the decoding process.
  • FIG. 22 is a functional block diagram showing a schematic configuration of the hierarchical video encoding device 2.
  • the hierarchical video encoding device 2 encodes the input image PIN # T of the target layer with reference to the reference layer encoded data DATA # R to generate hierarchical encoded data DATA of the target layer. It is assumed that the reference layer encoded data DATA # R has been encoded in the hierarchical video encoding apparatus corresponding to the reference layer.
  • the hierarchical video encoding device 2 includes a prediction parameter determination unit 21, a prediction information generation unit 22, a base decoding unit 23, a texture information generation unit 24, a variable length encoding unit 25, and a NAL multiplexing unit 26. , A decoded image buffer 27 and a base decoded image buffer 28 are provided.
  • the prediction parameter determination unit 21 determines a prediction parameter used for prediction of a prediction image and other encoding settings based on the input image PIN # T.
  • the prediction parameter determination unit 21 performs encoding settings including prediction parameters as follows.
  • the prediction parameter determination unit 21 generates a CU image for the target CU by sequentially dividing the input image PIN # T into slice units, CTU units, and CU units.
  • the prediction parameter determination unit 21 generates encoded information (sometimes referred to as header information) based on the result of the division process.
  • Encoding information includes (1) CTU information that is information about the size and shape of the CTU belonging to the target slice and the position in the target slice; and (2) the size, shape, and target tree block of the CU belonging to each CTU.
  • CU information which is information about the position at.
  • the prediction parameter determination unit 21 refers to the CU image, the CTU information, and the CU information, and the CU prediction type of the target CU, the division information of the target CU into the PU, and the prediction parameter (the target CU is an intra CU). If there is, an inter-layer prediction flag and a spatial prediction mode, and a motion compensation parameter for an inter-CU are derived.
  • the prediction parameter determination unit 21 includes (1) a prediction type of the target CU, (2) a possible division pattern for each PU of the target CU, and (3) a prediction mode (for example, an inter-layer prediction flag) that can be assigned to each PU. , Spatial prediction mode, skip flag, motion compensation parameter), the cost is calculated, and the lowest cost prediction type, division pattern, and prediction mode are determined.
  • a prediction mode for example, an inter-layer prediction flag
  • the prediction parameter determination unit 21 derives a parameter set based on information designated in advance.
  • the parameter set includes a reference image set and a reference image list determined by the relationship between the coding order of pictures and the display order, and the reference structure of pictures in the same layer.
  • the parameter set includes an inter-layer reference image set and an inter-layer reference image list determined by the relationship between the encoding order and display order of pictures in the encoding target layer and the reference layer, and the reference structure of pictures between layers. .
  • the prediction parameter determination unit 21 supplies the encoded information and the prediction parameter to the prediction information generation unit 22 and the texture information generation unit 24. Although not shown for simplicity of explanation, the above-described encoding setting determined by the prediction parameter determination unit 21 can be referred to by each unit of the hierarchical video encoding device 2.
  • the prediction information generation unit 22 generates prediction information including a syntax value related to the prediction parameter based on the prediction parameter supplied from the prediction parameter determination unit 21.
  • the prediction information generation unit 22 supplies the generated prediction information to the variable length encoding unit 25.
  • the base decoding unit 23 is the same as the base decoding unit 16 of the hierarchical video decoding device 1, the description thereof is omitted here.
  • the decoded image of the reference layer output from the base decoding unit 23 is recorded in the base decoded image buffer 28.
  • the texture information generation unit 24 generates transform coefficient information including transform coefficients obtained by orthogonal transform / quantization of the prediction residual obtained by subtracting the predicted image from the input image PIN # T.
  • the texture information generation unit 24 supplies the generated transform coefficient information to the variable length encoding unit 25.
  • the restored decoded image is stored in the decoded image buffer 27.
  • variable length coding unit 25 performs variable length coding on the prediction information and parameter set information supplied from the prediction information generation unit 22 and the transform coefficient information supplied from the texture information generation unit 24 to encode target layer encoded data DATA. #T is generated.
  • the variable length encoding unit 25 supplies the generated target layer encoded data DATA # T to the NAL multiplexing unit 26.
  • the NAL multiplexing unit 26 stores the target layer encoded data DATA # T and the reference layer encoded data DATA # R supplied from the variable length encoding unit 25 in the NAL unit, and thereby performs hierarchical video that has been NAL multiplexed. Image encoded data DATA is generated and output to the outside.
  • FIG. 23 is a functional block diagram illustrating a schematic configuration of the texture information generation unit 24 in the hierarchical video encoding device 2.
  • the texture information generation unit 24 includes an adder 241 and an orthogonal transformation / quantization unit 242.
  • the texture information generation unit 24 additionally includes components common to the texture restoration unit 15 of the hierarchical video decoding device 1, that is, an inverse orthogonal transform / inverse quantization unit 151, a texture prediction unit 152, an adder 153, A loop filter unit 154, a reference image list setting unit 155, and an inter-layer reference image list setting unit 156 are provided. Constituent elements common to the texture restoration unit are assigned the same symbols and description thereof is omitted.
  • the adder 241 generates a prediction residual D by subtracting the input image and the prediction image supplied from the texture prediction unit 152.
  • the orthogonal transform / quantization unit 242 applies (1) orthogonal transform (for example, DCT (Discrete Cosine Transform) transform) to the prediction residual D supplied from the adder 241 and (2) obtained by orthogonal transform. Quantization is applied to the DCT coefficients, and (3) the quantized DCT coefficients obtained by the quantization are output to the outside as transform coefficient information and supplied to the inverse auditory transform / inverse quantization unit 151. Note that orthogonal transform is applied in units of transform blocks.
  • orthogonal transform for example, DCT (Discrete Cosine Transform) transform
  • the transform coefficient information and the decoded image generation process using the specific picture on the target layer (enhancement layer) as the target picture are executed in the following steps S701 to S708.
  • the reference image list setting unit 155 based on parameter set information (reference image set information and reference image list modification information) included in the input prediction parameter, a reference image list used for generating a predicted image in the target picture. Is output to the texture prediction unit 152.
  • the reference image list includes information for specifying the position on the decoded image buffer 27 of the reference image referenced by the inter prediction unit 152T in the texture prediction unit 152.
  • the inter-layer reference image list setting unit 156 generates predicted images in the target picture based on parameter set information (layer reference image set information and inter-layer reference image list correction information) included in the input prediction parameters.
  • An inter-layer reference image list used in the above is generated and output to the texture prediction unit 152.
  • the inter-layer reference image list includes information for specifying the position on the inter-layer decoded image buffer 28 of the inter-layer reference image referred to by the inter-layer image prediction unit 152S in the texture prediction unit 152.
  • the texture prediction unit 152 generates a prediction image corresponding to a partial region of the input image by the prediction unit indicated by the input prediction parameter and the prediction method, and outputs the prediction image to the adder 241 and the adder 153.
  • a prediction image is generated by any one of the inter prediction unit 152T, the intra prediction unit 152S, and the inter-layer image prediction unit 152B.
  • the adder 241 generates the prediction residual D by subtracting the prediction image input from the texture prediction unit 152 from the region of the corresponding input image, and outputs the prediction residual D to the orthogonal transform / quantization unit 242.
  • the orthogonal transform / quantization unit 242 divides the input prediction residual D into transform blocks, applies orthogonal transform and quantization to each transform block, and generates quantized transform coefficients. , Output to the outside as transform coefficient information, and output to the inverse orthogonal transform / inverse quantization unit 151.
  • the inverse orthogonal transform / inverse quantization unit 151 applies the inverse quantization and inverse orthogonal transform in units of transform blocks to the input quantized transform coefficient to generate a prediction residual, and adds it to the adder 153. Output.
  • the adder 153 adds the input predicted image and the prediction residual, and outputs the obtained decoded image before loop filter application to the loop filter unit 154.
  • the loop filter unit 154 generates a decoded image by applying a loop filter to the input decoded image before applying the loop filter, and records it in the external decoded image buffer 27 in association with the output order (POC) of the target picture. To do.
  • the hierarchical moving image encoding apparatus 2 includes an inter-layer reference image list setting unit that derives an inter-layer reference image set.
  • the hierarchical video encoding device 2 uses the inter-layer reference image set to identify the timing at which the decoded image of the reference layer is no longer used for predictive image generation and delete it from the base decoded image buffer. Can be reduced. Further, in the video encoding device, by using the inter-layer reference image set at the time of decoding in the corresponding video decoding device, the timing at which the decoded image of the reference layer is no longer used for predictive image generation, By deleting from the base decoded image buffer, encoded data that can reduce the amount of memory can be generated.
  • FIG. 24 is a functional block diagram showing a schematic configuration of the hierarchical video decoding device 3.
  • the hierarchical video decoding device 3 receives the target layer encoded DATA # T and the base decoding sequence as inputs, and decodes the target layer decoded image POUT # T.
  • the base decoding sequence is a sequence of decoded images of the reference layer, and includes a plurality of decoded images of reference layer pictures corresponding to the pictures of the target layer.
  • the base decoding sequence may include a base picture header for each picture.
  • the base picture header includes information indicating the display time (time stamp) of the decoded image.
  • the hierarchical video decoding device 3 includes a base control unit 31, a variable length decoding unit 32, a decoded image buffer 13, a prediction parameter restoration unit 14, a texture restoration unit 15, and a base decoded image buffer 37.
  • the hierarchical video decoding device 3 does not include a base decoding unit therein, and therefore, the reference layer encoding included in the hierarchically encoded data. Data cannot be decrypted. Instead, an image decoded by an external means is input and used as a reference layer decoded image (base decoded image). Therefore, the hierarchical video decoding device 3 decodes encoded data encoded by an existing codec (for example, AVC or MPEG-2) by an external decoding device, and outputs a sequence of decoded images as a base decoding sequence. Can also be used for applications such as those used for input.
  • an existing codec for example, AVC or MPEG-2
  • the prediction parameter restoration unit 14, the texture restoration unit 15, and the decoded image buffer 13 have the same functions as the components of the same name of the hierarchical video decoding device 1, and therefore have the same code. Will be omitted.
  • the base decoded image buffer 37 is a buffer for holding a base decoded image input from the outside in association with the display order (POC) of pictures in the target layer (enhancement layer).
  • POC display order
  • the base decoded image buffer 37 at the time of decoding of the target picture in the target layer, at least a base decoded image used for generating a predicted image in the texture restoration unit 15 needs to be recorded. From the viewpoint of suppressing the amount of memory, it is preferable to record only the base decoded image used for decoding the target layer (enhancement layer) in the base decoded image buffer 37. However, a base decoded image that is not used for predictive image generation may be recorded in the base decoded image buffer 37.
  • the base decoded image recorded in the base decoded image buffer 37 has the same picture size as the pictures included in the base decoded sequence.
  • a picture converted to a different picture size (for example, the picture size of the target layer) may be recorded in the base decoded image buffer 37 as a base decoded image.
  • a process of up-sampling the decoded image included in the base decoding sequence is required according to the ratio of the picture size of the reference layer and the target layer.
  • variable length decoding unit 32 basically has the same function as the variable length decoding unit 12 of the hierarchical video decoding device 1. That is, the prediction information, CU information, and parameter set are decoded from the input encoded data, and output to an appropriate output destination. In addition, the variable length decoding unit 32 decodes the base control information from the target layer encoded data DATA # T and outputs it.
  • the parameter set includes the inter-layer reference image set described in the hierarchical video decoding device 1.
  • the base control information is included in the SPS that is one of the parameter sets.
  • the base control information is not necessarily included in the SPS, and may be included in another parameter set.
  • it may be included in a VPS that is one of the parameter sets.
  • the base control information includes information indicating the characteristics of the base decoding sequence.
  • the base control information includes the following.
  • Base decoded image size An amount that directly or indirectly represents the picture size of the base decoded image. Examples of the amount directly representing the picture size include the length of the luminance component of the base decoded image in vertical and horizontal pixel units, and the length of the color difference component of the base decoded image in vertical and horizontal pixel units. A logarithm of 2 in length and width may be used. Further, as an amount that indirectly represents the picture size, there is a ratio between the picture size of the target layer (enhancement layer) and the picture size of the reference layer.
  • Bit depth of base decoded image An amount that directly or indirectly represents the bit depth of the base decoded image.
  • an amount that directly represents the bit depth for example, the bit depth of the pixel value common to the luminance and color difference components of the base decoded image can be cited.
  • an amount that indirectly represents the bit depth a difference between the bit depth of the target layer (enhancement layer) and the bit depth of the reference layer can be cited.
  • Base decoded image color format A quantity that directly or indirectly represents the base decoded image color format. For example, a default color format identifier can be used. Further, a flag indicating whether or not the color format of the target layer (enhancement layer) and the color format of the reference layer are the same may be used.
  • Frame rate of base decoded image An amount that directly or indirectly represents the frame rate of the base decoded image.
  • An example of the amount directly representing the frame rate is the number of pictures per second of the reference layer decoded image.
  • an amount that indirectly represents the frame rate a ratio between the frame rate of the target layer (enhancement layer) and the frame rate of the reference layer can be mentioned. Also, assuming that the frame rate of the reference layer is smaller than the frame rate of the target layer (enhancement layer), information on how many pictures of the target layer (enhancement layer) correspond to each picture of the reference layer It may be used.
  • “2” is the frame rate of the base decoded image because two target layers (extension layers) correspond to one reference layer picture. It can be used as information.
  • field frame structure of base decoded image A quantity that directly or indirectly represents the field frame structure of the base decoded image. For example, a flag indicating whether the base decoded image is in an interlace format can be mentioned. In addition, when the base decoded image is in an interlace format, a flag indicating which of the odd field and the even field is first may be included. Further, each picture of the input base decoding sequence may have a frame structure, or may include a flag indicating whether the picture has been encoded by interlace in the reference layer encoded data. As a similar concept, information indicating that a plurality of images are included in one picture, as represented by frame packing of stereo images, and information regarding arrangement of a plurality of images in a picture. May be included.
  • Base decoded image codec Information for specifying the encoding method used for generating the reference layer encoded data corresponding to the base decoded sequence. For example, a flag indicating whether the base decoding sequence is decoded from the encoded data of AVC, and a flag indicating whether the base decoding sequence is decoded from the encoded data of MPEG-2. Further, information indicating a subset of the encoding method such as a profile and a level may be included.
  • the information indicating the subset of the encoding method is the same format as the format included in the bit stream of the encoded data encoded by the standard, and the target layer code In view of compatibility and implementation, it is preferable to be included in the data.
  • BBI7 Error check of base decoded image: Information regarding the nature of the base decoded sequence intended by the encoder (hierarchical video encoding device) may be included. For example, a checksum represented by MD5 of each base decoded image may be included. By using the checksum of the base decoded image, it is possible to determine the validity of the reference layer in the hierarchical video decoding device.
  • the base control information does not necessarily need to include all of the information exemplified above, and may include at least a part of the information. For example, when the target layer (enhancement layer) and the reference layer are previously limited to use the same bit depth, it is not necessary to include information regarding the bit depth.
  • FIG. 25 is a diagram illustrating a part corresponding to the base control information, which is a part of the syntax table (seq_parameter_set_rbsp) referred to at the time of enhancement layer SPS decoding by the variable length decoding unit 32.
  • the SPS includes a flag (sps_extension_flag) indicating whether the SPS is an extension layer.
  • the SPS further includes a flag (no_base_sps_flag) indicating whether or not there is an SPS corresponding to the reference layer.
  • the SPS further includes various base control information. Note that when the value of no_base_sps_flag is 0, there is an SPS corresponding to the reference layer, and therefore information corresponding to the base control information may be duplicated or derived from the SPS corresponding to the reference layer. Therefore, by using a flag indicating whether the SPS is an enhancement layer, the base control information can be omitted when the enhancement layer SPS exists, and the SPS code amount can be reduced.
  • control information included in the SPS includes the following syntax.
  • syntax equivalent to BLI1 syntax (base_recon_luma_width) representing the number of pixels in the horizontal direction of the luminance picture of the base decoded image, and syntax (base_recon_luma_height) representing the number of pixels in the vertical direction of the luminance picture.
  • syntax (base_delta_bitdepth) representing a value obtained by subtracting the bit depth of the reference layer from the bit depth of the target layer (enhancement layer).
  • Color format identifier (base_color_format_idc) of the reference layer decoded image.
  • base_color_format_idc Color format identifier
  • the frame rate of the target layer that is the upper layer is the same as the frame rate of the reference layer that is the lower layer, or a value obtained by multiplying the frame rate of the lower layer by a power of 2 Preferably there is.
  • the number of enhancement layer pictures based on the reference layer picture as described above is represented by a logarithm.
  • a flag (base_frame_flag) indicating whether or not the reference layer has a frame structure.
  • a base_frame_flag value of 1 indicates that the base decoded image has a frame structure (non-interlaced structure), and a value of 0 indicates an interlaced structure.
  • identifier (base_codec_idc) indicating the reference layer codec. For example, identifier “1” and HEVC, identifier “2” and AVC, identifier “3” and MPEG-2, identifier “0” and “unknown codec” correspond to each other.
  • it includes the same syntax structure avc_profile_level_info () as profile level information in the AVC standard.
  • the base control unit 31 sets the input base decoding sequence at an appropriate position in the base decoded image buffer 37 based on the input base control information and parameter set. In addition, the base decoded image that has become unnecessary is deleted from the base decoded image buffer 37 at an appropriate timing.
  • FIG. 26 is a flowchart showing a base decoded image setting process in the base control unit 31 at the time of decoding a specific picture on the enhancement layer.
  • the base decoded image setting process is executed by the following steps S801 to S807.
  • variable currBaseSeekPoc picture position indicating the reading position of the base decoded image is set to the POC of the target picture on the target layer (enhancement layer).
  • a reference image set between layers in the target picture is derived from the parameter set.
  • the deriving method described in the hierarchical video decoding device 1 can be used.
  • each base decoded image recorded in the base decoded image buffer 37 is included in the inter-layer reference image set in the target picture derived in S802.
  • the POC of each base decoded image is included in the list of POCs of pictures included in the inter-layer reference image set, it is determined to be included in the inter-layer reference image set.
  • those not included in the inter-layer reference image set are deleted from the base decoded image buffer 37. Note that it is not always necessary to delete immediately, it is possible to record that deletion is necessary and to actually delete it at an appropriate timing.
  • a reference layer picture that may be referred to when decoding the target picture on the enhancement layer is identified from the inter-layer reference image set in the target picture, and the picture with the latest display order is identified.
  • the display order (POC) of pictures in the enhancement layer corresponding to the same display order is set in the variable maxBasePoc.
  • a predetermined value is added to the value of the picture position currBaseSeekPoc.
  • the predetermined value to be added is determined from the relationship between the POC interval between pictures in the enhancement layer and the frame rate between the enhancement layer and the reference layer. If the POC interval between pictures in the enhancement layer is Dep and the number of pictures in the enhancement layer corresponding to one reference layer picture indicated by the syntax base_framerate_factor_idc is Ne, the predetermined value Dbp to be added is the product of Ne and Dep. Is set.
  • the base decoded information has a width of Wb [pixel], a height of Hb [pixel], a bit depth of BDb [bit], and a color format of 4: 2: 0,
  • the processing in S801 is an exception processing for handling the first picture, and may be replaced by other means.
  • the process of S801 may be omitted, and the process of S806a may be a process of adding a predetermined value to the value of the picture position currBaseSeekPoc only when the target picture is not the first decoded picture.
  • the image size (BLI1), the bit depth (BLI2), and the color of the base decoded image included in the base control information (BLI) may be different, format conversion may be performed according to the target picture. Specifically, it is preferable to perform upsampling when the image size included in the base control information is smaller than the image size of the target picture.
  • FIG. 27 is a diagram illustrating a specific example of the base decoded image setting process, where (a) represents the reference relationship between pictures of the target layer (enhancement layer) and the reference layer in the specific example, and (b) represents each of the enhancement layer. It shows a reference image set, an inter-layer reference image set, a base decoded image buffer, and a base decoded image reading at the time of picture decoding.
  • the enhancement layer includes E1, E2, and E3 pictures in the order of output.
  • the reference layer includes B1, B2, and B3 pictures in the order of output. Also, E1 to B1, E2 to E1, E3, and B2 are referenced, and E3 to E1 and B3 are referenced.
  • the decoded image of the reference layer is decoded by an external unit and is included in the base decoding sequence in the order of output.
  • E1 is the first decoded picture of the enhancement layer, and the value of the variable currBaseSeekPoc is set to 4 obtained by subtracting a predetermined value 2 from 6 which is the POC of E1.
  • the predetermined value 2 is a product of 1 (the number of pictures in the enhancement layer for one picture in the target layer) and 2 (the POC interval between pictures in the higher layer (enhancement layer)) (S801).
  • IL-RPS in E1 contains B1 (S802). Since the base decoded image buffer is empty at this time, it is not necessary to delete the base decoded image (S803).
  • the base decoded image with the slowest display order included in the IL-RPS is B1, and 6 which is the POC of the enhancement layer picture E1 in the same display order as B1 is set in the variable maxBasePoc (S804). Since the value of the variable currBaseSeekPoc is 4, which is smaller than the value of the variable maxBasePoc 6, the base decoded image is read (S805). A predetermined value 2 is added to the value of the variable currBaseSeekPoc to set a value of 6 (S806a).
  • the base decoded image of B1 is read from the base decoded sequence, and the value 6 of the variable currBaseSeekPoc is recorded in the base decoded image buffer as the corresponding POC (S806b). Since the value 6 of the variable currBaseSeekPoc is equal to the value 6 of the variable maxBasePoc (S805), the base decoded image setting process at the time of E1 decoding is terminated (S807).
  • IL-RPS in E3 includes B1 and B3 (S802).
  • the base decoded image buffer includes B1 at this time. Since B1 is included in the IL-RPS, it is not deleted from the base decoded image buffer (S803).
  • the base decoded image with the slowest display order included in the IL-RPS is B3, and the variable maxBasePoc is set to 10 which is the POC of the picture E3 of the target layer (enhancement layer) in the same display order as B3 (S804). Since the value of the variable currBaseSeekPoc is 6, which is smaller than the value 10 of the variable maxBasePoc, the base decoded image is read (S805).
  • a predetermined value 2 is added to the value of the variable currBaseSeekPoc to set a value of 8 (S806a).
  • the base decoded image of B2 is read from the base decoded sequence, and the value 8 of the variable currBaseSeekPoc is recorded in the base decoded image buffer as the corresponding POC (S806b). Since the value 8 of the variable currBaseSeekPoc is smaller than the value 10 of the variable maxBasePoc, the next base decoded image is read (S805).
  • a predetermined value 2 is added to the value of the variable currBaseSeekPoc to set a value of 10 (S806a).
  • the base decoded image of B3 is read from the base decoding sequence, and the value 10 of the variable currBaseSeekPoc is recorded in the base decoded image buffer as the corresponding POC (S806b). Since the value 10 of the variable currBaseSeekPoc is equal to the value 10 of the variable maxBasePoc (S805), the base decoded image setting process at the time of E3 decoding is terminated (S807).
  • IL-RPS in E2 includes B2 (S802).
  • the base decoded image buffer includes B1, B2, and B3. Since B1 and B3 are not included in the IL-RPS, they are deleted from the base decoded image buffer (S803).
  • the base decoded image with the slowest display order included in the IL-RPS is B2, and 8 which is the POC of the picture E1 of the target layer (enhancement layer) in the same display order as B2 is set to the variable maxBasePoc (S804). Since the value of the variable currBaseSeekPoc is 10 and larger than the value of the variable maxBasePoc 8 (S805), the base decoded image setting process at the time of E3 decoding is terminated (S807).
  • the base control unit 31 performs processing on the target layer (enhancement layer) based on the base control information and the parameter set included in the SPS of the target layer supplied from the variable length decoding unit 32.
  • the base decoded image necessary for decoding the current picture can be read from the base decoded sequence and recorded in the base decoded image buffer 37.
  • base control information and parameter sets are not used, how much data amount is read as a base decoded image from the base decoding sequence and decoded into the base decoded image buffer 37 before decoding a specific picture on the target layer (enhancement layer). Cannot determine whether to record.
  • the base control unit 31 decodes pictures on the enhancement layer whose decoding order is later than the target picture, based on the base control information and the parameter set supplied from the variable length decoding unit 32. Unnecessary base decoded images can be deleted from the base decoded image buffer 37 at an appropriate timing. Therefore, since an unnecessary base decoded image does not remain in the base decoded image buffer 37, the buffer size required for the base decoded image buffer can be reduced.
  • the video decoding device 3 includes a base control unit that reads a base decoded image into the base decoded image buffer based on the parameter set and base control information included in the SPS of the target layer (enhancement layer). I have. Thereby, a base decoded image having an appropriate amount of data can be read from the input base decoded sequence and recorded in the base decoded image buffer.
  • the base control unit 31 when the base control unit 31 reads out the base decoded image from the base decoding sequence and records it in the base decoded image buffer 37, the picture position currBaseSeekPoc set based on the POC of the target layer is calculated. Set as the POC of the read base decoded image.
  • the POC is used even when there is no POC indicating the output order (display order) in the base decoded image included in the base decoded sequence.
  • the base decoded image included in the reference image set (interlayer reference image set) managed in this manner can be specified.
  • the base control unit 31 performs format conversion according to the base control information (BLI). Specifically, upsampling is performed when the image size of the base decoded image indicated by the base control information is smaller than the image size of the target picture.
  • the base decoding unit is not provided internally, and therefore included in the hierarchical encoded data. Even in the case of a video decoding device that cannot decode the reference layer encoded data (base encoded data), the base decoded image can be changed to an image format necessary for decoding the target picture.
  • the image format information of the base decoded image can be obtained, and the decoded image of the reference layer to which format conversion such as upsampling is applied, It can be used as a base reference image when decoding a target picture. Since it is not necessary to perform format conversion when inputting as a base decoding sequence, it is possible to prevent an increase in the size of the base decoding sequence accompanying up-sampling or bit depth expansion.
  • the slowest picture in the display order is identified and set in the display order (POC) of the enhancement layer picture corresponding to the same display order as the picture, but this information is associated with the parameter set ( For example, it may be included directly in a slice header or PPS).
  • the parameter set may include information indicating the display order of the picture of the reference layer that may be referred to when the target picture on the enhancement layer is decoded and that has the slowest display order.
  • the information indicating the display order is, for example, an absolute value of the display order, a difference with respect to the display order of the target picture, and a display time.
  • the number of base decoded images to be read may be directly included in the parameter set instead of the information related to the display order.
  • the inter-layer reference image set is useful when designating a base reference image that may be used for inter-layer image prediction. Therefore, when using an inter-layer reference image set in inter-layer image prediction, there is an advantage that additional information does not need to be transmitted by executing the base decoded image setting process using the inter-layer reference image set. is there.
  • FIG. 28 is a functional block diagram showing a schematic configuration of the hierarchical video encoding device 4.
  • the hierarchical video encoding device 4 receives the target layer input image PIN # T and the base decoding sequence, and outputs the target layer encoded DATA # T.
  • the hierarchical video encoding device 4 includes a base control unit 41, a variable length encoding unit 45, a decoded image buffer 27, a prediction parameter determination unit 49, a prediction information generation unit 22, a texture information generation unit 24, A base decoded image buffer 48 is provided.
  • the target layer encoded data DATA # T generated by the hierarchical video encoding device 4 is input to the above-described hierarchical video decoding device 3 together with the base decoding sequence used as an input at the time of generation.
  • the decoded image of the layer can be reproduced.
  • the prediction information generation unit 22 the texture information generation unit 24, and the decoded image buffer 27 have the same functions as the components of the same name of the hierarchical video encoding device 2, The same reference numerals are given and description thereof is omitted.
  • the base decoded image buffer 48 is a component corresponding to the base decoded image buffer 37 in the hierarchical moving image decoding device 3, and associates the base decoded image input from the outside with the display order (POC) of pictures in the enhancement layer. This is a buffer to keep.
  • the base decoded image buffer 48 at the time of encoding the target picture in the target layer, at least the base decoded image used for the prediction image generation in the texture generation unit 24 needs to be recorded.
  • the prediction parameter determination unit 49 has a function of deriving base control information in addition to the function of the prediction parameter determination unit 21.
  • the base control information the same base control information described in the description of the variable length decoding unit 32 of the hierarchical video decoding device 3 can be used.
  • the base control information is input from the outside (not shown) as an encoding control parameter.
  • the base control unit 41 is a component corresponding to the base control unit 31 in the hierarchical video decoding device 3 and is input based on the base control information and the parameter set input from the prediction parameter determination unit 49. Is set to an appropriate position in the base decoded image buffer 48. In addition, the base decoded image that has become unnecessary is deleted from the base decoded image buffer 48 at an appropriate timing.
  • a base decoded image setting process similar to the base decoded image setting process in the base control unit 31 of the hierarchical video decoding device 3 is applied, so that the base decoded image at the time of coding the specific picture of the target layer
  • the base decoded image can be read into the buffer and the base decoded image can be deleted from the base decoded image buffer.
  • the base decoded image setting process in the base control unit 31 of the hierarchical moving image decoding apparatus 3 described with reference to FIG. 26 is set to “base decoding image buffer 37” with “when decoding” as “when encoding”. May be read and executed in the “base decoded image buffer 48”.
  • the base control unit 41 determines the target layer (based on the base control information and the parameter set included in the SPS of the target layer (enhancement layer) supplied from the prediction parameter determination unit 49.
  • a base decoded image necessary for decoding the target picture on the enhancement layer can be read from the base decoded sequence and recorded in the base decoded image buffer 48.
  • base control information and parameter sets are not used, before decoding a specific picture on the target layer (enhancement layer), how much data amount is read as a base decoded image from the base decoding sequence and the base decoded image buffer 48 is read. Cannot determine whether to record in
  • the base control unit 41 based on the base control information and the parameter set supplied from the prediction parameter determination unit 49, the pictures on the enhancement layer whose coding order is later than the target picture.
  • a base decoded image that is unnecessary for encoding can be deleted from the base decoded image buffer 48 at an appropriate timing. Therefore, since an unnecessary base decoded image does not remain in the base decoded image buffer 48, the buffer size required for the base decoded image buffer can be reduced.
  • the video encoding device 4 includes a base control unit that reads a base decoded image into a base decoded image buffer based on the parameter set and base control information included in the SPS of the target layer (enhancement layer). It has. Thereby, a base decoded image having an appropriate amount of data can be read from the input base decoded sequence and recorded in the base decoded image buffer.
  • the inter-layer reference image set described in the present invention can be used.
  • the inter-layer reference image described in the present invention is used to identify a base decoded image that may be used as a plurality of base decoded images. Sets can be used.
  • the above-described hierarchical moving image encoding device 2 and hierarchical moving image decoding device 1 can be used by being mounted on various devices that perform transmission, reception, recording, and reproduction of moving images.
  • the moving image may be a natural moving image captured by a camera or the like, or may be an artificial moving image (including CG and GUI) generated by a computer or the like.
  • FIG. 29A is a block diagram illustrating a configuration of a transmission device PROD_A in which the hierarchical video encoding device 2 is mounted.
  • the transmission device PROD_A modulates a carrier wave with an encoding unit PROD_A1 that obtains encoded data by encoding a moving image and the encoded data obtained by the encoding unit PROD_A1.
  • a modulation unit PROD_A2 that obtains a modulation signal and a transmission unit PROD_A3 that transmits the modulation signal obtained by the modulation unit PROD_A2 are provided.
  • the hierarchical moving image encoding apparatus 2 described above is used as the encoding unit PROD_A1.
  • the transmission device PROD_A is a camera PROD_A4 that captures a moving image, a recording medium PROD_A5 that records the moving image, an input terminal PROD_A6 that inputs the moving image from the outside, as a supply source of the moving image input to the encoding unit PROD_A1.
  • An image processing unit A7 that generates or processes an image may be further provided.
  • FIG. 29A illustrates a configuration in which the transmission apparatus PROD_A includes all of these, but some of them may be omitted.
  • the recording medium PROD_A5 may be a recording of a non-encoded moving image, or a recording of a moving image encoded by a recording encoding scheme different from the transmission encoding scheme. It may be a thing. In the latter case, a decoding unit (not shown) for decoding the encoded data read from the recording medium PROD_A5 according to the recording encoding method may be interposed between the recording medium PROD_A5 and the encoding unit PROD_A1.
  • FIG. 29 is a block diagram illustrating a configuration of the receiving device PROD_B in which the hierarchical video decoding device 1 is mounted.
  • the receiving device PROD_B includes a receiving unit PROD_B1 that receives a modulated signal, a demodulating unit PROD_B2 that obtains encoded data by demodulating the modulated signal received by the receiving unit PROD_B1, and a demodulator.
  • a decoding unit PROD_B3 that obtains a moving image by decoding the encoded data obtained by the unit PROD_B2.
  • the above-described hierarchical video decoding device 1 is used as the decoding unit PROD_B3.
  • the receiving device PROD_B has a display PROD_B4 for displaying a moving image, a recording medium PROD_B5 for recording the moving image, and an output terminal for outputting the moving image to the outside as a supply destination of the moving image output by the decoding unit PROD_B3.
  • PROD_B6 may be further provided.
  • FIG. 29B illustrates a configuration in which the reception device PROD_B includes all of these, but a part of the configuration may be omitted.
  • the recording medium PROD_B5 may be used for recording a non-encoded moving image, or may be encoded using a recording encoding method different from the transmission encoding method. May be. In the latter case, an encoding unit (not shown) for encoding the moving image acquired from the decoding unit PROD_B3 according to the recording encoding method may be interposed between the decoding unit PROD_B3 and the recording medium PROD_B5.
  • the transmission medium for transmitting the modulation signal may be wireless or wired.
  • the transmission mode for transmitting the modulated signal may be broadcasting (here, a transmission mode in which the transmission destination is not specified in advance) or communication (here, transmission in which the transmission destination is specified in advance). Refers to the embodiment). That is, the transmission of the modulation signal may be realized by any of wireless broadcasting, wired broadcasting, wireless communication, and wired communication.
  • a terrestrial digital broadcast broadcasting station (broadcasting equipment or the like) / receiving station (such as a television receiver) is an example of a transmitting device PROD_A / receiving device PROD_B that transmits and receives a modulated signal by wireless broadcasting.
  • a broadcasting station (such as broadcasting equipment) / receiving station (such as a television receiver) of cable television broadcasting is an example of a transmitting device PROD_A / receiving device PROD_B that transmits and receives a modulated signal by cable broadcasting.
  • a server workstation etc.
  • Client television receiver, personal computer, smart phone etc.
  • VOD Video On Demand
  • video sharing service using the Internet is a transmitting device for transmitting and receiving modulated signals by communication.
  • PROD_A / reception device PROD_B usually, either a wireless or wired transmission medium is used in a LAN, and a wired transmission medium is used in a WAN.
  • the personal computer includes a desktop PC, a laptop PC, and a tablet PC.
  • the smartphone also includes a multi-function mobile phone terminal.
  • the video sharing service client has a function of encoding a moving image captured by the camera and uploading it to the server. That is, the client of the video sharing service functions as both the transmission device PROD_A and the reception device PROD_B.
  • FIG. 30A is a block diagram showing a configuration of a recording apparatus PROD_C in which the above-described hierarchical video encoding apparatus 2 is mounted.
  • the recording apparatus PROD_C includes an encoding unit PROD_C1 that obtains encoded data by encoding a moving image, and the encoded data obtained by the encoding unit PROD_C1 on the recording medium PROD_M.
  • the hierarchical moving image encoding device 2 described above is used as the encoding unit PROD_C1.
  • the recording medium PROD_M may be of a type built in the recording device PROD_C, such as (1) HDD (Hard Disk Drive) or SSD (Solid State Drive), or (2) SD memory. It may be of the type connected to the recording device PROD_C, such as a card or USB (Universal Serial Bus) flash memory, or (3) DVD (Digital Versatile Disc) or BD (Blu-ray Disc: registration) For example, it may be loaded into a drive device (not shown) built in the recording device PROD_C.
  • the recording device PROD_C is a camera PROD_C3 that captures moving images as a supply source of moving images to be input to the encoding unit PROD_C1, an input terminal PROD_C4 for inputting moving images from the outside, and reception for receiving moving images.
  • the unit PROD_C5 and an image processing unit C6 that generates or processes an image may be further provided.
  • FIG. 30A illustrates a configuration in which the recording apparatus PROD_C includes all of these, but a part of the configuration may be omitted.
  • the receiving unit PROD_C5 may receive a non-encoded moving image, or may receive encoded data encoded by a transmission encoding scheme different from the recording encoding scheme. You may do. In the latter case, a transmission decoding unit (not shown) that decodes encoded data encoded by the transmission encoding method may be interposed between the reception unit PROD_C5 and the encoding unit PROD_C1.
  • Examples of such a recording device PROD_C include a DVD recorder, a BD recorder, and an HDD (Hard Disk Drive) recorder (in this case, the input terminal PROD_C4 or the receiving unit PROD_C5 is a main supply source of moving images).
  • a camcorder in this case, the camera PROD_C3 is a main source of moving images
  • a personal computer in this case, the receiving unit PROD_C5 or the image processing unit C6 is a main source of moving images
  • a smartphone in this case In this case, the camera PROD_C3 or the receiving unit PROD_C5 is a main supply source of moving images
  • the camera PROD_C3 or the receiving unit PROD_C5 is a main supply source of moving images
  • FIG. 30 is a block showing a configuration of the playback device PROD_D in which the above-described hierarchical video decoding device 1 is mounted.
  • the playback device PROD_D reads a moving image by decoding a read unit PROD_D1 that reads encoded data written on the recording medium PROD_M and a coded data read by the read unit PROD_D1. And a decoding unit PROD_D2 to be obtained.
  • the hierarchical moving image decoding apparatus 1 described above is used as the decoding unit PROD_D2.
  • the recording medium PROD_M may be of the type built into the playback device PROD_D, such as (1) HDD or SSD, or (2) such as an SD memory card or USB flash memory, It may be of a type connected to the playback device PROD_D, or (3) may be loaded into a drive device (not shown) built in the playback device PROD_D, such as DVD or BD. Good.
  • the playback device PROD_D has a display PROD_D3 that displays a moving image, an output terminal PROD_D4 that outputs the moving image to the outside, and a transmission unit that transmits the moving image as a supply destination of the moving image output by the decoding unit PROD_D2.
  • PROD_D5 may be further provided.
  • FIG. 30B illustrates a configuration in which the playback apparatus PROD_D includes all of these, but some of them may be omitted.
  • the transmission unit PROD_D5 may transmit an unencoded moving image, or transmits encoded data encoded by a transmission encoding method different from the recording encoding method. You may do. In the latter case, it is preferable to interpose an encoding unit (not shown) that encodes a moving image with an encoding method for transmission between the decoding unit PROD_D2 and the transmission unit PROD_D5.
  • Examples of such a playback device PROD_D include a DVD player, a BD player, and an HDD player (in this case, an output terminal PROD_D4 to which a television receiver or the like is connected is a main supply destination of moving images).
  • a television receiver in this case, the display PROD_D3 is a main supply destination of moving images
  • a digital signage also referred to as an electronic signboard or an electronic bulletin board
  • the display PROD_D3 or the transmission unit PROD_D5 is the main supply of moving images.
  • Desktop PC (in this case, the output terminal PROD_D4 or the transmission unit PROD_D5 is the main video image supply destination), laptop or tablet PC (in this case, the display PROD_D3 or the transmission unit PROD_D5 is a moving image)
  • a smartphone which is a main image supply destination
  • a smartphone in this case, the display PROD_D3 or the transmission unit PROD_D5 is a main moving image supply destination
  • the like are also examples of such a playback device PROD_D.
  • each block of the hierarchical video decoding device 1 and the hierarchical video encoding device 2 may be realized in hardware by a logic circuit formed on an integrated circuit (IC chip), or may be a CPU (Central It may be realized by software using a Processing Unit).
  • IC chip integrated circuit
  • CPU Central It may be realized by software using a Processing Unit
  • each of the devices includes a CPU that executes instructions of a control program that realizes each function, a ROM (Read Memory) that stores the program, a RAM (Random Access Memory) that expands the program, the program, and A storage device (recording medium) such as a memory for storing various data is provided.
  • An object of the present invention is to provide a recording medium in which a program code (execution format program, intermediate code program, source program) of a control program for each of the above devices, which is software that realizes the above-described functions, is recorded so as to be readable by a computer. This can also be achieved by supplying each of the above devices and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU (Micro Processing Unit)).
  • Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, CD-ROMs (Compact Disc-Read-Only Memory) / MO (Magneto-Optical) / Discs including optical discs such as MD (Mini Disc) / DVD (Digital Versatile Disc) / CD-R (CD Recordable), cards such as IC cards (including memory cards) / optical cards, mask ROM / EPROM (Erasable) Programmable Read-only Memory / EEPROM (registered trademark) (Electrically Erasable Programmable Read-only Memory) / Semiconductor memory such as flash ROM, or logic circuits such as PLD (Programmable Logic Device) and FPGA (Field Programmable Gate Array) Etc. can be used.
  • tapes such as magnetic tapes and cassette tapes
  • magnetic disks such as floppy (registered trademark) disks / hard disks
  • each of the above devices may be configured to be connectable to a communication network, and the program code may be supplied via the communication network.
  • the communication network is not particularly limited as long as it can transmit the program code.
  • the Internet intranet, extranet, LAN (Local Area Network), ISDN (Integrated Services Digital Network), VAN (Value-Added Network), CATV (Community Area Antenna Television) communication network, Virtual Private Network (Virtual Private Network), A telephone line network, a mobile communication network, a satellite communication network, etc. can be used.
  • the transmission medium constituting the communication network may be any medium that can transmit the program code, and is not limited to a specific configuration or type.
  • IEEE Institute of Electrical and Electronic Engineers 1394, USB, power line carrier, cable TV line, telephone line, ADSL (Asymmetric Digital Subscriber Line) line, etc. wired such as IrDA (Infrared Data Association) or remote control
  • IrDA Infrared Data Association
  • wireless such as Bluetooth (registered trademark), IEEE 802.11 wireless, HDR (High Data Rate), NFC (Near Field Communication), DLNA (Digital Living Network Alliance), mobile phone network, satellite line, terrestrial digital network, etc.
  • the present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.
  • the present invention is suitable for a hierarchical image decoding device that decodes encoded data in which image data is hierarchically encoded, and a hierarchical image encoding device that generates encoded data in which image data is hierarchically encoded. Can be applied to. Further, the present invention can be suitably applied to the data structure of hierarchically encoded data that is generated by a hierarchical image encoding device and referenced by the hierarchical image decoding device.

Abstract

　階層動画像復号装置（１）は、対象レイヤのパラメータセットに基づいて、特定の対象レイヤ上のピクチャにおいて利用するレイヤ間参照画像リストおよびレイヤ間参照画像セットを導出するレイヤ間画参照画像リスト設定部（１５５）を備えている。

Description

画像復号装置、および画像符号化装置
　本発明は、画像が階層的に符号化された階層符号化データを復号する画像復号装置、および画像を階層的に符号化することによって階層符号化データを生成する画像符号化装置に関する。
　通信システムで伝送される情報、あるいは蓄積装置に記録される情報の１つに画像あるいは動画像がある。従来、これらの画像（以降、動画像を含む）の伝送・蓄積のため、画像を符号化する技術が知られている。
　動画像符号化方式としては、AVC（H.264/MPEG-4 Advanced Video Coding）や、その後継コーデックであるHEVC（High-Efficiency Video Coding）が知られている（非特許文献１）。
　これらの動画像符号化方式では、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
　イントラ予測においては、同一ピクチャ内の局所復号画像に基づいて、当該ピクチャにおける予測画像が順次生成される。
　インター予測については、ピクチャ間の動き補償により予測画像が生成される。動き補償に関する情報（動き補償パラメータ）は、たいていの場合、符号量の削減のため直接符号化されない。そこで、インター予測では、対象ブロック周辺の復号状況等に基づく動き補償パラメータの推定が行われる。
　また、近年、必要なデータレートに従って、画像を階層的に符号化する階層符号化技術が提案されている。代表的な階層符号化方式の一つとしてＳＨＶＣ（Scalable HEVC）が知られている（非特許文献２）。
　ＳＨＶＣでは、空間スケーラビリティ、時間スケーラビリティ、ＳＮＲスケーラビリティをサポートする。例えば空間スケーラビリティの場合、原画像から所望の解像度にダウンサンプリングした画像を下位レイヤとして符号化する。次に上位レイヤではレイヤ間の冗長性を除去するためにレイヤ間予測を行う。
　レイヤ間予測としては、動き予測に関する情報を同時刻の下位レイヤの情報から予測するレイヤ間動き情報予測、あるいは同時刻の下位レイヤの復号画像から予測画像を生成するレイヤ間画像予測（レイヤ間テクスチャ予測）がある。
　ＳＨＶＣでは、予測画像の生成に、インター予測、イントラ予測、レイヤ間画像予測のいずれかを利用できる。
　ＳＨＶＣのレイヤ間画像予測では、復号対象のピクチャと同時刻の下位レイヤの復号画像を利用するため、下位レイヤの復号画像は参照のためにバッファに保持される。
JCTVC-L1003_v24「High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Consent)」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Geneva, CH, 14-23 Jan. 2013 (２０１３年２月２５日公開) JCTVC-L1007_v1 「SHVC Test Model 1 (SHM1)」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Geneva, CH, 14-23 Jan. 2013 (２０１３年２月１５日公開)
　しかしながら、従来技術として挙げたＳＨＶＣでは、レイヤ間画像予測において利用可能な下位レイヤの復号画像が、復号対象ピクチャと同時刻のものに限定されている。そのため、レイヤ間画像予測、または、下位レイヤの復号画像を参照する予測画像生成処理において、復号対象ピクチャと表示時刻の異なる下位レイヤの復号画像を参照する手段が明確には記載されていないという課題があった。復号対象ピクチャと表示時刻の異なる下位レイヤの復号画像を参照して予測画像を生成することで、復号対象ピクチャと表示時刻の同じ下位レイヤの復号画像のみを参照して予測画像を生成する場合に較べて、入力画像に近い予測画像を生成できるが、従来技術では、表示時刻の異なる下位レイヤの復号画像は参照できない。
　本発明は、上記問題に鑑みてされたものであり、その目的は、階層符号化方式において、復号対象のピクチャと表示時刻の異なる下位レイヤの復号画像を用いて予測画像を生成する仕組みを提供することにある。また、それにより、従来技術に較べてより入力画像に近い予測画像を生成することで、符号量の少ない符号化データを符号化／復号する画像符号化装置および画像復号装置を実現することにある。
　上記課題を解決するために、本発明に係る画像復号装置は、階層符号化された符号化データに含まれる上位レイヤの符号化データを用いて、上位レイヤの復号画像を復元する画像復号装置であって、上位レイヤの符号化データからパラメータセットを復号する可変長復号手段と、下位レイヤの復号画像を、上記パラメータセットから導出した上位レイヤのピクチャ表示順と対応付けて記録するベース復号画像バッファと、外部の手段で復号された画像をベース復号シーケンスとして読み込んで上記ベース復号画像バッファに記録するベース制御手段と、上記ベース復号シーケンスに含まれるベース復号画像からベース参照画像を選択し、上記ベース参照画像を用いたレイヤ間予測により予測画像を生成するレイヤ間画像予測部を備えることを特徴としている。
　上記課題を解決するために、本発明に係る画像符号化装置は、入力画像から上位レイヤの符号化データを生成する画像符号化装置であって、上位レイヤの符号化データに含めるパラメータセットを符号化する可変長符号化手段と、下位レイヤの復号画像を、上記パラメータセットから導出した上位レイヤのピクチャ表示順と対応付けて記録するベース復号画像バッファと、外部の手段で復号された画像をベース復号シーケンスとして読み込んで上記ベース復号画像バッファに記録するベース制御手段と、上記ベース復号シーケンスに含まれるベース復号画像からベース参照画像を選択し、上記ベース参照画像を用いたレイヤ間予測により予測画像を生成するレイヤ間画像予測部を備えることを特徴としている。
　上記課題を解決するために、本発明に係る画像復号装置は、階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、上位レイヤの復号画像を復元する画像復号装置であって、下位レイヤの復号画像を記録するベース参照画像バッファと、上位レイヤのピクチャの復号に用いるレイヤ間参照画像セットを設定するレイヤ間参照画像リスト設定手段と、上記レイヤ間参照画像セットに含まれる、上記ベース参照画像バッファに記録されているベース参照画像を用いて上位レイヤのピクチャの予測画像を生成する予測画像生成手段を備えることを特徴としている。
　本発明に係る画像復号装置は、レイヤ間参照画像セットを導出するレイヤ間参照画像リスト設定部を備えている。したがって、本発明に係る画像復号装置は、レイヤ間参照画像セットを利用することで、復号対象ピクチャと表示順の異なる参照レイヤの復号画像を用いて生成された予測画像を用いて少ない符号量で符号化された符号化データから対象ピクチャの復号画像を再生できる。また、レイヤ間参照画像セットを利用することで、参照レイヤの復号画像が、対象レイヤの予測画像生成に用いられなくなるタイミングを特定して、ベース復号画像バッファから削除できるため、メモリ量を低減できる。
　本発明に係る画像符号化装置は、レイヤ間参照画像セットを導出するレイヤ間参照画像リスト設定部を備えている。したがって、本発明に係る画像符号化装置では、レイヤ間参照画像セットを利用することで、復号対象ピクチャと表示順の異なる参照レイヤの復号画像を用いて生成された予測画像を用いてより少ない符号量で符号化データを生成できる。また、レイヤ間参照画像セットを利用することで、参照レイヤの復号画像が、対象レイヤの予測画像生成に用いられなくなるタイミングを特定して、ベース復号画像バッファから削除できるため、メモリ量を低減できる。
本発明の一実施形態に係る階層動画像復号装置に含まれるテクスチャ復元部の構成について例示する機能ブロック図である。 本発明の実施形態に係る階層符号化データのレイヤ構造を説明するための図であって、（ａ）は、階層動画像符号化装置側について示しており、（ｂ）は、階層動画像復号装置側について示している。 本発明の実施形態に係る階層符号化データの構成を説明するための図であって、（ａ）は、シーケンスＳＥＱを規定するシーケンスレイヤを示しており、（ｂ）は、ピクチャＰＩＣＴを規定するピクチャレイヤを示しており、（ｃ）は、スライスＳを規定するスライスレイヤを示しており、（ｄ）は、符号化ツリーユニットＣＴＵを規定するＣＴＵレイヤを示しており、（ｅ）は、符号化ツリーユニットＣＴＵに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示している。 上記階層動画像復号装置の概略的構成を示す機能ブロック図である。 上記階層動画像復号装置に含まれるベース復号部の構成について例示する機能ブロック図である。 参照画像セットと参照画像リストの例を示した図であり、（ａ）は、動画像を構成するピクチャを表示順に並べた図であり、（ｂ）は、対象ピクチャに適用されるＲＰＳ情報の例を示す図であり、（ｃ）は、対象ピクチャのＰＯＣが０の場合に、（ｂ）で例示したＲＰＳ情報を適用したときに導出される現ＲＰＳの例を示す図であり、（ｄ）および（ｅ）は、現ＲＰＳに含まれる参照ピクチャから生成される参照ピクチャリストの例を示す図である。 参照画像リスト修正の例を示した図であり、（ａ）は、修正前のＬ０参照画像リストの状態を表す図であり、（ｂ）は、参照画像リスト修正情報の内容を表す図であり、（ｃ）は、修正後のＬ０参照画像リストの状態を表す図である。 上記階層動画像復号装置によるイントラレイヤ間予測を模式的に示す図であり、（ａ）は表示順が同一のベース復号画像を用いたレイヤ間画像予測の例を示す図であり、（ｂ）は表示順が異なるベース復号画像を用いたレイヤ間画像予測の例を示す図である。 ２レイヤからなる階層符号化データ復号時における、レイヤ間参照画像セット、レイヤ間参照画像リスト、拡張レイヤと参照レイヤの各参照画像セットと参照画像リストの状態の例を示す図である。 ２レイヤからなる階層符号化データ復号時における、レイヤ間参照画像セット、レイヤ間参照画像リスト、拡張レイヤと参照レイヤの各参照画像セットと参照画像リストの状態の別の例を示す図である。 上記階層動画像復号装置の可変長復号部からＳＰＳ復号時に利用されるシンタックス表の一部であって、参照画像セットおよび参照画像リストに係る部分を示す図である。 上記階層動画像復号装置の可変長復号部から短期参照画像セット情報の復号時に利用されるシンタックス表を示す図である。 上記階層動画像復号装置の可変長復号部からスライスヘッダ復号時に利用されるシンタックス表の一部であって、参照画像セットに係る部分を示す図である。 上記階層動画像復号装置の可変長復号部からスライスヘッダ復号時に利用されるシンタックス表の一部であって、参照画像リストに係る部分を示す図である。 上記階層動画像復号装置の可変長復号部から参照画像リスト修正情報の復号時に利用されるシンタックス表を示す図である。 上記階層動画像復号装置の可変長復号部からＳＰＳ復号時に利用されるシンタックス表の一部であって、レイヤ間参照画像リストに係る部分を示す図である。 上記階層動画像復号装置の可変長復号部からレイヤ間参照画像セット情報の復号時に利用されるシンタックス表を示す図である。 上記階層動画像復号装置の可変長復号部からスライスヘッダ復号時に利用されるシンタックス表の一部であって、レイヤ間参照画像セットに係る部分を示す図である。 上記階層動画像復号装置の可変長復号部からスライスヘッダ復号時に利用されるシンタックス表の一部であって、レイヤ間参照画像セットに係る部分の別の例を示す図である。 上記階層動画像復号装置の可変長復号部からスライスヘッダ復号時に利用されるシンタックス表の一部であって、レイヤ間参照画像リストに係る部分を示す図である。 上記階層動画像復号装置の可変長復号部からレイヤ間参照画像リスト修正情報の復号時に利用されるシンタックス表を示す図である。 本発明の一実施形態に係る階層動画像符号化装置の概略的構成を示す機能ブロック図である。 上記階層動画像符号化装置に含まれるテクスチャ情報生成部の概略的構成を示す機能ブロック図である。 本発明の別の実施形態に係る階層動画像復号装置の概略的構成を示す機能ブロック図である。 上記階層動画像復号装置の可変長復号部からＳＰＳ復号時に利用されるシンタックス表の一部であって、ベース制御情報に係る部分を示す図である。 拡張レイヤ上の特定ピクチャ復号時における上記階層動画像復号装置のベース制御部におけるベース復号画像設定処理を示すフロー図である。 ベース復号画像設定処理の具体例を説明するための図であり、（ａ）は、具体例における拡張レイヤと参照レイヤのピクチャ間の参照関係を表す図であり、（ｂ）は拡張レイヤの各ピクチャ復号時の参照画像セット、レイヤ間参照画像セット、ベース復号画像バッファ、ベース復号画像読み込みを示す図である。 本発明の別の実施形態に係る階層動画像符号化装置の概略的構成を示す機能ブロック図である。 上記階層動画像符号化装置を搭載した送信装置、および、上記階層動画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、階層動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、階層動画像復号装置を搭載した受信装置を示している。 上記階層動画像符号化装置を搭載した記録装置、および、上記階層動画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、階層動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、階層動画像復号装置を搭載した再生装置を示している。
　図１～図２３に基づいて、本発明の一実施形態に係る階層動画像復号装置１および階層動画像符号化装置２について説明すれば以下のとおりである。
　〔概要〕
　本実施の形態に係る階層動画像復号装置（画像復号装置）１は、階層動画像符号化装置（画像符号化装置）２によって階層符号化された符号化データを復号する。階層符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。階層符号化は、例えば、ＳＶＣやＳＨＶＣにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および、“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合（すなわち、異なる符号化雑音により符号化された動画像の場合）も互いに動画像の品質が異なるといえる。
　また、階層符号化技術は、階層化される情報の種類の観点から、（１）空間スケーラビリティ、（２）時間スケーラビリティ、および（３）ＳＮＲ（Signal to Noise Ratio）スケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレームレート（単位時間のフレーム数）において階層化する技術である。また、ＳＮＲスケーラビリティは、符号化雑音において階層化する技術である。
　本実施形態に係る階層動画像符号化装置２及び階層動画像復号装置１の詳細な説明に先立って、まず（１）階層動画像符号化装置２によって生成され、階層動画像復号装置１によって復号される階層符号化データのレイヤ構造について説明し、次いで（２）各レイヤで採用できるデータ構造の具体例について説明を行う。
　〔階層符号化データのレイヤ構造〕
　ここで、図２を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図２は、動画像を、下位階層Ｌ３、中位階層Ｌ２、および上位階層Ｌ１の３階層により階層的に符号化／復号する場合について模式的に表す図である。つまり、図２（ａ）および（ｂ）に示す例では、３階層のうち、上位階層Ｌ１が最上位層となり、下位階層Ｌ３が最下位層となる。
　以下において、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像（または、特定の階層に対応する復号画像）と称される（例えば、上位階層Ｌ１の復号画像ＰＯＵＴ＃Ａ）。
　図２（ａ）は、入力画像ＰＩＮ＃Ａ～ＰＩＮ＃Ｃをそれぞれ階層的に符号化して符号化データＤＡＴＡ＃Ａ～ＤＡＴＡ＃Ｃを生成する階層動画像符号化装置２＃Ａ～２＃Ｃを示している。図２（ｂ）は、階層的に符号化された符号化データＤＡＴＡ＃Ａ～ＤＡＴＡ＃Ｃをそれぞれ復号して復号画像ＰＯＵＴ＃Ａ～ＰＯＵＴ＃Ｃを生成する階層動画像復号装置１＃Ａ～１＃Ｃを示している。
　まず、図２（ａ）を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃは、原画は同じだが、画像の品質（解像度、フレームレート、および画質等）が異なる。画像の品質は、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃの順に低くなる。
　下位階層Ｌ３の階層動画像符号化装置２＃Ｃは、下位階層Ｌ３の入力画像ＰＩＮ＃Ｃを符号化して下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃを生成する。下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報が含まれる（図２において“Ｃ”にて示している）。下位階層Ｌ３は、最下層の階層であるため、下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃは、基本符号化データとも称される。
　また、中位階層Ｌ２の階層動画像符号化装置２＃Ｂは、中位階層Ｌ２の入力画像ＰＩＮ＃Ｂを、下位階層の符号化データＤＡＴＡ＃Ｃを参照しながら符号化して中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを生成する。中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂには、符号化データＤＡＴＡ＃Ｃに含まれる基本情報“Ｃ”に加えて、中位階層の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報（図２において“Ｂ”にて示している）が含まれる。
　また、上位階層Ｌ１の階層動画像符号化装置２＃Ａは、上位階層Ｌ１の入力画像ＰＩＮ＃Ａを、中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを参照しながら符号化して上位階層Ｌ１の符号化データＤＡＴＡ＃Ａを生成する。上位階層Ｌ１の符号化データＤＡＴＡ＃Ａには、下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報“Ｃ”および中位階層Ｌ２の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報“Ｂ”に加えて、上位階層の復号画像ＰＯＵＴ＃Ａを復号するのに必要な付加的情報（図２において“Ａ”にて示している）が含まれる。
　このように上位階層Ｌ１の符号化データＤＡＴＡ＃Ａは、異なる複数の品質の復号画像に関する情報を含む。
　次に、図２（ｂ）を参照しながら復号装置側について説明する。復号装置側では、上位階層Ｌ１、中位階層Ｌ２、および下位階層Ｌ３それぞれの階層に応じた復号装置１＃Ａ、１＃Ｂ、および１＃Ｃが、符号化データＤＡＴＡ＃Ａ、ＤＡＴＡ＃Ｂ、およびＤＡＴＡ＃Ｃを復号して復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを出力する。
　なお、上位の階層符号化データの一部の情報を抽出して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。
　例えば、中位階層Ｌ２の階層復号装置１＃Ｂは、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａから、復号画像ＰＯＵＴ＃Ｂを復号するのに必要な情報（すなわち、階層符号化データＤＡＴＡ＃Ａに含まれる“Ｂ”および“Ｃ”）を抽出して、復号画像ＰＯＵＴ＃Ｂを復号してもよい。言い換えれば、復号装置側では、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる情報に基づいて、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを復号することができる。
　なお、以上の３階層の階層符号化データに限られず、階層符号化データは、２階層で階層符号化されていてもよいし、３階層よりも多い階層数にて階層符号化されていてもよい。
　また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図２（ａ）および（ｂ）を用いて上述した例では、復号画像ＰＯＵＴ＃Ｂの復号に“Ｃ”および“Ｂ”を参照すると説明したが、これに限られない。復号画像ＰＯＵＴ＃Ｂが“Ｂ”だけを用いて復号できるように階層符号化データを構成することも可能である。例えば、復号画像ＰＯＵＴ＃Ｂの復号に、“Ｂ”だけから構成される階層符号化データと、復号画像ＰＯＵＴ＃Ｃを入力とする階層動画像復号装置も構成できる。
　なお、ＳＮＲスケーラビリティを実現する場合、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃとして同一の原画を用いた上で、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。
　本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表わすのに用いる。
　上位レイヤ　：　ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図２において、下位階層Ｌ３の上位レイヤは、中位階層Ｌ２および上位階層Ｌ１である。また、上位レイヤの復号画像とは、より品質の高い（例えば、解像度が高い、フレームレートが高い、画質が高い等）復号画像のことをいう。
　下位レイヤ　：　ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図２において、上位階層Ｌ１の下位レイヤは、中位階層Ｌ２および下位階層Ｌ３である。また、下位レイヤの復号画像とは、より品質の低い復号画像のことをいう。
　対象レイヤ　：　復号または符号化の対象となっている階層のことをいう。
　参照レイヤ（reference layer）　：　対象レイヤに対応する復号画像を復号するのに参照される特定の下位レイヤのことを参照レイヤと称する。
　図２（ａ）および（ｂ）に示した例では、上位階層Ｌ１の参照レイヤは、中位階層Ｌ２および下位階層Ｌ３である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層Ｌ１の参照レイヤが、中位階層Ｌ２および下位階層Ｌ３のいずれか一方となるように階層符号化データを構成することも可能である。
　基本レイヤ（base layer）　：　最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本復号画像と呼称される。別の言い方をすれば、基本復号画像は、最下層の階層に対応する復号画像のことである。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる基本情報“Ｃ”が基本符号化データである。
　拡張レイヤ　：　基本レイヤの上位レイヤは、拡張レイヤと称される。
　レイヤ識別子　：　レイヤ識別子は、階層を識別するためのものであり、階層と１対１に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データを選択するために用いられる階層識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現とも呼称される。
　一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および／または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および／または、対象レイヤの下位レイヤに含まれる１つ以上階層のレイヤ表現が用いられる。
　レイヤ間予測　：　レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層（参照レイヤ）のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を参照レイヤの情報から予測するレイヤ間予測のことを動き情報予測と称することもある。また、下位レイヤの復号画像から予測するレイヤ間予測のことをレイヤ間画像予測（あるいはレイヤ間テクスチャ予測）と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。
　なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。
　〔階層符号化データのデータ構造について〕
　以下、各階層の符号化データを生成する符号化方式として、ＨＥＶＣおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、ＭＰＥＧ－２や、Ｈ．２６４／ＡＶＣなどの符号化方式により生成してもよい。
　また、下位レイヤと上位レイヤとが異なる符号化方式によって符号化されていてもよい。また、各階層の符号化データは、互いに異なる伝送路を介して階層動画像復号装置１に供給されるものであってもよいし、同一の伝送路を介して階層動画像復号装置１に供給されるものであってもよい。
　例えば、超高精細映像（動画像、４Ｋ映像データ）を基本レイヤおよび１つの拡張レイヤによりスケーラブル符号化して伝送する場合、基本レイヤは、４Ｋ映像データをダウンスケーリングし、インタレース化した映像データをＭＰＥＧ－２またはＨ．２６４／ＡＶＣにより符号化してテレビ放送網で伝送し、拡張レイヤは、４Ｋ映像（プログレッシブ）をＨＥＶＣにより符号化して、インターネットで伝送してもよい。
　（基本レイヤ）
　図３は、基本レイヤにおいて採用することができる符号化データ（図２の例でいえば、階層符号化データＤＡＴＡ＃Ｃ）のデータ構造について例示する図である。階層符号化データＤＡＴＡ＃Ｃは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
　階層符号化データＤＡＴＡ＃Ｃにおけるデータの階層構造を図３に示す。図３の（ａ）～（ｅ）は、それぞれ、シーケンスＳＥＱを規定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、符号化ツリーユニット（Coding Tree Unit；ＣＴＵ）を規定するＣＴＵレイヤ、符号化ツリーユニットＣＴＵに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。
　　（シーケンスレイヤ）
　シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図３の（ａ）に示すように、ビデオパラメータセットＶＰＳ（Video Parameter Set）、シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ１～ＰＩＣＴNP（ＮＰはシーケンスＳＥＱに含まれるピクチャの総数）、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。
　ビデオパラメータセットＶＰＳでは、符号化データに含まれるレイヤ数、レイヤ間の依存関係が規定されている。
　シーケンスパラメータセットＳＰＳでは、対象レイヤの対象シーケンスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。ＳＰＳは符号化データ内に複数存在してもよい。その場合、対象レイヤの対象シーケンス毎に復号に用いられるＳＰＳが複数の候補から選択される。特定のシーケンスの復号に使用されるＳＰＳは、アクティブＳＰＳとも呼ばれる。以下では、特に断りがなければ、ＳＰＳは対象レイヤの対象シーケンスに対するアクティブＳＰＳを意味する。
　ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。なお、ＰＰＳは符号化データ内に複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。特定のピクチャの復号に使用されるＰＰＳはアクティブＰＰＳとも呼ばれる。以下では、特に断りがなければ、ＰＰＳは対象ピクチャに対するアクティブＰＰＳを意味する。
　　（ピクチャレイヤ）
　ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ｂ）に示すように、スライスヘッダＳＨ1～ＳＨNS、及び、スライスＳ1～ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
　なお、以下、スライスヘッダＳＨ1～ＳＨNSやスライスＳ1～ＳNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する階層符号化データＤＡＴＡ＃Ｃに含まれるデータであって、添え字を付している他のデータについても同様である。
　スライスヘッダＳＨkには、対応するスライスＳkの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、ＳＰＳを指定するＳＰＳ識別子（seq_parameter_set_id）や、ＰＰＳを指定するＰＰＳ識別子（pic_parameter_set_id）が含まれる。また、スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
　スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。
　　（スライスレイヤ）
　スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｃ）に示すように、符号化ツリーユニットＣＴＵ1～ＣＴＵNC（ＮＣはスライスＳに含まれるＣＴＵの総数）のシーケンスを含んでいる。
　　（ＣＴＵレイヤ）
　ＣＴＵレイヤでは、処理対象の符号化ツリーユニットＣＴＵ（以下、対象ＣＴＵとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。なお、符号化ツリーユニットのことを符号化ツリーブロック（CTB: Coding Tree block）、または、最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。
　符号化ツリーユニットＣＴＵは、ＣＴＵヘッダＣＴＵＨと、符号化単位情報ＣＵ１～ＣＵＮＬ（ＮＬはＣＴＵに含まれる符号化単位情報の総数）とを含む。ここで、まず、符号化ツリーユニットＣＴＵと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。
　符号化ツリーユニットＣＴＵは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するための単位に分割される。
　符号化ツリーユニットＣＴＵの上記単位は、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。
　以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応する単位を、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。
　つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ１～ＣＵＮＬは、符号化ツリーユニットＣＴＵを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。
　また、符号化ツリーのルート（root）は、符号化ツリーユニットＣＴＵに対応付けられる。換言すれば、符号化ツリーユニットＣＴＵは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。
　なお、各符号化ノードのサイズは、当該符号化ノードの親ノードとなる符号化ノード（すなわち、当該符号化ノードの１階層上位のノード）のサイズの縦横とも半分である。
　また、符号化ツリーユニットＣＴＵのサイズ、および、各符号化ユニットのとり得るサイズは、シーケンスパラメータセットＳＰＳに含まれる、最小符号化ノードのサイズ指定情報、および最大符号化ノードと最小符号化ノードの階層深度の差分に依存する。例えば、最小符号化ノードのサイズが８×８画素であって、最大符号化ノードと最小符号化ノードの階層深度の差分が３である場合、符号化ツリーユニットＣＴＵのサイズが６４×６４画素であって、符号化ノードのサイズは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。
　　（ＣＴＵヘッダ）
　ＣＴＵヘッダＣＴＵＨには、対象ＣＴＵの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｄ）に示すように、対象ＣＴＵの各ＣＵへの分割パターンを指定するＣＴＵ分割情報ＳＰ＿ＣＴＵ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。
　ＣＴＵ分割情報ＳＰ＿ＣＴＵは、ＣＴＵを分割するための符号化ツリーを表す情報であり、具体的には、対象ＣＴＵに含まれる各ＣＵの形状、サイズ、および、対象ＣＴＵ内での位置を指定する情報である。
　なお、ＣＴＵ分割情報ＳＰ＿ＣＴＵは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばＣＴＵ分割情報ＳＰ＿ＣＴＵは、対象ＣＴＵ全体またはＣＴＵの部分領域を四分割するか否かを示すフラグの集合であってもよい。その場合、ＣＴＵの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。
　また、量子化パラメータ差分Δｑｐは、対象ＣＴＵにおける量子化パラメータｑｐと、当該対象ＣＴＵの直前に符号化されたＣＴＵにおける量子化パラメータｑｐ’との差分ｑｐ－ｑｐ’である。
　　（ＣＵレイヤ）
　ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。
　ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
　予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。換言すれば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
　予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。
　予測ツリーにおける分割（以下、ＰＵ分割と略称する）の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。
　イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。
　また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎなどがある。
　また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。換言すれば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
　変換ツリーにおける分割には、符号化ノードと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
　変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。
　　（ＣＵ情報のデータ構造）
　続いて、図３（ｅ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容について説明する。図３（ｅ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、予測ツリー情報（以下、ＰＴ情報と略称する）ＰＴＩ、および、変換ツリー情報（以下、ＴＴ情報と略称する）ＴＴＩを含む。
　スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、そのＣＵ情報ＣＵにおけるＰＴ情報ＰＴＩの一部、および、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。
　　［ＰＴ情報］
　ＰＴ情報ＰＴＩは、ＣＵに含まれる予測ツリー（以下、ＰＴと略称する）に関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、階層動画像復号装置１により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図３（ｅ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。
　予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法を指定する情報である。ベースレイヤにおいては、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。
　予測情報ＰＩｎｆｏは、予測タイプ情報ＰＴｙｐｅで指定される予測方法において用いられる予測情報である。ベースレイヤにおいては、イントラ予測の場合にイントラ予測情報PP_Intraが含まれる。また、インター予測の場合にはインター予測情報PP_Interを含む。
　インター予測情報PP_Interは、階層動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される予測情報を含む。より具体的には、インター予測情報PP_Interは、対象ＣＵの各インターＰＵへの分割パターンを指定するインターＰＵ分割情報、および、各インターＰＵについてのインター予測パラメータ（動き補償パラメータ）を含む。インター予測パラメータとしては、例えば、マージフラグ（merge_flag）、マージインデックス（merge_idx）、推定動きベクトルインデックス（mvp_idx）、参照画像インデックス（ref_idx）、インター予測フラグ（inter_pred_flag）、および動きベクトル残差（mvd）を含む。
　イントラ予測情報PP_Intraは、階層動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。より具体的には、イントラ予測情報PP_Intraには、対象ＣＵの各イントラＰＵへの分割パターンを指定するイントラＰＵ分割情報、および、各イントラＰＵについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラＰＵについてのイントラ予測方法（予測モード）を指定するためのパラメータである。
　ここで、イントラ予測パラメータは、各イントラＰＵについてのイントラ予測（予測モード）を復元するためのパラメータである。予測モードを復元するためのパラメータには、ＭＰＭ（Most Probable Mode、以下同様）に関するフラグであるmpm_flag、ＭＰＭを選択するためのインデックスであるmpm_idx、および、ＭＰＭ以外の予測モードを指定するためのインデックスであるrem_idxが含まれる。ここで、ＭＰＭとは、対象パーティションで選択される可能性が高い推定予測モードである。例えば、対象パーティションの周辺のパーティションに割り付けられた予測モードに基づいて推定された推定予測モードや、一般的に発生確率の高いＤＣモードやＰｌａｎａｒモードがＭＰＭに含まれ得る。
　また、以下において、単に“予測モード”と表記する場合、特にことわりのない限り、輝度予測モードのことを指すものとする。色差予測モードについては、“色差予測モード”と表記し、輝度予測モードと区別する。また、予測モードを復元するパラメータには、色差予測モードを指定するためのパラメータであるchroma_modeが含まれる。
　　［ＴＴ情報］
　ＴＴ情報ＴＴＩは、ＣＵに含まれる変換ツリー（以下、ＴＴと略称する）に関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数の変換ブロックそれぞれに関する情報の集合であり、階層動画像復号装置１により残差データを復号する際に参照される。
　ＴＴ情報ＴＴＩは、図３（ｅ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＴ、および、量子化予測残差ＱＤ1～ＱＤNT（ＮＴは、対象ＣＵに含まれるブロックの総数）を含んでいる。
　ＴＴ分割情報ＳＰ＿ＴＴは、具体的には、対象ＣＵに含まれる各変換ブロックの形状、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＴは、対象ノードの分割を行うのか否かを示す情報（split_transform_unit_flag）と、その分割の深度を示す情報（trafoDepth）とから実現することができる。
　また、例えば、ＣＵサイズが、６４×６４の場合、分割により得られる各変換ブロックは、３２×３２画素から４×４画素までのサイズをとり得る。
　各量子化予測残差ＱＤは、階層動画像符号化装置２が以下の処理１～３を、処理対象の変換ブロックである対象ブロックに施すことによって生成した符号化データである。
　処理１：符号化対象画像から予測画像を減算した予測残差を周波数変換（例えば、ＤＣＴ変換（Discrete Cosine Transform）およびＤＳＴ変換（Discrete Sine Transform）等）する；
　処理２：処理１にて得られた変換係数を量子化する；
　処理３：処理２にて量子化された変換係数を可変長符号化する；
　なお、上述した量子化パラメータｑｐは、階層動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。
　　（ＰＵ分割情報）
　ＰＵ分割情報によって指定されるＰＵ分割タイプには、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）である。なお、Ｎ＝２ｍ（ｍは１以上の任意の整数）を意味している。以下、対象ＣＵを分割して得られる予測単位のことを予測ブロック、または、パーティションと称する。
　（拡張レイヤ）
　拡張レイヤのレイヤ表現に含まれる符号化データ（以下、拡張レイヤ符号化データ）についても、例えば、図３に示すデータ構造とほぼ同様のデータ構造を採用することができる。ただし、拡張レイヤ符号化データでは、以下のとおり、付加的な情報を追加したり、パラメータを省略したりすることができる。
　スライスレイヤでは、空間スケーラビリティ、時間スケーラビリティ、および、ＳＮＲスケーラビリティ、ビュースケーラビリティの階層の識別情報（それぞれ、dependency_id、temporal_id、quality_id、および、view_id）が符号化されていてもよい。
　また、ＣＵ情報ＣＵに含まれる予測タイプ情報ＰＴｙｐｅは、対象ＣＵについての予測画像生成方法がイントラ予測、インター予測、または、レイヤ間画像予測のいずれかを指定する情報である。予測タイプ情報ＰＴｙｐｅには、レイヤ間画像予測モードの適用有無を指定するフラグ（レイヤ間画像予測フラグ）を含む。なお、レイヤ間画像予測フラグは、texture_rl_flag、inter_layer_pred_flag、または、base_mode_flagと呼ばれることもある。
　拡張レイヤにおいて、対象ＣＵのＣＵタイプが、イントラＣＵ、レイヤ間ＣＵ、インターＣＵ、スキップＣＵのいずれであるかが指定されていてもよい。
　イントラＣＵは、ベースレイヤにおけるイントラＣＵと同様に定義できる。イントラＣＵでは、レイヤ間画像予測フラグが“０”に、予測モードフラグが“０”に設定される。
　レイヤ間ＣＵは、参照レイヤのピクチャの復号画像を予測画像生成に用いるＣＵと定義できる。レイヤ間ＣＵでは、レイヤ間画像予測フラグが“１”に、予測モードフラグが“０”に設定される。
　スキップＣＵは、上述のＨＥＶＣ方式の場合と同様に定義できる。例えば、スキップＣＵでは、スキップフラグに“１”が設定される。
　インターＣＵは、非スキップかつ動き補償（ＭＣ；Motion Compensation）を適用するＣＵと定義されていてもよい。インターＣＵでは、例えば、スキップフラグに“０”が設定され、予測モードフラグに“１”が設定される。
　また、上述のとおり拡張レイヤの符号化データを、下位レイヤの符号化方式と異なる符号化方式により生成しても構わない。すなわち、拡張レイヤの符号化・復号処理は、下位レイヤのコーデックの種類に依存しない。
　下位レイヤが、例えば、ＭＰＥＧ－２や、Ｈ．２６４／ＡＶＣ方式によって符号化されていてもよい。
　拡張レイヤ符号化データでは、ＶＰＳが拡張されて、レイヤ間の参照構造を表すパラメータが含まれていてもよい。
　また、拡張レイヤ符号化データでは、ＳＰＳ、ＰＰＳ、スライスヘッダが拡張されて、レイヤ間画像予測に用いる参照レイヤの復号画像に係る情報（例えば、後述のレイヤ間参照画像セット、レイヤ間参照画像リスト、ベース制御情報等を直接、または、間接的に導出するためのシンタックス）が含まれていてもよい。
　なお、以上に説明したパラメータは、単独で符号化されていてもよいし、複数のパラメータが複合的に符号化されていてもよい。複数のパラメータが複合的に符号化される場合は、そのパラメータの値の組み合わせに対してインデックスが割り当てられ、割り当てられた当該インデックスが符号化される。また、パラメータが、別のパラメータや、復号済みの情報から導出可能であれば、当該パラメータの符号化を省略することができる。
　〔階層動画像復号装置〕
　以下では、本実施形態に係る階層動画像復号装置１の構成について、図１～図２１を参照して説明する。
　（階層動画像復号装置の構成）
　図４を用いて、階層動画像復号装置１の概略的構成について説明すると次のとおりである。図４は、階層動画像復号装置１の概略的構成について示した機能ブロック図である。階層動画像復号装置１は、階層動画像符号化装置２から供給される階層符号化データＤＡＴＡを復号して、対象レイヤの復号画像ＰＯＵＴ＃Ｔを生成する。なお、以下では、対象レイヤは拡張レイヤであるとして説明する。そのため、対象レイヤは、参照レイヤに対する上位レイヤでもある。逆に、参照レイヤは、対象レイヤに対する下位レイヤでもある。
　図４に示すように階層動画像復号装置１は、ＮＡＬ逆多重化部１１、可変長復号部１２、復号画像バッファ１３、予測パラメータ復元部１４、テクスチャ復元部１５、ベース復号部１６、および、ベース復号画像バッファ１７を備える。
　ＮＡＬ逆多重化部１１は、ＮＡＬ（Network Abstraction Layer）におけるＮＡＬユニット単位で伝送される階層符号化データＤＡＴＡを逆多重化する。
　ＮＡＬは、ＶＣＬ（Video Coding Layer）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。
　ＶＣＬは、動画像符号化処理を行う層のことであり、ＶＣＬにおいて符号化が行われる。一方、ここでいう、下位システムは、Ｈ．２６４／ＡＶＣおよびＨＥＶＣのファイルフォーマットや、ＭＰＥＧ－２システムに対応する。
　なお、ＮＡＬでは、ＶＣＬで生成されたビットストリームが、ＮＡＬユニットという単位で区切られて、宛先となる下位システムへ伝送される。ＮＡＬユニットには、ＶＣＬで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダが含まれる。また、各階層における符号化データは、ＮＡＬユニット格納されることでＮＡＬ多重化されて階層動画像復号装置１に伝送される。
　ＮＡＬ逆多重化部１１は、階層符号化データＤＡＴＡを逆多重化して、対象レイヤ符号化データＤＡＴＡ＃Ｔおよび参照レイヤ符号化データＤＡＴＡ＃Ｒを取り出す。また、ＮＡＬ逆多重化部１１は、対象レイヤ符号化データＤＡＴＡ＃Ｔを可変長復号部１２に供給するとともに、参照レイヤ符号化データＤＡＴＡ＃Ｒをベース復号部１６に供給する。
　可変長復号部１２は、対象レイヤ符号化データＤＡＴＡ＃Ｔに含まれるバイナリから各種のシンタックス値を復号する。復号されたシンタックス値は、分類されて出力される。シンタックス値の分類には、図３（ｅ）のＰＴＩに相当する予測情報、図３（ｅ）のＴＴＩに相当する変換係数情報が含まれる。
　また、可変長復号部１２は、ＣＵ情報を符号化データＤＡＴＡ＃Ｔから復号する。ＣＵ情報には、ＣＵの形状、サイズ、位置を特定するための情報が含まれる。
　また、可変長復号部１２は、対象レイヤの復号に用いるパラメータセットを符号化データＤＡＴＡ＃Ｔから復号する。パラメータセットは、ＶＰＳ、ＳＰＳ、ＰＰＳ、および、スライスヘッダを含む。
　可変長復号部１２は、復号した予測情報およびＣＵ情報を予測パラメータ復元部１４に供給する。また、可変長復号部１２は、復号した変換係数情報、ＣＵ情報、およびパラメータセットをテクスチャ復元部１５に供給する。
　復号画像バッファ１３は、テクスチャ復元部１５で復元された対象レイヤの各ピクチャの復号画像を記録するピクチャバッファである。復号画像バッファ１３では、対象レイヤの各ピクチャに対応する復号画像が出力順（POC: Picture Order Count）に関連付けて記録されている。なお、以下では、復号画像バッファ１３のことをDPB（Decoded Picture Buffer）とも呼ぶ。DPBは対象レイヤの復号画像を記録している。
　ベース復号部１６は、参照レイヤ符号化データＤＡＴＡ＃Ｒから、対象レイヤに対応する復号画像を復号する際に参照される参照レイヤの復号画像であるベース復号画像を復号する。ベース復号部１６は、復号したベース復号画像をテクスチャ復元部１５に供給する。
　なお、ベース復号部１６は、参照レイヤ符号化データ＃Ｒから、参照レイヤにおける予測パラメータに相当するベース予測パラメータを復号して予測パラメータ復元部１４に供給してもよい。
　ベース復号画像バッファ１７は、ベース復号部１６で復元された参照レイヤの各ピクチャの復号画像を記録するピクチャバッファである。ベース復号画像バッファ１７では、参照レイヤの各ピクチャに対応する復号画像が出力順（POC）に関連付けて記録されている。なお、以下では、ベース復号画像バッファ１７のことをBASE_DPB（Base Decoded Picture Buffer）とも呼ぶ。
　予測パラメータ復元部１４は、ＣＵ情報と予測情報を用いて、予測パラメータを復元する。予測パラメータ復元部１４は、復元した予測パラメータを、テクスチャ復元部１５に供給する。
　テクスチャ復元部１５は、ＣＵ情報、変換係数情報、ベース復号画像および予測パラメータを用いて、復号画像ＰＯＵＴ＃Ｔを生成し、外部に出力する。なお、テクスチャ復元部１５では、復元された復号画像に関する情報が、復号画像バッファ１３に格納される。
　以下では、テクスチャ復元部１５、可変長復号部１２、および、ベース復号部１６それぞれの詳細について説明する。
　（テクスチャ復元部）
　図１を用いて、テクスチャ復元部１５の詳細構成について説明する。図１は、テクスチャ復元部１５の構成を例示した機能ブロック図である。
　図１に示すように、テクスチャ復元部１５は、逆直交変換・逆量子化部１５１、テクスチャ予測部１５２、加算器１５３、ループフィルタ部１５４、参照画像リスト設定部１５５、レイヤ間参照画像リスト設定部１５６を備える。テクスチャ予測部１５２は、内部に、インター予測部１５２Ｔ、イントラ予測部１５２Ｓ、および、レイヤ間画像予測部１５２Ｂを備える。
　逆直交変換・逆量子化部１５１は、（１）可変長復号部１２から供給される変換係数情報に含まれる量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ係数を逆直交変換（例えば、ＤＣＴ（Discrete Cosine Transform）変換）し、（３）逆直交変換によって得られた予測残差Ｄを加算器１５３に供給する。なお、予測残差Ｄの生成は、変換ブロックを単位として行われる。
　テクスチャ予測部１５２は、予測パラメータに応じて、ベース復号画像バッファ１７に記録されているベース復号画像（ベース参照画像とも呼ぶ）または復号画像バッファ１３に記録されている復号済みの復号画像を参照し、予測画像を生成する。
　テクスチャ予測部１５２は、インター予測部１５２Ｔ、イントラ予測部１５２Ｓ、または、レイヤ間画像予測部１５２Ｂが生成した予測画像を加算器１５３に供給する。
　インター予測部１５２Ｔは、各予測ブロックの予測画像をインター予測により生成する。具体的には、予測パラメータに含まれる動きベクトルが示す参照画像上の領域の画素値に基づく動き補償予測により予測画像が生成される。参照画像は、復号画像バッファ１３上に記録されている復号画像であって、予測パラメータに含まれる参照画像インデックスと、参照画像リストの組み合わせにより特定される。インター予測部１５２Ｔにおけるインター予測による予測画像生成処理については、参照画像リスト設定部１５５における参照画像リスト設定処理と合わせて詳細を後述する。
　イントラ予測部１５２Ｓは、各イントラ予測パーティションに関する予測画像をイントラ予測により生成する。具体的には、イントラ予測情報復元部１４４Ｓから予測パラメータとして供給される空間予測モードを用いて、対象ＰＵの復号済周辺画素値を参照する空間予測により、予測画像を生成する。
　レイヤ間画像予測部１５２Ｂは、ベース参照画像を参照して、レイヤ間画像予測により、予測画像を生成する。ベース参照画像は、ベース復号画像バッファ１７に記録されている復号画像から選択される。より厳密には、対象ピクチャにおけるレイヤ間参照画像セットに含まれるベース復号画像であって、対象ピクチャから参照可能であることが示されたベース復号画像の中から、ベース参照画像が選択される。ベース参照画像の選択には、予測パラメータに含まれるベース参照画像インデックスを用いる。ベース参照画像インデックスとレイヤ間参照画像リストの組み合わせにより、何れのベース復号画像を参照画像として利用するかが決定される。レイヤ間画像予測部１５２Ｂにおけるレイヤ間画像予測による予測画像生成処理については、レイヤ間参照画像リスト設定部１５６におけるレイヤ間参照画像リスト設定処理と合わせて詳細を後述する。
　加算器１５３は、テクスチャ予測部１５２から供給された予測画像と、逆直交変換・逆量子化部１５１から供給された予測残差Ｄとを加算することによって復号画像を生成する。
　ループフィルタ部１５４は、加算器１５３から供給される復号画像に対し、デブロッキング処理や、適応フィルタパラメータによるフィルタ処理を施すものである。
　参照画像リスト設定部１５５は、パラメータセットに含まれる参照画像リストに係るシンタックスに基づいて、テクスチャ予測部１５２内のインター予測部１５２Ｔにおける動き補償予測に用いられる参照画像リストを生成する。
　レイヤ間参照画像リスト設定部１５６は、パラメータセットに含まれるレイヤ間参照画像リストに係るシンタックスに基づいて、テクスチャ予測部１５２内のレイヤ間画像予測部１５２Ｂにおけるレイヤ間画像予測に用いられるレイヤ間参照画像リストを生成する。
　　＜インター予測と参照画像リスト生成＞
　インター予測部１５２Ｔにおけるインター予測による予測画像生成処理、および、参照画像リスト設定部１５５における参照画像リスト設定処理の詳細を説明する。
　インター予測部１５２Ｔにおける予測画像生成（動き補償予測）では、参照画像インデックス（refIdx）の示す参照画像リスト上の位置に記録されている復号画像を参照画像として利用する。例えば、refIdxの値が０の場合は、参照画像リストの０の位置、すなわち参照画像リストの先頭の復号画像が参照画像として動き補償予測に用いられる。
　参照画像リスト（RPL: Reference Picture List）は、動き補償予測の適用時に参照可能な参照画像の候補リストである。参照画像リストは２以上存在してもよい。本実施形態では、Ｌ０参照画像リスト（Ｌ０参照リスト）とＬ１参照画像リスト（Ｌ１参照リスト）を用いるとする。ＲＰＬ修正情報は、パラメータセット（ＳＰＳやスライスヘッダ）に含まれる情報であり、参照画像リスト内の参照画像の順序を示す。
　参照画像セット（RPS: Reference Picture Set）は、対象ピクチャ、または、復号順で対象ピクチャに後続するピクチャにおいて、参照画像として利用される可能性のあるピクチャの集合を表す。ＲＰＳ情報は、パラメータセット（ＳＰＳやスライスヘッダ）に含まれる情報であり、各ピクチャの復号時に設定される参照画像セットの導出に用いられる。
　特定のピクチャに対する参照画像セットに含まれないピクチャは、復号順で当該特定ピクチャ以降のピクチャの復号には用いられない。したがって、階層動画像復号装置は、参照画像セットに含まれないピクチャを復号画像バッファから削除できる。
　参照画像リストは、参照画像セットに含まれるピクチャから、対象ピクチャにおいて参照画像として利用される可能性のあるピクチャを選択し、順序を付けたリストと表現することもできる。
　ここで、参照画像セットと参照画像リストの例を、図６を参照して説明しておく。図６（ａ）は、動画像を構成するピクチャを表示順に並べて図示したものであり、図中の数字は各ピクチャに対応するＰＯＣを表している。ＰＯＣは、出力順で昇順となるよう各ピクチャに割り当てられている。“ｃｕｒｒ”と示されたＰＯＣが９のピクチャが、現在の復号対象ピクチャである。
　図６（ｂ）は、対象ピクチャに適用されるＲＰＳ情報の例を示す。対象ピクチャにおける参照画像セット（現ＲＰＳ）は、当該ＲＰＳ情報に基づいて導出される。ＲＰＳ情報には、長期ＲＰＳ情報と短期ＲＰＳ情報とが含まれる。長期ＲＰＳ情報として、現ＲＰＳに含めるピクチャのＰＯＣが直接示されている。図６（ｂ）に示す例では、長期ＲＰＳ情報は、ＰＯＣ＝１のピクチャを現ＲＰＳに含めることを示している。短期ＲＰＳ情報には、現ＲＰＳに含めるピクチャが、対象ピクチャのＰＯＣに対する差分で記録されている。図中の「Before, dPOC=1」と示された短期ＲＰＳ情報は、対象ピクチャのＰＯＣに対して１小さいＰＯＣのピクチャを現ＲＰＳに含めることを示している。同様に、図中の「Before, dPOC=4」は４小さいＰＯＣのピクチャを示し、「After, dPOC=1」は１大きいＰＯＣのピクチャを現ＲＰＳに含めることを示す。なお、「Before」は、対象ピクチャの前方、つまり、対象ピクチャより表示順の早いピクチャを示す。また、「After」は、対象ピクチャの広報後方、つまり、対象ピクチャより表示順の遅いピクチャを示す。
　図６（ｃ）は、対象ピクチャのＰＯＣが０の場合に、図６（ｂ）で例示したＲＰＳ情報を適用したときに導出される現ＲＰＳの例を示す。長期ＲＰＳ情報で示されたＰＯＣ＝１のピクチャが含まれている。また、短期ＲＰＳ情報で示された、対象ピクチャ（ＰＯＣ＝９）より１小さいＰＯＣを有するピクチャ、すなわちＰＯＣ＝８のピクチャが含まれている。同様に、短期ＲＰＳ情報で示された、ＰＯＣ＝５とＰＯＣ＝１０のピクチャが含まれている。
　図６（ｄ）および（ｅ）は、現ＲＰＳに含まれる参照画像から生成される参照画像リストの例を示す。参照画像リストの各要素にはインデックス（参照画像インデックス）が付与されている（図中ではidxと記載）。図６（ｄ）は、Ｌ０参照リストの例を示す。Ｌ０参照リストには、５、８、１０、１のＰＯＣを持つ現ＲＰＳに含まれる参照ピクチャが、この順で含まれている。図６（ｅ）は、Ｌ１参照リストの例を示す。Ｌ１参照リストには、１０、５、８のＰＯＣを持つ現ＲＰＳに含まれる参照ピクチャが、この順で含まれている。なお、Ｌ１参照リストの例で示した通り、参照画像リストには、現RPSに含まれる全ての参照画像（参照可能ピクチャ）を含める必要はない。しかし、参照画像ストの要素数は、最大でも現RPSに含まれる参照画像の数となる。言い換えると、参照画像リストの長さは、現ピクチャで参照可能なピクチャ数以下である。
　次に、参照ピクチャリスト修正の例を、図７を参照して説明しておく。図７は、特定の参照ピクチャリストに（図７（ａ））に対して、ＲＰＬ修正情報（図７（ｂ））を適用した場合に得られる修正後の参照ピクチャリスト（図７（ｃ））を例示している。図７（ａ）に示す修正前Ｌ０参照リストは、図６（ｄ）で説明したＬ０参照リストと同一である。図７（ｂ）に示すＲＰＬ修正情報は参照画像インデックスの値を要素とするリストになっており、先頭から順に０、２、１、３の値が格納されている。このＲＰＬ修正情報は、修正前参照リストに含まれる０、２、１、３の参照画像インデックスで示される参照画像を、この順で修正後Ｌ０参照リストの参照画像とすることを示す。図７（ｃ）は修正後Ｌ０参照リストを示し、ＰＯＣが５、１０、８、１のピクチャがこの順で含まれている。
　　＜インター予測（動き補償予測）処理＞
　インター予測部１５２Ｔにおける予測画像生成処理は以下のＳ１０１からＳ１０５の手順で実行される。
　（Ｓ１０１）対象ＣＵ内の予測ブロックを順次対象予測ブロックに設定し、以下のＳ１０２からＳ１０５の各処理を順次実行する。
　（Ｓ１０２）対象予測ブロックの動き情報を予測パラメータから読み出す。
　（Ｓ１０３）対象予測ブロックがＬ０予測を利用する場合、Ｌ０参照リストにおいてＬ０参照インデックスの示す位置の参照画像を、対象予測ブロックの参照画像に設定する。Ｌ０動きベクトルの示す当該参照画像の復号画素値に基づいてＬ０予測画像を生成する。
　（Ｓ１０４）対象予測ブロックがＬ１予測を利用する場合、Ｌ１参照リストにおいてＬ１参照インデックスの示す位置の参照画像を、対象予測ブロックの参照画像に設定する。当該参照画像上のＬ１動きベクトルの示す位置の画素値に基づいてＬ１予測画像を生成する。
　（Ｓ１０５）対象予測ブロックがＬ０予測のみ利用する場合、Ｌ０予測画像を対象予測ブロックの予測画像とする。他方、対象予測ブロックがＬ１予測のみ利用する場合、Ｌ１予測画像を対象予測ブロックの予測画像とする。他方、対象予測ブロックがＬ０予測とＬ１予測の両方を利用する場合（双予測を利用する場合）、Ｌ０予測画像とＬ１予測画像の加重平均を対象予測ブロックの予測画像とする。
　　＜レイヤ間画像予測とレイヤ間参照画像リスト生成＞
　レイヤ間画像予測部１５２Ｂにおけるレイヤ間画像予測による予測画像生成処理と、レイヤ間参照画像リスト設定部１５６におけるレイヤ間参照画像リスト設定処理の詳細を説明する。
　レイヤ間画像予測部１５２Ｂにおけるレイヤ間画像予測について、図８を参照して説明する。図８は、ベース復号画像を用いたレイヤ間画像予測を概略的に示す模式図である。
　図８（ａ）に示すように、レイヤ間画像予測では、対象レイヤ（拡張レイヤ）の対象ブロック（復号される予測ブロックのことを指す（以下同様））の予測画像が、参照レイヤにおいて、時間的に該対象ブロックと同時刻に位置するピクチャ上のブロックであって、空間的に該対象ブロックに対応する位置に配置されたブロックである参照ブロック（参照される予測ブロックのことを指す（以下同様））の復号画像に基づいて生成できる。
　また、図８（ｂ）に示すように、レイヤ間画像予測では、対象レイヤ（拡張レイヤ）の対象ブロックの予測画像が、参照レイヤにおいて、時間的に該対象ブロックと異なる時刻に位置するピクチャであって、空間的に該対象ブロックに対応する位置に配置されたブロックである参照ブロックの復号画像に基づいて生成できる。
　なお、対象ブロックと、参照ブロックとで、画素数が異なる場合はアップサンプルを行う構成とすればよい。また、必要に応じて、参照ブロックの復号画像に対してフィルタリング（サンプル適応オフセット（Sample Adaptive Offset；ＳＡＯ）、適応ループフィルタ（Adaptive Loop Filter；ＡＬＦ）、エッジ強調、ノイズ除去、インタレース解除など）を適用したベース復号画像を参照してイントラ予測画像を生成する構成としてもよい。
　以下では、レイヤ間画像予測による予測画像生成に使われる参照レイヤのピクチャをベース参照画像と呼ぶ。ベース参照画像は、レイヤ間参照画像リストから選択される。
　レイヤ間参照画像リスト（IL-RPL: Inter-Layer Reference Picture List）は、レイヤ間画像予測の適用時に参照可能なベース参照画像の候補リストである。ＩＬ－ＲＰＬ修正情報は、パラメータセット（ＳＰＳやスライスヘッダ）に含まれる情報であり、ベース参照画像リスト内のベース参照画像の順序を示す。
　より一般的には、レイヤ間参照画像リストは、対象レイヤ（拡張レイヤ）における予測画像生成時に参照可能なベース復号画像の候補リストである、とも言える。例えば、一般化残差予測と呼ばれる方式を用いる場合にも、レイヤ間参照画像リストを用いることができる。一般化残差予測は、概略的には、参照レイヤの複数の復号画像から対象ブロックの予測残差推定値を導出し、当該予測残差推定値を用いて対象ブロックの予測画像を生成する予測方法である。
　レイヤ間参照画像セット（IL-RPS: Inter-Layer Reference Picture Set）は、対象レイヤ（拡張レイヤ）上の対象ピクチャ、または、復号順で対象ピクチャに後続する対象レイヤ（拡張レイヤ）上のピクチャにおいて、ベース参照画像として利用される可能性のある参照レイヤ上のピクチャの集合を表す。ＩＬ－ＲＰＳ情報は、パラメータセット（ＳＰＳやスライスヘッダ）に含まれる情報であり、対象レイヤ（拡張レイヤ）上の各ピクチャの復号時に設定されるベース参照画像セットの導出に用いられる。
　対象レイヤ（拡張レイヤ）上の特定のピクチャに対するレイヤ間参照画像セットに含まれない参照レイヤ上のピクチャは、復号順で当該特定ピクチャ以降の対象レイヤ（拡張レイヤ）上のピクチャの復号には用いられない。したがって、当該参照レイヤ上のピクチャが、復号順が現ピクチャより後の参照レイヤ上のピクチャの復号に用いられないのであれば、階層動画像復号装置は、参照画像セットに含まれないピクチャをベース復号画像バッファから削除できる。
　　＜レイヤ間参照画像セットの具体例１＞
　ここで、参照画像セットとレイヤ間参照画像セットの具体例を、図９を参照して説明する。図９は、２レイヤからなる階層符号化データ復号時における、レイヤ間参照画像セット、レイヤ間参照画像リスト、拡張レイヤと参照レイヤの各参照画像セットと参照画像リストの状態を例示する図である。
　図９（ａ）は、参照レイヤ上のピクチャB1、B2、B3、および、対象レイヤ（拡張レイヤ）上のピクチャE1、E2、E3の表示順とインター予測またはレイヤ間画像予測による参照関係を示している。図９（ｂ）は、上記各ピクチャの復号順と、各ピクチャ復号時における対象レイヤ（拡張レイヤ）の参照画像セット（EL-RPS）、レイヤ間参照画像セット（IL-RPS）、参照レイヤの参照画像セット（BL-RPS）、対象レイヤ（拡張レイヤ）または参照レイヤにおけるＬ０参照画像リスト（L0-RPL）およびＬ１参照画像リスト（L1-RPL）、および、レイヤ間参照画像リスト（IL-RPL）の状態を示している。以下、復号順に従って、説明する。
　（１）B1復号時：B1は参照レイヤの最初のピクチャであるため、BL-RPSは空（図中で「{}」）である。インター予測が用いられないため、L0-RPLもL1-RPLも用いられない（図中で「－」）。また、参照レイヤはベースレイヤでもあるため、レイヤ間画像予測は利用できず、IL-RPLは用いられない（B2、B3復号時も同様）。
　（２）E1復号時：E1は対象レイヤ（拡張レイヤ）の最初のピクチャであるため、EL-RPSは空である。レイヤ間画像予測ではB1の復号画像を参照できる、つまり、IL-RPSおよびIL-RPLにはB1を含む。
　（３）B3復号時：B3ではインター予測によりB1を参照できる。つまり、BL-RPSにB1を含む。また、L0_RPLとL1_RPLにB1を含む。
　（４）E3復号時：E3ではインター予測によりE1を参照できる。つまり、EL-RPSにE1を含む。また、L0_PRLとL1_RPLにE1を含む。また、E3はレイヤ間画像予測によりB3を参照できる。つまり、IL-RPSおよびIL-RPLにはB3が含まれる。
　（５）B2復号時：B2ではインター予測によりB1およびB3を参照できる。つまり、BL-RPSにB1およびB3が含まれる。L0-RPLとL1-RPLのいずれにもB1とB3が含まれるが、L0-RPLではB1、B3の順、L1-RPLではB3、B1の順となっている。
　（６）E2復号時：E2ではインター予測によりE1およびE3を参照できる。つまり、EL-RPSにE1およびE3が含まれる。L0-RPLとL1-RPLのいずれにもE1とE3が含まれるが、L0-RPLではE1、E3の順、L1-RPLではE3、E1の順となっている。また、E2ではレイヤ間画像予測によりB2を参照できる。つまり、IL-RPSおよびIL-RPLにはB2が含まれる。
　上記の例では、E3復号時に、IL-RPSにB1は含まれない。これは、E3よりも復号順が後の拡張レイヤ上のピクチャでは、B1がレイヤ間画像予測に用いられないことを意味する。したがって、階層動画像復号装置は、B1がBL-RPSに含まれなくなった時点で、B1の復号画像をベース復号画像バッファから削除できる。なお、IL-RPSを用いない場合は、B1がBL-RPSに含まれなくなっても、対象レイヤ（拡張レイヤ）上のピクチャでB1がレイヤ間画像予測に用いられる可能性の有無が判定できないため、ベース復号画像バッファからB1を削除できない。ゆえに、IL-RPSを用いることで、インター予測にもレイヤ間画像予測にも用いられない参照レイヤの復号画像を特定して、ベース参照画像から削除できるため、IL-RPSを用いない場合に較べてメモリ量を低減できる。
　　＜レイヤ間参照画像セットの具体例２＞
　次に、参照画像セットとレイヤ間参照画像セットの別の具体例を、図１０を参照して説明する。図１０は、２レイヤからなる階層符号化データ復号時における、レイヤ間参照画像セット、レイヤ間参照画像リスト、対象レイヤ（拡張レイヤ）と参照レイヤの各参照画像セットと参照画像リストの状態の別の例を示す図である。図１０に示す例では、参照レイヤの復号順と表示順の関係と、対象レイヤ（拡張レイヤ）の表示順と復号順の関係が一致していない点が、図９で説明した例と異なる。
　図９（ａ）と同様に、図１０（ａ）はピクチャB1、B2、B3、E1、E2、E3の表示順とインター予測またはレイヤ間画像予測による参照関係を示している。また、図９（ｂ）と同様に、図１０（ｂ）は、上記各ピクチャの復号順と、各ピクチャ復号時におけるEL-RPS、IL-RPS、BL-RPS、L0-RPL、L1-RPL、および、IL-RPLの状態を示している。以下、復号順に従って、説明する。
　（１）B1復号時：B1は参照レイヤの最初のピクチャであるため、BL-RPSは空である。また、インター予測が用いられないため、L0-RPLもL1-RPLも用いられない。また、参照レイヤはベースレイヤでもあるため、レイヤ間画像予測は利用できず、IL-RPLは用いられない（B2、B3復号時も同様）。
　（２）B2復号時：B2ではインター予測によりB1を参照できる。つまり、BL-RPSにB1を含む。また、L0_RPLとL1_RPLにB1を含む。
　（３）B3復号時：B3ではインター予測によりB1を参照できる。つまり、BL-RPSにB1が含まれる。また、L0_RPLとL1_RPLにB1を含む。
　（４）E1復号時：E1は対象レイヤ（拡張レイヤ）の最初のピクチャであるため、EL-RPSは空である。レイヤ間画像予測ではB1の復号画像を参照できる、つまり、IL-RPSおよびIL-RPLにはB1を含む。
　（５）E3復号時：E3ではインター予測によりE1を参照できる。つまり、EL-RPSにE1を含む。また、L0_PRLとL1_RPLにE1を含む。また、E3はレイヤ間画像予測によりB3を参照できる。つまり、IL-RPLにはB3が含まれる。なお、B1はE3におけるレイヤ間画像予測では参照されないが、E3より後に復号されるE2においてレイヤ間画像予測で参照される。そのため、IL-RPSにはB3に加えてB1も含まれる。
　（６）E2復号時：E2ではインター予測によりE1およびE3を参照できる。つまり、EL-RPSにE1およびE3が含まれる。L0-RPLとL1-RPLのいずれにもE1とE3が含まれるが、L0-RPLではE1、E3の順、L1-RPLではE3、E1の順となっている。また、E2ではレイヤ間画像予測によりB1およびB3を参照できる。つまり、IL-RPSおよびIL-RPLにはB1およびB3が含まれる。
　上記の例では、B3復号時のBL-RPSにB2が含まれない。従って、B3復号時点で、B2がB3以降の参照レイヤ上のピクチャ復号時に参照されないことが分かる。E1復号時には、IL-RPSにB2は含まれない。従って、E1復号時点で、B2がE1以降の拡張レイヤ上のピクチャ復号時に参照されないことが分かる。そのため、E1復号時点で、B2をベース参照画像バッファから削除できる。
　上記の２つの例で示したように、レイヤ間参照画像セットを利用することで、動画像復号装置において、参照レイヤの復号画像が予測画像生成に用いられなくなるタイミングを特定して、ベース復号画像バッファから削除でき、それにより、メモリ量を低減できる。レイヤ間参照画像セットを利用する方式は、参照レイヤと対象レイヤ（拡張レイヤ）の復号順および各ピクチャの予測画像生成時に利用する参照レイヤの復号画像があらかじめ決まっていない場合にも有効である。
　（可変長復号部）
　前述の通り、可変長復号部１２は、入力された符号化データから、予測情報、ＣＵ情報、パラメータセットを復号して、適切な出力先に出力する。ここでは、本発明に関わりの深い参照画像セット、参照画像リスト、レイヤ間参照画像セット、および、レイヤ間参照画像リストに係るシンタックスの復号について詳細を説明する。また、復号シンタックスから参照画像セット、参照画像リスト、レイヤ間参照画像セット、および、レイヤ間参照画像リストを導出する処理についても説明する。
　　＜参照画像セット復号処理＞
　ＲＰＳ情報は、参照画像セットを構築するためにＳＰＳまたはスライスヘッダより復号される情報である。ＲＰＳ情報には以下を含む。
１．ＳＰＳ短期ＲＰＳ情報：ＳＰＳに含まれる短期参照画像セット情報
２．ＳＰＳ長期ＲＰ情報：ＳＰＳに含まれる長期参照画像情報
３．ＳＨ短期ＲＰＳ情報：スライスヘッダに含まれる短期参照画像セット情報
４．ＳＨ長期ＲＰ情報：スライスヘッダに含まれる長期参照画像情報
　（１．ＳＰＳ短期ＲＰＳ情報）
　ＳＰＳ短期ＲＰＳ情報は、ＳＰＳを参照する各ピクチャから利用され得る複数の短期参照画像セットの情報を含む。なお、短期参照画像セットとは、対象ピクチャに対する相対的な位置（例えば対象ピクチャとのＰＯＣ差分）により指定される参照画像（短期参照画像）となり得るピクチャの集合である。
　ＳＰＳ短期ＲＰＳ情報の復号について、図１１を参照して説明する。図１１は、ＳＰＳ復号時に利用されるＳＰＳシンタックス表の一部を例示している。図１１の（Ａ）の部分がＳＰＳ短期ＲＰＳ情報に相当する。ＳＰＳ短期ＲＰＳ情報には、ＳＰＳに含まれる短期参照画像セットの数（num_short_term_ref_pic_sets）、および、各短期参照画像セットの情報（short_term_ref_pic_set(i)）が含まれる。
　短期参照画像セット情報について、図１２を参照して説明する。図１２は、ＳＰＳ復号時、および、スライスヘッダ復号時に利用される短期参照画像セットのシンタックス表を例示している。
　短期参照画像セット情報には、対象ピクチャより表示順が早い短期参照画像数（num_negative_pics）、および、対象ピクチャより表示順が遅い短期参照画像数（num_positive_pics）が含まれる。なお、以下では、対象ピクチャより表示順が早い短期参照画像を前方短期参照画像、対象ピクチャより表示順が遅い短期参照画像を後方短期参照画像と呼ぶ。
　また、短期参照画像セット情報には、各前方短期参照画像に対して、対象ピクチャに対するＰＯＣ差分の絶対値（delta_poc_s0_minus1[i]）、および、対象ピクチャの参照画像として使用される可能性の有無（used_by_curr_pic_s0_flag[i]）が含まれる。加えて、各後方短期参照画像に対して、対象ピクチャに対するＰＯＣ差分の絶対値（delta_poc_s1_minus1[i]）、および、対象ピクチャの参照画像として使用される可能性の有無（used_by_curr_pic_s1_flag[i]）が含まれる。
　（２．ＳＰＳ長期ＲＰ情報）
　ＳＰＳ長期ＲＰ情報は、ＳＰＳを参照する各ピクチャから利用され得る複数の長期参照画像の情報を含む。なお、長期参照画像とは、シーケンス内の絶対的な位置（例えばＰＯＣ）により指定されるピクチャである。
　ＳＰＳ長期ＲＰ情報の復号について、図１１を再び参照して説明する。図１１の（Ｂ）の部分がＳＰＳ長期ＲＰ情報に相当する。ＳＰＳ長期ＲＰ情報には、ＳＰＳで伝送される長期参照画像の有無を示す情報（long_term_ref_pics_present_flag）、ＳＰＳに含まれる長期参照画像の数（num_long_term_ref_pics_sps）、および、各長期参照画像の情報が含まれる。長期参照画像の情報には、参照画像のＰＯＣ（lt_ref_pic_poc_lsb_sps[i]）、および、対象ピクチャの参照画像として使用される可能性の有無（used_by_curr_pic_lt_sps_flag[i]）が含まれる。
　なお、上記参照画像のＰＯＣは、参照画像に関連付けられたＰＯＣの値自体であってもよいし、ＰＯＣのＬＳＢ（Least Significant Bit）、すなわち、ＰＯＣを既定の２の冪乗の数で割った余りの値を用いてもよい。
　（３．ＳＨ短期ＲＰＳ情報）
　ＳＨ短期ＲＰＳ情報は、スライスヘッダを参照するピクチャから利用され得る単一の短期参照画像セットの情報を含む。
　ＳＰＳ短期ＲＰＳ情報の復号について、図１３を参照して説明する。図１３は、スライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。図１３の（Ａ）の部分がＳＨ短期ＲＰＳ情報に相当する。ＳＨ短期ＲＰＳ情報は、短期参照画像セットをＳＰＳで復号済みの短期参照画像セットの中から選択するか、スライスヘッダに明示的に含めるかを示すフラグ（short_term_ref_pic_set_sps_flag）を含む。ＳＰＳで復号済の中から選択する場合、復号済の短期参照画像セットを一つ選択する識別子（short_term_ref_pic_set_idx）が含まれる。スライスヘッダに明示的に含める場合は、前述の図１２を参照して説明したシンタックス表（short_term_ref_pic_set(idx)）に相当する情報が、ＳＰＳ短期ＲＰＳ情報に含まれる。
　（４．ＳＨ長期ＲＰ情報）
　ＳＨ長期ＲＰ情報は、スライスヘッダを参照するピクチャから利用され得る長期参照画像の情報を含む。
　ＳＨ長期ＲＰ情報の復号について、図１３を再び参照して説明する。図１３の（Ｂ）の部分がＳＨ長期ＲＰ情報に相当する。ＳＨ長期ＲＰ情報は、対象ピクチャで長期参照画像が利用可能（long_term_ref_pic_present_flag）である場合のみスライスヘッダに含まれる。ＳＰＳで１以上の長期参照画像を復号済である場合（num_long_term_ref_pics_sps>0）、ＳＰＳで復号済の長期参照画像の中で対象ピクチャで参照され得る参照画像の数（num_long_term_sps）がＳＨ長期ＲＰ情報に含まれる。また、スライスヘッダで明示的に伝送される長期参照画像数（num_long_term_pics）がＳＨ長期ＲＰ情報に含まれる。加えて、上記num_long_term_spsの数の長期参照画像をＳＰＳで伝送済の長期参照画像の中から選択する情報（lt_idx_sps[i]）がＳＨ長期ＲＰ情報に含まれる。さらに、スライスヘッダに明示的に含める長期参照画像の情報として、上記num_long_term_picsの数だけ、参照画像のＰＯＣ（poc_lsb_lt [i]）、および、対象ピクチャの参照画像として使用される可能性の有無（used_by_curr_pic_lt_flag[i]）が含まれる。
　　＜参照画像リスト復号処理＞
　RPL修正情報は、参照画像リストRPLを構築するためにＳＰＳまたはスライスヘッダより復号される情報である。RPL修正情報には、SPSリスト修正情報、および、SHリスト修正情報が含まれる。
　（ＳＰＳリスト修正情報）
　ＳＰＳリスト修正情報はＳＰＳに含まれる情報であり、参照画像リスト修正の制約に係る情報である。ＳＰＳリスト修正情報について、図１１を再び参照して説明する。図１１の（Ｃ）の部分がＳＰＳリスト修正情報に相当する。ＳＰＳリスト修正情報には、ピクチャに含まれる前スライスで参照画像リストが共通か否かを示すフラグ（restricted_ref_pic_lists_flag）、および、スライスヘッダ内にリスト並べ替えに関する情報が存在するか否かを示すフラグ（lists_modification_present_flag）が含まれる。
　（ＳＨリスト修正情報）
　ＳＨリスト修正情報はスライスヘッダに含まれる情報であり、対象ピクチャに適用される参照画像リストの長さ（参照リスト長）の更新情報、および、参照画像リストの並べ替え情報（参照リスト並べ替え情報）が含まれる。SHリスト修正情報について、図１４を参照して説明する。図１４はスライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。図１４の（Ｃ）の部分がＳＨリスト修正情報に相当する。
　参照リスト長更新情報として、リスト長の更新有無を示すフラグ（num_ref_idx_active_override_flag）が含まれる。加えて、Ｌ０参照リストの変更後の参照リスト長を表す情報（num_ref_idx_l0_active_minus1）、および、Ｌ１参照リストの変更後の参照リスト長を表す情報（num_ref_idx_l1_active_minus1）が含まれる。
　参照リスト並べ替え情報としてスライスヘッダに含まれる情報について、図１５を参照して説明する。図１５はスライスヘッダ復号時に利用される参照リスト並べ替え情報のシンタックス表を例示している。
　参照リスト並べ替え情報には、Ｌ０参照リスト並べ替え有無フラグ（ref_pic_list_modification_flag_l0）が含まれる。前記フラグの値が１（Ｌ０参照リストの並べ替えが有る場合）、かつ、NumPocTotalCurrが２より大きい場合、Ｌ０参照リスト並べ替え順序（list_entry_l0[i]）が参照リスト並べ替え情報に含まれる。ここで、NumPocTotalCurrは、現ピクチャにおいて利用可能な参照画像の数を表す変数である。したがって、Ｌ０参照リストの並べ替えが有る場合であって、かつ、現ピクチャにおいて利用可能な参照画像数が２より大きい場合にのみ、Ｌ０参照リスト並べ替え順序がスライスヘッダに含まれる。
　同様に、参照画像がＢスライスである場合、つまり、対象ピクチャにおいてＬ１参照リストが利用可能である場合、Ｌ１参照リスト並べ替え有無フラグ（ref_pic_list_modification_flag_l1）が参照リスト並べ替え情報に含まれる。前記フラグの値が１、かつ、NumPocTotalCurrが２より大きい場合、Ｌ１参照リスト並べ替え順序（list_entry_l1[i]）が参照リスト並べ替え情報に含まれる。言い換えると、Ｌ１参照リストの並べ替えが有る場合であって、かつ、現ピクチャにおいて利用可能な参照画像数が２より大きい場合にのみ、Ｌ１参照リスト並べ替え順序がスライスヘッダに含まれる。
　　＜参照画像セット構築処理＞
　上記の各シンタックス値に基づく参照画像セット導出処理の詳細を説明する。なお、参照画像セット導出処理は、本実施形態においては、テクスチャ復元部１５内の参照画像リスト設定部１５５で実行される。
　ＲＰＳ情報と、復号画像バッファ１３に記録されている情報に基づいて、対象ピクチャの復号に用いる参照画像セットRPSを生成する。参照画像セットRPSは、対象ピクチャ、または、対象ピクチャに復号順で後続の同一レイヤ上のピクチャにおいて、復号時に参照画像として利用可能なピクチャ（参照可能ピクチャ）の集合である。参照画像セットは、参照可能ピクチャの種類に応じて次の２つのサブセットに分けられる。
・現ピクチャ参照可能リストListCurr：復号画像バッファ上のピクチャのうち、対象ピクチャにおける参照可能ピクチャのリスト
・後続ピクチャ参照可能リストListFoll：対象ピクチャでは参照されないが、対象ピクチャに復号順で後続のピクチャで参照可能な復号画像バッファ上のピクチャのリスト
　なお、現ピクチャ参照可能リストに含まれるピクチャの数を、現ピクチャ参照可能ピクチャ数NumCurrListと呼ぶ。なお、前述の図１５を参照して説明したNumPocTotalCurrは、NumCurrListと同一である。
　現ピクチャ参照可能リストは、さらに３つの部分リストから構成される。
・現ピクチャ長期参照可能リストListLtCurr：ＳＰＳ長期ＲＰ情報またはSH長期RP情報により指定される現ピクチャ参照可能ピクチャ
・現ピクチャ短期前方参照可能リストListStCurrBefore：ＳＰＳ短期ＲＰＳ情報またはＳＨ短期ＲＰＳ情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの
・現ピクチャ短期後方参照可能リストListStCurrAfter：ＳＰＳ短期ＲＰＳ情報またはＳＨ短期ＲＰＳ情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの
　後続ピクチャ参照可能リストは、さらに２つの部分リストから構成される。
・後続ピクチャ長期参照可能リストListLtFoll：ＳＰＳ長期ＲＰ情報またはＳＨ長期ＲＰ情報により指定される後続ピクチャ参照可能ピクチャ。
・後続ピクチャ短期参照可能リストListStFoll：ＳＰＳ短期ＲＰＳ情報またはＳＨ短期ＲＰＳ情報により指定される現ピクチャ参照可能ピクチャ。
　参照画像リスト設定部１５５は、参照画像セットＲＰＳ、すなわち、現ピクチャ短期前方参照可能リストListStCurrBefore、現ピクチャ短期後方参照可能リストListStCurrAfter、現ピクチャ長期参照可能リストListLtCurr、後続ピクチャ短期参照可能リストListStFoll、および、後続ピクチャ長期参照可能リストListLtFollを次の手順で生成する。加えて、現ピクチャ参照可能ピクチャ数を表す変数NumPocTotalCurrを導出する。なお、前記各参照可能リストは、以下の処理の開始前に空に設定されているとする。
　（Ｓ２０１）ＳＰＳ短期ＲＰＳ情報、および、ＳＨ短期ＲＰＳ情報に基づいて、対象ピクチャの復号に用いる単一の短期参照画像セットを特定する。具体的には、ＳＨ短期ＲＰＳ情報に含まれるshort_term_ref_pic_set_spsの値が０である場合、ＳＨ短期ＲＰＳ情報に含まれるスライスヘッダで明示的に伝送された短期ＲＰＳを選択する。それ以外（short_term_ref_pic_set_spsの値が１の場合、ＳＨ短期ＲＰＳ情報に含まれるshort_term_ref_pic_set_idxが示す短期ＲＰＳを、ＳＰＳ短期ＲＰＳ情報に含まれる複数の短期ＲＰＳの中から選択する。
　（Ｓ２０２）選択された短期ＲＰＳに含まれる参照画像各々のＰＯＣの値を導出し、復号画像バッファ１３上に当該ＰＯＣ値と関連付けられて記録されている局所復号画像の位置を検出して、参照画像の復号画像バッファ上の記録位置として導出する。
　参照画像のＰＯＣ値は、参照画像が前方短期参照画像の場合、対象ピクチャのＰＯＣの値から「delta_poc_s0_minus1[i]+1」の値を減算して導出する。一方、参照画像が後方短期参照画像の場合、対象ピクチャのＰＯＣの値に「delta_poc_s1_minus1[i]+1」の値を加算して導出する。
　（Ｓ２０３）短期ＲＰＳに含まれる前方参照画像を伝送された順に確認し、関連付けられているused_by_curr_pic_s0_flag[i]の値が1である場合、当該前方参照画像を現ピクチャ短期前方参照可能リストListStCurrBeforeに追加する。それ以外（used_by_curr_pic_s0_flag[i]の値が0）の場合、当該前方参照画像を後続ピクチャ短期参照可能リストListStFollに追加する。
　（Ｓ２０４）短期ＲＰＳに含まれる後方参照画像を伝送された順に確認し、関連付けられているused_by_curr_pic_s1_flag[i]の値が1である場合、当該後方参照画像を現ピクチャ短期後方参照可能リストListStCurrAfterに追加する。それ以外（used_by_curr_pic_s1_flag[i]の値が０の場合、当該前方参照画像を後続ピクチャ短期参照可能リストListStFollに追加する。
　（Ｓ２０５） ＳＰＳ長期ＲＰ情報、および、ＳＨ長期ＲＰ情報に基づいて、対象ピクチャの復号に用いる長期参照画像セットを特定する。具体的には、num_long_term_spsの数の参照画像をＳＰＳ長期ＲＰ情報に含まれる参照画像の中から選択して、順に長期参照画像セットに追加する。選択される参照画像は、lt_idx_sps[i]の示す参照画像である。続いて、num_long_term_picsの数の参照画像をＳＨ長期ＲＰ情報に含まれる参照画像を順に長期参照画像セットに追加する。
　（Ｓ２０６）長期参照画像セットに含まれる参照画像各々のＰＯＣの値を導出し、復号画像バッファ１３上に当該ＰＯＣ値と関連付けられて記録されている局所復号画像の位置を検出して、参照画像の復号画像バッファ上の記録位置として導出する。
　長期参照画像のＰＯＣは、関連付けて復号されたpoc_lst_lt[i]、または、lt_ref_pic_poc_lsb_sps[i]の値から直接導出される。
　（Ｓ２０７）長期参照画像セットに含まれる参照画像を順に確認し、関連付けられているused_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が1である場合、当該長期参照画像を現ピクチャ長期参照可能リストListLtCurrに追加する。それ以外（used_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が0）の場合、当該長期参照画像を後続ピクチャ長期参照可能リストListLtFollに追加する。
　（Ｓ２０８）変数NumPocTotalCurrの値を、現ピクチャから参照可能な参照画像の和に設定する。すなわち、変数NumPocTotalCurrの値を、現ピクチャ短期前方参照可能リストListStCurrBefore、現ピクチャ短期後方参照可能リストListStCurrAfter、および、現ピクチャ長期参照可能リストListLtCurrの３つのリストの各要素数の和に設定する。
　　＜参照画像リスト構築処理＞
　参照画像リスト構築処理の詳細を説明する。参照画像リスト導出部は、参照画像セットＲＰＳと、ＲＰＬ修正情報に基づいて参照画像リストＲＰＬを生成する。
　参照画像リストはＬ０参照リストとＬ１参照リストの２つのリストから構成される。始めに、Ｌ０参照リストの構築手順を説明する。Ｌ０参照リストは、以下のＳ３０１～Ｓ３０７に示す手順で構築される。
　（Ｓ３０１）暫定Ｌ０参照リストを生成して、空のリストに初期化する。
　（Ｓ３０２）暫定Ｌ０参照リストに対し、現ピクチャ短期前方参照可能リストに含まれる参照画像を順に追加する。
　（Ｓ３０３）暫定Ｌ０参照リストに対し、現ピクチャ短期後方参照可能リストに含まれる参照画像を順に追加する。
　（Ｓ３０４）暫定Ｌ０参照リストに対し、現ピクチャ長期参照可能リストに含まれる参照画像を順に追加する。
　（Ｓ３０５）参照画像リストが修正される場合（ＲＰＬ修正情報に含まれるlists_modification_present_flagの値が１の場合）、以下のＳ３０６ａ～Ｓ３０６ｂの処理を実行する。そうでない場合（lists_modification_present_flagの値が０の場合）、Ｓ３０７の処理を実行する。
　（Ｓ３０６ａ）Ｌ０参照画像の修正が有効な場合（ＲＰＬ修正情報に含まれるref_pic_list_modification_flag_l0の値が１の場合）であって、かつ、現ピクチャ参照可能ピクチャ数NumCurrListが２に等しい場合、Ｓ３０６ｂを実行する。そうでない場合、Ｓ３０６ｃを実行する。
　（Ｓ３０６ｂ）ＲＰＬ修正情報に含まれるリスト並べ替え順序list_entry_l0[i]の値を下記の式により設定し、その後、Ｓ３０６ｃを実行する。
　list_entry_l0[0] = 1
　list_entry_l0[1] = 0
　（Ｓ３０６ｃ）参照リスト並べ替え順序list_entry_l0[i]の値に基づいて、暫定Ｌ０参照リストの要素を並べ換えて、Ｌ０参照リストとする。参照画像インデックスrIdxに対応するＬ０参照リストの要素RefPicList0[rIdx]は、次式により導出される。ここで、RefListTemp0[i]は、暫定Ｌ０参照リストのi番目の要素を表す。
　RefPicList0[ rIdx ] = RefPicListTemp0[ list_entry_l0[ rIdx ] ]
上記の式によれば、参照リスト並べ替え順序list_entry_l0[i]において、参照画像インデックスrIdxの示す位置に記録されている値を参照し、暫定Ｌ０参照リストにおいて前記値の位置に記録されている参照画像を、Ｌ０参照リストのrIdxの位置の参照画像として格納する。
　（Ｓ３０７）暫定Ｌ０参照リストをＬ０参照リストとする。
　次にＬ１参照リストを構築する。なお、Ｌ１参照リストも、上記Ｌ０参照リストと同様の手順で構築できる。上記Ｌ０参照リストの構築手順（Ｓ３０１～Ｓ３０７）において、Ｌ０参照画像、Ｌ０参照リスト、暫定Ｌ０参照リスト、list_entry_l0をそれぞれ、Ｌ１参照画像、Ｌ１参照リスト、暫定Ｌ１参照リスト、list_entry_l1と置き換えればよい。
　　＜レイヤ間参照画像セット復号処理＞
　ＩＬ－ＲＰＳ情報（レイヤ間参照画像セット情報）は、レイヤ間参照画像セットを構築するためにＳＰＳまたはスライスヘッダより復号される情報である。なお、対象ピクチャは対象レイヤ（拡張レイヤ）上のピクチャであるため、以下の説明におけるＳＰＳやスライスヘッダは、対象レイヤ（拡張レイヤ）のピクチャ復号時に参照されるＳＰＳやスライスヘッダを意味する。図１６はＩＬ－ＲＰＳ情報に係るＳＰＳシンタックス表（seq_parameter_set_rbsp）の一部を示す図である。ＳＰＳには、ＩＬ－ＲＰＳ情報であるシンタックス要素として、ＳＰＳレイヤ間ＲＰＳ推定フラグ（sps_infer_inter_layer_rps_flag）、および、レイヤ間ＲＰＳ数（num_inter_layer_ref_pic_sets）を含む。また、ＩＬ－ＲＰＳ情報であるシンタックス構造として、レイヤ間ＲＰＳ（inter_layer_ref_pic_set(i)）を含む。
　ＳＰＳレイヤ間ＲＰＳ推定フラグは、ＳＰＳが適用されるシーケンスにおいて、レイヤ間参照画像セットが推定されるか否かを示すフラグである。ＳＰＳレイヤ間ＲＰＳ推定フラグの値が１の場合、レイヤ間参照画像セットが推定されることを示し、同フラグの値が０の場合、レイヤ間参照画像セットが明示的符号化データから復号されることを示す。レイヤ間参照画像セットが推定される場合、例えば、各ピクチャにおけるレイヤ間参照画像セットは、当該ピクチャと出力順が等しい参照レイヤ上のピクチャにおける参照画像セットを複製することで実現できる。また、例えば、各ピクチャにおける参照画像セットをコピーして、複製した参照画像セットに含まれる拡張レイヤ上のピクチャの復号画像を、それぞれ出力順の等しい参照レイヤ上のピクチャにおける復号画像に置き換えることでも実現できる。
　レイヤ間ＲＰＳ数は、ＳＰＳに含まれるレイヤ間参照画像セット情報の数を示す。ＳＰＳには、レイヤ間ＲＰＳ数と等しい個数のレイヤ間参照画像セット情報が含まれる。
　レイヤ間参照画像セット情報について、図１７を参照して説明する。図１７は、ＳＰＳ復号時、および、スライスヘッダ復号時に利用されるレイヤ間参照画像セット（inter_layer_ref_pic_set）のシンタックス表を例示している。
　レイヤ間参照画像セット情報には、対象ピクチャより表示順が早いレイヤ間参照画像数（num_negative_il_pics）、および、対象ピクチャより表示順が遅いレイヤ間参照画像数（num_positive_il_pics）が含まれる。なお、以下では、対象ピクチャより表示順が早いレイヤ間参照画像を前方レイヤ間参照画像、対象ピクチャより表示順が遅いレイヤ間参照画像を後方レイヤ間参照画像と呼ぶ。
　また、レイヤ間参照画像セット情報には、各前方レイヤ間参照画像に対して、対象ピクチャに対するＰＯＣ差分の絶対値（delta_poc_il_s0_minus1[i]）、および、対象ピクチャがレイヤ間参照画像として使用される可能性の有無（used_by_curr_pic_il_s0_flag[i]）が含まれる。num_negative_pics、delta_poc_il_s0_minus[i]、used_by_curr_pic_il_s0_flag[i]はレイヤ間参照画像セットに含まれる前方レイヤ間参照画像を示すレイヤ間参照画像セット情報である。
　加えて、各後方レイヤ間参照画像に対して、対象ピクチャに対するＰＯＣ差分の絶対値（delta_poc_il_s1_minus1[i]）、および、対象ピクチャがレイヤ間参照画像として使用される可能性の有無（used_by_curr_pic_il_s1_flag[i]）が含まれる。num_positive_pics、delta_poc_il_s1_minus[i]、used_by_curr_pic_il_s1_flag[i]はレイヤ間参照画像セット内の後方レイヤ間参照画像を示すレイヤ間参照画像セット情報である。
　加えて、レイヤ間参照画像セット情報には、対象ピクチャと表示順（ＰＯＣ）が等しい参照レイヤ上のピクチャ（同時刻レイヤ間参照画像）がレイヤ間参照画像セットに含まれるか否かを示すフラグ（il_col_pic_in_rps_flag）を含む。同時刻レイヤ間参照画像がレイヤ間参照画像セットに含まれる場合（il_col_pic_in_rps_flagが１の場合）、同時刻レイヤ間参照画像が対象ピクチャのレイヤ間参照画像として使用される可能性の有無（used_by_curr_pic_il_col_flag）が含まれる。il_col_pic_in_rps_flagとused_by_curr_pic_il_col_flagは、レイヤ間参照画像セット内の同時刻レイヤ間参照画像を示すレイヤ間参照画像セット情報である。
　上記、図１７を参照して説明したレイヤ間参照画像セット情報のシンタックス表には次の特徴がある。すなわち、レイヤ間参照画像セット情報の前半部分（図中のＡの部分）には、レイヤ間同時刻ピクチャを除く参照レイヤのピクチャに係るレイヤ間参照ピクチャ情報が含まれている。加えて、前記前半部分のシンタックス構造は、図１２を参照して説明した短期参照画像セットのシンタックス構造と同じ構造となっている。ここで、同じ構造とは、同一のパース処理によりシンタックス値を復号できることを意味する。後半部分（図中のＢの部分）には、レイヤ間同時刻ピクチャに関するレイヤ間参照ピクチャ情報が含まれている。
　上記のようなレイヤ間参照画像のシンタックス構造を用いることで、前半部分のパース処理に、短期参照画像セットに用いるパース処理を流用できるため、階層動画像復号装置の実装を単順化できるという利点がある。
　なお、上記のシンタックス構造の例では、表示時刻の基準としてＰＯＣを用いることを仮定しているが、それに限らない。例えば、ピクチャ毎に表示時刻が直接関連付けられている場合には、表示時刻の差分をＰＯＣ差分を表すシンタックス値（delta_poc_il_s0_minus1、および、delta_poc_il_s1_minus）に設定しても構わない。
　図１８はＩＬ－ＲＰＳ情報に係るスライスヘッダシンタックス表（seq_parameter_set_rbsp）の一部を示す図である。スライスヘッダ内のＩＬ－ＲＰＳ情報は、スライスヘッダを参照するピクチャから利用され得る単一のレイヤ間参照画像セットの情報を含む。
　スライスヘッダ内のＩＬ－ＲＰＳ情報（ＳＨ－ＩＬ－ＲＰＳ情報）の復号について、図１８を参照して説明する。図１８は、スライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。ＳＨ－ＩＬ－ＲＰＳ情報は、レイヤ間参照画像セットが推定されるない場合（sps_infer_inter_layer_rps_flagが０の場合）に復号される。ＳＨ―ＩＬ－ＲＰＳ情報は、レイヤ間参照画像セットをＳＰＳで復号済みのレイヤ間参照画像セットの中から選択するか、スライスヘッダに明示的に含めるかを示すフラグ（il_ref_pic_set_sps_flag）を含む。ＳＰＳで復号済の中から選択する場合、復号済のレイヤ間参照画像セットから一つのセットを選択する識別子（il_ref_pic_set_idx）がＳＨ―ＩＬ－ＲＰＳ情報に含まれる。スライスヘッダに明示的に含める場合は、前述の図１７を参照して説明したシンタックス表（inter_layer_ref_pic_set()）に相当する情報がＳＨ―ＩＬ－ＲＰＳ情報に含まれる。
　　＜レイヤ間参照画像リスト復号処理＞
　レイヤ間参照画像リスト修正情報（ＩＬ－ＲＰＬ修正情報）はスライスヘッダに含まれる情報であり、対象ピクチャに適用されるレイヤ間参照画像リストの長さ（レイヤ間参照リスト長）の更新情報、および、参照画像リストの並べ替え情報（レイヤ間参照リスト並べ替え情報）が含まれる。ＩＬ－ＲＰＬ修正情報について、図２０を参照して説明する。図２０はスライスヘッダ復号時に利用されるスライスヘッダシンタックス表のおいて、レイヤ間参照画像リスト情報に係る部分を例示している。
　レイヤ間参照リスト長更新情報として、リスト長の更新有無を示すフラグ（num_il_ref_idx_active_override_flag）が含まれる。加えて、レイヤ間参照リストの変更後の参照リスト長を表す情報（num_il_ref_idx_ active_minus1）が含まれる。
　レイヤ間参照リスト並べ替え情報としてスライスヘッダに含まれる情報について、図２１を参照して説明する。図２１はスライスヘッダ復号時に利用されるレイヤ間参照リスト並べ替え情報のシンタックス表を例示している。
　レイヤ間参照リスト並べ替え情報には、レイヤ間参照画像リスト並べ替え有無フラグ（il_ref_pic_list_modification_flag）が含まれる。前記フラグの値が１（レイヤ間参照画像リストを並べ替える場合）、レイヤ間参照画像リスト並べ替え順序（list_entry_il[i]）が参照画像リスト並べ替え情報に含まれる。
　　＜レイヤ間参照画像セット構築処理＞
　上記の各シンタックス値に基づくレイヤ間参照画像セット構築処理の詳細を説明する。なお、参照画像セット導出処理は、本実施形態においては、テクスチャ復元部１５内のレイヤ間参照画像リスト設定部１５６で実行される。
　ＩＬ－ＲＰＳ情報と、ベース復号画像バッファ１７に記録されている情報に基づいて、対象ピクチャの復号に用いるレイヤ間参照画像セットILRPSを生成する。レイヤ間参照画像セットILRPSは、対象ピクチャ、または、対象ピクチャに復号順で後続の対象レイヤ上のピクチャにおいて、復号時にベース参照画像として利用可能な参照レイヤ上のピクチャの集合（レイヤ間参照可能ピクチャの集合）である。レイヤ間参照画像セットは、レイヤ間参照可能ピクチャの種類に応じて次の２つのサブセットに分けられる。
・現レイヤ間参照可能リストListIlCurr：ベース復号画像バッファ上のピクチャのうち、対象ピクチャにおけるレイヤ間参照可能ピクチャのリスト
・後続レイヤ間参照可能リストListIlFoll：対象ピクチャでは参照されないが、対象ピクチャに復号順で後続の拡張レイヤ上のピクチャで参照可能なベース復号画像バッファ上のピクチャのリスト
　なお、現レイヤ間参照可能リストに含まれるピクチャの数を、現レイヤ間参照可能ピクチャ数NumIlCurrListと呼ぶ。
　現レイヤ間参照可能リストは、さらに３つの部分リストから構成される。
・現レイヤ間前方参照可能リストListIlCurrBefore：ＩＬ－ＲＰＳ情報により指定される現レイヤ間参照可能ピクチャであって、表示順が対象ピクチャより早いもの。
・現レイヤ間後方参照可能リストListIlCurrAfter：ＩＬ－ＲＰＳ情報により指定される現レイヤ間参照可能ピクチャであって、表示順が対象ピクチャより早いもの。
・現レイヤ間同時刻参照可能ピクチャリストListIlCurrCol：ＩＬ－ＲＰＳ情報により指定される現レイヤ間参照可能ピクチャであって、表示順が対象ピクチャと同じもの。
　後続レイヤ間参照可能リストは、次の通り定義される。
・後続レイヤ間参照可能リスト（ListIlFoll）：ＩＬ－ＲＰＳ情報により指定される後続レイヤ間参照可能ピクチャ。
　レイヤ間参照画像リスト設定部１５６は、レイヤ間参照画像セットILRPS、すなわち、現レイヤ間前方参照可能リストListIlCurrBefore、現レイヤ間後方参照可能リストListIlCurrAfter、および、後続レイヤ間参照可能リストListIlFollを次の手順で生成する。加えて、現レイヤ間参照可能ピクチャ数を表す変数NumIlPocTotalCurrを導出する。なお、前記各レイヤ間参照可能リストは、以下の処理の開始前に空に設定されているとする。
　（Ｓ４０１）ＳＰＳおよびスライスヘッダより復号されたＩＬ－ＲＰＳ情報に基づいて、対象ピクチャの復号に用いる単一のレイヤ間参照画像セットを特定する。具体的には、スライスヘッダのＩＬ－ＲＰＳ情報に含まれるil_ref_pic_set_sps_flagの値が０である場合、スライスヘッダで明示的に伝送されたレイヤ間参照画像セットを選択する。それ以外（il_ref_pic_set_sps_flagの値が１の場合）、ＩＬ－ＲＰＳ情報に含まれるil_ref_pic_set_idxが示すレイヤ間参照画像セットを、ＳＰＳで復号されたＩＬ－ＲＰＳ情報に含まれる複数のレイヤ間参照画像セットの中から選択する。
　（Ｓ４０２）選択されたレイヤ間参照画像セットに含まれるレイヤ間参照画像各々のＰＯＣの値を導出し、ベース復号画像バッファ１７上に当該ＰＯＣ値と関連付けられて記録されている参照レイヤの復号画像の位置を検出して、レイヤ間参照画像の復号画像バッファ上の記録位置として導出する。
　レイヤ間参照画像のＰＯＣ値は、レイヤ間参照画像が前方レイヤ間参照画像の場合、対象ピクチャのＰＯＣの値から「delta_poc_il_s0_minus1[i]+1」の値を減算して導出する。一方、レイヤ間参照画像が後方短期参照画像の場合、対象ピクチャのＰＯＣの値に「delta_poc_il_s1_minus1[i]+1」の値を加算して導出する。
　（Ｓ４０３）レイヤ間参照画像セットに含まれる前方レイヤ間参照画像を伝送された順に確認し、関連付けられているused_by_curr_pic_il_s0_flag[i]の値が1である場合、当該前方レイヤ間参照画像を現レイヤ間前方参照可能リストListIlCurrBeforeに追加する。それ以外（used_by_curr_pic_il_s0_flag[i]の値が0）の場合、当該前方レイヤ間参照画像を後続レイヤ間参照可能リストListIlFollに追加する。
　（Ｓ４０４）レイヤ間参照画像セットに含まれる後方レイヤ間参照画像を伝送された順に確認し、関連付けられているused_by_curr_pic_il_s1_flag[i]の値が1である場合、当該後方レイヤ間参照画像を現レイヤ間後方参照可能リストListIlCurrAfterに追加する。それ以外（used_by_curr_pic_il_s1_flag[i]の値が0）の場合、当該前方レイヤ間参照画像を後続レイヤ間参照可能リストListIlFollに追加する。
　（Ｓ４０５）レイヤ間参照画像セットに含まれる対象ピクチャと同時刻の表示順のレイヤ間参照画像を確認し、関連付けられているused_by_curr_pic_il_col_flagの値が1である場合、当該レイヤ間参照画像を現レイヤ間同時刻参照可能リストListIlCurrColに追加する。それ以外（used_by_curr_pic_il_col_flagの値が0）の場合、当該レイヤ間参照画像を後続レイヤ間参照可能リストListIlFollに追加する。
　（Ｓ４０６）変数NumIlPocTotalCurrの値を、現ピクチャから参照可能なレイヤ間参照画像の和に設定する。すなわち、変数NumIlPocTotalCurrの値を、現レイヤ間前方参照可能リストListIlCurrBefore、および、現レイヤ間後方参照可能リストListIlCurrAfterの各要素数の和に設定する。
　上記手順により、可変長復号部１２で復号されたレイヤ間参照画像セットに係るシンタックスに基づいて、レイヤ間参照画像リスト設定部１５６において、対象ピクチャの復号に用いるレイヤ間参照画像セットを構築できる。なお、上記のレイヤ間参照画像セットに係るシンタックス、および、レイヤ間参照画像リスト導出処理は、あくまで例示であって、上記以外のシンタックスや構築処理によりレイヤ間参照画像リストを導出してもよい。
　上記手順で構築されるレイヤ間参照画像セットは、対象ピクチャ、または、対象ピクチャに出力順で後続の対象レイヤ上のピクチャの復号に用いられる可能性のあるベース復号画像の集合（レイヤ間参照可能ピクチャの集合）を含んでいる。そのため、レイヤ間参照画像セットに基づいて、対象ピクチャ復号時にベース復号画像バッファ１７に保持しておくべき参照レイヤの復号画像（ベース復号画像）を特定できる。したがって、レイヤ間参照画像セットを用いることで、必要最低限のベース復号画像のみをベース復号画像バッファ１７に残しておくことで、ベース復号画像バッファのメモリ量を削減できる。
　また、上記手順で構築されるレイヤ間参照画像セットは、対象ピクチャの復号に用いられる可能性のあるベース復号画像の集合（現レイヤ間参照可能リスト）を含んでいる。そのため、テクスチャ復元部１５では、現レイヤ間参照可能リストに含まれるベース復号画像の中からベース参照画像を選択してレイヤ間予測画像を生成できる。したがって、対象ピクチャと同一出力順のベース復号画像のみをベース参照画像としてレイヤ間予測画像を生成する場合に較べて、入力画像に近い予測画像を生成できるため、予測残差の符号量を減らすことができ、結果として、少ない符号量の対象レイヤの階層符号化データを生成できる。
　　＜レイヤ間参照画像リスト構築処理＞
　レイヤ間参照画像リスト構築処理の詳細を説明する。テクスチャ復元部１５内のレイヤ間参照画像リスト設定部１５６は、レイヤ間参照画像セットＩＬＲＰＳと、ＩＬ－ＲＰＬ修正情報に基づいてレイヤ間参照画像リストＩＬＲＰＬを生成する。
　レイヤ間参照画像リスト（ＩＬ参照リスト）は、以下のＳ５０１～Ｓ５０７に示す手順で構築される。
　（Ｓ５０１）暫定ＩＬ参照リストを生成して、空のリストに初期化する。
　（Ｓ５０２）暫定ＩＬ参照リストに対し、現レイヤ間同時刻参照可能リストに含まれる参照画像を順に追加する。
　（Ｓ５０３）暫定ＩＬ参照リストに対し、現レイヤ間前方参照可能リストに含まれる参照画像を順に追加する。
　（Ｓ５０４）暫定ＩＬ参照リストに対し、現レイヤ間後方参照可能リストに含まれる参照画像を順に追加する。
　（Ｓ５０５）レイヤ間参照画像リストが修正される場合（ＲＰＬ修正情報に含まれるlists_modification_present_flagの値が１の場合）、以下のＳ５０６の処理を実行する。そうでない場合（lists_modification_present_flagの値が０の場合）、Ｓ５０７の処理を実行する。
　（Ｓ５０６）レイヤ間参照リスト並べ替え順序list_entry_il[i]の値に基づいて、暫定ＩＬ参照リストの要素を並べ換えて、ＩＬ参照リストとする。参照画像インデックスrIdxに対応するＩＬ参照リストの要素RefPicListIl[rIdx]は、次式により導出される。ここで、RefListTempIl[i]は、暫定ＩＬ参照リストのi番目の要素を表す。
　RefPicListIl[ rIdx ] = RefPicListTempIl[ list_entry_il[ rIdx ] ]
上記の式によれば、レイヤ間参照リスト並べ替え順序list_entry_il[i]において、参照画像インデックスrIdxの示す位置に記録されている値を参照し、暫定ＩＬ参照リストにおいて前記値の位置に記録されているレイヤ間参照画像を、ＩＬ参照リストのrIdxの位置のレイヤ間参照画像として格納する。その後、処理を終了する。
　（Ｓ５０７）暫定ＩＬ参照リストをＩＬ参照リストとする。その後、処理を終了する。
　上記手順で構築されるレイヤ間参照画像リストは、レイヤ間参照画像セットに含まれる、対象ピクチャの復号に用いられる可能性のあるベース復号画像の集合（現レイヤ間参照可能リスト）に含まれるベース復号画像を重複を許して並び替えたリストである。そのため、選択頻度の高いベース参照画像がより高い優先度となるようレイヤ間参照画像リストを構築した上で、レイヤ間参照画像リスト上の高い優先度のベース参照画像を選択する場合の予測パラメータに、低い優先度を選択する場合の予測パラメータに較べて短い符号を割り当てることで、選択頻度の高いベース復号画像を短い符号の予測パラメータで選択できるため、階層符号化データの符号量を低減できる。
　図５を用いて、ベース復号部１６の詳細構成について説明する。図５は、ベース復号部１６の構成について例示した機能ブロック図である。
　図５に示すように、ベース復号部１６は、可変長復号部１６１、ベース予測パラメータ復元部１６２、ベース変換係数復元部１６３、およびベーステクスチャ復元部１６４を備える。
　可変長復号部１６１は、参照レイヤ符号化データＤＡＴＡ＃Ｒに含まれるバイナリから各種のシンタックス値を復号する。
　具体的には、可変長復号部１６１は、予測情報および変換係数情報を符号化データＤＡＴＡ＃Ｒから復号する。可変長復号部１６１が復号する予測情報および変換係数のシンタックスは、可変長復号部１２と同様であるのでここではその詳細な説明を省略する。
　可変長復号部１６１は、復号した予測情報をベース予測パラメータ復元部１６２に供給するとともに、復号した変換係数情報をベース変換係数復元部１６３に供給する。
　ベース予測パラメータ復元部１６２は、可変長復号部１６１から供給される予測情報に基づいて、ベース予測パラメータを復元する。ベース予測パラメータ復元部１６２が、ベース予測パラメータを復元する方法については、予測パラメータ復元部１４と同様であるので、ここではその詳細な説明を省略する。ベース予測パラメータ復元部１６２は、復元したベース予測パラメータを、ベーステクスチャ復元部１６４に供給する。
　ベース変換係数復元部１６３は、可変長復号部１６１から供給される変換係数情報に基づいて、変換係数を復元する。ベース変換係数復元部１６３が変換係数を復元する方法については、逆直交変換・逆量子化部１５１と同様であるので、ここではその詳細な説明を省略する。ベース変換係数復元部１６３は、復元したベース変換係数を、ベーステクスチャ復元部１６４に供給する。
　ベーステクスチャ復元部１６４は、ベース予測パラメータ復元部１６２から供給されるベース予測パラメータと、ベース変換係数復元部１６３から供給されるベース変換係数とを用いて、復号画像を生成する。具体的には、ベーステクスチャ復元部１６４は、ベース予測パラメータに基づき、テクスチャ予測部１５２と同様のテクスチャ予測を行って、予測画像を生成する。また、ベーステクスチャ復元部１６４は、ベース変換係数に基づいて予測残差を生成し、生成した予測残差と、テクスチャ予測により生成した予測画像とを加算することでベース復号画像を生成する。
　なお、ベーステクスチャ復元部１６４は、ベース復号画像に対して、ループフィルタ部１５４と同様のフィルタ処理を施してもよい。また、ベーステクスチャ復元部１６４は、復号済みのベース復号画像を格納するためのフレームメモリを備えていてもよく、テクスチャ予測においてフレームメモリに格納されている復号済みのベース復号画像を参照してもよい。
　（動画像復号装置１の効果）
　以上説明した本実施形態に係る階層動画像復号装置１は、レイヤ間参照画像セットを導出するレイヤ間参照画像リスト設定部を備えている。したがって、階層動画像復号装置１は、レイヤ間参照画像セットを利用することで、復号対象ピクチャと表示順の異なる参照レイヤの復号画像を用いて生成された予測画像を用いて少ない符号量で符号化された符号化データから対象ピクチャの復号画像を再生できる。また、レイヤ間参照画像セットを利用することで、参照レイヤの復号画像が、対象レイヤの予測画像生成に用いられなくなるタイミングを特定して、ベース復号画像バッファから削除できるため、メモリ量を低減できる。
　〔変形例１：レイヤ間参照画像セット復号処理２：短期RPSとの差分をシグナル〕
　上記の動画像復号装置１の説明では、図１６、図１７、図１８を参照してを、ＩＬ－ＲＰＳ情報を、ＲＰＳ情報（参照画像セット情報）とは別にシグナルする方法を示したが、参照画像セットとレイヤ間参照画像セットの差分に相当する情報をＩＬ－ＲＰＳ情報としても良い。この例について、図１９を参照して説明する。図１９は、スライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。ＳＨ－ＩＬ－ＲＰＳ情報は、レイヤ間参照画像セットが推定されるない場合（sps_infer_inter_layer_rps_flagが０の場合）に復号される。ＩＬ－ＲＰＳ情報として、対象スライスに適用される参照画像セットの前方短期参照画像数（num_negative_pics）の各前方短期参照画像について、当該前方短期参照画像に対応する参照レイヤ上のピクチャをレイヤ間参照画像セットに含めるかを示すフラグ（pic_s0_in_il_rps_flag[i]）を復号する。含める場合（pic_s0_in_il_rps_flag[i]が１の場合）、当該前方短期参照画像がレイヤ間参照画像として対象ピクチャの復号に使用される可能性の有無（used_by_curr_pic_il_s0_flag[i]）が復号される。同様に、対象スライスに適用される参照画像セットの後方短期参照画像数（num_positive_pics）の各後方短期参照画像について、当該後方短期参照画像に対応する参照レイヤ上のピクチャをレイヤ間参照画像セットに含めるかを示すフラグ（pic_s1_in_il_rps_flag[i]）を復号する。含める場合（pic_s1_in_il_rps_flag[i]が１の場合）、当該後方短期参照画像がレイヤ間参照画像として対象ピクチャの復号に使用される可能性の有無（used_by_curr_pic_il_s1_flag[i]）が復号される。
　上記のＩＬ－ＲＰＳ情報のシグナル方法は、概略的には次のように表現することもできる。すなわち、対象ピクチャにおける参照画像セットに含まれる各参照画像について、当該参照画像に対応する（表示順が同一の）参照レイヤのピクチャをレイヤ間参照画像セットに含めるか否かのフラグを復号する。含める場合、さらに当該参照レイヤのピクチャが対象ピクチャの復号に使用される可能性の有無を示すフラグを復号する。
　この方法によりＩＬ－ＲＰＳ情報をシグナルする場合、レイヤ間参照画像セットに含まれ得る参照レイヤのピクチャは、表示時刻が同一の拡張レイヤのピクチャが参照画像セットに含まれているものに限定される。言い換えると、特定の拡張レイヤのピクチャが参照画像セットに含まれていない場合、当該拡張レイヤのピクチャと同一表示時刻の参照レイヤのピクチャがレイヤ間参照画像セットに含まれないことが、レイヤ間参照画像セット情報をパラメータセットから復号しなくても判別できる。したがって、階層動画像復号装置は、一部の参照レイヤのピクチャを、レイヤ間参照画像セット情報をパラメータセットから復号することなくレイヤ間参照画像バッファから削除できるため、復号処理を簡略化できる。
　〔階層動画像符号化装置〕
　以下では、本実施形態に係る階層動画像符号化装置２の構成について、図２２～図２３を参照して説明する。
　（階層動画像符号化装置の構成）
　図２２を用いて、階層動画像符号化装置２の概略的構成について説明すると次のとおりである。図２２は、階層動画像符号化装置２の概略的構成について示した機能ブロック図である。階層動画像符号化装置２は、対象レイヤの入力画像ＰＩＮ＃Ｔを、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照しながら符号化して、対象レイヤの階層符号化データＤＡＴＡを生成する。なお、参照レイヤ符号化データＤＡＴＡ＃Ｒは、参照レイヤに対応する階層動画像符号化装置において符号化済みであるとする。
　図２２に示すように階層動画像符号化装置２は、予測パラメータ決定部２１、予測情報生成部２２、ベース復号部２３、テクスチャ情報生成部２４、可変長符号化部２５、ＮＡＬ多重化部２６、復号画像バッファ２７、および、ベース復号画像バッファ２８を備える。
　予測パラメータ決定部２１は、入力画像ＰＩＮ＃Ｔに基づいて、予測画像の予測に用いられる予測パラメータおよびその他の符号化の設定を決定する。
　予測パラメータ決定部２１は、予測パラメータをはじめとする符号化の設定を、以下のとおり行う。
　まず、予測パラメータ決定部２１は、入力画像ＰＩＮ＃Ｔを、スライス単位、ＣＴＵ単位、ＣＵ単位に順次分割することにより、対象ＣＵについてのＣＵ画像を生成する。
　また、予測パラメータ決定部２１は、分割処理の結果に基づいて、符号化情報（ヘッダ情報とも称されることがある）を生成する。 符号化情報は、（１）対象スライスに属するＣＴＵのサイズ、形状および対象スライス内での位置についての情報であるＣＴＵ情報と、（２）各ＣＴＵに属するＣＵのサイズ、形状および対象ツリーブロック内での位置についての情報であるＣＵ情報とを含んでいる。
　さらに、予測パラメータ決定部２１は、ＣＵ画像、ＣＴＵ情報、およびＣＵ情報を参照して、対象ＣＵのＣＵ予測タイプ、対象ＣＵのＰＵへの分割情報、および、予測パラメータ（対象ＣＵがイントラＣＵであればレイヤ間予測フラグと空間予測モード、インターＣＵであれば動き補償パラメータ）を導出する。
　予測パラメータ決定部２１は、（１）対象ＣＵの予測タイプ、（２）対象ＣＵの各ＰＵへの可能な分割パターン、および、（３）各ＰＵに割り付ける可能な予測モード（例えばレイヤ間予測フラグ、空間予測モード、スキップフラグ、動き補償パラメータ）、の全ての組み合わせについて、コストを算出し、最低コストの予測タイプ、分割パターン、および、予測モードを決定する。
　また、予測パラメータ決定部２１は、あらかじめ指定された情報に基づいてパラメータセットを導出する。パラメータセットには、ピクチャの符号化順と表示順の関係や、同一レイヤ内のピクチャの参照構造によって決まる参照画像セットおよび参照画像リストが含まれる。また、パラメータセットには、符号化対象レイヤと参照レイヤのピクチャの符号化順と表示順の関係や、レイヤ間のピクチャの参照構造によって決まるレイヤ間参照画像セットおよびレイヤ間参照画像リストが含まれる。
　予測パラメータ決定部２１は、符号化情報および予測パラメータを予測情報生成部２２およびテクスチャ情報生成部２４に供給する。なお、説明の簡便のため図示しないが、予測パラメータ決定部２１において決定された上記の符号化の設定は、階層動画像符号化装置２の各部において参照可能とする。
　予測情報生成部２２は、予測パラメータ決定部２１から供給される予測パラメータに基づいて予測パラメータに関するシンタックス値を含む予測情報を生成する。予測情報生成部２２は、生成した予測情報を可変長符号化部２５に供給する。
　ベース復号部２３は、階層動画像復号装置１のベース復号部１６と同様であるので、ここではその説明を省略する。ベース復号部２３から出力される参照レイヤの復号画像は、ベース復号画像バッファ２８に記録される。
　テクスチャ情報生成部２４は、入力画像ＰＩＮ＃Ｔから予測画像を減算して得られる予測残差を、直交変換・量子化した変換係数を含む変換係数情報を生成する。テクスチャ情報生成部２４は、生成した変換係数情報を可変長符号化部２５に供給する。また、テクスチャ情報生成２４では、復元された復号画像は、復号画像バッファ２７に格納される。
　可変長符号化部２５は、予測情報生成部２２から供給される予測情報とパラメータセット情報、および、テクスチャ情報生成部２４から供給される変換係数情報を可変長符号化して対象レイヤ符号化データＤＡＴＡ＃Ｔを生成する。可変長符号化部２５は、生成した対象レイヤ符号化データＤＡＴＡ＃ＴをＮＡＬ多重化部２６に供給する。
　ＮＡＬ多重化部２６は、可変長符号化部２５から供給される対象レイヤ符号化データＤＡＴＡ＃Ｔと、参照レイヤ符号化データＤＡＴＡ＃ＲとをＮＡＬユニットに格納することでＮＡＬ多重化した階層動画像符号化データＤＡＴＡを生成し、外部に出力する。
　（テクスチャ情報生成部）
　図２３を用いて、テクスチャ情報生成部２４の詳細を説明する。図２３は、階層動画像符号化装置２におけるテクスチャ情報生成部２４の概略的構成について示した機能ブロック図である。テクスチャ情報生成部２４は、加算器２４１、直交変換・量子化部２４２を備える。また、テクスチャ情報生成部２４は、加えて、階層動画像復号装置１のテクスチャ復元部１５と共通の構成要素、すなわち、逆直交変換・逆量子化部１５１、テクスチャ予測部１５２、加算器１５３、ループフィルタ部１５４、参照画像リスト設定部１５５、および、レイヤ間参照画像リスト設定部１５６を備える。テクスチャ復元部と共通の構成要素については、同一の記号を付与して説明を省略する。
　加算器２４１は、入力画像と、テクスチャ予測部１５２から供給された予測画像を減算することで予測残差Ｄを生成する。
　直交変換・量子化部２４２は、（１）加算器２４１から供給される予測残差Ｄに直交変換（例えば、ＤＣＴ（Discrete Cosine Transform）変換）を適用し、（２）直行変換により得られたＤＣＴ係数に量子化を適用し、（３）量子化により得られた量子化済ＤＣＴ係数を変換係数情報として外部に出力するとともに、逆聴講変換・逆量子化部１５１に供給する。なお、直交変換は、変換ブロックを単位として適用される。
　テクスチャ情報生成部２４における、対象レイヤ（拡張レイヤ）上の特定ピクチャを対象ピクチャとする変換係数情報および復号画像生成処理の手順は、以下のＳ７０１～Ｓ７０８により実行される。
　（Ｓ７０１）参照画像リスト設定部１５５は、入力される予測パラメータに含まれるパラメータセットの情報（参照画像セット情報、参照画像リスト修正情報）に基づいて、対象ピクチャにおける予測画像生成に用いる参照画像リストを生成して、テクスチャ予測部１５２に出力する。なお、参照画像リストでは、テクスチャ予測部１５２内のインター予測部１５２Ｔより参照される参照画像の復号画像バッファ２７上の位置を特定する情報が含まれている。
　（Ｓ７０２）レイヤ間参照画像リスト設定部１５６は、入力される予測パラメータに含まれるパラメータセットの情報（レイヤ参照画像セット情報、レイヤ間参照画像リスト修正情報）に基づいて、対象ピクチャにおける予測画像生成に用いるレイヤ間参照画像リストを生成して、テクスチャ予測部１５２に出力する。なお、レイヤ間参照画像リストでは、テクスチャ予測部１５２内のレイヤ間画像予測部１５２Ｓより参照されるレイヤ間参照画像のレイヤ間復号画像バッファ２８上の位置を特定する情報が含まれている。
　（Ｓ７０３）テクスチャ予測部１５２は、入力される予測パラメータの示す予測単位、および、予測方法によって入力画像の部分領域に対応する予測画像を生成して加算器２４１および加算器１５３に出力する。予測タイプに応じて、インター予測部１５２Ｔ、イントラ予測部１５２Ｓ、レイヤ間画像予測部１５２Ｂの何れかの予測部により予測画像が生成される。
　（Ｓ７０４）加算器２４１は、テクスチャ予測部１５２から入力される予測画像を、対応する入力画像の領域から減算することで予測残差Ｄを生成して直交変換・量子化部２４２に出力する。
　（Ｓ７０５）直行変換・量子化部２４２は、入力される予測残差Ｄは変換ブロックに分割して、変換ブロック毎に直交変換および量子化を適用して量子化済の変換係数を生成して、変換係数情報として外部に出力するとともに、逆直交変換・逆量子化部１５１に出力する。
　（Ｓ７０６）逆直交変換・逆量子化部１５１は、入力された量子化済の変換係数に変換ブロック単位で逆量子化および逆直交変換を適用して予測残差を生成して加算器１５３に出力する。
　（Ｓ７０７）加算器１５３は、入力される予測画像と予測残差を加算して、得られたループフィルタ適用前復号画像をループフィルタ部１５４に出力する。
　（Ｓ７０８）ループフィルタ部１５４は入力されるループフィルタ適用前復号画像にループフィルタを適用して復号画像を生成し、外部の復号画像バッファ２７に、対象ピクチャの出力順（ＰＯＣ）と関連付けて記録する。
　（動画像符号化装置２の効果）
　以上説明した本実施形態に係る階層動画像符号化装置２は、レイヤ間参照画像セットを導出するレイヤ間参照画像リスト設定部を備えている。階層動画像符号化装置２では、レイヤ間参照画像セットを利用することで、参照レイヤの復号画像が予測画像生成に用いられなくなるタイミングを特定して、ベース復号画像バッファから削除できるため、メモリ量を低減できる。また、動画像符号化装置では、対応する動画像復号装置での復号時に、レイヤ間参照画像セットを利用することで、参照レイヤの復号画像が予測画像生成に用いられなくなるタイミングを特定して、ベース復号画像バッファから削除することでメモリ量を低減できる符号化データを生成できる。
　〔階層動画像復号装置（第二の実施形態）〕
　以下では、本実施形態に係る階層動画像復号装置３について、図２４～図２７を参照して説明する。図２４は、階層動画像復号装置３の概略的構成について示した機能ブロック図である。階層動画像復号装置３は、対象レイヤ符号化ＤＡＴＡ＃Ｔとベース復号シーケンスを入力として、対象レイヤ復号画像ＰＯＵＴ＃Ｔを復号する。ベース復号シーケンスは、参照レイヤの復号画像のシーケンスであり、対象レイヤのピクチャに対応する参照レイヤのピクチャの復号画像を複数含む。また、ベース復号シーケンスは、各ピクチャに対するベースピクチャヘッダを含んでいてもよい。ベースピクチャヘッダは、復号画像の表示時刻（タイムスタンプ）を示す情報を含んでいる。
　図２４に示すように階層動画像復号装置３は、ベース制御部３１、可変長復号部３２、復号画像バッファ１３、予測パラメータ復元部１４、テクスチャ復元部１５、ベース復号画像バッファ３７を備える。
　階層動画像復号装置３は、階層符号化データを入力とする階層動画像復号装置１とは異なり、内部にベース復号部を備えておらず、したがって、階層符号化データに含まれる参照レイヤ符号化データを復号することはできない。その代わりに外部の手段で復号した画像を入力して、参照レイヤの復号画像（ベース復号画像）として用いる。そのため、階層動画像復号装置３は、既存のコーデック（例えばＡＶＣやＭＰＥＧ－２）で符号化された符号化データを外部の復号装置で復号し、出力される復号画像のシーケンスを、ベース復号シーケンスとして入力に用いるような用途にも利用できる。
　階層動画像復号装置３の構成要素のうち、予測パラメータ復元部１４、テクスチャ復元部１５、復号画像バッファ１３は、階層動画像復号装置１の同名の構成要素と同じ機能を有するため、同一の符号を付与して説明を省略する。
　（ベース復号画像バッファ）
　ベース復号画像バッファ３７は、外部より入力されたベース復号画像を、対象レイヤ（拡張レイヤ）におけるピクチャの表示順（ＰＯＣ）と関連付けて保持しておくためのバッファである。ベース復号画像バッファ３７には、対象レイヤにおける対象ピクチャの復号時には、テクスチャ復元部１５において予測画像生成に用いられるベース復号画像が少なくとも記録されている必要がある。メモリ量を抑制する観点からは、対象レイヤ（拡張レイヤ）の復号に用いられるベース復号画像のみをベース復号画像バッファ３７に記録することが好ましい。しかしながら、予測画像生成に用いられないベース復号画像がベース復号画像バッファ３７に記録されていても構わない。
　以下では、ベース復号画像バッファ３７に記録されるベース復号画像は、ベース復号シーケンスに含まれるピクチャと同一のピクチャサイズと仮定して説明する。しかし、異なるピクチャサイズ（例えば、対象レイヤのピクチャサイズ）に変換したピクチャをベース復号画像としてベース復号画像バッファ３７に記録していてもよい。その場合、参照レイヤと対象レイヤのピクチャサイズの比率に応じて、ベース復号シーケンスに含まれる復号画像をアップサンプルする処理が必要となる。
　（可変長復号部）
　可変長復号部３２は、基本的には、階層動画像復号装置１の可変長復号部１２と同様の機能を有する。すなわち、入力された符号化データから、予測情報、ＣＵ情報、パラメータセットを復号して、適切な出力先に出力する。加えて、可変長復号部３２は、ベース制御情報を対象レイヤ符号化データＤＡＴＡ＃Ｔより復号して出力する。パラメータセットには、階層動画像復号装置１で説明した、レイヤ間参照画像セットが含まれる。
　以下では、ベース制御情報はパラメータセットの一つであるＳＰＳに含まれていると仮定して説明する。なお、ベース制御情報は必ずしもＳＰＳに含まれている必要はなく、他のパラメータセットに含まれていてもよい。例えば、パラメータセットの一つであるＶＰＳに含まれていてもよい。
　ベース制御情報はベース復号シーケンスの特性を表す情報を含む。ベース制御情報（ＢＬＩ）には以下が含まれる。
　（ＢＬＩ１）ベース復号画像のサイズ：ベース復号画像のピクチャサイズを直接、または、間接的に表す量。ピクチャサイズを直接表す量として、例えば、ベース復号画像の輝度成分の縦および横の画素単位での長さ、ベース復号画像の色差成分の縦および横の画素単位での長さが挙げられる。縦および横の長さの２の対数を用いてもよい。また、ピクチャサイズを間接的に表す量としては、対象レイヤ（拡張レイヤ）のピクチャサイズと参照レイヤのピクチャサイズの比率が挙げられる。
　（ＢＬＩ２）ベース復号画像のビット深度：ベース復号画像のビット深度を直接、または、間接的に表す量。ビット深度を直接表す量として、例えば、ベース復号画像の輝度と色差成分に共通の画素値のビット深度が挙げられる。また、ビット深度を間接的に表す量としては、対象レイヤ（拡張レイヤ）のビット深度と参照レイヤのビット深度の差が挙げられる。
　（ＢＬＩ３）ベース復号画像の色フォーマット：ベース復号画像の色フォーマットを直接、または、間接的に表す量。例えば、既定の色フォーマット識別子を用いることができる。また、対象レイヤ（拡張レイヤ）の色フォーマットと参照レイヤの色フォーマットが同一か否かのフラグを用いてもよい。
　（ＢＬＩ４）ベース復号画像のフレームレート：ベース復号画像のフレームレートを直接、または、間接的に表す量。フレームレートを直接表す量としては、参照レイヤ復号画像の１秒あたりのピクチャ枚数が挙げられる。また、フレームレートを間接的に表す量としては、対象レイヤ（拡張レイヤ）のフレームレートと参照レイヤのフレームレートの比率が挙げられる。また、参照レイヤのフレームレートが対象レイヤ（拡張レイヤ）のフレームレートよりも小さいことを前提として、参照レイヤのピクチャ１枚あたり、対象レイヤ（拡張レイヤ）のピクチャ何枚が対応するかの情報を用いても良い。例えば、対象レイヤ（拡張レイヤ）が60fps、参照レイヤが30fpsの場合、参照レイヤのピクチャ１枚に対し、対象レイヤ（拡張レイヤ）2枚が対応するため、「２」をベース復号画像のフレームレートの情報として用いることができる。
　（ＢＬＩ５）ベース復号画像のフィールドフレーム構造：ベース復号画像のフィールドフレーム構造を直接、または、間接的に表す量。例えば、ベース復号画像がインタレースフォーマットであるかのフラグが挙げられる。また、ベース復号画像がインタレースフォーマットである場合に、奇数フィールドと偶数フィールドの何れが先かを示すフラグも含んでいてもよい。また、入力されるベース復号シーケンスの各ピクチャはフレーム構造であっても、当該ピクチャが参照レイヤ符号化データにおいてインタレースで符号化されていたかを示すフラグを含んでいてもよい。なお、類似の概念として、ステレオ画像のフレームパッキングに代表されるような、複数の画像が１枚のピクチャに含まれていることを示す情報や、複数の画像のピクチャ内での配置に関する情報を含んでいてもよい。
　（ＢＬＩ６）ベース復号画像の由来コーデック：ベース復号シーケンスに対応する参照レイヤ符号化データの生成に用いられた符号化方式を特定する情報。例えば、ベース復号シーケンスがＡＶＣの符号化データから復号されたかを示すフラグ、ベース復号シーケンスがＭＰＥＧ－２の符号化データから復号されたかを示すフラグが挙げられる。また、プロファイルやレベル等、符号化方式のサブセットを示す情報を含んでいてもよい。なお、符号化方式が規格で定義されている場合、符号化方式のサブセットを示す情報は、当該規格により符号化された符号化データのビットストリームに含まれる形式と同一の形式で、対象レイヤ符号化データに含まれていることが互換性や実装を踏まえると好ましい。
　（ＢＬＩ７）ベース復号画像のエラーチェック：エンコーダ（階層動画像符号化装置）の意図するベース復号シーケンスの性質に係る情報を含んでいてもよい。例えば、各ベース復号画像のＭＤ５に代表されるチェックサムを含んでいてもよい。ベース復号画像のチェックサムを利用することで、階層動画像復号装置において参照レイヤの正当性を判定することができる。
　ベース制御情報は、上記に例示した情報を必ずしも全て含む必要はなく、少なくとも一部の情報を含んでいればよい。例えば、対象レイヤ（拡張レイヤ）と参照レイヤで同一のビット深度を用いるようあらかじめ制限されている場合には、ビット深度に係る情報を含む必要はない。
　ベース制御情報の具体例について、図２５を参照して説明する。図２５は、可変長復号部３２で拡張レイヤのＳＰＳ復号時に参照されるシンタックス表（seq_parameter_set_rbsp）の一部であって、ベース制御情報に対応する部分を例示した図である。
　図２５において、ＳＰＳは、拡張レイヤのＳＰＳであるかを示すフラグ（sps_extension_flag）を含む。当該フラグが１の場合、ＳＰＳはさらに、参照レイヤに対応するＳＰＳ存在有無を示すフラグ（no_base_sps_flag）を含む。no_base_sps_flagの値が１の場合、ＳＰＳはさらに各種ベース制御情報を含む。なお、no_base_sps_flagの値が０の場合、参照レイヤに対応するＳＰＳが存在するため、ベース制御情報に相当する情報は、参照レイヤに対応するＳＰＳから複製または導出すればよい。したがって、拡張レイヤのＳＰＳであるかを示すフラグを用いることで、拡張レイヤのＳＰＳが存在する場合にベース制御情報を省略して、ＳＰＳの符号量を低減できる。
　図２５において、ＳＰＳに含まれる制御情報は、以下のシンタックスを含む。
　ＢＬＩ１に相当するシンタックス：ベース復号画像の輝度ピクチャの横方向の画素数を表すシンタックス（base_recon_luma_width）、および、同輝度ピクチャの縦方向の画素数を表すシンタックス（base_recon_luma_height）。
　ＢＬＩ２に相当するシンタックス：対象レイヤ（拡張レイヤ）のビット深度から参照レイヤのビット深度を引いた値を表すシンタックス（base_delta_bitdepth）。
　ＢＬＩ３に相当するシンタックス：参照レイヤ復号画像のカラーフォーマット識別子（base_color_format_idc）。例えば、識別子「０」と4:2:0、「１」と4:2:2、「２」と4:4:4の各色フォーマットが対応する。
　ＢＬＩ４に相当するシンタックス：参照レイヤのピクチャ１枚に対応する対象レイヤ（拡張レイヤ）復号画像の枚数の２の対数（log2_base_framerate_factor_idc）。階層動画像復号装置の複雑化を防ぐために、上位レイヤである対象レイヤのフレームレートは、下位レイヤである参照レイヤのフレームレートと同一か、下位レイヤのフレームレートに２のべき乗を乗じた値であることが好ましい。そのような場合、前記のような、参照レイヤのピクチャを基準とした拡張レイヤのピクチャの枚数を対数により表現することが好ましい。
　ＢＬＩ５に相当するシンタックス：参照レイヤがフレーム構造か否かを示すフラグ（base_frame_flag）。base_frame_flagの値が１の場合、ベース復号画像がフレーム構造（非インタレース構造）であることを示し、値が０の場合、インタレース構造であることを示す。
　ＢＬＩ６に相当するシンタックス：参照レイヤのコーデックを示す識別子（base_codec_idc）。例えば、識別子「１」とＨＥＶＣ、識別子「２」とＡＶＣ、識別子「３」とＭＰＥＧ－２、識別子「０」と「不明なコーデック」が対応する。なお、参照レイヤのコーデックがＡＶＣの場合（base_codec_idc＝＝AVC_CODECの場合）、ＡＶＣ規格におけるプロファイルレベル情報と同一のシンタックス構造avc_profile_level_info()を含む。
　以下では、説明の簡単のため、図２５に示したベース制御情報を用いるものとして説明する。
　（ベース制御部）
　ベース制御部３１は、入力されるベース制御情報およびパラメータセットに基づいて、入力されるベース復号シーケンスをベース復号画像バッファ３７の適切な位置に設定する。また、不要となったベース復号画像を適切なタイミングでベース復号画像バッファ３７から削除する。
　以下、対象レイヤ上の対象ピクチャ復号に先立って、ベース制御部３１がベース復号画像バッファ３７にベース復号画像を設定する処理（ベース復号画像設定処理）を図２６を参照して説明する。図２６は、拡張レイヤ上の特定ピクチャ復号時のベース制御部３１におけるベース復号画像設定処理を示すフロー図である。ベース復号画像設定処理は、以下のＳ８０１～Ｓ８０７の手順で実行される。
　（Ｓ８０１）対象ピクチャが最初の復号ピクチャである場合（例えば、ＩＤＲピクチャの場合）、ベース復号画像の読み込み位置を示す変数currBaseSeekPoc（ピクチャ位置）に対象レイヤ（拡張レイヤ）上の対象ピクチャのＰＯＣの値から所定の値（後述のＳ８０６ａの処理で加算される値）を引いた値を設定する。
　（Ｓ８０２）パラメータセットから、対象ピクチャにおけるレイヤ間参照画像セットを導出する。当該レイヤ間参照画像セットの導出方法としては、階層動画像復号装置１で説明した導出方法を用いることができる。
　（Ｓ８０３）ベース復号画像バッファ３７に記録されている各ベース復号画像が、Ｓ８０２で導出した対象ピクチャにおけるレイヤ間参照画像セットに含まれるか否かを判定する。各ベース復号画像のＰＯＣが、レイヤ間参照画像セットに含まれるピクチャのＰＯＣのリストに含まれる場合には、レイヤ間参照画像セットに含まれると判定する。ベース復号画像バッファ３７に記録されているベース復号画像のうち、前記レイヤ間参照画像セットに含まれないものについては、ベース復号画像バッファ３７から削除する。なお、必ずしも即座に削除する必要はなく、削除が必要なことを記録しておき、適当なタイミングで実際に削除しても構わない。
　（Ｓ８０４）前記対象ピクチャにおけるレイヤ間参照画像セットから、拡張レイヤ上の対象ピクチャの復号時に参照される可能性のある参照レイヤのピクチャであって、表示順の最も遅いピクチャを特定し、当該ピクチャと同一表示順に対応する拡張レイヤのピクチャの表示順（ＰＯＣ）を変数maxBasePocに設定する。
　（Ｓ８０５）ピクチャ位置currBaseSeekPocの値が、変数maxBasePocよりも小さい場合、変数currBaseSeekPocの値が変数maxBasePocの値と等しくなるまで、Ｓ８０６ａとＳ８０６ｂの処理を繰り返し実行する。その後、Ｓ８０７の処理へ移る。
　（Ｓ８０６ａ）ピクチャ位置currBaseSeekPocの値に所定の値を加算する。加算される所定の値は、拡張レイヤのピクチャ間のＰＯＣ間隔と、拡張レイヤと参照レイヤのフレームレートの関係から決定される。拡張レイヤのピクチャ間のＰＯＣ間隔をＤｅｐ、シンタックスbase_framerate_factor_idcが示す参照レイヤのピクチャ１枚に対応する拡張レイヤのピクチャ数をＮｅとすると、加算される所定の値Ｄｂｐは、ＮｅとＤｅｐの積に設定される。
　（Ｓ８０６ｂ）ベース復号シーケンスから１ピクチャ分のベース復号画像を読み出し、ベース復号画像バッファ３７に記録する。なお、その際、変数currBaseSeekPocの値が、当該ベース復号画像に対応するＰＯＣの値として、当該ベース復号画像と関連付けて記録される。なお、ベース復号シーケンスから読み出されるデータの量は、ベース制御情報（base_recon_luma_width、base_recon_luma_height、base_delta_bitdepth、base_color_format_idc）に基づいて決定される。例として、前記ベース制御情報により、ベース復号画像の幅がＷｂ［画素]、高さがＨｂ［画素］、ビット深度がＢＤｂ［ビット］、色フォーマットが4:2:0である場合、読みだされるデータ量Ｒｂは次式により計算できる：
　　Ｒｂ＝Ｗｂ×Ｈｂ×ＢＤｂ×1.5　［ビット］。
　（Ｓ８０７）ベース復号画像設定処理を終了する。
　なお、上記の処理において、Ｓ８０１の処理は先頭ピクチャを扱うための例外処理であり、他の手段により代替してもよい。例えば、Ｓ８０１の処理を省略し、Ｓ８０６ａの処理において、対象ピクチャが最初の復号ピクチャでない場合にのみ、ピクチャ位置currBaseSeekPocの値に所定の値を加算する処理としてもよい。
　また、上記の処理Ｓ８０６ｂにおいて、ベース復号シーケンスから１ピクチャ分のベース復号画像を読み出す際に、ベース制御情報（ＢＬＩ）に含まれる画像サイズ（ＢＬＩ１）、ビット深度（ＢＬＩ２）、ベース復号画像の色フォーマット（ＢＬＩ３）と、対象ピクチャの画像サイズ、ビット深度、色フォーマットが異なる場合に、対象ピクチャに合わせてフォーマット変換を行ってもよい。具体的には、ベース制御情報に含まれる画像サイズが対象ピクチャの画像サイズよりも小さい場合には、アップサンプルを行うことが好ましい。
　　＜ベース復号画像設定処理の具体例＞
　次に、上記のベース復号画像設定処理の具体例について、図２７を参照して説明する。図２７はベース復号画像設定処理の具体例を示す図であり、（ａ）は具体例における対象レイヤ（拡張レイヤ）と参照レイヤのピクチャ間の参照関係を表し、（ｂ）は拡張レイヤの各ピクチャ復号時の参照画像セット、レイヤ間参照画像セット、ベース復号画像バッファ、ベース復号画像読み込みを示している。
　図２７（ａ）に示すように、拡張レイヤには出力順にE1、E2、E3のピクチャが含まれる。参照レイヤには出力順に、B1、B2、B3のピクチャが含まれる。また、E1からB1が、E2からE1、E3、および、B2が、E3からE1およびB3が参照されている。なお、参照レイヤの復号画像は、外部の手段により復号されて、出力順にベース復号シーケンスに含まれている。
　対象レイヤ（拡張レイヤ）の各ピクチャ復号時のベース復号画像設定処理を図２７（ｂ）を参照して説明する。E1、E2、E3には、出力順を示すＰＯＣとして、６、８、１０の値がそれぞれ割り当てられているものとする。
　（１）初期：拡張レイヤの復号開始前には、参照画像セット（EL-RPS）、レイヤ間参照画像セット（IL-RPS）、ベース復号画像バッファは全て空である。
　（２）E1復号時：E1は拡張レイヤの最初の復号ピクチャであり、変数currBaseSeekPocの値に、E1のＰＯＣである６から所定の値２を引いた４が設定される。所定の値２は、１（対象レイヤのピクチャ１枚に対する拡張レイヤのピクチャの枚数）と、２（上位レイヤ（拡張レイヤ）のピクチャのＰＯＣ間隔）の積である（Ｓ８０１）。E1におけるIL-RPSにはB1を含む（Ｓ８０２）。ベース復号画像バッファは、この時点では空であるため、ベース復号画像の削除は不要（Ｓ８０３）。IL-RPSに含まれる表示順の最も遅いベース復号画像はB1であり、B1と同一表示順である拡張レイヤのピクチャE1のＰＯＣである６を変数maxBasePocに設定する（Ｓ８０４）。変数currBaseSeekPocの値は４で、変数maxBasePocの値６より小さいため、ベース復号画像を読み込む（Ｓ８０５）。変数currBaseSeekPocの値に所定の値２を加算して６の値を設定する（Ｓ８０６ａ）。ベース復号シーケンスから、B1のベース復号画像を読み込み、変数currBaseSeekPocの値６を対応するＰＯＣとして、ベース復号画像バッファに記録する（Ｓ８０６ｂ）。変数currBaseSeekPocの値６と変数maxBasePocの値６が等しいため（Ｓ８０５）、E1復号時のベース復号画像設定処理を終了する（Ｓ８０７）。
　（３）E3復号時： E3におけるIL-RPSにはB1とB3を含む（Ｓ８０２）。ベース復号画像バッファは、この時点ではB1を含む。B1はIL-RPSに含まれるため、ベース復号画像バッファから削除されない（Ｓ８０３）。IL-RPSに含まれる表示順の最も遅いベース復号画像はB3であり、B3と同一表示順である対象レイヤ（拡張レイヤ）のピクチャE3のＰＯＣである１０を変数maxBasePocに設定する（Ｓ８０４）。変数currBaseSeekPocの値は６で、変数maxBasePocの値１０より小さいため、ベース復号画像を読み込む（Ｓ８０５）。変数currBaseSeekPocの値に所定の値２を加算して８の値を設定する（Ｓ８０６ａ）。ベース復号シーケンスから、B2のベース復号画像を読み込み、変数currBaseSeekPocの値８を対応するＰＯＣとして、ベース復号画像バッファに記録する（Ｓ８０６ｂ）。変数currBaseSeekPocの値８は変数maxBasePocの値１０より小さいため、次のベース復号画像を読み込む（Ｓ８０５）。変数currBaseSeekPocの値に所定の値２を加算して１０の値を設定する（Ｓ８０６ａ）。ベース復号シーケンスから、B3のベース復号画像を読み込み、変数currBaseSeekPocの値１０を対応するＰＯＣとして、ベース復号画像バッファに記録する（Ｓ８０６ｂ）。変数currBaseSeekPocの値１０と変数maxBasePocの値１０が等しいため（Ｓ８０５）、E3復号時のベース復号画像設定処理を終了する（Ｓ８０７）。
　（４）E2復号時： E2におけるIL-RPSにはB2を含む（Ｓ８０２）。ベース復号画像バッファはB1、B2、B3を含んでおり、B1とB3はIL-RPSに含まれないため、ベース復号画像バッファから削除される（Ｓ８０３）。IL-RPSに含まれる表示順の最も遅いベース復号画像はB2であり、B2と同一表示順である対象レイヤ（拡張レイヤ）のピクチャE1のＰＯＣである８を変数maxBasePocに設定する（Ｓ８０４）。変数currBaseSeekPocの値は１０で、変数maxBasePocの値８より大きいため（Ｓ８０５）、E3復号時のベース復号画像設定処理を終了する（Ｓ８０７）。
　上記のベース復号画像設定処理によれば、ベース制御部３１は、可変長復号部３２より供給される対象レイヤのＳＰＳに含まれるベース制御情報とパラメータセットに基づいて、対象レイヤ（拡張レイヤ）上の対象ピクチャの復号に必要なベース復号画像をベース復号シーケンスから読みこんでベース復号画像バッファ３７に記録できる。なお、ベース制御情報やパラメータセットを用いない場合、対象レイヤ（拡張レイヤ）上の特定ピクチャの復号前に、ベース復号シーケンスからどれだけのデータ量をベース復号画像として読み込んでベース復号画像バッファ３７に記録すべきかが判定できない。
　また、上記の手順によれば、ベース制御部３１は、可変長復号部３２より供給されるベース制御情報とパラメータセットに基づいて、対象ピクチャよりも復号順が後の拡張レイヤ上のピクチャの復号に不要なベース復号画像を、ベース復号画像バッファ３７から適切なタイミングで削除できる。したがって、不要なベース復号画像がベース復号画像バッファ３７に残らないため、ベース復号画像バッファに要求されるバッファサイズを低減できる。
　（動画像復号装置３の効果）
　以上説明した本実施形態に係る動画像復号装置３は、対象レイヤ（拡張レイヤ）のＳＰＳに含まれるパラメータセットおよびベース制御情報に基づいて、ベース復号画像バッファにベース復号画像を読み込むベース制御部を備えている。それにより、入力されるベース復号シーケンスから適切なデータ量のベース復号画像を読み出して、ベース復号画像バッファに記録することができる。
　また、上記の手順によれば、ベース制御部３１は、ベース復号シーケンスからベース復号画像を読み出しベース復号画像バッファ３７に記録する際に、対象レイヤのＰＯＣに基づいて設定されたピクチャ位置currBaseSeekPocを、読み出したベース復号画像のＰＯＣとして設定する。ベースレイヤ復号画像のＰＯＣを、拡張レイヤの画像のＰＯＣに基づいて設定することにより、ベース復号シーケンスに含まれるベース復号画像に出力順（表示順）を示すＰＯＣがない場合においても、ＰＯＣを用いて管理される参照画像セット（レイヤ間参照画像セット）に含まれるベース復号画像を特定することができる。
　また、上記の手順によれば、ベース制御部３１は、ベース制御情報（ＢＬＩ）に従って、フォーマット変換を行う。具体的には、ベース制御情報の示すベース復号画像の画像サイズが、対象ピクチャの画像サイズよりも小さい場合にはアップサンプルを行う。対象レイヤ符号化データＤＡＴＡ＃Ｔに含まれるベース制御情報（ＢＬＩ）に含まれるベース復号画像の情報を参照することにより、内部にベース復号部を備えておらず、そのため、階層符号化データに含まれる参照レイヤ符号化データ（ベース符号化データ）を復号することができない動画像復号装置の場合にも、ベース復号画像を、対象ピクチャの復号に必要な画像フォーマットに変更することができる。したがって、参照レイヤ（ベースレイヤ）が符号化データとして入力されない場合であっても、ベース復号画像の画像フォーマット情報を得ることができ、アップサンプルなどのフォーマット変換を適用した参照レイヤの復号画像を、対象ピクチャの復号時にベース参照画像として利用できる。ベース復号シーケンスとして入力する際に、フォーマット変換を行うことが不要となるため、アップサンプルやビット深度拡大に伴う、ベース復号シーケンスのサイズ増大を防ぐことができる。
　〔変形例２：レイヤ間参照画像セットを利用しない例〕
　上記の階層動画像復号装置３の説明では、ベース制御部３１によるベース復号画像設定処理の説明において、レイヤ間参照ピクチャを用いてベース参照シーケンスからベース参照画像を読み込んでベース復号画像バッファに記録する処理を記載したが、必ずしもレイヤ間参照セットを利用する必要はない。具体的には、ベース復号画像設定処理のＳ８０４では、変数maxBasePocを、前記対象ピクチャにおけるレイヤ間参照画像セットから、拡張レイヤ上の対象ピクチャの復号時に参照される可能性のある参照レイヤのピクチャであって、表示順の最も遅いピクチャを特定し、当該ピクチャと同一表示順に対応する拡張レイヤのピクチャの表示順（ＰＯＣ）に設定しているが、この情報が対象ピクチャに関連付けられたパラメータセット（例えば、スライスヘッダやＰＰＳ）に直接含まれていてもよい。すなわち、拡張レイヤ上の対象ピクチャの復号時に参照される可能性のある参照レイヤのピクチャであって、表示順の最も遅いピクチャの表示順を示す情報がパラメータセットに含まれていてもよい。ここで、表示順を示す情報とは、例えば、表示順の絶対値、対象ピクチャの表示順に対する差分、表示時刻である。また、表示順に係る情報ではなく、読みこむべきベース復号画像の枚数を直接パラメータセットに含んでいても構わない。
　なお、階層動画像復号装置１において説明したように、レイヤ間画像予測に用いられる可能性のあるベース参照画像を指定する場合にはレイヤ間参照画像セットが有用である。そのため、レイヤ間画像予測においてレイヤ間参照画像セットを用いる場合には、レイヤ間参照画像セットを利用して、ベース復号画像設定処理を実行することで、追加の情報を送る必要がないという利点がある。
　〔階層動画像符号化装置（第二の実施形態）〕
　以下では、本実施形態に係る階層動画像符号化装置４の構成について、図２８を参照して説明する。図２８は、階層動画像符号化装置４の概略的構成について示した機能ブロック図である。階層動画像符号化装置４は、対象レイヤの入力画像ＰＩＮ＃Ｔとベース復号シーケンスを入力として、対象レイヤ符号化ＤＡＴＡ＃Ｔを出力する。
　図２８に示すように階層動画像符号化装置４は、ベース制御部４１、可変長符号化部４５、復号画像バッファ２７、予測パラメータ決定部４９、予測情報生成部２２、テクスチャ情報生成部２４、ベース復号画像バッファ４８を備える。
　階層動画像符号化装置４で生成される対象レイヤ符号化データＤＡＴＡ＃Ｔは、生成時に入力として用いられたベース復号シーケンスと合わせて、前述の階層動画像復号装置３に入力することで、対象レイヤの復号画像を再生できる。
　階層動画像符号化装置４の構成要素のうち、予測情報生成部２２、テクスチャ情報生成部２４、復号画像バッファ２７は、階層動画像符号化装置２の同名の構成要素と同じ機能を有するため、同一の符号を付与して説明を省略する。
　ベース復号画像バッファ４８は、階層動画像復号装置３におけるベース復号画像バッファ３７に対応する構成要素であり、外部より入力されたベース復号画像を、拡張レイヤにおけるピクチャの表示順（ＰＯＣ）と関連付けて保持しておくためのバッファである。ベース復号画像バッファ４８には、対象レイヤにおける対象ピクチャの符号化時には、テクスチャ生成部２４において予測画像生成に用いられるベース復号画像が少なくとも記録されている必要がある。
　予測パラメータ決定部４９は、予測パラメータ決定部２１の機能に加え、ベース制御情報を導出する機能を有する。ベース制御情報は、階層動画像復号装置３の可変長復号部３２の説明で記載したベース制御情報と同じものを利用できる。ベース制御情報は、符号化の制御パラメータとして外部（図示せず）より入力される。
　ベース制御部４１は、階層動画像復号装置３におけるベース制御部３１に対応する構成要素であり、予測パラメータ決定部４９より入力されるベース制御情報およびパラメータセットに基づいて、入力されるベース復号シーケンスをベース復号画像バッファ４８の適切な位置に設定する。また、不要となったベース復号画像を適切なタイミングでベース復号画像バッファ４８から削除する。
　ベース制御部４１においては、階層動画像復号装置３のベース制御部３１におけるベース復号画像設定処理と同様のベース復号画像設定処理を適用することで、対象レイヤの特定ピクチャ符号化時のベース復号画像バッファへのベース復号画像の読み込み、および、ベース復号画像バッファからのベース復号画像の削除を実行できる。具体的には、図２６を用いて説明した階層動画像復号装置３のベース制御部３１におけるベース復号画像設定処理を、「復号時」を「符号化時」に、「ベース復号画像バッファ３７」を「ベース復号画像バッファ４８」に、それぞれ読み変えて実行すればよい。
　上記のベース復号画像設定処理によれば、ベース制御部４１は、予測パラメータ決定部４９より供給される対象レイヤ（拡張レイヤ）のＳＰＳに含まれるベース制御情報とパラメータセットに基づいて、対象レイヤ（拡張レイヤ）上の対象ピクチャの復号に必要なベース復号画像をベース復号シーケンスから読みこんでベース復号画像バッファ４８に記録できる。なお、ベース制御情報やパラメータセットを用いない場合、対象レイヤ（拡張レイヤ）上の特定ピクチャの符号化前に、ベース復号シーケンスからどれだけのデータ量をベース復号画像として読み込んでベース復号画像バッファ４８に記録すべきかが判定できない。
　また、上記の手順によれば、ベース制御部４１は、予測パラメータ決定部４９より供給されるベース制御情報とパラメータセットに基づいて、対象ピクチャよりも符号化順が後の拡張レイヤ上のピクチャの符号化に不要なベース復号画像を、ベース復号画像バッファ４８から適切なタイミングで削除できる。したがって、不要なベース復号画像がベース復号画像バッファ４８に残らないため、ベース復号画像バッファに要求されるバッファサイズを低減できる。
　（動画像符号化装置４の効果）
　以上説明した本実施形態に係る動画像符号化装置４は、対象レイヤ（拡張レイヤ）のＳＰＳに含まれるパラメータセットおよびベース制御情報に基づいて、ベース復号画像バッファにベース復号画像を読み込むベース制御部を備えている。それにより、入力されるベース復号シーケンスから適切なデータ量のベース復号画像を読み出して、ベース復号画像バッファに記録することができる。
　〔付記事項１：レイヤ間画像予測以外の用途への適用〕
　以上の階層動画像復号装置（階層動画像復号装置１と階層動画像復号装置３）および階層動画像符号化装置（階層動画像符号化装置２と階層動画像符号化装置４）の説明において、ベース復号画像バッファに記録されるベース復号画像はレイヤ間画像予測におけるベース参照画像として利用されると記載したが、ベース復号画像の用途はそれに限らない。本発明は、対象レイヤ（拡張レイヤ）上のピクチャの復号または符号化において、ベース復号画像を利用する場合に適用可能である。例えば、対象レイヤにおいて、複数のベース復号画像から対象ピクチャの予測残差を推定する一般化残差予測と呼ばれる方式において、複数のベース復号画像として利用される可能性のあるベース復号画像を特定するために、本発明に記載したレイヤ間参照画像セットを用いることができる。また、複数のベース復号画像から対象ピクチャの動きベクトルを推定する方式において、複数のベース復号画像として利用される可能性のあるベース復号画像を特定するために、本発明に記載したレイヤ間参照画像セットを用いることができる。
　〔付記事項２：２レイヤ以上の階層符号化への適用〕
　以上の階層動画像復号装置（階層動画像復号装置１と階層動画像復号装置３）および階層動画像符号化装置（階層動画像符号化装置２と階層動画像符号化装置４）の説明において、対象レイヤと参照レイヤ（ベースレイヤ）の２レイヤの例を挙げて説明したが、本発明は３レイヤ以上の場合にも適用できる。なお、３レイヤ以上の階層符号化を行う場合に、対象レイヤに対して２以上の参照レイヤを設定して、各参照レイヤの復号画像を用いて対象レイヤの符号化・復号を行う構成も想定される。そのような場合であっても、本発明に記載したレイヤ間参照画像セットを利用したベース復号画像バッファの制御は有効であり、２つの参照レイヤそれぞれに対してレイヤ間参照画像セットを設定すればよい。
　（他の階層動画像符号化／復号システムへの適用例）
　上述した階層動画像符号化装置２及び階層動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。
　図２９に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の送信および受信に利用できることを説明する。図２９の（ａ）は、階層動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。
　図２９の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３とを備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。
　送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図２９の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。
　なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。
　図２９の（ｂ）は、階層動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図２９の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３とを備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。
　受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図２９の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。
　なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
　なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
　例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。
　また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
　なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。
　図３０に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の記録および再生に利用できることを説明する。図３０の（ａ）は、上述した階層動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。
　図３０の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。
　なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリ等のように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
　また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図３０の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。
　なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
　このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。
　図３０の（ｂ）は、上述した階層動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図３０の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。
　なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
　また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図３０の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。
　なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
　このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。
　（ハードウェア的実現およびソフトウェア的実現について）
　最後に、階層動画像復号装置１、階層動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
　後者の場合、上記各装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（Micro Processing Unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ－ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯ（Magneto-Optical）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disk）／ＣＤ－Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-only Memory）／ＥＥＰＲＯＭ（登録商標）（ElectricallyErasable and Programmable Read-only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
　また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric DigitalSubscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
　本発明は、画像データが階層的に符号化された符号化データを復号する階層画像復号装置、および、画像データが階層的に符号化された符号化データを生成する階層画像符号化装置に好適に適用することができる。また、階層画像符号化装置によって生成され、階層画像復号装置によって参照される階層符号化データのデータ構造に好適に適用することができる。
　１、３　　　階層動画像復号装置（画像復号装置）
　１１　　　　ＮＡＬ逆多重化部
　１２、３２　可変長復号部（可変長復号手段）
　１３、２７　復号画像バッファ
　１４　　　　予測パラメータ復元部
　１５　　　　テクスチャ復元部
　１５１　　　逆直交変換・逆量子化部
　１５２　　　テクスチャ予測部（予測画像生成手段）
　１５２Ｔ　　インター予測部
　１５２Ｓ　　イントラ予測部
　１５２Ｂ　　レイヤ間画像予測部（レイヤ間画像予測手段）
　１５４　　　ループフィルタ部
　１５５　　　参照画像リスト設定部
　１５６　　　レイヤ間参照画像リスト設定部
　１６、２３　ベース復号部
　１６１　　　可変長復号部
　１６２　　　ベース予測パラメータ復元部
　１６３　　　ベース変換係数復元部
　１６４　　　ベーステクスチャ復元部
　１７、２８　ベース復号画像バッファ
　２　　　　　階層動画像符号化装置（画像符号化装置）
　２１　　　　予測パラメータ決定部（予測パラメータ決定手段）
　２２　　　　予測情報生成部
　２４　　　　テクスチャ情報生成部
　２５　　　　可変長符号化部
　２６　　　　ＮＡＬ多重化部
　３１、４１　ベース制御部（ベース制御手段）
　３７、４８　ベース復号画像バッファ

Claims (24)

  1. 　階層符号化された符号化データに含まれる上位レイヤの符号化データを用いて、上位レイヤの復号画像を復元する画像復号装置であって、
    　上位レイヤの符号化データからパラメータセットを復号する可変長復号手段と、
    　下位レイヤの復号画像を、上記パラメータセットから導出した上位レイヤのピクチャ表示順と対応付けて記録するベース復号画像バッファと、
    　外部の手段で復号された画像をベース復号シーケンスとして読み込んで上記ベース復号画像バッファに記録するベース制御手段と、
    　上記ベース復号シーケンスに含まれるベース復号画像からベース参照画像を選択し、上記ベース参照画像を用いたレイヤ間予測により予測画像を生成するレイヤ間画像予測部を備えることを特徴とする画像復号装置。
  2. 　上記可変長復号手段は、ベース制御情報を復号することを特徴とする、請求項１に記載の画像復号装置。
  3. 　上記可変長復号手段は、上記パラメータセット内の上記ベース制御情報の有無を示すフラグを復号することを特徴とする、請求項２に記載の画像復号装置。
  4. 　上記ベース制御情報は、ベース復号画像のサイズを直接、または、間接的に表す情報を含むことを特徴とする、請求項２に記載の画像復号装置。
  5. 　上記ベース制御情報は、参照レイヤのコーデックを示す識別子を含むことを特徴とする、請求項２に記載の画像復号装置。
  6. 　上記参照レイヤのコーデックを示す識別子がＡＶＣであることを示す場合、上記ベース制御情報はＡＶＣ規格におけるプロファイルレベル情報を含むことを特徴とする、請求項５に記載の画像復号装置。
  7. 　上記ベース制御手段は、上記ベース復号シーケンスに含まれる上記ベース復号画像を上位レイヤのピクチャ表示順と関連付けて上記ベース復号画像バッファに設定し、
    　上記上位レイヤのピクチャ表示順として、上位レイヤの復号対象ピクチャにおいて参照される可能性のある参照レイヤのピクチャであって、表示順の最も遅いピクチャと同一表示順に対応する拡張レイヤのピクチャの表示順が設定されることを特徴とする請求項１に記載の画像復号装置。
  8. 　上記ベース制御手段は、上位レイヤのピクチャ復号時に、上記ベース制御情報と上記パラメータセットに基づいてベース復号画像バッファ上のベース復号画像を削除することを特徴とする請求項２に記載の画像復号装置。
  9. 　上記ベース復号シーケンスは、復号画像の表示時刻を示す情報を含んでいることを特徴とする請求項１に記載の画像復号装置。
  10. 　入力画像から上位レイヤの符号化データを生成する画像符号化装置であって、
    　上位レイヤの符号化データに含めるパラメータセットを符号化する可変長符号化手段と、
    　下位レイヤの復号画像を、上記パラメータセットから導出した上位レイヤのピクチャ表示順と対応付けて記録するベース復号画像バッファと、
    　外部の手段で復号された画像をベース復号シーケンスとして読み込んで上記ベース復号画像バッファに記録するベース制御手段と、
    　上記ベース復号シーケンスに含まれるベース復号画像からベース参照画像を選択し、上記ベース参照画像を用いたレイヤ間予測により予測画像を生成するレイヤ間画像予測部を備えることを特徴とする画像符号化装置。
  11. 　上記可変長符号化手段は、ベース制御情報を符号化することを特徴とする、請求項１０に記載の画像符号化装置。
  12. 　上記可変長符号化手段は、上記パラメータセット内の上記ベース制御情報の有無を示すフラグを符号化することを特徴とする、請求項１１に記載の画像符号化装置。
  13. 　上記ベース制御情報は、ベース復号画像のサイズを直接、または、間接的に表す情報を含むことを特徴とする、請求項１１に記載の画像符号化装置。
  14. 　上記ベース制御情報は、参照レイヤのコーデックを示す識別子を含むことを特徴とする、請求項１１に記載の画像符号化装置。
  15. 　上記参照レイヤのコーデックを示す識別子がＡＶＣであることを示す場合、上記ベース制御情報はＡＶＣ規格におけるプロファイルレベル情報を含むことを特徴とする、請求項１４に記載の画像符号化装置。
  16. 　上記ベース制御手段は、上記ベース復号シーケンスに含まれる上記ベース復号画像を上位レイヤのピクチャ表示順と関連付けて上記ベース復号画像バッファに設定し、
    　上記上位レイヤのピクチャ表示順として、上位レイヤの符号化対象ピクチャにおいて参照される可能性のある参照レイヤのピクチャであって、表示順の最も遅いピクチャと同一表示順に対応する拡張レイヤのピクチャの表示順が設定されることを特徴とする請求項１０に記載の画像符号化装置。
  17. 　上記ベース制御手段は、上位レイヤのピクチャ符号化時に、上記ベース制御情報と上記パラメータセットに基づいてベース復号画像バッファ上のベース復号画像を削除することを特徴とする請求項１１に記載の画像符号化装置。
  18. 　上記ベース復号シーケンスは、復号画像の表示時刻を示す情報を含んでいることを特徴とする請求項１０に記載の画像符号化装置。
  19. 　階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、上位レイヤの復号画像を復元する画像復号装置であって、
    　下位レイヤの復号画像を記録するベース参照画像バッファと、
    　上位レイヤのピクチャの復号に用いるレイヤ間参照画像セットを設定するレイヤ間参照画像リスト設定手段と、
    　上記レイヤ間参照画像セットに含まれる、上記ベース参照画像バッファに記録されているベース参照画像を用いて上位レイヤのピクチャの予測画像を生成する予測画像生成手段を備えることを特徴とする画像復号装置。
  20. 　上記レイヤ間参照画像セットは、上位レイヤの復号対象ピクチャの復号時、または、前記復号対象ピクチャより復号順が後の上位レイヤのピクチャの復号時に、上記予測画像生成手段により利用される可能性のあるベース参照画像バッファ上の画像の集合を含んでいることを特徴とする請求項１９に記載の画像復号装置。
  21. 　上記レイヤ間参照画像セットは、上位レイヤの復号対象ピクチャの復号時に、上記予測画像生成手段により利用される可能性のあるベース参照画像バッファ上の画像の集合を、含んでいることを特徴とする請求項２０に記載の画像復号装置。
  22. 　上記レイヤ間参照画像セットの導出に用いるレイヤ間参照画像セット情報を上位レイヤに関連付けられたパラメータセットから復号する可変長復号手段を備えることを特徴とする請求項１から請求項２１に記載の画像復号装置。
  23. 　上記レイヤ間参照画像セット情報は、前方レイヤ間参照画像を示す情報、後方レイヤ間参照画像を示す情報、および、同時刻レイヤ間参照画像を示す情報を含むことを特徴とする請求項２２に記載の画像復号装置。
  24. 　上位レイヤの復号画像を記録する参照画像バッファと、
    　上記参照画像バッファに記録された画像のリストである参照画像リストを生成する参照画像リスト設定手段と、
    　上記参照画像リストに含まれる少なくとも一以上の参照画像の画素値に基づいて上位レイヤの予測画像を生成するインター予測手段を備え、
    　上記参照画像リスト設定手段は、上位レイヤ上の対象ピクチャ、または、対象ピクチャより復号順が後の上位レイヤのピクチャの復号時に上記インター予測手段により参照される可能性のある参照画像バッファ上の画像の集合を表す参照画像セットを導出し、
    　上記レイヤ間参照画像セット情報は、上記参照画像セットに含まれる各参照画像に対応する下位レイヤの参照画像が、上記レイヤ間参照画像セットに含まれるか否かを示すフラグを含むことを特徴とする請求項２２に記載の画像復号装置。
     
PCT/JP2014/058610 2013-04-04 2014-03-26 画像復号装置、および画像符号化装置 WO2014162954A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US14/781,336 US9912959B2 (en) 2013-04-04 2014-03-26 Image decoding device and image coding device
CN201480010634.3A CN105075269B (zh) 2013-04-04 2014-03-26 图像解码装置、图像编码装置及计算机可读取的记录介质
EP14779693.2A EP2996339A4 (en) 2013-04-04 2014-03-26 IMAGE DECODING APPARATUS AND IMAGE ENCODING APPARATUS
JP2015510030A JP6352248B2 (ja) 2013-04-04 2014-03-26 画像復号装置、および画像符号化装置
HK16105207.0A HK1217256A1 (zh) 2013-04-04 2016-05-06 圖像解碼裝置以及圖像編碼裝置
US15/826,757 US20180115780A1 (en) 2013-04-04 2017-11-30 Image decoding device and image coding device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-078430 2013-04-04
JP2013078430 2013-04-04

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/781,336 A-371-Of-International US9912959B2 (en) 2013-04-04 2014-03-26 Image decoding device and image coding device
US15/826,757 Continuation US20180115780A1 (en) 2013-04-04 2017-11-30 Image decoding device and image coding device

Publications (1)

Publication Number Publication Date
WO2014162954A1 true WO2014162954A1 (ja) 2014-10-09

Family

ID=51658252

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/058610 WO2014162954A1 (ja) 2013-04-04 2014-03-26 画像復号装置、および画像符号化装置

Country Status (7)

Country Link
US (2) US9912959B2 (ja)
EP (1) EP2996339A4 (ja)
JP (1) JP6352248B2 (ja)
CN (1) CN105075269B (ja)
HK (1) HK1217256A1 (ja)
TW (1) TWI646826B (ja)
WO (1) WO2014162954A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154604A1 (ja) * 2016-03-10 2017-09-14 ソニー株式会社 画像処理装置および方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140121315A (ko) * 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
US9648326B2 (en) 2013-07-02 2017-05-09 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
WO2015009021A1 (ko) 2013-07-15 2015-01-22 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015009009A1 (ko) * 2013-07-15 2015-01-22 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
US9681145B2 (en) * 2013-10-14 2017-06-13 Qualcomm Incorporated Systems and methods for inter-layer RPS derivation based on sub-layer reference prediction dependency
US10455242B2 (en) * 2015-03-04 2019-10-22 Qualcomm Incorporated Signaling output indications in codec-hybrid multi-layer video coding
CN105933800A (zh) * 2016-04-29 2016-09-07 联发科技（新加坡）私人有限公司 一种视频播放方法及其控制终端
US20180352240A1 (en) * 2017-06-03 2018-12-06 Apple Inc. Generalized Temporal Sub-Layering Frame Work
EP3780608A4 (en) 2018-04-02 2021-12-01 SZ DJI Technology Co., Ltd. IMAGE PROCESSING PROCESS AND IMAGE PROCESSING DEVICE
EP3847804B1 (en) * 2018-09-12 2022-12-07 Huawei Technologies Co., Ltd. Index signaling for reference picture list structures
WO2020156175A1 (zh) * 2019-02-01 2020-08-06 浙江大学 位流检验方法、解码方法及其装置
CN111935557B (zh) * 2019-05-13 2022-06-28 华为技术有限公司 视频处理方法、装置及系统
JP7436646B2 (ja) * 2019-10-10 2024-02-21 華為技術有限公司 ピクチャヘッダのシグナリングを簡略化するためのエンコーダ、デコーダ及び対応する方法
US20230254476A1 (en) * 2020-05-22 2023-08-10 Lg Electronics Inc. Method and device for image encoding/decoding based on layer index of ilrp, and recording medium for storing bitstream

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010095556A1 (ja) * 2009-02-19 2010-08-26 ソニー株式会社 画像処理装置および方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006333436A (ja) * 2005-01-07 2006-12-07 Ntt Docomo Inc 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び、動画像復号プログラム
US20140003521A1 (en) * 2011-03-11 2014-01-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding images and method and apparatus for decoding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010095556A1 (ja) * 2009-02-19 2010-08-26 ソニー株式会社 画像処理装置および方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Consent", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING, 14 January 2013 (2013-01-14)
"SHVC Test Model 1 (SHM1", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING, 14 January 2013 (2013-01-14)
HENDRY ET AL.: "Inter layer prediction indication flags and pictures management", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING, 14 January 2013 (2013-01-14) - 23 January 2013 (2013-01-23), GENEVA, CH, XP030056164 *
JIANLE CHEN ET AL.: "SHVC Test Model 1 (SHM 1", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP3 AND ISO/IEC JTC1/SC29/WG11 12TH MEETING, 26 March 2013 (2013-03-26), GENEVA, CH, XP030113952 *
See also references of EP2996339A4
TOMOYUKI YAMAMOTO ET AL.: "Description of scalable video coding technology proposal by SHARP (proposal 2", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP3 AND ISO/IEC JTC1/SC29/WG11 LLTH MEETING, 10 October 2012 (2012-10-10) - 19 October 2012 (2012-10-19), SHANGHAI, CN, XP030054932 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017154604A1 (ja) * 2016-03-10 2017-09-14 ソニー株式会社 画像処理装置および方法

Also Published As

Publication number Publication date
TW201448574A (zh) 2014-12-16
CN105075269A (zh) 2015-11-18
US20160057439A1 (en) 2016-02-25
JP6352248B2 (ja) 2018-07-04
JPWO2014162954A1 (ja) 2017-02-16
CN105075269B (zh) 2018-07-03
US9912959B2 (en) 2018-03-06
US20180115780A1 (en) 2018-04-26
TWI646826B (zh) 2019-01-01
EP2996339A1 (en) 2016-03-16
HK1217256A1 (zh) 2016-12-30
EP2996339A4 (en) 2016-11-02

Similar Documents

Publication Publication Date Title
JP6352248B2 (ja) 画像復号装置、および画像符号化装置
JP6456535B2 (ja) 画像符号化装置、画像符号化方法および記録媒体
US10237564B1 (en) Image decoding device, image decoding method, image coding device, and image coding method
US10136151B2 (en) Image decoding device and image decoding method
JP6800837B2 (ja) 画像復号装置、及び画像復号方法
US20160249056A1 (en) Image decoding device, image coding device, and coded data
JP6609000B2 (ja) 画像復号装置
JP6653860B2 (ja) 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法及びコンピュータ読み取り可能な記録媒体
WO2014007131A1 (ja) 画像復号装置、および画像符号化装置
WO2013161690A1 (ja) 画像復号装置および画像符号化装置
JPWO2014104242A1 (ja) 画像復号装置、および画像符号化装置
JP2014176039A (ja) 画像復号装置、および画像符号化装置
JP2015073213A (ja) 画像復号装置、画像符号化装置、符号化データ変換装置、および、注目領域表示システム
WO2014050554A1 (ja) 画像復号装置、および画像符号化装置
JP2015002495A (ja) 画像復号装置、および画像符号化装置
JP2015050506A (ja) 画像復号装置および画像符号化装置
JP2014082729A (ja) 画像復号装置、および画像符号化装置
JP2013251827A (ja) 画像フィルタ装置、画像復号装置、画像符号化装置、およびデータ構造
JP2015076807A (ja) 画像復号装置、画像符号化装置、および符号化データのデータ構造
JP2015076806A (ja) 画像復号装置および画像符号化装置
JP2014013976A (ja) 画像復号装置、および画像符号化装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480010634.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14779693

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015510030

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14781336

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2014779693

Country of ref document: EP