WO2015053120A1 - 画像復号装置、画像復号方法、画像符号化装置、及び画像符号化方法 - Google Patents

画像復号装置、画像復号方法、画像符号化装置、及び画像符号化方法 Download PDF

Info

Publication number
WO2015053120A1
WO2015053120A1 PCT/JP2014/075868 JP2014075868W WO2015053120A1 WO 2015053120 A1 WO2015053120 A1 WO 2015053120A1 JP 2014075868 W JP2014075868 W JP 2014075868W WO 2015053120 A1 WO2015053120 A1 WO 2015053120A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
profile
ptl
decoding
sublayer
Prior art date
Application number
PCT/JP2014/075868
Other languages
English (en)
French (fr)
Inventor
健史 筑波
知宏 猪飼
山本　智幸
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to EP14852055.4A priority Critical patent/EP3057324A4/en
Priority to JP2015541526A priority patent/JPWO2015053120A1/ja
Priority to CN201480053151.1A priority patent/CN105594209B/zh
Priority to US15/023,442 priority patent/US10075720B2/en
Publication of WO2015053120A1 publication Critical patent/WO2015053120A1/ja
Priority to HK16111662.6A priority patent/HK1223473A1/zh
Priority to US16/043,191 priority patent/US10237564B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Definitions

  • the present invention relates to an image decoding apparatus and an image decoding method for decoding hierarchically encoded data in which an image is hierarchically encoded, and an image encoding apparatus for generating hierarchically encoded data by hierarchically encoding an image. And an image decoding method.
  • One of information transmitted in a communication system or information recorded in a storage device is an image or a moving image. 2. Description of the Related Art Conventionally, a technique for encoding an image for transmitting and storing these images (hereinafter including moving images) is known.
  • Non-patent Document 1 As video coding systems, AVC (H.264 / MPEG-4 Advanced Video Coding) and HEVC (High-Efficiency Video Coding), which is a successor codec, are known (Non-patent Document 1).
  • a predicted image is usually generated based on a local decoded image obtained by encoding / decoding an input image, and obtained by subtracting the predicted image from the input image (original image).
  • Prediction residuals (sometimes referred to as “difference images” or “residual images”) are encoded.
  • examples of the method for generating a predicted image include inter-screen prediction (inter prediction) and intra-screen prediction (intra prediction).
  • HEVC uses a technology that realizes temporal scalability (temporal scalability) assuming the case of playing at a frame rate thinned out in time, such as when playing 60 fps content at 30 fps.
  • a time identifier (TemporalID, also called a sublayer identifier) is assigned to each picture, and a restriction is imposed that a picture with a high time identifier does not refer to a picture with a time identifier smaller than that time identifier.
  • TemporalID also called a sublayer identifier
  • SHVC Scalable HEVC
  • MV-HEVC MultiView HEVC
  • SHVC supports spatial scalability, temporal scalability, and SNR scalability.
  • spatial scalability an image downsampled from an original image to a desired resolution is encoded as a lower layer.
  • inter-layer prediction is performed in order to remove redundancy between layers (Non-patent Document 2).
  • MV-HEVC supports viewpoint scalability (view scalability). For example, when encoding three viewpoint images, that is, viewpoint image 0 (layer 0), viewpoint image 1 (layer 1), and viewpoint image 2 (layer 2), the viewpoint image that is the upper layer from the lower layer (layer 0) 1. Redundancy between layers can be removed by predicting the viewpoint image 2 by inter-layer prediction (Non-patent Document 3).
  • Inter-layer prediction used in scalable coding schemes such as SHVC and MV-HEVC includes inter-layer image prediction and inter-layer motion prediction.
  • inter-layer image prediction a predicted image of a target layer is generated using texture information (image) of a decoded picture of a lower layer (or another layer different from the target layer).
  • inter-layer motion prediction motion information of a decoded picture of a lower layer (or another layer different from the target layer) is used to derive a prediction value of motion information of the target layer. That is, inter-layer prediction is performed by using a decoded picture of a lower layer (or another layer different from the target layer) as a reference picture of the target layer.
  • Non-Patent Document 1 in order to define the processing capability required for the image decoding apparatus (decoder) to decode what kind of image encoded data (or hierarchical encoded data), a profile ( profile) and level are defined.
  • a profile prescribes a specific application and defines processing functions that a decoder conforming to a standard should have, and is defined by a combination or set of encoding tools (elemental technologies). By defining the profile, it is only necessary to mount a suitable profile in each application, not the entire standard, and there is an advantage that the complexity of the decoder / encoder can be reduced.
  • the level defines the upper limit of the processing capacity of the decoder and the range of the circuit scale. The maximum number of processing pixels per unit time, the maximum resolution of the image, the maximum bit rate, the maximum reference image buffer size, the minimum compression rate, etc.
  • the parameter limits are specified. That is, the level defines the processing capability of the decoder and the complexity of the bit stream. In addition, the level also specifies to what extent the tools specified in each profile are supported. Therefore, the upper level needs to support the lower level.
  • Non-Patent Document 1 various parameters whose levels are limited include a maximum luminance picture size (Max luma picture size), a maximum bitrate (Max bitrate), and a maximum CPB size (Max CPB size), maximum slice segments per picture unit (Max slice number segments per frame), maximum tile rows per picture unit (Max number number of tile tiles), maximum tile columns per picture unit (Max number number of tile tiles) ).
  • various parameters that are applied to a specific profile and whose level is limited include a maximum luminance sample rate (Max luma sample rate), a maximum bit rate (Max bit rate), And the minimum compression ratio (Min compression Ratio).
  • whether the maximum bit rate of the bit stream (encoded data) corresponding to each level and the maximum CPB size for storing the bit stream are values specified by the main tier (for consumers).
  • a main profile is defined as a profile.
  • encoding tool restrictions as shown in FIG. 53A are defined.
  • an additional level restriction shown in (b) of FIG. 53 is prescribed.
  • the profile identifier general_profile_idc (see FIG. 54) on profile / tier information (hereinafter also referred to as PTL information) profile_tier_level () shown in FIG. It is specified by the above syntax group SYNPTL01). For example, when conforming to the main profile, the value of general_profile_idc is set to 1.
  • the level on the PTL information profile_tier_level indicates whether the level indicating the complexity of the bitstream or the capability of the decoder required to decode the bitstream complies with FIG. It is specified by the identifier general_level_idc (SYNPTL02 in FIG. 54). For example, when the value of the level identifier general_level_idc indicates “61”, it corresponds to level 6.1 in FIG. 52, and when the value of the level identifier general_level_idc is “10”, it corresponds to level 1 in FIG. Represents what to do. That is, the tenth digit (second digit) and the first digit (first digit) of the value indicated by the level identifier general_level_idc correspond to the level integer and the decimal point value in FIG. 52, respectively.
  • a tier flag general_tier_flag (syntax group SYNTPL01 in FIG. 54) indicating whether the tier is a main tier or a high tier.
  • the value of the tier flag general_tier_flag is 0, it indicates a main tier, and when the value is 1, it indicates a high tier.
  • profile_tier_level profile information for each layer (hereinafter also referred to as sublayer or temporal sublayer) related to temporal scalability (hereinafter referred to as sublayer profile information, syntax group SYNTPTL05 in FIG. 54).
  • sublayer profile information syntax group SYNTPTL05 in FIG. 54
  • And level information hereinafter, referred to as sublayer level information, syntax SYNPTL06 in FIG. 54
  • sublayer profile presence / absence flag sub_layer_profile_present_flag [i] (syntax group SYNPTL03 in FIG. 54)
  • sublayer level presence / absence flag sub_layer_level_present_flag [i] If each (syntax group SYNPTL03 in FIG. 54) is 1, it can be explicitly specified.
  • PTL information profile_tier_level is a signal in both parameter sets of the video parameter set VPS (Video Parameter Set) and the sequence parameter set SPS (Sequence Parameter Set) shown in FIG. Has been.
  • PTL applied to each layer set included in certain hierarchically encoded data (bitstream) Information is signaled in the bitstream.
  • bitstream information profile_tier_level () regarding layer set 0 (base layer) is signaled and included in the bit stream on the video parameter set extension data (FIG. 56).
  • PTL information designation index “profile_tier_level_idx [i]” (syntax group SYNVPS0H in FIG. 56) that designates PTL information applied to each layer set (layer set i), for each layer set unit Compared with the case where the PTL information is signaled, the code amount of the PTL information can be reduced.
  • the VPS profile presence flag “vps_profile_present_flag [i]” An index (reference PTL information designation index) “profile_ref_minus1 [i]” (SYNPPS0F in FIG. 56) indicating that the value of SYNVPPS0E) in FIG. 56 is 0 and further indicating the position of the corresponding PTL information on the PTL information list.
  • the conventional method for signaling the structure of the syntax for the profile / level information profile_tier_level () for the layer set is summarized as follows. That is, Signal a list of syntax structures related to profile / level information profile_tier_level (). The profile / level information to be applied to the i-th layer set is selected from the PTL information list as the PTL information designated by the i-th PTL information designation index profile_level_tier_idx [i].
  • profile / level information profile_tier_level The details of signaling of profile / level information profile_tier_level () in the above list are as follows.
  • the i-th VPS profile presence flag vps_profile_present_flag [i] is signaled and this flag is set to “0”
  • the i-th reference PTL information designation index profile_ref_minus1 [i] Is also signaled
  • the general profile information of the i-th profile / level information profile_tier_level () is estimated from the general profile information of the (profile_ref_minus1 [i] +1) -th profile / level information p profile_tier_level () .
  • profile and level signaling of each profile / level information profile_tier_level the profile and level of the i-th sublayer are omitted by the sublayer profile presence / absence flag sub_layer_profile_present_flag and the i-th sublayer level presence / absence flag sub_layer_level_present_flag [i], respectively. Can be done.
  • FIG. 59 is a diagram showing a schematic configuration of a conventional PTL decoder
  • FIG. 61 is a diagram showing an outline of a decoding operation of the conventional PTL decoder shown in FIG.
  • FIG. 60 is a diagram showing a schematic configuration of a conventional PTL encoding unit.
  • Non-Patent Documents 2 and 3 “value range of“ profile_ref_minus1 [i] ”is less than i” is constrained. Therefore, when the VPS profile presence / absence flag “vsp_profile_present_flag [1]” of the first PTL information on the PTL information list is 0, the 0th on the PTL information list is determined by the reference PTL information designation index “profile_ref_minus1 [1] +1”. There is a problem that the (first) PTL information cannot be designated as a reference destination.
  • the VPS profile presence flag “vps_profile_present_flag [1]” and the reference PTL information designation are included in the first PTL information on the PTL information list.
  • the code amount of the index “profile_ref_minus1 [1]” is redundant.
  • the PTL information signaled in the PTL information list is rearranged and encoded in the similar order in advance, thereby increasing the probability that most of the i-th PTL information refers to the immediately preceding PTL information. Can do.
  • the conventional technology has a problem that the reference PTL information index “profile_ref_minus1” is always encoded with a fixed length of 6 bits, and the amount of codes is redundant.
  • the decoder tries to decode the bit stream of the target layer set extracted from the hierarchically encoded data (bit stream) by the sub bit stream extraction process.
  • the level supported by the decoder is less than the highest sublayer (or highest temporal layer) level (general_level_idc) of the target layer set, the decoder is necessary for decoding the bitstream including the target layer set. Since there is no processing capability, there is a possibility that an unintended frame drop may occur when playing back a moving image.
  • the decoder refers to the level information of each sublayer in the PTL information of the target layer set, and the subset (layer) that satisfies the profile and level corresponding to the decoder. And sub-layer) are extracted from the bit stream of the target layer set (sub-bitstream extraction) and decoded, so that unintended frame drop can be prevented.
  • the present invention has been made in view of the above problems, and an object thereof is necessary to determine whether a decoder can decode encoded data (or hierarchically encoded data) obtained by encoding an image.
  • An image decoding device capable of improving the syntax and data structure related to PTL information, reducing the amount of processing related to decoding / encoding of profile information and level information, and the amount of code, and An image encoding device is to be realized.
  • an image decoding apparatus is an image decoding apparatus that decodes hierarchically encoded data, and indicates presence / absence of profile information in PTL information in a PTL information list.
  • Profile presence / absence flag decoding means for decoding the profile presence / absence flag
  • PTL information decoding means for decoding the PTL information.
  • the PTL information decoding means uses the encoded data to determine the PTL information.
  • the profile information is decoded, and when the profile information presence / absence flag is 0, the profile information in the PTL information is estimated to be equal to the profile information of the previously decoded PTL information.
  • An image decoding method is an image decoding method for decoding hierarchically encoded data, wherein a profile presence / absence flag indicating presence / absence of profile information in PTL information in a PTL information list is decoded.
  • the profile presence / absence flag is 1
  • the PTL information decoding step decodes the profile information of the PTL information from encoded data
  • the information presence / absence flag is 0, the profile information in the PTL information is estimated to be equal to the profile information of the previously decoded PTL information.
  • An image encoding apparatus is an image encoding apparatus that hierarchically encodes image data to generate hierarchical encoded data, and includes PTL information indicating a profile of the hierarchical encoded data
  • the PTL information encoding unit encodes the profile information in the PTL information with the value of the profile presence / absence flag set to 1 when profile information is encoded in the PTL information, and the PTL information encoding unit encodes the profile information in the PTL information. Is estimated to be equal to the profile information of the PTL information encoded one before, and the value of the profile presence / absence flag is encoded as 0.
  • An image encoding method is an image encoding method for hierarchically encoding image data to generate hierarchical encoded data, wherein the PTL information indicates a profile of the hierarchical encoded data.
  • the PTL information encoding step encodes the profile information in the PTL information with a profile presence flag value of 1 when profile information is encoded in the PTL information, and the PTL information encoding step encodes the profile information in the PTL information. Is estimated to be equal to the profile information of the previously encoded PTL information, the profile presence / absence flag value is encoded as 0.
  • the profile of the first profile / level information and the tier information can be estimated from the zeroth profile / level information.
  • the profile of the i-th profile / level information and the tier information can be estimated from the (i-1) -th profile / level information. There exists an effect that it can control.
  • FIG. 1 It is a figure for demonstrating the layer structure of the hierarchy coding data which concerns on one Embodiment of this invention, Comprising: (a) has shown about the hierarchy moving image encoder side, (b) is a hierarchy moving image. The decoding device side is shown. It is a figure for demonstrating the structure of the layer which comprises a certain layer set, and a sublayer (temporal layer). It is a figure for demonstrating the layer and sublayer (temporal layer) which comprise the subset of the layer set extracted by the sub bitstream extraction process from the layer set shown in FIG. It is a figure which shows the example of the data structure which comprises a NAL unit layer. It is a figure which shows the structure of the encoding data of a NAL unit.
  • (a) is a sequence layer which prescribes
  • (b) is a picture layer which prescribes
  • (c) is a slice layer that defines a slice S
  • (d) is a slice data layer that defines slice data
  • (e) is a coding tree layer that defines a coding tree unit included in the slice data
  • (f) ) Is a diagram illustrating a coding unit layer that defines a coding unit (Coding Unit; CU) included in a coding tree. It is a conceptual diagram which shows an example of a reference picture list. It is a conceptual diagram which shows the example of a reference picture.
  • VPS extended data It is a modification of the syntax table of extended video parameter set VPS (VPS extended data). It is a flowchart for demonstrating the modification of the decoding process of VPS extension data. It is the functional block diagram shown about the modification of the schematic structure of a VPS decoding part. It is a figure which shows the modification of the data structure of PTL information. It is a flowchart which shows the modification of the flow of a process in a PTL information decoding part. It is a block diagram which shows the modification of the detail of a PTL information decoding part.
  • FIG. 1 It is a figure which shows the example of a reference picture set and a reference picture list
  • (a) is the figure which arranged the picture which comprises a moving image in the display order
  • (b) is an example of RPS information applied to an object picture.
  • (C) is a diagram illustrating an example of the current RPS derived when the RPS information illustrated in (b) is applied when the POC of the target picture is 0, and
  • e) is a diagram illustrating an example of a reference picture list generated from a reference picture included in the current RPS.
  • It is a figure which shows a reference picture list correction example (a) is a figure which shows L0 reference list before correction
  • (b) is a figure which shows RPL correction information
  • (c) is L0 reference list after correction FIG.
  • (A) shows a recording device equipped with a hierarchical video encoding device
  • (b) shows a playback device equipped with a hierarchical video decoding device.
  • (a) is an example of the restrictions of the parameter regarding a main profile
  • (b) is an example of the additional level restrictions regarding a main profile.
  • (A) shows the setting method when the profile presence flag (profilePresentFlag) is 1, and (b) shows the setting method when the profile presence flag is 0. It is a pseudo code which shows an example of the setting method of the level information of the sublayer which concerns on this embodiment.
  • (A) shows a setting method when the sublayer level presence / absence flag (sub_layer_level_flag [i]) is 0, and (b) is a pseudo code of another expression of (a). It is a pseudo code which shows an example of the setting method of the profile information of the sublayer which concerns on this embodiment.
  • (A) shows the setting method when the level presence flag (levelPresentFlag) is 1, and (b) and (c) show the setting method when the level presence flag is 0.
  • VPS extended data It is an example of the modification of the syntax table of extended video parameter set VPS (VPS extended data). It is a flowchart for demonstrating the modification of the decoding process of VPS extension data. It is a flowchart for demonstrating the modification of the encoding process of VPS extension data. It is an example of the modification of the syntax table of extended video parameter set VPS (VPS extended data). It is a flowchart for demonstrating the modification of the decoding process of VPS extension data. It is a flowchart for demonstrating the modification of the encoding process of VPS extension data.
  • the hierarchical moving picture decoding apparatus 1 and the hierarchical moving picture encoding apparatus 2 according to an embodiment of the present invention will be described as follows based on FIG. 1 to FIG.
  • a hierarchical video decoding device (also referred to as an image decoding device) 1 according to the present embodiment decodes encoded data that has been hierarchically encoded by a hierarchical video encoding device (also referred to as an image encoding device) 2.
  • Hierarchical coding is a coding scheme that hierarchically encodes moving images from low quality to high quality. Hierarchical coding is standardized in SVC and SHVC, for example. Note that the quality of a moving image here widely means an element that affects the appearance of a subjective and objective moving image. The quality of the moving image includes, for example, “resolution”, “frame rate”, “image quality”, and “pixel representation accuracy”.
  • the quality of the moving image is different, it means that, for example, “resolution” is different, but it is not limited thereto.
  • the quality of moving images is different from each other.
  • the hierarchical coding technique is (1) spatial scalability, (2) temporal scalability, (3) SNR (Signal to Noise Ratio) scalability, and (4) view scalability from the viewpoint of the type of information to be hierarchized. May be classified. Spatial scalability is a technique for hierarchizing resolution and image size. Time scalability is a technique for layering at a frame rate (number of frames per unit time). SNR scalability is a technique for layering in coding noise. Also, view scalability is a technique for hierarchizing at the viewpoint position associated with each image.
  • the hierarchical video encoding device 2 Prior to detailed description of the hierarchical video encoding device 2 and the hierarchical video decoding device 1 according to the present embodiment, first, (1) the hierarchical video encoding device 2 generates and the hierarchical video decoding device 1 performs decoding.
  • the layer structure of the hierarchically encoded data to be performed will be described, and then (2) a specific example of the data structure that can be adopted in each layer will be described.
  • FIG. 1 is a diagram schematically illustrating a case where a moving image is hierarchically encoded / decoded by three layers of a lower layer L3, a middle layer L2, and an upper layer L1. That is, in the example shown in FIGS. 1A and 1B, among the three layers, the upper layer L1 is the highest layer and the lower layer L3 is the lowest layer.
  • a decoded image corresponding to a specific quality that can be decoded from hierarchically encoded data is referred to as a decoded image of a specific hierarchy (or a decoded image corresponding to a specific hierarchy) (for example, in the upper hierarchy L1).
  • Decoded image POUT # A a decoded image of a specific hierarchy (or a decoded image corresponding to a specific hierarchy) (for example, in the upper hierarchy L1).
  • FIG. 1A shows a hierarchical moving image encoding apparatus 2 # A to 2 # C that generates encoded data DATA # A to DATA # C by hierarchically encoding input images PIN # A to PIN # C, respectively. Is shown.
  • FIG. 1B shows a hierarchical moving picture decoding apparatus 1 # A ⁇ that generates decoded pictures POUT # A ⁇ POUT # C by decoding hierarchically encoded encoded data DATA # A ⁇ DATA # C, respectively. 1 # C is shown.
  • the input images PIN # A, PIN # B, and PIN # C that are input on the encoding device side have the same original image but different image quality (resolution, frame rate, image quality, and the like).
  • the image quality decreases in the order of the input images PIN # A, PIN # B, and PIN # C.
  • the hierarchical video encoding device 2 # C of the lower hierarchy L3 encodes the input image PIN # C of the lower hierarchy L3 to generate encoded data DATA # C of the lower hierarchy L3.
  • Basic information necessary for decoding the decoded image POUT # C of the lower layer L3 is included (indicated by “C” in FIG. 1). Since the lower layer L3 is the lowest layer, the encoded data DATA # C of the lower layer L3 is also referred to as basic encoded data.
  • the hierarchical video encoding apparatus 2 # B of the middle hierarchy L2 encodes the input image PIN # B of the middle hierarchy L2 with reference to the encoded data DATA # C of the lower hierarchy, and performs the middle hierarchy L2 Encoded data DATA # B is generated.
  • additional data necessary for decoding the decoded image POUT # B of the intermediate hierarchy is added to the encoded data DATA # B of the intermediate hierarchy L2.
  • Information (indicated by “B” in FIG. 1) is included.
  • the hierarchical video encoding apparatus 2 # A of the upper hierarchy L1 encodes the input image PIN # A of the upper hierarchy L1 with reference to the encoded data DATA # B of the intermediate hierarchy L2 to Encoded data DATA # A is generated.
  • the encoded data DATA # A of the upper layer L1 is used to decode the basic information “C” necessary for decoding the decoded image POUT # C of the lower layer L3 and the decoded image POUT # B of the middle layer L2.
  • additional information indicated by “A” in FIG. 1) necessary for decoding the decoded image POUT # A of the upper layer is included.
  • the encoded data DATA # A of the upper layer L1 includes information related to decoded images of different qualities.
  • the decoding device side will be described with reference to FIG.
  • the decoding devices 1 # A, 1 # B, and 1 # C corresponding to the layers of the upper layer L1, the middle layer L2, and the lower layer L3 are encoded data DATA # A and DATA # B, respectively.
  • And DATA # C are decoded to output decoded images POUT # A, POUT # B, and POUT # C.
  • the hierarchy decoding apparatus 1 # B of the middle hierarchy L2 receives information necessary for decoding the decoded image POUT # B from the hierarchy encoded data DATA # A of the upper hierarchy L1 (that is, the hierarchy encoded data DATA # A decoded image POUT # B may be decoded by extracting “B” and “C”) included in A.
  • the decoded images POUT # A, POUT # B, and POUT # C can be decoded based on information included in the hierarchically encoded data DATA # A of the upper hierarchy L1.
  • the hierarchical encoded data is not limited to the above three-layer hierarchical encoded data, and the hierarchical encoded data may be hierarchically encoded with two layers or may be hierarchically encoded with a number of layers larger than three. Good.
  • Hierarchically encoded data may be configured as described above. For example, in the example described above with reference to FIGS. 1A and 1B, it has been described that “C” and “B” are referred to for decoding the decoded image POUT # B, but the present invention is not limited thereto. It is also possible to configure the hierarchically encoded data so that the decoded image POUT # B can be decoded using only “B”. For example, it is possible to configure a hierarchical video decoding apparatus that receives the hierarchically encoded data composed only of “B” and the decoded image POUT # C for decoding the decoded image POUT # B.
  • Hierarchically encoded data can also be generated so that In that case, the lower layer hierarchical video encoding device generates hierarchical encoded data by quantizing the prediction residual using a larger quantization width than the upper layer hierarchical video encoding device. To do.
  • Upper layer A layer located above a certain layer is referred to as an upper layer.
  • the upper layers of the lower layer L3 are the middle layer L2 and the upper layer L1.
  • the decoded image of the upper layer means a decoded image with higher quality (for example, high resolution, high frame rate, high image quality, etc.).
  • Lower layer A layer located below a certain layer is referred to as a lower layer.
  • the lower layers of the upper layer L1 are the middle layer L2 and the lower layer L3.
  • the decoded image of the lower layer refers to a decoded image with lower quality.
  • Target layer A layer that is the target of decoding or encoding.
  • Reference layer A specific lower layer referred to for decoding a decoded image corresponding to the target layer is referred to as a reference layer.
  • the reference layers of the upper hierarchy L1 are the middle hierarchy L2 and the lower hierarchy L3.
  • the hierarchically encoded data can be configured so that it is not necessary to refer to all of the lower layers in decoding of the specific layer.
  • the hierarchical encoded data can be configured such that the reference layer of the upper hierarchy L1 is either the middle hierarchy L2 or the lower hierarchy L3.
  • Basic layer A layer located at the lowest layer is called a basic layer.
  • the decoded image of the base layer is the lowest quality decoded image that can be decoded from the encoded data, and is referred to as a basic decoded image.
  • the basic decoded image is a decoded image corresponding to the lowest layer.
  • the partially encoded data of the hierarchically encoded data necessary for decoding the basic decoded image is referred to as basic encoded data.
  • the basic information “C” included in the hierarchically encoded data DATA # A of the upper hierarchy L1 is the basic encoded data.
  • Extension layer The upper layer of the base layer is called the extension layer.
  • a layer identifier (also referred to as a layer ID) is for identifying a hierarchy, and corresponds to the hierarchy on a one-to-one basis.
  • the hierarchically encoded data includes a hierarchical identifier used for selecting partial encoded data necessary for decoding a decoded image of a specific hierarchy.
  • a subset of hierarchically encoded data associated with a layer identifier corresponding to a specific layer is also referred to as a layer representation.
  • a layer representation of the layer and / or a layer representation corresponding to a lower layer of the layer is used. That is, in decoding the decoded image of the target layer, layer representation of the target layer and / or layer representation of one or more layers included in a lower layer of the target layer are used.
  • Inter-layer prediction is based on the syntax element value, the value derived from the syntax element value included in the layer expression of the layer (reference layer) different from the layer expression of the target layer, and the decoded image. It is to predict the syntax element value of the target layer, the encoding parameter used for decoding of the target layer, and the like. Inter-layer prediction in which information related to motion prediction is predicted from reference layer information is sometimes referred to as inter-layer motion information prediction. In addition, inter-layer prediction predicted from a lower layer decoded image may be referred to as inter-layer image prediction (or inter-layer texture prediction). Note that the hierarchy used for inter-layer prediction is, for example, a lower layer of the target layer. In addition, performing prediction within a target layer without using a reference layer may be referred to as intra-layer prediction.
  • Temporal identifier (also referred to as temporal ID, temporal identifier, sublayer ID, or sublayer identifier) is an identifier for identifying a layer related to temporal scalability (hereinafter referred to as sublayer).
  • the temporal identifier is for identifying the sublayer, and corresponds to the sublayer on a one-to-one basis.
  • the encoded data includes a temporal identifier used for selecting partial encoded data necessary for decoding a decoded image of a specific sublayer.
  • a sublayer is a layer related to temporal scalability specified by a temporal identifier. In order to distinguish from other scalability such as spatial scalability, SNR scalability, and the like, they are hereinafter referred to as sub-layers (also referred to as temporal layers).
  • temporal scalability is assumed to be realized by sublayers included in base layer encoded data or hierarchically encoded data necessary for decoding a certain layer.
  • a layer set B that is a subset of layer set A is obtained from hierarchically encoded data including a certain layer set A by bit stream extraction processing (also referred to as sub-bit stream extraction).
  • bit stream extraction processing also referred to as sub-bit stream extraction.
  • the bitstream extraction process is determined from a certain bitstream (hierarchically encoded data, encoded data) by a target highest temporal identifier (heighest TemporalId, heighestTid) and a layer ID list representing a layer included in the target layer set.
  • a target highest temporal identifier herein, heighest TemporalId, heighestTid
  • This is a process of removing (discarding) NAL units not included in a set (referred to as a target set) and extracting a bit stream (also referred to as a sub-bitstream) composed of NAL units included in the target set.
  • FIG. 2 shows the configuration of layer set A composed of three layers (L # 0, L # 1, L # 2) and each layer consisting of three sublayers (TID1, TID2, TID3).
  • code L # N indicates a certain layer N
  • each box in FIG. 2 represents a picture
  • the numbers in the boxes represent an example of decoding order.
  • the number N in the picture is denoted as P # N (the same applies to FIG. 3).
  • the arrows between the pictures indicate the dependency direction (reference relationship) between the pictures.
  • An arrow in the same layer indicates a reference picture used for inter prediction.
  • An arrow between layers indicates a reference picture (also referred to as a reference layer picture) used for inter-layer prediction.
  • AU in FIG. 2 represents an access unit
  • #N represents an access unit number
  • AU # N represents the (N ⁇ 1) th access unit if the AU at a certain starting point (for example, random access start point) is AU # 0, and represents the order of AUs included in the bitstream. . That is, in the example of FIG. 2, the access units are stored in the order of AU # 0, AU # 1, AU # 2, AU # 3, AU # 4,.
  • the access unit represents a set of NAL units aggregated according to a specific classification rule.
  • AU # 0 in FIG. 2 can be regarded as a set of VLC NAL including encoded data of pictures P # 1, P # 1, and P # 3. Details of the access unit will be described later.
  • the dotted box represents the discarded picture, and the dotted arrow indicates the dependency direction between the discarded picture and the reference picture. It should be noted that the dependency relationship has already been cut off because the NAL units constituting the sub-layer pictures of layer L # 3 and TID3 have been discarded.
  • SHVC and MV-HEVC introduce the concept of layers and sub-layers in order to realize SNR scalability, spatial scalability, temporal scalability, and the like.
  • a picture highest temporal ID (TID3)
  • TID3 highest temporal ID
  • the encoded data of the frame (1/2) is generated by discarding the encoded data of the pictures (10, 13, 11, 14, 12, 15).
  • the granularity of each scalability can be changed by discarding the encoded data of the layer that is not included in the target set by bitstream extraction. By discarding the encoded data (3, 6, 9, 12, 15 in FIGS. 2 and 3), encoded data with coarser granularity of scalability is generated. By repeating the above processing, it is possible to adjust the granularity of layers and sub-layers step by step.
  • the lower layer and the upper layer may be encoded by different encoding methods.
  • the encoded data of each layer may be supplied to the hierarchical video decoding device 1 via different transmission paths, or may be supplied to the hierarchical video decoding device 1 via the same transmission path. .
  • the base layer when transmitting ultra-high-definition video (moving image, 4K video data) with a base layer and one extended layer in a scalable encoding, the base layer downscales 4K video data, and interlaced video data. It may be encoded by MPEG-2 or H.264 / AVC and transmitted over a television broadcast network, and the enhancement layer may encode 4K video (progressive) with HEVC and transmit over the Internet.
  • FIG. 4 is a diagram showing a hierarchical structure of data in the encoded data # 1.
  • the encoded data # 1 is encoded in units called NAL (Network Abstraction Layer) units.
  • the NAL is a layer provided to abstract communication between a VCL (Video Coding Layer) that is a layer that performs a moving image encoding process and a lower system that transmits and stores encoded data.
  • VCL Video Coding Layer
  • VCL is a layer that performs image encoding processing, and encoding is performed in the VCL.
  • the lower system here is H.264. H.264 / AVC and HEVC file formats and MPEG-2 systems are supported. In the example shown below, the lower system corresponds to the decoding process in the target layer and the reference layer.
  • NAL a bit stream generated by VCL is divided into units called NAL units and transmitted to a destination lower system.
  • FIG. 5A shows a syntax table of a NAL (Network Abstraction Layer) unit.
  • the NAL unit includes encoded data encoded by the VCL and a header (NAL unit header: nal_unit_header ()) for appropriately delivering the encoded data to the destination lower system.
  • NAL unit header is represented, for example, by the syntax shown in FIG.
  • the NAL unit header includes “nal_unit_type” indicating the type of encoded data stored in the NAL unit, “nuh_temporal_id_plus1” indicating the identifier (temporal identifier) of the sublayer to which the stored encoded data belongs, and stored encoding “Nuh_layer_id” (or nuh_reserved_zero_6bits) representing the identifier (layer identifier) of the layer to which the data belongs is described.
  • the NAL unit data includes a parameter set, SEI, slice, and the like described later.
  • FIG. 6 is a diagram showing the relationship between the value of the NAL unit type and the type of the NAL unit.
  • a NAL unit having a NAL unit type of 0 to 15 indicated by SYNA 101 is a non-RAP (random access picture) slice.
  • a NAL unit having a NAL unit type of 16 to 21 indicated by SYNA 102 is a slice of RAP (Random Access Picture).
  • RAP pictures are roughly classified into BLA pictures, IDR pictures, and CRA pictures.
  • BLA pictures are further classified into BLA_W_LP, BLA_W_DLP, and BLA_N_LP.
  • IDR pictures are further classified into IDR_W_DLP and IDR_N_LP.
  • Pictures other than the RAP picture include an LP picture, a TSA picture, an STSA picture, and a TRAIL picture, which will be described later.
  • a set of NAL units aggregated according to a specific classification rule is called an access unit.
  • the access unit is a set of NAL units constituting one picture.
  • the access unit is a set of NAL units that constitute pictures of a plurality of layers at the same time.
  • the encoded data may include a NAL unit called an access unit delimiter.
  • the access unit delimiter is included between a set of NAL units constituting an access unit in the encoded data and a set of NAL units constituting another access unit.
  • FIG. 7 is a diagram showing a structure of encoded data of VPS (Video Parameter Set) according to the embodiment of the present invention.
  • VPS is a parameter set for defining parameters common to a plurality of layers.
  • the parameter set is referred to by using ID (video_parameter_set_id) from encoded data which is compressed data.
  • Video_parameter_set_id is an identifier for identifying each VPS.
  • -Vide_reserved_three_2bits is a syntax for future standard expansion.
  • Vps_max_layers_minus1 is a syntax used to calculate the upper limit value MaxNumLayers of the other scalability-related layers excluding temporal scalability for hierarchically encoded data including at least the base layer.
  • vps_max_num_sub_layers_minus1 0.
  • Vps_temporal_id_nesting_flag is a flag indicating whether or not to make additional restrictions on inter prediction in a picture that refers to the VPS.
  • Vps_extension_offset represents a byte offset value from the head position of the NAL unit including the VPS to the syntax avc_base_flag in the VPS extension data vps_extension ().
  • Profile_tier_level (X, Y) is a syntax (hereinafter also referred to as PTL information) representing profile information and level information related to hierarchically encoded data.
  • the argument X is the value of the profile information presence / absence flag ProfilePresentFlag
  • the argument Y is the value of the upper limit value-1 of the number of sublayers, that is, MaxNumSubLayersMinus1.
  • the argument Y may be the value of MaxNumSubLayers instead of the value MaxNumSubLayersMinus1 of the upper limit value-1 of the number of sublayers.
  • MaxNumSubLayersMinus1 on the PTL information profile_tier_level () is interpreted as “MaxNumSubLayers ⁇ 1”.
  • description will be made using the upper limit value MaxNumSubLayers of the number of sublayers instead of the value MaxNumSubLayersMinus1 of the upper limit value-1 of the sublayer number.
  • the profile / level information profile_tier_level () will be described later. In the profile / level information defined here, the maximum profile and level information necessary for the decoder to decode layer set 0 (base layer) is set.
  • Vps_max_layer_id is a syntax representing the maximum value of the layer IDs (nuh_layer_id) of all NAL units on the CVS.
  • Vps_num_layers_sets_minus1 is a syntax representing “total number of layer sets representing a set of one or more layers ⁇ 1” included in the bitstream.
  • the number of layer sets MaxNumLayersSets is vps_num_layers_sets_minus1 + 1.
  • Vps_extension_flag is a flag indicating whether or not the VPS further includes VPS extension data vps_extension ().
  • FIG. 56 is a diagram showing a configuration of encoded data for VPS extension according to the conventional technique.
  • Avc_base_layer_flag is a flag indicating whether or not the base layer is a bitstream encoded in H.264.
  • Vps_vui_offset is a byte offset value from the head position of the NAL unit including the VPS to the head syntax (bit_rate_rate_flag (not shown in FIG. 56)) in the VPS VUI data vps_vui () included in the VPS extension data vps_extension () Represents.
  • the scalability_mask (not shown in FIG. 56) is a value indicating a scalable type.
  • each bit corresponds to each scalable type.
  • Bit 1 corresponds to spatial scalable
  • bit 2 corresponds to image quality scalable
  • bit 3 corresponds to depth scalable
  • bit 4 corresponds to view scalable. This means that the corresponding scalable type is valid when each bit is 1.
  • a plurality of bits can be 1, for example, when scalability_mask is 12, since bit 3 and bit 4 are 1, depth scalable and view scalable are effective. That is, 3D scalable including multiple views and depths.
  • num_dimensions is 2 when the scalable type is depth, and the number of viewpoints is decoded when it is a view.
  • “Dimention_id” (not shown in FIG. 56) is information indicating the picture type for each scalable type.
  • Direct_dependency_flag [i] [j] (referred to as a layer dependency flag) is a flag indicating whether the layer j is a direct reference layer (dependence layer) of the target layer i. A value of 1 indicates that it is a dependent layer, and a value of 0 indicates that it is not a direct reference layer.
  • Vps_number_layers_sets_minus1 (SYNVPS0C on FIG. 56) is a syntax representing the total number of layer sets representing a set of one or more layers included in the bitstream, and is the same value as vps_num_layers_sets_minus1.
  • Vps_num_profile_teir_level_minus1 (SYNVPS0D in FIG. 56) is a syntax representing “total number of PTL information included in VPS ⁇ 1”.
  • Vps_profile_present_flag [i] (VPS profile presence / absence flag, (SYNVPS0E on FIG. 56)) is a flag indicating the presence / absence of profile information of the i-th PTL information on the PTL information list.
  • VPS profile presence / absence flag indicates that a syntax group indicating profile information exists in the target PTL information profile_tier_level (), and if the VPS profile presence / absence flag is 0, the syntax group indicating profile information is Indicates that it does not exist.
  • Profile_ref_minus1 [i] reference PTL information designation index, (SYNVPS0F on FIG. 56)
  • the profile information of the i-th PTL information on the PTL information list is PTL This is a syntax indicating that it is the same as the profile information of the (profile_ref_minus1 [i] +1) -th PTL information on the information list.
  • profile_tier_level_idx [i] the maximum profile and level information necessary for decoding the layers constituting the layer set i and the sublayers associated with each layer are set.
  • profile / level information profile_tier_level () included in the VPS is decoded by a PTL information decoding unit X1021 described later.
  • Profile_level_tier_idx [i] (PTL information designation index) is a syntax that represents an index for designating PTL information on the PTL information list applied to the layer set i.
  • Direct_dependency_len_minus2 (SYNVPS0I in FIG. 56) is a syntax representing the total number of types of layer dependency types.
  • Direct_dependency_type [i] [j] indicates a reference relationship between the target layer i and the layer j. Specifically, when the layer dependency flag direct_dependency_flag [i] [j] is 1, the layer dependency type direct_dependency_type [i] [j] indicates the layer dependency type of the reference layer j for the target layer i.
  • the layer dependent type can specify sample prediction only, motion prediction only, or both. The relationship between the value of direct_dependency_type [i] [j] and the value of the layer dependency type is shown below.
  • FIG. 10 is a diagram showing a hierarchical structure of data in the encoded data # 1.
  • the encoded data # 1 exemplarily includes a sequence and a plurality of pictures constituting the sequence.
  • (A) to (f) of FIG. 10 respectively show a sequence layer that defines a sequence SEQ, a picture layer that defines a picture PICT, a slice layer that defines a slice S, a slice data layer that defines slice data, and a slice data.
  • sequence layer In the sequence layer, a set of data referred to by the image decoding device 1 for decoding a sequence SEQ to be processed (hereinafter also referred to as a target sequence) is defined.
  • the sequence SEQ includes a video parameter set (Sequence Parameter Set), a picture parameter set PPS (Picture Parameter Set), a picture PICT, and an additional extension.
  • Information SEI Supplemental Enhancement Information
  • # indicates the layer ID.
  • FIG. 10 shows an example in which there is encoded data with # 0 and # 1, that is, layer ID 0 and layer ID 1, but the type of layer and the number of layers are not dependent on this.
  • the video parameter set VPS is a set of encoding parameters common to a plurality of moving images, a plurality of layers included in the moving image, and encoding parameters related to individual layers in a moving image composed of a plurality of layers.
  • a set is defined.
  • the sequence parameter set SPS defines a set of encoding parameters that the image decoding apparatus 1 refers to in order to decode the target sequence. For example, the width and height of the picture are defined.
  • a set of encoding parameters that the image decoding apparatus 1 refers to in order to decode each picture in the target sequence is defined. For example, a reference value (pic_init_qp_minus26) of a quantization width used for picture decoding, a flag (weighted_pred_flag) indicating application of weighted prediction, and a scaling list (quantization matrix) are included.
  • a plurality of PPS may exist. In that case, one of a plurality of PPSs is selected from each picture in the target sequence.
  • Picture layer In the picture layer, a set of data referred to by the image decoding apparatus 1 for decoding a picture PICT to be processed (hereinafter also referred to as a target picture) is defined. As shown in (b) of FIG. 10, the picture PICT includes slices S0 to SNS-1 (NS is the total number of slices included in the picture PICT).
  • slice layer In the slice layer, a set of data referred to by the image decoding device 1 for decoding the slice S to be processed (also referred to as a target slice) is defined. As shown in FIG. 2C, the slice S includes a slice header SH and slice data SDATA.
  • the slice header SH includes an encoding parameter group that is referred to by the image decoding apparatus 1 in order to determine a decoding method of the target slice.
  • Slice type designation information (slice_type) for designating a slice type is an example of an encoding parameter included in the slice header SH.
  • I slice using only intra prediction at the time of encoding (2) P slice using unidirectional prediction or intra prediction at the time of encoding, (3) B-slice using unidirectional prediction, bidirectional prediction, or intra prediction at the time of encoding may be used.
  • the slice header SH may include a reference (pic_parameter_set_id) to the picture parameter set PPS included in the sequence layer.
  • the slice data layer a set of data referred to by the image decoding device 1 for decoding the slice data SDATA to be processed is defined.
  • the slice data SDATA includes a coded tree unit (CTU) as shown in (d) of FIG.
  • a CTU is a block of a fixed size (for example, 64 ⁇ 64) that constitutes a slice, and may be called a maximum coding unit (LCU).
  • the coding tree layer defines a set of data that the image decoding apparatus 1 refers to in order to decode the coding tree block to be processed.
  • the coding tree unit is divided by recursive quadtree division.
  • a tree-structured node obtained by recursive quadtree partitioning is called a coding tree.
  • the intermediate node of the quadtree is a coded quadtree (CQT), and the CTU is defined as including the highest CQT.
  • the CQT includes a split flag (split_flag). When the split_flag is 1, the CQT is divided into four CQTs (including four CQTs).
  • CQT includes a coding unit (CU: Coded Unit) which is a terminal node.
  • CU Coded Unit
  • the coding unit CU is a terminal node of the coding tree layer and is not further divided in this layer.
  • the encoding unit CU is a basic unit of the encoding process.
  • the size of the encoding tree unit CTU is 64 ⁇ 64 pixels
  • the size of the encoding unit is any of 64 ⁇ 64 pixels, 32 ⁇ 32 pixels, 16 ⁇ 16 pixels, and 8 ⁇ 8 pixels. It can take.
  • the encoding unit layer defines a set of data referred to by the image decoding device 1 in order to decode the processing target encoding unit.
  • the encoding unit includes a CU header CUH, a prediction tree, a conversion tree, and a CU header CUF.
  • the CU header CUH it is defined whether the coding unit is a unit using intra prediction or a unit using inter prediction.
  • the encoding unit is the root of a prediction tree (PT) and a transform tree (TT).
  • TT transform tree
  • the CU header CUF is included between the prediction tree and the conversion tree or after the conversion tree.
  • the coding unit is divided into one or a plurality of prediction blocks, and the position and size of each prediction block are defined.
  • the prediction block is one or a plurality of non-overlapping areas constituting the coding unit.
  • the prediction tree includes one or a plurality of prediction blocks obtained by the above division.
  • Prediction processing is performed for each prediction block.
  • a prediction block that is a unit of prediction is also referred to as a prediction unit (PU).
  • Intra prediction is prediction within the same picture
  • inter prediction refers to prediction processing performed between different pictures (for example, between display times and between layer images).
  • the division method is encoded by part_mode of encoded data, and 2N ⁇ 2N (the same size as the encoding unit), 2N ⁇ N, 2N ⁇ nU, 2N ⁇ nD, N ⁇ 2N, nL X2N, nRx2N, and NxN.
  • 2N ⁇ nU indicates that a 2N ⁇ 2N encoding unit is divided into two regions of 2N ⁇ 0.5N and 2N ⁇ 1.5N in order from the top.
  • 2N ⁇ nD indicates that a 2N ⁇ 2N encoding unit is divided into two regions of 2N ⁇ 1.5N and 2N ⁇ 0.5N in order from the top.
  • nL ⁇ 2N indicates that a 2N ⁇ 2N encoding unit is divided into two regions of 0.5N ⁇ 2N and 1.5N ⁇ 2N in order from the left.
  • nR ⁇ 2N indicates that a 2N ⁇ 2N encoding unit is divided into two regions of 1.5N ⁇ 2N and 0.5N ⁇ 1.5N in order from the left. Since the number of divisions is one of 1, 2, and 4, PUs included in the CU are 1 to 4. These PUs are expressed as PU0, PU1, PU2, and PU3 in this order.
  • the encoding unit is divided into one or a plurality of transform blocks, and the position and size of each transform block are defined.
  • the transform block is one or a plurality of non-overlapping areas constituting the encoding unit.
  • the conversion tree includes one or a plurality of conversion blocks obtained by the above division.
  • the division in the transformation tree includes the one in which an area having the same size as that of the encoding unit is assigned as the transformation block, and the one in the recursive quadtree division like the above-described division in the tree block.
  • transform processing is performed for each conversion block.
  • the transform block which is a unit of transform is also referred to as a transform unit (TU).
  • the prediction image of the prediction unit is derived by a prediction parameter associated with the prediction unit.
  • the prediction parameters include a prediction parameter for intra prediction or a prediction parameter for inter prediction.
  • prediction parameters for inter prediction inter prediction (inter prediction parameters) will be described.
  • the inter prediction parameter includes prediction list use flags predFlagL0 and predFlagL1, reference picture indexes refIdxL0 and refIdxL1, and vectors mvL0 and mvL1.
  • the prediction list use flags predFlagL0 and predFlagL1 are flags indicating whether or not reference picture lists called L0 reference list and L1 reference list are used, respectively, and a reference picture list corresponding to a value of 1 is used.
  • the prediction list use flag information can also be expressed by an inter prediction identifier inter_pred_idc described later.
  • inter_pred_idc an inter prediction identifier
  • Syntax elements for deriving inter prediction parameters included in the encoded data include, for example, a partition mode part_mode, a merge flag merge_flag, a merge index merge_idx, an inter prediction identifier inter_pred_idc, a reference picture index refIdxLX, a prediction vector index mvp_LX_idx, and a difference There is a vector mvdLX.
  • FIG. 11 is a conceptual diagram illustrating an example of a reference picture list.
  • the reference picture list 601 five rectangles arranged in a line on the left and right indicate reference pictures, respectively.
  • the codes P1, P2, Q0, P3, and P4 shown in order from the left end to the right are codes indicating respective reference pictures.
  • P such as P1 indicates the viewpoint P
  • Q of Q0 indicates a layer Q different from the layer P.
  • the subscripts P and Q indicate the picture order number POC.
  • a downward arrow directly below refIdxLX indicates that the reference picture index refIdxLX is an index that refers to the reference picture Q0 in the decoded picture buffer 12.
  • FIG. 12 is a conceptual diagram illustrating an example of a reference picture.
  • the horizontal axis indicates the display time
  • the vertical axis indicates the number of layers.
  • the illustrated rectangles in 2 rows and 3 columns (6 in total) indicate pictures.
  • the rectangle in the second column from the left in the lower row indicates a picture to be decoded (target picture), and the remaining five rectangles indicate reference pictures.
  • a reference picture Q2 indicated by a downward arrow from the target picture is a picture having the same display time as that of the target picture and having a different layer.
  • the reference picture Q2 is used.
  • a reference picture P1 indicated by a left-pointing arrow from the target picture is the same layer as the target picture and is a past picture.
  • a reference picture P3 indicated by a rightward arrow from the target picture is the same layer as the target picture and is a future picture.
  • the reference picture P1 or P3 is used.
  • Inter prediction identifier and prediction list usage flag The relationship between the inter prediction identifier and the prediction list use flags predFlagL0 and predFlagL1 can be mutually converted as follows. Therefore, as an inter prediction parameter, a prediction list use flag may be used, or an inter prediction identifier may be used. In addition, hereinafter, the determination using the prediction list use flag may be replaced with the inter prediction identifier. Conversely, the determination using the inter prediction identifier can be performed by replacing the prediction list use flag.
  • >> is a right shift
  • ⁇ is a left shift.
  • the prediction parameter decoding (encoding) method includes a merge prediction (merge) mode and an AMVP (Adaptive Motion Vector Prediction) mode.
  • the merge flag merge_flag is a flag for identifying these.
  • the prediction parameter of the target PU is derived using the prediction parameter of the already processed block.
  • the merge prediction mode is a mode in which the prediction parameter already used is used as it is without including the prediction list use flag predFlagLX (inter prediction identifier inter_pred_idc), the reference picture index refIdxLX, and the vector mvLX in the encoded data.
  • the prediction identifier inter_pred_idc, the reference picture index refIdxLX, and the vector mvLX are included in the encoded data.
  • the vector mvLX is encoded as a prediction vector index mvp_LX_idx indicating a prediction vector and a difference vector (mvdLX).
  • the inter prediction identifier inter_pred_idc is data indicating the type and number of reference pictures, and takes one of the values Pred_L0, Pred_L1, and Pred_Bi.
  • Pred_L0 and Pred_L1 indicate that reference pictures stored in a reference picture list called an L0 reference list and an L1 reference list are used, respectively, and that both use one reference picture (single prediction).
  • Prediction using the L0 reference list and the L1 reference list are referred to as L0 prediction and L1 prediction, respectively.
  • Pred_Bi indicates that two reference pictures are used (bi-prediction), and indicates that two reference pictures stored in the L0 reference list and the L1 reference list are used.
  • the prediction vector index mvp_LX_idx is an index indicating a prediction vector
  • the reference picture index refIdxLX is an index indicating a reference picture stored in the reference picture list.
  • LX is a description method used when L0 prediction and L1 prediction are not distinguished.
  • refIdxL0 is a reference picture index used for L0 prediction
  • refIdxL1 is a reference picture index used for L1 prediction
  • refIdx (refIdxLX) is a notation used when refIdxL0 and refIdxL1 are not distinguished.
  • the merge index merge_idx is an index indicating which one of the prediction parameter candidates (merge candidates) derived from the processed block is used as the prediction parameter of the decoding target block.
  • the vector mvLX includes a motion vector and a displacement vector (disparity vector).
  • a motion vector is a positional shift between the position of a block in a picture at a certain display time of a layer and the position of the corresponding block in a picture of the same layer at a different display time (for example, an adjacent discrete time). It is a vector which shows.
  • the displacement vector is a vector indicating a positional shift between the position of a block in a picture at a certain display time of a certain layer and the position of a corresponding block in a picture of a different layer at the same display time.
  • a displacement vector corresponding to pictures of different viewpoints is called a disparity vector.
  • a motion vector and a displacement vector are not distinguished, they are simply referred to as a vector mvLX.
  • a prediction vector and a difference vector related to the vector mvLX are referred to as a prediction vector mvpLX and a difference vector mvdLX, respectively. Whether the vector mvLX and the difference vector mvdLX are motion vectors or displacement vectors is determined using a reference picture index refIdxLX associated with the vectors.
  • FIG. 44 is a diagram illustrating a schematic configuration of the image decoding device
  • FIG. 13 is a diagram illustrating a configuration of the image decoding device 1 according to the present embodiment.
  • the image decoding apparatus 1 includes a header decoding unit 10, a picture decoding unit 11, a decoded picture buffer 12, and a reference picture management unit 13.
  • the image decoding apparatus 1 can perform a random access decoding process to be described later that starts decoding from a picture at a specific time in an image including a plurality of layers.
  • the header decoding unit 10 decodes information used for decoding from the encoded data # 1 supplied from the image encoding device 2 in units of NAL units, sequences, pictures, or slices. The decoded information is output to the picture decoding unit 11 and the reference picture management unit 13.
  • the header decoding unit 10 parses VPS, SPS, and PPS included in the encoded data # 1 based on a predetermined syntax definition, and decodes information used for decoding in sequence units. For example, information regarding the number of layers is decoded from the VPS.
  • the representation information exists in the VPS
  • information related to the image size of the decoded image is decoded from the VPS
  • the representation information exists in the SPS
  • information related to the image size of the decoded image Is decoded from the SPS.
  • the header decoding unit 10 parses the slice header included in the encoded data # 1 based on a predetermined syntax definition, and decodes information used for decoding in units of slices. For example, the slice type is decoded from the slice header.
  • the header decoding unit 10 includes a NAL unit header decoding unit 101, a VPS decoding unit 102, an SPS decoding unit 103, a PPS decoding unit 104, a slice header decoding unit 105, and a parameter memory (not shown). Etc.).
  • FIG. 15 is a functional block diagram showing a schematic configuration of the NAL unit header decoding unit 101.
  • the NAL unit header decoding unit 101 includes a layer ID decoding unit 1011 and a NAL unit type decoding unit 1012.
  • the layer ID decoding unit 1011 decodes the layer ID from the encoded data.
  • the NAL unit type decoding unit 1012 decodes the NAL unit type from the encoded data.
  • the layer ID is, for example, 6-bit information from 0 to 63. When the layer ID is 0, it indicates the base layer.
  • the NAL unit type is 6-bit information from 0 to 63, for example, and indicates the type of data included in the NAL unit.
  • parameter types such as VPS, SPS, and PPS, RPS pictures such as IDR pictures, CRA pictures, and LBA pictures, non-RPS pictures such as LP pictures, and SEI are identified from the NAL unit type. Is done.
  • the VPS decoding unit 102 parses the VPS included in the encoded data # 1 based on a defined syntax definition and decodes information used in units of layers. Details of the VPS decoding unit 102 will be described later.
  • the SPS decoding unit 103 parses information used in sequence units by parsing the SPS included in the encoded data # 1 based on a prescribed syntax definition.
  • the PPS decoding unit 104 parses the PPS included in the encoded data # 1 based on a prescribed syntax definition, and decodes information used in units of pictures.
  • the slice header decoding unit 105 parses the slice header included in the encoded data # 1 based on a prescribed syntax definition, and decodes information used for decoding in units of slices.
  • VPS decoding unit 102 according to the first embodiment of the present invention will be described with reference to FIGS. 16 to 22.
  • FIG. 16 is a functional block diagram showing a schematic configuration of the VPS decoding unit 102. As shown in FIG. 16, the VPS decoding unit 102 further includes a profile level information decoding unit (PTL information decoding unit) 1021, a reference PTL designation information decoding unit 1022, and a profile presence / absence flag decoding unit 1023.
  • PTL information decoding unit profile level information decoding unit
  • Step SA101 The VPS decoding unit 102 decodes the syntax group SYNVPS01 in FIG.
  • Step SA102 The PTL information decoding unit 1021 included in the VPS decoding unit 102 decodes the PTL information of the layer set 0 shown in SYNVPS02 on FIG.
  • the decrypted PTL information is supplied to and stored in the parameter memory.
  • Step SA103 The VPS decoding unit 102 decodes the layer IDs constituting each layer set from the syntax group SYNVPS03 in FIG.
  • Step SA104 The VPS decoding unit 102 decodes the VPS extension flag vps_extension_flag (SYNVPS04 in FIG. 7) in FIG.
  • Step SA105 If the VPS extension flag is 1 (YES in Step SA105), it is determined that the VPS extension data is on the VPS, and the process proceeds to Step SA106. If the VPS extension flag is 0 (No in step SA105), it is determined that the VPS extension data is not on the VPS, and the process proceeds to step SA109.
  • Step SA106 Decode byte-aligned data (vps_extension_aligment_bit_equal_to_one) (syntax group SYNVPS05 in FIG. 7) inserted from the next bit of the VPS extension flag to immediately before avc_base_flag included in the VPS extension data.
  • Step SA107 The VPS extension data vps_extension () is decrypted. A detailed decoding process of VPS extension data will be described later.
  • Step SA108 The VPS decoding unit 102 decodes the VPS extension 2 flag vps_extension2_flag shown in SYNVPS07 on FIG. If the VPS extension 2 flag is 1, VPS extension 2 data is further decoded.
  • Step SA109 The VPS decoding unit 102 decodes RBSP_traling_bits () shown in SYNVPS08 on FIG. RBSP_trailing_bits () is byte aligned data. The byte alignment data is also called stuffing data.
  • VPS extension data ⁇ Detailed decoding process of VPS extension data> The decoding process of VPS extension data will be described with reference to FIG.
  • Step SB101 The VPS decoding unit 102 decodes the syntax group SYNVPS0A in FIG.
  • Step SB102 The VPS decoding unit 102 decodes a dependency flag related to a dependency layer (also referred to as a direct reference layer or a dependency layer) referenced by each layer from the syntax group SYNVPS0B in FIG.
  • a dependency layer also referred to as a direct reference layer or a dependency layer
  • Step SB103 The VPS decoding unit 102 decodes the number of layer sets (syntax SYNVPS0C in FIG. 8).
  • Step SB104 The VPS decoding unit 102 decodes the total number of PTL information (SYNVPS0D in FIG. 8) included in the VPS.
  • Step SB105 This is the loop start point of the decoding process of the PTL information included on the VPS.
  • the profile presence / absence flag decoding unit 1023 included in the VPS decoding unit 102 includes, on the i-th PTL information profile_tier_level (), a profile presence / absence flag indicating the presence / absence of a syntax group indicating profile information (syntax on FIG. 8). Decodes tax SYNVPS0E).
  • Step SB107 If the profile presence / absence flag is 0, it is determined that there is no syntax group indicating profile information on the i-th PTL information, and the process proceeds to Step SB108. If the profile presence / absence flag is 1, it is determined that there is a syntax group indicating profile information on the i-th PTL information, and the process proceeds to step SB109.
  • the reference PTL designation information decoding unit 1022 included in the VPS decoding unit 102 refers to the profile information of the i-th PTL information from which PTL information on the PTL information list.
  • the reference PTL information designation index reference profile level information relative index, also referred to as reference PTL designation information
  • profile_ref_delta_index_minus1 [i] reference profile_ref_delta_index_minus1 [i]
  • the reference PTL information designation index “profile_ref_delta_index_minus1 [i]” represents a relative index between the i-th PTL information and the reference destination PTL information.
  • the reference PTL designation index “profile_ref_delta_index_minus1 [i]” represents the relative index, for example, as shown in FIG. 19, by using Golomb code, so that the bit length necessary to express the reference PTL designation index is larger than the conventional one. Can be reduced.
  • FIG. 19A shows a correspondence table between Golomb codes and syntax values
  • FIG. 19B shows correspondences between values that can be expressed by the bit lengths of Golomb codes composed of “prefix” and “suffix”. Represents.
  • the profile / level information decoding unit refers to the semantics of the i-th reference PTL information designation index in the profile / level information
  • the i-th reference PTL information designation index refers to the i-th profile / level information. It is treated as specifying the relative position between the profile / level information.
  • the value of the reference PTL designation index “profile_ref_delta_minus1 [i]” is 0, that is, when referring to the (i ⁇ 1) th PTL information immediately before the i-th PTL information, the Golomb code shown in FIG. 19 is used.
  • the bit length required to express the reference PTL designation index is 1 bit.
  • the amount of codes can be reduced compared to the case where the reference PTL information designation index is expressed by a fixed length.
  • the first PTL information (0th) on the PTL information list can be referred to, it is possible to eliminate the disadvantage that the reference PTL information designation index does not function when the target PTL information is the first.
  • the profile presence / absence flag is always set to 1, and the first
  • the PTL information profile information may be determined in advance between the decoder and the encoder so as to be included in the encoded data (also referred to as bitstream restriction). Thereby, when the target PTL information is the first, the defect that the reference PTL information designation index does not function can be solved similarly.
  • Step SB109 The PTL information decoding unit 1021 included in the VPS decoding unit 102 receives the profile presence flag, the reference PTL designation index, and the number of sublayers, and decodes the profile and level information of the i-th PTL information. Details of the PTL information decoding unit 1021 will be described later.
  • Step SB110 This is the loop end of the decoding process of the PTL information included on the VPS.
  • Step SB111 The VPS decoding unit 102 decodes a PTL information designation index (profile_level_tier_idx [i] on the syntax group SYNVPS0H in FIG. 8) that designates PTL information to be applied to each output layer set.
  • a PTL information designation index profile_level_tier_idx [i] on the syntax group SYNVPS0H in FIG. 8 that designates PTL information to be applied to each output layer set.
  • Step SB112 The VPS decoding unit 102 decodes the dependent layer type of each layer from the syntax group SYNVPS0I in FIG.
  • “direct_dep_type_len_minus2” represents the bit length (direct_dep_type_len_minus2 + 2) of the dependency layer type (direct_dependency_type [i] [j]), and in the syntax SYNVPS0I in FIG.
  • the layer type (direct_dependency_tipe [i] [j]) represents the type of dependency type of each layer and subordinate layer.
  • Step SB111 The VPS decoding unit 102 decodes the other syntax group SYNVPS0J in FIG.
  • FIG. 20 is a functional block diagram illustrating the configuration of the PTL information decoding unit 1021.
  • the PTL information (profile / level information) decoding unit 1021 includes a profile information decoding unit 1021a, a level information decoding unit 1021b, a sublayer profile presence / absence flag decoding unit 1021c, a sublayer level presence / absence flag decoding unit 1021d, and byte alignment.
  • a data decoding unit 1021e and a reference profile level selection unit 1021f are provided.
  • the profile information decoding unit 1021a Based on the profile presence / absence flag profilePresentFlag, the profile information decoding unit 1021a decodes and outputs profile information of the decoding target PTL information (also called profile information of the highest sublayer or general profile information) from the encoded data DATA # T. Specifically, when the profile presence flag profilePresentFlag is 1, the profile information of the decoding target PTL information is decoded from the encoded data DATA # T. When the profile presence flag profilePresentFlag is 0, it is determined that the profile information of the decoding target PTL information is equal to the profile information of the PTL information specified by the reference PTL specification information, and the decoded PTL information specified by the reference PTL specification information is determined.
  • the profile information is always signaled on the encoding side.
  • the profile information decoding unit 1021a based on the profile presence / absence flag profilePresentFlag, the number of sublayers MaxNumSubLayers, the reference PTL designation information, and the sublayer profile presence / absence flag sub_layer_profile_present_flag [i] supplied from the sublayer profile presence / absence flag decoding unit 1021c, From the encoded data DATA # T, sublayer profile information of each sublayer of the decoding target PTL information excluding the highest order sublayer is decoded and output.
  • the profile information decoding unit 1021a decodes the sublayer profile by the following operation.
  • the general profile is set as the profile information of the sublayer i. Otherwise, the profile of the sublayer (i + 1) of the decoding target PTL information Information is set as sublayer i profile information.
  • the setting rule of the profile information of the sublayer is represented by pseudo code as follows (see FIG. 62 (FIG_INFER_RULE) (a)).
  • the i-th sub-layer profile information is set to be equal to the general level information of the current profile_tier_level (); ⁇ else ⁇ // i ⁇ MaxNumSubLayers-1
  • the i-th sub-layer profile information is set to be equal to the (i + 1) -th sub-layer profile information of the current profile_tier_level (); ⁇ ⁇ (Decoding of sublayer profile when profile presence flag is 0)
  • the profile information decoding unit 1021a decodes the sublayer profile by the following operation.
  • the profile information of the sublayer corresponding to the decoded PTL information specified by the reference PTL specification information is set as the sublayer i profile information in the sublayer profile information of sublayer i.
  • the setting rule of the sub-layer profile information can be expressed in pseudo code as follows (see FIG. 62 (FIG_INFER_RULE) (b)).
  • Level information decoding unit 1021b decodes and outputs level information of decoding target PTL information (also called level information of the highest order sublayer or general-purpose level information) from the encoded data DATA # T. Further, the level information decoding unit 1021b determines the highest order from the encoded data DATA # T based on the sublayer number MaxNumSubLayers and the sublayer level presence / absence flag sub_layer_level_present_flag [i] of each sublayer supplied from the sublayer level presence / absence flag decoding unit 1021d. The sublayer level information of each sublayer of the decoding target PTL information excluding the sublayer is decoded and output.
  • Sublayer i other than is set with sublayer level information of the upper sublayer (i + 1).
  • the sub-layer level information setting rule is expressed in pseudo code as follows (see FIG. 63 (FIG_INFER_RULE) (a)).
  • sub_layer_level_idc sub_layer_level_idc [i + 1]; ⁇ ⁇ [Sublayer profile presence / absence flag decoding unit 1021c]
  • the sublayer profile presence / absence flag decoding unit 1021c decodes the sublayer profile presence / absence flag of each sublayer of the decoding target PTL information from the encoded data DATA # T based on the number of sublayers MaxNumSubLayers, and outputs it to the profile information decoding unit 1021a and the outside .
  • the sublayer level presence / absence flag decoding unit 1021d decodes the sublayer level presence / absence flag of each sublayer of the decoding target PTL information from the encoded data DATA # T based on the number of sublayers MaxNumSubLayers, and outputs it to the level information decoding unit 1021b and the outside .
  • the byte-aligned data decoding unit 1021e encodes byte-aligned data (reserved_zero_2bits [i]) (syntax SYNTPTL04 in FIG. 9) in units of 2 bits for a number of bits determined based on the number of sublayers (MaxNumSbuLayersMinus1, or MaxNumSubLayers-1). Read (decode) from data.
  • the number of bits to be read (decoded) as byte-aligned data is “(8 ⁇ MaxNumSubLayersMinus1) * 2 bits” as is apparent from the syntax SYNVPSPTL04 in FIG.
  • the reference profile level selection unit 1021f reads decoded PTL information designated by reference PTL designation information from a parameter memory (not shown).
  • FIG. 21 is a flowchart showing a decoding process of the PTL information profile_tier_level ().
  • the operation of the profile / level information decoding unit 1021 will be described.
  • Step SC101 The profile information decoding unit 1021a determines whether the profile presence flag profilePresentFlag is 1. If the profile presence / absence flag profilePresentFlag is 1 (Yes in step SC101), the process proceeds to step SC102, and otherwise (No in step SC101), the process proceeds to step SC103.
  • the profile information decoding unit 1021a uses, for example, the syntax group SYNPTL01 in FIG. ⁇ Profile space general_profile_space ⁇ Tier flag general_tier_flag -Profile identifier general_profile_idc -Profile compatibility flag general_profile_compatibility_flag [i] ... Omitted... Profile reservation syntax general_reserved_zero_44bits Are decoded and output as profile information of the decoding target PTL information.
  • the profile information decoding unit 1021a determines that the profile information of the decoding target PTL information is equal to the profile information of the decoded PTL information specified by the reference PTL specification information, and sets the decoded PTL information specified by the reference PTL specification information. It is read from a parameter memory (not shown), and the profile information is set and output as profile information of decoding target PTL information.
  • Step SC104 The level information decoding unit 1021 starts from the encoded data DATA # T with the following syntax and level identifier general_level_idc Is decoded and output as level information of the decoding target PTL information.
  • Step SC105 This is a start of a loop related to decoding of a sublayer profile presence flag and a sublayer level presence flag of a sublayer.
  • the variable i is initialized to zero.
  • the processing in the loop is executed when the variable i is less than the number of sublayers ⁇ 1 and “MaxNumSubLayers ⁇ 1”.
  • the variable i is incremented by “1” every time the processing in the loop is executed once. That is, in step SC105 to step SC107, the sublayer profile presence / absence flag and sublayer level presence / absence flag of the sublayer excluding the highest sublayer are decoded.
  • Step SC106 The sublayer profile presence / absence flag decoding unit 1021c decodes and outputs the sublayer profile presence / absence flag sub_layer_profile_present_flag [i] related to the sublayer specified by the variable i from the encoded data DATA # T.
  • the sublayer level presence / absence flag decoding unit 1021d decodes and outputs a sublayer level presence / absence flag sub_layer_level_present_flag [i] related to the sublayer specified by the variable i from the encoded data DATA # T.
  • Step SC107 This is the end of a loop related to decoding of a sublayer profile presence flag of a sublayer and a sublayer level presence flag.
  • Step SC108 The byte-aligned data decoding unit 1021e encodes byte-aligned data (reserved_zero_2bits [i]) (syntax SYNTPTL04 in FIG. 9) in units of 2 bits for a number of bits determined based on the number of sublayers (MaxNumSbuLayersMinus1, or MaxNumSubLayers-1). Read (decode) from data.
  • the code amount of the sublayer profile presence flag and sublayer level presence flag decoded for each sublayer is 1 bit each, for a total of 2 bits, and the number of sublayers is MaxNumSubLayers.
  • the total amount of codes decoded in SC105 to step SC107 is 2 * (MaxNumSubLayer ⁇ 1). Therefore, the number of bits to be read (decoded) as byte-aligned data is “(8 ⁇ NumMaxNumSubLayersMinus1) * 2 bits”.
  • Step SC109 This is a starting point of a loop related to decoding of sublayer profile information of a sublayer and sublayer level information.
  • the variable i is initialized to zero.
  • the process in the loop is executed when the variable i is less than the number of sublayers ⁇ 1 and “MaxNumSubLayers ⁇ 1”, and the variable i is incremented by “1” each time the process in the loop is executed once.
  • Step SC110 The profile information decoding unit 1021a determines whether the sublayer profile presence flag sub_layer_profile_present_flag [i] of the sublayer specified by the variable i is 1. If the sublayer profile presence / absence flag is 1 (Yes in step SC110), the process proceeds to step SC111. Otherwise (No in step SC110), the process proceeds to step SC112.
  • the profile information decoding unit 1021a uses, for example, the syntax group SYNPTL05 in FIG. 9 as sublayer profile information of the sublayer specified by the variable i from the encoded data DATA # T.
  • the profile information decoding unit 1021a sets predetermined profile information in the sublayer profile information of sublayer i. For example, as shown in FIG. 62A, when the profile presence / absence flag profilePresentFlag is 1, the profile information of the sublayer (i + 1) of the decoding target PTL information is set and output as the profile information of the sublayer i. As shown in FIG. 62B, when the profile presence / absence flag profilePresentFlag is 0, the profile information of the sublayer corresponding to the decoded PTL information specified by the reference PTL specification information is set and output as the profile information of the sublayer i.
  • Step SC113 The level information decoding unit 1021b determines whether the sublayer level presence / absence flag sub_layer_level_present_flag [i] of the sublayer specified by the variable i is 1. If the sublayer level presence / absence flag is 1 (Yes in Step SC113), the process proceeds to Step SCA114, and otherwise (No in Step SC113), the process proceeds to Step SC115.
  • Step SC114 The level information decoding unit 1021b uses the encoded data DATA # T as sublayer level information of the sublayer specified by the variable i. ⁇ Sublayer level identifier sub_layer_level_idc [i] Is decoded and output.
  • the level information decoding unit 1021b sets predetermined level information in the sublayer level information of sublayer i. For example, as shown in FIG. 63, the level information of the sublayer (i + 1) of the decoding target PTL information is set and output as the level information of the sublayer i.
  • Step SC116 This is the end of a loop related to decoding of sublayer profile information of the sublayer and sublayer level information.
  • the operation of the profile / level information decoding unit 1011 according to the first embodiment has been described above. However, the operation is not limited to the above steps, and the steps may be changed within a feasible range.
  • the first 4 bits (each syntax is 1 bit) of the extension syntax “general_reserved_zero_44bits” are assigned the extension syntax for Range Extension as shown below, and the remaining 40-bit extension syntax is “ It may be changed to “general_reserved_40btis”.
  • General_max_12bit_constraint_flag General_max_10bit_constraint_flag
  • General_max_422chroma_constraint_flag ⁇
  • maxNumSubLayersMinus1 the first 4 bits (each syntax is 1 bit) are extended for Range Extension as follows: A syntax may be assigned and the remaining 40-bit extension syntax may be changed to “sub_layer_reserved_zero_40bits [i]”. ⁇ Sub_max_12bit_constraint_flag [i] ⁇ Sub_max_10bit_constraint_flag [i] ⁇ Sub_max_422chroma_constraint_flag [i] ⁇ Sub_max_420chroma_constraint_flag [i] (Modification of Example 1) A modification of the VPS decoding unit 102 will be described with reference to FIG. Except for the reference PTL information designation index (syntax SYNVPS0Fb in FIG. 22), the operation of the VPS decoding unit 102 is the same as that of the first embodiment, and thus the description thereof is omitted.
  • the reference PTL information designation index is decoded by Golomb code with the position of the target PTL information on the PTL information list and the relative index (profile_ref_delta_index_minus1 [i]) of the reference PTL information.
  • the present invention is not limited to this. .
  • the profile information of the PTL information in the “profile_ref [i]” th on the PTL information list may be referred to instead of the relative index.
  • the reference PTL information designation index “profile_ref [i]” is subjected to variable length decoding with a bit length V determined based on the index i indicating the position on the list of the target PTL information.
  • the bit length V is determined by ceil (log2 (i)).
  • the amount of codes can be reduced compared to the case where the reference PTL information designation index is expressed by a fixed length. Also, since the first PLT information (0th) on the PTL information list can be referred to, it is possible to eliminate the drawback that the reference PTL information designation index does not function when the target PTL information is the first.
  • the profile of the first profile / level information and the tier information can be estimated based on the 0th profile / level information.
  • the reference PTL information designation index is changed to the reference profile.
  • the profile presence flag is always set to 1, and the first The PTL information profile information may be determined in advance between the decoder and the encoder so as to be included in the encoded data (also referred to as bitstream restriction). Thereby, when the target PTL information is the first, the defect that the reference PTL information designation index does not function can be solved similarly.
  • VPS Decoding Unit 102 ⁇ Variation 2 of VPS Decoding Unit 102 >> Next, a second modification of the VPS decoding unit 102 will be described with reference to FIGS.
  • FIG. 23 is a modification of the syntax table of the extended video parameter set VPS.
  • FIG. 24 is a flowchart for explaining a decoding process of VPS extension data.
  • FIG. 25 is a functional block diagram showing a modified example of the schematic configuration of the VPS decoding unit.
  • FIG. 26 is a flowchart showing a modification of the process flow in the PTL information decoding unit.
  • FIG. 27 is a block diagram showing a modified example of details of the PTL information decoding unit.
  • the syntax table of the extended video parameter set VPS according to Modification 2 will be described with reference to FIG.
  • the difference between the syntax table of the extended video parameter set VPS shown in FIG. 23 and FIG. 8 is that, in FIG. 23, the reference PTL information specification index (profile_ref_delta_index_minus1 [i]) shown in the syntax SYNVPS0Fa on FIG.
  • the function of the PTL designation information designation index is shared by the profile presence / absence flag (vps_profile_present_flag [i]) shown in the syntax SYNVPS0E in FIG. That is, when the value of the profile presence flag (vps_profile_present_flag [i]) is 1, the profile information of the i-th PTL information is decoded from the encoded data.
  • the profile information of the i-th PTL information includes the profile information of the (i ⁇ 1) -th decoded PTL information decoded immediately before the i-th PTL information. Is set (estimated).
  • the VPS decoding unit 102 ′ illustrated in FIG. 25 does not include the reference PTL information decoding unit 1022 included in the VPS decoding unit 102, and the function of the PTL information decoding unit 1021 ′ is partially different from the PTL information decoding unit 1021.
  • the functions of the profile information decoding unit 1021a ′ and the reference profile level information selecting unit 1021f ′ included in the PTL information decoding unit 1021 ′ shown in FIG. 27 are partially different.
  • Other constituent elements included in the PTL information decoding unit 1021 ′ Since it is the same as the component of the same code
  • the portions having different functions in the profile information decoding unit 1021a 'and the reference profile level information selecting unit 1021f' will be described.
  • the profile information decoding unit 1021a ′ decodes and outputs the profile information of the decoding target PTL information (also called profile information of the highest order sublayer or general profile information) from the encoded data DATA # T. To do. Specifically, when the profile presence flag profilePresentFlag is 1, the profile information of the decoding target PTL information is decoded from the encoded data DATA # T. When the profile presence / absence flag profilePresentFlag is 0, the profile information of the decoding target PTL information is equal to the profile information of the decoded PTL information ((i-1) th PTL information) decoded immediately before the decoding target PTL information. (I-1) -th decoded PTL information is read from a parameter memory (not shown), and the profile information is output as profile information of the decoding target PTL information.
  • the profile presence flag profilePresentFlag is 1
  • the profile information of the decoding target PTL information is decoded from the encoded data DATA # T.
  • the profile information decoding unit 1021a ′ encodes the encoded data DATA based on the profile presence / absence flag profilePresentFlag, the number of sublayers MaxNumSubLayers, and the sublayer profile presence / absence flag sub_layer_profile_present_flag [i] supplied from the sublayer profile presence / absence flag decoding unit 1021c. From #T, sublayer profile information of each sublayer of the decoding target PTL information excluding the highest order sublayer is decoded and output. Note that the decoding process of the profile information of each sublayer when the profile presence / absence flag is 1 is the same as that of the profile information decoding unit 1021a, and thus description thereof is omitted.
  • the profile information decoding unit 1021a ′ includes the profile information of the decrypted PTL information ((i ⁇ 1) th PTL information) one before the decryption target PTL information on the PTL information list.
  • the decrypted PTL information is read from a parameter memory (not shown), and the profile information is set and output as profile information of the decoding target PTL information.
  • the operation of the profile / level information decoding unit 1021 ′ according to the modification 2 has been described above. However, the operation is not limited to the above step, and the step may be changed within a feasible range.
  • the reference PTL information specification index (profile_ref_delta_index_minus1 [i]) shown in the syntax SYNVPS0Fa of FIG. 23 is deleted, and the reference PTL specification information specification index Is shared by the profile presence / absence flag (vps_profile_present_flag [i]) shown in the syntax SYNVPS0E in FIG. That is, when the value of the profile presence flag (vps_profile_present_flag [i]) is 1, the profile information of the i-th PTL information is decoded from the encoded data.
  • the profile information of the i-th PTL information includes the profile information of the (i ⁇ 1) -th decoded PTL information decoded immediately before the i-th PTL information. Is set (estimated).
  • the i-th PTL information can increase the probability of referring to the immediately preceding PTL information.
  • FIG. 28 shows a modification of the syntax table of the video parameter set VPS.
  • FIG. 29 is a modification of the syntax table of the extended video parameter set VPS.
  • FIG. 30 is a flowchart for explaining a modification of the decoding process of VPS extension data.
  • FIG. 31 is a functional block diagram illustrating a modification of the schematic configuration of the VPS decoding unit.
  • FIG. 32 is a diagram illustrating a modification of the data structure of the PTL information.
  • FIG. 33 is a flowchart showing a modification of the processing flow in the PTL information decoding unit.
  • FIG. 34 is a block diagram showing a modified example of details of the PTL information decoding unit.
  • the syntax table of the extended video parameter set VPS according to Modification 3 will be described with reference to FIG.
  • the difference from the syntax table of the conventional extended video parameter set VPS shown in FIGS. 29 and 56 is that in FIG. 29, the reference PTL information specification index (profile_ref minus1 [i]) shown in the syntax SYNVPS0F on FIG. 56 is deleted.
  • the function of the reference PTL designation information designation index is changed to a profile presence / absence flag (vps_profile_present_flag [i]) shown in the syntax SYNVPS0E in FIG. 29 and a level presence / absence flag (in the newly added syntax SYNVPS0Fa in FIG. 29) ( vps_level_present_flag [i]) is also a point.
  • the profile information of the i-th PTL information is decoded from the encoded data.
  • the profile information of the i-th PTL information includes the profile information of the (i ⁇ 1) -th decoded PTL information decoded immediately before the i-th PTL information. Is set (estimated).
  • the value of the level presence / absence flag vps_level_present_flag [i]
  • the level information of the i-th PTL information is decoded from the encoded data.
  • the level information of the (i ⁇ 1) th decoded PTL information decoded immediately before the i th PTL information is included in the level information of the i th PTL information. Is set (estimated).
  • the VPS decoding unit 102 ′′ shown in FIG. 31 does not include the reference PTL information decoding unit 1022 included in the VPS decoding unit 102, but newly includes a level presence / absence flag decoding unit 1224, and includes the PTL information decoding unit 1021 ′′.
  • the function is partially different from that of the PTL information decoding unit 1021.
  • the level presence / absence flag 1224 decodes the level presence / absence flag (vps_level_present_flag [i]) of the i-th PTL information.
  • the profile / level information decoding unit 1021 ′′ includes a profile information decoding unit 1021a ′′, a level information decoding unit 1021b ′′, a sublayer profile level presence / absence flag decoding unit 1021f ′′, and byte-aligned data decoding. Part 1021e ''.
  • the sub-layer presence / absence flag decoding unit 1021c ′′, the sub-layer level information decoding unit 1021d ′′, and the byte-aligned data decoding unit 1021e ′′ are the same as those in the first embodiment, and thus the description thereof is omitted.
  • the profile information decoding unit 1021a '' is the same as the profile information decoding unit 1021a 'included in the PTL information decoding unit 1021' according to the second modification, the description thereof is omitted.
  • Level information decoding unit 1021b '' Based on the level presence / absence flag levelPresentFlag, the level information decoding unit 1021b ′′ decodes and outputs the level information of the decoding target PTL information (also called level information of the highest order sublayer or general-purpose level information) from the encoded data DATA # T. To do. Specifically, when the level presence flag levelPresentFlag is 1, the level information of the decoding target PTL information is decoded from the encoded data DATA # T. When the level presence flag levelPresentFlag is 0, the level information of the decoding target PTL information is equal to the level information of the decoded PTL information ((i-1) th PTL information) decoded immediately before the decoding target PTL information. (I-1) -th decoded PTL information is read from a parameter memory (not shown), and the level information is output as level information of the decoding target PTL information.
  • the level information of the decoding target PTL information also called level information of the highest order sublayer or general-
  • the level information decoding unit 1021b '' encodes the code based on the level presence / absence flag levelPresentFlag, the sublayer number MaxNumSubLayers, and the sublayer level presence / absence flag sub_layer_level_present_flag [i] supplied from the sublayer level presence / absence flag decoding unit 1021d ''. From the encoded data DATA # T, sublayer level information of each sublayer of the decoding target PTL information excluding the highest order sublayer is decoded and output.
  • Sub-layer level decoding when the level presence flag is 1 When the level presence / absence flag of the decoding target PTL information is 1, the operation is the same as the operation of the level information decoding unit 1021b included in the PTL information decoding unit 1021 according to the first embodiment.
  • predetermined level information is set in the sublayer level information of sublayer i. For example, the level information of the sublayer (i + 1) of the decoding target PTL information is set as the level information of the sublayer i (see FIG. 63).
  • the level information decoding unit 1021b ′′ decodes the sublayer level by the following operation.
  • the i-level information of the sublayer of the decoding target PTL information is the level of the sublayer corresponding to the decoded PTL information ((idx-1) th PTL information) decoded immediately before the decoding target PTL information. It is determined that it is equal to the information, the (idx-1) -th decoded PTL information is read from the parameter memory (not shown), and the level information is output as the sub-layer level information of the decoding target PTL information.
  • idx is an index indicating the position of the decoding target PTL information on the PTL information list.
  • the setting rules for the sub layer level information can be expressed in pseudo code as follows (see FIG. 64B).
  • ProfileRefIdx is reference PTL designation information.
  • ProfileRefIdx (idx ⁇ 1). That is, the ProfileRefIdx-th PTL information on the PTL information list is referred to.
  • Step SG104 The level information decoding unit 1021b ′′ determines whether the level presence flag levelPresentFlag is 1. If the level presence flag levelPresentFlag is 1 (Yes in Step SG104), the process proceeds to Step SG105, and otherwise (No in Step SG104), the process proceeds to Step SG106.
  • the level information decoding unit 1021b ′′ uses the following syntax from the encoded data DATA # T: ⁇ Level identifier general_level_idc Decode and output as level information of the decoding target PTL information.
  • the level information decoding unit 1021b '' is the level information of the decoded PTL information ((i-1) th PTL information) whose level information of the decoding target PTL information is one before the decoding target PTL information on the PTL information list. And the decoded PTL information is read from a parameter memory (not shown), and the level information is set and output as level information of the decoding target PTL information.
  • Step SG115 The level information decoding unit 1021b ′′ determines whether the sublayer level presence / absence flag sub_layer_level_present_flag [i] of the sublayer specified by the variable i is “1”. If the sublayer level presence / absence flag is 1 (Yes in Step SG115), the process proceeds to Step SG116, and otherwise (No in Step SG115), the process proceeds to Step SG117.
  • Step SG116 The level information decoding unit 1021b ′′ uses the encoded data DATA # T as sublayer level information of the sublayer specified by the variable i. ⁇ Sublayer level identifier sub_layer_level_idc [i] Is decoded and output.
  • the operation of the profile / level information decoding unit 1021 ′′ according to the modification 3 has been described above. However, the operation is not limited to the above step, and the step may be changed within a feasible range.
  • the reference PTL information specification index (profile_ref_deltaxidx_minus1 [i]) shown in the syntax SYNVPS0F in FIG. 23 is deleted, and the reference PTL specification information specification is performed.
  • the index function is shared by the profile presence / absence flag (vps_profile_present_flag [i]) and the level presence / absence flag (vps_level_present_flag [i]) shown in the syntax SYNVPS0E in FIG. That is, when the value of the profile presence flag (vps_profile_present_flag [i]) is 1, the profile information of the i-th PTL information is decoded from the encoded data.
  • the profile information of the i-th PTL information includes the profile information of the (i ⁇ 1) -th decoded PTL information decoded immediately before the i-th PTL information. Is set (estimated). Further, when the value of the level presence / absence flag (vps_level_present_flag [i]) is 1, the level information of the i-th PTL information is decoded from the encoded data. On the other hand, when the value of the level presence flag is 0, the level information of the (i ⁇ 1) th decoded PTL information decoded immediately before the i th PTL information is included in the level information of the i th PTL information. Is set (estimated).
  • the profile / level information decoding unit obtains the level information of the i-th profile / level information from the level information of the previous profile / level information. To derive.
  • Variation 3a of VPS Decoding Unit 102 can change a structure also as follows. That is, the profile presence / absence flag profilePresentFlag and the level presence / absence flag levelPresentFlag are replaced with profile level presence / absence flags ProfileLevelPresentFlag indicating the presence / absence of profile information and level information.
  • the PTL information decoding unit 1021 '' according to the modified example 3a has the same configuration and operation except the input values of the profile presence / absence flag profilePresentFlag and the level presence / absence flag levelPresentFlag in the PTL information decoding unit 1021 '' according to the modified example 3.
  • the profile presence / absence flag profilePresentFlag and the level presence / absence flag levelPresentFlag are wired.
  • the deformation 3a has the same effect as the deformation 3. Furthermore, with respect to the third modification example, the profile presence / absence flag and the level presence / absence flag are combined into one and used as a profile level presence / absence flag indicating the presence / absence of profile information and level information. For example, it is possible to reduce the code amount related to the level presence / absence flag.
  • the profile / level information decoding unit uses the level information of the i-th profile / level information as the level information of the previous profile / level information.
  • VPS Decoding Unit 102 ⁇ Variation 4 of VPS Decoding Unit 102 >> Next, a fourth modification of the VPS decoding unit 102 will be described with reference to FIGS.
  • Flag avc_base_layer_flag (SYNVPS0A in FIG. 65) indicating whether the base layer at the head of VPS extension data vps_extension () is a bit stream encoded in H.264 to scalable mask scalability_mask_flag indicating the scalability type of each layer [i] Arrangement change of syntax splitting_flag (SYNVPS0B of FIG. 65) (arranged after avc_base_layer_flag in the example of FIG. 65), byte so that the syntax of (SYNVPS0F of FIG. 65) is byte aligned Extension bits (byte alignment data) reserved_zero_6bits (SYNVPS0C in FIG.
  • the byte offset information vps_ptl_info_offset shown in FIG. 65 is preferably 16 bits in order to maintain byte alignment.
  • the byte offset information vps_ptl_info_offset is a byte offset from the beginning of the VPS NAL unit to the PTL information related syntax on the VPS extended data on the VPS NAL unit. Specifically, from the beginning of the VPS NAL unit.
  • the byte offset may be up to the syntax vps_number_layer_sets_minus1 (number of layer sets) shown in SYNVPS0H in FIG.
  • byte alignment data vps_alignment_bit_equal_to_one (SYNVPS0G in FIG. 65) is inserted in order to adjust byte alignment.
  • the byte offset information vps_ptl_info_offset is not limited to this, and may be a byte offset from the top of the VPS NAL unit to the syntax vps_num_profile_tier_level_minus1 (number of PTL information) indicated by SYNVPS0I in FIG.
  • byte alignment data vps_alignment_bit_equal_to_one is inserted in order to adjust byte alignment.
  • -Flag max_tid_ref_present_flag (not shown) indicating the presence or absence of the upper limit of sublayers that can be used for inter-layer prediction for each layer
  • a flag indicating whether the number of active direct reference layers used for inter-layer prediction or the like when decoding a coded picture is the same as the number of reference layers that can be referred to for inter-layer prediction or the like through decoding of the entire sequence (all direct reference All_ref_layers_active_flag (not shown) indicating that the layer is referenced when decoding the encoded picture)
  • a flag more_output_layer_sets_than_default_flag (not shown) indicating that the number of output layer sets is greater than the default value (vps_number_layer_sets_minus1 + 1), Representation information presence / absence flag rep_format_idx_present_flag (not shown),
  • a flag max_one_active_ref_layer_flag (not shown) indicating that the maximum number of
  • the decoder reads the first few bits (or bytes) of the VPS extension data and exists on the byte offset indicated by vps_ptl_info_offset , Early access to syntax related to PTL information.
  • the advantage of early access to the PTL information on the PTL information list is that there is a scalablity_mask_flag indicating the scalability type of each layer near the top of the VPS extension data. From this syntax, the decoder sets each layer set. It cannot be determined whether or not decoding is possible.
  • the decoder can grasp at an early stage whether or not a decodable layer set exists on the bitstream. Also, by decoding the PTL specification index (profile_level_tier_idx [i]) (syntax group SYNVPS0H in FIG. 56) that specifies the PTL information to be applied to each (output) layer set arranged immediately after the PTL information list It is possible to specify a layer set that can be decoded by the decoder. Furthermore, the decoder uses the target set (syntax group SYNVPS03 in FIG.
  • the decoder By selecting an output layer set) and performing a bitstream extraction process, it is possible to generate only a bitstream that can be decoded by the decoder.
  • PTL information profile_tier_level () (FIG. 54) on VPS and SPS is profile information (SYNPTL01 in FIG. 54) and level information (SYNPTL02 in FIG. 54).
  • profile information of each sublayer (SYNPTL05 in FIG. 54), and level information (SYNPTL06 in FIG. 54) are designed to be byte aligned. .
  • SYNPTL04 For example, in order to adjust byte alignment, there is byte alignment data indicated by SYNPTL04 in FIG.
  • a specific sublayer is determined based on the number of sublayers, the sublayer profile presence flag, and the sublayer level presence flag. It is designed to easily access the profile information and level information by byte calculation.
  • the PTL information on the VPS extension data is the syntax immediately before the PTL information (for example, vps_profile_present_flag [i] and profile_ref_minus1 [i] in FIG. 56). ) Is not aligned, so byte alignment is not maintained. Therefore, the above-mentioned merit considered in the above-mentioned PTL information standard formulation stage is impaired.
  • the syntax related to PTL information (number of output layer sets vps_number_layer_sets_minus1 (SYNVPS0H in FIG. 65), number of PTL information vps_num_profile_tier_level_minus1 (SYNVPS0I in FIG. 65), VPS profile presence flag vps_present_flag [i] (FIG. 65) SYNVPS0J), reference PTL specification information profile_ref_minus1 [i] (SYNVPS0L in FIG. 65), and syntax of PTL information profile_tier_level () (SYNVPS0M in FIG. 65) are byte-aligned.
  • the byte alignment data vps_alingment_bit_equalt_to_one (SYNVPS0G in FIG. 65), the number of PTL information, and byte aligned data reserved_zero_1bits [i] (SYNVPS0K in FIG. 65) determined based on the profile presence / absence flag are added.
  • the head syntax of the PTL information related syntax (in the example of FIG. 65, the layer set number vps_number_layer_sets_minus1) is arranged on the encoded data at the byte-aligned position (at the head position of the byte boundary).
  • Byte alignment data vps_alingment_bit_equalt_to_one (SYNVPS0G in FIG. 65) shown in SYNVPS0G in FIG. 65 is inserted.
  • the function byte_aligned () is a process to determine whether the current position (bit unit) on the encoded data is on a byte boundary, and the current position on the encoded data is on a byte boundary Is determined as “true”, otherwise it is determined as “false”.
  • byte alignment data vps_alingment_bit_equalt_to_one is inserted in 1-bit units until the determination is “true”.
  • the profile presence / absence flag of each PTL information and the PTL information are interleaved (separated), and byte alignment data reserved_zero_bits [i] is inserted between the profile presence / absence flag and the PTL information in order to adjust byte alignment.
  • the syntax of the number of layer sets vps_number_layer_sets_minus1 (SYNVPS0H in FIG. 65) and the number of PTL information vps_num_profile_tier_level_minus1 (SYNVPS0G in FIG. 65) are byte-aligned.
  • the reference PTL designation information profile_ref_minus1 [i] is changed from 6 bits to 8 bits (SYNVPS0L in FIG. 65).
  • 2-bit extension bits reserved_zero_2bits may be added to adjust byte alignment.
  • the PTL information on the PTL information list is byte-aligned, so the number of memory accesses related to reading / writing when decoding / encoding each syntax can be reduced. That is, there is an effect of reducing the processing amount required for decoding / encoding.
  • specific sublayer profile information and level information based on the number of sublayers, sublayer profile presence / absence flag, and sublayer level presence / absence flag in the specific sublayer profile information and level information of each PTL information Information can be easily accessed by byte calculation.
  • VPS decoding unit 102 ′ ′′ (Configuration of VPS decoding unit 102 ′ ′′) With reference to FIG. 16, the structure of VPS decoding section 102 ′ ′′ according to Modification 4 will be described.
  • the VPS decoding unit 102 ′ ′′ Further, a byte alignment data decoding unit 1024 (not shown) is included. Hereinafter, only the byte alignment data decoding unit 1024 will be described.
  • the byte alignment data decoding unit 1024 included in the VPS decoding unit 102 ′′ ′′ decodes data inserted to adjust byte alignment and byte alignment data included in the VPS extension data vps_extension (). For example, vps_alignment_bit_equal_to_one (SYNVPS0G on FIG. 65) and reserved_zero_1bits [i] (SYNVPS0K on FIG. 65).
  • Step SH101 The VPS decoding unit 102 '' '' decodes the syntax group SYNVPS0A in FIG.
  • Step SH102 The VPS decoding unit 102 '' '' decodes the byte offset information (vps_ptl_info_offset) up to the PTL information list shown in SYNVPS0E on FIG.
  • Step SH103 The VPS decoder 102 ′ ′′ decodes the scalability mask flag shown in SYNVPS0F in FIG. ... Omitted ...
  • Step SH104 The byte alignment data decoding unit 1024 included in the VPS decoding unit 102 ′ ′′ decodes (reads out) byte alignment data (vps_alignment_bit_equal_to_one) in units of 1 bit based on a predetermined determination formula shown in SYNVPS0G in FIG. )
  • Step SH105 The VPS decoding unit 102 '' '' decodes the number of layer sets indicated by SYNVPS0H in FIG.
  • Step SH106 The VPS decoding unit 102 "" decodes the number of PTL information indicated by SYNVPS0I in FIG.
  • Step SH107 The profile presence / absence flag decoding unit 1023 included in the VPS decoding unit 102 '' 'decodes "PTL information number -1" of the profile presence / absence flags shown in SYNVPS0J in FIG.
  • Step SH108 The byte alignment data decoding unit 1024 included in the VPS decoding unit 102 '' '' decodes the byte alignment data (reserved_zero_bit [i]) indicated by SYNVPS0K in FIG.
  • Step SH109 This is the loop start point of the decoding process of the PTL information included on the VPS.
  • Step SH110 If the profile presence / absence flag is 0, it is determined that there is no syntax group indicating profile information on the i-th PTL information, and the process proceeds to Step SH112. If the profile presence / absence flag is 1, it is determined that there is a syntax group indicating profile information on the i-th PTL information, and the process proceeds to step SA111.
  • Step SH111 When the profile presence / absence flag is 0, the reference PTL designation information decoding unit 1022 included in the VPS decoding unit 102 ′′ ′′ uses the profile information of the i-th PTL information as any PTL information on the PTL information list.
  • the reference PTL information designation index “profile_ref_minus1 [i]” (SYNVPS0L in FIG. 65) indicating whether to refer to is decoded.
  • Step SH112 The PTL information decoding unit 1021 included in the VPS decoding unit 102 ′ ′′ receives the profile presence flag, the reference PTL designation index, and the number of sublayers, and decodes the profile and level information of the i-th PTL information. .
  • the details of the PTL information decoding unit 1021 have been already described, and will be omitted.
  • Step SH113 This is the loop end of the decoding process of the PTL information included in the VPS.
  • Step SH114 The VPS decoding unit 102 '' '' decodes other syntax.
  • VPS decoding unit 102 ′′ ′′ The operation of the VPS decoding unit 102 ′′ ′′ according to the modification 4 has been described above. However, the operation is not limited to the above step, and the step may be changed within a feasible range.
  • VPS extension data vps_extension () VPS extension data vps_extension ()
  • VPS extension data syntax table shown in FIG. 68 and FIG. 65 according to the modified example 4 is that the reference PTL information specification index (profile_ref_minus1 [i]) shown in the syntax SYNVPS0L in FIG.
  • the function of the reference PTL designation information designation index is shared by the profile presence / absence flag (vps_profile_present_flag [i]) shown in the syntax SYNVPS0J in FIG.
  • the profile information of the i-th PTL information is decoded from the encoded data.
  • the profile information of the i-th PTL information includes the profile information of the (i ⁇ 1) -th decoded PTL information decoded immediately before the i-th PTL information. Is set (estimated).
  • the i-th PTL information can increase the probability of referring to the immediately preceding PTL information.
  • VPS decoding unit 102 ′ ′′ a (Configuration of VPS decoding unit 102 ′ ′′ a) With reference to FIG. 25, the structure of VPS decoding part 102 '''a which concerns on the modification 4a is demonstrated.
  • the VPS decoding unit 102 ′ ′′ a further includes byte alignment.
  • a data decoding unit 1024 (not shown) is included.
  • the byte-aligned data decoding unit 1024 is the same component as the byte-aligned data decoding unit 1024 included in the VPS decoding unit 102 ′ ′′ according to the modified example 4, and thus the description thereof is omitted.
  • VPS extension data decoding process of the VPS decoder 102 ′ ′′ a will be described with reference to FIG. Note that in the VPS extension data decoding process of the VPS decoding unit 102 ′′ ′ a, step SH110 (branch determination based on the value of the profile presence flag and transition based on the branch), step SH111 (reference PTL information designation) in FIG. The difference is that the decoding of the index profile_ref_minus1 [i] is omitted, and the other operations are the same, so the description is omitted.
  • VPS decoding unit 102 ′′ ′′ a The operation of the VPS decoding unit 102 ′′ ′′ a according to the modification 4 has been described above. However, the operation is not limited to the above step, and the step may be changed within a practicable range.
  • vps_ptl_info_offset indicating a byte offset from the beginning of the VPSVNAL unit to the PTL information related syntax on the VPS extension data on the VPS NAL unit is added.
  • the PTL information related syntax may be arranged immediately after the scalability mask flag. This also makes it possible to access the PTL information and related syntax at an early stage, and the same effects as those of the modification examples 4 and 4a can be obtained. The same can be applied to the encoding side.
  • the profile presence / absence flag and the PTL information are interleaved and signaled, but the present invention is not limited to this.
  • the level information presence / absence flag introduced in the third modification may be interleaved with the PTL information and signaled as in the fourth modification. That is, the number of PTL information—one profile information and level information may be signaled first, then byte alignment data may be inserted, and then each PTL information may be signaled. In this case, the same effects as those of Modification 4a and Modification 3 are obtained. This change can also be applied on the encoding side.
  • the reference picture information decoding unit is a component of the header decoding unit 10 and decodes information related to the reference picture from the encoded data # 1.
  • Information related to the reference picture includes reference picture set information (hereinafter referred to as RPS information) and reference picture list correction information (hereinafter referred to as RPL correction information).
  • a reference picture set represents a set of pictures that may be used as reference pictures in a target picture or a picture that follows the target picture in decoding order.
  • the RPS information is information that is decoded from the SPS and the slice header, and is information that is used to derive a reference picture set that is set when each picture is decoded.
  • the reference picture list (RPL: “Reference Picture List”) is a candidate list of reference pictures to be referred to when performing motion compensation prediction. There may be two or more reference picture lists. In the present embodiment, it is assumed that an L0 reference picture list (L0 reference list) and an L1 reference picture list (L1 reference list) are used.
  • the RPL correction information is information decoded from the SPS and the slice header, and indicates the order of reference pictures in the reference picture list.
  • a reference picture recorded at the position of the reference image index (refIdx) on the reference image list is used. For example, when the value of refIdx is 0, the position of 0 in the reference image list, that is, the first reference picture in the reference image list is used for motion compensation prediction.
  • the decoding process of the RPS information and the RPL correction information by the reference picture information decoding unit is an important process in this embodiment, and will be described in detail later.
  • FIG. 35A shows pictures constituting a moving image arranged in the display order, and the numbers in the figure represent POCs corresponding to the pictures.
  • the POC is assigned to each picture so as to be in ascending order in the output order.
  • a picture with a POC of 9 indicated as “curr” is a current picture to be decoded.
  • FIG. 35B shows an example of RPS information applied to the target picture.
  • a reference picture set (current RPS) in the current picture is derived based on the RPS information.
  • the RPS information includes long-term RPS information and short-term RPS information.
  • long-term RPS information the POC of a picture to be included in the current RPS is directly indicated.
  • the short-term RPS information a picture to be included in the current RPS is recorded as a difference with respect to the POC of the target picture.
  • “Before” indicates a picture ahead of the target picture, that is, a picture that is displayed earlier than the target picture.
  • “After” indicates a picture behind the target picture, that is, a picture that is displayed later than the target picture.
  • FIG. 35 (c) shows an example of the current RPS derived when the RPS information exemplified in FIG. 35 (b) is applied when the POC of the target picture is 0.
  • FIGS. 35D and 35E show examples of reference picture lists generated from reference pictures included in the current RPS.
  • Each element of the reference picture list is assigned an index (reference picture index) (denoted as idx in the figure).
  • FIG. 35D shows an example of the L0 reference list.
  • the L0 reference list includes reference pictures included in the current RPS having POCs of 5, 8, 10, 1 in this order.
  • FIG. 35E shows an example of the L1 reference list.
  • the L1 reference list includes reference pictures included in the current RPS having POCs of 10, 5, and 8 in this order. Note that as shown in the example of the L1 reference list, it is not necessary to include all reference pictures (referenceable pictures) included in the current RPS in the reference picture list. However, the maximum number of elements in the reference picture list is the number of reference pictures included in the current RPS. In other words, the length of the reference picture list is equal to or less than the number of pictures that can be referred to in the current picture.
  • FIG. 36 shows a corrected reference picture list (FIG. 36C) obtained when RPL correction information (FIG. 36B) is applied to a specific reference picture list (FIG. 36A).
  • the pre-correction L0 reference list shown in FIG. 36 (a) is the same as the L0 reference list described in FIG. 35 (d).
  • the RPL correction information shown in FIG. 36B is a list whose elements are reference picture index values, and values 0, 2, 1, and 3 are stored in order from the top. This RPL correction information indicates that the reference pictures indicated by the reference picture indexes 0, 2, 1, and 3 included in the reference list before correction are used as reference pictures in the corrected L0 reference list in this order.
  • FIG. 36C shows the corrected L0 reference list, which includes pictures with POCs of 5, 10, 8, 1 in this order.
  • Video decoding procedure The procedure in which the image decoding apparatus 1 generates the decoded image # 2 from the input encoded data # 1 is as follows.
  • the header decoding unit 10 decodes the VPS and SPS from the encoded data # 1.
  • the header decoding unit 10 decodes the PPS from the encoded data # 1.
  • the header decoding unit 10 decodes the slice header of each slice included in the target picture from the encoded data # 1.
  • the reference picture information decoding unit included in the header decoding unit 10 decodes the RPS information from the slice header and outputs it to the reference picture set setting unit 131 included in the reference picture management unit 13. Also, the reference picture information decoding unit decodes the RPL correction information from the slice header and outputs the decoded information to the reference picture list deriving unit 132.
  • the reference picture set setting unit 131 applies the reference picture set RPS to be applied to the target picture based on the combination of the RPS information, the POC of the locally decoded image recorded in the decoded picture buffer 12, and the position information on the memory. Is output to the reference picture list deriving unit 132.
  • the reference picture list deriving unit 132 generates a reference picture list RPL based on the reference picture set RPS and the RPL correction information, and outputs the reference picture list RPL to the picture decoding unit 11.
  • the picture decoding unit 11 creates a local decoded image of the target picture based on the slice data of each slice included in the target picture from the encoded data # 1 and the reference picture list RPL, and the POC of the target picture Correlate and record in the decoded picture buffer.
  • the locally decoded image recorded in the decoded picture buffer is output to the outside as decoded image # 2 at an appropriate timing determined based on POC.
  • Decoded picture buffer 12 In the decoded picture buffer 12, a locally decoded image of each picture decoded by the picture decoding unit is recorded in association with the layer ID and the POC (Picture Order Count) of the picture. The decoded picture buffer 12 determines an output target POC at a predetermined output timing. Thereafter, the local decoded image corresponding to the POC is output to the outside as one of the pictures constituting the decoded image # 2.
  • FIG. 37 is a conceptual diagram showing a configuration of a decoded picture memory.
  • a box with a number indicates a locally decoded image. Numbers indicate POC.
  • the local decoded images of a plurality of layers are recorded in association with the layer ID, the POC, and the local decoded image.
  • the view ID view_id and the depth flag depth_flag corresponding to the layer ID are also recorded in association with the locally decoded image.
  • FIG. 38 is a schematic diagram showing the configuration of the reference picture management unit 13 according to the present embodiment.
  • the reference picture management unit 13 includes a reference picture set setting unit 131 and a reference picture list deriving unit 132.
  • the reference picture set setting unit 131 uses the reference picture set RPS based on the RPS information decoded by the reference picture information decoding unit 218 and the local decoded image, layer ID, and POC information recorded in the decoded picture buffer 12. And is output to the reference picture list deriving unit 132. Details of the reference picture set setting unit 131 will be described later.
  • the reference picture list deriving unit 132 generates a reference picture list RPL based on the RPL correction information decoded by the reference picture information decoding unit 218 and the reference picture set RPS input from the reference picture set setting unit 131. Output to the picture decoding unit 11. Details of the reference picture list deriving unit 132 will be described later.
  • the RPS information is information decoded from the SPS or slice header in order to construct a reference picture set.
  • the RPS information includes the following. 1. 1. SPS short-term RPS information: short-term reference picture set information included in the SPS 2. SPS long-term RP information: long-term reference picture information included in the SPS SH short-term RPS information: short-term reference picture set information included in the slice header SH long-term RP information: long-term reference picture information included in the slice header (1. SPS short-term RPS information) The SPS short-term RPS information includes information on a plurality of short-term reference picture sets that can be used from each picture that references the SPS.
  • the short-term reference picture set is a set of pictures that can be a reference picture (short-term reference picture) specified by a relative position with respect to the target picture (for example, a POC difference from the target picture).
  • FIG. 39 illustrates a part of the SPS syntax table used at the time of SPS decoding in the header decoding unit 10 and the reference picture information decoding unit. 39A corresponds to the SPS short-term RPS information.
  • the SPS short-term RPS information includes the number of short-term reference picture sets (num_short_term_ref_pic_sets) included in the SPS and information on each short-term reference picture set (short_term_ref_pic_set (i)).
  • the short-term reference picture set information will be described with reference to FIG. FIG. 40 exemplifies a syntax table of a short-term reference picture set used in SPS decoding and slice header decoding in the header decoding unit 10 and the reference picture information decoding unit.
  • the short-term reference picture set information includes the number of short-term reference pictures (num_negative_pics) whose display order is earlier than that of the target picture and the number of short-term reference pictures (num_positive_pics) whose display order is later than that of the target picture.
  • a short-term reference picture whose display order is earlier than the target picture is referred to as a front short-term reference picture
  • a short-term reference picture whose display order is later than the target picture is referred to as a rear short-term reference picture.
  • the short-term reference picture set information includes, for each forward short-term reference picture, the absolute value of the POC difference for the target picture (delta_poc_s0_minus1 [i]) and the presence / absence of the possibility of being used as a reference picture for the target picture ( used_by_curr_pic_s0_flag [i]).
  • the absolute value of the POC difference with respect to the target picture delta_poc_s1_minus1 [i]
  • the possibility of being used as the reference picture of the target picture used_by_curr_pic_s1_flag [i]
  • the SPS long-term RP information includes information on a plurality of long-term reference pictures that can be used from each picture that references the SPS.
  • a long-term reference picture is a picture specified by an absolute position (for example, POC) in a sequence.
  • the part (B) in FIG. 39 corresponds to the SPS long-term RP information.
  • the SPS long-term RP information includes information (long_term_ref_pics_present_flag) indicating the presence / absence of a long-term reference picture transmitted by SPS, the number of long-term reference pictures included in the SPS (num_long_term_ref_pics_sps), and information on each long-term reference picture.
  • the long-term reference picture information includes the POC of the reference picture (lt_ref_pic_poc_lsb_sps [i]) and the presence / absence of the possibility of being used as the reference picture of the target picture (used_by_curr_pic_lt_sps_flag [i]).
  • the POC of the reference picture may be the POC value itself associated with the reference picture, or the POB LSB (Least Significant Bit), that is, the POC divided by a predetermined number of powers of 2. The remainder value may be used.
  • the POB LSB east Significant Bit
  • the SH short-term RPS information includes information of a single short-term reference picture set that can be used from a picture that references a slice header.
  • FIG. 41 illustrates a part of a slice header syntax table used at the time of decoding a slice header in the header decoding unit 10 and the reference picture information decoding unit.
  • the portion (A) in FIG. 41 corresponds to SH short-term RPS information.
  • the SH short-term RPS information includes a flag (short_term_ref_pic_set_sps_flag) indicating whether a short-term reference picture set is selected from short-term reference picture sets decoded by SPS or explicitly included in a slice header.
  • an identifier for selecting one decoded short-term reference picture set is included.
  • information corresponding to the above-described syntax table is included in the SPS short-term RPS information.
  • the SH long-term RP information includes information on a long-term reference picture that can be used from a picture that references a slice header.
  • SH long-term RP information corresponds to the SH long-term RP information.
  • the SH long-term RP information is included in the slice header only when a long-term reference picture is available in the target picture (long_term_ref_pic_present_flag).
  • the number of reference pictures (num_long_term_sps) that can be referred to by the target picture among the long-term reference pictures decoded by SPS is the SH long-term RP information. included.
  • the number of long-term reference pictures (num_long_term_pics) explicitly transmitted in the slice header is included in the SH long-term RP information.
  • information (lt_idx_sps [i]) for selecting the num_long_term_sps number of long-term reference pictures from among the long-term reference pictures transmitted by the SPS is included in the SH long-term RP information.
  • the number of reference pictures POC (poc_lsb_lt [i]) and the presence / absence of use as a reference picture of the target picture is included.
  • the RPL correction information is information decoded from the SPS or the slice header in order to construct the reference picture list RPL.
  • the RPL correction information includes SPS list correction information and SH list correction information.
  • the SPS list correction information is information included in the SPS, and is information related to restrictions on reference picture list correction.
  • the SPS list correction information will be described with reference to FIG. 39 again.
  • the part (C) in FIG. 39 corresponds to SPS list correction information.
  • a flag restricted_ref_pic_lists_flag
  • a flag whether or not information related to list rearrangement exists in the slice header lists_modification_present_flag.
  • the SH list correction information is information included in the slice header, and the update information of the length of the reference picture list (reference list length) applied to the target picture, and the reordering information of the reference picture list (reference list reordering information) ) Is included.
  • the SH list correction information will be described with reference to FIG. FIG. 42 exemplifies a part of a slice header syntax table used at the time of decoding a slice header in the header decoding unit 10 and the reference picture information decoding unit.
  • the part (C) in FIG. 42 corresponds to the SH list correction information.
  • the reference list length update information includes a flag (num_ref_idx_active_override_flag) indicating whether or not the list length is updated.
  • a flag (num_ref_idx_active_override_flag) indicating whether or not the list length is updated.
  • information (num_ref_idx_l0_active_minus1) indicating the reference list length after the change of the L0 reference list and information (num_ref_idx_l1_active_minus1) indicating the reference list length after the change of the L1 reference list are included.
  • FIG. 43 exemplifies a syntax table of reference list rearrangement information used at the time of decoding a slice header in the header decoding unit 10 and the reference picture information decoding unit.
  • the reference list rearrangement information includes an L0 reference list rearrangement presence / absence flag (ref_pic_list_modification_flag_l0).
  • the L0 reference list rearrangement order (list_entry_l0 [i]) is included in the reference list rearrangement information.
  • NumPocTotalCurr is a variable representing the number of reference pictures that can be used in the current picture. Therefore, the L0 reference list rearrangement order is included in the slice header only when the L0 reference list is rearranged and the number of reference pictures available in the current picture is larger than two.
  • the L1 reference list rearrangement presence / absence flag (ref_pic_list_modification_flag_l1) is included in the reference list rearrangement information.
  • the L1 reference list rearrangement order (list_entry_l1 [i]) is included in the reference list rearrangement information.
  • the L1 reference list rearrangement order is included in the slice header only when the L1 reference list is rearranged and the number of reference pictures available in the current picture is larger than two.
  • the reference picture set setting unit 131 generates a reference picture set RPS used for decoding the target picture based on the RPS information and the information recorded in the decoded picture buffer 12.
  • the reference picture set RPS is a set of pictures (referenceable pictures) that can be used as reference pictures at the time of decoding in a target picture or a picture subsequent to the target picture in decoding order.
  • the reference picture set is divided into the following two subsets according to the types of referenceable pictures.
  • List of current pictures that can be referred to ListCurr List of pictures that can be referred to in the target picture among pictures on the decoded picture buffer.
  • ListFoll List that can be referred to subsequent pictures
  • ListFoll A picture that is not referenced in the target picture but is subsequent to the target picture in decoding order.
  • NumCurrList The number of pictures included in the current picture referable list is referred to as the current picture referenceable picture number NumCurrList. Note that NumPocTotalCurr described with reference to FIG. 43 is the same as NumCurrList.
  • the current picture referable list further includes three partial lists.
  • Current picture long-term referable list ListLtCurr: Current picture referenceable picture specified by SPS long-term RP information or SH long-term RP information
  • ListStCurrBefore List specified by SPS short-term RPS information or SH short-term RPS information Current picture referenceable picture whose display order is earlier than the target picture.
  • Current picture short-term backward referenceable list ListStCurrAfter: current picture referenceable picture specified by SPS short-term RPS information or SH short-term RPS information. The order is earlier than the target picture.
  • the subsequent picture referable list is further composed of two partial lists.
  • -Subsequent picture long-term referable list ListLtFoll: Subsequent picture referable picture specified by SPS long-term RP information or SH long-term RP information
  • ListStFoll Current picture specified by SPS short-term RPS information or SH short-term RPS information Picture referenceable picture.
  • the reference picture set setting unit 131 When the NAL unit type is other than IDR, the reference picture set setting unit 131 performs the reference picture set RPS, that is, the current picture short-term forward referenceable list ListStCurrBefore, the current picture short-term backward referenceable list ListStCurrAfter, the current picture long-term referenceable list ListLtCurr, The subsequent picture short-term referable list ListStFoll and the subsequent picture long-term referable list ListLtFoll are generated by the following procedure. In addition, a variable NumPocTotalCurr representing the number of pictures that can be referred to the current picture is derived. Note that each of the referable lists is set to be empty before starting the following processing. When the NAL unit type is IDR, the reference picture set setting unit 131 derives the reference picture set RPS as empty.
  • a single short-term reference picture set used for decoding the target picture is specified. Specifically, when the value of short_term_ref_pic_set_sps included in the SH short-term RPS information is 0, the short-term RPS explicitly transmitted by the slice header included in the SH short-term RPS information is selected. Other than that (when the value of short_term_ref_pic_set_sps is 1, the short-term RPS indicated by short_term_ref_pic_set_idx included in the SH short-term RPS information is selected from a plurality of short-term RPSs included in the SPS short-term RPS information.
  • the POC value of the reference picture is derived by subtracting the value of “delta_poc_s0_minus1 [i] +1” from the POC value of the target picture when the reference picture is a forward short-term reference picture.
  • the reference picture is a backward short-term reference picture, it is derived by adding the value of “delta_poc_s1_minus1 [i] +1” to the POC value of the target picture.
  • the long-term reference picture set used for decoding the current picture is specified based on the SPS long-term RP information and the SH long-term RP information. Specifically, num_long_term_sps number of reference pictures are selected from reference pictures included in the SPS long-term RP information and having the same layer ID as the target picture, and sequentially added to the long-term reference picture set. The selected reference picture is the reference picture indicated by lt_idx_sps [i]. Subsequently, the reference pictures included in the SH long-term RP information are added to the long-term reference picture set in order as many reference pictures as num_long_term_pics.
  • the POC value of each reference picture included in the long-term reference picture set is derived and recorded in the decoded picture buffer 12 in association with the POC value from the reference pictures having the same layer ID as the target picture.
  • the position of the locally decoded image is detected and derived as a recording position on the decoded picture buffer of the reference picture.
  • the position of the local decoded image recorded in association with the layer ID specified by the dependency layer ref_layer_id and the POC of the target picture is detected, and the reference picture is decoded. Derived as the recording position on the picture buffer.
  • the POC of the long-term reference picture is directly derived from the value of poc_lst_lt [i] or lt_ref_pic_poc_lsb_sps [i] decoded in association with the reference picture having the same layer ID as the target picture. For a reference picture having a layer ID different from that of the target picture, the POC of the target picture is set.
  • the value of the variable NumPocTotalCurr is set to the sum of reference pictures that can be referenced from the current picture. That is, the value of the variable NumPocTotalCurr is set to the sum of the numbers of elements of the three lists of the current picture short-term forward referenceable list ListStCurrBefore, the current picture short-term backward referenceable list ListStCurrAfter, and the current picture long-term referenceable list ListLtCurr.
  • the reference picture list deriving unit 132 generates the reference picture list RPL based on the reference picture set RPS and the RPL correction information.
  • the reference picture list is composed of two lists, an L0 reference list and an L1 reference list. First, the construction procedure of the L0 reference list will be described.
  • the L0 reference list is constructed by the procedure shown in S301 to S307 below.
  • the elements of the provisional L0 reference list are rearranged to form the L0 reference list.
  • the element RefPicList0 [rIdx] of the L0 reference list corresponding to the reference picture index rIdx is derived by the following equation.
  • RefListTemp0 [i] represents the i-th element of the provisional L0 reference list.
  • RefPicList0 [rIdx] RefPicListTemp0 [list_entry_l0 [rIdx]]
  • the value recorded at the position indicated by the reference picture index rIdx is referred to, and the reference recorded at the position of the value in the provisional L0 reference list
  • the picture is stored as a reference picture at the position of rIdx in the L0 reference list.
  • the L1 reference list can also be constructed in the same procedure as the L0 reference list.
  • the L0 reference picture, the L0 reference list, the provisional L0 reference list, and list_entry_l0 may be replaced with the L1 reference picture, the L1 reference list, the provisional L1 reference list, and list_entry_l1, respectively.
  • the RPL correction information may be omitted when the current picture referenceable picture count is 1.
  • the reference list rearrangement information is parsed based on the syntax table shown in FIG. FIG. 45 exemplifies a syntax table of reference list rearrangement information used at the time of decoding a slice header.
  • the picture decoding unit 11 includes encoded data # 1, header information input from the header decoding unit 10, reference pictures recorded in the decoded picture buffer 12, and a reference picture list input from the reference picture list deriving unit 132 Based on the above, a locally decoded image of each picture is generated and recorded in the decoded picture buffer 12.
  • FIG. 44 is a schematic diagram showing a configuration of the picture decoding unit 11 according to the present embodiment.
  • the picture decoding unit 11 includes an entropy decoding unit 301, a prediction parameter decoding unit 302, a prediction parameter memory (prediction parameter storage unit) 307, a prediction image generation unit 308, an inverse quantization / inverse DCT unit 311, and an addition unit 312. Composed.
  • the prediction parameter decoding unit 302 includes an inter prediction parameter decoding unit 303 and an intra prediction parameter decoding unit 304.
  • the predicted image generation unit 308 includes an inter predicted image generation unit 309 and an intra predicted image generation unit 310.
  • the entropy decoding unit 301 performs entropy decoding on encoded data # 1 input from the outside, and separates and decodes individual codes (syntax elements).
  • the separated codes include prediction information for generating a prediction image and residual information for generating a difference image.
  • the entropy decoding unit 301 outputs a part of the separated code to the prediction parameter decoding unit 302. Some of the separated codes are, for example, the prediction mode PredMode, the partition mode part_mode, the merge flag merge_flag, the merge index merge_idx, the inter prediction flag inter_pred_idx, the reference picture index refIdxLX, the prediction vector index mvp_LX_idx, and the difference vector mvdLX. Control of which code to decode is performed based on an instruction from the prediction parameter decoding unit 302.
  • the entropy decoding unit 301 outputs the quantization coefficient to the inverse quantization / inverse DCT unit 311. This quantization coefficient is a coefficient obtained by performing DCT (Discrete Cosine Transform, Discrete Cosine Transform) on the residual signal and quantizing it in the encoding process.
  • DCT Discrete Cosine Transform, Discrete Cosine Transform
  • the inter prediction parameter decoding unit 303 decodes the inter prediction parameter with reference to the prediction parameter stored in the prediction parameter memory 307 based on the code input from the entropy decoding unit 301.
  • the inter prediction parameter decoding unit 303 outputs the decoded inter prediction parameter to the prediction image generation unit 308 and stores it in the prediction parameter memory 307. Details of the inter prediction parameter decoding unit 303 will be described later.
  • the intra prediction parameter decoding unit 304 generates an intra prediction parameter by referring to the prediction parameter stored in the prediction parameter memory 307 based on the code input from the entropy decoding unit 301.
  • the intra prediction parameter is information necessary for generating a prediction image of a decoding target block using intra prediction, and is, for example, an intra prediction mode IntraPredMode.
  • the intra prediction parameter decoding unit 304 outputs the intra prediction parameters to the prediction image generation unit 308 and stores them in the prediction parameter memory 307.
  • the prediction parameter memory 307 stores the prediction parameter in a predetermined position for each decoding target picture and block. Specifically, the prediction parameter memory 307 stores the inter prediction parameter decoded by the inter prediction parameter decoding unit 303, the intra prediction parameter decoded by the intra prediction parameter decoding unit 304, and the prediction mode predMode separated by the entropy decoding unit 301. .
  • the stored inter prediction parameters include, for example, a prediction list utilization flag predFlagLX (inter prediction flag inter_pred_idx), a reference picture index refIdxLX, and a vector mvLX.
  • the prediction image generation unit 308 receives the prediction mode predMode input from the entropy decoding unit 301 and the prediction parameter from the prediction parameter decoding unit 302. Further, the predicted image generation unit 308 reads a reference picture from the decoded picture buffer 12. The predicted image generation unit 308 generates a predicted picture block P (predicted image) using the input prediction parameter and the read reference picture in the prediction mode indicated by the prediction mode predMode.
  • the inter prediction image generation unit 309 uses the inter prediction parameter input from the inter prediction parameter decoding unit 303 and the read reference picture to perform the prediction picture block P by inter prediction. Is generated.
  • the predicted picture block P corresponds to the PU.
  • the PU corresponds to a part of a picture composed of a plurality of pixels as a unit for performing the prediction process as described above, that is, a decoding target block on which the prediction process is performed at a time.
  • the inter prediction image generation unit 309 uses the decoding target block as a reference from the reference picture indicated by the reference picture index refIdxLX.
  • the reference picture block at the position indicated by the vector mvLX is read from the decoded picture buffer 12.
  • the inter prediction image generation unit 309 performs prediction on the read reference picture block to generate a prediction picture block P.
  • the inter prediction image generation unit 309 outputs the generated prediction picture block P to the addition unit 312.
  • the intra predicted image generation unit 310 When the prediction mode predMode indicates the intra prediction mode, the intra predicted image generation unit 310 performs intra prediction using the intra prediction parameter input from the intra prediction parameter decoding unit 304 and the read reference picture. Specifically, the intra predicted image generation unit 310 reads, from the decoded picture buffer 12, a reference picture block that is a decoding target picture and is in a predetermined range from the decoding target block among blocks that have already been decoded.
  • the predetermined range is, for example, any of the left, upper left, upper, and upper right adjacent blocks when the decoding target block sequentially moves in a so-called raster scan order, and varies depending on the intra prediction mode.
  • the raster scan order is an order in which each row is sequentially moved from the left end to the right end in each picture from the upper end to the lower end.
  • the intra prediction image generation unit 310 generates a prediction picture block using the read reference picture block and the input prediction parameter.
  • the intra predicted image generation unit 310 outputs the generated predicted picture block P to the addition unit 312.
  • the inverse quantization / inverse DCT unit 311 inversely quantizes the quantization coefficient input from the entropy decoding unit 301 to obtain a DCT coefficient.
  • the inverse quantization / inverse DCT unit 311 performs inverse DCT (Inverse Discrete Cosine Transform, Inverse Discrete Cosine Transform) on the obtained DCT coefficient to calculate a decoded residual signal.
  • the inverse quantization / inverse DCT unit 311 outputs the calculated decoded residual signal to the adder 312.
  • the adder 312 outputs the prediction picture block P input from the inter prediction image generation unit 309 and the intra prediction image generation unit 310 and the signal value of the decoded residual signal input from the inverse quantization / inverse DCT unit 311 for each pixel. Addition to generate a reference picture block.
  • the adding unit 312 stores the generated reference picture block in a reference picture buffer, and outputs a decoded layer image Td in which the generated reference picture block is integrated for each picture to the outside.
  • the image encoding device 2 is a device that generates and outputs encoded data # 1 by encoding the input image # 10.
  • FIG. 45 is a schematic diagram illustrating a configuration of the image encoding device 2 according to the present embodiment.
  • the image encoding device 2 includes a header encoding unit 10E, a picture encoding unit 21, a decoded picture buffer 12, and a reference picture determination unit 13E.
  • the image encoding device 2 can perform a random access decoding process to be described later that starts decoding from a picture at a specific time in an image including a plurality of layers.
  • the header encoding unit 10E is used for decoding the NAL unit header, the SPS, the PPS, the slice header, and the like based on the input image # 10 in units of NAL units, sequences, pictures, or slices. Information is generated, encoded and output.
  • the header encoding unit 10E parses VPS, SPS, and PPS included in the encoded data # 1 based on a predetermined syntax definition, and encodes information used for decoding in sequence units. For example, information related to the number of layers is encoded into VPS, and information related to the image size of the decoded image is encoded into SPS. Note that information (representation information) related to the image size of a decoded image of a plurality of layers is encoded by VPS, and information (representation information) about the image size of a decoded image of a certain target layer is encoded by SPS. Is done.
  • the header encoding unit 10E parses the slice header included in the encoded data # 1 based on a predetermined syntax definition, and encodes information used for decoding in units of slices. For example, the slice type is encoded from the slice header.
  • header encoding unit 10E NAL unit header encoding unit 101E, VPS encoding unit 102E (222), SPS encoding unit 103E, PPS encoding unit 104, slice header encoding unit 105E, and the like are included. Configured (not shown).
  • the NAL unit header encoding 101E further includes a layer ID encoding unit 1011E and a NAL unit type encoding unit 1012E (not shown).
  • the layer ID encoding unit 1011E encodes the encoded data (slice header and slice data) of the image signal of each layer image T input from the outside, and a parameter set (VPS, SPS) referred to for decoding the slice data. , PPS, and SEI) are encoded by adding a layer ID and a temporal ID for identifying each layer and a sub-layer associated with the layer.
  • the NAL unit type encoding unit 1012E assigns a NAL unit type representing the type (identification) of encoded data to each encoded data, and encodes the encoded data. Since the NAL unit type has already been described, the description is omitted.
  • the VPS encoding unit 102E (222) corresponds to the inverse process of the VPS decoding unit 102, and encodes information used in units of layers based on the plurality of layer images T and the VPS specified syntax. Details of the VPS encoding unit 102E (222) will be described later.
  • the SPS encoding unit 103E corresponds to the inverse process of the SPS decoding unit 103, and encodes information used in units of sequences based on the layer image T and the SPS-defined syntax definition.
  • the PPS encoding unit 104E corresponds to the inverse processing of the PPS decoding unit 104, and encodes information used in units of pictures based on each picture of the layer image T and the syntax definition defined by PPS.
  • the slice header encoding unit 105E corresponds to the inverse process of the slice header decoding unit 105, encodes each slice unit constituting the picture of the layer image T based on the syntax definition defined in the slice header, and decodes the slice unit Encode the information used for.
  • VPS and SPS include profiles required for encoding / decoding of each layer set, and profile / level information profile_tier_level () related to levels.
  • the header encoding unit 10E performs the following processing regarding profile / level information.
  • the header encoding unit 10E supplies the number of layer sets supplied from the outside or preset, and the total number of PTL information applied to each layer set. Subsequently, profile information of each layer set (including sublayers belonging to the layer) that is configured from the layer set 0 (for example, the base layer), the base layer, and the extension layer, supplied from the outside or set in advance.
  • the values of the profile presence flag, sublayer profile presence flag (sublayer presence flag), and sublayer level presence flag (sublayer level presence flag) to be applied to each layer set are set.
  • the set profile presence / absence flag and the profile presence / absence flag / level presence / absence flag of each sublayer are supplied to the header information encoding unit. Further, if the profile presence / absence flag of a certain PTL information is 0, reference PLT designation information indicating the position on the list of PTL information referred to by the PTL information is supplied.
  • the image encoding device 2 includes a configuration corresponding to each configuration of the image decoding device 1.
  • “correspondence” means that the same processing or the reverse processing is performed.
  • the reference picture information decoding process of the reference picture information decoding unit included in the image decoding apparatus 1 and the reference picture information encoding process of the reference picture information encoding unit included in the image encoding apparatus 2 are the same. More specifically, the reference picture information decoding unit generates RPS information and modified RPL information as syntax values decoded from the SPS and slice header. On the other hand, the reference picture information encoding unit encodes the input RPS information and the modified RPL information as syntax values of the SPS and the slice header.
  • the process of decoding a syntax value from a bit string in the image decoding apparatus 1 corresponds to the process opposite to the process of encoding a bit string from a syntax value in the image encoding apparatus 2.
  • the reference picture set determination unit determines the reference picture set RPS based on the target picture in the input image # 10 and the local decoded image recorded in the decoded picture buffer 12, and outputs the reference picture set RPS to the reference picture list determination unit. . Further, RPS information necessary for generating the reference picture set RPS is derived and output to the reference picture information encoding unit.
  • the reference picture list determination unit derives a reference picture list RPL based on the target picture in the input image # 10 and the input reference picture set RPS, and outputs it to the picture encoding unit 21 and the picture decoding unit 11. To do. Also, RPL correction information necessary for generating the reference picture list RPL is derived and output to the reference picture information encoding unit.
  • the reference picture information encoding unit generates RPS information and RPL correction information to be included in the SPS or slice header based on the reference picture set RPS and the reference picture list RPL.
  • the header encoding unit 10E generates and outputs an SPS to be applied to the target picture based on the input image # 10 and the RPS information and RPL correction information generated by the reference picture determination unit 13E.
  • the header encoding unit 10E generates and outputs a PPS to be applied to the target picture based on the input image # 10.
  • the header encoding unit 10E encodes the slice header of each slice constituting the target picture based on the input image # 10 and the RPS information and the RPL correction information generated by the reference picture determination unit 13E.
  • the encoded data # 1 is output to the outside and is output to the picture decoding unit 11.
  • the picture encoding unit 21 generates slice data of each slice constituting the target picture based on the input image # 10, and outputs the slice data to the outside as a part of the encoded data # 1.
  • the picture encoding unit 21 generates a locally decoded image of the target picture and records it in the decoded picture buffer in association with the layer ID and POC of the target picture.
  • FIG. 46 is a block diagram showing a configuration of the picture encoding unit 21 according to the present embodiment.
  • the picture encoding unit 21 includes a prediction image generation unit 201, a subtraction unit 202, a DCT / quantization unit 203, an entropy encoding unit 204, an inverse quantization / inverse DCT unit 205, an addition unit 206, a prediction parameter memory 208, an encoding A parameter determination unit 210 and a prediction parameter encoding unit 211 are included.
  • the prediction parameter encoding unit 211 includes an inter prediction parameter encoding unit 212 and an intra prediction parameter encoding unit 213.
  • the predicted image generation unit 201 generates a predicted picture block P for each block which is an area obtained by dividing the picture for each layer of the layer image T input from the outside.
  • the predicted image generation unit 201 reads the reference picture block from the decoded picture buffer 12 based on the prediction parameter input from the prediction parameter encoding unit 211.
  • the prediction parameter input from the prediction parameter encoding unit 211 is, for example, a motion vector or a displacement vector.
  • the predicted image generation unit 201 reads the reference picture block of the block at the position indicated by the motion vector or the displacement vector predicted from the encoding target block.
  • the prediction image generation unit 201 generates a prediction picture block P using one prediction method among a plurality of prediction methods for the read reference picture block.
  • the predicted image generation unit 201 outputs the generated predicted picture block P to the subtraction unit 202. Note that since the predicted image generation unit 201 performs the same operation as the predicted image generation unit 308 already described, details of generation of the predicted picture block P are omitted.
  • the predicted image generation unit 201 calculates an error value based on a difference between a signal value for each pixel of a block included in the layer image and a signal value for each corresponding pixel of the predicted picture block P. Select the prediction method to minimize.
  • the method for selecting the prediction method is not limited to this.
  • the plurality of prediction methods are intra prediction, motion prediction, and merge prediction.
  • Motion prediction is prediction between display times among the above-mentioned inter predictions.
  • the merge prediction is a prediction that uses the same reference picture block and prediction parameter as a block that has already been encoded and is within a predetermined range from the encoding target block.
  • the plurality of prediction methods are intra prediction, motion prediction, merge prediction, and displacement prediction.
  • the displacement prediction (disparity prediction) is prediction between different layer images (different viewpoint images) in the above-described inter prediction. Furthermore, motion prediction, merge prediction, and displacement prediction.
  • the prediction image generation unit 201 outputs the prediction mode predMode indicating the intra prediction mode used when generating the prediction picture block P to the prediction parameter encoding unit 211 when intra prediction is selected.
  • the predicted image generation unit 201 stores the motion vector mvLX used when generating the predicted picture block P in the prediction parameter memory 208 and outputs the motion vector mvLX to the inter prediction parameter encoding unit 212.
  • the motion vector mvLX indicates a vector from the position of the encoding target block to the position of the reference picture block when the predicted picture block P is generated.
  • the information indicating the motion vector mvLX may include information indicating a reference picture (for example, a reference picture index refIdxLX, a picture order number POC), and may represent a prediction parameter.
  • the predicted image generation unit 201 outputs a prediction mode predMode indicating the inter prediction mode to the prediction parameter encoding unit 211.
  • the prediction image generation unit 201 When the prediction image generation unit 201 selects displacement prediction (inter-layer image prediction), the prediction image generation unit 201 stores the displacement vector used in generating the prediction picture block P in the prediction parameter memory 208 and stores it in the inter prediction parameter encoding unit 212. Output.
  • the displacement vector dvLX indicates a vector from the position of the encoding target block to the position of the reference picture block when the predicted picture block P is generated.
  • the information indicating the displacement vector dvLX may include information indicating a reference picture (for example, a reference picture index refIdxLX and a layer ID (or view ID view_id)) and may represent a prediction parameter. Further, the predicted image generation unit 201 outputs a prediction mode predMode indicating the inter prediction mode to the prediction parameter encoding unit 211.
  • the prediction image generation unit 201 When the prediction image generation unit 201 selects merge prediction, the prediction image generation unit 201 outputs a merge index merge_idx indicating the selected reference picture block to the inter prediction parameter encoding unit 212. Also, the predicted image generation unit 201 outputs a prediction mode predMode indicating the merge prediction mode to the prediction parameter encoding unit 211.
  • the subtraction unit 202 subtracts the signal value of the prediction picture block P input from the prediction image generation unit 201 for each pixel from the signal value of the corresponding block of the layer image T input from the outside, and generates a residual signal. Generate.
  • the subtraction unit 202 outputs the generated residual signal to the DCT / quantization unit 203 and the encoding parameter determination unit 210.
  • the DCT / quantization unit 203 performs DCT on the residual signal input from the subtraction unit 202 and calculates a DCT coefficient.
  • the DCT / quantization unit 203 quantizes the calculated DCT coefficient to obtain a quantization coefficient.
  • the DCT / quantization unit 203 outputs the obtained quantization coefficient to the entropy coding unit 204 and the inverse quantization / inverse DCT unit 205.
  • the entropy encoding unit 204 receives the quantization coefficient from the DCT / quantization unit 203 and the encoding parameter from the encoding parameter determination unit 210.
  • Input encoding parameters include codes such as a reference picture index refIdxLX, a vector index mvp_LX_idx, a difference vector mvdLX, a prediction mode predMode, and a merge index merge_idx.
  • the entropy encoding unit 204 entropy-encodes the input quantization coefficient and encoding parameter to generate encoded data # 1, and outputs the generated encoded data # 1 to the outside.
  • the inverse quantization / inverse DCT unit 205 inversely quantizes the quantization coefficient input from the DCT / quantization unit 203 to obtain a DCT coefficient.
  • the inverse quantization / inverse DCT unit 205 performs inverse DCT on the obtained DCT coefficient to calculate a coded residual signal.
  • the inverse quantization / inverse DCT unit 205 outputs the calculated encoded residual signal to the addition unit 206.
  • the addition unit 206 adds the signal value of the prediction picture block P input from the prediction image generation unit 201 and the signal value of the encoded residual signal input from the inverse quantization / inverse DCT unit 205 for each pixel, A reference picture block is generated.
  • the adder 206 stores the generated reference picture block in the decoded picture buffer 12.
  • the prediction parameter memory 208 stores the prediction parameter generated by the prediction parameter encoding unit 211 at a predetermined position for each picture and block to be encoded.
  • the encoding parameter determination unit 210 selects one set from among a plurality of sets of encoding parameters.
  • the encoding parameter is a parameter to be encoded that is generated in association with the above-described prediction parameter or the prediction parameter.
  • the predicted image generation unit 201 generates a predicted picture block P using each of these sets of encoding parameters.
  • the encoding parameter determination unit 210 calculates a cost value indicating the amount of information and the encoding error for each of a plurality of sets.
  • the cost value is, for example, the sum of a code amount and a square error multiplied by a coefficient ⁇ .
  • the code amount is an information amount of encoded data # 1 obtained by entropy encoding the quantization error and the encoding parameter.
  • the square error is the sum between pixels regarding the square value of the residual value of the residual signal calculated by the subtracting unit 202.
  • the coefficient ⁇ is a real number larger than a preset zero.
  • the encoding parameter determination unit 210 selects a set of encoding parameters that minimizes the calculated cost value. As a result, the entropy encoding unit 204 outputs the selected set of encoding parameters to the outside as encoded data # 1, and does not output the set of unselected encoding parameters.
  • the prediction parameter encoding unit 211 derives a prediction parameter used when generating a prediction picture based on the parameter input from the prediction image generation unit 201, and encodes the derived prediction parameter to generate a set of encoding parameters. To do.
  • the prediction parameter encoding unit 211 outputs the generated set of encoding parameters to the entropy encoding unit 204.
  • the prediction parameter encoding unit 211 stores, in the prediction parameter memory 208, a prediction parameter corresponding to the one selected by the encoding parameter determination unit 210 from the generated encoding parameter set.
  • the prediction parameter encoding unit 211 operates the inter prediction parameter encoding unit 212 when the prediction mode predMode input from the prediction image generation unit 201 indicates the inter prediction mode.
  • the prediction parameter encoding unit 211 operates the intra prediction parameter encoding unit 213 when the prediction mode predMode indicates the intra prediction mode.
  • the inter prediction parameter encoding unit 212 derives an inter prediction parameter based on the prediction parameter input from the encoding parameter determination unit 210.
  • the inter prediction parameter encoding unit 212 includes the same configuration as the configuration in which the inter prediction parameter decoding unit 303 derives the inter prediction parameter as a configuration for deriving the inter prediction parameter.
  • the intra prediction parameter encoding unit 213 determines the intra prediction mode IntraPredMode indicated by the prediction mode predMode input from the encoding parameter determination unit 210 as a set of inter prediction parameters.
  • VPS encoding unit 102E according to the first embodiment of the present invention will be described with reference to FIGS. 7 to 9, 17, 20 to 24, 26, 29, 33, and 47 to 49.
  • FIG. 47 is a functional block diagram showing a schematic configuration of the VPS encoding unit 222.
  • the VPS encoding unit 222 includes a profile level information encoding unit (PTL information encoding unit) 2221, a reference PTL designation information encoding unit 2222, and a profile presence / absence flag encoding unit 2223.
  • PTL information encoding unit profile level information encoding unit
  • reference PTL designation information encoding unit 2222 includes a profile presence / absence flag encoding unit 2223.
  • VPS encoding unit 222 is a reverse process of the VSP decoding unit 102.
  • Step SA101 The VPS encoding unit 222 encodes the syntax group SYNVPS01 in FIG.
  • Step SA102 The PTL information encoding unit 2221 included in the VPS encoding unit 222 encodes the PTL information of the layer set 0 shown in SYNVPS02 on FIG.
  • Step SA103 The VPS encoding unit 222 encodes the layer IDs constituting each layer set indicated in the syntax group SYNVPS03 in FIG.
  • Step SA104 The VPS encoding 222 encodes the VPS extension flag vps_extension_flag (SYNVPS04 on FIG. 7) in FIG.
  • Step SA105 If the VPS extension flag is 1 (YES in Step SA105), it is determined that the VPS extension data is on the VPS, and the process proceeds to Step SA106. If the VPS extension flag is 0 (No in step SA105), it is determined that the VPS extension data is not on the VPS, and the process proceeds to step SA109.
  • Step SA106 In order to adjust the byte alignment from the next bit of the VPS extension flag to immediately before avc_base_flag included in the VPS extension data, the byte alignment data (vps_extension_aligment_bit_equal_to_one) (syntax group SYNVPS05 in FIG. 7) is encoded. .
  • Step SA107 The VPS extension data vps_extension () is encoded. A detailed encoding process of VPS extension data will be described later.
  • Step SA108 The VPS encoding unit 222 encodes the VPS extension 2 flag vps_extension2_flag shown in SYNVPS07 on FIG. If the VPS extension 2 flag is 1, VPS extension 2 data is further encoded.
  • Step SA109 The VPS encoding unit 222 encodes RBSP_traling_bits () shown in SYNVPS08 on FIG. RBSP_trailing_bits () is byte aligned data. The byte alignment data is also called stuffing data.
  • VPS extension data encoding process ⁇ Detailed encoding process of VPS extension data>
  • the VPS extension data encoding process will be described with reference to FIG. In FIG. 18, “decoding” is interpreted as “encoding”.
  • Step SB101 The VPS encoding unit 222 encodes the syntax group SYNVPS0A in FIG.
  • Step SB102 The VPS encoding unit 222 encodes a dependency flag related to a dependency layer (also referred to as a direct reference layer or a dependency layer) referenced by each layer, which is indicated in the syntax group SYNVPS0B in FIG.
  • Step SB103 The VPS encoding unit 222 encodes the number of layer sets (syntax SYNVPS0C in FIG. 8).
  • Step SB104 The VPS encoder 222 encodes the total number of PTL information included in the VPS (SYNVPS0D in FIG. 8).
  • Step SB105 A loop start point of the encoding process of the PTL information included in the VPS.
  • the profile presence / absence flag encoding 2223 included in the VPS encoding unit 222 includes a profile presence / absence flag indicating the presence / absence of a syntax group indicating profile information on the i-th PTL information profile_tier_level () (on FIG. 8).
  • the syntax SYNVPS0E) is encoded.
  • Step SB107 If the profile presence / absence flag is 0, it is determined that there is no syntax group indicating profile information on the i-th PTL information, and the process proceeds to Step SB108. If the profile presence / absence flag is 1, it is determined that there is a syntax group indicating profile information on the i-th PTL information, and the process proceeds to step SB109.
  • the reference PTL designation information encoding unit 2222 included in the VPS encoding unit 222 refers to the profile information of the i-th PTL information from any PTL information on the PTL information list.
  • a reference PTL information designation index also referred to as a reference profile level information relative index
  • profile_ref_delta_index_minus1 [i] (SYNVPS0Fa in FIG. 8) indicating whether to do is encoded.
  • the reference PTL information designation index “profile_ref_delta_index_minus1 [i]” represents a relative index between the i-th PTL information and the reference destination PTL information.
  • the i-th PTL information can increase the probability of referring to the immediately preceding PTL information. Therefore, the reference PTL designation index “profile_ref_delta_index_minus1 [i]” represents the relative index, for example, as shown in FIG. 20, by using Golomb code, so that the bit length necessary for expressing the reference PTL designation index is larger than the conventional one. Can be reduced.
  • the profile / level information encoding unit uses the semantics of the i-th reference PTL information designation index in the profile / level information as the i-th reference PTL information designation index and the i-th profile / level information. Treated as specifying relative position between referenced profile / level information.
  • the value of the reference PTL designation index “profile_ref_delta_minus1 [i]” is 0, that is, when referring to the (i ⁇ 1) th PTL information immediately before the i-th PTL information, the Golomb code shown in FIG. 20 is used.
  • the bit length required to express the reference PTL designation index is 1 bit.
  • the amount of codes can be reduced compared to the case where the reference PTL information designation index is expressed by a fixed length.
  • the first PTL information (0th) on the PTL information list can be referred to, it is possible to eliminate the disadvantage that the reference PTL information designation index does not function when the target PTL information is the first.
  • the profile presence flag is always set to 1, and the first The PTL information profile information may be determined in advance between the decoder and the encoder so as to be included in the encoded data (also referred to as bitstream restriction). Thereby, when the target PTL information is the first, the defect that the reference PTL information designation index does not function can be solved similarly.
  • the PTL information encoding unit 2222 included in the VPS encoding unit 222 receives the profile presence flag, the reference PTL designation information (reference PTL designation index), the number of sublayers, and the PTL information, and inputs the i th PTL information. Encode profile and level information. Details of the PTL information encoding 2221 will be described later.
  • Step SB110 This is the loop end of the encoding process of the PTL information included on the VPS.
  • Step SB111 The VPS encoding unit 222 encodes a PTL information designation index (profile_level_tier_idx [i] on the syntax group SYNVPS0H in FIG. 8) that designates PTL information to be applied to each output layer set.
  • a PTL information designation index profile_level_tier_idx [i] on the syntax group SYNVPS0H in FIG. 8 that designates PTL information to be applied to each output layer set.
  • Step SB112 The VPS encoding unit 222 encodes the subordinate layer type of each layer shown in the syntax group SYNVPS0I in FIG.
  • Step SB111 The VPS encoding 222 encodes the other syntax group SYNVPS0J in FIG.
  • FIG. 2221 is an encoding device corresponding to the PTL information decoding unit 1021.
  • “decoding” is replaced with “encoding” for interpretation.
  • FIG. 49 is a functional block diagram illustrating the configuration of the PTL information encoding unit 2221.
  • the PTL information encoding unit 2221 includes a profile information encoding unit 2221a, a level information encoding unit 2221b, a sublayer profile presence / absence flag encoding unit 2221c, a sublayer level presence / absence flag encoding unit 2221d, and byte alignment data.
  • An encoding unit 2221e is provided. In this embodiment, it is interpreted that there is no input line for levelPresentFlag in FIG.
  • the profile information encoding unit 2221a based on the profile presence / absence flag profilePresentFlag supplied from the outside, profile information of the encoding target PTL information supplied from the outside (also called profile information of the highest sublayer or general profile information). ) Are encoded and output as encoded data DATA # T. Specifically, when the profile presence / absence flag profilePresentFlag is 1, the profile information of the encoding target PTL information is encoded and output as encoded data DATA # T. When the profile presence / absence flag profilePresentFlag is 0, the encoding process is not performed because there is no profile information to be encoded in the encoding target PTL information.
  • the profile information encoding unit 2221a excludes the highest sublayer based on the profile presence flag profilePresentFlag, the number of sublayers MaxNumSubLayers, and the sublayer profile presence flag sub_layer_profile_present_flag [i] of each sublayer supplied from the outside.
  • the sublayer profile information of each sublayer of the PTL information is encoded and output as encoded data DATA # T.
  • Level information encoding unit 2221b encodes level information (also called level information of the highest order sublayer or general-purpose level information) of the encoding target PTL information supplied from the outside, and outputs the encoded data #T. Further, the level information encoding unit 2221b is configured to output each sublayer of the PTL information to be encoded excluding the highest sublayer based on the number of sublayers MaxNumSubLayers and the sublayer level presence / absence flag sub_layer_level_present_flag [i] supplied from the outside. Are encoded and output as encoded data #T.
  • the level information of the sublayer i supplied from the outside is encoded, and encoded data DATA # T Output as.
  • the sublayer level presence / absence flag sub_layer_level_present_flag [i] is 0
  • there is no level information to be encoded so the encoding process is not performed.
  • the sublayer profile presence / absence flag encoding unit 2221c encodes the sublayer profile presence / absence flag of each sublayer of the encoding target PTL information based on the number of sublayers MaxNumSubLayers supplied from the outside, and outputs the encoded data DATA # T.
  • the sublayer level presence / absence flag encoding unit 2221d encodes the sublayer level presence / absence flag of each sublayer of the encoding target PTL information based on the number of sublayers MaxNumSubLayers supplied from the outside, and outputs the encoded data DATA # T.
  • the byte-aligned data encoding 2221e encodes byte-aligned data (reserved_zero_2bits [i]) (syntax SYNTPTL04 in FIG. 9) in units of 2 bits for the number of bits determined based on the number of sublayers (MaxNumSbuLayersMinus1, or MaxNumSubLayers-1). , And output as encoded data DATA # T.
  • the number of bits to be encoded as byte-aligned data is “(8 ⁇ MaxNumSubLayersMinus1) * 2 bits”, as is apparent from the syntax SYNVPSPTL04 in FIG.
  • step SC101 the process proceeds to step SC104.
  • step SC110 the process proceeds to step SC113.
  • step SC116 the process proceeds to step SC116.
  • Step SC101 The profile information encoding unit 2221a determines whether the profile presence flag profilePresentFlag is 1. If the profile presence flag profilePresentFlag is 1 (Yes in step SC101), the process proceeds to step SC102, and otherwise (No in step SC101), the process proceeds to step SC104.
  • the profile information encoding unit 2221a uses, for example, the syntax group SYNPTL01 in FIG. ⁇ Profile space general_profile_space ⁇ Tier flag general_tier_flag -Profile identifier general_profile_idc -Profile compatibility flag general_profile_compatibility_flag [i] ... Omitted... Profile reservation syntax general_reserved_zero_44bits Etc. are encoded.
  • the level information encoding unit 2221b includes the following syntax as level information of the encoding target PTL information: ⁇ Level identifier general_level_idc Is encoded.
  • Step SC105 This is the start of a loop related to the encoding of the sublayer profile presence / absence flag of the sublayer and the sublayer level presence / absence flag.
  • the variable i is initialized to zero.
  • the processing in the loop is executed when the variable i is less than the number of sublayers ⁇ 1 and “MaxNumSubLayers ⁇ 1”.
  • the variable i is incremented by “1” every time the processing in the loop is executed once. That is, in step SC105 to step SC107, the sublayer profile presence / absence flag and sublayer level presence / absence flag of the sublayer excluding the highest order sublayer are encoded.
  • Step SC106 The sublayer profile presence / absence flag encoding unit 2221c encodes a sublayer profile presence / absence flag sub_layer_profile_present_flag [i] related to the sublayer specified by the variable i.
  • the sublayer level presence / absence flag encoding unit 2221d encodes the sublayer level presence / absence flag sub_layer_level_present_flag [i] related to the sublayer specified by the variable i.
  • Step SC107 This is the end of a loop related to the encoding of the sublayer profile presence flag and sublayer level presence flag of the sublayer.
  • Step SC108 The byte-aligned data encoding unit 2221e encodes byte-aligned data (reserved_zero_2bits [i]) (syntax SYNTPTL04 in FIG. 9) in units of 2 bits for the number of bits determined based on the number of sublayers (MaxNumSbuLayersMinus1, or MaxNumSubLayers-1). Is inserted (encoded) into the encoded data DATA # T.
  • the amount of codes of the sublayer profile presence flag and the sublayer level presence flag encoded for each sublayer is 1 bit, 2 bits in total, and the number of sublayers is MaxNumSubLayers.
  • the total amount of codes decoded in steps SC105 to SC107 is 2 * (MaxNumSubLayer ⁇ 1). Therefore, the number of bits to be encoded as byte-aligned data is “(8 ⁇ MaxNumSubLayersMinus1) * 2 bits”.
  • Step SC109 This is a starting point of a loop related to encoding of sublayer profile information of a sublayer and sublayer level information.
  • the variable i is initialized to zero.
  • the process in the loop is executed when the variable i is less than the number of sublayers ⁇ 1 and “MaxNumSubLayers ⁇ 1”, and the variable i is incremented by “1” each time the process in the loop is executed once.
  • Step SC110 The profile information encoding unit 2221a determines whether the sublayer profile presence / absence flag sub_layer_profile_present_flag [i] of the sublayer specified by the variable i is 1. If the sublayer profile presence / absence flag is 1 (Yes in step SC110), the process proceeds to step SC111. Otherwise (No in step SC110), the process proceeds to step SC113.
  • Step SC111 the sublayer profile space sub_layer_profile_space [i] shown in the syntax group SYNPTL05 in FIG. 9 is used as the sublayer profile information of the sublayer specified by the variable i.
  • -Sublayer tier flag sub_layer_tier_flag [i] -Sublayer profile identifier sub_layer_profile_idc [i] ⁇
  • Sublayer profile reservation syntax sub_layer_reserved_zero_44bits [i] Is encoded and output.
  • Step SC113 The level information encoding unit 2221b determines whether the sublayer level presence / absence flag sub_layer_level_present_flag [i] of the sublayer specified by the variable i is 1. If the sublayer level presence / absence flag is 1 (Yes in step SC113), the process proceeds to step SC114. Otherwise (No in step SC113), the process proceeds to step SC116.
  • Step SC114 The level information encoding unit 2221b, as sublayer level information of the sublayer specified by the variable i, ⁇ Sublayer level identifier sub_layer_level_idc [i] Is encoded and output.
  • Step SC116 This is the end of a loop related to encoding of sublayer profile information of sublayers and sublayer level information.
  • the operation of the profile / level information encoding unit 2221 according to the first embodiment has been described above. However, the operation is not limited to the above step, and the step may be changed within a feasible range.
  • the position of the target PTL information on the PTL information list and the relative index (profile_ref_delta_index_minus1 [i]) of the reference PTL information are encoded with Golomb code in the first embodiment, but the present invention is not limited to this.
  • the profile information of the PTL information in the “profile_ref [i]” th on the PTL information list may be referred to instead of the relative index.
  • the reference PTL information designation index “profile_ref [i]” is variable-length encoded with a bit length V determined based on the index i indicating the position on the list of the target PTL information.
  • the bit length V is determined by ceil (log2 (i)).
  • the amount of codes can be reduced compared to the case where the reference PTL information designation index is expressed by a fixed length. Also, since the first PLT information (0th) on the PTL information list can be referred to, it is possible to eliminate the drawback that the reference PTL information designation index does not function when the target PTL information is the first.
  • the profile of the first profile / level information and the tier information can be estimated based on the 0th profile / level information.
  • the reference PTL information designation index is changed to the reference profile.
  • the profile presence flag is always set to 1, and the first The PTL information profile information may be determined in advance between the decoder and the encoder so as to be included in the encoded data (also referred to as bitstream restriction). Thereby, when the target PTL information is the first, the defect that the reference PTL information designation index does not function can be solved similarly.
  • VPS Encoding Unit 202 ⁇ Variation 2 of VPS Encoding Unit 202 >> Next, a second modification of the VPS encoding unit 202 will be described with reference to FIGS. 23, 24, 26, and 47.
  • FIG. 23 is a modification of the syntax table of the extended video parameter set VPS.
  • VPS extension data encoding process will be described.
  • decoding is replaced with “encoding” for interpretation.
  • the syntax table of the extended video parameter set VPS according to Modification 2 will be described with reference to FIG.
  • the difference between the syntax table of the extended video parameter set VPS shown in FIG. 23 and FIG. 8 is that, in FIG. 23, the reference PTL information designation index (profile_ref_delta_index_minus1 [i]) shown in the syntax SYNVPS0Fa on FIG.
  • the function of the PTL designation information designation index is shared by the profile presence / absence flag (vps_profile_present_flag [i]) shown in the syntax SYNVPS0E in FIG. That is, when the value of the profile presence flag (vps_profile_present_flag [i]) is 1, the profile information of the i-th PTL information is encoded.
  • the profile information of the i-th PTL information includes the (i-1) -th encoded PTL information encoded immediately before the i-th PTL information. Since they are the same, encoding of profile information is omitted.
  • the VPS encoding unit 202 ′ does not include the reference PTL designation information encoding unit 2222 included in the VPS encoding unit 202. Also, the input line of the profile presence / absence flag is different in that there is an input line of the profile presence / absence flag to the PTL information encoder 2221 (not shown).
  • the PTL information encoding unit 2221 according to the second modification has the same components as the PTL information encoding unit 2221 according to the first embodiment, the description thereof is omitted.
  • the reference PTL information specification index (profile_ref_delta_index_minus1 [i]) shown in the syntax SYNVPS0Fa of FIG. 23 is deleted, and the reference PTL specification information specification index Is shared by the profile presence / absence flag (vps_profile_present_flag [i]) shown in the syntax SYNVPS0E in FIG. That is, when the value of the profile presence / absence flag (vps_profile_present_flag [i]) is 1, the profile information of the i-th PTL information is encoded.
  • the profile information of the i-th PTL information includes the (i-1) th encoded PTL information encoded immediately before the i-th PTL information. Since it is the same as the profile information, encoding of the profile information is omitted.
  • the i-th PTL information can increase the probability of referring to the immediately preceding PTL information.
  • Modification 3 of VPS Encoding Unit 222 is an inverse process corresponding to Modification 3 of the VPS decoding unit 102.
  • VPS encoding unit 222 differs in configuration between the VPS encoding unit 222 'and the VPS encoding unit 222 according to Modification 3 will be described.
  • 48 does not include the reference PTL designation information encoding 2222 included in the VPS encoding unit 222, but newly includes a level presence / absence flag encoding unit 2224 '.
  • the level presence / absence flag encoding unit 2224 ' encodes the level presence / absence flag of the encoding target PTL information input from the outside, and outputs the encoded data as encoded data.
  • the PTL information encoding unit 2221 according to modification 3 is different from the PTL information encoding unit 2221 according to the first embodiment in that the level presence / absence flag input line includes a level information encoding unit 2221b and a sublayer level presence / absence flag encoding unit. Except for the point of 2221d, the other components are the same, and thus the description thereof is omitted. Only the differences in the functions of the level information encoding unit 2221b and the sublayer level presence / absence flag encoding unit 2221d will be described below.
  • Level information encoding unit 2221b encodes and outputs level information (also called level information of the highest sublayer or general-purpose level information) of the encoding target PTL information based on a level presence / absence flag levelPresentFlag supplied from the outside. .
  • level information also called level information of the highest sublayer or general-purpose level information
  • level information of the encoding target PTL information is encoded.
  • the level presence / absence flag levelPresentFlag is 0, the level information of the encoding target PTL information is the level of the encoded PTL information ((i-1) th PTL information) encoded immediately before the encoding target PTL information. Since it is the same as information, encoding of level information is omitted.
  • the level information encoding unit 2221b removes the highest sublayer based on the level presence / absence flag levelPresentFlag, the number of sublayers MaxNumSubLayers, and the sublayer level presence / absence flag sub_layer_level_present_flag [i] supplied from the outside.
  • the sublayer level information of each sublayer of the PTL information is encoded and output.
  • the level information of the sublayer (i + 1) of the encoding target PTL information is set as the level information of the sublayer i (see FIG. 63).
  • the level information of the sublayer i is encoded.
  • the i-level information of the sublayer of the encoding target PTL information is the encoded PTL information ((idx-1) th PTL information) encoded immediately before the encoding target PTL information. Since it is the same as the level information of the corresponding sublayer, encoding of the level information is omitted.
  • idx is an index indicating the position of the decoding target PTL information on the PTL information list.
  • step SG104 determines whether the branch at step SG104 is No or not. If the branch at step SG112 is No, the process proceeds to step SG115. On the other hand, if NO at step SG115, the process proceeds to step SG118.
  • Step SG104 The level information encoding unit 2221b determines whether the level presence flag levelPresentFlag is 1. If the level presence flag levelPresentFlag is 1 (Yes in Step SG104), the process proceeds to Step SG105. Otherwise (No in Step SG104), the process proceeds to Step SG107.
  • the level information encoding unit 2221b uses the following syntax as level information of the encoding target PTL information: ⁇ Level identifier general_level_idc Is encoded.
  • Step SG115 The level information encoding unit 2221b determines whether the sublayer level presence flag sub_layer_level_present_flag [i] of the sublayer specified by the variable i is 1. If the sublayer level presence / absence flag is 1 (Yes in Step SG115), the process proceeds to Step SG116, and otherwise (No in Step SG115), the process proceeds to Step SG118.
  • Step SG116 The level information encoding unit 2221b, as sublayer level information of the sublayer specified by the variable i, ⁇ Sublayer level identifier sub_layer_level_idc [i] Is encoded.
  • the reference PTL information specification index (profile_ref_deltaxidx_minus1 [i]) shown in the syntax SYNVPS0F in FIG. 23 is deleted, and the reference PTL specification information specification is performed.
  • the index function is shared by the profile presence / absence flag (vps_profile_present_flag [i]) and the level presence / absence flag (vps_level_present_flag [i]) shown in the syntax SYNVPS0E in FIG. That is, when the value of the profile presence flag (vps_profile_present_flag [i]) is 1, the profile information of the i-th PTL information is encoded.
  • the profile information of the i-th PTL information is the profile of the (i-1) th encoded PTL information encoded immediately before the i-th PTL information. Since it is the same as information, encoding is omitted. Further, when the value of the level presence / absence flag (vps_level_present_flag [i]) is 1, the level information of the i-th PTL information is encoded. On the other hand, when the value of the level presence / absence flag is 0, the level information of the i-th PTL information includes the (i-1) th encoded PTL information encoded immediately before the i-th PTL information.
  • Modification 3a of the VPS encoding unit 222 is an inverse process corresponding to Modification 3a of the VPS decoding unit 202.
  • the modification 3 can be changed in configuration as follows. That is, the profile presence / absence flag profilePresentFlag and the level presence / absence flag levelPresentFlag are replaced with profile level presence / absence flags ProfileLevelPresentFlag indicating the presence / absence of profile information and level information.
  • the PTL information encoding unit 2221 according to the modified example 3a has the same configuration and operation except for the input values of the profile presence / absence flag profilePresentFlag and the level presence / absence flag levelPresentFlag in the PTL information decoding unit 2221 according to the modified example 3. .
  • the profile presence / absence flag profilePresentFlag and the level presence / absence flag levelPresentFlag are wired.
  • the profilePresentFlag and levelPresentFlag in FIG.
  • the deformation 3a has the same effect as the deformation 3. Furthermore, with respect to the third modification example, the profile presence / absence flag and the level presence / absence flag are combined into one and used as a profile level presence / absence flag indicating the presence / absence of profile information and level information. For example, it is possible to reduce the code amount related to the level presence / absence flag.
  • FIG. Modification 4 of the VPS encoding unit 202 is an inverse process corresponding to Modification 4 of the VPS decoding unit 102.
  • the syntax table of the VPS extension data according to the modification 4 is omitted because it has already been described in the modification 4 of the VPS decoding unit 102, but has the same effect.
  • VPS encoding unit 222 ′ ′′ (Configuration of VPS encoding unit 222 ′ ′′) With reference to FIG. 47, the structure of VPS encoding part 222 '''which concerns on the modification 4 is demonstrated.
  • the VPS encoding unit 222 ′ ′′ is the same component as the PTL information encoding unit 2221, the reference PTL information encoding unit 2222, and the profile presence / absence flag encoding unit 2223 included in the VPS encoding unit 222 according to the first embodiment.
  • a byte alignment data encoding unit 2024 (not shown) is further provided. Hereinafter, only the byte alignment data encoding unit 2224 will be described.
  • the byte alignment data encoding unit 2224 included in the VPS encoding unit 222 ′ ′′ encodes the data inserted to adjust the byte alignment and the byte alignment data included in the VPS extension data vps_extension (). For example, vps_alignment_bit_equal_to_one (SYNVPS0G on FIG. 65) or reserved_zero_1bits [i] (SYNVPS0K on FIG. 65) It is.
  • VPS extension data encoding process of the VPS encoding unit 222 ′ ′′ will be described with reference to FIG.
  • Step SJ101 The VPS encoding unit 222 '' '' encodes the syntax group SYNVPS0A in FIG.
  • Step SJ102 The VPS encoding unit 222 '' '' encodes byte offset information (vps_ptl_info_offset) up to the PTL information list shown in SYNVPS0E in FIG.
  • Step SJ103 The VPS encoding unit 222 ′ ′′ encodes the scalability mask flag indicated by SYNVPS0F in FIG. ... Omitted ...
  • Step SJ104 The byte alignment data encoding unit 2224 included in the VPS encoding unit 222 ′ ′′ encodes byte alignment data (vps_alignment_bit_equal_to_one) in 1-bit units based on a predetermined determination formula shown in SYNVPS0G in FIG. Turn into.
  • Step SJ105 The VPS encoding unit 222 '' '' encodes the number of layer sets indicated by SYNVPS0H in FIG.
  • Step SJ106 The VPS encoding unit 222 '' '' encodes the number of PTL information indicated in SYNVPS0I on FIG.
  • Step SJ107 The profile presence / absence flag decoding unit 1023 included in the VPS encoding unit 222 ′ ′′ encodes the “profile presence / absence flag” indicated by SYNVPS0J in FIG.
  • Step SJ108 The byte alignment data encoding unit 2224 included in the VPS encoding unit 222 '' 'encodes the byte alignment data (reserved_zero_bit [i]) indicated by SYNVPS0K in FIG.
  • Step SJ109 This is the loop start point of the encoding process of the PTL information included in the VPS.
  • Step SJ110 If the profile presence / absence flag is 0, it is determined that there is no syntax group indicating profile information on the i-th PTL information, and the process proceeds to Step SJ112. If the profile presence / absence flag is 1, it is determined that there is a syntax group indicating profile information on the i-th PTL information, and the process proceeds to step SJ111.
  • Step SJ111 When the profile presence / absence flag is 0, the reference PTL designation information encoding unit 2222 included in the VPS encoding unit 222 ′ ′′ changes the profile information of the i-th PTL information to any PTL on the PTL information list.
  • a reference PTL information designation index “profile_ref_minus1 [i]” (SYNVPS0L in FIG. 65) indicating whether to refer from information is encoded.
  • Step SJ112 The PTL information encoding unit 2221 included in the VPS encoding unit 222 ′ ′′ receives the profile presence / absence flag, the reference PTL designation index, the number of sublayers, and inputs the profile and level information of the i-th PTL information. Encode. Details of the PTL information encoding unit 2221 have been already described, and are omitted here.
  • Step SJ113 This is the loop end of the encoding process of the PTL information included on the VPS.
  • Step SJ114 The VPS encoding unit 222 "" encodes other syntax.
  • VPS encoding unit 222 ′′ ′′ The operation of the VPS encoding unit 222 ′′ ′′ according to the modification 4 has been described above. However, the operation is not limited to the above step, and the step may be changed within a practicable range.
  • Modification 4a of the VPS encoding unit 222 is an inverse process corresponding to Modification 4a of the VPS decoding unit 102.
  • the syntax table of the VPS extension data according to the modified example 4a has already been described in the modified example 4a of the VPS decoding unit 102, and is omitted. However, the same effect is obtained.
  • VPS encoding unit 222 ′ ′′ a A configuration of the VPS encoding unit 222 ′ ′′ a according to Modification 4a will be described.
  • the VPS encoding unit 222 ′ ′′ a includes: Further, a byte alignment data encoding unit 2224 (not shown) is included. The description of the PTL information encoding unit 2221 ′ and profile presence / absence flag encoding unit 2223 ′, which are the same components, is omitted. Further, the byte alignment data encoding unit 2224 is the same component as the byte alignment data encoding unit 22224 included in the VPS encoding unit 222 ′ ′′ according to the fourth modification, and thus the description thereof is omitted.
  • VPS extension data encoding process of the VPS encoding unit 222 ′ ′′ a will be described with reference to FIG. Note that in the VPS extension data encoding process of the VPS encoder 222 ′ ′′ a, step SL110 (branch determination based on the value of the profile presence flag and transition based on the branch), step SL111 (reference PTL) in FIG. The information specifying index profile_ref_minus1 [i] is omitted), and the other operations are the same, and thus the description thereof is omitted.
  • VPS encoding unit 222 ′′ ′′ a The operation of the VPS encoding unit 222 ′′ ′′ a according to the modification 4a has been described above. However, the operation is not limited to the above step, and the step may be changed within a feasible range.
  • the profile of the first profile / level information and the tier information can be estimated based on the 0th profile / level information.
  • the reference PTL information designation index may be changed to a reference profile.
  • a VPS profile presence / absence flag may be included instead of the reference PTL information designation index.
  • the profile / level information encoding unit is equal to the smaller of the level of the (i + 1) th sublayer and the level identifier level. , Encoding may be performed.
  • a VPS level presence / absence flag is added to the profile / level information.
  • the profile / level information encoding unit determines the level of the i-th profile / level information.
  • the information may be encoded so that it can be derived from the level information of the previous profile / level information.
  • the profile information and level information of the PTL information applied to the layer set includes the maximum profile information and level information necessary for decoding all the layers constituting the layer set and the sub-layers associated with each layer. Is set. Also, regarding the profile information and level information of the sublayer, the maximum profile information and level information necessary for decoding sublayers below a specific temporal ID of all layers in the layer set are set.
  • PTL information A and PTL information B the profile information and level information of the PTL information B of the lower layer set (layer set B) are the upper layer
  • the PTL information A of the set (layer set A) is backward compatible. That is, there are at least the following restrictions.
  • the profile compatibility flag of upper layer set A has a profile compatibility flag value corresponding to the profile identifier of lower layer set B being 1 (that is, layer set A is layer Set B is upward compatible).
  • Non-Patent Documents 1 to 3 PTL information (profile information and level information, and sublayer profile information and sublayer level information of a sublayer) respectively applied to a layer set B that is a subset of the upper layer set A and Therefore, there is a problem that the mounting load of the image decoding device is high (the complexity of the image decoding device increases).
  • “scalable highprofile” is a high-level scalable profile that supports all encoding tools of “scalable main profile” and “main profile”
  • “scalable main profile” is the encoding tool of “mainprofile”.
  • “Main profile” represents “main profile” of HEVC described in Non-Patent Document 1. That is, the profile relationship is “main profile” ⁇ “scalable mainprofile” ⁇ “scalable high profile”.
  • an image decoding apparatus that supports the profile “scalable high profile” can decode all the layers (L # 0, L # 1, L # 2) in the layer set A. That is, the layer set A can be completely decoded.
  • an image decoding apparatus that supports the profile “scalable main profile”
  • the profile of the lower layer (L # 1) is Since it is not compatible with the profile of the upper layer (L # 2), the lower layer (L # 1) and the upper layer L # 2 that depend on the decoding of layer L # 2 cannot be decoded, and the lower profile "main profile” Only certain base layer L # 0 can be decoded.
  • encoded data in which the profile of the lower layer is set discontinuously with the profile that is not compatible with the profile of the upper layer may be generated. Therefore, when decoding the encoded data on the image decoding device side, the lower layer on which the decoding target layer depends cannot be decoded, resulting in a problem that the granularity of the scalability of the layer and the scalability of the sublayer becomes coarse. is there.
  • level / tier there is no restriction between the level / tier between the layer sets, and thus the same problem as in the case where there is no profile restriction occurs. That is, on the image encoding device side, encoded data in which the level and tier of the lower layer are set to discontinuously set the level and tier incompatible with the level and tier of the upper layer may be generated. On the device side, there is a problem that the granularity of the scalability of the layer and the scalability of the sublayer becomes coarse, and the flexibility is impaired.
  • the profile and level of the lower layer and the profile / level incompatible with the upper layer profile / level are discontinuous by providing the profile and level restrictions in advance on the image decoding apparatus side and the image encoding apparatus side. This produces an effect of preventing the encoded data set in (2) from being generated.
  • the profile / level that the image decoding apparatus should correspond to can be suppressed to the minimum necessary, the effect of reducing the complexity of the image decoding apparatus is achieved.
  • a syntax (profile / level constraint flag “profile_level_restrict_flag”) indicating whether or not to implement the above-described constraint on the profile and level between the layer sets in the inclusion relationship is specified immediately before each PTL information on the VPS extension data.
  • the VPS decoding unit 102 and the VPS encoding unit 222 may be used for decoding / encoding, respectively.
  • the image decoding apparatus can easily determine the presence / absence of profile / level restrictions in each layer early on the VPS or SPS before decoding the PTL information on the VPS extension data. There is an effect that can be done.
  • a flag indicating the presence or absence of restrictions on the profile and level may be provided.
  • the above-described hierarchical video encoding device 2 and hierarchical video decoding device 1 can be used by being mounted on various devices that perform transmission, reception, recording, and reproduction of moving images.
  • the moving image may be a natural moving image captured by a camera or the like, or may be an artificial moving image (including CG and GUI) generated by a computer or the like.
  • FIG. 50A is a block diagram illustrating a configuration of a transmission device PROD_A in which the hierarchical video encoding device 2 is mounted.
  • the transmission device PROD_A modulates a carrier wave with an encoding unit PROD_A1 that obtains encoded data by encoding a moving image and the encoded data obtained by the encoding unit PROD_A1.
  • a modulation unit PROD_A2 that obtains a modulation signal and a transmission unit PROD_A3 that transmits the modulation signal obtained by the modulation unit PROD_A2 are provided.
  • the hierarchical moving image encoding apparatus 2 described above is used as the encoding unit PROD_A1.
  • the transmission device PROD_A is a camera PROD_A4 that captures a moving image, a recording medium PROD_A5 that records the moving image, an input terminal PROD_A6 that inputs the moving image from the outside, as a supply source of the moving image input to the encoding unit PROD_A1.
  • An image processing unit A7 that generates or processes an image may be further provided.
  • FIG. 50A illustrates a configuration in which the transmission apparatus PROD_A includes all of these, but a part of the configuration may be omitted.
  • the recording medium PROD_A5 may be a recording of a non-encoded moving image, or a recording of a moving image encoded by a recording encoding scheme different from the transmission encoding scheme. It may be a thing. In the latter case, a decoding unit (not shown) for decoding the encoded data read from the recording medium PROD_A5 according to the recording encoding method may be interposed between the recording medium PROD_A5 and the encoding unit PROD_A1.
  • FIG. 50 (b) is a block diagram showing a configuration of a receiving device PROD_B in which the hierarchical video decoding device 1 is mounted.
  • the reception device PROD_B includes a reception unit PROD_B1 that receives a modulation signal, a demodulation unit PROD_B2 that obtains encoded data by demodulating the modulation signal received by the reception unit PROD_B1, and a demodulation A decoding unit PROD_B3 that obtains a moving image by decoding the encoded data obtained by the unit PROD_B2.
  • the above-described hierarchical video decoding device 1 is used as the decoding unit PROD_B3.
  • the receiving device PROD_B has a display PROD_B4 for displaying a moving image, a recording medium PROD_B5 for recording the moving image, and an output terminal for outputting the moving image to the outside as a supply destination of the moving image output by the decoding unit PROD_B3.
  • PROD_B6 may be further provided.
  • FIG. 50B a configuration in which all of these are provided in the receiving device PROD_B is illustrated, but a part of the configuration may be omitted.
  • the recording medium PROD_B5 may be used for recording a non-encoded moving image, or may be encoded using a recording encoding method different from the transmission encoding method. May be. In the latter case, an encoding unit (not shown) for encoding the moving image acquired from the decoding unit PROD_B3 according to the recording encoding method may be interposed between the decoding unit PROD_B3 and the recording medium PROD_B5.
  • the transmission medium for transmitting the modulation signal may be wireless or wired.
  • the transmission mode for transmitting the modulated signal may be broadcasting (here, a transmission mode in which the transmission destination is not specified in advance) or communication (here, transmission in which the transmission destination is specified in advance). Refers to the embodiment). That is, the transmission of the modulation signal may be realized by any of wireless broadcasting, wired broadcasting, wireless communication, and wired communication.
  • a terrestrial digital broadcast broadcasting station (broadcasting equipment or the like) / receiving station (such as a television receiver) is an example of a transmitting device PROD_A / receiving device PROD_B that transmits and receives a modulated signal by wireless broadcasting.
  • a broadcasting station (such as broadcasting equipment) / receiving station (such as a television receiver) of cable television broadcasting is an example of a transmitting device PROD_A / receiving device PROD_B that transmits and receives a modulated signal by cable broadcasting.
  • a server workstation etc.
  • Client television receiver, personal computer, smart phone etc.
  • VOD Video On Demand
  • video sharing service using the Internet is a transmitting device for transmitting and receiving modulated signals by communication.
  • PROD_A / reception device PROD_B usually, either a wireless or wired transmission medium is used in a LAN, and a wired transmission medium is used in a WAN.
  • the personal computer includes a desktop PC, a laptop PC, and a tablet PC.
  • the smartphone also includes a multi-function mobile phone terminal.
  • the video sharing service client has a function of encoding a moving image captured by the camera and uploading it to the server. That is, the client of the video sharing service functions as both the transmission device PROD_A and the reception device PROD_B.
  • FIG. 51A is a block diagram illustrating a configuration of a recording apparatus PROD_C in which the above-described hierarchical video encoding apparatus 2 is mounted.
  • the recording device PROD_C includes an encoding unit PROD_C1 that obtains encoded data by encoding a moving image, and the encoded data obtained by the encoding unit PROD_C1 on the recording medium PROD_M.
  • the hierarchical moving image encoding device 2 described above is used as the encoding unit PROD_C1.
  • the recording medium PROD_M may be of a type built in the recording device PROD_C, such as (1) HDD (Hard Disk Drive) or SSD (Solid State Drive), or (2) SD memory. It may be of the type connected to the recording device PROD_C, such as a card or USB (Universal ⁇ ⁇ ⁇ ⁇ ⁇ Serial Bus) flash memory, or (3) DVD (Digital Versatile Disc) or BD (Blu-ray (registered trademark)) ) (Disc) or the like, it may be loaded into a drive device (not shown) built in the recording device PROD_C.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • SD memory Secure Digital memory
  • DVD Digital Versatile Disc
  • BD Blu-ray (registered trademark)
  • the recording device PROD_C is a camera PROD_C3 that captures moving images as a supply source of moving images to be input to the encoding unit PROD_C1, an input terminal PROD_C4 for inputting moving images from the outside, and reception for receiving moving images.
  • the unit PROD_C5 and an image processing unit C6 that generates or processes an image may be further provided.
  • FIG. 51A a configuration in which the recording apparatus PROD_C includes all of these is illustrated, but a part of the configuration may be omitted.
  • the receiving unit PROD_C5 may receive a non-encoded moving image, or may receive encoded data encoded by a transmission encoding scheme different from the recording encoding scheme. You may do. In the latter case, a transmission decoding unit (not shown) that decodes encoded data encoded by the transmission encoding method may be interposed between the reception unit PROD_C5 and the encoding unit PROD_C1.
  • Examples of such a recording device PROD_C include a DVD recorder, a BD recorder, and an HDD (Hard Disk Drive) recorder (in this case, the input terminal PROD_C4 or the receiving unit PROD_C5 is a main supply source of moving images).
  • a camcorder in this case, the camera PROD_C3 is a main source of moving images
  • a personal computer in this case, the receiving unit PROD_C5 or the image processing unit C6 is a main source of moving images
  • a smartphone in this case In this case, the camera PROD_C3 or the receiving unit PROD_C5 is a main supply source of moving images
  • the camera PROD_C3 or the receiving unit PROD_C5 is a main supply source of moving images
  • FIG. 51 is a block showing a configuration of a playback device PROD_D in which the above-described hierarchical video decoding device 1 is mounted.
  • the playback device PROD_D reads a moving image by decoding a read unit PROD_D1 that reads encoded data written on the recording medium PROD_M and a coded data read by the read unit PROD_D1. And a decoding unit PROD_D2 to be obtained.
  • the hierarchical moving image decoding apparatus 1 described above is used as the decoding unit PROD_D2.
  • the recording medium PROD_M may be of the type built into the playback device PROD_D, such as (1) HDD or SSD, or (2) such as an SD memory card or USB flash memory, It may be of a type connected to the playback device PROD_D, or (3) may be loaded into a drive device (not shown) built in the playback device PROD_D, such as DVD or BD. Good.
  • the playback device PROD_D has a display PROD_D3 that displays a moving image, an output terminal PROD_D4 that outputs the moving image to the outside, and a transmission unit that transmits the moving image as a supply destination of the moving image output by the decoding unit PROD_D2.
  • PROD_D5 may be further provided.
  • FIG. 51B illustrates a configuration in which the playback apparatus PROD_D includes all of these, but a part may be omitted.
  • the transmission unit PROD_D5 may transmit an unencoded moving image, or transmits encoded data encoded by a transmission encoding method different from the recording encoding method. You may do. In the latter case, it is preferable to interpose an encoding unit (not shown) that encodes a moving image with an encoding method for transmission between the decoding unit PROD_D2 and the transmission unit PROD_D5.
  • Examples of such a playback device PROD_D include a DVD player, a BD player, and an HDD player (in this case, an output terminal PROD_D4 to which a television receiver or the like is connected is a main supply destination of moving images).
  • a television receiver in this case, the display PROD_D3 is a main supply destination of moving images
  • a digital signage also referred to as an electronic signboard or an electronic bulletin board
  • the display PROD_D3 or the transmission unit PROD_D5 is a main supply of moving images.
  • Desktop PC (in this case, the output terminal PROD_D4 or the transmission unit PROD_D5 is the main video image supply destination), laptop or tablet PC (in this case, the display PROD_D3 or the transmission unit PROD_D5 is a moving image)
  • a smartphone which is a main image supply destination
  • a smartphone in this case, the display PROD_D3 or the transmission unit PROD_D5 is a main moving image supply destination
  • the like are also examples of such a playback device PROD_D.
  • each block of the hierarchical video decoding device 1 and the hierarchical video encoding device 2 may be realized in hardware by a logic circuit formed on an integrated circuit (IC chip), or may be a CPU (Central It may be realized by software using a Processing Unit).
  • IC chip integrated circuit
  • CPU Central It may be realized by software using a Processing Unit
  • each of the devices includes a CPU that executes instructions of a control program that realizes each function, a ROM (Read Memory) that stores the program, a RAM (Random Access Memory) that expands the program, the program, and A storage device (recording medium) such as a memory for storing various data is provided.
  • An object of the present invention is to provide a recording medium in which a program code (execution format program, intermediate code program, source program) of a control program for each of the above devices, which is software that realizes the above-described functions, is recorded in a computer-readable manner This can also be achieved by supplying each of the above devices and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU (Micro Processing Unit)).
  • a program code execution format program, intermediate code program, source program
  • Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, CD-ROMs (Compact Disc-Read-Only Memory) / MO (Magneto-Optical) / Discs including optical discs such as MD (Mini Disc) / DVD (Digital Versatile Disc) / CD-R (CD Recordable), cards such as IC cards (including memory cards) / optical cards, mask ROM / EPROM (Erasable) Programmable Read-only Memory / EEPROM (registered trademark) (ElectricallyErasable Programmable Read-only Memory) / Semiconductor memories such as flash ROM, or logic circuits such as PLD (Programmable Logic Device) and FPGA (Field Programmable Gate Array) Etc. can be used.
  • tapes such as magnetic tapes and cassette tapes
  • magnetic disks such as floppy (registered trademark) disks / hard disks
  • each of the above devices may be configured to be connectable to a communication network, and the program code may be supplied via the communication network.
  • the communication network is not particularly limited as long as it can transmit the program code.
  • the Internet intranet, extranet, LAN (Local Area Network), ISDN (Integrated Services Digital Network), VAN (Value-Added Network), CATV (Community Area Antenna Television) communication network, Virtual Private Network (Virtual Private Network), A telephone line network, a mobile communication network, a satellite communication network, etc. can be used.
  • the transmission medium constituting the communication network may be any medium that can transmit the program code, and is not limited to a specific configuration or type.
  • IEEE Institute of Electrical and Electronic Engineers 1394, USB, power line carrier, cable TV line, telephone line, ADSL (Asymmetric Digital Subscriber Line) line, etc. wired such as IrDA (Infrared Data Association) or remote control Bluetooth (registered trademark), IEEE 802.11 wireless, HDR (High Data Rate), NFC (Near Field Communication), DLNA (registered trademark) (Digital Living Network Alliance), mobile phone network, satellite line, terrestrial digital network, etc. It can also be used wirelessly.
  • the present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.
  • An image decoding apparatus is an image decoding apparatus that decodes hierarchically encoded data, and a profile presence / absence flag that decodes a profile presence / absence flag indicating the presence / absence of profile information in PTL information in a PTL information list.
  • the profile presence flag is 1
  • the PTL information decoding means decodes the profile information of the PTL information from the encoded data
  • the profile information When the presence / absence flag is 0, the profile information in the PTL information is estimated to be equal to the profile information of the previously decoded PTL information.
  • An image decoding apparatus includes a sublayer profile presence / absence flag decoding unit that decodes a sublayer profile presence / absence flag indicating presence / absence of each sublayer profile information in the above aspect 1, and the PTL information decoding unit includes When the sublayer profile information presence / absence flag of the sublayer is 1, the sublayer profile information of each sublayer is decoded from the encoded data. When each of the sublayer profile information presence / absence flags is 0, each sublayer profile information included in each of the PTL information Is estimated to be equal to each corresponding sublayer profile information included in the previously decoded PTL information.
  • the sublayer profile information of each sublayer is decoded or estimated to be equal to each corresponding sublayer profile information included in the previously decoded PTL information Decide what to do.
  • the image decoding apparatus includes, in the above aspect 1, sublayer level information presence / absence flag decoding means for decoding a sublayer level presence / absence flag indicating the presence / absence of each sublayer level information, and the PTL information decoding means includes: When the sublayer level information presence / absence flag of each sublayer is 1, the sublayer level information of each sublayer is decoded from the encoded data. When the sublayer level information presence / absence flag is 0, each sublayer level information included in the PTL information is It has been added that it is estimated that each corresponding sub-layer level information included in the previously decoded PTL information is equal.
  • the sublayer level information of each sublayer is decoded or estimated to be equal to the corresponding sublayer level information included in the previously decoded PTL information You can decide what to do. .
  • the profile information may include at least a profile space, a tier flag, a profile identifier, and a profile compatibility flag.
  • profile information including at least a profile space, a tier flag, a profile identifier, and a profile compatibility flag can be obtained by decoding or estimation.
  • the image decoding apparatus may include at least a sublayer profile space, a sublayer tier flag, a sublayer profile identifier, and a sublayer profile compatibility flag in the sublayer profile information.
  • sublayer profile information including at least the sublayer profile space, the sublayer tier flag, the sublayer profile identifier, and the sublayer profile compatibility flag can be obtained by decoding or estimation.
  • the value of the sublayer profile presence / absence flag relating to each sublayer included in the PTL information may be 0.
  • the value of the sublayer profile presence / absence flag regarding each sublayer included in the PTL information can be 0.
  • An image decoding method is an image decoding method for decoding hierarchically encoded data, and a profile presence / absence flag for decoding a profile presence / absence flag indicating presence / absence of profile information in PTL information in a PTL information list.
  • the profile presence / absence flag is 1, the PTL information decoding step decodes the profile information of the PTL information from encoded data, and the presence / absence of the profile information When the flag is 0, it is estimated that the profile information in the PTL information is equal to the profile information of the previously decoded PTL information.
  • An image encoding device is an image encoding device that hierarchically encodes image data to generate hierarchical encoded data, and encodes PTL information indicating a profile of the hierarchical encoded data.
  • the PTL information encoding unit when the PTL information encoding unit encodes the profile information into the PTL information, encodes the value of the profile presence flag as 1, When the profile information in the PTL information is estimated to be the same as the profile information of the PTL information encoded immediately before, the profile presence / absence flag value is encoded as 0.
  • the value of the profile presence / absence flag is set according to whether the profile information of the PTL information is encoded or is estimated to be equal to the profile information of the previously encoded PTL information. Can be set and encoded.
  • An image encoding method is an image encoding method for generating image hierarchically encoded data by hierarchically encoding image data, and encodes PTL information indicating a profile of the hierarchically encoded data.
  • the PTL information encoding step wherein when encoding profile information in the PTL information, the PTL information encoding step encodes the value of the profile presence / absence flag as 1, and sets the profile information in the PTL information as follows: When it is estimated that it is equal to the profile information of the PTL information encoded immediately before, the value of the profile presence / absence flag is encoded as 0.
  • the value of the profile presence / absence flag is set according to whether the profile information of the PTL information is encoded or is estimated to be equal to the profile information of the previously encoded PTL information. Can be set and encoded.
  • An image decoding apparatus decodes hierarchically encoded data in which image information relating to images of different quality for each layer is hierarchically encoded, and an image in a target layer to be decoded And a profile / level information decoding unit that decodes profile / level information indicating a profile of the hierarchically encoded data, and the profile / level information decoding unit includes the profile / level information decoding unit in the profile / level information.
  • the i-th reference PTL information specification index indicates the relative position between the i-th profile / level information and the referenced profile / level information. It is the structure handled as.
  • the profile of the first profile / level information and the tier information can be estimated from the zeroth profile / level information.
  • An image decoding apparatus decodes hierarchically encoded data in which image information relating to images of different quality for each layer is hierarchically encoded, and an image in a target layer to be decoded And a profile / level information decoder for decoding profile / level information indicating a profile of the hierarchically encoded data, and the profile / level information decoded by the profile / level information decoder
  • the reference PTL information designation index is changed to the reference profile so that the profile of the first profile / level information and the tier information can be estimated based on the 0th profile / level information.
  • An image decoding apparatus decodes hierarchically encoded data in which image information relating to images of different quality for each layer is hierarchically encoded, and an image in a target layer to be decoded And a profile / level information decoder for decoding profile / level information indicating a profile of the hierarchically encoded data, and the profile / level information decoded by the profile / level information decoder ,
  • a VPS profile presence / absence flag may be included instead of the reference PTL information designation index.
  • the profile and tier information of the i-th profile / level information can be estimated from the (i-1) -th profile / level information, bits can be suppressed. it can.
  • the profile / level information decoding unit when the level information for the i-th sublayer is not presented, the level is , (I + 1) th sublayer may be estimated to be equal to the smaller one of the level identifier level and the level identifier level.
  • the sublayer whose temporal ID is equal to 1 is clarified. It is possible to avoid undefined display.
  • the profile / level information decoding unit when the sublayer profile presence flag of the i-th sublayer is 1, the profile of the sublayer The information may be determined to exist in the encoded data of the target layer, and the sublayer profile information of the sublayer may be decoded based on the encoded data.
  • the profile / level information decoding unit decodes the level information of the highest sublayer based on the encoded data of the target layer. For the sub-layer level information of each sub-layer excluding the highest-order sub-layer, if the sub-layer level presence flag of the i-th sub-layer is 1, it is determined that the level information of the sub-layer is present in the encoded data of the target layer, and the code The sublayer level information of the sublayer is decoded based on the coded data, and when the sublayer level presence flag of the i-th sublayer is 0, predetermined level information may be set in the sublayer level information of the sublayer .
  • the profile / level information decoding unit has a level presence / absence flag of 1 and the presence / absence of a sublayer level of the i-th sublayer.
  • the flag is 1 If the sublayer level presence flag of the i-th sublayer is 0, predetermined level information is set in the sublayer level information of the sublayer, the level presence flag is 0, and the sublayer of the i-th sublayer When the level presence / absence flag is 1, the level information of the sublayer exists in the encoded data of the target layer.
  • level information of a sublayer designated by the i-th reference PTL information designation index may be set.
  • the image decoding apparatus is the image decoding apparatus according to the other aspect 3, wherein a VPS level presence / absence flag is added to the profile / level information, and the profile / level information decoding unit When the presence / absence flag is equal to “0”, the level information of the i-th profile / level information may be derived from the level information of the previous profile / level information.
  • the sublayer whose temporal ID is equal to 1 is clarified. It is possible to avoid undefined display.
  • An image encoding device is an image encoding device that generates hierarchically encoded data in which image information relating to images of different quality for each layer is hierarchically encoded.
  • a profile / level information encoding unit that encodes profile / level information indicating a profile of the hierarchically encoded data, and the profile / level information encoding unit includes an i-th reference PTL in the profile / level information.
  • the semantics of the information designation index are encoded such that the i-th reference PTL information designation index designates a relative position between the i-th profile / level information and the referenced profile / level information.
  • the profile of the first profile / level information and the tier information can be estimated from the zeroth profile / level information.
  • An image encoding device is an image encoding device that generates hierarchically encoded data in which image information relating to images of different quality for each layer is hierarchically encoded.
  • a profile / level information encoding unit that encodes profile / level information indicating a profile of the hierarchically encoded data, and the profile / level information encoding unit encodes the first
  • the reference PTL information designation index is changed to the reference profile so that the profile and tier information of the current profile / level information can be estimated based on the 0th profile / level information.
  • An image encoding / decoding device is an image encoding device that generates hierarchically encoded data in which image information relating to images of different quality for each layer is hierarchically encoded.
  • a profile / level information encoding unit that encodes profile / level information indicating a profile of the hierarchically encoded data, and is referenced in the profile / level information encoded by the profile / level information encoding unit
  • a VPS profile presence / absence flag may be included.
  • the profile and tier information of the i-th profile / level information can be estimated from the (i-1) -th profile / level information, bits can be suppressed. it can.
  • the image coding apparatus in the other aspect 9 or 10, when the profile / level information encoding unit does not present level information for the i-th sublayer, the level is , (I + 1) th sub-layer, and level identifier may be encoded so as to be estimated to be equal to the smaller one.
  • the sublayer whose temporal ID is equal to 1 is clarified. It is possible to avoid undefined display.
  • the profile / level information encoding unit when the sublayer profile presence flag of the i-th sublayer is 1, the sublayer The profile information may include sub-layer profile information in the encoded data of the target layer.
  • the profile / level information encoding unit includes the level information of the highest sublayer in the encoded data of the target layer, For the sublayer level information of each sublayer excluding the highest order sublayer, when the sublayer level presence flag of the i-th sublayer is 1, the sublayer level information is included in the encoded data of the target layer and the sublayer includes the sublayer level information.
  • predetermined level information may be set in the sublayer level information of the sublayer.
  • the profile / level information encoding unit has a level presence flag of 1 and a sublayer of the i-th sublayer.
  • the level presence / absence flag is 1, the level information of the sublayer is included in the encoded data of the target layer, the sublayer level information of the sublayer is included in the encoded data, the level presence / absence flag is 1, and If the sublayer level presence flag of the i-th sublayer is 0, predetermined level information is set in the sublayer level information of the sublayer, the level presence flag is 0, and the sublayer level presence flag of the i-th sublayer is 1, the sub-layer level information is included in the encoded data of the target layer, and the encoded data Including the sublayer level information of the sublayer, if the level presence flag is 0 and the sublayer level presence flag of the i-th sublayer is 0, the i-th reference PTL information designation index is added to the sublayer level information of the sublayer.
  • a VPS level presence / absence flag is added to the profile / level information
  • the profile / level information encoding unit includes: When the VPS level presence / absence flag is equal to “0”, the level information of the i-th profile / level information may be encoded so as to be derived from the level information of the previous profile / level information. .
  • the sublayer whose temporal ID is equal to 1 is clarified. It is possible to avoid undefined display.
  • An image decoding apparatus decodes hierarchically encoded data in which image information relating to images of different quality for each layer is hierarchically encoded, and an image in a target layer to be decoded
  • a profile / level information decoding unit that decodes profile / level information indicating a profile of the hierarchically encoded data, and the profile / level information decoding unit includes the profile / level information in the profile / level information.
  • Lower layer set profile space value ⁇ upper layer set profile space value, lower layer set profile identifier value ⁇ upper layer set profile identifier value, lower layer set tier flag value ⁇ Tier flag value of upper layer set, upper layer set A It may be configured to decode the encoded data that satisfies the value of the level identifier value ⁇ the lower layer set B Bell identifier.
  • the image decoding apparatus and the image encoding apparatus according to each aspect of the present invention may be realized by a computer.
  • the computer is operated as each unit included in the image decoding apparatus and the image encoding apparatus. Accordingly, a control program for realizing the image decoding apparatus and the image encoding apparatus on a computer and a computer-readable recording medium on which the control program is recorded also fall within the scope of the present invention.
  • the present invention relates to a hierarchical video decoding device that decodes encoded data in which image data is hierarchically encoded, and a hierarchical video encoding device that generates encoded data in which image data is hierarchically encoded. It can be suitably applied to. Further, the present invention can be suitably applied to the data structure of hierarchically encoded data that is generated by a hierarchical video encoding device and referenced by the hierarchical video decoding device.
  • Level information decoding unit 1021c ... Sublayer profile presence / absence flag decoding unit 1021d ... Sublayer level presence / absence flag decoding unit 1021e ... Byte-aligned data decoding unit 1 21f ... Reference profile level selection unit 1022 ... Reference PTL designation information decoding unit 1023 ... Profile presence / absence flag decoding unit 301 ... Entropy decoding unit 302 ... Prediction parameter decoding unit 303 ... Inter prediction parameter decoding unit 304 ... Intra prediction parameter decoding unit 307 ... Prediction Parameter memory 308 ... Predictive image generation unit 309 ... Inter prediction image generation unit 310 ... Intra prediction image generation unit 311 ... Inverse quantization / inverse DCT unit 312 ... Addition unit 2 ...
  • Image encoding device hierarchical video encoding device 201 ... Prediction image generation unit 202 ... subtraction unit 203 ... DCT transformation / quantization unit 204 ... entropy coding unit 205 ... inverse quantization / inverse DCT transformation unit 206 ... addition unit 208 ... prediction parameter memory 210 ... coding parameter determination unit 211 ... Prediction parameter encoding unit 222... VP Encoding unit 2221 ... PTL information encoding unit 2221 a ... profile information encoding unit 2221 b ... level information encoding unit 2221C ... sublayer profile presence flag coding unit 2221D ... sublayer level existence flag coding unit 2221E ... byte aligned data encoding unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　プロファイル情報、及びレベル情報の復号／符号化に係る処理量の低減、及び符号量を削減する。　階層符号化データを復号する画像復号装置は、ＰＴＬ（プロファイル／ティア／レベル）情報リスト中のＰＴＬ情報内のプロファイル情報の有無を示すプロファイル有無フラグを復号するプロファイル有無フラグ復号手段と、ＰＴＬ情報を復号するＰＴＬ情報復号手段（１０２１）とを備える。上記ＰＴＬ情報復号手段は、上記プロファイル有無フラグが１の場合、符号化データより、上記ＰＴＬ情報のプロファイル情報を復号し、上記プロファイル情報有無フラグが０の場合、上記ＰＴＬ情報内のプロファイル情報を、１つ前に復号されたＰＴＬ情報のプロファイル情報と等しいと推定する。

Description

画像復号装置、画像復号方法、画像符号化装置、及び画像符号化方法
　本発明は、画像が階層的に符号化された階層符号化データを復号する画像復号装置および画像復号方法、ならびに画像を階層的に符号化することによって階層符号化データを生成する画像符号化装置および画像復号方法に関する。
　通信システムで伝送される情報、あるいは蓄積装置に記録される情報の１つに画像あるいは動画像がある。従来、これらの画像（以降、動画像を含む）の伝送・蓄積のため、画像を符号化する技術が知られている。
　動画像符号化方式としては、ＡＶＣ（H.264/MPEG-4 Advanced Video Coding）や、その後継コーデックであるＨＥＶＣ（High-Efficiency Video Coding）が知られている（非特許文献１）。
　これらの動画像符号化方式では、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
　ＨＥＶＣでは、６０fpsのコンテンツを３０fpsで再生する場合のような、時間的に間引いたフレームレートで再生する場合を想定してテンポラルスケーラビリティ（時間スケーラビリティ）を実現する技術が用いられている。具体的には、各ピクチャに時間識別子(TemporalID、サブレイヤ識別子とも呼ばれる)を割り当て、時間識別子の高いピクチャは、その時間識別子よりも小さい時間識別子のピクチャを参照しない、という制約を課している。これにより、特定の時間識別子のピクチャのみを間引いて再生する場合には、それよりも高い時間識別子が付加されたピクチャの復号は不要になる。
　また、近年、必要なデータレートに従って、画像を階層的に符号化するスケーラブル符号化技術、又は階層符号化技術が提案されている。代表的なスケーラブル符号化方式（階層符号化方式）としてＳＨＶＣ（Scalable HEVC）、及びＭＶ-ＨＥＶＣ(MultiView HEVC)が知られている。
　ＳＨＶＣでは、空間スケーラビリティ、時間スケーラビリティ、ＳＮＲスケーラビリティをサポートする。例えば空間スケーラビリティの場合、原画像から所望の解像度にダウンサンプリングした画像を下位レイヤとして符号化する。次に上位レイヤではレイヤ間の冗長性を除去するためにレイヤ間予測を行う（非特許文献２）。
　MV-HEVCでは、視点スケーラビリティ（ビュースケーラビリティ）をサポートする。例えば、視点画像０（レイヤ０）、視点画像１（レイヤ１）、視点画像２（レイヤ２）の３つの視点画像を符号化する場合、下位レイヤ（レイヤ０）から、上位レイヤである視点画像１、視点画像２をレイヤ間予測により予測することによりレイヤ間の冗長性の除去が可能である（非特許文献３）。
　ＳＨＶＣやＭＶ-ＨＥＶＣ等のスケーラブル符号化方式において利用されるレイヤ間予測には、レイヤ間画像予測とレイヤ間動き予測がある。レイヤ間画像予測では、下位レイヤ（あるいは、対象レイヤとは異なる別レイヤ）の復号済ピクチャのテクスチャ情報（画像）を利用して、対象レイヤの予測画像を生成する。レイヤ間動き予測では、下位レイヤ（あるいは、対象レイヤとは異なる別レイヤ）の復号済ピクチャの動き情報を利用して、対象レイヤの動き情報の予測値を導出する。すなわち、対象レイヤの参照ピクチャとして、下位レイヤ（あるいは、対象レイヤと異なる別レイヤ）の復号済ピクチャを利用することで、レイヤ間予測を行う。
　また、非特許文献１では、画像復号装置（デコーダ）がどのような画像の符号化データ（または、階層符号化データ）を復号するのに必要とされる処理能力を規定するために、プロファイル(profile)とレベル(level)が定義されている。
　プロファイルは、特定のアプリケーションを想定し、規格に準拠するデコーダが備えるべき処理機能を規定するものであり、符号化ツール（要素技術）の組み合わせ、あるいは集合によって定義される。プロファイルを規定することで、個々のアプリケーションでは、規格全体でなく、適したプロファイルのみを実装すればよく、デコーダ／エンコーダの複雑度を低減することが可能となるメリットがある。
　レベルは、デコーダの処理能力上限や回路規模の範囲を規定するものであり、単位時間当たりの最大処理画素数、画像の最大解像度、最大ビットレート、最大参照画像バッファサイズ、最低限の圧縮率などのパラメータの制限を規定している。すなわち、レベルはデコーダの処理能力やビットストリームの複雑さを規定するものである。また、レベルでは、各プロファイルで規定されたツールを、どの範囲までサポートするかについても規定されている。そのため、上位のレベルでは、下位のレベルをサポートする必要がある。
　例えば、非特許文献１では、レベル制限される各種パラメータは、図５２（ａ）に示すように、最大輝度ピクチャサイズ（Max luma picture size）、最大ビットレート(Max bitrate)、最大ＣＰＢサイズ(Max CPB size)、ピクチャ単位当りの最大スライスセグメント数(Max slice segments per picture)、ピクチャ単位当たりの最大タイル行数(Max number of tile rows)、ピクチャ単位当たりの最大タイル列数(Max number of tile columns)が挙げられる。また、特定のプロファイルに対して適用される、レベル制限される各種パラメータは、図５２（ｂ）に示すように、最大輝度サンプルレート（Max luma sample rate）、最大ビットレート（Max bit rate）、及び最低圧縮比率(Min compression Ratio)が挙げられる。なお、レベルのサブ概念として、各レベルに対応するビットストリーム（符号化データ）の最大ビットレート、及びビットストリームを格納する最大ＣＰＢサイズがメインティア（Main tier:コンシューマ用）で規定される値か、または、ハイティア（High tier:業務用）で規定される値であるか表す“ティア”(tier)がある。
　例えば、非特許文献１では、プロファイルとして、メインプロファイルが定義されている。メインプロファイルでは、例えば、図５３の（ａ）に示すような符号化ツールの制約が規定されている。また、メインプロファイルでは、図５２に示すレベルで規定される制限のほかに、図５３の（ｂ）に示す追加のレベル制限が規定されている。
　また、ビットストリームが、どのプロファイルに準拠するものであるかは、非特許文献１では、図５４に示すプロファイル／レベル情報（以降、ＰＴＬ情報とも称する）profile_tier_level()上のプロファイル識別子general_profile_idc（図５４上のシンタックス群ＳＹＮＰＴＬ０１）によって指定される。例えば、メインプロファイルに準拠する場合は、general_profile_idcの値は、１に設定される。
　また、プロファイル識別子general_profile_idcで指定されるプロファイル以外のプロファイルに準拠するデコーダで現ビットストリームを復号できるかどうかを示すgeneral_profile_compatibility_flag[i]（図５４上のシンタックス群ＳＹＮＰＴＬ０１）がある。例えば、メインプロファイルと互換がある場合は、general_profile_compatibility_flag[ 1 ] = 1と設定される。
　また、ビットストリームの複雑さ、あるいはビットストリームを復号するために必要とするデコーダの能力を示すレベルが、図５２のいずれのレベルに準拠するものであるかは、ＰＴＬ情報profile_tier_level()上のレベル識別子general_level_idc（図５４上のＳＹＮＰＴＬ０２）によって指定される。例えば、レベル識別子general_level_idcの値が、“６１”を示す場合は、図５２のレベル６．１に対応し、レベル識別子general_level_idcの値が、“１０”である場合は、図５２のレベル１に対応することを表す。すなわち、レベル識別子general_level_idcの示す値の十の桁（二桁目）、一の桁（一桁目）は、それぞれ、図５２上のレベルの整数と、小数点の値と対応する。
　また、レベル識別子general_level_idcで指定されるレベルのうち、ティアがメインティアであるか、ハイティアであるかを示すティアフラグgeneral_tier_flag（図５４上のシンタックス群ＳＹＮＰＴＬ０１）がある。ティアフラグgeneral_tier_flagの値が０の場合、メインティアであること示し、値が１の場合、ハイティアであることを示す。
　また、図５４に示すＰＴＬ情報profile_tier_level()では、時間スケーラビリティに関するレイヤ（以降、サブレイヤ、またはテンポラルサブレイヤとも称する）毎のプロファイル情報（以降、サブレイヤプロファイル情報と称する、図５４上のシンタックス群ＳＹＮＰＴＬ０５）、およびレベル情報(以降、サブレイヤレベル情報と称する、図５４上のシンタックスＳＹＮＰＴＬ０６)を、サブレイヤプロファイル有無フラグsub_layer_profile_present_flag[ i ]（図５４上のシンタックス群ＳＹＮＰＴＬ０３）、サブレイヤレベル有無フラグsub_layer_level_present_flag[ i ]（図５４上のシンタックス群ＳＹＮＰＴＬ０３）がそれぞれ１であれば、明示的に指定することができる。
　なお、ＰＴＬ情報profile_tier_level()は、非特許文献１では、図１０の（ａ）に示すビデオパラメータセットＶＰＳ（Video Parameter Set）、およびシーケンスパラメータセットＳＰＳ（Sequence Parameter Set）の両方のパラメータセットにおいてシグナルされている。
　また、ＳＨＶＣ（非特許文献２）やＭＶ-ＨＥＶＣ（非特許文献３）等のスケーラブル符号化では、ある階層符号化された符号化データ（ビットストリーム）に含まれる各レイヤセットに適用されるＰＴＬ情報がビットストリーム中でシグナルされる。具体的には、ビデオパラメータセット上の図５５のＳＹＮＶＰＳ０２において、レイヤセット０（ベースレイヤ）に関するＰＴＬ情報profile_tier_level()がシグナルされ、ビデオパラメータセット拡張データ（図５６）上に、ビットストリームに含まれるＰＴＬ情報の総数－１の値”vps_num_profile_tier_level_minus1”(図５６上のＳＹＮＶＰＳ０Ｄ)、及びvps_num_profile_tier_level_minus1個のＰＴＬ情報（図５６上のＳＹＮＶＰＳ０Ｇ）からなるＰＴＬ情報リストがシグナルされる。続いて、各レイヤセット（レイヤセットi）に適用されるＰＴＬ情報を指定するＰＴＬ情報指定インデクス“profile_tier_level_idx [i]”（図５６上のシンタックス群ＳＹＮＶＰＳ０Ｈ）をシグナルすることで、レイヤセット単位毎にＰＴＬ情報をシグナルする場合と比較して、ＰＴＬ情報の符号量を削減することができる。また、ＰＴＬ情報リスト内に含まれるｉ番目のＰＴＬ情報と、同一のプロファイル情報を有するｉ番目より前のＰＴＬ情報がＰＴＬ情報リスト内に存在すれば、ＶＰＳプロファイル有無フラグ“vps_profile_present_flag[i]”（図５６上のＳＹＮＶＰＳ０Ｅ）の値を０としてシグナルし、さらにＰＴＬ情報リスト上での該当するＰＴＬ情報の位置を示すインデクス（参照ＰＴＬ情報指定インデクス）“profile_ref_minus1[i]”（図５６上のＳＹＮＶＰＳ０Ｆ）をシグナルし、ｉ番目のＰＴＬ情報のプロファイル情報に、“profile_ref_minus1[i] + 1”番目のＰＴＬ情報のプロファイル情報を継承することで、プロファイル情報を重複してシグナルする冗長性を削減することができる（図５７、６２）。
　換言すれば、従来の、レイヤセット（layer set）のためのプロファイル／レベル情報profile_tier_level()に関するシンタックスの構造をシグナルする方法は、以下のように要約される。すなわち、
・プロファイル／レベル情報profile_tier_level()に関するシンタックスの構造のリストをシグナルする。
・ｉ番目のレイヤセットに適用するプロファイル／レベル情報を、ｉ番目のＰＴＬ情報指定インデクスprofile_level_tier_idx[i]により指定されるＰＴＬ情報をＰＴＬ情報リストから選択する。
　また、上記リストにおけるプロファイル／レベル情報profile_tier_level()のシグナリングの詳細は以下の通りである。
・各プロファイル／レベル情報profile_tier_level()において、ｉ番目のＶＰＳプロファイル有無フラグvps_profile_present_flag[i]がシグナルされ、該フラグが「０」にセットされる時、ｉ番目の参照ＰＴＬ情報指定インデクスprofile_ref_minus1[i]もまたシグナルされ、ｉ番目のプロファイル／レベル情報profile_tier_level()の汎用プロファイル情報general profile informationは、（profile_ref_minus1[i] + 1）番目のプロファイル／レベル情報p profile_tier_level()の汎用プロファイル情報から推定される。
・各プロファイル／レベル情報profile_tier_level()のプロファイルおよびレベルのシグナリングにおいて、ｉ番目のサブレイヤのプロファイルおよびレベルは、各々、サブレイヤプロファイル有無フラグsub_layer_profile_present_flag、およびｉ番目のサブレイヤレベル有無フラグsub_layer_level_present_flag[i]によって、省略され得る。
　図５９は、従来のＰＴＬ復号部の概略構成を示す図であり、また、図６１は、図５９に示す従来のＰＴＬ復号部の復号動作の概要を示す図である。図６０は、従来のＰＴＬ符号化部の概略構成を示す図である。
「Recommendation H.265 (04/13)」, ITU-T (２０１３年６月７日公開) JCTVC-N1008_v3 「SHVC Draft 3」, Joint Collaborative Team onVideo Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Vienna, AT, 25 July - 2 Aug. 2013 (２０１３年８月２０日公開) JCT3V-E1008_v5 「MV-HEVC Draft Text 5」, Joint CollaborativeTeam on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 5th Meeting: Vienna, AT, 27 July - 2 Aug. 2013 (２０１３年８月７日公開)
　しかしながら、従来技術におけるビデオパラメータセット拡張データ上でのＰＴＬ情報profile_tier_level()のシグナルに関して、次の課題がある。
　（１）非特許文献２及び３において、「“profile_ref_minus1[i]”の値の範囲は、ｉ未満である」と制約されている。そのため、ＰＴＬ情報リスト上の１番目のＰＴＬ情報のＶＰＳプロファイル有無フラグ“vsp_profile_present_flag[1]”が０の場合、参照ＰＴＬ情報指定インデクス“profile_ref_minus1[1]+1”により、ＰＴＬ情報リスト上の０番目（先頭）のＰＴＬ情報を参照先として指定することができないという課題がある。また、仮に０番目のＰＴＬ情報を参照先として指定することを禁止するのであれば、ＰＴＬ情報リスト上の１番目のＰＴＬ情報において、ＶＰＳプロファイル有無フラグ“vps_profile_present_flag[1]”及び、参照ＰＴＬ情報指定インデクス“profile_ref_minus1[1]”の符号量が冗長であるという課題がある。
　（２）また、エンコーダでは、ＰＴＬ情報リスト中でシグナルするＰＴＬ情報を予め類似順に並び替え符号化することで、ｉ番目のＰＴＬ情報の多くは、直前のＰＴＬ情報を参照する確率を高くすることができる。しかし、従来技術では、参照ＰＴＬ情報インデクス“profile_ref_minus1”を常に６ビットによる固定長で符号化しており、符号量が冗長であるという課題がある。
　（３）ｉ番目のＰＴＬ情報を、(profile_ref_minus1[i]+1)番目のＰＴＬ情報よりプロファイル情報を参照する場合、参照先((profile_ref_minus1[i]+1)番目)のＰＴＬ情報において、あるサブレイヤのプロファイル情報がシグナルされていない場合、参照元（ｉ番目）のＰＴＬ情報において、対応するサブレイヤのプロファイル情報が不定となる課題がある。同様に、ｉ番目のＰＴＬ情報において、あるサブレイヤのレベル情報がシグナルされていない場合、ｉ番目のＰＴＬ情報を参照するレイヤセットにおいて、対応するサブレイヤのレベル情報が不定となる課題がある（図６１上のSC115を参照）。
　例えば、階層符号化された符号化データ（ビットストリーム）から、サブビットストリーム抽出処理によって抽出された、対象レイヤセットのビットストリームをデコーダが復号しようとすると仮定する。このとき、デコーダが対応するレベルが、対象レイヤセットの最高次サブレイヤ（あるいは、最高次テンポラルレイヤ）のレベル（general_level_idc）未満の場合、デコーダは対象レイヤセットを含むビットストリームを復号するために必要な処理能力がないため、動画再生時に、意図しないフレームドロップが発生する可能性がある。一方、各サブレイヤに対して、適切にレベル情報が付与されていれば、デコーダは対象レイヤセットのＰＴＬ情報の各サブレイヤのレベル情報を参照し、デコーダが対応するプロファイル、及びレベルを満たすサブセット（レイヤ及びサブレイヤ）のビットストリームを対象レイヤセットのビットストリームから抽出し（サブビットストリーム抽出）し復号することで、意図しないフレームドロップを防止することが可能である。
　本発明は、上記問題に鑑みてされたものであり、その目的は、デコーダが、画像を符号化した符号化データ（または階層符号化データ）を復号可能であるかを判断するために必要となるＰＴＬ情報に関連するシンタックス、およびデータ構造を改良し、プロファイル情報、及びレベル情報の復号／符号化に係る処理量の低減、及び符号量を削減することができることができる画像復号装置、及び画像符号化装置を実現することにある。
　上記の課題を解決するために、本発明の一態様に係る画像復号装置は、階層符号化データを復号する画像復号装置であって、ＰＴＬ情報リスト中のＰＴＬ情報内のプロファイル情報の有無を示すプロファイル有無フラグを復号するプロファイル有無フラグ復号手段とＰＴＬ情報を復号するＰＴＬ情報復号手段とを備え、上記ＰＴＬ情報復号手段は、上記プロファイル有無フラグが１の場合、符号化データより、上記ＰＴＬ情報のプロファイル情報を復号し、上記プロファイル情報有無フラグが０の場合、上記ＰＴＬ情報内のプロファイル情報を、１つ前に復号されたＰＴＬ情報のプロファイル情報と等しいと推定することを特徴としている。
　また、本発明の一態様に係る画像復号方法は、階層符号化データを復号する画像復号方法であって、ＰＴＬ情報リスト中のＰＴＬ情報内のプロファイル情報の有無を示すプロファイル有無フラグを復号するプロファイル有無フラグ復号ステップとＰＴＬ情報を復号するＰＴＬ情報復号ステップを備え、上記ＰＴＬ情報復号ステップは、上記プロファイル有無フラグが１の場合、符号化データより、上記ＰＴＬ情報のプロファイル情報を復号し、上記プロファイル情報有無フラグが０の場合、上記ＰＴＬ情報内のプロファイル情報を、１つ前に復号されたＰＴＬ情報のプロファイル情報と等しいと推定することを特徴としている。
　また、本発明の一態様に係る画像符号化装置は、画像データを階層的に符号化して階層符号化データを生成する画像符号化装置であって、上記階層符号化データのプロファイルを示すＰＴＬ情報を符号化するＰＴＬ情報符号化部を備え、上記ＰＴＬ情報符号化部は、上記ＰＴＬ情報にプロファイル情報を符号化する場合にプロファイル有無フラグの値を１として符号化し、上記ＰＴＬ情報内のプロファイル情報を１つ前に符号化したＰＴＬ情報のプロファイル情報と等しいと推定する場合にプロファイル有無フラグの値を０として符号化することを特徴としている。
　また、本発明の一態様に係る画像符号化方法は、画像データを階層的に符号化して階層符号化データを生成する画像符号化方法であって、上記階層符号化データのプロファイルを示すＰＴＬ情報を符号化するＰＴＬ情報符号化ステップを備え、上記ＰＴＬ情報符号化ステップは、上記ＰＴＬ情報にプロファイル情報を符号化する場合にプロファイル有無フラグの値を１として符号化し、上記ＰＴＬ情報内のプロファイル情報を、１つ前に符号化したＰＴＬ情報のプロファイル情報と等しいと推定する場合に、プロファイル有無フラグの値を０として符号化することを特徴としている。
　本発明の一態様によれば、１番目のプロファイル／レベル情報のプロファイルおよびティアの情報を、０番目のプロファイル／レベル情報から推定することができるようになるという効果を奏する。
　また、本発明の一態様によれば、ｉ番目の参照ＰＴＬ情報指定インデクスが符号化されているので、ビットを抑制することができるという効果を奏する。
　また、本発明の一態様によれば、i番目のプロファイル／レベル情報のプロファイルおよびティアの情報を、（ｉ－１）番目のプロファイル／レベル情報から推定することができるようになるので、ビットを抑制することができるという効果を奏する。
本発明の一実施形態に係る階層符号化データのレイヤ構造を説明するための図であって、（ａ）は、階層動画像符号化装置側について示しており、（ｂ）は、階層動画像復号装置側について示している。 あるレイヤセットを構成するレイヤ、およびサブレイヤ（テンポラルレイヤ）の構造を説明するための図である。 図２に示すレイヤセットよりサブビットストリーム抽出処理により、抽出したレイヤセットのサブセットを構成するレイヤ、およびサブレイヤ（テンポラルレイヤ）を説明するための図である。 ＮＡＬユニットレイヤを構成するデータ構造の例を示す図である。 ＮＡＬユニットの符号化データの構成を示す図である。 ＮＡＬユニットタイプの値とＮＡＬユニットの種別の関係を示す図である。 ビデオパラメータセットＶＰＳのシンタックステーブルの一例である。 拡張ビデオパラメータセットＶＰＳのシンタックステーブルの一例である。 ＰＴＬ情報のデータ構造を示す図である。 本発明の実施形態に係る階層符号化データの構成を説明するための図であって、（ａ）は、シーケンスSEQを既定するシーケンスレイヤ、（ｂ）は、ピクチャPICTを規定するピクチャレイヤ、（ｃ）は、スライスSを規定するスライスレイヤ、（ｄ）は、スライスデータを規定するスライスデータレイヤ、（ｅ）は、スライスデータに含まれる符号化ツリーユニットを規定する符号化ツリーレイヤ、（ｆ）は、符号化ツリーに含まれる符号化単位（Coding Unit; CU）を規定する符号化ユニットレイヤを示す図である。 参照ピクチャリストの一例を示す概念図である。 参照ピクチャの例を示す概念図である。 本発明の実施形態に係る画像復号装置の概略的構成について示した機能ブロック図である。 上記画像復号装置のヘッダ復号部の概略的構成を示す図である。 上記画像復号装置のＮＡＬユニットヘッダ復号部の概略的構成について示した機能ブロック図である。 上記ヘッダ復号部のＶＰＳ復号部の概略的構成について示した機能ブロック図である。 ＶＰＳ復号部の動作を説明するためのフローチャートである。 ＶＰＳ拡張データの復号プロセスを説明するためのフローチャートである。 （ａ）、（ｂ）は、相対インデクスを、ゴロム符号で表わした図である。 ＰＴＬ情報復号部の詳細を示すブロック図である。 ＰＴＬ情報復号部における処理の流れを示すフローチャートである。 拡張ビデオパラメータセットＶＰＳ（ＶＰＳ拡張データ）のシンタックステーブルの変形例である。 拡張ビデオパラメータセットＶＰＳ（ＶＰＳ拡張データ）のシンタックステーブルの変形例である。 ＶＰＳ拡張データの復号プロセスを説明するためのフローチャートである。 ＶＰＳ復号部の概略的構成の変形例について示した機能ブロック図である。 ＰＴＬ情報復号部における処理の流れの変形例を示すフローチャートである。 ＰＴＬ情報復号部の詳細の変形例を示すブロック図である。 ビデオパラメータセットＶＰＳのシンタックステーブルの変形例である。 拡張ビデオパラメータセットＶＰＳ（ＶＰＳ拡張データ）のシンタックステーブルの変形例である。 ＶＰＳ拡張データの復号プロセスの変形例を説明するためのフローチャートである。 ＶＰＳ復号部の概略的構成の変形例について示した機能ブロック図である。 ＰＴＬ情報のデータ構造の変形例を示す図である。 ＰＴＬ情報復号部における処理の流れの変形例を示すフローチャートである。 ＰＴＬ情報復号部の詳細の変形例を示すブロック図である。 参照ピクチャセットと参照ピクチャリストの例を示す図であり、（ａ）は、動画像を構成するピクチャを表示順に並べた図であり、（ｂ）は、対象ピクチャに適用されるＲＰＳ情報の例を示す図であり、（ｃ）は、対象ピクチャのＰＯＣが０の場合に、（ｂ）で例示したＲＰＳ情報を適用したときに導出される現ＲＰＳの例を示す図であり、（ｄ）および（ｅ）は、現ＲＰＳに含まれる参照ピクチャから生成される参照ピクチャリストの例を示す図である。 参照ピクチャリスト修正例を示す図であり、（ａ）は修正前Ｌ０参照リストを示す図であり、（ｂ）はＲＰＬ修正情報を示す図であり、（ｃ）は、修正後のＬ０参照リストを示す図である。 ピクチャ構造の構成を示す概略図である。 参照ピクチャ管理部の概略的構成について示した機能ブロック図である。 上記画像復号装置のヘッダ復号部および参照ピクチャ情報復号部においてＳＰＳ復号時に利用されるＳＰＳシンタックス表の一部を例示する図である。 上記画像復号装置のヘッダ復号部および参照ピクチャ情報復号部におけるＳＰＳ復号時、および、スライスヘッダ復号時に利用される短期参照ピクチャセットのシンタックス表を例示する図である。 上記画像復号装置のヘッダ復号部および参照ピクチャ情報復号部においてスライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示する図である。 上記画像復号装置のヘッダ復号部および参照ピクチャ情報復号部においてスライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示する図である。 上記画像復号装置のヘッダ復号部および参照ピクチャ情報復号部においてスライスヘッダ復号時に利用される参照リスト並べ替え情報のシンタックス表を例示する図である。 本実施形態に係る画像復号装置の構成を示す概略図である。 本実施形態に係る画像符号化装置の構成を示す概略図である。 ピクチャ符号化部の構成を示すブロック図である。 ＶＰＳ符号化部の概略的構成について示した機能ブロック図である。 ＶＰＳ符号化部の概略的構成の変形例について示した機能ブロック図である。 ＰＴＬ情報符号化部の詳細を示すブロック図である。 上記階層動画像符号化装置を搭載した送信装置、および、上記階層動画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、階層動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、階層動画像復号装置を搭載した受信装置を示している。 上記階層動画像符号化装置を搭載した記録装置、および、上記階層動画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、階層動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、階層動画像復号装置を搭載した再生装置を示している。 従来技術におけるレベル制約に関する各パラメータの制限値を示す図である。 従来技術における図であり、（ａ）は、メインプロファイルに関するパラメータの制約の一例であり、（ｂ）は、メインプロファイルに関する追加のレベル制約の一例である。 従来技術における、ＰＴＬ情報のデータ構造を示す図である。 従来技術における、ビデオパラメータセットＶＰＳのシンタックステーブルを示す図である。 従来技術における、拡張ビデオパラメータセットＶＰＳのシンタックステーブルを示す図である。 従来技術における、ＶＰＳデータの復号プロセスの流れを示すフローチャートである。 従来技術における、ＶＰＳ拡張データの復号プロセスの流れを示すフローチャートである。 従来技術における、ＰＴＬ情報復号部の構成を示すブロック図である。 従来技術における、ＰＴＬ情報符号化部の構成を示すブロック図である。 従来技術における、ＰＴＬ情報復号部における処理の流れを示すフローチャートである。 本実施形態に係るサブレイヤのプロファイル情報の設定方法の一例を示す疑似コードである。（ａ）は、プロファイル有無フラグ（profilePresentFlag）が１の場合の設定方法を示し、（ｂ）は、プロファイル有無フラグが０の場合の設定方法を示す。 本実施形態に係るサブレイヤのレベル情報の設定方法の一例を示す疑似コードである。（ａ）は、サブレイヤレベル有無フラグ(sub_layer_level_flag[i])が０の場合の設定方法を示し、（ｂ）は（ａ）の別表現の疑似コードである。 本実施形態に係るサブレイヤのプロファイル情報の設定方法の一例を示す疑似コードである。（ａ）は、レベル有無フラグ（levelPresentFlag）が１の場合の設定方法を示し、（ｂ）、（ｃ）は、レベル有無フラグが０の場合の設定方法を示す。 拡張ビデオパラメータセットＶＰＳ（ＶＰＳ拡張データ）のシンタックステーブルの変形例の一例である。 ＶＰＳ拡張データの復号プロセスの変形例を説明するためのフローチャートである。 ＶＰＳ拡張データの符号化プロセスの変形例を説明するためのフローチャートである。 拡張ビデオパラメータセットＶＰＳ（ＶＰＳ拡張データ）のシンタックステーブルの変形例の一例である。 ＶＰＳ拡張データの復号プロセスの変形例を説明するためのフローチャートである。 ＶＰＳ拡張データの符号化プロセスの変形例を説明するためのフローチャートである。
　図１～図２７に基づいて、本発明の一実施形態に係る階層動画像復号装置１および階層動画像符号化装置２を説明すれば以下のとおりである。
　〔概要〕
　本実施の形態に係る階層動画像復号装置（画像復号装置とも記載する）１は、階層動画像符号化装置（画像符号化装置とも記載する）２によって階層符号化された符号化データを復号する。階層符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。階層符号化は、例えば、ＳＶＣやＳＨＶＣにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および、“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合（すなわち、異なる符号化雑音により符号化された動画像の場合）も互いに動画像の品質が異なるといえる。
　また、階層符号化技術は、階層化される情報の種類の観点から、（１）空間スケーラビリティ、（２）時間スケーラビリティ、（３）ＳＮＲ（Signal to Noise Ratio）スケーラビリティ、および（４）ビュースケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレームレート（単位時間のフレーム数）において階層化する技術である。ＳＮＲスケーラビリティは、符号化雑音において階層化する技術である。また、ビュースケーラビリティは、各画像に対応付けられた視点位置において階層化する技術である。
　本実施形態に係る階層動画像符号化装置２及び階層動画像復号装置１の詳細な説明に先立って、まず（１）階層動画像符号化装置２によって生成され、階層動画像復号装置１によって復号される階層符号化データのレイヤ構造を説明し、次いで（２）各レイヤで採用できるデータ構造の具体例について説明を行う。
　〔階層符号化データのレイヤ構造〕
　ここで、図１を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図１は、動画像を、下位階層Ｌ３、中位階層Ｌ２、および上位階層Ｌ１の３階層により階層的に符号化／復号する場合について模式的に表す図である。つまり、図１（ａ）および（ｂ）に示す例では、３階層のうち、上位階層Ｌ１が最上位層となり、下位階層Ｌ３が最下位層となる。
　以下において、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像（または、特定の階層に対応する復号画像）と称される（例えば、上位階層Ｌ１の復号画像ＰＯＵＴ＃Ａ）。
　図１（ａ）は、入力画像ＰＩＮ＃Ａ～ＰＩＮ＃Ｃをそれぞれ階層的に符号化して符号化データＤＡＴＡ＃Ａ～ＤＡＴＡ＃Ｃを生成する階層動画像符号化装置２＃Ａ～２＃Ｃを示している。図１（ｂ）は、階層的に符号化された符号化データＤＡＴＡ＃Ａ～ＤＡＴＡ＃Ｃをそれぞれ復号して復号画像ＰＯＵＴ＃Ａ～ＰＯＵＴ＃Ｃを生成する階層動画像復号装置１＃Ａ～１＃Ｃを示している。
　まず、図１（ａ）を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃは、原画は同じだが、画像の品質（解像度、フレームレート、および画質等）が異なる。画像の品質は、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃの順に低くなる。
　下位階層Ｌ３の階層動画像符号化装置２＃Ｃは、下位階層Ｌ３の入力画像ＰＩＮ＃Ｃを符号化して下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃを生成する。下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報が含まれる（図１において“Ｃ”にて示している）。下位階層Ｌ３は、最下層の階層であるため、下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃは、基本符号化データとも称される。
　また、中位階層Ｌ２の階層動画像符号化装置２＃Ｂは、中位階層Ｌ２の入力画像ＰＩＮ＃Ｂを、下位階層の符号化データＤＡＴＡ＃Ｃを参照しながら符号化して中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを生成する。中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂには、符号化データＤＡＴＡ＃Ｃに含まれる基本情報“Ｃ”に加えて、中位階層の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報（図１において“Ｂ”にて示している）が含まれる。
　また、上位階層Ｌ１の階層動画像符号化装置２＃Ａは、上位階層Ｌ１の入力画像ＰＩＮ＃Ａを、中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを参照しながら符号化して上位階層Ｌ１の符号化データＤＡＴＡ＃Ａを生成する。上位階層Ｌ１の符号化データＤＡＴＡ＃Ａには、下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報“Ｃ”および中位階層Ｌ２の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報“Ｂ”に加えて、上位階層の復号画像ＰＯＵＴ＃Ａを復号するのに必要な付加的情報（図１において“Ａ”にて示している）が含まれる。
　このように上位階層Ｌ１の符号化データＤＡＴＡ＃Ａは、異なる複数の品質の復号画像に関する情報を含む。
　次に、図１（ｂ）を参照しながら復号装置側について説明する。復号装置側では、上位階層Ｌ１、中位階層Ｌ２、および下位階層Ｌ３それぞれの階層に応じた復号装置１＃Ａ、１＃Ｂ、および１＃Ｃが、符号化データＤＡＴＡ＃Ａ、ＤＡＴＡ＃Ｂ、およびＤＡＴＡ＃Ｃを復号して復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを出力する。
　なお、上位の階層符号化データの一部の情報を抽出して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。
　例えば、中位階層Ｌ２の階層復号装置１＃Ｂは、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａから、復号画像ＰＯＵＴ＃Ｂを復号するのに必要な情報（すなわち、階層符号化データＤＡＴＡ＃Ａに含まれる“Ｂ”および“Ｃ”）を抽出して、復号画像ＰＯＵＴ＃Ｂを復号してもよい。言い換えれば、復号装置側では、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる情報に基づいて、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを復号できる。
　なお、以上の３階層の階層符号化データに限られず、階層符号化データは、２階層で階層符号化されていてもよいし、３階層よりも多い階層数にて階層符号化されていてもよい。
　また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図１（ａ）および（ｂ）を用いて上述した例では、復号画像ＰＯＵＴ＃Ｂの復号に“Ｃ”および“Ｂ”を参照すると説明したが、これに限られない。復号画像ＰＯＵＴ＃Ｂが“Ｂ”だけを用いて復号できるように階層符号化データを構成することも可能である。例えば、復号画像ＰＯＵＴ＃Ｂの復号に、“Ｂ”だけから構成される階層符号化データと、復号画像ＰＯＵＴ＃Ｃを入力とする階層動画像復号装置も構成できる。
　なお、ＳＮＲスケーラビリティを実現する場合、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃとして同一の原画を用いた上で、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。
　本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表わすのに用いる。
　上位レイヤ　：　ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図１において、下位階層Ｌ３の上位レイヤは、中位階層Ｌ２および上位階層Ｌ１である。また、上位レイヤの復号画像とは、より品質の高い（例えば、解像度が高い、フレームレートが高い、画質が高い等）復号画像のことをいう。
　下位レイヤ　：　ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図１において、上位階層Ｌ１の下位レイヤは、中位階層Ｌ２および下位階層Ｌ３である。また、下位レイヤの復号画像とは、より品質の低い復号画像のことをいう。
　対象レイヤ　：　復号または符号化の対象となっている階層のことをいう。
　参照レイヤ　：　対象レイヤに対応する復号画像を復号するのに参照される特定の下位レイヤのことを参照レイヤと称する。
　図１（ａ）および（ｂ）に示した例では、上位階層Ｌ１の参照レイヤは、中位階層Ｌ２および下位階層Ｌ３である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層Ｌ１の参照レイヤが、中位階層Ｌ２および下位階層Ｌ３のいずれか一方となるように階層符号化データを構成することも可能である。
　基本レイヤ　：　最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本復号画像と呼称される。別の言い方をすれば、基本復号画像は、最下層の階層に対応する復号画像のことである。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる基本情報“Ｃ”が基本符号化データである。
　拡張レイヤ　：　基本レイヤの上位レイヤは、拡張レイヤと称される。
　レイヤ識別子　：　レイヤ識別子(レイヤＩＤともいう)は、階層を識別するためのものであり、階層と１対１に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データを選択するために用いられる階層識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現とも呼称される。
　一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および／または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および／または、対象レイヤの下位レイヤに含まれる１つ以上階層のレイヤ表現が用いられる。
　レイヤ間予測　：　レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層（参照レイヤ）のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を参照レイヤの情報から予測するレイヤ間予測のことをレイヤ間動き情報予測と称することもある。また、下位レイヤの復号画像から予測するレイヤ間予測のことをレイヤ間画像予測（あるいはレイヤ間テクスチャ予測）と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。
　テンポラル識別子：　テンポラル識別子（テンポラルＩＤ、時間識別子、サブレイヤＩＤ、あるいはサブレイヤ識別子ともいう）は、時間スケーラビリティに関するレイヤ（以降、サブレイヤ）を識別するための識別子である。テンポラル識別子は、サブレイヤを識別するためのものであり、サブレイヤと１対１に対応する。符号化データには特定のサブレイヤの復号画像の復号に必要な部分符号化データを選択するために用いられるテンポラル識別子が含まれる。
　サブレイヤ：　サブレイヤとは、テンポラル識別子により特定される時間スケーラビリティに関するレイヤである。空間スケーラビリティ、ＳＮＲスケーラビリティ等、そのほかのスケーラビリティと区別するため、以降サブレイヤと称する（テンポラルレイヤとも称する）。
　なお、以降では、時間スケーラビリティは、基本レイヤの符号化データ、またはあるレイヤを復号するために必要な階層符号化データ、に含まれるサブレイヤによって実現されるものとする。
　次に、図２、３を参照して、ビットストリーム抽出処理（サブビットストリーム抽出ともいう）により、あるレイヤセットＡを含む階層符号化データより、レイヤセットＡのサブセットとなるレイヤセットＢ（ターゲットセットとも呼ぶ）を含む階層符号化データを抽出する例について説明する。
　なお、ビットストリーム抽出処理とは、あるビットストリーム（階層符号化データ、符号化データ）から、対象最高次テンポラル識別子(heighest TemporalId, heighestTid)、対象レイヤセットに含まれるレイヤを表わすレイヤIDリストによって定まる集合（ターゲットセットと呼ぶ）に含まれないNALユニットを除去（破棄）し、ターゲットセットに含まれるNALユニットから構成されるビットストリーム（サブビットストリームとも称する）を抽出する処理である。
　図２は、３つのレイヤ（L#0,L#1,L#2）、及び各レイヤは３つのサブレイヤ(TID1, TID2,TID3)から構成されるレイヤセットＡの構成を表わす。なお、以降では、レイヤセットをを構成するレイヤ、及びサブレイヤを、｛レイヤＩＤリスト｛L#0,…,L#N｝、最高次テンポラルＩＤ（HighestTid=K）｝と表わす。例えば、図２のレイヤセットＡは、｛レイヤＩＤリスト｛L#0, L#1, L#2｝、最高次テンポラルID=3｝と表現される。ここで、符号Ｌ♯Ｎは、あるレイヤＮを示し、図２中の各ボックスは、ピクチャを表わし、ボックス内の番号は、復号順の一例を表わす。以降、ピクチャで番号Ｎを、P#Nと表記する（図３についても同様）。
　また、各ピクチャ間の矢印は、ピクチャ間の依存方向（参照関係）を表わす。同一レイヤ内の矢印であれば、インター予測に利用される参照ピクチャであることを示す。レイヤ間の矢印であれば、レイヤ間予測に利用される参照ピクチャ（参照レイヤピクチャともいう）であることを表わす。
　また、図２中のＡＵは、アクセスユニットを表わし、＃Ｎは、アクセスユニット番号を表わす。ＡＵ＃Ｎは、ある起点（例えば、ランダムアクセス開始点）のＡＵをＡＵ＃０とすれば、（Ｎ－１）番目のアクセスユニットであることを表わし、ビットストリームに含まれるＡＵの順番を表わす。すなわち、図２の例であれば、ビットストリーム上で、アクセスユニットは、ＡＵ＃０、ＡＵ＃１、ＡＵ＃２、ＡＵ＃３、ＡＵ＃４…の順で格納されている。なお、アクセスユニットとは、特定の分類ルールにより集約されたＮＡＬユニットの集合を表わす。図２のＡＵ＃０は、ピクチャＰ＃１、Ｐ＃１、及びＰ＃３の符号化データを含むVLC NALの集合とみることができる。なお、アクセスユニットの詳細については後述する。
　図２の例では、ターゲットセット（レイヤセットＢ）は、レイヤＩＤリスト｛L#0,L#1｝、及び最高次テンポラルID=2であるから、レイヤセットＡを含むビットストリームから、ターゲットセット（レイヤセットＢ）に含まれないレイヤ、及び最高次テンポラルID=2より大きいサブレイヤを、ビットストリーム抽出により破棄する。すなわち、レイヤIDリストに含まれないレイヤL#2、及びサブレイヤ(TID3)を有するＮＡＬユニットが破棄され、最終的には、図３に示すように、レイヤセットＢを含むビットストリームが抽出される。図３では、点線のボックスは、破棄されたピクチャを表わし、点線の矢印は、破棄されたピクチャと参照ピクチャ間の依存方向を示す。なお、レイヤL#3、及びTID3のサブレイヤのピクチャを構成するNALユニットは破棄済のため、依存関係は既に断ち切られている。
　ＳＨＶＣやＭＶ－ＨＥＶＣでは、ＳＮＲスケーラビリティ、空間スケーラビリティ、時間スケーラビリティ等を実現するために、レイヤ、及びサブレイヤの概念が導入されている。図２、図３で既に説明したように、フレームレートを変更し時間スケーラビリティを実現する場合、ビットストリーム抽出処理により、まず他のピクチャから参照されないピクチャ（最高次テンポラルＩＤ（TID3））の符号化データを破棄する。図２、３の場合、ピクチャ（１０、１３、１１、１４、１２、１５）の符号化データを破棄することにより、フレームレートが１／２となる符号化データが生成される。
　また、ＳＮＲスケーラビリティ、空間スケーラビリティや、ビュースケーラビリティを実現する場合、ビットストリーム抽出により、ターゲットセットに含まれない、レイヤの符号化データを破棄することで、各スケーラビリティの粒度を変更することができる。（図２、３では、３、６、９、１２、１５）の符号化データを破棄することで、スケーラビリティの粒度を粗くした符号化データが生成される。上記処理を繰り返すことで、段階的にレイヤ、サブレイヤの粒度を調整することができる。
　なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。
　〔階層符号化データのデータ構造について〕
　以下、各階層の符号化データを生成する符号化方式として、ＨＥＶＣおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、ＭＰＥＧ－２や、Ｈ.２６４／ＡＶＣなどの符号化方式により生成してもよい。
　また、下位レイヤと上位レイヤとが異なる符号化方式によって符号化されていてもよい。また、各階層の符号化データは、互いに異なる伝送路を介して階層動画像復号装置１に供給されてもよいし、同一の伝送路を介して階層動画像復号装置１に供給されてもよい。
　例えば、超高精細映像（動画像、４Ｋ映像データ）を基本レイヤおよび１つの拡張レイヤによりスケーラブル符号化して伝送する場合、基本レイヤは、４Ｋ映像データをダウンスケーリングし、インタレース化した映像データをＭＰＥＧ－２またはＨ.２６４／ＡＶＣにより符号化してテレビ放送網で伝送し、拡張レイヤは、４Ｋ映像（プログレッシブ）をＨＥＶＣにより符号化して、インターネットで伝送してもよい。
　＜符号化データ＃１（階層符号化データＤＡＴＡともいう）の構造＞
　本実施形態に係る画像符号化装置２および画像復号装置１の詳細な説明に先立って、画像符号化装置２によって生成され、画像復号装置１によって復号される符号化データ＃１のデータ構造について説明する。
　　（ＮＡＬユニットレイヤ）
　図４は、符号化データ＃１におけるデータの階層構造を示す図である。符号化データ＃１は、ＮＡＬ（Network Abstraction Layer）ユニットと呼ばれる単位で符号化される。
　ＮＡＬは、動画像符号化処理を行う層であるＶＣＬ（Video Coding Layer）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。
　ＶＣＬは、画像符号化処理を行う層のことであり、ＶＣＬにおいて符号化が行われる。一方、ここでいう、下位システムは、Ｈ．２６４／ＡＶＣおよびＨＥＶＣのファイルフォーマットや、ＭＰＥＧ－２システムに対応する。以下に示す例では、下位システムは、対象レイヤおよび参照レイヤにおける復号処理に対応する。なお、ＮＡＬでは、ＶＣＬで生成されたビットストリームが、ＮＡＬユニットという単位で区切られて、宛先となる下位システムへ伝送される。
　図５（ａ）は、ＮＡＬ（Network Abstraction Layer）ユニットのシンタックステーブルを示す。ＮＡＬユニットには、ＶＣＬで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダ（ＮＡＬユニットヘッダ：nal_unit_header()）が含まれる。なお、ＮＡＬユニットヘッダは、例えば、図５（ｂ）に示すシンタックスで表わされる。ＮＡＬユニットヘッダには、ＮＡＬユニットに格納された符号化データの種類を表わす”nal_unit_type”、格納された符号化データが属するサブレイヤの識別子（テンポラル識別子）を表わす”nuh_temporal_id_plus1”や、格納された符号化データが属するレイヤの識別子（レイヤ識別子）を表わす”nuh_layer_id”（または、nuh_reserved_zero_6bits）が記述されている。
　ＮＡＬユニットデータには、後述のパラメータセット、ＳＥＩ、スライスなどが含まれる。
　図６は、ＮＡＬユニットタイプの値とＮＡＬユニットの種別の関係を示す図である。図６に示す通り、SYNA101で示される０から１５の値のＮＡＬユニットタイプを持つＮＡＬユニットは、非ＲＡＰ(ランダムアクセスピクチャ)のスライスである。SYNA102で示される１６から２１の値のＮＡＬユニットタイプを持つＮＡＬユニットは、ＲＡＰ(ランダムアクセスピクチャ)のスライスである。ＲＡＰピクチャには、大きく分けて、ＢＬＡピクチャ、ＩＤＲピクチャ、ＣＲＡピクチャがあり、ＢＬＡピクチャは、さらに、ＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＤＬＰ、ＢＬＡ＿Ｎ＿ＬＰに分類される。ＩＤＲピクチャは、さらに、ＩＤＲ＿Ｗ＿ＤＬＰ、ＩＤＲ＿Ｎ＿ＬＰに分類される。ＲＡＰピクチャ以外のピクチャには後述のＬＰピクチャ、ＴＳＡピクチャ、ＳＴＳＡピクチャ、ＴＲＡＩＬピクチャなどがある。
　（アクセスユニット）
　特定の分類ルールにより集約されたＮＡＬユニットの集合のことをアクセスユニットと呼ぶ。レイヤ数が１の場合には、アクセスユニットは１ピクチャを構成するＮＡＬユニットの集合である。レイヤ数が１より大きい場合には、アクセスユニットは同じ時刻の複数のレイヤのピクチャを構成するＮＡＬユニットの集合である。なお、アクセスユニットの区切りを示すために、符号化データはアクセスユニットデリミタ（Access unit delimiter）と呼ばれるＮＡＬユニットを含んでも良い。アクセスユニットデリミタは、符号化データ中にあるアクセスユニットを構成するＮＡＬユニットの集合と、別のアクセスユニットを構成するＮＡＬユニットの集合の間に含まれる。
　（ビデオパラメータセット）
　図７は、本発明の実施形態に係るＶＰＳ（Video Parameter Set）の符号化データの構成を示す図である。一部シンタック要素について意味を示すと、次の通りである。ＶＰＳは、複数のレイヤに共通するパラメータを規定するためのパラメータセットである。パラメータセットは、ピクチャを圧縮データである符号化データからＩＤ（video_parameter_set_id）を用いて参照される。
・video_parameter_set_idは、各ＶＰＳを識別するための識別子である。
・vide_reserved_three_2bitsは、将来の規格拡張用のシンタックスである。
・vps_max_layers_minus1は、少なくとも基本レイヤを含む階層符号化データに関して、時間スケーラビリティを除く、その他のスケーラビリティに関するレイヤの数の上限値MaxNumLayersを算出するために用いるシンタックスである。なお、レイヤ数の上限値MaxNumLayersは、MaxNumLayers = vps_max_num_sub_layers_minus1 + 1によって表わされる。階層符号化データが基本レイヤのみで構成される場合は、vps_max_num_sub_layers_minus1 = 0となる。
・vps_max_sub_layer_minus1は、少なくとも基本レイヤを含む階層符号化データの時間スケーラビリティに関するレイヤ（サブレイヤ）の数の上限値MaxNumSubLayersを算出するために用いるシンタックスである。なお、サブレイヤ数の上限値MaxNumSubLayersは、MaxNumSubLayers = vps_max_sub_layers_minus1 + 1 によって表わされる。
・vps_temporal_id_nesting_flagは、当該ＶＰＳを参照するピクチャにおけるインター予測に関して、追加の制約をするか否かを表わすフラグである。
・vps_extension_offsetは、ＶＰＳを含むＮＡＬユニットの先頭位置から、ＶＰＳ拡張データvps_extension()内のシンタックスavc_base_flagまでのバイトオフセット値を表わす。
・profile_tier_level(X,Y)は、階層符号化データに関するプロファイル情報、及びレベル情報を表わすシンタックス（以降、ＰＴＬ情報とも称する）である。なお、引数Ｘは、プロファイル情報有無フラグProfilePresentFlagの値であり、引数Ｙは、サブレイヤ数の上限値－１の値、すなわちMaxNumSubLayersMinus1である。なお、引数Ｙは、サブレイヤ数の上限値－１の値MaxNumSubLayersMinus1の代わりに、MaxNumSubLayersの値としてもよい。その場合、ＰＴＬ情報profile_tier_level()上におけるMaxNumSubLayersMinus1を、”MaxNumSubLayers－１”と解釈する。以降では、サブレイヤ数の上限値―１の値MaxNumSubLayersMinus1の代わり、サブレイヤ数の上限値MaxNumSubLayersを用いて説明する。なお、プロファイル／レベル情報profile_tier_level()に関しては、後述する。なお、ここで規定されるプロファイル／レベル情報には、デコーダが、レイヤセット０（基本レイヤ）を復号するのに必要とする最大のプロファイル、レベル情報が設定される。なお、レイヤセット０（基本レイヤ）を復号するのに必要とする最大のプロファイル、レベル情報の代わりに、レイヤセット０を、全レイヤ（基本レイヤおよび拡張レイヤ、各レイヤに付随するサブレイヤを含む）を復号するのに必要とする最大のプロファイル、レベル情報を設定してもよい。なお、ＶＰＳに含まれるプロファイル／レベル情報profile_tier_level()は、後述のＰＴＬ情報復号部１０２１において復号される。
・vps_max_layer_idは、ＣＶＳ上の全てのＮＡＬユニットのレイヤＩＤ(nuh_layer_id)の最大値を表わすシンタックスである。
・vps_num_layers_sets_minus1は、ビットストリームに含まれる、“１以上のレイヤの集合を表わすレイヤセットの総数－１”を表わすシンタックスである。レイヤセット数MaxNumLayersSetsは、vps_num_layers_sets_minus1 + 1である。
・layer_id_included_flag[i][j]は、レイヤセットｊ（レイヤＩＤリスト）を構成するレイヤとして、レイヤＩＤ＝ｊが含まれるか否かを表わすフラグである。
・vps_extension_flagは、ＶＰＳがさらにＶＰＳ拡張データvps_extension()を含むか否かを示すフラグである。
　なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、１をＸＸである場合、０をＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。
　図５６は、従来技術に係るＶＰＳ拡張の符号化データの構成を示す図である。一部シンタックス要素について意味を示すと、次の通りである。
・avc_base_layer_flagは、基本レイヤがＨ.２６４で符号化されたビットストリームであるか否かを示すフラグである。
・vps_vui_offsetは、ＶＰＳを含むＮＡＬユニットの先頭位置から、ＶＰＳ拡張データvps_extension()内に含まれるＶＰＳ ＶＵＩデータvps_vui()内の先頭シンタックス（bit_rate_rate_flag（図５６では不図示））までのバイトオフセット値を表わす。
・scalability_mask（図５６では不図示）は、スケーラブルの種別を示す値である。スケーラブルマスクは、各ビットが各スケーラブル種別に対応する。ビット１は空間スケーラブル、ビット２は画質スケーラブル、ビット３はデプススケーラブル、ビット４はビュースケーラブルに対応する。各ビットが１である場合に対応するスケーラブル種別が有効であることを意味する。複数のビットが１であることも可能であり、例えばscalability_maskが１２の場合は、ビット３とビット４が１であるから、デプススケーラブルとビュースケーラブルが有効である。すなわち、複数のビューとデプスを含む３Ｄスケーラブルを意味する。
・dimension_id_len_minus1（図５６では不図示）は、スケーラブルの種別ごとに含まれる次元ＩＤdimention_idの数num_dimensionsを示す。
num_dimensions＝dimension_id_len_minus1[1]+1である。例えば、num_dimensionsは、スケーラブルの種別がデプスの場合２、ビューの場合には視点数が復号される。
・dimention_id（図５６では不図示）は、スケーラブルの種別ごとのピクチャの種別を示す情報である。
・direct_dependency_flag[i][j](レイヤ依存フラグと称する)は、レイヤｊが、対象レイヤｉの直接参照レイヤ（依存レイヤ）であるかを示すフラグである。値が１の場合は、依存レイヤであること示し、０の場合は直接参照レイヤでないことを示す。すなわち、レイヤ依存フラグが１であれば、対象レイヤiは別のレイヤjを参照し、レイヤ依存フラグが0であれば対象レイヤiはレイヤjを参照しない。
・vps_number_layers_sets_minus1（図５６上のSYNVPS0C）は、ビットストリームに含まれる、１以上のレイヤの集合を表わすレイヤセットの総数を表わすシンタックスであり、vps_num_layers_sets_minus1と同じ値である。
・vps_num_profile_teir_level_minus1（図５６上のSYNVPS0D）は、“ＶＰＳ上に含まれるＰＴＬ情報の総数－１”を表わすシンタックスである。ＶＰＳ上のＰＴＬ情報数NumPTLは、“vps_num_profile_tier_level_minus1 + 1”である。なお、以降、ＶＰＳ上に存在する１以上のＰＴＬ情報で構成されるＰＴＬ情報群をＰＴＬ情報リストと呼ぶ。
・vps_profile_present_flag[i]（ＶＰＳプロファイル有無フラグ, （図５６上のSYNVPS0E））は、ＰＴＬ情報リスト上で、ｉ番目のＰＴＬ情報のプロファイル情報の有無を示すフラグである。ＶＰＳプロファイル有無フラグが１であれば、プロファイル情報を示すシンタックス群が対象ＰＴＬ情報profile_tier_level()内に存在することを示し、ＶＰＳプロファイル有無フラグが０であれば、プロファイル情報を示すシンタックス群が存在しないことを示す。
・profile_ref_minus1[i]（参照ＰＴＬ情報指定インデクス, （図５６上のSYNVPS0F））は、上記ＶＰＳプロファイル有無フラグの値が０の場合、ＰＴＬ情報リスト上のｉ番目のＰＴＬ情報のプロファイル情報が、ＰＴＬ情報リスト上の（profile_ref_minus1[i] + 1）番目のＰＴＬ情報のプロファイル情報と同一であることを示すシンタックスである。なお、従来技術では、「参照ＰＴＬ情報指定インデクス”profile_ref_minus1[i]+1”の値は、ＰＴＬ情報リスト中の対象ＰＴＬ情報の位置を示すインデクスｉ未満でなければならない」という制約がある。
・profile_teir_level(X,Y)（図５６上のSYNVPS0G）は、ＰＴＬ情報リスト中のｉ番目ＰＴＬ情報である。なお、各ＰＴＬ情報は、後述の各レイヤセット（レイヤセットi）に適用されるＰＴＬ情報を指定するＰＴＬ情報指定インデクス“profile_tier_level_idx [i]”により、各レイヤセットで参照される。ＰＴＬ情報指定インデクス“profile_tier_level_idx [i]”により参照されるＰＴＬ情報は、レイヤセットｉを構成すレイヤ、及び各レイヤに付随するサブレイヤを復号するのに必要とする最大のプロファイル、レベル情報が設定される。なお、ＶＰＳに含まれるプロファイル／レベル情報profile_tier_level()は、後述のＰＴＬ情報復号部X１０２１において復号される。
・profile_level_tier_idx[i]（ＰＴＬ情報指定インデクス）は、レイヤセットｉに適用するＰＴＬ情報リスト上のＰＴＬ情報を指定するインデクスを表わすシンタックスである。
・direct_dependency_len_minus2（図５６上のSYNVPS0I）は、レイヤ依存タイプの種類の総数を表わすシンタックスである。
・direct_dependency_type[i][j]（レイヤ依存タイプ）は、対象レイヤｉとレイヤｊ間の参照関係を示す。具体的には、レイヤ依存フラグdirect_dependency_flag[i][j]が１である場合、レイヤ依存タイプdirect_dependency_type[i][j]で、対象レイヤｉに対する参照レイヤｊのレイヤ依存タイプを示す。レイヤ依存タイプは、サンプル予測のみ、動き予測のみ、またはその両方を指定することができる。direct_dependency_type[i][j]の値とレイヤ依存タイプの値との関係を以下に示す。
　　direct_dependency_type[i][j] = 0 … サンプル予測および動き予測
　　direct_dependency_type[i][j] = 1 … 動き予測のみ
　　direct_dependency_type[i][j] = 2 … サンプル予測のみ。
　図１０は、符号化データ＃１におけるデータの階層構造を示す図である。符号化データ＃１は、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図１０の（ａ）～（ｆ）は、それぞれ、シーケンスＳＥＱを既定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、スライスデータを規定するスライスデータレイヤ、スライスデータに含まれる符号化ツリーユニットを規定する符号化ツリーレイヤ、符号化ツリーに含まれる符号化単位（Coding Unit；ＣＵ）を規定する符号化ユニットレイヤを示す図である。
　　（シーケンスレイヤ）
　シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図１０の（ａ）に示すように、ビデオパラメータセット（Video Parameter Set）シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。ここで＃の後に示される値はレイヤＩＤを示す。図１０では、＃０と＃１すなわちレイヤＩＤが０とレイヤＩＤが１の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれによらない。
　ビデオパラメータセットＶＰＳは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
　シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために画像復号装置１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。
　ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために画像復号装置１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を示すフラグ（weighted_pred_flag）、スケーリングリスト（量子化マトリックス）が含まれる。なお、ＰＰＳは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。
　　（ピクチャレイヤ）
　ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図１０の（ｂ）に示すように、スライスS0～SNS-1を含んでいる（NSはピクチャＰＩＣＴに含まれるスライスの総数）。
　なお、以下、スライスS0～SNS-1のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化データ＃１に含まれるデータであって、添え字を付している他のデータについても同様である。
　　（スライスレイヤ）
　スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図２の（ｃ）に示すように、スライスヘッダＳＨ、および、スライスデータSDATAを含んでいる。
　スライスヘッダＳＨには、対象スライスの復号方法を決定するために画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
　スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。
　なお、スライスヘッダＳＨには、上記シーケンスレイヤに含まれる、ピクチャパラメータセットＰＰＳへの参照（pic_parameter_set_id）を含んでいても良い。
　　（スライスデータレイヤ）
　スライスデータレイヤでは、処理対象のスライスデータSDATAを復号するために画像復号装置１が参照するデータの集合が規定されている。スライスデータSDATAは、図１０の（ｄ）に示すように、符号化ツリーユニット（CTU: Coded Tree Unit）を含んでいる。ＣＴＵは、スライスを構成する固定サイズ（例えば６４×６４）のブロックであり、最大符号化単位（ＬＣＵ:Largest Cording Unit）と呼ぶこともある。
　　（符号化ツリーレイヤ）
　符号化ツリーレイヤは、図１０（ｅ）に示すように、処理対象の符号化ツリーブロックを復号するために画像復号装置１が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な４分木分割により分割される。再帰的な４分木分割により得られる木構造のノードのことを符号化ツリー（coding tree）と称する。４分木の中間ノードは、符号化４分木ツリー（CQT: Coded Quad Tree）であり、ＣＴＵは、最上位のＣＱＴを含むものとして規定される。ＣＱＴは、分割フラグ（split_flag）を含み、split_flagが１の場合には、４つのＣＱＴに分割される（４つのＣＱＴを含む）。split_flagが０の場合には、ＣＱＴは末端ノードである符号化ユニット（CU:Coded Unit）を含む。符号化ユニットＣＵは符号化ツリーレイヤの末端ノードであり、このレイヤではこれ以上分割されない。符号化ユニットＣＵは、符号化処理の基本的な単位となる。
　また、符号化ツリーユニットＣＴＵのサイズ６４×６４画素の場合には、符号化ユニットのサイズは、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。
　　（符号化ユニットレイヤ）
　符号化ユニットレイヤは、図１０の（ｆ）に示すように、処理対象の符号化ユニットを復号するために画像復号装置１が参照するデータの集合が規定されている。具体的には、符号化ユニットは、ＣＵヘッダＣＵＨ、予測ツリー、変換ツリー、ＣＵヘッダＣＵＦから構成される。ＣＵヘッダＣＵＨでは、符号化ユニットが、イントラ予測を用いるユニットであるか、インター予測を用いるユニットであるかなどが規定される。符号化ユニットは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートとなる。ＣＵヘッダＣＵＦは、予測ツリーと変換ツリーの間、もしくは、変換ツリーの後に含まれる。
　予測ツリーは、符号化ユニットが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ユニットを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
　予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。
　予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。
　イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）と、Ｎ×Ｎとがある。
　また、インター予測の場合、分割方法は、符号化データのpart_modeにより符号化され、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、および、Ｎ×Ｎなどがある。なお、２Ｎ×ｎＵは、２Ｎ×２Ｎの符号化ユニットを上から順に２Ｎ×0.5Ｎと２Ｎ×1.5Ｎの２領域に分割することを示す。２Ｎ×ｎＤは、２Ｎ×２Ｎの符号化ユニットを上から順に２Ｎ×1.5Ｎと２Ｎ×0.5Ｎの２領域に分割することを示す。ｎＬ×２Ｎは、２Ｎ×２Ｎの符号化ユニットを左から順に0.5Ｎ×２Ｎと1.5Ｎ×２Ｎの２領域に分割することを示す。ｎＲ×２Ｎは、２Ｎ×２Ｎの符号化ユニットを左から順に1.5Ｎ×２Ｎと0.5Ｎ×1.5Ｎの２領域に分割することを示す。分割数は１、２、４のいずれかであるため、ＣＵに含まれるＰＵは１個から４個である。これらのＰＵを順にPU0、PU1、PU2、PU3と表現する。
　また、変換ツリーにおいては、符号化ユニットが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ユニットを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
　変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
　変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。
　　（予測パラメータ）
　予測ユニットの予測画像は、予測ユニットに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ（インター予測パラメータ）について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、ベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々L0参照リスト、L1参照リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が１の場合に対応する参照ピクチャリストが用いられる。２つの参照ピクチャリストが用いられる場合、つまり、predFlagL0=1, predFlagL1=1の場合が、双予測に対応し、１つの参照ピクチャリストを用いる場合、すなわち(predFlagL0, predFlagL1) = (1, 0)もしくは(predFlagL0, predFlagL1) = (0, 1)の場合が単予測に対応する。なお、予測リスト利用フラグの情報は、後述のインター予測識別子inter_pred_idcで表現することもできる。通常、後述の予測画像生成部、予測パラメータメモリでは、予測リスト利用フラグが用いれ、符号化データから、どの参照ピクチャリストが用いられるか否かの情報を復号する場合にはインター予測識別子inter_pred_idcが用いられる。
　符号化データに含まれるインター予測パラメータを導出するためのシンタックス要素には、例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。
　　（参照ピクチャリストの一例）
　次に、参照ピクチャリストの一例について説明する。参照ピクチャリストとは、復号ピクチャバッファ１２に記憶された参照ピクチャからなる列である。図１１は、参照ピクチャリストの一例を示す概念図である。参照ピクチャリスト６０１において、左右に一列に配列された５個の長方形は、それぞれ参照ピクチャを示す。左端から右へ順に示されている符号、Ｐ１、Ｐ２、Ｑ０、Ｐ３、Ｐ４は、それぞれの参照ピクチャを示す符号である。Ｐ１等のＰとは、視点Ｐを示し、そしてＱ０のＱとは、レイヤＰとは異なるレイヤＱを示す。Ｐ及びＱの添字は、ピクチャ順序番号ＰＯＣを示す。refIdxLXの真下の下向きの矢印は、参照ピクチャインデックスrefIdxLXが、復号ピクチャバッファ１２において参照ピクチャＱ０を参照するインデックスであることを示す。
　　（参照ピクチャの例）
　次に、ベクトルを導出する際に用いる参照ピクチャの例について説明する。図１２は、参照ピクチャの例を示す概念図である。図１２において、横軸は表示時刻を示し、縦軸はレイヤ数を示す。図示されている、縦２行、横３列（計６個）の長方形は、それぞれピクチャを示す。６個の長方形のうち、下行の左から２列目の長方形は復号対象のピクチャ（対象ピクチャ）を示し、残りの５個の長方形がそれぞれ参照ピクチャを示す。対象ピクチャから下向きの矢印で示される参照ピクチャＱ２は対象ピクチャと同じ表示時刻であってレイヤが異なるピクチャである。対象ピクチャcurPic(P2)を基準とするレイヤ間予測においては、参照ピクチャＱ２が用いられる。対象ピクチャから左向きの矢印で示される参照ピクチャＰ１は、対象ピクチャと同じレイヤであって、過去のピクチャである。対象ピクチャから右向きの矢印で示される参照ピクチャＰ３は、対象ピクチャと同じレイヤであって、未来のピクチャである。対象ピクチャを基準とする動き予測においては、参照ピクチャＰ１又はＰ３が用いられる。
　　（インター予測識別子と予測リスト利用フラグ）
　インター予測識別子と、予測リスト利用フラグpredFlagL0、predFlagL1の関係は以下のように相互に変換可能である。そのため、インター予測パラメータとしては、予測リスト利用フラグを用いても良いし、インター予測識別子を用いてもよい。また、以下、予測リスト利用フラグを用いた判定は、インター予測識別子に置き替えても可能である。逆に、インター予測識別子を用いた判定は、予測リスト利用フラグに置き替えても可能である。
　インター予測識別子　＝　(predFlagL1<<1) + predFlagL0
　predFlagL0　＝インター予測識別子 & 1
　predFlagL1　＝インター予測識別子 >> 1
　ここで、>>は右シフト、<<は左シフトである。
　　（マージ予測とＡＭＶＰ予測）
　予測パラメータの復号（符号化）方法には、マージ予測（merge）モードとＡＭＶＰ（Adaptive Motion Vector Prediction、適応動きベクトル予測）モードがある、マージフラグmerge_flagは、これらを識別するためのフラグである。マージ予測モードでも、AMVPモードでも、既に処理済みのブロックの予測パラメータを用いて、対象ＰＵの予測パラメータが導出される。マージ予測モードは、予測リスト利用フラグpredFlagLX（インター予測識別子inter_pred_idc）、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めずに、既に導出した予測パラメータをそのまま用いるモードであり、AMVPモードは、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めるモードである。なおベクトルmvLXは、予測ベクトルを示す予測ベクトルインデックスmvp_LX_idxと差分ベクトル(mvdLX)として符号化される。
　インター予測識別子inter_pred_idcは、参照ピクチャの種類および数を示すデータであり、Pred_L0、Pred_L1、Pred_Biの何れかの値をとる。Pred_L0、Pred_L1は、各々Ｌ０参照リスト、Ｌ１参照リストと呼ばれる参照ピクチャリストに記憶された参照ピクチャが用いられることを示し、共に１枚の参照ピクチャを用いること（単予測）を示す。L0参照リスト、Ｌ１参照リストを用いた予測を各々Ｌ０予測、Ｌ１予測と呼ぶ。Pred_Biは２枚の参照ピクチャを用いること（双予測）を示し、Ｌ０参照リストとＬ１参照リストに記憶された参照ピクチャの２つを用いることを示す。予測ベクトルインデックスmvp_LX_idxは予測ベクトルを示すインデックスであり、参照ピクチャインデックスrefIdxLXは、参照ピクチャリストに記憶された参照ピクチャを示すインデックスである。なお、ＬＸは、Ｌ０予測とＬ１予測を区別しない場合に用いられる記述方法であり、ＬＸをＬ０、Ｌ１に置き換えることでＬ０参照リストに対するパラメータとＬ１参照リストに対するパラメータを区別するする。例えば、refIdxL0はＬ０予測に用いる参照ピクチャインデックス、refIdxL1はＬ１予測に用いる参照ピクチャインデックス、refIdx（refIdxLX）は、refIdxL0とrefIdxL1を区別しない場合に用いられる表記である。
　マージインデックスmerge_idxは、処理が完了したブロックから導出される予測パラメータ候補（マージ候補）のうち、いずれかの予測パラメータを復号対象ブロックの予測パラメータとして用いるかを示すインデックスである。
　　（動きベクトルと変位ベクトル）
　ベクトルmvLXには、動きベクトルと変位ベクトル（disparity vector、視差ベクトル）がある。動きベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、異なる表示時刻（例えば、隣接する離散時刻）における同一のレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。変位ベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、同一の表示時刻における異なるレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。異なるレイヤのピクチャとしては、同一解像度で品質が異なるピクチャである場合、異なる視点のピクチャである場合、もしくは、異なる解像度のピクチャである場合などがある。特に、異なる視点のピクチャに対応する変位ベクトルを視差ベクトルと呼ぶ。以下の説明では、動きベクトルと変位ベクトルを区別しない場合には、単にベクトルmvLXと呼ぶ。ベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。ベクトルmvLXおよび差分ベクトルmvdLXが、動きベクトルであるか、変位ベクトルであるかは、ベクトルに付随する参照ピクチャインデックスrefIdxLXを用いて行われる。
　　（画像復号装置の構成）
　本実施形態に係る画像復号装置１の構成について説明する。図４４は、画像復号装置の概略的な構成を示す図であり、図１３は、本実施形態に係る画像復号装置１の構成を示す図である。画像復号装置１は、ヘッダ復号部１０、ピクチャ復号部１１、復号ピクチャバッファ１２、参照ピクチャ管理部１３を含んで構成される。画像復号装置１は、複数のレイヤを含む画像において特定の時刻のピクチャから復号を開始する後述するランダムアクセス復号処理が可能である。
　　［ヘッダ復号部１０］
　ヘッダ復号部１０は、画像符号化装置２より供給される符号化データ＃１から、ＮＡＬユニット単位、シーケンス単位、ピクチャ単位、またはスライス単位で復号に利用される情報を復号する。復号された情報は、ピクチャ復号部１１及び参照ピクチャ管理部１３に出力される。
　ヘッダ復号部１０は、符号化データ＃１に含まれるＶＰＳ、ＳＰＳ、ＰＰＳを既定のシンタックス定義に基づいてパースして、シーケンス単位で復号に利用される情報を復号する。例えば、レイヤ数に関する情報がＶＰＳから復号される。レプリゼンテーション情報がＶＰＳに存在する場合には、復号画像の画像サイズに関連する情報がＶＰＳから復号され、レプリゼンテーション情報がＳＰＳに存在する場合には、復号画像の画像サイズに関連する情報はＳＰＳから復号される。
　また、ヘッダ復号部１０は、符号化データ＃１に含まれるスライスヘッダを既定のシンタックス定義に基づいてパースして、スライス単位で復号に利用される情報を復号する。例えば、スライスタイプがスライスヘッダから復号される。
　図１４に示すようにヘッダ復号部１０は、ヘッダ復号部は、ＮＡＬユニットヘッダ復号部１０１、ＶＰＳ復号部１０２、ＳＰＳ復号部１０３、ＰＰＳ復号部１０４、スライスヘッダ復号部１０５、及びパラメータメモリ（不図示）等を備える。
　図１５は、ＮＡＬユニットヘッダ復号部１０１の概略的構成について示した機能ブロック図である。図１５に示すように、ＮＡＬユニットヘッダ復号部１０１はレイヤＩＤ復号部１０１１とＮＡＬユニットタイプ復号部１０１２を含んで構成される。
　レイヤＩＤ復号部１０１１は、符号化データからレイヤＩＤを復号する。ＮＡＬユニットタイプ復号部１０１２は、符号化データからＮＡＬユニットタイプを復号する。レイヤＩＤは、例えば０から６３の６ビットの情報であり、レイヤＩＤが０の場合、ベースレイヤを示す。ＮＡＬユニットタイプは、例えば０から６３の６ビットの情報であり、ＮＡＬユニットに含まれるデータの種別を示す。後述するようにデータの種別には、例えば、ＶＰＳ、ＳＰＳ、ＰＰＳなどのパラメータセット、ＩＤＲピクチャ、ＣＲＡピクチャ、ＬＢＡピクチャなどのＲＰＳピクチャ、ＬＰピクチャなどの非ＲＰＳピクチャ、ＳＥＩなどがＮＡＬユニットタイプから識別される。
　ＶＰＳ復号部１０２は、符号化データ＃１に含まれるＶＰＳを規定のシンタックス定義に基づいてパースして、レイヤ単位で利用される情報を復号する。なお、ＶＰＳ復号部１０２の詳細については、後述する。
　ＳＰＳ復号部１０３は、符号化データ＃１に含まれるＳＰＳを規定のシンタックス定義に基づいてパースして、シーケンス単位で利用される情報を復号する。
　ＰＰＳ復号部１０４は、符号化データ＃１に含まれるＰＰＳを規定のシンタックス定義に基づいてパースして、ピクチャ単位で利用される情報を復号する。
　スライスヘッダ復号部１０５は、符号化データ＃１に含まれるスライスヘッダを規定のシンタクス定義に基づいてパースして、スライス単位で復号に利用される情報を復号する。
　以下では、図１６～図２２を参照し、本発明の実施例１に係るＶＰＳ復号部１０２について説明する。
　　［ＶＰＳ復号部１０２］
　図１６は、ＶＰＳ復号部１０２の概略的構成について示した機能ブロック図である。図１６に示すように、ＶＰＳ復号部１０２は、さらに、プロファイルレベル情報復号部（ＰＴＬ情報復号部）１０２１、参照ＰＴＬ指定情報復号部１０２２、プロファイル有無フラグ復号部１０２３を含んで構成される。
　＜ＶＰＳの詳細な復号プロセス＞
　以下、図１７を参照しながら、ＶＰＳ復号部１０２の動作について説明する。
　（ステップＳＡ１０１）ＶＰＳ復号部１０２は、図７上のシンタックス群SYNVPS01を復号する。
　（ステップＳＡ１０２）ＶＰＳ復号部１０２に含まれるＰＴＬ情報復号部１０２１が、図７上のSYNVPS02に示すレイヤセット０のＰＴＬ情報を復号する。なお、復号されたＰＴＬ情報は、パラメータメモリへ供給され記憶される。
　（ステップＳＡ１０３）ＶＰＳ復号部１０２は、図７上のシンタックス群SYNVPS03から各レイヤセットを構成するレイヤＩＤを復号する。
　（ステップＳＡ１０４）ＶＰＳ復号部１０２は、図７上のＶＰＳ拡張フラグvps_extension_flag（図７上のSYNVPS04）を復号する。
　（ステップＳＡ１０５）ＶＰＳ拡張フラグが１の場合（ステップＳＡ１０５でＹＥＳ）、ＶＰＳ拡張データがＶＰＳ上にあると判定し、ステップＳＡ１０６へ進む。ＶＰＳ拡張フラグが０の場合（ステップＳＡ１０５でＮｏ）、ＶＰＳ拡張データがＶＰＳ上にないと判定し、ステップＳＡ１０９へ進む。
　（ステップＳＡ１０６）ＶＰＳ拡張フラグの次ビットからＶＰＳ拡張データに含まれるavc_base_flagの直前まで挿入されているバイトアラインデータ(vps_extension_aligment_bit_equal_to_one)(図７上のシンタックス群SYNVPS05)を復号する。
　（ステップＳＡ１０７）ＶＰＳ拡張データvps_extension()を復号する。なお、ＶＰＳ拡張データの詳細の復号プロセスについては後述する。
　（ステップＳＡ１０８）ＶＰＳ復号部１０２は、図７上のSYNVPS0７に示すＶＰＳ拡張２フラグvps_extension2_flagを復号する。ＶＰＳ拡張２フラグが１であれば、さらにＶＰＳ拡張２データを復号する。
　（ステップＳＡ１０９）ＶＰＳ復号部１０２は、図７上のSYNVPS08に示すRBSP_traling_bits()を復号する。RBSP_trailing_bits()とは、バイトアラインデータである。なお、バイトアラインデータは、スタッフィングデータとも呼ばれる。
　　＜ＶＰＳ拡張データの詳細な復号プロセス＞
　図１８を参照しながら、ＶＰＳ拡張データの復号プロセスについて説明する。
　（ステップＳＢ１０１）ＶＰＳ復号部１０２は、図８上のシンタックス群SYNVPS0Aを復号する。
　（ステップＳＢ１０２）ＶＰＳ復号部１０２は、図８上のシンタックス群SYNVPS0Bより、各レイヤが参照する依存レイヤ（直接参照レイヤ、従属レイヤともいう）に関する依存フラグを復号する。
　（ステップＳＢ１０３）ＶＰＳ復号部１０２は、レイヤセット数（図８上のシンタックスSYNVPS0C）を復号する。
　（ステップＳＢ１０４）ＶＰＳ復号部１０２は、ＶＰＳ上に含まれるＰＴＬ情報の総数（図８上のSYNVPS0D）を復号する。
　（ステップＳＢ１０５）ＶＰＳ上に含まれるＰＴＬ情報の復号プロセスのループ開始点である。
　（ステップＳＢ１０６）ＶＰＳ復号部１０２に含まれるプロファイル有無フラグ復号部１０２３は、ｉ番目のＰＴＬ情報profile_tier_level()上に、プロファイル情報を示すシンタックス群の有無を示すプロファイル有無フラグ（図８上のシンタックスSYNVPS0E）を復号する。
　（ステップＳＢ１０７）プロファイル有無フラグが０の場合は、ｉ番目のＰＴＬ情報上にプロファイル情報を示すシンタックス群がないと判定し、ステップＳＢ１０８へ進む。プロファイル有無フラグが１の場合は、ｉ番目のＰＴＬ情報上にプロファイル情報を示すシンタックス群がある判定し、ステップＳＢ１０９へ進む。
　（ステップＳＢ１０８）プロファイル有無フラグが０の場合、ＶＰＳ復号部１０２に含まれる参照ＰＴＬ指定情報復号部１０２２は、ｉ番目のＰＴＬ情報のプロファイル情報をＰＴＬ情報リスト上のいずれのＰＴＬ情報から参照するかを示す参照ＰＴＬ情報指定インデクス（参照プロファイルレベル情報相対インデクス、参照ＰＴＬ指定情報ともいう）”profile_ref_delta_index_minus1[i]”(図８上のSYNVPS0Fa)を復号する。参照ＰＴＬ情報指定インデクス“profile_ref_delta_index_minus1[i]”は、ｉ番目のＰＴＬ情報と参照先ＰＴＬ情報の相対インデクスを表わす。すなわち、ｉ番目のＰＴＬ情報は、j = (i - profile_ref_delta_minus1[i] +1 )で特定される、ｊ番目のＰＴＬ情報をプロファイル情報の参照先とする。なお、予めエンコーダ側で、ＰＴＬ情報リスト上のＰＴＬ情報を、類似順に並び替えておくことで、ｉ番目のＰＴＬ情報は、直前のＰＴＬ情報を参照する確率を高めることができる。従って、参照ＰＴＬ指定インデクス” profile_ref_delta_index_minus1[i]”は相対インデクスを、例えば、図１９に示すように、ゴロム符号で表わすことにより、参照ＰＴＬ指定インデクスを表現するために必要なビット長を従来に比べて削減することが可能である。図１９(ａ)は、ゴロム符号とシンタクス値の対応表を表わし、図１９(ｂ)は、“prefix“と”suffix”で構成されるゴロム符号の各ビット長により表現できる値との対応関係を表わす。
　換言すれば、プロファイル／レベル情報復号部は、上記プロファイル／レベル情報におけるｉ番目の参照ＰＴＬ情報指定インデクスのセマンティックを、当該ｉ番目の参照ＰＴＬ情報指定インデクスが、ｉ番目のプロファイル／レベル情報と参照されるプロファイル／レベル情報との間の相対的な位置を指定するものとして取り扱う。
　例えば、参照ＰＴＬ指定インデクス“profile_ref_delta_minus1[i]”の値が０、すなわち、ｉ番目のＰＴＬ情報のひとつ前（ｉ－１）番目のＰＴＬ情報を参照する場合、図１９に示すゴロム符号を用いることにより、参照ＰＴＬ指定インデクスを表現するのに必要なビット長は１ビットとなる。これにより、従来技術に比べて、参照ＰＴＬ情報指定インデクスを固定長で表わす場合に比べて、符号量を削減することができる。また、ＰＴＬ情報リスト上の先頭ＰＴＬ情報（０番目）を参照することができるため、対象ＰＴＬ情報が１番目のときに、参照ＰＴＬ情報指定インデックスが機能しない欠点を解消することができる。なお、参照ＰＴＬ指定インデクス“profile_ref_delta_minus1[i]”をゴロム符号の代わりに、ｋ次指数ゴロム符号(k-th order Exponential Golomb: EGk（K>=0）)により復号してもよく、同様の効果を奏する。また、図１９に示すゴロム符号は、０次指数ゴロム符号とも呼ばれる。
　また、ＰＴＬ情報リスト上の先頭ＰＴＬ情報（０番目）を参照することを禁止する場合は、対象ＰＴＬ情報が１番目のときに、プロファイル有無フラグを必ず１と設定し、明示的に、１番目のＰＴＬ情報のプロファイル情報を必ず符号化データ内に含むよう、デコーダとエンコーダ間で予め取り決めておいてもよい（ビットストリーム制約ともいう）。これにより、対象ＰＴＬ情報が１番目のときに、参照ＰＴＬ情報指定インデックスが機能しない欠点を同様に解消することができる。
　（ステップＳＢ１０９）ＶＰＳ復号部１０２に含まれるＰＴＬ情報復号部１０２１は、プロファイル有無フラグ、参照ＰＴＬ指定インデクス、サブレイヤ数を入力として、ｉ番目のＰＴＬ情報のプロファイル、及びレベル情報を復号する。ＰＴＬ情報復号部１０２１の詳細については後述する。
　（ステップＳＢ１１０）ＶＰＳ上に含まれるＰＴＬ情報の復号プロセスのループ終端である。
　（ステップＳＢ１１１）ＶＰＳ復号部１０２は、各出力レイヤセットに適用するＰＴＬ情報を指定するＰＴＬ情報指定インデクス（図８上のシンタックス群SYNVPS0H上のprofile_level_tier_idx[i]）を復号する。
　（ステップＳＢ１１２）ＶＰＳ復号部１０２は、図８上のシンタックス群SYNVPS0Iから各レイヤの従属レイヤタイプを復号する。図８上のシンタックス群SYNVPS0Iのうち、”direct_dep_type_len_minus2”は、従属レイヤタイプ(direct_dependency_type[i][j])のビット長(direct_dep_type_len_minus2 + 2)を表わし、図８上のシンタックスSYNVPS0Iのうち、従属レイヤタイプ(direct_dependency_tipe[i][j])は、各レイヤと従属レイヤの依存タイプの種類を表わす。
　（ステップＳＢ１１１）ＶＰＳ復号部１０２は、図８上のその他シンタックス群SYNVPS0Jを復号する。
　＜ＰＴＬ情報復号部１０１１の詳細＞
　次に、実施例１に係るＰＴＬ情報復号部１０２１の詳細について、図２０、図２１を用いて説明する。
　図２０は、ＰＴＬ情報復号部１０２１の構成について例示した機能ブロック図である。図２０に示すように、ＰＴＬ情報（プロファイル／レベル情報）復号部１０２１は、プロファイル情報復号部１０２１ａ、レベル情報復号部１０２１ｂ、サブレイヤプロファイル有無フラグ復号部１０２１ｃ、サブレイヤレベル有無フラグ復号部１０２１ｄ、バイトアラインデータ復号部１０２１ｅ、および参照プロファイルレベル選択部１０２１ｆを備える。
　[プロファイル情報復号部１０２１ａ]
　プロファイル情報復号部１０２１ａは、プロファイル有無フラグprofilePresentFlagに基づいて、符号化データＤＡＴＡ＃Ｔより復号対象ＰＴＬ情報のプロファイル情報(最高次サブレイヤのプロファイル情報、あるいは汎用プロファイル情報とも呼ぶ)を復号し出力する。具体的には、プロファイル有無フラグprofilePresentFlagが１の場合、復号対象ＰＴＬ情報のプロファイル情報を符号化データＤＡＴＡ＃Ｔより復号する。プロファイル有無フラグprofilePresentFlagが０の場合、復号対象ＰＴＬ情報のプロファイル情報が、参照ＰＴＬ指定情報により指定されるＰＴＬ情報のプロファイル情報と等しいと判断し、参照ＰＴＬ指定情報により指定される復号済ＰＴＬ情報をパラメータメモリ（不図示）より読み出し、該プロファイル情報を、復号対象ＰＴＬ情報のプロファイル情報として出力する。なお、ＶＰＳの先頭に位置する０番目のＰＴＬ情報、及び基本レイヤにおけるＳＰＳにおいては、必ずプロファイル情報が符号化側においてシグナルされる。
　また、プロファイル情報復号部１０２１ａは、プロファイル有無フラグprofilePresentFlag、サブレイヤ数MaxNumSubLayers、参照ＰＴＬ指定情報、及びサブレイヤプロファイル有無フラグ復号部１０２１ｃより供給される各サブレイヤのサブレイヤプロファイル有無フラグsub_layer_profile_present_flag[i]に基づいて、符号化データＤＡＴＡ＃Ｔより、最高次サブレイヤを除く、復号対象ＰＴＬ情報の各サブレイヤのサブレイヤプロファイル情報を復号し出力する。
　（プロファイル有無フラグが１の場合のサブレイヤプロファイル復号）
　復号対象ＰＴＬ情報のプロファイル有無フラグが１の場合、プロファイル情報復号部１０２１ａは、以下の動作により、サブレイヤプロファイルを復号する。復号対象ＰＴＬ情報中のサブレイヤi（temporalId=i+1）のサブレイヤプロファイル有無フラグが１の場合、該サブレイヤiのプロファイル情報が符号化データＤＡＴＡ＃Ｔ内に存在すると判断し、符号化データＤＡＴＡ＃Ｔよりサブレイヤiのサブレイヤプロファイル情報を復号する。それ以外の場合は、サブレイヤiのサブレイヤプロファイル情報に所定のプロファイル情報を設定する。サブレイヤｉが最高次サブレイヤ（i=MaxNumSubLayers-1）の場合には、汎用プロファイルをサブレイヤiのプロファイル情報として設定し、それ以外の場合には、復号対象ＰＴＬ情報のサブレイヤ（i+1）のプロファイル情報をサブレイヤiのプロファイル情報として設定する。サブレイヤのプロファイル情報の設定ルールを疑似コードで表せば、以下の通りである（図６２(FIG_INFER_RULE)(a)参照）。
　for(i=MaxNumSubLayers-1; i>=0; i--){
　　if( sub_layer_profile_present_flag[i]==0 ){
　　　if( i== MaxNumSubLayers-1 ){
　　　　 The i-th sub-layer profile information is set to be equal to 
　　　　 the general level information of the current profile_tier_level();
　　　} else {// i<MaxNumSubLayers-1
　　　　 The i-th sub-layer profile information is set to be equal to 
　　　　 the (i+1)-th sub-layer profile information of 
　　　　 the current profile_tier_level();
　　}
　}
　（プロファイル有無フラグが０の場合のサブレイヤプロファイル復号）
　復号対象ＰＴＬ情報のプロファイル有無フラグが０の場合、プロファイル情報復号部１０２１ａは、以下の動作により、サブレイヤプロファイルを復号する。サブレイヤi（temporalId=i+1）のサブレイヤプロファイル有無フラグが１の場合、該サブレイヤiのプロファイル情報が符号化データＤＡＴＡ＃Ｔ内に存在すると判断し、符号化データＤＡＴＡ＃Ｔよりサブレイヤiのサブレイヤプロファイル情報を復号する。それ以外の場合は、サブレイヤiのサブレイヤプロファイル情報に、参照ＰＴＬ指定情報で指定される復号済ＰＴＬ情報の対応するサブレイヤのプロファイル情報をサブレイヤiのプロファイル情報として設定する。サブレイヤのプロファイル情報の設定ルールを疑似コードで表せば、以下の通りである（図６２(FIG_INFER_RULE)(b)参照）。なお、ここで、ProfileRefIdxとは、参照ＰＴＬ指定情報であり、本実施例であれば、ProfileRefIdx = (profile_ref_delta_minus1 + 1)である。すなわち、ＰＴＬ情報リスト上のProfileRefIdx番目のＰＴＬ情報を参照する。
　for(i=MaxNumSubLayers-1; i>=0; i--){
　　if( sub_layer_profile_present_flag[i]==0 ){
　　　i-th sub_layer_profile information is set to be equal to i-th sub_layer_profile information of the (ProfileRefIdx)-th profile_tier_level();
　　}
　}
　なお、プロファイル有無フラグが０の場合は、サブレイヤ有無フラグの値も０として、符号化／復号するように、予め画像復号装置と画像符号化装置側で取り決めておいてもよい。
　[レベル情報復号部１０２１ｂ]
　レベル情報復号部１０２１ｂは、符号化データＤＡＴＡ＃Ｔより復号対象ＰＴＬ情報のレベル情報（最高次サブレイヤのレベル情報、あるいは汎用レベル情報とも呼ぶ）を復号し出力する。また、レベル情報復号部１０２１ｂは、サブレイヤ数MaxNumSubLayers、及びサブレイヤレベル有無フラグ復号部１０２１ｄより供給される各サブレイヤのサブレイヤレベル有無フラグsub_layer_level_present_flag[i]に基づいて、符号化データＤＡＴＡ＃Ｔより、最高次サブレイヤを除く、復号対象ＰＴＬ情報の各サブレイヤのサブレイヤレベル情報を復号し出力する。
　具体的には、サブレイヤｉ（temporalId=i+1）のサブレイヤレベル有無フラグsub_layer_level_present_flag[i]が１の場合、該サブレイヤｉのレベル情報が符号化データ＃Ｔ内に存在すると判断し、符号化データＤＡＴＡ＃Ｔよりサブレイヤiのサブレイヤレベル情報を復号し出力する。それ以外の場合（サブレイヤレベル有無フラグsub_layer_level_present_flag[i]が０）、サブレイヤｉのサブレイヤレベル情報に所定のレベル情報を設定する。例えば、復号対象ＰＴＬ情報のサブレイヤ（i+1）のレベル情報をサブレイヤｉのレベル情報として設定する。すなわち、最高次サブレイヤ(temporalId=highestTid)より１つ下のサブレイヤｉ(temporalId=highestTid-1、すなわち、temporalId=MaxNumSubLayers-2)は、最高次サブレイヤのレベル情報（汎用レベル情報）が設定され、それ以外のサブレイヤｉは、１つ上のサブレイヤ(i+1)のサブレイヤレベル情報が設定される。サブレイヤのレベル情報の設定ルールを疑似コードで表せば、以下の通りである（図６３(FIG_INFER_RULE)(a)参照）。
　for(i=MaxNumSubLayers-1; i>=0; i--){
　　if( sub_layer_profile_present_flag[i]==0 ){
　　　i-th sub_layer_profile information is set to be equal to (i+1)-th sub_layer_profile information;
　　}
　}
　また、図６３（ｂ）の疑似コードでも表現できる。
　for(i=MaxNumSubLayers-1; i>=0; i--){
　　if( sub_layer_level_present_flag[i]==0 ){
　　　　　sub_layer_level_idc[i] = (i==MaxNumSubLayers-1) ? 
　　　　　　　　　　　　　　　　 general_level_idc : sub_layer_level_idc[i+1];
　}
}
　[サブレイヤプロファイル有無フラグ復号部１０２１ｃ]
　サブレイヤプロファイル有無フラグ復号部１０２１ｃは、サブレイヤ数MaxNumSubLayersに基づいて、符号化データＤＡＴＡ＃Ｔより復号対象ＰＴＬ情報の各サブレイヤのサブレイヤプロファイル有無フラグを復号し、プロファイル情報復号部１０２１ａ、および外部へ出力する。
　[サブレイヤレベル有無フラグ復号部１０２１ｄ]
　サブレイヤレベル有無フラグ復号部１０２１ｄは、サブレイヤ数MaxNumSubLayersに基づいて、符号化データＤＡＴＡ＃Ｔより復号対象ＰＴＬ情報の各サブレイヤのサブレイヤレベル有無フラグを復号し、レベル情報復号部１０２１ｂ、および外部へ出力する。
　[バイトアラインデータ復号部１０２１ｅ]
　バイトアラインデータ復号部１０２１ｅは、サブレイヤ数(MaxNumSbuLayersMinus1,またはMaxNumSubLayers-1)に基づいて定まるビット数分のバイトアラインデータ(reserved_zero_2bits[i])（図９上のシンタックスSYNPTL04）を2bit単位で符号化データから読み出す（復号する）。バイトアラインデータとして、読み出す（復号する）べきビット数は、図９上のシンタックスSYNVPSPTL04から明らかなように、”(8 - MaxNumSubLayersMinus1) * 2 bits”である。
　[参照プロファイルレベル選択部１０２１ｆ]
　参照プロファイルレベル選択部１０２１ｆは、パラメータメモリ（不図示）から参照ＰＴＬ指定情報により指定される復号済みＰＴＬ情報を読み出す。
　　（プロファイル／レベル情報profile_tier_level()の復号処理の流れ）
　図２１は、ＰＴＬ情報profile_tier_level()の復号処理を示すフロー図である。以下、プロファイル／レベル情報復号部１０２１の動作について説明する。
　　　（ステップＳＣ１０１）プロファイル情報復号部１０２１ａは、プロファイル有無フラグprofilePresentFlagが１であるか判別する。プロファイル有無フラグprofilePresentFlagが１の場合（ステップＳＣ１０１においてＹｅｓ）の場合、ステップＳＣ１０２へ進み、それ以外の場合（ステップＳＣ１０１においてＮｏ）の場合、ステップＳＣ１０３へ進む。
　　　（ステップＳＣ１０２）プロファイル情報復号部１０２１ａは、符号化データＤＡＴＡ＃Ｔから、例えば、図９上のシンタックス群SYNPTL01、
・プロファイル空間general_profile_space
・ティアフラグgeneral_tier_flag
・プロファイル識別子general_profile_idc
・プロファイル互換フラグgeneral_profile_compatibility_flag[ i ]
…省略…
・プロファイル予約シンタックスgeneral_reserved_zero_44bits
等を復号し、復号対象ＰＴＬ情報のプロファイル情報として出力する。
　　　（ステップＳＣ１０３）
　プロファイル情報復号部１０２１ａは、復号対象ＰＴＬ情報のプロファイル情報が、参照ＰＴＬ指定情報により指定される復号済ＰＴＬ情報のプロファイル情報と等しいと判断し、参照ＰＴＬ指定情報により指定される復号済ＰＴＬ情報をパラメータメモリ（不図示）より読み出し、該プロファイル情報を、復号対象ＰＴＬ情報のプロファイル情報として設定し出力する。
　　　（ステップＳＣ１０４）
　レベル情報復号部１０２１は、符号化データＤＡＴＡ＃Ｔから、以下のシンタックス、・レベル識別子general_level_idc
を復号し、復号対象ＰＴＬ情報のレベル情報として出力する。
　　　（ステップＳＣ１０５）
　サブレイヤのサブレイヤプロファイル有無フラグ、およびサブレイヤレベル有無フラグの復号に関するループの開始である。ループの開始前に、変数iは０に初期化される。ループ内の処理は、変数ｉがサブレイヤ数－１、“MaxNumSubLayers - 1”未満のときに実行され、ループ内の処理が１回実行される度に、変数iは“1”増分される。すなわち、ステップＳＣ１０５～ステップＳＣ１０７では、最高次サブレイヤを除く、サブレイヤのサブレイヤプロファイル有無フラグ、及びサブレイヤレベル有無フラグが復号される。
　　　（ステップＳＣ１０６）
　サブレイヤプロファイル有無フラグ復号部１０２１ｃは、符号化データＤＡＴＡ＃Ｔから、変数iで指定されるサブレイヤに関するサブレイヤプロファイル有無フラグsub_layer_profile_present_flag[i]を復号し出力する。
　サブレイヤレベル有無フラグ復号部１０２１ｄは、符号化データＤＡＴＡ＃Ｔから、変数iで指定されるサブレイヤに関するサブレイヤレベル有無フラグsub_layer_level_present_flag[i]を復号し出力する。
　　　（ステップＳＣ１０７）
　サブレイヤのサブレイヤプロファイル有無フラグ、およびサブレイヤレベル有無フラグの復号に関するループの終端である。
　　　（ステップＳＣ１０８）
　バイトアラインデータ復号部１０２１ｅは、サブレイヤ数(MaxNumSbuLayersMinus1,またはMaxNumSubLayers-1)に基づいて定まるビット数分のバイトアラインデータ(reserved_zero_2bits[i])（図９上のシンタックスSYNPTL04）を2bit単位で符号化データから読み出す（復号する）。
　具体的には、ステップＳＣ１０５～ステップＳＣ１０７において、サブレイヤ毎に復号されるサブレイヤプロファイル有無フラグとサブレイヤレベル有無フラグの符号量は各１ビット、計２ビットであり、サブレイヤ数はMaxNumSubLayersであるため、ステップＳＣ１０５～ステップＳＣ１０７で復号される符号量の総和は、2 * (MaxNumSubLayer - 1)である。従って、バイトアラインデータとして、読み出す（復号する）べきビット数は、”(8 - MaxNumSubLayersMinus1) * 2 bits”である。
　　　（ステップＳＣ１０９）
　サブレイヤのサブレイヤプロファイル情報、およびサブレイヤレベル情報の復号に関するループの開始点である。ループの開始前に、変数iは０に初期化される。ループ内の処理は、変数iがサブレイヤ数－１、“MaxNumSubLayers - 1”未満のときに実行され、ループ内の処理が１回実行される度に、変数iは”1”増分される。
　　　（ステップＳＣ１１０）
　プロファイル情報復号部１０２１ａは、変数iで指定されるサブレイヤのサブレイヤプロファイル有無フラグsub_layer_profile_present_flag[i]が１であるかを判定する。サブレイヤプロファイル有無フラグが１の場合（ステップＳＣ１１０においてＹｅｓ）、ステップＳＣ１１１へ進み、それ以外の場合（ステップＳＣ１１０においてＮｏ）、ステップＳＣ１１２へ進む。
　　　（ステップＳＣ１１１）
　プロファイル情報復号部１０２１ａは、符号化データＤＡＴＡ＃Ｔより、変数ｉで指定されるサブレイヤのサブレイヤプロファイル情報として、例えば、図９上のシンタックス群SYNPTL05、
・サブレイヤプロファイル空間sub_layer_profile_space[ i ]
・サブレイヤティアフラグsub_layer_tier_flag[ i ]
・サブレイヤプロファイル識別子sub_layer_profile_idc[ i ]
・サブレイヤプロファイル互換フラグsub_layer_profile_compatibility_flag[ i ][ j ]…省略…
・サブレイヤプロファイル予約シンタックスsub_layer_reserved_zero_44bits[ i ]
を復号し出力する。
　　　（ステップＳＣ１１２）
　プロファイル情報復号部１０２１ａは、サブレイヤｉのサブレイヤプロファイル情報に所定のプロファイル情報を設定する。例えば、図６２(a)に示すように、プロファイル有無フラグprofilePresentFlagが１の場合、復号対象ＰＴＬ情報のサブレイヤ（i+1）のプロファイル情報をサブレイヤｉのプロファイル情報として設定し出力する。図６２（ｂ）に示すように、プロファイル有無フラグprofilePresentFlagが０の場合、参照ＰＴＬ指定情報で指定される復号済ＰＴＬ情報の対応するサブレイヤのプロファイル情報をサブレイヤｉのプロファイル情報として設定し出力する。
　　　（ステップＳＣ１１３）
　レベル情報復号部１０２１ｂは、変数iで指定されるサブレイヤのサブレイヤレベル有無フラグsub_layer_level_present_flag[i]が１であるか判定する。サブレイヤレベル有無フラグが１の場合（ステップＳＣ１１３においてＹｅｓ）、ステップＳＣＡ１１４へ進み、それ以外の場合（ステップＳＣ１１３においてＮｏ）、ステップＳＣ１１５へ進む。
　　　（ステップＳＣ１１４）
　レベル情報復号部１０２１ｂは、符号化データＤＡＴＡ＃Ｔより、変数iで指定されるサブレイヤのサブレイヤレベル情報として、
・サブレイヤレベル識別子sub_layer_level_idc[ i ]
を復号し出力する。
　　　（ステップＳＣ１１５）
　レベル情報復号部１０２１ｂは、サブレイヤｉのサブレイヤレベル情報に所定のレベル情報を設定する。例えば、図６３に示すように、復号対象ＰＴＬ情報のサブレイヤ（i+1）のレベル情報をサブレイヤｉのレベル情報として設定し出力する。
　　　（ステップＳＣ１１６）
　サブレイヤのサブレイヤプロファイル情報、およびサブレイヤレベル情報の復号に関するループの終端である。
　以上、実施例１に係るプロファイル／レベル情報復号部１０１１の動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。
　なお、ＰＴＬ情報のうち拡張用シンタックス”general_reserved_zero_44bits”のうち、先頭4bit（各シンタックスは、1bit）を下記のようにRange Extension用拡張シンタックスを割り当て、残りの40bitの拡張用シンタックスを”general_reserved_40btis”へ変更してもよい。
・general_max_12bit_constraint_flag
・general_max_10bit_constraint_flag、
・general_max_422chroma_constraint_flag、
・general_max_420chroma_constraint_flag
　同様に、テンポラルID = i +1（i=0…maxNumSubLayersMinus1）の各サブレイヤの拡張用シンタックスsub_layer_reserved_zero_44bits[i]のうち、先頭4bit（各シンタックスは、1bit）を下記のようにRange Extension用拡張シンタックスを割り当て、残りの40bitの拡張用シンタックスを”sub_layer_reserved_zero_40bits[i]”へ変更してもよい。
・sub_max_12bit_constraint_flag[i]
・sub_max_10bit_constraint_flag[i]
・sub_max_422chroma_constraint_flag[i]
・sub_max_420chroma_constraint_flag[i]
　（実施例１の変形例）
　図２２を参照しながら、ＶＰＳ復号部１０２の変形例について説明する。なお、参照ＰＴＬ情報指定インデクス（図２２上のシンタックスSYNVPS0Fb ）を除き、ＶＰＳ復号部１０２の動作は、実施例１と同一であるため、説明を省略する。
　実施例１では、参照ＰＴＬ情報指定インデクスをＰＴＬ情報リスト上の対象ＰＴＬ情報の位置と参照先のＰＴＬ情報の相対インデクス(profile_ref_delta_index_minus1[i])をゴロム符号により復号していたが、これに限定されない。例えば、相対インデックスの代わりに、ＰＴＬ情報リスト上の“profile_ref[i]”番目にあるＰＴＬ情報のプロファイル情報を参照するようにしてもよい。このとき、参照ＰＴＬ情報指定インデクス”profile_ref[i]”を対象ＰＴＬ情報のリスト上の位置を示すインデクスiに基づいて定まるビット長Ｖにより可変長復号する。ここでビット長Ｖは、ceil(log2(i) )により定まる。これにより、従来技術に比べて、参照ＰＴＬ情報指定インデクスを固定長で表わす場合に比べて、符号量を削減することができる。また、ＰＴＬ情報リスト上の先頭ＰＬＴ情報（０番目）を参照することができるため、対象ＰＴＬ情報が１番目のときに、参照ＰＴＬ情報指定インデックスが機能しない欠点を解消することができる。
　換言すれば、プロファイル／レベル情報復号部が復号する上記プロファイル／レベル情報において、１番目のプロファイル／レベル情報のプロファイルおよびティアの情報が、０番目のプロファイル／レベル情報に基づいて推定可能となるように、参照ＰＴＬ情報指定インデクスが参照プロファイルに変更されている。
　なお、ＰＴＬ情報リスト上の先頭ＰＴＬ情報（０番目）を参照することを禁止する場合は、対象ＰＴＬ情報が１番目のときに、プロファイル有無フラグを必ず１と設定し、明示的に、１番目のＰＴＬ情報のプロファイル情報を必ず符号化データ内に含むよう、デコーダとエンコーダ間で予め取り決めておいてもよい（ビットストリーム制約ともいう）。これにより、対象ＰＴＬ情報が１番目のときに、参照ＰＴＬ情報指定インデックスが機能しない欠点を同様に解消することができる。
　　＜＜ＶＰＳ復号部１０２の変形例２＞＞
　次に、図２３～図２７を用いて、ＶＰＳ復号部１０２の変形例２について説明する。
　図２３は、拡張ビデオパラメータセットＶＰＳのシンタックステーブルの変形例である。図２４は、ＶＰＳ拡張データの復号プロセスを説明するためのフローチャートである。は、図２５は、ＶＰＳ復号部の概略的構成の変形例について示した機能ブロック図である。図２６は、ＰＴＬ情報復号部における処理の流れの変形例を示すフローチャートである。図２７は、ＰＴＬ情報復号部の詳細の変形例を示すブロック図である。
　まず、変形例２に係る拡張ビデオパラメータセットＶＰＳのシンタックステーブルについて図２３を用いて説明する。図２３と図８に示す拡張ビデオパラメータセットＶＰＳのシンタックステーブルとの違いは、図２３では、図８上のシンタックスSYNVPS0Faに示す参照ＰＴＬ情報指定インデクス(profile_ref_delta_index_minus1[i])が削除され、参照ＰＴＬ指定情報指定インデクスの機能を、図２３上のシンタックスSYNVPS0Eに示すプロファイル有無フラグ(vps_profile_present_flag[i])が兼用する点である。すなわち、プロファイル有無フラグ(vps_profile_present_flag[i])の値が１の場合は、ｉ番目のＰＴＬ情報のプロファイル情報が符号化データより復号される。一方、プロファイル有無フラグの値が０の場合は、ｉ番目のＰＴＬ情報のプロファイル情報には、ｉ番目のＰＴＬ情報の直前に復号された、(i-1)番目の復号済ＰＴＬ情報のプロファイル情報が設定される（推定される）。
　続いて、変形例２に係るＶＰＳ復号１０２’とＶＰＳ復号部１０２の構成の違いについて説明する。図２５に示すＶＰＳ復号部１０２’は、ＶＰＳ復号部１０２が備える参照ＰＴＬ情報復号部１０２２を備えておらず、ＰＴＬ情報復号部１０２１’の機能がＰＴＬ情報復号部１０２１と一部異なる。
　より具体的には、図２７に示すＰＴＬ情報復号部１０２１’の備えるプロファイル情報復号部１０２１a’、及び参照プロファイルレベル情報選択部１０２１ｆ’の機能が一部異なる。ＰＴＬ情報復号部１０２１’の備えるその他の構成要素（レベル情報復号部１０２１b’、サブレイヤ有無フラグ復号部１０２１ｃ’、サブレイヤレベル情報復号部１０２１d’、及びバイトアラインデータ復号部１０２１e’）は、ＰＴＬ情報復号部１０２１が備える同一符号の構成要素と同一であるため、説明を省略する。以下では、プロファイル情報復号部１０２１a’、及び参照プロファイルレベル情報選択部１０２１ｆ’おいて、機能の異なる部分についてのみ説明する。
　[プロファイル情報復号部１０２１ａ’]
　プロファイル情報復号部１０２１ａ’は、プロファイル有無フラグprofilePresentFlagに基づいて、符号化データＤＡＴＡ＃Ｔより、復号対象ＰＴＬ情報のプロファイル情報（最高次サブレイヤのプロファイル情報、あるいは汎用プロファイル情報とも呼ぶ）を復号し出力する。具体的には、プロファイル有無フラグprofilePresentFlagが１の場合、復号対象ＰＴＬ情報のプロファイル情報を符号化データＤＡＴＡ＃Ｔより復号する。プロファイル有無フラグprofilePresentFlagが０の場合、復号対象ＰＴＬ情報のプロファイル情報が、復号対象ＰＴＬ情報の1つ前に復号された復号済ＰＴＬ情報（（i-1）番目のＰＴＬ情報）のプロファイル情報と等しいと判断し、(i-1)番目の復号済ＰＴＬ情報をパラメータメモリ（不図示）より読み出し、該プロファイル情報を、復号対象ＰＴＬ情報のプロファイル情報として出力する。
　また、プロファイル情報復号部１０２１ａ’は、プロファイル有無フラグprofilePresentFlag、サブレイヤ数MaxNumSubLayers、及びサブレイヤプロファイル有無フラグ復号部１０２１ｃより供給される各サブレイヤのサブレイヤプロファイル有無フラグsub_layer_profile_present_flag[i]に基づいて、符号化データＤＡＴＡ＃Ｔより、最高次サブレイヤを除く、復号対象ＰＴＬ情報の各サブレイヤのサブレイヤプロファイル情報を復号し出力する。なお、プロファイル有無フラグが１の場合の、各サブレイヤのプロファイル情報の復号処理は、プロファイル情報復号部１０２１aと同一であるため、説明を省略する。また、プロファイル有無フラグが０場合の、各サブレイヤのプロファイル情報の処理は、図６２(b)に示す疑似コードにおいて、参照ＰＴＬ指定情報ProfileRefIdxの導出を以下に置き換えれば、同一である。すなわち、復号対象ＰＴＬ情報のＰＴＬ情報リスト上の位置を示すインデクスidxとすれば、参照ＰＴＬ指定情報ProfileRefIdx = (idx-1)と導出する。従って、ＰＴＬ情報リスト上のProfileRefIdx (= idx-1 )番目の復号済ＰＴＬ情報、すなわち、1つ前の復号済ＰＴＬ情報を参照する。
　　（プロファイル／レベル情報profile_tier_level()の復号処理の流れ）
　以下、図２６を用いて、変形例２に係るプロファイル／レベル情報復号部１０２１’の動作について説明する。なお、プロファイル情報／レベル情報の復号処理は、図２１のうち、動作が異なるステップＳＣ１０３、ＳＣ１１２のみ説明する。それ以外のステップは共通のため説明を省略する。すなわち、以下の説明では、図２１のステップＳＣ１０３、ＳＣ１１２を、それぞれ、ステップＳＥ１０３、ＳＥ１１２と読み替える。
　　　（ステップＳＥ１０３）
　プロファイル情報復号部１０２１ａ’は、復号対象ＰＴＬ情報のプロファイル情報が、ＰＴＬ情報リスト上の復号対象ＰＴＬ情報より1つ前の復号済ＰＴＬ情報((i-1)番目のPTL情報)のプロファイル情報と等しいと判断し、該復号済ＰＴＬ情報をパラメータメモリ（不図示）より読み出し、該プロファイル情報を、復号対象ＰＴＬ情報のプロファイル情報として設定し出力する。
　　　（ステップＳＥ１１２）
　　プロファイル情報復号部１０２１ａ’は、サブレイヤiのサブレイヤプロファイル情報に所定のプロファイル情報を設定する。例えば、図６２(a)に示すように、プロファイル有無フラグprofilePresentFlagが１の場合、復号対象ＰＴＬ情報のサブレイヤ（i+1）のプロファイル情報をサブレイヤｉのプロファイル情報として設定し出力する。図６２（ｂ）に示すように、プロファイル有無フラグprofilePresentFlagが０の場合、ProfileRefIdxで指定される復号済ＰＴＬ情報の対応するサブレイヤのプロファイル情報をサブレイヤiのプロファイル情報として設定し出力する。なお、ProfileRefIdxは、復号対象ＰＴＬ情報のＰＴＬ情報リスト上の位置を示すインデクスidxとすれば、ProfileRefIdx = (idx-1)である。すなわち、1つ前の復号済ＰＴＬ情報を参照する。
　以上、変形例２に係るプロファイル／レベル情報復号部１０２１’の動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。
　以上のように、変形例２に係る拡張ビデオパラメータセットＶＰＳのシンタックステーブルでは、図２３のシンタックスSYNVPS0Faに示す参照ＰＴＬ情報指定インデクス(profile_ref_delta_index_minus1[i])が削除され、参照ＰＴＬ指定情報指定インデクスの機能を、図２３上のシンタックスSYNVPS0Eに示すプロファイル有無フラグ(vps_profile_present_flag[i])が兼用している。すなわち、プロファイル有無フラグ(vps_profile_present_flag[i])の値が１の場合は、i番目のＰＴＬ情報のプロファイル情報が符号化データより復号される。一方、プロファイル有無フラグの値が０の場合は、i番目のＰＴＬ情報のプロファイル情報には、i番目のＰＴＬ情報の直前に復号された、(i-1)番目の復号済ＰＴＬ情報のプロファイル情報が設定される（推定される）。なお、予めエンコーダ側で、ＰＴＬ情報リスト上のＰＴＬ情報を、類似順に並び替えておくことで、ｉ番目のＰＴＬ情報は、直前のＰＴＬ情報を参照する確率を高めることができる。すなわち、vps_profile_present_flag[i]=0の場合、参照ＰＴＬ指定インデクス”profile_ref_delta_index_minus1[i]”を復号せずに、参照ＰＴＬ指定インデクス”profile_ref_delta_index_minus1[i]==0”と推定しているとも解釈できる。これにより、相対インデクスに係る符号量をさらに削減することが可能である。
　　＜＜ＶＰＳ復号部１０２の変形例３＞＞
　次に、図２８～図３４を用いて、ＶＰＳ復号部１０２の変形例３について説明する。図２８は、ビデオパラメータセットＶＰＳのシンタックステーブルの変形例である。図２９は、拡張ビデオパラメータセットＶＰＳのシンタックステーブルの変形例である。図３０は、ＶＰＳ拡張データの復号プロセスの変形例を説明するためのフローチャートである。図３１は、ＶＰＳ復号部の概略的構成の変形例について示した機能ブロック図である。図３２は、ＰＴＬ情報のデータ構造の変形例を示す図である。図３３は、ＰＴＬ情報復号部における処理の流れの変形例を示すフローチャートである。図３４は、ＰＴＬ情報復号部の詳細の変形例を示すブロック図である。
　従来技術では、プロファイル情報に関しては、プロファイル有無フラグによって復号を省略するか否かを制御することができる。しかし、複数レイヤ利用時の場合、レイヤ間において共通のレベルをとることがあるため、レベル情報を冗長にシグナルする場合がある。そこで、レベル情報のシグナルの冗長性を削減するために、プロファイル／レベル情報profile_tier_level()のデータ構造を図３２に示すように、プロファイル有無フラグprofilePresentFlagに加えて、レベル情報の有無を示すレベル有無フラグlevelPresentFlagをさらに入力とする。この変更により、まず、図２８に示すようにビデオパラメータセットＶＰＳの先頭に位置するＰＴＬ情報は、profilePresentFlag=1、levelPresentFlag=1を入力して符号化される。なお、この変更により、既存のHEVCのVPSの先頭に位置するＰＴＬ情報、及び、ベースレイヤで通知されるSPS上のＰＴＬ情報のシンタックステーブルに変更はない。すなわち、既存のＨＥＶＣデコーダによって、ＶＰＳ、ＳＰＳ上のＰＴＬ情報が復号できないということは発生しない。
　まず、変形例３に係る拡張ビデオパラメータセットＶＰＳのシンタックステーブルについて図２９を用いて説明する。図２９と図５６に示す従来の拡張ビデオパラメータセットＶＰＳのシンタックステーブルとの違いは、図２９では、図５６上のシンタックスSYNVPS0Fに示す参照ＰＴＬ情報指定インデクス(profile_ref minus1[i])が削除され、参照ＰＴＬ指定情報指定インデクスの機能を、図２９上のシンタックスSYNVPS0Eに示すプロファイル有無フラグ(vps_profile_present_flag[i])、及び、新たに追加した図２９上のシンタックスSYNVPS0Faに示すレベル有無フラグ(vps_level_present_flag[i]) が兼用する点である。すなわち、プロファイル有無フラグ(vps_profile_present_flag[i])の値が１の場合は、ｉ番目のＰＴＬ情報のプロファイル情報が符号化データより復号される。一方、プロファイル有無フラグの値が０の場合は、ｉ番目のＰＴＬ情報のプロファイル情報には、ｉ番目のＰＴＬ情報の直前に復号された、(i-1)番目の復号済ＰＴＬ情報のプロファイル情報が設定される（推定される）。同様に、レベル有無フラグ(vps_level_present_flag[i])の値が１の場合は、ｉ番目のＰＴＬ情報のレベル情報が符号化データより復号される。一方、レベル有無フラグの値が０の場合は、ｉ番目のＰＴＬ情報のレベル情報には、ｉ番目のＰＴＬ情報の直前に復号された、(i-1)番目の復号済ＰＴＬ情報のレベル情報が設定される（推定される）。
　続いて、変形例３に係るＶＰＳ復号１０２’’とＶＰＳ復号部１０２の構成の違いについて説明する。図３１に示すＶＰＳ復号部１０２’’は、ＶＰＳ復号部１０２が備える参照ＰＴＬ情報復号部１０２２を備えておらず、新たに、レベル有無フラグ復号部１２２４を備え、ＰＴＬ情報復号部１０２１’’の機能がＰＴＬ情報復号部１０２１と一部異なる。レベル有無フラグ１２２４は、i番目のＰＴＬ情報のレベル有無フラグ(vps_level_present_flag[i])を復号する。
　以下、変形例３におけるプロファイル／レベル情報復号部１０２１’’の構成について図３４を用いて説明する。図３４に示すように、プロファイル／レベル情報復号部１０２１’’は、プロファイル情報復号部１０２１ａ’’、レベル情報復号部１０２１ｂ’’、サブレイヤプロファイルレベル有無フラグ復号部１０２１ｆ’’、およびバイトアラインデータ復号部１０２１ｅ’’を備える。なお、サブレイヤ有無フラグ復号部１０２１ｃ’’、サブレイヤレベル情報復号部１０２１d’’、及びバイトアラインデータ復号部１０２１e’’は実施例１と同一のため、説明を省略する。また、プロファイル情報復号部１０２１a’’は、変形例２に係るＰＴＬ情報復号部１０２１’が備えるプロファイル情報復号部１０２１a’と同一のため、説明を省略する。
　以下では、レベル情報復号部１０２１ｂ’’及び参照プロファイルレベル情報選択部１０２１ｆ’’おいて、機能の異なる部分についてのみ説明する。
　[レベル情報復号部１０２１b’’]
　レベル情報復号部１０２１ｂ’’は、レベル有無フラグlevelPresentFlagに基づいて、符号化データＤＡＴＡ＃Ｔより復号対象ＰＴＬ情報のレベル情報(最高次サブレイヤのレベル情報、あるいは汎用レベル情報とも呼ぶ）を復号し出力する。具体的には、レベル有無フラグlevelPresentFlagが１の場合、復号対象ＰＴＬ情報のレベル情報を符号化データＤＡＴＡ＃Ｔより復号する。レベル有無フラグlevelPresentFlagが０の場合、復号対象ＰＴＬ情報のレベル情報が、復号対象ＰＴＬ情報の1つ前に復号された復号済ＰＴＬ情報（（i-1）番目のＰＴＬ情報）のレベル情報と等しいと判断し、(i-1)番目の復号済ＰＴＬ情報をパラメータメモリ（不図示）より読み出し、該レベル情報を、復号対象ＰＴＬ情報のレベル情報として出力する。
　また、レベル情報復号部１０２１ｂ’’は、レベル有無フラグlevelPresentFlag、サブレイヤ数MaxNumSubLayers、及びサブレイヤレベル有無フラグ復号部１０２１ｄ’’より供給される各サブレイヤのサブレイヤレベル有無フラグsub_layer_level_present_flag[i]に基づいて、符号化データＤＡＴＡ＃Ｔより、最高次サブレイヤを除く、復号対象ＰＴＬ情報の各サブレイヤのサブレイヤレベル情報を復号し出力する。
　（レベル有無フラグが１の場合のサブレイヤレベル復号）
　復号対象ＰＴＬ情報のレベル有無フラグが１の場合、実施例１に係るＰＴＬ情報復号部１０２１が備えるレベル情報復号部１０２１ｂの動作と同一であるため、詳細の説明を省略する。簡単にいえば、サブレイヤi（temporalId=i+1）のサブレイヤレベル有無フラグが１の場合、該サブレイヤiのレベル情報が符号化データＤＡＴＡ＃Ｔ内に存在すると判断し、符号化データＤＡＴＡ＃Ｔよりサブレイヤiのサブレイヤレベル情報を復号する。それ以外の場合は、サブレイヤiのサブレイヤレベル情報に所定のレベル情報を設定する。例えば、復号対象ＰＴＬ情報のサブレイヤ（i+1）のレベル情報をサブレイヤiのレベル情報として設定する（図６３参照）。
　（レベル有無フラグが０の場合のサブレイヤレベル復号）
　復号対象ＰＴＬ情報のレベル有無フラグが０の場合、レベル情報復号部１０２１b’’は、以下の動作により、サブレイヤレベルを復号する。サブレイヤｉ（temporalId=i+1）のサブレイヤレベル有無フラグが１の場合、該サブレイヤｉのレベル情報が符号化データＤＡＴＡ＃Ｔ内に存在すると判断し、符号化データＤＡＴＡ＃Ｔよりサブレイヤiのサブレイヤレベル情報を復号する。それ以外の場合は、サブレイヤｉのサブレイヤレベル情報に所定のレベル情報を設定する。具体的には、復号対象ＰＴＬ情報のサブレイヤのｉレベル情報が、復号対象ＰＴＬ情報の1つ前に復号された復号済ＰＴＬ情報（（idx-1）番目のＰＴＬ情報）の対応するサブレイヤのレベル情報と等しいと判断し、(idx-1)番目の復号済ＰＴＬ情報をパラメータメモリ（不図示）より読み出し、該レベル情報を、復号対象ＰＴＬ情報のサブレイヤのレベル情報として出力する。
ここで、idxは、ＰＴＬ情報リスト上の復号対象ＰＴＬ情報の位置を示すインデクスである。
サブレイヤのレベル情報の設定ルールを疑似コードで表せば、以下の通りである（図６４（ｂ）参照）。なお、ここで、ProfileRefIdxとは、参照ＰＴＬ指定情報であり、変形例３ではれば、ProfileRefIdx = (idx-1)である。すなわち、ＰＴＬ情報リスト上のProfileRefIdx番目のＰＴＬ情報を参照する。
　for(i=MaxNumSubLayers-1; i>=0; i--){
　　if( sub_layer_level_present_flag[i]==0 ){
　　　i-th sub_layer_level information is set to be equal to i-th sub_layer_
　　　level information of the (ProfileRefIdx)-th profile_tier_level();
　　}
　}
なお、上記疑似コードは、図６４（ｃ）のようにも表現できる。
　　（プロファイル／レベル情報profile_tier_level()の復号処理の流れ）
　以下、図３３を用いて、変形例３に係るプロファイル／レベル情報復号部１０２１’’の動作を説明する。なお、プロファイル情報／レベル情報の復号処理は、図３３のうち、図２１と動作が異なるステップＳＧ１０４、ＳＧ１０５、ＳＧ１０６、ＳＧ１１５、ＳＧ１１６、ＳＧ１１７のみ説明する。それ以外のステップは共通のため説明を省略する。
　　　（ステップＳＧ１０４）レベル情報復号部１０２１ｂ’’は、レベル有無フラグlevelPresentFlagが１であるか判別する。レベル有無フラグlevelPresentFlagが１の場合（ステップＳＧ１０４においてＹｅｓ）の場合、ステップＳＧ１０５へ進み、それ以外の場合（ステップＳＧ１０４においてＮｏ）の場合、ステップＳＧ１０６へ進む。
　　　（ステップＳＧ１０５）レベル情報復号部１０２１ｂ’’は、符号化データＤＡＴＡ＃Ｔから、以下のシンタックス、
・レベル識別子general_level_idc
復号し、復号対象ＰＴＬ情報のレベル情報として出力する。
　　　（ステップＳＧ１０６）
　レベル情報復号部１０２１ｂ’’は、復号対象ＰＴＬ情報のレベル情報が、ＰＴＬ情報リスト上の復号対象ＰＴＬ情報より1つ前の復号済ＰＴＬ情報((i-1)番目のＰＴＬ情報)のレベル情報と等しいと判断し、該復号済ＰＴＬ情報をパラメータメモリ（不図示）より読み出し、該レベル情報を、復号対象ＰＴＬ情報のレベル情報として設定し出力する。
　　　（ステップＳＧ１１５）
　レベル情報復号部１０２１ｂ’‘は、変数iで指定されるサブレイヤのサブレイヤレベル有無フラグsub_layer_level_present_flag[i]が１であるかを判定する。サブレイヤレベル有無フラグが１の場合（ステップＳＧ１１５においてＹｅｓ）、ステップＳＧ１１６へ進み、それ以外の場合（ステップＳＧ１１５においてＮｏ）、ステップＳＧ１１７へ進む。
　　　（ステップＳＧ１１６）
　レベル情報復号部１０２１ｂ’’は、符号化データＤＡＴＡ＃Ｔより、変数ｉで指定されるサブレイヤのサブレイヤレベル情報として、
・サブレイヤレベル識別子sub_layer_level_idc[ i ]
を復号し出力する。
　　　（ステップＳＣ１１７）
　レベル情報復号部１０２１ｂ’’は、サブレイヤiのサブレイヤレベル情報に所定のレベル情報を設定する。例えば、図６４(a)に示すように、レベル有無フラグlevelPresentFlagが１の場合、復号対象ＰＴＬ情報のサブレイヤ（i+1）のレベル情報をサブレイヤiのレベル情報として設定し出力する。図６４（ｂ）に示すように、レベル有無フラグlevelPresentFlagが０の場合、ProfileRefIdxで指定される復号済ＰＴＬ情報の対応するサブレイヤのレベル情報をサブレイヤiのレベル情報として設定し出力する。なお、ProfileRefIdxは、復号対象ＰＴＬ情報のＰＴＬ情報リスト上の位置を示すインデクスidxとすれば、ProfileRefIdx = (idx-1)である。すなわち、1つ前の復号済ＰＴＬ情報を参照する。
　以上、変形例３に係るプロファイル／レベル情報復号部１０２１’’の動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。
　以上のように、変形例３に係る拡張ビデオパラメータセットＶＰＳのシンタックステーブルでは、図２３のシンタックスSYNVPS0Fに示す参照ＰＴＬ情報指定インデクス(profile_ref_delta idx_minus1[i])が削除され、参照ＰＴＬ指定情報指定インデクスの機能を、図２９上のシンタックスSYNVPS0Eに示すプロファイル有無フラグ(vps_profile_present_flag[i])、及びレベル有無フラグ(vps_level_present_flag[i])が兼用している。すなわち、プロファイル有無フラグ(vps_profile_present_flag[i])の値が１の場合は、i番目のＰＴＬ情報のプロファイル情報が符号化データより復号される。一方、プロファイル有無フラグの値が０の場合は、i番目のＰＴＬ情報のプロファイル情報には、i番目のＰＴＬ情報の直前に復号された、(i-1)番目の復号済ＰＴＬ情報のプロファイル情報が設定される（推定される）。また、レベル有無フラグ(vps_level_present_flag[i])の値が１の場合は、i番目のＰＴＬ情報のレベル情報が符号化データより復号される。一方、レベル有無フラグの値が０の場合は、ｉ番目のＰＴＬ情報のレベル情報には、ｉ番目のＰＴＬ情報の直前に復号された、(i-1)番目の復号済ＰＴＬ情報のレベル情報が設定される（推定される）。なお、予めエンコーダ側で、ＰＴＬ情報リスト上のＰＴＬ情報を、類似順に並び替えておくことで、ｉ番目のＰＴＬ情報は、直前のＰＴＬ情報を参照する確率を高めることができる。すなわち、vps_profile_present_flag[i]=0、または、vps_level_present_flag[i]=0の場合、参照ＰＴＬ指定インデクス”profile_ref_delta_index_minus1[i]”を復号せずに、参照ＰＴＬ指定インデクス”profile_ref_delta_index_minus1[i]==0”と推定しているとも解釈できる。これにより、相対インデクスに係る符号量をさらに削減することが可能である。さらに、変形例３は、実施例１と同様に、復号対象ＰＴＬ情報のプロファイル情報、及びレベル情報の冗長性を低減さえる効果を奏する。
　以上のように、プロファイル／レベル情報復号部は、ＶＰＳレベル有無フラグが「０」に等しい場合、ｉ番目のプロファイル／レベル情報のレベルの情報を、それ以前のプロファイル／レベル情報のレベルの情報から導出する。
　　＜＜ＶＰＳ復号部１０２の変形例３a＞＞
　なお、上記変形３は、次のようにも構成を変更することが可能である。すなわち、プロファイル有無フラグprofilePresentFlag、及びレベル有無フラグlevelPresentFlagをプロファイル情報とレベル情報の有無を表わすプロファイルレベル有無フラグProfileLevelPresentFlagへ置き換える。
　以下、変形例３aにおけるプロファイル／レベル情報復号部１０２１’’の構成について図３４を代用して説明する。変形例３aに係るＰＴＬ情報復号部１０２１’’は、変形例３に係るＰＴＬ情報復号部１０２１’’における、プロファイル有無フラグprofilePresentFlag、及びレベル有無フラグlevelPresentFlagの入力値を除いて、構成、及び動作は同一である。図３４では、プロファイル有無フラグprofilePresentFlag、及びレベル有無フラグlevelPresentFlagの配線があるが、変形例３ａでは、プロファイルレベル有無フラグprofileLevelPresentFlagが０の場合には、図３４のprofilePresentFlag、及びlevelPresentFlagを０として入力する。また、プロファイルレベル有無フラグprofileLevelPresentFlagが１の場合には、図３４のprofilePresentFlag、及びlevelPresentFlagを１として入力する。なお、この変更により、既存のHEVCのVPSの先頭に位置するＰＴＬ情報、及び、ベースレイヤで通知されるＳＰＳ上のＰＴＬ情報のシンタックステーブルに変更はない。すなわち、既存のＨＥＶＣデコーダによって、ＶＰＳ、ＳＰＳ上のＰＴＬ情報が復号できないということは発生しない。
　以上、変形３ａは、変形３と同様の効果を奏する。さらに、変形例３に対して、プロファイル有無フラグとレベル有無フラグを１つにまとめて、プロファイル情報とレベル情報の有無を示すプロファイルレベル有無フラグとすることで、追加的なフラグ（変形３であれば、レベル有無フラグ）に係る符号量を削減することが可能である。
　以上のように、プロファイル／レベル情報復号部は、ＶＰＳプロファイルレベル有無フラグが「０」に等しい場合、ｉ番目のプロファイル／レベル情報のレベルの情報を、それ以前のプロファイル／レベル情報のレベルの情報から導出する。
　　＜＜ＶＰＳ復号部１０２の変形例４＞＞
　次に図６５、図６６を用いて、ＶＰＳ復号部１０２の変形例４について説明する。
　まず、変形例４に係る拡張ビデオパラメータセットＶＰＳ（ＶＰＳ拡張データvps_extesion()）のシンタックステーブルについて、図６５を用いて説明する。図６５と図５６（従来技術）に示す拡張ビデオパラメータセットのシンタックステーブルとの違いは、以下に示す（１）～（２）の通りである。
　（１）ＶＰＳ拡張データvps_extension()の先頭にある基本レイヤがH.264で符号化されたビットストリームであるかを示すフラグavc_base_layer_flag(図６５のSYNVPS0A)～各レイヤのスケーラビリティタイプを示すスケーラブルマスクscalability_mask_flag[i](図６５のSYNVPS0F)のシンタックスがバイトアラインされるように、(a)シンタックスsplitting_flag(図６５のSYNVPS0B)の配置変更（図６５の例では、avc_base_layer_flagの次に配置）、バイトアラインを調整するための拡張ビット（バイトアラインデータ）reserved_zero_6bits(図６５のSYNVPS0C)、及び(b)VPS NALユニットの先頭から、VPS NALユニット上のVPS拡張データ上にあるＰＴＬ情報関連シンタックスまでのバイトオフセットを示すシンタックスvps_ptl_info_offset(図６５のSYNVPS0E)を追加している。
　まず、図６５に示すバイトオフセット情報vps_ptl_info_offsetは、バイトアラインを保つために、16bitとすることが望ましい。なお、バイトオフセット情報vps_ptl_info_offsetは、VPS NALユニットの先頭から、VPS NALユニット上のVPS拡張データ上にあるＰＴＬ情報関連シンタックスまでのバイトオフセットとしているが、具体的には、VPS NALユニットの先頭から、図６５のSYNVPS0Hに示すシンタックスvps_number_layer_sets_minus1(レイヤセット数)までのバイトオフセットとしてもよい。この場合、レイヤセット数vps_number_layer_の直前では、バイトアラインを調整するために、バイトアラインデータvps_alignment_bit_equal_to_one(図６５のSYNVPS0G)を挿入する。また、これに限定されず、バイトオフセット情報vps_ptl_info_offsetは、VPS NALユニットの先頭から、図６５のSYNVPS0Iに示すシンタックスvps_num_profile_tier_level_minus1(ＰＴＬ情報数)までのバイトオフセットとしてもよい。この場合、図６５のSYNVPS0Gと同様に、ＰＴＬ情報数vps_num_profile_tier_level_minus1の直前では、バイトアラインを調整するために、バイトアラインデータvps_alignment_bit_equal_to_oneを挿入する。
　また、拡張ビットreserved_zero_6bitsは、値がゼロの６ビットのシンタックスであるが、値は１であってもよい。また、拡張ビットreserved_zero_6bitsのいずれかのビットを他のシンタックスを表すために利用してもよい。例えば、reserved_zero_6bitsのうち、先頭Nbit(1<=N<=6)をそれぞれ、以下に示すあるシンタックスやある状態の有無を示すフラグ等のいずれかと置き換えてもよい。
・レイヤ毎のレイヤ間予測に利用可能なサブレイヤの上限の有無を示すフラグmax_tid_ref_present_flag(不図示)
・符号化ピクチャの復号時にレイヤ間予測等に利用されるアクティブ直接参照レイヤ数と、シーケンス全体の復号を通じてレイヤ間予測等に参照され得る参照レイヤ数が同じであるかを示すフラグ（全直接参照レイヤが、符号化ピクチャの復号時に参照されることを示す）all_ref_layers_active_flag(不図示)、
・出力レイヤセット数がデフォルト値(vps_number_layer_sets_minus1+1)より大きいことを示すフラグmore_output_layer_sets_than_default_flag(不図示)、
・リプリゼンテーション情報有無フラグrep_format_idx_present_flag(不図示)、
・符号化ピクチャの復号時に参照する参照レイヤ数が最大１レイヤであることを示すフラグmax_one_active_ref_layer_flag(不図示)、
・レイヤ間でランダムアクセス可能なピクチャがアラインされることを示すフラグcross_layer_irap_alinged_flag(不図示)、
・同一ＡＵ内で全てのVLC NALユニットが同一のレイヤ識別子を持つか、または、同一ＡＵ内のVCL NALユニットに２つのレイヤ識別子が含まれ、一方のレイヤ識別子の値より大きいレイヤ識別子をもつピクチャがランダムアクセスピクチャであるか否かを示すフラグsingle_layer_for_non_irap_flag(不図示)、
・ＶＵＩ有無フラグvps_vui_present_flag(不図示)
　また、拡張ビットreserved_zero_6bitsのビット長は、6bitに限定されず、バイトアラインを調整できるビット数へ拡張してもよい。例えば、6bitから8bitを加えた14bitとし、その先頭Nbit(1<=N<=14)を、上記フラグやその他のシンタックスと置き換えてもよい。
　従来技術の場合、上記フラグが散在しているため、そのフラグのあるところまで復号しなければ、そのフラグに関連するシンタックスの有無、または状態の有無を把握することができない課題がある。しかし、変形例４のように、あるシンタックスや状態の有無を示すフラグをＶＰＳ拡張データの先頭へ配置することによって、早期に関連シンタックスの有無、及び状態の有無を、デコーダが先頭の数バイトを読み込む（復号）することで把握することができる効果がある。また、バイトアラインすることによって、各シンタックスを復号／符号化する際の読み出し／書き出しに関するメモリアクセスの回数を低減させることができる。すなわち、復号／符号化に要する処理量を低減させる効果を奏する。
　また、ＰＴＬ情報に関連シンタックスへのバイトオフセットを示すシンタックスvps_ptl_info_offsetを追加することにより、デコーダはＶＰＳ拡張データの先頭の数ビット(あるいはバイト)を読み込み、vps_ptl_info_offsetで示されるバイトオフセット上に存在する、ＰＴＬ情報に関連するシンタックスへ早期にアクセスすることができる。ＰＴＬ情報リスト上のＰＴＬ情報へ早期にアクセスすることのメリットは、ＶＰＳ拡張データの先頭付近には、各レイヤのスケーラビリティタイプを示すscalablity_mask_flagがあるが、このシンタックスからでは、各レイヤセットをデコーダが復号可能である否かを把握することができない。そのため、バイトオフセットvps_ptl_info_offsetに基づいて、早期にＰＴＬ情報へアクセスし復号することで、デコーダは、復号可能なレイヤセットがビットストリーム上に存在するかどうか早期に把握することが可能である。また、ＰＴＬ情報リストの直後に配置されている各（出力）レイヤセットに適用するＰＴＬ情報を指定するＰＴＬ指定インデクス (profile_level_tier_idx[i])(図５６上のシンタックス群SYNVPS0H)を復号することにより、デコーダが復号可能なレイヤセットを特定することが可能である。さらに、デコーダは、ＰＴＬ情報、及び出力レイヤセットとＰＴＬ情報の対応情報（ＰＴＬ情報指定インデクス）及び、各レイヤセットのレイヤＩＤリスト（図５５のシンタックス群SYNVPS03）等に基づいて、ターゲットセット（出力レイヤセット）を選択し、ビットストリーム抽出処理を行うことで、デコーダが復号可能なビットストリームのみを生成することが可能である。
　（２）非特許文献１のＨＥＶＣの規格策定の段階において、ＶＰＳ、及びＳＰＳ上にあるＰＴＬ情報profile_tier_level()(図５４)は、プロファイル情報（図５４のSYNPTL01）、レベル情報(図５４のSYNPTL02)、サブレイヤプロファイル有無フラグ及びサブレイヤレベル有無フラグ(図５４のSYNPTL03)、各サブレイヤのプロファイル情報（図５４のSYNPTL05）、及びレベル情報（図５４のSYNPTL06）がバイトアラインされるように設計されている。例えば、バイトアラインを調整するために、図５４のSYNPTL04に示すバイトアラインデータがある。また、サブレイヤプロファイル有無フラグ、及びサブレイヤレベル有無フラグを、各サブレイヤのプロファイル情報及びレベル情報とインターリーブしてシグナルすることで、サブレイヤ数、サブレイヤプロファイル有無フラグ、サブレイヤレベル有無フラグに基づいて、特定のサブレイヤのプロファイル情報、及びレベル情報へバイト計算により容易にアクセスできるように設計されている。
　しかし、従来技術（非特許文献２及び非特許文献３）において、ＶＰＳ拡張データ上にあるＰＴＬ情報は、ＰＴＬ情報の直前にあるシンタックス(例えば、図５６のvps_profile_present_flag[i]やprofile_ref_minus1[i])がアラインされていないめ、バイトアラインが保たれていない。そのため、前述したＰＴＬ情報の規格策定段階で考慮された上記メリットが損なわれている。
　上記課題を解決するために、ＰＴＬ情報に関連するシンタックス（出力レイヤセット数vps_number_layer_sets_minus1(図６５のSYNVPS0H)、ＰＴＬ情報数vps_num_profile_tier_level_minus1(図６５のSYNVPS0I)、VPSプロファイル有無フラグvps_present_flag[i] (図６５のSYNVPS0J)、参照ＰＴＬ指定情報profile_ref_minus1[i] (図６５のSYNVPS0L)、及びＰＴＬ情報profile_tier_level()(図６５のSYNVPS0M)のシンタックスがバイトアラインされるように、シンタックスの配置、ビット長の変更、及び新たにバイトアラインデータvps_alingment_bit_equalt_to_one(図６５のSYNVPS0G)、及びＰＴＬ情報数、及びプロファイル有無フラグに基づいて定まるバイトアラインデータreserved_zero_1bits[i](図６５のSYNVPS0K)を追加している。
　具体的には、まず、ＰＴＬ情報関連シンタックスの先頭シンタックス(図６５の例では、レイヤセット数vps_number_layer_sets_minus1)がバイトアラインされた位置に符号化データ上で配置される（バイト境界の先頭位置に配置される）ように、図６５のSYNVPS0Gに示すバイトアラインデータvps_alingment_bit_equalt_to_one(図６５のSYNVPS0G)を挿入する。ここで、関数byte_aligned()は、符号化データ上の現在位置（ビット単位）がバイト境界上であるか否かを判定する処理であり、符号化データ上の現在位置がバイト境界上である場合は、”真”と判定し、それ以外の場合は、“偽”と判定する。すなわち、判定が”真”となるまで、バイトアラインデータ(vps_alingment_bit_equalt_to_one)が１bit単位で挿入される。
　続いて、各ＰＴＬ情報のプロファイル有無フラグと、ＰＴＬ情報をインターリーブ（分離）して、プロファイル有無フラグとＰＴＬ情報との間に、バイトアラインを調整するためにバイトアラインデータreserved_zero_bits[i]を挿入する。図６５の場合は、レイヤセット数vps_number_layer_sets_minus1(図６５のSYNVPS0H)、及びＰＴＬ情報数vps_num_profile_tier_level_minus1(図６５のSYNVPS0G)のシンタックスはバイトアラインされるため、挿入されているバイトアラインデータreserved_zero_bits[i]のビット量Ｖは、ＰＴＬ情報数によって定まり、例えば、Ｖ＝{ 8 - { { (vps_num_profile_tier_level_minus1 + 1) % 8 } % 8 } }である。なお、バイトアラインデータを挿入するループの式は、図６５のSYNVPS0Gに示す
“for( i= (((vps_num_profile_tier_level_minus1 + 1) % 8 ) % 8) ; i>0; i--)”に限定されず、実施可能な範囲で変更してよい。例えば、
“for( i=0; i< (((vps_num_profile_tier_level_minus1 + 1) % 8 ) % 8); i++)”としてもよい。
　なお、図６５の場合、バイトアラインデータvps_alingment_bit_equal_to_one(=1bit)を、レイヤセット数の直前に挿入しているが、ＰＴＬ情報数vps_num_profile_tier_level_minus1の直前に挿入してもよい。この場合、プロファイル有無フラグとＰＴＬ情報の間に挿入されるバイトアラインデータのビット量Ｖは、ＰＴＬ情報数のビット長V1(=6bits)及び、ＰＴＬ情報数によって定まり、例えば、Ｖ＝{ 8 - { { (vps_num_profile_tier_level_minus1 + 1 + V1) % 8 } % 8 } }である。この場合、バイトアラインデータを挿入するループの式は、例えば、
“for( i=(((vps_num_profile_tier_level_minus1+1+V1)%8)%8); i>0; i--)”としてもよい。また、これに限定されず、実施可能な範囲で変更してよい。例えば、
“for( i=0; i<(((vps_num_profile_tier_level_minus1+1+V1)%8)%8); i++)”としてもよい。なお、上記ループの式の代わりに、“while(!byte_aligned())”としてもよい。
　また、ＰＴＬ情報リスト上のバイトアラインを保つために、参照ＰＴＬ指定情報profile_ref_minus1[i]を6bitから8bitへ変更している（図６５のSYNVPS0L）。なお、参照ＰＴＬ指定情報profile_ref_minus1[i]のビット長を拡張する代わりに、バイトアラインを調整するため、2bitの拡張用ビットreserved_zero_2bitsを付加してもよい。
　以上の変更を実施することにより、ＰＴＬ情報リスト上のＰＴＬ情報がバイトアラインされるため、各シンタックスを復号／符号化する際の読み出し／書き出しに関するメモリアクセスの回数を低減させることができる。すなわち、復号／符号化に要する処理量を低減させる効果を奏する。また、非特許文献１と同様に、各ＰＴＬ情報の特定サブレイヤのプロファイル情報、及びレベル情報に、サブレイヤ数、サブレイヤプロファイル有無フラグ、サブレイヤレベル有無フラグに基づいて、特定のサブレイヤのプロファイル情報、及びレベル情報へバイト計算により容易にアクセスすることが可能である。
　　（ＶＰＳ復号部１０２’’’の構成）
　図１６を参照して、変形例４に係るＶＰＳ復号部１０２’’’の構成について説明する。ＶＰＳ復号部１０２’’’は、実施例１に係るＶＰＳ復号部１０２の備えるＰＴＬ情報復号部１０２１、参照ＰＴＬ指定情報復号部１０２２、及びプロファイル有無フラグ復号部１０２３と同一の構成要素に加えて、さらに、バイトアラインデータ復号部１０２４（不図示）を含んで備える。なお、以下では、バイトアラインデータ復号部１０２４についてのみ説明する。
　ＶＰＳ復号部１０２’’’の備えるバイトアラインデータ復号部１０２４は、ＶＰＳ拡張データvps_extension()に含まれる、バイトアラインを調整するために挿入されるデータ、バイトアラインデータを復号する。例えば、vps_alignment_bit_equal_to_one(図６５上のSYNVPS0G)や、reserved_zero_1bits[i](図６５上のSYNVPS0K)である。
　　＜ＶＰＳ拡張データの詳細な復号プロセス（変形例４）＞
　図６６を用いて、ＶＰＳ復号部１０２’’’のＶＰＳ拡張データの復号プロセスについて説明する。
　（ステップＳＨ１０１）ＶＰＳ復号部１０２’’’は、図６５上のシンタックス群SYNVPS0Aを復号する。
　（ステップＳＨ１０２）ＶＰＳ復号部１０２’’’は、図６５上のSYNVPS0Eに示すＰＴＬ情報リストまでのバイトオフセット情報(vps_ptl_info_offset)を復号する。
　（ステップＳＨ１０３）ＶＰＳ復号部１０２’’’は、図６５上のSYNVPS0Fに示すスケーラビリティマスクフラグを復号する。
・・・省略・・・
　（ステップＳＨ１０４）ＶＰＳ復号部１０２’’’の備えるバイトアラインデータ復号部１０２４は、図６５上のSYNVPS0Gに示す所定の判定式に基づいて、バイトアラインデータ(vps_alignment_bit_equal_to_one)を1ビット単位で復号（読み出す）する。
　（ステップＳＨ１０５）ＶＰＳ復号部１０２’’’は、図６５上のSYNVPS0Hに示すレイヤセット数を復号する。
　（ステップＳＨ１０６）ＶＰＳ復号部１０２’’’は、図６５上のSYNVPS0Iに示すＰＴＬ情報数を復号する。
　（ステップＳＨ１０７）ＶＰＳ復号部１０２’’’に含まれるプロファイル有無フラグ復号部１０２３は、図６５上のSYNVPS0Jに示すプロファイル有無フラグを”ＰＴＬ情報数-1”個復号する。
　（ステップＳＨ１０８）ＶＰＳ復号部１０２’’’の備えるバイトアラインデータ復号部１０２４は、図６５上のSYNVPS0Kに示すバイトアラインデータ(reserved_zero_bit[i])を復号する。復号するバイトアラインデータのビット数は、Ｖ＝{ 8 - { { (vps_num_profile_tier_level_minus1 + 1) % 8 } % 8 } }である。
　（ステップＳＨ１０９）ＶＰＳ上に含まれるＰＴＬ情報の復号プロセスのループ開始点である。
　（ステップＳＨ１１０）プロファイル有無フラグが０の場合は、ｉ番目のＰＴＬ情報上にプロファイル情報を示すシンタックス群がないと判定し、ステップＳＨ１１２へ進む。プロファイル有無フラグが１の場合は、ｉ番目のＰＴＬ情報上にプロファイル情報を示すシンタックス群がある判定し、ステップＳＡ１１１へ進む。
　（ステップＳＨ１１１）プロファイル有無フラグが０の場合、ＶＰＳ復号部１０２’’’’に含まれる参照ＰＴＬ指定情報復号部１０２２は、ｉ番目のＰＴＬ情報のプロファイル情報をＰＴＬ情報リスト上のいずれのＰＴＬ情報から参照するかを示す参照ＰＴＬ情報指定インデクス”profile_ref_minus1[i]”(図６５上のSYNVPS0L)を復号する。参照ＰＴＬ情報指定インデクス“profile_ref_ minus1[i]”は、参照先のＰＴＬ情報の位置を表す。すなわち、ｉ番目のＰＴＬ情報は、j = (profile_ref_ minus1[i] +1 )で特定される、ｊ番目のＰＴＬ情報をプロファイル情報の参照先とする。
　（ステップＳＨ１１２）ＶＰＳ復号部１０２’’’に含まれるＰＴＬ情報復号部１０２１は、プロファイル有無フラグ、参照ＰＴＬ指定インデクス、サブレイヤ数を入力として、ｉ番目のＰＴＬ情報のプロファイル、及びレベル情報を復号する。ＰＴＬ情報復号部１０２１の詳細については説明済みのため省略する。
　（ステップＳＨ１１３）ＶＰＳ上に含まれるＰＴＬ情報の復号プロセスのループ終端である。
　（ステップＳＨ１１４）ＶＰＳ復号部１０２’’’は、その他のシンタックスを復号する。
　以上、変形例４に係るＶＰＳ復号部１０２’’’のの動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。
　　＜＜ＶＰＳ復号部１０２の変形例４a＞＞
　続いて、図６８、図６９を用いて、ＶＰＳ復号部１０２の変形例４ａについて説明する。
　まず変形例４ａに係るビデオ拡張パラメータセットＶＰＳ（ＶＰＳ拡張データvps_extension()）のシンタックステーブルについて、図６８を用いて説明する。図６８と変形例４に係る図６５に示すＶＰＳ拡張データのシンタックステーブルの違いは、図６８では、図６５上のシンタックスSYNVPS0Lに示す参照ＰＴＬ情報指定インデクス(profile_ref_minus1 [i])が削除され、参照ＰＴＬ指定情報指定インデクスの機能を、図６８上のシンタックスSYNVPS0Jに示すプロファイル有無フラグ(vps_profile_present_flag[i])が兼用する点である。すなわち、プロファイル有無フラグ(vps_profile_present_flag[i])の値が１の場合は、i番目のＰＴＬ情報のプロファイル情報が符号化データより復号される。一方、プロファイル有無フラグの値が０の場合は、i番目のＰＴＬ情報のプロファイル情報には、i番目のＰＴＬ情報の直前に復号された、(i-1)番目の復号済ＰＴＬ情報のプロファイル情報が設定される（推定される）。なお、予めエンコーダ側で、ＰＴＬ情報リスト上のＰＴＬ情報を、類似順に並び替えておくことで、ｉ番目のＰＴＬ情報は、直前のＰＴＬ情報を参照する確率を高めることができる。すなわち、vps_profile_present_flag[i]=0の場合、参照ＰＴＬ指定インデクス”profile_ref_minus1 [i]”を復号せずに、参照ＰＴＬ指定インデクス”profile_ref_ minus1[i]==0”と推定しているとも解釈できる。これにより、参照ＰＴＬ指定インデクスに係る符号量をさらに削減することが可能である。また、それ以外の従来技術に係る拡張ＶＰＳデータに対する変更は、変形例４と同じであり、同様の効果を奏する。
　　（ＶＰＳ復号部１０２’’’aの構成）
　図２５を参照して、変形例４aに係るＶＰＳ復号部１０２’’’aの構成について説明する。ＶＰＳ復号部１０２’’’aは、変形例２に係るＶＰＳ復号部１０２’の備えるＰＴＬ情報復号部１０２１’、及びプロファイル有無フラグ復号部１０２３’と同一の構成要素に加えて、さらに、バイトアラインデータ復号部１０２４（不図示）を含んで備える。同一の構成要素である、ＰＴＬ情報復号部１０２１’、及びプロファイル有無フラグ復号部１０２３’の説明は省略する。また、バイトアラインデータ復号部１０２４は、変形例４に係るＶＰＳ復号部１０２’’’の備えるバイトアラインデータ復号部１０２４と同一の構成要素であるため、説明を省略する。
　　＜ＶＰＳ拡張データの詳細な復号プロセス（変形例４a）＞
　図６９を用いて、ＶＰＳ復号部１０２’’’aのＶＰＳ拡張データの復号プロセスについて説明する。なお、ＶＰＳ復号部１０２’’’aのＶＰＳ拡張データの復号プロセスでは、図６６上のステップＳＨ１１０（プロファイル有無フラグの値に基づく分岐判定、及び分岐に基づく遷移）、ステップＳＨ１１１（参照ＰＴＬ情報指定インデクスprofile_ref_minus1[i]の復号）が省略されている点が異なり、それ以外の動作は同一であるため、説明を省略する。
　以上、変形例４に係るＶＰＳ復号部１０２’’’aのの動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。
　なお、変形例４及び変形例４ａに係るＶＰＳ拡張データにおいて、ＶＰＳ ＮＡＬユニットの先頭から、ＶＰＳ ＮＡＬユニット上のＶＰＳ拡張データ上にあるＰＴＬ情報関連シンタックスまでのバイトオフセットを示すvps_ptl_info_offsetを追加しているが、これに限定されない。例えば、上記バイトオフセットを追加する代わりに、ＰＴＬ情報関連シンタックスを、スケーラビリティマスクフラグの直後に配置してもよい。これによっても、ＰＴＬ情報及び関連シンタックスへ早期にアクセスすることが可能であり、変形例４及び変形例４ａと同様の効果を奏する。なお、符号化側においても、同様のことが適用可能である。
　なお、変形例４ａでは、プロファイル有無フラグとＰＴＬ情報をインターリーブしてシグナルしているが、これに限定されない。例えば、変形例３で導入したレベル情報有無フラグも、変形例４ａと同様に、ＰＴＬ情報とインターリーブしてシグナルしてもよい。すなわち、ＰＴＬ情報数―１個のプロファイル情報とレベル情報とを先にシグナルし、その後、バイトアラインデータを挿入し、その後、各ＰＴＬ情報をシグナルするようにしてもよい。この場合、変形例４ａ及び変形例３と同様の効果を奏する。なお、この変更は、符号化側においても適用可能である。
　　［参照ピクチャ情報復号部］
　参照ピクチャ情報復号部は、ヘッダ復号部１０の構成要素であり、参照ピクチャに関する情報を符号化データ＃１から復号する。参照ピクチャに関する情報には、参照ピクチャセット情報（以下、ＲＰＳ情報）と、参照ピクチャリスト修正情報（以下、ＲＰＬ修正情報）が含まれる。
　参照ピクチャセット（RPS: Reference Picture Set）は、対象ピクチャ、または、復号順で対象ピクチャに後続するピクチャにおいて、参照ピクチャとして利用される可能性のあるピクチャの集合を表す。ＲＰＳ情報は、ＳＰＳやスライスヘッダから復号される情報であり、各ピクチャの復号時に設定される参照ピクチャセットの導出に用いられる情報である。
　参照ピクチャリスト（RPL: Reference Picture List）は、動き補償予測を行う際に参照すべき参照ピクチャの候補リストである。参照ピクチャリストは２以上存在してもよい。本実施形態では、Ｌ０参照ピクチャリスト（Ｌ０参照リスト）とＬ１参照ピクチャリスト（Ｌ１参照リスト）を用いるとする。ＲＰＬ修正情報は、ＳＰＳやスライスヘッダから復号される情報であり、参照ピクチャリスト内の参照ピクチャの順序を示す。
　動き補償予測では、参照画像リスト上で参照画像インデックス（refIdx）の位置に記録されている参照ピクチャを利用する。例えば、refIdxの値が０の場合は、参照画像リストの０の位置、すなわち参照画像リストの先頭の参照ピクチャが動き補償予測に用いられる。
　なお、参照ピクチャ情報復号部によるＲＰＳ情報およびＲＰＬ修正情報の復号処理は、本実施形態における重要な処理であるため、後ほど詳しく説明する。
　ここで、参照ピクチャセットと参照ピクチャリストの例を、図３５を参照して説明しておく。図３５（ａ）は、動画像を構成するピクチャを表示順に並べて示したものであり、図中の数字は各ピクチャに対応するＰＯＣを表している。ＰＯＣは、復号ピクチャバッファの説明で後述するように、出力順で昇順となるよう各ピクチャに割り当てられている。“ｃｕｒｒ”と示されたＰＯＣが９のピクチャが、現在の復号の対象ピクチャである。
　図３５（ｂ）は、対象ピクチャに適用されるＲＰＳ情報の例を示す。対象ピクチャにおける参照ピクチャセット（現ＲＰＳ）は、当該ＲＰＳ情報に基づいて導出される。ＲＰＳ情報には、長期ＲＰＳ情報と短期ＲＰＳ情報とが含まれる。長期ＲＰＳ情報として、現ＲＰＳに含めるピクチャのＰＯＣが直接示されている。図３５（ｂ）に示す例では、長期ＲＰＳ情報は、ＰＯＣ＝１のピクチャを現ＲＰＳに含めることを示している。短期ＲＰＳ情報には、現ＲＰＳに含めるピクチャが、対象ピクチャのＰＯＣに対する差分で記録されている。図中の「Before, dPOC=1」と示された短期ＲＰＳ情報は、対象ピクチャのＰＯＣに対して１小さいＰＯＣのピクチャを現ＲＰＳに含めることを示している。同様に、図中の「Before, dPOC=4」は４小さいＰＯＣのピクチャを示し、「After, dPOC=1」は１大きいＰＯＣのピクチャを現ＲＰＳに含めることを示す。なお、「Before」は、対象ピクチャの前方、つまり、対象ピクチャより表示順の早いピクチャを示す。また、「After」は、対象ピクチャの後方、つまり、対象ピクチャより表示順の遅いピクチャを示す。
　図３５（ｃ）は、対象ピクチャのＰＯＣが０の場合に、図３５（ｂ）で例示したＲＰＳ情報を適用したときに導出される現ＲＰＳの例を示す。長期ＲＰＳ情報で示されたＰＯＣ＝１のピクチャが含まれている。また、短期ＲＰＳ情報で示された、対象ピクチャ（ＰＯＣ＝９）より１小さいＰＯＣを有するピクチャ、すなわちＰＯＣ＝８のピクチャが含まれている。同様に、短期ＲＰＳ情報で示された、ＰＯＣ＝５とＰＯＣ＝１０のピクチャが含まれている。
　図３５（ｄ）および（ｅ）は、現ＲＰＳに含まれる参照ピクチャから生成される参照ピクチャリストの例を示す。参照ピクチャリストの各要素にはインデックス（参照ピクチャインデックス）が付与されている（図中ではidxと記載）。図３５（ｄ）は、Ｌ０参照リストの例を示す。Ｌ０参照リストには、５、８、１０、１のＰＯＣを持つ現ＲＰＳに含まれる参照ピクチャが、この順で含まれている。図３５（ｅ）は、Ｌ１参照リストの例を示す。Ｌ１参照リストには、１０、５、８のＰＯＣを持つ現ＲＰＳに含まれる参照ピクチャが、この順で含まれている。なお、Ｌ１参照リストの例で示した通り、参照ピクチャリストには、現ＲＰＳに含まれる全ての参照ピクチャ（参照可能ピクチャ）を含める必要はない。しかし、参照ピクチャリストの要素数は、最大でも現ＲＰＳに含まれる参照ピクチャの数となる。言い換えると、参照ピクチャリストの長さは、現ピクチャで参照可能なピクチャ数以下である。
　次に、参照ピクチャリスト修正の例を、図３６を参照して説明しておく。図３６は、特定の参照ピクチャリストに（図３６（ａ））に対して、ＲＰＬ修正情報（図３６（ｂ））を適用した場合に得られる修正後の参照ピクチャリスト（図３６（ｃ））を例示している。図３６（ａ）に示す修正前Ｌ０参照リストは、図３５（ｄ）で説明したＬ０参照リストと同一である。図３６（ｂ）に示すＲＰＬ修正情報は参照ピクチャインデックスの値を要素とするリストになっており、先頭から順に０、２、１、３の値が格納されている。このＲＰＬ修正情報は、修正前参照リストに含まれる０、２、１、３の参照ピクチャインデックスで示される参照ピクチャを、この順で修正後Ｌ０参照リストの参照ピクチャとすることを示す。図３６（ｃ）は修正後Ｌ０参照リストを示し、ＰＯＣが５、１０、８、１のピクチャがこの順で含まれている。
　　（動画像復号処理手順）
　画像復号装置１が、入力符号化データ＃１から復号画像＃２を生成する手順は次のとおりである。
　（Ｓ１１）ヘッダ復号部１０は、符号化データ＃１からＶＰＳ、ＳＰＳを復号する。
　（Ｓ１２）ヘッダ復号部１０は、符号化データ＃１からＰＰＳを復号する。
　（Ｓ１３）符号化データ＃１の示すピクチャを順次対象ピクチャに設定する。各対象ピクチャに対して、Ｓ１４～Ｓ１７の処理を実行する。
　（Ｓ１４）ヘッダ復号部１０は、符号化データ＃１から対象ピクチャに含まれる各スライスのスライスヘッダを復号する。ヘッダ復号部１０に含まれる参照ピクチャ情報復号部は、スライスヘッダからＲＰＳ情報を復号して参照ピクチャ管理部１３に含まれる参照ピクチャセット設定部１３１に出力する。また、参照ピクチャ情報復号部は、スライスヘッダからＲＰＬ修正情報を復号して参照ピクチャリスト導出部１３２に出力する。
　（Ｓ１５）参照ピクチャセット設定部１３１は、ＲＰＳ情報と、復号ピクチャバッファ１２に記録されている局所復号画像のＰＯＣとメモリ上の位置情報の組み合わせに基づいて、対象ピクチャに適用する参照ピクチャセットＲＰＳを生成して、参照ピクチャリスト導出部１３２に出力する。
　（Ｓ１６）参照ピクチャリスト導出部１３２は、参照ピクチャセットＲＰＳと、ＲＰＬ修正情報に基づいて参照ピクチャリストＲＰＬを生成してピクチャ復号部１１に出力する。（Ｓ１７）ピクチャ復号部１１は、符号化データ＃１から対象ピクチャに含まれる各スライスのスライスデータと、参照ピクチャリストＲＰＬに基づいて対象ピクチャの局所復号画像を作成して、対象ピクチャのＰＯＣと関連付けて復号ピクチャバッファに記録する。復号ピクチャバッファに記録された局所復号画像は、ＰＯＣに基づき決定される適切なタイミングで、外部に復号画像＃２として出力される。
　　　［復号ピクチャバッファ１２］
　復号ピクチャバッファ１２には、ピクチャ復号部で復号された各ピクチャの局所復号画像が、レイヤＩＤ、当該ピクチャのＰＯＣ（Picture Order Count、ピクチャ順序情報）と関連付けられて記録されている。復号ピクチャバッファ１２は、所定の出力タイミングで、出力対象のＰＯＣを決定する。その後、当該ＰＯＣに対応する局所復号画像を、復号画像＃２を構成するピクチャの一つとして外部に出力する。
　図３７は、復号ピクチャメモリの構成を示す概念図である。図中内部に数字を記したボックスが局所復号画像を示す。数字はＰＯＣを示す。図３７の図の通り、複数のレイヤの局所復号画像が、そのレイヤＩＤ、ＰＯＣ、局所復号画像に関連づけられて記録される。さらに、レイヤＩＤに対応するビューＩＤview_id、デプスフラグdepth_flagも局所復号画像に関連づけられて記録される。
　　　［参照ピクチャ管理部１３］
　図３８は、本実施形態に係る参照ピクチャ管理部１３の構成を示す概略図である。参照ピクチャ管理部１３は、参照ピクチャセット設定部１３１と、参照ピクチャリスト導出部１３２を含んで構成される。
　参照ピクチャセット設定部１３１は、参照ピクチャ情報復号部２１８で復号されたRPS情報、および、復号ピクチャバッファ１２に記録されている局所復号画像とレイヤＩＤ、ＰＯＣの情報に基づいて、参照ピクチャセットRPSを構築して参照ピクチャリスト導出部１３２に出力する。なお、参照ピクチャセット設定部１３１の詳細は後述する。
　参照ピクチャリスト導出部１３２は、参照ピクチャ情報復号部２１８で復号されたＲＰＬ修正情報、および、参照ピクチャセット設定部１３１から入力された参照ピクチャセットＲＰＳに基づいて参照ピクチャリストＲＰＬを生成して、ピクチャ復号部１１に出力する。なお、参照ピクチャリスト導出部１３２の詳細は後述する。
　　（参照ピクチャ情報復号処理の詳細）
　上記復号手順におけるＳ１４の処理のうち、ＲＰＳ情報およびＲＰＬ修正情報の復号処理について詳細を説明する。
　（ＲＰＳ情報復号処理）
　ＲＰＳ情報は、参照ピクチャセットを構築するためにＳＰＳまたはスライスヘッダより復号される情報である。ＲＰＳ情報には以下を含む。
１．ＳＰＳ短期ＲＰＳ情報：ＳＰＳに含まれる短期参照ピクチャセット情報
２．ＳＰＳ長期ＲＰ情報：ＳＰＳに含まれる長期参照ピクチャ情報
３．ＳＨ短期ＲＰＳ情報：スライスヘッダに含まれる短期参照ピクチャセット情報
４．ＳＨ長期ＲＰ情報：スライスヘッダに含まれる長期参照ピクチャ情報
　（１．ＳＰＳ短期ＲＰＳ情報）
　ＳＰＳ短期ＲＰＳ情報は、ＳＰＳを参照する各ピクチャから利用され得る複数の短期参照ピクチャセットの情報を含む。なお、短期参照ピクチャセットとは、対象ピクチャに対する相対的な位置（例えば対象ピクチャとのＰＯＣ差分）により指定される参照ピクチャ（短期参照ピクチャ）となり得るピクチャの集合である。
　ＳＰＳ短期ＲＰＳ情報の復号について、図３９を参照して説明する。図３９は、ヘッダ復号部１０および参照ピクチャ情報復号部においてＳＰＳ復号時に利用されるＳＰＳシンタックス表の一部を例示している。図３９の（Ａ）の部分がＳＰＳ短期ＲＰＳ情報に相当する。ＳＰＳ短期ＲＰＳ情報には、ＳＰＳに含まれる短期参照ピクチャセットの数（num_short_term_ref_pic_sets）、および、各短期参照ピクチャセットの情報（short_term_ref_pic_set(i)）が含まれる。
　短期参照ピクチャセット情報について、図４０を参照して説明する。図４０は、ヘッダ復号部１０および参照ピクチャ情報復号部においてＳＰＳ復号時、および、スライスヘッダ復号時に利用される短期参照ピクチャセットのシンタックス表を例示している。
　短期参照ピクチャセット情報には、対象ピクチャより表示順が早い短期参照ピクチャ数（num_negative_pics）、および、対象ピクチャより表示順が遅い短期参照ピクチャ数（num_positive_pics）が含まれる。なお、以下では、対象ピクチャより表示順が早い短期参照ピクチャを前方短期参照ピクチャ、対象ピクチャより表示順が遅い短期参照ピクチャを後方短期参照ピクチャと呼ぶ。
　また、短期参照ピクチャセット情報には、各前方短期参照ピクチャに対して、対象ピクチャに対するＰＯＣ差分の絶対値（delta_poc_s0_minus1[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_s0_flag[i]）が含まれる。加えて、各後方短期参照ピクチャに対して、対象ピクチャに対するＰＯＣ差分の絶対値（delta_poc_s1_minus1[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_s1_flag[i]）が含まれる。
　（２．ＳＰＳ長期ＲＰ情報）
　ＳＰＳ長期ＲＰ情報は、ＳＰＳを参照する各ピクチャから利用され得る複数の長期参照ピクチャの情報を含む。なお、長期参照ピクチャとは、シーケンス内の絶対的な位置（例えばＰＯＣ）により指定されるピクチャである。
　ＳＰＳ長期ＲＰ情報の復号について、図３９を再び参照して説明する。図３９の（Ｂ）の部分がＳＰＳ長期ＲＰ情報に相当する。ＳＰＳ長期ＲＰ情報には、ＳＰＳで伝送される長期参照ピクチャの有無を示す情報（long_term_ref_pics_present_flag）、ＳＰＳに含まれる長期参照ピクチャの数（num_long_term_ref_pics_sps）、および、各長期参照ピクチャの情報が含まれる。長期参照ピクチャの情報には、参照ピクチャのＰＯＣ（lt_ref_pic_poc_lsb_sps[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_lt_sps_flag[i]）が含まれる。
　なお、上記参照ピクチャのＰＯＣは、参照ピクチャに関連付けられたＰＯＣの値自体であってもよいし、ＰＯＣのＬＳＢ（Least Significant Bit）、すなわち、ＰＯＣを既定の２の冪乗の数で割った余りの値を用いてもよい。
　（３．ＳＨ短期ＲＰＳ情報）
　ＳＨ短期ＲＰＳ情報は、スライスヘッダを参照するピクチャから利用され得る単一の短期参照ピクチャセットの情報を含む。
　ＳＰＳ短期ＲＰＳ情報の復号について、図４１を参照して説明する。図４１は、ヘッダ復号部１０および参照ピクチャ情報復号部においてスライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。図４１の（Ａ）の部分がＳＨ短期ＲＰＳ情報に相当する。ＳＨ短期ＲＰＳ情報は、短期参照ピクチャセットをＳＰＳで復号済みの短期参照ピクチャセットの中から選択するか、スライスヘッダに明示的に含めるかを示すフラグ（short_term_ref_pic_set_sps_flag）を含む。ＳＰＳで復号済の中から選択する場合、復号済の短期参照ピクチャセットを一つ選択する識別子（short_term_ref_pic_set_idx）が含まれる。スライスヘッダに明示的に含める場合は、前述したシンタックス表（short_term_ref_pic_set(idx)）に相当する情報が、ＳＰＳ短期ＲＰＳ情報に含まれる。
　（４．ＳＨ長期ＲＰ情報）
　ＳＨ長期ＲＰ情報は、スライスヘッダを参照するピクチャから利用され得る長期参照ピクチャの情報を含む。
　ＳＨ長期ＲＰ情報の復号について、図４１を再び参照して説明する。図４１の（Ｂ）の部分がＳＨ長期ＲＰ情報に相当する。ＳＨ長期ＲＰ情報は、対象ピクチャで長期参照ピクチャが利用可能（long_term_ref_pic_present_flag）である場合のみスライスヘッダに含まれる。ＳＰＳで１以上の長期参照ピクチャを復号済である場合（num_long_term_ref_pics_sps>0）、ＳＰＳで復号済の長期参照ピクチャの中で対象ピクチャで参照され得る参照ピクチャの数（num_long_term_sps）がＳＨ長期ＲＰ情報に含まれる。また、スライスヘッダで明示的に伝送される長期参照ピクチャ数（num_long_term_pics）がＳＨ長期ＲＰ情報に含まれる。加えて、上記num_long_term_spsの数の長期参照ピクチャをＳＰＳで伝送済の長期参照ピクチャの中から選択する情報（lt_idx_sps[i]）がＳＨ長期ＲＰ情報に含まれる。さらに、スライスヘッダに明示的に含める長期参照ピクチャの情報として、上記num_long_term_picsの数だけ、参照ピクチャのＰＯＣ（poc_lsb_lt [i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_lt_flag[i]）が含まれる。
　（ＲＰＬ修正情報復号処理）
　ＲＰＬ修正情報は、参照ピクチャリストＲＰＬを構築するためにＳＰＳまたはスライスヘッダより復号される情報である。ＲＰＬ修正情報には、ＳＰＳリスト修正情報、および、ＳＨリスト修正情報が含まれる。
　（ＳＰＳリスト修正情報）
　ＳＰＳリスト修正情報はＳＰＳに含まれる情報であり、参照ピクチャリスト修正の制約に係る情報である。ＳＰＳリスト修正情報について、図３９を再び参照して説明する。図３９の（Ｃ）の部分がＳＰＳリスト修正情報に相当する。ＳＰＳリスト修正情報には、ピクチャに含まれる前スライスで参照ピクチャリストが共通か否かを示すフラグ（restricted_ref_pic_lists_flag）、および、スライスヘッダ内にリスト並べ替えに関する情報が存在するか否かを示すフラグ（lists_modification_present_flag）が含まれる。
　（ＳＨリスト修正情報）
　ＳＨリスト修正情報はスライスヘッダに含まれる情報であり、対象ピクチャに適用される参照ピクチャリストの長さ（参照リスト長）の更新情報、および、参照ピクチャリストの並べ替え情報（参照リスト並べ替え情報）が含まれる。ＳＨリスト修正情報について、図４２を参照して説明する。図４２はヘッダ復号部１０および参照ピクチャ情報復号部においてスライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。図４２の（Ｃ）の部分がＳＨリスト修正情報に相当する。
　参照リスト長更新情報として、リスト長の更新有無を示すフラグ（num_ref_idx_active_override_flag）が含まれる。加えて、Ｌ０参照リストの変更後の参照リスト長を表す情報（num_ref_idx_l0_active_minus1）、および、Ｌ１参照リストの変更後の参照リスト長を表す情報（num_ref_idx_l1_active_minus1）が含まれる。
　参照リスト並べ替え情報としてスライスヘッダに含まれる情報について、図４３を参照して説明する。図４３はヘッダ復号部１０および参照ピクチャ情報復号部においてスライスヘッダ復号時に利用される参照リスト並べ替え情報のシンタックス表を例示している。
　参照リスト並べ替え情報には、Ｌ０参照リスト並べ替え有無フラグ（ref_pic_list_modification_flag_l0）が含まれる。前記フラグの値が１（Ｌ０参照リストの並べ替えが有る場合）、かつ、NumPocTotalCurrが２より大きい場合、Ｌ０参照リスト並べ替え順序（list_entry_l0[i]）が参照リスト並べ替え情報に含まれる。ここで、NumPocTotalCurrは、現ピクチャにおいて利用可能な参照ピクチャの数を表す変数である。したがって、Ｌ０参照リストの並べ替えが有る場合であって、かつ、現ピクチャにおいて利用可能な参照ピクチャ数が２より大きい場合にのみ、Ｌ０参照リスト並べ替え順序がスライスヘッダに含まれる。
　同様に、参照ピクチャがＢスライスである場合、つまり、対象ピクチャにおいてＬ１参照リストが利用可能である場合、Ｌ１参照リスト並べ替え有無フラグ（ref_pic_list_modification_flag_l1）が参照リスト並べ替え情報に含まれる。前記フラグの値が１、かつ、NumPocTotalCurrが２より大きい場合、Ｌ１参照リスト並べ替え順序（list_entry_l1[i]）が参照リスト並べ替え情報に含まれる。言い換えると、Ｌ１参照リストの並べ替えが有る場合であって、かつ、現ピクチャにおいて利用可能な参照ピクチャ数が２より大きい場合にのみ、Ｌ１参照リスト並べ替え順序がスライスヘッダに含まれる。
　　（参照ピクチャセット導出処理の詳細）
　前述の動画像復号手順におけるＳ１５の処理、すなわち、参照ピクチャセット設定部による参照ピクチャセット導出処理の詳細を説明する。
　既に説明したとおり、参照ピクチャセット設定部１３１は、ＲＰＳ情報と、復号ピクチャバッファ１２に記録されている情報に基づいて、対象ピクチャの復号に用いる参照ピクチャセットＲＰＳを生成する。
　参照ピクチャセットＲＰＳは、対象ピクチャ、または、対象ピクチャに復号順で後続のピクチャにおいて、復号時に参照画像として利用可能なピクチャ（参照可能ピクチャ）の集合である。参照ピクチャセットは、参照可能ピクチャの種類に応じて次の２つのサブセットに分けられる。
・現ピクチャ参照可能リストListCurr：復号ピクチャバッファ上のピクチャのうち、対象ピクチャにおける参照可能ピクチャのリスト
・後続ピクチャ参照可能リストListFoll：対象ピクチャでは参照されないが、対象ピクチャに復号順で後続のピクチャで参照可能な復号ピクチャバッファ上のピクチャのリスト
　なお、現ピクチャ参照可能リストに含まれるピクチャの数を、現ピクチャ参照可能ピクチャ数NumCurrListと呼ぶ。なお、前述の図４３を参照して説明したNumPocTotalCurrは、NumCurrListと同一である。
　現ピクチャ参照可能リストは、さらに３つの部分リストから構成される。
・現ピクチャ長期参照可能リストListLtCurr：ＳＰＳ長期ＲＰ情報またはSH長期RP情報により指定される現ピクチャ参照可能ピクチャ
・現ピクチャ短期前方参照可能リストListStCurrBefore：ＳＰＳ短期ＲＰＳ情報またはＳＨ短期ＲＰＳ情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの
・現ピクチャ短期後方参照可能リストListStCurrAfter：ＳＰＳ短期ＲＰＳ情報またはＳＨ短期ＲＰＳ情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの。
　後続ピクチャ参照可能リストは、さらに２つの部分リストから構成される。
・後続ピクチャ長期参照可能リストListLtFoll：ＳＰＳ長期ＲＰ情報またはＳＨ長期ＲＰ情報により指定される後続ピクチャ参照可能ピクチャ
・後続ピクチャ短期参照可能リストListStFoll：ＳＰＳ短期ＲＰＳ情報またはＳＨ短期ＲＰＳ情報により指定される現ピクチャ参照可能ピクチャ。
　参照ピクチャセット設定部１３１は、ＮＡＬユニットタイプがＩＤＲ以外の場合に、参照ピクチャセットＲＰＳ、すなわち、現ピクチャ短期前方参照可能リストListStCurrBefore、現ピクチャ短期後方参照可能リストListStCurrAfter、現ピクチャ長期参照可能リストListLtCurr、後続ピクチャ短期参照可能リストListStFoll、および、後続ピクチャ長期参照可能リストListLtFollを次の手順で生成する。加えて、現ピクチャ参照可能ピクチャ数を表す変数NumPocTotalCurrを導出する。なお、前記各参照可能リストは、以下の処理の開始前に空に設定されているとする。参照ピクチャセット設定部１３１は、ＮＡＬユニットタイプがＩＤＲの場合は、参照ピクチャセットＲＰＳを空として導出する。
　（Ｓ２０１）ＳＰＳ短期ＲＰＳ情報、および、ＳＨ短期ＲＰＳ情報に基づいて、対象ピクチャの復号に用いる単一の短期参照ピクチャセットを特定する。具体的には、ＳＨ短期ＲＰＳ情報に含まれるshort_term_ref_pic_set_spsの値が０である場合、ＳＨ短期ＲＰＳ情報に含まれるスライスヘッダで明示的に伝送された短期ＲＰＳを選択する。それ以外（short_term_ref_pic_set_spsの値が１の場合、ＳＨ短期ＲＰＳ情報に含まれるshort_term_ref_pic_set_idxが示す短期ＲＰＳを、ＳＰＳ短期ＲＰＳ情報に含まれる複数の短期ＲＰＳの中から選択する。
　（Ｓ２０２）選択された短期ＲＰＳに含まれる参照ピクチャ各々のＰＯＣの値を導出し、復号ピクチャバッファ１２上に当該ＰＯＣ値と関連付けられて記録されている局所復号画像の位置を検出して、参照ピクチャの復号ピクチャバッファ上の記録位置として導出する。
　参照ピクチャのＰＯＣ値は、参照ピクチャが前方短期参照ピクチャの場合、対象ピクチャのＰＯＣの値から「delta_poc_s0_minus1[i]+1」の値を減算して導出する。一方、参照ピクチャが後方短期参照ピクチャの場合、対象ピクチャのＰＯＣの値に「delta_poc_s1_minus1[i]+1」の値を加算して導出する。
　（Ｓ２０３）短期ＲＰＳに含まれる前方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s0_flag[i]の値が１である場合、当該前方参照ピクチャを現ピクチャ短期前方参照可能リストListStCurrBeforeに追加する。それ以外（used_by_curr_pic_s0_flag[i]の値が０）の場合、当該前方参照ピクチャを後続ピクチャ短期参照可能リストListStFollに追加する。
　（Ｓ２０４）短期ＲＰＳに含まれる後方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s1_flag[i]の値が1である場合、当該後方参照ピクチャを現ピクチャ短期後方参照可能リストListStCurrAfterに追加する。それ以外（used_by_curr_pic_s1_flag[i]の値が０の場合、当該前方参照ピクチャを後続ピクチャ短期参照可能リストListStFollに追加する。
　（Ｓ２０５） ＳＰＳ長期ＲＰ情報、および、ＳＨ長期ＲＰ情報に基づいて、対象ピクチャの復号に用いる長期参照ピクチャセットを特定する。具体的には、num_long_term_spsの数の参照ピクチャを、ＳＰＳ長期ＲＰ情報に含まれ、かつ、対象ピクチャとレイヤＩＤが等しい参照ピクチャの中から選択して、順に長期参照ピクチャセットに追加する。選択される参照ピクチャは、lt_idx_sps[i]の示す参照ピクチャである。続いて、num_long_term_picsの数の参照ピクチャをＳＨ長期ＲＰ情報に含まれる参照ピクチャを順に長期参照ピクチャセットに追加する。対象ピクチャのレイヤＩＤが０以外の場合には、対象ピクチャとレイヤＩＤが異なるピクチャ、特に、対象ピクチャの依存レイヤref_layer_idが等しいレイヤＩＤ参照ピクチャの中から、対象ピクチャのＰＯＣと等しいＰＯＣを持つ参照ピクチャをさらに長期参照ピクチャセットに追加する。
　（Ｓ２０６）長期参照ピクチャセットに含まれる参照ピクチャ各々のＰＯＣの値を導出し、復号ピクチャバッファ１２上で対象ピクチャとレイヤＩＤが等しい参照ピクチャの中から当該ＰＯＣ値と関連付けられて記録されている局所復号画像の位置を検出して、参照ピクチャの復号ピクチャバッファ上の記録位置として導出する。また、対象ピクチャとレイヤＩＤが異なる参照ピクチャについては、依存レイヤref_layer_idにより指定されたレイヤＩＤと対象ピクチャのＰＯＣと関連付けられて記録されている局所復号画像の位置を検出して、参照ピクチャの復号ピクチャバッファ上の記録位置として導出する。
　長期参照ピクチャのＰＯＣは、対象ピクチャとレイヤＩＤが等しい参照ピクチャについては、関連付けて復号されたpoc_lst_lt[i]、または、lt_ref_pic_poc_lsb_sps[i]の値から直接導出される。対象ピクチャとレイヤＩＤが異なる参照ピクチャについては、対象ピクチャのＰＯＣが設定される。
　（Ｓ２０７）長期参照ピクチャセットに含まれる参照ピクチャを順に確認し、関連付けられているused_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が1である場合、当該長期参照ピクチャを現ピクチャ長期参照可能リストListLtCurrに追加する。それ以外（used_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が0）の場合、当該長期参照ピクチャを後続ピクチャ長期参照可能リストListLtFollに追加する。
　（Ｓ２０８）変数NumPocTotalCurrの値を、現ピクチャから参照可能な参照ピクチャの和に設定する。すなわち、変数NumPocTotalCurrの値を、現ピクチャ短期前方参照可能リストListStCurrBefore、現ピクチャ短期後方参照可能リストListStCurrAfter、および、現ピクチャ長期参照可能リストListLtCurrの３つのリストの各要素数の和に設定する。
　　（参照ピクチャリスト構築処理の詳細）
　上記復号手順におけるＳ１６の処理、すなわち、参照ピクチャリスト構築処理の詳細を説明する。既に説明したとおり、参照ピクチャリスト導出部１３２は、参照ピクチャセットＲＰＳと、ＲＰＬ修正情報に基づいて参照ピクチャリストＲＰＬを生成する。
　参照ピクチャリストはＬ０参照リストとＬ１参照リストの２つのリストから構成される。始めに、Ｌ０参照リストの構築手順を説明する。Ｌ０参照リストは、以下のＳ３０１～Ｓ３０７に示す手順で構築される。
　（Ｓ３０１）暫定Ｌ０参照リストを生成して、空のリストに初期化する。
　（Ｓ３０２）暫定Ｌ０参照リストに対し、現ピクチャ短期前方参照可能リストに含まれる参照ピクチャを順に追加する。
　（Ｓ３０３）暫定Ｌ０参照リストに対し、現ピクチャ短期後方参照可能リストに含まれる参照ピクチャを順に追加する。
　（Ｓ３０４）暫定Ｌ０参照リストに対し、現ピクチャ長期参照可能リストに含まれる参照ピクチャを順に追加する。
　（Ｓ３０５）参照ピクチャリストが修正される場合（ＲＰＬ修正情報に含まれるlists_modification_present_flagの値が１の場合）、以下のＳ３０６ａ～Ｓ３０６ｂの処理を実行する。そうでない場合（lists_modification_present_flagの値が０の場合）、Ｓ３０７の処理を実行する。
　（Ｓ３０６ａ）Ｌ０参照ピクチャの修正が有効な場合（ＲＰＬ修正情報に含まれるref_pic_list_modification_flag_l0の値が１の場合）であって、かつ、現ピクチャ参照可能ピクチャ数NumCurrListが２に等しい場合、Ｓ３０６ｂを実行する。そうでない場合、Ｓ３０６ｃを実行する。
　（Ｓ３０６ｂ）ＲＰＬ修正情報に含まれるリスト並べ替え順序list_entry_l0[i]の値を下記の式により設定し、その後、Ｓ３０６ｃを実行する。
　list_entry_l0[0] = 1
　list_entry_l0[1] = 0
　（Ｓ３０６ｃ）参照リスト並べ替え順序list_entry_l0[i]の値に基づいて、暫定Ｌ０参照リストの要素を並べ換えて、Ｌ０参照リストとする。参照ピクチャインデックスrIdxに対応するＬ０参照リストの要素RefPicList0[rIdx]は、次式により導出される。ここで、RefListTemp0[i]は、暫定Ｌ０参照リストのi番目の要素を表す。
　RefPicList0[ rIdx ] = RefPicListTemp0[ list_entry_l0[ rIdx ] ]
上記の式によれば、参照リスト並べ替え順序list_entry_l0[i]において、参照ピクチャインデックスrIdxの示す位置に記録されている値を参照し、暫定Ｌ０参照リストにおいて前記値の位置に記録されている参照ピクチャを、Ｌ０参照リストのrIdxの位置の参照ピクチャとして格納する。
　（Ｓ３０７）暫定Ｌ０参照リストをＬ０参照リストとする。
　次にＬ１参照リストを構築する。なお、Ｌ１参照リストも、上記Ｌ０参照リストと同様の手順で構築できる。上記Ｌ０参照リストの構築手順（Ｓ３０１～Ｓ３０７）において、Ｌ０参照ピクチャ、Ｌ０参照リスト、暫定Ｌ０参照リスト、list_entry_l0をそれぞれ、Ｌ１参照ピクチャ、Ｌ１参照リスト、暫定Ｌ１参照リスト、list_entry_l1と置き換えればよい。
　上記では、図４３において、現ピクチャ参照可能ピクチャ数が２の場合にＲＰＬ修正情報を省略する例を記載したが、それに限らない。現ピクチャ参照可能ピクチャ数が１の場合にＲＰＬ修正情報を省略してもよい。具体的には、参照ピクチャ情報復号部におけるＳＨリスト修正情報の復号処理において、参照リスト並べ替え情報を図４５に示すシンタックス表に基づいてパースする。図４５は、スライスヘッダ復号時に利用される参照リスト並べ替え情報のシンタックス表を例示している。
　　［ピクチャ復号部１１］
　ピクチャ復号部１１は、符号化データ＃１、ヘッダ復号部１０より入力されるヘッダ情報、復号ピクチャバッファ１２に記録されている参照ピクチャ、および、参照ピクチャリスト導出部１３２より入力される参照ピクチャリストに基づいて、各ピクチャの局所復号画像を生成して復号ピクチャバッファ１２に記録する。
　図４４は、本実施形態に係るピクチャ復号部１１の構成を示す概略図である。ピクチャ復号部１１は、エントロピー復号部３０１、予測パラメータ復号部３０２、予測パラメータメモリ（予測パラメータ記憶部）３０７、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１、及び加算部３１２を含んで構成される。
　また、予測パラメータ復号部３０２は、インター予測パラメータ復号部３０３及びイントラ予測パラメータ復号部３０４を含んで構成される。予測画像生成部３０８は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０を含んで構成される。
　エントロピー復号部３０１は、外部から入力された符号化データ＃１に対してエントロピー復号を行って、個々の符号（シンタックス要素）を分離し復号する。分離された符号には、予測画像を生成するための予測情報および、差分画像を生成するための残差情報などがある。
　エントロピー復号部３０１は、分離した符号の一部を予測パラメータ復号部３０２に出力する。分離した符号の一部とは、例えば、予測モードPredMode、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXである。どの符号を復号するか否かの制御は、予測パラメータ復号部３０２の指示に基づいて行われる。エントロピー復号部３０１は、量子化係数を逆量子化・逆ＤＣＴ部３１１に出力する。この量子化係数は、符号化処理において、残差信号に対してＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ、離散コサイン変換）を行い量子化して得られる係数である。
　インター予測パラメータ復号部３０３は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してインター予測パラメータを復号する。
　インター予測パラメータ復号部３０３は、復号したインター予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。インター予測パラメータ復号部３０３の詳細については後述する。
　イントラ予測パラメータ復号部３０４は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してイントラ予測パラメータを生成する。イントラ予測パラメータとは、復号対象ブロックの予測画像をイントラ予測を用いて生成する際に必要な情報であり、例えば、イントラ予測モードIntraPredModeである。
　イントラ予測パラメータ復号部３０４は、イントラ予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。
　予測パラメータメモリ３０７は、予測パラメータを、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶する。具体的には、予測パラメータメモリ３０７は、インター予測パラメータ復号部３０３が復号したインター予測パラメータ、イントラ予測パラメータ復号部３０４が復号したイントラ予測パラメータ及びエントロピー復号部３０１が分離した予測モードpredModeを記憶する。記憶されるインター予測パラメータには、例えば、予測リスト利用フラグpredFlagLX（インター予測フラグinter_pred_idx）、参照ピクチャインデックスrefIdxLX、ベクトルmvLXがある。
　予測画像生成部３０８には、エントロピー復号部３０１から入力された予測モードpredModeが入力され、また予測パラメータ復号部３０２から予測パラメータが入力される。また、予測画像生成部３０８は、復号ピクチャバッファ１２から参照ピクチャを読み出す。予測画像生成部３０８は、予測モードpredModeが示す予測モードで、入力された予測パラメータと読み出した参照ピクチャを用いて予測ピクチャブロックＰ（予測画像）を生成する。
　ここで、予測モードpredModeがインター予測モードを示す場合、インター予測画像生成部３０９は、インター予測パラメータ復号部３０３から入力されたインター予測パラメータと読み出した参照ピクチャを用いてインター予測により予測ピクチャブロックＰを生成する。予測ピクチャブロックＰはＰＵに対応する。ＰＵは、上述したように予測処理を行う単位となる複数の画素からなるピクチャの一部分、つまり１度に予測処理が行われる復号対象ブロックに相当する。
　インター予測画像生成部３０９は、予測リスト利用フラグpredFlagLXが１である参照ピクチャリスト（Ｌ０参照リスト、もしくはＬ１参照リスト）に対し、参照ピクチャインデックスrefIdxLXで示される参照ピクチャから、復号対象ブロックを基準としてベクトルｍｖＬＸが示す位置にある参照ピクチャブロックを復号ピクチャバッファ１２から読み出す。インター予測画像生成部３０９は、読み出した参照ピクチャブロックについて予測を行って予測ピクチャブロックＰを生成する。インター予測画像生成部３０９は、生成した予測ピクチャブロックＰを加算部３１２に出力する。
　予測モードpredModeがイントラ予測モードを示す場合、イントラ予測画像生成部３１０は、イントラ予測パラメータ復号部３０４から入力されたイントラ予測パラメータと読み出した参照ピクチャを用いてイントラ予測を行う。具体的には、イントラ予測画像生成部３１０は、復号対象のピクチャであって、既に復号されたブロックのうち復号対象ブロックから予め定めた範囲にある参照ピクチャブロックを復号ピクチャバッファ１２から読み出す。予め定めた範囲とは、復号対象ブロックがいわゆるラスタースキャンの順序で順次移動する場合、例えば、左、左上、上、右上の隣接ブロックのうちのいずれかであり、イントラ予測モードによって異なる。ラスタースキャンの順序とは、各ピクチャにおいて、上端から下端まで各行について、順次左端から右端まで移動させる順序である。
　イントラ予測画像生成部３１０は、読み出した参照ピクチャブロックと、入力された予測パラメータを用いて予測ピクチャブロックを生成する。
　イントラ予測画像生成部３１０は、生成した予測ピクチャブロックＰを加算部３１２に出力する。
　逆量子化・逆ＤＣＴ部３１１は、エントロピー復号部３０１から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部３１１は、求めたＤＣＴ係数について逆ＤＣＴ（Ｉｎｖｅｒｓｅ　Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ、逆離散コサイン変換）を行い、復号残差信号を算出する。逆量子化・逆ＤＣＴ部３１１は、算出した復号残差信号を加算部３１２に出力する。
　加算部３１２は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０から入力された予測ピクチャブロックＰと逆量子化・逆ＤＣＴ部３１１から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部３１２は、生成した参照ピクチャブロックを参照ピクチャバッファに記憶し、生成した参照ピクチャブロックをピクチャ毎に統合した復号レイヤ画像Ｔｄを外部に出力する。
　〔画像符号化装置〕
　以下において、本実施形態に係る画像符号化装置２について、図４５を参照して説明する。
　　（画像符号化装置の概要）
　画像符号化装置２は、概略的に言えば、入力画像＃１０を符号化することによって符号化データ＃１を生成し、出力する装置である。
　　（画像符号化装置の構成）
　本実施形態に係る画像符号化装置２の構成例について説明する。図４５は、本実施形態に係る画像符号化装置２の構成を示す概略図である。画像符号化装置２は、ヘッダ符号化部１０Ｅ、ピクチャ符号化部２１、復号ピクチャバッファ１２、参照ピクチャ決定部１３Ｅを含んで構成される。画像符号化装置２は、複数のレイヤを含む画像において特定の時刻のピクチャから復号を開始する後述するランダムアクセス復号処理が可能である。
　　［ヘッダ符号化部１０Ｅ］
　ヘッダ符号化部１０Ｅは、入力画像＃１０に基づいて、ＮＡＬユニットヘッダ、ＳＰＳ、ＰＰＳ、および、スライスヘッダなどをの、ＮＡＬユニット単位、シーケンス単位、ピクチャ単位、またはスライス単位で復号に利用される情報を生成し、符号化して出力する。
　ヘッダ符号化部１０Ｅは、符号化データ＃１に含まれるＶＰＳ、ＳＰＳ、およびＰＰＳを既定のシンタックス定義に基づいてパースして、シーケンス単位で復号に利用される情報を符号化する。例えば、レイヤ数に関する情報がＶＰＳに符号化され、復号画像の画像サイズに関連する情報がＳＰＳに符号化される。なお、複数レイヤの復号画像の画像サイズに関連する情報（レプリゼンテーション情報）はＶＰＳで符号化され、ＳＰＳでは、ある対象レイヤの復号画像の画像サイズに関する情報（レプリゼンテーション情報）が符号化される。
　また、ヘッダ符号化部１０Ｅは、符号化データ＃１に含まれるスライスヘッダを既定のシンタックス定義に基づいてパースして、スライス単位で復号に利用される情報を符号化する。例えば、スライスタイプがスライスヘッダから符号化される。
　なお、ヘッダ符号化部１０Ｅ、さらに、ＮＡＬユニットヘッダ符号化部１０１Ｅ、ＶＰＳ符号化部１０２Ｅ（２２２）、ＳＰＳ符号化部１０３Ｅ、ＰＰＳ符号化部１０４、及びスライスヘッダ符号化部１０５Ｅ等を含んで構成される（不図示）。
　ＮＡＬユニットヘッダ符号化１０１Ｅは、さらに、レイヤＩＤ符号化部１０１１Ｅ、ＮＡＬユニットタイプ符号化部１０１２Ｅを含んで構成される（不図示）。
　レイヤＩＤ符号化部１０１１Ｅは、外部から入力された各レイヤ画像Ｔの画像信号の符号化データ（スライスヘッダ、及びスライスデータ）、及びスライスデータを復号するために参照されるパラメータセット（ＶＰＳ、ＳＰＳ、ＰＰＳ、及びＳＥＩ）の符号化データに対して、各レイヤ、及びレイヤに付随するサブレイヤを識別するためのレイヤＩＤ、テンポラルＩＤを付与し、符号化する。
　ＮＡＬユニットタイプ符号化部１０１２Ｅは、各符号化データに対して、符号化データの種別（識別）を表すＮＡＬユニットタイプを付与し、符号化する。なお、ＮＡＬユニットタイプは説明済みのため省略する。
　ＶＰＳ符号化部１０２Ｅ（２２２）は、ＶＰＳ復号部１０２の逆処理に対応し、複数のレイヤ画像Ｔ、及びＶＰＳの規定シンタックスに基づいて、レイヤ単位で利用される情報を符号化する。なお、ＶＰＳ符号化部１０２Ｅ（２２２）の詳細については、後述する。
　ＳＰＳ符号化部１０３Ｅは、ＳＰＳ復号部１０３の逆処理に対応し、レイヤ画像Ｔ、及びＳＰＳの規定のシンタックス定義に基づいて、シーケンス単位で利用される情報を符号化する。
　ＰＰＳ符号化部１０４Ｅは、ＰＰＳ復号部１０４の逆処理に対応し、レイヤ画像Ｔの各ピクチャ、及びＰＰＳの規定のシンタックス定義に基づいて、ピクチャ単位で利用される情報を符号化する。
　スライスヘッダ符号化部１０５Ｅは、スライスヘッダ復号部１０５の逆処理に対応し、レイヤ画像Ｔのピクチャを構成するスライス単位毎に、スライスヘッダの規定のシンタクス定義に基づいて符号化し、スライス単位で復号に利用される情報を符号化する。
　なお、ＶＰＳ、ＳＰＳには各レイヤセットの符号化／復号に必要とするプロファイル、およびレベルに関するプロファイル／レベル情報profile_tier_level()が含まれる。ヘッダ符号化部１０Ｅは、プロファイル／レベル情報に関して、以下の処理を行う。ヘッダ符号化部１０Ｅは、外部より供給された、または予め設定された、レイヤセット数、及び各レイヤセットに適用するＰＴＬ情報の総数を供給する。続いて、外部より供給された、または予め設定された、レイヤセット０（例えば、基本レイヤ）、及び基本レイヤ、拡張レイヤより構成される各レイヤセット（レイヤに属する各サブレイヤも含む）のプロファイル情報、およびレベル情報（プロファイル／レベル／ティア）に基づいて、各レイヤセットに適用するプロファイル有無フラグ、サブレイヤのプロファイル有無フラグ（サブレイヤ有無フラグ）、サブレイヤのレベル有無フラグ（サブレイヤレベル有無フラグ）の値を設定し、設定したプロファイル有無フラグ、および各サブレイヤのプロファイル有無フラグ／レベル有無フラグを、ヘッダ情報符号化部へ供給する。また、あるＰＴＬ情報のプロファイル有無フラグが０であれば、該ＰＴＬ情報が参照するＰＴＬ情報のリスト上の位置を示す参照ＰＬＴ指定情報を供給する。
　　（画像復号装置との対応関係）
　画像符号化装置２は、画像復号装置１の各構成と対応する構成を含む。ここで、対応とは、同様の処理、または、逆の処理を行う関係にあるということである。
　例えば、画像復号装置１が備える参照ピクチャ情報復号部の参照ピクチャ情報復号処理と、画像符号化装置２が備える参照ピクチャ情報符号化部の参照ピクチャ情報符号化処理とは、同様である。より詳細には、参照ピクチャ情報復号部は、ＳＰＳやスライスヘッダから復号されるシンタックス値としてＲＰＳ情報や修正ＲＰＬ情報を生成する。それに対し、参照ピクチャ情報符号化部は、入力されたＲＰＳ情報や修正ＲＰＬ情報を、ＳＰＳやスライスヘッダのシンタックス値として符号化する。
　例えば、画像復号装置１において、ビット列から、シンタックス値を復号する処理は、画像符号化装置２において、シンタックス値から、ビット列を符号化する処理と逆の処理としての対応となっている。
　　（処理の流れ）
　画像符号化装置２が、入力画像＃１０から出力符号化データ＃１を生成する手順は次のとおりである。
　（Ｓ２１）入力画像＃１０を構成する各ピクチャ（対象ピクチャ）に対して、以下のＳ２２～Ｓ２９の処理を実行する。
　（Ｓ２２）参照ピクチャセット決定部は入力画像＃１０内の対象ピクチャと復号ピクチャバッファ１２に記録されている局所復号画像に基づいて参照ピクチャセットＲＰＳを決定して、参照ピクチャリスト決定部に出力する。また、参照ピクチャセットＲＰＳの生成に必要なＲＰＳ情報を導出して、参照ピクチャ情報符号化部に出力する。
　（Ｓ２３）参照ピクチャリスト決定部は入力画像＃１０内の対象ピクチャと入力された参照ピクチャセットＲＰＳに基づいて参照ピクチャリストＲＰＬを導出し、ピクチャ符号化部２１、および、ピクチャ復号部１１に出力する。また、参照ピクチャリストＲＰＬの生成に必要なＲＰＬ修正情報を導出して、参照ピクチャ情報符号化部に出力する。
　（Ｓ２４）参照ピクチャ情報符号化部は、参照ピクチャセットＲＰＳおよび参照ピクチャリストＲＰＬに基づいて、ＳＰＳ、または、スライスヘッダに含めるためのＲＰＳ情報およびＲＰＬ修正情報を生成する。
　（Ｓ２５）ヘッダ符号化部１０Ｅは、入力画像＃１０、および、参照ピクチャ決定部１３Ｅで生成されたＲＰＳ情報およびＲＰＬ修正情報に基づいて、対象ピクチャに適用するＳＰＳを生成して出力する。
　（Ｓ２６）ヘッダ符号化部１０Ｅは、入力画像＃１０に基づいて、対象ピクチャに適用するＰＰＳを生成して出力する。
　（Ｓ２７）ヘッダ符号化部１０Ｅは、入力画像＃１０、および、参照ピクチャ決定部１３Ｅで生成されたRPS情報およびＲＰＬ修正情報に基づいて、対象ピクチャを構成する各スライスのスライスヘッダを符号化して、符号化データ＃１の一部として外部に出力するとともに、ピクチャ復号部１１に出力する。
　（Ｓ２８）ピクチャ符号化部２１は、入力画像＃１０に基づいて、対象ピクチャを構成する各スライスのスライスデータを生成して、符号化データ＃１の一部として外部に出力する。
　（Ｓ２９）ピクチャ符号化部２１は、対象ピクチャの局所復号画像を生成し、対象ピクチャのレイヤＩＤとＰＯＣに関連付けて復号ピクチャバッファに記録する。
　　（ピクチャ符号化部２１の構成）
　次に、本実施形態に係るピクチャ符号化部２１の構成について説明する。図４６は、本実施形態に係るピクチャ符号化部２１の構成を示すブロック図である。ピクチャ符号化部２１は、予測画像生成部２０１、減算部２０２、ＤＣＴ・量子化部２０３、エントロピー符号化部２０４、逆量子化・逆ＤＣＴ部２０５、加算部２０６、予測パラメータメモリ２０８、符号化パラメータ決定部２１０、予測パラメータ符号化部２１１を含んで構成される。予測パラメータ符号化部２１１は、インター予測パラメータ符号化部２１２及びイントラ予測パラメータ符号化部２１３を含んで構成される。
　予測画像生成部２０１は、外部から入力されたレイヤ画像Ｔのレイヤ毎の各ピクチャについて、そのピクチャを分割した領域であるブロック毎に予測ピクチャブロックＰを生成する。ここで、予測画像生成部２０１は、予測パラメータ符号化部２１１から入力された予測パラメータに基づいて復号ピクチャバッファ１２から参照ピクチャブロックを読み出す。予測パラメータ符号化部２１１から入力された予測パラメータとは、例えば、動きベクトル又は変位ベクトルである。予測画像生成部２０１は、符号化対象ブロックを起点として予測された動きベクトル又は変位ベクトルが示す位置にあるブロックの参照ピクチャブロックを読み出す。予測画像生成部２０１は、読み出した参照ピクチャブロックについて複数の予測方式のうちの１つの予測方式を用いて予測ピクチャブロックＰを生成する。予測画像生成部２０１は、生成した予測ピクチャブロックＰを減算部２０２に出力する。なお、予測画像生成部２０１は、既に説明した予測画像生成部３０８と同じ動作であるため予測ピクチャブロックＰの生成の詳細は省略する。
　予測画像生成部２０１は、予測方式を選択するために、例えば、レイヤ画像に含まれるブロックの画素毎の信号値と予測ピクチャブロックＰの対応する画素毎の信号値との差分に基づく誤差値を最小にする予測方式を選択する。予測方式を選択する方法は、これには限られない。
　符号化対象のピクチャがベースレイヤピクチャである場合には、複数の予測方式とは、イントラ予測、動き予測及びマージ予測である。動き予測とは、上述のインター予測のうち、表示時刻間の予測である。マージ予測とは、既に符号化されたブロックであって、符号化対象ブロックから予め定めた範囲内にあるブロックと同一の参照ピクチャブロック及び予測パラメータを用いる予測である。符号化対象のピクチャがノンベースビューピクチャである場合には、複数の予測方式とは、イントラ予測、動き予測、マージ予測、及び変位予測である。変位予測（視差予測）とは、上述のインター予測のうち、別レイヤ画像（別視点画像）間の予測である。さらに、動き予測、マージ予測、及び変位予測である。
　予測画像生成部２０１は、イントラ予測を選択した場合、予測ピクチャブロックＰを生成する際に用いたイントラ予測モードを示す予測モードpredModeを予測パラメータ符号化部２１１に出力する。
　予測画像生成部２０１は、動き予測を選択した場合、予測ピクチャブロックＰを生成する際に用いた動きベクトルmvLXを予測パラメータメモリ２０８に記憶し、インター予測パラメータ符号化部２１２に出力する。動きベクトルmvLXは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。動きベクトルmvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、ピクチャ順序番号ＰＯＣ）を含み、予測パラメータを表すものであっても良い。また、予測画像生成部２０１は、インター予測モードを示す予測モードpredModeを予測パラメータ符号化部２１１に出力する。
　予測画像生成部２０１は、変位予測（レイヤ間画像予測）を選択した場合、予測ピクチャブロックＰを生成する際に用いた変位ベクトルを予測パラメータメモリ２０８に記憶し、インター予測パラメータ符号化部２１２に出力する。変位ベクトルdvLXは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。変位ベクトルdvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、レイヤＩＤ（あるいは、ビューＩＤview_id））を含み、予測パラメータを表すものであっても良い。また、予測画像生成部２０１は、インター予測モードを示す予測モードpredModeを予測パラメータ符号化部２１１に出力する。
　予測画像生成部２０１は、マージ予測を選択した場合、選択した参照ピクチャブロックを示すマージインデックスmerge_idxをインター予測パラメータ符号化部２１２に出力する。また、予測画像生成部２０１は、マージ予測モードを示す予測モードpredModeを予測パラメータ符号化部２１１に出力する。
　減算部２０２は、予測画像生成部２０１から入力された予測ピクチャブロックＰの信号値を、外部から入力されたレイヤ画像Ｔの対応するブロックの信号値から画素毎に減算して、残差信号を生成する。減算部２０２は、生成した残差信号をＤＣＴ・量子化部２０３と符号化パラメータ決定部２１０に出力する。
　ＤＣＴ・量子化部２０３は、減算部２０２から入力された残差信号についてＤＣＴを行い、ＤＣＴ係数を算出する。ＤＣＴ・量子化部２０３は、算出したＤＣＴ係数を量子化して量子化係数を求める。ＤＣＴ・量子化部２０３は、求めた量子化係数をエントロピー符号化部２０４及び逆量子化・逆ＤＣＴ部２０５に出力する。
　エントロピー符号化部２０４には、ＤＣＴ・量子化部２０３から量子化係数が入力され、符号化パラメータ決定部２１０から符号化パラメータが入力される。入力される符号化パラメータには、例えば、参照ピクチャインデックスrefIdxLX、ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、予測モードpredMode、及びマージインデックスmerge_idx等の符号がある。
　エントロピー符号化部２０４は、入力された量子化係数と符号化パラメータをエントロピー符号化して符号化データ＃１を生成し、生成した符号化データ＃１を外部に出力する。
　逆量子化・逆ＤＣＴ部２０５は、ＤＣＴ・量子化部２０３から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部２０５は、求めたＤＣＴ係数について逆ＤＣＴを行い、符号化残差信号を算出する。逆量子化・逆ＤＣＴ部２０５は、算出した符号化残差信号を加算部２０６に出力する。
　加算部２０６は、予測画像生成部２０１から入力された予測ピクチャブロックＰの信号値と逆量子化・逆ＤＣＴ部２０５から入力された符号化残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部２０６は、生成した参照ピクチャブロックを復号ピクチャバッファ１２に記憶する。
　予測パラメータメモリ２０８は、予測パラメータ符号化部２１１が生成した予測パラメータを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
　符号化パラメータ決定部２１０は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述した予測パラメータやこの予測パラメータに関連して生成される符号化の対象となるパラメータである。予測画像生成部２０１は、これらの符号化パラメータのセットの各々を用いて予測ピクチャブロックＰを生成する。
　符号化パラメータ決定部２１０は、複数のセットの各々について情報量の大きさと符号化誤差を示すコスト値を算出する。コスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化データ＃１の情報量である。二乗誤差は、減算部２０２において算出された残差信号の残差値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部２１０は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部２０４は、選択した符号化パラメータのセットを符号化データ＃１として外部に出力し、選択されなかった符号化パラメータのセットを出力しない。
　予測パラメータ符号化部２１１は、予測画像生成部２０１から入力されたパラメータに基づいて予測ピクチャを生成する際に用いる予測パラメータを導出し、導出した予測パラメータを符号化して符号化パラメータのセットを生成する。予測パラメータ符号化部２１１は、生成した符号化パラメータのセットをエントロピー符号化部２０４に出力する。
　予測パラメータ符号化部２１１は、生成した符号化パラメータのセットのうち符号化パラメータ決定部２１０が選択したものに対応する予測パラメータを予測パラメータメモリ２０８に記憶する。
　予測パラメータ符号化部２１１は、予測画像生成部２０１から入力された予測モードpredModeがインター予測モードを示す場合、インター予測パラメータ符号化部２１２を動作させる。予測パラメータ符号化部２１１は、予測モードpredModeがイントラ予測モードを示す場合、イントラ予測パラメータ符号化部２１３を動作させる。
　インター予測パラメータ符号化部２１２は、符号化パラメータ決定部２１０から入力された予測パラメータに基づいてインター予測パラメータを導出する。インター予測パラメータ符号化部２１２は、インター予測パラメータを導出する構成として、インター予測パラメータ復号部３０３がインター予測パラメータを導出する構成と同一の構成を含む。
　イントラ予測パラメータ符号化部２１３は、符号化パラメータ決定部２１０から入力された予測モードpredModeが示すイントラ予測モードIntraPredModeをインター予測パラメータのセットとして定める。
　以下では、図７～９、１７、２０～２４、２６、２９、３３、４７～４９を参照し、本発明の実施例１に係るＶＰＳ符号化部１０２Ｅについて説明する。
　　[ＶＰＳ符号化部２２２（１０２Ｅ）]
　図４７は、ＶＰＳ符号化部２２２の概略的構成について示した機能ブロック図である。図４７に示すように、ＶＰＳ符号化部２２２は、プロファイルレベル情報符号化部(ＰＴＬ情報符号化部)２２２１、参照ＰＴＬ指定情報符号化部２２２２、プロファイル有無フラグ符号化部２２２３を含んで構成される。
　＜ＶＰＳの詳細な符号化プロセス＞
　以下、ＶＰＳ符号化部２２２の動作について、図１７を参照しながら説明する。図１７において、”復号”を”符号化”と置き換えて解釈する。ＶＰＳ符号化部２２２は、ＶＳＰ復号部１０２の逆処理である。
　（ステップＳＡ１０１）ＶＰＳ符号化部２２２は、図７上のシンタックス群SYNVPS01を符号化する。
　（ステップＳＡ１０２）ＶＰＳ符号化部２２２に含まれるＰＴＬ情報符号化部２２２１が、図７上のSYNVPS02に示すレイヤセット０のＰＴＬ情報を符号化する。
　（ステップＳＡ１０３）ＶＰＳ符号化部２２２は、図７上のシンタックス群SYNVPS03に示す各レイヤセットを構成するレイヤＩＤを符号化する。
　（ステップＳＡ１０４）ＶＰＳ符号化２２２は、図７上のＶＰＳ拡張フラグvps_extension_flag（図７上のSYNVPS04）を符号化する。
　（ステップＳＡ１０５）ＶＰＳ拡張フラグが１の場合（ステップＳＡ１０５でＹＥＳ）、ＶＰＳ拡張データがＶＰＳ上にあると判定し、ステップＳＡ１０６へ進む。ＶＰＳ拡張フラグが０の場合（ステップＳＡ１０５でＮｏ）、ＶＰＳ拡張データがＶＰＳ上にないと判定し、ステップＳＡ１０９へ進む。
　（ステップＳＡ１０６）ＶＰＳ拡張フラグの次ビットからＶＰＳ拡張データに含まれるavc_base_flagの直前まで、バイトアラインを調整するために、バイトアラインデータ(vps_extension_aligment_bit_equal_to_one)(図７上のシンタックス群SYNVPS05)を符号化する。
　（ステップＳＡ１０７）ＶＰＳ拡張データvps_extension()を符号化する。なお、ＶＰＳ拡張データの詳細の符号化プロセスについては後述する。
　（ステップＳＡ１０８）ＶＰＳ符号化部２２２は、図７上のSYNVPS0７に示すＶＰＳ拡張２フラグvps_extension2_flagを符号化する。ＶＰＳ拡張２フラグが１であれば、さらにＶＰＳ拡張２データを符号化する。
　（ステップＳＡ１０９）ＶＰＳ符号化部２２２は、図７上のSYNVPS08に示すRBSP_traling_bits()を符号化する。RBSP_trailing_bits()とは、バイトアラインデータである。なお、バイトアラインデータは、スタッフィングデータとも呼ばれる。
　　＜ＶＰＳ拡張データの詳細な符号化プロセス＞
　図１８を参照しながら、ＶＰＳ拡張データの符号化プロセスについて説明する。図１８において、”復号”を”符号化”と置き換えて解釈する。
　（ステップＳＢ１０１）ＶＰＳ符号化部２２２は、図８上のシンタックス群SYNVPS0Aを符号化する。
　（ステップＳＢ１０２）ＶＰＳ符号化部２２２は、図８上のシンタックス群SYNVPS0Bに示す、各レイヤが参照する依存レイヤ（直接参照レイヤ、従属レイヤともいう）に関する依存フラグを符号化する。
　（ステップＳＢ１０３）ＶＰＳ符号化部２２２は、レイヤセット数（図８上のシンタックスSYNVPS0C）を符号化する。
　（ステップＳＢ１０４）ＶＰＳ符号化部２２２は、ＶＰＳ上に含まれるＰＴＬ情報の総数（図８上のSYNVPS0D）を符号化する。
　（ステップＳＢ１０５）ＶＰＳ上に含まれるＰＴＬ情報の符号化プロセスのループ開始点である。
　（ステップＳＢ１０６）ＶＰＳ符号化部２２２に含まれるプロファイル有無フラグ符号化２２２３は、ｉ番目のＰＴＬ情報profile_tier_level()上に、プロファイル情報を示すシンタックス群の有無を示すプロファイル有無フラグ（図８上のシンタックスSYNVPS0E）を符号化する。
　（ステップＳＢ１０７）プロファイル有無フラグが０の場合は、ｉ番目のＰＴＬ情報上にプロファイル情報を示すシンタックス群がないと判定し、ステップＳＢ１０８へ進む。プロファイル有無フラグが１の場合は、ｉ番目のＰＴＬ情報上にプロファイル情報を示すシンタックス群がある判定し、ステップＳＢ１０９へ進む。
　（ステップＳＢ１０８）プロファイル有無フラグが０の場合、ＶＰＳ符号化部２２２に含まれる参照ＰＴＬ指定情報符号化部２２２２は、ｉ番目のＰＴＬ情報のプロファイル情報をＰＴＬ情報リスト上のいずれのＰＴＬ情報から参照するかを示す参照ＰＴＬ情報指定インデクス（参照プロファイルレベル情報相対インデクスともいう）”profile_ref_delta_index_minus1[i]”(図８上のSYNVPS0Fa)を符号化する。参照ＰＴＬ情報指定インデクス“profile_ref_delta_index_minus1[i]”は、ｉ番目のＰＴＬ情報と参照先ＰＴＬ情報の相対インデクスを表わす。すなわち、ｉ番目のＰＴＬ情報は、j = (i - profile_ref_delta_minus1[i] +1 )で特定される、ｊ番目のＰＴＬ情報をプロファイル情報の参照先とする。なお、予めエンコーダ側で、ＰＴＬ情報リスト上のＰＴＬ情報を、類似順に並び替えておくことで、ｉ番目のＰＴＬ情報は、直前のＰＴＬ情報を参照する確率を高めることができる。従って、参照ＰＴＬ指定インデクス” profile_ref_delta_index_minus1[i]”は相対インデクスを、例えば、図２０に示すように、ゴロム符号で表わすことにより、参照ＰＴＬ指定インデクスを表現するために必要なビット長を従来に比べて削減することが可能である。
　換言すれば、プロファイル／レベル情報符号化部は、上記プロファイル／レベル情報におけるｉ番目の参照ＰＴＬ情報指定インデクスのセマンティックを、当該ｉ番目の参照ＰＴＬ情報指定インデクスが、ｉ番目のプロファイル／レベル情報と参照されるプロファイル／レベル情報との間の相対的な位置を指定するものとして取り扱う。
　例えば、参照ＰＴＬ指定インデクス“profile_ref_delta_minus1[i]”の値が０、すなわち、ｉ番目のＰＴＬ情報のひとつ前（ｉ－１）番目のＰＴＬ情報を参照する場合、図２０に示すゴロム符号を用いることにより、参照ＰＴＬ指定インデクスを表現するのに必要なビット長は１ビットとなる。これにより、従来技術に比べて、参照ＰＴＬ情報指定インデクスを固定長で表わす場合に比べて、符号量を削減することができる。また、ＰＴＬ情報リスト上の先頭ＰＴＬ情報（０番目）を参照することができるため、対象ＰＴＬ情報が１番目のときに、参照ＰＴＬ情報指定インデックスが機能しない欠点を解消することができる。なお、参照ＰＴＬ指定インデクス“profile_ref_delta_minus1[i]”をゴロム符号の代わりに、ｋ次指数ゴロム符号(k-th order Exponential Golomb: EGk（K>=0）)により復号してもよく、同様の効果を奏する。なお、図２０に示すゴロム符号は、０次指数ゴロム符号とも呼ばれる。
　なお、ＰＴＬ情報リスト上の先頭ＰＴＬ情報（０番目）を参照することを禁止する場合は、対象ＰＴＬ情報が１番目のときに、プロファイル有無フラグを必ず１と設定し、明示的に、１番目のＰＴＬ情報のプロファイル情報を必ず符号化データ内に含むよう、デコーダとエンコーダ間で予め取り決めておいてもよい（ビットストリーム制約ともいう）。これにより、対象ＰＴＬ情報が１番目のときに、参照ＰＴＬ情報指定インデックスが機能しない欠点を同様に解消することができる。
　（ステップＳＢ１０９）ＶＰＳ符号化部２２２に含まれるＰＴＬ情報符号化部２２２２は、プロファイル有無フラグ、参照ＰＴＬ指定情報（参照ＰＴＬ指定インデクス）、サブレイヤ数、ＰＴＬ情報を入力として、ｉ番目のＰＴＬ情報のプロファイル、及びレベル情報を符号化する。ＰＴＬ情報符号化２２２１の詳細については後述する。
　（ステップＳＢ１１０）ＶＰＳ上に含まれるＰＴＬ情報の符号化プロセスのループ終端である。
　（ステップＳＢ１１１）ＶＰＳ符号化部２２２は、各出力レイヤセットに適用するＰＴＬ情報を指定するＰＴＬ情報指定インデクス（図８上のシンタックス群SYNVPS0H上のprofile_level_tier_idx[i]）を符号化する。
　（ステップＳＢ１１２）ＶＰＳ符号化部２２２は、図８上のシンタックス群SYNVPS0Iに示す各レイヤの従属レイヤタイプを符号化する。
　（ステップＳＢ１１１）ＶＰＳ符号化２２２は、図８上のその他シンタックス群SYNVPS0Jを符号化する。
　＜ＰＴＬ情報符号化部２２２１の詳細＞
　次に、実施例１に係るＰＴＬ情報符号化部２２２１の詳細について、図４９、図２１を用いて説明する。ＰＴＬ情報符号化部２２２１は、ＰＴＬ情報復号部１０２１に対応する符号化装置である。なお、図２１において、”復号”を”符号化”と置き換えて解釈する。
　図４９は、ＰＴＬ情報符号化部２２２１の構成について例示した機能ブロック図である。図４９に示すように、ＰＴＬ情報符号化部２２２１は、プロファイル情報符号化部２２２１ａ、レベル情報符号化部２２２１ｂ、サブレイヤプロファイル有無フラグ符号化部２２２１ｃ、サブレイヤレベル有無フラグ符号化部２２２１ｄ、バイトアラインデータ符号化部２２２１ｅを備える。なお、本実施例では、図４９におけるlevelPresentFlagの入力線は無いものとして解釈する。
　[プロファイル情報符号化部２２２１ａ]
　プロファイル情報符号化部２２２１ａは、外部より供給される、プロファイル有無フラグprofilePresentFlagに基づいて、外部より供給される、符号化対象ＰＴＬ情報のプロファイル情報(最高次サブレイヤのプロファイル情報、あるいは汎用プロファイル情報とも呼ぶ)を符号化し、符号化データＤＡＴＡ＃Ｔとして出力する。具体的には、プロファイル有無フラグprofilePresentFlagが１の場合、符号化対象ＰＴＬ情報のプロファイル情報を符号化し、符号化データＤＡＴＡ＃Ｔとして出力する。プロファイル有無フラグprofilePresentFlagが０の場合、符号化対象ＰＴＬ情報に符号化すべきプロファイル情報がないため、符号化処理を行わない。
　また、プロファイル情報符号化部２２２１ａは、外部より供給される、プロファイル有無フラグprofilePresentFlag、サブレイヤ数MaxNumSubLayers、及び各サブレイヤのサブレイヤプロファイル有無フラグsub_layer_profile_present_flag[i]に基づいて、最高次サブレイヤを除く、符号化対象ＰＴＬ情報の各サブレイヤのサブレイヤプロファイル情報を符号化し、符号化データＤＡＴＡ＃Ｔとして出力する。
　なお、画像復号装置１と画像符号化装置２の間において、プロファイル有無フラグが１、及び０の場合における、各サブレイヤのプロファイル情報の設定方法（推定方法）について予め取り決めておいてもよい。例えば、既に説明済だが、プロファイル有無フラグが１の場合は、図６２（ａ）に示す疑似コードに従って、各サブレイヤのプロファイル情報を設定する。また、プロファイル有無フラグが０の場合は、図６２（ｂ）に示す疑似コードに従って設定する。これにより、profilePresentFlag=1、かつ、sub_layer_profile_present_flag[i]=0の場合のサブレイヤのプロファイル情報が不定値となる問題を解消することができる。
　[レベル情報符号化部２２２１ｂ]
　レベル情報符号化部２２２１ｂは、外部より供給される、符号化対象ＰＴＬ情報のレベル情報(最高次サブレイヤのレベル情報、あるいは汎用レベル情報とも呼ぶ）を符号化し、符号化データ＃Ｔとして出力する。また、レベル情報符号化部２２２１ｂは、外部より供給される、サブレイヤ数MaxNumSubLayers、及び各サブレイヤのサブレイヤレベル有無フラグsub_layer_level_present_flag[i]に基づいて、最高次サブレイヤを除く、符号化対象ＰＴＬ情報の各サブレイヤのサブレイヤレベル情報を符号化し、符号化データ＃Ｔとして出力する。
　具体的には、サブレイヤi（temporalId=i+1）のサブレイヤレベル有無フラグsub_layer_level_present_flag[i]が１の場合、外部より供給される、該サブレイヤiのレベル情報を符号化し、符号化データＤＡＴＡ＃Ｔとして出力する。それ以外の場合（サブレイヤレベル有無フラグsub_layer_level_present_flag[i]が０）、符号化すべきレベル情報がないため、符号化処理を行わない。
　なお、画像復号装置１と画像符号化装置２の間において、サブレイヤiのサブレイヤレベル有無フラグが０の場合における、各サブレイヤのレベル情報の設定方法（推定方法）について予め取り決めておいてもよい。例えば、既に説明済だが、サブレイヤレベル有無フラグが０場合は、図６３(a)、(b)に示す疑似コードに従って、各サブレイヤのレベル情報を設定する。これにより、sub_layer_level_present_flag[i]=0の場合のサブレイヤのレベル情報が不定値となる問題を解消することができる。
　[サブレイヤプロファイル有無フラグ符号化部２２２１ｃ]
　サブレイヤプロファイル有無フラグ符号化部２２２１ｃは、外部より供給される、サブレイヤ数MaxNumSubLayersに基づいて、符号化対象ＰＴＬ情報の各サブレイヤのサブレイヤプロファイル有無フラグを符号化し、符号化データＤＡＴＡ＃Ｔとして出力する。
　[サブレイヤレベル有無フラグ符号化部２２２１ｄ]
　サブレイヤレベル有無フラグ符号化部２２２１ｄは、外部より供給される、サブレイヤ数MaxNumSubLayersに基づいて、符号化対象ＰＴＬ情報の各サブレイヤのサブレイヤレベル有無フラグを符号化し、符号化データＤＡＴＡ＃Ｔとして出力する。
　[バイトアラインデータ符号化部２２２１ｅ]
　バイトアラインデータ符号化２２２１ｅは、サブレイヤ数(MaxNumSbuLayersMinus1,またはMaxNumSubLayers-1)に基づいて定まるビット数分のバイトアラインデータ(reserved_zero_2bits[i])（図９上のシンタックスSYNPTL04）を2bit単位で符号化し、符号化データＤＡＴＡ＃Ｔとして出力する。バイトアラインデータとして、符号化すべきビット数は、図９上のシンタックスSYNVPSPTL04から明らかなように、”(8 - MaxNumSubLayersMinus1) * 2 bits”である。
　　（プロファイル／レベル情報profile_tier_level()の符号化処理の流れ）
　図２１を参照して、ＰＴＬ情報profile_tier_level()の符号化処理を説明する。なお、図２１において、”復号”を”符号化”と置き換えて解釈する。また、ステップＳＣ１０３,ＳＣ１１２, ＳＣ１１５における動作は、符号化装置側では実施しない。すなわち、ステップＳＣ１０１の分岐でＮＯの場合、ステップＳＣ１０４へ進む。また、ステップＳＣ１１０の分岐でＮＯの場合、ステップＳＣ１１３へ進む。また、ステップＳＣ１１３の分岐でＮＯの場合、ステップＳＣ１１６へ進む。
　　　（ステップＳＣ１０１）プロファイル情報符号化部２２２１ａは、プロファイル有無フラグprofilePresentFlagが１であるか判別する。プロファイル有無フラグprofilePresentFlagが１の場合（ステップＳＣ１０１においてＹｅｓ）の場合、ステップＳＣ１０２へ進み、それ以外の場合（ステップＳＣ１０１においてＮｏ）の場合、ステップＳＣ１０４へ進む。
　　　（ステップＳＣ１０２）プロファイル情報符号化部２２２１ａは、符号化対象ＰＴＬ情報のプロファイル情報として、例えば、図９上のシンタックス群SYNPTL01、
・プロファイル空間general_profile_space
・ティアフラグgeneral_tier_flag
・プロファイル識別子general_profile_idc
・プロファイル互換フラグgeneral_profile_compatibility_flag[ i ]
…省略…
・プロファイル予約シンタックスgeneral_reserved_zero_44bits
等を符号化する。
　　　（ステップＳＣ１０４）
　レベル情報符号化部２２２１ｂは、符号化対象ＰＴＬ情報のレベル情報として以下のシンタックス、
・レベル識別子general_level_idc
を符号化する。
　　　（ステップＳＣ１０５）
　サブレイヤのサブレイヤプロファイル有無フラグ、およびサブレイヤレベル有無フラグの符号化に関するループの開始である。ループの開始前に、変数iは０に初期化される。ループ内の処理は、変数ｉがサブレイヤ数－１、“MaxNumSubLayers - 1”未満のときに実行され、ループ内の処理が１回実行される度に、変数iは“1”増分される。すなわち、ステップＳＣ１０５～ステップＳＣ１０７では、最高次サブレイヤを除く、サブレイヤのサブレイヤプロファイル有無フラグ、及びサブレイヤレベル有無フラグが符号化される。
　　　（ステップＳＣ１０６）
　サブレイヤプロファイル有無フラグ符号化部２２２１ｃは、変数iで指定されるサブレイヤに関するサブレイヤプロファイル有無フラグsub_layer_profile_present_flag[i]を符号化する。
　サブレイヤレベル有無フラグ符号化部２２２１ｄは、変数iで指定されるサブレイヤに関するサブレイヤレベル有無フラグsub_layer_level_present_flag[i]を符号化する。
　　　（ステップＳＣ１０７）
　サブレイヤのサブレイヤプロファイル有無フラグ、およびサブレイヤレベル有無フラグの符号化に関するループの終端である。
　　　（ステップＳＣ１０８）
　バイトアラインデータ符号化部２２２１ｅは、サブレイヤ数(MaxNumSbuLayersMinus1,またはMaxNumSubLayers-1)に基づいて定まるビット数分のバイトアラインデータ(reserved_zero_2bits[i])（図９上のシンタックスSYNPTL04）を2bit単位で符号化データＤＡＴＡ＃Ｔへ挿入する（符号化する）。
　具体的には、ステップＳＣ１０５～ステップＳＣ１０７において、サブレイヤ毎に符号化されるサブレイヤプロファイル有無フラグとサブレイヤレベル有無フラグの符号量は各１ビット、計２ビットであり、サブレイヤ数はMaxNumSubLayersであるため、ステップＳＣ１０５～ステップＳＣ１０７で復号される符号量の総和は、2 * (MaxNumSubLayer - 1)である。従って、バイトアラインデータとして、符号化すべきビット数は、”(8 - MaxNumSubLayersMinus1) * 2 bits”である。
　　　（ステップＳＣ１０９）
　サブレイヤのサブレイヤプロファイル情報、およびサブレイヤレベル情報の符号化に関するループの開始点である。ループの開始前に、変数iは０に初期化される。ループ内の処理は、変数iがサブレイヤ数－１、“MaxNumSubLayers - 1”未満のときに実行され、ループ内の処理が１回実行される度に、変数iは”1”増分される。
　　　（ステップＳＣ１１０）
　プロファイル情報符号化部２２２１ａは、変数iで指定されるサブレイヤのサブレイヤプロファイル有無フラグsub_layer_profile_present_flag[i]が１であるかを判定する。サブレイヤプロファイル有無フラグが１の場合（ステップＳＣ１１０においてＹｅｓ）、ステップＳＣ１１１へ進み、それ以外の場合（ステップＳＣ１１０においてＮｏ）、ステップＳＣ１１３へ進む。
　　　（ステップＳＣ１１１）
　プロファイル情報符号化部２２２１ａは、変数ｉで指定されるサブレイヤのサブレイヤプロファイル情報として、例えば、図９上のシンタックス群SYNPTL05に示す
・サブレイヤプロファイル空間sub_layer_profile_space[ i ]
・サブレイヤティアフラグsub_layer_tier_flag[ i ]
・サブレイヤプロファイル識別子sub_layer_profile_idc[ i ]
・サブレイヤプロファイル互換フラグsub_layer_profile_compatibility_flag[ i ][ j ]…省略…
・サブレイヤプロファイル予約シンタックスsub_layer_reserved_zero_44bits[ i ]
を符号化し出力する。
　　　（ステップＳＣ１１３）
　レベル情報符号化部２２２１ｂは、変数iで指定されるサブレイヤのサブレイヤレベル有無フラグsub_layer_level_present_flag[i]が１であるか判定する。サブレイヤレベル有無フラグが１の場合（ステップＳＣ１１３においてＹｅｓ）、ステップＳＣ１１４へ進み、それ以外の場合（ステップＳＣ１１３においてＮｏ）、ステップＳＣ１１６へ進む。
　　　（ステップＳＣ１１４）
　レベル情報符号化部２２２１ｂは、変数iで指定されるサブレイヤのサブレイヤレベル情報として、
・サブレイヤレベル識別子sub_layer_level_idc[ i ]
を符号化し出力する。
　　　（ステップＳＣ１１６）
　サブレイヤのサブレイヤプロファイル情報、およびサブレイヤレベル情報の符号化に関するループの終端である。
　以上、実施例１に係るプロファイル／レベル情報符号化部２２２１の動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。
　（実施例１の変形例）
　図２２を参照しながら、ＶＰＳ符号化部２０２の変形例について説明する。なお、参照ＰＴＬ情報指定インデクス（図２２上のシンタックスSYNVPS0Fb）を除き、ＶＰＳ符号部２０２の動作は、実施例１と同一であるため、説明を省略する。
　実施例１では、参照ＰＴＬ情報指定インデクスをＰＴＬ情報リスト上の対象ＰＴＬ情報の位置と参照先のＰＴＬ情報の相対インデクス(profile_ref_delta_index_minus1[i])をゴロム符号により符号化していたが、これに限定されない。例えば、相対インデックスの代わりに、ＰＴＬ情報リスト上の“profile_ref[i]”番目にあるＰＴＬ情報のプロファイル情報を参照するようにしてもよい。このとき、参照ＰＴＬ情報指定インデクス”profile_ref[i]”を対象ＰＴＬ情報のリスト上の位置を示すインデクスiに基づいて定まるビット長Ｖにより可変長符号化する。ここでビット長Ｖは、ceil(log2(i) )により定まる。これにより、従来技術に比べて、参照ＰＴＬ情報指定インデクスを固定長で表わす場合に比べて、符号量を削減することができる。また、ＰＴＬ情報リスト上の先頭ＰＬＴ情報（０番目）を参照することができるため、対象ＰＴＬ情報が１番目のときに、参照ＰＴＬ情報指定インデックスが機能しない欠点を解消することができる。
　換言すれば、プロファイル／レベル情報符号化部が符号化する上記プロファイル／レベル情報において、１番目のプロファイル／レベル情報のプロファイルおよびティアの情報が、０番目のプロファイル／レベル情報に基づいて推定可能となるように、参照ＰＴＬ情報指定インデクスが参照プロファイルに変更されている。
　なお、ＰＴＬ情報リスト上の先頭ＰＴＬ情報（０番目）を参照することを禁止する場合は、対象ＰＴＬ情報が１番目のときに、プロファイル有無フラグを必ず１と設定し、明示的に、１番目のＰＴＬ情報のプロファイル情報を必ず符号化データ内に含むよう、デコーダとエンコーダ間で予め取り決めておいてもよい（ビットストリーム制約ともいう）。これにより、対象ＰＴＬ情報が１番目のときに、参照ＰＴＬ情報指定インデックスが機能しない欠点を同様に解消することができる。
　　＜＜ＶＰＳ符号化部２０２の変形例２＞＞
　次に、図２３、図２４、図２６、図４７を用いて、ＶＰＳ符号化部２０２の変形例２について説明する。
　図２３は、拡張ビデオパラメータセットＶＰＳのシンタックステーブルの変形例である。図２４を参照して、ＶＰＳ拡張データの符号化プロセスを説明する。なお、図２４で”復号”を”符号化”と置き換えて解釈する。
　まず、変形例２に係る拡張ビデオパラメータセットＶＰＳのシンタックステーブルについて図２３を用いて説明する。図２３と図８に示す拡張ビデオパラメータセットＶＰＳのシンタックステーブルとの違いは、図２３では、図８上のシンタックスSYNVPS0Faに示す参照PTL情報指定インデクス(profile_ref_delta_index_minus1[i])が削除され、参照ＰＴＬ指定情報指定インデクスの機能を、図２３上のシンタックスSYNVPS0Eに示すプロファイル有無フラグ(vps_profile_present_flag[i])が兼用する点である。すなわち、プロファイル有無フラグ(vps_profile_present_flag[i])の値が１の場合は、i番目のＰＴＬ情報のプロファイル情報が符号化される。一方、プロファイル有無フラグの値が０の場合は、i番目のＰＴＬ情報のプロファイル情報には、i番目のＰＴＬ情報の直前に符号化された、(i-1)番目の符号化済ＰＴＬ情報と同一であるため、プロファイル情報の符号化を省略する。
　続いて、変形例２に係るＶＰＳ符号化部２０２’とＶＰＳ符号化２０２の構成の違いについて説明する。ＶＰＳ符号化部２０２’は、ＶＰＳ符号化部２０２が備える参照PTL指定情報符号化部２２２２を備えていない。また、プロファイル有無フラグの入力線が、ＰＴＬ情報符号化部２２２１へプロファイル有無フラグの入力線がある点が異なる（不図示）。
　また、変形例２に係るＰＴＬ情報符号化部２２２１は、実施例１に係るＰＴＬ情報符号化部２２２１と構成要素は同一であるため、説明を省略する。
　また、ＰＴＬ情報の符号化処理の流れも、実施例１に係るＰＬＴ情報の符号化処理の流れと同一であるため、説明を省略する。
　以上のように、変形例２に係る拡張ビデオパラメータセットＶＰＳのシンタックステーブルでは、図２３のシンタックスSYNVPS0Faに示す参照ＰＴＬ情報指定インデクス(profile_ref_delta_index_minus1[i])が削除され、参照ＰＴＬ指定情報指定インデクスの機能を、図２３上のシンタックスSYNVPS0Eに示すプロファイル有無フラグ(vps_profile_present_flag[i])が兼用している。すなわち、プロファイル有無フラグ(vps_profile_present_flag[i])の値が１の場合は、ｉ番目のＰＴＬ情報のプロファイル情報が符号化される。一方、プロファイル有無フラグの値が０の場合は、i番目のＰＴＬ情報のプロファイル情報には、i番目のＰＴＬ情報の直前に符号化された、(i-1)番目の符号化済ＰＴＬ情報のプロファイル情報と同一であるため、プロファイル情報の符号化を省略する。なお、予めエンコーダ側で、ＰＴＬ情報リスト上のＰＴＬ情報を、類似順に並び替えておくことで、ｉ番目のＰＴＬ情報は、直前のＰＴＬ情報を参照する確率を高めることができる。すなわち、vps_profile_present_flag[i]=0の場合、参照ＰＴＬ指定インデクス”profile_ref_delta_index_minus1[i]”を符号化せずに、参照ＰＴＬ指定インデクス”profile_ref_delta_index_minus1[i]==0”と推定しているとも解釈できる。これにより、相対インデクスに係る符号量をさらに削減することが可能である。
　　＜＜ＶＰＳ符号化部２２２の変形例３＞＞
　ＶＰＳ符号化部２２２の変形例３は、ＶＰＳ復号部１０２の変形例３に対応する逆処理である。
　変形例３に係るＶＰＳ符号化部２２２’とＶＰＳ符号化部２２２の構成の違いについて説明する。図４８に示すＶＰＳ符号化部２２２’’は、ＶＰＳ符号化部２２２が備える参照ＰＴＬ指定情報符号化２２２２を備えておらず、新たに、レベル有無フラグ符号化部２２２４’を備える。レベル有無フラグ符号化部２２２４’は、外部より入力された符号化対象ＰＴＬ情報のレベル有無フラグを符号化し、符号化データとして出力する。
　以下、変形例３におけるＰＴＬ情報符号化部２２２１の構成について図４９を用いて説明する。変形３に係るＰＴＬ情報符号化部２２２１は、実施例１に係るＰＴＬ情報符号化部２２２１に対して、レベル有無フラグの入力線が、レベル情報符号化部２２２１ｂ、及びサブレイヤレベル有無フラグ符号化部２２２１ｄに有る点を除き、その他の構成要素は同一であるため、説明を省略する。以下では、レベル情報符号化部２２２１ｂ、及びサブレイヤレベル有無フラグ符号化部２２２１ｄの機能の異なる点のみ説明する。
　[レベル情報符号化部２２２１ｂ]
　レベル情報符号化部２２２１ｂは、外部より供給される、レベル有無フラグlevelPresentFlagに基づいて、符号化対象ＰＴＬ情報のレベル情報(最高次サブレイヤのレベル情報、あるいは汎用レベル情報とも呼ぶ）を符号化し出力する。具体的には、レベル有無フラグlevelPresentFlagが１の場合、符号化対象ＰＴＬ情報のレベル情報を符号化する。レベル有無フラグlevelPresentFlagが０の場合、符号化対象ＰＴＬ情報のレベル情報が、符号化対象ＰＴＬ情報の1つ前に符号化した符号化済ＰＴＬ情報（（i-1）番目のＰＴＬ情報）のレベル情報と同一であるため、レベル情報の符号化を省略する。
　また、レベル情報符号化部２２２１ｂは、外部より供給される、レベル有無フラグlevelPresentFlag、サブレイヤ数MaxNumSubLayers、及び各サブレイヤのサブレイヤレベル有無フラグsub_layer_level_present_flag[i]に基づいて、最高次サブレイヤを除く、符号化対象ＰＴＬ情報の各サブレイヤのサブレイヤレベル情報を符号化し出力する。
　（レベル有無フラグが１の場合）
　レベル有無フラグが１の場合、実施例１に係るＰＴＬ情報符号化部２２２１が備えるレベル情報符号化部２２２１ｂの動作と同一であるため、詳細の説明を省略する。簡単にいえば、サブレイヤi（temporalId=i+1）のサブレイヤレベル有無フラグが１の場合、該サブレイヤiのレベル情報を符号化する。それ以外の場合は、サブレイヤiのレベル情報の符号化を省略する。なお、画像復号装置１と画像符号化装置２の間で、サブレイヤiのサブレイヤレベル有無フラグが０の場合における、レベル情報の設定方法を予め取り決めておいてもよい。例えば、例えば、符号化対象ＰＴＬ情報のサブレイヤ（i+1）のレベル情報を、サブレイヤiのレベル情報として設定する（図６３参照）。これにより、level_present_flag=0、かつ、sub_layer_level_present_flag[i]=0の場合において、サブレイヤのレベル情報が不定値になる課題を解消することができる。
　（レベル有無フラグが０の場合）
　サブレイヤi（temporalId=i+1）のサブレイヤレベル有無フラグが１の場合、該サブレイヤiのレベル情報を符号化する。それ以外の場合は、符号化対象ＰＴＬ情報のサブレイヤのiレベル情報が、符号化対象ＰＴＬ情報の1つ前に符号化された符号化済ＰＴＬ情報（（idx-1）番目のＰＴＬ情報）の対応するサブレイヤのレベル情報と同一であるため、レベル情報の符号化を省略する。ここで、idxは、ＰＴＬ情報リスト上の復号対象ＰＴＬ情報の位置を示すインデクスである。なお、サブレイヤのレベル情報の設定ルールは、図６４（ｂ）に示す通りである。
　　（プロファイル／レベル情報profile_tier_level()の符号化処理の流れ）
　以下、図３３を用いて、変形例３に係るＰＴＬ情報符号化部２２２１の動作を説明する。なお、図３３において、”復号”を”符号化”と置き換えて解釈する。また、図３３のうち、図３３のうち、図２１と動作が異なるステップＳＧ１０４、ＳＧ１０５、ＳＧ１０６、ＳＧ１１５、ＳＧ１１６、ＳＧ１１７のみ説明する。それ以外のステップは共通のため説明を省略する。また、符号化側では、ステップＳＧ１０３、ＳＧ１０６、ＳＧ１１４、及びＳＧ１１７の処理を実施しない。すなわち、ステップSG101の分岐でＮｏの場合、ステップSG104へ進む。また、ステップＳＧ１０４の分岐でＮｏの場合、ステップＳＧ１０７へ進む。また、ステップＳＧ１１２の分岐でＮｏの場合、ステップSG115へ進む。また、ステップＳＧ１１５の分岐でＮＯの場合、ステップＳＧ１１８へ進む。
　　　（ステップＳＧ１０４）レベル情報符号化部２２２１ｂは、レベル有無フラグlevelPresentFlagが１であるか判別する。レベル有無フラグlevelPresentFlagが１の場合（ステップＳＧ１０４においてＹｅｓ）の場合、ステップＳＧ１０５へ進み、それ以外の場合（ステップＳＧ１０４においてＮｏ）の場合、ステップＳＧ１０７へ進む。
　　　（ステップＳＧ１０５）レベル情報符号化部２２２１ｂは、符号化対象ＰＴＬ情報のレベル情報として、以下のシンタックス、
・レベル識別子general_level_idc
を符号化する。
　　　（ステップＳＧ１１５）
　レベル情報符号化部２２２１ｂは、変数iで指定されるサブレイヤのサブレイヤレベル有無フラグsub_layer_level_present_flag[i]が１であるかを判定する。サブレイヤレベル有無フラグが１の場合（ステップＳＧ１１５においてＹｅｓ）、ステップＳＧ１１６へ進み、それ以外の場合（ステップＳＧ１１５においてＮｏ）、ステップＳＧ１１８へ進む。
　　　（ステップＳＧ１１６）
　レベル情報符号化部２２２１ｂは、変数ｉで指定されるサブレイヤのサブレイヤレベル情報として、
・サブレイヤレベル識別子sub_layer_level_idc[ i ]
を符号化する。
　以上、変形例３に係るＰＴＬ情報符号化部２２２１の動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。
　以上のように、変形例３に係る拡張ビデオパラメータセットＶＰＳのシンタックステーブルでは、図２３のシンタックスSYNVPS0Fに示す参照ＰＴＬ情報指定インデクス(profile_ref_delta idx_minus1[i])が削除され、参照ＰＴＬ指定情報指定インデクスの機能を、図２９上のシンタックスSYNVPS0Eに示すプロファイル有無フラグ(vps_profile_present_flag[i])、及びレベル有無フラグ(vps_level_present_flag[i])が兼用している。すなわち、プロファイル有無フラグ(vps_profile_present_flag[i])の値が１の場合は、i番目のＰＴＬ情報のプロファイル情報が符号化される。一方、プロファイル有無フラグの値が０の場合は、i番目のＰＴＬ情報のプロファイル情報は、i番目のＰＴＬ情報の直前に符号化された、(i-1)番目の符号化済ＰＴＬ情報のプロファイル情報と同一であるため、符号化を省略する。また、レベル有無フラグ(vps_level_present_flag[i])の値が１の場合は、i番目のPTL情報のレベル情報が符号化される。一方、レベル有無フラグの値が０の場合は、i番目のＰＴＬ情報のレベル情報には、i番目のＰＴＬ情報の直前に符号化された、(i-1)番目の符号化済ＰＴＬ情報のレベル情報と同一であるため、符号化を省略する。なお、予めエンコーダ側で、ＰＴＬ情報リスト上のＰＴＬ情報を、類似順に並び替えておくことで、ｉ番目のＰＴＬ情報は、直前のＰＴＬ情報を参照する確率を高めることができる。すなわち、vps_profile_present_flag[i]=0、または、vps_level_present_flag[i]=0の場合、参照ＰＴＬ指定インデクス”profile_ref_delta_index_minus1[i]”を符号化せずに、参照ＰＴＬ指定インデクス”profile_ref_delta_index_minus1[i]==0”と推定しているとも解釈できる。これにより、相対インデクスに係る符号量をさらに削減することが可能である。さらに、変形例３は、実施例１と同様に、符号化対象ＰＴＬ情報のプロファイル情報、及びレベル情報の冗長性を低減させる効果を奏する。
　　＜＜ＶＰＳ符号化部２２２の変形例３a＞＞
　ＶＰＳ符号化部２２２の変形例３ａは、ＶＰＳ復号部２０２の変形３ａに対応する逆処理である。上記変形３は、次のようにも構成を変更することが可能である。すなわち、プロファイル有無フラグprofilePresentFlag、及びレベル有無フラグlevelPresentFlagをプロファイル情報とレベル情報の有無を表わすプロファイルレベル有無フラグProfileLevelPresentFlagへ置き換える。
　以下、変形例３aにおけるＰＬＴ情報符号化部２２２１の構成について図４９を代用して説明する。変形例３aに係るＰＴＬ情報符号化部２２２１は、変形例３に係るＰＴＬ情報復号部２２２１における、プロファイル有無フラグprofilePresentFlag、及びレベル有無フラグlevelPresentFlagの入力値を除いて、構成、及び動作は同一である。図４９では、プロファイル有無フラグprofilePresentFlag、及びレベル有無フラグlevelPresentFlagの配線があるが、変形例３ａでは、プロファイルレベル有無フラグprofileLevelPresentFlagが０の場合には、図４９のprofilePresentFlag、及びlevelPresentFlagを０として入力する。また、プロファイルレベル有無フラグprofileLevelPresentFlagが１の場合には、図４９のprofilePresentFlag、及びlevelPresentFlagを１として入力する。なお、この変更により、既存のＨＥＶＣのＶＰＳの先頭に位置するＰＴＬ情報、及び、ベースレイヤで通知されるＳＰＳ上のＰＴＬ情報のシンタックステーブルに変更はない。すなわち、既存のＨＥＶＣデコーダによって、ＶＰＳ、ＳＰＳ上のＰＴＬ情報が復号できないということは発生しない。
　以上、変形３aは、変形３と同様の効果を奏する。さらに、変形例３に対して、プロファイル有無フラグとレベル有無フラグを１つにまとめて、プロファイル情報とレベル情報の有無を示すプロファイルレベル有無フラグとすることで、追加的なフラグ（変形３であれば、レベル有無フラグ）に係る符号量を削減することが可能である。
　　＜＜ＶＰＳ符号化部２２２の変形例４＞＞
　次に図６５、図６７を用いて、ＶＰＳ符号化部２０２の変形例４について説明する。ＶＰＳ符号化部２０２の変形４は、ＶＰＳ復号部１０２の変形例４に対応する逆処理である。なお、変形例４に係るＶＰＳ拡張データのシンタクステーブルにつては、ＶＰＳ復号部１０２の変形例４において、既に説明済であるため省略するが、同様の効果を奏する。
　　（ＶＰＳ符号化部２２２’’’の構成）
　図４７を参照して、変形例４に係るＶＰＳ符号化部２２２’’’の構成について説明する。ＶＰＳ符号化部２２２’’’は、実施例１に係るＶＰＳ符号化部２２２の備えるＰＴＬ情報符号化部２２２１、参照ＰＴＬ情報符号化部２２２２、及びプロファイル有無フラグ符号化部２２２３と同一の構成要素に加え、さらに、バイトアラインデータ符号化部２０２４（不図示）を含んで備える。なお、以下では、バイトアラインデータ符号化部２２２４についてのみ説明する。
　ＶＰＳ符号化部２２２’’’の備えるバイトアラインデータ符号化部２２２４は、ＶＰＳ拡張データvps_extension()に含まれる、バイトアラインを調整するために挿入されるデータ、バイトアラインデータを符号化する。例えば、vps_alignment_bit_equal_to_one(図６５上のSYNVPS0G)や、reserved_zero_1bits[i](図６５上のSYNVPS0K)
である。
　　＜ＶＰＳ拡張データの詳細な符号化プロセス（変形例４）＞
　図６７を用いて、ＶＰＳ符号化部２２２’’’のＶＰＳ拡張データの符号化プロセスについて説明する。
　（ステップＳＪ１０１）ＶＰＳ符号化部２２２’’’は、図６５上のシンタックス群SYNVPS0Aを符号化する。
　（ステップＳＪ１０２）ＶＰＳ符号化部２２２’’’は、図６５上のSYNVPS0Eに示すＰＴＬ情報リストまでのバイトオフセット情報(vps_ptl_info_offset)を符号化する。
　（ステップＳＪ１０３）ＶＰＳ符号化部２２２’’’は、図６５上のSYNVPS0Fに示すスケーラビリティマスクフラグを符号化する。
・・・省略・・・
　（ステップＳＪ１０４）ＶＰＳ符号化部２２２’’’の備えるバイトアラインデータ符号化部２２２４は、図６５上のSYNVPS0Gに示す所定の判定式に基づいて、バイトアラインデータ(vps_alignment_bit_equal_to_one)を1ビット単位で符号化する。
　（ステップＳＪ１０５）ＶＰＳ符号化部２２２’’’は、図６５上のSYNVPS0Hに示すレイヤセット数を符号化する。
　（ステップＳＪ１０６）ＶＰＳ符号化部２２２’’’は、図６５上のSYNVPS0Iに示すＰＴＬ情報数を符号化する。
　（ステップＳＪ１０７）ＶＰＳ符号化部２２２’’’に含まれるプロファイル有無フラグ復号部１０２３は、図６５上のSYNVPS0Jに示すプロファイル有無フラグを”ＰＴＬ情報数-1”個符号化する。
　（ステップＳＪ１０８）ＶＰＳ符号化部２２２’’’の備えるバイトアラインデータ符号化部２２２４は、図６５上のSYNVPS0Kに示すバイトアラインデータ(reserved_zero_bit[i])を符号化する。符号化するバイトアラインデータのビット数は、Ｖ＝{ 8 - { { (vps_num_profile_tier_level_minus1 + 1) % 8 } % 8 } }である。
　（ステップＳＪ１０９）ＶＰＳ上に含まれるＰＴＬ情報の符号化プロセスのループ開始点である。
　（ステップＳＪ１１０）プロファイル有無フラグが０の場合は、ｉ番目のＰＴＬ情報上にプロファイル情報を示すシンタックス群がないと判定し、ステップＳＪ１１２へ進む。プロファイル有無フラグが１の場合は、ｉ番目のＰＴＬ情報上にプロファイル情報を示すシンタックス群がある判定し、ステップＳＪ１１１へ進む。
　（ステップＳＪ１１１）プロファイル有無フラグが０の場合、ＶＰＳ符号化部２２２’’’に含まれる参照ＰＴＬ指定情報符号化部２２２２は、ｉ番目のＰＴＬ情報のプロファイル情報をＰＴＬ情報リスト上のいずれのＰＴＬ情報から参照するかを示す参照ＰＴＬ情報指定インデクス”profile_ref_minus1[i]”(図６５上のSYNVPS0L)を符号化する。参照ＰＴＬ情報指定インデクス“profile_ref_ minus1[i]”は、参照先のＰＴＬ情報の位置を表す。すなわち、ｉ番目のＰＴＬ情報は、j = (profile_ref_ minus1[i] +1 )で特定される、ｊ番目のＰＴＬ情報をプロファイル情報と同一である。
　（ステップＳＪ１１２）ＶＰＳ符号化部２２２’’’に含まれるＰＴＬ情報符号化部２２２１は、プロファイル有無フラグ、参照ＰＴＬ指定インデクス、サブレイヤ数を入力として、ｉ番目のＰＴＬ情報のプロファイル、及びレベル情報を符号化する。ＰＴＬ情報符号化部２２２１の詳細については説明済みのため省略する。
　（ステップＳＪ１１３）ＶＰＳ上に含まれるＰＴＬ情報の符号化プロセスのループ終端である。
　（ステップＳＪ１１４）ＶＰＳ符号化部２２２’’’は、その他のシンタックスを符号化する。
　以上、変形例４に係るＶＰＳ符号化部２２２’’’のの動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。
　　＜＜ＶＰＳ符号化部２２２の変形例４a＞＞
　続いて、図６８、図７０を用いて、ＶＰＳ符号化部２２２の変形例４ａについて説明する。ＶＰＳ符号化部２０２の変形例４ａは、ＶＰＳ復号部１０２の変形例４ａに対応する逆処理である。なお、変形例４aに係るＶＰＳ拡張データのシンタクステーブルにつては、ＶＰＳ復号部１０２の変形例４aにおいて、既に説明済であるため省略するが、同様の効果を奏する。
　　（ＶＰＳ符号化部２２２’’’aの構成）
　変形例４aに係るＶＰＳ符号化部２２２’’’aの構成について説明する。ＶＰＳ符号化部２２２’’’aは、変形例２に係るＶＰＳ符号化部２２２’の備えるＰＴＬ情報符号化部２２２１’、及びプロファイル有無フラグ符号化部２２２３’と同一の構成要素に加えて、さらに、バイトアラインデータ符号化部２２２４（不図示）を含んで備える。同一の構成要素である、ＰＴＬ情報符号化部２２２１’、及びプロファイル有無フラグ符号化部２２２３’の説明は省略する。また、バイトアラインデータ符号化部２２２４は、変形例４に係るＶＰＳ符号化部２２２’’’の備えるバイトアラインデータ符号化部２２２２４と同一の構成要素であるため、説明を省略する。
　　＜ＶＰＳ拡張データの詳細な符号化プロセス（変形例４a）＞
　図７０を用いて、ＶＰＳ符号化部２２２’’’aのＶＰＳ拡張データの符号化プロセスについて説明する。なお、ＶＰＳ符号化部２２２’’’aのＶＰＳ拡張データの符号化プロセスでは、図７０上のステップＳＬ１１０（プロファイル有無フラグの値に基づく分岐判定、及び分岐に基づく遷移）、ステップＳＬ１１１（参照ＰＴＬ情報指定インデクスprofile_ref_minus1[i]の符号化）が省略されている点が異なり、それ以外の動作は同一であるため、説明を省略する。
　以上、変形例４aに係るＶＰＳ符号化部２２２’’’aの動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。
　以上のように、プロファイル／レベル情報符号化部が符号化するプロファイル／レベル情報において、１番目のプロファイル／レベル情報のプロファイルおよびティアの情報が、０番目のプロファイル／レベル情報に基づいて推定可能となるように、参照ＰＴＬ情報指定インデクスが参照プロファイルに変更されていてもよい。
　また、プロファイル／レベル情報符号化部が符号化するプロファイル／レベル情報において、参照ＰＴＬ情報指定インデクスに代えて、ＶＰＳプロファイル有無フラグが含まれていてもよい。
　また、プロファイル／レベル情報符号化部は、ｉ番目のサブレイヤに対するレベルの情報が提示されない場合、該レベルは、（ｉ＋１）番目のサブレイヤのレベルと、レベルの識別子のレベルとのうち小さい方に等しい、と推定するように符号化してもよい。
　また、プロファイル／レベル情報には、ＶＰＳレベル有無フラグが付加されており、プロファイル／レベル情報符号化部は、ＶＰＳレベル有無フラグが「０」に等しい場合、ｉ番目のプロファイル／レベル情報のレベルの情報を、それ以前のプロファイル／レベル情報のレベルの情報から導出できるように符号化してもよい。
　（付記事項）
　なお、レイヤセットに適用されるＰＴＬ情報のプロファイル情報、及びレベル情報には、レイヤセットを構成する全レイヤ、及び各レイヤに付随するサブレイヤを復号するの必要な最大のプロファイル情報、及びレベル情報が設定される。また、サブレイヤのプロファイル情報、及びレベル情報に関しても、レイヤセット内の全レイヤの特定のテンポラルＩＤ以下のサブレイヤを復号するに必要な最大のプロファイル情報、及びレベル情報が設定される。
　また、レイヤセットＡ｛レイヤＩＤリスト｛L#0,L#1,L#2｝,HighestTid=3｝と、レイヤセットＡのサブセットとなるレイヤセットＢ｛レイヤＩＤリスト{L#0,L#1}, HighestTid=2｝に適用される各ＰＴＬ情報（ＰＴＬ情報Ａ、ＰＴＬ情報Ｂとする）では、下位レイヤセット（レイヤセットＢ）のＰＴＬ情報Ｂのプロファイル情報、及びレベル情報は、上位レイヤセット（レイヤセットＡ）のＰＴＬ情報Ａの下位互換であるようにする。すなわち、以下の制約が少なくともある。
・下位レイヤセットＢのプロファイル空間の値≦上位レイヤセットＡのプロファイル空間の値
・下位レイヤセットＢのプロファイル識別子の値≦上位レイヤセットＡのプロファイル識別子の値
・下位レイヤセットＢのティアフラグの値≦上位レイヤセットＡのティアフラグの値
・上位レイヤセットＡのプロファイル互換フラグには、下位レイヤセットＢのプロファイル識別子に該当するプロファイル互換フラグの値が１である（すなわち、レイヤセットＡは、レイヤセットＢの上位互換である）。レイヤセットＢのプロファイル識別子を例えば“LayerSetBProfileIdc”とし、レイヤセットＡのプロファイル互換フラグを”LayerSetA’s general_compatibility_flag[i]”とすれば、”LayerSetA’s general_compatibility_flag[“LayerSetBProfileIdc”]= 1”と設定される。
・上位レイヤセットＡのレベル識別子の値≧下位レイヤセットＢのレベル識別子の値
　同様の制約が、サブレイヤのプロファイル情報、及びレベル情報にも適用される。すなわち、“下位レイヤセットＢ”を“下位レイヤセットＢのサブレイヤ(temporalId=i)”と読み替え、また、“上位レイヤセットＡ”を“上位レイヤセットＡのサブレイヤ(temporalId=i)”と読み替えて解釈すればよい。
　上記の制約を課すことのメリットについて、以下説明する。従来技術（非特許文献１～３）では、上位レイヤセットＡのサブセットであるレイヤセットＢにそれぞれ適用されるＰＴＬ情報（プロファイル情報、及びレベル情報、及びサブレイヤのサブレイヤプロファイル情報およびサブレイヤレベル情報）との間に制約がないため、画像復号装置の実装負荷が高い（画像復号装置の複雑度が増大する）という問題がある。
　例えば、図２において、レイヤセットＡ｛｛レイヤＩＤリスト｛L#0,L#1,L#2｝,HighestTid=3｝の各レイヤL#Nのプロファイルが次のように、
　レイヤL#2のプロファイル:"scalable main profile"、
　レイヤL#1のプロファイル:"scalable high profile"、
　レイヤL#0のプロファイル:"main profile"、
と３種類のプロファイルの設定で符号化されたものと仮定する。ここで、"scalable highprofile"は、"scalable main profile"、及び”main profile”の符号化ツールを全てサポートする上位のスケーラブルプロファイルであり、"scalable main profile"は、"mainprofile"の符号化ツールを全てサポートする上位のスケーラブルプロファイルであり,
“main profile”は、非特許文献１で記載されている、ＨＥＶＣの“main profile”を表わすものとする。すなわち、プロファイルの関係は、"main profile" ＜ "scalable mainprofile" ＜ "scalable high profile"となる。
　上記例の場合、プロファイル"scalable high profile"をサポートする画像復号装置では、レイヤセットＡ内の全レイヤ（L#0,L#1,L#2）を復号することが可能である。すなわち、レイヤセットＡを完全に復号することができる。しかし、プロファイル"scalable main profile"をサポートする画像復号装置では、仮に、レイヤセットＡのサブセット（レイヤセットＢ）を抽出したビットストリームの復号を試みても、下位レイヤ(L#1)のプロファイルが上位レイヤ(L#2)のプロファイルと互換がないため、レイヤL#2の復号時に依存する下位レイヤ(L#1)および、上位レイヤL#2を復号できず、下位プロファイル"main profile"である基本レイヤL#0しか復号することができない。すなわち、画像符号化装置側において、下位レイヤのプロファイルが、上位レイヤのプロファイルと互換のないプロファイルを不連続に設定した符号化データが生成される可能性がある。そのため、画像復号装置側において、その符号化データを復号する場合には、復号対象レイヤが依存する下位レイヤを復号できず、結果として、レイヤのスケーラビリティやサブレイヤのスケーラビリティの粒度が粗くなるという課題がある。
　また、画像復号装置側において、上記のような符号化データに対して柔軟にスケーラビリティを実現できるようするには、複数のプロファイルをサポートするように実装する必要があり、画像復号装置の複雑度が増大するという課題がある。
　同様に、レベル／ティアに関しても、レイヤセット間のレベル／ティアとの間に制約がないことにより、上記プロファイル制約がない場合と同様の問題が発生する。すなわち、画像符号化装置側で、下位レイヤのレベルおよびティアが、上位レイヤのレベルおよびティアと互換のないレベルおよびティアを不連続に設定した符号化データが生成される可能性があり、画像復号装置側において、レイヤのスケーラビリティやサブレイヤのスケーラビリティの粒度が粗くなり、柔軟性が損なわれるという課題が発生する。また、画像復号装置側において、上記のような符号化データに対して柔軟にスケーラビリティを実現できるようするには、複数のレベルおよびティアをサポートするように実装する必要があり、画像復号装置の複雑度が増大するという課題がある。
　そこで、上記課題を解決するため、包含関係にあるレイヤセット間では、以下の制約を課すことが好ましい。
　（１－１）下位レイヤセットＢのプロファイル空間の値≦上位レイヤセットＡのプロファイル空間の値
　（１－２）下位レイヤセットＢのプロファイル識別子の値≦上位レイヤセットＡのプロファイル識別子の値
　（１－３）下位レイヤセットＢのティアフラグの値≦上位レイヤセットＡのティアフラグの値
　（１－４）上位レイヤセットＡのプロファイル互換フラグには、下位レイヤセットＢのプロファイル識別子に該当するプロファイル互換フラグの値が１である（すなわち、レイヤセットＡは、レイヤセットＢの上位互換である）。レイヤセットＢのプロファイル識別子を例えば、
“LayerSetBProfileIdc”とし、レイヤセットＡのプロファイル互換フラグを”LayerSetA’s general_profile_compatibility_flag[i]”とすれば、”LayerSetA’s general_profile_compatibility_flag[“LayerSetBProfileIdc”]= 1”と設定される。
　（１－５）上位レイヤセットＡのレベル識別子の値≧下位レイヤセットＢのレベル識別子の値
　また、同一のレイヤセット内の各レイヤに対しても以下の制約を課すことが好ましい。（２－１）下位レイヤL#Nのプロファイル空間の値≦上位レイヤL#(N+1)のプロファイル空間の値
　（２－２）下位レイヤL#Nのプロファイル識別子の値≦上位レイヤL#(N+1)のプロファイル識別子の値
　（２－３）下位レイヤL#Nのティアフラグの値≦上位レイヤL#Nのティアフラグの値
　（２－４）下位レイヤL#Nのレベル識別子の値≦上位レイヤL#Nのレベル識別子の値
　また、同一レイヤ(L#N)のサブレイヤ（サブレイヤNを、SL#Nと表記する）に対しても以下の制約を課すことが好ましい。
　（３－１）下位サブレイヤSL#Nのプロファイル空間の値≦上位サブレイヤSL#(N+1)のプロファイル空間の値
　（３－２）下位サブレイヤSL#Nのプロファイル識別子の値≦上位サブレイヤSL#(N+1)のプロファイル識別子の値
　（３－３）下位サブレイヤSL#Nのティアフラグの値≦上位サブレイヤSL#(N+1)のティアフラグの値
　（３－４）上位サブレイヤSL#(N+1)のプロファイル互換フラグには、下位サブレイヤSL#Nのプロファイル識別子に該当するプロファイル互換フラグの値が１である（すなわち、サブレイヤSL#(N+1)は、サブレイヤSL#Nの上位互換である）。サブレイヤSL#Nのプロファイル識別子を例えば、
“sub_layer_profile_idc[N]”とし、サブレイヤSL#(N+1)のプロファイル互換フラグを”sub_layer_profile_compatibility_flag[N+1][j]”とすれば、”sub_layer_profile_compatibility_flag[N+1][ sub_layer_profile_idc[N] ]= 1”と設定される。
　（３－５）上位サブレイヤSL#(N+1)のレベル識別子の値≧下位サブレイヤSL#Nのレベル識別子の値。
　以上、画像復号装置側と画像符号化装置側において上記プロファイル、及びレベルの制約を予め設けることで、下位レイヤのプロファイル／レベルと、上位レイヤのプロファイル／レベルと互換のないプロファイル／レベルを不連続に設定した符号化データが生成されることを防止する効果を奏する。また、画像復号装置が対応すべきプロファイル／レベルを必要最小限に抑制することができるため画像復号装置の複雑度を軽減する効果を奏する。
　また、上記包含関係にあるレイヤセット間のプロファイル及びレベルに関する上記制約を実施するか否かを表わすシンタックス（プロファイル／レベル制約フラグ"profile_level_restrict_flag"）をVPS拡張データ上の各ＰＴＬ情報の直前で明示的に、ＶＰＳ復号部１０２及びＶＰＳ符号化部２２２（また、それれらの変形例を含む）により、それぞれ復号／符号化してもよい。上記と同様の効果に加えて、画像復号装置はＶＰＳ拡張データ上のＰＴＬ情報を復号する前に、ＶＰＳまたはＳＰＳ上で早期に各レイヤでのプロファイル／レベル制約の有無を容易に判定することができる効果を奏する。同様に、プロファイル、レベルに制約の有無示すフラグを設けてもよい。
　（他の階層動画像符号化／復号システムへの適用例）
　上述した階層動画像符号化装置２及び階層動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用できる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。
　図５０に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の送信および受信に利用できることを説明する。図５０の（ａ）は、階層動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。
　図５０の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３とを備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。
　送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図５０の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。
　なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。
　図５０の（ｂ）は、階層動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図５０の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３とを備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。
　受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図５０の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。
　なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
　なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
　例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。
　また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
　なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。
　図５１に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の記録および再生に利用できることを説明する。図５１の（ａ）は、上述した階層動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。
　図５１の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。
　なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリ等のように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray（登録商標） Disc）等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
　また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図５１の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。
　なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
　このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。
　図５１の（ｂ）は、上述した階層動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図５１の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。
　なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
　また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図５１の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。
　なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
　このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。
　（ハードウェア的実現およびソフトウェア的実現について）
　最後に、階層動画像復号装置１、階層動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
　後者の場合、上記各装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（Micro Processing Unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ－ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯ（Magneto-Optical）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disk）／ＣＤ－Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-only Memory）／ＥＥＰＲＯＭ（登録商標）（ElectricallyErasable and Programmable Read-only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
　また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric DigitalSubscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（登録商標）（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る画像復号装置は、階層符号化データを復号する画像復号装置であって、ＰＴＬ情報リスト中のＰＴＬ情報内のプロファイル情報の有無を示すプロファイル有無フラグを復号するプロファイル有無フラグ復号手段とＰＴＬ情報を復号するＰＴＬ情報復号手段とを備え、上記ＰＴＬ情報復号手段は、上記プロファイル有無フラグが１の場合、符号化データより、上記ＰＴＬ情報のプロファイル情報を復号し、上記プロファイル情報有無フラグが０の場合、上記ＰＴＬ情報内のプロファイル情報を、１つ前に復号されたＰＴＬ情報のプロファイル情報と等しいと推定する
構成である。
　上記の構成によれば、プロファイル有無フラグの値に基づいて、ＰＴＬ情報のプロファイル情報を復号するか、１つ前に復号されたＰＴＬ情報のプロファイル情報から推定するかを決定できるようになる。
　本発明の態様２に係る画像復号装置は、上記態様１において、各サブレイヤプロファイル情報の有無を示すサブレイヤプロファイル有無フラグを復号するサブレイヤプロファイル有無フラグ復号手段を備え、上記ＰＴＬ情報復号手段は、上記各サブレイヤのサブレイヤプロファイル情報有無フラグが１の場合、符号化データより、各サブレイヤのサブレイヤプロファイル情報を復号し、上記各サブレイヤプロファイル情報有無フラグが０の場合、上記各ＰＴＬ情報に含まれる各サブレイヤプロファイル情報を、１つ前に復号されたＰＴＬ情報に含まれる対応する各サブレイヤプロファイル情報と等しいと推定することが追加されている。
　上記の構成によれば、サブレイヤプロファイル有無フラグの値に基づいて、各サブレイヤのサブレイヤプロファイル情報を復号するか、１つ前に復号されたＰＴＬ情報に含まれる対応する各サブレイヤプロファイル情報と等しいと推定するかを決定する。
　本発明の態様３に係る画像復号装置は、上記態様１において、各サブレイヤレベル情報の有無を示すサブレイヤレベル有無フラグを復号するサブレイヤレベル情報有無フラグ復号手段を備え、上記ＰＴＬ情報復号手段は、上記各サブレイヤのサブレイヤレベル情報有無フラグが１の場合、符号化データより、各サブレイヤのサブレイヤレベル情報を復号し、上記サブレイヤレベル情報有無フラグが０の場合、上記ＰＴＬ情報に含まれる各サブレイヤレベル情報を、１つ前に復号されたＰＴＬ情報に含まれる対応する各サブレイヤレベル情報と等しいと推定することが追加されている。
　上記の構成によれば、サブレイヤレベル有無フラグの値に基づいて、各サブレイヤのサブレイヤレベル情報を復号するか、１つ前に復号されたＰＴＬ情報に含まれる対応する各サブレイヤレベル情報と等しいと推定するかを決定することができる。。
　本発明の態様４に係る画像復号装置は、上記態様１から３において、上記プロファイル情報には、少なくとも、プロファイル空間、ティアフラグ、プロファイル識別子、及びプロファイル互換フラグを含んでも良い。
　上記の構成によれば、少なくとも、プロファイル空間、ティアフラグ、プロファイル識別子、及びプロファイル互換フラグを含むプロファイル情報を復号、もしくは推定によって取得することができる。
　本発明の態様５に係る画像復号装置は、上記態様２または４において、上記サブレイヤプロファイル情報には、少なくとも、サブレイヤプロファイル空間、サブレイヤティアフラグ、サブレイヤプロファイル識別子、及びサブレイヤプロファイル互換フラグを含んでもよい。
　上記の構成によれば、少なくとも、サブレイヤプロファイル空間、サブレイヤティアフラグ、サブレイヤプロファイル識別子、及びサブレイヤプロファイル互換フラグを含むサブレイヤプロファイル情報を復号、もしくは推定により取得することができる。
　本発明の態様６に係る画像復号装置は、上記態様２において、上記ＰＴＬ情報に関するプロファイル有無フラグが０の場合、上記ＰＴＬ情報に含まれる各サブレイヤに関するサブレイヤプロファイル有無フラグの値を０としても良い。
　上記の構成によれば、プロファイル有無フラグが０の場合には、上記ＰＴＬ情報に含まれる各サブレイヤに関するサブレイヤプロファイル有無フラグの値は０とすることができる。
　本発明の態様７に係る画像復号方法は、階層符号化データを復号する画像復号方法であって、ＰＴＬ情報リスト中のＰＴＬ情報内のプロファイル情報の有無を示すプロファイル有無フラグを復号するプロファイル有無フラグ復号ステップとＰＴＬ情報を復号するＰＴＬ情報復号ステップを備え、上記ＰＴＬ情報復号ステップは、上記プロファイル有無フラグが１の場合、符号化データより、上記ＰＴＬ情報のプロファイル情報を復号し、上記プロファイル情報有無フラグが０の場合、上記ＰＴＬ情報内のプロファイル情報を、１つ前に復号されたＰＴＬ情報のプロファイル情報と等しいと推定する。
　上記の構成によれば、プロファイル有無フラグの値に基づいて、ＰＴＬ情報のプロファイル情報を復号するか、１つ前に復号されたＰＴＬ情報のプロファイル情報から推定するかを決定できるようになる。
　本発明の態様８に係る画像符号化装置は、画像データを階層的に符号化して階層符号化データを生成する画像符号化装置であって、上記階層符号化データのプロファイルを示すＰＴＬ情報を符号化するＰＴＬ情報符号化部を備え、上記ＰＴＬ情報符号化部は、上記ＰＴＬ情報符号化部は、上記ＰＴＬ情報にプロファイル情報を符号化する場合に、プロファイル有無フラグの値を１として符号化し、上記ＰＴＬ情報内のプロファイル情報を、１つ前に符号化したＰＴＬ情報のプロファイル情報と等しいと推定する場合に、プロファイル有無フラグの値を０として符号化する構成である。
　上記の構成によれば、ＰＴＬ情報のプロファイル情報を符号化するか、１つ前に符号化したＰＴＬ情報のプロファイル情報と等しいと推定して符号化するかに応じて、プロファイル有無フラグの値を設定して符号化できる。
　本発明の態様９に係る画像符号化方法は、画像データを階層的に符号化して階層符号化データを生成する画像符号化方法であって、上記階層符号化データのプロファイルを示すＰＴＬ情報を符号化するＰＴＬ情報符号化ステップを備え、上記ＰＴＬ情報符号化ステップは、上記ＰＴＬ情報にプロファイル情報を符号化する場合にプロファイル有無フラグの値を１として符号化し、上記ＰＴＬ情報内のプロファイル情報を、１つ前に符号化したＰＴＬ情報のプロファイル情報と等しいと推定する場合に、プロファイル有無フラグの値を０として符号化する。
　上記の構成によれば、ＰＴＬ情報のプロファイル情報を符号化するか、１つ前に符号化したＰＴＬ情報のプロファイル情報と等しいと推定して符号化するかに応じて、プロファイル有無フラグの値を設定して符号化できる。
　〔本発明の他の態様〕
　本発明の他の態様１に係る画像復号装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、上記階層符号化データのプロファイルを示すプロファイル／レベル情報を復号するプロファイル／レベル情報復号部を備え、上記プロファイル／レベル情報復号部は、上記プロファイル／レベル情報におけるｉ番目の参照ＰＴＬ情報指定インデクスのセマンティックを、当該ｉ番目の参照ＰＴＬ情報指定インデクスが、ｉ番目のプロファイル／レベル情報と参照されるプロファイル／レベル情報との間の相対的な位置を指定するものとして取り扱う構成である。
　上記の構成によれば、１番目のプロファイル／レベル情報のプロファイルおよびティアの情報を、０番目のプロファイル／レベル情報から推定することができるようになる。
　本発明の他の態様２に係る画像復号装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、上記階層符号化データのプロファイルを示すプロファイル／レベル情報を復号するプロファイル／レベル情報復号部を備え、上記プロファイル／レベル情報復号部が復号する上記プロファイル／レベル情報において、１番目のプロファイル／レベル情報のプロファイルおよびティアの情報が、０番目のプロファイル／レベル情報に基づいて推定可能となるように、参照ＰＴＬ情報指定インデクスが参照プロファイルに変更されている。
　上記の構成によれば、ｉ番目の参照ＰＴＬ情報指定インデクスが符号化されているので、ビットを抑制することができる。
　本発明の他の態様３に係る画像復号装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、上記階層符号化データのプロファイルを示すプロファイル／レベル情報を復号するプロファイル／レベル情報復号部を備え、上記プロファイル／レベル情報復号部が復号する上記プロファイル／レベル情報において、参照ＰＴＬ情報指定インデクスに代えて、ＶＰＳプロファイル有無フラグが含まれているものであってもよい。
　上記の構成によれば、i番目のプロファイル／レベル情報のプロファイルおよびティアの情報を、（ｉ－１）番目のプロファイル／レベル情報から推定することができるようになるので、ビットを抑制することができる。
　本発明の他の態様４に係る画像復号装置は、上記他の態様１または２において、上記プロファイル／レベル情報復号部は、ｉ番目のサブレイヤに対するレベルの情報が提示されていない場合、該レベルは、（ｉ＋１）番目のサブレイヤのレベルと、レベルの識別子のレベルとのうち小さい方に等しい、と推定するものであってもよい。
　上記の構成によれば、ｉ番目のサブレイヤのレベルの情報がプロファイル／レベル情報中に存在しない場合の、ｉ番目のサブレイヤのレベルの扱い方が明確になるので、テンポラルＩＤが１に等しいサブレイヤの表示について未定義であることを回避することができる。
　本発明の他の態様５に係る画像復号装置は、上記他の態様１または２において、上記プロファイル／レベル情報復号部は、ｉ番目のサブレイヤのサブレイヤプロファイル有無フラグが１の場合、該サブレイヤのプロファイル情報は対象レイヤの符号化データ内に存在すると判断し、該符号化データに基づいて該サブレイヤのサブレイヤプロファイル情報を復号するものであってもよい。
　上記の構成によれば、プロファイル有無フラグが１で、かつ、サブレイヤプロファイル有無フラグが０の場合においても、サブレイヤのプロファイル情報が不定となる事態を解消することができる。
　本発明の他の態様６に係る画像復号装置は、上記他の態様１または２において、上記プロファイル／レベル情報復号部は、対象レイヤの符号化データに基づいて最高次サブレイヤのレベル情報を復号し、該最高次サブレイヤを除く各サブレイヤのサブレイヤレベル情報について、ｉ番目のサブレイヤのサブレイヤレベル有無フラグが１の場合、該サブレイヤのレベル情報は対象レイヤの符号化データ内に存在すると判断し、該符号化データに基づいて該サブレイヤのサブレイヤレベル情報を復号し、ｉ番目のサブレイヤのサブレイヤレベル有無フラグが０の場合、該サブレイヤのサブレイヤレベル情報に、所定のレベル情報を設定するものであってもよい。
　上記の構成によれば、サブレイヤレベル有無フラグが０の場合においても、サブレイヤのレベル情報が不定となる事態を解消することができる。
　本発明の他の態様７に係る画像復号装置は、上記他の態様１または２において、上記プロファイル／レベル情報復号部は、レベル有無フラグが１であり、かつ、ｉ番目のサブレイヤのサブレイヤレベル有無フラグが１である場合、該サブレイヤのレベル情報は、対象レイヤの符号化データ内に存在すると判断し、該符号化データに基づいて該サブレイヤのサブレイヤレベル情報を復号し、レベル有無フラグが１であり、かつ、ｉ番目のサブレイヤのサブレイヤレベル有無フラグが０である場合、該サブレイヤのサブレイヤレベル情報に所定のレベル情報を設定し、レベル有無フラグが０であり、かつ、ｉ番目のサブレイヤのサブレイヤレベル有無フラグが１である場合、該サブレイヤのレベル情報は、対象レイヤの符号化データ内に存在すると判断し、該符号化データに基づいて該サブレイヤのサブレイヤレベル情報を復号し、レベル有無フラグが０であり、かつ、ｉ番目のサブレイヤのサブレイヤレベル有無フラグが０である場合、該サブレイヤのサブレイヤレベル情報に、ｉ番目の参照ＰＴＬ情報指定インデクスにより指定されるサブレイヤのレベル情報を設定するものであってもよい。
　上記の構成によれば、レベル有無フラグが０で、かつ、サブレイヤレベル有無フラグが０の場合においても、サブレイヤのレベル情報が不定となる事態を解消することができる。
　本発明の他の態様８に係る画像復号装置は、上記他の態様３において、上記プロファイル／レベル情報には、ＶＰＳレベル有無フラグが付加されており、上記プロファイル／レベル情報復号部は、ＶＰＳレベル有無フラグが「０」に等しい場合、ｉ番目のプロファイル／レベル情報のレベルの情報を、それ以前のプロファイル／レベル情報のレベルの情報から導出するものであってもよい。
　上記の構成によれば、ｉ番目のサブレイヤのレベルの情報がプロファイル／レベル情報中に存在しない場合の、ｉ番目のサブレイヤのレベルの扱い方が明確になるので、テンポラルＩＤが１に等しいサブレイヤの表示について未定義であることを回避することができる。
　本発明の他の態様９に係る画像符号化装置は、画像データを、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを生成する画像符号化装置であって、上記階層符号化データのプロファイルを示すプロファイル／レベル情報を符号化するプロファイル／レベル情報符号化部を備え、上記プロファイル／レベル情報符号化部は、上記プロファイル／レベル情報におけるｉ番目の参照ＰＴＬ情報指定インデクスのセマンティックを、当該ｉ番目の参照ＰＴＬ情報指定インデクスが、ｉ番目のプロファイル／レベル情報と参照されるプロファイル／レベル情報との間の相対的な位置を指定するものとして符号化する。
　上記の構成によれば、１番目のプロファイル／レベル情報のプロファイルおよびティアの情報を、０番目のプロファイル／レベル情報から推定することができるようになる。
　本発明の他の態様１０に係る画像符号化装置は、画像データを、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを生成する画像符号化装置であって、上記階層符号化データのプロファイルを示すプロファイル／レベル情報を符号化するプロファイル／レベル情報符号化部を備え、上記プロファイル／レベル情報符号化部が符号化する上記プロファイル／レベル情報において、１番目のプロファイル／レベル情報のプロファイルおよびティアの情報が、０番目のプロファイル／レベル情報に基づいて推定可能となるように、参照ＰＴＬ情報指定インデクスが参照プロファイルに変更されている。
　上記の構成によれば、ｉ番目の参照ＰＴＬ情報指定インデクスが符号化されているので、ビットを抑制することができる。
　本発明の他の態様１１に係る画像符号化復号装置は、画像データを、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを生成する画像符号化装置であって、上記階層符号化データのプロファイルを示すプロファイル／レベル情報を符号化するプロファイル／レベル情報符号化部を備え、上記プロファイル／レベル情報符号化部が符号化する上記プロファイル／レベル情報において、参照ＰＴＬ情報指定インデクスに代えて、ＶＰＳプロファイル有無フラグが含まれているものであってもよい。
　上記の構成によれば、i番目のプロファイル／レベル情報のプロファイルおよびティアの情報を、（ｉ－１）番目のプロファイル／レベル情報から推定することができるようになるので、ビットを抑制することができる。
　本発明の他の態様１２に係る画像符号化装置は、上記他の態様９または１０において、上記プロファイル／レベル情報符号化部は、ｉ番目のサブレイヤに対するレベルの情報が提示されない場合、該レベルは、（ｉ＋１）番目のサブレイヤのレベルと、レベルの識別子のレベルとのうち小さい方に等しい、と推定するように符号化するものであってもよい。
　上記の構成によれば、ｉ番目のサブレイヤのレベルの情報がプロファイル／レベル情報中に存在しない場合の、ｉ番目のサブレイヤのレベルの扱い方が明確になるので、テンポラルＩＤが１に等しいサブレイヤの表示について未定義であることを回避することができる。
　本発明の他の態様１３に係る画像符号化装置は、上記他の態様９または１０において、上記プロファイル／レベル情報符号化部は、ｉ番目のサブレイヤのサブレイヤプロファイル有無フラグが１の場合、該サブレイヤのプロファイル情報は対象レイヤの符号化データ内にサブレイヤプロファイル情報を含めるものであってもよい。
　上記の構成によれば、プロファイル有無フラグが１で、かつ、サブレイヤプロファイル有無フラグが０の場合においても、サブレイヤのプロファイル情報が不定となる事態を解消することができる。
　本発明の他の態様１４に係る画像符号化装置は、上記他の態様９または１０において、上記プロファイル／レベル情報符号化部は、対象レイヤの符号化データに最高次サブレイヤのレベル情報を含め、該最高次サブレイヤを除く各サブレイヤのサブレイヤレベル情報について、ｉ番目のサブレイヤのサブレイヤレベル有無フラグが１の場合、該サブレイヤのレベル情報を対象レイヤの符号化データ内に含め該符号化データに該サブレイヤのサブレイヤレベル情報を含め、ｉ番目のサブレイヤのサブレイヤレベル有無フラグが０の場合、該サブレイヤのサブレイヤレベル情報に、所定のレベル情報を設定するものであってもよい。
　上記の構成によれば、サブレイヤレベル有無フラグが０の場合においても、サブレイヤのレベル情報が不定となる事態を解消することができる。
　本発明の他の態様１５に係る画像符号化装置は、上記他の態様９または１０において、上記プロファイル／レベル情報符号化部は、レベル有無フラグが１であり、かつ、ｉ番目のサブレイヤのサブレイヤレベル有無フラグが１である場合、該サブレイヤのレベル情報を、対象レイヤの符号化データ内に含め、該符号化データに該サブレイヤのサブレイヤレベル情報を含め、レベル有無フラグが１であり、かつ、ｉ番目のサブレイヤのサブレイヤレベル有無フラグが０である場合、該サブレイヤのサブレイヤレベル情報に所定のレベル情報を設定し、レベル有無フラグが０であり、かつ、ｉ番目のサブレイヤのサブレイヤレベル有無フラグが１である場合、該サブレイヤのレベル情報は、対象レイヤの符号化データ内に含め、該符号化データに該サブレイヤのサブレイヤレベル情報を含め、レベル有無フラグが０であり、かつ、ｉ番目のサブレイヤのサブレイヤレベル有無フラグが０である場合、該サブレイヤのサブレイヤレベル情報に、ｉ番目の参照ＰＴＬ情報指定インデクスにより指定されるサブレイヤのレベル情報を設定するものであってもよい。
　上記の構成によれば、レベル有無フラグが０で、かつ、サブレイヤレベル有無フラグが０の場合においても、サブレイヤのレベル情報が不定となる事態を解消することができる。
　本発明の他の態様１６に係る画像符号化装置は、上記他の態様１１において、上記プロファイル／レベル情報には、ＶＰＳレベル有無フラグが付加されており、上記プロファイル／レベル情報符号化部は、ＶＰＳレベル有無フラグが「０」に等しい場合、ｉ番目のプロファイル／レベル情報のレベルの情報を、それ以前のプロファイル／レベル情報のレベルの情報から導出できるように符号化するものであってもよい。
　上記の構成によれば、ｉ番目のサブレイヤのレベルの情報がプロファイル／レベル情報中に存在しない場合の、ｉ番目のサブレイヤのレベルの扱い方が明確になるので、テンポラルＩＤが１に等しいサブレイヤの表示について未定義であることを回避することができる。
　本発明の他の態様１７に係る画像復号装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、上記階層符号化データのプロファイルを示すプロファイル／レベル情報を復号するプロファイル／レベル情報復号部を備え、上記プロファイル／レベル情報復号部は、上記プロファイル／レベル情報において、以下の各条件：下位レイヤセットのプロファイル空間の値≦上位レイヤセットのプロファイル空間の値、下位レイヤセットのプロファイル識別子の値≦上位レイヤセットのプロファイル識別子の値、下位レイヤセットのティアフラグの値≦上位レイヤセットのティアフラグの値、上位レイヤセットＡのレベル識別子の値≧下位レイヤセットＢのレベル識別子の値を満たす符号化データを復号するものであってもよい。
　上記の構成によれば、下位レイヤのプロファイル／レベルと、上位レイヤのプロファイル／レベルと互換のないプロファイル／レベルを不連続に設定した符号化データが生成されることを防止する効果を奏する。また、画像復号装置が対応すべきプロファイル／レベルを必要最小限に抑制することができるため画像復号装置の複雑度を軽減する効果を奏する。
　本発明の各態様に係る画像復号装置、および画像符号化装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像復号装置、および画像符号化装置が備える各手段として動作させることにより上記画像復号装置、および画像符号化装置をコンピュータにて実現させる制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
　本発明は、画像データが階層的に符号化された符号化データを復号する階層動画像復号装置、および、画像データが階層的に符号化された符号化データを生成する階層動画像符号化装置に好適に適用することができる。また、階層動画像符号化装置によって生成され、階層動画像復号装置によって参照される階層符号化データのデータ構造に好適に適用することができる。
１…画像復号装置、階層動画像復号装置
１０…ヘッダ復号部
１０Ｅ…ヘッダ符号化部
１１…ピクチャ復号部
１２…復号ピクチャバッファ
１３…参照ピクチャ管理部
１３１…参照ピクチャセット設定部
１３２…参照ピクチャリスト導出部
１３Ｅ…参照ピクチャ決定部
１０１…ＮＡＬユニットヘッダ復号部
１０２…ＶＰＳ復号部
１０３…ＳＰＳ復号部
１０４…ＰＰＳ復号部
１０５…スライスヘッダ復号部
１０１１…レイヤＩＤ復号部
１０１２…ＮＡＬユニットタイプ復号部
１０２１…ＰＴＬ（プロファイル／レベル）情報復号部
１０２１ａ…プロファイル情報復号部
１０２１ｂ…レベル情報復号部
１０２１ｃ…サブレイヤプロファイル有無フラグ復号部
１０２１ｄ…サブレイヤレベル有無フラグ復号部
１０２１ｅ…バイトアラインデータ復号部
１０２１ｆ…参照プロファイルレベル選択部
１０２２…参照ＰＴＬ指定情報復号部
１０２３…プロファイル有無フラグ復号部
３０１…エントロピー復号部
３０２…予測パラメータ復号部
３０３…インター予測パラメータ復号部
３０４…イントラ予測パラメータ復号部
３０７…予測パラメータメモリ
３０８…予測画像生成部
３０９…インター予測画像生成部
３１０…イントラ予測画像生成部
３１１…逆量子化・逆ＤＣＴ部
３１２…加算部
２…画像符号化装置、階層動画像符号化装置
２０１…予測画像生成部
２０２…減算部
２０３…ＤＣＴ変換・量子化部
２０４…エントロピー符号化部
２０５…逆量子化・逆ＤＣＴ変換部
２０６…加算部
２０８…予測パラメータメモリ
２１０…符号化パラメータ決定部
２１１…予測パラメータ符号化部
２２２…ＶＰＳ符号化部
２２２１…ＰＴＬ情報符号化部
２２２１ａ…プロファイル情報符号化部
２２２１ｂ…レベル情報符号化部
２２２１ｃ…サブレイヤプロファイル有無フラグ符号化部
２２２１ｄ…サブレイヤレベル有無フラグ符号化部
２２２１ｅ…バイトアラインデータ符号化部
 
 
 

Claims (9)

  1. 　階層符号化データを復号する画像復号装置であって、
    　ＰＴＬ情報リスト中のＰＴＬ情報内のプロファイル情報の有無を示すプロファイル有無フラグを復号するプロファイル有無フラグ復号手段と
    　ＰＴＬ情報を復号するＰＴＬ情報復号手段とを備え、
    　上記ＰＴＬ情報復号手段は、
    　上記プロファイル有無フラグが１の場合、符号化データより、上記ＰＴＬ情報のプロファイル情報を復号し、
    　上記プロファイル情報有無フラグが０の場合、上記ＰＴＬ情報内のプロファイル情報を、１つ前に復号されたＰＴＬ情報のプロファイル情報と等しいと推定することを特徴とする画像復号装置。
  2. 　各サブレイヤプロファイル情報の有無を示すサブレイヤプロファイル有無フラグを復号するサブレイヤプロファイル有無フラグ復号手段を備え、
    　上記ＰＴＬ情報復号手段は、
    　上記各サブレイヤのサブレイヤプロファイル情報有無フラグが１の場合、符号化データより、各サブレイヤのサブレイヤプロファイル情報を復号し、
    　上記各サブレイヤプロファイル情報有無フラグが０の場合、上記各ＰＴＬ情報に含まれる各サブレイヤプロファイル情報を、１つ前に復号されたＰＴＬ情報に含まれる対応する各サブレイヤプロファイル情報と等しいと推定することを特徴とする請求項１に記載の画像復号装置。
  3. 　各サブレイヤレベル情報の有無を示すサブレイヤレベル有無フラグを復号するサブレイヤレベル情報有無フラグ復号手段を備え、
    　上記ＰＴＬ情報復号手段は、上記各サブレイヤのサブレイヤレベル情報有無フラグが１の場合、符号化データより、各サブレイヤのサブレイヤレベル情報を復号し、
    　上記サブレイヤレベル情報有無フラグが０の場合、上記ＰＴＬ情報に含まれる各サブレイヤレベル情報を、１つ前に復号されたＰＴＬ情報に含まれる対応する各サブレイヤレベル情報と等しいと推定することを特徴とする請求項１に記載の画像復号装置。
  4. 　上記プロファイル情報には、少なくとも、プロファイル空間、ティアフラグ、プロファイル識別子、及びプロファイル互換フラグを含むことを特徴とする請求項１から３のいずれか１項に記載の画像復号装置。
  5. 　上記サブレイヤプロファイル情報には、少なくとも、サブレイヤプロファイル空間、サブレイヤティアフラグ、サブレイヤプロファイル識別子、及びサブレイヤプロファイル互換フラグを含むことを特徴とする請求項２または４に記載の画像復号装置。
  6. 　上記ＰＴＬ情報に関するプロファイル有無フラグが０の場合、
    　上記ＰＴＬ情報に含まれる各サブレイヤに関するサブレイヤプロファイル有無フラグの値を０とすることを特徴とする請求項２に記載の画像復号装置。
  7. 　階層符号化データを復号する画像復号方法であって、
    　ＰＴＬ情報リスト中のＰＴＬ情報内のプロファイル情報の有無を示すプロファイル有無フラグを復号するプロファイル有無フラグ復号ステップと
    　ＰＴＬ情報を復号するＰＴＬ情報復号ステップを備え、
    　上記ＰＴＬ情報復号ステップは、
    　上記プロファイル有無フラグが１の場合、符号化データより、上記ＰＴＬ情報のプロファイル情報を復号し、
    　上記プロファイル情報有無フラグが０の場合、上記ＰＴＬ情報内のプロファイル情報を、１つ前に復号されたＰＴＬ情報のプロファイル情報と等しいと推定することを特徴とする画像復号方法。
  8. 　画像データを階層的に符号化して階層符号化データを生成する画像符号化装置であって、
    　上記階層符号化データのプロファイルを示すＰＴＬ情報を符号化するＰＴＬ情報符号化部を備え、
    　上記ＰＴＬ情報符号化部は、上記ＰＴＬ情報にプロファイル情報を符号化する場合に
    プロファイル有無フラグの値を１として符号化し、
    　上記ＰＴＬ情報内のプロファイル情報を、１つ前に符号化したＰＴＬ情報のプロファイル情報と等しいと推定する場合に、プロファイル有無フラグの値を０として符号化することを特徴とする画像符号化装置。
  9. 　画像データを階層的に符号化して階層符号化データを生成する画像符号化方法であって、
    　上記階層符号化データのプロファイルを示すＰＴＬ情報を符号化するＰＴＬ情報符号化ステップを備え、
    　上記ＰＴＬ情報符号化ステップは、上記ＰＴＬ情報にプロファイル情報を符号化する場合にプロファイル有無フラグの値を１として符号化し、
    　上記ＰＴＬ情報内のプロファイル情報を、１つ前に符号化したＰＴＬ情報のプロファイル情報と等しいと推定する場合に、プロファイル有無フラグの値を０として符号化することを特徴とする画像符号化方法。
PCT/JP2014/075868 2013-10-08 2014-09-29 画像復号装置、画像復号方法、画像符号化装置、及び画像符号化方法 WO2015053120A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP14852055.4A EP3057324A4 (en) 2013-10-08 2014-09-29 Image decoding device, image decoding method, image coding device, and image coding method
JP2015541526A JPWO2015053120A1 (ja) 2013-10-08 2014-09-29 画像復号装置、画像復号方法、画像符号化装置、及び画像符号化方法
CN201480053151.1A CN105594209B (zh) 2013-10-08 2014-09-29 图像解码装置、图像解码方法以及图像编码装置
US15/023,442 US10075720B2 (en) 2013-10-08 2014-09-29 Image decoding device, image decoding method, image coding device, and image coding method
HK16111662.6A HK1223473A1 (zh) 2013-10-08 2016-10-07 圖像解碼裝置、圖像解碼方法、圖像編碼裝置以及圖像編碼方法
US16/043,191 US10237564B1 (en) 2013-10-08 2018-07-24 Image decoding device, image decoding method, image coding device, and image coding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013211469 2013-10-08
JP2013-211469 2013-10-08

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/023,442 A-371-Of-International US10075720B2 (en) 2013-10-08 2014-09-29 Image decoding device, image decoding method, image coding device, and image coding method
US16/043,191 Continuation US10237564B1 (en) 2013-10-08 2018-07-24 Image decoding device, image decoding method, image coding device, and image coding method

Publications (1)

Publication Number Publication Date
WO2015053120A1 true WO2015053120A1 (ja) 2015-04-16

Family

ID=52812939

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/075868 WO2015053120A1 (ja) 2013-10-08 2014-09-29 画像復号装置、画像復号方法、画像符号化装置、及び画像符号化方法

Country Status (7)

Country Link
US (2) US10075720B2 (ja)
EP (1) EP3057324A4 (ja)
JP (1) JPWO2015053120A1 (ja)
CN (1) CN105594209B (ja)
HK (1) HK1223473A1 (ja)
TW (1) TWI645714B (ja)
WO (1) WO2015053120A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180059440A (ko) * 2015-10-20 2018-06-04 인텔 코포레이션 후처리 표시를 이용하는 비디오 코딩 방법 및 시스템
US20190281291A1 (en) * 2013-10-15 2019-09-12 Sony Corporation Image processing device and method
US11570429B2 (en) 2019-01-02 2023-01-31 Lg Electronics Inc. Method and device for processing video signal by using inter prediction
RU2793834C2 (ru) * 2019-01-02 2023-04-07 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для обработки видеосигнала посредством использования внешнего прогнозирования
US11902586B2 (en) 2019-12-26 2024-02-13 Bytedance Inc. Profile tier level parameter set in video coding

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5886341B2 (ja) * 2014-03-07 2016-03-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6150134B2 (ja) 2014-03-24 2017-06-21 ソニー株式会社 画像符号化装置および方法、画像復号装置および方法、プログラム、並びに記録媒体
JP6312934B2 (ja) * 2015-06-16 2018-04-18 三菱電機株式会社 画像符号化方式変換装置及び画像符号化方式変換方法
WO2018020299A1 (en) * 2016-07-29 2018-02-01 Chan Kam Fu Lossless compression and decompression methods
WO2018061550A1 (ja) * 2016-09-28 2018-04-05 シャープ株式会社 画像復号装置及び画像符号化装置
CN107038736B (zh) * 2017-03-17 2021-07-06 腾讯科技（深圳）有限公司 一种基于帧率的动画展示方法及终端设备
US20180352240A1 (en) * 2017-06-03 2018-12-06 Apple Inc. Generalized Temporal Sub-Layering Frame Work
US11277247B2 (en) * 2019-04-10 2022-03-15 Samsung Electronics Co., Ltd. Method and apparatus to enable CSI reporting in wireless communication systems
US11310560B2 (en) 2019-05-17 2022-04-19 Samsung Electronics Co., Ltd. Bitstream merger and extractor
CN110287346B (zh) * 2019-06-28 2021-11-30 深圳云天励飞技术有限公司 数据存储方法、装置、服务器及存储介质
KR20220143843A (ko) 2020-02-29 2022-10-25 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 하이 레벨 신택스 엘리먼트들에 대한 제약들
CN115428454A (zh) * 2020-04-06 2022-12-02 字节跳动有限公司 使用参数集的视频编解码
EP4140137A4 (en) 2020-05-22 2024-01-24 Beijing Bytedance Network Tech Co Ltd SIGNALING OF GENERAL COMPULSORY FLAGS
EP4162685A4 (en) * 2020-06-08 2023-12-13 Telefonaktiebolaget LM ERICSSON (PUBL) DERIVING A VALUE FOR EACH LAYER REPRESENTATION OF A VIDEO BIT STREAM
US20230336783A1 (en) * 2020-09-29 2023-10-19 Lg Electronics Inc. Method and device for generating/receiving media file including output layer set information, and method for transmitting media file

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014050425A1 (ja) * 2012-09-28 2014-04-03 シャープ株式会社 画像復号装置
WO2014050597A1 (ja) * 2012-09-28 2014-04-03 シャープ株式会社 画像復号装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419778B2 (en) * 2013-01-04 2019-09-17 Sony Corporation JCTVC-L0227: VPS_extension with updates of profile-tier-level syntax structure

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014050425A1 (ja) * 2012-09-28 2014-04-03 シャープ株式会社 画像復号装置
WO2014050597A1 (ja) * 2012-09-28 2014-04-03 シャープ株式会社 画像復号装置

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
"MV-HEVC Draft Text 5", JCT3V-EL008_V5, 27 July 2013 (2013-07-27)
"SHVC Draft 3", JCTVC-NL008_V3, 25 July 2013 (2013-07-25)
JIANLE CHEN ET AL.: "SHVC Draft 3, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11", JCTVC-N1008_V1, 14TH MEETING, August 2013 (2013-08-01), VIENNA, AT, pages I, 6 - 9,16,22-26,33-34, XP008183338 *
JILL BOYCE: "Profile, tier, level and operation points signaling in the VPS extension, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG 16 WP3 and ISO/IEC JTC1/SC29/WG11", JCTVC-L0180R2, 12TH MEETING, January 2013 (2013-01-01), GENEVA, CH, pages 1 - 4, XP030113668 *
MUNSI HAQUE: "VPS extension with updates of profile-tier-level syntax structure, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11", JCTVC-L0227_R1, 12TH MEETING, January 2013 (2013-01-01), GENEVA, CH, pages 1 - 7, XP030113715 *
RECOMMENDATION H.265 (04/13, 7 June 2013 (2013-06-07)
See also references of EP3057324A4
TAKESHI TSUKUBA ET AL.: "AHG9: Parsing profile and level information, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11", JCTVC-K0254R1, 11TH MEETING, October 2012 (2012-10-01), SHANGHAI, CN, pages 1 - 6, XP030113136 *
TAKESHI TSUKUBA ET AL.: "On profile, tier and level information, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11", JCTVC-00058_R2, 15TH MEETING, October 2013 (2013-10-01), GENEVA, CH, pages 1 - 11, XP030115031 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190281291A1 (en) * 2013-10-15 2019-09-12 Sony Corporation Image processing device and method
KR20180059440A (ko) * 2015-10-20 2018-06-04 인텔 코포레이션 후처리 표시를 이용하는 비디오 코딩 방법 및 시스템
KR102606583B1 (ko) * 2015-10-20 2023-11-24 인텔 코포레이션 후처리 표시를 이용하는 비디오 코딩 방법 및 시스템
US11570429B2 (en) 2019-01-02 2023-01-31 Lg Electronics Inc. Method and device for processing video signal by using inter prediction
RU2793834C2 (ru) * 2019-01-02 2023-04-07 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для обработки видеосигнала посредством использования внешнего прогнозирования
US20230118101A1 (en) 2019-01-02 2023-04-20 Lg Electronics Inc. Method and device for processing video signal by using inter prediction
US11805246B2 (en) 2019-01-02 2023-10-31 Lg Electronics Inc. Method and device for processing video signal by using inter prediction
US11902586B2 (en) 2019-12-26 2024-02-13 Bytedance Inc. Profile tier level parameter set in video coding
JP7432735B2 (ja) 2019-12-26 2024-02-16 バイトダンス インコーポレイテッド ビデオコーディングにおけるプロファイルティアレベルパラメータセット

Also Published As

Publication number Publication date
US20190082188A1 (en) 2019-03-14
CN105594209A (zh) 2016-05-18
TWI645714B (zh) 2018-12-21
CN105594209B (zh) 2019-08-06
JPWO2015053120A1 (ja) 2017-03-09
EP3057324A1 (en) 2016-08-17
US10075720B2 (en) 2018-09-11
US20160212437A1 (en) 2016-07-21
TW201521427A (zh) 2015-06-01
HK1223473A1 (zh) 2017-07-28
EP3057324A4 (en) 2017-04-05
US10237564B1 (en) 2019-03-19

Similar Documents

Publication Publication Date Title
US10237564B1 (en) Image decoding device, image decoding method, image coding device, and image coding method
JP6585223B2 (ja) 画像復号装置
JP6456535B2 (ja) 画像符号化装置、画像符号化方法および記録媒体
JP6800837B2 (ja) 画像復号装置、及び画像復号方法
CN105519119B (zh) 图像解码装置
US10136151B2 (en) Image decoding device and image decoding method
JP6352248B2 (ja) 画像復号装置、および画像符号化装置
JP2015119402A (ja) 画像復号装置、画像符号化装置、及び符号化データ
JPWO2015098713A1 (ja) 画像復号装置および画像符号化装置
JP2015050506A (ja) 画像復号装置および画像符号化装置
JP2015002495A (ja) 画像復号装置、および画像符号化装置
JP2015076807A (ja) 画像復号装置、画像符号化装置、および符号化データのデータ構造
JP2015126507A (ja) 画像復号装置、画像符号化装置、及び符号化データ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14852055

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015541526

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2014852055

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014852055

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15023442

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE