WO2015190510A1 - 視点合成予測装置、画像復号装置及び画像符号化装置 - Google Patents

視点合成予測装置、画像復号装置及び画像符号化装置 Download PDF

Info

Publication number
WO2015190510A1
WO2015190510A1 PCT/JP2015/066707 JP2015066707W WO2015190510A1 WO 2015190510 A1 WO2015190510 A1 WO 2015190510A1 JP 2015066707 W JP2015066707 W JP 2015066707W WO 2015190510 A1 WO2015190510 A1 WO 2015190510A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
unit
block
depth
sub
Prior art date
Application number
PCT/JP2015/066707
Other languages
English (en)
French (fr)
Inventor
知宏 猪飼
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2014122430A external-priority patent/JP2017135432A/ja
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2015190510A1 publication Critical patent/WO2015190510A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to a viewpoint synthesis prediction device, an image decoding device, and an image encoding device.
  • the multi-view image encoding technique includes a parallax predictive encoding that reduces the amount of information by predicting a parallax between images when encoding images of a plurality of viewpoints, and a decoding method corresponding to the encoding method.
  • a vector representing the parallax between viewpoint images is called a displacement vector.
  • the displacement vector is a two-dimensional vector having a horizontal element (x component) and a vertical element (y component), and is calculated for each block which is an area obtained by dividing one image.
  • x component horizontal element
  • y component vertical element
  • each viewpoint image is encoded as a different layer in each of a plurality of layers.
  • a method for encoding a moving image composed of a plurality of layers is generally referred to as scalable encoding or hierarchical encoding.
  • scalable coding high coding efficiency is realized by performing prediction between layers.
  • a reference layer without performing prediction between layers is called a base layer, and other layers are called enhancement layers.
  • Scalable encoding in the case where a layer is composed of viewpoint images is referred to as view scalable encoding.
  • the base layer is also called a base view
  • the enhancement layer is also called a non-base view.
  • scalable coding when a layer is composed of a texture layer (image layer) and a depth layer (distance image layer) is called three-dimensional scalable coding.
  • scalable coding in addition to view scalable coding, spatial scalable coding (pictures with low resolution as the base layer and pictures with high resolution in the enhancement layer), SNR scalable coding (image quality as the base layer) Low picture, high resolution picture as an enhancement layer).
  • a base layer picture may be used as a reference picture in coding an enhancement layer picture.
  • Non-Patent Document 1 a technique called viewpoint synthesis prediction is known in which a prediction unit is divided into small sub-blocks and prediction is performed using a displacement vector for each sub-block, thereby obtaining a highly accurate predicted image.
  • a technique called residual prediction is known in which a residual is estimated and added using an image of a view different from the target view.
  • a technique for deriving an extended merge candidate such as an inter-view merge candidate is known.
  • Non-Patent Document 1 there is a problem that the processing amount is large because a maximum value is derived by referring to many depths in a sub-block.
  • the size of the prediction unit is other than a multiple of 8
  • the processing amount is large because the size of the sub-block is determined using the depth.
  • the points to be accessed in the view synthesis prediction are the four corners of the sub-block, there is a problem that the processing amount may be large or the encoding efficiency may not be sufficient.
  • One aspect of the present invention includes a view synthesis prediction unit that generates a predicted image using view synthesis prediction, and the view synthesis prediction unit derives the size of a sub-block by comparing the height and width of a prediction block. Means are provided.
  • the sub-block size is derived by referring to the depth, and when the height and width of the prediction block are not equal, the depth is referred to.
  • the sub-block size is derived without performing the processing.
  • One embodiment of the present invention is characterized in that a fixed sub-block size is derived when the height and width of the prediction block are equal.
  • a sub-block size of a horizontally long rectangle is derived, and when a height of the prediction block is larger than a width, a vertically long rectangular shape is derived. It is characterized by deriving a sub-block size.
  • One embodiment of the present invention is characterized in that the sub-block size is 8 ⁇ 4 or 4 ⁇ 8 in width ⁇ height.
  • the viewpoint synthesis prediction apparatus derives a sub-block size of width ⁇ height of 8 ⁇ 4 when the width of the prediction block is larger than the height, and the height of the prediction block Is larger than the width, a sub-block size of width ⁇ height of 4 ⁇ 8 is derived; otherwise, the depth is referred to and the 8 ⁇ 4 sub-block size or 4 ⁇ 8 sub-block size is derived.
  • the block size is derived.
  • One embodiment of the present invention is characterized in that the sub-block size is 8 ⁇ 4 or 4 ⁇ 8 in width ⁇ height.
  • One embodiment of the present invention is characterized in that the fixed sub-block size is 8 ⁇ 4 in width ⁇ height.
  • One aspect of the present invention is a viewpoint synthesis prediction apparatus including a depth DV deriving unit that derives a depth representative value of a sub-block and sets a disparity vector from the depth representative value, wherein the depth DV deriving unit includes Depth representative values are derived from one point.
  • One aspect of the present invention is characterized in that the coordinates of one point in the sub-block are coordinates obtained by adding 2 in the horizontal direction and 2 in the vertical direction from the center coordinate of the sub-block or the upper left coordinate of the sub-block. To do.
  • One aspect of the present invention is a viewpoint synthesis prediction apparatus including a depth DV deriving unit that derives a depth representative value of a sub-block and sets a disparity vector from the depth representative value, wherein the depth DV deriving unit includes A depth representative value is derived from the maximum value of two points having the same vertical coordinate.
  • One aspect of the present invention is a viewpoint synthesis prediction apparatus including a depth DV deriving unit that derives a depth representative value of a sub-block and sets a disparity vector from the depth representative value.
  • the depth DV deriving unit includes four corners of the sub-block.
  • the depth representative value is derived from the four points or one point in the sub-block.
  • the depth DV deriving unit derives a depth representative value from four points in a sub-block when the target prediction unit is a square, and from one point of the sub-block in other cases.
  • the depth DV deriving unit derives a depth representative value from four points in the sub-block when the width and height of the target prediction unit are equal, and from one point in the sub-block otherwise. .
  • One aspect of the present invention is a spatial merge candidate derivation device that derives a merge candidate of a target block using a motion vector of a reference position around the target prediction unit, and the Y coordinate yN of the reference position is the target Only when the Y coordinate yPb of the upper left coordinate of the prediction unit is greater than or equal to the VSP flag of the reference position, the VSP flag of the target prediction unit is derived using the VSP flag.
  • a logical product of a VSP flag of a prediction unit located around and derived from the spatial merge candidate derivation unit, a luminance compensation flag, and a residual prediction weight is used as a VSP flag of the target prediction unit. It is characterized by.
  • One embodiment of the present invention includes a merge candidate derivation unit that derives merge candidates for performing viewpoint synthesis prediction and the above-described viewpoint synthesis prediction device.
  • One embodiment of the present invention is characterized by including an image coding apparatus including a merge candidate derivation unit that derives merge candidates for performing viewpoint synthesis prediction and the above-described viewpoint synthesis prediction apparatus.
  • the processing amount is reduced because the depth access in the view synthesis prediction is reduced.
  • suitable depth access is performed for each sub-block used in the view synthesis prediction, there is an effect that the coding efficiency is improved.
  • FIG. 1 is a schematic diagram illustrating a configuration of an image transmission system according to an embodiment of the present invention. It is a figure which shows the hierarchical structure of the data of the encoding stream which concerns on this embodiment. It is a conceptual diagram which shows an example of a reference picture list. It is a conceptual diagram which shows the example of a reference picture. It is the schematic which shows the structure of the image decoding apparatus which concerns on this embodiment. It is the schematic which shows the structure of the inter prediction parameter decoding part which concerns on this embodiment. It is the schematic which shows the structure of the merge mode parameter derivation
  • FIG. 7 is a diagram showing division mode patterns, wherein (a) to (h) are division modes of 2N ⁇ N, 2N ⁇ N, 2N ⁇ nU, 2N ⁇ nD, N ⁇ 2N, nL ⁇ 2N, and nR, respectively.
  • the partition shapes in the case of ⁇ 2N and N ⁇ N are shown.
  • FIG. 1 is a schematic diagram showing a configuration of an image transmission system 1 according to the present embodiment.
  • the image transmission system 1 is a system that transmits a code obtained by encoding a plurality of layer images and displays an image obtained by decoding the transmitted code.
  • the image transmission system 1 includes an image encoding device 11, a network 21, an image decoding device 31, and an image display device 41.
  • the signal T indicating a plurality of layer images (also referred to as texture images) is input to the image encoding device 11.
  • a layer image is an image that is viewed or photographed at a certain resolution and a certain viewpoint.
  • each of the plurality of layer images is referred to as a viewpoint image.
  • the viewpoint corresponds to the position or observation point of the photographing apparatus.
  • the plurality of viewpoint images are images taken by the left and right photographing devices toward the subject.
  • the image encoding device 11 encodes each of the signals to generate an encoded stream Te (encoded data). Details of the encoded stream Te will be described later.
  • a viewpoint image is a two-dimensional image (planar image) observed at a certain viewpoint.
  • the viewpoint image is indicated by, for example, a luminance value or a color signal value for each pixel arranged in a two-dimensional plane.
  • one viewpoint image or a signal indicating the viewpoint image is referred to as a picture.
  • the plurality of layer images include a base layer image having a low resolution and an enhancement layer image having a high resolution.
  • SNR scalable encoding is performed using a plurality of layer images
  • the plurality of layer images are composed of a base layer image with low image quality and an extended layer image with high image quality.
  • view scalable coding, spatial scalable coding, and SNR scalable coding may be arbitrarily combined.
  • encoding and decoding of an image including at least a base layer image and an image other than the base layer image is handled as the plurality of layer images.
  • the image on the reference side is referred to as a first layer image
  • the image on the reference side is referred to as a second layer image.
  • the base layer image is treated as a first layer image and the enhancement layer image is treated as a second layer image.
  • the enhancement layer image include an image of a viewpoint other than the base view and a depth image.
  • a depth image (also referred to as depth map, “depth image”, or “distance image”) is a signal value (“depth value”) corresponding to the distance from the viewpoint (shooting device, etc.) of the subject or background included in the subject space. ”,“ Depth value ”,“ depth ”, etc.), and is an image signal composed of signal values (pixel values) for each pixel arranged in a two-dimensional plane.
  • the pixels constituting the depth image correspond to the pixels constituting the viewpoint image. Therefore, the depth map is a clue for representing the three-dimensional object space by using the viewpoint image which is a reference image signal obtained by projecting the object space onto the two-dimensional plane.
  • the network 21 transmits the encoded stream Te generated by the image encoding device 11 to the image decoding device 31.
  • the network 21 is the Internet, a wide area network (WAN: Wide Area Network), a small network (LAN: Local Area Network), or a combination thereof.
  • the network 21 is not necessarily limited to a bidirectional communication network, and may be a unidirectional or bidirectional communication network that transmits broadcast waves such as terrestrial digital broadcasting and satellite broadcasting.
  • the network 21 may be replaced by a storage medium that records an encoded stream Te such as a DVD (Digital Versatile Disc) or a BD (Blue-ray Disc).
  • the image decoding device 31 decodes each of the encoded streams Te transmitted by the network 21, and generates a plurality of decoded layer images Td (decoded viewpoint images Td).
  • the image display device 41 displays all or part of the plurality of decoded layer images Td generated by the image decoding device 31. For example, in view scalable coding, a 3D image (stereoscopic image) and a free viewpoint image are displayed in all cases, and a 2D image is displayed in some cases.
  • the image display device 41 includes, for example, a display device such as a liquid crystal display or an organic EL (Electro-luminescence) display.
  • a display device such as a liquid crystal display or an organic EL (Electro-luminescence) display.
  • the spatial scalable coding and SNR scalable coding when the image decoding device 31 and the image display device 41 have a high processing capability, a high-quality enhancement layer image is displayed and only a lower processing capability is provided. Displays a base layer image that does not require higher processing capability and display capability as an extension layer.
  • FIG. 2 is a diagram showing a hierarchical structure of data in the encoded stream Te.
  • the encoded stream Te illustratively includes a sequence and a plurality of pictures constituting the sequence.
  • (A) to (f) of FIG. 2 respectively show a sequence layer that defines a sequence SEQ, a picture layer that defines a picture PICT, a slice layer that defines a slice S, a slice data layer that defines slice data, and a slice data.
  • Coding Unit CU
  • sequence layer a set of data referred to by the image decoding device 31 for decoding a sequence SEQ to be processed (hereinafter also referred to as a target sequence) is defined.
  • the sequence SEQ includes a video parameter set, a sequence parameter set SPS (Sequence Parameter Set), a picture parameter set PPS (Picture Parameter Set), a picture PICT, and an additional extension.
  • Information SEI Supplementplemental Enhancement Information
  • the value indicated after # indicates the layer ID (nuh_layer_id).
  • a layer whose layer ID (nuh_layer_id) is 0 corresponds to a base layer, and a layer whose layer ID (nuh_layer_id) is other than 0 corresponds to an enhancement layer.
  • the video parameter set VPS is a set of encoding parameters common to a plurality of moving images, a plurality of layers included in the moving image, and encoding parameters related to individual layers in a moving image composed of a plurality of layers.
  • a set is defined.
  • the sequence parameter set SPS defines a set of encoding parameters that the image decoding device 31 refers to in order to decode the target sequence. For example, the width and height of the picture are defined.
  • a set of encoding parameters referred to by the image decoding device 31 in order to decode each picture in the target sequence is defined.
  • a quantization width reference value (pic_init_qp_minus26) used for picture decoding and a flag (weighted_pred_flag) indicating application of weighted prediction are included.
  • a plurality of PPS may exist. In that case, one of a plurality of PPSs is selected from each picture in the target sequence.
  • Picture layer In the picture layer, a set of data referred to by the image decoding device 31 for decoding a picture PICT to be processed (hereinafter also referred to as a target picture) is defined. As shown in FIG. 2 (b), the picture PICT includes slices S0 to SNS-1 (NS is the total number of slices included in the picture PICT).
  • slice layer In the slice layer, a set of data referred to by the image decoding device 31 for decoding the slice S to be processed (also referred to as a target slice) is defined. As shown in FIG. 2C, the slice S includes a slice header SH and slice data SDATA.
  • the slice header SH includes a coding parameter group that the image decoding device 31 refers to in order to determine a decoding method of the target slice.
  • the slice type designation information (slice_type) that designates the slice type is an example of an encoding parameter included in the slice header SH.
  • I slice using only intra prediction at the time of encoding (2) P slice using unidirectional prediction or intra prediction at the time of encoding, (3) B-slice using unidirectional prediction, bidirectional prediction, or intra prediction at the time of encoding may be used.
  • the slice header SH may include a reference (pic_parameter_set_id) to the picture parameter set PPS included in the sequence layer.
  • the slice data layer a set of data referred to by the image decoding device 31 in order to decode the slice data SDATA to be processed is defined.
  • the slice data SDATA includes a coded tree block (CTB) as shown in FIG.
  • CTB is a fixed-size block (for example, 64 ⁇ 64) constituting a slice, and may be referred to as a maximum coding unit (LCU).
  • the coding tree layer defines a set of data that the image decoding device 31 refers to in order to decode the coding tree block to be processed.
  • the coding tree unit is divided by recursive quadtree division.
  • a tree-structured node obtained by recursive quadtree partitioning is called a coding tree.
  • An intermediate node of the quadtree is a coded tree unit (CTU), and the coded tree block itself is also defined as the highest CTU.
  • the CTU includes a split flag (split_flag). When the split_flag is 1, the CTU is split into four coding tree units CTU.
  • the coding tree unit CTU is divided into four coding units (CU: Coded Unit).
  • the coding unit CU is a terminal node of the coding tree layer and is not further divided in this layer.
  • the encoding unit CU is a basic unit of the encoding process.
  • the size of the coding unit CU is any of 64 ⁇ 64 pixels, 32 ⁇ 32 pixels, 16 ⁇ 16 pixels, and 8 ⁇ 8 pixels. Can take.
  • the encoding unit layer defines a set of data referred to by the image decoding device 31 in order to decode the processing target encoding unit.
  • the encoding unit includes a CU header CUH, a prediction tree, a conversion tree, and a CU header CUF.
  • the CU header CUH it is defined whether the coding unit is a unit using intra prediction or a unit using inter prediction.
  • the encoding unit indicates a residual prediction index iv_res_pred_weight_idx indicating a weight used for residual prediction (or whether or not to perform residual prediction), and illuminance indicating whether or not illuminance compensation prediction is used.
  • a compensation flag ic_flag is included.
  • the encoding unit is the root of a prediction tree (PT) and a transform tree (TT).
  • the CU header CUF is included between the prediction tree and the conversion tree or after the conversion tree.
  • the coding unit is divided into one or a plurality of prediction blocks, and the position and size of each prediction block are defined.
  • the prediction block is one or a plurality of non-overlapping areas constituting the coding unit.
  • the prediction tree includes one or a plurality of prediction blocks obtained by the above division.
  • Prediction processing is performed for each prediction block.
  • a prediction block which is a unit of prediction is also referred to as a prediction unit (PU, prediction unit). More specifically, since prediction is performed in units of color components, hereinafter, blocks for each color component, such as a luminance prediction block and a color difference prediction block, are referred to as prediction blocks, and blocks of multiple color components (luminance prediction blocks). A block and a color difference prediction block) are collectively called a prediction unit.
  • Intra prediction is prediction within the same picture
  • inter prediction refers to prediction processing performed between different pictures (for example, between display times and between layer images).
  • the division method is encoded by the encoded data division mode part_mode.
  • the division mode specified by the division mode part_mode includes the following eight types of patterns in total, assuming that the size of the target CU is 2N ⁇ 2N pixels. That is, 4 symmetric splittings of 2N ⁇ 2N pixels, 2N ⁇ N pixels, N ⁇ 2N pixels, and N ⁇ N pixels, and 2N ⁇ nU pixels, 2N ⁇ nD pixels, nL ⁇ 2N pixels, And four asymmetric motion partitions (AMP) of nR ⁇ 2N pixels.
  • N 2 m (m is an arbitrary integer of 1 or more).
  • a prediction block whose division mode is asymmetric division is also referred to as an AMP block. Since the number of divisions is one of 1, 2, and 4, PUs included in the CU are 1 to 4. These PUs are expressed as PU0, PU1, PU2, and PU3 in order.
  • 9 (a) to 9 (h) specifically show the positions of the PU partition boundaries in the CU for each partition mode.
  • FIG. 9A shows a 2N ⁇ 2N division mode in which no CU is divided.
  • FIGS. 9B and 9E show the shapes of partitions when the division modes are 2N ⁇ N and N ⁇ 2N, respectively.
  • FIG. 9H shows the shape of the partition when the division mode is N ⁇ N.
  • FIGS. 9C, 9D, 9F, and 9G are 2N ⁇ nU, 2N ⁇ nD, nL ⁇ 2N, and nR ⁇ 2N, which are asymmetric divisions (AMP), respectively. Shows the shape of the partition.
  • the numbers given to the respective regions indicate the region identification numbers, and the regions are processed in the order of the identification numbers. That is, the identification number represents the scan order of the area.
  • a specific value of N is defined by the size of the CU to which the PU belongs, and specific values of nU, nD, nL, and nR are determined according to the value of N.
  • 32 ⁇ 32 pixel CUs are 32 ⁇ 32 pixels, 32 ⁇ 16 pixels, 16 ⁇ 32 pixels, 32 ⁇ 16 pixels, 32 ⁇ 8 pixels, 32 ⁇ 24 pixels, 8 ⁇ 32 pixels, and 24 ⁇ 32. It can be divided into prediction blocks for inter prediction of pixels.
  • the encoding unit is divided into one or a plurality of transform blocks, and the position and size of each transform block are defined.
  • the transform block is one or a plurality of non-overlapping areas constituting the encoding unit.
  • the conversion tree includes one or a plurality of conversion blocks obtained by the above division.
  • the division in the transformation tree includes the one in which an area having the same size as that of the encoding unit is assigned as the transformation block, and the one in the recursive quadtree division like the above-described division in the tree block.
  • a transform block that is a unit of transformation is also referred to as a transform unit (TU).
  • the prediction image of the prediction unit is derived by a prediction parameter associated with the prediction unit.
  • the prediction parameters include a prediction parameter for intra prediction or a prediction parameter for inter prediction.
  • prediction parameters for inter prediction inter prediction (inter prediction parameters) will be described.
  • the inter prediction parameter includes prediction list use flags predFlagL0 and predFlagL1, reference picture indexes refIdxL0 and refIdxL1, and vectors mvL0 and mvL1.
  • the prediction list use flags predFlagL0 and predFlagL1 are flags indicating whether or not reference picture lists called L0 list and L1 list are used, respectively, and a reference picture list corresponding to a value of 1 is used.
  • prediction list use flag information can also be expressed by an inter prediction flag inter_pred_idc described later.
  • a prediction list use flag is used in a prediction image generation unit and a prediction parameter memory described later, and an inter prediction flag inter_pred_idc is used when decoding information on which reference picture list is used from encoded data. It is done.
  • Syntax elements for deriving inter prediction parameters included in the encoded data include, for example, a partition mode part_mode, a merge flag merge_flag, a merge index merge_idx, an inter prediction flag inter_pred_idc, a reference picture index refIdxLX, a prediction vector flag mvp_LX_flag, and a difference There is a vector mvdLX.
  • FIG. 3 is a conceptual diagram illustrating an example of the reference picture list RefPicListX.
  • the reference picture list RefPicListX five rectangles arranged in a line on the left and right indicate reference pictures, respectively.
  • the codes P1, P2, Q0, P3, and P4 shown in order from the left end to the right are codes indicating respective reference pictures.
  • P such as P1 indicates the viewpoint P
  • Q of Q0 indicates a viewpoint Q different from the viewpoint P.
  • the subscripts P and Q indicate the picture order number POC.
  • a downward arrow directly below refIdxLX indicates that the reference picture index refIdxLX is an index that refers to the reference picture Q0 in the reference picture memory 306.
  • FIG. 4 is a conceptual diagram illustrating an example of a reference picture.
  • the horizontal axis indicates the display time
  • the vertical axis indicates the viewpoint.
  • the rectangles shown in FIG. 4 with 2 rows and 3 columns (6 in total) indicate pictures.
  • the rectangle in the second column from the left in the lower row indicates a picture to be decoded (target picture), and the remaining five rectangles indicate reference pictures.
  • a reference picture Q0 indicated by an upward arrow from the target picture is a picture that has the same display time as the target picture and a different viewpoint (view ID). In the displacement prediction based on the target picture, the reference picture Q0 is used.
  • a reference picture P1 indicated by a left-pointing arrow from the target picture is a past picture at the same viewpoint as the target picture.
  • a reference picture P2 indicated by a right-pointing arrow from the target picture is a future picture at the same viewpoint as the target picture. In motion prediction based on the target picture, the reference picture P1 or P2 is used.
  • >> is a right shift
  • ⁇ is a left shift. Therefore, as the inter prediction parameter, the prediction list use flags predFlagL0 and predFlagL1 may be used, or the inter prediction flag inter_pred_idc may be used.
  • the determination using the prediction list use flags predFlagL0 and predFlagL1 may be replaced with the inter prediction flag inter_pred_idc.
  • the determination using the inter prediction flag inter_pred_idc can be replaced with the prediction list use flags predFlagL0 and predFlagL1.
  • the prediction parameter decoding (encoding) method includes a merge mode and an AMVP (Adaptive Motion Vector Prediction) mode.
  • the merge flag merge_flag is a flag for identifying these.
  • the prediction parameter of the target PU is derived using the prediction parameter of the already processed block.
  • the merge mode is a mode that uses the prediction parameters already derived without including the prediction list use flag predFlagLX (inter prediction flag inter_pred_idc), the reference picture index refIdxLX, and the vector mvLX in the encoded data
  • the AMVP mode is an inter prediction.
  • the flag inter_pred_idc, the reference picture index refIdxLX, and the vector mvLX are included in the encoded data.
  • the vector mvLX is encoded as a prediction vector flag mvp_LX_flag indicating a prediction vector and a difference vector (mvdLX).
  • the inter prediction flag inter_pred_idc is data indicating the type and number of reference pictures, and takes any value of Pred_L0, Pred_L1, and Pred_BI.
  • Pred_L0 and Pred_L1 indicate that reference pictures stored in reference picture lists called an L0 list and an L1 list are used, respectively, and that both use one reference picture (single prediction). Prediction using the L0 list and the L1 list are referred to as L0 prediction and L1 prediction, respectively.
  • Pred_BI indicates that two reference pictures are used (bi-prediction), and indicates that two reference pictures stored in the L0 list and the L1 list are used.
  • the prediction vector flag mvp_LX_flag is an index indicating a prediction vector
  • the reference picture index refIdxLX is an index indicating a reference picture stored in the reference picture list.
  • LX is a description method used when L0 prediction and L1 prediction are not distinguished.
  • refIdxL0 is a reference picture index used for L0 prediction
  • refIdxL1 is a reference picture index used for L1 prediction
  • refIdx (refIdxLX) is a notation used when refIdxL0 and refIdxL1 are not distinguished.
  • the merge index merge_idx is an index indicating whether one of the prediction parameter candidates (merge candidates) derived from the processed block is used as the prediction parameter of the prediction unit (target block).
  • the vector mvLX includes a motion vector and a displacement vector (disparity vector).
  • a motion vector is a positional shift between the position of a block in a picture at a certain display time of a layer and the position of the corresponding block in a picture of the same layer at a different display time (for example, an adjacent discrete time). It is a vector which shows.
  • the displacement vector is a vector indicating a positional shift between the position of a block in a picture at a certain display time of a certain layer and the position of a corresponding block in a picture of a different layer at the same display time.
  • the pictures in different layers may be pictures from different viewpoints or pictures with different resolutions.
  • a displacement vector corresponding to pictures of different viewpoints is called a disparity vector.
  • a vector mvLX A prediction vector and a difference vector related to the vector mvLX are referred to as a prediction vector mvpLX and a difference vector mvdLX, respectively.
  • Whether the vector mvLX and the difference vector mvdLX are motion vectors or displacement vectors is determined using a reference picture index refIdxLX associated with the vectors.
  • FIG. 5 is a schematic diagram illustrating a configuration of the image decoding device 31 according to the present embodiment.
  • the image decoding device 31 includes an entropy decoding unit 301, a prediction parameter decoding unit 302, a reference picture memory (reference image storage unit, frame memory) 306, a prediction parameter memory (prediction parameter storage unit, frame memory) 307, and a prediction image generation unit 308.
  • An inverse quantization / inverse DCT unit 311, an addition unit 312, and a depth DV derivation unit 351 (not shown).
  • the image decoding device 31 is an image decoding device that decodes encoded data that includes a plurality of viewpoint images and depth images and includes a plurality of layers (base layer and enhancement layer).
  • the prediction parameter decoding unit 302 includes an inter prediction parameter decoding unit 303 and an intra prediction parameter decoding unit 304.
  • the predicted image generation unit 308 includes an inter predicted image generation unit 309 and an intra predicted image generation unit 310.
  • the entropy decoding unit 301 performs entropy decoding on the encoded stream Te input from the outside, and separates and decodes individual codes (syntax elements).
  • the separated codes include prediction information for generating a prediction image and residual information for generating a difference image.
  • the entropy decoding unit 301 outputs a part of the separated code to the prediction parameter decoding unit 302.
  • Some of the separated codes are, for example, prediction mode PredMode, split mode part_mode, merge flag merge_flag, merge index merge_idx, inter prediction flag inter_pred_idc, reference picture index refIdxLX, prediction vector flag mvp_LX_flag, difference vector mvdLX, residual prediction index iv_res_pred_weight_idx and illuminance compensation flag ic_flag. Control of which code to decode is performed based on an instruction from the prediction parameter decoding unit 302.
  • the entropy decoding unit 301 outputs the quantization coefficient to the inverse quantization / inverse DCT unit 311.
  • This quantization coefficient is a coefficient obtained by performing quantization and performing DCT (Discrete Cosine Transform) on the residual signal in the encoding process.
  • the entropy decoding unit 301 outputs the depth DV conversion table DepthToDisparityB to the depth DV deriving unit 351.
  • BitDepthY indicates the bit depth of the pixel value corresponding to the luminance signal, and takes, for example, 8 as the value.
  • the prediction parameter decoding unit 302 receives a part of the code from the entropy decoding unit 301 as an input.
  • the prediction parameter decoding unit 302 decodes the prediction parameter corresponding to the prediction mode indicated by the prediction mode PredMode that is a part of the code.
  • the prediction parameter decoding unit 302 outputs the prediction mode PredMode and the decoded prediction parameter to the prediction parameter memory 307 and the prediction image generation unit 308.
  • the inter prediction parameter decoding unit 303 decodes the inter prediction parameter with reference to the prediction parameter stored in the prediction parameter memory 307 based on the code input from the entropy decoding unit 301.
  • the inter prediction parameter decoding unit 303 outputs the decoded inter prediction parameter to the prediction image generation unit 308 and stores it in the prediction parameter memory 307. Details of the inter prediction parameter decoding unit 303 will be described later.
  • the intra prediction parameter decoding unit 304 refers to the prediction parameter stored in the prediction parameter memory 307 on the basis of the code input from the entropy decoding unit 301 and decodes the intra prediction parameter.
  • the intra prediction parameter is a parameter used in a process of predicting a picture block within one picture, for example, an intra prediction mode IntraPredMode.
  • the intra prediction parameter decoding unit 304 outputs the decoded intra prediction parameter to the prediction image generation unit 308 and stores it in the prediction parameter memory 307.
  • the reference picture memory 306 stores the decoded picture block recSamples generated by the adding unit 312 at the position of the decoded picture block.
  • the prediction parameter memory 307 stores the prediction parameter in a predetermined position for each decoding target picture and block. Specifically, the prediction parameter memory 307 stores the inter prediction parameter decoded by the inter prediction parameter decoding unit 303, the intra prediction parameter decoded by the intra prediction parameter decoding unit 304, and the prediction mode PredMode separated by the entropy decoding unit 301. .
  • the stored inter prediction parameters include, for example, a prediction list use flag predFlagLX, a reference picture index refIdxLX, and a vector mvLX.
  • the prediction image generation unit 308 receives the prediction mode PredMode and the prediction parameter from the prediction parameter decoding unit 302. Further, the predicted image generation unit 308 reads a reference picture from the reference picture memory 306. The prediction image generation unit 308 generates prediction picture blocks predSamples (prediction images) using the input prediction parameter and the read reference picture in the prediction mode indicated by the prediction mode PredMode.
  • the inter prediction image generation unit 309 uses the inter prediction parameters input from the inter prediction parameter decoding unit 303 and the read reference pictures to perform prediction picture block predSamples by inter prediction. Is generated.
  • the prediction picture block predSamples corresponds to the prediction unit PU.
  • the PU corresponds to a part of a picture composed of a plurality of pixels as a unit for performing the prediction process as described above, that is, a target block on which the prediction process is performed at a time.
  • the inter prediction image generation unit 309 uses a prediction unit as a reference from a reference picture RefPicListLX [refIdxLX] indicated by a reference picture index refIdxLX for a reference picture list (L0 list or L1 list) having a prediction list use flag predFlagLX of 1
  • the reference picture block at the position indicated by the vector mvLX is read from the reference picture memory 306.
  • the inter prediction image generation unit 309 performs motion compensation on the read reference picture block to generate prediction picture blocks predSamplesLX.
  • the inter prediction image generation unit 309 generates prediction picture blocks predSamples from the prediction picture blocks predSamplesL0 and predSamplesL1 and outputs them to the addition unit 312.
  • the intra predicted image generation unit 310 When the prediction mode PredMode indicates the intra prediction mode, the intra predicted image generation unit 310 performs intra prediction using the intra prediction parameter input from the intra prediction parameter decoding unit 304 and the read reference picture. Specifically, the intra predicted image generation unit 310 reads, from the reference picture memory 306, a reference picture block that is a decoding target picture and is in a predetermined range from a prediction unit among blocks that have already been processed.
  • the predetermined range is, for example, the range of adjacent blocks on the left, upper left, upper, and upper right, and differs depending on the intra prediction mode.
  • the intra predicted image generation unit 310 performs prediction in the prediction mode indicated by the intra prediction mode IntraPredMode for the read reference picture block, generates predicted picture block predSamples, and outputs the prediction picture block predSamples to the adding unit 312.
  • the inverse quantization / inverse DCT unit 311 inversely quantizes the quantization coefficient input from the entropy decoding unit 301 to obtain a DCT coefficient.
  • the inverse quantization / inverse DCT unit 311 performs inverse DCT (Inverse Discrete Cosine Transform) on the obtained DCT coefficient to calculate a decoded residual signal.
  • the inverse quantization / inverse DCT unit 311 outputs the calculated decoded residual signal to the adder 312.
  • the addition unit 312 performs pixel value processing on the prediction picture block predSamples input from the inter prediction image generation unit 309 and the intra prediction image generation unit 310 and the signal value resSamples of the decoded residual signal input from the inverse quantization / inverse DCT unit 311 for each pixel.
  • the adder 312 outputs the generated decoded picture block recSamples to the reference picture memory 306.
  • the decoded picture block is integrated for each picture.
  • a loop filter such as a deblocking filter and an adaptive offset filter is applied to the decoded picture.
  • the decoded picture is output to the outside as a decoded layer image Td.
  • FIG. 6 is a schematic diagram illustrating a configuration of the inter prediction parameter decoding unit 303 according to the present embodiment.
  • the inter prediction parameter decoding unit 303 includes an inter prediction parameter decoding control unit 3031, an AMVP prediction parameter deriving unit 3032, an adding unit 3035, a merge mode parameter deriving unit 3036, and a displacement deriving unit 30363.
  • the inter prediction parameter decoding control unit 3031 instructs the entropy decoding unit 301 to decode a code related to the inter prediction (the syntax element) includes, for example, a division mode part_mode, a merge included in the encoded data.
  • the flag merge_flag, merge index merge_idx, inter prediction flag inter_pred_idc, reference picture index refIdxLX, prediction vector flag mvp_LX_flag, difference vector mvdLX, residual prediction index iv_res_pred_weight_idx, and illumination compensation flag ic_flag are extracted.
  • the syntax element is extracted, it means that the entropy decoding unit 301 is instructed to decode a certain syntax element, and the corresponding syntax element is read out from the encoded data.
  • the inter prediction parameter decoding control unit 3031 extracts the merge index merge_idx from the encoded data when the merge flag merge_flag is 1, that is, when the prediction unit is in the merge mode.
  • the inter prediction parameter decoding control unit 3031 outputs the extracted residual prediction index iv_res_pred_weight_idx, the illumination compensation flag ic_flag, and the merge index merge_idx to the merge mode parameter deriving unit 3036.
  • the inter prediction parameter decoding control unit 3031 uses the entropy decoding unit 301 to calculate the inter prediction flag inter_pred_idc, the reference picture index refIdxLX, and the prediction vector flag. mvp_LX_flag and difference vector mvdLX are extracted.
  • the inter prediction parameter decoding control unit 3031 outputs the prediction list use flag predFlagLX derived from the extracted inter prediction flag inter_pred_idc and the reference picture index refIdxLX to the AMVP prediction parameter derivation unit 3032 and the prediction image generation unit 308 (FIG. 5).
  • the inter prediction parameter decoding control unit 3031 outputs the extracted prediction vector flag mvp_LX_flag to the AMVP prediction parameter derivation unit 3032 and outputs the extracted difference vector mvdLX to the addition unit 3035.
  • the displacement vector deriving unit 30363 extracts the displacement vector of the coding unit (target CU) to which the target PU belongs from the block spatially or temporally adjacent to the coding unit. Specifically, a block Col that is temporally adjacent to the target CU, a second block AltCol that is temporally adjacent, a block A1 that is adjacent to the left spatially, and a block B1 that is adjacent to the upper side are used as reference blocks.
  • the prediction flag predFlagLX of the reference block, the reference picture index refIdxLX, and the vector mvLX are sequentially read, and it is determined from the reference picture index refIdxLX of the adjacent block whether or not the adjacent block has a displacement vector.
  • the displacement vector deriving unit 30363 also outputs the reference picture index and view ID of the block from which the displacement vector is derived.
  • the displacement vector obtained as above is called NBDV (Neighbour Base Base Disparity Vector).
  • the displacement vector deriving unit 30363 further outputs the obtained displacement vector NBDV to the depth DV deriving unit 351.
  • the depth DV deriving unit 351 updates the input displacement vector with the displacement vector derived from the depth.
  • the updated displacement vector is called DoNBDV (Depth Orientated Neighbour Base Disparity Vector).
  • DoNBDV Depth Orientated Neighbour Base Disparity Vector
  • the displacement vector derivation unit 30363 outputs the displacement vector (DoNBDV) to the inter-layer merge candidate derivation unit 3036121, the displacement merge candidate derivation unit, the viewpoint synthesis prediction unit, and the prediction merge candidate derivation unit. Further, the obtained displacement vector (NBDV) is output to the inter predicted image generation unit 309.
  • the inter prediction parameter decoding control unit 3031 sets the displacement vector (NBDV) derived at the time of deriving the inter prediction parameter and a disparity synthesis prediction flag (VSP mode flag) VspModeFlag that is a flag indicating whether or not to perform viewpoint synthesis prediction. And output to the inter predicted image generation unit 309.
  • NBDV displacement vector
  • VSP mode flag disparity synthesis prediction flag
  • FIG. 7 is a schematic diagram illustrating a configuration of the merge mode parameter deriving unit 3036 according to the present embodiment.
  • the merge mode parameter deriving unit 3036 includes a merge candidate deriving unit 30361 and a merge candidate selecting unit 30362.
  • the merge candidate derivation unit 30361 includes a merge candidate storage unit 303611, an extended merge candidate derivation unit 303612, and a basic merge candidate derivation unit 303613.
  • the merge candidate storage unit 303611 stores the merge candidates input from the extended merge candidate derivation unit 303612 and the basic merge candidate derivation unit 303613 in the merge candidate list mergeCandList.
  • the merge candidate includes a prediction list use flag predFlagLX, a vector mvLX, a reference picture index refIdxLX, a VSP mode flag VspModeFlag, a displacement vector MvDisp, and a layer ID RefViewIdx.
  • an index is assigned to the merge candidates stored in the merge candidate list mergeCandList according to a predetermined rule.
  • FIG. 18 shows an example of the merge candidate list mergeCandList derived by the merge candidate storage unit 303611.
  • the parentheses are nicknames of merge candidates, and in the case of spatial merge candidates, they correspond to the positions of reference blocks used for derivation.
  • Texture merge candidate T
  • Interview merge candidate IvMC
  • Spatial merge candidate A1
  • Spatial merge candidate B1
  • Spatial merge candidate B0
  • Displacement merge candidate IvDC
  • VSP merge candidate VSP
  • spatial merge candidate A0
  • spatial merge candidate B2
  • motion shift merge candidate IvMCShift
  • displacement shift merge candidate IvDCShift
  • temporal merge candidate Col.
  • the parentheses are nicknames of merge candidates. Further, there are a merge merge candidate and a zero merge candidate after that, but they are omitted in FIG.
  • Texture merge candidate (T), Interview merge candidate (IvMC), Displacement merge candidate (IvDC), VSP merge candidate (VSP), Motion shift merge candidate (IvMCShift), Displacement shift merge candidate (IvDCShift) are derived as extended merge candidates. Derived in part 303612.
  • FIG. 19 is a diagram showing the positions of adjacent blocks to which spatial merge candidates refer.
  • A0, A1, B0, B1, and B2 each correspond to the position shown in FIG. 19, and the coordinates are as follows.
  • the positions of adjacent blocks are as follows.
  • the extended merge candidate derivation unit 303612 includes a displacement vector derivation unit, an inter-layer merge candidate derivation unit 3036121, a displacement merge candidate derivation unit 3036123, and a VSP merge candidate derivation unit 3036124.
  • the extended merge candidate is a merge candidate different from a basic merge candidate described later, and includes at least a texture merge candidate (T), an interview merge candidate (IvMC), a displacement merge candidate (IvDC), a VSP merge candidate (VSP), Either a motion shift merge candidate (IvMCShift) or a displacement shift merge candidate (IvDCShift) is included.
  • T texture merge candidate
  • IvMC interview merge candidate
  • IvDC displacement merge candidate
  • VSP VSP merge candidate
  • Either a motion shift merge candidate (IvMCShift) or a displacement shift merge candidate (IvDCShift) is included.
  • the inter-layer merge candidate derivation unit 3036121 derives a texture merge candidate (T), an inter-view merge candidate (IvMC), and a motion shift merge candidate (IvMCShift). For these merge candidates, a block corresponding to a prediction unit is selected from reference pictures of different layers (for example, a base layer and a base view) having the same POC as the target picture, and a prediction parameter that is a motion vector included in the block is selected as a prediction parameter. It is derived by reading from the memory 307.
  • the texture merge candidate (T) is derived by the inter-layer merge candidate deriving unit 3036121 when the target picture is depth.
  • the texture merge candidate (T) is derived by specifying a reference block from a depth picture having the same view ID as the target picture and reading a motion vector of the reference block.
  • the coordinates (xRef, yRef) of the reference block are derived from the following equations when the upper left coordinates of the prediction unit are xPb and yPb, and the width and height of the prediction unit are nPbW and nPbH.
  • the motion vector of the reference block is textMvLX
  • the motion vector mvLXT of the texture merge candidate is derived by the following formula.
  • prediction parameters may be assigned in units of sub-blocks obtained by further dividing the prediction unit.
  • the inter-view merge candidate reads out prediction parameters such as a motion vector from a reference block of a picture having the same POC as the target picture specified by the displacement vector deriving unit 30363 and having a different view ID in the inter-layer merge candidate deriving unit 3036121. It is derived by this.
  • the coordinates (xRef, yRef) of the reference block are the upper left coordinates of the prediction unit (xPb, yPb), the width and height of the prediction unit are nPbW, nPbH, and the displacement vector derived from the displacement vector deriving unit 30363 (mvDisp [ 0], mvDisp [1]), it is derived from the following equation.
  • the prediction parameter may be assigned in units of sub-blocks obtained by further dividing the prediction unit.
  • the width and height of the prediction unit are nPbW and nPbH, and the minimum size of the subblock is SubPbSize
  • the width nSbW and the height nSbH of the subblock are derived by the following equations.
  • NPbH SubPbSize X? Y: z is a ternary operator that takes y when x is true and takes z when x is false (the same applies hereinafter).
  • an interview merge candidate vector mvLXInterView, a reference picture index refIdxLXInterView, and a prediction list use flag availableFlagLXInterView are derived from the vector spMvLX corresponding to the sub-block, the reference picture index spRefIdxLX, and the prediction list use flag spPredFlagLX by the following expressions.
  • xBlk and yBlk are sub-block addresses and take values from 0 to (nPbW / nSbW-1) and from 0 to (nPbH / nSbH-1), respectively.
  • the motion shift merge candidate also reads a prediction parameter such as a motion vector from a reference block of a picture having the same POC as the target picture identified by the displacement vector deriving unit 30363 and having a different view ID in the inter-layer merge candidate deriving unit 3036121. It is derived by this.
  • the coordinates (xRef, yRef) of the reference block, the upper left coordinates of the prediction unit are xPb, yPb, the width and height of the prediction unit are nPbW, nPbH, and the displacement vector derived from the displacement vector deriving unit 30363 is mvDisp [0], When mvDisp [1], it is derived from the following equation.
  • xRefFull xPb + (nPbW >> 1) + ((mvDisp [0] + nPbW * 2 + 4 + 2) >> 2)
  • yRefFull yPb + (nPbH >> 1) + ((mvDisp [1] + nPbH * 2 + 4 + 2) >> 2)
  • xRef Clip3 (0, PicWidthInSamplesL-1, (xRefFull >> 3) ⁇ 3)
  • yRef Clip3 (0, PicHeightInSamplesL-1, (yRefFull >> 3) ⁇ 3)
  • the displacement merge candidate derivation unit 3036123 derives a displacement merge candidate (IvDC) and a shift displacement merge candidate (IvDcShift) from the displacement vector input from the displacement vector derivation unit 30363.
  • the displacement merge candidate derivation unit 3036123 is the horizontal component mvDisp [0] of the displacement vector (mvDisp [0], mvDisp [1]) to which the horizontal component is input as the displacement merge candidate (IvDC), and the vertical component is 0.
  • a vector is generated by the following equation.
  • DepthFlag is a variable that becomes 1 in the case of depth.
  • the displacement merge candidate derivation unit 3036123 stores the generated vector and the reference picture index refIdxLX of the previous layer image pointed to by the displacement vector (for example, the index of the base layer image having the same POC as the decoding target picture) as a merge candidate. Output to the unit 303611.
  • the displacement merge candidate derivation unit 3036123 derives, as a shift displacement merge candidate (IvDC), a merge candidate having a vector obtained by shifting the displacement merge candidate in the horizontal direction by the following equation.
  • IvDC shift displacement merge candidate
  • VSP merge candidate The VSP merge candidate derivation unit 3036124 derives a VSP (View Synthesis Prediction) merge candidate.
  • the VSP merge candidate is a merge candidate used for a predicted image generation process by viewpoint synthesis prediction performed by the viewpoint synthesis prediction unit 3094.
  • the VSP merge candidate derivation unit 3036124 uses the displacement vector mvDisp input from the displacement vector derivation unit 30363 as the vector mvLX, the reference picture index of the reference picture identified by the displacement vector derivation unit 30363, and the view ID as the reference picture index refIdxLX, view ID RefViewIdx
  • the prediction parameter is derived by setting the VSP mode flag VspModeFlag to 1, and the VSP merge candidate is derived.
  • the VSP merge candidate derivation unit 3036124 outputs the derived VSP merge candidate to the merge candidate storage unit 303611.
  • the VSP merge candidate derivation unit 3036124 receives the residual prediction index iv_res_pred_weight_idx and the illumination compensation flag ic_flag from the inter prediction parameter decoding control unit.
  • the VSP merge candidate derivation unit 3036124 performs VSP merge candidate derivation processing only when the residual prediction index iv_res_pred_weight_idx is 0 and the illumination compensation flag ic_flag is 0. That is, only when the residual prediction index iv_res_pred_weight_idx is 0 and the illumination compensation flag ic_flag is 0, the VSP merge candidate is added to the elements of the merge candidate list mergeCandList.
  • the VSP merge candidate derivation unit 3036124 does not add the VSP merge candidate to the elements of the merge candidate list mergeCandList.
  • the basic merge candidate derivation unit 303613 includes a spatial merge candidate derivation unit 3036131, a temporal merge candidate derivation unit 3036132, a merge merge candidate derivation unit 3036133, and a zero merge candidate derivation unit 3036134.
  • the basic merge candidate is a merge candidate used in the base layer, that is, a merge candidate used in HEVC (for example, HEVC main profile) instead of scalable, and includes at least one of a spatial merge candidate and a temporal merge candidate.
  • the spatial merge candidate derivation unit 3036131 reads the prediction parameters (prediction list use flag predFlagLX, vector mvLX, reference picture index refIdxLX) stored in the prediction parameter memory 307 according to a predetermined rule, and uses the read prediction parameters as spatial merge candidates.
  • Derived as Prediction parameters to be read are predictions related to each of adjacent blocks that are blocks within a predetermined range from the prediction unit (for example, all or a part of blocks that touch the lower left end, the upper left end, and the upper right end of the prediction unit, respectively). It is a parameter.
  • the derived spatial merge candidate is stored in the merge candidate storage unit 303611.
  • the spatial merge candidate derivation unit 3036131 refers to (inherits) the VSP mode flag VspModeFlag of the adjacent block, and sets the VSP mode flag VspModeFlag (mergeCandIsVspFlag) of the merging candidate to be derived. That is, when the VSP mode flag VspModeFlag of the adjacent block is 1, the VSP mode flag mergeCandIsVspFlag of the corresponding spatial merge candidate is 1, and otherwise, the VSP mode flag mergeCandIsVspFlag is 0.
  • VspModeFlag (mergeCandIsVspFlag) is set to 0 for merge candidates derived by the time merge candidate derivation unit 3036132, the merge merge candidate derivation unit 3036133, and the zero merge candidate derivation unit 3036134.
  • the temporal merge candidate derivation unit 3036132 reads the prediction parameter of the block in the reference image including the lower right coordinate of the prediction unit from the prediction parameter memory 307 and sets it as a merge candidate.
  • the reference image can be specified by using, for example, the collocated picture col_ref_idx specified by the slice header and the reference picture index refIdxLX specified by RefPicListX [col_ref_idx] specified by the reference picture list RefPicListX. It is stored in the merge candidate storage unit 303611.
  • the merge merge candidate derivation unit 3036133 derives merge merge candidates by combining two different derived merge candidate vectors and reference picture indexes already derived and stored in the merge candidate storage unit 303611 as L0 and L1 vectors, respectively. To do.
  • the derived merge candidates are stored in the merge candidate storage unit 303611.
  • the zero merge candidate derivation unit 3036134 derives merge candidates whose reference picture index refIdxLX is i and whose X component and Y component of the vector mvLX are both 0 until the number of derived merge candidates reaches the maximum value.
  • the value of i indicating the reference picture index refIdxLX is assigned in order from 0.
  • the derived merge candidates are stored in the merge candidate storage unit 303611.
  • the merge candidate selection unit 30362 selects, from the merge candidates stored in the merge candidate storage unit 303611, a merge candidate to which an index corresponding to the merge index merge_idx input from the inter prediction parameter decoding control unit 3031 is assigned. As an inter prediction parameter. That is, when the merge candidate list is mergeCandList, the prediction parameter indicated by mergeCandList [merge_idx] is selected.
  • the merge candidate selection unit 30362 stores the selected merge candidate in the prediction parameter memory 307 (FIG. 5) and outputs it to the prediction image generation unit 308 (FIG. 5).
  • the merge candidate selection unit 30362 sets the disparity synthesis prediction flag vspModeFlag of the selected merge mode (prediction parameter), the disparity synthesis prediction flag mergeCandIsVspFlag of the merge candidate, negation of the illumination prediction flag ic_flag, and negation of the residual prediction weight flag iv_res_pred_weight_idx. Determined by the following formula including logical product.
  • the spatial merge candidate deriving unit 3036131 shows a configuration in which the VSP mode flag at the reference position of the spatial merge candidate is referred to, but the merge mode parameter deriving unit 3036 itself or the merge mode parameter deriving unit 3036
  • the merge candidate derivation unit 30361 and the merge candidate selection unit 30362 may refer to the VSP mode flag at the reference position (hereinafter, the same applies to modified examples).
  • spatial merge candidate derivation unit 3036131A a spatial merge candidate derivation unit 3036131A will be described as a modification of the spatial merge candidate derivation unit 3036131.
  • the spatial merge candidate derivation unit 3036131A basically performs the same operation as the spatial merge candidate derivation unit 3036131 described above, but the process of referring to (inheriting) the VSP mode flag VspModeFlag of an adjacent block is simplified.
  • the spatial merge candidate derivation unit 3036131A determines that the position of the adjacent block to be referenced (reference position) is the left block of the target prediction unit (in the case of A1 or A0 in FIG. 16, the position of the adjacent block to be referenced).
  • the (reference position) is not above the prediction block, refer to the VSP mode flag VspModeFlag at the reference position only when the Y coordinate yN of the adjacent block (reference position) to be referenced is equal to or greater than the Y coordinate yPb of the prediction unit ( Inherit) and set the corresponding merge candidate VSP mode flag mergeCandIsVspFlag.
  • the VspModeFlag of the coordinate (xN, yN) of the adjacent block is set to the merge candidate VSP mode flag mergeCandIsVspFlag.
  • mergeCandIsVspFlag VspModeFlag [xN] [yN]
  • the position (reference position) of the adjacent block to be referenced is not to the left of the target prediction unit (when the Y coordinate yN of the adjacent block is less than the Y coordinate yPb of the prediction unit)
  • VSP mode flag VspModeFlag Not inherited
  • the position of the adjacent block to be referenced is the left block of the target prediction unit when the vertical position of the adjacent block to be referenced (reference position) is the same as or below the vertical position of the target prediction unit. (When the Y coordinate yN of the adjacent block to be referenced is greater than or equal to the Y coordinate yPb of the prediction unit).
  • the spatial merge candidate derivation unit 3036131A is a spatial merge candidate derivation device that derives a merge candidate of a target block using a motion vector of a reference position around the target prediction unit, and the Y coordinate yN of the reference position is the target Only when the Y coordinate yPb of the upper left coordinate of the prediction unit is greater than or equal to the reference value, the VSP flag at the reference position is referred to, and the VSP flag of the target prediction unit merge candidate is derived using the VSP flag.
  • the spatial merge candidate derivation unit 3036131A sequentially refers to prediction units that occupy positions indicated by A1, B1, B0, A0, and B2 illustrated in FIG. 16 as adjacent blocks. The coordinates of each point are as described above.
  • the merge candidate (adjacent block) is A1 or A0 and the VSP mode flag VspModeFlag of the adjacent block is 1, the corresponding merge candidate VSP mode flag VspModeFlag (mergeCandIsVspFlag) is 1, otherwise the VSP mode flag Set mergeCandIsVspFlag to 0.
  • FIG. 30 is a flowchart for explaining the operation of the spatial merge candidate derivation unit 3036131A.
  • the VSP mode flag of the reference position is referred to. That is, the value of the VSP mode flag included in the prediction unit occupying the reference position is derived as the value of the merge candidate VSP mode flag derived from the reference position.
  • the spatial merge candidate derivation unit 3036131A having the above configuration, it is positioned above the target CTB because it does not refer to the upward direction (reference positions B0, B1, B2 that are positions above the Y coordinate yPb of the target prediction unit). No line memory is required to store the line VSP mode flag VspModeFlag. Therefore, it is possible to reduce the mounting cost and access to the line memory.
  • spatial merge candidate derivation unit 3036131B a spatial merge candidate derivation unit 3036131B will be described as a modification of the spatial merge candidate derivation unit 3036131.
  • Spatial merge candidate derivation unit 3036131B performs basically the same operation as spatial merge candidate derivation unit 3036131 described above, but the process of inheriting the VSP mode flag VspModeFlag of the adjacent block is simplified.
  • the spatial merge candidate derivation unit 3036131B refers to the VSP mode flag VspModeFlag only when the reference position (merge candidate) of the spatial merge candidate is an adjacent block of A1 (A1 merge candidate) that is referred to at the head as a spatial merge candidate, It is preferable not to refer to the VSP mode flag VspModeFlag in the case of A0 referenced other than the head (A0 merge candidate).
  • mergeCandIsVspFlag VspModeFlag [xA1] [yA1] This can be expressed as follows.
  • FIG. 31 is a flowchart for explaining the operation of the spatial merge candidate derivation unit 3036131B.
  • the VSP mode flag at the reference position is not referred to. That is, the value of the VSP mode flag included in the prediction unit occupying the reference position is not derived as the value of the merge candidate VSP mode flag derived from the reference position.
  • the first (first) reference position means a reference position that is first inserted into the merge candidate list when there are spatial merge candidates corresponding to a plurality of reference positions.
  • the VSP mode flag at the reference position is referred to only at the reference position (A1) that is the leading spatial merge candidate, so the VSP mode at the reference position at a plurality of reference positions. Compared to the case of referring to the flag, there is an effect that the mounting becomes easy. In particular, when accessing a plurality of spatial merge candidates in parallel, the implementation cost can be reduced.
  • the spatial merge candidate derivation unit 3036131B derives the spatial merge candidate derivation.
  • the effect of the portion 3036131A is also achieved.
  • the spatial merge candidate derivation unit 3036131B refers to the VSP mode flag at the reference position only in A1 that is the head of the spatial merge candidate, so that the Y coordinate yN of the reference position of the block to be referenced is the upper left of the target prediction unit.
  • the VSP mode flag is referred only when the coordinate is Y coordinate yPb or more.
  • the merge mode parameter deriving unit 3036B including the spatial merge candidate deriving unit 3036131B preferably performs the following operation.
  • the basic operation of the merge mode parameter deriving unit 3036B (the operation other than the operation unique to the merge mode parameter deriving unit 3036B described below) is the same as that of the merge mode parameter deriving unit 3036.
  • the merge mode parameter deriving unit 3036B sets the VSP mode flag mergeCandIsVspFlag of the merge candidate N (merge candidate VSP) to 1 when N which is an index indicating the merge candidate is VSP. Otherwise, when N is A1, the merge mode parameter deriving unit 3036B sets VspModeFlag [xPb ⁇ 1] [yPbH ⁇ 1] in the VSP mode flag mergeCandIsVspFlag. In other cases, the merge mode parameter deriving unit 3036B sets 0 to the VSP mode flag mergeCandIsVspFlag.
  • xPb and yPb are the upper left coordinates of the prediction unit, (xPb-1, yPbH-1) are the coordinates of A1, and VspModeFlag [x] [y] is the VSP mode flag of the coordinates (x, y).
  • the merge mode parameter deriving unit 3036B sets VspModeFlag [xPb ⁇ 1] [yPbH ⁇ 1] of the coordinates of A1 to the VSP mode flag mergeCandIsVspFlag.
  • FIG. 8 is a schematic diagram showing the configuration of the AMVP prediction parameter derivation unit 3032 according to the present embodiment.
  • the AMVP prediction parameter derivation unit 3032 includes a vector candidate derivation unit 3033 and a prediction vector selection unit 3034.
  • the vector candidate derivation unit 3033 reads the vectors stored in the prediction parameter memory 307 (FIG. 5) based on the reference picture index refIdx, and generates a vector candidate list mvpListLX.
  • the reference block is a block (for example, a block at the lower left end, an upper right end, or a temporally adjacent block of the prediction unit) at a predetermined position based on the position of the prediction unit.
  • the prediction vector selection unit 3034 selects the vector mvpListLX [mvp_lX_flag] indicated by the prediction vector flag mvp_LX_flag input from the inter prediction parameter decoding control unit 3031 among the vector candidates mvpListLX derived by the vector candidate derivation unit 3033 as the prediction vector mvpLX. .
  • the prediction vector selection unit 3034 outputs the selected prediction vector mvpLX to the addition unit 3035.
  • the addition unit 3035 adds the prediction vector mvpLX input from the prediction vector selection unit 3034 and the difference vector mvdLX input from the inter prediction parameter decoding control unit to calculate a vector mvLX.
  • the adding unit 3035 outputs the calculated vector mvLX to the predicted image generation unit 308 (FIG. 5).
  • FIG. 10 is a block diagram illustrating a configuration of the inter prediction parameter decoding control unit 3031 according to the first embodiment.
  • the inter prediction parameter decoding control unit 3031 includes a residual prediction index decoding unit 30311, an illumination compensation flag decoding unit 30312, and a split mode decoding unit, merge flag decoding unit, merge index decoding unit, inter A prediction flag decoding unit, a reference picture index decoding unit, a vector candidate index decoding unit, and a vector difference decoding unit are configured.
  • the partition mode decoding unit, the merge flag decoding unit, the merge index decoding unit, the inter prediction flag decoding unit, the reference picture index decoding unit, the vector candidate index decoding unit, and the vector difference decoding unit are respectively divided mode part_mode, merge flag merge_flag, and merge index.
  • the merge_idx, inter prediction flag inter_pred_idc, reference picture index refIdxLX, prediction vector flag mvp_LX_flag, and difference vector mvdLX are decoded.
  • the residual prediction index decoding unit 30311 uses the entropy decoding unit 301 to calculate the residual prediction index iv_res_pred_weight_idx from the encoded data when the division mode PartMode (part_mode) of the encoding unit CU is 2Nx2N. Is decrypted. In other cases, the residual prediction index decoding unit 30311 sets (infer) 0 to iv_res_pred_weight_idx. The residual prediction index decoding unit 30311 outputs the decoded residual prediction index iv_res_pred_weight_idx to the merge mode parameter derivation unit 3036 and the inter prediction image generation unit 309.
  • the residual prediction index is a parameter for changing the operation of residual prediction.
  • it is an index indicating the weight of residual prediction, and takes values of 0, 1, and 2.
  • iv_res_pred_weight_idx When iv_res_pred_weight_idx is 0, residual prediction is not performed.
  • the vector used for residual prediction may be changed instead of changing the weight of residual prediction according to the index.
  • a flag (residual prediction flag) indicating whether to perform residual prediction may be used.
  • the illuminance compensation flag decoding unit 30312 uses the entropy decoding unit 301 to decode the illuminance compensation flag ic_flag from the encoded data when the predicted block size PartMode is 2Nx2N. In other cases, the illumination compensation flag decoding unit 30312 sets 0 to ic_flag (infer). The illuminance compensation flag decoding unit 30312 outputs the decoded illuminance compensation flag ic_flag to the merge mode parameter derivation unit 3036 and the inter predicted image generation unit 309.
  • FIG. 11 is a schematic diagram illustrating a configuration of the VSP merge candidate derivation unit 3036124 according to the present embodiment.
  • the inter prediction image generation unit 309 includes a motion displacement compensation unit 3091, a residual prediction unit 3092, an illuminance compensation unit 3093, and a viewpoint synthesis prediction unit 3094.
  • the inter prediction image generation unit 309 receives the VSP mode flag VspModeFlag (vspModeFlag) and the prediction parameter from the inter prediction parameter decoding unit 303.
  • VSP mode flag VspModeFlag vspModeFlag
  • the inter predicted image generation unit 309 outputs a prediction parameter to the viewpoint synthesis prediction unit 3094 to derive predicted images predSamples.
  • the inter prediction image generation unit 309 derives prediction images predSamples using the motion displacement compensation unit 3091, and the inter prediction image generation unit 309
  • the residual prediction flag iv_res_pred_weight_idx is not 0, 1 indicating that residual prediction is to be executed is set in the residual prediction execution flag resPredFlag and output to the motion displacement compensation unit 3091 and the residual prediction unit 3092.
  • the residual prediction flag iv_res_pred_weight_idx is 0, the residual prediction execution flag resPredFlag is set to 0 and output to the motion displacement compensation unit 3091 and the residual prediction unit 3092.
  • the motion displacement compensation unit 3091 generates a motion prediction image (predicted image) based on the prediction list use flag predFlagLX, the reference picture index refIdxLX, and the vector mvLX (motion vector or displacement vector).
  • the motion displacement compensation unit 3091 reads out a block at a position shifted by the vector mvLX from the reference picture memory 306, starting from the position of the prediction unit of the reference picture specified by the reference picture index refIdxLX, and interpolates the predicted image. Generate.
  • a prediction image is generated by applying a filter called a motion compensation filter (or displacement compensation filter) for generating a pixel at a decimal position.
  • the above processing is called motion compensation
  • the vector mvLX is a displacement vector
  • it is called displacement compensation.
  • motion displacement compensation the prediction image of L0 prediction
  • predSamplesL0 the prediction image of L1 prediction
  • predSamplesL1 the prediction image of L1 prediction
  • predSamplesLX the prediction image of L1 prediction
  • predSamplesLX the prediction image of L1 prediction
  • these output images are also referred to as prediction images predSamplesLX.
  • residual prediction and illuminance compensation when an input image and an output image are distinguished, the input image is expressed as predSamplesLX and the output image is expressed as predSamplesLX ′.
  • the motion displacement compensation unit 3091 When the residual prediction execution flag resPredFlag is 0, the motion displacement compensation unit 3091 generates a motion compensated image predSamplesLX by using a motion compensation filter having 8 taps for the luminance component and 4 taps for the chrominance component.
  • the residual prediction execution flag resPredFlag When the residual prediction execution flag resPredFlag is 1, a motion compensation image predSamplesLX is generated by a 2-tap motion compensation filter for both the luminance component and the chrominance component.
  • the residual prediction unit 3092 performs residual prediction when the residual prediction execution flag resPredFlag is 1. When the residual prediction execution flag resPredFlag is 0, the residual prediction unit 3092 outputs the input predicted image predSamplesLX as it is.
  • the refResSamples residual prediction is performed by estimating the residual of the motion compensated image predSampleLX generated by motion prediction or displacement prediction and adding it to the predicted image predSamplesLX of the target layer. Specifically, when the prediction unit is motion prediction, it is assumed that a residual similar to the reference layer also occurs in the target layer, and the residual of the reference layer already derived is estimated as the residual of the target layer. Use as a value.
  • the prediction unit is displacement prediction, a residual between a reference layer picture and a target layer picture at a time (POC) different from that of the target picture is used as an estimated value of the residual.
  • FIG. 14 is a block diagram showing a configuration of the residual prediction unit 3092.
  • the residual prediction unit 3092 includes a reference image interpolation unit 30922 and a residual synthesis unit 30923.
  • the reference image interpolation unit 30922 receives the vector mvLX and the residual prediction displacement vector mvDisp input from the inter prediction parameter decoding unit 303, and the reference picture stored in the reference picture memory 306. Are used to generate two residual prediction motion compensated images (corresponding block currIvSamplesLX, reference block refIvSamplesLX).
  • FIG. 15 is a diagram for explaining the corresponding block currIvSamplesLX and the reference block refIvSamplesLX when the vector mvLX is a motion vector.
  • the corresponding block corresponding to the prediction unit on the target layer is a displacement vector mvDisp that is a vector indicating the positional relationship between the reference layer and the target layer, starting from the position of the prediction unit of the image on the reference layer. It is located in a block that is displaced by a certain amount. Therefore, the vector mvC of the corresponding block currIvSamplesLX is derived from the displacement vector mvDisp by the following equation.
  • mvC [0] mvDisp [0]
  • mvC [1] mvDisp [1]
  • the reference block refIvSamplesLX corresponding to the corresponding block on the reference layer is located at a block that is shifted by the motion vector mvLX of the prediction unit starting from the position of the corresponding block of the reference image on the reference layer. Therefore, the vector mvR of the reference block refIvSamplesLX is derived from the displacement vector mvDisp by the following equation.
  • mvR [0] mvLX [0] + mvDisp [0]
  • mvR [1] mvLX [1] + mvDisp [1]
  • FIG. 16 is a diagram for explaining the corresponding block currIvSamplesLX and the reference block refIvSamplesLX when the vector mvLX is a displacement vector.
  • the corresponding block currIvSamplesLX is a block on the reference image on the target layer located at a different time from the target picture. If the displacement vector is mvDisp and the motion vector is mvRef, the corresponding block currIvSamplesLX is located in the block that is shifted by the vector mvT, which is a vector indicating the positional relationship between the reference layer and the target layer, starting from the position of the prediction unit. . Therefore, the vector mvC of the corresponding block currIvSamplesLX is derived from the displacement vector mvDisp by the following equation.
  • the reference block refIvSamplesLX is a block on the reference image on the reference layer located at a different time from the target picture. If the displacement vector is mvDisp and the motion vector is mvT, the reference block refIvSamplesLX is a block that is shifted by the vector mvRef-mvLX, which is a vector indicating the positional relationship between the reference layer and the target layer, starting from the position of the prediction unit. To position. Therefore, the vector mvR of the reference block refIvSamplesLX is derived from the displacement vector mvDisp by the following equation.
  • mvR [0] mvT [0] + mvDisp [0]
  • mvR [1] mvT [1] + mvDisp [1]
  • the motion vector mvT a vector of a picture on the reference layer at the same time as the target picture (block P corresponding to predSamplesLX in the figure) is used.
  • the upper left coordinate of the block is (xP, yP) and the displacement vector is mvLX []
  • the motion vector at the corresponding position (xRef, yRef) is referred to.
  • xRef Clip3 (0, PicWidthInSamplesL-1, xP + (nPSW >> 1) + ((mvLX [0] + 2) >> 2))
  • yRef Clip3 (0, PicHeightInSamplesL-1, yP + (nPSH >> 1) + ((mvLX [1] + 2) >> 2))
  • the reference image interpolation unit 30922 generates an interpolation image of the reference block currIvSamplesLX by setting the vector mvC to the vector mvLX.
  • a pixel at a position where the coordinates (x, y) of the pixel of the interpolation image is shifted by the vector mvLX of the prediction unit is derived by linear interpolation (bilinear interpolation).
  • the reference image interpolating unit 30922 uses the X of the pixel R0 with integer precision corresponding to the case where the pixel coordinates of the prediction unit are (xP, yP).
  • XInt xPb + (mvLX [0] >> 2)
  • the coordinates xInt and Y coordinates yInt, and the fractional part xFrac of the displacement vector mvDisp and the fractional part yFrac of the Y component yInt yPb + (mvLX [1] >> 2)
  • xFrac mvLX [0] & 3
  • yFrac mvLX [1] & 3 It is derived by the following formula.
  • X & 3 is a mathematical expression for extracting only the lower 2 bits of X.
  • the reference image interpolation unit 30922 generates an interpolation pixel predPartLX [x] [y] in consideration of the fact that the vector mvLX has a 1/4 pel decimal precision.
  • xA Clip3 (0, picWidthInSamples-1, xInt)
  • xB Clip3 (0, picWidthInSamples-1, xInt + 1)
  • xC Clip3 (0, picWidthInSamples-1, xInt)
  • xD Clip3 (0, picWidthInSamples-1, xInt + 1)
  • yA Clip3 (0, picHeightInSamples-1, yInt)
  • yB Clip3 (0, picHeightInSamples-1, yInt)
  • yC Clip3 (0, picHeightInSamples-1, yInt)
  • the integer pixel A is a pixel corresponding to the pixel R0
  • the integer pixels B, C, and D are integer precision pixels adjacent to the right, bottom, and bottom right of the integer pixel A, respectively.
  • the reference image interpolation unit 30922 includes reference pixels refPicLX [xA] [yA], refPicLX [xB] [yB], refPicLX [xC] [yC], and refPicLX [corresponding to the integer pixels A, B, C, and D, respectively.
  • xD] [yD] is read from the reference picture memory 306.
  • the reference image interpolation unit 30922 then subtracts the X component of the reference pixel refPicLX [xA] [yA], refPicLX [xB] [yB], refPicLX [xC] [yC], refPicLX [xD] [yD] and the vector mvLX.
  • An interpolated pixel predPartLX [x] [y] which is a pixel shifted by a decimal part of the vector mvLX from the pixel R0, is derived by linear interpolation (bilinear interpolation) using the part xFrac and the fractional part yFrac of the Y component.
  • predPartLX [x] [y] (refPicLX [xA] [yA] * (8-xFrac) * (8-yFrac) + refPicLX [xB] [yB] * (8-yFrac) * xFrac + refPicLX [xC] [yC] * (8-xFrac) * yFrac + refPicLX [xD] [yD] * xFrac * yFrac)
  • the four-point pixels around the target pixel are used for deriving by one-step bilinear interpolation.
  • horizontal linear interpolation and vertical linear interpolation are separated, and the remaining pixels are separated by two-step linear interpolation.
  • a difference prediction interpolation image may be generated.
  • the reference image interpolation unit 30922 performs the above-described interpolation pixel derivation process on each pixel in the prediction unit, and sets a set of interpolation pixels as an interpolation block predPartLX.
  • the reference image interpolation unit 30922 outputs the derived interpolation block predPartLX to the residual synthesis unit 30923 as the corresponding block currIvSamplesLX.
  • the reference image interpolation unit 30922 derives the reference block refIvSamplesLX by performing the same processing except that the corresponding block currIvSamplesLX is derived and the displacement vector mvLX is replaced with the vector mvR.
  • the reference image interpolation unit 30922 outputs the reference block refIvSamplesLX to the residual synthesis unit 30923.
  • the residual synthesis unit 30923 derives a residual from the difference between the two residual prediction motion compensated images (currIvSamplesLX, refIvSamplesLX), and uses this residual in the motion compensated image.
  • a predicted image is derived by adding the predicted images.
  • the residual synthesis unit 30923 derives a corrected predicted image predSamplesLX ′ from the predicted image predSamplesLX, the corresponding block currIvSamplesLX, the reference block refIvSamplesLX, and the residual prediction flag iv_res_pred_weight_idx.
  • the corrected predicted image predSamplesLX ⁇ predSamplesLX ⁇ [x] [y] predSamplesLX [x] [y] + ((currIvSamplesLX [x] [y]-refIvSamplesLX [x] [y]) >> (iv_res_pred_weight_idx-1)).
  • x is 0 to the width of the prediction block ⁇ 1
  • y is 0 to the height of the prediction block ⁇ 1.
  • the illumination compensation unit 3093 performs illumination compensation on the input predicted image predSamplesLX.
  • the illumination compensation flag ic_flag is 0, the input predicted image predSamplesLX is output as it is.
  • the viewpoint synthesis prediction unit 3094 derives a predicted image predSampleLX by viewpoint synthesis prediction when the VSP mode flag VspModeFlag (vspModeFlag) is 1.
  • View synthesis prediction is a process of generating prediction images predSamples by dividing a prediction unit into sub-blocks and reading and interpolating blocks at positions shifted by the disparity array disparitySampleArray from the reference picture memory 306 in sub-block units. .
  • FIG. 17 is a block diagram showing a configuration of the viewpoint synthesis prediction unit 3094.
  • the viewpoint synthesis prediction unit 3094 includes a parallax array deriving unit 30941 and a reference image interpolation unit 30942.
  • VspModeFlag When the VSP mode flag VspModeFlag (vspModeFlag) is 1, the disparity array deriving unit 30941 derives a disparity array disparitySampleArray in units of sub-blocks.
  • the disparity array deriving unit 30941 has a depth that has the same POC as the decoding target picture from the reference picture memory 306 and has the same view ID as the view ID (RefViewIdx) of the picture indicated by the displacement vector. Read image refDepPels.
  • the derived coordinates (xTL, yTL) indicate the coordinates of the block corresponding to the prediction unit on the depth image refDepPels.
  • the viewpoint synthesis prediction unit 3094 performs sub-block division according to the size (width nPSW ⁇ height nPSH) of the target block (prediction unit).
  • FIG. 12 is a diagram for explaining sub-block division of the prediction unit.
  • the prediction unit is divided into 8 ⁇ 4 or 4 ⁇ 8 sub-blocks.
  • FIG. 12C in other cases, 8 ⁇ 4 or 4 ⁇ 8 sub-blocks are used depending on the depth value of the depth block corresponding to the prediction unit.
  • the parallax array deriving unit 30941 sets the flag minSubBlkSizeFlag to 1 according to the following equation when the width nPSW or height nPSH of the prediction unit is other than a multiple of 8.
  • (nPSH% 8! 0)
  • the disparity array deriving unit 30941 determines that horSplitFlag is 1 when the prediction unit height is other than a multiple of 8 (when nPSH% 8 is true), and In this case, 0 is set.
  • FIG. 13 is a diagram illustrating a method for deriving the sub-block size from the depth value. As shown in FIG. 13, the sub-block size is derived from the comparison of the four points (TL, TR, BL, BR) at the corners of the prediction block.
  • the pixel value of the depth image at the coordinates of the upper left end (TL) of the prediction unit is refDepPelsP0
  • the pixel value of the upper right end (TR) is refDepPelsP1
  • the pixel value of the lower left end (BL) is refDepPelsP2
  • Pixel value is refDepPelsP3
  • the following expression with a changed sign may be used.
  • the width nSubBlkW and the height nSubBlkH of the sub block are set using the following formula.
  • nPSH the predicted unit height
  • nPSH% 8 the predicted unit height
  • nSubBlkW 8
  • nSubBlkH 4
  • 8 is set to the width nSubBlkW of the sub-block and 4 is set to the width nSubBlkH of the sub-block.
  • nPSW nPSW% 8 is true
  • nSubBlkW 4
  • nSubBlkH 8
  • 4 is set to the width nSubBlkW of the sub block
  • 8 is set to the width nSubBlkH of the sub block.
  • the parallax array deriving unit 30941 uses the above conditional expression and the pixel value of the depth image to calculate the width of the sub-block. Set the height.
  • the disparity array deriving unit 30941 has a width nSubBlkW and a height nSubBlkH of the subblock when the upper left pixel of the block is the origin, a split flag splitFlag, a depth image refDepPels,
  • the coordinates (xTL, yTL) of the corresponding block and the view ID refViewIdx of the layer to which the reference picture indicated by the reference picture index refIdxLX belongs are output to the depth DV deriving unit 351, thereby obtaining the disparity array disparitySampleArray from the depth DV deriving unit 351.
  • the disparity array deriving unit 30941 outputs the derived disparity array disparitySampleArray to the reference image interpolation unit 30922.
  • FIG. 23 is a flowchart illustrating an operation of sub-block division in the parallax array deriving unit 30941B.
  • the parallax array deriving unit 30941B sets the sub-block size to 8 ⁇ 4 when the width nPSW of the prediction unit is larger than the height nPSH (step S2102).
  • horSplitFlag is set to 1. That is, when the split mode PartMode is 2N ⁇ N, 2N ⁇ nU, 2N ⁇ nD, horSplitFlag is set to 1 and the sub-block size is set to 8 ⁇ 4.
  • the disparity array deriving unit 30941B sets the subblock size to 4 ⁇ 8 when the prediction unit height PSH is greater than the width PSW. (Step S2104).
  • horSplitFlag is set to 0. That is, when the split mode PartMode is N ⁇ 2N, nL ⁇ 2N pixels, and nR ⁇ 2N, horSplitFlag is set to 0 and the sub-block size is set to 4 ⁇ 8.
  • the disparity array deriving unit 30941B sets the sub-block size from the depth according to the following equation (step S2105). That is, when the split mode PartMode is 2N ⁇ 2N or N ⁇ N, horSplitFlag is set based on the depth.
  • the width nSubBlkW and the height nSubBlkH of the sub block are set using the following formula.
  • width> height is determined first, but height> width may be determined first.
  • the disparity array deriving unit 30941B derives a horizontally-long rectangular sub-block size when the width of the prediction unit is larger than the height (2N ⁇ N, 2N ⁇ nU, 2N ⁇ nD). Then, when the height of the prediction unit is larger than the width (N ⁇ 2N, nL ⁇ 2N, nR ⁇ 2N), a vertically-long rectangular sub-block size is derived. When the width and height of the prediction unit are equal (2N ⁇ 2N, N ⁇ N), the sub-block size is derived according to the depth value.
  • width of the prediction unit is larger than the height
  • a sub-block size of width ⁇ height 8 ⁇ 4 is derived, and when the height of the prediction unit is larger than the width, width ⁇ height
  • the parallax array deriving unit 30941B further performs a process of deriving the parallax array disparitySampleArray in units of subblocks, but since this process is the same as the parallax array deriving unit 30941 already described, description thereof will be omitted.
  • the size of the sub-block is derived by comparing the height and width of the prediction unit, except when the width and height of the prediction unit match. Therefore, since it is not necessary to calculate the prediction unit depth, the processing amount is reduced. That is, when the height and width of the prediction unit are equal, the sub-block size is derived with reference to the depth, and when the height and width of the prediction unit are not equal, the sub-block size is referred without referring to the depth. Since it is derived, the processing amount is reduced.
  • FIG. 27 is a flowchart showing an operation of sub-block division in the parallax array deriving unit 30941C.
  • the parallax array deriving unit 30941C sets the sub-block size to 8 ⁇ 4 when the width nPSW of the prediction unit is larger than the height nPSH (step S2502).
  • horSplitFlag is set to 1. That is, when the split mode PartMode is 2N ⁇ N, 2N ⁇ nU, 2N ⁇ nD, horSplitFlag is set to 1 and the sub-block size is set to 8 ⁇ 4.
  • the disparity array deriving unit 30941C sets the sub-block size to 4 ⁇ 8 when the prediction unit height nPSH is greater than the width nPSW. (Step S2504).
  • 0 is set in horSplitFlag. That is, when the split mode PartMode is N ⁇ 2N, nL ⁇ 2N, and nR ⁇ 2N, horSplitFlag is set to 0 and the sub-block size is set to 4 ⁇ 8.
  • the disparity array deriving unit 30941C sets horSplitFlag to 1 and sets the sub-block size to 8 ⁇ 4. That is, when the split mode PartMode is 2N ⁇ 2N or N ⁇ N, horSplitFlag is set to 1 and the sub-block size is set to 8 ⁇ 4.
  • the width nSubBlkW and the height nSubBlkH of the sub block are set using the following formula.
  • width> height is determined first, but height> width may be determined first.
  • FIG. 26 illustrates sub-block selection in the parallax array deriving unit 30941C.
  • the disparity array deriving unit 30941C derives a horizontally-oriented rectangular sub-block size when the width of the prediction unit is larger than the height (2N ⁇ N, 2N ⁇ nU, 2N ⁇ nD), and performs prediction.
  • the height of the unit is larger than the width (N ⁇ 2N, nL ⁇ 2N, nR ⁇ 2N)
  • a vertical rectangular sub-block size is derived.
  • the width and height of the prediction unit are equal (2N ⁇ 2N, N ⁇ N)
  • a fixed sub-block size is derived.
  • a sub-block size of width ⁇ height 8 ⁇ 4 is derived, and when the height of the prediction unit is larger than the width. Derives a sub-block size of width ⁇ height of 4 ⁇ 8, otherwise it is appropriate to derive a sub-block size of 8 ⁇ 4.
  • the parallax array deriving unit 30941C further performs a process of deriving the parallax array disparitySampleArray in units of sub-blocks, but since this process is the same as the parallax array deriving unit 30941 already described, description thereof will be omitted.
  • the size of the sub-block is derived by comparing the height and width of the prediction unit, and thus the processing amount is reduced. Moreover, it has the characteristic that a process is simple compared with another modification.
  • parallax array deriving unit 30941D As yet another modification of the parallax array deriving unit 30941, a parallax array deriving unit 30941D will be described below.
  • the parallax array deriving unit 30941D is the same as the parallax array deriving unit 30941B and the parallax array deriving unit 30941C except for the case where the prediction unit has the same width and height.
  • the disparity array deriving unit 30941D sets the sub-block size to 8 ⁇ 4 (step S2602).
  • horSplitFlag is set to 1. That is, when the split mode PartMode is 2N ⁇ N, 2N ⁇ nU, 2N ⁇ nD, horSplitFlag is set to 1 and the sub-block size is set to 8 ⁇ 4.
  • the disparity array deriving unit 30941D sets the subblock size to 4 ⁇ 8 when the prediction unit height nPSH is greater than the width nPSW. (Step S2604).
  • horSplitFlag is set to 0. That is, when the split mode PartMode is N ⁇ 2N, nL ⁇ 2N, and nR ⁇ 2N, horSplitFlag is set to 0 and the sub-block size is set to 4 ⁇ 8.
  • the disparity array deriving unit 30941D sets horSplitFlag by the following equation. That is, in the case of 2N ⁇ 2N and N ⁇ N, horSplitFlag is set by the following equation.
  • horSplitFlag (log2 (nPSW) & 1)? 0: 1
  • the logarithm of 2 of the prediction unit width nPSW or the prediction unit height nPSH
  • 4 ⁇ 8 0
  • the logarithm of 2 of the width of the prediction unit is an even number (for example, the size of the prediction unit is 16 ⁇ 16, 64 ⁇ 64)
  • an 8 ⁇ 4 sub-block 0
  • the width nSubBlkW and the height nSubBlkH of the sub block are set using the following formula.
  • the disparity array deriving unit 30941D derives a horizontally long rectangular sub-block size, and the height of the prediction unit is wide. Is larger than (N ⁇ 2N, nL ⁇ 2N, nR ⁇ 2N), a vertical rectangular sub-block size is derived. Even when the width and height of the prediction unit are equal (2N ⁇ 2N, N ⁇ N), the sub-block size is derived according to the size of the prediction block.
  • the disparity array deriving unit 30941D further performs a process of deriving a disparity array disparitySampleArray in units of subblocks, but since this process is the same as the already described disparity array deriving unit 30941, description thereof is omitted.
  • the size of the sub-block is derived according to the size of the prediction unit, so that the processing amount is reduced.
  • the size of the sub-block is derived according to the size of the prediction unit, and thus the processing amount is reduced.
  • S2705E shown below may be sufficient as S2705.
  • the size of the sub-block is derived, so that the processing amount is reduced.
  • the depth DV conversion unit 351 includes a depth DV conversion table DepthToDisparityB, sub-block width nSubBlkW and height nSubBlkH, a split flag splitFlag, a depth image refDepPels, and coordinates (xTL, yTL) of a corresponding block on the depth image refDepPels.
  • the view IDrefViewIdx is input, and the disparity array disparitySamples that is the horizontal component of the displacement vector derived from the depth is derived by the following processing.
  • the depth DV deriving unit 351 derives a depth representative value maxDep for each sub-block constituting the prediction unit.
  • the depth DV deriving unit 351 has the X coordinate xP0 at the left end of the sub block, the X coordinate xP1 at the right end,
  • the top Y coordinate yP0 and the bottom Y coordinate yP1 xP0 Clip3 (0, pic_width_in_luma_samples-1, xTL + xSubB)
  • yP0 Clip3 (0, pic_height_in_luma_samples-1, yTL + ySubB)
  • xP1 Clip3 (0, pic_width_in_luma_samples-1, xTL + xSubB + nSubBlkW-1)
  • yP1 Clip3 (0, pic_height_in_luma_samples-1, yTL + ySubB + nSubBlkH-1) Set using the following formula.
  • DepthToDisparityB [x] [y] is the depth DV conversion table for deriving the displacement from the view IDx and the depth value y
  • refViewIdx is the view ID
  • maxDep is the representative depth value.
  • the depth DV deriving unit 351 outputs the derived parallax array disparitySamples to the displacement vector deriving unit 30363 as DoNBDV.
  • the depth DV deriving unit 351 also outputs the displacement vector of the sub-block to the reference image interpolation unit 30942.
  • FIG. 28 is a diagram for explaining the depth position referred to by the depth DV deriving unit 351B.
  • the depth DV deriving unit 351B sets the representative value maxDep of the sub-block depth to a depth value of one point.
  • xP0 Clip3 (0, pic_width_in_luma_samples-1, xTL + xSubB + nSubBlkW / 2)
  • yP0 Clip3 (0, pic_height_in_luma_samples-1, yTL + ySubB + nSubBlkH / 2) That is, the offset is set so as to be the center of the sub-block.
  • the process of deriving the disparity array disparitySamples from the representative depth value maxDep is the same as the depth DV deriving unit 351 already described, and thus the process is omitted.
  • the depth DV deriving unit 351B may derive the coordinates xP0 and yP0 of the point referring to the representative depth from the following expressions.
  • xP0 Clip3 (0, pic_width_in_luma_samples-1, xTL + xSubB + OFH)
  • yP0 Clip3 (0, pic_height_in_luma_samples-1, yTL + ySubB + OFV)
  • OFH and OFV are fixed offsets.
  • the depth DV deriving unit 351B since only one depth value is referred to for each sub-block in the view synthesis prediction, the memory access and processing for deriving the depth value are simplified. Play. When a fixed offset is used, the process is further simplified because it does not depend on the sub-block size. Note that in the image decoding apparatus including the depth DV deriving unit 351B and the parallax array deriving unit 30941B to the parallax array deriving unit 30941E, there is only one reference point for the depth of the subblock, and the depth is selected for selecting the subblock. Since it is not used (or depth is not used unless the width and height of the prediction block are the same), an effect is achieved that the processing necessary for viewpoint synthesis prediction is greatly simplified.
  • FIG. 29 is a diagram for explaining the depth position referred to by the depth DV deriving unit 351C.
  • the depth DV deriving unit 351C derives the sub-block depth representative value maxDep from the maximum value of the two depth values.
  • xP0 Clip3 (0, pic_width_in_luma_samples-1, xTL + xSub)
  • yP0 Clip3 (0, pic_height_in_luma_samples-1, yTL + ySubB)
  • xP1 Clip3 (0, pic_width_in_luma_samples-1, xTL + ySubB + nSubBlkW -1)
  • the depth DV deriving unit 351C since only two depth values are referred to for each sub-block in the view synthesis prediction, the memory access and processing for deriving the depth value are simplified. Play. Further, since the vertical coordinates of the two blocks are the same yP0, when the depth is arranged in a raster scan form, it is possible to read in bursts with one access, and the access becomes easy. There is an effect.
  • the subblock decision is made because the same point as the depth used when deriving the subblock size from the depth is referred to Access and a representative depth value derivation access can be performed at a time, making access easier.
  • the reference image interpolation unit 30942 derives prediction blocks predSamples from the disparity array disparitySampleArray input from the disparity array derivation unit 30941 and the reference picture index refIdxLX input from the inter prediction parameter decoding unit 303.
  • the reference image interpolation unit 30942 determines, from the reference picture refPic specified by the reference picture index refIdxLX, the pixel at the position where the X coordinate is shifted from the coordinates of the corresponding pixel by the value of the corresponding disparity array disparitySampleArray. Extract.
  • the reference image interpolation unit 30942 performs interpolation pixel derivation processing similar to that of the motion displacement compensation unit 3091 for each sub-block of the prediction unit, and sets a set of interpolation pixels as an interpolation block predPartLX.
  • the reference image interpolation unit 30942 outputs the derived interpolation block predPartLX to the addition unit 312 as a prediction block predSamplesLX.
  • the depth DV deriving unit 351D switches between deriving the depth representative value maxDep from the four depth values or deriving the depth representative value from the one depth value according to the shape of the target prediction unit of the disparity synthesis prediction. .
  • the depth DV deriving unit 351D derives the parallax from the derived depth representative value. In the parallax synthesis prediction, the parallax synthesis prediction is performed using the derived parallax as the horizontal component of the parallax vector.
  • FIG. 32 is a flowchart showing the operation of the depth DV deriving unit 351D.
  • (S4001) It is determined whether the target prediction unit that is the target of the disparity synthesis prediction has a predetermined shape. In the case of a predetermined shape, the process proceeds to S4002. If not, the process proceeds to S4003.
  • the depth representative value maxDep is derived from the maximum value of the four depths, and the parallax is derived from the derived depth representative value maxDep.
  • the processing described in the depth DV deriving unit 351 is used.
  • the maximum value of the depth values at the four points at the corners of the sub-block is used as the depth representative value maxDep.
  • the depth representative value maxDep is derived from the depth of one point, and the parallax is derived from the derived depth representative value maxDep.
  • the processing described in the depth DV deriving unit 351B is used.
  • the depth value at one center of the sub-block is used as the depth representative value maxDep.
  • the processing of the depth DV deriving unit 351D is shown in pseudo code as follows.
  • xP0 Clip3 (0, pic_width_in_luma_samples-1, xTL + xSubB)
  • yP0 Clip3 (0, pic_height_in_luma_samples-1, yTL + ySubB)
  • xP1 Clip3 (0, pic_width_in_luma_samples-1, xTL + xSubB + nSubBlkW-1)
  • yP1 Clip3 (0, pic_height_in_luma_samples-1, yTL + ySubB + nSubBlkH-1)
  • maxDep Max (maxDep, refDepPels [xP0] [yP1])
  • nPSW and nPSH are the width and height of the prediction unit
  • xTL and yTL are the upper left coordinates of the depth block corresponding to the prediction unit
  • xSubB and xSubB are the upper left coordinates of the subblock in the depth block
  • the width and height of the screen, Clip3 (x, y, z) is a function that clips z in the range from z to x and below y.
  • the boundary point in the screen Used to replace Max (x, y) is a function to find the maximum value of x and y.
  • refDepPels [x] [y] indicates the depth value of the coordinates x and y.
  • the sub-block center coordinates other than the square are (xTL + xSubB / 2, yTL + ySubB / 2).
  • FIG. 33 is a diagram showing the depth position accessed by the depth DV deriving unit 351D.
  • the target prediction unit is square, reference is made to the depths of the four corners of the sub-block, and as shown in (b) in the figure, 1 in the sub-block otherwise. Refers to the depth of the point.
  • the sub-block size is basically 8 ⁇ 4 or 4 ⁇ 8.
  • the depth DV deriving unit 351D by switching the depth representative value used for deriving the disparity vector used for the disparity synthesis prediction according to whether the target prediction unit satisfies a predetermined shape, more accurate accuracy can be obtained. There is an effect of deriving a high disparity vector. Thereby, the encoding efficiency can be improved.
  • the depth DV deriving unit 351B that derives the depth representative value from the depth of one point improves the coding efficiency in many sequences, but decreases the coding efficiency in a small number of partial sequences.
  • the depth DV deriving unit 351D that switches between 1 point and 4 points confirms improvement in coding efficiency in almost all sequences.
  • the method using the four-point depth has the advantage of improving the reliability
  • the method using the one-point depth is smaller between adjacent sub-blocks.
  • the same displacement parallax vector
  • the method using the depth of one point since the reference point is separated between the sub-blocks, a different motion vector can often be assigned to each sub-block, and it is based on the depth for each sub-block.
  • the effect of the parallax synthesis prediction of assigning independent motion vectors can be sufficiently exhibited. Therefore, high encoding efficiency can be obtained in many sequences.
  • the method of switching between 1 point and 4 points according to the characteristics of the target prediction unit is to select the better of 1 point and 4 points by selecting the target prediction unit on the encoding device side. Since this is possible, the coding efficiency is improved.
  • the depth DV deriving unit 351D can determine whether the target prediction unit in S4001 has a predetermined shape as one of the following determinations.
  • the target prediction unit is not square.
  • the width nPbW and the height nPbH of the prediction block are not equal.
  • the division mode of the target coding unit is not 2N ⁇ 2N.
  • the configuration with four points is used when the target prediction unit described later is other than a square. It is confirmed that the coding efficiency is higher in many sequences than the configuration with four points. This is because the block size is often relatively large when the target prediction unit is square (2N ⁇ 2N), and in this case, there is a high possibility that a disparity vector different from that of an adjacent sub-block is obtained even if four points are used. . Also, the larger the block size, the greater the variation in depth within the sub-block. Therefore, it is necessary to suppress the variation using four points instead of one point within the sub-block. Conversely, when the prediction block size is small, it is easier for one point to assign a different disparity vector for each prediction block.
  • the reference image interpolation unit 30942 derives prediction blocks predSamples from the disparity array disparitySampleArray input from the disparity array derivation unit 30941 and the reference picture index refIdxLX input from the inter prediction parameter decoding unit 303.
  • the reference image interpolation unit 30942 determines, from the reference picture refPic specified by the reference picture index refIdxLX, the pixel at the position where the X coordinate is shifted from the coordinates of the corresponding pixel by the value of the corresponding disparity array disparitySampleArray. Extract.
  • the reference image interpolation unit 30942 performs interpolation pixel derivation processing similar to that of the motion displacement compensation unit 3091 for each sub-block of the prediction unit, and sets a set of interpolation pixels as an interpolation block predPartLX.
  • the reference image interpolation unit 30942 outputs the derived interpolation block predPartLX to the addition unit 312 as a prediction block predSamplesLX.
  • the depth DV deriving unit 351E switches between deriving the depth representative value maxDep from the four depth values or deriving the depth representative value from the one depth value according to the size of the sub-block for disparity synthesis prediction.
  • the depth DV deriving unit 351D derives the parallax from the derived depth representative value. In the parallax synthesis prediction, the parallax synthesis prediction is performed using the derived parallax as the horizontal component of the parallax vector.
  • FIG. 34 is a flowchart showing the operation of the depth DV deriving unit 351E.
  • the process proceeds to S4102. If not, the process proceeds to S4103.
  • any of the following can be used for determining the predetermined shape.
  • -The target subblock is 8x4-The width of the target subblock is larger than the height-The division type horSplitFlag of the target subblock is a value (for example, 1) indicating 8x4 (S4102)
  • the depth representative value maxDep is derived from the depth of one point
  • the parallax is derived from the derived depth representative value. Specifically, the processing described in the depth DV deriving unit 351 is used.
  • the depth representative value is derived from the maximum value of the four depths, and the parallax is derived from the derived depth representative value. Specifically, the processing described in the depth DV deriving unit 351B is used.
  • the process of deriving the disparity array disparitySamples from the representative depth value maxDep is the same as the depth DV deriving unit 351 already described, and thus the process is omitted.
  • FIG. 35 is a diagram showing the depth position accessed by the depth DV deriving unit 351E.
  • the depth DV deriving unit 351E sets the depth representative depth value maxDep at one point in the sub-block, and the sub-block is 4 ⁇ 8.
  • the maximum depth value of the four points of the sub-block is referred to as the representative depth value maxDep. This is equivalent to the flowchart shown in FIG.
  • the maximum depth value of four points in the sub-block is set as the depth representative depth value maxDep.
  • the sub-block is 4 ⁇ 8
  • the depth DV deriving unit 351E switching the depth representative value used for deriving the disparity vector used for the disparity synthesis prediction according to whether or not the sub-block size satisfies a predetermined condition allows more accurate accuracy. There is an effect of deriving a high disparity vector.
  • FIG. 20 is a block diagram illustrating a configuration of the image encoding device 11 according to the present embodiment.
  • the image encoding device 11 includes a prediction image generation unit 101, a subtraction unit 102, a DCT / quantization unit 103, an entropy encoding unit 104, an inverse quantization / inverse DCT unit 105, an addition unit 106, a prediction parameter memory (prediction parameter storage). Section, frame memory) 108, reference picture memory (reference image storage unit, frame memory) 109, coding parameter determination unit 110, and prediction parameter coding unit 111.
  • the prediction parameter encoding unit 111 includes an inter prediction parameter encoding unit 112 and an intra prediction parameter encoding unit 113.
  • the image encoding device 11 is an image encoding device that is configured from a plurality of viewpoint images and depth images, and encodes encoded data including a plurality of layers (base layer and enhancement layer).
  • the predicted image generation unit 101 generates predicted picture block predSamples for each block that is an area obtained by dividing the picture for each viewpoint of the layer image T input from the outside.
  • the predicted image generation unit 101 reads the reference picture block from the reference picture memory 109 based on the prediction parameter input from the prediction parameter encoding unit 111.
  • the prediction parameter input from the prediction parameter encoding unit 111 is, for example, a motion vector or a displacement vector.
  • the predicted image generation unit 101 reads the reference picture block of the block at the position indicated by the motion vector or the displacement vector predicted from the encoded prediction unit.
  • the predicted image generation unit 101 generates predicted picture blocks predSamples using one prediction method among a plurality of prediction methods for the read reference picture block.
  • the predicted image generation unit 101 outputs the generated predicted picture block predSamples to the subtraction unit 102 and the addition unit 106. Note that since the predicted image generation unit 101 performs the same operation as the predicted image generation unit 308 already described, details of generation of the predicted picture block predSamples are omitted.
  • the predicted image generation unit 101 calculates an error value based on a difference between a signal value for each pixel of a block included in the layer image and a signal value for each corresponding pixel of the predicted picture block predSamples. Select the prediction method to minimize. Note that the method of selecting the prediction method is not limited to this.
  • the plurality of prediction methods are intra prediction, motion prediction, and merge mode.
  • Motion prediction is prediction between display times among the above-mentioned inter predictions.
  • the merge mode is a prediction that uses the same reference picture block and prediction parameter as a block that has already been encoded and is within a predetermined range from the prediction unit.
  • the plurality of prediction methods are intra prediction, motion prediction, merge mode (including viewpoint synthesis prediction), and displacement prediction.
  • the displacement prediction (disparity prediction) is prediction between different layer images (different viewpoint images) in the above-described inter prediction. For displacement prediction (disparity prediction), there are predictions with and without additional prediction (residual prediction and illuminance compensation).
  • the predicted image generation unit 101 When the intra prediction is selected, the predicted image generation unit 101 outputs a prediction mode PredMode indicating the intra prediction mode used when generating the predicted picture block predSamples to the prediction parameter encoding unit 111.
  • the prediction image generation unit 101 stores the motion vector mvLX used when generating the prediction picture block predSamples in the prediction parameter memory 108 and outputs the motion vector mvLX to the inter prediction parameter encoding unit 112.
  • the motion vector mvLX indicates a vector from the position of the encoded prediction unit to the position of the reference picture block when the predicted picture block predSamples is generated.
  • the information indicating the motion vector mvLX may include information indicating a reference picture (for example, a reference picture index refIdxLX, a picture order number POC), and may represent a prediction parameter.
  • the predicted image generation unit 101 outputs a prediction mode PredMode indicating the inter prediction mode to the prediction parameter encoding unit 111.
  • the prediction image generation unit 101 When the prediction image generation unit 101 selects the displacement prediction, the prediction image generation unit 101 stores the displacement vector used when generating the prediction picture block predSamples in the prediction parameter memory 108 and outputs it to the inter prediction parameter encoding unit 112.
  • the displacement vector dvLX indicates a vector from the position of the encoded prediction unit to the position of the reference picture block when the predicted picture block predSamples is generated.
  • the information indicating the displacement vector dvLX may include information indicating a reference picture (for example, reference picture index refIdxLX, view IDview_id) and may represent a prediction parameter.
  • the predicted image generation unit 101 outputs a prediction mode PredMode indicating the inter prediction mode to the prediction parameter encoding unit 111.
  • the predicted image generation unit 101 When the merge mode is selected, the predicted image generation unit 101 outputs a merge index merge_idx indicating the selected reference picture block to the inter prediction parameter encoding unit 112. Further, the predicted image generation unit 101 outputs a prediction mode PredMode indicating the merge mode to the prediction parameter encoding unit 111.
  • the prediction image generation unit 101 performs the viewpoint synthesis prediction unit 3094 included in the prediction image generation unit 101 as described above. Perform viewpoint synthesis prediction. Further, in the motion prediction, displacement prediction, and merge mode, the prediction image generation unit 101 includes the prediction image generation unit 101 as described above when the residual prediction execution flag resPredFlag indicates that the residual prediction is performed. The residual prediction unit 3092 performs residual prediction.
  • the subtraction unit 102 subtracts the signal value of the prediction picture block predSamples input from the prediction image generation unit 101 for each pixel from the signal value of the corresponding block of the layer image T input from the outside, and generates a residual signal. Generate.
  • the subtraction unit 102 outputs the generated residual signal to the DCT / quantization unit 103 and the encoding parameter determination unit 110.
  • the DCT / quantization unit 103 performs DCT on the residual signal input from the subtraction unit 102 and calculates a DCT coefficient.
  • the DCT / quantization unit 103 quantizes the calculated DCT coefficient to obtain a quantization coefficient.
  • the DCT / quantization unit 103 outputs the obtained quantization coefficient to the entropy encoding unit 104 and the inverse quantization / inverse DCT unit 105.
  • the entropy coding unit 104 receives the quantization coefficient from the DCT / quantization unit 103 and the coding parameter from the coding parameter determination unit 110.
  • the input encoding parameters include codes such as a reference picture index refIdxLX, a prediction vector flag mvp_LX_flag, a difference vector mvdLX, a prediction mode PredMode, a merge index merge_idx, a residual prediction index iv_res_pred_weight_idx, and an illumination compensation flag ic_flag.
  • the entropy encoding unit 104 generates an encoded stream Te by entropy encoding the input quantization coefficient and encoding parameter, and outputs the generated encoded stream Te to the outside.
  • the inverse quantization / inverse DCT unit 105 inversely quantizes the quantization coefficient input from the DCT / quantization unit 103 to obtain a DCT coefficient.
  • the inverse quantization / inverse DCT unit 105 performs inverse DCT on the obtained DCT coefficient to calculate a decoded residual signal.
  • the inverse quantization / inverse DCT unit 105 outputs the calculated decoded residual signal to the addition unit 106 and the encoding parameter determination unit 110.
  • the addition unit 106 adds the signal value of the prediction picture block predSamples input from the prediction image generation unit 101 and the signal value of the decoded residual signal input from the inverse quantization / inverse DCT unit 105 for each pixel, and refers to them. Generate a picture block.
  • the adding unit 106 stores the generated reference picture block in the reference picture memory 109.
  • the prediction parameter memory 108 stores the prediction parameter generated by the prediction parameter encoding unit 111 at a predetermined position for each picture and block to be encoded.
  • the reference picture memory 109 stores the reference picture block generated by the adding unit 106 at a predetermined position for each picture and block to be encoded.
  • the encoding parameter determination unit 110 selects one set from among a plurality of sets of encoding parameters.
  • the encoding parameter is a parameter to be encoded that is generated in association with the above-described prediction parameter or the prediction parameter.
  • the predicted image generation unit 101 generates predicted picture blocks predSamples using each of these sets of encoding parameters.
  • the encoding parameter determination unit 110 calculates a cost value indicating the amount of information and the encoding error for each of a plurality of sets.
  • the cost value is, for example, the sum of a code amount and a square error multiplied by a coefficient ⁇ .
  • the code amount is the information amount of the encoded stream Te obtained by entropy encoding the quantization error and the encoding parameter.
  • the square error is the sum between pixels regarding the square value of the residual value of the residual signal calculated by the subtracting unit 102.
  • the coefficient ⁇ is a real number larger than a preset zero.
  • the encoding parameter determination unit 110 selects a set of encoding parameters that minimizes the calculated cost value. As a result, the entropy encoding unit 104 outputs the selected set of encoding parameters to the outside as the encoded stream Te, and does not output the set of unselected encoding parameters.
  • the prediction parameter encoding unit 111 derives a prediction parameter used when generating a prediction picture based on the parameter input from the prediction image generation unit 101, and encodes the derived prediction parameter to generate a set of encoding parameters. To do.
  • the prediction parameter encoding unit 111 outputs the generated set of encoding parameters to the entropy encoding unit 104.
  • the prediction parameter encoding unit 111 stores, in the prediction parameter memory 108, a prediction parameter corresponding to the set of the generated encoding parameters selected by the encoding parameter determination unit 110.
  • the prediction parameter encoding unit 111 operates the inter prediction parameter encoding unit 112 when the prediction mode PredMode input from the predicted image generation unit 101 indicates the inter prediction mode.
  • the prediction parameter encoding unit 111 operates the intra prediction parameter encoding unit 113 when the prediction mode PredMode indicates the intra prediction mode.
  • the inter prediction parameter encoding unit 112 derives an inter prediction parameter based on the prediction parameter input from the encoding parameter determination unit 110.
  • the inter prediction parameter encoding unit 112 includes the same configuration as the configuration in which the inter prediction parameter decoding unit 303 (see FIG. 5 and the like) derives the inter prediction parameter as a configuration for deriving the inter prediction parameter.
  • the configuration of the inter prediction parameter encoding unit 112 will be described later.
  • the intra prediction parameter encoding unit 113 determines the intra prediction mode IntraPredMode indicated by the prediction mode PredMode input from the encoding parameter determination unit 110 as a set of inter prediction parameters.
  • the inter prediction parameter encoding unit 112 is means corresponding to the inter prediction parameter decoding unit 303.
  • FIG. 21 is a schematic diagram illustrating a configuration of the inter prediction parameter encoding unit 112 according to the present embodiment.
  • the inter prediction parameter encoding unit 112 includes a merge mode parameter deriving unit 1121, an AMVP prediction parameter deriving unit 1122, a subtracting unit 1123, and an inter prediction parameter encoding control unit 1126.
  • the merge mode parameter deriving unit 1121 has the same configuration as the merge mode parameter deriving unit 3036 (see FIG. 7).
  • the AMVP prediction parameter derivation unit 1122 has the same configuration as the AMVP prediction parameter derivation unit 3032 (see FIG. 7).
  • the subtraction unit 1123 subtracts the prediction vector mvpLX input from the AMVP prediction parameter derivation unit 1122 from the vector mvLX input from the coding parameter determination unit 110 to generate a difference vector mvdLX.
  • the difference vector mvdLX is output to the inter prediction parameter encoding control unit 1126.
  • the inter prediction parameter coding control unit 1126 instructs the entropy coding unit 104 to decode a code related to inter prediction (the syntax element) includes, for example, a code (syntax element) included in the coded data. , Merge flag merge_flag, merge index merge_idx, inter prediction flag inter_pred_idc, reference picture index refIdxLX, prediction vector flag mvp_LX_flag, and difference vector mvdLX are encoded.
  • the inter prediction parameter coding control unit 1126 includes a residual prediction index coding unit 10311, an illumination compensation flag coding unit 10312, a merge index coding unit, a vector candidate index coding unit 10313, a split mode coding unit, and a merge flag code. And an inter prediction flag encoding unit, a reference picture index encoding unit, and a vector difference encoding unit.
  • the partition mode coding unit, the merge flag coding unit, the merge index coding unit, the inter prediction flag coding unit, the reference picture index coding unit, the vector candidate index coding unit, and the vector difference coding unit are each divided mode part_mode , Merge flag merge_flag, merge index merge_idx, inter prediction flag inter_pred_idc, reference picture index refIdxLX, prediction vector flag mvp_LX_flag, and difference vector mvdLX are encoded.
  • the residual prediction index encoding unit 10311 encodes the residual prediction index iv_res_pred_weight_idx to indicate whether or not residual prediction is performed.
  • the illuminance compensation flag encoding unit 10312 encodes the illuminance compensation flag ic_flag to indicate whether or not illuminance compensation is performed.
  • the inter prediction parameter encoding control unit 1126 uses the merge index merge_idx input from the encoding parameter determination unit 110 as the entropy encoding unit 104. To be encoded.
  • the inter prediction parameter encoding control unit 1126 performs the following process when the prediction mode PredMode input from the predicted image generation unit 101 indicates the inter prediction mode.
  • the inter prediction parameter encoding control unit 1126 integrates the reference picture index refIdxLX and the prediction vector flag mvp_LX_flag input from the encoding parameter determination unit 110 and the difference vector mvdLX input from the subtraction unit 1123.
  • the inter prediction parameter encoding control unit 1126 outputs the integrated code to the entropy encoding unit 104 to be encoded.
  • the predicted image generation unit 101 is a means corresponding to the predicted image generation unit 308 described above, and the process of generating a predicted image from the prediction parameters is the same.
  • the predicted image generation unit 101 includes the viewpoint synthesis prediction unit 3094 described above, as in the predicted image generation unit 308. That is, the size of the sub-block is derived by comparing the height and width of the prediction block. For this reason, it is not necessary to calculate the depth except when the width and height of the prediction block coincide with each other, so that the processing amount is reduced.
  • the image encoding device 11 of the present embodiment may include a depth DV deriving unit 351B or a depth DV deriving unit 351C.
  • the depth DV deriving unit 351B refers to only one depth value for each sub-block in the view synthesis prediction. As a result, the memory access and processing for deriving the depth value are simplified.
  • the depth DV deriving unit 351C refers to only two depth values for each sub-block in the view synthesis prediction. As a result, the memory access and processing for deriving the depth value are simplified.
  • the image encoding device 11 of the present embodiment may include a depth DV deriving unit 351D or a depth DV deriving unit 351E.
  • the depth DV deriving unit 351D whether to refer to the depth value of one point or the depth value of four points for each sub-block in the viewpoint synthesis prediction based on whether the target prediction unit is a square or not. Switch. For this reason, the accuracy of the depth value is improved, and the encoding efficiency is improved.
  • the depth DV deriving unit 351E whether to refer to a depth value of one point for each subblock or to refer to a depth value of four points in the view synthesis prediction according to the shape of the subblock in the view synthesis prediction. Switch. For this reason, the accuracy of the depth value is improved, and the encoding efficiency is improved.
  • a part of the image encoding device 11 and the image decoding device 31 in the above-described embodiment for example, the entropy decoding unit 301, the prediction parameter decoding unit 302, the predicted image generation unit 101, the DCT / quantization unit 103, and entropy encoding.
  • Unit 104, inverse quantization / inverse DCT unit 105, encoding parameter determination unit 110, prediction parameter encoding unit 111, entropy decoding unit 301, prediction parameter decoding unit 302, predicted image generation unit 308, inverse quantization / inverse DCT unit 311 may be realized by a computer.
  • the program for realizing the control function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by a computer system and executed.
  • the “computer system” is a computer system built in either the image encoding device 11 or the image decoding device 31 and includes an OS and hardware such as peripheral devices.
  • the “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk incorporated in a computer system.
  • the “computer-readable recording medium” is a medium that dynamically holds a program for a short time, such as a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line,
  • a volatile memory inside a computer system serving as a server or a client may be included and a program that holds a program for a certain period of time.
  • the program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
  • part or all of the image encoding device 11 and the image decoding device 31 in the above-described embodiment may be realized as an integrated circuit such as an LSI (Large Scale Integration).
  • LSI Large Scale Integration
  • Each functional block of the image encoding device 11 and the image decoding device 31 may be individually made into a processor, or a part or all of them may be integrated into a processor.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. Further, in the case where an integrated circuit technology that replaces LSI appears due to progress in semiconductor technology, an integrated circuit based on the technology may be used.
  • the present invention can be suitably applied to an image decoding apparatus that decodes encoded data obtained by encoding image data and an image encoding apparatus that generates encoded data obtained by encoding image data. Further, the present invention can be suitably applied to the data structure of encoded data generated by an image encoding device and referenced by the image decoding device.
  • Merge candidate storage unit 303612 Extended merge candidate deriving unit 3036121 ... Inter-layer merge candidate deriving unit 3036123 ... Displacement merge candidate deriving unit 3036124 ... VSP merge candidate deriving Unit 303613 ... basic merge candidate derivation unit 3036131 ... spatial merge candidate derivation unit 3036131A ... spatial merge candidate derivation unit 3036131B ... spatial merge candidate derivation unit 3036132 ... temporal merge candidate derivation unit 3036133 ... combined merge candidate derivation unit 3036134 ... zero merge candidate derivation unit 30362 ... Merge candidate selection unit 30363 ... Displacement vector derivation unit 304 ... Intra prediction parameter decoding unit 306 ...
  • reference image interpolation unit 310 intra prediction image generation unit 311 ... Inverse quantization / inverse DCT unit 312 ... Adder 351 ... Depth DV derivation unit 351B ... Depth DV derivation unit 351C ... Depth DV derivation unit 351D ... Depth DV derivation unit 351E ... Depth DV derivation unit 41 ... Image display device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、少なくともベクトルとＶＳＰモードフラグを含む予測パラメータを導出するマージモードパラメータ導出装置であって、予測ユニットの座標(xPb, yPb)と高さがnPbH とする場合に、位置A1 の座標を(xPb - 1, yPb +nPbH - 1)と導出し、マージ候補N がA1 であり、位置A1 のＶＳＰモードフラグが１の場合に、ＶＳＰモードフラグを有効とすることを特徴とする。また、輝度補償フラグが０かつ残差予測重みが０の場合のみ、対象予測ユニットのＶＳＰモードフラグを１とすることを特徴とする。本発明によれば、視点合成予測におけるデプスアクセスを減少させるため処理量が低減するという効果を奏する。また、視点合成予測で用いられるサブブロック毎に好適なデプスアクセスを行うため、符号化効率が向上するという効果を奏する。

Description

視点合成予測装置、画像復号装置及び画像符号化装置
　本発明は、視点合成予測装置、画像復号装置及び画像符号化装置に関する。
　複数視点の画像符号化技術には、複数の視点の画像を符号化する際に画像間の視差を予測することによって情報量を低減する視差予測符号化や、その符号化方法に対応した復号方法が提案されている。視点画像間の視差を表すベクトルを変位ベクトルと呼ぶ。変位ベクトルは、水平方向の要素（ｘ成分）と垂直方向の要素（ｙ成分）を有する２次元のベクトルであり、１つの画像を分割した領域であるブロック毎に算出される。また、複数視点の画像を取得するには、それぞれの視点に配置されたカメラを用いることが一般的である。複数視点の符号化では、各視点画像は、複数のレイヤにおいてそれぞれ異なるレイヤとして符号化される。複数のレイヤから構成される動画像の符号化方法は、一般に、スケーラブル符号化又は階層符号化と呼ばれる。スケーラブル符号化では、レイヤ間で予測を行うことで、高い符号化効率を実現する。レイヤ間で予測を行わずに基準となるレイヤは、ベースレイヤ、それ以外のレイヤは拡張レイヤと呼ばれる。レイヤが視点画像から構成される場合のスケーラブル符号化を、ビュースケーラブル符号化と呼ぶ。このとき、ベースレイヤはベースビュー、拡張レイヤは非ベースビューとも呼ばれる。さらに、ビュースケーラブルに加え、レイヤがテクスチャレイヤ（画像レイヤ）とデプスレイヤ（距離画像レイヤ）から構成される場合のスケーラブル符号化は、３次元スケーラブル符号化と呼ばれる。
　また、スケーラブル符号化には、ビュースケーラブル符号化の他、空間的スケーラブル符号化（ベースレイヤとして解像度の低いピクチャ、拡張レイヤが解像度の高いピクチャを処理）、ＳＮＲスケーラブル符号化（ベースレイヤとして画質の低いピクチャ、拡張レイヤとして解像度の高いピクチャを処理）等がある。スケーラブル符号化では、例えばベースレイヤのピクチャを、拡張レイヤのピクチャの符号化において、参照ピクチャとして用いることがある。
　非特許文献１では、予測ユニットを小さいサブブロックに分割し、サブブロックごとに変位ベクトルを用いて予測をすることにより、精度の高い予測画像を得る視点合成予測と呼ばれる技術が知られている。また、非特許文献１では、対象ビューとは異なるビューの画像を用いて残差を推定して加算する残差予測とよばれる技術が知られている。また、非特許文献１では、インタービューマージ候補など、拡張マージ候補を導出する技術が知られている。
3D-HEVC Draft Text 4, JCT3V-F1001-v2, JCT-3V 6th Meeting: CH, 25 Oct. - 1 Nov. 2013（2013年12月14日公開）
　非特許文献１の視点合成予測では、サブブロックにおいて多くのデプスを参照し最大値を導出するため、処理量が大きいという課題がある。また、予測ユニットのサイズが８の倍数以外の場合には、デプスを用いてサブブロックのサイズを決定するため、処理量が大きいという課題がある。また、視点合成予測でアクセスする点がサブブロックのコーナー４点であるため、処理量が大きい場合や、符号化効率が十分ではない場合があるという課題がある。
　本発明の１つの形態は、視点合成予測を用いて予測画像を生成する視点合成予測部を備え、前記視点合成予測部は、予測ブロックの高さと幅の比較により、サブブロックのサイズを導出する手段を備えることを特徴とする。
　本発明の１つの形態は、前記予測ブロックの高さと幅が等しい場合には、デプスを参照してサブブロックサイズを導出し、前記予測ブロックの高さと幅が等しくない場合には、デプスを参照せずにサブブロックサイズを導出することを特徴とする。
　本発明の１つの形態は、前記予測ブロックの高さと幅が等しい場合には、固定のサブブロックサイズを導出することを特徴とする。
　本発明の１つの形態は、前記予測ブロックの幅が高さよりも大きい場合に、横長の長方形のサブブロックサイズを導出し、前記予測ブロックの高さが幅よりも大きい場合に、縦長の長方形のサブブロックサイズを導出することを特徴とする。
　本発明の１つの形態は、上記サブブロックサイズは幅×高さが８×４もしくは４×８であることを特徴とする。
　　本発明の１つの形態は、上記視点合成予測装置は、前記予測ブロックの幅が高さよりも大きい場合に、幅×高さが８×４のサブブロックサイズを導出し、前記予測ブロックの高さが幅よりも大きい場合には、幅×高さが４×８のサブブロックサイズを導出し、それ以外の場合には、デプスを参照して８×４のサブブロックサイズもしくは４×８のサブブロックサイズを導出することを特徴とする。
　本発明の１つの形態は、上記サブブロックサイズは、幅×高さが８×４もしくは４×８であることを特徴とする。
　本発明の１つの形態は、上記固定のサブブロックサイズは、幅×高さが８×４であることを特徴とする。
　本発明の１つの形態は、サブブロックのデプス代表値を導出し、デプス代表値から視差ベクトルを設定するデプスＤＶ導出部を備える視点合成予測装置において、前記デプスＤＶ導出部は、サブブロック中の１点からデプス代表値を導出することを特徴とする。
　本発明の１つの形態は、上記サブブロック中の１点の座標は、サブブロックの中心座標もしくはサブブロックの左上座標から水平方向に２、垂直方向に２だけ加算した座標であることを特徴とする。
　本発明の１つの形態は、サブブロックのデプス代表値を導出し、デプス代表値から視差ベクトルを設定するデプスＤＶ導出部を備える視点合成予測装置において、前記デプスＤＶ導出部は、サブブロック中の同じ垂直方向座標を有する２点の最大値からデプス代表値を導出することを特徴とする。
　本発明の１つの形態は、サブブロックのデプス代表値を導出し、デプス代表値から視差ベクトルを設定するデプスＤＶ導出部を備える視点合成予測装置において、前記デプスＤＶ導出部は、サブブロック４隅の４点、もしくは、サブブロック中の１点からデプス代表値を導出することを特徴とする。
　本発明の１つの形態は、前記デプスＤＶ導出部は、対象予測ユニットが正方形の場合に、サブブロック中の４点、それ以外の場合にサブブロックの１点からデプス代表値を導出することを特徴とする。
　前記デプスＤＶ導出部は、対象予測ユニットの幅と高さが等しい場合に、サブブロック中の４点、それ以外の場合にサブブロック中の１点からデプス代表値を導出することを特徴とする。
　本発明の１つの形態は、対象予測ユニットの周囲の参照位置の動きベクトルを用いて対象ブロックのマージ候補を導出する空間マージ候補導出装置であって、上記参照位置のＹ座標yNが、上記対象予測ユニットの左上座標のＹ座標yPb以上である場合にのみ、前記参照位置のＶＳＰフラグを参照し、前記ＶＳＰフラグを用いて対象予測ユニットのマージ候補のＶＳＰフラグを導出することを特徴とする。
　本発明の１つの形態は、前記空間マージ候補導出部が導出する周囲に位置する予測ユニットのＶＳＰフラグと、輝度補償フラグと残差予測重みの論理積を、対象予測ユニットのＶＳＰフラグとすることを特徴とする。
　本発明の１つの形態は、視点合成予測を行うマージ候補を導出するマージ候補導出部と上記記載の視点合成予測装置を備えることを特徴とする。
　本発明の１つの形態は、視点合成予測を行うマージ候補を導出するマージ候補導出部と上記記載の視点合成予測装置を備える画像符号化装置を備えることを特徴とする。
　本発明によれば、視点合成予測におけるデプスアクセスを減少させるため処理量が低減するという効果を奏する。また、視点合成予測で用いられるサブブロック毎に好適なデプスアクセスを行うため、符号化効率が向上するという効果を奏する。
本発明の実施形態に係る画像伝送システムの構成を示す概略図である。 本実施形態に係る符号化ストリームのデータの階層構造を示す図である。 参照ピクチャリストの一例を示す概念図である。 参照ピクチャの例を示す概念図である。 本実施形態に係る画像復号装置の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部の構成を示す概略図である。 本実施形態に係るマージモードパラメータ導出部の構成を示す概略図である。 本実施形態に係るAMVP予測パラメータ導出部の構成を示す概略図である。 分割モードのパターンを示す図であり、（ａ）～（ｈ）は、それぞれ、分割モードが、２Ｎ×Ｎ、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、および、Ｎ×Ｎの場合のパーティション形状について示している。 本実施形態に係るインター予測パラメータ復号制御復号部の構成を示す概略図である。 本実施形態に係るインター予測画像生成部の構成を示す概略図である。 視点合成予測部におけるサブブロックの分割方法を説明する図である。 視点合成予測部におけるサブブロックの分割方法を説明する図である。 本実施形態に係る残差予測部の構成を示す概略図である。 本実施形態に係る残差予測の概念図（その１）である。 本実施形態に係る残差予測の概念図（その２）である。 本実施形態に係る視点合成予測部の構成を示す概略図である。 マージ候補リストの一例を示す図である。 空間マージ候補が参照する隣接ブロックの位置を示す図である 本実施形態に係る画像符号化装置の構成を示すブロック図である。 本実施形態に係るインター予測パラメータ符号化部の構成を示す概略図である。 視差配列導出部３０９４１におけるサブブロック選択を図示したものである。 本実施形態の視差配列導出部３０９４１Ｂにおけるサブブロック分割の動作を示すフローチャートである。 本実施形態の視差配列導出部３０９４１Ｂにおけるサブブロック選択を図示したものである。 本実施形態の視差配列導出部３０９４１Ｂにおけるサブブロック選択を図示したものである。 本実施形態の視差配列導出部３０９４１Ｃにおけるサブブロック選択を図示したものである。 本実施形態の視差配列導出部３０９４１Ｃにおけるサブブロック分割の動作を示すフローチャートである。 本実施形態のデプスＤＶ導出部３５１Ｂが参照するデプス位置を説明するための図である 本実施形態のデプスＤＶ導出部３５１Ｃが参照するデプス位置を説明するための図である。 本実施形態の空間マージ候補導出部３０３６１３１Ａの動作を説明するフローチャートである。 本実施形態の空間マージ候補導出部３０３６１３１Ｂの動作を説明するフローチャートである。 本実施形態のデプスＤＶ導出部３５１Ｄの動作を説明するフローチャートである。 本実施形態のデプスＤＶ導出部３５１Ｄが参照するデプス位置を説明するための図である。 本実施形態のデプスＤＶ導出部３５１Ｅの動作を説明するフローチャートである。 本実施形態のデプスＤＶ導出部３５１Ｅが参照するデプス位置を説明するための図である。
　　（第１の実施形態）
　以下、図面を参照しながら本発明の実施形態について説明する。
　図１は、本実施形態に係る画像伝送システム１の構成を示す概略図である。
　画像伝送システム１は、複数のレイヤ画像を符号化した符号を伝送し、伝送された符号を復号した画像を表示するシステムである。画像伝送システム１は、画像符号化装置１１、ネットワーク２１、画像復号装置３１及び画像表示装置４１を含んで構成される。
　画像符号化装置１１には、複数のレイヤ画像（テクスチャ画像ともいう）を示す信号Ｔが入力される。レイヤ画像とは、ある解像度及びある視点で視認もしくは撮影される画像である。複数のレイヤ画像を用いて３次元画像を符号化するビュースケーラブル符号化を行う場合、複数のレイヤ画像のそれぞれは、視点画像と呼ばれる。ここで、視点は撮影装置の位置又は観測点に相当する。例えば、複数の視点画像は、被写体に向かって左右の撮影装置のそれぞれが撮影した画像である。画像符号化装置１１は、この信号のそれぞれを符号化して符号化ストリームＴｅ（符号化データ）を生成する。符号化ストリームＴｅの詳細については、後述する。視点画像とは、ある視点において観測される２次元画像（平面画像）である。視点画像は、例えば２次元平面内に配置された画素毎の輝度値、又は色信号値で示される。以下では、１枚の視点画像又は、その視点画像を示す信号をピクチャ（ｐｉｃｔｕｒｅ）と呼ぶ。また、複数のレイヤ画像を用いて空間スケーラブル符号化を行う場合、その複数のレイヤ画像は、解像度の低いベースレイヤ画像と、解像度の高い拡張レイヤ画像からなる。複数のレイヤ画像を用いてＳＮＲスケーラブル符号化を行う場合、その複数のレイヤ画像は、画質の低いベースレイヤ画像と、画質の高い拡張レイヤ画像からなる。なお、ビュースケーラブル符号化、空間スケーラブル符号化、ＳＮＲスケーラブル符号化を任意に組み合わせて行っても良い。本実施形態では、複数のレイヤ画像として、少なくともベースレイヤ画像と、ベースレイヤ画像以外の画像（拡張レイヤ画像）を含む画像の符号化および復号を扱う。複数のレイヤのうち、画像もしくは符号化パラメータにおいて参照関係（依存関係）にある２つのレイヤについて、参照される側の画像を、第１レイヤ画像、参照する側の画像を第２レイヤ画像と呼ぶ。例えば、ベースレイヤを参照して符号化される（ベースレイヤ以外の）エンハンスレイヤ画像がある場合、ベースレイヤ画像を第１レイヤ画像、エンハンスレイヤ画像を第２レイヤ画像として扱う。なお、エンハンスレイヤ画像の例としては、ベースビュー以外の視点の画像やデプス画像などがある。
　デプス画像（ｄｅｐｔｈ　ｍａｐ、「深度画像」、「距離画像」とも言う）とは、被写空間に含まれる被写体や背景の、視点（撮影装置等）からの距離に対応する信号値（「デプス値」、「深度値」、「デプス」等と呼ぶ）であって、二次元平面に配置された画素毎の信号値（画素値）からなる画像信号である。デプス画像を構成する画素は、視点画像を構成する画素と対応する。従って、デプスマップは、被写空間を二次元平面に射影した基準となる画像信号である視点画像を用いて、三次元の被写空間を表すための手がかりとなる。
　ネットワーク２１は、画像符号化装置１１が生成した符号化ストリームＴｅを画像復号装置３１に伝送する。ネットワーク２１は、インターネット（internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network）又はこれらの組み合わせである。ネットワーク２１は、必ずしも双方向の通信網に限らず、地上波ディジタル放送、衛星放送等の放送波を伝送する一方向又は双方向の通信網であっても良い。また、ネットワーク２１は、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blue-ray Disc）等の符号化ストリームＴｅを記録した記憶媒体で代替されても良い。
　画像復号装置３１は、ネットワーク２１が伝送した符号化ストリームＴｅのそれぞれを復号し、それぞれ復号した複数の復号レイヤ画像Ｔｄ（復号視点画像Ｔｄ）を生成する。
　画像表示装置４１は、画像復号装置３１が生成した複数の復号レイヤ画像Ｔｄの全部又は一部を表示する。例えば、ビュースケーラブル符号化においては、全部の場合、３次元画像（立体画像）や自由視点画像が表示され、一部の場合、２次元画像が表示される。画像表示装置４１は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-luminescence）ディスプレイ等の表示デバイスを備える。また、空間スケーラブル符号化、ＳＮＲスケーラブル符号化では、画像復号装置３１、画像表示装置４１が高い処理能力を有する場合には、画質の高い拡張レイヤ画像を表示し、より低い処理能力しか有しない場合には、拡張レイヤほど高い処理能力、表示能力を必要としないベースレイヤ画像を表示する。
　　＜符号化ストリームＴｅの構造＞
　本実施形態に係る画像符号化装置１１および画像復号装置３１の詳細な説明に先立って、画像符号化装置１１によって生成され、画像復号装置３１によって復号される符号化ストリームＴｅのデータ構造について説明する。
　図２は、符号化ストリームＴｅにおけるデータの階層構造を示す図である。符号化ストリームＴｅは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図２の（ａ）～（ｆ）は、それぞれ、シーケンスＳＥＱを既定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、スライスデータを規定するスライスデータレイヤ、スライスデータに含まれる符号化ツリーユニットを規定する符号化ツリーレイヤ、符号化ツリーに含まれる符号化単位（Ｃｏｄｉｎｇ　Ｕｎｉｔ；ＣＵ）を規定する符号化ユニットレイヤを示す図である。
　　（シーケンスレイヤ）
　シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図２の（ａ）に示すように、ビデオパラメータセット（Video Parameter Set）シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。ここで＃の後に示される値はレイヤＩＤ（nuh_layer_id）を示す。図２では、＃０と＃１すなわちレイヤ０とレイヤ１の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれによらない。レイヤＩＤ（nuh_layer_id）が０のレイヤをベースレイヤ、レイヤＩＤ（nuh_layer_id）が０以外のレイヤがエンハンスメントレイヤに対応する。
　ビデオパラメータセットＶＰＳは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
　シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。
　ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を示すフラグ（weighted_pred_flag）が含まれる。なお、ＰＰＳは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。
　　（ピクチャレイヤ）
　ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図２の（ｂ）に示すように、スライスＳ０～ＳＮＳ－１を含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
　なお、以下、スライスＳ０～ＳＮＳ－１のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化ストリームＴｅに含まれるデータであって、添え字を付している他のデータについても同様である。
　　（スライスレイヤ）
　スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスＳは、図２の（ｃ）に示すように、スライスヘッダＳＨ、および、スライスデータＳＤＡＴＡを含んでいる。
　スライスヘッダＳＨには、対象スライスの復号方法を決定するために画像復号装置３１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（ｓｌｉｃｅ＿ｔｙｐｅ）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
　スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。
　なお、スライスヘッダＳＨには、上記シーケンスレイヤに含まれる、ピクチャパラメータセットＰＰＳへの参照（pic_parameter_set_id）を含んでいても良い。
　　（スライスデータレイヤ）
　スライスデータレイヤでは、処理対象のスライスデータＳＤＡＴＡを復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスデータＳＤＡＴＡは、図２の（ｄ）に示すように、符号化ツリーブロック（CTB:Coded Tree Block）を含んでいる。ＣＴＢは、スライスを構成する固定サイズ（例えば６４×６４）のブロックであり、最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。
　　（符号化ツリーレイヤ）
　符号化ツリーレイヤは、図２の（ｅ）に示すように、処理対象の符号化ツリーブロックを復号するために画像復号装置３１が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な４分木分割により分割される。再帰的な４分木分割により得られる木構造のノードのことを符号化ツリー（coding tree）と称する。４分木の中間ノードは、符号化ツリーユニット（CTU:Coded Tree Unit）であり、符号化ツリーブロック自身も最上位のＣＴＵとして規定される。ＣＴＵは、分割フラグ（split_flag）を含み、split_flagが１の場合には、４つの符号化ツリーユニットＣＴＵに分割される。split_flagが０の場合には、符号化ツリーユニットＣＴＵは４つの符号化ユニット（CU:Coded Unit）に分割される。符号化ユニットＣＵは符号化ツリーレイヤの末端ノードであり、このレイヤではこれ以上分割されない。符号化ユニットＣＵは、符号化処理の基本的な単位となる。
　また、符号化ツリーブロックＣＴＢのサイズ６４×６４画素の場合には、符号化ユニットＣＵのサイズは、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。
　　（符号化ユニットレイヤ）
　符号化ユニットレイヤは、図２の（ｆ）に示すように、処理対象の符号化ユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。具体的には、符号化ユニットは、ＣＵヘッダＣＵＨ、予測ツリー、変換ツリー、ＣＵヘッダＣＵＦから構成される。ＣＵヘッダＣＵＨでは、符号化ユニットが、イントラ予測を用いるユニットであるか、インター予測を用いるユニットであるかなどが規定される。また、ＣＵヘッダＣＵＨには、符号化ユニットが、残差予測に用いる重み（もしくは残差予測を行うか否か）を示す残差予測インデックスiv_res_pred_weight_idxや、照度補償予測を用いるか否かを示す照度補償フラグic_flagを含む。符号化ユニットは、予測ツリー（prediction tree;PT）および変換ツリー（transform tree;TT）のルートとなる。ＣＵヘッダＣＵＦは、予測ツリーと変換ツリーの間、もしくは、変換ツリーの後に含まれる。
　予測ツリーは、符号化ユニットが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ユニットを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
　予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit;PU、予測ユニット）とも称する。より詳細には予測は色コンポーネント単位で行われるため、以下では、輝度の予測ブロック、色差の予測ブロックなど、色コンポーネント毎のブロックを、予測ブロックと呼び、複数の色コンポーネントのブロック（輝度の予測ブロック、色差の予測ブロック）を合わせて、予測ユニットと呼ぶ。
　予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。
　イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）と、Ｎ×Ｎとがある。
　また、インター予測の場合、分割方法は、符号化データの分割モードpart_modeにより符号化される。分割モードpart_modeによって指定される分割モードには、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（ＡＭＰ：asymmetric motion partitions）である。なお、Ｎ＝２ｍ（ｍは１以上の任意の整数）を意味している。以下、分割モードが非対称的分割である予測ブロックをＡＭＰブロックとも呼称する。分割数は１、２、４のいずれかであるため、ＣＵに含まれるＰＵは１個から４個である。これらのＰＵを順にＰＵ０、ＰＵ１、ＰＵ２、ＰＵ３と表現する。
　図９（ａ）～（ｈ）に、それぞれの分割モードについて、ＣＵにおけるＰＵ分割の境界の位置を具体的に図示している。
　図９（ａ）は、ＣＵの分割を行わない２Ｎ×２Ｎの分割モードを示している。また、図９（ｂ）および（ｅ）は、それぞれ、分割モードが、２Ｎ×Ｎ、および、Ｎ×２Ｎである場合のパーティションの形状について示している。また、図９（ｈ）は、分割モードが、Ｎ×Ｎである場合のパーティションの形状を示している。
　また、図９（ｃ）、（ｄ）、（ｆ）および（ｇ）は、それぞれ非対称的分割（ＡＭＰ）である、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎである場合のパーティションの形状について示している。
　また、図９（ａ）～（ｈ）において、各領域に付した番号は、領域の識別番号を示しており、この識別番号順に、領域に対して処理が行われる。すなわち、当該識別番号は、領域のスキャン順を表している。
　インター予測の場合の予測ブロックでは、上記８種類の分割モードのうち、Ｎ×Ｎ（図９（ｈ））以外の７種類が定義されている。
　また、Ｎの具体的な値は、当該ＰＵが属するＣＵのサイズによって規定され、ｎＵ、ｎＤ、ｎＬ、および、ｎＲの具体的な値は、Ｎの値に応じて定められる。例えば、３２×３２画素のＣＵは、３２×３２画素、３２×１６画素、１６×３２画素、３２×１６画素、３２×８画素、３２×２４画素、８×３２画素、および、２４×３２画素のインター予測の予測ブロックへ分割できる。
　また、変換ツリーにおいては、符号化ユニットが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ユニットを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
　変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
　変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit;TU）とも称する。
　　（予測パラメータ）
　予測ユニットの予測画像は、予測ユニットに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ（インター予測パラメータ）について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、ベクトルｍｖＬ０、ｍｖＬ１から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々Ｌ０リスト、Ｌ１リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が１の場合に対応する参照ピクチャリストが用いられる。なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、１をＸＸである場合、０をＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。２つの参照ピクチャリストが用いられる場合、つまり、(predFlagL0，predFlagL1) ＝ (1, 1)の場合が、双予測に対応し、１つの参照ピクチャリストを用いる場合、すなわち(predFlagL0, predFlagL1) = (1, 0)もしくは(predFlagL0, predFlagL1) = (0, 1)の場合が単予測に対応する。なお、予測リスト利用フラグの情報は、後述のインター予測フラグinter_pred_idcで表現することもできる。通常、後述の予測画像生成部、予測パラメータメモリでは、予測リスト利用フラグが用いれ、符号化データから、どの参照ピクチャリストが用いられるか否かの情報を復号する場合にはインター予測フラグinter_pred_idcが用いられる。
　符号化データに含まれるインター予測パラメータを導出するためのシンタックス要素には、例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルフラグmvp_LX_flag、差分ベクトルmvdLXがある。
　　（参照ピクチャリストの一例）
　次に、参照ピクチャリストの一例について説明する。参照ピクチャリストとは、参照ピクチャメモリ３０６（図５）に記憶された参照ピクチャからなる列である。図３は、参照ピクチャリストRefPicListXの一例を示す概念図である。参照ピクチャリストRefPicListXにおいて、左右に一列に配列された５個の長方形は、それぞれ参照ピクチャを示す。左端から右へ順に示されている符号、Ｐ１、Ｐ２、Ｑ０、Ｐ３、Ｐ４は、それぞれの参照ピクチャを示す符号である。Ｐ１等のＰとは、視点Ｐを示し、そしてＱ０のＱとは、視点Ｐとは異なる視点Ｑを示す。Ｐ及びＱの添字は、ピクチャ順序番号ＰＯＣを示す。refIdxLXの真下の下向きの矢印は、参照ピクチャインデックスrefIdxLXが、参照ピクチャメモリ３０６において参照ピクチャＱ０を参照するインデックスであることを示す。
　　（参照ピクチャの例）
　次に、ベクトルを導出する際に用いる参照ピクチャの例について説明する。図４は、参照ピクチャの例を示す概念図である。図４において、横軸は表示時刻を示し、縦軸は視点を示す。図４に示されている、縦２行、横３列（計６個）の長方形は、それぞれピクチャを示す。６個の長方形のうち、下行の左から２列目の長方形は復号対象のピクチャ（対象ピクチャ）を示し、残りの５個の長方形がそれぞれ参照ピクチャを示す。対象ピクチャから上向きの矢印で示される参照ピクチャＱ０は対象ピクチャと同表示時刻であって視点（ビューＩＤ）が異なるピクチャである。対象ピクチャを基準とする変位予測においては、参照ピクチャＱ０が用いられる。対象ピクチャから左向きの矢印で示される参照ピクチャＰ１は、対象ピクチャと同じ視点であって、過去のピクチャである。対象ピクチャから右向きの矢印で示される参照ピクチャＰ２は、対象ピクチャと同じ視点であって、未来のピクチャである。対象ピクチャを基準とする動き予測においては、参照ピクチャＰ１又はＰ２が用いられる。
　　（インター予測フラグと予測リスト利用フラグ）
　インター予測フラグinter_pred_idcと、予測リスト利用フラグpredFlagL0、predFlagL1の関係は
　inter_pred_idc　＝　（predFlagL1＜＜１）　＋　predFlagL0
　predFlagL0　＝inter_pred_idc　＆　１
　predFlagL1　＝inter_pred_idc　＞＞　１
の式を用いて相互に変換可能である。ここで、＞＞は右シフト、＜＜は左シフトである。そのため、インター予測パラメータとしては、予測リスト利用フラグpredFlagL0、predFlagL1を用いても良いし、インター予測フラグinter_pred_idcを用いてもよい。また、以下、予測リスト利用フラグpredFlagL0、predFlagL1を用いた判定は、インター予測フラグinter_pred_idcに置き替えても可能である。逆に、インター予測フラグinter_pred_idcを用いた判定は、予測リスト利用フラグpredFlagL0、predFlagL1に置き替えても可能である。
　　（マージモードとAMVP予測）
　予測パラメータの復号（符号化）方法には、マージ（merge）モードとAMVP（Adaptive Motion Vector Prediction、適応動きベクトル予測）モードがある、マージフラグmerge_flagは、これらを識別するためのフラグである。マージモードでも、AMVPモードでも、既に処理済みのブロックの予測パラメータを用いて、対象ＰＵの予測パラメータが導出される。マージモードは、予測リスト利用フラグpredFlagLX（インター予測フラグinter_pred_idc）、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めずに、既に導出した予測パラメータをそのまま用いるモードであり、AMVPモードは、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めるモードである。なおベクトルmvLXは、予測ベクトルを示す予測ベクトルフラグmvp_LX_flagと差分ベクトル（mvdLX）として符号化される。
　インター予測フラグinter_pred_idcは、参照ピクチャの種類および数を示すデータであり、Pred_L0、Pred_L1、Pred_BIの何れかの値をとる。Pred_L0、Pred_L1は、各々Ｌ０リスト、Ｌ１リストと呼ばれる参照ピクチャリストに記憶された参照ピクチャが用いられることを示し、共に１枚の参照ピクチャを用いること（単予測）を示す。Ｌ０リスト、Ｌ１リストを用いた予測を各々Ｌ０予測、Ｌ１予測と呼ぶ。Pred_BIは２枚の参照ピクチャを用いること（双予測）を示し、Ｌ０リストとＬ１リストに記憶された参照ピクチャの２つを用いることを示す。予測ベクトルフラグmvp_LX_flagは予測ベクトルを示すインデックスであり、参照ピクチャインデックスrefIdxLXは、参照ピクチャリストに記憶された参照ピクチャを示すインデックスである。なお、ＬＸは、Ｌ０予測とＬ１予測を区別しない場合に用いられる記述方法であり、ＬＸをＬ０、Ｌ１に置き換えることでＬ０リストに対するパラメータとＬ１リストに対するパラメータを区別するする。例えば、refIdxL0はＬ０予測に用いる参照ピクチャインデックス、refIdxL1はＬ１予測に用いる参照ピクチャインデックス、refIdx（refIdxLX）は、refIdxL0とrefIdxL1を区別しない場合に用いられる表記である。
　マージインデックスmerge_idxは、処理が完了したブロックから導出される予測パラメータ候補（マージ候補）のうち、いずれかの予測パラメータを予測ユニット（対象ブロック）の予測パラメータとして用いるかを示すインデックスである。
　　（動きベクトルと変位ベクトル）
　ベクトルmvLXには、動きベクトルと変位ベクトル（disparity vector、視差ベクトル）がある。動きベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、異なる表示時刻（例えば、隣接する離散時刻）における同一のレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。変位ベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、同一の表示時刻における異なるレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。異なるレイヤのピクチャとしては、異なる視点のピクチャである場合、もしくは、異なる解像度のピクチャである場合などがある。特に、異なる視点のピクチャに対応する変位ベクトルを視差ベクトルと呼ぶ。以下の説明では、動きベクトルと変位ベクトルを区別しない場合には、単にベクトルmvLXと呼ぶ。ベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。ベクトルmvLXおよび差分ベクトルmvdLXが、動きベクトルであるか、変位ベクトルであるかは、ベクトルに付随する参照ピクチャインデックスrefIdxLXを用いて行われる。
　　（画像復号装置の構成）
　次に、本実施形態に係る画像復号装置３１の構成について説明する。図５は、本実施形態に係る画像復号装置３１の構成を示す概略図である。画像復号装置３１は、エントロピー復号部３０１、予測パラメータ復号部３０２、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）３０６、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）３０７、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１、加算部３１２、及び図示されないデプスＤＶ導出部３５１を含んで構成される。画像復号装置３１は、複数の視点画像およびデプス画像から構成され、複数レイヤ（ベースレイヤおよびエンハンスメントレイヤ）から構成される符号化データを復号する画像復号装置である。
　また、予測パラメータ復号部３０２は、インター予測パラメータ復号部３０３及びイントラ予測パラメータ復号部３０４を含んで構成される。予測画像生成部３０８は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０を含んで構成される。
　エントロピー復号部３０１は、外部から入力された符号化ストリームＴｅに対してエントロピー復号を行って、個々の符号（シンタックス要素）を分離し復号する。分離された符号には、予測画像を生成するための予測情報および、差分画像を生成するための残差情報などがある。
　エントロピー復号部３０１は、分離した符号の一部を予測パラメータ復号部３０２に出力する。分離した符号の一部とは、例えば、予測モードPredMode、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルフラグmvp_LX_flag、差分ベクトルmvdLX、残差予測インデックスiv_res_pred_weight_idx、照度補償フラグic_flagである。どの符号を復号するか否かの制御は、予測パラメータ復号部３０２の指示に基づいて行われる。エントロピー復号部３０１は、量子化係数を逆量子化・逆ＤＣＴ部３１１に出力する。この量子化係数は、符号化処理において、残差信号に対してＤＣＴ（DiscreteCosine Transform、離散コサイン変換）を行い量子化して得られる係数である。エントロピー復号部３０１は、デプスＤＶ変換テーブルDepthToDisparityBを、デプスＤＶ導出部３５１に出力する。このデプスＤＶ変換テーブルDepthToDisparityBは、デプス画像の画素値を視点画像間の変位を示す視差に変換するためのテーブルであり、デプスＤＶ変換テーブルDepthToDisparityBの要素DepthToDisparityB[d]は、傾きcp_scaleとオフセットcp_off、傾きの精度cp_precisionを用いて、
　　log2Div = BitDepthY - 1 + cp_precision
　　offset = ( cp_off << BitDepthY ) + ( ( 1 << log2Div ) >> 1 )
　　scale = cp_scale
　　DepthToDisparityB[ d ] = ( scale * d + offset ) >> log2Div
の式によって求めることができる。パラメータcp_scale、cp_off、cp_precisionは参照する視点毎に符号化データ中のパラメータセットから復号する。なお、BitDepthYは輝度信号に対応する画素値のビット深度を示しており、例えば、値として８をとる。
　予測パラメータ復号部３０２は、エントロピー復号部３０１から符号の一部を入力として受け取る。予測パラメータ復号部３０２は、符号の一部である予測モードPredModeが示す予測モードに対応する予測パラメータを復号する。予測パラメータ復号部３０２は、予測モードPredModeと復号した予測パラメータを予測パラメータメモリ３０７と予測画像生成部３０８に出力する。
　インター予測パラメータ復号部３０３は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してインター予測パラメータを復号する。インター予測パラメータ復号部３０３は、復号したインター予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。インター予測パラメータ復号部３０３の詳細については後述する。
　イントラ予測パラメータ復号部３０４は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してイントラ予測パラメータを復号する。イントラ予測パラメータとは、ピクチャブロックを１つのピクチャ内で予測する処理で用いるパラメータ、例えば、イントラ予測モードIntraPredModeである。イントラ予測パラメータ復号部３０４は、復号したイントラ予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。
　参照ピクチャメモリ３０６は、加算部３１２が生成した復号ピクチャブロックrecSamplesを、復号ピクチャブロックの位置に記憶する。
　予測パラメータメモリ３０７は、予測パラメータを、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶する。具体的には、予測パラメータメモリ３０７は、インター予測パラメータ復号部３０３が復号したインター予測パラメータ、イントラ予測パラメータ復号部３０４が復号したイントラ予測パラメータ及びエントロピー復号部３０１が分離した予測モードPredModeを記憶する。記憶されるインター予測パラメータには、例えば、予測リスト利用フラグpredFlagLX、参照ピクチャインデックスrefIdxLX、ベクトルmvLXがある。
　予測画像生成部３０８には、予測パラメータ復号部３０２から予測モードPredMode及び予測パラメータが入力される。また、予測画像生成部３０８は、参照ピクチャメモリ３０６から参照ピクチャを読み出す。予測画像生成部３０８は、予測モードPredModeが示す予測モードで、入力された予測パラメータと読み出した参照ピクチャを用いて予測ピクチャブロックpredSamples（予測画像）を生成する。
　ここで、予測モードPredModeがインター予測モードを示す場合、インター予測画像生成部３０９は、インター予測パラメータ復号部３０３から入力されたインター予測パラメータと読み出した参照ピクチャを用いてインター予測により予測ピクチャブロックpredSamplesを生成する。予測ピクチャブロックpredSamplesは予測ユニットＰＵに対応する。ＰＵは、上述したように予測処理を行う単位となる複数の画素からなるピクチャの一部分、つまり１度に予測処理が行われる対象ブロックに相当する。
　インター予測画像生成部３０９は、予測リスト利用フラグpredFlagLXが１である参照ピクチャリスト（Ｌ０リスト、もしくはＬ１リスト）に対し、参照ピクチャインデックスrefIdxLXで示される参照ピクチャRefPicListLX[refIdxLX]から、予測ユニットを基準としてベクトルmvLXが示す位置にある参照ピクチャブロックを参照ピクチャメモリ３０６から読み出す。インター予測画像生成部３０９は、読み出した参照ピクチャブロックに動き補償を行って予測ピクチャブロックpredSamplesLXを生成する。インター予測画像生成部３０９は、予測ピクチャブロックpredSamplesL0、predSamplesL1から予測ピクチャブロックpredSamplesを生成し、加算部３１２に出力する。
　予測モードPredModeがイントラ予測モードを示す場合、イントラ予測画像生成部３１０は、イントラ予測パラメータ復号部３０４から入力されたイントラ予測パラメータと読み出した参照ピクチャを用いてイントラ予測を行う。具体的には、イントラ予測画像生成部３１０は、復号対象のピクチャであって、既に処理されたブロックのうち予測ユニットから予め定めた範囲にある参照ピクチャブロックを参照ピクチャメモリ３０６から読み出す。予め定めた範囲とは、例えば、左、左上、上、右上の隣接ブロックの範囲でありイントラ予測モードによって異なる。
　イントラ予測画像生成部３１０は、読み出した参照ピクチャブロックについてイントラ予測モードIntraPredModeが示す予測モードで予測を行って予測ピクチャブロックpredSamplesを生成し、加算部３１２に出力する。
　逆量子化・逆ＤＣＴ部３１１は、エントロピー復号部３０１から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部３１１は、求めたＤＣＴ係数について逆ＤＣＴ（Inverse Discrete Cosine Transform、逆離散コサイン変換）を行い、復号残差信号を算出する。逆量子化・逆ＤＣＴ部３１１は、算出した復号残差信号を加算部３１２に出力する。
　加算部３１２は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０から入力された予測ピクチャブロックpredSamplesと逆量子化・逆ＤＣＴ部３１１から入力された復号残差信号の信号値resSamplesを画素毎に加算して、復号ピクチャブロックrecSamplesを生成する。加算部３１２は、生成した復号ピクチャブロックrecSamplesを参照ピクチャメモリ３０６に出力する。復号ピクチャブロックはピクチャ毎に統合される。復号されたピクチャには、デブロックフィルタおよび適応オフセットフィルタが適用などのループフィルタが適用される。復号されたピクチャは復号レイヤ画像Ｔｄとして外部に出力する。
（インター予測パラメータ復号部の構成）
　次に、インター予測パラメータ復号部３０３の構成について説明する。図６は、本実施形態に係るインター予測パラメータ復号部３０３の構成を示す概略図である。インター予測パラメータ復号部３０３は、インター予測パラメータ復号制御部３０３１、AMVP予測パラメータ導出部３０３２、加算部３０３５及びマージモードパラメータ導出部３０３６、変位導出部３０３６３を含んで構成される。
　インター予測パラメータ復号制御部３０３１は、インター予測に関連する符号（シンタックス要素の復号をエントロピー復号部３０１に指示し、符号化データに含まれる符号（シンタックス要素）を例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルフラグmvp_LX_flag、差分ベクトルmvdLX、残差予測インデックスiv_res_pred_weight_idx、照度補償フラグic_flagを抽出する。インター予測パラメータ復号制御部３０３１が、あるシンタックス要素を抽出すると表現する場合は、あるシンタックス要素の復号をエントロピー復号部３０１に指示し、該当のシンタックス要素を符号化データから読み出すことを意味する。
　インター予測パラメータ復号制御部３０３１は、マージフラグmerge_flagが１、すなわち、予測ユニットがマージモードの場合、マージインデックスmerge_idxを符号化データから抽出する。インター予測パラメータ復号制御部３０３１は、抽出した残差予測インデックスiv_res_pred_weight_idx、照度補償フラグic_flag及びマージインデックスmerge_idxをマージモードパラメータ導出部３０３６に出力する。
　インター予測パラメータ復号制御部３０３１は、マージフラグmerge_flagが０、すなわち、予測ブロックがAMVP予測モードの場合、エントロピー復号部３０１を用いて符号化データからインター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルフラグmvp_LX_flag、差分ベクトルmvdLXを抽出する。インター予測パラメータ復号制御部３０３１は、抽出したインター予測フラグinter_pred_idcから導出した予測リスト利用フラグpredFlagLXと、参照ピクチャインデックスrefIdxLXをAMVP予測パラメータ導出部３０３２及び予測画像生成部３０８（図５）に出力し、また予測パラメータメモリ３０７（図５）に記憶する。インター予測パラメータ復号制御部３０３１は、抽出した予測ベクトルフラグmvp_LX_flagをAMVP予測パラメータ導出部３０３２に出力し抽出した差分ベクトルmvdLXを加算部３０３５に出力する。
　変位ベクトル導出部３０３６３は、対象ＰＵが属する符号化ユニット（対象ＣＵ）の変位ベクトルを、符号化ユニットに空間的もしくは時間的に隣接するブロックから抽出する。具体的には、対象ＣＵに時間的に隣接するブロックCol、時間的に隣接する第２のブロックAltCol、隣接する空間的に左に隣接するブロックA1、上に隣接するブロックB1を参照ブロックとして、その参照ブロックの予測フラグpredFlagLX、参照ピクチャインデックスrefIdxLXとベクトルmvLXを順に読み出し、隣接ブロックの参照ピクチャインデックスrefIdxLXから隣接ブロックが変位ベクトルを備えるか否かを判定する。隣接ブロックが変位ベクトルを備える場合には、参照ブロックの変位ベクトルを出力する。隣接ブロックの予測パラメータに変位ベクトルが無い場合には、次の隣接ブロックの予測パラメータを読み出し同様に変位ベクトルを導出する。全ての隣接ブロックにおいて変位ベクトルが導出できない場合には、ゼロベクトルを変位ベクトルとして出力する。変位ベクトル導出部３０３６３は、また、変位ベクトルを導出したブロックの参照ピクチャインデックス及びビューＩＤを出力する。
　上記により得られた変位ベクトルはNBDV(Neighbour Base Disparity Vector)と呼ばれる。変位ベクトル導出部３０３６３は、さらに得られた変位ベクトルNBDVをデプスＤＶ導出部３５１に出力する。デプスＤＶ導出部３５１は、入力された変位ベクトルをデプス由来の変位ベクトルにより更新する。更新された変位ベクトルは、DoNBDV(Depth Orientated Neighbour Base Disparity Vector)と呼ばれる。変位ベクトル導出部３０３６３は、変位ベクトル(DoNBDV)をレイヤ間マージ候補導出部３０３６１２１、変位マージ候補導出部及び視点合成予測部、予測マージ候補導出部に出力する。さらに、得られた変位ベクトル(NBDV)を、インター予測画像生成部３０９に出力する。
　また、インター予測パラメータ復号制御部３０３１は、インター予測パラメータ導出時に導出された変位ベクトル（NBDV）、及び視点合成予測を行うか否かを示すフラグである視差合成予測フラグ（VSPモードフラグ）VspModeFlagを、インター予測画像生成部３０９に出力する。
　図７は、本実施形態に係るマージモードパラメータ導出部３０３６の構成を示す概略図である。マージモードパラメータ導出部３０３６は、マージ候補導出部３０３６１とマージ候補選択部３０３６２を備える。マージ候補導出部３０３６１は、マージ候補格納部３０３６１１と、拡張マージ候補導出部３０３６１２と基本マージ候補導出部３０３６１３を含んで構成される。
　マージ候補格納部３０３６１１は、拡張マージ候補導出部３０３６１２及び基本マージ候補導出部３０３６１３から入力されたマージ候補をマージ候補リストmergeCandListに格納する。なお、マージ候補は、予測リスト利用フラグpredFlagLX、ベクトルmvLX、参照ピクチャインデックスrefIdxLX、VSPモードフラグVspModeFlag、変位ベクトルMvDisp、レイヤＩＤRefViewIdxを含んで構成されている。マージ候補格納部３０３６１１において、マージ候補リストmergeCandListに格納されたマージ候補には、所定の規則に従ってインデックスが割り当てられる。
　図１８は、マージ候補格納部３０３６１１が導出するマージ候補リストmergeCandListの例を示すものである。図１８（ａ）は、ベースレイヤ（nal_unit_layer=0）において、マージ候補格納部３０３６１１が導出するマージ候補を示す。２つのマージ候補が同じ予測パラメータである場合に順番を詰める処理（プルーニング処理）を除くと、マージインデックス順に、空間マージ候補（A1）、空間マージ候補（B1）、空間マージ候補（B0）、空間マージ候補（A0）、空間マージ候補（B2）の順になる。なお、括弧内は、マージ候補のニックネームであり、空間マージ候補の場合には、導出に用いる参照ブロックの位置に対応する。また、それ以降に、結合マージ候補、ゼロマージ候補があるが、図１８では省略している。これらのマージ候補は、つまり、空間マージ候補、時間マージ候補、結合マージ候補、ゼロマージ候補は、基本マージ候補導出部３０３６１３により導出される。図１８（ｂ）は、ベースレイヤ（nal_unit_layer=0）以外のレイヤであるエンハンスメントレイヤ（nal_unit_layer!=0）においてマージ候補格納部３０３６１１が導出するマージ候補を示す。マージインデックス順に、テクスチャマージ候補（T）、インタービューマージ候補（IvMC）、空間マージ候補（A1）、空間マージ候補（B1）、空間マージ候補（B0）、変位マージ候補（IvDC）、VSPマージ候補(VSP)、空間マージ候補（A0）、空間マージ候補（B2）、動きシフトマージ候補（IvMCShift）、変位シフトマージ候補（IvDCShift）、時間マージ候補（Col）の順になる。なお、括弧内は、マージ候補のニックネームである。また、それ以降に、結合マージ候補、ゼロマージ候補があるが、図１８では省略している。テクスチャマージ候補（T）、インタービューマージ候補（IvMC）、変位マージ候補（IvDC）、ＶＳＰマージ候補(VSP)、動きシフトマージ候補（IvMCShift）、変位シフトマージ候補（IvDCShift）は、拡張マージ候補導出部３０３６１２において導出される。
　図１９は、空間マージ候補が参照する隣接ブロックの位置を示す図である。A0、A1、B0、B1、B2は各々図１９に示す位置に対応し、座標は以下の通りである。予測ユニットの左上座標をxPb、yPb、予測ユニットの幅と高さをnPbW、nPbHとする場合、隣接ブロックの位置は以下の通りとなる。
　Ａ０：( xPb - 1, yPb + nPbH )
　Ａ１：( xPb - 1, yPb + nPbH - 1 )
　Ｂ０：( xPb + nPbW, yPb - 1 )
　Ｂ１：( xPb + nPbW - 1, yPb - 1 )
　Ｂ２：( xPb - 1, yPb - 1 )
　拡張マージ候補導出部３０３６１２は、変位ベクトル導出部レイヤ間マージ候補導出部３０３６１２１、変位マージ候補導出部３０３６１２３、VSPマージ候補導出部３０３６１２４を含んで構成される。拡張マージ候補は、後述の基本マージ候補とは異なるマージ候補であり、少なくとも、テクスチャマージ候補（T）、インタービュ－マージ候補（IvMC）、変位マージ候補（IvDC）、VSPマージ候補(VSP)、動きシフトマージ候補（IvMCShift）、変位シフトマージ候補（IvDCShift）の何れかを含む。
　（テクスチャマージ候補）
　レイヤ間マージ候補導出部３０３６１２１は、テクスチャマージ候補（T）とインタービューマージ候補（IvMC）、動きシフトマージ候補(IvMCShift)を導出する。これらマージ候補は、対象ピクチャと同一ＰＯＣを持つ別レイヤ（例えばベースレイヤ、ベースビュー）の参照ピクチャから、予測ユニットに対応するブロックを選択し、該ブロックが有する動きベクトルである予測パラメータを予測パラメータメモリ３０７から読み出すことで導出される。
　テクスチャマージ候補（Ｔ）は、レイヤ間マージ候補導出部３０３６１２１において、対象ピクチャがデプスの場合に導出される。テクスチャマージ候補（Ｔ）は、対象ピクチャと同じビューＩＤを有するデプスピクチャから参照ブロックを特定し、参照ブロックの動きベクトルを読み出すことで導出される。
参照ブロックの座標(xRef, yRef)は、予測ユニットの左上座標をxPb、yPb、予測ユニットの幅と高さをnPbW、nPbHとする場合、以下の式から導出される。
　xRefFull = xPb + ( ( nPbW - 1 ) >> 1 )
　yRefFull = yPb + ( ( nPbH - 1 ) >> 1 )
　xRef = Clip3( 0, PicWidthInSamplesL - 1, ( xRefFull >> 3 ) << 3 )
　yRef = Clip3( 0, PicHeightInSamplesL - 1,( yRefFull >> 3 ) << 3 )
　なお、PicWidthInSamplesLとPicHeightInSamplesL は、それぞれ画像の幅と高さを表し、関数Clip3(x,y,z)は、ｚをｘ以上、ｙ以下に制限（クリップ）し、その制限した結果を返す関数である。
　参照ブロックの動きベクトルをtextMvLXとすると、テクスチャマージ候補の動きベクトルmvLXTは次の式で導出される。
　mvLXT[ 0 ] = ( textMvLX[ xRef ][ yRef ][ 0 ] + 2 ) >> 2
　mvLXT[ 1 ] = ( textMvLX[ xRef ][ yRef ][ 1 ] + 2 ) >> 2
　なお、テクスチャマージ候補では、予測ユニットをさらに分割したサブブロック単位で予測パラメータを割り当てても構わない。
　（インタービューマージ候補）
　インタービューマージ候補は、レイヤ間マージ候補導出部３０３６１２１において、変位ベクトル導出部３０３６３が特定した対象ピクチャと同一ＰＯＣを有し、異なるビューＩＤを有するピクチャの参照ブロックから動きベクトルなどの予測パラメータを読み出すことで導出される。参照ブロックの座標(xRef, yRef)は、予測ユニットの左上座標を(xPb、yPb)、予測ユニットの幅と高さをnPbW、nPbH、変位ベクトル導出部３０３６３から導出される変位ベクトルを(mvDisp[0], mvDisp[1])とする場合、以下の式から導出される。
　xRefFull = xPb + ( nPbW >> 1 ) + ( ( mvDisp[ 0 ] + 2 ) >> 2 )
　yRefFull = yPb + ( nPbH >> 1 ) + ( ( mvDisp[ 1 ] + 2 ) >> 2 )
　xRef = Clip3( 0, PicWidthInSamplesL - 1, ( xRefFull >> 3 ) << 3 )
　yRef = Clip3( 0, PicHeightInSamplesL - 1, ( yRefFull >> 3 ) << 3 )
　なお、インタービューマージ候補では、予測ユニットをさらに分割したサブブロック単位で予測パラメータを割り当てても構わない。例えば、予測ユニットの幅と高さがnPbW、nPbH、サブブロックの最小サイズがSubPbSizeの場合には、サブブロックの幅nSbWと高さnSbHを以下の式により導出する。
　nSbW = nPbW / SubPbSize <= 1 ? nPbW : SubPbSizen
　SbH = nPbH / SubPbSize <= 1 ? nPbH : SubPbSize
　なお、x?y:zは、xが真の場合にy、xが偽の場合にzをとる３項演算子である（以下、同様）。
　続いて、サブブロックに対応するベクトルspMvLX、参照ピクチャインデックスspRefIdxLX、予測リスト利用フラグspPredFlagLXから、インタービューマージ候補のベクトルmvLXInterView、参照ピクチャインデックスrefIdxLXInterView、予測リスト利用フラグavailableFlagLXInterViewを以下の式により導出する。
　mvLXInterView = spMvLX[ xBlk ][ yBlk ]
　refIdxLXInterView = spRefIdxLX[ xBlk ][ yBlk ]
　availableFlagLXInterView = spPredFlagLX[ xBlk ][ yBlk ]
なお、xBlk、yBlkはサブブロックアドレスであり、各々0から( nPbW / nSbW - 1 )、0から( nPbH / nSbH - 1 )の値をとる。
　（動きシフトマージ候補）
　動きシフトマージ候補も、レイヤ間マージ候補導出部３０３６１２１において、変位ベクトル導出部３０３６３が特定した対象ピクチャと同一ＰＯＣを有し、異なるビューＩＤを有するピクチャの参照ブロックから動きベクトルなどの予測パラメータを読み出すことで導出される。参照ブロックの座標(xRef, yRef)、予測ユニットの左上座標をxPb、yPb、予測ユニットの幅と高さをnPbW、nPbH、変位ベクトル導出部３０３６３から導出される変位ベクトルが、mvDisp[0], mvDisp[1]とする場合、以下の式から導出される。
　xRefFull = xPb + ( nPbW >> 1 ) + ( ( mvDisp[ 0 ] + nPbW * 2 + 4 + 2 ) >> 2)
　yRefFull = yPb + ( nPbH >> 1 ) + ( ( mvDisp[ 1 ] + nPbH * 2 + 4 + 2 ) >> 2)
　xRef = Clip3( 0, PicWidthInSamplesL - 1, ( xRefFull >> 3 ) << 3 )
　yRef = Clip3( 0, PicHeightInSamplesL - 1, ( yRefFull >> 3 ) << 3 )
　（変位マージ候補）
　変位マージ候補導出部３０３６１２３は、変位ベクトル導出部３０３６３から入力される変位ベクトルから、変位マージ候補（IvDC）、シフト変位マージ候補（IvDcShift）を導出する。変位マージ候補導出部３０３６１２３は、変位マージ候補（IvDC）として水平成分が入力された変位ベクトル（mvDisp[0], mvDisp[1]）の水平成分mvDisp[0]であり、垂直成分が０であるベクトルを以下の式により生成する。
　mvL0IvDC[ 0 ] = DepthFlag ? ( mvDisp[ 0 ] + 2 ) >> 2 : mvDisp[ 0 ] 
　mvL0IvDC[ 1 ] = 0 
　ここで、DepthFlagは、デプスの場合に１となる変数である。
　変位マージ候補導出部３０３６１２３は、生成したベクトルと、変位ベクトルが指す先のレイヤ画像の参照ピクチャインデックスrefIdxLX（例えば、復号対象ピクチャと同一ＰＯＣを持つベースレイヤ画像のインデックス）をマージ候補としてマージ候補格納部３０３６１１に出力する。
　変位マージ候補導出部３０３６１２３は、シフト変位マージ候補（IvDC）として、変位マージ候補を水平方向にずらしたベクトルを有するマージ候補を以下の式により導出する。
　mvLXIvDCShift[ 0 ] = mvL0IvDC[ 0 ] + 4 
　mvLXIvDCShift[ 1 ] = mvL0IvDC[ 1 ]
　（ＶＳＰマージ候補）
　VSPマージ候補導出部３０３６１２４は、VSP（視点合成予測：View Synthesis Prediction）マージ候補を導出する。VSPマージ候補は、視点合成予測部３０９４で行われる視点合成予測による予測画像生成処理に用いられるマージ候補である。VSPマージ候補導出部３０３６１２４は、変位ベクトル導出部３０３６３から入力された変位ベクトルmvDispをベクトルmvLXに、変位ベクトル導出部３０３６３が特定した参照ピクチャの参照ピクチャインデックス、ビューＩＤを参照ピクチャインデックスrefIdxLX、ビューＩＤRefViewIdxに、VSPモードフラグVspModeFlagに１を設定することで予測パラメータを導出しVSPマージ候補を導出する。VSPマージ候補導出部３０３６１２４は、導出したVSPマージ候補をマージ候補格納部３０３６１１に出力する。
　VSPマージ候補導出部３０３６１２４は、インター予測パラメータ復号制御部から残差予測インデックスiv_res_pred_weight_idx及び照度補償フラグic_flagを入力として受け取る。VSPマージ候補導出部３０３６１２４は、残差予測インデックスiv_res_pred_weight_idxが０、かつ、照度補償フラグic_flagが０の場合のみ、VSPマージ候補の導出処理を行う。つまり、残差予測インデックスiv_res_pred_weight_idxが０、かつ、照度補償フラグic_flagが０の場合のみ、マージ候補リストmergeCandListの要素にVSPマージ候補を追加する。逆に、VSPマージ候補導出部３０３６１２４は、残差予測インデックスiv_res_pred_weight_idxが０以外、又は、照度補償フラグic_flagが０以外の場合には、マージ候補リストmergeCandListの要素にVSPマージ候補を追加しない。
　基本マージ候補導出部３０３６１３は、空間マージ候補導出部３０３６１３１と時間マージ候補導出部３０３６１３２と結合マージ候補導出部３０３６１３３とゼロマージ候補導出部３０３６１３４を含んで構成される。基本マージ候補は、ベースレイヤで用いられるマージ候補であり、すなわち、スケーラブルではなくＨＥＶＣ（例えばＨＥＶＣメインプロファイル）で用いられるマージ候補であり、少なくとも空間マージ候補、時間マージ候補の何れかを含む。
　空間マージ候補導出部３０３６１３１は、所定の規則に従って、予測パラメータメモリ３０７が記憶している予測パラメータ（予測リスト利用フラグpredFlagLX、ベクトルmvLX、参照ピクチャインデックスrefIdxLX）を読み出し、読み出した予測パラメータを空間マージ候補として導出する。読み出される予測パラメータは、予測ユニットから予め定めた範囲内にあるブロック（例えば、予測ユニットの左下端、左上端、右上端にそれぞれ接するブロックの全部又は一部）である隣接ブロックのそれぞれに係る予測パラメータである。導出された空間マージ候補はマージ候補格納部３０３６１１に格納される。
　空間マージ候補導出部３０３６１３１では、隣接ブロックのVSPモードフラグVspModeFlagを参照（継承）して、導出するマージ候補のVSPモードフラグVspModeFlag（mergeCandIsVspFlag）を設定する。すなわち、隣接ブロックのVSPモードフラグVspModeFlagが１の場合、対応する空間マージ候補のVSPモードフラグmergeCandIsVspFlagを１、それ以外の場合はVSPモードフラグmergeCandIsVspFlagを０とする。
　以下、時間マージ候補導出部３０３６１３２、結合マージ候補導出部３０３６１３３、ゼロマージ候補導出部３０３６１３４が導出するマージ候補では、VSPモードフラグVspModeFlag（mergeCandIsVspFlag）を０に設定する。
　時間マージ候補導出部３０３６１３２は、予測ユニットの右下の座標を含む参照画像中のブロックの予測パラメータを予測パラメータメモリ３０７から読みだしマージ候補とする。参照画像の指定方法は、例えば、スライスヘッダで指定されるコロケートピクチャcol_ref_idxと、参照ピクチャリストRefPicListXから指定されるRefPicListX[col_ref_idx]で指定される参照ピクチャインデックスrefIdxLXを用いればよい導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
　結合マージ候補導出部３０３６１３３は、既に導出されマージ候補格納部３０３６１１に格納された２つの異なる導出済マージ候補のベクトルと参照ピクチャインデックスを、それぞれＬ０、Ｌ１のベクトルとして組み合わせることで結合マージ候補を導出する。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
　ゼロマージ候補導出部３０３６１３４は、参照ピクチャインデックスrefIdxLXがｉであり、ベクトルmvLXのＸ成分、Ｙ成分が共に０であるマージ候補を、導出したマージ候補数が最大値に達するまで導出する。参照ピクチャインデックスrefIdxLXを示すｉの値は、０から順に割り振られる。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
　マージ候補選択部３０３６２は、マージ候補格納部３０３６１１に格納されているマージ候補のうち、インター予測パラメータ復号制御部３０３１から入力されたマージインデックスmerge_idxに対応するインデックスが割り当てられたマージ候補を、対象ＰＵのインター予測パラメータとして選択する。つまり、マージ候補リストをmergeCandListとするとmergeCandList[merge_idx]で示される予測パラメータを選択する。マージ候補選択部３０３６２は、選択したマージ候補を予測パラメータメモリ３０７（図５）に記憶するとともに、予測画像生成部３０８（図５）に出力する。
　マージ候補選択部３０３６２は、選択したマージモード（予測パラメータ）の視差合成予測フラグvspModeFlagを、マージ候補の視差合成予測フラグmergeCandIsVspFlagと、照度予測フラグic_flagの否定、残差予測重みフラグiv_res_pred_weight_idxの否定、の論理積を含む以下の式により定める。
　vspModeFlag = mergeCandIsVspFlag && !ic_flag && ( iv_res_pred_weight_idx = = 0 ) && availableFlagVSP
　これにより、マージ候補の視差合成予測フラグmergeCandIsVspFlagが１、かつ、照度予測フラグic_flagが照度予測オフを示す０、かつ、残差予測重みフラグiv_res_pred_weight_idxが残差予測オフを示す０の場合のみ、選択したマージモードの視差合成予測フラグvspModeFlagが１になる。
　なお、以上の説明では空間マージ候補導出部３０３６１３１において、空間マージ候補の参照位置のＶＳＰモードフラグを参照する構成を示しているが、マージモードパラメータ導出部３０３６自身もしくは、マージモードパラメータ導出部３０３６の別の構成要素であるマージ候補導出部３０３６１、マージ候補選択部３０３６２が、参照位置のＶＳＰモードフラグを参照する構成でも良い（以下、変形例でも同様）。
　（空間マージ候補導出部３０３６１３１Ａ）
　以下、空間マージ候補導出部３０３６１３１の変形例として空間マージ候補導出部３０３６１３１Ａを説明する。空間マージ候補導出部３０３６１３１Ａは、先に説明した空間マージ候補導出部３０３６１３１と基本的には同じ動作をするが、隣接ブロックのVSPモードフラグVspModeFlagを参照（継承）する処理が簡略化されている。
　具体的には、空間マージ候補導出部３０３６１３１Ａは、参照する隣接ブロックの位置（参照位置）、が対象予測ユニットの左ブロックである場合（図１６のＡ１もしくはＡ０の場合、参照する隣接ブロックの位置（参照位置）が予測ブロックの上方ではない場合、参照する隣接ブロック（参照位置）のＹ座標yNが予測ユニットのＹ座標yPb以上である場合）に限り、参照位置のVSPモードフラグVspModeFlagを参照（継承）し、対応するマージ候補のVSPモードフラグmergeCandIsVspFlagを設定する。好適には、参照する隣接ブロックのＹ座標yNが予測ユニットのＹ座標yPb以上である場合に限り、隣接ブロックの座標(xN, yN)のVspModeFlagをマージ候補のVSPモードフラグmergeCandIsVspFlagに設定する。
　mergeCandIsVspFlag ＝VspModeFlag[ xN ][ yN ]
　逆に、参照する隣接ブロックの位置（参照位置）が対象予測ユニットの左でない場合（隣接ブロックのＹ座標yNが予測ユニットのＹ座標yPb未満である場合）には、VSPモードフラグVspModeFlagを参照（継承）しない。なお、予測のために参照可能なブロック（参照する隣接ブロック）は、対象予測ユニットよりも前に処理されるブロックである必要があり、参照する隣接ブロックの水平位置もしくは垂直位置が対象予測ユニットと同じかそれ以下である場合に限られる。よって、参照する隣接ブロックの位置（参照位置）が対象予測ユニットの左ブロックであるとは、参照する隣接ブロック（参照位置）の垂直位置が、対象予測ユニットの垂直位置と同じか下である場合（参照する隣接ブロックのＹ座標yNが予測ユニットのＹ座標yPb以上である場合）を意味する。
　空間マージ候補導出部３０３６１３１Ａは、対象予測ユニットの周囲の参照位置の動きベクトルを用いて対象ブロックのマージ候補を導出する空間マージ候補導出装置であって、上記参照位置のＹ座標yNが、上記対象予測ユニットの左上座標のＹ座標yPb以上である場合にのみ、前記参照位置のＶＳＰフラグを参照し、前記ＶＳＰフラグを用いて対象予測ユニットのマージ候補のＶＳＰフラグを導出する。
　空間マージ候補導出部３０３６１３１Ａは、隣接ブロックとして図１６に示すＡ１、Ｂ１、Ｂ０、Ａ０、Ｂ２で示される位置を占める予測ユニットを順に参照する。各点の座標は、既に説明した通りである。
　マージ候補（隣接ブロック）がＡ１もしくはＡ０で、かつ、その隣接ブロックのVSPモードフラグVspModeFlagが１の場合、対応するマージ候補のVSPモードフラグVspModeFlag （mergeCandIsVspFlag）を１、それ以外の場合はVSPモードフラグmergeCandIsVspFlagを０とする。
　図３０は、空間マージ候補導出部３０３６１３１Ａの動作を説明するフローチャートである。
　（Ｓ３００１）参照位置のＹ座標yNが、対象予測ユニットの左上座標のＹ座標yPb以上であるか（Ａ１もしくはＡ０であるか）を判定する。ＹＥＳの場合にはＳ３００１に遷移する。ＮＯの場合にはＳ３００２に遷移する。
　（Ｓ３００２）参照位置がＡ１もしくはＡ０の場合、すなわち、参照位置のＹ座標yNが、対象予測ユニットの左上座標のＹ座標yPb以上である場合には、参照位置のＶＳＰモードフラグを参照する。すなわち、参照位置を占める予測ユニットの備えるＶＳＰモードフラグの値を、参照位置から導出されるマージ候補のＶＳＰモードフラグの値として導出する。
　（Ｓ３００３）参照位置がＡ１もしくはＡ０以外の場合、すなわち、参照位置のＹ座標yNが、対象予測ユニットの左上座標のＹ座標yPb未満である場合には、参照位置のＶＳＰモードフラグを参照しない。すなわち、参照位置を占める予測ユニットの備えるＶＳＰモードフラグの値を、参照位置から導出されるマージ候補のＶＳＰモードフラグの値として導出しない。
　上記構成の空間マージ候補導出部３０３６１３１Ａによれば、上方向（対象予測ユニットのＹ座標yPbよりも上の位置である参照位置Ｂ０、Ｂ１、Ｂ２）を参照しないため、対象ＣＴＢより上に位置するラインのVSPモードフラグVspModeFlagを格納するラインメモリを必要としない。よって、実装コストやラインメモリへのアクセスを低減する効果を奏する。
　（空間マージ候補導出部３０３６１３１Ｂ）
　以下、空間マージ候補導出部３０３６１３１の変形例として空間マージ候補導出部３０３６１３１Ｂを説明する。空間マージ候補導出部３０３６１３１Ｂは、先に説明した空間マージ候補導出部３０３６１３１と基本的には同じ動作をするが、隣接ブロックのVSPモードフラグVspModeFlagを継承する処理が簡略化されている。
　空間マージ候補導出部３０３６１３１Ｂは、空間マージ候補の参照位置（マージ候補）が空間マージ候補として先頭で参照されるＡ１の隣接ブロックの場合（Ａ１のマージ候補）にのみVSPモードフラグVspModeFlagを参照し、先頭以外で参照されるＡ０の場合（Ａ０のマージ候補）にはVSPモードフラグVspModeFlagを参照しない、ことが好適である。すなわち、マージ候補（隣接ブロック）がＡ１、かつ、マージ候補Ａ１のVSPモードフラグVspModeFlagが１の場合、対応するマージ候補のVSPモードフラグVspModeFlag（mergeCandIsVspFlag）を１、それ以外の場合はVSPモードフラグmergeCandIsVspFlagを０とする。より具体的には、マージ候補を示す識別子ＮがＡ１の場合のみ、
　mergeCandIsVspFlag ＝VspModeFlag[ xN ][ yN ]
に設定する。なお、Ｎは、マージ候補を示す識別子ＮがＡ１の場合に、以下の処理を行うとしても同値である。
　mergeCandIsVspFlag ＝VspModeFlag[ xA1 ][ yA1 ]
　これは以下のように表現することができる。
　mergeCandIsVspFlag ＝(N == A1) ? VspModeFlag[ xA1 ][ yA1 ] : 0
　なお、Ａ１の座標[ xA1 ][ yA1 ]は、既に説明した通り、Ａ１：( xPb - 1, yPb + nPbH - 1 )を用いる。すなわち、xA1= xPb - 1、yA1 = yPb + nPbH - 1。
　図３１は、空間マージ候補導出部３０３６１３１Ｂの動作を説明するフローチャートっである。
　（Ｓ３１０１）参照位置のＹ座標yNが、空間マージ候補のうち最初に参照する隣接参照位置である場合（Ａ１であるか）を判定する。ＹＥＳの場合にはＳ３１０２に遷移する。ＮＯの場合にはＳ３１０３に遷移する。
　（Ｓ３１０２）参照位置がＡ１、すなわち、最初に参照する隣接参照位置の場合には、参照位置のＶＳＰモードフラグを参照する。すなわち、参照位置を占める予測ユニットの備えるＶＳＰモードフラグの値を、参照位置から導出されるマージ候補のＶＳＰモードフラグの値として導出する。
　（Ｓ３１０３）参照位置がＡ１ではない、すなわち、最初に参照する隣接参照位置の場合ではない場合には、参照位置のＶＳＰモードフラグを参照しない。すなわち、参照位置を占める予測ユニットの備えるＶＳＰモードフラグの値を、参照位置から導出されるマージ候補のＶＳＰモードフラグの値として導出しない。
　なお最初の（先頭の）参照位置とは、複数の参照位置に対応する空間マージ候補がある場合において、最初にマージ候補リストに挿入される参照位置を意味する。
　このような空間マージ候補導出部３０３６１３１Ｂによれば、先頭の空間マージ候補である参照位置（Ａ１）の場合のみ参照位置のＶＳＰモードフラグを参照するため、複数の参照位置において、参照位置のＶＳＰモードフラグを参照する場合に比べ、実装が容易になる効果を奏する。特に複数の空間マージ候補を並列でアクセスする場合において、実装コストを低減することができる。
　なお、空間マージ候補の参照位置（Ａ１）は、参照位置のＹ座標yNが、対象予測ユニットの左上座標のＹ座標yPb以上である、を満たすため、空間マージ候補導出部３０３６１３１Ｂは空間マージ候補導出部３０３６１３１Ａの効果も奏する。
　つまり、空間マージ候補導出部３０３６１３１Ｂは、空間マージ候補の先頭であるＡ１においてのみ、参照位置のＶＳＰモードフラグを参照することにより、参照するブロックの参照位置のＹ座標yNが、対象予測ユニットの左上座標のＹ座標yPb以上である場合のみＶＳＰモードフラグを参照する。
　空間マージ候補導出部３０３６１３１Ｂを備えるマージモードパラメータ導出部３０３６Ｂは、好適には以下の動作をする。なお、マージモードパラメータ導出部３０３６Ｂの基本的な動作（以下に示すマージモードパラメータ導出部３０３６Ｂ特有の動作以外の動作）はマージモードパラメータ導出部３０３６と等しい。
　マージモードパラメータ導出部３０３６Ｂはマージ候補を示すインデックスであるＮがＶＳＰの場合、マージ候補Ｎ（マージ候補ＶＳＰ）のＶＳＰモードフラグmergeCandIsVspFlagを１に設定する。それ以外で、ＮがＡ１である場合、マージモードパラメータ導出部３０３６Ｂは、ＶＳＰモードフラグmergeCandIsVspFlag にVspModeFlag[ xPb - 1 ][ yPbH - 1 ]を設定する。それ以外の場合には、マージモードパラメータ導出部３０３６Ｂは、ＶＳＰモードフラグmergeCandIsVspFlagに０を設定する。xPb、yPbは、予測ユニットの左上座標、（xPb - 1、yPbH - 1）はＡ１の座標、VspModeFlag[x][y]は座標(x, y)のＶＳＰモードフラグである。既に説明したように、マージモードパラメータ導出部３０３６Ｂは、マージ候補がＡ１である場合に、ＶＳＰモードフラグmergeCandIsVspFlagにＡ１の座標のVspModeFlag[ xPb - 1 ][ yPbH - 1 ]を設定する。
　（AMVP予測パラメータ導出部３０３２）
　図８は、本実施形態に係るAMVP予測パラメータ導出部３０３２の構成を示す概略図である。AMVP予測パラメータ導出部３０３２は、ベクトル候補導出部３０３３と予測ベクトル選択部３０３４を備える。ベクトル候補導出部３０３３は、参照ピクチャインデックスrefIdxに基づいて予測パラメータメモリ３０７（図５）が記憶するベクトルを読み出し、ベクトル候補リストmvpListLXを生成する。参照ブロックは、予測ユニットの位置を基準として予め定めた位置にあるブロック（例えば、予測ユニットの左下端、右上端、時間的に隣接するブロック）である。
　予測ベクトル選択部３０３４は、ベクトル候補導出部３０３３が導出したベクトル候補mvpListLXのうち、インター予測パラメータ復号制御部３０３１から入力された予測ベクトルフラグmvp_LX_flagが示すベクトルmvpListLX[ mvp_lX_flag]を予測ベクトルmvpLXとして選択する。予測ベクトル選択部３０３４は、選択した予測ベクトルmvpLXを加算部３０３５に出力する。
　加算部３０３５は、予測ベクトル選択部３０３４から入力された予測ベクトルmvpLXとインター予測パラメータ復号制御部から入力された差分ベクトルmvdLXを加算してベクトルmvLXを算出する。加算部３０３５は、算出したベクトルmvLXを予測画像生成部３０８（図５）に出力する。
　図１０は、第１の実施形態のインター予測パラメータ復号制御部３０３１の構成を示すブロック図である。図１０に示すように、インター予測パラメータ復号制御部３０３１は、残差予測インデックス復号部３０３１１、照度補償フラグ復号部３０３１２及び図示しない、分割モード復号部、マージフラグ復号部、マージインデックス復号部、インター予測フラグ復号部、参照ピクチャインデックス復号部、ベクトル候補インデックス復号部、ベクトル差分復号部を含んで構成される。分割モード復号部、マージフラグ復号部、マージインデックス復号部、インター予測フラグ復号部、参照ピクチャインデックス復号部、ベクトル候補インデックス復号部、ベクトル差分復号部は各々、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルフラグmvp_LX_flag、差分ベクトルmvdLXを復号する。
　残差予測インデックス復号部３０３１１（残差予測フラグ復号部）は、エントロピー復号部３０１を用いて、符号化ユニットＣＵの分割モードPartMode（part_mode）が2Nx2Nの場合に符号化データから残差予測インデックスiv_res_pred_weight_idxを復号する。それ以外の場合には、残差予測インデックス復号部３０３１１は、iv_res_pred_weight_idxに０を設定(infer)する。残差予測インデックス復号部３０３１１は、復号された残差予測インデックスiv_res_pred_weight_idxをマージモードパラメータ導出部３０３６とインター予測画像生成部３０９に出力する。残差予測インデックスは、残差予測の動作を変更するためのパラメータである。本実施形態では、残差予測の重みを示すインデックスであり、０、１、２の値をとる。iv_res_pred_weight_idxが０の場合には、残差予測は行わない。なお、インデックスに応じて残差予測の重みを変化させるのではなく、残差予測に用いるベクトルを変化させても良い。なお、残差予測インデックスではなく、残差予測を行うか否かを示すフラグ（残差予測フラグ）としても良い。
　照度補償フラグ復号部３０３１２は、エントロピー復号部３０１を用いて、予測ブロックサイズPartModeが2Nx2Nの場合に符号化データから照度補償フラグic_flagを復号する。それ以外の場合には、照度補償フラグ復号部３０３１２は、ic_flagに０を設定(infer)する。照度補償フラグ復号部３０３１２は、復号された照度補償フラグic_flagをマージモードパラメータ導出部３０３６とインター予測画像生成部３０９に出力する。
　　　（インター予測画像生成部３０９）
　図１１は、本実施形態に係るVSPマージ候補導出部３０３６１２４の構成を示す概略図である。インター予測画像生成部３０９は、動き変位補償部３０９１、残差予測部３０９２、照度補償部３０９３、視点合成予測部３０９４を含んで構成される。
　インター予測画像生成部３０９は、インター予測パラメータ復号部３０３から、VSPモードフラグVspModeFlag（vspModeFlag）と予測パラメータを入力する。インター予測画像生成部３０９は、VSPモードフラグVspModeFlag（vspModeFlag）が１の場合には、予測パラメータを視点合成予測部３０９４に出力し、予測画像predSamplesを導出する。また、インター予測画像生成部３０９は、VSPモードフラグVspModeFlag（vspModeFlag）が０の場合には、予測パラメータを動き変位補償部３０９１により、予測画像predSamplesを導出するまた、インター予測画像生成部３０９は、残差予測フラグiv_res_pred_weight_idxが０ではない場合に、残差予測実施フラグresPredFlagに残差予測を実行することを示す１を設定し、動き変位補償部３０９１と残差予測部３０９２に出力する。一方、残差予測フラグiv_res_pred_weight_idxが０である場合に、残差予測実施フラグresPredFlagに０を設定し、動き変位補償部３０９１と残差予測部３０９２に出力する。
　　（動き変位補償）
　動き変位補償部３０９１は、予測リスト利用フラグpredFlagLX、参照ピクチャインデックスrefIdxLX、ベクトルmvLX（動きベクトル、又は変位ベクトル）に基づいて、動き予測画像（予測画像）を生成する。動き変位補償部３０９１は、参照ピクチャメモリ３０６から、参照ピクチャインデックスrefIdxLXで指定された参照ピクチャの予測ユニットの位置を起点として、ベクトルmvLXだけずれた位置にあるブロックを読み出し補間することによって予測画像を生成する。ここで、ベクトルmvLXが整数ベクトルでない場合には、動き補償フィルタ（もしくは変位補償フィルタ）と呼ばれる小数位置の画素を生成するためのフィルタを施して、予測画像を生成する。一般に、ベクトルmvLXが動きベクトルの場合、上記処理を動き補償と呼び、変位ベクトルの場合は変位補償と呼ぶ。ここでは総称して動き変位補償と表現する。以下、Ｌ０予測の予測画像をpredSamplesL0、Ｌ１予測の予測画像をpredSamplesL1と呼ぶ。両者を区別しない場合predSamplesLXと呼ぶ。以下、動き変位補償部３０９１で得られた予測画像predSamplesLXに、さらに残差予測および照度補償が行われる例を説明するが、これらの出力画像もまた、予測画像predSamplesLXと呼ぶ。なお、以下の残差予測および照度補償において、入力画像と出力画像を区別する場合には、入力画像をpredSamplesLX、出力画像をpredSamplesLX´と表現する。
　動き変位補償部３０９１は、残差予測実施フラグresPredFlagが０の場合には、輝度成分は８タップ、色差成分は４タップの動き補償フィルタにより、動き補償画像predSamplesLXを生成する。残差予測実施フラグresPredFlagが１の場合には、輝度成分、色差成分ともに２タップの動き補償フィルタにより、動き補償画像predSamplesLXを生成する。
　　（残差予測）
　残差予測部３０９２は、残差予測実施フラグresPredFlagが１の場合に、残差予測を行う。残差予測部３０９２は、残差予測実施フラグresPredFlagが０の場合には、入力された予測画像predSamplesLXをそのまま出力する。refResSamples残差予測は、動き予測もしくは変位予測により生成される動き補償画像predSampleLXの残差を推定し、対象レイヤの予測画像predSamplesLXに加えることにより行われる。具体的には、予測ユニットが動き予測の場合には、参照レイヤと同様の残差が対象レイヤにも生じると仮定して、既に導出された参照レイヤの残差を対象レイヤの残差の推定値として用いる。予測ユニットが変位予測の場合には、対象ピクチャとは異なる時刻（ＰＯＣ）の参照レイヤのピクチャと対象レイヤのピクチャの残差を、残差の推定値として用いる。
　図１４は残差予測部３０９２の構成を示すブロック図である。残差予測部３０９２は、参照画像補間部３０９２２と、残差合成部３０９２３から構成される。
　参照画像補間部３０９２２は、残差予測実施フラグresPredFlagが１の場合には、インター予測パラメータ復号部３０３から入力されたベクトルmvLXと残差予測変位ベクトルmvDisp、参照ピクチャメモリ３０６に格納された参照ピクチャを用いて、２つの残差予測動き補償画像（対応ブロックcurrIvSamplesLX、参照ブロックrefIvSamplesLX）を生成する。
　図１５は、ベクトルmvLXが動きベクトルである場合の対応ブロックcurrIvSamplesLXと参照ブロックrefIvSamplesLXを説明するための図である。図１５に示すように、対象レイヤ上の予測ユニットに対応する対応ブロックは、参照レイヤ上の画像の予測ユニットの位置を起点として、参照レイヤと対象レイヤの位置関係を示すベクトルである変位ベクトルmvDispだけずれた位置になるブロックに位置する。よって、対応ブロックcurrIvSamplesLXのベクトルmvCは、変位ベクトルmvDispにより下記の式で導出される。
　mvC[0] = mvDisp[0]
　mvC[1] = mvDisp[1]
参照レイヤ上の対応ブロックに対応する参照ブロックrefIvSamplesLXは、参照レイヤ上の参照画像の対応ブロックの位置を起点として、予測ユニットの動きベクトルmvLXだけずれた位置になるブロックに位置する。よって、参照ブロックrefIvSamplesLXのベクトルmvRは、変位ベクトルmvDispにより下記の式で導出される。
　mvR[0] = mvLX[0] + mvDisp[0]
　mvR[1] = mvLX[1] + mvDisp[1]
　図１６は、ベクトルmvLXが変位ベクトルである場合の対応ブロックcurrIvSamplesLXと参照ブロックrefIvSamplesLXを説明するための図である。図１６に示すように、対応ブロックcurrIvSamplesLXは、対象ピクチャとは異なる時刻に位置する対象レイヤ上の参照画像上のブロックである。変位ベクトルをmvDisp、動きベクトルをmvRefとすると、対応ブロックcurrIvSamplesLXは、予測ユニットの位置を起点として、参照レイヤと対象レイヤの位置関係を示すベクトルであるベクトルmvTだけずれた位置になるブロックに位置する。よって、対応ブロックcurrIvSamplesLXのベクトルmvCは、変位ベクトルmvDispにより下記の式で導出される。
　mvC[0] = mvT[0]
　mvC[1] = mvT[1]
　図１６に示すように、参照ブロックrefIvSamplesLXは、対象ピクチャとは異なる時刻に位置する参照レイヤ上の参照画像上のブロックである。変位ベクトルをmvDisp、動きベクトルをmvTとすると、参照ブロックrefIvSamplesLXは、予測ユニットの位置を起点として、参照レイヤと対象レイヤの位置関係を示すベクトルであるベクトルmvRef - mvLXだけずれた位置になるブロックに位置する。よって、参照ブロックrefIvSamplesLXのベクトルmvRは、変位ベクトルmvDispにより下記の式で導出される。
　mvR[0] = mvT[0] + mvDisp[0]
　mvR[1] = mvT[1] + mvDisp[1]
　なお動きベクトルmvTは、対象ピクチャと同じ時刻の参照レイヤ上のピクチャ（図ではpredSamplesLXに対応するブロックP）のベクトルを用いる。例えば、ブロックの左上座標を(xP, yP)、変位ベクトルがmvLX[]の場合、対応する位置(xRef, yRef)の動きベクトルを参照する。
　xRef = Clip3( 0, PicWidthInSamplesL - 1, xP + ( nPSW >> 1 ) + ( ( mvLX[ 0 ] + 2 ) >> 2 ) )
　yRef = Clip3( 0, PicHeightInSamplesL - 1, yP + ( nPSH >> 1 ) + ( ( mvLX[ 1 ]+ 2 ) >> 2 ) )
　参照画像補間部３０９２２は、参照ブロックcurrIvSamplesLXの補間画像をベクトルmvLXに上記ベクトルmvCを設定して生成する。補間画像の画素の座標（ｘ，ｙ）を、予測ユニットのベクトルmvLXだけずらした位置の画素を線形補間（双線形補間）により導出する。変位ベクトルLXが１／４ペルの小数精度であることを考慮し、参照画像補間部３０９２２は、予測ユニットの画素の座標が（ｘＰ、ｙＰ）である場合に対応する整数精度の画素Ｒ０のＸ座標xIntとＹ座標yInt、及び変位ベクトルmvDispのＸ成分の小数部分xFracとＹ成分の小数部分yFracを
　xInt = xPb + ( mvLX[ 0 ] >> 2 )
　yInt = yPb + ( mvLX[ 1 ] >> 2 )
　xFrac = mvLX[ 0 ] & 3 
　yFrac = mvLX[ 1 ] & 3 
の式により導出する。ここで、Ｘ & 3は、Ｘの下位２ビットのみを取り出す数式である。
　次に、参照画像補間部３０９２２は、ベクトルmvLXが１／４ペルの小数精度であることを考慮し、補間画素predPartLX[ x ][ y ]を生成する。まず、整数画素Ａ(xA,yB)、Ｂ(xB,yB)、Ｃ(xC,yC)及びＤ(xD,yD)の座標を
　xA = Clip3( 0, picWidthInSamples - 1, xInt )
　xB = Clip3( 0, picWidthInSamples - 1, xInt + 1 )
　xC = Clip3( 0, picWidthInSamples - 1, xInt )
　xD = Clip3( 0, picWidthInSamples - 1, xInt + 1 ) 
　yA = Clip3( 0, picHeightInSamples - 1, yInt )
　yB = Clip3( 0, picHeightInSamples - 1, yInt )
　yC = Clip3( 0, picHeightInSamples - 1, yInt + 1 ) 
　yD = Clip3( 0, picHeightInSamples - 1, yInt + 1 )
の式により導出する。ここで、整数画素Ａは画素Ｒ０に対応した画素であり、整数画素Ｂ，Ｃ，Ｄはそれぞれ整数画素Ａの右、下、右下に隣接する整数精度の画素である。参照画像補間部３０９２２は、各整数画素Ａ、Ｂ、Ｃ、及びＤに対応する参照画素refPicLX[ xA][ yA ]、refPicLX[ xB ][ yB ]、refPicLX[ xC ][ yC ]、及びrefPicLX[ xD ][ yD ]を参照ピクチャメモリ３０６から読み出す。
　そして、参照画像補間部３０９２２は、参照画素refPicLX[ xA ][ yA ]、refPicLX[ xB][ yB ]、refPicLX[ xC ][ yC ]、refPicLX[ xD ][ yD ]とベクトルmvLXのＸ成分の小数部分xFracとＹ成分の小数部分yFracを用いて、画素Ｒ０からベクトルmvLXの小数部分だけずらした位置の画素である補間画素predPartLX[ x ][ y ]を線形補間（双線形補間）により導出する。具体的には、
　predPartLX[ x ][ y ] = (refPicLX[ xA ][ yA ] * ( 8 - xFrac ) * ( 8 - yFrac ) + refPicLX[ xB ][ yB ] * ( 8 - yFrac ) * xFrac
+ refPicLX[ xC ][ yC ] * ( 8 - xFrac ) * yFrac
+ refPicLX[ xD ][ yD ] * xFrac * yFrac ) >> 6
の式により導出する。
　なお、上記では対象画素の周囲の４点の画素を用いて１ステップの双線形補間により導出しているが、水平方向の線形補間と垂直方向の線形補間を分離し２ステップの線形補間により残差予測補間画像を生成しても良い。
　参照画像補間部３０９２２は、上記の補間画素導出処理を、予測ユニット内の各画素に対して行い、補間画素の集合を補間ブロックpredPartLXとする。参照画像補間部３０９２２は、導出した補間ブロックpredPartLXを、対応ブロックcurrIvSamplesLXとして、残差合成部３０９２３に出力する。
　参照画像補間部３０９２２は、対応ブロックcurrIvSamplesLXを導出した処理と、変位ベクトルmvLXをベクトルmvRに置き換えている点を除いて、同様の処理を行うことで、参照ブロックrefIvSamplesLXを導出する。参照画像補間部３０９２２は、参照ブロックrefIvSamplesLXを残差合成部３０９２３に出力する。
　残差合成部３０９２３は、残差予測実施フラグresPredFlagが１の場合には、２つの残差予測動き補償画像（currIvSamplesLX、refIvSamplesLX）の差分から残差を導出し、動き補償画像にこの残差を加算することにより予測画像を導出する。具体的には、残差合成部３０９２３は、予測画像predSamplesLX、対応ブロックcurrIvSamplesLX、参照ブロックrefIvSamplesLX及び残差予測フラグiv_res_pred_weight_idxから、補正予測画像predSamplesLX´を導出する。補正予測画像predSamplesLX´は、
　predSamplesLX´[x][y] = predSamplesLX[x][y] + 
((currIvSamplesLX[x][y] - refIvSamplesLX[x][y]) >> (iv_res_pred_weight_idx - 1))の式を用いて求める。xは０から予測ブロックの幅-1、yは0から予測ブロックの高さ-1である。残差合成部３０９２３は、残差予測実施フラグresPredFlagが０の場合には、以下の式のように予測画像predSamplesLXをそのまま出力する。
　predSamplesLX´[x][y] = predSamplesLX[x][y]
　　（照度補償）
　照度補償部３０９３は、照度補償フラグic_flagが１の場合に、入力された予測画像predSamplesLXに対して、照度補償を行う。照度補償フラグic_flagが０の場合には、入力された予測画像predSamplesLXをそのまま出力する。
　　（視点合成予測）
　視点合成予測部３０９４（視点合成予測装置）は、VSPモードフラグVspModeFlag（vspModeFlag）が１の場合に視点合成予測により予測画像predSampleLXを導出する。視点合成予測は、予測ユニットをサブブロックに分割し、サブブロック単位で、参照ピクチャメモリ３０６から、視差配列disparitySampleArray分だけずれた位置のブロックを読み出し補間することによって予測画像predSamplesを生成する処理である。
　図１７は視点合成予測部３０９４の構成を示すブロック図である。視点合成予測部３０９４は、視差配列導出部３０９４１と、参照画像補間部３０９４２から構成される。
　視差配列導出部３０９４１は、VSPモードフラグVspModeFlag（vspModeFlag）が１の場合に、サブブロック単位で、視差配列disparitySampleArrayを導出する。
　具体的には、まず、視差配列導出部３０９４１は、参照ピクチャメモリ３０６から、復号対象ピクチャと同一ＰＯＣを持ち、なお且つ、変位ベクトルが示すピクチャのビューＩＤ（RefViewIdx）と同じビューＩＤであるデプス画像refDepPelsを読み出す。
　次に、視差配列導出部３０９４１は、予測ユニットの左上の座標（ｘＰ、ｙＰ）を変位ベクトルMvDispだけずらした座標(xTL, yTL)を、
　　xTL = xP + ( ( mvDisp[ 0 ] + 2 ) >> 2 )
　　yTL = yP + ( ( mvDisp[ 1 ] + 2 ) >> 2 )
の式より導出する。なお、mvDisp[ 0 ]、mvDisp[ 1 ]は、それぞれ変位ベクトルMvDispのＸ成分とＹ成分である。導出する座標(xTL, yTL)は、デプス画像refDepPels上の予測ユニットに対応するブロックの座標を示すものである。
　視点合成予測部３０９４は、対象ブロック（予測ユニット）のサイズ（幅nPSW×高さnPSH）に応じて、サブブロック分割を行う。
　図１２は、予測ユニットのサブブロック分割を説明する図である。予測ユニットは８×４もしくは４×８のサブブロックに分割される。図１２（ａ）に示すように予測ユニットの高さnPSH（同図ではheight）がnPSH%8!=0を満たす場合には、８×４のサブブロックが用いられる。図１２（ｂ）に示すように予測ユニットの幅nPSW（同図ではwidth）がnPSW%8!=0を満たす場合には、４×８のサブブロックが用いられる。図１２（ｃ）に示すように、それ以外の場合には、予測ユニットに対応するデプスブロックのデプスの値に応じて８×４もしくは４×８のサブブロックが用いられる。
　視差配列導出部３０９４１は、予測ユニットの幅nPSWもしくは高さnPSHが８の倍数以外の場合に、以下の式によりフラグminSubBlkSizeFlagを１に設定する。
　minSubBlkSizeFlag = ( nPSW % 8 != 0) | | ( nPSH % 8 != 0 )
　視差配列導出部３０９４１は、フラグminSubBlkSizeFlagが１の場合、以下の式により、予測ユニットの高さが８の倍数以外の場合（nPSH % 8が真の場合）には、horSplitFlagに１、それ以外の場合には、０を設定する。
　horSplitFlag = ( nPSH % 8 ! = 0 )
　すなわち、予測ユニットの高さが８の倍数以外の場合（nPSH % 8が真の場合）には、horSplitFlagに１、予測ユニットの幅が８の倍数以外の場合（nPSW % 8が真の場合）には、horSplitFlagに０が設定される。
　視差配列導出部３０９４１は、フラグminSubBlkSizeFlagが０の場合、デプス値からサブブロックサイズを導出する。図１３は、デプス値からサブブロックサイズを導出する方法を示す図である。図１３に示すとおり、予測ブロックのコーナーの４点（ＴＬ、ＴＲ、ＢＬ、ＢＲ）の比較から、サブブロックサイズを導出する。具体的には、予測ユニットの左上端（ＴＬ）の座標のデプス画像の画素値をrefDepPelsP0、右上端（ＴＲ）の画素値をrefDepPelsP1、左下端（ＢＬ）の画素値をrefDepPelsP2、右下端（ＢＲ）の画素値をrefDepPelsP3とした場合、
　　horSplitFlag＝( refDepPelsP0 > refDepPelsP3 ) == ( refDepPelsP1 > refDepPelsP2 )
の条件式（horSplitFlag）が成立するかを判定する。
なお、horSplitFlagの導出には、符号を変更した以下の式を用いても良い。
　　horSplitFlag＝( refDepPelsP0 < refDepPelsP3 ) == ( refDepPelsP1 < refDepPelsP2 )
　次に、視差配列導出部３０９４１は、
　nSubBlkW = horSplitFlag ? 8 : 4
　nSubBlkH = horSplitFlag ? 4 : 8
の式を用いてサブブロックの幅nSubBlkWと高さnSubBlkHを設定する。
　以上の視差配列導出部３０９４１の動作は次と同値である。予測ユニットの高さnPSHが８の倍数以外の場合（nPSH % 8が真の場合）には、
　nSubBlkW = 8
　nSubBlkH = 4
の式のように、サブブロックの幅nSubBlkWに８、サブブロックの幅nSubBlkHに４を設定する。
　それ以外で予測ユニットの幅nPSWが８の倍数以外の場合（nPSW % 8が真の場合）には、
　nSubBlkW = 4
　nSubBlkH = 8
の式のように、サブブロックの幅nSubBlkWに４、サブブロックの幅nSubBlkHに８を設定する。
　それ以外の場合（予測ユニットの高さと幅がともに８の倍数の場合）には、視差配列導出部３０９４１は、上記条件式を用いて、デプス画像の画素値を用いて、サブブロックの幅と高さを設定する。
　次に、視差配列導出部３０９４１は、予測ユニット内のサブブロックごとに、ブロックの左上画素を原点とした場合のサブブロックの幅nSubBlkWと高さnSubBlkHと、分割フラグsplitFlagと、デプス画像refDepPelsと、対応ブロックの座標(xTL, yTL)と、参照ピクチャインデックスrefIdxLXが示す参照ピクチャが属するレイヤのビューＩＤrefViewIdxと、をデプスＤＶ導出部３５１に出力することで、デプスＤＶ導出部３５１から視差配列disparitySampleArrayを得る。視差配列導出部３０９４１は、導出した視差配列disparitySampleArrayを参照画像補間部３０９２２に出力する。
　　（視差配列導出部３０９４１の変形例）
　視差配列導出部３０９４１の変形例として、以下、視差配列導出部３０９４１Ｂを説明する。図２３は、視差配列導出部３０９４１Ｂにおけるサブブロック分割の動作を示すフローチャートである。
　（Ｓ２１０１）視差配列導出部３０９４１Ｂは、予測ユニットの幅nPSWが高さnPSHより大きい場合には、サブブロックサイズを８×４の設定する（ステップＳ２１０２）。ここでは、horSplitFlagに１を設定する。すなわち、分割モードPartModeが、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤの場合には、horSplitFlagを１に設定しサブブロックサイズを８×４に設定する。
　（Ｓ２１０３）それ以外で（予測ユニットの幅nPSWが高さnPSH以下の場合）、視差配列導出部３０９４１Ｂは、予測ユニットの高さPSHが幅PSWより大きい場合には、サブブロックサイズを４×８に設定する（ステップＳ２１０４）。ここでは、horSplitFlagを０に設定する。すなわち、分割モードPartModeが、Ｎ×２Ｎ、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎの場合には、horSplitFlagを０に設定しサブブロックサイズを４×８に設定する。
　（Ｓ２１０４）それ以外（予測ユニットの幅nPSWと高さnPSHが等しい場合）には、視差配列導出部３０９４１Ｂは、以下の式によりデプスからサブブロックサイズを設定する（ステップＳ２１０５）。すなわち、分割モードPartModeが、２Ｎ×２ＮもしくはＮ×Ｎの場合に、horSplitFlagをデプスに基づいて設定する。ここでは、視差配列導出部３０９４１は、フラグminSubBlkSizeFlagが０の場合、予測ユニットの左上端の座標のデプス画像の画素値をrefDepPelsP0、右上端の画素値をrefDepPelsP1、左下端の画素値をrefDepPelsP2、右下端の画素値をrefDepPelsP3とした場合、
　　horSplitFlag＝( refDepPelsP0 > refDepPelsP3 ) == ( refDepPelsP1 > refDepPelsP2 )
の条件式（horSplitFlag）が成立するかを判定する。
　視差配列導出部３０９４１Ｂは、
　nSubBlkW = horSplitFlag ? 8 : 4
　nSubBlkH = horSplitFlag ? 4 : 8
の式を用いてサブブロックの幅nSubBlkWと高さnSubBlkHを設定する。
　なお、上記のフローチャートにおいては、width > height を先に判定しているが、height > widthを先に判定しても良い。
　図２４、図２５は、上記視差配列導出部３０９４１Ｂにおけるサブブロック選択を図示したものである。図２４、図２５に示す通り、視差配列導出部３０９４１Ｂは、予測ユニットの幅が高さよりも大きい場合（２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ）に、横長の長方形のサブブロックサイズを導出し、予測ユニットの高さが幅よりも大きい場合（Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ）に、縦長の長方形のサブブロックサイズを導出する。予測ユニットの幅と高さが等しい場合（２Ｎ×２Ｎ、Ｎ×Ｎ）には、デプスの値に応じてサブブロックサイズを導出する。
具体的には、予測ユニットの幅が高さよりも大きい場合に、幅×高さが８×４のサブブロックサイズを導出し、予測ユニットの高さが幅よりも大きい場合には、幅×高さが４×８のサブブロックサイズを導出し、それ以外の場合には、デプスを参照して８×４のサブブロックサイズもしくは４×８のサブブロックサイズを導出することが適当である。
　視差配列導出部３０９４１Ｂは、さらにサブブロック単位で、視差配列disparitySampleArrayを導出する処理を行うが、この処理は、既に説明した視差配列導出部３０９４１と同一であるので説明を省略する。
　以上説明した、視差配列導出部３０９４１Ｂを備える視点合成予測部３０９４によれば、予測ユニットの幅と高さが一致する場合を除き、予測ユニットの高さと幅の比較により、サブブロックのサイズを導出するため、予測ユニットデプスを算出する必要がないため処理量が低減する効果を奏する。すなわち、予測ユニットの高さと幅が等しい場合には、デプスを参照してサブブロックサイズを導出し、前記予測ユニットの高さと幅が等しくない場合には、デプスを参照せずにサブブロックサイズを導出するため、処理量が低減される。
　　（視差配列導出部３０９４１の別の変形例）
　視差配列導出部３０９４１の別の変形例として、以下、視差配列導出部３０９４１Ｃを説明する。図２７は、視差配列導出部３０９４１Ｃにおけるサブブロック分割の動作を示すフローチャートである。
　（Ｓ２５０１）視差配列導出部３０９４１Ｃは、予測ユニットの幅nPSWが高さnPSHより大きい場合には、サブブロックサイズを８×４の設定する（ステップＳ２５０２）。ここでは、horSplitFlagに１を設定する。すなわち、分割モードPartModeが、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤの場合には、horSplitFlagを１に設定しサブブロックサイズを８×４に設定する。
　（Ｓ２５０３）それ以外で（予測ユニットの幅nPSWが高さnPSH以下の場合）、視差配列導出部３０９４１Ｃは、予測ユニットの高さnPSHが幅nPSWより大きい場合には、サブブロックサイズを４×８に設定する（ステップＳ２５０４）。ここでは、horSplitFlagに０を設定する。すなわち、分割モードPartModeが、Ｎ×２Ｎ、ｎＬ×２Ｎ、およびｎＲ×２Ｎの場合には、horSplitFlagを０に設定しサブブロックサイズを４×８に設定する。
　（Ｓ２５０４）それ以外（予測ユニットの幅nPSWと高さnPSHが等しい場合）には、視差配列導出部３０９４１Ｃは、horSplitFlagを１に設定しサブブロックサイズを８×４に設定する。すなわち、分割モードPartModeが、２Ｎ×２Ｎ、Ｎ×Ｎの場合には、horSplitFlagを１に設定しサブブロックサイズを８×４に設定する。
　視差配列導出部３０９４１Ｃは、
　nSubBlkW = horSplitFlag ? 8 : 4
　nSubBlkH = horSplitFlag ? 4 : 8
の式を用いてサブブロックの幅nSubBlkWと高さnSubBlkHを設定する。
　なお、上記のフローチャートにおいては、width > height を先に判定しているが、height > widthを先に判定しても良い。
　図２６は、上記視差配列導出部３０９４１Ｃにおけるサブブロック選択を図示したものである。図２６に示す通り、視差配列導出部３０９４１Ｃは、予測ユニットの幅が高さよりも大きい場合（２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ）に、横長の長方形のサブブロックサイズを導出し、予測ユニットの高さが幅よりも大きい場合（Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ）に、縦長の長方形のサブブロックサイズを導出する。予測ユニットの幅と高さが等しい場合（２Ｎ×２Ｎ、Ｎ×Ｎ）には、固定のサブブロックサイズを導出する。
　具体的には、既に説明した通り、予測ユニットの幅が高さよりも大きい場合に、幅×高さが８×４のサブブロックサイズを導出し、予測ユニットの高さが幅よりも大きい場合には、幅×高さが４×８のサブブロックサイズを導出し、それ以外の場合には、８×４のサブブロックサイズを導出することが適当である。
　視差配列導出部３０９４１Ｃは、さらにサブブロック単位で、視差配列disparitySampleArrayを導出する処理を行うが、この処理は、既に説明した視差配列導出部３０９４１と同一であるので説明を省略する。
　以上説明した、視差配列導出部３０９４１Ｃを備える視点合成予測部３０９４によれば、予測ユニットの高さと幅の比較により、サブブロックのサイズを導出するため、処理量が低減する効果を奏する。また、他の変形例に比べて処理が簡易であるという特徴を有する。
　　（視差配列導出部３０９４１の別の変形例）
　視差配列導出部３０９４１のさらに別の変形例として、以下、視差配列導出部３０９４１Ｄを説明する。視差配列導出部３０９４１Ｄは、視差配列導出部３０９４１Ｂ、視差配列導出部３０９４１Ｃと、予測ユニットの幅と高さが等しい場合以外を除いて等しい。
　（Ｓ２６０１）視差配列導出部３０９４１Ｄは、予測ユニットの幅nPSWが高さnPSHより大きい場合には、サブブロックサイズを８×４の設定する（ステップＳ２６０２）。ここでは、horSplitFlagに１を設定する。すなわち、分割モードPartModeが、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤの場合には、horSplitFlagを１に設定しサブブロックサイズを８×４に設定する。
　（Ｓ２６０３）それ以外で（予測ユニットの幅nPSWが高さnPSH以下の場合）、視差配列導出部３０９４１Ｄは、予測ユニットの高さnPSHが幅nPSWより大きい場合には、サブブロックサイズを４×８に設定する（ステップＳ２６０４）。ここでは、horSplitFlagを０に設定する。すなわち、分割モードPartModeが、Ｎ×２Ｎ、ｎＬ×２Ｎ、およびｎＲ×２Ｎの場合には、horSplitFlagを０に設定しサブブロックサイズを４×８に設定する。
　（Ｓ２６０４）それ以外（予測ユニットの幅nPSWと高さnPSHが等しい場合）には、視差配列導出部３０９４１Ｄは、以下の式によりhorSplitFlagを設定する。つまり、２Ｎ×２Ｎ、Ｎ×Ｎの場合には、以下の式によりhorSplitFlagを設定する。
　horSplitFlag = (log2(nPSW) & 1) ? 0 : 1
　上記式では、予測ユニットの幅nPSW（もしくは予測ユニットの高さnPSH）の２の対数が奇数の場合（例えば予測ユニットのサイズが８×８、３２×３２）には、４×８（horSplitFlag=0）、予測ユニットの幅の２の対数が偶数の場合（例えば予測ユニットのサイズが１６×１６、６４×６４）には８×４のサブブロック（horSplitFlag=1）を用いる。
　視差配列導出部３０９４１Ｄは、
　nSubBlkW = horSplitFlag ? 8 : 4
　nSubBlkH = horSplitFlag ? 4 : 8
の式を用いてサブブロックの幅nSubBlkWと高さnSubBlkHを設定する。
　視差配列導出部３０９４１Ｄは、予測ユニットの幅が高さよりも大きい場合（２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ）に、横長の長方形のサブブロックサイズを導出し、予測ユニットの高さが幅よりも大きい場合（Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ）に、縦長の長方形のサブブロックサイズを導出する。予測ユニットの幅と高さが等しい場合（２Ｎ×２Ｎ、Ｎ×Ｎ）にも、予測ブロックのサイズに応じてサブブロックサイズを導出する。
　視差配列導出部３０９４１Ｄは、さらにサブブロック単位で、視差配列disparitySampleArrayを導出する処理を行うが、この処理は、既に説明した視差配列導出部３０９４１と同一であるので説明を省略する。
　以上説明した、視差配列導出部３０９４１Ｄを備える視点合成予測部３０９４によれば、予測ユニットのサイズに応じて、サブブロックのサイズを導出するため、処理量が低減する効果を奏する。
　　（視差配列導出部３０９４１の別の変形例）
　視差配列導出部３０９４１のさらに別の変形例として、以下、視差配列導出部３０９４１Ｅを説明する。擬似コードで記述すると以下となる。
if ((nPSH % 8))　（Ｓ２７０１）
{
horSplitFlag = 1; // 8x4
}
else if ((nPSW % 8)) 　（Ｓ２７０２）
{
horSplitFlag = 0; // 4x8
}
if (nPSW > nPSH) 　（Ｓ２７０３）
{
horSplitFlag = 0; // 4x8
}
else if (nPSH > nPSW) 　（Ｓ２７０４）
{
horSplitFlag = 1; // 8x4
}
else　（Ｓ２７０５）
{
horSplitFlag = 1; // 8x4
}
　（Ｓ２７０１）視差配列導出部３０９４１Ｅは、予測ユニットの高さnPSHが８の倍数ではない場合には、サブブロックサイズを８×４（horSplitFlag = 1）に設定する。
　（Ｓ２７０２）それ以外、視差配列導出部３０９４１Ｅは、予測ユニットの幅nPSWが８の倍数ではない場合には、サブブロックサイズを４×８（horSplitFlag = 0）に設定する。
　（Ｓ２７０３）それ以外、視差配列導出部３０９４１Ｅは、予測ユニットの幅nPSWが高さPSHよりも大きい場合には、サブブロックサイズを４×８（horSplitFlag = 0）に設定する。
　（Ｓ２７０４）それ以外、視差配列導出部３０９４１Ｅは、予測ユニットの高さnPSHが幅PSWよりも大きい場合には、サブブロックサイズを８×４（horSplitFlag = 1）に設定する。
　（Ｓ２７０５）それ以外、視差配列導出部３０９４１Ｅは、予測ユニットの幅nPSHと高さPSWが等しい場合には、サブブロックサイズを８×４（horSplitFlag = 1）に設定する。
　以上説明した、視差配列導出部３０９４１Ｅを備える視点合成予測部３０９４によれば、予測ユニットのサイズに応じて、サブブロックのサイズを導出するため、処理量が低減する効果を奏する。
　なお、Ｓ２７０５は次に示すＳ２７０５Ｅでも構わない。この場合には、予測ユニットの幅と高さが異なる場合以外において、サブブロックのサイズを導出するため、処理量が低減する効果を奏する。
　　（デプスＤＶ導出部３５１）
　デプスＤＶ導出部３５１は、デプスＤＶ変換テーブルDepthToDisparityBと、サブブロックの幅nSubBlkWと高さnSubBlkHと、分割フラグsplitFlagと、デプス画像refDepPelsと、デプス画像refDepPels上の対応ブロックの座標(xTL, yTL)と、、ビューＩＤrefViewIdxを入力として、以下の処理により、デプス由来の変位ベクトルの水平成分である視差配列disparitySamplesを導出する。
　デプスＤＶ導出部３５１は、予測ユニットを構成するサブブロックごとにデプスの代表値maxDepを導出する。
　デプスＤＶ導出部３５１は、サブブロックの左上の予測ブロック(xTL, yTL)からの相対座標を（xSubB、ySubB）とした場合、サブブロックの左端のＸ座標xP0と、右端のＸ座標xP1と、上端のＹ座標yP0と、下端のＹ座標yP1を、
　　xP0 = Clip3( 0, pic_width_in_luma_samples - 1, xTL + xSubB )
　　yP0 = Clip3( 0, pic_height_in_luma_samples - 1, yTL + ySubB ) 
　　xP1 = Clip3( 0, pic_width_in_luma_samples - 1, xTL + xSubB + nSubBlkW - 1 )
　　yP1 = Clip3( 0, pic_height_in_luma_samples - 1, yTL + ySubB + nSubBlkH - 1 )
の式を用いて設定する。なお、pic_width_in_luma_samplesとpic_height_in_luma_samplesは、それぞれ画像の幅と高さを表す。
　次に、デプスＤＶ導出部３５１は、サブブロックのデプスの代表値maxDepを導出する。具体的には、サブブロックのコーナーおよびその付近４点のデプス画像の画素値refDepPels[ xP0 ][ yP0 ]、refDepPels[ xP0 ][ yP1 ]、refDepPels[ xP1 ][ yP0 ]、refDepPels[ xP1 ][ yP1 ]の最大値である代表デプス値maxDepを、
　　maxDep = 0
　　maxDep = Max( maxDep, refDepPels[ xP0 ][ yP0 ] )
　　maxDep = Max( maxDep, refDepPels[ xP0 ][ yP1 ] )
　　maxDep = Max( maxDep, refDepPels[ xP1 ][ yP0 ] )
　　maxDep = Max( maxDep, refDepPels[ xP1 ][ yP1 ] )
の式より導出する。また、関数Max(x,y)は、第１引数ｘが第２引数ｙ以上であればｘを、そうでなければｙを返す関数である。
　デプスＤＶ導出部３５１は、代表デプス値maxDepとデプスＤＶ変換テーブルDepthToDisparityBと変位ベクトル(NBDV)が示すレイヤのビューＩＤrefViewIdxを用いて、デプス由来の変位ベクトルの水平成分である視差配列disparitySamplesを、サブブロック内の画素（ｘ、ｙ）（ｘは0からnSubBlkW-1、ｙは0からnSubBlkH-1の値を取る）ごとに、
　　disparitySamples[x][y] = DepthToDisparityB[refViewIdx][maxDep]・・（式Ａ）
により導出する。
　ここで、DepthToDisparityB[x][y]は、ビューＩＤx、デプス値yから、変位を導出するためのデプスＤＶ変換テーブル、refViewIdxはビューＩＤ、maxDepは、代表デプス値である。
　デプスＤＶ導出部３５１は、導出した視差配列disparitySamplesを変位ベクトル導出部３０３６３にDoNBDVとして出力する。デプスＤＶ導出部３５１は、また、参照画像補間部３０９４２にサブブロックの変位ベクトルとして出力する。
　　（デプスＤＶ導出部３５１の変形例）
　デプスＤＶ導出部３５１の変形例として、以下、デプスＤＶ導出部３５１Ｂを説明する。図２８は、デプスＤＶ導出部３５１Ｂが参照するデプス位置を説明するための図である。
　次に、デプスＤＶ導出部３５１Ｂは、視点合成予測の場合（splitFlagが１の場合）、サブブロックのデプスの代表値maxDepを１点のデプス値に設定する。
　　maxDep = refDepPels[ xP0 ][ yP0 ]
　ここで、xP0、yP0は、以下の式から導出する。
　　xP0 = Clip3( 0, pic_width_in_luma_samples - 1, xTL + xSubB + nSubBlkW/2 )
　　yP0 = Clip3( 0, pic_height_in_luma_samples - 1, yTL + ySubB + nSubBlkH/2 ) 
　すなわち、サブブロックの中心となるようにオフセットを設定する。
　以下、代表デプス値maxDepから視差配列disparitySamplesを導出する処理は、既に説明したデプスＤＶ導出部３５１と同じなので処理を省略する。
　なお、デプスＤＶ導出部３５１Ｂは、代表デプスを参照する点の座標xP0、yP0を、以下の式から導出しても良い。
　　xP0 = Clip3( 0, pic_width_in_luma_samples - 1, xTL + xSubB + OFH )
　　yP0 = Clip3( 0, pic_height_in_luma_samples - 1, yTL + ySubB + OFV )
　ここで、OFHとOFVは、固定のオフセットであり、例えば、 サブブロックのサイズ（nSubBlkW、nSubBlkH）に依存しない値であるOFH=2、OFV=2を用いることを用いることが好適であることが発明者の実験により確認されている。
　以上説明したデプスＤＶ導出部３５１Ｂによれば、視点合成予測においてサブブロック毎に１点のデプス値のみを参照するため、デプス値を導出するためのメモリアクセスおよび処理が簡略化されるという効果を奏する。固定のオフセットを用いる場合には、サブブロックサイズに依存しないため、処理がさらに簡略化されるという効果を奏する。　なお、デプスＤＶ導出部３５１Ｂと、視差配列導出部３０９４１Ｂから視差配列導出部３０９４１Ｅを備える画像復号装置においては、サブブロックのデプスの参照点が１点のみと少なく、さらにサブブロックの選択にデプスを使わない（もしくは予測ブロックの幅と高さが同じ場合を除きデプスを使わない）ため、視点合成予測に必要な処理が大きく簡略化されるという効果を奏する。
　　（デプスＤＶ導出部３５１の変形例）
　デプスＤＶ導出部３５１の変形例として、以下、デプスＤＶ導出部３５１Ｃを説明する。図２９は、デプスＤＶ導出部３５１Ｃが参照するデプス位置を説明するための図である。
　次に、デプスＤＶ導出部３５１Ｃは、視点合成予測の場合（splitFlagが１の場合）、サブブロックのデプスの代表値maxDepを２点のデプス値の最大値により導出する。
　　maxDep = Max(refDepPels[ xP0 ][ yP0 ], refDepPels[ xP1 ][ yP0 ])
　ここで、xP0、yP0、xP1は、以下の式から導出する。
　　xP0 = Clip3( 0, pic_width_in_luma_samples - 1, xTL + xSub )
　　yP0 = Clip3( 0, pic_height_in_luma_samples - 1, yTL + ySubB ) 
　　xP1 = Clip3( 0, pic_width_in_luma_samples - 1, xTL + ySubB + nSubBlkW -1 ) 
　以下、代表デプス値maxDepから視差配列disparitySamplesを導出する処理は、既に説明したデプスＤＶ導出部３５１と同じなので処理を省略する。
　以上説明したデプスＤＶ導出部３５１Ｃによれば、視点合成予測においてサブブロック毎に２点のデプス値のみを参照するため、デプス値を導出するためのメモリアクセスおよび処理が簡略化されるという効果を奏する。さらに、２点のブロックの垂直座標が同じyP0であることから、デプスがラスタスキャン状に配置されている場合には、１度のアクセスでバースト的に読み出すことが可能でありアクセスが容易になる効果を奏する。さらに、垂直座標yP0が、ySubBもしくはySubB + nSubBlkH - 1（もしくはySubB + nSubBlkH）である場合には、サブブロックのサイズをデプスから導出する場合に用いるデプスと同じ点を参照するため、サブブロック判定用のアクセスと、代表デプス値導出用のアクセスを一度に行うことができアクセスが容易になる。
　参照画像補間部３０９４２は、視差配列導出部３０９４１から入力された視差配列disparitySampleArrayとインター予測パラメータ復号部３０３から入力された参照ピクチャインデックスrefIdxLXから、予測ブロックpredSamplesを導出する。
　参照画像補間部３０９４２は、予測ユニット中の画素ごとに、その画素の座標から、対応する視差配列disparitySampleArrayの値だけＸ座標をずらした位置の画素を、参照ピクチャインデックスrefIdxLXが指定する参照ピクチャrefPicから抽出する。視差配列disparitySampleArrayが１／４ペルの小数精度であることを考慮し、参照画像補間部３０９４２は、予測ユニットの左上端の画素の座標が(xP, yP)であり、予測ユニット中の各画素の座標が(xL, yL) (xLは0からnPbW-1、yLは0からnPbH-1の値を取る)である場合に、参照ピクチャrefPicから抽出する画素の整数制度の座標(xInt, yInt)と、画素(xL, yL)に対応する視差配列disparitySampleArray[xL][ [yL]の小数部分xFracと、yFracを、
　xIntL = xP + xL+ disparitySamples[ xL ][ yL ]
　yIntL = yP + yL
　xFracL = disparitySamples[ xL ][ yL ] & 3
　xFracL = 0
の式より導出する。
　次に、参照画像補間部３０９４２は、予測ユニットの各サブブロックに対して動き変位補償部３０９１と同様の補間画素導出処理を行い、補間画素の集合を補間ブロックpredPartLXとする。参照画像補間部３０９４２は、導出した補間ブロックpredPartLXを予測ブロックpredSamplesLXとして、加算部３１２に出力する。
　　（デプスＤＶ導出部３５１の変形例）
　デプスＤＶ導出部３５１の変形例として、以下、デプスＤＶ導出部３５１Ｄを説明する。デプスＤＶ導出部３５１Ｄは、視差合成予測の対象予測ユニットの形状に応じて、４点のデプス値からデプス代表値maxDepを導出するか、１点のデプス値からデプス代表値を導出するかを切り替える。デプスＤＶ導出部３５１Ｄは、導出されたデプス代表値から視差を導出する。視差合成予測では導出された視差を視差ベクトルの水平成分として、視差合成予測を行う。
　図３２は、デプスＤＶ導出部３５１Ｄの動作を示すフローチャートである。
　（Ｓ４００１）視差合成予測の対象となる対象予測ユニットが所定の形状であるかを判定する。所定の形状の場合、Ｓ４００２に遷移する。満たさない場合、Ｓ４００３に遷移する。ここで、所定の形状は、対象予測ユニットが正方形であること、を用いる。なお、デプスＤＶ導出部３５１Ｄは、対象予測ユニットが正方形であるとの判定として、予測ブロックの幅nPbWと高さnPbHが等しいこと（nPbW== nPbH）、もしくは、対象符号化ユニットの分割モードが２Ｎ×２Ｎであること、を用いることもできる。
　（Ｓ４００２）対象予測ユニットが所定の形状の場合には、４点のデプスの最大値からデプス代表値maxDepを導出し、導出されたデプス代表値maxDepから視差を導出する。具体的には、デプスＤＶ導出部３５１で説明した処理を用いる。好適には、サブブロックの隅の４点のデプス値の最大値をデプス代表値maxDepに用いる。
　（Ｓ４００３）対象予測ユニットが所定の形状でない場合には、１点のデプスからデプス代表値maxDepを導出し、導出されたデプス代表値maxDepから視差を導出する。具体的には、デプスＤＶ導出部３５１Ｂで説明した処理を用いる。好適には、サブブロックの中心の１点のデプス値をデプス代表値maxDepに用いる。
　デプスＤＶ導出部３５１Ｄの処理を擬似コードで示すと以下の通りとなる。
　If (nPSW == nPSH) {
　　xP0 = Clip3( 0, pic_width_in_luma_samples - 1, xTL + xSubB )
　　yP0 = Clip3( 0, pic_height_in_luma_samples - 1, yTL + ySubB ) 
　　xP1 = Clip3( 0, pic_width_in_luma_samples - 1, xTL + xSubB + nSubBlkW - 1 )
　　yP1 = Clip3( 0, pic_height_in_luma_samples - 1, yTL + ySubB + nSubBlkH - 1)
　　maxDep = 0
　　maxDep = Max( maxDep, refDepPels[ xP0 ][ yP0 ] )
　　maxDep = Max( maxDep, refDepPels[ xP0 ][ yP1] )
　　maxDep = Max( maxDep, refDepPels[ xP1][ yP0 ] )
　　maxDep = Max( maxDep, refDepPels[ xP1][ yP1 ] )
　} Otherwise (nPSW != nPSH) {
　　xP0 = Clip3( 0, pic_width_in_luma_samples - 1, xTL + xSubB/2 )
　　yP0 = Clip3( 0, pic_height_in_luma_samples - 1, yTL + ySubB/2 ) 
　　maxDep = refDepPels[ xP0 ][ yP0 ]
　}
　ここで、nPSWとnPSHは予測ユニットの幅と高さ、xTL, yTLは、予測ユニットに対応するデプスブロックの左上座標、xSubB、xSubBは、デプスブロック内におけるサブブロックの左上座標、pic_width_in_luma_samples、pic_height_in_luma_samplesが画面の幅と高さ、Clip3(x, y, z)はzをx以上、y以下の範囲にクリップする関数であり、参照先が画面外に出てた際に、画面内の境界の点に置き換えるために使用される。Max(x, y)はxとyの最大値を求める関数。refDepPels[x][y]は、座標x, yのデプス値を示す。ここでは正方形以外の場合のサブブロック中心座標を（xTL + xSubB/2、yTL + ySubB/2）としている。
　以下、代表デプス値maxDepから視差配列disparitySamplesを導出する処理は、以下の通りである。（式Ａ）などの詳細は、既に説明したデプスＤＶ導出部３５１と同じなので処理を省略する。
　for ( yOff = 0; yOff < nSubBlkH; yOff++ ) {
　　for( xOff = 0; xOff < nSubBlkW; xOff++ ) {
　　　x = xSubB + xOff 
　　　y = ySubB + yOff 
　　　disparitySamples[ x ][ y ] = DepthToDisparityB[ refViewIdx ][ maxDep ] ・・（式Ａ）
　　}
　}
　ここで、nSubBlkW、nSubBlkHはサブブロックの幅と高さ、DepthToDisparityB[x][y]は、ビューＩＤx、デプス値yから、変位を導出するためのデプスＤＶ変換テーブル、refViewIdxはビューＩＤ、maxDepは、代表デプス値である。
　図３３は、デプスＤＶ導出部３５１Ｄのアクセスするデプスの位置を示す図である。図中（ａ）に示す通り、対象予測ユニットが正方形の場合には、サブブロックの４隅のデプスを参照し、図中（ｂ）に示す通り、それ以外の場合にはサブブロック中の１点のデプスを参照する。なお、サブブロックサイズは基本８×４もしくは４×８である。
　以上説明したデプスＤＶ導出部３５１Ｄによれば、対象予測ユニットが所定の形状を満たすか否かに応じて、視差合成予測に用いる視差ベクトルの導出に用いるデプス代表値を切り替えることにより、より精度の高い視差ベクトルを導出する効果を奏する。これにより符号化効率向上が可能である。実際、発明者の実験によれば、１点のデプスからデプス代表値を導出するデプスＤＶ導出部３５１Ｂでは、多くのシーケンスでは符号化効率が向上するものの、少数の一部シーケンスで符号化効率低下が生じることがあるのに対して、１点と４点を切りかえるデプスＤＶ導出部３５１Ｄはほぼ全てのシーケンスで符号化効率の向上を確認している。
　一般に４点のデプスを用いる方法は信頼性が向上する利点があるものの、参照する点がサブブロック間で隣接しているため、１点のデプスを用いる方法に比べて、隣り合うサブブロック間で同じ変位（視差ベクトル）になりやすいという欠点がある。逆に、１点のデプスを用いる方法は、参照する点がサブブロック間で離れているために、サブブロック毎に異なる動きベクトルが割り当てられることができることが多く、サブブロック単位でデプスに基づいた独立した動きベクトルを割り当てるという視差合成予測の効果を十分に発揮できる。そのため、多くのシーケンスでは高い符号化効率を得ることができる。しかし、一部のシーケンスでは４点のデプスを用いる方が高い効率を発揮する。このような観測において、対象予測ユニットの特性に応じて１点と４点を切り替える方法は、符号化装置側で対象予測ユニットを選択することによって１点と４点の良い方を選択することが可能であるため符号化効率が向上する。
　なお、上記では、対象予測ユニットが正方形（２Ｎ×２Ｎ、nPbW==nPbH）の場合に４点、対象予測ユニットが正方形（２Ｎ×２Ｎ以外、nPbW!=nPbH）の場合に１点としているが、その逆でも、常に４点を参照する場合に比べ、ある程度の符号化効率効果が得られることを確認している。従って、デプスＤＶ導出部３５１Ｄは、Ｓ４００１の対象予測ユニットが所定の形状であるかの判定を、以下の判定の何れかとすることも可能である。
・対象予測ユニットが正方形ではないこと
・予測ブロックの幅nPbWと高さnPbHが等しくない
・対象符号化ユニットの分割モードが２Ｎ×２Ｎではない。
　なお、発明者の実験では、先に説明した対象予測ユニットが正方形（２Ｎ×２Ｎ、nPbW==nPbH）の場合に４点とする構成の方が、後に説明した対象予測ユニットが正方形以外の場合に４点とする構成よりも、多くのシーケンスで符号化効率が高いことを確認している。これは、対象予測ユニットが正方形（２Ｎ×２Ｎ）の場合は比較的ブロックサイズが大きいことが多く、この場合、４点を用いても隣接するサブブロックと異なる視差ベクトルが得られる可能性が高い。またブロックサイズが大きいほど、サブブロック内のデプスのばらつきが大きくなることから、サブブロック内の１点ではなく、４点を用いてばらつきを抑えることが必要になる。逆に予測ブロックサイズが小さい場合には、１点の方が予測ブロック毎に異なる視差ベクトルを割り付けることが容易になり好適である。
　参照画像補間部３０９４２は、視差配列導出部３０９４１から入力された視差配列disparitySampleArrayとインター予測パラメータ復号部３０３から入力された参照ピクチャインデックスrefIdxLXから、予測ブロックpredSamplesを導出する。
　参照画像補間部３０９４２は、予測ユニット中の画素ごとに、その画素の座標から、対応する視差配列disparitySampleArrayの値だけＸ座標をずらした位置の画素を、参照ピクチャインデックスrefIdxLXが指定する参照ピクチャrefPicから抽出する。視差配列disparitySampleArrayが１／４ペルの小数精度であることを考慮し、参照画像補間部３０９４２は、予測ユニットの左上端の画素の座標が(xP, yP)であり、予測ユニット中の各画素の座標が(xL, yL) (xLは0からnPbW-1、yLは0からnPbH-1の値を取る)である場合に、参照ピクチャrefPicから抽出する画素の整数制度の座標(xInt, yInt)と、画素(xL, yL)に対応する視差配列disparitySampleArray[xL][ [yL]の小数部分xFracと、yFracを、
　xIntL = xP + xL+ disparitySamples[ xL ][ yL ]
　yIntL = yP + yL
　xFracL = disparitySamples[ xL ][ yL ] & 3
　xFracL = 0
の式より導出する。
　次に、参照画像補間部３０９４２は、予測ユニットの各サブブロックに対して動き変位補償部３０９１と同様の補間画素導出処理を行い、補間画素の集合を補間ブロックpredPartLXとする。参照画像補間部３０９４２は、導出した補間ブロックpredPartLXを予測ブロックpredSamplesLXとして、加算部３１２に出力する。
　　（デプスＤＶ導出部３５１の変形例）
　デプスＤＶ導出部３５１の変形例として、以下、デプスＤＶ導出部３５１Ｄを説明する。デプスＤＶ導出部３５１Ｅは、視差合成予測のサブブロックのサイズに応じて、４点のデプス値からデプス代表値maxDepを導出するか、１点のデプス値からデプス代表値を導出するかを切り替える。デプスＤＶ導出部３５１Ｄは、導出されたデプス代表値から視差を導出する。視差合成予測では導出された視差を視差ベクトルの水平成分として、視差合成予測を行う。
　図３４は、デプスＤＶ導出部３５１Ｅの動作を示すフローチャートである。
　（Ｓ４１０１）視差合成予測の対象となるサブブロックサイズが所定の形状を満たすか否かを判定する。満たす場合、Ｓ４１０２に遷移する。満たさない場合、Ｓ４１０３に遷移する。ここで、所定の形状の判定は、以下のいずれかを用いることができる。
・対象サブブロックが８×４であること
・対象サブブロックの幅が高さよりも大きいこと
・対象サブブロックの分割タイプhorSplitFlagが８×４を示す値（例えば１）であること
　（Ｓ４１０２）サブブロックサイズが所定の形状を満たす場合には、１点のデプスからデプス代表値maxDepを導出し、導出されたデプス代表値から視差を導出する。具体的には、デプスＤＶ導出部３５１で説明した処理を用いる。
　（Ｓ４１０３）サブブロックサイズが所定の形状を満たさない場合には、４点のデプスの最大値からデプス代表値を導出し、導出されたデプス代表値から視差を導出する。具体的には、デプスＤＶ導出部３５１Ｂで説明した処理を用いる。
　以下、代表デプス値maxDepから視差配列disparitySamplesを導出する処理は、既に説明したデプスＤＶ導出部３５１と同じなので処理を省略する。
　図３５は、デプスＤＶ導出部３５１Ｅのアクセスするデプスの位置を示す図である。図中（ａ）に示す通り、デプスＤＶ導出部３５１Ｅは、サブブロックが８×４の場合には、サブブロック中の１点のをデプス代表デプス値maxDepとし、サブブロックが４×８の場合には、サブブロックの４点のデプスの最大値を代表デプス値maxDepとして参照する。これは、図３４で示したフローチャートと等しい。
　また、図中（ｂ）に示す通り、デプスＤＶ導出部３５１Ｅの変形例として、サブブロックが８×４の場合には、サブブロック中の４点のデプスの最大値をデプス代表デプス値maxDepとし、サブブロックが４×８の場合には、サブブロックの１点のデプスを代表デプス値maxDepとして参照する構成でも良い。
　以上説明したデプスＤＶ導出部３５１Ｅによれば、サブブロックサイズが所定の条件を満たすか否かに応じて、視差合成予測に用いる視差ベクトルの導出に用いるデプス代表値を切り替えることにより、より精度の高い視差ベクトルを導出する効果を奏する。
　参照画像補間部３０９４２の動作は既に説明した通りであるので説明を省略する。
　　（画像符号化装置の構成）
　次に、本実施形態に係る画像符号化装置１１の構成について説明する。図２０は、本実施形態に係る画像符号化装置１１の構成を示すブロック図である。画像符号化装置１１は、予測画像生成部１０１、減算部１０２、ＤＣＴ・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆ＤＣＴ部１０５、加算部１０６、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）１０８、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）１０９、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１、を含んで構成される。予測パラメータ符号化部１１１は、インター予測パラメータ符号化部１１２及びイントラ予測パラメータ符号化部１１３を含んで構成される。画像符号化装置１１は、複数の視点画像およびデプス画像から構成され、複数レイヤ（ベースレイヤおよびエンハンスメントレイヤ）から構成される符号化データを符号化する画像符号化装置である。
　予測画像生成部１０１は、外部から入力されたレイヤ画像Ｔの視点毎の各ピクチャについて、そのピクチャを分割した領域であるブロック毎に予測ピクチャブロックpredSamplesを生成する。ここで、予測画像生成部１０１は、予測パラメータ符号化部１１１から入力された予測パラメータに基づいて参照ピクチャメモリ１０９から参照ピクチャブロックを読み出す。予測パラメータ符号化部１１１から入力された予測パラメータとは、例えば、動きベクトル又は変位ベクトルである。予測画像生成部１０１は、符号化予測ユニットを起点として予測された動きベクトル又は変位ベクトルが示す位置にあるブロックの参照ピクチャブロックを読み出す。予測画像生成部１０１は、読み出した参照ピクチャブロックについて複数の予測方式のうちの１つの予測方式を用いて予測ピクチャブロックpredSamplesを生成する。予測画像生成部１０１は、生成した予測ピクチャブロックpredSamplesを減算部１０２と加算部１０６に出力する。なお、予測画像生成部１０１は、既に説明した予測画像生成部３０８と同じ動作であるため予測ピクチャブロックpredSamplesの生成の詳細は省略する。
　予測画像生成部１０１は、予測方式を選択するために、例えば、レイヤ画像に含まれるブロックの画素毎の信号値と予測ピクチャブロックpredSamplesの対応する画素毎の信号値との差分に基づく誤差値を最小にする予測方式を選択する。なお、予測方式を選択する方法は、これには限られない。
　符号化対象のピクチャがベースビューのピクチャである場合には、複数の予測方式とは、イントラ予測、動き予測及びマージモードである。動き予測とは、上述のインター予測のうち、表示時刻間の予測である。マージモードとは、既に符号化されたブロックであって、予測ユニットから予め定めた範囲内にあるブロックと同一の参照ピクチャブロック及び予測パラメータを用いる予測である。符号化対象のピクチャがベースビュー以外のピクチャである場合には、複数の予測方式とは、イントラ予測、動き予測、マージモード（視点合成予測を含む）、及び変位予測である。変位予測（視差予測）とは、上述のインター予測のうち、別レイヤ画像（別視点画像）間の予測である。変位予測（視差予測）に対して、追加予測（残差予測および照度補償）を行う場合と行わない場合の予測がある。
　予測画像生成部１０１は、イントラ予測を選択した場合、予測ピクチャブロックpredSamplesを生成する際に用いたイントラ予測モードを示す予測モードPredModeを予測パラメータ符号化部１１１に出力する。
　予測画像生成部１０１は、動き予測を選択した場合、予測ピクチャブロックpredSamplesを生成する際に用いた動きベクトルmvLXを予測パラメータメモリ１０８に記憶し、インター予測パラメータ符号化部１１２に出力する。動きベクトルmvLXは、符号化予測ユニットの位置から予測ピクチャブロックpredSamplesを生成する際の参照ピクチャブロックの位置までのベクトルを示す。動きベクトルmvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、ピクチャ順序番号ＰＯＣ）を含み、予測パラメータを表すものであっても良い。また、予測画像生成部１０１は、インター予測モードを示す予測モードPredModeを予測パラメータ符号化部１１１に出力する。
　予測画像生成部１０１は、変位予測を選択した場合、予測ピクチャブロックpredSamplesを生成する際に用いた変位ベクトルを予測パラメータメモリ１０８に記憶し、インター予測パラメータ符号化部１１２に出力する。変位ベクトルdvLXは、符号化予測ユニットの位置から予測ピクチャブロックpredSamplesを生成する際の参照ピクチャブロックの位置までのベクトルを示す。変位ベクトルdvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、ビューＩＤview_id）を含み、予測パラメータを表すものであっても良い。また、予測画像生成部１０１は、インター予測モードを示す予測モードPredModeを予測パラメータ符号化部１１１に出力する。
　予測画像生成部１０１は、マージモードを選択した場合、選択した参照ピクチャブロックを示すマージインデックスmerge_idxをインター予測パラメータ符号化部１１２に出力する。また、予測画像生成部１０１は、マージモードを示す予測モードPredModeを予測パラメータ符号化部１１１に出力する。
　上記の、マージモードにおいて、予測画像生成部１０１は、VSPモードフラグVspModeFlagが視点合成予測を行うことを示す場合には、既に説明したように予測画像生成部１０１に含まれる視点合成予測部３０９４において視点合成予測を行う。また、動き予測、変位予測、マージモードにおいて、予測画像生成部１０１は、残差予測実施フラグresPredFlagが残差予測を行うことを示す場合には、既に説明したように予測画像生成部１０１に含まれる残差予測部３０９２において残差予測を行う。
　減算部１０２は、予測画像生成部１０１から入力された予測ピクチャブロックpredSamplesの信号値を、外部から入力されたレイヤ画像Ｔの対応するブロックの信号値から画素毎に減算して、残差信号を生成する。減算部１０２は、生成した残差信号をＤＣＴ・量子化部１０３と符号化パラメータ決定部１１０に出力する。
　ＤＣＴ・量子化部１０３は、減算部１０２から入力された残差信号についてＤＣＴを行い、ＤＣＴ係数を算出する。ＤＣＴ・量子化部１０３は、算出したＤＣＴ係数を量子化して量子化係数を求める。ＤＣＴ・量子化部１０３は、求めた量子化係数をエントロピー符号化部１０４及び逆量子化・逆ＤＣＴ部１０５に出力する。
　エントロピー符号化部１０４には、ＤＣＴ・量子化部１０３から量子化係数が入力され、符号化パラメータ決定部１１０から符号化パラメータが入力される。入力される符号化パラメータには、例えば、参照ピクチャインデックスrefIdxLX、予測ベクトルフラグmvp_LX_flag、差分ベクトルmvdLX、予測モードPredMode、マージインデックスmerge_idx、残差予測インデックスiv_res_pred_weight_idx、及び照度補償フラグic_flag等の符号がある。
　エントロピー符号化部１０４は、入力された量子化係数と符号化パラメータをエントロピー符号化して符号化ストリームＴｅを生成し、生成した符号化ストリームＴｅを外部に出力する。
　逆量子化・逆ＤＣＴ部１０５は、ＤＣＴ・量子化部１０３から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部１０５は、求めたＤＣＴ係数について逆ＤＣＴを行い、復号残差信号を算出する。逆量子化・逆ＤＣＴ部１０５は、算出した復号残差信号を加算部１０６、及び符号化パラメータ決定部１１０に出力する。
　加算部１０６は、予測画像生成部１０１から入力された予測ピクチャブロックpredSamplesの信号値と逆量子化・逆ＤＣＴ部１０５から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部１０６は、生成した参照ピクチャブロックを参照ピクチャメモリ１０９に記憶する。
　予測パラメータメモリ１０８は、予測パラメータ符号化部１１１が生成した予測パラメータを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
　参照ピクチャメモリ１０９は、加算部１０６が生成した参照ピクチャブロックを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
　符号化パラメータ決定部１１０は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述した予測パラメータやこの予測パラメータに関連して生成される符号化の対象となるパラメータである。予測画像生成部１０１は、これらの符号化パラメータのセットの各々を用いて予測ピクチャブロックpredSamplesを生成する。
　符号化パラメータ決定部１１０は、複数のセットの各々について情報量の大きさと符号化誤差を示すコスト値を算出する。コスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化ストリームＴｅの情報量である。二乗誤差は、減算部１０２において算出された残差信号の残差値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部１１０は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部１０４は、選択した符号化パラメータのセットを符号化ストリームＴｅとして外部に出力し、選択されなかった符号化パラメータのセットを出力しない。
　予測パラメータ符号化部１１１は、予測画像生成部１０１から入力されたパラメータに基づいて予測ピクチャを生成する際に用いる予測パラメータを導出し、導出した予測パラメータを符号化して符号化パラメータのセットを生成する。予測パラメータ符号化部１１１は、生成した符号化パラメータのセットをエントロピー符号化部１０４に出力する。
　予測パラメータ符号化部１１１は、生成した符号化パラメータのセットのうち符号化パラメータ決定部１１０が選択したものに対応する予測パラメータを予測パラメータメモリ１０８に記憶する。
　予測パラメータ符号化部１１１は、予測画像生成部１０１から入力された予測モードPredModeがインター予測モードを示す場合、インター予測パラメータ符号化部１１２を動作させる。予測パラメータ符号化部１１１は、予測モードPredModeがイントラ予測モードを示す場合、イントラ予測パラメータ符号化部１１３を動作させる。
　インター予測パラメータ符号化部１１２は、符号化パラメータ決定部１１０から入力された予測パラメータに基づいてインター予測パラメータを導出する。インター予測パラメータ符号化部１１２は、インター予測パラメータを導出する構成として、インター予測パラメータ復号部３０３（図５等、参照）がインター予測パラメータを導出する構成と同一の構成を含む。インター予測パラメータ符号化部１１２の構成については、後述する。
　イントラ予測パラメータ符号化部１１３は、符号化パラメータ決定部１１０から入力された予測モードPredModeが示すイントラ予測モードIntraPredModeをインター予測パラメータのセットとして定める。
　　（インター予測パラメータ符号化部の構成）
　次に、インター予測パラメータ符号化部１１２の構成について説明する。インター予測パラメータ符号化部１１２は、インター予測パラメータ復号部３０３に対応する手段である。図２１は、本実施形態に係るインター予測パラメータ符号化部１１２の構成を示す概略図である。インター予測パラメータ符号化部１１２は、マージモードパラメータ導出部１１２１、AMVP予測パラメータ導出部１１２２、減算部１１２３、及びインター予測パラメータ符号化制御部１１２６を含んで構成される。
　マージモードパラメータ導出部１１２１は、上述のマージモードパラメータ導出部３０３６（図７参照）と同様な構成を有する。
　AMVP予測パラメータ導出部１１２２は、上述のAMVP予測パラメータ導出部３０３２（図７参照）と同様な構成を有する。
　減算部１１２３は、符号化パラメータ決定部１１０から入力されたベクトルmvLXからAMVP予測パラメータ導出部１１２２から入力された予測ベクトルmvpLXを減算して差分ベクトルmvdLXを生成する。差分ベクトルmvdLXはインター予測パラメータ符号化制御部１１２６に出力する。
　インター予測パラメータ符号化制御部１１２６は、インター予測に関連する符号（シンタックス要素の復号をエントロピー符号化部１０４に指示し、符号化データに含まれる符号（シンタックス要素）を例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルフラグmvp_LX_flag、差分ベクトルmvdLXを符号化する。
　インター予測パラメータ符号化制御部１１２６は、残差予測インデックス符号化部１０３１１、照度補償フラグ符号化部１０３１２、マージインデックス符号化部、ベクトル候補インデックス符号化部１０３１３、分割モード符号化部、マージフラグ符号化部、インター予測フラグ符号化部、参照ピクチャインデックス符号化部、ベクトル差分符号化部を含んで構成される。分割モード符号化部、マージフラグ符号化部、マージインデックス符号化部、インター予測フラグ符号化部、参照ピクチャインデックス符号化部、ベクトル候補インデックス符号化部、ベクトル差分符号化部は各々、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルフラグmvp_LX_flag、差分ベクトルmvdLXを符号化する。
　残差予測インデックス符号化部１０３１１は、残差予測が行われるか否かを示すために、残差予測インデックスiv_res_pred_weight_idxを符号化する。
　照度補償フラグ符号化部１０３１２は、照度補償が行われるか否かを示すために、照度補償フラグic_flagを符号化する。
　インター予測パラメータ符号化制御部１１２６は、予測画像生成部１０１から入力された予測モードPredModeがマージモードを示す場合には、符号化パラメータ決定部１１０から入力されたマージインデックスmerge_idxをエントロピー符号化部１０４に出力し、符号化させる。
　また、インター予測パラメータ符号化制御部１１２６は、予測画像生成部１０１から入力された予測モードPredModeがインター予測モードを示す場合には、次の処理を行う。
　インター予測パラメータ符号化制御部１１２６は、符号化パラメータ決定部１１０から入力された参照ピクチャインデックスrefIdxLX及び予測ベクトルフラグmvp_LX_flag、減算部１１２３から入力された差分ベクトルmvdLXを統合する。インター予測パラメータ符号化制御部１１２６は、統合した符号をエントロピー符号化部１０４に出力し、符号化させる。
　予測画像生成部１０１は、上述の予測画像生成部３０８に対応する手段であり、予測パラメータから、予測画像を生成する処理は同一である。
　本実施形態では、予測画像生成部１０１も、予測画像生成部３０８と同様、本実施形態も上述の視点合成予測部３０９４を備える。すなわち、予測ブロックの高さと幅の比較により、サブブロックのサイズを導出する。そのため、予測ブロックの幅と高さが一致した場合を除きデプスを算出する必要がないため処理量が低減する効果を奏する。
　本実施形態の画像符号化装置１１は、デプスＤＶ導出部３５１ＢもしくはデプスＤＶ導出部３５１Ｃを備えても良い。デプスＤＶ導出部３５１Ｂによれば、視点合成予測においてサブブロック毎に１点のデプス値のみを参照する。そのため、デプス値を導出するためのメモリアクセスおよび処理が簡略化されるという効果を奏する。また、デプスＤＶ導出部３５１Ｃによれば、視点合成予測においてサブブロック毎に２点のデプス値のみを参照する。そのため、デプス値を導出するためのメモリアクセスおよび処理が簡略化されるという効果を奏する。
　本実施形態の画像符号化装置１１は、デプスＤＶ導出部３５１ＤもしくはデプスＤＶ導出部３５１Ｅを備えても良い。デプスＤＶ導出部３５１Ｄによれば、対象予測ユニットが正方形であるか否かに基づいて、視点合成予測においてサブブロック毎に１点のデプス値を参照するか、４点のデプス値を参照するかを切り替える。そのため、デプス値の精度が向上し、符号化効率が向上する効果を奏する。また、デプスＤＶ導出部３５１Ｅによれば、視点合成予測においてサブブロックの形状に応じて、視点合成予測においてサブブロック毎に１点のデプス値を参照するか、４点のデプス値を参照するかを切り替える。そのため、デプス値の精度が向上し、符号化効率が向上する効果を奏する。
　なお、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、例えば、エントロピー復号部３０１、予測パラメータ復号部３０２、予測画像生成部１０１、ＤＣＴ・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆ＤＣＴ部１０５、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１、エントロピー復号部３０１、予測パラメータ復号部３０２、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置１１、画像復号装置３１のいずれかに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
　また、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像符号化装置１１、画像復号装置３１の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
　以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
　本発明は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
１…画像伝送システム
１１…画像符号化装置
１０１…予測画像生成部
１０２…減算部
１０３…ＤＣＴ・量子化部
１０３１１…残差予測インデックス符号化部
１０３１２…照度補償フラグ符号化部
１０３１３…ベクトル候補インデックス符号化部
１０４…エントロピー符号化部
１０５…逆量子化・逆ＤＣＴ部
１０６…加算部
１０８…予測パラメータメモリ（フレームメモリ）
１０９…参照ピクチャメモリ（フレームメモリ）
１１０…符号化パラメータ決定部
１１１…予測パラメータ符号化部
１１２…インター予測パラメータ符号化部
１１２１…マージモードパラメータ導出部
１１２２…AMVP予測パラメータ導出部
１１２３…減算部
１１２６…インター予測パラメータ符号化制御部
１１３…イントラ予測パラメータ符号化部
２１…ネットワーク
３１…画像復号装置
３０１…エントロピー復号部
３０２…予測パラメータ復号部
３０３…インター予測パラメータ復号部
３０３１…インター予測パラメータ復号制御部
３０３１１…残差予測インデックス復号部
３０３１１１…リファレンスレイヤ判定部
３０３１２…マージインデックス復号部
３０３１３…ベクトル候補インデックス復号部
３０３２…AMVP予測パラメータ導出部
３０３５…加算部
３０３６…マージモードパラメータ導出部
３０３６Ｂ…マージモードパラメータ導出部
３０３６１…マージ候補導出部
３０３６１１…マージ候補格納部
３０３６１２…拡張マージ候補導出部
３０３６１２１…レイヤ間マージ候補導出部
３０３６１２３…変位マージ候補導出部
３０３６１２４…VSPマージ候補導出部
３０３６１３…基本マージ候補導出部
３０３６１３１…空間マージ候補導出部
３０３６１３１Ａ…空間マージ候補導出部
３０３６１３１Ｂ…空間マージ候補導出部
３０３６１３２…時間マージ候補導出部
３０３６１３３…結合マージ候補導出部
３０３６１３４…ゼロマージ候補導出部
３０３６２…マージ候補選択部
３０３６３…変位ベクトル導出部
３０４…イントラ予測パラメータ復号部
３０６…参照ピクチャメモリ（フレームメモリ）
３０７…予測パラメータメモリ（フレームメモリ）
３０８…予測画像生成部
３０９…インター予測画像生成部
３０９１…動き変位補償部
３０９２…残差予測部
３０９２１…残差予測実施フラグ導出部
３０９２２…参照画像補間部
３０９２３…残差合成部
３０９３…照度補償部
３０９４…視点合成予測部
３０９４１…視差配列導出部
３０９４１Ｂ…視差配列導出部
３０９４１Ｃ…視差配列導出部
３０９４１Ｄ…視差配列導出部
３０９４１Ｅ…視差配列導出部
３０９４２…参照画像補間部
３１０…イントラ予測画像生成部
３１１…逆量子化・逆ＤＣＴ部
３１２…加算部
３５１…デプスＤＶ導出部
３５１Ｂ…デプスＤＶ導出部
３５１Ｃ…デプスＤＶ導出部
３５１Ｄ…デプスＤＶ導出部
３５１Ｅ…デプスＤＶ導出部
４１…画像表示装置

Claims (17)

  1. 少なくともベクトルとVSPモードフラグを含む予測パラメータを導出するマージモードパラメータ導出装置であって、
    予測ユニットの座標(xPb, yPb)と高さがnPbHとする場合に、位置A1の座標を(xPb - 1, yPb + nPbH - 1)と導出し、マージ候補NがA1であり、位置A1のVSPモードフラグが１の場合に、VSPモードフラグを有効とすることを特徴とするマージモードパラメータ導出装置。
  2. 　輝度補償フラグが０かつ残差予測重みが０の場合のみ、対象予測ユニットのＶＳＰモードフラグを１とすることを特徴とするマージモードパラメータ導出部。
  3. 　視点合成予測を用いて予測画像を生成する視点合成予測部を備え、前記視点合成予測部は、予測ブロックの高さと幅の比較により、サブブロックのサイズを導出する手段を備えることを特徴とする視点合成予測装置。
  4. 　上記視点合成予測装置は、前記予測ブロックの高さと幅が等しい場合には、デプスを参照してサブブロックサイズを導出し、前記予測ブロックの高さと幅が等しくない場合には、デプスを参照せずにサブブロックサイズを導出することを特徴とする請求項３に記載の視点合成予測装置。
  5. 　上記視点合成予測装置は、前記予測ブロックの高さと幅が等しい場合には、固定のサブブロックサイズを導出することを特徴とする請求項３に記載の視点合成予測装置。
  6. 　上記視点合成予測装置は、前記予測ブロックの幅が高さよりも大きい場合に、横長の長方形のサブブロックサイズを導出し、前記予測ブロックの高さが幅よりも大きい場合に、縦長の長方形のサブブロックサイズを導出することを特徴とする請求項３から請求項５に記載の視点合成予測装置。
  7. 　上記サブブロックサイズは幅×高さが８×４もしくは４×８であることを特徴とする請求項３から６に記載の視点合成予測装置。
  8. 　上記視点合成予測装置は、前記予測ブロックの幅が高さよりも大きい場合に、幅×高さが８×４のサブブロックサイズを導出し、前記予測ブロックの高さが幅よりも大きい場合には、幅×高さが４×８のサブブロックサイズを導出し、それ以外の場合には、デプスを参照して８×４のサブブロックサイズもしくは４×８のサブブロックサイズを導出することを特徴とする請求項３から７に記載の視点合成予測装置。
  9. 　上記固定のサブブロックサイズは、幅×高さが８×４であることを特徴とする請求項５に記載の視点合成予測装置。
  10. 　サブブロックのデプス代表値を導出し、デプス代表値から視差ベクトルを設定するデプスＤＶ導出部を備える視点合成予測装置において、前記デプスＤＶ導出部は、サブブロック中の１点からデプス代表値を導出することを特徴とする視点合成予測装置。
  11. 　上記サブブロック中の１点の座標は、サブブロックの中心座標もしくはサブブロックの左上座標から水平方向に２、垂直方向に２だけ加算した座標であることを特徴とする請求項１０に記載の視点合成予測装置。
  12. 　サブブロックのデプス代表値を導出し、デプス代表値から視差ベクトルを設定するデプスＤＶ導出部を備える視点合成予測装置において、前記デプスＤＶ導出部は、サブブロック中の同じ垂直方向座標を有する２点の最大値からデプス代表値を導出することを特徴とする視点合成予測装置。
  13. 　サブブロックのデプス代表値を導出し、デプス代表値から視差ベクトルを設定するデプスＤＶ導出部を備える視点合成予測装置において、前記デプスＤＶ導出部は、サブブロック４隅の４点、もしくは、サブブロック中の１点からデプス代表値を導出することを特徴とする視点合成予測装置。
  14. 　前記デプスＤＶ導出部は、対象予測ユニットが正方形の場合に、サブブロック中の４点、それ以外の場合にサブブロックの１点からデプス代表値を導出することを特徴とする請求項１３に記載の視点合成予測装置。
  15. 　前記デプスＤＶ導出部は、対象予測ユニットの幅と高さが等しい場合に、サブブロック中の４点、それ以外の場合にサブブロック中の１点からデプス代表値を導出することを特徴とする請求項１３に記載の視点合成予測装置。
  16. 　視点合成予測を行うマージ候補を導出するマージ候補導出部を備える画像復号装置であって、請求項３から１５に記載の視点合成予測装置を備えることを特徴とする画像復号装置。
  17. 　視点合成予測を行うマージ候補を導出するマージ候補導出部を備える画像符号化装置であって、請求項３から１５に記載の視点合成予測装置を備えることを特徴とする画像符号化装置。

     
PCT/JP2015/066707 2014-06-13 2015-06-10 視点合成予測装置、画像復号装置及び画像符号化装置 WO2015190510A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014122430A JP2017135432A (ja) 2013-12-20 2014-06-13 視点合成予測装置、画像復号装置及び画像符号化装置
JP2014-122430 2014-06-13

Publications (1)

Publication Number Publication Date
WO2015190510A1 true WO2015190510A1 (ja) 2015-12-17

Family

ID=54833600

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/066707 WO2015190510A1 (ja) 2014-06-13 2015-06-10 視点合成予測装置、画像復号装置及び画像符号化装置

Country Status (1)

Country Link
WO (1) WO2015190510A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017531396A (ja) * 2014-10-07 2017-10-19 サムスン エレクトロニクス カンパニー リミテッド ビュー併合予測を利用して、映像を符号化または復号する方法及びその装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013154869A1 (en) * 2012-04-13 2013-10-17 Qualcomm Incorporated View synthesis mode for three-dimensional video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013154869A1 (en) * 2012-04-13 2013-10-17 Qualcomm Incorporated View synthesis mode for three-dimensional video coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GERHARD TECH ET AL.: "3D-HEVC Draft Text 2", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JCT3V-F1001-V4, 6TH MEETING, December 2013 (2013-12-01), Geneva, CH, pages 1, 7 - 11, 49-83 *
TOMOHIRO IKAI ET AL.: "CE3-related: Removal of redundancy on VSP, ARP and IC", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JCT3V-F0104_R2, 6TH MEETING, October 2013 (2013-10-01), Geneva, CH, pages 1 - 7 *
YICHEN ZHANG ET AL.: "CE3 related: Result on clean ups of VSP merging candidates", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JCT3V-G0104R1, 7TH MEETING, January 2014 (2014-01-01), San Jose, US, pages 1 - 5 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017531396A (ja) * 2014-10-07 2017-10-19 サムスン エレクトロニクス カンパニー リミテッド ビュー併合予測を利用して、映像を符号化または復号する方法及びその装置
US10321145B2 (en) 2014-10-07 2019-06-11 Samsung Electronics Co., Ltd. Method and device for encoding or decoding image by means of view merging prediction

Similar Documents

Publication Publication Date Title
JP6469588B2 (ja) 残差予測装置、画像復号装置、画像符号化装置、残差予測方法、画像復号方法、および画像符号化方法
JP6441236B2 (ja) 画像復号装置及び画像符号化装置
JP6225241B2 (ja) 画像復号装置、画像復号方法、画像符号化装置及び画像符号化方法
WO2016125685A1 (ja) 画像復号装置、画像符号化装置および予測ベクトル導出装置
JP6535673B2 (ja) 非対称動き分割を使用するビデオコーディング技法
WO2015056719A1 (ja) 画像復号装置、画像符号化装置
JP6360053B2 (ja) 照度補償装置、画像復号装置、画像符号化装置
JP6545672B2 (ja) マルチビュービデオコーディングにおいて、ビュー合成予測方法及びこれを利用したマージ候補リスト構成方法
CA2916363C (en) Block identification using disparity vector in video coding
JP6278900B2 (ja) 画像復号装置
WO2015194669A1 (ja) 画像復号装置、画像符号化装置および予測画像生成装置
JP6473078B2 (ja) 画像復号装置
WO2015056620A1 (ja) 画像復号装置、画像符号化装置
JP6118199B2 (ja) 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法及びコンピュータ読み取り可能な記録媒体。
WO2015190510A1 (ja) 視点合成予測装置、画像復号装置及び画像符号化装置
WO2015141696A1 (ja) 画像復号装置、画像符号化装置および予測装置
JP2016066864A (ja) 画像復号装置、画像符号化装置およびマージモードパラメータ導出装置
JP2017135432A (ja) 視点合成予測装置、画像復号装置及び画像符号化装置
JP2016034050A (ja) 画像復号装置、画像符号化装置および、データ構造
WO2016056587A1 (ja) 変位配列導出装置、変位ベクトル導出装置、デフォルト参照ビューインデックス導出装置及びデプスルックアップテーブル導出装置
JP2015080053A (ja) 画像復号装置、及び画像符号化装置
JP2014204327A (ja) 画像復号装置および画像符号化装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15806740

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 15806740

Country of ref document: EP

Kind code of ref document: A1