WO2017134957A1 - 動画像復号装置、動画像符号化装置、および予測画像生成装置 - Google Patents

動画像復号装置、動画像符号化装置、および予測画像生成装置 Download PDF

Info

Publication number
WO2017134957A1
WO2017134957A1 PCT/JP2016/088529 JP2016088529W WO2017134957A1 WO 2017134957 A1 WO2017134957 A1 WO 2017134957A1 JP 2016088529 W JP2016088529 W JP 2016088529W WO 2017134957 A1 WO2017134957 A1 WO 2017134957A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
gradient
prediction
unit
image generation
Prior art date
Application number
PCT/JP2016/088529
Other languages
English (en)
French (fr)
Inventor
知宏 猪飼
山本　智幸
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to CN202210392374.7A priority Critical patent/CN115037928A/zh
Priority to CN201680080819.0A priority patent/CN108541375B/zh
Priority to US16/074,857 priority patent/US10887619B2/en
Priority to CN202210393389.5A priority patent/CN115037929A/zh
Priority to CN202210394106.9A priority patent/CN115022630A/zh
Priority to EP16889440.0A priority patent/EP3413563A4/en
Priority to CN202210401320.2A priority patent/CN114827599A/zh
Priority to CN202210393390.8A priority patent/CN114793279A/zh
Publication of WO2017134957A1 publication Critical patent/WO2017134957A1/ja
Priority to US17/105,986 priority patent/US11234019B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Definitions

  • One embodiment of the present invention relates to a video decoding device, a video encoding device, and a predicted image generation device.
  • a moving image encoding device that generates encoded data by encoding the moving image, and a moving image that generates a decoded image by decoding the encoded data
  • An image decoding device is used.
  • the moving image encoding method examples include H.264. H.264 / MPEG-4. Examples include a method proposed in AVC and HEVC (High-Efficiency Video Coding).
  • an image (picture) constituting a moving image is a slice obtained by dividing the image, a coding unit obtained by dividing the slice (coding unit (Coding Unit )), And a hierarchical structure composed of a prediction unit (PU) and a transform unit (TU) obtained by dividing a coding unit, and is encoded / decoded for each block.
  • PU prediction unit
  • TU transform unit
  • a predicted image is usually generated based on a local decoded image obtained by encoding / decoding an input image, and the predicted image is generated from the input image (original image).
  • a prediction residual obtained by subtraction (sometimes referred to as “difference image” or “residual image”) is encoded. Examples of the method for generating a predicted image include inter-screen prediction (inter prediction) and intra-screen prediction (intra prediction).
  • Non-Patent Document 1 can be cited as a technique for encoding and decoding moving images in recent years.
  • Non-Patent Document 1 BIO that corrects using gradient information is known as a technique for improving the accuracy of a predicted image derived by this motion compensation.
  • this technique has room for further improvement in accuracy. There was a problem that there was.
  • One embodiment of the present invention is to provide an image decoding apparatus capable of improving the accuracy of a predicted image derived by motion compensation.
  • a predicted image generation apparatus is a predicted image generation apparatus that generates a predicted image by performing motion compensation on a plurality of reference images.
  • a prediction image generation unit that generates a prediction image with reference to the reference image, the second reference image, and the gradient correction term, the prediction image generation unit including the target image that is a prediction target and the first reference image And a first weighting factor that multiplies a pixel value of each pixel of the first reference image according to a picture interval between the target image and the second reference image, and the second weight
  • a second weighting factor is derived by multiplying the pixel value of each pixel of the reference image.
  • a predicted image generation apparatus is a predicted image generation apparatus that generates a predicted image by performing motion compensation on a plurality of reference images, A prediction image generation unit configured to generate a prediction image with reference to the first reference image, the second reference image, and the gradient correction term, wherein the prediction image generation unit uses the gradient correction term as the first reference; A first gradient image indicating a gradient along a first direction of the image, a second gradient image indicating a gradient along a second direction of the first reference image, and a first of the second reference image.
  • the third gradient image indicating the gradient along the direction of the second reference image and the fourth gradient image indicating the gradient along the second direction of the second reference image are derived with reference to the respective pixel values.
  • the weighting factors by which the pixel values of the first to fourth gradient images are multiplied are prediction targets.
  • a predicted image generation apparatus is a predicted image generation apparatus that generates a predicted image by performing motion compensation on a plurality of reference images, A prediction image generation unit configured to generate a prediction image with reference to the first reference image, the second reference image, and the gradient correction term, wherein the prediction image generation unit uses the gradient correction term as the first reference; A first gradient image indicating a gradient along a first direction of the image, a second gradient image indicating a gradient along a second direction of the first reference image, and a first of the second reference image.
  • the third gradient image indicating the gradient along the direction of the second reference image and the fourth gradient image indicating the gradient along the second direction of the second reference image are derived with reference to the respective pixel values.
  • each pixel of the first to fourth gradient images Each weighting factor to be multiplied by is a first picture interval that is a picture interval between the target image to be predicted and the first reference image, and a picture interval between the target image and the second reference image.
  • the weighting factors by which the pixel values of the first to fourth gradient images are multiplied are equal to each other.
  • a predicted image generation apparatus is a predicted image generation apparatus that generates a predicted image by performing motion compensation on a plurality of reference images, A prediction image generation unit configured to generate a prediction image with reference to the first reference image, the second reference image, and the gradient correction term, wherein the prediction image generation unit uses the gradient correction term as the first reference; A first gradient image indicating a gradient along a first direction of the image, a second gradient image indicating a gradient along a second direction of the first reference image, and a first of the second reference image. The third gradient image indicating the gradient along the direction of the second reference image and the fourth gradient image indicating the gradient along the second direction of the second reference image are derived with reference to the respective pixel values. , Each weighting factor by which each pixel value of the first to fourth gradient images is multiplied is for each block. It is determined.
  • a predicted image generation apparatus is a predicted image generation apparatus that generates a predicted image by performing motion compensation on a plurality of reference images, A prediction image generation unit configured to generate a prediction image with reference to the first reference image, the second reference image, and the gradient correction term, wherein the prediction image generation unit uses the gradient correction term as the first reference; A first gradient image indicating a gradient along a first direction of the image, a second gradient image indicating a gradient along a second direction of the first reference image, and a first of the second reference image. The third gradient image indicating the gradient along the direction of the second reference image and the fourth gradient image indicating the gradient along the second direction of the second reference image are derived with reference to the respective pixel values.
  • the predicted image generator cuts off the gradient filter used when deriving each gradient image. And a first switching unit for changing.
  • a predicted image generation apparatus is a predicted image generation apparatus that generates a predicted image by performing motion compensation on a plurality of reference images, A prediction image generation unit configured to generate a prediction image with reference to the first reference image, the second reference image, and the gradient correction term, wherein the prediction image generation unit uses the gradient correction term as the first reference; A first gradient image indicating a gradient along a first direction of the image, a second gradient image indicating a gradient along a second direction of the first reference image, and a first of the second reference image. The third gradient image indicating the gradient along the direction of the second reference image and the fourth gradient image indicating the gradient along the second direction of the second reference image are derived with reference to the respective pixel values.
  • the predicted image generation unit multiplies each pixel value of the first to fourth gradient images. And it includes a clip unit that performs the clip processing for the real coefficient.
  • a predicted image generation apparatus is a predicted image generation apparatus that generates a predicted image by performing motion compensation on a plurality of reference images, A prediction image generation unit configured to generate a prediction image with reference to the first reference image, the second reference image, and the gradient correction term, wherein the prediction image generation unit uses the gradient correction term as the first reference; A first gradient image indicating a gradient along a first direction of the image, a second gradient image indicating a gradient along a second direction of the first reference image, and a first of the second reference image.
  • the third gradient image indicating the gradient along the direction of the second reference image and the fourth gradient image indicating the gradient along the second direction of the second reference image are derived with reference to the respective pixel values.
  • the weighting factors by which the pixel values of the first to fourth gradient images are multiplied are the first and the second, respectively. It is determined using an intermediate parameter determined with reference to at least one of the fourth gradient images, and a regularization term added to the intermediate parameter, and the predicted image generation unit includes the regularization term.
  • a predicted image generation device provides a prediction vector in a predicted image generation device that generates a predicted image by performing motion compensation on a plurality of reference images.
  • the prediction vector calculation unit includes a matching prediction mode. When a motion vector is derived using a prediction mode selected from the above prediction modes, and the prediction image generation unit corrects the motion compensated image derived from the motion vector obtained in the matching prediction mode The accuracy of the motion vector used for deriving the motion compensated image is switched according to whether or not the BIO prediction is applied.
  • the accuracy of the predicted image derived by motion compensation can be improved.
  • FIG. 1 It is a figure which shows the hierarchical structure of the data of the encoding stream which concerns on this embodiment. It is a figure which shows the pattern of PU division
  • (A) to (h) are PU partition modes of 2N ⁇ 2N, 2N ⁇ N, 2N ⁇ nU, 2N ⁇ nD, N ⁇ 2N, nL ⁇ 2N, nR ⁇ 2N, and N ⁇ N, respectively.
  • the partition shape in case is shown.
  • FIG. 1 is a schematic diagram illustrating a configuration of an image transmission system according to an embodiment of the present invention. It is a flowchart which shows the example of prediction mode switching in the image decoding apparatus provided with the motion compensation using BIO prediction. It is a flowchart explaining the flow of the process in which the motion compensation part 3091 provided with the motion compensation function using BIO prediction derives
  • (A) is a specific example of the motion compensation filter mcFilter, and (b) is a specific example of the gradient compensation filter.
  • FIG. 1 It is a graph of the value of each yFrac of the high resolution filter set and the low resolution filter set shown in FIG. It is a flowchart which shows an example of the flow of the process which switches the filter set depending on resolution. It is a flowchart which shows the flow of a motion vector derivation process.
  • A is a figure which shows the example which switches a regularization term depending on a filter set
  • (b) is a figure which shows the example which switches the range of clip processing depending on a filter set.
  • (A) shows a transmission device equipped with an image encoding device, and (b) shows a reception device equipped with an image decoding device. It is the figure which showed about the structure of the recording device carrying the said image coding apparatus, and the reproducing
  • (A) shows a recording device equipped with an image encoding device, and (b) shows a playback device equipped with an image decoding device.
  • FIG. 14 is a schematic diagram showing the configuration of the image transmission system 1 according to the present embodiment.
  • the image transmission system 1 is a system that transmits a code obtained by encoding an image to be encoded and displays an image obtained by decoding the transmitted code.
  • the image transmission system 1 includes an image encoding device 11 (moving image encoding device), a network 21, an image decoding device 31 (moving image decoding device), and an image display device 41.
  • a signal T indicating a single layer image or a plurality of layers of images is input to the image encoding device 11.
  • a layer is a concept used to distinguish a plurality of pictures when there are one or more pictures constituting a certain time. For example, when the same picture is encoded with a plurality of layers having different image quality and resolution, scalable encoding is performed, and when a picture of a different viewpoint is encoded with a plurality of layers, view scalable encoding is performed. When prediction is performed between pictures of a plurality of layers (inter-layer prediction, inter-view prediction), encoding efficiency is greatly improved. Further, even when prediction is not performed (simultaneous casting), encoded data can be collected. Note that the image encoding device 11 and the image decoding device 31 may be single layer images, or may be performed by arbitrarily combining scalable encoding and view scalable encoding.
  • the network 21 transmits the encoded stream Te generated by the image encoding device 11 to the image decoding device 31.
  • the network 21 is the Internet, a wide area network (WAN: Wide Area Network), a small network (LAN: Local Area Network), or a combination thereof.
  • the network 21 is not necessarily limited to a bidirectional communication network, and may be a one-way or bidirectional communication network that transmits broadcast waves such as terrestrial digital broadcasting and satellite broadcasting.
  • the network 21 may be replaced by a storage medium that records an encoded stream Te such as a DVD (Digital Versatile Disc) or a BD (Blue-ray Disc).
  • the image decoding device 31 decodes each of the encoded streams Te transmitted by the network 21, and generates one or a plurality of decoded layer images Td (decoded viewpoint images Td) respectively decoded.
  • the image display device 41 displays all or part of one or a plurality of decoded layer images Td generated by the image decoding device 31. For example, in view scalable coding, a 3D image (stereoscopic image) and a free viewpoint image are displayed in all cases, and a 2D image is displayed in some cases.
  • the image display device 41 includes, for example, a display device such as a liquid crystal display or an organic EL (Electro-luminescence) display.
  • a display device such as a liquid crystal display or an organic EL (Electro-luminescence) display.
  • the spatial scalable coding and SNR scalable coding when the image decoding device 31 and the image display device 41 have a high processing capability, a high-quality enhancement layer image is displayed and only a lower processing capability is provided. Displays a base layer image that does not require higher processing capability and display capability as an extension layer.
  • FIG. 1 is a diagram showing a hierarchical structure of data in the encoded stream Te.
  • the encoded stream Te illustratively includes a sequence and a plurality of pictures constituting the sequence.
  • (A) to (f) of FIG. 1 respectively show a sequence layer that defines a sequence SEQ, a picture layer that defines a picture PICT, a slice layer that defines a slice S, a slice data layer that defines slice data, and a slice data.
  • Coding Unit CU
  • sequence layer In the sequence layer, a set of data referred to by the image decoding device 31 for decoding a sequence SEQ to be processed (hereinafter also referred to as a target sequence) is defined.
  • the sequence SEQ includes a video parameter set (Sequence Parameter Set), a picture parameter set PPS (Picture Parameter Set), a picture PICT, and an additional extension.
  • Information SEI Supplemental Enhancement Information
  • # indicates the layer ID.
  • FIG. 1 shows an example in which encoded data of # 0 and # 1, that is, layer 0 and layer 1, exists, the type of layer and the number of layers are not dependent on this.
  • the video parameter set VPS is a set of encoding parameters common to a plurality of moving images, a plurality of layers included in the moving image, and encoding parameters related to individual layers in a moving image composed of a plurality of layers.
  • a set is defined.
  • the sequence parameter set SPS defines a set of encoding parameters that the image decoding device 31 refers to in order to decode the target sequence. For example, the width and height of the picture are defined. A plurality of SPSs may exist. In that case, one of a plurality of SPSs is selected from the PPS.
  • a set of encoding parameters referred to by the image decoding device 31 in order to decode each picture in the target sequence is defined.
  • a reference value (pic_init_qp_minus26) of a quantization width (quantization step) used for picture decoding and a flag (weighted_pred_flag) indicating application of weighted prediction are included.
  • a plurality of PPS may exist. In that case, one of a plurality of PPSs is selected from each picture in the target sequence.
  • Picture layer In the picture layer, a set of data referred to by the image decoding device 31 for decoding a picture PICT to be processed (hereinafter also referred to as a target picture) is defined. As shown in FIG. 1B, the picture PICT includes slices S0 to SNS-1 (NS is the total number of slices included in the picture PICT).
  • slice layer In the slice layer, a set of data referred to by the image decoding device 31 for decoding the slice S to be processed (also referred to as a target slice) is defined. As shown in FIG. 1C, the slice S includes a slice header SH and slice data SDATA.
  • the slice header SH includes a coding parameter group that the image decoding device 31 refers to in order to determine a decoding method of the target slice.
  • the slice type designation information (slice_type) that designates the slice type is an example of an encoding parameter included in the slice header SH.
  • slice types that can be specified by the slice type specification information, (1) I slice using only intra prediction at the time of encoding, (2) unidirectional prediction (single prediction) or intra prediction at the time of encoding. P slices to be used, and (3) B slices using unidirectional, bi-prediction, or intra prediction at the time of encoding.
  • the slice header SH may include a reference (pic_parameter_set_id) to the picture parameter set PPS included in the sequence layer.
  • the slice data layer a set of data referred to by the image decoding device 31 in order to decode the slice data SDATA to be processed is defined.
  • the slice data SDATA includes a coded tree block (CTB) as shown in FIG.
  • the CTB is a fixed-size block (for example, 64 ⁇ 64) constituting a slice, and may be referred to as a maximum coding unit (LCU) and a coded tree unit (CTU).
  • the coding tree layer defines a set of data that the image decoding device 31 refers to in order to decode a coding tree block to be processed.
  • the coding tree block is divided by recursive quadtree division.
  • a tree-structured node obtained by recursive quadtree partitioning is called a coding tree.
  • An intermediate node of the quadtree is a coded quadtree (CQT), and the coded tree block itself is also defined as the highest CQT.
  • the CQT includes a split flag (split_flag). When the split_flag is 1, the CQT is divided into four CQTs.
  • CQT When split_flag is 0, CQT is not divided and has one coding unit (CU: Coded Unit) as a node.
  • the coding unit CU is a terminal node of the coding tree layer and is not further divided in this layer.
  • the encoding unit CU is a basic unit of the encoding process.
  • the size of the coding unit is any of 64 ⁇ 64 pixels, 32 ⁇ 32 pixels, 16 ⁇ 16 pixels, and 8 ⁇ 8 pixels. It can take.
  • the encoding unit layer defines a set of data referred to by the image decoding device 31 in order to decode the processing target encoding unit.
  • the encoding unit includes an encoding tree, a prediction tree, a conversion tree, and a CU header CUF.
  • a division flag, a division pattern, a prediction mode, and the like are defined.
  • the prediction tree defines prediction information (reference picture index, motion vector, etc.) of each prediction block obtained by dividing the coding unit into one or a plurality.
  • the prediction block is one or a plurality of non-overlapping areas constituting the coding unit.
  • the prediction tree includes one or a plurality of prediction blocks obtained by the above division.
  • a prediction unit obtained by further dividing the prediction block is referred to as a “sub-block”.
  • a sub-block (prediction block) is composed of one or a plurality of pixels. When the sizes of the prediction block and the sub block are equal, the number of sub blocks in the prediction block is one. If the prediction block is larger than the size of the sub-block, the prediction block is divided into sub-blocks. For example, when the prediction block is 8 ⁇ 8 and the sub-block is 4 ⁇ 4, the prediction block is horizontally divided into two and vertically divided into four sub-blocks.
  • Prediction processing is performed for each prediction block (sub-block).
  • a prediction block which is a unit of prediction is also referred to as a prediction unit (PU, prediction unit).
  • Intra prediction is prediction within the same picture
  • inter prediction refers to prediction processing performed between different pictures (for example, between display times and between layer images).
  • the division method is encoded by the PU division mode (part_mode) of encoded data, and 2N ⁇ 2N (the same size as the encoding unit), 2N ⁇ N, 2N ⁇ nU, 2N ⁇ nD, N ⁇ 2N, nL ⁇ 2N, nR ⁇ 2N, and N ⁇ N.
  • 2N ⁇ nU indicates that a 2N ⁇ 2N encoding unit is divided into two regions of 2N ⁇ 0.5N and 2N ⁇ 1.5N in order from the top.
  • 2N ⁇ nD indicates that a 2N ⁇ 2N encoding unit is divided into two regions of 2N ⁇ 1.5N and 2N ⁇ 0.5N in order from the top.
  • nL ⁇ 2N indicates that a 2N ⁇ 2N encoding unit is divided into two regions of 0.5N ⁇ 2N and 1.5N ⁇ 2N in order from the left.
  • nR ⁇ 2N indicates that a 2N ⁇ 2N encoding unit is divided into two regions of 1.5N ⁇ 2N and 0.5N ⁇ 1.5N in order from the left. Since the number of divisions is one of 1, 2, and 4, PUs included in the CU are 1 to 4. These PUs are expressed as PU0, PU1, PU2, and PU3 in order.
  • FIG. 2 specifically illustrate the positions of the boundaries of PU division in the CU for each division type.
  • FIG. 2A shows a 2N ⁇ 2N PU partitioning mode in which CU partitioning is not performed.
  • FIG. 2 respectively show the partition shapes when the PU partitioning modes are 2N ⁇ N, 2N ⁇ nU, and 2N ⁇ nD, respectively. ing.
  • partitions when the PU partition mode is 2N ⁇ N, 2N ⁇ nU, and 2N ⁇ nD are collectively referred to as a horizontally long partition.
  • FIG. 2 show the shapes of partitions when the PU partitioning modes are N ⁇ 2N, nL ⁇ 2N, and nR ⁇ 2N, respectively.
  • partitions when the PU partitioning mode is N ⁇ 2N, nL ⁇ 2N, and nR ⁇ 2N are collectively referred to as a vertically long partition.
  • the horizontally long partition and the vertically long partition are collectively referred to as a rectangular partition.
  • FIG. 2 shows the shape of the partition when the PU partition mode is N ⁇ N.
  • the PU partitioning modes in FIGS. 2A and 2H are also referred to as square partitioning based on the shape of the partition.
  • the PU partition modes shown in FIGS. 2B to 2G are also referred to as non-square partitions.
  • the numbers given to the respective regions indicate the identification numbers of the regions, and the processing is performed on the regions in the order of the identification numbers. That is, the identification number represents the scan order of the partitions.
  • FIGS. 2A to 2H the upper left is the CU reference point (origin).
  • the encoding unit is divided into one or a plurality of transform blocks, and the position and size of each transform block are defined.
  • the transform block is one or a plurality of non-overlapping areas constituting the encoding unit.
  • the conversion tree includes one or a plurality of conversion blocks obtained by the above division.
  • the division in the transformation tree includes the one in which an area having the same size as that of the encoding unit is assigned as the transformation block, and the one in the recursive quadtree division like the above-described division in the tree block.
  • a transform block that is a unit of transformation is also referred to as a transform unit (TU).
  • the prediction image of the prediction unit is derived by a prediction parameter associated with the prediction unit.
  • the prediction parameters include a prediction parameter for intra prediction or a prediction parameter for inter prediction.
  • prediction parameters for inter prediction inter prediction (inter prediction parameters) will be described.
  • the inter prediction parameter includes prediction list use flags predFlagL0 and predFlagL1, reference picture indexes refIdxL0 and refIdxL1, and vectors mvL0 and mvL1.
  • the prediction list use flags predFlagL0 and predFlagL1 are flags indicating whether or not reference picture lists called L0 list and L1 list are used, respectively, and a reference picture list corresponding to a value of 1 is used.
  • the prediction list use flag information can also be expressed by an inter prediction flag inter_pred_idc described later.
  • a prediction image generation unit 308 prediction image generation unit
  • a prediction parameter memory 307 which will be described later
  • a prediction list use flag is used, and information on which reference picture list is used is decoded from encoded data.
  • the inter prediction flag inter_pred_idc is used.
  • Syntax elements for deriving inter prediction parameters included in the encoded data include, for example, a partition mode part_mode, a merge flag merge_flag, a merge index merge_idx, an inter prediction flag inter_pred_idc, a reference picture index refIdxLX, a prediction vector index mvp_LX_idx, and a difference There is a vector mvdLX.
  • the reference picture list is a column composed of reference pictures (reference images) stored in the reference picture memory 306 (FIG. 5).
  • FIG. 3 is a conceptual diagram illustrating an example of a reference picture list.
  • the codes P1, P2, Q0, P3, and P4 shown in order from the left end to the right are codes indicating respective reference pictures.
  • P such as P1 indicates the viewpoint P
  • Q of Q0 indicates a viewpoint Q different from the viewpoint P.
  • the subscripts P and Q indicate the picture order number POC.
  • a downward arrow directly below refIdxLX indicates that the reference picture index refIdxLX is an index that refers to the reference picture Q0 in the reference picture memory 306.
  • FIG. 4 is a conceptual diagram illustrating an example of a reference picture.
  • the horizontal axis indicates the display time
  • the vertical axis indicates the viewpoint.
  • the rectangles shown in FIG. 4 with 2 rows and 3 columns (6 in total) indicate pictures.
  • the rectangle in the second column from the left in the lower row indicates a picture to be decoded (target picture), and the remaining five rectangles indicate reference pictures.
  • a reference picture Q0 indicated by an upward arrow from the target picture is a picture that has the same display time as the target picture and a different viewpoint. In the displacement prediction based on the target picture, the reference picture Q0 is used.
  • a reference picture P1 indicated by a left-pointing arrow from the target picture is a past picture at the same viewpoint as the target picture.
  • a reference picture P2 indicated by a right-pointing arrow from the target picture is a future picture at the same viewpoint as the target picture. In motion prediction based on the target picture, the reference picture P1 or P2 is used.
  • Inter prediction flag and prediction list usage flag The relationship between the inter prediction flag and the prediction list use flags predFlagL0 and predFlagL1 can be mutually converted as follows. Therefore, as an inter prediction parameter, a prediction list use flag may be used, or an inter prediction flag may be used. Hereinafter, the determination using the prediction list use flag may be replaced with the inter prediction flag. Conversely, the determination using the inter prediction flag may be replaced with a prediction list use flag.
  • >> is a right shift
  • ⁇ is a left shift.
  • the prediction parameter decoding (encoding) method includes a merge prediction (merge) mode and an AMVP (Adaptive Motion Vector Prediction) mode.
  • a merge flag merge_flag is a flag for identifying these.
  • the prediction parameter of the target PU is derived using the prediction parameter of the already processed block.
  • the merge prediction mode is a mode in which the prediction parameters of the neighboring PUs already derived are used as they are without including the prediction list use flag predFlagLX (or the inter prediction flag inter_pred_idc), the reference picture index refIdxLX, and the motion vector mvLX in the encoded data.
  • the AMVP mode is a mode in which the inter prediction flag inter_pred_idc, the reference picture index refIdxLX, and the motion vector mvLX are included in the encoded data.
  • the motion vector mvLX is encoded as a prediction vector index mvp_LX_idx for identifying the prediction vector mvpLX and a difference vector mvdLX.
  • the inter prediction flag inter_pred_idc is data indicating the type and number of reference pictures and takes one of the values of PRED_L0, PRED_L1, and PRED_BI.
  • PRED_L0 and PRED_L1 indicate that reference pictures stored in reference picture lists called an L0 list and an L1 list are used, respectively, and that both use one reference picture (single prediction). Prediction using the L0 list and the L1 list are referred to as L0 prediction and L1 prediction, respectively.
  • PRED_BI indicates that two reference pictures are used (bi-prediction), and indicates that two reference pictures stored in the L0 list and the L1 list are used.
  • the prediction vector index mvp_LX_idx is an index indicating a prediction vector
  • the reference picture index refIdxLX is an index indicating a reference picture stored in the reference picture list.
  • LX is a description method used when L0 prediction and L1 prediction are not distinguished.
  • refIdxL0 is a reference picture index used for L0 prediction
  • refIdxL1 is a reference picture index used for L1 prediction
  • refIdx (refIdxLX) is a notation used when refIdxL0 and refIdxL1 are not distinguished.
  • the merge index merge_idx is an index indicating which one of the prediction parameter candidates (merge candidates) derived from the processed block is used as the prediction parameter of the decoding target block.
  • target block may be a prediction block that is one level higher than a plurality of prediction blocks, or may be an encoding unit including the plurality of prediction blocks.
  • the motion vector mvLX includes a displacement vector (disparity vector, indicating a shift amount between two blocks at the same time as a motion vector in a narrow sense (motion vector in a narrow sense) indicating a shift amount between blocks on two pictures at different times. (Parallax vector).
  • the motion vector and the displacement vector are not distinguished, and are simply referred to as a motion vector mvLX.
  • a prediction vector and a difference vector related to the motion vector mvLX are referred to as a prediction vector mvpLX and a difference vector mvdLX, respectively. Whether the motion vector mvLX and the difference vector mvdLX are motion vectors or displacement vectors is identified using a reference picture index refIdxLX attached to the vectors.
  • FIG. 5 is a schematic diagram illustrating a configuration of the image decoding device 31 according to the present embodiment.
  • the image decoding device 31 includes an entropy decoding unit 301, a prediction parameter decoding unit 302, a reference picture memory (reference image storage unit, frame memory) 306, a prediction parameter memory (prediction parameter storage unit, frame memory) 307, and a prediction image generation unit 308.
  • the prediction parameter decoding unit 302 includes an inter prediction parameter decoding unit 303 and an intra prediction parameter decoding unit 304.
  • the predicted image generation unit 308 includes an inter predicted image generation unit 309 and an intra predicted image generation unit 310.
  • the entropy decoding unit 301 performs entropy decoding on the encoded stream Te input from the outside, and separates and decodes individual codes (syntax elements).
  • the separated codes include prediction information for generating a prediction image and residual information for generating a difference image.
  • the entropy decoding unit 301 outputs a part of the separated code to the prediction parameter decoding unit 302.
  • Some of the separated codes are, for example, a prediction mode PredMode, a partition mode part_mode, a merge flag merge_flag, a merge index merge_idx, an inter prediction flag inter_pred_idc, a reference picture index refIdxLX, a prediction vector index mvp_LX_idx, and a difference vector mvdLX.
  • Control of which code to decode is performed based on an instruction from the prediction parameter decoding unit 302.
  • the entropy decoding unit 301 outputs the quantization coefficient to the inverse quantization / inverse DCT unit 311.
  • the quantization coefficient is a coefficient obtained by performing quantization by performing DCT (Discrete Cosine Transform) on the residual signal in the encoding process.
  • the inter prediction parameter decoding unit 303 decodes the inter prediction parameter with reference to the prediction parameter stored in the prediction parameter memory 307 based on the code input from the entropy decoding unit 301.
  • the inter prediction parameter decoding unit 303 outputs the decoded inter prediction parameter to the prediction image generation unit 308 and stores it in the prediction parameter memory 307. Details of the inter prediction parameter decoding unit 303 will be described later.
  • the intra prediction parameter decoding unit 304 refers to the prediction parameter stored in the prediction parameter memory 307 on the basis of the code input from the entropy decoding unit 301 and decodes the intra prediction parameter.
  • the intra prediction parameter is a parameter used in a process of predicting a picture block within one picture, for example, an intra prediction mode IntraPredMode.
  • the intra prediction parameter decoding unit 304 outputs the decoded intra prediction parameter to the prediction image generation unit 308 and stores it in the prediction parameter memory 307.
  • the intra prediction parameter decoding unit 304 may derive different intra prediction modes depending on luminance and color difference.
  • the intra prediction parameter decoding unit 304 decodes the luminance prediction mode IntraPredModeY as the luminance prediction parameter and the color difference prediction mode IntraPredModeC as the color difference prediction parameter.
  • the luminance prediction mode IntraPredModeY is a 35 mode and corresponds to planar prediction (0), DC prediction (1), and direction prediction (2 to 34).
  • the color difference prediction mode IntraPredModeC uses one of the planar prediction (0), DC prediction (1), direction prediction (2 to 34), and LM mode (35).
  • the intra prediction parameter decoding unit 304 decodes a flag indicating whether IntraPredModeC is the same mode as the luminance mode.
  • IntraPredModeC is assigned to IntraPredModeC, and the flag is luminance. If it is indicated that the mode is different from the mode, planar prediction (0), DC prediction (1), direction prediction (2 to 34), and LM mode (35) may be decoded as I IntraPredModeC.
  • the reference picture memory 306 stores the reference picture block (reference picture block) generated by the adding unit 312 at a predetermined position for each picture and block to be decoded.
  • the prediction parameter memory 307 stores the prediction parameter in a predetermined position for each decoding target picture and block. Specifically, the prediction parameter memory 307 stores the inter prediction parameter decoded by the inter prediction parameter decoding unit 303, the intra prediction parameter decoded by the intra prediction parameter decoding unit 304, and the prediction mode predMode separated by the entropy decoding unit 301. .
  • the stored inter prediction parameters include, for example, a prediction list use flag predFlagLX (inter prediction flag inter_pred_idc), a reference picture index refIdxLX, and a motion vector mvLX.
  • the prediction image generation unit 308 receives the prediction mode predMode input from the entropy decoding unit 301 and the prediction parameter from the prediction parameter decoding unit 302. Further, the predicted image generation unit 308 reads a reference picture from the reference picture memory 306. The predicted image generation unit 308 generates a predicted picture block P (predicted image) using the input prediction parameter and the read reference picture in the prediction mode indicated by the prediction mode predMode.
  • the inter prediction image generation unit 309 uses the inter prediction parameter input from the inter prediction parameter decoding unit 303 and the read reference picture to perform the prediction picture block P by inter prediction. Is generated.
  • the predicted picture block P corresponds to the prediction unit PU.
  • the PU corresponds to a part of a picture composed of a plurality of pixels as a unit for performing the prediction process as described above, that is, a decoding target block on which the prediction process is performed at a time.
  • the inter predicted image generation unit 309 uses the decoding target block as a reference from the reference picture indicated by the reference picture index refIdxLX.
  • the reference picture block at the position indicated by mvLX is read from the reference picture memory 306.
  • the inter prediction image generation unit 309 performs prediction on the read reference picture block to generate a prediction picture block P.
  • the inter prediction image generation unit 309 outputs the generated prediction picture block P to the addition unit 312.
  • the intra predicted image generation unit 310 When the prediction mode predMode indicates the intra prediction mode, the intra predicted image generation unit 310 performs intra prediction using the intra prediction parameter input from the intra prediction parameter decoding unit 304 and the read reference picture. Specifically, the intra predicted image generation unit 310 reads, from the reference picture memory 306, a reference picture block that is a decoding target picture and is in a predetermined range from the decoding target block among blocks that have already been decoded.
  • the predetermined range is, for example, any of the left, upper left, upper, and upper right adjacent blocks when the decoding target block sequentially moves in a so-called raster scan order, and varies depending on the intra prediction mode.
  • the raster scan order is an order in which each row is sequentially moved from the left end to the right end in each picture from the upper end to the lower end.
  • the intra-predicted image generation unit 310 generates a predicted picture block by performing prediction in the prediction mode indicated by the intra-prediction mode IntraPredMode for the read reference picture block.
  • the intra predicted image generation unit 310 outputs the generated predicted picture block P to the addition unit 312.
  • the intra prediction image generation unit 310 performs planar prediction (0), DC prediction (1), direction according to the luminance prediction mode IntraPredModeY.
  • a luminance prediction picture block is generated by any one of prediction (2 to 34), and planar prediction (0), DC prediction (1), direction prediction (2 to 344), and LM mode (in accordance with the color difference prediction mode IntraPredModeC) 35) generate a color difference prediction picture block.
  • the inverse quantization / inverse DCT unit 311 inversely quantizes the quantization coefficient input from the entropy decoding unit 301 to obtain a DCT coefficient.
  • the inverse quantization / inverse DCT unit 311 performs inverse DCT (Inverse Discrete Cosine Transform) on the obtained DCT coefficient to calculate a decoded residual signal.
  • the inverse quantization / inverse DCT unit 311 outputs the calculated decoded residual signal to the addition unit 312 and the residual storage unit 313.
  • the adder 312 outputs the prediction picture block P input from the inter prediction image generation unit 309 and the intra prediction image generation unit 310 and the signal value of the decoded residual signal input from the inverse quantization / inverse DCT unit 311 for each pixel. Addition to generate a reference picture block.
  • the adder 312 stores the generated reference picture block in the reference picture memory 306, and outputs a decoded layer image Td in which the generated reference picture block is integrated for each picture to the outside.
  • FIG. 6 is a schematic diagram illustrating a configuration of the inter prediction parameter decoding unit 303 according to the present embodiment.
  • the inter prediction parameter decoding unit 303 includes an inter prediction parameter decoding control unit 3031, an AMVP prediction parameter derivation unit 3032, an addition unit 3035, and a merge prediction parameter derivation unit 3036.
  • the inter prediction parameter decoding control unit 3031 instructs the entropy decoding unit 301 to decode a code (syntax element) related to inter prediction, and a code (syntax element) included in the encoded data, for example, a division mode part_mode, Merge flag merge_flag, merge index merge_idx, inter prediction flag inter_pred_idc, reference picture index refIdxLX, prediction vector index mvp_LX_idx, and difference vector mvdLX are extracted.
  • the inter prediction parameter decoding control unit 3031 first extracts a merge flag.
  • the inter prediction parameter decoding control unit 3031 expresses that a certain syntax element is to be extracted, it means that the entropy decoding unit 301 is instructed to decode a certain syntax element, and the corresponding syntax element is read from the encoded data. To do.
  • the inter prediction parameter decoding control unit 3031 extracts the merge index merge_idx as a prediction parameter related to merge prediction.
  • the inter prediction parameter decoding control unit 3031 outputs the extracted merge index merge_idx to the merge prediction parameter derivation unit 3036.
  • the inter prediction parameter decoding control unit 3031 uses the entropy decoding unit 301 to extract AMVP prediction parameters from the encoded data.
  • AMVP prediction parameters for example, there are an inter prediction flag inter_pred_idc, a reference picture index refIdxLX, a prediction vector index mvp_LX_idx, and a difference vector mvdLX.
  • the inter prediction parameter decoding control unit 3031 outputs the prediction list use flag predFlagLX derived from the extracted inter prediction flag inter_pred_idc and the reference picture index refIdxLX to the AMVP prediction parameter derivation unit 3032 and the prediction image generation unit 308 (FIG. 5). Moreover, it memorize
  • the inter prediction parameter decoding control unit 3031 outputs the extracted prediction vector index mvp_LX_idx to the AMVP prediction parameter derivation unit 3032.
  • the inter prediction parameter decoding control unit 3031 outputs the extracted difference vector mvdLX to the addition unit 3035.
  • FIG. 7 is a schematic diagram illustrating the configuration of the merge prediction parameter deriving unit 3036 according to the present embodiment.
  • the merge prediction parameter derivation unit 3036 includes a merge candidate derivation unit 30361 and a merge candidate selection unit 30362.
  • the merge candidate storage unit 303611 stores the merge candidates input from the merge candidate derivation unit 30361.
  • the merge candidate includes a prediction list use flag predFlagLX, a motion vector mvLX, and a reference picture index refIdxLX.
  • an index is assigned to the stored merge candidates according to a predetermined rule.
  • the merge candidate derivation unit 30361 derives a merge candidate using the motion vector of the adjacent block that has already been decoded and the reference picture index refIdxLX as they are.
  • merge candidates may be derived using affine prediction. This method is described in detail below.
  • the merge candidate derivation unit 30361 may use affine prediction for a spatial merge candidate derivation process, a temporal merge (inter-frame merge) candidate derivation process, a merge merge candidate derivation process, and a zero merge candidate derivation process described later.
  • Affine prediction is performed in units of sub-blocks, and prediction parameters are stored in the prediction parameter memory 307 for each sub-block.
  • the affine prediction may be performed on a pixel basis.
  • the merge candidate derivation unit 30361 reads and reads the prediction parameters (prediction list use flag predFlagLX, motion vector mvLX, reference picture index refIdxLX) stored in the prediction parameter memory 307 according to a predetermined rule.
  • the predicted parameters are derived as merge candidates.
  • the prediction parameter to be read is a prediction parameter related to each of the blocks within a predetermined range from the decoding target block (for example, all or a part of the blocks in contact with the lower left end, the upper left upper end, and the upper right end of the decoding target block). is there.
  • the merge candidates derived by the merge candidate deriving unit 30361 are stored in the merge candidate storage unit 303611.
  • the merge candidate derivation unit 30361 reads the prediction parameter of the block in the reference image including the lower right coordinate of the decoding target block from the prediction parameter memory 307 and sets it as a merge candidate.
  • the reference picture designation method may be, for example, the reference picture index refIdxLX designated in the slice header, or may be designated using the smallest reference picture index refIdxLX of the block adjacent to the decoding target block.
  • the merge candidates derived by the merge candidate deriving unit 30361 are stored in the merge candidate storage unit 303611.
  • the merge candidate derivation unit 30361 combines two different derived merge candidate vectors and reference picture indexes that have already been derived and stored in the merge candidate storage unit 303611, as L0 and L1 vectors, respectively. To derive the merge merge candidate.
  • the merge candidates derived by the merge candidate deriving unit 30361 are stored in the merge candidate storage unit 303611.
  • the merge candidate derivation unit 30361 derives a merge candidate in which the reference picture index refIdxLX is 0 and both the X component and the Y component of the motion vector mvLX are 0.
  • the merge candidates derived by the merge candidate deriving unit 30361 are stored in the merge candidate storage unit 303611.
  • the merge candidate selection unit 30362 selects, from the merge candidates stored in the merge candidate storage unit 303611, a merge candidate to which an index corresponding to the merge index merge_idx input from the inter prediction parameter decoding control unit 3031 is assigned. As an inter prediction parameter.
  • the merge candidate selection unit 30362 stores the selected merge candidate in the prediction parameter memory 307 and outputs it to the prediction image generation unit 308 (FIG. 5).
  • FIG. 8 is a schematic diagram showing a configuration of the AMVP prediction parameter derivation unit 3032 according to the present embodiment.
  • the AMVP prediction parameter derivation unit 3032 includes a vector candidate derivation unit 3033 (vector calculation unit) and a vector candidate selection unit 3034.
  • the vector candidate derivation unit 3033 reads a vector (motion vector or displacement vector) stored in the prediction parameter memory 307 based on the reference picture index refIdx as a prediction vector mvpLX.
  • the vector to be read is a vector related to each of the blocks within a predetermined range from the decoding target block (for example, all or a part of the blocks in contact with the lower left end, the upper left upper end, and the upper right end of the decoding target block, respectively).
  • the vector candidate selection unit 3034 selects the vector candidate indicated by the prediction vector index mvp_LX_idx input from the inter prediction parameter decoding control unit 3031 among the vector candidates read by the vector candidate derivation unit 3033 as the prediction vector mvpLX.
  • the vector candidate selection unit 3034 outputs the selected prediction vector mvpLX to the addition unit 3035.
  • the AMVP prediction parameter derivation unit 3032 includes a vector candidate derivation unit 3033 and a vector candidate selection unit 3034.
  • the vector candidate storage unit 30331 stores the vector candidates input from the vector candidate derivation unit 3033.
  • the vector candidate is configured to include the prediction vector mvpLX.
  • the stored vector candidates are assigned indexes according to a predetermined rule.
  • the vector candidate derivation unit 3033 derives a vector candidate using affine prediction.
  • the vector candidate derivation unit 3033 may use the affine prediction for a space vector candidate derivation process, a time vector (interframe vector) candidate derivation process, a combined vector candidate derivation process, and a zero vector candidate derivation process, which will be described later.
  • Affine prediction is performed in units of sub-blocks, and the prediction parameters are stored in the prediction parameter memory 307 for each sub-block. Alternatively, the affine prediction may be performed on a pixel basis.
  • FIG. 9 is a conceptual diagram showing an example of vector candidates.
  • a predicted vector list 602 illustrated in FIG. 9 is a list including a plurality of vector candidates derived by the vector candidate deriving unit 3033.
  • five rectangles arranged in a line on the left and right indicate areas indicating prediction vectors, respectively.
  • the downward arrow directly below the second mvp_LX_idx from the left end and mvpLX below the mvp_LX_idx indicate that the prediction vector index mvp_LX_idx is an index that refers to the vector mvpLX in the prediction parameter memory 307.
  • the vector candidate is generated based on the vector related to the block referred to by the vector candidate selection unit 3034.
  • the block referred to by the vector candidate selection unit 3034 is a block for which decoding processing has been completed, and may be a block in a predetermined range from the decoding target block (for example, an adjacent block).
  • the adjacent block is a block spatially adjacent to the decoding target block, for example, the left block, the upper block, or a block temporally adjacent to the decoding target block, for example, the same position as the decoding target block, at the display time. Includes blocks obtained from different blocks.
  • the addition unit 3035 adds the prediction vector mvpLX input from the AMVP prediction parameter derivation unit 3032 and the difference vector mvdLX input from the inter prediction parameter decoding control unit 3031 to derive a motion vector mvLX.
  • the adding unit 3035 outputs the derived motion vector mvLX to the predicted image generation unit 308 (FIG. 5).
  • FIG. 10 is a schematic diagram illustrating a configuration of the inter prediction parameter decoding control unit 3031 according to the present embodiment.
  • the inter prediction parameter decoding control unit 3031 includes an additional prediction flag decoding unit 30311, a merge index decoding unit 30312, a vector candidate index decoding unit 30313, and a partition mode decoding unit, a merge flag decoding unit, an inter prediction flag decoding unit, not shown. It includes a picture index decoding unit, a vector difference decoding unit, and the like.
  • the partition mode decoding unit, the merge flag decoding unit, the merge index decoding unit, the inter prediction flag decoding unit, the reference picture index decoding unit, the vector candidate index decoding unit 30313, and the vector difference decoding unit are respectively divided mode part_mode, merge flag merge_flag, merge The index merge_idx, inter prediction flag inter_pred_idc, reference picture index refIdxLX, prediction vector index mvp_LX_idx, and difference vector mvdLX are decoded.
  • FIG. 11 is a schematic diagram illustrating a configuration of the inter predicted image generation unit 309 according to the present embodiment.
  • the inter prediction image generation unit 309 includes a motion compensation unit 3091 (prediction image generation device) and a weight prediction unit 3094.
  • the motion compensation unit 3091 Based on the prediction list use flag predFlagLX, the reference picture index refIdxLX, and the motion vector mvLX input from the inter prediction parameter decoding unit 303, the motion compensation unit 3091 refers to the reference specified by the reference picture index refIdxLX from the reference picture memory 306.
  • a motion compensated image is generated by reading out a block at a position shifted by the motion vector mvLX, starting from the position of the decoding target block of the picture.
  • the motion vector mvLX is not an integer vector
  • a motion compensation image is generated by applying a filter for generating a pixel at a decimal position called a motion compensation filter.
  • the motion compensation filter includes a vertical motion compensation filter (mcFilterVer) and a horizontal motion compensation filter (mcFilterHor).
  • mcFilterVer vertical motion compensation filter
  • mcFilterHor horizontal motion compensation filter
  • predSamplesL0 the motion compensation image for L0 prediction
  • predSamplesL1 the motion compensation image for L1 prediction
  • predSamplesLX the motion compensation image for L1 prediction.
  • the weight prediction unit 3094 generates a prediction picture block P (prediction image) by multiplying the input motion displacement image predSamplesLX by a weight coefficient.
  • a prediction picture block P prediction image
  • the input motion displacement image predSamplesLX LX is L0 or L1 is set to the number of pixel bits. The following formula is processed.
  • predSamples [x] [y] Clip3 (0, (1 ⁇ bitDepth)-1, (predSamplesLX [x] [y] + offset1) >> shift1)
  • shift1 14-bitDepth
  • offset1 1 ⁇ (shift1-1).
  • predSamples [x] [y] Clip3 (0, (1 ⁇ bitDepth)-1, (predSamplesL0 [x] [y] + predSamplesL1 [x] [y] + offset2) >> shift2)
  • shift2 15-bitDepth
  • offset2 1 ⁇ (shift2-1).
  • the weight prediction unit 3094 when performing weight prediction, derives the weight prediction coefficient w0 and the offset o0 from the encoded data, and performs the processing of the following equation.
  • predSamples [x] [y] Clip3 (0, (1 ⁇ bitDepth)-1, ((predSamplesLX [x] [y] * w0 + 2log2WD-1) >> log2WD) + o0)
  • log2WD is a variable indicating a predetermined shift amount.
  • the weight prediction unit 3094 when performing weight prediction, derives weight prediction coefficients w0, w1, o0, o1 from the encoded data, and performs the processing of the following equation.
  • predSamples [x] [y] Clip3 (0, (1 ⁇ bitDepth)-1, (predSamplesL0 [x] [y] * w0 + predSamplesL1 [x] [y] * w1 + ((o0 + o1 + 1) ⁇ log2WD)) >> (log 2WD + 1)) (Switching prediction mode in motion compensation unit with gradient change prediction)
  • FIG. 16 is a flowchart illustrating a flow of processing in which a motion compensation unit 3091 having a motion compensation function using gradient change (BIO) prediction derives a predicted image.
  • FIG. 16 shows a flow of processing in which the inter prediction parameter decoding unit 303 determines whether or not the motion compensation unit 3091 applies BIO prediction to derive a predicted image in STEP 3 described later.
  • the process proceeds to S305, and the motion compensation unit 3091 performs unidirectional motion compensation.
  • the inter prediction parameter decoding unit 303 performs the determination illustrated in S302.
  • the process proceeds to S303, and the motion compensation unit 3091 performs motion compensation using BIO prediction described later.
  • the process proceeds to S304, and the motion compensation unit 3091 performs bidirectional motion compensation without applying BIO prediction. Do.
  • FIG. 17 is a diagram illustrating an example of a flow for deriving the concept of gradient change.
  • Equation 1 Assuming that the pixel value I (x, y, t) does not change even when moved by ⁇ x and ⁇ y during the time interval ⁇ t, that is, the pixel value does not change and only its position changes. Equation 1 holds.
  • the change in the pixel value at a certain point can be decomposed into a gradient change and a time change as shown in Expression 2 in FIG.
  • the gradient change can be expressed as the sum of the partial differentiation of the pixel value I in the x direction and the partial differentiation in the y direction
  • the time change can be expressed as a partial differentiation of the pixel value I in the t direction.
  • Equation 17 is derived from Equations 1 and 2 above. Further, Equation 4 in FIG. 17 is derived by dividing both sides of Equation 3 by the time interval ⁇ t.
  • Equation 4 in FIG. 17 can be expressed as an equation of the form of Equation 5.
  • Equation 5 assuming that the pixel value does not change and only its position changes, Vx is multiplied by the change in the x direction of the pixel value I and Vy is the change in the y direction of the pixel value I.
  • the value obtained by multiplying the value obtained by multiplying the pixel value I by the time change is always 0. That is, on the assumption that the pixel value does not change, the gradient change and the time change have a relationship that cancels out (balances) each other.
  • the change in the x direction of the pixel value I is the horizontal gradient value lx0, lx1
  • the change in the y direction of the pixel value I is the vertical gradient value ly0, ly1
  • the change in position (Vx, Vy) This is called a correction vector (u, v).
  • the motion compensation unit 3091 includes a mode for performing motion compensation using bi-directional optical flow (bi-predictive gradient change: BIO) prediction that performs motion correction by applying a gradient correction term to bi-prediction (BiPred). Yes.
  • P0 is the pixel value of the motion compensated image P0
  • P1 is the pixel value of the motion compensated image P1.
  • shiftOffset is a constant for performing round control when shifting
  • shiftPred is a shift value.
  • the gradient images lx0 and lx1 show the gradient along the horizontal direction (x direction, first direction), and the gradient images ly0 and ly1 show the gradient along the vertical direction (y direction, second direction).
  • U and v are weighting factors by which the pixel values of lx0 and lx1, and ly0 and ly1, respectively, are multiplied.
  • the motion compensation unit 3091 generates a prediction image (inter prediction image) with reference to the motion compensation image P0 (first reference image), the motion compensation image P1 (second reference image), and the gradient correction term.
  • the flow of processing will be described with reference to FIG.
  • FIG. 15 is a flowchart showing a flow of processing in motion compensation using BIO prediction.
  • the motion compensation unit 3091 performs the following three steps of steps 1 to 3 to derive a predicted image.
  • STEP 1 Deriving Interpolated / Predicted Pixel Values Motion compensated images P0 and P1 and gradient images lx0, lx1, ly0, and ly1 are derived.
  • the motion compensation unit 3091 generates a motion compensated image P0 based on the L0 reference image refImgL0 (first reference image), and generates a motion compensated image P1 based on the L1 reference image refImgL1 (second reference image).
  • the motion compensation unit 3091 derives the L0 horizontal gradient image lx0 and the L0 vertical gradient image ly0 based on the L0 reference image refImgL0 (first reference image), and the L1 vertical gradient image lx1 and the L1 reference image refImgL1 based on the L1 reference image refImgL1.
  • the L1 vertical gradient image ly1 is derived.
  • refImgL0, refImgL1, P0, P1, lx0, lx1, ly0, and ly1 are reference images refImgL01 [x] [y], refImgL1 [x] [y], and motion compensated images P0 [x] [2] that are two-dimensional information.
  • the motion compensation unit 3091 may derive the correction weight vector (Vx, Vy) using Equation 5 in FIG. 17 or may be derived using the least square method as described later.
  • the motion compensation unit 3091 has gradient changes dI / dx (ie, lx) and dI / dy (ie, ly) at a plurality of points. ) And time variation dI / dt, Vx and Vy satisfying the condition that minimizes the square of the left side of Equation 5 in FIG. 17 may be derived.
  • the pixel value I of the point I on the target image Cur As shown in FIG. 18, the pixel value I of the point I on the target image Cur, the pixel value I0 of the point 10 (lx0, ly0) on the L0 reference image refImgL0, and the point l1 (lx1,1 on the L1 reference image refImgL1)
  • the pixel value I1 of ly1) corresponds.
  • the pixel value I0 of a certain point on the L0 reference image refImgL0 is obtained by using the gradient between the pixel values P0 and P0 of another point and the distance between I0 and P0.
  • I0 P0 + gradient ⁇ distance.
  • the gradient is (lx0, ly0) and the distance between IO and P0 is (Vx, Vy).
  • the pixel value I0 of the point l0 (lx0, ly0) on the L0 reference image refImgL0 is the pixel value P0 of a certain motion compensation image P0 on the L0 reference image refImgL0, and the pixel values lx0, ly0 of the gradient image.
  • l0 P0 + ⁇ lx0 * u + ly0 * v ⁇ (Formula A4) Obtained by.
  • the pixel value I1 of the point l1 (lx1, ly1) on the L1 reference image refImgL1 is the pixel value P1 of a certain motion compensation image P1 on the L1 reference image refImgL1, the pixel values lx1, ly1 of the gradient image, and the correction weight vector.
  • l1 P1- ⁇ lx1 * u + ly1 * v ⁇ (Formula A5) Obtained by.
  • the motion compensation unit 3091 uses the pixel value I of the point I on the target image Cur, which is the prediction target image, as the pixel value l0 of the point l0 on the L0 reference image refImgL0 and the pixel value l1 of the point l1 on the L1 reference image refImgL1.
  • the x component u and the y component v of the correction weight vector which is an unknown number, can be derived as follows from the assumption that the pixel value does not change.
  • the motion compensation unit 3091 does not change the pixel value l0 of the point l0 on the L0 reference image refImgL0 and the pixel value l1 of the point l1 on the L1 reference image refImgL1 in order to derive the correction weight vector (u, v).
  • ⁇ l0-l1 ⁇ 2 ⁇ (P0-P1) + (lx0 + lx1) * u + (ly0 + ly1) * v ⁇ 2
  • (Formula A7) Derives u and v that minimize the value obtained by.
  • This corresponds to an operation of calculating P1, lx0, ly0, ly0, and ly1 and adding the values made up of them.
  • STEP3 Deriving a gradient-corrected bi-predictive image.
  • the motion compensation unit 3091 derives (generates) a motion compensation image and a gradient image
  • the motion compensation unit 3091 derives a pixel value included in the image, not an image. It may be a configuration. That is, the motion compensation unit 3091 may derive the pixel value of the motion compensation image and the pixel value of the gradient image. That is, since each STEP is an independent calculation for each pixel, even if each STEP is sequentially performed in units of an image of a certain block, each STEP is performed in units of pixels of a certain block, and this is repeated for an image of a certain block. Gives the same result.
  • each STEP includes motion compensation images P0 [] [], P1 [] [], gradient images lx0 [] [], ly0 [] [], lx1 [] [] corresponding to a certain prediction block. ], Ly1 [] [] after deriving, a gradient correction term (image) may be derived to derive a predicted image Pred [] [], or motion compensation pixel values P0, P1 corresponding to a certain point
  • the process of deriving the gradient correction term and deriving the prediction pixel value Pred may be performed on each point of a certain prediction block.
  • the motion compensation unit 3091 (motion compensation derivation unit 309111) derives motion compensation images P0 and P1 (also referred to as basic motion compensation images) based on the L0 reference image refImgL0 and the L1 reference image refImgL1. Further, the motion compensation unit 3091 (gradient deriving unit 309112) derives horizontal gradient images lx0 and lx1 and vertical gradient images ly0 and ly1 for the derived motion compensated images P0 and P1.
  • the motion compensation deriving unit 30911 applies the vertical motion compensation filter (mcFilterVer) to the reference image, and then applies the horizontal motion compensation filter (mcFilterHor) to derive the motion compensation images P0 and P1.
  • mcFilterVer vertical motion compensation filter
  • mcFilterHor horizontal motion compensation filter
  • the accuracy of the motion vector is assumed to be 1/4 pel accuracy, but the motion vector accuracy is not limited to this, and may be 1/8, 1/16,.
  • bit Depth of the filter coefficient is MC_ACCU
  • bitDepthY + MC_ACCU which is a value obtained by adding MC_ACCU to the bit depth bitDepthY of the reference image.
  • a right shift of only MC_ACCU is required as a right shift for adjusting the dynamic range.
  • an intermediate bit depth INTERNAL_BIT_DEPTH higher than bitDepth is used for the output of the first filter operation, and the bitDepth is returned from INTERNAL_BIT_DEPTH to the output of the second filter operation.
  • the shift values shift1 and shift2 for adjusting the dynamic range of the first and second filters may be set as follows.
  • bitDepthY represents the bit depth of the reference image
  • INTERNAL_BIT_DEPTH represents the intermediate bit depth
  • MC_ACCU represents the accuracy of the motion compensation filter mcFilter. Note that MC_ACCU is not limited to 6, and a value such as 3 to 10 can be used.
  • the product sum of the coefficient mcFilter [] [] and the reference image refImg [] [] is adjusted by the shift value shift1 and the range (dynamic range) is adjusted.
  • bitDepth (temp [] []) indicates the bit depth of the temporary image temp [] [].
  • the bit depth of the temporary image temp [] [] is a value obtained by subtracting the right shift value shift1 in the filter processing from the sum of the bit depth bitDepthY of the reference image and the accuracy MC_ACCU of the motion compensation filter. This value is referred to herein as the intermediate bit depth INTERNAL_BIT DEPTH.
  • NPHASES indicates the number of phases
  • NTAPS indicates the number of taps. ⁇ 0, 0, 0, 64, 0, 0, 0, 0 ⁇ included in the motion compensation filter mcFilter [] [] shown in FIG.
  • nFrac corresponds to xFrac or yFra.
  • the integer position (xInt, yInt) and phase (xFrac, yFrac) of the reference image of the in-block coordinates (x, y) of the upper left block coordinates (xPb, yPb) are obtained by the above equation A11. Then, the motion compensation unit 3091 derives the horizontal gradient images lx0 and lx1 using the above equation A12.
  • bitDepth indicates the bit depth of the filtered image temp [] [].
  • the bit depth of the filtered image temp [] [] is a value obtained by subtracting the right shift value shift1 in the filter processing from the sum of the motion compensation filter accuracy MC_ACCU and the bit depth bitDepthY of the reference image.
  • the bit depth of the temporary filtered image is called INTERNAL_BIT_DEPTH.
  • GRAD_ACCU represents the accuracy of the gradient compensation filter gradFilter.
  • FIG. 19B shows a gradient compensation filter gradFilter [NPHASES] [NTAPS] as a specific example of the 8-tap gradient compensation filter gradFilter set in this way.
  • the gradient derivation unit 309112 applies the vertical gradient compensation filter (gradFilterVer) with reference to the L0 reference image refImgL0 and the L1 reference image refImgL1, and then applies the horizontal motion compensation filter (mcFilterHor) to thereby obtain the vertical gradient image ly0. And derive ly1.
  • vertical gradient compensation filter (gradFilterVer) with reference to the L0 reference image refImgL0 and the L1 reference image refImgL1
  • mcFilterHor horizontal motion compensation filter
  • the integer position (xInt, yInt) and phase (xFrac, yFrac) of the reference image of the in-block coordinates (x, y) of the upper left block coordinates (xPb, yPb) are obtained by the above equation A11. Then, the motion compensation unit 3091 derives the vertical gradient images ly0 and ly1 using the above equation A12.
  • temp [x] [y] ( ⁇ gradFilter [yFrac] [i] * refImg [xInt] [yInt + i-NTAP / 2 + 1] + offset1)
  • a temporary image temp [] [] is derived.
  • the gradient correction coefficient unit 30912 may derive the correction weight vector (u, v) that minimizes the value obtained by the above formula A7 or formula A8 using the least square method. This will be described with reference to FIG. FIG. 20 is a diagram illustrating a method for deriving the correction weight vector (u, v) using the least square method.
  • the gradient product deriving unit 309121 derives intermediate parameters s1 to s6 (gradient products).
  • Expression 6 the above Expression A8 in FIG. 20A is expressed as a determinant, it can be expressed as Expression 7.
  • intermediate parameters s1 to s6 hereinafter also referred to as “gradient product s1”, etc.
  • s1 ⁇ (t2 * t2)
  • s3 ⁇ (-t1 * t2)
  • s5 ⁇ (t3 * t3)
  • s6 ⁇ ( ⁇ t1 * t3) (Formula A18)
  • Equation 7 can be simplified as Equation 8.
  • Equation 8 a correction weight vector (u, v) can be derived as shown in Equation 9.
  • vh that is an integer value obtained by shifting v to the left by shiftBIO bits
  • shiftBIO 5
  • the accuracy is 1/32.
  • MVTH is 2 / 3pel, for example.
  • the gradient correction bi-prediction derivation unit 30913 derives the gradient correction term modBIO by substituting the correction weight vector (u, v) derived in STEP 2 into the equation A3, and the pixel value Pred of the predicted image using the above equation A9. To derive.
  • the slope correction term modBIO may be weakened to 1/2 and used as in the above equation A10.
  • the pixel value Pred of the predicted image is derived using the prediction formula shown in the above formula A2.
  • shiftBIO2 shiftBIO + bitDepth (mcImg)-bitDepth (gradImg) + 1 (Formula A27) It is.
  • bitDepth is the bit depth of the motion compensated image, and corresponds to the above bitDepth (PX [] []).
  • FIG. 21 is a block diagram illustrating an example of the configuration of the motion compensation unit 3091.
  • FIG. 22 is a flowchart illustrating an example of a BIO prediction process performed by the motion compensation unit 3091.
  • FIG. 23 is a flowchart showing an example of the process of S22a of FIG.
  • the motion compensation unit 3091 (prediction image generation device, prediction image generation unit) illustrated in FIG.
  • the motion compensation gradient unit 30911 includes a motion compensation derivation unit 309111 and a gradient derivation unit 309112 (first switching unit), while the gradient correction coefficient unit 30912 includes a gradient product derivation unit 309121 and a gradient correction coefficient derivation unit 309122 ( A second switching unit and a clip unit).
  • the motion compensation deriving unit 309111 reads the L0 reference image refImgL0 [] [] and the L1 reference image refImgL1 [] [] used as the reference image from the reference picture memory 306, and derives the motion compensation images P0 and P1.
  • the gradient deriving unit 309112 applies the horizontal gradient image lx0 (lx0 [] [] to the motion compensated images P0 (P0 [] []) and P1 (P1 [] []) derived by the motion compensation deriving unit 309111. ]) And lx1 (lx1 [] []) and vertical gradient images ly0 (ly0 [] []) and ly1 (ly1 [] []) are derived (S12a in FIG. 22).
  • the motion compensation unit 3091 has a gradient derivation unit 309112 (first switching unit) configured to select and switch a filter set from a set of predetermined filter sets (for example, a high resolution filter and a low resolution filter). ).
  • the gradient product deriving unit 309121 derives the above-described intermediate parameters s1 to s6 (gradient product) (S21a in FIG. 22).
  • the gradient correction coefficient deriving unit 309122 uses the intermediate parameters s1 (s1 [] []) to s6 (s6 [] []) (gradient product) derived by the gradient product deriving unit 309121 to use the correction weight vector (
  • the elements u [] [] and v [] [] (gradient correction coefficients, uh [], vh [] [] in integer arithmetic) of u [] [], v [] []) are derived (FIG. 22). S22a).
  • the gradient correction coefficient deriving unit 309122 determines that the distance (T0) (inter-picture distance) between the target image Cur and the L0 reference image refImgL0 is the target image Cur and the L1 reference image. It is assumed that it is equal to the distance (T1) (inter-picture distance) from refImgL1.
  • the gradient correction bi-prediction derivation unit 30913 uses the correction weight vector (u, v) derived in STEP2 as a weighting coefficient to be multiplied with the motion displacement image predSamplesLX (see Equations A3 and A26).
  • the correction term modBIO [] [] is derived (S31a in FIG. 22).
  • the gradient correction bi-prediction derivation unit 30913 derives the pixel value Pred of the gradient correction bi-prediction image (prediction image, corrected prediction image) (S32a in FIG. 22).
  • the gradient correction coefficient deriving unit 309122 adds the regularization term regcost to the intermediate parameters s1 to s6 (gradient product) derived by the gradient product deriving unit 309121 (S221a).
  • the gradient correction coefficient derivation unit 309122 derives uh and vh (gradient correction coefficient), which are values obtained by shifting u and v to the left by shiftBIO for integer operation, instead of the correction weight vector (u, v). (S222a).
  • the gradient correction coefficient deriving unit 309122 (clip unit) performs a clipping process for restricting the derived gradient correction coefficients uh and vh (respective weight coefficients) to a predetermined value range (S223a).
  • S22a includes a process S220a for deriving intermediate parameters s1 to s6 (gradient products) for each block, or a gradient correction.
  • the process may include a step S225a of applying a filter to the coefficients uh and vh (each weight coefficient).
  • An example of deriving the gradient correction coefficients uh and vh (respective weight coefficients) by the processing flow shown in FIGS. 25 and 26 will be described later.
  • the gradient correction bi-prediction derivation unit 30913 included in the motion compensation unit 3091 may further include an interframe distance weight derivation unit 309131.
  • the inter-frame distance weight deriving unit 309131 has a picture interval T0 (first picture interval) between the target image Cur and the reference image P0, and a picture interval T1 (second picture interval) between the target image Cur and the reference image P1.
  • a gradient correction term modBIO [] [] is derived (see formula A40, formula A44, etc. described later), and pixels of the gradient corrected bi-predictive image (predicted image) are obtained.
  • the configuration may be such that the value Pred is derived.
  • the interframe distance weight deriving unit 309131 is a part of the gradient bi-prediction deriving unit 30913, but may be configured as a part of another means.
  • the gradient deriving unit 309112 derives horizontal gradient images lx0 and lx1 and vertical gradient images ly0 and ly1 for the motion compensation images P0 and P1.
  • the gradient compensation filter (gradFilter) used by the gradient deriving unit 309112 when deriving the gradient images lx0, lx1, ly0, and ly1 has a configuration including a plurality of filter sets, for example, a high resolution filter set and a low resolution filter set. May be.
  • a set of filter coefficients (filter set) may be simply called a filter coefficient.
  • a high resolution filter is a filter used for deriving a relatively steep gradient, and is sensitive to noise because it is greatly affected by small changes in pixel values. Generally speaking, this corresponds to a filter coefficient [1 / 2-1] / 2 for deriving a pixel value difference in units of one pixel.
  • a low resolution filter is a filter from which a relatively gradual gradient change is derived, and is relatively robust to noise. Generally speaking, the filter coefficient [1, 1, -1, -1] / 4 for deriving a difference in units of two pixels is applicable.
  • the gradient change is based on the assumption that the gradient of a certain point is constant within a predetermined range. This assumption is relatively valid when the pixel position correction vector (u, v) is less than one pixel. That is, it is assumed that the gradient is constant at a distance where the pixel position is corrected is less than one pixel. However, the assumption that the gradient is constant does not hold when the correction vector is increased, for example, by 2 to 3 pixels.
  • the high-resolution filter for example, can derive a steep gradient in pixel units, so it is effective in the range where the correction vector (u, v) of the pixel position is less than one pixel, assuming that the gradient is constant. It is.
  • the gradient is constant at a distance of less than one pixel, it is not a curve with a gradual change (a curve with a jagged change, but a curve after applying a low-pass filter. Assuming that the gradient is derived from), the assumption that the gradient is constant holds.
  • the low resolution filter is used to derive such a relatively gradual change, and is considered to be effective even when the correction vector (u, v) of the pixel position exceeds, for example, one pixel than the high resolution filter. It is done.
  • the low resolution filter set may be a convolution of a high resolution filter and a low pass filter
  • the high resolution filter set may be a high pass filter.
  • a method of applying a predetermined gradient filter after applying a Gaussian filter to the motion compensated images P0 and P1 may be introduced.
  • the gradient compensation filter applied after applying the Laplacian filter to the motion compensation images P0 and P1 is preferably a high resolution filter.
  • the plurality of filter sets switched by the gradient deriving unit 309112 have the following relationship in the resolution difference.
  • a filter set A for example, a high resolution filter
  • a filter set B when referring to a graph of filter coefficients included in the filter set, This is a case where the filter set A has a steeper graph than the filter set B, and the filter set B has a gentler graph than the filter set A.
  • the filter coefficients of the filter set A and the filter set B satisfy one of the following relationships.
  • is greater in the filter set A (high resolution filter set) than in the filter set B (low resolution filter set). That is, the maximum value of the filter coefficient of the filter set A (high resolution filter set) is equal to or greater than the maximum value of the filter coefficient of the filter set B (low resolution filter) set (Relationship R1).
  • gradFilter [nFrac] [pos] The absolute value of the difference between adjacent filter coefficients in gradFilter [nFrac] [pos]
  • is filter set A (high resolution filter set) Is smaller than the filter set B (low resolution filter set) (relationship R2).
  • the amount of the high frequency component of the filter set A is larger than the amount of the high frequency component of the filter set B (Relationship R4)
  • the filter operation is performed as an integer operation as the filter coefficient gradFilter [nFrac] [pos], that is, when the filter coefficient is a value obtained by shifting the filter coefficient value in real numbers to the left by the filter accuracy GRAD_ACCU
  • the size of the filter coefficient in the numerical value is a value obtained by shifting the integer filter coefficient gradFilter [nFrac] [pos] to the right by the filter accuracy GRAD_ACCU.
  • the filter coefficient value is divided by 1 >> GRAD_ACCU to be converted into a real value and then determined.
  • FIG. 27 is an example of a high resolution filter set
  • (b) in FIG. 27 is an example of a low resolution filter set.
  • the low resolution filter set in FIG. 27B is derived by convolution of a high resolution filter set and a low pass filter ([1 2 1] filter).
  • FIG. 28 shows a filter coefficient gardFitler at position pos for each phase nFrac (nFrac is xFrac or yFrac) of the high resolution filter set (filter 1 in the drawing) and the low resolution filter set (filter 2 in the drawing) shown in FIG.
  • the value of [nFrac] [pos] is shown as a graph.
  • the filter sets switched by the gradient deriving unit 309112 are referred to as “high resolution filter set” and “low resolution filter set” here, the names are not particularly limited. That is, as shown in FIG. 27, the motion compensation unit 3091 includes at least two different filter sets (for example, filter1 and filter2 in FIG. 27), and the gradient deriving unit 309112 has the filter set 1 (filter1) and the filter set. A configuration in which the set 2 (filter2) is switched as appropriate may be used.
  • the filter sets switched by the gradient deriving unit 309112 will be referred to as “filter set 1” and “filter set 2”. Also, it may be called a filter coefficient, for example, “filter coefficient 1” and “filter coefficient 2” instead of a filter set.
  • a configuration in which three or more filter sets, for example, a high resolution filter set, a medium resolution filter set, and a low resolution filter set are switched may be used.
  • the table may be derived as follows using a table idxTransTbl [] that derives an index from a temporary variable such as a shift value.
  • idx idxTransTbl [X / TH]
  • idx idxTransTbl [X >> shiftTH]
  • the following table can be used as idxTransTbl.
  • idxTransTbl [0, 1, 2, 2, 3, 3, 4, 4, 4, 4]
  • a method may be used in which a filter set is obtained by referring to a table based on the derived index idx.
  • resolution (size), block size, frame rate, motion vector, picture interval, quantization step (quantization parameter), a combination thereof, or the like is used.
  • the resolution (size) and block size may be derived from the product of width and height (width * height) or the sum (width + height).
  • the gradient deriving unit 309112 may be configured to switch the gradient compensation filter gradFilter according to the resolution of the motion compensation images P0 and P1. Specifically, the gradient deriving unit 309112 may be configured to derive the gradient image (lx0, lx1, ly0, ly1) using a filter set that has a lower resolution as the resolution increases.
  • FIG. 29 is a flowchart illustrating an example of a processing flow for switching resolution-dependent filter sets (filter coefficients).
  • the gradient deriving unit 309112 has a filter set 2 ( When the filter coefficient 2) is applied and the resolution is lower than a predetermined threshold TH (for example, less than 1920 ⁇ 1080), the filter set 1 (filter coefficient 1) may be applied.
  • a predetermined threshold TH for example, 1920 ⁇ 1080 or higher
  • the gradient deriving unit 309112 may be configured to switch the gradient compensation filter gradFilter according to the size of the block including the target pixel that is the pixel from which the gradient image is derived. Specifically, the gradient deriving unit 309112 may be configured to derive the gradient image (lx0, lx1, ly0, ly1) using a filter set that has a lower resolution as the block size increases.
  • the gradient deriving unit 309112 applies the filter set 2 when the block size of the block including the target pixel included in the motion compensation images P0 and P1 is equal to or larger than a predetermined threshold (for example, 16 ⁇ 16 or larger).
  • a predetermined threshold for example, 16 ⁇ 16 or larger.
  • the filter set 1 may be applied.
  • Step 1 Filter set switching depending on the frame rate
  • the gradient deriving unit 309112 may be configured to switch the gradient compensation filter gradFilter according to the frame rates FrameRate of the motion compensation images P0 and P1. Specifically, the gradient deriving unit 309112 may be configured to derive the gradient image (lx0, lx1, ly0, ly1) using a filter set such that the lower the frame rate, the lower the resolution.
  • filter set 1 may be applied to (FrameRate> TH).
  • the filter set 1 may be applied.
  • the gradient deriving unit 309112 is configured to switch the gradient compensation filter gradFilter according to the difference between the motion vector MV (motion vector, mvLX) of the target block and the prediction vector PMV (predicted motion vector, mvpLX) of the target block. It may be. Specifically, the gradient deriving unit 309112 derives gradient images (lx0, lx1, ly0, ly1) using a filter set such that the larger the difference vector DMV, the motion vector mvLX, and the prediction vector mvpLX, the lower the resolution. The structure to do may be sufficient.
  • the gradient deriving unit 309112 may apply the filter set 2 when the difference vector DMV is greater than or equal to a predetermined threshold, and may apply the filter set 1 when the difference vector DMV is smaller than the predetermined threshold.
  • the prediction vector PMV may be a collocated motion vector (that is, a motion vector at the same position in the previous picture), a left block motion vector, or an upper block motion vector.
  • the gradient deriving unit 309112 may be configured to switch the gradient compensation filter gradFilter according to “the motion vector mvLX of the target block” instead of “the difference from the motion vector MV of the adjacent block”.
  • the gradient deriving unit 309112 determines the inter-picture distance between the target image Cur including the target block and at least one of the motion compensated images P0 and P1 (or the L0 reference image refImgL0 and the L1 reference image refImgL1).
  • the structure which switches a filter set may be sufficient.
  • the gradient deriving unit 309112 may be configured to derive the gradient image (lx0, lx1, ly0, ly1) using a filter set that has a lower resolution as the inter-picture distance increases.
  • the gradient deriving unit 309112 may apply the filter set 2 when the inter-picture distance is greater than or equal to a predetermined threshold, and may apply the filter set 1 when the inter-picture distance is smaller than the predetermined threshold.
  • the gradient deriving unit 309112 has the picture order number POC (POC_curr) of the target image Cur including the target block, the picture order number POC (POC_l0) of the L0 reference image refImgL0, and the picture order number POC (POC_11) of the L1 reference image refImgL1.
  • // Average and total deltaPOC max (
  • StepP1 Filter set switching depending on quantization step
  • the filter set 2 for example, a low resolution filter set
  • the gradient deriving unit 309112 switches the filter set to be applied to the motion compensated image P0 according to the quantization step of the motion compensated image P0 (or L0 reference image refImgL0), and the motion compensated image P1 (or L1 reference image refImgL1).
  • the filter set to be applied to the motion compensated image P1 is switched according to the quantization step.
  • the gradient deriving unit 309112 may be configured to derive the gradient image (lx0, lx1, ly0, ly1) using a filter set that has a lower resolution as the quantization step is larger.
  • the filter set may be switched according to the quantization coefficient of the target block of the target image Cur.
  • the gradient deriving unit 309112 may be configured to switch the filter set according to the quantization coefficient or the quantization step.
  • the gradient deriving unit 309112 may apply the filter set 2 when the quantization step is greater than or equal to a predetermined threshold, and may apply the filter set 1 when the quantization step is smaller than the predetermined threshold. .
  • the gradient deriving unit 309112 may be configured to switch the filter set with reference to a flag as explicit signaling.
  • the entropy encoding unit 104 encodes the filter set index of the filter set to be used in the slice header SH and the picture parameter set PPS.
  • the gradient deriving unit 309112 may be configured to switch filter sets based on the filter set index decoded from the slice header SH and the picture parameter set PPS.
  • the motion compensation unit 3091 determines that the distance (T0) between the target image Cur and the reference image P0 (first reference image) is the target image Cur and the reference image P1 (second reference image). ) Is equal to the distance (T1) between the target image Cur and the reference image P0 shown in FIG. 18, as in the case where the picture configuration is LowDelayB.
  • the correction weight vector (u, v) may be derived depending on the distance (T1) between the target image Cur and the reference image P1. However, simply considering the distance (T0) between the target image Cur and the reference image P0 and the distance (T1) between the target image Cur and the reference image P1, the performance of the motion compensation process does not necessarily improve.
  • the motion compensation unit 3091 may perform motion compensation processing using a weighting factor that depends on the picture interval (inter-picture distance).
  • the motion compensation unit 3091 (interframe distance weight deriving unit 309131) derives T0 and T1 by the following equations.
  • T0 POC_L0-POC_Curr
  • T1 POC_curr-POC_L1
  • T0 POC_curr-POC_L0
  • T1 POC_L1-POC_Curr
  • the values u and v that minimize the value obtained by the above are derived (corresponding to the equation A7).
  • the prediction formula of the pixel value I of the point I on the target image Cur that is the image to be predicted is the pixel value l0 of the point 10 on the L0 reference image refImgL0 and the pixel value l1 of the point 11 on the L1 reference image refImgL1.
  • I (l0 + l1)
  • 1 ⁇ P0 + P1 + (T0 * lx0 + T1 * lx1) * u + (T0 * ly0 + T1 * ly1) * v ⁇ >> 1 (Formula A32) (Corresponding to the above formula A6).
  • the gradient bi-prediction derivation unit 30913 calculates the first weighting factor corresponding to the picture interval T0 (first picture interval) between the target image Cur and the reference image P0, and the target image Cur and the reference image P1.
  • a gradient correction term modBIO [] [] is derived by introducing a second weighting factor according to the picture interval T1 (second picture interval). That is, the gradient bi-prediction derivation unit 30913 derives the pixel value Pred of the predicted image using the prediction formula of the above formula A2.
  • shiftPred INTERNAL_BIT_DEPTH-bitDepthY + 1
  • the gradient bi-prediction derivation unit 30913 derives the gradient correction term modBIO with reference to the pixel values of the horizontal gradient images lx0 and lx1 and the vertical gradient images ly0 and ly1, and the target image Cur and the reference image P0. And the picture interval T1 between the target image Cur and the reference image P1 may be determined.
  • the picture intervals T0 and T1 can also be referred to as the respective weighting factors by which the pixel values of the horizontal gradient images lx0 and lx1 and the vertical gradient images ly0 and ly1 are multiplied.
  • the gradient product deriving unit 309121 includes a first weighting factor W0 corresponding to the picture interval T0 between the target image Cur and the reference image P0, and a second weight corresponding to the picture interval T1 between the target image Cur and the reference image P1.
  • the pixel value Pred of the predicted image may be derived by introducing the weight coefficient W1. That is, the pixel value of each pixel of the reference image P0 is multiplied by the first weighting factor W1, the pixel value of each pixel of the reference image P1 is multiplied by the second weighting factor, and the time weight shiftWeight is taken into consideration, and the predicted image
  • the pixel value Pred may be derived.
  • the gradient product deriving unit 309121 derives the pixel value Pred of the predicted image using this prediction formula.
  • shiftWeightPred shiftPred + shiftWeight
  • the time weight shiftWeight is 8, for example.
  • the gradient product deriving unit 309121 includes a first weighting factor W0 corresponding to the picture interval T0 between the target image Cur and the reference image P0, and a first weight coefficient corresponding to the picture interval T1 between the target image Cur and the reference image P1.
  • W1 the weighting factor
  • the motion compensation process may be performed using a weighting factor that depends on the picture interval.
  • the prediction formula in this case is the same as the formula 34 described above, and the interframe distance weight deriving unit 309131 uses this prediction formula to derive the pixel value Pred of the predicted image.
  • the pixel value shiftWeightPred of the predicted image considering the time weight is obtained by shiftPred + shiftWeight, and the time weight shiftWeight is, for example, 8.
  • the gradient product deriving unit 309121 when the ratio of the picture interval T0 between the target image Cur and the reference image P0 and the picture interval T1 between the target image Cur and the reference image P1 is outside a predetermined range, A predetermined process is performed on the picture interval T0 and the picture interval T1 so that the ratio between the interval T0 and the picture interval T1 falls within a predetermined range, and according to the picture interval T0 and the picture interval T1 on which the predetermined process is performed, Each weighting factor by which each pixel value of the gradient images lx0, lx1, ly0, and ly1 is multiplied may be determined.
  • the gradient product deriving unit 309121 performs gradient correction processing using a weighting factor that depends on the picture interval, for example, the picture interval T0 between the target image Cur and the reference image P0, the target image Cur, and the reference image P1
  • a weighting factor that depends on the picture interval
  • Each weight coefficient to be multiplied by is determined.
  • the absolute value abs (T0) of the picture interval T0 is the absolute value of the picture interval T1. If the value abs (T1) is larger than twice, the gradient product deriving unit 309121 performs the clipping process by doubling the picture interval T0. Conversely, when the absolute value abs (T1) of the picture interval T1 is larger than twice the absolute value abs (T0) of the picture interval T0, the gradient product deriving unit 309121 performs the clipping process by doubling the picture interval T1. Do.
  • the gradient product deriving unit 309121 increases the picture interval T0 by mn / md times. Perform clip processing. Conversely, when the absolute value abs (T1) of the picture interval T1 is larger than mn / md times the absolute value abs (T0) of the picture interval T0, the gradient product deriving unit 309121 sets the picture interval T1 to mn / md. Clip processing may be performed twice.
  • md is a power of 2
  • T0 sgn (T0) * mn * abs (T1) >> log2 (md)
  • T1 sgn (T1) * mn * abs (T0) >> log2 (md)
  • mn represents a fractional numerator
  • the gradient product deriving unit 309121 determines whether or not to perform gradient correction depending on the distance between the target image and the reference image according to the picture interval dependent gradient flag bio_pic_dist (predetermined flag) included in the encoded data. Also good.
  • the gradient product deriving unit 309121 determines that each weight coefficient to be multiplied by each pixel value of the gradient images lx0, lx1, ly0, and ly1 is the target image. It is determined according to the picture interval T0 between the Cur and the reference image P0 and the picture interval T1 between the target image Cur and the reference image P1.
  • the gradient product deriving unit 309121 when the picture interval dependent gradient flag bio_pic_dist is 1 (first value), intermediate parameters s1 (s1 [] []) to s6 (s6) satisfying the above-described expression A31. [] []) Is derived (corresponding to the equation A18).
  • the gradient product deriving unit 309121 may be configured to determine, for each block, each weighting factor by which each pixel value of the gradient images lx0, lx1, ly0, and ly1 is multiplied. For example, the gradient product deriving unit 309121 derives intermediate parameters s1 (s1 [] []) to s6 (s6 [] []) satisfying the above-described formula A31 for each fixed (eg, 4 ⁇ 4) block. May be.
  • the gradient correction coefficient deriving unit 309122 derives a correction weight vector (u, v) using the derived intermediate parameters s1 (s1 [] []) to s6 (s6 [] []).
  • the gradient product derivation unit 309121 uses the derived correction weight vector (u, v) as a basis.
  • a correction weight vector (u, v) of a certain pixel may be derived by applying a filter (for example, an interpolation filter).
  • a correction weight vector (u, v) of a pixel is a weighted average of correction weight vectors (u, v) of N ⁇ N blocks
  • u (x, y) (w00 * u (x, y) + w10 * u (x + N, y) * w01 * u (x, y + N) * w11 * u (x + N, y + N ))
  • n v (x, y) (w00 * v (x, y) + w10 * v (x + N, y) * w01 * v (x, y + N) * w11 * v (x + N, y + N ))
  • n (Formula A45) May be derived by:
  • the weight for example, the following can be used as a weight coefficient for linear prediction.
  • u (u, v) in units of N ⁇ N blocks is stored after being compressed by 1 / N
  • u (x, y) (w00 * u0 (x, y) + w10 * u0 (x + 1, y) * w01 * u0 (x, y + 1) * w11 * u0 (x + 1, y + N ))
  • n v (x, y) (w00 * v0 (x, y) + w
  • said formula A45 and said formula A46 are performing the two-dimensional weighted average by a single process, they may be a two-stage process. That is, a two-dimensional weighted average may be realized by generating a temporary image with a vertical weighted average and applying the horizontal weighted average to the generated temporary image. Also, processing may be performed in the order of horizontal and vertical.
  • the gradient product deriving unit 309121 applies a predetermined filter to each correction weight vector (u, v) (weight coefficient) determined for each block (for example, a 4 ⁇ 4 block), Each correction weight vector (u, v) for each pixel may be derived.
  • a predetermined filter is a low-pass filter (for example, a smoothing filter).
  • the gradient correction coefficient deriving unit 309122 performs clip processing on the gradient correction coefficients uh and vh (each weight coefficient) that are multiplied by the pixel values of the gradient images lx0, lx1, ly0, and ly1.
  • the gradient correction coefficient deriving unit 309122 applies the range of clip processing (steps performed on the derived gradient correction coefficients uh and vh when applying the filter set 1 in STEP 1 and applying the filter set 2 described above (step 1).
  • (Range) (-rangeBIO to rangeBIO) may be switched from a plurality of range candidates.
  • leads-out a value range according to a parameter may be sufficient.
  • Optical flow is a technique based on the assumption that a local differentiation can be approximated using a first-order derivative (ie, gradient). Therefore, it can be said that the optical flow (gradient change) is originally a technique that can be applied only when the correction weight vector (u, v) (and the gradient correction coefficients uh and vh) are small. Therefore, a process of clipping the correction weight vector (u, v) within a relatively small range is appropriate.
  • filter set 2 for example, a low resolution filter
  • clip processing is performed on the gradient correction coefficients uh and vh compared to when filter set 1 that assumes detection of a relatively small correction weight vector (u, uv) is applied.
  • the value range of may be wide.
  • the motion compensation unit 3091 includes a gradient deriving unit 309112 (first switching unit) that switches gradient filters used when deriving the gradient images lx0, lx1, ly0, and ly1, and further includes a gradient correction coefficient deriving unit 309122 (clip unit). ) May switch the range of clip processing according to the gradient filter selected by the gradient deriving unit 309112.
  • first switching unit that switches gradient filters used when deriving the gradient images lx0, lx1, ly0, and ly1
  • a gradient correction coefficient deriving unit 309122 (clip unit). ) May switch the range of clip processing according to the gradient filter selected by the gradient deriving unit 309112.
  • the gradient correction coefficient deriving unit 309122 which is configured to switch a plurality of filter sets, sets the gradient correction coefficients uh and vh based on the selected filter set.
  • the range of clip processing to be performed may be changed.
  • the number of classifications is set to three or more, and three or more clip processing value ranges, for example, a large value range, a medium value range, a small value range, and the like. It may be configured to switch the range.
  • X and a predetermined threshold are classified by comparison.
  • identification is performed directly from the parameter X by division, shift, table reference, etc.
  • the index idx for may be derived.
  • a method may be used in which a table is referred to based on the derived index idx to obtain a clip processing range. For example, for X, resolution, block size, frame rate, motion vector, picture interval, quantization step (quantization parameter), a combination thereof, or the like is used.
  • quantization parameter quantization parameter
  • the gradient correction coefficient deriving unit 309122 may be configured to derive the clip processing range according to the resolution of the motion compensated images P0 and P1. Specifically, the gradient correction coefficient deriving unit 309122 may be configured to use a clip having such a relationship that the range of clip processing becomes larger as the resolution increases.
  • Y is larger when X is larger. X1 that satisfies X1> X0, X0 that is Y in case of X0 in X1, and Y1 that is Y in case of X1 satisfy Y1 ⁇ Y0. That's fine.
  • a predetermined threshold TH for example, 1920 ⁇ 1080 or higher
  • the gradient correction coefficient deriving unit 309122 may be configured to switch the clip processing range according to the size of the block including the target pixel from which the gradient image is derived. Specifically, the gradient correction coefficient deriving unit 309122 may be configured to use a clip having such a relationship that the range of clip processing becomes larger as the block size is larger.
  • the gradient correction coefficient deriving unit 309122 is a clipping processing range. If the block size of the block including the target pixel is smaller than a predetermined threshold (for example, less than 16 ⁇ 16), the clip processing range is set to ⁇ 2/3 to 2/3, etc. Also good.
  • a predetermined threshold for example, 16 ⁇ 16 or larger
  • the clip processing range is set to ⁇ 2/3 to 2/3, etc. Also good.
  • the gradient correction coefficient deriving unit 309122 may be configured to switch the clip processing range in accordance with the frame rate FrameRate of the motion compensated images P0 and P1. Specifically, the gradient correction coefficient deriving unit 309122 may be configured to use a clip having such a relationship that the range of clip processing becomes larger as the frame rate FrameRate is smaller (resolution / frame rate is larger).
  • the gradient correction coefficient deriving unit 309122 sets the clip processing range to ⁇ 2 to 2, and the frame rate is If it is larger than the predetermined threshold (for example, FrameRate> TH), the clip processing value range may be -2/3 to 2/3.
  • the clip processing range is set to -2 to 2.
  • the clip processing range may be set to ⁇ 2/3 to 2/3.
  • the gradient correction coefficient derivation unit 309122 is configured to switch the clip processing range according to the difference between the motion vector MV (mvLX) of the target block and the prediction vector PMV (predicted motion vector, mvpLX) of the target block. There may be. Specifically, the gradient correction coefficient deriving unit 309122 may be configured to use a clip having such a relationship that the range of clip processing becomes larger as the difference vector DMV is larger.
  • the gradient correction coefficient deriving unit 309122 sets the range of the clipping process to ⁇ 2 to 2 or the like when the difference vector DMV is equal to or larger than a predetermined threshold, and performs the clipping process when the difference vector DMV is smaller than the predetermined threshold.
  • the value range may be -2/3 to 2/3.
  • the prediction vector PMV may be a collocated motion vector (that is, a motion vector at the same position in the previous picture), a left block motion vector, or an upper block motion vector.
  • the gradient correction coefficient deriving unit 309122 may be configured to switch the range of clip processing in accordance with “the motion vector mvLX of the target block” instead of “the difference from the motion vector MV of the adjacent block”. Specifically, the gradient correction coefficient deriving unit 309122 may be configured to use a clip having a relationship such that the larger the motion vector mvLX is, the larger the range of clip processing is.
  • the gradient correction coefficient deriving unit 309122 corresponds to the inter-picture distance between the target image Cur including the target block and at least one of the motion compensated images P0 and P1 (or the L0 reference image refImgL0 and the L1 reference image refImgL1).
  • the clip processing range may be switched.
  • the gradient correction coefficient deriving unit 309122 may be configured to use a clip having a relationship such that the range of clip processing becomes larger as the inter-picture distance is larger.
  • the gradient correction coefficient deriving unit 309122 sets the range of clip processing to ⁇ 2 to 2 when the inter-picture distance is greater than or equal to a predetermined threshold, and performs clip processing when the inter-picture distance is smaller than the predetermined threshold.
  • the value range may be -2/3 to 2/3.
  • the gradient correction coefficient deriving unit 309122 performs the clip processing range according to the quantization step of the motion compensation image P0 (or L0 reference image refImgL0) and the quantization step of the motion compensation image P1 (or L1 reference image refImgL1). May be switched.
  • the range of clip processing may be switched according to the quantization coefficient of the target block of the target image Cur.
  • the gradient correction coefficient deriving unit 309122 may be configured to switch the range of clip processing according to a quantization coefficient or a quantization step. Specifically, the gradient correction coefficient derivation unit 309122 may be configured to use a clip having a relationship such that the range of clip processing becomes larger as the quantization step is larger.
  • the gradient correction coefficient deriving unit 309122 sets the range of the clipping process to ⁇ 2 to 2 or the like when the quantization step is greater than or equal to a predetermined threshold, and performs the clipping process when the quantization step is smaller than the predetermined threshold.
  • the value range may be -2/3 to 2/3.
  • the gradient correction coefficient deriving unit 309122 may be configured to switch the range of clip processing with reference to a flag as explicit signaling.
  • the entropy encoding unit 104 encodes the filter set index of the filter set to be used in the slice header SH and the picture parameter set PPS.
  • the gradient correction coefficient deriving unit 309122 may be configured to switch the range of clip processing based on the filter set index decoded from the slice header SH and the picture parameter set PPS.
  • the gradient correction coefficient deriving unit 309122 adds the regularization term regcost to the intermediate parameters s1 to s6 derived by the gradient product deriving unit 309121.
  • the gradient correction coefficient derivation unit 309122 determines the value of the regularization term regcost to be added to the intermediate parameters s1 to s6 in the case where the above filter set 1 is applied in STEP 1 and the case where the above filter set 2 is applied as follows: It may be switched in this way.
  • the regularization term regcost is added to the intermediate parameters s1 to s6 in order to suppress the magnitude of the correction weight vector (u, v) (close to 0).
  • filter set 2 for example, a low resolution filter
  • the value of the regularization term regcost to be added to the intermediate parameters s1 to s6 may be reduced to widen the derived correction weight vector (u, v).
  • the value of the regularization term regcost added to the intermediate parameters s1 to s6 may be increased, and the derived correction weight vector (u, v) may be set to a small range.
  • Normalization when the value of the regularization term regcost is increased is called “strong normalization”
  • normalization when the value of the regularization term regcost is reduced is called “weak normalization”.
  • the value of the regularization term regcost is set based on the selected filter set, as shown in FIG. It may be changed. Specifically, the gradient correction coefficient deriving unit 309122 uses normalization having such a relationship that the regularization term becomes smaller as the accuracy of the filter set becomes lower.
  • the motion compensation unit 3091 includes a gradient deriving unit 309112 (first switching unit) that switches gradient filters used when deriving the gradient images lx0, lx1, ly0, and ly1, and further includes a gradient correction coefficient deriving unit 309122 (second The switching unit) may switch the value of the regularization term regcost according to the gradient filter selected by the gradient deriving unit 309112.
  • first switching unit that switches gradient filters used when deriving the gradient images lx0, lx1, ly0, and ly1
  • second The switching unit may switch the value of the regularization term regcost according to the gradient filter selected by the gradient deriving unit 309112.
  • the gradient correction coefficient deriving unit 309122 may be configured to switch the value of the regularization term regcost in the same manner as the above-described configuration in which the gradient correction coefficient deriving unit 309122 switches the range of clip processing.
  • a normalization term when switching the normalization term based on the size of the parameter X, X and a predetermined threshold are classified by comparison, but the identification is directly performed from the parameter X by division, shift, table reference, etc.
  • An index idx may be derived.
  • a normalization term may be obtained by referring to the table based on the derived index idx. For example, for X, resolution, block size, frame rate, motion vector, picture interval, quantization step (quantization parameter), a combination thereof, or the like is used.
  • quantization parameter quantization parameter
  • the gradient correction coefficient deriving unit 309122 may be configured to switch the regularization term according to the resolution of the motion compensated images P0 and P1. Specifically, the gradient correction coefficient deriving unit 309122 may be configured to use normalization having such a relationship that the regularization term becomes smaller as the resolution increases.
  • the gradient correction coefficient deriving unit 309122 has a high resolution of the motion compensation images P0 and P1, that is, a predetermined threshold value TH or higher (for example, 1920 ⁇ 1080 or higher).
  • a predetermined threshold value TH or higher for example, 1920 ⁇ 1080 or higher.
  • the regularization term regcost is set small, weak regularization is performed, and the resolution is low, that is, lower than a predetermined threshold TH (for example, , Less than 1920 ⁇ 1080), the regularization term regcost may be set larger than in the case of high resolution, and strong regularization may be performed.
  • the gradient correction coefficient deriving unit 309122 may be configured to switch the regularization term according to the size of the block including the target pixel from which the gradient image is derived. Specifically, the gradient correction coefficient deriving unit 309122 may be configured to use normalization having a relationship such that the regularization term becomes smaller as the block size increases.
  • the gradient correction coefficient deriving unit 309122 is relatively large when the block size of the block including the target pixel included in the motion compensation images P0 and P1 is equal to or larger than a predetermined threshold (for example, 16 ⁇ 16 or larger).
  • a predetermined threshold for example, 16 ⁇ 16 or larger.
  • the regularization term regcost may be set large to perform strong normalization.
  • the gradient correction coefficient deriving unit 309122 may be configured to switch the regularization term according to the frame rates FrameRate of the motion compensated images P0 and P1. Specifically, the gradient correction coefficient deriving unit 309122 may be configured to use normalization having a relationship such that the regularization term becomes smaller as the frame rate becomes smaller.
  • the gradient correction coefficient deriving unit 309122 is configured to switch the regularization term according to the difference between the motion vector MV (mvLX) of the target block and the prediction vector PMV (predicted motion vector, mvpLX) of the target block.
  • the gradient correction coefficient deriving unit 309122 may be configured to use normalization having a relationship such that the regularization term becomes smaller as the difference vector is larger.
  • the gradient correction coefficient deriving unit 309122 sets the regularization term regcost small so that a relatively large correction weight vector (u, v) can be derived when the difference vector DMV is equal to or greater than a predetermined threshold value, If weak normalization is performed and the difference vector DMV is smaller than a predetermined threshold, the regularization term regcost may be set to be large and strong normalization may be performed.
  • the gradient correction coefficient deriving unit 309122 may be configured to switch the regularization term according to the motion vector mvLX of the target block.
  • the gradient correction coefficient deriving unit 309122 corresponds to the inter-picture distance between the target image Cur including the target block and at least one of the motion compensated images P0 and P1 (or the L0 reference image refImgL0 and the L1 reference image refImgL1).
  • the configuration may be such that the regularization term is switched.
  • the gradient correction coefficient deriving unit 309122 may be configured to use normalization having such a relationship that the regularization term becomes smaller as the picture interval is larger.
  • the gradient correction coefficient derivation unit 309122 sets the regularization term regcost small so that a relatively large correction weight vector (u, v) can be derived when the inter-picture distance is equal to or greater than a predetermined threshold value. If weak normalization is performed and the inter-picture distance is smaller than a predetermined threshold, the regularization term regcost may be set to be large and strong normalization may be performed.
  • the gradient correction coefficient deriving unit 309122 switches the regularization term in accordance with the quantization step of the motion compensation image P0 (or L0 reference image refImgL0) and the quantization step of the motion compensation image P1 (or L1 reference image refImgL1). Also good.
  • the gradient correction coefficient deriving unit 309122 may be configured to use normalization having a relationship such that the regularization term becomes smaller as the quantization step becomes larger.
  • the gradient correction coefficient derivation unit 309122 sets the regularization term regcost small so that a relatively large correction weight vector (u, v) can be derived when the quantization step is equal to or greater than a predetermined threshold value, If weak normalization is performed and the quantization step is smaller than a predetermined threshold, the regularization term regcost may be set to be large and strong normalization may be performed.
  • the gradient correction coefficient derivation unit 309122 may be configured to switch the regularization term with reference to a flag as explicit signaling.
  • the gradient correction coefficient deriving unit 309122 may be configured to switch the regularization term based on the filter set index decoded from the slice header SH and the picture parameter set PPS.
  • the inter prediction parameter decoding control unit 3031 of the inter prediction parameter decoding unit 303 selects the prediction mode used when deriving the motion vector mvLX as the merge mode, AMVP mode, or matching mode (FRUC mode, matching).
  • the prediction mode may be selected (see FIG. 6).
  • the inter prediction parameter decoding control unit 3031 includes a matching prediction parameter deriving unit (not shown) that selects a mode used when deriving the motion vector mvLX, separately from the inter prediction parameter decoding control unit 3031. Also good.
  • FIG. 30 is a flowchart showing the flow of motion vector derivation processing.
  • each process is performed by the inter prediction parameter decoding unit 303.
  • ptn_match_mode which is a syntax indicating the type of matching mode
  • a motion vector is derived by matching blocks in a plurality of reference images.
  • the object passes the block BLK0 of the L0 reference image and the block BLK1 of the L1 reference image passes through the target block BLKCUR.
  • the block BLK0 of the L0 reference image and the block BLK1 of the L1 reference image are compared ( Matching), and search and select a block with a small difference between the two companies.
  • a motion vector for the L0 reference image of the target block is derived from the positional relationship between the block BLK0 of the L0 reference image and the target block, and the L1 reference of the target block is determined from the positional relationship between the block BLK1 of the L1 reference image and the target block.
  • a motion vector for the image is derived.
  • Such a matching mode is called “bi-predictive matching”.
  • template matching may be used as a matching mode.
  • the motion compensation unit 3091 derives the motion vector MV (motion vector mvLX) in the matching mode.
  • the search accuracy for the search may be low (for example, 1 pixel or 1/2 pixel). That is, the accuracy of the motion vector used for deriving the motion compensated image may be switched depending on whether or not BIO prediction is applied.
  • FIG. 32 is a diagram showing a comparison of prediction accuracy between the BIO prediction mode and the matching mode.
  • the range of the motion vector MV to which the BIO prediction can be applied that is, the correction weight vector (u, v) is as small as, for example, about 2/3 pel at the maximum.
  • the size unit can be 1 ⁇ 1 pixel (ie, each pixel unit).
  • the range of the motion vector MV that can be adapted is as large as, for example, about 4 pel, but it is necessary to use a relatively large block to determine whether matching is applied, so spatial correction is required.
  • the unit is about 8 ⁇ 8 pixels (that is, a block unit). In BIO prediction, it is difficult to increase the accuracy of correction for the motion vector MV due to the amount of processing, for example, about 1/8 at the maximum.
  • the accuracy of the vector obtained in the matching mode may be low. That is, the accuracy of the search for the motion vector MV in the matching mode may be made lower than the accuracy of the motion vector derived in the AMVP mode (for example, 1/4 pel). That is, when the motion vector used for deriving the motion compensated image is derived in the AMVP mode, for example, when it is derived in units of 1/4 pixels, matching prediction is used in combination with BIO prediction (BIO prediction is performed in the subsequent stage). In, it may be derived in units of 1/2 pixel.
  • the matching mode even if motion compensation is performed using BIO prediction that can correct only a minute motion if the motion vector MV is corrected (matched) roughly in advance (every 1 pel or 1/2 pel).
  • the matching mode and BIO as a whole can be corrected sufficiently.
  • the BIO prediction is performed based on the assumption that the gradient is constant in a relatively small range, that is, in a range where the correction weight vector (u, v) is small. Therefore, the correction weight vector (u, v) is large. If the assumption that is true does not hold, it will not operate properly. However, in the configuration in which the BIO prediction is performed after the matching prediction, if the motion vector is derived (corrected) with a certain degree of search accuracy (for example, 1 pixel or 1/2 pixel) by matching, the corrected weight vector (u, v ) Can be expected to be less than the search accuracy.
  • a certain degree of search accuracy for example, 1 pixel or 1/2 pixel
  • the motion compensation unit 3091 is for deriving the motion vector MV (motion vector mvLX) in the matching mode.
  • the accuracy of the search may be switched according to whether or not to apply BIO prediction.
  • the inter prediction parameter decoding unit 303 designates the search accuracy in the search for the motion vector in the matching mode as N pel (for example, 1 pel or 1/2 pel).
  • N pel for example, 1 pel or 1/2 pel.
  • the inter prediction parameter decoding unit 303 searches for motion vectors in the matching mode. May be M pel (eg, 1/4 or 1/8 pel).
  • N> M holds.
  • the motion compensation unit 3091 derives the motion vector MV (motion vector mvLX) in the matching mode.
  • the block size for switching may be switched depending on whether or not to apply BIO prediction.
  • the inter prediction parameter decoding unit 303 performs sub-blocks that are small blocks that constitute a prediction block, for each block (prediction unit PU) that has a relatively high search accuracy in motion vector search in the matching mode. You may comprise so that the search for every (for example, 4x4) may not be performed.
  • the BIO when the BIO is off, the motion vector search in the matching mode may be executed for each sub-block which is a relatively small block.
  • the BIO flag may be a flag encoded for each sequence, or may be a flag encoded for each sequence parameter set SPS, each picture parameter set PPS, and each block.
  • BIO prediction in the image decoding device 31 that derives a motion vector mvLX that employs a matching mode, a configuration including a plurality of modes as the matching mode, for example, a bi-predictive matching mode and a template matching
  • a configuration including a plurality of modes as the matching mode for example, a bi-predictive matching mode and a template matching
  • BIO prediction it is assumed that the object moves at a constant speed between a plurality of reference pictures (in the case of BIO prediction, it is assumed that not only the gradient change but also the time change has a certain range). Therefore, when the bi-predictive matching mode is used as the matching mode, BIO prediction is also considered effective.
  • the motion compensation unit 3091 may perform motion compensation using BIO prediction based on whether or not the prediction mode decoded by the inter prediction parameter decoding unit 303 is bi-prediction matching. In other words, the motion compensation unit 3091 performs motion compensation using BIO prediction based on whether or not the prediction mode selected to derive the motion vector of the inter prediction parameter decoding unit 303 is the bi-prediction matching mode. Also good.
  • the motion compensation unit 3091 does not perform motion compensation to which BIO prediction is applied (the inter prediction parameter decoding unit 303 does not decode the BIO flag from the encoded data, but converts the BIO flag to the BIO flag.
  • the motion compensation unit 3091 performs motion compensation using BIO prediction (the inter prediction parameter decoding unit 303 encodes the BIO flag). (Decoding from data).
  • the motion compensation unit 3091 does not perform motion compensation using BIO prediction (the inter prediction parameter decoding unit 303 sets a value indicating BIO off in the BIO flag).
  • the motion compensation unit 3091 may perform a motion compensation using BIO prediction (the inter prediction parameter decoding unit 303 derives a value indicating BIO on as a BIO flag).
  • the motion compensation unit 3091 performs motion compensation using BIO prediction. Even if executed, the performance of the motion compensation process is not always improved. Therefore, in the case of template matching, the motion compensation unit 3091 may be configured not to perform motion compensation using BIO prediction. With this configuration, the amount of processing required for the motion compensation unit 3091 to perform motion compensation for BIO prediction can be reduced.
  • a configuration including a plurality of modes as the matching mode for example, a bi-predictive matching mode
  • a configuration in which the accuracy of the matching prediction is changed according to the matching mode may be used. That is, when the matching mode is the bi-prediction mode, even if the motion vector search accuracy is not high, the motion compensation image is corrected by BIO prediction after the matching mode, and a highly accurate prediction image is generated.
  • the motion vector search unit in the matching mode is relatively large (for example, 1 pixel or 1/2 pixel), and when the matching mode is template matching, the motion vector search is performed.
  • the unit may be smaller (for example, 1/4 pixel or 1/8 pixel) than in the case of bi-predictive matching.
  • the image decoding device 31 that derives the motion vector mvLX that employs the matching mode
  • a spatial unit for searching for matching prediction according to the matching mode.
  • the configuration may be changed.
  • the matching mode is the bi-prediction mode
  • the motion compensation image is corrected by BIO prediction after the matching mode, and high-precision prediction is performed. An image is generated. Therefore, even if the spatial unit of the motion vector is relatively large, it is corrected in pixel units by BIO prediction.
  • the motion vector search unit (block size) in the matching mode is relatively large (for example, 8 ⁇ 8 pixels or 16 ⁇ 16 pixels), and the matching mode is template matching.
  • the spatial unit of the motion vector may be small (for example, the length of one side of the inverted L-shaped template is a minimum of 4 to 5).
  • FIG. 12 is a block diagram illustrating a configuration of the image encoding device 11 according to the present embodiment.
  • the image encoding device 11 includes a prediction image generation unit 101, a subtraction unit 102, a DCT / quantization unit 103, an entropy encoding unit 104, an inverse quantization / inverse DCT unit 105, an addition unit 106, a prediction parameter memory (prediction parameter storage). Section, frame memory) 108, reference picture memory (reference image storage unit, frame memory) 109, coding parameter determination unit 110, and prediction parameter coding unit 111.
  • the prediction parameter encoding unit 111 includes an inter prediction parameter encoding unit 112 and an intra prediction parameter encoding unit 113.
  • the predicted image generation unit 101 generates a predicted picture block P for each block which is an area obtained by dividing the picture for each viewpoint of the layer image T input from the outside.
  • the predicted image generation unit 101 reads the reference picture block from the reference picture memory 109 based on the prediction parameter input from the prediction parameter encoding unit 111.
  • the prediction parameter input from the prediction parameter encoding unit 111 is, for example, a motion vector or a displacement vector.
  • the predicted image generation unit 101 reads the reference picture block of the block at the position indicated by the motion vector or the displacement vector predicted from the encoding target block.
  • the prediction image generation unit 101 generates a prediction picture block P using one prediction method among a plurality of prediction methods for the read reference picture block.
  • the predicted image generation unit 101 outputs the generated predicted picture block P to the subtraction unit 102. Note that since the predicted image generation unit 101 performs the same operation as the predicted image generation unit 308 already described, details of generation of the predicted picture block P are omitted.
  • the predicted image generation unit 101 minimizes an error value based on a difference between a signal value for each pixel of a block included in an image and a signal value for each corresponding pixel of the predicted picture block P. Select the prediction method to use. The method for selecting the prediction method is not limited to this.
  • the multiple prediction methods are intra prediction, motion prediction, and merge prediction.
  • Motion prediction is prediction between display times among the above-mentioned inter predictions.
  • the merge prediction is a prediction that uses the same reference picture block and prediction parameter as a block that has already been encoded and is within a predetermined range from the encoding target block.
  • the prediction image generation unit 101 When the intra prediction is selected, the prediction image generation unit 101 outputs a prediction mode IntrapredMode indicating the intra prediction mode used when generating the prediction picture block P to the prediction parameter encoding unit 111.
  • the predicted image generation unit 101 when selecting motion prediction, stores the motion vector mvLX used when generating the predicted picture block P in the prediction parameter memory 108 and outputs the motion vector mvLX to the inter prediction parameter encoding unit 112.
  • the motion vector mvLX indicates a vector from the position of the encoding target block to the position of the reference picture block when the predicted picture block P is generated.
  • the information indicating the motion vector mvLX may include information indicating a reference picture (for example, a reference picture index refIdxLX, a picture order number POC), and may represent a prediction parameter.
  • the predicted image generation unit 101 outputs a prediction mode predMode indicating the inter prediction mode to the prediction parameter encoding unit 111.
  • the prediction image generation unit 101 selects merge prediction
  • the prediction image generation unit 101 outputs a merge index merge_idx indicating the selected reference picture block to the inter prediction parameter encoding unit 112. Further, the predicted image generation unit 101 outputs a prediction mode predMode indicating the merge prediction mode to the prediction parameter encoding unit 111.
  • the subtraction unit 102 subtracts the signal value of the prediction picture block P input from the prediction image generation unit 101 for each pixel from the signal value of the corresponding block of the layer image T input from the outside, and generates a residual signal. Generate.
  • the subtraction unit 102 outputs the generated residual signal to the DCT / quantization unit 103 and the encoding parameter determination unit 110.
  • the DCT / quantization unit 103 performs DCT on the residual signal input from the subtraction unit 102 and calculates a DCT coefficient.
  • the DCT / quantization unit 103 quantizes the calculated DCT coefficient to obtain a quantization coefficient.
  • the DCT / quantization unit 103 outputs the obtained quantization coefficient to the entropy encoding unit 104 and the inverse quantization / inverse DCT unit 105.
  • the entropy coding unit 104 receives the quantization coefficient from the DCT / quantization unit 103 and the coding parameter from the coding parameter determination unit 110.
  • Examples of input encoding parameters include codes such as a reference picture index refIdxLX, a prediction vector index mvp_LX_idx, a difference vector mvdLX, a prediction mode predMode, and a merge index merge_idx.
  • the entropy encoding unit 104 generates an encoded stream Te by entropy encoding the input quantization coefficient and encoding parameter, and outputs the generated encoded stream Te to the outside.
  • the inverse quantization / inverse DCT unit 105 inversely quantizes the quantization coefficient input from the DCT / quantization unit 103 to obtain a DCT coefficient.
  • the inverse quantization / inverse DCT unit 105 performs inverse DCT on the obtained DCT coefficient to calculate a decoded residual signal.
  • the inverse quantization / inverse DCT unit 105 outputs the calculated decoded residual signal to the addition unit 106.
  • the addition unit 106 adds the signal value of the predicted picture block P input from the predicted image generation unit 101 and the signal value of the decoded residual signal input from the inverse quantization / inverse DCT unit 105 for each pixel, and refers to them. Generate a picture block.
  • the adding unit 106 stores the generated reference picture block in the reference picture memory 109.
  • the prediction parameter memory 108 stores the prediction parameter generated by the prediction parameter encoding unit 111 at a predetermined position for each picture and block to be encoded.
  • the reference picture memory 109 stores the reference picture block generated by the adding unit 106 at a predetermined position for each picture and block to be encoded.
  • the encoding parameter determination unit 110 selects one set from among a plurality of sets of encoding parameters.
  • the encoding parameter is a parameter to be encoded that is generated in association with the above-described prediction parameter or the prediction parameter.
  • the predicted image generation unit 101 generates a predicted picture block P using each of these sets of encoding parameters.
  • the encoding parameter determination unit 110 calculates a cost value indicating the amount of information and the encoding error for each of a plurality of sets.
  • the cost value is, for example, the sum of a code amount and a square error multiplied by a coefficient ⁇ .
  • the code amount is the information amount of the encoded stream Te obtained by entropy encoding the quantization error and the encoding parameter.
  • the square error is the sum between pixels regarding the square value of the residual value of the residual signal calculated by the subtracting unit 102.
  • the coefficient ⁇ is a real number larger than a preset zero.
  • the encoding parameter determination unit 110 selects a set of encoding parameters that minimizes the calculated cost value. As a result, the entropy encoding unit 104 outputs the selected set of encoding parameters to the outside as the encoded stream Te, and does not output the set of unselected encoding parameters.
  • the prediction parameter encoding unit 111 derives a prediction parameter used when generating a prediction picture based on the parameter input from the prediction image generation unit 101, and encodes the derived prediction parameter to generate a set of encoding parameters. To do.
  • the prediction parameter encoding unit 111 outputs the generated set of encoding parameters to the entropy encoding unit 104.
  • the prediction parameter encoding unit 111 stores, in the prediction parameter memory 108, a prediction parameter corresponding to the set of the generated encoding parameters selected by the encoding parameter determination unit 110.
  • the prediction parameter encoding unit 111 operates the inter prediction parameter encoding unit 112 when the prediction mode predMode input from the prediction image generation unit 101 indicates the inter prediction mode.
  • the prediction parameter encoding unit 111 operates the intra prediction parameter encoding unit 113 when the prediction mode predMode indicates the intra prediction mode.
  • the inter prediction parameter encoding unit 112 derives an inter prediction parameter based on the prediction parameter input from the encoding parameter determination unit 110.
  • the inter prediction parameter encoding unit 112 includes the same configuration as the configuration in which the inter prediction parameter decoding unit 303 (see FIG. 5 and the like) derives the inter prediction parameter as a configuration for deriving the inter prediction parameter.
  • the configuration of the inter prediction parameter encoding unit 112 will be described later.
  • the intra prediction parameter encoding unit 113 determines the intra prediction mode IntraPredMode indicated by the prediction mode predMode input from the encoding parameter determination unit 110 as a set of inter prediction parameters.
  • the inter prediction parameter encoding unit 112 is means corresponding to the inter prediction parameter decoding unit 303.
  • FIG. 13 is a schematic diagram illustrating a configuration of the inter prediction parameter encoding unit 112 according to the present embodiment.
  • the inter prediction parameter encoding unit 112 includes a merge prediction parameter derivation unit 1121, an AMVP prediction parameter derivation unit 1122, a subtraction unit 1123, and a prediction parameter integration unit 1126.
  • the merge prediction parameter derivation unit 1121 has the same configuration as the above-described merge prediction parameter derivation unit 3036 (see FIG. 7), and the AMVP prediction parameter derivation unit 1122 has the above-described AMVP prediction parameter derivation unit 3032 (see FIG. 8). It has the same configuration as.
  • the inter prediction parameter encoding control unit 1031 instructs the entropy encoding unit 104 to decode a code related to the inter prediction (syntax element decoding), for example, a code (syntax element) included in the encoded data.
  • a code related to the inter prediction for example, a code (syntax element) included in the encoded data.
  • Merge flag merge_flag, merge index merge_idx, inter prediction flag inter_pred_idc, reference picture index refIdxLX, prediction vector index mvp_LX_idx, and difference vector mvdLX are encoded.
  • the inter prediction parameter encoding control unit 1031 includes a merge index encoding unit 10312, a vector candidate index encoding unit 10313, and a split mode encoding unit, a merge flag encoding unit, an inter prediction, which are not illustrated.
  • a flag encoding unit, a reference picture index encoding unit, and a vector differential encoding unit are configured.
  • the division mode encoding unit, the merge flag encoding unit, the merge index encoding unit, the inter prediction flag encoding unit, the reference picture index encoding unit, the vector candidate index encoding unit 10313, and the vector difference encoding unit are respectively divided modes.
  • merge flag merge_flag merge index merge_idx
  • inter prediction flag inter_pred_idc reference picture index refIdxLX
  • prediction vector index mvp_LX_idx reference picture index refIdxLX
  • difference vector mvdLX difference vector
  • the merge index merge_idx is input from the encoding parameter determination unit 110 to the merge prediction parameter derivation unit 1121 when the prediction mode predMode input from the prediction image generation unit 101 indicates the merge prediction mode.
  • the merge index merge_idx is output to the prediction parameter integration unit 1126.
  • the merge prediction parameter derivation unit 1121 reads the reference picture index refIdxLX and the motion vector mvLX of the reference block indicated by the merge index merge_idx from the prediction candidates from the prediction parameter memory 108.
  • the merge candidate is a reference block (for example, a reference block in contact with the lower left end, upper left end, and upper right end of the encoding target block) within a predetermined range from the encoding target block to be encoded, This is a reference block for which the encoding process has been completed.
  • the AMVP prediction parameter derivation unit 1122 has the same configuration as the AMVP prediction parameter derivation unit 3032 (see FIG. 8).
  • the motion vector mvLX is input from the encoding parameter determination unit 110 to the AMVP prediction parameter derivation unit 1122.
  • the AMVP prediction parameter deriving unit 1122 derives a prediction vector mvpLX based on the input motion vector mvLX.
  • the AMVP prediction parameter derivation unit 1122 outputs the derived prediction vector mvpLX to the subtraction unit 1123. Note that the reference picture index refIdx and the prediction vector index mvp_LX_idx are output to the prediction parameter integration unit 1126.
  • the subtraction unit 1123 subtracts the prediction vector mvpLX input from the AMVP prediction parameter derivation unit 1122 from the motion vector mvLX input from the coding parameter determination unit 110 to generate a difference vector mvdLX.
  • the difference vector mvdLX is output to the prediction parameter integration unit 1126.
  • the prediction parameter integration unit 1126 When the prediction mode predMode input from the predicted image generation unit 101 indicates the merge prediction mode, the prediction parameter integration unit 1126 outputs the merge index merge_idx input from the encoding parameter determination unit 110 to the entropy encoding unit 104. To do.
  • the prediction parameter integration unit 1126 performs the following process.
  • the prediction parameter integration unit 1126 integrates the reference picture index refIdxLX and the prediction vector index mvp_LX_idx input from the encoding parameter determination unit 110 and the difference vector mvdLX input from the subtraction unit 1123.
  • the prediction parameter integration unit 1126 outputs the integrated code to the entropy encoding unit 104.
  • the inter prediction parameter encoding unit 112 instructs the entropy encoding unit 104 to code related to inter prediction (decoding syntax elements), and divides the code (syntax elements) included in the encoded data, for example. It may also include an inter prediction parameter encoding control unit (not shown) that encodes mode part_mode, merge flag merge_flag, merge index merge_idx, inter prediction flag inter_pred_idc, reference picture index refIdxLX, prediction vector index mvp_LX_idx, and difference vector mvdLX Good.
  • the inter prediction parameter encoding control unit performs merge index encoding in addition to the additional prediction flag encoding unit (see FIG. 10) that encodes the illumination compensation flag ic_enable_flag to indicate whether or not additional prediction is performed.
  • Unit see FIG. 10
  • vector candidate index coding unit see FIG. 10
  • split mode coding unit merge flag coding unit
  • inter prediction flag coding unit reference picture index coding unit
  • vector differential coding Part the additional prediction flag encoding unit
  • the partition mode coding unit, the merge flag coding unit, the merge index coding unit, the inter prediction flag coding unit, the reference picture index coding unit, the vector candidate index coding unit, and the vector difference coding unit are each divided mode part_mode , Merge flag merge_flag, merge index merge_idx, inter prediction flag inter_pred_idc, reference picture index refIdxLX, prediction vector index mvp_LX_idx, and difference vector mvdLX are encoded.
  • a part of the image encoding device 11 and the image decoding device 31 in the above-described embodiment for example, the entropy decoding unit 301, the prediction parameter decoding unit 302, the predicted image generation unit 101, the DCT / quantization unit 103, and entropy encoding.
  • Unit 104, inverse quantization / inverse DCT unit 105, encoding parameter determination unit 110, prediction parameter encoding unit 111, entropy decoding unit 301, prediction parameter decoding unit 302, predicted image generation unit 308, inverse quantization / inverse DCT unit 311 may be realized by a computer.
  • the program for realizing the control function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by a computer system and executed.
  • the “computer system” is a computer system built in either the image encoding device 11-11h or the image decoding device 31-31h, and includes an OS and hardware such as peripheral devices.
  • the “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and a storage device such as a hard disk built in the computer system.
  • the “computer-readable recording medium” is a medium that dynamically holds a program for a short time, such as a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line,
  • a volatile memory inside a computer system serving as a server or a client may be included and a program that holds a program for a certain period of time.
  • the program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
  • part or all of the image encoding device 11 and the image decoding device 31 in the above-described embodiment may be realized as an integrated circuit such as an LSI (Large Scale Integration).
  • LSI Large Scale Integration
  • Each functional block of the image encoding device 11 and the image decoding device 31 may be individually made into a processor, or a part or all of them may be integrated into a processor.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. Further, in the case where an integrated circuit technology that replaces LSI appears due to progress in semiconductor technology, an integrated circuit based on the technology may be used.
  • the image encoding device 11 and the image decoding device 31 described above can be used by being mounted on various devices that perform transmission, reception, recording, and reproduction of moving images.
  • the moving image may be a natural moving image captured by a camera or the like, or may be an artificial moving image (including CG and GUI) generated by a computer or the like.
  • the image encoding device 11 and the image decoding device 31 described above can be used for transmission and reception of moving images.
  • FIG. 33 (a) is a block diagram showing a configuration of a transmission device PROD_A in which the image encoding device 11 is mounted.
  • the transmission device PROD_A modulates a carrier wave with an encoding unit PROD_A1 that obtains encoded data by encoding a moving image and the encoded data obtained by the encoding unit PROD_A1.
  • a modulation unit PROD_A2 that obtains a modulation signal and a transmission unit PROD_A3 that transmits the modulation signal obtained by the modulation unit PROD_A2 are provided.
  • the above-described image encoding device 11 is used as the encoding unit PROD_A1.
  • the transmission device PROD_A is a camera PROD_A4 that captures a moving image, a recording medium PROD_A5 that records the moving image, an input terminal PROD_A6 that inputs the moving image from the outside, as a supply source of the moving image input to the encoding unit PROD_A1.
  • An image processing unit A7 that generates or processes an image may be further provided.
  • FIG. 33A illustrates a configuration in which the transmission apparatus PROD_A includes all of these, but some of them may be omitted.
  • the recording medium PROD_A5 may be a recording of a non-encoded moving image, or a recording of a moving image encoded by a recording encoding scheme different from the transmission encoding scheme. It may be a thing. In the latter case, a decoding unit (not shown) for decoding the encoded data read from the recording medium PROD_A5 according to the recording encoding method may be interposed between the recording medium PROD_A5 and the encoding unit PROD_A1.
  • FIG. 33 (b) is a block diagram showing a configuration of a receiving device PROD_B in which the image decoding device 31 is mounted.
  • the receiving device PROD_B includes a receiving unit PROD_B1 that receives a modulated signal, a demodulating unit PROD_B2 that obtains encoded data by demodulating the modulated signal received by the receiving unit PROD_B1, and a demodulator.
  • a decoding unit PROD_B3 that obtains a moving image by decoding the encoded data obtained by the unit PROD_B2.
  • the above-described image decoding device 31 is used as the decoding unit PROD_B3.
  • the receiving device PROD_B has a display PROD_B4 for displaying an image, a recording medium PROD_B5 for recording the moving image, and an output terminal PROD_B6 for outputting the moving image to the outside as a supply destination of the moving image output from the decoding unit PROD_B3. May be further provided.
  • FIG. 33B illustrates a configuration in which the reception apparatus PROD_B includes all of these, but a part of the configuration may be omitted.
  • the recording medium PROD_B5 may be used for recording a non-encoded moving image, or may be encoded using a recording encoding method different from the transmission encoding method. May be. In the latter case, an encoding unit (not shown) for encoding the moving image acquired from the decoding unit PROD_B3 according to the recording encoding method may be interposed between the decoding unit PROD_B3 and the recording medium PROD_B5.
  • the transmission medium for transmitting the modulation signal may be wireless or wired.
  • the transmission mode for transmitting the modulated signal may be broadcasting (here, a transmission mode in which the transmission destination is not specified in advance) or communication (here, transmission in which the transmission destination is specified in advance). Refers to the embodiment). That is, the transmission of the modulation signal may be realized by any of wireless broadcasting, wired broadcasting, wireless communication, and wired communication.
  • a terrestrial digital broadcast broadcasting station (broadcasting equipment or the like) / receiving station (such as a television receiver) is an example of a transmitting device PROD_A / receiving device PROD_B that transmits and receives a modulated signal by wireless broadcasting.
  • a broadcasting station (such as broadcasting equipment) / receiving station (such as a television receiver) of cable television broadcasting is an example of a transmitting device PROD_A / receiving device PROD_B that transmits and receives a modulated signal by cable broadcasting.
  • a server workstation etc.
  • Client television receiver, personal computer, smart phone etc.
  • VOD Video On Demand
  • video sharing service using the Internet is a transmitting device for transmitting and receiving modulated signals by communication.
  • PROD_A / reception device PROD_B usually, either a wireless or wired transmission medium is used in a LAN, and a wired transmission medium is used in a WAN.
  • the personal computer includes a desktop PC, a laptop PC, and a tablet PC.
  • the smartphone also includes a multi-function mobile phone terminal.
  • the video sharing service client has a function of encoding a moving image captured by the camera and uploading it to the server. That is, the client of the video sharing service functions as both the transmission device PROD_A and the reception device PROD_B.
  • FIG. 34 (a) is a block diagram showing a configuration of a recording apparatus PROD_C in which the above-described image encoding device 11 is mounted.
  • the recording device PROD_C has an encoding unit PROD_C1 that obtains encoded data by encoding a moving image, and the encoded data obtained by the encoding unit PROD_C1 on the recording medium PROD_M.
  • the above-described image encoding device 11 is used as the encoding unit PROD_C1.
  • the recording medium PROD_M may be of a type built in the recording device PROD_C, such as (1) HDD (Hard Disk Drive) or SSD (Solid State Drive), or (2) SD memory. It may be of the type connected to the recording device PROD_C, such as a card or USB (Universal Serial Bus) flash memory, or (3) DVD (Digital Versatile Disc) or BD (Blu-ray Disc: registration) Or a drive device (not shown) built in the recording device PROD_C.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • SD memory such as a card or USB (Universal Serial Bus) flash memory, or (3) DVD (Digital Versatile Disc) or BD (Blu-ray Disc: registration) Or a drive device (not shown) built in the recording device PROD_C.
  • the recording device PROD_C is a camera PROD_C3 that captures moving images as a supply source of moving images to be input to the encoding unit PROD_C1, an input terminal PROD_C4 for inputting moving images from the outside, and reception for receiving moving images.
  • the unit PROD_C5 and an image processing unit C6 that generates or processes an image may be further provided.
  • FIG. 34A illustrates a configuration in which the recording apparatus PROD_C includes all of these, but a part of the configuration may be omitted.
  • the receiving unit PROD_C5 may receive a non-encoded moving image, or may receive encoded data encoded by a transmission encoding scheme different from the recording encoding scheme. You may do. In the latter case, a transmission decoding unit (not shown) that decodes encoded data encoded by the transmission encoding method may be interposed between the reception unit PROD_C5 and the encoding unit PROD_C1.
  • Examples of such a recording device PROD_C include a DVD recorder, a BD recorder, and an HDD (Hard Disk Drive) recorder (in this case, the input terminal PROD_C4 or the receiving unit PROD_C5 is a main supply source of moving images).
  • a camcorder in this case, the camera PROD_C3 is a main source of moving images
  • a personal computer in this case, the receiving unit PROD_C5 or the image processing unit C6 is a main source of moving images
  • a smartphone is also an example of such a recording device PROD_C.
  • FIG. 34 is a block showing a configuration of a playback device PROD_D equipped with the image decoding device 31 described above.
  • the playback device PROD_D reads a moving image by decoding a read unit PROD_D1 that reads encoded data written to the recording medium PROD_M and a coded data read by the read unit PROD_D1. And a decoding unit PROD_D2 to be obtained.
  • the above-described image decoding device 31 is used as the decoding unit PROD_D2.
  • the recording medium PROD_M may be of the type built into the playback device PROD_D, such as (1) HDD or SSD, or (2) such as an SD memory card or USB flash memory, It may be of a type connected to the playback device PROD_D, or (3) may be loaded into a drive device (not shown) built in the playback device PROD_D, such as DVD or BD. Good.
  • the playback device PROD_D has a display PROD_D3 that displays a moving image, an output terminal PROD_D4 that outputs the moving image to the outside, and a transmission unit that transmits the moving image as a supply destination of the moving image output by the decoding unit PROD_D2.
  • PROD_D5 may be further provided.
  • FIG. 34B illustrates a configuration in which the playback apparatus PROD_D includes all of these, but a part may be omitted.
  • the transmission unit PROD_D5 may transmit an unencoded moving image, or transmits encoded data encoded by a transmission encoding method different from the recording encoding method. You may do. In the latter case, it is preferable to interpose an encoding unit (not shown) that encodes a moving image with an encoding method for transmission between the decoding unit PROD_D2 and the transmission unit PROD_D5.
  • Examples of such a playback device PROD_D include a DVD player, a BD player, and an HDD player (in this case, an output terminal PROD_D4 to which a television receiver or the like is connected is a main supply destination of moving images).
  • a television receiver in this case, the display PROD_D3 is a main supply destination of moving images
  • a digital signage also referred to as an electronic signboard or an electronic bulletin board
  • the display PROD_D3 or the transmission unit PROD_D5 is the main supply of moving images.
  • Desktop PC (in this case, the output terminal PROD_D4 or the transmission unit PROD_D5 is the main video image supply destination), laptop or tablet PC (in this case, the display PROD_D3 or the transmission unit PROD_D5 is a moving image)
  • a smartphone which is a main image supply destination
  • a smartphone in this case, the display PROD_D3 or the transmission unit PROD_D5 is a main video image supply destination
  • the like are also examples of such a playback device PROD_D.
  • Each block of the image decoding device 31 and the image encoding device 11 described above may be realized in hardware by a logic circuit formed on an integrated circuit (IC chip), or may be a CPU (Central Processing Unit). You may implement
  • IC chip integrated circuit
  • CPU Central Processing Unit
  • each device includes a CPU that executes instructions of a program that realizes each function, a ROM (Read (Memory) that stores the program, a RAM (Random Memory) that expands the program, the program, and various types
  • a storage device such as a memory for storing data is provided.
  • An object of one embodiment of the present invention is to record the program code (execution format program, intermediate code program, source program) of the control program for each device, which is software that realizes the above-described functions, in a computer-readable manner. This can also be achieved by supplying a recording medium to each of the above devices, and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU).
  • Examples of the recording medium include tapes such as magnetic tape and cassette tape, magnetic disks such as floppy (registered trademark) disks / hard disks, CD-ROM (Compact Disc-Read-Only Memory) / MO discs (Magneto-Optical discs).
  • tapes such as magnetic tape and cassette tape
  • magnetic disks such as floppy (registered trademark) disks / hard disks
  • CD-ROM Compact Disc-Read-Only Memory
  • MO discs Magnetic-Optical discs
  • IC cards including memory cards
  • Cards such as optical cards
  • each of the devices may be configured to be connectable to a communication network, and the program code may be supplied via the communication network.
  • the communication network is not particularly limited as long as it can transmit the program code.
  • Internet Intranet, Extranet, LAN (Local Area Network), ISDN (Integrated Services Digital Network), VAN (Value-Added Network), CATV (Community Antenna television / Cable Television) communication network, Virtual Private Network (Virtual Private Network) Network), telephone line network, mobile communication network, satellite communication network, and the like.
  • the transmission medium constituting the communication network may be any medium that can transmit the program code, and is not limited to a specific configuration or type.
  • an embodiment of the present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.
  • One embodiment of the present invention is preferably applied to an image decoding apparatus that decodes encoded data in which image data is encoded and an image encoding apparatus that generates encoded data in which image data is encoded. Can do. Further, the present invention can be suitably applied to the data structure of encoded data generated by an image encoding device and referenced by the image decoding device.
  • DESCRIPTION OF SYMBOLS 1 ... Image transmission system 11 ... Image coding apparatus (moving image coding apparatus) DESCRIPTION OF SYMBOLS 101 ... Prediction image generation part 102 ... Subtraction part 103 ... DCT / quantization part 104 ... Entropy encoding part 105 ... Inverse quantization / inverse DCT part 106 ... Addition part 108 ... Prediction parameter memory (frame memory) 109 ... Reference picture memory (frame memory) DESCRIPTION OF SYMBOLS 110 ... Coding parameter determination part 111 ... Prediction parameter coding part 112 ... Inter prediction parameter coding part 1121 ... Merge prediction parameter derivation part 1122 ... AMVP prediction parameter derivation part 1123 ...
  • Subtraction part 1126 ... Prediction parameter integration part 113 ... Intra prediction Parameter encoding unit 21 ... network 31 ... image decoding device (moving image decoding device) 301 ... Entropy decoding unit 302 ... Prediction parameter decoding unit 303 ... Inter prediction parameter decoding unit (prediction vector calculation unit) 30312 ... Merge index decoding unit 30313 ... Vector candidate index decoding unit 3032 ... AMVP prediction parameter derivation unit 3033 ... Vector candidate derivation unit 3035 ... Addition unit 3036 ... Merge prediction parameter derivation unit 30361 ... Merge candidate derivation unit 303611 ... Merge candidate storage unit 30362 ... Merge candidate selection unit 304 ... Intra prediction parameter decoding unit 306 ...

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

複数の参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、第１の参照画像と第２の参照画像と勾配補正項とを参照して予測画像を生成する予測画像生成部を備える。　双予測勾配変化（ＢＩＯ：Bi-directional optical flow）予測を用いた動き補償機能を備える動き補償部（３０９１）は、勾配補正項を、水平勾配画像、垂直勾配画像の各画素値を参照して導出する。動き補償部が備える勾配補正双予測導出部（３０９１３）がさらに備えるフレーム間距離重み導出部（３０９１３１）は、各画素値に乗じる各重み係数を、予測対象である対象画像と上記第１の参照画像とのピクチャ間隔である第１のピクチャ間隔、及び、該対象画像と上記第２の参照画像とのピクチャ間隔である第２のピクチャ間隔に応じて決定する。

Description

動画像復号装置、動画像符号化装置、および予測画像生成装置
　本発明の一実施形態は、動画像復号装置、動画像符号化装置、および予測画像生成装置に関する。
　動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。
　具体的な動画像符号化方式としては、例えば、Ｈ．２６４／ＭＰＥＧ-４．ＡＶＣやＨＥＶＣ（High-Efficiency Video Coding）にて提案されている方式などが挙げられる。
　このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化単位（符号化ユニット（Coding Unit）と呼ばれることもある）、及び、符号化単位を分割することより得られるブロックである予測ユニット（ＰＵ）、変換ユニット（ＴＵ）からなる階層構造により管理され、ブロックごとに符号化／復号される。
　また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
　また、近年の動画像符号化及び復号の技術として非特許文献１が挙げられる。
Video/JVET, "Algorithm Description of Joint Exploration TestModel 1 (JEM 1)", INTERNATIONAL ORGANIZATION FOR STANDARDIZATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC1/SC29/WG11 CODING OF MOVING PICTURES AND AUDIO, ISO/IEC JTC1/SC29/WG11/N15790, October 2015, Geneva, CH.
　近年の動画像符号化及び復号技術においては、予測画像を生成する際の動き補償処理において、対象画像と２つの参照画像とに基づいた双予測による動き補償により予測画像を導出する技術が適用されている。この動き補償によって導出される予測画像の精度を向上させる技術として非特許文献１では、勾配情報を用いて補正するＢＩＯが知られているが、この技術は、さらに精度を向上させることができる余地がある、という課題があった。
　本発明の一実施形態は、動き補償によって導出される予測画像の精度を向上させることができる画像復号装置を提供することである。
　上記の課題を解決するために、本発明の一態様に係る予測画像生成装置は、複数の参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、第１の参照画像と第２の参照画像と勾配補正項とを参照して予測画像を生成する予測画像生成部を備え、上記予測画像生成部は、予測対象である対象画像と上記第１の参照画像とのピクチャ間隔、及び、該対象画像と上記第２の参照画像とのピクチャ間隔に応じて、上記第１の参照画像の各画素の画素値に乗じる第１の重み係数、及び上記第２の参照画像の各画素の画素値に乗じる第２の重み係数を導出する。
　また、上記の課題を解決するために、本発明の一態様に係る予測画像生成装置は、複数の参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、第１の参照画像と第２の参照画像と勾配補正項とを参照して予測画像を生成する予測画像生成部を備え、上記予測画像生成部は、上記勾配補正項を、上記第１の参照画像の第１の方向に沿った勾配を示す第１の勾配画像、上記第１の参照画像の第２の方向に沿った勾配を示す第２の勾配画像、上記第２の参照画像の第１の方向に沿った勾配を示す第３の勾配画像、上記第２の参照画像の第２の方向に沿った勾配を示す第４の勾配画像、の各画素値を参照して導出するものであり、上記第１から第４の勾配画像の各画素値に乗じる各重み係数は、予測対象である対象画像と上記第１の参照画像とのピクチャ間隔である第１のピクチャ間隔、及び、該対象画像と上記第２の参照画像とのピクチャ間隔である第２のピクチャ間隔に応じて決定される。
　また、上記の課題を解決するために、本発明の一態様に係る予測画像生成装置は、複数の参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、第１の参照画像と第２の参照画像と勾配補正項とを参照して予測画像を生成する予測画像生成部を備え、上記予測画像生成部は、上記勾配補正項を、上記第１の参照画像の第１の方向に沿った勾配を示す第１の勾配画像、上記第１の参照画像の第２の方向に沿った勾配を示す第２の勾配画像、上記第２の参照画像の第１の方向に沿った勾配を示す第３の勾配画像、上記第２の参照画像の第２の方向に沿った勾配を示す第４の勾配画像、の各画素値を参照して導出するものであり、所定のフラグが第１の値である場合、上記第１から第４の勾配画像の各画素値に乗じる各重み係数が、予測対象である対象画像と上記第１の参照画像とのピクチャ間隔である第１のピクチャ間隔、及び、該対象画像と上記第２の参照画像とのピクチャ間隔である第２のピクチャ間隔に応じて決定され、所定のフラグが第２の値である場合、上記第１から第４の勾配画像の各画素値に乗じる各重み係数は、互いに等しい値である。
　また、上記の課題を解決するために、本発明の一態様に係る予測画像生成装置は、複数の参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、第１の参照画像と第２の参照画像と勾配補正項とを参照して予測画像を生成する予測画像生成部を備え、上記予測画像生成部は、上記勾配補正項を、上記第１の参照画像の第１の方向に沿った勾配を示す第１の勾配画像、上記第１の参照画像の第２の方向に沿った勾配を示す第２の勾配画像、上記第２の参照画像の第１の方向に沿った勾配を示す第３の勾配画像、上記第２の参照画像の第２の方向に沿った勾配を示す第４の勾配画像、の各画素値を参照して導出するものであり、上記第１から第４の勾配画像の各画素値に乗じる各重み係数は、ブロック毎に決定される。
　また、上記の課題を解決するために、本発明の一態様に係る予測画像生成装置は、複数の参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、第１の参照画像と第２の参照画像と勾配補正項とを参照して予測画像を生成する予測画像生成部を備え、上記予測画像生成部は、上記勾配補正項を、上記第１の参照画像の第１の方向に沿った勾配を示す第１の勾配画像、上記第１の参照画像の第２の方向に沿った勾配を示す第２の勾配画像、上記第２の参照画像の第１の方向に沿った勾配を示す第３の勾配画像、上記第２の参照画像の第２の方向に沿った勾配を示す第４の勾配画像、の各画素値を参照して導出するものであり、上記予測画像生成部は、各勾配画像を導出する際に用いる勾配フィルタを切り替える第１切り替え部を備えている。
　また、上記の課題を解決するために、本発明の一態様に係る予測画像生成装置は、複数の参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、第１の参照画像と第２の参照画像と勾配補正項とを参照して予測画像を生成する予測画像生成部を備え、上記予測画像生成部は、上記勾配補正項を、上記第１の参照画像の第１の方向に沿った勾配を示す第１の勾配画像、上記第１の参照画像の第２の方向に沿った勾配を示す第２の勾配画像、上記第２の参照画像の第１の方向に沿った勾配を示す第３の勾配画像、上記第２の参照画像の第２の方向に沿った勾配を示す第４の勾配画像、の各画素値を参照して導出するものであり、上記予測画像生成部は、上記第１から第４の勾配画像の各画素値に乗じる各重み係数に対してクリップ処理を行うクリップ部を備えている。
　また、上記の課題を解決するために、本発明の一態様に係る予測画像生成装置は、複数の参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、第１の参照画像と第２の参照画像と勾配補正項とを参照して予測画像を生成する予測画像生成部を備え、上記予測画像生成部は、上記勾配補正項を、上記第１の参照画像の第１の方向に沿った勾配を示す第１の勾配画像、上記第１の参照画像の第２の方向に沿った勾配を示す第２の勾配画像、上記第２の参照画像の第１の方向に沿った勾配を示す第３の勾配画像、上記第２の参照画像の第２の方向に沿った勾配を示す第４の勾配画像、の各画素値を参照して導出するものであり、上記第１から第４の勾配画像の各画素値に乗じる各重み係数は、上記第１から第４の勾配画像の少なくとも何れかを参照して定まる中間パラメータ、及び、当該中間パラメータに加算される正則化項を用いて決定されるものであり、上記予測画像生成部は、上記正則化項の値を切り替える第２切り替え部を備えている。
　また、上記の課題を解決するために、本発明の一態様に係る予測画像生成装置は、複数の参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置において、予測ベクトル算出部と、第１の参照画像と第２の参照画像と勾配補正項とを参照して予測画像を生成する予測画像生成部とを備え、上記予測ベクトル算出部は、マッチング予測モードを含む１以上の予測モードの中から選択した予測モードを用いて動きベクトルを導出するものであり、予測画像生成部は、マッチング予測モードで得られた上記動きベクトルにより導出された動き補償画像を補正する場合に、ＢＩＯ予測を適用するか否かに応じて、動き補償画像の導出に用いる動きベクトルの精度を切り替える。
　以上の構成によれば、動き補償によって導出される予測画像の精度を向上させることができる。
本実施形態に係る符号化ストリームのデータの階層構造を示す図である。 ＰＵ分割モードのパターンを示す図である。（ａ）～（ｈ）は、それぞれ、ＰＵ分割モードが、２Ｎ×２Ｎ、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、および、Ｎ×Ｎの場合のパーティション形状について示している。 参照ピクチャリストの一例を示す概念図である。 参照ピクチャの例を示す概念図である。 本実施形態に係る画像復号装置の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部の構成を示す概略図である。 本実施形態に係るマージ予測パラメータ導出部の構成を示す概略図である。 本実施形態に係るＡＭＶＰ予測パラメータ導出部の構成を示す概略図である。 ベクトル候補の一例を示す概念図である。 本実施形態に係るインター予測パラメータ復号制御部の構成を示す概略図である。 本実施形態に係るインター予測画像生成部の構成を示す概略図である。 本実施形態に係る画像符号化装置の構成を示すブロック図である。 本実施形態に係るインター予測パラメータ符号化部の構成を示す概略図である。 本発明の実施形態に係る画像伝送システムの構成を示す概略図である。 ＢＩＯ予測を用いた動き補償を備える画像復号装置における予測モード切り替え例を示すフローチャートである。 ＢＩＯ予測を用いた動き補償機能を備える動き補償部３０９１が予測画像を導出する処理の流れを説明するフローチャートである。 勾配変化の概念を導出する流れの一例を示す図である。 対象画像と参照画像に依存して、補正重みベクトルを導出する方法について説明する図である。 （ａ）は動き補償フィルタmcFilterの具体例であり、（ｂ）は勾配補償フィルタの具体例である。 最小二乗法を用いて補正重みベクトルを導出する方法について説明する図である。 動き補償部の構成例を示すブロック図である。 動き補償部が行うＢＩＯ予測の処理の流れの一例を示すフローチャートである。 図２２のＳ２２ａの工程の一例を示すフローチャートである。 動き補償部の構成の他の一例を示すブロック図である。 図２２のＳ２２ａの工程の別の一例を示すフローチャートである。 図２２のＳ２２ａの工程の他の一例を示すフローチャートである。 （ａ）は高分解能フィルタセットの一例であり、（ｂ）は低分解能フィルタセットの一例である。 図２７に示す高分解能フィルタセットおよび低分解能フィルタセットの各yFracの値のグラフである。 解像度依存でのフィルタセットを切り替える処理の流れの一例を示すフローチャートである。 動きベクトル導出処理の流れを示すフローチャートである。 （ａ）はフィルタセット依存で正則化項の切り替える例を示す図であり、（ｂ）はフィルタセット依存でクリップ処理の範囲の切り替える例を示す図である。 ＢＩＯ予測モードおよびマッチングモードの予測精度の比較を示す図である。 上記画像符号化装置を搭載した送信装置、および、上記画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、画像符号化装置を搭載した送信装置を示しており、（ｂ）は、画像復号装置を搭載した受信装置を示している。 上記画像符号化装置を搭載した記録装置、および、上記画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、画像符号化装置を搭載した記録装置を示しており、（ｂ）は、画像復号装置を搭載した再生装置を示している。
　　（第１の実施形態）
　以下、図面を参照しながら本発明の実施形態について説明する。
　図１４は、本実施形態に係る画像伝送システム１の構成を示す概略図である。
　画像伝送システム１は、符号化対象画像を符号化した符号を伝送し、伝送された符号を復号した画像を表示するシステムである。画像伝送システム１は、画像符号化装置１１（動画像符号化装置）、ネットワーク２１、画像復号装置３１（動画像復号装置）及び画像表示装置４１を含んで構成される。
　画像符号化装置１１には、単一レイヤもしくは複数レイヤの画像を示す信号Ｔが入力される。レイヤとは、ある時間を構成するピクチャが１つ以上ある場合に、複数のピクチャを区別するために用いられる概念である。たとえば、同一ピクチャを、画質や解像度の異なる複数のレイヤで符号化するとスケーラブル符号化になり、異なる視点のピクチャを複数のレイヤで符号化するとビュースケーラブル符号化となる。複数のレイヤのピクチャ間で予測（インターレイヤ予測、インタービュー予測）を行う場合には、符号化効率が大きく向上する。また予測を行わない場合（サイマルキャスト）の場合にも、符号化データをまとめることができる。
なお、画像符号化装置１１及び画像復号装置３１は、単一レイヤ画像でも良いし、スケーラブル符号化、ビュースケーラブル符号化を任意に組み合わせて行っても良い。
　ネットワーク２１は、画像符号化装置１１が生成した符号化ストリームＴｅを画像復号装置３１に伝送する。ネットワーク２１は、インターネット（internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network）またはこれらの組み合わせである。ネットワーク２１は、必ずしも双方向の通信網に限らず、地上波ディジタル放送、衛星放送等の放送波を伝送する一方向または双方向の通信網であっても良い。また、ネットワーク２１は、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blue-ray Disc）等の符号化ストリームＴｅを記録した記憶媒体で代替されても良い。
　画像復号装置３１は、ネットワーク２１が伝送した符号化ストリームＴｅのそれぞれを復号し、それぞれ復号した１または複数の復号レイヤ画像Ｔｄ（復号視点画像Ｔｄ）を生成する。
　画像表示装置４１は、画像復号装置３１が生成した１または複数の復号レイヤ画像Ｔｄの全部または一部を表示する。例えば、ビュースケーラブル符号化においては、全部の場合、３次元画像（立体画像）や自由視点画像が表示され、一部の場合、２次元画像が表示される。画像表示装置４１は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-luminescence）ディスプレイ等の表示デバイスを備える。また、空間スケーラブル符号化、ＳＮＲスケーラブル符号化では、画像復号装置３１、画像表示装置４１が高い処理能力を有する場合には、画質の高い拡張レイヤ画像を表示し、より低い処理能力しか有しない場合には、拡張レイヤほど高い処理能力、表示能力を必要としないベースレイヤ画像を表示する。
　　＜符号化ストリームＴｅの構造＞
　本実施形態に係る画像符号化装置１１および画像復号装置３１の詳細な説明に先立って、画像符号化装置１１によって生成され、画像復号装置３１によって復号される符号化ストリームＴｅのデータ構造について説明する。
　図１は、符号化ストリームＴｅにおけるデータの階層構造を示す図である。符号化ストリームＴｅは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図１の（ａ）～（ｆ）は、それぞれ、シーケンスＳＥＱを既定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、スライスデータを規定するスライスデータレイヤ、スライスデータに含まれる符号化ツリーユニットを規定する符号化ツリーレイヤ、符号化ツリーに含まれる符号化単位（Ｃｏｄｉｎｇ　Ｕｎｉｔ；ＣＵ）を規定する符号化ユニットレイヤを示す図である。
　　（シーケンスレイヤ）
　シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図１の（ａ）に示すように、ビデオパラメータセット（Video Parameter Set）シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。ここで＃の後に示される値はレイヤＩＤを示す。図１では、＃０と＃１すなわちレイヤ０とレイヤ１の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれによらない。
　ビデオパラメータセットＶＰＳは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
　シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、ＳＰＳは複数存在してもよい。その場合、ＰＰＳから複数のＳＰＳの何れかを選択する。
　ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅（量子化ステップ）の基準値（pic_init_qp_minus26）や重み付き予測の適用を示すフラグ（weighted_pred_flag）が含まれる。なお、ＰＰＳは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。
　　（ピクチャレイヤ）
　ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図１の（ｂ）に示すように、スライスＳ０～ＳＮＳ-１を含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
　なお、以下、スライスＳ０～ＳＮＳ-１のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化ストリームＴｅに含まれるデータであって、添え字を付している他のデータについても同様である。
　　（スライスレイヤ）
　スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスＳは、図１の（ｃ）に示すように、スライスヘッダＳＨ、および、スライスデータＳＤＡＴＡを含んでいる。
　スライスヘッダＳＨには、対象スライスの復号方法を決定するために画像復号装置３１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（ｓｌｉｃｅ＿ｔｙｐｅ）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
　スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測（単予測）、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向、双予測、または、イントラ予測を用いるＢスライスなどが挙げられる。
　なお、スライスヘッダＳＨには、上記シーケンスレイヤに含まれる、ピクチャパラメータセットＰＰＳへの参照（pic_parameter_set_id）を含んでいても良い。
　　（スライスデータレイヤ）
　スライスデータレイヤでは、処理対象のスライスデータＳＤＡＴＡを復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスデータＳＤＡＴＡは、図１の（ｄ）に示すように、符号化ツリーブロック（CTB:Coded Tree Block）を含んでいる。ＣＴＢは、スライスを構成する固定サイズ（例えば６４×６４）のブロックであり、最大符号化単位（LCU:Largest Cording Unit）、符号化ツリーユニット（CTU:Coded Tree Unit）と呼ぶこともある。
　　（符号化ツリーレイヤ）
　符号化ツリーレイヤは、図１の（ｅ）に示すように、処理対象の符号化ツリーブロックを復号するために画像復号装置３１が参照するデータの集合が規定されている。符号化ツリーブロックは、再帰的な４分木分割により分割される。再帰的な４分木分割により得られる木構造のノードのことを符号化ツリー（coding tree）と称する。４分木の中間ノードは、符号化４分木（CQT:Coded Quad Tree）であり、符号化ツリーブロック自身も最上位のＣＱＴとして規定される。ＣＱＴは、分割フラグ（split_flag）を含み、split_flagが１の場合には、４つのＣＱＴに分割される。split_flagが０の場合には、ＣＱＴは分割されず、１つの符号化ユニット（CU:Coded Unit）をノードとして持つ。符号化ユニットＣＵは符号化ツリーレイヤの末端ノードであり、このレイヤではこれ以上分割されない。符号化ユニットＣＵは、符号化処理の基本的な単位となる。
　また、符号化ツリーブロックＣＴＢのサイズ６４×６４画素の場合には、符号化ユニットのサイズは、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。
　　（符号化ユニットレイヤ）
　符号化ユニットレイヤは、図１の（ｆ）に示すように、処理対象の符号化ユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。具体的には、符号化ユニットは、符号化ツリー、予測ツリー、変換ツリー、ＣＵヘッダＣＵＦから構成される。符号化ツリーでは分割フラグ、分割パターン、予測モード等が規定される。
　予測ツリーは、符号化ユニットを１または複数に分割した各予測ブロックの予測情報（参照ピクチャインデックス、動きベクトル等）が規定される。別の表現でいえば、予測ブロックは、符号化ユニットを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。なお、以下では、予測ブロックをさらに分割した予測単位を「サブブロック」と呼ぶ。サブブロック（予測ブロック）は、１または複数の画素によって構成されている。予測ブロックとサブブロックのサイズが等しい場合には、予測ブロック中のサブブロックは１つである。予測ブロックがサブブロックのサイズよりも大きい場合には、予測ブロックは、サブブロックに分割される。たとえば予測ブロックが８×８、サブブロックが４×４の場合には、予測ブロックは水平に２分割、垂直に２分割され、４つのサブブロックに分割される。
　予測処理は、この予測ブロック（サブブロック）ごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit;PU、予測ユニット）とも称する。
　予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。
　イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）と、Ｎ×Ｎとがある。
　また、インター予測の場合、分割方法は、符号化データのＰＵ分割モード（part_mode）により符号化され、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、および、Ｎ×Ｎなどがある。なお、２Ｎ×ｎＵは、２Ｎ×２Ｎの符号化ユニットを上から順に２Ｎ×０．５Ｎと２Ｎ×１．５Ｎの２領域に分割することを示す。２Ｎ×ｎＤは、２Ｎ×２Ｎの符号化ユニットを上から順に２Ｎ×１．５Ｎと２Ｎ×０．５Ｎの２領域に分割することを示す。ｎＬ×２Ｎは、２Ｎ×２Ｎの符号化ユニットを左から順に０．５Ｎ×２Ｎと１．５Ｎ×２Ｎの２領域に分割することを示す。ｎＲ×２Ｎは、２Ｎ×２Ｎの符号化ユニットを左から順に１．５Ｎ×２Ｎと０．５Ｎ×１．５Ｎの２領域に分割することを示す。分割数は１、２、４のいずれかであるため、ＣＵに含まれるＰＵは１個から４個である。これらのＰＵを順にＰＵ０、ＰＵ１、ＰＵ２、ＰＵ３と表現する。
　図２の（ａ）～（ｈ）に、それぞれの分割タイプについて、ＣＵにおけるＰＵ分割の境界の位置を具体的に図示している。
　なお、図２の（ａ）は、ＣＵの分割を行わない２Ｎ×２ＮのＰＵ分割モードを示している。
　また、図２の（ｂ）、（ｃ）、および（ｄ）は、それぞれ、ＰＵ分割モードが、それぞれ、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤである場合のパーティションの形状について示している。以下、ＰＵ分割モードが、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤである場合のパーティションを、まとめて横長パーティションと称する。
　また、図２の（ｅ）、（ｆ）、および（ｇ）は、それぞれ、ＰＵ分割モードが、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎである場合のパーティションの形状について示している。以下、ＰＵ分割モードが、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎである場合のパーティションを、まとめて縦長パーティションと称する。
　また、横長パーティションおよび縦長パーティションをまとめて長方形パーティションと称する。
　また、図２の（ｈ）は、ＰＵ分割モードが、Ｎ×Ｎである場合のパーティションの形状を示している。図２の（ａ）および（ｈ）のＰＵ分割モードのことを、そのパーティションの形状に基づいて、正方形分割とも称する。また、図２の（ｂ）～（ｇ）のＰＵ分割モードのことは、非正方形分割とも称する。
　また、図２の（ａ）～（ｈ）において、各領域に付した番号は、領域の識別番号を示しており、この識別番号順に、領域に対して処理が行われる。すなわち、当該識別番号は、パーティションのスキャン順を表している。
　また、図２の（ａ）～（ｈ）において、左上がＣＵの基準点（原点）であるとする。
　また、変換ツリーにおいては、符号化ユニットが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ユニットを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
　変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
　変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit;TU）とも称する。
　　（予測パラメータ）
　予測ユニットの予測画像は、予測ユニットに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ（インター予測パラメータ）について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、ベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々Ｌ０リスト、Ｌ１リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が１の場合に対応する参照ピクチャリストが用いられる。なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、１をＸＸである場合、０をＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。２つの参照ピクチャリストが用いられる場合、つまり、predFlagL0＝１，predFlagL1＝１の場合が、双予測に対応し、１つの参照ピクチャリストを用いる場合、すなわち(predFlagL0, predFlagL1) = (1, 0)もしくは(predFlagL0, predFlagL1) = (0, 1)の場合が単予測に対応する。なお、予測リスト利用フラグの情報は、後述のインター予測フラグinter_pred_idcで表現することもできる。通常、後述の予測画像生成部３０８（予測画像生成部）、予測パラメータメモリ３０７では、予測リスト利用フラグが用いられ、符号化データから、どの参照ピクチャリストが用いられるか否かの情報を復号する場合にはインター予測フラグinter_pred_idcが用いられる。
　符号化データに含まれるインター予測パラメータを導出するためのシンタックス要素には、例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。
　　（参照ピクチャリストの一例）
　次に、参照ピクチャリストの一例について説明する。参照ピクチャリストとは、参照ピクチャメモリ３０６（図５）に記憶された参照ピクチャ（参照画像）からなる列である。図３は、参照ピクチャリストの一例を示す概念図である。参照ピクチャリスト６０１において、左右に一列に配列された５個の長方形は、それぞれ参照ピクチャを示す。左端から右へ順に示されている符号、Ｐ１、Ｐ２、Ｑ０、Ｐ３、Ｐ４は、それぞれの参照ピクチャを示す符号である。Ｐ１等のＰとは、視点Ｐを示し、そしてＱ０のＱとは、視点Ｐとは異なる視点Ｑを示す。Ｐ及びＱの添字は、ピクチャ順序番号ＰＯＣを示す。refIdxLXの真下の下向きの矢印は、参照ピクチャインデックスrefIdxLXが、参照ピクチャメモリ３０６において参照ピクチャＱ０を参照するインデックスであることを示す。
　　（参照ピクチャの例）
　次に、ベクトルを導出する際に用いる参照ピクチャの例について説明する。図４は、参照ピクチャの例を示す概念図である。図４において、横軸は表示時刻を示し、縦軸は視点を示す。図４に示されている、縦２行、横３列（計６個）の長方形は、それぞれピクチャを示す。６個の長方形のうち、下行の左から２列目の長方形は復号対象のピクチャ（対象ピクチャ）を示し、残りの５個の長方形がそれぞれ参照ピクチャを示す。対象ピクチャから上向きの矢印で示される参照ピクチャＱ０は対象ピクチャと同表示時刻であって視点が異なるピクチャである。対象ピクチャを基準とする変位予測においては、参照ピクチャＱ０が用いられる。対象ピクチャから左向きの矢印で示される参照ピクチャＰ１は、対象ピクチャと同じ視点であって、過去のピクチャである。対象ピクチャから右向きの矢印で示される参照ピクチャＰ２は、対象ピクチャと同じ視点であって、未来のピクチャである。対象ピクチャを基準とする動き予測においては、参照ピクチャＰ１またはＰ２が用いられる。
　　（インター予測フラグと予測リスト利用フラグ）
　インター予測フラグと、予測リスト利用フラグpredFlagL0、predFlagL1の関係は以下のように相互に変換可能である。そのため、インター予測パラメータとしては、予測リスト利用フラグを用いても良いし、インター予測フラグを用いてもよい。また、以下、予測リスト利用フラグを用いた判定は、インター予測フラグに置き替えてもよい。逆に、インター予測フラグを用いた判定は、予測リスト利用フラグに置き替えてもよい。
　インター予測フラグ　＝　（predFlagL1＜＜１）　＋　predFlagL0
　predFlagL0　＝インター予測フラグ　＆　１
　predFlagL1　＝インター予測フラグ　＞＞　１
　ここで、＞＞は右シフト、＜＜は左シフトである。
　　（マージ予測とＡＭＶＰ予測）
　予測パラメータの復号（符号化）方法には、マージ予測（ｍｅｒｇｅ）モードとＡＭＶＰ（Adaptive Motion Vector Prediction、適応動きベクトル予測）モードがある、マージフラグmerge_flagは、これらを識別するためのフラグである。マージ予測モードでも、ＡＭＶＰモードでも、既に処理済みのブロックの予測パラメータを用いて、対象ＰＵの予測パラメータが導出される。マージ予測モードは、予測リスト利用フラグpredFlagLX（またはインター予測フラグinter_pred_idc）、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めずに、既に導出した近傍PUの予測パラメータをそのまま用いるモードであり、ＡＭＶＰモードは、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを符号化データに含めるモードである。なお、動きベクトルmvLXは、予測ベクトルmvpLXを識別する予測ベクトルインデックスmvp_LX_idxと差分ベクトルmvdLXとして符号化される。
　インター予測フラグinter_pred_idcは、参照ピクチャの種類および数を示すデータであり、PRED_L0、PRED_L1、PRED_BIの何れかの値をとる。PRED_L0、PRED_L1は、各々Ｌ０リスト、Ｌ１リストと呼ばれる参照ピクチャリストに記憶された参照ピクチャが用いられることを示し、共に１枚の参照ピクチャを用いること（単予測）を示す。Ｌ０リスト、Ｌ１リストを用いた予測を各々Ｌ０予測、Ｌ１予測と呼ぶ。PRED_BIは２枚の参照ピクチャを用いること（双予測）を示し、Ｌ０リストとＬ１リストに記憶された参照ピクチャの２つを用いることを示す。予測ベクトルインデックスmvp_LX_idxは予測ベクトルを示すインデックスであり、参照ピクチャインデックスrefIdxLXは、参照ピクチャリストに記憶された参照ピクチャを示すインデックスである。なお、ＬＸは、Ｌ０予測とＬ１予測を区別しない場合に用いられる記述方法であり、ＬＸをＬ０、Ｌ１に置き換えることでＬ０リストに対するパラメータとＬ１リストに対するパラメータを区別する。例えば、refIdxL0はＬ０予測に用いる参照ピクチャインデックス、refIdxL1はＬ１予測に用いる参照ピクチャインデックス、refIdx（refIdxLX）は、refIdxL0とrefIdxL1を区別しない場合に用いられる表記である。
　マージインデックスmerge_idxは、処理が完了したブロックから導出される予測パラメータ候補（マージ候補）のうち、いずれかの予測パラメータを復号対象ブロックの予測パラメータとして用いるかを示すインデックスである。
　なお、「対象ブロック」は複数の予測ブロックよりも一階層上の予測ブロックでもよいし、上記複数の予測ブロックを含む符号化ユニットでもよい。
　　（動きベクトルと変位ベクトル）
　動きベクトルmvLXには、異なる時間の２つのピクチャ上のブロック間のずれ量を示す狭義の動きベクトル（狭義の動きベクトル）と同じ時間の２つのブロック間のずれ量を示す変位ベクトル（disparity vector、視差ベクトル）に分けることもできる。以下の説明では、動きベクトルと変位ベクトルを区別せず、単に動きベクトルmvLXと呼ぶ。動きベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。動きベクトルmvLXおよび差分ベクトルmvdLXが、動きベクトルであるか、変位ベクトルであるかは、ベクトルに付随する参照ピクチャインデックスrefIdxLXを用いて識別される。
　　（画像復号装置の構成）
　次に、本実施形態に係る画像復号装置３１の構成について説明する。図５は、本実施形態に係る画像復号装置３１の構成を示す概略図である。画像復号装置３１は、エントロピー復号部３０１、予測パラメータ復号部３０２、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）３０６、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）３０７、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１、及び加算部３１２、残差格納部３１３（残差記録部）を含んで構成される。
　また、予測パラメータ復号部３０２は、インター予測パラメータ復号部３０３及びイントラ予測パラメータ復号部３０４を含んで構成される。予測画像生成部３０８は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０を含んで構成される。
　エントロピー復号部３０１は、外部から入力された符号化ストリームＴｅに対してエントロピー復号を行って、個々の符号（シンタックス要素）を分離し復号する。分離された符号には、予測画像を生成するための予測情報および、差分画像を生成するための残差情報などがある。
　エントロピー復号部３０１は、分離した符号の一部を予測パラメータ復号部３０２に出力する。分離した符号の一部とは、例えば、予測モードPredMode、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックmvp_LX_idx、差分ベクトルmvdLXである。どの符号を復号するか否かの制御は、予測パラメータ復号部３０２の指示に基づいて行われる。エントロピー復号部３０１は、量子化係数を逆量子化・逆ＤＣＴ部３１１に出力する。この量子化係数は、符号化処理において、残差信号に対してＤＣＴ（Discrete Cosine Transform、離散コサイン変換）を行い量子化して得られる係数である。
　インター予測パラメータ復号部３０３は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してインター予測パラメータを復号する。
　インター予測パラメータ復号部３０３は、復号したインター予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。インター予測パラメータ復号部３０３の詳細については後述する。
　イントラ予測パラメータ復号部３０４は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してイントラ予測パラメータを復号する。イントラ予測パラメータとは、ピクチャブロックを１つのピクチャ内で予測する処理で用いるパラメータ、例えば、イントラ予測モードＩｎｔｒａPredModeである。イントラ予測パラメータ復号部３０４は、復号したイントラ予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。
　イントラ予測パラメータ復号部３０４は、輝度と色差で異なるイントラ予測モードを導出しても良い。この場合、イントラ予測パラメータ復号部３０４は、輝度の予測パラメータとして輝度予測モードIntraPredModeY、色差の予測パラメータとして、色差予測モードIntraPredModeCを復号する。輝度予測モードIntraPredModeYは、３５モードであり、プレーナ予測（０）、ＤＣ予測（１）、方向予測（２～３４）が対応する。色差予測モードIntraPredModeCは、プレーナ予測（０）、ＤＣ予測（１）、方向予測（２～３４）、ＬＭモード（３５）の何れかを用いるものである。イントラ予測パラメータ復号部３０４は、IntraPredModeCは輝度モードと同じモードであるか否かを示すフラグを復号し、フラグが輝度モードと同じモードであることを示せば、IntraPredModeCにIntraPredModeYを割り当て、フラグが輝度モードと異なるモードであることを示せば、I IntraPredModeCとして、プレーナ予測（０）、ＤＣ予測（１）、方向予測（２～３４）、ＬＭモード（３５）を復号しても良い。
　参照ピクチャメモリ３０６は、加算部３１２が生成した参照ピクチャのブロック（参照ピクチャブロック）を、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
　予測パラメータメモリ３０７は、予測パラメータを、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶する。具体的には、予測パラメータメモリ３０７は、インター予測パラメータ復号部３０３が復号したインター予測パラメータ、イントラ予測パラメータ復号部３０４が復号したイントラ予測パラメータ及びエントロピー復号部３０１が分離した予測モードpredModeを記憶する。記憶されるインター予測パラメータには、例えば、予測リスト利用フラグpredFlagLX（インター予測フラグinter_pred_idc）、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXがある。
　予測画像生成部３０８には、エントロピー復号部３０１から入力された予測モードpredModeが入力され、また予測パラメータ復号部３０２から予測パラメータが入力される。また、予測画像生成部３０８は、参照ピクチャメモリ３０６から参照ピクチャを読み出す。予測画像生成部３０８は、予測モードpredModeが示す予測モードで、入力された予測パラメータと読み出した参照ピクチャを用いて予測ピクチャブロックＰ（予測画像）を生成する。
　ここで、予測モードpredModeがインター予測モードを示す場合、インター予測画像生成部３０９は、インター予測パラメータ復号部３０３から入力されたインター予測パラメータと読み出した参照ピクチャを用いてインター予測により予測ピクチャブロックＰを生成する。予測ピクチャブロックＰは予測単位ＰＵに対応する。ＰＵは、上述したように予測処理を行う単位となる複数の画素からなるピクチャの一部分、つまり１度に予測処理が行われる復号対象ブロックに相当する。
　インター予測画像生成部３０９は、予測リスト利用フラグpredFlagLXが１である参照ピクチャリスト（Ｌ０リスト、もしくはＬ１リスト）に対し、参照ピクチャインデックスrefIdxLXで示される参照ピクチャから、復号対象ブロックを基準として動きベクトルmvLXが示す位置にある参照ピクチャブロックを参照ピクチャメモリ３０６から読み出す。インター予測画像生成部３０９は、読み出した参照ピクチャブロックについて予測を行って予測ピクチャブロックＰを生成する。インター予測画像生成部３０９は、生成した予測ピクチャブロックＰを加算部３１２に出力する。
　予測モードpredModeがイントラ予測モードを示す場合、イントラ予測画像生成部３１０は、イントラ予測パラメータ復号部３０４から入力されたイントラ予測パラメータと読み出した参照ピクチャを用いてイントラ予測を行う。具体的には、イントラ予測画像生成部３１０は、復号対象のピクチャであって、既に復号されたブロックのうち復号対象ブロックから予め定めた範囲にある参照ピクチャブロックを参照ピクチャメモリ３０６から読み出す。予め定めた範囲とは、復号対象ブロックがいわゆるラスタースキャンの順序で順次移動する場合、例えば、左、左上、上、右上の隣接ブロックのうちのいずれかであり、イントラ予測モードによって異なる。ラスタースキャンの順序とは、各ピクチャにおいて、上端から下端まで各行について、順次左端から右端まで移動させる順序である。
　イントラ予測画像生成部３１０は、読み出した参照ピクチャブロックについてイントラ予測モードＩｎｔｒａPredModeが示す予測モードで予測を行って予測ピクチャブロックを生成する。イントラ予測画像生成部３１０は、生成した予測ピクチャブロックＰを加算部３１２に出力する。
　イントラ予測パラメータ復号部３０４において、輝度と色差で異なるイントラ予測モードを導出する場合、イントラ予測画像生成部３１０は、輝度予測モードIntraPredModeYに応じて、プレーナ予測（０）、ＤＣ予測（１）、方向予測（２～３４）の何れかによって輝度の予測ピクチャブロックを生成し、色差予測モードIntraPredModeCに応じて、プレーナ予測（０）、ＤＣ予測（１）、方向予測（２～３４４）、ＬＭモード（３５）の何れかによって色差の予測ピクチャブロックを生成する。
　逆量子化・逆ＤＣＴ部３１１は、エントロピー復号部３０１から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部３１１は、求めたＤＣＴ係数について逆ＤＣＴ（Inverse Discrete Cosine Transform、逆離散コサイン変換）を行い、復号残差信号を算出する。逆量子化・逆ＤＣＴ部３１１は、算出した復号残差信号を加算部３１２および残差格納部３１３に出力する。
　加算部３１２は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０から入力された予測ピクチャブロックＰと逆量子化・逆ＤＣＴ部３１１から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部３１２は、生成した参照ピクチャブロックを参照ピクチャメモリ３０６に記憶し、生成した参照ピクチャブロックをピクチャ毎に統合した復号レイヤ画像Ｔｄを外部に出力する。
　　（インター予測パラメータ復号部の構成）
　次に、インター予測パラメータ復号部３０３の構成について説明する。
　図６は、本実施形態に係るインター予測パラメータ復号部３０３の構成を示す概略図である。インター予測パラメータ復号部３０３は、インター予測パラメータ復号制御部３０３１、ＡＭＶＰ予測パラメータ導出部３０３２、加算部３０３５及びマージ予測パラメータ導出部３０３６を含んで構成される。
　インター予測パラメータ復号制御部３０３１は、インター予測に関連する符号（シンタックス要素）の復号をエントロピー復号部３０１に指示し、符号化データに含まれる符号（シンタックス要素）、例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを抽出する。
　インター予測パラメータ復号制御部３０３１は、まず、マージフラグを抽出する。インター予測パラメータ復号制御部３０３１が、あるシンタックス要素を抽出すると表現する場合は、あるシンタックス要素の復号をエントロピー復号部３０１に指示し、該当のシンタックス要素を符号化データから読み出すことを意味する。ここで、マージフラグが示す値が１、すなわち、マージ予測モードを示す場合、インター予測パラメータ復号制御部３０３１は、マージ予測に係る予測パラメータとして、マージインデックスmerge_idxを抽出する。インター予測パラメータ復号制御部３０３１は、抽出したマージインデックスmerge_idxをマージ予測パラメータ導出部３０３６に出力する。
　マージフラグmerge_flagが０、すなわち、ＡＭＶＰ予測モードを示す場合、インター予測パラメータ復号制御部３０３１は、エントロピー復号部３０１を用いて符号化データからＡＭＶＰ予測パラメータを抽出する。ＡＭＶＰ予測パラメータとして、例えば、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。インター予測パラメータ復号制御部３０３１は、抽出したインター予測フラグinter_pred_idcから導出した予測リスト利用フラグpredFlagLXと、参照ピクチャインデックスrefIdxLXをＡＭＶＰ予測パラメータ導出部３０３２及び予測画像生成部３０８（図５）に出力し、また予測パラメータメモリ３０７（図５）に記憶する。インター予測パラメータ復号制御部３０３１は、抽出した予測ベクトルインデックスmvp_LX_idxをＡＭＶＰ予測パラメータ導出部３０３２に出力する。インター予測パラメータ復号制御部３０３１は、抽出した差分ベクトルmvdLXを加算部３０３５に出力する。
　図７は、本実施形態に係るマージ予測パラメータ導出部３０３６の構成を示す概略図である。マージ予測パラメータ導出部３０３６は、マージ候補導出部３０３６１とマージ候補選択部３０３６２を備える。マージ候補格納部３０３６１１は、マージ候補導出部３０３６１から入力されたマージ候補を格納する。なお、マージ候補は、予測リスト利用フラグpredFlagLX、動きベクトルmvLX、参照ピクチャインデックスrefIdxLXを含んで構成されている。マージ候補格納部３０３６１１において、格納されたマージ候補には、所定の規則に従ってインデックスが割り当てられる。
　マージ候補導出部３０３６１は、すでに復号処理が行われた隣接ブロックの動きベクトルと参照ピクチャインデックスrefIdxLXをそのまま用いてマージ候補を導出する。それ以外にアフィン予測を用いてマージ候補を導出してもよい。この方法を以下で詳細に説明する。マージ候補導出部３０３６１は、アフィン予測を、後述する空間マージ候補導出処理、時間マージ（フレーム間マージ）候補導出処理、結合マージ候補導出処理、およびゼロマージ候補導出処理に用いてもよい。なお、アフィン予測はサブブロック単位で行われ、予測パラメータはサブブロック毎に予測パラメータメモリ３０７に格納されている。あるいは、アフィン予測は画素単位で行われてもよい。
　　（空間マージ候補導出処理）
　空間マージ候補導出処理として、マージ候補導出部３０３６１は、所定の規則に従って、予測パラメータメモリ３０７が記憶している予測パラメータ（予測リスト利用フラグpredFlagLX、動きベクトルmvLX、参照ピクチャインデックスrefIdxLX）を読み出し、読み出した予測パラメータをマージ候補として導出する。読み出される予測パラメータは、復号対象ブロックから予め定めた範囲内にあるブロック（例えば、復号対象ブロックの左下端、左上端、右上端にそれぞれ接するブロックの全部または一部）のそれぞれに係る予測パラメータである。マージ候補導出部３０３６１によって導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
　　（時間マージ候補導出処理）
　時間マージ導出処理として、マージ候補導出部３０３６１は、復号対象ブロックの右下の座標を含む参照画像中のブロックの予測パラメータを予測パラメータメモリ３０７から読みだしマージ候補とする。参照画像の指定方法は、例えば、スライスヘッダにおいて指定された参照ピクチャインデックスrefIdxLXでも良いし、復号対象ブロックに隣接するブロックの参照ピクチャインデックスrefIdxLXのうち最小のものを用いて指定しても良い。マージ候補導出部３０３６１によって導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
　　（結合マージ候補導出処理）
　結合マージ導出処理として、マージ候補導出部３０３６１は、既に導出され、マージ候補格納部３０３６１１に格納された２つの異なる導出済マージ候補のベクトルと参照ピクチャインデックスを、それぞれＬ０、Ｌ１のベクトルとして組み合わせることで結合マージ候補を導出する。マージ候補導出部３０３６１によって導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
　　（ゼロマージ候補導出処理）
　ゼロマージ候補導出処理として、マージ候補導出部３０３６１は、参照ピクチャインデックスrefIdxLXが０であり、動きベクトルmvLXのＸ成分、Ｙ成分が共に０であるマージ候補を導出する。マージ候補導出部３０３６１によって導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
　マージ候補選択部３０３６２は、マージ候補格納部３０３６１１に格納されているマージ候補のうち、インター予測パラメータ復号制御部３０３１から入力されたマージインデックスmerge_idxに対応するインデックスが割り当てられたマージ候補を、対象ＰＵのインター予測パラメータとして選択する。マージ候補選択部３０３６２は選択したマージ候補を予測パラメータメモリ３０７に記憶するとともに、予測画像生成部３０８（図５）に出力する。
　図８は、本実施形態に係るＡＭＶＰ予測パラメータ導出部３０３２の構成を示す概略図である。ＡＭＶＰ予測パラメータ導出部３０３２は、ベクトル候補導出部３０３３（ベクトル算出部）とベクトル候補選択部３０３４を備える。ベクトル候補導出部３０３３は、参照ピクチャインデックスrefIdxに基づいて予測パラメータメモリ３０７が記憶するベクトル（動きベクトルまたは変位ベクトル）を予測ベクトルmvpLXとして読み出す。読み出されるベクトルは、復号対象ブロックから予め定めた範囲内にあるブロック（例えば、復号対象ブロックの左下端、左上端、右上端にそれぞれ接するブロックの全部または一部）のそれぞれに係るベクトルである。
　ベクトル候補選択部３０３４は、ベクトル候補導出部３０３３が読み出したベクトル候補のうち、インター予測パラメータ復号制御部３０３１から入力された予測ベクトルインデックスmvp_LX_idxが示すベクトル候補を予測ベクトルmvpLXとして選択する。ベクトル候補選択部３０３４は、選択した予測ベクトルmvpLXを加算部３０３５に出力する。
　ＡＭＶＰ予測パラメータ導出部３０３２は、ベクトル候補導出部３０３３、ベクトル候補選択部３０３４を備える。ベクトル候補格納部３０３３１は、ベクトル候補導出部３０３３から入力されたベクトル候補を格納する。なお、ベクトル候補は、予測ベクトルmvpLXを含んで構成されている。ベクトル候補格納部３０３３１において、格納されたベクトル候補には、所定の規則に従ってインデックスが割り当てられる。
　ベクトル候補導出部３０３３は、アフィン予測を用いてベクトル候補を導出する。ベクトル候補導出部３０３３は、アフィン予測を、後述する空間ベクトル候補導出処理、時間ベクトル（フレーム間ベクトル）候補導出処理、結合ベクトル候補導出処理、およびゼロベクトル候補導出処理に用いてもよい。なお、アフィン予測はサブブロック単位で行われ、予測パラメータはサブブロック毎に予測パラメータメモリ３０７に格納する。あるいは、アフィン予測は画素単位で行われてもよい。
　図９は、ベクトル候補の一例を示す概念図である。図９に示す予測ベクトルリスト６０２は、ベクトル候補導出部３０３３において導出される複数のベクトル候補からなるリストである。予測ベクトルリスト６０２において、左右に一列に配列された５個の長方形は、それぞれ予測ベクトルを示す領域を示す。左端から２番目のmvp_LX_idxの真下の下向きの矢印とその下のmvpLXは、予測ベクトルインデックスmvp_LX_idxが、予測パラメータメモリ３０７においてベクトルmvpLXを参照するインデックスであることを示す。
　ベクトル候補は、ベクトル候補選択部３０３４が参照したブロックに係るベクトルに基づいて生成される。ベクトル候補選択部３０３４が参照するブロックは、復号処理が完了したブロックであって、復号対象ブロックから予め定めた範囲のブロック（例えば、隣接ブロック）であってもよい。なお、隣接ブロックは、復号対象ブロックに空間的に隣接するブロック、例えば、左ブロック、上ブロックの他、復号対象ブロックに時間的に隣接するブロック、例えば、復号対象ブロックと同じ位置で、表示時刻が異なるブロックから得られたブロックを含む。
　加算部３０３５は、ＡＭＶＰ予測パラメータ導出部３０３２から入力された予測ベクトルmvpLXとインター予測パラメータ復号制御部３０３１から入力された差分ベクトルmvdLXを加算して動きベクトルmvLXを導出する。加算部３０３５は、導出した動きベクトルmvLXを予測画像生成部３０８（図５）に出力する。
　図１０は、本実施形態に係るインター予測パラメータ復号制御部３０３１の構成を示す概略図である。インター予測パラメータ復号制御部３０３１は、追加予測フラグ復号部３０３１１、マージインデックス復号部３０３１２、ベクトル候補インデックス復号部３０３１３、及び図示しない、分割モード復号部、マージフラグ復号部、インター予測フラグ復号部、参照ピクチャインデックス復号部、ベクトル差分復号部などを含んで構成される。分割モード復号部、マージフラグ復号部、マージインデックス復号部、インター予測フラグ復号部、参照ピクチャインデックス復号部、ベクトル候補インデックス復号部３０３１３、ベクトル差分復号部は各々、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを復号する。
　　（インター予測画像生成部３０９）
　図１１は、本実施形態に係るインター予測画像生成部３０９の構成を示す概略図である。インター予測画像生成部３０９は、動き補償部３０９１（予測画像生成装置）、重み予測部３０９４を含んで構成される。
　　（動き補償部）
　動き補償部３０９１は、インター予測パラメータ復号部３０３から入力された、予測リスト利用フラグpredFlagLX、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXに基づいて、参照ピクチャメモリ３０６から、参照ピクチャインデックスrefIdxLXで指定された参照ピクチャの復号対象ブロックの位置を起点として、動きベクトルmvLXだけずれた位置にあるブロックを読み出すことによって動き補償画像を生成する。ここで、動きベクトルmvLXが整数ベクトルでない場合には、動き補償フィルタと呼ばれる小数位置の画素を生成するためのフィルタを施して、動き補償画像を生成する。動き補償フィルタには、垂直動き補償フィルタ（mcFilterVer）および水平動き補償フィルタ（mcFilterHor）がある。以下、Ｌ０予測の動き補償画像をpredSamplesL0、Ｌ１予測の動き補償画像をpredSamplesL1と呼ぶ。両者を区別しない場合predSamplesLXと呼ぶ。なお、動き補償部３０９１の構成例については、後に説明する。
　　（重み予測部）
　重み予測部３０９４は、入力される動き変位画像predSamplesLXに重み係数を乗算することにより予測ピクチャブロックＰ（予測画像）を生成する。参照リスト利用フラグの一方（predFlagL0もしくはpredFlagL1）が１の場合（単予測の場合）で、重み予測を用いない場合には入力された動き変位画像predSamplesLX（ＬＸはＬ０もしくはＬ１）を画素ビット数に合わせる以下の式の処理を行う。
predSamples[ x ][ y ] = Clip3( 0, ( 1 << bitDepth ) - 1, ( predSamplesLX[ x ][ y] + offset1 ) >> shift1 )
　ここで、shift1=14-bitDepth、offset1=1<<(shift1-1)である。
　また、参照リスト利用フラグの両者（predFlagL0およびpredFlagL1）が１の場合（双予測の場合）で、重み予測を用いない場合には、入力された動き変位画像predSamplesL0、predSamplesL1を平均し画素ビット数に合わせる以下の式の処理を行う。
predSamples[ x ][ y ] = Clip3( 0, ( 1 << bitDepth ) - 1, ( predSamplesL0[ x ][ y] + predSamplesL1[ x ][ y ] + offset2 ) >> shift2 )
ここで、shift2=15-bitDepth、offset2=1<<(shift2-1)である。
　さらに、単予測の場合で、重み予測を行う場合には、重み予測部３０９４は、重み予測係数ｗ０とオフセットｏ０を符号化データから導出し、以下の式の処理を行う。
predSamples[ x ][ y ] = Clip3( 0, ( 1 << bitDepth ) - 1, ( (predSamplesLX[ x ][ y ] * w0 + 2log2WD - 1) >> log2WD ) + o0 )
　ここで、ｌｏｇ２ＷＤは所定のシフト量を示す変数である。
　さらに、双予測の場合で、重み予測を行う場合には、重み予測部３０９４は、重み予測係数ｗ０、ｗ１、ｏ０、ｏ１を符号化データから導出し、以下の式の処理を行う。
predSamples[ x ][ y ] = Clip3( 0, ( 1 << bitDepth ) - 1, ( predSamplesL0 [ x ][ y ] * w0 + predSamplesL1[ x ][ y ] * w1 + ((o0 + o1 + 1) << log2WD) ) >> (log
2WD + 1) )
　（勾配変化予測を備える動き補償部における予測モードの切り替え）
　図１６は、勾配変化（ＢＩＯ）予測を用いた動き補償機能を備える動き補償部３０９１が予測画像を導出する処理の流れを説明するフローチャートである。図１６では、後述のＳＴＥＰ３において動き補償部３０９１がＢＩＯ予測を適用して予測画像を導出するか否かを、インター予測パラメータ復号部３０３が判定する処理の流れを示している。
　インター予測パラメータ復号部３０３が双予測モードではないと判定した場合（Ｓ３０１にてＮｏ、すなわち単予測UniPred）、Ｓ３０５に進み、動き補償部３０９１は単方向動き補償を行う。一方、インター予測パラメータ復号部３０３が双予測モードであると判定した場合（Ｓ３０１にてＹｅｓ、BiPred）、続けて、インター予測パラメータ復号部３０３はＳ３０２に示す判定を行う。
　ピクチャメモリ３０６から取得したＬ０参照画像refImgL0およびＬ１参照画像refImgL1（図１６では、「２つの予測ブロック」と記載）が異なる参照画像であれば（Ｓ３０２にてＹｅｓ）、Ｓ３０３に進み、動き補償部３０９１は後に説明するＢＩＯ予測を用いた動き補償を行う。他方、ピクチャメモリ３０６から取得したＬ０参照画像refImgL0およびＬ１参照画像refImgL1が同じ参照画像であれば（Ｓ３０２にてＮｏ）、Ｓ３０４に進み、動き補償部３０９１はＢＩＯ予測を適用しない双方向動き補償を行う。
　（勾配変化の基本概念）
　以下では、勾配変化（Optical Flow）について、図１７を用いて説明する。図１７は、勾配変化の概念を導出する流れの一例を示す図である。
　画素値I(x, y, t)は、時間間隔Δｔの間にΔｘおよびΔｙだけ移動しても変化しない、すなわち、画素値は変化することなくその位置のみが変化すると仮定すると、図１７の式１が成り立つ。
　ある点での画素値の変化は、図１７の式２に示すように、勾配変化と時間変化とに分解することが可能である。ここで、勾配変化は、画素値Iのｘ方向の偏微分およびｙ方向の偏微分の和、時間変化は、画素値Iのｔ方向の偏微分として表すことができる。
　上記の式１および２より、図１７の式３が導出される。さらに、この式３の両辺を時間間隔Δｔで除算することにより、図１７の式４が導出される。
　ここで、時間変化当たりのｘ方向（例えば水平方向）の位置の変化（Δx/Δt）、および時間変化当たりのｙ方向（例えば垂直方向）の位置の変化（Δy/Δt）をそれぞれ、VxおよびVyとすれば、図１７の式４は、式５の形の式として表すことができる。
　この式５は、画素値は変化することなくその位置のみが変化すると仮定した場合、画素値Ｉのｘ方向の変化分にVxを乗算したものと、画素値Ｉのｙ方向の変化分にVyを乗算したものと、画素値Ｉの時間変化分とを加算した値は、常に０となることを意味している。すなわち画素値が変化しないという仮定では、勾配の変化と時間変化は互いに打ち消しあう（釣り合う）関係を有する。勾配変化の式より、画素値Ｉのｘ方向の変化分と位置の変化Vx（=Δx/Δt）とｙ方向の変化分と位置の変化Vy（=Δx/Δt）の積により、画素値Ｉの時間変化が予測しうることが示される。以下の処理の説明では、画素値Ｉのｘ方向の変化分を水平勾配値lx0, lx1、画素値Ｉのｙ方向の変化分を垂直勾配値ly0, ly1、位置の変化(Vx, Vy)を補正ベクトル(u, v)と呼ぶ。
　（ＢＩＯ予測について）
　ここでは、ＢＩＯ予測を用いた動き補償について、図１５から図２０を用いて説明する。動き補償部３０９１は、双予測（BiPred）に対して勾配補正項を適用して動き補正を行うBi-directional optical flow（双予測勾配変化：ＢＩＯ）予測を適用した動き補償を行うモードを備えている。
　すなわち、動き補償部３０９１は、以下の予測式
　Pred = {(P0 + P1) + shiftOffset} >> shiftPred　　　（式Ａ１）
を用いて、予測画像（予測対象である対象画像）の各画素値Predを導出する。なお、P0は動き補償画像Ｐ０の画素値であり、P1は動き補償画像Ｐ１の画素値である。shiftOffsetは、シフトする際にラウンド制御を行う定数であり、shiftPredはシフト値である。
　さらに、動き補償部３０９１は、以下の予測式
　Pred = {(P0 + P1) + modBIO + shiftOffset} >> shiftPred　　　（式Ａ２）
を用いて、予測画像の画素値Predを導出する。なお、modBIOは、
　modBIO = {(lx0 - lx1) * u + (ly0 - ly1) * v >> 1} << shiftPred　　（式Ａ３）
によって導出される勾配補正項である。式Ａ３において、lx0（第１の勾配画像）、ly0（第２の勾配画像）、lx1（第３の勾配画像）、およびly1（第４の勾配画像）はそれぞれ勾配画像である。勾配画像lx0およびlx1は水平方向（ｘ方向、第１の方向）に沿った勾配を示しており、勾配画像ly0およびly1は垂直方向（ｙ方向、第２の方向）に沿った勾配を示している。また、uおよびvはそれぞれ、lx0およびlx1、およびly0およびly1の各画素値に乗じる重み係数である。
　（ＢＩＯ予測の処理の概要）
　まず、動き補償部３０９１が、動き補償画像Ｐ０（第１の参照画像）と動き補償画像Ｐ１（第２の参照画像）と勾配補正項とを参照して予測画像（インター予測画像）を生成する処理の流れについて、図１５を用いて説明する。図１５は、ＢＩＯ予測を用いた動き補償における処理の流れを示すフローチャートである。
　図１５に示すように、ＢＩＯ予測を用いた動き補償において、動き補償部３０９１は下記のＳＴＥＰ１～３の３段階の処理を行って、予測画像を導出する。
　ＳＴＥＰ１：補間・予測画素値を導出
　動き補償画像Ｐ０およびＰ１、勾配画像lx0、lx1、ly0、およびly1を導出する。動き補償部３０９１は、Ｌ０参照画像refImgL0（第１の参照画像）に基づいて動き補償画像Ｐ０を生成し、Ｌ１参照画像refImgL1（第２の参照画像）に基づいて動き補償画像Ｐ１を生成する。さらに、動き補償部３０９１は、Ｌ０参照画像refImgL0（第１の参照画像）に基づいてＬ０水平勾配画像lx0およびＬ０垂直勾配画像ly0を導出し、Ｌ１参照画像refImgL1に基づいてＬ１垂直勾配画像lx1およびＬ１垂直勾配画像ly1を導出する。なお、refImgL0、refImgL1、P0, P1, lx0、lx1、ly0、ly1は、２次元情報である参照画像refImgL01[x][y]、refImgL1[x][y]、動き補償画像P0[x][y], P1[x][y], 勾配画像lx0[x][y]、lx1[x][y]、ly0[x][y]、ly1[x][y]（x、y、は所定のレンジを有する整数）を指す場合と、参照画像値refImgL0、refImgL1、動き補償画像値P0, P1, 勾配値lx0、lx1、ly0、ly1を指す場合がある。
　ＳＴＥＰ２：勾配補正重みを導出
　次に、動き補償部３０９１は、補正重みベクトル(Vx, Vy)(以下では、Vx = u、Vy = vとして表した(Vx, Vy)と表記することもある）を導出する。動き補償部３０９１は、補正重みベクトル(Vx, Vy)を図１７の式５を用いて導出してもよいし、後述するように、最小二乗法を用いて導出してもよい。
　図１７の式５を用いて補正重みベクトル(Vx, Vy)を導出する場合、動き補償部３０９１は、複数の点での勾配変化dI/dx（すなわち、lx）、dI/dy（すなわち、ly）、および時間変化dI/dtを用いて、図１７の式５の左辺の２乗を最少とする条件を満たすVxおよびVyを導出すればよい。
　図１８に示すように、対象画像Ｃｕｒ上の点Ｉの画素値Iと、Ｌ０参照画像refImgL0上の点ｌ０(lx0, ly0)の画素値I0と、Ｌ１参照画像refImgL1上の点ｌ１(lx1, ly1)の画素値I1が対応する。なお、図１８には、点ｌ０のｘ成分および点ｌ１のｘ成分のみが示されているが、点ｌ０のｙ成分および点ｌ１のｙ成分についても、同様である。対象の領域で、勾配変化の仮定（画素値は変化することなくその位置のみが変化する）が成り立つとすると、Ｉ＝Ｉ０＝Ｉ１が成り立つ。空間的な画素値の変化量である勾配に注目すると、Ｌ０参照画像refImgL0上のある点の画素値I0は、別の点の画素値P0とP0での勾配、I0とP0の距離を用いて I0 = P0 + 勾配×距離から予測できる。ここで、勾配は(lx0, ly0)とIOとP0の距離は(Vx, Vy)である。同様に、Ｌ０参照画像refImgL0上のある点の画素値I1は、別の点の画素値P1とP1での勾配、I1とP1の距離を用いて I1 = P0 + 勾配(lx1, ly1) * 距離(-Vx, -Vy)から導出できる。さらに、対象画像Ｃｕｒの目的となる点Ｉの画素値について、導出された画素値I0と画素値I1の平均値もしくは重み付平均値から予測値が精度よく導出できる。画素値I0と画素値I1が等しいという仮定から、I0とI1の差分を最小化するパラメータ(Vx, Vy)を導出することにより、距離(Vx, Vy)＝補正重みベクトル(u, v)が導出できる。
　より具体的に説明すると、Ｌ０参照画像refImgL0上の点ｌ０(lx0, ly0)の画素値I0は、Ｌ０参照画像refImgL0上のある動き補償画像Ｐ０の画素値P0、勾配画像の画素値lx0, ly0、補正重みベクトル(u, v)（図１８のVxがuに対応し、図示されていないVyがvに対応する）を用いて、
　l0 = P0 + {lx0 * u + ly0 * v}　　　（式Ａ４）
によって得られる。
　同様に、Ｌ１参照画像refImgL1上の点ｌ１(lx1, ly1)の画素値I1は、Ｌ１参照画像refImgL1上のある動き補償画像Ｐ１の画素値P1、勾配画像の画素値lx1, ly1、補正重みベクトル(u, v)を用いて、
　l1 = P1 - {lx1 * u + ly1 * v}　　　（式Ａ５）
によって得られる。
　動き補償部３０９１は、予測対象の画像である対象画像Ｃｕｒ上の点Ｉの画素値Iを、Ｌ０参照画像refImgL0上の点ｌ０の画素値l0およびＬ１参照画像refImgL1上の点ｌ１の画素値l1の平均、
　I = (l0 + l1) >> 1
　　= {P0 + P1 + (lx0 - lx1) * u + (ly0 - ly1) * v} >> 1　　　（式Ａ６）
として予測する（図１７の式１に対応）。ここで、未知数である補正重みベクトルのx成分uおよびy成分vは、画素値が変化しないという仮定から以下のように導出できる。
　動き補償部３０９１は、補正重みベクトル(u, v)を導出するために、Ｌ０参照画像refImgL0上の点ｌ０の画素値l0およびＬ１参照画像refImgL1上の点ｌ１の画素値l1には変化が無いと仮定したときの式、
　Σ│l0 - l1│2 =Σ│(P0 - P1) + (lx0 + lx1) * u + (ly0 + ly1) * v│2　（式Ａ７）
によって得られる値が最小となるuおよびvを導出する。ここでΣは、対象とする画素(x, y)およびその周囲の点(x + dx, y + dy)（たとえばdx = -2..2, dy = -2..2）において、P0, P1, lx0, ly0, ly0, ly1を計算し、それらからなる値を足し合わせる演算に相当する。なお、式Ａ７において、(P0 - P1) = t1、(lx0 + lx1) = t2、および(ly0 + ly1) = t3としたとき、式Ａ７によって得られる値が最小となるuおよびvは、
　Σ│l0 - l1│2 =Σ│t1 + t2 * u + t3 * v│2　　　（式Ａ８）
で得られる値の最小値を与える。
　ＳＴＥＰ３：勾配補正双予測画像を導出。
　次に、動き補償部３０９１は、ＳＴＥＰ２において導出した補正重みベクトル(u, v)を式Ａ３に代入して勾配補正項modBIOを導出し、予測画像の画素値Predを、
　Pred = P0 + P1 + {(lx0 - lx1) * u + (ly0 - ly1) * v} >> 1　　（式Ａ９）
を用いて導出する。なお、勾配補正項modBIOを1/2に弱めて、
　Pred = (P0 + P1 + {(lx0 - lx1) * u + (ly0 - ly1) * v} >> 1) >> 1　（式Ａ１０）のように使用してもよい。
　続いて、上記の各ＳＴＥＰの処理について詳細に説明する。なお、ここでは、動き補償部３０９１が動き補償画像および勾配画像を導出（生成）する場合を例に挙げて説明するが、動き補償部３０９１が画像ではなく、画像に含まれる画素値を導出する構成であってもよい。すなわち、動き補償部３０９１が動き補償画像の画素値および勾配画像の画素値を導出してもよい。すなわち、各ＳＴＥＰは各画素で独立の演算であるので、各ＳＴＥＰをあるブロックの画像単位で順に行っても、各ＳＴＥＰをあるブロックの画素単位で行って、それをあるブロックの画像だけ繰り返しても同じ結果がえられる。具体的には、各ＳＴＥＰの処理は、ある予測ブロックに対応する動き補償画像P0[][]、P1[][]、勾配画像lx0[][]、ly0[][]、lx1[][]、ly1[][]を導出した後で、勾配補正項（画像）を導出し、予測画像Pred[][]を導出しても良いし、ある点に対応する動き補償画素値P0、P1、勾配画像値lx0、ly0、lx1、ly1を導出した後で、勾配補正項を導出し、予測画素値Predを導出する処理を、ある予測ブロックの各々の点に対して行ってもよい。
　以下、動き補償部３０９１の構成を示す図２１を参照しながら、各ＳＴＥＰの詳細を説明する。
　（ＳＴＥＰ１の詳細）
　動き補償部３０９１（動き補償導出部３０９１１１）は、Ｌ０参照画像refImgL0およびＬ１参照画像refImgL1に基づいて、動き補償画像Ｐ０およびＰ１（基礎動き補償画像ともいう）を導出する。さらに、動き補償部３０９１（勾配導出部３０９１１２）は、導出した動き補償画像Ｐ０およびＰ１に対して、水平勾配画像lx0およびlx1、および垂直勾配画像ly0およびly1を導出する。
　動き補償導出部３０９１１は、参照画像に対して垂直動き補償フィルタ（mcFilterVer）を適用した後、次に水平動き補償フィルタ（mcFilterHor）を適用することにより、動き補償画像Ｐ０およびＰ１を導出する。
　左上ブロック座標(xPb, yPb)のブロック内座標(x, y)の参照画像の整数位置(xInt, yInt)および位相(xFrac, yFrac)は、
　xInt = xPb + (mvLX[0] >> 2) + x
　xFrac = mvLX[0] & 3
　yInt = yPb + (mvLX[1] >> 2) + y
　yFrac = mvLX[1] & 3　　　（式Ａ１１）
である。ここでは動きベクトルの精度を1/4ペル精度と仮定しているが、動きベクトル精度はこれに限定されず、1/8, 1/16,…, 1/64などでも良い。動きベクトル精度が1/M pel精度の場合には、（式Ａ１１）において、整数位置xInt, yIntを導出するためのシフト値をlog2(M)、位相xFrac, yFracを導出するための論理和（＆）に使う値をM-1とした以下の式を用いればよい。
　xInt = xPb + (mvLX[0] >> (log2(M))) + x
　xFrac = mvLX[0] & (M-1)
　yInt = yPb + (mvLX[1] >> (log2(M))) + y
　yFrac = mvLX[1] & (M-1)
　フィルタ係数のビット深度がたとえばMC_ACCUの場合、フィルタ後画像のビット深度は、参照画像のビット深度bitDepthYにMC_ACCUを加算した値であるbitDepthY + MC_ACCUとなる。フィルタ後画像のビット深度を参照画像のビット深度に戻すには、ダイナミックレンジを調整するための右シフトとして、MC_ACCUだけの右シフトが必要になる。ここで、２つのフィルタを直列下処理である場合、１回目のフィルタ演算の出力では、bitDepthよりも高い中間ビット深度INTERNAL_BIT_DEPTHを用い、２回目のフィルタ演算の出力において、INTERNAL_BIT_DEPTHからbitDepthに戻すことが適当である。このとき、１回目、および２回目のフィルタのダイナミックレンジを調整するためのシフト値shift1、shift2は各々、以下に設定すればよい。
　shift1 = bitDepthY - (INTERNAL_BIT_DEPTH - MC_ACCU)
　shift2 = MC_ACCU (= 6) 　　　（式Ａ１２）
ここで、bitDepthY は参照画像のビット深度、INTERNAL_BIT_DEPTHは中間ビット深度、MC_ACCUは動き補償フィルタmcFilterの精度をそれぞれ表す。なお、MC_ACCUは６に限定されず、３～１０などの値を用いることができる。
　垂直動き補償フィルタmcFilterVerにより、x = 0 .. BLKW - 1、y = 0 .. BLKW - 1、k= 0 .. TAP-1、offset1 = 1 << (shift1 - 1)において、動き補償フィルタの係数mcFilter[][]と参照画像refImg[][]の積和をシフト値shift1により値域（ダイナミックレンジ）を調整した値として、
　temp[x][y] = (ΣmcFilterVer[yFrac][k] * refImg[xInt][yInt + k - NTAP/2 + 1] + offset1) >> shift1
　bitDepth(temp[][]) = bitDepthY + MC_ACCU - shift1 = INTERNAL_BIT_DEPTH (= 14)
　　　（式Ａ１３）
により中間データとして用いられる一時的画像temp[][]が導出される。ここでbitDepth(temp[][])は一時的画像temp[][]のビット深度を示す。一時的画像temp[][]のビット深度は、参照画像のビット深度bitDepthYと動き補償フィルタの精度MC_ACCUの和から、フィルタ処理での右シフト値shift1だけ引いた値となる。この値をここでは、中間ビット深度INTERNAL_BIT DEPTHと呼ぶ。
　一方、水平動き補償フィルタmcFilterHorにより、x = 0 .. BLKW - 1、y = 0 .. BLKW - 1、k = 0 .. TAP-1、offset2 = 1 << (shift2 - 1) において、動き補償フィルタの係数mcFilter[][]と垂直動き補償フィルタmcFilterVerで導出された一時的画像temp [][]の積和をシフト値shift2により値域を調整した値として、
　PX[x][y] = (ΣmcFilterHor[xFrac][k] * temp[x + k - NTAP/2 + 1][y] + offset2) >> shift2
　bitDepth(PX[][]) = INTERNAL_BIT DEPTH + MC_ACCU - shift2 = INTERNAL_BIT_DEPTH
　　　（式Ａ１４）
により動き補償画像PX[][]が導出される（PXは、P0もしくはP1）。この処理で利用される８タップの動き補償フィルタmcFilterVer、mcFilterHorの具体例として、動き補償フィルタmcFilter [nFrac][pos]（nFrac=0..3, pos = 0..7）を図１９の（ａ）に示す。NPHASESは位相の個数、NTAPSはタップ数を示す。図１９の（ａ）に示す動き補償フィルタmcFilter[][]に含まれる{0, 0, 0, 64, 0, 0, 0, 0}はnFrac = 0、{-1, 4, -10, 58, 17, -5, 1, 0}はnFrac = 1、{-1, 4, -11, 40, 40, -11, 4, -1}はyFrac = 2、{0, 1, -5, 17, 58, -10, 4, -1}はnFrac = 3にそれぞれ対応している。ここでnFracはxFracもしくはyFraに対応する。
　次に、勾配導出部３０９１１２が水平勾配画像lx0およびlx1を導出する場合について説明する。
　左上ブロック座標(xPb, yPb)のブロック内座標(x, y)の参照画像の整数位置(xInt, yInt)および位相(xFrac, yFrac)は、上記の式Ａ１１により得られる。そして、動き補償部３０９１が水平勾配画像lx0およびlx1を上記の式Ａ１２を用いて導出する。
　ここで、垂直動き補償フィルタmcFilterVerにより、x = 0 .. BLKW - 1、y = 0 .. BLKW - 1、k = 0 .. TAP-1、offset1 = 1 << (shift1 - 1)において、上記の式Ａ１３によって一時的画像temp [][]が導出される。
　一方、水平勾配補償フィルタgradFilterHorにより、x = 0 .. BLKW - 1、y = 0 .. BLKW - 1、k = 0 .. TAP - 1、offset2 = 1 << (shift2 - 1)において、勾配フィルタの係数gradFilter[][]と垂直動き補償フィルタmcFilterVerで導出された一時的画像temp [][]の積和をシフト値shift2により値域を調整した値として、
　lxX[x][y] = (ΣgradFilter[xFrac][k] * temp[x + k - NTAP/2 + 1][y] + offset2) >> shift2
　bitDepth(lxX[][]) = INTERNAL_BIT DEPTH + GRAD_ACCU - shift2 = INTERNAL_BIT_DEPTH　　　（式Ａ１５）
により、水平勾配画像lxX[][]が導出される（lxXは、lx0もしくはlx1）。ここでbitDepth(PX[][])はフィルタ処理画像temp[][]のビット深度を示す。フィルタ処理画像temp[][]のビット深度は、参照画像のビット深度bitDepthYに動き補償フィルタの精度MC_ACCUの和から、フィルタ処理での右シフト値shift1だけ引いた値となる。ここでは、一時的なフィルタ処理画像のビット深度をINTERNAL_BIT_DEPTHと呼ぶ。GRAD_ACCUは勾配補償フィルタgradFilterの精度を表す。このように設定された８タップの勾配補償フィルタgradFilterの具体例として、勾配補償フィルタgradFilter[NPHASES][NTAPS]を図１９の（ｂ）に示す。
　次に、勾配導出部３０９１１２が垂直勾配画像ly0およびly1を導出する場合について説明する。
　勾配導出部３０９１１２は、Ｌ０参照画像refImgL0およびＬ１参照画像refImgL1を参照して垂直勾配補償フィルタ（gradFilterVer）を適用した後、次に水平動き補償フィルタ（mcFilterHor）を適用することにより、垂直勾配画像ly0およびly1を導出する。
　左上ブロック座標(xPb, yPb)のブロック内座標(x, y)の参照画像の整数位置(xInt, yInt)および位相(xFrac, yFrac)は、上記の式Ａ１１により得られる。そして、動き補償部３０９１が垂直勾配画像ly0およびly1を上記の式Ａ１２を用いて導出する。
　ここで、垂直勾配補償フィルタgradFilterVerにより、x = 0 .. BLKW - 1、y = 0 .. BLKW - 1、i = 0 .. TAP-1、offset1 = 1 << (shift1 - 1)において、動き補償フィルタの係数mcFilter[][]と参照画像refImg[][]の積和をシフト値shift1により値域を調整した値として、
　temp[x][y] = (ΣgradFilter[yFrac][i] * refImg[xInt][yInt + i - NTAP/2 + 1] + offset1) >> shift1
　bitDepth(temp[][]) = bitDepthY + GRAD_ACCU - shift1 = INTERNAL_BIT DEPTH (= 14)　　　（式Ａ１６）
により、一時的画像temp[][]が導出される。
　一方、水平動き補償フィルタfracFilterHorにより、x = 0 .. BLKW - 1、y = 0 .. BLKW - 1、i = 0 .. TAP-1、offset2 = 1 << (shift2 - 1)において、動き補償フィルタの係数mcFilter[][]と垂直動き補償フィルタmcFilterVerで導出された一時的画像temp [][]の積和をシフト値shift2により値域を調整した値として、
　lxX[x][y] = (ΣfracFilterHor[xFrac][i] * temp[x + i - NTAP/2 + 1][y] + offset2) >> shift2
　bitDepth(PX[][]) = INTERNAL_BIT_DEPTH + GRAD_ACCU - shift2 = INTERNAL_BIT_DEPTH　　　（式Ａ１７）
により垂直勾配画像lyX[][]が導出される（lyXは、ly0もしくはly1）。
　（ＳＴＥＰ２の詳細）
　勾配補正係数部３０９１２は、上記の式Ａ７または式Ａ８で得られる値が最小となる補正重みベクトル(u, v)を、最小二乗法を用いて導出してもよい。このことについて、図２０を用いて説明する。図２０は、最小二乗法を用いて補正重みベクトル(u, v)を導出する方法について説明する図である。
　勾配積導出部３０９１２１は中間パラメータｓ１～ｓ６（勾配積）を導出する。図２０の（ａ）の式６（上記の式Ａ８）を行列式で表すと、式７のように表すことができる。次に、中間パラメータs1～s6（以下、「勾配積s1」などとも呼ぶことがある）を、
　s1 = Σ(t2 * t2)
　s2 = s4 = Σ(t2 * t3)
　s3 = Σ(-t1 * t2)
　s5 = Σ(t3 * t3)
　s6 = Σ(-t1 * t3)　　　（式Ａ１８）
とすれば、式７は式８のように簡略化することができる。この式８をuおよびvについて解けば、式９に示すように補正重みベクトル(u, v)を導出することができる。ここで、det = s1s5 - s2s4、det1 = s3s5 - s2s6、det2 = s1s6 - s3s4とすれば、補正重みベクトル(u, v) = (det1/det, det2/det)と表記できる。
　なお、t1 = (P0 - P1) = t1、t2 = (lx0 + lx1) = t2、およびt3 = (ly0 + ly1)であることから、中間パラメータs1～s6はそれぞれ、図２０の（ｂ）に示すような式で表される値である。
　勾配補正係数導出部３０９１２２は、ｓ１からｓ６を用いて補正重みベクトルu、ｖを導出する、以下に説明するような簡易解として補正重みベクトル(u, v)を導出してもよい。図２０の（ａ）に示す式８の行列式、およびs4 = s2から、
　s1 * u + s2 * v = s3
　s2 * u + s5 * v = s6　　　（式Ａ１９）
が得られる。
　ここで、s2 * v = 0と仮定すると、上記の式から補正重みベクトル(u, v)は、
　u = s3/s1
　v = (s6 - s2 * u)/s5　　　（式Ａ２０）
と求められる。
　　ところで、勾配補正係数導出部３０９１２２は、実際には小数点精度の演算が必要な補正重みベクトル(u, v)の代わりに、例えば、uをshiftBIOビット左シフトした整数値であるuh（すなわち、uh = u << shiftBIO）、vをshiftBIOビット左シフトした整数値であるvh（すなわち、vh = v << shiftBIO）を用いて、整数演算を行ってもよい。shiftBIO =5の場合、1/32の精度となる。なお、上記uhは、小数精度精度の値uを導出した後に所定
数shiftBIOだけ左シフトして整数精度の値を導出するのではなく、整数演算のままu<< shiftBIOに相当する大きさのuhを直接、導出する。したがって、uhおよびvhはそれぞれ、
　uh = (s3 << 5)/s1
　vh = ((s6 << 5) - s2 * uh) / s5　　　（式Ａ２１）
と求められる。
　v = s6/s5
　u = (s3 - s2 * v)/s1　　　（式Ａ２２）
という式によって導出してもよい。
　なお、図２０の（ｂ）に示す中間パラメータs1～s6の導出する場合、勾配補正係数導出部３０９１２２は、前述の勾配補正項modBIOの値を０に近づける効果を奏する正則化項regcost（正規化コスト）をさらに挿入してもよい。すなわち、勾配補正係数導出部３０９１２２は、正則化項regcostを導入して、中間パラメータs1およびs5を、
　s1 = s1 + regcost
　s5 = s5 + regcost　　　（式Ａ２３）
として導出してもよい。ここで、正則化項regcostはたとえば、
　regcost = (1 << 2 * INTERNAL_BIT_DEPTH) >> regshiftBIO (= 5)
として導出してもよい。
　　動き補償部３０９１が、補正重みベクトル(u, v)の代わりに、uおよびvを整数演算用のshiftBIOだけそれぞれ左シフトした値であるuhおよびvh、すなわち、
　uh = (s3 << shiftBIO)/s1
　vh = (s6 << shiftBIO) - s2 * u/s5　　　（式Ａ２４）
を導出して整数演算を行ってもよい。
　ＳＴＥＰ２の最後に、勾配補正係数導出部３０９１２２は、uhおよびvhを所定の値域（-rangeBIO～rangeBIO）にクリップ処理を行う。すなわち、勾配補正係数導出部３０９１２２は、
　rangeBIO = (1 << shiftBIO) * MVTH
　uh = clip3(-rangeBIO, rangeBIO, uh)
　vh = clip3(-rangeBIO, rangeBIO, vh) 　　　（式Ａ２５）
という式で表されるクリップ処理を行う。なお、MVTHは例えば2/3pelである。
　（ＳＴＥＰ３の詳細）
　勾配補正双予測導出部３０９１３は、ＳＴＥＰ２において導出した補正重みベクトル(u, v)を式Ａ３に代入して勾配補正項modBIOを導出し、予測画像の画素値Predを、上記の式Ａ９を用いて導出する。なお、勾配補正項modBIOを1/2に弱めて、上記の式Ａ１０のように使用してもよい。
　勾配補正双予測導出部３０９１３による整数演算においては、上記の式Ａ２に示す予測式を用いて、予測画像の画素値Predを導出する。勾配補正双予測導出部３０９１３は、勾配補正項modBIOを、
　shiftPred = INTERNAL_BIT_DEPTH - bitDepthY + 1
　modBIO = {(lx0 - lx1) * uh + (ly0 - ly1) * vh} >> shiftBIO2　　　（式Ａ２６）という式を用いて導出する。なお、
　shiftBIO2 = shiftBIO + bitDepth(mcImg) - bitDepth(gradImg) + 1　（式Ａ２７）
である。
　ここで、bitDepth(mcImg)は動き補償画像のビット深度であり、上述のbitDepth(PX[][])に対応する。bitDepth(gradImg)は、勾配画像のビット深度であり、上述のbitDepth(lxX[][])、bitDepth(lxX[][])に対応する。したがって、上述のとおり、各ビット深度は、
　bitDepth(mcImg) = bitDepth + 2 * MC_ACCU - (shift1 + shift2) 
　bitDepth(gradImg) = bitDepth + 2 * (MC_ACCU + GRAD_ACCU) - (shift1 + shift2)　
　　（式Ａ２８）
が成り立つ。
動き補償フィルタの精度MV_ACCUが勾配補償フィルタの精度GRAD_ACCUに等しい場合には、bitDepth(mcImg)＝bitDepth(gradImg)となることから、式（Ａ２７）は、単純化され、
　shiftBIO2 = shiftBIO + 1　　　（式Ａ２９）
となる。
　（動き補償部３０９１の構成例）
　ここでは、上記のＳＴＥＰ１およびＳＴＥＰ２の処理を行う動き補償部３０９１の構成について、図２２および図２３を参照しながら図２１を用いて説明する。図２１は、動き補償部３０９１の構成の一例を示すブロック図である。図２２は、動き補償部３０９１が行うＢＩＯ予測の処理工程の一例を示すフローチャートである。図２３は、図２２のＳ２２ａの工程の一例を示すフローチャートである。
　図２１に示す動き補償部３０９１（予測画像生成装置、予測画像生成部）は、動き補償勾配部３０９１１および勾配補正係数部３０９１２を備えている。動き補償勾配部３０９１１は、動き補償導出部３０９１１１および勾配導出部３０９１１２（第１切り替え部）を備えており、一方、勾配補正係数部３０９１２は、勾配積導出部３０９１２１および勾配補正係数導出部３０９１２２（第２切り替え部、クリップ部）を備えている。
　ＳＴＥＰ１において、動き補償導出部３０９１１１は、参照ピクチャメモリ３０６から参照画像として使用するＬ０参照画像refImgL0[][]およびＬ１参照画像refImgL1[][]を読み出して、動き補償画像Ｐ０およびＰ１を導出する（図２２のＳ１１ａ）
　次に、勾配導出部３０９１１２は、動き補償導出部３０９１１１が導出した動き補償画像Ｐ０（P0[][]）およびＰ１（P1[][]）に対して、水平勾配画像lx0（lx0[][]）およびlx1（lx1[][]）、および垂直勾配画像ly0（ly0[][]）およびly1（ly1[][]）を導出する（図２２のＳ１２ａ）。
　勾配導出部３０９１１２が勾配画像lx0、lx1、ly0、およびly1を導出するときに用いるフィルタセット（勾配補正フィルタ、勾配フィルタ、フィルタ係数）として、分解能の異なる複数のフィルタセットを切り替える構成であってもよい。たとえば、動き補償部３０９１は、フィルタセットを、所定のフィルタセットの組（たとえば高分解能フィルタ、と低分解能フィルタ）から、あるフィルタセットを選択して切り替える構成の勾配導出部３０９１１２（第１切り替え部）を備える構成であってもよい。
　続いて、ＳＴＥＰ２において、勾配積導出部３０９１２１は、上述の中間パラメータs1～s6（勾配積）を導出する（図２２のＳ２１ａ）。
　次に、勾配補正係数導出部３０９１２２は、勾配積導出部３０９１２１が導出した中間パラメータs1（s1[][]）～s6（s6[][]）（勾配積）を用いて、補正重みベクトル(u[][], v[][])の要素u[][]およびv[][]（勾配補正係数、整数演算ではuh[]、vh[][]）を導出する（図２２のＳ２２ａ）。ここで、ピクチャ構成がランダムアクセスである場合には、勾配補正係数導出部３０９１２２は、対象画像ＣｕｒとＬ０参照画像refImgL0との距離（T0）（ピクチャ間距離）が、対象画像ＣｕｒとＬ１参照画像refImgL1との距離（T1）（ピクチャ間距離）に等しいと仮定している。
　最後に、ＳＴＥＰ３において、勾配補正双予測導出部３０９１３は、動き変位画像predSamplesLXに乗算する重み係数として、ＳＴＥＰ２において導出した補正重みベクトル(u, v)を用いて（式Ａ３、式Ａ２６参照）勾配補正項modBIO[][]を導出する（図２２のＳ３１ａ）。そして、勾配補正双予測導出部３０９１３は、勾配補正双予測画像（予測画像、補正済み予測画像）の画素値Predを導出する（図２２のＳ３２ａ）。
　また、図２３を用いて、図２２のＳ２２ａの処理の変形例を説明すれば、以下のようになる。勾配補正係数導出部３０９１２２は、正則化項regcostを、勾配積導出部３０９１２１が導出した中間パラメータs1～s6（勾配積）に加算する（Ｓ２２１ａ）。次に、勾配補正係数導出部３０９１２２は、補正重みベクトル(u, v)の代わりに、uおよびvを整数演算用のshiftBIOだけそれぞれ左シフトした値であるuhおよびvh（勾配補正係数）を導出する（Ｓ２２２ａ）。そして、勾配補正係数導出部３０９１２２（クリップ部）は、導出した勾配補正係数uhおよびvh（各重み係数）を所定の値域に制約するためのクリップ処理を行う（Ｓ２２３ａ）。
　なお、図２２の工程はこれに限定されず、図２５および図２６に示すように、Ｓ２２ａは、ブロック毎に中間パラメータs1～s6（勾配積）を導出する工程Ｓ２２０ａを含んでいたり、勾配補正係数uhおよびvh（各重み係数）にフィルタを適用する工程Ｓ２２５ａを含んでいたりする処理であってもよい。なお、図２５および図２６に示す処理の流れにより勾配補正係数uhおよびvh（各重み係数）を導出する例については、後に説明する。
　（動き補償部３０９１の別の構成例）
　なお、図２１に示す動き補償部３０９１の構成では、勾配積導出部３０９１２１が導出した中間パラメータs1（s1[][]）～s6（s6[][]）（勾配積）を用いて、補正重みベクトル(u[][], v[][])の要素u[][]およびv[][]（勾配補正係数）も導出する（ＳＴＥＰ３）が、これに限定されない。
　例えば、図２４に示すように、動き補償部３０９１の備える勾配補正双予測導出部３０９１３がさらにフレーム間距離重み導出部３０９１３１を備える構成であってもよい。フレーム間距離重み導出部３０９１３１は、対象画像Ｃｕｒと参照画像Ｐ０とのピクチャ間隔T0（第１のピクチャ間隔）、および該対象画像Ｃｕｒと参照画像Ｐ１とのピクチャ間隔T1（第２のピクチャ間隔）をインター予測パラメータ復号部３０３から取得し、これらを用いて、勾配補正項modBIO[][]を導出し（後述の式Ａ４０、式Ａ４４など参照）、勾配補正双予測画像（予測画像）の画素値Predを導出する構成であってもよい。なお、フレーム間距離重み導出部３０９１３１は、勾配双予測導出部３０９１３の一部としているが、別の手段の一部とする構成でもよい。
　（ＳＴＥＰ１：勾配画像の生成）
　勾配導出部３０９１１２は、動き補償画像Ｐ０およびＰ１に対して、水平勾配画像lx0およびlx1、および垂直勾配画像ly0およびly1を導出する。勾配画像lx0、lx1、ly0、およびly1を導出するときに勾配導出部３０９１１２が用いる勾配補償フィルタ（gradFilter）として、複数のフィルタセット、たとえば、高分解能フィルタセットおよび低分解能フィルタセットを備える構成であってもよい。なお、フィルタセットとは、位相nFrac、位置posのフィルタ係数gradFilter[nFrac][pos]（ここでnFrac = 0..M-1、pos = 0..NTAPS-1）である。なお、フィルタ係数の集合（フィルタセット）を単にフィルタ係数と呼んでもよい。
　高分解能フィルタとは、比較的、急峻な勾配を導出するために用いられるフィルタであり、画素値の小さな変化の影響が大きいため、ノイズに敏感である。概略的にいえば、１画素単位の画素値の差分を導出するフィルタ係数[1 -1]/2が該当する。低分解能フィルタとは、比較的緩やかな勾配変化が導出されるフィルタであり、比較的ノイズに頑健である。概略的にいえば、２画素単位の差分を導出するフィルタ係数[1, 1, -1, -1]/4が該当する。
　勾配変化（optical flow）はある点の勾配が所定の範囲内で一定であるとの仮定に基づくものである。この仮定は、画素位置の補正ベクトル(u, v)が１画素未満の場合には比較的成立する。つまり、画素位置を補正する距離が１画素未満の距離では勾配が一定であるとの仮定が成り立つ。が、補正ベクトルがたとえば２～３画素など大きくなると勾配が一定であるとの仮定が成り立たない。高分解能フィルタは、たとえば画素単位の急峻な勾配を導出することができるので、勾配が一定であるとの仮定が成り立つ、画素位置の補正ベクトル(u, v)が１画素未満である範囲で有効である。ところで、細かくみれば１画素未満の距離では勾配が一定であるとの仮定がなりたたない場合でも、全体として緩やかな変化（ぎざぎざの変化のある曲線ではなく、ローパスフィルタをかけた後の曲線から勾配を導出するような想定）をみると、勾配が一定であるとの仮定が成り立つ。低分解フィルタは、このような比較的緩やかな変化を導出するために用いられ、高分解フィルタよりも画素位置の補正ベクトル(u, v)がたとえば１画素を超えるような場合にも有効と考えられる。
　ここで、低分解能フィルタセットとは、高分解能フィルタとローパスフィルタとのコンボリュージョンであってもよく、高分解能フィルタセットとは、ハイパスフィルタであってもよい。なお、低分解能フィルタの代わりに、動き補償画像Ｐ０およびＰ１に対してガウシアンフィルタを適用した後に、続けて所定の勾配フィルタを適用する方法を導入してもよい。なお、動き補償画像Ｐ０およびＰ１に対してラプラシアンフィルタを適用した後に適用する勾配補償フィルタは高分解能フィルタであることが望ましい。
　勾配導出部３０９１１２が切り替える、複数のフィルタセットは、分解能の違いにおいて下記の関係性がある。あるフィルタセットＡとフィルタセットＢの間で、フィルタセットＡ（例、高分解能フィルタ）のほうがフィルタセットＢよりも分割能が高いとは、フィルタセットの備えるフィルタ係数のグラフを参照した場合において、フィルタセットＡのほうがフィルタセットＢよりもグラフが急峻であり、フィルタセットＢのほうがフィルタセットＡよりもグラフが緩やかである場合である。具体的には、フィルタセットＡとフィルタセットＢのフィルタ係数が、以下の関係のいずれかを満たす場合である。
　・フィルタ係数の絶対値│gradFilter[nFrac][pos]│の値は、フィルタセットＡ（高分解能フィルタセット）の方がフィルタセットＢ（低分解能フィルタセット）よりも大きい。すなわち、フィルタセットＡ（高分解能フィルタセット）のフィルタ係数の最大値は、フィルタセットＢ（低分解能フィルタ）セットのフィルタ係数の最大値以上である（関係性Ｒ１）。
あるいは、
　・gradFilter[nFrac][pos]において隣接するフィルタ係数差分の絶対値|gradFilter[nFrac][pos] - gradFilter[nFrac][pos + 1]|の最大値は、フィルタセットＡ（高分解能フィルタセット）の方がフィルタセットＢ（低分解能フィルタセット）よりも小さい（関係性Ｒ２）。
　・中心の位相nFracC(1/M画素精度フィルタの場合は、nFracC = M/2)に対応するフィルタ係数gradFilter[nFracC][pos]において、中心位置posC (posC = TAP/2)のフィルタ係数gradFilter[n][posC]と中心位置posと隣接するposC+1のフィルタ係数gradFilter[n][posC+1]を参照した場合、フィルタセットＡ（高分解能フィルタセット）では、２つのフィルタ係数は互いに符号が異なり、フィルタセットＢ（低分解能フィルタセット）では、２つのフィルタ係数は互いに符号が等しい関係を有する（関係性Ｒ３）
　・gradFilter[nFrac][pos]を周波数変換した場合において、フィルタセットＡの高周波数成分の量ほうが、フィルタセットＢの高周波数成分の量よりも大きい（関係性Ｒ４）
　たとえば、図２７を参照すると、1/4画素精度(M=4)で８タップフィルタ(TAP=8)であるので、中心の位相nFracC = 2、中心位置posC = 4である。このとき、中心位相nFracCでの、フィルタセットＡの例filter1のフィルタ係数、フィルタセットＢの例filter2のフィルタ係数を抽出すると以下である。
　{0, -1, 4, -57, 57, -4, 1, 0} >> 4　　　　　　フィルタセットＡ（filter1）
　{-1, 2, -50, -53, 53, 50, -2, 1} >> 5　　　　フィルタセットＢ（filter2）
　以下、上記例のフィルタにおいて、関係性Ｒ１～Ｒ３が成り立つことを簡単に示す。
　（関係性Ｒ１テスト）フィルタ係数の絶対値│gradFilter[nFrac][pos]│は、フィルタセットＡで57>>4、フィルタセットＢで53>>5であるので、関係性Ｒ１が成り立つ。
　（関係性Ｒ２テスト）フィルタ係数差分の最大値は、フィルタセットＡで(57-(-57))>>4、フィルタセットＢで(53-(-53))>>5であるので、関係性Ｒ２が成り立つ。
　（関係性Ｒ３テスト）中心位置nPosCと隣接位置nPOC+1の値をみると、フィルタセットＡでは57, -4と符号が異なり、フィルタセットＢでは、53, 50と符号が等しい。そのため、関係性Ｒ３がなりたつ。
　なお、フィルタ係数gradFilter[nFrac][pos]として、フィルタ演算を整数演算で行う場合、つまり、フィルタ係数が、実数におけるフィルタ係数の値をフィルタ精度GRAD_ACCUだけ左シフトした値である場合には、実数値におけるフィルタ係数の大きさは、整数値のフィルタ係数gradFilter[nFrac][pos]をフィルタ精度GRAD_ACCUだけ右シフトした値である。この場合、上記関係性（関係性Ｒ１、関係性Ｒ２）の判定では、フィルタ係数の値を1>>GRAD_ACCUで除算することで実数値に直してから判定する。
　たとえば、フィルタ係数の精度を考慮して、「フィルタ係数の絶対値│gradFilter[nFrac][pos]│」を、「│gradFilter[nFrac][pos]│>>GRAD_ACCU」に置き換えた値を用いる。また、「フィルタ係数差分の絶対値|gradFilter[nFrac][pos] - gradFilter[nFrac][pos + 1]|」を、「フィルタ係数差分の絶対値|gradFilter[nFrac][pos] - gradFilter[nFrac][pos + 1]| >>GRAD_ACCU」におきかえた値を用いると好適である。全体としてフィルタセットＡとフィルタセットＢの精度GRAD_ACCU_A+GRAD_ACCU_Bだけ左シフトした値で比較してもよい。
　ここで、高分解能フィルタセットと、低分解能フィルタセットのフィルタ精度が等しい場合には、フィルタ精度は特に考慮する必要はなく、上記の関係性（関係性Ｒ１、関係性Ｒ２）をそのまま用いればよい。
　図２７の（ａ）は、高分解能フィルタセットの一例であり、図２７の（ｂ）は低分解能フィルタセットの一例である。ここでは、フィルタ精度が４（GRAD_ACCU = 4）の高分解能フィルタセット（filter1）、およびフィルタ精度が５（GRAD_ACCU = 5）の低分解能フィルタセット（filter2）を例示している。なお、図２７の（ｂ）の低分解能フィルタセットは、高分解能フィルタセットとローパスフィルタ（[1 2 1]フィルタ）とのコンボルージョンによって導出されたものである。
　図２８は、図２７に示す高分解能フィルタセット（図中ではfilter 1）および低分解能フィルタセット（図中ではfilter 2）の各位相nFrac（nFracは、xFracもしくはyFrac）に対する位置posのフィルタ係数gardFitler[nFrac][pos]の値をグラフで示したものである。（ａ）から（ｄ）は各々、位相nFrac＝０、nFrac＝１、nFrac＝２、nFrac＝３に対応する。グラフの横軸は、位置posに対応し、pos = 0..7の８個のposについて、1..8の値で示している。高分解能フィルタセットに比べて低分解能フィルタセットの方では、極大または極小となる値の絶対値がより小さくなっている傾向があることが分かる。
　なお、ここでは、勾配導出部３０９１１２が切り替えるフィルタセットを「高分解能フィルタセット」および「低分解能フィルタセット」と呼称して説明したが、この名称には特に限定されない。すなわち、動き補償部３０９１は、図２７に示すように、互いに異なる少なくとも２つのフィルタセット（例えば、図２７のfilter1およびfilter2）を備えており、勾配導出部３０９１１２がフィルタセット１（filter1）およびフィルタセット２（filter2）を適宜切り替える構成であってもよい。以下では、勾配導出部３０９１１２が切り替えるフィルタセットを、「フィルタセット１」および「フィルタセット２」と呼称して説明する。またフィルタセットと呼ばず、フィルタ係数、たとえば、「フィルタ係数１」および「フィルタ係数２」と呼んでもよい。
　なお、３つ以上のフィルタセット、たとえば、高分解能フィルタセット、中分解能フィルタセット、低分解能フィルタセットを切り替える構成でもよい。
　なお、以下では、パラメータＸの大きさに基づいてフィルタセットを切り替える場合、Ｘと所定の閾値を比較により分類しているが、除算、シフト、テーブル参照などにより、パラメータＸから、直接、識別のためのインデックスidxを導出してもよい。たとえば、以下のように除算、シフト演算から導出する方法が適当である。
　idx ＝　Ｘ / TH
　idx ＝　Ｘ>> shiftTH
　なお、TH、shiftTHはインデックスidxを導出ために用いる所定の定数である。
　さらに、非等間隔の分類を可能とするために、シフト値などの一時変数からインデックスを導出するテーブルidxTransTbl[]を用いて以下のように導出してもよい。
　idx = idxTransTbl[Ｘ / TH]
　idx = idxTransTbl[Ｘ >> shiftTH]
idxTransTblとしては、たとえば、以下のようなテーブルが利用できる。
idxTransTbl = [0, 1, 2, 2, 3, 3, 4, 4, 4, 4]
　さらに導出したインデックスidxに基づいてテーブルを参照し、フィルタセットを求める方法でも構わない。
　たとえばＸには、解像度（サイズ）、ブロックサイズ、フレームレート、動きベクトル、ピクチャ間隔、量子化ステップ（量子化パラメータ）やそれらの組み合わせなどが用いられる。解像度（サイズ）やブロックサイズは、幅と高さの積（width*height）や和（width+height）から導出してもよい。
　（ＳＴＥＰ１：解像度依存でのフィルタセット切り替え）
　動き補償画像Ｐ０およびＰ１の解像度が高い場合には、全体の動きベクトルの長さが長くなる傾向があるため、このような条件下では、比較的広い範囲における勾配を捉えることが可能なフィルタセット２（例えば、低分解能フィルタセット）を適用することが好ましい。
　勾配導出部３０９１１２は、動き補償画像Ｐ０およびＰ１の解像度に応じて、勾配補償フィルタgradFilterを切り替える構成であってもよい。具体的には、勾配導出部３０９１１２は、解像度が大きいほどより低分解能となるようなフィルタセットを用いて勾配画像（lx0, lx1, ly0, ly1）を導出する構成でもよい。図２９は、解像度依存でのフィルタセット（フィルタ係数）を切り替える処理の流れの一例を示すフローチャートである。
　図２９に示すように、例えば、勾配導出部３０９１１２は、動き補償画像Ｐ０およびＰ１の解像度（サイズ）が所定の閾値TH以上である（例えば、1920×1080以上）場合には、フィルタセット２（フィルタ係数２）を適用し、解像度が所定の閾値THより低い（例えば、1920×1080未満）場合には、フィルタセット１（フィルタ係数１）を適用してもよい。
　（ＳＴＥＰ１：ブロックサイズ依存でのフィルタセット切り替え）
　対象画素を含む予測ブロックもしくは予測ブロックを分割したサブブロックのブロックサイズが大きい場合には、全体の動きベクトルの長さが長くなる傾向があるため、このような条件下では、比較的広い範囲における勾配を捉えることが可能なフィルタセット２（例えば、低分解能フィルタセット）を適用することが好ましい。
　そこで、勾配導出部３０９１１２は、勾配画像を導出する対象となる画素である対象画素が含まれるブロックのサイズに応じて、勾配補償フィルタgradFilterを切り替える構成であってもよい。具体的には、勾配導出部３０９１１２は、ブロックサイズが大きいほどより低分解能となるようなフィルタセットを用いて勾配画像（lx0, lx1, ly0, ly1）を導出する構成でもよい。
　例えば、勾配導出部３０９１１２は、動き補償画像Ｐ０およびＰ１に含まれる対象画素を含むブロックのブロックサイズが所定の閾値以上である場合（例えば、１６×１６以上）には、フィルタセット２を適用し、該対象画素を含むブロックのブロックサイズが所定の閾値より小さい場合（例えば、１６×１６未満）には、フィルタセット１を適用してもよい。
　（ＳＴＥＰ１：フレームレート依存でのフィルタセット切り替え）
　動き補償画像Ｐ０およびＰ１の解像度／フレームレートが大きい場合、全体の動きベクトルの長さが長くなる傾向があるため、このような条件下では、比較的広い範囲における勾配を捉えることが可能なフィルタセット２（例えば、低分解能フィルタセット）を適用することが好ましい。
　そこで、勾配導出部３０９１１２は、動き補償画像Ｐ０およびＰ１のフレームレートFrameRateに応じて、勾配補償フィルタgradFilterを切り替える構成であってもよい。具体的には、勾配導出部３０９１１２は、フレームレートが小さいほどより低分解能となるようなフィルタセットを用いて勾配画像（lx0, lx1, ly0, ly1）を導出する構成でもよい。
　例えば、勾配導出部３０９１１２は、フレームレートが所定の閾値以下である場合（例えば、FrameRate <= TH, TH = 60）には、フィルタセット２を適用し、フレームレートが所定の閾値より大きい場合（例えば、FrameRate > TH）には、フィルタセット１を適用してもよい。
　あるいは、勾配導出部３０９１１２は、動き補償画像Ｐ０およびＰ１の解像度／フレームレートが所定の閾値より大きい場合（例えば、Width/FrameRate > TH, TH = 1920/60 =32）には、フィルタセット２を適用し、解像度／フレームレートが所定の閾値以下である場合（例えば、Width/FrameRate <= TH）には、フィルタセット１を適用してもよい。
　（ＳＴＥＰ１：動きベクトル依存でのフィルタセット切り替え）
　隣接ブロックの動きベクトルMVとの差分（および動きベクトルmvLX）が大きい場合、対象ブロック内の動きの変化も比較的大きい傾向がある。そこで、このような条件下では、比較的広い範囲における勾配を捉えることが可能なフィルタセット２（例えば、低分解能フィルタセット）を適用することが好ましい。
　そこで、勾配導出部３０９１１２は、対象ブロックの動きベクトルMV（動きベクトル、mvLX）と、当該対象ブロックの予測ベクトルPMV（予測動きベクトル、mvpLX）との差に応じて、勾配補償フィルタgradFilterを切り替える構成であってもよい。具体的には、勾配導出部３０９１１２は、差分ベクトルDMVや動きベクトルmvLX、予測ベクトルmvpLXが大きいほどより低分解能となるようなフィルタセットを用いて勾配画像（lx0, lx1, ly0, ly1）を導出する構成でもよい。
　例えば、勾配導出部３０９１１２は、差分ベクトルDMVが所定の閾値以上の場合には、フィルタセット２を適用し、差分ベクトルDMVが所定の閾値より小さい場合には、フィルタセット１を適用してもよい。
　ここで、「対象ブロックの動きベクトルMVと、当該対象ブロックの予測ベクトルPMV（予測動きベクトル）との差」は、差分ベクトルDMV（mvdLX）であってもよいし、
　absDMV = │MVx - PMVx│ + │MVy - PMVy│
の式から得られる差分ベクトル絶対値absDMVであってもよい。
　また、予測ベクトルPMVとしては、コロケート動きベクトル（すなわち、前ピクチャの同じ位置の動きベクトル）であってもよいし、左ブロックの動きベクトル、または上ブロックの動きベクトルであってもよい。
　なお、勾配導出部３０９１１２は、「隣接ブロックの動きベクトルMVとの差分」の代わりに「対象ブロックの動きベクトルmvLX」に応じて、勾配補償フィルタgradFilterを切り替える構成であってもよい。
　（ＳＴＥＰ１：ピクチャ間距離依存でのフィルタセット切り替え）
　ピクチャ間距離（上記の例ではdeltaPOC）が大きい場合、全体の動きベクトルの長さが長くなる傾向があるため、このような条件下では、比較的広い範囲における勾配を捉えることが可能なフィルタセット２（例えば、低分解能フィルタセット）を適用することが好ましい。
　そこで、勾配導出部３０９１１２は、対象ブロックを含む対象画像Ｃｕｒと、動き補償画像Ｐ０およびＰ１（あるいは、Ｌ０参照画像refImgL0およびＬ１参照画像refImgL1）の少なくとも何れかとの間のピクチャ間距離に応じて、フィルタセットを切り替える構成であってもよい。具体的には、勾配導出部３０９１１２は、ピクチャ間距離が大きいほどより低分解能となるようなフィルタセットを用いて勾配画像（lx0, lx1, ly0, ly1）を導出する構成でもよい。
　例えば、勾配導出部３０９１１２は、ピクチャ間距離が所定の閾値以上の場合には、フィルタセット２を適用し、ピクチャ間距離が所定の閾値より小さい場合には、フィルタセット１を適用してもよい。
　ここで、勾配導出部３０９１１２は、対象ブロックを含む対象画像Ｃｕｒのピクチャ順序番号ＰＯＣ（POC_curr）、Ｌ０参照画像refImgL0のピクチャ順序番号ＰＯＣ（POC_l0）、およびＬ１参照画像refImgL1のピクチャ順序番号ＰＯＣ（POC_11）から導出してもよく、この場合、ピクチャ間距離は、
　deltaPOC = |POC_l0 - POC_curr| + |POC_l1 - POC_curr|　 // 平均および合計
　deltaPOC = max(|POC_l0 - POC_curr|,|POC_l1 - POC_curr|) // 最大値
という式から、deltaPOCとして導出される。
　（ＳＴＥＰ１：量子化ステップ依存でのフィルタセット切り替え）
　対象画像Ｃｕｒの生成対象である対象ブロックの量子化ステップが大きい場合、細かい領域における変化は信頼性が低いと考えられる。このような条件下では、比較的広い範囲における勾配を捉えることが可能なフィルタセット２（例えば、低分解能フィルタセット）を適用することが好ましい。なお、量子化ステップは通常量子化パラメータが大きいほど、大きくなるため、以下量子化ステップを量子化パラメータに置き換えて適用してもよい。
　そこで、勾配導出部３０９１１２は、動き補償画像Ｐ０（あるいはＬ０参照画像refImgL0）の量子化ステップに応じて、動き補償画像Ｐ０に作用させるフィルタセットを切り替え、動き補償画像Ｐ１（あるいはＬ１参照画像refImgL1）の量子化ステップに応じて、動き補償画像Ｐ１に作用させるフィルタセットを切り替える。具体的には、勾配導出部３０９１１２は、量子化ステップが大きいほどより低分解能となるようなフィルタセットを用いて勾配画像（lx0, lx1, ly0, ly1）を導出する構成でもよい。
　更に、対象画像Ｃｕｒの対象ブロックの量子化係数に応じてフィルタセットを切り替えてもよい。
　すなわち、勾配導出部３０９１１２は、量子化係数又は量子化ステップに応じて、フィルタセットを切り替える構成であってもよい。
　例えば、勾配導出部３０９１１２は、量子化ステップが所定の閾値以上の場合には、フィルタセット２を適用し、量子化ステップが所定の閾値より小さい場合には、フィルタセット１を適用してもよい。
　（ＳＴＥＰ１：フラグを参照したフィルタセット切り替え）
　勾配導出部３０９１１２は、明示的なシグナリングとしてのフラグを参照して、フィルタセットを切り替える構成であってもよい。
　例えば、エントロピー符号化部１０４は、スライスヘッダＳＨおよびピクチャパラメータセットＰＰＳにおいて、使用するフィルタセットのフィルタセットインデックスを符号化する。勾配導出部３０９１１２は、スライスヘッダＳＨおよびピクチャパラメータセットＰＰＳから復号されたフィルタセットインデックスに基づいて、フィルタセットを切り替える構成であってもよい。
　（ＳＴＥＰ２：対象画像と参照画像との距離に依存した勾配補正）
　ピクチャ構成がランダムアクセスである場合、動き補償部３０９１は、対象画像Ｃｕｒと参照画像Ｐ０（第１の参照画像）との距離（T0）が、対象画像Ｃｕｒと参照画像Ｐ１（第２の参照画像）との距離（T1）に等しいと仮定しているが、ピクチャ構成がLowDelayBである場合と同様、動き補償部３０９１は、図１８に示す対象画像Ｃｕｒと参照画像Ｐ０との距離（T0）、対象画像Ｃｕｒと参照画像Ｐ１との距離（T1）に依存して、補正重みベクトル(u, v)を導出してもよい。しかし、単純に対象画像Ｃｕｒと参照画像Ｐ０との距離（T0）、および対象画像Ｃｕｒと参照画像Ｐ１との距離（T1）を考慮しても、動き補償処理の性能は必ずしも向上しない。
　そこで、動き補償部３０９１は、ピクチャ間隔（ピクチャ間距離）に依存した重み係数を用いて、動き補償処理を行ってもよい。
　動き補償部３０９１（フレーム間距離重み導出部３０９１３１）は、下記式によりT0, T1を導出する。
　TO = POC_L0 - POC_Curr
　T1 = POC_curr - POC_L1
　なお、T0, T1の導出は、以下の式でもよい。
　T0 = POC_curr - POC_L0
　T1 = POC_L1 - POC_Curr
　具体的には、勾配積導出部３０９１２１は、
　Σ│l0 - l1│2 =Σ│(P0 - P1) + (TO * lx0 + T1 * lx1) * u + (TO * ly0 + T1 *ly1) * v│2　（式Ａ３０）
によって得られる値が最小となるuおよびvを導出する（上記式Ａ７に対応）。そのようなuおよびvを導出するために、勾配積導出部３０９１２１は、
　s1 =Σ(T0 * lx0 + T1 * lx1)2
　s2 = s4 =Σ(T0 * lx0 + T1 * lx1) (T0 * ly0 + T1 * ly1)
　s3 = -Σ(P0 + P1) * (T0 * lx0 + T1 * lx1)
　s5 =Σ(T0 * ly0 + T1 * ly1)2
　s6 = -Σ(P0 - P1) * (T0 * ly0 + T1 * ly1)　　　（式Ａ３１）
を満たす中間パラメータs1（s1[][]）～s6（s6[][]）を導出する（上記式Ａ１８に対応）。なお式Ａ３１は、ピクチャ間隔を考慮して導出されるt1 = (P0 - P1)、t2 = (T0 * lx0+ T1 * lx1)、およびt3 = (T0 *ly0 + T1 *ly1)を、式Ａ１８を適用した場合に相当する。
　ここで、予測対象の画像である対象画像Ｃｕｒ上の点Ｉの画素値Iの予測式は、Ｌ０参照画像refImgL0上の点ｌ０の画素値l0およびＬ１参照画像refImgL1上の点ｌ１の画素値l1から、
　I = (l0 + l1) >> 1
　　= {P0 + P1 + (T0 * lx0 + T1 * lx1) * u + (T0 * ly0 + T1 * ly1) * v} >> 1　　
　（式Ａ３２）
と表すことができる（上記式Ａ６に対応）。
　また、勾配双予測導出部３０９１３は、対象画像Ｃｕｒと参照画像Ｐ０とのピクチャ間隔T0（第１のピクチャ間隔）に応じた第１の重み係数、及び、該対象画像Ｃｕｒと参照画像Ｐ１とのピクチャ間隔T1（第２のピクチャ間隔）に応じた第２の重み係数を導入して、勾配補正項modBIO[][]を導出する。すなわち、勾配双予測導出部３０９１３は、上記の式Ａ２の予測式を用いて、予測画像の画素値Predを導出する。なお、式Ａ２において、
　shiftPred = INTERNAL_BIT_DEPTH - bitDepthY + 1
であり、modBIOは、
　modBIO = {(T0 * lx0 - T1 * lx1) * uh + (T0 * ly0 - T1 * ly1) * vh} >> shiftBIO2　　（式Ａ３３）
によって導出される勾配補正項である（上記式Ａ２６に対応）。
　すなわち、勾配双予測導出部３０９１３は、勾配補正項modBIOを、水平勾配画像lx0およびlx1、垂直勾配画像ly0およびly1の各画素値を参照して導出するものであり、対象画像Ｃｕｒと参照画像Ｐ０とのピクチャ間隔T0、及び、該対象画像Ｃｕｒと参照画像Ｐ１とのピクチャ間隔T1に応じて決定されてもよい。ここで、ピクチャ間隔T0およびT1を、水平勾配画像lx0およびlx1、垂直勾配画像ly0およびly1の各画素値に乗じる各重み係数と呼ぶことも可能である。
　（ＳＴＥＰ２：対象画像と参照画像との距離に依存した勾配補正）
　勾配積導出部３０９１２１は、対象画像Ｃｕｒと参照画像Ｐ０とのピクチャ間隔T0に応じた第１の重み係数Ｗ０、及び、該対象画像Ｃｕｒと参照画像Ｐ１とのピクチャ間隔T1に応じた第２の重み係数Ｗ１を導入して、予測画像の画素値Predを導出してもよい。すなわち、参照画像Ｐ０の各画素の画素値に第１の重み係数Ｗ１を乗じ、参照画像Ｐ１の各画素の画素値に第２の重み係数を乗じて、時間ウェイトshiftWeightを考慮して予測画像の画素値Predを導出してもよい。この場合の予測式は、
　　　　Pred = {(W0 * P0 + W1 * P1) + modBIO + shiftOffset} >> shiftWeightPred
　　　　　　（式３４）
となる（上記式Ａ２に対応）。勾配積導出部３０９１２１は、この予測式を用いて、予測画像の画素値Predを導出する。なお、modBIOは、
　modBIO = {(lx0 - lx1) * uh + (ly0 - ly1) * vh} >> (shiftBIO2 + shiftWeight)　
　　（式Ａ３５）
によって導出される勾配補正項である（上記式Ａ２６に対応）。ここで、時間ウェイトを考慮した予測画像の画素値shiftWeightPredは、
　shiftWeightPred = shiftPred + shiftWeight
で得られ、時間ウェイトshiftWeightは例えば8である。
　勾配積導出部３０９１２１は、第１の重み係数Ｗ０、及び第２の重み係数Ｗ１を、
　W0 = (T1 << shiftWeight) / │T0 + T1│
　W1 = (1 << shiftWeight) - W0　　　（式Ａ３６）
または、
　W1 = (T0 << shiftWeight) / │T0 + T1│
　W0 = (1 << shiftWeight) - W1　　　（式Ａ３７）
として導出してもよい。
　あるいは、勾配積導出部３０９１２１は、第１の重み係数Ｗ０、及び第２の重み係数Ｗ１を、ピクチャの出力順序を示す情報POCに基づく、
　td = POC(refImgL1) - POC(refImgL0)
　tb = POC(currPic) - POC(refImgL0) 　　　（式Ａ３８）
を用いて、
　W0 = (1 << shiftWeight) - W1
　W1 = (tb << shiftWeight) / td　　　（式Ａ３９）
として導出してもよい（上記式３７に対応）。
　さらに、勾配積導出部３０９１２１は、対象画像Ｃｕｒと参照画像Ｐ０とのピクチャ間隔T0に応じた第１の重み係数Ｗ０、及び、該対象画像Ｃｕｒと参照画像Ｐ１とのピクチャ間隔T1に応じた第２の重み係数Ｗ１の導入に加えて、ピクチャ間隔に依存した重み係数を用いて、動き補償処理を行ってもよい。
　この場合の予測式は上記の式３４と同じ式であり、フレーム間距離重み導出部３０９１３１は、この予測式を用いて、予測画像の画素値Predを導出する。なお、modBIOは、
　modBIO = {(T0 * lx0 - T1 * lx1) * uh + (T0 * ly0 - T1 * ly1) * vh >> (shiftBIO2 + shiftWeight)　　　（式Ａ４０）
によって導出される勾配補正項である（上記式Ａ３５に対応）。ここで、時間ウェイトを考慮した予測画像の画素値shiftWeightPredは、shiftPred + shiftWeightで得られ、時間ウェイトshiftWeightは例えば8である。
　（ＳＴＥＰ２：対象画像と参照画像との距離を補正）
　あるいは、勾配積導出部３０９１２１は、対象画像Ｃｕｒと参照画像Ｐ０とのピクチャ間隔T0と、該対象画像Ｃｕｒと参照画像Ｐ１とのピクチャ間隔T1との比が、所定の範囲外である場合、ピクチャ間隔T0とピクチャ間隔T1との比が、所定の範囲となるようピクチャ間隔T0とピクチャ間隔T1に対して所定の処理を行い、所定の処理を行ったピクチャ間隔T0およびピクチャ間隔T1に応じて、勾配画像lx0、lx1、ly0、およびly1の各画素値に乗じる各重み係数を決定してもよい。
　勾配積導出部３０９１２１が、ピクチャ間隔に依存した重み係数を用いて勾配補正処理を行うときに、例えば、対象画像Ｃｕｒと参照画像Ｐ０とのピクチャ間隔T0と、該対象画像Ｃｕｒと参照画像Ｐ１とのピクチャ間隔T1との比が大きい場合（例えば、T0:T1 = 1:5など）には、その重み係数が重すぎて、かえって動き補償を適切に行うことができない虞がある。
　そこで、勾配積導出部３０９１２１は、対象画像Ｃｕｒと参照画像Ｐ０とのピクチャ間隔T0と、該対象画像Ｃｕｒと参照画像Ｐ１とのピクチャ間隔T1との比が大きい場合に、T0:T1 = 1:1から離れすぎないように所定の処理を施してもよい。
　勾配積導出部３０９１２１が行う補正（所定の処理）について、T0:T1に対して予め定められた範囲（所定の範囲）が2:1～1:2である場合を例に挙げて説明する。このような場合に、T0:T1 = 1:5（所定の範囲外）であれば、勾配積導出部３０９１２１は、T0:T1の比をそのまま用いた重み係数ではなく、T0:T1の所定の範囲内の値（例えば、T0:T1 = 1:2）となるように、ピクチャ間隔T1をピクチャ間隔T0の２倍にクリップ処理して、勾配画像lx0、lx1、ly0、およびly1の各画素値に乗じる各重み係数を決定する。
　具体的には、T0:T1に対して予め定められた範囲（所定の範囲）が2:1～1:2である場合において、ピクチャ間隔T0の絶対値abs(T0)がピクチャ間隔T1の絶対値abs(T1)の２倍よりも大きい場合には、勾配積導出部３０９１２１はピクチャ間隔T0を２倍にクリップ処理を行う。逆に、ピクチャ間隔T1の絶対値abs(T1)がピクチャ間隔T0の絶対値abs(T0)の２倍よりも大きい場合には、勾配積導出部３０９１２１はピクチャ間隔T1を２倍にクリップ処理を行う。すなわち、
　・if (abs(T0) > 2 * abs(T1)) T0 = sgn(T0) * 2 * abs(T1)
　・if (abs(T1) > 2 * abs(T0)) T1 = sgn(T1) * 2 * abs(T0)　　　（式Ａ４１）
である。
　あるいは、ピクチャ間隔T0の絶対値abs(T0)がピクチャ間隔T1の絶対値abs(T1)のmn/md倍よりも大きい場合には、勾配積導出部３０９１２１は、ピクチャ間隔T0をmn/md倍にクリップ処理を行う。逆に、ピクチャ間隔T1の絶対値abs(T1)がピクチャ間隔T0の絶対値abs(T0)のmn/md倍よりも大きい場合には、勾配積導出部３０９１２１は、ピクチャ間隔T1をmn/md倍にクリップ処理を行ってもよい。すなわち、
　・if (md * abs(T0) > mn * abs(T1)) T0 = sgn(T0) * mn * abs(T1)/md
　・if (md * abs(T1) > mn * abs(T0)) T1 = sgn(T1) * mn * abs(T0)/md
　　　（式Ａ４２）
である。なお、sgn(X)は、Ｘの符号を求める関数であり、Xが０以上の場合１、０未満の場合－１を返す。
　なお、mdが２のべき乗の場合、
　・if (md * abs(T0) > mn * abs(T1)) T0 = sgn(T0) * mn * abs(T1) >> log2(md)
　・if (md * abs(T1) > mn * abs(T0)) T1 = sgn(T1) * mn * abs(T0) >> log2(md)
　　　（式Ａ４３）
である。ここで、mnは分数の分子を表し、mdは分数の分母を表している。mnおよびmdとしては、これに限定されるものではないが、mn = 2、md = 1（２倍）、およびmn = 3、md =2（１．５倍）などが挙げられる。
　（ＳＴＥＰ２：対象画像と参照画像との距離に依存した勾配補正の有無を示すフラグ）
　勾配積導出部３０９１２１は、対象画像と参照画像との距離に依存した勾配補正を行うか否かを、符号化データに含まれるピクチャ間隔依存勾配フラグbio_pic_dist（所定のフラグ）に応じて決定してもよい。
　すなわち、勾配積導出部３０９１２１は、ピクチャ間隔依存勾配フラグbio_pic_distが１（第１の値）である場合、勾配画像lx0、lx1、ly0、およびly1の各画素値に乗じる各重み係数が、対象画像Ｃｕｒと参照画像Ｐ０とのピクチャ間隔T0、および、該対象画像Ｃｕｒと参照画像Ｐ１とのピクチャ間隔T1に応じて決定される。そして、ピクチャ間隔依存勾配フラグbio_pic_distが０（第２の値）である場合、勾配画像lx0、lx1、ly0、およびly1の各画素値に乗じる各重み係数は、互いに等しい値であってよい。たとえば、T0 = T1 = 1としてもよい。
　具体的には、勾配積導出部３０９１２１は、ピクチャ間隔依存勾配フラグbio_pic_distが１（第１の値）である場合、上記の式Ａ３１を満たす中間パラメータs1（s1[][]）～s6（s6[][]）を導出する（上記式Ａ１８に対応）。この場合、modBIOは、
　modBIO = {(T0 * lx0 - T1 * lx1) * uh + (T0 * ly0 - T1 * ly1) * vh} >> shiftBIO2　　　（式Ａ４４）
によって導出される勾配補正項である（上記式Ａ３３に対応）。
　一方、ピクチャ間隔依存勾配フラグbio_pic_distが０（第２の値）である場合、図２０の（ｂ）に示す式を満たす中間パラメータs1（s1[][]）～s6（s6[][]）を導出する。この場合、modBIOは、上記の式Ａ２６によって導出される勾配補正項である。
　（ＳＴＥＰ２：ブロック毎に重み係数を決定）
　勾配積導出部３０９１２１は、勾配画像lx0、lx1、ly0、およびly1の各画素値に乗じる各重み係数を、ブロック毎に決定するように構成してもよい。例えば、勾配積導出部３０９１２１は、固定（例えば、４×４など）のブロック毎に、上記の式Ａ３１を満たす中間パラメータs1（s1[][]）～s6（s6[][]）を導出してもよい。
　勾配補正係数導出部３０９１２２は、導出した中間パラメータs1（s1[][]）～s6（s6[][]）を用いて、補正重みベクトル(u, v)を導出する。
　このように、中間パラメータs1（s1[][]）～s6（s6[][]）をブロック毎に導出すれば、中間パラメータs1（s1[][]）～s6（s6[][]）におけるばらつきが小さくなり、ノイズが低減する、という効果が期待できる。また、ブロック（例えば、１６画素を含むブロック）につき１度の演算によって、ＳＴＥＰ２の処理を行うことができるので、ＳＴＥＰ２の処理に要求される演算量を低下させることも可能である。
　勾配積導出部３０９１２１は、上記のようにブロック毎（例えば、４×４のブロック）に補正重みベクトル(u, v)を決定することに加えて、導出した補正重みベクトル(u, v)に対してフィルタ（例えば、内挿フィルタ）を適用して、ある画素の補正重みベクトル(u, v)を導出してもよい。
　　例えば、ある画素の補正重みベクトル(u, v)は、N×Nのブロック単位の補正重みベクトル(u,v)の重み付平均、
　u(x, y) = (w00 * u(x, y) + w10 * u(x + N, y) * w01 * u(x, y + N) * w11 * u(x +N, y + N)) >> n
　v(x, y) = (w00 * v(x, y) + w10 * v(x + N, y) * w01 * v(x, y + N) * w11 * v(x +N, y + N)) >> n　　　（式Ａ４５）
　により導出してもよい。重みはたとえば線形予測の重み係数として、以下を用いることができる。
　n = log2(N) + 1
　w1x = x & (N - 1)
　w0x = N - w1
　w1y = x & (N - 1)
　w0y = N - w1
　w00 = w0x * w0y, w10 = w1x * w0y, w01 = w0x * w1y, w11 = w1x * w1y
　また、N×Nのブロック単位の補正重みベクトル(u,v)が1/Nで圧縮されて格納されている場合には、その補正ベクトルを(u0, v0)とすると、
　u(x, y) = (w00 * u0(x, y) + w10 * u0(x + 1, y) * w01 * u0(x, y + 1) * w11 * u0(x + 1, y + N)) >> n
　v(x, y) = (w00 * v0(x, y) + w10 * v0(x + 1, y) * w01 * v0(x, y + 1) * w11 * v0(x + N, y + 1)) >> n　　　（式Ａ４６）
　により導出してもよい。
　なお、上記の式Ａ４５、式Ａ４６は、２次元の重み付平均を単一の処理で行っているが、２段階の処理としてもかまわない。すなわち、垂直の重み付平均で一時的画像を生成し、生成した一時的画像にされに水平の重み付平均をかけて２次元の重み付平均を実現してもよい。また、水平、垂直の順で処理してもかまわない。
　さらに、勾配積導出部３０９１２１は、ブロック毎（例えば、４×４のブロック）に決定された各補正重みベクトル(u, v)（重み係数）に対して、所定のフィルタを適用することにより、画素毎の各補正重みベクトル(u, v)を導出してもよい。所定のフィルタの例としては、ローパスフィルタ（例えば、平滑化フィルタ）が挙げられる。
　例えば、ある画素の補正重みベクトル(u, v)は、
　utemp(x, y) = (u(x, y - 1) + 2 * u(x, y) + u(x, y + 1))
　u(x, y) = (utemp(x - 1, y) + 2 * utemp(x, y) + utemp(x + 1, y)) >> 4
　vtemp(x, y) = (v(x, y - 1) + 2 * v(x, y) + v(x, y + 1))
　v(x, y) = (vtemp(x - 1, y) + 2 * vtemp(x, y) + vtemp(x + 1, y)) >> 4
　　　（式Ａ４７）
として導出される。
　このように、ブロック毎に導出した中間パラメータs1（s1[][]）～s6（s6[][]）のノイズを低減させた後に、ブロック毎（例えば、４×４のブロック）に決定された各補正重みベクトル(u, v)（重み係数）に対して所定のフィルタを適用すれば、細かい動きにも対応した動き補償を行うことができる。
　（ＳＴＥＰ２：適応的な勾配補正係数のクリップ処理）
　前述のように、勾配補正係数導出部３０９１２２は、勾配画像lx0、lx1、ly0、およびly1の各画素値に乗じる勾配補正係数uhおよびvh（各重み係数）に対してクリップ処理を行う。勾配補正係数導出部３０９１２２は、ＳＴＥＰ１において上記のフィルタセット１を適用する場合と、上記のフィルタセット２を適用する場合とで、導出した勾配補正係数uhおよびvhに対して行うクリップ処理の値域（範囲）（-rangeBIO～rangeBIO）を、複数の値域の候補から切り替えてもよい。また、値域をパラメータに応じて導出するような構成でもよい。
　オプティカルフロー（勾配変化）は、局所領域の変化に対して１次微分（すなわち勾配）を用いて近似することができるという仮定に基づく技術である。したがって、オプティカルフロー（勾配変化）は本来、補正重みベクトル(u, v)（および、勾配補正係数uh、vh）が小さい場合にのみ適用可能な技術であるといえる。そのため、比較的小さい範囲で、補正重みベクトル(u, v)をクリップする処理が適当である。
　しかしながら、ＳＴＥＰ１においてフィルタセット２（例えば、低分解能フィルタ）が適用されると、比較的広範囲における勾配、すなわち、比較的大きな補正重みベクトル(u, v)を検出することが可能となるため、フィルタセット２が適用された場合には、比較的小さな補正重みベクトル(u, v)の検出を想定するフィルタセット１が適用される場合に比べて、勾配補正係数uhおよびvhに対して行うクリップ処理の値域を広範囲にしてもよい。
　動き補償部３０９１は、勾配画像lx0、lx1、ly0、およびly1を導出する際に用いる勾配フィルタを切り替える勾配導出部３０９１１２（第１切り替え部）を備え、さらに、勾配補正係数導出部３０９１２２（クリップ部）は、勾配導出部３０９１１２により選択された勾配フィルタに応じて、クリップ処理の範囲を切り替えてもよい。
　すなわち、図３１の（ｂ）に示すように、複数のフィルタセットを切り替えることが可能な構成である勾配補正係数導出部３０９１２２において、選択されたフィルタセットに基づいて、勾配補正係数uhおよびvhに対して行うクリップ処理の値域を変更してもよい。
　なお、以下の例では２つのクリップ処理の値域を切り替える例を示しているが分類数を３つ以上にして、３つ以上のクリップ処理の値域、たとえば、大の値域、中の値域、小の値域を切り替える構成でもよい。
　なお、以下では、パラメータＸの大きさに基づいてクリップ処理の値域を切り替える場合、Ｘと所定の閾値を比較により分類しているが、除算、シフト、テーブル参照などにより、パラメータＸから直接、識別のためのインデックスidxを導出してもよい。さらに導出したインデックスidxに基づいてテーブルを参照し、クリップ処理の値域を求める方法でも構わない。たとえばＸには、解像度、ブロックサイズ、フレームレート、動きベクトル、ピクチャ間隔、量子化ステップ（量子化パラメータ）やそれらの組み合わせなどが用いられる。なお、具体的な処理の例は、フィルタセットを切り替える構成で説明したので説明を省略する。
　（ＳＴＥＰ２：解像度依存でのクリップ処理の範囲の切り替え）
　動き補償画像Ｐ０およびＰ１の解像度が高い場合には、全体の動きベクトルの長さが長くなる傾向があるため、このような条件下では、比較的広い範囲に設定したクリップ処理を適用することが好ましい。一方、動き補償画像Ｐ０およびＰ１の解像度が低い場合には、比較的狭い範囲に設定したクリップ処理を適用することが好ましい。
　そこで、勾配補正係数導出部３０９１２２は、動き補償画像Ｐ０およびＰ１の解像度に応じて、クリップ処理の範囲を導出する構成であってもよい。具体的には、勾配補正係数導出部３０９１２２は解像度が大きいほどクリップ処理の値域がより大きくなるような関係を有するクリップを用いる、構成でもよい。なお、Ｘが大きいほどＹがより大きくなるとは、Ｘ１＞Ｘ０を満たすＸであるＸ０、Ｘ１においてＸ０の場合のＹであるＹ０、Ｘ１の場合のＹであるＹ１について、Ｙ１≧Ｙ０が満たされればよい。したがって、Ｘが大きくなる関係（Ｘ０＞Ｘ１）の２つのＸ（Ｘ０、Ｘ１）であっても同じＹ（Ｙ０＝Ｙ１）を用いても構わない。ただし、Ｘの値域において少なくとも２つの値のＹを用いる必要がある。
　例えば、勾配補正係数導出部３０９１２２は、動き補償画像Ｐ０およびＰ１の解像度が所定の閾値TH以上である（例えば、1920×1080以上）場合には、クリップ処理の値域を、-MVTH0～MVTH0 (例えば、MVTH0 = 2)とし、解像度が所定の閾値THより低い（例えば、1920×1080未満）場合には、クリップ処理の値域を、-MVTH1～MVTH1 (例えば、MVTH1 = 1/3)と設定してもよい。
　（ＳＴＥＰ２：ブロックサイズ依存でのクリップ処理の範囲の切り替え）
　対象画素を含むブロックサイズが大きい場合には、全体の動きベクトルの長さが長くなる傾向があるため、このような条件下では、比較的広い範囲に設定したクリップ処理を適用することが好ましい。一方、対象画素を含むブロックサイズが小さい場合には、比較的狭い範囲に設定したクリップ処理を適用することが好ましい。
　そこで、勾配補正係数導出部３０９１２２は、勾配画像を導出する対象となる対象画素が含まれるブロックのサイズに応じて、クリップ処理の範囲を切り替える構成であってもよい。具体的には、勾配補正係数導出部３０９１２２は、ブロックサイズが大きいほどクリップ処理の値域がより大きくなるような関係を有するクリップを用いる構成でもよい。
　例えば、勾配補正係数導出部３０９１２２は、動き補償画像Ｐ０およびＰ１に含まれる対象画素を含むブロックのブロックサイズが所定の閾値以上である場合（例えば、１６×１６以上）には、クリップ処理の値域を-2～2などとし、該対象画素を含むブロックのブロックサイズが所定の閾値より小さい場合（例えば、１６×１６未満）には、クリップ処理の値域を-2/3～2/3などとしてもよい。
　（ＳＴＥＰ２：フレームレート依存でのクリップ処理の範囲の切り替え）
　動き補償画像Ｐ０およびＰ１のフレームレートが小さい場合、および解像度／フレームレートが大きい場合、全体の動きベクトルの長さが長くなる傾向があるため、このような条件下では、比較的広い範囲に設定したクリップ処理を適用することが好ましい。
　そこで、勾配補正係数導出部３０９１２２は、動き補償画像Ｐ０およびＰ１のフレームレートFrameRateに応じて、クリップ処理の範囲を切り替える構成であってもよい。具体的には、勾配補正係数導出部３０９１２２は、フレームレートFrameRateが小さい（解像度／フレームレートが大きい）ほどクリップ処理の値域がより大きくなるような関係を有するクリップを用いる構成でもよい。
　例えば、勾配補正係数導出部３０９１２２は、フレームレートが所定の閾値以下である場合（例えば、FrameRate <= TH, TH = 60）には、クリップ処理の値域を-2～2などとし、フレームレートが所定の閾値より大きい場合（例えば、FrameRate > TH）には、クリップ処理の値域を-2/3～2/3などとしてもよい。
　あるいは、動き補償画像Ｐ０およびＰ１の解像度／フレームレートが所定の閾値より大きい場合（例えば、Width/FrameRate > TH, TH = 1920/60 = 32）には、クリップ処理の値域を-2～2とし、解像度／フレームレートが所定の閾値以下である場合（例えば、Width/FrameRate <= TH）には、クリップ処理の値域を-2/3～2/3としてもよい。
　（ＳＴＥＰ２：動きベクトル依存でのクリップ処理の範囲の切り替え）
　隣接ブロックの動きベクトルMVとの差分（および動きベクトルmvLX）が大きい場合、対象ブロック内の動きベクトルの変化も比較的大きい傾向がある。そこで、このような条件下では、比較的広い範囲における勾配を捉えるようにクリップ処理の値域を広くしてもよい。
　そこで、勾配補正係数導出部３０９１２２は、対象ブロックの動きベクトルMV（mvLX）と、当該対象ブロックの予測ベクトルPMV（予測動きベクトル、mvpLX）との差に応じて、クリップ処理の範囲を切り替える構成であってもよい。具体的には、勾配補正係数導出部３０９１２２は、差分ベクトルDMVが大きいほどクリップ処理の値域がより大きくなるような関係を有するクリップを用いる構成でもよい。
　例えば、勾配補正係数導出部３０９１２２は、差分ベクトルDMVが所定の閾値以上の場合には、クリップ処理の値域を-2～2などとし、差分ベクトルDMVが所定の閾値より小さい場合には、クリップ処理の値域を-2/3～2/3などとしてもよい。
　ここで、「対象ブロックの動きベクトルMVと、当該対象ブロックの予測ベクトルPMV（予測動きベクトル）との差」は、差分ベクトルDMV（mvdLX）であってもよいし、
　absDMV = │MVx - PMVx│ + │MVy - PMVy│
の式から得られる差分絶対値absDMVであってもよい。
　また、予測ベクトルPMVとしては、コロケート動きベクトル（すなわち、前ピクチャの同じ位置の動きベクトル）であってもよいし、左ブロックの動きベクトル、または上ブロックの動きベクトルであってもよい。
　なお、勾配補正係数導出部３０９１２２は、「隣接ブロックの動きベクトルMVとの差分」の代わりに「対象ブロックの動きベクトルmvLX」に応じて、クリップ処理の値域を切り替える構成であってもよい。具体的には、勾配補正係数導出部３０９１２２は、動きベクトルmvLXが大きいほどクリップ処理の値域がより大きくなるような関係を有するクリップを用いる構成でもよい。
　（ＳＴＥＰ２：ピクチャ間距離依存でのクリップ処理の範囲の切り替え）
　ピクチャ間距離deltaPOCが大きい場合、全体の動きベクトルの長さが長くなる傾向があるため、このような条件下では、比較的広い範囲における勾配を捉えるようにクリップ処理の値域を広くしてもよい。
　そこで、勾配補正係数導出部３０９１２２は、対象ブロックを含む対象画像Ｃｕｒと、動き補償画像Ｐ０およびＰ１（あるいは、Ｌ０参照画像refImgL0およびＬ１参照画像refImgL1）の少なくとも何れかとの間のピクチャ間距離に応じて、クリップ処理の範囲を切り替える構成であってもよい。具体的には、勾配補正係数導出部３０９１２２は、ピクチャ間距離が大きいほどクリップ処理の値域がより大きくなるような関係を有するクリップを用いる構成でもよい。
　例えば、勾配補正係数導出部３０９１２２は、ピクチャ間距離が所定の閾値以上の場合には、クリップ処理の値域を-2～2などとし、ピクチャ間距離が所定の閾値より小さい場合には、クリップ処理の値域を-2/3～2/3などとしてもよい。
　（ＳＴＥＰ２：量子化ステップ依存でのクリップ処理の範囲の切り替え）
　対象画像Ｃｕｒの生成対象である対象ブロックの量子化ステップが大きい場合、細かい領域における変化は信頼性が低いと考えられる。このような条件下では、比較的広い範囲における勾配を捉えるようにクリップ処理の値域を広くしてもよい。
　そこで、勾配補正係数導出部３０９１２２は、動き補償画像Ｐ０（あるいはＬ０参照画像refImgL0）の量子化ステップ、および動き補償画像Ｐ１（あるいはＬ１参照画像refImgL1）の量子化ステップに応じて、クリップ処理の値域を切り替えてもよい。
　更に、対象画像Ｃｕｒの対象ブロックの量子化係数に応じてクリップ処理の値域を切り替えてもよい。
　すなわち、勾配補正係数導出部３０９１２２は、量子化係数又は量子化ステップに応じて、クリップ処理の値域を切り替える構成であってもよい。具体的には、勾配補正係数導出部３０９１２２は、量子化ステップが大きいほどクリップ処理の値域がより大きくなるような関係を有するクリップを用いる構成でもよい。
　例えば、勾配補正係数導出部３０９１２２は、量子化ステップが所定の閾値以上の場合には、クリップ処理の値域を-2～2などとし、量子化ステップが所定の閾値より小さい場合には、クリップ処理の値域を-2/3～2/3などとしてもよい。
　（ＳＴＥＰ２：フラグを参照したクリップ処理の範囲の切り替え）
　勾配補正係数導出部３０９１２２は、明示的なシグナリングとしてのフラグを参照して、クリップ処理の値域を切り替える構成であってもよい。
　例えば、エントロピー符号化部１０４は、スライスヘッダＳＨおよびピクチャパラメータセットＰＰＳにおいて、使用するフィルタセットのフィルタセットインデックスを符号化する。勾配補正係数導出部３０９１２２は、スライスヘッダＳＨおよびピクチャパラメータセットＰＰＳから復号されたフィルタセットインデックスに基づいて、クリップ処理の値域を切り替える構成であってもよい。
　（ＳＴＥＰ２：適応的な正則化項の切り替え）
　前述のように、勾配補正係数導出部３０９１２２は、正則化項regcostを、勾配積導出部３０９１２１が導出した中間パラメータs1～s6に加算する。勾配補正係数導出部３０９１２２は、ＳＴＥＰ１において上記のフィルタセット１を適用する場合と、上記のフィルタセット２を適用する場合とで、中間パラメータs1～s6に加算する正則化項regcostの値を以下のようにして切り替えてもよい。
　正則化項regcostは、補正重みベクトル(u, v)の大きさを抑制する（０に近づける）ために、中間パラメータs1～s6に加算される。ＳＴＥＰ１においてフィルタセット２（例えば、低分解能フィルタ）が適用されると、比較的広範囲における勾配、すなわち、比較的大きな補正重みベクトル(u, v)を検出することが可能となるため、フィルタセット２が適用された場合には、中間パラメータs1～s6に加算する正則化項regcostの値を小さくして、導出される補正重みベクトル(u, v)を広範囲にしてもよい。逆に、フィルタセット１が適用される場合には、中間パラメータs1～s6に加算する正則化項regcostの値を大きくして、導出される補正重みベクトル(u, v)を小範囲としてもよい。なお、正則化項regcostの値を大きくしたときの正規化は「強い正規化」、正則化項regcostの値を小さくしたときの正規化は「弱い正規化」と呼ばれる。
　すなわち、複数のフィルタセットを切り替えることが可能な構成である勾配補正係数導出部３０９１２２において、図３１の（ａ）に示すように、選択されたフィルタセットに基づいて、正則化項regcostの値を変更してもよい。具体的には、勾配補正係数導出部３０９１２２は、フィルタセットの精度が低いほど正則化項がより小さくなるような関係を有する正規化を用いる。
　動き補償部３０９１は、勾配画像lx0、lx1、ly0、およびly1を導出する際に用いる勾配フィルタを切り替える勾配導出部３０９１１２（第１切り替え部）を備え、さらに、勾配補正係数導出部３０９１２２（第２切り替え部）は、勾配導出部３０９１１２により選択された勾配フィルタに応じて、正則化項regcostの値を切り替えてもよい。
　すなわち、前述した勾配補正係数導出部３０９１２２がクリップ処理の範囲を切り替える構成と同様に、勾配補正係数導出部３０９１２２は、正則化項regcostの値を切り替える構成であってもよい。
　なお、以下の例では２つの正規化項を切り替える例を示しているが分類数を３つ以上にして、３つ以上の正規化項、たとえば、大の正規化項、中の正規化項、小の正規化項を切り替える構成でもよい。
　なお、以下では、パラメータＸの大きさに基づいて正規化項を切り替える場合、Ｘと所定の閾値を比較により分類しているが、除算、シフト、テーブル参照などにより、パラメータＸから直接、識別のためのインデックスidxを導出してもよい。さらに導出したインデックスidxに基づいてテーブルを参照し、正規化項を求める方法でも構わない。たとえばＸには、解像度、ブロックサイズ、フレームレート、動きベクトル、ピクチャ間隔、量子化ステップ（量子化パラメータ）やそれらの組み合わせなどが用いられる。なお、具体的な処理の例は、フィルタセットを切り替える構成で説明したので説明を省略する。
　（ＳＴＥＰ２：解像度依存での正則化項の切り替え）
　勾配補正係数導出部３０９１２２は、動き補償画像Ｐ０およびＰ１の解像度に応じて、正則化項を切り替える構成であってもよい。具体的には、勾配補正係数導出部３０９１２２は、解像度が大きいほど正則化項がより小さくなるような関係を有する正規化を用いる構成でもよい。
　例えば、図３１の（ａ）に示すように、勾配補正係数導出部３０９１２２は、動き補償画像Ｐ０およびＰ１の解像度が高い、すなわち、所定の閾値TH以上である（例えば、1920×1080以上）場合には、比較的、大きな補正重みベクトル(u, v)が導出できるように、正則化項regcostを小さく設定し、弱い正則化を行い、解像度が低い、すなわち、所定の閾値THより低い（例えば、1920×1080未満）場合には、正則化項regcostが高解像度の場合よりも大きく設定し、強い正則化をおこなってもよい。
　（ＳＴＥＰ２：ブロックサイズ依存での正則化項の切り替え）
　勾配補正係数導出部３０９１２２は、勾配画像を導出する対象となる対象画素が含まれるブロックのサイズに応じて、正則化項を切り替える構成であってもよい。具体的には、勾配補正係数導出部３０９１２２は、ブロックサイズが大きいほど正則化項がより小さくなるような関係を有する正規化を用いる構成でもよい。
　例えば、勾配補正係数導出部３０９１２２は、動き補償画像Ｐ０およびＰ１に含まれる対象画素を含むブロックのブロックサイズが所定の閾値以上である場合（例えば、１６×１６以上）には、比較的、大きな補正重みベクトル(u, v)が導出できるように、正則化項regcostを小さく設定し、弱い正規化を行い、該対象画素を含むブロックのブロックサイズが所定の閾値より小さい場合（例えば、１６×１６未満）には、正則化項regcostを大きく設定し、強い正規化を行ってもよい。
　（ＳＴＥＰ２：フレームレート依存での正則化項の切り替え）
　勾配補正係数導出部３０９１２２は、動き補償画像Ｐ０およびＰ１のフレームレートFrameRateに応じて、正則化項を切り替える構成であってもよい。具体的には、勾配補正係数導出部３０９１２２は、フレームレートが小さいほど正則化項がより小さくなるような関係を有する正規化を用いる構成でもよい。
　例えば、勾配補正係数導出部３０９１２２は、フレームレートが所定の閾値以下である場合（例えば、FrameRate <= TH, TH = 60）には、比較的、大きな補正重みベクトル(u, v)が導出できるように、比較的正則化項regcostを小さく設定し、弱い正規化を行い、フレームレートが所定の閾値より大きい場合（例えば、FrameRate > TH）には、正則化項regcostを大きく設定し、強い正規化を行ってもよい。
　（ＳＴＥＰ２：動きベクトル依存での正則化項の切り替え）
　勾配補正係数導出部３０９１２２は、対象ブロックの動きベクトルMV（mvLX）と、当該対象ブロックの予測ベクトルPMV（予測動きベクトル、mvpLX）との差に応じて、正則化項を切り替える構成であってもよい。具体的には、勾配補正係数導出部３０９１２２は、差分ベクトルが大きいほど正則化項がより小さくなるような関係を有する正規化を用いる構成でもよい。
　例えば、勾配補正係数導出部３０９１２２は、差分ベクトルDMVが所定の閾値以上の場合には、比較的、大きな補正重みベクトル(u, v)が導出できるように、正則化項regcostを小さく設定し、弱い正規化を行い、差分ベクトルDMVが所定の閾値より小さい場合には、正則化項regcostを大きく設定し、強い正規化を行ってもよい。
　なお、勾配補正係数導出部３０９１２２は、対象ブロックの動きベクトルmvLXに応じて、正則化項を切り替える構成であってもよい。
　（ＳＴＥＰ２：ピクチャ間距離依存での正則化項の切り替え）
　勾配補正係数導出部３０９１２２は、対象ブロックを含む対象画像Ｃｕｒと、動き補償画像Ｐ０およびＰ１（あるいは、Ｌ０参照画像refImgL0およびＬ１参照画像refImgL1）の少なくとも何れかとの間のピクチャ間距離に応じて、正則化項を切り替える構成であってもよい。具体的には、勾配補正係数導出部３０９１２２は、ピクチャ間隔が大きいほど正則化項がより小さくなるような関係を有する正規化を用いる構成でもよい。
　例えば、勾配補正係数導出部３０９１２２は、ピクチャ間距離が所定の閾値以上の場合には、比較的、大きな補正重みベクトル(u, v)が導出できるように、正則化項regcostを小さく設定し、弱い正規化を行い、ピクチャ間距離が所定の閾値より小さい場合には、正則化項regcostを大きく設定し、強い正規化を行ってもよい。
　（ＳＴＥＰ２：量子化ステップ依存での正則化項の切り替え）
　勾配補正係数導出部３０９１２２は、動き補償画像Ｐ０（あるいはＬ０参照画像refImgL0）の量子化ステップ、および動き補償画像Ｐ１（あるいはＬ１参照画像refImgL1）の量子化ステップに応じて、正則化項を切り替えてもよい。具体的には、勾配補正係数導出部３０９１２２は、量子化ステップが大きいほど正則化項がより小さくなるような関係を有する正規化を用いる構成でもよい。
　例えば、勾配補正係数導出部３０９１２２は、量子化ステップが所定の閾値以上の場合には、比較的、大きな補正重みベクトル(u, v)が導出できるように、正則化項regcostを小さく設定し、弱い正規化を行い、量子化ステップが所定の閾値より小さい場合には、正則化項regcostを大きく設定し、強い正規化を行ってもよい。
　（ＳＴＥＰ２：フラグを参照した正則化項の切り替え）
　勾配補正係数導出部３０９１２２は、明示的なシグナリングとしてのフラグを参照して、正則化項を切り替える構成であってもよい。
　例えば、勾配補正係数導出部３０９１２２は、スライスヘッダＳＨおよびピクチャパラメータセットＰＰＳから復号されたフィルタセットインデックスに基づいて、正則化項を切り替える構成であってもよい。
　（マッチングモードを採用した動きベクトル導出）
　インター予測パラメータ復号部３０３（予測ベクトル算出部）のインター予測パラメータ復号制御部３０３１などは、動きベクトルmvLXを導出するときに用いる予測モードを、マージモード、ＡＭＶＰモード、またはマッチングモード（FRUCモード、マッチング予測モード）のいずれかを選択する構成であってもよい（図６参照）。あるいは、インター予測パラメータ復号制御部３０３１が動きベクトルmvLXを導出するときに用いるモードを選択するマッチング予測パラメータ導出部（図示せず）を、インター予測パラメータ復号制御部３０３１とは別に備える構成であってもよい。
　インター予測パラメータ復号部３０３による動きベクトル導出処理について、図３０を参照して説明する。図３０は、動きベクトル導出処理の流れを示すフローチャートである。
　以下の説明において、特に明示のない場合、各処理はインター予測パラメータ復号部３０３によって行われる。
　まず、ステップＳ１０１において、マージフラグmerge_flagが復号され、ステップＳ１０２において、merge_flag!=0 ?が判断される。
　merge_flag!=0 が真（Ｓ１０２でＹ）の場合、マッチングモード（マッチング予測モード）を用いるか否かを示すフラグptn_match_flagが、ステップＳ１０３にて復号され、ステップＳ１０４において、ptn_match_flag!=0が判断される。
　ptn_match_flag!=0が真（Ｓ１０４でＹ）の場合、Ｓ１０５において、マッチングモードの種類を示すシンタックスであるptn_match_modeが復号される。続いて、ステップＳ１０６において、ptn_match_modeによって指定されるマッチングモードが実行される。ptn_match_mode==1では、双予測マッチングを選択し、ptn_match_mode==2では、テンプレートマッチングを選択する。マッチングモードでは、たとえば、物体が等速運動をすると仮定して、複数の参照画像におけるブロックのマッチングにより動きベクトルを導出する。たとえば、物体が、Ｌ０参照画像のブロックBLK0、Ｌ１参照画像のブロックBLK1が、対象ブロックBLKCURを通るものと仮定する。この場合、Ｌ０参照画像のブロックBLK0と、Ｌ１参照画像のブロックBLK1を結ぶ軌跡がちょうど対象ブロックBLKCURを通過するとの仮定のもと、Ｌ０参照画像のブロックBLK0とＬ１参照画像のブロックBLK1を比較（マッチング）し、両社の差が小さくなるブロックを探索し選択する。この場合に、Ｌ０参照画像のブロックBLK0と対象ブロックの位置関係から、対象ブロックのＬ０参照画像に対する動きベクトルが導出され、Ｌ１参照画像のブロックBLK1と対象ブロックの位置関係から、対象ブロックのＬ１参照画像に対する動きベクトルが導出される。以上のようなマッチングモードを「双予測マッチング」、と呼ぶ。また、「双予測マッチング」のほか、マッチングモードとして「テンプレートマッチング」を用いる構成でもよい。テンプレートマッチングは、物体の動きがブロック境界において変化しない、と仮定して、対象画像上の対象ブロックの隣接領域（たとえば対象ブロックの上ラインと左列からなる逆Ｌ字型のテンプレート領域）、と、参照画像上のテンプレート領域（＝逆Ｌ字型の領域）で差分（マッチング）をとり、差分が最小となるブロックの指す動きベクトルを探索する。その探索でえられた、対象ブロックの隣接領域（テンプレート領域）における動きベクトルが、対象ブロックの動きベクトルと一致している、と仮定から、導出された動きベクトルを対象ブロックの動きベクトルとして用いる。
　一方、ステップＳ１０２において、merge_flag!=0 が偽（Ｓ１０２でＮ）の場合、ＡＭＶＰモードが選択される。より具体的にはインター予測パラメータ復号部３０３は、Ｓ１１０において、差分ベクトルmvdLXが復号され、Ｓ１１１では予測ベクトルインデックスmvp_LX_idxが復号される。更に、Ｓ１１２において、ＰＭＶ候補リストmvpListLXを導出する。続いて、Ｓ１１３において、動きベクトルmvLXを、
　mvLX = mvpListLX[mvp_LX_idx] + mvdLX
により導出する。
　また、ステップＳ１０４において、ptn_match_flag!=0が偽の場合、インター予測パラメータ復号部３０３は、Ｓ１０７において、マージインデックスmerge_idxを復号する。続いてインター予測パラメータ復号部３０３は、Ｓ１０８において、マージ候補リストmergeCandListを導出し、Ｓ１０９において、動きベクトルmvLXを、
　mvLX = mergeCand[merge_idx]
により導出する。
　（ＳＴＥＰ２：フラグを参照した正則化項の切り替え）
　マッチング予測では、動きベクトルの探索の精度として、細かい単位（たとえば1/4画素、1/8画素、1/16画素）を用いれば予測画像の精度は高くなるが処理量が増加する。動きベクトルの探索の精度を低精度（たとえば、1画素、1/2画素）とすれば処理量を抑えることができるが予測画像の精度は低下する。ところで、マッチング予測とＢＩＯ予測を併用する構成、すなわち、マッチング予測の後にＢＩＯ予測を行う構成では、マッチングで得られた動きベクトルで導出される動き補償画像を、ＢＩＯ予測によって補正することができると考えられる。このような構成の場合には、マッチング予測では、かりに低精度の動きベクトルであったとしても、ＢＩＯ予測によって、画素単位で導出される勾配から画素単位で導出される高精度の補正用の動きベクトル（＝補正重みベクトル(u, v)）により、補正できると考えられる。
　マッチングモードを採用（選択）した動きベクトルmvLXの導出を行う画像復号装置３１において、ＢＩＯ予測による動き補償を導入する場合、動き補償部３０９１は、マッチングモードにおいて動きベクトルMV（動きベクトルmvLX）を導出するための探索の精度を、ＢＩＯ予測を適用する場合には低いもの（たとえば１画素や1/2画素）としてもよい。すなわち、ＢＩＯ予測を適用するか否かに応じて、動き補償画像の導出に用いる動きベクトルの精度を切り替えてもよい。
　図３２は、ＢＩＯ予測モードおよびマッチングモードの予測精度の比較を示す図である。図３２に示すように、ＢＩＯ予測が適用可能な動きベクトルMVの範囲、すなわち、補正重みベクトル(u, v)は、例えば最大2/3 pel程度と小さいが、空間的な補正の単位（ブロックサイズ）単位は１×１画素（すなわち、各画素単位）とすることができる。また、ＢＩＯ予測では、動きベクトルMVに対する補正の精度（動き補償ベクトル(u, v)の精度など）は高く、例えば、shiftBIO=6とすれば1/64とすることができ、shiftBIO=8とすれば1/256とすることもできる。
　一方、マッチングモードにおいて、適応可能な動きベクトルMVの範囲は、例えば最大4 pel程度と大きいが、マッチングが当たっているかを判定するには比較的大きなブロックで行う必要があるため、空間的な補正の単位は８×８画素程度（すなわち、ブロック単位）である。また、ＢＩＯ予測では、処理量の関係上、動きベクトルMVに対する補正の精度を高めることは難しく、例えば、最高1/8程度である。
　そこで、マッチングモードとＢＩＯ予測とを併用する場合、マッチングモードで得られるベクトルの精度は低くてもよい。すなわち、マッチングモードでの動きベクトルMVの探索の精度を、ＡＭＶＰモードにおいて導出される動きベクトルの精度（例えば1/4 pel）よりも低下させてもよい。すなわち、動き補償画像の導出に用いる動きベクトルが、ＡＭＶＰモードにより導出される場合にはたとえば1/4画素単位で導出される場合において、ＢＩＯ予測と併用する（ＢＩＯ予測を後段に行う）マッチング予測においては、1/2画素単位で導出するようにしてもよい。マッチングモードでの動きベクトルMVの探索の精度を、ＡＭＶＰモードにおいて導出される動きベクトルの精度（例えば1/4 pel）よりも低下させることにより、マッチングモードにおける動きベクトルの探索が容易となるという効果を奏する。なお、マッチングモードで補正されなかった部分は、後に実行されるＢＩＯ予測を適用した動き補償において補正されるため問題とならない。
　また、マッチングモードにおいて、予め粗く（1 pelまたは1/2 pelごと）動きベクトルMVの補正（合わせ込み）を行っていれば、微小な動きしか補正できないＢＩＯ予測を適用した動き補償であっても、マッチングモードとＢＩＯの全体としては、十分補正することができる。
　なお、ＢＩＯ予測は、比較的小さな範囲、すなわち補正重みベクトル(u, v)が小さい範囲では、勾配が一定であるとの仮定に基づいて行われるため、補正重みベクトル(u, v)が大きくなるという仮定が成り立たない場合には好適には動作しない。しかし、マッチング予測の後にＢＩＯ予測を行う構成では、マッチングによりある程度の探索精度（たとえば１画素や1/2画素）で動きベクトルの導出（補正）を行っておけば、補正重みベクトル(u, v)はその探索精度以下となることが期待できる。
　（ＢＩＯフラグに応じたマッチングモードの動作切り替え）
　マッチングモードを採用した動きベクトルmvLXの導出を行う画像復号装置３１において、ＢＩＯ予測による動き補償を導入する場合、動き補償部３０９１は、マッチングモードにおいて動きベクトルMV（動きベクトルmvLX）を導出するための探索の精度を、ＢＩＯ予測を適用するか否かに応じて切り替えてもよい。
　インター予測パラメータ復号部３０３によって復号されたＢＩＯフラグが、ＢＩＯ予測を適用した動き補償を動き補償部３０９１が実行すること（以後、「ＢＩＯオン」と表記する）を示す場合、インター予測パラメータ復号部３０３は、マッチングモードにおける動きベクトルの探索における探索精度をN pel（例えば、1 pelや1/2 pel）とする。一方、ＢＩＯフラグが、ＢＩＯ予測を適用した動き補償を実行しないこと（以後、「ＢＩＯオフ」と表記する）を示す場合、インター予測パラメータ復号部３０３は、マッチングモードにおける動きベクトルの探索における探索精度をM pel（例えば、1/4または1/8 pel）としてもよい。ここで、N > Mは成り立つ。
　あるいは、マッチングモードを採用した動きベクトルmvLXの導出を行う画像復号装置３１において、ＢＩＯ予測による動き補償を導入する場合、動き補償部３０９１は、マッチングモードにおいて動きベクトルMV（動きベクトルmvLX）を導出するためのブロックのサイズを、ＢＩＯ予測を適用するか否かに応じて切り替えてもよい。
　たとえば、ＢＩＯオンの場合、インター予測パラメータ復号部３０３は、マッチングモードにおける動きベクトルの探索における探索精度は比較的大きいブロック（予測ユニットPU）ごとに行い、予測ブロックを構成する小さなブロックであるサブブロック（たとえば4×4）毎の探索を行わないように構成してもよい。一方、ＢＩＯオフの場合には、マッチングモードにおける動きベクトルの探索を比較的小さなブロックであるサブブロック毎に実行してもよい。
　なお、ＢＩＯフラグは、シーケンス毎に符号化されたフラグであってもよいし、シーケンスパラメータセットＳＰＳ毎、ピクチャパラメータセットＰＰＳ毎、およびブロック毎に符号化されたフラグであってもよい。
　マッチングモードを採用した動きベクトルmvLXの導出を行う画像復号装置３１において、ＢＩＯ予測による動き補償を導入する場合において、上記マッチングモードとして複数のモードを備える構成、たとえば、双予測マッチングモードと、テンプレートマッチングモードを備える構成を考える。双予測マッチングモードも、ＢＩＯ予測モードも、物体が複数の参照ピクチャ間にわたって等速運動をしているという仮定（ＢＩＯ予測でいえば、勾配変化だけでなく時間変化がある範囲で一定という仮定）に基づいているため、マッチングモードとして、双予測マッチングモードを用いた場合はＢＩＯ予測も有効であると考えられる。
　したがって、動き補償部３０９１は、インター予測パラメータ復号部３０３によって復号された予測モードが双予測マッチングであるか否かに基づいて、ＢＩＯ予測を適用した動き補償を行ってもよい。言い換えれば、動き補償部３０９１は、インター予測パラメータ復号部３０３動きベクトルを導出するために選択した予測モードが双予測マッチングモードであるか否かに基づいて、ＢＩＯ予測を適用した動き補償を行ってもよい。
　すなわち、マッチングモードがテンプレートマッチングである場合、動き補償部３０９１は、ＢＩＯ予測を適用した動き補償を行わず（インター予測パラメータ復号部３０３がＢＩＯフラグを符号化データから復号せずに、ＢＩＯフラグにＢＩＯオフを示す値をセットする）、一方、マッチングモードが双予測マッチングである場合、動き補償部３０９１は、ＢＩＯ予測を適用した動き補償を行う（インター予測パラメータ復号部３０３がＢＩＯフラグを符号化データから復号する）構成としてもよい。
　また、マッチングモードがテンプレートマッチングである場合、動き補償部３０９１は、ＢＩＯ予測を適用した動き補償を行わず（インター予測パラメータ復号部３０３がＢＩＯフラグにＢＩＯオフを示す値をセットする）、一方、マッチングモードが双予測マッチングである場合、動き補償部３０９１は、ＢＩＯ予測を適用した動き補償を行う（インター予測パラメータ復号部３０３がＢＩＯフラグとしてＢＩＯオンを示す値を導出する）構成としてもよい。
　テンプレートマッチングの場合には対象画像ＣｕｒおよびＬ０参照画像refImgL0と、対象画像ＣｕｒおよびＬ１参照画像refImgL1との間で動きが連続しない場合もあるため、動き補償部３０９１がＢＩＯ予測を適用した動き補償を実行しても、動き補償処理の性能は向上するとは限らない。そこで、テンプレートマッチングの場合には、動き補償部３０９１がＢＩＯ予測を適用した動き補償を実行しないように構成してもよい。このように構成すれば、動き補償部３０９１がＢＩＯ予測の動き補償を実行するために要する処理の量を低減させることができる。
　また、マッチングモードを採用した動きベクトルmvLXの導出を行う画像復号装置３１において、ＢＩＯ予測による動き補償を導入する場合において、上記マッチングモードとして複数のモードを備える構成、たとえば、双予測マッチングモードと、テンプレートマッチングモードを備える構成において、マッチングモードに応じて、マッチング予測の精度を変更する構成でもよい。すなわち、マッチングモードが双予測モードである場合には、動きベクトルの探索精度が高くなくとも、マッチングモードの後にＢＩＯ予測によって、動き補償画像が補正され、精度の高い予測画像が生成されるため、マッチングモードが双予測モードである場合には、マッチングモードにおける動きベクトルの探索単位を比較的大きく（たとえば１画素や1/2画素）、マッチングモードがテンプレートマッチングである場合には、動きベクトルの探索単位を、双予測マッチングの場合よりも小さく（たとえば1/4画素や1/8画素）してもよい。
　また、マッチングモードを採用した動きベクトルmvLXの導出を行う画像復号装置３１において、ＢＩＯ予測による動き補償を導入する場合において、マッチングモードに応じて、マッチング予測の探索の空間的な単位（ブロックサイズ）を変更する構成でもよい。具体的には、マッチングモードが双予測モードである場合には、マッチングの単位が動きベクトルの探索精度が高くなくとも、マッチングモードの後にＢＩＯ予測によって、動き補償画像が補正され、精度の高い予測画像が生成される。したがって、動きベクトルの空間的な単位が比較的大きくても、ＢＩＯ予測により画素単位で補正される。よって、マッチングモードが双予測モードである場合には、マッチングモードにおける動きベクトルの探索単位（ブロックサイズ）を比較的大きく（たとえば８×８画素や１６×１６画素）、マッチングモードがテンプレートマッチングである場合には、動きベクトルの空間的な単位を小さく（たとえば逆Ｌ字型のテンプレートの一辺の長さが最小４から５）としてもよい。
　　（画像符号化装置の構成）
　次に、本実施形態に係る画像符号化装置１１の構成について説明する。図１２は、本実施形態に係る画像符号化装置１１の構成を示すブロック図である。画像符号化装置１１は、予測画像生成部１０１、減算部１０２、ＤＣＴ・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆ＤＣＴ部１０５、加算部１０６、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）１０８、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）１０９、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１、を含んで構成される。予測パラメータ符号化部１１１は、インター予測パラメータ符号化部１１２及びイントラ予測パラメータ符号化部１１３を含んで構成される。
　予測画像生成部１０１は、外部から入力されたレイヤ画像Ｔの視点毎の各ピクチャについて、そのピクチャを分割した領域であるブロック毎に予測ピクチャブロックＰを生成する。ここで、予測画像生成部１０１は、予測パラメータ符号化部１１１から入力された予測パラメータに基づいて参照ピクチャメモリ１０９から参照ピクチャブロックを読み出す。予測パラメータ符号化部１１１から入力された予測パラメータとは、例えば、動きベクトルまたは変位ベクトルである。予測画像生成部１０１は、符号化対象ブロックを起点として予測された動きベクトルまたは変位ベクトルが示す位置にあるブロックの参照ピクチャブロックを読み出す。予測画像生成部１０１は、読み出した参照ピクチャブロックについて複数の予測方式のうちの１つの予測方式を用いて予測ピクチャブロックＰを生成する。予測画像生成部１０１は、生成した予測ピクチャブロックＰを減算部１０２に出力する。なお、予測画像生成部１０１は、既に説明した予測画像生成部３０８と同じ動作であるため予測ピクチャブロックＰの生成の詳細は省略する。
　予測画像生成部１０１は、予測方式を選択するために、例えば、画像に含まれるブロックの画素毎の信号値と予測ピクチャブロックＰの対応する画素毎の信号値との差分に基づく誤差値を最小にする予測方式を選択する。予測方式を選択する方法は、これには限られない。
　複数の予測方式とは、イントラ予測、動き予測及びマージ予測である。動き予測とは、上述のインター予測のうち、表示時刻間の予測である。マージ予測とは、既に符号化されたブロックであって、符号化対象ブロックから予め定めた範囲内にあるブロックと同一の参照ピクチャブロック及び予測パラメータを用いる予測である。
　予測画像生成部１０１は、イントラ予測を選択した場合、予測ピクチャブロックＰを生成する際に用いたイントラ予測モードを示す予測モードIntrapredModeを予測パラメータ符号化部１１１に出力する。
　予測画像生成部１０１は、動き予測を選択した場合、予測ピクチャブロックＰを生成する際に用いた動きベクトルmvLXを予測パラメータメモリ１０８に記憶し、インター予測パラメータ符号化部１１２に出力する。動きベクトルmvLXは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。動きベクトルmvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、ピクチャ順序番号ＰＯＣ）を含み、予測パラメータを表すものであっても良い。また、予測画像生成部１０１は、インター予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。
　予測画像生成部１０１は、マージ予測を選択した場合、選択した参照ピクチャブロックを示すマージインデックスmerge_idxをインター予測パラメータ符号化部１１２に出力する。また、予測画像生成部１０１は、マージ予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。
　減算部１０２は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値を、外部から入力されたレイヤ画像Ｔの対応するブロックの信号値から画素毎に減算して、残差信号を生成する。減算部１０２は、生成した残差信号をＤＣＴ・量子化部１０３と符号化パラメータ決定部１１０に出力する。
　ＤＣＴ・量子化部１０３は、減算部１０２から入力された残差信号についてＤＣＴを行い、ＤＣＴ係数を算出する。ＤＣＴ・量子化部１０３は、算出したＤＣＴ係数を量子化して量子化係数を求める。ＤＣＴ・量子化部１０３は、求めた量子化係数をエントロピー符号化部１０４及び逆量子化・逆ＤＣＴ部１０５に出力する。
　エントロピー符号化部１０４には、ＤＣＴ・量子化部１０３から量子化係数が入力され、符号化パラメータ決定部１１０から符号化パラメータが入力される。入力される符号化パラメータには、例えば、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、予測モードpredMode、及びマージインデックスmerge_idx等の符号がある。
　エントロピー符号化部１０４は、入力された量子化係数と符号化パラメータをエントロピー符号化して符号化ストリームＴｅを生成し、生成した符号化ストリームＴｅを外部に出力する。
　逆量子化・逆ＤＣＴ部１０５は、ＤＣＴ・量子化部１０３から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部１０５は、求めたＤＣＴ係数について逆ＤＣＴを行い、復号残差信号を算出する。逆量子化・逆ＤＣＴ部１０５は、算出した復号残差信号を加算部１０６に出力する。
　加算部１０６は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値と逆量子化・逆ＤＣＴ部１０５から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部１０６は、生成した参照ピクチャブロックを参照ピクチャメモリ１０９に記憶する。
　予測パラメータメモリ１０８は、予測パラメータ符号化部１１１が生成した予測パラメータを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
　参照ピクチャメモリ１０９は、加算部１０６が生成した参照ピクチャブロックを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
　符号化パラメータ決定部１１０は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述した予測パラメータやこの予測パラメータに関連して生成される符号化の対象となるパラメータである。予測画像生成部１０１は、これらの符号化パラメータのセットの各々を用いて予測ピクチャブロックＰを生成する。
　符号化パラメータ決定部１１０は、複数のセットの各々について情報量の大きさと符号化誤差を示すコスト値を算出する。コスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化ストリームＴｅの情報量である。二乗誤差は、減算部１０２において算出された残差信号の残差値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部１１０は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部１０４は、選択した符号化パラメータのセットを符号化ストリームＴｅとして外部に出力し、選択されなかった符号化パラメータのセットを出力しない。
　予測パラメータ符号化部１１１は、予測画像生成部１０１から入力されたパラメータに基づいて予測ピクチャを生成する際に用いる予測パラメータを導出し、導出した予測パラメータを符号化して符号化パラメータのセットを生成する。予測パラメータ符号化部１１１は、生成した符号化パラメータのセットをエントロピー符号化部１０４に出力する。
　予測パラメータ符号化部１１１は、生成した符号化パラメータのセットのうち符号化パラメータ決定部１１０が選択したものに対応する予測パラメータを予測パラメータメモリ１０８に記憶する。
　予測パラメータ符号化部１１１は、予測画像生成部１０１から入力された予測モードpredModeがインター予測モードを示す場合、インター予測パラメータ符号化部１１２を動作させる。予測パラメータ符号化部１１１は、予測モードpredModeがイントラ予測モードを示す場合、イントラ予測パラメータ符号化部１１３を動作させる。
　インター予測パラメータ符号化部１１２は、符号化パラメータ決定部１１０から入力された予測パラメータに基づいてインター予測パラメータを導出する。インター予測パラメータ符号化部１１２は、インター予測パラメータを導出する構成として、インター予測パラメータ復号部３０３（図５等、参照）がインター予測パラメータを導出する構成と同一の構成を含む。インター予測パラメータ符号化部１１２の構成については、後述する。
　イントラ予測パラメータ符号化部１１３は、符号化パラメータ決定部１１０から入力された予測モードpredModeが示すイントラ予測モードIntraPredModeをインター予測パラメータのセットとして定める。
　　（インター予測パラメータ符号化部の構成）
　次に、インター予測パラメータ符号化部１１２の構成について説明する。インター予測パラメータ符号化部１１２は、インター予測パラメータ復号部３０３に対応する手段である。
　図１３は、本実施形態に係るインター予測パラメータ符号化部１１２の構成を示す概略図である。
　インター予測パラメータ符号化部１１２は、マージ予測パラメータ導出部１１２１、ＡＭＶＰ予測パラメータ導出部１１２２、減算部１１２３、及び予測パラメータ統合部１１２６を含んで構成される。
　マージ予測パラメータ導出部１１２１は、上述のマージ予測パラメータ導出部３０３６（図７参照）と同様な構成を有し、ＡＭＶＰ予測パラメータ導出部１１２２は、上述のＡＭＶＰ予測パラメータ導出部３０３２（図８参照）と同様な構成を有する。
　インター予測パラメータ符号化制御部１０３１は、インター予測に関連する符号（シンタックス要素の復号をエントロピー符号化部１０４に指示し、符号化データに含まれる符号（シンタックス要素）を例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを符号化する。
　インター予測パラメータ符号化制御部１０３１は、図１０に示すように、マージインデックス符号化部１０３１２、ベクトル候補インデックス符号化部１０３１３、及び図示しない、分割モード符号化部、マージフラグ符号化部、インター予測フラグ符号化部、参照ピクチャインデックス符号化部、ベクトル差分符号化部を含んで構成される。分割モード符号化部、マージフラグ符号化部、マージインデックス符号化部、インター予測フラグ符号化部、参照ピクチャインデックス符号化部、ベクトル候補インデックス符号化部１０３１３、ベクトル差分符号化部は各々、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを符号化する。
　マージ予測パラメータ導出部１１２１には、予測画像生成部１０１から入力された予測モードpredModeがマージ予測モードを示す場合、符号化パラメータ決定部１１０からマージインデックスmerge_idxが入力される。マージインデックスmerge_idxは、予測パラメータ統合部１１２６に出力される。マージ予測パラメータ導出部１１２１は、マージ候補のうちマージインデックスmerge_idxが示す参照ブロックの参照ピクチャインデックスrefIdxLX、動きベクトルmvLXを予測パラメータメモリ１０８から読み出す。マージ候補とは、符号化対象となる符号化対象ブロックから予め定めた範囲にある参照ブロック（例えば、符号化対象ブロックの左下端、左上端、右上端に接する参照ブロックのうち）であって、符号化処理が完了した参照ブロックである。
　ＡＭＶＰ予測パラメータ導出部１１２２は、上述のＡＭＶＰ予測パラメータ導出部３０３２（図８参照）と同様な構成を有する。
　ＡＭＶＰ予測パラメータ導出部１１２２には、予測画像生成部１０１から入力された予測モードpredModeがインター予測モードを示す場合、符号化パラメータ決定部１１０から動きベクトルmvLXが入力される。ＡＭＶＰ予測パラメータ導出部１１２２は、入力された動きベクトルmvLXに基づいて予測ベクトルmvpLXを導出する。ＡＭＶＰ予測パラメータ導出部１１２２は、導出した予測ベクトルmvpLXを減算部１１２３に出力する。なお、参照ピクチャインデックスrefIdx及び予測ベクトルインデックスmvp_LX_idxは、予測パラメータ統合部１１２６に出力される。
　減算部１１２３は、符号化パラメータ決定部１１０から入力された動きベクトルmvLXからＡＭＶＰ予測パラメータ導出部１１２２から入力された予測ベクトルmvpLXを減算して差分ベクトルmvdLXを生成する。差分ベクトルmvdLXは予測パラメータ統合部１１２６に出力する。
　予測画像生成部１０１から入力された予測モードpredModeがマージ予測モードを示す場合には、予測パラメータ統合部１１２６は、符号化パラメータ決定部１１０から入力されたマージインデックスmerge_idxをエントロピー符号化部１０４に出力する。
　予測画像生成部１０１から入力された予測モードpredModeがインター予測モードを示す場合には、予測パラメータ統合部１１２６は、次の処理を行う。
　予測パラメータ統合部１１２６は、符号化パラメータ決定部１１０から入力された参照ピクチャインデックスrefIdxLX及び予測ベクトルインデックスmvp_LX_idx、減算部１１２３から入力された差分ベクトルmvdLXを統合する。予測パラメータ統合部１１２６は、統合した符号をエントロピー符号化部１０４に出力する。
　なお、インター予測パラメータ符号化部１１２は、インター予測に関連する符号（シンタックス要素の復号）をエントロピー符号化部１０４に指示し、符号化データに含まれる符号（シンタックス要素）を例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを符号化するインター予測パラメータ符号化制御部（図示せず）を含んでいてもよい。
　この場合、インター予測パラメータ符号化制御部は、追加予測が行われるか否かを示すために照度補償フラグic_enable_flagを符号化する追加予測フラグ符号化部（図１０参照）の他、マージインデックス符号化部（図１０参照）、ベクトル候補インデックス符号化部（図１０参照）、及び分割モード符号化部、マージフラグ符号化部、インター予測フラグ符号化部、参照ピクチャインデックス符号化部、ベクトル差分符号化部などを含んで構成される。分割モード符号化部、マージフラグ符号化部、マージインデックス符号化部、インター予測フラグ符号化部、参照ピクチャインデックス符号化部、ベクトル候補インデックス符号化部、ベクトル差分符号化部は各々、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを符号化する。
　なお、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、例えば、エントロピー復号部３０１、予測パラメータ復号部３０２、予測画像生成部１０１、ＤＣＴ・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆ＤＣＴ部１０５、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１、エントロピー復号部３０１、予測パラメータ復号部３０２、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置１１-１１ｈ、画像復号装置３１-３１ｈのいずれかに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ-ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
　また、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像符号化装置１１、画像復号装置３１の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
　以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
　〔応用例〕
　上述した画像符号化装置１１及び画像復号装置３１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。
　まず、上述した画像符号化装置１１及び画像復号装置３１を、動画像の送信及び受信に利用できることを、図３３を参照して説明する。
　図３３の（ａ）は、画像符号化装置１１を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。図３３の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３と、を備えている。上述した画像符号化装置１１は、この符号化部ＰＲＯＤ＿Ａ１として利用される。
　送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図３３の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。
　なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。
　図３３の（ｂ）は、画像復号装置３１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図３３の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３と、を備えている。上述した画像復号装置３１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。
　受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図３３の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。
　なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
　なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
　例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。
　また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線または有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
　なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。
　次に、上述した画像符号化装置１１及び画像復号装置３１を、動画像の記録及び再生に利用できることを、図３４を参照して説明する。
　図３４の（ａ）は、上述した画像符号化装置１１を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。図３４の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した画像符号化装置１１は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。
　なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリなどのように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
　また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図３４の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。
　なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
　このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４または受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５または画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３または受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。
　図３４の（ｂ）は、上述した画像復号装置３１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図３４の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した画像復号装置３１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。
　なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
　また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図３４の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。
　　なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
　このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３または送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４または送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型またはタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３または送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３または送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。
　　（ハードウェア的実現およびソフトウェア的実現）
　また、上述した画像復号装置３１および画像符号化装置１１の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
　後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の一実施形態における目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ-ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯディスク（Magneto-Optical disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）／ＣＤ-Ｒ（CD Recordable）／ブルーレイディスク（Blu-ray Disc：登録商標）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）／ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read-Only Memory：登録商標）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
　また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna television/Cable Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and ElectronicEngineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０
２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance：登録商標）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明の一実施形態は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
　本発明の一実施形態は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
　（関連出願の相互参照）
　本出願は、2016年2月3日に出願された特願2016-019354に対して優先権の利益を主張するものであり、当該出願を参照することにより、その内容の全て が本書に含まれる。
　本発明の一実施形態は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
１…画像伝送システム
１１…画像符号化装置（動画像符号化装置）
１０１…予測画像生成部
１０２…減算部
１０３…ＤＣＴ・量子化部
１０４…エントロピー符号化部
１０５…逆量子化・逆ＤＣＴ部
１０６…加算部
１０８…予測パラメータメモリ（フレームメモリ）
１０９…参照ピクチャメモリ（フレームメモリ）
１１０…符号化パラメータ決定部
１１１…予測パラメータ符号化部
１１２…インター予測パラメータ符号化部
１１２１…マージ予測パラメータ導出部
１１２２…ＡＭＶＰ予測パラメータ導出部
１１２３…減算部
１１２６…予測パラメータ統合部
１１３…イントラ予測パラメータ符号化部
２１…ネットワーク
３１…画像復号装置（動画像復号装置）
３０１…エントロピー復号部
３０２…予測パラメータ復号部
３０３…インター予測パラメータ復号部（予測ベクトル算出部）
３０３１２…マージインデックス復号部
３０３１３…ベクトル候補インデックス復号部
３０３２…ＡＭＶＰ予測パラメータ導出部
３０３３…ベクトル候補導出部
３０３５…加算部
３０３６…マージ予測パラメータ導出部
３０３６１…マージ候補導出部
３０３６１１…マージ候補格納部
３０３６２…マージ候補選択部
３０４…イントラ予測パラメータ復号部
３０６…参照ピクチャメモリ（フレームメモリ）
３０７…予測パラメータメモリ（フレームメモリ）
３０８…予測画像生成部
３０９…インター予測画像生成部
３０９１…動き補償部（予測画像生成装置、予測画像生成部）
３０９１１…動き補償勾配部
３０９１２２…勾配補正係数導出部（第２切り替え部、クリップ部）
３０９１１２…勾配導出部（第１切り替え部）
３０９４…重み予測部
３１０…イントラ予測画像生成部
３１１…逆量子化・逆ＤＣＴ部
３１２…加算部
４１…画像表示装置

Claims (39)

  1. 　複数の参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、
    　第１の参照画像と第２の参照画像と勾配補正項とを参照して予測画像を生成する予測画像生成部を備え、
    　上記予測画像生成部は、予測対象である対象画像と上記第１の参照画像とのピクチャ間隔、及び、該対象画像と上記第２の参照画像とのピクチャ間隔に応じて、上記第１の参照画像の各画素の画素値に乗じる第１の重み係数、及び上記第２の参照画像の各画素の画素値に乗じる第２の重み係数を導出する
    ことを特徴とする予測画像生成装置。
  2. 　複数の参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、
    　第１の参照画像と第２の参照画像と勾配補正項とを参照して予測画像を生成する予測画像生成部を備え、
    　上記予測画像生成部は、上記勾配補正項を、
    　　上記第１の参照画像の第１の方向に沿った勾配を示す第１の勾配画像
    　　上記第１の参照画像の第２の方向に沿った勾配を示す第２の勾配画像
    　　上記第２の参照画像の第１の方向に沿った勾配を示す第３の勾配画像
    　　上記第２の参照画像の第２の方向に沿った勾配を示す第４の勾配画像
    の各画素値を参照して導出するものであり、
    　　上記第１から第４の勾配画像の各画素値に乗じる各重み係数は、予測対象である対象画像と上記第１の参照画像とのピクチャ間隔である第１のピクチャ間隔、及び、該対象画像と上記第２の参照画像とのピクチャ間隔である第２のピクチャ間隔に応じて決定されることを特徴とする予測画像生成装置。
  3. 　上記予測画像生成部は、
    　上記第１のピクチャ間隔と上記第２のピクチャ間隔との比が、所定の範囲外である場合、上記第１のピクチャ間隔と上記第２のピクチャ間隔との比が、上記所定の範囲となるよう上記第１のピクチャ間隔及び上記第２のピクチャ間隔に対して所定の処理を行い、
    　上記所定の処理を行った上記第１のピクチャ間隔及び上記第２のピクチャ間隔に応じて、上記第１から第４の勾配画像の各画素値に乗じる各重み係数を決定する
    ことを特徴とする請求項２に記載の予測画像生成装置。
  4. 　複数の参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、
    　第１の参照画像と第２の参照画像と勾配補正項とを参照して予測画像を生成する予測画像生成部を備え、
    　上記予測画像生成部は、上記勾配補正項を、
    　　上記第１の参照画像の第１の方向に沿った勾配を示す第１の勾配画像
    　　上記第１の参照画像の第２の方向に沿った勾配を示す第２の勾配画像
    　　上記第２の参照画像の第１の方向に沿った勾配を示す第３の勾配画像
    　　上記第２の参照画像の第２の方向に沿った勾配を示す第４の勾配画像
    の各画素値を参照して導出するものであり、
    　所定のフラグが第１の値である場合、
    　　上記第１から第４の勾配画像の各画素値に乗じる各重み係数が、予測対象である対象画像と上記第１の参照画像とのピクチャ間隔である第１のピクチャ間隔、及び、該対象画像と上記第２の参照画像とのピクチャ間隔である第２のピクチャ間隔に応じて決定され、
    　所定のフラグが第２の値である場合、
    　　上記第１から第４の勾配画像の各画素値に乗じる各重み係数は、互いに等しい値である
    ことを特徴とする予測画像生成装置。
  5. 　複数の参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、
    　第１の参照画像と第２の参照画像と勾配補正項とを参照して予測画像を生成する予測画像生成部を備え、
    　上記予測画像生成部は、上記勾配補正項を、
    　　上記第１の参照画像の第１の方向に沿った勾配を示す第１の勾配画像
    　　上記第１の参照画像の第２の方向に沿った勾配を示す第２の勾配画像
    　　上記第２の参照画像の第１の方向に沿った勾配を示す第３の勾配画像
    　　上記第２の参照画像の第２の方向に沿った勾配を示す第４の勾配画像
    の各画素値を参照して導出するものであり、
    　上記第１から第４の勾配画像の各画素値に乗じる各重み係数は、ブロック毎に決定される
    ことを特徴とする予測画像生成装置。
  6. 　上記予測画像生成部は、
    　ブロック毎に決定された各重み係数に対して、所定のフィルタを適用することにより、画素毎の各重み係数を導出する
    ことを特徴とする請求項５に記載の予測画像生成装置。
  7. 　複数の参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、
    　第１の参照画像と第２の参照画像と勾配補正項とを参照して予測画像を生成する予測画像生成部を備え、
    　上記予測画像生成部は、上記勾配補正項を、
    　　上記第１の参照画像の第１の方向に沿った勾配を示す第１の勾配画像
    　　上記第１の参照画像の第２の方向に沿った勾配を示す第２の勾配画像
    　　上記第２の参照画像の第１の方向に沿った勾配を示す第３の勾配画像
    　　上記第２の参照画像の第２の方向に沿った勾配を示す第４の勾配画像
    の各画素値を参照して導出するものであり、
    　上記予測画像生成部は、各勾配画像を導出する際に用いる勾配フィルタを切り替える第１切り替え部を備えている
    ことを特徴とする予測画像生成装置。
  8. 　上記第１切り替え部は、上記参照画像の解像度に応じて、上記勾配フィルタを切り替える
    ことを特徴とする請求項７に記載の予測画像生成装置。
  9. 　上記第１切り替え部は、対象画素が含まれるブロックのサイズに応じて、上記勾配フィルタを切り替える
    ことを特徴とする請求項７に記載の予測画像生成装置。
  10. 　上記第１切り替え部は、フレームレートに応じて、上記勾配フィルタを切り替える
    ことを特徴とする請求項７又は８に記載の予測画像生成装置。
  11. 　上記第１切り替え部は、対象ブロックの動きベクトルと、当該対象ブロックの予測動きベクトルとの差に応じて、上記勾配フィルタを切り替える
    ことを特徴とする請求項７に記載の予測画像生成装置。
  12. 　上記第１切り替え部は、対象ブロックを含む上記予測画像と、上記第１の参照画像及び上記第２の参照画像の少なくとも何れかとの間のピクチャ間距離に応じて、上記勾配フィルタを切り替える
    ことを特徴とする請求項７に記載の予測画像生成装置。
  13. 　上記第１切り替え部は、量子化係数又は量子化ステップに応じて、上記勾配フィルタを切り替える
    ことを特徴とする請求項７に記載の予測画像生成装置。
  14. 　上記第１切り替え部は、フラグを参照して、上記勾配フィルタを切り替える
    ことを特徴とする請求項７に記載の予測画像生成装置。
  15. 　複数の参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、
    　第１の参照画像と第２の参照画像と勾配補正項とを参照して予測画像を生成する予測画像生成部を備え、
    　上記予測画像生成部は、上記勾配補正項を、
    　　上記第１の参照画像の第１の方向に沿った勾配を示す第１の勾配画像
    　　上記第１の参照画像の第２の方向に沿った勾配を示す第２の勾配画像
    　　上記第２の参照画像の第１の方向に沿った勾配を示す第３の勾配画像
    　　上記第２の参照画像の第２の方向に沿った勾配を示す第４の勾配画像
    の各画素値を参照して導出するものであり、
    　上記予測画像生成部は、上記第１から第４の勾配画像の各画素値に乗じる各重み係数に対してクリップ処理を行うクリップ部を備えている
    ことを特徴とする予測画像生成装置。
  16. 　　上記予測画像生成部は、上記各勾配画像を導出する際に用いる勾配フィルタを切り替える第１切り替え部を備え、さらに、上記クリップ部は、選択された上記勾配フィルタに応じて、上記クリップ処理の範囲を切り替えることを特徴とする請求項１５に記載の予測画像生成装置。
  17. 　上記クリップ部は、上記参照画像の解像度に応じて、上記クリップ処理の範囲を切り替える
    ことを特徴とする請求項１５に記載の予測画像生成装置。
  18. 　上記クリップ部は、対象画素が含まれるブロックのサイズに応じて、上記クリップ処理の範囲を切り替える
    ことを特徴とする請求項１５に記載の予測画像生成装置。
  19. 　上記クリップ部は、フレームレートに応じて、上記クリップ処理の範囲を切り替える
    ことを特徴とする請求項１５又は１７に記載の予測画像生成装置。
  20. 　上記クリップ部は、対象ブロックの動きベクトルと、当該対象ブロックの予測動きベクトルとの差に応じて、上記クリップ処理の範囲を切り替えるを切り替える
    ことを特徴とする請求項１５に記載の予測画像生成装置。
  21. 　上記クリップ部は、対象ブロックを含む上記予測画像と、上記第１の参照画像及び上記第２の参照画像の少なくとも何れかとの間のピクチャ間距離に応じて、上記クリップ処理の範囲を切り替える
    ことを特徴とする請求項１５に記載の予測画像生成装置。
  22. 　上記クリップ部は、量子化係数又は量子化ステップに応じて、上記クリップ処理の範囲を切り替える
    ことを特徴とする請求項１５に記載の予測画像生成装置。
  23. 　上記クリップ部は、フラグを参照して、上記クリップ処理の範囲を切り替える
    ことを特徴とする請求項１５に記載の予測画像生成装置。
  24. 　複数の参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置であって、
    　第１の参照画像と第２の参照画像と勾配補正項とを参照して予測画像を生成する予測画像生成部を備え、
    　上記予測画像生成部は、上記勾配補正項を、
    　　上記第１の参照画像の第１の方向に沿った勾配を示す第１の勾配画像
    　　上記第１の参照画像の第２の方向に沿った勾配を示す第２の勾配画像
    　　上記第２の参照画像の第１の方向に沿った勾配を示す第３の勾配画像
    　　上記第２の参照画像の第２の方向に沿った勾配を示す第４の勾配画像
    の各画素値を参照して導出するものであり、
    　上記第１から第４の勾配画像の各画素値に乗じる各重み係数は、上記第１から第４の勾配画像の少なくとも何れかを参照して定まる中間パラメータ、及び、当該中間パラメータに加算される正則化項を用いて決定されるものであり、
    　上記予測画像生成部は、上記正則化項の値を切り替える第２切り替え部を備えている
    ことを特徴とする予測画像生成装置。
  25. 　　上記予測画像生成部は、上記各勾配画像を導出する際に用いる勾配フィルタを切り替える第１切り替え部を備え、さらに、上記第２切り替え部は、選択された勾配フィルタに応じて、上記正則化項の値を切り替えることを特徴とする請求項２４に記載の予測画像生成装置。
  26. 　上記第２切り替え部は、上記参照画像の解像度に応じて、上記正則化項の値を切り替える
    ことを特徴とする請求項２４に記載の予測画像生成装置。
  27. 　上記第２切り替え部は、対象画素が含まれるブロックのサイズに応じて、上記正則化項の値を切り替える
    ことを特徴とする請求項２４に記載の予測画像生成装置。
  28. 　上記第２切り替え部は、フレームレートに応じて、上記正則化項の値を切り替える
    ことを特徴とする請求項２４又は２６に記載の予測画像生成装置。
  29. 　上記第２切り替え部は、対象ブロックの動きベクトルと、当該対象ブロックの予測動きベクトルとの差に応じて、上記正則化項の値を切り替える
    ことを特徴とする請求項２４に記載の予測画像生成装置。
  30. 　上記第２切り替え部は、対象ブロックの動きベクトルの大きさに応じて、上記正則化項の値を切り替える
    ことを特徴とする請求項２４に記載の予測画像生成装置。
  31. 　上記第２切り替え部は、対象ブロックを含む上記予測画像と、上記第１の参照画像及び上記第２の参照画像の少なくとも何れかとの間のピクチャ間距離に応じて、上記正則化項の値を切り替える
    ことを特徴とする請求項２４に記載の予測画像生成装置。
  32. 　上記第２切り替え部は、量子化係数又は量子化ステップに応じて、上記正則化項の値を切り替える
    ことを特徴とする請求項２４に記載の予測画像生成装置。
  33. 　上記第２切り替え部は、フラグを参照して、上記正則化項の値を切り替える
    ことを特徴とする請求項２４に記載の予測画像生成装置。
  34. 　複数の参照画像に対して動き補償を行うことによって予測画像を生成する予測画像生成装置において、
    　予測ベクトル算出部と、
    　第１の参照画像と第２の参照画像と勾配補正項とを参照して予測画像を生成する予測画像生成部とを備え、
    　上記予測ベクトル算出部は、マッチング予測モードを含む１以上の予測モードの中から選択した予測モードを用いて動きベクトルを導出するものであり、
    　予測画像生成部は、マッチング予測モードで得られた上記動きベクトルにより導出された動き補償画像を補正する場合に、ＢＩＯ予測を適用するか否かに応じて、動き補償画像の導出に用いる動きベクトルの精度を切り替える
    ことを特徴とする予測画像生成装置。
  35. 　上記予測ベクトル算出部は、マッチング予測モードで得られた上記動きベクトルにより導出された動き補償画像を補正する場合、マッチング予測モードにおいて動きベクトルを導出するための探索の精度を、ＢＩＯ予測を適用するか否かに応じて切り替える
    ことを特徴とする請求項３４に記載の予測画像生成装置。
  36. 　上記予測ベクトル算出部は、マッチング予測モードで得られた上記動きベクトルにより導出された動き補償画像を補正する場合、マッチング予測モードにおいて動きベクトルを導出するためのブロックのサイズを、ＢＩＯ予測を適用するか否かに応じて切り替える
    ことを特徴とする請求項３４に記載の予測画像生成装置。
  37. 　上記予測ベクトル算出部は、上記予測ベクトル算出部が動きベクトルを導出するために選択した予測モードが双予測マッチングモードであるか否かに基づいて、ＢＩＯ予測を適用した動き補償を行う
    ことを特徴とする請求項３４に記載の予測画像生成装置。
  38. 　請求項１～３７の何れか１項に記載の予測画像生成装置を備え、
    　予測画像に対して、残差画像を加算または減算することによって符号化対象画像を復元することを特徴とする動画像復号装置。
  39. 　請求項１～３７の何れか１項に記載の予測画像生成装置を備え、
    　予測画像と符号化対象画像との残差を符号化することを特徴とする動画像符号化装置。
PCT/JP2016/088529 2016-02-03 2016-12-22 動画像復号装置、動画像符号化装置、および予測画像生成装置 WO2017134957A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN202210392374.7A CN115037928A (zh) 2016-02-03 2016-12-22 运动图像解码装置、编码装置、以及预测图像生成装置
CN201680080819.0A CN108541375B (zh) 2016-02-03 2016-12-22 运动图像解码装置、运动图像编码装置、以及预测图像生成装置
US16/074,857 US10887619B2 (en) 2016-02-03 2016-12-22 Moving image decoding device, moving image coding device, and prediction image generation device
CN202210393389.5A CN115037929A (zh) 2016-02-03 2016-12-22 运动图像解码装置、编码装置、以及预测图像生成装置
CN202210394106.9A CN115022630A (zh) 2016-02-03 2016-12-22 运动图像解码装置、编码装置、以及预测图像生成装置
EP16889440.0A EP3413563A4 (en) 2016-02-03 2016-12-22 DEVICE FOR DECODING MOVEMENT PICTURES, APPARATUS FOR CODING MOVEMENT IMAGES AND DEVICE FOR GENERATING FORECAST PICTURES
CN202210401320.2A CN114827599A (zh) 2016-02-03 2016-12-22 运动图像解码装置、编码装置、以及预测图像生成装置
CN202210393390.8A CN114793279A (zh) 2016-02-03 2016-12-22 运动图像解码装置、编码装置、以及预测图像生成装置
US17/105,986 US11234019B2 (en) 2016-02-03 2020-11-27 Prediction image generating method, method for decoding a moving image, and method for coding a moving image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-019354 2016-02-03
JP2016019354 2016-02-03

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/074,857 A-371-Of-International US10887619B2 (en) 2016-02-03 2016-12-22 Moving image decoding device, moving image coding device, and prediction image generation device
US17/105,986 Division US11234019B2 (en) 2016-02-03 2020-11-27 Prediction image generating method, method for decoding a moving image, and method for coding a moving image

Publications (1)

Publication Number Publication Date
WO2017134957A1 true WO2017134957A1 (ja) 2017-08-10

Family

ID=59499854

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/088529 WO2017134957A1 (ja) 2016-02-03 2016-12-22 動画像復号装置、動画像符号化装置、および予測画像生成装置

Country Status (4)

Country Link
US (2) US10887619B2 (ja)
EP (1) EP3413563A4 (ja)
CN (6) CN108541375B (ja)
WO (1) WO2017134957A1 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018212111A1 (ja) * 2017-05-19 2018-11-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2018221631A1 (ja) * 2017-06-02 2018-12-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
WO2018225594A1 (ja) * 2017-06-05 2018-12-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2019066523A1 (ko) * 2017-09-29 2019-04-04 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019151280A1 (ja) * 2018-01-30 2019-08-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2019155971A1 (ja) * 2018-02-06 2019-08-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN110692247A (zh) * 2017-08-14 2020-01-14 谷歌有限责任公司 复合运动补偿的预测
WO2020031058A1 (en) * 2018-08-04 2020-02-13 Beijing Bytedance Network Technology Co., Ltd. Clipping of updated mv or derived mv
WO2020070612A1 (en) * 2018-10-06 2020-04-09 Beijing Bytedance Network Technology Co., Ltd. Improvement for temporal gradient calculating in bio
CN111164978A (zh) * 2017-09-29 2020-05-15 韩国电子通信研究院 用于对图像进行编码/解码的方法和设备以及用于存储比特流的记录介质
WO2020122130A1 (ja) * 2018-12-12 2020-06-18 シャープ株式会社 予測画像生成装置、動画像復号装置、動画像符号化装置および予測画像生成方法
WO2020119525A1 (zh) * 2018-12-13 2020-06-18 华为技术有限公司 一种帧间预测的方法及装置
CN111771377A (zh) * 2018-01-30 2020-10-13 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
CN112840659A (zh) * 2018-09-14 2021-05-25 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
US20220109871A1 (en) * 2019-01-14 2022-04-07 InterDigitai VC Holdings, Inc. Method and apparatus for video encoding and decoding with bi-directional optical flow adapted to weighted prediction
JP2022522217A (ja) * 2019-03-15 2022-04-14 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド 双方向オプティカル・フローに対するビット幅制御方法およびデバイス
CN116546195A (zh) * 2018-08-03 2023-08-04 腾讯美国有限责任公司 用于视频编码的方法和装置
US12028527B2 (en) 2019-06-24 2024-07-02 Huawei Technologies Co., Ltd. Video encoder, video decoder, and corresponding method

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3273692A4 (en) * 2015-06-10 2018-04-04 Samsung Electronics Co., Ltd. Method and apparatus for encoding or decoding image using syntax signaling for adaptive weight prediction
KR20180129860A (ko) * 2016-04-25 2018-12-05 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
KR20230042424A (ko) * 2016-07-14 2023-03-28 삼성전자주식회사 비디오 복호화 방법 및 그 장치 및 비디오 부호화 방법 및 그 장치
KR102649234B1 (ko) * 2017-04-27 2024-03-20 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
CN117478884A (zh) * 2017-07-03 2024-01-30 Vid拓展公司 用于视频编解码的设备、方法
US10432962B1 (en) * 2018-03-13 2019-10-01 Pixelworks, Inc. Accuracy and local smoothness of motion vector fields using motion-model fitting
RU2020135518A (ru) 2018-04-06 2022-04-29 Вид Скейл, Инк. Метод двунаправленного оптического потока с упрощенным выведением градиента
US10873748B2 (en) * 2018-05-12 2020-12-22 Qualcomm Incorporated Storage of high precision motion vectors in video coding
KR102596104B1 (ko) * 2018-06-11 2023-10-30 에이치에프아이 이노베이션 인크. 비디오 코딩을 위한 양방향 광학 흐름의 방법 및 장치
TWI746994B (zh) 2018-06-19 2021-11-21 大陸商北京字節跳動網絡技術有限公司 用於不同參考列表的不同精確度
CN112930684B (zh) 2018-08-17 2023-10-13 寰发股份有限公司 在视频编解码系统中利用双向预测处理视频的方法、设备
EP4325859A3 (en) 2018-09-19 2024-05-15 Beijing Bytedance Network Technology Co., Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
TW202029755A (zh) * 2018-09-26 2020-08-01 美商Ｖｉｄ衡器股份有限公司 視訊編碼雙預測
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
WO2020084462A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on block size
CN111083491B (zh) 2018-10-22 2024-09-20 北京字节跳动网络技术有限公司 细化运动矢量的利用
WO2020084470A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Storage of motion parameters with clipping for affine mode
WO2020098644A1 (en) * 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for inter prediction
CN113170171B (zh) * 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
CN117319644A (zh) 2018-11-20 2023-12-29 北京字节跳动网络技术有限公司 基于部分位置的差计算
CN113170169B (zh) * 2018-12-07 2024-01-30 夏普株式会社 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
US20220078431A1 (en) * 2018-12-27 2022-03-10 Sharp Kabushiki Kaisha Prediction image generation apparatus, video decoding apparatus, video coding apparatus, and prediction image generation method
BR112021007949A2 (pt) * 2019-01-02 2021-07-27 Huawei Technologies Co., Ltd. sistema e método de fácil utilização com hardware e software para refinamento de vetor de movimento do lado do decodificador com correção por pixel baseada em fluxo óptico bipreditivo no lado do decodificador para compensação de movimento bipreditivo
CN113261296A (zh) * 2019-01-06 2021-08-13 北京达佳互联信息技术有限公司 双向光流的比特宽度控制
WO2020156517A1 (en) 2019-01-31 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Fast algorithms for symmetric motion vector difference coding mode
KR20210121021A (ko) 2019-01-31 2021-10-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 어파인 모드 적응적 움직임 벡터 해상도 코딩 문맥
KR20210142610A (ko) * 2019-03-05 2021-11-25 브이아이디 스케일, 인크. Affine 모션 모델 유도 방법
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
CN118118658A (zh) * 2019-03-22 2024-05-31 罗斯德尔动力有限责任公司 基于dmvr和bdof的帧间预测方法及其设备
CN113615197B (zh) * 2019-03-26 2023-03-07 北京达佳互联信息技术有限公司 用于双向光流的比特深度控制的方法和设备
US11962796B2 (en) * 2019-04-01 2024-04-16 Qualcomm Incorporated Gradient-based prediction refinement for video coding
KR102609947B1 (ko) 2019-04-02 2023-12-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 양방향 광학 흐름 기반 비디오 코딩 및 디코딩
KR102610709B1 (ko) 2019-04-02 2023-12-05 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 디코더 측 움직임 벡터 유도
CN113711608B (zh) 2019-04-19 2023-09-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程的适用性
WO2020211864A1 (en) * 2019-04-19 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Region based gradient calculation in different motion vector refinements
CN113711609B (zh) * 2019-04-19 2023-12-01 北京字节跳动网络技术有限公司 利用光流的预测细化过程中的增量运动矢量
CN116389765B (zh) 2019-04-25 2024-01-30 北京达佳互联信息技术有限公司 对视频数据编码的利用光流的预测细化方法、设备和介质
CN113767634B (zh) * 2019-05-07 2023-06-09 北京字节跳动网络技术有限公司 利用细化的帧间预测的统一计算方法
MX2021013977A (es) * 2019-05-15 2022-04-01 Huawei Tech Co Ltd Manejo de herramienta de codificacion de flujo optico bidireccional (bio) para remuestreo de imagenes de referencia en codificacion de video.
US11317088B2 (en) * 2019-05-17 2022-04-26 Qualcomm Incorporated Gradient-based prediction refinement for video coding
CN113411605B (zh) 2019-06-21 2022-05-31 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
SG11202112656UA (en) * 2019-06-21 2021-12-30 Panasonic Ip Corp America Encoder, decoder, encoding method, and decoding method
CN114175659A (zh) * 2019-06-25 2022-03-11 北京达佳互联信息技术有限公司 用于双向光流的比特宽度控制的装置和方法
US11356707B2 (en) * 2019-09-23 2022-06-07 Qualcomm Incorporated Signaling filters for video processing
US11317111B2 (en) * 2019-09-29 2022-04-26 Qualcomm Incorporated Affine coding with vector clipping
CN112004091B (zh) * 2020-07-31 2021-08-03 浙江大华技术股份有限公司 帧间预测方法及其相关装置
CN112215854B (zh) * 2020-10-19 2024-07-12 珠海金山数字网络科技有限公司 一种图像处理的方法及装置
CN112565768B (zh) * 2020-12-02 2023-02-28 浙江大华技术股份有限公司 一种帧间预测方法、编解码系统及计算机可读存储介质
WO2024017004A1 (en) * 2022-07-22 2024-01-25 Mediatek Inc. Reference list reordering in video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130259122A1 (en) * 2012-03-30 2013-10-03 Panasonic Corporation Image coding method and image decoding method

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3700976B2 (ja) * 2002-08-14 2005-09-28 株式会社アクセル 画像処理装置および画像処理方法
BR0306987A (pt) * 2002-11-20 2004-12-14 Matsushita Electric Ind Co Ltd Método de prognóstico de imagem em movimento, método e aparelho de codificação de imagem em movimento e método e aparelho de decodificação de imagem em movimento
JP4763241B2 (ja) * 2004-01-29 2011-08-31 Ｋｄｄｉ株式会社 動き予測情報検出装置
TW200806040A (en) * 2006-01-05 2008-01-16 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
JP5155157B2 (ja) * 2006-05-12 2013-02-27 パナソニック株式会社 動画像復号化装置
MX357910B (es) * 2006-07-06 2018-07-30 Thomson Licensing Método y aparato para desacoplar el número de cuadro y/o la cuenta del orden de imagen (poc) para la codificación y decodificación de video de múltiples vistas.
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
JP5490404B2 (ja) * 2008-12-25 2014-05-14 シャープ株式会社 画像復号装置
JP2010199650A (ja) * 2009-02-23 2010-09-09 Fujitsu Semiconductor Ltd 画像処理装置および画像処理方法
JP5246067B2 (ja) * 2009-06-30 2013-07-24 コニカミノルタビジネステクノロジーズ株式会社 画像処理方法、画像処理装置
US8995527B2 (en) * 2010-02-19 2015-03-31 Qualcomm Incorporated Block type signalling in video coding
US20130083851A1 (en) * 2010-04-06 2013-04-04 Samsung Electronics Co., Ltd. Method and apparatus for video encoding and method and apparatus for video decoding
FR2958824A1 (fr) * 2010-04-09 2011-10-14 Thomson Licensing Procede de traitement d'images stereoscopiques et dispositif correspondant
CN101895759B (zh) * 2010-07-28 2011-10-05 南京信息工程大学 一种h.264码率控制方法
US8508612B2 (en) * 2010-09-30 2013-08-13 Apple Inc. Image signal processor line buffer configuration for processing ram image data
JP5781313B2 (ja) * 2011-01-12 2015-09-16 株式会社Ｎｔｔドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
AU2015202844B2 (en) * 2011-01-12 2016-03-17 Ntt Docomo, Inc. Image predict coding method, image predict coding device, image predict coding program, image predict decoding method, image predict decoding device, and image predict decoding program
US9008181B2 (en) * 2011-01-24 2015-04-14 Qualcomm Incorporated Single reference picture list utilization for interprediction video coding
US8548057B2 (en) * 2011-01-25 2013-10-01 Microsoft Corporation Video coding redundancy reduction
WO2012178008A1 (en) * 2011-06-22 2012-12-27 General Instrument Corporation Construction of combined list using temporal distance
US8891866B2 (en) * 2011-08-31 2014-11-18 Sony Corporation Image processing apparatus, image processing method, and program
EP3675497B1 (en) * 2011-10-17 2021-12-29 Kabushiki Kaisha Toshiba Encoding method and decoding method
EP3174296A1 (en) * 2011-10-17 2017-05-31 Kabushiki Kaisha Toshiba Decoding device and decoding method
WO2013105622A1 (ja) * 2012-01-13 2013-07-18 シャープ株式会社 画像復号装置、画像符号化装置、および符号化データのデータ構造
JP5995448B2 (ja) * 2012-01-19 2016-09-21 シャープ株式会社 画像復号装置、および画像符号化装置
JP6172155B2 (ja) * 2012-09-28 2017-08-02 ソニー株式会社 画像処理装置および方法
WO2014050948A1 (ja) * 2012-09-28 2014-04-03 シャープ株式会社 画像復号装置及び画像符号化装置
JP6009903B2 (ja) * 2012-10-24 2016-10-19 シャープ株式会社 画像処理装置
KR20140089486A (ko) * 2013-01-04 2014-07-15 삼성전자주식회사 스케일러블 비디오의 부호화 및 복호화를 위한 움직임 보상 방법 및 장치
JP6224930B2 (ja) * 2013-07-10 2017-11-01 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
JP2015027022A (ja) * 2013-07-29 2015-02-05 Kddi株式会社 動画像符号化装置、動画像符号化方法、およびプログラム
JP6401707B2 (ja) * 2013-10-16 2018-10-10 シャープ株式会社 画像復号装置、画像復号方法、および記録媒体
JPWO2015141696A1 (ja) * 2014-03-18 2017-04-13 シャープ株式会社 画像復号装置、画像符号化装置および予測装置
CN106254888B (zh) * 2015-06-09 2020-06-02 同济大学 一种图像编码及解码方法、图像处理设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130259122A1 (en) * 2012-03-30 2013-10-03 Panasonic Corporation Image coding method and image decoding method

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "N15790, Algorithm Description of Joint Exploration Test Model 1 (JEM 1)", INTERNATIONAL ORGANIZATION FOR STANDARDIZATION ORGANISATION INTERNATIONALE DE NORMALISATION, October 2015 (2015-10-01), Geneva, pages i - ii , 1-25, XP055534883 *
ELENA ALSHINA ET AL.: "Bi-directional optical flow", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP3/ISO/IEC JTC1/SC29/WG11, October 2010 (2010-10-01), Guangzhou, CN, pages 1 - 5, XP030007911 *
ELENA ALSHINA ET AL.: "CE1: Samsung's test for bi-directional optical flow", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP3/ISO/IEC JTC1/SC29/WG11, 15 January 2011 (2011-01-15), Daegu, KR, pages 1 - 4, XP030047662 *
See also references of EP3413563A4 *

Cited By (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018212111A1 (ja) * 2017-05-19 2018-11-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US11997310B2 (en) 2017-05-19 2024-05-28 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US11616977B2 (en) 2017-05-19 2023-03-28 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US11146811B2 (en) 2017-05-19 2021-10-12 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
WO2018221631A1 (ja) * 2017-06-02 2018-12-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
JP7432653B2 (ja) 2017-06-05 2024-02-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、及び復号方法
JP2022093625A (ja) * 2017-06-05 2022-06-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、及び復号方法
JPWO2018225594A1 (ja) * 2017-06-05 2020-02-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
US11831864B2 (en) 2017-06-05 2023-11-28 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
JP2021002891A (ja) * 2017-06-05 2021-01-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置及び符号化方法
JP7553686B2 (ja) 2017-06-05 2024-09-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、及び復号方法
WO2018225594A1 (ja) * 2017-06-05 2018-12-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US11115654B2 (en) 2017-06-05 2021-09-07 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US10728543B2 (en) 2017-06-05 2020-07-28 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
CN110692247B (zh) * 2017-08-14 2023-08-08 谷歌有限责任公司 复合运动补偿的预测
CN110692247A (zh) * 2017-08-14 2020-01-14 谷歌有限责任公司 复合运动补偿的预测
CN111164978B (zh) * 2017-09-29 2024-04-19 英迪股份有限公司 用于对图像进行编码/解码的方法和设备以及用于存储比特流的记录介质
CN111164978A (zh) * 2017-09-29 2020-05-15 韩国电子通信研究院 用于对图像进行编码/解码的方法和设备以及用于存储比特流的记录介质
WO2019066523A1 (ko) * 2017-09-29 2019-04-04 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN111989923A (zh) * 2018-01-30 2020-11-24 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
JPWO2019151280A1 (ja) * 2018-01-30 2021-01-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
WO2019151280A1 (ja) * 2018-01-30 2019-08-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
JP7401309B2 (ja) 2018-01-30 2023-12-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN111771377A (zh) * 2018-01-30 2020-10-13 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
US11895298B2 (en) 2018-01-30 2024-02-06 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US11882279B2 (en) 2018-01-30 2024-01-23 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US11128883B2 (en) 2018-02-06 2021-09-21 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
CN111684805A (zh) * 2018-02-06 2020-09-18 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
TWI830328B (zh) * 2018-02-06 2024-01-21 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置及電腦可讀取之非暫時性媒體
CN111684805B (zh) * 2018-02-06 2024-04-02 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
EP3751855A4 (en) * 2018-02-06 2021-03-10 Panasonic Intellectual Property Corporation of America CODING DEVICE, DECODING DEVICE, CODING METHOD AND DECODING METHOD
US12003759B2 (en) 2018-02-06 2024-06-04 Panasonic Intellectual Property Corporation Of America Encoding method, decoding method, and processing method
JP7339890B2 (ja) 2018-02-06 2023-09-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置及び復号装置
JP7509975B2 (ja) 2018-02-06 2024-07-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置及び復号装置
WO2019155971A1 (ja) * 2018-02-06 2019-08-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
JPWO2019155971A1 (ja) * 2018-02-06 2021-01-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
TWI777031B (zh) * 2018-02-06 2022-09-11 美商松下電器（美國）知識產權公司 解碼裝置及編碼裝置
US11689739B2 (en) 2018-02-06 2023-06-27 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
CN116546195A (zh) * 2018-08-03 2023-08-04 腾讯美国有限责任公司 用于视频编码的方法和装置
CN110809159B (zh) * 2018-08-04 2022-06-07 北京字节跳动网络技术有限公司 更新的mv或推导的mv的裁剪
US11109055B2 (en) 2018-08-04 2021-08-31 Beijing Bytedance Network Technology Co., Ltd. MVD precision for affine
GB2590228B (en) * 2018-08-04 2023-04-05 Beijing Bytedance Network Tech Co Ltd Clipping of updated MV or derived MV
US12120340B2 (en) 2018-08-04 2024-10-15 Beijing Bytedance Network Technology Co., Ltd Constraints for usage of updated motion information
US11451819B2 (en) 2018-08-04 2022-09-20 Beijing Bytedance Network Technology Co., Ltd. Clipping of updated MV or derived MV
WO2020031058A1 (en) * 2018-08-04 2020-02-13 Beijing Bytedance Network Technology Co., Ltd. Clipping of updated mv or derived mv
CN110809159A (zh) * 2018-08-04 2020-02-18 北京字节跳动网络技术有限公司 更新的mv或推导的mv的裁剪
US11330288B2 (en) 2018-08-04 2022-05-10 Beijing Bytedance Network Technology Co., Ltd. Constraints for usage of updated motion information
CN110809155A (zh) * 2018-08-04 2020-02-18 北京字节跳动网络技术有限公司 使用更新的运动信息的限制
GB2590228A (en) * 2018-08-04 2021-06-23 Beijing Bytedance Network Tech Co Ltd Clipping of updated MV or derived MV
TWI735929B (zh) * 2018-08-04 2021-08-11 大陸商北京字節跳動網絡技術有限公司 更新的mv或推導的mv的裁剪
US11470341B2 (en) 2018-08-04 2022-10-11 Beijing Bytedance Network Technology Co., Ltd. Interaction between different DMVD models
CN112840659A (zh) * 2018-09-14 2021-05-25 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
US11778170B2 (en) 2018-10-06 2023-10-03 Beijing Bytedance Network Technology Co., Ltd Temporal gradient calculations in bio
WO2020070612A1 (en) * 2018-10-06 2020-04-09 Beijing Bytedance Network Technology Co., Ltd. Improvement for temporal gradient calculating in bio
WO2020122130A1 (ja) * 2018-12-12 2020-06-18 シャープ株式会社 予測画像生成装置、動画像復号装置、動画像符号化装置および予測画像生成方法
US11653016B2 (en) 2018-12-12 2023-05-16 Sharp Kabushiki Kaisha Prediction image generation device, moving image decoding device, moving image encoding device, and prediction image generation method
WO2020119525A1 (zh) * 2018-12-13 2020-06-18 华为技术有限公司 一种帧间预测的方法及装置
US20220109871A1 (en) * 2019-01-14 2022-04-07 InterDigitai VC Holdings, Inc. Method and apparatus for video encoding and decoding with bi-directional optical flow adapted to weighted prediction
JP7548908B2 (ja) 2019-01-14 2024-09-10 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 重み付け予測に適応された双方向オプティカルフローによる映像符号化及び復号の方法及び装置
JP2022522217A (ja) * 2019-03-15 2022-04-14 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド 双方向オプティカル・フローに対するビット幅制御方法およびデバイス
US11979583B2 (en) 2019-03-15 2024-05-07 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for bit-width control for bi-directional optical flow
US11843785B2 (en) 2019-03-15 2023-12-12 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for bit-width control for bi-directional optical flow
JP7355894B2 (ja) 2019-03-15 2023-10-03 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド 双方向オプティカル・フローに対するビット幅制御方法およびデバイス
JP7100772B2 (ja) 2019-03-15 2022-07-13 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド 双方向オプティカル・フローに対するビット幅制御方法およびデバイス
JP2022130647A (ja) * 2019-03-15 2022-09-06 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド 双方向オプティカル・フローに対するビット幅制御方法およびデバイス
US12028527B2 (en) 2019-06-24 2024-07-02 Huawei Technologies Co., Ltd. Video encoder, video decoder, and corresponding method

Also Published As

Publication number Publication date
CN108541375B (zh) 2022-04-12
CN115037929A (zh) 2022-09-09
US10887619B2 (en) 2021-01-05
US20210084330A1 (en) 2021-03-18
CN108541375A (zh) 2018-09-14
US20190045214A1 (en) 2019-02-07
CN115037928A (zh) 2022-09-09
CN114827599A (zh) 2022-07-29
CN114793279A (zh) 2022-07-26
CN115022630A (zh) 2022-09-06
EP3413563A1 (en) 2018-12-12
EP3413563A4 (en) 2019-10-23
US11234019B2 (en) 2022-01-25

Similar Documents

Publication Publication Date Title
WO2017134957A1 (ja) 動画像復号装置、動画像符号化装置、および予測画像生成装置
WO2017195554A1 (ja) 予測画像生成装置、動画像復号装置、および動画像符号化装置。
WO2017130696A1 (ja) 予測画像生成装置、動画像復号装置、および動画像符号化装置
US12034951B2 (en) Video decoding apparatus
US20200021837A1 (en) Video decoding apparatus and video coding apparatus
WO2017138417A1 (ja) 動きベクトル生成装置、予測画像生成装置、動画像復号装置、および動画像符号化装置。
WO2017195608A1 (ja) 動画像復号装置
US11722693B2 (en) Prediction image generation device, moving image decoding device, and moving image coding device
WO2021111962A1 (ja) 動画像復号装置
US12069287B2 (en) Video decoding apparatus
JP2024063132A (ja) 動画像復号装置
CN112956206A (zh) 运动图像解码装置以及运动图像编码装置
WO2018037919A1 (ja) 画像復号装置、画像符号化装置、画像復号方法、および画像符号化方法
US20240333916A1 (en) Video coding apparatus and video decoding apparatus
JP2021197558A (ja) 動画像符号化装置及び動画像復号装置
CN113170190A (zh) 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
CN118828012A (zh) 运动图像解码装置以及运动图像编码装置
JP2020005200A (ja) 画像復号装置、および画像符号化装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16889440

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016889440

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016889440

Country of ref document: EP

Effective date: 20180903

NENP Non-entry into the national phase

Ref country code: JP