WO2023090309A1 - 画像復号装置、画像復号方法及びプログラム - Google Patents

画像復号装置、画像復号方法及びプログラム Download PDF

Info

Publication number
WO2023090309A1
WO2023090309A1 PCT/JP2022/042340 JP2022042340W WO2023090309A1 WO 2023090309 A1 WO2023090309 A1 WO 2023090309A1 JP 2022042340 W JP2022042340 W JP 2022042340W WO 2023090309 A1 WO2023090309 A1 WO 2023090309A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixels
block
prediction
motion
luminance
Prior art date
Application number
PCT/JP2022/042340
Other languages
English (en)
French (fr)
Inventor
佳隆 木谷
圭 河村
Original Assignee
Kddi株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kddi株式会社 filed Critical Kddi株式会社
Priority to CN202280059779.7A priority Critical patent/CN117917076A/zh
Publication of WO2023090309A1 publication Critical patent/WO2023090309A1/ja
Priority to US18/594,887 priority patent/US20240214579A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to an image decoding device, an image decoding method and a program.
  • Non-Patent Document 1 discloses GPM (Geometric Partitioning Mode).
  • GPM divides a rectangular block into two diagonally and performs motion compensation on each. Specifically, in GPM, the two divided regions are motion-compensated by merge-mode motion vectors and combined by weighted averaging. As the oblique division pattern, 64 patterns are prepared according to angles and positions.
  • Non-Patent Document 1 discloses Luma Mapping with Chroma Scaling (LMCS).
  • LMCS is a technique for performing transform/quantization in coding processing technique in a signal space different from that of an input image signal.
  • Non-Patent Document 2 discloses Overlapped Block Motion Compensation (OBMC).
  • OBMC is a weighted average of motion compensation pixels (OBMC pixels) using motion vectors of blocks adjacent to the target block, with respect to the motion compensation (MC) pixels of the target block according to the distance from the boundary of both blocks.
  • Non-Patent Document 1 since the GPM disclosed in Non-Patent Document 1 is limited to inter prediction, there is a problem that there is room for improvement in coding performance.
  • An object of the present invention is to provide an image decoding device, an image decoding method, and a program that can be expected to improve prediction performance by generating final predicted pixels.
  • a first feature of the present invention is an image decoding apparatus comprising: a motion compensator configured to generate motion compensation pixels for a target block; a duplicate block motion compensation unit configured to perform luminance mapping on the motion compensation pixels and luminance components of the duplicate block motion compensation pixels for the target block; and the target block. and a combiner configured to combine the motion-compensated pixels, the overlap block motion-compensated pixels, and the intra-predicted pixels for the target block.
  • geometric block division mode, overlap block motion compensation, luminance mapping and chrominance scaling are all valid for the target block, and the geometric block division mode consists of inter-prediction and intra-prediction.
  • the synthesizing unit synthesizes each luminance component of the luminance-mapped motion compensation pixel, the overlapping block motion compensation pixel, and the intra prediction pixel to generate a prediction pixel for the luminance component of the target block.
  • the gist is that it is configured to generate a
  • a second feature of the present invention is an image decoding device comprising: a motion compensator configured to generate motion compensation pixels for a target block; and an intra prediction pixel configured to generate intra-prediction pixels for the target block.
  • an intra prediction unit configured to perform inverse color difference scaling on color difference components of prediction residual pixels for the target block; and the motion compensation pixels and the intra prediction pixels for the target block.
  • a third feature of the present invention is an image decoding method, comprising a step A of generating motion compensation pixels for a target block; a step B of generating overlapping block motion compensation pixels for the target block; performing luminance mapping on motion compensation pixels and luminance components of said overlap block motion compensation pixels; generating intra prediction pixels for said target block; combining motion-compensated pixels with said intra-predicted pixels, wherein in said step E, geometric block partitioning mode, overlap block motion compensation, luminance mapping and chrominance scaling are all enabled for said target block.
  • each luminance component of the luminance-mapped motion-compensated pixels, the overlapping block motion-compensated pixels, and the intra-predicted pixels; are combined to generate a prediction pixel for the luminance component of the target block.
  • a fourth feature of the present invention is a program for causing a computer to function as an image decoding device, wherein the image decoding device includes a motion compensation unit configured to generate motion compensation pixels for a target block; an overlapping block motion compensator configured to generate overlapping block motion compensation pixels for a target block; and performing luminance mapping on the motion compensation pixels for the target block and luminance components of the overlapping block motion compensation pixels.
  • an intra prediction unit configured to generate intra prediction pixels for the target block; and the motion compensation pixels and the overlap block motion compensation pixels and the intra prediction for the target block.
  • a combining unit configured to combine pixels with a geometric block division mode, overlapping block motion compensation, and luminance mapping and chrominance scaling, all of which are enabled for the target block; and
  • the synthesizing unit synthesizes each luminance component of the motion-compensated pixels subjected to luminance mapping, the overlap block motion-compensated pixels, and the intra-predicted pixels.
  • the gist of the invention is that it is configured to generate a prediction pixel for the luminance component of the target block.
  • the GPM when all of the GPM, OBMC, and LMCS are valid in the target block and the GPM is composed of inter prediction and intra prediction, luminance-mapped MC pixels, OBMC pixels, and intra prediction pixels are combined to generate a predicted pixel in the luminance component of the target block, that is, the signal space of the three predicted pixels is aligned in the luminance-mapped space, and then the final predicted pixel is generated. It is possible to provide an image decoding device, an image decoding method, and a program that can be expected to improve prediction performance.
  • FIG. 1 is a diagram showing an example of the configuration of an image processing system 1 according to one embodiment.
  • FIG. 2 is a diagram showing an example of functional blocks of the image encoding device 100 according to one embodiment.
  • FIG. 3 is a diagram showing an example of functional blocks of the image decoding device 200 according to one embodiment.
  • a rectangular block to be decoded is divided into two geometrically shaped divided regions A and B by a dividing line of the geometric dividing mode in the geometric dividing mode disclosed in Non-Patent Document 1. It is a figure which shows an example of a case.
  • FIG. 5 shows an example of application of the intra prediction mode to the GPM according to this embodiment.
  • FIG. 6 shows an example of applying the intra prediction mode to the GPM according to this embodiment.
  • FIG. 5 shows an example of application of the intra prediction mode to the GPM according to this embodiment.
  • FIG. 7 is a diagram showing an example of an intra prediction mode candidate list according to this embodiment.
  • FIG. 8 is a diagram showing a merge candidate list construction method disclosed in Non-Patent Document 1.
  • FIG. 9A is a diagram showing an example of a rectangular block to be decoded that is motion-compensated by OBMC disclosed in Non-Patent Document 2.
  • FIG. 9B is a diagram showing an example of a rectangular block to be decoded that is motion-compensated by OBMC disclosed in Non-Patent Document 2.
  • FIG. 10 is a flow chart showing an example of the operation of the inter prediction unit 241.
  • FIG. 11 shows an example of application of OBMC to blocks to which GPM is applied in this embodiment.
  • FIG. 11 shows an example of application of OBMC to blocks to which GPM is applied in this embodiment.
  • FIG. 12 shows a case where bi-prediction is applied to an inter-prediction region of Intra/Inter-GPM in this embodiment, DMVR is applied to the region, and the motion vectors of the predetermined block sizes constituting the region are different.
  • 2 is a diagram showing an example in which OBMC is applied to upper, lower, left, and right block boundaries of those blocks.
  • FIG. 13 is a diagram showing an example of the value of the weighting factor w for predicted pixels of each divided area A/B of the GPM according to Non-Patent Document 1 and the present embodiment.
  • FIG. 14 is a diagram showing an example of angleIdx that defines the angle of the GPM dividing line.
  • FIG. 15 is a diagram showing an example of disLut.
  • FIG. 16 is a diagram showing an example of the inverse color difference scaling method considering the GPM division shape according to the present embodiment.
  • FIG. 17 is a diagram showing an example of a table in which the reference areas of the divided areas A and B are set based on the angle of the dividing line L of the GPM.
  • FIG. 18 is a diagram for explaining an example of a method for limiting luminance components of reconstructed pixels used for calculating scaling coefficients.
  • FIG. 1 is a diagram showing an image processing system 10 according to this embodiment.
  • an image processing system 10 As shown in FIG. 1, an image processing system 10 according to this embodiment has an image encoding device 100 and an image decoding device 200 .
  • the image encoding device 100 is configured to generate encoded data by encoding an input image signal (picture).
  • the image decoding device 200 is configured to generate an output image signal by decoding encoded data.
  • such encoded data may be transmitted from the image encoding device 100 to the image decoding device 200 via a transmission path.
  • the encoded data may be stored in a storage medium and then provided from the image encoding device 100 to the image decoding device 200 .
  • FIG. 2 is a diagram showing an example of functional blocks of the image encoding device 100 according to this embodiment.
  • the image encoding device 100 includes an MC unit 111A, an OBMC unit 111B, an intra prediction unit 112, a synthesis unit 113, a subtractor 121, an adder 122, a transform/quantization unit 131, an inverse transform/inverse quantization unit 132, an encoding unit 140, a frame buffer 160, a first luminance mapping unit 170A, a second luminance mapping unit 170B, an in-loop filtering unit 170, and an inverse luminance It has a mapping unit 171 , a color difference scaling unit 180 and an inverse color difference scaling unit 181 .
  • the MC unit 111A is configured to generate MC pixel signals for the target block by motion compensation (MC).
  • motion compensation is also called inter-frame prediction or inter-prediction.
  • the MC unit 111A identifies a reference block included in the reference frame by comparing an encoding target frame (target frame) with a reference frame stored in the frame buffer 160, and determines the reference block for the identified reference block. It is configured to determine a motion vector (MV).
  • the reference frame is a frame different from the target frame.
  • the MC prediction unit 111A is configured to generate MC pixel signals (hereinafter referred to as MC pixels) included in the encoding target block (hereinafter referred to as target block) for each target block based on the reference block and the motion vector.
  • the MC unit 111A is configured to output MC pixels to the second luminance mapping unit 170B.
  • the MC unit 111A transmits information (specifically, inter prediction mode, motion vector, reference frame list, reference frame number, etc.) related to MC control to an encoding unit. 140.
  • information specifically, inter prediction mode, motion vector, reference frame list, reference frame number, etc.
  • the OBMC unit 111B is configured to generate OBMC pixel signals (hereinafter referred to as OBMC pixels) for the target block by Overlapped Block Motion Compensation (OBMC), which is a type of inter prediction.
  • OBMC pixels OBMC pixel signals
  • OBMC Overlapped Block Motion Compensation
  • the OBMC unit 111B performs the same procedure as the MC unit 111A, but instead of the target block, based on the reference block and the motion vector for the block adjacent to the target block (hereinafter referred to as the adjacent block), It is configured to generate MC pixel signals (hereafter referred to as OBMC pixels) for a predetermined pixel region overlapping in the direction of the target block from the boundary between the block and the adjacent block.
  • OBMC pixels MC pixel signals
  • the OBMC unit 111B is configured to output the OBMC pixels to the second luminance mapping unit 170B.
  • the OBMC unit 111B outputs information on OBMC control (specifically, information on motion vectors, reference frame lists, reference frame numbers, etc.) to the encoding unit 140. is configured as
  • the intra prediction unit 112 is configured to generate intra prediction pixel signals (hereinafter referred to as intra prediction pixels) for the target block by intra prediction (intra-frame prediction).
  • the intra prediction unit 112 is configured to identify reference blocks included in the target frame and generate intra prediction pixels for each target block based on the identified reference blocks.
  • the reference block is a block that is referenced for the target block.
  • the reference block is a block adjacent to the target block.
  • the intra prediction unit 112 is configured to output intra prediction pixels to the synthesis unit 113 .
  • the intra prediction unit 112 is configured to output information regarding control of intra prediction (specifically, information such as an intra prediction mode) to the encoding unit 140.
  • the first luminance mapping unit 170A When the luminance mapping/chroma scaling (LMCS: Luma Mapping with Chroma Scaling) disclosed in Non-Patent Document 1 is effective for the target block, the first luminance mapping unit 170A performs luminance component pixels in the input image signal. The maximum and minimum values are divided into 16 equal parts for each target block, and the values of the input image signal included in each section are converted using a pre-designed piecewise line system model (hereinafter referred to as luminance mapping). is configured to
  • the first luminance mapping unit 170A is configured to output the luminance-mapped input image signal value of the target block (hereinafter, input pixel) to the subtractor 121 and the intra prediction unit 112 in the subsequent stage.
  • the first luminance mapping unit 170A does not apply the above-described luminance mapping to the luminance component of the input pixel, and the subtractor 121 and the intra prediction unit 112 in the subsequent stage is configured to output an input pixel of a luminance component that has not been luminance-mapped to .
  • the first luminance mapping unit 170A does not apply the above-described luminance mapping processing to the color difference components of the input pixels, regardless of whether LMCS is valid or invalid for the target block.
  • the subtractor 121 and the intra prediction unit 112 are configured to output input pixels of color difference components that have not been luminance-mapped.
  • the second luminance mapping unit 170B converts each luminance component of the MC pixels output from the MC unit 111A and the OBMC pixels output from the OBMC unit 111B to the first luminance described above. It is configured to perform luminance mapping in the same manner as the mapping section 170A.
  • the second luminance mapping unit 170B is configured to output each of the luminance-mapped MC pixels and OBMC pixels to the synthesis unit 113 in the subsequent stage.
  • the second luminance mapping unit 170B does not apply the above-described luminance mapping to the luminance components of the MC pixels and the OBMC pixels, and applies the luminance mapping to the synthesis unit 113 in the subsequent stage. It is configured to output the MC and OBMC pixels of each luminance component that have not been mapped.
  • the second luminance mapping unit 170B does not apply the luminance mapping process described above to the color difference components of MC pixels and OBMC pixels, regardless of whether LMCS is valid or invalid for the target block. , and outputs MC pixels and OBMC pixels of each color difference component that are not luminance-mapped to the synthesizing unit 113 in the subsequent stage.
  • the synthesizing unit 113 performs weighted averaging (synthesizing) of the MC pixels and OBMC pixels from the second luminance mapping unit 170B and the intra prediction pixels from the intra prediction unit 112 using preset weighting coefficients, and the synthesized It is configured to output a prediction signal (hereinafter referred to as a prediction pixel) to a subtractor 121 and an adder 122 . Details of the weighting factor and the weighted averaging method will be described later.
  • the subtractor 121 outputs a difference obtained by subtracting the prediction pixel from the synthesizing unit 113 from the input pixel, that is, a prediction residual signal (hereinafter referred to as a prediction residual pixel) to the color difference scaling unit 180. is configured to
  • the chrominance scaling unit 180 calculates the chrominance scaling coefficient calculated using the average value of the decoded reconstructed pixels adjacent to the target block. It is configured to convert pixel values of chrominance components (hereinafter referred to as chrominance scaling). Details of the chrominance scaling method will be described later.
  • the chrominance scaling unit 180 is configured to output the prediction residual pixels of the target block subjected to chrominance scaling to the transformation/quantization unit 131 in the subsequent stage.
  • the chrominance scaling unit 180 does not apply the above-described chrominance scaling to the chrominance components of the prediction residual pixels, and the subtractor 121 and the intra prediction unit in the subsequent stage 112 is configured to output the non-chroma scaled prediction residual pixels.
  • the chrominance scaling unit 180 does not apply the above-described chrominance scaling to the luminance component of the prediction residual pixel, and performs the subsequent subtraction.
  • 121 and the intra prediction unit 112 are configured to output luminance components of prediction residual pixels that have not undergone chrominance scaling.
  • the adder 122 adds the prediction pixel output from the synthesizing unit 113 to the prediction residual pixel output from the inverse color difference scaling unit 181 to generate a pre-filtering decoded signal (hereinafter referred to as pre-filtering reconstructed pixel). , such pre-filtering reconstructed pixels are output to the intra prediction unit 112 and the inverse luminance mapping unit 171 .
  • the unfiltered reconstructed pixels form a reference block used by the intra prediction unit 112.
  • the transform/quantization unit 131 is configured to perform transform processing on the prediction residual signal and acquire the coefficient level value. Further, the transform/quantization unit 131 may be configured to quantize the coefficient level values.
  • the transform processing is processing for transforming the prediction residual signal into a frequency component signal.
  • a base pattern (transformation matrix) corresponding to a discrete cosine transform hereinafter referred to as DCT
  • a discrete sine transform hereinafter referred to as DST
  • a base pattern (transformation matrix) corresponding to may be used.
  • MTS Multiple Transform Selection
  • LFNST Low Frequency Non-Separable Transform
  • the inverse transform/inverse quantization unit 132 is configured to perform inverse transform processing on the coefficient level values output from the transform/quantization unit 131 .
  • the inverse transform/inverse quantization unit 132 may be configured to perform inverse quantization of the coefficient level values prior to the inverse transform processing.
  • the inverse transform processing and inverse quantization are performed in a procedure opposite to the transform processing and quantization performed by the transform/quantization unit 131 .
  • the encoding unit 140 is configured to encode the coefficient level values output from the transform/quantization unit 131 and output encoded data.
  • the encoding is entropy encoding that assigns codes of different lengths based on the probability of occurrence of coefficient level values.
  • the encoding unit 140 is configured to encode control data used in the decoding process in addition to the coefficient level values.
  • control data may include information (flags and indexes) regarding block sizes such as encoding block size, prediction block size, and transform block size.
  • control data includes inverse transform/inverse quantization processing of the inverse transform/inverse quantization unit 220 in the image decoding device 200 described later, MC pixel generation processing of the MC unit 241A, OBMC pixel generation processing of the OBMC unit 241B, Intra prediction pixel generation processing of the intra prediction unit 242, final prediction pixel generation processing of the synthesis unit 243, filtering processing of the in-loop filtering unit 250, luminance mapping processing of the luminance mapping unit 270, inverse luminance mapping unit 271 Information (flags and indexes) necessary for controlling the inverse luminance mapping processing, the inverse chrominance scaling processing of the inverse chrominance scaling unit 281, and the like may be included.
  • Non-Patent Document 1 these control data are called syntax, and their definitions are called semantics.
  • control data includes a sequence parameter set (SPS: Sequence Parameter Set), a picture parameter set (PPS: Picture Parameter Set), a picture header (PH: Picture Header), and a slice header (SH: Slice Header), which will be described later. ) and other header information.
  • SPS Sequence Parameter Set
  • PPS Picture Parameter Set
  • PH Picture Header
  • SH Slice Header
  • the inverse chrominance scaling unit 181 is configured to perform inverse chrominance scaling on the chrominance components of the prediction residual pixels output from the inverse transform/quantization unit 131 when LMCS is effective for the target block.
  • the inverse chrominance scaling is performed by the reverse procedure of chrominance scaling for the chrominance components in the prediction residual pixels of the target block in the chrominance scaling unit 180 described above.
  • the inverse color difference scaling unit 181 is configured to output the prediction residual pixels of the target block subjected to the inverse color difference scaling to the adder 122 in the subsequent stage.
  • the inverse chrominance scaling unit 181 does not apply the inverse chrominance scaling described above to the chrominance components of the prediction residual pixels, and the inverse chrominance scaling is applied to the adder 122 in the subsequent stage. It is configured to output prediction residual pixels that have not been chrominance scaled.
  • the inverse chrominance scaling unit 181 does not apply the inverse chrominance scaling described above to the luminance component of the prediction residual pixel, regardless of whether LMCS is enabled or disabled for the target block. are configured to output prediction residual pixels that have not been inversely chroma-scaled to the adder 122 of .
  • the inverse luminance mapping unit 171 is configured to perform inverse luminance mapping on the luminance components of the pre-filtering reconstructed pixels output from the adder 122 when LMCS is effective for the target block.
  • the inverse luminance mapping is performed by the reverse procedure of the luminance mapping for the luminance component of the prediction pixel in the target block in the first luminance mapping section 170A and the first luminance mapping section 170B.
  • the inverse luminance mapping unit 171 is configured to output the pre-filtering reconstructed pixels of the target block, which have undergone inverse luminance mapping, to the subsequent in-loop filter unit 170 .
  • the inverse luminance mapping unit 171 does not apply the above-described inverse luminance mapping to the luminance component of the reconstructed pixel before filtering, and the in-loop filter unit in the subsequent stage 170 is configured to output the luminance component of the prediction residual pixel that has not been inverse luminance mapped. Further, the inverse luminance mapping unit 171 does not apply the above-described inverse luminance mapping to the color difference components of the reconstructed pixels before filtering, regardless of whether LMCS is enabled or disabled for the target block. , and output to the in-loop filter unit 170 the chrominance components of the unfiltered reconstructed pixels that have not undergone inverse luminance mapping.
  • the in-loop filtering unit 170 is configured to perform filtering on the unfiltered reconstructed pixels output from the inverse luminance mapping unit 271 and to output the filtered decoded signal to the frame buffer 160. .
  • the filter processing includes deblocking filter processing for reducing distortion occurring at the boundary portion of blocks (encoding blocks, prediction blocks or transform blocks), filter coefficients and filter selection information transmitted from the image encoding device 100. , adaptive loop filtering that switches the filter based on the local characteristics of the pattern of the image.
  • the frame buffer 160 is configured to accumulate filtered decoded signals (hereinafter referred to as reference frames) input from the in-loop filtering unit 170 .
  • the frame buffer 160 is configured to output the accumulated reference frames as reference frames used in the MC section 111A or OBMC section 111B.
  • FIG. 3 is a diagram showing an example of functional blocks of the image decoding device 200 according to this embodiment.
  • the image decoding device 200 includes a decoding unit 210, an inverse transform/inverse quantization unit 220, an inverse color difference scaling unit 281, an adder 230, an MC unit 241A, an OBMC unit 241B, It has a luminance mapping unit 270 , an intra prediction unit 242 , a synthesizing unit 243 , an inverse luminance mapping unit 271 , an in-loop filtering unit 250 and a frame buffer 260 .
  • the decoding unit 210 is configured to decode the encoded data generated by the image encoding device 100 and decode the coefficient level values.
  • the decoding is, for example, entropy decoding in a procedure opposite to the entropy encoding performed by the encoding unit 140.
  • the decoding unit 210 may be configured to acquire the control data by decoding the encoded data.
  • control data may include information about the block size of the above-described decoding block (synonymous with the encoding target block in the image encoding device 100 described above; hereinafter collectively referred to as the target block).
  • control data includes the inverse transform/inverse quantization processing of the inverse transform/inverse quantization unit 220 in the image decoding device 200, the MC pixel generation processing of the MC unit 241A, and the OBMC pixel generation of the OBMC unit 241B. processing, intra prediction pixel generation processing of the intra prediction unit 242, final prediction pixel generation processing of the synthesis unit 243, filtering processing of the in-loop filtering processing unit 250, luminance mapping processing of the luminance mapping unit 270, inverse luminance mapping unit 271, the inverse chrominance scaling processing of the inverse chrominance scaling unit 281, and other information (flags and indexes) necessary for control.
  • control data includes the above-mentioned sequence parameter set (SPS: Sequence Parameter Set), picture parameter set (PPS: Picture Parameter Set), picture header (PH: Picture Header), and slice header (SH: Slice Header). ) and other header information.
  • SPS Sequence Parameter Set
  • PPS Picture Parameter Set
  • PH Picture Header
  • SH Slice Header
  • the inverse transform/inverse quantization unit 220 is configured to perform inverse transform processing on the coefficient level values output from the decoding unit 210 .
  • the inverse transform/inverse quantization unit 220 may be configured to perform inverse quantization of the coefficient level values prior to the inverse transform processing.
  • the inverse transform processing and inverse quantization are performed in a procedure opposite to the transform processing and quantization performed by the transform/quantization unit 131 .
  • the inverse color difference scaling unit 281 when LMCS is effective for the target block, for the color difference components of the prediction residual pixels output from the inverse transform/quantization unit 220, Configured for inverse chrominance scaling.
  • the inverse chrominance scaling is performed by the reverse procedure of chrominance scaling for the chrominance components in the prediction residual pixels of the target block in the chrominance scaling unit 180 described above.
  • the inverse color difference scaling unit 281 is configured to output the prediction residual pixels of the target block subjected to the inverse color difference scaling to the adder 230 in the subsequent stage.
  • the inverse chrominance scaling unit 281 does not apply the inverse chrominance scaling described above to the chrominance components of the prediction residual pixels, and the inverse chrominance scaling is applied to the adder 230 in the subsequent stage. It is configured to output the chrominance components of the prediction residual pixels that have not been chrominance scaled.
  • the inverse chrominance scaling unit 281 does not apply the inverse chrominance scaling described above to the luminance component of the prediction residual pixel, regardless of whether LMCS is enabled or disabled for the target block. is configured to output the luminance component of the prediction residual pixel that has not been inversely chroma-scaled to the adder 230 of .
  • the adder 230 adds the prediction pixel output from the synthesizing unit 243 to the prediction residual pixel output from the inverse color difference scaling unit 281 to obtain a pre-filtering decoded signal (hereinafter referred to as pre-filtering reconstructed pixels), and outputs the reconstructed pixels before filtering to the intra prediction unit 42 and the inverse luminance mapping unit 271 .
  • the unfiltered reconstructed pixels form a reference block used by the intra prediction unit 112.
  • the inverse luminance mapping unit 271 maps the luminance components of the unfiltered reconstructed pixels output from the adder 230 to the inverse luminance configured to map.
  • the inverse luminance mapping is performed by the reverse procedure of the luminance mapping for the luminance component of the predicted pixel in the target block in the first luminance mapping section 170A and the second luminance mapping section 170B.
  • the inverse luminance mapping unit 271 is configured to output the unfiltered reconstructed pixels of the target block subjected to inverse luminance mapping to the subsequent in-loop filter unit 280 .
  • the inverse luminance mapping unit 271 does not apply the above-described inverse luminance mapping to the luminance component of the reconstructed pixel before filtering, and the in-loop filter in the latter stage It is configured to output to unit 280 the luminance component of the prediction residual pixel that has not been inverse luminance mapped.
  • the inverse luminance mapping unit 271 does not apply the above-described inverse luminance mapping to the chrominance components of the reconstructed pixels before filtering regardless of whether LMCS is enabled or disabled for the target block. , to the in-loop filter unit 280 to output unfiltered reconstructed pixels that have not undergone inverse luminance mapping.
  • in-loop filtering section 250 performs filtering on the unfiltered decoded signal output from adder 230, and outputs the filtered decoded signal to frame buffer 260. is configured to
  • the filter processing includes deblocking filter processing for reducing distortion occurring at boundaries of blocks (encoding blocks, prediction blocks, transform blocks, or sub-blocks obtained by dividing them), transmission from the image encoding device 100
  • deblocking filter processing for reducing distortion occurring at boundaries of blocks (encoding blocks, prediction blocks, transform blocks, or sub-blocks obtained by dividing them), transmission from the image encoding device 100
  • This is adaptive loop filtering that switches filters based on the filter coefficients, filter selection information, and local characteristics of the pattern of the image.
  • the frame buffer 260 like the frame buffer 160, is configured to accumulate reference frames used in the inter prediction section 241.
  • the filtered decoded signal constitutes a reference frame used by the inter prediction unit 241 .
  • the MC unit 241A is configured to generate MC pixels for the target block by motion compensation (MC).
  • motion compensation is also called inter-frame prediction or inter-prediction.
  • the MC unit 241A identifies the reference block included in the reference frame by comparing the decoding target frame (target frame) with the reference frame stored in the frame buffer 260, and performs the MV for the identified reference block. is configured to determine
  • the reference frame is a frame different from the target frame.
  • the MC unit 241A is configured to generate MC pixels included in the target block for each target block based on the reference block and the motion vector.
  • the MC unit 241A is configured to output MC pixels to the luminance mapping unit 270.
  • the OBMC unit 241B is configured to generate OBMC pixels for the target block by OBMC.
  • the OBMC unit 241B generates MC pixels (OBMC pixels) for a predetermined pixel region overlapping in the direction of the target block from the boundary between the target block and the adjacent block in the same procedure as the OBMC unit 111B. It is configured.
  • the OBMC unit 241B is configured to output the OBMC pixels to the luminance mapping unit 270.
  • the luminance mapping unit 270 maps each luminance of the MC pixels output from the MC unit 241A and the OBMC pixels output from the OBMC unit 241B.
  • the components are configured to perform luminance mapping in the same manner as the above-described first luminance mapping section 170A and second luminance mapping section 170B.
  • the brightness mapping unit 270 is configured to output each of the MC pixels and OBMC pixels on which brightness mapping has been performed to the synthesizing unit 243 in the subsequent stage.
  • the luminance mapping unit 270 does not apply the above-described luminance mapping to the luminance components of the MC pixels and OBMC pixels, and performs luminance mapping in the synthesis unit 243 in the subsequent stage. It is configured to output MC and OBMC pixels for each luminance component that is not processed.
  • the luminance mapping unit 270 does not apply the above-described luminance mapping processing to the color difference components of MC pixels and OBMC pixels, regardless of whether LMCS is enabled or disabled for the target block. It is configured to output the MC pixels and OBMC pixels of each color difference component that are not luminance-mapped to the synthesizing unit 243 in the subsequent stage.
  • the intra prediction unit 24 like the intra prediction unit 112, is configured to generate intra prediction pixels for the target block by intra prediction.
  • the intra prediction unit 242 is configured to identify reference blocks included in the target frame and generate intra prediction pixels for each target block based on the identified reference blocks.
  • the reference block is a block referenced for the target block.
  • the reference block is a block adjacent to the target block.
  • the intra prediction unit 242 is configured to output intra prediction pixels to the synthesis unit 243 .
  • the synthesizing unit 243 performs a weighted average (synthesis) of the MC pixels and OBMC pixels from the luminance mapping unit 270 and the intra prediction pixels from the intra prediction unit 242 using preset weighting coefficients. and outputs the synthesized prediction pixel to the adder 230 . Details of the weighting factor and the weighted averaging method will be described later.
  • the geometric partitioning mode (GPM) disclosed in Non-Patent Document 1 relating to the decoding unit 210, the MC prediction unit 241A, the intra prediction unit 242, and the synthesis unit 243 will be described below with reference to FIG. .
  • FIG. 4 shows that a rectangular block to be decoded is divided into geometrically shaped divided regions A and B by a dividing line L of the geometrical dividing mode in the geometrical dividing mode disclosed in Non-Patent Document 1.
  • a rectangular block to be decoded is divided into geometrically shaped divided regions A and B by a dividing line L of the geometrical dividing mode in the geometrical dividing mode disclosed in Non-Patent Document 1.
  • Non-Patent Document 1 64 patterns of the dividing line L in the geometric dividing mode disclosed in Non-Patent Document 1 are prepared according to the angles and positions.
  • MC motion compensation
  • a merge candidate list disclosed in Non-Patent Document 1 is constructed, and two merge indexes for each divided area A/B transmitted from the merge candidate list and the image coding apparatus 100 Based on (merge_gpm_idx0, merge_gpm_idx1), motion vectors (mvA, mvB) and reference frames for each of the divided regions A/B are derived to generate motion compensation pixels. Then, the MC pixels of each divided area A/B are weighted averaged (synthesized) by a preset weighting factor, which will be described later, to generate a final GPM prediction pixel.
  • 5 and 6 show an example of applying the intra prediction mode to the GPM according to this embodiment.
  • FIG. 5 shows a configuration example of the GPM according to this embodiment when intra prediction (mode X) and inter prediction are applied to each divided region A/B.
  • FIG. 6 shows a configuration example of the GPM according to this embodiment when two different intra-predictions (modeX, modeY) are applied to A/B in each divided region.
  • either inter prediction or intra prediction can be applied to each divided area A/B.
  • the type of intra prediction mode applied in intra prediction is limited based on the partition shape (partition line) of the GPM applied to the target block. That is, an applicable intra-prediction mode is derived based on the dividing shape (dividing line) of the GPM applied to the target block.
  • the second GPM it is specified whether or not to apply GPM to which the intra prediction mode is additionally applied in the decoding target block and how to specify the prediction mode type in each divided area A / B when applying GPM. are doing.
  • the GPM to which the intra-prediction mode is additionally applied is appropriately applied to the decoding target block, and the optimum prediction mode is specified. As a result, there is room for further improvement in coding performance.
  • GPM configured with two different inter predictions as shown in FIG. 4 described above
  • GPM configured with intra prediction and inter prediction as shown in FIG. 5 intra prediction as shown in FIG. and intra prediction are called Inter/Inter-GPM, Intra/Inter-GPM, and Intra/Intra-GPM, respectively.
  • FIG. 7 is a diagram showing an example of an intra prediction mode candidate list according to this embodiment.
  • the list size of the intra-prediction mode candidate list may be a fixed value.
  • the list size is "3", "4" and "5", or "6" which is the maximum size of the intra prediction mode candidate list for intra prediction blocks to which GPM is not applied disclosed in Non-Patent Document 1.
  • the maximum size of the intra prediction mode candidate list for intra prediction blocks to which the GPM disclosed in Non-Patent Document 3 is not applied may be “22”.
  • the list size of the intra-prediction mode candidate list may be a variable value.
  • an index specifying the maximum list size is included in the control data for each sequence, picture, or slice, and is decoded by the decoding unit 210 to specify the maximum list size for each sequence, picture, or slice. can do.
  • intra prediction mode candidate list a plurality of intra prediction modes derived based on the GPM division shape described later or adjacent reference pixels or adjacent reference blocks adjacent to the decoding target block are registered. The details of how to derive the intra prediction mode will be described later.
  • the intra prediction unit 242 After completing derivation of the intra prediction mode (construction of the intra prediction mode candidate list) described above, the intra prediction unit 242 sets two intra prediction mode indexes (intra_gpm_idx0 and intra_gpm_idx1), it may be selected whether to use any one intra prediction mode in the intra prediction mode candidate list for generating intra prediction pixels for each of the sub-regions A/B.
  • the two intra-prediction mode indexes are always different because the intra-prediction is the same as the intra-prediction without applying GPM. configured to be a value.
  • the decoding unit 210 determines an intra prediction mode index for selecting an intra prediction mode to be used for generating an intra prediction pixel from the intra prediction mode candidate list according to the total number of applications of intra prediction making up the GPM. Decoding necessity may be determined.
  • the intra prediction unit 242 selects a plurality of intra prediction modes in the intra prediction mode candidate list according to the value of the intra prediction mode index described above, and generates an intra prediction pixel.
  • intra prediction performance is improved because intra prediction pixels can be generated in a plurality of intra prediction modes. As a result, improvement in coding performance can be expected.
  • intra-prediction pixels when intra-prediction pixels are generated (synthesized) using a plurality of intra-prediction modes, intra-prediction pixels may be synthesized on average. Alternatively, intra-prediction pixels may be synthesized by weighted averaging with a predetermined weight value.
  • a larger weight value may be set for an intra prediction mode whose registration order in the intra prediction mode candidate list is earlier (smaller list number).
  • the weight value may be set smaller for an intra prediction mode whose registration order in the intra prediction mode candidate list is later (larger list number). Since the intra prediction mode with a smaller intra prediction mode candidate list number has a higher rate of improvement in intra prediction performance applied to GPM, this setting can be expected to improve coding performance as a result.
  • the intra prediction unit 242 derives an intra prediction mode based on the GPM division shape (dividing line), and registers it in the intra prediction mode candidate list described above.
  • the derived intra prediction mode is, for example, among 65 types of Angular prediction prepared for non-applied intra prediction (hereinafter, normal intra prediction) disclosed in Non-Patent Document 1, Angular prediction that is parallel to the division shape (dividing line) of the GPM may be performed.
  • the intra prediction mode derived as a modification is selected from 65 types of Angular prediction prepared for normal intra prediction disclosed in Non-Patent Document 1, for the GPM dividing shape (dividing line L) Angular prediction may be configured to be vertical.
  • the intra prediction unit 242 may register the derived angular prediction first in the intra prediction mode candidate list described above even after the derivation of other intra prediction modes, which will be described later, is completed.
  • the intra prediction mode derived based on the GPM division shape can generate intra prediction pixels after reflecting textures such as edges according to the GPM division shape. Therefore, since it can be expected that the selection rate of the intra prediction mode for the GPM intra prediction region is high, if it is linked to the minimum list number in the intra prediction mode candidate list, the total code length can also be shortened, and as a result, an improvement in coding performance can be expected.
  • the intra prediction mode may be derived based on adjacent pixels or adjacent blocks of the block to be decoded.
  • the adjacent reference pixels or adjacent reference blocks adjacent to the decoding target block refer to reference pixels or reference blocks adjacent to the decoding target block and for which decoding processing has been completed at the start of the decoding processing of the decoding target block. be.
  • intra prediction modes in addition to deriving the above-described two types of intra prediction modes, or as a modified example, other intra prediction modes may be derived. Specifically, DC mode or Planar mode may be derived.
  • the MC unit 241A may derive motion information from the merge candidate list for GPM disclosed in Non-Patent Document 1.
  • Non-Patent Document 1 the configuration disclosed in Non-Patent Document 1 can also be applied to this embodiment, so a detailed description will be omitted.
  • the MC unit 241A calculates the values of the two merge indexes (merge_gpm_idx0/merge_gpm_idx1) for each of the divided regions A/B decoded or estimated by the decoding unit 210. based on which motion information in the merge candidate list to use for generating inter-predicted pixels.
  • Decoding section 210 determines whether or not decoding of merge indexes for selecting motion information to be used for generating inter-prediction pixels from within the merge candidate list is necessary, depending on the total number of applications of inter-prediction that constitutes the GPM. may
  • inter-prediction motion information for divided regions A/B includes values of two merge indexes (merge_gpm_idx0/merge_gpm_idx1) decoded or estimated by the decoding unit 210, and merge candidates for GPM shown in FIG. List(MergeCandList[m,n]).
  • the list number from which motion information is derived is an even number of MergeCandList as indicated by X in FIG. It has a nested structure with numbers and odd numbers.
  • m and n are calculated based on merge_gpm_idx0 and merge_gpm_idx1.
  • the value of X is calculated from m & 0x01 (determining whether the value of m is an even number) and n & 0x01 (determining whether the value of n is an even number).
  • the value of X is set to (1-X).
  • the motion vector mvA of divided area A the reference image index refIdxA, the prediction list flag preListFlagA, the motion vector mvB of divided area B, the reference image index refIdxB, and the prediction list flag preListFlagB are derived as follows.
  • the merge candidate list for GPM disclosed in Non-Patent Document 2 instead of the merge candidate list for GPM disclosed in Non-Patent Document 1, the merge candidate list for GPM disclosed in Non-Patent Document 2 may be used.
  • merge candidate pruning process for normal merge mode a more powerful pruning process (hereinafter referred to as merge candidate pruning process for normal merge mode) introduced into the merge candidate list for normal merge mode disclosed in Non-Patent Document 1 ( Hereafter, merge candidate pruning processing for GPM) is introduced.
  • the motion vector included in the motion information is determined by a threshold value based on the block size of the decoding target block, instead of a perfect match.
  • the threshold when the block size to be decoded is less than 64 pixels, the threshold is set to 1/4 pixel, and when the block size to be decoded is 64 pixels or more and less than 256 pixels, the threshold is set to 1. /2 pixels, and when the block size to be decoded is 256 pixels or more, the threshold is set to 1 pixel.
  • the specific flow of the merge candidate pruning process for GPM is similar to the pruning process for normal merge mode. It is determined whether to
  • the reference frame does not match perfectly, it will not be considered as a target for pruning, even if the motion vector is less than the threshold. In such a case, motion information that is not included in the merge candidate list among the comparison targets is added to the merge candidate list as a new merge candidate.
  • Non-Patent Document 2 when motion information is bi-prediction (that is, when L0 and L1 each have one motion vector and one reference frame), It is considered to be a pruning target when it completely matches each of the L0 and L1 reference frames of the merging candidate to be compared.
  • the MC unit 241A may derive motion information by using the GPM merge candidate list to which the GPM merge candidate pruning process is added as an alternative for the normal merge mode.
  • motion information can be derived from a merge candidate list composed of motion information with a lower degree of similarity, and as a result, an improvement in encoding performance can be expected.
  • the MC unit 241A may use a flag to switch between the merge candidate list for the normal merge mode and the merge candidate list for the GPM as the merge candidate list used for deriving the motion vector. good.
  • the decoding unit 210 decodes, for example, by configuring a 1-bit flag to be included in the control data, the decoding unit 210 decodes or estimates the value of the flag, and sends it to the MC unit 241A This switching can be realized by transmitting.
  • the MC unit 241A can derive motion information from a wider variety of variations, so prediction performance is improved, and as a result, an improvement in encoding performance can be expected.
  • OBMC Overlapped Block Motion Compensation
  • FIG. 9 shows two examples of rectangular decoding target blocks to which OBMC disclosed in Non-Patent Document 2 is applied.
  • FIG. 9A is an example in which OBMC is applied to block boundaries facing the upper and left sides of the block to be decoded when the motion vector (MV) of the block to be decoded is uniform with respect to the block to be decoded. be.
  • FIG. 9B shows a case where the MVs of the decoding target block are not uniform with respect to the decoding target block, for example, when the decoding target block has different MVs for each predetermined block size, as shown in FIG. 9B.
  • OBMC is applied to upper, lower, left, and right block boundaries of each block.
  • FIG. 9B An example such as that shown in FIG. 9B occurs when, for example, Affine prediction and Decoder Motion Vector Refinement (DMVR) disclosed in Non-Patent Document 1 are effective.
  • DMVR Decoder Motion Vector Refinement
  • DMVR is a technique for correcting the derived motion vector by re-searching in units of 16 ⁇ 16 pixels after deriving the motion vector by the OBMC unit 241B.
  • the application of DMVR and BDOF was restricted during inter prediction of each divided region, but bi-prediction is applied to the inter prediction region of Intra/Inter-GPM in this embodiment. Therefore, the OBMC unit 241B may apply DMVR or BODF to the inter prediction region of Intra/Inter-GPM.
  • DMVR or BODF application determination method can use the same configuration as in Non-Patent Document 1 in this embodiment, so detailed description will be omitted.
  • the OBMC unit 241B may always restrict (prohibit) application of DMVR or BODF even when bi-prediction can be applied to the inter-prediction region of Intra/Inter-GPM in this embodiment.
  • Non-Patent Document 1 application of DMVR or BODF is restricted to inter-bi-prediction regions of Intra/Inter-GPM. do.
  • a determination condition based on a flag indicating whether or not the GPM disclosed in Non-Patent Document 1 is applied, which the decoding target block has, is added to the DMVR or BODF application condition disclosed in Non-Patent Document 1. It can be realized by
  • FIG. 10 shows a flowchart of the OBMC application control method by the OBMC unit 241B.
  • the OBMC unit 241B performs a sub-block of 4 ⁇ 4 pixels (hereinafter referred to as a target sub-block) as a unit of OBMC application, similarly to the OBMC applicability determination process disclosed in Non-Patent Document 2. implemented every year.
  • a target sub-block 4 ⁇ 4 pixels
  • step S241-01 the OBMC unit 241B determines whether or not the prediction type of the target sub-block is inter prediction (inter prediction).
  • step S241-02 If it is determined that this condition is satisfied, the operation proceeds to step S241-02, and if it is determined that this condition is not satisfied, that is, the prediction type of the target sub-block is intra prediction. If it is determined that there is, the operation proceeds to step S241-03.
  • step S241-03 the OBMC unit 241B determines that OBMC is not applied to the target sub-block, and this operation ends.
  • the OBMC unit 241B determines whether obmc_flag of the target sub-block is 1 or not.
  • step S241-04 If it is determined that such condition is satisfied, the operation proceeds to step S241-04; if it is determined that such condition is not satisfied, that is, obmc_flag is 1, this operation is , the process proceeds to step S241-05.
  • step S241-05 the OBMC unit 241B determines that OBMC is not applied to the target sub-block, and this operation ends.
  • obmc_flag is a syntax indicating whether or not OBMC is applicable for each block to be decoded.
  • An obmc_flag value of 0 indicates that OBMC is not applied, and an obmc_flag value of 1 indicates that OBMC is applied.
  • Whether the value of obmc_flag is 0 or 1 is determined by decoding by the decoding unit 210, or the value is estimated without decoding.
  • the obmc_flag decoding method and the obmc_flag value specifying method and estimation method can have the same configuration as in Non-Patent Document 2, so detailed description thereof will be omitted.
  • the OBMC unit 241B determines whether or not the adjacent block across the block boundary with respect to the target sub-block has a motion vector (MV).
  • step S241-06 If it is determined that such conditions are satisfied, the operation proceeds to step S241-06, and if it is determined that such conditions are not satisfied, the operation proceeds to step S241-07.
  • step S241-07 the OBMC unit 241B determines that OBMC is not applied to the target sub-block, and this operation ends.
  • the OBMC unit 241B determines whether or not the difference between the MV of the target sub-block and the MV of the adjacent block is equal to or greater than a predetermined threshold.
  • step S241-08 If it is determined that such conditions are satisfied, the operation proceeds to step S241-08, and if it is determined that such conditions are not satisfied, the operation proceeds to step S241-09.
  • step S241-08 the OBMC unit 241B determines that OBMC is applied to the target sub-block, and this operation ends.
  • step S241-09 the OBMC unit 241B determines that OBMC is not applied to the target sub-block, and this operation ends.
  • the predetermined threshold may be 1 pixel. Alternatively, it may be 0 pixels (that is, it is determined that OBMC is applied only when there is no complete match).
  • a variable value corresponding to the number of MVs included in the target sub-block may be used as the predetermined threshold. For example, if the target sub-block has one MV, the predetermined threshold may be 1 pixel, and if the target sub-block has two MVs, the predetermined threshold may be 0.5 pixels.
  • Non-Patent Document 2 for a target sub-block having MV, by applying OBMC only when the difference in MV from the adjacent block is large, the target sub-block and the adjacent block Discontinuity of block boundaries between (hereinafter referred to as block boundary distortion) is eliminated, and as a result, improvement in prediction performance can be expected.
  • block boundary distortion the target sub-block and the adjacent block Discontinuity of block boundaries between
  • FIG. 11 shows an example of applying OBMC to the upper and left block boundaries of the decoding target block for the block to which GPM is applied in this embodiment.
  • the target sub-block to which OBMC is applied has a maximum of three patterns below.
  • the first pattern includes target sub-blocks belonging to divided area A
  • the second pattern includes target sub-blocks belonging to divided area B
  • the third pattern includes target sub-blocks belonging to both divided areas A and B. There is a target sub-block.
  • These three patterns of target sub-blocks are further divided according to whether the prediction type applied to the divided regions A and B is inter prediction or intra prediction.
  • the target sub-blocks of the first pattern and the second pattern are divided into two cases of inter prediction and intra prediction.
  • the target sub-block of the third pattern is divided into a total of three cases: two different inter prediction cases, inter and intra prediction cases, and two different intra prediction cases.
  • the target sub-block has only one prediction type. Therefore, in the target sub-block of the third pattern, the prediction type of the target sub-block is determined by a combination of two predictions forming the target sub-block. Specifically, a prediction type composed of two different inter predictions is treated as inter prediction, a prediction type composed of inter prediction and intra prediction is treated as inter prediction, and a prediction composed of two different intra predictions The type is treated as intra prediction.
  • OBMC cannot be applied to target sub-blocks whose prediction type is intra prediction for the following reasons. This is because the predicted pixels of the target sub-block under the same conditions are generated by intra prediction using reconstructed pixels adjacent to the target sub-block, so at the block boundary between such reconstructed pixels and the generated predicted pixels, Unlike inter-prediction, block boundary distortion is less likely to occur qualitatively.
  • the application of OBMC is restricted to target sub-blocks whose prediction type is intra prediction (OBMC is not applicable). do).
  • OBMC can be applied to target sub-blocks whose prediction type is inter prediction.
  • FIG. 12 shows a case where bi-prediction is applied to an inter-prediction region of Intra/Inter-GPM in this embodiment, DMVR is applied to the region, and the motion vectors of the predetermined block sizes constituting the region are different. shows an example in which OBMC is applied to the top, bottom, left, and right block boundaries of those blocks.
  • the application of OBMC may be restricted (prohibited) to the intra area, as in the case described above.
  • the OBMC applied to the upper, lower, left, and right block boundaries of each predetermined block size that constitutes the decoding target block is based on the block-based OBMC application control method shown in FIG. , the applicability of OBMC may be determined again.
  • unnecessary application of OBMC can be avoided by controlling that OBMC is not applied to block boundaries where intra areas are adjacent in the target sub-block.
  • the definition of the first weighting coefficient w_1 of the OBMC according to Non-Patent Document 2 and the present embodiment relating to the MC unit 241A, the OBMC unit 241B, and the synthesizing unit 243, and the first weighting coefficient w_1, the MC pixel, and the OBMC pixel are A method of generating final inter-prediction pixels used will be described.
  • the synthesizing unit 243 performs a weighted average (synthesizing) on the MC pixels and the OBMC pixels respectively output from the luminance mapping unit 270 using the first weighting factor w_1 set based on the distance from the boundary of the target block or target sub-block. , to produce the final inter-predicted pixels.
  • Non-Patent Document 2 different numbers of applicable lines and different weighting factors are set for OBMC for the target block and OBMC for the target sub-block.
  • the setting is as follows.
  • the final luminance component (Inter_Y) of the inter prediction pixel is calculated as follows using the first weighting factor w_1, the MC pixel (MC_Y), and the OBMC pixel (OBMC_Y).
  • the luminance component (Inter_Y) of the final inter prediction pixel is calculated as follows using the first weighting factor w_1, the MC pixel (MC_Y), and the OBMC image (OBMC_Y).
  • the MC pixel (MC_Y) in Expression 2 is a weighted average (composite ) indicates MC pixels.
  • the MC pixel (MC_Y) in Equation 2 indicates the MC pixel of either of the divided regions A/B that is inter prediction.
  • each of the divided regions A and B is composed of intra-prediction pixels. expected pixels are not generated.
  • the second weighting factor w_2 of the GPM according to Non-Patent Document 1 and the present embodiment relating to the decoding unit 210, the MC unit 241A, the intra prediction unit 242, and the synthesis unit 243 will be described below with reference to FIGS. 13 to 15.
  • FIG. 13 The second weighting factor w_2 of the GPM according to Non-Patent Document 1 and the present embodiment relating to the decoding unit 210, the MC unit 241A, the intra prediction unit 242, and the synthesis unit 243 will be described below with reference to FIGS. 13 to 15.
  • FIG. 13 is a diagram showing an example of the value of the second weighting factor w_2 for predicted pixels of each divided area A/B of GPM according to Non-Patent Document 1 and the present embodiment.
  • the MC unit 241A and OBMC Based on the combination of prediction types (Inter/Inter-GPM, Intra/Inter-GPM, Intra/Intra-GPM) constituting GPM and the applicability of OBMC to each divided region A/B, the MC unit 241A and OBMC The inter-predicted pixels generated by the unit 241B or the intra-predicted pixels generated by the intra prediction unit 242 are weighted averaged (combined) by the combining unit 243 using the second weighting coefficient w_2.
  • values of 0 to 8 are used as the value of the second weighting factor w_2, and this embodiment may also use such a value of the second weighting factor w_2.
  • values 0 and 8 of the second weighting factor w_2 indicate non-blending areas
  • values 1 to 7 of the second weighting factor w_2 indicate blending areas.
  • the second weighting factor w_2 is calculated in the same manner as in Non-Patent Document 1.
  • Offset values (offsetX, offsetY) calculated from the pixel position (xL, yL) and the target block size, From the displacement (diplacementX, displacementY) calculated from the angleIdx that defines the angle of the dividing line of the geometric division mode (GPM) shown in FIG. 14 and the table value disLut calculated from the displacementX, displacementY shown in FIG. can be configured to calculate
  • the second weighting factor w_2 the luminance component (MC_AY) of the MC pixel of the divided area A (that is, the MC pixel based on the motion information of the area A) and the MC pixel of the divided area B
  • the GPM MC pixel (MC_Y) is generated as follows.
  • the OBMC pixel (OBMC_Y) is weighted averaged with the MC pixel (MC_Y) according to Equation 1 or Equation 2 shown above to generate an inter-predicted pixel (Inter_Y) by GPM. . Then, such an inter-predicted pixel is output from the synthesizing unit 243 as a final predicted pixel (Pred_Y) by GPM.
  • the second weighting factor w_2 the luminance component (Intra_AY) of the intra-prediction pixel of the divided area A (that is, the intra-pixel based on the intra-prediction mode of the area A) and the divided area B GPM intra-prediction pixels (Intra_Y) are generated as follows, using each luminance component (Intra_BY) of intra-pixels (that is, intra-pixels based on the intra-prediction mode of region A).
  • OBMC pixels do not need to be applied to GPM-predicted pixels composed only of intra-predicted pixels. output from
  • the second weighting factor w_2 the MC pixel of the divided area A or B (that is, the MC pixel based on the motion information of the area A or B), the intra of the divided area B or A
  • predicted pixels i.e., intra pixels based on the intra prediction mode that region B or A has
  • luminance components of OBMC pixels for MC pixels in divided region A or B the final predicted pixels by GPM are as follows: generated in In the following calculation formula, an example is shown in which divided area A is inter prediction (MC) and divided area B is intra prediction.
  • GPM-based inter prediction pixels are calculated based on the MC pixels and OBMC pixels of the divided area A or B and the first weighting factor.
  • Pred_Y the final GPM-predicted pixel (Pred_Y) based on the GPM-based inter-predicted pixel, the GPM-based intra-predicted pixel (in this example, the intra-predicted pixel of the divided region B), and the second weighting factor.
  • Pred_Y the final GPM-predicted pixel
  • the final prediction pixels in the luminance component of the target block are the luminance-mapped MC pixels and OBMC pixels output from the luminance mapping unit 270, or the intra prediction unit 242. Generated by the output luminance-mapped intra-prediction pixels.
  • the synthesizing unit 243 needs to appropriately perform the weighted average order of luminance-mapped MC pixels, OBMC pixels, and intra prediction pixels. .
  • the synthesizing unit 243 converts the MC pixels (FwdMap(MC_Y)) and the OBMC pixels (FwdMap(OBMC_Y)) of the luminance-mapped divided regions A or B output from the luminance mapping unit 270 into the following equations: and the first weighting factor w_1 to generate a weighted average luminance-mapped inter prediction pixel (FwdMap(Inter_Y)).
  • the synthesizing unit 243 uses GPM based on the inter-predicted pixel, the intra-predicted pixel (Intra_Y) of the luminance-mapped divided region B or A output from the intra-prediction unit 242, and the second weighting factor w_2. Generate the final predicted pixel (Pred_Y).
  • MC inter prediction
  • w_Y the second weighting factor
  • GPM when all of GPM, OBMC, and LMCS are valid in the target block and GPM is composed of inter prediction and intra prediction, MC pixels, OBMC pixels, and intra prediction pixels by GPM that are luminance-mapped. can be synthesized to generate a predicted pixel in the luminance component of the target block.
  • the signal space of the three predicted pixels (1. MC pixel by GPM, 2. OBMC pixel, 3. intra-predicted pixel by GPM) is aligned in the luminance-mapped space, and then intra/inter- Since it means that the final prediction pixel of GPM is generated, as a result, an effect of improving the prediction performance can be expected.
  • the GPM, OBMC, and LMCS explained in the present embodiment are effective based on the same concept. It can be applied to the generation method of the prediction pixel at time.
  • the synthesizing unit 243 may include the function of performing luminance mapping on the MC pixels and the OBMC pixels in the second luminance mapping unit 270 .
  • the synthesizing unit 243 uses the MC pixels output from the MC unit 241A, the OBMC pixels output from the OMBC unit, the first weighting coefficient, and the second weighting coefficient to perform inter prediction using GPM or OBMC. Generate a pixel.
  • the synthesizing unit 243 performs luminance mapping on the generated inter prediction pixels. Then, when the GPM is, for example, intra/inter-GPM, the synthesizing unit 243 weights the intra prediction pixel output from the intra prediction unit 242 with respect to the inter prediction pixel based on the second weighting factor. It may be averaged to generate and output the final pixel prediction.
  • the GPM is, for example, intra/inter-GPM
  • the brightness mapping process is required for each of the MC pixels and the OBMC pixels, but in the modified example, only the inter-prediction pixels need to be brightness mapped, so the number of brightness mapping processes is reduced. effect can be expected.
  • the inverse chrominance scaling method according to the present embodiment which takes into account the shape of the GPM division, will be described below with reference to FIGS. 16 to 18.
  • FIG. Note that the chrominance scaling method according to the present embodiment is the inverse procedure of the inverse chrominance scaling method described here, and thus the divided shapes described below are common. Therefore, even the part described as the inverse chrominance scaling method can be read as the chrominance scaling method.
  • FIG. 16 is a diagram showing an example of the inverse color difference scaling method considering the GPM division shape according to the present embodiment.
  • the inverse color difference scaling method for GPM disclosed in Non-Patent Document 1 is applied to prediction residual pixels in units of target blocks, not in units of divided regions A/B.
  • the scaling factor used at this time is the average value of the luminance components of the reconstructed blocks adjacent to the target block (specifically, the reconstructed pixels adjacent to the upper one line and the left one line). Calculated. This scaling factor calculation method is the same even when GPM is enabled.
  • inverse chrominance scaling may be applied by dividing it into divided areas A/B of GPM.
  • the method that considers the GPM division shape shown below may be applied (replaced) as an alternative.
  • this method uses a table in which the reference areas of the divided areas A and B are set based on the angle of the dividing line L of the GPM as shown in FIG.
  • a and L shown in FIG. 17 indicate the upper and left parts of the target block, respectively.
  • this table is used to limit the reconstructed pixels of the luminance component used when calculating the scaling coefficients in the inverse chrominance scaling method, only the reconstructed pixels along the division shape can be used for each of the divided areas A and B. Since the scaling coefficient can be calculated, the accuracy of the prediction residual pixels of the color difference components is improved, resulting in improved prediction performance.
  • the scaling coefficient calculation method in the inverse color difference scaling method using the reference area restriction table based on the GPM division shape is shown.
  • the intersection of L and the luminance component of the reconstructed pixel adjacent to the target block may limit the luminance component of the reconstructed pixel used for calculating the scaling factor.
  • the pixels positioned at the intersection may be used in either one of the divided areas A/B, or may be used in both.
  • the GPM divides the rectangular block into two geometric shapes, and describes the signaling method when the intra prediction mode is applied to the GPM.
  • the same concept applies to applying intra prediction to GPM, deriving intra prediction mode, applying OBMC to GPM, GPM and OBMC, as described in this embodiment. and the method related to predicted pixel generation when LMCS is valid can be applied.
  • the image encoding device 100 and the image decoding device 200 described above may be implemented as a program that causes a computer to execute each function (each process).
  • the present invention is applied to the image encoding device 100 and the image decoding device 200 as examples, but the present invention is not limited to this.
  • the same can be applied to an image encoding system and an image decoding system having the functions of the device 100 and the image decoding device 200.
  • the United Nations-led Sustainable Development Goals (SDGs) Goal 9 "Develop resilient infrastructure, It will be possible to contribute to the promotion of sustainable industrialization and the expansion of innovation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明に係る画像復号装置２００において、対象ブロックに対してＧＰＭとＯＢＭＣとＬＭＣＳの全てが有効であり、且つ、ＧＰＭがインター予測とイントラ予測とで構成される場合、合成部２４３は、輝度マッピングが行われたＭＣ及びＯＢＭＣ及びイントラ予測画素の各輝度成分を合成して、対象ブロックの輝度成分に対する予測画素を生成するように構成されている。

Description

画像復号装置、画像復号方法及びプログラム
　本発明は、画像復号装置、画像復号方法及びプログラムに関する。
　非特許文献１では、ＧＰＭ（Ｇｅｏｍｅｔｒｉｃ　Ｐａｒｔｉｔｉｏｎｉｎｇ　Ｍｏｄｅ）が開示されている。
　ＧＰＭは、矩形ブロックを斜めに２分割しそれぞれを動き補償する。具体的には、ＧＰＭにおいて、分割された２領域は、それぞれマージモードの動きベクトルにより動き補償され、重み付き平均により合成される。斜めの分割パターンとしては、角度と位置とによって６４パターンが用意されている。
　また、非特許文献１では、Ｌｕｍａ　Ｍａｐｐｉｎｇ　ｗｉｔｈ　Ｃｈｒｏｍａ　Ｓｃａｌｉｎｇ（ＬＭＣＳ）が開示されている。ＬＭＣＳは、符号化処理技術における変換・量子化を入力画像信号と異なる信号空間で行う技術である。
　さらに、非特許文献２では、Ｏｖｅｒｌａｐｐｅｄ　Ｂｌｏｃｋ　Ｍｏｔｉｏｎ　Ｃｏｍｐｅｎｓａｔｉｏｎ（ＯＢＭＣ）が開示されている。ＯＢＭＣは、対象ブロックの動き補償（ＭＣ）画素に対して、当該対象ブロックに隣接ブロックが有する動きベクトルを用いた動き補償画素（ＯＢＭＣ画素）を両ブロックの境界からの距離に応じて加重平均する技術である。
ＩＴＵ-Ｔ　Ｈ.２６６/ＶＶＣ ＪＶＥＴ-Ｕ０１００、「Ｃｏｍｐｒｅｓｓｉｏｎ　ｅｆｆｉｃｉｅｎｃｙ　ｍｅｔｈｏｄｓ　ｂｅｙｏｎｄ　ＶＶＣ」
　しかしながら、非特許文献１で開示されているＧＰＭは、インター予測に限定されているため、符号化性能の改善余地があるという問題点があった。
　そこで、本発明は、上述の課題に鑑みてなされたものであり、対象ブロックにおいてＧＰＭとＯＢＭＣとＬＭＣＳの全てが有効であり且つＧＰＭがインター予測とイントラ予測とから構成される場合、輝度マッピングが行われたＭＣ画素とＯＢＭＣ画素とイントラ予測画素とを合成して対象ブロックの輝度成分における予測画素を生成し、すなわち、３つの予測画素の信号空間が輝度マッピングされた空間に揃えた上で、最終的な予測画素を生成することで、予測性能の改善を期待することができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。
　本発明の第１の特徴は、画像復号装置であって、対象ブロックに対する動き補償画素を生成するように構成されている動き補償部と、前記対象ブロックに対する重複ブロック動き補償画素を生成するように構成されている重複ブロック動き補償部と、前記対象ブロックに対する前記動き補償画素及び前記重複ブロック動き補償画素の輝度成分に対して輝度マッピングを行うように構成されている輝度マッピング部と、前記対象ブロックに対するイントラ予測画素を生成するように構成されているイントラ予測部と、前記対象ブロックに対する前記動き補償画素と前記重複ブロック動き補償画素と前記イントラ予測画素とを合成するように構成されている合成部とを備え、前記対象ブロックに対して幾何学ブロック分割モードと重複ブロック動き補償と輝度マッピング・色差スケーリングの全てが有効であり、且つ、前記幾何学ブロック分割モードがインター予測とイントラ予測とで構成される場合、前記合成部は、輝度マッピングが行われた前記動き補償画素、前記重複ブロック動き補償画素及び前記イントラ予測画素の各輝度成分を合成して、前記対象ブロックの輝度成分に対する予測画素を生成するように構成されていることを要旨とする。
　本発明の第２の特徴は、画像復号装置であって、対象ブロックに対する動き補償画素を生成するように構成されている動き補償部と、前記対象ブロックに対するイントラ予測画素を生成するように構成されているイントラ予測部と、前記対象ブロックに対する予測残差画素の色差成分を逆色差スケーリングするように構成されている逆色差スケーリング部と、前記対象ブロックに対する前記動き補償画素と前記イントラ予測画素とを合成するように構成されている合成部と、対象ブロックに幾何学ブロック分割モードと輝度マッピング・色差スケーリングが有効である場合、前記幾何学ブロック分割モードにおける分割領域のそれぞれに独立に逆色差スケーリングを適用するように構成されている逆色差スケーリング部とを有することを要旨とする。
　本発明の第３の特徴は、画像復号方法であって、対象ブロックに対する動き補償画素を生成する工程Ａと、前記対象ブロックに対する重複ブロック動き補償画素を生成する工程Ｂと、前記対象ブロックに対する前記動き補償画素及び前記重複ブロック動き補償画素の輝度成分に対して輝度マッピングを行う工程Ｃと、前記対象ブロックに対するイントラ予測画素を生成する工程Ｄと、前記対象ブロックに対する前記動き補償画素と前記重複ブロック動き補償画素と前記イントラ予測画素とを合成する工程Ｅとを有し、前記工程Ｅにおいて、前記対象ブロックに対して幾何学ブロック分割モードと重複ブロック動き補償と輝度マッピング・色差スケーリングの全てが有効であり、且つ、前記幾何学ブロック分割モードがインター予測とイントラ予測とで構成される場合、輝度マッピングが行われた前記動き補償画素、前記重複ブロック動き補償画素及び前記イントラ予測画素の各輝度成分を合成して、前記対象ブロックの輝度成分に対する予測画素を生成することを要旨とする。
　本発明の第４の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、対象ブロックに対する動き補償画素を生成するように構成されている動き補償部と、前記対象ブロックに対する重複ブロック動き補償画素を生成するように構成されている重複ブロック動き補償部と、前記対象ブロックに対する前記動き補償画素及び前記重複ブロック動き補償画素の輝度成分に対して輝度マッピングを行うように構成されている輝度マッピング部と、前記対象ブロックに対するイントラ予測画素を生成するように構成されているイントラ予測部と、前記対象ブロックに対する前記動き補償画素と前記重複ブロック動き補償画素と前記イントラ予測画素とを合成するように構成されている合成部とを備え、前記対象ブロックに対して幾何学ブロック分割モードと重複ブロック動き補償と輝度マッピング・色差スケーリングの全てが有効であり、且つ、前記幾何学ブロック分割モードがインター予測とイントラ予測とで構成される場合、前記合成部は、輝度マッピングが行われた前記動き補償画素、前記重複ブロック動き補償画素及び前記イントラ予測画素の各輝度成分を合成して、前記対象ブロックの輝度成分に対する予測画素を生成するように構成されていることを要旨とする。
　本発明によれば、対象ブロックにおいてＧＰＭとＯＢＭＣとＬＭＣＳの全てが有効であり且つＧＰＭがインター予測とイントラ予測とから構成される場合、輝度マッピングが行われたＭＣ画素とＯＢＭＣ画素とイントラ予測画素とを合成して対象ブロックの輝度成分における予測画素が生成される、すなわち、３つの予測画素の信号空間が輝度マッピングされた空間に揃った上で、最終的な予測画素が生成されるため、予測性能の改善を期待することができる画像復号装置、画像復号方法及びプログラムを提供することができる。
図１は、一実施形態に係る画像処理システム１の構成の一例を示す図である。 図２は、一実施形態に係る画像符号化装置１００の機能ブロックの一例を示す図である。 図３は、一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。 図４は、非特許文献１に開示されている幾何学分割モードにより、矩形の復号対象ブロックが幾何学分割モードの分割線によって、幾何学形状の分割領域Ａと分割領域Ｂに２分割されるケースの一例を示す図である。 図５は、本実施形態に係るＧＰＭに対するイントラ予測モードの適用の一例を示す。 図６は、本実施形態に係るＧＰＭに対するイントラ予測モードの適用の一例を示す。 図７は、本実施形態に係るイントラ予測モード候補リストの一例を示す図である。 図８は、非特許文献１で開示されているマージ候補リストの構築方法を示す図である。 図９Ａは、非特許文献２に開示されているＯＢＭＣにより、動き補償される矩形の復号対象ブロックの一例を示す図である。 図９Ｂは、非特許文献２に開示されているＯＢＭＣにより、動き補償される矩形の復号対象ブロックの一例を示す図である。 図１０は、インター予測部２４１の動作の一例を示すフローチャートである。 図１１は、本実施形態におけるＧＰＭが適用されるブロックに対するＯＢＭＣの適用の一例を示す。 図１２は、本実施形態におけるＩｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭのインター予測領域に双予測が適用され、当該領域にＤＭＶＲが適用され、且つ、当該領域を構成する所定のブロックサイズがもつ動きベクトルが異なる場合に、それらのブロックの上下左右のブロック境界に対してＯＢＭＣが適用される一例を示す図である。 図１３は、非特許文献１及び本実施形態に係るＧＰＭの各分割領域Ａ/Ｂの予測画素に対する重み係数ｗの値の一例を示す図である。 図１４は、ＧＰＭの分割線の角度を規定するａｎｇｌｅＩｄｘの一例を示す図である。 図１５は、ｄｉｓＬｕｔの一例を示す図である。 図１６は、本実施形態に係るＧＰＭの分割形状を考慮した逆色差スケーリング手法の一例を示す図である。 図１７は、ＧＰＭの分割線Ｌの角度に基づいて分割領域Ａ/Ｂのそれぞれの参照領域が設定されたテーブルの一例を示す図である。 図１８は、スケーリング係数の算出に使用する再構成画素の輝度成分を制限する方法の一例について説明するための図である。
　以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
＜第１実施形態＞
　以下、図１～図１６を参照して、本発明の第１実施形態に係る画像処理システム１０について説明する。図１は、本実施形態に係る画像処理システム１０について示す図である。
（画像処理システム１０）
　図１に示すように、本実施形態に係る画像処理システム１０は、画像符号化装置１００及び画像復号装置２００を有する。
　画像符号化装置１００は、入力画像信号（ピクチャ）を符号化することによって符号化データを生成するように構成されている。画像復号装置２００は、符号化データを復号することによって出力画像信号を生成するように構成されている。
　ここで、かかる符号化データは、画像符号化装置１００から画像復号装置２００に対して伝送路を介して送信されてもよい。また、符号化データは、記憶媒体に格納された上で、画像符号化装置１００から画像復号装置２００に提供されてもよい。
（画像符号化装置１００）
　以下、図２を参照して、本実施形態に係る画像符号化装置１００について説明する。図２は、本実施形態に係る画像符号化装置１００の機能ブロックの一例について示す図である。
　図２に示すように、画像符号化装置１００は、ＭＣ部１１１Ａと、ＯＢＭＣ部１１１Ｂと、イントラ予測部１１２と、合成部１１３と、減算器１２１と、加算器１２２と、変換・量子化部１３１と、逆変換・逆量子化部１３２と、符号化部１４０と、フレームバッファ１６０と、第１輝度マッピング部１７０Ａと、第２輝度マッピング部１７０Ｂと、インループフィルタ処理部１７０と、逆輝度マッピング部１７１と、色差スケーリング部１８０と、逆色差スケーリング部１８１とを有する。
　ＭＣ部１１１Ａは、動き補償（ＭＣ：Ｍｏｔｉｏｎ　Ｃｏｍｐｅｎｓａｔｉｏｎ）によって対象ブロックに対するＭＣ画素信号を生成するように構成されている。ここで、動き補償は、フレーム間予測又はインター予測とも呼ばれる。
　具体的には、ＭＣ部１１１Ａは、符号化対象フレーム（対象フレーム）とフレームバッファ１６０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトル（ＭＶ：Ｍｏｔｉｏｎ　Ｖｅｃｔｏｒ）を決定するように構成されている。ここで、参照フレームは、対象フレームとは異なるフレームである。
　また、ＭＣ予測部１１１Ａは、参照ブロック及び動きベクトルに基づいて符号化対象ブロック（以下、対象ブロック）に含まれるＭＣ画素信号（以下、ＭＣ画素）を対象ブロック毎に生成するように構成されている。
　また、ＭＣ部１１１Ａは、ＭＣ画素を第２輝度マッピング部１７０Ｂに出力するように構成されている。
　また、ＭＣ部１１１Ａは、図２には図示していないが、ＭＣの制御に関する情報（具体的には、インター予測モードや動きベクトルや参照フレームリストや参照フレーム番号等の情報）を符号化部１４０に出力するように構成されている。
　ＯＢＭＣ部１１１Ｂは、インター予測の一種である重複ブロック動き補償（ＯＢＭＣ：Ｏｖｅｒｌａｐｐｅｄ　Ｂｌｏｃｋ　Ｍｏｔｉｏｎ　Ｃｏｍｐｅｎｓａｔｉｏｎ）によって対象ブロックに対するＯＢＭＣ画素信号（以下、ＯＢＭＣ画素）を生成するように構成されている。
　具体的には、ＯＢＭＣ部１１１Ｂは、ＭＣ部１１１Ａと同様の手順で、ただし、対象ブロックではなく、対象ブロックに隣接するブロック（以下、隣接ブロック）に対する参照ブロック及び動きベクトルに基づいて、対象ブロックと隣接ブロックとの境界から対象ブロック方向に重複する所定画素領域分のＭＣ画素信号（以下、ＯＢＭＣ画素）を生成するように構成されている。
　また、ＯＢＭＣ部１１１Ｂは、ＯＢＭＣ画素を第２輝度マッピング部１７０Ｂに出力するように構成されている。
　さらに、ＯＢＭＣ部１１１Ｂは、図２には図示していないが、ＯＢＭＣの制御に関する情報（具体的には、動きベクトルや参照フレームリストや参照フレーム番号等の情報）を符号化部１４０に出力するように構成されている。
　イントラ予測部１１２は、イントラ予測（フレーム内予測）によって対象ブロックに対するイントラ予測画素信号（以下、イントラ予測画素）を生成するように構成されている。
　具体的には、イントラ予測部１１２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいてイントラ予測画素を対象ブロック毎に生成するように構成されている。
　ここで、参照ブロックは、対象ブロックについて参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。
　また、イントラ予測部１１２は、イントラ予測画素を合成部１１３に出力するように構成されている。
　さらに、イントラ予測部１１２は、図２には図示していないが、イントラ予測の制御に関する情報（具体的には、イントラ予測モード等の情報）を符号化部１４０に出力するように構成されている。
　第１輝度マッピング部１７０Ａは、非特許文献１で開示されている輝度マッピング・色差スケーリング（ＬＭＣＳ：Ｌｕｍａ　Ｍａｐｐｉｎｇ　ｗｉｔｈ　Ｃｈｒｏｍａ　Ｓｃａｌｉｎｇ）が対象ブロックに対して有効である場合、入力画像信号における輝度成分の画素値の最大値及び最小値を、対象ブロック単位で１６等分し、さらに各区分に含まれる入力画像信号の値を事前に設計した区分線系モデルを用いて変換（以下、輝度マッピング）するように構成されている。
　なお、この区分線形モデルを用いた輝度マッピング方法については、非特許文献１と同様の手法を本実施形態でも適用可能なため詳細な説明は省略する。
　また、第１輝度マッピング部１７０Ａは、輝度マッピングされた対象ブロックの入力画像信号の値（以下、入力画素）を、後段の減算器１２１及びイントラ予測部１１２に出力するように構成されている。
　また、第１輝度マッピング部１７０Ａは、対象ブロックに対してＬＭＣＳが無効である場合、入力画素の輝度成分に対して上述の輝度マッピングを適用せずに、後段の減算器１２１及びイントラ予測部１１２に輝度マッピングされていない輝度成分の入力画素を出力するように構成されている。
　さらに、第１輝度マッピング部１７０Ａは、対象ブロックに対してＬＭＣＳが有効であるか無効であるかに関わらず、入力画素の色差成分に対して上述の輝度マッピング処理を適用せずに、後段の減算器１２１及びイントラ予測部１１２に輝度マッピングされていない色差成分の入力画素を出力するように構成されている。
　第２輝度マッピング部１７０Ｂは、ＬＭＣＳが対象ブロックに対して有効である場合、ＭＣ部１１１Ａから出力されるＭＣ画素及びＯＢＭＣ部１１１Ｂから出力されるＯＢＭＣ画素の各輝度成分を、前述の第１輝度マッピング部１７０Ａと同様の手法で輝度マッピングするように構成されている。
　また、第２輝度マッピング部１７０Ｂは、輝度マッピングされたＭＣ画素及びＯＢＭＣ画素のそれぞれを後段の合成部１１３に出力するように構成されている。
　なお、第２輝度マッピング部１７０Ｂは、対象ブロックに対してＬＭＣＳが無効である場合、ＭＣ画素及びＯＢＭＣ画素の輝度成分に対して上述の輝度マッピングを適用せずに、後段の合成部１１３に輝度マッピングされていない各輝度成分のＭＣ画素及びＯＢＭＣ画素を出力するように構成されている。
　また、第２輝度マッピング部１７０Ｂは、対象ブロックに対してＬＭＣＳが有効であるか無効であるかに関わらず、ＭＣ画素及びＯＢＭＣ画素の色差成分に対して上述の輝度マッピング処理を適用せずに、後段の合成部１１３に輝度マッピングされていない各色差成分のＭＣ画素及びＯＢＭＣ画素を出力するように構成されている。
　合成部１１３は、第２輝度マッピング部１７０ＢからのＭＣ画素とＯＢＭＣ画素及びイントラ予測部１１２からのイントラ予測画素を、それぞれ予め設定された重み係数を用いて加重平均（合成）し、合成された予測信号（以下、予測画素）を減算器１２１及び加算器１２２に出力するように構成されている。ここで、重み係数及び加重平均方法の詳細については後述する。
　減算器１２１は、入力画素に対して、合成部１１３からの予測画素を減算して得られた差分、すなわち、予測残差信号（以下、予測残差画素）を色差スケーリング部１８０に出力するように構成されている。
　色差スケーリング部１８０は、ＬＭＣＳが対象ブロックに対して有効である場合、対象ブロックに隣接する復号済みの再構成画素の平均値を用いて算出された色差スケーリング係数に基づいて、予測残差画素における色差成分の画素値を変換（以下、色差スケーリング）するように構成されている。色差スケーリング方法の詳細については後述する。
　また、色差スケーリング部１８０は、色差スケーリングされた対象ブロックの予測残差画素を、後段の変換・量子化部１３１に出力するように構成されている。
　また、色差スケーリング部１８０は、対象ブロックに対してＬＭＣＳが無効である場合、予測残差画素の色差成分に対して上述の色差スケーリングについては適用せずに、後段の減算器１２１及びイントラ予測部１１２に色差スケーリングされていない予測残差画素を出力するように構成されている。
　さらに、色差スケーリング部１８０は、対象ブロックに対してＬＭＣＳが有効であるか無効であるかに関わらず、予測残差画素の輝度成分に対して上述の色差スケーリングを適用せずに、後段の減算器１２１及びイントラ予測部１１２に色差スケーリングされていない予測残差画素の輝度成分を出力するように構成されている。
　加算器１２２は、逆色差スケーリング部１８１から出力される予測残差画素に合成部１１３から出力される予測画素を加算してフィルタ処理前復号信号（以下、フィルタ処理前再構成画素）を生成し、かかるフィルタ処理前再構成画素をイントラ予測部１１２及び逆輝度マッピング部１７１に出力するように構成されている。
　ここで、フィルタ処理前再構成画素は、イントラ予測部１１２で用いる参照ブロックを構成する。
　変換・量子化部１３１は、予測残差信号の変換処理を行うとともに、係数レベル値を取得するように構成されている。さらに、変換・量子化部１３１は、係数レベル値の量子化を行うように構成されていてもよい。
　ここで、変換処理は、予測残差信号を周波数成分信号に変換する処理である。かかる変換処理としては、離散コサイン変換（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ、以下、ＤＣＴと記す）に対応する基底パタン（変換行列）が用いられてもよく、離散サイン変換（Ｄｉｓｃｒｅｔｅ　Ｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ、以下、ＤＳＴと記す）に対応する基底パタン（変換行列）が用いられてもよい。
　また、変換処理としては、非特許文献１で開示されている複数の変換基底から予測残差信号の係数の偏りに適したものを水平・垂直方向毎に選択可能とするＭＴＳ（Ｍｕｌｔｉｐｌｅ　Ｔｒａｎｓｆｏｒｍ　Ｓｅｌｅｃｔｉｏｎ）や、１次変換後の変換係数をさらに低周波数領域に集中させることで符号化性能を改善するＬＦＮＳＴ（Ｌｏｗ　Ｆｒｅｑｕｅｃｎｙ　Ｎｏｎ-Ｓｅｐａｒａｂｌｅ　Ｔｒａｎｓｆｏｒｍ）が用いられてもよい。
　逆変換・逆量子化部１３２は、変換・量子化部１３１から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部１３２は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。
　ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。
　符号化部１４０は、変換・量子化部１３１から出力される係数レベル値を符号化し、符号化データを出力するように構成されている。
　ここで、例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。
　また、符号化部１４０は、係数レベル値に加えて、復号処理で用いる制御データを符号化するように構成されている。
　ここで、制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズ等のブロックサイズに関する情報（フラグやインデックス）を含んでもよい。
　また、制御データは、後述する画像復号装置２００における逆変換・逆量子化部２２０の逆変換・逆量子化処理、ＭＣ部２４１ＡのＭＣ画素の生成処理、ＯＢＭＣ部２４１ＢのＯＢＭＣ画素の生成処理、イントラ予測部２４２のイントラ予測画素の生成処理、合成部２４３の最終的な予測画素の生成処理、インループフィルタ処理部２５０のフィルタ処理、輝度マッピング部２７０の輝度マッピング処理、逆輝度マッピング部２７１の逆輝度マッピング処理、逆色差スケーリング部２８１の逆色差スケーリング処理等の制御に必要な情報（フラグやインデックス）を含んでもよい。
　なお、非特許文献１では、これらの制御データは、シンタックスと呼称され、その定義は、セマンティクスと呼称されている。
　また、制御データは、後述するシーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）やピクチャ・パラメータ・セット（ＰＰＳ：Ｐｉｃｕｔｒｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）やピクチャヘッダ（ＰＨ：Ｐｉｃｔｕｒｅ　Ｈｅａｄｅｒ）やスライスヘッダ（ＳＨ：Ｓｌｉｃｅ　Ｈｅａｄｅｒ）等のヘッダ情報を含んでもよい。
　逆色差スケーリング部１８１は、ＬＭＣＳが対象ブロックに対して有効である場合、逆変換・量子化部１３１から出力される予測残差画素の色差成分に対して、逆色差スケーリングするように構成されている。
　ここで、逆色差スケーリングは、前述の色差スケーリング部１８０における対象ブロックの予測残差画素における色差成分に対する色差スケーリングの逆の手順で行われる。
　また、逆色差スケーリング部１８１は、逆色差スケーリングされた対象ブロックの予測残差画素を、後段の加算器１２２に出力するように構成されている。
　また、逆色差スケーリング部１８１は、対象ブロックに対してＬＭＣＳが無効である場合、予測残差画素の色差成分に対して上述の逆色差スケーリングについては適用せずに、後段の加算器１２２に逆色差スケーリングされていない予測残差画素を出力するように構成されている。
　さらに、逆色差スケーリング部１８１は、対象ブロックに対してＬＭＣＳが有効であるか無効であるかに関わらず、予測残差画素の輝度成分に対して上述の逆色差スケーリングを適用せずに、後段の加算器１２２に逆色差スケーリングされていない予測残差画素を出力するように構成されている。
　逆輝度マッピング部１７１は、ＬＭＣＳが対象ブロックに対して有効である場合、加算器１２２から出力されるフィルタ処理前再構成画素の輝度成分に対して、逆輝度マッピングするように構成されている。
　ここで、逆輝度マッピングは、前述の第1輝度マッピング部１７０Aや第1輝度マッピング部１７０Bにおける対象ブロックにおける予測画素の輝度成分に対する輝度マッピングの逆の手順で行われる。
また、逆輝度マッピング部１７１は、逆輝度マッピングされた、対象ブロックのフィルタ処理前再構成画素を、後段のインループフィルタ部１７０に出力するように構成されている。
　また、逆輝度マッピング部１７１は、対象ブロックに対してＬＭＣＳが無効である場合、フィルタ処理前再構成画素の輝度成分に対して上述の逆輝度マッピングは適用せずに、後段のインループフィルタ部１７０に逆輝度マッピングされていない予測残差画素の輝度成分を出力するように構成されている。
また、逆輝度マッピング部１７１は、対象ブロックに対してＬＭＣＳが有効であるか無効であるかに関わらず、フィルタ処理前再構成画素の色差成分に対して上述の逆輝度マッピングを適用せずに、インループフィルタ部１７０に逆輝度マッピングされていないフィルタ処理前再構成画素の色差成分を出力するように構成されている。
　インループフィルタ処理部１７０は、逆輝度マッピング部２７１から出力されるフィルタ処理前再構成画素に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ１６０に出力するように構成されている。
　ここで、例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック又は変換ブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理や画像符号化装置１００から伝送されるフィルタ係数やフィルタ選択情報、画像の絵柄の局所的な性質等に基づいてフィルタを切り替える適応ループフィルタ処理である。
　フレームバッファ１６０は、インループフィルタ処理部１７０から入力されたフィルタ処理後復号信号（以下、参照フレーム）を蓄積するように構成されている。
　また、フレームバッファ１６０は、蓄積した参照フレームを、ＭＣ部１１１Ａ又はＯＢＭＣ部１１１Ｂで用いる参照フレームとして出力するように構成されている。
（画像復号装置２００）
　以下、図３を参照して、本実施形態に係る画像復号装置２００について説明する。図３は、本実施形態に係る画像復号装置２００の機能ブロックの一例について示す図である。
　図３に示すように、画像復号装置２００は、復号部２１０と、逆変換・逆量子化部２２０と、逆色差スケーリング部２８１と、加算器２３０と、ＭＣ部２４１Ａと、ＯＢＭＣ部２４１Ｂと、輝度マッピング部２７０と、イントラ予測部２４２と、合成部２４３と、逆輝度マッピング部２７１と、インループフィルタ処理部２５０と、フレームバッファ２６０とを有する。
　復号部２１０は、画像符号化装置１００によって生成される符号化データを復号し、係数レベル値を復号するように構成されている。
　ここで、復号は、例えば、符号化部１４０で行われるエントロピー符号化とは逆の手順のエントロピー復号である。
　また、復号部２１０は、符号化データの復号処理によって制御データを取得するように構成されていてもよい。
　ここで、制御データは、上述した復号ブロック（上述の画像符号化装置１００における符号化対象ブロックと同義。以下、まとめて対象ブロックと記載）のブロックサイズに関する情報を含んでもよい。
　また、制御データは、前述の通り、画像復号装置２００における逆変換・逆量子化部２２０の逆変換・逆量子化処理、ＭＣ部２４１ＡのＭＣ画素の生成処理、ＯＢＭＣ部２４１ＢのＯＢＭＣ画素の生成処理、イントラ予測部２４２のイントラ予測画素の生成処理、合成部２４３の最終的な予測画素の生成処理、インループフィルタ処理部２５０のフィルタ処理、輝度マッピング部２７０の輝度マッピング処理、逆輝度マッピング部２７１の逆輝度マッピング処理、逆色差スケーリング部２８１の逆色差スケーリング処理等の制御に必要な情報（フラグやインデックス）を含んでもよい。
　また、制御データは、上述したシーケンス・パラメータ・セット（ＳＰＳ：Ｓｅｑｕｅｎｃｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）やピクチャ・パラメータ・セット（ＰＰＳ：Ｐｉｃｕｔｒｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）やピクチャヘッダ（ＰＨ：Ｐｉｃｔｕｒｅ　Ｈｅａｄｅｒ）やスライスヘッダ（ＳＨ：Ｓｌｉｃｅ　Ｈｅａｄｅｒ）等のヘッダ情報を含んでもよい。
　逆変換・逆量子化部２２０は、復号部２１０から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部２２０は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。
　ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。
　逆色差スケーリング部２８１は、逆色差スケーリング部１８１と同様に、ＬＭＣＳが対象ブロックに対して有効である場合、逆変換・量子化部２２０から出力される予測残差画素の色差成分に対して、逆色差スケーリングするように構成されている。
　ここで、逆色差スケーリングは、前述の色差スケーリング部１８０における対象ブロックの予測残差画素における色差成分に対する色差スケーリングの逆の手順で行われる。
　また、逆色差スケーリング部２８１は、逆色差スケーリングされた対象ブロックの予測残差画素を、後段の加算器２３０に出力するように構成されている。
　また、逆色差スケーリング部２８１は、対象ブロックに対してＬＭＣＳが無効である場合、予測残差画素の色差成分に対して上述の逆色差スケーリングについては適用せずに、後段の加算器２３０に逆色差スケーリングされていない予測残差画素の色差成分を出力するように構成されている。
　さらに、逆色差スケーリング部２８１は、対象ブロックに対してＬＭＣＳが有効であるか無効であるかに関わらず、予測残差画素の輝度成分に対して上述の逆色差スケーリングを適用せずに、後段の加算器２３０に逆色差スケーリングされていない予測残差画素の輝度成分を出力するように構成されている。
　加算器２３０は、加算器２２２と同様に、逆色差スケーリング部２８１から出力される予測残差画素に合成部２４３から出力される予測画素を加算してフィルタ処理前復号信号（以下、フィルタ処理前再構成画素）を生成し、かかるフィルタ処理前再構成画素をイントラ予測部４２及び逆輝度マッピング部２７１に出力するように構成されている。
　ここで、フィルタ処理前再構成画素は、イントラ予測部１１２で用いる参照ブロックを構成する。
　逆輝度マッピング部２７１は、逆輝度マッピング部１７１と同様に、ＬＭＣＳが対象ブロックに対して有効である場合、加算器２３０から出力されるフィルタ処理前再構成画素の輝度成分に対して、逆輝度マッピングするように構成されている。
　ここで、逆輝度マッピングは、前述の第１輝度マッピング部１７０Ａや第２輝度マッピング部１７０Ｂにおける対象ブロックにおける予測画素の輝度成分に対する輝度マッピングの逆の手順で行われる。
　また、逆輝度マッピング部２７１は、逆輝度マッピングされた対象ブロックのフィルタ処理前再構成画素を、後段のインループフィルタ部２８０に出力するように構成されている。
　また、逆輝度マッピング部２７１は、対象ブロックに対してＬＭＣＳが無効である場合、フィルタ処理前再構成画素の輝度成分に対して上述の逆輝度マッピングについては適用せずに、後段のインループフィルタ部２８０に逆輝度マッピングされていない予測残差画素の輝度成分を出力するように構成されている。
　さらに、逆輝度マッピング部２７１は、対象ブロックに対してＬＭＣＳが有効であるか無効であるかに関わらず、フィルタ処理前再構成画素の色差成分に対して上述の逆輝度マッピングを適用せずに、インループフィルタ部２８０に逆輝度マッピングされていないフィルタ処理前再構成画素を出力するように構成されている。
　インループフィルタ処理部２５０は、インループフィルタ処理部１５０と同様に、加算器２３０から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ２６０に出力するように構成されている。
　ここで、例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック、変換ブロック或いはそれらを分割したサブブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理や、画像符号化装置１００から伝送されるフィルタ係数やフィルタ選択情報や画像の絵柄の局所的な性質等に基づいてフィルタを切り替える適応ループフィルタ処理である。
　フレームバッファ２６０は、フレームバッファ１６０と同様に、インター予測部２４１で用いる参照フレームを蓄積するように構成されている。
　ここで、フィルタ処理後復号信号は、インター予測部２４１で用いる参照フレームを構成する。
　ＭＣ部２４１Ａは、ＭＣ部１１１Ａと同様に、動き補償（ＭＣ：Ｍｏｔｉｏｎ　Ｃｏｍｐｅｎｓａｔｉｏｎ）によって対象ブロックに対するＭＣ画素を生成するように構成されている。ここで、動き補償は、フレーム間予測又はインター予測とも呼ばれる。
　具体的には、ＭＣ部２４１Ａは、復号対象フレーム（対象フレーム）とフレームバッファ２６０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対するＭＶを決定するように構成されている。ここで、参照フレームは、対象フレームとは異なるフレームである。
　また、ＭＣ部２４１Ａは、参照ブロック及び動きベクトルに基づいて対象ブロックに含まれるＭＣ画素を対象ブロック毎に生成するように構成されている。
　さらに、ＭＣ部２４１Ａは、ＭＣ画素を輝度マッピング部２７０に出力するように構成されている。
　ＯＢＭＣ部２４１Ｂは、ＯＢＭＣによって対象ブロックに対するＯＢＭＣ画素を生成するように構成されている。
　具体的には、ＯＢＭＣ部２４１Ｂは、ＯＢＭＣ部１１１Ｂと同様の手順で、対象ブロックと隣接ブロックとの境界から対象ブロック方向に重複する所定画素領域分のＭＣ画素（ＯＢＭＣ画素）を生成するように構成されている。
　さらに、ＯＢＭＣ部２４１Ｂは、ＯＢＭＣ画素を輝度マッピング部２７０に出力するように構成されている。
　輝度マッピング部２７０は、第２輝度マッピング部１７０Ｂと同様に、ＬＭＣＳが対象ブロックに対して有効である場合、ＭＣ部２４１Ａから出力されるＭＣ画素及びＯＢＭＣ部２４１Ｂから出力されるＯＢＭＣ画素の各輝度成分を、前述の第1輝度マッピング部１７０Ａや第２輝度マッピング部１７０Ｂと同様の手法で輝度マッピングするように構成されている。
　また、輝度マッピング部２７０は、輝度マッピングが行われたＭＣ画素及びＯＢＭＣ画素のそれぞれを後段の合成部２４３に出力されるように構成されている。
　なお、輝度マッピング部２７０は、対象ブロックに対してＬＭＣＳが無効である場合、かかるＭＣ画素及びＯＢＭＣ画素の輝度成分に対して上述の輝度マッピングを適用せずに、後段の合成部２４３に輝度マッピングされていない各輝度成分のＭＣ画素およびＯＢＭＣ画素を出力するように構成されている。
　さらに、輝度マッピング部２７０は、対象ブロックに対してＬＭＣＳが有効であるか無効であるかに関わらず、かかるＭＣ画素及びＯＢＭＣ画素の色差成分に対して上述の輝度マッピング処理を適用せずに、後段の合成部２４３に輝度マッピングされていない各色差成分のＭＣ画素及びＯＢＭＣ画素を出力するように構成されている。
　イントラ予測部２４２は、イントラ予測部１１２と同様に、イントラ予測によって対象ブロックに対するイントラ予測画素を生成するように構成されている。
　具体的には、イントラ予測部２４２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいてイントラ予測画素を対象ブロック毎に生成するように構成されている。ここで、参照ブロックは、対象ブロックについて参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。
　また、イントラ予測部２４２は、イントラ予測画素を合成部２４３に出力するように構成されている。
　合成部２４３は、合成部１１３と同様に、輝度マッピング部２７０からのＭＣ画素とＯＢＭＣ画素及びイントラ予測部２４２からのイントラ予測画素を、それぞれ予め設定された重み係数を用いて加重平均（合成）し、合成された予測画素を加算器２３０に出力するように構成されている。ここで、重み係数及び加重平均方法の詳細については後述する。
（幾何学分割モード）
　以下、図４を用いて、復号部２１０とＭＣ予測部２４１Ａとイントラ予測部２４２と合成部２４３に係る非特許文献１で開示されている幾何学分割モード（ＧＰＭ：Ｇｅｏｍｅｔｒｉｃ　Ｐａｒｔｉｔｉｏｎｉｎｇ　Ｍｏｄｅ）について説明する。
　図４は、非特許文献１に開示されている幾何学分割モードにより、矩形の復号対象ブロックが幾何学分割モードの分割線Ｌによって、幾何学形状の分割領域Ａと分割領域Ｂに２分割されるケースの一例を示す。
　ここで、非特許文献１で開示されている幾何学分割モードの分割線Ｌは、角度と位置とによって６４パターンが用意されている。
　また、非特許文献１に係るＧＰＭは、分割領域Ａ及び分割領域Ｂのそれぞれに対して導出された異なる1本の動きベクトルを用いた動き補償（ＭＣ）が適用され、ＭＣ画素が生成される。
　具体的には、かかるＧＰＭでは、非特許文献1で開示されているマージ候補リストを構築し、かかるマージ候補リスト及び画像符号化装置１００から伝送される各分割領域Ａ/Ｂに対する２つのマージインデックス（ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ０、ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ１）に基づいて、各分割領域Ａ/Ｂそれぞれの動きベクトル（ｍｖＡ、ｍｖＢ）及び参照フレームを導出して、動き補償画素を生成される。そして、各分割領域Ａ/ＢのMC画素が、後述する予め設定された重み係数によって加重平均（合成）されて、最終的なGPMによる予測画素が生成される。
（ＧＰＭへのイントラ予測の適用）
　以下、図５及び図６を用いて、復号部２１０とＭＣ部２４１Ａとイントラ予測部２４２と合成部２４３に係る非特許文献１で開示されている幾何学分割モード（ＧＰＭ：Ｇｅｏｍｅｔｒｉｃ　Ｐａｒｔｉｔｉｏｎｉｎｇ　Ｍｏｄｅ）及び本実施形態に係る第１の幾何学分割モード（ＧＰＭ）へのイントラ予測モードへの適用について説明する。
　図５及び図６は、本実施形態に係るＧＰＭに対するイントラ予測モードの適用の一例を示す。
　具体的に、図５は、各分割領域Ａ/Ｂに対してイントラ予測（ｍｏｄｅＸ）及びインター予測が適用される場合の本実施形態に係るＧＰＭの構成例を示す。図６は、各分割領域にＡ/Ｂ対して、異なる２つのイントラ予測（ｍｏｄｅＸ、ｍｏｄｅＹ）が適用される場合の本実施形態に係るＧＰＭの構成例を示す。
　ここで、本実施形態に係る第１のＧＰＭでは、各分割領域Ａ/Ｂに対しては、インター予測或いはイントラ予測のいずれも適用することができる。さらにイントラ予測で適用するイントラ予測モードの種別は、対象ブロックに適用されるＧＰＭの分割形状（分割線）に基づいて限定する。すなわち、対象ブロックに適用されるＧＰＭの分割形状（分割線）に基づいて適用可能なイントラ予測モードが導出される。
　また、本実施形態に係る第２のＧＰＭでは、復号対象ブロックにおけるイントラ予測モードを追加適用したＧＰＭの適用の可不可及びＧＰＭ適用時の各分割領域Ａ/Ｂにおける予測モード種別の特定方法に関して規定している。
　これにより、イントラ予測モードを追加適用したＧＰＭが適切に復号対象ブロックに適用されると共に、最適な予測モードが特定されることで、結果として符号化性能のさらなる改善余地を実現することができる。
　なお、以降では、前述の図４に示すような異なる２つのインター予測で構成されるＧＰＭ、図５に示すようなイントラ予測とインター予測とで構成されるＧＰＭ、図６に示すようなイントラ予測とイントラ予測とで構成されるＧＰＭをそれぞれ、Ｉｎｔｅｒ/Ｉｎｔｅｒ-ＧＰＭ、Ｉｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭ、Ｉｎｔｒａ/Ｉｎｔｒａ-ＧＰＭと呼称する。
　さらに、対象ブロックにおいてＧＰＭとＯＢＭＣとＬＭＣＳの全てが有効であり且つＧＰＭがインター予測とイントラ予測とから構成される場合、輝度マッピングが行われたＧＰＭによるＭＣ画素とイントラ予測画素とＯＢＭＣによるＯＢＭＣ画素とを合成して、対象ブロックの輝度成分における予測画素が生成される、すなわち、予測画素生成に使用される上述の３つの信号空間が輝度マッピングされた空間に揃うため、予測性能の改善が期待できる。
［イントラ予測部２４２におけるイントラ予測モード導出方法及び選択方法］
　以降では、イントラ予測部２４２における本実施形態で提案するＧＰＭへのイントラ予測の適用パターンのうち、Ｉｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭ及びＩｎｔｒａ/Ｉｎｔｒａ-ＧＰＭに対するイントラ予測モードの導出方法及び選択方法について説明する。
（イントラ予測モード候補リスト）
　以下、図７を用いて、本実施形態に係るイントラ予測部２４２におけるＧＰＭ向けのイントラ予測モード候補リスト（以降、イントラ予測モード候補リスト）の構築方法について説明する。図７は、本実施形態に係るイントラ予測モード候補リストの一例を示す図である。
　本実施形態では、かかるイントラ予測モード候補リストのリストサイズは、固定値でもよい。例えば、リストサイズは、「３」、「４」及び「５」や非特許文献１で開示されているＧＰＭが非適用のイントラ予測ブロック向けのイントラ予測モード候補リストの最大サイズである「６」や非特許文献３で開示されているＧＰＭが非適用のイントラ予測ブロック向けのイントラ予測モード候補リストの最大サイズである「２２」であってもよい。
　或いは、かかるイントラ予測モード候補リストのリストサイズは、可変値でもよい。例えば、リストサイズの最大値を規定するインデックスをシーケンス或いはピクチャ或いはスライス単位の制御データに内包させ、これを復号部２１０によって復号することで、シーケンス或いはピクチャ或いはスライス単位のリストサイズの最大値を特定することができる。
　かかるイントラ予測モード候補リストには、後述するＧＰＭの分割形状又は復号対象ブロックに隣接する隣接参照画素や隣接参照ブロックに基づいて導出される複数のイントラ予測モードが登録される。イントラ予測モードの導出方法の詳細については後述する。
　イントラ予測部２４２は、上述のイントラ予測モードの導出（イントラ予測モード候補リストの構築）完了後、復号部２１０で復号或いは推定された分割領域Ａ/Ｂのそれぞれに対する２つのイントラ予測モードインデックス（ｉｎｔｒa_ｇｐｍ_ｉｄｘ０とｉｎｔｒa_ｇｐｍ_ｉｄｘ１）の値に基づいて、分割領域Ａ/Ｂのそれぞれに対してイントラ予測モード候補リスト内のいずれか１つのイントラ予測モードをイントラ予測画素の生成に使用するかを選択してもよい。
　なお、Ｉｎｔｒａ/Ｉｎｔｒａ-ＧＰＭに対して、かかる2つのイントラ予測モードインデックスが同じ値になる場合は、ＧＰＭが非適用のイントラ予測と同一になるため、かかる2つのイントラ予測モードインデックスは、必ず異なる値になるように構成される。
　また、復号部２１０は、ＧＰＭを構成するイントラ予測の合計適用数に応じて、かかるイントラ予測モード候補リスト内からイントラ予測画素の生成に使用するイントラ予測モードを選択するためのイントラ予測モードインデックスの復号要否を判定してもよい。
　ここで、上述の変更例として、イントラ予測部２４２は、上述のイントラ予測モードインデックスの値に応じて、イントラ予測モード候補リスト内の複数のイントラ予測モードを選択して、イントラ予測画素を生成してもよい。
　これにより、ハードウェア実装された画像復号装置２００では、イントラ予測画素の生成に必要な回路規模が増大するが、複数のイントラ予測モードによりイントラ予測画素を生成できるため、イントラ予測性能が向上し、結果として符号化性能の改善が期待できる。
　なお、複数のイントラ予測モードを使用してイントラ予測画素を生成（合成）する場合、平均してイントラ予測画素を合成してもよい。或いは、所定の重み値で加重平均してイントラ予測画素を合成してもよい。
　かかる重み値の設定方法として、例えば、イントラ予測モード候補リストの登録順が早い（リスト番号が小さい）イントラ予測モードほど、重み値を大きく設定してもよい。
　逆に、イントラ予測モード候補リストの登録順が遅い（リスト番号が大きい）イントラ予測モードほど、重み値を小さく設定してもよい。イントラ予測モード候補リスト番号の小さいイントラ予測モードの方が、ＧＰＭに適用されるイントラ予測性能の向上率が高いため、このように設定すれば、結果として符号化性能の改善効果が期待できる。
（分割形状に基づくイントラ予測モード導出方法）
　本実施形態では、イントラ予測部２４２は、ＧＰＭの分割形状（分割線）に基づいて、イントラ予測モードを導出し、上述のイントラ予測モード候補リストに登録する。
　ここで、導出されるイントラ予測モードは、例えば、非特許文献１で開示されているＧＰＭが非適用のイントラ予測（以降、通常イントラ予測）向けに用意された６５種のＡｎｇｕｌａｒ予測の中から、ＧＰＭの分割形状（分割線）に対して平行となるＡｎｇｕｌａｒ予測とするように構成してもよい。
　或いは、変更例として導出されるイントラ予測モードは、非特許文献１で開示されている通常イントラ予測向けに用意された６５種のＡｎｇｕｌａｒ予測の中から、ＧＰＭの分割形状（分割線Ｌ）に対して、垂直となるＡｎｇｕｌａｒ予測とするように構成してもよい。
　イントラ予測部２４２は、導出されたＡｎｇｕｌａｒ予測を、後述する他のイントラ予測モードの導出完了後であっても、上述のイントラ予測モード候補リストの最初に登録してもよい。
　ＧＰＭの分割形状に基づいて導出されたイントラ予測モードは、ＧＰＭの分割形状に応じたエッジ等のテクスチャを反映した上でイントラ予測画素を生成できるため、イントラ予測性能の高い向上効果が期待できる。それゆえ、ＧＰＭのイントラ予測領域に対する当該イントラ予測モードの選択率は高いことが期待できるため、イントラ予測モード候補リスト内で最小リスト番号に紐づければ、必要なイントラ予測モードインデックスの総符号長も短くでき、結果として符号化性能の改善効果が期待できる。
（復号対象ブロックの隣接画素又は隣接ブロックに基づくイントラ予測モードの導出方法）
　本実施形態では、上述の分割形状に基づくイントラ予測モードの導出に加えて或いは変更例として、復号対象ブロックの隣接画素又は隣接ブロックに基づいて、イントラ予測モード導出してもよい。
　ここで、復号対象ブロックに隣接する隣接参照画素又は隣接参照ブロックは、復号対象ブロックに隣接し且つ復号対象ブロックの復号処理の開始時点で復号処理が完了している参照画素又は参照ブロックのことである。
（その他のイントラ予測モードの導出方法）
　本実施形態では、上述の２種類のイントラ予測モードの導出に加えて或いは変更例として、それ以外のイントラ予測モードを導出してもよい。具体的には、ＤＣモード或いはＰｌａｎａｒモードを導出してもよい。
［ＭＣ部２４１Ａにおける動き情報導出方法及び選択方法］
　以降では、図８を用いて、ＭＣ部２４１Ａにおける本実施形態で提案するＧＰＭへの動き補償（インター予測）の適用パターンのうち、Ｉｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭ及びＩｎｔｅｒ/Ｉｎｔｅｒ-ＧＰＭに対する動き情報の導出方法及び選択方法について説明する。
（マージ候補リスト）
　本実施形態では、ＭＣ部２４１Ａは、非特許文献１で開示されているＧＰＭ向けのマージ候補リストから動き情報を導出してもよい。
　ここで、マージ候補リストの構築方法については、非特許文献１で開示されている構成を本実施形態にも適用できるため、詳細な説明は省略する。
　ＭＣ部２４１Ａは、上述の動き情報の導出（マージ候補リストの構築）の完了後、復号部２１０で復号或いは推定された分割領域Ａ/Ｂのそれぞれに対する２つのマージインデックス（ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ０/ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ１）の値に基づいて、マージ候補リスト内のいずれの動き情報をインター予測画素の生成に使用するかについて選択してもよい。
　なお、復号部２１０は、ＧＰＭを構成するインター予測の合計適用数に応じて、マージ候補リスト内からインター予測画素の生成に使用する動き情報を選択するためのマージインデックスの復号要否を判定してもよい。
　非特許文献１では、分割領域Ａ/Ｂに対するインター予測の動き情報は、復号部２１０で復号或いは推定された２つのマージインデックス（ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ０/ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ１）の値と、図８に示すＧＰＭ向けのマージ候補リスト（ＭｅｒｇｅＣａｎｄＬｉｓｔ［ｍ，ｎ］）とによって導出される。
　ここで、ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ０及びｍｅｒｇｅ_ｇｐｍ_ｉｄｘ１に基づいて導出される動き情報が極力重複しないように、ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ０及びｍｅｒｇｅ_ｇｐｍ_ｉｄｘ１で選択される動き情報の導出対象となるリスト番号は、図８のＸに示すようにＭｅｒｇｅＣａｎｄＬｉｓｔの偶数番号と奇数番号とで入れ子構造になっている。
　具体的には、ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ０及びｍｅｒｇｅ_ｇｐｍ_ｉｄｘ１に基づき、以下のｍ及びｎを計算する。
　ｍ＝ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ０［ｘＣｂ］［ｙＣｂ］
　ｎ＝ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ１［ｘＣｂ］［ｙＣｂ］＋（（ｍｅｒｇｅ_ｇｐｍ_ｉｄｘ１［ｘＣｂ］［ｙＣｂ］＞＝ｍ）？１：０）
　このように算出されたｍの値に基づき、分割領域Ａの動き情報を構成する動きベクトル、参照画像インデックス及び予測リストフラグが、以下のように導出される。
　まず、Ｘの値をｍ＆０ｘ０１（ｍの値が偶数であるか否かの判定）及びｎ＆０ｘ０１（ｎの値が偶数であるか否かの判定）から算出する。ここで、算出されたＸが０の場合は、Ｘの値を（１－Ｘ）とする。
　最後に、分割領域Ａの動きベクトルｍｖＡ、参照画像インデックスｒｅｆＩｄｘＡ、予測リストフラグｐｒｅＬｉｓｔＦｌａｇＡ、分割領域Ｂの動きベクトルｍｖＢ、参照画像インデックスｒｅｆＩｄｘＢ、予測リストフラグｐｒｅＬｉｓｔＦｌａｇＢを、それぞれ以下のように導出する。
　ｍｖＡ＝ｍｖＬＸＭ
　ｒｅｆＩｄｘＡ＝ｒｅｆＩｄｘＬＸＭ
　ｐｒｅＬｉｓｔＦｌａｇＡ＝Ｘ
　ｍｖＢ＝ｍｖＬＸＮ
　ｒｅｆＩｄｘＢ＝ｒｅｆＩｄｘＬＸＮ
　ｐｒｅＬｉｓｔＦｌａｇＢ＝Ｘ
　ここで、Ｍ及びＮは、それぞれマージ候補リストにおけるｍ及びｎが示すマージ候補の番号、すなわち、
　Ｍ＝ＭｅｒｇｅＣａｎｄＬｉｓｔ［ｍ］
　Ｎ＝ＭｅｒｇｅＣａｎｄＬｉｓｔ［ｎ］
である。
　変更例として、本実施形態では、非特許文献１で開示されているＧＰＭ向けのマージ候補リストの代替として、非特許文献２で開示されているＧＰＭ向けのマージ候補リストを用いてもよい。
　具体的には、非特許文献１で開示されている上述の通常マージモード向けのマージ候補リストに導入されている剪定処理（以下、通常マージモード向けマージ候補剪定処理）よりも強力な剪定処理（以下、ＧＰＭ向けマージ候補剪定処理）が導入されている。
　また、具体的には、非特許文献１で開示されている通常マージモード向け剪定処理とは異なり、動き情報を剪定対象とするかどうかの判定を、動き情報が有する参照フレームが非特許文献１と同じく完全一致するかどうかを判定するが、動き情報が有する動きベクトルについては完全一致ではなく、復号対象ブロックのブロックサイズに基づく閾値により判定している。
　具体的に、復号対象ブロックサイズが６４画素未満である場合、かかる閾値は１/４画素に設定されており、復号対象ブロックサイズが６４画素以上且つ２５６画素未満である場合、かかる閾値は、１/２画素に設定されており、復号対象ブロックサイズが２５６画素以上である場合、かかる閾値は、１画素に設定されている。
　ＧＰＭ向けマージ候補剪定処理の具体的なフローは、通常マージモード向け剪定処理と同様に、まず、参照フレームが完全一致するかが比較され、完全一致する場合は、次に、動きベクトルが完全一致するかどうかが判定される。
　参照フレームが完全一致しない場合は、たとえ動きベクトルが閾値未満であっても、剪定対象とみなされない。かかる場合、比較対象のうちマージ候補リストにはない動き情報は、新規のマージ候補としてマージ候補リストに追加される構成となっている。
　次に、参照フレームが完全一致し且つ動きベクトルが閾値未満である場合は、剪定対象とみなされる。それ以外の場合は、比較対象のうちマージ候補リストにはない動き情報は、新規のマージ候補としてマージ候補リストに追加される構成となっている。
　かかる構成によれば、通常マージモード向け剪定処理では剪定対象ではなかった動きベクトルが類似する場合の動き情報も剪定対象に含まれることになるため、ＧＰＭの２つのマージインデックスによって導出される動き情報の類似性を排除でき、符号化性能の改善が期待できる。
　なお、この非特許文献２で開示されているＧＰＭ向けマージ候補剪定処理において、動き情報が双予測である場合（すなわち、動きベクトル及び参照フレームをＬ０及びＬ１のそれぞれ１つずつ持つ場合）は、比較対象のマージ候補のＬ０及びＬ１の参照フレームのそれぞれと完全一致する場合に剪定対象とみなされる。
　本実施形態では、ＭＣ部２４１Ａは、ＧＰＭ向けマージ候補剪定処理が追加されたＧＰＭのマージ候補リストを通常マージモード向けの代替として用いて動き情報を導出してもよい。
　かかる構成によれば、より類似度が低い動き情報から構成されたマージ候補リスト内から動き情報を導出できるため、結果として符号化性能の改善が期待できる。
　更なる変更例として、ＭＣ部２４１Ａは、動きベクトルの導出に使用するマージ候補リストとして、通常マージモード向けのマージ候補リスト及びＧＰＭ向けのマージ候補リストのいずれを使用するかをフラグによって切り替えてもよい。
　具体的には、復号部２１０が復号する、例えば、１ビットのフラグを制御データに含まれるように構成することで、復号部２１０が当該フラグの値を復号或いは推定して、ＭＣ部２４１Ａに伝達することで、この切り替えが実現できる。
　かかる構成によれば、ＭＣ部２４１Ａは、より多様なバリエーションから動き情報が導出することができるため、予測性能が向上し、結果として符号化性能の改善が期待できる。
（重複ブロック動き補償およびデコーダ動きベクトル修正）
　以下、図９及び図１０を用いて、復号部２１０及びＯＢＭＣ部２４１Ｂに係る非特許文献２で開示されている重複ブロック動き補償（ＯＢＭＣ：Ｏｖｅｒｌａｐｐｅｄ　Ｂｌｏｃｋ　Ｍｏｔｉｏｎ　Ｃｏｍｐｅｎｓａｔｉｏｎ）について説明する。
　図９は、非特許文献２に開示されているＯＢＭＣが適用される矩形の復号対象ブロックの２つの例を示す。
　図９Ａは、復号対象ブロックが有する動きベクトル（ＭＶ）が復号対象ブロックに対して一様である場合に、復号対象ブロックの上側及び左側に面するブロック境界に対してＯＢＭＣが適用される例である。
　一方で、図９Ｂは、復号対象ブロックが有するＭＶが復号対象ブロックに対して一様ではない場合、例えば、図９Ｂに示すように、復号対象ブロックが所定のブロックサイズごとに異なるＭＶを持つ場合に、各ブロックの上下左右のブロック境界に対してＯＢＭＣが適用される例である。
　図９Ｂに示すような例は、例えば、非特許文献１で開示されているＡｆｆｉｎｅ予測やデコーダ動きベクトル修正（Ｄｅｃｏｄｅｒ　Ｍｏｔｉｏｎ　Ｖｅｃｔｏｒ　Ｒｅｆｉｎｍｅｎｔ：ＤＭＶＲ）が有効な場合に生じる。
　ここで、ＤＭＶＲとは、ＯＢＭＣ部２４１Ｂによる動きベクトルの導出後、導出した動きベクトルを１６×１６画素単位で再探索により修正する技術である。
　非特許文献１で開示されているＧＰＭでは、各分割領域のインター予測時にＤＭＶＲ及びＢＤＯＦの適用は制限されていたが、本実施形態におけるＩｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭのインター予測領域には双予測が適用できるため、ＯＢＭＣ部２４１Ｂは、Ｉｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭのインター予測領域にＤＭＶＲ又はＢＯＤＦを適用してもよい。
　これにより、Ｉｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭのインター予測領域の双予測により生成される予測画素値の精度が向上するため、さらなる符号化性能の効果が期待できる。
　なお、ＤＭＶＲ又はＢＯＤＦの適用判定方法は、非特許文献１と同じ構成を本実施形態においても用いることが可能であるため、詳細な説明は省略する。
　一方で、ＯＢＭＣ部２４１Ｂは、本実施形態におけるＩｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭのインター予測領域に双予測が適用できる場合であっても、ＤＭＶＲ又はＢＯＤＦの適用を常に制限（禁止）してもよい。
　すなわち、上述の非特許文献１で開示されているＤＭＶＲ又はＢＯＤＦの適用可不可の判定条件を満たす場合であっても、Ｉｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭのインター双予測領域にはＤＭＶＲ又はＢＯＤＦの適用を制限する。
　具体的には、非特許文献１で開示されているＤＭＶＲ又はＢＯＤＦの適用条件に、復号対象ブロックが有する非特許文献１で開示されているＧＰＭの適用有無を示すフラグに基づく判定条件を追加することで実現できる。
　これにより、さらなる符号化性能の改善は期待できないが、Ｉｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭのインター予測領域に対するＤＭＶＲ又はＢＤＯＦの追加適用による再探索等に伴うＯＢＭＣ部２４１Ｂの処理量増加を回避できる。
（重複ブロック動き補償の適用制御方法）
　以下、図１０を用いて、ＯＢＭＣ部２４１ＢによるＯＢＭＣの適用制御方法について説明する。図１０は、ＯＢＭＣ部２４１ＢによるＯＢＭＣの適用制御方法のフローチャートを示す。
　まず、ＯＢＭＣ部２４１Ｂは、非特許文献２で開示されているＯＢＭＣの適用可不可の判定処理と同様に、前述のＯＢＭＣの適用単位となる４×４画素のサブブロック（以下、対象サブブロック）ごとに実施される。
　図１０に示すように、ステップＳ２４１-０１において、ＯＢＭＣ部２４１Ｂは、対象サブブロックが有する予測種別がＩｎｔｅｒ予測（インター予測）であるか否かについて判定する。
　かかる条件が満たされると判定される場合、本動作は、ステップＳ２４１-０２に進み、かかる条件が満たされないと判定される場合、すなわち、対象サブブロックが有する予測種別がＩｎｔｒａ予測（イントラ予測）であると判定される場合は、本動作は、ステップＳ２４１-０３に進む。
　なお、ステップＳ２４１-０３では、ＯＢＭＣ部２４１Ｂは、ＯＢＭＣが対象サブブロックにおいて非適用と判定し、本動作は、終了する。
　ステップＳ２４１-０２において、ＯＢＭＣ部２４１Ｂは、対象サブブロックが有するｏｂｍｃ_ｆｌａｇが１であるか否かについて判定する。
　かかる条件が満たされると判定される場合、本動作は、ステップＳ２４１-０４に進み、かかる条件が満たされないと判定される場合、すなわち、ｏｂｍｃ_ｆｌａｇが１であると判定される場合は、本動作は、ステップＳ２４１-０５に進む。
　なお、ステップＳ２４１-０５では、ＯＢＭＣ部２４１Ｂは、ＯＢＭＣが対象サブブロックにおいて非適用と判定し、本動作は、終了する。
　ここで、ｏｂｍｃ_ｆｌａｇは、復号対象ブロック単位のＯＢＭＣの適用可不可を示すシンタックスである。ｏｂｍｃ_ｆｌａｇの値が０の場合は、ＯＢＭＣが適用されないことを示し、ｏｂｍｃ_ｆｌａｇの値が１の場合は、ＯＢＭＣが適用されることを示す。
　ｏｂｍｃ_ｆｌａｇの値が０か１のいずれかであるかは、復号部２１０が復号して値を特定するか、或いは、復号せずに値を推定する。
　ｏｂｍｃ_ｆｌａｇの復号方法及びｏｂｍｃ_ｆｌａｇの値の特定方法及び推定方法は、非特許文献２と同じ構成を取ることができるため、詳細な説明は省略する。
　ステップＳ２４１-０４において、ＯＢＭＣ部２４１Ｂは、対象サブブロックに対してブロック境界を跨いだ隣接ブロックが動きベクトル（ＭＶ）を有するか否かについて判定する。
　かかる条件が満たされると判定される場合、本動作は、ステップＳ２４１-０６に進み、かかる条件が満たされないと判定される場合、本動作は、ステップＳ２４１-０７に進む。
　なお、ステップＳ２４１-０７では、ＯＢＭＣ部２４１Ｂは、ＯＢＭＣが対象サブブロックにおいて非適用と判定し、本動作は、終了する。
　ステップＳ２４１-０６において、ＯＢＭＣ部２４１Ｂは、対象サブブロックが有するＭＶと隣接ブロックが有するＭＶとの差が所定閾値以上であるか否かについて判定する。
　かかる条件が満たされると判定される場合、本動作は、ステップＳ２４１-０８に進み、かかる条件が満たされないと判定される場合、本動作は、ステップＳ２４１-０９に進む。
　なお、ステップＳ２４１-０８では、ＯＢＭＣ部２４１Ｂは、ＯＢＭＣが対象サブブロックにおいて適用と判定し、本動作は、終了する。一方、ステップＳ２４１-０９では、ＯＢＭＣ部２４１Ｂは、ＯＢＭＣが対象サブブロックにおいて非適用と判定し、本動作は、終了する。
　ここで、所定閾値は、固定値を用いてもよい。例えば、所定閾値を１画素としてもよい。あるいは0画素としてもよい（すなわち、完全一致しない場合のみＯＢＭＣを適用すると判定する。）。
　或いは、所定閾値として、対象サブブロックが有するＭＶの本数に応じた可変値を用いてもよい。例えば、対象サブブロックが１つのＭＶを持つ場合は、所定閾値を１画素とし、対象サブブロックが２つのＭＶを持つ場合は、所定閾値を０.５画素としてもよい。
　以上の構成により、非特許文献２では、ＭＶを有する対象サブブロックに対して、隣接ブロックとのＭＶの差が大きい場合に限定して、ＯＢＭＣを適用することで、対象サブブロックと隣接ブロックとの間のブロック境界の不連続性（以下、ブロック境界歪）を解消し、結果として予測性能の向上が期待できる。
（ＧＰＭに対するＯＢＭＣの適用例及び適用制御方法）
　以下、図１１及び図１２を用いて、復号部２１０、ＭＣ部２４１Ａ、ＯＢＭＣ部２４１Ｂ、合成部２４３に係るＧＰＭに対するＯＢＭＣの適用例及び適用制御方法について説明する。
　図１１は、本実施形態におけるＧＰＭが適用されるブロックに対する復号対象ブロックの上側と左側のブロック境界に対するＯＢＭＣの適用例を示す。
　図１１に示すように、ＧＰＭの分割形状（分割線Ｌ）に応じて、ＯＢＭＣが適用される対象サブブロックには、以下、最大３つのパターンが存在する。
　具体的には、第１パターンとして、分割領域Ａに属する対象サブブロックがあり、第２パターンとして、分割領域Ｂに属する対象サブブロックがあり、第３パターンとして、分割領域Ａ/Ｂ双方に属する対象サブブロックがある。
　かかる３パターンの対象サブブロックは、分割領域Ａ及び分割領域Ｂに適用される予測種別がインター予測であるかイントラ予測であるかによって更に分けられる。
　具体的には、第１パターン及び第２のパターンの対象サブブロックは、インター予測及びイントラ予測の２ケースに分けられる。
　一方、第３パターンの対象サブブロックは、異なる２つのインター予測のケース、インター予測及びイントラ予測のケース、異なる２つのイントラ予測のケースの合計３ケースに分けられる。
　なお、本実施形態では、対象サブブロックが有する予測種別は、１つのみとする。そのため、第３パターンの対象サブブロックにおいて、対象サブブロックが有する予測種別は、対象サブブロックを構成する２つの予測の組み合わせで決定される。具体的に、異なる２つのインター予測で構成される予測種別は、インター予測として扱い、インター予測及びイントラ予測で構成される予測種別は、インター予測として扱い、異なる２つのイントラ予測で構成される予測種別は、イントラ予測として扱うこととする。
　ここで、上述したＯＢＭＣの適用対象である対象サブブロックのうち、予測種別がイントラ予測である対象サブブロックについては、以下の理由により、ＯＢＭＣを適用不可と判定すべきである。なぜなら、同条件の対象サブブロックの予測画素は、対象サブブロックが隣接する再構成画素を用いたイントラ予測によって生成されるため、かかる再構成画素と生成した予測画素との間のブロック境界では、インター予測のようにブロック境界歪が定性的に発生しづらい。
　以上の理由により、本実施形態では、上述したＯＢＭＣの適用対象である対象サブブロックのうち、予測種別がイントラ予測である対象サブブロックに対してはＯＢＭＣの適用を制限する（ＯＢＭＣを適用不可とする）。
　一方で、本実施形態では、上述したＯＢＭＣの適用対象である対象サブブロックのうち、予測種別がインター予測である対象サブブロックに対してはＯＢＭＣを適用可とする。
　図１２は、本実施形態におけるＩｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭのインター予測領域に双予測が適用され、当該領域にＤＭＶＲが適用され、且つ、当該領域を構成する所定のブロックサイズがもつ動きベクトルが異なる場合に、それらのブロックの上下左右のブロック境界に対してＯＢＭＣが適用される一例を示す。
　図１２のケースにおいては、イントラ領域には、上述のケースと同様に、ＯＢＭＣの適用を制限（禁止）してもよい。
　さらに、図１２のケースにおいては、復号対象ブロックを構成する所定ブロックサイズごとの上下左右のブロック境界に対して適用されるＯＢＭＣについて、図１０で示したブロック単位のＯＢＭＣの適用制御方法に基づいて、再度ＯＢＭＣの適用可不可を判定してもよい。
　具体的に、図１２に示すように、対象サブブロックにおいて、イントラ領域が隣接するブロック境界に対しては、ＯＢＭＣを適用しないと制御することにより、不要にＯＢＭＣを適用すること回避できる。
　以降では、本実施形態に係るＧＰＭに対するＯＢＭＣの適用可不可を考慮した最終的な予測画素の生成方法について説明する。
（ＧＰＭ、ＬＭＣＳ、ＯＢＭＣを考慮した最終予測画素の生成方法）
　以下、本実施形態のＭＣ部２４１Ａ、ＯＢＭＣ部２４１Ｂ、イントラ予測部２４２、輝度マッピング部２７０及び合成部２４３に係るＧＰＭ、ＬＭＣＳ及びＯＢＭＣを考慮した最終予測画素の生成方法について説明する。
（ＯＢＭＣの重み係数）
　まず、ＭＣ部２４１Ａ、ＯＢＭＣ部２４１Ｂ及び合成部２４３に係る非特許文献２及び本実施形態に係るＯＢＭＣの第１重み係数ｗ_１の定義、及び、第1重み係数ｗ_１とＭＣ画素とＯＢＭＣ画素とを用いた最終的なインター予測画素の生成方法について説明する。
　合成部２４３は、輝度マッピング部２７０からそれぞれ出力されるＭＣ画素とＯＢＭＣ画素を対象ブロック又は対象サブブロックの境界からの距離に基づいて設定された第1重み係数ｗ_１によって加重平均（合成）して、最終的なインター予測画素を生成する。
　第１重み係数は、非特許文献２では、対象ブロック向けのＯＢＭＣと対象サブブロック向けのＯＢＭＣとで、異なる適用ライン数及び異なる重み係数が設定されている。
　具体的に、前記対象ブロック向けのＯＢＭＣにおいては、対象ブロックの境界から４ラインがＯＢＭＣの適用領域であり、第１重み係数ｗ_１は、適用ラインの番号（ｉ＝０,１,２,３,０がブロック境界最近傍）に応じて、以下のように設定されている。
　ｗ_１［０,１,２,３]＝［６,４,２,１］
　このとき、第1重み係数ｗ_１及びＭＣ画素（ＭＣ_Ｙ）及びＯＢＭＣ画素（ＯＢＭＣ_Ｙ）を用いて、最終的なインター予測画素の輝度成分（Ｉｎｔｅｒ_Ｙ）は、以下のように算出される。
Figure JPOXMLDOC01-appb-M000001
 　他方、前記対象サブブロック向けのＯＢＭＣにおいては、対象ブロックの境界から３ラインがＯＢＭＣの適用領域であり、第１重み係数ｗ_１は、適用ラインの番号（ｉ＝０,１,２,３,０がブロック境界最近傍）に応じて、以下のように設定されている
　ｗ_１［０,１,２,３]＝［２７,１６,６,０］
　このとき、第１重み係数ｗ_１及びＭＣ画素（ＭＣ_Ｙ）及びＯＢＭＣ画（ＯＢＭＣ_Ｙ）を用いて、最終的なインター予測画素の輝度成分（Ｉｎｔｅｒ_Ｙ）は、以下のように算出される。
Figure JPOXMLDOC01-appb-M000002
 　なお、数２のＭＣ画素（ＭＣ_Ｙ）は、ＧＰＭがＩｎｔｅｒ/Ｉｎｔｅｒ-ＧＰＭの場合は、後述するＧＰＭに係る第２重み係数及び分割領域Ａ/ＢのそれぞれのＭＣ画素に基づいて加重平均（合成）されたＭＣ画素を示す。
　他方、数２のＭＣ画素（ＭＣ_Ｙ）は、ＧＰＭがＩｎｔｅｒ/Ｉｎｔｒａ-ＧＰＭの場合は、分割領域Ａ/Ｂのうちのいずれかインター予測である方のＭＣ画素を示す。
　なお、ＧＰＭがＩｎｔｒａ/Ｉｎｔｒａ-ＧＰＭの場合は、分割領域Ａ/Ｂのそれぞれイントラ予測画素で構成されるため、数２で示したＭＣ画素及びＯＢＭ画素によるインター予測画素生成方法では、ＧＰＭによる最終的な予測画素が生成されない。
（ＧＰＭの重み係数）
　以下、図１３～図１５を用いて、復号部２１０、ＭＣ部２４１Ａ、イントラ予測部２４２及び合成部２４３に係る非特許文献１及び本実施形態に係るＧＰＭの第２重み係数ｗ_２について説明する。
　図１３は、非特許文献１及び本実施形態に係るＧＰＭの各分割領域Ａ/Ｂの予測画素に対する第２重み係数ｗ_２の値の一例を示す図である。
　各分割領域Ａ/Ｂに対する、ＧＰＭを構成する予測種別の組み合わせ（Ｉｎｔｅｒ/Ｉｎｔｅｒ-ＧＰＭ、Ｉｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭ、Ｉｎｔｒａ/Ｉｎｔｒａ-ＧＰＭ）及びＯＢＭＣの適用可不可に基づいて、ＭＣ部２４１Ａ及びＯＢＭＣ部２４１Ｂによって生成されたインター予測画素又はイントラ予測部２４２によって生成されたイントラ予測画素が、合成部２４３で第２重み係数ｗ_２によって加重平均（合成）される。
　非特許文献１において、第２重み係数ｗ_２の値は、０～８の値が用いられており、本実施形態でも、かかる第２重み係数ｗ_２の値を用いてもよい。ここで、第２重み係数ｗ_２の値０、８は、非ブレンディング領域（非Ｂｌｅｎｄｉｎｇ領域）を示し、第２重み係数ｗ_２の値１～７は、ブレンディング領域（Ｂｌｅｎｄｉｎｇ領域）を示す。
　なお、本実施形態において、第２重み係数ｗ_２の計算方法は、非特許文献１と同様の方法で、画素位置（ｘＬ、ｙＬ）及び対象ブロックサイズから算出されるオフセット値（ｏｆｆｓｅｔＸ、ｏｆｆｓｅｔＹ）、図１４に示す幾何学分割モード（ＧＰＭ）の分割線の角度を規定するａｎｇｌｅＩｄｘから算出される変位（ｄｉｐｌａｃｅｍｅｎｔＸ、ｄｉｐｌａｃｅｍｅｎｔＹ）及び図１５に示すｄｉｐｌａｃｅｍｅｎｔＸ、ｄｉｐｌａｃｅｍｅｎｔＹから算出されるテーブル値ｄｉｓＬｕｔから、以下のように算出するように構成することができる。
　ｗｅｉｇｈｔＩｄｘ＝（（（ｘＬ＋ｏｆｆｓｅｔＸ）＜＜１）＋１）×ｄｉｓＬｕｔ［ｄｉｐｌａｃｅｍｅｎｔＸ］＋（（（ｙＬ＋ｏｆｆｓｅｔＹ）＜＜１）＋１）×ｄｉｓＬｕｔ［ｄｉｐｌａｃｅｍｅｎｔＹ］
　ｗｅｉｇｈｔＩｄｘＬ＝ｐａｒｔＦｌｉｐ？３２＋ｗｅｉｇｈｔＩｄｘ：３２－ｗｅｉｇｈｔＩｄｘ
　ｗ_２＝Ｃｌｉｐ３（０，８，（ｗｅｉｇｈｔＩｄｘＬ＋４）＞＞３）
　上述の第２重み係数ｗ_２を用いて、ＧＰＭによる最終的な予測画素は、分割領域Ａ/Ｂの予測種別に応じて生成される、
　まず、Ｉｎｔｅｒ/Ｉｎｔｅｒ-ＧＰＭの場合は、第２重み係数ｗ_２、分割領域ＡのＭＣ画素（すなわち、領域Ａが有する動き情報に基づくＭＣ画素）の輝度成分（ＭＣ_ＡＹ）及び分割領域ＢのＭＣ画素（すなわち、領域Ｂが有する動き情報に基づくＭＣ画素）の各輝度成分（ＭＣ_ＢＹ）を用いて、ＧＰＭによるＭＣ画素（ＭＣ_Ｙ）が以下のように生成される。
Figure JPOXMLDOC01-appb-M000003
 　合成部２４３では、ＯＢＭＣが有効な場合、上述で示した数１又は数２によってＯＢＭＣ画素（ＯＢＭＣ_Ｙ）がＭＣ画素（ＭＣ_Ｙ）と加重平均されて、ＧＰＭによるインター予測画素（Ｉｎｔｅｒ_Ｙ）が生成される。そして、かかるインター予測画素が、ＧＰＭによる最終的な予測画素（Ｐｒｅｄ_Ｙ）として合成部２４３から出力される。
　次に、Ｉｎｔｒａ/Ｉｎｔｒａ-ＧＰＭの場合は、第２重み係数ｗ_２、分割領域Ａのイントラ予測画素（すなわち、領域Ａが有するイントラ予測モードに基づくイントラ画素）の輝度成分（Ｉｎｔｒａ_ＡＹ）及び分割領域Ｂのイントラ画素（すなわち、領域Ａが有するイントラ予測モードに基づくイントラ画素）の各輝度成分（Ｉｎｔｒａ_ＢＹ）を用いて、ＧＰＭによるイントラ予測画素（Ｉｎｔｒａ_Ｙ）が以下のように生成される。
Figure JPOXMLDOC01-appb-M000004
 　イントラ予測画素のみから構成されるＧＰＭによる予測画素には、前述の通り、ＯＢＭＣ画素を適用しなくてもよいため、かかるイントラ予測画素が、ＧＰＭによる最終的な予測画素（Ｐｒｅｄ_Ｙ）として合成部２４３から出力される。
　次に、Ｉｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭの場合は、第２重み係数ｗ_２、分割領域Ａ又はＢのＭＣ画素（すなわち、領域Ａ又はＢが有する動き情報に基づくＭＣ画素）、分割領域Ｂ又はＡのイントラ予測画素（すなわち、領域Ｂ又はＡが有するイントラ予測モードに基づくイントラ画素）及び分割領域Ａ又はＢのＭＣ画素に対するＯＢＭＣ画素の各輝度成分を用いて、ＧＰＭによる最終的な予測画素が以下のように生成される。下記の計算式では、分割領域Ａがインター予測（ＭＣ）であり、分割領域Ｂがイントラ予測である例を示す。
Figure JPOXMLDOC01-appb-M000005
 又は、
Figure JPOXMLDOC01-appb-M000006
 によって分割領域Ａ又はＢのＭＣ画素とＯＢＭＣ画素及び第１重み係数に基づいてＧＰＭによるインター予測画素（Ｉｎｔｅｒ_ＡＹ）が算出される。
Figure JPOXMLDOC01-appb-M000007
 によって、ＧＰＭによるインター予測画素とＧＰＭによるイントラ予測画素（この例では、分割領域Ｂのイントラ予測画素）と第２重み係数とに基づいて、ＧＰＭによる最終的な予測画素（Ｐｒｅｄ_Ｙ）が生成されて合成部２４３から出力される。
　合成部２４３では、ＬＭＣＳが有効である場合、対象ブロックの輝度成分における最終的な予測画素は、輝度マッピング部２７０から出力される輝度マッピングされたＭＣ画素及びＯＢＭＣ画素、又は、イントラ予測部２４２から出力される輝度マッピングされたイントラ予測画素によって生成される。
　特に、合成部２４３は、上述で示した計算例のうち、Ｉｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭの場合、輝度マッピングされたＭＣ画素、ＯＢＭＣ画素及びイントラ予測画素の加重平均の順序を適切に実施する必要がある。
　具体的に、合成部２４３は、次式のように、輝度マッピング部２７０から出力される輝度マッピングされた分割領域Ａ又はＢのＭＣ画素（ＦｗｄＭａｐ（ＭＣ_Ｙ））とＯＢＭＣ画素（ＦｗｄＭａｐ（ＯＢＭＣ_Ｙ））と第１重み係数ｗ_１とに基づいて加重平均された輝度マッピングされたインター予測画素（ＦｗｄＭａｐ（Ｉｎｔｅｒ_Ｙ））を生成する。
　そして、合成部２４３は、このインター予測画素と、イントラ予測部２４２から出力される輝度マッピングされた分割領域Ｂ又はＡのイントラ予測画素（Ｉｎｔｒａ_Ｙ）と第２重み係数ｗ_２とに基づいて、ＧＰＭによる最終的な予測画素（Ｐｒｅｄ_Ｙ）を生成する。下記の計算式では、分割領域Ａがインター予測（ＭＣ）、分割領域Ｂがイントラ予測である例を示す。ここで、インター予測画素（Ｉｎｔｅｒ_ＡＹ）の生成方法は、前記の数５又は数６と同様である。
Figure JPOXMLDOC01-appb-M000008
 　以上の手順により、対象ブロックにおいてＧＰＭ、ＯＢＭＣ及びＬＭＣＳの全てが有効であり且つＧＰＭがインター予測とイントラ予測とから構成される場合、輝度マッピングされたＧＰＭによるＭＣ画素とＯＢＭＣ画素とイントラ予測画素とを合成して、対象ブロックの輝度成分における予測画素を生成できる。
　これは、すなわち、上述の３つ予測画素（１．ＧＰＭによるＭＣ画素、２．ＯＢＭＣ画素、３．ＧＰＭによるイントラ予測画素）の信号空間が輝度マッピングされた空間に揃った上でＩｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭの最終的な予測画素が生成されることを意味するため、結果として、予測性能の向上効果が期待できる。
　なお、上述で示した第1重み係数ｗ_１及び第２重み係数ｗ_２が上述の例とは異なる値であっても、同様の概念で、本実施形態で説明したＧＰＭ、ＯＢＭＣ、ＬＭＣＳが有効である時の予測画素の生成方法について適用できる。
　また、上述の構成の変更例として、第２輝度マッピング部２７０におけるＭＣ画素とＯＢＭＣ画素に対して輝度マッピングする機能を、合成部２４３に包含させてもよい。
　具体的には、合成部２４３は、ＭＣ部２４１Ａから出力されるＭＣ画素とＯＭＢＣ部から出力されるＯＢＭＣ画素と第１重み係数と第２重み係数とから、ＧＰＭ又はＯＢＭＣにより構成されるインター予測画素を生成する。
　その後、合成部２４３は、生成した当該インター予測画素に対して輝度マッピングを行う。そして、ＧＰＭが、例えば、Ｉｎｔｒａ/Ｉｎｔｅｒ-ＧＰＭである場合は、合成部２４３は、かかるインター予測画素に対して、イントラ予測部２４２から出力されるイントラ予測画素を第２重み係数に基づいて加重平均し、最終的な予測画素を生成及び出力してもよい。
　これにより、上述の構成例では、輝度マッピング処理がＭＣ画素及びＯＢＭＣ画素のそれぞれに必要であるが、変更例では、インター予測画素のみに対して輝度マッピングすればよいため、輝度マッピング処理回数が削減される効果が期待できる。
（ＧＰＭ分割形状を考慮した逆色差スケーリング）
　以下、図１６～図１８を用いて、本実施形態にかかるＧＰＭの分割形状を考慮した逆色差スケーリング手法を説明する。なお、本実施形態に係る色差スケーリング手法はここで説明する逆色差スケーリング手法の逆の手順であるため、以降で示す分割形状する点はいずれも共通する。従って、逆色差スケーリング手法として説明されている部分でも、色差スケーリング手法として読み替えることができる。
　図１６は、本実施形態に係るＧＰＭの分割形状を考慮した逆色差スケーリング手法の一例を示す図である。
まず、非特許文献１で開示されているＧＰＭ向けの逆色差スケーリング手法は、分割領域Ａ/Ｂごとではなく、対象ブロック単位の予測残差画素に対して適用される。
　そのため、このときに使用されるスケーリング係数は、対象ブロックに隣接する再構成ブロック（具体的には、上部1ラインと左部1ラインに隣接する再構成画素）の輝度成分の平均値を用いて算出される。このスケーリング係数の算出方法は、ＧＰＭが有効である場合でも同一である。
　これに対して、本実施形態では、図１６に示すように、逆色差スケーリングをＧＰＭの分割領域Ａ/Ｂに分けて適用してもよい。
　これは、逆色差スケーリング部２８１（又は、逆色差スケーリング部１８１）の処理完了まで、ＧＰＭの分割形状に係る情報（内部パラメータ）が保存されるように構成すれば、実現可能である。
　さらに、このときに使用するスケーリング係数の算出方法について、以下に示すＧＰＭの分割形状を考慮した手法を代替として適用（置換）してもよい。
　具体的に、図１７に示すようなＧＰＭの分割線Ｌの角度に基づいて分割領域Ａ/Ｂのそれぞれの参照領域が設定されたテーブルを使用する方法である。ここで、図１７に示すＡ及びＬは、それぞれ対象ブロックの上部及び左部を示す。
　逆色差スケーリング手法におけるスケーリング係数の算出時に使用する輝度成分の再構成画素を、このテーブルを用いて制限すれば、分割形状に沿った再構成画素のみを用いて、分割領域Ａ/Ｂのそれぞれのスケーリング係数が算出できるため、色差成分の予測残差画素の精度が向上し、結果として予測性能が改善する。
　なお、上述では、ＧＰＭの分割形状に基づく参照領域の制限テーブルを用いた逆色差スケーリング手法におけるスケーリング係数の算出手法を示したが、その他の手法として、図１８に示すように、ＧＰＭの分割線Ｌと対象ブロックに隣接する再構成画素の輝度成分との交点によって、スケーリング係数の算出に使用する再構成画素の輝度成分を制限してもよい。ここで、交点に位置する画素は、分割領域Ａ/Ｂのいずれか一方のみで使用してもよいし、双方で使用してもよい。
　なお、上述では、ＧＰＭにより、矩形ブロックが幾何学形状に２分割される事例を参照して、その場合のＧＰＭへのイントラ予測モードの適用時のシグナリング方法について説明したが、ＧＰＭにより矩形ブロックが幾何学形状に３分割以上に分割される事例においても、同様の概念で、本実施形態で説明したＧＰＭへのイントラ予測の適用、イントラ予測モードの導出、ＧＰＭへのＯＢＭＣの適用、ＧＰＭとＯＢＭＣとＬＭＣＳが有効時の予測画素生成に係る方法は適用できる。
　上述の画像符号化装置１００及び画像復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。
　なお、上述の各実施形態では、本発明を画像符号化装置１００及び画像復号装置２００への適用を例にして説明したが、本発明は、これのみに限定されるものではなく、画像符号化装置１００及び画像復号装置２００の各機能を備えた画像符号化システム及び画像復号システムにも同様に適用できる。
　なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
１０…画像処理システム
１００…画像符号化装置
１１１Ａ、２４１Ａ…ＭＣ予測部
１１１Ｂ、２４１Ｂ…ＯＢＭＣ部
１１２、２４２…イントラ予測部
１１３、２４３…合成部
１２１…減算器
１２２、２３０…加算器
１３１…変換・量子化部
１３２、２２０…逆変換・逆量子化部
１４０…符号化部
１６０、２６０…フレームバッファ
１７０、２５０…インループフィルタ処理部
１７０Ａ…第１輝度マッピング部
１７０Ｂ…第２輝度マッピング部
１７１、２７１…逆輝度マッピング部
１８０…色差スケーリング部
１８１、２８１…逆色差スケーリング部
２００…画像復号装置
２１０…復号部
２７０…輝度マッピング部

Claims (7)

  1. 　画像復号装置であって、
    　対象ブロックに対する動き補償画素を生成するように構成されている動き補償部と、
    　前記対象ブロックに対する重複ブロック動き補償画素を生成するように構成されている重複ブロック動き補償部と、
    　前記対象ブロックに対する前記動き補償画素及び前記重複ブロック動き補償画素の輝度成分に対して輝度マッピングを行うように構成されている輝度マッピング部と、
    　前記対象ブロックに対するイントラ予測画素を生成するように構成されているイントラ予測部と、
    　前記対象ブロックに対する前記動き補償画素と前記重複ブロック動き補償画素と前記イントラ予測画素とを合成するように構成されている合成部とを備え、
    　前記対象ブロックに対して幾何学ブロック分割モードと重複ブロック動き補償と輝度マッピング・色差スケーリングの全てが有効であり、且つ、前記幾何学ブロック分割モードがインター予測とイントラ予測とで構成される場合、前記合成部は、輝度マッピングが行われた前記動き補償画素、前記重複ブロック動き補償画素及び前記イントラ予測画素の各輝度成分を合成して、前記対象ブロックの輝度成分に対する予測画素を生成するように構成されていることを特徴とする画像復号装置。
  2. 　前記合成部は、
    　　第１重み係数で、前記輝度マッピングが行われた前記動き補償画素の輝度成分と前記重複ブロック動き補償画素の輝度成分とを加重平均して、前記対象ブロックに対する前記輝度マッピングされた前記インター予測画素の輝度成分を生成し、　　
    　　第２重み係数で、前記輝度マッピングが行われた前記インター予測画素の輝度成分と前記イントラ予測画素の輝度成分とを加重平均して、
    　前記対象ブロックの輝度成分に対する予測画素を生成するように構成されていることを特徴とする請求項1に記載の画像復号装置。
  3. 　画像復号装置であって、
    　対象ブロックに対する動き補償画素を生成するように構成されている動き補償部と、
    　前記対象ブロックに対するイントラ予測画素を生成するように構成されているイントラ予測部と、 
    　前記対象ブロックに対する予測残差画素の色差成分を逆色差スケーリングするように構成されている逆色差スケーリング部と、
    　前記対象ブロックに対する前記動き補償画素と前記イントラ予測画素とを合成するように構成されている合成部と、
    　対象ブロックに幾何学ブロック分割モードと輝度マッピング・色差スケーリングが有効である場合、前記幾何学ブロック分割モードにおける分割領域のそれぞれに独立に逆色差スケーリングを適用するように構成されている逆色差スケーリング部とを有することを特徴とする画像復号装置。
  4. 　前記逆色差スケーリング部は、前記幾何学ブロック分割モードの分割形状によって、スケーリング係数の算出に使用する前記対象ブロックに隣接する輝度成分の再構成画素の範囲を制御するように構成されていることを特徴とする請求項３に記載の画像復号装置。
  5. 　前記逆色差スケーリング部は、前記幾何学ブロック分割モードの分割角度に基づいて規定された前記再構成画素の参照方向を示すテーブルを用いて、前記再構成画素の範囲を制御することを特徴とする請求項４に記載の画像復号装置。
  6. 　画像復号方法であって、
    　対象ブロックに対する動き補償画素を生成する工程Ａと、
    　前記対象ブロックに対する重複ブロック動き補償画素を生成する工程Ｂと、
    　前記対象ブロックに対する前記動き補償画素及び前記重複ブロック動き補償画素の輝度成分に対して輝度マッピングを行う工程Ｃと、
    　前記対象ブロックに対するイントラ予測画素を生成する工程Ｄと、
    　前記対象ブロックに対する前記動き補償画素と前記重複ブロック動き補償画素と前記イントラ予測画素とを合成する工程Ｅとを有し、
    　前記工程Ｅにおいて、前記対象ブロックに対して幾何学ブロック分割モードと重複ブロック動き補償と輝度マッピング・色差スケーリングの全てが有効であり、且つ、前記幾何学ブロック分割モードがインター予測とイントラ予測とで構成される場合、輝度マッピングが行われた前記動き補償画素、前記重複ブロック動き補償画素及び前記イントラ予測画素の各輝度成分を合成して、前記対象ブロックの輝度成分に対する予測画素を生成することを特徴とする画像復号方法。
  7. 　コンピュータを、画像復号装置として機能させるプログラムであって、
    　前記画像復号装置は、
    　　対象ブロックに対する動き補償画素を生成するように構成されている動き補償部と、
    　　前記対象ブロックに対する重複ブロック動き補償画素を生成するように構成されている重複ブロック動き補償部と、
    　　前記対象ブロックに対する前記動き補償画素及び前記重複ブロック動き補償画素の輝度成分に対して輝度マッピングを行うように構成されている輝度マッピング部と、
    　　前記対象ブロックに対するイントラ予測画素を生成するように構成されているイントラ予測部と、
    　　前記対象ブロックに対する前記動き補償画素と前記重複ブロック動き補償画素と前記イントラ予測画素とを合成するように構成されている合成部とを備え、
    　前記対象ブロックに対して幾何学ブロック分割モードと重複ブロック動き補償と輝度マッピング・色差スケーリングの全てが有効であり、且つ、前記幾何学ブロック分割モードがインター予測とイントラ予測とで構成される場合、前記合成部は、輝度マッピングが行われた前記動き補償画素、前記重複ブロック動き補償画素及び前記イントラ予測画素の各輝度成分を合成して、前記対象ブロックの輝度成分に対する予測画素を生成するように構成されていることを特徴とするプログラム。
PCT/JP2022/042340 2021-11-18 2022-11-15 画像復号装置、画像復号方法及びプログラム WO2023090309A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280059779.7A CN117917076A (zh) 2021-11-18 2022-11-15 图像解码装置、图像解码方法及程序
US18/594,887 US20240214579A1 (en) 2021-11-18 2024-03-04 Image decoding device, image decoding method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021188193A JP2023074968A (ja) 2021-11-18 2021-11-18 画像復号装置、画像復号方法及びプログラム
JP2021-188193 2021-11-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/594,887 Continuation US20240214579A1 (en) 2021-11-18 2024-03-04 Image decoding device, image decoding method, and program

Publications (1)

Publication Number Publication Date
WO2023090309A1 true WO2023090309A1 (ja) 2023-05-25

Family

ID=86397008

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/042340 WO2023090309A1 (ja) 2021-11-18 2022-11-15 画像復号装置、画像復号方法及びプログラム

Country Status (4)

Country Link
US (1) US20240214579A1 (ja)
JP (1) JP2023074968A (ja)
CN (1) CN117917076A (ja)
WO (1) WO2023090309A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020108055A (ja) * 2018-12-28 2020-07-09 Kddi株式会社 画像復号装置、画像符号化装置、画像復号方法及びプログラム
JP2022162484A (ja) * 2021-04-12 2022-10-24 Kddi株式会社 画像復号装置、画像復号方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020108055A (ja) * 2018-12-28 2020-07-09 Kddi株式会社 画像復号装置、画像符号化装置、画像復号方法及びプログラム
JP2022162484A (ja) * 2021-04-12 2022-10-24 Kddi株式会社 画像復号装置、画像復号方法及びプログラム

Also Published As

Publication number Publication date
JP2023074968A (ja) 2023-05-30
CN117917076A (zh) 2024-04-19
US20240214579A1 (en) 2024-06-27

Similar Documents

Publication Publication Date Title
CN108781283B (zh) 使用混合帧内预测的视频编码
KR101789478B1 (ko) 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
JP2019106742A (ja) 画像符号化装置、画像復号化装置、及びこれらのプログラム
JP5248632B2 (ja) 動き推定のための技術
CN111010578B (zh) 一种帧内帧间联合预测的方法、装置以及存储介质
WO2023090309A1 (ja) 画像復号装置、画像復号方法及びプログラム
WO2021190518A1 (zh) 解码、编码、编解码方法、装置及其设备
WO2023047821A1 (ja) 画像復号装置、画像復号方法及びプログラム
CN110771166A (zh) 用于视频编码的装置和方法
JP7495909B2 (ja) 画像復号装置、画像復号方法及びプログラム
WO2023021989A1 (ja) 画像復号装置、画像復号方法及びプログラム
WO2023047820A1 (ja) 画像復号装置、画像復号方法及びプログラム
WO2023277129A1 (ja) 画像復号装置、画像復号方法及びプログラム
WO2023021988A1 (ja) 画像復号装置、画像復号方法及びプログラム
WO2023193516A1 (en) Method and apparatus using curve based or spread-angle based intra prediction mode in video coding system
KR20190081488A (ko) 영상 부호화/복호화 방법 및 장치
WO2024079986A1 (ja) 画像復号装置、画像復号方法及びプログラム
CN111758258B (zh) 用于视频编码的帧间预测装置和方法
US20220174283A1 (en) Image decoding device, image decoding method, and program
JP2024058004A (ja) 画像復号装置、画像復号方法及びプログラム
TW202209893A (zh) 幀間預測方法、編碼器、解碼器以及電腦儲存媒介
JP2024090267A (ja) 画像復号装置、画像復号方法及びプログラム
CN116193125A (zh) 用于针对视频编解码的预测相关残差缩放的方法和设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22895590

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280059779.7

Country of ref document: CN