WO2025150306A1 - 画像復号装置、画像復号方法及びプログラム - Google Patents

画像復号装置、画像復号方法及びプログラム

Info

Publication number
WO2025150306A1
WO2025150306A1 PCT/JP2024/042914 JP2024042914W WO2025150306A1 WO 2025150306 A1 WO2025150306 A1 WO 2025150306A1 JP 2024042914 W JP2024042914 W JP 2024042914W WO 2025150306 A1 WO2025150306 A1 WO 2025150306A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
decoded
pixels
prediction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/042914
Other languages
English (en)
French (fr)
Inventor
佳隆 木谷
晴久 加藤
圭 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to CN202480054758.5A priority Critical patent/CN121753337A/zh
Publication of WO2025150306A1 publication Critical patent/WO2025150306A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • Inter prediction generates predicted pixels for a block to be decoded from decoded pixels (reference pixels) in a decoded picture (reference picture) other than the picture to be decoded.
  • inter prediction uses control information to select a motion vector for the block to be decoded, which is required to generate a predicted pixel for the block to be decoded, from among multiple motion vector candidates that are spatially or temporally adjacent or close to the block to be decoded.
  • the present invention has been made in consideration of the above-mentioned problems, and aims to provide an image decoding device, an image decoding method, and a program with high coding efficiency.
  • the first feature of the present invention is an image decoding device, comprising: a decoding unit which performs variable-length decoding of code information to output a quantized value and control information; an inverse quantization unit which performs inverse quantization of the quantized value to output a transform coefficient; an inverse transform unit which performs inverse transform of the transform coefficient to output a predicted residual pixel; an intra prediction unit which generates an intra predicted pixel from the control information and the decoded pixel; a decoded picture buffer which accumulates the decoded pixel; an inter prediction unit which generates an inter predicted pixel from the control information and the decoded pixel accumulated in the decoded picture buffer; and an adder which adds at least one of the intra predicted pixel and the inter predicted pixel to the predicted residual pixel to generate the decoded pixel.
  • the eighth feature of the present invention is an image decoding device, comprising: a decoding unit which performs variable-length decoding of code information to output a quantized value and control information; an inverse quantization unit which performs inverse quantization of the quantized value to output a transform coefficient; an inverse transform unit which performs inverse transform of the transform coefficient to output a predicted residual pixel; an intra prediction unit which generates an intra prediction pixel from the control information and decoded pixels; a decoded picture buffer which accumulates the decoded pixels; an inter prediction unit which generates an inter prediction pixel from the control information and the decoded pixels accumulated in the decoded picture buffer; and an adder that generates decoded pixels, and the inter prediction unit generates a chained motion vector by recursively searching for motion vectors stored in the decoding picture buffer for motion vectors at positions spatially or temporally adjacent or close to the block to be decoded that is stored in a merge candidate list that stores motion vector candidates, and adding all of the derived motion vectors
  • the inter prediction unit generates a chained motion vector by recursively searching for motion vectors stored in the decoding picture buffer for motion vectors at positions spatially or temporally adjacent or close to the block to be decoded stored in a merge candidate list, and adds all derived motion vectors to generate a chained motion vector, and performs chained motion vector prediction to derive the chained motion vector as a candidate motion vector for the block to be decoded, and the inter prediction unit specifies, based on the control information transmitted from the decoding unit, whether to add at least one or more predetermined positions of the block to be decoded in addition to the center of the block to be decoded as the starting point of the first motion vector in the chained motion vector prediction for the block to be decoded, based on the control information transmitted from the decoding unit.
  • the eleventh feature of the present invention is an image decoding method comprising the steps of: step A of variable-length decoding code information to output a quantized value and control information; step B of inversely quantizing the quantized value to output a transform coefficient; step C of inversely transforming the transform coefficient to output a predicted residual pixel; step D of generating an intra-predicted pixel from the control information and the decoded pixel; step E of storing the decoded pixel in a decoded picture buffer; step F of generating an inter-predicted pixel from the control information and the stored decoded pixel; and step G of generating the decoded pixel by adding at least one of the intra-predicted pixel and the inter-predicted pixel to the predicted residual pixel.
  • a twelfth feature of the present invention is a program for causing a computer to function as an image decoding device, the image decoding device including a decoding unit that performs variable length decoding on encoded information and outputs a quantized value and control information, an inverse quantization unit that performs inverse quantization on the quantized value and outputs a transform coefficient, an inverse transform unit that performs inverse transform on the transform coefficient and outputs a predicted residual pixel, an intra prediction unit that generates an intra predicted pixel from the control information and the decoded pixel, a decoded picture buffer that accumulates the decoded pixel, an inter prediction unit that generates an inter predicted pixel from the control information and the accumulated decoded pixel, and a decoding unit that generates an inter predicted pixel from the control information and the accumulated decoded pixel by adding at least one of the intra predicted pixel and the inter predicted pixel to the predicted residual pixel.
  • the inter prediction unit recursively searches for motion vectors stored in the decoding picture buffer for motion vectors at positions spatially or temporally adjacent or close to the block to be decoded that is stored in a merge candidate list that stores motion vector candidates, and adds all of the derived motion vectors to generate a linear motion vector, and performs linear motion vector prediction to derive the linear motion vector as a candidate motion vector for the block to be decoded, and the inter prediction unit controls whether or not to apply the linear motion vector prediction based on control information that controls whether or not to apply the temporal motion vector prediction sent from the decoding unit.
  • the present invention provides an image decoding device, an image decoding method, and a program with high coding efficiency.
  • FIG. 1 is a diagram showing an example of functional blocks of an image decoding device 200 according to an embodiment.
  • FIG. 2 is a diagram showing a concept of inter prediction.
  • Figure 3 is a diagram explaining reference pixel values that are referenced when a picture other than the picture to be decoded stored in the decoded picture buffer 207 disclosed in each of non-patent literature 1 and non-patent literature 2 is referenced from a future block to be decoded.
  • FIG. 4 is a conceptual diagram showing how the inter-prediction padding area described with reference to FIG. 3 is generated.
  • FIG. 5 is a diagram showing an example of a merge candidate list, which is a method of deriving a motion vector in the inter prediction unit 205. In FIG. FIG. FIG.
  • FIG. 6 is a diagram showing an example of the names of multiple types of merge candidates in the regular merge disclosed in Non-Patent Document 1 and Non-Patent Document 2, and the order in which these merge candidates are derived.
  • FIG. 7 is a diagram showing an example of search positions for spatial merging candidates and TMVP candidates in a current block to be decoded.
  • FIG. 8 is a diagram showing an example of a method for deriving a chained motion vector in chained motion vector prediction.
  • FIG. 9 is a diagram showing an example of a method for deriving a chained motion vector in chained motion vector prediction.
  • FIG. 10 is a diagram showing an example of a recursive search for a motion vector including bi-prediction.
  • FIG. 11 is a diagram showing an example of a chain of motion vectors derived by a recursive search of motion vectors including bi-prediction.
  • FIG. 12 is a diagram showing an example of searching for chained motion vector prediction candidates after searching for multiple types of merge candidates in the normal merge disclosed in Non-Patent Documents 1 and 2.
  • FIG. 13 is a diagram showing an example of searching for chained motion vector prediction candidates after searching for multiple types of merge candidates in the normal merge disclosed in Non-Patent Documents 1 and 2.
  • FIG. 14 is a diagram showing an example of merging candidates from which a daisy chain motion vector prediction candidate is derived, and positions (index numbers) in a merging candidate list to which the daisy chain motion vector prediction candidate is added.
  • FIG. 12 is a diagram showing an example of searching for chained motion vector prediction candidates after searching for multiple types of merge candidates in the normal merge disclosed in Non-Patent Documents 1 and 2.
  • FIG. 13 is a diagram showing an example of searching for chained motion
  • FIG. 15 is a diagram showing an example of merging candidates from which a daisy chain motion vector prediction candidate is derived, and positions (index numbers) in a merging candidate list to which the daisy chain motion vector prediction candidate is added.
  • FIG. 16 is a diagram showing an example of merging candidates from which a daisy chain motion vector prediction candidate is derived, and a position (index number) in the merging candidate list to which the daisy chain motion vector prediction candidate is added.
  • FIG. 17 is a diagram showing an example of merging candidates from which a daisy chain motion vector prediction candidate is derived, and a position (index number) in the merging candidate list to which the daisy chain motion vector prediction candidate is added.
  • Figure 18 is a diagram showing an example of a pruning process in which the inter prediction unit 205 of an image decoding device 200 according to one embodiment adds a merge candidate corresponding to a daisy chain motion vector derived by daisy chain motion vector prediction to a merge candidate list.
  • FIG. 19 is a diagram showing an example of a method for controlling a reference source when deriving a daisy chain motion vector in daisy chain motion vector prediction by the inter prediction unit 205 of the image decoding device 200 according to one embodiment.
  • FIG. 20 is a diagram showing an example of a method for controlling a reference destination when deriving a daisy chain motion vector in daisy chain motion vector prediction by the inter prediction unit 205 of the image decoding device 200 according to one embodiment.
  • Figure 21 is a diagram showing an example of a method for controlling the reference source and reference destination when deriving a daisy chain motion vector in daisy chain motion vector prediction by the inter prediction unit 205 of an image decoding device 200 according to one embodiment in a case where GDR is applied.
  • FIG. 22 is a diagram showing an example of a method for controlling a reference source when deriving a daisy chain motion vector in daisy chain motion vector prediction.
  • FIG. 23 is a diagram illustrating an example of a process in which the decoding unit 201 of the image decoding device 200 according to an embodiment determines whether or not to decode sps_chained_mvp_enabled_flag based on sps_temporal_mvp_enabled_flag.
  • FIG. 24 is a diagram showing an example of a control point motion vector cpMv derived by the inter prediction unit 205 of the image decoding device 200 according to one embodiment.
  • FIG. 1 shows an example of functional blocks of an image decoding device 200 according to this embodiment.
  • the image decoding device 200 has a code input unit 210, a decoding unit 201, an inverse quantization unit 202, an inverse transform unit 203, an intra prediction unit 204, an inter prediction unit 205, an adder 206, a decoded picture buffer 207, and an image output unit 220.
  • pixel may refer to a block (unit) made up of pixels, a tree block which is the maximum size of a block, or a slice, tile, or image (picture) which is larger than a tree block.
  • the image decoding device 200 may also include an in-loop filter between the adder 206 and the decoded picture buffer 207 that modifies the pixel values of the decoded pixels.
  • the code input unit 210 is configured to obtain code information encoded by the image encoding device.
  • the decoding unit 201 is configured to decode the control information and the quantization value from the code information input from the code input unit 210.
  • the decoding unit 201 is configured to output the control information and the quantization value by performing variable length decoding on the code information.
  • the quantized value is sent to the inverse quantization unit 202, and the control information is sent to the decoded picture buffer 207, the intra prediction unit 204, and the inter prediction unit 205.
  • control information includes information necessary for controlling the decoded picture buffer 207, the intra prediction unit 204, the inter prediction unit 205, etc., and may include header information such as a sequence parameter set, a picture parameter set, a picture header, a slice header, etc.
  • the inverse quantization unit 202 is configured to inverse quantize the quantized values sent from the decoding unit 201 to generate decoded transform coefficients. These transform coefficients are sent to the inverse transform unit 203.
  • the inverse transform unit 203 is configured to inversely transform the transform coefficients sent from the inverse quantization unit 202 to generate decoded prediction residuals. These prediction residuals are sent to the adder 206.
  • the intra prediction unit 204 is configured to generate intra prediction pixels based on the decoded pixels and the control information sent from the decoding unit 201.
  • the decoded pixels are obtained via the adder 206 and stored in the decoded picture buffer 207.
  • the intra prediction pixels are prediction pixels to be added to the prediction residual by the adder 206.
  • the intra prediction pixels are sent to the adder 206.
  • the prediction performed by the intra prediction unit 204 may be the intra prediction disclosed in Non-Patent Document 1 and Non-Patent Document 2.
  • the prediction performed by the intra prediction unit 204 may be the intra block copy or intra template matching prediction disclosed in Non-Patent Document 1 and Non-Patent Document 2.
  • the decoded picture buffer 207 cumulatively stores the decoded pixels sent from the adder 206 and the inter prediction information corresponding to the decoded pixels sent from the inter prediction unit 205.
  • the decoded pixels stored in the decoded picture buffer 207 and the inter prediction information corresponding to such decoded pixels are referenced by the inter prediction unit 205. Details of the inter prediction information will be described later.
  • the inter prediction unit 205 is configured to generate inter prediction pixels based on the decoded pixels and inter prediction information obtained by referring to the decoded picture buffer 207 and the control information sent from the decoding unit 201.
  • the inter prediction unit 205 sends the generated inter prediction pixels to the adder unit 206, and sends the inter prediction information used to generate the inter prediction pixels to the decoded picture buffer 207 as information corresponding to the pixel to be decoded.
  • the prediction performed by the inter prediction unit 205 may be the inter prediction disclosed in Non-Patent Document 1 and Non-Patent Document 2.
  • the prediction performed by the inter prediction unit 205 may be the intra block copy disclosed in Non-Patent Document 1 and Non-Patent Document 2.
  • the adder 206 is configured to add the prediction residual sent from the inverse transform unit 203 to at least one of the input intra-predicted pixels and inter-predicted pixels to calculate decoded pixels. These decoded pixels are sent to the image output unit 220, the decoded picture buffer 207, and the intra-prediction unit 204.
  • the image output unit 220 is configured to output the decoded pixels transmitted from the adder 206.
  • the following describes the roles of the inter prediction unit 205 and the decoded picture buffer 207, which are characteristic components of the image decoding device 200 according to this embodiment, taking as an example the case where the prediction performed by the inter prediction unit 205 is inter prediction.
  • the decoded picture buffer 207 may derive a reference picture list for each picture to be decoded based on the control information decoded by the decoding unit 201.
  • the method of deriving a motion vector in the inter prediction unit 205 will be described in detail later.
  • the method of generating inter prediction pixels in the inter prediction unit 205 is outlined below.
  • the inter prediction unit 205 may apply the following method as a method for generating inter prediction pixels using two reference blocks.
  • the inter prediction unit 205 may apply block-based weighted bi-prediction (BCW: Bi-prediction with CU-level Weights) disclosed in Non-Patent Document 1 and Non-Patent Document 2 as a technique for such block-based weighted averaging.
  • BCW block-based weighted bi-prediction
  • weighting values can be selected, including a simple average, i.e., a 1:1 weighting value, and such weighting value is specified by the value of an internal parameter (bcwIdx, third internal parameter).
  • the inter prediction unit 205 derives bcwIdx by inheriting it from the control information or the decoded picture buffer 207. Details of inheritance will be described later.
  • the inter prediction unit 205 may generate inter prediction pixels by dividing the block to be decoded into two parts by a predetermined straight line, and calculating a weighted average of pixel values of a reference block corresponding to each of the divided areas using a weight value according to the distance from the dividing line.
  • the inter prediction unit 205 may generate an inter prediction pixel using an interpolation filter to derive the reference pixel value of the fractional pixel precision position from the reference pixel values at integer pixel precision positions above, below, left, and right of the fractional pixel position.
  • the one with the lower cutoff frequency is called the Switchable Interpolation Filter (SIF).
  • SIF Switchable Interpolation Filter
  • inter prediction unit 205 derives hpelIfIdx by inheriting it from the control information or the decoded picture buffer 207. Details of inheritance will be described later.
  • the inter prediction unit 205 may generate an inter prediction pixel without applying an interpolation filter by rounding (clipping) the reference of the motion vector to the integer pixel precision position closest to the fractional pixel precision position.
  • LIC is a technology that uses linear prediction to correct the reference pixel values in a reference block based on the decoded pixels adjacent to the block to be decoded and the reference block.
  • inter prediction unit 205 derives licFlag by inheriting it from the control information or the decoded picture buffer 207. Details of inheritance will be described later.
  • MHP is a technique that generates the final inter-predicted pixel by weighted averaging from reference pixel values of at least three or more reference blocks.
  • the inter prediction unit 205 may apply MHP when an internal parameter (mhpFlag, fourth internal parameter) that specifies whether or not MHP is applied indicates that MHP is to be applied.
  • an internal parameter mhpFlag, fourth internal parameter
  • inter prediction unit 205 derives mhpFlag by inheriting it from the control information or the decoded picture buffer 207. Details of inheritance will be described later.
  • the inter prediction unit 205 sends the inter prediction pixels for the block to be decoded to the adder 206, and also sends the motion vector used to generate the inter prediction pixels, an index (reference index) for identifying the reference picture referred to by the motion vector in the reference picture list, and a counter (POC: Picture Order Count) indicating the picture output order of the reference picture corresponding to the reference index to the decoded picture buffer 207.
  • reference index index
  • POC Picture Order Count
  • the decoded picture buffer 207 accumulates the decoded pixels of the block to be decoded sent from the adder 206, as well as the inter-prediction information of the block to be decoded that corresponds to the decoded pixels.
  • the decoded picture buffer 207 may store such inter prediction information in a predetermined size (number of pixels). For example, the decoded picture buffer 207 may store such inter prediction information in units of the minimum size (4 ⁇ 4 pixels) of the block to be decoded as disclosed in Non-Patent Document 1 and Non-Patent Document 2.
  • the decoded picture buffer 207 accumulates decoded pixels on a per-picture basis.
  • the decoded picture buffer 207 may accumulate decoded pixels on a per-slice basis. In the following, an example will be described in which decoded pixels are accumulated on a per-picture basis.
  • the decoded picture buffer 207 may sequentially delete the decoded pixels of the decoded picture unit and the inter prediction information corresponding to the decoded pixels. With this configuration, the amount of information stored in the decoded picture buffer 207 can be reduced.
  • the decoded picture buffer 207 may derive the number of pictures to be decoded and the reference picture structure between the pictures to be decoded based on the control information decoded by the decoding unit 201.
  • the decoded picture buffer 207 may additionally store such inter-predicted pixels.
  • the specified range (padding area) is specified as the maximum width (number of pixels) of the block to be decoded plus 16 pixels.
  • Figure 4 is a conceptual diagram showing how the inter-prediction padding area described in Figure 3 is generated.
  • FIG. 5 shows an example of a merge candidate list, which is a method for deriving a motion vector in the inter prediction unit 205.
  • the merge candidate list is a list that stores candidates for inter prediction information (i.e., merge candidates) that the inter prediction unit 205 constructs to derive a motion vector in the merge (merge mode) disclosed in Non-Patent Document 1 and Non-Patent Document 2.
  • the inter prediction unit 205 extracts a merge candidate from among the multiple merge candidates in the merge candidate list based on an index (merge_idx) for identifying a merge candidate in the merge candidate list sent from the decoding unit 201, and uses the extracted merge candidate as inter prediction information to be used for generating inter prediction pixels.
  • index Merge_idx
  • the upper limit on the number of merge candidates stored in the merge candidate list may be a fixed value or a variable value. If it is a variable value, for example, as in Non-Patent Documents 1 and 2, control information can be provided in a sequence parameter set or the like, and the variable value can be set based on the control information.
  • the inter prediction unit 205 identifies the inter prediction information to be used to generate the inter prediction pixels from the merge candidate list based on one or more merge_idx sent from the decoding unit 201.
  • the inter prediction unit 205 may derive inter prediction information by decoding merge_idx one by one for each area obtained by dividing the block to be decoded into two by a straight line.
  • the inter prediction unit 205 stores inter prediction information (merge candidates) corresponding to L0 and L1 of the merge candidate list.
  • the inter prediction unit 205 may search for and add inter prediction information, i.e., inter prediction information that is spatially or temporally adjacent or close to the block to be decoded, as a merge candidate, to the merge candidate list.
  • inter prediction information i.e., inter prediction information that is spatially or temporally adjacent or close to the block to be decoded
  • the inter prediction unit 205 may apply a combination of searches for multiple types of merge candidates as disclosed in Non-Patent Document 1 and Non-Patent Document 2.
  • Figure 6 shows the names of multiple types of merge candidates in the regular merge disclosed in Non-Patent Document 1 and Non-Patent Document 2, and the order in which these merge candidates are derived.
  • Non-Patent Document 2 In addition to the above-mentioned merge candidates in Non-Patent Document 1, the inter prediction unit 205 checks whether or not non-adjacent (NA) spatial merge candidates (NA-spatial merge candidates) are used between the spatial merge candidates and the TMVP candidates.
  • NA non-adjacent
  • inter prediction information for a position spatially adjacent to the block to be decoded (CurBlk) is used.
  • inter prediction information for a position that is temporally adjacent to the block to be decoded is used.
  • inter prediction information from a position spatially distant (close) to the block to be decoded is used.
  • the inter prediction unit 205 of the image decoding device 200 can design the position for searching for inter prediction information and the size of the table for HMVP candidates, similar to the HMVP candidates and non-adjacent spatial merge candidates disclosed in Non-Patent Documents 1 and 2.
  • the inter prediction unit 205 may apply the template matching merge disclosed in Non-Patent Document 1 and Non-Patent Document 2.
  • the inter prediction unit 205 may apply the adaptive motion vector prediction-merge mode disclosed in Non-Patent Document 1 and Non-Patent Document 2.
  • the inter prediction unit 205 can derive a new motion vector and a reference picture generated by daisy chain motion vector prediction for a reference block RefBlk of a reference picture RefPicL0 k (m) as shown in (Equation 1) and (Equation 2).
  • the inter prediction unit 205 may store a predetermined number of merge candidates in a merge candidate list, and then apply daisy chain motion vector prediction starting from the first merge candidate stored in the merge candidate list, and store new daisy chain motion vectors (i.e., merge candidates) generated at each search depth of the daisy chain motion vector prediction for each merge candidate in the merge candidate list in sequence.
  • the inter prediction unit 205 may apply daisy chain motion vector prediction starting from the first merge candidate, and store all of the new daisy chain motion vectors (i.e., merge candidates) generated by the daisy chain motion vector prediction for each merge candidate in the merge candidate list in sequence.
  • the inter prediction unit 205 may apply daisy chain motion vector prediction starting from the first merge candidate, and store new daisy chain motion vectors (i.e., merge candidates) generated at each search depth of the daisy chain motion vector prediction for each merge candidate in the merge candidate list in sequence.
  • FIG. 18 is a diagram showing an example of a pruning process in which the inter prediction unit 205 of the image decoding device 200 according to this embodiment adds a merge candidate corresponding to a chained motion vector derived by chained motion vector prediction to a merge candidate list.
  • the specified condition may be that the reference pictures and motion vectors associated with at least one merge candidate stored in the merge candidate list and the merge candidate corresponding to the derived chained motion vector match.
  • the inter prediction unit 205 may set the predetermined threshold to 1.0 pixel or 2.0 pixel when there is one motion vector to compare.
  • the above-mentioned specified condition may also be that the reference picture and motion vector associated with at least one merge candidate stored in the merge candidate list and the merge candidate corresponding to the derived chained motion vector, and the internal parameters that change the method of generating the specified inter-prediction pixels, match.
  • the specified condition may be that the reference picture, motion vector, and internal parameter (bcwIdx) that specifies the weight value of the block-based weighted bi-prediction associated with at least one merge candidate stored in the merge candidate list and the merge candidate corresponding to the derived chained motion vector match.
  • the inter prediction unit 205 can generate inter prediction pixels in different ways when the internal parameters are different, even if the reference picture and motion vector to be compared are the same, which leaves room for improving inter prediction accuracy and is expected to improve coding efficiency.
  • the inter prediction unit 205 may set the starting point of the first motion vector constituting the daisy-chain motion vector to a predetermined position of the block to be decoded (CurBlk) in addition to the center (C) of the block to be decoded (CurBlk), and may search for whether a motion vector is stored in the reference destination of the motion vector in a predetermined order.
  • the inter prediction unit 205 may set the starting point of the first motion vector that constitutes the daisy chain motion vector to the four corners of the block to be decoded (CurBlk) in addition to the center (C) of the block to be decoded (CurBlk), and may search for whether a motion vector is stored in the reference destination of the motion vector in a predetermined order of the center (C), upper left (TL), upper right (TR), lower left (BL), and lower right (BR) of the block to be decoded.
  • the inter prediction unit 205 may compare the difference between adjacent decoded pixel values between the reference block of each motion vector derived by searching at each point and the block to be decoded, and generate a chained motion vector by limiting it to at least one or more motion vectors with small such differences.
  • the inter prediction unit 205 may take a weighted average of each motion vector derived by searching for each point to derive a new motion vector for generating a chained motion vector.
  • the inter prediction unit 205 may control the starting point of the first motion vector that constitutes the chained motion vector in accordance with the block size or block aspect ratio of the block to be decoded.
  • the inter prediction unit 205 may set the starting point of the first motion vector constituting the chained motion vector only to the center of the block to be decoded when the block size of the block to be decoded is equal to or smaller than the first size.
  • the inter prediction unit 205 may set the starting point of the first motion vector that constitutes the daisy chain motion vector to the four corners of the block to be decoded in addition to the center of the block to be decoded if the block size of the block to be decoded is larger than the first size, and may search for whether a motion vector is stored in the reference destination of the motion vector in a predetermined order of the center, top left, top right, bottom left, and bottom right of the block to be decoded.
  • the first motion vector that constitutes the chained motion vector is likely to be different at the center of the block to be decoded and at the four corners of the block to be decoded.
  • the above-mentioned control may be implemented by replacing the block size (number of pixels in the block) of the block to be decoded with the width and height of the block to be decoded.
  • the motion vector linked to that motion vector may be located in a different reference picture, so a new linked motion vector can be generated.
  • the inter prediction unit 205 may terminate the generation of the daisy chain motion vector if the reference position of each motion vector refers to a picture outside the reference picture during the recursive motion vector search process when deriving the daisy chain motion vector.
  • the decoded picture buffer 207 accumulates an inter-prediction padding area outside the reference picture, the above-mentioned description "outside the reference picture” may be replaced with "outside the inter-prediction padding area,” and the inter-prediction unit 205 may perform the same process.
  • Figure 21 illustrates an intra update area as a slice, and shows an example in which the slice moves from the top to the bottom of the picture to be decoded.
  • the inter prediction unit 205 may limit the recursive motion vector search of the chain motion vector prediction so as not to go beyond the area being intra-updated.
  • the inter prediction unit 205 may limit the area that can be referenced in each recursive motion vector search of the daisy chain motion vector prediction to only the area after intra update in the reference picture to be searched.
  • the inter prediction unit 205 may limit the area that can be referenced in each recursive motion vector search of the daisy chain motion vector prediction to only the area before the intra update in the reference picture to be searched.
  • FIG. 22 shows an example of controlling the reference destination when the inter prediction unit 205 derives a chain motion vector in chain motion vector prediction in a case where Reference Picture Resampling (RPR) disclosed in Non-Patent Document 1 is applied, which allows the reference of a motion vector to a reference picture with a resolution (sampling ratio) different from that of the decoding picture in the block to be decoded.
  • RPR Reference Picture Resampling
  • the pixel position and motion vector length of the reference picture relative to the decoded picture are scaled by 0.5 times.
  • the inter prediction unit 205 may inherit, among the internal parameters (hpelIfIdx) that specify whether or not to apply a switch interpolation filter associated with each motion vector recursively searched for, an internal parameter (hpelIfIdx) that specifies whether or not to apply a switch interpolation filter associated with the first or last motion vector that constitutes the chained motion vector, as the internal parameter (hpelIfIdx) that specifies whether or not to apply a switch interpolation filter corresponding to the merge candidate derived by chained motion vector prediction.
  • the internal parameters (hpelIfIdx) that specify whether or not to apply a switch interpolation filter associated with each motion vector recursively searched for
  • an internal parameter (hpelIfIdx) that specifies whether or not to apply a switch interpolation filter associated with the first or last motion vector that constitutes the chained motion vector
  • the inter prediction unit 205 may not inherit the internal parameter (licFlag) that controls whether or not to apply local luminance compensation associated with each motion vector recursively searched, but may always set the internal parameter (licFlag) that controls whether or not to apply local luminance compensation corresponding to the merge candidate derived by daisy-chain motion vector prediction to indicate that local luminance compensation is not applied.
  • the inter prediction unit 205 may inherit an internal parameter (licFlag) that controls whether or not to apply local luminance compensation associated with the first or last motion vector constituting the chained motion vector, out of the internal parameters (licFlag) that control whether or not to apply local luminance compensation associated with each motion vector recursively searched for, as the internal parameter (licFlag) that controls whether or not to apply local luminance compensation corresponding to the merge candidates derived by chained motion vector prediction.
  • an internal parameter (licFlag) that controls whether or not to apply local luminance compensation associated with the first or last motion vector constituting the chained motion vector
  • the inter prediction unit 205 may set the internal parameter (licFlag) that controls whether or not to apply local luminance compensation corresponding to the merge candidate derived by daisy-chain motion vector prediction to indicate that local luminance compensation is to be applied.
  • the inter prediction unit 205 may always set an internal parameter (licFlagg) that controls whether or not to apply local luminance compensation corresponding to a merge candidate derived by chained motion vector prediction to indicate that local luminance compensation is not applied.
  • an internal parameter (licFlagg) that controls whether or not to apply local luminance compensation corresponding to a merge candidate derived by chained motion vector prediction to indicate that local luminance compensation is not applied.
  • the inter prediction unit 205 may not inherit the internal parameter (bcwIdx) that specifies the weight value of block-based weighted bi-prediction associated with each motion vector recursively searched for, but may always set the internal parameter (bcwIdx) that specifies the weight value of block-based weighted bi-prediction corresponding to the merge candidate derived by daisy-chain motion vector prediction to indicate that the weight value of block-based weighted bi-prediction is a simple average.
  • the inter prediction unit 205 may inherit, from among the internal parameters (bcwIdx) that specify the weight values of block-based weighted bi-prediction associated with each motion vector recursively searched for, the internal parameter (bcwIdx) that specifies the weight value of block-based weighted bi-prediction associated with the first or last motion vector constituting the chained motion vector, as the internal parameter (bcwIdx) that specifies the weight value of block-based weighted bi-prediction corresponding to the merge candidate derived by chained motion vector prediction.
  • the internal parameters (bcwIdx) that specify the weight values of block-based weighted bi-prediction associated with each motion vector recursively searched for
  • the internal parameter (bcwIdx) that specifies the weight value of block-based weighted bi-prediction associated with the first or last motion vector constituting the chained motion vector
  • the inter prediction unit 205 may not inherit the internal parameter (mhpFlag, fourth internal parameter) that controls whether or not to apply multiple hypothesis prediction linked to each motion vector searched recursively, but may always set the internal parameter (mhpFlag) that controls whether or not to apply multiple hypothesis prediction corresponding to the merge candidate derived by chained motion vector prediction to indicate that multiple hypothesis prediction is not applied.
  • mhpFlag fourth internal parameter
  • the inter prediction unit 205 may indicate that, among the internal parameters (mhpFlag) that control whether or not to apply multiple hypothesis prediction linked to each motion vector recursively searched for, the internal parameter (mhpFlag) that controls whether or not to apply multiple hypothesis prediction linked to the first or last motion vector that constitutes the chained motion vector is inherited as the internal parameter (mhpFlag) that controls whether or not to apply multiple hypothesis prediction corresponding to the merge candidate derived by chained motion vector prediction.
  • the internal parameters mhpFlag
  • the inter prediction unit 205 may use the Adaptive Reordering Merge Candidate (ARMC) disclosed in Non-Patent Document 2 as a technique for rearranging the storage positions of each merge candidate in the merge candidate list based on the template matching cost of each page candidate.
  • ARMC Adaptive Reordering Merge Candidate
  • the inter prediction unit 205 may calculate the template matching costs of all unpruned merge candidates, including merge candidates derived by chained motion vector prediction, and store them in ascending order of template matching cost in the merge candidate list.
  • the inter prediction unit 205 may correct the motion vectors associated with the merge candidates derived by chained motion vector prediction using template matching.
  • the inter prediction unit 205 may correct the motion vectors associated with the merge candidates derived by chained motion vector prediction using bilateral matching.
  • the inter prediction unit 205 may correct the motion vector associated with the merge candidate derived by chained motion vector prediction by adding a motion vector difference derived from the control information.
  • the inter prediction unit 205 may apply a technique similar to the merge with motion vector difference (MMVD) disclosed in Non-Patent Document 1 and Non-Patent Document 2 as the control information indicating the motion vector difference.
  • MMVD merge with motion vector difference
  • the method of controlling whether or not daisy chain motion vector prediction is applicable in the inter prediction unit 205 which controls whether or not daisy chain motion vector prediction is applicable on a block-to-be-decoded basis, is as follows.
  • the inter prediction unit 205 may control whether or not to apply daisy-chain motion vector prediction to the block to be decoded, based on control information that controls whether or not to apply temporal motion vector prediction (TMVP) for each sequence to be decoded, sent from the decoding unit 201.
  • TMVP temporal motion vector prediction
  • the inter prediction unit 205 may limit the recursive motion vector search of the chain motion vector prediction to only the reference pictures referenced by the motion vector of the block to be decoded.
  • the inter prediction unit 205 re-searches only the block vectors in the reference picture that is referenced by the motion vector of the block to be decoded, and generates a chained motion vector by chained motion vector prediction.
  • the inter prediction unit 205 may limit the search depth of recursive motion vectors in the chain motion vector prediction for the current block based on the control information.
  • the inter prediction unit 205 may limit the search depth of the recursive motion vector of the daisy chain motion vector prediction in the block to be decoded based on control information (sps_max_num_my_chains) that sets an upper limit of the search depth of the recursive motion vector of the daisy chain motion vector prediction for each sequence to be decoded sent from the decoding unit.
  • control information sps_max_num_my_chains
  • control information for the sequence unit to be decoded may be picture-unit or slice-unit control information, which is lower-level control information than the sequence unit to be decoded, or may be hierarchical control information that combines these.
  • the inter prediction unit 205 may set a predetermined fixed value for the search depth of the recursive motion vectors in the daisy chain motion vector prediction.
  • the inter prediction unit 205 may set such a predetermined fixed value to 1, 2, or 3.
  • the inter prediction unit 205 may limit the number of merge candidates derived by chain motion vector prediction for the current block based on the control information.
  • the inter prediction unit 205 may limit the number of merge candidates derived by daisy chain motion vector prediction in the block to be decoded based on control information (sps_max_num_cmvp_cand) that sets an upper limit on the search depth of the number of merge candidates derived by daisy chain motion vector prediction for each sequence to be decoded sent from the decoding unit.
  • control information sps_max_num_cmvp_cand
  • the inter prediction unit 205 may set a predetermined fixed value to the number of merge candidates derived by chained motion vector prediction.
  • the inter prediction unit 205 may also apply daisy-chain motion vector prediction to merge candidates in the merge candidate list for template matching merge.
  • the inter prediction unit 205 may apply pruning processing when storing the merge candidate list, motion vector correction, and sorting of merge candidates (motion vectors) to the merge mode motion vector differentials, geometric partitioning mode, and chained motion vectors generated for template matching merge, in the same manner as for normal merge.
  • Adaptive Motion Vector Prediction - Merge Mode In the adaptive motion vector prediction-merge mode disclosed in the above-mentioned non-patent literature 1 and non-patent literature 2, a motion vector of either list 0 (L0) or list 1 (L1) of a reference picture list is derived by adaptive motion vector prediction (AMVP), i.e., control information. Therefore, if the target of application of the daisy chain motion vector prediction is applied to a merge candidate in a merge candidate list of a reference picture list number that is not derived by AMVP, the number of options for merge candidates selectable in the adaptive motion vector prediction-merge mode increases, and therefore inter-prediction accuracy can be improved, and coding efficiency can be expected to be improved.
  • AMVP adaptive motion vector prediction
  • the inter prediction unit 205 may apply daisy-chain motion vector prediction to merge candidates in the merge candidate list that have reference picture list numbers that have not been derived by adaptive motion vector prediction.
  • the inter prediction unit 205 may restrict the generated daisy chain motion vector so as not to reference a reference picture of a motion vector derived by adaptive motion vector prediction.
  • the inter prediction unit 205 may apply pruning processing when storing the merge candidate list, motion vector correction, and sorting of merge candidates (motion vectors) to the chained motion vectors generated for the adaptive motion vector prediction-merge mode, in the same manner as in normal merging.
  • the affine merge disclosed in the above-mentioned Non-Patent Document 1 and Non-Patent Document 2 derives a motion vector for each sub-block in a block to be decoded by affine transformation, so that in the case of single prediction (either L0 or L1), two or three control point motion vectors cpMv are derived, and in the case of bi-prediction (both L0 and L1), four or six control point motion vectors cpMv are derived, as shown in FIG. 24 .
  • control point motion vectors for L0 and L1 in uni-prediction or bi-prediction all refer to the same reference picture.
  • control point motion vectors are derived from merge candidates stored in a merge candidate list for affine merging.
  • the inter prediction unit 205 may derive merge candidates to be stored in the merge candidate list for affine merge in a manner similar to the method of deriving merge candidates for affine merge disclosed in Non-Patent Document 1 and Non-Patent Document 2.
  • the inter prediction unit 205 may add them to a merge candidate list for an affine merge of the block to be decoded.
  • the inter prediction unit 205 may generate a control point motion vector for the block to be decoded based on the motion vectors and add the control point motion vector to the merge candidate list for the affine merge.
  • the inter prediction unit 205 may add motion vectors derived by recursively searching for motion vectors for at least two or more control point motion vectors stored in the merge candidate list to the initial control point motion vectors, thereby generating chained control point motion vectors and storing them in the merge candidate list.
  • the inter prediction unit 205 when the inter prediction unit 205 recursively searches for motion vectors for at least two or more control point motion vectors stored in the merge candidate list, the inter prediction unit 205 may limit the reference pictures to be searched for each control point motion vector to the same reference picture.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

符号化効率を向上すること。本発明に係る画像復号装置200において、インター予測部205は、復号部201から送られる時間動きベクトル予測の適用可不可を制御する制御情報に基づき、数珠繋ぎ動きベクトル予測の適用可不可を制御する。

Description

画像復号装置、画像復号方法及びプログラム
 本発明は、画像復号装置、画像復号方法及びプログラムに関する。
 非特許文献1及び非特許文献2では、インター予測について開示されている。
 インター予測は、復号対象ブロックの予測画素を、復号対象ピクチャとは異なる復号済みピクチャ(参照ピクチャ)内の復号済み画素(参照画素)から生成する。
 また、インター予測は、制御情報を用いて、復号対象ブロックの予測画素の生成に必要な復号対象ブロックの動きベクトルを、復号対象ブロックに空間的又は時間的に隣接又は近接する位置の複数の動きベクトルの候補から選択する。
ITU-T H.266/VVC M.Coban等、Algorithm description of Enhanced Compression Model 10(ECM 10)、JVET-AE2025、2023年
 非特許文献1及び非特許文献2におけるインター予測で選択可能な動きベクトルの候補は、復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに限定されているため、符号化効率に改善の余地があるという問題点があった。
 そこで、本発明は、上述の課題に鑑みてなされたものであり、符号化効率の高い画像復号装置、画像復号方法及びプログラムを提供することを目的とする。
 本発明の第1の特徴は、画像復号装置であって、符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、前記量子化値を逆量子化して変換係数を出力する逆量子化部と、前記変換係数を逆変換して予測残差画素を出力する逆変換部と、前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する復号ピクチャバッファと、前記制御情報及び前記復号ピクチャバッファに蓄積されている前記復号済み画素からインター予測画素を生成するインター予測部と、前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、前記インター予測部は、前記復号部から送られる時間動きベクトル予測の適用可不可を制御する制御情報に基づき、前記数珠繋ぎ動きベクトル予測の適用可不可を制御することを要旨とする。
 本発明の第2の特徴は、画像復号装置であって、符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、前記量子化値を逆量子化して変換係数を出力する逆量子化部と、前記変換係数を逆変換して予測残差画素を出力する逆変換部と、前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する復号ピクチャバッファと、前記制御情報及び前記復号ピクチャバッファに蓄積されている前記復号済み画素からインター予測画素を生成するインター予測部と、前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、前記復号部は、時間動きベクトル予測の適用可不可を制御する制御情報に基づいて、前記数珠繋ぎ動きベクトル予測の適用可不可を制御することを要旨とする。
 本発明の第3の特徴は、画像復号装置であって、符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、前記量子化値を逆量子化して変換係数を出力する逆量子化部と、前記変換係数を逆変換して予測残差画素を出力する逆変換部と、前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する復号ピクチャバッファと、前記制御情報及び前記復号ピクチャバッファに蓄積されている前記復号済み画素からインター予測画素を生成するインター予測部と、前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、前記インター予測部は、前記数珠繋ぎ動きベクトル予測における再帰的な動きベクトルの探索を、前記復号対象ブロックの参照ピクチャリストに含まれる少なくとも1つ以上の参照ピクチャのみに制限することを要旨とする。
 本発明の第4の特徴は、画像復号装置であって、符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、前記量子化値を逆量子化して変換係数を出力する逆量子化部と、前記変換係数を逆変換して予測残差画素を出力する逆変換部と、前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する復号ピクチャバッファと、前記制御情報及び前記復号ピクチャバッファに蓄積されている前記復号済み画素からインター予測画素を生成するインター予測部と、前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、前記インター予測部は、前記数珠繋ぎ動きベクトル予測における再帰的な動きベクトルの探索を、前記復号対象ブロックの動きベクトルが参照する参照ピクチャのみに制限することを要旨とする。
 本発明の第5の特徴は、画像復号装置であって、符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、前記量子化値を逆量子化して変換係数を出力する逆量子化部と、前記変換係数を逆変換して予測残差画素を出力する逆変換部と、前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する復号ピクチャバッファと、前記制御情報及び前記復号ピクチャバッファに蓄積されている前記復号済み画素からインター予測画素を生成するインター予測部と、前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、前記インター予測部は、前記復号部から送信される前記制御情報に基づいて、前記復号対象ブロックにおいて前記数珠繋ぎ動きベクトル予測における再帰的な動きベクトルの探索深度を制限することを要旨とする。
 本発明の第6の特徴は、画像復号装置であって、符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、前記量子化値を逆量子化して変換係数を出力する逆量子化部と、前記変換係数を逆変換して予測残差画素を出力する逆変換部と、前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する復号ピクチャバッファと、前記制御情報及び前記復号ピクチャバッファに蓄積されている前記復号済み画素からインター予測画素を生成するインター予測部と、前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、前記インター予測部は、前記数珠繋ぎ動きベクトル予測における再帰的な動きベクトルの探索深度に所定の固定値を設定することを要旨とする。
 本発明の第7の特徴は、画像復号装置であって、符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、前記量子化値を逆量子化して変換係数を出力する逆量子化部と、前記変換係数を逆変換して予測残差画素を出力する逆変換部と、前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する復号ピクチャバッファと、前記制御情報及び前記復号ピクチャバッファに蓄積されている前記復号済み画素からインター予測画素を生成するインター予測部と、前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、前記インター予測部は、前記復号部から送信される前記制御情報に基づいて、前記復号対象ブロックにおいて前記数珠繋ぎ動きベクトル予測により導出されるマージ候補数を制限することを要旨とする。
 本発明の第8の特徴は、画像復号装置であって、符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、前記量子化値を逆量子化して変換係数を出力する逆量子化部と、前記変換係数を逆変換して予測残差画素を出力する逆変換部と、前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する復号ピクチャバッファと、前記制御情報及び前記復号ピクチャバッファに蓄積されている前記復号済み画素からインター予測画素を生成するインター予測部と、前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、前記インター予測部は、前記数珠繋ぎ動きベクトル予測により導出されるマージ候補数に所定の固定値を設定することを要旨とする。
 本発明の第9の特徴は、画像復号装置であって、符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、前記量子化値を逆量子化して変換係数を出力する逆量子化部と、前記変換係数を逆変換して予測残差画素を出力する逆変換部と、前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する復号ピクチャバッファと、前記制御情報及び前記復号ピクチャバッファに蓄積されている前記復号済み画素からインター予測画素を生成するインター予測部と、前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、前記インター予測部は、前記復号部から送信される前記制御情報に基づいて、前記復号対象ブロックに対する前記数珠繋ぎ動きベクトル予測におけるブロックベクトルの探索の可不可を特定することを要旨とする。
 本発明の第10の特徴は、画像復号装置であって、符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、前記量子化値を逆量子化して変換係数を出力する逆量子化部と、前記変換係数を逆変換して予測残差画素を出力する逆変換部と、前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する復号ピクチャバッファと、前記制御情報及び前記復号ピクチャバッファに蓄積されている前記復号済み画素からインター予測画素を生成するインター予測部と、前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、前記インター予測部は、前記復号部から送信される前記制御情報に基づいて、前記復号対象ブロックに対する前記数珠繋ぎ動きベクトル予測における最初の動きベクトルの起点を、前記復号対象ブロックの中心に加えて前記復号対象ブロックの少なくとも1つ以上の所定位置を追加するかどうかを特定することを要旨とする。
 本発明の第11の特徴は、画像復号方法であって、符号情報を可変長復号して量子化値及び制御情報を出力する工程Aと、前記量子化値を逆量子化して変換係数を出力する工程Bと、前記変換係数を逆変換して予測残差画素を出力する工程Cと、前記制御情報及び復号済み画素からイントラ予測画素を生成する工程Dと、前記復号済み画素を復号ピクチャバッファに蓄積する工程Eと、前記制御情報及び蓄積された前記復号済み画素からインター予測画素を生成する工程Fと、前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する工程Gとを有し、前記工程Fにおいて、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、前記工程Fにおいて、時間動きベクトル予測の適用可不可を制御する制御情報に基づき、前記数珠繋ぎ動きベクトル予測の適用可不可を制御することを要旨とする。
 本発明の第12の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、前記量子化値を逆量子化して変換係数を出力する逆量子化部と、前記変換係数を逆変換して予測残差画素を出力する逆変換部と、前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する復号ピクチャバッファと、前記制御情報及び蓄積された前記復号済み画素からインター予測画素を生成するインター予測部と、前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、前記インター予測部は、前記復号部から送られる時間動きベクトル予測の適用可不可を制御する制御情報に基づき、前記数珠繋ぎ動きベクトル予測の適用可不可を制御することを要旨とする。
 本発明によれば、符号化効率の高い画像復号装置、画像復号方法及びプログラムを提供することができる。
図1は、一実施形態に係る画像復号装置200の機能ブロックの一例を示す図である。 図2は、インター予測の概念図を示す図である。 図3は、非特許文献1及び非特許文献2の各々で開示されている復号ピクチャバッファ207に蓄積される復号対象ピクチャ外が未来の復号対象ブロックから参照される場合に参照される参照画素値について説明するための図である。 図4は、図3で説明したインター予測パディング領域が生成される概念図である。 図5は、インター予測部205における動きベクトルの導出方法であるマージ候補リストの一例を示す図である。 図6は、非特許文献1及び非特許文献2で開示されている通常マージ(Regular merge)における複数種類のマージ候補の名称及びこれらのマージ候補の導出順序の一例を示す図である。 図7は、復号対象ブロックにおける空間マージ候補及びTMVP候補の探索位置の一例を示す図である。 図8は、数珠繋ぎ動きベクトル予測における数珠繋ぎ動きベクトルの導出方法の一例を示す図である。 図9は、数珠繋ぎ動きベクトル予測における数珠繋ぎ動きベクトルの導出方法の一例を示す図である。 図10は、双予測を含めた動きベクトルの再帰的な探索例を示す図である。 図11は、双予測を含めた動きベクトルの再帰的な探索により導出される数珠繋ぎ動きベクトルの一例を示す図である。 図12は、非特許文献1及び非特許文献2で開示されている通常マージの複数種類のマージ候補の探索後に、数珠繋ぎ動きベクトル予測候補を探索する例を示す図である。 図13は、非特許文献1及び非特許文献2で開示されている通常マージの複数種類のマージ候補の探索後に、数珠繋ぎ動きベクトル予測候補を探索する例を示す図である。 図14は、数珠繋ぎ動きベクトル予測候補の導出対象であるマージ候補及び数珠繋ぎ動きベクトル予測候補が追加されるマージ候補リスト内の位置(インデックス番号)の一例を示す図である。 図15は、数珠繋ぎ動きベクトル予測候補の導出対象であるマージ候補及び数珠繋ぎ動きベクトル予測候補が追加されるマージ候補リスト内の位置(インデックス番号)の一例を示す図である。 図16は、数珠繋ぎ動きベクトル予測候補の導出対象であるマージ候補及び数珠繋ぎ動きベクトル予測候補が追加されるマージ候補リスト内の位置(インデックス番号)の一例を示す図である。 図17は、数珠繋ぎ動きベクトル予測候補の導出対象であるマージ候補及び数珠繋ぎ動きベクトル予測候補が追加されるマージ候補リスト内の位置(インデックス番号)の一例を示す図である。 図18は、一実施形態に係る画像復号装置200のインター予測部205が、数珠繋ぎ動きベクトル予測によって導出した数珠繋ぎ動きベクトルに対応するマージ候補をマージ候補リストに追加する場合の剪定処理の一例を示す図である。 図19は、一実施形態に係る画像復号装置200のインター予測部205による数珠繋ぎ動きベクトル予測における数珠繋ぎ動きベクトルを導出する際の参照元を制御する方法の一例を示す図である。 図20は、一実施形態に係る画像復号装置200のインター予測部205による数珠繋ぎ動きベクトル予測における数珠繋ぎ動きベクトルを導出する際の参照先を制御する方法の一例を示す図である。 図21は、GDRが適用されるケースで、一実施形態に係る画像復号装置200のインター予測部205による数珠繋ぎ動きベクトル予測における数珠繋ぎ動きベクトルを導出する際の参照元及び参照先を制御する方法の一例を示す図である。 図22は、数珠繋ぎ動きベクトル予測における数珠繋ぎ動きベクトルを導出する際の参照元を制御する方法の一例を示す図である。 図23は、一実施形態に係る画像復号装置200の復号部201が、sps_temporal_mvp_enabled_flagに基づいて、sps_chained_mvp_enabled_flagの復号有無を判定する処理の一例を示す図である。 図24は、一実施形態に係る画像復号装置200のインター予測部205によって導出されるコントロールポイント動きベクトルcpMvの一例を示す図である。
 以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
<第1実施形態>
 以下、図1~図24を参照して、本実施形態に係る画像復号装置200について説明する。
 本発明の第1実施形態に係る画像復号装置200は、多様な画像信号(以下、画像)を対象とする。例えば、本実施形態に係る画像復号装置200は、輝度画素及び色差画素で構成されたYUV(YCbCr)画像や、RGBの各画素で構成されたRGB画像や、モノクロ画像を対象とする。ここで、各画像を構成する画素は、所定のビット幅で離散的な値(画素値)を持つ。
 図1は、本実施形態に係る画像復号装置200の機能ブロックの一例について示す図である。
 図1に示すように、画像復号装置200は、符号入力部210と、復号部201と、逆量子化部202と、逆変換部203と、イントラ予測部204と、インター予測部205と、加算器206と、復号ピクチャバッファ207と、画像出力部220とを有する。
 なお、以降、各部の機能説明で「画素」と記載している個所は、画素から構成されたブロック(ユニット)、ブロックの最大サイズであるツリーブロック、ツリーブロックよりも大きなスライスやタイル或いは画像(ピクチャ)であってもよい。
 また、図1に示してはいないが、画像復号装置200は、加算器206と復号ピクチャバッファ207との間に、復号済み画素の画素値を修正するループ内フィルタを備えてもよい。
 符号入力部210は、画像符号化装置によって符号化された符号情報を取得するように構成されている。
 復号部201は、符号入力部210から入力された符号情報から、制御情報並びに量子化値を復号するように構成されている。例えば、復号部201は、かかる符号情報に対して可変長復号を行うことで制御情報及び量子化値を出力するように構成されている。
 ここで、量子化値は、逆量子化部202に送られ、制御情報は、復号ピクチャバッファ207、イントラ予測部204及びインター予測部205に送られる。なお、かかる制御情報(シンタックス)は、復号ピクチャバッファ207、イントラ予測部204及びインター予測部205等の制御に必要な情報を含み、シーケンスパラメータセットやピクチャパラメータセットやピクチャヘッダやスライスヘッダ等のヘッダ情報を含んでもよい。
 逆量子化部202は、復号部201から送られた量子化値を逆量子化して復号された変換係数とするように構成されている。かかる変換係数は、逆変換部203に送られる。
 逆変換部203は、逆量子化部202から送られた変換係数を逆変換して復号された予測残差とするように構成されている。かかる予測残差は、加算器206に送られる。
 イントラ予測部204は、復号済み画素と復号部201から送られた制御情報とに基づいて、イントラ予測画素を生成するように構成されている。ここで、復号済み画素は、加算器206を介して得られて復号ピクチャバッファ207に蓄積されるものである。また、イントラ予測画素は、加算器206で予測残差と加算するための予測画素である。なお、イントラ予測画素は、加算器206に送られる。
 ここで、イントラ予測部204によって行われる予測は、非特許文献1及び非特許文献2で開示されているイントラ予測であってもよい。或いは、イントラ予測部204によって行われる予測は、非特許文献1及び非特許文献2で開示されているイントラブロックコピー又はイントラテンプレートマッチング予測であってもよい。
 復号ピクチャバッファ207は、加算器206から送られる復号済み画素及びインター予測部205から送られる復号済み画素に対応するインター予測情報について累積的に蓄積する。
 ここで、復号ピクチャバッファ207に蓄積される復号済み画素及びかかる復号済み画素に対応するインター予測情報は、インター予測部205から参照される。インター予測情報の詳細については後述する。
 インター予測部205は、復号ピクチャバッファ207を参照して得られる復号済み画素及びインター予測情報と復号部201から送られた制御情報とに基づいて、インター予測画素を生成するように構成されている。
 さらに、インター予測部205は、生成したインター予測画素を加算部206に送り、かかるインター予測画素の生成に利用したインター予測情報を復号対象画素に対応するものとして復号ピクチャバッファ207に送る。
 ここで、インター予測部205によって行われる予測は、非特許文献1及び非特許文献2で開示されているインター予測であってもよい。或いは、インター予測部205によって行われる予測は、非特許文献1及び非特許文献2で開示されているイントラブロックコピーであってもよい。
 加算器206は、逆変換部203から送られる予測残差と、入力されたイントラ予測画素及びインター予測画素の少なくとも一方を加算して復号済み画素を算出するように構成されている。かかる復号済み画素は、画像出力部220、復号ピクチャバッファ207及びイントラ予測部204へ送られる。
 画像出力部220は、加算器206から送信された復号済み画素を出力するように構成されている。
 以降では、本実施形態に係る画像復号装置200の特徴的構成であるインター予測部205及び復号ピクチャバッファ207の役割について、インター予測部205によって行われる予測がインター予測であることを事例として説明する。
<インター予測部205及び復号ピクチャバッファ207の基本的な役割>
 インター予測部205の基本的な役割は、後段の加算器206において復号対象ブロックを高精度に予測するために、復号対象ブロックに対して1つ以上の動きベクトル(Mv:Motion vector)を導出して、復号対象ブロックが属する復号対象ピクチャとは異なる復号済みピクチャ(以下、参照ピクチャ)内でMvが参照する復号済みブロック(以下、参照ブロック)の画素(以下、参照画素)を予測すること、すなわち、インター予測を行うことにある。
 図2に、インター予測の概念図を示す。具体的には、図2は、インター予測において、復号対象ピクチャ(CurPic)内にある復号対象ブロック(CurBlk)のインター予測画素を生成するために、インター予測部205で導出された2つの動きベクトルのMvL0及びMvL1に基づいて異なる2つの参照ピクチャ(RerPicL0及びRerPicL1)内の参照ブロック(RerBlkL0及びRerBlkL1)が参照される例を示す。
 ここで、L0及びL1は、復号対象ピクチャから参照可能な参照ピクチャが記述されたリスト(参照ピクチャリスト)の番号を示し、kは、後述する動きベクトルの導出方法で説明する動きベクトルを特定するための制御情報(インデックス)の値に対応する。
 本実施形態に係る画像復号装置200は、非特許文献1及び非特許文献2のように、異なる2つの参照ピクチャリストとして、リスト0(L0)及びリスト1(L1)を復号対象ピクチャごとに導出してもよい。
 ここで、復号ピクチャバッファ207が、復号部201で復号される制御情報に基づいて、復号対象ピクチャごとの参照ピクチャリストについて導出してもよい。
 例えば、制御情報は、参照ピクチャリスト内に含めるべき参照ピクチャ数や復号対象ピクチャに対する参照ピクチャの候補(ピクチャ参照構造)等の情報を含んでいてもよい。
 インター予測部205における動きベクトルの導出方法の詳細については後述する。インター予測部205におけるインター予測画素の生成方法の概要は、以下の通りである。
 インター予測部205は、単一の参照ブロックからインター予測画素を生成してもよいし、図2に示すように、2つの参照ブロックを用いてインター予測画素を生成してもよいし、2つ以上の参照ブロックを用いてインター予測画素を生成してもよい。
 ここで、インター予測部205は、2つの参照ブロックを用いてインター予測画素を生成する方法として、以下の方法を適用してもよい。
 一例として、インター予測部205は、2つの参照ブロックの画素値を単純平均してインター予測画素を生成してもよい。
 他の例として、インター予測部205は、2つの参照ブロックの画素値をブロック単位で、所定の重み値を用いて、重みづけ平均でインター予測画素を生成してもよい。
 インター予測部205は、かかるブロック単位の重み付け平均の技術として、非特許文献1及び非特許文献2で開示されているブロック単位の重み付け双予測(BCW:Bi-prediction with CU-level Weights)を適用してもよい。
 なお、非特許文献1及び2では、BCWにおいて、単純平均、すなわち、1:1の重み値も含めて複数の重み値が選択可能であり、かかる重み値は、内部パラメータ(bcwIdx、第3内部パラメータ)の値で特定される。
 ここで、インター予測部205が、制御情報或いは復号ピクチャバッファ207からの継承によって、bcwIdxについて導出する。継承の詳細については、後述する。
 他の例として、インター予測部205は、復号対象ブロックを所定直線で二分割し、二分割された各領域に対応する参照ブロックの画素値を分割した直線からの距離に応じた重み値を用いて加重平均することで、インター予測画素を生成してもよい。
 インター予測部205は、かかるブロックを直線で二分割した領域ごとの重み付け平均の技術として、非特許文献1及び非特許文献2で開示されている幾何学分割モード(GPM:Geometric Partitioning Mode)を適用してもよい。
 ここで、インター予測部205は、動きベクトルが参照ブロック内の小数画素精度位置を参照する場合、かかる小数画素位置の上下左右方向の整数画素精度位置にある参照画素値から、かかる小数画素精度位置の参照画素値を導出するための補間フィルタを用いて、インター予測画素を生成してもよい。
 さらに、インター予測部205は、インター予測画素を生成する際に、非特許文献1及び非特許文献2で開示されているインター予測向けのカットオフ周波数が異なる2つの補間フィルタを適応的に適用してもよい。
 かかる2つの補間フィルタのうち、カットオフ周波数が低い補間フィルタは、切替補間フィルタ(SIF:Switchable Interpolation Filter)と呼称されている。
 インター予測部205は、非特許文献1及び非特許文献2と同様に、動きベクトルが半画素精度位置を参照する場合で、且つ、SIFの適用有無を特定する内部パラメータ(hpelIfIdx、第1内部パラメータ)がSIFを適用することを示す場合に、SIFを適用してもよい。
 なお、インター予測部205が、制御情報或いは復号ピクチャバッファ207からの継承によって、hpelIfIdxについて導出する。継承の詳細については、後述する。
 他方、インター予測部205は、動きベクトルが小数画素精度位置を参照する場合、かかる小数画素精度位置の最近傍の整数画素精度位置に、動きベクトルの参照先を丸めて(クリップして)、補間フィルタを適用せずに、インター予測画素を生成してもよい。
 また、インター予測部205は、最終的なインター予測画素の生成に際して、非特許文献2で開示されている局所輝度補償(LIC:Local Illumination Compensation)を適用してもよい。
 LICは、復号対象ブロックと参照ブロックそれぞれに隣接する復号済み画素に基づいて、参照ブロック内の参照画素値を線形予測で補正する技術である。
 インター予測部205は、非特許文献1と非特許文献2と同様に、LICの適用有無を制御する内部パラメータ(licFlag、第2内部パラメータ)がLICを適用することを示す場合に、LICを適用してもよい。
 なお、インター予測部205が、制御情報或いは復号ピクチャバッファ207からの継承によって、licFlagについて導出する。継承の詳細については、後述する。
 また、インター予測部205は、最終的なインター予測画素の生成に際して、非特許文献2で開示されている複数仮説予測(MHP:Multi-Hypothesis Prediction)を適用してもよい。
 MHPは、少なくとも3つ以上の参照ブロックの参照画素値から最終的なインター予測画素を重み付け平均により生成する技術である。
 インター予測部205は、非特許文献2と同様に、MHPの適用有無を特定する内部パラメータ(mhpFlag、第4内部パラメータ)がMHPを適用することを示す場合に、MHPを適用してもよい。
 なお、インター予測部205が、制御情報或いは復号ピクチャバッファ207からの継承によって、mhpFlagについて導出する。継承の詳細については、後述する。
 インター予測部205は、加算器206に対して、復号対象ブロックに対するインター予測画素を送ると共に、復号ピクチャバッファ207に対して、かかるインター予測画素の生成に利用した動きベクトル、参照ピクチャリスト内で動きベクトルが参照した参照ピクチャを特定するためのインデックス(参照インデックス)、参照インデックスに対応する参照ピクチャのピクチャ出力順を表すカウンタ(POC:Picture Order Count)を送る。以下で、これらインター予測画素の生成に利用した動きベクトル、参照インデックス、参照インデックスに対応するPOCをインター予測情報と呼称する。 さらに、インター予測部205はかかるインター予測情報に上述のインター予測画素の生成方法を変更する内部パラメータであるbcwIdx、hpelIfIdx、licFlag又はmhpFlagの少なくともいずれか1つ又は全部を含めて送ってもよい。
 復号ピクチャバッファ207は、加算器206から送られる復号対象ブロックの復号済み画素に加えて、かかる復号済み画素に対応する復号対象ブロックのインター予測情報を蓄積する。
 復号ピクチャバッファ207は、所定のサイズ(画素数)で、かかるインター予測情報を蓄積してもよい。例えば、復号ピクチャバッファ207は、非特許文献1及び非特許文献2で開示されているような復号対象ブロックの最小サイズ(4×4画素)単位で、かかるインター予測情報を蓄積してもよい。
 復号ピクチャバッファ207が、復号対象ブロックの最小サイズで、かかるインター予測情報を蓄積することで、かかるインター予測情報が未来に復号される復号対象ブロックから参照される際のインター予測精度を向上することができる。
 復号ピクチャバッファ207は、復号対象ピクチャ単位で復号済み画素を蓄積する。或いは、復号ピクチャバッファ207は、復号対象スライス単位で復号済み画素を蓄積してもよい。以降では、復号対象ピクチャ単位で復号済み画素を蓄積するケースを一例として説明する。
 復号ピクチャバッファ207は、蓄積した復号対象ピクチャ単位の復号済み画素及び当該復号済み画素に対応するインター予測情報が未来の復号対象ピクチャ又は復号対象ブロックから参照ピクチャ及び参照ブロックとして参照されないことが特定される場合、かかる復号対象ピクチャ単位の復号済み画素及び当該復号済み画素に対応するインター予測情報を順次削除してもよい。かかる構成によれば、復号対象ピクチャバッファ207に蓄積される情報量を削減できる。
 復号ピクチャバッファ207は、復号部201で復号される制御情報に基づいて、蓄積する復号対象ピクチャ数及び復号対象ピクチャ同士の参照ピクチャ構造を導出してもよい。
 変更例として、復号ピクチャバッファ207は、復号対象ピクチャに加えて復号対象ピクチャ外の所定領域にインター予測画素が存在する場合、かかるインター予測画素を追加で蓄積してもよい。
 図3は、非特許文献1及び非特許文献2の各々で開示されている復号ピクチャバッファ207に蓄積される復号対象ピクチャ外が未来の復号対象ブロックから参照される場合に参照される参照画素値について説明するための図である。
 図3に示すように、非特許文献1(VVC:Versatile Video Coding)では、復号対象ピクチャ外の所定範囲内で未来の復号対象ブロックから参照される場合、最近傍の復号対象ピクチャ境界にある画素値を複製して参照画素値を生成する。
 VVCでは、かかる所定範囲(パディング領域)として復号対象ブロックの幅の最大サイズ(画素数)に16画素を加算した範囲が指定されている。
 非特許文献2(ECM:Enhanced Compression Model)では、図3に示すように、復号対象ピクチャ外とパディング領域との間に、復号対象ブロックのインター予測画素値を未来の復号対象ブロックから参照できる領域(インター予測パディング領域)として所定範囲だけが蓄積される。
 これにより、復号対象ピクチャ外が未来の復号対象ブロックから参照されても復号対象ブロックのインター予測画素値があるため、未来の復号対象ブロックのインター予測精度が向上する。
 図4は、図3で説明したインター予測パディング領域が生成される概念図である。
 図4に示すように、復号対象ブロックに対応する参照ブロックの隣接ブロックがインター予測画素を有する場合、復号対象ブロックが復号対象ピクチャに接していても、復号対象ピクチャ外にインター予測画素を生成できるため、復号ピクチャバッファ207は、図3に示すインター予測パディング領域を蓄積できる。
<インター予測部における動きベクトルの導出方法>
 以下、図5~図17を参照して、本実施形態に係る画像復号装置200のインター予測部205における動きベクトルの導出方法について説明する。
 図5は、インター予測部205における動きベクトルの導出方法であるマージ候補リストの一例を示す図である。
 マージ候補リストは、非特許文献1及び非特許文献2で開示されているマージ(マージモード)で動きベクトルを導出するためにインター予測部205が構築するインター予測情報の候補(すなわち、マージ候補)が格納されたリストである。
 インター予測部205は、かかるマージ候補リスト内にある複数のマージ候補の中から、復号部201から送られるマージ候補リスト内のマージ候補を特定するためのインデックス(merge_idx)に基づき、マージ候補を取り出してインター予測画素の生成に利用するインター予測情報とする。
 マージ候補リスト内に格納されるマージ候補数の上限は、固定値であってもよいし、可変値であってもよい。可変値である場合は、例えば、非特許文献1及び非特許文献2のように、シーケンスパラメータセット等に制御情報を設けて、かかる制御情報に基づき、かかる可変値を設定することができる。
 インター予測部205は、復号部201から送られる1つ以上のmerge_idxに基づいて、インター予測画素の生成に利用するインター予測情報をマージ候補リスト内から特定する。
 例えば、インター予測部205は、上述のGPMに対しては、復号対象ブロックを直線で二分割した各領域に対してmerge_idxを1つずつ復号してインター予測情報を導出してもよい。
 図5に示すように、インター予測部205は、マージ候補リストのL0及びL1に対応するインター予測情報(マージ候補)を格納する。
 なお、図5の例では、インター予測部205は、インター予測情報として、動きベクトル及び参照インデックスのみ記載しているが、これらに加えて、上述のインター予測画素の生成方法を変更する内部パラメータであるbcwIdx、hpelIfIdx、licFlag又はmhpFlagの少なくともいずれか1つ以上又は全部を格納してもよい。
 インター予測部205は、マージ候補リスト内に、インター予測情報、すなわち、マージ候補として、復号対象ブロックに空間的又は時間的に隣接又は近接する位置のインター予測情報を探索して追加してもよい。
 一例として、インター予測部205は、非特許文献1及び非特許文献2で開示されている複数種類のマージ候補の探索を組み合わせて適用してもよい。
 図6は、非特許文献1及び非特許文献2で開示されている通常マージ(Regular merge)における複数種類のマージ候補の名称及びこれらのマージ候補の導出順序を示している。
 具体的には、非特許文献1(VVC)では、インター予測部205が、空間マージ候補(Spatial merge candidates)、時間動きベクトル予測(TMVP:Temporal Motion Vector Prediction)候補(TMVP candidates)、ヒストリーベース動きベクトル予測(HMVP:History-based Motion Vector Prediction)候補(HMVP candidates)、ペアワイズマージ候補(Pairwise merge candidates)の順で、これらのマージ候補の利用有無について確認する。
 非特許文献2(ECM)では、インター予測部205は、非特許文献1の上述のマージ候補に加えて、空間マージ候補とTMVP候補との間で、非隣接空間マージ(Non-adjacent(NA) spatial merge)候補(NA-spatial merge candidates)の利用有無について確認する。
 各マージ候補の概要は、以下の通りである。
 図7は、復号対象ブロックにおける空間マージ候補及びTMVP候補の探索位置を示す図である。
 図7に示すように、空間マージ候補において、インター予測情報は、復号対象ブロック(CurBlk)にそれぞれ隣接した左下(A0)、左(A1)、右上(B0)、上(B1)、左上(B2)の各位置で探索される。
 すなわち、空間マージ候補では、復号対象ブロック(CurBlk)に空間的に隣接する位置のインター予測情報が用いられる。
 また、TMVP候補において、復号対象ブロックとは異なるピクチャ(参照ピクチャ)で、図7に示す復号対象ブロック(CurBlk)の中央右下(Col)及び復号対象ブロック(CurBlk)外の右下(H)の各位置のインター予測情報が探索される。
 すなわち、TMVP候補では、復号対象ブロックに時間的に隣接する位置のインター予測情報が用いられる。
 HMVP候補及び非隣接空間マージ候補では、復号対象ブロックに空間的に離れた(近接する)位置のインター予測情報が用いられる。
 特に、HMVP候補では、FIFO式のインター予測情報を格納可能なテーブルを構築し、新規のインター予測情報が探索されるごとに一番古いインター予測情報がテーブルから捨てられて、かかる新規のインター予測情報がテーブルに追加される。
 本実施形態に係る画像復号装置200のインター予測部205は、非特許文献1及び非特許文献2で開示されているHMVP候補及び非隣接空間マージ候補と同様に、インター予測情報を探索する位置やHMVP候補用のテーブルのサイズを設計できる。
 加えて、インター予測部205は、上述の通常マージにおけるマージ候補の探索において、探索対象のインター予測情報に基づく参照ブロックに隣接する復号済み画素(参照ブロックのテンプレート)と復号対象ブロックに隣接する復号済み画素(復号対象ブロックのテンプレート)との差分(以下、テンプレートマッチングコスト)が小さくなるように、探索対象のインター予測情報の参照ブロックの周辺画素から新たな参照ブロック位置を再探索して、インター予測情報(動きベクトル)を修正してもよい。
 この一例として、インター予測部205は、非特許文献1及び非特許文献2で開示されているテンプレートマッチングマージを適用してもよい。
 加えて、インター予測部205は、上述の通常マージにおけるマージ候補リストからのマージ候補の選択において、L0のインター予測情報を制御情報から導出し、かかる制御情報から導出されたL0のインター予測情報に基づく参照ブロックのテンプレートに対して、マージ候補リストのL1に格納されているインター予測情報に基づく参照ブロックのテンプレートの差分が最小となるマージ候補をL1のマージ候補として選択してもよい。
 インター予測部205は、かかる制御情報から導出されたL0のインター予測情報に基づいて、L1のマージ候補(すなわち、インター予測情報)が導出できるため、L0のインター予測情報の導出に必要な制御情報に加えてL1のインター予測情報を導出するためにmerge_idxの復号を必要としない。
 この一例として、インター予測部205は、非特許文献1及び非特許文献2で開示されている適応動きベクトル予測-マージモード(Adaptive motion vector Prediction-Merge mode)を適用してもよい。
 変更例として、インター予測部205は、上述の例においてL0及びL1を逆にしてもよい。すなわち、インター予測部205は、L1のインター予測情報を制御情報で導出し、L0のインター予測情報をマージ候補リストから導出してもよい。
 加えて、インター予測部205は、復号対象ブロックを分割したサブブロック単位でのインター予測情報を導出するマージ向けのマージ候補リストを構築してインター予測情報を導出してもよい。
 この例として、インター予測部205は、非特許文献1及び非特許文献2で開示されているサブブロックTMVP(SbTMVP)或いはアフィンマージ(Affine merge)向けのマージ候補リストを構築してインター予測情報を導出してもよい。
<1.数珠繋ぎ動きベクトル予測の基本概念(数珠繋ぎ動きベクトルの導出)>
 上述したインター予測部によるインター予測情報(以降では、説明の簡略化のために、動きベクトルと表記)の導出方法は、いずれも復号対象ブロックに空間的又は時間的に隣接又は近接する位置に蓄積されているものに限定されている。
 符号化効率の更なる改善のために、インター予測部205は、復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して復号ピクチャバッファ207に蓄積されている動きベクトルを再帰的に探索して導出される動きベクトルを加算して生成される動きベクトルを、復号対象ブロックの動きベクトルとして導出してもよい。
 ここで、復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルを起点に再帰的(数珠繋ぎ)に復号ピクチャバッファ207に蓄積されている動きベクトルを探索して新たな動きベクトル(数珠繋ぎ動きベクトル)を生成する技術について、本明細書では「数珠繋ぎ動きベクトル予測(CMVP:Chained Motion Vector Prediction)」と呼ぶ。以降で、かかる数珠繋ぎ動きベクトル予測の技術内容について詳述する。
 図8~図17を用いて、数珠繋ぎ動きベクトル予測における数珠繋ぎ動きベクトルの導出方法を説明する。
 図8は、数珠繋ぎ動きベクトル予測における数珠繋ぎ動きベクトルの導出方法の一例を示す図である。
 図8に示すように、インター予測部205は、マージ候補リストに格納されている任意のマージ候補に対応するL0の動きベクトルMvL0(0)及び参照インデックスを起点に再帰的(数珠繋ぎ)に復号ピクチャバッファ207に蓄積されている動きベクトルを探索して新たな動きベクトルを生成する。
 例えば、インター予測部205は、(式1)及び(式2)に示すように、参照ピクチャRefPicL0(m)の参照ブロックRefBlkに対して数珠繋ぎ動きベクトル予測で生成される新たな動きベクトル及び参照ピクチャについて導出できる。
 MvL0k/m=MvL0(0)+MvL0(1)+MvL0(2)+…+MvL0(m) (式1)
 RefPicL0k/m=RefPicL0(m) (式2)
 つまり、数珠繋ぎ動きベクトル予測で生成される新たな動きベクトルMvL0k/mは、再帰的(数珠繋ぎ)に復号ピクチャバッファ207に蓄積されている動きベクトルを探索して導出される全ての動きベクトルを加算して算出され得る。
 また、数珠繋ぎ動きベクトル予測で生成される新たな参照ピクチャは、MvL0k/mが参照する参照ピクチャである。
 図9は、数珠繋ぎ動きベクトル予測における数珠繋ぎ動きベクトルの導出方法の一例を示す図である。
 図9に示すように、インター予測部205は、数珠繋ぎ動きベクトル予測において、動きベクトルの探索に加えてブロックベクトル(同一ピクチャ内の参照先を示すベクトル)を再帰的な探索対象に追加してもよい。
 例えば、ブロックベクトル(Bv:Block vector)が追加される場合、参照ピクチャRefPicL0(m)の参照ブロックRefBlkに対して数珠繋ぎ動きベクトル予測で生成される新たな動きベクトルの導出式には、(式3)に示すように、Bvが追加される。
 MvL0k/m=MvL0(0)+Bv(0)+MvL0(1)+MvL0(2)+…+MvL0(m) (式3)
 図10は、双予測(すなわち、L0及びL1に異なる2つの動きベクトルを用いたインター予測)を含めた動きベクトルの再帰的な探索例を示す図である。図11は、双予測を含めた動きベクトルの再帰的な探索により導出される数珠繋ぎ動きベクトルの一例を示す図である。
 図10及び図11に示すように、インター予測部205は、数珠繋ぎ動きベクトル予測において、復号ピクチャバッファ207に蓄積されている動きベクトルの各探索リスト番号(L0又はL1)と各探索深度(又は、各探索回数)とを用いて、参照元である1つの動きベクトルから1つ以上(図10及び図11の例では、最大2つ)の動きベクトルを新たに探索して導出し、1つ以上の新たに導出された各動きベクトルに対して既に導出されている全ての動きベクトルを加算して数珠繋ぎ動きベクトルMvL0k/mを生成する。
 図12及び図13は、非特許文献1及び非特許文献2で開示されている通常マージの複数種類のマージ候補の探索後に、数珠繋ぎ動きベクトル予測候補を探索する例を示す図である。
 図12及び図13に示すように、インター予測部205は、所定のマージ候補の探索後に、数珠繋ぎ動きベクトル予測候補を探索してもよい。
 例えば、インター予測部205は、図12に示すように、VVCでは、TMVP候補の探索後に、数珠繋ぎ動きベクトル予測候補を探索してもよい。
 数珠繋ぎ動きベクトル予測は、復号ピクチャバッファ207に蓄積されている復号対象ピクチャではなく参照ピクチャの動きベクトルを用いて新たな動きベクトルを探索する性質上、TMVPが復号対象シーケンス又は復号対象ピクチャ群又は復号対象ピクチャ又は復号対象スライスで有効でなければ、有効にはならない。
 したがって、TMVP候補の探索後に数珠繋ぎ動きベクトル予測候補を探索することは、動きベクトルの導出方法として自然な設計方法といえる。
 図12の変更例として、インター予測部205は、図13に示すように、VVC及びECMにおいて、HMVP候補の探索後に、数珠繋ぎ動きベクトル予測候補を探索してもよい。
 数珠繋ぎ動きベクトル予測は、再帰的な動きベクトルの探索により新たな動きベクトルを生成する性質上、マージ候補リスト内に少なくとも1つのマージ候補が格納されている状態で適用しなければならない。
 図13に示すように、マージ候補リストに対して1つ以上の動きベクトル候補の格納が期待できるHMVP候補の探索後に数珠繋ぎ動きベクトル予測候補を探索することで、数珠繋ぎ動きベクトルにより新たな動きベクトルが生成される可能性が高まる。
 その他の変更例として、インター予測部205は、図12に示すように、ECMにおいて、空間マージ候補の探索後に、数珠繋ぎ動きベクトル予測候補を探索してもよい。
 図7において空間マージ候補の探索位置を示したが、例えば、空間マージ候補の探索位置を増やせば、マージ候補リスト内に1つ以上の動きベクトル候補が格納される可能性が高まり、数珠繋ぎマージ候補により新たな動きベクトル候補が生成されやすくなる。
 図14~図17は、数珠繋ぎ動きベクトル予測候補の導出対象であるマージ候補及び数珠繋ぎ動きベクトル予測候補が追加されるマージ候補リスト内の位置(インデックス番号)の一例を示す図である。
 なお、図14~図17では、技術内容の説明を簡略化するために、マージ候補リスト内に格納されるインター予測情報として動きベクトルのみ記載しているが、上述した参照インデックスについても格納される。
 また、インター予測部205は、動きベクトル及び参照インデックス以外に、上述したインター予測画素生成方法を変更する内部パラメータであるbcwIdx、hpelIfIdx、licFlag、mhpFlagを格納してもよい。
 図14に示すように、インター予測部205は、所定のマージ候補をマージ候補リストに格納した後で、マージ候補リスト内に格納されている最初のマージ候補から順に数珠繋ぎ動きベクトル予測を適用し、各マージ候補に対する数珠繋ぎ動きベクトル予測で生成される新たなマージ候補の全てをマージ候補リスト内に順々に格納してもよい。
 ここで、所定のマージ候補は、図12及び図13を用いて説明した通常マージにおける複数種類のマージ候補のいずれかであってもよいし、或いは、所定数(merge_idxの所定番号)のマージ候補であってもよい。
 かかる所定数は、固定値として設定されてもよいし、復号対象シーケンス又は復号対象ピクチャ群又は復号対象ピクチャ又は復号対象スライス単位の制御情報を用いて、復号対象シーケンス又は復号対象ピクチャ群又は復号対象ピクチャ又は復号対象スライス単位で可変値として設定されてもよい。
 図14の変更例として、インター予測部205は、図15に示すように、所定のマージ候補をマージ候補リストに格納した後で、マージ候補リスト内に格納されている最初のマージ候補から順に数珠繋ぎ動きベクトル予測を適用し、各マージ候補に対する数珠繋ぎ動きベクトル予測の各探索深度で生成された新たな数珠繋ぎ動きベクトル(すなわち、マージ候補)をマージ候補リスト内に順々に格納してもよい。
 図14及び図15の変更例として、インター予測部205は、図16に示すように、マージ候補リストに最初のマージ候補が格納された後で、当該マージ候補から順に数珠繋ぎ動きベクトル予測を適用し、各マージ候補に対する数珠繋ぎ動きベクトル予測で生成された新たな数珠繋ぎ動きベクトル(すなわち、マージ候補)の全てをマージ候補リスト内に順々に格納してもよい。
 図14~図16の変更例として、インター予測部205は、図17に示すように、マージ候補リストに最初のマージ候補が格納された後で、当該マージ候補から順に数珠繋ぎ動きベクトル予測を適用し、各マージ候補に対する数珠繋ぎ動きベクトル予測の各探索深度で生成された新たな数珠繋ぎ動きベクトル(すなわち、マージ候補)をマージ候補リスト内に順々に格納してもよい。
 図14~図17の変更例として、インター予測部205は、各マージ候補リストに対する数珠繋ぎ動きベクトル予測の各探索深度を用いて生成された数珠繋ぎ動きベクトルと、かかる各探索深度と異なる探索深度で生成された数珠繋ぎ動きベクトルとを組み合わせて、新たなマージ候補を生成してもよい。
 図14~図17の変更例として、インター予測部205は、各マージ候補リストに対する数珠繋ぎ動きベクトル予測の各探索リスト番号又は各探索深度を用いて生成された数珠繋ぎ動きベクトルと、かかる各探索リスト番号又は各探索深度と異なる探索リスト番号又は探索深度を用いて生成された数珠繋ぎ動きベクトルとを組み合わせて、新たなマージ候補を生成してもよい。
<2.数珠繋ぎ動きベクトル予測候補の剪定処理>
 図18を用いて、本実施形態に係る画像復号装置200のインター予測部205が、数珠繋ぎ動きベクトル予測によって導出した数珠繋ぎ動きベクトルに対応するマージ候補(上述の数珠繋ぎ動きベクトル予測候補)をマージ候補リストに追加する場合の剪定処理を説明する。
 図18は、本実施形態に係る画像復号装置200のインター予測部205が、数珠繋ぎ動きベクトル予測によって導出した数珠繋ぎ動きベクトルに対応するマージ候補をマージ候補リストに追加する場合の剪定処理の一例を示す図である。
 インター予測部205は、所定条件に基づいて数珠繋ぎ動きベクトル予測によって導出した数珠繋ぎ動きベクトルに対応するマージ候補を追加するかどうかを判定する。
 具体的には、図18に示すように、インター予測部205は、ステップS000において、所定条件を満たすと判断した場合に、ステップS002において、数珠繋ぎ動きベクトル予測によって導出した数珠繋ぎ動きベクトルに対応するマージ候補を追加しないと判定する。
 一方、インター予測部205は、ステップS000において、所定条件を満たさないと判断した場合に、ステップS001において、数珠繋ぎ動きベクトル予測によって導出した数珠繋ぎ動きベクトルに対応するマージ候補を追加すると判定する。
 ここで、例えば、所定条件は、マージ候補リストに格納されている少なくとも1つのマージ候補及び導出した数珠繋ぎ動きベクトルに対応するマージ候補のそれぞれに紐づく参照ピクチャ及び動きベクトルが一致することであってもよい。
 インター予測部205が、このようにマージ候補リストに格納されている少なくとも1つマージ候補及び導出した数珠繋ぎ動きベクトルに対応するマージ候補のそれぞれに紐づく参照ピクチャ及び動きベクトルが一致すると判断した場合に、数珠繋ぎ動きベクトルに対応するマージ候補をマージ候補リスト内に追加しない、すなわち、数珠繋ぎ動きベクトルに対応するマージ候補を剪定する(プルーニング対象とする)と判定することで、マージ候補リスト内に2つ以上の同じ動きベクトルが格納されるケースを防ぎ、画像復号装置200に送られるmerge_idx(マージインデックス)の符号量が削減されて、符号化効率が改善する。
 或いは、所定条件は、マージ候補リストに格納されている少なくとも1つのマージ候補及び導出した数珠繋ぎ動きベクトルに対応するマージ候補のそれぞれに紐づく1つ以上の参照ピクチャ及び動きベクトルが全て一致することであってもよい。
 或いは、所定条件は、マージ候補リストに格納されている少なくとも1つのマージ候補及び導出した数珠繋ぎ動きベクトルに対応するマージ候補のそれぞれに紐づくマージ候補リスト番号0(L0)及びマージ候補リスト番号1(L1)の参照ピクチャ及び動きベクトルが全て一致することであってもよい。
 さらに、所定条件は、マージ候補リストに格納されている少なくとも1つのマージ候補及び導出した数珠繋ぎ動きベクトルに対応するマージ候補のそれぞれに紐づく参照ピクチャが一致し、且つ、マージ候補リストに格納されている少なくとも1つのマージ候補及び導出した数珠繋ぎ動きベクトルに対応するマージ候補のそれぞれに紐づく動きベクトルの参照位置の誤差(ユークリッド距離)が所定閾値未満であることであってもよい。
 これにより、数珠繋ぎ動きベクトルに対応するマージ候補の剪定処理が強化され、マージ候補リスト内に2つ以上の同様の動きベクトルが格納されるケースをより防がれて、画像復号装置200に送られるmerge_idxの符号量が削減されて、符号化効率が改善する。
 更なる制御として、インター予測部205は、比較する動きベクトルが1つである場合の所定閾値を、比較する動きベクトルが2つである場合の所定閾値よりも大きく設定してもよい。
 このように、比較する動きベクトルが1つである場合の所定閾値を、比較する動きベクトルが2つある場合の所定閾値よりも大きく設定することで、より高精度な剪定処理が可能となる。
 ここで、インター予測部205は、比較する動きベクトルが1つである場合の所定閾値を1.5画素に設定してもよい。
 或いは、インター予測部205は、比較する動きベクトルが1つである場合の所定閾値を1.0画素或いは2.0画素に設定してもよい。
 また、インター予測部205は、比較する動きベクトルが2つである場合の所定閾値を1.0画素に設定してもよい。
 或いは、インター予測部205は、比較する動きベクトルが2つである場合の所定閾値を0.5画素或いは1.5画素に設定してもよい。
 また、上述の所定条件は、マージ候補リストに格納されている少なくとも1つのマージ候補及び導出した数珠繋ぎ動きベクトルに対応するマージ候補のそれぞれに紐づく参照ピクチャ及び動きベクトル及び所定のインター予測画素の生成方法を変更する内部パラメータが一致することであってもよい。
 或いは、所定条件は、マージ候補リストに格納されている少なくとも1つのマージ候補及び導出した数珠繋ぎ動きベクトルに対応するマージ候補のそれぞれに紐づく参照ピクチャ及び動きベクトル及び切替補間フィルタの適用有無を特定する内部パラメータ(hpelIfIdx)が一致することであってもよい。
 或いは、所定条件は、マージ候補リストに格納されている少なくとも1つのマージ候補及び導出した数珠繋ぎ動きベクトルに対応するマージ候補のそれぞれに紐づく参照ピクチャ及び動きベクトル及び局所輝度補償の適用有無を制御する内部パラメータ(licFlag)が一致することであってもよい。
 さらに、所定条件は、マージ候補リストに格納されている少なくとも1つのマージ候補及び導出した数珠繋ぎ動きベクトルに対応するマージ候補のそれぞれに紐づく参照ピクチャ及び動きベクトル及びブロック単位の重み付け双予測の重み値を特定する内部パラメータ(bcwIdx)が一致することであってもよい。
 インター予測部205は、上述の内部パラメータを所定条件に含めることで、比較する参照ピクチャ及び動きベクトルが一致する場合であっても、内部パラメータが異なる場合に異なる方法でインター予測画素を生成することにより、インター予測精度が向上する余地を残せるため、符号化効率の改善が期待できる。
<3.数珠繋ぎ動きベクトル導出時の参照元と参照先の制御>
 図19~図22を用いて、本実施形態に係る画像復号装置200のインター予測部205が、数珠繋ぎ動きベクトル予測における数珠繋ぎ動きベクトルを導出する際の参照元及び参照先の制御方法について説明する。
 第1に、図19を用いて、数珠繋ぎ動きベクトル予測における数珠繋ぎ動きベクトルを導出する際の参照元の制御方法について説明する。
 図19は、インター予測部205による数珠繋ぎ動きベクトル予測における数珠繋ぎ動きベクトルを導出する際の参照元を制御する方法の一例を示す図である。
 インター予測部205は、数珠繋ぎ動きベクトル予測において数珠繋ぎ動きベクトルを導出する際に、数珠繋ぎ動きベクトルを構成する最初の動きベクトルの起点を、復号対象ブロックの一部又は全部に設定してもよい。
 復号対象ブロックの一部に設定する一例として、図19に示すように、インター予測部205は、数珠繋ぎ動きベクトル予測において、数珠繋ぎ動きベクトルを導出する際に、数珠繋ぎ動きベクトルを構成する最初の動きベクトルの起点を、復号対象ブロック(CurBlk)の中心(C)に設定してもよい。
 或いは、図19に示すように、インター予測部205は、数珠繋ぎ動きベクトル予測において、数珠繋ぎ動きベクトルを導出する際に、数珠繋ぎ動きベクトルを構成する最初の動きベクトルの起点を、復号対象ブロック(CurBlk)の中心(C)に加えて、復号対象ブロック(CurBlk)の所定位置に設定し、所定順序で動きベクトルの参照先に動きベクトルが蓄積されているかどうかを探索してもよい。
 具体的には、図19に示すように、インター予測部205は、数珠繋ぎ動きベクトル予測において、数珠繋ぎ動きベクトルを導出する際に、数珠繋ぎ動きベクトルを構成する最初の動きベクトルの起点を、復号対象ブロック(CurBlk)の中心(C)に加えて、復号対象ブロック(CurBlk)の四隅に設定し、所定順序として復号対象ブロックの中心(C)、左上(TL)、右上(TR)、左下(BL)、右下(BR)、の順で、動きベクトルの参照先に動きベクトルが蓄積されているかどうかを探索してもよい。
 インター予測部205は、各点で探索して導出される各動きベクトルに対して数珠繋ぎ動きベクトルを生成してもよい。
 変更例として、インター予測部205は、各点で探索して導出される各動きベクトルの参照ブロックと復号対象ブロックとの隣接復号済み画素値の差分を比較して、かかる差分が小さい少なくとも1つ以上の動きベクトルに限定して数珠繋ぎ動きベクトルを生成してもよい。
 他の変更例として、インター予測部205は、各点で探索して導出される各動きベクトルを重み付け平均して数珠繋ぎ動きベクトルを生成するための新たな動きベクトルを導出してもよい。
 具体的には、インター予測部205は、各動きベクトルの重み付け平均時に、復号対象ブロックからの各動きベクトルの参照ピクチャの距離に基づいて、各動きベクトルをスケーリングして新たな動きベクトルを生成してもよい。スケーリング先は、復号対象ブロックからの距離が最小の参照ピクチャに設定してもよい。
 インター予測部205は、数珠繋ぎ動きベクトルを導出する際に、数珠繋ぎ動きベクトルを構成する最初の動きベクトルの起点を、復号対象ブロックの中心に加えて復号対象ブロックの四隅に設定することで、より数珠繋ぎ動きベクトルが導出される可能性が高くなり、結果として符号化効率の改善が期待できる。
 更なる制御として、インター予測部205は、数珠繋ぎ動きベクトル予測において、数珠繋ぎ動きベクトルを導出する際に、数珠繋ぎ動きベクトルを構成する最初の動きベクトルの起点を復号対象ブロックのブロックサイズ又はブロックアスペクト比に応じて制御してもよい。
 例えば、インター予測部205は、数珠繋ぎ動きベクトル予測において、数珠繋ぎ動きベクトルを導出する際に、数珠繋ぎ動きベクトルを構成する最初の動きベクトルの起点を、復号対象ブロックのブロックサイズが第1サイズ以下の場合に、復号対象ブロックの中心のみに設定してもよい。
 復号対象ブロックのブロックサイズが第1サイズ以下の場合、数珠繋ぎ動きベクトルを導出する際に、数珠繋ぎ動きベクトルを構成する最初の動きベクトルは、復号対象ブロックの中心及び復号対象ブロックの四隅で同じである可能性が高い。
 そのため、復号対象ブロックのブロックサイズが第1サイズ以下の場合、数珠繋ぎ動きベクトルを導出する際に、数珠繋ぎ動きベクトルを構成する最初の動きベクトルの起点を復号対象ブロックの中心のみに設定する(復号対象ブロックの四隅を加えない)ことで、数珠繋ぎ動きベクトルの探索処理量を削減することができる。
 或いは、インター予測部205は、数珠繋ぎ動きベクトル予測において、数珠繋ぎ動きベクトルを導出する際に、数珠繋ぎ動きベクトルを構成する最初の動きベクトルの起点を、復号対象ブロックのブロックサイズが第1サイズよりも大きい場合に、復号対象ブロックの中心に加えて復号対象ブロックの四隅に設定し、所定順序として復号対象ブロックの中心、左上、右上、左下、右下、の順で、動きベクトルの参照先に動きベクトルが蓄積されているかどうかを探索してもよい。
 復号対象ブロックのブロックサイズが第1サイズよりも大きい場合、数珠繋ぎ動きベクトルを導出する際に、数珠繋ぎ動きベクトルを構成する最初の動きベクトルは、復号対象ブロックの中心及び復号対象ブロックの四隅で異なる可能性が高い。
 そのため、復号対象ブロックのブロックサイズが第1サイズよりも大きい場合、数珠繋ぎ動きベクトルを導出する際に、数珠繋ぎ動きベクトルを構成する最初の動きベクトルの起点を、復号対象ブロックの中心に加えて復号対象ブロックの四隅に設定することで、異なる数珠繋ぎ動きベクトルが生成されて、符号化効率の改善が期待できる。
 ここで、復号対象ブロックは、非正方形であるケースも想定されるため、復号対象ブロックのブロックサイズ(ブロックの画素数)を復号対象ブロックの幅及び高さに置換して、上述の制御を実施してもよい。
 具体的には、インター予測部205は、数珠繋ぎ動きベクトル予測において、数珠繋ぎ動きベクトルを導出する際に、数珠繋ぎ動きベクトルを構成する最初の動きベクトルの起点を、復号対象ブロックのブロックの幅又は高さが所定画素数より大きい場合に、数珠繋ぎ動きベクトルを構成する最初の動きベクトルの起点を、復号対象ブロックの中心に加えて復号対象ブロックの四隅に設定し、所定順序として復号対象ブロックの中心、左上、右上、左下、右下の順で動きベクトルの参照先に動きベクトルが蓄積されているかどうかを探索してもよい。
 インター予測部205は、かかる所定画素数として、8画素、16画素或いは32画素のいずれかを設定してもよい。
 或いは、インター予測部205は、数珠繋ぎ動きベクトル予測において、数珠繋ぎ動きベクトルを導出する際に、数珠繋ぎ動きベクトルを構成する最初の動きベクトルの起点を、復号対象ブロックのブロックのアスペクト比が所定比よりも大きい場合に、復号対象ブロックの中心に加えて復号対象ブロックの左下と右上を設定し、所定順序として復号対象ブロックの中心、左下、右上の順で、動きベクトルの参照先に動きベクトルが蓄積されているかどうかを探索してもよい。
 インター予測部205は、かかる所定比として、4、8或いは16のいずれかを設定してもよい。
 第2に、図20及び図21を用いて、数珠繋ぎ動きベクトル予測における数珠繋ぎ動きベクトルを導出する際の参照先の制御方法の一例について説明する。
 図20は、インター予測部205による数珠繋ぎ動きベクトル予測における数珠繋ぎ動きベクトルを導出する際の参照先を制御する方法の一例を示す図である。
 図20に示すように、インター予測部205は、数珠繋ぎ動きベクトルを導出する際の再帰的な動きベクトルの探索過程で、各動きベクトルの参照位置が参照ピクチャ外を参照する場合、かかる参照位置から最近傍の参照ピクチャ内の動きベクトルの蓄積場所で、動きベクトルを探索してもよい。
 動きベクトルの参照位置が、参照ピクチャ外を参照しても、かかる動きベクトルから数珠繋いだ動きベクトルが異なる参照ピクチャ内にある場合があるため、数珠繋ぎ動きベクトルについて新たに生成できる。
 或いは、図20に示すように、インター予測部205は、数珠繋ぎ動きベクトルを導出する際の再帰的な動きベクトルの探索過程で、各動きベクトルの参照位置が参照ピクチャ外を参照する場合、数珠繋ぎ動きベクトルの生成を打ち切ってもよい。
 動きベクトルの参照位置が、参照ピクチャ外を参照する場合、かかる動きベクトルから数珠繋いだ動きベクトルも異なる参照ピクチャで当該参照ピクチャ外を参照する可能性が高いため、数珠繋ぎ動きベクトルの生成を打ち切ることで復号処理量を削減できる。
 或いは、復号ピクチャバッファ207が参照ピクチャ外にインター予測パディング領域を蓄積している場合は、上述の参照ピクチャ外という記載を、インター予測パディング領域外という記載に置換して、インター予測部205は同様の処理を実施してもよい。
 図21は、復号対象ピクチャ群に対して低遅延映像伝送向けの符号化・復号技術として知られる非特許文献1で開示されている順次デコーダ更新(GDR:Gradual Decoding Refresh)が適用されるケースで、インター予測部205による数珠繋ぎ動きベクトル予測における数珠繋ぎ動きベクトルを導出する際の参照元及び参照先を制御する方法の一例を示す図である。
 GDRは、画面の一部領域のみをイントラ予測を用いた符号化・復号により更新(以下、イントラ更新)し、かかる一部領域を復号対象ピクチャごとに移動させることで、映像伝送で広く使われるイントラピクチャを含むランダムアクセス構成での映像符号化・復号よりも、一定のビットレートにおいての映像符号化・復号の処理遅延を削減する技術である。
 図21は、イントラ更新領域をスライス(Intra slice)で図示し、かかるスライスが復号対象ピクチャの上端から下端に移動する例を示している。
 ここで、本明細書では、復号対象ピクチャにおけるGDRによる3つの区分領域を、イントラ更新後の領域、イントラ更新中の領域、イントラ更新前の領域と呼称する。
 図21に示すように、インター予測部205は、復号対象ピクチャ群で順次デコーダ更新が適用される場合、数珠繋ぎ動きベクトル予測の再帰的な動きベクトルの探索を、イントラ更新中の領域を超えないように制限してもよい。
 例えば、図21に示すように、インター予測部205は、復号対象ピクチャ群で順次デコーダ更新が適用され、且つ、復号対象ブロックがイントラ更新後の領域に含まれる場合、数珠繋ぎ動きベクトル予測の再帰的な動きベクトルの各探索で参照可能な領域を、各探索対象の参照ピクチャにおけるイントラ更新後の領域のみに制限してもよい。
 或いは、インター予測部205は、復号対象ピクチャ群で順次デコーダ更新が適用され、且つ、復号対象ブロックがイントラ更新前の領域に含まれる場合、数珠繋ぎ動きベクトル予測の再帰的な動きベクトルの各探索で参照可能な領域を、各探索対象の参照ピクチャにおけるイントラ更新前の領域のみに制限してもよい。
 このように、インター予測部205が、復号対象ピクチャ群で順次デコーダ更新が適用される場合、数珠繋ぎ動きベクトル予測の再帰的な動きベクトルの探索をイントラ更新中の領域を超えないように制限することで、予測精度の高い数珠繋ぎ動きベクトルが生成できる。
 図22は、復号対象ブロックにおいて復号ピクチャと異なる解像度(サンプリング比率)の参照ピクチャへの動きベクトルの参照が許容される、非特許文献1で開示されている参照ピクチャリサンプリング(RPR:Reference Picture Resampling)が適用されるケースで、インター予測部205によって数珠繋ぎ動きベクトル予測における数珠繋ぎ動きベクトルが導出される際の参照先を制御する一例を示した図である。
 RPRでは、インター予測部205は、復号ピクチャの幅及び高さに対する参照ピクチャの幅及び高さに対する比率をそれぞれ計算し、その比率に応じて復号ピクチャに対する参照ピクチャの画素位置及び動きベクトル長をスケーリングして、インター予測画素を生成する。
 したがって、例えば、図22に示すように、参照ピクチャの幅及び高さが復号ピクチャの幅及び高さの0.5倍の場合は、復号ピクチャに対する参照ピクチャの画素位置及び動きベクトル長は、0.5倍にスケーリングされる。
 他方、インター予測部205は、数珠繋ぎ動きベクトルを生成する際は、復号ピクチャと同一スケールで動きベクトルを繋ぐ必要がある。
 そのため、インター予測部205は、図22に示すように、復号対象ピクチャとは異なる解像度(サンプリング比率)の参照ピクチャに対して動きベクトルを参照して、かかる参照ピクチャから再帰的に動きベクトルを探索して数珠繋ぎ動きベクトルを生成する場合、再帰的に導出された動きベクトルの長さを復号対象ピクチャの幅及び高さと各参照ピクチャの幅及び高さとの比率に応じて逆スケーリングした上で加算し、数珠繋ぎ動きベクトルが生成してもよい。
 変更例として、インター予測部205は、復号対象シーケンス又は復号対象ピクチャ群に対して、復号対象ピクチャとは異なる解像度(サンプリング比率)の参照ピクチャに対して動きベクトルの参照が許容される場合、復号対象ピクチャと同一のサンプリング比率である参照ピクチャに対してのみ数珠繋ぎ動きベクトルを適用してもよい。
 言い換えると、インター予測部205は、復号対象シーケンス又は復号対象ピクチャ群に対して、復号対象ピクチャとは異なる解像度(サンプリング比率)の参照ピクチャに対して動きベクトルの参照が許容される場合、復号対象ピクチャと同一のサンプリング比率ではない参照ピクチャに対して数珠繋ぎ動きベクトルを適用しないことにしてもよい。
<4.数珠繋ぎ動きベクトル予測におけるインター予測情報の継承>
 インター予測部205は、数珠繋ぎ動きベクトル予測によるマージ候補を導出する際に、インター予測画素の生成方法を変更する所定の内部パラメータの継承の有無を制御してもよい。
(切替補間フィルタ)
 一例として、インター予測部205は、数珠繋ぎ動きベクトル予測によるマージ候補の導出時に、再帰的に探索された各動きベクトルに紐づく切替補間フィルタの適用有無を特定する内部パラメータ(hpelIfIdx)を継承せずに、数珠繋ぎ動きベクトル予測によって導出されるマージ候補に対応する切替補間フィルタの適用有無を特定する内部パラメータ(hpelIfIdx)が切替補間フィルタを適用しないと示すように常に設定してもよい。
 或いは、インター予測部205は、数珠繋ぎ動きベクトル予測によるマージ候補の導出時に、再帰的に探索された各動きベクトルに紐づく切替補間フィルタの適用有無を特定する内部パラメータ(hpelIfIdx)のうち、数珠繋ぎ動きベクトルを構成する最初又は最後の動きベクトルに紐づく切替補間フィルタの適用有無を特定する内部パラメータ(hpelIfIdx)を、数珠繋ぎ動きベクトル予測によって導出されるマージ候補に対応する切替補間フィルタの適用有無を特定する内部パラメータ(hpelIfIdx)として継承してもよい。
 或いは、インター予測部205は、数珠繋ぎ動きベクトル予測によるマージ候補の導出時に、再帰的に探索された各動きベクトルに紐づく切替補間フィルタの適用有無を特定する内部パラメータ(hpelIfIdx)のうち、少なくとも1つ以上の切替補間フィルタの適用有無を特定する内部パラメータ(hpelIfIdx)が切替補間フィルタを適用することを示す場合、数珠繋ぎ動きベクトル予測によって導出されるマージ候補に対応する切替補間フィルタの適用有無を特定する内部パラメータ(hpelIfIdx)が切替補間フィルタを適用することを示すことにしてもよい。
 さらに、インター予測部205は、数珠繋ぎ動きベクトル予測により生成される数珠繋ぎ動きベクトルが少なくとも1つ以上のブロックベクトルで構成される場合、数珠繋ぎ動きベクトル予測によって導出されるマージ候補に対応する切替補間フィルタの適用有無を特定する内部パラメータ(hpelIfIdx)を、切替補間フィルタを適用しないと示すように常に設定することにしてもよい。
(局所輝度補償)
 一例として、インター予測部205は、数珠繋ぎ動きベクトル予測によるマージ候補の導出時に、再帰的に探索された各動きベクトルに紐づく局所輝度補償の適用有無を制御する内部パラメータ(licFlag)を継承せずに、数珠繋ぎ動きベクトル予測によって導出されるマージ候補に対応する局所輝度補償の適用有無を制御する内部パラメータ(licFlag)が局所輝度補償を適用しないと示すように常に設定してもよい。
 或いは、インター予測部205は、数珠繋ぎ動きベクトル予測によるマージ候補の導出時に、再帰的に探索された各動きベクトルに紐づく局所輝度補償の適用有無を制御する内部パラメータ(licFlag)のうち、数珠繋ぎ動きベクトルを構成する最初又は最後の動きベクトルに紐づく局所輝度補償の適用有無を制御する内部パラメータ(licFlag)を、数珠繋ぎ動きベクトル予測によって導出されるマージ候補に対応する局所輝度補償の適用有無を制御する内部パラメータ(licFlag)として継承してもよい。
 或いは、インター予測部205は、数珠繋ぎ動きベクトル予測によるマージ候補の導出時に、再帰的に探索された各動きベクトルに紐づく局所輝度補償の適用有無を制御する内部パラメータ(licFlag)のうち、少なくとも1つ以上の局所輝度補償の適用有無を制御する内部パラメータ(licFlag)が局所輝度補償を適用することを示す場合、数珠繋ぎ動きベクトル予測によって導出されるマージ候補に対応する局所輝度補償の適用有無を制御する内部パラメータ(licFlag)が局所輝度補償を適用することを示すことにしてもよい。
 さらに、インター予測部205は、数珠繋ぎ動きベクトル予測により生成される数珠繋ぎ動きベクトルが少なくとも1つ以上のブロックベクトルで構成される場合、数珠繋ぎ動きベクトル予測によって導出されるマージ候補に対応する局所輝度補償の適用有無を制御する内部パラメータ(licFlagg)を、局所輝度補償を適用しないと示すように常に設定してもよい。
(ブロック単位の重み付け双予測)
 一例として、インター予測部205は、数珠繋ぎ動きベクトル予測によるマージ候補の導出時に、再帰的に探索された各動きベクトルに紐づくブロック単位の重み付け双予測の重み値を特定する内部パラメータ(bcwIdx)を継承せずに、数珠繋ぎ動きベクトル予測によって導出されるマージ候補に対応するブロック単位の重み付け双予測の重み値を特定する内部パラメータ(bcwIdx)がブロック単位の重み付け双予測の重み値が単純平均であることを示すように常に設定してもよい。
 或いは、インター予測部205は、数珠繋ぎ動きベクトル予測によるマージ候補の導出時に、再帰的に探索された各動きベクトルに紐づくブロック単位の重み付け双予測の重み値を特定する内部パラメータ(bcwIdx)のうち、数珠繋ぎ動きベクトルを構成する最初又は最後の動きベクトルに紐づくブロック単位の重み付け双予測の重み値を特定する内部パラメータ(bcwIdx)を、数珠繋ぎ動きベクトル予測によって導出されるマージ候補に対応するブロック単位の重み付け双予測の重み値を特定する内部パラメータ(bcwIdx)として継承してもよい。 
 変更例として、インター予測部205は、数珠繋ぎ動きベクトル予測によるマージ候補の導出時に、再帰的に探索された各動きベクトルに紐づくブロック単位の重み付け双予測の重み値を特定する内部パラメータ(bcwIdx)のうち、少なくとも1つ以上のブロック単位の重み付け双予測の重み値を特定する内部パラメータ(bcwIdx)がブロック単位の重み付け双予測の重み値が単純平均と特定することを示す場合、数珠繋ぎ動きベクトル予測によって導出されるマージ候補に対応するブロック単位の重み付け双予測の重み値を特定する内部パラメータ(bceIdx)がブロック単位の重み付け双予測の重み値が単純平均と特定することを示すことにしてもよい。
(複数仮説予測)
 一例として、インター予測部205は、数珠繋ぎ動きベクトル予測によるマージ候補の導出時に、再帰的に探索された各動きベクトルに紐づく複数仮説予測の適用有無を制御する内部パラメータ(mhpFlag、第4内部パラメータ)を継承せずに、数珠繋ぎ動きベクトル予測によって導出されるマージ候補に対応する複数仮説予測の適用有無を制御する内部パラメータ(mhpFlag)が複数仮説予測を適用しないと示すように常に設定することにしてもよい。
 変更例として、インター予測部205は、数珠繋ぎ動きベクトル予測によるマージ候補の導出時に、再帰的に探索された各動きベクトルに紐づく複数仮説予測の適用有無を制御する内部パラメータ(mhpFlag)のうち、数珠繋ぎ動きベクトルを構成する最初又は最後の動きベクトルに紐づく複数仮説予測の適用有無を制御する内部パラメータ(mhpFlag)を、数珠繋ぎ動きベクトル予測によって導出されるマージ候補に対応する複数仮説予測の適用有無を制御する内部パラメータ(mhpFlag)として継承することを示すことにしてもよい。
 変更例として、インター予測部205は、数珠繋ぎ動きベクトル予測によるマージ候補の導出時に、再帰的に探索された各動きベクトルに紐づく複数仮説予測の適用有無を制御する内部パラメータ(mhpFlag)のうち、少なくとも1つ以上の複数仮説予測の適用有無を制御する内部パラメータ(mhpFlag)が複数仮説予測を適用することを示す場合、数珠繋ぎ動きベクトル予測によって導出されるマージ候補に対応する複数仮説予測の適用有無を制御する内部パラメータ(mhpFlag)が複数仮説予測を適用することを示すことにしてもよい。
 これの更なる変更例として、インター予測部205は、数珠繋ぎ動きベクトル予測により生成される数珠繋ぎ動きベクトルが少なくとも1つ以上のブロックベクトルで構成される場合、数珠繋ぎ動きベクトル予測によって導出されるマージ候補に対応する複数仮説予測の適用有無を制御する内部パラメータ(mhpFlag)が複数仮説予測を適用しないと示すように常に設定することにしてもよい。
 上述のように、インター予測画素の生成方法を変更する内部パラメータを数珠繋ぎ動きベクトル予測で常に継承されないようにすれば、復号ピクチャバッファ207で蓄積が必要なインター予測情報の符号量が削減される。
 他方、上述のように、インター予測画素の生成方法を変更する内部パラメータを数珠繋ぎ動きベクトル予測で継承すれば、数珠繋ぎ動きベクトル予測で生成されるマージ候補を用いたインター予測画素が高精度化する可能性があり、符号化効率の改善が期待できる。
 また、上述の内部パラメータを継承させる場合において、数珠繋ぎ動きベクトルが少なくとも1つ以上のブロックベクトルで構成される場合は、インター予測画素の生成方法の変更の必要性が低いため、かかる内部パラメータを継承しない、すなわち、インター予測画素の生成方法の変更しないように設定することで、符号効率の改善が期待できる。
<5.数珠繋ぎ動きベクトル予測候補を含むマージ候補の並び替えとベクトルの補正>
(マージ候補の並び替え)
 数珠繋ぎ動きベクトル予測候補をその他のマージ候補よりも後で導出するほど、数珠繋ぎ動きベクトル予測候補がマージ候補リストに格納されにくくなる。
 この問題を解決する方法として、インター予測部205は、数珠繋ぎ動きベクトル予測により導出されたマージ候補を含むマージ候補リストに格納されたマージ候補の全てのテンプレートマッチングコストを算出し、テンプレートマッチングコストが小さい順に、マージ候補リスト内での各マージ候補の格納位置を昇順で並び替えてもよい。
 一例として、インター予測部205は、この各ージ候補のテンプレートマッチングコストに基づくマージ候補リスト内の各マージ候補の格納位置の並び替えに関する技術として、非特許文献2で開示されている適応並び替えマージ候補(ARMC:Adaptive Reordering Merge Candidate)を用いてもよい。
 さらに、数珠繋ぎ動きベクトル予測は、上述のように、再帰的に新たな動きベクトルを生成するため、数珠繋ぎ動きベクトル予測候補の導出後に他のマージ候補が導出される場合、その他のマージ候補がマージ候補リストに格納されない可能性がある。
 この問題を解決する方法として、インター予測部205は、数珠繋ぎ動きベクトル予測により導出されたマージ候補を含む剪定されていないマージ候補の全てのテンプレートマッチングコストを算出し、テンプレートマッチングコストが小さい順に、マージ候補リストに昇順で格納しもてよい。
 或いは、インター予測部205は、数珠繋ぎ動きベクトル予測により導出されたマージ候補を含む剪定されていないマージ候補の全てのテンプレートマッチングコストを算出し、テンプレートマッチングコストが小さい順に、マージ候補リストに昇順で格納するまでの一連の処理を所定回数実施してもよい。例えば、かかる所定回数は、2回或いは3回であってもよい。
 これにより、マージ候補リスト内に高精度にインター予測画素が生成可能なマージ候補が配置され、符号化効率の改善が期待できる。
(ベクトルの補正)
 インター予測部205は、数珠繋ぎ動きベクトル予測により導出されたマージ候補に紐づく動きベクトルを所定の方法で補正してもよい。
 一例として、インター予測部205は、数珠繋ぎ動きベクトル予測により導出されたマージ候補に紐づく動きベクトルをテンプレートマッチングで補正してもよい。
 ここで、インター予測部205は、かかるテンプレートマッチングとして、非特許文献2で開示されているテンプレートマッチングと同様の技術を適用してもよい。
 一例として、インター予測部205は、数珠繋ぎ動きベクトル予測により導出されたマージ候補に紐づく動きベクトルをバイラテラルマッチングで補正してもよい。
 ここで、インター予測部205は、かかるバイラテラルマッチングとして、非特許文献1及び非特許文献2で開示されているバイラテラルマッチングと同様の技術を適用してもよい。例えば、インター予測部205は、非特許文献1で開示されているデコーダ側動きベクトル補正(DMVR:Decoder-side Motion Vector Refinement)を適用してもよい。
 一例として、インター予測部205は、数珠繋ぎ動きベクトル予測により導出されたマージ候補に紐づく動きベクトルを制御情報から導出された動きベクトル差分を加算して補正してもよい。
 ここで、インター予測部205は、動きベクトル差分を示す制御情報として、非特許文献1及び非特許文献2で開示されているマージ動きベクトル差分(MMVD:Merge with Motion Vector Difference)と同様の技術を適用してもよい。
 インター予測部205が、数珠繋ぎ動きベクトル予測により導出されたマージ候補に紐づく動きベクトルを所定の方法で補正することで、インター予測精度が向上し、符号化効率の改善が期待できる。
<6.数珠繋ぎ動きベクトル予測の各種制限(適用有無・ピクチャ数・マージ候補数)>
 図23を用いて、本実施形態に係る画像復号装置200の復号部201及びインター予測部205による数珠繋ぎ動きベクトル予測の各種制限方法について説明する。
(数珠繋ぎ動きベクトル予測の適用有無)
 第1に、数珠繋ぎ動きベクトル予測の適用有無(適用可不可)に関して、上述の通り、その性質上、TMVPが適用可能な場合、数珠繋ぎ動きベクトル予測は、適用可能である。言い換えると、TMVPが適用不可な場合は、数珠繋ぎ動きベクトル予測は、適用不可である。
 そのため、数珠繋ぎ動きベクトル予測の適用可不可については、時間動きベクトル予測TMVPの適用可不可を制御する制御情報(シンタックス)に応じて制御できる。
 つまり、インター予測部205は、復号部201から送られる時間動きベクトル予測(TMVP)の適用可不可を制御する制御情報に基づき、数珠繋ぎ動きベクトル予測の適用可不可を制御してもよい。
 ここで、非特許文献1では、TMVPの適用可不可を制御するシンタックスとして、復号対象シーケンス単位のシンタックス(sps_temporal_mvp_enabled_flag、第1制御情報、第1シンタックス)及び復号対象ピクチャ単位のシンタックス(ph_temporal_mvp_enabled_flag、第2制御情報、第2シンタックス)が規定されている。
 すなわち、数珠繋ぎ動きベクトル予測の適用可不可についても、TMVPと同様の単位或いはTMVPよりも下位の単位で制御することができる。
 例えば、復号対象ブロックの単位で数珠繋ぎ動きベクトル予測の適用可不可を制御するインター予測205部における数珠繋ぎ動きベクトル予測の適用可不可の制御方法は、以下の通りである。
 インター予測部205は、復号部201から送られる復号対象シーケンス単位の時間動きベクトル予測(TMVP)の適用可不可を制御する制御情報に基づき、復号対象ブロックに対する数珠繋ぎ動きベクトル予測の適用可不可を制御してもよい。
 より具体的には、インター予測部205は、復号部201から送られる復号対象シーケンス単位の時間動きベクトル予測(TMVP)の適用可不可を制御する制御情報が、時間動きベクトル予測を適用可能と特定する場合、復号対象ブロックに対する数珠繋ぎ動きベクトル予測が適用可能であると特定する。
 一方、インター予測部205は、上述の制御情報が、時間動きベクトル予測を適用不可と特定する場合、復号対象ブロックに対する数珠繋ぎ動きベクトル予測が適用不可であると特定する。
 或いは、インター予測部205は、復号部201から送られる復号対象ピクチャ単位の時間動きベクトル予測(TMVP)の適用可不可を制御する制御情報に基づき、復号対象ブロックに対する数珠繋ぎ動きベクトル予測の適用可不可を制御してもよい。
 より具体的には、インター予測部205は、復号部201から送られる復号対象ピクチャ単位の時間動きベクトル予測(TMVP)の適用可不可を制御する制御情報が、時間動きベクトル予測を適用可能と特定する場合、復号対象ブロックに対する数珠繋ぎ動きベクトル予測が適用可能であると特定する。
 一方、インター予測部205は、上述の制御情報が、時間動きベクトル予測を適用不可と特定する場合、復号対象ブロックに対する数珠繋ぎ動きベクトル予測が適用不可であると特定する。
 インター予測部205は、復号部201から送られる復号対象シーケンス単位の時間動きベクトル予測(TMVP)の適用可不可を制御する制御情報に基づき、復号対象シーケンス単位或いは復号対象シーケンスより小さい復号対象の単位で、数珠繋ぎ動きベクトル予測の適用可不可を制御してもよい。
 或いは、インター予測部205は、復号部201から送られる復号対象ピクチャ単位の時間動きベクトル予測(TMVP)の適用可不可を制御する制御情報に基づき、復号対象ピクチャ単位或いは復号対象ピクチャより小さい復号対象の単位で、数珠繋ぎ動きベクトル予測の適用可不可を制御してもよい。
 或いは、インター予測部205による復号対象ブロック単位の数珠繋ぎ動きベクトル予測の適用可不可の制御よりも前に、復号部201が、時間動きベクトル予測(TMVP)の適用可不可を制御する制御情報に基づいて、数珠繋ぎ動きベクトル予測の適用可不可を制御してもよい。
 図23は、復号対象シーケンス単位で数珠繋ぎ動きベクトル予測の適用可不可を制御するシンタックス(sps_chained_mvp_enabled_flag)を規定し、復号部201が、復号対象シーケンス単位で時間動きベクトル予測(TMVP)の適用可不可を制御するシンタックス(sps_temporal_mvp_enabled_flag)に基づいて、sps_chained_mvp_enabled_flagの復号有無を判定する処理の一例を示す図である。
 図23に示すように、復号部201は、ステップS100において、復号対象シーケンス単位で時間動きベクトル予測(TMVP)の適用可不可を制御するシンタックス(sps_temporal_mvp_enabled_flag)が1であると判断した場合、ステップS101において、復号対象シーケンス単位で数珠繋ぎ動きベクトル予測の適用可不可を制御するシンタックス(sps_chained_mvp_enabled_flag、第3シンタックス)を復号する。
 一方、復号部201は、ステップS100において、復号対象シーケンス単位で時間動きベクトル予測(TMVP)の適用可不可を制御するシンタックス(sps_temporal_mvp_enabled_flag)が1でないと判断した場合、ステップS102において、復号対象シーケンス単位で数珠繋ぎ動きベクトル予測の適用可不可を制御するシンタックス(sps_chained_mvp_enabled_flag)を復号しない。
 ここで、復号部201は、sps_temporal_mvp_enabled_flagの値が1の場合に、復号対象シーケンス単位で時間動きベクトル予測(TMVP)を適用可能と特定し、sps_temporal_mvp_enabled_flagの値が0の場合に、復号対象シーケンス単位で時間動きベクトル予測(TMVP)を適用不可と特定し、sps_temporal_mvp_enabled_flagが復号されていない場合は、sps_temporal_mvp_enabled_flagの値を0と推定する。
 また、復号部201は、sps_chained_mvp_enabled_flagの値が1の場合に、復号対象シーケンス単位で数珠繋ぎ動きベクトル予測を適用可能と特定し、sps_chained_mvp_enabled_flagの値が0の場合に、復号対象シーケンス単位で数珠繋ぎ動きベクトル予測を適用不可と特定し、sps_chained_mvp_enabled_flagが復号されていない場合は、sps_chained_mvp_enabled_flagの値を0と推定する。
 このように、sps_temporal_mvp_enabled_flagの値に基づいて、sps_chained_mvp_enabled_flagの復号有無を判定することで、sps_chained_mvp_enabled_flagの復号が不要であることが自明なケースにおいて、sps_chained_mvp_enabled_flagを復号せずに済むため、符号量が削減できる。
 数珠繋ぎ動きベクトル予測は、上述のマージ候補のテンプレートマッチングコストの比較による並び替え(ARMC:Adaptive Reordering Merge Candidate)と併用して利用されると、符号化効率の改善がより期待できる。
 そのため、上述のTMVPの適用可不可に基づく数珠繋ぎ動きベクトル予測の適用可不可の制御方法の変更例として、インター予測部205は、TMVPの適用可不可及びARMCの適用可不可の双方に基づいて、数珠繋ぎ動きベクトル予測の適用可不可を制御してもよい。
 具体的には、インター予測部205は、TMVPが適用可能であり、且つ、ARMCが適用可能である場合に、数珠繋ぎ動きベクトル予測の適用可能と特定してもよい。また、これ以外の場合、インター予測部205は、数珠繋ぎ動きベクトル予測の適用不可と特定してもよい。
 なお、ARMCの適用可不可については、TMVPと同様の制御情報を設けて、かかる制御情報の値に基づいて判定してもよい。
(数珠繋ぎ動きベクトル予測の参照ピクチャ数・探索深度)
 以下、数珠繋ぎ動きベクトル予測の再帰的な動きベクトルの探索時に参照可能な参照ピクチャ数又は探索深度を制限する方法について説明する。
 第1に、数珠繋ぎ動きベクトル予測の再帰的な動きベクトルの探索時に参照可能な参照ピクチャ数を制限する方法について説明する。
 一例として、インター予測部205は、数珠繋ぎ動きベクトル予測の再帰的な動きベクトルの探索を、復号対象ブロックの参照ピクチャリストに含まれる少なくとも1つ以上の参照ピクチャのみに制限してもよい。
 インター予測部205が、数珠繋ぎ動きベクトル予測の再帰的な動きベクトルの探索を復号対象ブロックの参照ピクチャリストに含まれる少なくとも1つ以上の参照ピクチャのみに制限することで、かかる制限を行わない場合(例えば、インター予測部205が復号ピクチャバッファ207に蓄積されている参照ピクチャの全てを探索する場合)よりも、復号処理量を削減できる。
 或いは、インター予測部205は、数珠繋ぎ動きベクトル予測の再帰的な動きベクトルの探索を、復号対象ブロックの動きベクトルが参照する参照ピクチャのみに制限してもよい。
 言い換えると、インター予測部205は、復号対象ブロックの動きベクトルが参照する参照ピクチャ内でブロックベクトルのみを再探索して、数珠繋ぎ動きベクトル予測による数珠繋ぎ動きベクトルを生成する。
 第2に、数珠繋ぎ動きベクトル予測の再帰的な動きベクトルの探索深度を制限する方法について説明する。
 一例として、インター予測部205は、制御情報に基づいて、復号対象ブロックにおける数珠繋ぎ動きベクトル予測の再帰的な動きベクトルの探索深度を制限してもよい。
 具体的には、インター予測部205は、復号部から送られる復号対象シーケンス単位で数珠繋ぎ動きベクトル予測の再帰的な動きベクトルの探索深度の上限を設定する制御情報(sps_max_num_my_chains)に基づいて、復号対象ブロックにおける数珠繋ぎ動きベクトル予測の再帰的な動きベクトルの探索深度を制限してもよい。
 ここで、復号対象シーケンス単位の制御情報は、復号対象シーケンス単位より下位の制御情報であるピクチャ単位或いはスライス単位の制御情報であってもよいし、これらを組み合わせた階層的な制御情報であってもよい。
 或いは、インター予測部205は、数珠繋ぎ動きベクトル予測の再帰的な動きベクトルの探索深度に所定の固定値を設定してもよい。インター予測部205は、かかる所定の固定値として、1、2又は3を設定してもよい。
 このように数珠繋ぎ動きベクトル予測の探索深度を制限することで、数珠繋ぎ動きベクトルの導出に必要な復号処理量を制限しない場合と比較して削減できる。
(数珠繋ぎ動きベクトル予測のマージ候補数)
 以下、数珠繋ぎ動きベクトル予測により導出されるマージ候補数を制限する方法について説明する。
 一例として、インター予測部205は、制御情報に基づいて、復号対象ブロックにおける数珠繋ぎ動きベクトル予測により導出されるマージ候補数を制限してもよい。
 具体的には、インター予測部205は、復号部から送られる復号対象シーケンス単位で数珠繋ぎ動きベクトル予測により導出されるマージ候補数の探索深度の上限を設定する制御情報(sps_max_num_cmvp_cand)に基づいて、復号対象ブロックにおける数珠繋ぎ動きベクトル予測により導出されるマージ候補数を制限してもよい。
 ここで、復号対象シーケンス単位の制御情報は、復号対象シーケンス単位より下位の制御情報であるピクチャ単位或いはスライス単位の制御情報であってもよいし、これらを組み合わせた階層的な制御情報であってもよい。
 或いは、インター予測部205は、数珠繋ぎ動きベクトル予測により導出されるマージ候補数に所定の固定値を設定してもよい。
(数珠繋ぎ動きベクトル予測におけるブロックベクトル探索の制限)
 数珠繋ぎ動きベクトル予測の再帰的な動きベクトルの探索において、ブロックベクトルの探索を含めてもよいことを上述した。しかしながら、同一ピクチャ内を参照するブロックベクトルは、文字やコンピュータ生成グラフィックス(CG)を含むスクリーン画像やゲーム画像等では見つかりやすいが、カメラで撮影した画像では見つかりにくい。
 したがって、画像の特徴に応じて、数珠繋ぎ動きベクトル予測におけるブロックベクトルの探索を制限できるのが望ましい。
 一例として、インター予測部205は、復号対象ブロックに対する数珠繋ぎ動きベクトル予測におけるブロックベクトルの探索の可不可を特定する制御情報に基づいて、ブロックベクトル探索を制限してもよい。
 具体的には、インター予測部205は、復号部201から送られる復号対象シーケンス単位で数珠繋ぎ動きベクトル予測におけるブロックベクトルの探索可不可を特定する制御情報(sps_cmvp_bv_search_enabled_flag)に基づいて、復号対象ブロックに対する数珠繋ぎ動きベクトル予測におけるブロックベクトルの探索可不可を制限してもよい。
 ここで、復号対象シーケンス単位の制御情報は、復号対象シーケンス単位より下位の制御情報であるピクチャ単位或いはスライス単位の制御情報であってもよいし、これらを組み合わせた階層的な制御情報であってもよい。
(数珠繋ぎ動きベクトル予測の参照元の制限)
 数珠繋ぎ動きベクトル予測の再帰的な動きベクトルの探索において、最初の動きベクトルの起点を復号対象ブロックの中心に加えて復号対象ブロックの四隅を追加する方法を上述した。
 しかしながら、画素単位で画素値が急激に変化しやすいスクリーン画像やゲーム画像と比較して、カメラで撮影した画像は変化しにくい。
 したがって、画像の特徴に応じて、数珠繋ぎ動きベクトル予測の再帰的な動きベクトルの探索において、最初の動きベクトルの起点を制限できるのが望ましい。
 一例として、インター予測部205は、復号対象ブロックに対する数珠繋ぎ動きベクトル予測における最初の動きベクトルの起点を復号対象ブロックの中心に加えて復号対象ブロックの少なくとも1つ以上の所定位置を追加するかどうかを特定する制御情報に基づいて、数珠繋ぎ動きベクトル予測の参照元を制限してもよい。かかる所定位置は、上述した復号対象ブロック内の四隅であってもよい。
 具体的には、インター予測部205は、sps_cmvp_multi_position_flagに基づいて、復号対象ブロックに対する数珠繋ぎ動きベクトル予測における最初の動きベクトルの起点を復号対象ブロックの中心に加えて復号対象ブロックの少なくとも一つ以上の所定位置を追加するかどうかを制限してもよい。
 ここで、sps_cmvp_multi_position_flagは、復号対象ブロックに対する数珠繋ぎ動きベクトル予測における最初の動きベクトルの起点に、復号対象ブロックの中心に加えて復号対象ブロックの少なくとも1つ以上の所定位置を追加するかどうかを特定する制御情報である。
 ここで、復号対象シーケンス単位の制御情報は、復号対象シーケンス単位より下位の制御情報であるピクチャ単位或いはスライス単位の制御情報であってもよいし、これらを組み合わせた階層的な制御情報であってもよい。
<7.数珠繋ぎ動きベクトル予測の適用対象>
 非特許文献1及び非特許文献2で開示されている通常マージ以外のマージに対して数珠繋ぎ動きベクトル予測を適用する場合の技術的特徴を説明する。
(MMVD、GPM、TMマージ)
 第1に、非特許文献1及び非特許文献2で開示されているMMVD、GPM及びテンプレートマッチングマージ(TMマージ)は、通常マージと同様に、マージリストを構築するが、非特許文献2では、これらのマージ候補リストの構築時のマージ候補の剪定(プルーニング)が、通常マージと比較して強化されており、これらのマージ候補リストは、通常マージのマージ候補リストに格納されるマージ候補とは同一にはなりにくい。
 そのため、MMVD、GPM及びTMマージで、通常マージのマージ候補リストを流用しない場合、通常マージのマージ候補リストのマージ候補に対する数珠繋ぎ動きベクトル予測の適用に加えて、MMVD、GPM及びTMマージのそれぞれのマージ候補リストのマージ候補に対して数珠繋ぎ動きベクトル予測を適用すれば、符号化効率の改善が期待できる。
 したがって、インター予測部205は、通常マージのマージ候補リストのマージ候補に対する数珠繋ぎ動きベクトル予測の適用に加えて、マージモード動きベクトル差分のマージ候補リストのマージ候補に対して数珠繋ぎ動きベクトル予測を適用してもよい。
 また、インター予測部205は、通常マージのマージ候補リストのマージ候補に対する数珠繋ぎ動きベクトル予測の適用に加えて、幾何学分割モードのマージ候補リストのマージ候補に対して数珠繋ぎ動きベクトル予測を適用してもよい。
 また、インター予測部205は、通常マージのマージ候補リストのマージ候補に対する数珠繋ぎ動きベクトル予測の適用に加えて、テンプレートマッチングマージのマージ候補リストのマージ候補に対して数珠繋ぎ動きベクトル予測を適用してもよい。
 ここで、インター予測部205は、マージモード動きベクトル差分、幾何学分割モード及びテンプレートマッチングマージ向けに生成される数珠繋ぎ動きベクトルについて、通常マージと同様に、マージ候補リスト格納時の剪定処理、動きベクトルの補正及びマージ候補(動きベクトル)の並び替えを適用してもよい。
(適応動きベクトル予測―マージモード)
 上述した非特許文献1及び非特許文献2で開示されている適応動きベクトル予測-マージモード(Adaptive Motion Vector Prediction-Merge mode)では、参照ピクチャリストのリスト0(L0)及びリスト1(L1)のいずれかの動きベクトルが、適応動きベクトル予測(AMVP)、すなわち、制御情報により導出されるため、数珠繋ぎ動きベクトル予測の適用対象をAMVPで導出されていない参照ピクチャリスト番号のマージ候補リストのマージ候補に対して数珠繋ぎ動きベクトル予測を適用すれば、適応動きベクトル予測-マージモードで選択可能なマージ候補の選択肢が増えるため、インター予測精度が向上し、符号化効率の改善が期待できる。
 したがって、インター予測部205は、適応動きベクトル予測-マージモードにおいて、マージ候補リスト内の適応動きベクトル予測で導出されていない参照ピクチャリスト番号のマージ候補に対して数珠繋ぎ動きベクトル予測を適用してもよい。
 さらに、インター予測部205は、適応動きベクトル予測-マージモードにおいて、マージ候補リスト内の適応動きベクトル予測で導出されていない参照ピクチャリスト番号のマージ候補に対して数珠繋ぎ動きベクトル予測を適用する際、生成する数珠繋ぎ動きベクトルを適応動きベクトル予測で導出されている動きベクトルの参照ピクチャに参照させないように制限してもよい。
 ここで、インター予測部205は、適応動きベクトル予測-マージモード向けに生成される数珠繋ぎ動きベクトルについて、通常マージと同様に、マージ候補リストの格納時の剪定処理、動きベクトルの補正及びマージ候補(動きベクトル)の並び替えを適用してもよい。
(サブブロックマージモード)
 上述した非特許文献1及び非特許文献2で開示されているアフィンマージ(Affine merge)は、復号対象ブロック内のサブブロックごとの動きベクトルをアフィン変換で導出するために、図24に示すように、片予測(L0又はL1のいずれか一方)の場合は、2つ又は3つのコントロールポイント動きベクトルcpMvを導出し、双予測(L0及びL1の双方)の場合は、4つ又は6つのコントロールポイント動きベクトルcpMvを導出する。
 なお、片予測或いは双予測のL0及びL1のそれぞれのコントロールポイント動きベクトルは、全て同一の参照ピクチャを参照する。
 アフィンマージでは、非特許文献1及び非特許文献2で開示されているように、これらのコントロールポイント動きベクトルが、アフィンマージ向けマージ候補リストに格納されたマージ候補より導出される。
 インター予測部205は、非特許文献1及び非特許文献2で開示されているアフィンマージ向けマージ候補の導出方法と同様に、アフィンマージ向けマージ候補リストに格納されるマージ候補を導出してもよい。
 例えば、インター予測部205は、復号対象ブロックに空間的に隣接又は近接する位置に2つ又は3つのコントロールポイント動きベクトルが蓄積されている場合、それらを復号対象ブロックのアフィンマージ向けマージ候補リストに追加してもよい。
 或いは、インター予測部205は、復号対象ブロックに空間的に隣接又は近接する位置に複数の動きベクトルが蓄積されている場合、それらに基づいて、復号対象ブロックのコントロールポイント動きベクトルを生成してアフィンマージ向けマージ候補リストに追加してもよい。
 したがって、インター予測部205は、アフィンマージモードにおいて、マージ候補リストに格納されている少なくとも2つ以上のコントロールポイント動きベクトルに対して再帰的に動きベクトルを探索して導出された動きベクトルを、最初のコントロールポイント動きベクトルのそれぞれに加算して、数珠繋ぎコントロールポイント動きベクトルを生成し、マージ候補リストに格納してもよい。
 さらに、インター予測部205は、アフィンマージモードにおいて、マージ候補リストに格納されている少なくとも2つ以上のコントロールポイント動きベクトルに対して再帰的に動きベクトルを探索する際、各コントロールポイント動きベクトルに対する探索対象の参照ピクチャを同一の参照ピクチャに制限してもよい。
 或いは、インター予測部205は、アフィンマージモードにおいて、マージ候補リストに格納されているL0及びL1の少なくとも2つ以上のコントロールポイント動きベクトルに対して再帰的に動きベクトルを探索する際、L0及びL1のそれぞれの各コントロールポイント動きベクトルに対する探索対象の参照ピクチャを同一の参照ピクチャに制限してもよい。
 ここで、インター予測部205は、アフィンマージ向けに生成される数珠繋ぎコントロールポイント動きベクトルについて、通常マージと同様に、マージ候補リストの格納時の剪定処理、動きベクトルの補正及びマージ候補(動きベクトル)の並び替えを適用してもよい。
 本実施形態に係る画像復号装置によれば、インター予測部205が復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に復号ピクチャバッファ207に蓄積されている動きベクトルを探索して導出される全ての動きベクトルを加算して生成される動きベクトルを復号対象ブロックの動きベクトルとして導出するため、インター予測で選択可能な動きベクトルの選択肢が増えてインター予測精度が向上し、符号化効率が改善する。
 上述の画像復号装置200は、コンピュータに各機能(各工程)を実行させるプログラムであって実現されていてもよい。
 なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
200…画像復号装置
201…復号部
202…逆量子化部
203…逆変換部
204…イントラ予測部
205…インター予測部
206…加算器
207…復号ピクチャバッファ
210…符号入力部
220…画像出力部

Claims (27)

  1.  画像復号装置であって、
     符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、
     前記量子化値を逆量子化して変換係数を出力する逆量子化部と、
     前記変換係数を逆変換して予測残差画素を出力する逆変換部と、
     前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、
     前記復号済み画素を蓄積する復号ピクチャバッファと、
     前記制御情報及び前記復号ピクチャバッファに蓄積されている前記復号済み画素からインター予測画素を生成するインター予測部と、
     前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、
     前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、
     前記インター予測部は、前記復号部から送られる時間動きベクトル予測の適用可不可を制御する制御情報に基づき、前記数珠繋ぎ動きベクトル予測の適用可不可を制御することを特徴とする画像復号装置。
  2.  前記インター予測部は、前記復号部から送られる復号対象シーケンス単位の時間動きベクトル予測の適用可不可を制御する第1制御情報に基づき、前記復号対象ブロックに対する前記数珠繋ぎ動きベクトル予測の適用可不可を制御することを特徴とするが請求項1に記載の画像復号装置。
  3.  前記インター予測部は、
      前記第1制御情報が、時間動きベクトル予測を適用可能と特定する場合、前記復号対象ブロックに対する数珠繋ぎ動きベクトル予測を適用可能と特定し、
      前記第1制御情報が、時間動きベクトル予測を適用不可と特定する場合、前記復号対象ブロックに対する数珠繋ぎ動きベクトル予測を適用不可と特定することを特徴とするが請求項2に記載の画像復号装置。
  4.  前記インター予測部は、前記復号部から送られる復号対象ピクチャ単位の時間動きベクトル予測の適用可不可を制御する第2制御情報に基づき、前記復号対象ブロックに対する前記数珠繋ぎ動きベクトル予測の適用可不可を制御することを特徴とする請求項1に記載の画像復号装置。
  5.  前記インター予測部は、
      前記第2制御情報が、時間動きベクトル予測を適用可能と特定する場合、前記復号対象ブロックに対する前記数珠繋ぎ動きベクトル予測を適用可能と特定し、
      前記第2制御情報が、時間動きベクトル予測を適用不可と特定する場合、前記復号対象ブロックに対する前記数珠繋ぎ動きベクトル予測を適用不可と特定することを特徴とする請求項4に記載の画像復号装置。
  6.  前記インター予測部は、前記復号部から送られる復号対象シーケンス単位の時間動きベクトル予測の適用可不可を制御する第1制御情報に基づき、前記復号対象シーケンス単位或いは前記復号対象シーケンスより小さい復号対象の単位で、前記数珠繋ぎ動きベクトル予測の適用可不可を制御することを特徴とする請求項1に記載の画像復号装置。
  7.  前記インター予測部は、前記復号部から送られる復号対象ピクチャ単位の時間動きベクトル予測の適用可不可を制御する第2制御情報に基づき、前記復号対象ピクチャ単位或いは前記復号対象ピクチャより小さい復号対象の単位で、前記数珠繋ぎ動きベクトル予測の適用可不可を制御することを特徴とする請求項1に記載の画像復号装置。
  8.  画像復号装置であって、
     符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、
     前記量子化値を逆量子化して変換係数を出力する逆量子化部と、
     前記変換係数を逆変換して予測残差画素を出力する逆変換部と、
     前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、
     前記復号済み画素を蓄積する復号ピクチャバッファと、
     前記制御情報及び前記復号ピクチャバッファに蓄積されている前記復号済み画素からインター予測画素を生成するインター予測部と、
     前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、
     前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、
     前記復号部は、時間動きベクトル予測の適用可不可を制御する制御情報に基づいて、前記数珠繋ぎ動きベクトル予測の適用可不可を制御することを特徴とする画像復号装置。
  9.  前記復号部は、
      復号対象シーケンス単位で時間動きベクトル予測の適用可不可を制御する第1シンタックスが1である場合、前記復号対象シーケンス単位で前記数珠繋ぎ動きベクトル予測の適用可不可を制御するシンタックスを復号し、
      前記第1シンタックスが1でない場合、前記復号対象シーケンス単位で数珠繋ぎ動きベクトル予測の適用可不可を制御するシンタックスを復号しないとすることを特徴とする請求項8に記載の画像復号装置。
  10.  前記復号部は、
      前記第1シンタックスの値が1の場合、前記復号対象シーケンス単位で時間動きベクトル予測を適用可能と特定し、
      前記第1シンタックスの値が0の場合、前記復号対象シーケンス単位で時間動きベクトル予測を適用不可と特定し、
      前記第1シンタックスが復号されていない場合、前記第1シンタックスの値を0と推定することを特徴とする請求項9に記載の画像復号装置。
  11.  前記復号部は、
      前記復号対象シーケンス単位で数珠繋ぎ動きベクトル予測の適用可不可を制御する第3シンタックスの値が1の場合、前記復号対象シーケンス単位で前記数珠繋ぎ動きベクトル予測を適用可能と特定し、
      前記第3シンタックスの値が0の場合、前記復号対象シーケンス単位で数珠繋ぎ動きベクトル予測を適用可能と特定し、
      前記第3シンタックスが復号されていない場合、前記第3シンタックスの値を0と推定することを特徴とする請求項8に記載の画像復号装置。
  12.  前記インター予測部は、時間動きベクトル予測の適用可不可及び適応並び替えマージ候補の適用可不可の双方に基づいて、前記数珠繋ぎ動きベクトル予測の適用可不可を制御することを特徴とする請求項1に記載の画像復号装置。
  13.  前記インター予測部は、時間動きベクトル予測が適用可能であり、且つ、適応並び替えマージ候補が適用可能である場合に、前記数珠繋ぎ動きベクトル予測を適用可能とすることを特徴とする請求項12に記載の画像復号装置。
  14.  画像復号装置であって、
     符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、
     前記量子化値を逆量子化して変換係数を出力する逆量子化部と、
     前記変換係数を逆変換して予測残差画素を出力する逆変換部と、
     前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、
     前記復号済み画素を蓄積する復号ピクチャバッファと、
     前記制御情報及び前記復号ピクチャバッファに蓄積されている前記復号済み画素からインター予測画素を生成するインター予測部と、
     前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、
     前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、
     前記インター予測部は、前記数珠繋ぎ動きベクトル予測における再帰的な動きベクトルの探索を、前記復号対象ブロックの参照ピクチャリストに含まれる少なくとも1つ以上の参照ピクチャのみに制限することを特徴とする画像復号装置。
  15.  画像復号装置であって、
     符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、
     前記量子化値を逆量子化して変換係数を出力する逆量子化部と、
     前記変換係数を逆変換して予測残差画素を出力する逆変換部と、
     前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、
     前記復号済み画素を蓄積する復号ピクチャバッファと、
     前記制御情報及び前記復号ピクチャバッファに蓄積されている前記復号済み画素からインター予測画素を生成するインター予測部と、
     前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、
     前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、
     前記インター予測部は、前記数珠繋ぎ動きベクトル予測における再帰的な動きベクトルの探索を、前記復号対象ブロックの動きベクトルが参照する参照ピクチャのみに制限することを特徴とする画像復号装置。
  16.  画像復号装置であって、
     符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、
     前記量子化値を逆量子化して変換係数を出力する逆量子化部と、
     前記変換係数を逆変換して予測残差画素を出力する逆変換部と、
     前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、
     前記復号済み画素を蓄積する復号ピクチャバッファと、
     前記制御情報及び前記復号ピクチャバッファに蓄積されている前記復号済み画素からインター予測画素を生成するインター予測部と、
     前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、
     前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、
     前記インター予測部は、前記復号部から送信される前記制御情報に基づいて、前記復号対象ブロックにおいて前記数珠繋ぎ動きベクトル予測における再帰的な動きベクトルの探索深度を制限することを特徴とする画像復号装置。
  17.  前記制御情報は、復号対象シーケンス単位で前記数珠繋ぎ動きベクトル予測における再帰的な動きベクトルの探索深度の上限を設定することを特徴とする請求項16に記載の画像復号装置。
  18.  画像復号装置であって、
     符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、
     前記量子化値を逆量子化して変換係数を出力する逆量子化部と、
     前記変換係数を逆変換して予測残差画素を出力する逆変換部と、
     前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、
     前記復号済み画素を蓄積する復号ピクチャバッファと、
     前記制御情報及び前記復号ピクチャバッファに蓄積されている前記復号済み画素からインター予測画素を生成するインター予測部と、
     前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、
     前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、
     前記インター予測部は、前記数珠繋ぎ動きベクトル予測における再帰的な動きベクトルの探索深度に所定の固定値を設定することを特徴とする画像復号装置。
  19.  画像復号装置であって、
     符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、
     前記量子化値を逆量子化して変換係数を出力する逆量子化部と、
     前記変換係数を逆変換して予測残差画素を出力する逆変換部と、
     前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、
     前記復号済み画素を蓄積する復号ピクチャバッファと、
     前記制御情報及び前記復号ピクチャバッファに蓄積されている前記復号済み画素からインター予測画素を生成するインター予測部と、
     前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、
     前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、
     前記インター予測部は、前記復号部から送信される前記制御情報に基づいて、前記復号対象ブロックにおいて前記数珠繋ぎ動きベクトル予測により導出されるマージ候補数を制限することを特徴とする画像復号装置。
  20.  前記制御情報は、前記復号対象シーケンス単位で前記数珠繋ぎ動きベクトル予測により導出されるマージ候補数の探索深度の上限を設定することを特徴とする請求項19に記載の画像復号装置。
  21.  画像復号装置であって、
     符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、
     前記量子化値を逆量子化して変換係数を出力する逆量子化部と、
     前記変換係数を逆変換して予測残差画素を出力する逆変換部と、
     前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、
     前記復号済み画素を蓄積する復号ピクチャバッファと、
     前記制御情報及び前記復号ピクチャバッファに蓄積されている前記復号済み画素からインター予測画素を生成するインター予測部と、
     前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、
     前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、
     前記インター予測部は、前記数珠繋ぎ動きベクトル予測により導出されるマージ候補数に所定の固定値を設定することを特徴とする画像復号装置。
  22.  画像復号装置であって、
     符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、
     前記量子化値を逆量子化して変換係数を出力する逆量子化部と、
     前記変換係数を逆変換して予測残差画素を出力する逆変換部と、
     前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、
     前記復号済み画素を蓄積する復号ピクチャバッファと、
     前記制御情報及び前記復号ピクチャバッファに蓄積されている前記復号済み画素からインター予測画素を生成するインター予測部と、
     前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、
     前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、
     前記インター予測部は、前記復号部から送信される前記制御情報に基づいて、前記復号対象ブロックに対する前記数珠繋ぎ動きベクトル予測におけるブロックベクトルの探索の可不可を特定することを特徴とする画像復号装置。
  23.  前記制御情報は、前記復号対象シーケンス単位で前記数珠繋ぎ動きベクトル予測におけるブロックベクトルの探索可不可を特定することを特徴とする請求項22に記載の画像復号装置。
  24.  画像復号装置であって、
     符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、
     前記量子化値を逆量子化して変換係数を出力する逆量子化部と、
     前記変換係数を逆変換して予測残差画素を出力する逆変換部と、
     前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、
     前記復号済み画素を蓄積する復号ピクチャバッファと、
     前記制御情報及び前記復号ピクチャバッファに蓄積されている前記復号済み画素からインター予測画素を生成するインター予測部と、
     前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、
     前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、
     前記インター予測部は、前記復号部から送信される前記制御情報に基づいて、前記復号対象ブロックに対する前記数珠繋ぎ動きベクトル予測における最初の動きベクトルの起点を、前記復号対象ブロックの中心に加えて前記復号対象ブロックの少なくとも1つ以上の所定位置を追加するかどうかを特定することを特徴とする画像復号装置。
  25.  前記制御情報は、前記復号対象シーケンス単位で前記復号対象ブロックに対する前記数珠繋ぎ動きベクトル予測における最初の動きベクトルの起点を前記復号対象ブロックの中心に加えて前記復号対象ブロックの少なくとも1つ以上の所定位置を追加するかどうかを特定することを特徴とする請求項24に記載の画像復号装置。
  26.  画像復号方法であって、
     符号情報を可変長復号して量子化値及び制御情報を出力する工程Aと、
     前記量子化値を逆量子化して変換係数を出力する工程Bと、
     前記変換係数を逆変換して予測残差画素を出力する工程Cと、
     前記制御情報及び復号済み画素からイントラ予測画素を生成する工程Dと、
     前記復号済み画素を復号ピクチャバッファに蓄積する工程Eと、
     前記制御情報及び蓄積された前記復号済み画素からインター予測画素を生成する工程Fと、
     前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する工程Gとを有し、
     前記工程Fにおいて、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、
     前記工程Fにおいて、時間動きベクトル予測の適用可不可を制御する制御情報に基づき、前記数珠繋ぎ動きベクトル予測の適用可不可を制御することを特徴とする画像復号方法。
  27.  コンピュータを、画像復号装置として機能させるプログラムであって、
     前記画像復号装置は、
      符号情報を可変長復号して量子化値及び制御情報を出力する復号部と、
      前記量子化値を逆量子化して変換係数を出力する逆量子化部と、
      前記変換係数を逆変換して予測残差画素を出力する逆変換部と、
      前記制御情報及び復号済み画素からイントラ予測画素を生成するイントラ予測部と、
      前記復号済み画素を蓄積する復号ピクチャバッファと、
      前記制御情報及び蓄積された前記復号済み画素からインター予測画素を生成するインター予測部と、
      前記予測残差画素に対して前記イントラ予測画素と及び前記インター予測画素の少なくとも一方を加算して前記復号済み画素を生成する加算器とを備え、
     前記インター予測部は、動きベクトルの候補を格納するマージ候補リストに格納されている復号対象ブロックに空間的又は時間的に隣接又は近接する位置の動きベクトルに対して再帰的に前記復号ピクチャバッファに蓄積されている動きベクトルを探索して導出した全ての動きベクトルを加算することで、数珠繋ぎ動きベクトルを生成し、前記数珠繋ぎ動きベクトルを前記復号対象ブロックの動きベクトルの候補として導出する数珠繋ぎ動きベクトル予測を行い、
     前記インター予測部は、前記復号部から送られる時間動きベクトル予測の適用可不可を制御する制御情報に基づき、前記数珠繋ぎ動きベクトル予測の適用可不可を制御することを特徴とするプログラム。
     
PCT/JP2024/042914 2024-01-09 2024-12-04 画像復号装置、画像復号方法及びプログラム Pending WO2025150306A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202480054758.5A CN121753337A (zh) 2024-01-09 2024-12-04 图像解码装置、图像解码方法以及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024-001398 2024-01-09
JP2024001398A JP2025107874A (ja) 2024-01-09 2024-01-09 画像復号装置、画像復号方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2025150306A1 true WO2025150306A1 (ja) 2025-07-17

Family

ID=96386558

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/042914 Pending WO2025150306A1 (ja) 2024-01-09 2024-12-04 画像復号装置、画像復号方法及びプログラム

Country Status (3)

Country Link
JP (1) JP2025107874A (ja)
CN (1) CN121753337A (ja)
WO (1) WO2025150306A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023076700A1 (en) * 2021-10-30 2023-05-04 Beijing Dajia Internet Information Technology Co., Ltd. Motion compensation considering out-of-boundary conditions in video coding
WO2023098899A1 (en) * 2021-12-03 2023-06-08 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023076700A1 (en) * 2021-10-30 2023-05-04 Beijing Dajia Internet Information Technology Co., Ltd. Motion compensation considering out-of-boundary conditions in video coding
WO2023098899A1 (en) * 2021-12-03 2023-06-08 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
N. ZHANG (BYTEDANCE), K. ZHANG (BYTEDANCE), L. ZHANG (BYTEDANCE): "Non-EE2: Auto relocated block vector prediction", 32. JVET MEETING; 20231013 - 20231020; HANNOVER; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), 6 October 2023 (2023-10-06), XP030312216 *
Y. KIDANI (KDDI), H. KATO (KDDI), K. KAWAMURA (KDDI),: "Non-EE2: Chained motion vector prediction", 33. JVET MEETING; 20240117 - 20240126; TELECONFERENCE; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), 19 January 2024 (2024-01-19), XP030313910 *

Also Published As

Publication number Publication date
JP2025107874A (ja) 2025-07-22
CN121753337A (zh) 2026-03-27

Similar Documents

Publication Publication Date Title
KR102570087B1 (ko) 모션 보상을 이용하는 비디오 신호 처리 방법 및 장치
TWI735902B (zh) 具有幀內預測模式的lut和來自非相鄰塊的幀內預測模式
US11146810B2 (en) Decoder-side motion vector refinement
WO2025150306A1 (ja) 画像復号装置、画像復号方法及びプログラム
WO2025150301A1 (ja) 画像復号装置、画像復号方法及びプログラム
WO2025150304A1 (ja) 画像復号装置、画像復号方法及びプログラム
WO2025150307A1 (ja) 画像復号装置、画像復号方法及びプログラム
WO2025150303A1 (ja) 画像復号装置、画像復号方法及びプログラム
WO2025150305A1 (ja) 画像復号装置、画像復号方法及びプログラム
WO2025150302A1 (ja) 画像復号装置、画像復号方法及びプログラム
WO2025215919A1 (ja) 画像復号装置、画像復号方法及びプログラム
CN121312138A (zh) 用于帧内块复制的方法和设备
JP2026008039A (ja) 画像復号装置、画像復号方法及びプログラム
CN120345250A (zh) 用于帧内块复制的方法和设备
CN120457696A (zh) 用于帧内块复制的方法和设备
CN121079980A (zh) 图像解码装置、图像解码方法以及程序
CN121713484A (zh) 用于帧内块复制的方法和设备
CN120937368A (zh) 图像解码装置、图像解码方法以及程序

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24916991

Country of ref document: EP

Kind code of ref document: A1