WO2024079986A1 - 画像復号装置、画像復号方法及びプログラム - Google Patents

画像復号装置、画像復号方法及びプログラム Download PDF

Info

Publication number
WO2024079986A1
WO2024079986A1 PCT/JP2023/029766 JP2023029766W WO2024079986A1 WO 2024079986 A1 WO2024079986 A1 WO 2024079986A1 JP 2023029766 W JP2023029766 W JP 2023029766W WO 2024079986 A1 WO2024079986 A1 WO 2024079986A1
Authority
WO
WIPO (PCT)
Prior art keywords
decoded
synthesis unit
image decoding
intra prediction
decoding device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/029766
Other languages
English (en)
French (fr)
Inventor
晴久 加藤
佳隆 木谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to CN202380062922.2A priority Critical patent/CN119968842A/zh
Publication of WO2024079986A1 publication Critical patent/WO2024079986A1/ja
Priority to US19/061,088 priority patent/US20250227276A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to an image decoding device, an image decoding method, and a program.
  • Non-Patent Documents 1 to 3 disclose the geometric partitioning mode (GPM). GPM divides a rectangular block into two along a diagonal dividing line, and performs motion compensation (inter prediction) or intra prediction for each of the two divided small regions.
  • GPM geometric partitioning mode
  • motion compensation (inter prediction) pixels and intra prediction pixels are generated for each divided small region using a motion vector or intra prediction mode, and then these two prediction pixels are combined using a weighted average according to the distance from the dividing line.
  • the method of dividing rectangular blocks using the geometric division mode in Non-Patent Document 1 and Non-Patent Document 2 is defined by a single straight line, and 64 types of division methods are preset with combinations of different angles and positions.
  • the block to be decoded contains a boundary between the foreground and background, it can be separated into two small regions if the boundary is a straight line, and highly efficient coding can be achieved by using a prediction method appropriate for each.
  • the present invention has been made in consideration of the above-mentioned problem, and aims to provide an image decoding device, an image decoding method, and a program with high encoding efficiency.
  • the first feature of the present invention is an image decoding device comprising: a decoding unit that decodes control information and a quantized value; an inverse quantization unit that inversely quantizes the quantized value to obtain a transform coefficient; an inverse transform unit that inversely transforms the transform coefficient to obtain a prediction residual; an intra prediction unit that generates a first predicted pixel based on decoded pixels and the control information; an accumulation unit that accumulates the decoded pixels; a motion compensation unit that generates a second predicted pixel based on the accumulated decoded pixels and the control information; a synthesis unit that synthesizes any combination including at least one of the first predicted pixel and the second predicted pixel into small regions divided by a plurality of line segments based on the control information to obtain a third predicted pixel; and an adder that adds any one of the first predicted pixel, the second predicted pixel, and the third predicted pixel to the prediction residual to obtain the decoded pixel.
  • the second feature of the present invention is an image decoding method comprising the steps of: decoding control information and a quantized value; inversely quantizing the quantized value to obtain a transform coefficient; inversely transforming the transform coefficient to obtain a prediction residual; generating a first predicted pixel based on decoded pixels and the control information; accumulating the decoded pixels; generating a second predicted pixel based on the accumulated decoded pixels and the control information; synthesizing an arbitrary combination including at least one of the first predicted pixel and the second predicted pixel into small regions divided by a plurality of line segments based on the control information to obtain a third predicted pixel; and obtaining the decoded pixel by adding any one of the first predicted pixel, the second predicted pixel, and the third predicted pixel to the prediction residual.
  • the third feature of the present invention is a program for making a computer function as an image decoding device, the image decoding device comprising: a decoding unit that decodes control information and a quantized value; an inverse quantization unit that inversely quantizes the quantized value to obtain a transform coefficient; an inverse transform unit that inversely transforms the transform coefficient to obtain a prediction residual; an intra prediction unit that generates a first predicted pixel based on decoded pixels and the control information; a storage unit that stores the decoded pixels; a motion compensation unit that generates a second predicted pixel based on the stored decoded pixels and the control information; a synthesis unit that synthesizes any combination including at least one of the first predicted pixel and the second predicted pixel into small regions divided by a plurality of line segments based on the control information to obtain a third predicted pixel; and an adder that adds any one of the first predicted pixel, the second predicted pixel, and the third predicted pixel to the prediction residual to obtain the decoded
  • the present invention provides an image decoding device, an image decoding method, and a program with high coding efficiency.
  • FIG. 1 is a diagram showing an example of functional blocks of an image decoding device 200 according to an embodiment.
  • FIG. 2 is a diagram showing an example of a case where the geometric partitioning mode (GPM) is used for partitioning into small regions.
  • FIG. 5 is a diagram showing examples of selectable division shapes of a block to be decoded.
  • FIG. 6 is a diagram showing examples of selectable division shapes of a block to be decoded.
  • FIG. 1 is a diagram showing an example of functional blocks of an image decoding device 200 according to an embodiment.
  • FIG. 2 is a diagram showing an example of a case where the geometric partitioning mode (GPM) is used for partitioning into small regions.
  • FIG. 3 is a diagram showing an
  • FIG. 7 is a diagram showing an example of three patterns of weighting coefficients assigned to the division boundaries of the small region B shown in FIG.
  • Figure 8 shows an example of a case in which a partition boundary is formed by two partition lines in the vertical and horizontal directions for a block to be decoded, and synthetic prediction is performed on a predicted pixel basis according to the distance from these two partition lines (partition line 1 and partition line 2).
  • FIG. 9 is a diagram for explaining an example of a blending region for the division lines 1 and 2.
  • FIG. 10 is a flowchart showing an example of an operation for setting a selection method for a multiple line segment division mode on a sequence basis.
  • FIG. 11 is a flowchart showing an example of an operation for setting a selection method for the multiple line segment division mode in block units.
  • FIG. 12 is a diagram showing an example of a case in which an angle prediction mode parallel to the dividing line 1 is applied.
  • FIG. 13 is a diagram illustrating the intra prediction mode derivation method according to the present embodiment.
  • FIG. 14 is a diagram illustrating the intra prediction mode derivation method according to the present embodiment.
  • FIG. 15 is a diagram illustrating the intra prediction mode derivation method according to the present embodiment.
  • FIG. 16 is a diagram illustrating the intra prediction mode derivation method according to the present embodiment.
  • FIG. 17 is a diagram showing an example of a method for deriving an intra prediction mode based on adjacent reference blocks for normal intra prediction according to Non-Patent Document 1 and Non-Patent Document 2, and a method for deriving an intra prediction mode based on adjacent reference blocks for a geometric partitioning mode according to this embodiment to which the above derivation method is applied.
  • FIG. 18 is a diagram showing an example of the association between cu_div_idx, divDirectionIdx, and divLocationIdx.
  • FIG. 19 is a flowchart showing a modified example of the operation for setting the multiple line segment division mode selection method on a sequence basis.
  • FIG. 20 is a flowchart showing a modified example of the operation for setting a selection method for a division mode including a multiple line segment division mode in block units.
  • Figure 1 is a diagram showing an example of functional blocks of the image decoding device 200 according to this embodiment.
  • the image decoding device 200 has a code input unit 210, a decoding unit 201, an inverse quantization unit 202, an inverse transform unit 203, an intra prediction unit 204, a synthesis unit 205, an adder 206, an accumulation unit 207, a motion compensation unit 208, and an image output unit 220.
  • the code input unit 210 is configured to obtain code information encoded by the image encoding device.
  • the decoding unit 201 is configured to decode the control information and the quantization value from the code information input from the code input unit 210.
  • the decoding unit 201 is configured to output the control information and the quantization value by performing variable length decoding on the code information.
  • the quantized value is sent to the inverse quantization unit 202, and the control information is sent to the intra prediction unit 204, the synthesis unit 205, and the motion compensation unit 208.
  • control information includes information necessary for controlling the intra prediction unit 204, the synthesis unit 205, the motion compensation unit 208, etc., and may include header information such as a sequence parameter set, a picture parameter set, a picture header, a slice header, etc.
  • the inverse quantization unit 202 is configured to inverse quantize the quantized values sent from the decoding unit 201 to generate decoded transform coefficients. These transform coefficients are sent to the inverse transform unit 203.
  • the inverse transform unit 203 is configured to inversely transform the transform coefficients sent from the inverse quantization unit 202 to generate decoded prediction residuals. These prediction residuals are sent to the adder 206.
  • the intra prediction unit 204 is configured to generate a first predicted pixel based on the decoded pixel and the control information sent from the decoding unit 201.
  • the decoded pixel is obtained via the adder 206 and stored in the storage unit 207.
  • the first predicted pixel is sent to the adder 206.
  • the storage unit 207 is configured to cumulatively store the decoded pixels sent from the adder 206. These decoded pixels are referenced by the motion compensation unit 208 via the storage unit 207.
  • the motion compensation unit 208 is configured to generate a second predicted pixel to be added to the prediction residual by the adder 206, based on the decoded pixels obtained by referring to the storage unit 207 and the control information decoded by the decoding unit 201.
  • the generated second predicted pixel is sent to the adder 206 or the synthesis unit 205.
  • the adder 206 is configured to add one of the first to third predicted pixels generated from the decoded pixels etc. to the prediction residual sent from the inverse transform unit 203 to obtain a decoded pixel. Such a decoded pixel is sent to the image output unit 220, the storage unit 207 and the intra prediction unit 204.
  • the synthesis unit 205 is configured to synthesize any combination including at least one of the first and second predicted pixels described above into small regions divided by a plurality of line segments based on the control information decoded by the decoding unit 201 to generate a third predicted pixel.
  • the following describes the synthesis unit 205, which is a characteristic component of the image decoding device 200 according to this embodiment.
  • the role of the synthesis unit 205 is to divide the block to be decoded into multiple small regions (small region division) so that the prediction residual can be expressed with a small amount of code when the decoded pixels are calculated by the subsequent addition unit 206, and to predict the pixels of the block to be decoded with high accuracy by synthesizing the corresponding first predicted pixel or second predicted pixel (synthetic prediction).
  • Figure 2 shows an example of a case where the geometric partitioning mode (GPM) is used for subregion partitioning.
  • the block to be decoded is partitioned into subregions A and B by a single diagonal line.
  • the division is limited to a single straight line, so it cannot handle cases where the boundary between the foreground and background is complex, and there is a problem that the coding efficiency cannot be sufficiently improved.
  • the synthesis unit 205 divides the current block to be decoded by N line segments (N is a natural number greater than 1).
  • the synthesis unit 205 may determine the division type of the multiple line segment division mode from the control information. Details will be described later.
  • Increasing the number of lines N in the multiple line segment division mode has the effect of improving prediction accuracy, while decreasing the number of lines N in the multiple line segment division mode has the effect of reducing the amount of code required for the control information that represents the division shape.
  • the synthesis unit 205 may set such a fixed value to a common value regardless of the length of the short side, the length of the long side, the size (area), or the aspect ratio of the block to be decoded.
  • the synthesis unit 205 may set such fixed values to different values based on the length of the short side, the length of the long side, the size (area) or the aspect ratio of the block to be decoded.
  • the synthesis unit 205 may also variably set the number N of line segments in the multiple line segment division mode. For example, when the synthesis unit 205 variably sets the number N of line segments in the multiple line segment division mode, the synthesis unit 205 may determine the number N of line segments in proportion to the length of the short side, the length of the long side, and the size (area) of the block to be decoded.
  • the synthesis unit 205 may also limit at least one of the positional relationship and angle of the multiple line segments in order to reduce the amount of code in the control information that represents the division shape.
  • the synthesis unit 205 may limit the first line segment to only the horizontal direction (0 degrees) or vertical direction (90 degrees) of the block to be decoded. Furthermore, the synthesis unit 205 may limit the n+1th line segment to only the vertical direction (90 degrees) with respect to the nth line segment.
  • Non-Patent Document 1 because a partition shape in which the block to be decoded is divided into four equal parts in a square shape can be realized by the recursive rectangular block partitioning (quadtree, binary tree, and ternary tree partitioning) disclosed in Non-Patent Document 1, it is desirable to limit the composition unit 205 so that it cannot select arrangements that can be realized by such existing block partitioning.
  • applying such a limitation corresponds to selecting the division shape (multiple line segments) of the block to be decoded from the pattern shown in FIG. 5 and the diagonal division pattern shown in FIG. 6 when the first line segment can be diagonal (45 degrees) in addition to horizontal (0 degrees) and vertical (90 degrees).
  • the prediction accuracy can be improved, and by increasing the above-mentioned limitations, the amount of code for the control information expressing the division shape can be reduced.
  • the synthesis unit 205 can set the above-mentioned limitation method either fixedly or variably.
  • the synthesis unit 205 can also set different limitations depending on the size of the block to be decoded (length of the short side, length of the long side, size (area), aspect ratio, etc.).
  • the number of division points is proportional to the length of the sides of the block to be decoded.
  • the synthesis unit 205 can set a fixed number of division points, regardless of the size of the block to be decoded.
  • the division points may be placed every L/(K+1) pixels, which is the ratio of the length L (L is a natural number) of the side of the block to be decoded to the number of pixels.
  • L may be a natural number that is a power of 2 greater than or equal to 4, such as 4, 8, 16, 32, 64, or 128, as described in Non-Patent Document 1.
  • K may be a natural number that is a power of 2 greater than or equal to 4, such as 4, 8, 16, 32, 64, or 128.
  • K may be restricted so that L/(K+1) pixels is a natural number that is a power of 2 greater than or equal to 4, such as 4, 8, 16, 32, 64, or 128.
  • the synthesis unit 205 may set K different division points for the vertical and horizontal sides (length and width) of the block to be decoded.
  • the synthesis unit 205 may also include the center of the block to be decoded in FIG. 5 as a division point.
  • Increasing the number of division points has the effect of improving prediction accuracy, while decreasing the number of division points has the effect of reducing the amount of code required to express the division shape.
  • the synthesis unit 205 is configured to perform a weighted average (i.e., synthesis prediction) of the predicted pixels for each of the small areas A and B of the block to be decoded, which has been divided into multiple line segments, according to the distance of the dividing lines.
  • a weighted average i.e., synthesis prediction
  • the types of predicted pixels for such small regions A and B may be a combination of different inter-predicted pixels, such as the geometric partitioning mode disclosed in Non-Patent Document 1, a combination of inter-predicted pixels and intra-predicted pixels, such as the geometric partitioning mode intra-prediction disclosed in Non-Patent Document 2, or a combination of different intra-predicted pixels.
  • different inter-predicted pixels are generated based on different motion vectors, and different intra-predicted pixels are generated in different intra-prediction modes.
  • a weighted average according to the distance from the division line such as that used for synthesis prediction in the geometric division mode disclosed in Non-Patent Document 1 and Non-Patent Document 3, can be used.
  • the sum of the weighting coefficients for multiple predicted pixels is designed to be 1 for each pixel, and the multiple predicted pixels are synthesized using such weighting coefficients by weighted averaging to obtain the predicted pixel by the synthesis unit 205.
  • the input predicted pixel is used, and for pixels with a weighting factor of 0 (i.e., the minimum value), the input predicted pixel is not used.
  • this is equivalent to dividing a unit block into multiple small regions, and determining which pixel of multiple input predicted pixels is to be applied where and in what proportion.
  • Fig. 7 shows an example of three patterns of weighting coefficients to be assigned to the division boundary of the small area B shown in Fig. 2.
  • the horizontal axis represents the distance in pixels from the position of the division boundary (division line), and the vertical axis represents the weighting coefficient.
  • pattern (1) in which a weighting factor [0, 1] is assigned to the range [a, b] for distances a and b of predicted pixel units from a preset division boundary position; pattern (2) in which distances a and b are similarly doubled and a weighting factor [0, 1] is assigned to the range [2a, 2b]; and pattern (3) in which distances a and b are similarly halved and a weighting factor [0, 1] is assigned to the range [a/2, b/2].
  • weighting coefficients are defined as xc, yc that are uniquely determined by the distance d(xc, yc) from the division boundary (division line), this is equivalent to providing multiple patterns (variable values) rather than a limited pattern (fixed values) for the width of the division boundary of the small region disclosed in Non-Patent Document 3, i.e., the width ⁇ where the weighting coefficient is other than the minimum or maximum value.
  • xc, yc are coordinates within the block to be decoded.
  • the synthesis unit 205 may be configured to set multiple weighting coefficients according to the inter-pixel distance from the division boundary.
  • the synthesis unit 205 may be configured to set the weighting factor as described above as a weighting factor that is symmetrical with respect to the division boundary. With this configuration, b becomes unnecessary, and the amount of code can be reduced.
  • a weighting coefficient may be set that is asymmetric with respect to the division boundary, with a ⁇ b.
  • the synthesis unit 205 may be configured to set a weighting coefficient that is asymmetric with respect to the division boundary as the weighting coefficient described above. With this configuration, when there are different degrees of blur on both sides of the boundary, prediction can be made with high accuracy.
  • the weighting coefficients can be set for multiple line segments by increasing the number of a and b instead of limiting them to two.
  • the synthesis unit 205 can be configured to set weighting coefficients for multiple line segments according to the inter-pixel distance from the division boundary. With this configuration, it is possible to make highly accurate predictions when blurring occurs nonlinearly.
  • the synthesis unit 205 can arbitrarily set the type, shape, and number of the above-mentioned patterns.
  • the weighting coefficient was set to a value between 0 and 8, but it can also be set to other values such as 0 to 16 or 0 to 32.
  • the maximum weighting coefficient can be increased to improve the accuracy of the weighted average on a pixel-by-pixel basis.
  • the synthesis unit 205 may select from among pre-prepared combinations the settings of multiple weighting factors (width of the blending area, maximum and minimum values of the weighting factors) for small area A and small area B based on the control information sent from the decoding unit 201.
  • the synthesis unit 205 may use such control information to select the above-mentioned weighting coefficient from multiple patterns prepared in advance (in Non-Patent Document 3, five patterns are 1/4 width, 1/2 width, 1 width, 2 times width, and 4 times width).
  • the synthesis unit 205 may use the control information to reduce selectable candidates from multiple patterns of candidates prepared in advance according to the size, short side length, long side length, or aspect ratio of the block to be decoded, and then select the blending width indicated by the control information.
  • the multiple line segment division mode unlike the synthesis prediction for the geometric division mode disclosed in Non-Patent Documents 1 to 3, there are multiple division boundaries (division lines) that divide the small regions, so synthesis prediction is performed for those multiple division lines.
  • FIG. 8 shows an example of a case in which the partition boundary is formed by two partition lines in the vertical and horizontal directions for the block to be decoded, as shown in FIG. 5, and synthetic prediction is performed in units of predicted pixels according to the distance from the two partition lines (partition line 1 and partition line 2).
  • the synthesis unit 205 may apply a common weighted average to the synthesis predictions for these multiple division lines.
  • the synthesis unit 205 may apply a weighted average consisting of the maximum values of the different weighting coefficients and the distance from the dividing line as described above.
  • the synthesis unit 205 may be configured to select a weighting factor from among a plurality of weighting factors depending on at least one of the length of the short side, the length of the long side, the aspect ratio, the size (number of pixels), or the type of division mode of the block to be decoded.
  • the synthesis unit 205 may be configured to select a weighting factor from among multiple weighting factors depending on the type of intra prediction mode.
  • the synthesis unit 205 may be configured to select a weighting factor from among multiple weighting factors according to the size (number of pixels) of the small area A or small area B divided within the block to be decoded using the multiple line segment division mode.
  • the synthesis unit 205 may be configured to select a weighting factor from among multiple weighting factors depending on the size (number of pixels) of the division line.
  • the synthesis unit 205 may be configured to select a weighting factor from among a plurality of weighting factors according to the ratio to the side of the block to be decoded that is in the same direction.
  • Figure 9 is a diagram to explain an example of a blending area (gray area in Figure 9(a)) for division line 1 and division line 2.
  • the overlapping blending area As shown in FIG. 9(a), the area where the blending areas for division line 1 and division line 2 overlap (hereinafter, the overlapping blending area) is indicated by a dashed frame.
  • FIG. 9(b) shows an example of a weighting factor W_1A to be applied to the predicted pixels of small area A with respect to division line 1, and an example of a weighting factor W_2A to be applied to the predicted pixels of small area A with respect to division line 2.
  • the weighting coefficients W_1B and W_2B for each small region B are calculated by subtracting W_1A and W_2A from the maximum weighting coefficients.
  • the synthesis unit 205 may perform prediction synthesis of the third predicted pixel in the blending region and the overlap blending region using a newly generated weighting coefficient by selecting the minimum value of each element W_1A and W_2A of the weighting coefficient, as shown in calculation example 1 in FIG. 9(c).
  • the synthesis unit 205 may perform prediction synthesis of the third predicted pixel of the blending region and the overlap blending region using a newly generated weighting coefficient by calculating the product of the elements W_1A and W_2A of the weighting coefficient, as shown in calculation example 2 of FIG. 9(c).
  • the coding information input to the image decoding device 200 may include a sequence parameter set (SPS) that summarizes control information on a per-sequence basis.
  • SPS sequence parameter set
  • Such coding information may also include a picture parameter set (PPS) or a picture header (PH) that summarizes control information on a per-picture basis.
  • PPS picture parameter set
  • PH picture header
  • such coding information may also include a slice header (SH) that summarizes control information on a per-slice basis.
  • step S101 the decoding unit 201 determines whether sps_div_enabled_flag is 1 in the sequence parameter set.
  • sps_div_enabled_flag is syntax that controls whether or not split mode is enabled. When sps_div_enabled_flag is 1, it indicates that split mode is enabled, and when sps_div_enabled_flag is 0, it indicates that split mode is disabled.
  • step S102 If sps_div_enabled_flag is 1, this operation proceeds to step S102; if sps_div_enabled_flag is 0, this operation ends.
  • step S102 the decoding unit 201 decodes sps_div_multi_flag.
  • step S103 If sps_div_multi_flag is 1, this operation proceeds to step S103; if sps_div_multi_flag is 0, this operation ends.
  • step S103 the decoding unit 201 decodes sps_div_multi_mode.
  • sps_div_multi_mode is a syntax that controls the multiple line segment division mode.
  • sps_div_multi_mode you can change the multiple line segment division mode setting according to the image characteristics on a sequence-by-sequence basis, which is expected to maximize coding efficiency.
  • the decoding unit 201 When the border width candidate selection method is set on a picture-by-picture basis, the decoding unit 201 similarly decodes pps_div_enabled_flag, pps_div_multi_flag, and pps_div_multi_mode in the picture parameter set or picture header.
  • pps_div_multi_mode you can change the multiple line segment division mode setting according to the image characteristics on a picture-by-picture basis, which is expected to maximize coding efficiency.
  • the division types can be set to be limited to right angles, and for pictures made up of natural images, the division type restrictions can be relaxed, maximizing coding efficiency.
  • the decoding unit 201 When the boundary width candidate selection method is set on a slice-by-slice basis, the decoding unit 201 similarly decodes sh_div_enabled_flag, sh_div_multi_flag, and sh_div_multi_mode in the slice header.
  • sh_div_multi_mode you can change the multiple line segment division mode setting according to the image characteristics on a slice-by-slice basis, which is expected to maximize coding efficiency.
  • the division types can be set to be limited to right angles, and for slice areas that contain natural images, the division type restrictions can be relaxed, maximizing coding efficiency.
  • the decoding of the multiple line segment split mode itself can be omitted.
  • the method of setting the multiple line segment division mode on a sequence basis, a picture basis, or a slice basis was described, but instead of setting these, the multiple line segment division mode may be set directly on a block basis, as described below.
  • step S104 is included.
  • step 104 the decoding unit 201 determines whether the technique for reordering the partition modes associated with the decoded value of cu_div_idx (control information) for identifying the partition mode based on template matching (described later) in the sequence parameter set is enabled based on whether sps_div_template_reordering_enabled_flag (control information), which controls the reordering on a sequence basis, is 1.
  • sps_div_template_reordering_enabled_flag 1
  • sps_div_template_reordering_enabled_flag 0
  • sps_div_template_reordering_enabled_flag is decoded by the decoding unit 201 before step S104, or the value is estimated without being decoded.
  • the decoding unit 201 estimates that the value of sps_div_template_reordering_enabled_flag is 0.
  • step S102 If sps_div_template_reordering_enabled_flag is 1 (Yes), the decoding unit 201 proceeds to step S102. If sps_div_template_reordering_enabled_flag is 0 (No), the decoding unit 201 ends this process.
  • template-based partition mode subscript sorting has the effect of shortening the code length of the partition mode subscript. Therefore, by determining that the multiple line partition mode is valid only when template-based partition mode subscript sorting is valid, the amount of code required for cu_div_idx, which is used to identify the type of multiple line partition mode or the type of partition mode including the multiple line partition mode on a target block basis, can be reduced, and as a result, improved coding performance can be expected.
  • step S201 the decoding unit 201 determines whether any of sps_div_enabled_flag, pps_div_enabled_flag, and sh_div_enabled_flag is 1.
  • step S202 If neither is 1, the operation ends; if either is 1, the operation proceeds to step S202.
  • step S202 the decoding unit 201 determines whether the block to be decoded is in split mode.
  • step S203 If the answer is Yes, the operation proceeds to step S203; if the answer is No, the operation ends.
  • step S203 the decoding unit 201 decodes cu_div_idx, which is a control signal indicating the division mode.
  • cu_div_idx is decoded to identify one of the candidate multiple line segment division modes selected by the lowest level div_multi_mode applied to the block to be decoded.
  • the decoding unit 205 decodes the above-mentioned cu_div_idx and identifies the multiple line segment division mode according to the decoded value.
  • 32 patterns of decoded values of cu_div_idx are prepared as shown in FIG. 18, which correspond to the 32 patterns of division mode candidates for the multiple line segment division mode shown in FIG. 5.
  • Each decoded value of cu_div_idx corresponds to divDirectionIdx, an internal parameter that indicates the four patterns of division directions (whether the division boundary (area divided by a division line) is located in the upper left, upper right, lower right, or lower left) for identifying the pattern of the multiple line division mode shown in Figure 5, and divLocationIdx, an internal parameter that determines the eight patterns of division points.
  • this multiple line segment partitioning mode is to be applied in addition to the geometric partitioning mode of Non-Patent Document 1, this can be achieved by adding cu_div_idx to a table that corresponds to the 64 patterns of decoded values of merge_gpm_partition_idx that specifies the geometric partitioning mode.
  • merge_gpm_partition_idx corresponds to angleIdx, which represents 20 patterns of angles to express 64 patterns of partition lines in the geometric partition mode, and distanceIdx, which represents 4 patterns of distances.
  • the decoding unit 201 can identify the pattern of the multiple line segment partitioning mode in addition to the geometric partitioning mode by decoding merge_gpm_partition_idx.
  • steps S204 and S205 are included.
  • step S104 the decoding unit 201 determines whether or not a predetermined condition is satisfied. If the decoding unit 201 determines that the predetermined condition is satisfied, the process proceeds to step S205, and if the decoding unit 201 determines that the predetermined condition is not satisfied, the process proceeds to step S203.
  • the specified condition may include a condition that the block size of the target block is equal to or smaller than a specified block size.
  • the specified block size may be specified as a pixel number that is a power of 2, such as 8x8 pixels, 16x16 pixels, 32x32 pixels, 64x64 pixels, or 128x128 pixels.
  • the multiple line segment split mode divides the target block with multiple line segments, so in large blocks, the division boundaries created by multiple line segments do not easily match the block boundaries within the block.
  • the threshold determination may be based on the short side of the target block.
  • the specified conditions in step S204 may include a condition that the short side of the target block is equal to or smaller than a specified number of pixels.
  • the specified number of pixels may be specified as a power of 2, such as 8 pixels, 16 pixels, 32 pixels, 64 pixels, or 128 x 128 pixels.
  • the specified conditions may include a condition that the block size of the target block is equal to or greater than the specified block size (or larger).
  • the specified block size may be specified as a power of 2 pixel size, such as 4x4 pixels, 8x8 pixels, 16x16 pixels, or 32x32 pixels.
  • the multiple line segment splitting mode divides the target block with multiple line segments, so as mentioned above, in small-sized blocks, the split boundary created by multiple line segments tends to match the block boundary within the block. However, in extremely small block sizes, the distance between multiple line segments or between multiple line segments and the target block boundary becomes short, so there is little difference between this mode and the conventional splitting mode, which divides the target block with a single line segment, or the conventional coding block splitting mode.
  • the multiple line segment division mode for target blocks of extremely small size can be disabled by using a threshold judgment based on the block size, thereby reducing the amount of coding for the control information required to specify the multiple line segment division mode, resulting in improved coding performance.
  • the threshold determination may be based on the length of the target block, rather than on the block size of the target block.
  • the specified conditions in step S204 may include a condition that the long side of the target block is equal to or greater than a specified number of pixels.
  • the specified number of pixels may be specified as a power of 2, such as 4 pixels, 8 pixels, 16 pixels, or 32 pixels.
  • the decoding unit 201 determines whether sps_div_template_reordering_enabled_flag (control information), which controls whether a technique for reordering the partition modes associated with the decoded values of cu_div_idx (control information) for identifying the partition mode based on template matching (described later) is enabled on a sequence-by-sequence basis, is set to 1.
  • sps_div_template_reordering_enabled_flag 1
  • sps_div_template_reordering_enabled_flag 0
  • step S102 If sps_div_template_reordering_enabled_flag is 1 (Yes), the decoding unit 201 proceeds to step S102.
  • template-based partition mode subscript sorting has the effect of shortening the code length of the partition mode subscript. Therefore, by determining that the multiple line partition mode is valid only when template-based partition mode subscript sorting is valid, the amount of code for cu_div_idx (control information) for identifying the type of multiple line partition mode or the type of partition mode including the multiple line partition mode for each block to be decoded can be reduced, and as a result, improved coding performance can be expected.
  • the motion information for the small area A or small area B divided in the multiple line segment division mode may be derived using the same method as that for the geometric division mode disclosed in Non-Patent Document 1.
  • the motion compensation unit 208 creates a motion information candidate list (merge candidate list) for small region A and small region B, which is composed of motion information of neighboring blocks of the block to be decoded, and derives motion information from the merge candidate list using control information (merge index) that identifies the motion information in the merge candidate list transmitted from the image encoding device.
  • the decoding unit 201 decodes a merge index that indicates different motion information candidates so that different motion information is derived for each small area.
  • Non-Patent Document 1 discloses a technique called spatial merging as a method for deriving and registering motion information candidates in a motion information candidate list. Specifically, the motion information at positions A0, A1, B0, B1, and B2 adjacent to the block to be decoded shown in FIG. 17 is registered in the motion information candidate list as motion information candidates (spatial merging candidates) for the block to be decoded.
  • the motion compensation unit 208 may limit the spatial merge candidates that can be registered in this motion information candidate list according to the multiple line segment division mode. Specifically, registration may be limited to only spatial merges that are adjacent to each small region divided according to the multiple line segment division mode.
  • the spatial merge candidates that can be registered may be limited to only the closest spatial merge candidates, or to only N (N is a natural number, N ⁇ M) spatial merge candidates that are in close proximity to the total M (M is a natural number; the above example shows the case of 5).
  • the synthesis unit 205 may apply a parallel angular prediction mode (angular prediction mode) to each division line for the intra prediction mode for the small area A or small area B divided in the multiple line segment division mode.
  • angular prediction mode angular prediction mode
  • the synthesis unit 205 may apply a perpendicular angular prediction mode (angular prediction mode) to each division line for the intra prediction mode for the small area A or small area B divided in the multiple line segment division mode.
  • angular prediction mode perpendicular angular prediction mode
  • Figure 12 shows an example of a case where a parallel angle prediction mode is applied to the dividing line 1.
  • the synthesis unit 205 may derive the intra prediction mode for the small area A or the small area B divided in the multiple line segment division mode using the derivation technique based on the analysis of adjacent pixels disclosed in Non-Patent Document 2.
  • FIG. 13 is a diagram showing an example of a method for deriving an intra prediction mode based on adjacent reference pixels for normal intra prediction according to Non-Patent Document 2, and an example of a method 1 for deriving an intra prediction mode based on adjacent reference pixels for a geometric partitioning mode according to this embodiment, which is an application of such a derivation method.
  • these derivation methods are collectively referred to as "DIMD (Decoder-side Intra Mode Derivation)."
  • Non-Patent Document 2 in such a DIMD, as shown in FIG. 13, a Sobel filter in the horizontal and vertical directions with a window size of 3 ⁇ 3 pixels is applied to adjacent reference pixels adjacent to the block to be decoded, and a histogram of pixel values for all angular prediction modes for normal intra prediction is calculated.
  • the method of calculating the angles and pixel values of adjacent reference pixels to associate them with each angular prediction mode by applying a Sobel filter can be configured in the same way as in Non-Patent Document 2 in this embodiment, so a detailed description will be omitted.
  • Non-Patent Document 2 the adjacent reference pixel area used to calculate the histogram is controlled according to the block size of the block to be decoded, as shown in FIG. 13. Specifically, for a 4x4 pixel block, the histogram is calculated using only the 3x3 pixel areas above and to the left of the top left pixel of the block to be decoded.
  • intra-prediction pixels are generated using the intra-prediction mode and planar mode, which are the highest and second highest pixel values in the calculated histogram, and the generated intra-prediction pixels are weighted-averaged using a predetermined weight value to generate the final intra-prediction pixel.
  • the synthesis unit 205 may apply DIMD disclosed in the above-mentioned non-patent document 2 only to derive the intra prediction mode of the multiple line segment division mode. In other words, synthesis/generation processing of intra prediction pixels using the derived multiple intra prediction modes is not performed.
  • intra-prediction pixels can be generated in one intra-prediction mode for the intra-prediction region in the multiple line segment partitioning mode (two intra-prediction regions in the case of Intra/Intra-multiple line segment partitioning mode), which avoids the increase in circuit size required for generating intra-prediction pixels in the multiple line segment partitioning mode in a hardware-implemented image decoding device, while making it possible to apply intra-prediction that reflects textures such as edges that are suitable for the partitioning shape of the multiple line segment partitioning mode by analyzing the histogram of adjacent reference pixels of the block to be decoded, thereby improving intra-prediction performance and, as a result, improving coding performance.
  • the decoding unit 201 may be configured to determine whether or not to derive an intra prediction mode by decoding or estimating a flag that determines whether or not DIMD is applicable.
  • the synthesis unit 205 may be configured to register an intra prediction mode derived by the DIMD if the same intra prediction mode is not already included in the intra prediction mode candidate list for the multiple line segment partition mode, and to not register an intra prediction mode derived by the DIMD if the same intra prediction mode is already included in the intra prediction mode candidate list for the multiple line segment partition mode.
  • This configuration makes it possible to avoid the same intra prediction mode being registered multiple times in the intra prediction mode candidate list.
  • intra prediction mode candidate pruning process when a new intra prediction mode is registered in the intra prediction mode candidate list, it is compared with existing intra prediction modes for consistency, and if the two match, the process of pruning is referred to as the "intra prediction mode candidate pruning process" hereafter.
  • the synthesis unit 205 may limit the number of intra prediction modes to be registered in the intra prediction mode candidate list from among the intra prediction modes derived by such DIMD to one. In this case, the synthesis unit 205 derives the angular prediction mode that has the highest pixel value (luminance value) from the histogram.
  • the mode when the angular prediction mode with the highest pixel value (luminance value) (hereinafter referred to as 1st angular prediction mode) is pruned in the above-mentioned intra prediction mode candidate pruning process, the mode may be compared with existing intra prediction modes starting from the highest histogram, and those for which the two do not match may be registered.
  • luminance value luminance value
  • the process of deriving the intra prediction mode using DIMD may be terminated.
  • the number of intra prediction modes to be registered in the intra prediction mode candidate list among the intra prediction modes derived by DIMD may be limited to two.
  • the synthesis unit 205 derives the 1st angular prediction mode and the 2nd angular prediction mode that is next to the highest pixel value (luminance value) from the histogram.
  • the next highest histogram may be compared with the existing intra prediction mode, as in the above case, and the mode for which the two do not match may be registered, or the process of deriving the intra prediction mode using DIMD may be terminated.
  • the synthesis unit 205 may limit the adjacent reference pixels used in the above-mentioned DIMD histogram calculation to a specified area based on the division shape of the multiple line segment division mode (i.e., the angle of the multiple line segment division mode division line).
  • FIG. 14 shows a table for limiting the area of the template (adjacent reference pixels) referenced based on the division lines in the multiple line segment division mode in the template matching technology for the multiple line segment division mode disclosed in Non-Patent Document 2.
  • a and L in FIG. 14 indicate the top and left parts, respectively, of the block to be decoded.
  • a table of adjacent reference pixels defined (restricted) based on the division lines of the multiple line segment division mode disclosed in Non-Patent Document 2 is applied to the calculation of the DIMD histogram. This makes it possible to avoid using all adjacent reference pixels adjacent to the block to be decoded in the calculation of the DIMD histogram, and to derive angular prediction using adjacent reference pixels that exist only in the direction of the division lines of the multiple line segment division mode. This reduces the processing load of deriving the intra prediction mode by DIMD for inter prediction in the multiple line segment division mode.
  • the synthesis unit 205 may derive the intra prediction mode by DIMD by using only the reference pixel area that faces across the left or top block boundary of the block to be decoded for small area A or small area B divided in a multiple line segment division mode, as shown in FIG. 15.
  • the synthesis unit 205 may derive an intra prediction mode by DIMD using all reference pixels, as shown in FIG. 15(c).
  • FIG. 16 is a diagram showing an example of a method for deriving an intra prediction mode based on adjacent reference pixels for normal intra prediction according to Non-Patent Document 3, and an example of a method 2 for deriving an intra prediction mode based on adjacent reference pixels for a geometric partitioning mode according to this embodiment, which is an application of such a derivation method.
  • these derivation methods are collectively referred to as "Template-based Intra Mode Derivation (TIMD)."
  • Non-Patent Document 3 in TIMD, as shown in FIG. 16, the SATD (sum of absolute transformed difference) of adjacent reference pixels (hereinafter, template) of a specific line adjacent to the block to be decoded and template-directed intra prediction pixels (hereinafter, template-directed intra prediction pixels) generated using the adjacent reference pixels for the template and a specific intra prediction mode is calculated, and the intra prediction modes with the smallest and second smallest SATD among the specific intra prediction modes are derived as the intra prediction modes for TIMD to generate intra prediction pixels.
  • template template-directed intra prediction pixels
  • the intra prediction mode used in calculating the SATD of the above-mentioned TIMD is an intra prediction mode included in the intra prediction mode candidate list for normal intra prediction.
  • the intra prediction mode candidate list for normal intra prediction does not include the vertical prediction mode, horizontal prediction mode, and DC prediction mode
  • the SATD is calculated while including these modes, and the intra prediction mode is derived.
  • the synthesis unit 205 may derive the intra prediction mode by applying the TIMD disclosed in Non-Patent Document 3. In other words, the synthesis unit 205 does not perform synthesis/generation processing of intra prediction pixels using the derived multiple intra prediction modes.
  • intra-prediction pixels can be generated in one intra-prediction mode for the intra-prediction region in the multiple line segment partitioning mode (two intra-prediction regions in the case of Intra/Intra-multiple line segment partitioning mode), which avoids the increase in circuit size required for generating intra-prediction pixels in the multiple line segment partitioning mode in a hardware-implemented image decoding device, while allowing intra-prediction that reflects textures such as edges that are suitable for the partitioning shape of the multiple line segment partitioning mode to be applied by analyzing the histogram of adjacent reference pixels of the block to be decoded, thereby improving intra-prediction performance and, as a result, improving coding performance can be expected.
  • the decoding unit 201 may be configured to determine whether or not to derive an intra prediction mode by decoding or estimating a flag that determines whether or not TIMD is applicable.
  • the synthesis unit 205 may be configured to register an intra prediction mode derived by TIMD if the same intra prediction mode is not already included in the intra prediction mode candidate list for the multiple line segment partition mode, and to not register an intra prediction mode derived by TIMD if the same intra prediction mode is already included in the intra prediction mode candidate list for the multiple line segment partition mode.
  • This configuration makes it possible to avoid the same intra prediction mode being registered multiple times in the intra prediction mode candidate list.
  • intra prediction mode candidate pruning process the process of comparing a new intra prediction mode with existing intra prediction modes when registering the new intra prediction mode in the intra prediction mode candidate list and pruning the new intra prediction mode if the two match.
  • the synthesis unit 205 may limit the number of intra prediction modes to be registered in the intra prediction mode candidate list from among the intra prediction modes derived by TIMD to one. In such a case, the synthesis unit 205 derives the intra prediction mode (angular prediction) with the smallest SATD cost from the SATD calculation.
  • the DC prediction mode may be excluded from the calculation of SATD.
  • DC prediction which generates intra-predicted pixels using all of the adjacent reference pixels adjacent to the block to be decoded, may generate intra-predicted pixels that cannot properly reflect textures such as edges that correspond to the division shape of the multiple line segment division mode. Therefore, by excluding DC prediction from the calculation of SATD in TIMD processing, it is possible to avoid deriving a DC prediction mode in TIMD.
  • the mode may be compared with existing intra prediction modes in ascending order of SATD cost, and those for which the two do not match may be registered.
  • the process of deriving intra prediction modes using TIMD may be terminated.
  • the number of intra prediction modes to be registered in the intra prediction mode candidate list among the intra prediction modes derived by TIMD may be limited to two.
  • the synthesis unit 205 derives the 1st angular prediction mode and the 2nd angular prediction mode that is the next lowest SATD cost from the SATD costs.
  • the mode with the next lowest SATD cost may be compared with the existing intra prediction mode, as in the above case, and the mode for which the two do not match may be registered, or the process of deriving the intra prediction mode using TIMD may be terminated.
  • the synthesis unit 205 may limit the adjacent reference pixels used in calculating the above-mentioned TIMD histogram to a specified area based on the division shape of the multiple line segment division mode (i.e., the angle of the multiple line segment division mode division line).
  • a table of adjacent reference pixel areas defined based on the division lines of the multiple line segment division mode disclosed in Non-Patent Document 2 shown in FIG. 14 is applied to the calculation of SATD in TIMD processing. This makes it possible to avoid using all adjacent reference pixels adjacent to the block to be decoded in the calculation of SATD in TIMD processing, and to derive angular prediction using adjacent reference pixels that exist only in the direction of the division lines of the multiple line segment division mode, thereby reducing the load of the process of deriving intra prediction mode by TIMD for inter prediction in multiple line segment division mode.
  • the synthesis unit 205 may be configured not to perform any processing beyond the calculation of the SATD of an intra prediction mode if the intra prediction mode that is the same as the intra prediction mode used to calculate the SATD in the TIMD processing is already registered in the intra prediction mode candidate list.
  • the synthesis unit 205 may derive the intra prediction mode using TIMD by using only the reference pixel area that faces across the left or top block boundary of the block to be decoded for small area A or small area B divided in a multiple line segment division mode, as shown in FIG. 15.
  • the synthesis unit 205 may derive an intra prediction mode by TIMD using all reference pixels, as shown in FIG. 15(c).
  • FIG. 17 is a diagram showing an example of a method of deriving an intra prediction mode based on adjacent reference blocks for normal intra prediction according to Non-Patent Document 1 and Non-Patent Document 2, and a method of deriving an intra prediction mode based on adjacent reference blocks for a geometric partitioning mode according to this embodiment to which such a derivation method is applied.
  • these derivation methods are collectively referred to as "BIMD (Block-based Intra Mode Derivation)."
  • Non-Patent Document 3 in BIMD, as shown in FIG. 17, the intra prediction mode of an adjacent reference block at a predetermined position adjacent to the block to be decoded is derived as the intra prediction mode of BIMD to generate intra prediction pixels.
  • the intra prediction mode of the adjacent reference block derived here if the adjacent reference block is an intra prediction block, the intra prediction mode of the adjacent reference block is referenced as is, but if the adjacent reference block is an inter prediction block or an inter prediction block and a multiple line segment partitioning mode applied block to which intra prediction is applied, the intra prediction mode stored in 4x4 subblock pixel units described later is referenced.
  • Non-Patent Document 1 and Non-Patent Document 2 the adjacent reference blocks referenced in the above-mentioned BIMD are set to the left (A0), bottom left (A1), top (B0), top right (B1), and top left (B2) of the block to be decoded, as shown in FIG. 17.
  • the synthesis unit 205 may derive the intra prediction mode by applying BIMD disclosed in Non-Patent Document 1 and Non-Patent Document 2. In other words, the synthesis unit 205 does not perform synthesis/generation processing of intra prediction pixels using the derived multiple intra prediction modes.
  • an intra prediction mode can be selected from an intra prediction mode candidate list that may include intra prediction modes of adjacent reference blocks of the block to be decoded, and intra prediction pixels can be generated. This makes it possible to apply intra prediction that reflects textures such as edges that are suitable for the partitioning shape of the multiple line segment partitioning mode, improving intra prediction performance and, as a result, improving coding performance.
  • the synthesis unit 205 may be configured to register an intra prediction mode derived by BIMD if the same intra prediction mode is not already included in the intra prediction mode candidate list for the multiple line segment division mode, and to not register an intra prediction mode derived by BIMD if the same intra prediction mode is already included in the intra prediction mode candidate list for the multiple line segment division mode.
  • This configuration makes it possible to avoid the same intra-prediction mode being registered multiple times in the intra-prediction mode candidate list.
  • intra prediction mode candidate pruning process the process of comparing the consistency of a new intra prediction mode with existing intra prediction modes when registering the new intra prediction mode in the intra prediction mode candidate list and pruning the new intra prediction mode if the two match.
  • the synthesis unit 205 may be configured not to register the intra prediction mode derived by BIMD in the intra prediction mode candidate list if the intra prediction mode is a DC prediction mode.
  • DC prediction which generates intra-predicted pixels using all of the adjacent reference pixels adjacent to the block to be decoded, may generate intra-predicted pixels that cannot properly reflect textures such as edges that correspond to the division shape of the multiple line segment division mode. Therefore, by excluding DC prediction from the intra-prediction modes of BIMD, it is possible to prevent the DC prediction mode from being used to generate intra-predicted pixels.
  • the order of the maximum five adjacent reference blocks shown in FIG. 17 to be referenced may be configured in the same manner as in Non-Patent Document 1 and Non-Patent Document 2. Note that since the reference order is disclosed in Non-Patent Document 1 and Non-Patent Document 2, a detailed description thereof will be omitted in this embodiment.
  • a table of adjacent reference pixel areas defined (restricted) based on the division lines of the multiple line segment division mode disclosed in Non-Patent Document 2 shown in FIG. 14 is applied to the reference of adjacent reference blocks in BIMD.
  • the intra prediction mode can be derived by referring only to the intra prediction mode (angular prediction) of adjacent reference blocks that exist only in the direction of the division lines of the multiple line segment division mode, while avoiding referring to the intra prediction modes of all adjacent reference blocks adjacent to the block to be decoded. This reduces the load of the process of deriving the intra prediction mode by BIMD for inter prediction in multiple line segment division mode.
  • the synthesis unit 205 may uniquely apply the intra prediction mode described above, or may select an intra prediction mode to actually be applied from multiple different intra prediction mode candidates included in the intra prediction mode candidate list depending on the control information.
  • An example of a configuration of different intra prediction modes included in the intra prediction mode candidate list is shown below.
  • an angle prediction mode parallel to the division line (Parallel) and an angle prediction mode perpendicular to the division line (Perpendicular) are denoted.
  • Configuration example 1. DIMD ⁇ Parallel (or Perpendicular) Configuration example 2.
  • TIMD ⁇ Parallel (or Perpendicular) Configuration example 3.
  • BIMD ⁇ Parallel (or Perpendicular) Configuration example 4: DIMD ⁇ TIMD ⁇ Parallel (or Perpendicular) Configuration example 5.
  • configuration examples 1 to 3 are methods in which DIMD, TIMD, and BIMD are each combined with Parallel (or Perpendicular).
  • the intra prediction mode derived by Parallel can derive an intra prediction mode that reflects textures such as edges based on division lines more simply and directly than the intra prediction modes derived by DIMD, TIMD, and BIMD, but is less likely to derive a prediction mode with higher accuracy than DIMD, TIMD, and BIMD, which are based on analysis of adjacent reference pixels, so it is placed after these intra prediction mode candidates in the list.
  • configuration examples 4 and 5 are configuration examples in which the DIMD is placed before the TIMD or BIMD.
  • the reason for placing DIMD before TIMD is that the process of deriving intra prediction modes using DIMD is lighter than the process of deriving intra prediction modes using TIMD, which involves relatively heavy computational processes such as calculating SATD.
  • the reason for placing DIMD before BIMD is that although the process of deriving an intra prediction mode by DIMD, which includes histogram calculations, is not as light as deriving an intra prediction mode by BIMD, it is more likely that the intra prediction mode derived by DIMD will be able to derive an intra prediction mode that better reflects textures such as edges based on the GPM dividing lines through histogram calculations than the intra prediction mode derived by BIMD, and therefore is more likely to have a significant effect on improving intra prediction performance.
  • the TIMD is placed before the BIMD.
  • the reason for this placement is the same as the reason for placing the DIMD before the BIMD described above.
  • Configuration example 7 is a configuration example that combines all of GIMD, DIMD, TIMD, and BIMD, and for the reasons described above, it is expected that by deriving the intra prediction mode in this order, it is possible to more efficiently derive an intra prediction mode with high prediction performance.
  • the synthesis unit 205 starts each derivation process if the number of intra-prediction mode candidates included in the intra-prediction mode candidate list has not reached the maximum value of the intra-prediction mode candidate list size at the start of each intra-prediction mode derivation process for the above-mentioned geometric block partition mode, and does not start each derivation process if the number of candidates has reached the maximum value of the intra-prediction mode candidate list size.
  • This configuration makes it possible to avoid unnecessary intra-prediction mode derivation processing, and is expected to reduce the overall processing load on the synthesis unit 205.
  • the synthesis unit 205 in this embodiment may be configured not to register a specific intra-prediction mode if the intra-prediction mode candidate list already includes an identical prediction mode when the number of intra-prediction mode candidates included in the intra-prediction mode candidate list has not reached the maximum value of the intra-prediction mode candidate list size at the time when the intra-prediction mode derivation process for the above-mentioned geometric block partition mode is completed.
  • the synthesis unit 205 may register an unregistered Perpendicular (or Parallel) mode. Alternatively, the synthesis unit 205 may register a Planar mode. Alternatively, the synthesis unit 205 may register a DC mode. Alternatively, the synthesis unit 205 may register an intra prediction mode near the intra prediction mode that is first registered in the intra prediction mode candidate list.
  • the intra prediction unit 204 saves the intra prediction mode applied to the small region A or the small region B divided in the multiple line segment division mode in units of sub-blocks of a predetermined size obtained by dividing the block to be decoded.
  • the predetermined size may be, for example, the minimum size of a coding block, a prediction block, or a transformation block.
  • the predetermined size may be a fixed size, such as 2x2 pixels or 4x4 pixels.
  • the intra prediction mode in the blending region can be accurately stored.
  • the intra prediction unit 204 may store the intra prediction mode of both small area A and small area B for a subblock that is within the blending region. Alternatively, the intra prediction unit 204 may store only the corresponding intra prediction mode depending on whether the subblock belongs to small area A or small area B across the dividing line from the center coordinates of the subblock.
  • the motion compensation unit 208 stores the motion information (reference image list, reference image index, motion vector) applied to the small area A or small area B divided in the multiple line segment division mode in units of subblocks of a predetermined size into which the block to be decoded is divided.
  • the predetermined size may be, for example, the minimum size of a coding block, a prediction block, or a transformation block.
  • the predetermined size may be a fixed size, such as 2x2 pixels or 4x4 pixels.
  • the motion compensation unit 208 may store motion information for both small area A and small area B for a subblock within the blending region. Alternatively, the motion compensation unit 208 may store only the motion information corresponding to whether the subblock belongs to small area A or small area B across the dividing line from the center coordinates of the subblock.
  • the motion compensation unit 208 may generate and store a new motion vector by weighting and averaging each motion vector according to the distance between the frame in question and each reference frame, as in the bi-prediction disclosed in Non-Patent Document 1.
  • the motion compensation unit 208 may store only the motion vector of small area B. Alternatively, in the same case, the motion compensation unit 208 may store only the motion vector of small area A.
  • the synthesis unit 205 may rearrange the multiple line segment division modes associated with the decoded values of the control information cu_div_idx for identifying the multiple line segment division mode by template matching as disclosed in Non-Patent Document 2.
  • the synthesis unit 205 compares the error (for example, SAD: Sum of Absolute Difference) of adjacent pixels (templates) of the block to be decoded and the reference block for all multiple line segment division modes.
  • the synthesis unit 205 performs a weighted average by extending the division line to the adjacent pixels.
  • the synthesis unit 205 applies the intra prediction mode to reference pixels that are one or more lines ahead of the adjacent reference pixels of the block to be decoded to generate adjacent pixels, and compares the SAD of the generated adjacent pixels with that of the adjacent pixels of the block to be decoded.
  • the synthesis unit 205 rearranges the multiple line segment division modes associated with the decoded values of cu_div_idx in ascending order of SAD, making it possible to use multiple line segment division modes with high prediction accuracy with smaller decoded values (code lengths), resulting in improved coding efficiency.
  • the synthesis unit 205 may not only rearrange the multiple line segment division modes associated with the decoded values of cu_div_idx in ascending order of SAD, but may also remove the multiple line segment division modes from the candidates that can be selected when a predetermined number of SADs have been reached in ascending order of SAD.
  • the predetermined number may be set to half the number of selectable multiple line segment division mode candidates, or half the total number of multiple line segment division modes plus geometric division modes.
  • the image decoding device 200 performs decoding by dividing each unit block into small regions each made up of multiple line segments, thereby improving the coding efficiency.
  • the above embodiment illustrates a case where all small regions are divided so as to include the sides of the block to be decoded, but the present invention is not limited to such a case and can also be applied to a case where at least one small region is divided so as not to include the sides of the block to be decoded (i.e., a case where at least one small region is divided so as not to contact the perimeter of the block to be decoded).
  • the image decoding device 200 described above may be realized as a program that causes a computer to execute each function (each process).
  • Image decoding device 201... Decoding section 202... Inverse quantization section 203... Inverse transform section 204... Intra prediction section 205... Combining section 206... Adder 207... Storage section 208... Motion compensation section 210... Code input section 220... Image output section

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明に係る画像復号装置２００は、復号済み画素と制御情報とに基づいて第１予測画素を生成するイントラ予測部２０４と、蓄積された復号済み画素と制御情報とに基づいて第２予測画素を生成する動き補償部２０８と、制御情報に基づいて、第１予測画素及び第２予測画素の少なくとも一方を含む任意の組み合わせを、複数の線分で分割された小領域にそれぞれ合成して第３予測画素とする合成部２０５と、第１予測画素、第２予測画素及び第３予測画素のいずれかと予測残差とを加算して復号済み画素を得る加算器２０６とを具備する。

Description

画像復号装置、画像復号方法及びプログラム
　本発明は、画像復号装置、画像復号方法及びプログラムに関する。
　非特許文献１～３には、幾何学分割モード（ＧＰＭ：Ｇｅｏｍｅｔｒｉｃ　Ｐａｒｔｉｔｉｏｎｉｎｇ　Ｍｏｄｅ）が開示されている。ＧＰＭは、矩形ブロックを斜めの分割線で２分割し、分割された２つの小領域のそれぞれに対して動き補償（インター予測）或いはイントラ予測を行う。
　具体的には、ＧＰＭでは、分割された小領域のそれぞれの動きベクトル又はイントラ予測モードによる動き補償（インター予測）画素及びイントラ予測画素が生成された後、それら２つの予測画素が分割線からの距離に応じた重み付き平均により合成される。
ＩＴＵ-Ｔ　Ｈ.２６６/ＶＶＣ Ａｌｇｏｒｉｔｈｍ　ｄｅｓｃｒｉｐｔｉｏｎ　ｏｆ　Ｅｎｈａｎｃｅｄ　Ｃｏｍｐｒｅｓｓｉｏｎ　Ｍｏｄｅｌ　５（ＥＣＭ　５） ＥＥ２-２.７：ＧＰＭ　ａｄａｐｔｉｖｅ　ｂｌｅｎｄｉｎｇ（ＪＶＥＴ-Ｚ００５９、ＪＶＥＴ-Ｚ０１３７）、ＪＶＥＴ-ＡＡ００５８
　非特許文献１及び非特許文献２の幾何学分割モードによる矩形ブロックの分割方法は、１本の直線で定義され、異なる角度と位置との組み合わせで、予め６４種類の分割方法が設定されている。
　例えば、復号対象ブロックに前景と背景との境界が含まれている場合、境界が１直線であれば２つの小領域に分離でき、それぞれに適した予測方式により高効率符号化が実現できる。
　しかしながら、境界が１直線でない場合等は、符号化性能の向上には改善の余地があるという問題点があった。　そこで、本発明は、上述の課題に鑑みてなされたものであり、符号化効率の高い画像復号装置、画像復号方法及びプログラムを提供することを目的とする。
　本発明の第１の特徴は、画像復号装置であって、制御情報並びに量子化値を復号する復号部と、前記量子化値を逆量子化して変換係数とする逆量子化部と、前記変換係数を逆変換して予測残差とする逆変換部と、復号済み画素と前記制御情報とに基づいて第１予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する蓄積部と、前記蓄積された復号済み画素と前記制御情報とに基づいて第２予測画素を生成する動き補償部と、前記制御情報に基づいて、前記第１予測画素及び前記第２予測画素の少なくとも一方を含む任意の組み合わせを、複数の線分で分割された小領域にそれぞれ合成して第３予測画素とする合成部と、前記第１予測画素、前記第２予測画素及び前記第３予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る加算器とを具備することを要旨とする。
　本発明の第２の特徴は、画像復号方法であって、制御情報並びに量子化値を復号する工程と、前記量子化値を逆量子化して変換係数とする工程と、前記変換係数を逆変換して予測残差とする工程と、復号済み画素と前記制御情報とに基づいて第１予測画素を生成する工程と、前記復号済み画素を蓄積する工程と、前記蓄積された復号済み画素と前記制御情報とに基づいて第２予測画素を生成する工程と、前記制御情報に基づいて、前記第１予測画素及び前記第２予測画素の少なくとも一方を含む任意の組み合わせを、複数の線分で分割された小領域にそれぞれ合成して第３予測画素とする工程と、前記第１予測画素、前記第２予測画素及び前記第３予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る工程とを有することを要旨とする。
　本発明の第３の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、制御情報並びに量子化値を復号する復号部と、前記量子化値を逆量子化して変換係数とする逆量子化部と、前記変換係数を逆変換して予測残差とする逆変換部と、復号済み画素と前記制御情報とに基づいて第１予測画素を生成するイントラ予測部と、前記復号済み画素を蓄積する蓄積部と、前記蓄積された復号済み画素と前記制御情報とに基づいて第２予測画素を生成する動き補償部と、前記制御情報に基づいて、前記第１予測画素及び前記第２予測画素の少なくとも一方を含む任意の組み合わせを、複数の線分で分割された小領域にそれぞれ合成して第３予測画素とする合成部と、前記第１予測画素、前記第２予測画素及び前記第３予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る加算器とを具備することを要旨とする。
　本発明によれば、符号化効率の高い画像復号装置、画像復号方法及びプログラムを提供することができる。
図１は、一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。 図２は、小領域分割として、幾何学分割モード（ＧＰＭ）を用いたケースの一例について示す図である。 図３は、Ｎ=２本の線分で復号対象ブロックを分割したケースの一例を示す図である。 図４は、Ｎ＝３本の線分で復号対象ブロックを分割したケースの一例を示す図である。 図５は、選択可能な復号対象ブロックの分割形状の例を示す図である。 図６は、選択可能な復号対象ブロックの分割形状の例を示す図である。 図７は、図２に示す小領域Ｂの分割境界に割り当てる３パターンの重み係数の一例を示す図である。 図８は、復号対象ブロックに対して垂直方向及び水平方向２本の分割線で分割境界が構成され、それら２つの分割線（分割線１と分割線２）からの距離に応じて予測画素単位で合成予測が行われるケースの一例を示す図である。 図９は、分割線１及び分割線２に対するブレンディング領域の一例について説明するための図である。 図１０は、シーケンス単位で複数線分分割モードの選別方法を設定する動作の一例について示すフローチャートである。 図１１は、ブロック単位で複数線分分割モードの選別方法を設定する動作の一例について示すフローチャートである。 図１２は、分割線１に対して平行な角度予測モードを適用するケースの一例を示す図である。 図１３は、本実施形態に係るイントラ予測モード導出方法について説明するための図である。 図１４は、本実施形態に係るイントラ予測モード導出方法について説明するための図である。 図１５は、本実施形態に係るイントラ予測モード導出方法について説明するための図である。 図１６は、本実施形態に係るイントラ予測モード導出方法について説明するための図である。 図１７は、非特許文献１及び非特許文献２に係る通常イントラ予測に対する隣接参照ブロックに基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照ブロックに基づくイントラ予測モードの導出方法の一例を示す図である 図１８は、ｃｕ_ｄｉｖ_ｉｄｘとｄｉｖＤｉｒｅｃｔｉｏｎＩｄｘとｄｉｖＬｏｃａｔｉｏｎＩｄｘとの対応付けの一例を示す図である。 図１９は、シーケンス単位で複数線分分割モードの選別方法を設定する動作の変更例について示すフローチャートである。 図２０は、ブロック単位で複数線分分割モードを含む分割モードの選別方法を設定する動作の変更例について示すフローチャートである。
　以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
＜第１実施形態＞
　以下、図１～図１８を参照して、本実施形態に係る画像復号装置２００について説明する。図１は、本実施形態に係る画像復号装置２００の機能ブロックの一例について示す図である。
　図１に示すように、画像復号装置２００は、符号入力部２１０と、復号部２０１と、逆量子化部２０２と、逆変換部２０３と、イントラ予測部２０４と、合成部２０５と、加算器２０６と、蓄積部２０７と、動き補償部２０８と、画像出力部２２０とを有する。
　符号入力部２１０は、画像符号化装置によって符号化された符号情報を取得するように構成されている。
　復号部２０１は、符号入力部２１０から入力された符号情報から、制御情報並びに量子化値を復号するように構成されている。例えば、復号部２０１は、かかる符号情報に対して可変長復号を行うことで制御情報及び量子化値を出力するように構成されている。
　ここで、量子化値は、逆量子化部２０２に送られ、制御情報は、イントラ予測部２０４、合成部２０５及び動き補償部２０８に送られる。なお、かかる制御情報は、イントラ予測部２０４、合成部２０５及び動き補償部２０８等の制御に必要な情報を含み、シーケンスパラメータセットやピクチャパラメータセットやピクチャヘッダやスライスヘッダ等のヘッダ情報を含んでもよい。
　逆量子化部２０２は、復号部２０１から送られた量子化値を逆量子化して復号された変換係数とするように構成されている。かかる変換係数は、逆変換部２０３に送られる。
　逆変換部２０３は、逆量子化部２０２から送られた変換係数を逆変換して復号された予測残差とするように構成されている。かかる予測残差は、加算器２０６に送られる。
　イントラ予測部２０４は、復号済み画素と復号部２０１から送られた制御情報とに基づいて第１予測画素を生成するように構成されている。ここで、復号済み画素は、加算器２０６を介して得られて蓄積部２０７に蓄積されるものである。なお、第１予測画素は、加算器２０６に送られる。
　蓄積部２０７は、加算器２０６から送られた復号済み画素を累積的に蓄積するように構成されている。かかる復号済み画素は、蓄積部２０７を介して動き補償部２０８からの参照を受ける。
　動き補償部２０８は、蓄積部２０７を参照して得られる復号済み画素及び復号部２０１で復号された制御情報に基づいて、加算器２０６で予測残差と加算するための第２予測画素を生成するように構成されている。生成された第２予測画素は、加算器２０６或いは合成部２０５へ送られる。
　加算器２０６は、復号済み画素等から生成された第１～第３予測画素のいずれかと、逆変換部２０３から送られる予測残差とを加算して復号済み画素を得るように構成されている。かかる復号済み画素は、画像出力部２２０、蓄積部２０７及びイントラ予測部２０４へ送られる。
　合成部２０５は、復号部２０１によって復号された制御情報に基づいて、上述の第１予測画素及び第２予測画素の少なくとも一方を含む任意の組み合わせを、複数の線分で分割された小領域にそれぞれ合成して第３予測画素とするように構成されている。
　以下、本実施形態に係る画像復号装置２００の特徴的な構成である合成部２０５について説明する。
　合成部２０５の役割は、後段の加算部２０６で復号済み画素を算出する際に、予測残差を少ない符号量で表現できるように復号対象ブロックを複数の小領域に分割（小領域分割）し、それぞれに対応する第１予測画素或いは第２予測画素を合成（合成予測）することで復号対象ブロックの画素を高精度に予測することにある。
　図２は、小領域分割として、幾何学分割モード（ＧＰＭ）を用いたケースの一例について示す。図２の例では、復号対象ブロックが、斜めの１直線で小領域Ａ及び小領域Ｂに分割されている。
　しかしながら、幾何学分割モードでは、分割が１直線に限定されるため、前景と背景との境界が複雑な場合に対応できず、符号化効率を十分に改善できないという問題がある。
（複数線分分割モードの基本概念）
　かかる問題を解決するため、本実施形態に係る画像復号装置２００では、合成部２０５が、復号対象ブロックをＮ（Ｎは、１より大きい自然数）本の線分で分割するという手順を取る。
　例えば、図３は、Ｎ=２本の線分で復号対象ブロックを分割したケースの一例を示し、図４は、Ｎ＝３本の線分で復号対象ブロックを分割したケースの一例を示す。
　このような複数（Ｎ本）の線分による復号対象ブロックの小領域分割及び合成予測を、以降では「複数線分分割モード」と記す。
　合成部２０５は、制御情報で、複数線分分割モードの分割種類について判定してもよい。詳細は、後述する。
　複数線分分割モードにおける線分の数Ｎを増やすことで予測精度を高められる効果が得られ、複数線分分割モードにおける線分の数Ｎを少なくすることで分割形状を表現する制御情報の符号量を抑制できる効果が得られる。
　合成部２０５は、複数線分分割モードにおける線分の数Ｎについて固定値に設定してもよい。例えば、合成部２０５は、上述のように、Ｎ＝２、Ｎ＝３、Ｎ＝４、Ｎ=５等を設定してもよい。
　合成部２０５は、復号対象ブロックの短辺の長さ、長辺の長さ、サイズ（面積）又は縦横比によらず、かかる固定値を共通の値に設定してもよい。
　或いは、合成部２０５は、復号対象ブロックの短辺の長さ、長辺の長さ、サイズ（面積）又は縦横比に基づいて、かかる固定値を異なる値に設定してもよい。
　また、合成部２０５は、複数線分分割モードにおける線分の数Ｎを可変に設定してもよい。例えば、合成部２０５は、複数線分分割モードにおける線分の数Ｎを可変に設定する場合は、復号対象ブロックの短辺の長さ、長辺の長さ、サイズ（面積）に比例させて、かかる線分の数Ｎを決定してもよい。
　また、合成部２０５は、分割形状を表現する制御情報の符号量を抑制するため、複数の線分の位置関係及び角度の少なくとも一方を限定してもよい。
　例えば、合成部２０５は、１本目の線分については、復号対象ブロックの水平方向（０度）或いは垂直方向（９０度）だけに限定してもよい。さらに、合成部２０５は、ｎ＋１本目の線分については、ｎ本目の線分に対して垂直方向（９０度）のみに限定してもよい。　
　ただし、復号対象ブロックを田の字に４等分するような分割形状は、非特許文献１で開示されている再帰的な矩形のブロック分割（四分木・二分木・三分木分割）で実現できるため、合成部２０５は、かかる既存のブロック分割で実現可能な配置については選択できないように限定することが望ましい。
　かかる限定を適用することは、例えば、複数線分分割モードにおける線分の数Ｎ＝２の場合は、図５に示す複数の分割点で水平方向及び垂直方向に分割するパターン（３２パターン）の中から、復号対象ブロックの分割形状（複数の線分）を選択することに相当する。
　或いは、かかる限定を適用することは、１本目の線分が、水平方向（０度）及び垂直方向（９０度）に加えて斜め方向（４５度）となり得る場合は、図５に示すパターン及び図６に示す斜め方向に分割するパターンの中から、復号対象ブロックの分割形状（複数の線分）を選択することに相当する。
　ここで、上述の限定を少なくすることで予測精度を高められる効果が得られ、上述の限定を多くすることで分割形状を表現する制御情報の符号量を削減できる効果が得られる。
　合成部２０５は、上述の限定方法について、固定的に設定することもできるし可変的に設定することもできる。
　また、合成部２０５は、復号対象ブロックの大きさ（短辺の長さ、長辺の長さ、サイズ（面積）又は縦横比等）に応じて異なる限定を設定することができる。
　例えば、図５に示す分割点について、かかる分割点を一定画素数ごとに配置すると、分割点の数は、復号対象ブロックの辺の長さに比例する。
　逆に、合成部２０５は、かかる分割点の配置を変更することで、復号対象ブロックの大きさに依存せず、分割点の数を固定的に設定することができる。
　例えば、合成部２０５は、復号対象ブロックの縦方向或いは横方向に固定的にＫ個（Ｋは、自然数）の分割点の数を配置する場合、復号対象ブロックの辺の長さＬ（Ｌは、自然数）と画素との比率として、Ｌ/（Ｋ＋１）画素ごとに分割点を配置してもよい。
　ここで、Ｌは、非特許文献１のように、４、８、１６、３２、６４又は１２８のように、４以上の２のべき乗の自然数であってもよい。同様に、Ｋも、４、８、１６、３２、６４又は１２８のように、４以上の２のべき乗の自然数であってもよい。
　また、Ｋの取りうる値については、Ｌ/（Ｋ＋１）画素が４、８、１６、３２、６４又は１２８のように、４以上の２のべき乗の自然数になるように制限してもよい。
　また、合成部２０５は、復号対象ブロックの縦横比が異なる場合、復号対象ブロックの縦及び横の辺（縦幅と横幅）に対して、異なるＫ個の分割点を設定してもよい。
　また、合成部２０５は、図５の復号対象ブロックの中心を分割点に含めてもよい。
　分割点の数を増やすことで予測精度を高められる効果が得られ、分割点の数を減らすことで分割形状を表現する符号量を削減できる効果が得られる。
（複数線分分割モードにおける第３予測画素の生成方法）
　以降で、複数線分分割モードにおける合成部２０５による第３予測画素の生成方法について説明する。
　合成部２０５は、複数線分分割された復号対象ブロックの小領域Ａ及び小領域Ｂに対するそれぞれの予測画素を分割線の距離に応じて重み付け平均（すなわち、合成予測）するように構成されている。
　かかる小領域Ａ及び小領域Ｂの予測画素の種類は、非特許文献１で開示されている幾何学分割モードのように異なるインター予測画素の組み合わせであってもよいし、非特許文献２で開示されている幾何学分割モードイントラ予測のようにインター予測画素とイントラ予測画素との組み合わせであってもよいし、異なるイントラ予測画素の組み合わせであってもよい。
　ここで、異なるインター予測画素は、異なる動きベクトルに基づき生成され、異なるイントラ予測画素は、異なるイントラ予測モードで生成される。
　合成部２０５による小領域Ａと小領域Ｂとの合成予測については、非特許文献１や非特許文献３で開示されている幾何学分割モードの合成予測向けに使用されているような分割線からの距離に応じた重み付け平均を使用できる。
　複数の予測画素に対する重み係数の合計値は、画素ごとに１になるように設計しておき、かかる重み係数を用いて複数の予測画素を重み付け平均により合成した結果を合成部２０５による予測画素とする。
　ここで、重み係数を１（すなわち、最大値）とした画素は、当該入力予測画素を採用し、重み係数を０（すなわち、最小値）とした画素は、当該入力予測画素を用いないことになるため、概念としては、単位ブロックを複数の小領域に分割することに相当し、複数の入力予測画素のどの画素をどの割合でどこに適用するかを決定することになる。
　図７は、図２に示す小領域Ｂの分割境界に割り当てる３パターンの重み係数の一例を示す。図７の例では、分割境界（分割線）の位置から画素単位の距離を横軸とし、縦軸に重み係数を表す。
　具体的には、予め設定した分割境界の位置からの予測画素単位の距離ａ，ｂに対して［ａ，ｂ］の範囲に重み係数［０，１]を割り当てたパターン（１）と、同様に距離ａ，ｂをそれぞれ２倍にして［２ａ，２ｂ]の範囲に重み係数［０，１］を割り当てたパターン（２）と、同様に距離ａ，ｂをそれぞれ１/２倍にして［ａ/２，ｂ/２］の範囲に重み係数［０，１］を割り当てたパターン（３）とを用意している。
　これらは、重み係数が分割境界（分割線）からの距離ｄ（ｘｃ，ｙｃ）によって一意に定められるｘｃ,ｙｃとして規定される場合、非特許文献３で開示されている小領域の分割境界の幅、すなわち、重み係数が最小値又は最大値以外になる幅τに対して、限定パターン（固定値）ではなく複数パターン（可変値）を用意することに等しい。
　ここで、ｘｃ，ｙｃは、復号対象ブロック内の座標である。すなわち、合成部２０５は、分割境界からの画素間距離に応じて複数の重み係数を設定するように構成されていてもよい。
　なお、ａ＝ｂとして分割境界に対して対称的な重み係数を設定してもよい。すなわち、合成部２０５は、上述の重み係数として、分割境界に対して対称的な重み係数を設定するように構成されていてもよい。かかる構成によれば、ｂが不要になることから符号量を少なくことができる。
　また、ａ≠ｂとして分割境界に対して非対称な重み係数を設定してもよい。すなわち、合成部２０５は、上述の重み係数として、分割境界に対して非対称な重み係数を設定するように構成されていてもよい。かかる構成によれば、境界の両側で異なるボケ具合がある場合に、高精度に予測することができる。
　また、ａ及びｂの２個に限らず数を増やして複数の線分等で重み係数を設定することもできる。すなわち、合成部２０５は、分割境界からの画素間距離に応じて複数の線分で重み係数を設定するように構成されていてもよい。かかる構成によれば、非線形にボケが発生している場合に、高精度に予測することができる。
　このように、分割境界からの画素間距離に応じて複数の重み係数を設定することで、８×８や６４×１６等、様々なブロックサイズでも一律に導出できる効果が得られる。
　合成部２０５は、上述のパターンの種類、形状及び数については、任意に設定できる。
　例えば、上述の例では、複数パターンとして距離ａ，ｂの２倍と１/２倍を説明したが、４倍や１/４倍であってもよい。また、上式では、重み係数を０～８の値に設定したが、０～１６や０～３２等の他の値に設定することもできる。特に、分割境界からの画素間距離が２倍や４倍の場合は、重み係数の最大値を大きくすることで、画素単位の重み付け平均が高精度化できる。
　合成部２０５は、小領域Ａ及び小領域Ｂに対する複数の重み係数（ブレンディング領域の幅、重み係数の最大値及び最小値）の設定について、復号部２０１から送られた制御情報に基づいて、予め用意された組み合わせの中から選択してもよい。
　例えば、合成部２０５は、非特許文献３に開示されているように、かかる制御情報を用いて、予め用意された複数パターン（非特許文献３では、１/４倍幅、１/２倍幅、１倍幅、２倍幅及び４倍幅の５パターン）から、上述の重み係数を選択してもよい。
　或いは、合成部２０５は、非特許文献３で開示されているように、制御情報を用いつつ、復号対象ブロックのサイズ、短辺の長さ、長辺の長さ又はアスペクト比に応じて、予め用意された複数パターンの候補から選択可能な候補を削減した後、制御情報が示すブレンディング幅を選択してもよい。
　ここで、複数線分分割モードでは、非特許文献１～３で開示されている幾何学分割モード向けの合成予測とは異なり、小領域を分割する分割境界（分割線）が複数存在するため、それらの複数の分割線に対して合成予測が行われる。
　図８は、図５に示すように、復号対象ブロックに対して垂直方向及び水平方向２本の分割線で分割境界が構成され、それら２つの分割線（分割線１と分割線２）からの距離に応じて予測画素単位で合成予測が行われるケースの一例を示す。
　これらの複数の分割線に対する合成予測に対して、合成部２０５は、共通の重み付き平均を適用してもよい。
　或いは、合成部２０５は、前述した異なる重み係数の最大値及び分割線からの距離で構成される重み付き平均を適用してもよい。
　さらに、合成部２０５は、復号対象ブロックの短辺の長さ、長辺の長さ、縦横比、サイズ（画素数）又は分割モードの種類の少なくとも１つに応じて、複数の重み係数の中から重み係数を選択するように構成されていてもよい。
　或いは、合成部２０５は、小領域Ａ又は小領域Ｂにイントラ予測が適用される場合、そのイントラ予測モードの種類に応じて、複数の重み係数の中から重み係数を選択するように構成されていてもよい。
　或いは、合成部２０５は、複数線分分割モードによって、復号対象ブロック内で区分される小領域Ａ又は小領域Ｂのサイズ（画素数）に応じて、複数の重み係数の中から重み係数を選択するように構成されていてもよい。
　或いは、合成部２０５は、分割線の大きさ（画素数）に応じて、複数の重み係数の中から重み係数を選択するように構成されていてもよい。
　或いは、合成部２０５は、分割線の方向が、復号対象ブロックに対して水平方向又は垂直方向である場合、同じ方向の復号対象ブロックの辺との比率に応じて、複数の重み係数の中から重み係数を選択するように構成されていてもよい。
　また、複数線分分割モードでは、分割境界を構成する線分が複数存在する性質上、重み付き平均における重み係数が最大値或いは最小値である領域、すなわち、異なる複数の予測画素が合成予測される領域（ブレンディング領域）が各分割線の垂直方向に重複する場合がある。
　図９は、分割線１及び分割線２に対するブレンディング領域（図９（ａ）における灰色の領域）の一例について説明するための図である。
　図９（ａ）に示すように、分割線１及び分割線２に対するブレンディング領域が重複する領域（以下、重複ブレンディング領域）が破線の枠で示される。
　また、図９（ｂ）に、分割線１に関して小領域Ａの予測画素に適用する重み係数Ｗ_１Ａの例、及び、分割線２に関して小領域Ａの予測画素に適用する重み係数Ｗ_２Ａの例を示す。
　それぞれの小領域Ｂに対する重み係数Ｗ_１Ｂ及び重み係数Ｗ_２Ｂは、重み係数の最大値からＷ_１Ａ及びＷ_２Ａを差し引いた値を取る。
　合成部２０５は、ブレンディング領域及び重複ブレンディング領域の第３予測画素を、図９（ｃ）の計算例１に示すように、重み係数の各要素Ｗ_１Ａ及びＷ_２Ａの最小値を選択して新たに生成される重み係数を用いて予測合成してもよい。
　或いは、合成部２０５は、ブレンディング領域及び重複ブレンディング領域の第３予測画素を、図９（ｃ）の計算例２に示すように、重み係数の各要素Ｗ_１Ａ及びＷ_２Ａの積を算出して新たに生成される重み係数を用いて予測合成してもよい。
（複数線分分割モードの適用可不可及び分割種類の判定方法）
　以降で、復号部２０１によって復号される制御情報について説明する。
　画像復号装置２００に入力される符号情報は、シーケンス単位の制御情報をまとめたシーケンスパラメータセット（ＳＰＳ）を含むことができる。また、かかる符号情報は、ピクチャ単位の制御情報をまとめたピクチャパラメータセット（ＰＰＳ）或いはピクチャヘッダ（ＰＨ）を含むことができる。さらに、かかる符号情報は、スライス単位の制御情報をまとめたスライスヘッダ（ＳＨ）を含んでもよい。
　図１０を参照して、シーケンス単位で複数線分分割モードの選別方法を設定する動作の一例について述べる。
　図１０に示すように、ステップＳ１０１において、復号部２０１は、シーケンスパラメータセットで、ｓｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇが１であるか否かについて判定する。
　ここで、ｓｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇは、分割モードの有無を制御するシンタックスであり、ｓｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇが１である場合は、分割モードが有効であることを示し、ｓｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇが０である場合は、分割モードが無効であることを示す。
　ｓｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇが１である場合、本動作は、ステップＳ１０２に進み、ｓｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇが０である場合、本動作は、終了する。
　ステップＳ１０２において、復号部２０１は、ｓｐｓ_ｄｉｖ_ｍｕｌｔｉ_ｆｌａｇを復号する。
　ここで、ｓｐｓ_ｄｉｖ_ｍｕｌｔｉ_ｆｌａｇは、複数線分分割モードの有無を制御するシンタックスであり、ｓｐｓ_ｄｉｖ_ｍｕｌｔｉ_ｆｌａｇが１である場合は、複数線分分割モードが有効（Ｎ＞１）であることを示し、ｓｐｓ_ｄｉｖ_ｍｕｌｔｉ_ｆｌａｇが０である場合は、数線分分割モードが無効（Ｎ＝１）であることを示す。
　ｓｐｓ_ｄｉｖ_ｍｕｌｔｉ_ｆｌａｇが１である場合、本動作は、ステップＳ１０３に進み、ｓｐｓ_ｄｉｖ_ｍｕｌｔｉ_ｆｌａｇが０である場合、本動作は、終了する。
　ステップＳ１０３において、復号部２０１は、ｓｐｓ_ｄｉｖ_ｍｕｌｔｉ_ｍｏｄｅを復号する。ここで、ｓｐｓ_ｄｉｖ_ｍｕｌｔｉ_ｍｏｄｅは、複数線分分割モードを制御するシンタックスである。
　ｓｐｓ_ｄｉｖ_ｍｕｌｔｉ_ｍｏｄｅを用いることで、シーケンス単位で画像特性に応じた複数線分分割モードの設定を変更できるため、符号化効率を最大化する効果が期待できる。
　例えば、ＣＧで構成されるシーケンスに対しては水平方向及び垂直方向を含む境界が多いので直角からなる分割種類に限定するように設定でき、自然画像で構成されるシーケンスに対しては分割種類の限定を緩和するように設定できるため、符号化効率の最大化が図れる。
　ピクチャ単位で境界幅候補の選別方法を設定する場合は、復号部２０１は、ｐｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇ、ｐｐｓ_ｄｉｖ_ｍｕｌｔｉ_ｆｌａｇ及びｐｐｓ_ｄｉｖ_ｍｕｌｔｉ_ｍｏｄｅを、ピクチャパラメータセット或いはピクチャヘッダで同様に復号する。
　ｐｐｓ_ｄｉｖ_ｍｕｌｔｉ_ｍｏｄｅを用いることで、ピクチャ単位で画像特性に応じた複数線分分割モードの設定を変更できるため、符号化効率を最大化する効果が期待できる。
　例えば、ＣＧで構成されるピクチャに対しては直角からなる分割種類に限定するように設定でき、自然画像で構成されるピクチャに対しては分割種類の限定を緩和するように設定できるため、符号化効率の最大化が図れる。
　スライス単位で境界幅候補の選別方法を設定する場合は、復号部２０１は、ｓｈ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇ、ｓｈ_ｄｉｖ_ｍｕｌｔｉ_ｆｌａｇ及びｓｈ_ｄｉｖ_ｍｕｌｔｉ_ｍｏｄｅを、スライスヘッダで同様に復号する。
　ｓｈ_ｄｉｖ_ｍｕｌｔｉ_ｍｏｄｅを用いることで、スライス単位で画像特性に応じた複数線分分割モードの設定を変更できるため、符号化効率を最大化する効果が期待できる。
　例えば、ＣＧで構成される部分画像が含まれるスライス領域に対しては直角からなる分割種類に限定するように設定でき、自然画像が含まれるスライス領域に対しては分割種類の限定を緩和するように設定できるため、符号化効率の最大化が図れる。
　上位層でのみ設定することで符号量の増大を抑制することもできるし、下位層でも設定した上で下位層での設定を優先することで適応的な制御ができる。
　或いは、複数線分分割モードが事前に設定されている場合は、複数線分分割モードの復号自体を省略することができる。
　なお、上述の例では、シーケンス単位、ピクチャ単位或いはスライス単位で、複数線分分割モードを設定する方法を述べたが、これらを設定せずに、後述のブロック単位で、直接、複数線分分割モードを設定してもよい。
　この場合、複数線分分割モードの設定の自由度が低下するが、上述のヘッダ情報の増加を回避できる。
　図１９を参照して、シーケンス単位で複数線分分割モードの選別方法を設定する動作の変更例について述べる。
　図１９に示すように、図１９と図１０との差異は、ステップＳ１０４が含まれる点にある。
　ステップ１０４において、復号部２０１は、シーケンスパラメータセットで、後述するテンプレートマッチングに基づく分割モードを特定するためのｃｕ_ｄｉｖ_ｉｄｘ（制御情報）の復号値に対応付けられる分割モードの並び替えに関する技術（以下、テンプレートに基づく分割モード添え字並び替え）が有効であるか否かを、シーケンス単位で制御するｓｐｓ_ｄｉｖ_ｔｅｍｐｌａｔｅ_ｒｅｏｒｄｅｒｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇ（制御情報）が１であるか否かによって判定する。
　ここで、ｓｐｓ_ｄｉｖ_ｔｅｍｐｌａｔｅ_ｒｅｏｒｄｅｒｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇが１である場合は、テンプレートに基づく分割モード添え字並び替えが有効であることを示し、ｓｐｓ_ｄｉｖ_ｔｅｍｐｌａｔｅ_ｒｅｏｒｄｅｒｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇが０である場合は、テンプレートに基づく分割モード添え字並び替えが無効であることを示す。
　なお、ｓｐｓ_ｄｉｖ_ｔｅｍｐｌａｔｅ_ｒｅｏｒｄｅｒｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇは、復号部２０１によりステップＳ１０４より前に復号されるか或いは復号されずに値が推定される。
　ｓｐｓ_ｄｉｖ_ｔｅｍｐｌａｔｅ_ｒｅｏｒｄｅｒｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇが復号されない場合は、復号部２０１は、ｓｐｓ_ｄｉｖ_ｔｅｍｐｌａｔｅ_ｒｅｏｒｄｅｒｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇの値を０と推定する。
　復号部２０１は、ｓｐｓ_ｄｉｖ_ｔｅｍｐｌａｔｅ_ｒｅｏｒｄｅｒｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇが１（Ｙｅｓ）である場合は、ステップＳ１０２に進む。ｓｐｓ_ｄｉｖ_ｔｅｍｐｌａｔｅ_ｒｅｏｒｄｅｒｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇが０（Ｎｏ）である場合は、本処理を終了する。
　詳細は後述するが、テンプレートに基づく分割モード添え字並び替えは、分割モード添え字の符号長を短縮する効果がある。そのため、テンプレートに基づく分割モード添え字並び替えが有効である場合にのみ、複数線分割モードを有効と判定することで、複数線分分割モードの種類或いは複数線分分割モードを含んだ分割モードの種類を対象ブロック単位で特定するためのｃｕ_ｄｉｖ_ｉｄｘの符号量を削減でき、結果として符号化性能の向上が期待できる。
　図１１を参照して、ブロック単位で複数線分分割モードの選別方法を設定する動作の一例について述べる。
　図１１に示すように、ステップＳ２０１において、復号部２０１は、ｓｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇ、ｐｐｓ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇ及びｓｈ_ｄｉｖ_ｅｎａｂｌｅｄ_ｆｌａｇのいずれかが１であるか否かについて判定する。
　いずれも１ではない場合、本動作は、終了し、いずれかが１である場合、本動作は、ステップＳ２０２に進む。
　ステップＳ２０２において、復号部２０１は、復号対象ブロックが分割モードであるか否かについて判断する。
　Ｙｅｓの場合、本動作は、ステップＳ２０３に進み、Ｎｏの場合、本動作は、終了する。
　ステップＳ２０３において、復号部２０１は、分割モードを表す制御信号であるｃｕ_ｄｉｖ_ｉｄｘを復号する。
　ｃｕ_ｄｉｖ_ｉｄｘは、復号対象ブロックに適用される最下層のｄｉｖ_ｍｕｌｔｉ_ｍｏｄｅで選別される複数線分分割モードの候補中の１つを特定するよう復号される。
　復号部２０５は、上述のｃｕ_ｄｉｖ_ｉｄｘを復号して、復号した値に応じて複数線分分割モードを特定する。
　例えば、図５に示す複数線分分割モードの３２パターンの分割モード候補に対応付けられた図１８に示すような３２パターンのｃｕ_ｄｉｖ_ｉｄｘの復号値が用意される。
　ｃｕ_ｄｉｖ_ｉｄｘの各復号値は、図５に示す複数線分分割モードのパターンを特定するための４パターンの分割方向（左上、右上、右下又は左下のいずれに分割境界（分割線で区分された領域）があるか）を示す内部パラメータであるｄｉｖＤｉｒｅｃｔｉｏｎＩｄｘ及び８パターンの分割点を決める内部パラメータであるｄｉｖＬｏｃａｔｉｏｎＩｄｘにそれぞれ対応する。
　この複数線分分割モードを非特許文献１の幾何学分割モードに追加適用する場合は、ｃｕ_ｄｉｖ_ｉｄｘを、幾何学分割モードを特定するｍｅｒｇｅ_ｇｐｍ_ｐａｒｔｉｔｉｏｎ_ｉｄｘの６４パターンの復号値が対応付けられたテーブルに追加することで実現できる。
　ｍｅｒｇｅ_ｇｐｍ_ｐａｒｔｉｔｉｏｎ_ｉｄｘは、幾何学分割モードの６４パターンの分割線を表現するための２０パターンの角度を表すａｎｇｌｅＩｄｘ及び４パターンの距離を表すｄｉｓｔａｎｃｅＩｄｘに対応付けられる。
　複数線分分割モードを幾何学分割モードに追加適用する場合は、内部パラメータとして、ｄｉｖＤｉｒｅｃｔｉｏｎＩｄｘ及びｄｉｖＬｏｃａｔｉｏｎＩｄｘを、ａｎｇｌｅＩｄｘ及びｄｉｓｔａｎｃｅＩｄｘの新たな値として構成すれば、復号部２０１が、ｍｅｒｇｅ_ｇｐｍ_ｐａｒｔｉｔｉｏｎ_ｉｄｘの復号によって、幾何学分割モードに加えて、複数線分分割モードのパターンを特定できる。
　図２０を参照して、ブロック単位で複数線分分割モードを含む分割モードの選別方法を設定する動作の一例について述べる。
　図２０に示すように、図２０と図１１との差異は、ステップＳ２０４及びステップＳ２０５が含まれる点にある。
　ステップ１０４では、復号部２０１は、所定条件を満たすかどうかを判定する。復号部２０１は、所定条件を満たすと判定した場合は、ステップＳ２０５に進み、所定条件を満たさないと判定した場合は、ステップＳ２０３に進む。
　ここで、所定条件には、対象ブロックのブロックサイズが所定のブロックサイズ以下（或いは、未満）であるという条件が含まれてもよい。所定のブロックサイズとしては、例えば、８×８画素、１６×１６画素、３２×３２画素、６４×６４画素、１２８×１２８画素のような、２のべき乗の画素数で指定してもよい。
　複数線分分割モードは、対象ブロック内を複数の線分で分割するという性質上、大サイズブロックでは、複数の線分による分割境界がブロック内にあるブロック境界に整合しづらい。
　一方で、小サイズブロックでは複数の線分による分割境界がブロック内にあるブロック境界に整合しやすいため、上述のように大サイズブロックを制限するようにブロックサイズの閾値を設定することで、小サイズブロックにのみ複数線分分割モードを有効にすることができ、結果として符号化性能が向上できる。
　変更例として、対象ブロックのブロックサイズに基づく閾値判定ではなく、対象ブロックの短辺に基づく閾値判定であってもよい。
　具体的には、ステップＳ２０４の所定条件に対象ブロックの短辺が所定の画素以下（或いは、は未満）であるという条件が含まれてもよい。所定の画素は、例えば、８画素、１６画素、３２画素、６４画素、１２８×１２８画素のような、２のべき乗の画素数で指定してもよい。
　これにより、上述した対象ブロックのブロックサイズに基づく閾値判定と同様の効果が得られる。
　逆に、この所定条件に対して、対象ブロックのブロックサイズが所定のブロックサイズ以上である（或いは、より大きい）という条件が含まれてもよい。所定のブロックサイズは、例えば、４×４画素、８×８画素、１６×１６画素、３２×３２画素のような、２のべき乗の画素数で指定してもよい。
　複数線分分割モードは、対象ブロック内を複数の線分で分割するという性質上、上述の通り、小サイズブロックでは、複数の線分による分割境界がブロック内にあるブロック境界に整合しやすいが、極度に小さいブロックサイズでは、複数の線分同士或いは複数の線分と対象ブロック境界との間の距離が短くなるため、対象ブロック内を１つの線分で分割する従来の分割モードや従来の符号化ブロック分割との差異が生じづらい。
　よって、極度に小さいブロックサイズに対して、上述のように、ブロックサイズに基づく閾値判定により、極度に小さいサイズの対象ブロックへの複数線分分割モードを無効にできるため、複数線分分割モードの特定に必要な制御情報の符号量が削減され、結果として符号化性能が向上する。
　変更例として、対象ブロックのブロックサイズに基づく閾値判定ではなく、対象ブロックの長編に基づく閾値判定であってもよい。具体的には、ステップＳ２０４の所定条件に対象ブロックの長辺が所定の画素以上（或いは、より大きい）であるという条件が含まれてもよい。所定の画素は、例えば、４画素、８画素、１６画素、３２画素のような、２のべき乗の画素数で指定してもよい。
　これにより、上述した対象ブロックのブロックサイズに基づく閾値判定と同様の効果が得られる。
　復号部２０１は、シーケンスパラメータセットで、後述するテンプレートマッチングに基づく、分割モードを特定するためのｃｕ_ｄｉｖ_ｉｄｘ（制御情報）の復号値に対応付けられる分割モードの並び替えに関する技術（以下、テンプレートに基づく分割モード添え字並び替え）が有効であるか否かをシーケンス単位で制御するｓｐｓ_ｄｉｖ_ｔｅｍｐｌａｔｅ_ｒｅｏｒｄｅｒｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇ（制御情報）が１であるか否かについて判定する。
　ｓｐｓ_ｄｉｖ_ｔｅｍｐｌａｔｅ_ｒｅｏｒｄｅｒｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇが１である場合は、テンプレートに基づく分割モード添え字並び替えが有効であることを示し、ｓｐｓ_ｄｉｖ_ｔｅｍｐｌａｔｅ_ｒｅｏｒｄｅｒｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇが０である場合は、テンプレートに基づく分割モード添え字並び替えが無効であることを示す。
　復号部２０１は、ｓｐｓ_ｄｉｖ_ｔｅｍｐｌａｔｅ_ｒｅｏｒｄｅｒｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇが１（Ｙｅｓ）である場合は、ステップＳ１０２に進む。
　一方、復号部２０１は、ｓｐｓ_ｄｉｖ_ｔｅｍｐｌａｔｅ_ｒｅｏｒｄｅｒｉｎｇ_ｅｎａｂｌｅｄ_ｆｌａｇが０（Ｎｏ）である場合は、本処理を終了する。
　詳細は、後述するが、テンプレートに基づく分割モード添え字並び替えは、分割モード添え字の符号長を短縮する効果がある。そのため、テンプレートに基づく分割モード添え字並び替えが有効である場合にのみ、複数線分割モードを有効と判定することで、複数線分分割モードの種類或いは複数線分分割モードを含んだ分割モードの種類を復号対象ブロック単位で特定するためのｃｕ_ｄｉｖ_ｉｄｘ（制御情報）の符号量を削減でき、結果として符号化性能の向上が期待できる。
（複数線分分割モード向けの動き情報の導出方法）
　以下、複数線分分割モード向けの動き情報の導出方法について説明する。
　複数線分分割モードで分割される小領域Ａ又は小領域Ｂに対する動き情報は、非特許文献１で開示されている幾何学分割モードと同じ動き情報の導出方法を適用してもよい。
　具体的には、動き補償部２０８は、小領域Ａ及び小領域Ｂに対して、復号対象ブロックの近傍ブロックの動き情報から構成される動き情報候補リスト（マージ候補リスト）を作成し、画像符号化装置から伝送される当該マージ候補リスト内の動き情報を識別する制御情報（マージインデックス）を用いて、当該マージ候補リストの中から動き情報を導出する。
　小領域Ａ及び小領域Ｂがいずれもインター予測である場合は、復号部２０１は、それぞれに異なる動き情報が導出されるように、異なる動き情報の候補を示すマージインデックスを復号する。
　なお、動き情報候補リストに動き情報の候補を導出して登録する方法として、非特許文献１では空間マージという技術が開示されている。具体的には、図１７に示す復号対象ブロックに隣接するＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２の位置にある動き情報を、復号対象ブロックの動き情報の候補（空間マージ候補）として、動き情報候補リストに登録する。
　動き補償部２０８は、この動き情報候補リストに登録可能な空間マージ候補を、複数線分分割モードに応じて限定してもよい。具体的には、複数線分分割モードに応じて区分される各小領域に隣接する空間マージのみに登録を限定してもよい。
　各小領域に対していずれの空間マージ候補も隣接しない場合は、登録可能な空間マージ候補を、最近接の空間マージ候補のみに限定するか、或いは、全Ｍ個（Ｍは自然数、上述では５個のケースを例示）に対して近接位置にあるＮ個（Ｎは自然数、Ｎ＜Ｍ）の空間マージ候補のみに限定してもよい。
　また、複数線分分割モードにより区分される小領域が復号対象ブロックの右下端に位置するといった、全ての空間マージ候補から距離が離れている場合は、この小領域に対して全ての候補を登録対象に含めてもよい。
　なお、図１７では、空間マージ候補として、復号対象ブロックの左上端１個、右端２個、左下端２個の合計５個のケースを例示しているが、Ｂ２とＢ０との間や、Ｂ２とＡ０との間といった、非特許文献１に対して新たな空間マージ候補位置を扱うケースであって
も、本技術が適用できる。
（複数線分分割モード向けのイントラ予測モードの導出方法）
　以下、複数線分分割モード向けのイントラ予測モードの導出方法について説明する。
　合成部２０５は、複数線分分割モードで分割される小領域Ａ又は小領域Ｂに対するイントラ予測モードについて、各分割線に対して、平行な角度予測モード（Ａｎｇｕｌａｒ予測モード）を適用してもよい。
　或いは、合成部２０５は、複数線分分割モードで分割される小領域Ａ又は小領域Ｂに対するイントラ予測モードについて、各分割線に対して、垂直な角度予測モード（Ａｎｇｕｌａｒ予測モード）を適用してもよい。
　図１２は、分割線１に対して平行な角度予測モードを適用するケースの一例を示す。
　或いは、合成部２０５は、複数線分分割モードで分割される小領域Ａ又は小領域Ｂに対するイントラ予測モードについて、非特許文献２で開示されている隣接画素の解析に基づく導出技術を用いて導出してもよい。
　以下に、３種類の導出技術について説明する。
［隣接参照画素に基づくイントラ予測モード導出方法１］
　以下、図１３～図１５を用いて、非特許文献２に係る通常イントラ予測に対する隣接参照画素に基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照画素に基づくイントラ予測モードの導出方法１を説明する。
　図１３は、非特許文献２に係る通常イントラ予測に対する隣接参照画素に基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照画素に基づくイントラ予測モードの導出方法１の一例を示す図である。以降では、これらの導出方法を総じて「ＤＩＭＤ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ　Ｉｎｔｒａ　Ｍｏｄｅ　Ｄｅｒｉｖａｔｉｏｎ）」と呼称する。
　非特許文献２では、かかるＤＩＭＤにおいて、図１３に示すように、復号対象ブロックに隣接する隣接参照画素に対して、３×３画素のウインドウサイズの横及び縦方向のＳｏｂｅｌフィルタを適用して、通常イントラ予測向けの全Ａｎｇｕｌａｒ予測モードに対する画素値のヒストグラムを計算する。ここで、Ｓｏｂｅｌフィルタを適用して各Ａｎｇｕｌａｒ予測モードに対応付けるための隣接参照画素の角度及び画素値の計算方法については、非特許文献２と同じ構成を本実施形態でも採ることができるため、詳細な説明は省略する。
　非特許文献２では、また、復号対象ブロックのブロックサイズに応じて、ヒストグラムの計算に使用する隣接参照画素領域が、図１３に示すように制御されている。具体的には、４×４画素ブロックでは、復号対象ブロックの最上左端の画素の上及び左のそれぞれの３×３画素領域のみを使用して、ヒストグラムが計算される。
　非特許文献２では、計算されたヒストグラムの中で最高及び次点の画素値であるイントラ予測モード及びＰｌａｎａｒモードを用いてイントラ予測画素が生成され、さらに、生成されたイントラ予測画素が所定の重み値を用いて加重平均されて、最終的なイントラ予測画素が生成される。
　本実施形態では、合成部２０５は、上述の非特許文献２で開示されているＤＩＭＤを複数線分分割モードのイントラ予測モードの導出のみに適用してもよい。すなわち、導出された複数のイントラ予測モードを用いたイントラ予測画素の合成/生成処理は行わない。
　これにより、複数線分分割モードのイントラ予測領域（Ｉｎｔｒａ/Ｉｎｔｒａ-複数線分分割モードの場合は、２つのイントラ予測領域）に対して、１つのイントラ予測モードでイントラ予測画素生成できるため、ハードウェア実装された画像復号装置における複数線分分割モードのイントラ予測画素の生成に必要な回路規模の増大を回避しつつ、復号対象ブロックの隣接参照画素のヒストグラムの解析によって、複数線分分割モードの分割形状に適したエッジ等のテクスチャを反映したイントラ予測を適用できるようになるため、イントラ予測性能が向上し、結果として符号化性能の改善が期待できる。
　なお、本実施形態において、非特許文献２と同様に、復号部２０１は、ＤＩＭＤの適用可不可を判定するフラグを復号或いは推定することで、イントラ予測モードを導出するかしないかについて判定するように構成してもよい。
　また、本実施形態に係る合成部２０５は、複数線分分割モード向けのイントラ予測モード候補リストに既に同一のイントラ予測モードが含まれない場合は、かかるＤＩＭＤにより導出したイントラ予測モードを登録し、複数線分分割モード向けのイントラ予測モード候補リストに既に同一のイントラ予測モードが含まれる場合は、かかるＤＩＭＤにより導出したイントラ予測モードを登録しないように構成されていてもよい。
　かかる構成によれば、イントラ予測モード候補リスト内に同じイントラ予測モードが重複して登録されることを回避できる。
　ここで、かかるイントラ予測モード候補リストに対する新規のイントラ予測モードを登録する際に、既存のイントラ予測モードとの一致性を比較して、両者が一致する場合は、剪定する処理を、以降では、「イントラ予測モード候補剪定処理」と呼称する。
　また、本実施形態に係る合成部２０５は、かかるＤＩＭＤにより導出したイントラ予測モードのうち、イントラ予測モード候補リストに登録するイントラ予測モード数を１つに限定してもよい。その場合、合成部２０５は、ヒストグラムの中から最高画素値（輝度値）であるＡｎｇｕｌａｒ予測モードを導出する。
　なお、上述のイントラ予測モード候補剪定処理で、最高画素値（輝度値）であるＡｎｇｕｌａｒ予測モード（以下、１ｓｔ　Ａｎｇｕｌａｒ予測モード）が剪定される場合は、順次ヒストグラムの高い方から既存のイントラ予測モードと比較して、両者が一致しないものを登録してもよい。
　或いは、上述のイントラ予測モード候補剪定処理で、１ｓｔ　Ａｎｇｕｌａｒ予測モードが剪定される場合は、ＤＩＭＤによるイントラ予測モードの導出処理を終了してもよい。
　変更例として、ＤＩＭＤにより導出したイントラ予測モードのうち、イントラ予測モード候補リストに登録するイントラ予測モード数を２つに限定してもよい。かかる場合、合成部２０５は、ヒストグラムの中から１ｓｔ　Ａｎｇｕｌａｒ予測モード及び最高画素値（輝度値）の次点である２ｎｄ　Ａｎｇｕｌａｒ予測モードを導出する。
　なお、１ｓｔ　Ａｎｇｕｌａｒ予測モード又は２ｎｄ　Ａｎｇｕｌａｒ予測モードが剪定される場合は、上述の場合と同様に、これらの次にヒストグラムの高い方から既存のイントラ予測モードと比較して、両者が一致しないものを登録してもよいし、そのままＤＩＭＤによるイントラ予測モードの導出処理を終了してもよい。
　また、本実施形態に係る合成部２０５は、複数線分分割モードの分割形状（すなわち、複数線分分割モード分割線の角度）に基づいて、上述のＤＩＭＤのヒストグラム計算に用いる隣接参照画素を所定領域に制限してもよい。
　図１４は、非特許文献２で開示されている複数線分分割モード向けのテンプレートマッチングという技術において、複数線分分割モードの分割線に基づいて参照するテンプレート（隣接参照画素）のエリアを制限するためのテーブルを示す図である。
　具体的には、図１４に示すＡ及びＬは、それぞれ復号対象ブロックの上部及び左部を示す。
　本実施形態では、この非特許文献２で開示されている複数線分分割モードの分割線に基づいて規定された（制限された）隣接参照画素のテーブルを、ＤＩＭＤのヒストグラムの計算に適用することで、ＤＩＭＤのヒストグラムの計算において、復号対象ブロックに隣接する全ての隣接参照画素を計算に使用することを回避しつつ、複数線分分割モードの分割線の方向にのみ存在する隣接参照画素を用いてＡｎｇｕｌａｒ予測を導出できるため、複数線分分割モードのインター予測に対するＤＩＭＤによるイントラ予測モードの導出処理負荷を軽減できる。
　或いは、合成部２０５は、上述の図１４の隣接参照画素テーブルではなく、図１５に示すように、複数線分分割モードで区分される小領域Ａ又は小領域Ｂに対して、復号対象ブロックの左又は上のブロック境界に跨いで面する参照画素領域のみを使用して、ＤＩＭＤによるイントラ予測モードを導出してもよい。
　また、合成部２０５は、複数線分分割モードで、図１５（ｃ）の例に示すように、小領域Ａ又は小領域Ｂに対して、復号対象ブロックの左又は上のブロック境界に跨いで面する参照画素領域がない場合は、図1５（ｃ）に示すように、全ての参照画素を使用してＤＩＭＤによるイントラ予測モードを導出してもよい。
［隣接参照画素に基づくイントラ予測モード導出方法２］
　以下、図１４～図１６を用いて、非特許文献３に係る通常イントラ予測に対する隣接参照画素に基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照画素に基づくイントラ予測モードの導出方法２を説明する。
　図１６は、非特許文献３に係る通常イントラ予測に対する隣接参照画素に基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照画素に基づくイントラ予測モードの導出方法２の一例を示す図である。以降では、これらの導出方法を総じて「ＴＩＭＤ（Ｔｅｍｐｌａｔｅ-ｂａｓｅｄ　Ｉｎｔｒａ　Ｍｏｄｅ　Ｄｅｒｉｖａｔｉｏｎ）」と呼称する。
　非特許文献３では、ＴＩＭＤにおいて、図１６に示すように、復号対象ブロックに隣接する所定ラインの隣接参照画素（以下、テンプレート）、及び、かかるテンプレート向けの隣接参照画素及び所定のイントラ予測モードを用いて生成したテンプレート向けイントラ予測画素（以下、テンプレート向けイントラ予測画素）のＳＡＴＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｔｒａｎｓｆｏｒｍｅｄ　Ｄｉｆｆｅｒｅｎｃｅ）を計算し、所定のイントラ予測モードの中でＳＡＴＤが最小及びその次点であるイントラ予測モードを、ＴＩＭＤのイントラ予測モードとして導出して、イントラ予測画素を生成する。
　ここで、上述のＴＩＭＤのＳＡＴＤの計算において使用されるイントラ予測モードは、通常イントラ予測向けのイントラ予測モード候補リストに含まれるイントラ予測モードである。
　非特許文献３におけるＴＩＭＤでは、通常イントラ予測向けイントラ予測モード候補リストに、垂直予測モード、水平予測モード及びＤＣ予測モードが含まれていない場合は、これらを含んだ状態で、ＳＡＴＤを計算して、イントラ予測モードを導出する。
　本実施形態では、かかる非特許文献３で開示されているＴＩＭＤを応用して、合成部２０５は、イントラ予測モードを導出してもよい。すなわち、合成部２０５は、導出した複数のイントラ予測モードを用いたイントラ予測画素の合成/生成処理について行わない。
　かかる構成によれば、複数線分分割モードのイントラ予測領域（Ｉｎｔｒａ/Ｉｎｔｒａ-複数線分分割モードの場合は、２つのイントラ予測領域）に対して、１つのイントラ予測モードでイントラ予測画素を生成できるため、ハードウェア実装された画像復号装置における複数線分分割モードのイントラ予測画素の生成に必要な回路規模の増大を回避しつつ、復号対象ブロックの隣接参照画素のヒストグラムの解析によって、複数線分分割モードの分割形状に適したエッジ等のテクスチャを反映したイントラ予測を適用できるようになるため、イントラ予測性能が向上し、結果として符号化性能の改善が期待できる。
　なお、本実施形態において、非特許文献２と同様に、復号部２０１は、ＴＩＭＤの適用可不可を判定するフラグを復号又は推定することで、イントラ予測モードを導出するかしないかについて判定するように構成されていてもよい。
　また、本実施形態に係る合成部２０５は、複数線分分割モード向けのイントラ予測モード候補リストに既に同一のイントラ予測モードが含まれない場合、ＴＩＭＤにより導出したイントラ予測モードを登録し、複数線分分割モード向けのイントラ予測モード候補リストに既に同一のイントラ予測モードが含まれている場合、ＴＩＭＤにより導出したイントラ予測モードを登録しないように構成されていてもよい。
　かかる構成によれば、イントラ予測モード候補リスト内に同じイントラ予測モードが重複して登録されることを回避できる。
　ここで、かかるイントラ予測モード候補リストに対する新規のイントラ予測モードを登録する際に、既存のイントラ予測モードとの一致性を比較して、両者が一致する場合に剪定する処理を、以降では、「イントラ予測モード候補剪定処理」と呼称する。
　また、本実施形態に係る合成部２０５は、ＴＩＭＤにより導出したイントラ予測モードのうち、イントラ予測モード候補リストに登録するイントラ予測モード数を１つに限定してもよい。かかる場合、合成部２０５は、ＳＡＴＤの計算の中から最小のＳＡＴＤコストであるイントラ予測モード（Ａｎｇｕｌａｒ予測）を導出する。
　ただし、本実施形態では、かかるＴＩＭＤ処理におけるＳＡＴＤの計算において、非特許文献３とは異なり、ＤＣ予測モードをＳＡＴＤの計算の中から除外してもよい。
　なぜなら、復号対象ブロックに隣接する隣接参照画素の全てを用いてイントラ予測画素を生成するＤＣ予測は、複数線分分割モードの分割形状に応じたエッジ等のテクスチャを適切に反映できずに、イントラ予測画素を生成してしまう可能性があるため、ＤＣ予測をＴＩＭＤ処理におけるＳＡＴＤの計算から除外することで、ＴＩＭＤでＤＣ予測モードが導出されることを回避できる。
　なお、上述のイントラ予測モード候補剪定処理において、最小のＳＡＴＤコストであるＡｎｇｕｌａｒ予測モード（以下、１ｓｔ　Ａｎｇｕｌａｒ予測モード）が剪定される場合は、順次ＳＡＴＤコストの低い方から既存のイントラ予測モードと比較して、両者が一致しないものを登録してもよい。或いは、１ｓｔ　Ａｎｇｕｌａｒ予測モードが剪定される場合は、ＴＩＭＤによるイントラ予測モードの導出処理を終了してもよい。
　変更例として、ＴＩＭＤにより導出したイントラ予測モードのうち、イントラ予測モード候補リストに登録するイントラ予測モード数を２つに限定してもよい。かかる場合、合成部２０５は、ＳＡＴＤコストの中から１ｓｔ　Ａｎｇｕｌａｒ予測モード及び最小のＳＡＴＤコストの次点である２ｎｄ　Ａｎｇｕｌａｒ予測モードを導出する。
　なお、１ｓｔ　Ａｎｇｕｌａｒ予測モード又は２ｎｄ　Ａｎｇｕｌａｒ予測モードが剪定される場合は、上述の場合と同様に、これらの次にＳＡＴＤコストの低い方から既存のイントラ予測モードと比較して、両者が一致しないものを登録してもよいし、そのままＴＩＭＤによるイントラ予測モードの導出処理を終了してもよい。
　また、本実施形態に係る合成部２０５は、複数線分分割モードの分割形状（すなわち、複数線分分割モード分割線の角度）に基づいて、上述のＴＩＭＤのヒストグラムの計算に用いる隣接参照画素を所定領域に制限してもよい。
　本実施形態では、図１４に示す非特許文献２で開示されている複数線分分割モードの分割線に基づいて規定された隣接参照画素領域のテーブルを、ＴＩＭＤ処理におけるＳＡＴＤの計算に適用することで、ＴＩＭＤ処理におけるＳＡＴＤの計算において、復号対象ブロックに隣接する全ての隣接参照画素を計算に使用することを回避しつつ、複数線分分割モードの分割線の方向にのみ存在する隣接参照画素を用いてＡｎｇｕｌａｒ予測を導出できるため、複数線分分割モードのインター予測に対するＴＩＭＤによるイントラ予測モードの導出処理の負荷を軽減できる。
　さらに、本実施形態に係る合成部２０５は、ＴＩＭＤ処理におけるＳＡＴＤの計算に使用するイントラ予測モードと同一のイントラ予測モードが既にイントラ予測モード候補リストに登録されている場合は、かかるイントラ予測モードのＳＡＴＤの計算以降を処理しないように構成してもよい。
　かかる構成によれば、イントラ予測モードに既に登録されたイントラ予測モードに対して、重複してＴＩＭＤ処理を経て同一のイントラ予測モードが登録されることを回避できるため、複数線分分割モードのインター予測に対するＴＩＭＤ処理の負荷を軽減できる。
　或いは、合成部２０５は、上述の図１４に示す隣接参照画素テーブルではなく、図１５に示すように、複数線分分割モードで区分される小領域Ａ又は小領域Ｂに対して、復号対象ブロックの左又は上のブロック境界に跨いで面する参照画素領域のみを使用して、ＴＩＭＤによるイントラ予測モードを導出してもよい。
　また、合成部２０５は、複数線分分割モードで、図１５（ｃ）に示すように、小領域Ａ又は小領域Ｂに対して、復号対象ブロックの左又は上のブロック境界に跨いで面する参照画素領域がない場合は、図１５（ｃ）に示すように、全ての参照画素を使用してＴＩＭＤによるイントラ予測モードを導出してもよい。
［隣接参照ブロックに基づくイントラ予測モード導出方法］
　以下、図１４、１７を用いて、非特許文献１及び非特許文献２に係る通常イントラ予測に対する隣接参照ブロックに基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照ブロックに基づくイントラ予測モードの導出方法について説明する。
　図１７は、非特許文献１及び非特許文献２に係る通常イントラ予測に対する隣接参照ブロックに基づくイントラ予測モードの導出方法、及び、かかる導出方法を応用した本実施形態に係る幾何学分割モードに対する隣接参照ブロックに基づくイントラ予測モードの導出方法の一例を示す図である。以降では、これらの導出方法を総じて「ＢＩＭＤ（Ｂｌｏｃｋ-ｂａｓｅｄ　Ｉｎｔｒａ　Ｍｏｄｅ　Ｄｅｒｉｖａｔｉｏｎ）」と呼称する。
　非特許文献３では、ＢＩＭＤにおいて、図１７に示すように、復号対象ブロックに隣接する所定位置の隣接参照ブロックが有するイントラ予測モードを、ＢＩＭＤのイントラ予測モードとして導出して、イントラ予測画素を生成する。なお、ここで導出される隣接参照ブロックのイントラ予測モードは、隣接参照ブロックがイントラ予測ブロックである場合は、当該隣接参照ブロックが有するイントラ予測モードがそのまま参照されるが、隣接参照ブロックがインター予測ブロックであるか、或いは、インター予測ブロックかつイントラ予測が適用された複数線分分割モード適用ブロックである場合には、後述する４×４サブブロック画素単位で保存されるイントラ予測モードが参照される。
　ここで、非特許文献１及び非特許文献２では、上述のＢＩＭＤにおいて参照される隣接参照ブロックは、図１７に示すように、復号対象ブロックの左（Ａ０）、左下（Ａ１）、上（Ｂ０）、右上（Ｂ１）及び左上（Ｂ２）に設定されている。
　本実施形態では、非特許文献１及び非特許文献２で開示されているＢＩＭＤを応用して、合成部２０５は、イントラ予測モードを導出してもよい。すなわち、合成部２０５は、導出した複数のイントラ予測モードを用いたイントラ予測画素の合成/生成処理は行わない。
　かかる構成によれば、複数線分分割モードのイントラ予測領域（Ｉｎｔｒａ/Ｉｎｔｒａ-複数線分分割モードの場合は、２つのイントラ予測領域）に対して、復号対象ブロックの隣接参照ブロックが有するイントラ予測モードが含まれうるイントラ予測モード候補リストからイントラ予測モードを選択してイントラ予測画素を生成できるため、複数線分分割モードの分割形状に適したエッジ等のテクスチャを反映したイントラ予測を適用できるようになり、イントラ予測性能が向上し、結果として符号化性能の改善が期待できる。
　また、本実施形態に係る合成部２０５は、複数線分分割モード向けのイントラ予測モード候補リストに既に同一のイントラ予測モードが含まれない場合は、ＢＩＭＤにより導出したイントラ予測モードを登録し、複数線分分割モード向けのイントラ予測モード候補リストに既に同一のイントラ予測モードが含まれる場合は、ＢＩＭＤにより導出したイントラ予測モードを登録しないように構成されていてもよい。
　かかる構成によれば、イントラ予測モード候補リスト内に同じイントラ予測モードが重複して登録されることを回避できる。
　ここで、イントラ予測モード候補リストに対する新規のイントラ予測モードを登録する際に、既存のイントラ予測モードとの一致性を比較して、両者が一致する場合に剪定する処理を、以降では、「イントラ予測モード候補剪定処理」と呼称する。
　また、本実施形態に係る合成部２０５は、非特許文献１及び非特許文献２とは異なり、ＢＩＭＤにより導出したイントラ予測モードがＤＣ予測モードである場合は、イントラ予測モード候補リストに登録しないように構成されていてもよい。
　なぜなら、復号対象ブロックに隣接する隣接参照画素の全てを用いてイントラ予測画素を生成するＤＣ予測は、複数線分分割モードの分割形状に応じたエッジ等のテクスチャを適切に反映できずに、イントラ予測画素を生成してしまう可能性があるため、ＤＣ予測をＢＩＭＤのイントラ予測モードから除外して、ＤＣ予測モードがイントラ予測画素の生成に使用されることを回避できる。
　また、本実施形態に係る合成部２０５、ＢＩＭＤによるイントラ予測モードの導出において、参照する図１７に示す最大５つの隣接参照ブロックの順序を、非特許文献１及び非特許文献２と同様に構成してもよい。なお、その参照順については、非特許文献１及び非特許文献２で開示されているため、本実施形態では詳細な説明は省略する。
　変更例として、本実施形態では、図１４に示す非特許文献２で開示されている複数線分分割モードの分割線に基づいて規定された（制限された）隣接参照画素領域のテーブルを、ＢＩＭＤの隣接参照ブロックの参照に適用することで、ＢＩＭＤのイントラ予測モードの導出において、復号対象ブロックに隣接する全ての隣接参照ブロックのイントラ予測モードを参照することを回避しつつ、複数線分分割モードの分割線の方向にのみ存在する隣接参照ブロックが有するイントラ予測モード（Ａｎｇｕｌａｒ予測）のみを参照してイントラ予測モードを導出できるため、複数線分分割モードのインター予測に対するＢＩＭＤによるイントラ予測モードの導出処理の負荷を軽減できる。
［制御情報を用いたイントラ予測モード導出方法］
　上述した異なるイントラ予測モードの種類について、合成部２０５は、上述のイントラ予測モードを一意に適用してもよいし、制御情報に応じてイントラ予測モード候補リストに含まれる異なる複数のイントラ予測モード候補から実際に適用するイントラ予測モードを選択してもよい。
　イントラ予測モード候補リストに含まれる異なる複数のイントラ予測モードの構成例を以下に示す。ここで、分割線に対する平行な角度予測モード（Ｐａｒａｌｌｅｌ）、分割線に対する垂直な角度予測モード（Ｐｅｒｐｅｎｄｉｃｕｌａｒ）と記す。
構成例１.　ＤＩＭＤ⇒Ｐａｒａｌｌｅｌ（又は、Ｐｅｒｐｅｎｄｉｃｕｌａｒ）
構成例２.　ＴＩＭＤ⇒Ｐａｒａｌｌｅｌ（又は、Ｐｅｒｐｅｎｄｉｃｕｌａｒ）
構成例３.　ＢＩＭＤ⇒Ｐａｒａｌｌｅｌ（又は、Ｐｅｒｐｅｎｄｉｃｕｌａｒ）
構成例４.　ＤＩＭＤ⇒ＴＩＭＤ⇒Ｐａｒａｌｌｅｌ（又は、Ｐｅｒｐｅｎｄｉｃｕｌａｒ）
構成例５.　ＤＩＭＤ⇒ＢＩＭＤ⇒Ｐａｒａｌｌｅｌ（又は、Ｐｅｒｐｅｎｄｉｃｕｌａｒ）
構成例６.　ＴＩＭＤ⇒ＢＩＭＤ⇒Ｐａｒａｌｌｅｌ（又は、Ｐｅｒｐｅｎｄｉｃｕｌａｒ）
構成例７.　ＤＩＭＤ⇒ＴＩＭＤ⇒ＢＩＭＤ⇒Ｐａｒａｌｌｅｌ（又は、Ｐｅｒｐｅｎｄｉｃｕｌａｒ） 
　まず、構成例１～３は、ＤＩＭＤ、ＴＩＭＤ及びＢＩＭＤそれぞれにＰａｒａｌｌｅｌ（又は、Ｐｅｒｐｅｎｄｉｃｕｌａｒ）を組み合わせた方法である。
　Ｐａｒａｌｌｅｌ（又は、Ｐｅｒｐｅｎｄｉｃｕｌａｒ）で導出されるイントラ予測モードは、ＤＩＭＤ、ＴＩＭＤ及びＢＩＭＤで導出されるイントラ予測モードよりも、より簡易的かつ直接的に分割線に基づくエッジ等のテクスチャを反映したイントラ予測モードを導出できるが、隣接参照画素の解析に基づくＤＩＭＤ、ＴＩＭＤ及びＢＩＭＤよりも高精度な予測モードを導出する可能性が低いため、これらのイントラ予測モード候補よりも後にリスト内で配置する。
　次に、構成例４及び５は、ＤＩＭＤをＴＩＭＤ又はＢＩＭＤよりも前に配置する構成例である。
　ＤＩＭＤをＴＩＭＤより前に配置した理由は、ＤＩＭＤによるイントラ予測モードの導出処理がＳＡＴＤの計算等の比較的重い計算処理が含まれるＴＩＭＤによるイントラ予測モードの導出よりも軽量であるためである。
　一方で、ＤＩＭＤをＢＩＭＤより前に配置した理由は、ヒストグラムの計算が含まれるＤＩＭＤによるイントラ予測モードの導出処理がＢＩＭＤによるイントラ予測モードの導出よりも軽量でないが、ＤＩＭＤで導出されたイントラ予測モードの方がＢＩＭＤで導出されたイントラ予測―ドよりも、ヒストグラムの計算により、よりＧＰＭの分割線に基づくエッジ等のテクスチャを反映したイントラ予測モードを導出できる可能性があるため、イントラ予測性能の向上効果が高くなりやすいと考えられるためである。
　構成例６では、ＴＩＭＤをＢＩＭＤより前に配置している。配置理由は、上述のＤＩＭＤをＢＩＭＤより前に配置する理由と同じである。
　構成例７は、ＧＩＭＤ、ＤＩＭＤ、ＴＩＭＤ及びＢＩＭＤの全てを組み合わせた構成例であり、上述の理由により、この順序でイントラ予測モードを導出すると、より効率的に予測性能の高いイントラ予測モードを導出できることが期待できる。
（各イントラ予測モード導出方法の開始制限）
　本実施形態に係る合成部２０５は、上述した幾何学ブロック分割モードに対するイントラ予測モードの各導出処理の開始時点で、イントラ予測モード候補リストに含まれるイントラ予測モードの候補数がイントラ予測モード候補リストサイズの最大値に達していない場合は、各導出処理を開始し、かかる候補数がイントラ予測モード候補リストサイズの最大値に達している場合は、各導出処理を開始しない。
　かかる構成によれば、不要なイントラ予測モードの導出処理の実行を回避でき、合成部２０５の全体の処理負荷の軽減が期待できる。
（イントラ予測モード導出完了後のイントラ予測モード候補リストの登録方法）
　本実施形態に係る合成部２０５は、上述した幾何学ブロック分割モードに対するイントラ予測モードの導出処理の完了時点で、イントラ予測モード候補リストに含まれるイントラ予測モードの候補数がイントラ予測モード候補リストサイズの最大値に達していない場合には、イントラ予測モード候補リストに既に同一の予測モードが含まれる場合、所定のイントラ予測モードを登録しないように構成されていてもよい。
　例えば、構成例１から構成例７において、ＤＩＭＤ、ＴＩＭＤ、ＢＩＭＤによって導出されるイントラ予測モードと後続のＰａｒａｌｌｅｌ（又はＰｅｒｐｅｎｄｉｃｕｌａｒ）と同じである場合は、リストサイズが最大値に達していない。
　かかる場合、合成部２０５は、未登録のＰｅｒｐｅｎｄｉｃｕｌａｒ（又はＰａｒａｌｌｅｌ）モードを登録してもよい。或いは、合成部２０５は、Ｐｌａｎａｒモードを登録してもよい。或いは、合成部２０５は、ＤＣモードを登録してもよい。或いは、合成部２０５は、イントラ予測モード候補リストに最初に登録されているイントラ予測モードの近傍のイントラ予測モードを登録してもよい。
（複数線分割複数線分分割モード向けの予測情報の保存方法）
　イントラ予測部２０４は、複数線分分割モードで分割される小領域Ａ又は小領域Ｂに対して適用されるイントラ予測モードを、復号対象ブロックを分割した所定サイズのサブブロック単位で保存する。
　かかる所定サイズは、例えば、符号化ブロック、予測ブロック又は変換ブロックの最小サイズであってもよい。或いは、かかる所定サイズは、２×２画素や４×４画素等といった固定サイズであってもよい。
　このように、小領域Ａ又は小領域Ｂのそれぞれに適用されたイントラ予測モードを復号対象ブロック単位ではなくサブブロック単位で保存することでブレンディング領域におけるイントラ予測モードを正確に保存することができる。
　イントラ予測部２０４は、ブレンディング領域内にあるサブブロックについて、小領域Ａ又は小領域Ｂのイントラ予測モードの双方を保存してもよい。或いは、イントラ予測部２０４は、サブブロックの中心座標から分割線を挟んで小領域Ａ又は小領域Ｂのいずれに属するかで、対応するイントラ予測モードのみを保存してもよい。
　動き補償部２０８は、複数線分分割モードで分割される小領域Ａまたは小領域Ｂに対して適用される動き情報（参照画像リスト、参照画像インデックス、動きベクトル）を、復号対象ブロックを分割した所定サイズのサブブロック単位で保存する。
　かかる所定サイズは、例えば、符号化ブロック、予測ブロック又は変換ブロックの最小サイズであってもよい。或いは、かかる所定サイズは、２×２画素や４×４画素等といった固定サイズであってもよい。
　このように、小領域Ａ又は小領域Ｂのそれぞれに適用された動き情報を復号対象ブロック単位ではなくサブブロック単位で保存することでブレンディング領域における動き情報を正確に保存することができる。
　動き補償部２０８は、ブレンディング領域内にあるサブブロックについて、小領域Ａ又は小領域Ｂの動き情報の双方を保存してもよい。或いは、動き補償部２０８は、サブブロックの中心座標から分割線を挟んで小領域Ａ又は小領域Ｂのいずれに属するかで、対応する動き情報のみを保存してもよい。
　或いは、動き補償部２０８は、小領域Ａ及び小領域Ｂの参照画像リストが異なる場合（すなわち、片方が当該フレームから見て未来方向の異なるフレームを参照し、もう片方が当該フレームから見て過去方向の異なるフレームを参照する場合）、それぞれの動きベクトルを非特許文献１に開示されている双予測のように、当該フレームと参照フレームそれぞれの距離に応じて加重平均して新たな動きベクトルを生成して保存してもよい。
　或いは、動き補償部２０８は、小領域Ａ及び小領域Ｂの参照画像リストが同じ場合（すなわち、片方が当該フレームから見て未来方向（又は、過去方向）の異なるフレームを参照し、もう片方も当該フレームから見て未来方向（又は、過去方向）の異なるフレームを参照する場合）、小領域Ｂの動きベクトルのみを保存してもよい。あるいは、同ケースで、動き補償部２０８は、小領域Ａのみを保存してもよい。
（複数線分割複数線分分割方式モード添え字の符号順序入替方法）
　合成部２０５は、複数線分分割モードを特定するための制御情報ｃｕ_ｄｉｖ_ｉｄｘの復号値に対応付けられる複数線分分割モードを、非特許文献２で開示されているテンプレートマッチングにより並び替えてもよい。
　具体的には、合成部２０５は、インター予測によって複数線分分割モードが構成される場合は、全ての複数線分分割モードについて、復号対象ブロック及び参照ブロックのそれぞれの隣接画素（テンプレート）の誤差（例として、ＳＡＤ：Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）を比較する。合成部２０５は、ＳＡＤを算出する際は、分割線を隣接画素に対して延伸した形で重みつけ平均する。
　合成部２０５は、イントラ予測によって複数線分分割モードが構成される場合は、復号対象ブロックの隣接参照画素よりも1ライン以上先の参照画素にイントラ予測モードを適用して隣接画素を生成し、生成された隣接画素及び復号対象ブロックの隣接画素のＳＡＤを比較する。
　合成部２０５は、かかるＳＡＤの比較により、ＳＡＤの小さい順にｃｕ_ｄｉｖ_ｉｄｘの復号値に対応付けられる複数線分分割モードを並び替えることで、予測精度の高い複数線分分割モードをより小さい復号値（符号長）で利用できるようになるため、結果として符号化効率が向上する効果が得られる。
　また、合成部２０５は、ＳＡＤの小さい順に、ｃｕ_ｄｉｖ_ｉｄｘの復号値に対応付けられる複数線分分割モードを並び替えるだけでなく、ＳＡＤの小さい順から所定数に達した段階で、選択可能な複数線分分割モードの候補から除外してもよい。
　例えば、所定数としては、選択可能な複数線分分割モードの半分の候補数や複数線分分割モードを幾何学分割モードに加えた合計数の半分の候補数を設定してもよい。
　これにより、ｃｕ_ｄｉｖ_ｉｄｘに対応付けられる複数線分分割モード、ひいては、分割モードの候補数が削減されるため、ｃｕ_ｄｉｖ_ｉｄｘのさらなる符号長短縮が期待でき、結果として、結果として符号化効率が向上する効果が得られる。
　本実施形態に係る画像復号装置２００によれば、単位ブロックごとに複数線分から構成される小領域に分割することによって復号するので、符号化効率を向上させることができる。
（変更例）
　なお、上述の実施形態では、複数の線分によって２つの小領域に分割するケースについて例示しているが、本発明は、かかるケースに限定されるものではなく、複数の線分によって３つ以上の小領域に分割するケースについても適用できる。
　また、上述の実施形態では、全ての小領域が復号対象ブロックの辺を含むように分割されるケースについて例示しているが、本発明は、かかるケースに限定されるものではなく、少なくとも１つの小領域が復号対象ブロックの辺を含まないように分割されるケース（すなわち、少なくとも１つの小領域が復号対象ブロックの外周に接しないように分割されるケース）についても適用できる。
　上述の画像復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。
　なお、本実施形態によれば、例えば、動画像通信において総合的なサービス品質の向上を実現できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。
２００…画像復号装置
２０１…復号部
２０２…逆量子化部
２０３…逆変換部
２０４…イントラ予測部
２０５…合成部
２０６…加算器
２０７…蓄積部
２０８…動き補償部
２１０…符号入力部
２２０…画像出力部
 
 
 

Claims (31)

  1. 　画像復号装置であって、
    　制御情報並びに量子化値を復号する復号部と、
    　前記量子化値を逆量子化して変換係数とする逆量子化部と、
    　前記変換係数を逆変換して予測残差とする逆変換部と、
    　復号済み画素と前記制御情報とに基づいて第１予測画素を生成するイントラ予測部と、
    　前記復号済み画素を蓄積する蓄積部と、
    　前記蓄積された復号済み画素と前記制御情報とに基づいて第２予測画素を生成する動き補償部と、
    　前記制御情報に基づいて、前記第１予測画素及び前記第２予測画素の少なくとも一方を含む任意の組み合わせを、複数の線分で分割された小領域にそれぞれ合成して第３予測画素とする合成部と、
    　前記第１予測画素、前記第２予測画素及び前記第３予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る加算器とを具備することを特徴とする画像復号装置。
  2. 　前記合成部は、前記線分の数を固定値に設定することを特徴とする請求項１に記載の画像復号装置。
  3. 　前記合成部は、前記線分の数を可変に設定することを特徴とする請求項１に記載の画像復号装置。
  4. 　前記合成部は、前記複数の線分の位置関係を限定することを特徴とする請求項１に記載の画像復号装置。
  5. 　前記合成部は、前記複数の線分の角度を限定することを特徴とする請求項１に記載の画像復号装置。
  6. 　前記合成部は、１本目の線分について、水平方向或いは垂直方向だけに限定することを特徴とする請求項１に記載の画像復号装置。
  7. 　前記合成部は、ｎ＋１本目の線分について、ｎ本目の線分に対して垂直方向のみに限定することを特徴とする請求項１に記載の画像復号装置。
  8. 　前記合成部は、既存のブロック分割で実現可能な配置について選択できないように限定することを特徴とする請求項１に記載の画像復号装置。
  9. 　前記合成部は、複数の分割点で水平方向及び垂直方向に分割するパターンの中から、前記複数の線分を選択することを特徴とする請求項１に記載の画像復号装置。
  10. 　前記合成部は、前記複数の線分の限定方法を固定的に設定することを特徴とする請求項１に記載の画像復号装置。
  11. 　前記合成部は、前記複数の線分の限定方法を可変に設定することを特徴とする請求項１に記載の画像復号装置。
  12. 　前記合成部は、復号対象ブロックの大きさに応じて、異なる前記複数の線分の限定方法を設定することを特徴とする請求項１に記載の画像復号装置。
  13. 　前記合成部は、一定画素毎に、前記小領域の分割点を配置することを特徴とする請求項１に記載の画像復号装置。
  14. 　前記合成部は、前記小領域の分割点の配置を変更することで、復号対象ブロックの大きさに依存せず、前記分割点の数を固定的に設定することを特徴とする請求項１に記載の画像復号装置。
  15. 　前記合成部は、前記複数の線分で分割された復号対象ブロックの第１小領域及び第２小領域に対するそれぞれの予測画素を、前記複数の線分からの距離に応じて重み付け平均する際に、前記複数の線分に共通の重み付き平均を適用することを特徴とする請求項１に記載の画像復号装置。
  16. 　前記合成部は、前記複数の線分で分割された復号対象ブロックの第１小領域及び第２小領域に対するそれぞれの予測画素を、前記複数の線分からの距離に応じて重み付け平均する際に、前記複数の線分ごとに異なる重み付き平均を適用することを特徴とする請求項１に記載の画像復号装置。
  17. 　前記合成部は、復号対象ブロックの短辺の長さ長辺の長さ、サイズ、縦横比又は分割モードの種類の少なくとも１つに応じて、複数の重み係数の中から重み係数を選択することを特徴とする請求項１５又は１６に記載の画像復号装置。
  18. 　前記合成部は、イントラ予測モードの種類に応じて、複数の重み係数の中から重み係数を選択することを特徴とする請求項１５又は１６に記載の画像復号装置。
  19. 　前記合成部は、前記第１小領域Ａ又は前記第２小領域のサイズに応じて、複数の重み係数の中から重み係数を選択することを特徴とする請求項１５又は１６に記載の画像復号装置。
  20. 　前記合成部は、前記複数の線分の画素数に応じて、複数の重み係数の中から重み係数を選択することを特徴とする請求項１５又は１６に記載の画像復号装置。
  21. 　前記合成部は、前記複数の線分の方向が、前記復号対象ブロックに対して水平方向又は垂直方向である場合、前記複数の線分の方向と同じ方向の前記復号対象ブロックの辺との比率に応じて、複数の重み係数の中から重み係数を選択することを特徴とする請求項１５又は１６に記載の画像復号装置。
  22. 　前記合成部は、前記複数の線分ごとの重み係数の各要素の最小値を選択して新たに生成される重み係数を用いることを特徴とする請求項１５又は１６に記載の画像復号装置。
  23. 　前記合成部は、前記複数の線分ごとの重み係数の各要素の積を算出して新たに生成される重み係数を用いることを特徴とする請求項１５又は１６に記載の画像復号装置。
  24. 　前記合成部は、前記第１小領域又は前記第２小領域に対して、復号対象ブロックの左又は上のブロック境界に跨いで面する参照画素の領域のみを使用して、ＤＩＭＤによるイントラ予測モードを導出することを特徴とする請求項１に記載の画像復号装置。
  25. 　前記合成部は、前記第１小領域又は前記第２小領域に対して、復号対象ブロックの左又は上のブロック境界に跨いで面する参照画素の領域がない場合は、全ての参照画素を使用してＤＩＭＤによるイントラ予測モードを導出することを特徴とする請求項１に記載の画像復号装置。
  26. 　前記合成部は、前記第１小領域又は前記第２小領域に対して、復号対象ブロックの左又は上のブロック境界に跨いで面する参照画素の領域のみを使用して、ＴＩＭＤによるイントラ予測モードを導出することを特徴とする請求項１に記載の画像復号装置。
  27. 　前記合成部は、前記第１小領域又は前記第２小領域に対して、復号対象ブロックの左又は上のブロック境界に跨いで面する参照画素の領域がない場合は、全ての参照画素を使用してＴＩＭＤによるイントラ予測モードを導出することを特徴とする請求項１に記載の画像復号装置。
  28. 　前記合成部は、前記複数の線分の分割モードの分割線に基づいて規定された隣接参照画素の領域のテーブルを、ＢＩＭＤの隣接参照ブロックの参照に適用することを特徴とする請求項１に記載の画像復号装置。
  29. 　前記合成部は、イントラ予測モード候補リストに含まれる異なる複数のイントラ予測モード候補から実際に適用するイントラ予測モードを選択することを特徴とする請求項１に記載の画像復号装置。
  30. 　画像復号方法であって、
    　制御情報並びに量子化値を復号する工程と、
    　前記量子化値を逆量子化して変換係数とする工程と、
    　前記変換係数を逆変換して予測残差とする工程と、
    　復号済み画素と前記制御情報とに基づいて第１予測画素を生成する工程と、
    　前記復号済み画素を蓄積する工程と、
    　前記蓄積された復号済み画素と前記制御情報とに基づいて第２予測画素を生成する工程と、
    　前記制御情報に基づいて、前記第１予測画素及び前記第２予測画素の少なくとも一方を含む任意の組み合わせを、複数の線分で分割された小領域にそれぞれ合成して第３予測画素とする工程と、
    　前記第１予測画素、前記第２予測画素及び前記第３予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る工程とを有することを特徴とする画像復号方法。
  31. 　コンピュータを、画像復号装置として機能させるプログラムであって、
    　前記画像復号装置は、
    　　制御情報並びに量子化値を復号する復号部と、
    　　前記量子化値を逆量子化して変換係数とする逆量子化部と、
    　　前記変換係数を逆変換して予測残差とする逆変換部と、
    　　復号済み画素と前記制御情報とに基づいて第１予測画素を生成するイントラ予測部と、
    　　前記復号済み画素を蓄積する蓄積部と、
    　　前記蓄積された復号済み画素と前記制御情報とに基づいて第２予測画素を生成する動き補償部と、
    　　前記制御情報に基づいて、前記第１予測画素及び前記第２予測画素の少なくとも一方を含む任意の組み合わせを、複数の線分で分割された小領域にそれぞれ合成して第３予測画素とする合成部と、
    　　前記第１予測画素、前記第２予測画素及び前記第３予測画素のいずれかと前記予測残差とを加算して前記復号済み画素を得る加算器とを具備することを特徴とするプログラム。
PCT/JP2023/029766 2022-10-13 2023-08-17 画像復号装置、画像復号方法及びプログラム Ceased WO2024079986A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202380062922.2A CN119968842A (zh) 2022-10-13 2023-08-17 图像解码装置、图像解码方法及程序产品
US19/061,088 US20250227276A1 (en) 2022-10-13 2025-02-24 Image decoding device, image decoding method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-165082 2022-10-13
JP2022165082A JP2024058006A (ja) 2022-10-13 2022-10-13 画像復号装置、画像復号方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/061,088 Continuation US20250227276A1 (en) 2022-10-13 2025-02-24 Image decoding device, image decoding method, and program

Publications (1)

Publication Number Publication Date
WO2024079986A1 true WO2024079986A1 (ja) 2024-04-18

Family

ID=90669530

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/029766 Ceased WO2024079986A1 (ja) 2022-10-13 2023-08-17 画像復号装置、画像復号方法及びプログラム

Country Status (4)

Country Link
US (1) US20250227276A1 (ja)
JP (1) JP2024058006A (ja)
CN (1) CN119968842A (ja)
WO (1) WO2024079986A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130089265A1 (en) * 2009-12-01 2013-04-11 Humax Co., Ltd. Method for encoding/decoding high-resolution image and device for performing same
JP2021129148A (ja) * 2020-02-10 2021-09-02 日本放送協会 予測装置、符号化装置、復号装置、及びプログラム
JP2022506152A (ja) * 2018-11-06 2022-01-17 北京字節跳動網絡技術有限公司 ジオメトリック分割を用いたインター予測のためのサイド情報信号通知方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130089265A1 (en) * 2009-12-01 2013-04-11 Humax Co., Ltd. Method for encoding/decoding high-resolution image and device for performing same
JP2022506152A (ja) * 2018-11-06 2022-01-17 北京字節跳動網絡技術有限公司 ジオメトリック分割を用いたインター予測のためのサイド情報信号通知方法
JP2021129148A (ja) * 2020-02-10 2021-09-02 日本放送協会 予測装置、符号化装置、復号装置、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
M. COBAN, F. LE LÉANNEC, K. NASER, J. STRÖM, L. ZHANG: "Algorithm description of Enhanced Compression Model 6 (ECM 6)", 27. MPEG MEETING; 20220718 - 20220722; ONLINE; (MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11), 11 October 2022 (2022-10-11), XP030304402 *

Also Published As

Publication number Publication date
US20250227276A1 (en) 2025-07-10
CN119968842A (zh) 2025-05-09
JP2024058006A (ja) 2024-04-25

Similar Documents

Publication Publication Date Title
US11936907B2 (en) Intra-frame prediction method and device
JP7689158B2 (ja) 映像符号化／復号化方法及び装置
KR102383104B1 (ko) 비디오 신호 처리 방법 및 장치
CN116916014A (zh) 对视频进行解码或编码的方法和存储视频数据的设备
KR20140057511A (ko) 인트라 예측 복호화 장치
KR20090074164A (ko) 기하학적 인트라 예측
JP7527261B2 (ja) 画像復号装置、画像復号方法及びプログラム
JP7767486B2 (ja) 画像符号化／復号化方法及び装置
CN110832854B (zh) 利用插值进行帧内预测的方法和装置
WO2024079986A1 (ja) 画像復号装置、画像復号方法及びプログラム
JP2024058005A (ja) 画像復号装置、画像復号方法及びプログラム
JP2024058003A (ja) 画像復号装置、画像復号方法及びプログラム
JP2024058004A (ja) 画像復号装置、画像復号方法及びプログラム
RU2850053C1 (ru) Способ и устройство кодирования/декодирования изображения
RU2850006C1 (ru) Способ и устройство кодирования/декодирования изображения
KR20240154475A (ko) 영상 부호화/복호화 방법 및 비트스트림을 저장하는 기록 매체
KR20250005892A (ko) 영상 부호화/복호화 방법 및 비트스트림을 저장하는 기록 매체
KR20250005891A (ko) 영상 부호화/복호화 방법 및 비트스트림을 저장하는 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23876994

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202380062922.2

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 202380062922.2

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23876994

Country of ref document: EP

Kind code of ref document: A1