WO2017142085A1 - 符号化装置、復号装置及びプログラム - Google Patents

符号化装置、復号装置及びプログラム Download PDF

Info

Publication number
WO2017142085A1
WO2017142085A1 PCT/JP2017/005997 JP2017005997W WO2017142085A1 WO 2017142085 A1 WO2017142085 A1 WO 2017142085A1 JP 2017005997 W JP2017005997 W JP 2017005997W WO 2017142085 A1 WO2017142085 A1 WO 2017142085A1
Authority
WO
WIPO (PCT)
Prior art keywords
intra prediction
residual signal
image
unit
orthogonal transform
Prior art date
Application number
PCT/JP2017/005997
Other languages
English (en)
French (fr)
Inventor
俊輔 岩村
市ヶ谷　敦郎
Original Assignee
日本放送協会
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本放送協会 filed Critical 日本放送協会
Priority to EP17753339.5A priority Critical patent/EP3419291A4/en
Priority to CN201780011801.XA priority patent/CN108702504A/zh
Priority to CN202010961281.2A priority patent/CN112055204B/zh
Publication of WO2017142085A1 publication Critical patent/WO2017142085A1/ja
Priority to US15/999,205 priority patent/US11153572B2/en
Priority to US17/494,010 priority patent/US11750822B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an encoding device, a decoding device, and a program.
  • a moving picture (video) coding system represented by H.265 / HEVC (High Efficiency Video Coding)
  • inter prediction using temporal correlation between frames and intra prediction using spatial correlation within a frame 2
  • a stream obtained by performing orthogonal transform processing, loop filter processing, and entropy coding processing is output.
  • intra prediction in HEVC a total of 35 types of modes such as planar prediction, DC prediction, and direction prediction are prepared, and intra prediction is performed using adjacent decoded reference pixels according to the mode determined by the encoder. Has been.
  • CU Coding Unit
  • 512 bit moving image
  • the reference pixel may not be decoded.
  • a predicted image is generated using a value obtained by extrapolating the nearest decoded reference pixel by zero order.
  • the reference pixels located at the lower left and upper right of the CU have been decoded by the encoding process in the raster scan order shown in FIG.
  • the direction prediction is performed from the direction in which the reference pixels that have not been decoded exist, the prediction accuracy is lowered and the encoding efficiency is reduced. There was a problem.
  • a raster scan order for example, Z-type
  • TU Transform Unit
  • direction prediction is performed in the direction from the lower left to the upper right (the direction opposite to the direction indicated by the dashed arrow in FIGS. 10A and 10B).
  • the pixel on the broken line arrow is predicted using the lower left reference pixel.
  • the arrow indicating the direction (prediction direction) of the intra prediction mode is assumed to be directed from the pixel subject to intra prediction to the reference pixel, as described in the HEVC standard (the same applies hereinafter). .
  • intra prediction is prediction using the upper or left decoded reference pixels that are spatially adjacent, and the accuracy of the predicted image near the decoded reference pixels is high, The accuracy of the predicted image at a position far from the decoded reference pixel tends to be low.
  • the energy at a position near the decoded reference pixel is low, and the energy at a position far from the decoded reference pixel tends to be high.
  • the transform coefficient obtained by the orthogonal transform process tends to increase the energy in the upper left region corresponding to the low frequency component.
  • the energy of the residual signal increases as the position is farther from the decoded reference pixel, and therefore, intra prediction using the left and upper reference pixels is performed. In some cases, the energy tends to increase in the lower right region of the residual signal.
  • the residual signal is inverted in the vertical direction and the horizontal direction so that the orthogonal signal is applied to the energy distribution of the residual signal.
  • This approach is close to the energy distribution of the transform coefficient generated when it is generated, and the efficiency in subsequent entropy encoding processing is increased.
  • intra prediction is prediction using the upper or left decoded reference pixels that are spatially adjacent, and the accuracy of the predicted image near the decoded reference pixels is high, Using the tendency that the accuracy of the predicted image far from the decoded reference pixel tends to be low, the discrete sine transform (hereinafter referred to as “DST”) from the left side and the upper side where the decoded reference pixel is located to the horizontal and vertical directions.
  • orthogonal transform such as discrete cosine transform (hereinafter referred to as “DCT”) is applied to reduce the entropy of the residual signal.
  • the shape of the impulse response of the DST has an asymmetric shape in which one end is closed and the other end is widened as shown in FIG. 12, so that the generated residual signal is shown in FIG.
  • the prediction accuracy is improved by providing a degree of freedom in the coding order of the transform block.
  • the coding order is changed, there are cases where blocks located below or on the right side of the block to be coded are already coded, and it is possible to use the lower or right reference pixel in intra prediction. Become.
  • the residual signal is inverted in the vertical direction and the horizontal direction regardless of the position of the reference pixel. Therefore, intra prediction using the decoded reference pixels on the right side and the lower side was performed. In this case, there is a problem that the energy of the residual signal is not concentrated in the upper left area, and the coding efficiency is lowered.
  • the present invention has been made to solve the above-described problem, and is an encoding that can reduce an increase in entropy even when a lower or right reference pixel is used in intra prediction.
  • An object is to provide a device, a decoding device, and a program.
  • the present invention is a code that is used even when the orthogonal transform process (or inverse orthogonal transform process) is not applied to the residual signal when at least one of the lower and right reference pixels is used in the intra prediction. It is an object of the present invention to provide an encoding device, a decoding device, and a program that can suppress a decrease in conversion efficiency.
  • a first feature of the present invention is an encoding device configured to divide and encode an original image in frame units constituting a moving image into encoding target blocks, and uses an intra prediction mode.
  • An intra prediction unit configured to generate a prediction image
  • a residual signal generation unit configured to generate a residual signal based on a difference between the prediction image and the original image
  • the intra prediction unit When the predicted image is generated using reference pixels located on at least one of the right side and the lower side, the base is orthogonal to the residual signal by inverting at least one base in the horizontal direction and the vertical direction.
  • the gist of the present invention is to include an orthogonal transform unit configured to perform transform processing.
  • a second feature of the present invention is a decoding apparatus configured to divide a frame-unit original image constituting a moving image into decoding target blocks and decode the predicted image using an intra prediction mode.
  • the intra prediction unit configured to generate the prediction image
  • the intra prediction unit generate the prediction image using reference pixels located on at least one of the right side and the lower side, the horizontal direction and the vertical direction
  • the gist of the present invention is to include an inverse transform unit configured to generate a residual signal by performing an inverse orthogonal transform process on the transform coefficient after inverting at least one base.
  • a third feature of the present invention is an encoding device configured to divide and encode an original image in frame units constituting a moving image into encoding target blocks, and uses an intra prediction mode.
  • An intra prediction unit configured to generate a prediction image
  • a residual signal generation unit configured to generate a residual signal based on a difference between the prediction image and the original image
  • the intra prediction unit When the predicted image is generated using reference pixels located on at least one of the right side and the lower side, the residual signal is inverted in at least one of the horizontal direction and the vertical direction and then subjected to orthogonal transform processing.
  • the gist of the present invention is to include a configured orthogonal transform unit.
  • a fourth feature of the present invention is a decoding apparatus configured to divide a frame-unit original image constituting a moving image into decoding target blocks and decode the prediction image using an intra prediction mode.
  • the prediction image is generated by using the intra prediction unit configured to generate the reference image and the intra prediction unit using the reference pixels located on at least one of the right side and the lower side, the inverse orthogonal transform is performed on the transform coefficient.
  • the gist of the present invention is to include an inverse transform unit configured to generate a residual signal by inverting a signal obtained by performing processing in at least one of a horizontal direction and a vertical direction.
  • a fifth feature of the present invention is an encoding apparatus configured to divide and encode an original image in frame units constituting a moving image into encoding target blocks, and uses an intra prediction mode.
  • An intra prediction unit configured to generate a prediction image
  • a residual signal generation unit configured to generate a residual signal based on a difference between the prediction image and the original image.
  • the residual signal generation unit converts the residual signal into at least a horizontal direction and a vertical direction based on a position of a reference pixel used when the intra prediction unit generates a predicted image.
  • the gist is that it is configured to be reversed.
  • a sixth feature of the present invention is a decoding device configured to divide and decode an original frame-by-frame image constituting a moving image into blocks to be encoded, and the prediction image using the intra prediction mode
  • An intra-prediction unit configured to generate and an inverse orthogonal transform process is not applied, an entropy decoding process and an inverse process are performed based on a reference pixel position used when the intra-prediction unit generates a predicted image.
  • the gist of the present invention is to include an inverse transform unit configured to generate a residual signal by inverting a signal obtained by quantization processing in at least one of a horizontal direction and a vertical direction.
  • the seventh feature of the present invention is summarized as being a program for causing a computer to function as the encoding device described in the first, third, or fifth feature.
  • the eighth feature of the present invention is summarized as being a program for causing a computer to function as the decoding device according to the second, fourth, or sixth feature described above.
  • an encoding device a decoding device, and a program capable of reducing an increase in entropy even when a lower or right reference pixel is used in intra prediction.
  • an encoding device, a decoding device, and a program can be provided.
  • FIG. 1 is a functional block diagram of an encoding apparatus 1 according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of intra prediction when TU partitioning is performed in the first embodiment.
  • FIG. 3 is a flowchart showing the operation of the encoding apparatus 1 according to the first embodiment.
  • FIG. 4 is a functional block diagram of the decoding device 3 according to the first embodiment.
  • FIG. 5 is a flowchart showing the operation of the decoding device 3 according to the first embodiment.
  • FIG. 6 is a flowchart showing the operation of the encoding apparatus 1 according to the second embodiment.
  • FIG. 7 is a flowchart showing the operation of the decoding device 3 according to the second embodiment.
  • FIG. 8 is a flowchart showing the operation of the encoding apparatus 1 according to the third embodiment.
  • FIG. 9 is a flowchart showing the operation of the decoding device 3 according to the third embodiment.
  • FIG. 10 is a diagram for explaining a conventional HEVC.
  • FIG. 11 is a diagram for explaining the conventional HEVC.
  • FIG. 12 is a diagram for explaining a conventional HEVC.
  • FIG. 13 is a diagram for explaining a conventional HEVC.
  • the encoding device 1 and the decoding device 3 according to the first embodiment of the present invention will be described with reference to FIGS.
  • the encoding device 1 and the decoding device 3 according to the present embodiment are configured to support intra prediction in a moving image encoding scheme such as HEVC.
  • the encoding device 1 and the decoding device 3 according to the present embodiment are configured to be compatible with any video encoding scheme as long as the video encoding scheme performs intra prediction.
  • the encoding apparatus 1 is configured to divide and encode a frame-unit original image constituting a moving image into CUs. Also, the encoding device 1 according to the present embodiment may be configured to be able to divide a CU into a plurality of TUs.
  • a case where a CU is divided into a plurality of TUs will be described as an example. However, the present invention is also applicable to a case where a CU is not divided into a plurality of TUs.
  • a specified value (“512” for a 10-bit moving image) is used for an encoding target CU that does not have an adjacent decoded reference pixel, such as the CU positioned at the upper left in the frame. Since the reference pixel used when generating the predicted image is created by the process of filling in, the pixels adjacent to the left side or the upper side of the encoding target CU can be all set as the reference pixels. .
  • the encoding device 1 includes an intra prediction mode determination unit 11, a TU partition determination unit 12, a coding order control unit 13, a sequential local decoded image generation unit 14, A memory 15 and an entropy encoding unit 16 are provided.
  • the intra prediction mode determination unit 11 is configured to determine an optimal intra prediction mode to be applied to the CU.
  • the TU partition determination unit 12 is configured to determine whether or not to divide a CU into a plurality of TUs.
  • a method of dividing a CU into a plurality of TUs a case of four divisions is described as an example.
  • the number of divisions and division shapes when a CU is divided into a plurality of TUs it is not limited to such a case.
  • the encoding order control unit 13 is configured to determine the encoding order of TUs in the CU based on the intra prediction mode (for example, the direction of the intra prediction mode).
  • the encoding order control unit 13 as shown in FIGS. 2 (a) to 2 (d).
  • the direction of the intra prediction mode determined by the intra prediction mode determination unit 11 is the direction from the lower left to the upper right (that is, when direction prediction is performed from the lower left to the upper right)
  • the code of the TU in the CU The order of conversion is not the conventional raster scan order (Z type as shown in FIG.
  • TU # A3 lower left TU in CU # A) ⁇ TU # A4 (lower right in CU # A) TU) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A2 (upper right TU in CU # A) or TU # A3 (lower left TU in CU # A) ) ⁇ TU # A1 (the upper left TU in CU # A) ⁇ TU # A (CU lower right TU in # A) ⁇ TU # A2 (CU top right of TU in # A) of the coding order of, may be configured to employ a pre-defined coding order.
  • the encoding order control unit 13 determines that the TU partition determination unit 12 determines to divide a CU into a plurality of TUs, and the intra prediction mode direction determined by the intra prediction mode determination unit 11 is When the direction is from the upper right to the lower left (that is, when direction prediction is performed from the upper right to the lower left), instead of the conventional raster scan order (Z type as shown in FIG.
  • TU # A2 (upper right TU in CU # A) ⁇ TU # A4 (lower right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A3 (in CU # A) TU # A2 (upper right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A4 (lower right in CU # A) TU) ⁇ TU # A3 (bottom left TU in CU # A)
  • the coding order referred it may be configured to employ a pre-defined coding order.
  • the sequential local decoded image generation unit 14 is configured to generate a local decoded image (decoded image for each TU) based on the encoding order determined by the encoding order control unit 13 and the method of dividing the CU into TUs. ing.
  • the sequential local decoded image generation unit 14 follows the encoding order determined by the encoding order control unit 13 when the TU division determination unit 12 determines to divide a CU into a plurality of TUs.
  • the local decoded image is generated sequentially.
  • the sequential local decoded image generation unit 14 includes an intra prediction unit 14a, a residual signal generation unit 14b, an orthogonal transform / quantization unit 14c, an inverse quantization unit / inverse orthogonal transform unit 14d, And a local decoded image generation unit 14e.
  • the intra prediction unit 14a is configured to generate a prediction image using the intra prediction mode determined by the intra prediction mode determination unit 11. That is, the intra prediction unit 14a is configured to determine the position of the reference pixel used when generating a predicted image.
  • the intra prediction unit 14a is a case where the TU division determination unit 12 determines to divide a CU into a plurality of TUs, as shown in FIGS. 2 (a) to 2 (d).
  • TU # A3 lower left TU in CU # A
  • TU # A4 lower right TU in CU # A
  • TU # A1 upper left TU in CU # A
  • TU # A2 upper right TU in CU # A
  • TU # A3 lower left TU in CU # A
  • TU # A1 (upper left TU in CU # A) ⁇ TU # A2 (upper right TU in CU # A)
  • TU # A3 lower left TU in CU # A
  • TU # A1 Among the encoding orders of TU # A (upper left TU) ⁇ TU # A4 (lower right TU in CU # A)
  • TU # A2 upper right TU in CU # A
  • the prediction image may be generated.
  • the intra prediction unit 14a TU # A1 (upper left TU in CU # A) in which the adjacent lower reference pixel is decoded TU # A2 (upper right TU in CU # A) may be configured to generate a predicted image using decoded reference pixels adjacent to the left side and the lower side.
  • the intra prediction unit 14a is a case where the TU partition determination unit 12 determines to divide a CU into a plurality of TUs, and the direction of the intra prediction mode (prediction Direction) is a direction from upper right to lower left, TU # A2 (upper right TU in CU # A) ⁇ TU # A4 (lower right TU in CU # A) ⁇ TU # A1 (in CU # A) TU # A3 (lower left TU in CU # A), or TU # A2 (upper right TU in CU # A) ⁇ TU # A1 (upper left in CU # A) TU) ⁇ TU # A4 (bottom right TU in CU # A) ⁇ TU # A3 (bottom left TU in CU # A) in the coding order defined in advance. It may be configured to generate.
  • the intra prediction unit 14a performs TU # A1 (upper left TU in CU # A) and TU # A3 (lower left TU in CU # A) in which adjacent right reference pixels are decoded. You may be comprised so that a prediction image may be produced
  • the intra prediction unit 14a determines TU # A3 (lower left TU in CU # A) ⁇ TU # A4 (lower right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A).
  • TU # A2 (upper right TU in CU # A) coding order
  • TU # A3 lower left TU in CU # A)
  • TU # A1 upper left TU in CU # A
  • TU # A2 upper right TU in CU # A
  • the TU in which the upper adjacent reference pixel has been decoded (The TU located at the top of the divided TU groups, TU # A1 and TU # A2 in the example of FIG. 2) is not the intra prediction direction common in CU # A, Predefined predictions such as linear interpolation using decoded reference pixels adjacent to the upper and lower sides It may be configured to perform.
  • the intra prediction unit 14a may be configured to generate a predicted image using decoded reference pixels adjacent in three directions such as the lower side, the left side, and the upper side.
  • the intra prediction unit 14a may be configured to generate a predicted image using decoded reference pixels adjacent in three directions such as the right side, the left side, and the upper side.
  • the residual signal generation unit 14b is configured to generate a residual signal based on the difference between the predicted image generated by the intra prediction unit 14a and the original image.
  • the orthogonal transform / quantization unit 14c is configured to perform orthogonal transform processing and quantization processing on the residual signal generated by the residual signal generation unit 14b to generate a quantized transform coefficient. .
  • the orthogonal transform / quantization unit 14c determines whether to invert the base used for the orthogonal transform process based on the position of the reference pixel used when generating the predicted image determined by the intra prediction unit 14a. Is configured to do.
  • the quantizing unit 14c is configured to perform orthogonal transform processing on the residual signal generated by the residual signal generating unit 14b after inverting at least one of the bases in the vertical direction and the horizontal direction. .
  • the orthogonal transform / quantization unit 14c uses the residual signal generation unit 14b. An orthogonal transformation process is performed on the generated residual signal without inverting the base.
  • the orthogonal transform / quantization unit 14c performs the orthogonal transform process after inverting the base in the vertical direction. You may be comprised so that it may give.
  • the orthogonal transform / quantization unit 14c performs the orthogonal transform process after inverting the horizontal base. It may be configured as follows.
  • the orthogonal transform / quantization unit 14c performs orthogonality after inverting the bases in the vertical direction and the horizontal direction. You may be comprised so that a conversion process may be performed.
  • the intra prediction unit 14a generates a predicted image using reference pixels located on at least one of the right side and the lower side, and the applied orthogonal transform process is an asymmetric orthogonal transform process (for example, DST or the like).
  • the orthogonal transform / quantization unit 14c inverts at least one base in the vertical direction and the horizontal direction used for the orthogonal transform process with respect to the residual signal generated by the residual signal generation unit 14b. It may be configured as follows.
  • the orthogonal transform / quantization unit 14c may be configured not to invert the basis used for the orthogonal transform process with respect to the residual signal generated by the residual signal generation unit 14b. .
  • the intra prediction unit 14a when the intra prediction unit 14a generates a prediction image using reference pixels adjacent in three directions such as the lower side, the left side, and the upper side, the orthogonal transform / quantization unit 14c is generated by the residual signal generation unit 14b. Further, the base used for the orthogonal transform process may not be inverted with respect to the residual signal.
  • the encoding apparatus 1 is not performed by performing the above inversion processing. The amount of processing can be reduced.
  • the intra prediction unit 14a when the intra prediction unit 14a generates a prediction image using reference pixels adjacent in three directions such as the right side, the left side, and the upper side, the orthogonal transform / quantization unit 14c is generated by the residual signal generation unit 14b. You may comprise so that the base used for an orthogonal transformation process may not be reversed with respect to a residual signal.
  • the inverse quantization unit / inverse orthogonal transform unit 14d performs inverse quantization processing and inverse orthogonal transform processing again on the quantized transform coefficient generated by the orthogonal transform / quantization unit 14c, and generates a residual signal. Configured to generate.
  • the inverse quantization unit / inverse orthogonal transform unit 14d performs the inverse orthogonal transform process after inverting the base. It is configured to apply.
  • the local decoded image generation unit 14e generates a local decoded image by adding the prediction image generated by the intra prediction unit 14a to the residual signal generated by the inverse quantization unit / inverse orthogonal transformation unit 14d. It is configured.
  • the memory 15 is configured to hold the local decoded image generated by the sequential local decoded image generation unit 14 so that it can be used as a reference image.
  • the entropy encoding unit 16 is configured to perform entropy encoding processing on flag information including the intra prediction mode determined by the intra prediction mode determination unit 11 and the quantized transform coefficient, and output the stream. Yes.
  • FIG. 3 shows a flowchart for explaining an example of the operation of the encoding apparatus 1 according to the present embodiment.
  • step S101 the encoding apparatus 1 determines an optimal intra prediction mode to be applied to the CU.
  • step S102 the encoding apparatus 1 determines whether or not to divide a CU into a plurality of TUs. When it is determined in step S102 that the CU is divided into a plurality of TUs, the operation proceeds to step S103. On the other hand, when it is determined in step S102 that the CU is not divided into a plurality of TUs, the operation proceeds to step S108.
  • step S103 When it is determined in step S103 that the direction of the intra prediction mode is the direction from the lower left to the upper right or the direction from the upper right to the lower left, the operation proceeds to step S105. On the other hand, when it is determined in step S103 that the direction of the intra prediction mode is other than the direction from the lower left to the upper right and the direction from the upper right to the lower left, the operation proceeds to step S104.
  • step S104 the encoding apparatus 1 employs the raster scan order (Z type as shown in FIG. 8A) used in the conventional HEVC as the above-described encoding order.
  • step S108 the encoding apparatus 1 performs a predetermined prediction on the TU to be encoded using the decoded reference pixels adjacent to the left side and the upper side of the TU.
  • step S106 the encoding device 1 sets TU # A3 (CU # A) as the above-described encoding order.
  • TU # A4 lower right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A2 (upper right TU in CU # A) Coding order, or TU # A3 (lower left TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A4 (lower right TU in CU # A) ⁇ TU
  • a predetermined encoding order is adopted.
  • step S111 the encoding device 1 uses TU # A2 (CU #) as the encoding order described above.
  • TU # A4 (lower right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A3 (lower left TU in CU # A) Or TU # A2 (upper right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A4 (lower right TU in CU # A) ⁇ Among the encoding orders of TU # A3 (lower left TU in CU # A), a predetermined encoding order is adopted.
  • step S107 the encoding apparatus 1 determines whether or not the reference pixel adjacent to the upper side of the TU to be encoded has been decoded. In step S107, if the decoding has been completed, the operation proceeds to step S109. If the decoding has not been completed, the operation proceeds to step S110.
  • step S109 the encoding apparatus 1 performs a predefined prediction on the TU to be encoded using decoded reference pixels adjacent to the left side, the upper side, and the lower side of the TU.
  • step S110 the encoding apparatus 1 performs a predetermined prediction on the TU to be encoded using the decoded reference pixels adjacent to the left side and the lower side of the TU.
  • step S112 the encoding device 1 determines whether or not the reference pixel adjacent to the left side of the TU to be encoded has been decoded. In step S112, when the decoding has been completed, the operation proceeds to step S113. When the decoding has not been completed, the operation proceeds to step S114.
  • step S113 the encoding apparatus 1 performs a predetermined prediction on the TU to be encoded using the decoded reference pixels adjacent to the left side, the upper side, and the right side of the TU.
  • step S114 the encoding apparatus 1 performs a predetermined prediction on the TU to be encoded using the decoded reference pixels adjacent to the right side and the upper side of the TU.
  • step S115 the encoding apparatus 1 performs an orthogonal transformation process on the residual signal after inverting the base, and performs the subsequent processes.
  • step S116 the encoding apparatus 1 performs orthogonal transform processing on the residual signal without inverting the base, and performs subsequent processing.
  • the base is inverted with respect to the residual signal. Therefore, an increase in entropy can be reduced.
  • the decoding device 3 according to the present embodiment is configured to divide and decode a frame-unit original image constituting a moving image into CUs. Also, the decoding device 3 according to the present embodiment is configured to be able to divide a CU into a plurality of TUs, similarly to the encoding device 1 according to the present embodiment.
  • the decoding device 3 includes an entropy decoding unit 31, a decoding order control unit 32, a sequential local decoded image generation unit 33, and a memory 34.
  • the entropy decoding unit 31 is configured to decode transform coefficients, flag information, and the like from the stream output from the encoding device 1.
  • the transform coefficient is a quantized transform coefficient obtained by the encoding apparatus 1 as a signal encoded by dividing an original image in frame units into CUs.
  • the flag information includes accompanying information such as a prediction mode.
  • the decoding order control unit 32 is configured to determine the decoding order of TUs in the CU based on the intra prediction mode.
  • the decoding order control unit 32 includes a flag indicating whether the TU division output by the entropy decoding unit 31 has been performed (whether the CU is divided into a plurality of TUs) and the intra prediction mode.
  • the decoding order of TUs in the CU is determined according to the direction.
  • the decoding order control unit 32 is a case where the CU is divided into a plurality of TUs and the direction of the intra prediction mode is a direction from the lower left to the upper right.
  • TU # A3 lower left TU in CU # A
  • TU # A4 lower right TU in CU # A
  • TU # A1 upper left TU in CU # A
  • TU # A2 CU # A TU # A3 (lower left TU in CU # A)
  • TU # A1 upper left TU in CU # A
  • TU # A4 right in CU # A
  • the decoding process may be performed in a predetermined decoding order among the decoding order of (lower TU) ⁇ TU # A2 (upper right TU in CU # A).
  • the decoding order control unit 32 is a case where the CU is divided into a plurality of TUs and the direction of the intra prediction mode is a direction from the upper right to the lower left.
  • TU # A2 (upper right TU in CU # A) ⁇ TU # A4 (lower right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A3 (CU # A TU # A2 (upper right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A4 (right in CU # A)
  • the decoding process may be performed in a predetermined decoding order in the decoding order of (lower TU) ⁇ TU # A3 (lower left TU in CU # A).
  • the sequential local decoded image generation unit 33 is configured to generate a local decoded image (decoded image for each TU) based on the decoding order determined by the decoding order control unit 32 and the method of dividing the CU into TUs. .
  • the sequential local decoded image generation unit 33 performs the quantization output by the entropy decoding unit 31 according to the decoding order determined by the decoding order control unit 32.
  • a local decoded image is generated by sequentially performing intra prediction, inverse quantization processing, and inverse orthogonal transform processing on the transformed coefficients.
  • the sequential local decoded image generation unit 33 includes an intra prediction unit 33a, an inverse quantization / inverse conversion unit 33b, and a decoded image generation unit 33c.
  • the intra prediction unit 33a may be configured to generate a prediction image using the intra prediction mode output by the entropy decoding unit 31 in accordance with the decoding order determined by the decoding order control unit 32.
  • the prediction image may be generated in a predetermined decoding order.
  • the intra prediction unit 33a TU # A1 (upper left TU in CU # A) in which the adjacent lower reference pixel is decoded TU # A2 (upper right TU in CU # A) may be configured to generate a predicted image using decoded reference pixels adjacent to the left side and the lower side.
  • the intra prediction unit 33a is a case where the CU is divided into a plurality of TUs, and the direction of the intra prediction mode (prediction direction) is from the upper right to the lower left. If there is, TU # A2 (upper right TU in CU # A) ⁇ TU # A4 (lower right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A3 ( TU # A2 (upper right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A4 (CU # A) The prediction image may be generated in a predetermined decoding order in the decoding order of TU in the lower right) ⁇ TU # A3 (lower left TU in CU # A).
  • the intra prediction unit 33a performs TU # A1 (upper left TU in CU # A) and TU # A3 (lower left TU in CU # A) in which adjacent right reference pixels are decoded.
  • the prediction image may be generated using the decoded reference pixels adjacent to the upper side and the right side.
  • the intra prediction unit 33a performs TU # A3 (lower left TU in CU # A) ⁇ TU # A4 (lower right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A). ⁇ TU # A2 (upper right TU in CU # A) decoding order, or TU # A3 (lower left TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # When the decoding order of A4 (lower right TU in CU # A) ⁇ TU # A2 (upper right TU in CU # A) is used, the TU (division that the upper adjacent reference pixel has been decoded) is used.
  • the TU located at the top of the TU group, TU # A1 and TU # A2) in the example of FIG. 2 is not the intra prediction direction common in CU # A, Predetermined prediction such as linear interpolation using decoded reference pixels adjacent to the lower side It may be configured so.
  • the inverse quantization / inverse transform unit 33b performs an inverse quantization process and an inverse transform process (for example, an inverse orthogonal transform process) on the quantized transform coefficient output from the entropy decoding unit 31, thereby obtaining a residual. It is configured to generate a signal.
  • an inverse transform process for example, an inverse orthogonal transform process
  • the intra prediction unit 33a when the intra prediction unit 33a generates a prediction image using reference pixels located on at least one of the right side and the lower side (that is, reference pixels adjacent to at least one of the right side and the lower side), inverse quantization is performed.
  • the inverse transform unit 33b is configured to generate a residual signal by performing inverse orthogonal transform processing on the transform coefficient after inverting at least one base in the vertical direction and the horizontal direction. Yes.
  • the inverse quantization / inverse transform unit 33b does not invert the base.
  • the residual signal is generated by performing an inverse orthogonal transform process on the transform coefficient described above.
  • the inverse quantization / inverse conversion unit 33b inverts the vertical base and
  • the residual signal may be generated by performing an inverse orthogonal transform process on the transform coefficient.
  • the inverse quantization / inverse conversion unit 33b inverts the horizontal base and The residual signal may be generated by performing inverse orthogonal transform processing on the transform coefficient.
  • the intra prediction unit 33a when the intra prediction unit 33a generates a prediction image using the reference pixels located on the right side and the lower side, the inverse quantization / inverse conversion unit 33b is obtained by inverting the bases in the vertical direction and the horizontal direction.
  • the residual signal may be generated by performing an inverse orthogonal transform process on the transform coefficient described above.
  • the inverse quantization / inverse transform unit 33b is configured to generate a residual signal by performing an inverse orthogonal transform process on the transform coefficient after inverting the base. May be.
  • the inverse quantization / inverse transform unit 33b is configured to generate a residual signal by performing the inverse orthogonal transform process on the transform coefficient without inverting the base. May be.
  • the intra prediction unit 33a when the intra prediction unit 33a generates a prediction image using reference pixels adjacent in three directions such as the lower side, the left side, and the upper side, the inverse quantization / inverse conversion unit 33b You may comprise so that the base used for an inverse orthogonal transformation process may not be reversed.
  • the inverse quantization / inverse transform unit 33b performs an inverse operation on the transform coefficient described above.
  • the base used for the orthogonal transformation process may be configured not to be inverted.
  • the decoded image generation unit 33c is configured to generate a local decoded image by adding the prediction image generated by the intra prediction unit 33a and the residual signal generated by the inverse quantization / inverse conversion unit 33b. .
  • the memory 34 is configured to hold the local decoded image generated by the sequential local decoded image generation unit 33 so that it can be used as a reference image for intra prediction and inter prediction.
  • FIG. 5 shows a flowchart for explaining an example of the operation for determining the decoding order described above by the decoding device 3 according to the present embodiment.
  • step S ⁇ b> 201 the decoding device 3 acquires an intra prediction mode from the stream output from the encoding device 1.
  • step S202 the decoding device 3 determines whether or not the CU is divided into a plurality of TUs based on the flag information included in the stream output from the encoding device 1. If it is determined in step S202 that the CU is divided into a plurality of TUs, the operation proceeds to step S203. On the other hand, if it is determined in step S202 that the CU is not divided into a plurality of TUs, the operation proceeds to step S205.
  • step S205 the decoding device 3 performs a predetermined prediction on the decoding target TU using the decoded reference pixels adjacent to the left side and the upper side of the TU.
  • step S203 the decoding device 3 determines whether the direction of the intra prediction mode is the direction from the lower left to the upper right or the direction from the upper right to the lower left.
  • step S203 determines whether the direction of the intra prediction mode is the direction from the lower left to the upper right or the direction from the upper right to the lower left.
  • step S204 the decoding device 3 employs the conventional raster scan order (Z type as shown in FIG. 8A) used in HEVC as the above-described decoding order.
  • the decoding device 3 uses TU # A3 (in CU # A as the decoding order).
  • TU # A3 (lower left TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A4 (lower right TU in CU # A) ⁇ TU # A2 ( Of the decoding order of TU # A in the upper right TU) a predetermined decoding order is adopted.
  • the decoding device 3 uses TU # A2 (in CU # A as the decoding order).
  • TU # A4 lower right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A3 (lower left TU in CU # A) TU # A2 (upper right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A4 (lower right TU in CU # A) ⁇ TU # A3
  • a predetermined decoding order is adopted.
  • step S208 the decoding device 3 determines whether or not the reference pixel adjacent to the upper side of the TU to be decoded has been decoded. In step S208, if the decoding has been completed, the operation proceeds to step S209. If the decoding has not been completed, the operation proceeds to step S210.
  • step S209 the decoding apparatus 3 performs a predetermined prediction on the decoding target TU using the decoded reference pixels adjacent to the left side, the upper side, and the lower side of the TU.
  • step S210 the decoding device 3 performs a predetermined prediction on the decoding target TU using the decoded reference pixels adjacent to the left side and the lower side of the TU.
  • step S212 the decoding device 3 determines whether the reference pixel adjacent to the left side of the decoding target TU has been decoded. In step S212, if the decoding has been completed, the operation proceeds to step S213. If the decoding has not been completed, the operation proceeds to step S214.
  • step S213 the decoding device 3 performs a predetermined prediction on the decoding target TU using the decoded reference pixels adjacent to the left side, the upper side, and the right side of the TU.
  • step S214 the decoding device 3 performs a predetermined prediction on the decoding target TU using the decoded reference pixels adjacent to the right side and the upper side of the TU.
  • step S215 the decoding device 3 inverts at least one of the bases in the vertical direction and the horizontal direction, and then performs an inverse orthogonal transform process on the transform coefficient described above to generate a residual signal, and then Process.
  • step S216 the decoding device 3 generates a residual signal by performing the inverse orthogonal transform process on the above-described transform coefficient without inverting the base, and performs subsequent processing.
  • the decoding device 3 when a predicted image is generated using reference pixels located on at least one of the right side and the lower side, the basis is inverted with respect to the transform coefficient and then inverted. Since it is configured to perform orthogonal transform processing, an increase in entropy can be reduced.
  • the intra prediction unit 14a when the intra prediction unit 14a generates a predicted image using reference pixels located on at least one of the right side and the lower side, the orthogonal transform / quantization unit 14c
  • the residual signal generated by the difference signal generation unit 14b is inverted in at least one of the horizontal direction and the vertical direction, and then subjected to orthogonal transformation processing.
  • the orthogonal transform / quantization unit 14c uses the residual signal generated by the residual signal generation unit 14b. May be configured to perform orthogonal transformation processing after inverting in the vertical direction.
  • the orthogonal transform / quantization unit 14c uses the residual signal generated by the residual signal generation unit 14b. You may comprise so that an orthogonal transformation process may be performed after inverting in a horizontal direction.
  • the orthogonal transform / quantization unit 14c when the intra prediction unit 14a generates a prediction image using the reference pixels located on the right side and the lower side, the orthogonal transform / quantization unit 14c generates the residual signal generated by the residual signal generation unit 14b. It is also possible to perform orthogonal transformation processing after inverting in the vertical and horizontal directions.
  • the intra prediction unit 14a generates a predicted image using reference pixels located on at least one of the right side and the lower side
  • the applied orthogonal transform process is an asymmetric orthogonal transform process (for example, DST or the like).
  • the orthogonal transform / quantization unit 14c inverts the residual signal generated by the residual signal generation unit 14b in at least one of the horizontal direction and the vertical direction, and then performs orthogonal transformation processing. It may be configured.
  • the applied orthogonal transform process is a symmetric orthogonal transform process (for example, DCT Or the like, the orthogonal transform / quantization unit 14c may be configured to perform orthogonal transform processing without inverting the residual signal generated by the residual signal generation unit 14b.
  • the orthogonal transform / quantization unit 14c is generated by the residual signal generation unit 14b.
  • the orthogonal transformation process may be performed without inverting the residual signal.
  • the orthogonal transform / quantization unit 14c is generated by the residual signal generation unit 14b.
  • the orthogonal transform process may be performed without inverting the residual signal.
  • FIG. 6 shows a flowchart for explaining an example of the operation of the encoding apparatus 1 according to the present embodiment.
  • steps S301 to S314 are the same as the operations in steps S101 to S114 shown in FIG.
  • step 315 the encoding apparatus 1 performs orthogonal transform processing without inverting the above-described residual signal, and performs subsequent processing.
  • step 316 the encoding apparatus 1 performs the orthogonal transformation process after inverting the above-described residual signal in at least one of the horizontal direction and the vertical direction, and performs the subsequent process.
  • the residual signal when a predicted image is generated using reference pixels located on at least one of the right side and the lower side, the residual signal is set to at least one of the horizontal direction and the vertical direction. Since it is configured to perform the orthogonal transformation process after being inverted, an increase in entropy can be reduced.
  • the inverse quantization / inverse conversion unit 33b A signal obtained by performing inverse orthogonal transform processing on the transform coefficient is inverted in at least one of the horizontal direction and the vertical direction.
  • the inverse quantization / inverse transform unit 33b performs an inverse orthogonal transform process on the transform coefficient described above.
  • the signal obtained in (1) may be inverted in the vertical direction.
  • the inverse quantization / inverse transform unit 33b performs inverse orthogonal transform processing on the transform coefficient described above.
  • the obtained signal may be configured to be inverted in the horizontal direction.
  • the inverse quantization / inverse transform unit 33b performs an inverse orthogonal transform process on the transform coefficient described above.
  • the signal obtained in (1) may be inverted in the vertical and horizontal directions.
  • the inverse quantization / inverse transform unit 33b may be configured to invert a signal obtained by performing an inverse orthogonal transform process on the transform coefficient described above.
  • the inverse quantization / inverse transform unit 33b may be configured not to invert a signal obtained by performing an inverse orthogonal transform process on the transform coefficient described above.
  • the inverse quantization / inverse transform unit 33b performs inverse orthogonal transform to the transform coefficient described above. You may be comprised so that the signal obtained by processing may not be reversed.
  • the inverse quantization / inverse transform unit 33b performs an inverse orthogonal transform process on the transform coefficient described above.
  • the signal obtained by applying may be configured not to be inverted.
  • FIG. 7 shows a flowchart for explaining an example of the operation of the decoding device 3 according to the present embodiment.
  • steps S401 to S414 are the same as the operations in steps S201 to S214 shown in FIG.
  • step 415 the decoding device 3 performs subsequent processing without inverting the signal obtained by performing inverse orthogonal transform processing on the above-described transform coefficient.
  • step 416 the decoding device 3 performs the subsequent processing after inverting the signal obtained by performing the inverse orthogonal transform processing on the transform coefficient in at least one of the horizontal direction and the vertical direction.
  • the encoding device 1 and the decoding device 3 according to the first embodiment of the present invention will be described with reference to FIGS. 1, 2, 4, 8, and 9.
  • the encoding device 1 and the decoding device 3 according to the present embodiment are configured to support intra prediction in a moving image encoding scheme such as HEVC.
  • the encoding device 1 and the decoding device 3 according to the present embodiment are configured to be compatible with any video encoding scheme as long as the video encoding scheme performs intra prediction.
  • the encoding apparatus 1 is configured to divide and encode a frame-unit original image constituting a moving image into CUs. Also, the encoding device 1 according to the present embodiment may be configured to be able to divide a CU into a plurality of TUs.
  • a case where a CU is divided into a plurality of TUs will be described as an example. However, the present invention is also applicable to a case where a CU is not divided into a plurality of TUs.
  • a specified value (“512” for a 10-bit moving image) is used for an encoding target CU that does not have an adjacent decoded reference pixel, such as the CU positioned at the upper left in the frame. Since the reference pixels used when generating the predicted image are created by the process of filling in, the pixels adjacent to the left side of the CU to be encoded can be set as reference pixels.
  • the encoding device 1 includes an intra prediction mode determination unit 11, a TU partition determination unit 12, a coding order control unit 13, a sequential local decoded image generation unit 14, A memory 15 and an entropy encoding unit 16 are provided.
  • the intra prediction mode determination unit 11 is configured to determine an optimal intra prediction mode to be applied to the CU.
  • the TU partition determination unit 12 is configured to determine whether or not to divide a CU into a plurality of TUs.
  • a method of dividing a CU into a plurality of TUs a case of four divisions is described as an example.
  • the number of divisions and division shapes when a CU is divided into a plurality of TUs it is not limited to such a case.
  • the encoding order control unit 13 is configured to determine the encoding order of TUs in the CU based on the intra prediction mode (for example, the direction of the intra prediction mode).
  • the encoding order control unit 13 as shown in FIGS. 2 (a) to 2 (d).
  • the direction of the intra prediction mode determined by the intra prediction mode determination unit 11 is the direction from the lower left to the upper right (that is, when direction prediction is performed from the lower left to the upper right)
  • the code of the TU in the CU The order of conversion is not the conventional raster scan order (Z type as shown in FIG.
  • the encoding order control unit 13 determines that the TU partition determination unit 12 determines to divide a CU into a plurality of TUs, and the intra prediction mode direction determined by the intra prediction mode determination unit 11 is When the direction is from the upper right to the lower left (that is, when direction prediction is performed from the upper right to the lower left), instead of the conventional raster scan order (Z type as shown in FIG.
  • TU # A2 (upper right TU in CU # A) ⁇ TU # A4 (lower right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A3 (in CU # A) TU # A2 (upper right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A4 (lower right in CU # A) TU) ⁇ TU # A3 (bottom left TU in CU # A) Of coding order that may be configured to employ a pre-defined coding order.
  • the sequential local decoded image generation unit 14 is configured to generate a local decoded image (decoded image for each TU) based on the encoding order determined by the encoding order control unit 13 and the method of dividing the CU into TUs. ing.
  • the sequential local decoded image generation unit 14 follows the encoding order determined by the encoding order control unit 13 when the TU division determination unit 12 determines to divide a CU into a plurality of TUs.
  • the local decoded image is generated sequentially.
  • the sequential local decoded image generation unit 14 includes an intra prediction unit 14a, a residual signal generation unit 14b, an orthogonal transform / quantization unit 14c, an inverse quantization unit / inverse orthogonal transform unit 14d, And a local decoded image generation unit 14e.
  • the intra prediction unit 14a is configured to generate a prediction image using the intra prediction mode determined by the intra prediction mode determination unit 11. That is, the intra prediction unit 14d is configured to determine the position of the reference pixel used when generating a predicted image.
  • the intra prediction unit 14a is a case where the TU division determination unit 12 determines to divide a CU into a plurality of TUs, as shown in FIGS. 2 (a) to 2 (d).
  • TU # A3 lower left TU in CU # A
  • TU # A4 lower right TU in CU # A
  • TU # A1 upper left TU in CU # A
  • TU # A2 upper right TU in CU # A
  • TU # A3 lower left TU in CU # A
  • TU # A1 (upper left TU in CU # A) ⁇ TU # A2 (upper right TU in CU # A)
  • TU # A3 lower left TU in CU # A
  • TU # A1 Among the encoding orders of TU # A (upper left TU) ⁇ TU # A4 (lower right TU in CU # A)
  • TU # A2 upper right TU in CU # A
  • the prediction image may be generated.
  • the intra prediction unit 14a TU # A1 (upper left TU in CU # A) in which the adjacent lower reference pixel is decoded TU # A2 (upper right TU in CU # A) may be configured to generate a predicted image using decoded reference pixels adjacent to the left side and the lower side.
  • the intra prediction unit 14a is a case where the TU partition determination unit 12 determines to divide a CU into a plurality of TUs, and the direction of the intra prediction mode (prediction Direction) is a direction from upper right to lower left, TU # A2 (upper right TU in CU # A) ⁇ TU # A4 (lower right TU in CU # A) ⁇ TU # A1 (in CU # A) TU # A3 (lower left TU in CU # A), or TU # A2 (upper right TU in CU # A) ⁇ TU # A1 (upper left in CU # A) TU) ⁇ TU # A4 (bottom right TU in CU # A) ⁇ TU # A3 (bottom left TU in CU # A) in the coding order defined in advance. It may be configured to generate.
  • the intra prediction unit 14a performs TU # A1 (upper left TU in CU # A) and TU # A3 (lower left TU in CU # A) in which adjacent right reference pixels are decoded. You may be comprised so that a prediction image may be produced
  • the intra prediction unit 14a determines TU # A3 (lower left TU in CU # A) ⁇ TU # A4 (lower right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A).
  • TU # A2 (upper right TU in CU # A) coding order
  • TU # A3 lower left TU in CU # A)
  • TU # A1 upper left TU in CU # A
  • TU # A2 upper right TU in CU # A
  • the TU in which the upper adjacent reference pixel has been decoded (The TU located at the top of the divided TU groups, TU # A1 and TU # A2 in the example of FIG. 2) is not the intra prediction direction common in CU # A, Predefined predictions such as linear interpolation using decoded reference pixels adjacent to the upper and lower sides It may be configured to perform.
  • the residual signal generation unit 14b is configured to generate a residual signal based on the difference between the predicted image generated by the intra prediction unit 14a and the original image.
  • the residual signal generation unit 14b uses a reference pixel used when generating a prediction image determined by the intra prediction unit 14a. Based on the position, the generated residual signal may be inverted in at least one of the horizontal direction and the vertical direction.
  • the residual signal generation unit 14 b when the “Transform Skip mode” is applied, and the intra prediction unit 14 a generates a prediction image using reference pixels located on the left side and the lower side, the residual signal generation unit 14 b generates
  • the residual signal may be inverted in the horizontal direction, and the energy of the residual signal may be concentrated in the upper left area.
  • the residual signal generation unit 14 b when the “Transform Skip mode” is applied, and the intra prediction unit 14 a generates a prediction image using reference pixels located on the right side and the upper side, the residual signal generation unit 14 b generates The residual signal may be inverted in the vertical direction, and the energy of the residual signal may be concentrated in the upper left area.
  • the “Transform Skip mode” when the “Transform Skip mode” is applied, and the intra prediction unit 14a generates a predicted image using reference pixels located on the left side and the upper side, the “Transform Skip mode” is applied with the conventional HEVC.
  • the residual signal generation unit 14b may be configured to invert the generated residual signal in the vertical direction and the horizontal direction and concentrate the energy of the residual signal in the upper left region.
  • the residual signal generation unit 14 b may be inverted in the horizontal direction so that the energy of the residual signal is concentrated in the left region.
  • the intra prediction unit 14 a when the “Transform Skip mode” is applied, and the intra prediction unit 14 a generates a prediction image using reference pixels located on the left side, the upper side, and the right side, the residual signal generation unit 14 b
  • the generated residual signal may be inverted in the vertical direction, and the energy of the residual signal may be concentrated in the upper region.
  • the inversion processing of the residual signal may be realized by another function such as the orthogonal transform / quantization unit 14c and the entropy encoding unit 16 instead of the residual signal generation unit 14b.
  • the entropy encoding unit 16 may change the coefficient scan order to obtain the same effect as the inversion of the residual signal.
  • the intra prediction unit 14a when the “Transform Skip mode” is applied and the intra prediction unit 14a does not generate a predicted image using the reference pixels located on either the left side or the upper side, the generated remaining image is generated. It may be configured not to invert the difference signal.
  • the orthogonal transform / quantization unit 14c is configured to perform orthogonal transform processing and quantization processing on the residual signal generated by the residual signal generation unit 14b to generate a quantized transform coefficient. .
  • the orthogonal transform / quantization unit 14 c performs quantization without performing orthogonal transform processing on the residual signal generated by the residual signal generation unit 14 b. It is configured to perform only processing.
  • both the orthogonal transform process and the quantization process are not performed, and the residual signal generated by the residual signal generation unit 14b is output as it is. May be.
  • the inverse quantization unit / inverse orthogonal transform unit 14d performs the inverse quantization process and the inverse orthogonal transform process on the quantized transform coefficient generated by the orthogonal transform / quantization unit 14c again to generate a residual signal. Configured to generate.
  • the inverse quantization unit / inverse orthogonal transform unit 14d applies to the quantized residual signal generated by the orthogonal transform / quantization unit 14c.
  • a residual signal is generated by performing only inverse quantization processing without performing inverse orthogonal transform processing.
  • both the orthogonal transform process and the quantization process are not performed, and the residual signal generated by the orthogonal transform / quantization unit 14c is output as it is. May be.
  • the local decoded image generation unit 14e generates a local decoded image by adding the prediction image generated by the intra prediction unit 14a to the residual signal generated by the inverse quantization unit / inverse orthogonal transformation unit 14d. It is configured.
  • the memory 15 is configured to hold the local decoded image generated by the sequential local decoded image generation unit 14 so that it can be used as a reference image.
  • the entropy encoding unit 16 is configured to perform entropy encoding processing on flag information including the intra prediction mode determined by the intra prediction mode determination unit 11 and the quantized transform coefficient, and output the stream. Yes.
  • FIG. 8 shows a flowchart for explaining an example of the operation of the encoding apparatus 1 according to the present embodiment when the “Transform Skip mode” is applied.
  • step S501 the encoding apparatus 1 determines an optimal intra prediction mode to be applied to the CU.
  • step S502 the encoding apparatus 1 determines whether or not to divide a CU into a plurality of TUs. When it is determined in step S502 that the CU is divided into a plurality of TUs, the operation proceeds to step S503. On the other hand, if it is determined in step S502 that the CU is not divided into a plurality of TUs, the operation proceeds to step S508.
  • step S503 when it is determined that the direction of the intra prediction mode is the direction from the lower left to the upper right or the direction from the upper right to the lower left, the operation proceeds to step S505.
  • step S503 when it is determined in step S503 that the direction of the intra prediction mode is other than the direction from the lower left to the upper right and the direction from the upper right to the lower left, the operation proceeds to step S504.
  • step S504 the encoding apparatus 1 employs the raster scan order (Z type as shown in FIG. 10A) used in the conventional HEVC as the above-described encoding order.
  • step S508 the encoding apparatus 1 performs a predetermined prediction on the TU to be encoded using the decoded reference pixels adjacent to the left side and the upper side of the TU.
  • step S506 the encoding device 1 uses TU # A3 (CU # A) as the above-described encoding order.
  • TU # A4 lower right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A2 (upper right TU in CU # A) Coding order, or TU # A3 (lower left TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A4 (lower right TU in CU # A) ⁇ TU
  • a predetermined encoding order is adopted.
  • step S511 the encoding device 1 sets TU # A2 (CU #) as the above-described encoding order.
  • TU # A4 (lower right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A3 (lower left TU in CU # A) Or TU # A2 (upper right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A4 (lower right TU in CU # A) ⁇ Among the encoding orders of TU # A3 (lower left TU in CU # A), a predetermined encoding order is adopted.
  • step S507 the encoding apparatus 1 determines whether or not the reference pixel adjacent to the upper side of the TU to be encoded has been decoded. In step S507, if the decoding has been completed, the operation proceeds to step S509. If the decoding has not been completed, the operation proceeds to step S510.
  • step S509 the encoding apparatus 1 performs a predetermined prediction on the TU to be encoded using the decoded reference pixels adjacent to the left side, the upper side, and the lower side of the TU.
  • step S510 the encoding apparatus 1 performs a predetermined prediction on the TU to be encoded using the decoded reference pixels adjacent to the left side and the lower side of the TU.
  • step S512 the encoding device 1 determines whether or not the reference pixel adjacent to the left side of the TU to be encoded has been decoded. In step S512, if the decoding has been completed, the operation proceeds to step S513. If the decoding has not been completed, the operation proceeds to step S514.
  • step S513 the encoding apparatus 1 performs a predetermined prediction on the TU to be encoded using the decoded reference pixels adjacent to the left side, the upper side, and the right side of the TU.
  • step S514 the encoding device 1 performs a predetermined prediction on the TU to be encoded using the decoded reference pixels adjacent to the right side and the upper side of the TU.
  • step S515 the encoding apparatus 1 inverts the residual signal generated using the predicted image and the original image in the vertical direction, and then performs subsequent processing.
  • step S5166 the encoding apparatus 1 performs the subsequent processing after inverting the residual signal generated using the predicted image and the original image in the horizontal direction.
  • step S517 the encoding device 1 inverts the residual signal generated using the predicted image and the original image in the vertical direction and the horizontal direction, and then performs subsequent processing.
  • the encoding device 1 when at least one of the lower and right reference pixels is used in intra prediction and the Transform Skip mode is applied (the orthogonal transform process is performed on the residual signal). Even when not applied), it is possible to suppress a decrease in encoding efficiency.
  • the decoding device 3 according to the present embodiment is configured to divide and decode a frame-unit original image constituting a moving image into CUs. Also, the decoding device 3 according to the present embodiment is configured to be able to divide a CU into a plurality of TUs, similarly to the encoding device 1 according to the present embodiment.
  • the decoding device 3 includes an entropy decoding unit 31, a decoding order control unit 32, a sequential local decoded image generation unit 33, and a memory 34.
  • the entropy decoding unit 31 is configured to decode transform coefficients, flag information, and the like from the stream output from the encoding device 1 by performing entropy decoding processing on the stream output from the encoding device 1. ing.
  • the transform coefficient is a quantized transform coefficient obtained by the encoding apparatus 1 as a signal encoded by dividing an original image in frame units into CUs.
  • the flag information includes accompanying information such as information indicating whether the prediction mode or the “Transform Skip mode” is selected.
  • the decoding order control unit 32 is configured to determine the decoding order of TUs in the CU based on the intra prediction mode.
  • the decoding order control unit 32 includes a flag indicating whether the TU division output by the entropy decoding unit 31 has been performed (whether the CU is divided into a plurality of TUs) and the intra prediction mode.
  • the decoding order of TUs in the CU is determined according to the direction.
  • the decoding order control unit 32 is a case where the CU is divided into a plurality of TUs and the direction of the intra prediction mode is a direction from the lower left to the upper right.
  • TU # A3 lower left TU in CU # A
  • TU # A4 lower right TU in CU # A
  • TU # A1 upper left TU in CU # A
  • TU # A2 CU # A TU # A3 (lower left TU in CU # A)
  • TU # A1 upper left TU in CU # A
  • TU # A4 right in CU # A
  • the decoding process may be performed in a predetermined decoding order among the decoding order of (lower TU) ⁇ TU # A2 (upper right TU in CU # A).
  • the decoding order control unit 32 is a case where the CU is divided into a plurality of TUs and the direction of the intra prediction mode is a direction from the upper right to the lower left.
  • TU # A2 (upper right TU in CU # A) ⁇ TU # A4 (lower right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A3 (CU # A TU # A2 (upper right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A4 (right in CU # A)
  • the decoding process may be performed in a predetermined decoding order in the decoding order of (lower TU) ⁇ TU # A3 (lower left TU in CU # A).
  • the sequential local decoded image generation unit 33 is configured to generate a local decoded image (decoded image for each TU) based on the decoding order determined by the decoding order control unit 32 and the method of dividing the CU into TUs. .
  • the sequential local decoded image generation unit 33 performs the quantization output by the entropy decoding unit 31 according to the decoding order determined by the decoding order control unit 32.
  • a local decoded image is generated by sequentially performing intra prediction, inverse quantization processing, and inverse orthogonal transform processing on the transformed coefficients.
  • the sequential local decoded image generation unit 33 includes an intra prediction unit 33a, an inverse quantization / inverse conversion unit 33b, and a decoded image generation unit 33c.
  • the intra prediction unit 33a may be configured to generate a prediction image using the intra prediction mode output by the entropy decoding unit 31 in accordance with the decoding order determined by the decoding order control unit 32.
  • the prediction image may be generated in a predetermined decoding order.
  • the intra prediction unit 33a TU # A1 (upper left TU in CU # A) in which the adjacent lower reference pixel is decoded TU # A2 (upper right TU in CU # A) may be configured to generate a predicted image using decoded reference pixels adjacent to the left side and the lower side.
  • the intra prediction unit 33a is a case where the CU is divided into a plurality of TUs, and the direction of the intra prediction mode (prediction direction) is from the upper right to the lower left. If there is, TU # A2 (upper right TU in CU # A) ⁇ TU # A4 (lower right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A3 ( TU # A2 (upper right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A4 (CU # A) The prediction image may be generated in a predetermined decoding order in the decoding order of TU in the lower right) ⁇ TU # A3 (lower left TU in CU # A).
  • the intra prediction unit 33a performs TU # A1 (upper left TU in CU # A) and TU # A3 (lower left TU in CU # A) in which adjacent right reference pixels are decoded.
  • the prediction image may be generated using the decoded reference pixels adjacent to the upper side and the right side.
  • the intra prediction unit 33a performs TU # A3 (lower left TU in CU # A) ⁇ TU # A4 (lower right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A). ⁇ TU # A2 (upper right TU in CU # A) decoding order, or TU # A3 (lower left TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # When the decoding order of A4 (lower right TU in CU # A) ⁇ TU # A2 (upper right TU in CU # A) is used, the TU (division that the upper adjacent reference pixel has been decoded) is used.
  • the TU located at the top of the TU group, TU # A1 and TU # A2) in the example of FIG. 2 is not the intra prediction direction common in CU # A, Predetermined prediction such as linear interpolation using decoded reference pixels adjacent to the lower side It may be configured so.
  • the inverse quantization / inverse transform unit 33b performs an inverse quantization process and an inverse transform process (for example, an inverse orthogonal transform process) on the quantized transform coefficient output from the entropy decoding unit 31, thereby obtaining a residual. It is configured to generate a signal.
  • an inverse transform process for example, an inverse orthogonal transform process
  • the inverse quantization / inverse transform unit 33b performs an inverse transform process on the signal obtained by the entropy decoding process. Only the inverse quantization process is performed without performing the above.
  • both the inverse orthogonal transform process and the inverse quantization process are not performed, and the signal obtained by the entropy decoding process may be output as it is.
  • the inverse quantization / inverse transform unit 33b performs the entropy decoding process and the inverse based on the position of the reference pixel used when the intra prediction unit 33a generates the predicted image.
  • the residual signal may be generated by inverting the signal obtained by the quantization process in at least one of the horizontal direction and the vertical direction.
  • the intra prediction unit 33a when the “Transform Skip mode” is applied, and the intra prediction unit 33a generates a prediction image using reference pixels located on the left side and the lower side, the inverse quantization / inverse conversion unit 33b
  • the residual signal may be generated by inverting the signal obtained by the entropy decoding process and the inverse quantization process in the horizontal direction.
  • the inverse quantization / inverse conversion unit 33b may be generated by inverting the signal obtained by the entropy decoding process and the inverse quantization process in the vertical direction.
  • the “Transform Skip mode” is applied, and the intra prediction unit 33a generates a prediction image using the reference pixels located on the left side and the upper side, the “Transform Skip mode” is applied with the conventional HEVC.
  • the inverse quantization / inverse transform unit 33b is configured to generate a residual signal by inverting the signals obtained by the entropy decoding process and the inverse quantization process in the vertical direction and the horizontal direction. It may be.
  • an inverse quantization / inverse transform unit 33b may be configured to generate a residual signal by inverting the signal obtained by the entropy decoding process and the inverse quantization process in the horizontal direction.
  • the inverse quantization / inverse conversion unit 33b May be configured to generate a residual signal by inverting the signal obtained by the entropy decoding process and the inverse quantization process in the vertical direction.
  • inverse quantization / The inverse transform unit 33b may be configured not to invert the signal obtained by the entropy decoding process and the inverse quantization process.
  • the decoded image generation unit 33c is configured to generate a local decoded image by adding the prediction image generated by the intra prediction unit 33a and the residual signal generated by the inverse quantization / inverse conversion unit 33b. .
  • the memory 34 is configured to hold the local decoded image generated by the sequential local decoded image generation unit 33 so that it can be used as a reference image for intra prediction and inter prediction.
  • FIG. 9 shows a flowchart for explaining an example of the operation for determining the decoding order described above by the decoding device 3 according to this embodiment when the “Transform Skip mode” is applied.
  • step S ⁇ b> 601 the decoding device 3 acquires an intra prediction mode from the stream output from the encoding device 1.
  • step S602 the decoding device 3 determines whether the CU is divided into a plurality of TUs based on the flag information included in the stream output from the encoding device 1. When it is determined in step S602 that the CU is divided into a plurality of TUs, the operation proceeds to step S603. On the other hand, if it is determined in step S602 that the CU is not divided into a plurality of TUs, the operation proceeds to step S605.
  • step S605 the decoding device 3 performs a predetermined prediction on the decoding target TU using the decoded reference pixels adjacent to the left side and the upper side of the TU.
  • step S603 the decoding device 3 determines whether the direction of the intra prediction mode is a direction from the lower left to the upper right or a direction from the upper right to the lower left. If it is determined in step S603 that the direction of the intra prediction mode is the direction from the lower left to the upper right or the direction from the upper right to the lower left, the operation proceeds to step S606. On the other hand, in step S603, when it is determined that the direction of the intra prediction mode is other than the direction from the lower left to the upper right and the direction from the upper right to the lower left, the operation proceeds to step S604.
  • step S604 the decoding device 3 employs the conventional raster scan order used in HEVC (Z type as shown in FIG. 10A) as the above-described decoding order.
  • step S607 the decoding device 3 determines TU # A3 (in CU # A as the decoding order).
  • Lower left TU) ⁇ TU # A4 lower right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A2 (upper right TU in CU # A)
  • TU # A3 lower left TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A4 (lower right TU in CU # A) ⁇ TU # A2
  • a predetermined decoding order is adopted.
  • step S611 the decoding device 3 uses TU # A2 (in CU # A as the decoding order).
  • TU # A4 lower right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A3 (lower left TU in CU # A) TU # A2 (upper right TU in CU # A) ⁇ TU # A1 (upper left TU in CU # A) ⁇ TU # A4 (lower right TU in CU # A) ⁇ TU # A3
  • a predetermined decoding order is adopted.
  • step S608 the decoding device 3 determines whether or not the reference pixel adjacent to the upper side of the decoding target TU has been decoded. In step S608, if the decoding has been completed, the operation proceeds to step S609. If the decoding has not been completed, the operation proceeds to step S610.
  • step S609 the decoding device 3 performs a predetermined prediction on the decoding target TU using the decoded reference pixels adjacent to the left side, the upper side, and the lower side of the TU.
  • step S610 the decoding device 3 performs a predetermined prediction on the decoding target TU using the decoded reference pixels adjacent to the left side and the lower side of the TU.
  • step S612 the decoding device 3 determines whether the reference pixel adjacent to the left side of the decoding target TU has been decoded. In step S612, if the decoding has been completed, the operation proceeds to step S613. If the decoding has not been completed, the operation proceeds to step S614.
  • step S613 the decoding device 3 performs a predetermined prediction on the decoding target TU using the decoded reference pixels adjacent to the left side, the upper side, and the right side of the TU.
  • step S614 the decoding device 3 performs a predetermined prediction on the decoding target TU using the decoded reference pixels adjacent to the right side and the upper side of the TU.
  • step S615 the decoding device 3 inverts the signal obtained by the entropy decoding process and the inverse quantization process in the vertical direction, and performs the subsequent processes.
  • step S616 the decoding device 3 inverts the signal obtained by the entropy decoding process and the inverse quantization process in the horizontal direction, and performs the subsequent processes.
  • step S617 the decoding device 3 inverts the signals obtained by the entropy decoding process and the inverse quantization process in the vertical direction and the horizontal direction, and then performs the subsequent processes.
  • the decoding device 3 when at least one of the lower and right reference pixels is used in intra prediction, and when the Transform Skip mode is applied (obtained by entropy decoding processing and inverse quantization processing). Even if the inverse orthogonal transform process is not applied to the received signal), it is possible to suppress a decrease in coding efficiency.
  • a program that causes a computer to execute each process performed by the above-described encoding device 1 and decoding device 3 may be provided.
  • Such a program may be recorded on a computer-readable medium. If a computer readable medium is used, such a program can be installed in the computer.
  • the computer-readable medium on which such a program is recorded may be a non-transitory recording medium.
  • the non-transitory recording medium is not particularly limited, but may be a recording medium such as a CD-ROM or a DVD-ROM.
  • a chip configured by a memory that stores a program for realizing at least a part of the functions in the encoding device 1 and the decoding device 3 and a processor that executes the program stored in the memory may be provided. Good.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】イントラ予測において、下側又は右側の参照画素を用いる場合であっても、エントロピーの増大を低減させる。 【解決手段】本発明の符号化装置１は、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部１４ａと、予測画像と原画像との差分により残差信号を生成するように構成されている残差信号生成部１４ｂと、イントラ予測部１４ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合に、残差信号に対して、水平方向及び垂直方向の少なくとも一方の基底を反転させた上で直交変換処理を施すように構成されている直交変換部１４ｃとを具備する。

Description

符号化装置、復号装置及びプログラム
　本発明は、符号化装置、復号装置及びプログラムに関する。
　Ｈ.２６５/ＨＥＶＣ（Ｈｉｇｈ　Ｅｆｆｉｃｉｅｎｃｙ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）に代表される動画像（映像）符号化方式では、フレーム間の時間的相関を利用したインター予測及びフレーム内の空間的相関を利用したイントラ予測の２種類の予測を切り替えながら予測を行って残差信号を生成した後、直交変換処理やループフィルタ処理やエントロピー符号化処理を行い得られたストリームを出力するように構成されている。
　ＨＥＶＣにおけるイントラ予測では、Ｐｌａｎｅｒ予測やＤＣ予測や方向予測の計３５種類のモードが用意されており、エンコーダで決定されたモードに従って、隣接する復号済み参照画素を用いてイントラ予測を行うように構成されている。
　ここで、イントラ予測では、フレーム内で最も左上に位置する符号化対象ブロック（以下、「ＣＵ：Ｃｏｄｉｎｇ　Ｕｎｉｔ」と呼ぶ）等、隣接する復号済み参照画素が存在しないＣＵでは、規定した値（１０ビットの動画像であれば「５１２」）を埋める処理により、予測画像を生成する際に用いる参照画素を作り出すように構成されている。
　また、従来のＨＥＶＣでは、符号化処理が、左上からラスタースキャン順に行われるために、参照画素が復号済みでない場合がある。このような場合には、最も近い復号済み参照画素を０次外挿した値を用いて予測画像を生成するように構成されている。
　とりわけ、従来のＨＥＶＣにおけるイントラ予測では、図１０（ａ）に示すラスタースキャン順による符号化処理により、ＴＵの分割形状によりフレームの端以外でも、ＣＵの左下や右上に位置する参照画素が復号済みでない場合が多く（図１０（ｂ）参照）、このような場合に、復号済みでない参照画素が存在する方向からの方向予測を行うと予測精度が低下し、符号化効率が低減してしまうという問題点があった。
　かかる問題点を解決するために、イントラ予測において、ＣＵ内に存在する複数の変換ブロック（以下、「ＴＵ：Ｔｒａｎｓｆｏｒｍ　Ｕｎｉｔ」と呼ぶ）に対する符号化処理順として、ラスタースキャン順（例えば、Ｚ型）の他、Ｕ型やＸ型等の符号化順に自由度を持たせることによって予測精度の向上を図る技術が知られている（非特許文献１参照）。
　なお、図１０（ａ）及び図１０（ｂ）の例では、左下から右上に向かう方向（図１０（ａ）及び図１０（ｂ）における破線矢印が示す方向の逆方向）において方向予測を行うように構成されており、左下の参照画素を用いて、破線矢印上の画素を予測する。なお、本明細書の図において、イントラ予測モードの方向（予測方向）を示す矢印は、ＨＥＶＣ規格書における記載と同様に、イントラ予測の対象の画素から参照画素に向かうものとする（以下同様）。
　平坦な映像の中にごく局所的な領域にテクスチャが存在する場合や、画面全体が動くグローバルモーションの中で小さい物体が別の方向に移動する場合等の絵柄では、イントラ予測やインター予測により生成された予測画像の多くの領域において予測精度が高く、残差信号のエネルギーは予測が当らなかった一部の領域に集中する。
　このように、残差信号のエネルギーが、直交変換処理が適用される前の段階で既に集中している場合、直交変換処理を適用することで、エントロピーが増大してしまう可能性がある。
　そこで、従来のＨＥＶＣでは、残差信号に対して直交変換処理を適用しない「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が用意されている。
　従来のＨＥＶＣでは、図１１に示すように、イントラ予測が空間的に隣接する上側又は左側の復号済み参照画素を利用した予測であり、復号済み参照画素に近い位置の予測画像の精度が高く、復号済み参照画素から遠い位置の予測画像の精度が低くなる傾向にある。
　すなわち、イントラ予測で生成される残差信号においては、復号済み参照画素に近い位置のエネルギーは低く、復号済み参照画素から遠い位置のエネルギーは高くなる傾向にある。
　残差信号に対して直交変換処理が適用される場合、直交変換処理によって得られる変換係数は、低周波成分に対応する左上の領域のエネルギーが大きくなる傾向にある。
　エントロピー符号化処理においても、かかる傾向を利用しているが、ＴｒａｎｓｆｏｒｍＳｋｉｐモードでは、復号済み参照画素から遠い位置ほど残差信号のエネルギーが大きくなるため、左側や上側の参照画素を利用したイントラ予測の場合には、残差信号の右下の領域ほどエネルギーが大きくなる傾向にある。
　したがって、ＴｒａｎｓｆｏｒｍＳｋｉｐモードにおいて、残差信号に対して直交変換処理が適用される場合と同様のエントロピー符号化処理を適用すると符号化効率が低下してしまうという問題点があった。
　そこで、かかる問題点を解決するために、ＨＥＶＣではＴｒａｎｓｆｏｒｍＳｋｉｐモードを適用する際には、残差信号を垂直方向及び水平方向に反転することで、残差信号のエネルギー分布を、直交変換処理が適用される場合に生成される変換係数のエネルギー分布に近づけ、その後のエントロピー符号化処理での効率を高めている。
望月等、「平均値座標に基づいた適用イントラ予測方式」、情報処理学会研究報告、ｖｏｌ、２０１２-ＡＶＭ-７７、Ｎｏ.１２
　従来のＨＥＶＣでは、図１１に示すように、イントラ予測が空間的に隣接する上側又は左側の復号済み参照画素を利用した予測であり、復号済み参照画素に近い位置の予測画像の精度が高く、復号済み参照画素から遠い位置の予測画像の精度が低くなる傾向にあることを利用し、復号済み参照画素の位置する左側及び上側方向から水平及び垂直方向に離散サイン変換（以下、「ＤＳＴ」と呼ぶ）或いは離散コサイン変換（以下、「ＤＣＴ」と呼ぶ）等の直交変換を適用し、残差信号のエントロピーを減少させている。
　特に、ＤＳＴのインパルス応答の形状は、図１２に示すように、一端が閉じており他端が広がるような非対称な形状をしているため、図１３に示すように、生成された残差信号の信号強度に合わせてＤＳＴを適用することで、エントロピーの減少を効果的に行うことができる。
　上述のように、非特許文献１に記載されている技術では、変換ブロックの符号化順に自由度をもたせることにより予測精度の向上を実現している。符号化順を変更した際には、符号化対象ブロックの下側や右側に位置するブロックが符号化済みとなるケースがあり、イントラ予測において、下側又は右側の参照画素を用いることが可能となる。
　かかるケースでは、残差信号において、参照画素の位置に近い下側や右側の信号強度が小さくなり、参照画素の位置から遠い上側や左側の信号強度が高くなる傾向となるため、通常通りに直交変換を適用すると、エントロピーが増大してしまう場合があり、これが符号化効率を低下させる原因となってしまうという問題点があった。
　また、かかるケースでは、残差信号において、参照画素の位置に近い下側や右側の信号強度が小さくなり、参照画素の位置から遠い上側や左側の信号強度が高くなる傾向にある。
　しかしながら、従来のＨＥＶＣにおけるＴｒａｎｓｆｏｒｍＳｋｉｐモードでは、参照画素の位置に関わらず残差信号が垂直方向及び水平方向に反転してしまうため、右側や下側の復号済み参照画素を利用したイントラ予測を行った場合、残差信号のエネルギーは、左上の領域に集中せず、符号化効率が低下するという問題点があった。
　そこで、本発明は、上述した課題を解決するためになされたものであり、イントラ予測において、下側又は右側の参照画素を用いる場合であっても、エントロピーの増大を低減させることができる符号化装置、復号装置及びプログラムを提供することを目的とする。
　また、本発明は、イントラ予測において下側及び右側の少なくとも一方の参照画素を用いる場合で且つ残差信号に対して直交変換処理（或いは、逆直交変換処理）が適用されない場合であっても符号化効率の低下を抑制することができる符号化装置、復号装置及びプログラムを提供することを目的とする。
　本発明の第１の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して符号化するように構成されている符号化装置であって、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、前記予測画像と原画像との差分により残差信号を生成するように構成されている残差信号生成部と、前記イントラ予測部が、右側及び下側の少なくとも一方に位置する参照画素を用いて前記予測画像を生成した場合に、前記残差信号に対して、水平方向及び垂直方向の少なくとも一方の基底を反転させた上で直交変換処理を施すように構成されている直交変換部とを具備することを要旨とする。
　本発明の第２の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して復号するように構成されている復号装置であって、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、前記イントラ予測部が、右側及び下側の少なくとも一方に位置する参照画素を用いて前記予測画像を生成した場合に、水平方向及び垂直方向の少なくとも一方の基底を反転させた上で変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されている逆変換部とを具備することを要旨とする。
　本発明の第３の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して符号化するように構成されている符号化装置であって、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、前記予測画像と原画像との差分により残差信号を生成するように構成されている残差信号生成部と、前記イントラ予測部が、右側及び下側の少なくとも一方に位置する参照画素を用いて前記予測画像を生成した場合に、前記残差信号を水平方向及び垂直方向の少なくとも一方に反転した上で直交変換処理を施すように構成されている直交変換部とを具備することを要旨とする。
　本発明の第４の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して復号するように構成されている復号装置であって、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、前記イントラ予測部が、右側及び下側の少なくとも一方に位置する参照画素を用いて前記予測画像を生成した場合に、変換係数に逆直交変換処理を施すことで得られる信号を水平方向及び垂直方向の少なくとも一方に反転することによって残差信号を生成するように構成されている逆変換部とを具備することを要旨とする。
　本発明の第５の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して符号化するように構成されている符号化装置であって、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、前記予測画像と原画像との差分により残差信号を生成するように構成されている残差信号生成部とを具備しており、直交変換処理が適用されない場合に、前記残差信号生成部は、前記イントラ予測部が予測画像を生成する際に用いる参照画素の位置に基づいて、前記残差信号を水平方向及び垂直方向の少なくとも一方に反転するように構成されていることを要旨とする。
　本発明の第６の特徴は、動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して復号するように構成されている復号装置であって、イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、逆直交変換処理が適用されない場合に、前記イントラ予測部が予測画像を生成する際に用いる参照画素の位置に基づいて、エントロピー復号処理及び逆量子化処理によって得られる信号を水平方向及び垂直方向の少なくとも一方に反転することによって残差信号を生成するように構成されている逆変換部とを具備することを要旨とする。
　本発明の第７の特徴は、コンピュータを、上述の第１、第３又は第５の特徴に記載の符号化装置として機能させるためのプログラムであることを要旨とする。
　本発明の第８の特徴は、コンピュータを、上述の第２、第４又は第６の特徴に記載の復号装置として機能させるためのプログラムであることを要旨とする。
　本発明によれば、イントラ予測において、下側又は右側の参照画素を用いる場合であっても、エントロピーの増大を低減させることができる符号化装置、復号装置及びプログラムを提供することができる。
　また、本発明によれば、イントラ予測において下側及び右側の少なくとも一方の参照画素を用いる場合で且つ残差信号に対して直交変換処理が適用されない場合であっても符号化効率の低下を抑制することができる符号化装置、復号装置及びプログラムを提供することができる。
図１は、第１の実施形態に係る符号化装置１の機能ブロック図である。 図２は、第１の実施形態においてＴＵ分割が行われる場合のイントラ予測の一例を示す図である。 図３は、第１の実施形態に係る符号化装置１の動作を示すフローチャートである。 図４は、第１の実施形態に係る復号装置３の機能ブロック図である。 図５は、第１の実施形態に係る復号装置３の動作を示すフローチャートである。 図６は、第２の実施形態に係る符号化装置１の動作を示すフローチャートである。 図７は、第２の実施形態に係る復号装置３の動作を示すフローチャートである。 図８は、第３の実施形態に係る符号化装置１の動作を示すフローチャートである。 図９は、第３の実施形態に係る復号装置３の動作を示すフローチャートである。 図１０は、従来のＨＥＶＣについて説明するための図である。 図１１は、従来のＨＥＶＣについて説明するための図である。 図１２は、従来のＨＥＶＣについて説明するための図である。 図１３は、従来のＨＥＶＣについて説明するための図である。
（第１の実施形態）
　以下、図１～図５を参照して、本発明の第１の実施形態に係る符号化装置１及び復号装置３について説明する。ここで、本実施形態に係る符号化装置１及び復号装置３は、ＨＥＶＣ等の動画像符号化方式におけるイントラ予測に対応するように構成されている。なお、本実施形態に係る符号化装置１及び復号装置３は、イントラ予測を行う動画像符号化方式であれば、任意の動画像符号化方式に対応することができるように構成されている。
　本実施形態に係る符号化装置１は、動画像を構成するフレーム単位の原画像をＣＵに分割して符号化するように構成されている。また、本実施形態に係る符号化装置１は、ＣＵを複数のＴＵに分割することができるように構成されていてもよい。以下、本実施形態では、ＣＵを複数のＴＵに分割するケースを例に挙げて説明するが、本発明は、ＣＵを複数のＴＵに分割しないケースにも適用可能である。
　なお、本実施形態では、フレーム内で最も左上に位置するＣＵ等、隣接する復号済み参照画素が存在しない符号化対象のＣＵでは、規定した値（１０ビットの動画像であれば「５１２」）を埋める処理により、予測画像を生成する際に用いる参照画素を作り出すように構成されているため、符号化対象のＣＵの左側や上側に隣接する画素について全て参照画素とすることができるものとする。
　図１に示すように、本実施形態に係る符号化装置１は、イントラ予測モード決定部１１と、ＴＵ分割決定部１２と、符号化順制御部１３と、逐次局部復号画像生成部１４と、メモリ１５と、エントロピー符号化部１６とを具備している。
　イントラ予測モード決定部１１は、ＣＵに適用する最適なイントラ予測モードを決定するように構成されている。
　ＴＵ分割決定部１２は、ＣＵを複数のＴＵに分割するか否かについて決定するように構成されている。なお、本実施形態では、ＣＵを複数のＴＵに分割する方法として、４分割のケースを例に挙げて説明しているが、ＣＵを複数のＴＵに分割する際の分割数や分割形状については、かかるケースに制限されるものではない。
　符号化順制御部１３は、イントラ予測モード（例えば、イントラ予測モードの方向）に基づいてＣＵ内のＴＵの符号化順を決定するように構成されている。
　具体的には、符号化順制御部１３は、ＴＵ分割決定部１２によってＣＵを複数のＴＵに分割することが決定された場合に、図２（ａ）～図２（ｄ）に示すように、イントラ予測モード決定部１１によって決定されたイントラ予測モードの方向が左下から右上に向かう方向である場合（すなわち、左下から右上に向かって方向予測が行われる場合）に、ＣＵ内のＴＵの符号化順として、従来のラスタースキャン順（図８（ａ）に示すようなＺ型）でなく、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順のうち、予め規定した符号化順を採用するように構成されていてもよい。
　また、符号化順制御部１３は、ＴＵ分割決定部１２によってＣＵを複数のＴＵに分割することが決定された場合で、且つ、イントラ予測モード決定部１１によって決定されたイントラ予測モードの方向が右上から左下に向かう方向である場合（すなわち、右上から左下に向かって方向予測が行われる場合）に、従来のラスタースキャン順（図８（ａ）に示すようなＺ型）でなく、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という符号化順、或いは、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という符号化順のうち、予め規定した符号化順を採用するように構成されていてもよい。
　逐次局部復号画像生成部１４は、符号化順制御部１３によって決定された符号化順及びＣＵのＴＵへの分割方法に基づいて局部復号画像（ＴＵごとの復号画像）を生成するように構成されている。
　具体的には、逐次局部復号画像生成部１４は、ＴＵ分割決定部１２によってＣＵを複数のＴＵに分割することが決定された場合に、符号化順制御部１３により決定された符号化順に従って、逐次、局部復号画像を生成するように構成されている。
　図１に示すように、逐次局部復号画像生成部１４は、イントラ予測部１４ａと、残差信号生成部１４ｂと、直交変換・量子化部１４ｃと、逆量子化部・逆直交変換部１４ｄと、局部復号画像生成部１４ｅとを具備している。
　イントラ予測部１４ａは、イントラ予測モード決定部１１により決定されたイントラ予測モードを用いて予測画像を生成するように構成されている。すなわち、イントラ予測部１４ａは、予測画像を生成する際に用いる参照画素の位置を決定するように構成されている。
　具体的には、イントラ予測部１４ａは、ＴＵ分割決定部１２によってＣＵを複数のＴＵに分割することが決定された場合で、図２（ａ）～図２（ｄ）に示すように、イントラ予測モードの方向（予測方向）が左下から右上に向かう方向である場合、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順のうち、予め規定した符号化順で、予測画像を生成するように構成されていてもよい。
　ここで、イントラ予測部１４ａは、図２（ｃ）及び図２（ｄ）に示すように、隣接する下側の参照画素が復号されているＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）及びＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）については、左側及び下側に隣接する復号済み参照画素を用いて予測画像を生成するように構成されていてもよい。
　また、本実施形態に係る符号化装置１では、イントラ予測部１４ａは、ＴＵ分割決定部１２によってＣＵを複数のＴＵに分割することが決定された場合で、且つ、イントラ予測モードの方向（予測方向）が右上から左下に向かう方向である場合、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という符号化順、或いは、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という符号化順のうち、予め規定した符号化順で、予測画像を生成するように構成されていてもよい。
　ここで、イントラ予測部１４ａは、隣接する右側の参照画素が復号されているＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）及びＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）については、上側及び右側に隣接する復号済み参照画素を用いて、予測画像を生成するように構成されていてもよい。
　或いは、イントラ予測部１４ａは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順が用いられる場合には、上側に隣接する参照画素が復号済みであるＴＵ（分割されたＴＵ群のうち最上段に位置するＴＵ、図２の例では、ＴＵ＃Ａ１及びＴＵ＃Ａ２）については、ＣＵ＃Ａ内で共通のイントラ予測方向でなく、かかるＴＵの左側や上側や下側に隣接する復号済み参照画素を用いた線形補間等の予め規定した予測を行うように構成されていてもよい。
　すなわち、イントラ予測部１４ａは、下側、左側及び上側といった３方向に隣接する復号済み参照画素を用いて、予測画像を生成するように構成されていてもよい。
　或いは、イントラ予測部１４ａは、右側、左側及び上側といった３方向に隣接する復号済み参照画素を用いて、予測画像を生成するように構成されていてもよい。
　残差信号生成部１４ｂは、イントラ予測部１４ａによって生成された予測画像と原画像との差分により残差信号を生成するように構成されている。
　直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号に対して直交変換処理及び量子化処理を施し、量子化された変換係数を生成するように構成されている。
　ここで、直交変換・量子化部１４ｃは、イントラ予測部１４ａによって決定された予測画像を生成する際に用いる参照画素の位置に基づいて、直交変換処理に用いる基底を反転させるか否かについて判定するように構成されている。
　例えば、イントラ予測部１４ａが、右側及び下側の少なくとも一方に位置する参照画素（すなわち、右側及び下側の少なくとも一方に隣接する参照画素）を用いて予測画像を生成した場合に、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号に対して、垂直方向及び水平方向の少なくとも一方の基底を反転させた上で直交変換処理を施すように構成されている。
　一方、イントラ予測部１４ａが、右側及び下側のいずれに位置する参照画素を用いても予測画像を生成していない場合には、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号に対して、基底を反転させることなく直交変換処理を施すように構成されている。
　例えば、イントラ予測部１４ａが、左側及び下側に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部１４ｃは、垂直方向の基底を反転した上で直交変換処理を施すように構成されていてもよい。
　また、イントラ予測部１４ａが、右側及び上側に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部１４ｃは、水平方向の基底を反転した上で直交変換処理を施すように構成されていてもよい。
　さらに、イントラ予測部１４ａが、右側及び下側に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部１４ｃは、垂直方向及び水平方向の基底を反転した上で直交変換処理を施すように構成されていてもよい。
　なお、イントラ予測部１４ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合で、且つ、適用する直交変換処理が、非対称な直交変換処理（例えば、ＤＳＴ等）である場合に、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号に対して、直交変換処理に用いる垂直方向及び水平方向の少なくとも一方の基底を反転させるように構成されていてもよい。
　すなわち、イントラ予測部１４ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合であっても、適用する直交変換処理が、対称な直交変換処理（例えば、ＤＣＴ等）である場合に、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号に対して、直交変換処理に用いる基底を反転させないように構成されていてもよい。
　また、イントラ予測部１４ａが、下側、左側及び上側といった３方向に隣接する参照画素を用いて予測画像を生成した場合、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号に対して、直交変換処理に用いる基底を反転させないように構成されていてもよい。
　かかる構成によれば、残差信号において、参照画素に近い上側及び下側のどちらにおいても信号強度が低くなっている可能性が高いため、上述の反転処理を行わないことで、符号化装置１の処理量を低減することができる。
　また、イントラ予測部１４ａが、右側、左側及び上側といった３方向に隣接する参照画素を用いて予測画像を生成した場合、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号に対して、直交変換処理に用いる基底を反転させないように構成されていてもよい。
　かかる構成によれば、残差信号において、参照画素に近い右側及び左側のどちらにおいても信号強度が低くなっている可能性が高いため、上述の反転処理を行わないことで、符号化装置１の処理量を低減することができる。
　逆量子化部・逆直交変換部１４ｄは、直交変換・量子化部１４ｃによって生成された量子化された変換係数に対して、再び逆量子化処理及び逆直交変換処理を施し、残差信号を生成するように構成されている。
　ここで、直交変換・量子化部１４ｃが、直交変換処理で用いる基底を反転している場合には、逆量子化部・逆直交変換部１４ｄは、基底を反転した上で逆直交変換処理を施すように構成されている。
　局部復号画像生成部１４ｅは、逆量子化部・逆直交変換部１４ｄによって生成された残差信号に対してイントラ予測部１４ａによって生成された予測画像を加えることで局部復号画像を生成するように構成されている。
　メモリ１５は、逐次局部復号画像生成部１４によって生成された局部復号画像を参照画像として利用可能に保持するように構成されている。
　エントロピー符号化部１６は、イントラ予測モード決定部１１によって決定されたイントラ予測モード等を含むフラグ情報や量子化された変換係数に対してエントロピー符号化処理を施してストリーム出力するように構成されている。
　図３に、本実施形態に係る符号化装置１の動作の一例について説明するためのフローチャートについて示す。
　図３に示すように、ステップＳ１０１において、符号化装置１は、ＣＵに適用する最適なイントラ予測モードを決定する。
　ステップＳ１０２において、符号化装置１は、ＣＵを複数のＴＵに分割するか否かについて決定する。ステップＳ１０２において、ＣＵを複数のＴＵに分割すると決定された場合には、本動作は、ステップＳ１０３に進む。一方、ステップＳ１０２において、ＣＵを複数のＴＵに分割しないと決定された場合には、本動作は、ステップＳ１０８に進む。
　ステップＳ１０３において、イントラ予測モードの方向が左下から右上に向かう方向或いは右上から左下に向かう方向であると決定された場合には、本動作は、ステップＳ１０５に進む。一方、ステップＳ１０３において、イントラ予測モードの方向が左下から右上に向かう方向及び右上から左下に向かう方向以外であると決定された場合には、本動作は、ステップＳ１０４に進む。
　ステップＳ１０４において、符号化装置１は、上述の符号化順として、従来のＨＥＶＣで用いられているラスタースキャン順（図８（ａ）に示すようなＺ型）を採用する。
　ステップＳ１０８において、符号化装置１は、符号化対象のＴＵに対して、かかるＴＵの左側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
　イントラ予測モードの方向が左下から右上に向かう方向であると決定された場合（ステップＳ１０５）には、ステップＳ１０６において、符号化装置１は、上述の符号化順として、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順のうち、予め規定した符号化順を採用する。
　一方、イントラ予測モードの方向が左下から右上に向かう方向でないと決定された場合（ステップＳ１０５）には、ステップＳ１１１において、符号化装置１は、上述の符号化順として、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という符号化順、或いは、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という符号化順のうち、予め規定した符号化順を採用する。
　ステップＳ１０７において、符号化装置１は、符号化対象のＴＵの上側に隣接する参照画素が復号済みであるか否かについて判定する。ステップＳ１０７において、復号済みである場合、本動作は、ステップＳ１０９に進み、復号済みでない場合、本動作は、ステップＳ１１０に進む。
　ステップＳ１０９において、符号化装置１は、符号化対象のＴＵに対して、かかるＴＵの左側及び上側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
　ステップＳ１１０において、符号化装置１は、符号化対象のＴＵに対して、かかるＴＵの左側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
　ステップＳ１１２において、符号化装置１は、符号化対象のＴＵの左側に隣接する参照画素が復号済みであるか否かについて判定する。ステップＳ１１２において、復号済みである場合、本動作は、ステップＳ１１３に進み、復号済みでない場合、本動作は、ステップＳ１１４に進む。
　ステップＳ１１３において、符号化装置１は、符号化対象のＴＵに対して、かかるＴＵの左側及び上側及び右側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
　ステップＳ１１４において、符号化装置１は、符号化対象のＴＵに対して、かかるＴＵの右側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
　ステップＳ１１５において、符号化装置１は、残差信号に対して、基底を反転させた上で直交変換処理を施し、その後の処理を行う。
　ステップＳ１１６において、符号化装置１は、残差信号に対して、基底を反転させることなく直交変換処理を施し、その後の処理を行う。
　本実施形態に係る符号化装置１によれば、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合には、残差信号に対して、基底を反転させた上で直交変換処理を施すように構成されているため、エントロピーの増大を低減させることができる。
　また、本実施形態に係る復号装置３は、動画像を構成するフレーム単位の原画像をＣＵに分割して復号するように構成されている。また、本実施形態に係る復号装置３は、本実施形態に係る符号化装置１と同様に、ＣＵを複数のＴＵに分割することができるように構成されている。
　図４に示すように、本実施形態に係る復号装置３は、エントロピー復号部３１と、復号順制御部３２と、逐次局部復号画像生成部３３と、メモリ３４とを具備している。
　エントロピー復号部３１は、符号化装置１から出力されたストリームから、変換係数やフラグ情報等を復号するように構成されている。ここで、変換係数は、符号化装置１によって、フレーム単位の原画像をＣＵに分割して符号化された信号として得られた量子化された変換係数である。また、フラグ情報は、予測モード等の付随する情報を含む。
　復号順制御部３２は、イントラ予測モードに基づいてＣＵ内のＴＵの復号順を決定するように構成されている。
　具体的には、復号順制御部３２は、エントロピー復号部３１によって出力されたＴＵ分割が行われた否か（ＣＵが複数のＴＵに分割されているか否か）について示すフラグ及びイントラ予測モードの方向に応じて、ＣＵ内のＴＵの復号順を決定するように構成されている。
　例えば、復号順制御部３２は、符号化順制御部１３と同様に、ＣＵが複数のＴＵに分割されている場合で、且つ、イントラ予測モードの方向が左下から右上に向かう方向である場合、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順のうち、予め規定した復号順で、復号処理を行うように構成されていてもよい。
　また、復号順制御部３２は、符号化順制御部１３と同様に、ＣＵが複数のＴＵに分割されている場合で、且つ、イントラ予測モードの方向が右上から左下に向かう方向である場合、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という復号順、或いは、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という復号順のうち、予め規定した復号順で、復号処理を行うように構成されていてもよい。
　逐次局部復号画像生成部３３は、復号順制御部３２によって決定された復号順及びＣＵのＴＵへの分割方法に基づいて局部復号画像（ＴＵごとの復号画像）を生成するように構成されている。
　具体的には、逐次局部復号画像生成部３３は、ＣＵが複数のＴＵに分割されている場合に、復号順制御部３２によって決定された復号順に従って、エントロピー復号部３１によって出力された量子化された変換係数に対して、逐次、イントラ予測や逆量子化処理や逆直交変換処理を行うことによって、局部復号画像を生成するように構成されている。
　図４に示すように、逐次局部復号画像生成部３３は、イントラ予測部３３ａと、逆量子化・逆変換部３３ｂと、復号画像生成部３３ｃとを具備している。
　イントラ予測部３３ａは、復号順制御部３２によって決定した復号順に従って、エントロピー復号部３１によって出力されたイントラ予測モードを用いて、予測画像を生成するように構成されていてもよい。
　具体的には、イントラ予測部３３ａは、ＣＵが複数のＴＵに分割されている場合で、且つ、イントラ予測モードの方向が左下から右上に向かう方向である場合、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順のうち、予め規定した復号順で、予測画像を生成するように構成されていてもよい。
　ここで、イントラ予測部３３ａは、図２（ｃ）及び図２（ｄ）に示すように、隣接する下側の参照画素が復号されているＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）及びＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）については、左側及び下側に隣接する復号済み参照画素を用いて予測画像を生成するように構成されていてもよい。
　また、本実施形態に係る復号装置３では、イントラ予測部３３ａは、ＣＵが複数のＴＵに分割されている場合で、且つ、イントラ予測モードの方向（予測方向）が右上から左下に向かう方向である場合、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という復号順、或いは、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という復号順のうち、予め規定した復号順で、予測画像を生成するように構成されていてもよい。
　ここで、イントラ予測部３３ａは、隣接する右側の参照画素が復号されているＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）及びＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）については、上側及び右側に隣接する復号済み参照画素を用いて予測画像を生成するように構成されていてもよい。
　或いは、イントラ予測部３３ａは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順が用いられる場合には、上側に隣接する参照画素が復号済みであるＴＵ（分割されたＴＵ群のうち最上段に位置するＴＵ、図２の例では、ＴＵ＃Ａ１及びＴＵ＃Ａ２）については、ＣＵ＃Ａ内で共通のイントラ予測方向でなく、かかるＴＵの左側や上側や下側に隣接する復号済み参照画素を用いた線形補間等の予め規定した予測を行うように構成されていてもよい。
　逆量子化・逆変換部３３ｂは、エントロピー復号部３１によって出力された量子化された変換係数に対して逆量子化処理及び逆変換処理（例えば、逆直交変換処理）を施すことによって、残差信号を生成するように構成されている。
　例えば、イントラ予測部３３ａが、右側及び下側の少なくとも一方に位置する参照画素（すなわち、右側及び下側の少なくとも一方に隣接する参照画素）を用いて予測画像を生成した場合に、逆量子化・逆変換部３３ｂは、垂直方向及び水平方向の少なくとも一方の基底を反転させた上で、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されている。
　一方、イントラ予測部３３ａが、右側及び下側のいずれに位置する参照画素を用いても予測画像を生成していない場合には、逆量子化・逆変換部３３ｂは、基底を反転させることなく、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されている。
　例えば、イントラ予測部３３ａが、左側及び下側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部３３ｂは、垂直方向の基底を反転させた上で、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されていてもよい。
　また、イントラ予測部３３ａが、右側及び上側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部３３ｂは、水平方向の基底を反転させた上で、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されていてもよい。
　さらに、イントラ予測部３３ａが、右側及び下側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部３３ｂは、垂直方向及び水平方向の基底を反転させた上で、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されていてもよい。
　なお、イントラ予測部３３ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合で、且つ、適用する直交変換処理が、非対称な直交変換処理（例えば、ＤＳＴ等）である場合に、逆量子化・逆変換部３３ｂは、基底を反転させた上で、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されていてもよい。
　すなわち、イントラ予測部３３ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合であっても、適用する直交変換処理が、対称な直交変換処理（例えば、ＤＣＴ等）である場合に、逆量子化・逆変換部３３ｂは、基底を反転させることなく、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されていてもよい。
　また、イントラ予測部３３ａが、下側、左側及び上側といった３方向に隣接する参照画素を用いて予測画像を生成した場合、逆量子化・逆変換部３３ｂは、上述の変換係数に対して、逆直交変換処理に用いる基底を反転させないように構成されていてもよい。
　また、イントラ予測部３３ａが、右側、左側及び上側といった３方向に隣接する参照画素を用いて予測画像を生成した場合、逆量子化・逆変換部３３ｂは、上述の変換係数に対して、逆直交変換処理に用いる基底を反転させないように構成されていてもよい。
　復号画像生成部３３ｃは、イントラ予測部３３ａによって生成された予測画像と逆量子化・逆変換部３３ｂによって生成された残差信号とを加えることで局部復号画像を生成するように構成されている。
　メモリ３４は、逐次局部復号画像生成部３３によって生成された局部復号画像を、イントラ予測及びインター予測のための参照画像として利用可能に保持するように構成されている。
　図５に、本実施形態に係る復号装置３によって、上述の復号順を決定する動作の一例について説明するためのフローチャートについて示す。
　図５に示すように、ステップＳ２０１において、復号装置３は、符号化装置１から出力されたストリームから、イントラ予測モードを取得する。
　ステップＳ２０２において、復号装置３は、符号化装置１から出力されたストリームに含まれているフラグ情報に基づいて、ＣＵが複数のＴＵに分割されているか否かについて判定する。ステップＳ２０２において、ＣＵが複数のＴＵに分割されていると判定された場合には、本動作は、ステップＳ２０３に進む。一方、ステップＳ２０２において、ＣＵが複数のＴＵに分割されていないと判定された場合には、本動作は、ステップＳ２０５に進む。
　ステップＳ２０５において、復号装置３は、復号対象のＴＵに対して、かかるＴＵの左側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
　ステップＳ２０３において、復号装置３は、イントラ予測モードの方向が左下から右上に向かう方向或いは右上から左下に向かう方向であるか否かについて判定する。ステップＳ２０３において、イントラ予測モードの方向が左下から右上に向かう方向或いは右上から左下に向かう方向であると判定された場合には、本動作は、ステップＳ２０６に進む。一方、ステップＳ２０３において、イントラ予測モードの方向が左下から右上に向かう方向及び右上から左下に向かう方向以外であると判定された場合には、本動作は、ステップＳ２０４に進む。
　ステップＳ２０４において、復号装置３は、上述の復号順として、ＨＥＶＣで用いられている従来のラスタースキャン順（図８（ａ）に示すようなＺ型）を採用する。
　イントラ予測モードの方向が左下から右上に向かう方向であると決定された場合（ステップＳ２０６）には、ステップＳ２０７において、復号装置３は、上述の復号順として、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順のうち、予め規定した復号順を採用する。
　一方、イントラ予測モードの方向が左下から右上に向かう方向でないと決定された場合（ステップＳ２０６）には、ステップＳ２１１において、復号装置３は、上述の復号順として、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という復号順、或いは、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という復号順のうち、予め規定した復号順を採用する。
　ステップＳ２０８において、復号装置３は、復号対象のＴＵの上側に隣接する参照画素が復号済みであるか否かについて判定する。ステップＳ２０８において、復号済みである場合、本動作は、ステップＳ２０９に進み、復号済みでない場合、本動作は、ステップＳ２１０に進む。
　ステップＳ２０９において、復号装置３は、復号対象のＴＵに対して、かかるＴＵの左側及び上側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
　ステップＳ２１０において、復号装置３は、復号対象のＴＵに対して、かかるＴＵの左側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
　ステップＳ２１２において、復号装置３は、復号対象のＴＵの左側に隣接する参照画素が復号済みであるか否かについて判定する。ステップＳ２１２において、復号済みである場合、本動作は、ステップＳ２１３に進み、復号済みでない場合、本動作は、ステップＳ２１４に進む。
　ステップＳ２１３において、復号装置３は、復号対象のＴＵに対して、かかるＴＵの左側及び上側及び右側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
　ステップＳ２１４において、復号装置３は、復号対象のＴＵに対して、かかるＴＵの右側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
　ステップＳ２１５において、復号装置３は、垂直方向及び水平方向の少なくとも一方の基底を反転させた上で、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成し、その後の処理を行う。
　ステップＳ２１６において、復号装置３は、基底を反転させることなく、上述の変換係数に対して逆直交変換処理を施すことによって残差信号を生成し、その後の処理を行う。
　本実施形態に係る復号装置３によれば、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合には、変換係数に対して、基底を反転させた上で逆直交変換処理を施すように構成されているため、エントロピーの増大を低減させることができる。
　（第２の実施形態）
　以下、図６及び図７を参照して、本発明の第２の実施形態に係る符号化装置１及び復号装置３について、上述の第１の実施形態に係る符号化装置１及び復号装置３との相違点に着目して説明する。
　本実施形態に係る符号化装置１では、イントラ予測部１４ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号を水平方向及び垂直方向の少なくとも一方に反転した上で直交変換処理を施すように構成されている。
　例えば、イントラ予測部１４ａが、左側及び下側に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号を垂直方向に反転した上で直交変換処理を施すように構成されていてもよい。
　また、イントラ予測部１４ａが、右側及び上側に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号を水平方向に反転した上で直交変換処理を施すように構成されていてもよい。
　さらに、イントラ予測部１４ａが、右側及び下側に位置する参照画素を用いて予測画像を生成した場合に、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号を垂直方向及び水平方向に反転した上で直交変換処理を施すように構成されていてもよい。
　なお、イントラ予測部１４ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合で、且つ、適用する直交変換処理が、非対称な直交変換処理（例えば、ＤＳＴ等）である場合に、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号を水平方向及び垂直方向の少なくとも一方に反転させた上で直交変換処理を施すように構成されていてもよい。
　すなわち、イントラ予測部１４ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合であっても、適用する直交変換処理が、対称な直交変換処理（例えば、ＤＣＴ等）である場合に、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号を反転させることなく直交変換処理を施すように構成されていてもよい。
　また、イントラ予測部１４ａが、下側、左側及び上側といった３方向に隣接する参照画素を用いて予測画像を生成した場合、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号を反転させることなく直交変換処理を施すように構成されていてもよい。
　また、イントラ予測部１４ａが、右側、左側及び上側といった３方向に隣接する参照画素を用いて予測画像を生成した場合、直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号を反転させることなく直交変換処理を施すように構成されていてもよい。
　図６に、本実施形態に係る符号化装置１の動作の一例について説明するためのフローチャートについて示す。
　図６に示すように、ステップＳ３０１～Ｓ３１４の動作は、図３に示すステップＳ１０１～Ｓ１１４の動作と同一である。
　ステップ３１５において、符号化装置１は、上述の残差信号を反転させることなく直交変換処理を施し、その後の処理を行う。
　ステップ３１６において、符号化装置１は、上述の残差信号を水平方向及び垂直方向の少なくとも一方に反転した上で直交変換処理を施し、その後の処理を行う。
　本実施形態に係る符号化装置１によれば、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合には、残差信号を水平方向及び垂直方向の少なくとも一方に反転した上で直交変換処理を施すように構成されているため、エントロピーの増大を低減させることができる。
　本実施形態に係る復号装置３では、イントラ予測部３３ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部３３ｂは、上述の変換係数に逆直交変換処理を施すことで得られる信号を水平方向及び垂直方向の少なくとも一方に反転するように構成されている。
　例えば、イントラ予測部３３ａが、左側及び下側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部３３ｂは、上述の変換係数に逆直交変換処理を施すことで得られる信号を垂直方向に反転するように構成されていてもよい。
　また、イントラ予測部３３ａが、右側及び上側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部３３ｂは、上述の変換係数に逆直交変換処理を施すことで得られる信号を水平方向に反転するように構成されていてもよい。
　さらに、イントラ予測部３３ａが、右側及び下側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部３３ｂは、上述の変換係数に逆直交変換処理を施すことで得られる信号を垂直方向及び水平方向に反転するように構成されていてもよい。
　なお、イントラ予測部３３ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合で、且つ、適用する直交変換処理が、非対称な直交変換処理（例えば、ＤＳＴ等）である場合に、逆量子化・逆変換部３３ｂは、上述の変換係数に逆直交変換処理を施すことで得られる信号を反転するように構成されていてもよい。
　すなわち、イントラ予測部３３ａが、右側及び下側の少なくとも一方に位置する参照画素を用いて予測画像を生成した場合であっても、適用する直交変換処理が、対称な直交変換処理（例えば、ＤＣＴ等）である場合に、逆量子化・逆変換部３３ｂは、上述の変換係数に逆直交変換処理を施すことで得られる信号を反転させないように構成されていてもよい。
　また、イントラ予測部３３ａが、下側、左側及び上側といった３方向に隣接する参照画素を用いて予測画像を生成した場合、逆量子化・逆変換部３３ｂは、上述の変換係数に逆直交変換処理を施すことで得られる信号を反転させないように構成されていてもよい。
　また、イントラ予測部３３ａが、右側、左側及び上側といった３方向に隣接する参照画素を用いて予測画像を生成した場合、逆量子化・逆変換部３３ｂは、上述の変換係数に逆直交変換処理を施すことで得られる信号を反転させないように構成されていてもよい。
　図７に、本実施形態に係る復号装置３の動作の一例について説明するためのフローチャートについて示す。
　図７に示すように、ステップＳ４０１～Ｓ４１４の動作は、図５に示すステップＳ２０１～Ｓ２１４の動作と同一である。
　ステップ４１５において、復号装置３は、上述の変換係数に逆直交変換処理を施すことで得られる信号を反転させずに、その後の処理を行う。
　ステップ４１６において、復号装置３は、上述の変換係数に逆直交変換処理を施すことで得られる信号を水平方向及び垂直方向の少なくとも一方に反転した上で、その後の処理を行う。
　（第３の実施形態）
　以下、図１、図２、図４、図８及び図９を参照して、本発明の第１の実施形態に係る符号化装置１及び復号装置３について説明する。ここで、本実施形態に係る符号化装置１及び復号装置３は、ＨＥＶＣ等の動画像符号化方式におけるイントラ予測に対応するように構成されている。なお、本実施形態に係る符号化装置１及び復号装置３は、イントラ予測を行う動画像符号化方式であれば、任意の動画像符号化方式に対応することができるように構成されている。
　本実施形態に係る符号化装置１は、動画像を構成するフレーム単位の原画像をＣＵに分割して符号化するように構成されている。また、本実施形態に係る符号化装置１は、ＣＵを複数のＴＵに分割することができるように構成されていてもよい。以下、本実施形態では、ＣＵを複数のＴＵに分割するケースを例に挙げて説明するが、本発明は、ＣＵを複数のＴＵに分割しないケースにも適用可能である。
　なお、本実施形態では、フレーム内で最も左上に位置するＣＵ等、隣接する復号済み参照画素が存在しない符号化対象のＣＵでは、規定した値（１０ビットの動画像であれば「５１２」）を埋める処理により、予測画像を生成する際に用いる参照画素を作り出すように構成されているため、符号化対象のＣＵの左側に隣接する画素について全て参照画素とすることができるものとする。
　図１に示すように、本実施形態に係る符号化装置１は、イントラ予測モード決定部１１と、ＴＵ分割決定部１２と、符号化順制御部１３と、逐次局部復号画像生成部１４と、メモリ１５と、エントロピー符号化部１６とを具備している。
　イントラ予測モード決定部１１は、ＣＵに適用する最適なイントラ予測モードを決定するように構成されている。
　ＴＵ分割決定部１２は、ＣＵを複数のＴＵに分割するか否かについて決定するように構成されている。なお、本実施形態では、ＣＵを複数のＴＵに分割する方法として、４分割のケースを例に挙げて説明しているが、ＣＵを複数のＴＵに分割する際の分割数や分割形状については、かかるケースに制限されるものではない。
　符号化順制御部１３は、イントラ予測モード（例えば、イントラ予測モードの方向）に基づいてＣＵ内のＴＵの符号化順を決定するように構成されている。
　具体的には、符号化順制御部１３は、ＴＵ分割決定部１２によってＣＵを複数のＴＵに分割することが決定された場合に、図２（ａ）～図２（ｄ）に示すように、イントラ予測モード決定部１１によって決定されたイントラ予測モードの方向が左下から右上に向かう方向である場合（すなわち、左下から右上に向かって方向予測が行われる場合）に、ＣＵ内のＴＵの符号化順として、従来のラスタースキャン順（図１０（ａ）に示すようなＺ型）でなく、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順のうち、予め規定した符号化順を採用するように構成されていてもよい。
　また、符号化順制御部１３は、ＴＵ分割決定部１２によってＣＵを複数のＴＵに分割することが決定された場合で、且つ、イントラ予測モード決定部１１によって決定されたイントラ予測モードの方向が右上から左下に向かう方向である場合（すなわち、右上から左下に向かって方向予測が行われる場合）に、従来のラスタースキャン順（図１０（ａ）に示すようなＺ型）でなく、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という符号化順、或いは、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という符号化順のうち、予め規定した符号化順を採用するように構成されていてもよい。
　逐次局部復号画像生成部１４は、符号化順制御部１３によって決定された符号化順及びＣＵのＴＵへの分割方法に基づいて局部復号画像（ＴＵごとの復号画像）を生成するように構成されている。
　具体的には、逐次局部復号画像生成部１４は、ＴＵ分割決定部１２によってＣＵを複数のＴＵに分割することが決定された場合に、符号化順制御部１３により決定された符号化順に従って、逐次、局部復号画像を生成するように構成されている。
　図１に示すように、逐次局部復号画像生成部１４は、イントラ予測部１４ａと、残差信号生成部１４ｂと、直交変換・量子化部１４ｃと、逆量子化部・逆直交変換部１４ｄと、局部復号画像生成部１４ｅとを具備している。
　イントラ予測部１４ａは、イントラ予測モード決定部１１により決定されたイントラ予測モードを用いて予測画像を生成するように構成されている。すなわち、イントラ予測部１４ｄは、予測画像を生成する際に用いる参照画素の位置を決定するように構成されている。
　具体的には、イントラ予測部１４ａは、ＴＵ分割決定部１２によってＣＵを複数のＴＵに分割することが決定された場合で、図２（ａ）～図２（ｄ）に示すように、イントラ予測モードの方向（予測方向）が左下から右上に向かう方向である場合、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順のうち、予め規定した符号化順で、予測画像を生成するように構成されていてもよい。
　ここで、イントラ予測部１４ａは、図２（ｃ）及び図２（ｄ）に示すように、隣接する下側の参照画素が復号されているＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）及びＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）については、左側及び下側に隣接する復号済み参照画素を用いて予測画像を生成するように構成されていてもよい。
　また、本実施形態に係る符号化装置１では、イントラ予測部１４ａは、ＴＵ分割決定部１２によってＣＵを複数のＴＵに分割することが決定された場合で、且つ、イントラ予測モードの方向（予測方向）が右上から左下に向かう方向である場合、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という符号化順、或いは、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という符号化順のうち、予め規定した符号化順で、予測画像を生成するように構成されていてもよい。
　ここで、イントラ予測部１４ａは、隣接する右側の参照画素が復号されているＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）及びＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）については、上側及び右側に隣接する復号済み参照画素を用いて、予測画像を生成するように構成されていてもよい。
　或いは、イントラ予測部１４ａは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順が用いられる場合には、上側に隣接する参照画素が復号済みであるＴＵ（分割されたＴＵ群のうち最上段に位置するＴＵ、図２の例では、ＴＵ＃Ａ１及びＴＵ＃Ａ２）については、ＣＵ＃Ａ内で共通のイントラ予測方向でなく、かかるＴＵの左側や上側や下側に隣接する復号済み参照画素を用いた線形補間等の予め規定した予測を行うように構成されていてもよい。
　残差信号生成部１４ｂは、イントラ予測部１４ａによって生成された予測画像と原画像との差分により残差信号を生成するように構成されている。
　ここで、残差信号生成部１４ｂは、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合（直交変換が適用されない場合）には、イントラ予測部１４ａによって決定された予測画像を生成する際に用いる参照画素の位置に基づいて、生成した残差信号を水平方向及び垂直方向の少なくとも一方に反転するように構成されていてもよい。
　例えば、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合で、且つ、イントラ予測部１４ａが左側及び下側に位置する参照画素を用いて予測画像を生成した場合に、残差信号生成部１４ｂは、生成した残差信号を水平方向に反転し、残差信号のエネルギーを左上の領域に集中するように構成されていてもよい。
　また、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合で、且つ、イントラ予測部１４ａが右側及び上側に位置する参照画素を用いて予測画像を生成した場合に、残差信号生成部１４ｂは、生成した残差信号を垂直方向に反転し、残差信号のエネルギーを左上の領域に集中するように構成されていてもよい。
　また、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合で、且つ、イントラ予測部１４ａが左側及び上側に位置する参照画素を用いて予測画像を生成した場合に、従来のＨＥＶＣで「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」を適用する場合と同様に、残差信号生成部１４ｂは、生成した残差信号を垂直方向及び水平方向に反転し、残差信号のエネルギーを左上の領域に集中するように構成されていてもよい。
　また、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合で、且つ、イントラ予測部１４ａが左側及び上側及び下側に位置する参照画素を用いて予測画像を生成した場合に、残差信号生成部１４ｂは、生成した残差信号を水平方向に反転し、残差信号のエネルギーを左の領域に集中するように構成されていてもよい。
　さらに、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合で、且つ、イントラ予測部１４ａが左側及び上側及び右側に位置する参照画素を用いて予測画像を生成した場合に、残差信号生成部１４ｂは、生成した残差信号を垂直方向に反転し、残差信号のエネルギーを上の領域に集中するように構成されていてもよい。
　なお、かかる残差信号の反転処理については、残差信号生成部１４ｂではなく直交変換・量子化部１４ｃやエントロピー符号化部１６等の別の機能によって実現されてもよい。例えば、残差信号の反転を行うのではなく、エントロピー符号化部１６において係数のスキャン順を変更することによって、残差信号の反転を行うのと同様の効果を得る構成としてもよい。
　一方、「Ｔｒａｎｓｆｏｒｍ　Ｓｋｉｐモード」が適用されている場合で、且つ、イントラ予測部１４ａが左側及び上側のいずれに位置する参照画素を用いても予測画像を生成していない場合には、生成した残差信号を反転させないように構成されていてもよい。
　直交変換・量子化部１４ｃは、残差信号生成部１４ｂによって生成された残差信号に対して直交変換処理及び量子化処理を施し、量子化された変換係数を生成するように構成されている。
　ここで、直交変換・量子化部１４ｃは、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合には、残差信号生成部１４ｂによって生成された残差信号に対して直交変換処理を行わずに量子化処理のみを施すように構成されている。
　或いは、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合には、直交変換処理及び量子化処理の双方が行われず、残差信号生成部１４ｂによって生成された残差信号がそのまま出力されるように構成されてもよい。
　逆量子化部・逆直交変換部１４ｄは、直交変換・量子化部１４ｃによって生成された量子化された変換係数に対して、再び逆量子化処理及び逆直交変換処理を施して残差信号を生成するように構成されている。
　ここで、逆量子化部・逆直交変換部１４ｄは、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合には、直交変換・量子化部１４ｃによって生成された量子化された残差信号に対して、逆直交変換処理を行わずに逆量子化処理のみを施して残差信号を生成するように構成されている。
　或いは、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合には、直交変換処理及び量子化処理の双方が行われず、直交変換・量子化部１４ｃによって生成された残差信号がそのまま出力されるように構成されてもよい。
　局部復号画像生成部１４ｅは、逆量子化部・逆直交変換部１４ｄによって生成された残差信号に対してイントラ予測部１４ａによって生成された予測画像を加えることで局部復号画像を生成するように構成されている。
　メモリ１５は、逐次局部復号画像生成部１４によって生成された局部復号画像を参照画像として利用可能に保持するように構成されている。
　エントロピー符号化部１６は、イントラ予測モード決定部１１によって決定されたイントラ予測モード等を含むフラグ情報や量子化された変換係数に対してエントロピー符号化処理を施してストリーム出力するように構成されている。
　図８に、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合の本実施形態に係る符号化装置１の動作の一例について説明するためのフローチャートについて示す。
　図８に示すように、ステップＳ５０１において、符号化装置１は、ＣＵに適用する最適なイントラ予測モードを決定する。
　ステップＳ５０２において、符号化装置１は、ＣＵを複数のＴＵに分割するか否かについて決定する。ステップＳ５０２において、ＣＵを複数のＴＵに分割すると決定された場合には、本動作は、ステップＳ５０３に進む。一方、ステップＳ５０２において、ＣＵを複数のＴＵに分割しないと決定された場合には、本動作は、ステップＳ５０８に進む。
　ステップＳ５０３において、イントラ予測モードの方向が左下から右上に向かう方向或いは右上から左下に向かう方向であると決定された場合には、本動作は、ステップＳ５０５に進む。一方、ステップＳ５０３において、イントラ予測モードの方向が左下から右上に向かう方向及び右上から左下に向かう方向以外であると決定された場合には、本動作は、ステップＳ５０４に進む。
　ステップＳ５０４において、符号化装置１は、上述の符号化順として、従来のＨＥＶＣで用いられているラスタースキャン順（図１０（ａ）に示すようなＺ型）を採用する。
　ステップＳ５０８において、符号化装置１は、符号化対象のＴＵに対して、かかるＴＵの左側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
　イントラ予測モードの方向が左下から右上に向かう方向であると決定された場合（ステップＳ５０５）には、ステップＳ５０６において、符号化装置１は、上述の符号化順として、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という符号化順のうち、予め規定した符号化順を採用する。
　一方、イントラ予測モードの方向が左下から右上に向かう方向でないと決定された場合（ステップＳ５０５）には、ステップＳ５１１において、符号化装置１は、上述の符号化順として、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という符号化順、或いは、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という符号化順のうち、予め規定した符号化順を採用する。
　ステップＳ５０７において、符号化装置１は、符号化対象のＴＵの上側に隣接する参照画素が復号済みであるか否かについて判定する。ステップＳ５０７において、復号済みである場合、本動作は、ステップＳ５０９に進み、復号済みでない場合、本動作は、ステップＳ５１０に進む。
　ステップＳ５０９において、符号化装置１は、符号化対象のＴＵに対して、かかるＴＵの左側及び上側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
　ステップＳ５１０において、符号化装置１は、符号化対象のＴＵに対して、かかるＴＵの左側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
　ステップＳ５１２において、符号化装置１は、符号化対象のＴＵの左側に隣接する参照画素が復号済みであるか否かについて判定する。ステップＳ５１２において、復号済みである場合、本動作は、ステップＳ５１３に進み、復号済みでない場合、本動作は、ステップＳ５１４に進む。
　ステップＳ５１３において、符号化装置１は、符号化対象のＴＵに対して、かかるＴＵの左側及び上側及び右側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
　ステップＳ５１４において、符号化装置１は、符号化対象のＴＵに対して、かかるＴＵの右側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
　ステップＳ５１５において、符号化装置１は、予測画像及び原画像を用いて生成した残差信号を垂直方向に反転させた上で、その後の処理を行う。
　ステップＳ５１６において、符号化装置１は、予測画像及び原画像を用いて生成した残差信号を水平方向に反転させた上で、その後の処理を行う。
　ステップＳ５１７において、符号化装置１は、予測画像及び原画像を用いて生成した残差信号を垂直方向及び水平方向に反転させた上で、その後の処理を行う。
　本実施形態に係る符号化装置１によれば、イントラ予測において下側及び右側の少なくとも一方の参照画素を用いる場合で且つＴｒａｎｓｆｏｒｍＳｋｉｐモードが適用されている場合（残差信号に対して直交変換処理が適用されない場合）であっても符号化効率の低下を抑制することができる。
　また、本実施形態に係る復号装置３は、動画像を構成するフレーム単位の原画像をＣＵに分割して復号するように構成されている。また、本実施形態に係る復号装置３は、本実施形態に係る符号化装置１と同様に、ＣＵを複数のＴＵに分割することができるように構成されている。
　図４に示すように、本実施形態に係る復号装置３は、エントロピー復号部３１と、復号順制御部３２と、逐次局部復号画像生成部３３と、メモリ３４とを具備している。
　エントロピー復号部３１は、符号化装置１から出力されたストリームに対してエントロピー復号処理を施すことによって、符号化装置１から出力されたストリームから、変換係数やフラグ情報等を復号するように構成されている。ここで、変換係数は、符号化装置１によって、フレーム単位の原画像をＣＵに分割して符号化された信号として得られた量子化された変換係数である。
　また、フラグ情報は、予測モードや「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が選択されているか否かについて示す情報等の付随する情報を含む。
　復号順制御部３２は、イントラ予測モードに基づいてＣＵ内のＴＵの復号順を決定するように構成されている。
　具体的には、復号順制御部３２は、エントロピー復号部３１によって出力されたＴＵ分割が行われた否か（ＣＵが複数のＴＵに分割されているか否か）について示すフラグ及びイントラ予測モードの方向に応じて、ＣＵ内のＴＵの復号順を決定するように構成されている。
　例えば、復号順制御部３２は、符号化順制御部１３と同様に、ＣＵが複数のＴＵに分割されている場合で、且つ、イントラ予測モードの方向が左下から右上に向かう方向である場合、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順のうち、予め規定した復号順で、復号処理を行うように構成されていてもよい。
　また、復号順制御部３２は、符号化順制御部１３と同様に、ＣＵが複数のＴＵに分割されている場合で、且つ、イントラ予測モードの方向が右上から左下に向かう方向である場合、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という復号順、或いは、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という復号順のうち、予め規定した復号順で、復号処理を行うように構成されていてもよい。
　逐次局部復号画像生成部３３は、復号順制御部３２によって決定された復号順及びＣＵのＴＵへの分割方法に基づいて局部復号画像（ＴＵごとの復号画像）を生成するように構成されている。
　具体的には、逐次局部復号画像生成部３３は、ＣＵが複数のＴＵに分割されている場合に、復号順制御部３２によって決定された復号順に従って、エントロピー復号部３１によって出力された量子化された変換係数に対して、逐次、イントラ予測や逆量子化処理や逆直交変換処理を行うことによって、局部復号画像を生成するように構成されている。
　図４に示すように、逐次局部復号画像生成部３３は、イントラ予測部３３ａと、逆量子化・逆変換部３３ｂと、復号画像生成部３３ｃとを具備している。
　イントラ予測部３３ａは、復号順制御部３２によって決定した復号順に従って、エントロピー復号部３１によって出力されたイントラ予測モードを用いて、予測画像を生成するように構成されていてもよい。
　具体的には、イントラ予測部３３ａは、ＣＵが複数のＴＵに分割されている場合で、且つ、イントラ予測モードの方向が左下から右上に向かう方向である場合、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順のうち、予め規定した復号順で、予測画像を生成するように構成されていてもよい。
　ここで、イントラ予測部３３ａは、図２（ｃ）及び図２（ｄ）に示すように、隣接する下側の参照画素が復号されているＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）及びＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）については、左側及び下側に隣接する復号済み参照画素を用いて予測画像を生成するように構成されていてもよい。
　また、本実施形態に係る復号装置３では、イントラ予測部３３ａは、ＣＵが複数のＴＵに分割されている場合で、且つ、イントラ予測モードの方向（予測方向）が右上から左下に向かう方向である場合、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という復号順、或いは、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という復号順のうち、予め規定した復号順で、予測画像を生成するように構成されていてもよい。
　ここで、イントラ予測部３３ａは、隣接する右側の参照画素が復号されているＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）及びＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）については、上側及び右側に隣接する復号済み参照画素を用いて予測画像を生成するように構成されていてもよい。
　或いは、イントラ予測部３３ａは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順が用いられる場合には、上側に隣接する参照画素が復号済みであるＴＵ（分割されたＴＵ群のうち最上段に位置するＴＵ、図２の例では、ＴＵ＃Ａ１及びＴＵ＃Ａ２）については、ＣＵ＃Ａ内で共通のイントラ予測方向でなく、かかるＴＵの左側や上側や下側に隣接する復号済み参照画素を用いた線形補間等の予め規定した予測を行うように構成されていてもよい。
　逆量子化・逆変換部３３ｂは、エントロピー復号部３１によって出力された量子化された変換係数に対して逆量子化処理及び逆変換処理（例えば、逆直交変換処理）を施すことによって、残差信号を生成するように構成されている。
　ここで、逆量子化・逆変換部３３ｂは、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合（逆直交変換処理が適用されない場合）には、エントロピー復号処理によって得られた信号に対して逆変換処理を行わずに逆量子化処理のみを施すように構成されている。
　或いは、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合、逆直交変換処理及び逆量子化処理の双方が行われず、エントロピー復号処理によって得られた信号がそのまま出力されるように構成されてもよい。
　また、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合に、逆量子化・逆変換部３３ｂは、イントラ予測部３３ａが予測画像を生成する際に用いる参照画素の位置に基づいて、エントロピー復号処理及び逆量子化処理によって得られた信号を水平方向及び垂直方向の少なくとも一方に反転することによって残差信号を生成するように構成されていてもよい。
　例えば、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合で、且つ、イントラ予測部３３ａが左側及び下側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部３３ｂは、エントロピー復号処理及び逆量子化処理によって得られた信号を水平方向に反転することによって残差信号を生成するように構成されていてもよい。
　また、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合で、且つ、イントラ予測部３３ａが右側及び上側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部３３ｂは、エントロピー復号処理及び逆量子化処理によって得られた信号を垂直方向に反転することによって残差信号を生成するように構成されていてもよい。
　また、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合で、且つ、イントラ予測部３３ａが左側及び上側に位置する参照画素を用いて予測画像を生成した場合に、従来のＨＥＶＣで「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」を適用する場合と同様に、逆量子化・逆変換部３３ｂは、エントロピー復号処理及び逆量子化処理によって得られた信号を垂直方向及び水平方向に反転することによって残差信号を生成するように構成されていてもよい。
　また、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合で、且つ、イントラ予測部３３ａが左側及び上側及び下側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部３３ｂは、エントロピー復号処理及び逆量子化処理によって得られた信号を水平方向に反転することによって残差信号を生成するように構成されていてもよい。
　さらに、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合で、且つ、イントラ予測部３３ａが左側及び上側及び右側に位置する参照画素を用いて予測画像を生成した場合に、逆量子化・逆変換部３３ｂは、エントロピー復号処理及び逆量子化処理によって得られた信号を垂直方向に反転することによって残差信号を生成するように構成されていてもよい。
　一方、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合で、且つ、イントラ予測部３３ａが左側及び上側のいずれに位置する参照画素を用いても予測画像を生成していない場合には、逆量子化・逆変換部３３ｂは、エントロピー復号処理及び逆量子化処理によって得られた信号を反転させないように構成されていてもよい。
　復号画像生成部３３ｃは、イントラ予測部３３ａによって生成された予測画像と逆量子化・逆変換部３３ｂによって生成された残差信号とを加えることで局部復号画像を生成するように構成されている。
　メモリ３４は、逐次局部復号画像生成部３３によって生成された局部復号画像を、イントラ予測及びインター予測のための参照画像として利用可能に保持するように構成されている。
　図９に、「ＴｒａｎｓｆｏｒｍＳｋｉｐモード」が適用されている場合の本実施形態に係る復号装置３によって、上述の復号順を決定する動作の一例について説明するためのフローチャートについて示す。
　図９に示すように、ステップＳ６０１において、復号装置３は、符号化装置１から出力されたストリームから、イントラ予測モードを取得する。
　ステップＳ６０２において、復号装置３は、符号化装置１から出力されたストリームに含まれているフラグ情報に基づいて、ＣＵが複数のＴＵに分割されているか否かについて判定する。ステップＳ６０２において、ＣＵが複数のＴＵに分割されていると判定された場合には、本動作は、ステップＳ６０３に進む。一方、ステップＳ６０２において、ＣＵが複数のＴＵに分割されていないと判定された場合には、本動作は、ステップＳ６０５に進む。
　ステップＳ６０５において、復号装置３は、復号対象のＴＵに対して、かかるＴＵの左側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
　ステップＳ６０３において、復号装置３は、イントラ予測モードの方向が左下から右上に向かう方向或いは右上から左下に向かう方向であるか否かについて判定する。ステップＳ６０３において、イントラ予測モードの方向が左下から右上に向かう方向或いは右上から左下に向かう方向であると判定された場合には、本動作は、ステップＳ６０６に進む。一方、ステップＳ６０３において、イントラ予測モードの方向が左下から右上に向かう方向及び右上から左下に向かう方向以外であると判定された場合には、本動作は、ステップＳ６０４に進む。
　ステップＳ６０４において、復号装置３は、上述の復号順として、ＨＥＶＣで用いられている従来のラスタースキャン順（図１０（ａ）に示すようなＺ型）を採用する。
　イントラ予測モードの方向が左下から右上に向かう方向であると決定された場合（ステップＳ６０６）には、ステップＳ６０７において、復号装置３は、上述の復号順として、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順、或いは、ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）という復号順のうち、予め規定した復号順を採用する。
　一方、イントラ予測モードの方向が左下から右上に向かう方向でないと決定された場合（ステップＳ６０６）には、ステップＳ６１１において、復号装置３は、上述の復号順として、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という復号順、或いは、ＴＵ＃Ａ２（ＣＵ＃Ａ内の右上のＴＵ）→ＴＵ＃Ａ１（ＣＵ＃Ａ内の左上のＴＵ）→ＴＵ＃Ａ４（ＣＵ＃Ａ内の右下のＴＵ）→ＴＵ＃Ａ３（ＣＵ＃Ａ内の左下のＴＵ）という復号順のうち、予め規定した復号順を採用する。
　ステップＳ６０８において、復号装置３は、復号対象のＴＵの上側に隣接する参照画素が復号済みであるか否かについて判定する。ステップＳ６０８において、復号済みである場合、本動作は、ステップＳ６０９に進み、復号済みでない場合、本動作は、ステップＳ６１０に進む。
　ステップＳ６０９において、復号装置３は、復号対象のＴＵに対して、かかるＴＵの左側及び上側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
　ステップＳ６１０において、復号装置３は、復号対象のＴＵに対して、かかるＴＵの左側及び下側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
　ステップＳ６１２において、復号装置３は、復号対象のＴＵの左側に隣接する参照画素が復号済みであるか否かについて判定する。ステップＳ６１２において、復号済みである場合、本動作は、ステップＳ６１３に進み、復号済みでない場合、本動作は、ステップＳ６１４に進む。
　ステップＳ６１３において、復号装置３は、復号対象のＴＵに対して、かかるＴＵの左側及び上側及び右側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
　ステップＳ６１４において、復号装置３は、復号対象のＴＵに対して、かかるＴＵの右側及び上側に隣接する復号済み参照画素を用いて、予め規定した予測を行う。
　ステップＳ６１５において、復号装置３は、エントロピー復号処理及び逆量子化処理によって得られた信号を垂直方向に反転させ、その後の処理を行う。
　ステップＳ６１６において、復号装置３は、エントロピー復号処理及び逆量子化処理によって得られた信号を水平方向に反転させ、その後の処理を行う。
　ステップＳ６１７において、復号装置３は、エントロピー復号処理及び逆量子化処理によって得られた信号を垂直方向及び水平方向に反転させた上で、その後の処理を行う。
　本実施形態に係る復号装置３によれば、イントラ予測において下側及び右側の少なくとも一方の参照画素を用いる場合で且つＴｒａｎｓｆｏｒｍＳｋｉｐモードが適用されている場合（エントロピー復号処理及び逆量子化処理によって得られた信号に対して逆直交変換処理が適用されない場合）であっても符号化効率の低下を抑制することができる。
　（その他の実施形態）
　上述のように、本発明について、上述した実施形態によって説明したが、かかる実施形態における開示の一部をなす論述及び図面は、本発明を限定するものであると理解すべきではない。かかる開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
　また、上述の実施形態では特に触れていないが、上述の符号化装置１及び復号装置３によって行われる各処理をコンピュータに実行させるプログラムが提供されてもよい。また、かかるプログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、かかるプログラムをコンピュータにインストールすることが可能である。ここで、かかるプログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ-ＲＯＭやＤＶＤ-ＲＯＭ等の記録媒体であってもよい。
　或いは、上述の符号化装置１及び復号装置３内の少なくとも一部の機能を実現するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。
１…符号化装置
１１…イントラ予測モード決定部
１２…ＴＵ分割決定部
１３…符号化順制御部
１４…逐次局部復号画像生成部
１４ａ…イントラ予測部
１４ｂ…残差信号生成部
１４ｃ…直交変換・量子化部
１４ｄ…逆量子化部・逆直交変換部
１４ｅ…局部復号画像生成部
１５…メモリ
１６…エントロピー符号化部
３…復号装置
３１…エントロピー復号部
３２…復号順制御部
３３…逐次局部復号画像生成部
３３ａ…イントラ予測部
３３ｂ…逆量子化・逆変換部
３３ｃ…復号画像生成部
３４…メモリ

Claims (12)

  1. 　動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して符号化するように構成されている符号化装置であって、
    　イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、
    　前記予測画像と原画像との差分により残差信号を生成するように構成されている残差信号生成部と、
    　前記イントラ予測部が、右側及び下側の少なくとも一方に位置する参照画素を用いて前記予測画像を生成した場合に、前記残差信号に対して、水平方向及び垂直方向の少なくとも一方の基底を反転させた上で直交変換処理を施すように構成されている直交変換部とを具備することを特徴とする符号化装置。
  2. 　前記イントラ予測部が、右側及び下側の少なくとも一方に位置する参照画素を用いて前記予測画像を生成した場合で、且つ、適用する直交変換処理が、非対称な直交変換処理である場合に、前記直交変換部は、前記残差信号に対して、水平方向及び垂直方向の少なくとも一方の基底を反転させた上で直交変換処理を施すように構成されていることを特徴とする請求項１に記載の符号化装置。
  3. 　動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して復号するように構成されている復号装置であって、
    　イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、
    　前記イントラ予測部が、右側及び下側の少なくとも一方に位置する参照画素を用いて前記予測画像を生成した場合に、水平方向及び垂直方向の少なくとも一方の基底を反転させた上で変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されている逆変換部とを具備することを特徴とする復号装置。
  4. 　前記イントラ予測部が、右側及び下側の少なくとも一方に位置する参照画素を用いて前記予測画像を生成した場合で、且つ、適用する直交変換処理が、非対称な直交変換処理である場合に、前記逆変換部は、水平方向及び垂直方向の少なくとも一方の基底を反転させた上で変換係数に対して逆直交変換処理を施すことによって残差信号を生成するように構成されていることを特徴とする請求項３に記載の復号装置。
  5. 　動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して符号化するように構成されている符号化装置であって、
    　イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、
    　前記予測画像と原画像との差分により残差信号を生成するように構成されている残差信号生成部と、
    　前記イントラ予測部が、右側及び下側の少なくとも一方に位置する参照画素を用いて前記予測画像を生成した場合に、前記残差信号を水平方向及び垂直方向の少なくとも一方に反転した上で直交変換処理を施すように構成されている直交変換部とを具備することを特徴とする符号化装置。
  6. 　前記イントラ予測部が、右側及び下側の少なくとも一方に位置する参照画素を用いて前記予測画像を生成した場合で、且つ、適用する直交変換処理が、非対称な直交変換処理である場合に、前記直交変換部は、前記残差信号を水平方向及び垂直方向の少なくとも一方に反転した上で直交変換処理を施すように構成されていることを特徴とする請求項５に記載の符号化装置。
  7. 　動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して復号するように構成されている復号装置であって、
    　イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、
    　前記イントラ予測部が、右側及び下側の少なくとも一方に位置する参照画素を用いて前記予測画像を生成した場合に、変換係数に逆直交変換処理を施すことで得られる信号を水平方向及び垂直方向の少なくとも一方に反転することによって残差信号を生成するように構成されている逆変換部とを具備することを特徴とする復号装置。
  8. 　前記イントラ予測部が、右側及び下側の少なくとも一方に位置する参照画素を用いて前記予測画像を生成した場合で、且つ、適用する直交変換処理が、非対称な直交変換処理である場合に、前記逆変換部は、変換係数に逆直交変換処理を施すことで得られる信号を水平方向及び垂直方向の少なくとも一方に反転することによって残差信号を生成するように構成されていることを特徴とする請求項７に記載の復号装置。
  9. 　動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して符号化するように構成されている符号化装置であって、
    　イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、
    　前記予測画像と原画像との差分により残差信号を生成するように構成されている残差信号生成部とを具備しており、
    　直交変換処理が適用されない場合に、前記残差信号生成部は、前記イントラ予測部が予測画像を生成する際に用いる参照画素の位置に基づいて、前記残差信号を水平方向及び垂直方向の少なくとも一方に反転するように構成されていることを特徴とする符号化装置。
  10. 　動画像を構成するフレーム単位の原画像を符号化対象ブロックに分割して復号するように構成されている復号装置であって、
    　イントラ予測モードを用いて予測画像を生成するように構成されているイントラ予測部と、
    　逆直交変換処理が適用されない場合に、前記イントラ予測部が予測画像を生成する際に用いる参照画素の位置に基づいて、エントロピー復号処理及び逆量子化処理によって得られる信号を水平方向及び垂直方向の少なくとも一方に反転することによって残差信号を生成するように構成されている逆変換部とを具備することを特徴とする復号装置。
  11. 　コンピュータを、請求項１、２、５、６又は９に記載の符号化装置として機能させるためのプログラム。
  12. 　コンピュータを、請求項３、４、７、８又は１０に記載の復号装置として機能させるためのプログラム。
PCT/JP2017/005997 2016-02-17 2017-02-17 符号化装置、復号装置及びプログラム WO2017142085A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP17753339.5A EP3419291A4 (en) 2016-02-17 2017-02-17 CODING DEVICE, DECODING DEVICE, AND PROGRAM
CN201780011801.XA CN108702504A (zh) 2016-02-17 2017-02-17 编码装置、解码装置以及程序
CN202010961281.2A CN112055204B (zh) 2016-02-17 2017-02-17 编码装置、解码装置以及程序
US15/999,205 US11153572B2 (en) 2016-02-17 2018-08-17 Encoding device, decoding device, and program
US17/494,010 US11750822B2 (en) 2016-02-17 2021-10-05 Encoding device, decoding device, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016028438 2016-02-17
JP2016028437 2016-02-17
JP2016-028437 2016-02-17
JP2016-028438 2016-02-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/999,205 Continuation US11153572B2 (en) 2016-02-17 2018-08-17 Encoding device, decoding device, and program

Publications (1)

Publication Number Publication Date
WO2017142085A1 true WO2017142085A1 (ja) 2017-08-24

Family

ID=59625249

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/005997 WO2017142085A1 (ja) 2016-02-17 2017-02-17 符号化装置、復号装置及びプログラム

Country Status (4)

Country Link
US (2) US11153572B2 (ja)
EP (1) EP3419291A4 (ja)
CN (2) CN112055204B (ja)
WO (1) WO2017142085A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021519050A (ja) * 2018-04-26 2021-08-05 テンセント・アメリカ・エルエルシー ビデオシーケンスを復号する方法、装置及びコンピュータプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356448B1 (ko) 2008-10-01 2014-02-06 한국전자통신연구원 예측 모드를 이용한 복호화 장치
US8867854B2 (en) 2008-10-01 2014-10-21 Electronics And Telecommunications Research Institute Image encoder and decoder using undirectional prediction
CN112585975B (zh) 2018-08-20 2024-08-09 日本放送协会 编码装置、解码装置以及程序
CN115499669B (zh) 2019-04-25 2023-08-29 北京达佳互联信息技术有限公司 对视频信号进行编码的双向光流方法、计算设备和存储介质
CN117544774A (zh) * 2022-08-01 2024-02-09 深圳市中兴微电子技术有限公司 帧内预测方法、装置、计算机设备及可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096679A (ja) * 2005-09-28 2007-04-12 Kddi R & D Laboratories Inc 動画像の符号化および復号化方法
WO2012096194A1 (ja) * 2011-01-14 2012-07-19 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号化方法、画像復号化装置および画像符号化復号化装置
US20130003856A1 (en) * 2011-07-01 2013-01-03 Samsung Electronics Co. Ltd. Mode-dependent transforms for residual coding with low latency
JP2014045434A (ja) * 2012-08-28 2014-03-13 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置及びそれらのプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100667808B1 (ko) * 2005-08-20 2007-01-11 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
WO2011083573A1 (ja) * 2010-01-07 2011-07-14 株式会社 東芝 動画像符号化装置及び動画像復号化装置
US9344722B2 (en) * 2011-11-18 2016-05-17 Futurewei Technologies, Inc. Scanning of prediction residuals in high efficiency video coding
US10194158B2 (en) * 2012-09-04 2019-01-29 Qualcomm Incorporated Transform basis adjustment in scalable video coding
KR101650532B1 (ko) * 2012-09-28 2016-08-23 니폰 덴신 덴와 가부시끼가이샤 인트라 예측 부호화 방법, 인트라 예측 복호 방법, 인트라 예측 부호화 장치, 인트라 예측 복호 장치, 이들의 프로그램 및 프로그램을 기록한 기록매체
ES2810253T3 (es) * 2013-04-23 2021-03-08 Qualcomm Inc Reposicionamiento de bloques residuales de predicción en codificación de vídeo

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096679A (ja) * 2005-09-28 2007-04-12 Kddi R & D Laboratories Inc 動画像の符号化および復号化方法
WO2012096194A1 (ja) * 2011-01-14 2012-07-19 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号化方法、画像復号化装置および画像符号化復号化装置
US20130003856A1 (en) * 2011-07-01 2013-01-03 Samsung Electronics Co. Ltd. Mode-dependent transforms for residual coding with low latency
JP2014045434A (ja) * 2012-08-28 2014-03-13 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置及びそれらのプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021519050A (ja) * 2018-04-26 2021-08-05 テンセント・アメリカ・エルエルシー ビデオシーケンスを復号する方法、装置及びコンピュータプログラム
JP7053947B2 (ja) 2018-04-26 2022-04-12 テンセント・アメリカ・エルエルシー ビデオシーケンスを復号する方法、装置及びコンピュータプログラム

Also Published As

Publication number Publication date
CN112055204A (zh) 2020-12-08
CN112055204B (zh) 2024-05-28
US20180376147A1 (en) 2018-12-27
EP3419291A1 (en) 2018-12-26
US11153572B2 (en) 2021-10-19
CN108702504A (zh) 2018-10-23
EP3419291A4 (en) 2020-01-29
US11750822B2 (en) 2023-09-05
US20220030250A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
JP6931690B2 (ja) コンテンツをエンコードする方法及び計算装置
WO2017142085A1 (ja) 符号化装置、復号装置及びプログラム
US11665337B2 (en) Method and apparatus for encoding/decoding an image signal
KR20180028513A (ko) 비디오 코딩 시스템에서 인터 예측 방법 및 장치
JP7246449B2 (ja) 符号化装置、復号装置及びプログラム
EP3410710A1 (en) Encoding device, decoding device, and program
US10602155B2 (en) Intra prediction method and apparatus
CN118764621A (zh) 视频编码和解码方法
KR20220020325A (ko) 영상 신호 부호화/복호화 방법 및 장치
KR20200128577A (ko) 인트라 예측 장치, 화상 부호화 장치, 화상 복호 장치 및 프로그램
JP2024096929A (ja) 符号化装置、復号装置及びプログラム
KR20170124077A (ko) 영상 신호 부호화/복호화 방법 및 장치
JP7093152B2 (ja) 符号化装置、復号装置及びプログラム
WO2019077751A1 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
JP7092455B2 (ja) 符号化装置、復号装置及びプログラム
JP2017204842A (ja) 符号化装置、復号装置及びプログラム
JP6890428B2 (ja) 符号化装置、復号装置及びプログラム
JP7166743B2 (ja) 符号化装置、復号装置及びプログラム
JP7449253B2 (ja) 符号化装置、復号装置及びプログラム
JP5202558B2 (ja) イントラ予測装置、符号化器、復号器及びプログラム
JP2018121319A (ja) 符号化装置、復号装置及びプログラム
JP2023024721A (ja) 符号化装置、復号装置及びプログラム
KR20220061085A (ko) 영상 신호 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17753339

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017753339

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017753339

Country of ref document: EP

Effective date: 20180917