WO2020059051A1 - 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム - Google Patents

映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム Download PDF

Info

Publication number
WO2020059051A1
WO2020059051A1 PCT/JP2018/034681 JP2018034681W WO2020059051A1 WO 2020059051 A1 WO2020059051 A1 WO 2020059051A1 JP 2018034681 W JP2018034681 W JP 2018034681W WO 2020059051 A1 WO2020059051 A1 WO 2020059051A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction mode
block
intra prediction
video
encoding
Prior art date
Application number
PCT/JP2018/034681
Other languages
English (en)
French (fr)
Inventor
章弘 屋森
数井　君彦
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2020547522A priority Critical patent/JP7180679B2/ja
Priority to CA3112324A priority patent/CA3112324A1/en
Priority to MX2021002968A priority patent/MX2021002968A/es
Priority to CN201880097442.9A priority patent/CN112673628B/zh
Priority to KR1020217007092A priority patent/KR102570374B1/ko
Priority to PCT/JP2018/034681 priority patent/WO2020059051A1/ja
Priority to EP18934192.8A priority patent/EP3855739A4/en
Priority to BR112021003510-9A priority patent/BR112021003510A2/pt
Publication of WO2020059051A1 publication Critical patent/WO2020059051A1/ja
Priority to US17/199,498 priority patent/US20210203926A1/en
Priority to JP2022098633A priority patent/JP7323014B2/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to a video encoding device, a video encoding method, a video encoding program, a video decoding device, a video decoding method, and a video decoding program.
  • H.264 H.265 / HEVC High Efficiency Video Coding
  • H. HEVC may be referred to as H.265 / HEVC.
  • HEVC employs two prediction methods, intra prediction and inter prediction, and three types of intra prediction modes are defined: planar prediction, DC prediction, and angle prediction.
  • FIG. 1 shows the angles used in HEVC angle prediction.
  • intra prediction a locally decoded pixel value of a block previously coded in raster scan order is used as a predicted pixel value, and therefore, the reference direction is any direction from the lower left direction to the clockwise upper right direction. If the angle indicating the left horizontal direction is 0 degree, the angle range of the reference direction is a range from -45 degrees to +135 degrees.
  • Numbers from 2 to 34 are sequentially assigned to angles from ⁇ 45 degrees to +135 degrees, and these numbers represent 33 intra prediction modes for angle prediction. Note that 0 and 1 are assigned to planar prediction and DC prediction, respectively. These two intra prediction modes correspond to non-directional spatial intra prediction.
  • a predicted pixel value of the encoding target block is generated by performing extrapolation that matches a specified reference direction among 33 reference directions.
  • FIG. 2 shows an example of an extrapolation method in the case of the intra prediction mode “6” ( ⁇ 22.5 degrees).
  • the upper adjacent block adjacent to the upper side of the current block and the left adjacent block adjacent to the left side of the current block are encoded blocks.
  • the upper adjacent block is adjacent to the upper side of the two horizontal sides of the current block, and the left adjacent block is adjacent to the left side of the two vertical sides of the current block.
  • the adjacent pixel 201 (hatched square) is a pixel in the upper adjacent block or the left adjacent block, and the pixel 202 (open square) is a pixel in the encoding target block.
  • a line segment 203 with an arrow passing through each pixel 202 indicates a reference direction in the intra prediction mode “6”.
  • the pixel value of the adjacent pixel 201 existing at the end of the line segment 203 with an arrow passing through each pixel 202 is used as the predicted pixel value of the pixel 202.
  • weighted addition of the pixel values of the adjacent pixels 201 existing at the end of each of the line segments 203 with arrow becomes a predicted pixel value.
  • VVC Very Video Coding
  • FIG. 3 shows an example of block division in VVC.
  • FIG. 3A shows four divisions.
  • a block whose horizontal size (width) is W pixels and whose vertical size (height) is H pixels is divided into four blocks of the same shape.
  • Each divided block has a width of W / 2 pixels and a height of H / 2 pixels.
  • the width of the W pixel may be described as “width W”
  • the height of the H pixel may be described as “height H”.
  • FIG. 3B shows horizontal and vertical splits.
  • a block having a width W and a height H is divided into two blocks having the same shape by a horizontal dividing line.
  • the width of each block after division is W pixels, and the height is H / 2 pixels.
  • a block having a width W and a height H is divided into two blocks having the same shape by a vertical dividing line.
  • the width of each block after division is W / 2 pixels, and the height is H pixels.
  • FIG. 3 (c) shows horizontal and vertical divisions into three.
  • a block having a width W and a height H is divided into three blocks by two horizontal dividing lines.
  • the width of each block after division is W pixels
  • the height of the upper and lower two blocks is H / 4 pixels
  • the height of the center block is H / 2 pixels.
  • a block having a width W and a height H is divided into three blocks by two dividing lines in the vertical direction.
  • the height of each divided block is H pixels
  • the width of two blocks on the left and right is W / 4 pixels
  • the width of the center block is W / 2 pixels.
  • FIG. 4 shows an example of image block division. As shown in FIG. 4, not only square blocks but also rectangular blocks can be used in VVC. As the ratio of height and width (aspect ratio) of the rectangular block, not only 1: 2 and 2: 1, but also other aspect ratios can be used.
  • an MPM list including three most probable modes (Most Probable Mode, MPM) as entries is used as in HEVC.
  • the MPM is used as a candidate value (prediction value) of the intra prediction mode in the current block.
  • an object of the present invention is to set an appropriate candidate value in video encoding using a candidate value of an intra prediction mode for a rectangular block.
  • the video encoding device includes a generating unit, a predicting unit, a first encoding unit, and a second encoding unit.
  • the generation unit converts the first prediction mode information into the second prediction mode information based on a combination of the shape of the encoding target block in the image included in the video and the shape of the encoded block adjacent to the encoding target block.
  • Change to The first prediction mode information is prediction mode information indicating an intra prediction mode used for encoding a coded block. Then, the generation unit uses the second prediction mode information to generate candidate information including a candidate value of the prediction mode information.
  • the prediction unit generates an intra prediction pixel value of the current block in a predetermined intra prediction mode.
  • the first encoding unit encodes the current block using the intra prediction pixel value, and the second encoding unit encodes prediction mode information indicating a predetermined intra prediction mode using the candidate information.
  • an appropriate candidate value can be set in video encoding using a candidate value of an intra prediction mode for a rectangular block.
  • FIG. 3 is a diagram showing an extrapolation method.
  • FIG. 3 is a diagram illustrating block division in VVC.
  • FIG. 4 is a diagram illustrating block division of an image.
  • FIG. 5 is a diagram illustrating angles used in VVC angle prediction. It is a figure which shows the intra prediction mode allocated to angle prediction. It is a figure which shows the intra prediction mode added for the rectangular block. It is a figure showing angle prediction to a rectangular block.
  • FIG. 2 is a functional configuration diagram of the video encoding device. It is a functional block diagram of a video decoding apparatus.
  • FIG. 3 is a functional configuration diagram illustrating a specific example of a video encoding device.
  • FIG. 3 is a functional configuration diagram of an intra prediction unit in the video encoding device. It is a figure showing the change method of the 1st intra prediction mode. It is a flowchart of a video encoding process. 5 is a flowchart of an intra prediction process in the video encoding device.
  • FIG. 6 is a diagram illustrating a first adjacent block determination method.
  • FIG. 9 is a diagram illustrating a second adjacent block determination method. It is a figure showing the 3rd adjacent block decision method.
  • It is a functional block diagram showing a specific example of a video decoding device. It is a functional block diagram of the intra prediction part in a video decoding apparatus. It is a flowchart of a video decoding process. It is a flowchart of an intra prediction process in a video decoding device.
  • FIG. 2 is a configuration diagram of an information processing device.
  • HEVC angle prediction ( ⁇ 45 degrees to +135 degrees) may not be sufficient.
  • VVC addresses this problem by extending the angle range of angle prediction for rectangular blocks.
  • FIG. 5 shows the angles used in the angle prediction of VVC.
  • VVC the intervals between the used angles are reduced to half in order to double the accuracy of HEVC angle prediction. Further, angles in the range of -73 degrees to -45 degrees and +135 degrees to +163 degrees are added as reference directions for rectangular blocks.
  • the angle range 501 represents ⁇ 45 degrees to +45 degrees of angle prediction (33 patterns) for square and rectangular blocks, and the angle range 502 represents the +45 degrees to +135 degrees of angle prediction (32 bits) for square and rectangular blocks. Street).
  • the angle range 503 represents the angle prediction ( ⁇ 10 degrees) of ⁇ 73 degrees to ⁇ 45 degrees added for the rectangular block, and the angle range 504 represents the angles of ⁇ 135 degrees to +163 degrees added for the rectangular block.
  • the prediction (10 ways) is shown. When planar prediction and DC prediction are added to a total of 85 angle predictions, the total number of intra prediction modes is 87.
  • FIG. 6 shows an intra prediction mode assigned to the angle prediction of the angle range 501 and the angle range 502 in FIG. Numbers from 2 to 66 are sequentially assigned to angles from ⁇ 45 degrees to +135 degrees, and these numbers represent 65 types of intra prediction modes. 0 and 1 are assigned to planar prediction and DC prediction, respectively, as in the case of HEVC.
  • FIG. 7 shows an intra prediction mode assigned to the angle prediction of the angle range 503 and the angle range 504 in FIG.
  • Numbers from 67 to 76 are sequentially assigned to each angle from immediately after +135 degrees to +163 degrees, and from -10 to -45 for each angle from -73 degrees to just before -45 degrees. Numbers up to 1 are sequentially assigned.
  • Angle predictions 67-76 are used for horizontally long blocks whose width is greater than height
  • angle predictions of -10--1 are used for vertically long blocks whose height is larger than width.
  • the prediction error in intra prediction can be reduced, but the bit amount of the parameter indicating the intra prediction mode increases.
  • the total number of intra prediction modes for a rectangular block increases from 67 to 87.
  • the total number of intra prediction modes that can be selected for each block remains at 67.
  • FIG. 8 shows an example of angle prediction for a rectangular block.
  • the encoding target block 801 is a horizontally long block having an aspect ratio of 1: 2, and the pixel 802 is located at the lower right corner in the encoding target block 801.
  • the upper adjacent block adjacent to the upper side of the current block and the left adjacent block adjacent to the left side of the current block are coded blocks.
  • the adjacent pixel 803 (diagonal line) is a pixel in the upper adjacent block or the left adjacent block, and is referred to in intra prediction.
  • Arrows 810, 811, 820, and 821 indicate the reference directions of ⁇ 45 degrees, ⁇ 30 degrees, +135 degrees, and +150 degrees, respectively.
  • arrows 811 and 821 indicate reference directions parallel to a diagonal line 831 connecting the lower left vertex and the upper right vertex of the encoding target block 801.
  • the prediction efficiency of the angle prediction is inversely proportional to the distance between the prediction target pixel and the reference pixel. That is, as the distance between the prediction target pixel and the reference pixel is shorter, the prediction error can be expected to be smaller, and the prediction efficiency is improved. As a result, the coding efficiency of the prediction target pixel is improved.
  • each arrow in FIG. 8 indicates the distance between the prediction target pixel and the reference pixel.
  • the length of the arrow 810 is longer than the length of the arrow 820 existing on the extension.
  • the lengths of the two become the same.
  • the length of the arrow 811 is the same as the length of the arrow 821 existing on the extension line.
  • the angle prediction in the range of ⁇ 30 degrees to ⁇ 45 degrees has low prediction efficiency and the probability of being selected in intra prediction is low.
  • the reference direction of the arrow 820 is selected instead of the reference direction of the arrow 810.
  • the angles obtained by inverting the ten angles in the angle range 504 by about 180 ° are not used for the angle prediction.
  • ten angles from the bottom to the top of the angle range 501 are not used, and the numbers 2 to 11 of these angles are assigned to the angles 67 to 76 of the angle range 504, respectively.
  • the angles obtained by inverting the ten angles in the angle range 503 by about 180 ° are not used for angle prediction. Specifically, ten angles from the right to the left of the angle range 502 are not used, and the numbers 57 to 66 of these angles are assigned to the angles -10 to -1 of the angle range 503, respectively.
  • the same number as the original number is assigned by re-assignment irrespective of the shape of the encoding target block.
  • the numbers 0 to 66 after the reassignment may be described as the first intra prediction mode, and the numbers -10 to 76 before the reassignment may be described as the second intra prediction mode.
  • the first intra prediction mode is an example of prediction mode information.
  • the number of the second intra prediction mode indicates the angle shown in FIGS.
  • the first intra prediction mode of the left adjacent block and the upper adjacent block having a high correlation with the first intra prediction mode of the current block is used.
  • MPM list the first intra prediction mode of the left adjacent block and the upper adjacent block having a high correlation with the first intra prediction mode of the current block.
  • MPM list planar prediction and DC prediction that are highly likely to be selected in the current block are also used as entries in the MPM list.
  • Different first intra prediction modes are set in the three entries of the MPM list. Then, one of the three entries is specified by a 2-bit syntax element IntraLumaMPMIdx.
  • the first intra prediction mode of the current block is directly coded by the syntax element IntraLumaMPMRemainder.
  • a procedure in which the video encoding device derives IntraLumaMPMRemainder from IntraDir indicating the first intra prediction mode is as follows.
  • P1 The video encoding device sets the value of IntraDir to IntraLumaMPMRemainder.
  • IntraLumaMPMRemainder finally obtained is smaller than the value of IntraDir by up to 3 at most.
  • the procedure in which the video decoding device derives IntraDir from IntraLumaMPMRemainder is as follows.
  • the video decoding device sets the value of IntraLumaMPMRemainder to IntraDir.
  • the video decoding device generates mpm_sort [i] in the same manner as in the procedure (P2).
  • IntraDir that is finally obtained will be up to 3 larger than the value of IntraLumaMPMRemainder.
  • candModeList [0] to candModeList [2] are determined as follows.
  • the angle prediction usable in the adjacent block may not be usable in the encoding target block. is there.
  • the adjacent block is a vertically long block and the encoding target block is a square block.
  • the second intra prediction mode of the adjacent block is “ ⁇ 8”, the corresponding first intra prediction mode is “59”.
  • the candidate values of the first intra prediction mode of the square block to be encoded include the second intra prediction mode “ ⁇ ” in the angle prediction shown in FIG.
  • the number “2” which is the number closest to the angle indicated by “8” is more suitable. Since the prediction error can be expected to be smaller as the angle of the reference direction is smaller, the probability that the reference direction is selected in the encoding target block increases.
  • the aspect ratio of the adjacent block is different from the aspect ratio of the encoding target block, it is desirable to generate the MPM list in consideration of the continuity of the reference direction between the blocks.
  • FIG. 9 shows a functional configuration example of the video encoding device of the embodiment.
  • the video encoding device 901 in FIG. 9 includes a generation unit 911, a prediction unit 912, a first encoding unit 913, and a second encoding unit 914.
  • the generation unit 911 converts the first prediction mode information into the second prediction mode based on a combination of the shape of the encoding target block in the image included in the video and the shape of the encoded block adjacent to the encoding target block. Change to information.
  • the first prediction mode information is prediction mode information indicating an intra prediction mode used for encoding a coded block. Then, the generation unit 911 uses the second prediction mode information to generate candidate information including a candidate value of the prediction mode information.
  • the prediction unit 912 generates an intra prediction pixel value of the current block in a predetermined intra prediction mode.
  • the first encoding unit 913 encodes the current block using the intra prediction pixel value, and the second encoding unit 914 encodes prediction mode information indicating a predetermined intra prediction mode using the candidate information. I do.
  • FIG. 10 shows an example of a functional configuration of the video decoding device according to the embodiment.
  • the video decoding device 1001 in FIG. 10 includes a decoding unit 1011, a generation unit 1012, a prediction unit 1013, and a restoration unit 1014.
  • the decoding unit 1011 decodes the encoded video, and extracts prediction residual information of a decoding target block in the encoded image included in the encoded video. Furthermore, the decoding unit 1011 extracts prediction mode information indicating the intra prediction mode of the current block and first prediction mode information indicating the intra prediction mode of a decoded block adjacent to the current block.
  • the generating unit 1012 changes the first prediction mode information to the second prediction mode information based on a combination of the shape of the current block and the shape of the decoded block, and uses the second prediction mode information to generate the prediction mode information. Is generated.
  • the prediction unit 1013 generates the intra prediction pixel value of the decoding target block in the intra prediction mode indicated by the prediction mode information of the decoding target block using the candidate information.
  • the restoration unit 1014 generates a pixel value of the current block using the intra prediction pixel value and the prediction residual information.
  • an appropriate candidate value can be set in video encoding using a candidate value in the intra prediction mode for a rectangular block.
  • FIG. 11 shows a specific example of the video encoding device 901 in FIG. 11 includes a subtraction unit 1111, a transform / quantization unit 1112, an entropy coding unit 1113, a mode determination unit 1114, an intra prediction unit 1115, and an inter prediction unit 1116.
  • the video encoding device 1101 further includes an inverse quantization / inverse transform unit 1117, an addition unit 1118, a post filter unit 1119, and a frame memory 1120.
  • the subtraction unit 1111 and the transform / quantization unit 1112 correspond to the first encoding unit 913 in FIG.
  • the video encoding device 1101 can be implemented, for example, as a hardware circuit.
  • each component of the video encoding device 1101 may be implemented as an individual circuit, or may be implemented as one integrated circuit.
  • the video encoding device 1101 encodes an input video and outputs the encoded video as an encoded stream.
  • the video encoding device 1101 can transmit the encoded stream to the video decoding device 1001 in FIG. 10 via a communication network.
  • the video encoding device 1101 may be incorporated in a video camera, a video transmission device, a video phone system, a computer, or a mobile terminal device.
  • the input video includes a plurality of images corresponding to a plurality of times, respectively.
  • the image at each time is sometimes called a picture or a frame.
  • Each image may be a color image or a monochrome image.
  • pixel values may be in RGB format or YUV format.
  • the same prediction image is obtained from the parameter indicating the prediction mode and the prediction residual information. Can be generated. In this case, since only the difference information needs to be transmitted as an encoded stream, video encoding with high compression efficiency is realized.
  • the inverse quantization / inverse transform unit 1117, the addition unit 1118, the post filter unit 1119, and the frame memory 1120 are used for local decoding processing in the video encoding device 901.
  • Each image is divided into unit blocks of a predetermined size, and is encoded for each unit block in raster scan order.
  • the unit block may be used as it is as a coding target block, or a block obtained by further dividing the unit block may be used as a coding target block. Then, intra prediction or inter prediction is performed on the current block.
  • intra prediction In the case of intra prediction, a predicted image of a coding target block in each intra prediction mode is generated using adjacent pixels in the upper adjacent block or the left adjacent block, and the intra prediction mode having the highest prediction efficiency is selected.
  • the intra prediction mode planar prediction, DC prediction, and the angle prediction shown in FIG. 5 are used, and a parameter indicating the intra prediction mode with the highest prediction efficiency and prediction residual information are transmitted as an encoded stream.
  • inter prediction an image that has been coded in the past is set as a reference image, and block matching processing is performed between the current block and a reference block in the reference image by motion vector search to achieve the highest prediction efficiency. Is detected. Then, the information of the reference image and the information of the motion vector indicating the position of the detected reference block are transmitted as parameters indicating the inter prediction mode, and the difference between the reference block and the current block is used as prediction residual information. Transmitted.
  • the intra prediction unit 1115 calculates the intra prediction pixel value of the current block using the decoded pixel value before the post filter application output from the addition unit 1118, and outputs the pixel value to the mode determination unit 1114.
  • the inter prediction unit 1116 calculates the inter prediction pixel value of the current block using the pixel value of the reference image output from the frame memory 1120, and outputs the calculated pixel value to the mode determination unit 1114.
  • the mode determination unit 1114 determines which of intra prediction and inter prediction has higher prediction efficiency, and determines whether the prediction efficiency is higher. Select the higher prediction result. Then, the mode determination unit 1114 outputs the prediction pixel value of the selected prediction result from the intra prediction pixel value or the inter prediction pixel value to the subtraction unit 1111 and the addition unit 1118.
  • the subtraction unit 1111 outputs the difference between the pixel value of the current block and the prediction pixel value output from the mode determination unit 1114 to the transformation / quantization unit 1112 as a prediction residual.
  • the transform / quantization unit 1112 performs orthogonal transform and quantization of the prediction residual, and outputs the quantization coefficient to the entropy coding unit 1113 and the inverse quantization / inverse transformation unit 1117 as prediction residual information.
  • the entropy coding unit 1113 converts the quantization coefficient and a parameter indicating the selected intra prediction mode or inter prediction mode into a binary sequence by entropy coding (variable length coding), and outputs a coded video. .
  • the inverse quantization / inverse transform unit 1117 performs inverse quantization and inverse orthogonal transform of the quantized coefficient to restore the prediction residual, and outputs the restored prediction residual to the addition unit 1118.
  • the addition unit 1118 adds the prediction pixel value output from the mode determination unit 1114 and the prediction residual output from the inverse quantization / inverse transformation unit 1117 to generate a decoded pixel value before applying the post filter. . Then, the adding unit 1118 outputs the generated decoded pixel value to the post-filter unit 1119 and the intra prediction unit 1115.
  • the post-filter unit 1119 applies a post-filter to the decoded pixel value before the post-filter is applied to reduce the quantization error, and generates a decoded pixel value after the post-filter is applied. Then, the post-filter unit 1119 outputs the generated decoded pixel value to the frame memory 1120.
  • the frame memory 1120 stores the decoded pixel value after the post filter application as a local decoded pixel value.
  • the locally decoded pixel value stored in the frame memory 1120 is output to the inter prediction unit 1116 as a pixel value of a reference image.
  • FIG. 12 shows a functional configuration example of the intra prediction unit 1115 in FIG. 12 includes an MPM generation unit 1211, a prediction mode calculation unit 1212, an encoding unit 1213, a prediction mode calculation unit 1214, and a filter unit 1215.
  • the MPM generation unit 1211, the encoding unit 1213, and the filter unit 1215 correspond to the generation unit 911, the second encoding unit 914, and the prediction unit 912 in FIG. 9, respectively.
  • the shape parameters indicating the shapes of the encoding target block, the left adjacent block, and the upper adjacent block are input to the MPM generation unit 1211 and the prediction mode calculation unit 1214 from an encoding control unit (not shown).
  • the width W and the height H of each block are used as the shape parameters.
  • the first intra prediction mode of the current block, the left adjacent block, and the upper adjacent block is input from the prediction mode calculation unit 1212 to the MPM generation unit 1211.
  • the MPM generation unit 1211 changes the first intra prediction mode of the adjacent block based on a combination of the shape of the current block and the shape of each adjacent block. Note that the first intra prediction mode of the adjacent block for which the inter prediction mode has been selected is regarded as DC prediction.
  • the MPM generation unit 1211 generates an MPM list using the changed first intra prediction mode of the left adjacent block and the upper adjacent block, and generates the MPM list and the first intra prediction mode of the current block. Is output to the encoding unit 1213.
  • the MPM list is an example of candidate information including candidate values of prediction mode information.
  • the ⁇ ⁇ ⁇ prediction mode calculation unit 1214 determines the second intra prediction mode having the highest prediction efficiency for the current block by performing a search process of calculating the prediction efficiencies of all the second intra prediction modes. Then, the prediction mode calculation unit 1214 outputs the determined second intra prediction mode to the prediction mode calculation unit 1212 and the filter unit 1215.
  • the prediction mode calculation unit 1212 converts the second intra prediction mode output from the prediction mode calculation unit 1214 into the first intra prediction mode, and outputs the first intra prediction mode to the MPM generation unit 1211.
  • the number of the second intra prediction mode indicating each angle shown in FIGS. 6 and 7 is converted to the number of the first intra prediction mode.
  • the filter unit 1215 applies a filter corresponding to the second intra prediction mode output from the prediction mode calculation unit 1214 to the decoded pixel value before applying the post filter, and generates an intra prediction pixel value of the current block. I do. Then, the filter unit 1215 outputs the generated intra prediction pixel value to the mode determination unit 1114.
  • the filter corresponding to the second intra prediction mode is defined by the VVC standard.
  • the encoding unit 1213 encodes the first intra prediction mode of the current block using the MPM list, and generates an intra prediction parameter indicating the first intra prediction mode. Then, encoding section 1213 outputs the generated intra prediction parameter to mode determination section 1114. IntraLumaMPMFlag, IntraLumaMPMIdx, and IntraLumaMPMRemainder are used as the intra prediction parameters.
  • IntraLumaMPMFlag is a flag indicating whether or not to use the MPM list. When IntraLumaMPMFlag is logical "1", the MPM list is used. When IntraLumaMPMFlag is logical "0", the MPM list is not used.
  • IntraLumaMPMIdx is a parameter that specifies an entry in the MPM list
  • IntraLumaMPMRemainder is a parameter that specifies the remaining first intra prediction mode that is not registered in the MPM list.
  • IntraLumaMPMFlag is set to logical “1”, and IntraLumaMPMIdx specifying the entry is generated.
  • IntraLumaMPMFlag is set to logic “0”. Then, the first intra prediction mode is converted into IntraLumaMPMRemainder by the above-described procedures (P1) to (P3).
  • the MPM generation unit 1211 determines, based on a combination of the ratio H / W of the height H to the width W of the encoding target block and the ratio Hn / Wn of the height Hn to the width Wn of each adjacent block, the neighboring block. Change the first intra prediction mode of the block. This change is performed independently for each of the left adjacent block and the upper adjacent block.
  • the angle A1 indicated by the first intra prediction mode of the adjacent block is an angle that is not used for intra prediction in the shape of the encoding target block.
  • the first intra prediction mode corresponding to the angle A2 closest to the angle A1 is used as the changed first intra prediction mode.
  • an MPM list including, as an entry, the first intra prediction mode usable in the current block. Further, among the angle predictions usable in the current block, the angle prediction closest to the angle prediction adopted in the adjacent block is included as an entry, so that the prediction efficiency of the first intra prediction mode based on the MPM list is improved. .
  • FIG. 13 shows an example of such a method of changing the first intra prediction mode.
  • Each row of the table in FIG. 13 corresponds to a predetermined value of Hn / Wn, and each column corresponds to a predetermined value of H / W. Therefore, each cell of the table corresponds to a predetermined combination of Hn / Wn and H / W.
  • the fifth column represents H / W ⁇ 1 /.
  • a change instruction in the form of “Same” or “ModeBefore ⁇ ModeAfter” is described. “Same” indicates an instruction not to change the first intra prediction mode, and a change instruction of the form “ModeBefore ⁇ ModeAfter” indicates the first intra prediction mode indicated by the ModeBefore number and the first intra prediction mode indicated by the ModeAfter number. Indicates an instruction to change to the mode.
  • the MPM generation unit 1211 uses the first intra prediction mode changed by the change method in FIG. 13 as candIntraPredModeA and candIntraPredModeB, and determines candModeList [0] to candModeList [2] according to the above-described generation method of the VVC standard.
  • the first intra prediction mode of the adjacent block is changed based on the combination of the shape of the current block and the shape of the adjacent block. Accordingly, even when the aspect ratio of the adjacent block is different from the aspect ratio of the current block, an appropriate MPM list can be generated in consideration of the continuity of the reference direction between the blocks.
  • FIG. 14 is a flowchart illustrating an example of a video encoding process performed by the video encoding device 1101 in FIG. In this video encoding process, the encoding process is performed for each CU (Coding @ Unit) which is an example of a block.
  • CU Coding @ Unit
  • the intra prediction unit 1115 performs intra prediction on a block (CU) of each block size (step 1401). Then, the intra prediction unit 1115 performs an intra prediction mode determination and selects an intra prediction mode with the highest prediction efficiency (step 1402).
  • the inter prediction unit 1116 performs inter prediction on blocks of each block size (step 1403).
  • the inter prediction is performed for each PU (Prediction @ Unit) obtained by further dividing the CU.
  • the inter prediction unit 1116 performs the inter prediction mode determination and selects the inter prediction mode with the highest prediction efficiency (Step 1404).
  • the mode determination unit 1114 performs a mode determination to determine whether to apply the intra prediction mode or the inter prediction mode for each block (CU) (step 1405). Then, the subtraction unit 1111 and the transform / quantization unit 1112 encode the current block according to the prediction mode determined by the mode determination unit 1114, and generate quantization coefficients (step 1406).
  • the video encoding device 1101 determines whether or not the encoding of the image has been completed (Step 1407). If an unprocessed block remains (step 1407, NO), the video encoding device 1101 repeats the processing from step 1401 onward for the next block.
  • the entropy encoding unit 1113 performs variable length encoding on the quantization coefficient and the parameter indicating the determined prediction mode (Step 1408).
  • the video coding apparatus 1101 determines whether or not video coding has been completed (Step 1409). If an unprocessed image remains (step 1409, NO), the video encoding device 1101 repeats the processing from step 1401 onward for the next image. Then, when the video encoding is completed (Step 1409, YES), the video encoding device 1101 ends the processing.
  • FIG. 15 is a flowchart showing an example of the intra prediction process in step 1401 of FIG.
  • the MPM generation unit 1211 changes the first intra prediction mode of the left adjacent block and the upper adjacent block, and generates an MPM list using the changed first intra prediction mode (step 1501).
  • the prediction mode calculation unit 1214 determines the second intra prediction mode of the coding target block (step 1502), and the prediction mode calculation unit 1212 sets the determined second intra prediction mode to the first intra prediction mode. Conversion is performed (step 1503).
  • the encoding unit 1213 generates an IntraLumaMPMFlag indicating whether to use the MPM list (step 1504), and checks the value of the generated IntraLumaMPMFlag (step 1505).
  • IntraLumaMPMFlag When IntraLumaMPMFlag is logical “1” (step 1505, YES), the encoding unit 1213 generates IntraLumaMPMIdx indicating an entry of the MPM list corresponding to the first intra prediction mode of the current block (step 1506). . On the other hand, when IntraLumaMPMFlag is logic “0” (step 1505, NO), the encoding unit 1213 generates an IntraLumaMPMRemainder corresponding to the first intra prediction mode of the current block (step 1507).
  • the filter unit 1215 generates an intra prediction pixel value of the coding target block in the determined second intra prediction mode (Step 1508).
  • FIG. 16 shows an example of the first neighboring block determination method.
  • the uppermost left adjacent block 1602 is selected as the left adjacent block used for generating the MPM list.
  • the leftmost upper neighboring block 1603 is selected as the upper neighboring block used for generating the MPM list.
  • FIG. 17 shows an example of the second neighboring block determination method.
  • the leftmost neighboring block 1702 located at the top of the plurality of left neighboring blocks adjacent to the left of the encoding target block 1701 is the left neighboring block used for generating the MPM list. Selected as a block.
  • the upper right block 1703 located at the rightmost is selected as the upper adjacent block used for generating the MPM list.
  • the lowermost left adjacent block 1712 among a plurality of left adjacent blocks adjacent to the left of the encoding target block 1711 is used for generating the MPM list. Selected as the left neighboring block.
  • the upper adjacent block 1713 located at the leftmost is selected as the upper adjacent block used for generating the MPM list.
  • FIG. 18 shows an example of the third adjacent block determination method.
  • the left adjacent block having the highest frequency first intra prediction mode is the left adjacent block used for generating the MPM list. Selected as a block.
  • the upper neighboring block having the highest frequency first intra prediction mode is selected as the upper neighboring block used for generating the MPM list.
  • the prediction efficiency of the first intra prediction mode based on the MPM list is improved.
  • the first intra prediction mode M1 of the upper adjacent block 1811 to the upper adjacent block 1814 adjacent to the upper side of the horizontally long encoding target block 1801 is determined as follows.
  • the frequency of I1 is one
  • the frequency of I2 is two
  • the frequency of I3 is one. Therefore, the upper neighboring block 1812 and the upper neighboring block 1813 having the highest frequency I2 are selected, and the first intra prediction mode of these blocks is adopted as the first intra prediction mode of the upper neighboring block.
  • the upper neighboring block 1811 to the upper neighboring block 1814 have different first intra prediction modes, the upper neighboring block is selected according to the first neighboring block determining method or the second neighboring block determining method. If any upper neighboring block is coded in the inter prediction mode, the upper neighboring block is excluded from frequency counting targets.
  • the left adjacent block used for generating the MPM list is selected in the same manner as the upper adjacent block 1811 to the upper adjacent block 1814. You.
  • the same method of determining an adjacent block is applied to an upper adjacent block 1841 and an upper adjacent block 1842 which are adjacent above the vertically long encoding target block 1831.
  • the same adjacent block determination method is applied to the left adjacent block 1851 to the left adjacent block 1853 adjacent to the left side of the current block 1831.
  • the first intra prediction mode M1 of the left adjacent block 1851 to the left adjacent block 1853 is determined as follows.
  • the length of the side of the left adjacent block 1852 that is in contact with the encoding target block 1831 is twice the length of the side of the left adjacent block 1851 or the left adjacent block 1853 that is in contact with the encoding target block 1831. . Therefore, the left adjacent block 1852 having the longest side in contact with the encoding target block 1831 may be selected as the left adjacent block used for generating the MPM list.
  • FIG. 19 shows a specific example of the video decoding device 1001 in FIG.
  • the video decoding device 1901 in FIG. 19 includes an entropy decoding unit 1911, an inverse quantization / inverse transformation unit 1912, an intra prediction unit 1913, an inter prediction unit 1914, an addition unit 1915, a post filter unit 1916, and a frame memory 1917.
  • the entropy decoding unit 1911 corresponds to the decoding unit 1011 in FIG. 10
  • the inverse quantization / inverse transformation unit 1912 and the addition unit 1915 correspond to the restoration unit 1014.
  • the video decoding device 1901 can be implemented as, for example, a hardware circuit. In this case, each component of the video decoding device 1901 may be implemented as an individual circuit or as one integrated circuit.
  • the video decoding device 1901 decodes an encoded stream of an input encoded video and outputs a decoded video.
  • the video decoding device 1901 can receive an encoded stream from the video encoding device 1101 of FIG. 11 via a communication network.
  • the video decoding device 1901 may be incorporated in a video camera, a video receiving device, a video phone system, a computer, or a mobile terminal device.
  • the entropy decoding unit 1911 decodes the encoded video by entropy decoding (variable length decoding), extracts the quantization coefficient of each block in the decoding target image as prediction residual information, and sets a parameter indicating the prediction mode of each block. Is extracted. Further, the entropy decoding unit 1911 also extracts shape parameters indicating the shape of each block.
  • the parameter indicating the prediction mode includes an intra prediction parameter indicating the intra prediction mode or an inter prediction parameter indicating the inter prediction mode.
  • entropy decoding section 1911 outputs the quantized coefficient to inverse quantization / inverse transform section 1912, outputs the shape parameter and the intra prediction parameter to intra prediction section 1913, and outputs the inter prediction parameter to inter prediction section 1914.
  • the inverse quantization / inverse transform unit 1912 performs inverse quantization and inverse orthogonal transform of the quantized coefficient to restore the prediction residual, and outputs the restored prediction residual to the addition unit 1915.
  • the intra prediction unit 1913 uses the shape parameter and the intra prediction parameter output from the entropy decoding unit 1911 to calculate the intra prediction pixel value of the current block from the decoded pixel value before the post filter application output from the addition unit 1915. calculate. Then, the intra prediction unit 1913 outputs the calculated intra prediction pixel value to the addition unit 1915.
  • the inter prediction unit 1914 performs a motion compensation process using the inter prediction parameter output from the entropy decoding unit 1911 and the pixel value of the reference image output from the frame memory 1917, and performs the inter prediction pixel value of the decoding target block. Is calculated. Then, the inter prediction unit 1914 outputs the calculated inter prediction pixel value to the addition unit 1915.
  • the addition unit 1915 adds the prediction pixel value output from the intra prediction unit 1913 or the inter prediction unit 1914 and the prediction residual output from the inverse quantization / inverse transformation unit 1912, and performs decoding before applying the post filter. Generate pixel values. Then, the addition unit 1915 outputs the generated decoded pixel value to the post-filter unit 1916 and the intra prediction unit 1913.
  • the post-filter unit 1916 applies a post-filter to the decoded pixel value before applying the post-filter to generate a decoded pixel value after applying the post-filter, in order to reduce the quantization error. Then, the post-filter unit 1916 outputs the generated decoded pixel value to the frame memory 1917.
  • the frame memory 1917 stores the decoded pixel value after the post filter is applied, and outputs a decoded video including the decoded pixel value.
  • the decoded pixel value stored in the frame memory 1917 is output to the inter prediction unit 1914 as a pixel value of a reference image.
  • FIG. 20 shows a functional configuration example of the intra prediction unit 1913 in FIG. 20 includes an MPM generation unit 2011, a storage unit 2012, a prediction mode calculation unit 2013, a prediction mode calculation unit 2014, and a filter unit 2015.
  • the MPM generation unit 2011 and the filter unit 2015 correspond to the generation unit 1012 and the prediction unit 1013 in FIG. 10, respectively.
  • the shape parameter is input from the entropy decoding unit 1911 to the MPM generation unit 2011 and the prediction mode calculation unit 2014. Further, the prediction mode calculation unit 2013 receives the intra prediction parameters from the entropy decoding unit 1911.
  • the input intra prediction parameters include IntraLumaMPMFlag and IntraLumaMPMIdx or IntraLumaMPMRemainder.
  • the storage unit 2012 stores the width, height, and first intra prediction mode of each block.
  • DC prediction is stored as the first intra prediction mode of the block for which the inter prediction mode has been selected. Then, the storage unit 2012 outputs the width Wn and the height Hn of each of the left adjacent block and the upper adjacent block and the first intra prediction mode of each of the left adjacent block and the upper adjacent block to the MPM generation unit 2011.
  • the MPM generation unit 2011 changes the first intra prediction mode of the adjacent block based on the combination of the shape of the current block and the shape of each adjacent block by the same change method as the video encoding device 1101 in FIG. I do. At this time, based on a combination of the ratio H / W of the height H to the width W of the decoding target block and the ratio Hn / Wn of the height Hn to the width Wn of each adjacent block, the MPM generation unit 2011 determines the neighboring Change the first intra prediction mode of the block. This change is performed independently for each of the left adjacent block and the upper adjacent block.
  • the angle A1 indicated by the first intra prediction mode of the adjacent block is an angle not used for intra prediction in the shape of the decoding target block.
  • the first intra prediction mode corresponding to the angle A2 closest to the angle A1 is used as the changed first intra prediction mode.
  • the MPM generation unit 2011 can change the first intra prediction mode of the adjacent block according to the change method shown in FIG.
  • the MPM list used for encoding the intra prediction parameters can be restored from the encoded video.
  • the MPM generation unit 2011 generates an MPM list by the above-described VVC standard generation method using the changed first intra prediction mode of the left adjacent block and the upper adjacent block, and outputs the generated MPM list to the prediction mode calculation unit 2013. Output to
  • the prediction mode calculation unit 2013 obtains the first intra prediction mode of the decoding target block from the input intra prediction parameters using the MPM list, and outputs the first intra prediction mode to the storage unit 2012 and the prediction mode calculation unit 2014.
  • the IntraLumaMPMFlag is logic “1”
  • the entry of the MPM list specified by IntraLumaMPMIdx is output as the first intra prediction mode of the decoding target block.
  • IntraLumaMPMFlag is logic “0”
  • IntraDir is obtained from IntraLumaMPMRemainder by the above-described procedures (P11) to (P13), and the IntraDir is output as the first intra prediction mode of the decoding target block.
  • the prediction mode calculation unit 2014 converts the first intra prediction mode of the current block to the second intra prediction mode based on the width W and the height H of the current block.
  • the filter unit 2015 applies a filter corresponding to the second intra prediction mode output from the prediction mode calculation unit 2014 to the decoded pixel value before applying the post filter, and generates an intra prediction pixel value of the decoding target block. . Then, the filter unit 2015 outputs the generated intra prediction pixel value to the addition unit 1915.
  • the encoded video output from the video encoding device 1101 in FIG. 11 can be decoded to restore the original video.
  • FIG. 21 is a flowchart illustrating an example of a video decoding process performed by the video decoding device 1901 in FIG. In this video decoding process, a decoding process is performed for each CU that is an example of a block.
  • the entropy decoding unit 1911 performs variable-length decoding on the coded video to extract quantization coefficients, shape parameters, and parameters indicating prediction modes of the current block (CU to be decoded) (step 2101). Then, entropy decoding section 1911 checks whether the parameter indicating the prediction mode is an intra prediction parameter or an inter prediction parameter (step 2102).
  • the intra prediction unit 1913 performs intra prediction on the current block and calculates an intra prediction pixel value of the current block (step 2103). .
  • the inter prediction unit 1914 performs a motion compensation process on the current block to calculate the inter prediction pixel value of the current block ( Step 2104).
  • the inverse quantization / inverse transform unit 1912 decodes the quantized coefficient of the decoding target block to restore the prediction residual (Step 2105). Then, the adding unit 1915 and the post-filter unit 1916 generate a decoded pixel value of the decoding target block using the restored prediction residual and the predicted pixel value output from the intra prediction unit 1913 or the inter prediction unit 1914. I do.
  • the video decoding device 1901 determines whether or not decoding of the encoded video has been completed (Step 2106). If an unprocessed binary string remains (step 2106, NO), the video decoding device 1901 repeats the processing from step 2101 on for the next binary string. Then, when the decoding of the encoded video is completed (step 2106, YES), the video decoding device 1901 ends the processing.
  • FIG. 22 is a flowchart showing an example of the intra prediction process in step 2103 of FIG.
  • the MPM generation unit 2011 changes the first intra prediction mode of the left adjacent block and the upper adjacent block, and generates an MPM list using the changed first intra prediction mode (Step 2201).
  • the prediction mode calculation unit 2013 checks the value of IntraLumaMPMFlag (step 2202). When IntraLumaMPMFlag is logic “1”, the prediction mode calculation unit 2013 acquires the value of IntraLumaMPMIdx (step 2203). Then, the prediction mode calculation unit 2013 acquires the entry of the MPM list specified by IntraLumaMPMIdx as the first intra prediction mode of the decoding target block (Step 2204).
  • the prediction mode calculation unit 2013 acquires the value of IntraLumaMPMRemainder (Step 2205), and converts the acquired value to the first intra prediction mode (Step 2206).
  • the prediction mode calculation unit 2014 converts the first intra prediction mode of the decoding target block into the second intra prediction mode (Step 2207). Then, the filter unit 2015 generates an intra prediction pixel value of the decoding target block based on the second intra prediction mode output from the prediction mode calculation unit 2014 (Step 2208).
  • the adjacent block used for generating the MPM list is determined in the same manner as the adjacent block determination method shown in FIGS. .
  • the first to third adjacent block determination methods may be applied by replacing the current block to be decoded in FIGS. 16 to 18 with the current block to be decoded.
  • the configuration of the video encoding device in FIGS. 9 and 11 is merely an example, and some components may be omitted or changed according to the use or conditions of the video encoding device.
  • the configuration of the intra prediction unit 1115 in FIG. 12 is merely an example, and some components may be omitted or changed depending on the application or conditions of the video encoding device.
  • the video encoding device may employ an encoding method other than VVC.
  • the configuration of the video decoding device in FIGS. 10 and 19 is merely an example, and some components may be omitted or changed according to the application or conditions of the video decoding device.
  • the configuration of the intra prediction unit 1913 in FIG. 20 is merely an example, and some components may be omitted or changed depending on the application or conditions of the video decoding device.
  • the video decoding device may employ a decoding method other than VVC.
  • FIGS. 14, 15, 21, and 22 are merely examples, and some processes may be omitted or changed depending on the configuration or conditions of the video encoding device or the video decoding device. .
  • the coding target block shown in FIGS. 2, 8, and 16 to 18 and the left adjacent block and the upper adjacent block shown in FIGS. 16 to 18 are merely examples. It changes according to the image to be played.
  • the neighboring block determination method shown in FIGS. 16 to 18 is merely an example, and a neighboring block used for generating the MPM list may be determined by another neighboring block determination method.
  • the method of changing the first intra prediction mode shown in FIG. 13 is only an example, and the first intra prediction mode of the adjacent block may be changed by another changing method.
  • the video encoding device of FIGS. 9 and 11 and the video decoding device of FIGS. 10 and 19 can be implemented as a hardware circuit, or can be implemented using an information processing device (computer).
  • FIG. 23 illustrates a configuration example of an information processing device used as the video encoding device 901, the video decoding device 1001, the video encoding device 1101, and the video decoding device 1901.
  • 23 includes a CPU (Central Processing Unit) 2301, a memory 2302, an input device 2303, an output device 2304, an auxiliary storage device 2305, a medium drive device 2306, and a network connection device 2307. These components are connected to each other by a bus 2308.
  • a CPU Central Processing Unit
  • the memory 2302 is a semiconductor memory such as a ROM (Read Only Memory), a RAM (Random Access Memory), or a flash memory, and stores programs and data used for processing.
  • the memory 2302 can be used as the frame memory 1120 in FIG. 11, the frame memory 1917 in FIG. 19, or the storage unit 2012 in FIG.
  • the CPU 2301 (processor) operates as the generation unit 911, the prediction unit 912, the first encoding unit 913, and the second encoding unit 914 in FIG. 9 by executing a program using the memory 2302, for example.
  • the CPU 2301 operates as the decoding unit 1011, the generation unit 1012, the prediction unit 1013, and the restoration unit 1014 in FIG. 10 by executing a program using the memory 2302.
  • the CPU 2301 operates as the subtraction unit 1111, the transformation / quantization unit 1112, the entropy encoding unit 1113, and the mode determination unit 1114 in FIG. 11 by executing the program using the memory 2302.
  • the CPU 2301 operates as an intra prediction unit 1115, an inter prediction unit 1116, an inverse quantization / inverse conversion unit 1117, an addition unit 1118, and a post filter unit 1119 by executing a program using the memory 2302.
  • the CPU 2301 operates as the MPM generation unit 1211, the prediction mode calculation unit 1212, the encoding unit 1213, the prediction mode calculation unit 1214, and the filter unit 1215 in FIG. 12 by executing a program using the memory 2302.
  • the CPU 2301 also operates as the entropy decoding unit 1911, the inverse quantization / inverse transformation unit 1912, the intra prediction unit 1913, and the inter prediction unit 1914 in FIG. 19 by executing the program using the memory 2302.
  • the CPU 2301 operates as an addition unit 1915 and a post-filter unit 1916 by executing a program using the memory 2302.
  • the CPU 2301 also operates as the MPM generation unit 2011, the prediction mode calculation unit 2013, the prediction mode calculation unit 2014, and the filter unit 2015 of FIG. 20 by executing a program using the memory 2302.
  • the input device 2303 is, for example, a keyboard, a pointing device, or the like, and is used for inputting an instruction or information from a user or an operator.
  • the output device 2304 is, for example, a display device, a printer, a speaker, or the like, and is used for inquiring a user or an operator or outputting a processing result.
  • the processing result may be a decoded video.
  • the auxiliary storage device 2305 is, for example, a magnetic disk device, an optical disk device, a magneto-optical disk device, a tape device, or the like.
  • the auxiliary storage device 2305 may be a hard disk drive.
  • the information processing device can store programs and data in the auxiliary storage device 2305 and load them into the memory 2302 for use.
  • the medium driving device 2306 drives the portable recording medium 2309 and accesses the recorded contents.
  • the portable recording medium 2309 is a memory device, a flexible disk, an optical disk, a magneto-optical disk, or the like.
  • the portable recording medium 2309 may be a CD-ROM (Compact Disk Read Only Memory), a DVD (Digital Versatile Disk), or a USB (Universal Serial Bus) memory.
  • the user or the operator can store programs and data in the portable recording medium 2309 and load them into the memory 2302 for use.
  • the computer-readable recording medium that stores the program and data used for the processing includes a physical (non-temporary) medium such as the memory 2302, the auxiliary storage device 2305, and the portable recording medium 2309.
  • a recording medium is included.
  • the network connection device 2307 is a communication interface circuit that is connected to a communication network such as a LAN (Local Area Network) and a WAN (Wide Area Network) and performs data conversion accompanying communication.
  • the network connection device 2307 can transmit the encoded video to the video decoding device and can receive the encoded video from the video encoding device.
  • the information processing device can receive the program and data from an external device via the network connection device 2307, and can use them by loading them into the memory 2302.
  • the information processing device does not need to include all the components in FIG. 23, and some of the components may be omitted depending on the application or conditions. For example, when an interface with a user or an operator is unnecessary, the input device 2303 and the output device 2304 may be omitted. When the information processing device does not access the portable recording medium 2309, the medium driving device 2306 may be omitted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

生成部は、映像に含まれる画像内の符号化対象ブロックの形状と、符号化対象ブロックに隣接する符号化済みブロックの形状との組み合わせに基づいて、第１予測モード情報を第２予測モード情報に変更する。第１予測モード情報は、符号化済みブロックの符号化に用いたイントラ予測モードを示す予測モード情報である。そして、生成部は、第２予測モード情報を用いて、予測モード情報の候補値を含む候補情報を生成する。予測部は、所定のイントラ予測モードにおける、符号化対象ブロックのイントラ予測画素値を生成する。第１符号化部は、イントラ予測画素値を用いて符号化対象ブロックを符号化し、第２符号化部は、候補情報を用いて、所定のイントラ予測モードを示す予測モード情報を符号化する。

Description

映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム
　本発明は、映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラムに関する。
　映像データの圧縮符号化に関する国際標準として、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）が知られている。以下では、Ｈ．２６５／ＨＥＶＣを指して、ＨＥＶＣと記載することがある。
　ＨＥＶＣでは、イントラ予測とインター予測の２つの予測方法が採用されており、イントラ予測モードとしては、プラナー予測、直流予測、及び角度予測の３種類が規定されている。
　図１は、ＨＥＶＣの角度予測において使用される角度を示している。イントラ予測では、ラスタスキャン順で先に符号化されたブロックの局所復号画素値が予測画素値として用いられるため、参照方向は、左下方向から時計回りに右上方向までのいずれかの方向になる。左水平方向を示す角度を０度とした場合、参照方向の角度範囲は、－４５度から＋１３５度までの範囲である。
　－４５度から＋１３５度までの各角度に対して、２から３４までの番号が順番に割り当てられており、これらの番号が角度予測の３３通りのイントラ予測モードを表している。なお、０及び１は、プラナー予測及び直流予測に対してそれぞれ割り当てられている。これらの２つのイントラ予測モードは、方向性を持たない空間的なイントラ予測に対応する。イントラ予測符号化では、３３通りの参照方向のうち、指定された参照方向に合致した外挿を行うことで、符号化対象ブロックの予測画素値が生成される。
　図２は、イントラ予測モード“６”（－２２．５度）の場合の外挿方法の例を示している。符号化対象ブロックの上側に隣接する上隣接ブロック、及び符号化対象ブロックの左側に隣接する左隣接ブロックは、符号化済みブロックである。上隣接ブロックは、符号化対象ブロックの水平方向の２辺のうち上側の辺に隣接し、左隣接ブロックは、符号化対象ブロックの垂直方向の２辺のうち左側の辺に隣接する。
　隣接画素２０１（斜線の正方形）は、上隣接ブロック又は左隣接ブロック内の画素であり、画素２０２（白抜きの正方形）は、符号化対象ブロック内の画素である。各画素２０２を通る矢印付き線分２０３は、イントラ予測モード“６”における参照方向を示している。
　各画素２０２を通る矢印付き線分２０３の終端に存在する隣接画素２０１の画素値が、その画素２０２の予測画素値として用いられる。画素２０２を複数の矢印付き線分２０３が通っている場合は、それぞれの矢印付き線分２０３の終端に存在する隣接画素２０１の画素値の重み付き加算が、予測画素値となる。
　現在、映像データの圧縮符号化に関する次期国際標準として、ＶＶＣ（Versatile Video Coding）の規格化作業が進められている（例えば、非特許文献１を参照）。ＨＥＶＣにおけるブロックの形状は正方形のみであるが、ＶＶＣでは、符号化効率をさらに向上させるため、長方形のブロックも使用される。
　図３は、ＶＶＣにおけるブロック分割の例を示している。図３（ａ）は、四分割を示している。この場合、水平方向のサイズ（幅）がＷ画素であり、垂直方向のサイズ（高さ）がＨ画素であるブロックが、同じ形状の４個のブロックに分割される。分割後の各ブロックの幅はＷ／２画素であり、高さはＨ／２画素である。以下では、Ｗ画素の幅を「幅Ｗ」と記載し、Ｈ画素の高さを「高さＨ」と記載することがある。
　図３（ｂ）は、横二分割及び縦二分割を示している。横二分割の場合、幅Ｗ及び高さＨのブロックが、水平方向の分割線によって、同じ形状の２個のブロックに分割される。分割後の各ブロックの幅はＷ画素であり、高さはＨ／２画素である。一方、縦二分割の場合、幅Ｗ及び高さＨのブロックが、垂直方向の分割線によって、同じ形状の２個のブロックに分割される。分割後の各ブロックの幅はＷ／２画素であり、高さはＨ画素である。
　図３（ｃ）は、横三分割及び縦三分割を示している。横三分割の場合、幅Ｗ及び高さＨのブロックが、水平方向の２本の分割線によって、３個のブロックに分割される。分割後の各ブロックの幅はＷ画素であり、上下２個のブロックの高さはＨ／４画素であり、中央のブロックの高さはＨ／２画素である。縦三分割の場合、幅Ｗ及び高さＨのブロックが、垂直方向の２本の分割線によって、３個のブロックに分割される。分割後の各ブロックの高さはＨ画素であり、左右２個のブロックの幅はＷ／４画素であり、中央のブロックの幅はＷ／２画素である。
　図４は、画像のブロック分割の例を示している。図４に示すように、ＶＶＣでは、正方形のブロックだけでなく、長方形のブロックが使用可能になる。長方形のブロックの高さ及び幅の比率（縦横比）としては、１：２及び２：１だけでなく、それ以外の縦横比も使用可能である。
　また、イントラ予測の処理において、より近い復号済み画素を利用して主観画質と符号化効率を改善する技術が知られている（例えば、特許文献１を参照）。
特開２０１６－０２７７５６号公報
"Versatile Video Coding (Draft 2)", JVET-K1001, JVET of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, July 2018
　ＶＶＣのイントラ予測モードを示すパラメータの符号化方法では、ＨＥＶＣと同様に、３つの最確モード（Most Probable Mode，ＭＰＭ）をエントリとして含む、ＭＰＭリストが用いられる。ＭＰＭは、符号化対象ブロックにおけるイントラ予測モードの候補値（予測値）として用いられる。
　しかしながら、隣接ブロックの形状と符号化対象ブロックの形状とが異なる場合、現状のＶＶＣにおけるＭＰＭリストの生成方法では、必ずしも適切なＭＰＭが設定されるとは限らない。
　なお、かかる問題は、ＶＶＣを採用する映像符号化に限らず、長方形のブロックに対するイントラ予測を採用する他の映像符号化においても生ずるものである。
　１つの側面において、本発明は、長方形のブロックに対するイントラ予測モードの候補値を用いた映像符号化において、適切な候補値を設定することを目的とする。
　１つの案では、映像符号化装置は、生成部、予測部、第１符号化部、及び第２符号化部を含む。
　生成部は、映像に含まれる画像内の符号化対象ブロックの形状と、符号化対象ブロックに隣接する符号化済みブロックの形状との組み合わせに基づいて、第１予測モード情報を第２予測モード情報に変更する。第１予測モード情報は、符号化済みブロックの符号化に用いたイントラ予測モードを示す予測モード情報である。そして、生成部は、第２予測モード情報を用いて、予測モード情報の候補値を含む候補情報を生成する。
　予測部は、所定のイントラ予測モードにおける、符号化対象ブロックのイントラ予測画素値を生成する。第１符号化部は、イントラ予測画素値を用いて符号化対象ブロックを符号化し、第２符号化部は、候補情報を用いて、所定のイントラ予測モードを示す予測モード情報を符号化する。
　実施形態によれば、長方形のブロックに対するイントラ予測モードの候補値を用いた映像符号化において、適切な候補値を設定することができる。
ＨＥＶＣの角度予測において使用される角度を示す図である。 外挿方法を示す図である。 ＶＶＣにおけるブロック分割を示す図である。 画像のブロック分割を示す図である。 ＶＶＣの角度予測において使用される角度を示す図である。 角度予測に割り当てられるイントラ予測モードを示す図である。 長方形のブロック向けに追加されたイントラ予測モードを示す図である。 長方形のブロックに対する角度予測を示す図である。 映像符号化装置の機能的構成図である。 映像復号装置の機能的構成図である。 映像符号化装置の具体例を示す機能的構成図である。 映像符号化装置におけるイントラ予測部の機能的構成図である。 第１イントラ予測モードの変更方法を示す図である。 映像符号化処理のフローチャートである。 映像符号化装置におけるイントラ予測処理のフローチャートである。 第１の隣接ブロック決定方法を示す図である。 第２の隣接ブロック決定方法を示す図である。 第３の隣接ブロック決定方法を示す図である。 映像復号装置の具体例を示す機能的構成図である。 映像復号装置におけるイントラ予測部の機能的構成図である。 映像復号処理のフローチャートである。 映像復号装置におけるイントラ予測処理のフローチャートである。 情報処理装置の構成図である。
　以下、図面を参照しながら、実施形態を詳細に説明する。
　非正方形である長方形のブロックに対するイントラ予測を行う場合、ＨＥＶＣの角度予測（－４５度～＋１３５度）では不十分となる場合がある。そこで、ＶＶＣでは、長方形のブロックに対する角度予測の角度範囲を拡張することで、この問題に対応している。
　図５は、ＶＶＣの角度予測において使用される角度を示している。ＶＶＣでは、ＨＥＶＣの角度予測の精度を２倍にするため、使用される角度の間隔が１／２に削減されている。さらに、長方形のブロック向けの参照方向として、－７３度～－４５度及び＋１３５度～＋１６３度の範囲の角度が追加されている。
　角度範囲５０１は、正方形及び長方形のブロック向けの－４５度～＋４５度の角度予測（３３通り）を表し、角度範囲５０２は、正方形及び長方形のブロック向けの＋４５度～＋１３５度の角度予測（３２通り）を表す。角度範囲５０３は、長方形のブロック向けに追加された－７３度～－４５度の角度予測（１０通り）を表し、角度範囲５０４は、長方形のブロック向けに追加された＋１３５度～＋１６３度の角度予測（１０通り）を表す。合計８５通りの角度予測にプラナー予測及び直流予測を加えると、イントラ予測モードの総数は８７通りとなる。
　図６は、図５の角度範囲５０１及び角度範囲５０２の角度予測に割り当てられるイントラ予測モードを示している。－４５度から＋１３５度までの各角度に対して、２から６６までの番号が順番に割り当てられており、これらの番号が６５通りのイントラ予測モードを表している。０及び１は、ＨＥＶＣの場合と同様に、プラナー予測及び直流予測に対してそれぞれ割り当てられる。
　図７は、図５の角度範囲５０３及び角度範囲５０４の角度予測に割り当てられるイントラ予測モードを示している。＋１３５度の直後から＋１６３度までの各角度に対して、６７から７６までの番号が順番に割り当てられており、－７３度から－４５度の直前までの各角度に対して、－１０から－１までの番号が順番に割り当てられている。６７～７６の角度予測は、幅が高さよりも大きい横長のブロックに対して使用され、－１０～－１の角度予測は、高さが幅よりも大きい縦長のブロックに対して使用される。
　イントラ予測モードの総数を増やすことで、イントラ予測における予測誤差を減らすことができるが、イントラ予測モードを示すパラメータのビット量が増加する。符号化性能の向上を図る場合、予測誤差の削減とパラメータのビット量の増加とのバランスを取ることが望ましい。
　ＶＶＣのイントラ予測の場合、長方形のブロック向けにイントラ予測モードの総数が６７個から８７個に増加する。ただし、長方形のブロックに対して予測効率が低い角度予測の番号を、追加された角度予測に割り当てることで、ブロック毎に選択可能なイントラ予測モードの総数を６７個のままにとどめている。
　図８は、長方形のブロックに対する角度予測の例を示している。符号化対象ブロック８０１は、縦横比が１：２の横長のブロックであり、画素８０２は、符号化対象ブロック８０１内の右下隅に位置している。符号化対象ブロックの上側に隣接する上隣接ブロック及び符号化対象ブロックの左側に隣接する左隣接ブロックは、符号化済みブロックである。隣接画素８０３（斜線）は、上隣接ブロック又は左隣接ブロック内の画素であり、イントラ予測において参照される。
　矢印８１０、矢印８１１、矢印８２０、及び矢印８２１は、それぞれ、－４５度、－３０度、＋１３５度、及び＋１５０度の参照方向を示している。このうち、矢印８１１及び矢印８２１は、符号化対象ブロック８０１の左下頂点と右上頂点を結ぶ対角線８３１に平行な参照方向を示している。画素８０２が予測対象画素である場合、それぞれの矢印が指している隣接画素８０３が参照画素として用いられ、その隣接画素８０３の画素値が、画素８０２の予測画素値として用いられる。
　ここで、角度予測の予測効率は、予測対象画素と参照画素の距離に反比例する。すなわち、予測対象画素と参照画素の距離が近いほど、予測誤差が小さくなることが期待できるため、予測効率が向上する。その結果、予測対象画素の符号化効率が向上する。
　図８のそれぞれの矢印の長さは、予測対象画素と参照画素の距離を表している。例えば、矢印８１０の長さは、その延長線上に存在する矢印８２０の長さよりも長い。仮に、符号化対象ブロック８０１が正方形であったと仮定すれば、両者の長さは同一になる。一方、矢印８１１の長さは、その延長線上に存在する矢印８２１の長さと同一である。
　このことから、縦横比が１：２のブロックでは、－３０度～－４５度の範囲の角度予測は予測効率が低く、イントラ予測において選択される確率が低いことが分かる。例えば、符号化対象ブロック８０１の周囲に均一なテクスチャが存在し、そのエッジ方向が矢印８１０及び矢印８２０と平行である場合、矢印８１０の参照方向の代わりに、矢印８２０の参照方向を選択することで、予測効率の向上が期待される。
　角度予測を拡張する際に、このような長方形のブロック特有の性質を利用して番号の再割り当てを行うことで、予測効率を低下させることなく、使用可能な角度予測の総数を維持することができる。
　角度予測の番号の再割り当て方法について、図５～図７を用いて説明する。番号の再割り当てでは、図６に示した角度予測のうち、長方形のブロックに対して予測効率が低い角度予測の番号が、図７に示した角度予測に対して割り当てられる。
　例えば、符号化対象ブロックが横長のブロックである場合、角度範囲５０４の１０通りの角度を約１８０°反転させた角度を、角度予測に使用しないことにする。具体的には、角度範囲５０１の下から上へ向かって１０通りの角度は使用されず、これらの角度の番号２～１１が、角度範囲５０４の６７～７６の角度に対してそれぞれ割り当てられる。
　一方、符号化対象ブロックが縦長のブロックである場合、角度範囲５０３の１０通りの角度を約１８０°反転させた角度を、角度予測に使用しないことにする。具体的には、角度範囲５０２の右から左へ向かって１０通りの角度は使用されず、これらの角度の番号５７～６６が、角度範囲５０３の－１０～－１の角度に対してそれぞれ割り当てられる。
　なお、１２～５６の角度予測については、符号化対象ブロックの形状によらず、再割り当てによって、元の番号と同じ番号が割り当てられる。
　以下では、再割り当て後の番号０～６６を第１イントラ予測モードと記載し、再割り当て前の番号－１０～７６を第２イントラ予測モードと記載することがある。第１イントラ予測モードは、予測モード情報の一例である。第２イントラ予測モードの番号は、図６及び図７に示した角度を表している。
　第１イントラ予測モードを示すパラメータをＭＰＭリストを用いて符号化する場合、符号化対象ブロックの第１イントラ予測モードと高い相関性を持つ、左隣接ブロック及び上隣接ブロックの第１イントラ予測モードが、ＭＰＭリストのエントリとして用いられる。さらに、符号化対象ブロックで選択される可能性が高いプラナー予測及び直流予測も、ＭＰＭリストのエントリとして用いられる。ＭＰＭリストの３つのエントリには、それぞれ異なる第１イントラ予測モードが設定される。そして、２ビットのシンタックス要素IntraLumaMPMIdxによって、３つのエントリのうちの１つが指定される。
　ＭＰＭリストのいずれのエントリも、符号化対象ブロックの第１イントラ予測モードと合致しない場合は、シンタックス要素IntraLumaMPMRemainderによって、直接、符号化対象ブロックの第１イントラ予測モードが符号化される。
　このとき、各ブロックで選択可能な第１イントラ予測モードの総数６７から、ＭＰＭリストによってシグナリング可能な第１イントラ予測モードの総数３を減算すると、減算結果は６４になる。したがって、IntraLumaMPMRemainderによって表現される第１イントラ予測モードの総数は、６４個である。Ｌｏｇ２（６４）＝６であるから、IntraLumaMPMRemainderの最小ビット数は６ビットになる。
　ＶＣＣ規格において、映像符号化装置が、第１イントラ予測モードを示すIntraDirから、IntraLumaMPMRemainderを導出する手順は、以下の通りである。
（Ｐ１）映像符号化装置は、IntraDirの値をIntraLumaMPMRemainderに設定する。
（Ｐ２）映像符号化装置は、ＭＰＭリストのエントリを昇順でソートし、mpm_sort[i] （i=0..2, mpm_sort[0]<mpm_sort[1]<mpm_sort[2]）を生成する。
（Ｐ３）映像符号化装置は、mpm_sort[i]とIntraLumaMPMRemainderとを順番に比較し、mpm_sort[i]<=IntraLumaMPMRemainderであれば、IntraLumaMPMRemainderを１だけデクリメントする。
　最終的に得られるIntraLumaMPMRemainderの値は、IntraDirの値よりも最大３だけ小さくなる。
　一方、映像復号装置がIntraLumaMPMRemainderからIntraDirを導出する手順は、以下の通りである。
（Ｐ１１）映像復号装置は、IntraLumaMPMRemainderの値をIntraDirに設定する。
（Ｐ１２）映像復号装置は、手順（Ｐ２）と同様にして、mpm_sort[i]を生成する。
（Ｐ１３）映像復号装置は、mpm_sort[i]とIntraDirとを順番に比較し、mpm_sort[i]<= IntraDirであれば、IntraDirを１だけインクリメントする。
　最終的に得られるIntraDirの値は、IntraLumaMPMRemainderの値よりも最大３だけ大きくなる。
　次に、ＶＶＣ規格におけるＭＰＭリストの生成方法を説明する。左隣接ブロックのIntraDir及び上隣接ブロックのIntraDirを、それぞれ、candIntraPredModeA及びcandIntraPredModeBとし、ＭＰＭリストのｉ番目（ｉ＝０，１，２）のエントリの値をcandModeList[i]とする。このとき、candModeList[0]～candModeList[2]は、次のようにして決定される。
・(candIntraPredModeA == candIntraPredModeB)かつ(candIntraPredModeA < 2)の場合
　　candModeList[0] = 0
　　candModeList[1] = 1
　　candModeList[2] = 50
・(candIntraPredModeA == candIntraPredModeB)かつ(candIntraPredModeA >= 2)の場合
　　candModeList[0] = candIntraPredModeA
　　candModeList[1] = 2 + ((candIntraPredModeA + 61) % 64)
　　candModeList[2] = 2 + ((candIntraPredModeA -  1) % 64)
・(candIntraPredModeA != candIntraPredModeB)の場合
　　candModeList[0] = candIntraPredModeA
　　candModeList[1] = candIntraPredModeB
　(candModeList[0] != 0)かつ(candModeList[1] != 0)の場合
　　candModeList[2] = 0 
　(candModeList[0] != 1)かつ(candModeList[1] != 1)の場合
　　candModeList[2] = 1 
　上記以外の場合
　　candModeList[2] = 50
　ただし、“% 64”は、６４を除数とする除算の剰余を表す。この生成方法によれば、candIntraPredModeA又はcandIntraPredModeBがＭＰＭとして用いられることがある。
　しかしながら、隣接ブロック（左隣接ブロック又は上隣接ブロック）の縦横比と符号化対象ブロックの縦横比とが異なる場合、隣接ブロックで使用可能な角度予測が符号化対象ブロックでは使用不可能であることがある。
　例えば、隣接ブロックが縦長のブロックであり、符号化対象ブロックが正方形のブロックである場合を想定する。隣接ブロックの第２イントラ予測モードが“－８”である場合、対応する第１イントラ予測モードは“５９”である。
　しかし、ブロック間における参照方向の連続性の観点から、正方形である符号化対象ブロックの第１イントラ予測モードの候補値としては、図６に示した角度予測のうち、第２イントラ予測モード“－８”が示す角度に最も近い番号である“２”の方が適している。参照方向の角度が近いほど予測誤差が小さくなることが期待できるため、その参照方向が符号化対象ブロックにおいて選択される確率が高くなる。
　したがって、隣接ブロックの縦横比と符号化対象ブロックの縦横比とが異なる場合には、ブロック間における参照方向の連続性を考慮して、ＭＰＭリストを生成することが望ましい。
　図９は、実施形態の映像符号化装置の機能的構成例を示している。図９の映像符号化装置９０１は、生成部９１１、予測部９１２、第１符号化部９１３、及び第２符号化部９１４を含む。
　生成部９１１は、映像に含まれる画像内の符号化対象ブロックの形状と、符号化対象ブロックに隣接する符号化済みブロックの形状との組み合わせに基づいて、第１予測モード情報を第２予測モード情報に変更する。第１予測モード情報は、符号化済みブロックの符号化に用いたイントラ予測モードを示す予測モード情報である。そして、生成部９１１は、第２予測モード情報を用いて、予測モード情報の候補値を含む候補情報を生成する。
　予測部９１２は、所定のイントラ予測モードにおける、符号化対象ブロックのイントラ予測画素値を生成する。第１符号化部９１３は、イントラ予測画素値を用いて符号化対象ブロックを符号化し、第２符号化部９１４は、候補情報を用いて、所定のイントラ予測モードを示す予測モード情報を符号化する。
　図１０は、実施形態の映像復号装置の機能的構成例を示している。図１０の映像復号装置１００１は、復号部１０１１、生成部１０１２、予測部１０１３、及び復元部１０１４を含む。
　復号部１０１１は、符号化映像を復号して、符号化映像に含まれる符号化画像内の復号対象ブロックの予測残差情報を抽出する。さらに、復号部１０１１は、復号対象ブロックのイントラ予測モードを示す予測モード情報と、復号対象ブロックに隣接する復号済みブロックのイントラ予測モードを示す第１予測モード情報とを抽出する。
　生成部１０１２は、復号対象ブロックの形状と復号済みブロックの形状との組み合わせに基づいて、第１予測モード情報を第２予測モード情報に変更し、第２予測モード情報を用いて、予測モード情報の候補値を含む候補情報を生成する。
　予測部１０１３は、候補情報を用いて、復号対象ブロックの予測モード情報が示すイントラ予測モードにおける、復号対象ブロックのイントラ予測画素値を生成する。復元部１０１４は、イントラ予測画素値と予測残差情報とを用いて、復号対象ブロックの画素値を生成する。
　図９の映像符号化装置９０１及び図１０の映像復号装置１００１によれば、長方形のブロックに対するイントラ予測モードの候補値を用いた映像符号化において、適切な候補値を設定することができる。
　図１１は、図９の映像符号化装置９０１の具体例を示している。図１１の映像符号化装置１１０１は、減算部１１１１、変換・量子化部１１１２、及びエントロピー符号化部１１１３、モード判定部１１１４、イントラ予測部１１１５、及びインター予測部１１１６を含む。映像符号化装置１１０１は、さらに、逆量子化・逆変換部１１１７、加算部１１１８、ポストフィルタ部１１１９、及びフレームメモリ１１２０を含む。減算部１１１１及び変換・量子化部１１１２は、図９の第１符号化部９１３に対応する。
　映像符号化装置１１０１は、例えば、ハードウェア回路として実装することができる。この場合、映像符号化装置１１０１の各構成要素を個別の回路として実装してもよく、１つの集積回路として実装してもよい。
　映像符号化装置１１０１は、入力される映像を符号化し、符号化映像を符号化ストリームとして出力する。映像符号化装置１１０１は、符号化ストリームを、通信ネットワークを介して、図１０の映像復号装置１００１へ送信することができる。
　例えば、映像符号化装置１１０１は、ビデオカメラ、映像送信装置、テレビ電話システム、コンピュータ、又は携帯端末装置に組み込まれていてもよい。
　入力される映像は、複数の時刻それぞれに対応する複数の画像を含む。各時刻の画像は、ピクチャ又はフレームと呼ばれることもある。各画像は、カラー画像であってもよく、モノクロ画像であってもよい。カラー画像の場合、画素値はＲＧＢ形式であってもよく、ＹＵＶ形式であってもよい。
　映像復号装置における復号処理と同一の局所復号処理を、映像符号化装置に実装することにより、映像符号化装置及び映像復号装置において、予測モードを示すパラメータ及び予測残差情報から、同一の予測画像を生成することができる。この場合、差分情報のみを符号化ストリームとして伝送すればよいため、高い圧縮効率の映像符号化が実現される。逆量子化・逆変換部１１１７、加算部１１１８、ポストフィルタ部１１１９、及びフレームメモリ１１２０は、映像符号化装置９０１における局所復号処理に用いられる。
　各画像は所定サイズの単位ブロックに分割され、ラスタスキャン順で単位ブロック毎に符号化される。単位ブロックがそのまま符号化対象ブロックとして用いられることもあり、単位ブロックをさらに細かく分割したブロックが符号化対象ブロックとして用いられることもある。そして、符号化対象ブロックに対してイントラ予測又はインター予測が実施される。
　イントラ予測の場合、上隣接ブロック又は左隣接ブロック内の隣接画素を用いて、各イントラ予測モードにおける符号化対象ブロックの予測画像が生成され、最も予測効率の高いイントラ予測モードが選択される。イントラ予測モードとしては、プラナー予測、直流予測、及び図５に示した角度予測が用いられ、最も予測効率の高いイントラ予測モードを示すパラメータ及び予測残差情報が、符号化ストリームとして伝送される。
　インター予測の場合、過去に符号化済みの画像を参照画像として設定し、動きベクトル探索によって、符号化対象ブロックと参照画像内の参照ブロックとの間でブロックマッチング処理を行うことで、最も予測効率の高い参照ブロックが検出される。そして、参照画像の情報と、検出された参照ブロックの位置を示す動きベクトルの情報とが、インター予測モードを示すパラメータとして伝送され、その参照ブロックと符号化対象ブロックの差分が予測残差情報として伝送される。
　イントラ予測部１１１５は、加算部１１１８から出力されるポストフィルタ適用前の復号画素値を用いて、符号化対象ブロックのイントラ予測画素値を計算し、モード判定部１１１４へ出力する。インター予測部１１１６は、フレームメモリ１１２０から出力される参照画像の画素値を用いて、符号化対象ブロックのインター予測画素値を計算し、モード判定部１１１４へ出力する。
　１つの符号化対象ブロックに対しては１種類の符号化処理が適用されるため、モード判定部１１１４は、イントラ予測又はインター予測のいずれの方が予測効率が高いかを判定し、予測効率が高い方の予測結果を選択する。そして、モード判定部１１１４は、イントラ予測画素値又はインター予測画素値のうち、選択した予測結果の予測画素値を、減算部１１１１及び加算部１１１８へ出力する。
　減算部１１１１は、符号化対象ブロックの画素値と、モード判定部１１１４から出力される予測画素値との差分を、予測残差として変換・量子化部１１１２へ出力する。変換・量子化部１１１２は、予測残差の直交変換及び量子化を行い、量子化係数を予測残差情報として、エントロピー符号化部１１１３及び逆量子化・逆変換部１１１７へ出力する。
　エントロピー符号化部１１１３は、量子化係数と、選択されたイントラ予測モード又はインター予測モードを示すパラメータとを、エントロピー符号化（可変長符号化）によってバイナリ列に変換し、符号化映像を出力する。
　逆量子化・逆変換部１１１７は、量子化係数の逆量子化及び逆直交変換を行って予測残差を復元し、復元した予測残差を加算部１１１８へ出力する。加算部１１１８は、モード判定部１１１４から出力される予測画素値と、逆量子化・逆変換部１１１７から出力される予測残差とを加算して、ポストフィルタ適用前の復号画素値を生成する。そして、加算部１１１８は、生成した復号画素値をポストフィルタ部１１１９及びイントラ予測部１１１５へ出力する。
　ポストフィルタ部１１１９は、量子化誤差を削減するために、ポストフィルタ適用前の復号画素値に対してポストフィルタを適用し、ポストフィルタ適用後の復号画素値を生成する。そして、ポストフィルタ部１１１９は、生成した復号画素値をフレームメモリ１１２０へ出力する。
　フレームメモリ１１２０は、ポストフィルタ適用後の復号画素値を局所復号画素値として記憶する。フレームメモリ１１２０が記憶する局所復号画素値は、参照画像の画素値として、インター予測部１１１６へ出力される。
　図１２は、図１１のイントラ予測部１１１５の機能的構成例を示している。図１２のイントラ予測部１１１５は、ＭＰＭ生成部１２１１、予測モード計算部１２１２、符号化部１２１３、予測モード計算部１２１４、及びフィルタ部１２１５を含む。ＭＰＭ生成部１２１１、符号化部１２１３、及びフィルタ部１２１５は、図９の生成部９１１、第２符号化部９１４、及び予測部９１２にそれぞれ対応する。
　ＭＰＭ生成部１２１１及び予測モード計算部１２１４には、不図示の符号化制御部から、符号化対象ブロック、左隣接ブロック、及び上隣接ブロックの形状を示す形状パラメータが入力される。形状パラメータとしては、各ブロックの幅Ｗ及び高さＨが用いられる。
　ＭＰＭ生成部１２１１には、予測モード計算部１２１２から、符号化対象ブロック、左隣接ブロック、及び上隣接ブロックの第１イントラ予測モードが入力される。ＭＰＭ生成部１２１１は、符号化対象ブロックの形状と各隣接ブロックの形状との組み合わせに基づいて、その隣接ブロックの第１イントラ予測モードを変更する。なお、インター予測モードが選択された隣接ブロックの第１イントラ予測モードは、直流予測とみなされる。
　そして、ＭＰＭ生成部１２１１は、左隣接ブロック及び上隣接ブロックの変更後の第１イントラ予測モードを用いて、ＭＰＭリストを生成し、生成したＭＰＭリストと符号化対象ブロックの第１イントラ予測モードとを、符号化部１２１３へ出力する。ＭＰＭリストは、予測モード情報の候補値を含む候補情報の一例である。
　予測モード計算部１２１４は、すべての第２イントラ予測モードの予測効率を計算する探索処理を行うことで、符号化対象ブロックに対して最も予測効率の高い第２イントラ予測モードを決定する。そして、予測モード計算部１２１４は、決定した第２イントラ予測モードを予測モード計算部１２１２及びフィルタ部１２１５へ出力する。
　予測モード計算部１２１２は、予測モード計算部１２１４から出力される第２イントラ予測モードを第１イントラ予測モードに変換して、ＭＰＭ生成部１２１１へ出力する。これにより、図６及び図７に示した各角度を示す第２イントラ予測モードの番号が、第１イントラ予測モードの番号に変換される。
　フィルタ部１２１５は、ポストフィルタ適用前の復号画素値に対して、予測モード計算部１２１４から出力される第２イントラ予測モードに対応するフィルタを適用し、符号化対象ブロックのイントラ予測画素値を生成する。そして、フィルタ部１２１５は、生成したイントラ予測画素値をモード判定部１１１４へ出力する。第２イントラ予測モードに対応するフィルタは、ＶＶＣ規格によって規定されている。
　符号化部１２１３は、ＭＰＭリストを用いて、符号化対象ブロックの第１イントラ予測モードを符号化し、第１イントラ予測モードを示すイントラ予測パラメータを生成する。そして、符号化部１２１３は、生成したイントラ予測パラメータをモード判定部１１１４へ出力する。イントラ予測パラメータとしては、IntraLumaMPMFlag、IntraLumaMPMIdx、及びIntraLumaMPMRemainderが用いられる。
　IntraLumaMPMFlagは、ＭＰＭリストを使用するか否かを示すフラグであり、IntraLumaMPMFlagが論理“１”のとき、ＭＰＭリストが使用され、IntraLumaMPMFlagが論理“０”のとき、ＭＰＭリストは使用されない。IntraLumaMPMIdxは、ＭＰＭリストのエントリを指定するパラメータであり、IntraLumaMPMRemainderは、ＭＰＭリストに登録されていない残りの第１イントラ予測モードを指定するパラメータである。
　符号化対象ブロックの第１イントラ予測モードがＭＰＭリストのいずれかのエントリに該当する場合、IntraLumaMPMFlagが論理“１”に設定され、そのエントリを指定するIntraLumaMPMIdxが生成される。一方、符号化対象ブロックの第１イントラ予測モードがＭＰＭリストのいずれのエントリにも該当しない場合、IntraLumaMPMFlagが論理“０”に設定される。そして、上述した（Ｐ１）～（Ｐ３）の手順によって、第１イントラ予測モードがIntraLumaMPMRemainderに変換される。
　次に、ＭＰＭリストの生成方法を説明する。まず、ＭＰＭ生成部１２１１は、符号化対象ブロックの幅Ｗに対する高さＨの比率Ｈ／Ｗと、各隣接ブロックの幅Ｗｎに対する高さＨｎの比率Ｈｎ／Ｗｎとの組み合わせに基づいて、その隣接ブロックの第１イントラ予測モードを変更する。この変更は、左隣接ブロック及び上隣接ブロック各々に対して独立に行われる。
　ここで、隣接ブロックの第１イントラ予測モードが示す角度Ａ１が、符号化対象ブロックの形状においてイントラ予測に使用されない角度である場合を想定する。この場合、符号化対象ブロックの形状においてイントラ予測に使用される角度のうち、角度Ａ１に最も近い角度Ａ２に対応する第１イントラ予測モードが、変更後の第１イントラ予測モードとして用いられる。
　これにより、符号化対象ブロックにおいて使用可能な第１イントラ予測モードをエントリとして含む、ＭＰＭリストを生成することが可能になる。さらに、符号化対象ブロックにおいて使用可能な角度予測のうち、隣接ブロックで採用された角度予測に最も近い角度予測がエントリとして含まれるため、ＭＰＭリストに基づく第１イントラ予測モードの予測効率が向上する。
　図１３は、このような第１イントラ予測モードの変更方法の例を示している。図１３のテーブルの各行はＨｎ／Ｗｎの所定値に対応し、各列はＨ／Ｗの所定値に対応する。したがって、テーブルの各セルは、Ｈｎ／ＷｎとＨ／Ｗの所定の組み合わせに対応している。
　第１行はＨｎ／Ｗｎ≧４を表し、第２行はＨｎ／Ｗｎ＝２を表し、第３行はＨｎ／Ｗｎ＝１を表し、第４行はＨｎ／Ｗｎ＝１／２を表し、第５行はＨｎ／Ｗｎ≦１／４を表す。第１列はＨ／Ｗ≧４を表し、第２列はＨ／Ｗ＝２を表し、第３列はＨ／Ｗ＝１を表し、第４列はＨ／Ｗ＝１／２を表し、第５列はＨ／Ｗ≦１／４を表す。
　各セルには、第１イントラ予測モードの変更方法として、“Ｓａｍｅ”又は“ModeBefore→ModeAfter”の形式の変更指示が記載されている。“Ｓａｍｅ”は、第１イントラ予測モードを変更しない指示を表し、“ModeBefore→ModeAfter”の形式の変更指示は、ModeBeforeの番号が示す第１イントラ予測モードを、ModeAfterの番号が示す第１イントラ予測モードに変更する指示を表す。
　例えば、Ｈｎ／Ｗｎ＝Ｗ／Ｈである場合は、第１イントラ予測モードは変更されない。Ｈｎ／Ｗｎ≠Ｗ／Ｈである場合は、ModeBeforeの番号が示す第１イントラ予測モードのみが変更され、それ以外の第１イントラ予測モードは変更されない。
　例えば、Ｈｎ／Ｗｎ≧４かつＨ／Ｗ＝１の場合、第１イントラ予測モードが“５７”～“６６”のいずれかであれば、その第１イントラ予測モードが“２”に変更される。一方、第１イントラ予測モードが“０”～“５６”のいずれかであれば、その第１イントラ予測モードは変更されない。
　また、Ｈｎ／Ｗｎ＝２かつＨ／Ｗ＝１／２の場合、第１イントラ予測モードが“２”～“７”又は“６１”～“６６”のいずれかであれば、その第１イントラ予測モードが“８”に変更される。一方、第１イントラ予測モードが“０”、“１”、又は“８”～“６０”のいずれかであれば、その第１イントラ予測モードは変更されない。
　ＭＰＭ生成部１２１１は、図１３の変更方法によって変更された第１イントラ予測モードを、candIntraPredModeA及びcandIntraPredModeBとして用い、上述したＶＶＣ規格の生成方法に従ってcandModeList[0]～candModeList[2]を決定する。
　図１１の映像符号化装置１１０１によれば、符号化対象ブロックの形状と隣接ブロックの形状との組み合わせに基づいて、隣接ブロックの第１イントラ予測モードが変更される。これにより、隣接ブロックの縦横比と符号化対象ブロックの縦横比とが異なる場合であっても、ブロック間における参照方向の連続性を考慮して、適切なＭＰＭリストを生成することができる。
　適切なＭＰＭリストを用いて、符号化対象ブロックの第１イントラ予測モードを符号化することで、ＭＰＭリストが使用される確率が高くなり、イントラ予測パラメータの圧縮効率が向上する。したがって、映像を効率良く符号化することが可能になる。
　図１４は、図１１の映像符号化装置１１０１が行う映像符号化処理の例を示すフローチャートである。この映像符号化処理では、ブロックの一例であるＣＵ（Coding Unit）毎に符号化処理が行われる。
　まず、イントラ予測部１１１５は、各ブロックサイズのブロック（ＣＵ）に対するイントラ予測を行う（ステップ１４０１）。そして、イントラ予測部１１１５は、イントラ予測モード判定を行って、最も予測効率の高いイントラ予測モードを選択する（ステップ１４０２）。
　一方、インター予測部１１１６は、各ブロックサイズのブロックに対するインター予測を行う（ステップ１４０３）。インター予測は、ＣＵをさらに分割したＰＵ（Prediction Unit）毎に行われる。そして、インター予測部１１１６は、インター予測モード判定を行って、最も予測効率の高いインター予測モードを選択する（ステップ１４０４）。
　次に、モード判定部１１１４は、モード判定を行って、ブロック（ＣＵ）単位でイントラ予測モード又はインター予測モードのいずれを適用するかを決定する（ステップ１４０５）。そして、減算部１１１１及び変換・量子化部１１１２は、モード判定部１１１４が決定した予測モードに従って符号化対象ブロックを符号化し、量子化係数を生成する（ステップ１４０６）。
　次に、映像符号化装置１１０１は、画像の符号化が終了したか否かを判定する（ステップ１４０７）。未処理のブロックが残っている場合（ステップ１４０７，ＮＯ）、映像符号化装置１１０１は、次のブロックについてステップ１４０１以降の処理を繰り返す。
　一方、画像の符号化が終了した場合（ステップ１４０７，ＹＥＳ）、エントロピー符号化部１１１３は、量子化係数と決定された予測モードを示すパラメータに対する可変長符号化を行う（ステップ１４０８）。
　次に、映像符号化装置１１０１は、映像の符号化が終了したか否かを判定する（ステップ１４０９）。未処理の画像が残っている場合（ステップ１４０９，ＮＯ）、映像符号化装置１１０１は、次の画像についてステップ１４０１以降の処理を繰り返す。そして、映像の符号化が終了した場合（ステップ１４０９，ＹＥＳ）、映像符号化装置１１０１は、処理を終了する。
　図１５は、図１４のステップ１４０１におけるイントラ予測処理の例を示すフローチャートである。まず、ＭＰＭ生成部１２１１は、左隣接ブロック及び上隣接ブロックの第１イントラ予測モードを変更し、変更後の第１イントラ予測モードを用いて、ＭＰＭリストを生成する（ステップ１５０１）。
　次に、予測モード計算部１２１４は、符号化対象ブロックの第２イントラ予測モードを決定し（ステップ１５０２）、予測モード計算部１２１２は、決定された第２イントラ予測モードを第１イントラ予測モードに変換する（ステップ１５０３）。
　次に、符号化部１２１３は、ＭＰＭリストを使用するか否かを示すIntraLumaMPMFlagを生成し（ステップ１５０４）、生成したIntraLumaMPMFlagの値をチェックする（ステップ１５０５）。
　IntraLumaMPMFlagが論理“１”である場合（ステップ１５０５，ＹＥＳ）、符号化部１２１３は、符号化対象ブロックの第１イントラ予測モードに該当する、ＭＰＭリストのエントリを示すIntraLumaMPMIdxを生成する（ステップ１５０６）。一方、IntraLumaMPMFlagが論理“０”である場合（ステップ１５０５，ＮＯ）、符号化部１２１３は、符号化対象ブロックの第１イントラ予測モードに該当するIntraLumaMPMRemainderを生成する（ステップ１５０７）。
　フィルタ部１２１５は、決定された第２イントラ予測モードにおける符号化対象ブロックのイントラ予測画素値を生成する（ステップ１５０８）。
　次に、図１６～図１８を参照しながら、図１５のステップ１５０１において符号化対象ブロックに複数のブロックが隣接している場合に、ＭＰＭリストの生成に用いる隣接ブロックを決定する方法を説明する。
　図１６は、第１の隣接ブロック決定方法の例を示している。符号化対象ブロック１６０１の左側に隣接する複数の左隣接ブロックのうち、最も上に位置する左隣接ブロック１６０２が、ＭＰＭリストの生成に用いる左隣接ブロックとして選択される。また、符号化対象ブロック１６０１の上側に隣接する複数の上隣接ブロックのうち、最も左に位置する上隣接ブロック１６０３が、ＭＰＭリストの生成に用いる上隣接ブロックとして選択される。
　図１７は、第２の隣接ブロック決定方法の例を示している。符号化対象ブロック１７０１が横長の長方形である場合、符号化対象ブロック１７０１の左側に隣接する複数の左隣接ブロックのうち、最も上に位置する左隣接ブロック１７０２が、ＭＰＭリストの生成に用いる左隣接ブロックとして選択される。また、符号化対象ブロック１７０１の上側に隣接する複数の上隣接ブロックのうち、最も右に位置する上隣接ブロック１７０３が、ＭＰＭリストの生成に用いる上隣接ブロックとして選択される。
　一方、符号化対象ブロック１７１１が縦長の長方形である場合、符号化対象ブロック１７１１の左側に隣接する複数の左隣接ブロックのうち、最も下に位置する左隣接ブロック１７１２が、ＭＰＭリストの生成に用いる左隣接ブロックとして選択される。また、符号化対象ブロック１７１１の上側に隣接する複数の上隣接ブロックのうち、最も左に位置する上隣接ブロック１７１３が、ＭＰＭリストの生成に用いる上隣接ブロックとして選択される。
　図１８は、第３の隣接ブロック決定方法の例を示している。第３の隣接ブロック決定方法では、符号化対象ブロックの左側に隣接する複数の左隣接ブロックのうち、最も高い頻度の第１イントラ予測モードを有する左隣接ブロックが、ＭＰＭリストの生成に用いる左隣接ブロックとして選択される。また、符号化対象ブロックの上側に隣接する複数の上隣接ブロックのうち、最も高い頻度の第１イントラ予測モードを有する上隣接ブロックが、ＭＰＭリストの生成に用いる上隣接ブロックとして選択される。
　複数の隣接ブロックのうち最も高い頻度の第１イントラ予測モードを有する隣接ブロックを用いて、ＭＰＭリストを生成することで、ＭＰＭリストに基づく第１イントラ予測モードの予測効率が向上する。
　例えば、横長の符号化対象ブロック１８０１の上側に隣接する上隣接ブロック１８１１～上隣接ブロック１８１４の第１イントラ予測モードＭ１が、次のように決定されている場合を想定する。
 
　上隣接ブロック１８１１　Ｍ１＝Ｉ１
　上隣接ブロック１８１２　Ｍ１＝Ｉ２
　上隣接ブロック１８１３　Ｍ１＝Ｉ２
　上隣接ブロック１８１４　Ｍ１＝Ｉ３
 
　Ｉ１～Ｉ３は、それぞれ異なる番号である。この場合、Ｉ１の頻度は１回であり、Ｉ２の頻度は２回であり、Ｉ３の頻度は１回である。したがって、最も高い頻度のＩ２を有する上隣接ブロック１８１２及び上隣接ブロック１８１３が選択され、これらのブロックの第１イントラ予測モードが、上隣接ブロックの第１イントラ予測モードとして採用される。
　上隣接ブロック１８１１～上隣接ブロック１８１４がそれぞれ異なる第１イントラ予測モードを有する場合は、第１の隣接ブロック決定方法又は第２の隣接ブロック決定方法に従って、上隣接ブロックが選択される。なお、いずれかの上隣接ブロックがインター予測モードで符号化されている場合、その上隣接ブロックは、頻度のカウント対象から除外される。
　符号化対象ブロック１８０１の左側に隣接する左隣接ブロック１８２１及び左隣接ブロック１８２２についても、上隣接ブロック１８１１～上隣接ブロック１８１４の場合と同様にして、ＭＰＭリストの生成に用いる左隣接ブロックが選択される。
　また、縦長の符号化対象ブロック１８３１の上側に隣接する上隣接ブロック１８４１及び上隣接ブロック１８４２についても、同様の隣接ブロック決定方法が適用される。符号化対象ブロック１８３１の左側に隣接する左隣接ブロック１８５１～左隣接ブロック１８５３についても、同様の隣接ブロック決定方法が適用される。
　例えば、左隣接ブロック１８５１～左隣接ブロック１８５３の第１イントラ予測モードＭ１が、次のように決定されている場合を想定する。
 
　左隣接ブロック１８５１　Ｍ１＝Ｉ４
　左隣接ブロック１８５２　Ｍ１＝Ｉ５
　左隣接ブロック１８５３　Ｍ１＝Ｉ６
 
　Ｉ４～Ｉ６は、それぞれ異なる番号である。この場合、Ｉ４～Ｉ６の頻度はいずれも１回である。
　しかし、符号化対象ブロック１８３１と接している左隣接ブロック１８５２の辺の長さは、符号化対象ブロック１８３１と接している左隣接ブロック１８５１又は左隣接ブロック１８５３の辺の長さの２倍である。そこで、符号化対象ブロック１８３１と接している辺の長さが最長である左隣接ブロック１８５２を、ＭＰＭリストの生成に用いる左隣接ブロックとして選択してもよい。
　図１９は、図１０の映像復号装置１００１の具体例を示している。図１９の映像復号装置１９０１は、エントロピー復号部１９１１、逆量子化・逆変換部１９１２、イントラ予測部１９１３、インター予測部１９１４、加算部１９１５、ポストフィルタ部１９１６、及びフレームメモリ１９１７を含む。エントロピー復号部１９１１は、図１０の復号部１０１１に対応し、逆量子化・逆変換部１９１２及び加算部１９１５は、復元部１０１４に対応する。
　映像復号装置１９０１は、例えば、ハードウェア回路として実装することができる。この場合、映像復号装置１９０１の各構成要素を個別の回路として実装してもよく、１つの集積回路として実装してもよい。
　映像復号装置１９０１は、入力される符号化映像の符号化ストリームを復号し、復号映像を出力する。映像復号装置１９０１は、図１１の映像符号化装置１１０１から、通信ネットワークを介して、符号化ストリームを受信することができる。
　例えば、映像復号装置１９０１は、ビデオカメラ、映像受信装置、テレビ電話システム、コンピュータ、又は携帯端末装置に組み込まれていてもよい。
　エントロピー復号部１９１１は、符号化映像をエントロピー復号（可変長復号）によって復号し、復号対象画像内の各ブロックの量子化係数を予測残差情報として抽出するとともに、各ブロックの予測モードを示すパラメータを抽出する。さらに、エントロピー復号部１９１１は、各ブロックの形状を示す形状パラメータも抽出する。予測モードを示すパラメータには、イントラ予測モードを示すイントラ予測パラメータ、又はインター予測モードを示すインター予測パラメータが含まれる。
　そして、エントロピー復号部１９１１は、量子化係数を逆量子化・逆変換部１９１２へ出力し、形状パラメータ及びイントラ予測パラメータをイントラ予測部１９１３へ出力し、インター予測パラメータをインター予測部１９１４へ出力する。
　逆量子化・逆変換部１９１２は、量子化係数の逆量子化及び逆直交変換を行って予測残差を復元し、復元した予測残差を加算部１９１５へ出力する。
　イントラ予測部１９１３は、エントロピー復号部１９１１から出力される形状パラメータ及びイントラ予測パラメータを用いて、加算部１９１５から出力されるポストフィルタ適用前の復号画素値から、復号対象ブロックのイントラ予測画素値を計算する。そして、イントラ予測部１９１３は、計算したイントラ予測画素値を加算部１９１５へ出力する。
　インター予測部１９１４は、エントロピー復号部１９１１から出力されるインター予測パラメータと、フレームメモリ１９１７から出力される参照画像の画素値とを用いて、動き補償処理を行い、復号対象ブロックのインター予測画素値を計算する。そして、インター予測部１９１４は、計算したインター予測画素値を加算部１９１５へ出力する。
　加算部１９１５は、イントラ予測部１９１３又はインター予測部１９１４から出力される予測画素値と、逆量子化・逆変換部１９１２から出力される予測残差とを加算して、ポストフィルタ適用前の復号画素値を生成する。そして、加算部１９１５は、生成した復号画素値をポストフィルタ部１９１６及びイントラ予測部１９１３へ出力する。
　ポストフィルタ部１９１６は、量子化誤差を削減するために、ポストフィルタ適用前の復号画素値に対してポストフィルタを適用し、ポストフィルタ適用後の復号画素値を生成する。そして、ポストフィルタ部１９１６は、生成した復号画素値をフレームメモリ１９１７へ出力する。
　フレームメモリ１９１７は、ポストフィルタ適用後の復号画素値を記憶し、その復号画素値を含む復号映像を出力する。フレームメモリ１９１７が記憶する復号画素値は、参照画像の画素値として、インター予測部１９１４へ出力される。
　図２０は、図１９のイントラ予測部１９１３の機能的構成例を示している。図２０のイントラ予測部１９１３は、ＭＰＭ生成部２０１１、記憶部２０１２、予測モード計算部２０１３、予測モード計算部２０１４、及びフィルタ部２０１５を含む。ＭＰＭ生成部２０１１及びフィルタ部２０１５は、図１０の生成部１０１２及び予測部１０１３にそれぞれ対応する。
　ＭＰＭ生成部２０１１及び予測モード計算部２０１４には、エントロピー復号部１９１１から形状パラメータが入力される。また、予測モード計算部２０１３には、エントロピー復号部１９１１からイントラ予測パラメータが入力される。入力されたイントラ予測パラメータは、IntraLumaMPMFlagと、IntraLumaMPMIdx又はIntraLumaMPMRemainderとを含む。
　記憶部２０１２は、各ブロックの幅、高さ、及び第１イントラ予測モードを記憶する。インター予測モードが選択されたブロックの第１イントラ予測モードとしては、直流予測が記憶される。そして、記憶部２０１２は、左隣接ブロック及び上隣接ブロックそれぞれの幅Ｗｎ及び高さＨｎと、左隣接ブロック及び上隣接ブロックそれぞれの第１イントラ予測モードとを、ＭＰＭ生成部２０１１へ出力する。
　ＭＰＭ生成部２０１１は、復号対象ブロックの形状と各隣接ブロックの形状との組み合わせに基づいて、図１１の映像符号化装置１１０１と同様の変更方法により、その隣接ブロックの第１イントラ予測モードを変更する。このとき、ＭＰＭ生成部２０１１は、復号対象ブロックの幅Ｗに対する高さＨの比率Ｈ／Ｗと、各隣接ブロックの幅Ｗｎに対する高さＨｎの比率Ｈｎ／Ｗｎとの組み合わせに基づいて、その隣接ブロックの第１イントラ予測モードを変更する。この変更は、左隣接ブロック及び上隣接ブロック各々に対して独立に行われる。
　ここで、隣接ブロックの第１イントラ予測モードが示す角度Ａ１が、復号対象ブロックの形状においてイントラ予測に使用されない角度である場合を想定する。この場合、復号対象ブロックの形状においてイントラ予測に使用される角度のうち、角度Ａ１に最も近い角度Ａ２に対応する第１イントラ予測モードが、変更後の第１イントラ予測モードとして用いられる。例えば、ＭＰＭ生成部２０１１は、図１３に示した変更方法に従って、隣接ブロックの第１イントラ予測モードを変更することができる。
　映像符号化装置１１０１と同様の変更方法によって第１イントラ予測モードを変更することで、符号化映像から、イントラ予測パラメータの符号化に用いられたＭＰＭリストを復元することができる。
　ＭＰＭ生成部２０１１は、左隣接ブロック及び上隣接ブロックの変更後の第１イントラ予測モードを用いて、上述したＶＶＣ規格の生成方法によりＭＰＭリストを生成し、生成したＭＰＭリストを予測モード計算部２０１３へ出力する。
　予測モード計算部２０１３は、ＭＰＭリストを用いて、入力されるイントラ予測パラメータから、復号対象ブロックの第１イントラ予測モードを求め、記憶部２０１２及び予測モード計算部２０１４へ出力する。IntraLumaMPMFlagが論理“１”である場合、IntraLumaMPMIdxによって指定されるＭＰＭリストのエントリが、復号対象ブロックの第１イントラ予測モードとして出力される。
　一方、IntraLumaMPMFlagが論理“０”である場合、上述した（Ｐ１１）～（Ｐ１３）の手順によって、IntraLumaMPMRemainderからIntraDirが求められ、そのIntraDirが復号対象ブロックの第１イントラ予測モードとして出力される。
　予測モード計算部２０１４は、復号対象ブロックの幅Ｗ及び高さＨに基づいて、復号対象ブロックの第１イントラ予測モードを第２イントラ予測モードに変換する。第１イントラ予測モードＭ１を第２イントラ予測モードＭ２へ変換する手順は、以下の通りである。
・Ｗ＝Ｈの場合
　　Ｍ２＝Ｍ１
・Ｗ＞Ｈの場合
　　・２≦Ｍ１＜ｍＬの場合、Ｍ２＝Ｍ１＋６５
　　　　Ｗ＝２Ｈの場合、ｍＬ＝８
　　　　Ｗ＝２Ｈ以外（Ｗ＞２Ｈ）の場合、ｍＬ＝１２
　　・２≦Ｍ１＜ｍＬ以外の場合、Ｍ２＝Ｍ１
・Ｗ＜Ｈの場合
　　・ｍＨ＜Ｍ１≦６６の場合、Ｍ２＝Ｍ１?６７
　　　　Ｈ＝２Ｗの場合、ｍＨ＝６０
　　　　Ｈ＝２Ｗ以外（Ｈ＞２Ｗ）の場合、ｍＨ＝５６
　　・ｍＨ＜Ｍ１≦６６以外の場合、Ｍ２＝Ｍ１
　フィルタ部２０１５は、ポストフィルタ適用前の復号画素値に対して、予測モード計算部２０１４から出力される第２イントラ予測モードに対応するフィルタを適用し、復号対象ブロックのイントラ予測画素値を生成する。そして、フィルタ部２０１５は、生成したイントラ予測画素値を加算部１９１５へ出力する。
　図１９の映像復号装置１９０１によれば、図１１の映像符号化装置１１０１が出力する符号化映像を復号して、元の映像を復元することができる。
　図２１は、図１９の映像復号装置１９０１が行う映像復号処理の例を示すフローチャートである。この映像復号処理では、ブロックの一例であるＣＵ毎に復号処理が行われる。
　まず、エントロピー復号部１９１１は、符号化映像に対する可変長復号を行って、復号対象ブロック（復号対象ＣＵ）の量子化係数、形状パラメータ、及び予測モードを示すパラメータを抽出する（ステップ２１０１）。そして、エントロピー復号部１９１１は、予測モードを示すパラメータがイントラ予測パラメータ又はインター予測パラメータのいずれであるかをチェックする（ステップ２１０２）。
　予測モードを示すパラメータがイントラ予測パラメータである場合（ステップ２１０２，ＹＥＳ）、イントラ予測部１９１３は、復号対象ブロックに対するイントラ予測を行って、復号対象ブロックのイントラ予測画素値を計算する（ステップ２１０３）。
　一方、予測モードを示すパラメータがインター予測パラメータである場合（ステップ２１０２，ＮＯ）、インター予測部１９１４は、復号対象ブロックに対する動き補償処理を行って、復号対象ブロックのインター予測画素値を計算する（ステップ２１０４）。
　次に、逆量子化・逆変換部１９１２は、復号対象ブロックの量子化係数を復号して、予測残差を復元する（ステップ２１０５）。そして、加算部１９１５及びポストフィルタ部１９１６は、復元された予測残差と、イントラ予測部１９１３又はインター予測部１９１４から出力される予測画素値とを用いて、復号対象ブロックの復号画素値を生成する。
　次に、映像復号装置１９０１は、符号化映像の復号が終了したか否かを判定する（ステップ２１０６）。未処理のバイナリ列が残っている場合（ステップ２１０６，ＮＯ）、映像復号装置１９０１は、次のバイナリ列についてステップ２１０１以降の処理を繰り返す。そして、符号化映像の復号が終了した場合（ステップ２１０６，ＹＥＳ）、映像復号装置１９０１は、処理を終了する。
　図２２は、図２１のステップ２１０３におけるイントラ予測処理の例を示すフローチャートである。まず、ＭＰＭ生成部２０１１は、左隣接ブロック及び上隣接ブロックの第１イントラ予測モードを変更し、変更後の第１イントラ予測モードを用いて、ＭＰＭリストを生成する（ステップ２２０１）。
　次に、予測モード計算部２０１３は、IntraLumaMPMFlagの値をチェックする（ステップ２２０２）。IntraLumaMPMFlagが論理“１”である場合、予測モード計算部２０１３は、IntraLumaMPMIdxの値を取得する（ステップ２２０３）。そして、予測モード計算部２０１３は、IntraLumaMPMIdxによって指定されるＭＰＭリストのエントリを、復号対象ブロックの第１イントラ予測モードとして取得する（ステップ２２０４）。
　一方、IntraLumaMPMFlagが論理“０”である場合、予測モード計算部２０１３は、IntraLumaMPMRemainderの値を取得し（ステップ２２０５）、取得した値を第１イントラ予測モードに変換する（ステップ２２０６）。
　次に、予測モード計算部２０１４は、復号対象ブロックの第１イントラ予測モードを第２イントラ予測モードに変換する（ステップ２２０７）。そして、フィルタ部２０１５は、予測モード計算部２０１４から出力される第２イントラ予測モードに基づいて、復号対象ブロックのイントラ予測画素値を生成する（ステップ２２０８）。
　図２２のステップ２２０１において復号対象ブロックに複数のブロックが隣接している場合は、図１６～図１８に示した隣接ブロック決定方法と同様にして、ＭＰＭリストの生成に用いる隣接ブロックが決定される。この場合、図１６～図１８における符号化対象ブロックを復号対象ブロックに置き換えて、第１の隣接ブロック決定方法～第３の隣接ブロック決定方法を適用すればよい。
　図９及び図１１の映像符号化装置の構成は一例に過ぎず、映像符号化装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。図１２のイントラ予測部１１１５の構成は一例に過ぎず、映像符号化装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。映像符号化装置は、ＶＶＣ以外の符号化方式を採用してもよい。
　図１０及び図１９の映像復号装置の構成は一例に過ぎず、映像復号装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。図２０のイントラ予測部１９１３の構成は一例に過ぎず、映像復号装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。映像復号装置は、ＶＶＣ以外の復号方式を採用してもよい。
　図１４、図１５、図２１、及び図２２に示したフローチャートは一例に過ぎず、映像符号化装置又は映像復号装置の構成又は条件に応じて、一部の処理を省略又は変更してもよい。
　図２、図８、及び図１６～図１８に示した符号化対象ブロックと、図１６～図１８に示した左隣接ブロック及び上隣接ブロックは一例に過ぎず、これらのブロックの形状は、入力される映像に応じて変化する。図１６～図１８に示した隣接ブロック決定方法は一例に過ぎず、別の隣接ブロック決定方法によって、ＭＰＭリストの生成に用いる隣接ブロックを決定してもよい。
　図１３に示した第１イントラ予測モードの変更方法は一例に過ぎず、別の変更方法によって、隣接ブロックの第１イントラ予測モードを変更してもよい。
　図９及び図１１の映像符号化装置と図１０及び図１９の映像復号装置は、ハードウェア回路として実装することもでき、情報処理装置（コンピュータ）を用いて実装することもできる。
　図２３は、映像符号化装置９０１、映像復号装置１００１、映像符号化装置１１０１、及び映像復号装置１９０１として用いられる情報処理装置の構成例を示している。図２３の情報処理装置は、ＣＰＵ（Central Processing Unit）２３０１、メモリ２３０２、入力装置２３０３、出力装置２３０４、補助記憶装置２３０５、媒体駆動装置２３０６、及びネットワーク接続装置２３０７を含む。これらの構成要素はバス２３０８により互いに接続されている。
　メモリ２３０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを記憶する。メモリ２３０２は、図１１のフレームメモリ１１２０、図１９のフレームメモリ１９１７、又は図２０の記憶部２０１２として用いることができる。
　ＣＰＵ２３０１（プロセッサ）は、例えば、メモリ２３０２を利用してプログラムを実行することにより、図９の生成部９１１、予測部９１２、第１符号化部９１３、及び第２符号化部９１４として動作する。
　ＣＰＵ２３０１は、メモリ２３０２を利用してプログラムを実行することにより、図１０の復号部１０１１、生成部１０１２、予測部１０１３、及び復元部１０１４としても動作する。
　ＣＰＵ２３０１は、メモリ２３０２を利用してプログラムを実行することにより、図１１の減算部１１１１、変換・量子化部１１１２、エントロピー符号化部１１１３、及びモード判定部１１１４としても動作する。ＣＰＵ２３０１は、メモリ２３０２を利用してプログラムを実行することにより、イントラ予測部１１１５、インター予測部１１１６、逆量子化・逆変換部１１１７、加算部１１１８、及びポストフィルタ部１１１９としても動作する。
　ＣＰＵ２３０１は、メモリ２３０２を利用してプログラムを実行することにより、図１２のＭＰＭ生成部１２１１、予測モード計算部１２１２、符号化部１２１３、予測モード計算部１２１４、及びフィルタ部１２１５としても動作する。
　ＣＰＵ２３０１は、メモリ２３０２を利用してプログラムを実行することにより、図１９のエントロピー復号部１９１１、逆量子化・逆変換部１９１２、イントラ予測部１９１３、及びインター予測部１９１４としても動作する。ＣＰＵ２３０１は、メモリ２３０２を利用してプログラムを実行することにより、加算部１９１５及びポストフィルタ部１９１６としても動作する。
　ＣＰＵ２３０１は、メモリ２３０２を利用してプログラムを実行することにより、図２０のＭＰＭ生成部２０１１、予測モード計算部２０１３、予測モード計算部２０１４、及びフィルタ部２０１５としても動作する。
　入力装置２３０３は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示や情報の入力に用いられる。出力装置２３０４は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせや処理結果の出力に用いられる。処理結果は、復号映像であってもよい。
　補助記憶装置２３０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置２３０５は、ハードディスクドライブであってもよい。情報処理装置は、補助記憶装置２３０５にプログラム及びデータを格納しておき、それらをメモリ２３０２にロードして使用することができる。
　媒体駆動装置２３０６は、可搬型記録媒体２３０９を駆動し、その記録内容にアクセスする。可搬型記録媒体２３０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体２３０９は、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、又はＵＳＢ（Universal Serial Bus）メモリであってもよい。ユーザ又はオペレータは、この可搬型記録媒体２３０９にプログラム及びデータを格納しておき、それらをメモリ２３０２にロードして使用することができる。
　このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体には、メモリ２３０２、補助記憶装置２３０５、及び可搬型記録媒体２３０９のような、物理的な（非一時的な）記録媒体が含まれる。
　ネットワーク接続装置２３０７は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。ネットワーク接続装置２３０７は、符号化映像を映像復号装置へ送信したり、符号化映像を映像符号化装置から受信したりすることができる。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置２３０７を介して受信し、それらをメモリ２３０２にロードして使用することができる。
　なお、情報処理装置が図２３のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、ユーザ又はオペレータとのインタフェースが不要である場合は、入力装置２３０３及び出力装置２３０４を省略してもよい。また、情報処理装置が可搬型記録媒体２３０９にアクセスしない場合は、媒体駆動装置２３０６を省略してもよい。
　開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

Claims (10)

  1. 　映像に含まれる画像内の符号化対象ブロックの形状と、前記符号化対象ブロックに隣接する符号化済みブロックの形状との組み合わせに基づいて、前記符号化済みブロックの符号化に用いたイントラ予測モードを示す第１予測モード情報を第２予測モード情報に変更し、前記第２予測モード情報を用いて、予測モード情報の候補値を含む候補情報を生成する生成部と、
    　所定のイントラ予測モードにおける、前記符号化対象ブロックのイントラ予測画素値を生成する予測部と、
    　前記イントラ予測画素値を用いて、前記符号化対象ブロックを符号化する第１符号化部と、
    　前記候補情報を用いて、前記所定のイントラ予測モードを示す予測モード情報を符号化する第２符号化部と、
    を備えることを特徴とする映像符号化装置。
  2. 　前記生成部は、前記符号化済みブロックの符号化に用いたイントラ予測モードが示す第１角度が、前記符号化対象ブロックの形状においてイントラ予測に使用されない角度である場合、前記符号化対象ブロックの形状においてイントラ予測に使用される角度のうち、前記第１角度に最も近い第２角度を示すイントラ予測モードに対応する予測モード情報を、前記第２予測モード情報として用いることを特徴とする請求項１記載の映像符号化装置。
  3. 　前記生成部は、前記符号化対象ブロックの１つの辺に隣接する複数の符号化済みブロックのうち、最も高い頻度の第１予測モード情報を有する符号化済みブロックを用いて、前記候補情報を生成することを特徴とする請求項１又は２記載の映像符号化装置。
  4. 　映像符号化装置によって実行される映像符号化方法であって、
    　前記映像符号化装置が、
    　映像に含まれる画像内の符号化対象ブロックの形状と、前記符号化対象ブロックに隣接する符号化済みブロックの形状との組み合わせに基づいて、前記符号化済みブロックの符号化に用いたイントラ予測モードを示す第１予測モード情報を第２予測モード情報に変更し、
    　前記第２予測モード情報を用いて、予測モード情報の候補値を含む候補情報を生成し、
    　所定のイントラ予測モードにおける、前記符号化対象ブロックのイントラ予測画素値を生成し、
    　前記イントラ予測画素値を用いて、前記符号化対象ブロックを符号化し、
    　前記候補情報を用いて、前記所定のイントラ予測モードを示す予測モード情報を符号化する、
    ことを特徴とする映像符号化方法。
  5. 　映像に含まれる画像内の符号化対象ブロックの形状と、前記符号化対象ブロックに隣接する符号化済みブロックの形状との組み合わせに基づいて、前記符号化済みブロックの符号化に用いたイントラ予測モードを示す第１予測モード情報を第２予測モード情報に変更し、
    　前記第２予測モード情報を用いて、予測モード情報の候補値を含む候補情報を生成し、
    　所定のイントラ予測モードにおける、前記符号化対象ブロックのイントラ予測画素値を生成し、
    　前記イントラ予測画素値を用いて、前記符号化対象ブロックを符号化し、
    　前記候補情報を用いて、前記所定のイントラ予測モードを示す予測モード情報を符号化する、
    処理をコンピュータに実行させるための映像符号化プログラム。
  6. 　符号化映像を復号して、前記符号化映像に含まれる符号化画像内の復号対象ブロックの予測残差情報と、前記復号対象ブロックのイントラ予測モードを示す予測モード情報と、前記復号対象ブロックに隣接する復号済みブロックのイントラ予測モードを示す第１予測モード情報とを抽出する、復号部と、
    　前記復号対象ブロックの形状と前記復号済みブロックの形状との組み合わせに基づいて、前記第１予測モード情報を第２予測モード情報に変更し、前記第２予測モード情報を用いて、予測モード情報の候補値を含む候補情報を生成する生成部と、
    　前記候補情報を用いて、前記復号対象ブロックの予測モード情報が示すイントラ予測モードにおける、前記復号対象ブロックのイントラ予測画素値を生成する予測部と、
    　前記イントラ予測画素値と前記予測残差情報とを用いて、前記復号対象ブロックの画素値を生成する復元部と、
    を備えることを特徴とする映像復号装置。
  7. 　前記生成部は、前記復号済みブロックの符号化に用いたイントラ予測モードが示す第１角度が、前記復号対象ブロックの形状においてイントラ予測に使用されない角度である場合、前記復号対象ブロックの形状においてイントラ予測に使用される角度のうち、前記第１角度に最も近い第２角度を示すイントラ予測モードに対応する予測モード情報を、前記第２予測モード情報として用いることを特徴とする請求項６記載の映像復号装置。
  8. 　前記生成部は、前記復号対象ブロックの１つの辺に隣接する複数の復号済みブロックのうち、最も高い頻度の第１予測モード情報を有する復号済みブロックを用いて、前記候補情報を生成することを特徴とする請求項６又は７記載の映像復号装置。
  9. 　映像復号装置によって実行される映像復号方法であって、
    　前記映像復号装置が、
    　符号化映像を復号して、前記符号化映像に含まれる符号化画像内の復号対象ブロックの予測残差情報と、前記復号対象ブロックのイントラ予測モードを示す予測モード情報と、前記復号対象ブロックに隣接する復号済みブロックのイントラ予測モードを示す第１予測モード情報とを抽出し、
    　前記復号対象ブロックの形状と前記復号済みブロックの形状との組み合わせに基づいて、前記第１予測モード情報を第２予測モード情報に変更し、
    　前記第２予測モード情報を用いて、予測モード情報の候補値を含む候補情報を生成し、
    　前記候補情報を用いて、前記復号対象ブロックの予測モード情報が示すイントラ予測モードにおける、前記復号対象ブロックのイントラ予測画素値を生成し、
    　前記イントラ予測画素値と前記予測残差情報とを用いて、前記復号対象ブロックの画素値を生成する、
    ことを特徴とする映像復号方法。
  10. 　符号化映像を復号して、前記符号化映像に含まれる符号化画像内の復号対象ブロックの予測残差情報と、前記復号対象ブロックのイントラ予測モードを示す予測モード情報と、前記復号対象ブロックに隣接する復号済みブロックのイントラ予測モードを示す第１予測モード情報とを抽出し、
    　前記復号対象ブロックの形状と前記復号済みブロックの形状との組み合わせに基づいて、前記第１予測モード情報を第２予測モード情報に変更し、
    　前記第２予測モード情報を用いて、予測モード情報の候補値を含む候補情報を生成し、
    　前記候補情報を用いて、前記復号対象ブロックの予測モード情報が示すイントラ予測モードにおける、前記復号対象ブロックのイントラ予測画素値を生成し、
    　前記イントラ予測画素値と前記予測残差情報とを用いて、前記復号対象ブロックの画素値を生成する、
    処理をコンピュータに実行させるための映像復号プログラム。
PCT/JP2018/034681 2018-09-19 2018-09-19 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム WO2020059051A1 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2020547522A JP7180679B2 (ja) 2018-09-19 2018-09-19 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム
CA3112324A CA3112324A1 (en) 2018-09-19 2018-09-19 Video coding and decoding method and apparatus which change the prediction mode according to the combination of the shape of a coding target block and the shape of a block adjacent to the coding target block
MX2021002968A MX2021002968A (es) 2018-09-19 2018-09-19 Aparato de codificacion de video, metodo de codificacion de video, programa de codificacion de video, aparato de decodificacion de video, metodo de decodificacion de video y programa de decodificacion de video.
CN201880097442.9A CN112673628B (zh) 2018-09-19 2018-09-19 影像编码装置及方法、影像解码装置及方法、记录介质
KR1020217007092A KR102570374B1 (ko) 2018-09-19 2018-09-19 영상 부호화 장치, 영상 부호화 방법, 영상 부호화 프로그램, 영상 복호 장치, 영상 복호 방법, 및 영상 복호 프로그램
PCT/JP2018/034681 WO2020059051A1 (ja) 2018-09-19 2018-09-19 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム
EP18934192.8A EP3855739A4 (en) 2018-09-19 2018-09-19 VIDEO CODING DEVICE, VIDEO CODING METHOD, VIDEO CODING PROGRAM, VIDEO DECODING DEVICE, VIDEO DECODING METHOD AND VIDEO DECODING PROGRAM
BR112021003510-9A BR112021003510A2 (pt) 2018-09-19 2018-09-19 aparelho de codificação de vídeo, método de codificação de vídeo, programa de codificação de vídeo, aparelho de decodificação de vídeo, método de decodificação de vídeo e programa de decodificação de vídeo
US17/199,498 US20210203926A1 (en) 2018-09-19 2021-03-12 Video coding apparatus, video coding method, video decoding apparatus, and video decoding method
JP2022098633A JP7323014B2 (ja) 2018-09-19 2022-06-20 映像復号方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/034681 WO2020059051A1 (ja) 2018-09-19 2018-09-19 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/199,498 Continuation US20210203926A1 (en) 2018-09-19 2021-03-12 Video coding apparatus, video coding method, video decoding apparatus, and video decoding method

Publications (1)

Publication Number Publication Date
WO2020059051A1 true WO2020059051A1 (ja) 2020-03-26

Family

ID=69887002

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/034681 WO2020059051A1 (ja) 2018-09-19 2018-09-19 映像符号化装置、映像符号化方法、映像符号化プログラム、映像復号装置、映像復号方法、及び映像復号プログラム

Country Status (9)

Country Link
US (1) US20210203926A1 (ja)
EP (1) EP3855739A4 (ja)
JP (1) JP7180679B2 (ja)
KR (1) KR102570374B1 (ja)
CN (1) CN112673628B (ja)
BR (1) BR112021003510A2 (ja)
CA (1) CA3112324A1 (ja)
MX (1) MX2021002968A (ja)
WO (1) WO2020059051A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020182167A1 (en) * 2019-03-12 2020-09-17 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image coding
WO2023051637A1 (en) * 2021-09-29 2023-04-06 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013150164A (ja) * 2012-01-19 2013-08-01 Sony Corp 符号化装置および符号化方法、並びに、復号装置および復号方法
JP2014042309A (ja) * 2010-09-30 2014-03-06 Panasonic Corp 画像符号化方法および画像符号化装置
JP2016027756A (ja) 2012-09-28 2016-02-18 日本電信電話株式会社 イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
WO2018037896A1 (ja) * 2016-08-26 2018-03-01 シャープ株式会社 画像復号装置、画像符号化装置、画像復号方法、および画像符号化方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5321426B2 (ja) * 2009-11-26 2013-10-23 株式会社Ｊｖｃケンウッド 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
CN107277527B (zh) 2010-07-15 2020-02-18 威勒斯媒体国际有限公司 解码装置、解码方法、编码装置以及编码方法
RU2619202C1 (ru) * 2010-07-20 2017-05-12 Нтт Докомо, Инк. Устройство кодирования изображений с предсказанием, способ кодирования изображений с предсказанием, программа кодирования изображений с предсказанием, устройство декодирования изображений с предсказанием, способ декодирования изображений с предсказанием и программа декодирования изображений с предсказанием
US10142627B2 (en) * 2015-06-18 2018-11-27 Qualcomm Incorporated Intra prediction and intra mode coding
KR20180040319A (ko) * 2016-10-12 2018-04-20 가온미디어 주식회사 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법
CN114222137A (zh) * 2016-05-28 2022-03-22 世宗大学校产学协力团 构成预测运动矢量列表的方法
JP2019525577A (ja) 2016-07-18 2019-09-05 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 画像符号化／復号方法、装置、及び、ビットストリームを保存した記録媒体
JP6792996B2 (ja) * 2016-10-12 2020-12-02 日本放送協会 符号化装置、復号装置及びプログラム
FI20175006A1 (en) 2017-01-03 2019-02-15 Nokia Technologies Oy Video and image coding using wide-angle intra-prediction
EP3577898A4 (en) * 2017-01-31 2020-06-24 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR PARTITIONING A VIDEO BLOCK IMAGE FOR VIDEO CODING
KR102424239B1 (ko) * 2017-04-28 2022-07-25 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
EP3422716A1 (en) * 2017-06-26 2019-01-02 Thomson Licensing Method and apparatus for most probable mode (mpm) sorting and signaling in video encoding and decoding
US10382772B1 (en) * 2018-07-02 2019-08-13 Tencent America LLC Method and apparatus for video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014042309A (ja) * 2010-09-30 2014-03-06 Panasonic Corp 画像符号化方法および画像符号化装置
JP2013150164A (ja) * 2012-01-19 2013-08-01 Sony Corp 符号化装置および符号化方法、並びに、復号装置および復号方法
JP2016027756A (ja) 2012-09-28 2016-02-18 日本電信電話株式会社 イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
WO2018037896A1 (ja) * 2016-08-26 2018-03-01 シャープ株式会社 画像復号装置、画像符号化装置、画像復号方法、および画像符号化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Versatile Video Coding (Draft 2", JVET-K1001, JVET OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, July 2018 (2018-07-01)
BROSS, BENJAMIN ET AL., VERSATILE VIDEO CODING (DRAFT 2), JVET-K1001-V5, 18 September 2018 (2018-09-18), pages 45 - 68, XP055694594, Retrieved from the Internet <URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/11_Ljubljana/wg11/JVET-K1001-v5.zip> *
XU, JUN ET AL.: "Non-CE6: Improvements for SDIP", JCTUC-G354R2, 18 November 2011 (2011-11-18), pages 1 - 4, XP030050479, Retrieved from the Internet <URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/7_Geneva/wg11/JCTVC-G354-v4.zip> *

Also Published As

Publication number Publication date
KR102570374B1 (ko) 2023-08-25
CN112673628A (zh) 2021-04-16
JPWO2020059051A1 (ja) 2021-09-09
JP7180679B2 (ja) 2022-11-30
US20210203926A1 (en) 2021-07-01
CA3112324A1 (en) 2020-03-26
EP3855739A1 (en) 2021-07-28
KR20210039470A (ko) 2021-04-09
BR112021003510A2 (pt) 2021-05-18
CN112673628B (zh) 2024-03-26
EP3855739A4 (en) 2021-07-28
MX2021002968A (es) 2021-05-12

Similar Documents

Publication Publication Date Title
RU2603543C2 (ru) Способ и устройство для кодирования видео и способ и устройство для декодирования видео
US11805262B2 (en) Image encoding device, image decoding device, and image processing method
WO2014054267A1 (ja) 画像符号化装置及び画像符号化方法
US10075725B2 (en) Device and method for image encoding and decoding
US20160373767A1 (en) Encoding and Decoding Methods and Apparatuses
JP6164360B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、及び画像復号方法
JP6212890B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
US20210203926A1 (en) Video coding apparatus, video coding method, video decoding apparatus, and video decoding method
JP6662123B2 (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム
JP7323014B2 (ja) 映像復号方法
WO2019150411A1 (ja) 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム
US11218705B2 (en) Information processing device and video encoding method
JP2019036772A (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP6886825B2 (ja) 予測装置、符号化装置、復号装置、及びプログラム
JP6917718B2 (ja) 予測装置、符号化装置、復号装置、及びプログラム
JP6331972B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP2012120086A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18934192

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020547522

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 3112324

Country of ref document: CA

Ref document number: 20217007092

Country of ref document: KR

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112021003510

Country of ref document: BR

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018934192

Country of ref document: EP

Effective date: 20210419

ENP Entry into the national phase

Ref document number: 112021003510

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20210224