WO2013125171A1 - イントラ予測モード判定装置、方法、プログラム記憶媒体 - Google Patents

イントラ予測モード判定装置、方法、プログラム記憶媒体 Download PDF

Info

Publication number
WO2013125171A1
WO2013125171A1 PCT/JP2013/000752 JP2013000752W WO2013125171A1 WO 2013125171 A1 WO2013125171 A1 WO 2013125171A1 JP 2013000752 W JP2013000752 W JP 2013000752W WO 2013125171 A1 WO2013125171 A1 WO 2013125171A1
Authority
WO
WIPO (PCT)
Prior art keywords
cost
intra prediction
prediction mode
offset
image
Prior art date
Application number
PCT/JP2013/000752
Other languages
English (en)
French (fr)
Inventor
達治 森吉
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2013125171A1 publication Critical patent/WO2013125171A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Definitions

  • the present invention relates to an intra prediction mode determination device, an intra prediction mode determination method, and an intra prediction mode determination program storage medium that can improve the subjective image quality of an encoding result, and particularly to a decrease in image quality caused by selection of an intra prediction mode.
  • the present invention relates to a corresponding intra prediction mode determination device, intra prediction mode determination method, and intra prediction mode determination program storage medium.
  • Video encoding technology that generates encoded data by encoding video signals with a low bit rate, high compression rate, and high image quality, and that decodes encoded video images, has been developed by various international organizations. It is standardized as a standard and widely used. For example, ITU (International Telecommunication Union) 261, H.H. H.263 is standardized. ISO (International Organization for Standardization) standardizes MPEG-1, MPEG-2, MPEG-4, and the like. SMPTE (Society of Motion, Picture, and Television Engineers) standardizes VC-1 and the like. Furthermore, ITU and ISO will jointly H.264 / MPEG-4AVC was standardized. H. The standard content of H.264 / MPEG-4AVC is described in Non-Patent Document 1. Hereinafter, H.C. H.264 / MPEG-4AVC is simply referred to as “H.264”.
  • H. H.264 is known to be able to realize further improvement in compression efficiency and image quality as compared with the previous moving image encoding technology.
  • various encoding tools are employed as elemental technologies for encoding in order to realize higher compression efficiency than the previous moving image encoding technology.
  • One of the encoding tools is “intra prediction”. Intra-prediction is prediction that uses pixel information in the vicinity of the same image frame when encoding a certain image region, and is a technique that can perform significant information compression. That is, in intra prediction, a prediction image of an image region to be encoded is generated using pixel information in the vicinity of the same image frame. “Neighborhood” here means that the spatial distance from the image region to be encoded is within a predetermined value.
  • Intra prediction is also referred to as “intra-screen prediction” or “intra-frame prediction” because it performs prediction using pixel information of the same image frame.
  • Figure 1 shows H. 2 shows a configuration example of a moving picture encoding apparatus that generates an intra-encoded frame (I frame) by performing encoding using an intra-prediction method defined in H.264.
  • encoding processing is performed in units of 16 ⁇ 16 pixel blocks called macro blocks (Macro Block (MB)).
  • the intra prediction mode determination apparatus 100 selects an appropriate intra prediction mode using the input image and image information of the encoded macroblock in the same image, and outputs intra prediction mode information indicating the selected mode.
  • the intra prediction mode determination unit 100 generally selects an intra prediction mode that provides the highest coding efficiency.
  • IP Intra Prediction
  • the subtraction unit 102 subtracts the intra prediction image output from the intra prediction unit 101 from the input image, and outputs a prediction error image.
  • an integer transform (DIT: Discrete Integer Transform) unit 103 performs orthogonal transform processing similar to DCT (Discrete Cosine Transform), and a quantization (Q: Quantize) unit 104 performs quantization processing.
  • the quantized orthogonal transform coefficient sequence is output.
  • variable length coding (VLC :: Variable-Length Coding) unit 105 encodes the quantized orthogonal transform coefficient sequence according to a predetermined rule, and outputs a bit stream as an encoding result.
  • This bit stream is H.264. This is an output bit stream of an H.264 encoding device.
  • an inverse quantization (IQ: Inverse Quantization) unit 106 performs inverse quantization processing on an quantized orthogonal transform coefficient sequence
  • an inverse integer transform (IDIT: Inverse Discrete Integer ⁇ ⁇ Transform) unit 107 performs inverse integer transform processing. I do.
  • the orthogonal transform coefficient sequence subjected to the inverse quantization and the inverse integer transform is added to the predicted image output from the intra prediction unit 101 by the adding unit 108, and the image information of the coded macroblock in the same image described above. It becomes.
  • the deblock filter unit 109 performs deblock filter processing to generate a local decoded image.
  • the local decoded image is stored in the frame buffer 110 and used for encoding the subsequent frame. Specific processing contents are disclosed in Non-Patent Document 2, for example.
  • Intra prediction is a method for generating a predicted image by utilizing the image property that there are many similarities in the pattern at spatially close positions in the image of the same frame. Therefore, an appropriate intra prediction method varies depending on the pattern of the image to be encoded. Therefore, H.H. In H.264, 4 modes are defined for the 16 ⁇ 16 pixel size of the luminance component, 9 modes for the 8 ⁇ 8 pixel size, 9 mode for the 4 ⁇ 4 pixel size, and 4 modes for the color difference component.
  • FIG. 2 shows an operation for generating an intra prediction image in the intra prediction mode with a 4 ⁇ 4 pixel block of a luminance component.
  • mode 0 vertical
  • encoded pixels A, B, C, and D adjacent to the upper side of the 4 ⁇ 4 block to be encoded are used, and the luminance components of these pixels are copied in the vertical direction.
  • An intra-predicted image is generated.
  • mode 4 diagonalondown right
  • encoded pixels A, B, C, D, I, J, K, L, and M adjacent to the upper side and the left side of the 4 ⁇ 4 block to be encoded are displayed. Used.
  • “adjacent pixels” are used in modes 0, 2, and 4.
  • pixels adjacent to the predicted image are used in modes 1, 5, and 6, pixels adjacent to the predicted image are used.
  • “non-adjacent pixels” are used in addition to adjacent pixels.
  • the pixels E, F, G, and H are not adjacent to the predicted image.
  • these pixels are also “neighboring pixels” in the sense that they are located at a distance within a certain range from the predicted image. Whether only “adjacent pixels” or “neighboring pixels” are used to generate a predicted image is described in H.264. The exact distinction is not important to the present invention. Therefore, in this specification, “neighboring” including “adjacent” is expressed unless particularly necessary.
  • Non-Patent Document 2 discloses a technique for determining an appropriate intra prediction mode based on the concept of rate distortion optimization. In this technique, the cost represented by the following equation (1) is calculated for each intra prediction mode, and the intra prediction mode that minimizes the cost value is selected.
  • D is the error amount of the prediction error image.
  • SATD Sum of Absolute Transformed Differences
  • SSD Sum of Squared Differences
  • Sum of squares of pixel values of prediction error image etc. Is used.
  • R is the number of bits required for encoding mode information.
  • H. H.264 defines two types of encoding methods for encoding mode information for intra prediction. One is a method of encoding the mode number as it is, and the other is a method of encoding the information of the difference from the prediction mode number by predicting the intra prediction mode from the intra prediction modes of neighboring blocks. . Therefore, the number of bits required to encode each mode information is calculated according to the encoding method of the selected mode.
  • ⁇ is a weighting coefficient determined by the quantization step size and the like.
  • Cost is a value used to evaluate the cost of each intra prediction mode, and is hereinafter referred to as “evaluation cost”.
  • FIG. 3 shows an internal configuration example of the intra prediction mode determination unit 100.
  • the image input unit 300 inputs an image block to be encoded.
  • the neighboring image storage unit 301 stores a coded image at a position near the coding target block.
  • the neighborhood prediction mode storage unit 302 stores intra prediction mode information in an image block near the encoding target block.
  • the prediction image generation unit 303, the difference image cost calculation unit 304, the mode information encoding cost calculation unit 305, and the cost calculation unit 306 perform processing corresponding to each of a plurality of intra prediction modes to be selected.
  • the predicted image generation unit 303 performs intra prediction processing in a predetermined intra prediction mode using the vicinity image data supplied from the vicinity image storage unit 301, and generates a prediction image.
  • the difference image cost calculation unit 304 calculates a difference image between the encoding target image supplied from the image input unit 300 and the prediction image supplied from the prediction image generation unit 303, and the prediction that is D in Expression (1). The error amount of the error image is calculated.
  • the mode information encoding cost calculation unit 305 is necessary for encoding predetermined intra prediction mode information, which is R in Expression (1), based on the neighboring intra prediction mode information supplied from the neighborhood prediction mode storage unit 302. Calculate the number of bits.
  • Cost calculation unit 306 performs weighted addition of D and R according to equation (1) to calculate evaluation cost Cost of equation (1).
  • the mode selection unit 307 compares the evaluation costs corresponding to each of the plurality of intra prediction modes, and outputs the intra prediction mode that minimizes the evaluation cost as an appropriate intra prediction mode.
  • the same intra prediction mode is easily selected for input images with similar patterns.
  • an intra prediction mode (0, 1, 2, etc.) with a small mode number tends to be easily selected because R in Expression (1) is often small.
  • the mode is selected in consideration of not only the error amount of the prediction error image but also R as in Expression (1), the mode that minimizes the prediction error amount is not necessarily selected. For this reason, depending on the magnitude of ⁇ , even in a mode in which the similarity between the input image and the predicted image is not so high, a mode in which R is smaller may be preferentially selected.
  • FIG. 4 shows an example of the selected intra prediction mode and the tendency of coding noise generated by intra prediction.
  • Each square in FIG. 4 represents one intra prediction block.
  • striped coding noise in the direction corresponding to the mode applied in the intra prediction of each block is generated in the image of the coding result.
  • the coding noise is particularly emphasized in order to explain the tendency of the noise. However, such a clear coding noise does not always appear.
  • This coding noise is a striped artificial pattern, so it is easy for viewers to watch when watching moving images.
  • Patent Document 1 A technique for reducing flicker caused by the intra prediction is disclosed in Patent Document 1.
  • the intra prediction mode in addition to the evaluation cost shown in Expression (1), the difference amount between the local decoded image and the past local decoded image at the same position as the local decoded image when each intra prediction is used is also calculated. Be considered. That is, the intra prediction mode that minimizes the linear sum of the difference between the evaluation cost and the past local decoded image is selected. Flicker, which is flickering in the time direction, is suppressed by selecting the intra prediction mode in which the prediction error in the spatial direction and the prediction error in the time direction are reduced within the same frame screen.
  • Patent Documents 2, 3, and 4 also disclose a technique for calculating an evaluation cost using Expression (1) and selecting a prediction mode that minimizes the evaluation cost.
  • FIG. 5 shows an example of a temporal change in the coding noise pattern generated by the intra prediction mode determination.
  • the same intra prediction mode tends to be easily selected for input images with similar patterns. Therefore, when the images of a plurality of input image frames that are continuous in the time direction are similar, the intra prediction mode to be selected is also selected as a temporally similar prediction mode as shown in FIG. There is a case.
  • the encoding noise pattern by intra prediction becomes striped according to the prediction direction of the selected intra prediction mode. Therefore, the encoding noise pattern in the case where similar prediction modes are selected continuously tends to generate similar patterns in time as in the example of FIG.
  • Such a noise pattern forms a specific artificial geometric pattern as a whole and is generated over a plurality of frames at a specific position in the image. Therefore, when viewed as a moving image, it appears as a pattern attached to a specific part of the image, and the subjective image quality is greatly reduced.
  • This phenomenon is conspicuous when I frames are continuous, and is particularly problematic when all frames are encoded as I frames.
  • a smooth gradation pattern region such as a blue sky or a wall
  • a pseudo contour appears in which a pattern that originally changes smoothly due to the encoded noise pattern changes stepwise. Since the pseudo contour is continuous over a plurality of frames, reproduction as an image after decoding results in reproduction of an image in which the pseudo contour is attached to a blue sky or a wall.
  • the prediction mode is similarly determined using the evaluation cost of equation (1).
  • the problem that the same coding mode is likely to be applied to temporally consecutive frames is not taken into consideration. Therefore, there is a high possibility that a striped noise pattern is generated.
  • weighting is introduced in the calculation of the evaluation cost (see Expression (2) of Patent Document 3).
  • the weighting does not change the degree of influence of the error amount D of the prediction error image on the evaluation cost, but is a weighting for the coefficient DIFF using only the pixels of the input image.
  • the evaluation cost obtained by equation (2) has a different meaning from the evaluation cost of equation (1). Therefore, in the first place, the effect of reducing the error of the predicted image cannot be expected.
  • An object of the present invention is to reduce the problem that a specific coding noise pattern appears as a pattern attached to a specific portion of an image, and to achieve an excellent prediction image quality, an intra prediction mode determination device, an intra prediction mode determination method, and an intra To provide a prediction mode determination program storage medium.
  • the intra prediction mode determination apparatus predicts a pixel value in each of a plurality of intra prediction modes using a predetermined range of encoded pixels from an encoding target block obtained by dividing an encoding target image by a predetermined size.
  • a prediction image generation unit that generates a plurality of prediction images, a difference image cost calculation unit that calculates an error amount cost between the encoding target block and each of the plurality of prediction images, and a plurality of intra prediction modes.
  • Corresponding offset cost determination unit that determines an offset cost that changes depending on the progress of the image frame, a cost calculation unit that calculates an evaluation cost by performing a predetermined calculation using the error amount cost and the offset cost, and an evaluation
  • a mode selection unit that selects an intra prediction mode based on cost.
  • a pixel of an encoding target block in a plurality of intra prediction modes using an encoded pixel in a predetermined range from an encoding target block obtained by dividing the encoding target image by a predetermined size.
  • Offset value that predicts the value generates a predicted image, calculates the error amount cost between the encoding target block and the predicted image, and corresponds to each of a plurality of intra prediction modes, and changes depending on the progress of the image frame
  • the evaluation cost is calculated by performing a predetermined calculation using the error amount cost and the intra prediction mode is selected based on the mode cost.
  • the intra prediction mode determination program storage medium of the present invention uses a computer included in an intra prediction mode determination apparatus using encoded pixels in a predetermined range from an encoding target block obtained by dividing an encoding target image by a predetermined size, A prediction image generation unit that predicts the pixel value of the encoding target block in a plurality of intra prediction modes and generates a prediction image; a differential image cost calculation unit that calculates an error amount cost between the encoding target block and the prediction image; An evaluation cost calculating means for calculating an evaluation cost by performing a predetermined calculation using an offset cost and an error amount cost corresponding to each of a plurality of intra prediction modes and changing depending on the progress of an image frame; and a mode cost A program is stored for functioning as mode selection means for selecting an intra prediction mode based on the above.
  • the intra prediction mode determination apparatus, the intra prediction mode determination method, and the intra prediction mode determination program storage medium of the present invention reduce the problem that a specific coding noise pattern appears as a pattern attached to a specific portion of an image, and result of encoding Can improve the subjective image quality.
  • the reason is that for the same prediction mode as the intra prediction mode of the past frame, by setting an offset cost to the cost at the time of determining the intra prediction mode, the frequency of selecting the same intra prediction mode continuously in time is set. This is because it can be lowered.
  • H. 1 is a block diagram illustrating a configuration example of a moving image encoding apparatus that generates an H.264 intra-coded frame (I frame). It is a figure which shows the production
  • FIG. 1 It is a figure which shows another example of the offset cost setting in 3rd Embodiment. It is a block diagram which shows the structure of the intra prediction mode determination part in 4th Embodiment. It is a flowchart which shows the process of the intra prediction mode determination program of this invention. It is a block diagram which shows the structure of the moving image encoder which performs intra prediction mode determination of this invention.
  • equation (2) is used instead of equation (1) as the cost function used for intra prediction mode selection.
  • D_offset and R_offset are predetermined offset costs that differ for each intra prediction mode.
  • D_offset and R_offset are set to a value of 0 or more with respect to the intra prediction modes of blocks that are temporally adjacent. However, when one of D_offset and R_offset is set to 0, the other is set to a value larger than 0.
  • the values of D_offset and R_offset are stored in a predetermined storage device (not shown) as table format data in association with the current prediction mode, for example. And it reads from the below-mentioned offset cost determination part 602, and is used for cost determination. This storage device may be provided in the offset cost determination unit 602.
  • FIG. 6 is a configuration diagram of the intra prediction mode determination unit of the first embodiment. Constituent elements common to the intra prediction mode determination unit in FIG. 3 are assigned the same reference numerals as in FIG.
  • the intra prediction mode determination unit in FIG. 6 newly includes a past prediction mode storage unit 601, an offset cost determination unit 602, and a cost calculation unit 603 in addition to the configuration in FIG.
  • the past prediction mode storage unit 601 stores the intra prediction mode information of each image block of the frame that has been encoded. That is, the mode information of the intra prediction mode of the past frame, that is, the mode information of the past prediction mode is stored.
  • the offset cost determination unit 602 determines offset costs that are D_offset and R_offset in Expression (2) based on the intra prediction mode information of the past frame supplied from the past prediction mode storage unit 601.
  • Cost calculation unit 603 performs weighted addition of D, R, D_offset, and R_offset according to Equation (2) to calculate Cost of Equation (2).
  • the mode selection part 307 compares Cost corresponding to each of several intra prediction mode, and outputs the intra prediction mode in which it becomes the minimum as an appropriate intra prediction mode.
  • FIG. 7 shows an example of D_offset and R_offset settings given when determining the intra prediction mode of the encoding target image.
  • FIG. 7 shows an example in which the intra prediction mode of the image block at the same position of the immediately preceding image frame, that is, the past frame closest in time (hereinafter simply referred to as “past frame”) is 1. .
  • the intra prediction mode selected in the past frame is simply referred to as “past prediction mode”.
  • FIG. 8 shows an example of intra prediction mode selection in the first embodiment and a noise pattern associated therewith.
  • the arrows indicating the intra prediction modes shown in the left column the arrows different from the example shown in FIG. 5 are indicated by thick arrows.
  • the cost calculated by Expression (2) is large for the same prediction mode. Therefore, the frequency with which the same intra prediction mode is selected continuously in time decreases. As a result, even when the patterns of the input images are similar, different intra prediction modes are easily selected.
  • the pattern of encoding noise generated in the image of the encoding result also changes with time as shown in FIG. Thereby, the problem that a specific encoding noise pattern continues temporally becomes difficult to occur.
  • the evaluation cost for each intra prediction mode is calculated individually and in parallel.
  • the calculation of the evaluation cost in all intra prediction modes can be performed using a common apparatus by a method such as processing in a time division manner. Therefore, the intra prediction mode determination unit including only essential blocks in the present embodiment is as illustrated in the block diagram of FIG.
  • the offset cost may be set not only for the previous frame but also for a past frame within a predetermined period. For example, for the past two frames, a large offset cost may be set when the same intra prediction mode is selected continuously, and a small offset cost may be set when a different intra prediction mode is selected.
  • the frequency of selecting the same intra prediction mode continuously in time decreases. Therefore, according to the intra prediction determination method of the first embodiment, the problem that the coding noise pattern of an artificial geometric pattern appears as a pattern attached to a specific portion of the image is reduced, and the subjective result of the coding result is reduced. Image quality can be improved.
  • the offset cost used in the present embodiment is introduced in order to reduce the frequency with which the same intra prediction mode is continuously selected. Therefore, the offset cost is not limited to that depending on the past prediction mode. That is, the offset cost can be used as long as it varies depending on the progress of the image frame. However, it is not required until the offset cost always changes for each frame. In the following embodiments, examples of setting various offset costs will be shown. (Second Embodiment) Next, a second embodiment of the present invention will be described with reference to FIGS. The configuration of the intra prediction mode determination unit of the second embodiment is the same as that of the first embodiment shown in FIG. FIG. 10 shows the prediction direction of 4 ⁇ 4 pixel size intra prediction.
  • the eight prediction modes except mode 2 are modes for generating predicted images along eight directions that are different by 22.5 degrees.
  • a mode with a close prediction direction for example, 1 (horizontal) and 6 (horizontal down) or 1 (horizontal) and 8 (horizontal up)
  • encoding noise that appears in the encoding result even in different prediction modes.
  • the pattern may be relatively similar.
  • positive offset costs D_offset and R_offset are set for a prediction mode whose prediction direction is close to that of the past prediction mode.
  • FIG. 11 shows examples of D_offset and R_offset settings when the past prediction mode is 1 and 3.
  • a positive offset cost is set for a prediction mode that uses a direction adjacent to the prediction direction in the past prediction mode. With such a setting, it is possible to reduce the frequency of occurrence of a phenomenon in which relatively similar coding noise patterns appear continuously.
  • D_offset and R_offset are set in association with the past prediction mode and the current prediction mode, and are stored in a predetermined storage device (not shown). And it reads from the below-mentioned offset cost determination part 602, and is used for cost determination.
  • This storage device may be provided in the offset cost determination unit 602.
  • a positive offset is set only for the prediction mode using a direction adjacent to the prediction direction in the past prediction mode.
  • a positive offset may also be set in a direction adjacent to the side opposite to the prediction direction in the past prediction mode. That is, offsets may be set in a plurality of prediction directions in order from the direction adjacent to the prediction direction in the past prediction mode. At this time, the set offset value may be set to be smaller as the prediction direction is away from the prediction direction in the past prediction mode.
  • FIG. 12 is a configuration diagram of an intra prediction mode determination unit according to the third embodiment. Constituent elements common to the intra prediction mode determination unit of the first embodiment in FIG. 6 are assigned the same reference numerals as in FIG.
  • a frame number input unit 1201 and an offset cost determination unit 1202 are newly provided for the intra prediction mode determination unit of FIG.
  • the frame number input unit 1201 inputs a frame number that increases by 1 for each temporally continuous frame.
  • the offset cost determination unit 1202 determines offset costs that are D_offset and R_offset in Expression (2) based on the frame number supplied from the frame number input unit 1201.
  • different D_offset and R_offset are set for consecutive frames based on the frame number.
  • FIG. 13 shows an example of D_offset and R_offset settings.
  • FIG. 13 shows an example in which different offset costs are set depending on whether the frame number is even or odd.
  • every other four prediction directions in which the offset cost is set in the frames having the even frame numbers are selected from the eight prediction directions.
  • the other four prediction directions are selected as the prediction directions in which the offset costs of the frames with odd frame numbers are set. That is, the prediction mode in which the offset cost is set large in a certain frame is likely to be selected because the offset cost is set small in the next frame. Conversely, a prediction mode in which the offset cost is set to be small in a certain frame is unlikely to be selected because the offset cost is set to be large in the next frame.
  • FIG. 14 shows another example of D_offset and R_offset settings.
  • the frame number is an even number
  • the offset cost is set to the one with the smaller prediction mode number, it becomes difficult to select these prediction modes.
  • prediction modes with a small mode number often have high encoding efficiency, making these prediction modes difficult to select may result in a decrease in overall encoding efficiency.
  • D_offset and R_offset are set in association with the frame number and the current prediction mode, and stored in a predetermined storage device (not shown). And it reads from the below-mentioned offset cost calculation part 1202, and is used for determination of cost.
  • This storage device may be provided inside the offset cost calculation unit 1202.
  • the offset cost setting method is not limited to the example shown in the present embodiment, that is, the method of setting the even frame and the odd frame separately.
  • different offset costs may be set depending on the remainder value of 10 of the frame number.
  • the same offset cost may not be set for an entire frame, but different offset costs may be set depending on the position of the encoding target block.
  • FIG. 15 is a configuration diagram of an intra prediction mode determination unit according to the fourth embodiment. Constituent elements common to the intra prediction mode determination unit of the third embodiment in FIG. 12 are assigned the same reference numerals as in FIG.
  • a random number offset cost determination unit 1502 is newly provided for the intra prediction mode determination unit of FIG.
  • the random number offset cost determination unit 1502 determines offset costs that are D_offset and R_offset in Expression (2) based on the pseudo random number.
  • the offset cost is set probabilistically for each intra prediction mode, there is a high possibility that different offset costs are set for the same prediction mode of consecutive frames. For example, a prediction mode in which an offset cost is set to be large in a certain frame is unlikely to be set to a large offset cost in the next frame. Conversely, a prediction mode in which an offset cost is set to be small in a certain frame is unlikely to be set to a small offset cost in the next frame. Therefore, it is less likely that the same prediction mode is selected in temporally continuous frames.
  • an offset cost is set probabilistically for each intra prediction mode. Therefore, it is less likely that the same prediction mode is selected in temporally continuous frames. Therefore, a pattern in which an encoded noise pattern of an artificial geometric pattern is attached to a specific portion of an image without using a table in which an offset cost is set as in the first to third embodiments.
  • the subjective image quality of the encoding result can be improved.
  • each frame can be encoded independently.
  • the embodiment of the present invention has been described above.
  • the H.264 An example of implementation in accordance with the H.264 system has been described.
  • the present invention is not limited only to applications using the H.264 system.
  • the present invention can also be applied to a different encoding method having a technique similar to H.264 intra prediction, or an encoding method not included in the international standard moving image encoding method.
  • the embodiment mainly describes an example of application to the 4 ⁇ 4 size intra prediction process of the luminance component, but the luminance component 16 ⁇ 16 size, 8 ⁇ 8 size, and the color difference component intra are described. Of course, it can also be applied to prediction processing.
  • the set value of the offset cost is not limited to that exemplified in the above embodiment.
  • a specific offset cost value for example, a result of searching an optimum value by performing an encoding experiment on a large number of moving images may be used.
  • a positive offset cost may be set according to the distribution of intra prediction modes selected in N encoded frames (N is an integer of 2 or more), that is, the frequency selected for each prediction mode. .
  • N is an integer of 2 or more
  • a larger offset cost may be set for the next frame.
  • the cost function is explained along with an example of selecting an intra prediction mode that minimizes the evaluation cost obtained by weighted addition of D, R, and offset cost as shown in the equations (1) and (2).
  • the cost function is not limited to this.
  • the cost function may be a function in which the number of bits R required for encoding the mode information is always 0, that is, R is not reflected in the evaluation cost.
  • the cost function may be a function that uses the addition result of D and R including the offset as the evaluation cost, and uses the multiplication result of D and R as the evaluation cost.
  • the offset cost may be used in the cost function so that the calculated evaluation cost depends on the magnitude of the offset cost. That is, the cost function may be the following formulas (4) and (5).
  • the mode cost is used for judgment to reduce the possibility that the same prediction mode is selected in temporally continuous frames. Therefore, the cost function only needs to calculate an evaluation cost depending on at least the error amount D of the prediction error image and one offset cost. Therefore, various cost functions can be applied to the intra mode determination to be used.
  • the offset cost is assumed to be a positive value. However, since the offset cost only needs to affect the evaluation cost, it may be a negative value. However, the signs of D_offset and R_offset need to be set so that D_offset and R_offset have the same effect of increasing or decreasing the evaluation cost, that is, the effect of increasing or decreasing the evaluation cost.
  • FIG. 16 is a flowchart showing the processing of the intra prediction mode determination program of the present invention.
  • This program is read and executed by a computer provided in an intra prediction mode determination device that determines the intra prediction mode.
  • a prediction image to which each of a plurality of intra prediction modes is applied is generated using pixel information of neighboring images (step S1).
  • the intra prediction mode for example, the one shown in FIG. 2 is applied.
  • As many prediction images as the number of images corresponding to each intra prediction mode are generated as the types of intra prediction modes.
  • step S2 the difference cost between the image block to be encoded and each of the plurality of predicted images is calculated (step S2). Therefore, the same number of differential costs as the types of intra prediction modes are generated as the differential costs corresponding to each intra prediction mode.
  • the evaluation cost of Expression (2) is calculated using a plurality of differential costs and offset costs (step S3).
  • the offset cost is set in advance for each intra prediction mode. Therefore, the evaluation cost is calculated using each of the plurality of differential costs and the offset cost corresponding thereto.
  • the intra prediction mode is selected based on the value of the evaluation cost (step S4).
  • the program may be stored in a non-transitory medium such as a semiconductor storage device such as a ROM (Read Only Memory) or a RAM (Random Access Memory), an optical disk, a magnetic disk, or a magneto-optical disk.
  • a semiconductor storage device such as a ROM (Read Only Memory) or a RAM (Random Access Memory), an optical disk, a magnetic disk, or a magneto-optical disk.
  • the moving image encoding apparatus 310 including the encoding unit 312 that encodes the moving image may include the intra prediction mode determination unit 311 having the same configuration as the intra prediction mode determination unit of each of the above embodiments.
  • FIG. 17 shows the configuration of a moving picture encoding apparatus that performs intra prediction mode determination according to the present invention.
  • DESCRIPTION OF SYMBOLS 100 Intra prediction mode determination part 101 Intra prediction part 102 Subtraction part 103 Integer conversion part 104 Quantization part 105 Variable length encoding part 106 Inverse quantization part 107 Inverse integer conversion part 108 Addition part 109 Deblock filter part 110 Frame buffer 300 Image Input unit 301 Neighborhood image storage unit 302 Neighborhood prediction mode storage unit 303 Prediction image generation unit 304 Difference image cost calculation unit 305 Mode information encoding cost calculation unit 306 Cost calculation unit 307 Mode selection unit 310 Video encoding device 311 Intra prediction mode Determination unit 312 Encoding unit 601 Past prediction mode storage unit 602 Offset cost determination unit 603 Cost calculation unit 1201 Frame number input unit 1202 Offset cost determination unit 1502 Random number offset cost determination unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　特定の符号化ノイズパターンが画像の特定箇所に貼り付いた模様として見える問題を軽減して、良好な主観画質を実現する。本イントラ予測モード判定装置は、符号化対象画像を所定のサイズで分割した符号化対象ブロックから所定の範囲の符号化済み画素を用いて、複数のイントラ予測モードの各々で画素値を予測して、複数の予測画像を生成する予測画像生成部と、符号化対象ブロックと複数の予測画像の各々との誤差量コストを算出する差分画像コスト計算部と、複数のイントラ予測モードの各々に対応し、画像フレームの進行に依存して変化するオフセットコストを決定するオフセットコスト決定部と、誤差量コストとオフセットコストを用いて所定の演算を行って評価コストを算出するコスト算出部と、評価コストに基づいてイントラ予測モードを選択するモード選択部と、を備える。

Description

[規則37.2に基づきISAが決定した発明の名称]　イントラ予測モード判定装置、方法、プログラム記憶媒体
　本発明は、符号化結果の主観的な画質を向上できるイントラ予測モード判定装置、イントラ予測モード判定方法、及びイントラ予測モード判定プログラム記憶媒体に関し、特にイントラ予測モードの選択に起因する画質の低下に対応するイントラ予測モード判定装置、イントラ予測モード判定方法、及びイントラ予測モード判定プログラム記憶媒体に関する。
　近年、動画像の圧縮符号化技術は、広く普及し、デジタル放送、光学ディスクによる映像コンテンツ頒布、インターネット等を経由した映像配信など、幅広い用途に利用されている。
　動画像信号を低ビットレート、高圧縮率かつ高画質で符号化して符号化データを生成したり、符号化された動画像を復号化したりする動画像符号化技術は、各種の国際団体によって国際標準規格として標準化され、広く用いられている。例えば、ＩＴＵ（International Telecommunication Union）は、Ｈ．２６１、Ｈ．２６３などを標準化している。ＩＳＯ（International Organization for Standardization）は、ＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４などを標準化している。ＳＭＰＴＥ（Society of Motion Picture and Television Engineers）は、ＶＣ－１などを標準化している。さらに、ＩＴＵとＩＳＯは共同で、Ｈ．２６４／ＭＰＥＧ－４ＡＶＣを標準化した。Ｈ．２６４／ＭＰＥＧ－４ＡＶＣの規格内容は、非特許文献１に記載されている。以降、Ｈ．２６４／ＭＰＥＧ－４ＡＶＣを、単に「Ｈ．２６４」という。
　Ｈ．２６４は、それ以前の動画像符号化技術に比べ、さらなる圧縮効率向上、画質向上を実現できることが知られている。Ｈ．２６４では、それ以前の動画像符号化技術よりも高い圧縮効率を実現するために、符号化の要素技術として、種々の符号化ツールが採用されている。その符号化ツールの一つに「イントラ予測」がある。イントラ予測は、ある画像領域の符号化にあたって、同一画像フレーム内の近傍の画素情報を用いた予測であり、大幅な情報圧縮を行うことができる技術である。すなわち、イントラ予測では、同一画像フレーム内の近傍の画素情報を用いて、符号化対象の画像領域の予測画像が生成される。ここでの「近傍」とは、符号化対象の画像領域からの空間的距離が所定値以内の範囲にあることを意味する。具体的な近傍の画素の位置は、後述のように、複数種類規定されたイントラ予測モードのそれぞれについて規定されている。そして、生成された予測画像と現画像の差分情報が符号化される。イントラ予測は、同一画像フレームの画素情報を用いて予測を行うことから、「画面内予測」、「フレーム内予測」とも呼ばれる。
　図１は、Ｈ．２６４で規定されたイントラ予測方式で符号化を行ってイントラ符号化フレーム（Ｉフレーム）を生成する動画像符号化装置の構成例を示す。動画像符号化装置に新たな画像が入力されると、マクロブロック（Macro Block（ＭＢ））と呼ばれる１６×１６画素のブロック単位で符号化処理が行われる。
　イントラ予測モード判定装置１００は、入力画像と、同一画像内の符号化済みマクロブロックの画像情報を用いて適切なイントラ予測モードを選択し、選択したモードを示すイントラ予測モード情報を出力する。イントラ予測モード判定部１００は、一般的には、符号化効率が最も高くなるイントラ予測モードを選択する。
　イントラ予測（ＩＰ：Intra Prediction）部１０１では、加算部１０８から供給される同一画像内の符号化済みマクロブロックの画像情報と、イントラ予測モード判定装置１００から供給されるイントラ予測モード情報を用いてイントラ予測処理を行い、イントラ予測画像を出力する。
　減算部１０２では、入力画像から、イントラ予測部１０１から出力されるイントラ予測画像を減算し、予測誤差画像を出力する。この予測誤差画像に対し、整数変換（ＤＩＴ：Discrete Integer Transform）部１０３がＤＣＴ（Discrete Cosine Transform）と同様な直交変換処理を行い、さらに量子化（Ｑ：Quantize）部１０４で量子化処理を行い、量子化された直交変換係数列が出力される。
　可変長符号化（ＶＬＣ：：Variable-Length Coding）部１０５は、量子化された直交変換係数列を所定の規則で符号化し、符号化結果としてビットストリームを出力する。このビットストリームがＨ．２６４方式の符号化装置の出力ビットストリームである。
　また、量子化された直交変換係数列に対して、逆量子化（ＩＱ：Inverse Quantization）部１０６が逆量子化処理を、逆整数変換（ＩＤＩＴ：Inverse Discrete Integer Transform）部１０７が逆整数変換処理を行う。逆量子化及び逆整数変換が施された直交変換係数列は、加算部１０８でイントラ予測部１０１から出力される予測画像と加算され、前述の同一画像内の符号化済みマクロブロックの画像情報」となる。さらに、デブロックフィルタ部１０９でデブロックフィルタ処理を行うことで、ローカルデコード画像を生成する。ローカルデコード画像はフレームバッファ１１０に記憶され、後続フレームの符号化に利用される。具体的な処理内容は、例えば非特許文献２に開示されている。
　イントラ予測は、同一フレームの画像における空間的に近い位置では絵柄に類似性がある場合が多いという画像の性質を利用して、予測画像を生成するものである。そのため、符号化対象の画像の絵柄のパターンによって適切なイントラ予測の方式は異なる。そこで、Ｈ．２６４ではイントラ予測のモードとして、輝度成分の１６×１６画素サイズで４モード、８×８画素サイズで９モード、４×４画素サイズで９モード、色差成分で４モードがそれぞれ規定されている。
　図２は、輝度成分の４×４画素ブロックでのイントラ予測モードにおける、イントラ予測画像の生成動作を示す。例えば、モード０（vertical）では、符号化対象の４×４ブロックの上側に隣接する符号化済みの画素Ａ、Ｂ、Ｃ、Ｄが用いられ、これらの画素の輝度成分が縦方向にコピーされイントラ予測画像が生成される。また、例えばモード４（diagonal down right）では、符号化対象の４×４ブロックの上側及び左側に隣接する符号化済みの画素Ａ、Ｂ、Ｃ、Ｄ、Ｉ、Ｊ、Ｋ、Ｌ、Ｍが用いられる。そして、これらの隣接画素に対して平滑化フィルタが適用されながら、右下方向の斜め４５度の方向に輝度成分が延長され、イントラ予測画像が生成される。また、モード２（DC）では、符号化対象の４×４ブロックの上側及び左側に隣接する符号化済みの画素の輝度成分の平均値を、イントラ予測画像の輝度成分とする。これらの処理の詳細や他のサイズのブロックでのイントラ予測処理の内容は非特許文献１に開示されている。
　以上のように、モード０、２、４では、「隣接する画素」が用いられる。その他にも、モード１、５、６でも、予測画像に隣接する画素が用いられる。ところが、図２に示されるように、モード３、７、８では、隣接する画素に加え、「隣接しない画素」も用いられる。例えば、モード３では、画素Ｅ、Ｆ、Ｇ、Ｈは、予測画像に隣接していない。ただし、これらの画素も、予測画像からある範囲内の距離に位置するという意味で、「近傍の画素」である。予測画像の生成のために、「隣接する画素」のみが用いられるか、「近傍の画素」も用いられるかは、Ｈ．２６４で規定されており、厳密な区別は本発明にとっては重要でない。そのため、本明細書では、特に必要がない限り、「隣接」も含めて、「近傍」と表現する。
　イントラ予測モード判定装置１００では、上記のイントラ予測モードの中から適切なモードを選択する。非特許文献２には、レート歪み最適化の考え方に基づいて適切なイントラ予測モードを判定する技術が開示されている。この技術では、それぞれのイントラ予測モードに対して、下記の式（１）で表されるコストが算出され、このコストの値が最小になるイントラ予測モードが選択される。
　　　Cost ＝ Ｄ＋λＲ　・・・（１）
　ここで、Ｄは予測誤差画像の誤差量である。予測誤差画像の誤差量としては、ＳＡＴＤ（Sum of Absolute Transformed Differences。予測誤差画像のアダマール変換係数の絶対値和）やＳＳＤ（Sum of Squared Differences）（予測誤差画像の画素値の２乗和）などが用いられる。
　Ｒはモード情報の符号化に要するビット数である。Ｈ．２６４では、イントラ予測のモード情報の符号化について、２種類の符号化方法が規定されている。１つは、モード番号をそのまま符号化する方法で、他の１つは、近傍のブロックのイントラ予測モードからイントラ予測モードを予測して予測モード番号との違いの情報を符号化する方法である。そこで、選択されたモードの符号化方法に応じて、それぞれのモード情報の符号化に要するビット数が算出される。
　λは量子化ステップサイズ等によって決まる重み付け係数である。
　Costは、各イントラ予測モードのコストを評価するために用いられる値なので、以降、「評価コスト」と呼ぶ。
　図３は、イントラ予測モード判定部１００の内部構成例を示す。画像入力部３００は符号化対象の画像ブロックを入力する。近傍画像記憶部３０１は符号化対象ブロックの近傍位置の符号化済み画像を記憶する。近傍予測モード記憶部３０２は、符号化対象ブロックの近傍位置の画像ブロックでのイントラ予測モード情報を記憶する。
　予測画像生成部３０３、差分画像コスト計算部３０４、モード情報符号化コスト計算部３０５、コスト算出部３０６は、選択の対象となる複数のイントラ予測モードのそれぞれに対応した処理を行う。
　予測画像生成部３０３は、近傍画像記憶部３０１から供給される近傍画像データを用いて、所定のイントラ予測モードによるイントラ予測処理を行って、予測画像を生成する。差分画像コスト計算部３０４は、画像入力部３００から供給される符号化対象画像と、予測画像生成部３０３から供給される予測画像との差分画像を計算し、式（１）のＤである予測誤差画像の誤差量を計算する。
　モード情報符号化コスト計算部３０５は、近傍予測モード記憶部３０２から供給される近傍のイントラ予測モード情報に基づいて、式（１）のＲである、所定のイントラ予測モード情報の符号化に必要なビット数を計算する。
　コスト算出部３０６は式（１）に従ってＤとＲの重み付け加算を行って、式（１）の評価コストCostを算出する。モード選択部３０７は、複数のイントラ予測モードのそれぞれに対応する評価コストを比較し、評価コストが最小となるイントラ予測モードを適切なイントラ予測モードとして出力する。
　このようなイントラ予測モード判定技術によると、絵柄が類似した入力画像に対しては同じイントラ予測モードが選択されやすくなる。特に、小さいモード番号のイントラ予測モード（０、１、２など）は、式（１）のＲが小さくなることが多いため、選択されやすくなる傾向がある。また、式（１）のように、予測誤差画像の誤差量だけではなくＲも加味してモードが選択されるため、予測誤差量が最小になるモードが必ずしも選択されるとは限らない。このため、λの大きさによっては、入力画像と予測画像の類似度がそれほど高くないモードであっても、Ｒがより小さくなるモードが優先的に選択される場合がある。
　イントラ予測が用いられた場合、符号化結果の画像には特有の性質を持つ符号化ノイズが発生することがある。図２に示すように、イントラ予測を用いて生成された予測画像は、特定の方向に画素情報がコピーされるために、その方向の縞状の画像となる（モード２は除く）。そのため、符号化ビットレートの制約等により予測誤差画像の情報を十分正確に符号化できない場合、符号化結果の画像にも予測画像の縞模様がある程度残留する。
　図４は、選択されたイントラ予測モードとイントラ予測により発生する符号化ノイズの傾向の一例を示す。図４中の個々の四角が１つのイントラ予測ブロックを示す。ある画像に対して図４のようなイントラ予測モードが選択された場合、符号化結果の画像には、各ブロックのイントラ予測で適用されたモードに応じた方向の縞状の符号化ノイズが発生する傾向がある。なお、図４ではノイズの傾向を説明するために符号化ノイズが特に強調して示されているが、通常はこのように明らかな符号化ノイズが現れるとは限らない。
　この符号化ノイズは、縞状の人工的なパターンであるため、動画像の視聴時に視聴者の気になりやすい。
　また、時間的に連続する画像間で異なるノイズパターンが現れる可能性もあり、そのような場合にはちらつき（フリッカ）として見えてしまう。このイントラ予測に起因するフリッカを低減する技術が特許文献１に開示されている。特許文献１の技術では、イントラ予測モード判定において、式（１）に示す評価コストに加え、各イントラ予測を用いた場合のローカルデコード画像と同位置の、過去のローカルデコード画像との差分量も考慮される。すなわち、評価コストと過去のローカルデコード画像との差分量の線形和が最小となるイントラ予測モードが選択される。同一フレームの画面内、すなわち空間方向の予測誤差、及び時間方向の予測誤差が小さくなるイントラ予測モードが選択されることで、時間方向のちらつきであるフリッカが抑制される。
　特許文献２、３、４にも、式（１）を用いて評価コストを算出し、評価コストが最小となる予測モードを選択する技術が開示されている。
特許第４３８３２４０号公報 特開２００７－８１４７４号公報 特開２００７－２４３３３７号公報 特開２０１０－２５１９５２号公報
ITU-T Recommendation H.264 "Advanced video coding for generic audiovisual services", 2010年3月 Joint Video Team (JVT) of ISO/IEC MPEG and ITU－T VCEG, Document JVT-O079, "Text Description of Joint Mode Reference Encoding Method and Decoding Concealment Method", 2005年4月
　イントラ予測モード判定によって発生する符号化ノイズパターンの時間的な変化の様子の一例を図５に示す。
　前述のように、絵柄が類似した入力画像に対しては同じイントラ予測モードが選択されやすくなる傾向がある。そのため、時間方向で連続する複数の入力画像フレームの絵柄が類似している場合には、選択されるイントラ予測モードも、図５のように、時間的に連続して似た予測モードが選択される場合がある。イントラ予測による符号化ノイズパターンは、選択されたイントラ予測モードの予測方向に応じた縞状になる。そのため、連続して似た予測モードが選択された場合の符号化ノイズパターンは、図５の例のように、似たパターンが時間的に連続して発生するものとなる傾向がある。このようなノイズパターンは、全体として、特定の人工的な幾何学的模様を構成して画像中の特定の位置に複数フレームにわたって発生する。そのため、動画像として視聴すると、画像の特定箇所に貼り付いた模様として見えることになり、主観的な画質を大きく低下させてしまう。
　この現象は、Ｉフレームが連続する場合に目立ちやすく、すべてのフレームをＩフレームとして符号化する場合などに特に問題となる。例えば、青空や壁など滑らかなグラデーションの絵柄領域を連続してＩフレームとして符号化すると、符号化ノイズパターンによって本来滑らかに変化する絵柄が段々状に変化する擬似輪郭が現れる。その擬似輪郭が複数のフレームにわたって連続するため、復号後に画像として再生すると、青空や壁などに擬似輪郭が貼り付いたような画像が再生される結果となる。
　また、特許文献１に開示されている技術によってもこの問題を解決することはできない。特許文献１の技術では、（１）式の評価コストを用いて画面内及び時間方向の予測誤差が小さくなるイントラ予測モードが選択される。そのため、時間的に連続するフレーム間では予測画像の差が小さくなるイントラ予測モード、すなわち同じイントラ予測モードを連続して選択する傾向が強くなる。
　特許文献２の技術でも、同様に（１）式の評価コストを用いて予測モードが決定される。しかし、時間的に連続するフレームに、同じ符号化モードが適用される可能性が高いという問題に関しては、考慮されていない。そのため、縞状のノイズパターンが発生する可能性が高い。
　特許文献３の技術では、評価コストの算出に重み付けが導入されている（特許文献３の（２）式参照）。しかし、その重み付けは、予測誤差画像の誤差量Ｄが評価コストに与える影響度を変化させるものではなく、入力画像の画素のみを用いた係数DIFFについての重み付けである。このように、時間的に連続するフレームに、同じ符号化モードが適用される可能性が高いという問題に関しては、考慮されていない。そのため、縞状のノイズパターンが発生する可能性が高い。（２）式で求められる評価コストは、（１）式の評価コストとは意味が異なる。従って、そもそも、予測画像の誤差を小さくするという効果は期待することはできない。
　特許文献４の技術では、（１）式の評価コストを用いて予測モードが決定され、さらに、Ｄ（特許文献４では「ＳＡ(Ｔ)Ｄ」）に対するオフセット（特許文献４では「ＳＡ(Ｔ)Ｄ０」）も導入される。しかし、時間的に連続するフレームに、同じ符号化モードが適用される可能性が高いという問題に関しては、考慮されていない。そのため、縞状のノイズパターンが発生する可能性が高い。
　以上のように、特許文献１－４の技術では、時間的に連続するフレームに、同じ符号化モードが適用される可能性が高いため、縞状のノイズパターンが発生する可能性が高いという課題がある。
（発明の目的）
　本発明の目的は、特定の符号化ノイズパターンが画像の特定箇所に貼り付いた模様として見える問題を軽減して、良好な主観画質を実現するイントラ予測モード判定装置、イントラ予測モード判定方法及びイントラ予測モード判定プログラム記憶媒体を提供することにある。
　本発明のイントラ予測モード判定装置は、符号化対象画像を所定のサイズで分割した符号化対象ブロックから所定の範囲の符号化済み画素を用いて、複数のイントラ予測モードの各々で画素値を予測して、複数の予測画像を生成する予測画像生成部と、符号化対象ブロックと複数の予測画像の各々との誤差量コストを算出する差分画像コスト計算部と、複数のイントラ予測モードの各々に対応し、画像フレームの進行に依存して変化するオフセットコストを決定するオフセットコスト決定部と、誤差量コストとオフセットコストを用いて所定の演算を行って評価コストを算出するコスト算出部と、評価コストに基づいてイントラ予測モードを選択するモード選択部と、を備えることを特徴とする。
　本発明のイントラ予測モード判定方法は、符号化対象画像を所定のサイズで分割した符号化対象ブロックから所定の範囲の符号化済み画素を用いて、複数のイントラ予測モードで符号化対象ブロックの画素値を予測して、予測画像を生成し、符号化対象ブロックと予測画像の誤差量コストを算出し、複数のイントラ予測モードの各々に対応し、画像フレームの進行に依存して変化するオフセットコスト及び誤差量コストとを用いて所定の演算を行って評価コストを算出し、モードコストに基づいてイントラ予測モードを選択することを特徴とする。
　本発明のイントラ予測モード判定プログラム記憶媒体は、イントラ予測モード判定装置が備えるコンピュータを、符号化対象画像を所定のサイズで分割した符号化対象ブロックから所定の範囲の符号化済み画素を用いて、複数のイントラ予測モードで符号化対象ブロックの画素値を予測して、予測画像を生成する予測画像生成手段と、符号化対象ブロックと予測画像の誤差量コストを算出する差分画像コスト計算手段と、複数のイントラ予測モードの各々に対応し、画像フレームの進行に依存して変化するオフセットコスト及び誤差量コストとを用いて所定の演算を行って評価コストを算出する評価コスト算出手段と、モードコストに基づいてイントラ予測モードを選択するモード選択手段、として機能させるためプログラムを格納する。
　本発明のイントラ予測モード判定装置、イントラ予測モード判定方法、イントラ予測モード判定プログラム記憶媒体は、特定の符号化ノイズパターンが画像の特定箇所に貼り付いた模様として見える問題を軽減し、符号化結果の主観的な画質を向上させることができる。
　その理由は、過去フレームのイントラ予測モードと同じ予測モードに対してはイントラ予測モード判定時のコストにオフセットコストを設定することにより、時間的に連続して同じイントラ予測モードが選択される頻度を低くできるためである。
Ｈ．２６４方式のイントラ符号化フレーム（Ｉフレーム）を生成する動画像符号化装置の構成例を示すブロック図である。 輝度成分の４×４画素ブロックでのイントラ予測モードのイントラ予測画像の生成動作を示す図である。 イントラ予測モード判定部の構成の構成例を示すブロック図である。 イントラ予測により発生する符号化ノイズの傾向の一例を示す図である。 イントラ予測モード判定によって発生する符号化ノイズパターンの時間的な変化の様子の一例を示す図である。 第１の実施形態におけるイントラ予測モード判定部の構成を示すブロック図である。 第１の実施形態におけるオフセットコスト設定の例を示す図である。 第１の実施形態のイントラ予測モード判定によって発生する符号化ノイズパターンの時間的な変化の様子の一例を示す図である。 第１の実施形態におけるイントラ予測モード判定部の最小の構成を示すブロック図である。 ４×４画素サイズのイントラ予測の予測方向を示す図である。 第２の実施形態におけるオフセットコスト設定の例を示す図である。 第３の実施形態におけるイントラ予測モード判定部の構成を示すブロック図である。 第３の実施形態におけるオフセットコスト設定の例を示す図である。 第３の実施形態におけるオフセットコスト設定の別の例を示す図である。 第４の実施形態におけるイントラ予測モード判定部の構成を示すブロック図である。 本発明のイントラ予測モード判定プログラムの処理を示すフローチャートである。 本発明のイントラ予測モード判定を行う動画像符号化装置の構成を示すブロック図である。
（第１の実施形態）
　次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。
　本発明の第１の実施の形態について、図６から図８を参照して説明する。本発明の第１の実施の形態では、イントラ予測モード選択に用いるコスト関数として、式（１）ではなく下記の式（２）を用いる。
　　　Cost＝Ｄ＋Ｄ_offset＋λ（Ｒ＋Ｒ_offset）　・・・（２）
　ここで、Ｄ_offset及びＲ_offsetは、イントラ予測モードごとに異なる所定のオフセットコストである。
　Ｄ_offset及びＲ_offsetは、時間的に近接するブロックのイントラ予測モードに対して０以上の値に設定される。ただし、Ｄ_offset及びＲ_offsetの一方が０に設定された場合は、他方は０より大きい値に設定される。Ｄ_offset及びＲ_offsetの値は、現在の予測モードに対応付けて、例えば、テーブル形式のデータとして所定の記憶装置（図示なし）に記憶される。そして、後述のオフセットコスト決定部６０２から読み出されてコストの決定に使用される。この記憶装置は、オフセットコスト決定部６０２の内部に備えられてもよい。
　図６は、第１の実施形態のイントラ予測モード判定部の構成図である。図３のイントラ予測モード判定部と共通な構成要素には、図３と同じ符号が付与されている。
　図６のイントラ予測モード判定部は、図３の構成に対して、新たに、過去予測モード記憶部６０１、オフセットコスト決定部６０２、コスト算出部６０３を備える。
　過去予測モード記憶部６０１は、符号化が完了したフレームの各画像ブロックのイントラ予測モード情報を記憶する。すなわち、過去フレームのイントラ予測モードのモード情報、すなわち、過去予測モードのモード情報を記憶する。
　オフセットコスト決定部６０２は、過去予測モード記憶部６０１から供給される過去フレームのイントラ予測モード情報に基づいて、式（２）のＤ_offset及びＲ_offsetであるオフセットコストを決定する。
　コスト算出部６０３は、式（２）に従って、Ｄ、Ｒ、Ｄ_offset、Ｒ_offsetの重み付け加算を行って、式（２）のCostを算出する。そして、モード選択部３０７は、複数のイントラ予測モードのそれぞれに対応するCostを比較し、それが最小となるイントラ予測モードを適切なイントラ予測モードとして出力する。
　図７は、符号化対象画像のイントラ予測モード判定の際に与えるＤ_offset及びＲ_offset設定の例を示す。図７は、直前の画像フレーム、すなわち、時間的に最も近接する過去フレーム（以降、単に「過去フレーム」という。）の同位置の画像ブロックのイントラ予測モードが１であった場合の例である。このように、過去フレームのイントラ予測モードと同じ予測モードに対しては、正のＤ_offset及びＲ_offsetが設定される。過去フレームで選択されたイントラ予測モードを、以降、単に「過去予測モード」という。
　図８は、第１の実施形態でのイントラ予測モード選択と、それに伴うノイズパターンの例を示す。左の列に示されたイントラ予測モードを示す矢印のうち、図５に示した例と異なるものが太線の矢印で示されている。本実施形態では、過去予測モードと同じ予測モードに対しては正のオフセットコストが設定されるので、同じ予測モードに対しては式（２）で算出されるコストが大きくなる。そのため、時間的に連続して同じイントラ予測モードが選択される頻度が低くなる。この結果、入力画像の絵柄が類似していた場合でも異なるイントラ予測モードが選択されやすくなる。その結果、符号化結果の画像に発生する符号化ノイズのパターンも、図８のように、時間的に変化するものとなる。これにより、特定の符号化ノイズパターンが時間的に連続する問題が発生しにくくなる。
　図６では、イントラ予測モードごとの評価コストの算出を、個別に、平行して行う。しかし、全イントラ予測モードの評価コストの算出を、時分割で処理する等の方法によって、共通の装置を用いて行うこともできる。従って、本実施形態において必須のブロックのみを備えるイントラ予測モード判定部は、図９のブロック図の通りである。
　なお、過去フレームは、直前のフレームのみでなく、さらにその過去の、所定の期間内のフレームまで遡ってオフセットコストが設定されてもよい。例えば、過去の２フレームについて、連続して同じイントラ予測モードが選択された場合には大きなオフセットコストが設定され、異なるイントラ予測モードが選択された場合には小さなオフセットコストが設定されてもよい。
　以上のように、第１の実施形態によると、時間的に連続して同じイントラ予測モードが選択される頻度が低くなる。従って、第１の実施形態のイントラ予測判定方法によると、人工的な幾何学的模様の符号化ノイズパターンが画像の特定箇所に貼り付いた模様として見える問題が軽減され、符号化結果の主観的な画質を向上することができる。
　以上の説明から理解されるように、本実施形態で用いられるオフセットコストは、連続して同じイントラ予測モードが選択される頻度を下げるために導入される。従って、オフセットコストは、過去予測モードに依存したものには限定されない。すなわち、オフセットコストは、画像フレームの進行に依存して変化するものであれば使用可能である。ただし、毎フレームごとに、常にオフセットコストが変化することまでは要求されない。以降の実施形態において、各種のオフセットコストの設定例を示す。
（第２の実施形態）
　次に、本発明の第２の実施形態について、図１０、図１１を参照して説明する。第２の実施の形態のイントラ予測モード判定部の構成は、図６に示された第１の実施形態のものと同じである。図１０は４×４画素サイズのイントラ予測の予測方向を示す。
　このように、モード２（DC）を除く８つの予測モードは、２２．５度ずつ異なる８方向に沿った予測画像の生成を行うモードである。ここで、予測方向の近いモード、例えば１（horizontal）と６（horizontal down）又は１（horizontal）と８（horizontal up）などでは、異なる予測モードであっても、符号化結果に現れる符号化ノイズのパターンは比較的類似したものになる場合がある。
　そこで、第２の実施形態では、過去予測モードと同じ予測モードに加え、過去予測モードと予測方向が近い予測モードに対しても正のオフセットコストＤ_offset、Ｒ_offsetが設定される。
　図１１は過去予測モードが１の場合及び３の場合のＤ_offset及びＲ_offset設定の例を示す。このように、過去予測モードと同じ予測モードに加え、過去予測モードにおける予測方向に隣接する方向を用いる予測モードにも、正のオフセットコストが設定される。このような設定により、比較的類似した符号化ノイズのパターンが連続して現れる現象の発生頻度を低減することができる。
　なお、Ｄ_offset及びＲ_offsetの値は、過去予測モードと現在の予測モードとに対応付けて設定され、所定の記憶装置（図示なし）に記憶される。そして、後述のオフセットコスト決定部６０２から読み出されてコストの決定に使用される。この記憶装置は、オフセットコスト決定部６０２の内部に備えられてもよい。
　なお、図１１の例では、過去予測モードと同じ予測モードに加え、過去予測モードにおける予測方向に隣接する方向を用いる予測モードのみに正のオフセットを設定した。さらに、隣接する方向の、過去予測モードにおける予測方向とは反対の側に隣接する方向にも、正のオフセットが設定されてもよい。つまり、過去予測モードにおける予測方向に隣接する方向から順に、複数の予測方向にオフセットが設定されてもよい。このとき、予測方向が過去予測モードにおける予測方向から離れるほど、設定されるオフセット値が小さくなるように設定されてもよい。
　以上のように、第２の実施形態によると、過去予測モードと同じ予測モード及び過去予測モードにおける予測方向に隣接する方向を用いる予測モードに対して、正のオフセットコストが設定される。そのため、類似した符号化ノイズのパターンが現れる現象が減少する。従って、人工的な幾何学的模様の符号化ノイズパターンが画像の特定箇所に貼り付いた模様として見える問題がさらに軽減され、符号化結果の主観的な画質を向上することができる。
（第３の実施形態）
　次に、本発明の第３の実施形態について、図１２から図１４を参照して説明する。図１２は第３の実施形態のイントラ予測モード判定部の構成図である。図６の第１の実施形態のイントラ予測モード判定部と共通な構成要素には、図６と同じ符号が付与されている。
　図１２の構成では、図６のイントラ予測モード判定部に対して、新たにフレーム番号入力部１２０１、オフセットコスト決定部１２０２を備える。フレーム番号入力部１２０１は時間的に連続するフレームごとに１ずつ増加するフレーム番号を入力する。オフセットコスト決定部１２０２は、フレーム番号入力部１２０１から供給されるフレーム番号に基づいて、式（２）のＤ_offset及びＲ_offsetであるオフセットコストを決定する。
　第３の実施形態では、フレーム番号に基づいて、連続するフレームに対して、それぞれ異なるＤ_offset及びＲ_offsetが設定される。
　図１３はＤ_offset及びＲ_offset設定の例を示す。図１３は、フレーム番号が偶数の場合と奇数の場合で異なるオフセットコストを設定する場合の例を示す。
　このように、８つの予測方向から、偶数のフレーム番号のフレームにおいてオフセットコストが設定される４つの予測方向が、１つおきに選択される。そして、他の４つの予測方向が、奇数のフレーム番号のフレームのオフセットコストが設定される予測方向として選択される。つまり、あるフレームでオフセットコストが大きく設定された予測モードは、次のフレームではオフセットコストが小さく設定されるため、選択される可能性が高い。逆に、あるフレームでオフセットコストが小さく設定された予測モードは、次のフレームではオフセットコストが大きく設定されるため、選択される可能性が低い。
　このように、連続するフレームで異なるオフセットコストが設定されることにより、同じイントラ予測モードが時間的に連続して選択される頻度を下げることができる。そのため、特定の符号化ノイズパターンが時間的に連続して発生するという問題が発生しにくくなる。
　また、図１４は、Ｄ_offset及びＲ_offset設定の別の例を示す。図１３では、フレーム番号が偶数の場合に予測モード番号の小さいものにオフセットコストが設定されているためにこれらの予測モードが選択されにくくなる。その際、小さいモード番号の予測モードは符号化効率が高い場合が多いため、これらの予測モードを選択されにくくすることで、結果として全般的な符号化効率が低下する可能性がある。
　これに対して、図１４の例では、モード番号が分散するように、オフセットコスト設定されているため、フレーム番号によって符号化効率に違いが発生しにくくできる。
　なお、Ｄ_offset及びＲ_offsetの値は、フレーム番号と現在の予測モードとに対応付けて設定され、所定の記憶装置（図示なし）に記憶される。そして、後述のオフセットコスト算出部１２０２から読み出されてコストの決定に使用される。この記憶装置は、オフセットコスト算出部１２０２の内部に備えられてもよい。
　当然ながら、オフセットコスト設定の方式は、本実施形態で示した例、すなわち、偶数フレームと奇数フレームとを区別して設定する方式に限るものではない。例えば、フレーム番号の１０の剰余の値によって、それぞれ異なるオフセットコストが設定されてもよい。また、あるフレーム全体に対して同じオフセットコストが設定されるのではなく、符号化対象ブロックの位置によって異なるオフセットコストが設定されてもよい。
　以上のように、第３の実施形態によると、連続したフレームでは、異なる予測方向を用いる予測モードに、正のオフセットコストが設定される。そのため、時間的に連続するフレームで、同じイントラ予測モードが選択される頻度を下げることができる。従って、過去フレームの予測モード情報、すなわち、過去予測モードのモード情報を記憶する必要がない。そして、人工的な幾何学的模様の符号化ノイズパターンが画像の特定箇所に貼り付いた模様として見える問題を軽減して符号化結果の主観的な画質を向上することができる。また、過去フレームの符号化結果の情報を利用しないため、各フレームを独立して符号化処理することもできる。
（第４の実施形態）
　次に、本発明の第４の実施形態について、図１５を参照して説明する。図１５は第４の実施形態のイントラ予測モード判定部の構成図である。図１２の第３の実施形態のイントラ予測モード判定部と共通な構成要素には図１２と同じ符号が付与されている。
　図１５の構成では、図６のイントラ予測モード判定部に対して、新たに乱数オフセットコスト決定部１５０２を備える。乱数オフセットコスト決定部１５０２は、擬似乱数に基づいて式（２）のＤ_offset及びＲ_offsetであるオフセットコストを決定する。
　例えば、乱数オフセットコスト決定部１５０２は、各イントラ予測モードごとに０～９９の範囲の擬似乱数を生成する。そして、この擬似乱数が７０～８９であった場合にはＤ_offset＝１６、Ｒ_offset＝２、９０～９９であった場合にはＤ_offset＝３２、Ｒ_offset＝２、それ以外の場合はＤ_offset＝０、Ｒ_offset＝０とする。
　このように、各イントラ予測モードごとに、確率的にオフセットコストが設定されるので、連続するフレームの同じ予測モードに対して、異なるオフセットコストが設定される可能性が高い。例えば、あるフレームでオフセットコストが大きく設定された予測モードは、次のフレームでもオフセットコストが大きく設定される可能性は低い。逆に、あるフレームでオフセットコストが小さく設定された予測モードは、次のフレームでもオフセットコストが小さく設定される可能性は低い。従って、時間的に連続したフレームで、同じ予測モードが選択される可能性が低くなる。
　以上のように、第４の実施形態によると、各イントラ予測モードごとに、確率的にオフセットコストが設定される。そのため、時間的に連続したフレームで、同じ予測モードが選択される可能性が低くなる。従って、第１乃至第３の実施形態のように、オフセットコストが設定されたテーブルなどを使用せずに、人工的な幾何学的模様の符号化ノイズパターンが画像の特定箇所に貼り付いた模様として見える問題を軽減して符号化結果の主観的な画質を向上することができる。また、過去フレームの符号化結果の情報を利用しないため、各フレームを独立して符号化処理することもできる。
　以上、本発明の実施形態について説明した。上記の実施形態では、Ｈ．２６４方式に則った実施の例について述べたが、本発明はＨ．２６４方式での応用のみに限定されない。Ｈ．２６４のイントラ予測と類似の技術を備える異なる符号化方式や、あるいは国際標準の動画像符号化方式等に含まれない符号化方式に対して適用することも可能である。
　画像のサイズに関しては、実施形態では主に輝度成分の４×４サイズのイントラ予測処理に適用する場合の例について述べたが、輝度成分の１６×１６サイズ、８×８サイズや色差成分のイントラ予測処理に対しても当然適用できる。
　オフセットコストの設定値は、上記の実施形態で例示したものに限定されるものではない。具体的なオフセットコストの値は、例えば多数の動画像に対して符号化実験を実施して、最適値を探索した結果を用いればよい。
　符号化済み情報の使い方に関しては、時間的に近い符号済みの１フレームのイントラ予測モード情報に基づいてオフセットコストを設定する例について述べたが、符号化済み情報の使い方はこれに限定されない。例えば、符号化済みのＮ枚（Ｎは２以上の整数）のフレームで選択されたイントラ予測モードの分布、すなわち予測モードごとの選択された頻度に応じて正のオフセットコストが設定されてもよい。あるいは、符号化済みの２フレームで同じイントラ予測モードが連続して選択されていた場合は、次のフレームに対しては、さらに大きなオフセットコストが設定されてもよい。
　また、コスト関数は、式（１）、（２）で示したような、ＤとＲ及びオフセットコストを重み付け加算して求めた評価コストを最小とするイントラ予測モードを選択する例に沿って説明したが、コスト関数はこのようなものに限定されない。
　例えば、コスト関数は、モード情報の符号化に要するビット数Ｒを常に０、すなわち、Ｒが評価コストには反映されない関数であってもよい。あるいは、コスト関数は、オフセットを含めたＤとＲの加算結果を評価コストとするのではなく、ＤとＲの乗算結果を評価コストとする関数であってもよい。つまり、コスト関数は、
　　　Cost＝（Ｄ＋Ｄ_offset）×λ（Ｒ＋Ｒ_offset）　・・・（３）
であってもよい。
　さらに、コスト関数における、オフセットコストの反映方法に関しても、オフセットコストを加算することによって反映させる方法のみでなく、乗算によって反映させてもよい。要するに、算出される評価コストがオフセットコストの大小に依存するように、コスト関数においてオフセットコストが使用されればよい。つまり、コスト関数は以下の（４）式、（５）式でもよい。
　　　Cost＝（Ｄ×Ｄ_offset）＋λ（Ｒ×Ｒ_offset）　・・・（４）
　　　Cost＝（Ｄ×Ｄ_offset）×λ（Ｒ×Ｒ_offset）　・・・（５）
　モードコストは、時間的に連続するフレームで、同じ予測モードが選択される可能性を低下させるための判断に使用される。そのため、コスト関数は、少なくとも、予測誤差画像の誤差量Ｄと１つのオフセットコストとに依存した評価コストが算出されるものであればよい。従って、様々なコスト関数が、利用されるイントラモード判定に対して適用できる。
　なお、コスト関数が異なる場合は、当然ながらオフセットコストとして適切な値は異なる。また、上述の各実施形態では、オフセットコストは正の値であるものとされている。しかし、オフセットコストは、評価コストの大小に影響を与えるものであればよいので、負の値であってもよい。ただし、Ｄ_offsetとＲ_offsetの符号は、Ｄ_offset及びＲ_offsetが評価コストを増減させる方向、すなわち、評価コストを増加又は減少させる効果が同じになるように設定される必要がある。
　また、それぞれの実施の形態で個々に説明した技術を適宜組み合わせて実施することも当然可能である。また、以上で説明した方法は、コンピュータがプログラムを記録媒体から読み込んで実行することによっても実現することができる。
　図１６は、本発明のイントラ予測モード判定プログラムの処理を示すフローチャートを示す。
　本プログラムは、イントラ予測モードの判定を行うイントラ予測モード判定装置が備えるコンピュータに読み込まれて、実行される。
　まず初めに、近傍の画像の画素情報を用いて、複数あるイントラ予測モードの各々を適用した予測画像が生成される（ステップＳ１）。イントラ予測モードとしては、例えば、図２に示されたものが適用される。予測画像は、各イントラ予測モードに対応する画像が、イントラ予測モードの種類と同じ個数だけ生成される。
　次に、符号化対象の画像ブロックと、複数の予測画像の各々との差分コストが計算される（ステップＳ２）。従って、差分コストも、各イントラ予測モードに対応する差分コストが、イントラ予測モードの種類と同じ個数だけ生成される。
　そして、複数の差分コストとオフセットコストを用いて、例えば式（２）の評価コストが算出される（ステップＳ３）。オフセットコストは、各イントラ予測モードごとに予め設定される。従って、複数の差分コストの各々と、それに対応するオフセットコストを用いて、評価コストが算出される。
　最後に、評価コストの値に基づいて、イントラ予測モードが選択される（ステップＳ４）。
　なお、本プログラムは、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体記憶装置、光ディスク、磁気ディスク、光磁気ディスク等、非一時的な媒体に格納されてもよい。
　なお、以上の実施形態は各々他の実施形態と組み合わせることができる。例えば、第２の実施形態のように、過去予測モードでの予測角度との差に依存させたオフセットの設定を、他の実施形態にも適用することができる。
　動画像を符号化する符号化部３１２を備える動画像符号化装置３１０が、上記の各実施形態のイントラ予測モード判定部と同じ構成のイントラ予測モード判定部３１１を備えてもよい。図１７に、本発明のイントラ予測モード判定を行う動画像符号化装置の構成を示す。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１２年２月２０日に出願された日本出願特願２０１２－０３３９９７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　　　１００　　イントラ予測モード判定部
　　　１０１　　イントラ予測部
　　　１０２　　減算部
　　　１０３　　整数変換部
　　　１０４　　量子化部
　　　１０５　　可変長符号化部
　　　１０６　　逆量子化部
　　　１０７　　逆整数変換部
　　　１０８　　加算部
　　　１０９　　デブロックフィルタ部
　　　１１０　　フレームバッファ
　　　３００　　画像入力部
　　　３０１　　近傍画像記憶部
　　　３０２　　近傍予測モード記憶部
　　　３０３　　予測画像生成部
　　　３０４　　差分画像コスト計算部
　　　３０５　　モード情報符号化コスト計算部
　　　３０６　　コスト算出部
　　　３０７　　モード選択部
　　　３１０　　動画像符号化装置
　　　３１１　　イントラ予測モード判定部
　　　３１２　　符号化部
　　　６０１　　過去予測モード記憶部
　　　６０２　　オフセットコスト決定部
　　　６０３　　コスト算出部
　　　１２０１　フレーム番号入力部
　　　１２０２　オフセットコスト決定部
　　　１５０２　乱数オフセットコスト決定部

Claims (10)

  1. 　符号化対象画像を所定のサイズで分割した符号化対象ブロックから所定の範囲の符号化済み画素を用いて、複数のイントラ予測モードの各々で画素値を予測して、複数の予測画像を生成する予測画像生成部と、
    　前記符号化対象ブロックと前記複数の予測画像の各々との誤差量コストを算出する差分画像コスト計算部と、
    　前記複数のイントラ予測モードの各々に対応し、画像フレームの進行に依存して変化するオフセットコストを決定するオフセットコスト決定部と、
    　前記誤差量コストと前記オフセットコストを用いて所定の演算を行って評価コストを算出するコスト算出部と、
    　前記評価コストに基づいてイントラ予測モードを選択するモード選択部と、
    を備える
    　ことを特徴とするイントラ予測モード判定装置。
  2. 　前記複数のイントラ予測モードの各々のモード情報を符号化するのに必要なビット量に対応するモード情報符号化コストを出力するモード情報符号化コスト出力部、
    　をさらに備え、
    　前記コスト算出部は、前記誤差量コスト、前記モード情報符号化コスト及び前記オフセットコストによる重み付けを用いた前記演算を行って評価コストを算出する、
    　ことを特徴とする請求項１に記載のイントラ予測モード判定装置。
  3. 　過去の画像フレームのイントラ予測モード情報である過去フレーム予測モード情報を記憶する過去フレーム予測モード情報記憶部、
    　をさらに備え、
    　前記オフセットコスト決定部は、前記過去フレーム予測モード情報に基づいて前記過去の画像フレームから所定の期間以内の複数のフレームの、前記符号化対象ブロックと同位置で用いたイントラ予測モードに対して前記オフセットコストを設定する、
    　ことを特徴とする請求項１又は２記載のイントラ予測モード判定装置。
  4. 　前記符号化対象画像の時間的順序を示すフレーム番号を入力するフレーム番号入力部、
    　をさらに備え、
    　前記オフセットコスト算出部は前記フレーム番号に基づいて前記過去の画像フレームから所定の期間以内の複数のフレームに対してそれぞれ異なる前記オフセットコストを設定する、
    　ことを特徴とする請求項１乃至３のいずれかに記載のイントラ予測モード判定装置。
  5. 　前記オフセットコスト算出部は前記複数のイントラ予測モードの各々に対応させて擬似乱数を発生し、前記擬似乱数に基づいて前記オフセットコストを設定する、
    　ことを特徴とする請求項１乃至４のいずれかに記載のイントラ予測モード判定装置。
  6. 　前記オフセットコスト出力部は、過去の予測モードにおける方向との角度の差に応じて前記オフセットコストを出力する
    　ことを特徴とする請求項１乃至５のいずれか一項に記載のイントラ予測モード判定装置。
  7. 　前記オフセットコスト出力部は、前記誤差量コストと前記オフセットコストを加算又は乗算して前記モードコストを算出する
    　ことを特徴とする請求項１乃至６のいずれか一項に記載のイントラ予測モード判定装置。
  8. 　請求項１乃至７のいずれか一項に記載のイントラ予測モード判定装置と、
    　前記イントラ予測モード判定装置で選択された前記イントラ予測モードに基づいて前記符号化対象画像を符号化する符号化部、
    　を備えることを特徴とする動画像符号化装置。
  9. 　符号化対象画像を所定のサイズで分割した符号化対象ブロックから所定の範囲の符号化済み画素を用いて、複数のイントラ予測モードで前記符号化対象ブロックの画素値を予測して、予測画像を生成し、
    　前記符号化対象ブロックと前記予測画像の誤差量コストを算出し、
    　前記複数のイントラ予測モードの各々に対応し、画像フレームの進行に依存して変化するオフセットコスト及び前記誤差量コストとを用いて所定の演算を行って評価コストを算出し、
    　前記モードコストに基づいてイントラ予測モードを選択する
    ことを特徴とするイントラ予測モード判定方法。
  10. 　イントラ予測モード判定装置が備えるコンピュータを、
    　符号化対象画像を所定のサイズで分割した符号化対象ブロックから所定の範囲の符号化済み画素を用いて、複数のイントラ予測モードで前記符号化対象ブロックの画素値を予測して、予測画像を生成する予測画像生成手段と、
    　前記符号化対象ブロックと前記予測画像の誤差量コストを算出する差分画像コスト計算手段と、
    　前記複数のイントラ予測モードの各々に対応し、画像フレームの進行に依存して変化するオフセットコスト及び前記誤差量コストとを用いて所定の演算を行って評価コストを算出する評価コスト算出手段と、
    　前記モードコストに基づいてイントラ予測モードを選択するモード選択手段、
    として機能させるためのイントラ予測モード判定プログラムを格納した非一時的な記憶媒体。
PCT/JP2013/000752 2012-02-20 2013-02-13 イントラ予測モード判定装置、方法、プログラム記憶媒体 WO2013125171A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012033997 2012-02-20
JP2012-033997 2012-02-20

Publications (1)

Publication Number Publication Date
WO2013125171A1 true WO2013125171A1 (ja) 2013-08-29

Family

ID=49005371

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/000752 WO2013125171A1 (ja) 2012-02-20 2013-02-13 イントラ予測モード判定装置、方法、プログラム記憶媒体

Country Status (2)

Country Link
JP (1) JPWO2013125171A1 (ja)
WO (1) WO2013125171A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018047952A1 (ja) * 2016-09-12 2018-03-15 日本電気株式会社 イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラムを記憶する記憶媒体
CN115550657A (zh) * 2022-09-10 2022-12-30 翱捷科技股份有限公司 一种抑制呼吸效应的率失真优化方法及装置
CN115988202A (zh) * 2018-06-29 2023-04-18 华为技术有限公司 一种用于帧内预测的设备和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318468A (ja) * 2004-04-30 2005-11-10 Nippon Hoso Kyokai <Nhk> 画面内予測符号化装置、その方法及びそのプログラム
JP2005348008A (ja) * 2004-06-02 2005-12-15 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、動画像符号化装置、動画像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2008193501A (ja) * 2007-02-06 2008-08-21 Canon Inc 画像符号化装置及び画像符号化方法
JP2009510935A (ja) * 2005-09-27 2009-03-12 クゥアルコム・インコーポレイテッド マルチメディア符号化のためのモード選択技術

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318468A (ja) * 2004-04-30 2005-11-10 Nippon Hoso Kyokai <Nhk> 画面内予測符号化装置、その方法及びそのプログラム
JP2005348008A (ja) * 2004-06-02 2005-12-15 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、動画像符号化装置、動画像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2009510935A (ja) * 2005-09-27 2009-03-12 クゥアルコム・インコーポレイテッド マルチメディア符号化のためのモード選択技術
JP2008193501A (ja) * 2007-02-06 2008-08-21 Canon Inc 画像符号化装置及び画像符号化方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018047952A1 (ja) * 2016-09-12 2018-03-15 日本電気株式会社 イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラムを記憶する記憶媒体
JPWO2018047952A1 (ja) * 2016-09-12 2019-07-11 日本電気株式会社 イントラ予測モード決定方法、イントラ予測モード決定装置およびイントラ予測モード決定プログラム
US20190364271A1 (en) * 2016-09-12 2019-11-28 Nec Corporation Intra-prediction mode determination method, intra-prediction mode determination device, and storage medium for storing intra-prediction mode determination program
US10721468B2 (en) 2016-09-12 2020-07-21 Nec Corporation Intra-prediction mode determination method, intra-prediction mode determination device, and storage medium for storing intra-prediction mode determination program
CN115988202A (zh) * 2018-06-29 2023-04-18 华为技术有限公司 一种用于帧内预测的设备和方法
CN115988202B (zh) * 2018-06-29 2023-11-03 华为技术有限公司 一种用于帧内预测的设备和方法
CN115550657A (zh) * 2022-09-10 2022-12-30 翱捷科技股份有限公司 一种抑制呼吸效应的率失真优化方法及装置

Also Published As

Publication number Publication date
JPWO2013125171A1 (ja) 2015-07-30

Similar Documents

Publication Publication Date Title
US10250908B2 (en) Adaptive transform size selection for geometric motion partitioning
US7426308B2 (en) Intraframe and interframe interlace coding and decoding
TWI528789B (zh) Image processing apparatus and method
US20100118945A1 (en) Method and apparatus for video encoding and decoding
JP2009094828A (ja) 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
WO2011086836A1 (ja) 符号化装置、復号装置、および、データ構造
KR20140029383A (ko) 화상 부호화 장치 및 화상 복호 장치
WO2010082463A1 (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
JP2010263301A (ja) 画像データの生成方法
CN102077599A (zh) 用于视频编码器中的高质量帧内模式预测的设备和方法
WO2012098845A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
JP2011147130A (ja) 動き推定のための技術
KR101380460B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP2005318468A (ja) 画面内予測符号化装置、その方法及びそのプログラム
WO2013125171A1 (ja) イントラ予測モード判定装置、方法、プログラム記憶媒体
JP5299328B2 (ja) 画像処理装置および画像処理方法
JP2009005217A (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびコンピュータ読み取り可能な記録媒体
KR101368732B1 (ko) 고성능 ｈ.264/ａｖｃ 인코더용 움직임 예측장치 및 움직임 예측방법
JP4561701B2 (ja) 動画像符号化装置
WO2013073422A1 (ja) 動画像符号化装置
JP5750191B2 (ja) 画像復号化方法
JP5272940B2 (ja) 画像符号化装置
JP2008028882A (ja) 動画像符号化装置
JP2010011185A (ja) 動画像復号装置及び動画像復号方法
JPWO2019017327A1 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラムが格納された記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13752078

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014500895

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13752078

Country of ref document: EP

Kind code of ref document: A1