WO2006035584A1 - 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 - Google Patents

符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 Download PDF

Info

Publication number
WO2006035584A1
WO2006035584A1 PCT/JP2005/016571 JP2005016571W WO2006035584A1 WO 2006035584 A1 WO2006035584 A1 WO 2006035584A1 JP 2005016571 W JP2005016571 W JP 2005016571W WO 2006035584 A1 WO2006035584 A1 WO 2006035584A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
cost value
inter
value
motion compensation
Prior art date
Application number
PCT/JP2005/016571
Other languages
English (en)
French (fr)
Inventor
Kazushi Sato
Yoichi Yagasaki
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP20050778334 priority Critical patent/EP1802125A1/en
Publication of WO2006035584A1 publication Critical patent/WO2006035584A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Definitions

  • the present invention relates to an encoding device, an encoding method, an encoding method program, and a recording medium on which an encoding method program is recorded, and is applied to a video camera, an electronic still camera, a monitoring device, etc. be able to.
  • the present invention detects the optimal mode of the inter prediction mode based on the cost value based on the accuracy of the integer pixel, calculates the cost value with an accuracy of 1 pixel or less for this optimal mode, and calculates the intra prediction mode and the inter prediction mode.
  • the optimum mode can be detected by a simple process when the optimum mode is detected by the cost function and the image data is encoded. '' Background technology
  • image data is compressed by orthogonal transform such as discrete cosine transform and motion compensation.
  • MPEG 2 (ISO / IEC 13818-2), which is one of these methods, is a method defined as a general-purpose image coding method, and supports both interlaced scanning and sequential scanning methods. It is defined to support both standard resolution images and high-definition images, and is now widely used in a wide range of professional and consumer applications. Specifically, M P E G
  • image data of a standard resolution and interlaced scanning method with 7 2 0 X 4 8 0 pixels is compressed to a bit rate of 4 to 8 [M bps], and 1 9 2
  • interlaced image data 1 8 to 2 2 Data can be compressed to a bit rate of [Mbps] to ensure high image quality and a high compression rate.
  • MP EG 2 is a high image quality encoding method suitable for broadcasting, and does not support a high compression rate encoding method with a smaller code amount than MP EG 1.
  • the spread of mobile terminals in recent years is expected to increase the need for such a high-compression coding method with a smaller code amount than MP EG 1. Therefore, the MPEG4 encoding standard is IS. / IECC (International Organization for Standardization / international Electrotechnical Commission) 14496—2 1 Approved as an international standard in December 998.
  • H26 L ITU-T Q6 / 16 VCEG
  • MPEG2 and MPEG4 higher coding efficiency can be secured, and as part of MP EG 4 activities, this H26 L is used as a base.
  • Standardization of coding methods that incorporate various functions and ensure even higher coding efficiency has been promoted as Joint Model of Enhanced- Compression Video Coding. In these methods, H264 and It was set as an international standard under the name of MPEG-4 Part 10 (AVC: Advanced Video Coding).
  • FIG. 1 is a block diagram showing an encoding device based on this AVC.
  • the encoding device 1 selects an optimal prediction mode from a plurality of intra prediction modes and a plurality of inter prediction modes, and subtracts a prediction value of the selected prediction mode from the image data to generate difference data.
  • the difference data is subjected to orthogonal transform processing, quantization processing, and variable length coding processing, whereby the image data is coded by intra coding and inter coding.
  • the analog-digital conversion circuit (AZD) 2 performs analog-digital conversion processing on the video signal SV and outputs image data D1.
  • the screen rearrangement buffer 3 receives the image data D1 output from the analog-digital conversion circuit 2, and in accordance with the GO P (Group of Pictures) structure related to the encoding process of the encoding device 1, Rearrange the frames of image data D 1 Output.
  • GO P Group of Pictures
  • the subtraction circuit 4 receives the image data D 1 output from the screen rearrangement buffer 3, and generates and outputs difference data D 2 from the prediction value generated by the intra prediction circuit 5 in intra coding. On the other hand, in inter coding, difference data D 2 from the prediction value generated by the motion prediction / compensation circuit 6 is generated and output.
  • the orthogonal transformation circuit 7 inputs the output data D 2 of the subtraction circuit 4, performs orthogonal transformation processing such as discrete cosine transformation and force Lunen 'label transformation, and outputs transformation coefficient data D 3 based on the processing result .
  • the quantization circuit 8 quantizes the transform coefficient data D3 by the quantization scale by the rate control of the rate control circuit 9 and outputs it.
  • the lossless encoding circuit 10 performs a lossless encoding process on the output data of the quantization circuit 8 by variable length encoding, arithmetic encoding, or the like, and outputs the result.
  • the lossless encoding circuit 10 obtains information about the intra prediction mode related to intra encoding, information about the motion vector related to inter encoding, and the like from the intra prediction circuit 5, the motion prediction / compensation circuit 6, and the like. Set the information in the header information of output data D4 and output.
  • the accumulation buffer 11 1 accumulates the output data D 4 of the lossless encoding circuit 10 and outputs it at the transmission rate of the subsequent transmission line.
  • the rate control circuit 9 monitors the amount of code generated by the encoding process by monitoring the free capacity of the storage buffer 11, and switches the quantization scale in the quantization circuit 8 based on the monitoring result. Controls the amount of code generated by device 1.
  • the inverse quantization circuit 13 performs inverse quantization processing on the output data of the quantization circuit 8, thereby reproducing the input data of the quantization circuit 8.
  • the inverse orthogonal transform circuit 14 performs inverse orthogonal transform processing on the output data of the inverse quantization circuit 13, thereby reproducing the input data of the orthogonal transform circuit 7.
  • the deblocking filter 15 removes block distortion from the output data of the inverse orthogonal transform circuit 14 and outputs the result.
  • the frame memory 16 appropriately adds the prediction value generated by the intra prediction circuit 5 or the motion prediction / compensation circuit 6 to the output data of the deblock filter 15 and records it as reference image information.
  • the intra prediction circuit 5 detects the optimum mode of the intra prediction mode based on the reference image information stored in the frame memory 16 in the intra coding. When encoding is performed by intra prediction, a prediction value of the predicted image information is generated from the reference image information in this optimal mode and is output to the subtraction circuit 4.
  • multiple reference frames are used to select one of a plurality of reference frames R ef for the processing target frame Org as shown in FIG. If the part corresponding to the motion compensation block is hidden in the previous frame, or if the entire pixel value temporarily changes in the previous frame due to flash etc. Even in this case, motion compensation is performed with high accuracy to improve data compression efficiency.
  • the motion compensation block is designed to compensate for motion based on a block consisting of 16 pixels x 16 pixels, but variable MC Block Size Therefore, as shown in Fig. 4 (A 2) to (A 4), the macro block consisting of 16 pixels x 16 pixels is set to 2 in the horizontal and / or vertical directions. Split 16 pixels x 8 pixels, 8 pixels XI 6 pixels, and 8 pixels x 8 pixels are set so that motion compensation can be performed by setting a motion vector and a reference frame independently. In addition, as shown in Fig.
  • each tap input of the 6-tap FIR filter is weighted by the values 1, 1, 20, 20, 1, 5, 1, and
  • the pixel value c is calculated with 1 Z 2 pixel accuracy between consecutive pixels in the horizontal and vertical directions.
  • the block related to the motion vector mv divides one macroblock into two in the horizontal direction.
  • the reference frame refldxE related to the detection of the prediction motion vector mv the reference frame refldxA of the submacroblock A adjacent to the left side, and If they are equal, the motion vector mvA detected by the adjacent submacroblock A on the left side is lost to the predicted motion vector pmv as shown in the following equation. Loss ⁇ 9 -Q o
  • the chrominance signal is motion-compensated using a motion compensation block, a motion vector, and a reference frame based on the luminance signal.
  • AVC detects the optimal mode for each macroblock from a plurality of intra prediction modes and a plurality of inter prediction modes, and processes the image data in this optimal mode to efficiently encode the image data. .
  • a coarse motion prediction circuit that calculates the cost value of a device, an inter mode determination circuit that detects an optimal mode in the plurality of inter prediction modes based on a cost value based on the coarse motion compensation position, and the inter mode For the optimal mode detected by the judgment circuit, a fine motion that calculates the cost value with motion compensation with an accuracy of 1 pixel or less.
  • a prediction circuit; and an intra-intermediate mode determination circuit that detects an optimal mode to be used for the encoding process by comparing the cost value by the fine motion prediction circuit and the cost value by the plurality of intra prediction modes.
  • the cost value is calculated with an accuracy of 1 pixel or less only for the optimal mode of the inter prediction mode, without calculating the cost value by performing motion compensation with an accuracy of 1 pixel or less.
  • the optimal mode is detected by the cost function. When the image data is encoded and processed, the optimum mode can be detected by a simple process.
  • the inter-mode determination step for detecting the optimum mode in the mode and in the inter-mode determination step A fine cost value calculating step for calculating the cost value by performing motion compensation with an accuracy of 1 pixel or less for the optimum mode detected by the method, and the fine cost value calculating step A step of intra / inter mode determination for detecting an optimum mode to be used for the encoding process by comparing the cost value by the step and the cost value by the plurality of intra prediction modes.
  • FIG. 1 is a block diagram showing an AVC encoding apparatus.
  • FIG. 2 is a block diagram showing an AVC decoding apparatus.
  • FIG. 7 is a schematic diagram used for explaining the predicted value of the motion vector related to the sub macroblock. .
  • FIG. 8 is a schematic diagram for explaining the predicted value of the motion vector according to another example.
  • FIG. 9 is a schematic diagram for explaining the temporal direct mode.
  • FIG. 10 is a block diagram showing an encoding apparatus according to Embodiment 1 of the present invention.
  • Figure 11 is a plan view used to explain the calculation of the expected value.
  • Fig. 12 is a schematic diagram used to calculate the expected value using a linear function.
  • FIG. 10 is a block diagram showing an encoding apparatus according to an embodiment of the present invention.
  • this encoding device 40 the same components as those of the encoding device 1 described above with reference to FIG. 1 are indicated by the corresponding reference numerals, and redundant description is omitted.
  • the intra prediction circuit 5 performs the cost value C ost (M ode (M ode ) Is calculated.
  • Intra prediction modes calculated in this way are all modes of 4 X 4 prediction mode and 16 X 16 prediction mode.
  • the intra-prediction circuit 5 notifies the intra-inter mode determination circuit 45 of the cost values of all the calculated prediction modes.
  • the intra / inter mode judgment circuit 4 5 When the intra coding is instructed and the optimum mode is instructed, a predicted value of the luminance signal is generated by this optimum mode and output to the subtracting circuit 4.
  • the optimum mode is detected by calculating and comparing the cost value, and the predicted value of the chrominance signal is output to the subtraction circuit 4 in this optimum mode.
  • the coarse motion prediction circuit 42 detects the motion vector with integer pixel accuracy in all the inter prediction modes, and the cost value of the coarse motion compensation position by this motion vector.
  • the coarse motion prediction circuit 42 detects motion vectors by correcting motion with accuracy of one pixel for all inter prediction modes of the luminance signal.
  • all inter prediction modes are modes other than the direct mode, which allows the coarse motion prediction circuit 42 to perform all motion compensation blocks, forward prediction, and backward prediction using all reference frames, macroblocks, and sub-macroblocks. For all combinations of prediction and bi-directional prediction directions, motion vector with integer pixel accuracy is detected.
  • MV intBit (Mode) is the predicted motion vector described above with reference to Figs. This is the amount of code used to transmit motion vector information using the tor pmv. To calculate this amount of code, it is necessary to generate the predicted motion vector pmv from the motion vector values of the surrounding blocks. In this case, if adjacent blocks A to C in Fig. 8 are macroblocks, the predicted motion vector pmv is set by detecting the optimal mode in these adjacent blocks A to C and having already performed the encoding process.
  • the motion vector value mv intX detected with integer pixel accuracy by the coarse motion prediction circuit 42 is set to the predicted motion vector pmv int, thereby making a pseudo prediction
  • the motion vector pmv is generated and the cost value C ost (M ode) is calculated.
  • the coarse motion prediction circuit 42 has a rough cost value based on the coarse motion compensation position, a surrounding compensation position based on the coarse motion compensation position, and a surrounding compensation position based on the motion compensation accuracy related to the coarse motion compensation position. Similarly, the cost value is detected and output. Specifically, in this embodiment, since the motion compensation accuracy is 1 pixel, the coarse motion prediction circuit 42 can determine the X direction and Y direction components of the motion vector related to the coarse motion compensation position. Change the value by ⁇ 1 pixel, perform motion compensation in the same way, and calculate the cost value C ost (M ode).
  • the inter mode determination circuit 43 Based on the cost value of the coarse motion compensation position detected by the coarse motion prediction circuit 42, the inter mode determination circuit 43 has a cost at the motion compensation position where the cost value is the minimum value with an accuracy of 1 pixel or less. The expected value of the value is calculated, and the optimum mode in the multiple inter prediction modes is detected by comparing the estimated value in the multiple inter prediction modes. That is, as shown in Fig.
  • the inter-mode determination circuit 43 has a minimum point in the direction connecting the coarse motion compensation position E and the two surrounding compensation positions facing each other with the coarse motion compensation position E in between.
  • the change in cost is expressed by a linear function whose sign changes, and the minimum value of the cost value is detected, and the expected value is detected based on the minimum value of the cost value. That is, in this case, the rough motion compensation position E and the rough motion compensation position E are opposed to each other in the four directions of the horizontal direction, the vertical direction, and the oblique direction passing through the rough motion compensation position E. 2
  • the direction connecting two surrounding compensation positions can be set.
  • the point with the smallest cost value is detected by linear approximation using a linear function in each of these four directions.
  • the minimum cost value C ostint (BH) in the vertical direction is detected by the intersection of the straight line L 1 passing through ostint (H) and the cost value C ostint (E).
  • various local minimum values are detected, for example, when detecting by approximation using a quadratic function instead of the method using linear approximation using a linear function.
  • the method can be widely applied.
  • x be the continuous direction of these three points B, E, and H
  • y be the cost value of these three points B, E, and H. Is obtained by substituting This can be done by solving the cubic system of equations, obtaining coefficients a, b, and c to obtain a quadratic curve equation, and detecting the minimum value from this quadratic curve equation.
  • the inter-mode decision circuit 43 can obtain each prediction mode obtained in this way. By comparing the estimated cost value C ostest (Mode) of the cost value, the prediction mode with the smallest possible value C ostest (Mode) is determined, and the optimum mode for intra prediction is detected. In the detection of the optimum mode, the reference frame described above with reference to FIG. 3, all motion compensation blocks having different sizes described with reference to FIG. 4, and the optimum mode for each macroblock based on combinations of prediction directions are used. is there . The inter mode determination circuit 43 notifies the fine motion prediction circuit 44 of the determination result.
  • the intra-inter mode decision circuit 4 5 performs the following processing to obtain a cost value that is the smallest of the various cost values output from the intra prediction circuit 5 and the motion prediction / compensation circuit 4 1.
  • the optimal mode is detected by selecting and the encoding by intra prediction and inter prediction is determined. Also, when encoding is performed by inter prediction based on the judgment result, the corresponding optimal mode is notified to the fine motion prediction circuit 4 4 of the motion prediction / compensation circuit 4 1 and detected by this fine motion prediction circuit 4 4. Instructs the output of the predicted value in the optimal mode or the output of the predicted value in the direct mode. On the other hand, when encoding is performed by intra prediction, the optimum mode related to the intra prediction is notified to the intra prediction circuit 5 to instruct the output of the predicted value.
  • Fig. 1 3 shows a series of processing of the encoding device 40 related to detection of these optimum modes It is a flowchart which shows a procedure.
  • the encoding device 40 performs this processing procedure for each macroblock, moves from step SP 1 to step SP 2, performs motion prediction with integer pixel accuracy for all of the inter prediction modes that become candidates, In the following step SP3, the cost value is calculated using the motion vector with integer pixel accuracy based on the motion prediction in step SP1.
  • step SP 4 the expected value of the cost value using this cost value is calculated as described above, and in the subsequent step SP 5, the minimum value is detected from the calculated value in this step SP 4.
  • the optimum inter prediction mode is detected.
  • the cost value is calculated by the trap calculation process using the actual FIR filter in this optimal inter prediction mode.
  • step SP 7 cost values are calculated in all modes for the direct mode, the intra 4 X 4 prediction mode, and the intra 16 X 1 6 prediction mode, and in step SP 8, the step SP 6, After selecting the optimal mode by comparing the cost values calculated by SP 7, the process proceeds to step SP 9 to end the series of processing.
  • the video signal SV sequentially input is converted into image data D 1 by the analog-digital conversion circuit 2, and this image data D 1 is arranged on the screen.
  • the data is rearranged in the processing order by the replacement buffer 3 and input to the subtraction circuit 4.
  • the image data D 1 is subtracted from the prediction values obtained by intra prediction and inter prediction to generate subtraction data D 2
  • this subtraction data D 2 is converted into an orthogonal transformation circuit 7, a quantization circuit 8, a lossless code.
  • the encoded data D4 is recorded on a recording medium by a recording system, for example.
  • the output data of the quantization circuit 8 is decoded into image data and recorded as a reference image in the frame memory 16, and the motion prediction / compensation circuit 4 1 and the intra prediction circuit 5 perform inter prediction and intra prediction based on the reference image.
  • the predicted value of is generated.
  • the image data D 1 is converted into a cost by a cost function indicating the coding efficiency in each of the inter prediction and intra prediction modes in the motion prediction / compensation circuit 4 1 and the intra prediction circuit 5.
  • the optimum mode most suitable for the encoding process is detected by comparing the cost values in each prediction mode.
  • the optimum mode is detected by comparing the cost values, and the optimum prediction mode is finally detected by the intra mode determination circuit 45 from these optimum modes.
  • the encoding device 40 determines whether to perform the encoding process using the intra prediction or the inter prediction using the optimum prediction mode. In this case, the prediction value in the optimum mode is generated by the intra prediction circuit 5 and output to the subtraction circuit 4.
  • a prediction value in the optimal mode is generated by the motion prediction / compensation circuit 41 and output to the subtraction circuit 4.
  • the encoding device 40 detects the optimum mode for each macroblock from a plurality of intra prediction modes and a plurality of inter prediction modes by comparing the cost values using the cost function indicating the coding efficiency.
  • the image data D 1 is sequentially encoded in the optimum mode.
  • the cost value of each prediction mode is calculated with integer pixel accuracy that does not require arithmetic processing using such an FIR filter, and the optimum mode of the inter prediction mode is calculated based on this cost value. Is detected.
  • a cost value with an accuracy of 1 pixel or less is calculated, and the optimal mode between the intra prediction mode and the inter prediction mode is detected.
  • only the optimal mode of inter prediction can be detected by detecting the optimal mode of multiple inter prediction modes and multiple inter prediction modes only by executing the calculation process using the FIR filter. Therefore, when the optimal mode is detected by the cost function and the image data is encoded, the optimal mode can be detected by a simple process.
  • the cost value based on this inter prediction and the cost value based on multiple intra prediction modes are the intra-inter mode decision circuit 4
  • the optimal mode is detected by judging 5 and the optimal mode of the inter prediction mode is detected based on the cost value with the accuracy of 1 pixel or more, and the cost value with the accuracy of 1 pixel or less by this optimal mode. By means of this, the optimum mode of the intra prediction mode and the inter prediction mode is detected.
  • the optimal inter prediction mode is determined from the encoding process using a combination of multiple block sizes of different sizes, different reference frames, forward prediction, backward prediction, and bidirectional prediction.
  • the optimal mode of the intra prediction mode and the inter prediction mode is detected from the cost value of the optimal inter prediction mode.
  • the cost value is obtained with an accuracy of 1 pixel or less for each inter prediction mode based on the cost value based on the coarse motion compensation position.
  • the estimated value of the cost value at the motion compensation position that is the minimum value is calculated, and the optimum mode in the multiple inter prediction modes is detected by comparing the estimated values.
  • this expected value is calculated so that a practically sufficient accuracy can be secured. It is possible to detect the optimum mode of the inter prediction mode with simple processing by setting various arithmetic processing to be provided, and accordingly, the arithmetic processing as a whole can be simplified.
  • the coarse motion prediction circuit 4 2 uses the coarse motion compensation position. Along with the cost value, a cost value is calculated at the compensation position around this coarse motion compensation position, and the intermode decision circuit 43 uses the cost value of this coarse motion compensation position and the cost value of the surrounding compensation position.
  • the expected value is calculated by reflecting the change of the cost value due to the motion compensation position, and the inter prediction mode is detected as the optimum mode based on the original cost value. Can be accurately detected.
  • the inter-mode determination circuit 43 it is minimal in the direction connecting the coarse motion compensation position and the two surrounding compensation positions that are opposed to each other with the coarse motion compensation position in between.
  • the local minimum value of the cost value By detecting the local minimum value of the cost value by expressing the change of the cost value by a linear function in which the sign of the slope changes at the point, and by detecting the expected value based on the local minimum value of the cost value, it is possible to perform simple processing.
  • the optimum mode can be detected with sufficient accuracy for practical use.
  • the expected value is detected using a quadratic function instead of the expected value using such a linear function, the optimum mode can be detected with even higher accuracy.
  • the accuracy can be further improved.
  • the optimal mode can be detected.
  • the predicted motion vector is set by using the motion vector of the adjacent motion compensation block that has already been encoded, and the motion vector information is transmitted based on the predicted motion vector. Then, it is necessary to calculate the cost value by setting the predicted motion vector for all motion vectors that are predicted to be set in this adjacent motion compensation block. However, this will increase the number of cost value calculations exponentially. As a result, in this case, the motion vector associated with the coarse motion compensation position is set as the predicted motion vector, and the cost value is calculated, thereby ensuring sufficient practical accuracy and further simplifying the processing. be able to.
  • the inter prediction mode is based on the cost value with integer pixel accuracy.
  • the optimal mode is detected by the cost function by detecting the optimal mode of the inter prediction mode and the inter prediction mode by calculating the cost value with an accuracy of 1 pixel or less for this optimal mode.
  • the optimum mode can be detected by simple processing.
  • inter prediction modes are inter prediction encoding processing in which motion compensation is performed using a plurality of block sizes having different sizes
  • inter prediction encoding processing in which motion compensation is performed using different reference frames In the case of inter prediction encoding processing by forward prediction, backward prediction and bidirectional prediction, the optimum mode can be detected by a simple process.
  • the estimated cost value at the motion compensation position where the cost value is the minimum value with an accuracy of 1 pixel or less is calculated.
  • a cost value is calculated at a compensation position around the coarse motion compensation position, along with a cost value based on the coarse motion compensation position.
  • the expected value is detected by reflecting the change in the cost value due to the motion compensation position, and the optimal mode is selected based on the original cost value.
  • the inter prediction mode detected as can be accurately detected.
  • the sign of the slope is switched at the minimum point in the direction connecting the coarse motion compensation position and the two surrounding compensation positions facing each other with the coarse motion compensation position in between.
  • the cost value is calculated based on the coarse motion compensation position with 1 pixel accuracy and the optimum mode of the inter prediction mode is detected is described.
  • the present invention is not limited to this, and is practically sufficient. If a high level of accuracy can be ensured, a rough cost value may be calculated with an integer pixel accuracy of two or more pixels.
  • the present invention is not limited to this, and by comparing cost values using cost functions indicating encoding efficiency, The present invention can be widely applied when image data is encoded by detecting the optimum mode for each macroblock from a plurality of intra prediction modes and a plurality of inter prediction modes.
  • the present invention is not limited to this, and can also be applied to the case where image data is processed by software.
  • the encoding processing and decoding processing programs related to such software for example, when provided by a network such as the Internet, when provided by various recording media such as an optical disk, a magnetic disk, and a memory card, Can be widely applied.
  • the present invention relates to an encoding device, an encoding method, an encoding method program, and a recording medium on which an encoding method program is recorded, and is applied to a video camera, an electronic still camera, a monitoring device, etc. be able to.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　本発明は、動画による撮像結果を記録するビデオカメラ、電子スチルカメラ、監視装置等に適用して、整数画素精度によるコスト値に基づいてインター予測モードの最適モードを検出し、この最適モードについて１画素以下の精度によるコスト値を計算してイントラ予測モードとインター予測モードとの最適モードを検出する。

Description

明細書
符号化装置、 符号化方法、 符号化方法のプログラム及び符号化方法のプロダラ ムを記録した記録媒体 発明の背景
技術分野
本発明は、 符号化装置、 符号化方法、 符号化方法のプログラム及び符号化方法 のプログラムを記録した記録媒体に関し、 動画による撮像結果を記録するビデオ カメラ、 電子スチルカメラ、 監視装置等に適用することができる。 本発明は、 整 数画素の精度によるコスト値に基づいてインター予測モードの最適モードを検出 し、 この最適モードについて 1画素以下の精度によりコスト値を計算してイント ラ予測モードとィンター予測モードとの最適モードを検出することにより、 コス ト関数により最適モードを検出して画像データを符号化処理する場合に、 簡易な 処理により最適モードを検出することができるようにする。 ' 背景技術
近年、 放送局、 一般家庭等に係る動画の伝送、 記録においては、 画像データの 冗長性を有効に利用して効率良く画像データを伝送、 蓄積する装置が普及しつつ あり、 このような装置は、 例えば M P E G (Moving Picture Experts Group ) 等 の方式に準拠して、 離散コサイン変換等の直交変換と動き補償とにより画像デー タをデータ圧縮するように構成されている。
ここでこのような方式の 1つである M P E G 2 (ISO/IEC 13818-2 ) は、 汎用 の画像符号化方式として定義された方式であり、 飛び越し走査方式、 順次走查方 式の双方に対応できるように、 また標準解像度画像、 高精細画像の双方に対応で きるように定義され、 これらにより現在、 プロフェッショナル用途及びコンシュ 一マー用途の広範なアプリケーションに広く用いられている。 具体的に M P E G
2によれば、 例えば 7 2 0 X 4 8 0画素による標準解像度、 飛び越し走査方式の 画像データを 4〜 8 [M b p s ] のビッ トレートにデータ圧縮して、 また 1 9 2
0 X 1 0 8 8画素による高解像度、 飛び越し走查方式の画像データを 1 8〜2 2 〔Mb p s〕 のビットレートにデータ圧縮して、 高画質で高い圧縮率を確保する ことができる。
しかしながら MP EG 2は、 放送用に適合した高画質符号化方式であり、 MP EG 1より符号量の少ない高圧縮率の符号化方式には対応していない。 これに対 して近年の携帯端末の普及により、 このような MP EG 1より符号量の少ない高 圧縮率の符号化方式のニーズの高まりが予測される。 このため MPEG4による 符号化方式の規格が、 I S。/ I E C (International Organization for Standa rdization/ international Electrotechnical Commission ) 14496— 2によ り 1 998年 12月に国際標準に承認された。
またこのような方式にあっては、 当初はテレビ会議用の画像符号化を目的とし たものであった H26 L (ITU-T Q6/16 VCEG) の規格化が進み、 MPEG2、 M PEG 4に比して演算量が増大するものの、 MPEG 2、 MP EG 4に比して高 い符号化効率を確保できるようになり、 また MP EG 4の活動の一環として、 こ の H26 Lをベースにして各種機能を取り入れ、 さらに一段と高い符号化効率を 確保する符号化方式の標準化が、 Joint Model of Enhanced- Compression Video C odingとして進められ、 これらの方式にあっては、 2003年 3月に、 H264及 ぴ MPEG— 4 P a r t 1 0 (AVC ： Advanced Video Coding ) との名称に より国際標準に設定された。
ここで第 1図は、 この A VCに基づく符号化装置を示すブロック図である。 こ の符号化装置 1は、 複数のィントラ予測モードと複数のィンター予測モードとか ら最適な予測モードを選択し、 この選択した予測モードによる予測値を画像デー タから減算して差分データを生成し、 この差分データを直交変換処理、 量子化処 理、 可変長符号化処理することにより、 この画像データをイントラ符号化、 イン ター符号化により符号化処理する。
すなわちこの符号化装置 1において、 アナログディジタル変換回路 （AZD) 2は、 ビデオ信号 SVをアナログディジタル変換処理して画像データ D 1を出力 する。 画面並べ替えバッファ 3は、 このアナログディジタル変換回路 2から出力 される画像データ D 1を入力し、 この符号化装置 1の符号化処理に係る GO P (G roup of Pictures ) 構造に応じて、 この画像データ D 1のフレームを並べ替えて 出力する。
減算回路 4は、 この画面並べ替えバッファ 3から出力される画像データ D 1を 受け、 イントラ符号化においては、 イントラ予測回路 5で生成される予測値との 差分データ D 2を生成して出力するのに対し、 インター符号化においては、 動き 予測 ·補償回路 6で生成される予測値との差分データ D 2を生成して出力する。 直交変換回路 7は、 減算回路 4の出力データ D 2を入力し、 離散コサイン変換、 力ルーネン ' レーべ変換等の直交変換処理を実行し、 その処理結果による変換係 数データ D 3を出力する。
量子化回路 8は、 レート制御回路 9のレート制御による量子化スケールにより 、 この変換係数データ D 3を量子化して出力する。 可逆符号化回路 1 0は、 この 量子化回路 8の出力データを可変長符号化、 算術符号化等により可逆符号化処理 して出力する。 また可逆符号化回路 1 0は、 イントラ符号化に係るイントラ予測 モードに関する情報、 インター符号化に係る動きべクトルに関する情報等をイン トラ予測回路 5、 動き予測，補償回路 6から取得し、 これらの情報を出力データ D 4のヘッダ情報に設定して出力する。
蓄積バッファ 1 1は、 この可逆符号化回路 1 0の出力データ D 4を蓄積して続 く伝送路の伝送速度により出力する。 レート制御回路 9は、 この蓄積バッファ 1 1の空き容量の監視により符号化処理による発生符号量を監視すると共に、 この 監視結果により量子化回路 8における量子化スケールを切り換え、 これによりこ の符号化装置 1による発生符号量を制御する。
逆量子化回路 1 3は、 量子化回路 8の出力データを逆量子化処理し、 これによ り量子化回路 8の入力データを再生する。 逆直交変換回路 1 4は、 逆量子化回路 1 3の出力データを逆直交変換処理し、 これにより直交変換回路 7の入力データ を再生する。 デブロックフィルタ 1 5は、 この逆直交変換回路 1 4の出力データ よりブロック歪を除去して出力する。 フレームメモリ 1 6は、 このデブロックフ ィルタ 1 5の出力データに、 適宜、 イントラ予測回路 5又は動き予測 ·補償回路 6により生成される予測値を加算して参照画像情報として記録する。
しかして動き予測 ·補償回路 6は、 フレームメモリ 1 6に保持された参照画像 情報による予測フレーム （参照フレーム） を基準にして画面並べ替えバッファ 3 から出力される画像データの動きべクトルを検出し、 またこの検出した動きべク トルによりフレームメモリ 1 6に保持した参照画像情報を動き補償してインター 予測の最適モードを検出する。 またインター予測により符号化処理を実行する場 合、 この最適モードにより予測画像情報を生成し、 この予測画像情報による予測 値を減算回路 4に出力する。
イントラ予測回路 5は、 イントラ符号化において、 フレームメモリ 1 6に蓄積 された参照画像情報に基づいてィントラ予測モードの最適モードを検出する。 ま たイントラ予測により符号化処理する場合には、 この最適モードにより参照画像 情報から予測画像情報の予測値を生成して減算回路 4に出力する。
これらによりこの符号化方式においては、 インター符号化とイントラ符号化と でそれぞれインター予測に係る動き補償による差分データ D 2とイントラ予測に よる差分データ D 2とを生成し、 これらの差分データ D 2を直交変換処理、 量子 化処理、 可変長符号化処理して伝送する。
第 2図は、 このようにして符号化処理された符号化データ D 4を複号化処理す る複号化装置を示すブロック図である。 この復号化装置 2 0において、 蓄積バッ ファ 2 1は、 伝送路を介して入力される符号化データ D 4を一時蓄積して出力す る。 可逆複号化回路 2 2は、 この蓄積バッファ 2 1の出力データを可変長複号化 、 算術複号化等により復号化処理し、 符号化装置 1における可逆符号化回路 1 0 の入力データを再生する。 またこのときこの出力データがイントラ符号化された ものである場合、 ヘッダに格納されたイントラ予測モードの情報を複号化してィ ントラ予測回路 2 3に伝送するのに対し、 この出力データがインター符号化され たものである場合、 ヘッダに格納された動きべクトルに関する情報を復号して動 き予測 ·補償回路 2 4へ転送する。
逆量子化回路 2 5は、 可逆復号化回路 2 2の出力データを逆量子化処理し、 こ れにより符号化装置 1の量子化回路 8に入力される変換係数データ D 3を再生す る。 逆直交変換回路 2 6は、 この逆量子化回路 2 5から出力される変換係数デー タを受け、 4次の逆直交変換処理を実行し、 これにより符号化装置 1の直交変換 回路 7に入力される差分データ D 2を再生する。
加算器 2 7は、 逆直交変換回路 2 6から出力される差分データ D 2を受け、 ィ ントラ符号化において、 イントラ予測回路 2 3で生成される予測画像による予測 値を加算して出力するのに対し、 インター符号化において、 動き予測 '捕償回路 2 4から出力される予測画像による予測値を加算して出力する。 これにより加算 器 2 7は、 符号ィヒ装置 1における減算回路 4の入力データを再生する。
デブロックフィルタ 2 8は、 この加算器 2 7の出力データよりブロック歪を除 去して出力し、 画面並べ替えバッファ 2 9は、 このデブロックフィルタ 2 8から 出力される画像データのフレームを G O P構造に応じて並べ替えて出力する。 デ イジタルアナログ変換回路 （D /A) 3 0は、 この画面並べ替えバッファ 2 9の 出力データをディジタルアナログ変換処理して出力する。
フレームメモリ 3 1は、 デブ口ックフィルタ 2 8の出力データを参照画像情報 として記録して保持する。 動き予測 ·補償回路 2 4は、 インター符号化において 、 可逆復号化回路 2 2から通知される動きべクトルの情報によりフレームメモリ 3 1に保持された参照画像情報を動き補償して予測画像による予測値を生成し、 この予測値を加算器 2 7に出力する。 またイントラ予測回路 2 3は、 イントラ符 号化において、 可逆複号化回路 2 2から通知されるイントラ予測モードによりフ レームメモリ 3 1に保持された参照画像情報より予測画像による予測値を生成し 、 この予測値を加算器 2 7に出力する。
このような AV C方式によるインター符号化においては、 Multiple Reference Framesにより、 第 3図に示すように、 処理対象のフレーム O r gに対して、 複数 の参照フレーム R e f の何れかを選択して動き補償できるように設定され、 これ により直前のフレームにおいて動き捕償のブロックに対応する部位が隠れている 場合、 さらにはフラッシュ等により直前のフレームで一時的に全体の画素値が変 動した場合等にあっても、 高い精度により動き補償してデータ圧縮効率を向上す る。
また動き補償に係るブロックにおいては、 第 4図 （A 1 ) に示すように、 1 6 画素 X 1 6画素によるプロックを基準にして動き補償するようになされているも のの、 variable MC Block Size により tree - structured motion compensation 力 サポートされており、 これにより第 4図 （A 2 ) 〜 （A 4 ) に示すように、 1 6 画素 X 1 6画素によるマクロプロックを水平方向及び又は垂直方向に 2分割して 、 1 6画素 X 8画素、 8画素 X I 6画素、 8画素 X 8画素によるサブマクロブロ ックによりそれぞれ独立に動きべクトル、 参照フレームを設定して動き補償でき るように設定されている。 また 8画素 X 8画素によるサブマクロブロックについ ては、 第 4図 （B 1) 〜 （B4) に示すように、 8画素 X 8画素、 8画素 X 4画 素、 4画素 X 8画素、 4画素 X 4画素によるサブマクロブロックにさらに分割し て、 それぞれ独立に動きベクトル、 参照フレームを設定して動き補償できるよう に設定されている。
また動き補償においては、 6タップの F I Rフィルタを用いて 1/4画素精度 により動き補償できるように設定されている。 これにより第 5図において、 符号 Aにより 1画素精度の画素値、 符号 b〜(！により 1Z2画素精度の画素値、 符号 e l〜e 3により 1ノ 4画素精度の画素値を示すように、 動き予測 ·補償回路 6 は、 始めに、 6タップの F I Rフィルタの各タップ入力を値 1、 一 5、 20、 2 0、 一 5、 1により重み付けして次式の演算処理を実行することにより、 水平方 向又は垂直方向の連続する画素間に 1 / 2画素精度による画素値 b又は dを計算 する。
F = A _„ -5■ A_,-l- 20■ A0 + 20■ A -5■ A2+ A3 b, d = CI ip1 ( ( F+16 ) » 5 ) …… い） またこのようにして計算した 1Z 2画素精度による画素値 b又は dを用いて、 6タップの F I Rフィルタの各タップ入力を値 1、 一5、 20、 20、 一 5、 1 により重み付けして次式の演算処理を実行することにより、 水平方向及び垂直方 向の連続する画素間の 1 Z 2画素精度による画素値 cを計算する。
F = b_2一 5■ b_!+ 20 - b 0 + 20 · b -5■ b2+ b3 又は
F = d _2 -5■ d _!+ 20 - d o + 20■ d -5 - d 2+ d 3 c = CI ipl ( ( F+512 ) 10 ) ……（2) またこのようにして計算した 1/2画素精度による画素値 b〜dを用いて、 直 線補間による次式の演算処理を実行することにより、 1 /4画素精度による画素 値 e l〜e 3を計算する。 なおこの （1) 式及び （2) 式の重み付け加算に係る 正規化の処理においては、 垂直方向及ぴ水平方向の全ての補間処理が完了して実 行される。 e , = ( A+ b +1 ) » 1 e 2 = ( b + d +1 ) » 1 e 3 = ( b + c +1 ) > 1 …… (3) このような輝度信号に対する動き補償の処理に対して、 色差信号に対する動き 補償は、 線型捕間により実行される。 すなわち第 6図に示すように、 画素ピッチ sによる隣接画素 A〜Dに対して、 水平方向及び垂直方向にそれぞれ内分比 dx 、 s - dx及ぴ dy 、 s - dy に係るサンプリング点に設定される画素値 Vは、 " 次式により表される。
V
( s-dx ) ( s-dy ) A + dx ( s-dy ) B + ( s-dx ) dy C + dx dy D ,
(4) AVCでは、 このようなインター予測に係る符号化の情報である動きベクトル の情報について、 連続するマクロプロック、 サブマクロブロック間の相関を有効 に利用してデータ伝送量を低減する。 すなわち AVC符号化においては、 1つの マクロブロックを複数のサブマクロブロックに分割してそれぞれ動き捕償するこ とも可能であることにより、 動きベク トルの伝送に供する符号量が増大する。 こ のためブロック毎にそれぞれ水平方向成分及び垂直方向成分についてメディアン 予測により予測動きベクトル pmv を生成し、 この予測動きベクトル pmv と実際の 動きべクトル iwとの間で次式により表される演算処理により計算される差分値の 動きべクトル情報 MVD (Motion Vector Data)を符号化して伝送する。 M V D i = m Vi - p m j ； i = 0, 1 ( 5 ) 伹し、 第 7図 （A) に示すように、 動きベクトル mvに係るプロックが、 1つの マクロブロックを水平方向に 2分割して形成される 2つのサブマクロブロックの うちの右側のサブマクロブロック Cの場合であって、 予測動きベクトル mvの検出 に係る参照フレーム refldxE 、 残る左側に隣接するサブマクロプロック Aの参 照フレーム refldxA と等しい場合、 次式により示すように、 この左側に隣接する サブマクロプロック Aで検出された動きべクトル mvA を予測動きべクトノレ pmv に ロス疋 9 -Q o
p m V = m λ o ) またこれとは逆に、 動きベクトル mvに係るブロックが、 左側のサブマクロブロ ック Aの場合であって、 予測動きべクトル mvの検出に係る参照フレーム refldxE 力 残る右側に隣接するサブマクロブロック Cの参照フレーム refldxC と等しい 場合、 次式により示すように、 この右側に隣接するサブマクロブロック Cで検出 された動きべクトル mvC を予測動きべクトル pmv に設定する。 p m V = m c ( / ) また第 7図 （B ) に示すように、 動きベクトル mvに係るブロックが、 1つのマ クロブロックを垂直方向に 2分割して形成される 2つのサブマクロブロックのう ちの上側のサブマクロブロック Cの場合であって、 予測動きべクトル mvの検出に 係る参照フレーム refldxE 力 残る下側に隣接するサブマクロブロック Bの参照 フレーム refldxA と等しい場合、 次式により示すように、 この下側に隣接するサ ブマクロブロック Bで検出された動きべクトル mvB を予測動きべクトル pmv に設 定する。 p m = m V B ( 8 ) またこれとは逆に、 動きベクトル mvに係るブロックが、 下側のサブマクロブロ ック Bの場合であって、 予測動きべクトル mvの検出に係る参照フレーム refldxE Κ 残る上側に隣接するサブマクロブロック Aの参照フレーム refldxA と等しい 場合、 次式により示すように、 この下側に隣接するサブマクロブロック Aで検出 された動きべクトル mvA を予測動きべクトル pmv に設定する。 p m V = m V 、9ノ
'
またこれら以外の場合にあっては、 第 8図 （A) に示すように、 動き補正に係 るブロック Eに対して、 隣接するブロックで検出される動きべクトルにより予測 動きベク トル pmv を生成する。 なおここでこの隣接するブロックは、 ラスタ走查 順序による水平方向の走査開始側に隣接するブロック A、 ラスタ走査の順序によ り垂直方向の走査開始側に隣接するブロック B、 このブロックの左右のブロック C、 Dである。 なおこれら隣接するブロックによる予測動きベクトル値 pmv の設 定は、 第 8図 （B ) に示すように、 この隣接するプロックがサブマクロブロック の場合、 さらには処理対象のブロックがサブマクロブロックの場合であっても適 用される。
具体的に、 各隣接ブロックの検出に係る参照フレームインデックス refldxA、 r efldxB, refldxC の値により、 動き補正に係るプロック Eとの間で参照フレーム がー致する隣接プロックが存在する場合、 次式により、 この参照フレームが一致 する隣接プロック （N=Aor B or C ) による動きべクトル mvN を予測動きべクトル pmv に設定する。 m V B = m V A
m v c = m v A ref I dxB = ref I dxA ref I dxc = ref I dxA ( 1 o ) またこれ以外の場合には、 垂直方向及び水平方向の各成分について、 次式によ り、 メディアンフィルタによる処理結果による成分を予測動きベク トル pmv の各 成分に設定する。 p m v =m v M (1 1 ) 但し、 垂直方向に隣接するブロック B、 又はこのブロック Bに続くブロック C の何れかが有意でない場合であって、 水平方向に隣接するプロック Aが有意であ る場合、 これら垂直方向に係る隣接ブロック B及び Cの動きベク トル mv及び参照 フレームインデックス refldxは、 次式により示すように、 ブロック Aによる動き ベタトル mvA及び参照フレームインデックス refldxAが代用される。 pmv=Me d ι a n (m v A , mvB , m v c ) (， 2) さらに AVCでは、 Bピクチャにおいて、 テンポラル （時間） ダイレクトモー ドと、 スペーシャル （空間） ダイレクトモードとによるダイレクトモードが設け られており、 このダイレクトモードでは動きべクトルに関する情報の伝送を中止 して符号化効率を向上する。
これによりスペーシャルダイレクトモードでは、 予測動きべクトル pmv を動き ベクトルに設定して復号化処理を実行する。 これに対してテンポラルダイレクト モードは、 動きが線形であると仮定して、 第 9図に示すように、 符号化処理を完 了した予測フレーム L 1の対応するブロック （C o— L o c a t e d B l o c k) の動きベクトル mvcol を用いた線型補間により、 処理対象の Bピクチャに係 る動きべクトル MV10及び MV11を作成する。 なお、 AVC画像圧縮情報におい ては、 これらピクチャ L 0、 L 1との間の時間情報に係るパラメータ TDが存在 しないことにより、 これに代えて P0C (Picture Order Count) が用いられる。
AVCは、 これらイントラ及びインター予測に係る予測モードに関して、 AV Cに係る J o i n t Mo d e l (AVC参照符号化方式） により、 マルチパス エンコードを前提とした H i g h C omp l e x i t y Mo d eと、 1ノ ス エンコードを前提とした L o w C omp l e x i t y Mo d eとが定義され ており、 これらの定義に従って最適モードを選択して符号化処理を実行する。 ま たこれらのモードのうち、 L ow C omp l e x i t y Mo d eでは、 符号 化効率を示すコスト関数を次式により定義し、 このコスト関数により得られるコ スト値 Co s t (Mo d e) の比較により最適モードを検出する。 Cost (Mode) = SA(T)D + SA(T)D0 (1 3) ここで SA (T) Dは、 原画像と予測画像との誤差値であり、 これら原画像と 予測画像との間の、 画素値差分値の絶対値誤差和が適用される。 また SA (T) DOは、 誤差値 SA (T) Dに与えられるオフセット値であり、 ヘッダビット、 モード判定の際の重みとなるコストによるものであり、 動きべクトル等の付加的 な情報の伝送に供するデータ量が示される。
具体的に絶対値誤差和 SADは、 各マクロブロックについて、 次式により示さ れ、 それぞれ各予測モード Mo d eにおける原画像と予測画像の差分値が適用さ れる。
SAD = |0rg( i , j)-Pred(Mode, i , j )| …… （1 4)
i=0 j=0
なおここでこの （14) 式による絶対値誤差和 SADに代えて、 次式による得 られる差分加算値を S ATD (Mode ) を用いてもよい。
15 15
SATD(mode) = \ Hadamard (Org( i , j )- Pred(Mode, i , j )) | …… （1 5) i=0 j=0
なお Ha d ama r d () は、 次式により示すように、 対象の行列にァダマー ル変換行列を掛けるアダマール変換操作である。 なおアダマール変換行列は、 （ 1 7) 式により表され、 HTは、 アダマール変換行列の転置行列である。
Hadamard (A)= HTAH (1 6)
, 1 1 1 1 ヽ
I - 1 1 -1
H = (1 7)
I I - 1 -1
1 - 1 - 1 1 ノ またオフセット値 SA (T) DOは、 前方向予測モードにおいては、 次式によ り示される。 なおここで QP O (QP) は、 量子化パラメータ QPを量子化スケ ールに変換する関数であり、 MVDFWは、 前方向予測に係る動きベクトルであ り、 Bit to code は、 この動きべクトルに係るビットストリーム上の符号量であ る。
SA(T)D0
= Q P0 (Q P) · (2 x code_numbe r_of _r ef _ i dx_f wd + B i t_to_code_ VDF ) …… ( 1 8) またオフセット値 SA (T) DOは、 後方向予測モードにおいては、 次式によ り表される。 なおここで MVDBWは、 後方向予測に係る動きベクトルである。
SA(T)D0 =QP0(QP)xBi t_to一 code JVDBW …… （19) またオフセット値 SA (T) DOは、 双方向予測モードにおいては、 次式によ り表される。 なおここで Bit to code forward Blk size, Bit to code backward Blk size は、 それぞれ前方向予測及び後方向予測に係る動き補償ブロックに関す る情報の伝送に必要なビットストリーム上における符号量である。
SA(T)D0 =
QP0(Q P)x(2xcode—圆 ber_of— ref— i dx—fwd + B i t— to—code一 for ward— B I k_s i ze + B i t一 to一 code— backward—B I k_s i ze + B i t_to_code_ VDFW
+ B i t_to_code_MVDBW ) …… （ 2 o ) またダイレクトモードにおいては、 オフセット値 S A (T) DOは、 次式によ り求められる。
SA(T)D0 =-16xQP0(QP) …… （21) またイントラ 4 X 4予測モードでは、 オフセット値 SA (T) DOは、 次式に より求められる。
SA(T)D0 =24xQP0(QP) …… （22) 因みに、 このコスト関数にあっては、 動きベク トルの探索にも適用され、 次式 により示すように、 コスト値 C o s tを最小にする動きベクトルが検出される。 Cost = SA(T)D + SA(T)D0
SA(T)D0
= QP0(QP)-( Bi ts— to一 code一 vector + 2xcode— number—of一 ref一 idex—fwd) (23) これらにより L ow C omp l e x i t y M o d eにおいて、 最適モード を検出する場合、 符号化装置 1では、 イントラ予測回路 5及び動き予測 '補償回 路 6において、 輝度信号を用いて、 それぞれィントラ符号化及びィンター符号化 の全ての予測モードのコスト値 C o s tを計算し、 このコスト値 C 0 s tの最も 小さな予測モードを選択して輝度信号の最適モードを検出する。 またこれにより イントラ符号化が選択された場合、 色差信号について、 各イントラ予測モードの コスト値を計算し、 この計算結果の比較により最も値の小さなコスト値によるィ ントラ予測モードを色差信号の最適モードに設定する。 なお輝度信号によるコス ト値の判定によりインター予測により符号化処理する場合、 色差信号は、 輝度信 号による動き補償ブロック、 動きべクトル、 参照フレームにより動き補償される 。 これらにより AVCでは、 複数のイントラ予測モード、 複数のインター予測モ 一ドから最適モードをマクロプロック毎に検出し、 この最適モードにより画像デ ータを処理して画像データを効率良く符号化処理する。
このようなコスト関数による予測モードの選択に関しては、 例えば日本特開 2 003-230149号公報等に種々の工夫が開示されている。
ところでインター符号化に係る最適モードの検出においては、 上述した 4 X 4 予測モード、 1 6 X 1 6予測モードの全てに対して、 6タップの F I Rフィルタ により動き補償してそれぞれコスト値を計算することが必要になり、 これにより 最適モードの判定に膨大な演算処理を要する問題がある。 発明の開示
本発明は以上の点を考慮してなされたもので、 コスト関数により最適モードを 検出して画像データを符号化処理する場合に、 簡易な処理により最適モードを検 出することができる符号化装置、 符号化方法、 符号化方法のプログラム及び符号 化方法のプログラムを記録した記録媒体を提案しようとするものである。
かかる課題を解決 I1るため本発明は、 符号化効率を示すコスト関数によるコス ト値の比較により、 複数のィントラ予測モード及ぴ複数のィンター予測モードか ら符号化処理に供する最適モードをマクロプロック毎に検出し、 前記最適モード により画像データを符号化処理する符号化装置に適用して、 前記インター予測モ ード毎に、 整数画素精度により動きべクトルを検出し、 前記動きべクトルによる 粗の動き捕償位置の前記コスト値を計算する粗動き予測回路と、 前記粗の動き補 償位置によるコスト値に基づいて、 前記複数のインター予測モードにおける最適 モードを検出するインターモード判定回路と、 前記インターモード判定回路によ り検出される最適モードについて、 1画素以下の精度により動き補償して前記コ ス ト値を計算する微動き予測回路と、 前記微動き予測回路によるコスト値と、 前 記複数のィントラ予測モードによるコスト値との比較により前記符号化処理に供 する最適モードを検出するィントラ 'ィンターモード判定回路とを備えるように する。
本発明の構成により、 符号化効率を示すコス ト関数によるコス ト値の比較によ り、 複数のィントラ予測モード及ぴ複数のィンター予測モードから符号化処理に 供する最適モードをマクロプロック毎に検出し、 前記最適モードにより画像デー タを符号化処理する符号化装置に適用して、 前記インター予測モード毎に、 整数 画素精度により動きべクトルを検出し、 前記動きべクトルによる粗の動き補償位 置の前記コスト値を計算する粗動き予測回路と、 前記粗の動き補償位置によるコ スト値に基づいて、 前記複数のインター予測モードにおける最適モードを検出す るインターモード判定回路と、 前記インターモード判定回路により検出される最 適モ一ドについて、 1画素以下の精度により動き補償して前記コスト値を計算す る微動き予測回路と、 前記微動き予測回路によるコスト値と、 前記複数のイント ラ予測モードによるコスト値との比較により前記符号化処理に供する最適モード を検出するイントラ ·ィンターモード判定回路とを備えるようにすれば、 全ての インター予測モードについて、 1画素以下の精度により動き補償してコスト値を 計算しなくても、 インター予測モードの最適モードについてのみ 1画素以下の精 度によりコス ト値を計算すればよく、 その分、 コス ト関数により最適モードを検 出して画像データを符号化処理する場合に、 簡易な処理により最適モードを検出 することができる。
また本発明は、 符号化効率を示すコスト関数によるコスト値の比較により、 複 数のィントラ予測モ一ド及び複数のィンター予測モードから符号化処理に供する 最適モードをマクロブロック毎に検出し、 前記最適モードにより画像データを符 号化処理する符号化方法に適用して、 前記インター予測モード毎に、 整数画素精 度により動きべクトルを検出し、 前記動きべクトルによる粗の動き捕償位置の前 記コスト値を計算する粗コスト値計算ステップと、 前記粗の動き補償位置による コスト値に基づいて、 前記複数のィンター予測モードにおける最適モードを検出 するインターモードの判定ステップと、 前記インターモードの判定ステップによ り検出される最適モードについて、 1画素以下の精度により動き補償して前記コ スト値を計算する微コスト値計算ステップと、 前記微コスト値計算ステップによ るコスト値と、 前記複数のイントラ予測モードによるコスト値との比較により前 記符号化処理に供する最適モードを検出するイントラ ·ィンターモード判定のス テツプとを有するようにする。
これにより本発明の構成によれば、 コスト関数により最適モードを検出して画 像データを符号化処理する場合に、 簡易な処理により最適モードを検出すること ができる符号化方法を提供することができる。
また本発明は、 符号化効率を示すコスト関数によるコスト値の比較により、 複 数のイントラ予測モード、 複数のインター予測モードから最適モードをマクロブ 口ック毎に検出する最適モード検出のステップと、 前記最適モードにより画像デ ータを符号化処理する符号化処理のステップとを有する符号化方法のプログラム に適用して、 前記最適モード検出のステップは、 前記インター予測モード毎に、 整数画素精度により動きべクトルを検出し、 前記動きべクトルによる粗の動き補 償位置の前記コスト値を計算する粗コスト値計算ステップと、 前記粗の動き補償 位置によるコスト値に基づいて、 前記複数のインター予測モードにおける最適モ 一ドを検出するインターモードの判定ステップと、 前記インターモードの判定ス テップにより検出される最適モードについて、 1画素以下の精度により動き補償 して前記コスト値を計算する微コスト値計算ステップと、 前記微コスト値計算ス テツプによるコスト値と、 前記複数のィントラ予測モードによるコスト値との比 較により前記符号化処理に供する最適モードを検出するイントラ ·インターモー ド判定のステップとを有するようにする。
これにより本発明の構成によれば、 コスト関数により最適モードを検出して画 像データを符号化処理する場合に、 簡易な処理により最適モードを検出すること ができる符号化方法のプログラムを提供することができる。
また本発明は、 演算処理手段により実行される符号化方法のプログラムを記録 した記録媒体に適用して、 前記符号化方法のプログラムは、 符号化効率を示すコ スト関数によるコスト値の比較により、 複数のイントラ予測モード、 複数のイン ター予測モードから最適モードをマクロプロック毎に検出する最適モード検出の ステップと、 前記最適モードにより画像データを符号化処理する符号化処理のス テツプとを有し、 前記最適モード検出のステップは、 前記インター予測モード毎 に、 整数画素精度により動きベク トルを検出し、 前記動きベクトルによる粗の動 き補償位置の前記コスト値を計算する粗コスト値計算ステップと、 前記粗の動き 捕償位置によるコスト値に基づいて、 前記複数のインター予測モードにおける最 適モードを検出するインターモードの判定ステップと、 前記インターモードの判 定ステップにより検出される最適モードについて、 1画素 下の精度により動き 補償して前記コスト値を計算する微コスト値計算ステップと、 前記微コスト値計 算ステップによるコスト値と、 前記複数のイントラ予測モードによるコスト値と の比較により前記符号化処理に供する最適モードを検出するイントラ ·インター モード判定のステップとを有するようにする。
これにより本発明の構成によれば、 コスト関数により最適モードを検出して画 像データを符号化処理する場合に、 簡易な処理により最適モードを検出すること ができる符号化方法のプログラムを記録した記録媒体を提供することができる。 本発明によれば、 コスト関数により最適モードを検出して画像データを符号化 処理する場合に、 簡易な処理により最適モードを検出することができる。 図面の簡単な説明 ' 第 1図は、 A V C方式の符号化装置を示すプロック図である。
第 2図は、 A V C方式の復号化装置を示すプロック図である。
第 3図は、 A V C方式の参照フレームの説明に供する略線図である。
第 4図は、 AV C方式の動き補償の説明に供する略線図である。
第 5図は、 AV C方式の動き捕償精度の説明に供する略線図である。
第 6図は、 色差信号の動き補償の説明に供する略線図である。
第 7図は、 サブマクロブロックに係る動きべクトルの予測値の説明に供する略 線図である。 .
第 8図は、 他の例による動きべクトルの予測値の説明に供する略線図である。 第 9図は、 テンポラルダイレクトモードの説明に供する略線図である。
第 1 0図は、 本発明の実施例 1に係る符号化装置を示すブロック図である。 第 1 1図は、 見込み値の計算の説明に供する平面図である。
第 1 2図は、 一次関数による見込み値の計算に供する略線図である。
第 1 3図は、 第 1 0図の符号化装置における最適モード検出の処理手順を示す フローチャートである。 発明を実施するための最良の形態
以下、 適宜図面を参照しながら本発明の実施例を詳述する。
( 1 ) 実施例の構成
第 1 0図は、 本発明の実施例に係る符号化装置を示すブロック図である。 この 符号化装置 4 0において、 第 1図について上述した符号化装置 1と同一の構成は 、 対応する符号を付して示し、 重複した説明は省略する。
これによりこの符号化装置 4 0において、 イントラ予測回路 5は、 輝度信号の 全てのイントラ予測モードについて、 マクロブロック単位で、 （1 3 ) 式につい て上述したコスト関数によるコスト値 C o s t (M o d e ) を計算する。 なおこ のようにして計算されるイントラ予測モードは、 4 X 4予測モード、 1 6 X 1 6 予測モードの全てのモードである。 イントラ予測回路 5は、 この計算した全ての 予測モードのコスト値をイントラ 'インターモード判定回路 4 5に通知する。 ま たこのコスト値の通知によりこのイントラ ·インターモード判定回路 4 5力 らィ ントラ符号化が指示されて最適モードが指示されると、 この最適モードにより輝 度信号の予測値を生成して減算回路 4に出力する。 また色差信号について、 コス ト値の計算、 比較により最適モードを検出し、 この最適モードにより色差信号の 予測値を減算回路 4に出力する。
動き予測 '補償回路 41は、 フレームメモリ 16に保持された参照画像情報に よる予測フレーム （参照フレーム） を基準にして画面並べ替えバッファ 3から出 力される画像データの動きベクトルを検出する。 またこの検出した動きベク トル による補償位置によりフレームメモリ 1 6に保持した参照画像情報を動き補償し てコスト値を計算すると共に、 このコスト値より最小値を検出することにより、 ダイレクトモードを除くインター予測の最適モードを検出する。 またインタ一予 測により符号化処理を実行する場合、 この最適モードにより予測画像情報を生成 し、 この予測画像情報による予測値を減算回路 4に出力する。
すなわち動き予測 ·補償回路 4 1において、 粗動き予測回路 42は、 全てのィ ンター予測モードについて、 整数画素精度により動きベク トルを検出し、 この動 きべクトルによる粗の動き補償位置のコスト値を計算する。 具体的に粗動き予測 回路 42は、 輝度信号の全てのインター予測モードについて、 1画素の精度によ り動き捕正して動きベクトルを検出する。 なお全てのインター予測モードは、 ダ ィレクトモードを除く各モードであり、 これにより粗動き予測回路 42は、 全て の参照フレーム、 マクロブロック及びサブマクロブロックによる全ての動き補償 ブロック、 前方向予測、 後方向予測、 双方向予測の全ての予測方向の組み合わせ について、 動き予測して整数画素精度の動きべクトルを検出する。
粗動き予測回路 42は、 この整数画素精度による動きベク トルを用いて、 マク ロブロック単位で、 全てのインター予測モードについて、 （13) 式について上 述したコス ト関数によるコス ト値 C 0 s t (Mo d e) を計算して出力する。 な おここでこの場合、 コスト値は次式により表される。 なお以下において、 この粗 の動き補償位置によるコスト値を、 適宜、 粗のコスト値と呼ぶ。
Cost_int (Mode) = SA(T)D + QP2Quant - MV_intBit (Mode) …… (24) ここで MV intBit (Mode) は、 第 7図及び第 8図について上述した予測動きべク トル pmv により動きベク トルの情報の伝送に供する符号量であり、 この符号量の 計算には、 周辺ブロックの動きべクトル値から予測動きべクトル pmv を生成する ことが必要になる。 この場合に第 8図における隣接プロック A〜Cがマクロブロ ックである場合、 これら隣接プロック A〜Cでは最適モードが検出されて既に符 号化処理されていることにより、 予測動きベクトル pmv を設定することができる しかしながらこれら隣接ブロック A〜Cが、 処理対象のプロック Eと同一のマ クロブロックに属している場合、 ここではこれら隣接プロック A〜Cにあっては 未だ最適モードを判定していないことにより動きべクトルが未だ確定していない ことになる。 これによりこの場合、 処理対象のブロックにおいて、 粗動き予測回 路 4 2により整数画素精度で検出される動きべクトル値 mv intX を予測動きべク トル pmv int に設定し、 これにより擬似的な予測動きべクトル pmv を生成してコ スト値 C o s t (M o d e ) を計算する。
さらに粗動き予測回路 4 2は、 このような粗の動き補償位置による粗のコスト 値と共に、 粗の動き埔償位置の周囲、 この粗の動き補償位置に係る動き補償精度 による周囲の補償位置について、 同様にしてコスト値を検出して出力する。 具体 的にこの実施例においては、 この動き補償精度が 1画素であることにより、 粗動 き予測回路 4 2は、 粗の動き補償位置に係る動きべクトルの X方向及び Y方向成 分について、 値を ± 1画素だけ変化させて、 同様に動き補償し、 コスト値 C o s t (M o d e ) を計算する。
インターモード判定回路 4 3は、 この粗動き予測回路 4 2で検出される粗の動 き補償位置によるコスト値に基づいて、 1画素以下の精度によりコスト値が最小 値となる動き補償位置におけるコスト値の見込み値を計算し、 複数のインタ一予 測モードにおけるこの見込み値の比較により、 複数のィンター予測モードにおけ る最適モードを検出する。 すなわち第 1 1図に示すように、 このように粗の動き 捕償位置 E及びその周囲の補償位置 A〜D、 F〜 Iにおけるコスト値 C 0 s t ( M o d e ) を C o s t i n t (X) ： X = A〜 Iで表すとして、 次式の関係式 が成立する場合、 1 4画素精度により動き予測した場合のコスト値最小の点は 、 補償位置 Bと粗の動き捕償位置 Eとの間に存在すると判断される。 Cost_int (B)< Cost— int(H) (25) これによりインターモード判定回路 4 3は、 このような粗の動き補償位置によ るコスト値と周囲の補償位置によるコスト値とから、 コスト値の見込み値を計算 する。 具体的にインターモード判定回路 4 3は、 粗の動き補償位置 Eと、 粗の動 き補償位置 Eを間に挟んで対向する 2つの周囲の補償位置とを結ぶ方向について 、 極小点で傾きの符号が切り換わる一次関数によりコスト儘の変化を表してコス ト値の極小値を検出し、 このコスト値の極小値に基づいて見込み値を検出する。 すなわちこの場合、 粗の動き補償位置 Eを通る水平方向、 垂直方向、 斜め方向 の 4方向について、 このような粗の動き補償位置 Eと、 粗の動き補償位置 Eを間 に挟んで対向する 2つの周囲の補償位置とを結ぶ方向を設定できる。 ここでは、 第 1 2図に示すように、 これら 4方向の各方向について、 コスト値最小の点を一 次関数による直線近似により検出する。 すなわちインターモード判定回路 4 3は 、 例えば垂直方向については、 周囲の補償位置 Bのコスト値 C o s t i n t (B ) と対向する補償位置 Hのコスト値 C o s t i n t (H) とを比較して値の大 きなコス ト値を選択することにより、 コスト最小の点が、 粗の動き補償位置 Eの 点 B側に存在するか、 粗の動き捕償位置 Eの点 H側に存在するかを判定する。 またこのようにして選択した値の大きな側のコスト値 C o s t i n t (H) と、 粗の動き補償位置 Eのコス ト値 C o s t i n t (E) とを結ぶ直線 L Iの 傾きひ 1を検出する。 インターモード判定回路 4 3は、 この傾き 1の符号を切 り換えた傾き α 2 ( = - 1 ) により値の小さな側のコスト値 C o s t i n t (B) を通る直線 L 2と、 コス ト値 C o s t i n t (H) とコス ト値 C o s t i n t (E) とを通る直線 L 1との交点により、 この垂直方向についてのコス ト値の最小値 C o s t i n t (BH) を検出する。
なおこのようなコスト値の最小値の検出にあっては、 一次関数を用いた直線近 似による方法に代えて、 例えば 2次関数を用いた近似により検出する場合等、 種 々の極小値検出手法を広く適用することができる。 なお 2次関数の近似により検 出する場合、 これら 3つの点 B、 E、 Hの連続する方向を x、 これら 3つの点 B 、 E、 Hのコス ト値を yとおいて、 これら X及び yを次式の関係式に代入して得 られる 3次の連立方程式を解いて係数 a、 b、 cを求めて 2次曲線式を得、 この 2次曲線式から極小値を検出することにより実行することができる。 y = ax' +bx + c (26) インターモード判定回路 43は、 このようにして粗の動き補償位置 Eを通る水 平方向、 垂直方向、 斜め方向の 4方向について、 それぞれコス ト値の最小値 C o s t i n t (DF) 、 C o s t i n t (BH) 、 C o s t i n t (A I) 、 C o s t i n t (CG) を求め、 次式の演算処理により、 この 4つのコスト 値の最小値からさらに最小値を検出することにより、 当該モードに対するコスト 値の見込み値 C o s t e s t (Mo d e) を検出する。 なおこのような 4方向 によるコス ト値最小値の処理による見込み値 C o s t e s t (Mo d e) の計 算に代えて、 3方向によりコスト値最小値を処理して見込み値 C o s t e s t (Mo d e) を計算するようにしてもよい。 なおこの場合、 例えば垂直方向及び 水平方向においてコスト値が最小値となる位置に応じて、 2つの斜め方向の何れ かの方向についてのみコス ト値の最小値を検出すること等が考えられる。 また実 用上十分な精度を確保できる場合には、 粗の動き補償位置と、 対向する 2つの周 囲の補償位置とを結ぶ直線が直交する関係にある組み合わせだけで見込み値を検 出するようにしてもよい。
Cost_est ( Mode)
r Ί
= min{ Cost— est (BH), Cost— est (DF), Cost_est ( A I ) , Cost— est (CG)j …… （27) インターモード判定回路 43は、 このようにして得られる各予測モードに係る コス ト値の見込み値 C o s t e s t (Mo d e) の比較により、 最も見込み値 C o s t e s t (Mo d e) の小さな予測モードを判定し、 イントラ予測に係 る最適モードを検出する。 なおこの最適モードの検出にあっては、 第 3図につい て上述した参照フレーム、 第 4図について上述した大きさの異なる全ての動き補 償ブロック、 予測方向の組み合わせによるマクロブロック毎の最適モードである 。 インターモード判定回路 43は、 この判定結果を微動き予測回路 44に通知す る。 微動き予測回路 4 4は、 この通知に係る予測モードについてのみ、 第5図につ いて上述した 1 Z 4画素精度による動き予測の処理を実行し、 （1 3 ) 式により 真のコスト値を計算する。 またこのようにして検出される予測モードにより双方 向予測してダイレクトモードを適用可能な場合には、 1 / 4画素精度による動き 予測の処理を実行し、 （1 3 ) 式によりコスト値を計算する。 微動き予測回路 4 4は、 このようにして計算したコスト値をイントラ .インターモード判定回路 4 5に通知する。 またこのイントラ ·ィンターモード判定回路 4 5力ゝらィンタ一予 測による符号化が指示されると、 この指示による最適モードにより輝度信号及び 色差信号の予測値を生成して減算回路 4に出力する。
イントラ 'インターモード判定回路 4 5は、 次式の演算処理を実行することに より、 イントラ予測回路 5、 動き予測 ·補償回路 4 1から出力される各種のコス ト値より最も値の小さなコスト値を選択して最適モードを検出し、 イントラ予測 、 インター予測による符号化を判定する。 また判定結果によりインター予測によ り符号化処理する場合には、 対応する最適モードを動き予測 ·捕償回路 4 1の微 動き予測回路 4 4に通知し、 この微動き予測回路 4 4で検出された最適モードに よる予測値の出力、 またはダイレクトモードによる予測値の出力を指示する。 こ れに対してィントラ予測により符号化処理する場合には、 ィントラ予測に係る最 適モードをィントラ予測回路 5に通知して予測値の出力を指示する。
Best— Mode = argm i n ( Cost ( Mode ) )
Mode
Mode e { Best—I nter— Mode , D i rect—Mode , I ntra4x4 , I ntra16x16 } ( 2 8 ) しかして第 1 3図は、 これら最適モードの検出に係る符号化装置 4 0の一連の 処理手順を示すフローチャートである。 符号化装置 4 0は、 マクロブロック毎に この処理手順を実行してステップ S P 1からステップ S P 2に移り、 候捕となる インター予測モードの全てに対して整数画素精度による動き予測を実行し、 続く ステップ S P 3において、 ステップ S P 1の動き予測による整数画素精度による 動きべクトルを用いてそれぞれコスト値を計算する。 また続くステップ S P 4に おいて、 このコスト値を用いたコスト値の見込み値を上述したようにして算出し 、 続くステップ S P 5において、 このステップ S P 4の算出値より最小値を検出 して最適インター予測モードを検出する。 また続くステップ S P 6において、 こ の最適インター予測モードにより実際の F I Rフィルタを用いた捕間演算処理に よりコスト値を計算する。
また続くステップ S P 7において、 ダイレクトモード、 イントラ 4 X 4予測モ ード、 イントラ 1 6 X 1 6予測モードについてそれぞれ全てのモードでコス ト値 を計算し、 続くステップ S P 8において、 ステップ S P 6、 S P 7の計算による コスト値の比較により最適モードを選択した後、 ステップ S P 9に移って一連の 処理を終了する。
( 2 ) 実施例の動作
以上の構成において、 この符号化装置 4 0 (第 1 0図） において、 順次入力さ れるビデオ信号 S Vは、 アナログディジタル変換回路 2により画像データ D 1に 変換され、 この画像データ D 1が画面並べ替えバッファ 3により処理の順序に並 ベ替えられて減算回路 4に入力される。 ここで画像データ D 1は、 イントラ予測 、 インター予測による予測値との間で減算されて減算データ D 2が生成され、 こ の減算データ D 2が直交変換回路 7、 量子化回路 8、 可逆符号化回路 1 0で順次 処理されて符号化データ D 4に変換され、 この符号化データ D 4が例えば記録系 により記録媒体に記録される。 また量子化回路 8の出力データが、 画像データに 復号されてフレームメモリ 1 6に参照画像として記録され、 この参照画像より動 き予測 ·補償回路 4 1、 イントラ予測回路 5でインター予測、 イントラ予測の予 測値が生成される。
これら一連の処理において、 画像データ D 1は、 動き予測 '補償回路 4 1、 ィ ントラ予測回路 5において、 それぞれインター予測、 イントラ予測の各予測モー ドについて、 符号化効率を示すコス ト関数によりコス ト値が求められ、 イントラ 予測については、 各予測モードにおけるコス ト値の比較により、 最も符号化処理 に適した最適モードが検出される。 またインター予測についても、 同様にコス ト 値の比較により最適モードが検出され、 これら最適モードより、 イントラ 'イン ターモード判定回路 4 5において、 最終的に最適な予測モードが検出される。 こ れにより符号化装置 4 0では、 この最適な予測モードによりイントラ予測、 イン タ一予測の何れの予測方式により符号化処理するかが決定され、 イントラ予測に よる場合には、 ィントラ予測回路 5で最適モードによる予測値が生成されて減算 回路 4に出力される。 またインター予測による場合には、 動き予測 '補償回路 4 1で最適モードによる予測値が生成されて減算回路 4に出力される。 これらによ り符号化装置 4 0では、 符号化効率を示すコスト関数によるコスト値の比較によ り、 複数のイントラ予測モード、 複数のインター予測モードから最適モードがマ クロプロック毎に検出され、 この最適モードにより画像データ D 1を順次符号化 処理する。
しかしてこれらの処理において、 ィンター予測モードの最適モードを検出する 場合に、 本来のコス ト値を各予測モード毎に計算していたのでは、 1 4画素精 度の動き捕償に係る 6タップの F I Rフィルタを用いた演算処理が必要なことに より、 著しく演算処理が煩雑になる。
このためこの実施例においては、 このような F I Rフィルタを用いた演算処理 を必要としない整数画素精度により各予測モードのコス ト値が計算され、 このコ スト値に基づいてインター予測モードの最適モードが検出される。 またこの最適 モードについて、 1画素以下の精度によるコスト値を計算してイントラ予測モー ドとインター予測モードとの最適モードが検出される。 これによりこの実施例に おいては、 インター予測の最適モードについてだけ、 F I Rフィルタを用いて演 算処理を実行するだけで複数のィンター予測モードと複数のィントラ予測モード との最適モードを検出することができ、 その分、 コスト関数により最適モードを 検出して画像データを符号化処理する場合に、 簡易な処理により最適モードを検 出することができる。
すなわちこの符号化装置 4 0では、 粗動き予測回路 4 2において、 1画素の動 きべクトル検出精度により動きべクトルを検出し、 この動きべクトルによりコス 卜値がィンター予測モードの各予測モード毎に検出される。 またィンターモード 判定回路 4 3において、 この動きベクトルに係る粗の動き捕償位置によるコスト 値に基づいて、 複数のインター予測モードにおける最適モードが検出され、 微動 き予測回路 4 4において、 この最適モードについて、 1画素以下の精度により動 き補償してコスト値が計算される。 またこのインター予測によるコスト値と複数 のイントラ予測モードによるコスト値とがイントラ 'インターモード判定回路 4 5により判定されて最適モードが検出され、 これらにより 1画素以上の精度によ るコスト値に基づいてインター予測モードの最適モードが検出され、 この最適モ 一ドによる 1画素以下の精度によるコスト値によりイントラ予測モードとインタ —予測モードとの最適モードが検出される。
具体的にこれらの処理によりインター予測モードについては、 大きさの異なる 複数のプロックサイズ、 異なる参照フレーム、 前方向予測、 後方向予測及び双方 向予測の組み合わせによる符号化処理から最適なインター予測モードが検出され 、 この最適なインター予測モードのコスト値からイントラ予測モードとインター 予測モードとの最適モードが検出される。
より具体的に、 この符号化装置 4 0では、 インターモード判定回路 4 3におい て、 インター予測モード毎に、 粗の動き補償位置によるコス ト値に基づいて、 1 画素以下の精度によりコスト値が最小値となる動き捕償位置におけるコスト値の 見込み値が計算され、 またこの見込み値の比較により、 複数のインター予測モー ドにおける最適モードが検出される。 これによりこの実施例においては、 1画素 以上の画素精度によるコスト値から 1画素以下の動き補償精度によるコスト値を 検出する場合に、 実用上十分な精度を確保できるようにこの見込み値の算出に供 する演算処理を種々に設定して簡易な処理によりインター予測モードの最適モー ドを検出することができ、 その分、 全体としての演算処理を簡略化することがで 、 さる。
またこのように 1画素以上の画素精度によるコスト値から 1画素以下の動き補 償精度によるコスト値を検出する場合に、 この実施例では粗の動き予測回路 4 2 により、 粗の動き補償位置によるコス ト値と共に、 この粗の動き補償位置の周囲 の補償位置でコス ト値を計算し、 インターモード判定回路 4 3により、 この粗の 動き補償位置によるコスト値と、 周囲の補償位置のコスト値とから見込み値を計 算するように構成され、 これにより動き補償位置によるコスト値の変化を反映さ せて見込み値を検出して、 本来のコスト値により最適モードとして検出されるィ ンター予測モードを正確に検出することができる。
またインターモード判定回路 4 3において、 粗の動き補償位置と、 粗の動き補 償位置を間に挟んで対向する 2つの周囲の補償位置とを結ぶ方向について、 極小 点で傾きの符号が切り換わる一次関数によりコスト値の変化を表してコスト値の 極小値を検出し、 このコスト値の極小値に基づいて見込み値を検出することによ り、 簡易な処理により実用上十分な精度で最適モードを検出することができる。 またこのような一次関数を用いた見込み値の検出に代えて、 二次関数を用いて 見込み値を検出するようにすれば、 さらに一段と高い精度により最適モードを検 出することができる。
またこのような対向する 2つの周囲の補償位置を切り換えて、 極小値を複数検 出し、 この複数の極小値の最小値より、 見込み値を検出することによつても、 一 段と高い精度により最適モードを検出することができる。
また実用上十分な精度を確保できる場合には、 例えばこのような粗の動き補償 位置と、 対向する 2つの周囲の補償位置とを結ぶ直線が直交する関係にある組み 合わせ間で対向する 2つの周囲の捕償位置を切り換えて、 極小値を複数検出する ようにすれば、 一段と簡易な処理により最適モードを検出することができる。 またこのようにして 1画素精度によりコスト値を計算する場合に、 この実施例 では、 隣接する動き補償ブロックと処理対象の動き補償ブロックとが同一のマク ロブロックである場合、 粗の動き補償位置に係る動きべクトルを予測動きべクト ルに設定してコスト値を計算することにより、 一段と処理を簡略化することがで さる。
すなわちこの場合、 既に符号化処理された隣接する動き補償ブロックの動きべ クトルにより予測動きべクトルを設定し、 この予測動きべクトルを基準にして動 きベク トルの情報を伝送することにより、 本来ならば、 この隣接する動きネ膚償ブ ロックに設定が予測される全ての動きべクトルについて予測動きべクトルを設定 してコスト値を計算することが必要になる。 しかしながらこのようにすると、 コ スト値の計算回数が指数関数的に増大することになる。 これによりこの場合、 粗 の動き補償位置に係る動きべク トルを予測動きべク トルに設定してコスト値を計 算することにより、 実用上十分な精度を確保して一段と処理を簡略化することが できる。
( 3 ) 実施例の効果
以上の構成によれば、 整数画素精度によるコスト値に基づいてインター予測モ 一ドの最適モードを検出し、 この最適モードについて 1画素以下の精度によるコ スト値を計算してィントラ予測モードとインター予測モードとの最適モードを検 出することにより、 コスト関数により最適モードを検出して画像データを符号化 処理する場合に、 簡易な処理により最適モードを検出することができる。
これによりこれらインター予測モードが、 大きさの異なる複数のブロックサイ ズにより動き捕償するインター予測符号化処理である場合、 異なる参照フレーム を用いて動き補償するィンター予測符号化処理である場合、 さらには前方向予測 、 後方向予測及び双方向予測によるインター予測符号化処理である場合に、 簡易 な処理により最適モードを検出することができる。
またこのとき、 インター予測モード毎に、 粗の動き補償位置によるコスト値に 基づいて、 1画素以下の精度によりコスト値が最小値となる動き補償位置におけ るコスト値の見込み値を計算し、 複数のインター予測モードにおける見込み値の 比較により、 複数のィンター予測モードにおける最適モードを検出することによ り、 この見込み値の算出に供する演算処理を種々に設定して簡易な処理によりィ ンター予測モードの最適モードを検出することができ、 その分、 全体としての演 算処理を簡略化することができる。
より具体的には、 粗の動き補償位置によるコス ト値と共に、 粗の動き補償位置 の周囲の捕償位置でコスト値を計算し、 この粗の動き補償位置によるコスト値と
、 周囲の補償位置のコス ト値とから見込み値を計算することにより、 動き補償位 置によるコス ト値の変化を反映させて見込み値を検出して、 本来のコス ト値によ り最適モードとして検出されるインター予測モードを正確に検出することができ る。
またインターモード判定回路 4 3において、 粗の動き補償位置と、 粗の動き補 償位置を間に挟んで対向する 2つの周囲の補償位置とを結ぶ方向について、 極小 点で傾きの符号が切り換わる一次関数によりコスト値の変化を表してコスト値の 極小値を検出し、 このコスト値の極小値に基づいて見込み値を検出することによ り、 簡易な処理により実用上十分な精度で最適モードを検出することができる。 また一次関数に代えて、 二次関数を用いて見込み値を検出することにより、 一 段と高い精度により最適モードを検出することができる。 またこのような対向する 2つの周囲の補償位置を切り換えて、 極小値を複数検 出し、 この複数の極小値の最小値より、 見込み値を検出することにより、 一段と 高い精度により最適モ^"ドを検出することができる。
またこのような切り換えを、 粗の動き補償位置と、 対向する 2つの周囲の補償 位置とを結ぶ直線が直交する関係にある組み合わせ間で実行するようにすれば、 一段と簡易な処理により最適モードを検出することができる。
しかしてこのようにして得られる見込み値から最小値でなる見込み値のィンタ 一予測モードを検出することにより、 簡易な処理により複数のィンター予測モー ドにおける最適モードを検出することができる。
またこのようなコスト値の計算に供するコスト関数が、 原画像と予測画像との 誤差値に対して、 動きベク トルの伝送に供する符号量を与える関数であり、 この 動きべクトルの伝送が、 既に符号化処理された隣接する動き捕償ブロックの動き ベタトルにより予測動きべクトルを設定し、 この予測動きべクトルを基準にした 動きべクトルの伝送である場合に、 隣接する動き補償ブロックと処理対象の動き 補償ブロックとが同一のマクロブロックである場合、 粗動き補償回路で検出され る粗の動き補償位置に係る動きべクトルを予測動きべクトルに設定してコスト値 を計算することにより、 一段と処理を簡略化することができる。
( 4 ) 他の実施例
なお上述の実施例においては、 1画素精度の粗の動き補償位置によりコスト値 を計算してインター予測モードの最適モードを検出する場合について述べたが、 本発明はこれに限らず、 実用上十分な精度を確保できる場合には 2画素以上の整 数画素精度により粗のコスト値を計算するようにしてもよレ、。
また上述の実施例においては、 6タップの F I Rフィルタを用いて輝度信号を 1 / 4画素精度により動き補償する場合について述べたが、 本発明はこれに限らず 、 種々のタップ数の F I Rフィルタにより 1画素以下の精度により動き補償する 場合、 さらには、 色差信号を同様に動き補償する場合等を広く適用することがで ぎる。
また上述の実施例においては、 A V Cにおける L o w C o m p l e x i t y M o d eに本発明を適用する場合について述べたが、 本発明はこれに限らず、 H i g h C o m p l e x i t y M o d eに適用するようにしてもよい。
また上述の実施例においては、 本発明を A V Cによる符号化装置に適用する場 合について述べたが、 本発明はこれに限らず、 符号化効率を示すコスト関数によ るコスト値の比較により、 複数のイントラ予測モード、 複数のインター予測モー ドから最適モードをマクロプロック毎に検出して画像データを符号化処理する場 合に広く適用することができる。
また上述の実施例においては、 本発明をハードウエアの構成に適用する場合に ついて述べたが、 本発明はこれに限らず、 画像データをソフトウェアにより処理 する場合にも適用することができる。 なおこのようなソフトウェアに係る符号化 処理、 復号化処理のプログラムにおいては、 例えばインターネット等のネットヮ ークにより提供する場合、 光ディスク、 磁気ディスク、 メモリカード等、 種々の 記録媒体により提供する場合に、 広く適用することができる。 産業上の利用可能性
本発明は、 符号化装置、 符号化方法、 符号化方法のプログラム及び符号化方法 のプログラムを記録した記録媒体に関し、 動画による撮像結果を記録するビデオ カメラ、 電子スチルカメラ、 監視装置等に適用することができる。

Claims

請求の範囲
1 . 符号化効率を示すコスト関数によるコスト値の比較により、 複数のイントラ 予測モード及び複数のィンター予測モードから符号化処理に供する最適モードを マクロブロック毎に検出し、 前記最適モードにより画像データを符号化処理する 符号化装置において、 '
前記インター予測モード毎に、 整数画素精度により動きベク トルを検出し、 前 記動きべクトルによる粗の動き補償位置の前記コスト値を計算する粗動き予測回 路と、
前記粗の動き補償位置によるコスト値に基づいて、 前記複数のインター予測モ 一ドにおける最適モードを検出するィンターモード判定回路と、
前記インターモード判定回路により検出される最適モードについて、 1画素以 下の精度により動き捕償して前記コスト値を計算する微動き予測回路と、
前記微動き予測回路によるコスト値と、 前記複数のィントラ予測モードによる コスト値との比較により前記符号化処理に供する最適モードを検出するイントラ 'インターモード判定回路と
を備えることを特徴とする符号化装置。
2 . 前記複数のインター予測モードが、
大きさの異なる複数のブロックサイズにより動き補償するインタ一予測符号化 処理である
ことを特徴とする請求の範囲第 1項に記載の符号化装置。
3 . 前記複数のインター予測モードが、
異なる参照フレームを用いて動き補償するィンタ一予測符号化処理である ことを特徴とする請求の範囲第 1項に記載の符号化装置。
4 . 前記複数のィンター予測モードが、
前方向予測、 後方向予測及び双方向予測によるィンター予測符号化処理である ことを特徴とする請求の範囲第 1項に記載の符号化装置,
5 . 前記インターモード判定回路は、
前記インター予測モード毎に、 前記粗の動き補償位置によるコスト値に基づい て、 1画素以下の精度により前記コスト値が最小値となる動き補償位置における 前記コスト値の見込み値を計算し、
前記複数のィンター予測モードにおける前記見込み値の比較により、 前記複数 のィンター予測モードにおける最適モードを検出する
ことを特徴とする請求の範囲第 1項に記載の符号化装置。
6 . 前記粗動き予測回路は、
前記インター予測モード毎に、 前記粗の動き補償位置によるコスト値と共に、 前記粗の動き補償位置の周囲の補償位置で前記コスト値を計算し、
前記ィンターモード判定回路は、
前記インター予測モード毎に、 前記粗の動き補償位置によるコス ト値と、 前記 周囲の補償位置のコスト値とから前記見込み値を計算する
ことを特徴とする請求の範囲第 5項に記載の符号化装置。
7 . 前記インターモード判定回路は、
前記粗の動き補償位置と、 前記粗の動き補償位置を間に挟んで対向する 2つの 前記周囲の補償位置とを結ぶ方向について、 極小点で傾きの符号が切り換わる一 次関数により前記コスト値の変化を表して前記コスト値の極小値を検出し、 前記 コスト値の極小値に基づいて前記見込み値を検出する
ことを特徴とする請求の範囲第 6項に記載の符号化装置。
8 . 前記インターモード判定回路は、
前記粗の動き捕償位置と、 前記粗の動き補償位置を間に挟んで対向する 2つの 前記周囲の捕償位置とを結ぶ方向について、 二次関数により前記コスト値の変化 を表して前記コスト値の極小値を検出し、 前記コスト値の極小値に基づいて前記 見込み値を検出する
ことを特徴とする請求の範囲第 6項に記載の符号化装置。
9 . 前記ィンターモード判定回路は、
前記対向する 2つの周囲の補償位置を切り換えて、 前記極小値を複数検出し、 .前記複数の極小値の最小値より、 前記見込み値を検出する
ことを特徴とする請求の範囲第 7項に記載の符号化装置。
1 0 . 前記インターモード判定回路は、
前記対向する 2つの周囲の補償位置を切り換えて、 前記極小値を複数検出し、 前記複数の極小値の最小値より、 前記見込み値を検出する
ことを特徴とする請求の範囲第 8項に記載の符号化装置。
1 1 . 前記対向する 2つの周囲の補償位置の切り換えが、
前記粗の動き捕償位置と、 前記対向する 2つの前記周囲の補償位置とを結ぶ直 線が直交する関係にある組み合わせ間での切り換えである
ことを特 とする請求の範囲第 9項に記載の符号化装置。
1 2 . 前記対向する 2つの周囲の補償位置の切り換えが、
前記粗の動き捕償位置と、 前記対向する 2つの前記周囲の補償位置とを結ぶ直 線が直交する関係にある組み合わせ間での切り換えである
ことを特徴とする請求の範囲第 1 0項に記載の符号化装置。
1 3 . 前記インターモード判定回路は、
前記複数のィンター予測モードの前記見込み値から最小値でなる見込み値のィ ンター予測モードを検出することにより、 前記複数のィンター予測モードにおけ る最適モードを検出する
ことを特徴とする請求の範囲第 5項に記載の符号化装置。
1 4 . 前記コスト関数が、
原画像と予測画像との誤差値に対して、 動きべクトルの伝送に供する符号量を 与える関数であり、
前記動きべクトルの伝送が、
既に符号化処理された隣接する動き補償ブロックの動きべクトルにより予測動 きべクトルを設定し、 前記予測動きべクトルを基準にした動きべクトルの伝送で あり、
前記粗動き補償回路は、
前記隣接する動き補償プロックと処理対象の動き補償プロックとが同一のマク ロブ口ックである場合、 前記粗動き予測回路で検出される粗の動き補償位置に係 る動きべクトルを前記予測動きべクトルに設定して前記コスト値を計算する ことを特徴とする請求の範囲第 1項に記載の符号化装置。
1 5 . 前記微動き予測回路は、
所定タップ数の F I Rフィルタを用いて 1 / 4画素精度により動き補償して前 記コスト値を計算する
ことを特徴とする請求の範囲第 1項に記載の符号化装置。
1 6 . 前記複数のィントラ予測モードが、
イントラ 4 X 4予測モード及びィントラ 1 6 X 1 6予測モードである
ことを特徴とする請求の範囲第 1項に記載の符号化装置。
1 7 . 符号化効率を示すコスト関数によるコスト値の比較により、 複数のイント ラ予測モード及び複数のィンター予測モードから符号化処理に供する最適モード をマクロプロック毎に検出し、 前記最適モードにより画像データを符号化処理す る符号化方法において、
前記インター予測モード毎に、 整数画素精度により動きベク トルを検出し、 前 記動きべクトルによる粗の動き補償位置の前記コスト値を計算する粗コスト値計 算ステップと、 前記粗の動き補償位置によるコスト値に基づいて、 前記複数のインター予測モ 一ドにおける最適モードを検出するインターモードの判定ステップと、
前記インターモードの判定ステップで検出される最適モードについて、 1画素 以下の精度により動き補償して前記コスト値を計算する微コスト値計算ステップ と、
前記コスト値計算ステップによるコスト値と、 前記複数のイントラ予測モード によるコスト値との比較により前記符号化処理に供する最適モードを検出するィ ントラ ·インターモード判定のステップとを有する
ことを特徴とする符号化方法。
1 8 . 符号化効率を示すコスト関数によるコスト値の比較により、 複数のイント ラ予測モード、 複数のインター予測モードから最適モードをマクロブロック毎に 検出する最適モード検出のステップと、
前記最適モードにより画像データを符号化処理する符号化処理のステップとを 有する符号化方法のプログラムにおいて、
前記最適モード検出のステップは、
前記インター予測モード毎に、 整数画素精度により動きベク トルを検出し、 前 記動きべクトルによる粗の動き補償位置の前記コスト値を計算する粗コスト値計 算ステップと、
前記粗の動き補償位置によるコスト値に基づいて、 前記複数のインター予測モ 一ドにおける最適モードを検出するインターモードの判定ステップと、
前記インターモードの判定ステップにより検出される最適モードについて、 1 画素以下の精度により動き補償して前記コスト値を計算する微コスト値計算ステ ップと、
前記微コスト値計算ステップによるコスト値と、 前記複数のイントラ予測モー ドによるコスト値との比較により前記符号化処理に供する最適モードを検出する イントラ 'インターモード判定のステップとを有する
ことを特^ ¾とする符号ィ匕方法のプログラム。
1 9 . 演算処理手段により実行される符号化方法のプログラムを記録した記録媒 体において、
前記符号化方法のプログラムは、
符号化効率を示すコスト関数によるコスト値の比較により、 複数のイントラ予 測モード、 複数のインター予測モードから最適モードをマクロプロック毎に検出 する最適モード検出のステップと、
前記最適モードにより画像データを符号化処理する符号化処理のステップとを 有し、
前記最適モード検出のステップは、
前記インター予測モード毎に、 整数画素精度により動きべクトルを検出し、 前 記動きべクトルによる粗の動き補償位置の前記コスト値を計算する粗コスト値計 算ステップと、
前記粗の動き補償位置によるコスト値に基づいて、 前記複数のインター予測モ 一ドにおける最適モードを検出するィンターモードの判定ステップと、
前記インターモードの判定ステップにより検出される最適モードについて、 1 画素以下の精度により動き補償して前記コスト値を計算する微コスト値計算ステ ップと、
前記微コスト値計算ステップによるコスト値と、 前記複数のイントラ予測モー ドによるコスト値との比較により前記符号化処理に供する最適モードを検出する イントラ .インターモード判定のステップとを有する
ことを特徴とする符号化方法のプログラムを記録した記録媒体。
PCT/JP2005/016571 2004-09-28 2005-09-02 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 WO2006035584A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP20050778334 EP1802125A1 (en) 2004-09-28 2005-09-02 Encoder, encoding method, program of encoding method and recording medium wherein program of encoding method is recorded

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004280843A JP2006100871A (ja) 2004-09-28 2004-09-28 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP2004-280843 2004-09-28

Publications (1)

Publication Number Publication Date
WO2006035584A1 true WO2006035584A1 (ja) 2006-04-06

Family

ID=36118737

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/016571 WO2006035584A1 (ja) 2004-09-28 2005-09-02 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体

Country Status (5)

Country Link
EP (1) EP1802125A1 (ja)
JP (1) JP2006100871A (ja)
KR (1) KR20070057212A (ja)
CN (1) CN101032173A (ja)
WO (1) WO2006035584A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020073937A1 (en) * 2018-10-11 2020-04-16 Mediatek Inc. Intra prediction for multi-hypothesis

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4908180B2 (ja) 2006-12-20 2012-04-04 株式会社東芝 動画像符号化装置
JP4650461B2 (ja) * 2007-07-13 2011-03-16 ソニー株式会社 符号化装置、符号化方法、プログラム、及び記録媒体
US8228991B2 (en) 2007-09-20 2012-07-24 Harmonic Inc. System and method for adaptive video compression motion compensation
CN101867818B (zh) * 2008-06-06 2012-08-29 浙江大学 宏块模式的选择方法和装置
JP2009027762A (ja) * 2008-11-07 2009-02-05 Renesas Technology Corp 動き補償画像符号化装置及び符号化方法
JP5686499B2 (ja) * 2009-01-22 2015-03-18 株式会社Ｎｔｔドコモ 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
KR101377530B1 (ko) 2009-08-21 2014-03-27 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
KR101441863B1 (ko) * 2009-11-25 2014-09-23 에스케이텔레콤 주식회사 움직임 추정/보상을 위한 적응적 필터 생성 장치, 방법 및 기록 매체
US20120250767A1 (en) * 2009-12-15 2012-10-04 Ferran Valldosera Method and apparatus for bi-directional prediction within p-slices
CN103081471B (zh) * 2010-07-15 2017-06-06 夏普株式会社 帧内预测模式估计装置、编码装置、以及解码装置
KR20120012385A (ko) * 2010-07-31 2012-02-09 오수미 인트라 예측 부호화 장치
CN105812829B (zh) * 2016-03-10 2018-11-02 福州瑞芯微电子股份有限公司 一种向量场外插的错误隐藏方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05110927A (ja) * 1991-10-11 1993-04-30 Sony Corp 画像の動きベクトル検出装置
JPH06326980A (ja) * 1993-04-08 1994-11-25 Sony United Kingdom Ltd 動き補償映像信号処理方式
JPH09187013A (ja) * 1995-12-28 1997-07-15 Sony Corp 動きベクトル検出装置および方法
JPH11112871A (ja) * 1997-09-30 1999-04-23 Sony Corp 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体
JP2003284091A (ja) * 2002-03-25 2003-10-03 Toshiba Corp 動画像符号化方法及び動画像符号化装置
JP2004241957A (ja) * 2003-02-05 2004-08-26 Sony Corp 画像処理装置および符号化装置とそれらの方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05110927A (ja) * 1991-10-11 1993-04-30 Sony Corp 画像の動きベクトル検出装置
JPH06326980A (ja) * 1993-04-08 1994-11-25 Sony United Kingdom Ltd 動き補償映像信号処理方式
JPH09187013A (ja) * 1995-12-28 1997-07-15 Sony Corp 動きベクトル検出装置および方法
JPH11112871A (ja) * 1997-09-30 1999-04-23 Sony Corp 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体
JP2003284091A (ja) * 2002-03-25 2003-10-03 Toshiba Corp 動画像符号化方法及び動画像符号化装置
JP2004241957A (ja) * 2003-02-05 2004-08-26 Sony Corp 画像処理装置および符号化装置とそれらの方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Joint Model Number 1, Revision 1(JM-1rl).", 3 December 2001 (2001-12-03) - 7 December 2001 (2001-12-07), pages 54 - 61, XP002993312 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020073937A1 (en) * 2018-10-11 2020-04-16 Mediatek Inc. Intra prediction for multi-hypothesis

Also Published As

Publication number Publication date
JP2006100871A (ja) 2006-04-13
KR20070057212A (ko) 2007-06-04
CN101032173A (zh) 2007-09-05
EP1802125A1 (en) 2007-06-27

Similar Documents

Publication Publication Date Title
WO2006035584A1 (ja) 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体
JP3879741B2 (ja) 画像情報符号化装置および画像情報符号化方法
KR100950743B1 (ko) 화상 정보 부호화 장치 및 방법, 및 화상 정보 복호 장치및 방법
RU2665877C2 (ru) Способ и устройство обработки изображения
JP5018085B2 (ja) 動き予測補償方法及び動き予測補償装置
US20110176614A1 (en) Image processing device and method, and program
US11758179B2 (en) Image encoding method, image encoding device, image decoding method, and image decoding device
US20090092189A1 (en) Movement prediction method and movement prediction apparatus
KR20050074286A (ko) 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화프로그램
JP2010028220A (ja) 動きベクトル検出装置、動きベクトル検出方法、画像符号化装置及びプログラム
JP2007251815A (ja) 再符号化装置及び再符号化用プログラム
Sugimoto et al. Description of video coding technology proposal by Mitsubishi Electric
JP2003348595A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4281667B2 (ja) 画像符号化装置
JP6181242B2 (ja) 画像復号化方法
JP5951915B2 (ja) 画像復号化方法
JP5946980B1 (ja) 画像復号化方法
JP5911982B2 (ja) 画像復号化方法
EP4441999A1 (en) Motion compensation considering out-of-boundary conditions in video coding
JP5750191B2 (ja) 画像復号化方法
WO2023141177A1 (en) Motion compensation considering out-of-boundary conditions in video coding

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 200580032895.6

Country of ref document: CN

Ref document number: 1020077007028

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2005778334

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2005778334

Country of ref document: EP

WWW Wipo information: withdrawn in national office

Ref document number: 2005778334

Country of ref document: EP