WO2007105590A1 - 動画像符号化方法、およびこれを用いた装置とプログラム - Google Patents

動画像符号化方法、およびこれを用いた装置とプログラム Download PDF

Info

Publication number
WO2007105590A1
WO2007105590A1 PCT/JP2007/054541 JP2007054541W WO2007105590A1 WO 2007105590 A1 WO2007105590 A1 WO 2007105590A1 JP 2007054541 W JP2007054541 W JP 2007054541W WO 2007105590 A1 WO2007105590 A1 WO 2007105590A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
skip mode
mode
block
skip
Prior art date
Application number
PCT/JP2007/054541
Other languages
English (en)
French (fr)
Inventor
Keiichi Chono
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to US12/282,217 priority Critical patent/US8428136B2/en
Priority to EP07738032.7A priority patent/EP1993292B1/en
Priority to JP2008505090A priority patent/JP5423948B2/ja
Publication of WO2007105590A1 publication Critical patent/WO2007105590A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a skip MB mode validity determination method in a moving picture coding technique using motion compensated prediction, and is a preferred invention applied to a moving picture coding apparatus and program using the skip MB mode. .
  • Non-Patent Document 1 ISO / IEC 14496-10 Advanced Video Coding
  • Joint ModelCiM Joint ModelCiM
  • a conventional moving image encoding apparatus sequentially encodes each Macro Block (MB) of each input image frame to generate encoded data, that is, a bit stream.
  • MB is a 16 ⁇ 16 pixel luminance pixel and an 8 ⁇ 8 pixel Cr and Cb color difference pixel obtained by dividing the input image frame in a grid pattern (FIG. 1).
  • the image frame structure is divided into a first field and a second field, and each field is encoded as an image frame.
  • a conventional moving image encoding apparatus that performs encoding processing on each MB includes an MB buffer E101, a conversion apparatus E102, a quantization apparatus E103, an entropy encoding apparatus E104, an inverse quantization / It consists of an inverse transformation device E105, a frame buffer E106, a prediction device E107, a code amount control device E108, a motion vector calculation device E109, and an MB mode determination device El10.
  • the MB buffer E101 stores the original image of the encoding target MB.
  • AVC selects and encodes a prediction that can suitably encode the encoding target MB from a plurality of types of prediction. Prediction is roughly classified into two types: intraframe prediction and interframe prediction. Intraframe prediction generates a prediction value from the reconstructed image of the current encoded image frame. [0007] On the other hand, inter-frame prediction is performed using a reconstructed image of one of a plurality of image frames encoded in the past.
  • a reconstructed image frame (reference frame) to be used for inter-frame prediction is designated by an index refjdx (reference index), and the position of the designated reconstructed image frame is reproduced.
  • Constructed image force Specify whether to generate a predicted value using the motion vector mv.
  • the MB is further divided by specifying the type of inter-frame prediction (by selecting the MB mode mbjnode corresponding to the type of inter-frame prediction). It is also possible to set and transmit the reference index refjdx and motion vector mv even in the unit of the selected block (refer to Non-Patent Document 1 ISO / IEC 14496-10 Advanced Video Coding for details).
  • a set of MBs (slices) encoded only by intra-frame prediction is an I slice
  • a slice that is encoded by applying not only intra-frame prediction but also inter-frame prediction is P slice.
  • inter-frame prediction a slice containing MB that can be predicted using a composite image of multiple image frames is called a B slice.
  • An image frame consisting only of I slices is called an I picture, an I slice or a P slice (not including a B slice;), an image frame is called a P picture, and an image frame containing a B slice is called a B picture.
  • the motion vector calculation device E109 refers to the original image stored in the MB buffer E101 and the reconstructed image stored in the frame buffer E106, and the parameters (candidate reference index candidate_ref_idx And candidate motion vectors candidatejnv) are detected.
  • the MB mode determination device E110 uses the candidate reference descriptor candidate_refjdx and the candidate motion vector candidatejnv detected by the motion vector calculation device E109 to select a prediction type (MB mode mbjnode) suitable for encoding the target MB. select.
  • the selected MB mode mbjnode, the corresponding reference index refjdx and the motion vector mv are entropy encoded by the entropy encoder apparatus E104.
  • the prediction device E107 uses the MB mode mb_mode selected by the MB mode determination device E110, the reference index refjdx corresponding thereto, and the prediction value corresponding to the motion vector mv as a frame. It is generated from the reconstructed image stored in the notifier E106.
  • the prediction value supplied from the prediction device E107 is subtracted from the original image stored in the MB buffer E101 and supplied to the conversion device E102 as a prediction error.
  • the prediction error is converted into the frequency domain by the converter E102.
  • the prediction error converted to the frequency domain is quantized by the quantization device E103 in a quantization step corresponding to the quantization parameter QP supplied from the code amount control device E108.
  • the quantization meter QP and the quantized prediction error (quantization level) are entropy-encoded by the entropy encoder E 104 (in AVC, the quantization parameter can be set in units of MB).
  • the quantization level is inversely quantized and inversely transformed by an inverse quantization / inverse transformation device E105, and is returned to the original space region.
  • a prediction value supplied from the prediction device E107 is added to the prediction error returned to the spatial domain, and is stored in the frame buffer E106 as a reconstructed image for subsequent coding.
  • a conventional video encoding device performs the encoding process by applying the above-described processing to each MB of each input image frame.
  • a reference index and a motion vector are generated from a coded block, and a predicted value of an image can be calculated using the generated reference index and motion vector.
  • a skip mode in AVC, the skip mode can be specified in MB, henceforth referred to as skip MB mode.
  • the skip MB mode is an MB mode in which the reference index, the motion vector, and the quantization level do not need to be transmitted by entropy coding.
  • a skip MB mode that generates a skip MB reference index skip_ref_idx and a motion vector skipjnv using the state (context) of spatially adjacent coded blocks in a P slice is called P skip MB mode.
  • the P-skip MB mode it is not necessary to entropy encode and transmit the reference index, motion vector, and quantization level. For this reason, the prediction error tends to be small. In the flat area, the P-skip MB mode tends to be selected as the MB mode suitable for the sign key.
  • the cause of this problem is median prediction of motion vectors, and the reference index and motion vector generation rules in P-skip MB mode.
  • the cause, median prediction of motion vectors, P skip MB mode reference index in AVC, and motion vector generation rules are described below (for details, see Non-Patent Document 1 ISO / IEC 14496-10 Advanced Video Coding). reference).
  • the motion vector of the center value is referred to as a motion vector (pmv) with reference to the motion vector of three blocks adjacent to the target block.
  • the three adjacent blocks are the left adjacent block (Block A), the upper adjacent block (Block B), and the upper right or upper left adjacent block (Block C or Block D) of the target block.
  • motion vector median prediction for the 16x16 block size (MB) corresponding to the reference index refjdx is described.
  • the predicted motion vector is used for predictive coding of motion vectors.
  • MEDIAN (a, b, c) input Function that returns the median of a, b, c, pl6mv is the MB motion vector predictor for reference index refjdx, ref_idx_X is the adjacent block X reference index, and mv_X is adjacent
  • the motion vector of block X, avail_flag_X is the availability flag of adjacent block X, and the calculation steps of the predicted motion vector pl6mv are shown below using pseudo program code.
  • the availability flag avail_flag_X of the adjacent block X shall be False when the block X is outside the picture or belongs to a different slice. Otherwise, avail_flag_X shall be True.
  • pl6mv mv_l
  • pl6mv mv_u
  • pl6mv mv_di
  • pl6mv mv_l
  • pl6mv MEDIAN (mv_l, mv_u, mv_di);
  • the reference index skip_ref_idx is set to zero.
  • the motion vector skipjnv is located when the adjacent block has a zero vector (the value of the motion vector of the horizontal and vertical components is zero), or the encoding target MB is located at the boundary of the picture or slice (however, the left and top edges)
  • skipjnv is assumed to be a zero vector on the assumption that there is no significant movement.
  • the encoding target frame in Fig. 5 is panned vertically, and most of the image area is flat (Flat-textured MB). It is assumed that a motion vector that matches Nung is obtained by motion vector calculation.
  • the present invention has been made in view of the above problems, and a moving image encoding method capable of high-quality encoding that avoids formation of a subjectively undesirable vector field, and
  • An object is to provide a used apparatus and a computer program.
  • a first invention for solving the above-mentioned problem is a moving picture coding method, which is used in an inter-frame prediction step for inter-frame prediction of an image in units of blocks, and for inter-frame prediction of the block.
  • a motion vector calculation step for calculating a reference frame and a motion vector
  • a prediction motion vector calculation step for calculating a prediction motion vector for predictively encoding the motion vector of the block, and spatially adjacent to the block
  • the skip mode motion vector calculation step for calculating the skip mode motion vector of the skip mode using the context of the block to be skipped, and the skip mode validity determination for determining whether the skip mode is valid as the code key mode of the block
  • the skip mode valid determination step includes the skip mode motion vector. Characterized by use based, was a correction value in the skip mode enable determination.
  • the skip mode validity determining step includes the skip mode motion vector and the predicted motion vector corresponding to the skip mode reference frame.
  • the code amount of the difference motion vector The value weighted by the lock quantization parameter is used for skip mode validity judgment.
  • the skip mode validity determination step includes a reference frame in the skip mode and a reference frame calculated in the motion vector calculation step. Are different, the skip mode is determined to be invalid as the coding mode of the block.
  • the skip mode motion vector calculation step sets the skip mode motion vector to zero when the block exists at a picture or slice boundary.
  • the skip mode validity determining step is a vector, and the skip mode is determined to be invalid in a block located at a picture or slice boundary.
  • the skip mode validity determination step includes the skip mode motion vector and the motion vector corresponding to the reference frame of the skip mode. A value obtained by weighting the code amount of the difference motion vector with the motion vector calculated in the calculation step using the quantization parameter of the block is used for skip mode validity determination.
  • the skip mode validity determination step includes a reference frame in the skip mode and a reference frame calculated in the motion vector calculation step. Are different, the skip mode is determined to be invalid as the coding mode of the block.
  • the skip mode motion vector calculation step sets the skip mode motion vector to zero when the block exists at a picture or slice boundary.
  • the skip mode validity determining step is a vector, and the skip mode is determined to be invalid in a block located at a picture or slice boundary.
  • An eighth invention for solving the above-mentioned problem is a moving picture coding apparatus, which is used for inter-frame prediction means for inter-frame prediction of an image in units of blocks, and for inter-frame prediction of the block.
  • a moving frame calculating means for calculating a reference frame and a moving beam;
  • Skip mode for calculating a skip mode motion vector in skip mode by using a prediction motion vector calculation means for calculating a prediction motion vector for predictive coding of a block motion vector and the context of a block spatially adjacent to the block
  • a motion vector calculation means and skip mode validity judgment means for judging whether or not the skip mode is valid as the sign key mode of the block.
  • the skip mode validity judgment means is based on the skip mode motion vector.
  • the correction value is used for skip mode validity judgment.
  • the correction value is a difference between the skip mode motion vector and the predicted motion vector corresponding to the skip mode reference frame. It is a value obtained by weighting the code amount of the motion vector with the quantization parameter of the block.
  • the skip mode validity determination means includes a reference frame in the skip mode and a reference frame calculated by the motion vector calculation means. If they are different, the skip mode is determined to be invalid as the code key mode of the block.
  • the skip mode motion vector calculation means sets the skip mode motion vector to zero when the block exists at a picture or slice boundary.
  • the skip mode validity determination means determines that the skip mode is invalid in a block located at a picture or slice boundary.
  • the correction value includes the skip mode motion vector and the motion vector calculation corresponding to the skip mode reference frame.
  • the code amount of the difference motion vector calculated by the means is a value weighted by the quantization parameter of the block.
  • the skip mode validity determination means includes a reference frame in the skip mode and a reference frame calculated by the motion vector calculation means. If they are different, the skip mode is determined to be invalid as the code key mode of the block.
  • the skip mode motion vector calculation means sets the skip mode motion vector to zero when the block exists at a picture or slice boundary. The skip mode validity determination means determines that the skip mode is invalid in a block located at a picture or slice boundary.
  • a fifteenth aspect of the present invention for solving the above-mentioned problem is a program for a moving picture coding apparatus, wherein the program uses the moving picture coding apparatus to predict a frame in units of blocks. Inter prediction means, motion vector calculation means for calculating the reference frame and motion vector used for inter-frame prediction of the block, and predictive motion vector for predicting the motion vector of the block.
  • Predictive motion vector calculation means for performing the calculation, a skip mode motion vector calculation means for calculating a skip mode motion vector using the context of a block spatially adjacent to the block, and a sign code of the block ⁇ It functions as a skip mode validity judging means for judging whether the skip mode is valid as a mode, and the skip mode validity judging means is Based on the serial Skip mode motion vectors! /, It was characterized thereby function to utilize the correction values to the skip mode validity determination.
  • the skip mode validity determining means may be configured to use the skip motion vector and the predicted motion vector corresponding to the skip mode reference frame. It is made to function so that a value obtained by weighting the code amount of the difference motion vector with the quantization parameter of the block is used for the skip mode validity determination.
  • the skip mode validity determination means includes a reference frame in the skip mode and a reference frame calculated by the motion vector calculation means. If they are different, the skip mode is determined to be invalid as the code key mode of the block.
  • the skip mode motion vector calculation means sets the skip mode motion vector to zero when the block exists at a picture or slice boundary.
  • the skip mode valid size The determining means is characterized in that the skip mode is determined to be invalid in a block located at a picture or slice boundary.
  • the skip mode validity determining means may be configured to use the skip mode motion vector and the motion vector corresponding to the skip mode reference frame.
  • a feature is that a value obtained by weighting the code amount of the difference motion vector calculated from the motion vector calculated by the calculation means with the quantization parameter of the block is used for the skip mode validity determination.
  • the skip mode validity determination means includes a reference frame in the skip mode and a reference frame calculated by the motion vector calculation means. If they are different, the skip mode is determined to be invalid as the code key mode of the block.
  • the skip mode motion vector calculation means sets the skip mode motion vector to zero when the block exists at a picture or slice boundary.
  • the skip mode validity determination means determines that the skip mode is invalid in a block located at a picture or slice boundary.
  • a moving image encoding method that enables high-quality encoding that avoids the formation of subjectively undesirable vector fields, and an apparatus and a computer program using the same Can provide.
  • FIG. 1 shows a configuration of an image frame (4: 2: 0 format).
  • FIG. 2 is a configuration diagram of a conventional video encoding device.
  • FIG. 3 is a diagram for explaining a relationship between a code target MB and a reference adjacent block.
  • FIG. 4 is a diagram for explaining propagation of a predicted motion vector in a flat region.
  • FIG. 5 is an example (vertical pan) of a sign key target image frame.
  • Figure 6 shows that the P-skip MB at the picture and slice boundaries is a zero vector. A child.
  • FIG. 7 shows the formation of a subjectively undesirable vector field.
  • FIG. 8 shows a conventional MB mode determination device.
  • FIG. 9 is a diagram for explaining generation of an inter-frame prediction image.
  • FIG. 10 is a configuration diagram of the first embodiment.
  • FIG. 11 is a flowchart of the first embodiment.
  • Figure 12 shows the formation of a desirable vector field.
  • FIG. 13 is a configuration diagram of the second embodiment.
  • FIG. 14 is a configuration diagram of the third embodiment.
  • FIG. 15 is a flowchart of the third embodiment.
  • FIG. 16 is a configuration diagram of the third embodiment.
  • FIG. 17 is a configuration diagram of the fourth embodiment.
  • FIG. 18 is a flowchart of the fourth embodiment.
  • FIG. 19 is a configuration diagram of the fourth embodiment.
  • FIG. 20 is a configuration of an information processing apparatus using the present invention.
  • the present invention relates only to the skip MB mode validity determination technique in the moving picture coding technique using motion compensation prediction. Therefore, in the moving picture coding apparatus using the present invention, only the configuration and operation of the MB mode determination apparatus E110 out of the whole apparatus of FIG. The following explains the conventional method in detail for the MB mode determination device E110. The embodiment of the present invention will be described later.
  • the conventional MB mode judging device is a motion compensated prediction device E11001, a S ATD calculation device El 1002, a skip MB motion vector calculation device El 1003, a predicted motion vector calculation device E11004, a vector cost calculation device E11005, Consists of judgment device E11006 and switch SW1001.
  • the motion compensation prediction device E11001 is supplied from the external motion vector calculation device E109.
  • the candidate reference reference candidate_ref_idx and candidate reference vector candidate_mv (candidate_mv_x, candidate_mvj) or skip MB motion vector calculation
  • the reference index skip_ref_idx and the motion vector skip_mv (skip_mv_X, skipjnvj) supplied from the device El 1003 are switched by the switch SW1001, and an inter-frame prediction image corresponding to the input reference index and motion vector is generated.
  • MC (ref_idx, mv_x, _mv_y) is the coordinates of the upper left corner of the prediction target block (x) from the reconstructed image frame of the reference index refjdx according to the supplied reference index refjdx and motion vector (mv_x, _mvj). , y) and a motion vector (mv_x, mv) to calculate an inter-frame prediction image.
  • the pixel accuracy of the motion vector mv is 1Z4 pixel accuracy.
  • the SATD calculation device E11002 calculates the SATD of Equation (2) using the prediction error pe obtained by subtracting the inter-frame prediction image pred supplied from the motion compensation prediction device E11001 from the original image org.
  • idx is the 4x4 block number inside the MB shown in Figure 1
  • the skip MB motion vector calculation device E11003 calculates the reference index skip-ref-idx and the motion vector skip-mv (skip-mv-X, skip-mv_y) corresponding to the skip MB. For details, follow the description in the problem to be solved by the invention.
  • the prediction motion vector calculation apparatus E11004 calculates the prediction motion vector pm V (pmv_ X , pmvj corresponding to the candidate reference index candidate_ref_idx. The details follow the description in the problem to be solved by the invention. .
  • Bit_length (x) is a function that returns the number of bits of entropy coding of the differential motion vector x.
  • the vector cost calculation device E11005 weights the code amount dmv_bit as shown in Equation (7) using the quantization parameter QP supplied from the external code amount control device E108, and The weighting result is supplied as a vector cost mv_cost to the judgment device E11006.
  • mv one cost 2 (QP ⁇ l2) / e x dmv one bit
  • the determination device El 1006 includes the SATD and vector cost calculation device supplied from the SA TD calculation device E11002 corresponding to the candidate reference vector candidate_refjdx and the candidate motion vector candidatejnv for the MB mode cost mb_cost other than the skip MB mode. From E11005 Using the supplied vector cost mv_ C0S t, calculate using equation (8)
  • the determination device E11006 uses only the SATD supplied from the SATD calculation device E11002 corresponding to the skip MB reference index skip_refjdx and the motion vector skip_mv as the skip MB mode cost smb_cost as shown in Equation (9). calculate.
  • Judgment device El 1006 judges that the skip MB is valid if the cost smb_cost of the skip MB mode is smaller than the cost mb_cost of the MB mode other than the skip MB mode. Then, the mb_mode corresponding to the skip MB mode, the reference index ref_idx, and the motion vector mv are output to the outside. Otherwise, mb_mode, reference index ref_idx, and motion vector mv corresponding to MB modes other than skip MB mode are output to the outside.
  • the flat MB has a relatively small SATD value even if the motion vector (skipjnv) in the skip MB mode is different from the true motion vector. Furthermore, the motion vector cost mv_cost Therefore, skip MB mode is judged to be more effective than other MB modes.
  • the P-skip MB mode with a motion vector different from the pan-jung motion is selected, and a subjectively desirable vector field is formed. This is the end of the description of the conventional MB mode determination.
  • the present invention determines whether the skip MB mode is valid using a correction value based on the motion vector of the skip MB mode.
  • This correction value is a virtual vector cost obtained by weighting the code amount calculated by the difference motion vector force between the motion vector in the skip MB mode and the estimated motion vector by the quantization parameter of the block. This avoids the formation of subjectively undesirable vector fields.
  • the validity determination of the skip MB mode of the present invention will be described.
  • the first embodiment calculates the virtual vector cost from the code amount of the motion vector in the skip MB mode and the difference motion vector of the predicted motion vector corresponding to the reference frame (reference index) in the skip MB mode.
  • a means for obtaining is provided.
  • the virtual vector cost calculation device PIOOOO includes the quantization parameter QP supplied from the external code amount control device E108, the motion vector skip_mv corresponding to the skip MB supplied from the skip MB motion vector calculation device El 1003, and the predicted motion.
  • the virtual vector cost calculation device PIOOOO is a motion vector corresponding to skip MB skip_
  • the virtual motion vector sdmv (sdm v_x, dmvj) is obtained by subtracting the predicted motion vector pmvl6 (pml6v_x, pmvl6j) supplied from the predicted motion vector calculation device El 1004 from mv (skip_mv_x, skipjnvj)
  • the virtual code amount sdmv_bit of the vector sdmv is obtained.
  • the virtual code amount sdmv_bit is defined as shown in Equation (10).
  • sdmv _ bit Bit _ length (sdmv x) + Bit length sdmv v) do)
  • the virtual vector cost calculation device PIOOOO uses the quantization parameter QP to weight the virtual code amount sdmv_bit as shown in Equation (11), and uses the weighted result as the virtual vector cost smv_cost to switch Supply to SW11002.
  • smv cost ⁇ ( ⁇ ⁇ 1 2) 7 6 ⁇ sdmv bit
  • the determination device E11 006 of the present invention is the SATD supplied from the SATD calculation device E11002 corresponding to the candidate reference index candidate_ref_idx and the candidate motion vector candidate_mv. Then, using the vector cost mv_cost supplied from the vector cost calculation device E11005 via the switch SW11002, the MB mode cost mb_cost is calculated by Equation (8).
  • the determination device E11006 of the present invention is the SATD supplied from the SATD calculation device E11002 corresponding to the skip MB reference index skip_ref_idx and the motion vector skipjnv. Then, using the virtual vector cost smv_cost supplied from the virtual vector cost calculation device PIOOOO via the switch SW11002, the skip MB mode cost smb_cost is calculated as shown in Equation (12).
  • the determination device El 1006 determines that the skip MB is valid if the cost smb_cost of the skip MB mode is smaller than the cost mb_cost of the MB mode other than the skip MB mode.
  • Skip mb_mode corresponding to MB mode, reference index refjd x, and motion vector mv are output to the outside. Otherwise, mb_mode, reference index ref_idx, and motion vector mv corresponding to MB modes other than skip MB mode are output to the outside.
  • an initial value (a sufficiently large value) is set to the minimum cost MinCost.
  • step S 1000 it is determined whether or not the determination target is a skip MB. If not skipped MB, go to step S2000, if skipped MB, go to skip S3000.
  • step S2000 using the reference index refjdx corresponding to the MB mode to be determined and the motion vector mv, the MB mode cost mb_cost is calculated by equation (8), and the MB mode cost mb_cost is substituted into the variable curCost. Proceed to step S4000.
  • step S3000 using the reference index refjdx corresponding to the skip MB mode and the motion vector mv, the skip MB mode cost smb_cost is calculated by equation (12), and the MB mode cost smb_cost is substituted into the variable curCost. Proceed to step S4000. In step S4000, it is determined whether the variable curCost is smaller / smaller than the minimum cost MinCost. If it is smaller, the process proceeds to step S5000. If it is larger, the process proceeds to step S6000.
  • step S5000 the minimum cost MinCost is updated by the variable curCost, and the MB mode of the determination target MB mode, the corresponding reference index refjdx and the motion vector mv are stored (the selected code MB mode is updated). Proceed to step S6000
  • step S6000 it is determined whether or not all MB modes have been compared. If all MB mode comparisons have not been completed, mb_mod of the next MB mode to be determined is set, and the process returns to step S1000. If all MB mode comparisons have been completed, the MB mode determination is terminated.
  • the MB mode determination apparatus When MB mode determination is completed, the MB mode determination apparatus outputs the currently held mb_mode, reference index ref_idx, and motion vector mv to the outside as parameters for encoding the MB.
  • the present embodiment is the difference between the motion vector calculated by the motion vector calculation device corresponding to the motion MB in the skip MB mode and the reference frame (reference index) in the skip MB mode.
  • a means for obtaining a virtual vector cost from the code amount of the motion vector is provided.
  • a candidate motion vector is supplied to the virtual vector cost calculation device P10000 instead of the predicted motion vector. It is different in point. For this reason, the operation of the virtual vector cost calculation device PIOOOO is different from that of the first embodiment.
  • the virtual vector cost calculation device PIOOOO uses the quantization parameter QP supplied from the external code amount control device E108, the motion vector skip_mv corresponding to the skip MB supplied from the skip MB motion vector calculation device El 1003, the external Motion vector calculation device E109 Calculates the virtual vector cost smv_cost using the candidate reference index refjdxl6 and candidate motion vector mvl6 of the inter-frame prediction mode corresponding to the supplied 16x16 block size.
  • the virtual vector cost calculation device P10000 subtracts the motion vector mvl6 (pml6v—X, pmvl6_y) supplied from the motion vector calculation device E109 from the motion vector skip_mv (skip_mv_x, skipjnvj) corresponding to the skip MB.
  • a virtual differential motion vector vector pdmv (pdmv—x, pdmv_y) is obtained, and a virtual code amount pdmv_bit of the differential motion vector pdmv is obtained.
  • the virtual vector cost calculation device PIOOOO uses the quantization parameter QP to weight the virtual code amount pdmv_bit as shown in the equation (14), and uses the weighted result as the virtual vector cost pmv_cost.
  • pmv cost 2 ( ⁇ '12 ) 16 ⁇ pdmv bit
  • the virtual vector cost pmv_cost in Eq. (14) is the same as the virtual vector cost smv_cost in Eq. (12), avoiding the formation of a subjectively undesirable vector field by selecting the skip MB mode. Works as an offset to do.
  • Skip MB mode cost calculated by the judgment device E11006 because the virtual vector cost is different from the first embodiment smb_cos t is given by equation (15).
  • step S3000 the processing content of step S3000 is different, all MB mode judgments in this embodiment are described below.
  • an initial value (a sufficiently large value) is set to the minimum cost MinCost.
  • step S 1000 it is determined whether or not the determination target is a skip MB. If not skipped MB, go to step S2000, if skipped MB, go to skip S3000.
  • step S2000 using the reference index refjdx corresponding to the MB mode to be determined and the motion vector mv, the MB mode cost mb_cost is calculated by Equation (8), and the MB mode cost mb_cost is substituted into the variable curCost. Proceed to step S4000.
  • step S3000 using the reference index refjdx corresponding to the skip MB mode and the motion vector mv, the skip MB mode cost smb_cost is calculated by equation (15), and the MB mode cost smb_cost is substituted into the variable curCost. Proceed to step S4000.
  • step S4000 it is determined whether the variable curCost is smaller than the minimum cost MinCost.
  • step S5000 If it is smaller, the process proceeds to step S5000. If it is larger, the process proceeds to step S6000.
  • step S5000 the minimum cost MinCost is updated with the variable curCost, and the MB mode of the judgment target MB mode, the corresponding reference index refjdx and the motion vector mv are stored (the selected encoding MB mode is updated). . Further, the process proceeds to step S6000. In step S6000, it is determined whether or not all MB modes have been compared. If all MB modes have not been compared, the next MB mode mbjnod Set e and return to step SIOOO. If all MB mode comparisons have been completed, the MB mode determination is terminated.
  • the MB mode determination apparatus When the MB mode determination is completed, the MB mode determination apparatus outputs the currently held mb_mode, reference index ref_idx, and motion vector mv to the outside as parameters for encoding the MB.
  • the present embodiment compares the reference frame (reference index ref_idxl6) calculated by the motion vector calculation device with the reference frame (skip reference index skip_ref_idx) in the skip MB mode.
  • a means is provided to determine whether or not the skip MB mode is valid.
  • the difference is that the candidate reference index calculated by the motion vector calculation apparatus E109 is supplied to the determination apparatus E11006. For this reason, the operation of the determination device E11006 is different from that of the first embodiment.
  • determination apparatus E11006 which is a characteristic part of the present embodiment, will be described.
  • the determination device E11006 is compared with the candidate reference index ref_idxl6 of the inter-frame prediction mode corresponding to the 16x16 block size supplied from the external motion vector calculation device E109 and the skip MB.
  • the difference is that 0 is added.
  • an initial value (a sufficiently large value) is set to the minimum cost MinCost.
  • step S 1000 it is determined whether or not the determination target is a skip MB. If not skipped MB, go to step S2000. If skipped MB, go to skip S7000.
  • step S2000 using the reference index refjdx corresponding to the MB mode to be determined and the motion vector mv, the MB mode cost mb_cost is calculated by equation (8), and the MB mode cost mb_cost is substituted into the variable curCost. Proceed to step S4000.
  • step S3000 using the reference index refjdx corresponding to the skip MB mode and the motion vector mv, the skip MB mode cost smb_cost is calculated by equation (12), and the MB mode cost smb_cost is substituted into the variable curCost. Proceed to step S4000.
  • step S4000 it is determined whether the variable curCost is smaller / smaller than the minimum cost MinCost.
  • step S5000 If it is smaller, the process proceeds to step S5000. If it is larger, the process proceeds to step S6000.
  • step S5000 the minimum cost MinCost is updated with the variable curCost, and the mb_mode of the target MB mode to be determined, the corresponding reference index refjdx, and the motion vector mv are stored (the selected sign MB mode is updated). Proceed to step S6000
  • step S6000 it is determined whether or not all MB modes have been compared. If all MB mode comparisons have not been completed, mb_mod of the next MB mode to be determined is set, and the process returns to step S1000. If all MB modes have been compared End MB mode judgment.
  • the MB mode determination apparatus When MB mode determination is completed, the MB mode determination apparatus outputs the currently held mb_mode, reference index ref_idx, and motion vector mv to the outside as parameters for encoding the MB.
  • the present embodiment can also be used in the second embodiment.
  • the configuration of the MB mode determination device is as shown in Fig. 16.
  • this embodiment is also suitable for application to the validity judgment of the B slice direct mode (for details, see Non-Patent Document 1 ISO / IEC 14496-10 Advanced Video Coding)! /.
  • this embodiment determines from the MB address whether the relevant MB exists at the picture or slice boundary, and determines whether the skip MB mode is valid. Means are provided.
  • the difference is that the MB address is supplied to the determination device E11006. For this reason, the operation of the determination device E11006 is different from that of the first embodiment.
  • determination apparatus E11006 which is a characteristic part of the present embodiment, will be described.
  • the determination device E11006 determines whether the MB exists at the picture or slice boundary from the supplied MB address, and determines the MB address. Or, if it exists at the slice boundary, the skip MB mode should be the MB encoding mode mb_mode! /.
  • the motion vector in the P-skip MB mode at the boundary position of the picture or slice is always a zero vector, and the MB motion vector at the boundary of the picture or slice is Therefore, the MB motion vector at the boundary of the picture slice has a great influence on the vector field in the screen! /.
  • the present invention by controlling so that the P-skip MB mode of a subjectively undesirable motion vector is not erroneously selected at the boundary of a picture or a slice, the subjective The formation of an undesired vector field can be avoided.
  • the difference is that 0 is added.
  • an initial value (a sufficiently large value) is set to the minimum cost MinCost.
  • step S 1000 it is determined whether or not the determination target is a skip MB. If not skipped MB, go to step S2000. If skipped MB, go to skip S7000.
  • step S2000 using the reference index refjdx corresponding to the MB mode to be determined and the motion vector mv, the MB mode cost mb_cost is calculated by equation (8), and the MB mode cost mb_cost is substituted into the variable curCost. Proceed to step S4000.
  • step S8000 it is determined from the MB address supplied whether the MB exists at a picture or slice boundary. If the MB exists at the picture or slice boundary, go to Step S6000, and if not, go to Step S3000.
  • step S3000 using the reference index refjdx corresponding to the skip MB mode and the motion vector mv, the skip MB mode cost smb_cost is calculated by equation (12), and the MB mode cost smb_cost is substituted into the variable curCost. Proceed to step S4000.
  • step S4000 it is determined whether the variable curCost is smaller / smaller than the minimum cost MinCost.
  • step S5000 If it is smaller, the process proceeds to step S5000. If it is larger, the process proceeds to step S6000.
  • step S5000 the minimum cost MinCost is updated with the variable curCost, and the mb_mode of the target MB mode to be determined, the corresponding reference index refjdx, and the motion vector mv are stored (the selected sign MB mode is updated). Proceed to step S6000
  • step S6000 it is determined whether or not all MB modes have been compared. If all MB mode comparisons have not been completed, mb_mod of the next MB mode to be determined is set, and the process returns to step S1000. If all MB modes have been compared End MB mode judgment.
  • the MB mode determination apparatus When MB mode determination is completed, the MB mode determination apparatus outputs the currently held mb_mode, reference index ref_idx, and motion vector mv to the outside as parameters for encoding the MB.
  • the present embodiment can also be used in the second embodiment.
  • the configuration of the MB mode determination device is as shown in FIG.
  • the information processing system shown in FIG. 20 includes a processor A1001, a program memory A1002, and storage media A1003 and A1004.
  • the storage media A1003 and A1004 may be separate storage media, or may be storage areas having the same storage medium power.
  • a magnetic storage medium such as a hard disk can be used as the storage medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】主観的に望ましくないベクトル場の形成を回避する、高画質な符号化を可能とする動画像符号化技術を提供することを目的とする。本発明は、画像をブロック単位でフレーム間予測するフレーム間予測手段と、該ブロックのフレーム間予測で利用する参照フレームと動きベクトルを計算する動きベクトル計算手段と、該ブロックの動きベクトルを予測符号化する予測動きベクトルを計算する予測動きベクトル計算手段と、該ブロックに空間的に隣接するブロックのコンテキストを利用してスキップモードのスキップモード動きベクトルを計算するスキップモード動きベクトル計算手段と、該ブロックの符号化モードとしてスキップモードが有効であるかを判定するスキップモード有効判定手段とを有し、前記スキップモード有効判定手段が、スキップモードの動きベクトルと主観画質を考慮して推定した動きベクトルの差分動きベクトルの符号量を計算し、前記差分動きベクトルの符号量をブロックの量子化パラメータで重み付けした値をスキップモード有効判定に利用する動画像符号化装置である。

Description

明 細 書
動画像符号化方法、およびこれを用いた装置とプログラム
技術分野
[0001] 本発明は、動き補償予測を用いた動画像符号ィ匕技術におけるスキップ MBモード の有効判定方法に関し、これを利用した動画像符号ィ匕装置およびプログラムに適用 して好適な発明である。
背景技術
[0002] 高圧縮率な動画像符号化方式として ISO/IEC 14496-10 Advanced Video Coding があり（非特許文献 1 ISO/IEC 14496-10 Advanced Video Coding)、その参照符号 化方式として Joint ModelCiM)方式が知られている。以後、 JM方式を用いた動画像符 号化装置を、従来の動画像符号化装置と呼ぶ。
[0003] 従来の動画像符号化装置は、各入力画像フレームの各 Macro Block(MB)を逐次 符号化処理することで、符号ィ匕データすなわちビットストリームを生成する。ここで、 M Bとは、入力された画像フレームを格子状に分割した 16x16画素の輝度画素と 8x8画 素の Crと Cbの色差画素である (図 1)。また、入力素材がインタレースの場合では、画 像フレームの構造は、第 1フィールドと第 2フィールドに分割されて、各フィールドが画 像フレームとして符号化処理される。
[0004] 図 2を参照すると、各 MBを符号化処理する、従来の動画像符号化装置は、 MBバ ッファ E101、変換装置 E102、量子化装置 E103、エントロピー符号化装置 E104、 逆量子化/逆変換装置 E105、フレームバッファ E106、予測装置 E107、符号量制 御装置 E108、動きベクトル計算装置 E109、 MBモード判定装置 El 10で構成され る。
[0005] MBバッファ E101は、符号化対象 MBの原画像を格納する。
[0006] AVCでは、複数種類の予測の中から、符号化対象 MBを好適に符号化できる予測 を選択して符号化する。予測は、大きく分類すると、フレーム内予測とフレーム間予 測の 2種類がある。フレーム内予測は、現在の符号化画像フレームの再構築画像か ら予測値を生成する。 [0007] これに対して、フレーム間予測は、過去に符号ィ匕した複数枚の画像フレームのいず れかの画像フレームの再構築画像を用いて予測を行う。
[0008] また、 AVCのフレーム間予測においては、フレーム間予測に利用する再構築画像 フレーム (参照フレーム)をインデックス refjdx (参照インデックス）によって指定し、前記 指定した再構築画像フレームのどの位置の再構築画像力 予測値を生成するかを 動きベクトル mvによって指定する。
[0009] さらにカ卩えて、 AVCのフレーム間予測では、フレーム間予測の種類を指定すること で (フレーム間予測の種類に対応する MBモード mbjnodeを選択することで)、 MBをさ らに分割したブロックの単位でも、参照インデックス refjdxおよび動きベクトル mvを設 定して、伝送することも可能である (詳細は非特許文献 1 ISO/IEC 14496-10 Advanc ed Video Codingを参照)。
[0010] 一般に、フレーム内予測のみで符号ィ匕した MBの集合 (スライス)のことを Iスライス、 フレーム内予測だけでなくフレーム間予測も適用して符号ィ匕したスライスのことを Pス ライスと呼ぶ。フレーム間予測において、複数の画像フレームの合成画像を利用して 予測できる MBを含むスライスのことを Bスライスと呼ぶ。 Iスライスのみで構成される画 像フレームを Iピクチャ、 Iスライスまたは Pスライスを含む (Bスライスを含まな 、；)画像フ レームを Pピクチヤ、 Bスライスを含む画像フレームを Bピクチヤと呼ぶ。
[0011] 動きベクトル計算装置 E109は、 MBバッファ E101に格納された原画像とフレーム ノ ッファ E106に格納された再構築画像を参照して、前記複数種類の予測に係るパ ラメータ (候補参照インデックス candidate_ref_idxおよび候補動きベクトル candidatejnv) を検出する。
[0012] MBモード判定装置 E110は、動きベクトル計算装置 E109が検出した候補参照ィ ンデッタス candidate_refjdxおよび候補動きベクトル candidatejnvを利用して、対象 M Bの符号化に好適な予測の種類 (MBモード mbjnode)を選択する。前記選択された MBモード mbjnodeと、これに対応する参照インデックス refjdxおよび動きベクトル mv は、エントロピー符号ィ匕装置 E104によってエントロピー符号ィ匕される。
[0013] 予測装置 E107は、 MBモード判定装置 E110が選択した MBモード mb_mode、これ に対応する参照インデックス refjdx、動きベクトル mvに対応する予測値を、フレーム ノ ッファ E106に格納された再構築画像から生成する。
[0014] MBバッファ E101に格納された原画像は、予測装置 E107から供給される予測値 が減じられて、予測誤差として変換装置 E102に供給される。
[0015] 前記予測誤差は、変換装置 E102によって周波数領域に変換される。周波数領域 に変換された予測誤差は、符号量制御装置 E108から供給される量子化パラメータ QPに対応する量子化ステップで、量子化装置 E103によって量子化される。量子化 ノ メータ QPと量子化された予測誤差 (量子化レベル)は、エントロピー符号化装置 E 104によってエントロピー符号化される (なお、 AVCでは MBの単位で量子化パラメ一 タを設定できる)。
[0016] 前記量子化レベルは、逆量子化/逆変換装置 E105によって、逆量子化および逆 変換されて、元の空間領域に戻される。空間領域に戻された予測誤差には、予測装 置 E107から供給される予測値が加えられ、以後の符号ィ匕のために再構築画像とし てフレームバッファ E106に格納される。
[0017] 従来の動画像符号化装置は、上述した処理を、各入力画像フレームの各 MBに適 用することで、符号化処理を行う。
発明の開示
発明が解決しょうとする課題
[0018] ところで、上述した MBの動き補償予測モードの中には、符号ィ匕済みのブロックから 参照インデックスおよび動きベクトルを生成し、その生成した参照インデックスおよび 動きベクトルで画像の予測値を計算できる、スキップモードがある (AVCでは、 MB単 位でスキップモードを指定ができるので、以後はスキップ MBモードと呼ぶ)。スキップ MBモードは、参照インデックス、動きベクトル、および量子化レベルをエントロピー符 号ィ匕して伝送する必要のない MBモードである。特に、 Pスライスにおいて、空間的に 隣接する符号ィ匕済みのブロックの状態 (コンテキスト)を利用して、スキップ MBの参照 インデックス skip_ref_idxおよび動きベクトル skipjnvを生成するスキップ MBモードを、 Pスキップ MBモードと呼ぶ。
[0019] Pスキップ MBモードは、参照インデックス、動きベクトル、および量子化レベルをェ ントロピー符号化して伝送する必要がない。このため、予測誤差が小さくなりやすい 平坦な領域にぉ 、ては、 Pスキップ MBモードが符号ィ匕に好適な MBモードとして選 択される傾向がある。
[0020] しかしながら、パンユングなどのシーンの平坦な領域において、パンユングの動きと 異なる動きベクトルを持つ Pスキップ MBモードが選択されると、主観的に望ましくな Vヽベクトル場が形成されてしまう問題がある。
[0021] この問題の原因は、動きベクトルのメディアン予測と、 Pスキップ MBモードの参照ィ ンデッタスおよび動きベクトルの生成ルールである。原因である、動きベクトルのメディ アン予測、 AVCにおける Pスキップ MBモードの参照インデックスおよび動きベクトル の生成ルールをそれぞれ以下で説明する (詳細は、非特許文献 1 ISO/IEC 14496- 10 Advanced Video Codingを参照)。
[0022] 動きベクトルのメディアン予測では、対象ブロックに隣接する 3ブロックの動きべタト ルを参照して、その中央の値の動きベクトルを予測動きベクトル (pmv)とする。隣接す る 3ブロックは、対象ブロックの左隣接ブロック (ブロック A)、上隣接ブロック (ブロック B) 、そして右上もしくは左上の隣接ブロック (ブロック Cもしくはブロック D)である。図 3を 参照して、参照インデックス refjdxに対応する 16x16ブロックサイズ (MB)に対する、動 きベクトルのメディアン予測を説明する。なお、前記の予測動きベクトルは、動きべタト ルの予測符号化に利用される。
[0023] MEDIAN(a,b,c)を入力 a,b,cの中央値を返す関数、 pl6mvを参照インデックス refjdx に対する MBの予測動きベクトル、 ref_idx_Xを隣接ブロック Xの参照インデックス、 mv_ Xを隣接ブロック Xの動きベクトル、 avail_flag_Xを隣接ブロック Xのアベイラビリティフラ グとして、擬似プログラムコードで予測動きベクトル pl6mvの計算ステップを以下に示 す。ただし、前記隣接ブロック Xのアベイラビリティフラグ avail_flag_Xは、ブロック Xがピ クチャの外側に出ている、あるいは、異なるスライスに属している場合に、 Falseとなる ものとする。そうでない場合、 avail_flag_Xは、 Trueとなるものとする。 ii(avail_flag_A == True) refjdxj = ref— ldx— A; mv_l = mv_A; else refjdxj = -1;
mv_l = 0;
ii(avail_flag_B == True) ref_idx_u = ref— idx— B; mv_u= mv_B; else ref— idx— u =— 1;
mv_u = 0;
} ii(avail_flag_C == True) ref— idx— di = ref— idx— C; mv_di = mv_C;
}
else ii(avail_flag_D == True) ref— idx— di = ref— idx— D; mv_di = mv_D; else ref_idx_di =— 1;
mv_di = 0;
ii(ref_idx_l == refjdx && ref_idx_u != refjdx && ref_idx_di != refjdx)
pl6mv = mv_l;
else ii(ref_idx_l != refjdx && ref_idx_u == 0 && ref_idx_di != refjdx)
pl6mv = mv_u;
else ii(ref_idx_l != refjdx && ref— idx— u != refjdx && ref— idx— di == refjdx)
pl6mv = mv_di;
else ii(avail_flag_B == False && avail—flag— C == False)
pl6mv = mv_l;
else
pl6mv = MEDIAN(mv_l， mv_u， mv_di);
[0024] メディアン予測の性質によって、隣接する 2つ以上のブロックの動きベクトルが同じ である場合、対象ブロックの予測動きベクトルは、前記隣接する 2つ以上のブロックの 動きベクトルと同じになる。また、予測誤差が小さい平坦な領域においては、当該 M Bで差分ベクトルが伝送されない傾向がある。これらの理由により、予測誤差が小さく なりやすい平坦な領域で、図 4のように同じ動きベクトルを持つ MB水平に連続して 発生すると、前記連続して発生した MBの動きベクトル力 画面の下方向に広がる (伝 播する)傾向がある。
[0025] 続いて、 AVCにおける Pスキップ MBモードの参照インデックスおよび動きベクトル の生成ルールを説明する。
[0026] AVCの Pスキップ MBモードでは、参照インデックス skip_ref_idxをゼロとする。一方、 動きベクトル skipjnvは、隣接するブロックにゼロベクトル (水平および垂直成分の動き ベクトルの値が零)が存在する場合、あるいは、符号化対象 MBがピクチャやスライス の境界 (ただし、左端と上端)に位置する場合、重要な動きがないものとして、 skipjnv をゼロベクトルとする。
[0027] そうでない場合には、重要な動き (グローバルな動き、ローカルな動き)があるものと して、動きベクトル skipjnv Vは、参照インデックス ref_idx=0に対応する前記の予測動 きベクトル pl6mvとなる。具体的には、動きベクトル skipjnvは、隣接ブロックのコンテキ スト (ブロック Aおよび Bのアベイラビリティフラグ、参照インデックス、および動きべタト ル)が以下のいずれかの条件を満たした場合にはゼロベクトル、そうでない場合には 参照インデックス ref_idx=0に対応する予測動きベクトル pl6mvとなる。
avail— flag— A == False
avail—flag— B == False
avail—flag— A == True && ref— idx— A == 0 && mv— A == 0
avail—flag— B == True && ref— idx— B == 0 && mv— B == 0
[0028] この Pスキップ MBモードの動きベクトルの生成ルールによって、 ref_idx=0および mv =0の Pスキップ MBモードが発生すると、後続する MBの Pスキップ MBモードの動き ベクトルも無条件にゼロベクトルとなる。つまり、 Pスキップ MBモードが選択されやす い平坦な領域では、ゼロベクトルの Pスキップ MBモードが連続して発生し、ゼロべク トルの動きベクトルが画面の右方向および下方向に伝播する。特に、ピクチャゃスラ イスの境界では、 Pスキップ MBモードの動きベクトルが必ずゼロベクトルとなり、動き ベクトルの予測に参照されるため、画面内のベクトル場に対する動きベクトルの影響 が大きい。
[0029] 以上説明した、動きベクトルのメディアン予測と、 AVCの Pスキップ MBモードの参 照インデックスおよび動きベクトルの生成ルールによって、ノ ンユングなどのシーンの 平坦な領域で、主観的に望ましくないベクトル場が形成されてしまう一例を、以下で 説明する。
[0030] 図 5の符号化対象フレームは、縦にパンユングし、尚且つ、ほとんどの画像領域が 平坦 (Flat-textured MB)であり、テクスチャのある MB(Highly textured MB)のみでパ ンユングに合致した動きベクトルが動きベクトル計算によって得られるものとする。
[0031] このような場合、フレーム間予測に用いる動きベクトルが多少揺らいでも、平坦 MB の予測誤差は小さくなるため、 Pスキップ MBモードが選ばれやすくなる。また、ピクチ ャおよびスライスの境界の MBにおいては、スキップ MBモードの動きベクトル skipjnv は、前述した Pスキップ MBモードの生成ルールによって、ゼロベクトルとなる (図 6、 M B with SkipMV=0)o
[0032] このため、スライス境界に後続する平坦な画像領域では、画像全体が縦にパンニン グしているにも関わらず、メディアン予測と Pスキップ MBモードによる動きベクトルの 伝播によって、殆どの平坦 MBの動きベクトルがゼロベクトルとして符号ィ匕が終了する (図 7)。この結果、パンユングの動きと符号ィ匕された画像の動きが大きく異なり、主観 的に望ましくないベクトル場が形成されてしまう。
[0033] 本発明は、上記の課題を鑑みてなされたものであり、主観的に望ましくないベクトル 場の形成を回避する、高画質な符号化を可能とする動画像符号化方法、およびこれ を用いた装置とコンピュータプログラムを提供することを目的とする。
課題を解決するための手段
[0034] 上記課題を解決するための第 1の発明は、動画像符号ィ匕方法であって、画像をブ ロック単位でフレーム間予測するフレーム間予測ステップと、該ブロックのフレーム間 予測で利用する参照フレームと動きべ外ルとを計算する動きべ外ル計算ステップと 、該ブロックの動きベクトルを予測符号化する予測動きベクトルを計算する予測動き ベクトル計算ステップと、該ブロックに空間的に隣接するブロックのコンテキストを利用 してスキップモードのスキップモード動きベクトルを計算するスキップモード動きべタト ル計算ステップと、該ブロックの符号ィ匕モードとしてスキップモードが有効であるかを 判定するスキップモード有効判定ステップとを有し、前記スキップモード有効判定ス テツプは、前記スキップモード動きベクトルに基づ 、た補正値をスキップモード有効 判定に利用することを特徴とする。
[0035] 上記課題を解決するための第 2の発明は、上記第 1の発明において、前記スキップ モード有効判定ステップは、前記スキップモード動きベクトルと前記スキップモードの 参照フレームに対応する前記予測動きベクトルとの差分動きベクトルの符号量を該ブ ロックの量子化パラメータで重み付けした値をスキップモード有効判定に利用するこ とを特徴とする。
[0036] 上記課題を解決するための第 3の発明は、上記第 2の発明において、前記スキップ モード有効判定ステップは、前記スキップモードの参照フレームと前記動きベクトル 計算ステップで計算された参照フレームとが異なる場合、該ブロックの符号ィヒモード としてスキップモードを無効と判定することを特徴とする。
[0037] 上記課題を解決するための第 4の発明は、上記第 2の発明において、前記スキップ モード動きベクトル計算ステップは、該ブロックがピクチャもしくはスライス境界に存在 する場合、スキップモード動きベクトルをゼロベクトルとし、前記スキップモード有効判 定ステップは、ピクチャもしくはスライスの境界に位置するブロックにおいて、スキップ モードを無効と判定することを特徴とする。
[0038] 上記課題を解決するための第 5の発明は、上記第 1の発明において、前記スキップ モード有効判定ステップは、前記スキップモード動きベクトルと、前記スキップモード の参照フレームに対応する前記動きベクトル計算ステップで計算された動きベクトル との差分動きベクトルの符号量を、該ブロックの量子化パラメータで重み付けした値 をスキップモード有効判定に利用することを特徴とする。
[0039] 上記課題を解決するための第 6の発明は、上記第 5の発明において、前記スキップ モード有効判定ステップは、前記スキップモードの参照フレームと前記動きベクトル 計算ステップで計算された参照フレームとが異なる場合、該ブロックの符号ィヒモード としてスキップモードを無効と判定することを特徴とする。
[0040] 上記課題を解決するための第 7の発明は、上記第 5の発明において、前記スキップ モード動きベクトル計算ステップは、該ブロックがピクチャもしくはスライス境界に存在 する場合、スキップモード動きベクトルをゼロベクトルとし、前記スキップモード有効判 定ステップは、ピクチャもしくはスライスの境界に位置するブロックにおいて、スキップ モードを無効と判定することを特徴とする。
[0041] 上記課題を解決するための第 8の発明は、動画像符号化装置であって、画像をブ ロック単位でフレーム間予測するフレーム間予測手段と、該ブロックのフレーム間予 測で利用する参照フレームと動きべ外ルを計算する動きべ外ル計算手段と、該ブロ ックの動きベクトルを予測符号化する予測動きベクトルを計算する予測動きベクトル 計算手段と、該ブロックに空間的に隣接するブロックのコンテキストを利用してスキッ プモードのスキップモード動きベクトルを計算するスキップモード動きベクトル計算手 段と、該ブロックの符号ィ匕モードとしてスキップモードが有効であるかを判定するスキ ップモード有効判定手段とを有し、前記スキップモード有効判定手段は、前記スキッ プモード動きベクトルに基づいた補正値をスキップモード有効判定に利用することを 特徴とする。
[0042] 上記課題を解決するための第 9の発明は、上記第 8の発明において、前記補正値 は、前記スキップモード動きベクトルと前記スキップモードの参照フレームに対応する 前記予測動きベクトルとの差分動きベクトルの符号量を該ブロックの量子化パラメ一 タで重み付けした値であることを特徴とする。
[0043] 上記課題を解決するための第 10の発明は、上記第 9の発明において、前記スキッ プモード有効判定手段は、前記スキップモードの参照フレームと前記動きベクトル計 算手段が計算した参照フレームとが異なる場合、該ブロックの符号ィ匕モードとしてス キップモードを無効と判定することを特徴とする。
[0044] 上記課題を解決するための第 11の発明は、上記第 9の発明において、前記スキッ プモード動きベクトル計算手段は、該ブロックがピクチャもしくはスライス境界に存在 する場合、スキップモード動きベクトルをゼロベクトルとし、前記スキップモード有効判 定手段は、ピクチャもしくはスライスの境界に位置するブロックにおいて、スキップモ ードを無効と判定することを特徴とする。
[0045] 上記課題を解決するための第 12の発明は、上記第 8の発明において、前記補正 値は、前記スキップモード動きベクトルと、前記スキップモードの参照フレームに対応 する前記動きべ外ル計算手段が計算した動きべ外ルとの差分動きべ外ルの符号 量を、該ブロックの量子化パラメータで重み付けした値であることを特徴とする。
[0046] 上記課題を解決するための第 13の発明は、上記第 12の発明において、前記スキ ップモード有効判定手段は、前記スキップモードの参照フレームと前記動きベクトル 計算手段が計算した参照フレームとが異なる場合、該ブロックの符号ィ匕モードとして スキップモードを無効と判定することを特徴とする。 [0047] 上記課題を解決するための第 14の発明は、上記第 12の発明において、前記スキ ップモード動きベクトル計算手段は、該ブロックがピクチャもしくはスライス境界に存在 する場合、スキップモード動きベクトルをゼロベクトルとし、前記スキップモード有効判 定手段は、ピクチャもしくはスライスの境界に位置するブロックにおいて、スキップモ ードを無効と判定することを特徴とする。
[0048] 上記課題を解決するための第 15の発明は、動画像符号ィ匕装置のプログラムであつ て、前記プログラムは前記動画像符号化装置を、画像をブロック単位でフレーム間予 測するフレーム間予測手段と、該ブロックのフレーム間予測で利用する参照フレーム と動きベクトルを計算する動きべ外ル計算手段と、該ブロックの動きべ外ルを予測 符号ィ匕する予測動きべ外ルを計算する予測動きベクトル計算手段と、該ブロックに 空間的に隣接するブロックのコンテキストを利用してスキップモードのスキップモード 動きべ外ルを計算するスキップモード動きべ外ル計算手段と、該ブロックの符号ィ匕 モードとしてスキップモードが有効であるかを判定するスキップモード有効判定手段と して機能させ、前記スキップモード有効判定手段を、前記スキップモード動きベクトル に基づ!/、た補正値をスキップモード有効判定に利用するように機能させることを特徴 とする。
[0049] 上記課題を解決するための第 16の発明は、上記第 15の発明において、前記スキ ップモード有効判定手段を、前記スキップモード動きベクトルと前記スキップモードの 参照フレームに対応する前記予測動きベクトルとの差分動きベクトルの符号量を該ブ ロックの量子化パラメータで重み付けした値をスキップモード有効判定に利用するよ うに機能させることを特徴とする。
[0050] 上記課題を解決するための第 17の発明は、上記第 16の発明において、前記スキ ップモード有効判定手段は、前記スキップモードの参照フレームと前記動きベクトル 計算手段が計算した参照フレームとが異なる場合、該ブロックの符号ィ匕モードとして スキップモードを無効と判定することを特徴とする。
[0051] 上記課題を解決するための第 18の発明は、上記第 16の発明において、前記スキ ップモード動きベクトル計算手段は、該ブロックがピクチャもしくはスライス境界に存在 する場合、スキップモード動きベクトルをゼロベクトルとし、前記スキップモード有効判 定手段は、ピクチャもしくはスライスの境界に位置するブロックにおいて、スキップモ ードを無効と判定することを特徴とする。
[0052] 上記課題を解決するための第 19の発明は、上記第 15の発明において、前記スキ ップモード有効判定手段を、前記スキップモード動きベクトルと、前記スキップモード の参照フレームに対応する前記動きベクトル計算手段が計算した動きべ外ルとの差 分動きベクトルの符号量を該ブロックの量子化パラメータで重み付けした値を、スキッ プモード有効判定に利用するように機能させることを特徴とする。
[0053] 上記課題を解決するための第 20の発明は、上記第 19の発明において、前記スキ ップモード有効判定手段は、前記スキップモードの参照フレームと前記動きベクトル 計算手段が計算した参照フレームとが異なる場合、該ブロックの符号ィ匕モードとして スキップモードを無効と判定することを特徴とする。
[0054] 上記課題を解決するための第 21の発明は、上記第 19の発明において、前記スキ ップモード動きベクトル計算手段は、該ブロックがピクチャもしくはスライス境界に存在 する場合、スキップモード動きベクトルをゼロベクトルとし、前記スキップモード有効判 定手段は、ピクチャもしくはスライスの境界に位置するブロックにおいて、スキップモ ードを無効と判定することを特徴とする。
発明の効果
[0055] 本発明によれば、主観的に望ましくないベクトル場の形成を回避する、高画質な符 号ィ匕を可能とする動画像符号ィ匕方法、およびこれを用いた装置とコンピュータプログ ラムを提供できる。
図面の簡単な説明
[0056] [図 1]図 1は、画像フレーム（4 : 2 : 0フォーマット）の構成である。
[図 2]図 2は、従来の動画像符号化装置の構成図である。
[図 3]図 3は、符号ィ匕対象 MBと参照隣接ブロックとの関係を説明するための図である
[図 4]図 4は、平坦領域における予測動きベクトルの伝播を説明するための図である。
[図 5]図 5は、符号ィ匕対象画像フレームの一例（縦パン)である。
[図 6]図 6は、ピクチャ境界、及びスライス境界の Pスキップ MBがゼロベクトルとなる様 子である。
[図 7]図 7は、主観的に望ましくないベクトル場の形成である。
[図 8]図 8は、従来の MBモード判定装置である。
[図 9]図 9は、フレーム間予測画像の生成を説明するための図である。
[図 10]図 10は、第 1の実施の形態の構成図である。
[図 11]図 11は、第 1の実施の形態のフロー図である。
[図 12]図 12は、望ましいベクトル場の形成
[図 13]図 13は、第 2の実施の形態の構成図である。
[図 14]図 14は、第 3の実施の形態の構成図である。
[図 15]図 15は、第 3の実施の形態のフロー図である。
[図 16]図 16は、第 3の実施の形態の構成図である。
[図 17]図 17は、第 4の実施の形態の構成図である。
[図 18]図 18は、第 4の実施の形態のフロー図である。
[図 19]図 19は、第 4の実施の形態の構成図である。
[図 20]図 20は、本発明を利用した情報処理装置の構成である。
符号の説明
[0057] E11000 仮想ベクトルコスト計算
E11001 動き補償予測
E11002 SATD計算
E11003 スキップ MB動きベクトル計算
E11004 予測動きベクトル計算
E11005 ベクトルコスト計算
E11006 半 IJ定
発明を実施するための最良の形態
[0058] 本発明は、動き補償予測を用いた動画像符号ィ匕技術におけるスキップ MBモード の有効判定技術のみに関する。ゆえに、本発明を利用した動画像符号ィ匕装置では、 図 2の装置全体のうち、 MBモード判定装置 E110の構成および動作のみが従来と 異なる。以下では、 MBモード判定装置 E110について、従来方式を詳細に説明した 後、本発明の実施の形態について説明する。
[0059] 〈従来方式〉
図 8を参照すると、従来の MBモード判定装置は、動き補償予測装置 E11001、 S ATD計算装置 El 1002、スキップ MB動きベクトル計算装置 El 1003、予測動きべ タトル計算装置 E11004、ベクトルコスト計算装置 E11005、判定装置 E11006、スィ ツチ SW1001によって構成される。
[0060] 動き補償予測装置 E11001は、外部の動きベクトル計算装置 E109から供給される 候ネ li参照インデックス candidate_ref_idxと候ネ甫動さべクトノレ candidate_mv(candidate_mv _x, candidate_mvj)、あるいは、スキップ MB動きベクトル計算装置 El 1003から供給 されるスキップ MBの参照インデックス skip_ref_idxおよび動きベクトル skip_mv(skip_mv_ X, skipjnvj)をスィッチ SW1001で切り替えて、入力される参照インデックスおよび動 きベクトルに対応するフレーム間予測画像を生成する。図 9に、 ref_idx=0のフレーム 間予測画像の一例を示す。
[0061] 以後の説明のために、前記のフレーム間予測画像 predを、定式的に以下のように 定義する。 pred = MC rej idx,mv x，mv v)
(1)
ここで、 MC(ref_idx,mv_x,_mv_y)は、供給される参照インデックス refjdxおよび動きべ タトル（mv_x,_mvj)に従い、参照インデックス refjdxの再構築画像フレームから、予測 対象ブロックの左上角の座標 (x,y)と動きベクトル（mv_x, mv を利用して、フレーム間 予測画像を計算する関数である。なお、 AVCにおいては、動きベクトル mvの画素精 度は 1Z4画素精度である。
[0062] SATD計算装置 E11002は、動き補償予測装置 E11001から供給されるフレーム 間予測画像 predを、原画像 orgから減じた予測誤差 peを利用して、式（2)の SATDを 計算する。
Figure imgf000017_0001
JC=0 y=
(2)
Figure imgf000017_0002
(3)
Figure imgf000017_0003
一
(4)
Figure imgf000017_0004
= org(b xidx + i, b4yidx + j)一 pre學 xidx + i, b4yidx + j)
(5)
ここで、 idxは、図 1に示す MB内部での 4x4ブロックの番号であり、
(b4xkix 9b4yidx){0≤b4xidx≤12, 0≤i4^≤12} は、 idxに対応する 4x4ブロックの左上角の MB内部での座標を示す。上記の SATD の計算には 4x4ブロックサイズのアダマール変換を利用して 、るが、代わりに 8x8ブロ ックサイズのアダマール変換を利用してもよいし、 SATDの代わりに SAD(Sum of Ab solute Differences)を利用しても良!ヽ。
[0064] スキップ MB動きベクトル計算装置 E11003は、スキップ MBに対応する参照インデ ックス skip— ref— idxおよび動さべクトノレ skip— mv(skip— mv— X, skip— mv_y)を十算する。尚、 手 細は、発明が解決しょうとする課題での記述に従う。
[0065] 予測動きベクトル計算装置 E11004は、候補参照インデックス candidate_ref_idxに対 応する予測動きベクトル pmV(pmv_X, pmvjを計算する。尚、詳細は、発明が解決しよ うとする課題での記述に従う。
[0066] ベクトルコスト計算装置 E11005は、候補動きベクトル candidate_mv(candidate_mv_x, candidatejnv から、予測動きベクトル計算装置 El 1004から供給される予測動き ベクトノレ pmv(pmv_x, pmv_y)を減じて、差分動きべクトノレ dmv(dmv_x, dmv_y)を求め、刖 記差分動きベクトル dmvの符号量 dmv_bitを求める。前記 dmv_bitを、定式的に以下の ように定義する。 dmv _ bit = Bit _ length {dmv x) + Bit length (dmv v)
(6)
[0067] ここで、 Bit_length(x)は差分動きベクトル xのエントロピー符号化のビット数を返す関 数である。
[0068] さらに、ベクトルコスト計算装置 E11005は、前記符号量 dmv_bitを、外部の符号量 制御装置 E108から供給される量子化パラメータ QPを利用して、式（7)のように重み 付けし、その重み付け結果をベクトルコスト mv_costとして、判定装置 E11006に供給 する。 mv一 cost = 2(QP~l2)/e x dmv一 bit
(7)
[0069] 判定装置 El 1006は、スキップ MBモード以外の MBモードのコスト mb_costを、候 補参照インデックス candidate_refjdxと候補動きベクトル candidatejnvに対応する、 SA TD計算装置 E11002から供給される SATDとベクトルコスト計算装置 E11005から 供給されるベクトルコスト mv_C0Stを利用して、式 (8)で計算する
15
mb cost - 〉 SA TD(idx) + mv cost idx=0
(8)
[0070] これに対して、スキップ MBモードでは動きベクトルをエントロピー符号化して伝送 する必要がない。ゆえに、判定装置 E11006は、スキップ MBモードのコスト smb_cost を、スキップ MBの参照インデックス skip_refjdxおよび動きベクトル skip_mvに対応する SATD計算装置 E11002から供給される SATDのみを利用して、式（9)のように計 算する。
15
smo cost = SATDK idx)
idx=0
(9)
[0071] 判定装置 El 1006(スキップ MBモードの有効判定装置)は、スキップ MBモードのコ スト smb_costが、スキップ MBモード以外の MBモードのコスト mb_costよりも小さければ 、スキップ MBが有効であると判断して、スキップ MBモードに対応する mb_mode、参 照インデックス ref_idx、動きベクトル mvを外部に出力する。そうでない場合は、スキッ プ MBモード以外の MBモードに対応する mb_mode、参照インデックス ref_idx、動きべ タトル mvを外部に出力する。
[0072] 上述したように、平坦な MBは、スキップ MBモードの動きベクトル（skipjnv)が真の 動きベクトルと異なる値であっても、その SATDの値が比較的小さぐさらに、動きべ タトルコスト mv_costが必要ないことから、他の MBモードよりも、スキップ MBモードが 有効と判定される。パンユングのシーンの平坦領域で、パンユングの動きと異なる動 きベクトルを持つ Pスキップ MBモードが選択されて、主観的に望ましくな 、ベクトル 場が形成されてしまう。 [0073] 以上で、従来の MBモード判定の説明を終了する。
[0074] 従来技術に対して、本発明は、スキップ MBモードの動きベクトルに基づいた補正 値を利用してスキップ MBモードの有効判定を行う。この補正値とは、スキップ MBモ ードの動きベクトルと、推定した動きベクトルとの差分動きベクトル力 計算した符号 量を該ブロックの量子化パラメータで重み付けして得られる仮想ベクトルコストである 。これによつて、主観的に望ましくないベクトル場の形成を回避できる。以下では、本 発明のスキップ MBモードの有効判定を説明する。
[0075] 〈第 1の実施の形態〉
本第 1の実施の形態は、従来方式と比較すると、スキップ MBモードの動きベクトル とスキップ MBモードの参照フレーム (参照インデックス)に対応する予測動きベクトル の差分動きベクトルの符号量から、仮想ベクトルコストを求める手段を備える。前記仮 想ベクトルコストをスキップ MBモードの有効判定に利用することで、上述した課題を 克月 βすることができる。
[0076] 図 10を参照して、本実施の形態の MBモード判定装置の構成を説明する。
[0077] 図 8の従来の MBモード判定装置と比較すると、新たに、仮想ベクトルコスト計算装 置 PIOOOOおよびスィッチ SW11002を備えることが分かる。また、ベクトルコスト計算 装置 E11005から供給されるベクトルコストは、スィッチ SW11002を経由して、判定 装置 E11006に供給される。このため、判定装置 E11006の動作は、従来のものと異 なる。
[0078] 以下では、本発明の特徴部である、仮想ベクトルコスト計算装置 P10000、および 判定装置 E11006を説明する。
[0079] 仮想ベクトルコスト計算装置 PIOOOOは、外部の符号量制御装置 E108から供給さ れる量子化パラメータ QP、スキップ MB動きベクトル計算装置 El 1003から供給され るスキップ MBに対応する動きベクトル skip_mv、予測動きベクトル計算装置 El 1004 力 供給される ref_idx=0(スキップ MBの参照インデックス)に対応する MBの予測動き ベクトル pmvl6を利用して、仮想ベクトルコスト smv_costを計算する。尚、詳細は、発明 が解決しょうとする課題での記述に従う。
[0080] 仮想ベクトルコスト計算装置 PIOOOOは、スキップ MBに対応する動きベクトル skip_ mv(skip_mv_x, skipjnvj)から、予測動きベクトル計算装置 El 1004から供給される予 測動きベクトル pmvl6(pml6v_x, pmvl6j)を減じて、仮想差分動きベクトル sdmv(sdm v_x,dmvj)を求め、前記差分動きベクトル sdmvの仮想符号量 sdmv_bitを求める。前記 仮想符号量 sdmv_bitを、式（10)のように定義する。 sdmv _ bit = Bit _ length (sdmv x) + Bit length sdmv v) do)
[0081] さらに、仮想ベクトルコスト計算装置 PIOOOOは、前記量子化パラメータ QPを利用 して、前記仮想符号量 sdmv_bitを式（11)のように重み付けし、その重み付け結果を 仮想ベクトルコスト smv_costとして、スィッチ SW11002に供給する。 smv cost = ζ(β~ 1 2 ) 7 6 χ sdmv bit
(11)
[0082] ここで、式（11)の仮想ベクトルコスト smv_costは、スキップ MBモードが選択されて、 主観的に望ましくないベクトル場が形成されるのを回避するためのオフセットとして働 く。また、スキップ MBモードが有効と判断された MBにおいて、非ゼロの量子化レべ ルが発生した場合には、参照インデックス ref_idx=0で、かつ、動きベクトル mv=skip_mv の 16x16画素サイズのフレーム間予測モードとして、参照インデックスと動きベクトルが エントロピー符号ィ匕されるので、この場合での動きベクトルコストとしても機能する。
[0083] スキップ MBモード以外の MBモードでは、従来と同様に、本発明の判定装置 E11 006は、候補参照インデックス candidate_ref_idxと候補動きベクトル candidate_mvに対 応する、 SATD計算装置 E11002から供給される SATDと、スィッチ SW11002を経 由してベクトルコスト計算装置 E11005から供給されるベクトルコスト mv_costを利用し て、当該 MBモードのコスト mb_costを式（8)で計算する。
15
mb cost = SATD{idx) + mv cost idx= (8)
[0084] これに対して、スキップ MBモードでは、従来とは異なり、本発明の判定装置 E110 06は、スキップ MBの参照インデックス skip_ref_idxおよび動きベクトル skipjnvに対応 する、 SATD計算装置 E11002から供給される SATDと、スィッチ SW11002を経由 して仮想ベクトルコスト計算装置 PIOOOOから供給される仮想ベクトルコスト smv_cost を利用して、スキップ MBモードのコスト smb_costを式（12)のように計算する。
15
smb cost - ^ SATD iax) + smv cost idx=0
(12)
[0085] 従来と同様に、判定装置 El 1006は、スキップ MBモードのコスト smb_costが、スキ ップ MBモード以外の MBモードのコスト mb_costよりも小さければ、スキップ MBが有 効であると判断して、スキップ MBモードに対応する mb_mode、参照インデックス refjd x、動きベクトル mvを外部に出力する。そうでない場合は、スキップ MBモード以外の MBモードに対応する mb_mode、参照インデックス ref_idx、動きベクトル mvを外部に出 力する。
[0086] 続いて、図 11を参照して、本実施の形態における MBモード判定装置の動作を説 明する。
[0087] まず、 MBモード判定の開始に際して、最小コスト MinCostに初期値 (十分大きな値） を設定する。
[0088] ステップ S 1000では、判定対象がスキップ MBであるか否かを判断する。スキップ MBでなければステップ S2000、スキップ MBであればスキップ S3000に進む。
[0089] ステップ S2000では、判定対象 MBモードに対応する参照インデックス refjdxと動き ベクトル mvを利用して、式（8)によって MBモードコスト mb_costを計算し、 MBモード コスト mb_costを変数 curCostに代入して、ステップ S4000に進む。
[0090] ステップ S3000では、スキップ MBモードに対応する参照インデックス refjdxと動き ベクトル mvを利用して、式（12)によってスキップ MBモードコスト smb_costを計算し、 MBモードコスト smb_costを変数 curCostに代入して、ステップ S4000に進む。 [0091] ステップ S4000では、変数 curCostが最小コスト MinCostよりも小さ!/ヽかを判断する。 小さければステップ S5000、大きければステップ S6000に進む。
[0092] ステップ S5000では、最小コスト MinCostを変数 curCostによって更新し、当該判定 対象 MBモードの mb_mode、これに対応する参照インデックス refjdxと動きベクトル mv を記憶する（選択する符号ィ匕 MBモードを更新する）。さらに、ステップ S6000に進む
[0093] ステップ S6000では、すべての MBモードの比較が終了したか否かを判断する。す ベての MBモードの比較が終了していなければ、次の判定対象 MBモードの mb_mod eをセットして、ステップ S1000に戻る。すべての MBモードの比較が終了していれば 、 MBモード判定を終了する。
[0094] MBモード判定を終了すると、 MBモード判定装置は、現在保持している mb_mode、 参照インデックス ref_idx、動きベクトル mvを、当該 MBを符号化するパラメータとして外 部に出力する。
[0095] 以上で、本実施の形態における MBモード判定装置の動作を終了する。
[0096] 上述した、本発明の MBモード判定装置を利用して動画像を符号化した場合、仮 想ベクトルコスト smv_costの効果によって、図 5のような、縦にパンユングし、尚且つ、 ほとんどの画像領域が平坦 (Flat-textured MB)であり、テクスチャのある MB(Highly t extured MB)のみでパンユングに合致した動きベクトルが動きベクトル計算によって 得られる画像を符号ィ匕したとしても、図 12のように、パンユングの動きと符号ィ匕された 画像の動きが合致した主観的に望ましいベクトル場を形成できる。
[0097] 〈第 2の実施の形態〉
本実施の形態は、第 1の実施の形態と比較すると、スキップ MBモードの動きべタト ルとスキップ MBモードの参照フレーム (参照インデックス)に対応する動きベクトル計 算装置の計算した動きベクトルの差分動きベクトルの符号量から、仮想ベクトルコスト を求める手段を備える。
[0098] 図 13を参照して、本実施の形態の MBモード判定装置の構成を説明する。
[0099] 図 10の第 1の実施の形態の MBモード判定装置と比較すると、予測動きベクトルの 代わりに、候補動きベクトルが仮想ベクトルコスト計算装置 P10000に供給されている 点で異なる。このため、仮想ベクトルコスト計算装置 PIOOOOの動作が第 1の実施の 形態のものと異なる。
[0100] 以下では、本実施の形態の特徴部である、仮想ベクトルコスト計算装置 PIOOOOを 説明する。
[0101] 仮想ベクトルコスト計算装置 PIOOOOは、外部の符号量制御装置 E108から供給さ れる量子化パラメータ QP、スキップ MB動きベクトル計算装置 El 1003から供給され るスキップ MBに対応する動きベクトル skip_mv、外部の動きベクトル計算装置 E109 力 供給される 16x16ブロックサイズに対応するフレーム間予測モードの候補参照ィ ンデッタス refjdxl6と候補動きベクトル mvl6を利用して、仮想ベクトルコスト smv_costを 計算する。
[0102] 仮想ベクトルコスト計算装置 P10000は、スキップ MBに対応する動きベクトル skip_ mv(skip_mv_x, skipjnvj)から、動きベクトル計算装置 E109から供給される動きべタト ノレ mvl6(pml6v— X, pmvl6_y)を減じて、仮想差分動きべクトノレ pdmv(pdmv— x, pdmv_y) を求め、前記差分動きベクトル pdmvの仮想符号量 pdmv_bitを求める。本実施の形態 における前記仮想符号量 pdmv_bitを、式（13)のように定義する。 pamv bit = Bit length pdmv x) + Bit lengtn^pdmv y)
(13)
[0103] さらに、仮想ベクトルコスト計算装置 PIOOOOは、前記量子化パラメータ QPを利用 して、前記仮想符号量 pdmv_bitを式（14)のように重み付けし、その重み付け結果を 仮想ベクトルコスト pmv_costとして、スィッチ SW11002に供給する。 pmv cost = 2(β' 12)16 χ pdmv bit
(14)
[0104] 式（14)の仮想ベクトルコスト pmv_costは、式（12)の仮想ベクトルコスト smv_costと同 様に、スキップ MBモードが選択されて、主観的に望ましくないベクトル場が形成され るのを回避するためのオフセットとして働く。仮想ベクトルコストが第 1の実施の形態と 異なることにより、判定装置 E11006が計算する、スキップ MBモードのコスト smb_cos tは式（15)となる。
15
smb cost = 》 SATD( dx) + pmv一 cost idx=
(15)
以上で、本実施の形態における仮想ベクトルコスト計算装置 PIOOOOの説明を終わ る。
[0105] 構成から明らかな様に、第 1の実施の形態と本実施の形態とでは、 MBモード判定 の動作フローは同様である。ただし、ステップ S3000の処理内容が異なるため、本実 施の形態での MBモード判定を以下にすべて記述する。
[0106] まず、 MBモード判定の開始に際して、最小コスト MinCostに初期値 (十分大きな値） を設定する。
[0107] ステップ S 1000では、判定対象がスキップ MBであるか否かを判断する。スキップ MBでなければステップ S2000、スキップ MBであればスキップ S3000に進む。
[0108] ステップ S2000では、判定対象 MBモードに対応する参照インデックス refjdxと動き ベクトル mvを利用して、式（8)によって MBモードコスト mb_costを計算し、 MBモード コスト mb_costを変数 curCostに代入して、ステップ S4000に進む。
[0109] ステップ S3000では、スキップ MBモードに対応する参照インデックス refjdxと動き ベクトル mvを利用して、式（15)によってスキップ MBモードコスト smb_costを計算し、 MBモードコスト smb_costを変数 curCostに代入して、ステップ S4000に進む。
[0110] ステップ S4000では、変数 curCostが最小コスト MinCostよりも小さいかを判断する。
小さければステップ S5000、大きければステップ S6000に進む。
[0111] ステップ S5000では、最小コスト MinCostを変数 curCostによって更新し、当該判定 対象 MBモードの mb_mode、これに対応する参照インデックス refjdxと動きベクトル mv を記憶する（選択する符号化 MBモードを更新する）。さらに、ステップ S6000に進む ステップ S6000では、すべての MBモードの比較が終了したか否かを判断する。す ベての MBモードの比較が終了していなければ、次の判定対象 MBモードの mbjnod eをセットして、ステップ SIOOOに戻る。すべての MBモードの比較が終了していれば 、 MBモード判定を終了する。
[0113] MBモード判定を終了すると、 MBモード判定装置は、現在保持している mb_mode、 参照インデックス ref_idx、動きベクトル mvを、当該 MBを符号化するパラメータとして外 部に出力する。
[0114] 以上で、本実施の形態における MBモード判定装置の動作の説明を終了する。
[0115] 上述した、本実施の形態の MBモード判定装置を利用して動画像を符号化した場 合、仮想ベクトルコスト pmv_costの効果によって、第 1の実施の形態と同様に、パン- ングの動きと符号ィ匕された画像の動きが合致した主観的に望ましいベクトル場を形成 できる。なお、本実施の形態は、 Bスライスのダイレクトモード (詳細は非特許文献 1 I SO/IEC 14496-10 Advanced Video Codingを参照)の有効判定に応用しても、好適 であることは言うまでもな ヽ。
[0116] 〈第 3の実施の形態〉
本実施の形態は、第 1の実施の形態と比較すると、動きベクトル計算装置の計算し た参照フレーム (参照インデックス ref_idxl6)とスキップ MBモードの参照フレーム（スキ ップ参照インデックス skip_ref_idx)を比較し、スキップ MBモードが有効であるか否かを 判断する手段を備える。
[0117] 図 14を参照して、本実施の形態の MBモード判定装置の構成を説明する。
[0118] 図 10の第 1の実施の形態の MBモード判定装置と比較すると、動きベクトル計算装 置 E109の計算した候補参照インデックスが判定装置 E11006に供給されて 、る点 で異なる。このため、判定装置 E11006の動作が第 1の実施の形態のものと異なる。
[0119] 以下では、本実施の形態の特徴部である判定装置 E11006を説明する。
[0120] 判定装置 E11006は、第 1の実施の形態のものと比較すると、外部の動きベクトル 計算装置 E109から供給される 16x16ブロックサイズに対応するフレーム間予測モー ドの候補参照インデックス ref_idxl6とスキップ MBモードの参照インデックス (skip_ref_id x=0)を比較して、前記 ref_idxl6が前記 skip_refjdxと異なる場合、スキップ MBモードが MBの符号ィ匕モード mbjnodeとならないように制御する。これによつて、より高精度に、 主観的に望ましくな 、動きベクトルの Pスキップ MBモードを誤って選択しな!、ように できる。
[0121] 以上で、本実施の形態の特徴部である判定装置 El 1006の説明を終了する。
[0122] 続いて、図 15のフローチャートを参照して、本実施の形態における MBモード判定 装置の動作を説明する。図 11のフローチャートと比較すると、新たに、ステップ S700
0が追加される点で異なる。
[0123] まず、 MBモード判定の開始に際して、最小コスト MinCostに初期値 (十分大きな値） を設定する。
[0124] ステップ S 1000では、判定対象がスキップ MBであるか否かを判断する。スキップ MBでなければステップ S2000、スキップ MBであればスキップ S7000に進む。
[0125] ステップ S2000では、判定対象 MBモードに対応する参照インデックス refjdxと動き ベクトル mvを利用して、式（8)によって MBモードコスト mb_costを計算し、 MBモード コスト mb_costを変数 curCostに代入して、ステップ S4000に進む。
[0126] ステップ S7000では、外部の動きベクトル計算装置 E109から供給される 16x16ブロ ックサイズに対応するフレーム間予測モードの候補参照インデックス ref_idxl6力 スキ ップ MBモードの参照インデックス (skip_ref_idx=0)と等し!/、か比較する。等しければス テツプ S3000、等しくなければ、ステップ S6000に進む。
[0127] ステップ S3000では、スキップ MBモードに対応する参照インデックス refjdxと動き ベクトル mvを利用して、式（12)によってスキップ MBモードコスト smb_costを計算し、 MBモードコスト smb_costを変数 curCostに代入して、ステップ S4000に進む。
[0128] ステップ S4000では、変数 curCostが最小コスト MinCostよりも小さ!/ヽかを判断する。
小さければステップ S5000、大きければステップ S6000に進む。
[0129] ステップ S5000では、最小コスト MinCostを変数 curCostによって更新し、当該判定 対象 MBモードの mb_mode、これに対応する参照インデックス refjdxと動きベクトル mv を記憶する（選択する符号ィ匕 MBモードを更新する）。さらに、ステップ S6000に進む
[0130] ステップ S6000では、すべての MBモードの比較が終了したか否かを判断する。す ベての MBモードの比較が終了していなければ、次の判定対象 MBモードの mb_mod eをセットして、ステップ S1000に戻る。すべての MBモードの比較が終了していれば 、 MBモード判定を終了する。
[0131] MBモード判定を終了すると、 MBモード判定装置は、現在保持している mb_mode、 参照インデックス ref_idx、動きベクトル mvを、当該 MBを符号化するパラメータとして外 部に出力する。
[0132] 以上で、本実施の形態における MBモード判定装置の動作説明を終了する。
[0133] なお、本実施の形態は、第 2の実施の形態でも利用することが可能である。この場 合、 MBモード判定装置の構成は、図 16のようになる。なお、本実施の形態は、 Bスラ イスのダイレクトモード (詳細は非特許文献 1 ISO/IEC 14496-10 Advanced Video C odingを参照)の有効判定に応用しても、好適であることは言うまでもな!/、。
[0134] 〈第 4の実施の形態〉
本実施の形態は、第 1の実施の形態の発明方式と比較すると、当該 MBがピクチャ もしくはスライス境界に存在するかを MBアドレスから判断し、スキップ MBモードが有 効であるか否かを判断する手段を備える。
[0135] 図 17を参照して、本実施の形態の MBモード判定装置の構成を説明する。
[0136] 図 10の第 1の実施の形態の MBモード判定装置と比較すると、 MBアドレスが判定 装置 E11006に供給されている点で異なる。このため、判定装置 E11006の動作が 第 1の実施の形態のものと異なる。
[0137] 以下では、本実施の形態の特徴部である判定装置 E11006を説明する。
[0138] 判定装置 E11006は、第 1の実施の形態のものと比較すると、供給される MBァドレ スから、当該 MBがピクチャもしくはスライス境界に存在するかを MBアドレス力 判断 し、当該 MBがピクチャもしくはスライス境界に存在する場合スキップ MBモードが MB の符号化モード mb_modeとならな!/、ように制御する。
[0139] AVCの符号化においては、ピクチャやスライスの境界位置の Pスキップ MBモード の動きベクトルは必ずゼロベクトルとなることと、ピクチャやスライスの境界の MBの動 きベクトルは以降の符号ィ匕で動きベクトルの予測に参照されることから、ピクチャゃス ライスの境界の MBの動きベクトルは、画面内のベクトル場に対する影響が大き!/、。
[0140] 本発明によって、ピクチャやスライスの境界で、主観的に望ましくない動きベクトル の Pスキップ MBモードを誤って選択しな 、ように制御することで、より効果的に主観 的に望ましくないベクトル場の形成を回避できる。
[0141] 以上で、本実施の形態の特徴部である判定装置 E11006の説明を終了する。
[0142] 続いて、図 18のフローチャートを参照して、本実施の形態における MBモード判定 装置の動作を説明する。図 11のフローチャートと比較すると、新たに、ステップ S800
0が追加される点で異なる。
[0143] まず、 MBモード判定の開始に際して、最小コスト MinCostに初期値 (十分大きな値） を設定する。
[0144] ステップ S 1000では、判定対象がスキップ MBであるか否かを判断する。スキップ MBでなければステップ S2000、スキップ MBであればスキップ S7000に進む。
[0145] ステップ S2000では、判定対象 MBモードに対応する参照インデックス refjdxと動き ベクトル mvを利用して、式（8)によって MBモードコスト mb_costを計算し、 MBモード コスト mb_costを変数 curCostに代入して、ステップ S4000に進む。
[0146] ステップ S8000では、供給される MBアドレスから、当該 MBがピクチャもしくはスラ イス境界に存在するかを MBアドレスカゝら判断する。ピクチャもしくはスライス境界に、 当該 MBが存在する場合はステップ S6000、存在しな!、場合はステップ S3000に進 む。
[0147] ステップ S3000では、スキップ MBモードに対応する参照インデックス refjdxと動き ベクトル mvを利用して、式（12)によってスキップ MBモードコスト smb_costを計算し、 MBモードコスト smb_costを変数 curCostに代入して、ステップ S4000に進む。
[0148] ステップ S4000では、変数 curCostが最小コスト MinCostよりも小さ!/ヽかを判断する。
小さければステップ S5000、大きければステップ S6000に進む。
[0149] ステップ S5000では、最小コスト MinCostを変数 curCostによって更新し、当該判定 対象 MBモードの mb_mode、これに対応する参照インデックス refjdxと動きベクトル mv を記憶する（選択する符号ィ匕 MBモードを更新する）。さらに、ステップ S6000に進む
[0150] ステップ S6000では、すべての MBモードの比較が終了したか否かを判断する。す ベての MBモードの比較が終了していなければ、次の判定対象 MBモードの mb_mod eをセットして、ステップ S1000に戻る。すべての MBモードの比較が終了していれば 、 MBモード判定を終了する。
[0151] MBモード判定を終了すると、 MBモード判定装置は、現在保持している mb_mode、 参照インデックス ref_idx、動きベクトル mvを、当該 MBを符号化するパラメータとして外 部に出力する。
[0152] 以上で、本実施の形態における MBモード判定装置の動作説明を終了する。
[0153] なお、本実施の形態は、第 2の実施の形態でも利用することが可能である。この場 合、 MBモード判定装置の構成は、図 19のようになる。
[0154] 〈第 5の実施の形態〉
さらには上述した実施の形態においては、上述した説明からも明らかなように、ハー ドウエアで構成することも可能である力 コンピュータプログラムにより実現することも 可能である。
[0155] 図 20に示す情報処理システムは、プロセッサ A1001、プログラムメモリ A1002、記 憶媒体 A1003および A1004からなる。記憶媒体 A1003および A1004は、別個の 記憶媒体であってもよいし、同一の記憶媒体力 なる記憶領域であってもよい。記憶 媒体としては、ハードディスク等の磁気記憶媒体を用いることができる。

Claims

請求の範囲
[1] 動画像符号化方法であって、
画像をブロック単位でフレーム間予測するフレーム間予測ステップと、
該ブロックのフレーム間予測で利用する参照フレームと動きベクトルとを計算する動 きベクトル計算ステップと、
該ブロックの動きベクトルを予測符号化する予測動きベクトルを計算する予測動き ベクトル計算ステップと、
該ブロックに空間的に隣接するブロックのコンテキストを利用してスキップモードのス キップモード動きベクトルを計算するスキップモード動きベクトル計算ステップと、 該ブロックの符号ィ匕モードとしてスキップモードが有効であるかを判定するスキップ モード有効判定ステップと
を有し、
前記スキップモード有効判定ステップは、前記スキップモード動きベクトルに基づ ヽ た補正値をスキップモード有効判定に利用することを特徴とする動画像符号ィ匕方法
[2] 前記スキップモード有効判定ステップは、前記スキップモード動きベクトルと前記ス キップモードの参照フレームに対応する前記予測動きベクトルとの差分動きベクトル の符号量を該ブロックの量子化パラメータで重み付けした値をスキップモード有効判 定に利用することを特徴とする請求項 1に記載の動画像符号化方法。
[3] 前記スキップモード有効判定ステップは、前記スキップモードの参照フレームと前記 動きベクトル計算ステップで計算された参照フレームとが異なる場合、該ブロックの符 号ィ匕モードとしてスキップモードを無効と判定することを特徴とする請求項 2に記載の 動画像符号化方法。
[4] 前記スキップモード動きベクトル計算ステップは、該ブロックがピクチャもしくはスライ ス境界に存在する場合、スキップモード動きベクトルをゼロベクトルとし、
前記スキップモード有効判定ステップは、ピクチャもしくはスライスの境界に位置す るブロックにお 、て、スキップモードを無効と判定することを特徴とする請求項 2に記 載の動画像符号化方法。
[5] 前記スキップモード有効判定ステップは、前記スキップモード動きベクトルと、前記 スキップモードの参照フレームに対応する前記動きベクトル計算ステップで計算され た動きベクトルとの差分動きベクトルの符号量を、該ブロックの量子化パラメータで重 み付けした値をスキップモード有効判定に利用することを特徴とする請求項 1に記載 の動画像符号化方法。
[6] 前記スキップモード有効判定ステップは、前記スキップモードの参照フレームと前記 動きベクトル計算ステップで計算された参照フレームとが異なる場合、該ブロックの符 号ィ匕モードとしてスキップモードを無効と判定することを特徴とする請求項 5に記載の 動画像符号化方法。
[7] 前記スキップモード動きベクトル計算ステップは、該ブロックがピクチャもしくはスライ ス境界に存在する場合、スキップモード動きベクトルをゼロベクトルとし、
前記スキップモード有効判定ステップは、ピクチャもしくはスライスの境界に位置す るブロックにお 、て、スキップモードを無効と判定することを特徴とする請求項 5に記 載の動画像符号化方法。
[8] 動画像符号化装置であって、
画像をブロック単位でフレーム間予測するフレーム間予測手段と、
該ブロックのフレーム間予測で利用する参照フレームと動きベクトルを計算する動き ベクトル計算手段と、
該ブロックの動きベクトルを予測符号化する予測動きベクトルを計算する予測動き ベクトル計算手段と、
該ブロックに空間的に隣接するブロックのコンテキストを利用してスキップモードのス キップモード動きベクトルを計算するスキップモード動きベクトル計算手段と、 該ブロックの符号ィ匕モードとしてスキップモードが有効であるかを判定するスキップ モード有効判定手段と
を有し、
前記スキップモード有効判定手段は、前記スキップモード動きベクトルに基づ 、た 補正値をスキップモード有効判定に利用することを特徴とする動画像符号ィ匕装置。
[9] 前記補正値は、前記スキップモード動きベクトルと前記スキップモードの参照フレー ムに対応する前記予測動きベクトルとの差分動きベクトルの符号量を該ブロックの量 子化パラメータで重み付けした値であることを特徴とする請求項 8に記載の動画像符 号化装置。
[10] 前記スキップモード有効判定手段は、前記スキップモードの参照フレームと前記動 きべ外ル計算手段が計算した参照フレームとが異なる場合、該ブロックの符号ィ匕モ ードとしてスキップモードを無効と判定することを特徴とする請求項 9に記載の動画像 符号化装置。
[11] 前記スキップモード動きベクトル計算手段は、該ブロックがピクチャもしくはスライス 境界に存在する場合、スキップモード動きベクトルをゼロベクトルとし、
前記スキップモード有効判定手段は、ピクチャもしくはスライスの境界に位置するブ ロックにおいて、スキップモードを無効と判定することを特徴とする請求項 9に記載の 動画像符号化装置。
[12] 前記補正値は、前記スキップモード動きベクトルと、前記スキップモードの参照フレ ームに対応する前記動きベクトル計算手段が計算した動きベクトルとの差分動きべク トルの符号量を、該ブロックの量子化パラメータで重み付けした値であることを特徴と する請求項 8に記載の動画像符号化装置。
[13] 前記スキップモード有効判定手段は、前記スキップモードの参照フレームと前記動 きべ外ル計算手段が計算した参照フレームとが異なる場合、該ブロックの符号ィ匕モ ードとしてスキップモードを無効と判定することを特徴とする請求項 12に記載の動画 像符号化装置。
[14] 前記スキップモード動きベクトル計算手段は、該ブロックがピクチャもしくはスライス 境界に存在する場合、スキップモード動きベクトルをゼロベクトルとし、
前記スキップモード有効判定手段は、ピクチャもしくはスライスの境界に位置するブ ロックにおいて、スキップモードを無効と判定することを特徴とする請求項 12に記載 の動画像符号化装置。
[15] 動画像符号化装置のプログラムであって、前記プログラムは前記動画像符号化装 置を、
画像をブロック単位でフレーム間予測するフレーム間予測手段と、 該ブロックのフレーム間予測で利用する参照フレームと動きベクトルを計算する動き ベクトル計算手段と、
該ブロックの動きベクトルを予測符号化する予測動きベクトルを計算する予測動き ベクトル計算手段と、
該ブロックに空間的に隣接するブロックのコンテキストを利用してスキップモードのス キップモード動きベクトルを計算するスキップモード動きベクトル計算手段と、 該ブロックの符号ィ匕モードとしてスキップモードが有効であるかを判定するスキップ モード有効判定手段と
して機能させ、
前記スキップモード有効判定手段を、前記スキップモード動きベクトルに基づ 、た 補正値をスキップモード有効判定に利用するように機能させることを特徴とするプログ ラム。
[16] 前記スキップモード有効判定手段を、前記スキップモード動きベクトルと前記スキッ プモードの参照フレームに対応する前記予測動きベクトルとの差分動きベクトルの符 号量を該ブロックの量子化パラメータで重み付けした値をスキップモード有効判定に 利用するように機能させることを特徴とする請求項 15に記載のプログラム。
[17] 前記スキップモード有効判定手段は、前記スキップモードの参照フレームと前記動 きべ外ル計算手段が計算した参照フレームとが異なる場合、該ブロックの符号ィ匕モ ードとしてスキップモードを無効と判定することを特徴とする請求項 16に記載のプロ グラム。
[18] 前記スキップモード動きベクトル計算手段は、該ブロックがピクチャもしくはスライス 境界に存在する場合、スキップモード動きベクトルをゼロベクトルとし、
前記スキップモード有効判定手段は、ピクチャもしくはスライスの境界に位置するブ ロックにおいて、スキップモードを無効と判定することを特徴とする請求項 16に記載 のプログラム。
[19] 前記スキップモード有効判定手段を、前記スキップモード動きベクトルと、前記スキ ップモードの参照フレームに対応する前記動きべ外ル計算手段が計算した動きべク トルとの差分動きベクトルの符号量を該ブロックの量子化パラメータで重み付けした 値を、スキップモード有効判定に利用するように機能させることを特徴とする請求項 1 5に記載のプログラム。
[20] 前記スキップモード有効判定手段は、前記スキップモードの参照フレームと前記動 きべ外ル計算手段が計算した参照フレームとが異なる場合、該ブロックの符号ィ匕モ ードとしてスキップモードを無効と判定することを特徴とする請求項 19に記載のプロ グラム。
[21] 前記スキップモード動きベクトル計算手段は、該ブロックがピクチャもしくはスライス 境界に存在する場合、スキップモード動きベクトルをゼロベクトルとし、
前記スキップモード有効判定手段は、ピクチャもしくはスライスの境界に位置するブ ロックにおいて、スキップモードを無効と判定することを特徴とする請求項 19に記載 のプログラム。
PCT/JP2007/054541 2006-03-09 2007-03-08 動画像符号化方法、およびこれを用いた装置とプログラム WO2007105590A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US12/282,217 US8428136B2 (en) 2006-03-09 2007-03-08 Dynamic image encoding method and device and program using the same
EP07738032.7A EP1993292B1 (en) 2006-03-09 2007-03-08 Dynamic image encoding method and device and program using the same
JP2008505090A JP5423948B2 (ja) 2006-03-09 2007-03-08 動画像符号化方法、およびこれを用いた装置とプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006064079 2006-03-09
JP2006-064079 2006-03-09

Publications (1)

Publication Number Publication Date
WO2007105590A1 true WO2007105590A1 (ja) 2007-09-20

Family

ID=38509417

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/054541 WO2007105590A1 (ja) 2006-03-09 2007-03-08 動画像符号化方法、およびこれを用いた装置とプログラム

Country Status (4)

Country Link
US (1) US8428136B2 (ja)
EP (1) EP1993292B1 (ja)
JP (1) JP5423948B2 (ja)
WO (1) WO2007105590A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012124496A1 (ja) * 2011-03-11 2012-09-20 ソニー株式会社 画像処理装置および方法
JP2013121079A (ja) * 2011-12-07 2013-06-17 Renesas Electronics Corp 符号化タイプ決定装置及び動画像符号化装置、符号化タイプ決定方法及び動画像符号化方法、プログラム
JP2013240048A (ja) * 2012-05-11 2013-11-28 Panasonic Corp 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
US9124898B2 (en) 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction
JP2015226111A (ja) * 2014-05-26 2015-12-14 キヤノン株式会社 画像処理装置、画像処理装置の制御方法
US9313492B2 (en) 2012-06-22 2016-04-12 Fujitsu Limited Device and method for moving image encoding
US10250905B2 (en) 2008-08-25 2019-04-02 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
JP4990927B2 (ja) * 2008-03-28 2012-08-01 三星電子株式会社 動きベクトル情報の符号化／復号化方法及び装置
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
KR101768207B1 (ko) * 2010-01-19 2017-08-16 삼성전자주식회사 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치
CN102823248B (zh) 2010-04-08 2015-06-24 株式会社东芝 图像编码方法以及图像编码装置
CN103548350B (zh) * 2011-06-28 2017-03-01 日本电气株式会社 图像编码设备和图像解码设备
KR101830352B1 (ko) * 2011-11-09 2018-02-21 에스케이 텔레콤주식회사 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
CN103634606B (zh) * 2012-08-21 2015-04-08 腾讯科技（深圳）有限公司 视频编码方法和装置
US20140362927A1 (en) * 2013-06-07 2014-12-11 Apple Inc. Video codec flashing effect reduction
CN103957424B (zh) * 2014-04-15 2017-04-12 南京第五十五所技术开发有限公司 一种有效消除视频的乱码或方块的方法
US10805627B2 (en) * 2015-10-15 2020-10-13 Cisco Technology, Inc. Low-complexity method for generating synthetic reference frames in video coding
CN109587496B (zh) * 2019-01-04 2022-09-09 深圳市网心科技有限公司 一种Skip块判别方法、编码器、电子设备及可读存储介质
CN112437305B (zh) * 2020-08-19 2022-07-22 珠海市杰理科技股份有限公司 宏块类型的判定方法、装置、图像处理芯片和电子设备
KR102632638B1 (ko) * 2022-01-03 2024-02-01 네이버 주식회사 하드웨어 디코더 환경에서의 초해상도 이미지 생성 방법 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08126012A (ja) * 1994-10-25 1996-05-17 Graphics Commun Lab:Kk 動画像圧縮装置
JP2000333180A (ja) * 1999-05-24 2000-11-30 Media Glue Corp スキップマクロブロック禁止制御方法、スキップマクロブロック禁止制御装置およびスキップマクロブロック禁止制御プログラムを記録した媒体
JP2001251627A (ja) * 2000-03-03 2001-09-14 Matsushita Electric Ind Co Ltd 符号化装置、符号化方法及びプログラムを記録した記録媒体
WO2003026315A1 (en) * 2001-09-14 2003-03-27 Ntt Docomo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
JP2006500796A (ja) * 2002-03-15 2006-01-05 ノキア コーポレイション ビデオシーケンス内の動きを符号化する方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0334777A (ja) * 1989-06-30 1991-02-14 Nippon Denki Inf Technol Kk 画像信号符号化装置、画像信号復号化装置および画像信号表示装置
CN1917641A (zh) * 2002-01-18 2007-02-21 株式会社东芝 视频编码方法和装置以及视频解码方法和装置
EP1496907B1 (en) 2002-04-12 2007-09-19 Merck & Co., Inc. Tyrosine kinase inhibitors
GB0227570D0 (en) 2002-11-26 2002-12-31 British Telecomm Method and system for estimating global motion in video sequences
JP4217174B2 (ja) * 2004-02-13 2009-01-28 パナソニック株式会社 動画符号化装置および動画符号化方法
JP2005348093A (ja) 2004-06-03 2005-12-15 Sony Corp 画像処理装置、そのプログラムおよびその方法
US8649436B2 (en) * 2004-08-20 2014-02-11 Sigma Designs Inc. Methods for efficient implementation of skip/direct modes in digital video compression algorithms
JP4222982B2 (ja) * 2004-08-20 2009-02-12 富士フイルム株式会社 画像復号縮小装置および方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08126012A (ja) * 1994-10-25 1996-05-17 Graphics Commun Lab:Kk 動画像圧縮装置
JP2000333180A (ja) * 1999-05-24 2000-11-30 Media Glue Corp スキップマクロブロック禁止制御方法、スキップマクロブロック禁止制御装置およびスキップマクロブロック禁止制御プログラムを記録した媒体
JP2001251627A (ja) * 2000-03-03 2001-09-14 Matsushita Electric Ind Co Ltd 符号化装置、符号化方法及びプログラムを記録した記録媒体
WO2003026315A1 (en) * 2001-09-14 2003-03-27 Ntt Docomo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
JP2006500796A (ja) * 2002-03-15 2006-01-05 ノキア コーポレイション ビデオシーケンス内の動きを符号化する方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHONO K. ET AL.: "Fugoka Artifact o Yokusei suru H.264 Fugoka Mode Sentaku Hoho", DAI 5 KAI FORUM ON INFORMATION TECHNOLOGY (FIT2006) KOEN RONBUNSHU, 5 September 2006 (2006-09-05), pages 235 - 238, XP003017732 *
See also references of EP1993292A4 *
TANIDA R. ET AL.: "H.264/MPEG-4 AVC ni Okeru Senjo Noise Yokusei Algorithm no Kensho", 2004 NEN THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS SOGO TAIKAI KOEN RONBUNSHU, 23 March 2004 (2004-03-23), pages 38, XP003017731 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10250905B2 (en) 2008-08-25 2019-04-02 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US9124898B2 (en) 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction
US9961364B2 (en) 2010-07-12 2018-05-01 Hfi Innovation Inc. Method and apparatus of temporal motion vector prediction
US10547864B2 (en) 2011-03-11 2020-01-28 Sony Corporation Image processing device and method
CN103444173A (zh) * 2011-03-11 2013-12-11 索尼公司 图像处理设备和方法
US11968389B2 (en) 2011-03-11 2024-04-23 Sony Corporation Image processing device and method
WO2012124496A1 (ja) * 2011-03-11 2012-09-20 ソニー株式会社 画像処理装置および方法
CN106878745A (zh) * 2011-03-11 2017-06-20 索尼公司 图像处理设备和图像处理方法
CN107071468A (zh) * 2011-03-11 2017-08-18 索尼公司 图像处理设备和图像处理方法
US11323737B2 (en) 2011-03-11 2022-05-03 Sony Corporation Image processing device and method
JP2013121079A (ja) * 2011-12-07 2013-06-17 Renesas Electronics Corp 符号化タイプ決定装置及び動画像符号化装置、符号化タイプ決定方法及び動画像符号化方法、プログラム
JP2013240048A (ja) * 2012-05-11 2013-11-28 Panasonic Corp 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
US9313492B2 (en) 2012-06-22 2016-04-12 Fujitsu Limited Device and method for moving image encoding
US9948932B2 (en) 2014-05-26 2018-04-17 Canon Kabushiki Kaisha Image processing apparatus and control method of image processing apparatus
JP2015226111A (ja) * 2014-05-26 2015-12-14 キヤノン株式会社 画像処理装置、画像処理装置の制御方法

Also Published As

Publication number Publication date
EP1993292B1 (en) 2013-05-15
US8428136B2 (en) 2013-04-23
JP5423948B2 (ja) 2014-02-19
EP1993292A4 (en) 2010-09-01
JPWO2007105590A1 (ja) 2009-07-30
EP1993292A1 (en) 2008-11-19
US20090310682A1 (en) 2009-12-17

Similar Documents

Publication Publication Date Title
WO2007105590A1 (ja) 動画像符号化方法、およびこれを用いた装置とプログラム
KR101356735B1 (ko) 전역 움직임 벡터를 사용해서 움직임 벡터를 추정하기 위한방법, 장치, 인코더, 디코더 및 복호화 방법
TWI395489B (zh) A video coding apparatus, and an image decoding apparatus
JP5061179B2 (ja) 照明変化補償動き予測符号化および復号化方法とその装置
KR101420957B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
TWI722842B (zh) 影像預測解碼方法
KR20070047522A (ko) 영상의 부호화, 복호화 방법 및 장치
JP2007329693A (ja) 画像符号化装置、及び画像符号化方法
JP2006140758A (ja) 動画像符号化方法、動画像符号化装置および動画像符号化プログラム
US20100278266A1 (en) Method of generating image data
JP4690966B2 (ja) 動画像符号化装置
GB2492330A (en) Rate-distortion optimisation (RDO) with optimal encoding mode selection
KR101396754B1 (ko) 템플릿 매칭 및 방향 예측을 사용한 비디오 압축 방법 및 장치
JP5057104B2 (ja) イントラ予測モード選択方法及び動画像符号化と、これを用いた装置とプログラム
JP2007235944A (ja) ビデオのフレームシーケンスにおけるマクロブロックの符号化モードを選択する方法及びシステム
JP2011091772A (ja) 画像符号化装置
JP4253276B2 (ja) 画像符号化方法
JP4452733B2 (ja) 動画像符号化における動き評価装置，方法およびそのプログラム並びにその記録媒体
JP4964689B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP2005244749A (ja) 動画像符号化装置
JP2007096479A (ja) 階層間予測符号化方法および装置，階層間予測復号方法および装置，並びにそれらのプログラムおよび記録媒体
JP2007036725A (ja) 符号化装置
JP4375143B2 (ja) 動画像符号化装置
JP4697802B2 (ja) 動画像予測符号化方法および装置
JP2007221202A (ja) 動画像符号化装置及び動画像符号化プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2008505090

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2007738032

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12282217

Country of ref document: US

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)