WO2007040197A1 - 参照画像選択方法および装置 - Google Patents

参照画像選択方法および装置 Download PDF

Info

Publication number
WO2007040197A1
WO2007040197A1 PCT/JP2006/319686 JP2006319686W WO2007040197A1 WO 2007040197 A1 WO2007040197 A1 WO 2007040197A1 JP 2006319686 W JP2006319686 W JP 2006319686W WO 2007040197 A1 WO2007040197 A1 WO 2007040197A1
Authority
WO
WIPO (PCT)
Prior art keywords
field
reference picture
encoding
nearest
pair
Prior art date
Application number
PCT/JP2006/319686
Other languages
English (en)
French (fr)
Inventor
Viktor Wahadaniah
Chong Soon Lim
Youji Shibahara
Shinya Kadono
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US12/089,126 priority Critical patent/US8687694B2/en
Priority to JP2007538753A priority patent/JP5422124B2/ja
Priority to CN200680037044.5A priority patent/CN101283600B/zh
Priority to EP06811034A priority patent/EP1933570A4/en
Publication of WO2007040197A1 publication Critical patent/WO2007040197A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Definitions

  • the present invention can be used for any multimedia code, particularly for video codes corresponding to multiple reference pictures for motion prediction field codes for interlaced video sources.
  • Uncompressed video sources can be captured in either a progressive or interlaced scan format.
  • progressive 'scan format all sample lines are captured at the same time.
  • the interlaced scan format is captured at times when the sample lines are alternately different.
  • FIG. 1 is an explanatory diagram showing a field picture pair. As shown in the figure, the sample line captured at the early time t constitutes the top field picture. A sample line captured at a later time t + 1 constitutes a bottom field picture. The top field picture and the corresponding bottom field picture are called a field picture pair.
  • An uncompressed field picture can be encoded using a frame code key or a field code key. In the frame code ⁇ , the top field picture and the bottom field picture are encoded as one picture. In field coding, the top field picture is coded as a separate picture from the bottom field picture.
  • field pictures are simply referred to as fields.
  • code order is usually not the same as the capture order of source pictures or the output order from a decoder for display (hereinafter referred to as display order).
  • display order is usually not the same as the capture order of source pictures or the output order from a decoder for display.
  • the coding order is such that the inter-picture picture is encoded and decoded after other encoded pictures (hereinafter referred to as reference pictures) referenced in the encoding and decoding processes. Are arranged.
  • Non-patent literature l ISO / IEC14496-2 Part 10 International Standard
  • H.264 MPEG-4 AVC
  • more reference pictures can be used during the encoding process in order to improve the encoding efficiency of inter-frame encoding.
  • the pictures that can be used as reference pictures are I pictures and P pictures
  • B pictures can also be used as reference pictures.
  • the encoder may also use different reference pictures when encoding different blocks within the picture.
  • the term “block” refers to a rectangle that is a collection of pixels, with block sizes such as 4x4, 8x4, and 8x16. Encoders can increase code efficiency by selecting an optimal reference picture for each of the medium blocks of many available reference pictures.
  • FIG. 2A shows an example of the coding order of pictures.
  • Figure 2B shows that same picture
  • the display order is shown.
  • Field pairs 200 and 206 are either I picture power P picture.
  • Field pairs 212 and 218 are B pictures.
  • the number of fields that can be referred to in the sign field of the bottom field 222 is larger than that of the previous red, 202, 204,... 216, 220.
  • the sign of each block in the bottom fine, 222 includes one of the fine reds 202, 204, 214, 216 or 220 as a reference in the first direction and one of the fields 208 or 210 as the first. Can be used for reference in two directions.
  • the video encoder selects one reference field (in the case of uni-predictive code ⁇ ) force and two reference fields (in the case of bi-predictive encoding) as the prediction reference for each block. .
  • some encoders In order to reduce the amount of processing, some encoders only look at one suitable subset of all available reference pictures.
  • the pictures belonging to this subset are hereinafter referred to as reference picture candidates.
  • a subset obtained by excluding the top field 220 from all the pictures that can be used as reference pictures of the bottom field 222 to be encoded is set as a reference picture candidate.
  • the amount of processing for selecting the optimal reference picture can be reduced.
  • the excluded picture is the optimal reference picture, the coding efficiency cannot be improved sufficiently.
  • the method of examining only a subset is preferred LV from the viewpoint of reducing the area, but is preferred from the viewpoint of code efficiency.
  • the present invention provides a reference picture selection method and apparatus that reduce the amount of processing for determining a reference picture and achieve the same coding efficiency as when there are no restrictions on candidate reference pictures! The purpose is to do.
  • a reference picture selection method of the present invention is a method for selecting a reference picture for a bottom field to be encoded in an interlace video code, wherein the code Using the specific field preceding the bottom field of the key object in the sign key order, the motion magnitude of the bottom field of the sign key object is predicted, and according to the predicted motion magnitude, A reference picture candidate suitable for the code key of the bottom field to be coded is set, and the reference picture of the bottom field to be coded is selected from the set reference picture candidates.
  • the amount of processing for determining the reference picture can be reduced. it can.
  • the reference picture candidate suitable for the encoding of the bottom field to be encoded is set according to the predicted motion magnitude, so it is about the same as when there is no restriction on the reference picture candidate. The sign efficiency can be achieved.
  • one of the temporally nearest field and the spatially nearest field may be included in the reference picture candidate according to the motion magnitude prediction result.
  • the temporal nearest field is a top field in the same field pair as the encoding target field
  • the spatial nearest field is the immediately preceding dual in the order of the sign key relative to the sign key target field. It may be the bottom field in the prediction code field pair.
  • the temporal nearest field and the spatial nearest field can be adaptively set as reference picture candidates according to the magnitude of motion.
  • the specific field is a bottom field in a field pair that precedes the code target bottom field in code order
  • the first reference picture is the same field as the specific field.
  • a top field in the pair, and the second reference picture is a bottom field in the field pair immediately preceding the specific field in the sign order
  • the code of the specific field in the motion magnitude prediction A first count number that is the number of blocks using the first reference picture and a second count number that is the number of blocks using the second reference picture, and As the magnitude of the movement of the bottom field, the ratio between the first count number and the second count number or Let's calculate the difference.
  • the magnitude of the motion of the bottom field to be coded is determined in a specific field (here, in the field pair preceding the bottom field to be coded in the order of the sign key).
  • the process power of the sign field in the bottom field of (the bottom field) can be predicted by a simple process by counting the first and second count numbers from easily obtainable information (information indicating the reference picture).
  • the magnitude of the motion is the ratio (or difference) between the first count number and the second count number, that is, the ratio (or difference) between the number of times the first reference picture is referenced and the number of times the second reference picture is referenced. ) Can be predicted appropriately. In other words, it can be predicted that this ratio or difference is larger!
  • a ratio or difference between the first count number and the second count number is compared with a threshold value, and a temporal closest field is determined according to the comparison result.
  • One of the most recent spatial fields may be included in the reference picture candidate.
  • the specific field is a bottom field in a field pair N-th previous in coding order from the field pair to which the bottom field to be encoded belongs, and N is 1! You can choose from!
  • the field pair force to which the bottom field to be encoded belongs belongs to the bottom field in the N previous field pairs in the encoding order, so that the movement of the bottom field to be encoded is controlled. Can be easily predicted.
  • the specific field is a top field preceding the code target bottom field in the order of the sign key, and in the prediction of the motion magnitude, the sign field of the specific field.
  • the first count number which is the number of intra-coded blocks
  • the second count number which is the number of non-intra-coded blocks
  • a ratio or difference between the first count number and the second count number may be calculated.
  • the magnitude of the movement of the bottom field to be encoded is set to the specific field.
  • the process power of the sign key (here, the top field preceding the sign key target in the sign key order) Information that can be easily acquired (intra coding or not)
  • the magnitude of the motion is appropriate as the ratio (or difference) between the first count number and the second count number, that is, the ratio (or difference) between the number of intra-coded blocks and the number of blocks that are not. Can be predicted.
  • a ratio or difference between the first count number and the second count number is compared with a threshold value, and a temporal closest field is determined according to the comparison result.
  • One of the most recent spatial fields may be included in the reference picture candidate.
  • the specific field is a bottom field in a field pair N-th previous in coding order from the field pair to which the bottom field to be encoded belongs, and the N is 0! You can choose from!
  • the field pair force to which the bottom field to be encoded belongs belongs, and the top field in the N-th previous field pair in the encoding order is used, so that the movement of the bottom field to be encoded is controlled. Can be easily predicted.
  • the specific field is one of a first field and a second field
  • the first field is a field pair that precedes the bottom field to be encoded in the order of sign.
  • the second field is the top field in the field pair
  • the first and second correlations are used as the movement magnitude in the prediction of the movement magnitude.
  • the first correlation is the correlation between the bottom field to be encoded and the first field
  • the second correlation is the bottom field to be encoded and the second field.
  • the reference picture candidate is set in the reference picture candidate according to the ratio or difference between the first correlation and the second correlation in the reference picture candidate setting. ⁇ .
  • the magnitude of the bottom field motion of the sign key is determined by the first correlation.
  • the second correlation can be predicted.
  • one of the temporal nearest field and the spatial nearest field is set as the reference picture candidate according to a ratio or difference between the first correlation and the second correlation. If you want to include it.
  • reference picture candidates can be set appropriately by a simple process of comparing two correlations.
  • the specific field is one of a first field and a second field
  • the first field is a field pair that precedes the bottom field of the code target in the order of sign.
  • the second field is a bottom field in the field pair, and the first field, the second field, and the sign signal are used in the motion magnitude prediction.
  • a reduced image of each target bottom field is generated, and the motion of the target bottom field is detected with respect to the first field using the reduced image, and the second field is detected with respect to the second field using the reduced image. Try to detect the motion of the bottom field of the sign.
  • the magnitude of the motion of the bottom field to be encoded is detected using the first and second fields and the reduced images of the bottom field to be encoded. Can be predicted.
  • one of the temporal nearest field and the spatial nearest field may be included in the reference picture candidate based on the two detected motions.
  • the bottom field to be encoded belongs to a field pair that can refer to a picture that has been subjected to bi-prediction inter-frame encoding, and depends on a predicted motion in the setting of the reference picture candidate.
  • the second subset includes a spatial nearest field and does not contain a temporal nearest field, and the temporal nearest field contains A field is a top field in the same field pair as the encoding target field, and the spatial nearest field is a bottom field of the bi-predictive code field pair immediately preceding the encoding target field in encoding order. Even if it seems to be.
  • a reference index represented by a minimum number of bits is included in the temporal nearest field. If a spatial nearest field is included in a reference picture candidate, assign a reference index represented by the minimum number of bits to the spatial nearest field.
  • the reference index having the minimum number of bits is assigned to the temporally closest field or the spatially closest field that will be most used among the reference picture candidates. Can be improved.
  • the image encoding method, program, semiconductor device, image encoding device, and stream data of the present invention are configured in the same manner as described above and exhibit the same operational effects.
  • FIG. 1 is an explanatory diagram showing a field picture pair.
  • FIG. 2A shows an example of the sign order of pictures.
  • FIG. 2B shows the display order of the pictures in FIG. 2A.
  • FIG. 3A is a diagram showing an example of a first subset that also has reference picture candidate power.
  • FIG. 3B is a diagram showing an example of a second subset that also has a reference picture candidate power.
  • FIG. 3C is a diagram showing an example of pictures in which reference picture candidate power is also excluded in the second subset.
  • FIG. 4 is a block diagram showing a configuration of a main part of the image coding apparatus according to the first embodiment.
  • FIG. 4 is a block diagram showing a configuration of a main part of the image coding apparatus according to the first embodiment.
  • FIG. 5 is a diagram showing an example of pictures (coding order) related to a reference picture selection method and an image coding apparatus.
  • FIG. 6 is a flowchart showing a code key and reference picture setting process in the image code key device.
  • FIG. 7 is a flowchart showing in detail the analysis processing in FIG.
  • FIG. 8 is a flowchart showing in detail a reference picture candidate setting process in FIG.
  • FIG. 9 is a flowchart showing a code key and reference picture setting process in the image code key device in the second embodiment.
  • FIG. 10 is a flowchart showing in detail the analysis processing in FIG.
  • FIG. 11 is a flowchart showing coding and reference picture setting processing in the image coding apparatus according to the third embodiment.
  • FIG. 12 is a flowchart showing in detail a reference picture candidate setting process in FIG. 11.
  • FIG. 13 is a flowchart showing coding and reference picture setting processing in the fourth embodiment.
  • FIG. 14A is a diagram showing an example of a reference index ref-idx assigned with a spatial nearest field.
  • FIG. 14B is a diagram showing an example of the reference index ref-idx to which the most recent field is assigned.
  • FIG. 15 is a flowchart showing details of the reference index setting process in FIG. 13.
  • FIG. 16 is a flowchart showing another example of encoding and reference picture setting processing in the fourth embodiment.
  • FIG. 17 is a flowchart showing yet another example of encoding and reference picture setting processing in the fourth embodiment.
  • FIG. 18 shows a reference picture selection method and an image encoding method according to the fifth embodiment. An example of the sign in the order of the signs used in the above is shown.
  • FIG. 19 is a flowchart showing a code key and reference picture setting process in the image code key device in the fifth embodiment.
  • FIG. 20 is a flowchart showing coding and reference picture setting processing in the image coding apparatus in the sixth embodiment.
  • FIG. 21 shows an example of pictures in the order of code used for the reference picture selection method and the image code search method according to the seventh embodiment.
  • FIG. 22 is a flowchart showing code key and reference picture setting processing in the image code key device in the seventh embodiment.
  • FIG. 23 is a flowchart showing encoding and reference picture setting processing in the image encoding device in the eighth embodiment.
  • FIG. 24 shows an example of pictures in order of code used in the reference picture selection method and the image code search method according to the ninth embodiment.
  • FIG. 25 is a flowchart showing a code key and reference picture setting process in the image code key device in the ninth embodiment.
  • FIG. 26 is a flowchart showing encoding and reference picture setting processing in the image encoding device in the tenth embodiment.
  • the reference picture selection method predicts the magnitude of the motion of the bottom field of the encoding target by using the specific field preceding the bottom field of the encoding target in the order of the encoding key, and the predicted motion Set the reference picture candidate suitable for the encoding of the bottom field to be encoded according to the size of the encoding, and select the reference picture of the bottom field to be encoded from the set reference picture candidates To do.
  • the process of selecting a reference picture it is not necessary to investigate all the pictures that can be referenced, and only the reference picture candidates need to be investigated. As a result, the amount of processing for determining the reference picture can be reduced.
  • reference picture candidates suitable for the code of the bottom field to be coded are set according to the predicted motion size, so that the same number of codes as when there is no restriction on the reference picture candidates. The efficiency can be achieved.
  • the specific field refers to a bottom field in a field pair that precedes the bottom field to be signed in the sign order.
  • the bottom field 310 is a specific field.
  • the top field in the same field pair as the specific field is called a second reference picture.
  • the bottom field in the field pair immediately preceding the specific field in the order of the sign is called the first reference picture.
  • the top field 308 is the second reference picture and the bottom field 304 is the first reference picture.
  • the prediction of the magnitude of the bottom field motion to be coded is indirectly performed. That is, in the prediction described above, the first count number that is the number of blocks using the first reference picture and the second reference picture are used in the sign field of the specific field. The second count number that is the number of blocks is counted, and the ratio or difference between the first count number and the second count number is calculated as the magnitude of the motion of the bottom field to be encoded. The smaller this ratio or difference, the greater the movement.
  • FIG. 3A and FIG. 3B are diagrams showing examples of the first and second subsets that also have the reference picture candidate power.
  • the solid arrow indicates the first subset that also has the reference picture candidate power used for the coding field of the bottom field 316 to be coded.
  • a solid arrow indicates a second subset of reference picture candidate powers used for the code of the bottom field 316 to be coded.
  • the first subset or the second subset is set according to the predicted motion magnitude.
  • the top field 314 is a field temporally closest to the bottom field 316 to be encoded (referred to as a temporal nearest field;). If the predicted motion is large, it is desirable to use the closest temporal field as a reference picture candidate.
  • the bottom field 310 is a field that is spatially closest to the bottom field 316 to be encoded (referred to as a spatial nearest field;). When the predicted motion is small, it is desirable to use the closest spatial field as a reference picture candidate.
  • the first subset includes the spatial closest field and does not include the temporal closest field.
  • the second subset includes the temporal nearest field and does not include the spatial nearest field.
  • the broken arrow indicates a subset that also has the reference picture candidate power used for the sign ⁇ of the top field 314.
  • the encoding subset of the top field 314 may be selected in conjunction with the first and second subsets of the bottom field.
  • FIG. 3C is an example of a picture in which the reference picture candidate power is also excluded in the second subset FIG.
  • a solid arrow with NG in the figure means that it is desirable to exclude fields 308 and 310 from the second subset.
  • the field pair 306 is no longer required as a reference picture and can be deleted from the reference picture memory.
  • broken lines with NG in the figure may exclude the fields 308 and 310 from the encoding subset of the top field 314. In this way, the field pair 306 can be deleted from the reference picture memory even in the sign field of the top field 314.
  • the number of reference picture candidates in the first and second subsets may be two or more.
  • the spatial nearest field may be included in both subsets, and the temporal nearest field may be included in one subset!
  • FIG. 4 is a block diagram showing a configuration of a main part of the image coding apparatus according to the first embodiment.
  • the image coding apparatus includes an input picture memory 101, a subtractor 102, an orthogonal transform / quantization unit 103, a variable length coding unit 104, an inverse orthogonal transform / inverse quantization unit 107, and a reference picture generator.
  • the input picture memory 101 receives an interlace video signal and temporarily holds at least one field pair.
  • the subtractor 102 includes a sign key target block from the input picture memory 101 and an inter-screen prediction unit.
  • the difference from the predicted image from 110 is obtained, and the difference is output to the orthogonal transform / quantization unit 103 as the prediction residual.
  • the orthogonal transform / quantization unit 103 obtains a coefficient block having a frequency coefficient power by performing orthogonal transform on the prediction residual from the subtractor 102, and further quantizes the coefficient block.
  • variable length coding unit 104 outputs a video stream by performing variable length coding on the quantized coefficient block.
  • the inverse orthogonal transform / inverse quantization unit 107 obtains a prediction residual by inverse quantization and inverse orthogonal transform of the quantized coefficient block.
  • the reference picture generation unit 108 reconstructs the encoding target picture by adding the inverse orthogonal transform / inverse quantization unit 107 and the predicted image from the inter-screen prediction unit 110.
  • the reference picture memory 109 temporarily stores the reconstructed encoding target picture as a reference picture.
  • the inter-screen prediction unit 110 generates a prediction image by single prediction or bi-prediction using the reference picture in the reference picture 109 for each block of the encoding target picture. At this time, the inter-screen prediction unit 110 selects one or two reference pictures for each block from the reference picture candidates set by the control unit 111 using the above-described reference picture selection method.
  • the control unit 111 controls the entire image coding apparatus, and particularly sets reference picture candidates based on the reference picture selection method.
  • FIG. 5 is a diagram illustrating an example of pictures (coding order) relating to a reference picture selection method and an image coding apparatus.
  • Field pairs 300, 306, 312 and 318 are uni-predictive or bi-predictive pictures.
  • the sign key types of the finered pairs 300, 306, 312 and 318 are P, B, B and B. It is assumed that the field pairs 300 and 306 have been encoded and are already stored in the reference picture memory 109 as reference pictures.
  • Field pair 312 is the current encoding target. There may be at least one unreferenced field pair between field pair 300 and 306 or between field pair 306 and 312.
  • the prediction information from the bottom field 310 of the reference field pair 306 immediately before in the sign key order is analyzed.
  • This analysis shows the magnitude of the motion of the sign target field, which is more appropriate for signing the bottom field 316 of the target field pair 312, which is either the spatial nearest field or the temporal nearest field.
  • first and second reference pictures can be used as reference picture candidates.
  • the spatial-temporal determination described above is used to include or exclude the top field 314 of the target field pair 312 as a reference picture candidate for encoding the bottom field 316 of the target field pair 312.
  • FIG. 6 is a flowchart showing encoding and reference picture setting processing in the image encoding device. This figure shows the encoding process for the fields 308, 310, 314, and 316 shown in FIG. 5 and the process for setting the reference picture candidate by indirectly predicting the motion of the encoding target field.
  • the top field 308 of the immediately preceding field pair 306 is encoded in the encoding order.
  • the bottom field 310 of the immediately preceding field pair 306 is encoded in the encoding order using the first and second reference pictures as reference picture candidates.
  • the prediction information of the bottom field 310 is passed from the encoding module 402 to the analysis module 404. This prediction information may be passed after each macroblock code, after each slice is encoded, or after all field codes.
  • module 404 a spatial one-time determination is made as to whether the most appropriate field is the most appropriate field in space or the most recent field in time. Based on the spatial and temporal determination of module 404, at module 406, the top field 314 of the target field pair 312 (ie, the most recent field in time) and the bottom field 316 of the target field pair 312 are signed. Include or exclude as reference picture candidates for Then, using the reference picture candidate set in module 406, module 408 encodes top field 314 of target field pair 312 while module 410 encodes bottom field 316 of target field pair 312. Turn into. In this encoding, a reference picture with the most suitable reference picture candidate is selected for each block.
  • FIG. 7 is a flowchart showing in detail the analysis processing of module 404 in FIG.
  • the values of the first reference counter and the second reference counter are set to zero.
  • the code type of each macroblock of the input slice / picture is This is determined by module 504. If the code type is not an inter-screen code type, as shown in module 518, loop processing of the next macroblock in the picture is continued. If the code type is inter-screen code type (single prediction or bi-prediction), the reference picture used for each block in the macro block is determined. A fixed size such as 4x4 or 8x8 is selected as the block size.
  • Module 508 determines whether the block is predicted from the first reference field. If so, module 510 increments the first reference counter by 1 and continues looping the next block in the macroblock. On the other hand, if the block is not predicted from the first reference picture, module 512 determines whether the block is also predicted to have the second reference picture power. If so, module 514 increments the second reference counter by 1 and continues looping the next block in the macroblock. As shown in module 518, this decision process is repeated for all blocks in the plurality of macroblocks of the input slice / picture.
  • module 520 compares the ratio of the value of the first reference counter to the value of the second reference counter with a threshold value (referred to as the first threshold value).
  • This ratio means a prediction result of the magnitude of the motion of the bottom field to be encoded. That is, the smaller the ratio, the larger the motion of the code target bottom field is predicted, and the larger the ratio, the smaller the motion of the code target bottom field is predicted. If the ratio is less than the first threshold, it is determined that the temporal nearest field is more suitable as a reference picture candidate than the spatial nearest field. On the other hand, when the ratio is equal to or greater than the first threshold, it is determined that the spatial nearest field is more suitable as a reference picture candidate than the temporal nearest field. After this determination, the analysis process is terminated.
  • a difference between the value of the first reference counter and the value of the second reference counter may be used instead of the ratio.
  • the smaller the difference the larger the motion of the bottom field to be encoded is predicted, and the larger the difference, the smaller the motion of the encoding-target bottom field is predicted. If the difference is less than the second threshold (which is different from the first threshold for the above ratio) !, determine that the temporal nearest field is more suitable as a reference picture candidate than the spatial nearest field. On the other hand, the difference is greater than or equal to the second threshold If it is determined that the spatial nearest field is more suitable as a reference picture candidate than the temporal nearest field.
  • the ratio of the value of the second reference counter to the value of the first reference counter may be used instead of the ratio of the value of the first reference counter to the value of the second reference counter. Good. In this case, if the ratio of (the value of the second reference counter Z the value of the first reference counter) is larger than the predetermined threshold value, the most recent field in time is determined to be more appropriate and smaller than the predetermined threshold value. In this case, it may be determined that the spatial nearest field is more appropriate.
  • FIG. 8 is a flowchart showing in detail the reference picture candidate setting process of module 406 in FIG.
  • the bottom field 310 of the previous field pair 306 in the encoding order ie, the spatial nearest field
  • the bottom field 316 of the target field pair 312 are the default for the sign key. Is set as a reference picture candidate.
  • the bottom field of the nearest reference field pair immediately preceding target field pair 312 in sign order Is regarded as the closest spatial field and is set as the default reference picture candidate in module 600.
  • a spatial-temporal decision is determined in module 602. If the temporal nearest field is less appropriate, the reference picture selection method is terminated. Otherwise (if more appropriate than the most recent field in time), the top field 314 of the target field pair 312 (ie, the most recent field in time) is set in module 604 as a reference picture candidate.
  • module 606 it is determined whether both the spatial nearest field and the temporal nearest field are simultaneously possible as reference picture candidates from the viewpoint of the specification, processing capability, or setting of the image processing apparatus. to decide. If so, the reference picture selection method ends. Otherwise, in module 608, the bottom field 310 of the previous field pair 306 in the coding order (ie, the spatial nearest field) is excluded from the subset of reference picture candidates, and the reference picture candidate setting method ends.
  • the code The amount of motion of the bottom field to be coded is determined by the process power of the sign field of a specific field (here, the bottom field in the field pair preceding the sign field in the sign order). Easily obtainable prediction information (information indicating reference picture) Power By counting the first and second count numbers, prediction can be performed with simple processing.
  • the magnitude of the motion is the ratio (or difference) between the first count number and the second count number, that is, the ratio between the number of times of reference to the first reference picture and the number of times of reference to the second reference picture (or (Difference) can be predicted appropriately. In other words, the smaller the ratio or difference, the greater the movement.
  • a reference picture candidate can be set appropriately by a simple process called a comparison process using a threshold value.
  • the first subset or the second subset shown in FIGS. 3A and 3B may be set.
  • the first reference picture and the second reference picture in FIG. 5 may be reversed. That is, the top field 308 may be the first reference picture and the bottom field 3042 may be the second reference picture. At this time, Y and N of the module 520 shown in FIG. 7 may be reversed. In this case, the larger the ratio of the module 520 (the value of the first reference counter Z the value of the second reference counter) is, the larger the movement of the sign target bottom field is predicted. The bottom field movement is expected to be small.
  • the present embodiment is different from the first embodiment in that the specific field is a different picture and the prediction information is different information.
  • the description of the same points will be omitted, and different points will be mainly described below.
  • the specific field in the present embodiment refers to the top field belonging to the field pair immediately before the bottom field to be encoded.
  • the prediction information is information indicating the force that the reference picture is the first Z second reference picture in the sign of each block of the specific field. Of each block In the code ⁇ , information indicating whether or not intra-coded power is used is used.
  • FIG. 5 shows an example of pictures in the order of code order used in the adaptive reference picture selection method and the image code ordering apparatus, as in the first embodiment.
  • the sign key process of the top field 308 that is, a specific field
  • Analyze forecast information This prediction information indicates whether or not intra coding has been performed in the code of each block in the specific field.
  • the analysis results indirectly indicate the magnitude of the movement of the target bottom field and are used for spatial-temporal determination.
  • This spatial-temporal decision then includes the top field 314 of the target field pair 312 (ie, the temporal nearest field) as a reference picture candidate for encoding the bottom field 316 of the target field pair 312 next. Used to determine whether or not it is included. Note that the same decision may later be used to encode a field pair (eg, field pair 318) that follows target field pair 312 in sign order! /.
  • FIG. 9 is a flowchart showing encoding and reference picture setting processing in the image encoding device in the second embodiment. This figure shows the encoding process for the fields 308, 310, 314, and 316 shown in FIG. 5 and the process for setting the reference picture candidate color by indirectly predicting the motion of the encoding target field. Speak.
  • the modules 400, 402, 406, 408, and 410 are the same as those shown in FIG.
  • the module 400 encodes the top field 308 of the previous field pair 306 in the encoding order.
  • the prediction information of the top field 308 is transferred from the encoding module 400 to the analysis module 700. This prediction information indicates whether or not intra coding has been performed in the code of each block in the specific field, and may be transferred for each macroblock, for each slice, or after coding for the entire field.
  • Module 700 makes a spatial-temporal decision as to whether a spatial nearest field or a temporal nearest field is more appropriate. Based on the spatial-temporal determination of module 700, module 406 uses the top field 314 of target field pair 312 as the reference picture candidate for encoding bottom field 316 of target field pair 312 (i.e., the closest in time). Field) is included or not, and reference picture candidates (or subsets as shown in Figures 3A and 3B) are set according to the determination.
  • Module 402 encodes bottom field 310 of previous field pair 306 in coding order, and module 408 encodes top field 314 of target field pair 312. Finally, module 410 encodes the bottom field 316 of target field pair 312 using the reference picture candidates set by module 406.
  • FIG. 10 is a flowchart showing in detail the analysis processing of module 700 in FIG.
  • the module 800 sets the values of the first counter and the second counter to zero.
  • the coding type of each block of the macroblock in the input slice Z picture is confirmed.
  • a fixed size such as 4 x 4 or 8 x 8 is selected as the block size.
  • the encoding type is intra-picture encoding
  • the first counter is incremented by 1, and the block loop processing of the next block in the macroblock is continued as shown in module 812.
  • the code type is not an intra-screen code
  • the first counter is incremented by 1 in the module 810, and the block loop processing of the next block in the macro block is continued as shown in the module 812.
  • module 816 compares the ratio of the first counter to the second counter with a threshold (referred to as the third threshold).
  • This ratio means the prediction result of the magnitude of the motion of the encoding target bottom field. That is, the larger the ratio, the larger the motion of the sign target bottom field is predicted, and the smaller the ratio, the smaller the motion of the sign target bottom field is predicted.
  • the third threshold value is different from the first threshold value of module 520 in the first embodiment. If the ratio is greater than the third threshold, it is determined that the temporal nearest field is more appropriate than the spatial nearest field. On the other hand, if the ratio is less than or equal to the third threshold, it is determined that the spatial nearest field is more appropriate than the temporal nearest field. After the determination result is output, the analysis process is terminated.
  • the difference between the value of the first counter and the value of the second counter may be used instead of the ratio.
  • This difference is the sign of the bottom field movement It means the prediction result of size. That is, the larger the difference, the larger the motion of the encoding target bottom field is predicted, and the smaller the difference, the smaller the motion of the encoding target bottom field is predicted.
  • the difference is greater than the fourth threshold (different from the third threshold for the above ratio)
  • the temporal nearest field is determined to be more suitable as a reference picture candidate than the spatial nearest field.
  • the difference is less than the fourth threshold, it is determined that the spatial nearest field is more suitable as a reference picture candidate than the temporal nearest field.
  • the magnitude of the motion of the bottom field to be encoded is determined using the specific field (here, the field immediately before the bottom field to be encoded).
  • the prediction information information indicating whether or not intra-coding is used
  • the magnitude of the motion of the bottom field to be encoded is indirectly determined. Predict.
  • the reference picture candidates can be set appropriately with simple processing.
  • the present embodiment is different from the second embodiment in that the specific field is a different picture. Explanation of the same points is omitted, and different points will be mainly described below.
  • the specific field in the present embodiment is a top field belonging to the same field pair as the bottom field to be encoded.
  • FIG. 5 shows an example of pictures in the order of code order used in the adaptive reference picture selection method and the image code ordering apparatus, as in the first and second embodiments.
  • FIG. 11 is a flowchart showing a code key and reference picture setting process in the image code key device in the third embodiment. This figure shows the encoding process for the fields 314 and 316 shown in FIG. 5 and the process for setting the reference picture candidate by indirectly predicting the motion of the encoding target field.
  • Modules 408 and 410 are the same as those shown in FIGS. 6 and 9 of the first and second embodiments.
  • the module 700 is the same as FIG. 9 and FIG. 10 of the second embodiment.
  • the top field 314 of the target field pair 312 is encoded.
  • the prediction information of the top field 314 is transferred from the code module 408 to the analysis module 700. This prediction information may be transferred per macroblock, per slice, or after encoding the entire field.
  • Module 700 makes a spatial-temporal decision as to whether a spatial nearest field or a temporal nearest field is more appropriate. Based on the spatial and temporal determination of module 700, module 900 uses top field 314 of target field pair 312 as the top field 314 for encoding bottom field 316 of target field pair 312 (ie, the most recent field in time). Contains or does not contain. Next, the module 410 encodes the bottom field 316 of the target field pair 312 using the reference picture candidate set by the module 900.
  • FIG. 12 is a flowchart showing in detail the reference picture candidate setting process of module 900 of FIG.
  • the module 600 uses the bottom field 31 0 of the previous field pair 306 in the coding order (that is, the spatial nearest field) as the reference picture candidate for the code field of the bottom field 316 of the target field pair 312. Set as. If the field pair immediately preceding the target field pair 312 is not a reference field pair (indicated by field pair 306 in the example of FIG. 5), the nearest reference field immediately preceding the target field pair 312 in sign order The bottom field of the pair is regarded as a spatial nearest field, and is set as a reference picture candidate in module 600. [0105] Next, in module 602, the spatial-temporal decision is confirmed. If the nearest temporal field is not appropriate, the reference picture selection process ends.
  • module 604 sets the top field 314 of the target field pair 312 (ie, the temporal nearest field) as a reference picture candidate. Then, the reference picture candidate setting process ends.
  • Modules 600, 6002, and 604 are the same as those described in FIG. FIG. 12 differs from FIG. 8 in that modules 606 and 608 are not performed, and the spatial nearest picture and reference picture candidate powers are not excluded. Therefore, the final reference picture candidate differs depending on whether the latest temporal picture is included or excluded.
  • module 900 of FIG. 11 may perform the same processing as in FIG. 8 instead of the processing of FIG.
  • the magnitude of the motion of the bottom field to be encoded is set to a specific field (here, the same field pair as the bottom field to be encoded).
  • prediction information information indicating whether or not intra-coding is used
  • the reference picture candidates can be set appropriately with simple processing.
  • the reference index is a code assigned to all of the referenceable pictures or all of the reference picture candidates, and is used to designate a picture actually used as a reference picture in the stream.
  • a reference index is assigned to all of the pictures that can be referred to for each picture to be encoded or all of the reference picture candidates.
  • the reference index represented by the minimum number of bits is assigned to the temporal nearest field, and the reference picture
  • this A reference index represented by the minimum number of bits is assigned to the spatial nearest field. That is, a reference index having a minimum number of bits is assigned to a temporally closest field or a spatially closest field that will be most used as a reference picture among reference picture candidates. Since the stream includes a reference index indicating the reference picture of each block, the number of bits of the stream can be shortened and the code efficiency can be further improved.
  • FIG. 13 is a flowchart showing the coding process and reference picture setting process in the fourth embodiment, and is a flowchart obtained by adding a reference index adding process to FIG. 6 of the first embodiment.
  • FIG. 13 differs from FIG. 6 in that a module 1100 is added. Explanation of the same points will be omitted, focusing on different points.
  • the module 1100 assigns a reference index to each of the reference picture candidates of the encoding target bottom field. At that time, a reference index represented by the minimum number of bits is assigned to the temporal nearest field or spatial nearest field among the reference picture candidates.
  • FIG. 14A and FIG. 14B are diagrams showing examples of the assigned reference index ref-idx.
  • FIG. 15 is a flowchart showing details of the reference index setting process in the module 1100 of FIG.
  • module 1400 a spatial-temporal decision is confirmed. If the temporal nearest picture is appropriate, module 1402 may refer to the reference index of multiple reference picture candidates to point the reference index with the minimum number of bits to the temporal nearest picture (ie, top field 314 of target field pair 312). Are changed or rearranged (eg Figure 14B). If the most recent temporal picture is not appropriate, module 1404 The index of a plurality of reference picture candidates, such as bottom field 310 of the previous reference field pair 306, is changed or rearranged so that the reference index of the reference refers to the spatial nearest picture (for example, the figure). 14A).
  • FIG. 16 is a flowchart showing another example of the sign key and reference picture setting process in the fourth embodiment, and is a flowchart in which a reference index assignment process is added to FIG. 9 in the second embodiment. It is. FIG. 16 is different from FIG. 9 in that a module 1100 is added. Module 1100 is as described above.
  • FIG. 17 is a flowchart showing yet another example of encoding and reference picture setting processing in the fourth embodiment, and is a flowchart in which reference index assignment processing is added to FIG. 11 of the third embodiment. .
  • FIG. 17 is different from FIG. 11 in that a module 1100 is added. Module 1100 is as described above.
  • a temporal nearest field or spatial nearest field that can be most used as a reference picture among reference picture candidates has a minimum number of bits.
  • a reference index is assigned. Since the stream includes a reference index indicating the reference picture of each block, the number of bits of the stream can be shortened and the code efficiency can be further improved.
  • This embodiment is different from the first embodiment in that the specific field is a different picture. Explanation of the same points is omitted, and different points will be mainly described below.
  • the specific field in the present embodiment is immediately before the bottom field to be encoded.
  • FIG. 18 shows an example of a picture in the coding order used in the reference picture selection method and the image coding method in the fifth embodiment.
  • the field pairs 294, 300, 306, 312 are, for example, a P picture, a P picture, a B picture, and a B picture in order.
  • the specific field becomes the bottom field 304.
  • the top field 302 in the same field pair as the specific field is called the second reference picture.
  • Bottom fee in the field pair 294 immediately before the specified field 304 in encoding order Ludo 298 is referred to as the first reference picture.
  • FIG. 19 is a flowchart showing the code key and reference picture setting process in the image code key device.
  • the encoding processing of the fine reds 302, 304, 308, 310, 314, and 316 shown in FIG. 18 and the processing for setting the reference picture candidate by indirectly predicting the motion of the encoding target field It shows.
  • FIG. 19 shows that the modules 396 and 398 are clearly specified, and that the module 404 obtains prediction information from the module 398. Is different.
  • Modules 400-410 in FIG. 19 perform the same processing as in FIG. In the following, the same points will be omitted and different points will be mainly described.
  • Module 396 the sign of the top field 302 in the immediately preceding (two preceding) field pair 300 is performed.
  • Module 398 encodes the bottom field 304 in the immediately previous (second previous) field pair 300.
  • the prediction information in the bottom field 304 is transferred from the encoding module 398 to the analysis module 404.
  • This prediction information is information indicating the reference picture actually used for the code for each block, and may be transferred for each macroblock, for each slice, or after the code for the entire field.
  • module 404 the prediction information obtained from module 398 is analyzed. The details are shown in Figs. 7 and 8 above.
  • the magnitude of the motion of the bottom field 316 to be coded is set to a specific field (here, The encoding process power of the bottom field 304 in the field pair preceding the encoding target bottom field in the order of the encoding key is first and second from the prediction information (information indicating the reference picture) that can be easily obtained. By counting the second count number, it is possible to predict with a simple process.
  • the magnitude of the motion is the ratio (or difference) between the first count number and the second count number, that is, the ratio between the number of times of reference to the first reference picture and the number of times of reference to the second reference picture (or (Difference) can be predicted appropriately.
  • reference picture candidates can be set appropriately by a simple process called a comparison process using threshold values. [0126] Thereby, it is possible to reduce the processing amount of reference picture selection and to realize encoding efficiency comparable to that in the case where the reference picture candidates are not limited.
  • the present embodiment is different from the second embodiment in that the specific field is a different picture. Explanation of the same points is omitted, and different points will be mainly described below.
  • the specific field in the present embodiment is immediately before the bottom field to be encoded.
  • FIG. 20 is a flowchart showing coding and reference picture setting processing in the image coding apparatus according to the sixth embodiment.
  • the encoding process of fields 302, 304, 308, 310, 314, and 316 shown in FIG. 18 and the process of setting the reference picture candidate by indirectly predicting the motion of the encoding target field are performed.
  • modules 396 and 398 are clearly indicated as V, and module 700 obtains prediction information from module 396! / The point is different!
  • Modules 400 to 410 and 700 in FIG. 20 perform the same processing as in FIG.
  • the same points will be omitted and different points will be mainly described.
  • the top field 302 in the immediately preceding (two preceding) field pair 300 is encoded.
  • the prediction information of the top field 302 is transferred from the code module 398 to the analysis module 700. This prediction information is information indicating whether or not the intra code is applied to each block, and may be transferred for each macroblock, for each slice, or after encoding the entire field.
  • the bottom field 302 in the field pair 300 immediately before (two before) is encoded.
  • module 700 the prediction information obtained from module 396 is analyzed.
  • the details of the 700 and 406 details are the same as those shown in Figs.
  • the magnitude of the motion of bottom field 316 to be encoded is set to a specific field (here, , A field that precedes the bottom field of the sign key in the sign key order.
  • Prediction information that can be easily obtained from the coding process of the top field 302) in the pair (information indicating whether the block is an intra-coded block) or not, by counting the first and second count numbers Can be predicted by simple processing.
  • the magnitude of the motion is the ratio (or difference) between the first count number and the second count number, that is, the ratio between the number of times of reference to the first reference picture and the number of times of reference to the second reference picture (or (Difference) can be predicted appropriately.
  • reference picture candidates can be set appropriately by a simple process called a comparison process using threshold values.
  • the present embodiment is different from the fifth embodiment in that the specific field is a different picture. Explanation of the same points is omitted, and different points will be mainly described below.
  • the specific field in the present embodiment refers to a bottom field that belongs to a field pair immediately before (three preceding) the bottom field to be encoded.
  • FIG. 21 shows an example of a picture in the coding order used in the reference picture selection method and the image coding method according to the seventh embodiment.
  • the field pairs 288, 294, 300, 306, 312 are, for example, I or P picture, P picture, P picture, B picture, B picture in order.
  • the specific field becomes the bottom field 298.
  • the top field 296 in the same field pair 294 as the specific field 298 is referred to as the second reference picture.
  • the bottom field 292 in the field pair 288 immediately preceding the specific field 298 in the order of the sign is called the first reference picture.
  • FIG. 22 is a flowchart showing a code key and reference picture setting process in the image code key device in the seventh embodiment.
  • the reference pictures are estimated by indirectly predicting the sign key processing of fields 290, 292, 302, 304, 308, 310, 314, and 316 shown in FIG. It shows processing for setting candidates.
  • FIG. 22 clearly shows modules 392 and 394, and module 404 obtains prediction information from module 394! / The point Is different.
  • Modules 396 to 410 in FIG. 22 perform the same processing as in FIG. In the following, the same points will be omitted and different points will be mainly described.
  • the prediction information of the bottom field 298 is transferred from the encoding module 394 to the analysis module 404.
  • This prediction information is information indicating the reference picture actually used for the code for each block, and may be transferred for each macroblock, for each slice, or after the code for the entire field.
  • module 404 the prediction information obtained from module 394 is analyzed. The details are shown in Figs. 7 and 8 above.
  • Embodiment 6 is different from Embodiment 6 in that the specific field is a different picture. Explanation of the same points is omitted, and different points will be mainly described below.
  • the specific field in the present embodiment refers to a top field belonging to a field pair immediately before (three preceding) the bottom field to be encoded. This embodiment will also be described using the picture example shown in FIG.
  • FIG. 23 is a flowchart showing the encoding and reference picture setting processing in the image encoding apparatus in the eighth embodiment. Compared to the reference picture setting process of the second embodiment shown in FIG. 20, FIG. 23 clearly shows modules 392 and 394, and module 700 obtains prediction information from module 392! / The point is different! Except for this point, the second embodiment is the same as the sixth embodiment.
  • the magnitude of the motion of the code target bottom field is estimated simply or indirectly using the prediction information of the specific field.
  • the bottom field force of the sign key is checked by checking which one of the temporal nearest field and the spatial nearest field has the higher correlation.
  • FIG. 24 shows an example of the picture order in the picture order used in the reference picture selection method and the image coding method according to the ninth embodiment.
  • the field pairs 306 and 312 are, for example, B pictures in order.
  • the correlation between the sign key target bottom field 316 and the temporal nearest field 314 can be easily calculated based on the difference between them.
  • the correlation between the encoding target bottom field 316 and the spatial nearest field 310 can be easily calculated based on the difference between them.
  • FIG. 25 is a flowchart showing the code key and reference picture setting process in the image code key device in the ninth embodiment.
  • Modules 400, 402, 406, 408, and 410 are the same as those shown in FIG.
  • the module 720 calculates a correlation between the immediately preceding bottom field (spatial nearest field) 310 and the encoding target bottom field 316 (hereinafter referred to as a spatial correlation).
  • a spatial correlation the difference between the corresponding pixels between the two fields is calculated, and the sum of them is calculated as the correlation.
  • each pixel value of the encoding target bottom field 316 is read from the input picture memory 101, and each pixel value of the spatial nearest field 310 is read from the reference picture memory 109 or the input picture memory 101.
  • the spatial correlation is higher as the sum of the differences is smaller.
  • the module 722 calculates the correlation between the top field (temporal nearest field) 314 and the encoding target bottom field 316 (hereinafter referred to as temporal correlation). This calculation is similar to module 720. Spatial correlation indicates higher correlation as the sum of differences is smaller.
  • Module 724 makes a spatial one-time decision according to two correlations. That is, when the spatial correlation is higher than the temporal correlation, it is determined that the spatial nearest field is more suitable as a reference picture candidate than the temporal nearest field. Conversely, in time If the correlation is higher than the spatial correlation, it is determined that the temporal nearest field is more suitable as a reference picture candidate than the spatial nearest field.
  • the module 406 is as already described with reference to FIG. 8.
  • the spatial nearest field or the spatial nearest field is set as a reference picture candidate.
  • the magnitude of the motion of the bottom field to be encoded in the reference picture selection method according to the present embodiment is appropriate by obtaining the spatial correlation and the temporal correlation. Can be predicted. Moreover, it can be realized by a simple calculation to obtain the sum of the differences.
  • the magnitude of the motion of the bottom field to be encoded is predicted by calculating two correlations. On the other hand, in this embodiment, it is determined which of the reduced image in the temporal nearest field and the reduced image in the spatial nearest field the movement of the reduced image in the encoding target bottom field is larger.
  • a reference picture selection method for predicting the magnitude of the motion of the bottom field to be encoded will be described.
  • FIG. 26 is a flowchart showing coding and reference picture setting processing in the image coding apparatus according to the tenth embodiment.
  • the encoding processing for the fields 308, 310, 314, and 316 shown in FIG. 24 and the processing for setting the reference picture candidates by indirectly predicting the motion of the encoding target field (modules 730 to 734, 406).
  • Modules 400, 402, 406, 408, and 410 are the same as those shown in FIG.
  • the module 730 generates a reduced image of the immediately preceding bottom field (spatial nearest field) 310, generates a reduced image of the encoding target bottom field 316, and two reduced image forces are also applied to the encoding target bottom. Predict the magnitude of the field 316 movement (hereinafter referred to as the first movement magnitude).
  • the reduced image may be, for example, 1Z2, 1/3, 1/4.
  • a motion vector may be detected for each block in the reduced image, or a motion vector may be detected by sampling several representative blocks. in this way
  • the “motion magnitude” is predicted by summing motion vectors of a plurality of detected blocks or sum of absolute values of motion vectors.
  • the module 732 generates a reduced image of the immediately preceding top field (temporally nearest field) 314, and the motion of the encoding target bottom field 316 from the reduced image and the reduced image of the encoding target bottom field 316. Predict the magnitude of the motion (hereinafter referred to as the second motion magnitude;).
  • the motion prediction may be the same as described above.
  • Module 734 makes a spatial one-time determination according to the magnitude of the first and second movements. That is, when the magnitude of the first motion is larger than the magnitude of the second motion, it is determined that the spatial nearest field is more suitable as a reference picture candidate than the temporal nearest field. Conversely, if the magnitude of the second motion is greater than the magnitude of the first motion, it is determined that the temporal nearest field is more suitable as a reference picture candidate than the spatial nearest field.
  • the module 406 is as already described with reference to FIG. 8, and sets the spatial nearest field or the spatial nearest field as a reference picture candidate according to the determination of the module 734.
  • the reference picture selection method it is possible to appropriately predict the magnitude of the motion of the encoding target bottom field by using the reduced image.
  • the force can also be realized by simple calculation to detect the motion vector of the reduced image.
  • each functional block in the block diagrams shown in each of the above embodiments and each module in the flowchart are typically realized as an LSI which is an integrated circuit device.
  • This LSI may be made into one chip or a plurality of chips.
  • a function block other than a memory may be used as a single chip.
  • it may be called IC, system LSI, super LSI, or unotra LSI, depending on the power integration level of LSI.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. You can use a field programmable gate array (FPGA) that can be programmed after LSI manufacturing, or a reconfigurable processor that can reconfigure the connection and settings of circuit cells inside the LSI.
  • FPGA field programmable gate array
  • reconfigurable processor that can reconfigure the connection and settings of circuit cells inside the LSI.
  • the unit for storing data is not limited to a single chip, but may be configured separately, such as a recording medium or DRAM.
  • the image encoding method or the image decoding method shown in the above embodiment can be used in any of the above-described device systems, and by doing so, in the above embodiment, The described effect can be obtained.
  • the power of setting the reference picture candidate for the encoding target bottom field is set and the reference picture candidate for the encoding target top field is set. You may do it.
  • the reference picture candidate subset indicated by the broken line arrow in FIG. 3A or the reference picture candidate subset indicated by the broken line arrow in FIG. 3B is set according to the magnitude of the motion of the encoding target top field.
  • the reference picture candidate subset indicated by the broken line arrow in FIG. 3A or the reference picture candidate subset indicated by the broken line arrow in FIG. 3B is set according to the magnitude of the motion of the encoding target top field.
  • the second count number that is the number of blocks that have been counted (modules 508 to 514), but instead, the second count number that is the number of intra-coded blocks and the code other than intra may be counted.
  • the module 700 shown in FIG. The first count, which is the number of intra-coded blocks, and the second count, which is the number of non-intra-coded blocks (modules 816-810), are counted instead.
  • the first count number that is the number of blocks using the first reference picture and the second count number that is the number of blocks using the second reference picture may be counted.
  • the first reference picture may be a bottom field preceding the specific field
  • the second reference picture may be a top field in the same field pair as the first reference picture.
  • the top fields 302 and 296 may be the first reference picture
  • the bottom fields 298 and 292 may be the second reference picture.
  • Y and N of module 520 shown in FIG. 7 may be reversed.
  • the larger the ratio of the module 520 (the value of the first reference counter Z the value of the second reference force counter) is, the larger the movement of the target bottom field is predicted, and the smaller the ratio! / The movement of the target bottom field is expected to be small! /.
  • the present invention is suitable for an encoding device and a decoding device for encoding or decoding an image, a web server for distributing a moving image, a network terminal for receiving the same, a digital camera capable of recording and reproducing moving images, Suitable for mobile phones with cameras, DVD recording Z players, PDAs, personal computers, etc.

Abstract

　本発明の参照ピクチャ選択方法は、インターレースビデオの符号化において、符号化対象のボトムフィールドのための参照ピクチャを選択する方法であって、前記符号化対象のボトムフィールドよりも符号化順で先行する特定フィールドを用いて、前記符号化対象のボトムフィールドの動きの大きさを予測し、予測した動きの大きさに応じて、前記符号化対象のボトムフィールドの符号化に適した参照ピクチャ候補を設定し、設定された参照ピクチャ候補の中から、前記符号化対象のボトムフィールドの参照ピクチャを選択する。                                                                           

Description

明 細 書
参照画像選択方法および装置
技術分野
[0001] 本発明は、あらゆるマルチメディア符号ィ匕に用いることができ、特にインターレース ビデオソースの動き予測フィールド符号ィ匕のための複数参照ピクチヤに対応するビ デォ符号ィ匕に用いられる。
背景技術
[0002] 圧縮されていないビデオソースは、プログレッシブ又はインターレース'スキャンフォ 一マットのいずれかのフォーマットでキヤプチヤーすることができる。プログレッシブ' スキャンフォーマットでは、サンプルラインすべてが同じ時刻にキヤプチヤーされる。 一方、インターレース'スキャンフォーマットは、サンプルラインが交互に異なる時刻に キヤプチヤーされる。図 1は、フィールドピクチャペアを示す説明図である。同図のよう に、早い時刻 tにキヤプチヤーされたサンプルラインは、トップフィールドピクチャを構 成する。遅い時刻 t+ 1にキヤプチヤーされたサンプルラインは、ボトムフィールドピク チヤを構成する。トップフィールドピクチャとそれに対応するボトムフィールドピクチャ は、フィールドピクチャペアと呼ばれる。圧縮されていないフィールドピクチャはフレー ム符号ィ匕またはフィールド符号ィ匕を用いて符号ィ匕できる。フレーム符号ィ匕では、トツ プフィールドピクチャとボトムフィールドピクチャの 2つで 1枚のピクチヤとして符号化さ れる。フィールド符号化では、トップフィールドピクチャは、ボトムフィールドピクチャと は別のピクチヤとして符号ィ匕される。なお、以下、フィールドピクチャを単にフィールド と呼ぶ。
[0003] 一般的に、 ISO/IEC 14496-2 Part 10 International Standard等のビデオ符号化アル ゴリズムのほとんどは主に 2つの符号ィ匕タイプを用いる。画面内符号ィ匕は 1つのピク チヤ内で他のピクチャを用いずに行われる。よって、画面内符号化されたサンプル画 素のみを含むピクチャは画面内ピクチャまたは単に Iピクチャと呼ばれる。一方、画面 間符号ィ匕では、他のピクチャ力 のサンプル画素を参照することによって、ビデオピク チヤ間の時間相関を用いる。単予測画面間ピクチャ（以下 Pピクチャと呼ぶ。）は他の 1枚のピクチヤから予測し、双予測画面間ピクチャ（以下 Bピクチャと呼ぶ。）は 2枚の 他のピクチヤから予測する。
[0004] 3つのピクチヤのタイプ（画面内、単予測、双予測）がビデオエンコーダによって、用 途における必要に応じて柔軟に用いられる。符号化及び復号化処理の順序（以下、 符号ィヒ順序とよぶ）は、通常、ソースピクチャのキヤプチヤー順序や表示のためのデ コーダからの出力順序（以下、表示順序とよぶ）と同じではない。画面間ピクチャの符 号化及び復号化処理が、その符号化及び復号化処理で参照された他の符号化済 みピクチャ（以下、参照ピクチヤとよぶ)よりも後に行われるように符号ィ匕順序が配列さ れる。
非特許文献 l : ISO/IEC14496- 2 Part 10 International Standard
発明の開示
発明が解決しょうとする課題
[0005] ところで、 H. 264 (MPEG-4 AVC)では、画面間符号化の符号化効率を改善す るため、符号ィ匕処理中により多くの参照ピクチヤが使用可能になっている。つまり、 M PEG— 2では参照ピクチヤとして使用可能なピクチャは Iピクチャおよび Pピクチャで あるのに対して、 H. 264では Iピクチャおよび Pピクチャに加えて Bピクチャも参照ピク チヤとして使用可能になっている。また、エンコーダは、ピクチャ内の異なるブロックを 符号化する際に、異なる参照ピクチャを使用してもよい。「ブロック」という言葉は、画 素の集まりである矩形を示し、 4x4、 8x4及び 8x16などのブロックサイズがある。ェン コーダは、多くの使用可能な参照ピクチャの中力 ブロック毎に最適な参照ピクチャ を選択することによって、符号ィ匕効率を高めることが可能である。
[0006] し力しながら、使用可能な参照ピクチヤの全てを調査して、ブロック毎に最適な参照 ピクチャを選択することは、符号ィ匕効率の点からは好ましいが、処理量の点からは好 ましくない。特に、インターレース'スキャンフォーマットでは、 2つ目以降の Bピクチャ 、つまり、符号ィ匕済の Bピクチャ (特にボトムフィールド）を参照可能な Bピクチャは、参 照可能なピクチャが多数あるので、最適な参照ピクチャを選択する処理量が多ぐそ のための参照メモリの管理も複雑である。
[0007] 図 2Aは、ピクチャの符号化順序の一例を示している。図 2Bは、その同じピクチヤの 表示順序を示している。フィールドペア 200及び 206は、 Iピクチャ力 Pピクチャのいず れかである。フィールドペア 212及び 218は、 Bピクチャである。これらのフィールド中 、ボトムフィールド 222の符号ィ匕において参照可能なフィールドの数は、先行して符 号ィ匕されるフィーノレド、 202、 204、 · ' · 216、 220よりも多い。ボトムフィーノレド、 222の各 ブロックの符号ィ匕には、フィーノレド 202、 204、 214、 216又は 220のうちの 1つを第 1 の方向の参照に、フィールド 208または 210のうちの 1つを第 2の方向の参照に用い ることができる。ビデオエンコーダは、ボトムフィールド 222の符号化処理において、 1 枚の参照フィールド (単予測符号ィ匕の場合)力 2枚の参照フィールド (双予測符号 化の場合)を各ブロックの予測参照として選択する。
[0008] ボトムフィールド 222の符号ィ匕における参照ピクチヤの選択は、良質なビデオ画質 を維持しながら符号ィ匕効率が最適であるように行われなければならない。この選択の 方法の 1つに、上述したように、使用可能な参照ピクチヤすベてを調べる方法がある 。残念ながら、この方法は、繰り返しやメモリーアクセスが多く非常に複雑である。よつ て、処理量の観点および参照メモリの管理の観点からは、この方法を適用するのは 好ましくない。
[0009] 処理量を低減するために、エンコーダによっては、すべての利用可能な参照ピクチ ャのうちの 1つの適切なサブセットのみを調べる方法がある。このサブセットに属する ピクチャを、以下、参照ピクチャ候補と呼ぶ。たとえば、図 2Βに示すように、符号化対 象のボトムフィールド 222の参照ピクチヤとして使用可能な全てのピクチャからトップ フィールド 220を除外したサブセットを参照ピクチャ候補とする。こうすれば、最適な 参照ピクチャを選択するための処理量を低減することができる。し力しその反面、もし 、除外されたピクチャが最適な参照ピクチヤであったなら、符号化効率を十分に向上 させることが出来ない。サブセットのみを調べる方法は、所領低減の観点からは好ま LV、が、符号ィ匕効率の観点からは好ま 、とは 、えな!/、。
[0010] 本発明は、参照ピクチャを決定する処理量の削減し、かつ、参照ピクチャ候補の制 限がな!ヽ場合と同程度の符号化効率を達成する参照ピクチャ選択方法、および装置 を提供することを目的とする。
課題を解決するための手段 [0011] 上記課題を解決するため本発明の参照ピクチャ選択方法は、インターレースビデ ォの符号ィ匕において、符号ィ匕対象のボトムフィールドのための参照ピクチャを選択す る方法であって、前記符号ィ匕対象のボトムフィールドよりも符号ィ匕順で先行する特定 フィールドを用いて、前記符号ィ匕対象のボトムフィールドの動きの大きさを予測し、予 測した動きの大きさに応じて、前記符号ィ匕対象のボトムフィールドの符号ィ匕に適した 参照ピクチャ候補を設定し、設定された参照ピクチャ候補の中から、前記符号化対象 のボトムフィールドの参照ピクチャを選択する。
[0012] この構成によれば、第 1に、参照可能な全てのピクチャを調査する必要がなぐ参照 ピクチャ候補のみを調査すればょ 、ので、参照ピクチャを決定する処理量を削減す ることができる。し力も、第 2に、予測した動きの大きさに応じて、符号化対象のボトム フィールドの符号ィ匕に適した参照ピクチャ候補が設定されるので、参照ピクチャ候補 の制限がない場合と同程度の符号ィ匕効率を達成することができる。
[0013] ここで、前記参照ピクチャ候補の設定にぉ 、て、前記動きの大きさの予測結果に応 じて、時間的直近フィールドおよび空間的直近フィールドの一方を前記参照ピクチャ 候補に含めてもよい。ここで、前記時間的直近フィールドは、前記符号化対象フィー ルドと同じフィールドペア内のトップフィールドであり、前記空間的直近フィールドは、 前記符号ィ匕対象フィールドよりも符号ィ匕順で直前の双予測符号ィ匕フィールドペア内 のボトムフィールドであるようにしてもよ 、。
[0014] この構成によれば、時間的直近フィールドおよび空間的直近フィールドを動きの大 きさに応じて適応的に参照ピクチャ候補として設定することができる。
[0015] ここで、前記特定フィールドは、前記符号ィ匕対象のボトムフィールドよりも符号ィ匕順 で先行するフィールドペア内のボトムフィールドであり、第 1参照ピクチャは、前記特 定フィールドと同じフィールドペア内のトップフィールドであり、第 2参照ピクチャは、前 記特定フィールドよりも符号ィ匕順で直前のフィールドペア内のボトムフィールドであり 、前記動きの大きさの予測において、前記特定フィールドの符号ィヒにおいて、前記 第 1参照ピクチャを用いたブロックの個数である第 1カウント数と、前記第 2参照ピクチ ャを用いたブロックの個数である第 2カウント数とをカウントし、前記符号化対象のボト ムフィールドの動きの大きさとして、前記第 1カウント数と前記第 2カウント数との比また は差分を算出するようにしてもょ 、。
[0016] この構成によれば、符号ィ匕対象のボトムフィールドの動きの大きさを、特定フィール ド (ここでは、前記符号ィ匕対象のボトムフィールドよりも符号ィ匕順で先行するフィールド ペア内のボトムフィールド)の符号ィ匕のプロセス力 容易に取得可能な情報 (参照ピク チヤを示す情報)から第 1および第 2カウント数をカウントすることによって、簡単な処 理で予測することができる。動きの大きさは、第 1カウント数と第 2カウント数との比 (又 は差分)、つまり、第 1参照ピクチャを参照した回数と第 2参照ピクチャを参照した回 数との比 (又は差分)として、適切に予測することができる。つまり、この比又は差分が 大き!/、ほど動きが大き!、と予測できる。
[0017] ここで、前記参照ピクチャ候補の設定において、前記第 1カウント数と前記第 2カウ ント数との比または差分としきい値とを比較し、前記比較結果に応じて、時間的直近 フィールドおよび空間的直近フィールドの一方を前記参照ピクチャ候補に含めるよう にしてもよい。
[0018] この構成によれば、しきい値を用いた比較処理という簡単な処理で、参照ピクチャ 候補を適切に設定することができる。
[0019] ここで、前記特定フィールドは、前記符号ィ匕対象のボトムフィールドの属するフィー ルドペアから符号化順で N個前のフィールドペア内のボトムフィールドであり、前記 N は 1な!、し 3から選ばれるようにしてもよ!、。
[0020] この構成によれば、符号ィ匕対象のボトムフィールドの属するフィールドペア力 符号 化順で N個前のフィールドペア内のボトムフィールドを用いることにより、符号ィ匕対象 のボトムフィールドの動きを簡単に予測することができる。
[0021] ここで、前記特定フィールドは、前記符号ィ匕対象のボトムフィールドよりも符号ィ匕順 で先行するトップフィールドであり、前記動きの大きさの予測において、前記特定フィ 一ルドの符号ィ匕において、イントラ符号化されたブロックの個数である第 1カウント数 と、イントラ以外で符号化されたブロックの個数である第 2カウント数とをカウントし、前 記符号ィ匕対象のボトムフィールドの動きの大きさとして、前記第 1カウント数と前記第 2 カウント数との比または差分を算出するようにしてもょ 、。
[0022] この構成によれば、符号ィ匕対象のボトムフィールドの動きの大きさを、特定フィール ド (ここでは、前記符号ィ匕対象のボトムフィールドよりも符号ィ匕順で先行するトップフィ 一ルド)の符号ィ匕のプロセス力 容易に取得可能な情報 (イントラ符号化か否かを示 す情報)から第 1および第 2カウント数をカウントすることによって、簡単な処理で予測 することができる。動きの大きさは、第 1カウント数と第 2カウント数との比 (又は差分)、 つまり、イントラ符号ィ匕されたブロックの個数とそうでないブロックの個数との比（又は 差分)として、適切に予測することができる。
[0023] ここで、前記参照ピクチャ候補の設定において、前記第 1カウント数と前記第 2カウ ント数との比または差分としきい値とを比較し、前記比較結果に応じて、時間的直近 フィールドおよび空間的直近フィールドの一方を前記参照ピクチャ候補に含めるよう にしてもよい。
[0024] この構成によれば、この構成によれば、しきい値を用いた比較処理という簡単な処 理で、参照ピクチャ候補を適切に設定することができる。
[0025] ここで、前記特定フィールドは、前記符号ィ匕対象のボトムフィールドの属するフィー ルドペアから符号化順で N個前のフィールドペア内のボトムフィールドであり、前記 N は 0な!、し 3から選ばれるようにしてもよ!、。
[0026] この構成によれば、符号ィ匕対象のボトムフィールドの属するフィールドペア力 符号 化順で N個前のフィールドペア内のトップフィールドを用いることにより、符号ィ匕対象 のボトムフィールドの動きを簡単に予測することができる。
[0027] ここで、前記特定フィールドは第 1のフィールド、第 2のフィールドの一方であり、前 記第 1のフィールドは前記符号ィ匕対象のボトムフィールドよりも符号ィ匕順で先行する フィールドペア内のボトムフィールドであり、前記第 2のフィールドは当該フィールドぺ ァ内のトップフィーノレドであり、前記動きの大きさの予測において、前記動きの大きさ として、第 1および第 2の相関性を算出し、第 1の相関性は、前記符号化対象のボトム フィールドと前記第 1のフィールドとの相関性であり、第 2の相関性は、前記符号化対 象のボトムフィールドと前記第 2のフィールドとの相関性であり、前記参照ピクチャ候 補の設定において、第 1の相関性と第 2の相関性との比または差分に応じて、前記参 照ピクチャ候補に設定するようにしてもよ ヽ。
[0028] この構成によれば、符号ィ匕対象のボトムフィールドの動きの大きさを、第 1の相関性 と第 2の相関性と算出することによって、予測することができる。
[0029] ここで、前記参照ピクチャ候補の設定において、第 1の相関性と第 2の相関性との 比または差分に応じて、時間的直近フィールドおよび空間的直近フィールドの一方 を前記参照ピクチャ候補に含めるようにしてもょ 、。
[0030] この構成によれば、 2つの相関性の比較という簡単な処理で、参照ピクチャ候補を 適切に設定することができる。
[0031] ここで、前記特定フィールドは第 1のフィールド、第 2のフィールドの一方であり、前 記第 1のフィールドは前記符号ィ匕対象のボトムフィールドよりも符号ィ匕順で先行する フィールドペア内のトップフィールドであり、前記第 2のフィールドは当該フィールドぺ ァ内のボトムフィールドであり、前記動きの大きさの予測において、前記第 1のフィー ルド、前記第 2のフィールドおよび前記符号ィヒ対象のボトムフィールドそれぞれの縮 小画像を生成し、縮小画像を用いて、前記第 1のフィールドに対する符号ィ匕対象の ボトムフィールドの動きを検出し、縮小画像を用いて、前記第 2のフィールドに対する 符号ィ匕対象のボトムフィールドの動きを検出するようにしてもょ 、。
[0032] この構成によれば、符号ィ匕対象のボトムフィールドの動きの大きさを、第 1、第 2のフ ィールドおよび前記符号ィ匕対象のボトムフィールドそれぞれの縮小画像を用いて検 出することによって、予測することができる。
[0033] ここで、前記参照ピクチャ候補の設定において、検出された 2つの動きに基づいて 、時間的直近フィールドおよび空間的直近フィールドの一方を前記参照ピクチャ候 補に含めるようにしてもよい。
[0034] この構成によれば、縮小画像力も得られた動きの比較と 、う簡単な処理で、参照ピ クチャ候補を適切に設定することができる。
[0035] ここで、前記符号ィ匕対象のボトムフィールドは双予測画面間符号ィ匕されたピクチャ を参照可能なフィールドペアに属し、前記参照ピクチャ候補の設定において、予測さ れた動きに応じて、参照可能な全てのピクチャ力も選ばれた参照ピクチャ候補力もな る第 1のサブセットおよび第 2のサブセットの一方を選択し、前記第 1のサブセットは時 間的直近フィールドを含み空間的直近フィールドを含まず、前記第 2のサブセットは 空間的直近フィールドを含み時間的直近フィールドを含まず、前記時間的直近フィ 一ルドは、前記符号化対象フィールドと同じフィールドペア内のトップフィールドであり 、前記空間的直近フィールドは、前記符号化対象フィールドよりも符号化順で直前の 双予測符号ィ匕フィールドペアのボトムフィールドであるようにしてもょ 、。
[0036] この構成によれば、予測された動きに応じて第 1のサブセットと第 2のサブセットから より適切なサブセットを適応的に参照ピクチャ候補として設定することができる。
[0037] ここで、前記参照ピクチャ選択方法は、さらに、参照ピクチャ候補に時間的直近フィ 一ルドが含まれて 、るとき、当該時間的直近フィールドに最小のビット数で表される 参照インデックスを付与し、参照ピクチャ候補に空間的直近フィールドが含まれて ヽ るとき、当該空間的直近フィールドに最小のビット数で表される参照インデックスを付 与するようにしてちょい。
[0038] この構成によれば、参照ピクチャ候補のうち最も使用されるであろう時間的直近フィ 一ルドまたは空間的直近フィールドには、最小ビット数の参照インデックスが割り当て られるので、符号ィ匕効率を向上させることができる。
[0039] また、本発明の画像符号化方法、プログラム、半導体装置、画像符号化装置、ストリ ームデータは、上記と同様に構成され、同様の作用効果を奏する。
発明の効果
[0040] 本発明によれば、インターレースビデオの符号ィ匕にお 、て参照ピクチャを決定する 処理量を削減することができ、かつ、参照ピクチャ候補の制限がない場合と同程度の 符号化効率を達成することができる。
図面の簡単な説明
[0041] [図 1]図 1は、フィールドピクチャペアを示す説明図である。
[図 2A]図 2Aは、ピクチャの符号ィ匕順序の一例を示している。
[図 2B]図 2Bは、図 2Aのピクチャの表示順序を示している。
[図 3A]図 3Aは、参照ピクチャ候補力もなる第 1のサブセットの一例を示す図である。
[図 3B]図 3Bは、参照ピクチャ候補力もなる第 2のサブセットの一例を示す図である。
[図 3C]図 3Cは、第 2サブセットにおいて参照ピクチャ候補力も排除されるピクチャの 一例を示す図である。
[図 4]図 4は、実施の形態 1における画像符号ィ匕装置の主要部の構成を示すブロック 図である。
[図 5]図 5は、参照ピクチャ選択方法および画像符号化装置に関するピクチャ (符号 化順)の例を示す図である。
[図 6]図 6は、画像符号ィ匕装置における符号ィ匕および参照ピクチャ設定処理を示すフ ローチャートである。
[図 7]図 7は、図 6中の分析処理を詳細に示すフローチャートである。
[図 8]図 8は、図 6中の参照ピクチャ候補設定処理を詳細に示すフローチャートである
[図 9]図 9は、実施の形態 2における画像符号ィ匕装置における符号ィ匕および参照ピク チヤ設定処理を示すフローチャートである。
[図 10]図 10は、図 9中の分析処理を詳細に示すフローチャートである。
[図 11]図 11は、実施の形態 3における画像符号ィ匕装置における符号化および参照 ピクチャ設定処理を示すフローチャートである。
[図 12]図 12は、図 11中の参照ピクチャ候補設定処理を詳細に示すフローチャートで ある。
[図 13]図 13は、実施の形態 4における符号化および参照ピクチャ設定処理を示すフ ローチャートである。
[図 14A]図 14Aは、空間的直近フィールド付与された参照インデックス ref—idxの例 を示す図である。
[図 14B]図 14Bは、時間的直近フィールド付与された参照インデックス ref—idxの例 を示す図である。
[図 15]図 15は、図 13中の参照インテックス設定処理の詳細を示すフローチャートで ある。
[図 16]図 16は、実施の形態 4における符号化および参照ピクチャ設定処理の他の例 を示すフローチャートである。
[図 17]図 17は、実施の形態 4における符号化および参照ピクチャ設定処理のさらに 他の例を示すフローチャートである。
[図 18]図 18は、実施の形態 5における参照ピクチャ選択方法及び画像符号ィ匕方法 に用いられる符号ィ匕順のピクチヤの一例を示す。
[図 19]図 19は、実施の形態 5における画像符号ィ匕装置における符号ィ匕および参照 ピクチャ設定処理を示すフローチャートである。
[図 20]図 20は、実施の形態 6における画像符号化装置における符号化および参照 ピクチャ設定処理を示すフローチャートである。
[図 21]図 21は、実施の形態 7における参照ピクチャ選択方法及び画像符号ィ匕方法 に用いられる符号ィ匕順のピクチヤの一例を示す。
[図 22]図 22は、実施の形態 7における画像符号ィ匕装置における符号ィ匕および参照 ピクチャ設定処理を示すフローチャートである。
[図 23]図 23は、実施の形態 8における画像符号化装置における符号化および参照 ピクチャ設定処理を示すフローチャートである。
[図 24]図 24は、実施の形態 9における参照ピクチャ選択方法及び画像符号ィ匕方法 に用いられる符号ィ匕順のピクチヤの一例を示す。
[図 25]図 25は、実施の形態 9における画像符号ィ匕装置における符号ィ匕および参照 ピクチャ設定処理を示すフローチャートである。
[図 26]図 26は、実施の形態 10における画像符号化装置における符号化および参照 ピクチャ設定処理を示すフローチャートである。
符号の説明
101 入力ピクチャメモリ
102 減算器
103 直交変換 ·量子化部
104 可変長符号化部
107 逆直交変換 ·逆量子化部
108 参照ピクチャ生成部
109 参照ピクチャメモリ
110 画面間予測部
111 制御部
304、 298、 292 第 1参照ピクチャ 308、 302、 296 第 2参照ピクチャ
310 空間的直近フィールド
314 時間的直近フィールド
316 符号ィ匕対象ボトムフィールド
発明を実施するための最良の形態
[0043] (実施の形態 1)
本発明の参照ピクチャ選択方法は、符号ィ匕対象のボトムフィールドよりも符号ィ匕順 で先行する特定フィールドを用いて、符号ィ匕対象のボトムフィールドの動きの大きさを 予測し、予測した動きの大きさに応じて、符号ィ匕対象のボトムフィールドの符号化〖こ 適した参照ピクチャ候補を設定し、設定された参照ピクチャ候補の中から、符号化対 象のボトムフィールドの参照ピクチャを選択する。参照ピクチャを選択する処理は、参 照可能な全てのピクチャを調査する必要がなく、参照ピクチャ候補のみを調査すれ ばよい。これにより参照ピクチャを決定する処理量を削減することができる。また、予 測した動きの大きさに応じて、符号ィ匕対象のボトムフィールドの符号ィ匕に適した参照 ピクチャ候補が設定されるので、参照ピクチャ候補の制限がない場合と同程度の符 号ィ匕効率を達成することができる。
[0044] 上記の特定フィールドは実施の形態によって異なるピクチャが定義される。実施の 形態 1では、特定フィールドとは、符号ィ匕対象のボトムフィールドよりも符号ィ匕順で先 行するフィールドペア内のボトムフィールドをいう。例えば、図 5のボトムフィールド 31 6が符号化対象フィールドである場合、ボトムフィールド 310が特定フィールドである。 前記特定フィールドと同じフィールドペア内のトップフィールドを第 2参照ピクチャと呼 ぶ。特定フィールドよりも符号ィ匕順で直前のフィールドペア内のボトムフィールドを第 1参照ピクチヤと呼ぶ。例えば、図 5のボトムフィールド 310が特定フィールドである場 合、トップフィールド 308が第 2参照ピクチヤであり、ボトムフィールド 304が第 1参照ピ クチャである。
[0045] また、上記の符号ィ匕対象のボトムフィールドの動きの大きさの予測は、間接的に行 なわれる。つまり、上記の予測では、特定フィールドの符号ィヒにおいて、第 1参照ピク チヤを用いたブロックの個数である第 1カウント数と、前記第 2参照ピクチャを用いた ブロックの個数である第 2カウント数とをカウントし、符号ィ匕対象のボトムフィールドの 動きの大きさとして、前記第 1カウント数と前記第 2カウント数との比または差分を算出 する。この比又は差分が小さ 、程動きが大き 、ことを意味する。
[0046] なお、図 5における第 1、第 2参照ピクチヤの呼称は請求項中の第 1、第 2参照ピク チヤとは逆になつている。この場合、第 1カウント数と第 2カウント数との比または差分 の意味が逆になる点に注意すべきである。つまり、第 1、第 2参照ピクチヤの呼称を逆 にすることによって、比または差分が大きいほど、動きが小さいか大きいかが異なる。 第 1、第 2参照ピクチヤの呼称を逆でも、動きを予測できる点では同じ効果を奏する。
[0047] 図 3A、図 3Bは、参照ピクチャ候補力もなる第 1、第 2のサブセットの一例を示す図 である。図 3Aにおいて、実線の矢線は、符号化対象のボトムフィールド 316の符号 ィ匕に用いられる参照ピクチャ候補力もなる第 1のサブセットを示して 、る。図 3Bにお いて、実線の矢線は、符号ィ匕対象のボトムフィールド 316の符号ィ匕に用いられる参照 ピクチャ候補力 なる第 2のサブセットを示して 、る。上記の参照ピクチャ候補の設定 において、予測した動きの大きさに応じて第 1のサブセットまたは第 2のサブセットが 設定される。
[0048] トップフィールド 314は、符号化対象のボトムフィールド 316と時間的に最も近いフィ 一ルドである（時間的直近フィールドと呼ぶ。；)。予測した動きが大きいときは、時間的 直近フィールドを参照ピクチヤの候補とすることが望ましい。ボトムフィールド 310は、 符号ィ匕対象のボトムフィールド 316と空間的に最も近いフィールドである（空間的直 近フィールドと呼ぶ。；)。予測した動きが小さいときは、空間的直近フィールドを参照ピ クチャの候補とすることが望まし 、。
[0049] 図 3A、図 3Bの例では、第 1のサブセットは空間的直近フィールドを含み時間的直 近フィールドを含まな 、。第 2のサブセットは時間的直近フィールドを含み空間的直 近フィールドを含まない。なお、図 3A、図 3Bにおいて破線の矢線は、トップフィール ド 314の符号ィ匕に用いられる参照ピクチャ候補力もなるサブセットを示している。同図 のように、トップフィールド 314の符号化用のサブセットは、ボトムフィールドの第 1、第 2のサブセットと連動して選択してもよ 、。
[0050] 図 3Cは、第 2サブセットにおいて参照ピクチャ候補力も排除されるピクチャの一例 を示す図である。図中の NGを付した実線の矢線は、第 2サブセットからフィールド 30 8、 310を排除することが望ましいことを意味する。これにより、符号化対象のボトムフ ィールドの符号化において、フィールドペア 306は、もはや参照ピクチヤとして不要と なるので、参照ピクチャメモリから削除することができる。また、図中の NGを付した破 線の矢線は、トップフィールド 314の符号化用のサブセットからフィールド 308、 310 を排除するようにしてもよい。こうすれば、トップフィールド 314の符号ィ匕においてもフ ィールドペア 306を参照ピクチャメモリから削除することができる。
[0051] なお、第 1、第 2のサブセット中の参照ピクチャ候補の数は 2つ以上であってもよい。
また、空間的直近フィールドが両方のサブセットに含まれ、かつ時間的直近フィール ドが一方のサブセットに含まれるようにしてもよ!、。
[0052] 以下、実施の形態 1における参照ピクチャ選択方法を行なう画像符号化装置につ いて説明する。
[0053] 図 4は、実施の形態 1における画像符号ィ匕装置の主要部の構成を示すブロック図 である。同図のように、画像符号化装置は、入力ピクチャメモリ 101、減算器 102、直 交変換 ·量子化部 103、可変長符号化部 104、逆直交変換 ·逆量子化部 107、参照 ピクチャ生成部 108、参照ピクチャメモリ 109、画面間予測部 110、制御部 111を備 える。
[0054] 入力ピクチャメモリ 101は、インターレースビデオ信号が入力され、少なくとも 1つの フィールドペアを一時的に保持する。
[0055] 減算器 102は、入力ピクチャメモリ 101からの符号ィ匕対象ブロックと、画面間予測部
110からの予測画像との差分を求め、その差分を予測残差として直交変換 ·量子化 部 103出力する。
[0056] 直交変換 ·量子化部 103は、減算器 102からの予測残差を直交変換することによつ て周波数係数力 なる係数ブロックを求め、さらに係数ブロックを量子化する。
[0057] 可変長符号化部 104は、量子化された係数ブロックを可変長符号化することによつ てビデオストリームを出力する。
[0058] 逆直交変換 ·逆量子化部 107は、量子化された係数ブロックを逆量子化して逆直 交変換することによって、予測残差を求める。 [0059] 参照ピクチャ生成部 108は、逆直交変換 ·逆量子化部 107と画面間予測部 110か らの予測画像とを加算することによって、符号化対象ピクチャを再構成する。
[0060] 参照ピクチャメモリ 109は、再構成された符号化対象ピクチャを、参照ピクチヤとして 一時的に記憶する。
[0061] 画面間予測部 110は、符号ィ匕対象ピクチャをブロック毎に、参照ピクチャ 109中の 参照ピクチャを用いた単予測または双予測によって予測画像を生成する。その際、 画面間予測部 110は、上記の参照ピクチャ選択方法を用いて制御部 111によって設 定された参照ピクチャ候補の中から、 1つまたは 2つの参照ピクチャをブロック毎に選 択する。
[0062] 制御部 111は、画像符号化装置全体を制御し、特に、参照ピクチャ選択方法による 参照ピクチヤの候補を設定する。
[0063] 図 5は、参照ピクチャ選択方法および画像符号化装置に関するピクチャ (符号化順 )の例を示す図である。フィールドペア 300、 306、 312および 318は、単予測または 双予測ピクチヤである。例えば、フィーノレドペア 300、 306、 312および 318の符号ィ匕 タイプは、 P、 B、 B、 Bである。フィールドペア 300および 306は、 符号化済であり、参 照ピクチャとして参照ピクチャメモリ 109にすでに格納されているものとする。フィール ドペア 312は、現在の符号化対象とする。フィールドペア 300および 306との間、また はフィールドペア 306および 312の間に、 1以上の非参照フィールドペアが存在して ちょい。
[0064] 符号ィ匕対象フィールドの動きの大きさを間接的に予測するために、符号ィ匕順で直 前の参照フィールドペア 306のボトムフィールド 310からの予測情報を分析する。この 分析結果は、符号ィ匕対象フィールドの動きの大きさを示し、空間的直近フィールドと 時間的直近フィールドのうち、どちらが対象フィールドペア 312のボトムフィールド 31 6を符号ィ匕するためにより適当であるかを決定するのに用いられる。
[0065] 直前の参照フィールドペア 306のボトムフィールド 310の符号化において、以下の 第 1、第 2参照ピクチヤが参照ピクチャ候補として利用可能であるものとする。符号ィ匕 順の直前の参照フィールドペア 306に先行する参照フィールドペア 300のボトムフィ 一ルド 304 (第 1参照ピクチャ）、および直前の参照フィールドペア 306のトップフィー ルド 308 (以下、第 2参照ピクチヤと称する)。上述の空間的—時間的決定は、対象フ ィールドペア 312のボトムフィールド 316の符号化のための参照ピクチャ候補として、 対象フィールドペア 312のトップフィールド 314を含めるまたは除外するために用いら れる。
[0066] なお、上記の決定は、符号ィ匕順で対象フィールドペア 312に後続するフィールドぺ ァ（フィールドペア 318など）の符号化のために、後で用いられてもよ!/、。
[0067] 図 6は、画像符号化装置における符号化および参照ピクチャ設定処理を示すフロ 一チャートである。同図では、図 5に示したフィールド 308、 310、 314、 316の符号 化処理と、符号化対象フィールドの動きを間接的に予測して参照ピクチャ候補を設 定する処理とを示している。
[0068] まず、モジュール 400にて、符号化順で直前のフィールドペア 306のトップフィール ド 308を符号ィ匕する。次に、モジュール 402にて、参照ピクチャ候補として第 1および 第 2の参照ピクチャを用いて、符号化順で直前のフィールドペア 306のボトムフィール ド 310を符号化する。ボトムフィールド 310の予測情報は、符号化モジュール 402か ら分析ジュール 404へ渡される。この予測情報は、各マクロブロック符号ィ匕後、各スラ イスを符号化後、または全フィールド符号ィ匕後に、渡されてもよい。
[0069] モジュール 404では、空間的直近フィールドと時間的直近フィールドのうち、どちら 力 り適切であるか否力 空間的一時間的決定を行う。モジュール 404の空間的 時間的決定に基づいて、モジュール 406にて、対象フィールドペア 312のトップフィ 一ルド 314 (すなわち時間的直近フィールド）を、対象フィールドペア 312のボトムフィ 一ルド 316を符号ィ匕のための参照ピクチャ候補として、含むかまたは除外する。そし て、モジュール 406にて設定された参照ピクチャ候補を用いて、モジュール 408では 、対象フィールドペア 312のトップフィールド 314を符号化し、一方、モジュール 410 にて、対象フィールドペア 312のボトムフィールド 316を符号化する。この符号化にお いて、参照ピクチャ候補の中力も最適な参照ピクチャをブロック毎に選択する。
[0070] 図 7は、図 6中のモジュール 404の分析処理を詳細に示すフローチャートである。
[0071] まず、モジュール 500にて、第 1参照カウンタおよび第 2参照カウンタの値をゼロに 設定する。次に、入力されたスライス/ピクチャの各マクロブロックの符号ィ匕タイプを、 モジュール 504にて判断する。符号ィ匕タイプが画面間符号ィ匕でない場合、モジユー ル 518に示すように、ピクチャにおける次のマクロブロックのループ処理を続ける。符 号ィ匕タイプが画面間符号ィ匕である場合 (単予測または双予測である場合)、マクロブ ロック内のブロックごとに用いられる参照ピクチャを判断する。 4x4または 8x8のような 固定サイズが、ブロックのサイズとして選択される。
[0072] モジュール 508では、ブロックが第 1参照フィールドから予測されるか否かを判断す る。そうである場合は、モジュール 510にて第 1参照カウンタを 1増加し、マクロブロッ ク内の次のブロックのループ処理を続ける。一方、ブロックが第 1参照ピクチャから予 測されない場合は、モジュール 512にて当ブロックが第 2参照ピクチャ力も予測される か否かを判断する。そうである場合は、モジュール 514にて第 2参照カウンタを 1増加 し、マクロブロック内の次のブロックのループ処理を続ける。モジュール 518に示すよ うに、本判断処理は、入力されたスライス/ピクチャの複数のマクロブロック内の全ての ブロックについて繰り返される。
[0073] 全マクロブロックが判断されると、モジュール 520にて、第 2参照カウンタの値に対 する第 1参照カウンタの値の比率を閾値 (第 1の閾値と呼ぶ）と比較する。この比率は 、符号ィ匕対象ボトムフィールドの動きの大きさの予測結果を意味する。すなわち、比 率が小さいほど、符号ィ匕対象ボトムフィールドの動きが大きいと予測され、比率が大き いほど、符号ィ匕対象ボトムフィールドの動きが小さいと予測される。比率が第 1の閾値 より小さい場合は、時間的直近フィールドは空間的直近フィールドよりも参照ピクチャ 候補として適当であると決定する。一方、比率が第 1の閾値以上である場合は、空間 的直近フィールドが時間的直近フィールドよりも参照ピクチャ候補として適当であると 決定する。 本決定後、分析処理を終了する。
[0074] なお、モジュール 520において、上記比率の代わりに、第 1参照カウンタの値と第 2 参照カウンタの値との差分を用いてもよい。この場合、差分が小さいほど、符号化対 象ボトムフィールドの動きが大きいと予測され、差分が大きいほど、符号化対象ボトム フィールドの動きが小さいと予測される。差分が第 2の閾値 (上記比率用の第 1の閾 値とは異なる）より小さ!、場合は、時間的直近フィールドは空間的直近フィールドより も参照ピクチャ候補として適当であると決定する。一方、差分が第 2の閾値以上であ る場合は、空間的直近フィールドが時間的直近フィールドよりも参照ピクチャ候補とし て適当であると決定する。
[0075] また、上記モジュール 520において、第 2参照カウンタの値に対する第 1参照カウン タの値の比率の代わりに、第 1参照カウンタの値に対する第 2参照カウンタの値の比 率を用いてもよい。この場合、（第 2参照カウンタの値 Z第 1参照カウンタの値)の比 率が所定の閾値よりも大きい場合は、時間的直近フィールドの方が適切と決定し、所 定の閾値よりも小さい場合は、空間的直近フィールドの方が適切と決定すればよい。
[0076] 図 8は、図 6中のモジュール 406の参照ピクチャ候補設定処理を詳細に示すフロー チャートである。
[0077] まず、モジュール 600にて、符号化順で直前のフィールドペア 306のボトムフィール ド 310 (すなわち空間的直近フィールド）を、対象フィールドペア 312のボトムフィール ド 316を符号ィ匕のためのデフォルトの参照ピクチャ候補として設定する。対象フィー ルドペア 312の直前のフィールドペアが参照フィールドペアでない時（図 5例のフィ 一ルドペア 306として示すように）、符号ィ匕順で対象フィールドペア 312の直前の最も 近い参照フィールドペアのボトムフィールドは、空間的直近フィールドとみなされ、モ ジュール 600にてデフォルトの参照ピクチャ候補として設定される。
[0078] 次に、モジュール 602において空間的-時間的決定を判断する。時間的直近フィ 一ルドがより適当でない場合は、参照用ピクチャ選択方法を終了する。そうでない場 合は（時間的直近フィールドより適当である場合は）、対象フィールドペア 312のトツ プフィールド 314 (すなわち時間的直近フィールド）は、 モジュール 604にて参照ピク チヤ候補として設定される。
[0079] そして、モジュール 606にて、空間的直近フィールドおよび時間的直近フィールド 両方が、画像処理装置の仕様、処理能力または設定上の観点から、同時に参照ピク チヤ候補として可能である力否かを判断する。そうである場合は、参照ピクチャ選択 方法を終了する。そうでない場合は、モジュール 608にて、符号化順で直前のフィー ルドペア 306のボトムフィールド 310 (すなわち空間的直近フィールド）を参照ピクチ ャ候補のサブセットから除外し、参照ピクチャ候補設定方法を終了する。
[0080] 以上説明したように、本実施の形態における参照ピクチャ選択方法によれば、符号 化対象のボトムフィールドの動きの大きさを、特定フィールド (ここでは、前記符号ィ匕 対象のボトムフィールドよりも符号ィ匕順で先行するフィールドペア内のボトムフィール ド)の符号ィ匕のプロセス力 容易に取得可能な予測情報 (参照ピクチャを示す情報） 力 第 1および第 2カウント数をカウントすることによって、簡単な処理で予測すること ができる。
[0081] 動きの大きさは、第 1カウント数と第 2カウント数との比 (又は差分)、つまり、第 1参照 ピクチャを参照した回数と第 2参照ピクチャを参照した回数との比 (又は差分)として、 適切に予測することができる。つまり、この比または差分が小さいほど動きが大きいこ とを意味する。また、しきい値を用いた比較処理という簡単な処理で、参照ピクチャ候 補を適切に設定することができる。
[0082] これにより、参照ピクチャ選択の処理量を削減し、かつ参照ピクチャ候補が制限さ れて 、な 、場合と同程度の符号化効率を実現することができる。
[0083] なお、図 6のモジュール 406において、図 3A、図 3Bに示した第 1サブセットまたは 第 2サブセットを設定するようにしてもょ 、。
[0084] また、図 5における第 1参照ピクチャと第 2参照ピクチャを逆にしてもよい。つまり、ト ップフィールド 308を第 1参照ピクチャ、ボトムフィールド 3042を第 2参照ピクチャとし てもよい。このとき、図 7に示したモジュール 520の Yと Nは逆にすればよい。この場合 のモジュール 520の比率（第 1参照カウンタの値 Z第 2参照カウンタの値の）は大きい ほど、符号ィ匕対象ボトムフィールドの動きが大きいと予測され、比率が小さいほど符 号ィ匕対象ボトムフィールドの動きが小さいと予測される。
[0085] (実施の形態 2)
本実施の形態では、実施の形態 1と比較して、特定フィールドが異なるピクチャであ る点と、予測情報が異なる情報である点とが異なっている。同じ点は説明を省略して 、以下異なる点を中心に説明する。
[0086] 本実施の形態における特定フィールドは、符号ィ匕対象のボトムフィールドの直前の フィールドペアに属するトップフィールドをいう。また、予測情報は、実施の形態 1では 、特定フィールドの各ブロックの符号ィ匕において、参照ピクチヤが第 1Z第 2参照ピク チヤである力示す情報である力 実施の形態 2では、特定フィールドの各ブロックの 符号ィ匕において、イントラ符号化された力否かを示す情報を用いる。
[0087] 実施の形態 2の画像符号化装置の概略構成は図 4と同じである。また、適応的参照 ピクチャ選択方法及び画像符号ィ匕装置に用いられる符号ィ匕順のピクチヤの一例を、 実施の形態 1と同様に、図 5に示す。対象フィールドペア 312のボトムフィールド 316 の動きの大きさを間接的に予測するために、符号ィ匕順で前の参照フィールドペア 30 6のトップフィールド 308 (つまり特定フィールド）の符号ィ匕過程で得られる予測情報を 分析する。この予測情報は、特定フィールドの各ブロックの符号ィ匕において、イントラ 符号化されたか否かを示す。分析結果は、符号ィ匕対象ボトムフィールドの動きの大き さを間接的に示し、空間的—時間的（spatia卜 temporal)決定に利用される。この空間 的—時間的決定は、次に対象フィールドペア 312のボトムフィールド 316を符号ィ匕す るための参照ピクチャ候補として、対象フィールドペア 312のトップフィールド 314 (つ まり時間的直近フィールド）を含むか含まないかの判定に用いられる。なお、同一の 決定が、後に、符号ィ匕順で対象フィールドペア 312に後続するフィールドペア (例え ば、フィールドペア 318)の符号化に用いられてもよ!/、。
[0088] 図 9は、実施の形態 2における画像符号化装置における符号化および参照ピクチャ 設定処理を示すフローチャートである。同図では、図 5に示したフィールド 308、 310 、 314、 316の符号化処理と、符号ィ匕対象フィールドの動きを間接的に予測して参照 ピクチャ候ネ ΐを設定する処理とを示して ヽる。モジユーノレ 400、 402、 406、 408、及 び 410は、実施の形態 1の図 6に示されるものと同一である。
[0089] まず、モジュール 400において、符号化順で前のフィールドペア 306のトップフィー ルド 308を符号化する。トップフィールド 308の予測情報は符号化モジュール 400か ら分析モジュール 700に転送される。この予測情報は、特定フィールドの各ブロック の符号ィ匕において、イントラ符号ィ匕されたか否かを示し、マクロブロックごと、スライス ごと、又はフィールド全体の符号ィ匕後に転送されてもよい。モジュール 700は、空間 的直近フィールドか時間的直近フィールドのどちらがより適切であるかに関する空間 的-時間的決定を行う。モジュール 700の空間的-時間的決定に基づき、モジュール 406は、対象フィールドペア 312のボトムフィールド 316を符号化するための参照ピク チヤ候補として、対象フィールドペア 312のトップフィールド 314 (つまり、時間的直近 フィールド)を含めるかは含めないかを決定し、決定に従って参照ピクチャ候補 (また は図 3A、 3Bのようなサブセット）を設定する。
[0090] モジュール 402では符号化順で前のフィールドペア 306のボトムフィールド 310を 符号化し、モジュール 408では対象フィールドペア 312のトップフィールド 314を符号 化する。最後に、モジュール 410は、モジュール 406によって設定された参照ピクチ ャ候補を用いて、対象フィールドペア 312のボトムフィールド 316を符号化する。
[0091] 図 10は、図 9中のモジュール 700の分析処理を詳細に示すフローチャートである。
[0092] まず、モジュール 800は、第 1カウンタ及び第 2カウンタの値をゼロに設定する。次 に、モジユーノレ 806において、入力スライス Zピクチャにおけるマクロブロックの各ブ ロックの符号化タイプを確認する。 4 X 4や 8 X 8のような固定サイズがブロックサイズと して選択される。符号化タイプが画面内符号化である場合、モジュール 808において 、第 1カウンタを 1増加し、モジュール 812に示されるように、マクロブロックにおける次 のブロックのブロックループ処理を続ける。符号ィ匕タイプが画面内符号ィ匕でな 、場合 、モジュール 810において、第 1カウンタを 1増加し、モジュール 812に示されるように 、マクロブロックにおける次のブロックのブロックループ処理を続ける。マクロブロック の全てのブロックについて確認処理を行った後、モジュール 814に示されるように、ス ライス Zピクチャにおける次のマクロブロックのループ処理を続ける。全てのマクロブ ロックについて確認処理が行われた後、モジュール 816において、第 1カウンタと第 2 カウンタの比率が閾値 (第 3の閾値と呼ぶ）と比較される。この比率は、符号化対象ボ トムフィールドの動きの大きさの予測結果を意味する。すなわち、比率が大きいほど、 符号ィ匕対象ボトムフィールドの動きが大きいと予測され、比率が小さいほど、符号ィ匕 対象ボトムフィールドの動きが小さいと予測される。第 3の閾値は、実施の形態 1にお けるモジュール 520の第 1の閾値とは異なる値である。比率が第 3の閾値より大きい 場合、時間的直近フィールドが空間的直近フィールドより適切であると判定する。一 方、比率が第 3の閾値以下である場合、空間的直近フィールドが時間的直近フィー ルドより適切であると判定する。判定結果が出された後、分析処理を終了する。
[0093] なお、モジュール 816において、上記比率の代わりに、第 1カウンタの値と第 2カウ ンタの値との差分を用いてもょ 、。この差分は符号ィ匕対象ボトムフィールドの動きの 大きさの予測結果を意味する。つまり、差分が大きいほど、符号化対象ボトムフィール ドの動きが大きいと予測され、差分が小さいほど、符号ィ匕対象ボトムフィールドの動き が小さいと予測される。差分が第 4の閾値 (上記比率用の第 3の閾値とは異なる)より 大きい場合は、時間的直近フィールドは空間的直近フィールドよりも参照ピクチャ候 補として適当であると決定する。一方、差分が第 4の閾値より以下である場合は、空 間的直近フィールドが時間的直近フィールドよりも参照ピクチャ候補として適当である と決定する。
[0094] 以上説明したように本実施の形態における参照ピクチャ選択方法によれば、符号 化対象のボトムフィールドの動きの大きさを、特定フィールド (ここでは、符号化対象 のボトムフィールドの直前のフィールドペア内のトップフィールド）の符号化のプロセス で容易に利用可能な予測情報 (イントラ符号化か否かを示す情報)を利用して、符号 化対象のボトムフィールドの動きの大きさを間接的に予測している。これにより、簡単 な処理で、参照ピクチャ候補を適切に設定することができる。
[0095] (実施の形態 3)
本実施の形態では、実施の形態 2と比較して、特定フィールドが異なるピクチャであ る点が異なっている。同じ点は説明を省略して、以下異なる点を中心に説明する。
[0096] 本実施の形態における特定フィールドは、符号ィ匕対象のボトムフィールドと同じフィ 一ルドペアに属するトップフィールドを!、う。
[0097] 実施の形態 3の画像符号化装置の概略構成は図 4と同じである。また、適応的参照 ピクチャ選択方法及び画像符号ィ匕装置に用いられる符号ィ匕順のピクチヤの一例を、 実施の形態 1、 2と同様に、図 5に示す。
[0098] 符号ィ匕対象のボトムフィールド 316の動きの大きさを間接的に予測するために、対 象参照フィールドペア 312のトップフィールド 314 (つまり特定フィールド）の符号化過 程で得られる予測情報を分析する。予測情報は、特定フィールドの各ブロックの符号 化において、イントラ符号化されたか否かを示す。分析結果は、符号化対象のボトム フィールド 316の動きの大きさを間接的に示し、空間的直近フィールドと時間的直近 フィールドのどちらが参照ピクチャ候補として適して 、るかの判定 (空間的 時間的 決定）に利用される。 [0099] なお、同一の決定が、後に、符号ィ匕順で対象フィールドペア 312に後続するフィー ルドペア（例えば、フィールドペア 318)の符号ィ匕に用いられてもよ 、。
[0100] 図 11は、実施の形態 3における画像符号ィ匕装置における符号ィ匕および参照ピクチ ャ設定処理を示すフローチャートである。同図では、図 5に示したフィールド 314、 31 6の符号化処理と、符号ィ匕対象フィールドの動きを間接的に予測して参照ピクチャ候 補を設定する処理とを示している。モジュール 408及び 410は、実施の形態 1および 2の図 6および 9に示されるものと同じである。モジュール 700は、実施の形態 2の図 9 、図 10と同じである。
[0101] まず、モジュール 408において、対象フィールドペア 312のトップフィールド 314を 符号化する。トップフィールド 314の予測情報は符号ィ匕モジュール 408から分析モジ ユール 700に転送される。この予測情報は、マクロブロックごと、スライスごと、又はフィ 一ルド全体の符号化後に転送されてもょ 、。
[0102] モジュール 700は、空間的直近フィールドと時間的直近フィールドのどちらがより適 切であるかに関する空間的 -時間的決定を行う。モジュール 700の空間的 時間的 決定に基づき、モジュール 900は、対象フィールドペア 312のボトムフィールド 316を 符号化するためのトップフィールド 314として、対象フィールドペア 312のトップフィー ルド 314 (つまり、時間直近フィールド）を含むもしくは含まない。次に、モジュール 41 0は、モジュール 900によって設定された参照ピクチャ候補を用いて、対象フィールド ペア 312のボトムフィールド 316を符号化する。
[0103] 図 12は、図 11のモジュール 900の参照ピクチャ候補設定処理を詳細に示すフロー チャートである。
[0104] まず、モジュール 600は、符号化順で前のフィールドペア 306のボトムフィールド 31 0 (つまり、空間的直近フィールド）を対象フィールドペア 312のボトムフィールド 316 の符号ィ匕のための参照ピクチャ候補として設定する。対象フィールドペア 312の直前 にあるフィールドペアが参照フィールドペア（図 5の例において、フィールドペア 306と 示す)でな 、場合、符号ィ匕順で対象フィールドペア 312の直前にある最も近 、参照 フィールドペアのボトムフィールドを空間的直近フィールドとみなし、モジュール 600 において、参照ピクチャ候補として設定する。 [0105] 次に、モジュール 602において、空間的-時間的決定を確認する。時間的直近フィ 一ルドが適切でない場合は、参照ピクチャ選択処理を終了する。そうでない場合 (時 間的直近フィールドが適切である場合）は、モジュール 604において、対象フィール ドペア 312のトップフィールド 314 (つまり、時間的直近フィールド）を参照ピクチャ候 補として設定する。そして参照ピクチャ候補設定処理を終了する。モジュール 600、 6 02、及び 604は、実施の形態 1の図 8に記載の内容と同一である。図 12は、図 8と異 なり、モジュール 606および 608を行なっていないので、空間的直近ピクチャと参照 ピクチャ候補力も除外していない。そのため、最終的な参照ピクチャ候補は、時間的 直近ピクチャを含むか除外するかが異なることになる。
[0106] なお、図 11のモジュール 900において、図 12の処理の代わりに図 8と同じ処理を 行なってもよい。
[0107] 以上説明したように本実施の形態における参照ピクチャ選択方法によれば、符号 化対象のボトムフィールドの動きの大きさを、特定フィールド (ここでは、符号化対象 のボトムフィールドと同じフィールドペア内のトップフィールド）の符号化のプロセスで 容易に利用可能な予測情報 (イントラ符号化か否かを示す情報)を利用して、符号ィ匕 対象のボトムフィールドの動きの大きさを間接的に予測している。これにより、簡単な 処理で、参照ピクチャ候補を適切に設定することができる。
[0108] (実施の形態 4)
本実施の形態では、実施の形態 1から 3のそれぞれの参照ピクチャ選択方法に対し て、さらに、参照インデックスを付与する処理が追加した構成について説明する。ここ で、参照インデックスとは、参照可能なピクチャの全てまたは参照ピクチャ候補の全て に割り当てられる符号であり、ストリーム中に参照ピクチヤとして実際に用いられたピク チヤを指定するために使用される。また、参照インデックスは、符号化対象のピクチャ 毎に参照可能なピクチャの全てまたは参照ピクチャ候補の全てに可能割り当てられ る。
[0109] 参照インデックスを付与する処理では、参照ピクチャ候補に時間的直近フィールド が含まれて 、るとき、当該時間的直近フィールドに最小のビット数で表される参照イン デッタスを付与し、参照ピクチャ候補に空間的直近フィールドが含まれているとき、当 該空間的直近フィールドに最小のビット数で表される参照インデックスを付与するよう にしている。つまり、参照ピクチャ候補のうち参照ピクチヤとして最も使用されるであろ う時間的直近フィールドまたは空間的直近フィールドには、最小ビット数の参照イン デッタスが割り当てられる。ストリームは、各ブロックの参照ピクチャを指す参照インデ ックスを含むので、ストリームのビット数を短縮し符号ィ匕効率をさらに向上させることが できる。
[0110] 図 13は、実施の形態 4における符号ィ匕および参照ピクチャ設定処理を示すフロー チャートであり、実施の形態 1の図 6に対して参照インデックス付与処理を追加したフ ローチャートである。図 13は、図 6と比較して、モジュール 1100が追加されている点 が異なる。同じ点は説明を省略し異なる点を中心に説明する。参照ピクチャ候補が設 定された後、モジュール 1100では、符号ィ匕対象ボトムフィールドの参照ピクチャ候補 のそれぞれに対して参照インデックスを付与する。その際、参照ピクチャ候補のうち 時間的直近フィールドまたは空間的直近フィールドに最小のビット数で表される参照 インデックスを付与する。
[0111] 図 14A、図 14Bは、付与された参照インデックス ref—idxの例を示す図である。図 14Aでは、符号ィ匕対象のボトムフィールド 316の参照ピクチャ候補のうち、空間的直 近フィールド 310には、 ref_idx=0が割り当てられている。この例では、 ref_idx= 0は最小のビット数で表される参照インデックスである。空間的直近フィールド 310以 外の参照ピクチャ候補には、他の値 ref— idx= l、 2、等が割り当てられる。これに対 して図 14Bでは、符号化対象のボトムフィールド 316の参照ピクチャ候補のうち、時 間的直近フィールド 314には、 ref— idx=0が割り当てられている。
[0112] 図 15は、図 13のモジュール 1100における参照インテックス設定処理の詳細を示 すフローチャートである。
[0113] まず、モジュール 1400において、空間的-時間的決定が確認される。時間的直近 ピクチャが適切である場合、モジュール 1402は、最小ビット数の参照インデックスを 時間的直近ピクチャ（つまり、対象フィールドペア 312のトップフィールド 314)を指す ように、複数の参照ピクチャ候補の参照インデックスを変更又は再配置する（例えば 図 14B)。時間的直近ピクチャが適切でない場合、モジュール 1404は、最小ビット数 の参照インデックスが空間的直近ピクチャを参照するように、符号ィ匕順で前の参照フ ィールドペア 306のボトムフィールド 310のような、複数の参照ピクチャ候補のインデ ックスを変更又は再配置する（例えば図 14A)。
[0114] 図 16は、実施の形態 4における符号ィ匕および参照ピクチャ設定処理の他の例を示 すフローチャートであり、実施の形態 2の図 9に対して参照インデックス付与処理を追 加したフローチャートである。図 16は、図 9と比較して、モジュール 1100が追加され て 、る点が異なる。モジュール 1100は上述の通りである。
[0115] 図 17は、実施の形態 4における符号化および参照ピクチャ設定処理のさらに他の 例を示すフローチャートであり、実施の形態 3の図 11に対して参照インデックス付与 処理を追加したフローチャートである。図 17は、図 11と比較して、モジュール 1100 が追加されて 、る点が異なる。モジュール 1100は上述の通りである。
[0116] 以上説明したように本実施の形態における、参照ピクチャ選択方法によれば、参照 ピクチャ候補のうち参照ピクチヤとして最も使用され得る時間的直近フィールドまたは 空間的直近フィールドには、最小ビット数の参照インデックスが割り当てられる。ストリ ームは、各ブロックの参照ピクチャを指す参照インデックスを含むので、ストリームのビ ット数を短縮し符号ィ匕効率をさらに向上させることができる。
[0117] (実施の形態 5)
本実施の形態では、実施の形態 1と比較して、特定フィールドが異なるピクチャであ る点が異なっている。同じ点は説明を省略して、以下異なる点を中心に説明する。
[0118] 本実施の形態における特定フィールドは、符号ィ匕対象のボトムフィールドの直々前
(2つ前）のフィールドペアに属するボトムフィールドを!、う。
[0119] 本実施の形態の画像符号ィ匕装置の概略構成は図 4と同じである。
[0120] 図 18は、実施の形態 5における参照ピクチャ選択方法及び画像符号化方法に用 いられる符号化順のピクチヤの一例を示す。フィールドペア 294、 300、 306、 312は 、例えば順にほたは Pピクチヤ、 Pピクチャ、 Bピクチャ、 Bピクチャである。符号化対 象のボトムフィールド 316に対して、特定フィールドはボトムフィールド 304になる。特 定フィールドと同じフィールドペア内のトップフィールド 302は、第 2参照ピクチヤと呼 ぶ。特定フィールド 304よりも符号化順で直前のフィールドペア 294内のボトムフィー ルド 298は、第 1参照ピクチヤと呼ぶ。
[0121] 図 19は、画像符号ィ匕装置における符号ィ匕および参照ピクチャ設定処理を示すフロ 一チャートである。同図で ίま、図 18に示したフィーノレド 302、 304、 308、 310、 314、 316の符号化処理と、符号ィ匕対象フィールドの動きを間接的に予測して参照ピクチャ 候補を設定する処理とを示している。図 19は、図 6に示した実施の形態 1の参照ピク チヤ設定処理と比較して、モジュール 396、 398を明記している点と、モジュール 404 がモジュール 398から予測情報を得ている点が異なっている。図 19のモジュール 40 0〜410は図 6と同じ処理を行なう。以下同じ点は省略して異なる点を中心に説明す る。
[0122] モジュール 396では、直々前（2つ前）のフィールドペア 300内のトップフィールド 30 2の符号ィ匕を行なう。モジュール 398では、直々前（2つ前）のフィールドペア 300内 のボトムフィールド 304の符号化を行なう。ボトムフィールド 304の予測情報は符号化 モジュール 398から分析モジュール 404に転送される。この予測情報は、ブロック毎 の実際に符号ィ匕に用いられた参照ピクチャを示す情報であり、マクロブロックごと、ス ライスごと、又はフィールド全体の符号ィ匕後に転送されてもょ 、。
[0123] モジュール 404では、モジュール 398から得られた予測情報を分析する。モジユー ノレ 404、 406の詳糸田につ!/、ては既に説明した図 7、 8と同じである。
[0124] 以上説明したように本実施の形態における参照ピクチャ選択方法によれば、実施 の形態 1と同様に、符号ィ匕対象のボトムフィールド 316の動きの大きさを、特定フィー ルド (ここでは、前記符号ィ匕対象のボトムフィールドよりも符号ィ匕順で先行するフィー ルドペア内のボトムフィールド 304)の符号化のプロセス力 容易に取得可能な予測 情報 (参照ピクチャを示す情報)から第 1および第 2カウント数をカウントすることによつ て、簡単な処理で予測することができる。
[0125] 動きの大きさは、第 1カウント数と第 2カウント数との比 (又は差分)、つまり、第 1参照 ピクチャを参照した回数と第 2参照ピクチャを参照した回数との比 (又は差分)として、 適切に予測することができる。この比または差分が小さいほど動きが大きいことを意 味する。また、しきい値を用いた比較処理という簡単な処理で、参照ピクチャ候補を 適切に設定することができる。 [0126] これにより、参照ピクチャ選択の処理量を削減し、かつ参照ピクチャ候補が制限さ れて 、な 、場合と同程度の符号化効率を実現することができる。
[0127] (実施の形態 6)
本実施の形態では、実施の形態 2と比較して、特定フィールドが異なるピクチャであ る点が異なっている。同じ点は説明を省略して、以下異なる点を中心に説明する。
[0128] 本実施の形態における特定フィールドは、符号ィ匕対象のボトムフィールドの直々前
(2つ前）のフィールドペアに属するトップフィールドをいう。
[0129] 本実施の形態の画像符号化装置の概略構成は図 4と同じである。本実施形態にお いても図 18に示した符号ィ匕順のピクチヤの一例を用いて説明する。
[0130] 図 20は、実施の形態 6における画像符号化装置における符号化および参照ピクチ ャ設定処理を示すフローチャートである。同図では、図 18に示したフィールド 302、 3 04、 308、 310、 314、 316の符号化処理と、符号化対象フィールドの動きを間接的 に予測して参照ピクチャ候補を設定する処理とを示している。図 20は、図 9に示した 実施の形態 2の参照ピクチャ設定処理と比較して、モジュール 396、 398を明記して V、る点と、モジュール 700がモジュール 396から予測情報を得て!/、る点が異なって!/ヽ る。図 20のモジュール 400〜410、 700は図 9と同じ処理を行なう。以下同じ点は省 略して異なる点を中心に説明する。
[0131] モジュール 396では、直々前（2つ前）のフィールドペア 300内のトップフィールド 30 2の符号化を行なう。トップフィールド 302の予測情報は符号ィ匕モジュール 398から 分析モジュール 700に転送される。この予測情報は、ブロック毎にイントラ符号ィ匕がな された力否かを示す情報であり、マクロブロックごと、スライスごと、又はフィールド全 体の符号化後に転送されてもよい。モジュール 398では、直々前（2つ前）のフィール ドペア 300内のボトムフィールド 302の符号化を行なう。
[0132] モジュール 700では、モジュール 396から得られた予測情報を分析する。モジユー ノレ 700、 406の詳糸田につ!ヽては既に説明した図 10、 8と同じである。
[0133] 以上説明したように本実施の形態における参照ピクチャ選択方法によれば、実施 の形態 2と同様に、符号ィ匕対象のボトムフィールド 316の動きの大きさを、特定フィー ルド (ここでは、前記符号ィ匕対象のボトムフィールドよりも符号ィ匕順で先行するフィー ルドペア内のトップフィールド 302)の符号化のプロセスから容易に取得可能な予測 情報 (イントラ符号化ブロックか否かを示す情報)力ゝら第 1および第 2カウント数をカウ ントすることによって、簡単な処理で予測することができる。
[0134] 動きの大きさは、第 1カウント数と第 2カウント数との比 (又は差分)、つまり、第 1参照 ピクチャを参照した回数と第 2参照ピクチャを参照した回数との比 (又は差分)として、 適切に予測することができる。この比または差分が小さいほど動きが大きいことを意 味する。また、しきい値を用いた比較処理という簡単な処理で、参照ピクチャ候補を 適切に設定することができる。
[0135] これにより、参照ピクチャ選択の処理量を削減し、かつ参照ピクチャ候補が制限さ れて 、な 、場合と同程度の符号化効率を実現することができる。
[0136] (実施の形態 7)
本実施の形態では、実施の形態 5と比較して、特定フィールドが異なるピクチャであ る点が異なっている。同じ点は説明を省略して、以下異なる点を中心に説明する。
[0137] 本実施の形態における特定フィールドは、符号ィ匕対象のボトムフィールドの直々々 前（3つ前）のフィールドペアに属するボトムフィールドをいう。
[0138] 図 21は、実施の形態 7における参照ピクチャ選択方法及び画像符号化方法に用 いられる符号化順のピクチヤの一例を示す。フィールドペア 288、 294、 300、 306、 312は、例えば順に Iまたは Pピクチャ、 Pピクチャ、 Pピクチャ、 Bピクチャ、 Bピクチャ である。符号化対象のボトムフィールド 316に対して、特定フィールドはボトムフィー ルド 298になる。特定フィールド 298と同じフィールドペア 294内のトップフィールド 2 96は、第 2参照ピクチヤと呼ぶ。特定フィールド 298よりも符号ィ匕順で直前のフィール ドペア 288内のボトムフィールド 292は、第 1参照ピクチヤと呼ぶ。
[0139] 図 22は、実施の形態 7における画像符号ィ匕装置における符号ィ匕および参照ピクチ ャ設定処理を示すフローチャートである。同図では、図 21に示したフィールド 290、 2 92、 302、 304、 308、 310、 314、 316の符号ィ匕処理と、符号ィ匕対象フィーノレドの動 きを間接的に予測して参照ピクチャ候補を設定する処理とを示している。図 22は、図 19に示した実施の形態 5の参照ピクチャ設定処理と比較して、モジュール 392、 394 を明記して 、る点と、モジュール 404がモジュール 394から予測情報を得て!/、る点が 異なっている。図 22のモジュール 396〜410は図 19と同じ処理を行なう。以下同じ 点は省略して異なる点を中心に説明する。
[0140] ボトムフィールド 298の予測情報は符号化モジュール 394から分析モジュール 404 に転送される。この予測情報は、ブロック毎の実際に符号ィ匕に用いられた参照ピクチ ャを示す情報であり、マクロブロックごと、スライスごと、又はフィールド全体の符号ィ匕 後に転送されてもよい。
[0141] モジュール 404では、モジュール 394から得られた予測情報を分析する。モジユー ノレ 404、 406の詳糸田につ!/、ては既に説明した図 7、 8と同じである。
[0142] 以上説明したように、本実施の形態における参照ピクチャ選択方法によれば、上記 各実施の形態と同様の効果を、異なる特定フィールドを用いて得ることができる。
[0143] (実施の形態 8)
本実施の形態では、実施の形態 6と比較して、特定フィールドが異なるピクチャであ る点が異なっている。同じ点は説明を省略して、以下異なる点を中心に説明する。
[0144] 本実施の形態における特定フィールドは、符号ィ匕対象のボトムフィールドの直々々 前（3つ前）のフィールドペアに属するトップフィールドをいう。本実施形態においても 、図 21に示したピクチャ例を用いて説明する。
[0145] 図 23は、実施の形態 8における画像符号化装置における符号化および参照ピクチ ャ設定処理を示すフローチャートである。図 23は、図 20に示した実施の形態 2の参 照ピクチャ設定処理と比較して、モジュール 392、 394を明記している点と、モジユー ル 700がモジュール 392から予測情報を得て!/、る点が異なって!/、る。この点以外は、 実施の形態 6と同様である。
[0146] 以上説明したように、本実施の形態における参照ピクチャ選択方法によれば、上記 各実施の形態と同様の効果を、異なる特定フィールドを用いて得ることができる。
[0147] (実施の形態 9)
上記各実施の形態では、符号ィ匕対象ボトムフィールドの動きの大きさを、特定フィ 一ルドの予測情報を用いて間接的に簡易に予測ある 、は推定して 、る。これに対し て、本実施の形態では、符号ィ匕対象ボトムフィールド力 時間的直近フィールドおよ び空間的直近フィールドのうち、どちらと相関性が高いかを調べることにより、符号ィ匕 対象ボトムフィールドの動きの大きさを予測する参照ピクチャ選択方法について説明 する。
[0148] 図 24は、実施の形態 9における参照ピクチャ選択方法及び画像符号ィ匕方法に用 いられる符号ィ匕順のピクチヤの一例を示す。フィールドペア 306、 312は、例えば順 に Bピクチヤである。符号ィ匕対象ボトムフィールド 316と時間的直近フィールド 314と の相関性は、それらの差分により簡易に算出することができる。同様に、符号化対象 ボトムフィールド 316と空間的直近フィールド 310との相関性は、それらの差分により 簡易に算出することができる。
[0149] 図 25は、実施の形態 9における画像符号ィ匕装置における符号ィ匕および参照ピクチ ャ設定処理を示すフローチャートである。同図では、図 24に示したフィールド 308、 3 10、 314、 316の符号化処理と、符号ィ匕対象フィールドの動きを間接的に予測して 参照ピクチャ候補を設定する処理（モジュール 720〜724、 406)とを示している。モ ジユーノレ 400、 402、 406、 408、及び 410は、実施の形態 1の図 6に示されるものと 同一である。
[0150] モジュール 720は、直前のボトムフィールド（空間的直近フィールド） 310と符号化 対象ボトムフィールド 316との相関性 (以下、空間的相関性と呼ぶ。）を算出する。ここ では、 2つのフィールド間で対応する画素同士の差分を算出し、それらの総和を相関 性として算出する。この算出に際して、符号ィ匕対象ボトムフィールド 316の各画素値 は入力ピクチャメモリ 101から読み出され、空間的直近フィールド 310の各画素値は 参照ピクチャメモリ 109または入力ピクチャメモリ 101から読み出される。空間的相関 性は、上記の差分の総和が小さ 、ほど高 、相関性を表す。
[0151] モジュール 722は、トップフィールド（時間的直近フィールド） 314と符号化対象ボト ムフィールド 316との相関性 (以下、時間的相関性と呼ぶ。）を算出する。この算出は 、モジュール 720と同様である。空間的相関性は、差分の総和が小さいほど高い相 関性を表す。
[0152] モジュール 724は、 2つの相関性に従って空間的一時間的決定を行なう。すなわち 、空間的相関性が時間的相関性よりも高い場合には、空間的直近フィールドが時間 的直近フィールドよりも参照ピクチャ候補として適していると決定する。逆に、時間的 相関性が空間的相関性よりも高い場合には、時間的直近フィールドが空間的直近フ ィールドよりも参照ピクチャ候補として適していると決定する。
[0153] モジュール 406は、既に図 8で説明した通りであり、モジュール 724の決定に応じて 、空間的直近フィールド又は空間的直近フィールドを参照ピクチャ候補として設定す る。
[0154] 以上説明したように、本実施の形態における参照ピクチャ選択方法中の、符号化対 象ボトムフィールドの動きの大きさは、空間的相関性と時間的相関性とを求めることに よって適切に予測することができる。しかも、差分の総和を求めるというに簡易な計算 により実現することができる。
[0155] (実施の形態 10)
実施の形態 9では 2つの相関性を算出することにより、符号ィ匕対象ボトムフィールド の動きの大きさを予測した。これに対して、本実施の形態では、符号化対象ボトムフィ 一ルドの縮小画像の動きがが、時間的直近フィールドの縮小画像および空間的直近 フィールドの縮小画像のうち、どちらに対して大きいかを調べることにより、符号化対 象ボトムフィールドの動きの大きさを予測する参照ピクチャ選択方法について説明す る。
[0156] 図 26は、実施の形態 10における画像符号化装置における符号化および参照ピク チヤ設定処理を示すフローチャートである。同図では、図 24に示したフィールド 308 、 310、 314、 316の符号化処理と、符号ィ匕対象フィールドの動きを間接的に予測し て参照ピクチャ候補を設定する処理（モジュール 730〜734、 406)とを示している。 モジュール 400、 402、 406、 408、及び 410は、実施の形態 1の図 6に示されるもの と同一である。
[0157] モジュール 730は、直前のボトムフィールド（空間的直近フィールド） 310の縮小画 像を生成し、符号ィ匕対象ボトムフィールド 316の縮小画像を生成し、 2つの縮小画像 力も符号ィ匕対象ボトムフィールド 316の動きの大きさ（以下、第 1の動きの大きさと呼 ぶ。）を予測する。縮小画像は、例えば、縦横各 1Z2、 1/3, 1/4· · 'などでよい。 動きの大きさの予測では、縮小画像中のブロック毎に動きベクトルを検出してもよいし 、幾つかの代表的なブロックをサンプルして動きベクトルを検出してもよい。このように 検出された複数のブロックの動きベクトルの総和、または動きベクトルの絶対値の総 和 、て「動きの大きさ」を予測する。
[0158] モジュール 732は、直前のトップフィールド（時間的直近フィールド） 314の縮小画 像を生成し、その縮小画像と符号ィ匕対象ボトムフィールド 316の縮小画像とから符号 化対象ボトムフィールド 316の動きの大きさを予測する（以下、第 2の動きの大きさと 呼ぶ。；)。動きの予測は、上記と同じでよい。
[0159] モジュール 734は、第 1および第 2の動きの大きさに従って空間的一時間的決定を 行なう。すなわち、第 1の動きの大きさの方が第 2の動きの大きさよりも大きい場合に は、空間的直近フィールドが時間的直近フィールドよりも参照ピクチャ候補として適し ていると決定する。逆に、第 2の動きの大きさの方が第 1の動きの大きさよりも大きい場 合には、時間的直近フィールドが空間的直近フィールドよりも参照ピクチャ候補として 適していると決定する。
[0160] モジュール 406は、既に図 8で説明した通りであり、モジュール 734の決定に応じて 、空間的直近フィールド又は空間的直近フィールドを参照ピクチャ候補として設定す る。
[0161] 以上説明したように、本実施の形態における参照ピクチャ選択方法では、縮小画像 を用いることによって、符号ィ匕対象ボトムフィールドの動きの大きさを適切に予測する ことができる。し力も、縮小画像の動きベクトルの検出というに簡易な計算により実現 することができる。
[0162] なお、上記各実施の形態に示したブロック図の各機能ブロックおよびフローチャート の各モジュールは典型的には集積回路装置である LSIとして実現される。この LSIは 1チップ化されても良いし、複数チップ化されても良い。（例えばメモリ以外の機能ブ ロックが 1チップィ匕されていても良い。）ここでは、 LSIとした力 集積度の違いにより、 I C、システム LSI、スーパー LSI、ゥノレトラ LSIと呼称されることもある。
[0163] 集積回路化の手法は LSIに限るものではなぐ専用回路又は汎用プロセサで実現 してもよい。 LSI製造後に、プログラムすることが可能な FPGA (Field Programmable Gate Array)や、 LSI内部の回路セルの接続や設定を再構成可能なリコンフィギユラ ブル ·プロセッサを利用しても良 、。 [0164] さらには、半導体技術の進歩又は派生する別技術により LSIに置き換わる集積回 路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積ィ匕を行って もよい。バイオ技術の適応等が可能性としてありえる。
[0165] また、各機能ブロックのうち、データを格納するユニットだけ 1チップィ匕せずに、記録 媒体や DRAMなど別構成としても良 ヽ。
[0166] なお、上記各実施の形態に示したフローチャートにおいて主要な部分はプロセッサ およびプログラムによっても実現される。
[0167] このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を 上述したいずれの機器 'システムに用いることは可能であり、そうすることで、上記実 施の形態で説明した効果を得ることができる。
[0168] また、本発明は力かる上記実施形態に限定されるものではなぐ本発明の範囲を逸 脱することなく種々の変形または修正が可能である。
[0169] なお、実施の形態 5から 10の各参照ピクチャ設定処理に対して、さらに、参照ピク チヤ候補のうち時間的直近フィールドまたは空間的直近フィールドに最小のビット数 で表される参照インデックスを付与する参照インテックス設定処理（図 15)を追加して ちょい。
[0170] 上記各実施の形態の、参照ピクチャ選択方法では、符号ィ匕対象のボトムフィールド の参照ピクチャ候補を設定している力 カロえて、符号ィ匕対象トップフィールドの参照ピ クチャ候補の設定を行なってもよい。例えば、図 3Aの破線矢印で示す参照ピクチャ 候補のサブセットと、図 3Bの破線矢印で示す参照ピクチャ候補のサブセットの何れ かを符号ィ匕対象トップフィールドの動きの大きさに応じて設定するようにしてもょ 、。
[0171] 上記実施の形態 1、 4、 5、 7において、図 7に示したモジュール 404において、第 1 参照ピクチャを用いたブロックの個数である第 1カウント数と、前記第 2参照ピクチャを 用いたブロックの個数である第 2カウント数とをカウントしているが（モジュール 508〜 514)、これの代わりに、イントラ符号ィ匕されたブロックの個数である第 2カウント数と、 イントラ以外で符号化されたブロックの個数である第 1カウント数とをカウントするように してちよい。
[0172] 上記実施の形態 2、 3、 4、 6において、図 10に示したモジュール 700において、ィ ントラ符号化されたブロックの個数である第 1カウント数と、イントラ以外で符号化され たブロックの個数である第 2カウント数とをカウントしているが（モジュール 816〜810) 、この代わりに、第 1参照ピクチャを用いたブロックの個数である第 1カウント数と、前 記第 2参照ピクチャを用いたブロックの個数である第 2カウント数とをカウントするよう にしてもよい。この場合、第 1参照ピクチャは、特定フィールドより先行するボトムフィ 一ルドとし、第 2参照ピクチャは、第 1参照ピクチヤと同じフィールドペア内のトップフィ 一ルドとすればよい。
[0173] また、図 18、図 21における第 1参照ピクチャと第 2参照ピクチャを逆にしてもよい。
つまり、トップフィールド 302、 296を第 1参照ピクチャ、ボトムフィールド 298、 292を 第 2参照ピクチヤとしてもよい。このとき、図 7に示したモジュール 520の Yと Nを逆に すればよい。この場合のモジュール 520の比率 (第 1参照カウンタの値 Z第 2参照力 ゥンタの値の）は大きいほど、符号ィ匕対象ボトムフィールドの動きが大きいと予測され 、比率が小さ!/、ほど符号ィ匕対象ボトムフィールドの動きが小さ!/、と予測される。
産業上の利用可能性
[0174] 本発明は、画像を符号化又は復号化する符号化装置、復号化装置に適しており、 動画配信するウェブサーバー、それを受信するネットワーク端末、動画の記録再生可 能なデジタルカメラ、カメラ付き携帯電話機、 DVD録画 Z再生機、 PDA,パーソナ ルコンピュータ等に適して 、る。

Claims

請求の範囲
[1] インターレースビデオの符号化において、符号化対象のボトムフィールドのための 参照ピクチャを選択する方法であって、
前記符号ィ匕対象のボトムフィールドよりも符号ィ匕順で先行する特定フィールドを用
V、て、前記符号ィ匕対象のボトムフィールドの動きの大きさを予測し、
予測した動きの大きさに応じて、前記符号化対象のボトムフィールドの符号化に適 した参照ピクチャ候補を設定し、
設定された参照ピクチャ候補の中から、前記符号化対象のボトムフィールドの参照 ピクチャを選択する
ことを特徴とする参照ピクチャ選択方法。
[2] 前記参照ピクチャ候補の設定にお!、て、
前記動きの大きさの予測結果に応じて、時間的直近フィールドおよび空間的直近 フィールドの一方を前記参照ピクチャ候補に含め、
前記時間的直近フィールドは、前記符号ィ匕対象フィールドと同じフィールドペア内 のトップフィーノレドであり、
前記空間的直近フィールドは、前記符号化対象フィールドよりも符号化順で直前の 双予測符号ィ匕フィールドペア内のボトムフィールドである
ことを特徴とする請求項 1記載の参照ピクチャ選択方法。
[3] 前記特定フィールドは、前記符号ィ匕対象のボトムフィールドよりも符号ィ匕順で先行 するフィールドペア内のボトムフィールドであり、
第 1参照ピクチャは、前記特定フィールドと同じフィールドペア内のトップフィールド であり、
第 2参照ピクチャは、前記特定フィールドよりも符号ィ匕順で直前のフィールドペア内 のボトムフィールドであり、
前記動きの大きさの予測において、
前記特定フィールドの符号ィ匕にぉ 、て、前記第 1参照ピクチャを用いたブロックの 個数である第 1カウント数と、前記第 2参照ピクチャを用いたブロックの個数である第 2 カウント数とをカウントし、 前記符号ィ匕対象のボトムフィールドの動きの大きさとして、前記第 1カウント数と前記 第 2カウント数との比または差分を算出する
ことを特徴とする請求項 2記載の参照ピクチャ選択方法。
[4] 前記参照ピクチャ候補の設定にお!、て、
前記第 1カウント数と前記第 2カウント数との比または差分としきい値とを比較し、 前記比較結果に応じて、時間的直近フィールドおよび空間的直近フィールドの一 方を前記参照ピクチャ候補に含める
ことを特徴とする請求項 3記載の参照ピクチャ選択方法。
[5] 前記特定フィールドは、前記符号ィ匕対象のボトムフィールドの属するフィールドペア 力 符号化順で N個前のフィールドペア内のボトムフィールドであり、
前記 Nは 1ないし 3から選ばれる
ことを特徴とする請求項 4記載の参照ピクチャ選択方法。
[6] 前記特定フィールドは、前記符号ィ匕対象のボトムフィールドよりも符号ィ匕順で先行 するトップフィールドであり、
前記動きの大きさの予測において、
前記特定フィールドの符号ィ匕にぉ 、て、イントラ符号ィ匕されたブロックの個数である 第 1カウント数と、イントラ以外で符号化されたブロックの個数である第 2カウント数とを カウントし、
前記符号ィ匕対象のボトムフィールドの動きの大きさとして、前記第 1カウント数と前記 第 2カウント数との比または差分を算出する
ことを特徴とする請求項 2記載の参照ピクチャ選択方法。
[7] 前記参照ピクチャ候補の設定にお!、て、
前記第 1カウント数と前記第 2カウント数との比または差分としきい値とを比較し、 前記比較結果に応じて、時間的直近フィールドおよび空間的直近フィールドの一 方を前記参照ピクチャ候補に含める
ことを特徴とする請求項 6記載の参照ピクチャ選択方法。
[8] 前記特定フィールドは、前記符号ィ匕対象のボトムフィールドの属するフィールドペア 力 符号化順で N個前のフィールドペア内のボトムフィールドであり、 前記 Nは 0な!、し 3から選ばれる
ことを特徴とする請求項 7記載の参照ピクチャ選択方法。
[9] 前記特定フィールドは第 1のフィールド、第 2のフィールドの一方であり、
前記第 1のフィールドは前記符号ィ匕対象のボトムフィールドよりも符号ィ匕順で先行 するフィールドペア内のボトムフィールドであり、
前記第 2のフィールドは当該フィールドペア内のトップフィールドであり、 前記動きの大きさの予測において、
前記動きの大きさとして、第 1および第 2の相関性を算出し、
第 1の相関性は、前記符号ィ匕対象のボトムフィールドと前記第 1のフィールドとの相 関性であり、第 2の相関性は、前記符号化対象のボトムフィールドと前記第 2のフィー ルドとの相関性であり、
前記参照ピクチャ候補の設定にお!、て、
第 1の相関性と第 2の相関性との比または差分に応じて、前記参照ピクチャ候補に 設定する
ことを特徴とする請求項 2記載の参照ピクチャ選択方法。
[10] 前記参照ピクチャ候補の設定にぉ 、て、
第 1の相関性と第 2の相関性との比または差分に応じて、時間的直近フィールドお よび空間的直近フィールドの一方を前記参照ピクチャ候補に含める
ことを特徴とする請求項 9記載の参照ピクチャ選択方法。
[11] 前記特定フィールドは第 1のフィールド、第 2のフィールドの一方であり、
前記第 1のフィールドは前記符号ィ匕対象のボトムフィールドよりも符号ィ匕順で先行 するフィールドペア内のトップフィールドであり、
前記第 2のフィールドは当該フィールドペア内のボトムフィールドであり、 前記動きの大きさの予測において、
前記第 1のフィールド、前記第 2のフィールドおよび前記符号化対象のボトムフィー ルドそれぞれの縮小画像を生成し、
縮小画像を用いて、前記第 1のフィールドに対する符号ィ匕対象のボトムフィールド の動きを検出し、 縮小画像を用いて、前記第 2のフィールドに対する符号ィ匕対象のボトムフィールド の動きを検出する
ことを特徴とする請求項 2記載の参照ピクチャ選択方法。
[12] 前記参照ピクチャ候補の設定にぉ 、て、
検出された 2つの動きに基づいて、時間的直近フィールドおよび空間的直近フィー ルドの一方を前記参照ピクチャ候補に含める
ことを特徴とする請求項 11記載の参照ピクチャ選択方法。
[13] 前記符号ィ匕対象のボトムフィールドは双予測画面間符号化されたピクチャを参照 可能なフィールドペアに属し、
前記参照ピクチャ候補の設定にお!、て、
予測された動きに応じて、参照可能な全てのピクチャ力 選ばれた参照ピクチャ候 補力もなる第 1のサブセットおよび第 2のサブセットの一方を選択し、
前記第 1のサブセットは時間的直近フィールドを含み空間的直近フィールドを含ま ず、
前記第 2のサブセットは空間的直近フィールドを含み時間的直近フィールドを含ま ず、
前記時間的直近フィールドは、前記符号ィ匕対象フィールドと同じフィールドペア内 のトップフィーノレドであり、
前記空間的直近フィールドは、前記符号化対象フィールドよりも符号化順で直前の 双予測符号化フィールドペアのボトムフィールドである
ことを特徴とする請求項 1記載の参照ピクチャ選択方法。
[14] 前記参照ピクチャ選択方法は、さらに、
参照ピクチャ候補に時間的直近フィールドが含まれているとき、当該時間的直近フ ィールドに最小のビット数で表される参照インデックスを付与し、
参照ピクチャ候補に空間的直近フィールドが含まれているとき、当該空間的直近フ ィールドに最小のビット数で表される参照インデックスを付与する
ことを特徴とする請求項 1記載の参照ピクチャ選択方法。
[15] 請求項 1記載の参照ピクチャ選択方法を含むことを特徴とする画像符号化方法。
[16] 請求項 1記載の参照ピクチャ選択方法をコンピュータに実行させることを特徴とする プログラム。
[17] インターレースビデオを符号ィ匕する画像符号ィ匕装置であって、
符号ィ匕対象のボトムフィールドよりも符号ィ匕順で先行する特定フィールドを用いて、 前記符号化対象のボトムフィールドの動きの大きさを予測する予測手段と、
予測した動きの大きさに応じて、前記符号化対象のボトムフィールドの符号化に適 した参照ピクチャ候補を設定する設定手段と、
設定された参照ピクチャ候補の中から、前記符号化対象のボトムフィールドの参照 ピクチャを選択する選択手段と
選択された参照ピクチャを用いて符号ィ匕対象のボトムフィールドを符号ィ匕する符号 化手段と
を備えることを特徴とする画像符号化装置。
[18] インターレースビデオを符号ィ匕する半導体装置であって、
符号ィ匕対象のボトムフィールドよりも符号ィ匕順で先行する特定フィールドを用いて、 前記符号化対象のボトムフィールドの動きの大きさを予測する予測手段と、
予測した動きの大きさに応じて、前記符号化対象のボトムフィールドの符号化に適 した参照ピクチャ候補を設定する設定手段と、
設定された参照ピクチャ候補の中から、前記符号化対象のボトムフィールドの参照 ピクチャを選択する選択手段と
選択された参照ピクチャを用いて符号ィ匕対象のボトムフィールドを符号ィ匕する符号 化手段と
を備えることを特徴とする半導体装置。
[19] 符号ィ匕されたインターレースビデオを表すコンピュータ読み取り可能なストリームデ ータであって、
フィールドペア内のトップフィールドを表す符号およびボトムフィールドを表す符号と
前記ボトムフィールの参照可能な複数のピクチャに割り当てられた複数の参照イン デッタスを示すインデック情報とを含み、 双予測画面間符号化されたピクチャを参照可能なボトムフィールド用の複数の参照 インデックスのうち、最小のビット数の参照インデックスは、時間的直近フィールドおよ び空間的直近フィールドの一方に必ず割り当てられ、
前記時間的直近フィールドは、前記符号ィ匕対象フィールドと同じフィールドペア内 のトップフィーノレドであり、
前記空間的直近フィールドは、前記符号化対象フィールドよりも符号化順で直前の 双予測符号化フィールドペアのボトムフィールドである
ことを特徴とするストリームデータ。
PCT/JP2006/319686 2005-10-05 2006-10-02 参照画像選択方法および装置 WO2007040197A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US12/089,126 US8687694B2 (en) 2005-10-05 2006-10-02 Reference picture selection method and apparatus
JP2007538753A JP5422124B2 (ja) 2005-10-05 2006-10-02 参照ピクチャ選択方法、画像符号化方法、プログラム、画像符号化装置および半導体装置
CN200680037044.5A CN101283600B (zh) 2005-10-05 2006-10-02 参考图像选择方法以及装置
EP06811034A EP1933570A4 (en) 2005-10-05 2006-10-02 PROCESS AND DEVICE FOR REFERENCE SELECTION

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US72347305P 2005-10-05 2005-10-05
US60/723,473 2005-10-05

Publications (1)

Publication Number Publication Date
WO2007040197A1 true WO2007040197A1 (ja) 2007-04-12

Family

ID=37906238

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/319686 WO2007040197A1 (ja) 2005-10-05 2006-10-02 参照画像選択方法および装置

Country Status (5)

Country Link
US (1) US8687694B2 (ja)
EP (1) EP1933570A4 (ja)
JP (1) JP5422124B2 (ja)
CN (1) CN101283600B (ja)
WO (1) WO2007040197A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009100318A (ja) * 2007-10-17 2009-05-07 Panasonic Corp 画像符号化装置および画像符号化方法
JP2010063092A (ja) * 2008-08-05 2010-03-18 Panasonic Corp 画像符号化装置、画像符号化方法、画像符号化集積回路およびカメラ
WO2010109564A1 (ja) * 2009-03-25 2010-09-30 パナソニック株式会社 画像符号化装置及び画像符号化方法
JP2011015117A (ja) * 2009-07-01 2011-01-20 Panasonic Corp 画像符号化装置、画像符号化方法及び、ビデオカメラ
US20110176740A1 (en) * 2009-07-29 2011-07-21 Panasonic Corporation Image coding method, image coding apparatus, program, and integrated circuit
JP2012023652A (ja) * 2010-07-16 2012-02-02 Sony Corp 画像処理装置と画像処理方法
JPWO2011121731A1 (ja) * 2010-03-30 2013-07-04 富士通株式会社 画像処理装置および画像処理方法
JP2013236392A (ja) * 2008-01-29 2013-11-21 Panasonic Corp 画像符号化装置および画像符号化方法
CN103873872A (zh) * 2012-12-13 2014-06-18 联发科技（新加坡）私人有限公司 参考图像管理方法及装置
JP2014112952A (ja) * 2014-02-25 2014-06-19 Panasonic Corp 画像符号化装置
JP2015524225A (ja) * 2012-06-21 2015-08-20 テレフオンアクチーボラゲット エル エム エリクソン（パブル） ビデオ信号をコーディングするための装置及び方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5173613B2 (ja) * 2007-07-03 2013-04-03 キヤノン株式会社 動画像符号化装置及びその制御方法
US8270472B2 (en) * 2007-11-09 2012-09-18 Thomson Licensing Methods and apparatus for adaptive reference filtering (ARF) of bi-predictive pictures in multi-view coded video
KR100939917B1 (ko) * 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
US8861598B2 (en) * 2008-03-19 2014-10-14 Cisco Technology, Inc. Video compression using search techniques of long-term reference memory
KR101445791B1 (ko) * 2008-05-10 2014-10-02 삼성전자주식회사 움직임 벡터 변환을 이용한 비월 주사 영상 부호화/복호화방법 및 장치
KR101444691B1 (ko) * 2010-05-17 2014-09-30 에스케이텔레콤 주식회사 참조영상 구성 및 인덱싱 장치 및 방법
JP5625512B2 (ja) * 2010-06-09 2014-11-19 ソニー株式会社 符号化装置、符号化方法、プログラム、および記録媒体
EP3174300A1 (en) * 2011-10-17 2017-05-31 Kabushiki Kaisha Toshiba Decoding device and decoding method
CN107770527B (zh) * 2016-08-21 2021-12-14 上海天荷电子信息有限公司 使用邻近编码参数和最近编码参数的数据压缩方法和装置
CN106303570B (zh) * 2016-08-22 2019-07-05 北京奇艺世纪科技有限公司 一种视频编码参考帧选择方法和装置
CN107820095B (zh) * 2016-09-14 2020-01-03 北京金山云网络技术有限公司 一种长期参考图像选择方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0541861A (ja) * 1991-05-31 1993-02-19 Toshiba Corp 動画像符号化装置
JP2002330443A (ja) * 2001-03-16 2002-11-15 Sharp Corp ディジタル動画システムにおける画像の位置変化を効率的に推定する方法
JP2005260588A (ja) * 2004-03-11 2005-09-22 Canon Inc 符号化装置、符号化方法、復号装置、復号方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1422946A4 (en) 2002-07-26 2008-04-02 Matsushita Electric Ind Co Ltd MOVING IMAGE PROCEDURE, MOVABLE IMAGE DECODING METHOD AND RECORD MEDIUM
AU2005203096B2 (en) * 2003-03-03 2007-11-29 Lg Electronics Inc. Method of selecting a reference picture
KR100693669B1 (ko) * 2003-03-03 2007-03-09 엘지전자 주식회사 피일드 매크로 블록의 레퍼런스 픽쳐 결정 방법
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7623574B2 (en) * 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0541861A (ja) * 1991-05-31 1993-02-19 Toshiba Corp 動画像符号化装置
JP2002330443A (ja) * 2001-03-16 2002-11-15 Sharp Corp ディジタル動画システムにおける画像の位置変化を効率的に推定する方法
JP2005260588A (ja) * 2004-03-11 2005-09-22 Canon Inc 符号化装置、符号化方法、復号装置、復号方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1933570A4 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009100318A (ja) * 2007-10-17 2009-05-07 Panasonic Corp 画像符号化装置および画像符号化方法
US8396125B2 (en) 2007-10-17 2013-03-12 Panasonic Corporation Picture coding apparatus and picture coding method
JP2013236392A (ja) * 2008-01-29 2013-11-21 Panasonic Corp 画像符号化装置および画像符号化方法
US8897368B2 (en) 2008-01-29 2014-11-25 Panasonic Corporation Image coding device, image coding method, image coding integrated circuit and image coding program
JP2010063092A (ja) * 2008-08-05 2010-03-18 Panasonic Corp 画像符号化装置、画像符号化方法、画像符号化集積回路およびカメラ
WO2010109564A1 (ja) * 2009-03-25 2010-09-30 パナソニック株式会社 画像符号化装置及び画像符号化方法
JP2011015117A (ja) * 2009-07-01 2011-01-20 Panasonic Corp 画像符号化装置、画像符号化方法及び、ビデオカメラ
US8917766B2 (en) 2009-07-01 2014-12-23 Panasonic Corporation Picture coding apparatus, picture coding method and video camera
US20110176740A1 (en) * 2009-07-29 2011-07-21 Panasonic Corporation Image coding method, image coding apparatus, program, and integrated circuit
US8699778B2 (en) * 2009-07-29 2014-04-15 Panasonic Corporation Image coding method, image coding apparatus, program, and integrated circuit
JP5522252B2 (ja) * 2010-03-30 2014-06-18 富士通株式会社 画像処理装置および画像処理方法
JPWO2011121731A1 (ja) * 2010-03-30 2013-07-04 富士通株式会社 画像処理装置および画像処理方法
JP2012023652A (ja) * 2010-07-16 2012-02-02 Sony Corp 画像処理装置と画像処理方法
JP2015524225A (ja) * 2012-06-21 2015-08-20 テレフオンアクチーボラゲット エル エム エリクソン（パブル） ビデオ信号をコーディングするための装置及び方法
CN103873872A (zh) * 2012-12-13 2014-06-18 联发科技（新加坡）私人有限公司 参考图像管理方法及装置
JP2014112952A (ja) * 2014-02-25 2014-06-19 Panasonic Corp 画像符号化装置

Also Published As

Publication number Publication date
JPWO2007040197A1 (ja) 2009-04-16
CN101283600A (zh) 2008-10-08
US8687694B2 (en) 2014-04-01
EP1933570A4 (en) 2010-09-29
CN101283600B (zh) 2012-10-03
US20100150240A1 (en) 2010-06-17
EP1933570A1 (en) 2008-06-18
JP5422124B2 (ja) 2014-02-19

Similar Documents

Publication Publication Date Title
WO2007040197A1 (ja) 参照画像選択方法および装置
KR100774296B1 (ko) 움직임 벡터 부호화 방법, 복호화 방법 및 그 장치
JP5188875B2 (ja) 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
KR101505195B1 (ko) 직접 모드 부호화 및 복호화 방법
JP2019115061A (ja) 符号化装置、符号化方法、復号装置、復号方法、及びプログラム
US9516320B2 (en) Method of generating image data
JP5310614B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
US20150172687A1 (en) Multiple-candidate motion estimation with advanced spatial filtering of differential motion vectors
KR20170125086A (ko) 화상 예측 방법 및 관련 장치
JP2007053561A (ja) 画像符号化装置および画像符号化方法
KR100952802B1 (ko) 동화상 부호화 방법 및 동화상 부호화 장치
JP2005191706A (ja) 動画像符号化方法及びその装置
WO2010036772A2 (en) Complexity allocation for video and image coding applications
JP2006025429A (ja) 符号化方法およびこの方法を実施するための回路装置
JP2006511113A (ja) 選択されたマクロブロックにおける動き推定のスキップを伴うビデオエンコーディング
JP2011029863A (ja) 復号化処理方法
JP4713972B2 (ja) 符号化装置
JP2015111774A (ja) 映像符号化装置及び映像符号化プログラム
JP2005268879A (ja) 画像符号化方法およびその装置
JP2009194474A (ja) 動画像符号化装置
Cheng et al. A fast motion estimation algorithm based on diamond and triangle search patterns
KR101074919B1 (ko) 분산 비디오 부호화 영상의 복호화 장치 및 그 방법
CN110868601B (zh) 帧间预测方法、装置以及视频编码器和视频解码器
CN110677645B (zh) 一种图像预测方法及装置
JP5099776B2 (ja) 動画像符号化装置および復号装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680037044.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006811034

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2007538753

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 12089126

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE