WO2004040915A1 - 動画像符号化方法および動画像復号化方法 - Google Patents

動画像符号化方法および動画像復号化方法 Download PDF

Info

Publication number
WO2004040915A1
WO2004040915A1 PCT/JP2003/012756 JP0312756W WO2004040915A1 WO 2004040915 A1 WO2004040915 A1 WO 2004040915A1 JP 0312756 W JP0312756 W JP 0312756W WO 2004040915 A1 WO2004040915 A1 WO 2004040915A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
picture
mode
decoding
encoding
Prior art date
Application number
PCT/JP2003/012756
Other languages
English (en)
French (fr)
Inventor
Kiyofumi Abe
Shinya Kadono
Satoshi Kondo
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to AU2003268763A priority Critical patent/AU2003268763B2/en
Priority to ES03748710.5T priority patent/ES2495440T3/es
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP16192321.4A priority patent/EP3145186B1/en
Priority to CN2003801000780A priority patent/CN1685732B/zh
Priority to BRPI0306684-3A priority patent/BRPI0306684B1/pt
Priority to US10/498,088 priority patent/US9426490B2/en
Priority to EP03748710.5A priority patent/EP1562385B1/en
Priority to CA2470717A priority patent/CA2470717C/en
Priority to BR0306684-3A priority patent/BR0306684A/pt
Publication of WO2004040915A1 publication Critical patent/WO2004040915A1/ja
Priority to US11/980,605 priority patent/US20080069235A1/en
Priority to US15/213,611 priority patent/US9693059B2/en
Priority to US15/213,617 priority patent/US9699455B2/en
Priority to US15/601,067 priority patent/US9888238B2/en
Priority to US15/851,970 priority patent/US10097824B2/en
Priority to US16/118,973 priority patent/US10375388B2/en
Priority to US16/444,189 priority patent/US10623729B2/en
Priority to US16/444,263 priority patent/US10623730B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a moving image encoding method, a moving image decoding method, a moving image encoding device, and a moving image decoding device, in which each picture constituting a moving image is encoded and decoded by a frame structure or a field structure. And a program for implementing it in software. Background art
  • inter-picture predictive coding In moving picture coding, the amount of information is generally compressed using redundancy in the spatial direction and temporal direction of a moving picture.
  • inter-picture predictive coding is used as a method of using temporal redundancy.
  • inter-picture predictive coding when a picture is coded, the picture that is the front or rear in display time order is used as a reference picture. Then, the amount of motion from the reference picture is detected, and the amount of information is compressed by removing the redundancy in the spatial direction for the difference value between the motion compensated picture and the picture to be encoded. .
  • a picture that does not have a reference picture and performs intra-picture prediction coding using only the current picture is called an I picture.
  • picture means one encoding unit that includes both frame and field.
  • a picture that performs inter-picture prediction encoding with reference to one already processed picture is called a P-picture, and a picture that performs inter-picture prediction encoding by simultaneously referring to two already processed pictures.
  • Called B Pictiya Called B Pictiya.
  • Fig. 1 is a schematic diagram showing the prediction relationship of each picture in the above video coding system. In Fig. 1, the vertical line shows one picture, and the picture type (1, P, B) is shown at the lower right of each picture.
  • the arrow in Fig. 1 indicates that the picture at the beginning of the arrow performs inter-picture predictive coding using the picture at the end of the arrow as the reference picture.
  • the second B picture from the beginning is encoded by using the first I picture and the fourth P picture from the beginning as reference pictures.
  • a coding mode called direct mode can be selected when encoding a B picture.
  • direct mode There are two types of direct mode: a temporal method and a spatial method.
  • temporal direct mode the current block itself does not have a motion vector, and the motion vector of another encoded picture is used as a reference motion vector.
  • the motion vector used in the encoding target block is predicted and generated by performing the scaling process based on (see, for example, Japanese Patent Application Laid-Open No. 11-175 191).
  • Figure 2 is a schematic diagram showing how motion vector predictions are generated in the temporal direct mode, where P is the P picture, B is the B picture, and the numbers attached to the picture types are the pictures. The display order is shown.
  • Each picture P 1, B 2, B 3, and P 4 has display order information T 1, ⁇ 2, ⁇ 3, and ⁇ 4, respectively.
  • the motion vector MV 1 of the block BL 1 in the same position as the block BLO in the picture ⁇ 4 that is an already encoded picture located near the display time of the picture ⁇ 3 is used.
  • This motion vector ⁇ V 1 is the motion vector that was used when block BL 1 was encoded.
  • the motion vector used to encode the block BLO is the motion vector MV_F for picture ⁇ 1 and the motion vector MV-B for picture P4. If the size of the motion vector MV 1 is ⁇ V, the size of the motion vector MV—F is MV f, and the size of the motion vector MV ⁇ is MV b, then MV f and MV b Are obtained by Equation 1a and Equation 1b, respectively.
  • the encoding target block itself does not have a motion vector as in the temporal direct mode, and the encoded block located spatially around the encoding target block. Refer to the motion vector that has and encode using it.
  • Fig. 3 is a schematic diagram showing how motion vectors are predicted and generated in the spatial direct mode, where P is a P picture, B is a B picture, and the number attached to the picture type is the number of each picture. The display order is shown.
  • block B 0 of picture B 3 shown in FIG. 3 is encoded in the spatial direct mode will be described.
  • the motion vector that refers to the already coded picture that is closest in display time to the current picture to be coded is determined.
  • the vector is determined as a motion vector candidate for the encoding target block. This determined movement If there are three vectors, the median value is selected as the motion vector for the target block. If there are two, the average value of them is calculated and used as the motion vector of the encoding target block. If there is only one, the motion vector is taken as the motion vector of the target block. In the example shown in FIG. 3, motion vectors MVA 1 and MVC 1 are obtained with reference to picture P 2, and motion vector MVB 1 is obtained with reference to picture P 1.
  • Fig. 4 is a schematic diagram showing the display order information of the fields in the interlaced image and the progressive image, and two vertical lines having the same frame number indicate the fields.
  • display order information is assigned so that the top field and the bottom field are equally spaced as shown in Fig. 4 (a).
  • the two display fields can have the same display order information, so that an accurate display order relationship can be expressed.
  • images with two fields belonging to the same frame having the same display order information are called progressive images, and other images are called interlaced images, but this is not restrictive. Same fl —It is possible to have the same display order information for two fields belonging to a group.
  • Fig. 5 is a schematic diagram showing how to predict the motion vector in temporal direct mode for interlaced images, where P is the P picture, B is the B picture, and the numbers attached to the picture types Indicates the display order of each picture.
  • P is the P picture
  • B is the B picture
  • the numbers attached to the picture types Indicates the display order of each picture.
  • block B L 0 of picture B 2 shown in FIG. 5 is field-encoded in the temporal direct mode.
  • the motion vector M V 1 of the block B L 1 at the same position as the block B L 0 in the picture P 3 which is the backward reference picture of the picture B 2 is used.
  • This motion vector M V 1 is the motion vector used when the block B L 1 is encoded, and refers to the top field of the same picture P 3.
  • the motion vector MV-F and the motion vector MV-B used when coding block BL 0 can be obtained as follows using upper equation 1a and equation 1b.
  • Figure 6 is a schematic diagram showing how to predict the motion vector in the temporal direct mode for progressive images, where P is the P picture and B is the Indicates a B picture, and the numbers attached to the picture types indicate the display order of each picture.
  • P is the P picture
  • B is the Indicates a B picture
  • the numbers attached to the picture types indicate the display order of each picture.
  • block BL 0 of picture B 2 shown in FIG. 6 is field-encoded in the temporal direct mode.
  • the motion vector M V 1 of the block B L 1 at the same position as the block B L 0 in the picture P 3 which is the backward reference picture of the picture B 2 is used.
  • This motion vector MV 1 is the motion vector used when block BL 1 was encoded and refers to the top field of the same picture P 3
  • the temporal direct mode is selected, and the two pictures to be referenced belong to the same frame, ie, a top field and a bottom field. In this case, it is impossible to predict and generate a moving vector by scaling processing.
  • each field is encoded.
  • FIG. 7 is a schematic diagram showing how to predict the motion vector in the spatial direct mode for progressive images, where P is the P picture, B is the B picture, and the number attached to the picture type Indicates the display order of each picture, and T at the end indicates the top field and B indicates the bottom field.
  • P is the P picture
  • B is the B picture
  • T at the end indicates the top field and B indicates the bottom field.
  • the motion vectors MVA 1, MVB 1, and MVC 1 for each of the encoded blocks including the three pixels A, B, and C around the block BLO to be encoded are in the field P 2 respectively. , PI — B, P 2— B.
  • the fields P 2_T and ⁇ 2 ⁇ are the top field and bottom field belonging to the same frame, and therefore have the same display order information. Therefore, it is not possible to specify which one of the fields —2—Cho and ⁇ 2— ⁇ is closest to the encoding target picture in terms of display time. Therefore, the motion vector of the encoding target block cannot be predicted and generated. Disclosure of the invention
  • An object is to provide an encoding method, a moving image decoding method, and the like.
  • a moving picture coding method is a method of re-coding each picture constituting a moving picture according to a frame structure or a field structure, and is a picture that has already been coded. Refer to, and calculate the motion vector for each block that constitutes the picture. Steps, a mode determination step for determining the encoding mode of the block to be processed, and the encoding mode determined in the mode determination step have an encoded picture that is close in display time
  • the motion vector of the target block is predicted by performing the scaling processing of the reference motion vector based on the display temporal positional relationship between the reference pictures as the motion vector as the reference motion vector.
  • the motion compensation is performed by using the coding mode determined in the mode determination step as it is or after updating it. And a compensation step.
  • the motion vector of an encoded picture that is close in display time is used as the reference motion vector, and the reference motion vector is scaled based on the display temporal positional relationship between the reference pictures. Change the encoding mode even if scaling processing is not possible when encoding is performed in the temporal direct mode that predicts and generates the motion vector of the processing block.
  • the processing target block can be encoded by performing a process such as.
  • the moving picture coding method is a method of coding each picture constituting a moving picture with a frame structure or a field structure, and refers to a picture that has already been coded.
  • a prediction determination step for determining whether or not the motion vector of the target block can be predicted and generated; and when it is determined in the prediction determination step that the motion vector cannot be generated, A latest picture determining step of determining a picture closest to the processing target picture using information other than display order information.
  • the motion vector is based on the display order information of the picture. Even if it is not possible to predict and generate a toll, it performs the process of determining the picture closest to the encoding target picture, predicts and generates a motion vector, and encodes the processing target block. can do
  • the moving picture decoding method is a method of re-decoding each picture constituting a moving picture with a frame structure or a field structure, and refers to a picture that has already been decoded.
  • the extracted decoding mode is set to the reference motion vector based on the display temporal positional relationship between the reference pictures, with a motion vector of a decoded picture that is close in display time as a reference motion vector.
  • the motion vector of the processing target block If it is a decoding mode that predicts and generates the motion vector of the processing target block by performing the scaling process of the toll, the motion vector of the processing target block A scaling determination step for determining whether or not a scale can be predicted and generated, and a determination result of the scaling determination step And a motion compensation step for performing motion compensation by using the decoding mode extracted in the mode extraction step as it is or by updating it.
  • the processing target is changed by changing the decoding mode.
  • the block can be decrypted.
  • the moving picture decoding method is a method of re-decoding each picture constituting a moving picture with a frame structure or a field structure, and refers to a picture that has already been decoded.
  • the motion vector calculation step for calculating the motion vector for each block constituting the picture and the motion vector of the already decoded block located in the spatial periphery of the processing target block. If the motion vector of the processing target block is predicted and generated based on the motion vector that refers to the already decoded picture that is closest in display time to the processing target picture, this processing is performed.
  • a prediction determination step for determining whether or not a motion vector of the target block can be predicted and generated, and the motion vector is generated in the prediction determination step.
  • the present invention provides such a moving image encoding method and moving image decoding.
  • the present invention is realized as a moving picture coding apparatus and a moving picture decoding apparatus that include the characteristic steps included in the moving picture coding method and the moving picture decoding method as means. It can also be realized as a program that causes a computer to execute these steps. Needless to say, such a program can be distributed via a transmission medium such as a recording medium such as a CD-ROM.
  • the moving picture encoding method of the present invention can have any one of the following configurations (1) to (11).
  • the motion vector calculation step for calculating the encoding mode, the mode determination step for determining the encoding mode of the processing block, and the encoding mode determined in the recording mode determination step are close in display time.
  • the motion vector of the encoded picture is used as a reference motion vector, and the reference motion vector is scaled based on the display temporal positional relationship between the reference pictures. Can be generated by predicting the motion vector of the processing target block.
  • the motion vector of the processing target block is predicted by performing the scaling process. It is determined that it cannot be generated by measurement.
  • the two pictures to be referred to in the scaling process are the top field and the ball field belonging to the same frame, and both of the two fields have the same display order information. In such a case, it is determined that the motion vector of the processing target block cannot be predicted and generated by performing the scaling process.
  • the processing target calculated in the motion motion vector calculation step Change to the coding mode for coding using the motion vector of the block and perform motion compensation o
  • the scaling judgment step determines that the motion vector cannot be generated, the fij sB scaling processing is not performed and the processing target The motion vector generated by predicting the block is assumed to be a predetermined vector.
  • Motion compensation is performed using the coding mode determined in the HIJ recording mode determination step.
  • the mode determination step determines that at least one of the motion vectors generated by the prediction of the processing target block is 0 vector without performing the scaling process. Motion compensation is performed using the encoding mode.
  • the motion compensation step if it is determined in the scaling determination step that the motion vector cannot be generated, an already encoded block located in the spatial vicinity of the processing target block Possession of Based on the motion vector to be performed, the motion vector of the block to be processed is predicted, generated and encoded, and the motion compensation is performed.
  • the encoding is already closest to the processing target picture in display time.
  • the motion vector of the processing target block may be predicted and generated.
  • the top field and the bottom belong to the same frame and have the same display order information.
  • the field encoded later is determined as the field closest to the processing target field.
  • the moving picture decoding method of the present invention can have any of the following configurations (1 2) to (2 2).
  • the processing target block is obtained by scaling the reference motion vector based on the display temporal positional relationship between the reference pictures, using the motion vector of the converted picture as the reference motion vector.
  • the motion vector of the target block can be predicted and generated.
  • the decoding mode extracted in the mode extraction step is used as it is or after being updated.
  • the motion vector of the processing target block is determined by performing the scaling process. It is determined that it cannot be generated by prediction.
  • the two pictures referred to in the scaling process are a top field and a pom field belonging to the same frame. Both the two fields have the same display order information. In such a case, it is determined that the motion vector of the processing target block cannot be predicted and generated by performing the scaling process.
  • the motion of the processing target block calculated in the motion vector calculation step Change to a decoding mode that uses a vector to perform motion compensation.
  • the prediction of the processing target block is performed without performing the scaling process.
  • the motion vector generated in this way is used as a vector having a predetermined value set in advance, and motion compensation is performed using the decoding mode extracted in the mode extraction step.
  • At least one of the predetermined vectors is 0 vector, and in the motion compensation step, it is determined that the motion vector cannot be generated in the scaling determination step.
  • the mode extraction step is performed by setting at least one of the predicted motion vectors of the processing target block to be 0 vector without performing the scaling process in the generated field.
  • Motion compensation is performed using the decoding mode extracted in the step.
  • motion compensation step when it is determined in the scaling determination step that the motion vector cannot be generated, an already decoded block located in the spatial periphery of the processing target block of Based on the motion vector possessed, motion compensation is performed by changing to a decoding mode that predicts, generates and decodes the motion vector of the processing target block.
  • the motion vector calculation step for calculating the motion vector and the motion vector of the already decoded block located in the spatial periphery of the processing target block are closest to the processing target picture in terms of display time
  • a motion vector that refers to a picture that has already been decoded if the motion vector of the processing target block is predicted and decoded, the motion vector of the processing target block is predicted.
  • a prediction determination step that determines whether or not the motion vector can be generated, and the prediction determination step determines that the motion vector cannot be generated.
  • the motion referring to the already decoded picture that is closest in display time to the processing target picture are the top field and the bottom field, and both of the two fields have the same display order information
  • a block can be generated and the block to be processed can be encoded.
  • Fig. 1 is a schematic diagram showing the prediction relationship of each picture in the conventional video coding system.
  • Fig. 2 is a schematic diagram showing a method for generating a motion vector prediction in the temporal direct mode.
  • Fig. 3 is a schematic diagram showing a method for generating motion vector predictions in the spatial direct mode.
  • FIG. 4 is a schematic diagram showing display order information of fields in an interlaced image and a progressive image.
  • FIG. 5 is a schematic diagram showing a method for generating a prediction of a motion vector in a temporal direct mode with an interlaced image.
  • Fig. 6 is a schematic diagram showing a method for generating and predicting motion vectors in the temporal direct mode for progressive images.
  • FIG. 7 is a schematic diagram showing a method for generating and predicting motion vectors in the spatial direct mode with progressive images.
  • FIG. 8 is a block diagram showing a configuration of an embodiment of a moving image encoding apparatus according to the present invention.
  • FIG. 9 is an explanatory diagram showing the order of pictures in the picture memory, and is an explanatory diagram showing (a) the input order and (b) the rearranged order.
  • FIG. 10 is a flowchart showing the operation of determining the encoding mode by the method 1 in the direct mode determining unit.
  • FIG. 11 is a flowchart showing the operation of determining the encoding mode by method 2 in the direct mode availability determination unit.
  • FIG. 12 is a flowchart showing the operation of determining the encoding mode by method 3 in the direct mode feasibility determining unit.
  • FIG. 13 is a flowchart showing the operation of determining the encoding mode by the method 1 ′ in the direct mode availability determination unit.
  • FIG. 14 is a block diagram showing a configuration of an embodiment of a moving picture decoding apparatus according to the present invention.
  • FIG. 15 is a flowchart showing the operation of determining the decoding mode by the method 1 in the direct mode feasibility determining unit.
  • FIG. 16 is a flowchart showing the operation of determining the decoding mode by the method 2 in the direct mode availability determination unit.
  • FIG. 17 is a flowchart showing the operation of determining the decoding mode by the method 3 in the direct mode availability determination unit.
  • FIG. 18 is a flowchart showing the operation of determining the decoding mode by the method 1 ′ in the direct mode feasibility determining unit.
  • FIG. 19 is an explanatory diagram of a recording medium for storing a program for realizing the moving picture coding method and the moving picture decoding method of Embodiment 1 by a computer system.
  • FIG. 20 is a block diagram showing an overall configuration of a content supply system that implements a content distribution service.
  • FIG. 21 shows an example of a mobile phone.
  • FIG. 22 is a block diagram showing the internal configuration of the mobile phone.
  • Figure 23 is a block diagram showing the overall configuration of the digital broadcasting system. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 8 is a block diagram showing a configuration of an embodiment of a video encoding apparatus using the video encoding method according to the present invention.
  • the moving picture encoding apparatus includes a picture memory 1 0 1, a prediction residual encoding unit 1 0 2, a code string generation unit 1 0 3, a prediction residual decoding unit 1 0 4, and a picture memory 1 0 5, Motion vector detection unit 1 0 6, Motion compensation coding unit 1 0 7, Motion vector storage unit 1 0 8, Direct ⁇ mode availability determination unit 1 0 9, Difference calculation unit 1 1 0, An addition operation unit 1 1 1 and switches 1 1 2 and 1 1 3 are provided.
  • Picture memory 1 0 1 is the motion that is input in picture units in order of display time. Store the image.
  • the motion vector detection unit 106 uses the encoded reconstructed image data as a reference picture, and the motion vector indicating the position predicted to be optimal in the search area in the picture. Perform detection.
  • the motion compensation encoding unit 10 07 determines the encoding mode of the block using the motion vector detected by the motion vector detection unit 10 6, and predicts a predicted image based on the encoding mode. Generate data. This encoding mode indicates how the macroblock is encoded.
  • the motion vector storage unit 10 8 stores the motion vector detected by the motion vector detection unit 106.
  • the direct mode propriety determination unit 1 0 9 can perform the scaling process when the encoding mode determined by the motion compensation encoding unit 1 0 7 is the temporal direct mode. And determine the encoding mode.
  • the direct mode feasibility determining unit 1 0 9 determines whether or not a motion vector used in an encoding target block can be predicted and generated when the encoding mode is a spatial direct mode. I do.
  • the difference calculation unit 1 1 0 calculates the difference between the image data read from the picture memory 1 0 1 and the prediction image data input from the motion compensation encoding unit 1 0 7, and calculates the prediction residual image data Generate.
  • the prediction residual coding unit 1 0 2 performs coding processing such as frequency conversion and quantization on the input prediction residual image data to generate coded data.
  • the code string generation unit 10 3 performs variable length coding or the like on the input encoded data, and further, information on the motion vector input from the motion compensation encoding unit 10 7 and the encoding mode. A code string is generated by adding information.
  • the prediction residual decoding unit 104 performs decoding processing such as inverse quantization and inverse frequency conversion on the input encoded data, and generates decoded differential image data.
  • the addition operation unit 1 1 1 receives the decoding input from the prediction residual decoding unit 1 0 4.
  • the encoded difference image data and the predicted image data re-input by the motion compensation encoding unit 107 are added to generate reconstructed image data.
  • the picture memory 1 0 5 stores the generated reconstructed image data.
  • FIG. 9 is an explanatory diagram showing the order of pictures in the picture memory 101, and is an explanatory diagram showing (a) the input order and (b) the rearranged order.
  • vertical lines indicate pictures
  • the symbols shown at the bottom right of each picture indicate that the first alphabet is the picture type (1, P, or B), and the second and subsequent numbers are pictures in display time order. Numbers are shown.
  • the P picture uses the neighboring I or P picture in the display time order as the reference picture
  • the B picture has the neighboring I or P picture in the display time order in the display time order.
  • One I picture or P picture near the back is used as the reference picture.
  • the input image is input to the picture memory 100 in units of pictures in order of display time.
  • the pictures input to the picture memory 10 1 are rearranged in the order in which they are encoded, for example, as shown in FIG. 9 (b).
  • This rearrangement to the coding order is performed based on the reference relationship in the inter-picture predictive coding, and the pictures used as the reference picture are arranged so that they are coded before the picture used as the reference picture. Be replaced.
  • Each picture rearranged in the picture memory 1 0 1 is read, for example, in units of macroblocks divided into groups of horizontal 16 X vertical 16 pixels.
  • motion compensation and motion vector detection are performed in units of blocks divided into groups of 8 pixels horizontally and 8 pixels vertically, for example. The following operations will be described when the picture to be encoded is a B picture.
  • inter-picture predictive coding using two-way reference is performed.
  • the reference picture that is ahead in display time order is the picture P 10, P 7, P 4, and backward in display time order.
  • a reference picture is picture P 1 3.
  • a B picture is not used as a reference picture when coding another picture.
  • the macro block of the picture B 11 read out from the picture memory 1 0 1 is input to the motion vector detection unit 1 06 and the difference calculation unit 1 1 0.
  • the motion compensation encoding unit 107 determines whether each block in the macroblock is encoded with the frame structure or the field structure.
  • the frame structure or the field structure can be encoded by obtaining the variance of the pixel values in the block between the frame structure and the field structure and selecting the one with the smaller variance.
  • Each picture can be encoded in either a frame structure or a field structure in units of pictures.
  • the motion vector detection unit 10 6 converts the reference picture stored in the picture memory 10 5 into a frame unit or a frame according to the determined frame structure encoding or field structure encoding.
  • the forward motion vector and the backward motion vector are detected for each block in the macro block as a field unit.
  • the reconstructed image data of the pictures P 10, P 7 and P 4 stored in the picture memory 10 5 are used as the forward reference picture
  • the reconstructed image data of the picture P 13 is used as the backward reference picture. Will be.
  • the motion vector detector 1 0 6 detects the detected motion vector. This is output to the motion compensation encoding unit 1 0 7.
  • the motion compensation coding unit 107 uses the motion vector detected by the motion vector detection unit 106 to determine the macroblock coding mode.
  • the encoding mode of the B picture is, for example, intra-picture encoding, inter-picture predictive encoding using a forward motion vector, inter-picture predictive encoding using a backward motion vector, bidirectional It is possible to select which method to encode from among inter-picture prediction coding using motion vectors and direct mode.
  • the direct mode it is assumed that the temporal direct mode or the spatial direct mode has been specified in advance. In determining the coding mode, a method is generally selected in which the recoding error is reduced with a small amount of bits.
  • FIG. 10 is a flowchart showing the operation of determining the coding mode by method 1.
  • the motion compensation encoding unit 10 07 selects encoding in the direct mode
  • the motion compensation encoding unit 10 7 notifies the direct mode propriety determining unit 10 09 to that effect.
  • the direct mode propriety determination unit 1109 determines whether or not the temporal direct mode is designated (step S 1 0 1).
  • the direct mode selection unit 1009 determines whether or not field coding is selected (step S 1 0 2).
  • the direct mode propriety determining unit 1 0 9 performs the coding in the temporal direct mode with respect to the motion compensation encoding unit 1 0 7. Change Instruct (Step S 1 0 3).
  • the direct mode propriety determination unit 10 9 can predict and generate a motion vector to be used in the block to be encoded by the scaling process. It is determined whether or not it can be performed (step S 1 0 4). In other words, it is determined whether or not the two pictures to be referenced belong to the same frame and are the top field and the bottom field having the same display order information.
  • step S 1 0 4 when the scaling process is possible (when the condition determination at step S 1 0 4 is NO), the direct mode enable / disable determination unit 1 0 9 is temporally compared with the motion compensation encoding unit 1 0 7. Direct mode encoding is instructed (step S 1 0 3).
  • step S 1 0 4 when the scaling process is not possible (when the condition judgment in step S 1 0 4 is YES), the direct mode feasibility judging unit 1 0 9 is directed to the motion compensation coding unit 1 0 7. Instructs encoding in other than tom mode (step S 1 0 5).
  • step S 1 0 1 if it is determined that the mode is not the temporal direct mode (that is, the spatial direct mode), the direct ⁇ mode propriety determining unit 1 0 9 It is determined whether or not coded coding is selected (step S 1 0 6). As a result, when it is determined that the field coding is not selected, the direct mode propriety determination unit 1 0 9 sends the spatial compensation mode to the motion compensation coding unit 1 0 7 — Instructs the encoding in the network (step S 1 0 7).
  • the direct mode enable / disable determination unit 1 0 9 switches to the spatial direct mode. Whether or not the motion vector used in the encoding target block can be predicted and generated is determined based on the display order information included in (Step S 1 0 8). That is, each of the three encoded blocks including the three pixels around the block to be encoded Among motion vectors, there are multiple motion vectors that refer to already encoded pictures that are closest in display time to the current picture (field) to be encoded, and the referenced pictures are the same. It is determined whether the field is a top field and a bottom field that belong to a frame and have the same display order information. At this time, if the above condition is satisfied, it is determined that a motion vector cannot be predicted and generated.
  • step S 1 0 8 if it is determined that a motion vector can be predicted and generated (when the condition determination in step S 1 0 8 is N 0), whether direct mode is possible
  • the determination unit 1 09 instructs the motion compensation encoding unit 1 07 to perform encoding in the spatial direct mode (step S 1 0 7).
  • the motion compensation encoding unit 1 07 is instructed (step S 1 0 9).
  • the field having the same attribute is a top field if the encoding target field is a top field, and a bottom field if the encoding target field is a bottom field.
  • the direct mode availability determination unit 1 09 instructs the motion compensation encoding unit 1 07 to perform encoding in the spatial direct mode (step S 1 0 7).
  • Figure 11 is a flowchart showing the operation of determining the coding mode by method 2. In addition, it is determined that the field encoding is selected and the processing other than the case where it is determined that the scaling processing is not possible (step S 2 ! "! ⁇ S 2 0 4, S 2 0 6-S 2 0 9) are the same as method 1 and will not be described.
  • the direct mode propriety determination unit 1 0 9 receives the motion compensation encoding unit 1 0 7 Instruct the encoding in the temporal direct mode with the motion vector “OJ” (step S 2 0 5).
  • Figure 12 is a flowchart showing the operation of determining the coding mode by method 3. In addition, it is determined that field coding is selected, and other than the processing when it is determined that scaling processing is not possible (steps S 3 0 1 to S 3 0 6, S 3 0 8), the method Since this is the same as 1, description is omitted.
  • the direct mode availability determination unit 1 0 9 determines the motion vector used in the encoding target block by the spatial direct mode. It is determined whether it can be generated by prediction (step S 3 0 7). Subsequent operations are the same as method 1.
  • Fig. 13 is a flowchart showing the operation of determining the encoding mode by method 1 '. Since methods 2 ′ to 3 ′ are the same as method 1 ′, the description and illustration are omitted.
  • the direct mode propriety judging unit 1 0 9 is a field encoded later among the top field and the bottom field having the same display order information.
  • the motion compensation encoding unit 1 0 7 is set so that the field that is encoded closest to the encoding target field in time is the field closest to the encoding target field in display time. (Fig. 13, step S 1 1 0).
  • the motion compensation encoding unit 107 generates predicted image data according to the encoding mode determined by the direct mode availability determination unit 10 09 as described above. Hereinafter, the operation will be described for each determined coding mode.
  • the motion compensation encoding unit 107 performs motion compensation using the same method as the temporal direct mode described with reference to FIG. 2 in the background art. That is, the motion vector of the block in the same position as the block to be encoded in the encoded picture is used as a reference motion vector, and the motion compensation encoding unit 1 0 7 This reference motion vector is read out from the motion vector storage unit 10 8, and scaling processing is performed based on the display temporal positional relationship between the reference motion vector and the picture, and the motion vector used in the encoding target block. To predict and generate. Then, using this motion vector, the motion compensation encoding unit 107 performs bi-directional prediction from two reference pictures to generate predicted image data.
  • the motion compensation encoder 1 0 7 does not perform motion vector prediction generation by scaling, but directly performs motion vector prediction. As a result, bi-directional prediction is performed from two reference pictures using ⁇ 0 J to generate predicted image data.
  • the value of the motion vector used at this time is not limited to ⁇ 0, but may be a predetermined value that can be determined without the need for scaling.
  • two motion vectors for two reference pictures are used. Both are described as ⁇ 0 J, but the present invention is not limited to this. At least one of the motion vectors for two reference pictures may be set to “0”.
  • the motion compensation encoding unit 10 07 generates prediction image data by performing bi-directional prediction from two reference pictures using the motion vector detected by the motion vector detection unit 10 06. .
  • the motion compensation encoding unit 107 performs motion compensation using the same method as the spatial direct mode described in the background art with reference to FIG. In other words, among the motion vectors of the three encoded blocks including the three pixels around the block to be encoded, the motion vectors closest to the encoding target picture in terms of display time are already encoded. The motion vector used in the current block is predicted and generated using the motion vector referring to the picture.
  • the motion compensation encoding unit 1 0 7 starts from the direct mode availability determination unit 1 0 9 Based on the instruction, one of the top field and the bottom field having the same display order information is the field closest in display time to the encoding target field.
  • the instruction from the direct mode determination unit 10 9 is the instruction described in the above methods 1 to 3, the top having the same display order information is used.
  • the field having the same attribute as the encoding target field is the field closest to the encoding target field in terms of display time.
  • the motion vector MVA 1 referring to the field P 2_T is determined as a candidate for the first motion vector of the encoding target block.
  • the top field and the bottom field having the same display order information are used.
  • the field encoded later is the field closest in display time to the field to be encoded.
  • the motion vector MVC 1 referring to the field ⁇ 2_ ⁇ is determined as a candidate for the first motion vector MV—F of the encoding target block. The same applies to the determination of the second motion vector, MV— ⁇ .
  • the median value is selected as the motion vector of the block to be encoded. If there are two, the average value of them is obtained and used as the motion vector of the encoding target block. If there is only one (example shown in Fig. 7), the motion vector is set as the motion vector of the current block. Using the motion vector obtained in this way, the motion compensation encoding unit 1 07 is used as a reference pixel. Predictive image data is generated by performing motion compensation from the cutout.
  • the motion compensation encoding unit 10 07 outputs the predicted image data generated as described above to the difference calculation unit 110 and the addition calculation unit 11 1 1. Note that when the motion compensation encoding unit 10 07 selects intra-picture encoding, the predicted image data is not output. In addition, when the intra-picture encoding is selected, the motion compensation encoding unit 1 0 7 connects the switch 1 1 2 to the side where the signal is directly input from the picture memory 1 0 1, and the inter-picture prediction code If the switch is selected, switch 1 1 2 is controlled so as to be connected to the signal input side from difference calculation unit 1 1 0. Further, the motion compensation encoding unit 10 07 outputs the determined encoding mode to the code string generating unit 103.
  • the difference calculation unit 1 1 0 to which the prediction image data from the motion compensation encoding unit 1 0 7 is input is the prediction image data and the image data of the macro block of the picture B 1 1 read out from the picture memory 1 0 1 Is calculated, and prediction residual image data is generated and output to the prediction residual encoding unit 1 0 2.
  • the prediction residual encoding unit 100 to which the prediction residual image data is input, performs encoding processing such as frequency conversion and quantization on the prediction residual image data to generate encoded data.
  • the code string generation unit 10 3 to which the encoded data is input performs variable-length encoding or the like on the encoded data, and roughly the motion vector input from the motion compensation encoding unit 10 7. Generates and outputs a code string by adding information, encoding mode information, etc. For macroblocks encoded in direct mode, motion vector information is not added to the encoded sequence.
  • the motion vector used in the encoding target block is predicted based on the display order information of the picture. It is judged whether it can be generated. If it is determined that it is impossible to predict and generate a motion vector, either the top field or the bottom field having the same display order information is displayed from the encoding target field in terms of display time. Since the process of determining which field is closest to is performed, a motion vector cannot be predicted and generated, and encoding cannot be performed.
  • FIG. 14 is a block diagram showing a configuration of an embodiment of a moving picture decoding apparatus using the moving picture decoding method according to the present invention.
  • the moving picture decoding apparatus includes a code string analysis unit 20 1, a prediction residual decoding unit 2 0 2, a picture memory 2 0 3, a motion compensation decoding unit 2 0 4, a motion vector storage unit 2 0 5, A direct mode feasibility determination unit 2 06, an addition operation unit 2 0 7, and a switch 2 0 8 are provided.
  • the code string analysis unit 201 extracts various data such as information on the re-decoding mode from the input code string and information on the motion vector used at the time of encoding.
  • the prediction residual decoding unit 220 decodes the input prediction residual encoded data to generate prediction residual image data.
  • the motion compensation decoding unit 204 generates motion compensation image data based on the decoding mode information, the motion vector information, and the like.
  • the motion vector storage unit 205 stores the motion vector extracted by the code string analysis unit 2 0 1. Whether the direct mode propriety determination unit 2 06 can perform the scheduling process when the decoding mode extracted by the code string analysis unit 2 0 1 is the temporal direct mode. Determine whether or not, and confirm the decoding mode.
  • the direct mode feasibility determination unit 206 determines whether or not the motion vector used in the decoding target block can be predicted and generated when the decoding mode is the spatial direct mode. Judgment is made.
  • the addition operation unit 2 07 adds the prediction residual image data input from the prediction residual decoding unit 2 0 2 and the motion compensation image data input from the motion compensation decoding unit 2 0 4. Then, decoded image data is generated.
  • the picture memory 203 stores the generated decoded image data.
  • the P picture uses the neighboring I or P picture in the display time order as the reference picture
  • the B picture has the neighboring I or P picture in the display time order and the display time order. It is assumed that the image is coded using a reference I picture or P picture in the back as a reference picture.
  • the code string is input to the code string analyzer 2 0 1 in picture order as shown in FIG. 9 (b).
  • the code string analysis unit 201 extracts various data such as decoding mode information and motion vector information from the input code string.
  • the code string analysis unit 20 1 outputs the extracted decoding mode information to the motion compensation decoding unit 20 4 and the motion vector information to the motion vector storage unit 205.
  • the code string analysis unit 2 0 1 outputs the extracted prediction residual encoded data to the prediction residual decoding unit 2 0 2.
  • the prediction residual decoder 2 0 2 to which the prediction residual encoded data is input decodes the prediction residual encoded data to generate prediction residual image data, and the addition calculation unit 2 0 7 Output to.
  • the picture to be decoded is a B picture and the decoding mode extracted by the code string analysis unit 2101 is the direct mode.
  • the motion compensation decoding unit 2 0 4 to which the decoding mode information is input from the code string analysis unit 2 0 1 determines whether or not to decode the block to be decoded in the direct mode.
  • the direct mode enable / disable judgment unit 2 0 6 is notified.
  • the operation of determining the decoding mode by the direct mode availability determination unit 206 performed when the decoding mode is the direct mode will be described.
  • the operation of determining the decoding mode can be performed by any one of methods 1 to 3 described below.
  • FIG 15 is a flowchart showing the operation of determining the decoding mode by Method 1.
  • the direct mode availability determination unit 2 06 first determines whether or not the temporal direct mode is designated (step S 4 0 1). As a result, if it is determined that the mode is the temporal direct mode, the direct mode propriety determination unit 2 06 determines whether or not field coding is being performed (step S 4 0 2 ). As a result, when it is determined that the field coding is not performed, the direct mode availability determination unit 2 06 decodes the motion compensation decoding unit 2 0 4 in the temporal direct mode. (Step S 4 0 3).
  • the direct mode availability determination unit 2 06 predicts and generates a motion vector to be used in the decoding target block by the scaling process. It is determined whether or not it is possible (step S 4 0 4). In other words, it is determined whether or not the two pictures to be referenced belong to the same frame and are the top field and the bottom field having the same display order information. As a result, When the cabling process is possible (when the condition determination at step S 4 0 4 is NO), the direct mode availability determination unit 2 0 6 is in temporal direct mode with respect to the motion compensation decoding unit 2 0 4. Is instructed to decrypt (step S 4 0 3).
  • step S 4 0 4 when the scaling process is not possible (when the condition determination in step S 4 0 4 is YES), the direct mode enable / disable determining unit 2 0 6 is not in direct mode with respect to the motion compensation decoding unit 2 0 4. Is instructed to perform decryption (step S 4 0 5).
  • step S 4 0 1 if it is determined that the mode is not the temporal direct mode (that is, the spatial direct mode), the direct mode feasibility determining unit 2 06 It is determined whether or not coded encoding is being performed (step S 4 0 6). As a result, if it is determined that the field encoding is not selected, the direct mode propriety determination unit 2 06 is in spatial direct mode with respect to the motion compensation decoding unit 2 0 4. Is instructed to decrypt (step S 4 0 7).
  • the direct mode enable / disable determination unit 2 06 determines whether or not the spatial direct mode is changed. Based on the display order information, it is determined whether or not the motion vector used in the decoding target block can be predicted and generated (step S 4 0 8). That is, among the motion vectors of the three decoded blocks including the three pixels around the block to be decoded, the decoding is already closest to the decoding target picture (field) in display time. It is determined whether there are multiple motion vectors that refer to the converted picture, and the referenced multiple pictures belong to the same frame and have the same display order information. ing.
  • step S 4 0 8 if it is determined that a motion vector can be predicted and generated (when the condition determination in step S 40 8 is N 0), the direct mode availability determination unit 2 06 instructs the motion compensation decoding unit 204 to perform decoding in the spatial direct mode (step S 40 7).
  • the direct mode enable / disable determination unit 2 0 6 uses the same display order.
  • the motion compensation decoding unit 204 sets the field having the same attribute as the field to be decoded as the field closest to the field to be decoded in display time. (Step S 40 9).
  • the field having the same attribute is a top field if the field to be decoded is a top field, and a bottom field if the field to be decoded is a bottom field.
  • the direct mode propriety determination unit 2 06 instructs the motion compensation decoding unit 2004 to perform decoding in the spatial direct mode (step S 4 07).
  • FIG. 16 is a flowchart showing the operation of determining the decoding mode by method 2.
  • steps S 5 0 1 to S 5 04, S 50 6 to S 5 0 9) is the same as method 1 and will not be described.
  • the direct mode enable / disable determination unit 206 determines the motion vector for the motion compensation decoding unit 204. Decryption in the temporal direct mode is instructed with “0” being set to “0” (step S 500). (Method 3)
  • Figure 17 is a flowchart showing the operation of determining the decoding mode by method 3. It should be noted that it is determined that the field encoding is selected and the processing other than the case where it is determined that the scaling process is not possible (steps S 6 0 1 to S 6 0 6, S 6 0 8), Since this is the same as method 1, the explanation is omitted.
  • the direct mode feasibility determination unit 2 0 6 uses the motion vector used in the block to be decoded by the spatial direct mode. It is determined whether or not the torque can be predicted and generated (step S 60 7). Subsequent operations are the same as method 1.
  • FIG. 18 is a flowchart showing the operation of determining the decoding mode by method 1 ′. Since methods 2 ′ to 3 ′ are the same as method 1 ′, the description and illustration are omitted.
  • the direct mode feasibility determining unit 2 0 6 is a field that is decoded later among the top field and the bottom field having the same display order information (that is, the time closest to the field to be decoded in time). Instruct the motion compensation decoder 2 0 4 to set the field (decoded field) to the field that is closest in display time to the field to be decoded (FIG. 18, step S 4 Ten ).
  • the motion compensation decoding unit 20 4 outputs the motion compensation image data in the decoding mode determined by the direct mode propriety determination unit 2 06 as described above. Generate. The operation will be described below for each determined decoding mode.
  • the motion compensation decoding unit 204 performs motion compensation using the same method as the temporal direct mode described with reference to FIG. 2 in the background art. That is, the motion vector of a block in the same position as the block to be decoded in the decoded picture is used as a reference motion vector, and the motion compensation decoding unit 2 0 4 The reference motion vector is read from the motion vector storage unit 205, and the motion vector used in the decoding target block is subjected to scaling processing based on the display temporal positional relationship between the reference motion vector and the picture. Torr is predicted and generated. Then, using this motion vector, the motion compensation decoding unit 204 performs bi-directional prediction from two reference pictures to generate motion compensated image data.
  • the motion compensation decoding unit 2 0 4 does not generate motion vectors by scaling processing, but directly generates motion vectors. Predictive image data is generated by bi-directional prediction from two reference pictures using ⁇ 0 J.
  • the value of the motion vector used at this time is not limited to ⁇ 0, but may be a predetermined value that can be determined without requiring scaling.
  • both motion vectors for two reference pictures are described as ⁇ 0 J.
  • the present invention is not limited to this, and at least one motion vector for two reference pictures is used. May be set to “0 J.
  • the motion compensation decoding unit 20 4 performs encoding from the motion vector storage unit 205.
  • the motion vector used in the above is read, and motion prediction image data is generated by performing bi-directional prediction from two reference pictures using this motion vector.
  • the motion compensation decoding unit 204 performs motion compensation using the same method as the spatial direct mode described in the background art with reference to FIG. That is, among the motion vectors of the three decoded blocks including the three pixels around the block that is the decoding target, the motion vector that is closest to the decoding target picture in terms of display time has already been decoded.
  • the motion vector used in the current block is predicted and generated using the motion vector referring to the picture.
  • the motion compensation decoding unit 2 0 4 has a direct mode availability determination unit 2 0 Based on the instructions from 6, one of the top field and the pottom field having the same display order information is the field closest in display time to the field to be decoded.
  • the decoding target of the top field and the bottom field having the same display order information is the field that is closest to the field to be decoded in display time.
  • the decryption target field of the fields P 2 and P 2 B having the same display order information Field B 3— Same as T Top field P 2 — T is the field closest to the decoding target field in terms of display time. Therefore, the motion vector MVA 1 referring to the field ⁇ 2— ⁇ is determined as the first motion vector candidate of the block to be decoded.
  • the decrypted field is the field closest in display time to the field to be decrypted.
  • fields ⁇ ⁇ 2 __ ⁇ , ⁇ that have the same display order information 2— Of ⁇ later decoded field ⁇ 2— ⁇ is the field closest to the decoding target field in terms of display time. Therefore, the motion vector M V C 1 referring to the field ⁇ 2— ⁇ is determined as a candidate for the first motion vector M V—F of the block to be decoded. The same is true for the second motion vector, M V— ⁇ .
  • the motion vector is the motion vector of the block to be decoded.
  • the motion compensation decoding unit 204 uses the motion vector thus determined to perform motion compensation from the reference picture to generate motion compensated image data.
  • the motion compensation decoding unit 20 4 outputs the motion compensation image data (block) generated as described above to the addition operation unit 2 07.
  • the addition operation unit 2 07 receives the motion compensation image data and the prediction residual decoding unit 2 0 2
  • the prediction residual image data is added to generate decoded image data and store it in the picture memory 203.
  • the same processing is performed for the remaining macroblocks of picture B 11.
  • the picture B 12 is decoded.
  • the pictures decoded as described above are sequentially output from the picture memory 203 as output images as shown in FIG. 9 (a).
  • the extracted decoding mode is the temporal direct mode
  • the process such as changing the decoding mode is performed, so that the scaling process cannot be performed and the decoding cannot be performed.
  • the motion vector used in the encoding target blog is predicted and generated based on the display order information of the picture. It is determined whether or not it is possible. When it is determined that it is impossible to predict and generate a motion vector, either the top field or the bottom field having the same display order information is displayed from the decoding target field in terms of display time. Since the process that specifies which field is closest to is performed, a motion vector cannot be predicted and generated, and decoding cannot be performed.
  • the motion compensation encoding unit 10 07 when encoding in the spatial direct mode, performs encoding of three encoded blocks including three pixels around the block to be encoded. Of each movement vector Therefore, when determining motion vector candidates for the encoding target block, a motion vector that refers to an already encoded pixel that is closest in display time to the encoding target picture is determined as a candidate. However, it is not limited to this. For example, at the time of field encoding, a motion vector that refers to a field that is closest to the encoding target field in terms of display time from among the fields having the same attributes as the encoding target field is determined as a candidate. It doesn't matter.
  • the present embodiment first determines candidates based on the display order information, but first determines the candidates by giving priority to the field having the same attribute. Become.
  • each picture is described as being adaptively encoded and decoded using either a frame structure or a field structure. Even if the encoding and decoding processing is adaptively performed using any of the field structures, it can be performed by the same processing as the present invention, and the same effect can be obtained.
  • the P picture has been described as a picture that is processed with reference to a picture in one forward direction
  • the B picture has been described as a picture that is processed with reference to two pictures in the front and rear directions. Even if these P pictures are processed with reference to the picture in the backward direction 1, and the B picture is processed with reference to the picture in the forward 2 direction or backward 2 direction, the same effect can be obtained.
  • the display order information in the embodiment of the present invention is not limited to the display order, but the actual display time or a predetermined picture whose value increases as the display time value increases. It may be the relative order of each picture as a reference. (Embodiment 2)
  • FIG. 19 is an explanatory diagram when the computer system uses the flexible disk storing the image encoding method or the image decoding method of the first embodiment.
  • Figure 19 (b) shows the appearance, cross-sectional structure, and flexible disk as seen from the front of the flexible disk
  • Figure 19 (a) shows an example of the physical format ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ of the flexible disk that is the recording medium body.
  • the flexible disk FD is built in the case F, and on the surface of the disk, a plurality of tracks Tr are formed concentrically from the outer periphery toward the inner periphery, and each track has 16 sectors in the angular direction. It is divided into Se. Therefore, in the flexible disk storing the program, the image encoding method as the program is recorded in an area allocated on the flexible disk FD.
  • Fig. 19 (c) shows a configuration for recording and reproducing the above program on the flexible disk FD.
  • the program is recorded on the flexible disk FD
  • the image encoding method or the image decoding method as the program is written from the computer system C s via the flexible disk drive.
  • the program is read from the flexible disk by a flexible disk drive and transferred to the computer system.
  • the flexible disk is used as the recording medium, but the same can be done using an optical disk.
  • the recording medium is not limited to this, and any recording medium such as an IC card or a ROM cassette that can record a program can be similarly implemented.
  • FIG. 20 is a block diagram showing the overall configuration of a content supply system ex 100 that implements a content distribution service.
  • the communication service provider area is divided into cells of desired size, and base stations ex 10 07 to ex 110, which are fixed radio stations, are installed in each cell.
  • This content supply system ex 1 0 0 is, for example, an Internet service provider ex 1 0 2 and a telephone network ex 1 0 4 and a base station ex 1 0 7 to ex 1 1 0 through the computer ex 1 1 1, PDA (personal digital assistant) ex 1 1 2, camera ex 1 1 3, mobile phone ex 1 1 4, mobile phone with camera ex 1 1 5, etc. Connected.
  • PDA personal digital assistant
  • each device may be directly connected to the telephone network ex 1 0 4 without going through the base stations ex 1 0 7 to ex 1 1 0 which are fixed wireless stations.
  • the camera ex l 1 3 is a device that can shoot movies such as a digital video camera.
  • mobile phones include PDC (Personal Digital Communications), CDMA (Code Division Multiple Access), W—CDMA (Wideb and—Code Division Multiple Access), or GSM (Global System for Mobile). Communications) mobile phone or PHS (Persona I Handyphone System), etc. No
  • the streaming server ex 1 0 3 is connected from the camera ex 1 1 3 through the base station ex 1 0 9 and the telephone network ex 1 0 4, and the user can use the camera ex 1 1 3 Live distribution based on the encoded data to be transmitted becomes possible.
  • the encoded data may be encoded by the camera ex 1 1 3 or by a server that performs data transmission processing. Further, the moving image data shot by the camera ex 1 1 6 may be transmitted to the streaming server ex 1 0 3 via the computer ex 1 1 1.
  • the power camera ex 1 1 6 is a device that can shoot still images and movies such as digital cameras. In this case, the video data may be encoded with the camera ex 1 1 6 or with the computer ex l 1 1.
  • the encoding process is performed in L S I e 1 1 7 of the computer ex l 1 1 and the camera ex 1 1 6.
  • the moving image encoding / decoding software may be incorporated in any storage medium (CD-ROM, flexible disk, hard disk, etc.) that can be read by the computer ex 1 1 1 or the like.
  • the moving image data at this time is data encoded by L S I included in the mobile phone ex l 15.
  • this content supply system ex 1 0 content (for example, a video of music live) taken by a user with a camera ex l 1 3 or a camera ex 1 1 6 is similar to the above embodiment.
  • the encoded data is sent to the streaming server ex 1 0 3 while the streaming server ex 1 0 3 delivers the above content data to the requested client 3 .
  • the client there are computer ex l 1 1, PDA ex 1 1 2, camera ex 1 1 3, mobile phone ex l 1 4, etc. that can decode the above encoded data is there.
  • the content The supply system ex100 can receive and play back the encoded data at the client, and can also receive private broadcasts by receiving, decoding and playing back in real time on the client side. System.
  • the moving picture encoding apparatus or moving picture decoding apparatus described in the above embodiments may be used.
  • FIG. 21 is a diagram showing a mobile phone ex 115 using the moving picture coding method and the moving picture decoding method described in the above embodiment.
  • the mobile phone exl 1 5 is an antenna ex 2 0 1 for transmitting and receiving radio waves to and from the base station ex1 1 0, a power camera unit ex 2 0 3 that can capture images from a CCD camera, etc., and still images,
  • Power display unit ex 2 0 2 display unit such as liquid crystal display that displays decoded data of video taken with ex 2 0 3 and video received with antenna ex 2 0 1 group of operation keys e X 2 0 4
  • Main unit composed of: voice output unit for voice output ex 2 0 8 for audio output, audio input unit ex2 0 5 for microphones for voice input, video or still image data taken Recording media to store encoded data or decoded data, such as received mail data, video data or still image data ex 2 0 7, mobile phone ex 1 1 5 Has a slot part ex 20 6 to enable mounting of the recording medium ex 2 0 7Recording
  • Mobile phone exl 1 5 is a main unit with display ex2 0 2 and operation keys ex 2 0 4
  • the power supply circuit unit ex 3 1 0, the operation input control unit ex 3 0 4, the image encoding unit ex 3 1 2, and the camera Liner part ex 3 0 3
  • LCD Liquid Crystal Display
  • control part ex3 0 2 Image decoding part ex3 0 9, Demultiplexing part ex 3 0 8
  • Modulation / demodulation circuit part ex 3 0 6 and the audio processing unit ex 3 0 5 are connected to each other via a synchronous bus ex 3 1 3.
  • the power circuit part ex3 10 can operate the digital mobile phone with remote camera exl 1 5 by supplying power to each part from the battery pack when the end call and power key are turned on by the user's operation. Start to state.
  • the mobile phone ex 1 1 5 is based on the control of the main control unit ex 3 1 1 consisting of CPU, ROM, RAM, etc., and the audio signal collected by the audio input unit ex 2 0 5 in the voice call mode Ex 3 0 5 converts to digital audio data, this is modulated by the modulation / demodulation circuit unit ex 3 0 6 and the digital analog conversion processing and frequency conversion processing are performed by the transmission / reception circuit unit ex 3 0 1 And then transmit via antenna ex 20 1.
  • the mobile phone ex 1 1 5 amplifies the received data received by the antenna ex 2 0 1 in the voice call mode and performs frequency conversion processing and analog digital conversion processing.
  • the spectrum is despread and converted to analog audio data by the audio processing unit ex 30 5, and then output through the audio output unit ex 20 8.
  • the text data of the e-mail input by operating the operation key e X 2 0 4 on the main unit is sent to the main control unit via the operation input control unit ex3 0 4.
  • ex3 1 Sent to 1.
  • the main control unit ex 3 1 1 performs spectral spread processing on the text data in the modulation / demodulation circuit unit ex 3 0 6 and digital / analog conversion in the transmission / reception circuit unit ex 3 0 1.
  • the data is transmitted to the base station ex 1 1 0 via the antenna ex 2 0 1.
  • the image data captured by the camera unit ex 2 0 3 is supplied to the image encoding unit ex 3 1 2 via the camera interface unit ex 3 0 3.
  • the image data captured by the camera unit ex 20 3 is transferred to the display unit ex 2 0 2 via the camera interface unit ex3 03 and the LCD control unit ex 3 0 2. Direct display is also possible.
  • the image encoding unit ex 3 12 has a configuration including the moving image encoding apparatus described in the present invention, and the image data supplied from the camera unit ex2 0 3 is the moving image code shown in the above embodiment. It is converted into encoded image data by compression encoding using the encoding method used in the encoding apparatus, and this is sent to the demultiplexing unit ex 3 0 8. At the same time, the mobile phone exl 1 5 multiplexes the sound collected by the audio input unit ex 2 0 5 during imaging with the camera unit ex 20 3 as digital audio data via the audio processing unit ex 3 0 5. Send to separation part ex 3 0 8
  • the demultiplexing unit ex3 0 8 multiplexes the encoded image data supplied from the image encoding unit ex 3 12 and the audio data supplied from the audio processing unit ex 3 0 5 by a predetermined method, and obtains the result.
  • the resulting multiplexed data is subjected to spectrum spreading processing by the modulation / demodulation circuit unit ex 3 0 6, digital digital conversion processing and frequency conversion processing by the transmission / reception circuit unit ex 3 0 1, and then transmitted via the antenna ex 2 0 1 To do.
  • the received data received from the base station exl 1 0 via the antenna ex2 0 1 is speculated in the modulation / demodulation circuit unit ex 3 0 6 Tram despreading is performed, and the resulting multiplexed data is sent to the demultiplexer ex3 08.
  • the demultiplexing unit ex 3 0 8 separates the multiplexed data to generate a bit stream of the image data.
  • the encoded image data is supplied to the image decoding unit ex 3 0 9 via the synchronous bus ex 3 1 3 and the audio data is supplied to the audio processing unit ex 3 0. Supply to 5.
  • the image decoding unit ex 3 09 has a configuration including the moving image decoding apparatus described in the present invention, and the bit stream of the image data is applied to the encoding method shown in the above embodiment.
  • Replayed video data is generated by decoding with a corresponding decoding method, and this is supplied to the display unit ex 2 0 2 via the LCD control unit ex 3 0 2, which links to, for example, a homepage
  • the video data included in the selected video file is displayed.
  • the audio processing unit ex 3 0 5 converts the audio data into analog audio data, and then supplies this to the audio output unit ex 2 0 8, so that, for example, a moving image file linked to the homepage is generated.
  • the included audio data is played back.
  • the present invention is not limited to the above system, and recently, digital broadcasting by satellite and terrestrial has become a hot topic.
  • Either an encoding device or a video decoding device can be incorporated.
  • a bit stream of video information is transmitted to the communication or broadcasting satellite ex 4 10 via radio waves at the broadcasting station ex 4 0 9.
  • the broadcasting satellite ex 4 1 0 transmits a radio wave for broadcasting, receives this radio wave with a home antenna ex 4 0 6 having a satellite broadcasting receiving facility, and receives a television (receiver) ex 4 0 1 or Bitstream is decoded and played back by a device such as set top box (STB) ex 40 07.
  • STB set top box
  • the moving picture decoding apparatus described in the above embodiment can also be implemented in a playback apparatus ex403 that reads and decodes a bitstream recorded in ex402.
  • the reproduced video signal is displayed on the monitor ex404.
  • a video decoding device is installed in the set-top box ex40 7 connected to the cable ex40 5 for cable TV or the antenna ex4 0 6 for seiseisei terrestrial broadcasting. A configuration that plays back at 0 8 is also conceivable.
  • the moving picture decoding apparatus may be incorporated in the television instead of the set top box.
  • the car ex 4 1 2 with the antenna ex4 1 1 receives signals from the satellite ex 4 1 0 or the base station ex 1 0 7 etc., and the car ex 4 1 2 has the force navigation gauge ex 4 1 3 It is also possible to play a video on a display device such as.
  • the image signal can be encoded by the moving image encoding apparatus shown in the above embodiment and recorded on a recording medium.
  • a recorder e x4 2 0 such as a DVD recorder that records image signals on a DVD disk e X 4 2 1 or a disk recorder that records data on a hard disk. It can also be recorded on the SD card e X 4 2 2. If the recorder ex 4 2 0 is equipped with the video decoding device shown in the above embodiment, the image signal recorded on the DVD disc e X 4 2 1 or the SD card ex 4 2 2 is played back and the monitor ex 4 0 8 can be displayed.
  • the configuration can be considered, and the same can be considered for the computer exl 1 1 and the television (receiver) ex40 1.
  • the mobile phone ex 1 1 4 and the like have three types of terminals: a transmission terminal having only an encoder and a receiving terminal having only a decoder.
  • the implementation form of can be considered.
  • the moving picture coding method or the moving picture decoding method shown in the above embodiment can be used in any of the above-described apparatus (1) and system, and as a result, described in the above embodiment. An effect can be obtained.
  • the moving picture encoding method and the moving picture decoding method according to the present invention encode a picture string by encoding each picture constituting a moving picture, for example, with a mobile phone, a DVD device, a personal computer, or the like. This is useful as a method for generating or decoding a generated code string.

Description

明 細 書 動画像符号化方法および動画像復号化方法 技術分野
本発明は、 動画像を構成する各ピクチャをフ レーム構造またはフィー ルド構造により符号化および復号化を行う動画像符号化方法および動画 像復号化方法、 動画像符号化装置、 動画像復号化装置、 およびそれをソ フ トウェアで実施するためのプログラムに関する。 背景技術
動画像符号化においては、 一般に動画像が有する空間方向および時間 方向の冗長性を利用して情報量の圧縮を行う。 ここで、 時間方向の冗長 性を利用する方法として、 ピクチャ間予測符号化が用いられる。 ピクチ ャ間予測符号化では、 あるピクチャを符号化する際に、 表示時間順で前 方または後方にあるピクチャを参照ピクチャとする。 そして、 その参照 ピクチャからの動き量を検出し、 動き補償を行ったピクチャと符号化対 象のピクチャとの差分値に対して空間方向の冗長度を取り除く ことによ リ情報量の圧縮を行う。
現在標準化中の H . 2 6 4と呼ばれる動画像符号化方式では、 参照ピ クチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号 化を行う ピクチャを I ピクチャと呼ぶ。 ここでピクチャとは、 フレーム およ フィール ドの両者を包含する 1 つの符号化の単位を意味する。 ま た、 既に処理済みの 1枚のピクチャを参照してピクチャ間予測符号化す るピクチャを Pピクチヤと呼び、 既に処理済みの 2枚のピクチャを同時 に参照してピクチャ間予測符号化するピクチャを Bピクチヤと呼ぶ。 図 1 は、 上記の動画像符号化方式における各ピクチャの予測関係を示 す模式図である。 図 1 において、 縦線は 1 枚のピクチャを示しており、 各ピクチャの右下にピクチャタイプ （ 1 、 P、 B ) を示している。 また 図 1 中の矢印は、 矢印の始端にあるピクチャが、 矢印の終端にあるピク チヤを参照ピクチャとして用いてピクチャ間予測符号化することを示し ている。 例えば、 先頭から 2枚目の Bピクチャは、 先頭の I ピクチャと 先頭から 4枚目の Pピクチャを参照ピクチャと して用いることによリ符 号化する。
H . 2 6 4方式では、 Bピクチャの符号化において、 ダイレク トモー ドという符号化モードを選択することができる。 このダイ レク 卜モード には、 時間的方法と空間的方法との 2種類の方法がある。 時間的ダイレ ク トモードでは、 符号化対象ブロック自体は動きベク トルを持たず、 符 号化済みの他のピクチャの動きべク トルを参照動きべク トルとして、 ピ クチャ間の表示時間的位置関係に基づいてスケーリング処理を行うこと によって、 符号化対象ブロックで用いる動きべク トルを予測して生成し ている （例えば、 特開平 1 1一 7 5 1 9 1号公報参照）。
図 2は、 時間的ダイレク 卜モー ドにおける動きべク トルの予測生成方 法を示す模式図であり、 Pは Pピクチヤ、 Bは Bピクチヤを示し、 ピク チヤタイプに付している数字は各ピクチャの表示順を示している。また、 各ピクチャ P 1 、 B 2、 B 3、 P 4は、 それぞれ表示順情報 T 1 、 Τ 2、 Τ 3、 Τ 4を有している。 ここでは、 図 2に示すピクチャ Β 3のブロッ ク B L Oを時間的ダイ レク トモードで符号化する場合について説明する。 この場合、 ピクチャ Β 3の表示時間的に近傍に位置する既に符号化済 みピクチャであるピクチャ Ρ 4中の、 ブロック B L Oと同じ位置にある ブロック B L 1 の動きべク トル M V 1 を利用する。 この動きべク トル Μ V 1 は、 ブロック B L 1 が符号化された際に用いられた動きべク トルで あり、 ピクチャ P 1 を参照している。 この場合にブロック B L Oを符号 化する際に用いる動きべク トルは ピクチャ Ρ 1 に対しては動きべク 卜 ル M V_ F、 ピクチャ P 4に対しては動きべク トル M V— Bとなる の際、 動きべク トル M V 1 の大きさを Μ V、 動きべク トル M V— Fの大 きさを M V f 、 動きべク トル M V Βの大きさを M V bとすると、 M V f 、 M V bはそれぞれ式 1 a、 式 1 bによって得られる。
M V f = ( T 3 - T 1 ) Z ( Τ 4 - T 1 ) X M V - (式 1 a )
M V b = ( T 3 - T 4 ) / ( Τ 4 - T 1 ) X M V ·■■ (式 1 b ) このように動きべク 卜ル M V 1 からスケーリング処理を行うことによ つて得られた動きべク トル M V— F 、 動きべク トル M V— Bを用いて、 参照ピクチャであるピクチャ Ρ 1 とピクチャ P 4からブロック B L 0の 動き補償を行う。
一方、 空間的ダイ レク 卜モードでは、 時間的ダイ レク トモードと同様 に符号化対象ブロック自体は動きべク トルを持たず、 符号化対象ブロッ クの空間的に周辺に位置する符号化済みブロックの持つ動きベク トルを 参照し、 それを用いて符号化を行ってい
図 3は、 空間的ダイ レク トモードにおける動きべク トルの予測生成方 法を示す模式図であり、 Pは Pピクチヤ 、 Bは Bピクチャを示し、 ピク チヤタイプに付している数字は各ピクチャの表示順を示している。 ここ では、 図 3に示すピクチャ B 3のブロック Bし 0を空間的ダイ レク トモ 一ドで符号化する場合について説明する
この場合、 符号化対象であるブロック B L 0の周辺の 3画素 A、 B、
Cを含む符号化済みのブロックのそれぞれの動きべク トル M V A 1 、 M V B 1 、 M V C 1 のうち、 符号化対象ピクチャから表示時間的に最も近 くにある既に符号化されたピクチャを参照した動きべク トルを、 符号化 対象ブロックの動きべク トルの候補と して決定する。 この決定した動き べク トルが 3つである場合には、 それらの中央値を符号化対象ブロック の動きベク トルとして選択する。 また、 2つである場合には、 それらの 平均値を求め、 符号化対象ブロックの動きベク トルとする。 また、 1 つ だけである場合には、 その動きべク トルを符号化対象ブロックの動きべ ク トルとする。 図 3に示す例では、 動きべク トル M V A 1 、 M V C 1 は ピクチャ P 2を参照して求められ、 動きべク トル M V B 1 はピクチャ P 1 を参照して求められている。 よって、 符号化対象ピクチャから表示時 間的に最も近くにある既に符号化されたピクチャであるピクチャ P 2を 参照した動きベク トル M V A 1 、 M V C 1 の平均値を求め、 符号化対象 ブロックの 1 つめの動きベク トルである M V— Fとする。 2つめの動き べク トルである M V— Bを求める場合も同様である。
ところで、 H . 2 6 4の符号化方式では、 プログレッシブ画像につい て、 1枚のピクチャをフレームのままでフレーム符号化することに加え て、 インタ一レース画像に対して使用される 1 枚のピクチャを トップフ ィ一ルド、 ボトムフィールドの 2枚のフィールドに分けて符号化するフ ィ一ルド符号化を使用することが許されている。
図 4は、 インターレース画像およびプログレッシブ画像におけるフィ ールドが有する表示順情報を示す模式図であり、 同じフレーム番号を有 する 2本の縦線はそれぞれフィール ドを示している。 インターレース画 像では、 図 4 (a) に示すようにトップフィールドとボトムフィールドは 等間隔になるように表示順情報が割り当てられる。 一方、 プログレッシ ブ画像では、 図 4 (b) に示すように 2枚のフィール ドは同じ表示順情報 を持たせることにより、正確な表示順関係を表現することが可能となる。 以下では同じフレームに属する 2枚のフィールドが同じ表示順情報をも つ画像をプログレッシブ画像、 そうでない画像をインタ一レース画像と 呼ぶが、 これに限ったものでなく、 どのような画像に対しても同じフレ —ムに属する 2枚のフィールドに同じ表示順情報を持たせることは可能 である。
そこで、 インタ一レース画像おょぴプログレッシブ画像でフィール ド 符号化を行った場合、 時間的ダイ レク トモードが選択されると、 各フィ —ルドが有する表示順情報を用いて背景技術で説明した方法を用いて動 きべク トルをスケーリングすることになる。 このとき、 参照する 2枚の ピクチャが同じフレームに属する トップフィールドとポトムフィールド となる場合が存在する。 この場合について、 インターレース画像および プログレッシブ画像それぞれの場合に分けて、 以下説明する。
図 5は、 インタ一レース画像での時間的ダイレク トモードにおける動 きベク トルの予測生成方法を示す模式図であり、 Pは Pピクチヤ、 Bは Bピクチャを示し、 ピクチャタイプに付している数字は各ピクチャの表 示順を示している。 ここでは、 図 5に示すピクチャ B 2のブロック B L 0を時間的ダイ レク トモードでフィールド符号化する場合について説明 する。
この場合、ピクチャ B 2の後方参照ピクチャであるピクチャ P 3中の、 ブロック B L 0と同じ位置にあるブ Pック B L 1 の動きべク トル M V 1 を利用する 。 この動きべク 卜ル M V 1 は 、 ブロック B L 1 が符号化され た際に用いられた動きべク トルであ y、 同じピクチャ P 3の 卜ップフィ 一ル ドを参照している。 この場合にプロック B L 0を符号化する際に用 いる動きべク 卜ル M V— F、 動き ク 卜ル M V— Bは上吕己式 1 a、 式 1 bによって以下のように求めることができる
M V f = ( 4 - 5 ) / ( 6— 5 ) M V =一 M V
M V b = ( 4一 6 ) / ( 6 - 5 ) X M V = - 2 M V
図 6は、 プログレッシブ画像での時間的ダイ レク トモードにおける動 きベク トルの予測生成方法を示す模式図であり、 Pは Pピクチヤ、 Bは Bピクチャを示し、 ピクチャタイプに付している数字は各ピクチャの表 示順を示している。 ここでは、 図 6に示すピクチャ B 2のブロック B L 0を時間的ダイ レク トモードでフィールド符号化する場合について説明 する。
この場合、ピクチャ B 2の後方参照ピクチャであるピクチャ P 3中の、 ブロック B L 0と同じ位置にあるブロック B L 1 の動きベク トル M V 1 を利用する。 この動きべク 卜ル M V 1 は、 ブロック B L 1 が符号化され た際に用いられた動きべク 卜ルであリ、 同じピクチャ P 3の トップフィ 一ルドを参照してい Έ) の場合にブロック B L 0を符号化する際に用 いる動きべク トル M V _ F 動きべク トノレ M V _ Bは上記式 1 a、 式 1 bでは以下のように分母が 0になつてしまい 、 求めることができない。
M V f = ( 3一 5 ) / ( 5 - 5 ) M V 演算不可
M V b = ( 3一 5 ) / ( 5 - 5 ) M V 演算不可
このように、 プロフレツンブ画像でフィ一ルド符号化を行った場合、 時間的ダイレク 卜モ一ドが 択され 、 参照する 2枚のピクチャが同じフ レームに属する 卜ップフィ ―ルドとボトムフィールドであった場合には、 スケーリング処理により動さべク トルを予測して生成することができな い
同様に、 インタ一レース画像およびプログレッシブ画像でフィールド、 符号化を行った rc間的ダイ レク 卜モードが選択されると、 各フィ
―ルドが有する表示順情報を用いて上記のように符号化対象ピクチャか ら表示時間的に IS 近くにある既に符号化されたピクチャを参照した動 きべク トルを、 符号化対象ブロックの動きべク トルの候補として決定す ことになる。 このとき 、 動きベク トルが参照するピクチャが同じフレ ー厶に属する トップフィールドとポトムフィ一ルドとなる場合が存在す る。 図 7は、 プログレッシブ画像での空間的ダイレク トモ一ドにおける動 きベク トルの予測生成方法を示す模式図であり、 Pは Pピクチヤ、 Bは Bピクチャを示し、 ピクチャタイプに付している数字は各ピクチャの表 示順を示し、 最後に付している Tはトップフィールド、 Bはボトムフィ 一ルドを示している。 ここでは、 図 7に示すピクチャ B 3— Tのブロッ ク B L 0を空間的ダイレク トモードでフィールド符号化する場合につい て説明する。
この場合、 符号化対象であるブロック B L Oの周辺の 3画素 A、 B、 Cを含む符号化済みのブロックのそれぞれの動きべク トル M V A 1 、 M V B 1 、 M V C 1 はそれぞれフィール ド P 2一丁、 P I — B、 P 2— B を参照している。 このうちフィールド P 2_T、 Ρ 2一 Βは、 同じフレ —ムに属する トップフィールドとボトムフィールドであるので、 同じ表 示順情報を持っている。 よって、 フィール ド Ρ 2—丁、 Ρ 2— Βのうち どちらが符号化対象ピクチャから表示時間的に最も近くにあるかを特定 することができない。 したがって、 符号化対象ブロックの動きベク トル を予測して生成することができない。 発明の開示
そこで、 本発明は上記の事情に鑑みてなされたものであり、 動画像を フィールド符号化および復号化を行う場合に、 ダイレク トモードが選択 されても確実に動きベク トルを求めることができる動画像符号化方法お よび動画像復号化方法等を提供することを目的とする。
上記目的を達成するために、 本発明に係る動画像符号化方法は、 動画 像を構成する各ピクチャをフレーム構造またはフィールド構造によリ符 号化する方法であって、 既に符号化されたピクチャを参照して、 ピクチ ャを構成するブロックごとに動きべク トルを算出する動きべク トル算出 ステップと、 処理対象プロックの符号化モ一ドを決定するモ一ド決定ス テツプと、 前記モー ド決定ステップで決定された符号化モードが、 表示 時間的に近傍にある符号化済みピクチャの有する動きベク トルを参照動 きべク トルとして、 参照ピクチャ間の表示時間的位置関係に基づいて前 記参照動きべク トルのスケーリング処理を行うことによって当該処理対 象ブロックの動きベク トルを予測して生成する符号化モードである場合、 当該処理対象ブロックの動きベク トルを予測して生成することができる か否かを判定するスケ一リング判定ステツプと、 前記スケ一リング判定 ステップの判定結果に基づいて、 前記モード決定ステップで決定された 符号化モードをそのままもしくは更新して使用することにより動き補償 を行う動き補償ステップとを含むことを特徴とする。
これによつて、 表示時間的に近傍にある符号化済みピクチャの有する 動きべク トルを参照動きべク トルと して、 参照ピクチャ間の表示時間的 位置関係に基づいて参照動きベク トルのスケーリング処理を行うことに よって処理対象プロックの動きべク トルを予測して生成する時間的ダイ レク 卜モードにより符号化を行う場合に、 スケーリング処理が可能でな くても、 符号化モー ドを変更する等の処理を行って処理対象ブロックを 符号化することができる。
また、 本発明に係る動画像符号化方法は、 動画像を構成する各ピクチ ャをフ レーム構造またはフィール ド構造により符号化する方法であって、 既に符号化されたピクチャを参照して、 ピクチャを構成するブロックご とに動きべク トルを算出する動きべク トル算出ステップと、 処理対象ブ 口ックの空間的周辺に位置する既に符号化されたプロックの有する動き べク トルのうち、 処理対象ピクチャから表示時間的に最も近くにある既 に符号化されたピクチャを参照した動きベク トルに基づいて、 当該処理 対象ブロックの動きべク トルを予測生成して符号化する場合、 当該処理 対象ブロックの動きベク トルを予測して生成することができるか否かを 判定する予測判定ステップと、 前記予測判定ステップで前記動きべク ト ルを生成することができないと判定された場合に、 当該処理対象ピクチ ャから最も近いとするピクチャを表示順情報以外の情報を用いて決定す る最近ピクチャ決定ステップとを含むことを特徴とする。
これによつて、 処理対象ブロックの空間的周辺に位置する既に符号化 されたブロックの有する動きべク トルのうち、 処理対象ピクチヤから表 示時間的に最も近くにある既に符号化されたピクチャを参照した動きべ ク 卜ルに基づいて、 処理対象ブロックの動きべク トルを予測生成する空 間的ダイ レク 卜モードにより符号化を行う場合に、 ピクチャの有する表 示順情報に基づいて動きベク トルを予測して生成することが可能でなく ても、 符号化対象ピクチャから最も近くにあるピクチャを決定する処理 を行って、 動きべク トルを予測して生成し、 処理対象プロックを符号化 することができる
また、 本発明に係る動画像復号化方法は、 動画像を構成する各ピクチ ャをフレーム構造またはフィ一ルド構造によリ復号化する方法であって、 既に復号化されたピクチャを参照して、 ピクチャを構成するブロックご とに動きべク トルを算出する動きべク トル算出ステップと、 処理対象ブ 口ックの復号化モ—ドを抽出するモード抽出ステップと、 前記モード抽 出ステップで抽出された復号化モードが、 表示時間的に近傍にある復号 化済みピクチャの有する動きべク トルを参照動きべク 卜ルとして、 参照 ピクチャ間の表示時間的位置関係に基づいて前記参照動きベク トルのス ケ一リング処理を行うことによって当該処理対象ブロックの動きべク ト ルを予測して生成する復号化モードである場合、 当該処理対象ブロック の動きべク 卜ルを予測して生成することができるか否かを判定するスケ 一リング判定ステツプと、 前記スケーリング判定ステツプの判定結果に 基づいて、 前記モード抽出ステップで抽出された復号化モードをそのま まもしくは更新して使用することにより動き補償を行う動き補償ステツ プとを含むことを特徴とする。
これによつて、 抽出した符号化時の符号化モードが時間的ダイ レク ト モードであるにもかかわらず、 スケーリング処理が可能でない場合に、 復号化モードを変更する等の処理を行って処理対象ブロックを復号化す ることができる。
また、 本発明に係る動画像復号化方法は、 動画像を構成する各ピクチ ャをフレーム構造またはフィ一ルド構造によリ復号化する方法であって、 既に復号化されたピクチャを参照して、 ピクチャを構成するブロックご とに動きべク トルを算出する動きべク トル算出ステップと、 処理対象ブ ロックの空間的周辺に位置する既に復号化されたブロックの有する動き べク トルのうち、 処理対象ピクチャから表示時間的に最も近くにある既 に復号化されたピクチャを参照した動きべク トルに基づいて、 当該処理 対象ブロックの動きベク トルを予測生成して復号化する場合、 当該処理 対象ブロックの動きベク トルを予測して生成することができるか否かを 判定する予測判定ステップと、 前記予測判定ステップで前記動きべク ト ルを生成することができないと判定された場合に、 当該処理対象ピクチ ャから最も近いとするピクチャを表示順情報以外の情報を用いて決定す る最近ピクチャ決定ステップとを含むことを特徴とする。
これによつて、 空間的ダイレク 卜モードによリ復号化を行う場合に、 ピクチャの有する表示順情報に基づいて動きベク トルを予測して生成す ることが可能でなくても、 復号化対象ピクチャから最も近くにあるピク チヤを決定する処理を行って、 動きべク トルを予測して生成し、 処理対 象ブロックを復号化することができる。
さらに、 本発明は、 このような動画像符号化方法および動画像復号化 方法と して実現することができるだけでなく、 このような動画像符号化 方法および動画像復号化方法が含む特徴的なステップを手段として備え る動画像符号化装置および動画像復号化装置として実現したり、 それら のステップをコンピュータに実行させるプログラムとして実現したりす ることもできる。 そして、 そのようなプログラムは、 C D— R O M等の 記録媒体ゃィンタ一ネッ ト等の伝送媒体を介して配信することができる のは言うまでもない。
また、 本発明の動画像符号化方法は、 以下の （ 1 ) 〜 （ 1 1 ) の何れ かの構成とすることができる。
( 1 ) 動画像を構成する各ピクチャをフ レーム構造またはフィール ド構 造により符号化する方法であって、 既に符号化されたピクチャを参照し て、 ピクチャを構成するブロックごとに動きべク トルを算出する動きべ ク トル算出ステップと、 処理対象プロックの符号化モードを決定するモ ード決定ステップと 、 刖記モード決定ステップで決定された符号化モー ドが、 表示時間的に近傍にある符号化済みピクチャの有する動きべク ト ルを参照動きべク トルと して、 参照ピクチャ間の表示時間的位置関係に 基づいて前記参照動きべク トルのスケーリング処理を行うことによって 当該処理対象プロックの動きべク トルを予測して生成する符号化モード である場合、 当該処理対象ブロックの動きべク 卜ルを予測して生成する ことができるか否かを判定するスケーリング判定ステップと、 前記スケ
-リ ング判定ステツプの判定結果に基づいて、 前記モード決定ステツプ で決定された符号化モードをそのままもしくは更新して使用することに より動き補償を行う動き補償ステップを有する。
( 2 ) 前記スケーリング判定ステップでは、 前記スケーリング処理で参 照する 2つのピクチャが有する表示順情報が同じ場合に、 前記スケ一リ ング処理を行うことによって当該処理対象ブロックの動きベク トルを予 測して生成することができないと判定する。
( 3 ) 前記スケーリング判定ステツプでは、 前記スケーリング処理で参 ハ昭、、する 2つのピクチャが、 同一フレームに属する トップフィールドとボ 卜ムフィール ドであり前記 2つのフィール ドが共に同じ表示順情報を有 していた場合に、 前記スケ —リング処理を行うことによつて当該処理対 象ブロックの動きべク トルを予測して生成することができないと判定す
( 4 ) 刖記動き補償ステツプでは、 前記スケーリング判定ステップで刖 記動きベク 卜ルを生成することができないと判定された場合に 、 刖記動 きべク 卜ル算出ステップで算出した当該処理対象ブロックの動きべク ト ルを用いて符号化する符号化モードに変更して動き補償を行う o
( 5 ) 盲 IJ記動き補償ステツプでは、 前記スケーリング判定ス亍ップで刖 記動きベク トルを生成することができないと判定された場合に 、 fij sBス ケーリング処理を行わずに、 当該処理対象プロックの前記予測して生成 される動きべク トルをあらかじめ設定された所定の値のべク トルと して
HIJ記モ一ド決定ステップで決定された符号化モー ドを用いて動き補償を 行う。
( 6 ) 刖記所定のべク トルめ少なく とも 1 つは 0べク トルであリ、 前記 動き補償ステツプでは、 前記スケーリング判定ステツプで前記動きべク トルを生成することができないと判定された場合に、 前記スケーリング 処理を行わずに、 当該処理対象ブロックの前記予測して生成される動き べク トルの少なく とも 1 つを 0べク トルとして、 前記モード決定ス亍ッ プで決定された符号化モードを用いて動き補償を行う。
( 7 ) 前記動き補償ステップでは、 前記スケーリング判定ステップで前 記動きベク トルを生成することができないと判定された場合に、 当該処 理対象ブロックの空間的周辺に位置する既に符号化されたブロックの有 する動きべク 卜ルに基づいて、 当該処理対象ブロックの動きべク トルを 予測して生成し符号化する符号化モードに変更して動き補償を行う。
( 8 ) 動画像を構成する各ピクチャをフ レーム構造またはフィール ド構 造により符号化する方法であって、 既に符号化されたピクチヤを参照し て、 ピクチャを構成するブロックごとに動きベク トルを算出する動きべ ク トル算出ステップと、 処理対象ブロックの空間的周辺に位置する既に 符号化されたブロックの有する動きべク トルのうち、 処理対象ピクチャ から表示時間的に最も近くにある既に符号化されたピクチャを参照した 動きべク トルに基づいて、 当該処理対象ブロックの動きべク トルを予測 生成して符号化する場合、 当該処理対象ブロックの動きべク トルを予測 して生成することができるか否かを判定する予測判定ステップと、 刖記 予測判定ステツプで前記動きべク トルを生成することができないと判定 された場合に、 当該処理対象ピクチヤから最も近いとするピクチャを表 示順情報以外の情報を用いて決定する最近ピクチャ決定ステツプとを有 する。
( 9 ) 前記予測判定ステップでは、 前記既に符号化されたブロックのそ れぞれの動きベク トルのうち、 当該処理対象ピクチャから表示時間的に 最も近くにある既に符号化されたピクチャを参照した動きべク トルが複 数存在し、 かつ、 その参照する複数のピクチャが同一フ レームに属する 卜ップフィールドとボトムフィールドであり 、 かつ、 刖記 2つのフィ一 ルドが共に同じ表示順情報を有していた場合に、 当該処理対象ブ Pック の動きべク トルを予測して生成することができないと判定する o
( 1 0 ) 前記最近ピクチャ決定ステップでは 、 前記予測判定ステップで 前記動きべク トルを生成することができないと判定された場合に 、 前記 同 —フ レームに属し同じ表示順情報を有する 卜ップフィール ドとボトム フィ一ルドのうち、 当該処理対象フィールドと同じ属性であるフィ —ル ドを、 当該処理対象フィールドから最も近くにあるフィールドと決定す る
( 1 1 ) 前記最近ピクチャ決定ステップでは 、 前記予測判定ステップで flj記動きべク トルを生成することができないと判定された場合に 前記 同 ―フレームに属し同じ表示順情報を有する トップフィールドとボトム フィールドのうち、 後で符号化されたフィールドを、 当該処理対象フィ 一ルドから最も近くにあるフィールドと決定する。
また、 本発明の動画像復号化方法は、 以下の （ 1 2 ) ~ ( 2 2 ) の何 れかの構成とすることができる。
( 1 2 ) 動画像を構成する各ピクチャをフレーム構造またはフィール ド 構造によリ復号化する方法であって、 既に復号化されたピクチャを参照 して、 ピクチャを構成するプロックごとに動きべク トルを算出する動き べク トル算出ステップと、 処理対象ブロックの復号化モードを抽出する モード抽出ステップと、 前記モード抽出ステップで抽出された復号化モ —ドが、 表示時間的に近傍にある復号化済みピクチャの有する動きべク トルを参照動きべク トルと して、 参照ピクチャ間の表示時間的位置関係 に基づいて前記参照動きベク トルのスケーリング処理を行うことによつ て当該処理対象ブロックの動きべク トルを予測して生成する復号化モー ドである場合、 当該処理対象ブロックの動きべク トルを予測して生成す ることができるか否かを判定するスケーリング判定ステップと、 前記ス ケ一リング判定ステップの判定結果に基づいて、 前記モード抽出ステツ プで抽出された復号化モ一ドをそのままもしくは更新して使用すること により動き補償を行う動き補償ステップとを有する。
( 1 3 ) 前記スケーリング判定ステップでは、 前記スケーリング処理で 参照する 2つのピクチャが有する表示順情報が同じ場合に、 前記スケー リング処理を行うことによって当該処理対象プロックの動きべク トルを 予測して生成することができないと判定する。
( 1 4 ) 前記スケーリング判定ステップでは、 前記スケーリング処理で 参照する 2つのピクチャが、 同一フレームに属する トップフィールドと ポ卜ムフィ一ルドであリ前記 2つのフィ一ルドが共に同じ表示順情報を 有していた場合に、 前記スケーリング処理を行うことによって当該処理 対象ブロックの動きべク トルを予測して生成する とができないと判定 する。
( 1 5 ) 前記動き補償ステップでは、 前記スケー ング判定ステップで 前記動きべク トルを生成することができないと判定された場合に、 前記 動きべク トル算出ステップで算出した当該処理対象ブロックの動きべク トルを用いて復号化する復号化モードに変更して動き補償を行う。
( 1 6 ) 前記動き補償ステップでは、 前記スケー ング判定ステツプで 前記動きべク トルを生成することができないと判定された場合に、 前記 スケーリング処理を行わずに、 当該処理対象プロックの前記予測して生 成される動きべク トルをあらかじめ設定された所定の値のべク 卜ルとし て、 前記モード抽出ステップで抽出された復号化モ —ドを用いて動き補 償を行う。
( 1 7 ) 前記所定のべク トルの少なく とも 1 つは 0べク トルであり、 前 記動き補償ステップでは、 前記スケーリング判定ステツプで前 ΪΕ!動きべ ク トルを生成することができないと判定された場口に、 前記スケ一リン グ処理を行わずに、 当該処理対象ブロックの前記予測して生成される動 きべク トルの少なく とも 1 つを 0べク トルとして、 前記モード抽出ステ ップで抽出された復号化モードを用いて動き補償を行う。
( 1 8 ) 前記動き補償ステップでは、 前記スケーリング判定ステップで 前記動きべク トルを生成することができないと判定された場合に、 当該 処理対象ブロックの空間的周辺に位置する既に復号化されたブロックの 有する動きべク 卜ルに基づいて、 当該処理対象ブロックの動きべク トル を予測して生成し復号化する復号化モードに変更して動き補償を行う。
( 1 9 ) 動画像を構成する各ピクチャをフレーム構造またはフィール ド 構造によリ復号化する方法であって、 既に復号化されたピクチャを参照 して、 ピクチャを構成するブロックごとに動きベク トルを算出する動き べク トル算出ステップと、 処理対象ブロックの空間的周辺に位置する既 に復号化されたブロックの有する動きべク トルのうち、 処理対象ピクチ ャから表示時間的に最も近くにある既に復号化されたピクチャを参照し た動きべク トルに基づいて、 当該処理対象ブロックの動きべク トルを予 測生成して復号化する場合、 当該処理対象ブロックの動きベク トルを予 測して生成することができるか否かを判定する予測判定ステップと、 前 記予測判定ステップで前記動きベク トルを生成することができないと判 定された場合に、 当該処理対象ピクチャから最も近いとするピクチャを 表示順情報以外の情報を用いて決定する最近ピクチャ決定ステップとを 有する。
( 2 0 ) 前記予測判定ステップでは、 前記既に復号化されたブロックの それぞれの動きべク トルのうち、 当該処理対象ピクチャから表示時間的 に最も近くにある既に復号化されたピクチャを参照した動きベク トルが 複数存在し、 かつ、 その参照する複数のピクチャが同一フ レームに属す る トップフィールドとボトムフィールドであり、 かつ、 前記 2つのフィ 一ルドが共に同じ表示順情報を有していた場合に、 当該処理対象ブロッ クの動きベク トルを予測して生成することができないと判定する。
( 2 1 ) 前記最近ピクチャ決定ステップでは、 前記予測判定ステップで 前記動きべク トルを生成することができないと判定された場合に、 前記 同一フレームに属し、 同じ表示順情報を有する トップフィールドとポト ムフィール ドのうち、 当該処理対象フィールドと同じ属性であるフィ一 ルドを、 当該処理対象フィールドから最も近くにあるフィールドと決定 する。
( 2 2 ) 前記最近ピクチャ決定ステップでは、 前記予測判定ステップで 前記動きべク 卜ルを生成することができないと判定された場合に、 前記 同一フレームに属し、 同じ表示順情報を有する トップフィールドとポ卜 ムフィール ドのうち、 後で復号化されたフィール ドを、 当該処理対象フ ィ一ルドから最も近くにあるフィールドと決定する。
以上の説明から明らかなように、 本発明に係る動画像符号化方法によ れぱ、 時間的ダイ レク トモ一ドまたは空間的ダイ レク トモードにょリ符 号化を行う場合に、 確実に動きべク トルを生成して処理対象ブロックを 符号化することができる。
また、 本発明に係る動画像復号化方法によれば、 時間的ダイレク トモ ードまたは空間.的ダイレク トモ一ドによリ復号化を行う場合に、 確実に 動きベク トルを生成して処理対象ブロックを復号化することができる。 図面の簡単な説明
図 1 は、 従来の動画像符号化方式における各ピクチャの予測関係を示 す模式図である。
図 2は、 時間的ダイレク トモードにおける動きべク トルの予測生成方 法を示す模式図である。
図 3は、 空間的ダイ レク トモ一ドにおける動きべク トルの予測生成方 法を示す模式図である。
図 4は、 インタ一レース画像およびプログレッシブ画像におけるフィ 一ルドが有する表示順情報を示す模式図である。
図 5は、 インターレース画像での時間的ダイ レク 卜モードにおける動 きべク トルの予測生成方法を示す模式図である。 図 6は、 プログレッシブ画像での時間的ダイ レク トモードにおける動 きべク トルの予測生成方法を示す模式図である。
図 7は、 プログレッシブ画像での空間的ダイ レク 卜モードにおける動 きべク トルの予測生成方法を示す模式図である。
図 8は、 本発明に係る動画像符号化装置の一実施の形態の構成を示す ブロック図である。
図 9は、ピクチャメモリにおけるピクチャの順序を示す説明図であり、 (a) 入力された順序、 （b) 並び替えられた順序を示す説明図である。 図 1 0は、 ダイ レク 卜モード可否判定部での方法 1 による符号化モー ドの確定の動作を示すフロー図である。
図 1 1 は、 ダイ レク トモード可否判定部での方法 2による符号化モ一 ドの確定の動作を示すフロー図である。
図 1 2は、 ダイ レク トモ一ド可否判定部での方法 3による符号化モー ドの確定の動作を示すフロー図である。
図 1 3は、 ダイ レク トモード可否判定部での方法 1 ' による符号化モ ―ドの確定の動作を示すフロー図である。
図 1 4は、 本発明に係る動画像復号化装置の一実施の形態の構成を示 すブロック図である。
図 1 5は、 ダイ レク トモード可否判定部での方法 1 による復号化モ一 ドの確定の動作を示すフロ一図である。
図 1 6は、 ダイ レク トモード可否判定部での方法 2による復号化モー ドの確定の動作を示すフロー図である。
図 1 7は、 ダイ レク トモード可否判定部での方法 3による復号化モー ドの確定の動作を示すフロー図である。
図 1 8は、 ダイ レク トモード可否判定部での方法 1 ' による復号化モ ―ドの確定の動作を示すフロー図である。 図 1 9は、 実施の形態 1 の動画像符号化方法および動画像復号化方法 をコンピュータシステムにより実現するためのプログラムを格納するた めの記録媒体についての説明図であり、 (a) 記録媒体本体であるフレキ シブルディスクの物理フォーマッ トの例を示した説明図、 （b) フレキシ ブルディスクの正面からみた外観、 断面構造、 及びフレキシブルデイス クを示した説明図、 （G) フレキシブルディスク F Dに上記プログラムの 記録再生を行うための構成を示した説明図である。
図 2 0は、 コンテンッ配信サービスを実現するコンテンッ供給シス亍 厶の全体構成を示すブロック図である。
図 2 1 は、 携帯電話の一例を示す図である。
図 2 2は、 携帯電話の内部構成を示すブロック図である。
図 2 3は、 ディジタル放送用システムの全体構成を示すブロック図で める。 発明を実施するための最良の形態
本発明の実施の形態について、 図面を参照して説明する。
(実施の形態 1 )
図 8は、 本発明に係る動画像符号化方法を用いた動画像符号化装置の —実施の形態の構成を示すブロック図である。
動画像符号化装置は、 図 8に示すようにピクチャメモリ 1 0 1 、 予測 残差符号化部 1 0 2、 符号列生成部 1 0 3、 予測残差復号化部 1 0 4、 ピクチャメモリ 1 0 5、 動きべク トル検出部 1 0 6、 動き補償符号化部 1 0 7、 動きべク トル記憶部 1 0 8、 ダイ レク 卜モード可否判定部 1 0 9、 差分演算部 1 1 0、 加算演算部 1 1 1 、 およびスィ ッチ 1 1 2、 1 1 3を備えている。
ピクチャメモリ 1 0 1 は、 表示時間順にピクチャ単位で入力された動 画像を格納する。 動きベク トル検出部 1 0 6は、 符号化済みの再構築画 像データを参照ピクチャと して用いて、 そのピクチャ内の探索領域にお いて最適と予測される位置を示す動きべク トルの検出を行う。 動き補償 符号化部 1 0 7は、 動きべク トル検出部 1 0 6で検出された動きべク ト ルを用いてブロックの符号化モードを決定し、 この符号化モードに基づ いて予測画像データを生成する。 この符号化モードとは、 マクロブロッ クをどのような方法で符号化するかを示すものである。
動きべク トル記憶部 1 0 8は、 動きべク トル検出部 1 0 6で検出され た動きべク トルを記憶する。 ダイ レク トモ一ド可否判定部 1 0 9は、 動 き補償符号化部 1 0 7により決定された符号化モ一ドが時間的ダイレク トモ一ドである場合に、 スケーリング処理を行うことができるか否かの 判定を行い、 符号化モードの確定を行う。 また、 ダイレク トモード可否 判定部 1 0 9は、符号化モードが空間的ダイ レク トモードである場合に、 符号化対象ブロックで用いる動きベク トルを予測して生成することがで きるか否かの判定を行う。 差分演算部 1 1 0は、 ピクチャメモリ 1 0 1 より読み出された画像データと、 動き補償符号化部 1 0 7より入力され た予測画像データとの差分を演算し、 予測残差画像データを生成する。 予測残差符号化部 1 0 2は、 入力された予測残差画像データに対して 周波数変換や量子化等の符号化処理を行い、 符号化データを生成する。 符号列生成部 1 0 3は、 入力された符号化データに対して可変長符号化 等を行い、 さらに動き補償符号化部 1 0 7から入力された動きベク トル の情報、 および符号化モードの情報等を付加することにより符号列を生 成する。
予測残差復号化部 1 0 4は、 入力された符号化データに対して逆量子 化や逆周波数変換等の復号化処理を行い、 復号化差分画像データを生成 する。 加算演算部 1 1 1 は、 予測残差復号化部 1 0 4より入力された復 号化差分画像データと、 動き補償符号化部 1 0 7よリ入力された予測画 像データとを加算し、 再構築画像データを生成する。 ピクチャメモリ 1 0 5は、 生成された再構築画像データを格納する。
次に、 上記のように構成された動画像符号化装置の動作について説明 する。
図 9は、 ピクチャメモリ 1 0 1 におけるピクチャの順序を示す説明図 であり、 (a) 入力された順序、 （b) 並び替えられた順序を示す説明図で ある。 ここで、 縦線はピクチャを示し、 各ピクチャの右下に示す記号は 1 文字目のアルファベッ トがピクチャタイプ （ 1 、 P、 または B ) を、 2文字目以降の数字が表示時間順のピクチャ番号を示している。 また、 Pピクチャは、 表示時間順で前方にある近傍の I ピクチャまたは Pピク チヤを参照ピクチャとし、 Bピクチャは、 表示時間順で前方にある近傍 の I ピクチャまたは Pピクチャと、 表示時間順で後方にある近傍 1 枚の I ピクチャまたは Pピクチャとを参照ピクチャと して用いるものとして いる。
入力画像は、 例えば図 9 (a) に示すように表示時間順にピクチャ単位 でピクチャメモリ 1 0 1 に入力される。 ピクチャメモリ 1 0 1 に入力さ れた各ピクチャは、 符号化するピクチャタイプが決定されると、 例えば 図 9 (b) に示すように符号化が行われる順に並び替えられる。 この符号 化順への並び替えは、 ピクチャ間予測符号化における参照関係に基づい て行われ、 参照ピクチャとして用いられるピクチャが、 参照ピクチャと して用いるピクチャよりも先に符号化されるように並び替えられる。 ピクチャメモリ 1 0 1 で並び替えが行われた各ピクチャは、 例えば水 平 1 6 X垂直 1 6画素のグループに分割されたマクロブロック単位で読 み出される。 また、 動き補償および動きべク トルの検出は、 例えば水平 8 X垂直 8画素のグループに分割されたプロック単位で行っている。 以降の動作については、 符号化対象のピクチャが Bピクチャである場 合について説明する。
Bピクチャでは、 2方向参照を用いたピクチャ間予測符号化を行って いる。 例えば、 図 9 (a) に示す例でピクチャ B 1 1 の符号化処理を行う 場合、 表示時間順で前方にある参照ピクチャはピクチャ P 1 0、 P 7、 P 4、 表示時間順で後方にある参照ピクチャはピクチャ P 1 3となる。 ここでは、 Bピクチャが他のピクチャの符号化時に、 参照ピクチャとし て用いられない場合を考える。
ピクチャメモリ 1 0 1 より読み出されたピクチャ B 1 1 のマクロプロ ックは、 動きべク トル検出部 1 0 6および差分演算部 1 1 0に入力され る。
動き補償符号化部 1 0 7は、 マクロブロック内の各ブロックをフレー ム構造で符号化するか、 またはフィールド構造で符号化するかを決定す る。 フ レーム構造またはフィール ド構造のいずれで符号化するかは、 例 えば、 ブロック内の画素値の分散をフ レーム構造とフィール ド構造とで 求め、 分散の小さい方を選択する方法がある。 なお、 各ピクチャをピク チヤ単位でフレーム構造またはフィールド構造のいずれかで符号化する こともできる。
動きベク トル検出部 1 0 6は、 決定されたフ レーム構造での符号化ま たはフィールド構造での符号化に応じて、 ピクチャメモリ 1 0 5に格納 された参照ピクチャをフレーム単位またはフィ一ルド単位と して、 マク ロブロック内の各ブロックに対して、 前方動きべク トルと後方動きべク トルとの検出を行う。 ここでは、 ピクチャメモリ 1 0 5に格納されたピ クチャ P 1 0、 P 7 、 P 4の再構築画像データを前方参照ピクチャとし て、 ピクチャ P 1 3の再構築画像データを後方参照ピクチャとして用い ることになる。 動きべク トル検出部 1 0 6は、 検出した動きべク トルを 動き補償符号化部 1 0 7に対して出力する。
動き補償符号化部 1 0 7は、 動きべク トル検出部 1 0 6で検出された 動きベク トルを用いて、 マクロブロックの符号化モードを決定する。 こ こで、 Bピクチャの符号化モードは、 例えばピクチャ内符号化、 前方動 きべク 卜ルを用いたピクチャ間予測符号化、 後方動きべク トルを用いた ピクチャ間予測符号化、 双方向動きべク トルを用いたピクチャ間予測符 号化、 ダイ レク トモードの中から、 いずれの方法で符号化するかを選択 することができるものとする。 また、 ダイレク トモ一ドについては、 あ らかじめ時間的ダイ レク 卜モードまたは空間的ダイ レク トモードが指定 されているものとする。 なお、 符号化モードの決定においては、 一般的 には少ないビッ ト量でよリ符号化誤差が小さくなる方法を選択する。 次に、 ダイ レク トモ一ドで符号化することが選択された場合に行うダ ィレク トモード可否判定部 1 0 9による符号化モードの確定の動作につ いて説明する。 この符号化モードの確定の動作は、 以下に説明する方法 1 ~ 3のいずれかによつて行うことができる。
(方法 1 )
図 1 0は方法 1 による符号化モードの確定の動作を示すフロー図であ る。 動き補償符号化部 1 0 7は、 ダイ レク トモードで符号化することを 選択すると、 その旨をダイ レク トモ一ド可否判定部 1 0 9に通知する。 通知を受けたダイ レク トモー ド可否判定部 1 0 9は、 まず、 時間的ダイ レク トモ一ドが指定されているか否かを判定する （ステップ S 1 0 1 )。 この結果、 時間的ダイ レク トモードであると判定した場合、 ダイ レク 卜 モード可否判定部 1 0 9は、 フィ一ルド符号化が選択されているか否か を判定する （ステップ S 1 0 2 )。 この結果、 フィールド符号化が選択さ れていないと判定した場合には、ダイ レク トモード可否判定部 1 0 9は、 動き補償符号化部 1 0 7に対して時間的ダイ レク トモー ドでの符号化を 指示する （ステップ S 1 0 3 )。 一方、 フィール ド符号化が選択されてい ると判定した場合には、 ダイ レク トモード可否判定部 1 0 9は、 スケー リング処理によって符号化対象ブロックで用いる動きベク トルを予測し て生成することができるか否かを判定する （ステップ S 1 0 4 )。すなわ ち、 参照する 2枚のピクチャが同じフ レームに属し、 同じ表示順情報を 持つ トップフィールドとボトムフィールドであるか否かを判定している。 この結果、 スケーリング処理が可能である場合 （ステップ S 1 0 4の条 件判定が NOの場合）、 ダイ レク トモード可否判定部 1 0 9は、 動き補償 符号化部 1 0 7に対して時間的ダイレク トモードでの符号化を指示する (ステップ S 1 0 3 )。 一方、 スケーリング処理が可能でない場合 （ステ ップ S 1 0 4の条件判定が YESの場合）、 ダイレク トモ一ド可否判定部 1 0 9は、 動き補償符号化部 1 0 7に対してダイ レク トモ一ド以外での符 号化を指示する （ステップ S 1 0 5 )。
また、 上記判定 （ステップ S 1 0 1 ) の結果、 時間的ダイレク トモ一 ドでない （すなわち、 空間的ダイレク トモードである） と判定した場合 も、 ダイレク 卜モー ド可否判定部 1 0 9は、 フィール ド符号化が選択さ れているか否かを判定する （ステップ S 1 0 6 )。 この結果、 フィ一ル ド 符号化が選択されていないと判定した場合には、 ダイ レク トモ一ド可否 判定部 1 0 9は、 動き補償符号化部 1 0 7に対して空間的ダイレク トモ —ドでの符号化を指示する （ステップ S 1 0 7 )。
上記判定 （ステップ S 1 0 6 ) の結果、 フィール ド符号化が選択され ていると判定した場合には、 ダイ レク トモ一ド可否判定部 1 0 9は、 空 間的ダイ レク トモードにょリ ピクチャの有する表示順情報に基づいて、 符号化対象ブロックで用いる動きベク トルを予測して生成することがで きるか否かを判定する （ステップ S 1 0 8 )。 すなわち、 符号化対象であ るブロックの周辺の 3画素を含む符号化済みの 3ブロックのそれぞれの 動きベク トルのうち、 符号化対象ピクチャ （フィールド） から表示時間 的に最も近くにある既に符号化されたピクチャを参照した動きベク トル が複数存在し、 かつ、 その参照する複数のピクチャが同じフ レームに属 し、 同じ表示順情報を持つ トップフィールドとボトムフィールドである か否かを判定している。 このとき、 上記条件を満たした場合に、 動きべ ク トルを予測して生成することが可能でないと判定する。
上記判定 （ステップ S 1 0 8 ) の結果、 動きベク トルを予測して生成 することが可能であると判定した場合（ステップ S 1 0 8の条件判定が N 0の場合）、 ダイ レク トモード可否判定部 1 0 9は、 動き補償符号化部 1 0 7に対して空間的ダイ レク トモードでの符号化を指示する （ステップ S 1 0 7 )。
—方、 動きべク トルを予測して生成することが可能でないと判定した 場合 （ステップ S 1 0 8の条件判定が YESの場合）、 ダイ レク トモ一ド可 否判定部 1 0 9は、 同じ表示順情報を持つトップフィールドとポ 卜ムフ ィール ドのうち、符号化対象フィール ドと同じ属性であるフィール ドを、 符号化対象フィールドから表示時間的に最も近くにあるフィールドとす るように、 動き補償符号化部 1 0 7に対して指示する （ステップ S 1 0 9 )。 ここで、 同じ属性であるフィールドとは、 符号化対象フィールドが トップフィール ドであればトップフィ一ル ド、 符号化対象フィールドが ボトムフィールドであればボトムフィールドである。 その上で、 ダイレ ク トモード可否判定部 1 0 9は、 動き補償符号化部 1 0 7に対して空間 的ダイ レク トモードでの符号化を指示する （ステップ S 1 0 7 )。
(方法 2 )
図 1 1 は方法 2による符号化モードの確定の動作を示すフロー図であ る。 なお、 フィール ド符号化が選択されていると判定され、 さらにスケ ーリング処理が可能でないと判定された場合の処理以外 （ステツプ S 2 ひ "！ 〜 S 2 0 4、 S 2 0 6 - S 2 0 9 ) は、 方法 1 と同様であるので説 明を省略する。
フィールド符号化が選択されていると判定し、 さらにスケ一リ ング処 理が可能でないと判定した場合、ダイ レク トモ一ド可否判定部 1 0 9は、 動き補償符号化部 1 0 7に対して動きべク トルを 「 O J とした時間的ダ ィレク トモー ドでの符号化を指示する （ステップ S 2 0 5 )。
(方法 3 )
図 1 2は方法 3による符号化モードの確定の動作を示すフロー図であ る。 なお、 フィールド符号化が選択されていると判定され、 さらにスケ —リング処理が可能でないと判定された場合の処理以外 （ステップ S 3 0 1 〜 S 3 0 6、 S 3 0 8 ) は、 方法 1 と同様であるので説明を省略す る。
フィールド符号化が選択されていると判定され、 さらにスケーリング 処理が可能でない場合、 ダイ レク トモード可否判定部 1 0 9は、 空間的 ダイ レク トモ一ドにより符号化対象ブロックで用いる動きべク トルを予 測して生成することができるか否かを判定する （ステップ S 3 0 7 )。そ れ以降の動作に関しては方法 1 と同様である。
また、 上記方法 1 〜 3における、 空間的ダイ レク 卜モードで動きべク トルを予測して生成することが可能でないと判定された場合の上記処理 (ステップ S 1 0 9、 S 2 0 9、 S 3 0 8 ) については、 次のように処 理を行って方法 1 ' ~ 3 ' とすることもできる。 図 1 3は方法 1 ' によ る符号化モー ドの確定の動作を示すフロー図である。 なお、 方法 2 ' 〜 3 ' については、 方法 1 ' と同様であるので説明および図は省略する。
(方法 1 ' )
ダイ レク トモ一ド可否判定部 1 0 9は、 同じ表示順情報を持つ トップ フィールドとボトムフィールドのうち、後で符号化されたフィールド（す なわち、 符号化対象フィールドから時間的に最も近く に符号化されたフ ィールド） を、 符号化対象フィールドから表示時間的に最も近くにある フィールドとするように、動き補償符号化部 1 0 7に対して指示する（図 1 3、 ステップ S 1 1 0 )。
次に、 動き補償符号化部 1 0 7は、 上記のようにダイレク 卜モード可 否判定部 1 0 9が確定した符号化モードによリ、 予測画像データを生成 する。 以下、 この確定した符号化モー ド毎にそれぞれ動作について説明 する。
(通常の時間的ダイレク トモ一ドでの符号化）
この場合、 動き補償符号化部 1 0 7は、 背景技術において図 2を用い て説明した時間的ダイ レク トモードと全く同様の方法を用いて動き補償 を行う。 すなわち、 符号化済みピクチャの中の、 符号化対象のブロック と同じ位置にあるブロックの動きべク 卜ルを参照動きべク トルと して利 用し、 動き補償符号化部 1 0 7は、 この参照動きベク トルを動きべク ト ル記憶部 1 0 8より読み出し、 この参照動きベク トルおよびピクチャ間 の表示時間的位置関係に基づいてスケーリング処理を行って符号化対象 ブロックで用いる動きベク トルを予測して生成する。 そして、 この動き べク トルを用いて、 動き補償符号化部 1 0 7は 2枚の参照ピクチャから 2方向予測を行って、 予測画像データを生成する。
(動きべク トルを Γ 0」 と した時間的ダイレク トモードでの符号化） 動き補償符号化部 1 0 7は、 スケーリング処理による動きべク トルの 予測生成を行わずに、 直接動きべク トルとして Γ 0 J を用いて 2枚の參 照ピクチャから 2方向予測を行って、 予測画像データを生成する。
このとき使用する動きベク トルの値は Γ 0」に限られたものではなく、 スケーリ ングを必要としないで決定することのできる所定の値とすれば よい。 上記の例では、 2枚の参照ピクチャに対する動きベク トルを 2つ とも Γ 0 J として説明しているが、 これに限られるものではなく、 2枚 の参照ピクチャに対する動きベク トルの少なく とも 1 つを 「 0」 として もよい。
(ダイ レク トモード以外での符号化）
動き補償符号化部 1 0 7は、 動きべク トル検出部 1 0 6で検出された 動きべク トルを用いて、 2枚の参照ピクチャから 2方向予測を行って、 予測画像データを生成する。
(空間的ダイ レク トモードでの符号化）
この場合、 動き補償符号化部 1 0 7は、 背景技術において図 3を用い て説明した空間的ダイレク トモードと全く同様の方法を用いて動き補償 を行う。 すなわち、 符号化対象であるブロックの周辺の 3画素を含む符 号化済みの 3ブロックのそれぞれの動きべク トルのうち、 符号化対象ピ クチャから表示時間的に最も近くにある既に符号化されたピクチャを参 照した動きべク トルを使用して、 符号化対象ブロックで用いる動きべク トルを予測して生成する。
このとき、 上記 3ブロックのそれぞれの動きベク トルのうち、 符号化 対象ピクチャ （フィールド） から表示時間的に最も近くにある既に符号 化されたピクチャを参照した動きベク トルが複数存在し、 かつ、 その参 照する複数のピクチャが同じフレームに属し、 同じ表示順情報を持つ ト ップフィールドとボトムフィールドである場合、 動き補償符号化部 1 0 7は、 ダイ レク トモ一ド可否判定部 1 0 9からの指示に基づいて、 同じ 表示順情報を持つ トップフィールドとボトムフィ一ルドのうち 1 つを、 符号化対象フィールドから表示時間的に最も近く にあるフィールドとす る。
すなわち、 ダイ レク トモ一ド可否判定部 1 0 9からの指示が、 上記方 法 1 〜 3に説明した指示である場合には、 同じ表示順情報を持つ トップ フィールドとボトムフィールドのうち、 符号化対象フィールドと同じ属 性であるフィールドを、 符号化対象フィールドから表示時間的に最も近 く にあるフィールドとする。 例えば、 図 7に示す例では、 同じ表示順情 報を持っているフィール ド P 2—丁、 P 2— Bのうち、 符号化対象フィ 一ルド B 3— Tと同じ トップフィールドであるフィールド P 2— Tを符 号化対象フィールドから表示時間的に最も近くにあるフィールドとする。 よって、 フィール ド P 2_Tを参照している動きべク トル M V A 1 を、 符号化対象ブロックの 1 つめの動きべク トルの候補として決定する。 また、 ダイレク トモ一ド可否判定部 1 0 9からの指示が、上記方法 1 ' 〜 3 ' に説明した指示である場合には、 同じ表示順情報を持つ トップフ ィ 一ルドとボトムフィール ドのうち、 後で符号化されたフィール ドを、 符号化対象フィールドから表示時間的に最も近くにあるフィールドとす る。 例えば、 図 7に示す例でフィールド Ρ 2 _ Τ、 Ρ 2— Βのうちフィ ールド Ρ 2— Βが後で符号化されたとすると、 同じ表示順情報を持って いるフィールド Ρ 2— Τ、 Ρ 2— Βのうち、 後に符号化されたフィ一ル ド Ρ 2_Βを符号化対象フィールドから表示時間的に最も近くにあるフ ィ一ルドとする。 よって、 フィールド Ρ 2_Βを参照している動きべク トル M V C 1 を、 符号化対象ブロックの 1 つめの動きべク トル M V— F の候補として決定する。 2つめの動きべク トルである M V— Βを求める 場合も同様である。
このように決定した動きべク トルが 3つである場合には、 それらの中 央値を符号化対象ブロックの動きベク トルと して選択する。 また、 2つ である場合には、 それらの平均値を求め、 符号化対象ブロックの動きべ ク トルとする。 また、 1 つだけである場合 （図 7に示す例） には、 その 動きベク トルを符号化対象ブロックの動きベク トルとする。 このように して求めた動きベク トルを用いて、 動き補償符号化部 1 0 7は、 参照ピ クチャから動き補償を行って、 予測画像データを生成する。
次に、 動き補償符号化部 1 0 7は、 上記のように生成した予測画像デ ータを差分演算部 1 1 0と加算演算部 1 1 1 とに出力する。 なお、 動き 補償符号化部 1 0 7がピクチャ内符号化を選択した場合には、 予測画 データは出力しない。 また、 動き補償符号化部 1 0 7は、 ピクチャ内符 号化を選択した場合には、 スィッチ 1 1 2をピクチャメモリ 1 0 1 より 直接信号が入力される側に接続し、 ピクチャ間予測符号化を選択した場 合には、 スィ ッチ 1 1 2を差分演算部 1 1 0より信号が入力される側に 接続するように制御する。 また、 動き補償符号化部 1 0 7は、 決定した 符号化モードを符号列生成部 1 0 3に対して出力する。
動き補償符号化部 1 0 7よリ予測画像データが入力された差分演算部 1 1 0は、 この予測画像データと、 ピクチャメモリ 1 0 1 より読み出さ れたピクチャ B 1 1 のマクロブロックの画像データとの差分を演算し、 予測残差画像データを生成して予測残差符号化部 1 0 2へ出力する。 予測残差画像データが入力された予測残差符号化部 1 0 2は、 この予 測残差画像データに対して周波数変換や量子化等の符号化処理を行い、 符号化データを生成して符号列生成部 1 0 3へ出力する。 符号化データ が入力された符号列生成部 1 0 3は、 この符号化データに対して可変長 符号化等を行い、 ざらに動き補償符号化部 1 0 7から入力された動きべ ク トルの情報、 符号化モー ドの情報等を付加することによ り符号列を生 成し、 出力する。 なお、 ダイ レク トモードで符号化されたマクロブロッ クについては、 動きべク トルの情報は符号化列には付加しない。
以降同様の処理により、 ピクチャ B 1 1 の残りのマクロブロックにつ いても符号化処理を行う。
以上のように、 フィールド符号化が選択されており、 時間的ダイ レク 卜モードによリ符号化を行う場合に、 スケーリング処理が可能であるか 否かの判定を行っている。 そして、 スケーリング処理が可能でないと判 定された場合に、 符号化モードを変更する等の処理を行っているので、 スケーリング処理ができずに符号化を行うことができないということが ない。
また、 フィール ド符号化が選択されており、 空間的ダイ レク トモード によリ符号化を行う場合に、 ピクチャの有する表示順情報に基づいて符 号化対象ブロックで用いる動きベク トルを予測して生成することができ るか否かの判定を行っている。 そして、 動きベク トルを予測して生成す ることが可能でないと判定された場合に、 同じ表示順情報を持つ トップ フィールドとボトムフィールドのうち、 どちらのフィールドを符号化対 象フィールドから表示時間的に最も近くにあるフィールドとするかを規 定する処理を行っているので、 動きべク トルを予測して生成することが できずに符号化を行えないということがない。
図 1 4は、 本発明に係る動画像復号化方法を用いた動画像復号化装置 の一実施の形態の構成を示すブロック図である。
動画像復号化装置は、符号列解析部 2 0 1 、予測残差復号化部 2 0 2、 ピクチャメモリ 2 0 3、 動き補償復号化部 2 0 4、 動きべク トル記憶部 2 0 5、 ダイ レク トモ一ド可否判定部 2 0 6、 加算演算部 2 0 7、 およ びスィッチ 2 0 8を備えている。
符号列解析部 2 0 1 は、 入力された符号列よリ復号化モー ドの情報、 および符号化時に用いられた動きベク トルの情報等の各種データの抽出 を行う。 予測残差復号化部 2 0 2は、 入力された予測残差符号化データ の復号化を行い、 予測残差画像データを生成する。 動き補償復号化部 2 0 4は、復号化モー ドの情報、および動きベク トルの情報等に基づいて、 動き補償画像データを生成する。 動きべク トル記憶部 2 0 5は、 符号列 解析部 2 0 1 により抽出された動きべク トルを記憶する。 ダイレク トモ一ド可否判定部 2 0 6は、 符号列解析部 2 0 1 で抽出さ れた復号化モードが時間的ダイ レク トモードである場合に、 スケ'一リン グ処理を行うことができるか否かの判定を行い、 復号化モードの確定を, 行う。 また、 ダイ レク トモード可否判定部 2 0 6は、 復号化モードが空 間的ダイレク トモードである場合に、 復号化対象ブロックで用いる動き べク 卜ルを予測して生成することができるか否かの判定を行う。 加算演 算部 2 0 7は、 予測残差復号化部 2 0 2より入力された予測残差画像デ ータと、 動き補償復号化部 2 0 4より入力された動き補償画像データと を加算し、 復号化画像データを生成する。 ピクチャメモリ 2 0 3は、 生 成された復号化画像データを格納する。
次に、 上記のように構成された動画像復号化装置の動作について説明 する。なお、 ピクチャの順序については図 9を用いて説明する。ここで、 Pピクチャは、 表示時間順で前方にある近傍の I ピクチャまたは Pピク チヤを参照ピクチャとし、 Bピクチャは、 表示時間順で前方にある近傍 の I ピクチャまたは Pピクチャと、 表示時間順で後方にある近傍 1枚の I ピクチャまたは Pピクチャとを参照ピクチャとして用いて符号化され ているものとする。
符号列は、 図 9 (b) に示すようなピクチャ順で符号列解析部 2 0 1 に 入力される。 符号列解析部 2 0 1 は、 入力された符号列より復号化モー ドの情報、 および動きベク トルの情報等の各種データの抽出を行う。 符 号列解析部 2 0 1 は、 抽出した復号化モー ドの情報を動き補償復号化部 2 0 4へ、動きべク トルの情報を動きべク トル記憶部 2 0 5へ出力する。 また、 符号列解析部 2 0 1 は、 抽出した予測残差符号化データを予測 残差復号化部 2 0 2へ出力する。 予測残差符号化データが入力された予 測残差復号化部 2 0 2は、 この予測残差符号化データの復号化を行い、 予測残差画像データを生成し、 加算演算部 2 0 7へ出力する。 以降の動作については、 復号化対象のピクチャが Bピクチャであり、 符号列解析部 2 0 1 で抽出された復号化モードがダイ レク トモードであ る場合について説明する。
符号列解析部 2 0 1 より復号化モー ドの情報が入力された動き補償復 号化部 2 0 4は、 復号化対象のプロックをダイ レク トモ一ドで復号化す るかどうかを判定し、 ダイ レク トモードである場合にダイ レク トモード 可否判定部 2 0 6に通知する。
次に、 復号化モードがダイ レク トモ一ドである場合に行うダイレク ト モード可否判定部 2 0 6による復号化モードの確定の動作について説明 する。 この復号化モードの確定の動作は、 以下に説明する方法 1 〜 3の いずれかによつて行うことができる。
(方法 1 )
図 1 5は方法 1 による復号化モードの確定の動作を示すフロー図であ る。 ダイレク トモード可否判定部 2 0 6は、 まず、 時間的ダイレク トモ —ドが指定されているか否かを判定する（ステップ S 4 0 1 )。この結果、 時間的ダイレク 卜モ一ドであると判定した場合、 ダイ レク トモ一ド可否 判定部 2 0 6は、フィールド符号化が行われているか否かを判定する（ス テツプ S 4 0 2 )。 この結果、 フィ一ルド符号化が行われていないと判定 した場合には、 ダイ レク トモード可否判定部 2 0 6は、 動き補償復号化 部 2 0 4に対して時間的ダイ レク トモードでの復号化を指示する （ステ ップ S 4 0 3 )。 一方、 フィールド符号化が選択されていると判定した場 合には、 ダイレク トモード可否判定部 2 0 6は、 スケーリング処理によ つて復号化対象プロックで用いる動きべク トルを予測して生成すること ができるか否かを判定する （ステップ S 4 0 4 )。 すなわち、 参照する 2 枚のピクチャが同じフレームに属し、 同じ表示順情報を持つ トップフィ —ルドとボトムフィールドであるか否かを判定している。 この結果、 ス ケーリング処理が可能である場合 （ステップ S 4 0 4の条件判定が NOの 場合）、 ダイ レク トモード可否判定部 2 0 6は、動き補償復号化部 2 0 4 に対して時間的ダイ レク トモードでの復号化を指示する （ステップ S 4 0 3 )。 一方、 スケーリング処理が可能でない場合 （ステップ S 4 0 4の 条件判定が YESの場合）、 ダイレク トモ一ド可否判定部 2 0 6は、動き補 償復号化部 2 0 4に対してダイレク トモード以外での復号化を指示する (ステップ S 4 0 5 )。
また、 上記判定 （ステップ S 4 0 1 ) の結果、 時間的ダイ レク トモー ドでない （すなわち、 空間的ダイレク トモードである） と判定した場合 も、 ダイ レク トモー ド可否判定部 2 0 6は、 フィール ド符号化が行われ ているか否かを判定する （ステップ S 4 0 6 )。 この結果、 フィールド符 号化が選択されていないと判定した場合には、 ダイレク トモ一ド可否判 定部 2 0 6は、 動き補償復号化部 2 0 4に対して空間的ダイレク トモ一 ドでの復号化を指示する （ステップ S 4 0 7 )。
上記判定 （ステップ S 4 0 6 ) の結果、 フィール ド符号化が選択され ていると判定した場合には、 ダイレク 卜モード可否判定部 2 0 6は、 空 間的ダイ レク 卜モードにょリ ピクチャの有する表示順情報に基づいて、 復号化対象ブロックで用いる動きベク トルを予測して生成することがで きるか否かを判定する （ステップ S 4 0 8 )。 すなわち、 復号化対象であ るブロックの周辺の 3画素を含む復号化済みの 3ブロックのそれぞれの 動きベク トルのうち、 復号化対象ピクチャ （フィール ド） から表示時間 的に最も近くにある既に復号化されたピクチャを参照した動きベク トル が複数存在し、 かつ、 その参照する複数のピクチャが同じフ レームに属 し、 同じ表示順情報を持つ トップフィールドとボトムフィールドである か否かを判定している。 このとき、 上記条件を満たした場合に、 動きべ ク トルを予測して生成することが可能でないと判定する。 上記判定 （ステップ S 4 0 8 ) の結果、 動きベク トルを予測して生成 することが可能であると判定した場合（ステツプ S40 8の条件判定が N 0の場合）、 ダイレク トモード可否判定部 2 0 6は、 動き補償復号化部 2 04に対して空間的ダイ レク 卜モードでの復号化を指示する （ステップ S 40 7 )。
一方、 動きべク トルを予測して生成することが可能でないと判定した 場合 （ステップ S40 8の条件判定が YESの場合）、 ダイ レク トモ一ド可 否判定部 2 0 6は、 同じ表示順情報を持つ トップフィール ドとボトムフ ィールドのうち、復号化対象フィールドと同じ属性であるフィールドを、 復号化対象フィールドから表示時間的に最も近くにあるフィールドとす るように、 動き補償復号化部 204に対して指示する （ステップ S 40 9 )。 ここで、 同じ属性であるフィールドとは、 復号化対象フィールドが トップフィール ドであればトップフィール ド、 復号化対象フィールドが ボトムフィール ドであればボトムフィールドである。 その上で、 ダイレ ク トモード可否判定部 2 0 6は、 動き補償復号化部 2 04に対して空間 的ダイ レク トモ一ドでの復号化を指示する （ステップ S 4 0 7 )。
(方法 2 )
図 1 6は方法 2による復号化モードの確定の動作を示すフロー図であ る。 なお、 フィールド符号化が選択されていると判定され、 さらにスケ —リング処理が.可能でないと判定された場合の処理以外 （ス亍ップ S 5 0 1 〜 S 5 04、 S 50 6〜 S 5 0 9 ) は、 方法 1 と同様であるので説 明を省略する。
フィールド符号化が選択されていると判定され、 さらにスケーリング 処理が可能でないと判定された場合、 ダイ レク トモ一ド可否判定部 20 6は、 動き補償復号化部 2 04に対して動きべク トルを 「 0」 と した時 間的ダイ レク トモードでの復号化を指示する （ステップ S 5 0 5 )。 (方法 3 )
図 1 7は方法 3による復号化モードの確定の動作を示すフロー図であ る。 なお、 フィール ド符号化が選択されていると判定され、 さらにスケ —リング処理が可能でないと判定された場合の処理以外 （ステップ S 6 0 1〜S 6 0 6、 S 6 0 8 ) は、 方法 1 と同様であるので説明を省略す る。
フィ一ルド符号化が選択されていると判定され、 さらにスケーリング 処理が可能でない場合、 ダイ レク トモード可否判定部 2 0 6は、 空間的 ダイ レク トモ一ドにより復号化対象ブロックで用いる動きべク トルを予 測して生成することができるか否かを判定する （ステップ S 6 0 7 )。そ れ以降の動作に関しては方法 1 と同様である。
また、 上記方法 1〜 3における、 空間的ダイ レク 卜モードで動きべク トルを予測して生成することが可能でないと判定された場合の上記処理 (ステップ S 4 0 9、 S 5 0 9、 S 6 0 8 ) については、 次のように処 理を行って方法 1 ' 〜3 ' とすることもできる。 図 1 8は方法 1 ' によ る復号化モードの確定の動作を示すフロー図である。 なお、 方法 2 ' 〜 3 ' については、 方法 1 ' と同様であるので説明および図は省略する。
(方法 1 ' )
ダイ レク トモ一ド可否判定部 2 0 6は、 同じ表示順情報を持つ トップ フィールドとボトムフィールドのうち、後で復号化されたフィールド（す なわち、 復号化対象フィールドから時間的に最も近くに復号化されたフ ィールド） を、 復号化対象フィールドから表示時間的に最も近くにある フィール ドとするように、動き補償復号化部 2 0 4に対して指示する（図 1 8、 ステップ S 4 1 0 )。
次に、 動き補償復号化部 2 0 4は、 上記のようにダイ レク トモ一ド可 否判定部 2 0 6が確定した復号化モー ドにより、 動き補償画像データを 生成する。 以下、 この確定した復号化モード毎にそれぞれ動作について 説明する。
(通常の時間的ダイレク トモ一ドでの復号化）
この場合、 動き補償復号化部 2 0 4は、 背景技術において図 2を用い て説明した時間的ダイ レク トモードと全く同様の方法を用いて動き補償 を行う。 すなわち、 復号化済みピクチャの中の、 復号化対象のブロック と同じ位置にあるブロックの動きべク トルを参照動きべク トルと して利 用し、 動き補償復号化部 2 0 4は、 この参照動きベク トルを動きべク 卜 ル記憶部 2 0 5より読み出し、 この参照動きべク トルおよびピクチャ間 の表示時間的位置関係に基づいてスケーリング処理を行って復号化対象 ブロックで用いる動きべク トルを予測して生成する。 そして、 この動き べク トルを用いて、 動き補償復号化部 2 0 4は 2枚の参照ピクチャから 2方向予測を行って、 動き補償画像データを生成する。
(動きベク トルを 「 0」 とした時間的ダイレク 卜モードでの復号化） 動き補償復号化部 2 0 4は、 スケーリング処理による動きべク トルの 予測生成を行わずに、 直接動きベク トルとして Γ 0 J を用いて 2枚の参 照ピクチャから 2方向予測を行って、 予測画像データを生成する。
このとき使用する動きベク トルの値は Γ 0」に限られたものではなく、 スケーリングを必要としないで決定することのできる所定の値とすれば よい。 上記の例では、 2枚の参照ピクチャに対する動きベク トルを 2つ とも Γ 0 J として説明しているが、 これに限られるものではなく、 2枚 の参照ピクチャに対する動きベク トルの少なく とも 1 つを 「 0 J として もよい。
(ダイレク トモード以外での復号化）
動き補償復号化部 2 0 4は、 動きべク トル記憶部 2 0 5から符号化時 に用いられた動きべク トルを読み出し、 この動きべク トルを用いて 2枚 の参照ピクチャから 2方向予測を行って、 動き補償画像データを生成す る。
(空間的ダイ レク トモ一ドでの復号化）
この場合、 動き補償復号化部 2 0 4は、 背景技術において図 3を用い て説明した空間的ダイレク トモードと全く同様の方法を用いて動き補償 を行う。 すなわち、 復号化対象であるブロックの周辺の 3画素を含む復 号化済みの 3ブロックのそれぞれの動きべク トルのうち、 復号化対象ピ クチャから表示時間的に最も近く にある既に復号化されたピクチャを参 照した動きベク トルを使用して、 符号化対象ブロックで用いる動きべク トルを予測して生成する。
このとき、 上記 3ブロックのそれぞれの動きべク トルのうち、 復号化 対象ピクチャ （フィール ド） から表示時間的に最も近くにある既に復号 化されたピクチャを参照した動きべク トルが複数存在し、 かつ、 その参 照する複数のピクチャが同じフレームに属し、 同じ表示順情報を持つ 卜 ップフィールドとボ トムフィール ドである場合、 動き補償復号化部 2 0 4は、 ダイレク トモード可否判定部 2 0 6からの指示に基づいて、 同じ 表示順情報を持つ トップフィ一ルドとポトムフィールドのうち 1 つを、 復号化対象フィールドから表示時間的に最も近くにあるフィール ドとす る。
すなわち、 ダイ レク 卜モード可否判定部 2 0 6からの指示が、 上記方 法 1 ~ 3に説明した指示である場合、 同じ表示順情報を持つ トップフィ —ルドとボトムフィールドのうち、 復号化対象フィールドと同じ属性で あるフィールドを、 復号化対象フィールドから表示時間的に最も近くに あるフィール ドとする。 例えば、 図 7に示す例では、 同じ表示順情報を 持っているフィールド P 2 丁、 P 2 Bのうち、 復号化対象フィール ド B 3— Tと同じ トップフィールドであるフィールド P 2— Tを復号化 対象フィールドから表示時間的に最も近くにあるフィールドとする。 よ つて、 フィールド Ρ 2— Τを参照している動きベク トル M V A 1 を、 復 号化対象ブロックの 1 つめの動きべク トルの候補として決定する。
また、 ダイレク トモ一ド可否判定部 2 0 6からの指示が、上記方法 1 ' 〜3 ' に説明した指示である場合、 同じ表示順情報を持つ トップフィ一 ルドとボトムフィールドのうち、 後で復号化されたフィールドを、 復号 化対象フィールドから表示時間的に最も近くにあるフィールドとする。 例えば、 図 7に示す例でフィールド Ρ 2 _ Τ、 Ρ 2— Βのうちフィール ド Ρ 2— Βが後で復号化されたとすると、 同じ表示順情報を持っている フィールド Ρ 2 __ Τ、 Ρ 2— Βのうち、 後に復号化されたフィールド Ρ 2— Βを復号化対象フィールドから表示時間的に最も近く にあるフィ一 ルドとする。 よって、 フィールド Ρ 2— Βを参照している動きベク トル M V C 1 を、 復号化対象ブロックの 1 つめの動きべク トル M V— Fの候 補と して決定する。 2つめの動きベク トルである M V— Βを求める場合 も同様である。
このように決定した動きべク トルが 3つである場合には、 それらの中 央値を復号化対象プロックの動きベク トルとして選択する。 また、 2つ である場合には、 それらの平均値を求め、 復号化対象ブロックの動きべ ク トルとする。 また、 1 つだけである場合 （図 7に示す例） には、 その 動きべク トルを復号化対象ブロックの動きべク トルとする。 このように して求めた動きべク トルを用いて、 動き補償復号化部 2 0 4は、 参照ピ クチャから動き補償を行って、 動き補償画像データを生成する。
次に、 動き補償復号化部 2 0 4は、 上記のように生成した動き補償画 像データ （ブロック） を加算演算部 2 0 7へ出力する。 加算演算部 2 0 7は、 動き補償画像データと、 予測残差復号化部 2 0 2より入力された 予測残差画像データ とを加算し、 復号化画像データを生成してピクチャ メモリ 2 0 3に格納する。
以降同様の処理により、 ピクチャ B 1 1 の残りのマクロブロックにつ いても復号化処理を行う。 そして、 図 9 (b) に示す例では、 ピクチャ B 1 1 のすベてのマクロブロックについて処理が終了すると、 次にピクチ ャ B 1 2の復号化処理を行う。 以上のように復号化処理されたピクチャ は、 図 9 (a) に示すように順次出力画像と してピクチャメモリ 2 0 3か ら出力される。
以上のように、 フィールド符号化が選択されており、 抽出した復号化 モードが時間的ダイ レク トモードである場合に、 スケーリング処理が可 能であるか否かの判定を行っている。 そして、 スケーリング処理が可能 でないと判定された場合に、 復号化モードを変更する等の処理を行って いるので、 スケ一リング処理ができずに復号化を行うことができないと いうことがない。
また、 フィールド符号化が選択されており、 抽出した復号化モードが 空間的ダイレク トモードである場合に、 ピクチャの有する表示順情報に 基づいて符号化対象ブロッグで用いる動きベク トルを予測して生成する ことができるか否かの判定を行っている。 そして、 動きベク トルを予測 して生成することが可能でないと判定された場合に、 同じ表示順情報を 持つ トップフィールドとボトムフィールドのうち、 どちらのフィールド を復号化対象フィ一ルドから表示時間的に最も近くにあるフィールドと するかを規定する処理を行っているので、 動きべク トルを予測して生成 することができずに復号化を行えないということがない。
なお、 本実施の形態においては、 空間的ダイ レク トモードでの符号化 時に、 動き補償符号化部 1 0 7は、 符号化対象であるブロックの周辺の 3画素を含む符号化済みの 3ブロックのそれぞれの動きベク トルのうち から、 符号化対象ブロックの動きベク トルの候補を決定する際に、 符号 化対象ピクチヤから表示時間的に最も近くにある既に符号化されたピク チヤを参照した動きべク トルを候補として決定しているが、 これに限ら れるものではない。 例えば、 フィールド符号化時に、 符号化対象フィー ルドと同じ属性であるフィールドのうちから、 符号化対象フィールドか ら表示時間的に最も近くにあるフィール ドを参照した動きベク トルを候 補として決定しても構わない。 この場合、 本実施の形態がまず表示順情 報に基づいて候補を決定しているのに対して、 まず同じ属性であるフィ —ルドであることを優先させて候補を決定していることになる。 また、 復号化時の動き補償復号化部 2 0 4での動作についても、 同様である。 また、 本実施の形態においては、 各ピクチャは、 フレーム構造または フィールド構造のいずれかを用いて適応的に符号化、 復号化処理される として説明したが、 これは例えばプロック単位でフレーム構造またはフ ィールド構造のいずれかを用いて適応的に符号化、 復号化処理されると しても、 本発明と同様の処理により実施することが可能であり、 同様の 効果が得られる。
また、 本実施の形態においては、 Pピクチャは前方 1 方向のピクチャ を参照して処理され、 Bピクチャは前方および後方の 2方向のピクチャ を参照して処理されるピクチャと して説明したが、 これらの Pピクチャ は後方 1 方向のピクチャを参照して処理され、 Bピクチャは前方 2方向 または後方 2方向のピクチャを参照して処理されるとしても、 同様の効 果が得られる。
なお、 本発明の実施の形態における表示順情報は、 表示の順番に限定 されるものではなく、 実際の表示時間や、 表示時間の値が大きくなるの に伴って値が大きくなる所定のピクチャを基準と した各ピクチャの相対 順序であっても良い。 (実施の形態 2 )
さらに、 上記実施の形態 1 で示した画像符号化方法または画像復号化 方法の構成を実現するためのプログラムを、 フレキシブルディスク等の 記憶媒体に記録するようにすることにより、 上記実施の形態 1 で示した 処理を、 独立したコンピュータシステムにおいて簡単に実施することが 可能となる。
図 1 9は、 上記実施の形態 1 の画像符号化方法または画像復号化方法 を格納したフレキシブルディスクを用いて、 コンピュータシステムによ リ実施する場合の説明図である。
図 1 9 ( b ) は、 フレキシブルディスクの正面からみた外観、 断面構 造、 及びフレキシブルディスクを示し、 図 1 9 ( a ) は、 記録媒体本体 であるフレキシブルディスクの物理フォーマツ 卜の例を示している。 フ レキシブルディスク F Dはケース F内に内蔵され、 該ディスクの表面に は、 同心円状に外周からは内周に向かって複数の トラック T rが形成さ れ、 各トラックは角度方向に 1 6のセクタ S eに分割されている。 従つ て、 上記プログラムを格納したフレキシブルディスクでは、 上記フレキ シブルディスク F D上に割り当てられた領域に、 上記プログラムとして の画像符号化方法が記録されている。
また、 図 1 9 ( c ) は、 フレキシブルディスク F Dに上記プログラム の記録再生を行うための構成を示す。 上記プログラムをフレキシブルデ イスク F Dに記録する場合は、 コンピュータシステム C sから上記プロ グラムと しての画像符号化方法または画像復号化方法をフレキシブルデ イスク ドライブを介して書き込む。 また、 フレキシブルディスク内のプ ログラムにより上記画像符号化方法をコンピュータシステム中に構築す る場合は、 フレキシブルディスク ドライブによりプログラムをフレキシ ブルディスクから読み出し、 コンピュータシステムに転送する。 なお、 上記説明では、 記録媒体と してフレキシブルディスクを用いて 説明を行ったが、光ディスクを用いても同様に行うことができる。また、 記録媒体はこれに限らず、 I Cカード、 R O Mカセッ ト等、 プログラム を記録できるものであれば同様に実施することができる。
さらにここで、 上記実施の形態で示した動画像符号化方法や動画像復 号化方法の応用例とそれを用いたシステムを説明する。
図 2 0は、 コンテンツ配信サービスを実現するコンテンツ供給システ ム ex l 0 0の全体構成を示すプロック図である。通信サービスの提供ェ リアを所望の大きさに分割し、 各セル内にそれぞれ固定無線局である基 地局 ex 1 0 7〜ex 1 1 0が設置されている。
このコンテンツ供給システム ex 1 0 0は、例えば、インタ一ネッ ト ex 1 0 1 にインタ一ネッ トサービスプロバイダ ex 1 0 2および電話網 ex 1 0 4、 および基地局 ex 1 0 7 ~ex 1 1 0を介して、 コンピュータ ex 1 1 1 、 P D A (personal digital assistant) ex 1 1 2、 カメラ ex 1 1 3、 携帯電話 ex 1 1 4、 カメラ付きの携帯電話 e x 1 1 5などの各機 器が接続される。
しかし、 コンテンツ供給システム ex l 0 0は図 2 0のような組合せに 限定されず、いずれかを組み合わせて接続するようにしてもよい。また、 固定無線局である基地局 ex 1 0 7〜ex 1 1 0を介さずに、各機器が電話 網 ex 1 0 4に直接接続されてもよい。
カメラ ex l 1 3はデジタルビデオカメラ等の動画撮影が可能な機器 である。 また、 携帯電話は、 P D C (Personal Digital Communications) 方式、 C D M A (Code Division Multiple Access) 方式、 W— C D M A ( W i deb and— Code Division Multiple Access ) 方式、 若し く は G S M (Global System for Mobi le Communications) 方式の携帯電話機、 また は P H S (Persona I Handyphone System) 等であり、 いずれでも構わな い
また、 ス トリ一ミ ングサーバ ex 1 0 3は、 カメラ ex 1 1 3から基地局 ex 1 0 9、 電話網 ex 1 0 4を通じて接続されており、 カメ ラ ex 1 1 3を 用いてユーザが送信する符号化処理されたデータに基づいたライブ配信 等が可能になる。 撮影したデータの符号化処理はカメラ ex 1 1 3で行つ ても、 データの送信処理をするサーバ等で行ってもよい。 また、 カメ ラ ex 1 1 6で撮影した動画データはコ ンピュータ ex 1 1 1 を介してス ト リーミングサーバ ex 1 0 3に送信されてもよい。力メラ ex 1 1 6はデジ タルカメ ラ等の静止画、 動画が撮影可能な機器である。 この場合、 動画 データの符号化はカメ ラ ex 1 1 6で行ってもコンピュータ ex l 1 1 で 行ってもどちらでもよい。 また、 符号化処理はコンピュータ ex l 1 1 や カメ ラ ex 1 1 6が有する L S I e 1 1 7において処理することになる。 なお、 動画像符号化 ■ 復号化用のソフ トウェアをコンピュータ ex 1 1 1 等で読み取り可能な記録媒体である何らかの蓄積メディア （ C D— R O M、 フ レキシブルディスク、ハー ドディスクなど） に組み込んでもよい。 さ らに、 カメ ラ付きの携帯電話 ex 1 1 έで動画データを送信してもよし、。 このときの動画データは携帯電話 ex l 1 5が有する L S I で符号化処 理されたデータである。
このコンテンツ供給システム ex 1 0 0では、ユーザがカメラ ex l 1 3、 カメ ラ ex 1 1 6等で撮影しているコンテンツ （例えば、 音楽ライブを撮 影した映像等） を上記実施の形態同様に符号化処理してス ト リーミ ング サーバ ex 1 0 3に送信する一方で、ス トリーミ ングサーバ ex 1 0 3は要 求のあったクライアン 卜に対して上記コンテンツデータ をス 卜 リー厶配 信する。 クライアン トと しては、 上記符号化処理されたデータ を復号化 することが可能な、 コンピュータ ex l 1 1 、 P D A ex 1 1 2、 カメ ラ ex 1 1 3、 携帯電話 ex l 1 4等がある。 このようにすることでコ ンテンツ 供給システム ex1 00は、符号化されたデータをクライアントにおいて 受信して再生することができ、 さらにクライアン 卜においてリアルタイ ムで受信して復号化し、 再生することにより、 個人放送をも実現可能に なるシステムである。
このシステムを構成する各機器の符号化、 復号化には上記各実施の形 態で示した動画像符号化装置あるいは動画像復号化装置を用いるように すればよい。
その一例と して携帯電話について説明する。
図 2 1 は、 上記実施の形態で説明した動画像符号化方法と動画像復号 化方法を用いた携帯電話 ex 1 1 5を示す図である。携帯電話 exl 1 5は、 基地局 ex1 1 0との間で電波を送受信するためのアンテナ ex 2 0 1 、C C Dカメラ等の映像、 静止画を撮ることが可能な力メラ部 ex 2 0 3、 力 メラ部 ex 2 0 3で撮影した映像、アンテナ ex 2 0 1 で受信した映像等が 復号化されたデータを表示する液晶ディスプレイ等の表示部 ex 2 0 2、 操作キー e X 2 0 4群から構成される本体部、 音声出力をするためのス ピー力等の音声出力部 ex 2 0 8、音声入力をするためのマイク等の音声 入力部 ex2 0 5、 撮影した動画もしくは静止画のデータ、 受信したメ一 ルのデータ、 動画のデータもしくは静止画のデータ等、 符号化されたデ ータまたは復号化されたデータを保存するための記録メディア ex 2 0 7、携帯電話 ex 1 1 5に記録メディア ex 2 0 7を装着可能とするための スロッ ト部 ex 20 6を有している。記録メディア ex 20 7は S Dカード 等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メ モリである E E P R O M ( E I ectr i ca I I y Erasable and Programmab I e Read Only Memory) の一種であるフラッシュメモリ素子を格納したものである。
さらに、 携帯電話 exl 1 5について図 2 2を用いて説明する。 携帯電 話 exl 1 5は表示部 ex2 0 2及び操作キー e x 2 0 4を備えた本体部 の各部を統括的に制御するようになされた主制御部 ex3 1 1 に対して、 電源回路部 ex 3 1 0、 操作入力制御部 ex 3 0 4、 画像符号化部 ex 3 1 2、 カ メ ライ ンタ一フ ェース部 ex 3 0 3、 L C D (Liquid Crystal Display) 制御部 ex3 0 2、 画像復号化部 ex3 0 9、 多重分離部 ex 3 0 8、 記録再生部 ex30 7、 変復調回路部 ex 3 0 6及び音声処理部 ex 3 0 5が同期バス ex 3 1 3を介して互いに接続されている。
電源回路部 ex3 1 0は、ユーザの操作により終話及び電源キーがオン 状態にされると、 パッテリパックから各部に対して電力を供給すること によリカメラ付ディジタル携帯電話 exl 1 5を動作可能な状態に起動 する。
携帯電話 ex 1 1 5は、 C P U、 R O M及び R A M等でなる主制御部 ex 3 1 1 の制御に基づいて、音声通話モード時に音声入力部 ex 2 0 5で集 音した音声信号を音声処理部 ex 3 0 5によってディジタル音声データ に変換し、 これを変復調回路部 ex 3 0 6でスぺク トラム拡散処理し、 送 受信回路部 ex 3 0 1 でディ ジタルアナログ変換処理及び周波数変換処 理を施した後にアンテナ ex 20 1 を介して送信する。また携帯電話機 ex 1 1 5は、音声通話モード時にアンテナ ex2 0 1 で受信した受信データ を増幅して周波数変換処理及びアナ口グディジタル変換処理を施し、 変 復調回路部 ex 3 0 6でスぺク トラム逆拡散処理し、音声処理部 ex 30 5 によってアナログ音声データに変換した後、 これを音声出力部 ex 20 8 を介して出力する。
さらに、 データ通信モード時に電子メールを送信する場合、 本体部の 操作キー e X 2 0 4の操作によって入力された電子メールのテキス トデ ータは操作入力制御部 ex3 0 4を介して主制御部 ex3 1 1 に送出され る。主制御部 ex 3 1 1 は、 テキス トデータを変復調回路部 ex 3 0 6でス ぺク トラ厶拡散処理し、送受信回路部 ex 3 0 1 でディジタルアナログ変 換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して基 地局 ex 1 1 0へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部 ex 2 0 3 で撮像された画像データをカメラインターフェース部 ex 3 0 3を介し て画像符号化部 ex 3 1 2に供給する。 また、 画像データを送信しない場 合には、 カメラ部 ex 20 3で撮像した画像データをカメラインタ一フエ —ス部 ex3 03及び L C D制御部 ex 3 0 2を介して表示部 ex 2 0 2に 直接表示することも可能である。
画像符号化部 ex 3 1 2は、本願発明で説明した動画像符号化装置を備 えた構成であり、 カメラ部 ex2 0 3から供給された画像データを上記実 施の形態で示した動画像符号化装置に用いた符号化方法によって圧縮符 号化することにより符号化画像データに変換し、 これを多重分離部 ex 3 0 8に送出する。 また、 このとき同時に携帯電話機 exl 1 5は、 カメラ 部 ex 20 3で撮像中に音声入力部 ex 2 0 5で集音した音声を音声処理 部 ex 3 0 5を介してディジタルの音声データとして多重分離部 ex 3 0 8に送出する。
多重分離部 ex3 0 8は、画像符号化部 ex 3 1 2から供給された符号化 画像データと音声処理部 ex 3 0 5から供給された音声データとを所定 の方式で多重化し、その結果得られる多重化データを変復調回路部 ex 3 0 6でスぺク トラム拡散処理し、送受信回路部 ex3 0 1 でディジタルァ ナログ変換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を 介して送信する。
データ通信モー ド時にホームページ等にリ ンクされた動画像ファイル のデータを受信する場合、アンテナ ex2 0 1 を介して基地局 exl 1 0か ら受信した受信データを変復調回路部 ex 3 0 6でスペク トラム逆拡散 処理し、 その結果得られる多重化データを多重分離部 ex3 08に送出す る。
また、 アンテナ ex 2 0 1 を介して受信された多重化データを復号化す るには、 多重分離部 ex 3 0 8は、 多重化データを分離することによリ画 像データのビッ トス 卜リームと音声データのビッ トス トリ一ムとに分け、 同期バス ex 3 1 3を介して当該符号化画像データを画像復号化部 ex 3 0 9に供給すると共に当該音声データを音声処理部 ex 3 0 5に供給す る。
次に、 画像復号化部 ex 3 0 9は、 本願発明で説明した動画像復号化装 置を備えた構成であり、 画像データのビッ 卜ス トリームを上記実施の形 態で示した符号化方法に対応した復号化方法で復号化することによリ再 生動画像データを生成し、 これを L C D制御部 ex 3 0 2を介して表示部 ex 2 0 2に供給し、 これにより、 例えばホームページにリンクされた動 画像ファイルに含まれる動画データが表示される。 このとき同時に音声 処理部 ex 3 0 5は、 音声データをアナログ音声データに変換した後、 こ れを音声出力部 ex 2 0 8に供給し、 これにより、 例えばホームページに リンクされた動画像ファイルに含まる音声データが再生される。
なお、 上記システムの例に限られず、 最近は衛星、 地上波によるディ ジタル放送が話題となっており、 図 2 3に示すようにディジタル放送用 システムにも上記実施の形態の少なく とも動画像符号化装置または動画 像復号化装置のいずれかを組み込むことができる。 具体的には、 放送局 ex 4 0 9では映像情報のビッ トス トリームが電波を介して通信または放 送衛星 ex 4 1 0に伝送される。 これを受けた放送衛星 ex 4 1 0は、放送 用の電波を発信し、 この電波を衛星放送受信設備をもつ家庭のアンテナ ex 4 0 6で受信し、 テレビ （受信機） ex 4 0 1 またはセッ ト トツプボッ クス （ S T B ) ex 4 0 7などの装置により ビッ トス トリームを復号化し てこれを再生する。 また、 記録媒体である CD や DVD 等の蓄積メディア ex 40 2に記録したビッ トス トリームを読み取リ、 復号化する再生装置 ex 4 0 3にも上記実施の形態で示した動画像復号化装置を実装すること が可能である。 この場合、 再生された映像信号はモニタ ex40 4に表示 される。 また、 ケーブルテレビ用のケーブル ex40 5または偉 Ϊ星ノ地上 波放送のアンテナ ex4 0 6に接続されたセッ ト トップボックス ex40 7内に動画像復号化装置を実装し、 これをテレビのモニタ ex 4 0 8で再 生する構成も考えられる。 このときセッ ト トップボックスではなく、 テ レビ内に動画像復号化装置を組み込んでも良い。 また、 アンテナ ex4 1 1 を有する車 ex 4 1 2で衛星 ex 4 1 0からまたは基地局 ex 1 0 7等か ら信号を受信し、車 ex 4 1 2が有する力一ナビゲージヨン ex 4 1 3等の 表示装置に動画を再生することも可能である。
更に、 画像信号を上記実施の形態で示した動画像符号化装置で符号化 し、 記録媒体に記録することもできる。 具体例と しては、 DVD ディスク e X 4 2 1 に画像信号を記録する DVD レコーダや、 ハードディスクに記 録するディスク レコーダなどのレコーダ e x4 2 0がある。 更に SDカー ド e X 4 2 2に記録することもできる。 レコーダ e x 4 2 0が上記実施 の形態で示した動画像復号化装置を備えていれば、 DVD ディスク e X 4 2 1 や SDカード e x 4 2 2に記録した画像信号を再生し、モニタ e x 4 0 8で表示することができる。
なお、 カーナビゲ一シヨン ex4 1 3の構成は例えば図 2 2に示す構成 のうち、 カメラ部 ex 2 0 3とカメラインタ一フェース部 ex 3 0 3、画像 符号化部 e X 3 1 2を除いた構成が考えられ、 同様なことがコンビユー タ exl 1 1 やテレビ （受信機） ex40 1 等でも考えられる。
また、 上記携帯電話 ex 1 1 4等の端末は、 符号化器 ·復号化器を両方 持つ送受信型の端末の他に、 符号化器のみの送信端末、 復号化器のみの 受信端末の 3通りの実装形式が考えられる。 このように、 上記実施の形態で示した動画像符号化方法あるいは動画 像復号化方法を上述したいずれの機器 ■ システムに用いることは可能で あり、 そうすることで、 上記実施の形態で説明した効果を得ることがで きる。
また、 本発明はかかる上記実施形態に限定されるものではなく、 本発 明の範囲を逸脱することなく種々の変形または修正が可能である。 産業上の利用の可能性
以上のように、 本発明に係る動画像符号化方法および動画像復号化方 法は、 例えば携帯電話、 D V D装置、 およびパーソナルコンピュータ等 で、 動画像を構成する各ピクチャを符号化して符号列を生成したり、 生 成された符号列を復号化したりするための方法と して有用である。

Claims

請 求 の 範 囲
1 . 動画像を構成する各ピクチャをフレーム構造またはフィ一ルド構造 によリ符号化する方法であって、
既に符号化されたピクチャを参照して、 ピクチャを構成するブロック ごとに動きべク トルを算出する動きべク トル算出ステップと、
処理対象ブロックの符号化モードを決定するモード決定ステップと、 前記モード決定ステツプで決定された符号化モ一ドが、 表示時間的に 近傍にある符号化済みピクチャの有する動きべク トルを参照動きべク ト ルと して、 参照ピクチャ間の表示時間的位置関係に基づいて前記參照動 きベク トルのスケーリング処理を行うことによって当該処理対象ブロッ クの動きべク トルを予測して生成する符号化モードである場合、 当該処 理対象ブロックの動きベク トルを予測して生成することができるか否か を判定するスケーリング判定ステップと、
前記スケーリング判定ステップの判定結果に基づいて、 前記モード決 定ステップで決定された符号化モードをそのままもしくは更新して使用 することにより動き補償を行う動き補償ステップと
を含むことを特徴とする動画像符号化方法。
2 . 前記スケ一リング判定ステップでは、 前記スケーリング処理で参照 する 2つのピクチヤが有する表示順情報が同じ場合に、 fij記スケ —リン グ処理を行うことによって当該処理対象ブロックの動きべク 卜ルを予測 して生成することができないと判定する
ことを特徴とする請求の範囲 1 記載の動画像符号化方 /2
3 . 前記スケーリング判定ステップでは、 前記スケーリング処理で参照 する 2つのピクチャが、 同一フレームに属する トップフィールドとポト 厶フィールドであリ前記 2つのフィールドが共に同じ表示順情報を有し ていた場合に、 前記スケーリング処理を行うことによって当該処理対象 ブロックの動きベク トルを予測して生成することができないと判定する ことを特徴とする請求の範囲 1記載の動画像符号化方法。
4 . 前記動き補償ステップでは、 前記スケーリング判定ステップで刖 S己 動きべク トルを生成することができないと判定された場合に 、 W1記動き べク トル算出ステップで算出した当該処理対象ブロックの動さべク トル を用いて符号化する符号化モードに変更して動き補償を行う
ことを特徴とする請求の範囲 1 〜 求の範囲 3のいずれか 1 項に龍 の動画像符号化方法。
5 . 前記動き補償ステップでは、 前記スケーリング判定ステップで前記 動きべク トルを生成することができないと判定された場合に、 前記スケ 一リング処理を行わずに、 当該処理対象プロックの前記予測して生成さ れる動きべク 卜ルをあらかじめ設定された所定の値のべク 卜ルと して、 前記モード決定ステツプで決定された符号化モ —ドを用いて
行う
ことを特徴とする請求の範囲 1 〜請求の範囲 3のいずれか 1 項に記載 の動画像符号化方法。
6 - 前記所定のベク トルの少なく とも 1 つは 0べク トルであリ、
前記動き補償ステップでは、 前記スケー 'Jング判定ステップで前記動 きべク トルを生成することができないと判定された場合に 、 前記スケ一 リング処理を行わずに、 当該処理対象プロックの前記予測して生成され る動きべク トルの少なく とも 1 つを 0ベク トルとして、 前記モード決定 ステップで決定された符号化モードを用いて動き補償を行う
ことを特徴とする請求の範囲 5記載の動画像符号化方法。
7 - 前記動き補償ステツプでは、 前記スケ一リング判定ステツプで前記 動さべク トルを生成することができないと判定された場合に、 当該処理 対象ブロックの空間的周辺に位置する既に符号化されたプロックの有す る動きべク トルに基づいて、 当該処理対象ブロックの動きべク トルを予 測して生成し符号化する符号化モードに変更して動き補償を行ラ
とを特徴とする請求の範囲 1 〜請求の範囲 3のいずれか 1 項に記載 の動画像符号化方法。
8 . 動画像を構成する各ピクチャをフレーム構造またはフィ一ルド構造 によリ復号化する方法であって、
既に復号化されたピクチャを参照して、 ピクチャを構成するブロック ごとに動きべク トルを算出する動きべク トル算出ステップと、
処理対象ブロックの復号化モードを抽出するモード抽出ステップと、 前記モード抽出ステップで抽出された復号化モードが、 表示時間的に 近傍にある復号化済みピクチャの有する動きべク トルを参照動きべク ト ルと して、 参照ピクチャ間の表示時間的位置関係に基づいて前記参照動 きベク トルのスケーリング処理を行うことによって当該処理対象ブロッ クの動きべク トルを予測して生成する復号化モードである場合、 当該処 理対象ブロックの動きベク トルを予測して生成することができるか否か を判定するスケーリング判定ステップと、
前記スケーリング判定ステップの判定結果に基づいて、 前記モード抽 出ステップで抽出された復号化モードをそのままもしくは更新して使用 することにより動き補償を行う動き補償ステップと
を含むことを特徴とする動画像復号化方法。
9 . 前記スケーリング判定ステップでは、 前記スケーリング処理で参照 する 2つのピクチャが有する表示順情報が同じ場合に、 前記スケーリン グ処理を行うことによって当該処理対象プロックの動きべク トルを予測 して生成することができないと判定する
ことを特徴とする請求の範囲 8記載の動画像復号化方法。
1 0 . 前記スケーリング判定ステップでは、 前記スケーリング処理で参 照する 2つのピクチャが、 同一フレームに属する トップフィールドとポ トムフィ一ルドであリ前記 2つのフィールドが共に同じ表示順情報を有 していた場合に、 前記スケーリング処理を行うことによって当該処理対 象ブロックの動きべク トルを予測して生成することができないと判定す る
ことを特徴とする請求の範囲 8記載の動画像復号化方法。
1 1 . 前記動き補償ステップでは、 前記スケーリング判定ステップで前 記動きべク トルを生成することがで考ないと判定された場合に、 前記動 きべク トル算出ステップで算出した当該処理対象ブロックの動きべク ト ルを用いて復号化する復号化モードに変更して動き補償を行う
ことを特徴とする請求の範囲 8〜請求の範囲 1 0のいずれか 1 項に記 載の動画像復号化方法。
1 2 . 前記動き補償ステップでは、 前記スケーリング判定ステップで前 記動きべク トルを生成することができないと判定された場合に、 前記ス ケ一リング処理を行わずに、 当該処理対象ブロックの前記予測して生成 される動きべク トルをあらかじめ設定された所定の値のべク トルとして、 前記モード抽出ステップで抽出された復号化モードを用いて動き補償を 行う
ことを特徴とする請求の範囲 8〜請求の範囲 1 0のいずれか 1 項に記 載の動画像復号化方法。
1 3 . 前記所定のべク トルの少なく とも 1 つは 0べク トルであり、 前記動き補償ステツプでは、 前記スケーリング判定ステツプで前記動 きベク トルを生成することができないと判定された場合に、 前記スケー リング処理を行わずに、 当該処理対象ブロックの前記予測して生成され る動きべク トルの少なく とも 1 つを 0べク トルとして、 前記モード抽出 ステップで抽出された復号化モードを用いて動き補償を行う
ことを特徴とする請求の範囲 1 2記載の動画像復号化方法。
1 4 . 前記動き補償ステップでは、 前記スケーリング判定ステップで前 記動きべク トルを生成することができないと判定された場合に、 当該処 理対象ブロックの空間的周辺に位置する既に復号化されたブロックの有 する動きべク トルに基づいて、 当該処理対象ブロックの動きべク トルを 予測して生成し復号化する復号化モードに変更して動き補償を行う ことを特徴とする請求の範囲 8〜請求の範囲 1 0のいずれか 1 項に記 載の動画像復号化方法。
1 5 . 動画像を構成する各ピクチャをフ レーム構造またはフィール ド構 造により符号化する動画像符号化装置であって、
既に符号化されたピクチャを参照して、 ピクチャを構成するブロック ごとに動きべク トルを算出する動きべク トル算出手段と、
処理対象ブロックの符号化モードを決定するモード決定手段と、 前記モ一ド決定手段で決定された符号化モードが、 表示時間的に近傍 にある符号化済みピクチャの有する動きべク 卜ルを参照動きべク トルと して、 参照ピクチャ間の表示時間的位置関係に基づいて前記参照動きべ ク トルのスケーリング処理を行うことによって当該処理対象ブロックの 動きべク トルを予測して生成する符号化モードである場合、 当該処理対 象ブロックの動きベク トルを予測して生成することができるか否かを判 定するスケーリング判定手段と、
前記スケーリング判定手段の判定結果に基づいて、 前記モード決定手 段で決定された符号化モードをそのままもしくは更新して使用すること によリ動き補償を行う動き補償手段と
を備えることを特徴とする動画像符号化装置。
1 6 . 動画像を構成する各ピクチャをフ レーム構造またはフィール ド構 造により復号化する動画像復号化装置であって、
既に復号化されたピクチャを参照して、 ピクチャを構成するブロック ごとに動きべク トルを算出する動きべク トル算出手段と、
処理対象ブロックの復号化モードを抽出するモード抽出手段と、 前記モード抽出手段で抽出された復号化モードが、 表示時間的に近傍 にある復号化済みピクチャの有する動きべク トルを参照動きべク トルと して、 参照ピクチャ間の表示時間的位置関係に基づいて前記参照動きべ ク トルのスケーリング処理を行うことによって当該処理対象ブロックの 動きべク トルを予測して生成する復号化モードである場合、 当該処理対 象ブロックの動きベク トルを予測して生成することができるか否かを判 定するスケーリング判定手段と、 前記スケーリング判定手段の判定結果に基づいて、 前記モード抽出手 段で抽出された復号化モー ドを用いて動き補償を行う動き補償手段と を備えることを特徴とする動画像復号化装置。
1 7 . 動画像を構成する各ピクチャをフ レーム構造またはフィール ド構 造により符号化するためのプログラムであって、
請求の範囲 1 記載の動画像符号化方法に含まれるステップをコンビュ 一夕に実行させる
ことを特徴とするプログラム。
1 8 . 動画像を構成する各ピクチャをフレーム構造またはフィール ド構 造によリ復号化するためのプログラムであって、
請求の範囲 8記載の動画像復号化方法に含まれるステップをコンビュ 一夕に実行させる
ことを特徴とするプログラム。
PCT/JP2003/012756 2002-11-01 2003-10-06 動画像符号化方法および動画像復号化方法 WO2004040915A1 (ja)

Priority Applications (17)

Application Number Priority Date Filing Date Title
BR0306684-3A BR0306684A (pt) 2002-11-01 2003-10-06 Método de codificação de imagem em movimento e método de decodificação de imagem em movimento
CA2470717A CA2470717C (en) 2002-11-01 2003-10-06 Moving picture coding method and moving picture decoding method
EP16192321.4A EP3145186B1 (en) 2002-11-01 2003-10-06 Direct mode motion vector computation avoiding divisions by zero
CN2003801000780A CN1685732B (zh) 2002-11-01 2003-10-06 画像编码方法及装置、画像解码方法及装置
BRPI0306684-3A BRPI0306684B1 (pt) 2002-11-01 2003-10-06 “Método e aparelho de codificação de um sinal de imagem e método e aparelho de decodificação de um sinal de imagem”
US10/498,088 US9426490B2 (en) 2002-11-01 2003-10-06 Moving picture encoding method and motion picture decoding method
EP03748710.5A EP1562385B1 (en) 2002-11-01 2003-10-06 Motion picture encoding method and motion picture decoding method
AU2003268763A AU2003268763B2 (en) 2002-11-01 2003-10-06 Motion picture encoding method and motion picture decoding method
ES03748710.5T ES2495440T3 (es) 2002-11-01 2003-10-06 Procedimiento de codificación de fotogramas de movimiento y procedimiento de decodificación de fotogramas de movimiento
US11/980,605 US20080069235A1 (en) 2002-11-01 2007-10-31 Moving picture coding method and moving picture decoding method
US15/213,617 US9699455B2 (en) 2002-11-01 2016-07-19 Moving picture coding method and moving picture coding apparatus for coding a current block in a temporal direct mode
US15/213,611 US9693059B2 (en) 2002-11-01 2016-07-19 Moving picture coding method and moving picture decoding method using either a frame structure or a field structure
US15/601,067 US9888238B2 (en) 2002-11-01 2017-05-22 Moving picture decoding method for decoding a current block in a temporal direct mode
US15/851,970 US10097824B2 (en) 2002-11-01 2017-12-22 Moving picture decoding method for decoding a current block in a temporal direct mode
US16/118,973 US10375388B2 (en) 2002-11-01 2018-08-31 Moving picture decoding method for decoding a current block in a temporal direct mode
US16/444,189 US10623729B2 (en) 2002-11-01 2019-06-18 Moving picture decoding method for decoding a current block in a temporal direct mode
US16/444,263 US10623730B2 (en) 2002-11-01 2019-06-18 Moving picture decoding method for decoding a current block in a temporal direct mode

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2002-320458 2002-11-01
JP2002320458 2002-11-01
JP2002344580 2002-11-27
JP2002-344580 2002-11-27
JP2002370600 2002-12-20
JP2002-370600 2002-12-20

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US10/498,088 A-371-Of-International US9426490B2 (en) 2002-11-01 2003-10-06 Moving picture encoding method and motion picture decoding method
US11/980,605 Continuation US20080069235A1 (en) 2002-11-01 2007-10-31 Moving picture coding method and moving picture decoding method
US15/213,611 Continuation US9693059B2 (en) 2002-11-01 2016-07-19 Moving picture coding method and moving picture decoding method using either a frame structure or a field structure
US15/213,617 Continuation US9699455B2 (en) 2002-11-01 2016-07-19 Moving picture coding method and moving picture coding apparatus for coding a current block in a temporal direct mode

Publications (1)

Publication Number Publication Date
WO2004040915A1 true WO2004040915A1 (ja) 2004-05-13

Family

ID=32233998

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/012756 WO2004040915A1 (ja) 2002-11-01 2003-10-06 動画像符号化方法および動画像復号化方法

Country Status (12)

Country Link
US (9) US9426490B2 (ja)
EP (4) EP2793473B1 (ja)
KR (2) KR100967237B1 (ja)
CN (3) CN101873488B (ja)
AU (1) AU2003268763B2 (ja)
BR (2) BR0306684A (ja)
CA (1) CA2470717C (ja)
ES (4) ES2618481T3 (ja)
MX (1) MXPA04006242A (ja)
MY (1) MY135215A (ja)
TW (1) TWI280781B (ja)
WO (1) WO2004040915A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101212695B (zh) * 2006-12-26 2011-08-31 三星电子株式会社 处理图像信号的设备及其控制方法
CN107396101A (zh) * 2012-02-03 2017-11-24 太阳专利托管公司 图像编码方法及图像编码装置
US10560716B2 (en) 2012-03-06 2020-02-11 Sun Patent Trust Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US10616601B2 (en) 2012-01-20 2020-04-07 Sun Patent Trust Methods and apparatuses for encoding and decoding video using temporal motion vector prediction

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2793473B1 (en) 2002-11-01 2016-12-14 Godo Kaisha IP Bridge 1 Direct mode motion vector computation avoiding divisions by zero
EP1753242A2 (en) * 2005-07-18 2007-02-14 Matsushita Electric Industrial Co., Ltd. Switchable mode and prediction information coding
JP4879558B2 (ja) * 2005-11-02 2012-02-22 パナソニック株式会社 動きベクトル検出装置
JP4527677B2 (ja) * 2006-03-15 2010-08-18 富士通株式会社 動画像符号化方法、動画像符号化装置、動画像符号化プログラム
JP4417919B2 (ja) * 2006-03-31 2010-02-17 株式会社東芝 画像符号化装置及び画像復号化装置
US8270492B2 (en) * 2006-05-12 2012-09-18 Panasonic Corporation Moving picture decoding device
JP4902854B2 (ja) * 2006-09-12 2012-03-21 パナソニック株式会社 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置
JP2008227702A (ja) * 2007-03-09 2008-09-25 Oki Electric Ind Co Ltd 動きベクトル探索装置、動きベクトル探索方法及び動きベクトル探索プログラム
US8808164B2 (en) 2008-03-28 2014-08-19 Intuitive Surgical Operations, Inc. Controlling a robotic surgical tool with a display monitor
JP5578775B2 (ja) 2008-09-02 2014-08-27 富士通株式会社 符号化装置および復号装置
WO2011126282A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using transformation index, and method and apparatus for decoding video by using transformation index
KR20110112168A (ko) * 2010-04-05 2011-10-12 삼성전자주식회사 내부 비트뎁스 확장에 기반한 비디오 부호화 방법 및 그 장치, 내부 비트뎁스 확장에 기반한 비디오 복호화 방법 및 그 장치
US9369736B2 (en) 2010-04-05 2016-06-14 Samsung Electronics Co., Ltd. Low complexity entropy-encoding/decoding method and apparatus
WO2011126283A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video based on internal bit depth increment, and method and apparatus for decoding video based on internal bit depth increment
KR101815723B1 (ko) 2010-09-24 2018-01-05 선 페이턴트 트러스트 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치, 및 화상 복호화 장치
WO2012042719A1 (ja) * 2010-09-30 2012-04-05 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US9300961B2 (en) 2010-11-24 2016-03-29 Panasonic Intellectual Property Corporation Of America Motion vector calculation method, picture coding method, picture decoding method, motion vector calculation apparatus, and picture coding and decoding apparatus
US9049455B2 (en) 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
KR101820997B1 (ko) 2011-01-12 2018-01-22 선 페이턴트 트러스트 동화상 부호화 방법 및 동화상 복호화 방법
JP6004271B2 (ja) * 2011-01-12 2016-10-05 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
WO2012114694A1 (ja) 2011-02-22 2012-08-30 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
MX2013009864A (es) 2011-03-03 2013-10-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, metodo de decodificacion de imagenes en movimiento, aparato de codificacion de imagenes en movimiento, aparato de decodificacion de imagenes en movimiento y aparato de codificacion y decodificacion de imagenes en movimiento.
RU2719308C2 (ru) * 2011-04-12 2020-04-17 Сан Пэтент Траст Способ кодирования движущихся изображений, устройство кодирования движущихся изображений, способ декодирования движущихся изображений, устройство декодирования движущихся изображений и устройство кодирования и декодирования движущихся изображений
WO2012160803A1 (ja) 2011-05-24 2012-11-29 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および、画像符号化復号装置
PL2717575T3 (pl) 2011-05-27 2019-03-29 Sun Patent Trust Sposób dekodowania obrazów i urządzenie do dekodowania obrazów
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
CN103548351B (zh) 2011-05-31 2017-07-11 太阳专利托管公司 运动图像解码方法及运动图像解码装置
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
MX2013013029A (es) 2011-06-30 2013-12-02 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, dispositivo de decodificacion de imagenes, dispositivo de codificacion de imagenes y dispositivo de codificacion/decodifi cacion de imagenes.
EP3487178A1 (en) 2011-08-03 2019-05-22 Sun Patent Trust Video encoding method, video encoding apparatus, video decoding method, video decoding apparatus, and video encoding/decoding apparatus
GB2493755B (en) 2011-08-17 2016-10-19 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of images
KR20130030181A (ko) * 2011-09-16 2013-03-26 한국전자통신연구원 움직임 벡터 예측기를 이용한 움직임 벡터 부호화/복호화 방법 및 장치
KR101999869B1 (ko) 2011-10-19 2019-07-12 선 페이턴트 트러스트 화상 부호화 방법, 화상 부호화 장치, 화상 복호 방법, 및, 화상 복호 장치
EP2782341B1 (en) 2011-10-28 2020-01-01 Sun Patent Trust Image encoding method, image decoding method, image encoding device, and image decoding device
MX2013012223A (es) * 2011-10-28 2013-11-01 Panasonic Corp Metodo de codificacion de imagen, metodo de decodificacion de imagen, aparato de codificacion de imagen y aparato de decodificacion de imagen.
CN104980751B (zh) * 2014-04-02 2018-06-15 扬智科技股份有限公司 图像数据处理装置及图像数据处理的方法
TWI548266B (zh) * 2014-06-24 2016-09-01 愛爾達科技股份有限公司 多媒體檔案儲存系統與相關裝置
JP5931160B2 (ja) * 2014-11-05 2016-06-08 三菱電機株式会社 画像符号化装置およびビットストリーム
JPWO2019082318A1 (ja) * 2017-10-25 2020-11-19 株式会社ソシオネクスト 動画像処理装置、動画像処理システム、及び動画像処理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1175191A (ja) * 1997-03-07 1999-03-16 Nextlevel Syst Inc インターレースされたデジタルビデオ用の双方向予測ビデオオブジェクト平面の予測及び符号化

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886745A (en) * 1994-12-09 1999-03-23 Matsushita Electric Industrial Co., Ltd. Progressive scanning conversion apparatus
US5801778A (en) * 1996-05-23 1998-09-01 C-Cube Microsystems, Inc. Video encoding with multi-stage projection motion estimation
CN1297147C (zh) * 1997-03-07 2007-01-24 通用仪器公司 对交错数字视频的双向预测的视频目标平面的预测和编码
TW398131B (en) 1997-06-20 2000-07-11 Matsushita Electric Ind Co Ltd The image process method, the image process device and the data memory medium
JP4149037B2 (ja) * 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
US6931062B2 (en) 2001-04-11 2005-08-16 Koninklijke Philips Electronics N.V. Decoding system and method for proper interpolation for motion compensation
US20030099294A1 (en) * 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
KR100931750B1 (ko) * 2002-04-19 2009-12-14 파나소닉 주식회사 움직임 벡터 계산방법
US20040001546A1 (en) * 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
EP2793473B1 (en) * 2002-11-01 2016-12-14 Godo Kaisha IP Bridge 1 Direct mode motion vector computation avoiding divisions by zero

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1175191A (ja) * 1997-03-07 1999-03-16 Nextlevel Syst Inc インターレースされたデジタルビデオ用の双方向予測ビデオオブジェクト平面の予測及び符号化

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KOSSENTINI, F ET AL: "Predictive RD Optimized Motion Estimation for Very Low Bit-Rate Video Coding.", IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS, vol. 15, no. 9, December 1997 (1997-12-01), pages 1752 - 1763, XP000726013 *
See also references of EP1562385A4 *
T. WIEGAND: "Text of Final Committee Draft of Joint Video Specification (ITU-T Rec. H.264 / ISO/IEC 14496-10 AVC", ISO/IEC JTC1/SC29/WG11, DOC. NO. MPEG02/N4920, July 2002 (2002-07-01)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101212695B (zh) * 2006-12-26 2011-08-31 三星电子株式会社 处理图像信号的设备及其控制方法
US10616601B2 (en) 2012-01-20 2020-04-07 Sun Patent Trust Methods and apparatuses for encoding and decoding video using temporal motion vector prediction
CN107396101A (zh) * 2012-02-03 2017-11-24 太阳专利托管公司 图像编码方法及图像编码装置
CN107396101B (zh) * 2012-02-03 2019-12-20 太阳专利托管公司 图像编码方法及图像编码装置
US10623762B2 (en) 2012-02-03 2020-04-14 Sun Patent Trust Image coding method and image coding apparatus
US10904554B2 (en) 2012-02-03 2021-01-26 Sun Patent Trust Image coding method and image coding apparatus
US11451815B2 (en) 2012-02-03 2022-09-20 Sun Patent Trust Image coding method and image coding apparatus
US11812048B2 (en) 2012-02-03 2023-11-07 Sun Patent Trust Image coding method and image coding apparatus
US10560716B2 (en) 2012-03-06 2020-02-11 Sun Patent Trust Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US10880572B2 (en) 2012-03-06 2020-12-29 Sun Patent Trust Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US11595682B2 (en) 2012-03-06 2023-02-28 Sun Patent Trust Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US11949907B2 (en) 2012-03-06 2024-04-02 Sun Patent Trust Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus

Also Published As

Publication number Publication date
CN101873488A (zh) 2010-10-27
US20080069235A1 (en) 2008-03-20
AU2003268763B2 (en) 2008-06-12
EP1562385B1 (en) 2014-07-02
US9699455B2 (en) 2017-07-04
EP3145186B1 (en) 2019-03-27
TW200415914A (en) 2004-08-16
EP2793473B1 (en) 2016-12-14
EP2169960A2 (en) 2010-03-31
EP3145186A1 (en) 2017-03-22
ES2618481T3 (es) 2017-06-21
EP1562385A4 (en) 2007-05-09
CA2470717A1 (en) 2004-05-13
ES2495440T3 (es) 2014-09-17
MXPA04006242A (es) 2004-11-01
US20190306493A1 (en) 2019-10-03
CN101790095A (zh) 2010-07-28
ES2496979T3 (es) 2014-09-22
CN101873488B (zh) 2012-05-30
KR100990829B1 (ko) 2010-10-29
US20190306492A1 (en) 2019-10-03
US10623729B2 (en) 2020-04-14
ES2729258T3 (es) 2019-10-31
US9888238B2 (en) 2018-02-06
EP1562385A1 (en) 2005-08-10
US10375388B2 (en) 2019-08-06
KR100967237B1 (ko) 2010-06-30
US20170264894A1 (en) 2017-09-14
EP2793473A1 (en) 2014-10-22
EP2169960A3 (en) 2010-08-04
CN1685732A (zh) 2005-10-19
CN101790095B (zh) 2013-02-27
US20180124393A1 (en) 2018-05-03
US20050141612A1 (en) 2005-06-30
US9426490B2 (en) 2016-08-23
AU2003268763A1 (en) 2004-05-25
US9693059B2 (en) 2017-06-27
CN1685732B (zh) 2010-10-13
KR20050061396A (ko) 2005-06-22
BR0306684A (pt) 2004-12-07
US10097824B2 (en) 2018-10-09
EP2169960B1 (en) 2014-08-06
KR20100029133A (ko) 2010-03-15
US20160330441A1 (en) 2016-11-10
US20160330440A1 (en) 2016-11-10
BRPI0306684B1 (pt) 2018-03-13
CA2470717C (en) 2013-11-26
MY135215A (en) 2008-02-29
TWI280781B (en) 2007-05-01
US20180376136A1 (en) 2018-12-27
US10623730B2 (en) 2020-04-14

Similar Documents

Publication Publication Date Title
WO2004040915A1 (ja) 動画像符号化方法および動画像復号化方法
US9485516B2 (en) Picture decoding apparatus and picture decoding method for decoding a current picture in direct mode
US9854240B2 (en) Filtering strength determination method, moving picture coding method and moving picture decoding method
WO2003090475A1 (fr) Procede pour calculer un vecteur de mouvement
US20050117642A1 (en) Moving picture coding method, decoding method, data stream, data recording medium and program

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 2003268763

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 2003748710

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10498088

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2470717

Country of ref document: CA

Ref document number: 1020047009356

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: PA/a/2004/006242

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 1467/CHENP/2004

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 20038A00780

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2003748710

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020107001836

Country of ref document: KR