WO2004006586A1 - 画像符号化方法および画像復号化方法 - Google Patents

画像符号化方法および画像復号化方法 Download PDF

Info

Publication number
WO2004006586A1
WO2004006586A1 PCT/JP2003/007242 JP0307242W WO2004006586A1 WO 2004006586 A1 WO2004006586 A1 WO 2004006586A1 JP 0307242 W JP0307242 W JP 0307242W WO 2004006586 A1 WO2004006586 A1 WO 2004006586A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
image
block
reference picture
motion vector
Prior art date
Application number
PCT/JP2003/007242
Other languages
English (en)
French (fr)
Inventor
Makoto Hagai
Shinya Kadono
Satoshi Kondo
Kiyofumi Abe
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP03733318A priority Critical patent/EP1427216A1/en
Priority to AU2003242037A priority patent/AU2003242037A1/en
Priority to US10/487,533 priority patent/US20040234143A1/en
Publication of WO2004006586A1 publication Critical patent/WO2004006586A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the ITU is currently standardizing H.264 as the latest image coding standard, and the draft proposal in the standardization process is called H.26.
  • Inter-picture prediction with motion compensation is a common technique for video coding methods such as MPE G-1, 2, 4 and H.263.
  • a picture of an input (Hereinafter referred to as a block), and a predicted pixel is generated from a motion vector indicating the motion between pictures for each block.
  • H.26 B pictures (bidirectional predictive [Bi-predictive] pictures) will be described with reference to FIG.
  • FIG. 1 is a conceptual diagram of a B picture.
  • the picture TP is a B picture to be coded, and the pictures RP1, RP2, RP3, RP4 are coded pictures.
  • Block B 1 is an inter-picture predicted block with reference to block RB 1 and block RB 2
  • block B 2 is an inter-picture predicted with reference to block RB 2 1 and block RB 2 2
  • Block B3 is a block that has been inter-picture predicted with reference to blocks RB31 and RB32.
  • the encoding target picture TP that is a B picture includes a block that is inter-picture predicted with reference to the blocks included in the other two pictures.
  • FIG. 2 is an explanatory diagram of interpolation prediction.
  • XI (i) indicates the pixel value of the reference block RB1
  • X2 (i) indicates the pixel value of the reference block RB2
  • P ( ⁇ ) indicates the pixel value of the prediction block ⁇ .
  • the pixel value ⁇ (i) can be obtained by the following linear prediction equation.
  • A, B, and C are linear prediction coefficients.
  • a B picture is a picture that can include an interpolated prediction block in the picture.
  • Interpolated prediction blocks included in B-pictures of image coding methods such as MPEG- "! And MPEG-2 are referenced in the display order before the picture-to-be-coded TP, as shown in block B1 in Fig. 1. There was only an interpolated prediction block predicted from the picture RP1 and the later reference picture RP3.
  • FIG. 3 is an explanatory diagram for explaining an example of a case where two reference pictures of an interpolation prediction block are displayed in a display order before an encoding target picture having an interpolation prediction block.
  • the picture P7 is a picture to be coded, and each picture is coded in the order of the pictures P1, P2, P3, P4, P5, P6, P7. That is, the pictures P I, P 2, P 5, and P 6 are coded before the picture to be coded P 7 and stored in the multi-frame buffer (memory).
  • FIG. 4 is an explanatory diagram illustrating an example in which two reference pictures of an interpolation prediction block are displayed in a display order after an encoding target picture having an interpolation prediction block.
  • the picture P4 is a picture to be coded, and each picture is coded in the order of the pictures P1, P2, P3, P4, P5. That is, the pictures P1, P2, and P3 are coded before the current picture P4 and stored in the multi-frame buffer.
  • each reference picture is called a first reference picture and a second reference picture.
  • a motion vector based on each of the first reference picture and the second reference picture is called a first motion vector and a second motion vector.
  • first and second reference pictures and motion vectors for blocks predicted between pictures from one reference picture, but for convenience of explanation, one reference picture
  • the reference picture and the motion vector of the block inter-picture predicted from are referred to as the first reference picture and the first motion vector.
  • FIG. 5 is an explanatory diagram for explaining a picture number and a reference index.
  • a value starting from 0 in an order closer to the current picture is assigned as a first reference index. If a value starting from 0 is assigned to all reference pictures having a display time earlier than the current picture, the next reference picture having a display time later than the current picture is closer to the current picture. The values that follow are assigned in order. Then, for a reference picture having a display time later than that of the current picture, a value starting from 0 in an order closer to the current picture is assigned as a value of the second reference index. If a value starting from 0 is assigned to all the reference pictures having a display time later than the current picture, the next reference picture having a display time earlier than the current picture is assigned to the current picture. Subsequent values are assigned in ascending order.
  • the first reference picture is the B picture of picture number “14” and the second reference index is 1
  • the second reference picture is a B picture with picture number ⁇ 13 J.
  • the buffer control signal (RPSL 7 in the header 1 shown in FIG. 8) in the image encoding signal is used to explicitly indicate the first picture to the reference picture.
  • the assignment of the reference index and the second reference index can be changed arbitrarily. By changing the allocation, the reference picture with the second reference index of 0 can be used as the resident reference picture in the multi-frame buffer. For example, as shown in (b) of FIG.
  • the assignment of the first reference index and the second reference index to is changed.
  • the reference index in the block is represented by a variable-length codeword, and the smaller the value is, the shorter the code length is assigned.
  • the direct mode will be described with reference to FIG.
  • FIG. 6 is an explanatory diagram of a direct mode performed by a conventional image encoding device.
  • the direct mode refers to a reference picture and a motion vector for the current block, which are described below, based on the motion vector used for encoding the reference picture and the picture referred to when encoding the reference picture.
  • inter-picture prediction is performed by pixel interpolation.
  • the picture TP is a B picture to be coded, and the pictures RP1, RP2, RP3, RP4 are decoded pictures in the multiframe buffer to be used as reference pictures.
  • the picture shown by the dotted line in FIG. 6 is a non-reference picture and is not included in the multi-frame buffer.
  • the first reference index RI 1 of picture RP 1 is 0, the first reference index RI 1 of picture RP 2 is 1, the second reference index RI 2 of picture RP 3 is 0, and picture RP 4 Has a second reference index RI 2 of 1.
  • Block B 0 is a block to be coded in the direct mode
  • block BO 0 is a block located at the same position as the current block BO in picture RP 3.
  • block RB01 is a reference block included in picture RP1
  • block RB02 is a reference block included in reference picture RP3.
  • the motion vector MVO is the first motion vector when the block BOO is coded, and the picture RP 1 Is referred to.
  • the motion vector MVO is called the scaling vector.
  • the first motion vector MV01 and the second motion vector MV02 used for the prediction of the coding target block B0 are calculated by the following equations.
  • the coefficients TR 1, TR 2, and T RO are values used when calculating a motion vector for a direct mode, and for example, a display time difference between pictures is used.
  • the first motion vector MVO1 and the second motion vector MVO2 are the current picture TP and the current picture TP.
  • the motion vector MVO is obtained by internally dividing the motion vector MVO based on the display time difference between the first reference picture RP1 and the display time difference between the current picture TP and the second reference picture RP2.
  • first motion vector MVO1 and the second motion vector MVO2 can be obtained by using not only the display time difference but also the difference between picture numbers, the number of pictures between pictures, and the like.
  • a set of values of the coefficients TR1, TR2, and TR0 as described above is referred to as a direct mode scaling coefficient SP.
  • the picture used as the second reference picture is uniquely determined.
  • the picture in which the second reference index RI2 is 0 is used as the second reference picture in the direct mode.
  • FIG. 6 corresponds to (a) in FIG. 5
  • picture TP in FIG. 6 corresponds to the central B picture (dotted picture) in (a) in FIG. 5, and picture RP 3 in FIG.
  • the picture number “a” in FIG. 5 corresponds to the B picture of “15 J
  • the picture RP 4 in FIG. 6 corresponds to the picture number“ 13 J of the B picture in FIG.
  • the picture RP 1 of FIG. 5 corresponds to the picture number “14 J B picture” in FIG. 5 (a)
  • the picture RP 2 of FIG. 6 corresponds to the picture number “12 J B picture of FIG. 5 (a).
  • Non-reference pictures indicated by dotted lines such as picture TP in Fig. 6 are not stored in the multi-frame buffer because they are not referenced from other pictures.
  • a reference index is assigned to refer to the picture as shown in (a). It is not.
  • FIG. 6 schematically shows the first motion vector MV0 as a vector extending from the reference picture RP3 to the reference picture RP1 beyond the space and time, the first motion vector MV0 actually stored is stored.
  • Torr MVO is the amount of change in position from block BOO to block B3, as described using FIG. Therefore, the first motion vector MVO shown in FIG. 6 is obtained from the vector from block BOO to block B3 and the temporal distance between RP1 and RP3.
  • the image encoding device 900 receives the image signal I mg divided into blocks and performs processing for each block.
  • the subtractor 910 subtracts the predicted image signal P ree from the image ′ signal I mag and outputs a residual signal R es.
  • the image encoding unit 902 acquires the residual signal Res, performs image encoding processing such as DCT transform and quantization, and outputs a residual encoded signal ER including quantized DCT coefficients and the like. .
  • a signal that may be referred to in subsequent inter-picture prediction is stored in the multi-frame buffer 907. Since the memory capacity of the multi-frame buffer 907 is finite, data of pictures not used for subsequent inter-picture prediction within the multi-frame buffer 907 are removed from the multi-frame buffer 907.
  • a method of selecting a prediction type in the motion estimation unit 909 for example, there is a method of selecting a prediction type that minimizes a prediction error due to each prediction type.
  • the predicted prediction type is intra prediction
  • the motion vector and the reference index are not output.
  • the prediction type is the first reference picture measurement
  • only the first reference index and the first motion vector are output.
  • the second reference picture prediction only the second reference index and the second motion vector are output.
  • the first reference index, the second reference index, and the first motion vector are output.
  • the 2nd motion vector are output.
  • the prediction type selection unit 908 includes an image signal Img, a reference picture RP, and a reference index r indicating a position of a reference block in “direct mode”. RI 1, r RI 2 and motion vector s MV 1, s MV 2, and reference indexes R 11 1, RI 2, and motion vector indicating the position of the reference block used in the prediction of “other than direct mode” Enter MV 1 and MV 2. Then, the prediction type selection unit 908 determines whether or not to use the direct mode for block prediction, and outputs type information PT indicating the determined prediction type to the variable length coding unit 903 .
  • the direct mode is added to the prediction type in addition to the intra prediction, the first reference picture prediction, the second reference picture prediction, and the interpolation prediction other than the direct mode selected by the motion estimator 909. become.
  • the switch 911 switches to the “1” side, and the reference indexes r RI “1 and r RI 2 and the motion vectors s MV I and s MV 2 Are used as reference indexes RI 1, RI 2 and motion vectors MV 1, MV 2.
  • the first reference index RI1 and the first motion vector MV1 are input to the multi-frame buffer 907, and the input first reference index RI1 and the first motion vector are input.
  • the reference block RB 1 corresponding to MV 1 is output from the multi-frame buffer 907 to the pixel interpolator 906.
  • the reference block RB 2 corresponding to the second reference index RI 2 and the second motion vector MV 2 is further stored in the pixel from the multi-frame buffer 907. Output to the interpolation unit 906.
  • the switch 912 switches to the "1" side, and treats the interpolation block ReP as the prediction image signal Pre.
  • the multi-frame buffer 907 outputs a reference block RB corresponding to the second reference index RI 2 and the second motion vector MV 2.
  • a block RB composed of pixels of the intra prediction result is output from the multi-frame buffer 907.
  • the switch 912 is switched to the ⁇ 0 ”side, and the reference block RB is treated as the predicted image signal P re.
  • the variable-length coding unit 903 includes a residual coded signal ER, reference indices RI 1 and RI 2, motion vectors MV 1 and MV 2, and a schedule for direct mode. Variable length coding of the ring coefficient SP and the type information PT is performed, and the result is included in the coded image signal BSO and output.
  • FIG. 8 is a conceptual diagram of the format of the image coded signal BSO.
  • Whether to use the reference index RI1 or RI2 is determined by the type coded signal 9, and the first reference picture and the second reference picture are the first index in the coded image signal BSO. It is determined by the data positions of the coded signal 10 and the second index coded signal 11.
  • the first block coded signal 2 indicates the case where the block is coded in the direct mode, and includes the type coded signal 8 in which the type information PT is coded, but the reference index And information indicating the motion vector is not included.
  • the header 1 includes the first time difference information 4, the second time difference information 5, and the time difference information in which the coefficients TR 1 TR 2 and TRO shown in FIG. 6 are encoded respectively.
  • Information 6 and RPSL 7 indicating the change of the assignment of the first reference index or the second reference index to the reference picture.
  • display time information of each picture is used when scaling the motion vector in the direct mode, such information is not described in the header but is displayed in the header. Only time information is described.
  • FIG. 9 is a block diagram showing a configuration of a conventional image decoding device.
  • the direct mode processing unit 954 performs the same processing as the direct mode processing unit 910 in FIG.
  • the switch 9555 When the prediction type indicates a mode other than the direct mode, the switch 9555 is switched to the "0" side. Then, the multi-frame buffer 958 acquires the reference indexes RI 1 and RI 2 and the motion vectors MV 1 and MV 2. When the prediction type indicates the direct mode, the switch 9555 is switched to "1". The multi-frame buffer 958 stores the reference indexes r RI 1, r RI 2 and the motion vectors s MV 1, s MV 2, and the reference indexes RI 1, RI 2 and the motion vectors MV 1 .MV 2. Obtain as
  • 9.5 & is the time of the interpolation prediction-is the reference block RB1 corresponding to the first reference index RI1 and the first motion vector MV1, and the second reference index.
  • the reference block RB2 corresponding to RI2 and the second motion vector MV2 is output.
  • the pixel interpolation unit 957 interpolates the pixel values corresponding to each of the two reference blocks R B1.
  • the multi-frame buffer 958 outputs a reference block RB corresponding to the first reference index RI 1 and the first motion vector MV 1 at the time of the first reference picture prediction. Also, at the time of the second reference picture prediction, the multi-frame buffer 958 outputs a reference block RB corresponding to the second reference index RI 2 and the second motion vector MV 2. At the time of intra prediction, a block RB consisting of pixels of the intra prediction result is a multi-frame buffer. It is output from 958.
  • the switch 9556 When the prediction type indicates the interpolation prediction, the switch 9556 is switched to the “0” side, and the interpolation block R e P is used as the prediction image signal P re. When the prediction type indicates a prediction method other than the interpolation prediction, the switch 956 is switched to the ⁇ 1 ⁇ side, and the reference block RB is used as the predicted image signal P re.
  • the first reference index RI that may be used in the direct mode in a picture subsequent to the decoded picture.
  • the 1st and 1st motion vectors MV1 are stored in the vector buffer 960.
  • Such an image decoding device 950 decodes the coded image signal BSO by the processing described above, and outputs this as a decoded image signal D Im.
  • the encoding is performed with reference to the two forward pictures as described above. Are encoded with reference to the two backward pictures, or encoded with reference to the front and rear pictures.
  • the encoding efficiency is higher when referencing one picture before and after each picture than when referencing two pictures in the backward direction because interpolation prediction can be performed with high accuracy.
  • 0 of the second reference index rRI2 is a multi-frame index. Allocated to any reference picture in the buffers 907 and 960, so when encoding a B picture in direct mode, referencing two pictures in the forward direction or encoding in the backward direction In many cases, encoding is performed with reference to two pictures. There is a problem that the encoding efficiency is reduced in encoding a B picture. Also, as shown in FIG.
  • the first reference picture RP1 and the second reference picture RP3 and the scaling vector MV0 are used to encode the picture to be encoded.
  • TP is encoded.
  • the image encoding device 900 must use the first motion vector MVO and the first motion vector used when encoding the second reference picture RP3. It is necessary to hold information for identifying the picture RP 1 to be referred to by the MVO.
  • the first motion vector MVO of the decoded picture and the picture RP1 to which the first motion vector MV0 is referred are identified. Need to maintain information for
  • the motion vector can be switched in units of at least 4 ⁇ 4 blocks, and the reference picture can be switched in units of at least 8 ⁇ 8 blocks.
  • the reference picture can be switched in units of at least 8 ⁇ 8 blocks.
  • the image encoding device 900 and the image decoding device 950 Holds the first motion vector for all reference pictures in the multi-frame buffers 907 and 958, and information for identifying the picture to be referred to by the first motion vector. Need to be kept. ,
  • an object of the present invention is to provide an image encoding method and an image decoding method that improve encoding efficiency. Disclosure of the invention
  • an image coding method is an image coding method for coding a picture to be coded for each block by referring to already coded pictures.
  • a second reference picture selecting step of selecting any of the coded pictures whose display order is later than that of the current picture to be coded as a second reference picture; and
  • a first reference picture specifying step of specifying any of the coded pictures as a first reference picture based on a motion vector used for coding a predetermined block;
  • Output step of the encoding step of encoding the difference between the image and the encoding target Proc image, the specific information for specifying the second reference picture, and outputs with encoded result of the encoding step And characterized in that:
  • the specific information may be configured and output from a second reference index indicating the second reference picture. Further, in the output step, information indicating a method of changing a second reference index assigned to each of the encoded pictures for identification may be output as the specific information.
  • the coded picture whose display order is later than that of the current picture to be encoded is selected as the second reference picture, so that when remapping occurs, the current picture to be encoded is changed as in the conventional example.
  • Improves the coding efficiency by preventing the reference of two coded pictures in the display order earlier than before, and increasing the probability of referring to the two coded pictures before and after the current picture. can do.
  • the specific information is output, when decoding the encoding result in the encoding step, the same picture as the second reference picture selected in the encoding process is selected based on the specific information. , Can be accurately decoded.
  • the image encoding method according to the present invention is an image encoding method for encoding a picture to be encoded for each block by referring to a picture that has already been encoded.
  • the encoded picture with the smallest second reference index assigned to each of the encoded pictures to identify each encoded picture is referred to as a second reference picture.
  • the second reference picture In the selecting step, the coded picture having the minimum second reference index is specified based on allocation information indicating how to allocate the second index.
  • the identified encoded picture may be selected as a second reference picture. With this, the coded picture whose display order is later than that of the picture to be coded is selected as the second reference picture, so that when remapping occurs, the coded picture becomes By preventing reference to two coded pictures whose display order is earlier than that of the picture, the probability of referring to two coded pictures before and after the current picture is increased to improve coding efficiency. You can improve.
  • the image encoding method according to the present invention is an image encoding method in which a picture to be encoded is encoded for each block by referring to an already encoded picture.
  • a second reference index is assigned to each of the encoded pictures, and at this time, a second reference indicating 0 for any encoded picture whose display order is later than that of the current picture to be encoded.
  • An allocation step of restricting the index to be allocated, and the second reference index can be reallocated by a different allocation method from the allocation step.
  • the reallocation step may be characterized in that a change of the second reference index is prohibited for an encoded picture to which a second reference index indicating 0 is allocated in the allocation step.
  • the display order of the current picture to be coded is also the second reference index indicating 0 to the coded picture.
  • the coded picture whose display order is later than the picture is selected as the second reference picture.
  • the image encoding method is an image encoding method for encoding a picture to be encoded for each block by referring to a picture which has already been encoded. Allocating a first reference index to each of the coded pictures for coding; and, for a predetermined coded picture or slice, the allocating step. A re-allocation step of re-allocating the first reference index in a different allocation method, and a first reference index indicating a predetermined value among encoded pictures whose display order is earlier than the current picture to be encoded is allocated.
  • a prediction image generation step ; and an encoding step of encoding a difference between the prediction image and an image of an encoding target block, wherein the reallocation step includes a step of giving priority to the encoded picture that is referred to for a long time.
  • a first reference index indicating the predetermined value is assigned.
  • the encoded picture that is referred to for a long time is re-mapped so that the first reference index indicating 0 is assigned preferentially from the encoded picture in the memory holding the encoded picture. Since the encoded picture whose first reference index is 0 is selected as the first reference picture, the probability that an encoded picture similar to the current picture is referenced is increased to improve the encoding efficiency. Can be improved.
  • the image encoding method according to the present invention is an image encoding method for encoding a picture to be re-encoded for each block by referring to an already-encoded picture. Allocating a second reference index for identifying each encoded picture to the encoded picture, and a second reference indicating 0 among encoded pictures whose display order is later than the encoding target picture.
  • One of the encoded pictures is defined as a first reference picture.
  • the display order is the coding target picture. It is characterized in that it is prohibited to assign a second reference index indicating 0 to a coded picture that has been formed before.
  • the display order may be prior to the encoding target picture from the memory storing the motion vector used for encoding the encoded picture.
  • the method may further include a deletion step of deleting a motion vector used for encoding an encoded picture that may occur.
  • an image encoding method is an image encoding method for encoding a picture to be encoded for each block by referring to an already-encoded picture, which is stored in a storage unit.
  • An encoded picture corresponding to the first reference index is selected as a first reference picture using the index and the second reference index, and an encoded picture corresponding to the second reference index is selected as a first reference picture.
  • the predictive image generation step based on a first motion vector used for encoding a block located at the same position as the current block on the current picture in the second reference picture, A second motion vector having the first reference picture as a reference destination is calculated for the block, and the first reference picture is referred to the encoding target block based on the second motion vector.
  • a third motion vector to be referred to and a fourth motion vector to be referred to by the second reference picture for the encoding target block are calculated, and the third motion vector is referred to.
  • a prediction image is generated by pixel interpolation from a block on the first reference picture to be a preceding block and a block on the second reference picture to be a reference destination of the fourth motion vector.
  • the first reference picture which is a reference destination for each block in the current picture, is shared regardless of the reference destination of the first motion vector of the second reference picture.
  • the storage capacity of the memory can be reduced and the encoding process can be simplified.
  • the coding efficiency can be improved.
  • An image decoding method is an image decoding method for decoding an encoded picture for each lip lock by referring to a previously decoded picture.
  • a second reference picture selection step for selecting a second reference picture from the later decoded pictures based on the specific information, and a motion used for decoding a predetermined block in the second reference picture
  • a block on a reference picture and a block on a second reference picture are specified, and a prediction image generation step for generating a prediction image from both the blocks by pixel interpolation, and a decoding target block based on the prediction image and the coded signal
  • the second reference picture selecting step specific information including a second reference index indicating the second reference picture is obtained, and in the second reference picture selecting step, the second reference index is specified by the second reference index.
  • a feature may be that a reference picture is selected.
  • specific information indicating a method of changing a second reference index assigned to each of the decoded pictures is identified, and in the second reference picture selecting step, The decoded picture specified by the method of changing the second reference index may be selected as the second reference picture.
  • the second reference picture is uniquely selected based on the specific information, A picture encoded by the image encoding method according to the present invention can be accurately decoded.
  • the image coding method according to the present invention is referred to when a block on an encoding target frame is obtained by motion compensation from a plurality of encoded frames stored in a storage unit.
  • the first or second relative index given to the encoded frame is used to select the first or second reference frame.
  • a third step of encoding a prediction error which is a difference between the input frame to be encoded and the predicted image, and outputting an image encoded signal including an encoded signal of the prediction error.
  • the reference frame having the smallest second relative index after the frame to be encoded is later displayed than the frame to be encoded among the encoded frames.
  • a motion vector used in motion compensation of a block at the same position as a predetermined block on the encoding target frame in the second reference frame is selected.
  • the frame referenced by the vector is defined as the first reference frame, and the motion vector from the motion vector to the first reference frame and the second reference frame are determined by a predetermined method.
  • the motion vector for the first reference frame and the block obtained from the motion vector for the second reference frame are calculated. It may be characterized in that a predicted image is generated by pixel interpolation from the lock and the pixel.
  • the image decoding method further includes a first step of inputting an image coded signal including a coded signal of a prediction error, and a storage unit.
  • a second step of selecting the first or second at least one reference frame using a first relative index and a second relative index assigned to the decrypted frame A third step of generating a predicted image by pixel interpolation from a block obtained by motion compensation on the first or second at least one reference frame; and A fourth step of generating a decoded image; and a fifth step of storing a decoded image of a frame that may be used for inter-frame prediction in the storage unit.
  • a reference frame having a minimum second relative index is selected as the second reference frame after the display order of the decoded frames from the frame to be decoded
  • a frame referred to by the motion vector used in the motion compensation of the block at the same position as the predetermined block on the decoding target frame is referred to as the first frame.
  • a motion vector to the first reference frame and a motion vector to the second reference frame are calculated from the motion vector by a predetermined method.
  • a pixel interpolation is used to calculate a block obtained from the motion vector corresponding to the first reference frame and the block obtained from the motion vector corresponding to the second reference frame. It may be characterized by generating a measurement image.
  • the image encoding method provides a method for obtaining a block on an encoding target frame from a plurality of encoded frames stored in a storage unit by motion compensation. Assigned to the encoded frame to select a first reference frame and a second reference frame to be referred to A first step of selecting the first or second at least one reference frame using the obtained first relative index and the second relative index, and a first or second at least one reference frame. A second step of generating a predicted image by pixel interpolation from a block obtained by motion compensation on the frame, and encoding a prediction error, which is a difference between the input encoding target frame and the predicted image.
  • a third step of outputting an image coded signal including a coded signal of a prediction error, in the first step of the image coding method In the second step, the second reference frame is selected from a frame whose display order is later, and in the second step, a predetermined frame on the encoding target frame is selected.
  • the frame referred to by the motion vector used in the motion compensation of the lock at the same position as the block is defined as the first reference frame, and the first reference frame is determined from this motion vector by a predetermined method.
  • a motion vector to the second reference frame are calculated, and a block obtained from the motion vector to the first reference frame and a motion to the second reference frame are calculated.
  • a predicted image is generated by pixel interpolation from blocks obtained from the vector, and in the third step, a second relative index indicating the second reference frame selected in the first step is image-coded. It may be characterized in that it is included in the converted signal.
  • the image decoding method further includes a first step of inputting an image coded signal including a coded signal of a prediction error, and a plurality of decoded signals stored in a storage unit. Attached to the decoded frame to select a first reference frame and a second reference frame to be referred to when obtaining a block on the frame to be decoded by motion compensation from the frames. A second frame for selecting the first or second at least one reference frame by using the obtained first relative index and the second relative index. A third step of generating a predicted image by pixel interpolation from a block obtained by motion compensation on the first or second at least one reference frame; and decoding the predicted image.
  • Image decoding including a fourth step of generating a decoded image of a frame from a prediction error and a fifth step of storing a decoded image of a frame that may be used for inter-frame prediction in a storage unit
  • the second relative index is obtained from the image encoded signal having a second relative index
  • the second relative index obtained in the first step is obtained.
  • the frame to be shown is referred to as the second reference frame
  • the A frame referred to by the motion vector used in the motion compensation of the block at the same position as the predetermined block of the predetermined block is defined as the first reference frame.
  • the motion vector of the second reference frame and the motion vector of the second reference frame are calculated, and the block obtained from the motion vector of the first reference frame and the motion vector of the second reference frame are calculated. It may be characterized in that a re-predicted image is generated by pixel interpolation from a block obtained from a tor and a block.
  • the image encoding method according to the present invention refers to the case where a block on an encoding target frame is obtained by motion compensation from a plurality of encoded frames stored in a storage unit.
  • a motion vector to the first reference frame and a motion vector to the second reference frame are calculated by a predetermined method using the output second motion vector, Generating a predicted image by pixel interpolation from a block obtained from a motion vector for the first reference frame and a block obtained from a motion vector for the second reference frame. Is also good.
  • the image decoding method further includes a first step of inputting an image coded signal including a coded signal of a prediction error;
  • a second step of selecting the first or second at least one reference frame using the assigned first relative index and the second relative index, and a step of selecting the first or second at least one A third step of generating a predicted image by pixel interpolation from a block obtained by motion compensation on a reference frame, and decoding of a frame from the predicted image and a decoded prediction error
  • a second step of the image decoding method having a fourth step of generating an image and a fifth step of storing a decoded image of a frame that may be used for inter-frame prediction in a storage unit Selecting, as the first reference frame, a reference frame out of the encoded frames that has a display order before the encoding target
  • the image encoding method according to the present invention is referred to when obtaining a block on an encoding target frame from a plurality of encoded frames stored in a storage unit by motion compensation.
  • the first or second relative frame is used.
  • a difference between the input encoding target frame and the predicted image is referred to when obtaining a block on an encoding target frame from a plurality of encoded frames stored in a storage unit by motion compensation.
  • the first reference frame is selected from the frames whose display order is ⁇ ⁇ from the target frame, and in the second step, a predetermined block on the encoding target frame is selected in the second reference frame. From the first motion vector used in the motion compensation of the first block at the same position, and the time interval between the first reference frame and the second reference frame selected in the first step.
  • the motion vector to the first reference frame selected in the first step and the second reference are selected by a predetermined method using the selected second motion vector.
  • Calculating a motion vector for the frame calculating a motion vector for the second reference frame and a block obtained from the motion vector for the first reference frame selected in the —th step; Generating a predicted image by pixel interpolation from the block obtained from the toll, and in the third step, generating a first relative index indicating the first reference frame selected in the first step as an image. It may be characterized in that it is included in the coded signal.
  • the number of a frame referred to by the first motion vector may not be stored, and further, among a plurality of encoded frames stored in the storage unit, The first motion used in motion compensation of a block at the same position as a predetermined block on the encoding target frame in the second reference frame preceding the encoding target frame in display order.
  • the method may further include a step of deleting the vector.
  • the image decoding method according to the present invention provides a method of The first step of inputting an image coded signal including a coded signal, and obtaining a block on a frame to be decoded by motion compensation from a plurality of decoded frames stored in a storage unit.
  • the first or second reference frame is used.
  • a second step for selecting at least one reference frame, and a predicted image is generated by pixel interpolation from a block obtained by motion compensation on the first or second at least one reference frame.
  • Storing the decoded image in a storage unit in a fifth step of the image decoding method comprising: obtaining the first relative index from the encoded image signal having a first relative index.
  • a first motion vector used for motion compensation of a first block at the same position as a predetermined block on the encoding target frame in the second reference frame From the time interval between the first reference frame and the second reference frame acquired in one step, the first motion vector on the first reference frame from the first block Calculates a second motion vector to a block at the same position as the block referred to by the first step, and uses the calculated second motion vector according to a predetermined method to execute the first step. Calculating the obtained motion vector to the first reference frame and the obtained motion vector to the second reference frame, and calculating the motion vector to the first reference frame obtained in the first step.
  • the image encoding apparatus further includes a differential unit that receives an image signal, performs a difference between the image signal and the predicted image, and outputs the result as a residual signal, Image encoding means for performing image encoding processing and outputting as a residual encoded signal, image decoding means for decoding the residual encoded signal and outputting as a residual decoded signal, and the residual decoded signal
  • a differential unit that receives an image signal, performs a difference between the image signal and the predicted image, and outputs the result as a residual signal
  • Image encoding means for performing image encoding processing and outputting as a residual encoded signal
  • image decoding means for decoding the residual encoded signal and outputting as a residual decoded signal
  • the residual decoded signal An adder for adding a predicted image and a reconstructed image to output a reconstructed image; and a reference frame having a second relative index which is later in display order than the encoding target frame among the encoded frames in the storage unit.
  • a second reference frame selecting means for a direct mode for selecting a frame as a second reference frame, and a motion compensation of a predetermined block on a frame to be encoded in the second reference frame.
  • Movement vector used The first frame is a first reference frame, and a direct mode for generating a motion vector from the motion vector to the first reference frame and the second reference frame by a predetermined method.
  • the image decoding apparatus includes: a variable-length decoding unit that receives an image-encoded signal, performs variable-length decoding, and outputs a residual-encoded signal; Image decoding means for decoding the decoded image and outputting a decoded residual signal; an adder for adding the residual decoded signal and the predicted image signal to output a decoded image; a storage unit for storing the decoded image; a second relative index A second reference frame selecting means for a direct mode for selecting a reference frame having the smallest reference frame as a second reference frame; and a second reference frame selecting means for selecting a reference frame at the same position as the block to be coded in the second reference frame.
  • the frame referenced by the motion vector of the block A direct mode vector for generating a motion vector from the motion vector to the first reference frame and the second reference frame by a predetermined method as a first reference frame-relative An index, a generation unit, and a pixel that performs pixel interpolation of the two reference blocks referred to by the first and second reference frames and a motion vector corresponding to each reference frame, and outputs the result as the predicted image signal
  • An image decoding device comprising interpolation means.
  • the storage medium according to the present invention is a computer-readable storage medium storing a program for performing a moving image encoding or decoding process described in any of the above-described image encoding method and image decoding method.
  • the present invention can also be realized as an image encoding device, an image decoding device, a program, and a storage medium that stores the program, using the image encoding method or the image decoding method.
  • FIG. 1 is a conceptual diagram of a B picture.
  • FIG. 2 is an explanatory diagram of interpolation prediction.
  • FIG. 3 is an explanatory diagram illustrating an example in which two reference pictures of an interpolation prediction block are displayed in a display order before an encoding target picture having an interpolation prediction block.
  • FIG. 4 is an explanatory diagram for explaining an example of a case where two reference pictures of an interpolation prediction block are displayed in a display order after an encoding target picture having an interpolation prediction block.
  • FIG. 5 is an explanatory diagram for explaining a picture number and a reference index.
  • FIG. 6 is an explanatory diagram of a direct mode performed by a conventional image encoding device.
  • FIG. 7 is a block diagram showing a configuration of a conventional image encoding device.
  • FIG. 8 is a conceptual diagram of the format of an image coded signal.
  • FIG. 9 is a block diagram showing a configuration of a conventional image decoding device.
  • FIG. 10 is a block diagram of the image coding apparatus according to Embodiment 1 of the present invention.
  • FIG. 11 is a configuration diagram showing a configuration of a part of the above-described coded image signal.
  • FIG. 12 is a flowchart showing an operation when encoding an image in the direct mode according to the above.
  • FIG. 13 is an explanatory diagram for describing an operation when remapping occurs in the above.
  • FIG. 14 is an explanation I for explaining an example of the display order of the above pictures.
  • FIG. 15 is a block diagram of an image decoding apparatus according to Embodiment 2 of the present invention.
  • FIG. 16 is a flowchart showing the operation when decoding an image in the direct mode according to the first embodiment.
  • FIG. 17 is a block diagram of an image encoding device according to Embodiment 3 of the present invention.
  • FIG. 18 is a configuration diagram showing a configuration of a header of the above-described coded image signal.
  • FIG. 19 is a flowchart showing an operation when encoding an image in the direct mode according to the above.
  • FIG. 20 is a block diagram of an image decoding apparatus according to Embodiment 4 of the present invention.
  • FIG. 20 is a block diagram of an image decoding apparatus according to Embodiment 4 of the present invention.
  • FIG. 21 is a flowchart showing the operation when decoding an image by the direct mode of the above.
  • FIG. 22 is a block diagram of an image encoding device according to Embodiment 5 of the present invention.
  • FIG. 23 is an explanatory diagram for explaining remapping performed by the management unit of the above.
  • FIG. 24 is a flowchart showing the above operation.
  • FIG. 25 is a configuration diagram showing a configuration of an image encoding device according to a modification of the above.
  • Fig. 28 is a conceptual diagram of the direct mode as described above.
  • FIG. 29 is a flowchart showing a process of calculating a motion vector according to the embodiment.
  • FIG. 30 is a block diagram of an image decoding apparatus according to Embodiment 8 of the present invention.
  • FIG. 32 shows a format of the image coded signal BS3 of the above.
  • FIG. 33 is a block diagram of an image decoding apparatus according to Embodiment 10 of the present invention.
  • FIG. 34 is an explanatory diagram of the storage medium according to Embodiment 11 of the present invention.
  • FIG. 35 shows a content distribution service according to Embodiment 12 of the present invention.
  • FIG. 36 is a block diagram showing the overall configuration of a content supply system that realizes the above.
  • Fig. 37 is a block diagram of the mobile phone.
  • FIG. 38 is a block diagram showing the overall configuration of the digital broadcasting system of the above. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 10 is a block diagram of the image coding apparatus according to Embodiment 1.
  • the image encoding device 100 obtains an image signal Img indicating the content of an image, and encodes the image signal Img for each block.
  • a unit 106, a direct mode processing unit 110, a vector buffer 114, a multi-frame buffer 107, and a picture selection unit 113 are provided.
  • the subtracter 101 subtracts the predicted image signal P ree from the image signal I mag, and outputs the result of the subtraction as a residual signal R e s.
  • the image coding unit 102 obtains the residual signal Res from the subtractor 101, performs image coding processing such as DCT transform and quantization on the residual signal Res, and Outputs the residual coded signal ER including the transformed DCT coefficients.
  • the image decoding unit 104 obtains the residual coded signal ER from the image coding unit 102, and performs inverse quantization and inverse DCT transform on the residual coded signal ER. It performs image decoding such as conversion, and outputs a residual decoded signal DR.
  • the adder 105 adds the residual decoded signal DR and the predicted image signal Pre, and outputs the addition result as a reconstructed image signal Rec.
  • an optimal prediction type is selected by a predetermined method (note that the selectable prediction type differs depending on the picture type).
  • the motion estimation unit 109 selects, for example, a prediction type that minimizes a prediction error due to each prediction type.
  • the motion estimating unit 109 selects the first motion vector MV 1, the second motion vector MV 2, the first reference index RI 1, the second motion vector MV 1 for the block to be encoded. Outputs reference index RI2.
  • the motion estimation unit 109 does not output the motion vector or the reference index as described above when the intra prediction is selected, and outputs the first motion vector when the first reference picture prediction is selected.
  • the second reference picture prediction is selected, only the second motion vector MV2 and the second reference index RI2 are output.
  • the vector buffer 1 1 4 contains the first motion vector MV 1 and the second motion vector.
  • the vector MV 2, the first reference index RI 1, and the second index RI 2 are obtained from the motion estimation unit 109. Then, based on the obtained result, the vector buffer 114 serves as a reference for the scaling vector r MV used in the direct mode and the scaling vector r MV. A picture number indicating a picture and a reference index are stored.
  • the vector buffer 114 stores the first motion vector MV 1 and the second motion vector output from the motion estimation unit 109.
  • the first motion vector MV1 and the first reference index RI1 which may be used in the direct mode among the vector MV2, the first reference index RI1, and the second index RI2 are stored. ing.
  • the vector buffer 114 acquires the second reference index rRI2 from the picture selection unit 113.
  • the vector buffer 114 points to the second reference index rRI2 based on the stored content.
  • the first motion vector MV 1 corresponding to a predetermined block in the picture shown is output as a scaling vector r MV, and a picture to which the scaling vector r MV is referred to is output. Is output as the first reference index rRI1.
  • the direct mode processing unit 110 Upon obtaining the direct mode scaling coefficient SP, the scaling vector r MV, the first reference index r RI 1, and the second reference index r RI 2, the direct mode processing unit 110 The block is processed based on the above-described direct mode, and as a result, the first motion vector s MV 1, the second motion vector s MV 2, the first reference index r RI 1, and the second Outputs reference index rRI2.
  • the direct mode processing unit 110 displays the display time information indicating the display time of the reference picture indicated by the first reference index r RI1 and the second reference index. Display time information indicating the display time of the reference picture indicated by the reference index rRI2 and display time information indicating the display time of the current picture may be obtained.
  • the direct mode processing unit 110 calculates the display time difference between the pictures from the display time of each picture indicated in the display time information, and uses the ratio of the display time differences.
  • Scaling vector r Performs scaling for MV.
  • the direct mode processing unit 110 calculates the first motion vector s MV 1 and the second motion vector s MV 2 in the same manner as when the direct mode scaling coefficient SP is used. .
  • the prediction type selection unit 108 includes an image signal Img, a reference picture RP, a first reference index r RI1 output from the direct mode processing unit 110, a second reference index rRI2, and a first motion.
  • the first reference index RI 1, the second reference index RI 2, and the first motion vector output from the motion estimating unit 109 are obtained.
  • the first motion vector MV1 and the second motion vector MV2 are acquired.
  • the prediction type selection unit 108 selects a prediction type for the encoding target block based on the acquired content. That is, the prediction type selection unit 108 determines whether or not the direct mode should be applied to the encoding target block.
  • the multi-frame buffer 107 stores the first reference index RI 1 (rRII) and the first motion vector based on the outputs from the motion estimator 109 and the direct mode processor 110.
  • MV 1 s MV 1
  • the reference block RB 1 corresponding to the first reference index RI 1 and the first motion vector MV 1 is output to the pixel interpolation unit 106.
  • the multi-frame buffer 107 includes a second reference index RI 2 (r RI 2) and a second motion vector MV 2 based on outputs from the motion estimating unit 109 and the direct mode processing unit 110.
  • (sMV2) is obtained, the reference block RB2 corresponding to the second reference index RI2 and the second motion vector MV2 is output to the pixel interpolation unit 106.
  • the multi-frame buffer 107 when predicting the first reference picture, the multi-frame buffer 107 outputs a reference block RB corresponding to the first reference index RI 1 and the first motion vector MV 1. Further, the multi-frame buffer 107 outputs a reference block RB corresponding to the second reference index RI2 and the second motion vector MV2 at the time of the second reference picture prediction. At the time of intra prediction, the multi-frame buffer 107 outputs a block RB including pixels indicating a result of the intra prediction.
  • the contact points of the switches 112 are switched according to the prediction type from the prediction type selection unit 108, prediction other than interpolation prediction is performed.
  • the prediction type is selected, the block RB from the multi-frame buffer 107 is transmitted to the subtractor 101 and the adder 105 as the predicted image signal Pre via the switch 112, and the interpolation prediction is performed.
  • the interpolation block R e P from the pixel interpolation unit 106 is sent to the subtractor 101 and the adder 105 as the predicted image signal Pre via the switch 112. Sent.
  • the variable-length coding unit 103 includes a residual coded signal ER, a first reference index RI1, a second reference index RI2, a first motion vector MV1, a second motion vector MV2, and a directory. Variable-length encoding of the scaling coefficient for tom SP and the type signal PT is performed, and the result is output as an image encoded signal BS.
  • the variable length coding unit 103 The display time information used for the above-mentioned scaling is variable-length coded without performing variable-length coding on the scaling coefficient SP for the video mode, and the variable-length coded display time information is converted into the image coded signal BS. Include in.
  • the header 21 includes remapping coding information 27 in which remapping information indicating the content of the change of the reference index allocation for the picture is coded, and the coefficient shown in FIG. 6 included in the direct mode scaling coefficient SP.
  • TR 1 that is, first time difference information 24 in which the display time difference between the current picture and the first reference picture is coded
  • the coefficient TR 2 included in the direct mode scaling coefficient SP that is, coding
  • the second time difference information 25 in which the display time difference between the target picture and the second reference picture is encoded, and the coefficient TRO included in the direct mode scaling coefficient SP, that is, the first reference picture and the second reference picture
  • the display time difference includes encoded time difference information 26.
  • the picture selection unit 113 in the present embodiment selects a picture used in the direct mode from the pictures stored in the multi-frame buffer 107 as a second reference picture.
  • the picture selection unit 113 sets the display order for the current picture to be coded. Selects the picture with the second reference index that is the smallest among the subsequent pictures as the second reference picture used in the direct mode.
  • the picture selection unit 113 outputs the second reference index rRI2 of the selected second reference picture to the vector buffer 114 and the direct mode processing unit 110. It should be noted that the picture selection unit 113 knows the display order of each picture by using the information on the display order attached to each picture.
  • the picture coding apparatus 1000 selects, as the second reference picture, the picture with the smallest second reference index among the pictures whose display order is later than the picture to be coded by the picture selection unit 113. (Step S100).
  • the image encoding device 100 combines the second reference picture selected as described above by the direct mode processing unit 110, the multi-frame buffer 107, and the pixel interpolation unit 106. Then, using the first reference picture specified as described above and the scaling vector rMV, a predicted image in the direct mode is generated (step S104).
  • FIG. 13 is an explanatory diagram for describing the operation of the present embodiment when remapping occurs.
  • 3 is assigned to the picture with picture number 15 as the first reference index
  • 4 is assigned to the picture with picture number 13 as the first reference index
  • the picture number 5 is assigned as the first reference index for the picture with Reapplied.
  • 0, 1, and 2 are assigned as second reference indices to all the pictures whose display order is later than the current picture in order from the picture closest to the current picture. That is, a picture with a picture number of 15 is assigned a second reference index of 0, and a picture with a picture number of 13 is assigned a second reference index of 1. For the picture with picture number 11, 2 is assigned as the second reference index.
  • FIG. 13 shows a first reference index and a second reference index assigned to each picture and remapping information when remapping occurs.
  • the remapping information is composed of a numerical value indicating the content of change for each picture in which the reference index has changed.
  • FIG. 13 (b) shows remapping information for the second reference index. For example, if the picture to which the second reference index ⁇ 0 J is assigned is changed from the picture number “15 J” to the picture number “14 J”, the picture number “1 4” is changed to the picture number ⁇ 1 The value obtained by subtracting 5 J is “1 1 j, which is included in the remapping information corresponding to the picture number ⁇ 14 J.
  • Such remapping information is managed by an unillustrated management unit or the like of the image encoding device 100, a motion estimation unit 109, a prediction type selection unit 10 8.
  • the multi-frame buffer 107 and the picture selection unit 113 specify the first reference index and the second reference index based on the remapping information.
  • the picture selection unit 113 selects, from among the pictures whose display order is later than the current picture to be coded, the picture with the smallest second reference index as the second reference picture.
  • the second reference index is 0.Picture number ⁇ 15
  • the picture of J is used as the second reference picture in direct mode, and when remapping occurs.
  • the picture with the picture number “13J” whose second reference index is 1 is used as the second reference picture in the direct mode.
  • the picture after the current picture is used as the second reference picture, so two forward pictures or two backward pictures are used. Is not used as the first reference picture and the second reference picture, and the forward picture and the backward picture are always used as the first reference picture and the second reference picture, respectively. Efficiency can be improved.
  • FIG. 14 is an explanatory diagram for describing an example of the display order of pictures.
  • Pictures P 1 to P 7 are displayed in the order of picture P 1, picture P 3, picture P 4, picture P 2, picture P 6, picture P 7, picture P 5 as shown in FIG. P1, picture P2, picture P3, picture P4, picture P5, picture P6, picture P7 are coded in this order and stored in the multiframe buffer 107.
  • the multi-frame buffer 107 stores the pictures P 1, P 2, and P 5 that are I pictures or P pictures that are treated as reference pictures, and is a B picture that is not treated as a reference picture.
  • Delete P3, P4, P6 and ⁇ 7 are examples of pictures.
  • reference picture # 2 is a reference picture whose display order is later than that of the current picture.
  • reference picture # 2 is a reference picture in the display order before the current picture.
  • the reference picture ⁇ ⁇ 2 is a reference picture whose display order is later than that of the picture to be encoded.
  • the reference picture whose display order comes before the current picture to be coded does not come back later than the current picture to be coded.
  • the vector buffer 114 stores the first motion vector of the reference picture whose display order is later than that of the current picture and the second motion vector of the reference picture. It is only necessary to hold information that identifies the picture to be referred to in one motion vector. This makes it possible to reduce the amount of memory required for the vector buffer 114 when the picture relationship is as shown in FIG.
  • the display order of the picture after the picture to be encoded is later.
  • the picture with the smallest second reference index is selected as the second reference picture in the direct mode, but the direct picture is selected from among the reference pictures whose display order is later than the picture to be coded. If it is a condition that can uniquely determine the second reference picture at the time of the first search, even if the picture determined by the condition is not the smallest second reference index, it can be selected as the second reference picture. good. Also in this case, there is no need to refer to only the picture in front of the current picture, and the coding efficiency can be improved.
  • the picture whose display order is closest to the current picture may be the second reference picture in the direct mode. Also in this case, the coding efficiency can be improved as described above.
  • the second reference picture in the direct mode is set to the picture having the smallest second reference index in the picture in the display order after the picture to be coded, and the second reference picture in the direct mode is used.
  • One reference picture may be the reference picture having the smallest first reference index in a picture preceding the current picture in display order. Also in this case, the coding efficiency can be improved as described above.
  • FIG. 15 is a block diagram of an image decoding apparatus according to Embodiment 2.
  • the image decoding device 150 decodes an image coded signal BS output from the image coding device 100 of Embodiment 1, and includes a variable-length decoding unit 15 1 Decoding section 15 2, adder 15 3, switches 15 5 and 15 6, direct mode processing section 15 4, pixel interpolation section 15 7, and 1 5 8 and vector buffer 16 0 and picture Key selection unit 159.
  • the variable-length decoding unit 151 acquires an image coded signal BS from outside the image decoding device 150, performs variable-length decoding on the image coded signal BS, and generates a residual coded signal ER
  • the motion vectors MV 1 and MV 2, reference indices RI 1 and RI 2, direct mode scaling factor SP, and type information PT are output.
  • the variable length decoding unit 151 Outputs display time information instead of the scaling factor SP for rect mode. Further, the variable-length decoding unit 151 switches the contacts of the switches 155 and 156 according to the prediction type indicated by the type information PT.
  • variable length decoding unit 151 switches the contact of the switch 150 from the contact 0 to the contact 1 and when the prediction type is other than the direct mode, Switches the contacts of switch 1 5 5 from contact 1 to contact 0. Also, the variable-length decoding unit 151 switches the contact of the switch 156 from the contact 1 to the contact 0 when the prediction type is the interpolation prediction, and switches the switch 150 when the prediction type is the prediction other than the interpolation prediction. Switch contact 6 from contact 0 to contact 1.
  • the image decoding unit 152 obtains the residual coded signal ER from the variable length decoding unit 151, performs image decoding processing such as inverse quantization and inverse DCT transform on the residual coded signal ER, Outputs the residual decoded signal DR.
  • the adder 153 adds the residual decoded signal DR and the predicted image signal Pre, and outputs the addition result as a decoded image signal D Im to the outside of the image decoding device 150.
  • the vector buffer 160 obtains the first motion vector MV 1, the second motion vector MV 2, the first reference index RI 1, and the second index RI 2 from the motion estimation unit 109. I do. Then, based on the obtained result, the vector buffer 160 stores a scaling vector used in the direct mode and a picture number indicating a picture to which the scaling vector is referred. And a reference index.
  • the vector buffer 160 acquires the second reference index r RI 2 from the picture selection unit 159.
  • the vector buffer 160 uses the second reference index r RI 2 based on the stored content.
  • the first motion vector MV1 corresponding to the predetermined block in the picture pointed to is output as the scaling vector rMV, and the picture to be referred to by the scaling vector rMV is output.
  • the first reference index RI1 indicating the charge is output as the first reference index rRI1.
  • the pixel interpolation unit 157 Upon acquiring the reference blocks RB 1 and RB 2 from the multi-frame buffer 158, the pixel interpolation unit 157 calculates the average value of the pixel values of the pixels at the same position in the reference blocks RB 1 and RB 2. The interpolation pixel is generated by the calculation, and the interpolation result is output as the interpolation block ReP.
  • the picture selection unit 159 sets the picture having the smallest second reference index among the pictures whose display order is later than the picture to be decoded as the second reference picture used in the direct mode. select.
  • the picture decoding apparatus 150 selects, as the second reference picture, the picture having the smallest second reference index among the pictures whose display order is later than the picture to be decoded, by the picture selection unit 159 (Step S150) o
  • the image decoding device 150 includes the second reference picture selected as described above by the direct mode processing unit 154, the multi-frame buffer 158, and the pixel interpolation unit 157, Using the first reference picture specified as described above and the scaling vector r MV, a predicted image in the direct mode is generated (step S 154).
  • the image decoding device 150 adds the predicted image to the residual of the image generated by decoding the image coded signal BS (step S156).
  • the picture having the smallest reference index is selected as the second reference picture from among the pictures whose display order is later than the decoding target picture, so that the picture described in the first embodiment is used.
  • An image encoded signal encoded by the image encoding device of the present invention can be correctly decoded. Further, the same effect as that described in the first embodiment can be obtained.
  • the picture selection unit 2 13 as described above, as shown in (b) of FIG.
  • One of the picture number “15J picture, picture number“ 13J picture ”, and picture number“ 11J picture ” is referred to in the direct mode for the current picture.
  • a second reference index r R12 indicating the selected picture is selected based on the remapping information, and is output.
  • FIG. 18 is a configuration diagram showing a configuration of a header of the image coded signal BS1.
  • the coded image signal BS1 is configured in units of pictures, like the coded image signal BS in Embodiment 1, and one picture unit includes a header 41 and information on each block.
  • the first time difference information 24 and the second time difference information are used.
  • the header 41 contains information in which the display time information of the picture is encoded.
  • the picture coding apparatus 200 selects, as the second reference picture, one of the pictures whose display order is later than that of the picture to be coded by the picture selecting unit 2 13 (step S 200). .
  • the image encoding device 200 includes the second reference picture selected as described above by the direct mode processing unit 110, the multi-frame buffer 107, and the pixel interpolation unit 106, Using the first reference picture specified as described above and the scaling vector rMV, a predicted image in a direct mode is generated (step S204).
  • a picture having the smallest second reference index is selected as a second reference picture in the direct mode from among pictures whose display order is later than that of the current picture. did. That is, in the third embodiment, as in the first embodiment, a code whose display order is later than that of the encoding target picture is selected as the second reference picture in the direct mode. Therefore, the difference between Embodiment 1 and Embodiment 3 is as follows. In the first embodiment, a procedure for uniquely determining the second reference picture in the direct mode is previously stored in the image encoding device 100, and the same procedure is performed in the image encoding apparatus 100 according to the second embodiment.
  • the second reference picture in the direct mode is uniquely determined between the image encoding device 100 and the image decoding device 150 by also retaining the information in the decoding device 150.
  • information for uniquely determining the second reference picture in the direct mode is included in the code sequence, and based on the information, the image coding device 200 and the code sequence are combined.
  • the second reference picture in the direct mode is uniquely determined between the image encoding device 200 and the image decoding device by performing processing with the image decoding device that performs decoding.
  • any picture whose display order is later than that of the current picture is selected as the second reference picture.
  • the picture whose display order is later is selected.
  • the picture having the smallest second reference index may be selected as the second reference picture.
  • the picture selection unit 2 13 may further select the first reference picture in the direct mode for the current picture.
  • the first reference index r RI 1 and the second reference index r RI 2 are encoded and included in the header 41 shown in FIG.
  • the image decoding device that decodes the image coded signal BS 1 uses the first reference from the image coded signal BS 1. By obtaining the index rRI1 and the second reference index rRI2, it is possible to identify the first reference picture and the second reference picture in the direct mode.
  • the second index information 42 obtained by coding the second reference index rRI2 is included in the header 41 for each picture.
  • it is stored in the header of a coding unit smaller than a picture such as an MPEG slice structure, the header of a coding unit composed of multiple pictures such as an MPEG GOP (Group of Picture), or the header of the entire sequence. May be.
  • the information in which the first reference index r RI1 indicating the first reference picture is encoded is stored in the header as described above. Is done.
  • FIG. 20 is a block diagram of the image decoding apparatus according to Embodiment 4.
  • the image decoding device 250 decodes an image coded signal BS 1 output from the image coding device 200 of the third embodiment, and includes a variable-length decoding unit 25 1, The decoding unit 152, the adder 1553, the switches 1555, 156, the direct mode processing unit 154, the pixel interpolation unit 157, the multi-frame buffer 158, and the Torr buffer 160.
  • the components of the buffer 158 and the vector buffer 160 are the same as those of the image decoding device 150 of the second embodiment. It has the same function as a component.
  • variable-length decoding unit 25 1 obtains the image coded signal BS 1 from outside the image decoding device 250, performs variable length decoding on the image coded signal BS 1, and performs residual coding. It outputs the signal ER, the motion vectors MV1, MV2, the reference indexes RI1, RI2, the direct mode scaling factor SP, and the type information PT.
  • the variable length decoding unit 25 Outputs display time information instead of direct mode scaling factor SP.
  • variable length decoding unit 25 1 performs decoding processing on the second index information 42 included in the header 41 of the image coded signal BS 1, and stores the second reference index r RI 2 in the vector buffer 1. Output to 60 and direct mode processing section 154.
  • the variable-length decoding unit 25 1 performs a decoding process on the re-mapping encoded information 27 and outputs the re-mapping information. Generate. Then, the variable-length decoding unit 251 sends the picture indicated by the first reference index RI 1 (r RI 1) and the second reference index RI 2 (r RI 2) to the multi-frame buffer 158. , Based on the remapping information.
  • the vector buffer 160 obtains the second reference index rRI2 from the variable length decoding unit 251, and, based on the stored contents, acquires the second reference index rRI2 as in the second embodiment. r Identify the picture pointed to by RI 2 as the second reference picture for the current picture. Then, the vector buffer 160 stores a predetermined process in the second reference picture.
  • the first motion vector MV 1 corresponding to the first motion vector MV 1 is output as the scaling vector r MV, and the first reference index RI indicating the picture to which the first motion vector MV 1 is to be referred. Output 1 as the first reference index r RI 1.
  • the second index information 42 and the remapping coding information 27 of the image coded signal BS 1 use the directivity from among the pictures whose display order is later than the decoding target picture.
  • the second reference picture used in the default mode is uniquely selected.
  • FIG. 2 "1" is a flowchart showing an operation when decoding an image in the direct mode according to the present embodiment.
  • the image decoding device 250 obtains the second reference index r RI 2 by performing variable length decoding on the image encoded signal BS 1 using the variable length decoding unit 25 1 (step S 25). 0).
  • the coded image signal BS 1 includes the remapping coding information 27
  • the image decoding device 250 performs the decoding process on the remapping coding information 27, and outputs the remapping information. get.
  • the image decoding device 250 uses the vector buffer 160 to set the same position as the decoding target block in the second reference picture indicated by the second reference index rRI2.
  • the first motion vector of a block is identified as a scheduling vector r MV for the block to be decoded, and a picture that is a reference destination of the first motion vector MV 1 is defined as It is specified as the first reference picture for the decoding target block (step S2522).
  • the image decoding apparatus 150 includes a direct mode processing section 154, The second reference picture indicated by the second reference index rRI2 acquired as described above by the multi-frame buffer 158 and the pixel interpolation unit 157, and the first reference identified as described above. Using the picture and the scaling vector rMV, a predicted image in the direct mode is generated (step S254).
  • the image decoding device 150 adds the above-described predicted image to the residual of the image generated by decoding the image coded signal BS (Step S256) o
  • the present embodiment by specifying the second reference picture in the direct mode based on the second index information 42 and the remapping information 41 included in the image coded signal BS1, It is possible to correctly decode the coded image signal BS 1 from the image coding apparatus 200 of the third embodiment. Further, the same effect as that described in the third embodiment can be obtained.
  • FIG. 22 is a block diagram of an image coding apparatus according to Embodiment 5.
  • the image coding apparatus 300 obtains an image signal Img indicating the content of an image, and encodes the image signal Img for each block.
  • a subtracter .101 an image decoding unit 104, switches 111 and 112, a pixel interpolation unit 106, and a direct mode processing unit 111 0, a vector buffer 114, and a management unit 304, a motion estimation unit 302, a prediction type selection unit 301, and a multi-frame buffer 303.
  • a variable-length encoding unit 305 Like the decoding device 100, a subtracter .101, an image decoding unit 104, switches 111 and 112, a pixel interpolation unit 106, and a direct mode processing unit 111 0, a vector buffer 114, and a management unit 304, a motion estimation unit 302, a prediction type selection unit 301, and a multi-frame buffer 303.
  • the subtractor 101 of the image encoding device 300, the image decoding unit 104, the switches 111, 112, the pixel interpolation unit 106, the direct mode processing unit 111 0, and each component of the vector buffer 114 has the same function as each component included in the image encoding device 100 of the first embodiment.
  • the vector buffer 114 acquires the second reference index r RI 2 that always indicates 0, and obtains the scheduling ring corresponding to the second reference index r RI 2 “0”. Output the vector rMV and the first reference index rRI1.
  • the multi-frame buffer 303 in the present embodiment has the same function as the multi-frame buffer 107 in the first and third embodiments, but the information stored therein is stored in the management unit 304. Is managed.
  • a short-time memory and a long-time memory are secured in the multi-frame buffer 303, and pictures are separately stored in the short-time memory and the long-time memory.
  • the short-time memory is a first-in, first-out (FIFO) memory.
  • FIFO first-in, first-out
  • the long-term memory is a random access memory, and has a configuration in which a reference picture can be stored in an arbitrary area and a reference picture stored in an arbitrary area can be read.
  • This long-term memory stores pictures that are mainly referenced over a long period of time, such as background images and images before scene changes, and stores pictures for a longer time than the short-term memory.
  • pictures are stored in the long-time memory in such a way that those stored in the short-time memory are moved to the long-time memory.
  • the management unit 304 stores in the multi-frame buffer 303 as described above.
  • the information managed is managed, and when the result of the management requires remapping, remapping is performed. That is, the management unit 304 generates remapping information, and uses the remapping information as the prediction type selection unit 301, the motion estimation unit 302, the variable length coding unit 300, and the multiframe buffer 303. Output to
  • the management unit 304 generates remapping information when it is determined that a scene change (hereinafter referred to as “scene change j”) has occurred from the acquisition result of scene information described later.
  • scene change j a scene change
  • the prediction type selection unit 301 has the same function as the prediction type selection unit 101 of the first and third embodiments, and when acquiring the remapping information from the management unit 304, based on the remapping information.
  • the first reference index and the second reference index assigned to each reference picture are specified.
  • the motion estimator 302 has the same function as the motion estimator 102 of the first and third embodiments, and when acquiring the remapping information from the management unit 304, based on the remapping information. Then, the first reference index and the second reference index assigned to each reference picture are specified. That is, when the remapping information is not obtained from the management unit 304, the prediction type selection unit 301 and the motion estimation unit 302 set the default for each reference picture before and after the current picture.
  • the first reference index and the second reference index are specified by assigning numerical values in the order in which they are performed, that is, in the order shown in (a) of Fig. 13.
  • the variable-length coding unit 2005 includes a residual coded signal ER, a first reference index RI 1, a second reference index RI 2, similarly to the variable-length coding units 105 of the first and third embodiments.
  • the first motion vector MV 1, the second motion vector MV 2, the direct mode scaling coefficient SP, and the type signal PT are variable-length coded, and the result is output as an image coded signal BS 2.
  • the variable-length encoding unit 304 encodes the remapping information, and converts the encoded remapping information to the image encoded signal BS2. Include in the header.
  • variable length encoding unit 103 The display time information used for the above-mentioned scaling is variable-length coded without performing variable-length encoding of the Rectomod mode scaling coefficient SP, and the variable-length coded display time information is converted to an image-encoded signal. Include in BS 2.
  • the management unit 304 of the present embodiment when generating the remapping information, the management unit 304 of the present embodiment generates the remapping information such that the first reference index and the second reference index assigned to each reference picture satisfy a certain condition. .
  • the management unit 304 When encoding a block to be re-encoded by interpolation prediction other than the direct mode, if a scene change has occurred, the management unit 304 adds a reference picture stored in the memory for a long time to the reference picture. Remapping information is generated such that 0 of the first reference index is preferentially assigned.
  • whether or not a scene change has occurred is determined using the input image Img outside the image encoding device 300, and the determination result is supplied to the management unit 304 as scene change information.
  • the scene change detection method includes the pixels that correspond in position between temporally consecutive pictures. There is a method in which the absolute value of the difference value is calculated, the absolute value of the difference is added for all pixels in the picture, and when the added value exceeds a predetermined threshold value, the scene change is determined. In addition, frames detected as scene changes
  • the management unit 304 assigns 0 of the second reference index to a reference picture whose display order is later than the current picture to be encoded. To generate remapping information.
  • the management unit 304 may generate remapping information for a reference picture to which the second reference index 0 is assigned by default so that the second reference index ⁇ 0 ”is not changed. .
  • 0 of the second reference index is always assigned to a reference picture whose display order is later than that of the current picture.
  • FIG. 23 is an explanatory diagram for describing remapping performed by the management unit 304.
  • FIG. 23 is a picture arrangement diagram showing a current picture to be coded and a reference picture in display order.
  • P pictures before and after the encoding target picture TP for example, any of the reference pictures RP 1, RP 2, RP 3, RP 4, and RP 5 Is used.
  • a reference picture that is nearby in the display order of the encoding target picture TP Chars RP 2, RP 3, RP 4, and RP 5 are stored in the short-time memory of the multi-frame buffer 303, and a reference picture RP 1, which is far from the encoding target picture TP, is a multi-frame.
  • Buffer 303 is stored in memory for a long time.
  • the first reference index “4” and the second reference index “4” are assigned to the reference picture RP1, and the first reference index ⁇ ⁇ 2 is assigned to the reference picture RP2. 1 j and the second reference index ⁇ 3 ”are assigned, reference picture RP 3 is assigned the first reference index ⁇ ” and second reference index “2”, and reference picture RP 4 is assigned the first reference index.
  • Reference index “2” and second reference index ⁇ 0 J are assigned, and reference picture RP5 is assigned first reference index “3” and second reference index “1”.
  • the management unit 304 determines that the scene A similar to the scene A ′ including the encoding target picture TP If it is determined that the immediately preceding reference picture (in this case, reference picture RP 3) that is in the past with scene B that is dissimilar to A 'and belongs to scene dissimilar to scene B, If it is determined that a scene change has occurred after the immediately preceding reference picture, remapping information is generated such that 0 of the first reference index is assigned from a reference picture stored in the long-term memory. That is, as shown in (c) of FIG. 23, 0 of the first reference index is assigned to the reference picture RP1 stored in the long-term memory.
  • the reference picture stored in the long-term memory will 1Because remapping information is generated so that 0 of the reference index is preferentially assigned.
  • the first reference picture of the first reference index ⁇ ⁇ used for interpolation prediction is very similar to the current picture. It has image information, and as a result, the coding efficiency can be improved.
  • the reference picture RP 3 indicated by the first reference index “0” is used to encode the picture TP to be encoded.
  • the encoding efficiency of the reference picture RP3 is reduced because the scene is different from the encoding target picture TP and the scene is different.
  • the management unit 304 when encoding the target picture TP in the direct mode, sets the reference picture TP that is later in display order than the target picture TP. For example, remapping information is generated so that the reference picture RP5 is assigned the second reference index of 0. Also, as shown in (b) of FIG. 23, the management unit 304 sets the second reference index ⁇ 0 ”for the reference picture RP4 to which the second reference index 0 is assigned by default. Remapping information may be generated so as not to be changed.
  • FIG. 24 is a flowchart showing an example of the operation in the present embodiment.
  • the image coding apparatus 300 determines the presence or absence of a scene change according to whether or not the above-described scene change information has been acquired by the management unit 304 (step S300).
  • the image encoding device 300 preferentially assigns the first reference index 0 to the reference picture in the long-term memory. In this way, remapping is performed so that 0 of the second reference index is assigned to any of the reference pictures subsequent to the current picture to be coded (step S302).
  • the image coding apparatus 300 divides the first reference index and the second reference index by default without performing remapping. Hit (step S304).
  • the image coding apparatus 300 specifies the first reference picture and the second reference picture based on the first reference index and the second reference index assigned as described above, and A predicted image is generated based on the reference picture (Step S306).
  • the image encoding device 300 generates a prediction error from the predicted image (Step S308), and encodes it (Step S310). (Modification)
  • FIG. 25 is a configuration diagram showing a configuration of an image encoding device 300 ′ according to a modification of the present embodiment.
  • An image encoding device 300 ′ includes an image encoding unit 102, an image decoding unit 104, and a management unit, similarly to the image encoding device 300 described above. 3 0 4 'and so on.
  • 0 of the second reference index is assigned to a reference picture whose display order is later than that of the encoding target picture. Reapplied.
  • the management unit 3 04 ′ prohibits the assignment of 0 of the second reference index to a reference picture whose display order has come before the picture to be encoded. .
  • the first motion vector used to encode the block of the reference picture, which has been displayed before the picture to be encoded is not used as a scaling vector.
  • the first motion vector of the reference picture block which has been displayed before the picture to be coded, is bothersome for coding the picture to be coded. It is possible to improve the coding efficiency by omitting the process of storing the data in the buffer for the protocol 114. That is, in the present modified example, the management unit 304 ′ of the image coding device 300 ′ once calculates the first motion vector of the reference picture once before the current picture in display order. Delete from the vector buffer 1 1 4.
  • the motion vector unnecessary for the encoding process is prevented from being stored in the vector buffer 114, and the storage capacity of the vector buffer 114 is reduced. be able to.
  • FIG. 26 is a block diagram of the image decoding apparatus according to the sixth embodiment.
  • This image decoding device 350 performs decoding processing on the image coded signal BS 2 output from the image coding device 300 ′ according to the modification of the fifth embodiment.
  • a variable-length decoding unit 151, an image decoding unit 152, an adder 1553, switches 155, 156, and a It has a Rect mode processor 154, a pixel interpolator 157, a multi-frame buffer 158, and a vector buffer 160, and furthermore has a manager 354. .
  • the picture selection unit 159 in Embodiment 2 outputs the second reference index rRI2 always indicating 0 to the vector buffer 160. It has the same configuration as the above.
  • variable-length decoding unit 15 1 obtains the image coded signal BS 2, and if the image coded signal BS 2 includes the remapping information, The picture indicated by the first reference index RI1 (rRI1) and the second reference index RI2 (rRI2) is specified based on the remapping information.
  • the management unit 354 monitors the reference picture stored in the multi-frame buffer 158, and once the first motion vector of the reference picture that is once before the decoding target picture in display order. Delete vector MV 1 from vector buffer 160.
  • FIG. 27 is a block diagram of an image coding apparatus according to Embodiment 7.
  • the unit and signal shown in FIG. 27 those similar to the unit and signal of the conventional image encoding device 900 shown in FIG.
  • the same reference numerals as those of the unit and signal of 900 are attached, Description is omitted.
  • a feature of the present embodiment is that the first reference picture selection unit 6001 selects a first reference picture commonly used for blocks in the current picture in the direct mode. As a result, in the direct mode, the first reference picture, which is the reference destination of the scaling vector, is shared with a predetermined reference picture.
  • FIG. 28 is a conceptual diagram of a direct mode according to the seventh embodiment.
  • reference picture RP 1 is the first reference picture commonly used in the direct mode.
  • the first motion vector MV10 of the block BOO refers to the reference picture RPn, but the first motion vector MVO1 of the block BO to which the direct mode is applied is the reference picture RP 1 is referred to.
  • the motion vector MVO based on the block B1 on the common reference picture RP1 obtained approximately is used as a scaling vector, and based on the scaling for the scaling vector, the encoding target picture is obtained.
  • the motion vectors MV O 1 and MV 02 used to encode the block BO on the TP are derived.
  • the motion vector MV 0 1 based on the block RBO 1 on the picture RP 1 of the block BO on the picture TP to be encoded and the motion vector MV 0 based on the block RB 0 2 on the picture RP 3 2 is obtained by using the motion vector MVO as a scaling vector.
  • the direct mode processing section 9100 'performs the processing in the direct mode as described above.
  • FIG. 29 is a flowchart showing a process of calculating the motion vectors MV 01 and MV 02.
  • the image coding apparatus 600 obtains a block B 1 at the same position as the block B n to be referred to by the motion vector MV 10 of the block BOO on the first reference picture RP 1 (Step S1).
  • the image coding apparatus 600 sets the motion vector MV0 from the block BOO to the block B1 as a scaling vector (step S2).
  • the image coding apparatus 600 obtains the motion vectors MV01 and MV02 from the scaling vector MV0 (step S3).
  • the motion vector MV 10 is stored in the vector buffer 914. There is no need to store the picture number of the reference picture to which the vector MV 10 is referred (the picture number of the reference picture RP n corresponds in Fig. 28).
  • the first reference picture selection section 600 selects the first reference picture that is commonly used in the direct mode, and the first reference picture of the first reference picture. Output the index r RI 1.
  • the method of selecting the first reference picture that is commonly used in the direct mode is, for example, selecting a reference picture that has a display order before the picture to be encoded and has the smallest first reference index.
  • the first reference picture is made common to all the blocks in the picture encoded in the direct mode, so that the reference as the reference destination of the scaling vector is obtained.
  • Information identifying the picture There is no need to store the information on the memory. That is, the amount of memory can be reduced.
  • by making the first reference picture common to all blocks in a picture to be coded in the direct mode coding processing can be simplified and coding efficiency can be improved.
  • the information for identifying the picture referred to by the first motion vector is, for example, the picture number shown in FIG. 13, but any information that can uniquely determine the picture to be referred to by the motion vector. Other information may be used.
  • the reference picture that is displayed before the current picture and has the smallest first reference index is selected as the first reference picture that is commonly used in the direct mode.
  • a reference picture whose display order is earlier than that of the current picture and whose display order is closest to the current picture may be selected as the first reference picture.
  • At least one of the reference pictures referred to by the current picture to be coded which is a B picture, is located before the current picture to be coded. This eliminates the possibility of referencing only the picture of the image, thereby increasing the possibility of improving the coding efficiency.
  • the second reference picture may be selected as in the first embodiment.
  • encoding efficiency can be further improved by combining the encoding method described in Embodiment 1 with the encoding method described in this embodiment.
  • the direct mode processing unit 910 ′ performs scaling on the scaling vector r MV using the direct mode scaling coefficient SP.
  • scaling of the scaling vector rMV may be performed using the display time information.
  • the motion vector The motion vector MV 10 instead of the torque MV 0 is used as the scaling vector.
  • the motion vector MV10 is scaled according to the ratio of the display time difference between the picture TP3 and the picture RPn to the display time difference between the picture RP3 and the picture RPn, so that the encoding target block B 0 is calculated, and the motion vector MV 1 is calculated according to the ratio of the display time difference between picture TP and picture RP 3 to the display time difference between picture RP 3 and picture RP n.
  • the second motion vector MV 02 of the encoding target block BO is calculated.
  • FIG. 30 is a block diagram of an image decoding apparatus according to Embodiment 8.
  • the unit and signal shown in FIG. 30 the unit and signal similar to the unit and signal of the conventional image encoding device 950 shown in FIG.
  • the same reference numerals as those of the unit and signal of 950 are given, and the description is omitted.
  • the image decoding device 650 of the present embodiment decodes the coded image signal BS0 output from the image coding device 600 described in the seventh embodiment.
  • the first reference picture selection unit 651 selects the first reference picture in the same manner as the first reference picture selection unit 601 in FIG. Then, the first reference picture selection unit 651 outputs the first reference index rRI1 indicating the selected first reference picture to the direct mode processing unit 954 '.
  • the direct mode processing unit 954 executes a process in the direct mode shown in FIG.
  • the memory capacity of the vector buffer 960 can be reduced as compared with the conventional case.
  • FIG. 31 is a block diagram of the image coding apparatus according to the ninth embodiment.
  • the difference between the seventh embodiment and the ninth embodiment is as follows.
  • the image encoding apparatus 600 holds a procedure for uniquely determining the first reference picture in the direct mode, and performs the same procedure as in the image decoding apparatus according to the eighth embodiment.
  • the first reference picture in the direct mode is uniquely determined by holding the data in the device 650 as well.
  • an image decoding apparatus for decoding an image encoded signal by including information for uniquely determining a first reference picture in a direct mode in the image encoded signal.
  • the first reference picture in the direct mode is uniquely determined between the image encoding devices 700 and 700.
  • the first reference picture selection unit 7001 selects the first reference picture in the direct mode from the reference pictures, and sends the first reference index rRI1 indicating the selected reference picture to the direct mode processing unit 9110. 'And the variable-length encoder 9 03.
  • the variable-length coding unit 903 includes a residual coded signal ER, a first reference index RI1, a second reference index RI2, a first motion vector MV1, a second motion vector MV2, and a direct
  • the mode scaling factor SP, type information PT, and the first reference index rRI1 output from the first reference picture selector 701 are variable-length coded and output as an image coded signal BS3. .
  • variable length encoding section 903 is The display time information used for the above-described scaling is variable-length coded without performing the variable-length coding of the direct mode scaling coefficient SP, and the variable-length coded display time information is converted into the image coded signal BS3. Include in.
  • FIG. 32 shows a format of an image coded signal BS3 according to the ninth embodiment.
  • the format of the image coded signal BS3 is different from that of the conventional image coding device 900 shown in FIG. 6 only in the format of the image coded signal BS0 in the header.
  • the variable-length encoding unit 903 encodes the first reference index r RI1, and uses the encoded first reference index r RI1 as the first index information 52 to perform image encoding. Included in header 51 of signal BS3. In addition, Display time information may be included in the header 51 instead of the first time difference information 4, the second time difference information 5, and the time difference information 6 shown in FIG.
  • the image decoding device that decodes the image coded signal BS 3 obtains a first reference index r RI 1 based on the first index information 52 from the image coded signal BS 3, and The first reference picture in the default mode can be specified.
  • the first reference picture is made common to all the blocks in the picture encoded in the direct mode, so that the reference destination of the scaling vector is obtained. There is no need to save information for identifying the reference picture to be used. That is, the memory capacity of the vector buffer 914 can be reduced as compared with the conventional case. Also, the encoding process can be simplified by making the first reference picture common to all blocks in the picture encoded in the direct mode. Also, by encoding information indicating the first reference picture used in the direct mode and including it in the image encoded signal BS3, it is possible to ensure consistency between the encoding process and the decoding process.
  • a reference picture which is displayed in the display order before the picture to be encoded and has the smallest first reference index may be selected as the first reference picture commonly used in the direct mode.
  • the second reference picture may be selected as in the third embodiment.
  • the second index information in which 2 is encoded is included in the header 51 shown in FIG.
  • the image decoding device that decodes the image coded signal BS 3 uses the first reference index r RI indicated by the first index information 52 and the second index information from the image coded signal BS 3. By obtaining the indicated second reference index r R2, the first reference picture and the second reference picture in the direct mode can be specified.
  • the first index information 52 in which the first reference index rRI1 is coded is included in the header 51 for each picture.
  • a header of a coding unit smaller than a picture such as an MPEG slice structure
  • a header of a coding unit including a plurality of pictures such as an MPEG GOP (Group of Picture), or an entire sequence. May be stored in the header. (Embodiment 10)
  • FIG. 33 is a block diagram of the image decoding apparatus according to Embodiment 10.
  • the image decoding apparatus 750 of the present embodiment is used in common in the image coded signal BS 3 output by the image coding apparatus 700 described in Embodiment 9, that is, in the direct mode. And decoding an image coded signal including information indicating the first reference index of the first reference picture.
  • the variable-length decoding unit 951 obtains the coded image signal BS3, performs variable-length decoding on the coded image signal BS3, and generates a coded residual signal ER and a first reference index R. I1, second reference index RI2, first motion vector MV1, second motion vector MV2, direct mode scaling factor SP, type information PT, and first reference index for direct mode r RI 1 is output.
  • the coded image mode signal BS3 does not include the coded direct mode scaling coefficient SP but includes the coded display time information
  • the variable length decoding unit 951 Output display time information instead of direct mode scaling coefficient SP.
  • the first reference index r RI1 for the direct mode indicates a first reference picture commonly used in the direct mode. Therefore, since the vector buffer 960 does not need to hold information for identifying a reference picture for the direct mode, the memory capacity of the vector buffer 960 is reduced as compared with the conventional case. can do.
  • the present embodiment it is possible to correctly decode encoded image signal BS3 output from image encoding device 700 of Embodiment 9. Also, by making the first reference picture common to all blocks in the picture coded in the direct mode, information for identifying the reference picture to be referred to by the scaling vector is stored in the memory. There is no need to save it on top. That is, the amount of memory of the vector buffer 960 can be reduced as compared with the related art. Further, the same effect as that described in the ninth embodiment can be obtained.
  • FIG. 34 is an explanatory diagram of a storage medium that stores a program for realizing the image encoding method and the image decoding method according to Embodiments 1 to 10 by a computer system.
  • FIG. 34 shows the appearance, cross-sectional structure, and disk body FD1 of the flexible disk FD viewed from the front, and (a) in FIG. An example of the physical format is shown.
  • the disk body FD 1 is built in the case F. On the surface of the disk body FD 1, a plurality of tracks Tr are formed concentrically from the outer circumference toward the inner circumference, and each track is formed in an angular direction of 16 It is divided into sectors Se. Therefore, in the flexible disk FD storing the above program, the image encoding method and the image decoding method as the above program are recorded in the area allocated on the disk body FD1.
  • (C) in FIG. 34 shows a configuration for recording and reproducing the above program on the flexible disk FD.
  • the computer system CS When recording the above program on the flexible disk FD, the computer system CS writes the image encoding method or the image decoding method as the above program via the flexible disk drive FD D.
  • the program When the above-described image encoding method or image decoding method is to be constructed in the computer system Cs by a program in the flexible disk FD, the program is read from the flexible disk FD by the flexible disk drive FDD, and the computer system Transferred to Cs.
  • the recording medium is not limited to this, but may be a professional medium such as an IC card or a ROM cassette. The same can be implemented as long as it can record a gram.
  • FIG. 35 is a block diagram showing an overall configuration of a content supply system ex100 for realizing a content distribution service.
  • the communication service providing area is divided into desired sizes, and base stations ex107 to ex110, which are fixed radio stations, are installed in each cell.
  • This content supply system ex100 is, for example, connected to the Internet ex101 by an Internet service provider ex102 and a telephone network ex104, and base stations ex107 to ex111.
  • Each device such as a computer ex 1 1 1, a PDA (personal digital assistant) ex 1 1 2, a camera ex 1 1 3, a mobile phone ex 1 14, and a camera equipped mobile phone ex 1 15 is connected via 0 Is done.
  • PDA personal digital assistant
  • each device may be directly connected to the telephone network ex l04 without going through the base stations ex l07 to ex110 which are fixed wireless stations.
  • the camera ex l 13 is a device capable of shooting moving images, such as a digital video camera.
  • mobile phones include PDC (Personal Digital Communications), CDMA (Code Division Multiple Access), W-CDMA (Wi-band-Code Division Multiple Access), and GSM (Global System for Mobile Communications). ) Type mobile phone or PHS (Persona I Handyphone System), etc.
  • the streaming server ex103 is connected to the base station from the camera ex113. It is connected through ex109 and the telephone network ex104, and enables live distribution and the like based on the coded data transmitted by the user using the camera ex113.
  • the encoding process of the photographed data may be performed by the camera ex13, or may be performed by a server or the like that performs the data transmission process.
  • moving image data shot by the camera ex116 may be transmitted to the streaming server ex103 via the computer ex111.
  • Power camera ex 1 16 is a device such as a digital camera that can shoot still images and moving images. In this case, the encoding of the moving image data may be performed by the camera exl16 or the computer exl11.
  • the encoding process is performed in the LSI ex117 of the computer ex111 and the camera ex116.
  • the image encoding / decoding software may be incorporated in any storage medium (CD-ROM, flexible disk, hard disk, etc.) which is a recording medium readable by a computer ex111 or the like.
  • the moving image data may be transmitted by a camera-equipped mobile phone exl15. The moving image data at this time is data that has been encoded by the LSI included in the mobile phone ex15.
  • the content for example, a video image of a live music taken by the user with the camera ex113, the camera ex116 and the like is used in the same manner as in the above embodiment.
  • the encoding server transmits the content data to the streaming server ex103 while streaming the content data to the requesting client.
  • the client include a computer ex111, a PDA ex112, a camera ex113, a mobile phone ex114, etc., which are capable of decoding the encoded data.
  • the content supply system ex1000 can receive and reproduce the encoded data at the client, and further, the This system enables personal broadcasts by receiving, decoding, and playing back on a personal computer.
  • a mobile phone will be described as an example.
  • FIG. 36 is a diagram illustrating the mobile phone ex 115 using the image encoding method and the image decoding method described in the above embodiment.
  • the mobile phone ex115 has an antenna ex201 for transmitting and receiving radio waves to and from the base station exl10, a power camera part ex203 capable of capturing images and still images of a CCD camera, etc. It consists of a display unit ex202, such as a liquid crystal display, which displays decoded data of the video captured by the camera unit ex203 and the video received by the antenna ex201, and a group of operation keys eX204. Main unit, audio output unit ex. 208 for voice output, audio input unit ex.
  • the mobile phone exl 15 is provided with a power supply circuit for a main control unit ex 3 11 1 that is to control each part of the main body unit equipped with a display unit ex 202 and operation keys ex 204.
  • Unit ex 3 10 operation input control unit ex 3 04, image coding unit ex 3 1 2, camera interface unit ex303, LCD (Liquid Crystal Display) control unit ex300, image decoding unit ex309, demultiplexing unit ex308, recording / reproducing unit ex307,
  • the modulation / demodulation circuit unit ex306 and the audio processing unit ex305 are connected to each other via a synchronous bus ex310.
  • the power supply circuit ex310 supplies the camera-equipped digital mobile phone ex115 by supplying power from a battery pack to each unit when the call is ended and the power key is turned on by a user operation. Start up in an operable state.
  • the mobile phone ex115 based on the control of the main control unit ex311, consisting of a CPU, ROM, RAM, etc., processes audio signals collected by the audio input unit ex205 in the voice call mode.
  • the digital audio data is converted into digital audio data by the ex. After the transmission, transmission is performed via the antenna ex 201.
  • the mobile phone ex115 also amplifies the data received by the antenna ex201 in the voice communication mode, performs frequency conversion processing and analog-to-digital conversion processing, and performs modulation and demodulation in the ex-306 circuit section.
  • the signal is despread and converted to analog audio data by the audio processing unit ex305, and then output via the audio output unit ex208.
  • the text data of the e-mail input by operating the operation key eX204 on the main unit is transmitted to the main control unit ex304 via the operation input control unit ex304. Sent to 3 1 1
  • the main control unit ex311 spreads the text data in the modulation and demodulation circuit unit ex306 and performs digital-to-analog conversion processing and frequency conversion processing in the transmission and reception circuit unit ex310. Later, it transmits to the base station ex110 via the antenna ex210.
  • image data captured by the camera unit ex203 is supplied to the image encoding unit ex312 via the camera interface unit ex303. .
  • the image data captured by the camera unit ex203 is transmitted to the display unit ex20 via the camera interface unit ex303 and the LCD control unit ex302. It is also possible to display directly on 2.
  • the image encoding unit ex312 has a configuration including the image encoding device described in the present invention, and converts the image data supplied from the camera unit ex203 into the image encoding device described in the above embodiment.
  • the data is converted into encoded image data by performing compression encoding using the encoding method used, and is transmitted to the demultiplexing unit ex308.
  • the audio collected by the audio input unit ex205 during the imaging in 203 is processed by the audio processing unit ex
  • the signal is output to the demultiplexing unit ex308 as digital voice data via the signal 105.
  • the demultiplexing unit ex308 multiplexes the coded image data supplied from the image encoding unit ex310 and the audio data supplied from the audio processing unit ex305 in a predetermined manner, and as a result, The obtained multiplexed data is subjected to spread spectrum processing in the modulation / demodulation circuit section ex306, and is subjected to digital analog conversion processing and frequency conversion processing in the transmission / reception circuit section ex301, and then to the antenna ex201. To send through.
  • the received data received from the base station ex110 via the antenna ex210 is scanned by the modem circuit ex306.
  • the signal is despread, and the resulting multiplexed data is sent to the demultiplexing unit ex308.
  • the multiplexed data received via the antenna ex 201 is decoded.
  • the demultiplexing unit ex 308 separates the multiplexed data into a bit stream for image data and a bit stream for audio data
  • the coded image data is supplied to the image decoding unit ex 309 via the coded image data
  • the audio data is supplied to the audio processing unit ex 305 via the external device.
  • the image decoding unit ex309 has a configuration including the image decoding device described in the present invention, and converts the bit stream of the image data into the encoding method described in the above embodiment.
  • Reproduced moving image data is generated by decoding using a corresponding decoding method, and this is supplied to the display unit ex202 via the LCD control unit ex302, whereby, for example, a link to a homepage is generated.
  • the movie data included in the movie file is displayed.
  • the audio processing unit ex305 converts the audio data into analog audio data, and then supplies the analog audio data to the audio output unit ex208, whereby, for example, the moving image file linked to the homepage is output. Is reproduced.
  • the bit stream of the video information is transmitted via radio waves to the communication or broadcasting satellite ex410.
  • the broadcasting satellite ex 410 receiving this transmits a radio wave for broadcasting, receives this radio wave with a home antenna ex 406 equipped with satellite broadcasting receiving equipment, and sets a television (receiver) ex 410 or
  • a bit stream is decrypted by a device such as a set top box (STB) ex 407 and reproduced.
  • STB set top box
  • the playback device ex 403 that reads and decodes and decodes a bit stream recorded on a storage medium ex 402 such as a CD or DVD which is a recording medium also includes the image decoding device described in the above embodiment. Can be implemented It is. In this case, the reproduced video signal is displayed on the monitor ex404.
  • an image decoding device is installed in the set-top box ex 407 connected to the cable ex 405 cable or satellite Z terrestrial broadcasting antenna ex 406, and this is used as a TV monitor. A configuration for playing back with ex408 is also conceivable. At this time, the image decoding device may be incorporated in the television instead of the set-top box.
  • a signal is received from a satellite ex4 10 or a base station ex107 or the like by a car ex4 12 having an antenna ex4 11 or 1 and a display device such as a car navigation ex4 13 or the like of the car ex4 12 is provided. It is also possible to play the video.
  • an image signal can be encoded by the image encoding device described in the above embodiment and recorded on a recording medium.
  • a DVD recorder that records an image signal on a DVD disc eX421
  • a recorder ex42 such as a disc recorder that records on a hard disk. It can also be recorded on an SD card eX422. If the recorder ex420 has the image decoding device shown in the above embodiment, the image signal recorded on the DVD disc ex421 or the SD card ex422 is reproduced and the monitor ex4 0 8 can be displayed.
  • the configuration of the force navigation ex 413 is, for example, of the configuration shown in FIG. 37, the camera unit ex 203, the camera interface unit ex 303, and the image encoding unit e X 313. The same can be considered for the ex111 and the TV (receiver) ex401 etc.
  • terminals such as the above-mentioned mobile phone exl 14 are of three types: a transmission / reception terminal having both an encoder and a decoder, a transmission terminal having only an encoder, and a reception terminal having only a decoder.
  • a transmission / reception terminal having both an encoder and a decoder
  • a transmission terminal having only an encoder and a reception terminal having only a decoder.
  • An image encoding method and an image decoding method according to the present invention include an image encoding device that encodes a moving image, an image decoding device that decodes an encoded moving image, and a system including these devices. It is suitable for use in content supply systems that supply content such as digital works and digital broadcasting systems.

Abstract

画像符号化方法は、前記符号化対象ピクチャよりも表示順が後の符号化済ピクチャの中から何れかを第２参照ピクチャとして選択する第２参照ピクチャ選択ステップ（Ｓ１００）と、第１参照ピクチャ上のブロック及び第２参照ピクチャ上のブロックを特定し、前記両ブロックから画素補間により予測画像を生成する予測画像生成ステップ（Ｓ１０２，Ｓ１０４）と、前記予測画像と符号化対象ブロックの画像との差分を符号化する符号化ステップ（Ｓ１０６，Ｓ１０８）と、前記第２参照ピクチャを特定するための特定情報を、前記符号化ステップの符号化結果とともに出力する出力ステップとを含む。

Description

明 細 書 画像符号化方法および画像復号化方法 技術分野
本発明は、 画像信号を符号化する画像符号化方法、 符号化された画像 信号を復号する画像復号化方法に関するものである。 背景技術
近年、 マルチメディアアプリケーションの発展に伴い、 画像、 音声、 及びテキス 卜など、 あらゆるメディアの情報を統一的に扱うことが一般 的になってきた。
これにより、 全てのメディアをディジタル化することにより統一的に メディアを扱うことが可能になる。
しかしながら、ディジタル化された画像は膨大なデータ量を持っため、 蓄積又は伝送のためには、画像の情報圧縮技術が不可欠である。一方で、 圧縮した画像データを相互運用するためには、 圧縮技術の標準化も重要 である。 画像圧縮技術の標準規格としては、 I T U- T (国際電気通信連 合 電気通信標準化部門） の H. 2 6 1 、 H. 2 6 3、 I S O (国際標準 化機構） の M P E G (Moving Picture Experts Group) — 1 、 M P E G— 2、M P E G-4などがある。 また、 I T Uでは、 現在、 最新の画像符号 化規格として H . 2 64が標準化中であり、 標準化過程における ドラフ ト案は H . 26 しと呼ばれる。
M P E G-1 , 2， 4及ぴ H . 2 6 3などの動画像符号化方式に共通の 技術として動き補償を伴う ピクチャ間予測がある。 これらの動画像符号 化方式の動き補償では、 入力画像のピクチャを所定のサイズの矩形領域 (以降、 ブロックと呼ぶ） に分割し、 各ブロック毎にピクチャ間の動き を示す動きべク トルから予測画素を生成する。
以下、 動き補償を伴うピクチャ間予測を説明するため、 次の （ 1 ) ~ ( 6 ) に示す内容を説明する。
( 1 ) Bピクチャの概念
( 2 ) 補間予測
( 3 ) ピクチャ番号と参照インデックス
( 4 ) ダイ レク 卜モード
( 5 ) 従来の画像符号化装置
( 6 ) 従来の画像復号化装置
( 1 ) Bピクチャの概念
H . 2 6 しの Bピクチャ（2方向予測 [Bi- predictive]ピクチャ）につい て、 図 1 を用いて説明する。
図 1 は、 Bピクチャの概念図である。
ピクチャ T Pは符号化対象の Bピクチャであり、 ピクチャ R P 1 , R P 2 , R P 3 , R P 4はそれぞれ符号化済のピクチャである。 ブロック B 1 は、 ブロック R B 1 とブロック R B 2とを参照してピクチャ間予測 されたブロックであり、 ブロック B 2は、 ブロック R B 2 1 とブロック R B 2 2とを参照してピクチャ間予測されたブロックであり、 ブロック B 3は、 ブロック R B 3 1 とブロック R B 3 2とを参照してピクチャ間 予測されたブロックである。
このように、 Bピクチャである符号化対象ピクチャ T Pは、 他の 2つ のピクチャにそれぞれ含まれるブロックを参照してピクチャ間予測され るブロックを含んでいる。
( 2 ) 補間予測 補間予測について、 図 2を用いて説明する。
図 2は、 補間予測の説明図である。
ブロック R B 1 とブロック R B 2は、 補間予測に使用される 2つの参 照プロックであり、 プロック P Bは補間処理によリ得られた予測ブロッ クを示す。 ここでは、 ブロックサイズは 4x4画素と して説明する。
X I ( i ) は参照プロック R B 1 の画素値を示し、 X 2 ( i ) は参照 ブロック R B 2の画素値を示し、 P ( ί ) は予測ブロック Ρ Βの画素値 を示す。 画素値 Ρ ( i ) は次式のような線形予測式により得ることがで きる。
P ( i ) = A - X 1 ( i ) + B - X 2 ( i ) + C
ここで、 A , B , Cは線形予測係数である。 この線形予測係数には、 M P E G - 1 , 2のように、 平均値（A = 1 2， B = 1 / 2 , C = 0の 場合）のみが使用される場合もあるし （厳密には、 X 1 ( i ) + X 2 ( i ) を 1 2 した値を最も近い整数値に丸めた値） 、 明示的に他の値に設定 される場合もある。 他の値に設定される場合には、 その値は、 画像符号 化信号中に格納されて画像符号化装置から画像復号化装置に伝送される, このように複数の参照ピクチヤから画素補間によリ ピクチャ間予測さ れるブロックを 「補間予測ブロック」 と呼ぶ。 Bピクチャは、 補間予測 ブロックをピクチャ内に含むことが可能なピクチャである。
M P E G— "！ ， M P E G— 2などの画像符号化方式の Bピクチャに含 まれる補間予測ブロックは、 図 1 に示すブロック B 1 のように符号化対 象ピクチャ T Pに対し表示順が前の参照ピクチャ R P 1 と、 後の参照ピ クチャ R P 3とから予測される補間予測ブロック しかなかった。
—方、 最近検討されている新しい Bピクチャでは、 加えて、 図 1 に示 すブロック B 2 , B 3のように、 参照ピクチャが 2枚とも符号化対象ピ クチャよリ前又は後となる補間予測ブロックも含むことができる。 図 3は、 補間予測ブロックの 2枚の参照ピクチャが、 補間予測ブロッ クを有する符号化対象ピクチャより表示順が前にある場合の一例を説明 するための説明図である。
ピクチャ P 7は符号化対象ピクチヤであって、 各ピクチャは、 ピクチ ャ P 1 ， P 2 , P 3 , P 4 , P 5 , P 6 , P 7の順に符号化される。 つ まり、 ピクチャ P I , P 2 , P 5 , P 6は、 符号化対象ピクチャ P 7よ リも先に符号化されてマルチフ レームバッファ （メモリ） に格納されて いる。
そして、 符号化対象ピクチャ P 7に含まれる補間予測ブロックは、 ピ クチャ P 1 及びピクチャ P 6に含まれる画素を参照して符号化される。 図 4は、 補間予測ブロックの 2枚の参照ピクチャが、 補間予測ブロッ クを有する符号化対象ピクチャより表示順が後にある場合の一例を説明 するための説明図である。
ピクチャ P 4は符号化対象ピクチヤであって、 各ピクチャは、 ピクチ ャ P 1 ， P 2 , P 3 , P 4 , P 5の順に符号化される。 つまり、 ピクチ ャ P 1 , P 2 , P 3は、 符号化対象ピクチャ P 4よりも先に符号化され てマルチフ レームバッファに格納されている。
そして、 符号化対象ピクチャ P 4に含まれる補間予測ブロックは、 ピ クチャ P 2及びピクチャ P 3に含まれる画素を参照して符号化される。 なお、 補間予測ブロックを含まずに、 1 枚の参照ピクチャからピクチ ャ間予測を行うブロックを含むことが可能なピクチャを Pピクチャと呼 び、 ピクチャ間予測を行わない面内予測プロックのみから構成されるピ クチャを I ピクチャと呼ぶ。
H . 2 6 Lでは、 Bピクチャのブロックの符号化には、 最大 2枚の参 照ピクチャが使用される。そこで、 2枚の参照ピクチャを区別するため、 各参照ピクチャを第 1参照ピクチャ及び第 2参照ピクチャと呼ぶ。また、 第 1参照ピクチャ及び第 2参照ピクチヤのそれぞれに基づく動きべク ト ルを、 第 1 動きべク トル及び第 2動きべク トルと呼ぶ。
例えば図 1 では、 符号化対象ブロック B 1 に対して、 ピクチャ R P 1 が第 1参照ピクチャとなり、ピクチャ R P 3が第 2参照ピクチャとなり、 動きべク 卜ル M V 1 が第 1 動きべク トルとなり、 動きべク トル M V 2力 第 2動きベク トルとなる。 また、 第 1 参照ピクチャのみからの予測を第 1参照ピクチャ予測、 第 2参照ピクチャのみからの予測を第 2参照ピク チヤ予測と呼ぶ。
なお、 1 枚の参照ピクチャからピクチャ間予測されたブロックに対し ては、 参照ピクチャや動きべク トルを第 1 、 第 2に区別する必要はない が、 説明の都合上、 1枚の参照ピクチャからピクチャ間予測されたプロ ックの参照ピクチャ及び動きべク トルを、 第 1参照ピクチャ及び第 1動 きべク トルと呼ぶ。
( 3 ) ピクチャ番号及び参照インデックス
図 5は、 ピクチャ番号と参照インデックスを説明するための説明図で あ
ピクチャ番号及び參照インデックスは、 マルチフレームバッファに格 納された参照ピクチャを一意に識別するための情報である。 H . 2 6 L では、 ピクチャが参照ピクチャとしてメモリに蓄積される毎に 1増加す る値が、その参照ピクチャに対するピクチャ番号として割り当てられる。 —方、 参照インデックスは、 符号化対象ブロックのピクチャ間予測に 使用される参照ピクチャを指示するために使用される。
また、 参照インデックスは、 第 1 参照ピクチャを指示するための第 1 参照ィンデックスと、 第 2参照ピクチャを指示するための第 2参照ィン デックスとから構成される。
以下、 第 1参照インデックス、 第 2参照インデックスの割り当て方法 について、 図 5の （ a ) を用いて説明する。
まず、 符号化対象ピクチャよリ前の表示時刻を持つ参照ピクチャに対 し、 符号化対象ピクチャに近い順より 0から始まる値が、 第 1 参照イン デックスとして割り当てられる。 符号化対象ピクチャより前の表示時刻 を持つ参照ピクチャの全てに対し 0から始まる値が割り当てられたら、 次に符号化対象ピクチャより後の表示時刻を持つ参照ピクチャに対し、 符号化対象ピクチャに近い順から、 その続きの値が割り当てられる。 そして、 符号化対象ピクチャより後の表示時刻を持つ参照ピクチャに 対し、 符号化対象ピクチャに近い順より 0から始まる値が、 第 2参照ィ ンデックスの値として割り当てられる。 符号化対象ピクチャより後の表 示時刻を持つ参照ピクチャの全てに対し 0から始まる値が割り当てられ たら、 次に符号化対象ピクチャより前の表示時刻を持つ参照ピクチャに 対し、 符号化対象ピクチャに近い順から、 その続きの値が割り当てられ る。
例えば、 図 5の （ a ) に示すように、 第 1 参照インデックスが 0とし て指示された場合、 第 1 参照ピクチャはピクチャ番号 「 1 4」 の Bピク チヤであり、 第 2参照インデックスが 1 として指示された場合、 第 2参 照ピクチャはピクチャ番号 Γ 1 3 J の Bピクチヤである。
—方、 H . 2 6 Lでは、 画像符号化信号中のバッファ制御信号 （図 8 中に示すヘッダ 1 内の R P S L 7 ) を用いて明示的に指示することによ リ、 参照ピクチヤに対する第 1參照インデックス及び第 2参照インデッ クスの割り当てを任意に変更することができる。 この割り当ての変更に より、 第 2参照インデックスが 0の参照ピクチャをマルチフレームバッ ファ内の住意の参照ピクチャにすることが可能で、 例えば、 図 5の （ b ) に示すように、 ピクチャ番号に対する第 1参照インデックス及び第 2参 照インデックスの割り当てが変更される。 なお、 ブロック中の参照インデックスは、 可変長符号語により表現さ れ、 値が小さいほど短い符号長のコードが割リ当てられている。
( 4 ) ダイ レク トモード
ダイ レク トモー ドについて、 図 6を用いて説明する。
図 6は、 従来の画像符号化装置が行うダイ レク トモー ドの説明図であ る。
ここでダイ レク トモー ドとは、 符号化対象ブロックに対する参照ピク チヤ及び動きべク トルを、 参照ピクチャの符号化時に使用した動きべク トル及び参照ピクチャの符号化時に参照したピクチャから以下に説明す る方法により決定し、 画素補間によリ ピクチャ間予測を行うモードであ る。
ピクチャ T Pは符号化対象の Bピクチャであり、 ピクチャ R P 1 , R P 2 , R P 3 , R P 4は参照ピクチャと して用いられるようにマルチフ レームバッファ内にある復号済のピクチャである。 また、 図 6中点線に 示すピクチャは、 非参照ピクチャであって、 マルチフレームバッファに 含まれないものである。
そして、 ピクチャ R P 1 の第 1参照インデックス R I 1 は 0であり、 ピクチャ R P 2の第 1参照インデックス R I 1 は 1 であり、 ピクチャ R P 3の第 2参照インデックス R I 2は 0であり、 ピクチャ R P 4の第 2 参照インデックス R I 2は 1 である。
ブロック B 0はダイレク トモードで符号化されるブロックであり、 ブ ロック B O 0はピクチャ R P 3内で符号化対象ブロック B Oと相対的に 同じ位置にあるブロックである。 また、 ブロック R B 0 1 はピクチャ R P 1 に含まれる参照ブロックであり、 ブロック R B 0 2は参照ピクチャ R P 3に含まれる参照ブロックである。 動きベク トル M V Oは、 ブロッ ク B O Oを符号化した際の第 1動きべク トルであって、 ピクチャ R P 1 を参照先とする。 また、 動きベク トル M V Oをスケーリング用ベク トル と呼ぷ。
符号化対象ブロック B Oの予測に使用される第 1 動きベク トル M V O 1 と第 2動きべク トル M V 0 2とは、 次の式により計算される。
M V O 1 = T R 1 X M V O / T R O
M V O 2 = - T R 2 X M V O Z T R O
上式において、 係数 T R 1 , T R 2 , T R Oは、 ダイ レク 卜モード用 の動きべク トルの計算時に使用される値であり、 例えばピクチャ間の表 示時刻差が用いられる。 図 6の場合、 T R 1 = 2， T R 2 = 1 , T R O = 3 となる。
画面内での符号化対象ブロックを含む物体の動きが一定であると仮定 した場合、 第 1 動きべク 卜ル M V O 1 と第 2動きべク 卜ル M V O 2は、 符号化対象ピクチャ T Pと第 1参照ピクチャ R P 1 の表示時刻差と、 符 号化対象ピクチャ T Pと第 2参照ピクチャ R P 2の表示時刻差とによつ て、 動きベク トル M V Oを内分することによって求められる。
なお、 表示時刻差に限らずピクチャ番号の差や、 ピクチャ間のピクチ ャ枚数等を用いても第 1 動きべク トル M V O 1 及び第 2動きべク トル M V 0 2を求めることができる。
また、 上述のような係数 T R 1 ， T R 2， T R Oの値の組をダイ レク トモ一ド用スケーリング係数 S Pと呼ぶ。
M P E G— 4では、 ダイ レク トモードにおける後方参照ピクチャは最 大 1 枚しかないため、 第 2参照ピクチャとして使用されるピクチャは一 意に決まる。 しかし'、 H . 2 6 Lでは、 第 2参照ピクチャと成り得るピ クチャが複数あるため、第 2参照インデックス R I 2が 0のピクチャを、 ダイ レク トモ一ド時の第 2参照ピクチャとしている。
また、 ダイ レク トモー ドにおいては、 各ピクチャごとに伝送されたダ ィレク トモード用スケーリング係数 S Pが、 ピクチャに含まれる全プロ ックに共通して使用される。 または、 各ピクチャの表示時刻情報を用い て、 表示時刻差に比例するようにスケーリングを行う。
なお、 図 6を図 5の （ a ) と対応させるとすると、 図 6のピクチャ T Pは図 5の （ a ) の中央の Bピクチャ （点線のピクチャ） に対応し、 図 6のピクチャ R P 3は図 5の （ a ) のピクチャ番号 「 1 5 J の Bピクチ ャに対応し、 図 6のピクチャ R P 4は図 5の （ a ) のピクチャ番号 「 1 3 J の Bピクチヤに対応し、 図 6のピクチャ R P 1 は図 5の （ a ) のピ クチャ番号 「 1 4 J の Bピクチヤに対応し、 図 6のピクチャ R P 2は図 5の （ a ) のピクチャ番号 「 1 2 J の Bピクチヤに対応する。 図 6のピ クチャ T P等の点線で示されている非参照ピクチャは、 他のピクチャか ら参照されることがないため、 マルチフ レームバッファには保存されな い。 よって、 図 5の （ a ) に示すピクチャのようにそのピクチャを参照 するための参照インデックスが割り当てられることは無い。
なお、 図 6では、 模式的に第 1動きベク トル M V 0を参照ピクチャ R P 3から参照ピクチャ R P 1 への、 時空間を超えたべク トルとしている が、 実際に記憶されている第 1動きベク トル M V Oは、 図 2 8を用いて 説明すると、ブロック B O Oからブロック B 3への位置の変化量である。 よって、 図 6で示す第 1 動きベク トル M V Oは、 ブロック B O Oからブ ロック B 3へのベク トルと、 R P 1 と R P 3の時間的な距離とによって 求められる。
本明細書では説明を簡略化するため、 図 6に示す第 1 動きべク トル M V 0が実際に記憶されているものとする。
( 5 ) 従来の画像符号化装置
次に従来の画像符号化装置について、 図 7を参照して説明する。
図 7は、従来の画像符号化装置の構成を示すブロック図である。以下、 この画像符号化装置について説明する。
画像符号化装置 9 0 0は、 プロックに分割された画像信号 I m gを入 力し、 ブロック毎に処理を行う。
減算器 9 0 1 は、 画像'信号 I m gから予測画像信号 P r eを減算し、 残差信号 R e sを出力する。
画像符号化部 9 0 2は、 残差信号 R e sを取得して、 D C T変換及び 量子化などの画像符号化処理を行い、 量子化済 D C T係数などを含む残 差符号化信号 E Rを出力する。
画像復号化部 9 0 4は、 残差符号化信号 E Rを取得し、 逆量子化及び 逆 D C T変換などの画像復号処理を行い、残差復号信号 D Rを出力する。 加算器 9 0 5は、 残差復号信号 D Rと予測画像信号 P r eを加算し、 再構成画像信号 R e cを出力する。
再構成画像信号 R e cで、 以降のピクチャ間予測で参照される可能性 がある信号は、 マルチフレームバッファ 9 0 7に格納される。 マルチフ レームバッファ 9 0 7のメモリ量は有限なため、 マルチフ レームバッフ ァ 9 0 7内で以降のピクチャ間予測に使用されないピクチャのデータは マルチフレームバッファ 9 0 7から除去される。
動き推定部 9 0 9は、 マルチフ レームバッファ 9 0 7に格納された参 照ピクチャ R Pを取得して動き推定を行い、 面内予測、 第 1参照ピクチ ャ予測、 第 2参照ピクチャ予測、 補間予測による予測の中から所定の方 法で最適な予測種別を選択し （ピクチャ種別によリ選択できる予測種別 は異なる） 、 符号化対象ブロックに対する第 1動きベク トル M V 1 、 第 2動きベク トル M V 2、 第 1参照インデックス R I 1 、 及び第 2参照ィ ンデックス R I 2を出力する。
動き推定部 9 0 9における予測種別の選択方法には、 例えば、 各予測 種別による予測誤差が最小となる予測種別を選択する方法がある。 選択 された予測種別が面内予測の場合には、 動きべク トル及び参照インデッ クスは出力されず、 第 1参照ピクチャ 測の場合には、 第 1参照インデ ックス及び第 1 動きベク トルのみが出力され、 第 2参照ピクチャ予測の 場合には、第 2参照インデックス及び第 2動きベク トルのみが出力され、 補間予測の場合には、 第 1参照インデックス、 第 2参照インデックス、 第 1 動きべク トル、 及び第.2動きべク トルが出力される。
上述のように、 H . 2 6 Lでは、 ダイ レク トモード時の第 2参照ピク チヤと して第 2参照インデックス r R I 2が 0の参照ピクチャが佼用さ れる。 よって、 値 0の第 2参照インデックス r R I 2はベク トル用バッ ファ 9 1 4とダイ レク 卜モー ド処理部 9 1 0とに入力される。
べク トル用パッファ 9 1 4には、 スケーリ ング用べク トル r M Vとス ケーリ ング用べク トル r M Vの参照先となるピクチャを示すピクチャ番 号とが記憶されている。 スケーリング用べク トル r M Vにより符号化さ れたブロックを含む参照ピクチャは、 第 2参照インデックス r R I 2に より示される参照ピクチャであるため、 べク トル用バッファ 9 1 4は、 値 0の第 2参照インデックス r R I 2を入力し、 スケーリング用べク ト ル r M Vと、 スケーリング用べク トル r MVの参照先となるピクチャを 示す第 1参照インデックス r R I 1 とを出力する。
ダイ レク トモ一ド処理部 9 1 0は、 ダイレク トモード用スケーリング 係数 S P、 スケーリング用ベク トル r M V、 第 1参照インデックス r R I 1 、 及び第 2参照ィンデックス r R I 2を入力し、 上記に説明したダ ィレク トモ一ドの処理により、 ダイ レク トモ一ド時の第 1動きべク トル s M V I 、第 2動きべク 卜ル s MV 2、第 1参照インデックス r R I 1 、 及び第 2参照インデックス r R I 2を出力する。
予測種別選択部 9 0 8は、 画像信号 I m gと、 参照ピクチャ R Pと、 「ダイレク 卜モード」 の参照ブロックの位置を示す参照インデックス r R I 1 , r R I 2及び動きベク トル s MV 1 , s MV 2と、 「ダイレク トモ一ド以外」 の予測時に使用する参照プロックの位置を示す参照ィン デックス R 1 1 ， R I 2及び動きベク トル MV 1 , MV 2を入力する。 そして、 予測種別選択部 9 0 8は、 ブロックの予測にダイ レク トモード を使用すべきか否かを決定し、 決定した予測種别を示す種別情報 P Tを 可変長符号化部 9 0 3に出力する。
ここで、 予測種別選択部 9 0 8は、 例えば、 入力画素に対する 「ダイ レク トモード時」 の.予測誤差と、 「ダイ レク トモード以外の予測時」 の 予測誤差とで、 予測誤差の小さい方を選択することで、 予測種別の選択 を行う。
よって、 予測種別には、 動き推定部 9 0 9で選択される面内予測、 第 1参照ピクチャ予測、 第 2参照ピクチャ予測、 ダイレク トモード以外の 補間予測に加えて、 ダイ レク 卜モードが加わることになる。
そして、 予測種別がダイレク トモー ドを示す場合には、 スィ ッチ 9 1 1 は" 1〃側に切り替わり、 参照インデックス r R I "1 ， r R I 2及び動 きベク トル s MV I , s MV 2が参照インデックス R I 1 ， R I 2、 動 きべク トル MV 1 , MV 2として使用される。
—方、 予測種別がダイレク トモード以外を示す場合には、 スィ ッチ 9 1 1 は" 0"側に切リ替わる。
また、 ダイ レク トモー ド時には、 符号化済ピクチャのブロックを符号 化した際に用いられた第 1動きベク トル s M V 1 がスケーリ ング用べク トルとして使用される。 そして、 その第 1 動きベク トル s MV 1 の参照 先となるピクチャが、 ダイレク トモードの一方の参照ピクチャと して使 用される。 従って、 符号化した第 1参照インデックス R I 1 、 第 1動き ベク トル M V 1 の中で、 符号化したピクチャ以降のピクチャでダイレク トモードで使用される可能性がある第 1参照インデックス R I 1 、 第 1 動きべク トル M V 1 はべク トル用バッファ 9 1 4に格納される。
予測種別の決定後、 マルチフレームバッファ 9 0 7に第 1参照インデ ックス R I 1 と第 1 動きべク トル M V 1 とが入力され、 入力された第 1 參照インデックス R I 1 と第 1動きべク トル M V 1 とに対応する参照ブ ロック R B 1 がマルチフレームバッファ 9 0 7から画素補間部 9 0 6に 出力される。 予測種別によリ 2つの参照プロックが必要とされるときに は、 さらに第 2参照インデックス R I 2と第 2動きベク トル M V 2とに 対応する参照ブロック R B 2がマルチフ レームバッファ 9 0 7から画素 補間部 9 0 6に出力される。
画素補間部 9 0 6は、 補間予測時には、 2個の参照ブロック R B 1 , R B 2の互いに対応する位置の画素値を補間し、 補間プロック R e Pを 出力する。
スィッチ 9 1 2は、 予測種別が補間予測を示す場合には、 " 1 "側に切 リ替わリ、 補間プロック R e Pを予測画像信号 P r e として扱う。
マルチフ レームバッファ 9 0 7は、 第—1. 照ピクチャ予測時には、 第 1 参照インデックス R I 1 と第 1動きべク トル M V 1 とに対応する参照 ブロック R Bを出力する。 また、 第 2参照ピクチャ予測時には、 マルチ フレームバッファ 9 0 7は第 2参照インデックス R I 2と第 2動きべク トル M V 2とに対応する参照ブロック R Bを出力する。 なお、 面内予測 時には、 面内予測結果の画素からなるブロック R Bがマルチフレームバ ッファ 9 0 7から出力される。
そして予測種別が補間予測以外の予測方法を示す場合には、 スィッチ 9 1 2は〃 0 "側に切リ替わリ、 参照ブロック R Bを予測画像信号 P r e として扱う。
可変長符号化部 9 0 3は、 残差符号化信号 E R、 参照インデックス R I 1 , R I 2、 動きベク トル MV 1 , M V 2、 ダイレク 卜モード用スケ一 リング係数 S P、 及び種別情報 P Tを可変長符号化し、 その結果を画像 符号化信号 B S Oに含めて出力する。
図 8は、 画像符号化信号 B S Oのフォーマツ 卜の概念図である。
この図 8は、 画像符号化信号 B S 0中の 1 ピクチャ分の情報が含まれ る部分のフォーマツ 卜を示す。
この部分は、 ヘッダ 1 と、 ダイ レク トモードにより符号化されたプロ ックの第 1 ブロック符号化信号 2と、 ダイレク トモード以外の補間予測 によリ符号化されたプロックの第 2ブロック符号化信号 3とを含む。 第 2ブロック符号化信号 3は、 種別情報 P Tが符号化された種別符号 化信号 9と、参照ィンデックス R I 1 R I 2が符号化された第 1 ィンデ ックス符号化信号 1 0及び第 2インデックス符号化信号 1 1 と、 動きべ ク トル M V 1 . M V 2が符号化された M V 1符号化信号 1 2及び M V 2 符号化信号 1 3 とを含む。 第 2ブロック符号化信号 3では、 第 1 インデ ックス符号化信号 1 0及び第 2インデックス符号化信号 1 1 と、 M V 1 符号 iヒ信号 1 2_¾ t^jVI V_2 ^ it m号 1 3 が _凰像符号化信号 B S O 中に、 図 8に示す順で含まれる。
また、参照ィンデックス R I 1 , R I 2のいずれを使用するかは種別符 号化信号 9によリ判断され、第 1参照ピクチャと第 2参照ピクチャとは、 画像符号化信号 B S O中の第 1 インデックス符号化信号 1 0及び第 2ィ ンデックス符号化信号 1 1 のデータ位置で決まる。
—方、 第 1 プロック符号化信号 2は、 プロックがダイ レク トモ一ドで 符号化された場合を示しておリ、 種別情報 P Tが符号化された種別符号 化信号 8を含むが、 参照インデックス及び動きべク トルを示す情報を含 まない。
また、 ヘッダ 1 には、 図 6に示す係数 T R 1 T R 2 , T R Oがそれ ぞれ符号化された第 1時間差情報 4、 第 2時間差情報 5、 及び時間差情 報 6と、 参照ピクチャに対する第 1参照ィンデックス又は第 2参照ィン デックスの割り当て変更を示す内容の R P S L 7が含まれる。 ただし、 ダイ レク トモ一ドでの動きべク トルのスケーリングの際に、 各.ピクチャ の表示時刻情報を用いる場合には、 これらの情報はへッダ中には記述さ れず、 ヘッダには表示時刻情報のみが記述される。
( 6 ) 従来の画像復号化装置
図 9は、 従来の画像復号化装置の構成を示すプロック図である。
ここで、 この画像復号化装置 9 5 0が備えるマルチフ レームバッファ 9 5 8、 画素補間部 9 5 7、 ベク トル用バッファ 9 6 0、 及びダイレク トモード処理部 9 5 4はそれぞれ、 図 7に示す画像符号化装置 9 0 0の マルチフ レームバッファ 9 0 7、 画素補間部 9 0 6、 ベク トル用バッフ ァ 9 1 4、 及びダイ レク 卜モード処理部 9 1 0のそれぞれと同様の機能 を有するため、 詳細な説明を省略する。 また、 図 9中、 図 7に示す信号 と同一の信号に対しては同一の符号を付して説明を省略する。
可変長復号部 9 5 1 は、 画像符号化信号 B S 0 入力丄可変長復号を 行い、 残差符号化信号 E R、 動きベク トル M V 1 ， M V 2、 参照インデッ クス R I 1 , R I 2、ダイ レク トモ一ド用スケーリング係数 S P (または、 各ピクチャの表示時刻情報） 、 及び種別情報 P τを出力する。 画像復号 部 9 5 2は、 残差符号化信号 E Rを入力し、 これに対して逆量子化及び 逆 D C T変換などの画像復号処理を行い、残差復号信号 D Rを出力する。 加算器 9 5 3は、 残差復号信号 D Rと予測画像信号 P r eを加算し、 復 号画像信号 D I mを画像復号化装置 9 5 0外に出力する。 マルチフ レー 厶バッファ 9 5 8は、 ピクチャ間予測のために必要な復号画像信号 D I mを格納する。
べク トル用ノくッファ 9 6 0には、 スケーリング用べク トル r M Vと、 スケーリング用ベク トル r M Vの参照先となるピクチャを識別するため の情報 （第 1参照インデックス r R I 1 ) とが記憶されている。 また、 べク トル用バッファ 9 6 0は値 0の第 2参照インデックス r R I 2を入 力し、 スケーリング用ベク トル r M Vと第 1参照インデックス r R I 1 とを出力する。
ダイレク トモード処理部 9 5 4は、 図 7のダイ レク トモード処理部 9 1 0と同じ処理を行う。
予測種別がダイ レク トモ一ド以外を示す場合、 スィッチ 9 5 5は" 0" 側に切り替わる。 そして、 マルチフ レームバッファ 9 5 8は、 参照イン デックス R I 1 , R I 2及び動きベク トル M V 1 ， M V 2を取得する。 予測種別がダイ レク 卜モードを示す場合、 スィッチ 9 5 5は" 1 "側に 切り替わる。 そして、 マルチフレームバッファ 9 5 8は、 参照インデッ クス r R I 1 ， r R I 2及び動きベク トル s M V 1 , s M V 2を、参照ィ ンデックス R I 1 , R I 2及び動きベク トル M V 1 . M V 2として取得す る。
—マルチフレーム-バ -ッ—つ—マ 9.5 &は、 補間予測時-は、 第 1参照インデッ クス R I 1 及び第 1動きべク トル M V 1 に対応する参照ブロック R B 1 と、 第 2参照ィンデックス R I 2及び第 2動きべク 卜ル M V 2に対応す る参照ブロック R B 2とを出力する。 そして、 画素補間部 9 5 7は 2個 の参照ブロック R B 1 . R B 2のそれぞれに対応する画素値を補間して、 補間ブロック R e Pを出力する。
マルチフ レームバッファ 9 5 8は、 第 1参照ピクチャ予測時には、 第 1参照インデックス R I 1 と第 1動きべク トル M V 1 に対応する参照ブ ロック R Bを出力する。 また、 第 2参照ピクチャ予測時には、 マルチフ レームバッファ 9 5 8は、 第 2参照インデックス R I 2 と第 2動きべク トル M V 2に対応する参照ブロック R Bを出力する。 なお、 面内予測時 には面内予測結果の画素からなるブロック R Bがマルチフレームバッフ ァ 9 5 8から出力される。
予測種別が補間予測を示す場合には、 スィッチ 9 5 6は" 0 "側に切り 替わリ、 補間プロック R e Pが予測画像信号 P r eとして使用される。 予測種別が補間予測以外の予測方法を示す場合には、 スィッチ 9 5 6 は〃 1〃側に切リ替わり、 参照ブロック R Bが予測画像信号 P r e として 使用される。
そして、 復号された第 1参照インデックス R I 1 及び第 1動きべク ト ル M V 1 のうち、 復号されたピクチャ以降のピクチャでダイ レク トモ一 ドに使用される可能性がある第 1参照インデックス R I 1 及び第 1 動き べク トル M V 1 はべク トル用バッファ 9 6 0に格納される。
このような画像復号化装置 9 5 0は、 上述のように説明した処理によ リ画像符号化信号 B S Oを復号して、 これを画像復号信号 D I mとして 出力する。
ここで、 上記従来の画像符号化装置 9 0 0及び画像復号化装置 9 5 0 では、 巳ピ_ク—チヤ Jま—、 上述のように、 前方向 2枚のピクチャを参照して 符号化されたり、 後方向 2枚のピクチャを参照して符号化されたり、 前 後 1 枚ずつのピクチャを参照して符号化されたりするが、 一般的な映像 に対しては、 前方向 2枚又は後方向 2枚のピクチャを参照する場合より も、 前後 1 枚ずつのピクチャを参照する場合の方が、 高精度に補間予測 が可能なために符号化効率が高い。
しかしながら、 上記従来の画像符号化装置 9 0 0及び画像復号化装置 9 5 0では、 図 5の （ b ) を用いて説明したように、 第 2参照インデッ クス r R I 2の 0は、 マルチフレームバッファ 9 0 7 , 9 6 0内の任意 の参照ピクチャに割り当てられるため、 ダイレク 卜モードで Bピクチャ を符号化するような場合に、 前方向 2枚のピクチャを参照して符号化し たり、 後方向 2枚のピクチャを参照して符号化したりする場合が多く、 Bピクチャの符号化において符号化効率が低くなるという問題がある。 また、 図 6に示すように、 ダイレク トモードでは、 第 1参照ピクチャ R P 1 及び第 2參照ピクチャ R P 3並びにスケーリング用べク トル M V 0 (第 1 動きベク トル M V O ) を用いて、 符号化対象ピクチャ T Pが符 号化される。 こ こで、 第 2参照ピクチャは、 第 2参照インデックス R I 2 = 0に対応するピクチャであって、 第 1参照ピクチャは、 第 2参照ピ クチャ中のプロック B O 0の第 1 動きべク トル M V Oの参照先となるピ クチャである。
そのため、 ダイ レク トモードを実現するためには、 画像符号化装置 9 0 0は、 第 2参照ピクチャ R P 3を符号化した際に使用した第 1 動きべ ク トル M V Oと、 第 1 動きべク トル M V Oの参照先となるピクチャ R P 1 を識別するための情報とを保持しておく必要がある。
同様に、 画像復号化装置 9 5 0においても、 ダイ レク トモー ドのため に、 復号済ピクチャの第 1 動きベク トル M V Oと、 第 1 動きベク トル M V 0の参照先となるピクチャ R P 1 を識別するための情報とを保持する 必要がある。
即ち、 H . 2 6 3では、 動きべク トルは最小 4 X 4プロック単位で切 リ替えられることが可能で、 参照ピクチャは最小 8 X 8ブロック単位で 切り替えられることが可能なため、 例えば、 Q C I F ( 1 7 6 X 1 4 4 ブロック） サイズの画像の場合には、 1参照ピクチャ当り 1 5 8 4個の 動きべク トルと 3 9 6個の参照ピクチャを識別するための情報とを保持 できる量のメモリが必要になる。
さらに、 H . 2 6 Lでは、 参照ピクチヤに対する参照インデックスの 割り当ては自由に変更できるため、 マルチフレームバッファ内の全参照 ピクチャが第 2参照インデックス R I 2 = 0に対応した参照ピクチャと なり得る。 そのため、 画像符号化装置 9 0 0及び画像復号化装置 9 5 0 は、 マルチフレームバッファ 9 0 7 ， 9 5 8内の全参照ピクチャ分の第 1 動きべク トルと、 第 1動きべク トルの参照先となるピクチャを識別す るための情報とを保持しておく必要がある。 ,
このような第 1 動きベク トル及びピクチャの識別情報の保持に必要な 記憶容量は参照ピクチャ枚数に比例するため、 このような情報を保持す るべク トル用バッファ 9 1 4 , 9 6 0には非常に大きな記憶容量を要す るという問題がある。 つまり、 べク 卜ル用ノ ッファ 9 1 4 , 9 6 0に記 憶される情報量が多くなるために、 その情報の入出力に負担がかかって 符号化処理が煩雑になリ、 符号化効率の低下を招く という問題がある。 そこで、 本発明では、 符号化効率の向上を図った画像符号化方法及び 画像復号化方法を提供することを目的とする。 発明の開示
上記目的を達成するために、 本発明に係る画像符号化方法は、 既に符 号化された—ピクチャを参照することにより符号化対象のピクチャをプロ ック毎に符号化する画像符号化方法であって、 前記符号化対象ピクチャ よリも表示順が後の符号化済ピクチャの中から何れかを第 2参照ピクチ ャとして選択する第 2参照ピクチャ選択ステップと、 前記第 2参照ピク チヤ内の所定のブロックの符号化に用いられた動きベク トルに基づいて. 符号化済ピクチャの中から何れかを第 1参照ピクチャと して特定する第 1 参照ピクチャ特定ステップと、 前記動きべク トルに基づいて、 第 1参 照ピクチャ上のブロック及び第 2参照ピクチャ上のブロックを特定し、 前記両ブロックから画素補間によリ予測画像を生成する予測画像生成ス テツプと、 前記予測画像と符号化対象プロックの画像との差分を符号化 する符号化ステップと、 前記第 2参照ピクチャを特定するための特定情 報を、 前記符号化ステップの符号化結果とともに出力する出力ステップ とを含むことを特徴とする。
ここで、 前記出力ステップでは、 前記第 2参照ピクチャを指し示す第 2参照インデックスから前記特定情報を構成して出力することを特徴と しても良い。 また、 前記出力ステップでは、 前記各符号化済ピクチャを 識別するためにそれぞれに割り当てられる第 2参照インデックスの変更 方法を示す情報を前記特定情報として出力することを特徴としても良い。
これによリ、 符号化対象ピクチャよリも表示順が後の符号化済ピクチ ャが第 2参照ピクチャと して選択されるため、 リマツピングが生じたと きに従来例のように符号化対象ピクチャよりも表示順が前の 2つの符号 化済ピクチャを参照してしまうのを防いで、 符号化対象ピクチャの前後 にある 2つの符号化済ピクチャを参照する確率を高めて符号化効率を向 上することができる。 また、 特定情報が出力されるため、 符号化ステツ プでの符号化結果を復号するときには、 符号化処理で選択された第 2参 照ピクチャと同一のピクチャをその特定情報に基づいて選択して、 正確 に復号することができる。
また、 本発明に係る画像符号化方法は、 既に符号化されたピクチャを 参照することにより符号化対象のピクチャをブロック毎に符号化する画 像符号化方法であって、 前記符号化対象ピクチャよリも表示順が後の符 号化済ピクチャのうち、 前記各符号化済ピクチャを識別するためにそれ ぞれに割リ当てられる第 2参照ィンデックスが最小の符号化済ピクチャ を、第 2参照ピクチャとして選択する第 2参照ピクチャ選択ステップと、 前記第 2参照ピクチャ内の所定のブロックの符号化に用いられた動きべ ク トルに基づいて、 符号化済ピクチャの中から何れかを第 1参照ピクチ ャと して特定する第 1参照ピクチャ特定ステップと、 前記動きべク トル に基づいて、 第 1参照ピクチャ上のブロック及び第 2参照ピクチャ上の ブロックを特定し、 前記両ブロックから画素補間により予測画像を生成 する予測画像生成ステップと、 前記予測画像と符号化対象ブロックの画 像との差分を符号化する符号化ステップとを含むことを特徴とする。
ここで、 前記第 2参照ピクチャ.選択ステップでは、 前記第 2インデッ クスの割リ当て方を示す内容の割当情報に基づいて、 前記第 2参照ィン デックスが最小の符号化済ピクチャを特定し、 特定した前記符号化済ピ クチャを第 2参照ピクチャと して選択することを特徴と しても良い。 これによリ、 符号化対象ピクチャよリも表示順が後の符号化済ピクヂ ャが第 2参照ピクチャと して選択されるため、 リマッピングが生じたと きに従来例のように符号化対象ピクチャよリも表示順が前の 2つの符号 化済ピクチャを参照してしまうのを防いで、 符号化対象ピクチャの前後 にある 2つの符号化済ピクチャを参照する確率を高めて符号化効率を向 上することができる。 また、 第 2参照インデックスが最小の符号化済ピ クチャが第 2参照ピクチャと して選択されるため、 符号化ステップでの 符号化結果を復号するときには、 符号化処理で選択された第 2参照ピク チヤと同一の.ピク—チ—ャ_を一意に選択して、正確に復号することができる。 ここで、 本発明に係る画像符号化方法は、 既に符号化されたピクチャ を参照することにより符号化対象のピクチャをブロック毎に符号化する 画像符号化方法であって、 符号化済ピクチャを識別するための第 2参照 インデックスを前記各符号化済ピクチャに割り当て、 このとき、 前記符 号化対象ピクチャよリも表示順が後の何れかの符号化済ピクチャに対し て 0を示す第 2参照ィンデックスが割リ当てられるように制限する割当 ステップと、 前記割当ス亍ップと異なる割リ当て方で前記第 2参照ィン デックスを割り当て直すことができ、 割り当て直すときには、 前記符号 化対象ピクチャよリも表示順が後の何れかの符号化済ピクチャに対して 0を示す第 2参照ィンデックスが割り当てられるように制限する再割当 ステップと、 前記符号化対象ピクチャよりも表示順が後の符号化済ピク チヤのうち、 前記 0を示す第 2参照インデックスが割り当てられた符号 化済ピクチャを、 第 2参照ピクチャと して選択する第 2参照ピクチャ選 択ステップと、 前記第 2参照ピクチャ内の所定のブロックの符号化に用 いられた動きべク トルに基づいて、 符号化済ピクチャの中から何れかを 第 1参照ピクチャとして特定する第 1参照ピクチャ特定ステップと、 前 記動きべク トルに基づいて、 第 1参照ピクチャ上のブロック及び第 2参 照ピクチャ上のブロックを特定し、 前記両ブロックから画素補間により 予測画像を生成する予測画像生成ステップと、 前記予測画像と符号化対 象ブロックの画像との差分を符号化する符号化ステップとを含むことを 特徴とする。
ここで、 前記再割当ステップでは、 前記割当ステップにおいて 0を示 す第 2参照インデックスが割り当てられる符号化済ピクチャに対して、 前記第 2参照インデックスの変更を禁止することを特徴としても良い。
これにより、 前記割当ステップ及び再割当ステップでは、 符号化対象 ピクチャょ—りも表示順が後の—.符号化済ピクチャに対して 0を示す第 2参 照インデックスが割り当てられるため、 符号化対象ピクチャよりも表示 順が後の符号化済ピクチャが第 2参照ピクチャとして選択される。 その 結果、 リマツビングが生じたときに従来例のように符号化対象ピクチャ よリも表示順が前の 2つの符号化済ピクチャを参照してしまうのを防い で、 符号化対象ピクチャの前後にある 2つの符号化済ピクチャを参照す る確率を高めて符号化効率を向上することができる。
さらに、 本発明に係る画像符号化方法は、 既に符号化されたピクチャ を参照することにより符号化対象のピクチャをブロック毎に符号化する 画像符号化方法であって、 符号化済ピクチャを識別するための第 1参照 インデックスを前記各符号化済ピクチャに割り当てる割当ステップと、 所定の符号化済ピクチャまたはスライスに対して、 前記割当ステツプと 異なる割り当て方で前記第 1参照インデックスを割り当て直す再割当ス テツプと、 前記符号化対象ピクチャよリも表示順が前の符号化済ピクチ ャのうち、 所定の値を示す第 1参照インデックスが割り当てられた符号 化済ピクチャを、 第 1参照ピクチャと して選択する第 1 参照ピクチャ選 択ステップと、 前記第 1 参照ピクチャ内の所定のブロックに基づいて画 素補間によリ予測画像を生成する予測画像生成ステツプと、 前記予測画 像と符号化対象ブロックの画像との差分を符号化する符号化ステップと を含み、 前記再割当ステップでは、 長時間にわたって参照される前記符 号済ピクチャから優先的に、 前記所定の値を示す第 1 参照インデックス を割り当てることを特徴とする。
これにより、 シーンの変化が生じたときには、 長時間にわたって参照 される符号化済ピクチャを保持するメモリ内のその符号済ピクチャから 優先的に 0を示す第 1参照インデックスが割り当てられるようにリマツ ビングされて、 その第 1 参照ィンデックスが 0の符号化済ピクチャが第 1参照ピクチャと して選択されるため、 符号化対象ピクチャと類似する 符号化済ピクチャが参照される確率を高めて符号化効率を向上すること ができる。
また、 本発明に係る画像符号化方法は、 既に符号化されたピクチャを 参照することによリ符号化対象のピクチャをプロック毎に符号化する画 像符号化方法であって、 符号化済ピクチャを識別するための第 2参照ィ ンデックスを前記各符号化済ピクチャに割り当てる割当ステップと、 前 記符号化対象ピクチャよリも表示順が後の符号化済ピクチャのうち、 0 を示す第 2参照インデックスが割り当てられた符号化済ピクチャを、 第 2参照ピクチャと して選択する第 2参照ピクチャ選択ステップと、 前記 第 2参照ピクチャ内の所定のブロックの符号化に用いられた動きべク ト ルに基づいて、 符号化済ピクチャの中から何れかを第 1参照ピクチャと して特定する第 1参照ピクチャ特定ステップと、 前記動きべク トルに基 づいて、 第 1参照ピクチャ上のブロック及び第 2参照ピクチャ上のプロ ックを特定し、 前記両ブロックから画素補間によリ予測画像を生成する 予測画像生成ステップと、 前記予測画像と符号化対象ブロックの画像と の差分を符号化する符号化ステップとを含み、 前記割当ステップでは、 表示順が前記符号化対象ピクチャよリも前になつたことがある符号化済 ピクチャに対して、 0を示す第 2参照インデックスが割り当てられるの を禁止することを特徴とする。
これによリ、 表示順が符号化対象ピクチャよリも前になつたことがあ る符号化済ピクチャに対して、 0を示す第 2参照インデックスが割り当 てられるのが禁止されるため、 表示順が前になつたことがあるその符号 化済ピクチャは第 2参照ピクチャと して選択されることがなく、 その符 号化済ピクチャ上のブロックの符号化に用いられた動きべク トルを、 符 号化対象ピクチャの符号化のためにわざわざメモリに保存しておく処理 を省く ことができ、 符号化効率を向上することができる。
ここで、 前記画像符号化方法は、 さらに、 符号化済ピクチャの符号化 に用いられた動きべク トルを記憶しているメモリから、 表示順が前記符 号化対象ピクチャよりも前になつたことがある符号化済ピクチャの符号 化に用いられた動きベク トルを削除する削除ステップを含むことを特徴 としても良い。
これにより、 符号化処理に不要な動きべク トルがメモリに保存される のを防いで、 メモリの記憶容量を小さくすることができる。
さらに、 本発明に係る画像符号化方法は、 既に符号化されたピクチャ を参照することにより符号化対象のピクチャをブロック毎に符号化する 画像符号化方法であって、 記憶部に格納されている複数の符号化済ピク チヤから、 前記複数の符号化済ピクチヤに対して付与された第 1 参照ィ ンデックスと第 2参照インデックスとを用いて、 前記第 1 参照インデッ クスに対応する符号化済ピクチャを第 1参照ピクチャと して選択し、 前 記第 2参照インデックスに対応する符号化済ピクチャを第 2参照ピクチ ャと して選択する選択ステップと、 前記第 1参照ピクチャ上のブロック と前記第 2参照ピクチャ上のプロックに基づいて画素補間によリ予測画 像を生成する予測画像生成ステップと、 前記符号化対象ピクチャと前記 予測画像との差である予測誤差を符号化し、 予測誤差の符号化信号を含 む画像符号化信号を出力する出力ステップとを含み、 前記選択ステップ では、 前記符号化済ピクチャのうち前記符号化対象ピクチャよリ表示順 が前で前記第 1 参照インデックスが最小の符号化済ピクチャを第 1参照 ピクチャとして選択し、 前記予測画像生成ステップでは、 前記第 2参照 ピクチャ内で前記符号化対象ピクチャ上の符号化対象ブロックと同じ位 置のブロックの符号化に使用された第 1 動きべク トルに基づいて、 前記 ブロックに対して前記第 1 参照ピクチャを参照先とする第 2動きべク ト ルを算出するとともに、 前記第 2動きベク トルに基づいて、 前記符号化 対象プロックに対して第 1 参照ピクチャを参照先とする第 3動きべク ト ルと、 前記符号化対象プロックに対して第 2参照ピクチャを参照先とす る第 4動きべク トルとを算出し、 前記第 3動きべク トルの参照先となる 前記第 1 参照ピクチャ上のブロックと、 前記第 4動きべク トルの参照先 となる前記第 2参照ピクチャ上のブロックとから画素補間により予測画 像を生成することを特徴とする。
これにより、 符号化対象ピクチャ内の各ブロックに対して参照先とな る第 1 参照ピクチャが、 第 2参照ピクチャの第 1 動きべク トルの参照先 に関わらず共通化されるため、 従来例のように第 1参照ピクチャを識別 するための情報をわざわざメモリ に保存しておく必要がなく、 そのメモ リの記憶容量を小さくすることができるとともに、 符号化処理を簡略化 して符号化効率の向上を図ることができる。
また、 本発明に係る画像復号化方法は、 符号化されたピクチャを、 既 に復号されたピクチャを参照することによリプロック毎に復号する画像 復号化方法であって、 復号対象のピクチャの復号に参照される復号済ピ クチャを第 2参照ピクチャと して特定するための特定情報、 及び前記復 号対象ピクチャに関する符号化信号を取得する取得ステップと、 前記復 号対象ピクチャよりも表示順が後の復号済ピクチャの中から、 前記特定 情報に基づいて第 2参照ピクチャを選択する第 2参照ピクチャ選択ス亍 ップと、 前記第 2参照ピクチャ内の所定のブロックの復号に用いられた 動きべク トルに基づいて、 復号済ピクチヤの中から何れかを第 1参照ピ クチャと して特定する第 1参照ピクチャ特定ステップと、 前記動きべク トルに基づいて、 第 1参照ピクチャ上のブロック及び第 2参照ピクチャ 上のブロックを特定し、 前記両ブロックから画素補間により予測画像を 生成する予測画像生成ステツプと、 前記予測画像及び前記符号化信号に 基づいて復号対象ブロックを復号する復号ステップとを含むことを特徴 とする。
ここで、 前記取得ステップでは、 前記第 2参照ピクチャを指し示す第 2参照ィンデックスから構成される特定情報を取得し、 前記第 2参照ピ クチャ選択ステップでは、 前記第 2参照インデックスにより示される前 記第 2参照ピクチャを選択することを特徴と しても良い。 また、 前記取 得ス亍ップでは、 前記各復号済ピクチャを識別するためにそれぞれに割 リ当てられる第 2参照インデックスの変更方法を示す特定情報を取得し 前記第 2参照ピクチャ選択ステップでは、 前記第 2参照インデックスの 変更方法から特定される復号済ピクチャを前記第 2参照ピクチャとして 選択することを特徴としても良い。
これにより、特定情報に基づいて第 2参照ピクチャを一意に選択して、 本発明に係る画像符号化方法により符号化されたピクチャを正確に復号 することができる。
また上記以外にも、 本発明に係る画像符号化:^法は、 記憶部に格納さ れている複数の符号化済フレームから、 符号化対象フレーム上のブロッ クを動き補償により求めるときに参照する第 1 の参照フ レームと第 2の 参照フレームとを選択するために、 前記符号化済フレームに対して付与 された第 1相対インデックスと第 2相対インデックスとを用いて、 前記 第 1 または第 2少なく とも一方の参照フ レームを選択する第一のステツ プと、 前記第 1 または第 2少なく とも一方の参照フレーム上の動き補償 により得られたブロックから画素補間により予測画像を生成する第二の ステップと、 入力された符号化対象フ レームと前記予測画像との差であ る予測誤差を符号化し、 予測誤差の符号化信号を含む画像符号化信号を 出力する第三のステップとを有する画像符号化方法における第一のス亍 ップにおいて、 前記符号化済フ レームのうち前記符号化対象フ レームよ リ表示順が後で前記第 2相対ィンデックスが最小の参照フレームを前記 第 2の参照フレームとして選択し、 前記第二のステップにおいて、 前記 第 2の参照フレーム内で、 前記符号化対象フレーム上の所定のブロック と同じ位置のブロックの動き補償で使用した動きべク トルが参照するフ レームを前記第 1 の参照フ レームと し、 この動きべク トルから所定の方 法により前記第 1 の参照フ レームへの動きべク トルと前記第 2の参照フ レームへの動きべク トルとを算出し、 前記第 1 の参照フレームに対する 動きべク トルから得られるブロックと、 前記第 2の参照フ レームに対す る動きべク トルから得られるブロックと、 から画素補間により予測画像 を生成することを特徴と しても良い。
また上記以外にも、 本発明に係る画像復号化方法は、 予測誤差の符号 化信号を含む画像符号化信号を入力する第一のステップと、 記憶部に格 納されている複数の復号化済フ レームから、 復号化対象フレーム上のブ ロックを動き補償により求めるときに参照する第 1 の参照フ レームと第 2の参照フ レームとを選択するために、 前記復号化済フ レームに対して 付与された第 1 相対インデックスと第 2相対インデックスとを用いて、 前記第 1 または第 2少なく とも一方の参照フ レームを選択する第二のス テツプと、 前記第 1 または第 2少なく とも一方の参照フレーム上の動き 補償によリ得られたプロックから画素補間によリ予測画像を生成する第 三のステツプと、 前記予測画像と復号した予測誤差からフレームの復号 画像を生成する第四のステップと、 フレーム間予測に使用される可能性 があるフ レームの復号画像を前記記憶部に格納する第五のステップとを 有する画像復号化方法における第二のステツプにおいて、 前記復号化済 フレームのうち前記復号化対象フレームよリ表示順が後で前記第 2相対 ィンデックスが最小の参照フレームを前記第 2の参照フレームとして選 択し、 前記第三のステップにおいて、 前記第 2の参照フ レーム内で、 前 記復号化対象フレーム上の所定のブロックと同じ位置のプロックの動き 補償で使用した動きベク トルが参照するフレームを前記第 1 の参照フレ —ムと し、 この動きべク トルから所定の方法により前記第 1 の参照フレ ームへの動きべク トルと前記第 2の参照フレームへの動きべク トルとを 算出し、 前記第 1 の参照フレームに対する動きべク トルから得られるブ ロックと前記第 2の参照フ レームに対する動きべク トルから得られるブ ロックとから画素補間によリ予測画像を生成することを特徴としても良 い。
また上記以外にも、 本発明に係る画像符号化方法は、 記憶部に格納さ れている複数の符号化済フ レームから、 符号化対象フ レーム上のブロッ クを動き補償によリ求めるときに参照する第 1 の参照フ レームと第 2の 参照フレームとを選択するために、 前記符号化済フレームに対して付与 された第 1 相対インデックスと第 2相対インデックスとを用いて、 前記 第 1 または第 2少なく とも一方の参照フ レームを選択する第一のステツ プと、 前記第 1 または第 2少なく とも一方の参照フレーム上の動き補償 によリ得られたプロックから画素補間によリ予測画像を生成する第二の ステップと、 入力された符号化対象フレームと前記予測画像との差であ る予測誤差を符号化し、 予測誤差の符号化信号を含む画像符号化信号を 出力する第三のステップとを有する画像符号化方法における第一のステ ップにおいて、 前記符号化済フレームで前記符号化対象フ レームよリ表 示順が後のフレームから前記第 2の参照フレームを選択し、 前記第二の ステップにおいて、 前記第 2の参照フ レーム内で、 前記符号化対象フ レ ーム上の所定のブロックと同じ位置の ロックの動き補償で使用した動 きべク トルが参照するフ レームを前記第 1 の参照フ レームと し、 この動 きべク トルから所定の方法により前記第 1 の参照フレームへの動きべク トルと前記第 2の参照フレームへの動きべク トルとを算出し、 前記第 1 の参照フ レームに対する動きべク トルから得られるブロックと前記第 2 の参照フ レームに対する動きベク トルから得られるブロックとから画素 補間により予測画像を生成し、 前記第三のステップにおいて、 前記第一 のステツプで選択された前記第 2の参照フ レームを示す第 2相対インデ ックスを画像符号化信号中に含めることを特徴としても良い。
また上記以外にも、 本発明に係る画像復号化方法は、 予測誤差の符号 化信号を含む画像符号化信号を入力する第一のステップと、 記憶部に格 納されている複数の復号化済フ レームから、 復号化対象フ レーム上のブ ロックを動き補償により求めるときに参照する第 1 の参照フレームと第 2の参照フ レームとを選択するために、 前記復号化済フレームに対して 付与された第 1 相対インデックスと第 2相対インデックスとを用いて、 前記第 1 または第 2少なく とも一方の参照フ レームを選択する第二のス テツプと、 前記第 1 または第 2少なく とも一方の参照フ レーム上の動き 補償によリ得られたプロックから画素補間によリ予測画像を生成する第 三のステップと、 前記予測画像と復号した予測誤差からフレームの復号 画像を生成する第四のステツプと、 フ レーム間予測に使用される可能性 があるフレームの復号画像を記憶部に格納する第五のステップとを有す る画像復号化方法における第一のステップにおいて、 第 2相対インデッ クスを有する前記画像符号化信号から前記第 2相対インデックスを取得 し、 前記第二のステップにおいて、 前記第一ステップで取得した前記第 2相対インデックスが示すフ レームを前記第 2の参照フ レームと し、 前 記第三のステップにおいて、 前記第 2の参照フ レーム内で、 前記復号化 対象フレーム上の所定のブロックと同じ位置のブロックの動き補償で使 用した動きべク トルが参照するフレームを前記第 1 の参照フレームとし 、 この動きべク トルから所定の方法により前記第 1 の参照フレームへの 動きべク トルと前記第 2の参照フ レームへの動きべク トルとを算出し、 前記第 1 の参照フレームに対する動きべク トルから得られるブロックと 前記第 2の参照フ レームに対する動きベク トルから得られるブロックと から画素補間によリ予測画像を生成することを特徴としても良い。 また上記以外にも、 本発明に係る画像符号化方法は、 記憶部に格納さ れている複数の符号化済フ レームから、 符号化対象フレーム上のブロッ クを動き補償により求めるときに参照する第 1 の参照フレームと第 2の 参照フレームとを選択するために、 前記符号化済フレームに対して付与 された第 1 相対インデックスと第 2相対インデックスとを用いて、 前記 第 1 または第 2少なく とも一方の参照フレームを選択する第一のステツ プと、 前記第 1 または第 2少なく とも一方の参照フ レーム上の動き補償 により得られたプロックから画素補間によリ予測画像を生成する第二の ステップと、 入力された符号化対象フ レームと前記予測画像との差であ る予測誤差を符号化し、 予測誤差の符号化信号を含む画像符号化信号を 出力する第三のステップとを有する画像符号化方法における第一のステ ップにおいて、 前記符号化済フ レームのうち前記符号化対象フ レームよ リ表示順が前で前記第 1相対ィンデックスが最小の参照フレームを第 1 の参照フレームと して選択し、 前記第二のステップにおいて、 前記第 2 の参照フ レーム内で前記符号化対象フ レーム上の所定のブロックと同じ 位置の第 1 のブロックの動き補償で使用した第 1 の動きべク トルと、 前 記第 1 の参照フレームと前記第 2の参照フレームとの間隔とから、 前記 第一のブロックから第 1 の参照フレーム上で前記前記第 1 の動きべク ト ルが参照するプロックと同じ位置にあるプロックへの第 2の動きべク ト ルを算出し、 算出された前記第 2の動きべク トルを用いて所定の方法に より前記第 1 の参照フレームへの動きべク トルと前記第 2の参照フレー ムへの動きべク トルとを算出し、 前記第 1 の参照フレームに対する動き ベク トルから得られるブロックと前記第 2の参照フ レームに対する動き べク トルから得られるプロックとから画素補間によリ予測画像を生成す ることを特徴と しても良い。
また上記以外にも、 本発明に係る画像復号化方法は、 予測誤差の符号 化信号を含む画像符号化信号を入力する第一のステップと、 記憶部に格 納されている複数の復号化済フレームから、 復号化対象フレーム上のブ ロックを動き補償によリ求めるときに参照する第 1 の参照フレームと第 2の参照フ レームとを選択するために、 前記復号化済フ レームに対して 付与された第 1 相対インデックスと第 2相対インデックスとを用いて、 前記第 1 または第 2少なく とも一方の参照フ レームを選択する第二のス テツプと、 前記第 1 または第 2少なく とも一方の参照フレーム上の動き 補償により得られたプロックから画素補間によリ予測画像を生成する第 三のステツプと、 前記予測画像と復号した予測誤差からフレームの復号 画像を生成する第四のステップと、 フレーム間予測に使用される可能性 があるフレームの復号画像を記憶部に格納する第五のステップとを有す る画像復号化方法における第二のステツプにおいて、 前記符号化済フレ ームのうち前記符号化対象フレームよリ表示順が前で前記第 1 相対ィン デックスが最小の参照フ レームを前記第 1 の参照フ レームとして選択し 、 前記第三のステップにおいて、 前記第 2の参照フレーム内で前記復号 化対象フレーム上の所定のブロックと同じ位置の第 1 のブロックの動き 補償で使用した第 1 の動きべク トルと、 前記第 1 の参照フレームと前記 第 2の参照フレームとの時間間隔とから、 前記第一のブロックから第 1 の参照フレーム上で前記前記第 1 の動きべク トルが参照するプロックと 同じ位置にあるブロックへの第 2の動きべク トルを算出し、 算出された 前記第 2の動きベク トルを用いて所定の方法により前記第 1 の参照フレ —ムへの動きべク トルと前記第 2の参照フレームへの動きべク トルとを 算出し、 前記第 1 の参照フレームに対する動きべク トルから得られるブ ロックと前記第 2の参照フ レームに対する動きべク トルから得られるブ ロックとから画素補間により予測画像を生成することを特徴と しても良 い。
また上記以外にも、 本発明に係る画像符号化方法は、 記憶部に格納さ れている複数の符号化済フレームから、 符号化対象フ レーム上のブロッ クを動き補償により求めるときに参照する第 1の参照フレームと第 2の 参照フ レームとを選択するために、 前記符号化済フレームに対して付与 された第 1相対インデックスと第 2相対インデックスとを用いて、 前記 第 1 または第 2少なく とも一方の参照フレームを選択する第一のステツ プと、 各前記第 1 または第 2少なく とも一方の参照フ レーム上の動き補 償によリ得られたプロックから画素補間によリ予測画像を生成する第二 のステップと、 入力された符号化対象フ レームと前記予測画像との差で ある予測誤差を符号化し、 予測誤差の符号化信号を含む画像符号化信号 を出力する第三のステップとを有する画像符号化方法における第一のス テツプにおいて、 前記符号化済フレームで前記符号化対象フ レームより 表示順が俞のフレームから前記第 1 の参照フ レームを選択し、 前記第二 のステップにおいて、 前記第 2の参照フレーム内で前記符号化対象フレ ーム上の所定のブロックと同じ位置の第 1 のブロックの動き補償で使用 した第 1 の動きべク トルと、 前記第一のステップで選択された前記第 1 の参照フレームと前記第 2の参照フレームとの時間間隔とから、 前記第 —のブロックから第 1 の参照フ レーム上で前記前記第 1 の動きべク トル が参照するブロックと同じ位置にあるブロックへの第 2の動きべク トル を算出し、 算出された前記第 2の動きべク トルを用いて所定の方法によ リ前記第一のズ亍ップで選択された前記第 1 の参照フ レームへの動きべ ク トルと前記第 2の参照フレームへの動きべク トルとを算出し、 前記第 —のステップで選択された前記第 1 の参照フ レームに対する動きべク ト ルから得られるブロックと前記第 2の参照フ レームに対する動きべク ト ルから得られるプロックとから画素補間によリ予測画像を生成し、 前記 第三のステツプにおいて、 前記第一のステツプで選択された前記第 1 の 参照フ レームを示す第 1相対インデックスを画像符号化信号中に含める ことを特徴と しても良い。
ここで、 前記第 1 の動きべク トルが参照するフ レームの番号は格納し ないことを特徴と しても良く、 さらに、 前記記憶部に格納されている複 数の符号化済フレームのうち前記符号化対象フレームに対して表示順で 前になつた前記第 2の参照フレームの内で前記符号化対象フレーム上の 所定のブロックと同じ位置のプロックの動き補償で使用した前記第一の 動きべク トルを削除するステップを有することを特徴と しても良い。 また上記以外にも、 本発明に係る画像復号化方法は、 予測誤差の符号 化信号を含む画像符号化信号を入力する第一のステップと、 記憶部に格 納されている複数の復号化済フ レームから、 復号化対象フ レーム上のブ ロックを動き補償により求めるときに参照する第 1 の参照フレームと第 2の参照フレームとを選択するために、 前記復号化済フレームに対して 付与された第 1相対インデックスと第 2相対インデックスとを用いて、 前記第 1 または第 2少なく とも一方の参照フレームを選択する第二のス テツプと、 前記第 1 または第 2少なく とも一方の参照フレーム上の動き 補償によリ得られたプロックから画素補間によリ予測画像を生成する第 三のステップと、 前記予測画像と復号した予測誤差からフレームの復号 画像を生成する第四のステップと、 フ レーム間予測に使用される可能性 があるフ レームの復号画像を記憶部に格納する第五のステップとを有す る画像復号化方法における第一のステツプにおいて、 第 1 相対インデッ クスを有する前記画像符号化信号から前記第 1 相対インデックスを取得 し、 前記第二のステップにおいて、 前記第 2の参照フレーム内で前記符 号対象フレーム上の所定のブロックと同じ位置の第 1 のブロックの動き 補償で使用した第 1 の動きべク トルと、 前記第一のステップで取得され た前記第 1 の参照フレームと前記第 2の参照フレームとの時間間隔とか ら、 前記第一のブロックから第 1 の参照フ レーム上で前記前記第 1 の動 きベク トルが参照するブロックと同じ位置にあるブロックへの第 2の動 きべク トルを算出し、 算出された前記第 2の動きべク トルを用いて所定 の方法によリ前記第一のステツプで取得された前記第 1 の参照フレーム への動きべク トルと前記第 2の参照フレームへの動きべク トルとを算出 し、 前記第一のステップで取得された前記第 1 の参照フ レームに対する 動きベク トルから得られるブロックと前記第 2の参照フレームに対する 動きべク トルから得られるプロックとから画素補間によリ予測画像を生 成することを特徴と しても良い。 また上記以外にも、 本発明に係る画像符号化装置は、 画像信号を入力 し、 前記画像信号と予測画像との差分を行い残差信号と して出力する差 分器と、 前記差分信号に画像符号化処理を行い残差符号化信号と して出 力する画像符号化手段と、 前記残差符号化信号を復号して残差復号信号 として出力する画像復号手段と、 前記残差復号信号と予測画像を加算し て再構成画像を出力する加算器と、 前記記憶部内の符号化済フレームの うちで符号化対象フ レームよリ表示順が後で第 2相対ィンデックスが最 小の参照フ レームを第 2の参照フ レームと して選択するダイ レク トモ一 ド用第 2参照フ レーム選択手段と、 前記第 2の参照フ レーム内で符号化 対象フレーム上の所定のブロックの動き補償で使用した動きべク トルカ 参照するフレームを第 1 の參照フレームとし、 この動きべク トルから所 定の方法により前記第 1 の参照フ レームと前記第 2の参照フ レームへの 動きべク 卜ルを生成するダイ レク 卜モー ド用べク 卜ル ' 相対インデック ス生成手段と、 前記第 1 の参照フ レームに対する動きべク トルと前記第 2の参照フ レームに対する動きべク トルが参照する 2つの参照ブロック の画素補間を行い予測画像と して出力する画素補間手段と、 予測誤差を 可変長符号化して符号化信号として出力する可変長符号化手段を備えた ものであることを特徴と しても良い。 - また上記以外にも、 本発明に係る画像復号化装置は、 画像符号化信号 を入力し可変長復号を行い、 残差符号化信号を出力する可変長復号手段 と、 前記残差符号化信号を復号し復号残差信号を出力する画像復号手段 と、 前記残差復号信号と予測画像信号を加算し復号画像を出力する加算 器と、 前記復号画像を格納する記憶部と、 第 2相対インデックスが最小 の参照フ レームを第 2の参照フ レームと して選択するダイ レク トモー ド 用第 2参照フ レーム選択手段と、 前記第 2の参照フ レーム内で符号化対 象ブロックと同一位置のブロックの動きベク トルが参照するフレームを 第 1 の参照フ レームとし、 この動きべク トルから所定の方法により第 1 の参照フ レームと第 2の参照フ レームへの動きベク トルを生成するダイ レク トモ一ド用べク トル - 相対インデックスと生成手段と、 前記第 1 お よび第 2の参照フレームと各参照フレームに対応する動きベク トルが参 照する 2つの参照プロックの画素補間を行い前記予測画像信号と して出 力する画素補間手段を備えたものであることを特徴とする画像復号化装 置。
さらに、 本発明に係る記憶媒体は、 コンピュータにより、 上述の画像 符号化方法及び画像復号化方法のいずれかに記載された動画像の符号化 または復号化の処理を行うためのプログラムを格納した記録媒体であつ て、 上記プログラムはコンピュータに上述の画像符号化方法及び画像復 号化方法のいずれかに記載の動画像の符号化または復号化の処理を行わ せるものであることを特徴と しても良い。
なお、.本発明は、 上記画像符号化方法や画像復号化方法を用いる画像 符号化装置、 画像復号化装置、 プログラム、 及びそのプログラムを格納 する記憶媒体と しても実現することができる。 図面の簡単な説明
図 1 は、 Bピクチャの概念図である。
図 2は、 補間予測の説明図である。
図 3は、 補間予測ブロックの 2枚の参照ピクチャが、 補間予測ブロッ クを有する符号化対象ピクチャより表示順が前にある場合の一例を説明 するための説明図である。
図 4は、 補間予測ブロックの 2枚の参照ピクチャが、 補間予測ブロッ クを有する符号化対象ピクチャよリ表示順が後にある場合の一例を説明 するための説明図である。 図 5は、 ピクチャ番号と参照インデックスを説明するための説明図で ある。
図 6は、 従来の画像符号化装置が行うダイ レク トモードの説明図であ る。
図 7は、 従来の画像符号化装置の構成を示すブロック図である。
図 8は、 画像符号化信号のフォーマッ トの概念図である。
図 9は、 従来の画像復号化装置の構成を示すブロック図である。
図 1 0は、 本発明の実施の形態 1 における画像符号化装置のプロック 図である。
図 1 1 は、 同上の画像符号化信号の一部の構成を示す構成図である。 図 1 2は、 同上のダイ レク トモー ドにより画像を符号化するときの動 作を示すフロー図である。
図 1 3は、 同上のリマッピングが生じたときにおける動作について説 明するための説明図である。
図 1 4は、 同上のピクチャの表示順序の一例を説明するための説明 I である。
図 1 5は、 本発明の実施の形態 2における画像復号化装置のブロック 図である。
図 1 6は、 同上のダイ レク トモー ドにより画像を復号するときの動作 を示すフロー図である。
図 1 7は、 本発明の実施の形態 3における画像符号化装置のブロック 図である。
図 1 8は、同上の画像符号化信号のヘッダの構成を示す構成図である。 図 1 9は、 同上のダイ レク トモー ドにより画像を符号化するときの動 作を示すフロー図である。
図 2 0は、 本発明の実施の形態 4における画像復号化装置のブロック 図である。
図 2 1 は、 同上のダイレク トモ一ドにより画像を復号するときの動作 を示すフロー図である。
図 2 2は、 本発明の実施の形態 5における画像符号化装置のプロック 図である。
図 2 3は、 同上の管理部により行われるリマッピングを説明するため の説明図である。
図 2 4は、 同上の動作を示すフロー図である。
図 2 5は、 同上の変形例に係る画像符号化装置の構成を示す構成図で ある。
図 2 6は、 本発明の実施の形態 6における画像復号化装置のプロック 図である。
図 2 7は、 本発明の実施の形態 7における画像符号化装置のプロック 図である。
図 2 8は、 同上のダイ レク 卜モードの概念図である。
図 2 9は、 同上の動きべク トルの算出過程を示すフロー図である。 図 3 0は、 本発明の実施の形態 8における画像復号化装置のプロック 図である。
図 3 1 は、 本発明の実施の形態 9における画像符号化装置のブロック 図である。
図 3 2は、 同上の画像符号化信号 B S 3のフォーマツ トである。 図 3 3は、 本発明の実施の形態 1 0における画像復号化装置のプロッ ク図である。
図 3 4は、 本発明の実施の形態 1 1 における記憶媒体についての説明 図である。
図 3 5は、 本発明の実施の形態 1 2におけるコンテンツ配信サービス を実現するコンテンッ供給システムの全体構成を示すプロック図である 図 3 6は、 同上の携帯電話を示す図である。
図 3 7は、 同上の携帯電話のブロック図である。
図 3 8は、 同上のディジタル放送用システムの全体構成を示すブロッ ク図である。 発明を実施するための最良の形態
(実施の形態 1 )
本発明の実施の形態 1 における画像符号化装置について、 以下図面を 参照しながら説明する。
図 1 0は、実施の形態 1 における画像符号化装置のブロック図である。 この画像符号化装置 1 0 0は、 画像を示す内容の画像信号 I m gを取 得して、 その画像信号 I m gをブロック毎に符号化処理するものであつ て、減算器 1 0 1 と、画像復号化部 1 0 4と、可変長符号化部 1 0 3と、 動き推定部 1 0 9と、 予測種別選択部 1 0 8 と、 スィ ッチ 1 1 1 ， 1 1 2と、 画素補間部 1 0 6と、 ダイレク トモ一 ド処理部 1 1 0と、 べク ト ル用バッファ 1 1 4 と、 マルチフ レームバッファ 1 0 7 と、 ピクチャ選 択部 1 1 3とを備えている。
減算器 1 0 1 は、 画像信号 I m gから予測画像信号 P r eを減算し、 その減算結果を残差信号 R e s として出力する。
画像符号化部 1 0 2は、残差信号 R e sを減算器 1 0 1 から取得して、 その残差信号 R e sに対して D C T変換及び量子化などの画像符号化処 理を行い、 量子化済 D C T係数などを含む残差符号化信号 E Rを出力す る。
画像復号化部 1 0 4は、 画像符号化部 1 0 2から残差符号化信号 E R を取得して、 その残差符号化信号 E Rに対して逆量子化及び逆 D C T変 換などの画像復号処理を行い、 残差復号信号 D Rを出力する。
加算器 1 0 5は、残差復号信号 D Rと予測画像信号 P r eとを加算し、 その加算結果を再構成画像信号 R e cとして出力する。
マルチフ レ一厶バッファ 1 0 7は、 加算器 1 0 5から再構成画像信号 R e cを取得すると、 その再構成画像信号 R e cのうち、 以降のピクチ ャ間予測で参照される可能性がある信号を格納する。 つまり、 マルチフ レームバッファ 1 0 7の記憶容量は有限なため、 マルチフレームバッフ ァ 1 0 7は、 加算器 1 0 5から取得した再構成画像信号 R e cのうち、 以降のピクチャ間予測に使用されないピクチャのデータを除去する。 動き推定部 1 0 9は、 マルチフレームバッファ 1 0 7 に格納されてい るピクチャを参照ピクチャ R Pと して取得して動き推定を行い、 面内予 測、 第 1 参照ピクチャ予測、 第 2参照ピクチャ予測、 及び補間予測の予 測種別の中から、 所定の方法で最適な予測種別を選択する （なお、 選択 可能な予測種別はピクチャ種別によって異なる） 。 ここで、 動き推定部 1 0 9は、 最適な予測種別を選択するときには、 例えば、 各予測種別に よる予測誤差が最小となる予測種別を選択する。
そして、 動き推定部 1 0 9は、 補間予測を選択したときには、 符号化 対象のブロックに対する第 1 動きべク トル M V 1 、 第 2動きべク トル M V 2、 第 1参照インデックス R I 1 、 第 2参照インデックス R I 2を出 力する。 また、 動き推定部 1 0 9は、 面内予測を選択したときには、 上 述のような動きべク トルや参照インデックスを出力せず、 第 1参照ピク チヤ予測を選択したときには、 第 1動きベク トル M V 1 及び第 1参照ィ ンデックス R I 1 のみを出力し、 第 2参照ピクチャ予測を選択したとき には、 第 2動きべク 卜ル M V 2及び第 2参照インデックス R I 2のみを 出力する。
ベク トル用バッファ 1 1 4は、 第 1 動きベク トル M V 1 、 第 2動きべ ク 卜ル M V 2、 第 1参照インデックス R I 1 、 及び第 2インデックス R I 2を動き推定部 1 0 9から取得する。 そして、 べク トル用バッファ 1 1 4は、 その取得結果に基づいて、 ダイレク トモードに用いられるスケ 一リ ング用べク トル r M Vと、 そのスケーリング用べク トル r M Vの参 照先となるピクチャを示すピクチャ番号及び参照インデックスを記憶し ている。
つまり、 ダイ レク 卜モード時には、 符号化済ピクチャのブロックを符 号化したときに用いられた第 1動きべク トルがスケーリング用べク トル r M Vと して使用され、 その第 1 動きべク トルの参照先となるピクチャ が第 1参照ピクチャとして扱われるため、べク トル用バッファ 1 1 4は、 動き推定部 1 0 9から出力された第 1 動きべク 卜ル M V 1 、 第 2動きべ ク トル M V 2、 第 1参照インデックス R I 1 、 及び第 2インデックス R I 2のうち、 ダイレク トモードに使用される可能性がある第 1動きべク トル M V 1及び第 1参照インデックス R I 1 を記憶している。
また、 ベク トル用バッファ 1 1 4は、 第 2参照インデックス r R I 2 をピクチャ選択部 1 1 3から取得する。 そして、 ベク トル用バッファ 1 1 4は、 ピクチャ選択部 1 1 3からその第 2参照インデックス r R I 2 を取得すると、 記憶している内容に基づいて、 その第 2参照インデック ス r R I 2により指し示されるピクチャ内の所定のブロックに対応する 第 1 動きべク トル M V 1 を、 スケーリング用べク トル r M Vと して出力 するとともに、 そのスケーリング用べク トル r M Vの参照先となるピク チヤを示す第 1 参照インデックス R I 1 を、 第 1参照インデックス r R I 1 と して出力する。
ダイ レク トモード処理部 1 1 0は、 ダイレク トモード用スケーリング 係数 S P、 スケーリング用べク トル r M V、 第 1参照インデックス r R I 1 、 及び第 2参照インデックス r R I 2を取得すると、 符号化対象の ブロックに対して上述のダイレク トモ一ドに基づく処理を行い、 その結 果として、 第 1 動きベク トル s M V 1 、 第 2動きベク トル s M V 2、 第 1 参照インデックス r R I 1 、 及び第 2参照インデックス r R I 2を出 力する。 ここで、 ダイ レク トモード処理部 1 1 0は、 ダイ レク トモード スケーリング係数 S Pを取得する代わりに、 第 1参照インデックス r R I 1 に示される参照ピクチャの表示時刻を示す表示時刻情報と、 第 2参 照インデックス r R I 2に示される参照ピクチャの表示時刻を示す表示 時刻情報と、 符号化対象ピクチャの表示時刻を示す表示時刻情報とを取 得しても良い。 このときには、 ダイレク 卜モード処理部 1 1 0は、 これ らの表示時刻情報に示される各ピクチャの表示時刻から、 各ピクチャ間 の表示時刻差を算出し、 それらの表示時刻差の比を用いてスケーリング 用ベク トル r M Vに対するスケーリングを行う。 これにより、 ダイレク 卜モード処理部 1 1 0は、 ダイ レク トモードスケーリング係数 S Pを用 いたときと同様に、 第 1動きべク トル s M V 1 及び第 2動きべク トル s M V 2を算出する。
予測種別選択部 1 0 8は、 画像信号 I m gと、 参照ピクチャ R Pと、 ダイレク トモード処理部 1 1 0から出力される第 1参照インデックス r R I 1 、 第 2参照インデックス r R I 2、 第 1 動きベク トル s M V 1 、 及び第 2動きべク 卜ル s M V 2を取得するとともに、 動き推定部 1 0 9 から出力される第 1参照インデックス R I 1 、 第 2参照インデックス R I 2、 第 1 動きベク トル M V 1 、 及び第 2動きベク トル M V 2を取得す る。 そして、 予測種別選択部 1 0 8は、 取得した内容に基づいて符号化 対象ブロックに対する予測種別を選択する。 つまり、 予測種別選択部 1 0 8は、 符号化対象ブロックに対してダイレク トモ一ドを適用すべきか 否かを判別する。 さらに、 予測種別選択部 1 0 8は、 選択した予測種別 を示す内容の種別情報 P Tを可変長符号化部 1 0 3に出力する。 ここで、 予測種別選択部 1 0 8は、 予測種別を選択するときには、 例 えば、 符号化対象ブロックに対してダイ レク 卜モードを適用したときの 予測誤差と、 ダイレク トモ一ドを適用していないときの予測誤差とを比 較する。 そして、 予測種別選択部 1 0 8は、 ダイレク トモ一ドを適用し たときの予測誤差の方が小さいと判別したときには、 ダイレク トモード を適用する予測種別を選択し、 ダイ レク トモ一ドを適用しないときの予 測誤差の方が小さいと判別したときには、 ダイ レク トモ一ドを適用しな い予測種別を選択する。
さらに、 予測種別選択部 1 0 8は、 ダイレク トモー ドの適用を予測種 別と して選択したときには、 スィ ッチ 1 1 1 の接点を接点 0から接点 1 に切り替えさせる。 これにより、 ダイ レク 卜モード処理部 1 1 0から出 力された第 1 参照インデックス r R I 1 、 第 2参照インデックス r R I 2、 第 1 動きベク トル s M V 1 、 及び第 2動きベク トル s M V 2は、 ス イッチ 1 1 1 を介してマルチフレームバッファ 1 0 7に、 第 1 参照イン デックス R I 1 、 第 2参照インデックス R I 2、 第 1 動きべク トル M V 1 、 及び第 2動きベク トル M V 2と して送信される。
一方、 予測種別選択部 1 0 8は、 ダイ レク トモー ドの不適用を予測種 別と して選択したときには、 スィッチ 1 1 1 の接点を接点 1 から接点 0 に切り替えさせる。 これにより、 動き推定部 1 0 9から出力された第 1 参照インデックス R I 1 、 第 2参照インデックス R I 2、 第 1 動きべク トル M V 1 、 及び第 2動きベク トル M V 2は、 スィッチ 1 1 1 を介して 可変長符号化部 1 0 3及びマルチフ レームバッファ 1 0 7に送信される また、 予測種別選択部 1 0 8は、 補間予測以外の予測を予測種別とし て選択したときには、 スィッチ 1 1 2の接点を接点 1 から接点 0に切り 替え、 補間予測を予測種別として選択したときには、 スィッチ 1 1 2の 接点を接点 0から接点 1 に切り替えさせる。 その結果、 減算器 1 0 1 及 び加算器 1 0 5に取得される予測画像信号 P r eは予測種別に応じ、 マ ルチフ レームバッファ 1 0 7からの出力によるものと、 画素補間部 1 0 6からの出力によるものとに切り替えられる。
マルチフレームバッファ 1 0 7は、 補間予測時には、 動き推定部 1 0 9及びダイレク 卜モード処理部 1 1 0からの出力に基づいて第 1参照ィ ンデックス R I 1 ( r R I I ) 及び第 1 動きベク トル M V 1 ( s M V 1 ) を取得すると、 その第 1 参照インデックス R I 1及び第 1 動きベク トル M V 1 に対応する参照ブロック R B 1 を画素補間部 1 0 6に出力する。 さらに、 マルチフ レームバッファ 1 0 7は、 動き推定部 1 0 9及びダイ レク トモード処理部 1 1 0からの出力に基づいて第 2参照インデックス R I 2 ( r R I 2 ) 及び第 2動きベク トル M V 2 ( s M V 2 ) を取得す ると、 その第 2参照インデックス R I 2及び第 2動きベク トル M V 2に 対応する参照ブロック R B 2を画素補間部 1 0 6に出力する。
そして、 マルチフ レームバッファ 1 0 7は、 第 1参照ピクチャ予測時 には、 第 1参照インデックス R I 1 と第 1 動きべク トル M V 1 とに対応 する参照ブロック R Bを出力する。 また、 マルチフレームバッファ 1 0 7は、 第 2参照ピクチャ予測時には、 第 2参照インデックス R I 2と第 2動きべク トル M V 2とに対応する参照ブロック R Bを出力する。なお、 面内予測時には、 マルチフレームバッファ 1 0 7は、 面内予測結果を示 す画素からなるブロック R Bを出力する。
画素補間部 1 0 6は、 マルチフレームバッファ 1 0 7から参照ブロッ ク R B 1 , R B 2を取得すると、 その参照ブロック R B 1 , R B 2の中 の互いに位置が等しい画素の画素値を補間し、 その補間結果を補間プロ ック R e Pとして出力する。
そして上述のように、 スィッチ 1 1 2の接点は、 予測種別選択部 1 0 8からの予測種別に応じて切り替えられるため、 補間予測以外の予測が 予測種別として選択されたときには、 マルチフレームバッファ 1 0 7か らのブロック R Bがスィッチ 1 1 2を介して予測画像信号 P r e として 減算器 1 0 1及び加算器 1 0 5に送信され、 補間予測が予測種別とじて 選択されたときには、 画素補間部 1 0 6からの補間プロック R e Pがス イッチ 1 1 2を介して予測画像信号 P r eとして減算器 1 0 1 及び加算 器 1 0 5に送信される。
可変長符号化部 1 0 3は、 残差符号化信号 E R、 第 1参照ィンデック ス R I 1 、 第 2参照インデックス R I 2、 第 1 動きベク トル M V 1 、 第 2動きベク トル M V 2、 ダイ レク トモ一ド用スケーリング係数 S P、 及 ぴ種別信号 P Tを可変長符号化し、 その結果を画像符号化信号 B Sとし て出力する。 こ こで、 ダイ レク トモード処理部 1 1 0での処理に、 ダイ レク トモード用スケーリング係数 S Pが用いられずに、 表示時刻情報が 用いられたときには、 可変長符号化部 1 0 3は、 ダイレク トモード用ス ケ一リング係数 S Pを可変長符号化することなく、 上述のスケーリング に用いた表示時刻情報を可変長符号化して、 その可変長符号化された表 示時刻情報を画像符号化信号 B Sに含める。
図 1 1 は、 画像符号化信号 B Sの一部の構成を示す構成図である。 画像符号化信号 B Sはピクチャ単位で構成されており、 その 1 つのピ クチャ単位には、 ヘッダと各ブロックに関する情報が含まれる。
この図 1 1 に示す画像符号化信号 B Sの一部は、 ダイ レク トモ一ドで 符号化されたブロックを含むピクチャに相当するものであって、 ヘッダ 2 1 と、 第 1 プロック符号化信号 2 2と、 第 2プロック符号化信号 2 3 とが含まれている。
第 1 プロック符号化信号 2 2は、 ダイレク 卜モードで符号化されたブ ロックを示すものであって、 ダイ レク トモードの適用を示す種別情報 P Tが符号化された種別符号化信号 2 8が含まれている。 第 2ブロック符号化信号 2 3は、 ダイ レク トモ一ド以外の補間予測で 符号化されたブロックを示すものであって、 ダイレク トモ一ドの不適用 を示す種別情報 P Tが符号化された種別符号化信号 2 9と、 第 1 参照ィ ンデックス R I 1 が符号化された第 1 ィンデックス符号化信号 3 0と、 第 2参照インデックス R I 2が符号化された第 2インデックス符号化信 号 3 1 と、 第 1 動きべク トル M V 1 が符号化された M V 1 符号化信号 3 2と、 第 2動きべク トル M V 2が符号化された M V 2符号化信号 3 3 と を含んでいる。
ヘッダ 2 1 には、 そのピクチャに対する参照インデックスの割り当て の変更内容を示すリマッビング情報が符号化されたリマッビング符号化 情報 2 7 と、 ダイ レク トモ一ド用スケーリング係数 S Pに含まれる図 6 に示す係数 T R 1 、 つまり符号化対象ピクチャと第 1参照ピクチャとの 表示時刻差が符号化された第 1 時間差情報 2 4と、 ダイ レク トモ一ド用 スケーリング係数 S Pに含まれる係数 T R 2、 つまり符号化対象ピクチ ャと第 2参照ピクチャとの表示時刻差が符号化された第 2時間差情報 2 5と、ダイ レク トモード用スケーリング係数 S Pに含まれる係数 T R O、 つまり第 1参照ピクチャと第 2参照ピクチャとの表示時刻差が符号化さ れた時間差情報 2 6とを含んでいる。 また、 ダイ レク 卜モード処理部 1 1 0での処理に、 ダイ レク 卜モード用スケーリング係数 S Pが用いられ ずに、 表示時刻情報が用いられる場合には、 上述の第 1 時間差情報 2 4 と第 2時間差情報 2 5と時間差情報 2 6の代わりに、 当該ピクチャの表 示時刻情報が符号化された信号が上記ヘッダ 2 1 に含まれる。
ここで、 本実施の形態におけるピクチャ選択部 1 1 3は、 マルチフ レ ームバッファ 1 0 7に格納されているピクチャから、 ダイ レク トモード に用いられるピクチャを第 2参照ピクチャと して選択する。
即ち、 ピクチャ選択部 1 1 3は、 符号化対象ピクチャに対して表示順 が後のピクチャのうち、 第 2参照インデックスが最小のピクチャを、 ダ ィレク トモードに用いられる第 2参照ピクチャとして選択する。
そしてピクチャ選択部 1 1 3は、 選択した第 2参照ピクチャの第 2参 照インデックス r R I 2をべク トル用バッファ 1 1 4及びダイ レク トモ ード処理部 1 1 0に対して出力する。 なお、 ピクチャ選択部 1 1 3は、 表示順に関する情報が各ピクチャ毎に付随しているので、 これを利用し て各ピクチャの表示順序を知得する。
図 1 2は、 本実施の形態におけるダイレク トモードにより画像を符号 化するときの動作を示すフロー図である。
まず、 画像符号化装置 1 0 0は、 ピクチャ選択部 1 1 3により、 符号 化対象ピクチャよりも表示順が後のピクチャのうち、 第 2参照インデッ クスが最小のピクチャを第 2参照ピクチャとして選択する （ステップ S 1 0 0 ) 。
次に、 画像符号化装置 1 0 0は、 ベク トル用バッファ 1 1 4により、 上述のように選択された第 2参照ピクチャの中における符号化対象プロ ックと同じ位置にあるブロックの第 1 動きべク トル M V 1 を、 スケ一リ ング用べク トル r M Vと して特定するとともに、 その第 1 動きべク トル M V 1 の参照先となるピクチャを第 1参照ピクチャとして特定する （ス テツプ S 1 0 2 ) 。
そして、 画像符号化装置 1 0 0は、 ダイレク トモ一ド処理部 1 1 0、 マルチフレームバッファ 1 0 7、 及ぴ画素補間部 1 0 6により、 上述の ように選択された第 2参照ピクチャと、 上述のように特定された第 1参 照ピクチャ及びスケーリング用べク トル r M Vとを用いて、 ダイ レク ト モー ドによる予測画像を生成する （ステップ S 1 0 4 ) 。
予測画像を生成すると、 画像符号化装置 1 0 0は、 符号化対象ブロッ クと予測画像から予測誤差を生成して （ステップ S 1 0 6 ) 、 その生成 された予測誤差を符号化する （ステップ S 1 0 8 ) 。
ここで、 符号化対象ピクチャを基準に他の各ピクチャに対して割り当 てられる第 1参照インデックス及び第 2参照インデックスが変更される 場合 （このような場合を以下 Γリマッピング」 という） における、 本実 施の形態の動作について説明する。
図 1 3は、 リマッピングが生じたときにおける本実施の形態の動作に ついて説明するための説明図である。
図 1 3の （ a ) は、 リマツビングが生じる前 （デフオル卜の状態） に おいて、 各ピクチャに対して割り当てられた第 1参照インデックス及び 第 2参照インデックスを示す。
リマッピングが生じる前、 つまりデフォルトでは、 まず、 図 1 3中の 点線で示される符号化対象ピクチャよりも表示順が前にある全てのピク チヤに対して、 符号化対象ピクチャに近いピクチャから順に、 0， 1 , 2が第 1参照インデックスとして割り当てられる。 つまり、 ピクチャ番 号が 1 4のピクチャに対しては、 第 1参照インデックスと して 0が割り 当てられ、 ピクチャ番号が 1 2のピクチャに対しては、 第 1参照インデ ックスと して 1 が割り当てられ、 ピクチャ番号が 1 0のピクチャに対し ては、 第 1 参照インデックスとして 2が割り当てられる。
上述のような割リ当てが符号化対象ピクチャよリも表示順が前にある 全てのピクチャに対して行われると、 次に、 符号化対象ピクチャよりも 表示順が後にある全てのピクチャに対して、 符号化対象ピクチャに近い ピクチャから順に、 3， 4 , 5が第 1参照インデックスと して割り当て られる。 つまり、 ピクチャ番号が 1 5のピクチャに対しては、 第 1参照 インデックスと して 3が割り当てられ、 ピクチャ番号が 1 3のピクチャ に対しては、 第 1参照インデックスとして 4が割り当てられ、 ピクチャ 番号が 1 1 のピクチャに対しては、 第 1 参照ィンデックスとして 5が割 リ当てられる。
そして、 符号化対象ピクチャよりも表示順が後にある全てのピクチャ に対して、 符号化対象ピクチャに近いピクチャから順に、 0， 1 , 2が 第 2参照インデックスとして割り当てられる。 つまり、 ピクチャ番号が 1 5のピクチャに対しては、 第 2参照インデックスと して 0が割り当て られ、 ピクチャ番号が 1 3のピクチャに対しては、 第 2参照インデック スと して 1 が割り当てられ、ピクチャ番号が 1 1 のピクチャに対しては、 第 2参照インデックスとして 2が割り当てられる。
上述のような割リ当てが符号化対象ピクチャよリも表示順が後にある 全てのピクチャに対して行われると、 次に、 符号化対象ピクチャよりも 表示順が前にある全てのピクチャに対して、 符号化対象ピクチャに近い ピクチャから順に、 3 , 4 ， 5が第 2参照インデックスと して割り当て られる。 つまり、 ピクチャ番号が 1 4のピクチャに対しては、 第 2参照 インデックスと して 3が割り当てられ、 ピクチャ番号が 1 2のピクチャ に対しては、 第 2参照インデックスとして 4が割り当てられ、 ピクチャ 番号が 1 0のピクチャに対しては、 第 2参照インデックスとして 5が割 リ当てられる。
図 1 3の （ b ) は、 リマッピングが生じた場合において、 各ピクチャ に対して割り当てられる第 1参照インデックス及び第 2参照インデック ス並びにリマッピング情報を示す。
リマツピングが生じると、 例えば、 ピクチャ番号 Γ 1 4 J のピクチャ に対して割り当てられる第 1参照インデックスは Γ 0」 から Γ 2 J に変 更され、 ピクチャ番号 「 1 2 j のピクチャに対して割り当てられる第 1 参照インデックスは Γ 1 」 から Γ 0 J に変更され、 ピクチャ番号 Γ 1 0 J のピクチャに対して割り当てられる第 1参照インデックスは Γ 2 J から Γ 1 J に変更される。 また、 ピクチャ番号 「 1 4 J のピクチャに,対して 割り当てられる第 2参照インデックスは Γ 3 J から Γ 0 J に変更され、 ピクチャ番号 「 1 5 J のピクチャに対して割り当てられる第 2参照イン デックスは 「 0」 から 「 2」 に変更され、 ピクチャ番号 「 1 1 」 のピク チヤに対して割り当てられる第 2参照インデックスは 「 2J から 「 3 J に変更される。
また、 リマッピング情報は、 参照インデックスに変更が生じた各ピク チヤに対してその変更内容を示す数値から構成される。 図 1 3の （ b ) では、 第 2参照インデックスに対するリマッピング情報を示している。 例えば、 第 2参照インデックス Γ 0 J が割り当てられるピクチャが、 ピ クチャ番号 「 1 5 J のピクチャからピクチャ番号 「 1 4 J のピクチャに 変更されると、 ピクチャ番号 「 1 4」 からピクチャ番号 Γ 1 5 J を減算 した数値 「一 1 j が、 ピクチャ番号 Γ 1 4 J に対応してリマッピング情 報に含まれる。 さらに、 第 2参照インデックス Γ 2 J が割り当てられる ピクチャが、 ピクチャ番号 「 1 1 」 のピクチャからピクチャ番号 「 1 5」 のピクチャに変更されると、 ピクチャ番号 Γ 1 5 Jからピクチャ番号 Γ 1 1 J を減算した数値 「 + 4j が、 ピクチャ番号 「 1 5」 に対応してリマ ッビング情報に含まれる。 同様に、 第 2参照インデックス 「 3」 が割り 当てられるピクチャが、 ピクチャ番号 「 1 4J のピクチャからピクチャ 番号 「 1 1 」 のピクチャに変更されると、 ピクチャ番号 「 1 1 J からピ クチヤ番号 Γ 1 4」 を減算した数値 「一 3 J が、 ピクチャ番号 Γ 1 1 j に対応してリマッピング情報に含まれる。 なお、 図 1 3の （ b ) に示す ようなリマッピングの場合、 第 2参照インデックス Γ 1 j が割リ当てら れるピクチャは変更されないが、 数値 Γ 0」 がピクチャ番号 Γ 1 3 J に 対応してリマッピング情報に含まれる。
このようなリマツビング情報は、 画像符号化装置 1 0 0の図示しない 管理部などに管理されておリ、 動き推定部 1 0 9、 予測種別選択部 1 0 8、 マルチフレームバッファ 1 0 7、 及びピクチャ選択部 1 1 3は、 そ のリマツビング情報に基づいて第 1参照インデックス及び第 2参照イン デックスを特定する。
このような本実施の形態では、上述のようにピクチャ選択部 1 1 3が、 符号化対象ピクチャよりも表示順が後のピクチャのうち、 第 2参照イン デックスが最小のピクチャを第 2参照ピクチャとして選択するため、 リ マッピングが生じていないときには、 第 2参照インデックスが 0である ピクチャ番号 「 1 5 J のピクチャがダイ レク トモー ドの第 2参照ピクチ ャとして用いられ、 リマッピングが生じたときには、 第 2参照インデッ クスが 1 であるピクチャ番号 「 1 3 J のピクチャがダイ レク トモ一ドの 第 2参照ピクチャとして用いられる。
その結果、 リマッピングが生じてもダイ レク トモードによる符号化時 には、 符号化対象ピクチャよりも後にあるピクチャが第 2参照ピクチャ と して用いられるために、 前方向 2枚又は後方向 2枚のピクチャが第 1 参照ピクチャ及び第 2参照ピクチャとして用いられることがなく、 必ず 前方向にあるピクチャと後方向にあるピクチャがそれぞれ第 1参照ピク チヤ及び第 2参照ピクチャとして用いられるので、 符号化効率を向上す ることができる。
ここで、 本実施の形態における画像符号化装置 1 0 0の記憶容量に関 して説明する。
図 1 4は、ピクチャの表示順序の一例を説明するための説明図である。 ピクチャ P 1 ~ P 7は、 図 1 4に示すように、 ピクチャ P 1 ， ピクチ ャ P 3， ピクチャ P 4 , ピクチャ P 2， ピクチャ P 6 , ピクチャ P 7 , ピクチャ P 5の順に表示され、 ピクチャ P 1 , ピクチャ P 2 , ピクチャ P 3 , ピクチャ P 4 , ピクチャ P 5 , ピクチャ P 6 , ピクチャ P 7の順 に符号化されてマルチフ レームバッファ 1 0 7に格納される。 ここでは、 Bピクチャは参照ピクチャと して使われることはないとす る。 よって、 マルチフレームバッファ 1 0 7は、 参照ピクチャとして扱 われる I ピクチャ又は Pピクチャであるピクチャ P 1 ， P 2 , P 5を保 存し、 参照ピクチヤとして扱われることのない Bピクチャであるピクチ ャ P 3 ， P 4， P 6 , Ρ 7を削除する。
ピクチャ Ρ 3 , Ρ 4の符号化時には、 参照ピクチャ Ρ 2は符号化対象 ピクチャよりも表示順が後の参照ピクチャである。一方、ピクチャ Ρ 6 , Ρ 7の符号化時には、 参照ピクチャ Ρ 2は符号化対象ピクチャよりも表 示順が前の参照ピクチャとなる。
よって、 図 1 4に示すようなピクチャの関係を有する場合、 参照ピク チヤ Ρ 2以降のピクチャの符号化では、 参照ピクチャ Ρ 2が符号化対象 ピクチャよリも表示順が後の参照ピクチャとなることはない。 つまリ、 —度、 符号化対象ピクチャに対し表示順が前になつた参照ピクチャは、 再び符号化対象ピクチャに対し表示順が後になることはない。
即ち、 マルチフレームバッファ 1 1 4に保持されているピクチャが符 号化対象ピクチャに対して表示順で前になつた時点で、 べク トル用バッ ファ 1 1 4に格納されている、その参照ゼクチャの第 1 動きベク トルと、 その第 1 動きベク トルの参照先となるピクチャを識別する情報とを破棄 することができる。
従って、 図 1 4に示すようなピクチャの関係を有する場合、 べク トル 用バッファ 1 1 4は、 符号化対象ピクチャより表示順が後の参照ピクチ ャの第 1 動きべク トルと、 その第 1 動きべク トルの参照先となるピクチ ャを識別する情報のみ保持すればよい。 これにより、 図 1 4に示すよう なピクチャの関係を有する場合、 ベク トル用バッ ファ 1 1 4に必要なメ モリ量を削減できる。
なお、 本実施の形態では、 符号化対象ピクチャよりも表示順が後のピ クチャのうち、 第 2参照インデックスが最小のピクチャを、 ダイ レク ト モード時の第 2参照ピクチャとして選択したが、 符号化対象ピクチャよ リも表示順が後の参照ピクチヤの中から、 ダイ レク トモ一ド時の第 2参 照ピクチャを一意に決定できる条件であれば、 第 2参照インデックスが 最小のピクチャでなく ともその条件により決定されるピクチャを、 第 2 参照ピクチャと して選択しても良い。 この場合においても、 符号化対象 ピクチャよリ前方のピクチャのみを参照する可能性がなくなリ、 符号化 効率の向上を図ることができる。 また、 符号化対象ピクチャよりも表示 順が後の参照ピクチャの中で、 符号化対象ピクチャに表示順が最も近い ピクチャをダイ レク トモード時の第 2参照ピクチャと してもよい。 この 場合にも、 上述と同様に符号化効率を高めることができる。
また、 ダイ レク 卜モー ド時の第 2参照ピクチャを、 符号化対象ピクチ ャよりも表示順が後のピクチャの中の第 2参照インデックスが最小のピ クチャとし、 さらに、 ダイ レク トモード時の第 1参照ピクチャを、 符号 化対象ピクチャに対し表示順が前のピクチヤの中の第 1 参照インデック スが最小の参照ピクチャと しても良い。 この場合にも、 上述と同様に符 号化効率を高めることができる。
(実施の形態 2 )
本発明の実施の形態 2における画像復号化装置について、 以下図面を 参照しながら説明する。
図 1 5は、実施の形態 2における画像復号化装置のブロック図である。 この画像復号化装置 1 5 0は、 実施の形態 1 の画像符号化装置 1 0 0 から出力される画像符号化信号 B Sを復号するものであって、 可変長復 号部 1 5 1 と、画像復号部 1 5 2と、加算器 1 5 3と、スィッチ 1 5 5 , 1 5 6と、 ダイ レク トモ一ド処理部 1 5 4と、 画素補間部 1 5 7 と、 マ ゾレチフ レー厶ノ ッファ 1 5 8 と、 ベク トル用ノ ッ ファ 1 6 0 と、 ピクチ ャ選択部 1 5 9 とを備えている。
可変長復号部 1 5 1 は、 画像復号化装置 1 5 0外部から画像符号化信 号 B Sを取得して、その画像符号化信号 B Sに対して可変長復号を行い、 残差符号化信号 E R、 動きべク トル M V 1 , M V 2、 参照ィンデックス R I 1 ， R I 2、 ダイレク トモ一ド用スケーリング係数 S P、 及び種別 情報 P Tを出力する。 ここで、 画像符号化信号 B Sに、 符号化されたダ ィレク トモードスケーリング係数 S Pが含まれずに、 符号化された表示 時刻情報が含まれているときには、 可変長復号部 1 5 1 は、 ダイ レク ト モード用スケーリング係数 S Pの代わりに表示時刻情報を出力する。 また、 可変長復号部 1 5 1 は、 種別情報 P Tにより示される予測種別 に応じて、 スィ ッチ 1 5 5 , 1 5 6の接点を切り換える。 つまり、 可変 長復号部 1 5 1 は、 予測種別がダイ レク トモードであるときには、 スィ ツチ 1 5 5の接点を接点 0から接点 1 に切り替え、 予測種別がダイ レク トモ一ド以外であるときには、 スィッチ 1 5 5の接点を接点 1から接点 0に切り替える。 また、 可変長復号部 1 5 1 は、 予測種別が補間予測で あるときには、 スィッチ 1 5 6の接点を接点 1 から接点 0に切り替え、 予測種別が補間予測以外の予測であるときには、 スィッチ 1 5 6の接点 を接点 0から接点 1 に切り替える。
画像復号部 1 5 2は、 可変長復号部 1 5 1 から残差符号化信号 E Rを 取得し、 残差符号化信号 E Rに対して逆量子化及び逆 D C T変換などの 画像復号処理を行い、 残差復号信号 D Rを出力する。
加算器 1 5 3は、残差復号信号 D Rと予測画像信号 P r eを加算して、 その加算結果を復号画像信号 D I mと して画像復号化装置 1 5 0外に出 力する。
マルチフレームバッファ 1 5 8は、復号画像信号 D I mを取得すると、 その復号画像信号 D I mのうち、 以降のピクチャ間予測で参照される可 能性がある信号を格納する。 つまり、 マルチフ レームバッファ 1 5 8の 記憶容量は有限なため、 マルチフ レームバッファ 1 5 8は、 取得した符 号画像信号 D I mのうち、 以降のピクチヤ間予測に使用されないピクチ ャのデータを除去する。
べク トル用バッファ 1 6 0は、 第 1 動きべク トル M V 1 、 第 2動きべ ク トル M V 2、 第 1 参照インデックス R I 1 、 及び第 2インデックス R I 2を動き推定部 1 0 9から取得する。 そして、 べク トル用バッファ 1 6 0は、 その取得結果に基づいて、 ダイレク 卜モードに用いられるスケ 一リング用ベク トルと、 そのスケーリング用べク トルの参照先となるピ クチャを示すピクチャ番号及び参照インデックスを記憶している。
つまリ、 ダイレク トモ一ド時には復号対象ピクチヤに対し、 復号済ピ クチャのブロックを復号したときに用いられた第 1 動きべク トル M V 1 がスケーリング用べク トルとして使用され、 その第 1 動きべク トルの参 照先となるピクチャが第 1参照ピクチャとして扱われるため、 べク トル 用バッファ 1 6 0は、 可変長復号部 1 5 1 から出力された第 1動きべク トル M V 1 、 第 2動きベク トル M V 2、 第 1参照インデックス R I 1、 及び第 2インデックス R I 2のうち、 ダイレク 卜モー ドに使用される可 能性がある第 1動きべク トル M V 1 及び第 1参照インデックス R I 1 を 記憶している。
また、 べク トル用ノくッファ 1 6 0は、 第 2参照インデックス r R I 2 をピクチャ選択部 1 5 9から取得する。 そして、 べク トル用バッファ 1 6 0は、 ピクチャ選択部 1 5 9からその第 2参照インデックス r R I 2 を取得すると、 記憶している内容に基づいて、 その第 2参照インデック ス r R I 2により指し示されるピクチャ内の所定のブロックに対応する 第 1 動きべク トル M V 1 を、 スケーリング用べク トル r M Vと して出力 するとともに、 そのスケーリング用べク トル r M Vの参照先となるピク チヤを示す第 1 参照インデックス R I 1 を、 第 1 参照インデックス r R I 1 として出力する。
ダイ レク トモード処理部 1 54は、 ダイレク 卜モード用スケーリング 係数 S P、 スケーリ ング用ベク トル r MV、 及び第 1参照インデックス r R I 1 を取得すると、 復号対象のブロックに対して上述のダイ レク ト モー ドに基づく処理を行い、 その結果として、 第 1 動きベク トル s MV 1 、 第 2動きベク トル s MV 2、 第 1参照インデックス r R I 1 、 及び 第 2参照インデックス r R I 2を出力する。 ここで、 ダイ レク トモード 処理部 1 5 4は、 ダイレク トモード用スケーリング係数 S Pの代わりに 各ピクチャの表示時刻情報を取得したときには、 これらの表示時刻情報 に示される表示時刻から、 各ピクチャ間の表示時刻差を算出し、 それら の表示時刻差の比を用いてスケーリング用ベク トル r MVに対するスケ —リ ングを行う。 これにより、 ダイ レク トモード処理部 1 5 4は、 ダイ レク 卜モードスケーリング係数 S Pを用いたときと同様に、 第 1 動きべ ク 卜ル s MV 1 及び第 2動きべク トル s MV 2を算出する。
また、 マルチフレ一ムパッファ 1 5 8は、 補間予測時には、 可変長復 号部 1 5 1 及びダイ レク トモード処理部 1 5 4からの出力に基づいて第 1参照インデックス R I 1 ( r R I 1 )及び第 1 動きべク トル MV 1 ( s M V 1 ) を取得すると、 その第 1参照インデックス R I 1 及び第 1動き べク トル M V 1 に対応する参照ブロック R B 1 を画素補間部 1 5 7に出 力する。 さらに、 マルチフ レームバッファ 1 5 8は、 可変長復号部 1 5 1 及びダイ レク 卜モード処理部 1 5 4からの出力に基づいて第 2参照ィ ンデックス R I 2 ( r R I 2 ) 及ぴ第 2動きベク トル MV 2 ( s M V 2 ) を取得すると、 その第 2参照ィンデックス R I 2及び第 2動きべク トル M V 2に対応する参照プロック R B 2を画素補間部 1 5 7に出力する。 そして、 マルチフレームバッファ 1 5 8は、 第 1参照ピクチャ予測時 には、 第 1 参照インデックス R I 1 と第 1動きべク トル M V 1 とに対応 する参照ブロック R Bを出力する。 また、 マルチフ レームバッファ 1 5 8は、 第 2参照ピクチャ予測時には、 第 2参照インデックス R I 2と第 2動きベク トル M V 2とに対応する參照ブロック R Bを出力する。なお、 面内予測時には、 マルチフ レームバッファ 1 5 8は、 面内予測結果を示 す画素からなるブロック R Bを出力する。
画素補間部 1 5 7は、 マルチフレームバッファ 1 5 8から参照ブロッ ク R B 1 , R B 2を取得すると、 その参照ブロック R B 1 ， R B 2の中 の互いに位置が等しい画素の画素値の平均値を求めることにより補間画 素を生成し、 その補間結果を補間ブロック R e Pと して出力する。
そして上述のように、 スィッチ 1 5 6の接点は、 予測種別に応じて切 リ換えられるため、 予測種別が補間予測以外の予測であるときには、 マ ルチフレームノくッファ 1 5 8からのブロック R Bがスィッチ 1 5 6を介 して予測画像信号 P r e と して加算器 1 5 5に送信され、 予測種別が補 間予測であるときには、 画素補間部 1 5 7からの補間ブロック R e が スィッチ 1 5 6を介して予測画像信号 P r e として加算器 1 5 3に送信 される。
ここで、 本実施の形態におけるピクチャ選択部 1 5 9は、 マルチフレ —ムバッファ 1 5 8に格納されているピクチャから、 ダイ レク トモード に用いられるピクチャを第 2参照ピクチャと して選択する。
即ち、 ピクチャ選択部 1 5 9は、 復号対象ピクチャよリも表示順が後 のピクチャのうち、 第 2参照インデックスが最小のピクチャを、 ダイレ ク 卜モー ドに用いられる第 2参照ピクチャと して選択する。
そしてピクチャ選択部 1 5 9は、 上述の第 2参照ピクチャを示す第 2 参照インデックス r R I 2をべク トル用バッファ 1 6 0に対して出力す る。 なお、 ピクチャ選択部 1 6 0は、 表示時刻に関する情報が各ピクチ ャ毎に付随しているので、 これを利用して表示順序を知る。
これにより、 本実施の形態の画像復号化装置 1 5 0は、 実施の形態 1 の画像符号化装置 1 0 0が出力する画像符号化信号 B Sを正確に復号す ることができる。 つまり、 符号化対象ピクチャよりも表示順が後のピク チヤのうち、 第 2参照インデックスが最小のピクチャをダイレク トモ一 ド時の第 2参照ピクチャと して選択する画像符号化装置が出力する画像 符号化信号を正確に復号することができる。
図 1 6は、 本実施の形態におけるダイ レク トモ一ドによリ画像を復号 するときの動作を示すフロー図である。
まず、 画像復号化装置 1 5 0は、 ピクチャ選択部 1 5 9により、 復号 対象ピクチャよりも表示順が後のピクチャのうち、 第 2参照インデック スが最小のピクチャを第 2参照ピクチャとして選択する （ステップ S 1 5 0 ) o
次に、 画像復号化装置 1 5 0は、 べク トル用バッファ 1 6 0により、 上述のように選択された第 2参照ピクチャの中における復号対象ブロッ クと同じ位置にあるブロックの第 1 動きべク トルを、 スケーリング用べ ク トル r M Vと して特定するとともに、 その第 1 動きべク トル M V 1 の 参照先となるピクチャを第 1参照ピクチャとして特定する （ステップ S 1 5 2 ) 。
そして、 画像復号化装置 1 5 0は、 ダイレク 卜モー ド処理部 1 5 4、 マルチフ レームバッファ 1 5 8、 及び画素補間部 1 5 7により、 上述の ように選択された第 2参照ピクチャと、 上述のように特定された第 1参 照ピクチャ及びスケーリング用べク トル r M Vとを用いて、 ダイ レク 卜 モー ドによる予測画像を生成する （ステップ S 1 5 4 ) 。
そして、 画像復号化装置 1 5 0は、 画像符号化信号 B Sを復号処理し て生成された画像の残差に対して、 上記予測画像を加算する （ステップ S 1 5 6 ) 。
このように、 本実施の形態では、 復号対象ピクチャより表示順が後の ピクチャのうち、 参照インデックスが最小のピクチャを第 2参照ピクチ ャと して選択するため、 実施の形態 1 で説明した本発明の画像符号化装 置で符号化した画像符号化信号を正しく復号することができる。 また、 実施の形態 1 で説明した効果と同様の効果を得ることができる。
なお、 画像符号化信号 B Sには、 実施の形態 1 で説明したように、 リ マッピング符号化情報 2 7が含まれており、 マルチフレームバッファ 1 5 8は、 そのリマッビング符号化情報 2 7が復号されたリマッビング情 報に基づいて、 第 1参照インデックス及び第 2参照インデックスにより 示されるピクチャを特定している。
(実施の形態 3 )
本発明の実施の形態 3における画像符号化装置について、 以下図面を 参照しながら説明する。
図 1 7は、実施の形態 3における画像符号化装置のプロック図である。 この画像符号化装置 2 0 0は、 画像を示す内容の画像信号 I m gを取 得して、 その画像信号 I m gをブロック毎に符号化処理するものであつ て、減算器 1 0 1 と、画像復号化部 1 0 4と、可変長符号化部 2 0 3と、 動き推定部 1 0 9と、 予測種別選択部 1 0 8と、 スィ ッチ 1 1 1 ， 1 1 2と、 画素補間部 1 0 6と、 ダイ レク トモード処理部 1 1 0と、 べク ト ル用バッファ 1 1 4と、 マルチフレームバッファ 1 0 7と、 ピクチャ選 択部 2 1 3 とを備えている。
ここで、画像符号化装置 2 0 0の減算器 1 0 1 、画像復号化部 1 0 4、 動き推定部 1 0 9、 予測種別選択部 1 0 8、 スィ ッチ 1 1 1 ， 1 1 2、 画素補間部 1 0 6、 ダイ レク トモード処理部 1 1 0、 マルチフレームパ ッファ 1 0 7、 及びベク トル用バッファ 1 1 4の各構成要素は、 実施の 形態 1 の画像符号化装置 1 0 0が備える各構成要素と同一の機能を有す る。
つまリ、 本実施の形態では、 ピクチャ選択部 2 1 3及び可変長符号化 部 2 0 3の機能に特徴がある。
ピクチャ選択部 2 1 3は、 マルチフレームバッファ 1 0 7に格納され ているピクチャから、 符号化対象ピクチャよりも表示順が後のピクチャ を、 ダイ レク トモードに用いられる第 2参照ピクチャと して選択する。 そしてピクチャ選択部 2 1 3は、 上述の第 2参照ピクチャを示す第 2 参照インデックス r R I 2をべク トル用バッファ 1 1 4及びダイ レク ト モード処理部 1 1 0並びに可変長符号化部 2 0 3に対して出力する。 なお、 ピクチャ選択部 2 1 3は、 表示順に関する情報が各ピクチャ毎 に付随しているので、 これを利用して各ピクチャの表示順序を知る。 ま た、 ピクチャ選択部 2 1 3は、 符号化対象ピクチャに対してダイレク 卜 モードに用いられる第 2参照ピクチャを 1 つ選択する。 つまり、 ダイレ ク 卜モードが適用される符号化対象ピクチャに含まれる全てのブロック に対しては、 同一の第 2参照ピクチャが選択される。
ここで、 本実施の形態においても実施の形態 1 と同様、 リマッピング が生じたときには、 ピクチャ選択部 2 1 3は、 マルチフレームバッファ 1 0 7内の各ピクチャに割り当てられる第 1参照インデックス及び第 2 参照ィンデックスをリマツビング情報に基づいて特定する。
例えば、 ピクチャ選択部 2 1 3は、 リマッピングが生じていないとき には、 図 1 3の （ a ) に示すように、 符号化対象ピクチャよりも表示順 が後の何れかのピクチャ、 つまり、 ピクチャ番号 「 1 5 J のピクチャ、 ピクチャ番号 「 1 3 J のピクチャ、 及びピクチャ番号 「 1 のピクチ ャのうち何れかを、 符号化対象ピクチャに対するダイ レク トモード時の 第 2参照ピクチャとして選択し、 選択したピクチャを示す第 2参照イン デックス r R I 2を出力する。 例えば、 ピクチャ選択部 2 1 3は、 ピク チヤ番号 「 1 5 J のピクチャを第 2参照ピクチャとして特定したときに は、 0を示す第 2参照インデックス r R 1 2を出力する。
そして、 ピクチャ選択部 2 1 3は、 リマッピングが生じたときにも、 上述と同様、 図 1 3の （ b ) に示すように、 符号化対象ピクチャよりも 表示順が後の何れかのピクチャ、 つまリ ピクチャ番号 「 1 5 J のピクチ ャ、 ピクチャ番号 「 1 3 J のピクチャ、 及びピクチャ番号 「 1 1 J のピ クチャの何れかを、 符号化対象ピクチャに対するダイ レク トモード時の 第 2参照ピクチャと して選択し、 選択したピクチャを示す第 2参照イン デックス r R 1 2を、 リマッピング情報に基づいて特定してこれを出力 する。
その結果、 本実施の形態では、 リマッピングが生じても、 ダイ レク ト モ一ドにおける第 2参照ピクチャを、 符号化対象ピクチャよりも表示順 が後のピクチャとすることにより、 実施の形態 1 と同様、 符号化効率の 向上を図ることができる。
可変長符号化部 2 0 3は、 残差符号化信号 E R、 第 1参照インデック ス R I 1 、 第 2参照インデックス R I 2、 第 1動きベク トル M V 1 、 第 2動きベク トル M V 2、 ダイ レク トモ一ド用スケーリング係数 S P、 種 別信号 P T、 及びリマッピング情報を可変長符号化するとともに、 ピク チヤ選択部 2 1 3により選択された第 2参照ピクチャを示す第 2参照ィ ンデックス r R I 2も可変長符号化し、 その結果を画像符号化信号 B S 1 と して出力する。ここで、ダイ レク トモード処理部 1 1 0での処理に、 ダイ レク トモ一ド用スケーリング係数 S Pが用いられずに、 表示時刻情 報が用いられたときには、 可変長符号化部 2 0 3は、 ダイレク トモ一ド 用スケーリング係数 S Pを可変長符号化することなく、 上述のスケーリ ングに用いた表示時刻情報を可変長符号化して、 その可変長符号化され た表示時刻情報を画像符号化信号 B Sに含める。
図 1 8は、画像符号化信号 B S 1 のヘッダの構成を示す構成図である。 画像符号化信号 B S 1 は、実施の形態 1 の画像符号化信号 B Sと同様、 ピクチャ単位で構成されてその 1 つのピクチャ単位には、 ヘッダ 4 1 と 各ブロックに関する情報が含まれている。
ここで、 その画像符号化信号 B S 1 のピクチャ単位毎に含まれるへッ ダ 4 1 は、 実施の形態 1 の画像符号化信号 B Sのピクチャ単位毎に含ま れるヘッダ 2 1 と異なっている。
即ち、画像符号化信号 B S 1 のヘッダ 4 1 には、第 1 時間差情報 2 4、 第 2時間差情報 2 5、 時間差情報 2 6、 及びリマッピング符号化情報 2 7が含まれるとともに、 上述のピクチャ選択部 2 1 3から出力された第 2参照ィンデックス r R I 2が符号化された第 2インデックス情報 4 2 が含まれる。
なお、 上述のように、 第 2参照インデックス r R I 2は、 符号化対象 ピクチャ内のダイ レク 卜モードが適用される全てのブロックに対し同じ 値を持つ。 従って、 第 2参照インデックス r R I 2は 1 ピクチャに対し 1 回のみ符号化される。 また、 画像符号化信号 B S 1 を復号する画像復 号化装置は、 画像符号化信号 B S 1 の中から、 この第 2參照インデック ス r R I 2及びリマッピング情報を取得することにより、 ダイ レク トモ ード時の第 2参照ピクチャを一意に選択することができる。
また、 ダイ レク トモー ド処理部 1 1 0での処理に、 ダイレク トモード 用スケーリング係数 S Pが用いられずに、 表示時刻情報が用いられたと きには、 第 1時間差情報 2 4及び第 2時間差情報 2 5並びに時間差情報 2 6の代わりに、 そのピクチャの表示時刻情報が符号化された情報がへ ッダ 4 1 に含まれる。
図 1 9は、 本実施の形態におけるダイレク トモードにより画像を符号 化するときの動作を示すフロー図である。
まず、 画像符号化装置 2 0 0は、 ピクチャ選択部 2 1 3により、 符号 化対象ピクチャよりも表示順が後の何れかのピクチャを第 2参照ピクチ ャとして選択する （ステップ S 2 0 0 ) 。
次に、 画像符号化装置 2 0 0は、 べク トル用バッファ 1 1 4により、 上述のように選択された第 2参照ピクチャの中における符号化対象プロ ックと同じ位置にあるブロックの第 1 動きべク トル M V 1 を、 スケーリ ング用べク 卜ル r M Vとして特定するとともに、 その第 1 動きベク トル M V 1 の参照先となるピクチャを第 1参照ピクチャと して特定する （ス テツプ S 2 0 2 ) 。
そして、 画像符号化装置 2 0 0は、 ダイレク トモ一ド処理部 1 1 0、 マルチフレームバッファ 1 0 7、 及び画素補間部 1 0 6により、 上述の ように選択された第 2参照ピクチャと、 上述のように特定された第 1参 照ピクチャ及びスケーリング用べク トル r M Vとを用いて、 ダイ レク 卜 モードによる予測画像を生成する （ステップ S 2 0 4 ) 。
予測画像を生成すると、 画像符号化装置 2 0 0は、 符号化対象ブロッ クと予測画像から予測誤差を生成して （ステップ S 2 0 6 ) 、 その生成 された予測誤差、 第 2参照ピクチャを示す第 2参照ィンデックス r R I 2、 及びリマッピング情報を符号化する （ステップ S 2 0 8 ) 。
このように、 本実施の形態では、 符号化対象ピクチャに対して表示順 が後の何れかの参照ピクチャを、 ダイ レク トモ一ド時の第 2参照ピクチ ャとして選択し、 選択した参照ピクチヤの第 2参照ィンデックス r R I 2を符号化して画像符号化信号 B S 1 中に格納する。
ここで、 実施の形態 1 では、 符号化対象ピクチャよりも表示順が後の ピクチャのうち、 第 2参照インデックスが最小のピクチャを、 ダイ レク トモ一 ド時の第 2参照ピクチャをと して選択した。 つまり、 実施の形態 3では、 実施の形態 1 と同様に、 符号化対象ピク チヤよりも表示順が後のピクチヤを、 ダイレク トモ一ド時の第 2参照ピ クチャと して選択することにより符号化効率の向上を図ることができる < そして、 実施の形態 1 と実施の形態 3との違いは以下の通りである。 実施の形態 1 では、 画像符号化装置 1 0 0にダイ レク トモ一ド時の第 2 参照ピクチャを一意に決定するための手順を予め保持させておき、 同様 の手順を実施の形態 2の画像復号化装置 1 5 0にも保持させておく こと によって、 ダイ レク トモード時の第 2参照ピクチャが画像符号化装置 1 0 0及び画像復号化装置 1 5 0の相互間で一意に決定されていた。一方、 実施の形態 3では、 ダイ レク トモード時の第 2参照ピクチャを一意に決 定するための情報を符号列に含め、 その情報に基づいて、 画像符号化装 置 2 0 0とその符号列を復号する画像復号化装置とが処理を行うことに よって、 ダイレク トモード時の第 2参照ピクチャが画像符号化装 ¾ 2 0 0及び画像復号化装置の相互間で一意に決定される。
このように、 本実施の形態によれば、 符号化処理において決定された 第 2参照ピクチャを特定するための情報を符号化することによって、 符 号化処理及び復号処理の整合性をとることができる。
なお、 本実施の形態では、 符号化対象ピクチャよりも表示順が後の何 れかのピクチャを、 第 2参照ピクチャと して選択したが、 実施の形態 1 と同様、 表示順が後のピクチャのうち第 2参照インデックスが最小のピ クチャを、 第 2参照ピクチャとして選択しても良い。 また、 ピクチャ選 択部 2 1 3は、 さらに、 符号化対象ピクチャに対するダイレク 卜モード 時の第 1参照ピクチャを選択しても良い。 この場合には、 第 1参照イン デックス r R I 1 と第 2参照インデックス r R I 2とが符号化されて、 図 5に示すヘッダ 4 1 に含められる。 また、 画像符号化信号 B S 1 を復 号する画像復号化装置は、 画像符号化信号 B S 1 の中からこの第 1参照 インデックス r R I 1 と第 2参照インデックス r R I 2とを取得するこ とにより、 ダイ レク トモード時の第 1參照ピクチャと第 2参照ピクチャ とを特定することができる。
また、 本実施の形態における画像符号化信号 B S 1 のフォーマツ 卜で は、 第 2参照ィンデックス r R I 2が符号化された第 2ィンデックス情 報 42が、 ピクチャ単位のヘッダ 4 1 に含められたが、 例えば、 M P E Gのスライス構造のようにピクチャより小さな符号化単位のヘッダや、 M P E Gの G O P (Group of Picture) のように複数のピクチャからな 符号化単位のヘッダや、 シーケンス全体のヘッダに格納されてもよい。 また、 上述めように第 1 参照ピクチャを選択するような場合も同様に、 その第 1参照ピクチャを示す第 1 参照インデックス r R I 1 が符号化さ れた情報が、 上述のようなヘッダに格納される。
(実施の形態 4 )
本発明の実施の形態 4における画像復号化装置について、 以下図面を 参照しながら説明する。
図 2 0は、実施の形態 4における画像復号化装置のプロック図である。 この画像復号化装置 2 5 0は、 実施の形態 3の画像符号化装置 2 0 0 から出力される画像符号化信号 B S 1 を復号するものであって、 可変長 復号部 2 5 1 と、 画像復号部 1 5 2と、 加算器 1 5 3と、 スィッチ 1 5 5， 1 5 6 と、ダイレク トモード処理部 1 5 4と、画素補間部 1 57 と、 マルチフレームバッファ 1 5 8と、 べク トル用バッファ 1 6 0とを備え ている。
ここで、 画像復号化装置 2 50の画像復号部 1 5 2、 加算器 1 5 3、 スィッチ 1 5 5 , 1 5 6、 ダイレク トモ一ド処理部 1 54、 画素補間部 1 5 7、 マルチフ レームバッファ 1 5 8、 及びべク トル用ノ ッファ 1 6 0の各構成要素は、 実施の形態 2の画像復号化装置 1 5 0が備える各構 成要素と同一の機能を有する。
つまり、本実施の形態では、可変長復号部 2 5 1 の機能に特徴がある。 可変長復号部 2 5 1 は、 画像復号化装置 2 5 0外部から画像符号化信 号 B S 1 を取得して、 その画像符号化信号 B S 1 に対して可変長復号を 行い、 残差符号化信号 E R、 動きべク トル M V 1 ， M V 2、 参照インデ ックス R I 1 , R I 2、 ダイレク トモード用スケーリング係数 S P、 及 び種別情報 P Tを出力する。 ここで、 画像符号化信号 B に、 符号化さ れたダイ レク トモードスケーリング係数 S Pが含まれずに、 符号化され た表示時刻情報が含まれているときには、 可変長復号部 2 5 1 は、 ダイ レク トモ一ド用スケーリング係数 S Pの代わりに表示時刻情報を出力す る。
さらに、 可変長復号部 2 5 1 は、 画像符号化信号 B S 1 のヘッダ 4 1 に含まれる第 2インデックス情報 4 2に対して復号処理を行い第 2参照 インデックス r R I 2をベク トル用バッファ 1 6 0及びダイレク トモ一 ド処理部 1 5 4に対して出力する。 また、 そのヘッダ 4 1 に符号化され たリマッビング符号化情報 2 7が含まれているときには、 可変長復号部 2 5 1 はリマツビング符号化情報 2 7に対して復号処理を行い、 リマッ ビング情報を生成する。 そして、 可変長復号部 2 5 1 は、 マルチフ レー 厶バッファ 1 5 8に対し、 第 1参照インデックス R I 1 ( r R I 1 ) 及 ぴ第 2参照インデックス R I 2 ( r R I 2 )により示されるピクチャを、 そのリマッピング情報に基づいて特定させる。
べク トル用バッファ 1 6 0は、 第 2参照インデックス r R I 2を可変 長復号部 2 5 1 から取得と、 実施の形態 2と同様、 記憶している内容に 基づいて、 その第 2参照インデックス r R I 2により指し示されるピク チヤを、 復号対象ピクチャに対する第 2参照ピクチャと して特定する。 そしてべク トル用バッファ 1 6 0は、 第 2参照ピクチャ内の所定のプロ ックに対応する第 1動きべク トル M V 1 を、 スケーリング用べク 卜ル r M Vとして出力するとともに、 その第 1 動きべク トル M V 1 の参照先と なるピクチャを示す第 1参照インデックス R I 1 を、 第 1参照インデッ クス r R I 1 として出力する。
このように、 本実施の形態では、 画像符号化信号 B S 1 の第 2インデ ックス情報 4 2及びリマッビング符号化情報 2 7により、 復号対象ピク チヤより表示順が後のピクチャの中から、 ダイ レク 卜モードに用いられ る第 2参照ピクチャが一意に選択される。
このような本実施の形態におけるダイ レク トモ一ドによリ画像を復号 するときの動作について説明する。
図 2 "1 は、 本実施の形態におけるダイ レク トモードにより画像を復号 するときの動作を示すフロー図である。
まず、 画像復号化装置 2 5 0は、 可変長復号部 2 5 1 により、 画像符 号化信号 B S 1 を可変長復号することで、 第 2参照インデックス r R I 2を取得する （ステップ S 2 5 0 ) 。 ここで、 画像符号化信号 B S 1 に リマッビング符号化情報 2 7が含まれているときには、 画像復号化装置 2 5 0は、 そのリマッビング符号化情報 2 7に対する復号処理によリ、 リマッピング情報を取得する。
次に、 画像復号化装置 2 5 0は、 べク トル用ノ ッ ファ 1 6 0により、 上述の第 2参照インデックス r R I 2により示される第 2参照ピクチャ の中において復号対象プロックと同じ位置にあるプロックの第 1 動きべ ク トルを、 復号対象ブロックに対するスケ一り ング用べク トル r M Vと して特定するとともに、 その第 1 動きべク トル M V 1 の参照先となるピ クチャを、 復号対象ブロックに対する第 1参照ピクチャとして特定する (ステップ S 2 5 2 ) 。
そして、 画像復号化装置 1 5 0は、 ダイレク トモード処理部 1 5 4、 マルチフレームバッファ 1 5 8、 及び画素補間部 1 5 7により、 上述の ように取得された第 2参照インデックス r R I 2により示される第 2参 照ピクチャと、 上述のように特定された第 1 参照ピクチャ及びスケーリ ング用べク トル r M Vとを用いて、 ダイ レク 卜モードによる予測画像を 生成する （ステップ S 2 5 4 ) 。
そして、 画像復号化装置 1 5 0は、 画像符号化信号 B Sを復号処理し て生成された画像の残差に対して、 上記予測画像を加算する （ステップ S 2 5 6 ) o
このように本実施の形態では、 画像符号化信号 B S 1 に含まれる第 2 インデックス情報 4 2及びリマッピング情報 4 1 に基づいて、 ダイレク トモ一ド時の第 2参照ピクチャを特定することにより、 実施の形態 3の 画像符号化装置 2 0 0からの画像符号化信号 B S 1 を正しく復号するこ とができる。 また、 実施の形態 3で説明した効果と同様の効果を得るこ とができる。
(実施の形態 5 )
本発明の実施の形態 5における画像符号化装置について、 以下図面を 参照しながら説明する。
図 2 2は、実施の形態 5における画像符号化装置のブロック図である。 この画像符号化装置 3 0 0は、 画像を示す内容の画像信号 I m gを取 得して、 その画像信号 I m gをブロック毎に符号化処理するものであつ て、 実施の形態 1の画像符号化装置 1 0 0と同様、 減算器.1 0 1 と、 画 像復号化部 1 0 4と、スィッチ 1 1 1 ， 1 1 2 と、画素補間部 1 0 6と、 ダイレク トモード処理部 1 1 0と、 べク トル用バッファ 1 1 4とを備え るとともに、 さらに、 管理部 3 0 4と、 動き推定部 3 0 2と、 予測種別 選択部 3 0 1 と、 マルチフ レームバッファ 3 0 3 と、 可変長符号化部 3 0 5とを備えている。 ここで、画像符号化装置 3 0 0の減算器 1 0 1 、画像復号化部 1 0 4、 スィッチ 1 1 1 , 1 1 2、 画素補間部 1 0 6、 ダイ レク トモ一ド処理部 1 1 0、 及びべク トル用バッファ 1 1 4の各構成要素は、 実施の形態 1 の画像符号化装置 1 0 0が備える各構成要素と同一の機能を有する。
ここで、 べク トル用バッファ 1 1 4は、 常に 0を示す第 2参照イ ンデ ックス r R I 2を取得して、 その第 2参照インデックス r R I 2 「 0」 に対するスケ一'リング用べク トル r M Vと第 1 参照インデックス r R I 1 とを出力する。
また、 本実施の形態におけるマルチフ レームバッファ 3 0 3は、 実施 の形態 1 及び 3のマルチフ レームバッファ 1 0 7 と同様の機能を有する が、 自らが格納している情報は管理部 3 0 4に管理されている。
さらに、 マルチフレームバッファ 3 0 3内には、 短時間メモリと長時 間メモリ とが確保され、 ピクチャは短時間メモリ と長時間メモリ .とに適 宜分別して保存される。
短時間メモリは、 先入れ先出し方式 （ F I F O ) のメモリであり、 新 規の信号が短時間メモリに記録されると、 記録された時刻が古い順から 記録内容が破棄され、 短時間メモリには常に最新の一定数のピクチャが 参照ピクチャと して保存される。
長時間メモリは、 ランダムアクセス方式のメモリであり、 任意の領域 に参照ピクチャを格納したり、 任意の領域に格納された参照ピクチャの 読み出しが可能な構成を有する。 この長時間メモリは、 背景画像や、 シ —ン変化前の画像など、 主に長時間に渡って参照されるピクチャを保存 し、 短時間メモリよりも長い時間分のピクチャを保存する。 また、 長時 間メモリへのピクチャの保存は、 短時間メモリに保存されたものが長時 間メモリに移動するという形式で行われる。
管理部 3 0 4は、 上述のようにマルチフレームバッファ 3 0 3に格納 されている情報を管理しており、 その管理結果からリマッピングの必要 性が生じたときには、 リマッピングを生じさせる。 つまり、 管理部 3 0 4はリマッビング情報を生成し、 そのリマッビング情報を予測種別選択 部 3 0 1 、 動き推定部 3 0 2、 可変長符号化部 3 0 5、 及びマルチフレ —厶バッファ 3 0 3に出力する。
例えば、 管理部 3 0 4は、 後述するシーンチ： Lンジ情報の取得結果か ら、 シーンの変化 （以下 Γシーンチェンジ j という） が生じたと判別し たときには、 リマッピング情報を生成する。
予測種別選択部 3 0 1 は、 実施の形態 1 及び 3の予測種別選択部 1 0 1 と同様の機能を有するとともに、 管理部 3 0 4からリマッビング情報 を取得したときには、 そのリマッビング情報に基づいて各参照ピクチャ に割り当てられる第 1参照インデック 及び第 2参照インデックスを特 定する。
動き推定部 3 0 2は、 実施の形態 1 及び 3の動き推定部 1 0 2と同様 の機能を有するとともに、 管理部 3 0 4からリマッピング情報を取得し たときには、 そのリマッピング情報に基づいて各参照ピクチャに割リ当 てられる第 1 参照インデックス及び第 2参照インデックスを特定する。 つまり、 予測種別選択部 3 0 1 及び動き推定部 3 0 2は、 管理部 3 0 4からリマッピング情報を取得しないときには、 符号化対象ピクチャの 前後にある各参照ピクチャに対して、 デフォルトで設定された順、 つま リ図 1 3の （ a ) に示す順に数値を割り当てて、 第 1参照インデックス 及び第 2参照インデックスを特定する。 一方、 予測種別選択部 3 0 1 及 び動き推定部 3 0 2は、 管理部 3 0 4からリマッビング情報を取得した ときには、 符号化対象ピクチャの前後にある各参照ピクチャに対して、 デフォルトにリマッピング情報が考慮された順に数値を割り当てて、 第 1参照インデックス及び第 2参照インデックスを特定する。 可変長符号化部 3 0 5は、 実施の形態 1 及び 3の可変長符号化部 1 0 5と同様、 残差符号化信号 E R、 第 1参照ィンデックス R I 1 、 第 2参 照インデックス R I 2、 第 1 動きベク トル M V 1 、 第 2動きベク トル M V 2、 ダイレク トモード用スケーリング係数 S P、 及び種別信号 P Tを 可変長符号化し、 その結果を画像符号化信号 B S 2と して出力する。 そ して可変長符号化部 3 0 5は、 管理部 3 0 4からリマッビング情報を取 得したときには、 そのリマッピング情報を符号化して、 その符号化され たリマッビング情報を画像符号化信号 B S 2のへッダに含める。 また、 ダイレク トモード処理部 1 1 0での処理に、 ダイ レク トモ一ド用スケー リング係数 S Pが用いられずに、 表示時刻情報が用いられたときには、 可変長符号化部 1 0 3は、 ダイ レク トモ一ド用スケーリング係数 S Pを 可変長符号化することなく、 上述のスケ一リングに用いた表示時刻情報 を可変長符号化して、 その可変長符号化された表示時刻情報を画像符号 化信号 B S 2に含める。
ここで本実施の形態の管理部 3 0 4は、 リマッピング情報を生成する ときには、 各参照ピクチャに割り当てられる第 1参照インデックス及び 第 2参照ィンデックスが一定の条件を満たすようにリマッビング情報を 生成する。
管理部 3 0 4は、 ダイレク トモ一ド以外の補間予測によリ符号化対象 ブロックを符号化するときに、 シーンチェンジが生じている場合には、 長時間メモリに保持されている参照ピクチャに第 1参照インデックスの 0が優先的に割リ当てられるようにリマッビング情報を生成する。 ここ でシーンチェンジが生じたか否かは、 画像符号化装置 3 0 0の外部で入 力画像 I m gを用いて判定され、 その判定結果がシーンチェンジ情報と して管理部 3 0 4に供給されるとする。 シーンチェンジの検出方法 （判 定方法） には、 時間的に連続するピクチャ間で位置的に対応する画素毎 の差分値の絶対値を求め、 その差分絶対値をピクチャ内の全画素につい て加算し、 その加算値が所定のしきい値を超えた場合に、 シーンチェン ジと判定する方法がある。 また、 シーンチェンジと検出されたフレーム
(ピクチャ） は、 I ピクチャとして符号化されることができる。そして、 I ピクチャをサーチすることによリシ一ンチェンジのポイントを探すこ とが可能にもなる。
さらに、 管理部 3 0 4は、 ダイレク トモードの補間予測により符号化 対象ブロックを符号化するときには、 符号化対象ピクチャよりも表示順 が後にある参照ピクチャに対して第 2参照インデックスの 0が割り当て られるようにリマッピング情報を生成する。
ここで、 管理部 3 0 4は、 第 2参照インデックスの 0がデフォルトで 割り当てられる参照ピクチヤに対しては、 その第 2参照インデックス Γ 0」 が変更されないようにリマッピング情報を生成しても良い。 これにより、リマッピングが生じても、第 2参照インデックスの 0は、 常に符号化対象ピクチャよリも表示順が後の参照ピクチャに割り当てら れる。
このような管理部 3 0 4により行われるリマッピングについて、 図 2 3を参照して説明する。
図 2 3は、 管理部 3 0 4により行われるリマッピングを説明するため の説明図である。
図 2 3の （ a ) は、 符号化対象ピクチャ及び参照ピクチャを表示順に 示すピクチャ配列図である。
Bピクチャである符号化対象ピクチャ T Pが符号化されるときには、 その符号化対象ピクチャ T Pの前後にある Pピクチャ、 例えば、 参照ピ クチャ R P 1 ， R P 2 , R P 3 , R P 4 , R P 5の何れかが利用される。 また、 例えば、 符号化対象ピクチャ T Pの表示順で近くにある参照ピク チヤ R P 2 , R P 3 , R P 4 , R P 5は、 マルチフ レー厶ノくッファ 3 0 3の短時間メモリに格納されており、 符号化対象ピクチャ T Pから遠く にある参照ピクチャ R P 1 は、 マルチフレームバッファ 3 0 3の長時間 メモリに格納されている。
そして、 参照ピクチャ R P 1 , R P 2 , R P 3 , R P 4 , R P 5を特 定するために、 これらの参照ピクチャに対してデフォルトでは、 図 2 3 の （ b ) に示すように第 1参照インデックス及び第 2参照インデックス が割リ当てられる。
図 2 3の （ b ) に示すように、 参照ピクチャ R P 1 には第 1参照ィン デックス 「 4」 及び第 2参照インデックス 「4」 が割り当てられ、 参照 ピクチャ R P 2には第 1参照インデックス Γ 1 j 及び第 2参照インデッ クス Γ 3」 が割り当てられ、 参照ピクチャ R P 3には第 1参照インデッ クス Γ ο」 及び第 2参照インデックス 「 2」 が割り当てられ、 参照ピク チヤ R P 4には第 1参照インデックス 「 2」 及び第 2参照インデックス Γ 0 J が割り当てられ、 参照ピクチャ R P 5には第 1参照インデックス 「3」 及び第 2参照インデックス 「 1 」 が割リ当てられる。
ここで、 管理部 3 0 4は、 符号化対象ピクチャ T Pをダイレク トモー ド以外の補間予測によリ符号化するときに、 符号化対象ピクチャ T Pを 含むシーン A' と類似するシーン Aが、 シーン A' と非類似のシーン B を挟んで過去にあり、 時間的に前の直前の参照ピクチャ （この場合は参 照ピクチャ R P 3 ) が非類似シーン Bに属すると判断すると、 つまり時 間的に前の直前の参照ピクチャの後にシーンチェンジがあつたと判断す ると、 長時間メモリに格納されている参照ピクチヤから第 1参照インデ ックスの 0が割リ当てられるようにリマツビング情報を生成する。 即ち、 図 2 3の （ c ) に示すように、 長時間メモリに格納されている 参照ピクチャ R P 1 に第 1参照インデックスの 0が割り当てられる。 このように、 本実施の形態では、 符号化対象ピクチャをダイ レク トモ 一ド以外の補間予測によリ符号化するときにシーンチェンジがあると、 長時間メモリに保持されている参照ピクチャに第 1参照インデックスの 0が優先的に割リ当てられるようにリマッピング情報が生成されるため. 補間予測に用いられる第 1 参照インデックス Γ θ」 の第 1参照ピクチャ は符号化対象ピクチャと良く似た画像情報を有することとなり、 その結 果、 符号化効率を向上することができる。
つまり、 このようなリマッピング情報が生成されない場合には、 図 2 3の （ b ) に示すように、 第 1参照インデックス 「 0」 により示される 参照ピクチヤ R P 3が符号化対象ピクチャ T Pの符号化に利用されるが, その参照ピクチャ R P 3は、 符号化対象ピクチャ T Pとシーンが異なつ て非類似であるために符号化効率が低下してしまうのである。
また、 管理部 3 0 4は、 符号化対象ピクチャ T Pをダイ レク トモード により符号化するときには、 図 2 3の （ d ) に示すように、 符号化対象 ピクチャ T Pよりも表示順が後にある参照ピクチャ、 例えば参照ピクチ ャ R P 5に対して第 2参照インデックスの 0が割り当てられるようにリ マッピング情報を生成する。 また、 管理部 3 0 4は、 図 2 3の （ b ) に 示すように、 第 2参照インデックスの 0がデフォルトで割り当てられる 参照ピクチャ R P 4に対しては、 その第 2参照インデックス Γ 0」 が変 更されないようにリマッピング情報を生成しても良い。
このように、 本実施の形態では、 ダイ レク トモードの補間予測により 符号化対象ブロックを符号化するときには、 符号化対象ピクチャよりも 表示順が後にある参照ピクチャに対して第 2参照インデックスの 0が割 リ当てられ、 その第 2参照インデックス 「0」 の参照ピクチャを第 2参 照ピクチャとして利用されるため、符号化効率を向上することができる。 図 2 4は、 本実施の形態における動作の一例を示すフロー図である。 まず、 画像符号化装置 3 0 0は、 上述のシーンチェンジ情報が管理部 3 0 4に取得されたか否かに応じて、 シーンチェンジの有無を判別する (ステップ S 3 0 0 )。
ここで、 シーンチェンジが有ったと判別すると （ステップ S 3 0 0の Y )、画像符号化装置 3 0 0は、長時間メモリにある参照ピクチャに第 1 参照インデックスの 0が優先的に割り当てられるように、 且つ、 符号化 対象ピクチャよりも後にある何れかの参照ピクチャに対して第 2参照ィ ンデックスの 0が割り当てられるようにリマッピングを行う （ステップ S 3 0 2 )。 また、 画像符号化装置 3 0 0は、 シーンチェンジがなかつた と判別したときには（ステップ S 3 0 0の Ν )、 リマッピングをすること なくデフォルトで第 1 参照インデックス及び第 2参照インデックスを割 リ当てる （ステップ S 3 0 4 )。
次に、 画像符号化装置 3 0 0は、 上述のように割り当てられた第 1参 照インデックス及び第 2参照インデックスに基づいて、 第 1参照ピクチ ャ及び第 2参照ピクチャを特定して、 これらの参照ピクチャに基づいて 予測画像を生成する （ステップ S 3 0 6 )。
そして、 画像符号化装置 3 0 0は、 予測画像から予測誤差を生成して (ステップ S 3 0 8 )、 これを符号化する （ステップ S 3 1 0 )。 (変形例）
ここで、 本実施の形態における管理部についての変形例について説明 する。
図 2 5は、 本実施の形態の変形例に係る画像符号化装置 3 0 0 ' の構 成を示す構成図である。
この変形例に係る画像符号化装置 3 0 0 ' は、 上述の画像符号化装置 3 0 0と同様、 画像符号化部 1 0 2、 画像復号化部 1 0 4、 及び管理部 3 0 4 ' などを備えている。
ここで、 上記本実施の形態では、 ダイレク トモードの補間予測により 符号化対象プロックを符号化するときには、 符号化対象ピクチャよりも 表示順が後にある参照ピクチャに対して第 2参照インデックスの 0が割 リ当てられる。 つまり、 符号化対象ピクチャよりも表示順が前になつた ことがある参照ピクチヤに対して、 第 2参照インデックスの 0が割り当 てられるのが管理部 3 0 4 ' により禁止されることとなる。 その結果、 符号化対象ピクチャよりも表示順が前になつたことがある参照ピクチャ のブロックの符号化に用いた第 1動きべク トルは、 スケーリング用べク トルとして用いられることはない。
そこで、 本変形例では、 符号化対象ピクチャよりも表示順が前になつ たことがある参照ピクチヤのブロックの第 1 動きべク トルを、 符号化対 象ピクチャの符号化のためにわざわざべク トル用バッファ 1 1 4に保存 しておく処理を省いて、 符号化効率を向上することができる。 即ち、 本 変形例では、 画像符号化装置 3 0 0 ' の管理部 3 0 4 ' は、 一度表示順 で符号化対象ピクチャよりも前になつた参照ピクチャの第 1 動きべク ト ルをべク トル用バッファ 1 1 4から削除する。
これにより、 本変形例では、 符号化処理に不要な動きべク トルがべク 卜ル用バッファ 1 1 4に保存されるのを防いで、 ベク トル用バッファ 1 1 4の記憶容量を小さくすることができる。
(実施の形態 6 )
本発明の実施の形態 6における画像復号化装置について、 以下図面を 参照しながら説明する。
図 2 6は、実施の形態 6における画像復号化装置のプロック図である。 この画像復号化装置 3 5 0は、 実施の形態 5の変形例に係る画像符号 化装置 3 0 0 ' から出力される画像符号化信号 B S 2に対して復号処理 を行うものであって、 実施の形態 2と同様、 可変長復号部 1 5 1 と、 画 像復号部 1 5 2と、 加算器 1 5 3と、 スィッチ 1 5 5 , 1 5 6と、 ダイ レク トモー ド処理部 1 5 4と、 画素補間部 1 5 7 と、 マルチフレームバ ッファ 1 5 8と、 ベク トル用バッファ 1 6 0とを備えるとともに、 さら に管理部 3 5 4を備えている。
この画像復号化装置 3 5 0は、 実施の形態 2においてピクチャ選択部 1 5 9が常に 0を示す第 2参照インデックス r R I 2をべク トル用バッ ファ 1 6 0に対して出力しているのと同様の構成を有する。
また、 可変長復号部 1 5 1 は、 画像符号化信号 B S 2を取得して、 そ の画像符号化信号 B S 2にリマッピング情報が含まれていれば、 マルチ フレームバッファ 1 5 8に対し、 第 1参照インデックス R I 1 ( r R I 1 ) 及び第 2参照インデックス R I 2 ( r R I 2 ) により示されるピク チヤを、 そのリマッピング情報に基づいて特定させる。
ここで、 管理部 3 5 4は、 マルチフ レームバッファ 1 5 8に格納され ている参照ピクチャを監視しており、 一度表示順で復号対象ピクチャよ リも前になつた参照ピクチャの第 1 動きべク トル M V 1 をべク トル用バ ッファ 1 6 0から削除する。
これにより、本実施の形態においても、実施の形態 5の変形例と同様、 復号処理に不要な動きべク トルがべク トル用バッファ 1 6 0に保存され るのを防いで、 べク トル用バッファ 1 6 0の記憶容量を小さくすること ができる。
(実施の形態 7 )
図 2 7は、実施の形態 7における画像符号化装置のブロック図である。 ここで、 図 2 7中に示すユニッ ト及ぴ信号のうち、 図 8に示す従来の 画像符号化装置 9 0 0のュニッ ト及ぴ信号と同様のものに対しては、 画 像符号化装置 9 0 0のュニッ 卜及び信号の符号と同一の符号を付して、 説明を省略する。
本実施の形態の特徴は、 第 1参照ピクチャ選択部 6 0 1 が、 ダイレク 卜モード時に符号化対象ピクチャ内のブロックに共通して使用する第 1 参照ピクチャを選択する点である。 これにより、 ダイレク トモー ドにお いてスケーリング用べク 卜ルの参照先となる第 1参照ピクチャを所定の 参照ピクチャに共通化させる。
図 2 8は実施の形態 7のダイレク トモードの概念図である。
この図 2 8では、 参照ピクチャ R P 1 を、 ダイレク トモ一ド時に共通 に使用される第 1参照ピクチャと している。 つまり、 ブロック B O Oの 第 1 動きべク トル M V 1 0は參照ピクチャ R P nを参照先としているが, ダイ レク トモードが適用されるブロック B Oの第 1 動きべク トル M V O 1 は上述の参照ピクチャ R P 1 を参照先とする。
即ち、 近似的に得られる共通の参照ピクチャ R P 1 上のブロック B 1 に基づく動きべク トル M V Oをスケーリング用べク トルとし、 そのスケ —リング用ベク トルに対するスケーリングに基づき、 符号化対象ピクチ ャ T P上のブロック B Oの符号化に用いる動きべク トル MV O 1 ， M V 0 2を導出する。 言い換えれば、 符号化対象ピクチャ T P上のブロック B Oの、 ピクチャ R P 1 上のブロック R B O 1 に基づく動きべク トル M V 0 1 と、 ピクチャ R P 3上のブロック R B 0 2に基づく動きべク トル M V 0 2とは、 動きべク トル M V Oをスケーリング用べク トルと して用 いることにより求められる。
なお、 本実施の形態では、 ダイ レク トモード処理部 9 1 0 ' が上述の ようなダイレク トモ一ドによる処理を行う。
また、 従来では、 動きべク トル M V 1 0の参照先となる参照ピクチャ R P nを識別するための情報がスケーリングするために必要であり、 そ の情報がメモリ上に保存される必要があった。 ここで、 動きベク トル MV 0 1 , MV 0 2の算出の仕方を、 図 2 9を 用いて説明する。
図 2 9は、 動きベク トル M V 0 1 , MV 0 2の算出過程を示すフロー 図である。
まず、 画像符号化装置 6 0 0は、 第 1参照ピクチャ R P 1 上で、 プロ ック B O Oの動きべク トル MV 1 0の参照先となるブロック B n と同じ 位置にあるブロック B 1 を求める （ステップ S 1 ) 。
次に、 画像符号化装置 6 0 0は、 ブロック B O Oからブロック B 1 に 対する動きべク 卜ル MV 0をスケーリング用べク トルとする （ステップ S 2 )
そして、 画像符号化装置 6 00は、 このスケーリング用ベク トル MV 0から、 動きベク トル MV 0 1 , MV 0 2を求める （ステップ S 3 ) 。 このように、 動きベク トル M V 1 0の参照先となる参照ピクチャに関 わらず、 ダイレク トモードの第 1参照ピクチャを 1 つのピクチャに共通 化すると、 べク 卜ル用バッファ 9 1 4には動きべク トル MV 1 0の参照 先となる参照ピクチャのピクチャ番号 （図 2 8では参照ピクチャ R P n のピクチャ番号が該当する） を格納する必要がなくなる。 その代わり、 図 2 7に示すように、 第 1参照ピクチャ選択部 6 0 1 は、 ダイレク トモ ード時に共通に使用される第 1参照ピクチャを選択し、 その第 1參照ピ クチャの第 1参照インデックス r R I 1 を出力する。 なお、 ダイ レク 卜 モード時に共通に使用される第 1参照ピクチャの選択方法は、 例えば、 符号化対象ピクチヤより表示順が前で、 第 1参照ィンデックスが最小の 参照ピクチャを選択する。
以上のように、 本実施の形態によれば、 ダイ レク トモードで符号化さ れるピクチャ内の全ブロックに対し第 1参照ピクチャを共通にすること で、 スケーリング用べク トルの参照先となる参照ピクチャを識別する情 報をメモリ上に保存しておく必要がなくなる。 つまり、 メモリ量を削減 することができる。 また、 ダイ レク トモードで符号化されるピクチャ内 の全ブロックに対し第 1 参照ピクチャを共通にすることにより、 符号化 処理を簡略化して符号化効率を向上することができる。 なお、 第 1動き ベク トルが参照するピクチャを識別する情報とは、 例えば図 1 3に示す ピクチャ番号であるが、 動きべク トルの参照先となるピクチャを一意に 決めることができる情報であれば、 他の情報であっても良い。
なお、 本実施の形態では、 符号化対象ピクチャより表示順が前で、 第 1参照インデックスが最小の参照ピクチャを、 ダイ レク トモ一ド時に共 通に使用される第 1参照ピクチャとして選択したが、 符号化対象ピクチ ャよリ表示順が前で、 符号化対象ピクチャに最も表示順が近い参照ピク チヤを、 上記第 1参照ピクチャとして選択しても良い。
また、 本実施の形態では、 Bピクチャである符号化対象ピクチャが参 照する参照ピクチャのうち少なく とも 1 つをその符号化対象ピクチャよ リ前方のものとすることにより、 符号化対象ピクチャより後方のピクチ ャのみを参照する可能性がなくなリ、 符号化効率を高める可能性を上げ ることができる。
さらに、 本実施の形態では、 第 2参照ピクチャを実施の形態 1 のよう に選択しても良い。 この場 には、 実施の形態 1 で示した符号化方法と 本実施の形態で示した符号化方法とを組み合わせることにより、 符号化 効率をより高めることができる。 - また、 本実施の形態では、 ダイ レク トモ一ド処理部 9 1 0 ' は、 ダイ レク トモ一ド用スケーリング係数 S Pを用いてスケーリ ング用べク トル r M Vに対するスケーリングを行ったが、 上記他の実施の形態と同様、 表示時刻情報を用いてスケーリング用べク トル r M Vに対するスケーリ ングを行っても良い。 この場合、 図 2 8を用いて説明すると、 動きべク トル M V 0ではなく動きべク トル M V 1 0がスケーリング用べク トルと して用いられる。 つまり、 ピクチャ R P 3とピクチャ R P nの表示時刻 差に対する、ピクチャ T Pとピクチャ R P nの表示時刻差の比に応じて、 動きベク トル MV 1 0がスケーリングされることで、 符号化対象ブロッ ク B 0の第 1 動きベク トル M V 0 1 が算出されるとともに、 ピクチャ R P 3とピクチャ R P nの表示時刻差に対する、 ピクチャ T Pとピクチャ R P 3の表示時刻差の比に応じて、 動きベク トル MV 1 0がスケ一リン グされることで、 符号化対象ブロック B Oの第 2動きべク トル MV 02 が算出される。
(実施の形態 8 )
図 3 0は、実施の形態 8における画像復号化装置のブロック図である。 ここで、 図 3 0中に示すユニッ ト及ぴ信号のうち、 図 9に示す従来の 画像符号化装置 9 5 0のュニッ 卜及ぴ信号と同様のものに対しては、 画 像符号化装置 9 5 0のュニッ ト及び信号の符号と同一の符号を付して、 説明を省略する。
本実施の形態の画像復号化装置 6 5 0は、 実施の形態 7で説明した画 像符号化装置 6 0 0が出力する画像符号化信号 B S 0を復号する。
第 1参照ピクチャ選択部 6 5 1 は、 図 2 7の第 1参照ピクチャ選択部 60 1 と同じ方法で第 1参照ピクチャを選択する。 そして、 第 1参照ピ クチャ選択部 6 5 1 は、 選択した第 1 参照ピクチャを示す第 1参照イン デックス r R I 1 をダイ レク トモー ド処理部 9 5 4 ' に出力する。
そして、 ダイ レク トモード処理部 9 5 4 ' は、 図 2 8に示すダイ レク 卜モードによる処理を実行する。
このように、 ピクチャ内に含まれる全てのダイ レク トモードで符号化 されるブロックに対し第 1参照ピクチャを共通にすることにより、 ダイ レク トモ一ド用に参照ピクチャを識別する情報を保持する必要がなくな る。 また、 従来と比べてベク トル用バッファ 9 6 0のメモリ量を削減で きる。
以上のように本実施の形態によれば、 実.施の形態 7の画像符号化装置 6 0 0で符号化した画像符号化信号 B S Oを正しく復号できる。 また、 実施の形態 7で説明した効果と同様の効果を得ることができる。
(実施の形態 9 )
図 3 1 は、 実施の形態 9の画像符号化装置のプロック図である。
ここで、 図 3 1 中に示すユニッ ト及び信号のうち、 図 8に示す従来の 画像符号化装置 9 0 0のュニッ ト及ぴ信号と同様のものに対しては、 画 像符号化装置 9 0 0のュニッ ト及び信号の符号と同一の符号を付して、 説明を省略する。
実施の形態 7では、 ダイレク トモード時に共通に使用される第 1参照 ピクチャを画像符号化装置 6 0 0及び画像復号化装置 6 5 0で予め決め られた同一の方法によリ選択し、 画像符号化信号 B S 0中に選択した第 1参照ピクチャを示す情報を格納しなかった。一方、本実施の形態では、 選択した第 1参照ピクチャの第 1 参照インデックスを画像符号化信号中 に格納する。
つまり、 実施の形態 7 と実施の形態 9との違いは以下の通りである。 実施の形態 7では、 画像符号化装置 6 0 0にダイ レク トモ一ド時の第 1 参照ピクチャを一意に決定するための手順を保持させ、 同様の手順を実 施の形態 8の画像復号化装置 6 5 0にも保持させることによって、 ダイ レク トモード時の第 1参照ピクチャを一意に決定させていた。 一方、 実 施の形態 9では、 ダイ レク トモ一ド時の第 1参照ピクチャを一意に決定 するための情報を画像符号化信号に含めることによって、 その画像符号 化信号を復号する画像復号化装置及び画像符号化装置 7 0 0の相互間に おいて、 ダイ レク トモ一ド時の第 1 参照ピクチャを一意に決定させる。 第 1参照ピクチャ選択部 7 0 1 は、 参照ピクチャの中からダイ レク ト モードの第 1参照ピクチャを選択し、 選択した参照ピクチャを示す第 1 参照インデックス r R I 1 をダイレク トモード処理部 9 1 0 ' と可変長 符号化部 9 0 3 とに出力する。
可変長符号化部 9 0 3は、 残差符号化信号 E R、 第 1 参照インデック ス R I 1 、 第 2参照インデックス R I 2、 第 1 動きベク トル MV 1 、 第 2動きベク トル M V 2、 ダイレク 卜モード用スケーリング係数 S P、 種 別情報 P T、 第 1参照ピクチャ選択部 7 0 1 から出力された第 1 参照ィ ンデックス r R I 1 を可変長符号化し、 画像符号化信号 B S 3と して出 力する。 ここで、 ダイレク トモード処理部 9 1 0 ' での処理に、 ダイ レ ク トモード用スケーリング係数 S Pが用いられずに、 表示時刻情報が用 いられたときには、 可変長符号化部 9 0 3は、 ダイレク トモード用スケ 一リング係数 S Pを可変長符号化することなく、 上述のスケーリングに 用いた表示時刻情報を可変長符号化して、 その可変長符号化された表示 時刻情報を画像符号化信号 B S 3に含める。
図 3 2は、 実施の形態 9の画像符号化信号 B S 3のフォーマツ トであ る。
画像符号化信号 B S 3のフォーマツ 卜は、 図 6に示す従来の画像符号 化装置 9 0 0の画像符号化信号 B S 0のフォーマッ トとへッダのみが異 なる。
第 1参照インデックス r R I 1 は、 ピクチャ内の全てのダイレク トモ —ドのブロックに対し同じ値を持つとする。 従って、 第 1参照インデッ クス r R I 1 は 1 ピクチャに対し 1 回のみ符号化すれば十分である。 そ こで、 可変長符号化部 9 0 3は、 第 1参照インデックス r R I 1 を符号 化して、 符号化された第 1 参照インデックス r R I 1 を、 第 1 インデッ クス情報 5 2として画像符号化信号 B S 3のヘッダ 5 1 に含める。なお、 図 3 2中に示す第 1 時間差情報 4及び第 2時間差情報 5並びに時間差情 報 6の代わりに表示時間情報がヘッダ 5 1 に含まれていても良い。 この 画像符号化信号 B S 3を復号する画像復号化装置は、 画像符号化信号 B S 3の中から第 1 インデックス情報 5 2に基づく第 1参照インデックス r R I 1 を取得することによリ、 ダイ レク トモード時の第 1参照ピクチ ャを特定することができる。
このように、 本実施の形態によれば、 ダイ レク トモー ドで符号化され るピクチャ内の全てのブロックに対し第 1参照ピクチャを共通にするこ とで、 スケーリ ング用べク トルの参照先となる参照ピクチャを識別する 情報を保存しておく必要がなくなる。 つまり、 べク トル用バッファ 9 1 4のメモリ量を従来と比べて削減することができる。 また、 ダイ レク ト モードで符号化されるピクチャ内の全ブロックに対し第 1参照ピクチャ を共通にすることにより、 符号化処理を簡略にできる。 また、 ダイレク 卜モードに用いられる第 1 参照ピクチャを示す情報を符号化して画像符 号化信号 B S 3に含めることにより、 符号化処理と復号処理との整合性 をとることができる。
なお、 符号化対象ピクチャより表示順が前で、 第 1参照インデックス が最小の参照ピクチャを、 ダイ レク トモ一ド時に共通に使用される第 1 参照ピクチャと して選択しても良い。
また、 本実施の形態では、 Bピクチャである符号化対象ピクチャが参 照する参照ピクチヤのうち少なく とも 1 つを符号化対象ピクチャよリ前 方のものとすることにより、 符号化対象ピクチャより後方のピクチャの みを参照する可能性がなくなリ、 符号化効率を高めることができる。
さらに、 本実施の形態では、 第 2参照ピクチャを実施の形態 3のよう に選択しても良い。 この場合には、 第 1参照インデックス r R I 1 が符 号化された第 1 インデックス情報 5 2と、 第 2参照ィンデックス r R 1 2が符号化された第 2インデックス情報とが、 図 3 2に示すヘッダ 5 1 に含まれる。また、画像符号化信号 B S 3を復号する画像復号化装置は、 画像符号化信号 B S 3の中から、 この第 1 インデックス情報 5 2により 示される第 1参照インデックス r R I と、 第 2インデックス情報により 示される第 2参照インデックス r R 2とを取得することにより、 ダイ レ ク 卜モ一ド時の第 1 参照ピクチャと第 2参照ピクチャとを特定すること ができる。
また、 本実施の形態における画像符号化信号 B S 3のフォーマツ 卜で は、 第 1 参照ィンデックス r R I 1 が符号化された第 1 ィンデックス情 報 5 2を、 ピクチャ単位のヘッダ 5 1 に含めたが、 例えば、 M P E Gの スライス構造のようにピクチャより小さな符号化単位のヘッダや、 M P E Gの G O P ( G roup of P i ctur e) のように複数のピクチャからなる符 号化単位のヘッダや、 シーケンス全体のヘッダに格納してもよい。 (実施の形態 1 0 )
図 3 3は、 実施の形態 1 0における画像復号化装置のプロック図であ る。
ここで、 図 3 3中に示すユニッ ト及び信号のうち、 図 9に示す従来の 画像復号化装置 9 5 0のュニッ ト及ぴ信号と同様のものに対しては、 画 像復号化装置 9 5 0のュニッ ト及び信号の符号と同一の符号を付して、 説明を省略する。
本実施の形態の画像復号化装置 7 5 0は、 実施の形態 9で説明した画 像符号化装置 7 0 0が出力する画像符号化信号 B S 3、 つまり、 ダイレ ク トモー ド時に共通に使用される第 1参照ピクチャの第 1参照インデッ クスを示す情報が含まれた画像符号化信号を復号する。
可変長復号部 9 5 1 は、 画像符号化信号 B S 3を取得して、 これに対 して可変長復号を行い、 残差符号化信号 E R、 第 1参照インデックス R I 1 、 第 2参照インデックス R I 2、 第 1動きベク トル M V 1 、 第 2動 きベク トル M V 2、 ダイレク トモ一ド用スケーリング係数 S P、 種別情 報 P T、 及びダイレク トモード用の第 1参照インデックス r R I 1 を出 力する。 ここで、 画像符号化信号 B S 3に、 符号化されたダイレク トモ ードスケーリング係数 S Pが含まれずに、 符号化された表示時刻情報が 含まれているときには、 可変長復号部 9 5 1 は、 ダイ レク トモ一ド用ス ケーリング係数 S Pの代わリに表示時刻情報を出力する。
ダイ レク トモード用の第 1 参照インデックス r R I 1 は、 ダイ レク ト モード時に共通して使用される第 1参照ピクチャを示す。 よって、 べク トル用バッファ 9 6 0は、 ダイレク トモード用に参照ピクチャを識別す るための情報を保持する必要がないため、 べク トル用バッファ 9 6 0の メモリ量を従来と較べて削減することができる。
以上のように本実施の形態によれば、 実施の形態 9の画像符号化装置 7 0 0から出力される画像符号化信号 B S 3を正しく復号できる。また、 ダイ レク トモ一ドで符号化されるピクチャ内の全ブロックに対し第 1参 照ピクチャを共通にすることで、 スケーリング用べク トルの参照先とな る参照ピクチャを識別する情報をメモリ上に保存しておく必要がなくな る。 つまり、 ベク トル用バッファ 9 6 0のメモリ量を従来と較べて削減 することができる。 また、 実施の形態 9で説明した効果と同様の効果を 得ることができる。
(実施の形態 1 1 )
さらに、 上記各実施の形態で示した画像符号化方法及び画像復号化方 法を実現するためのプログラムを、 フレキシブルディスク等の記憶媒体 に記録するようにすることにより、 上記各実施の形態で示した処理を、 独立したコンピュータシステムにおいて簡単に実施することが可能とな る。 図 3 4は、 実施の形態 1 〜 1 0の画像符号化方法及び画像復号化方法 をコンピュータシステムにより実現するためのプログラムを格納する記 憶媒体についての説明図である。 z
図 3 4中の（ b )は、フレキシブルディスク F Dの正面からみた外観、 断面構造、 及びディスク本体 F D 1 を示し、 図 3 4中の （ a ) は、 記録 媒体の本体であるディスク本体 F D 1 の物理フォーマツ 卜の例を示して いる。
ディスク本体 F D 1 はケース F内に内蔵され、 ディスク本体 F D 1 の 表面には、 同心円状に外周からは内周に向かって複数の トラック T rが 形成され、各トラックは角度方向に 1 6のセクタ S eに分割されている。 従って、 上記プログラムを格納したフレキシブルディスク F Dでは、 上 記ディスク本体 F D 1 上に割り当てられた領域に、 上記プログラムと し ての画像符号化方法や画像復号化方法が記録されている。
また、 図 3 4中の （ c ) は、 フレキシブルディスク F Dに上記プログ ラムの記録再生を行うための構成を示す。
上記プログラムをフレキシブルディスク F Dに記録する場合は、 コン ピュータシステム C sが上記プログラムとしての画像符号化方法または 画像復号化方法をフレキシブルディスク ドライブ F D Dを介して書き込 む。 また、 フレキシブルディスク F D内のプログラムにより上記画像符 号化方法又は画像復号化方法をコンピュータシステム C s中に構築する 場合は、 フレキシブルディスク ドライブ F D Dによりプログラムがフレ キシブルディスク F Dから読み出され、 コンピュータシステム C sに転 送される。
なお、 上記説明では、 記録媒体としてフレキシブルディスク F Dを用 いて説明を行ったが、 光ディスクを用いても同様に行うことができる。 また、 記録媒体はこれに限らず、 I Cカード、 R O Mカセッ ト等、 プロ グラムを記録できるものであれば同様に実施することができる。
(実施の形態 1 2 )
さらにここで、 上記実施の形態で示した画像符号化方法や画像復号化 方法の応用例とそれを用いたシステムを説明する。
図 3 5は、 コンテンツ配信サービスを実現するコンテンツ供給システ ム ex 1 0 0の全体構成を示すブロック図である。通信サービスの提供ェ リアを所望の大きさに分割し、 各セル内にそれぞれ固定無線局である基 地局 ex 1 0 7 ~ex 1 1 0が設置されている。
このコ ンテンツ供給システム ex 1 0 0は、例えば、 イ ンターネッ ト ex 1 0 1 にインタ一ネッ トサービスプロバイダ ex l 0 2および電話網 ex 1 0 4、 および基地局 ex 1 0 7〜ex 1 1 0を介して、 コンピュータ ex 1 1 1 、 P D A (personal digital assistant) ex 1 1 2、 カメラ ex1 1 3、 携帯電話 ex l 1 4、 カメラ付きの携帯電話 e x 1 1 5などの各機 器が接続される。
しかし、 コンテンツ供給システム ex 1 0 0は図 3 5のような組合せに 限定されず、いずれかを組み合わせて接続するようにしてもよい。また、 固定無線局である基地局 ex l 0 7 〜ex 1 1 0を介さずに、各機器が電話 網 ex l 0 4に直接接続されてもよい。
カメラ ex l 1 3はデジタルビデオカメラ等の動画撮影が可能な機器 である。 また、 携帯電話は、 P D C (Personal Digital Communications) 方式、 C D M A (Code Division Multiple Access) 方式、 W— C D M A ( Wi deband-Code Division Multiple Access) 方式、 若し く （ま G S M (Global System for Mobi le Communications) 方式の携帯電話機、 また は P H S (Persona I Handyphone System) 等であり、 しゝずれでも構わな しヽ
また、 ス トリ一ミングサーバ ex 1 0 3は、 カメラ ex 1 1 3から基地局 ex 1 0 9、電話網 ex 1 0 4を通じて接続されており、 カメラ ex 1 1 3を 用いてユーザが送信する符号化処理されたデータに基づいたライブ配信 等が可能になる。撮影したデータの符号化処理はカメラ ex l 1 3で行つ ても、 データの送信処理をするサーバ等で行ってもよい。 また、 カメラ ex 1 1 6で撮影した動画データはコンピュータ ex l 1 1 を介してス ト リ一ミングサーバ ex l 0 3に送信されてもよい。力メラ ex 1 1 6はデジ タルカメラ等の静止画、 動画が撮影可能な機器である。 この場合、 動画 データの符号化はカメラ ex l 1 6で行ってもコンピュータ ex l 1 1 で 行ってもどちらでもよい。 また、 符号化処理はコンピュータ ex 1 1 1 や カメラ ex 1 1 6が有する L S I ex 1 1 7において処理することになる。 なお、 画像符号化■復号化用のソフ トウエアをコンピュータ ex 1 1 1等 で読み取り可能な記録媒体である何らかの蓄積メディア（ C D— R O M、 フレキシブルディスク、 ハードディスクなど） に組み込んでもよい。 さ らに、 カメラ付きの携帯電話 ex l 1 5で動画データを送信してもよい。 このときの動画データは携帯電話 ex l 1 5が有する L S I で符号化処 理されたデータである。
このコンテンッ供給システム ex 1 0 0では、ユーザが力メラ ex 1 1 3 , カメラ ex 1 1 6等で撮影しているコンテンツ （例えば、 音楽ライブを撮 影した映像等） を上記実施の形態同様に符号化処理してス トリーミング サーバ ex 1 0 3に送信する一方で、ス トリーミングサーバ ex l 0 3は要 求のあったクライアン トに対して上記コンテンツデータをストリーム配 信する。 クライアントとしては、 上記符号化処理されたデータを復号化 することが可能な、 コンピュータ ex l 1 1 、 P D A ex 1 1 2、 カメラ ex 1 1 3、 携帯電話 ex 1 1 4等がある。 このようにすることでコンテンツ 供給システム ex 1 0 0は、 符号化されたデータをクライアントにおいて 受信して再生することができ、 さらにクライアントにおいてリアルタイ ムで受信して復号化し、 再生することにより、 個人放送をも実現可能に なるシステムである。
このシステムを構成する各機器の符号化、 復号化には上記各実施の形 態で示した画像符号化装置ある は画像復号化装置を用いるようにすれ ぱよい。
その一例として携帯電話について説明する。
図 3 6は、 上記実施の形態で説明した画像符号化方法と画像復号化方 法を用いた携帯電話 ex l 1 5を示す図である。携帯電話 ex1 1 5は、基 地局 exl 1 0との間で電波を送受信するためのアンテナ ex 2 0 1 、 C C Dカメラ等の映像、 静止画を撮ることが可能な力メラ部 ex 20 3、 カメ ラ部 ex2 0 3で撮影した映像、アンテナ ex20 1 で受信した映像等が復 号化されたデータを表示する液晶ディスプレイ等の表示部 ex 2 0 2、操 作キー e X 2 04群から構成される本体部、 音声出力をするためのスピ —力等の音声出力部 ex 2 0 8、音声入力をするためのマイク等の音声入 力部 ex 2 0 5、 撮影した動画もしくは静止画のデータ、 受信したメール のデータ、 動画のデータもしくは静止画のデータ等、 符号化されたデ一 タまたは復号化されたデータを保存するための記録メディア ex 2 0 7、 携帯電話 exl 1 5に記録メディア ex 20 7を装着可能とするためのス ロッ ト部 ex 2 0 6を有している。記録メディア ex 2 0 7は S Dカード等 のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモ リである E E P R OM ( El ectr i ca I I y Erasab le and Programmab I e Read On I y Memory) の一種 、あるフラッシュメモリ素子を格納したものである, さらに、 携帯電話 exl 1 5について図 3 7を用いて説明する。 携帯電 話 exl 1 5は表示部 ex 2 0 2及び操作キー e x 2 0 4を備えた本体部 の各部を統括的に制御するようになされた主制御部 ex 3 1 1 に対して、 電源回路部 ex 3 1 0、 操作入力制御部 ex 3 04、 画像符号化部 ex 3 1 2、 カ メ ライ ンタ ーフ ェース部 ex 3 0 3、 L C D (Liquid Crystal Display) 制御部 ex3 0 2、 画像復号化部 ex3 0 9、 多重分離部 ex 3 0 8、 記録再生部 ex 30 7、 変復調回路部 ex3 0 6及び音声処理部 ex 3 0 5が同期バス ex 3 1 3を介して互いに接続されている。
電源回路部 ex3 1 0は、ユーザの操作によリ終話及び電源キーがオン 状態にされると、 バッテリパックから各部に対して電力を供給すること によリカメラ付ディジタル携帯電話 ex1 1 5を動作可能な状態に起動 する。
携帯電話 ex1 1 5は、 C P U、 R OM及び R AM等でなる主制御部 ex 3 1 1 の制御に基づいて、音声通話モード時に音声入力部 ex 2 0 5で集 音した音声信号を音声処理部 ex 3 0 5によってディジタル音声データ に変換し、 これを変復調回路部 ex 3 0 6でスぺク トラム拡散処理し、 送 受信回路部 ex 3 0 1 でディジタルアナログ変換処理及び周波数変換処 理を施した後にアンテナ ex 20 1 を介して送信する。また携帯電話機 ex 1 1 5は、音声通話モード時にアンテナ ex 2 0 1 で受信した受信データ を増幅して周波数変換処理及びアナ口グディジタル変換処理を施し、 変 復調回路部 ex 3 0 6でスぺク トラム逆拡散処理し、音声処理部 ex 30 5 によってアナログ音声データに変換した後、 これを音声出力部 ex 2 0 8 を介して出力する。
さらに、 データ通信モード時に電子メールを送信する場合、 本体部の 操作キー e X 20 4の操作によって入力された電子メールのテキス トデ ータは操作入力制御部 ex3 0 4を介して主制御部 ex 3 1 1 に送出され る。主制御部 ex 3 1 1 は、 テキス 卜データを変復調回路部 ex 3 0 6でス ぺク トラム拡散処理し、送受信回路部 ex 3 0 "1 でディジタルアナログ変 換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して基 地局 ex 1 1 0へ送信する。 データ通信モー ド時に画像データを送信する場合、 カメラ部 ex 2 03 で撮像された画像データをカメラインタ一フ Iース部 ex 3 0 3を介し て画像符号化部 ex 3 1 2に供給する。 また、 画像データを送信しない場 合には、 カメラ部 ex 2 0 3で撮像した画像データをカメラインターフェ ース部 ex 3 0 3及ぴ L C D制御部 ex 3 0 2を介して表示部 ex 20 2に 直接表示することも可能である。
画像符号化部 ex 3 1 2は、本願発明で説明した画像符号化装置を備え た構成であり、 カメラ部 ex 20 3から供給された画像データを上記実施 の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化 することにより符号化画像データに変換し、 これを多重分離部 ex 3 0 8 に送出する。 また、 このとき同時に携帯電話機 ex 1 1 5は、 カメラ部 ex
203で撮像中に音声入力部 ex2 0 5で集音した音声を音声処理部 ex
3 0 5を介してディジタルの音声データ として多重分離部 ex3 0 8に 出 る。
多重分離部 ex 3 0 8は、画像符号化部 ex 3 1 2から供給された符号化 画像データ と音声処理部 ex 3 0 5から供給された音声データとを所定 の方式で多重化し、 その結果得られる多重化データを変復調回路部 ex 3 0 6でスぺク 卜ラム拡散処理し、送受信回路部 ex 3 0 1 でディジタルァ ナログ変換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を 介して送信する。
データ通信モー ド時にホームページ等にリンクされた動画像ファイル のデータを受信する場合、アンテナ ex2 0 1 を介して基地局 ex 1 1 0か ら受信した受信データを変復調回路部 ex 3 0 6でスぺク トラム逆拡散 処理し、その結果得られる多重化データを多重分離部 ex3 0 8に送出す る。
また、アンテナ ex 20 1 を介して受信された多重化データを復号化す るには、 多重分離部 ex 3 0 8は、 多重化データを分離することにより画 像データのビッ トス トリ一ムと音声データのビッ トス トリ一ムとに分け, 同期バス ex 3 1 3を介して当該符号化画像データを画像復号化部 ex 3 0 9に供給すると共に当該音声データを音声処理部 ex 3 0 5に供給す る。
次に、 画像復号化部 ex 3 0 9は、 本願発明で説明した画像復号化装置 を備えた構成であリ、 画像データのビッ トス トリ一ムを上記実施の形態 で示した符号化方法に対応した復号化方法で復号することによリ再生動 画像データを生成し、 これを L C D制御部 ex 3 0 2を介して表示部 ex 2 0 2に供給し、 これにより、 例えばホームページにリンクされた動画 像ファイルに含まれる動画データが表示される。 このとき同時に音声処 理部 ex 3 0 5は、 音声データをアナログ音声データに変換した後、 これ を音声出力部 ex 2 0 8に供給し、 これにより、 例えばホームページにリ ンクされた動画像ファイルに含まる音声データが再生される。
なお、 上記システムの例に限られず、 最近は衛星、 地上波によるディ ジタル放送が話題となっておリ、 図 3 8に示すようにディジタル放送用 システムにも上記実施の形態の少なく とも画像符号化装置または画像復 号化装置のいずれかを組み込むことができる。 具体的には、 放送局 ex 4 0 9では映像情報のビッ トス トリームが電波を介して通信または放送衛 星 ex 4 1 0に伝送される。 これを受けた放送衛星 ex 4 1 0は、放送用の 電波を発信し、 この電波を衛星放送受信設備をもつ家庭のアンテナ ex 4 0 6で受信し、 テレビ （受信機） ex 4 0 1 またはセッ ト トップボックス ( S T B ) ex 4 0 7などの装置により ビッ トス トリ一ムを復号化してこ れを再生する。 また、 記録媒体である CDや DVD等の蓄積メディア ex 4 0 2に記録したビッ トス トリームを読み取リ、復号化する再生装置 ex 4 0 3にも上記実施の形態で示した画像復号化装置を実装することが可能 である。この場合、再生された映像信号はモニタ ex 4 0 4に表示される。 また、ケーブル亍レビ用のケーブル ex4 0 5または衛星 Z地上波放送の アンテナ ex4 0 6に接続されたセッ ト トップボックス ex 4 0 7内に画 像復号化装置を実装し、 これをテレビのモニタ ex4 0 8で再生する構成 も考えられる。 このときセッ ト トップボックスではなく、 テレビ内に画 像復号化装置を組み込んでも良い。 また、 アンテナ ex4 1 1 を有する車 ex4 1 2で衛星 ex4 1 0からまたは基地局 ex 1 0 7等から信号を受信 し、車 ex 4 1 2が有するカーナビゲーション ex 4 1 3等の表示装置に動 画を再生することも可能である。
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、 記録媒体に記録することもできる。 具体例と しては、 DVD ディスク e X 4 2 1 に画像信号を記録する DVD レコーダや、 ハードディスクに記録す るディスク レコーダなどのレコーダ e x4 2 0がある。 更に SDカード e X 4 2 2に記録することもできる。 レコーダ e x 4 2 0が上記実施の形 態で示した画像複号化装置を備えていれば、 DVD ディスク e x 4 2 1 や SDカード e x 4 2 2に記録した画像信号を再生し、 モニタ e x 4 0 8で 表示することができる。
なお、 力一ナビゲ一シヨン ex 4 1 3の構成は例えば図 3 7に示す構成 のうち、 カメラ部 ex 2 0 3 とカメラインタ一フェース部 ex 3 0 3、画像 符号化部 e X 3 1 2を除いた構成が考えられ、 同様なことがコンビユー タ ex 1 1 1 やテレビ （受信機） ex4 0 1 等でも考えられる。
また、 上記携帯電話 exl 1 4等の端末は、 符号化器 "復号化器を両方 持つ送受信型の端末の他に、 符号化器のみの送信端末、 復号化器のみの 受信端末の 3通りの実装形式が考えられる。
このように、 上記実施の形態で示した画像符号化方法あるいは画像復 号化方法を上述したいずれの機器 'システムに用いることは可能であり、 そうすることで、 上記実施の形態で説明した効果を得ることができる。 また、 本発明はかかる上記実施形態に限定されるものではなく、 本発 明の範囲を逸脱することなく種々の変形または修正が可能である。 産業上の利用の可能性
本発明に係る画像符号化方法及び画像復号化方法は、 動画像を符号化 する画像符号化装置及び符号化された動画像を復号する画像復号化装置 や、 これらの装置を備えたシステム、 例えばディジタル著作物などのコ ンテンッを供給するコンテンツ供給システムやディジタル放送用システ ムに用いるのに適している。

Claims

請 求 の 範 囲 1 . 既に符号化されたピクチャを参照することにより符号化対象のピ クチャをブロック毎に符号化する画像符号化方法であって、
前記符号化対象ピクチャよリも表示順が後の符号化済ピクチャの中か ら何れかを第 2参照ピクチャとして選択する第 2参照ピクチャ選択ス亍 ップと、
前記第 2参照ピクチャ内の所定のプロックの符号化に用いられた動き べク トルに基づいて、 符号化済ピクチャの中から何れかを第 1参照ピク チヤとして特定する第 1参照ピクチャ特定ステップと、
前記動きべク トルに基づいて、 第 1参照ピクチャ上のブロック及び第 2参照ピクチャ上のブロックを特定し、 前記両ブロックから画素補間に よリ予測画像を生成する予測画像生成ステツプと、
前記予測画像と符号化対象ブロックの画像との差分を符号化する符号 化ステップと、
前記第 2参照ピクチャを特定するための特定情報を、 前記符号化ステ ップの符号化結果とともに出力する出力ステップと
を含むことを特徴とする画像符号化方法。
2 . 前記出力ステップでは、
前記第 2参照ピクチャを指し示す第 2参照インデックスから前記特定 情報を構成して出力する
ことを特徴とする請求の範囲第 1 項記載の画像符号化方法。
3 . 前記出力ステップでは、
前記各符号化済ピクチャを識別するためにそれぞれに割リ当てられる 第 2参照インデックスの変更方法を示す情報を前記特定情報として出力 する
ことを特徴とする請求の範囲第 1 項記載の画像符号化方法。
4 . 既に符号化されたピクチャを参照することにより符号化対象のピ クチャをブロック毎に符号化する画像符号化方法であって、
前記符号化対象ピクチャよリも表示順が後の符号化済ピクチャのうち 前記各符号化済ピクチャを識別するためにそれぞれに割リ当てられる第 2参照インデックスが最小の符号化済ピクチャを、 第 2参照ピクチャと して選択する第 2参照ピクチャ選択ステップと、
前記第 2参照ピクチャ内の所定のブロックの符号化に用いられた動き べク トルに基づいて、 符号化済ピクチャの中から何れかを第 1参照ピク チヤとして特定する第 1 参照ピクチャ特定ステップと、
前記動きべク トルに基づいて、 第 1参照ピクチャ上のブロック及び第 2参照ピクチャ上のブロックを特定し、 前記両ブロックから画素補間に よリ予測画像を生成する予測画像生成ステツプと、
前記予測画像と符号化対象ブロックの画像との差分を符号化する符号 化ステップと、
を含むことを特徴とする画像符号化方法。
5 . 前記第 2参照ピクチャ選択ステップでは、
前記第 2インデックスの割り当て方を示す内容の割当情報に基づいて 前記第 2参照ィンデックスが最小の符号化済ピクチャを特定し、 特定し た前記符号化済ピクチャを第 2参照ピクチャとして選択する
ことを特徴とする請求の範囲第 4項記載の画像符号化方法。
6 . 既に符号化されたピクチャを参照することによリ符号化対象のピ クチャをブロック毎に符号化する画像符号化方法であって、
符号化済ピクチャを識別するための第 2参照インデックスを前記各符 号化済ピクチャに割り当て、 前記符号化対象ピクチャよリも表示順が後 の何れかの符号化済ピクチャに対して 0を示す第 2参照インデックスが 割り当てられるようにする割当ステップと、
前記割当ステップと異なる割り当て方で前記第 2参照インデックスを 割リ当て直すことができ、 前記符号化対象ピクチャよリも表示順が後の 何れかの符号化済ピクチャに対して 0を示す第 2参照インデックスが割 リ当てられるように制限する再割当ステップと、
前記符号化対象ピクチャよリも表示順が後の符号化済ピクチャのうち. 前記 0を示す第 2参照インデックスが割リ当てられた符号化済ピクチャ を、第 2参照ピクチャとして選択する第 2参照ピクチャ選択ステップと、 前記第 2参照ピクチャ内の所定のブロックの符号化に用いられた動き ベク トルに基づいて、 符号化済ピクチャの中から何れかを第 1 参照ピク チヤとして特定する第 1参照ピクチャ特定ステップと、
前記動きべク トルに基づいて、 第 1参照ピクチャ上のブロック及び第 2参照ピクチャ上のブロックを特定し、 前記両ブロックから画素補間に よリ予測画像を生成する予測画像生成ステツプと、
前記予測画像と符号化対象ブロックの画像との差分を符号化する符号 化ステップとを含む
ことを特徴とする画像符号化方法。
7 . 前記再割当ステップでは、
前記割当ステツプにおいて 0を示す第 2参照ィンデックスが割リ当て られる符号化済ピクチャに対して、 前記第 2参照インデックスの変更を 禁止する
ことを特徴とする請求の範囲第 6項記載の画像符号化方法。
8 . 既に符号化されたピクチャを参照することにより符号化対象のピ クチャをブロック毎に符号化する画像符号化方法であって、
符号化済ピクチャを識別するための第 1参照インデックスを前記各符 号化済ピクチャに割り当てる割当ステップと、
所定の符号化済ピクチャまたはスライスに対して、 前記割当ステップ と異なる割リ当て方で前記第 1参照ィンデックスを割リ当て直す再割当 ステップと、
前記符号化対象ピクチャょリも表示順が前の符号化済ピクチャのうち. 所定の値を示す第 1参照ィンデックスが割リ当てられた符号化済ピクチ ャを、 第 1参照ピクチャと して選択する第 1参照ピクチャ選択ステップ と、
前記第 1参照ピクチャ内の所定のプロックに基づいて画素補間によリ 予測画像を生成する予測画像生成ステップと、
前記予測画像と符号化対象ブロックの画像との差分を符号化する符号 化ステップとを含み、
前記再割当ステツプでは、
長時間にわたって参照される前記符号済ピクチャから優先的に、 前記 所定の値を示す第 1参照インデックスを割り当てる
ことを特徴とする画像符号化方法。
9 . 既に符号化されたピクチャを参照することにより符号化対象のピ クチャをブロック毎に符号化する画像符号化方法であって、
符号化済ピクチャを識別するための第 2参照インデックスを前記各符 号化済ピクチャに割り当てる割当ステップと、
前記符号化対象ピクチャよリも表示順が後の符号化済ピクチャのうち、 0を示す第 2参照ィンデックスが割リ当てられた符号化済ピク ャを、 第 2参照ピクチャとして選択する第 2参照ピクチャ選択ステップと、 前記第 2参照ピクチャ内の所定のブロックの符号化に用いられた動き べク トルに基づいて、 符号化済ピクチャの中から何れかを第 1参照ピク チヤとして特定する第 1参照ピクチャ特定ステップと、
前記動きべク トルに基づいて、 第 1参照ピクチャ上のブロック及び第 2参照ピクチャ上のブロックを特定し、 前記両ブロックから画素補間に よリ予測画像を生成する予測画像生成ス亍ップと、
前記予測画像と符号化対象ブロックの画像との差分を符号化する符号 化ステップとを含み、
前記割当ステツプでは、
表示順が前記符号化対象ピクチャよリも前になつたことがある符号化 済ピクチャに対して、 0を示す第 2参照インデックスが割り当てられる のを禁止する
ことを特徴とする画像符号化方法。
1 0 . 前記画像符号化方法は、 さらに、
符号化済ピクチャの符号化に用いられた動きベク トルを記憶している メモリから、 表示順が前記符号化対象ピクチャよリも前になつたことが ある符号化済ピクチャの符号化に用いられた動きベク トルを削除する削 除ステップを含む
ことを特徴とする請求の範囲第 9項記載の画像符号化方法。
1 1 . 既に符号化されたピクチャを参照することにより符号化対象の ピクチャをブロック毎に符号化する画像符号化方法であって、 記憶部に格納されている複数の符号化済ピクチャから、 前記複数の符 号化済ピクチャに対して付与された第 1参照インデックスと第 2参照ィ ンデックスとを用いて、 前記第 1参照インデックスに対応する符号化済 ピクチャを第 1参照ピクチャとして選択し、 前記第 2参照インデックス に対応する符号化済ピクチャを第 2参照ピクチャと して選択する選択ス テツプと、
前記第 1 参照ピクチャ上のプロックと前記第 2参照ピクチャ上のプロ ックに基づいて画素補間により予測画像を生成する予測画像生成ステツ プと、
前記符号化対象ピクチャと前記予測画像との差である予測誤差を符号 化し、 予測誤差の符号化信号を含む画像符号化信号を出力する出力ステ ップとを含み、
前記選択ステツプでは、
前記符号化済ピクチャのうち前記符号化対象ピクチャよリ表示順が前 で前記第 1 参照ィンデックスが最小の符号化済ピクチャを第 1参照ピク チヤとして選択し、
前記予測画像生成ステップでは、
前記第 2参照ピクチャ内で前記符号化対象ピクチャ上の符号化対象ブ ロックと同じ位置のブロックの符号化に使用された第 1 動きべク トルに 基づいて、 前記プロックに対して前記第 1参照ピクチャを参照先とする 第 2動きべク トルを算出するとともに、 前記第 2動きベク トルに基づい て、 前記符号化対象プロックに対して第 1参照ピクチャを参照先とする 第 3動きべク トルと、 前記符号化対象ブロックに対して第 2参照ピクチ ャを参照先とする第 4動きべク トルとを算出し、 前記第 3動きべク トル の参照先となる前記第 1参照ピクチャ上のブロックと、 前記第 4動きべ ク 卜ルの参照先となる前記第 2参照ピクチャ上のブロックとから画素補 間により予測画像を生成する
ことを特徴とする画像符号化方法。
1 2 . 既に符号化されたピクチャを参照することにより符号化対象の ピクチャをブロック毎に符号化する画像符号化方法であって、
記憶部に格納されている複数の符号化済ピクチャから、 前記複数の符 号化済ピクチャに対して付与された第 1参照ィンデックスと第 2参照ィ ンデックスとを用いて、 前記第 1参照ィンデックスに対応する符号化済 ピクチャを第 1 参照ピクチャとして選択し、 前記第 2参照インデックス に対応する符号化済ピクチャを第 2参照ピクチャとして選択する選択ス テツプと、
前記第 1参照ピクチャ上のプロックと前記第 2参照ピクチャ上のプロ ックに基づいて画素補間によリ予測画像を生成する予測画像生成ステツ プと、
前記符号化対象ピクチャと前記予測画像との差である予測誤差を符号 化し、 予測誤差の符号化信号を含む画像符号化信号を出力する出力ステ ップとを含み、
前記選択ス亍ップでは、
前記符号化済ピクチャのうち前記符号化対象ピクチャより表示順が前 の符号化済ピクチャを第 1 参照ピクチャとして選択し、
前記予測画像生成ステツプでは、
前記第 2参照ピクチャ内で前記符号化対象ピクチャ上の符号化対象ブ ロックと同じ位置のブロックの符号化に使用された第 1 動きべク トルに 基づいて、 前記ブロックに対して前記第 1参照ピクチャを参照先とする 第 2動きべク トルを算出するとともに、 前記第 2動きべク トルに基づい て、 前記符号化対象ブロックに対して第 1参照ピクチャを参照先とする 第 3動きべク トルと、 前記符号化対象ブロックに対して第 2参照ピクチ ャを参照先とする第 4動きべク トルとを算出し、 前記第 3動きべク トル の参照先となる前記第 1参照ピクチャ上のブロックと、 前記第 4動きべ ク トルの参照先となる前記第 2参照ピクチャ上のブロックとから画素補 間により予測画像を生成し、
前記出カステツプでは、
前記選択ステツプで選択された前記第 1参照ピクチャを指し示す第 1 参照ィンデックスを画像符号化信号中に含める
ことを特徴とする画像符号化方法。
1 3 . 前記画像符号化方法は、 さらに、
前記第 1 動きべク トルの参照先となる符号化済ピクチャを指し示す情 報がメモリ上に記録されるのを禁止するステップを含む
ことを-特徴とする請求の範囲第 1 2項記載の画像符号化 _方法。
1 4 . 符号化されたピクチャを、 既に復号されたピクチャを参照する ことによリブロック毎に復号する画像復号化方法であって、
復号対象のピクチャの復号に参照される復号済ピクチャを第 2参照ピ クチャと して特定するための特定情報、 及び前記復号対象ピクチャに関 する符号化信号を取得する取得ステップと、
前記復号対象ピクチャよリも表示順が後の復号済ピクチャの中から、 前記特定情報に基づいて第 2参照ピクチャを選択する第 2参照ピクチャ 選択ステップと、
前記第 2参照ピクチャ内の所定のブロックの復号に用いられた動きべ ク トルに基づいて、.復号済ピクチャの中から何れかを第 1参照ピクチャ と して特定する第 1参照ピクチャ特定ステップと、
前記動きべク トルに基づいて、 第 1 参照ピクチャ上のブロック及び第 2参照ピクチャ上のブロックを特定し、 前記両ブロックから画素補間に よリ予測画像を生成する予測画像生成ステップと、
前記予測画像及び前記符号化信号に基づいて復号対象プロックを復号 する復号ステップと、
を含むことを特徴とする画像復号化方法。
1 5 . 前記取得ステップでは、
前記第 2参照ピクチャを指し示す第 2参照インデックスから構成され る特定情報を取得し、
前記第 2参照ピクチャ選択ステツプでは、
前記第 2参照ィンデックスによリ示される前記第 2参照ピクチャを ¾ 択する
ことを特徴とする請求の範囲第 1 4項記載の画像復号化方法。
1 6 . 前記取得ステツプでは、
前記各復号済ピクチャを識別するためにそれぞれに割リ当てられる第 2参照インデックスの変更方法を示す特定情報を取得し、
前記第 2参照ピクチャ選択ステップでは、
前記第 2参照インデックスの変更方法から特定される復号済ピクチャ を前記第 2参照ピクチャとして選択する
ことを特徴とする請求の範囲第 1 4項記載の画像復号化方法。
1 7 . 符号化されたピクチャを、 既に復号されたピクチャを参照する ことによリブ口ック毎に復号する画像復号化方法であって、 復号対象のピクチャに関す ^符号化信号を取得する取得ステップと、 前記復号対象ピクチャよりも表示順が後の復号済ピクチャのうち、 前 記各復号済ピクチャを識別するためにそれぞれに割リ当てられる第 2参 照ィンデックスが最小の復号済ピクチャを、 第 2参照ピクチャと して選 択する第 2参照ピクチャ選択ステップと、
前記第 2参照ピクチャ内の所定のプロックの復号に用いられた動きべ ク トルに基づいて、 復号済ピクチャの中から何れかを第 1参照ピクチャ として特定する第 1参照ピクチャ特定ステップと、
前記動きべク トルに基づいて、 第 1参照ピクチャ上のブロック及び第 2参照ピクチャ上のブロックを特定し、 前記両ブロックから画素補間に より予測画像を生成する予測画像生成ステップと、
前記予測画像及び前記符号化信号に基づいて復号対象ブロックを復号 する復号ステップと、
を含むことを特徴とする画像復号化方法。
1 8 . 前記第 2参照ピクチャ選択ステップでは、
前記第 2インデックスの割り当て方を示す内容の割当情報に基づいて. 前記第 2参照ィンデックスが最小の復号済ピクチャを特定し、 特定した 前記復号済ピクチャを第 2参照ピクチャとして選択する
ことを特徴とする請求の範囲第 1 7項記載の画像復号化方法。
1 9 . 符号化されたピクチャを、 既に復号されたピクチャを参照する ことによリブロック毎に復号する画像復号化方法であって、
復号対象のピクチャに関する符号化信号を取得する取得ステップと、 前記復号対象ピクチャよりも表示順が後の復号済ピクチャのうち、 前 記各復号済ピクチャを識別するためにそれぞれに割リ当てられる第 2参 照インデックスが 0の復号済ピクチャを、 第 2参照ピクチャとして選択 する第 2参照ピクチャ選択ステップと、
前記第 2参照ピクチャ内の所定のブロックの復号に用いられた動きべ ク トルに基づいて、 復号済ピクチャの中から何れかを第 1 参照ピクチャ と して特定する第 1 参照ピクチャ特定ステップと、
前記動きべク トルに基づいて、 第 1参照ピクチャ上のブロック及び第 2参照ピクチャ上のブロックを特定し、 前記両ブロックから画素補間に より予測画像を生成する予測画像生成ステツプと、
前記予測画像及び前記符号化信号に基づいて復号対象プロックを復号 する復号ステップと、
復号済ピクチャの復号に用いられた動きべク トルを記憶しているメモ リから、 表示順が前記復号対象ピクチャょリも前になつたことがある復 号済ピクチャの復号に用いられた動きベク トルを削除する削除ステップ を含むことを特徴とする画像復号化方法。
2 0 . 符号化されたピクチャを、 既に復号されたピクチャを参照する ことによリブ口ック毎に復号する画像復号化方法であって、
予測誤差を示す符号化信号を取得する取得ステップと、
記憶部に格納されている複数の復号済ピクチャから、 前記複数の復号 済ピクチャに対して付与された第 1参照インデックスと第 2参照インデ ックスとを用いて、 前記第 1参照ィンデックスに対応する復号済ピクチ ャを第 1 参照ピクチャとして選択し、 前記第 2 照インデックスに対応 する復号済ピクチャを第 2参照ピクチャとして選択する選択ステップと 前記第 1参照ピクチャ上のブロックと前記第 2参照ピクチャ上のプロ ックに基づいて画素補間により予測画像を生成する予測画像生成ステツ プと、
前記予測画像と前記予測誤差から前記復号対象ピクチャを復号する復 号ステップと、
参照される可能性がある復号済ピクチャを記憶部に格納する格納ステ ップとを含み、
前記選択ス亍ップでは、
前記復号済ピクチャのうち前記復号対象ピクチャよリ表示順が前で前 記第 1参照ィンデックスが最小の符号化済ピクチャを第 1 参照ピクチャ と して選択し、
前記予測画像生成ステップでは、
前記第 2参照ピクチャ内で前記復号対象ピクチャ上の復号対象ブロッ クと同じ位置のブロックの復号に使用した第 1 動きべク トルに基づいて. 前記プロックに対して前記第 1参照ピクチャを参照先とする第 2動きべ ク トルを算出するとともに、 前記第 2動きべク トルに基づいて、 前記復 号対象ブロックに対して第 1参照ピクチャを参照先とする第 3動きべク トルと、 前記復号対象プロックに対して第 2参照ピクチャを参照先とす る第 4動きべク トルとを算出し、 前記第 3動きべク トルの参照先となる 前記第 1参照ピクチャ上のブロックと、 前記第 4動きべク トルの参照先 となる前記第 2参照ピクチャ上のブロックとから画素補間にょリ予測画 像を生成する
ことを特徴とする画像復号化方法。
2 1 . 符号化されたピクチャを.、 既に復号されたピクチャを参照する ことによリブロック毎に復号する画像復号化方法であって、
予測誤差を示す符号化信号を含む画像符号化信号を取得する取得ステ ップと、 記憶部に格納されている複数の復号済ピクチャから、 前記複数の復号 済ピクチャに対して付与された第 1参照インデックスと第 2参照インデ ックスとを用いて、 前記第 1 参照ィンデックスに対応する復号済ピクチ ャを第 1参照ピクチャと して選択し、 前記第 2参照インデックスに対応 する復号済ピクチャを第 2参照ピクチャとして選択する選択ステップと . 前記第 1参照ピクチャ上のブロックと前記第 2参照ピクチャ上のプロ ックに基づいて画素補間によリ予測画像を生成する予測画像生成ステツ プと、
前記予測画像と前記予測誤差から前記復号対象ピクチャを復号する復 号ステップと、
参照される可能性がある復号済ピクチャを記憶部に格納する格納ステ ップとを含み、
前記選択ステツプでは、
前記復号済ピクチャのうち前記画像符号化信号に含まれる第 1 参照ィ ンデックスによリ示される復号済ピクチャを第 1参照ピクチャと して選 択し、
前記予測画像生成ステツプでは、
前記第 2参照ピクチャ内で前記復号対象ピクチャ上の復号対象ブロッ クと同じ位置のブロックの復号に使用された第 1動きベク トルに基づい て、 前記ブロックに対して前記第 1参照ピクチャを参照先とする第 2動 'きべク トルを算出するとともに、 前記第 2動きべク トルに基づいて、 前 記復号対象ブロックに対して第 1参照ピクチャを参照先とする第 3動き べク トルと、 前記復号対象ブロックに対して第 2参照ピクチャを参照先 とする第 4動きべク トルとを算出し、 前記第 3動きべク トルの参照先と なる前記第 1参照ピクチャ上のブロックと、 前記第 4動きべク トルの参 照先となる前記第 2参照ピクチャ上のブロックとから画素補間によリ予 測画像を生成する
ことを特徴とする画像復号化方法。
2 2 . 既に符号化されたピクチャを参照することにより符号化対象の ピクチャをブロック毎に符号化する画像符号化装置であって、
前記符号化対象ピクチャよりも表示順が後の符号化済ピクチャの中か ら何れかを第 2参照ピクチャと して選択する第 2参照ピクチャ選択手段 前記第 2参照ピクチャ内の所定のブロックの符号化に用いられた動き ベク トルに基づいて、 符号化済ピクチャの中から何れかを第 1参照ピク チヤとして特定する第 1参照ピクチャ特定手段と、
前記動きべク トルに基づいて、 第 1参照ピクチャ上のブロック及び第 2参照ピクチャ上のプロックを特定し、 前記両ブロックから画素補間に よリ予測画像を生成する予測画像生成手段と、
前記予測画像と符号化対象ブロックの画像との差分を符号化する符号 化手段と、
前記第 2参照ピクチャを特定するための特定情報を、 前記符号化手段 の符号化結果とともに出力する出力手段と
を備えることを特徴とする画像符号化装置。
2 3 . 符号化されたピクチャを、 既に復号されたピクチャを参照する ことによリブロック毎に復号する画像復号化装置であって、
復号対象のピクチャの復号に参照される復号済ピクチャを第 2参照ピ クチャと して特定するための特定情報、 及び前記復号対象ピクチャに関 する符号化信号を取得する取得手段と、
前記復号対象ピクチヤよリも表示順が後の復号済ピクチャの中から、 前記特定情報に基づいて第 2参照ピクチャを選択する第 2参照ピクチャ 選択手段と、
前記第 2参照ピクチャ内の所定のブロックの復号に用いられた動きべ ク トルに基づいて、 復号済ピクチャの中から何れかを第 1参照ピクチャ として特定する第 1参照ピクチャ特定手段と、
前記動きべク トルに基づいて、 第 1参照ピクチャ上のブロック及び第 2参照ピクチャ上のプロックを特定し、 前記両ブロックから画素補間に よリ予測画像を生成する予測画像生成手段と、
前記予測画像及び前記符号化信号に基づいて復号対象プロックを復号 する復号手段と
を備えることを特徴とする画像復号化装置。
2 4 . 既に符号化されたピクチャを参照することにより符号化対象の ピクチャをブロック毎に符号化する画像符号化方法をコンピュータに実 行させるプログラムであって、
前記符号化対象ピクチャよリも表示順が後の符号化済ピクチャの中か ら何れかを第 2参照ピクチャとして選択する第 2参照ピクチャ選択ステ ップと、
前記第 2参照ピクチャ内の所定のブロックの符号化に用いられた動き ベク トルに基づいて、 符号化済ピクチャの中から何れかを第 1参照ピク チヤとして特定する第 1 参照ピクチャ特定ステップと、
前記動きべク トルに基づいて、 第 1参照ピクチャ上のブロック及び第 2参照ピクチャ上のブロックを特定し、 前記両ブロックから画素補間に よリ予測画像を生成する予測画像生成ステツプと、
前記予測画像と符号化対象プロックの画像との差分を符号化する符号 化ステップと、 前記第 2参照ピクチャを特定するための特定情報を、 前記符号化ス亍 ップの符号化結果とともに出力する出力ステップと
を含むことを特徴とするプログラム。
2 5 . 符号化されたピクチャを、 既に復号されたピクチャを参照する ことによ リブロック毎に復号する画像復号化方法をコンピュータに実行 させるプログラムであって、
復号対象のピクチャの復号に参照される復号済ピクチャ 第 2参照ピ クチャと して特定するための特定情報、 及び前記復号対象ピクチャに関 する符号化信号を取得する取得ステップと、
前記復号対象ピクチヤよリも表示順が後の復号済ピクチャの中から、 前記特定情報に基づいて第 2参照ピクチャを選択する第 2參照ピクチャ 選択ステップと、
前記第 2参照ピクチャ内の所定のブロックの復号に用いられた動きべ ク トルに基づいて、 復号済ピクチャの中から何れかを第 1 参照ピクチャ として特定する第 1参照ピクチャ特定ステップと、
前記動きべク トルに基づいて、 第 1参照ピクチャ上のブロック及び第 2参照ピクチャ上のブロックを特定し、 前記両ブロックから画素補間に よリ予測画像を生成する予測画像生成ステツプと、
前記予測画像及び前記符号化信号に基づいて復号対象プロックを復号 する復号ステツプと、
を含むことを特徴とするプログラム。
PCT/JP2003/007242 2002-07-02 2003-06-09 画像符号化方法および画像復号化方法 WO2004006586A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP03733318A EP1427216A1 (en) 2002-07-02 2003-06-09 Image encoding method and image decoding method
AU2003242037A AU2003242037A1 (en) 2002-07-02 2003-06-09 Image encoding method and image decoding method
US10/487,533 US20040234143A1 (en) 2002-07-02 2003-06-09 Image encoding method and picture decoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002-193027 2002-07-02
JP2002193027 2002-07-02

Publications (1)

Publication Number Publication Date
WO2004006586A1 true WO2004006586A1 (ja) 2004-01-15

Family

ID=30112272

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/007242 WO2004006586A1 (ja) 2002-07-02 2003-06-09 画像符号化方法および画像復号化方法

Country Status (5)

Country Link
US (1) US20040234143A1 (ja)
EP (1) EP1427216A1 (ja)
CN (1) CN1666532A (ja)
AU (1) AU2003242037A1 (ja)
WO (1) WO2004006586A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009006693A1 (en) 2007-07-09 2009-01-15 Lng Technology Pty Ltd A method and system for production of liquid natural gas
US9402087B2 (en) 2004-08-16 2016-07-26 Nippon Telegraph And Telephone Corporation Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, and picture decoding program

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7043058B2 (en) * 2001-04-20 2006-05-09 Avid Technology, Inc. Correcting motion vector maps for image processing
US20040247190A1 (en) * 2001-09-18 2004-12-09 Makoto Hagai Image encoding method and image decoding method
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7088776B2 (en) 2002-07-15 2006-08-08 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US8254461B2 (en) * 2002-07-24 2012-08-28 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US6728315B2 (en) * 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
CN101873501B (zh) 2002-08-08 2012-10-31 松下电器产业株式会社 图像解码方法及图像解码装置
DE10327576A1 (de) * 2003-06-18 2005-01-13 Micronas Gmbh Verfahren und Vorrichtung zur bewegungsvektorgestützten Bildpunktinterpolation
US8036271B2 (en) * 2004-02-24 2011-10-11 Lsi Corporation Method and apparatus for determining a second picture for temporal direct-mode block prediction
CN101807403B (zh) * 2004-07-02 2012-11-21 日本电信电话株式会社 多信道信号编码方法、解码方法、装置
DE102004038110B3 (de) * 2004-08-05 2005-12-29 Siemens Ag Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung
NO321642B1 (no) * 2004-09-27 2006-06-12 Tandberg Telecom As Fremgangsmate for koding av bildeutsnitt
JP4574444B2 (ja) * 2005-05-27 2010-11-04 キヤノン株式会社 画像復号装置及び方法、画像符号化装置及び方法、コンピュータプログラム及び記憶媒体
KR100746006B1 (ko) * 2005-07-19 2007-08-06 삼성전자주식회사 계층적 구조에 적합하게 시간적 다이렉트 모드로인코딩하며, 디코딩하는 방법 및 장치
JP4593437B2 (ja) * 2005-10-21 2010-12-08 パナソニック株式会社 動画像符号化装置
US7934137B2 (en) * 2006-02-06 2011-04-26 Qualcomm Incorporated Message remapping and encoding
JP4730183B2 (ja) * 2006-04-17 2011-07-20 株式会社日立製作所 映像表示装置
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
JP2009094828A (ja) * 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
KR100939917B1 (ko) * 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
JP5116602B2 (ja) * 2008-08-04 2013-01-09 キヤノン株式会社 映像信号処理装置及び方法、プログラム
CN102210153A (zh) 2008-10-06 2011-10-05 Lg电子株式会社 用于处理视频信号的方法和设备
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
CA2784517A1 (en) * 2009-12-17 2011-06-23 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for video coding
FR2958824A1 (fr) * 2010-04-09 2011-10-14 Thomson Licensing Procede de traitement d'images stereoscopiques et dispositif correspondant
CN106231324B (zh) 2010-04-13 2019-11-05 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
BR112012026400B1 (pt) 2010-04-13 2021-08-10 Ge Video Compression, Ll Predição inter-plano
DK2559005T3 (en) 2010-04-13 2015-11-23 Ge Video Compression Llc Inheritance at sample array multitræsunderinddeling
KR101549644B1 (ko) 2010-04-13 2015-09-03 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
EP4102835A1 (en) 2010-11-24 2022-12-14 Velos Media International Limited Motion vector calculation method, picture coding method, picture decoding method, motion vector calculation apparatus, and picture coding and decoding apparatus
JPWO2012081246A1 (ja) 2010-12-17 2014-05-22 パナソニック株式会社 画像符号化方法および画像復号化方法
EP2665271A4 (en) 2011-01-12 2014-06-18 Panasonic Corp VIDEO ENCODING METHOD AND VIDEO DECODING METHOD
WO2012102045A1 (ja) 2011-01-28 2012-08-02 パナソニック株式会社 画像符号化方法および画像復号化方法
KR20120088488A (ko) * 2011-01-31 2012-08-08 한국전자통신연구원 시간적 움직임 벡터 저장 방법 및 그 장치
WO2012114694A1 (ja) 2011-02-22 2012-08-30 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
JP5358746B2 (ja) * 2011-03-03 2013-12-04 パナソニック株式会社 動画像符号化方法、動画像符号化装置及びプログラム
CN102685504B (zh) 2011-03-10 2015-08-19 华为技术有限公司 视频图像的编解码方法、编码装置、解码装置及其系统
KR101532665B1 (ko) 2011-03-14 2015-07-09 미디어텍 인크. 시간적 움직임 백터 예측을 도출하기 위한 방법 및 장치
EP3136727B1 (en) 2011-04-12 2018-06-13 Sun Patent Trust Motion-video coding method and motion-video coding apparatus
PL3751854T3 (pl) 2011-05-24 2023-08-28 Sun Patent Trust Sposób kodowania obrazu, urządzenie do kodowania obrazu, sposób dekodowania obrazu, urządzenie do dekodowania obrazu oraz urządzenie do kodowania/dekodowania obrazu
MX2013012132A (es) 2011-05-27 2013-10-30 Panasonic Corp Metodo de codificacion de imagen, aparato de codificacion de imagen, metodo de decodificacion de imagen, aparato de decodificacion de imagen y aparato de codificacion/decodificacion de imagen.
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
MX2013012209A (es) 2011-05-31 2013-11-01 Panasonic Corp Metodo de codificacion de video, aparato de codificacion de video, metodo de decodificacion de video, aparato de decodificacion de video y aparato de codificacion/decodificacion de video.
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
CA2837532C (en) 2011-06-23 2018-10-02 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
US9106919B2 (en) 2011-06-24 2015-08-11 Panasonic Intellectual Property Corporation Of America Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
CN106878722B (zh) 2011-06-24 2019-11-12 太阳专利托管公司 解码方法、解码装置、编码方法、编码装置
EP2725793A4 (en) 2011-06-27 2014-12-03 Panasonic Ip Corp America IMAGE DECODING METHOD, IMAGE ENCODING METHOD, IMAGE DECODING DEVICE, IMAGE ENCODING DEVICE, AND IMAGE ENCODING / DECODING DEVICE
CN106878724B (zh) 2011-06-28 2020-06-05 太阳专利托管公司 图像编码解码装置
KR102006032B1 (ko) 2011-06-29 2019-07-31 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
MY181718A (en) 2011-06-30 2021-01-05 Sun Patent Trust Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
WO2013001769A1 (ja) 2011-06-30 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
AU2012277220B2 (en) 2011-06-30 2016-08-11 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
CN107087185B (zh) 2011-07-11 2020-01-10 太阳专利托管公司 编码方法及编码装置、解码方法及解码装置
US9819963B2 (en) * 2011-07-12 2017-11-14 Electronics And Telecommunications Research Institute Inter prediction method and apparatus for same
IN2014CN00729A (ja) 2011-08-03 2015-04-03 Panasonic Corp
CN108881903B (zh) 2011-10-19 2022-01-04 太阳专利托管公司 图像编码方法及装置、图像解码方法及装置、编解码装置
MX2013012223A (es) 2011-10-28 2013-11-01 Panasonic Corp Metodo de codificacion de imagen, metodo de decodificacion de imagen, aparato de codificacion de imagen y aparato de decodificacion de imagen.
JP5379933B2 (ja) 2011-10-28 2013-12-25 パナソニック株式会社 動きベクトル導出方法および動きベクトル導出装置
US20130177084A1 (en) * 2012-01-10 2013-07-11 Qualcomm Incorporated Motion vector scaling in video coding
US9426463B2 (en) 2012-02-08 2016-08-23 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
US9451277B2 (en) 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
CN107835428B (zh) * 2012-03-02 2021-09-24 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
US20130272409A1 (en) * 2012-04-12 2013-10-17 Qualcomm Incorporated Bandwidth reduction in video coding through applying the same reference index
CN104335582B (zh) * 2012-06-12 2019-03-08 太阳专利托管公司 动态图像编解码方法以及动态图像编解码装置
US9325990B2 (en) * 2012-07-09 2016-04-26 Qualcomm Incorporated Temporal motion vector prediction in video coding extensions
JP6365924B2 (ja) * 2013-05-09 2018-08-01 サン パテント トラスト 画像復号方法及び画像復号装置
ES2853700T3 (es) * 2016-04-15 2021-09-17 Magic Pony Tech Limited Compensación de movimiento utilizando interpolación de imagen temporal
US10735761B2 (en) * 2017-05-19 2020-08-04 Mediatek Inc Method and apparatus of video coding
CN115176476A (zh) * 2019-12-11 2022-10-11 索尼集团公司 图像处理装置、比特流生成方法、系数数据生成方法以及量化系数生成方法
KR20220152299A (ko) * 2020-03-12 2022-11-15 인터디지털 브이씨 홀딩스 프랑스 비디오 인코딩 및 디코딩을 위한 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03265392A (ja) * 1990-03-15 1991-11-26 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方式
JPH04127689A (ja) * 1990-09-19 1992-04-28 Hitachi Ltd 動画像予測符号化方式
JPH07184206A (ja) * 1993-12-24 1995-07-21 Mitsubishi Electric Corp 画像符号化装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
FR2703535A1 (fr) * 1993-03-31 1994-10-07 Philips Electronique Lab Procédé et dispositif pour décoder des images comprimées.
US5926226A (en) * 1996-08-09 1999-07-20 U.S. Robotics Access Corp. Method for adjusting the quality of a video coder
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US5933195A (en) * 1997-09-26 1999-08-03 Sarnoff Corporation Method and apparatus memory requirements for storing reference frames in a video decoder
US6188728B1 (en) * 1998-09-29 2001-02-13 Sarnoff Corporation Block motion video coding and decoding
JP3757088B2 (ja) * 1999-10-26 2006-03-22 日本電気株式会社 動画像符号化装置および方法
DE60210757T2 (de) * 2001-03-12 2007-02-08 Koninklijke Philips Electronics N.V. Vorrichtung zur videokodierung und -aufzeichnung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03265392A (ja) * 1990-03-15 1991-11-26 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方式
JPH04127689A (ja) * 1990-09-19 1992-04-28 Hitachi Ltd 動画像予測符号化方式
JPH07184206A (ja) * 1993-12-24 1995-07-21 Mitsubishi Electric Corp 画像符号化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"H.26L test model long term number 6 (TML-6) draft0", VIDEO CODING EXPERTS GROUP(VCEG), 2001, XP001089815, Retrieved from the Internet <URL:http://kbs.cs.tu-berlin.de/-stewe/vceg/archive.htm#TML6> [retrieved on 20030528] *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9402087B2 (en) 2004-08-16 2016-07-26 Nippon Telegraph And Telephone Corporation Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, and picture decoding program
WO2009006693A1 (en) 2007-07-09 2009-01-15 Lng Technology Pty Ltd A method and system for production of liquid natural gas

Also Published As

Publication number Publication date
AU2003242037A1 (en) 2004-01-23
US20040234143A1 (en) 2004-11-25
CN1666532A (zh) 2005-09-07
EP1427216A1 (en) 2004-06-09

Similar Documents

Publication Publication Date Title
WO2004006586A1 (ja) 画像符号化方法および画像復号化方法
JP4722153B2 (ja) 画像復号化方法および画像復号化装置
JP4859936B2 (ja) 動画像符号化方法および動画像復号化方法
JP5355807B2 (ja) 符号化データ配信方法および配信システム
WO2004012459A1 (ja) 動画像符号化方法、動画像復号化方法および記録媒体
US20070002947A1 (en) Moving picture coding method, moving picture decoding method and program
WO2004049726A1 (ja) 動き補償方法、画像符号化方法および画像復号化方法
JP2004096705A (ja) 動きベクトル符号化方法および動きベクトル復号化方法
WO2003098939A1 (en) Moving image encoding method, moving image decoding method, and data recording medium
WO2004066633A1 (ja) 画像符号化方法
WO2004032521A1 (ja) 画像符号化装置、画像復号化装置およびこれらの方法
WO2004008776A1 (ja) 動画像符号化装置及び動画像復号化装置
WO2004066635A1 (ja) 動画像符号化方法および動画像復号化方法
WO2004049727A1 (ja) 動画像の符号化方法および復号化方法
JP2004088737A (ja) 画像符号化方法および画像復号化方法
JP4230289B2 (ja) 動画像符号化方法および動画像復号化方法
JP2004242286A (ja) 動画像符号化方法および動画像復号化方法
JP2004040512A (ja) 画像符号化方法および画像復号方法
JP4274378B2 (ja) 動画像符号化方法および動画像復号化方法
JP2003189313A (ja) 画面間予測符号化方法および画面間予測復号化方法
KR20050018729A (ko) 화상 부호화 방법 및 화상 복호화 방법
JP2004088135A (ja) 画像符号化装置及び画像復号化装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 1020037014413

Country of ref document: KR

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PH PL PT RO RU SC SD SE SG SK SL TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 2003733318

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10487533

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2003733318

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 20038156814

Country of ref document: CN

WWW Wipo information: withdrawn in national office

Ref document number: 2003733318

Country of ref document: EP