WO2004015999A1 - 動画像の符号化方法および復号化方法 - Google Patents

動画像の符号化方法および復号化方法 Download PDF

Info

Publication number
WO2004015999A1
WO2004015999A1 PCT/JP2003/009228 JP0309228W WO2004015999A1 WO 2004015999 A1 WO2004015999 A1 WO 2004015999A1 JP 0309228 W JP0309228 W JP 0309228W WO 2004015999 A1 WO2004015999 A1 WO 2004015999A1
Authority
WO
WIPO (PCT)
Prior art keywords
picture
image
linear prediction
reference index
coefficient
Prior art date
Application number
PCT/JP2003/009228
Other languages
English (en)
French (fr)
Inventor
Kiyofumi Abe
Shinya Kadono
Satoshi Kondo
Makoto Hagai
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=31721895&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2004015999(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP17188103.0A priority Critical patent/EP3285486B1/en
Priority to EP03741520A priority patent/EP1530374B1/en
Priority to ES03741520T priority patent/ES2401774T3/es
Priority to EP17188120.4A priority patent/EP3288261B1/en
Priority to US10/491,153 priority patent/US7308145B2/en
Priority to DK03741520.5T priority patent/DK1530374T3/da
Priority to CN038012561A priority patent/CN1568622B/zh
Priority to EP18155299.3A priority patent/EP3349447B1/en
Publication of WO2004015999A1 publication Critical patent/WO2004015999A1/ja
Priority to US11/976,842 priority patent/US7813568B2/en
Priority to US11/976,845 priority patent/US7817867B2/en
Priority to US11/976,860 priority patent/US7817868B2/en
Priority to US11/976,843 priority patent/US7492952B2/en
Priority to US12/878,350 priority patent/US8023753B2/en
Priority to US13/208,677 priority patent/US8150180B2/en
Priority to US13/368,708 priority patent/US8355588B2/en
Priority to US13/713,211 priority patent/US9456218B2/en
Priority to US13/713,198 priority patent/US8606027B2/en
Priority to US14/069,708 priority patent/US9113149B2/en
Priority to US14/069,859 priority patent/US9002124B2/en
Priority to US15/239,207 priority patent/US9888239B2/en
Priority to US15/239,170 priority patent/US9942547B2/en
Priority to US15/907,643 priority patent/US10321129B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to a moving image encoding method and a moving image decoding method, and more particularly to an encoding method and a decoding method for performing inter-screen prediction with reference to an already encoded picture.
  • a picture is a term that represents one screen, and means a frame in a progressive image and a frame or a field in an interlaced image.
  • an interlaced image is an image in which one frame is composed of two fields at different times. In encoding and decoding interlaced images, one frame is processed as a frame, two fields are processed, and each block in a frame is processed as a frame structure or a field structure. You can do it.
  • FIG. 30 is a diagram for explaining types of pictures and their reference relationships.
  • a picture that can simultaneously perform inter-picture predictive coding with reference to two pictures is called a B picture.
  • a B picture can simultaneously refer to two pictures in an arbitrary direction in time, such as a picture B 6 B 12 B 18.
  • the reference picture can be specified for each block, which is the unit of motion detection, but the first reference picture in the coded code sequence is the first reference picture, and the second Distinguish as the second reference picture.
  • FIG. 31 shows an example of the order when encoding and decoding B pictures.
  • Figure 31 (a) shows the display order
  • Figure 31 (b) shows the encoding and They are rearranged in the order of decoding. It can be seen that all pictures referenced by pictures B3 and B6 have been reordered as if they had been encoded and decoded first.
  • Picture # 4 is a ⁇ picture that is currently to be coded
  • block B L01 and block B L02 are coding target blocks belonging to the ⁇ picture.
  • the first reference picture is picture ⁇ 2
  • the second reference picture is picture ⁇ 3, and blocks belonging to the respective pictures.
  • a prediction image is created with reference to the packs B L1 1 and B L2 1. Likewise,
  • ⁇ L 02 sets the first reference picture as picture ⁇ 2, the second reference picture as picture ⁇ 1, and creates a predicted image by referring to blocks BL 12 and 2 22 belonging to the respective pictures.
  • FIG. 33 is a diagram for explaining a method of creating a predicted image of the block BL01 to be encoded using the two referenced blocks BL11 and BL21.
  • the description is made assuming that the size of each block is 4 ⁇ 4 pixels.
  • Q 1 (i) is the pixel value of BL 11
  • Q 2 (i) is the pixel value of BL 21
  • P (i) is the pixel value of the predicted image of BL 0 1
  • the pixel value P (i) Can be calculated by a linear prediction equation such as Equation 1.
  • ⁇ indicates the position of the pixel, and in this example, it has a value of 0 to 15.
  • -w1, w2, c, and d are coefficients for performing linear prediction, and one set of four Is treated as a weighting coefficient set. These sets of weighting factors are determined by reference indices that specify the picture referenced by each block. For example, in the case of BL 0 1, w 1-1, w 2-1, c-1, d- For 1 and BL02, use w1_2, w2-2, c_2, and d-2, and use the four values.
  • FIG. 34 Each picture is assigned a picture number that increases by one each time it is stored in memory. In other words, the newly stored picture is assigned a picture number having a value that is one more than the maximum value of the existing picture numbers. However, it is not the picture number that actually designates the reference picture, but a value defined separately as a reference index.
  • the one indicating the first reference picture is called a first reference index
  • the one indicating the second reference picture is called a second reference index.
  • FIG. 34 is a diagram for explaining a method of assigning two reference indices to a picture number.
  • the picture numbers are assigned in the encoding order.
  • the command for assigning a reference index to a picture number is described in the header of a slice, which is a coding unit that further divides a picture, and the allocation method is updated each time one slice is coded.
  • the command is for continuously instructing the difference value between the picture number assigned to the reference index immediately before and the picture number currently assigned, by the number of reference indexes.
  • Figure 35 shows the result of assigning reference indices.
  • the first reference index and the second reference index are independently assigned to each picture number.However, looking at each reference index alone, one reference index is assigned to one picture number. You can see that
  • the code sequence of one picture is composed of a picture common information area and a plurality of slice data areas.
  • Figure 36 shows the structure of the slice data area.
  • the slice data area includes a slice header area and a plurality of block data areas.
  • the block data area the area of each block corresponding to BL01 and BL02 in FIG. 32 is shown.
  • Ref 1 and ref 2 included in BL 0 1 indicate a first reference index and a second reference index, respectively, pointing to two pictures referred to by this block.
  • data (pset O, pset1, pset2, pset3, pset4) for determining the weighting coefficient set for performing the linear prediction are respectively provided for ref1 and ref2. It has been described.
  • FIG. 37 shows an example of the data contained in the slice header area in a table. Each data item indicated by the identifier pset has four values w1, w2, c, and d, and is configured so that it can be referred to the directory by the values of ref1 and ref2.
  • a command sequence idx_cmd1 and idx-cmd2 for assigning the reference index to a picture number are described.
  • one set of weighting coefficients is selected from each of the tables for ref1 and ref2 in Fig. 37.
  • two predicted images are generated.
  • the predicted image to be obtained can be obtained.
  • an object of the present invention is to allow a plurality of reference pictures to be assigned to one reference picture, and to assign one reference index even when a plurality of reference indexes are assigned. Even if it is, it is an object of the present invention to provide an image encoding method, an image decoding method, an apparatus, and a program for improving the efficiency of decoding a reference index.
  • the image encoding method of the present invention uses an encoded picture identified by a picture number as a reference picture in a storage unit.
  • the information indicating the maximum value of the reference index may be placed in a picture common information area included in the image coded signal.
  • the decoding device when associating the picture number with the reference index based on the command, information indicating the maximum value of the reference index is included in the encoded signal.
  • information indicating the maximum value of the reference index is included in the encoded signal.
  • the command is set so that at least one reference picture having a picture number associated with a plurality of reference indices is included in the plurality of reference pictures stored in the storage unit. May be generated.
  • the reference picture specifying step when a plurality of reference indices are associated with the picture number of the reference picture, one of the plurality of reference indices is determined based on the coefficient corresponding to each of the plurality of reference indices.
  • a configuration may be adopted in which a reference index is selected, and in the predicted image generation step, linear prediction is performed using a coefficient corresponding to the reference index selected in the specifying step.
  • the coefficient is assigned to a plurality of coefficients. It becomes possible to select from. That is, it is possible to select an optimal coefficient as a coefficient used for linear prediction. As a result, encoding efficiency can be improved.
  • the linear prediction may be performed using only bit shift operation, addition, and subtraction.
  • a coefficient used in the linear prediction in the prediction image generation step only a value indicating a DC component in a linear prediction equation may be associated with the reference index.
  • values other than the value indicating the DC component are encoded as coefficients. Since there is no need, coding efficiency can be improved. Moreover, since only multiplication and division with a heavy processing load is not used and only addition and subtraction with a light processing load are used, the amount of linear prediction processing can be reduced.
  • the reference index has a first reference index indicating a first reference picture, and a second reference index indicating a second reference picture, and performs the linear prediction in the prediction image generation step.
  • the reference picture specified by the first reference index and the reference specified by the second reference index are used.
  • a configuration may be adopted in which linear prediction is performed using a preset coefficient instead.
  • the preset coefficient may have the same weight.
  • the image decoding method, the image encoding device, the image decoding device, the image encoding program, the image decoding program, and the image encoded data of the present invention also have the same configuration, operation and effect as described above.
  • the image encoding method of the present invention can have any one of the following configurations (1) to (14).
  • An image encoding method includes: a reference picture storing step of storing an encoded picture identified by a picture number in a storage unit; and a step of performing motion compensation on a block on a current picture.
  • a plurality of reference indices can be assigned to a picture number of the reference picture, and each encoded picture is assigned in the reference picture designation step.
  • One reference index is selected from one or more reference indices corresponding to the texture, and a coefficient used in the linear prediction in the predicted image generation step can be determined.
  • Another image encoding method reduces the number of reference pictures having picture numbers to which a plurality of reference indices are allocated among a plurality of reference pictures referenced by one slice. You can have one.
  • the reference index includes: a first reference index indicating a first reference picture arbitrarily designated from the plurality of encoded pictures; A second reference key indicating an arbitrarily designated second reference frame from the plurality of encoded frames;
  • a linear prediction is performed on the block by using a coefficient corresponding to the first reference index, and a linear prediction is performed by using a coefficient corresponding to the second reference index.
  • a final predicted image for the block is generated by performing linear prediction and averaging the pixel values of two predicted images obtained by the respective linear predictions.
  • the reference index includes: a first reference index indicating a first reference picture arbitrarily designated from the plurality of encoded pictures; A second reference index indicating a second reference frame arbitrarily specified from the plurality of encoded frames, and a determination of a coefficient used in the linear prediction in the prediction image generation step is selected.
  • the first reference index and the second reference index respectively are obtained by averaging the coefficients indicated by the first reference index and the second reference index.
  • the reference index includes: a first reference index indicating a first reference picture arbitrarily designated from the plurality of encoded pictures; A second reference index indicating a second reference frame arbitrarily specified from a plurality of encoded frames, and a set of a plurality of coefficients corresponds to the first and second reference indices.
  • the predicted image generation step the predicted image is generated using a part of the set of coefficients corresponding to the reference index and a part of the set of coefficients corresponding to the other reference index. .
  • another image encoding method is characterized in that the calculation formula used in the linear prediction in the predicted image generation step includes only a bit shift operation and addition and subtraction without using multiplication and division. Composed You. As a result, linear prediction can be performed using only a small amount of processing.
  • the reference index is a first reference index indicating a first reference picture arbitrarily specified from the plurality of encoded pictures; And a second reference index indicating a second reference frame arbitrarily specified from the plurality of encoded frames, wherein the predictive image generation step includes a step of calculating a coefficient corresponding to the first and second reference indices.
  • the coefficients used in the bit shift operation select and use the coefficients corresponding to any of the first and second reference indices, and the coefficients used in the other operations are the first and second coefficients.
  • the predicted image is generated using an average value of coefficients corresponding to each of the two reference indices.
  • the reference index is a first reference index indicating a first reference picture arbitrarily specified from the plurality of encoded pictures; A second reference index indicating a second reference frame arbitrarily specified from the plurality of encoded frames; and a linear prediction equation as a coefficient used in the linear prediction in the predicted image generation step. Only the value indicating the DC component at is used, and one is associated with each of the first reference index and the second reference index.
  • a reference picture storing step of storing an encoded picture identified by a picture number in a storage unit A command for associating a reference index indicating a reference picture arbitrarily selected from a plurality of encoded pictures stored in a storage unit, which is referred to when performing motion compensation, with the picture number, Command that generates a command that allows multiple reference indices to refer to the same picture
  • a reference picture specifying step for specifying, by the reference index, a reference picture to be referred to when performing motion compensation on a block on a current picture to be coded; For a block obtained by motion detection on a reference picture, a coefficient is generated from display order information of each reference picture, and a linear prediction using the coefficient is performed to generate a re-predicted image.
  • the linear prediction when generating a coefficient using the display order information, the linear prediction does not use multiplication and division.
  • the coefficient is raised to a power of 2 so that it can be performed only by bit shift operation and addition and subtraction. Approximate.
  • each of a reference picture specified by a first reference index and a reference picture specified by a second reference index It switches between approximation by rounding up and approximation by rounding down according to the context of the display order information.
  • the program of the present invention may be configured to cause a computer to execute the image encoding method according to any one of (1) to (14). Further, the computer-readable recording medium of the present invention can have any one of the following structures (16) to (25).
  • a computer-readable recording medium on which an encoded signal which is a signal obtained by encoding a moving image is recorded, wherein the encoded signal includes a coefficient used when generating a predicted image,
  • the encoded signal includes a coefficient used when generating a predicted image
  • a block obtained by motion estimation on a selected reference picture and a reference index specifying a coefficient to be used is subjected to linear prediction using the coefficient corresponding to the reference index specifying the reference picture.
  • the prediction image generated by the encoding is encoded.
  • the encoded signal includes a maximum value of the reference index. You.
  • the maximum value is located in a common information area of a picture included in the encoded signal.
  • Coefficients for generating a predicted image of a block by linear prediction are included in a header of a slice composed of a group of blocks included in the encoded signal, a picture common information area, or a header of each block. A flag indicating whether or not encoding is performed is included.
  • a predicted image of the block is set in advance without using coefficients.
  • a flag is included to indicate whether to generate using a fixed equation that has been set, or to generate using a fixed equation that has been set in advance using only the coefficient indicating the DC component.
  • the predicted image of the block is calculated from two preset equations.
  • a flag indicating whether to switch between the two expressions or to use only one expression without switching is included.
  • Coefficients for generating a predicted image of a block by linear prediction are included in a header of a slice composed of a group of blocks included in the encoded signal, a picture common information area, or a header of each block. A flag indicating whether or not to create using the display order information of the referenced picture is included.
  • the encoded signal includes a flag for indicating that linear prediction can be calculated only by bit shift operation and addition and subtraction without using multiplication and division.
  • the coded signal includes a flag indicating that linear prediction calculation can be performed using only the value indicating the DC component.
  • the image decoding method of the present invention provides any one of the following (26) to (39)
  • a coefficient used for generating a predicted image and a coefficient stored in a storage unit which are referred to when performing motion compensation on a block on a picture to be coded are stored.
  • another image decoding method includes the step of: It is possible to assign a plurality of reference indices to the picture number of the prediction image, and determine the coefficients used in the linear prediction in the prediction image generation step by using the reference index decoded in the reference picture designation step I do.
  • another image decoding method includes, among a plurality of reference pictures referenced by one slice, at least a reference picture having a picture number to which a plurality of reference indexes are assigned. You can have one.
  • the reference index in another image decoding method includes: a first reference index indicating a first reference picture specified from the plurality of decoded pictures; And a second reference index indicating a second reference picture designated from the decoded picture.
  • the block is linearly controlled by a coefficient corresponding to the first reference index.
  • linear prediction is performed by a coefficient corresponding to the second reference index, and an average of pixel values in two predicted images obtained by the respective linear predictions is obtained. Generate the final predicted image.
  • the reference index in another image decoding method includes: a first reference index indicating a first reference picture specified from the plurality of decoded pictures; There is a second reference index indicating a second reference picture designated from the decoded picture, and a coefficient used in the linear prediction in the prediction image generation step is determined by a coefficient included in each of the selected reference indexes. It is determined by the average of
  • the index is a first reference index indicating a first reference picture specified from the plurality of decoded pictures, and a second reference index indicating a second reference picture specified from the plurality of decoded pictures.
  • the first and second reference indices are associated with a set of a plurality of coefficients. In the predictive image generation step, among the coefficient sets corresponding to one of the reference indices, And the part of the set of coefficients corresponding to the other reference index is used to generate the predicted image.
  • the calculation formula used in the linear prediction in the predicted image generation step is only a bit shift operation and addition and subtraction without using multiplication and division. It is composed of As a result, linear prediction can be performed using only a small amount of processing.
  • the reference index in another image decoding method includes: a first reference index indicating a first reference picture specified from the plurality of decoded pictures; And a second reference index indicating a second reference picture specified from the decoded picture.
  • a set of coefficients corresponding to the first and second reference indexes is used.
  • the coefficients used in the bit shift operation select and use a coefficient corresponding to one of the first and second reference indices, and the coefficients used in the other operations are the first and second reference indices.
  • the predicted image is generated using the average value of the coefficient corresponding to each of the reference indices.
  • the reference index is a first reference index indicating a first reference picture specified from the plurality of decoded pictures; And a second reference index indicating a second reference frame specified from the encoded frame of the frame, and used in the linear prediction in the prediction image generation step. Only the value indicating the DC component in the linear prediction equation is used as a coefficient, and one is assigned to each of the first reference index and the second reference index.
  • a plurality of encoded pictures stored in a storage unit which are referred to when performing motion compensation on a block on a picture to be encoded.
  • a method using a coefficient generated based on the display order information and a method using a fixed equation set in advance are referred to as a first reference. It is switched according to the context of the display order information of the reference picture specified by the index and the reference picture specified by the second reference index.
  • the display order When using the information-based coefficient-based method, the reference picture specified by the first reference index and the reference picture specified by the second reference index have the same display order information. In such a case, linear prediction is performed using a preset coefficient instead.
  • the linear prediction when generating a coefficient using the display order information, the linear prediction does not use multiplication and division.
  • the coefficients are approximated to powers of two so that they can be performed only by bit shift operation and addition and subtraction.
  • the reference picture specified by the first reference index and the reference picture specified by the second reference index may be used. It switches between approximation by rounding up and approximation by rounding down according to the context of each display order information.
  • the program of the present invention may be configured to cause a computer to execute the image encoding / decoding method according to any one of (26) to (39).
  • the moving picture coding method and the decoding method according to the present invention make it possible to create a plurality of weighting coefficient set candidates used for linear prediction when generating a predicted image, and to optimize each block. It is now possible to select a suitable one. As a result, even if a plurality of reference indices are assigned or one reference index is assigned, the reference index can be efficiently decoded. Also, since a large improvement in coding efficiency can be realized, it is very effective in coding and decoding moving images.
  • FIG. 1 is a block diagram showing a configuration of an encoding device according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a configuration of a decoding device according to Embodiment 6 of the present invention.
  • FIG. 3 is a schematic diagram for explaining a method of assigning a picture number to a reference index.
  • FIG. 4 is a schematic diagram showing an example of a relationship between a reference index and a picture number.
  • FIG. 5 is a schematic diagram for explaining the motion compensation operation.
  • FIG. 6 is a schematic diagram for explaining the configuration of a code string.
  • FIG. 7 is a schematic diagram showing an example of a weighting coefficient set for linear prediction coefficients.
  • Fig. 8 is a functional block diagram showing the generation of a predicted image in the encoding device.
  • FIG. 9 is another functional block diagram illustrating generation of a predicted image in the encoding device.
  • FIGS. 10 (a) and 10 (b) are still other functional block diagrams showing generation of a predicted image in the encoding device.
  • FIG. 11 is still another functional block diagram showing generation of a predicted image in the encoding device.
  • FIG. 12 is a schematic diagram for explaining the configuration of a code string.
  • FIG. 13 is a schematic diagram showing an example of a weighting coefficient set of the linear prediction coefficient.
  • FIG. 14 is a schematic diagram for explaining the configuration of a code string.
  • FIG. 15 is a schematic diagram illustrating an example of a weighting coefficient set for linear prediction coefficients.
  • FIG. 16 is a functional block diagram illustrating generation of a predicted image in the encoding device.
  • FIG. 17 is a schematic diagram for explaining the configuration of a code string and an example of a flag.
  • FIG. 18 is a functional block diagram showing generation of a predicted image in the decoding device.
  • FIG. 19 is another functional block diagram showing generation of a predicted image in the decoding device.
  • 20 (a) and 20 (b) are still other functional block diagrams showing generation of a predicted image in the decoding device.
  • FIG. 21 is still another functional block diagram showing generation of a predicted image in the decoding device.
  • FIG. 22 is still another functional block diagram showing generation of a predicted image in the decoding device.
  • FIG. 23 is a schematic diagram for explaining the configuration of a code string.
  • FIG. 24 is a schematic diagram for explaining the configuration of a code string.
  • FIG. 25 is an explanatory diagram of a recording medium for storing a program for realizing a moving image encoding method and a decoding method of each of the above-described embodiments using a computer system.
  • FIG. 26 is a block diagram showing the overall configuration of the content supply system.
  • Figure 27 is an external view of a mobile phone.
  • FIG. 28 is a block diagram illustrating a configuration of a mobile phone.
  • FIG. 29 is a diagram illustrating an example of a digital broadcasting system.
  • FIG. 30 is a schematic diagram for explaining a reference relationship between pictures in a conventional example.
  • FIG. 31 is a schematic diagram for explaining the rearrangement of pictures in the conventional example.
  • FIG. 32 is a schematic diagram for explaining the motion compensation operation of the conventional example.
  • FIG. 33 is a schematic diagram for explaining the operation of the conventional linear prediction process.
  • FIG. 34 is a schematic diagram for explaining a method of assigning a picture number to a reference index in the conventional example.
  • FIG. 35 is a schematic diagram showing an example of a relationship between a reference index and a picture number in the conventional example.
  • FIG. 36 is a schematic diagram for explaining the configuration of a code string in the conventional example.
  • FIG. 37 is a schematic diagram illustrating an example of a weighting coefficient set of a linear prediction coefficient according to a conventional example.
  • FIG. 38 is a schematic diagram for explaining the configuration of a code string in the conventional example.
  • FIG. 39 is a schematic diagram for explaining the relationship between picture numbers and display order information.
  • FIG. 40 is a schematic diagram for explaining the configuration of a code string and an example of a flag.
  • FIG. 41 is a schematic diagram for explaining the configuration of a code string and an example of a flag.
  • FIG. 1 is a block diagram showing a configuration of a video encoding device according to Embodiment 1 of the present invention.
  • the moving picture coding method in this moving picture coding apparatus is described in the following order: (1) Overview of coding, (2) Reference index allocation method, and (3) Predicted image generation method. explain. (1) Overview of encoding
  • the moving image to be encoded is input to the picture memory 101 in picture units in the order of display, and the pictures are rearranged in the order of encoding.
  • FIG. 31 shows an example of rearrangement.
  • FIG. 31 (a) shows pictures arranged in the order in which they are displayed
  • FIG. 31 (b) shows examples of pictures rearranged in the order of encoding. Since B3 and B6 refer to both forward and backward in time, the pictures to be referenced must be coded first before coding these pictures. Therefore, in FIG. 31 (b), P4 and P7 are rearranged so as to be coded first. Further, each picture is divided into blocks of, for example, 16 ⁇ 16 pixels which are called macroblocks, and the subsequent processing is performed in units of blocks.
  • the input image signal read from the picture memory 101 is input to the difference operation unit 112, and a difference image obtained by taking a difference from the prediction image signal output from the motion compensation encoding unit 107
  • the signal is output to prediction residual encoding section 102.
  • the prediction residual encoding unit 102 performs image encoding processing such as frequency conversion and quantization, and outputs a residual encoded signal.
  • the residual coded signal is input to the predictive residual decoding unit 104, and performs image decoding processing such as inverse quantization and inverse frequency conversion, and outputs a residual decoded signal.
  • the addition operation unit 1 13 adds the residual decoded signal and the predicted image signal to generate a reconstructed image signal, which can be referred to in the subsequent inter-picture prediction in the obtained reconstructed image signal.
  • the potential signal is stored in the picture memory 105.
  • the input image signal in macroblock units read from the picture memory 101 is also input to the motion vector detector 106.
  • the reconstructed image signal stored in the picture memory 105 is set as a search target, and a motion vector indicating the position is determined by detecting an image area closest to the input image signal.
  • Motion vector detection detects macroblocks. Further, the motion vector is obtained for each divided block, and the obtained motion vector is stored in the motion vector storage unit 108.
  • H.26L which is currently being standardized
  • multiple pictures can be used as reference targets, so an identification number for specifying the picture to be referenced is required for each block.
  • the identification number is called a reference index
  • the reference index can be specified by associating the reference index with the picture number of the picture in the picture memory 105 in the reference index 'picture number conversion unit 111. .
  • the operation of the reference index 'picture number conversion unit 111 will be described in detail in (2).
  • the motion compensation coding unit 107 uses the motion vector and the reference index detected by the above processing to determine the optimal image area for the predicted image from the reconstructed image signal stored in the picture memory 105. Take out.
  • the pixel value of the obtained image area is subjected to a pixel value conversion process such as an interpolation process by linear prediction to obtain a final predicted image.
  • the linear prediction coefficient used at that time is generated by the linear prediction coefficient generation unit 110 and stored in the linear prediction coefficient storage unit 109. This prediction image generation method will be described in detail in (3).
  • variable-length coding in the code sequence generation unit 103 on the coding information such as the linear prediction coefficient, reference index, motion vector, and residual coding signal output by the above series of processing. As a result, a code string output from this coding apparatus is obtained.
  • the above processing flow is an operation in the case where the inter-picture prediction coding is performed.
  • the switch to the intra-picture prediction coding is performed by the switches 114 and 115.
  • a predicted image is not generated by motion compensation, and the coding target area is converted from the coded area within the same screen.
  • a difference image signal is generated by generating a prediction image and taking a difference.
  • the difference image signal is converted into a residual coded signal in the prediction residual coder 102 and subjected to variable-length coding in the code sequence generator 103, as in the case of the inter prediction coding.
  • a code string to be output is obtained.
  • FIG. 3 is a diagram for explaining a method of assigning two reference indices to a picture number.
  • picture numbers are assigned in the order of encoding.
  • the command for assigning a reference index to a picture number is described in the header of a slice, which is a coding unit obtained by further dividing a picture, and the allocation method is updated each time one slice is coded.
  • the command is for continuously instructing the difference value between the picture number assigned to the reference index immediately before and the picture number currently assigned, by the number of reference indexes.
  • the picture number 16 to be coded is subtracted from the current picture by subtracting 1 from the picture number.
  • 15 incense is assigned to reference index 0 incense.
  • the picture number 11 is assigned to the reference index 1 by subtracting 4 from the picture number 15 assigned immediately before.
  • each picture number is assigned by the same processing. The same applies to the case of the second reference index.
  • Figure 4 shows the result of assigning reference indices.
  • the first reference index and the second reference index are independently assigned to each picture number, it can be seen that there are some pictures in which a plurality of reference indices are assigned to one picture number.
  • the encoding method of the present invention it is assumed that there is at least one or more picture numbers to which a plurality of reference indexes are assigned as in this example. If the reference index is used only for determining the reference picture, the method of assigning one reference index to one picture number as in the conventional method is the method with the highest coding efficiency.
  • the conventional method when using a reference index to select a set of weighting coefficients for linear prediction coefficients in the generation of a predicted image, the conventional method does not use the same linear prediction coefficient for all blocks having the same reference picture. Therefore, the possibility that an optimal predicted image is not generated is greatly increased. i Therefore, by allowing a plurality of reference indexes to be assigned to one picture number as in the present invention, even when the same reference picture is used, a weighting coefficient set of a plurality of linear prediction coefficients for each block is provided. It becomes possible to select the best one from among the cut candidates, and it is possible to generate a predicted image with higher coding efficiency.
  • the method of generating a predicted image by linear prediction is exactly the same as the conventional method, but since multiple reference index numbers can be associated with the same picture, the degree of freedom in selecting linear prediction coefficients is large. I'm familiar.
  • the picture B 16 is a B picture to be currently encoded, and the block B 01 and the block B L 02 are encoding blocks belonging to the B picture.
  • B L 0 1 defines the first reference picture as picture P 1
  • the second reference picture is assumed to be picture B15, and a predicted image is created by referring to blocks B11 and BL21 belonging to each picture. Similarly, B 0 2 ⁇
  • the first reference picture is picture P 11
  • the second reference picture is picture B 15, and blocks B L 1 belonging to the respective pictures
  • the predicted image is created with reference to 2 and B 2.
  • the first reference index ref1 is obtained by using the reference index allocation method described in (2).
  • the second reference index ref 2 can take different values between BL 0 1 and BL 0 2. Taking FIG. 4 as an example, the first reference indices corresponding to picture number 11 are assigned 1 and 3, and the second reference indices corresponding to picture number 15 are assigned 1 and 6.
  • the code sequence of one picture is composed of a picture common information area and a plurality of slice data areas.
  • Figure 6 shows the structure of the slice data area.
  • the slice data area includes a slice header area and a plurality of block data areas.
  • the block data area the area of each block corresponding to BL01 and BL02 in FIG. 5 is shown.
  • Ref1 and ref2 included in B L01 indicate a first reference index and a second reference index, respectively, pointing to two pictures referred to by this block.
  • FIG. 7 is a table showing an example of the weighting coefficient set included in the slice header area.
  • Each piece of data indicated by the identifier P set has four values w1, w2, c, and d, and is configured to be directly referred to by the values of refl and ref2.
  • command strings idx_cmd1 and idx-cmd2 for assigning the reference index to a picture number are described.
  • ref 1 and ref 2 described in BLO 1 in FIG. 6 one set of weighting coefficients is selected from the tables for ref 1 and ref 2 in FIG. 7, respectively.
  • a predicted image is generated by performing linear prediction on the pixel values of the reference image using the two sets of weighting coefficients.
  • This method of linear prediction is particularly effective when the brightness of the entire screen or a part of the screen changes greatly, such as in flash. In many cases, the degree of change in the brightness varies depending on the portion of the screen. Therefore, it is very effective in image coding to have a configuration such that the optimum one can be selected for each block from a plurality of weighting coefficient sets as in the present invention.
  • FIG. 8 is a functional block diagram showing a functional configuration for generating a predicted image in the linear prediction coefficient generation unit 110, the linear prediction coefficient storage unit 109, and the motion compensation coding unit 107 in FIG. is there.
  • Linear prediction coefficient generation unit 110 linear prediction coefficient storage unit 109a, linear prediction coefficient storage unit 109b, average value calculation unit 107a, and linear prediction operation unit 107b predicted image Is generated.
  • the weighting coefficient set generated by the linear prediction coefficient generation unit 110 is stored in the linear prediction coefficient storage unit 109a and the linear prediction coefficient storage unit 109b.
  • the average value calculation unit 107 a generates a set of weighting coefficients (w 1 — 1, w 2 _ 1, c _ 1) selected by the first reference index ref 1 determined by the motion detection processing. , d_ 1) from the linear prediction coefficient storage unit 109 a, and a set of weighting coefficients (w 1 _ 2, w 2) similarly selected by the second reference index ref 2 _ 2, c— 2, d — 2) are obtained from the linear prediction coefficient storage unit 109 b.
  • the average value calculation unit 107 a is a linear prediction coefficient storage unit 109 a
  • the average for each parameter of the weighting coefficient set obtained from b is taken as the weighting coefficient set (w1, w2, c, d) actually used for linear prediction.
  • the linear prediction calculation unit 107b calculates and outputs a prediction image using Equation 1 based on the obtained weighting coefficient set (w1, w2, c, d).
  • FIG. 9 is a functional block diagram showing another functional configuration for generating a predicted image.
  • Linear prediction coefficient generation unit 110 linear prediction coefficient storage unit 109a, linear prediction coefficient storage unit 109b, linear prediction operation unit 107c, linear prediction operation unit
  • a predicted image is generated by 107 d and the average calculation unit 107 e.
  • the weighting coefficient set generated by the linear prediction coefficient generation unit 110 is stored in the linear prediction coefficient storage unit 109 a and the linear prediction coefficient storage unit 109 b. Have been.
  • the linear prediction operation unit 107c generates a set of weighting coefficients (w 1 — 1, w 2 — 1, c _ 1) selected by the first reference index ref 1 determined by the motion detection process. 1, d _ 1) is obtained from the linear prediction coefficient storage unit 109 a, and based on the weighting coefficient set, the predicted image is calculated using Equation 1 and output to the average value calculation unit 107 e. I do.
  • the linear prediction operation unit 107 d generates a set of weighting coefficients (w 1 —2, w 2) selected based on the second reference index ref 2 determined by the motion detection processing. —2, c—2, d—2) are obtained from the linear prediction coefficient storage unit 109 b, and the average image calculation unit 1 calculates the prediction image using Equation 1 based on the weighting coefficient set. Output to 0, e.
  • the average value calculation unit 107 e calculates the average value of each pixel of the predicted image output from each of the linear prediction operation unit 107 c and the linear prediction operation unit 107 d, and obtains the final predicted image. Generate and output
  • FIG. 10 (a) is a functional block diagram showing another functional configuration for generating a predicted image.
  • the weighting coefficient set generated by the linear prediction coefficient generation unit 110 is stored in the linear prediction coefficient storage unit 109c and the linear prediction coefficient storage unit 109d.
  • the average value calculation unit 107 f generates a set of weighting coefficients (wl — 1, w 2 _ 1, c — 1, c 1) selected by the first reference index ref 1 determined by the motion detection processing.
  • d _ 1) the parameters of c ⁇ 1, d ⁇ 1 are obtained from the linear prediction coefficient storage unit 109 c, and a set of weighting coefficient sets (similarly selected by the second reference index ref 2) Of w1-2, w2_2, c-2, d1-2), the parameters of c-2, d_2 are obtained from the linear prediction coefficient storage unit 109d.
  • the output unit 107 f is obtained by calculating the average value of c— 1 and c— 2 obtained from the linear prediction coefficient storage unit 109 c and the linear prediction coefficient storage unit 109 d, and the average of d— 1 and d— 2 The average value is calculated to obtain c and d, which are output to the linear prediction operation unit 107 g.
  • the linear prediction operation unit 107 g converts the w 1 — 1 parameter of the weighting coefficient set (w 1 — 1, w 2 — 1, c — 1, d — 1) into a linear prediction coefficient.
  • the linear prediction operation unit 107 g stores the weighting coefficient sets (wl-1, w2_1, c ⁇ 1, d_1) obtained from the linear prediction coefficient storage unit 109 c, Among the weighting coefficient sets (w 1 — 2, w 2 — 2, c — 2, d — 2) obtained from the coefficient storage unit 109 d, the weighting coefficient sets actually used in linear prediction ( In determining w 1, w 2, c, d), the following rules are used.
  • the linear prediction coefficient storage unit 109c does not need w2_1 in the weighting coefficient set. Therefore, w2 is not required for the weighting coefficient set for ref1. Therefore, the code string can be reduced.
  • the linear prediction coefficient storage unit 109 d does not need w 1 _ 2 of the weighting coefficient set. Therefore, w 1 is not required for the weighting coefficient set for ref 2. Therefore, the code string can be reduced.
  • Figure 10 (b) is a functional block diagram showing another functional configuration for generating a predicted image.
  • FIG. A linear prediction coefficient generation unit 110, a linear prediction coefficient storage unit 109e, a linear prediction coefficient storage unit 109f, and a linear prediction calculation unit 107h generate a prediction image.
  • the weighting coefficient set generated by the linear prediction coefficient generation unit 110 is stored in the linear prediction coefficient storage unit 109 e and the linear prediction coefficient storage unit 109 f.
  • the linear prediction operation unit 107 h computes a set of weighting coefficients (wl — 1, w 2 — 1, c — 1,) selected by the first reference index ref 1 determined by the motion detection process.
  • the parameters of w 1 — 1, c— 1, and d— 1 are obtained from the linear prediction coefficient storage unit 109 e, and similarly, based on the second reference index ref 2
  • the parameters of w2-2 which are a part of the selected set of weighting coefficients (w1-2, w2_2, c12, d_2), are stored in the linear prediction coefficient storage unit 10 Get 9f.
  • the linear prediction operation unit 107 h is based on w 1 — 1, c — 1, d — 1, and w 2 — 2 obtained from the linear prediction coefficient storage unit 109 e and the linear prediction coefficient storage unit 109 f. Then, using Equation 1, calculate and output the predicted image.
  • the linear prediction operation unit 107 h computes the weighting coefficient set (w 1 — 1, w 2 ⁇ 1, c — 1, d— 1) obtained from the linear prediction coefficient storage unit 109 e. , From the set of weighting coefficients (w1-2, w2-2, c-2, d-2) obtained from the linear prediction coefficient storage unit 109f, the weighting coefficients actually used in linear prediction The following rules are used in determining the set (w1, w2, c, d).
  • the linear prediction coefficient storage unit 109e does not need w2-1 in the weighting coefficient set. Therefore, w2 is not needed for the weighting coefficient set for ref1. Therefore, the code string can be reduced.
  • the linear prediction coefficient storage unit 109 f does not need w 1 —2, c—2, and d—2 of the weighting coefficient set. Therefore, wl, c, and d are not required for the weighting coefficient set for ref2. Therefore, the code string can be reduced.
  • FIG. 11 is a functional block diagram in the case where only d is used as a fixed value in the functional configuration in FIG. 10 (a).
  • the linear prediction coefficient generation unit 110, the linear prediction coefficient storage unit 109 ⁇ , the linear prediction coefficient storage unit 109 '' ', the average value calculation unit 107j, and the linear prediction calculation unit 107k A re-predicted image is generated.
  • the only coefficients selected from the linear prediction coefficient storage unit 109 i by the first reference index ref “1” are (w 1 — 1, c_ 1), and the linear prediction coefficient storage by the second reference index ref 2.
  • the only coefficients selected from the unit 1 09 j are (w 2 ⁇ 2, c ⁇ 2)
  • the average value calculation unit 1 0 7 j includes the linear prediction coefficient storage unit 1 0 9 ⁇ and the linear prediction coefficient storage
  • the average value of c-1 and c-2 obtained by the unit 1109 j is calculated to obtain c, and output to the linear prediction operation unit 107k.
  • the linear prediction operation unit 107 k obtains the parameters of w 1 ⁇ 1 from the linear prediction coefficient storage unit 109 i and obtains the parameters of w 2-2 from the linear prediction coefficient storage unit 109 9 Then, the parameter of c is obtained from the average value calculation unit 107 jf, a predetermined fixed value is used as the parameter of d, and a predicted image is calculated and output using Equation 1. In other words, the following values are input to the coefficients (w 1, w 2, c, d) in Equation 1.
  • w 1 w 1 _ 1
  • w 2 w 2 _ 2
  • 0 (average of 0_ 1 and 0-2)
  • d (fixed value)
  • Equation 1a (w 1 _ 1 XQ 1 (i) + w 2 _ 2 x Q 2 (i)) / pow (2, d) + (c 1 + c 1 2) Z 2 (Equation 1 a )
  • equation 1b By further transforming equation 1a, an equation such as equation 1b is obtained.
  • the calculation method of linear prediction in the linear prediction calculation unit 107 k can be handled in exactly the same manner when used in the form of Equation 1b or in the form of Equation 1.
  • the system may be configured as pow (2, d ') by inputting.
  • the linear prediction coefficient storage unit 109 i needs only w 1 — 1 and c_ 1 of the weighting coefficient set, and the linear prediction coefficient storage unit 1 Since 0 9 j requires only w 2-2 and c-2 of the weighting coefficient set, there is no need to encode other parameters. Therefore, the code string can be reduced.
  • the same fixed value as the predetermined fixed value used as the value of d can be used at all times, but switching is performed for each slice by describing the fixed value in the slice header. It is also possible. Similarly, it is also possible to switch for each picture or each sequence by describing in the picture common information area or the sequence common information area.
  • FIG. 12 shows an example of the configuration of the slice data area when the above-described linear prediction method is used.
  • the difference from Fig. 6 is that there is only one d in the slice header area.
  • wl-1 and c-1 only as psets for ref1.
  • FIG. 13 is a table showing an example of the weighted I coefficient set included in the slice header area.
  • Each piece of data indicated by the identifier pset has two values, w1-1, c-1 or w2_2, c_2, and is configured so that it can be directly referenced by the values of refl and ref2. .
  • the linear prediction coefficient generation unit 110 generates a weighting coefficient set by examining the characteristics of the picture, and the motion compensation coding unit 107 generates the weighted coefficient set in FIG. 8, FIG. 9, FIG. A predicted image is created using the method described in 1 and the combination of the two reference indices ref 1 and ref 2 that minimizes the prediction error is determined.
  • the weighting coefficient set processing is performed in the linear prediction coefficient generation unit 110 of the encoder. It is possible to omit the process of creating unnecessary parameters at the stage of generation.
  • the linear prediction method uses the following equation 3 instead of equation 1 described in the conventional method.
  • Q 1 (i) is the pixel value of the referenced block
  • ⁇ ( ⁇ ) is the pixel value of the predicted image of the coding target block
  • w 1, w 2, c, and d are the selected weighting factors. This is the linear prediction coefficient given by the set.
  • Equation 4 instead of Equation 3 as the equation for linear prediction.
  • Q 1 (i) is the pixel value of the referenced block
  • P (i) is the pixel value of the predicted image of the block to be coded
  • w 1, c, and d are determined by the selected weighting coefficient set. This is the given linear prediction coefficient.
  • Equation 4 When using Equations 1 and 3, four parameters w1, w2, c, and d were required, but when using Equation 4, only three parameters, w1, c, and d Can perform linear prediction. In other words, when only one of the first reference index and the second reference index is used for the entire picture as in the case of a P picture, the number of items of data of the weighting coefficient set described in the slice header area is reduced to three. It is possible to reduce each time.
  • Equation 3 it is possible to realize linear prediction corresponding to both the B picture and the P picture without changing the configuration.
  • Equation 4 the amount of data described in the header area of the P picture can be reduced, and the calculation is simplified, so that the processing amount can be reduced.
  • a picture to be referred to in the motion compensation is determined by designating a reference index assigned to each picture. At that time, the maximum number of pictures that can be referred to was described in the picture common information portion of the code string.
  • FIG. 38 is a schematic diagram of a code string describing the maximum number of pictures that can be referred to. As shown in the figure, the maximum number of pictures for Re f 1, Max-Pic 1, and the maximum number of pictures for Re f 2, Max-Pic 2, are described in the picture common information of the code string.
  • the information required for encoding is not the maximum number of actual pictures, but the maximum possible value of the reference index used to specify a picture.
  • the command sequence idx-cmd 1 and i 01 01 01 ⁇ 012 are described in the code sequence in order to assign the reference index to the picture number.
  • picture numbers and reference indices are associated with each other. At this time, by knowing the maximum value of the reference index, all the reference indices were associated with the picture numbers. You can see the end of the command in the command sequence ⁇ dx—cmd1 and idx_cmd2.
  • the maximum number of available reference indices is described in a picture common information portion which is a picture header. Or, describe both the maximum number of pictures and the maximum number of reference indices.
  • FIG. 23 shows a state in which the maximum number of reference indexes is described in the picture common information of the code sequence of the picture.
  • the common information portion of the picture describes the maximum number of available reference indices Max_idx1 for ref1 and the maximum number of available reference indices Max_idx2 for ref2.
  • the maximum number of reference indices is described in the picture common information.
  • the maximum number of reference indices may be described in the slice data area.
  • the maximum number of reference indices in a picture is 8
  • the maximum number of reference indices required in slice 1 of the picture is 8
  • the maximum number of reference indices required in slice 2 is 4, and so on. If the maximum number of reference indexes required for each slice is different from the maximum number described in the picture common information area, the maximum number of reference indexes required for each slice can be specified.
  • the maximum number of reference indices described in the picture common information is set as a default value common to each slice in the picture. You may.
  • FIGS. 23 and 38 show an example in which the picture common information area and the slice data area are collectively used as a code string, the picture common information area and the slice data area are independent code strings. You It is also possible to handle this in exactly the same way.
  • Embodiment 2 of the present invention A moving picture coding method according to Embodiment 2 of the present invention will be described.
  • the configuration of the encoding device, the flow of the encoding process, and the method of assigning the reference index are exactly the same as those in Embodiment 1, and therefore the description is omitted here.
  • Equation 5 is the pixel values of the referenced block
  • P (i) is the pixel value of the predicted image of the current block
  • m, n, and c are the selected values. This is the linear prediction coefficient given by the weighting coefficient set.
  • the average value calculation unit 107 a stores the weighted coefficient set (sign 1 _ 1, m ⁇ 1, sign 2-1, n ⁇ 1, c — 1) from the linear prediction coefficient storage unit 109 a. obtain.
  • the average value calculation unit 107a obtains the weighting coefficient sets (sign1_2, m_2, sign2_2, n-2, c-2) from the linear prediction coefficient storage unit 109b. .
  • the average value calculation unit 107a obtains an average value for each parameter of the weighting coefficient set obtained from the linear prediction coefficient storage unit 109a and the linear prediction coefficient storage unit 109b, and sets the weighting coefficient set. (Sign 1, m, sign 2, n, c).
  • the linear prediction operation unit 107 b calculates the predicted image using Equation 5 based on the weighting coefficient set (sign 1, m, sign 2, n, c) output by the average value calculation unit 107 a. Calculate.
  • weighting coefficient sets (wl-1, w2-1, c_1, d-1) obtained from the linear prediction coefficient storage unit 109a and the like shown in FIG. This is for the example of the case of Equation 1 described in (1). Although the parameters for obtaining the predicted image are not shown, they can be replaced as they are. The same applies to the cases of FIGS. 9 and 10 described below.
  • the linear prediction operation unit 107c is based on the weighting coefficient set (sign11, m_1, sign2_1, n1, c_1) obtained from the linear prediction coefficient storage unit 109a. To calculate the predicted image.
  • the linear prediction operation unit 107 d is composed of a set of weighting coefficients (s ⁇ gn 1 — 2, m—2, sign 2 — 2, n—2, c—2) obtained from the linear prediction coefficient storage unit 109 b. ) Is used to calculate the predicted image.
  • the average value calculation unit 107 e obtains the average of each pixel of the prediction image calculated by each of the linear prediction calculation units 107 c and 107 d, and sets the average as a prediction image.
  • the linear prediction operation unit 1 0 7 c are weighting coefficients set Bok (si g n 1 - 1, m one 1, sign 2 one 1, n-1, c one 1) in the Certificates and have use Equation 5 Since the predicted image is calculated first, it can be calculated by bit shift operation without using multiplication. The same applies to the linear prediction operation unit 107d. On the other hand, in the case of Fig.
  • the weighting coefficient set (sign1_1, m_1, sign2_1, n_1, c_1) and the weighting coefficient set (signl_1, m_1) 1, sign 2 _ 2, n _ 2, c _ 2), the average of m__ 1 and m ⁇ 2 or the average of n ⁇ 1 and n beau2 may not be an integer.
  • the processing amount increases because the part corresponding to the exponent of 2 is not an integer, and the error may increase if the rounding processing is performed so that the part corresponding to the exponent of 2 becomes an integer. There is.
  • the linear prediction operation unit 107 g is stored in the linear prediction coefficient storage unit 109 c
  • the parameters sign 1 _ 1, m— 1, which are the coefficients used for the bit shift operation obtained from the other, and the parameter s ign, which is the coefficient used for the bit shift operation obtained from the linear prediction coefficient storage section 109 c 2 _ 2, n— 2 and the parameters c— 1 and c— 2 obtained from each linear prediction coefficient storage unit 109 c and 109 d were averaged by the average value calculation unit 107 f.
  • a predicted image is calculated using Equation 5 based on the average value c.
  • the coefficients used for the bit shift operation are the values obtained directly from the linear prediction coefficient storage unit 109 c or the linear prediction coefficient storage unit 109 d, so that 2 Is an integer. Therefore, it can be calculated by a bit shift operation, and the amount of processing can be reduced.
  • the linear prediction operation unit 107 h is obtained from the parameters sign 1 — 1, m— 1, c— 1 obtained from the linear prediction coefficient storage unit 109 e and the linear prediction coefficient storage unit 109 f.
  • a prediction image is calculated using Equation 5 based on the parameters sign 2 _ 2 and n _ 2.
  • the coefficient used for the bit shift operation is the value obtained as it is from the linear prediction coefficient storage unit 109 e or the linear prediction coefficient storage unit 109 f. Is an integer. Therefore, it can be calculated by a bit shift operation, and the amount of processing can be reduced.
  • the linear prediction equation as described in the second embodiment when used, the calculation can be performed by the bit shift operation without using the multiplication.
  • the processing amount can be significantly reduced as compared with the first embodiment.
  • Equations 5, 6, and 7 are used instead of Equations 1, 3, and 4, and the parameter set to be encoded is also replaced with (w1, w2, c, d).
  • Equations 5, 6, and 7 are used instead of Equations 1, 3, and 4, and the parameter set to be encoded is also replaced with (w1, w2, c, d).
  • Equations 3, 4 and (w1, w2, c, d) as they are, by limiting w1 and w2 so that only values that can be bit-shifted can be selected, the bit-shift function is performed. It is also possible to reduce the processing amount by realizing the calculation only by the calculation.
  • linear prediction can be performed with the same configuration as in Embodiment 1.
  • the processing amount can be greatly reduced, and the uncertain coefficients are only c-1 and c-2, so that the method of determining the coefficients can be greatly simplified.
  • Figure 24 shows linear prediction using only the sft_fIg flag indicating whether linear prediction can be performed using only the bit-shift operation and the DC component c in the picture common information of the code sequence of the picture.
  • An example is shown in which a flag dc—fIg indicating whether or not it is possible to perform is described.
  • the decoding device can perform decoding without referring to these flags, by referring to these flags, it is possible to perform decoding with a configuration suitable for linear prediction using only bit-shift operation, Since it is possible to perform decoding with a configuration suitable for linear prediction using only the DC component, this may be very important information depending on the configuration of the decoding device.
  • FIG. 24 shows an example in which the picture common information area and the slice data area are collectively used as a code string
  • the picture common information area and the slice data area may be independent code strings. It is possible, and this case can be treated exactly the same.
  • sft-fig and dc-fig are described in the picture common information area, but the same applies to the case of description in the sequence common information area and other independent common information areas. Can be.
  • these two flags can be used not only when both are used at the same time, but also only for sft_fIg or only for dc_fIg, and those cases can be handled in the same way .
  • Embodiment 3 of the present invention A moving picture coding method according to Embodiment 3 of the present invention will be described. Note that the configuration of the encoding apparatus, the flow of the encoding process, and the method of assigning reference indexes are exactly the same as in Embodiment 1, The description is omitted.
  • Equation 2a and Equation 2 are used instead of generating a predicted image using the prediction equation obtained from the weighting coefficient set of the linear prediction coefficient as in Embodiments 1 and 2.
  • Equation 2b There has been a method of obtaining a predicted image using a fixed equation determined in advance as in 2b.
  • the use of this method has the advantage that the amount of code can be reduced because it is not necessary to encode and transmit a set of weighting coefficients when obtaining a predicted image.
  • the formula for linear prediction was simple, linear prediction could be significantly reduced with a small amount of processing.
  • Equation 2a and Equation 2b there is only two types of linear prediction equations that can be selected, Equation 2a and Equation 2b, and therefore, there has been a problem that the prediction accuracy is deteriorated.
  • equations 8a and 8b are used instead of equations 2a and 2b. These equations are obtained by adding C 1 and C 2 to Equations 2a and 2b. Since only the number of additions increases as an operation, there is almost no increase in the amount of processing compared to the original formula.
  • Q 1 (i) and Q 2 (i) are the pixel values of the referenced block
  • P (i) is the pixel value of the predicted image of the encoding target block
  • C 1 and C 2 are selected. These are the linear prediction coefficients given by the set of weighting coefficients.
  • Equations 8a and 8b are prediction equations for generating a predicted image by referring to two pictures at the same time.However, when generating a predicted image by referring to only one picture, the description will be given in the embodiment. Equation 9 is used instead of Equations 3 and 4.
  • FIG. 14 shows an example of a picture code sequence using this method.
  • the slice header area has weighting coefficient sets (Pset0, pset1, pset2, ⁇ ) for performing linear prediction. , ⁇ ⁇ ) are described for refl and ref 2 respectively, and the content of each weighting coefficient set is only C.
  • FIG. 15 shows an example of a set of weighting coefficients included in the slice header area in a table. Unlike FIG. 7, the element of each weighting coefficient set is only C. I have.
  • FIG. 16 is a functional block diagram showing a functional configuration for generating a predicted image in the linear prediction coefficient generation unit 110, the linear prediction coefficient storage unit 109, and the motion compensation coding unit 107 in FIG. is there.
  • the linear prediction coefficient generation unit 110, the linear prediction coefficient storage unit 109g, the linear prediction coefficient storage unit 109h, and the linear prediction calculation unit 107 generate a predicted image.
  • the weighting coefficient set generated by the linear prediction coefficient generation unit 110 is stored in the linear prediction coefficient storage unit 109 g and the linear prediction coefficient storage unit 109 h. Weights with only one component each from the linear prediction coefficient storage units 109 g and 109 h based on the first reference index ref 1 and the second reference index ref 2 determined by the motion detection processing
  • the coefficient sets (C 1) and (C 2) are obtained. These values are input to the linear prediction operation unit 107 i, and linear prediction is performed using equations 8a and 8b to generate a predicted image.
  • the weighting coefficient set (C 1) or (C 2) is obtained only from either ref 1 or ref 2 in FIG.
  • Linear prediction is performed using Is generated.
  • the linear prediction coefficient generation unit 110 generates weighting coefficient sets (C 1) and (C 2) by examining the features of the picture, and performs prediction using the method described in FIG. Create an image and determine the combination of the two reference indices ref 1 and ref 2 that minimizes the prediction error.
  • the number of parameters to be used is only one for each of ref 1 and ref 2, so that it is possible to easily perform a process of determining the value of the parameter in the encoding device.
  • the amount of data described in the code string can be reduced.
  • the linear prediction equation does not require complicated operations such as multiplication, the amount of operations can be minimized.
  • the poor prediction accuracy which was considered to be a disadvantage in the conventional method using a fixed equation,
  • Embodiment 4 of the present invention A moving picture coding method according to Embodiment 4 of the present invention will be described.
  • the configuration of the encoding device, the flow of the encoding process, and the method of assigning the reference index are exactly the same as those in Embodiment 1, and therefore the description is omitted here.
  • FIG. 39 is a diagram in which picture numbers and display order information are arranged side by side as an example. A certain value is assigned to the display order information according to the display order. In the example of this figure, a value that increases by one for each picture is used.
  • Embodiment 4 describes a method of generating a coefficient value used in an equation for performing linear prediction using the display order information.
  • coefficient data is required.
  • coefficient data is described in a code string as a weighting coefficient set in a slice header area, and prediction is performed. Used to create images.
  • processing for creating data of the weighting coefficient set is required, and the increase in the amount of bits due to the description of the weighting coefficient set in the code string also increases. appear.
  • Equation 1 it is possible to perform linear prediction using Equation 10, Equation 11a, and Equation 12a. Since these equations can determine the weighting coefficients only from the display order information of each reference picture, there is no need to separately encode a weighting coefficient set.
  • Q 1 (i) and Q 2 (i) are the pixel values of the referenced block
  • ⁇ ( ⁇ ) is the pixel value of the predicted image of the current block
  • VO and V 1 are weighting factors
  • 0 is the display order information of the picture to be coded
  • T 1 is the display order information of the picture specified by the first reference index
  • T 2 is the display order information of the picture specified by the second reference index.
  • V I (T 2-T 0) / (T 2-T 1) (Equation 11a)
  • V 2 (T 0—T 1) (T 2—T 1) (Equation 1 2 a)
  • Equation 2a and 2b Compared to the method of switching between the fixed equation consisting of the two equations used and the positional relationship between the two reference pictures, a more efficient equation can be generated as a linear prediction equation.
  • Equations 11a and 12a do not hold. Therefore, when two pictures referred to have the same display order 'information, linear prediction is performed using 12 as the values of V 1 and V 2.
  • the linear prediction equation in that case is as follows.
  • Expression 10 By the way, if Expression 10 is used as in the above embodiment, multiplication and division are required to perform linear prediction. Since the linear prediction operation according to Equation 10 performs an operation on all the pixels in the encoding target block, the increase in the processing amount due to the addition of the multiplication is very large.
  • Equations 11b and 12b are used instead of Equations 11a and 12a as the linear prediction equations.
  • V 1 and V 2 are integers.
  • Equation 11 c and 12 c instead of Equations 11 a and 12 a. It is possible.
  • v 1 is an integer.
  • V 2 1 — V 1
  • Equation 1 1 d and 12 d are used instead of Equations 11 a and 12 a This Both are possible.
  • v 1 is an integer.
  • V 1 1-V 2
  • the picture specified by the first reference index is 11 and the picture specified by the second reference index is 10 Since the display order information of the pictures is 15, 15, and 10, ( ⁇ 2——0) ( ⁇ 2— ⁇ 1) and ⁇ 0 (2, V1) are as follows.
  • V 1 2 as a result of the approximation.
  • Equation 11b and Equation 12b are calculated as follows.
  • V 1 2.
  • the linear prediction equation is one of equation 10, but it can also be used in combination with the linear prediction method based on the fixed equation consisting of two equations, equation 2a and equation 2b, described in the background art. It is possible. In that case, use Equation 10 instead of Equation 2a, and use Equation 2b as it is. That is, if the picture specified by the first reference index is later in the display order than the picture specified by the second reference index, use Equation 10; otherwise, use Equation 2b. I do.
  • equation 10 can be used instead of equation 2b, and equation 2a can be used as it is. That is, if the picture specified by the first reference index is later in the display order than the picture specified by the second reference index, Equation 2a is used; otherwise, Equation 10 is used. However, if the two pictures referenced at this time have the same display order information, linear prediction is performed using 1/2 as the values of VI and V2.
  • Equation 13 is used instead of Equation 10.
  • the method of obtaining VI and V2 is the same as in the above embodiment.
  • the display order information according to the embodiment of the present invention is not limited to the display order, and is not limited to the actual display time, or each picture based on a predetermined picture whose value increases with the display time.
  • the reference order may be used.
  • Embodiment 5 of the present invention A moving picture coding method according to Embodiment 5 of the present invention will be described. Since the configuration of the encoding apparatus, the flow of the encoding process, and the method of assigning reference indexes are exactly the same as those in Embodiment 1, the description is omitted here.
  • Figure 17 (a) shows the five flags (pf I ag, c-f I ag s d-f I ag, t-f I ag, and s-f I ag Is described in the slice header area.
  • p-flag is a flag to indicate whether the weighting factor is coded.
  • C—f I ag is a flag indicating whether or not only the data related to parameter C (CI and C 2) among the parameters for ref 1 and ref 2 is encoded.
  • t-fIag is a flag indicating whether to generate a weighting coefficient for performing linear prediction using display order information of the reference picture.
  • S-fIag is a flag indicating whether the weighting factor for linear prediction is approximated to a power of 2 so that it can be calculated by shift operation.
  • D _ f I ag is specified by ref 1 when performing linear prediction using two preset fixed equations as shown in Equation 2a and Equation 2b.
  • This flag indicates whether to switch between the two expressions depending on the temporal positional relationship between the picture specified and the picture specified by ref2. In other words, if this flag specifies to switch, use Equation 2a if the picture specified by ref 1 is later in the display order than the picture specified by ref 2 as in the conventional method. Otherwise, perform linear prediction using Equation 2b. On the other hand, if this flag specifies no switching, the picture specified by ref 1 is always linearly predicted using Equation 2b, regardless of the position of the picture specified by ref 2. I do. It should be noted that the expression used without switching can be handled in the same way when the expression 2a is used instead of the expression 2b.
  • the motion compensation coding unit 107 determines, for each slice, whether or not to code the data relating to the weighting coefficient set, and based on this, determines the flag p—f Iag Is output to the code string generator 103 and described in the code string as shown in FIG. 17 (a). This In other words, it is possible to perform linear prediction using a set of weighting coefficients in a device having a high processing capability, and perform linear prediction without using a weighting coefficient set in a device having a low processing capability.
  • the motion compensation coding unit 107 determines, for each slice, whether or not to generate a coefficient for performing linear prediction using the display order information of the reference picture. Then, based on this, the information of the flag t-fIag is output to the code string generation unit 103, and described in the code string as shown in FIG. 17 (a). In this way, if the code amount has a margin, the weighted coefficient set is encoded to perform linear prediction, and if the code amount does not have a margin, the coefficient is generated from the display order information and the linear prediction is performed. Can be used properly 3009228
  • a coefficient for performing linear prediction is approximated by a power of 2 so that it can be calculated by a shift operation. It is determined whether or not it is, and based on the information, the information of the flag s_fIag is output to the code string generator 103, and described in the code string as shown in FIG. 17 (a).
  • linear prediction can be performed by using a weighting factor without approximation in a device with high processing power, and linearity that can be realized by shift operation using a weighting factor by approximating to a power of 2 in a device with low processing capability. It is possible to properly use such as making predictions.
  • the determination is performed using five flags each consisting of one bit (p ⁇ f I ag, c ⁇ f I agd ⁇ f I ag, t ⁇ I ags ⁇ f I ag).
  • a flag for switching between the generation of a predicted image using a fixed equation and the generation of a predicted image using a weighted coefficient set of linear prediction coefficients is provided in a picture common information portion of a code string. It was possible to switch on a picture-by-picture basis. However, with this method, the method of generating a predicted image could be switched only for each picture.
  • Each flag is determined for each picture, but it is also possible to switch between pictures by describing these flags in the picture common information area.
  • by providing a switching flag for each block constituting a slice it is possible to generate a predicted image by an optimal method on a block-by-block basis.
  • the display order information according to the embodiment of the present invention is not limited to the display order, and is not limited to the actual display time, or each picture based on a predetermined picture whose value increases with the display time. Reference order may be fine. (Embodiment 6)
  • FIG. 2 is a block diagram showing a configuration of a video decoding device according to Embodiment 6 of the present invention.
  • the video decoding method in this video decoding apparatus will be described with reference to (1) Overview of decoding, (2) Reference index allocation method, and (3) Predicted image generation method. It will be described in order. However, in the following description, it is assumed that a code string generated by the moving picture coding method according to Embodiment 1 is input.
  • the code sequence analysis unit 201 decodes the data sequence of the weighting coefficient set for linear prediction and the command sequence for reference index allocation from the slice header area, and further performs block coding.
  • Various information such as reference indices, motion vector information, and prediction residual coded data are extracted from the information area.
  • FIG. 6 is a diagram showing a state where the encoded information is included in a code string.
  • the data sequence of the weighting coefficient set for linear prediction extracted by the code sequence analysis unit 201 is stored in the linear prediction coefficient storage unit 206 for reference index allocation.
  • the command sequence is the reference index.
  • the picture number conversion unit 207, the reference index is the motion compensation decoding unit 204, the motion vector information is the motion vector storage unit 205, and the prediction residual.
  • the encoded signal is output to prediction residual decoding section 202, respectively.
  • the prediction residual decoding unit 2022 performs image decoding processing such as inverse quantization and inverse frequency conversion on the input residual encoded signal, and outputs a residual decoded signal.
  • the addition operation unit 208 generates a reconstructed image signal by adding the residual decoded signal and the predicted image signal output from the motion compensation decoding unit 204 to obtain a reconstructed image signal. It is stored in picture memory 203 for use in subsequent inter prediction and for output for display.
  • the motion compensation decoding unit 204 uses the motion vector input from the motion vector storage unit 205 and the reference index input from the code string analysis unit 201 to generate a picture memory 204.
  • the optimal image area for the predicted image is extracted from the reconstructed image signal stored in 3.
  • the picture number conversion unit 207 obtains a correspondence between the reference index given by the code string analysis unit 201 and the picture number, thereby obtaining a reference in the picture memory 203. Specify a picture.
  • Reference index ⁇ The operation of the picture number conversion unit 207 will be described in detail in (2). Further, the motion compensation decoding unit 204 performs pixel value conversion processing such as interpolation processing by linear prediction on the obtained pixel values of the image area, thereby creating a final predicted image.
  • the linear prediction coefficient used at that time is obtained from the data stored in the linear prediction coefficient storage unit 206 by using the reference index as a search key.
  • the decoded image generated by the above series of processing is stored in the picture memory 203, and is displayed as a display image signal in accordance with the display timing. Is output.
  • the above processing flow is the operation in the case where the inter-picture prediction decoding is performed.
  • the switch to the intra-picture prediction decoding is performed by the switch 209. ⁇
  • a predicted image is not generated by motion compensation, but a predicted image of the decoding target area is generated from the decoded area in the same screen and added to perform decoding.
  • the decoded image is stored in the picture memory 203 as in the case of the inter prediction decoding, and is output as a display image signal in accordance with the displayed timing.
  • FIG. 3 is a diagram for explaining a method of assigning two reference indices to a picture number.
  • the picture numbers are allocated in the decoding order.
  • the command for assigning a reference index to a picture number is described in the header of a slice, which is a decoding unit obtained by further dividing a picture, and the allocation method is updated each time one slice is decoded.
  • the command is for continuously instructing the difference value between the picture number assigned to the reference index immediately before and the picture number currently assigned, by the number of reference indexes.
  • Figure 4 shows the result of assigning reference indices. It can be seen that the first reference index and the second reference index are independently assigned to each picture number, but there are some pictures in which a plurality of reference indices are assigned to one picture number. In the decoding method of the present invention, it is assumed that there is at least one or more picture numbers to which a plurality of reference indexes are assigned as in this example. If the reference index is used only for determining the reference picture, the most efficient method is to assign one reference index to one picture number as in the conventional method. However, when using a reference index to select a set of weighting coefficients for linear prediction coefficients in the generation of a predicted image, the conventional method does not use the same linear prediction coefficient for all blocks having the same reference picture.
  • all reference pictures are stored in the reference memory.
  • the picture number is given, but the picture number is incremented by one only when the picture immediately before encoding is stored. Even if there is a picture that is not stored, the continuity of the picture numbers is maintained in the reference memory, and the above method can be used as it is.
  • Picture B 16 is a B picture to be decoded at present, and block B LO 1 and block B LO 2 are blocks to be decoded belonging to the B picture.
  • a first reference picture is picture P11
  • a second reference picture is picture B15
  • a prediction image is created by referring to blocks BL11 and BL21 belonging to the respective pictures.
  • the first reference picture is picture P 11
  • the second reference picture is picture B 15, and a predicted image is created by referring to blocks BL 1 2 and BL 22 belonging to the respective pictures. .
  • the first reference picture and the second reference picture both refer to the same BL 01 and BL 02
  • the first reference indexes ref 1 and ref 1 are used.
  • the second reference index ref 2 can take different values for BLO 1 and BLO 2.
  • the first reference indices corresponding to picture number 11 are assigned 1 and 3
  • the second reference indices corresponding to picture number 15 are assigned 1 and 6.
  • FIG. 1 ref 1, ref 2
  • the code sequence of one picture is composed of a picture common information area and a plurality of slice data areas.
  • Figure 6 shows the structure of the slice data area.
  • the slice data area includes a slice header area and a plurality of block data areas.
  • the area of each block corresponding to BLO 1 and BLO 2 in FIG. 5 is shown as an example of the block data area.
  • Ref 1 and ref 2 included in BL 0 1 indicate a first reference index and a second reference index, respectively, pointing to two pictures referred to by this block.
  • data (pset O, pset1, pset2,...,-)
  • refl and ref2 For giving a weighting coefficient set for performing the linear prediction are described for refl and ref2, respectively.
  • the number of psets at this time is the same as the number of reference indices described in (2), and can be set by the number. In other words, as shown in Fig. 3, if both the first reference index and the second reference index use 10 from 0 to 9, pset is also used for ref 1, JP2003 / 009228
  • FIG. 7 is a table showing an example of the weighting coefficient set included in the slice header area.
  • Each piece of data indicated by the identifier P set has four values of w 1, w 2, c, and d, and is configured to be directly referred to by the values of r efl and r ef 2.
  • command strings idx_cmd1 and idx_cmd2 for assigning the reference index to a picture number are described.
  • ref1 and ref2 described in B L01 in FIG. 6 one set of weighting coefficients is selected from the tables for ref1 and ref2 in FIG.
  • a predicted image is generated by performing linear prediction on the pixel values of the reference image using the two sets of weighting coefficients.
  • FIG. 18 is a functional block diagram showing a functional configuration for generating a predicted image in the linear prediction coefficient storage unit 206 and the motion compensation decoding unit 204 in FIG.
  • a predicted image is generated by the linear prediction coefficient storage unit 206a, the linear prediction coefficient storage unit 206b, the average value calculation unit 204a, and the linear prediction calculation unit 204b.
  • the average value calculation unit 204 a is composed of a set of weighting coefficients (w 1 ⁇ 1, w 2 ⁇ 1, c_1, d _ 1) selected by ref 1 output from the code sequence analysis unit 201. 1) is obtained from the linear prediction coefficient storage unit 206, and a set of weighting coefficients (w 1 — 2, w 2) selected by ref 2 output from the code string analysis unit 201 is obtained. — 2, c_2, d_2) are obtained from the linear prediction coefficient storage unit 206b.
  • the average value calculation unit 204 a calculates the average for each parameter of each weighting coefficient set obtained from the linear prediction coefficient storage units 206 a and 206 b.
  • the weighted coefficient set (w1, w2, c, d) actually used for linear prediction is output to the linear prediction calculation unit 204b.
  • the linear prediction calculation unit 204b calculates and outputs a predicted image using Equation 1 based on the weighting coefficient set (w1, w2, c, d).
  • FIG. 19 is a functional block diagram showing another functional configuration for generating a predicted image.
  • the prediction is performed by the linear prediction coefficient storage unit 206 a, the linear prediction coefficient storage unit 206 b, the linear prediction calculation unit 204 c, the linear prediction calculation unit 204 d, and the average value calculation unit 204 e.
  • An image is generated.
  • the linear prediction operation unit 204c is composed of a set of weighting coefficients (w 1 — 1, w 2-1, c — 1, d — 1) selected by refl output from the code sequence analysis unit 201. 1) is obtained from the linear prediction coefficient storage unit 206a, and based on the weighting coefficient set, a prediction image is calculated using Equation 1 and output to the average value calculation unit 204e.
  • the linear prediction operation unit 204 d includes a set of weighting coefficients (w 1 _ 2, w 2 _ 2, c— 2) selected by ref 2 output from the code sequence analysis unit 201. , d ⁇ 2) are obtained from the linear prediction coefficient storage unit 206 b, and a prediction image is calculated based on the weighting coefficient set by using Equation 1 and output to the average value calculation unit 204 e.
  • the average value calculation unit 204 e calculates the average value of each pixel of the prediction image output from each of the linear prediction calculation unit 204 c and the linear prediction calculation unit 204 d, and obtains the final prediction image. Generate and output
  • FIG. 20 (a) is a functional block diagram showing another functional configuration for generating a predicted image.
  • a predicted image is generated by the linear prediction coefficient storage unit 206c, the linear prediction coefficient storage unit 206d, the average value calculation unit 204f, and the linear prediction calculation unit 204g.
  • the average value calculation unit 204 f is ref output from the code sequence analysis unit 201
  • one set of weighting coefficients (wl-1, w2-1, c_1, d_1) selected by 1 the parameters of c-1 and d-1 are stored in the linear prediction coefficient storage unit 20 6 c, and a set of weighting coefficient sets (w 1 — 2, w 2 — 2, c — 2, d — 2) selected by ref 2 output from the code sequence analysis unit 201 Among them, the parameters of c ⁇ 2 and d ⁇ 2 are obtained from the linear prediction coefficient storage unit 206 d.
  • the average value calculation unit 204 f includes the average values of c— 1 and c— 2 obtained from the linear prediction coefficient storage unit 206 c and the linear prediction coefficient storage unit 206 d, and d— 1 and d — Calculate the average value of 2 to obtain c and d, and output them to the linear prediction calculation unit 204 g.
  • the linear prediction calculation unit 204 g calculates the weighting coefficient set (w l —
  • Equation 1 w 2 — 2, c—2, d—2), the parameters of w 2—2 are obtained from the linear prediction coefficient storage unit 206 d, and the average value calculation unit 204 f respectively. Calculate the average of, obtain c and d, calculate and output the predicted image using Equation 1.
  • the linear prediction operation unit 204 g calculates the weighting coefficient set (w 1 — 1, w 2 — 1, c — 1, d— 1) obtained from the linear prediction coefficient storage unit 206 c, Of the weighting coefficient sets (w1-2, w2-2, c_2, d-2) obtained from the linear prediction coefficient storage unit 206d, the weighting coefficient sets actually used in linear prediction (W1, w2, c, d) are determined using the following rules.
  • w 1 w 1 _ 1
  • w 2 w 2 _ 2
  • c (average of c-1 and c-2)
  • d (average of d-1 and d-2)
  • FIG. 20 (b) is a functional block diagram showing another functional configuration for generating a predicted image.
  • Linear prediction coefficient storage unit 206 e, Linear prediction coefficient storage unit 206 f, a linear prediction operation unit 204 h generates a predicted image.
  • the linear prediction operation unit 204 h includes a set of weighting coefficients (w 1 _ 1, w 2 _ 1, c— 1, d— 1) selected by refl output from the code sequence analysis unit 201. ), The parameters of w 1 — 1, c— 1, and d— 1 are obtained from the linear prediction coefficient storage unit 206 e, and ref 2 output from the code sequence analysis unit 201 The parameters of w 2 — 2, which are part of a set of weighting coefficients (wl — 2, w 2 — 2, c — 2, d — 2) selected by Obtained from 0 6 f.
  • the linear prediction operation unit 204 h includes w 1 _ 1, c— 1, d— 1, and w 2— 2 obtained from the linear prediction coefficient storage unit 206 e and the linear prediction coefficient storage unit 206 f. Based on, the predicted image is calculated and output using Equation 1.
  • the linear prediction operation unit 204 h includes the weighting coefficient sets (w 1 _ 1, w 2 _ 1, c— 1, d _ 1) obtained from the linear prediction coefficient storage unit 206 e, Of the weighting coefficient sets (wl-2, w2-2, c_2, d-2) obtained from the linear prediction coefficient storage unit 206 f, the weighting coefficient sets actually used in linear prediction The following rules are used in determining (w1, w2, c, d).
  • FIG. 21 is a functional block diagram in the case where only d is used as a fixed value in the functional configuration in FIG. 20 (a).
  • a predicted image is generated by the linear prediction coefficient storage unit 206 g, the linear prediction coefficient storage unit 206 h, the average value calculation unit 204 i, and the linear prediction calculation unit 204 j.
  • the coefficient selected from the linear prediction coefficient storage unit 206 g by the first reference index ref 1 is only (wl — 1, c — 1), and the second reference index
  • the coefficient selected from the linear prediction coefficient storage unit 206 h by the index ref 2 is only (w 2-2, c _ 2).
  • the average value calculation unit 204 ⁇ calculates the average value of c ⁇ 1 and c ⁇ 2 obtained from the linear prediction coefficient storage unit 206 g and the linear prediction coefficient storage unit 206 h to obtain c. Output to the linear prediction calculation unit 204 j.
  • the linear prediction operation unit 204 j obtains the parameters of w 1 _ 1 from the linear prediction coefficient storage unit 206 g and obtains the parameters of w 2-2 from the linear prediction coefficient storage unit 206 h Then, the parameter c is obtained from the average value calculation unit 204 i, and a certain fixed value determined in advance as the parameter d is used to calculate and output a predicted image using Equation 1.
  • Equation 1 can be modified and handled like Equation 1b as described in the first embodiment.
  • the predetermined fixed value used as the value of d can be always the same value.However, when the fixed value is described in the slice header in the encoding device, It is also possible to switch for each reslice by extracting the fixed value in the code string analysis unit 201. Similarly, it is also possible to switch for each picture or sequence by describing in the picture common information area or sequence common information area.
  • Equation 4 When using Equations 1 and 3, four parameters w1, w2, c, and d were required, but when using Equation 4, only three parameters, w1, c, and d Can perform linear prediction. In other words, when only one of the first reference index and the second reference index is used for the entire picture as in the case of a P picture, the number of data items of the weighting coefficient set described in the slice header area is reduced to three. It is possible to reduce each time.
  • Equation 3 it is possible to realize linear prediction corresponding to both the B picture and the P picture without changing the configuration.
  • Equation 4 the amount of data described in the header area of the P picture can be reduced, and the calculation is simplified, so that the processing amount can be reduced.
  • the method of reallocating the reference index proposed in the present invention can be applied as it is, it is possible to create a predicted image with high prediction accuracy, and to decode the image. It is very effective in
  • a picture to be referred to in the motion compensation is determined by designating a reference index assigned to each picture. At that time, the maximum number of pictures that can be referred to was described in the picture common information portion of the code string.
  • FIG. 38 is a schematic diagram of a code string describing the maximum number of pictures that can be referred to. As shown in the figure, the maximum number of pictures for Re f 1, Max-Pic 1, and the maximum number of pictures for Re f 2, Max-Pic 2, are described in the picture common information of the code string.
  • the information required for decoding is not the maximum number of actual pictures, but the maximum number of possible reference indices used to specify pictures. It is a large value.
  • the command sequence i dx — cmd 1 and ⁇ dx — cmd 2 are described in the code sequence in order to assign the reference index to the picture number.
  • Picture numbers and reference indices are associated with each other based on the command strings i dx _c md 1 and ⁇ dx _c md 2.
  • knowing the maximum value of the reference index indicates that all the reference indices have been associated with the picture numbers, and the command sequences idx—cmd1 and idx—cmd2 have been added. [You can know the end of the command.
  • the maximum number of available reference indices is described in a picture common information portion which is a picture header. Or, describe both the maximum number of pictures and the maximum number of reference indices.
  • FIG. 23 shows a state in which the maximum number of reference indexes is described in the picture common information of the code sequence of the picture.
  • the common information part of the picture describes the maximum number of available reference indices Max_idx1 for ref1 and the maximum number of available reference indices Max_idx2 for ref2.
  • the maximum number of reference indices is described in the picture common information.
  • the maximum number of reference indices may be described in the slice data area.
  • reference in a picture The maximum number of indexes is 8, the maximum number of reference indexes required for slice 1 in the current picture is 8, and the maximum number of reference indexes required for slice 2 is 4, etc. If the maximum number is different from the maximum number described in the picture common information area, the maximum number of reference indexes required for each slice can be specified.
  • the maximum number of reference indices described in the picture common information is set as a default value common to each slice in the picture, and slices for which the required maximum number of reference indices is different from the default value are described in the slice header. Is also good.
  • FIGS. 23 and 38 show examples in which the picture common information area and the slice data area are collectively used as a code string, the picture common information area and the slice data area are independent code strings. It is also possible to handle this case in exactly the same way.
  • a moving picture decoding method according to Embodiment 7 of the present invention will be described. Note that the configuration of the decoding device, the flow of the decoding process, and the method of assigning the reference index are exactly the same as those in the sixth embodiment, and a description thereof will not be repeated.
  • Equation 5 instead of Equation 1
  • Equation 6 instead of Equation 3
  • Equation 7 instead of Equation 4.
  • Equation 5 is used to generate a predicted image by referring to two pictures at the same time, and Equation 6 or Equation 6 is used to generate a predicted image by referring to only one picture.
  • Equation 7 for convenience. Since these equations require identifiers to indicate the sign, the set of weighting factors required for the prediction operation is (sign1, m, sign2, n, c) for Equations 5 and 6. In the case of Equation 7, it becomes (sign 1, m, c).
  • sig n 1 [The first sign is the sign, and sig n 2 is the parameter that identifies the second sign.
  • signl and sign2 can be represented by 1 bit, so that the code amount hardly increases.
  • the average value calculating unit 204a obtains weighting coefficient sets (sign1_1, m_1, sign2_1, n_1, c_1) from the linear prediction coefficient storage unit 206a.
  • the average value calculation unit 204a stores the weighting coefficient sets (sign1_2, m-2, sign2-2-2, n_2, c_2) from the linear prediction coefficient storage unit 206b. obtain.
  • the average value calculation unit 204a calculates the average value for each parameter of the weighting coefficient set obtained from the linear prediction coefficient storage unit 206a and the linear prediction coefficient storage unit 206b, and determines the straightening coefficient.
  • the linear prediction operation unit 204b uses the predicted image Is calculated.
  • the weighting coefficient sets (wl-1, w2-1, c_1, d-1) obtained from the linear prediction coefficient storage unit 206a and the like shown in Fig. 18 are used in the embodiment. This is for the case of Equation 1 described in Section 6, and the parameters for obtaining a predicted image using Equation 5 are not shown, but can be replaced as they are. The same applies to the cases of FIGS. 19 and 20 described below.
  • the linear prediction operation unit 204c stores the weighted coefficient set (signl — 1, m — 1, sign 2 — 1, n — 1, c — 1) obtained from the linear prediction coefficient storage unit 206. A predicted image is calculated based on the predicted image.
  • the linear prediction operation unit 204 d is based on the weighting coefficient set (sign 1 — 2, m—2, sign 2 — 2, n — 2, c—2) obtained from the linear prediction coefficient storage unit 206 b. Calculate the prediction image. Then, the average value calculation unit 204 e is divided into the linear prediction calculation units 204 c and 2
  • the average of each pixel of the predicted image calculated by each of the 4d is calculated, and is set as a predicted image.
  • the linear prediction operation unit 204c first uses Equation 5 based on the weighting coefficient set (sign1_1, m_1, sign2_1, n1-1, c_1), and Because the predicted image is calculated, it can be calculated by bit shift operation without using multiplication. The same applies to the linear prediction operation unit 204d.
  • the weighting coefficient set (s) in the case of Fig. 18, the weighting coefficient set (s)
  • the average value of m_1 and m_2 or the average value of n-1 and n-2 may not be an integer.
  • the error may increase.
  • the linear prediction operation unit 204 g includes parameters sign 1 _ 1, m— 1, which are coefficients used for the bit shift operation obtained from the linear prediction coefficient storage unit 206 c, and a linear prediction coefficient storage unit 200.
  • Parameter c 2 _ 2, ⁇ _ 2, which is a coefficient used for bit shift operation obtained from 6 c, and parameter c obtained from each linear prediction coefficient storage unit 206 c, 206 d — 1 and c — 2 are averaged by the average value calculation unit 204 f to calculate a predicted image using Equation 9 based on the average value c obtained.
  • the coefficient used for the bit shift operation is the value obtained as it is from the linear prediction coefficient storage unit 206 c or the linear prediction coefficient storage unit 206 d. Is an integer. Therefore, it can be calculated by a bit shift operation, and the amount of processing can be reduced.
  • the linear prediction operation unit 204 h is obtained from the parameters sign 1 _ 1, m— 1, c— 1 obtained from the linear prediction coefficient storage unit 206 e and the linear prediction coefficient storage unit 206 f
  • the prediction image is calculated using Equation 9 based on the parameters sign 2 _ 2 and n _ 2.
  • the coefficient used for the bit shift operation is the value obtained as it is from the linear prediction coefficient storage unit 206 e or the linear prediction coefficient storage unit 206 f. Is an integer. Therefore, it can be calculated by a bit shift operation, and the amount of processing can be reduced.
  • the linear prediction equation as described in the seventh embodiment when used, the calculation can be performed by the bit shift operation without using the multiplication, so that the processing amount can be significantly reduced as compared with the sixth embodiment. Becomes possible.
  • Equations 5, 6, and 7 are used instead of Equations 1, 3, and 4, and the parameter set to be encoded is also replaced with (w1, w2, c, d).
  • equations 1 and 2 were used.
  • Exactly the same as Embodiment 6 by restricting wl and w2 to be selectable only for values that can be bit-shifted while using Equations 3, 4 and (w 1, w 2, c, d) as they are. It is also possible to reduce the amount of processing by realizing the calculation using only the bit shift operation with the above configuration.
  • a line is added to the picture common information of the code sequence of the picture.
  • Flag dc _ f I indicating whether it is possible to perform linear measuring the shape predict only flag sft _ f I g s and a DC component c in showing a can be performed only by the bit Toshifu Bok operation If g is described, the decoding device refers to these flags to perform decoding with a configuration suitable for linear prediction using only bit-shift operations, or to perform linear prediction using only DC components. Thus, it is possible to perform decoding with a different configuration, and it is possible to greatly reduce the processing amount depending on the configuration of the decoding device.
  • Embodiment 8 of the present invention A moving picture decoding method according to Embodiment 8 of the present invention will be described. Note that the configuration of the decoding device, the flow of the decoding process, and the method of assigning reference indexes are exactly the same as those in Embodiment 6, and therefore the description is omitted here.
  • equations 8a and 8b are used instead of equations 2a and 2b. These equations are obtained by adding C 1 and C 2 to Equations 2a and 2b. Since the number of additions only increases as an operation, there is almost no increase in the processing amount even when compared with the original formula.
  • Equations 8a and 8b are prediction equations for generating a predicted image by referring to two pictures at the same time.However, when generating a predicted image by referring to only one picture, the description will be given in the embodiment. Equation 9 is used instead of Equations 3 and 4.
  • the set of weighting factors required to use this method is only for ref 1 (C 1) and for ref 2 (C 2).
  • C 1 ref 1
  • C 2 ref 2
  • Fig. 14 an example of a picture code sequence using this method is shown in Fig. 14, and the weighted coefficient set (pset 0, pset 1, pset 2, '' ') Are described for refl and ref2 respectively, and the content of each weighting coefficient set is only C.
  • FIG. 15 shows an example of a set of weighting coefficients included in the slice header area in a table, but unlike FIG. 7, the element of each weighting coefficient set is only C. I have.
  • FIG. 22 is a functional block diagram showing a functional configuration for generating a predicted image in the linear prediction coefficient storage unit 206 and the motion compensation decoding unit 204 in FIG.
  • a linear prediction coefficient storage unit 206a, a linear prediction coefficient storage unit 206b, and a linear prediction calculation unit 204a generate a re-predicted image.
  • the first reference index ref 1 and the second reference index ref 2 output from the code string analysis unit 201 have only one component each from the linear prediction coefficient storage units 206 a and 206 b.
  • the weighting factor sets (C 1) and (C 2) are obtained. These values are input to the linear prediction operation unit 204a, and linear prediction is performed using equations 8a and 8b to generate a predicted image.
  • the weighting coefficient set (C 1) or (C 2) is obtained only from either ref 1 or ref 2 in FIG. Then, the linear prediction is performed using 9 and a predicted image is generated.
  • the number of parameters to be used is only one for each of ref1 and ref2, so that the amount of data described in the code string can be reduced.
  • the linear prediction formula does not require complicated calculations such as multiplication, the amount of calculation can be minimized.
  • the poor prediction accuracy which was a drawback in the conventional method using a fixed equation, can be significantly improved by using the coefficients C 1 and C 2.
  • Embodiment 9 of the present invention A moving picture decoding method according to Embodiment 9 of the present invention will be described. Note that the configuration of the decoding device, the flow of the decoding process, and the method of assigning the reference index are completely the same as those in Embodiment 6, so that the description is omitted here.
  • FIG. 39 is a diagram in which picture numbers and display order information are arranged side by side as an example. A certain value is assigned to the display order information according to the display order. In the example of this figure, a value that increases by one for each picture is used.
  • Embodiment 9 describes a method of generating a coefficient value used in an equation for performing linear prediction using the display order information.
  • Equation 1 it is possible to perform linear prediction using Equation 10, Equation 11a, and Equation 12a. Since these equations can determine the weighting coefficients only from the display order information of each reference picture, there is no need to separately encode a weighting coefficient set.
  • Equations 2a and 2b are Compared to the method of switching the fixed equation consisting of the two equations used according to the positional relationship between the two reference pictures, a more efficient equation can be generated as a linear prediction equation.
  • Equations 11a and 12a do not hold. Therefore, when two referenced pictures have the same display order information, linear prediction is performed using 1/2 as the values of V 1 and V 2.
  • Formula 1 2 a does not hold.
  • the configuration may be such that a preset value is used as a coefficient.
  • a value set in advance may be a coefficient having the same weight as in the example of 1Z2 described above.
  • Expression 10 By the way, if Expression 10 is used as in the above embodiment, multiplication and division are required to perform linear prediction. Since the linear prediction operation according to Equation 10 performs an operation on all the pixels in the encoding target block, the increase in the processing amount due to the addition of the multiplication is very large.
  • Equations 11c and 12c instead of Equations 11a and 12a.
  • Equations 11d and 12d instead of Equations 11a and 12a.
  • the method of approximation to the power of 2 is, for example, taking Equation 11b as an example.
  • ⁇ pow (2, v1) when the value of pow (2, v1) and (T2—TO) (T2—T1) are closest to each other .
  • V 1 2 as a result of the approximation.
  • Equation 11b and Equation 12b are calculated as follows.
  • V 1 2.
  • V 2 — 1 as a result of approximation by rounding down.
  • the equation for linear prediction is one of Equation 10; however, the linear prediction is based on a fixed equation consisting of two equations of Equation 2a and Equation 2b described in the related art. It is also possible to use in combination with the method. In that case, use Equation 10 instead of Equation 2a, and use Equation 2b as it is. That is, if the picture specified by the first reference index is later in the display order than the picture specified by the second reference index, use Equation 10; otherwise, use Equation 2b. .
  • Equation 10 instead of Equation 2b and use Equation 2a as is It is also possible. That is, if the picture specified by the first reference index is later in the display order than the picture specified by the second reference index, Equation 2a is used; otherwise, Equation 10 is used. However, if the two pictures referred to at this time have the same display order information, linear prediction is performed using 1 Z 2 as the values of V 1 and V 2.
  • Equation 13 is used instead of Equation 10. How to determine V 1 and V 2 is the same as in the above embodiment.
  • the display order information in the embodiment of the present invention is limited to the display order. Instead, the order may be the actual display time or the reference order of each picture with reference to a predetermined picture whose value increases with the display time.
  • Embodiment 10 of the present invention A moving image decoding method according to Embodiment 10 of the present invention will be described. Note that the configuration of the decoding device, the flow of the decoding process, and the method of assigning the reference index are completely the same as those in Embodiment 6, so that the description is omitted here.
  • Figure 17 (a) shows the five flags (p-fIag, c-fIag, d-fIag, t-fIag, s-fIag) for controlling the above switching. This is a configuration in the case of describing in a slice header area in a code string.
  • p-flag is a flag to indicate whether the weighting factor is coded.
  • C—f I ag is a flag indicating whether or not only the data related to the parameter C (C 1 and C 2) among the parameters for ref 1 and ref 2 is encoded.
  • t- f I a g is a flag indicating whether to generate using the display order information of the reference picture weighting factor for performing linear prediction.
  • s- f I a g is a flag indicating whether to approximate to a power of 2 as the weighting coefficients for performing linear prediction can be calculated by the shift Bok operation.
  • Equation 2a and Equation 2b are set in advance as shown in Equation 2a and Equation 2b.
  • this flag specifies to switch, use Equation 2a if the picture specified by ref 1 is later in the display order than the picture specified by ref 2 as in the conventional method. Otherwise, perform linear prediction using Equation 2b.
  • this flag specifies no switching, the picture specified by ref 1 is always linearly predicted using Equation 2b, regardless of the position of the picture specified by ref 2. I do.
  • the code string analysis unit 201 analyzes the value of the flag p ⁇ f I ag, and based on the result, decodes data relating to the weighting coefficient set and generates a predicted image.
  • An instruction as to whether or not to perform is output to the motion compensation decoding unit 204 to perform motion compensation by linear prediction.
  • the code string analysis unit 201 analyzes the value of the flag c—f Iag and, based on the result, obtains a parameter C (0) corresponding to the DC component of the image data.
  • An instruction as to whether to decode only the data relating to 1 and 2) and generate a predicted image by a fixed formula is output to the motion compensation decoding unit 204, and motion compensation is performed by linear prediction.
  • linear prediction is performed using all weighting coefficient sets in a device with high processing capability, and linear prediction using only DC components in a device with low processing capability. Can be used properly.
  • the code sequence analysis unit 201 analyzes the value of the flag t—f I ag, and based on the result, calculates coefficients for performing linear prediction on the reference picture.
  • An instruction as to whether or not to generate using the display order information is output to the motion compensation decoding unit 204 to perform motion compensation by linear prediction. In this way, if the code amount has a margin, the weighting coefficient set is coded to perform linear prediction, and if the code amount does not have a margin, coefficients are generated from the display order information and linear prediction is performed. Becomes possible.
  • the code string analysis unit 201 analyzes the value of the flag s ⁇ f I ag, and shifts coefficients for performing linear prediction based on the result.
  • An instruction as to whether or not to approximate a power of 2 so that it can be calculated by is output to the motion compensation decoding unit 204 to perform motion compensation by linear prediction.
  • This allows linear prediction to be performed without approximating the weighting factor in a device with high processing power, and to be realized by shift operation using a weighting factor approximated to a power of 2 in a device with low processing capability. It is possible to selectively use such as performing linear prediction.
  • five flags each consisting of one bit (p-rIag, c-fIag, d-fIag, t-fIag, s-fIag) are used.
  • the discrimination is performed, it is also possible to represent only one flag consisting of 5 bits instead of 5 flags. In that case, it is also possible to decode using variable length decoding instead of expressing it in 5 bits.
  • a flag for switching between the generation of a predicted image using a fixed equation and the generation of a predicted image using a weighted coefficient set of linear prediction coefficients is provided in a picture common information portion of a code string. This makes it possible to switch between pictures.
  • the method of generating a predicted image could be switched only for each picture.
  • this switching flag in the slice header of the code string it is possible to switch which method generates a predicted image for each slice constituting a picture. For example, by generating a predicted image using a set of weighting coefficients for slices with complex images and generating a predicted image using a fixed expression for slices with simple images, It is possible to improve the image quality while minimizing the increase in the processing amount.
  • each slice describes s-f I AGJ
  • the display order information in the embodiment of the present invention is not limited to the order of display, and is not limited to the actual display time or each picture based on a predetermined picture whose value increases with the display time. Reference order may be fine.
  • Embodiment 11 A moving picture encoding method and a moving picture decoding method according to Embodiment 11 of the present invention will be described. The configurations of the encoding device and the decoding device, the flow of the encoding and decoding processes, and the method of assigning reference indices are exactly the same as those in the first and sixth embodiments. Is omitted.
  • This embodiment relates to the same technology as that described in the fifth embodiment and the tenth embodiment.
  • the flag c—f I ag that indicates whether or not the data is sliced is shown for each slice.
  • the motion compensation coding unit 107 determines whether or not to encode the data relating to the parameter set for each slice or block, and based on this, determines whether the flag pf
  • the information of Iag is output to the code string generation unit 103, and described in the code string as shown in FIG. 40 (a).
  • the motion compensation coding unit 107 codes only the data related to the parameter C (C 1, C 2) corresponding to the DC component of the image data for each slice or block. It is determined whether or not to convert the information, and the information of the flag c—fIag is output to the code string generation unit 103 based on the determination, and described in the code string as shown in FIG. 40 (a).
  • Fig. 40 (b) (1) if the flag p-fIag is 1 and the flag c_fIag is 0, Are encoded. (2) If the flag p-fIag is 1 and the flag c-fIag is 1, only the data related to the parameter C (C1 and C2) is encoded by the encoding device. You. (3) If the flag p-fIag is 0 and the flag c-fIag is 0, no parameter set is encoded in the encoding device. When the value of the flag is determined as shown in FIG. 40 (b), it is possible to determine whether or not the DC component of the image data is encoded by the flag p-fIag.
  • the parameters are processed, for example, as described in FIGS. 8 to 10.
  • the parameters are processed, for example, as described in FIG.
  • the parameters are processed using a fixed formula.
  • the parameters are processed, for example, as described in FIGS. 18 to 20.
  • the parameters are processed, for example, as described in FIG.
  • the parameters are processed using, for example, a fixed equation.
  • the parameter P-fIag and the flag c-fIag are used to explicitly switch (encode or receive) the parameter.
  • variable-length coding is performed without using the flag. It is also possible to use a table (V then C table).
  • not switching the fixed type 2 means the following.
  • an equation that is a fixed equation consisting of fixed coefficients It was explained that the prediction image was generated by selecting 2a and selecting Equation 2b, which is a fixed equation consisting of fixed coefficients otherwise.
  • the picture specified by the first reference index is more coded than the picture specified by the second reference index. Even in the latter case, it means that the prediction image is generated by selecting Expression 2b, which is a fixed expression composed of fixed coefficients.
  • the flag v_fIag information for explicitly selecting whether to switch between the fixed type 2a and the fixed type 2b is output from the code string generator 103 as shown in Fig. 41 (a). Is described in the code string.
  • Figure 41 (b) shows an example of processing using the flag V — fIag.
  • the flag V — f I ag when the flag V — f I ag is 1, the parameter is not encoded (the parameter is not downloaded by the encoding device. The same applies to the following), and the fixed expression 2 is switched. Is not performed.
  • the flag V — fI ag is 0 1
  • the parameter is not coded and the fixed type 2 is switched.
  • parameter coding is performed only for parameter C, and switching to fixed formula 2 is not performed.
  • the switching of the flag V — f I ag is performed by the motion compensation coding unit 107 in the coding device shown in FIG. 1 and is performed by the motion compensation decoding unit 204 in the decoding device shown in FIG. Can be.
  • a flag d — f I ag that indicates whether to switch the fixed expression may be used. Good.
  • the number of means for improving the image quality increases, and the coding efficiency can be improved.
  • the fixed type switching even when there is a fixed type that the decoding device does not have, by explicitly changing the fixed type, it is possible to generate a prediction image using the explicitly selected fixed type.
  • the arrangement of the flags in FIG. 40 is not limited to the illustrated one. Further, the value of the flag is not limited to the one described above. Using two types of flags makes it possible to specify how to use four types of parameters Therefore, the use of parameters other than those described above may be assigned. In the above example, all parameters have been transmitted. However, for example, all necessary parameter sets may be transmitted as described with reference to FIGS. 10 and 20.
  • FIG. 25 is an explanatory diagram of a case where the image encoding method or the image decoding method according to Embodiments 1 to 11 is implemented by a computer system using a flexible disk storing the image encoding method or the image decoding method. .
  • Fig. 25 (b) shows the appearance, cross-sectional structure, and flexible disk as viewed from the front of the flexible disk
  • Fig. 25 (a) shows an example of the physical format of the flexible disk, which is the recording medium body.
  • the flexible disk FD is built in the case F, and a plurality of tracks Tr are formed concentrically from the outer circumference toward the inner circumference on the surface of the disk, and each track has 16 sectors in the angular direction. Se has been split. Therefore, in the flexible disk storing the program, the image encoding method as the program is recorded in an area allocated on the flexible disk FD.
  • FIG. 25 (c) shows a configuration for recording and reproducing the program on the flexible disk FD.
  • the computer system Cs uses the flexible disk to determine the image encoding method or the image decoding method as the above program. Burn via disk drive.
  • the program is read from a flexible disk by a flexible disk drive and transferred to the computer system.
  • the description has been made using a flexible disk as a recording medium.
  • the same description can be made using an optical disk.
  • the recording medium is not limited to this, but can be similarly implemented as long as it can record a program, such as a 1C card or a ROM cassette.
  • FIGS. 26 to 29 are diagrams illustrating the device that performs the encoding process or the decoding process described in the above embodiment, and a system using the device.
  • FIG. 26 is a block diagram showing an overall configuration of a content supply system exl 00 for realizing a content distribution service.
  • a communication service providing area is divided into desired sizes, and base stations ex107 to ex110, which are fixed radio stations, are installed in each cell.
  • the content supply system ex 1 0 for example, via the Internet ex 1 0 1 Internet service provider ex 1 0 2 and the telephone network exl 0 4, and the base station ex 1 0 7 ⁇ ex 1 1 0, the Devices such as a combi- ter ex111, a PDA (personal digital assistant) ex112, a kamefu exl13, a mobile phone exl14, and a camera-equipped mobile phone ex115 are connected.
  • the Devices such as a combi- ter ex111, a PDA (personal digital assistant) ex112, a kamefu exl13, a mobile phone exl14, and a camera-equipped mobile phone ex115 are connected.
  • the content supply system exl 00 is not limited to the combination as shown in FIG. 26, and may be connected in any combination. Further, each device may be directly connected to the telephone network exl 04 without passing through the base stations ex 107 to ex 110 which are fixed wireless stations.
  • the camera ex 1 13 is a device capable of shooting moving images, such as a digital video camera.
  • mobile phones use PDC (Personal Digital Communications), CDMA (Code Division Multiple Access), W-CDMA (Wideband-Code Division Multiple Access), or GSM (Global System for Mobile Communications). A telephone, a PHS (Personal Handyphone System), etc., may be used.
  • the streaming server ex 103 is connected from the camera ex 113 via the base station ex 109 and the telephone network ex 104, and the coding transmitted by the user using the camera ex 113 Live distribution based on the processed data becomes possible.
  • the encoding of the captured data may be performed by the excel 13 or by a server or the like that performs the data transmission.
  • moving image data shot by the camera 1116 may be transmitted to the streaming server ex103 via the computer ex111.
  • the camera ex 1 16 is a device such as a digital camera that can shoot still images and moving images.
  • the encoding of the moving image data may be performed by the camera exl 16 or by the computer exl 1.
  • the encoding process is ⁇ _ which is processed in the LSI ex 117 of the computer ex111 and the camera exl16.
  • the software for image encoding and decoding may be incorporated in any storage medium (CD-ROM, flexible disk, hard disk, etc.) which is a recording medium readable by a computer exl 11 or the like.
  • CD-ROM compact disc-read only memory
  • flexible disk flexible disk
  • hard disk etc.
  • the moving image data at this time is data that has been encoded by the LSI included in the mobile phone exl15.
  • the user 3 The content (for example, a video of a live music) taken by the camera ex116 or the like is encoded and transmitted to the streaming server ex103 in the same manner as in the above embodiment.
  • the streaming server ex103 streams the above content data to the requested client.
  • the client include a computer ex11, a PDA ex112, a power exl13, a mobile phone ex114, etc., capable of decoding the encoded data. is there.
  • the content supply system ex1000 can receive and reproduce the encoded data at the client, and further receive and decode the data in real time at the client, and reproduce the data. This makes it possible to implement personal broadcasting.
  • each device constituting this system may be performed using the moving picture coding apparatus or the moving picture decoding apparatus described in each of the above embodiments.
  • a mobile phone will be described as an example.
  • FIG. 27 is a diagram illustrating a mobile phone ex 115 using the moving picture coding method and the moving picture decoding method described in the above embodiments.
  • the mobile phone ex l 15 has an antenna ex 2 01 for transmitting and receiving radio waves to and from the base station ex l 10, a camera section ex 2 0 3 capable of capturing images and still images of a CCD camera and the like.
  • the display unit ex202 such as a liquid crystal display, which displays data obtained by decoding the video captured by the camera unit ex203, the video received by the antenna ex201, etc., and the operation keys ex204 Exposed body ex. 208, audio output unit such as speaker for audio output, audio input unit ex. 205 for microphone, etc.
  • the recording medium ex207 is a flash memory element that is a part of EEPROM (Electrically Erasable and Programmable Read Only Memory), which is non-volatile memory that can be electrically rewritten and erased in a plastic case such as an SD card. Contains children.
  • EEPROM Electrically Erasable and Programmable Read Only Memory
  • the mobile phone exl 15 supplies power to the main control unit ex 3 11 1, which controls the components of the main unit equipped with the display unit ex 202 and the operation keys e X 204, collectively.
  • An image decoding unit ex 309, a demultiplexing unit ex 308, a recording / reproducing unit ex 307, a modulation / demodulation circuit unit ex 306 and an audio processing unit ex 305 are connected to each other via a synchronous bus ex 313. Have been.
  • the power supply circuit ex310 supplies the camera-equipped digital mobile phone exl15 by supplying power from the battery pack to each part when the call end and the power key are turned on by a user operation. Start up in an operable state.
  • the mobile phone exl15 based on the control of the main control unit ex311 comprising a CPU, ROM, RAM, etc., converts the audio signal collected by the audio input unit ex205 in the voice call mode into the audio processing unit ex3
  • the digital audio data is converted into digital audio data by the external exciter 05, the spread spectrum processing is performed by the modulation and demodulation circuit section ex306, the digital-analog conversion processing and the frequency conversion processing are performed by the transmission and reception circuit section ex301, and then the antenna ex200 To send over.
  • the mobile phone ex115 also amplifies the received signal received by the antenna ex201 in the voice call mode, performs frequency conversion processing and analog-digital conversion processing, and The spectrum is despread by the demodulation circuit unit ex306, converted into an analog audio signal by the audio processing unit ex305, and then output via the audio output unit ex208.
  • the text data of the e-mail input by operating the operation key eX204 of the main unit is mainly transmitted through the operation input control unit ex304. It is sent to the control unit ex311.
  • the main control unit ex3101 performs spread spectrum processing on the text data in the modulation and demodulation circuit unit ex306, performs digital-analog conversion processing and frequency conversion processing in the transmission / reception circuit unit ex301, and then performs antenna conversion. It transmits to the base station ex 110 via ex 210.
  • the image data captured by the camera unit ex203 is supplied to the image encoding unit ex312 via the camera interface I-ex3103. .
  • image data captured by the camera unit ex203 is displayed on the display unit ex203 via the camera interface unit ex303 and the LCD control unit ex302. It can also be displayed directly on the.
  • the image encoding unit ex 312 has a configuration including the image encoding device described in the present invention, and encodes image data supplied from the camera unit e X 203 in the above-described embodiment.
  • the image data is converted into encoded image data by performing compression encoding according to the encoding method used in the device, and is transmitted to the demultiplexing unit ex308.
  • the mobile phone ex115 simultaneously outputs the voice collected by the voice input unit ex205 during imaging by the camera unit ex203 to digital voice data via the voice processing unit ex305. And then to the demultiplexing unit ex308: ⁇ exit.
  • the demultiplexing unit ex308 converts the coded image data supplied from the image coding unit ex310 into audio data supplied from the audio processing unit ex305.
  • the multiplexed data was subjected to spread spectrum processing in the modulation and demodulation circuit section ex306, and digital-analog conversion processing and frequency conversion processing were performed in the transmission and reception circuit section ex301. Later, transmission is performed via the antenna ex201.
  • the received signal received from the base station exl10 via the antenna ex201 is scanned by the modulation / demodulation circuit unit ex306.
  • the multiplexed data obtained by performing the despreading is transmitted to the demultiplexing unit ex308.
  • the demultiplexing unit ex 308 demultiplexes the multiplexed data so that the encoded bit of the re-
  • the stream is divided into a stream and an encoded bit stream of audio data, and the encoded image data is supplied to the image decoding unit ex309 via the synchronous bus ex313, and the audio data is subjected to audio processing.
  • Supply to section ex305 to decode the multiplexed data received via the antenna ex 201.
  • the image decoding unit ex309 has a configuration including the image decoding device described in the present invention, and corresponds to the encoding method shown in the above-described embodiment.
  • the reproduced video data is generated by decoding with the above-described decoding method, and the reproduced video data is supplied to the display unit ex202 via the LCD control unit ex302, thereby linking to a homepage, for example.
  • the moving image data included in the moving image file is displayed.
  • the audio processing unit ex305 converts the audio data into an analog audio signal, and then supplies the analog audio signal to the audio output unit ex208, whereby, for example, a moving image file linked to a homepage is output. Is reproduced.
  • the image encoding device and the image decoding device of the above embodiment can be incorporated in the system.
  • the coded bitstream of the video information is communicated via radio waves or transmitted to the broadcasting satellite ex410.
  • the broadcasting satellite ex410 receiving this transmits a radio wave for broadcasting, receives this radio wave at a home antenna ex406 having a satellite broadcasting receiving facility, and outputs it to a television (receiver) ex401 or
  • a device such as a set-top box (STB) ex407 decodes the re-encoded bit stream and reproduces it.
  • STB set-top box
  • the reproduced video signal is displayed on the monitor ex404.
  • an image decoding device is mounted in the set-top pox ex407 connected to the cable ex405 for cable TV or the antenna ex406 for satellite terrestrial broadcasting. A configuration in which playback is performed with 8 is also possible. At this time, the image decoding device may be incorporated in the television instead of the set-top box.
  • a signal is received from a satellite ex 4 ⁇ 0 or a base station ex 1 0 7 or the like by a car ex 4 1 2 having an antenna ex 4 11 1, and the power ex ex 1 3 etc. of the car ex 4 1 2 is received. It is also possible to play a moving image on a display device.
  • an image signal can be encoded by the image encoding device described in the above embodiment and recorded on a recording medium.
  • a DVD recorder that records image signals on a DVD disc eX421 and a recorder ex420 such as a disc recorder that records data on a hard disk.
  • it can be recorded on an SD card ex 4 22. If the recorder ex 4 20 has the image decoding device shown in the above embodiment, the DVD disc ex 4 2 1 And the image signal recorded on the SD card ex 422 can be played back and displayed on the monitor ex 408.
  • the configuration of the force excitement ex 4 13 is, for example, of the configuration shown in FIG. 28, except that the camera section ex 203, the camera interface section ex 303, and the image encoding section eX3 12 are excluded.
  • a configuration is conceivable, and the same is conceivable for a computer ex l 1 1 and a TV (receiver) ex 4 1.
  • terminals such as the above-mentioned mobile phone ex114, such as a transmission / reception terminal having both an encoder and a decoder, a transmission terminal having only an encoder, and a reception terminal having only a decoder. Is possible.
  • the moving picture coding method or the moving picture decoding method described in the above embodiment can be used in any of the above-described device systems, and by doing so, the method described in the above embodiment can be used. The effect can be obtained.
  • the present invention generates a command for associating a picture number with a reference index specifying a coefficient used for generating a predicted image and a reference picture, and refers to the command when performing motion compensation on a block in the current picture.
  • a reference picture to be specified is specified by the reference index, and a block obtained by motion detection on the specified reference picture is subjected to linear prediction using the coefficient corresponding to the reference index. It is suitable for an image coding apparatus that performs inter-screen coding for generating a predicted image. Also, it is suitable for an image decoding device that decodes an encoded signal by the image encoding device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本発明の画像符号化方法は、ピクチャ番号で識別される符号化済ピクチャを参照ピクチャとして記憶部に格納し、予測画像の生成に用いられる係数および参照ピクチャを指定する参照インデックスとピクチャ番号とを対応付けるコマンドを生成し、符号化対象ピクチャ上のブロックに対して動き補償を行うときの参照ピクチャを前記参照インデックスにより指定し、指定された参照ピクチャ内の動き検出により得られたブロックに対して、前記参照インデックスに対応した前記係数を用いた線形予測を施すことにより予測画像を生成し、入力された符号化対象ピクチャ中のブロックと前記予測画像との差である予測残差と、前記コマンドと、前記参照インデックスと、前記係数とを符号化した符号化信号を含む画像符号化信号を出力し、その際、前記画像符号化信号中に前記参照インデックスの最大値を示す情報を符号化し、また、１つ以上のピクチャ番号に複数の参照インデックスを対応付けるコマンドを生成する。

Description

明 細 書 動画像の符号化方法および復号化方法 技術分野
本発明は、動画像の符号化方法および復号化方法に関するものであり、 特に既に符号化済みのピクチャを参照して画面間予測を行う符号化方法 および復号化方法に関するものである。 背景技術
近年、 マルチメディアアプリケーションの発展に伴い、 画像 - 音声 - テキス トなど、 あらゆるメディアの情報を統一的に扱うことが一般的に なってきた。 この時、 全てのメディアをディジタル化することによリ統 一的にメディアを扱うことが可能になる。 しかしながら、 ディジタル化 された画像は膨大なデータ量を持っため、 蓄積 ■ 伝送のためには、 画像 の情報圧縮技術が不可欠である。 一方で、 圧縮した画像データを相互運 用するためには、 圧縮技術の標準化も重要である。 画像圧縮技術の標準 規格としては、 I T U— T (国際電気通信連合 電気通信標準化部門） の H . 2 6 1、 H . 2 6 3、 I S O (国際標準化機構） の M P E G— 1、 M P E G— 4などがある。 また、 I T Uでは、 現在、 最新の画像符号化 規格として H . 2 6 Lが標準化中である。
一般に動画像の符号化では、 時間方向および空間方向の冗長性を削減 することによって情報量の圧縮を行う。 そこで時間的な冗長性の削減を 目的とするピクチャ間予測符号化では、 前方または後方のピクチャを参 照してブロック単位で動きの検出および予測画像の作成を行い、 得られ た予測画像と現在のピクチャとの差分値に対して符号化を行う。 ここで、 ピクチャとは、 1 枚の画面を表す用語であり、 プログレッシ ブ画像ではフレームを意味し、 インタ レース画像ではフレームもしくは フィール ドを意味する。 ここで、 インタ レース画像とは、 1 つのフレー ムが時刻の異なる 2つのフィールドから構成される画像である。 インタ レース画像の符号化や復号化処理においては、 1 つのフレームをフレー ムのまま処理したり、 2つのフィールドとして処理したり、 フレーム内 のブロック毎にフレーム構造またはフィ一ルド構造と して処理したリす ることができる。
なお、 以下で示すピクチャはプログレッシブ画像でのフレームの意味 で説明するが、 インタ レース画像でのフレームもしくはフィールドであ つても同様に説明することができる。
図 3 0はピクチャの種類とその参照関係を説明するための図である。 ピクチャ I 1 のように ピクチャを持たずピクチャ内予測符号化を 行うものを I ピクチャと呼ぶ 。 また 、 ピクチャ P 1 0のように 1 枚のピ クチヤのみを参照しピクチャ間予測符号化を行うものを Pピクチヤと呼
*·*
、 。 また、 同時に 2枚のピクチヤを参照してピクチャ間予測符号化を行 ラことのできるものを Bピクチヤと呼ぷ。
Bピクチャはピクチャ B 6 B 1 2 B 1 8のように時間的に任意の 方向にある 2枚のピクチャを同時に参照することが可能である。 参照ピ クチャは動き検出の単位であるブロックごとに指定することができるが、 符号化を行った符号列中に先に記述される方の参照ピクチャを第 1参照 ピクチャ、 後に記述される方を第 2参照ピクチャとして区別する。
ただし、 これらのピクチャを符号化および復号化する場合の条件とし て、参照するピクチャが既に符号化および復号化されている必要がある。 図 3 1 は Bピクチヤを符号化および復号化する場合の順番の例である。 図 3 1 ( a ) は表示される順番、 図 3 1 ( b ) は （ a ) を符号化および 復号化する順番に並び替えたものである。 ピクチャ B 3、 B 6によって 参照されるピクチャは全て先に符号化および復号化されているように並 び替えられているのが分かる。
前記 Βピクチャの符号化において、 同時に 2つのピクチャを参照する ή曰合の予測画像の作成方法について図 3 2を用いて詳しく説明する。 な お 、 復号化の場合の予測画像の作成方法についても全く同様である。 ピクチャ Β 4は現在符号化の対象と している Βピクチャであり、 プロ ック B L 0 1 およびブロック B L 0 2は前記 Βピクチャに属する符号化 対象のブロックである。 B L 0 1 は第 1参照ピクチャをピクチャ Ρ 2、 第 2参照ピクチャをピクチャ Ρ 3とし 、 それぞれのピクチャに属するブ
Ρック B L 1 1 および B L 2 1 を参照して予測画像を作成する。 同様に
Β L 0 2は第 1参照ピクチャをピクチャ Ρ 2、 第 2参照ピクチャをピク チャ Ρ 1 とし、 それぞれのピクチャに属するブロック B L 1 2および Β し 2 2を参照して予測画像を作成する 。 （非特許文献 1 参照）
図 3 3は参照された 2つのブロ ック B L 1 1 および B L 2 1 を用い て符号化対象のブロック B L 0 1 の予測画像を作成する方法を説明する ための図である。 ここでは各ブロックのサイズが 4 Χ 4画素であると仮 定して説明を行う。 Q 1 ( i )は B L 1 1 の画素値、 Q 2 ( i )は B L 2 1 の 画素値、 P ( i )は求める B L 0 1 の予測画像の画素値とすると、 画素値 P ( i )は式 1 のような線形予測式によって算出することができる。 ί は 画素の位置を示すものであり、 ここでの例では 0から 1 5の値を持つこ とになる。
Ρ ( i ) = (w 1 x Q l ( i )+ w 2 x Q 2 ( i ))Z p o w (2 , d )+ c (式 1 )
( p o w (2， d )は 2の d乗を示す）
- w 1 、 w 2、 c、 dは線形予測を行うための係数であり、 4つで 1組 の重み付け係数セッ トとして扱う。 これらの重み付け係数セッ トは各ブ ロックが参照するピクチャを指定する参照インデックスによって決定さ れるものであり、 例えば B L 0 1 の場合は w 1— 1 、 w 2 — 1 、 c— 1 、 d — 1 、 B L 0 2の場合は w 1 _ 2、 w 2— 2、 c _ 2、 d— 2とし、う 4つの値 を使用する。
次に、 参照ピクチャを指定するための参照インデックスについて図 3 4、 図 3 5を用いて説明する。 各ピクチャにはメモリに蓄積されるごと に 1 ずつ増加するピクチャ番号という値が割り振られている。 つまり、 新たに蓄積されるピクチャには既存のピクチャ番号の最大値から 1つ増 加した値を持つピクチャ番号が付与付与される。 しかし、 実際に参照画 像を指定するのはこのピクチャ番号ではなく、 別に定義された参照イン デックスという値を使用することになる。 第 1参照ピクチャを示すもの を第 1参照インデックス、 第 2参照ピクチャを示すものを第 2参照イン デックスと呼ぶ。
図 3 4は、 ピクチャ番号に対する 2つの参照インデックスの割り当て 方法を説明するための図である。 図のような表示される順に並べられた ピクチャ列があつたとき、 ピクチャ番号は符号化される順番に割り振ら れている。 参照インデックスをピクチャ番号に割り当てるためのコマン ドはピクチャをさらに分割した符号化単位であるスライスのヘッダに記 述され、 1 つのスライスを符号化する毎に割り振り方が更新されること になる。 前記コマンドは、 直前に参照インデックスに割り当てたピクチ ャ番号と現在割り当てを行っているピクチャ番号との差分値を参照イン デックスの数だけ連続して指示するものである。
図 3 4の第 1参照インデックスの例を用いると、 まずコマンドとして "— 1 "が与えられたので、 現在符号化の対象と しているピクチャ番号 1 6香から 1 を引く ことにより、 ピクチャ番号 1 5番が参照インデックス 0香に割り当てられる。 次に"一 4 "が与えられたので、 直前に割り当て を行ったピクチャ番号 1 5香から 4を引く ことにより、 ピクチャ番号 1 1香が参照インデックス 1 香に割り当てられる。 以下同様の処理によつ て各ピクチャ番号の割リ当てが行われる。 第 2参照インデックスの場合 も同様である。
図 3 5は参照インデックスの割り当てを行った結果を示したものであ る。 各ピクチャ番号には第 1参照インデックスおよび第 2参照インデッ クスがそれぞれ独立に割り当てられているが、 それぞれの参照ィンデッ クスだけをみると 1 つのピクチャ番号に対して 1 つの参照インデックス が割リ当てられているのが分かる。
次に図 3 6および図 3 7を用いて使用する重み付け係数セッ 卜の決定 方法を説明する。
1 つのピクチャの符号列は、 ピクチャ共通情報領域および複数のスラ イスデータ領域から構成される。 図 3 6はそのうちのスライスデータ領 域の構成を示したものである。 さらにスライスデータ領域は、 スライス ヘッダ領域および複数のプロックデータ領域から構成される。 ここでは ブロックデータ領域の例と して図 3 2における B L 0 1 、 B L 0 2に対 応する各ブロックの領域が示されている。 ，
B L 0 1 に含まれる r e f 1 および r e f 2はこのブロックが参照 する 2枚のピクチャを指し示す第 1参照インデックスおよび第 2参照ィ ンデックスをそれぞれ指示するものである。 またスライスヘッダ領域に は前記線形予測を行うための重み付け係数セッ トを決定するためのデー タ ( p s e t O、 p s e t 1 、 p s e t 2、 p s e t 3、 p s e t 4 ) が r e f 1 用および r e f 2用それぞれに記述されている。 図 3 7は前 記スライスヘッダ領域に含まれる前記データの例を表に示したものであ る。 識別子 p s e t で示された各々のデータは w 1 、 w 2、 c、 dの 4つ 値を持ち、 r e f 1 および r e f 2の値によってダイ レク 卜に参照でき るように構成されている。 また、 スライスヘッダ領域には前記参照イン デックスをピクチャ番号に割り当てるためのコマン ド列 i d x _c m d 1 および i d x— c m d 2が記述されている。
図 3 6の B L 0 1 に記述された r e f 1 および r e f 2によって図 3 7の r e f 1 用および r e f 2用のテ一ブルからそれぞれ 1組ずつの重 み付け係数セッ 卜が選択される。 各々の重み付け係数セッ 卜を用いて式 1 の線形予測を行うことにより、 2つの予測画像が生成される。 この 2 つの予測画像に対してそれぞれ画素ごとに平均を取ることにより求める 予測画像を得ることができる。
また、 上述したように線形予測係数の重み付け係数セッ 卜から求める 予測式を用いて予測画像を生成するのではなく、 予め決めた固定式を用 いて予測画像を求める方法もある。 この方法として、 第 1参照インデッ クスによって指定されるピクチャが第 2参照インデックスによって指定 されるピクチャよリも表示順において後にある場合は、 固定の係数から なる固定式である式 2 aを選択し、 それ以外は固定の係数からなる固定 式である式 2 bを選択して、 予測画像を生成する。
P ( i ) = 2 X Q 1 ( i ) - Q 2 ( i ) (式 2 a )
P ( i ) = ( Q 1 ( i ) + Q 2 ( i )) / 2. (式 2 b )
このように、 予測式が固定であるため、 予測画像を求めるときの重み 付け係数セッ 卜を符号化して送る必要がないという利点がある。 また、 ピクチャの位置関係によつて固定式の選択が行われるため、 線形予測係 数の重み付け係数セッ トを指定するためのフラグを符号化して送る必要 がないという利点もある。 また、 線形予測の計算式が単純であるため、 少ない処理量で線形予測を大幅に削減することが可能である。 (非特許文献 1 )
ITU-T Rec. H .264 | ISO/IEC 14496- 10 AVC
Joint Committee Draft (.CD)
(2002-5- 10)
(P.34 8.4.3 Re-Mapping of frame numbers indicator,
P.105 11.5 Prediction signal generation procedure)
式 1 による重み付け係数セッ トを用いた予測画像作成方法では、 参照 ピクチャに参照インデックスを割り当てるコマンドの数が参照ピクチャ の枚数と同じ数であるため、 1 つの参照ピクチャに対して 1 つの参照ィ ンデックスのみしか割り当てられず、 同じ参照.ピクチャを参照している プロックでは線形予測に使用される重み付け係数セッ 卜は全く同じ値の ものとなる。 ピクチャ内で一様な画像変化が起こっている場合は問題な いが、 部分部分によって画像変化が異なる場合は、 最適な予測画像が生 成されない可能性が非常に高くなつてしまう。 また、 式中に掛け算を用 いた演算が含まれているため、 線形予測のための処理量が大きくなつて しまうという問題がある。 発明の開示
そこで本発明の目的は、 1 つの参照ピクチャに複数の参照ピクチャを 割り当ることを可能にするとともに、 複数の参照インデックスが割り当 てられている場合であっても、 1 つの参照インデックスが割り当てられ ている場合であっても、 参照インデックスの復号化の効率を向上させる 画像符号化方法、 画像復号化方法、 それらの装置、 それらのプログラム を提供することにある。
そしてこの目的を達成するために、 本発明の画像符号化方法は、 ピク チヤ番号で識別される符号化済ピクチャを参照ピクチャと して記憶部に 格納する参照ピクチャ格納ステップと、 予測画像の生成に用いられる係 数および前記参照ピクチャを指定する参照インデックスと前記ピクチャ 番号とを対応付けるコマン ドを生成するコマンド生成ステップと、 符号 化対象ピクチャ上のブロックに対して動き補償を行うときの参照ピクチ ャを前記参照インデックスにより指定する参照ピクチャ指定ステップと、 前記参照ピクチャ指定ステップで指定された参照ピクチャ内の動き検出 により得られたブロックに対して、 前記参照インデックスに対応した前 記係数を用いた線形予測を施すことにより予測画像を生成する予測画像 生成ステップと、 入力された符号化対象ピクチャ内のブロックと前記予 測画像との差である予測残差と、 前記コマンドと、 前記参照インデック スと、 前記係数とを符号化した符号化信号を含む画像符号化信号を出力 する符号化信号出カステツプとを有し、前記符号化信号出カステツプは、 前記画像符号化信号中に前記参照インデックスの最大値を示す情報を符 号化するように構成されている。
ここで、 前記参照インデックスの最大値を示す情報は、 前記画像符号 化信号に含まれるピクチャ共通情報領域に置かれている構成としてもよ い。
この構成によれば、 復号化装置において、 前記コマン ドを基に、 ピク チヤ番号と参照インデックスとを対応付けていく ときに、 参照インデッ クスの最大値を示す情報が符号化信号に含まれるので、 ピクチャ番号と 参照インデックスとをコマン ドに従って対応付け処理を前記最大値に達 するまで行うことにより、 容易に、 すべての参照インデックスとピクチ ャ番号との対応づけを行うことができる。 その結果、 1 つの参照ピクチ ャに複数の参照ピクチャを割り当ることを可能にするとともに、 複数の 参照インデックスが割り当てられている場合であっても、 1 つの参照ィ ンデックスが割り当てられている場合であっても、 参照インデックスの 復号化を効率よく行うことができる。
ここで、 前記コマンド生成ステップにおいて、 記憶部に格納されてい る複数の参照ピクチャの中に、 複数の参照インデックスが対応付けられ たピクチャ番号を有する参照ピクチャが少なく とも 1 つ以上含まれるよ うにコマンドを生成する構成としてもよい。
また、 前記参照ピクチャ指定ステップにおいて、 前記参照ピクチャの ピクチャ番号に対して複数の参照インデックスが対応付けられている場 合、 当該複数の参照インデックスのそれぞれ対応する係数に基づいて、 その中の 1 つの参照ィンデックスを選択し、 前記予測画像生成ステツプ において、 指定ステップで選択された参照インデックスに対応する係数 を用いて線形予測を施す構成としてもよい。
この構成によれば、 1 つのピクチャ番号に複数の参照インデックスを 対応付けるので、 参照ピクチャを指定する前記参照ィンデックスに対応 した前記係数を用いた線形予測を施す際に、 当該係数を複数の係数の中 から選択することが可能となる。 つまり、 線形予測に用いられる係数と して最適な係数を選択することができる。 その結果、 符号化効率の向上 を図ることができる。
ここで、 前記予測画像生成ステップにおいて、 ビッ トシフ ト演算、 加 算および減算のみを使用して前記線形予測を行う構成と してもよい。
この構成によれば、 処理負荷の重い乗除算を使用せず、 処理負荷の軽 いビッ トシフ ト演算、 加算および減算のみを使用するので、 線形予測の 処理量を少なく抑えることができる。
ここで、 前記予測画像生成ステツプにおける前記線形予測で用いる係 数と して、 線形予測式における直流成分を示す値のみが、 前記参照イン デックスに対応付けられる構成としてもよい。
この構成によれば、 係数と して、 直流成を示す値以外の値は符号化し なくてよいので、 符号化効率を向上させることができる。 また、 処理負 荷の重い乗除算を使用せず、 処理負荷の軽い加算および減算のみを使用 するので、 線形予測の処理量を少なく抑えることができる。
ここで、 前記参照インデックスは、 第 1 の参照ピクチャを示す第 1 の 参照インデックスと、 第 2の参照ピクチャを示す第 2の参照インデック スとを有し、 前記予測画像生成ステツプにおける前記線形予測を行う方 法と して、 各参照ピクチャの持つ表示順情報によって係数を生成する方 法を使用する場合に、 第 1 の参照インデックスによって指定される参照 ピクチャおよび第 2の参照インデックスによって指定される参照ピクチ ャとが同じ表示順情報をもつ時は、 予め設定された係数を代わりに用い て線形予測を行う構成としてもよい。
また、 前記予め設定された係数は、 同じ重みを有する構成と してもよ い。
この構成によれば、 2つの参照ピクチャとが同じ表示順情報をもつ場 合でも係数を決定し線形予測を行うことが可能となり、 符号化効率を向 上させることができる。
また、 本発明の画像復号化方法、 画像符号化装置、 画像復号化装置、 画像符号化プログラム、 画像復号化プログラムおよび画像符号化データ についても、 上記と同様の構成、 作用および効果を有する。
また、 本発明の画像符号化方法は、 以下の （ 1 ) 〜 （ 1 4 ) の何れか の構成とすることができる。
( 1 ) 本発明による画像符号化方法は、 ピクチャ番号で識別される符号 化済ピクチャを記憶部に格納する参照ピクチャ格納ステップと、 符号化 対象ピクチャ上のブロックに対して動き補償を行うときに参照する、 記 憶部に格納されている複数の符号化済ピクチャから任意に選択された、 参照ピクチャと予測画像を生成するときに用いる係数とを示す参照イン 28
デックスと、 前記ピクチャ番号とを対応付けるコマンドであって、 複数 の参照インデックスが同一のピクチャを参照することが可能であるコマ ンドを生成するコマンド生成ステップと、 符号化対象ピクチャ上のプロ ックに対して動き補償を行うときに参照する参照ピクチャを前記参照ィ ンデックスにより指定する参照ピクチャ指定ステップと、 前記参照ピク チヤ指定ステップで選択された参照ピクチャ上の動き検出により得られ たブロックに対して、 この参照ピクチャを指定する前記参照ィンデック スに対応した前記係数を用いた線形予測を施すことによリ予測画像を生 成する予測画像生成ステップと、 入力された符号化対象フレームと前記 予測画像との差である予測残差と、 前記コマンドと、 前記参照インデッ クスと、 前記係数とを符号化した符号化信号を含む画像符号化信号を出 力する符号化信号出力ステップとを有する。
( 2 ) さらに、 本発明による別の画像符号化方法は、 前記参照ピクチャ が有するピクチャ番号に対し、 複数の参照インデックスを割り当てるこ とが可能であり、 前記参照ピクチャ指定ステップにおいて各符号化済ピ クチャに対応する 1 つ以上の参照インデックスから 1 つの参照インデッ クスを選択し、 前記予測画像生成ステツプにおける線形予測で用いる係 数を決定することができる。
( 3 ) さらに、 本発明による別の画像符号化方法は、 1 つのスライスに よって参照される複数の参照ピクチャの中に、 複数の参照インデックス が割リ当てられたピクチャ番号を有する参照ピクチャを少なく とも 1 つ 有することができる。
( 4 ) さらに、 本発明による別の画像符号化方法において、 前記参照ィ ンデックスは、 前記複数の符号化済ピクチャから任意に指定された第 1 の参照ピクチャを示す第 1 の参照ィンデックスと、 前記複数の符号化済 フレームから任意に指定された第 2の参照フレームを示す第 2の参照ィ ンデックスとからなり、 前記予測画像生成ステップでは、 前記ブロック に対して、 前記第 1 の参照インデックスに対応する係数によって線形予 測を施すとともに、 前記第 2の参照インデックスに対応する係数によつ て線形予測を施し、 それぞれの線形予測で得られた 2つの予測画像にお ける画素値の平均を求めることによって、 前記ブロックに対する最終的 な予測画像を生成する。
( 5 ) さらに、 本発明による別の画像符号化方法において、 前記参照ィ ンデックスは、 前記複数の符号化済ピクチャから任意に指定された第 1 の参照ピクチャを示す第 1 の参照ィンデックスと、 前記複数の符号化済 フレームから任意に指定された第 2の参照フ レームを示す第 2の参照ィ ンデックスとからなリ、 前記予測画像生成ステツプにおける前記線形予 測で用いる係数の決定は、 選択された第 1 の参照インデックスと第 2の 参照インデックスそれぞれが指示する前記係数の平均によって求められ る。
( 6 ) さらに、 本発明による別の画像符号化方法において、 前記参照ィ ンデックスは、 前記複数の符号化済ピクチャから任意に指定された第 1 の参照ピクチャを示す第 1 の参照ィンデックスと、 前記複数の符号化済 フレームから任意に指定された第 2の参照フレームを示す第 2の参照ィ ンデックスとからなり、 前記第 1 及び第 2の参照インデックスには、 複 数の係数からなる組が対応づけられ、 前記予測画像生成ステップでは、 —方の参照インデックスに対応する係数の組のうちの一部と他方の参照 インデックスに対応する係数の組の一部とを用いて前記予測画像を生成 する。
( 7 ) さらに、 本発明による別の画像符号化方法は、 前記予測画像生成 ステップにおける前記線形予測で用いる計算式は、 乗算および除算を使 用することなく ビッ トシフ ト演算および加算および減算のみで構成され る。 これにより、 演算処理の少ない処理のみで線形予測ができる。
( 8 ) さらに、 本発明による別の画像符号化方法において、 前記參照ィ ンデックスは、 前記複数の符号化済ピクチャから任意に指定された第 1 の参照ピクチャを示す第 1 の参照インデックスと、 前記複数の符号化済 フレームから任意に指定された第 2の参照フレームを示す第 2の参照ィ ンデックスとからなり、 前記予測画像生成ステップでは、 前記第 1 及び 第 2の参照インデックスに対応する係数の組のうち、 前記ビッ トシフ ト 演算に用いられる係数は前記第 1 及び第 2の参照インデックスのいずれ かに対応する係数を選択して使用し、 その他の演算に用いられる係数は 前記第 1 及び第 2の参照インデックスそれぞれに対応する係数の平均値 を使用して前記予測画像を生成する。
( 9 ) さらに、 本発明による別の画像符号化方法において、 前記参照ィ ンデックスは、 前記複数の符号化済ピクチャから任意に指定された第 1 の参照ピクチャを示す第 1 の参照ィンデックスと、 前記複数の符号化済 フ レームから任意に指定された第 2の参照フレームを示す第 2の参照ィ ンデックスとからなり、 前記予測画像生成ステツプにおける前記線形予 測で用いる係数と して、 線形予測式における直流成分を示す値のみを使 用し、 第 1 の参照インデックスおよび第 2の参照インデックスそれぞれ に 1 つずつ対応付けられる。
( 1 0 ) さらに、 本発明による別の画像符号化方法において、 ピクチャ 番号で識別される符号化済ピクチャを記憶部に格納する参照ピクチャ格 納ステップと、 符号化対象ピクチャ上のブロックに対して動き補償を行 うときに参照する、 記憶部に格納されている複数の符号化済ピクチャか ら任意に選択された参照ピクチャを示す参照ィンデックスと、 前記ピク チヤ番号とを対応付けるコマンドであって、 複数の參照インデックスが 同一のピクチャを参照することが可能であるコマン ドを生成するコマン ド生成ステップステップと、 符号化対象ピクチャ上のブロックに対して 動き補償を行うときに参照する参照ピクチャを前記参照インデックスに より指定する参照ピクチャ指定ステップと、 前記参照ピクチャ指定ステ ップで選択された参照ピクチャ上の動き検出によリ得られたプロックに 対して、 各参照ピクチャの持つ表示順情報から係数を生成し、 前記係数 を用いた線形予測を施すことによリ予測画像を生成する予測画像生成ス テツプと、 入力された符号化対象フレームと前記予測画像との差である 予測残差と、 前記コマンドと、 前記参照インデックスと、 前記係数とを 符号化した符号化信号を含む画像符号化信号を出力する符号化信号出力 ステップとを有する。
( 1 1 ) さらに、 本発明による別の画像符号化方法において、 前記予測 画像生成ステツプにおける前記線形予測を行う方法と して、 前記表示順 情報によって生成される係数を用いた方法と、 予め設定された固定式を 用いた方法とを、 第 1 の参照インデックスによって指定される参照ピク チヤおよび第 2の参照インデックスによって指定される参照ピクチャの 各々の持つ表示順情報の前後関係によって切リ替えて使用する。
( 1 2 ) さらに、 本発明による別の画像符号化方法において、 前記予測 画像生成ステツプにおける前記線形予測を行う方法と して、 前記表示順 情報によって生成される係数を用いた方法を使用した際に、 第 1 の参照 インデックスによって指定される参照ピクチャおよび第 2の参照インデ ックスによって指定される参照ピクチャとが同じ表示順情報をもつ場合 は、 予め設定された係数を代わリに用いて線形予測を行う。
( 1 3 ) さらに、 本発明による別の画像符号化方法において、 前記予測 画像生成ステップにおいて、 前記表示順情報を用いて係数を生成する際 に、 前記線形予測が乗算および除算を使用することなく ビッ トシフ ト演 算および加算および減算のみで行えるように、 前記係数を 2のべき乗に 近似する。
( 1 4 ) さらに、 本発明による別の画像符号化方法において、 前記近似 を行う際に、 第 1 の参照インデックスによって指定される参照ピクチャ および第 2の参照インデックスによって指定される参照ピクチャの各々 の持つ表示順情報の前後関係によって、 切り上げによる近似と切り下げ による近似とを切り替えて使用する。
( 1 5 ) 本発明のプログラムは、 上記 （ 1 ) 〜 （ 1 4 ) の何れかに記載 の画像符号化方法をコンピュータに実行させる構成と してもよい。 また、 本発明のコンピュータ読取可能な記録媒体は、 以下の （ 1 6 ) 〜 （ 2 5 ) の何れかの構成とすることができる。
( 1 6 ) 動画像が符号化された信号である符号化信号が記録されたコン ピュータ読み取り可能な記録媒体であって、 前記符号化信号は、 予測画 像を生成するときに用いる係数と、 ピクチャ番号で識別される符号化済 ピクチャを格納する記憶部に格納されている複数の符号化済ピクチャか ら任意に選択された、 符号化対象ピクチャ上のブロックに対して動き補 償を行うときに参照する、 参照ピクチヤと予測画像を生成するときに用 いる前記係数とを示す参照インデックスと、 前記ピクチャ番号とを対応 付けるコマンドであって、 複数の参照インデックスが同一のピクチャ番 号に割り当てることが可能であるコマンドと、 符号化対象ピクチャ上の ブロックに対して動き補償を行うときに参照する参照ピクチャと予測画 像を生成するときに用いる係数とを指定する参照インデックスと、 選択 された参照ピクチャ上の動き検出により得られたブロックに対して、 こ の参照ピクチャを指定する前記参照インデックスに対応した前記係数を 用いた線形予測を施すことにより生成される予測画像とが符号化されて しゝる。
( 1 7 ) 前記符号化信号には、 前記参照インデックスの最大値が含まれ る。
( 1 8 ) 前記最大値は、 前記符号化信号に含まれるピクチャの共通情報 領域に置かれている。
( 1 9 ) 前記符号化信号に含まれるブロックの集まりからなるスライス のヘッダ、 もしくはピクチャ共通情報領域、 もしくは各ブロックのへッ ダには、 ブロックの予測画像を線形予測によって生成するための係数が 符号化されているか否かを示すフラグが含まれる。
( 2 0 ) 前記符号化信号に含まれるブロックの集まりからなるスライス のヘッダ、 もしくはピクチャ共通情報領域、 もしくは各ブロックのへッ ダには、 ブロックの予測画像を、 係数を使用せずに予め設定された固定 式を用いて生成するか、 又は、 直流成分を示す係数のみを使用して予め 設定された固定式を用いて生成するかを示すフラグが含まれる。
( 2 1 ) 前記符号化信号に含まれるブロックの集まりからなるスライス のヘッダ、 もしくはピクチャ共通情報領域、 もしくは各ブロックのへッ ダには、 ブロックの予測画像を、 予め設定された 2つの式から構成され る固定式を用いて生成する場合に、 前記 2つの式を切り替えて使用する か、 又は、 切り替えずに片方の式のみを使用するかを示すフラグが含ま れる。
( 2 2 ) 前記符号化信号に含まれるプロックの集まりからなるスライス のヘッダ、 もしくはピクチャ共通情報領域、 もしくは各ブロックのへッ ダには、 ブロックの予測画像を線形予測によって生成するための係数を 参照されるピクチャの表示順情報を用いて作成するか否かを示すフラグ が含まれる。
( 2 3 ) 前記符号化信号に含まれるブロックの集まりからなるスライス のヘッダ、 もしくはピクチャ共通情報領域、 もしくは各ブロックのへッ ダには、 ブロックの予測画像を線形予測によって生成するための係数が 2のべき乗になるように近似するか否かを示すフラグが含まれる。
( 2 4 ) 前記符号化信号に、 乗算および除算を使用することなく ビッ ト シフ ト演算および加算および減算のみで線形予測の計算を行うことがで きることを示すためのフラグが含まれる。
( 2 5 ) 前記符号化信号に、 直流成分を示す値のみで線形予測の計算を 行うことができることを示すためのフラグが含まれる。
また、 本発明の画像復号化方法は、 以下の （ 2 6 ) 〜 （ 3 9 ) の何れ かの
構成とすることができる。
( 2 6 ) 本発明による画像復号化方法は、 予測画像を生成するときに用 いる係数と、 符号化対象ピクチャ上のブロックに対して動き補償を行う ときに参照する、 記憶部に格納されている複数の符号化済ピクチャから 任意に選択された、 参照ピクチャと前記係数とを示す参照インデックス と、 前記ピクチャ番号とを対応付けるコマン ドであって、 複数の参照ィ ンデックスが同一のピクチャを参照することが可能であるコマンドと、 前記参照ィンデックスと、 予測残差の符号化信号とを有する画像符号化 信号を復号化する画像符号化情報獲得ステップと、 復号化された前記コ マンドと、 復号化された前記参照インデックスとにより、 復号化対象ピ クチャ上のブロックに対して動き補償を行うときに参照する参照ピクチ ャを決定する参照ピクチャ指定ステップと、 決定された前記参照ピクチ ャ上の動き検出により得られたブロックに対して、 この参照ピクチャを 指定する前記参照ィンデックスに対応する係数を用いた線形予測を施す ことによリ予測画像を生成する予測画像生成ステップと、 前記予測画像 と復号化された予測残差とから復号画像を生成する復号画像生成ステツ プとを有する。
( 2 7 ) さらに、 本発明による別の画像復号化方法は、 前記参照ピクチ ャが有するピクチャ番号に対し、 複数の参照インデックスを割り当てる ことが可能であり、 前記参照ピクチャ指定ステツプにおいて復号化され た前記参照ィンデックスを用いて、 前記予測画像生成ステツプにおける 線形予測で用いる係数を決定する。
( 2 8 ) さらに、 本発明による別の画像復号化方法は、 1 つのスライス によって参照される複数の参照ピクチャの中に、 複数の参照インデック スが割り当てられたピクチャ番号を有する参照ピクチャを少なく とも 1 つ有することができる。
( 2 9 ) さらに、 本発明による別の画像復号化方法における前記参照ィ ンデックスは、 前記複数の復号化済ピクチャから指定された第 1 の参照 ピクチャを示す第 1 の参照インデックスと、 前記複数の復号化済ピクチ ャから指定された第 2の参照ピクチャを示す第 2の参照ィンデックスと があり、 前記予測画像生成ステップでは、 前記ブロックに対して、 前記 第 1 の参照ィンデックスに対応する係数によって線形予測を施すととも に、 前記第 2の参照インデックスに対応する係数によって線形予測を施 し、 それぞれの線形予測で得られた 2つの予測画像における画素値の平 均を求めることによって、 前記プロックに対する最終的な予測画像を生 成する。
( 3 0 ) さらに、 本発明による別の画像復号化方法における前記参照ィ ンデックスは、 前記複数の復号化済ピクチャから指定された第 1 の参照 ピクチャを示す第 1 の参照インデックスと、 前記複数の復号化済ピクチ ャから指定された第 2の参照ピクチャを示す第 2の参照インデックスと があり、 前記予測画像生成ステツプにおける前記線形予測で用いる係数 の決定は、 選択された参照インデックスそれぞれが有する係数の平均に よって求められる。
( 3 1 ) さらに、 本発明による別の画像復号化方法における前記参照ィ ンデックスは、 前記複数の復号化済ピクチャから指定された第 1 の参照 ピクチャを示す第 1 の参照インデックスと、 前記複数の復号化済ピクチ ャから指定された第 2の参照ピクチャを示す第 2の参照インデックスと があり、 前記第 1 及び第 2の参照インデックスには、 複数の係数からな る組が対応づけられ、 前記予測画像生成ステップでは、 一方の参照イン デックスに対応する係数の組のうちの一部と他方の参照インデックスに 対応する係数の組の一部とを用いて前記予測画像を生成する。
( 3 2 ) さらに、 本発明による別の画像復号化方法は、 前記予測画像生 成ステップにおける前記線形予測で用いる計算式は、 乗算および除算を 使用することなく ビッ トシフ ト演算および加算および減算のみで構成さ れる。 これにより、 演算処理の少ない処理のみで線形予測ができる。
( 3 3 ) さらに、 本発明による別の画像復号化方法における前記參照ィ ンデックスは、 前記複数の復号化済ピクチャから指定された第 1 の参照 ピクチャを示す第 1 の参照インデックスと、 前記複数の復号化済ピクチ ャから指定された第 2の参照ピクチャを示す第 2の参照インデックスと があり、 前記予測画像生成ステップでは、 前記第 1 及び第 2の参照イン デックスに対応する係数の組のうち、 前記ビッ トシフ ト演算に用いられ る係数は前記第 1 及び第 2の参照インデックスのいずれかに対応する係 数を選択して使用し、 その他の演算に用いられる係数は前記第 1 及び第 2の参照インデックスそれぞれに対応する係数の平均値を使用して前記 予測画像を生成する。
( 3 4 ) さらに、 本発明による別の画像復号化方法において、 前記参照 インデックスは、 前記複数の復号化済ピクチャから指定された第 1 の参 照ピクチャを示す第 1 の参照インデックスと、 前記複数の符号化済フレ —ムから指定された第 2の参照フ レームを示す第 2の参照インデックス とからなり、 前記予測画像生成ス亍ップにおける前記線形予測で用いる 係数として、 線形予測式における直流成分を示す値のみを使用し、 第 1 の参照インデックスおよび第 2の参照インデックスそれぞれに 1 つずつ 対応付けられる。
( 3 5 ) さらに、 本発明による別の画像復号化方法において、 符号化対 象ピクチャ上のブロックに対して動き補償を行うときに参照する、 記憶 部に格納されている複数の符号化済ピクチャから任意に選択された、 参 照ピクチャを示す参照インデックスと、 前記ピクチャ番号とを対応付け るコマン ドであって、 複数の参照インデックスが同一のピクチャを参照 することが可能であるコマン ドと、 前記参照ィンデックスと、 予測残差 の符号化信号とを有する画像符号化信号を復号化する第 1 のステップと、 復号化された前記コマン ドと、 復号化された前記参照インデックスとに よリ、 復号化対象ピクチャ上のプロックに対して動き補償を行うときに 参照する参照ピクチャを決定する参照ピクチャ指定ステップと、 決定さ れた前記参照ピクチャ上の動き検出によリ得られたブロックに対して、 各参照ピクチャの持つ表示順情報から係数を生成し、 前記係数を用いた 線形予測を施すことにより予測画像を生成する予測画像生成ステップと、 前記予測画像と復号化された予測残差とから復号画像を生成する復号画 像生成ステップとを有する。
( 3 6 ) 前記予測画像生成ステップにおける前記線形予測を行う方法 として、 前記表示順情報によって生成される係数を用いた方法と、 予め 設定された固定式を用いた方法とを、 第 1の参照インデックスによって 指定される参照ピクチャおよび第 2の参照インデックスによって指定さ れる参照ピクチヤの各々の持つ表示順情報の前後関係によって切り替え て使用する。
( 3 7 ) さらに、 本発明による別の画像復号化方法において、 前記予測 画像生成ステップにおける前記線形予測を行う方法と して、 前記表示順 情報によって生成される係数を用いた方法を使用した際に、 第 1 の参照 インデックスによって指定される参照ピクチャおよび第 2の参照インデ ックスによつて指定される参照ピクチャとが同じ表示順情報をもつ場合 は、 予め設定された係数を代わりに用いて線形予測を行う。
( 3 8 ) さらに、 本発明による別の画像復号化方法において、 前記予測 画像生成ステップにおいて、 前記表示順情報を用いて係数を生成する際 に、 前記線形予測が乗算および除算を使用することなく ビッ 卜シフ ト演 算および加算および減算のみで行えるように、 前記係数を 2のべき乗に 近似する。
( 3 9 ) さらに、 本発明による別の画像復号化方法において、 前記近似 を行う際に、 第 1 の参照インデックスによって指定される参照ピクチャ およぴ第 2の参照インデックスによって指定される参照ピクチャの各々 の持つ表示順情報の前後関係によって、 切リ上げによる近似と切リ下げ による近似とを切り替えて使用する。
( 4 0 ) 本発明のプログラムは、 上記 （ 2 6 ) 〜 （ 3 9 ) の何れかに 記載の画像符復号化方法をコンピュータに実行させる構成としてもよい。 以上の様に、 本発明の動画像符号化方法および復号化方法により、 予 測画像を生成する際の線形予測に用いられる重み付け係数セッ 卜の候補 を複数作成できるようになり、 ブロックごとに最適なものを選択するこ とが可能となった。 その結果、 複数の参照インデックスが割り当てられ ている場合であっても、 1 つの参照インデックスが割り当てられている 場合であっても、 参照ィンデックスの復号化を効率よく行うことができ る。 また、 大きな符号化効率の向上が実現可能となることから、 動画像 の符号化および復号化において非常に有効である。 図面の簡単な説明 図 1 は、 本発明の実施の形態 1 による符号化装置の構成を示すブロッ ク図である。
図 2は、 本発明の実施の形態 6による復号化装置の構成を示すプロッ ク図である。
図 3は、 参照インデックスにピクチャ番号を割り振る方法を説明する ための模式図である。
図 4は、 参照インデックスにピクチャ番号の関係の例を示すための模 式図である。
図 5は、 動き補償の動作を説明するための模式図である。
図 6は、 符号列の構成を説明するための模式図である。
図 7は、 線形予測係数の重み付け係数セッ 卜の例を示すための模式図 である。
図 8は、 符号化装置における予測画像の生成を示す機能ブロック図で ab
図 9は、 符号化装置における予測画像の生成を示す他の機能ブロック 図である。
図 1 0 ( a ) ( b ) はいずれも符号化装置における予測画像の生成を示 す更に他の機能ブロック図である。
図 1 1 は、 符号化装置における予測画像の生成を示す更に他の機能ブ ロック図である。
図 1 2は、 符号列の構成を説明するための模式図である。
図 1 3は、 線形予測係数の重み付け係数セッ トの例を示すための模式 図である。
図 1 4は、 符号列の構成を説明するための模式図である。
図 1 5は、 線形予測係数の重み付け係数セッ 卜の例を示すための模式 図である。 図 1 6は、 符号化装置における予測画像の生成を示す機能ブロック図 である。
図 1 7は、 符号列の構成およびフラグの例を説明するための模式図で る。
図 1 8は、 復号化装置における予測画像の生成を示す機能ブロック図 である。
図 1 9は、 復号化装置における予測画像の生成を示す他の機能ブロッ ク図である。
図 2 0 ( a ) ( b ) はいずれも復号化装置における予測画像の生成を示 す更に他の機能ブロック図である。
図 2 1 は、 復号化装置における予測画像の生成を示す更に他の機能ブ ロック図である。
図 2 2は、 復号化装置における予測画像の生成を示す更に他の機能ブ ロック図である。
図 2 3は、 符号列の構成を説明するための模式図である。
図 2 4は、 符号列の構成を説明するための模式図である。
図 2 5は、 上記各実施の形態の動画像の符号化方法および復号化方法 をコンピュータシステムにより実現するためのプログラムを格納するた めの記録媒体についての説明図である。
図 2 6は、 コンテンツ供給システムの全体構成を示すブロック図であ る。
図 2 7は、 携帯電話の外観図である。
図 2 8は、 携帯電話の構成を示すブロック図である。
図 2 9は、 ディジタル放送用システムの例を示す図である。
図 3 0は、 従来例のピクチャの参照関係を説明するための模式図であ る。 図 3 1 は、 従来例のピクチャの並び替えを説明するための模式図であ る。
図 3 2は、 従来例の動き補償の動作を説明するための模式図である。 図 3 3は、 従来例の線形予測処理の動作を説明するための模式図であ る。
図 3 4は、 従来例の参照インデックスにピクチャ番号を割り振る方法 を説明するための模式図である。
図 3 5は、 従来例の参照インデックスにピクチャ番号の関係の例を示 すための模式図である。
図 3 6は、 従来例の符号列の構成を説明するための模式図である。 図 3 7は、 従来例の線形予測係数の重み付け係数セッ 卜の例を示すた めの模式図である。
図 3 8は、 従来例の符号列の構成を説明するための模式図である。 図 3 9は、 ピクチャ番号と表示順情報との関係を説明するための模式 図である。
図 4 0は、 符号列の構成およびフラグの例を説明するための模式図で め 。
図 4 1 は、 符号列の構成およびフラグの例を説明するための模式図で ある。 発明を実施するための最良の形態
(実施の形態 1 )
図 1は、 本発明の実施の形態 1 における動画像符号化装置の構成を示 すブロック図である。 この動画像符号化装置における動画像符号化方法 を図 1 に示したブロック図を用いて （ 1 ) 符号化の概要、 （ 2 ) 参照イン デックス割り当て方法、 （ 3 ) 予測画像生成方法の順で説明する。 ( 1 ) 符号化の概要
符号化対象となる動画像は表示を行う順にピクチャ単位でピクチヤメ モリ 1 0 1 に入力され、 符号化を行う順にピクチャの並び替えを行う。 図 3 1 は並び替えの例を示した図である。 図 3 1 ( a ) は表示される順 に並べられたピクチャであり、 図 3 1 ( b ) は符号化を行う順に並び替 えたピクチャの例である。 ここでの B 3、 B 6は時間的に前方および後 方の両方を参照しているため、 これらのピクチャを符号化する前に参照 の対象となるピクチャを先に符号化する必要があることから、 図 3 1 ( b ) では P 4、 P 7が先に符号化されるように並び替えられている。 さらに各々のピクチャはマクロブロックと呼ばれる例えば水平 1 6 X垂 直 1 6画素のプロックに分割されプロック単位で以降の処理が行われる。
ピクチャメモリ 1 0 1 から読み出された入力画像信号は差分演算部 1 1 2に入力され、 動き補償符号化部 1 0 7の出力である予測画像信号と の差分を取ることによって得られる差分画像信号を予測残差符号化部 1 0 2に出力する。 予測残差符号化部 1 0 2では周波数変換、 量子化等の 画像符号化処理を行い残差符号化信号を出力する。 残差符号化信号は予 測残差復号化部 1 0 4に入力され、 逆量子化、 逆周波数変換等の画像復 号化処理を行い残差復号化信号を出力する。 加算演算部 1 1 3では前記 残差復号化信号と予測画像信号との加算を行い再構成画像信号を生成し、 得られた再構成画像信号の中で以降の画面間予測で参照される可能性が ある信号をピクチャメモリ 1 0 5に格納する。
—方、 ピクチャメモリ 1 0 1 から読み出されたマクロブロック単位の 入力画像信号は動きべク トル検出部 1 0 6にも入力される。 ここでは、 ピクチャメモリ 1 0 5に格納されている再構成画像信号を探索対象と し、 最も入力画像信号に近い画像領域を検出することによってその位置を指 し示す動きべク トルを決定する。 動きべク トル検出はマクロブロックを さらに分割したブロック単位で行われ、 得られた動きべク トルは動きべ ク トル記憶部 1 0 8に格納される。
このとき、 現在標準化中の H . 2 6 Lでは複数のピクチャを参照対象と して使用することができるため、 参照するピクチャを指定するための識 別番号がブロックごとに必要となる。 その識別番号を参照インデックス と呼び、 参照インデックス ' ピクチャ番号変換部 1 1 1 において、 ピク チヤメモリ 1 0 5中のピクチャの持つピクチャ番号との対応を取ること により参照ピクチャを指定することが可能となる。 参照インデックス ' ピクチャ番号変換部 1 1 1 における動作の詳細は （ 2 ) において詳しく 説明する。
動き補償符号化部 1 0 7では、 上記処理によって検出された動きべク トルおよび参照インデックスを用いて、 ピクチャメモリ 1 0 5に格納さ れている再構成画像信号から予測画像に最適な画像領域を取リ出す。 得 られた画像領域の画素値に対して線形予測による補間処理等の画素値変 換処理を施すことによって最終的な予測画像とする。 その際に使用する 線形予測係数は線形予測係数生成部 1 1 0によって生成され線形予測係 数記憶部 1 0 9に格納される。 この予測画像生成方法については （ 3 ) において詳しく説明する。
上記の一連の処理によって出力された線形予測係数、 参照ィンデック ス、 動きべク トル、 残差符号化信号等の符号化情報に対して符号列生成 部 1 0 3において可変長符号化を施すことにより、 この符号化装置が出 力する符号列が得られる。
以上の処理の流れは画面間予測符号化を行った場合の動作であつたが、 スィッチ 1 1 4およびスィッチ 1 1 5によって画面内予測符号化との切 り替えがなされる。 画面内符号化を行う場合は、 動き補償による予測画 像の生成は行わず、 同一画面内の符号化済み領域から符号化対象領域の 予測画像を生成し差分を取ることによって差分画像信号を生成する。 差 分画像信号は画面間予測符号化の場合と同様に、 予測残差符号化部 1 0 2において残差符号化信号に変換され、 符号列生成部 1 0 3において可 変長符号化を施されることにより出力される符号列が得られる。
( 2 ) 参照インデックス割り当て方法
次に、 図 1 の参照インデックス - ピクチャ番号変換部 1 1 1 における 参照インデックス割り当て方法について図 3、 図 4を用いて説明する。 図 3は、 ピクチャ番号に対する 2つの参照インデックスの割り当て方 法を説明するための図である。 図のような表示される順に並べられたピ クチャ列があつたとき、 ピクチャ番号は符号化される順番に割り振られ ている。 参照インデックスをピクチャ番号に割り当てるためのコマンド はピクチャをさらに分割した符号化単位であるスライスのヘッダに記述 され、 1 つのスライスを符号化する毎に割り振り方が更新されることに なる。 前記コマンドは、 直前に参照インデックスに割り当てたピクチャ 番号と現在割リ当てを行っているピクチャ番号との差分値を参照インデ ックスの数だけ連続して指示するものである。
図 3の第 1参照インデックスの例を用いると、 まずコマン ドと して" 一 1 "が与えられたので、現在符号化の対象としているピクチャ番号 1 6 香から 1 を引く ことにより、 ピクチャ番号 1 5香が参照インデックス 0 香に割り当てられる。 次に"一 4 "が与えられたので、 直前に割り当てを 行ったピクチャ番号 1 5香から 4を引く ことにより、 ピクチャ番号 1 1 番が参照ィンデックス 1 香に割リ当てられる。 以下同様の処理によって 各ピクチャ番号の割り当てが行われる。 第 2参照インデックスの場合も 同様である。
図 3 4に示した従来の方法による参照インデックス割り当て方法では、 全ての参照インデックスはそれぞれ別々のピクチャ番号に対応付けられ ている。 一方、 図 3の例では、 割り当て方法は従来のものと全く同じ方 法を用いているが、 コマン ドの値を変更することにより同じピクチャ番 号に対して複数の参照インデックス番号が対応付けられている。
図 4は参照インデックスの割り当てを行った結果を示したものである。 各ピクチャ番号には第 1参照インデックスおよび第 2参照インデックス がそれぞれ独立に割リ当てられているが、 1 つのピクチャ番号に対して 複数の参照インデックスが割り当てられているものもあることが分かる。 本発明の符号化方法では、 この例のように複数の参照ィンデックスが割 リ当てられているピクチヤ番号が少なく とも 1 つ以上あるものとする。 参照ィンデックスを参照ピクチャの決定のみに使用する場合であれば、 従来の方法のように 1 つのピクチャ番号に対して 1 つの参照インデック スを割り当てる方法が最も符号化効率の良い方法である。 しかし、 参照 ィンデックスを使用して予測画像の生成における線形予測係数の重み付 け係数セッ トを選択する場合は、 従来の方法では同じ参照ピクチャを持 つプロック全てにおいて同じ線形予測係数を使用しなくてはならないた め、 最適な予測画像が生成されない可能性が非常に高くなってしまう。 i そこで、 本発明のように 1 つのピクチャ番号に対して複数の参照イン デックスが割り当てることを可能とすることにより、 同じ参照ピクチャ を持つ場合でも、 ブロックごとに複数の線形予測係数の重み付け係数セ ッ 卜の候補の中から最適なものを選択することが可能となり、 より符号 化効率の高い予測画像を生成することが可能となる。
なお、 以上の説明では全ての参照ピクチャが参照用メモリに蓄積され るものと してピクチャ番号が与えられている場合の例を示していたが、 ピクチャ番号は符号化を行った直前のピクチャが蓄積された場合のみ、 当該ピクチャに値が 1 つ増加したピクチャ番号が付与されていく もので あり、 蓄積されないピクチャがあった場合でも参照用メモリ内ではピク チヤ番号の連続性は保たれ、 前記方法をそのまま使用することが可能で のる。
( 3 ) 予測画像生成方法
次に、 図 1 の動き補償符号化部 1 0 7における予測画像生成方法につ いて図 5を用いて説明する。 線形予測による予測画像生成方法は従来法 と全く同様であるが、 同じピクチャに対して複数の参照インデックス番 号を対応付けることが可能となったため、 線形予測係数を選択する際の 自由度が问くなつている。
ピクチャ B 1 6は現在符号化の対象としている Bピクチャであり、 ブ ロック Bし 0 1 およびブロック B L 0 2は前記 Bピクチャに属する符号 化対象のブロックである。 B L 0 1 は第 1参照ピクチャをピクチャ P 1
1 、 第 2参照ピクチャをピクチャ B 1 5とし、 それぞれのピクチャに属 するプロック Bし 1 1 および B L 2 1 を参照して予測画像を作成する。 同様に Bし 0 2 ¾第 1参照ピクチャをピクチャ P 1 1 、 第 2参照ピクチ ャをピクチャ B 1 5と し、 それぞれのピクチャに属するブロック B L 1
2および Bし 2 2を参照して予測画像を作成する。
第 1参照、ピクチャおよび第 2参照ピクチャは B L 0 1 、 B L 0 2共に 同じものを 照 しているが、 （ 2 ) において説明した参照ィンデックスの 割り当て方法を用いることにより、 第 1参照インデックス r e f 1 およ び第 2参照インデックス r e f 2は B L 0 1 と B L 0 2とで異なる値を 取ることが可能となる。 図 4を例にとると、 ピクチャ番号 1 1 に対応す る第 1参照インデックスは 1 と 3が、 ピクチャ番号 1 5に対応する第 2 参照インデックスは 1 と 6が割り振られている。
その結果、 これらの参照インデックスの組み合わせは、 （ r e f 1 、 r e f 2 ) = ( 1 、 1 )、 （ 1 、 6 )、 （ 3、 1 )、 （ 3、 6 ) の 4通りが考 えられ、 これらの中から最適な重み付け係数セッ トを導き出す組み合わ 03009228
せをブロックごとに選択することが可能となっている。 図 5では例とし て B L 0 1 が r e f 1 = 1 、 r e f 2 = 1 、 B L 0 2が r e f 1 = 3、 r e f 2 = 6としている。
図 3 5にあるような従来の方法によって対応付けられた参照インデッ クスの組み合わせでは、図 5のような例では B L O 1 、 B L 0 2共に（ r e f 1 、 r e f 2 ) = ( 1 、 1 ) の組み合わせしか選択できなかったた め、 選択することのできる線形予測係数の重み付け係数セッ トも 1通り しかなかった。 一方、 本発明では選択範囲が 4通りに拡張されているた め、最適な重み付け係数セッ 卜が選択できる可能性が高くなると言える。
1 つのピクチャの符号列は、 ピクチャ共通情報領域および複数のスラ イスデータ領域から構成される。 図 6はそのうちのスライスデータ領域 の構成を示したものである。 さらにスライスデータ領域は、 スライスへ ッダ領域および複数のプロックデータ領域から構成される。 ここではブ 口ックデータ領域の例として図 5における B L 0 1 、 B L 0 2に対応す る各ブロックの領域が示されている。 B L 0 1 に含まれる r e f 1 およ び r e f 2はこのブロックが参照する 2枚のピクチャを指し示す第 1参 照インデックスおよび第 2参照インデックスをそれぞれ指示するもので ある。
またスライスヘッダ領域には前記線形予測を行うための重み付け係 数セッ 卜を与えるためのデータ （ p s e t O、 p s e t 1 、 p s e t 2、■ ■ ■ ■ )が r e f 1用および r e f 2用それぞれに記述されている。 このときの p s e t は （ 2 ) で説明した参照インデックスの個数と同じ で数だけ設定することができる。 つまり、 図 3のように第 1参照インデ ックス、 第 2参照インデックスを共に 0から 9までの 1 0個を使用した 場合は、 p s e t も r e f l 用、 r e f 2用共に 0から 9までの 1 0個 を設定することが可能である。 図 7は前記スライスヘッダ領域に含まれる前記重み付け係数セッ ト の例を表に示したものである。 識別子 P s e t で示された各々のデータ は w 1 、 w 2、 c、 dの 4つ値を持ち、 r e f l および r e f 2の値に よってダイレク トに参照できるように構成されている。 また、 スライス ヘッダ領域には前記参照インデックスをピクチャ番号に割り当てるため のコマン ド列 i d x _ c m d 1 および i d x — c m d 2が記述されている。 図 6の B L O 1 に記述された r e f 1 および r e f 2によって図 7の r e f 1 用および r e f 2用のテーブルからそれぞれ 1組の重み付け係 数セッ 卜が選択される。 この 2組の重み付け係数セッ 卜を用いて参照画 像の画素値に対して線形予測を施すことによって予測画像を生成する。
このように 1 つのピクチャ番号に対して複数の参照インデックスが割 リ当てる符号化方法を用いることにより、 線形予測係数の重み付け係数 セッ 卜の候補を複数作成できるようになリ、 その中から最適なものを選 択することが可能となる。 たとえば、 第 1参照インデックスが 2つ、 第 2参照インデックスが 2つ割り当てられていた場合は 4通りの重み付け 係数セッ トを選択の候補とすることができ、 第 1参照ィンデックスが 3 つ、 第 2参照インデックスが 3つ割り当てられていた場合は 9通りの重 み付け係数セッ 卜を選択の候補とすることができる。
この線形予測という方法はフ： Lードゃフラッシュのように画面全体も しくは一部分の明度が大きく変化するような場合に特に大きな効果が得 られる。 多くの場合、 その明度の変化の度合いは画面の部分部分によつ て異なる。 そのため、 本発明のように複数の重み付け係数セッ 卜の中か らブロックごとに最適なものを選択できるような構成を持つことは画像 の符号化において非常に有効である。
ここで、 重み付け係数セッ トを決定し予測画像の生成するまでの処理 の流れについて詳細に説明する。 図 8は、 図 1 の線形予測係数生成部 1 1 0、 線形予測係数記憶部 1 0 9、 および動き補償符号化部 1 0 7における予測画像を生成する機能構 成を示した機能ブロック図である。
線形予測係数生成部 1 1 0、 線形予測係数記憶部 1 0 9 a、 線形予測 係数記憶部 1 0 9 b、 平均値算出部 1 0 7 a、 および線形予測演算部 1 0 7 bにより予測画像が生成される。
線形予測係数生成部 1 1 0によって生成された重み付け係数セッ トは 線形予測係数記憶部 1 0 9 aおよび線形予測係数記憶部 1 0 9 bに格納 されている。 平均値算出部 1 0 7 aは、 動き検出の処理によって決定さ れた第 1 参照インデックス r e f 1 によって選択される 1組の重み付け 係数セッ ト （w 1 — 1 ， w 2 _ 1 , c _ 1 , d _ 1 ) を線形予測係数記 憶部 1 0 9 a より獲得し、 同様に第 2参照ィンデックス r e f 2によつ て選択される 1 組の重み付け係数セッ ト （w 1 _ 2 , w 2 _ 2 , c— 2 , d _ 2 ) を線形予測係数記憶部 1 0 9 bより獲得する。
そして平均値算出部 1 0 7 aは、 線形予測係数記憶部 1 0 9 a 、 1 0
9 bより獲得したそれぞれの重み付け係数セッ 卜のパラメータごとの平 均を取リ、実際に線形予測に使用する重み付け係数セッ ト（w 1 , w 2， c , d ) と し、 線形予測演算部 1 0 7 bに出力する。 線形予測演算部 1 0 7 bは、 得られた重み付け係数セッ ト （w 1 ， w 2 , c , d ) を基に、 式 1 を用いて予測画像を演算し出力する。
また、 図 9は予測画像を生成する他の機能構成を示す機能ブロック図 である。 線形予測係数生成部 1 1 0、 線形予測係数記憶部 1 0 9 a、 線 形予測係数記憶部 1 0 9 b、 線形予測演算部 1 0 7 c、 線形予測演算部
1 0 7 d、および平均値算出部 1 0 7 eにより、予測画像が生成される。 線形予測係数生成部 1 1 0によって生成された重み付け係数セッ トは 線形予測係数記憶部 1 0 9 aおよび線形予測係数記憶部 1 0 9 bに格納 されている。 線形予測演算部 1 0 7 cは、 動き検出の処理によって決定 された第 1参照インデックス r e f 1 によって選択される 1 組の重み付 け係数セッ ト （ w 1 — 1 , w 2— 1 , c _ 1 , d _ 1 ) を線形予測係数 記憶部 1 0 9 aより獲得し、 その重み付け係数セッ 卜を基に、 式 1 を用 いて予測画像を演算して平均値算出部 1 0 7 eに出力する。
同様に、 線形予測演算部 1 0 7 dは、 動き検出の処理によって決定さ れた第 2参照インデックス r e f 2を基に選択される 1 組の重み付け係 数セッ ト （ w 1 — 2， w 2— 2， c— 2 , d— 2 ) を線形予測係数記憶 部 1 0 9 bより獲得し、 その重み付け係数セッ トを基に式 1 を用いて予 測画像を演算して平均値算出部 1 0， eに出力する。
平均値算出部 1 0 7 eは、 線形予測演算部 1 0 7 c , 線形予測演算部 1 0 7 dのそれぞれから出力される予測画像の各画素の平均値をと リ、 最終的な予測画像を生成し出力する。
図 1 0 ( a ) は、 予測画像を生成する他の機能構成を示す機能ブロッ ク図である。線形予測係数生成部 1 1 0、線形予測係数記憶部 1 0 9 c、 線形予測係数記憶部 1 0 9 d、 平均値算出部 1 0 7 f ， 線形予測演算部 1 0 7 gによリ予測画像が生成される。
線形予測係数生成部 1 1 0によって生成された重み付け係数セッ トは 線形予測係数記憶部 1 0 9 cおよび線形予測係数記憶部 1 0 9 dに格納 されている。 平均値算出部 1 0 7 f は、 動き検出の処理によって決定さ れた第 1参照インデックス r e f 1 によって選択される 1組の重み付け 係数セッ ト （w l — 1 、 w 2 _ 1 , c— 1 ， d _ 1 ) のうち、 c一 1 ， d— 1 のパラメータを線形予測係数記憶部 1 0 9 cより獲得し、 同様に 第 2参照インデックス r e f 2によって選択される 1組の重み付け係数 セッ ト （w 1一 2、 w 2 _ 2 , c— 2， d一 2 ) のうち、 c— 2 , d _ 2のパラメ一タを線形予測係数記憶部 1 0 9 dより獲得する。 平均値算 出部 1 0 7 f は、 線形予測係数記憶部 1 0 9 cおよび線形予測係数記憶 部 1 0 9 dより獲得した c— 1 と c— 2の平均値と、 d— 1 と d— 2の 平均値を算出して c、 dを求め線形予測演算部 1 0 7 gに出力する。 また、 線形予測演算部 1 0 7 gは、 上記重み付け係数セッ ト （w 1— 1 、 w 2— 1 , c _ 1 , d— 1 ) のうち、 w 1 — 1 のノ ラメータを線形 予測係数記憶部 1 0 9 cより獲得し、 上記重み付け係数セッ ト （ w 1— 2、 w 2 _ 2 , c— 2 , d _ 2 ) のうち、 w 2一 2のパラメータを線形 予測係数記憶部 1 0 9 dより獲得し、 平均値算出部 1 0 7 f によりそれ ぞれの平均を求めて c、 d を獲得し、 式 1 を用いて予測画像を演算し出 力する。
すなわち、 線形予測演算部 1 0 7 gは、 線形予測係数記憶部 1 0 9 c より得られた重み付け係数セッ ト （w l— 1 、 w 2_ 1 , c— 1 ， d _ 1 ) と、 線形予測係数記憶部 1 0 9 dより得られた重み付け係数セッ ト ( w 1 — 2、 w 2— 2 , c _ 2 , d— 2 ) のうち、 実際に線形予測で使 用する重み付け係数セッ ト （w 1 、 w 2 , c , d ) を決定する際に、 下 記の規則を用いている。
W 1 = W 1一 1 ， w 2 = w 2 _ 2 , c = ( c一 "！ と c一 2の平均）， d = ( d一 1 と d一 2の平均）
このように図 1 0 ( a ) で説明した予測画像の生成においては、 線形 予測係数記憶部 1 0 9 cは重み付け係数セッ 卜のうち w 2_ 1 を必要と しない。 そのため、 r e f 1 用の重み付け係数セッ 卜に w 2は必要でな い。 よって符号列を小さくすることも可能である。
また、 線形予測係数記憶部 1 0 9 dは重み付け係数セッ トのうち w 1 _ 2を必要としない。 そのため、 r e f 2用の重み付け係数セッ トに w 1 は必要でない。 よって符号列を小さくすることも可能である。
図 1 0 ( b ) は、 予測画像を生成する他の機能構成を示す機能ブロッ ク図である。線形予測係数生成部 1 1 0、線形予測係数記憶部 1 0 9 e、 線形予測係数記憶部 1 0 9 f 、 線形予測演算部 1 0 7 hによリ予測画像 が生成される。
線形予測係数生成部 1 1 0によつて生成された重み付け係数セッ トは 線形予測係数記憶部 1 0 9 eおよび線形予測係数記憶部 1 0 9 f に格納 されている。 線形予測演算部 1 0 7 hは、 動き検出の処理によって決定 された第 1参照インデックス r e f 1 によって選択される 1 組の重み付 け係数セッ ト （w l — 1 、 w 2_ 1 , c— 1 , d _ 1 ) のうちの一部で ある w 1 — 1 ， c— 1 , d— 1 のパラメータを線形予測係数記憶部 1 0 9 eより獲得し、 同様に第 2参照インデックス r e f 2を基に選択され る 1 組の重み付け係数セッ ト （w 1 — 2、 w 2 _ 2 , c一 2 , d _ 2 ) のうちの一部である w 2— 2のパラメータを線形予測係数記憶部 1 0 9 f よリ獲得する。 線形予測演算部 1 0 7 hは、 線形予測係数記憶部 1 0 9 e , 線形予測係数記憶部 1 0 9 f より獲得した w 1 — 1 ， c_ 1 , d — 1 , w 2— 2を基に、 式 1 を用いて、 予測画像を演算し出力する。 すなわち、 線形予測演算部 1 0 7 hは、 線形予測係数記憶部 1 0 9 e よリ得られた重み付け係数セッ ト （w 1 — 1 、 w 2— 1 ， c _ 1 , d— 1 ) と、 線形予測係数記憶部 1 0 9 f より得られた重み付け係数セッ ト ( w 1— 2、 w 2— 2 , c— 2， d— 2 ) のうち、 実際に線形予測で使 用する重み付け係数セッ ト （w 1 、 w 2 , c， d ) を決定する際に、 下 記の規則を用いている。
w 1 = w 1 ― 1 , w 2 = w 2一 2 , c = c一 1 ， d = d一 1
また、 図 1 0 ( b ) で説明した予測画像の生成においては、 線形予測 係数記憶部 1 0 9 eは重み付け係数セッ トのうち w 2— 1 を必要としな い。 そのため、 r e f 1 用の重み付け係数セッ トに w 2は必要でない。 よって符号列を小さくすることができる。 また、 線形予測係数記憶部 1 0 9 f は重み付け係数セッ トのうち w 1 — 2 , c— 2， d— 2を必要と しない。 そのため、 r e f 2用の重み付 け係数セッ トに w l , c , dは必要でない。 よって符号列を小さくする ことができる。
また、 w 1 、 w 2、 c、 dのパラメータのうちの 1 つもしくは複数個 を固定の値と して使用することも可能である。 図 1 1 は図 1 0 ( a ) に おける機能構成に対して、 dのみを固定の値として使用した場合の機能 ブロック図である。 線形予測係数生成部 1 1 0、 線形予測係数記憶部 1 0 9 ί 、 線形予測係数記憶部 1 0 9 』' 、 平均値算出部 1 0 7 j 、 線形予 測演算部 1 0 7 kによリ予測画像が生成される。
第 1 参照インデックス r e f "1 によつて線形予測係数記憶部 1 0 9 i から選択される係数は （ w 1 — 1 、 c_ 1 ) のみであり、 第 2参照イン デックス r e f 2によって線形予測係数記憶部 1 0 9 j から選択される 係数は （w 2— 2、 c— 2 ) のみである。 平均値算出部 1 0 7 j は、 線 形予測係数記憶部 1 0 9 ί および線形予測係数記憶部 1 0 9 j よリ獲得 した c— 1 と c— 2の平均値を算出して cを求め線形予測演算部 1 0 7 kに出力する。
また、 線形予測演算部 1 0 7 kは、 w 1— 1 のパラメータを線形予測 係数記憶部 1 0 9 i より獲得し、 w 2— 2のパラメータを線形予測係数 記憶部 1 0 9 〗 より獲得し、 cのパラメータを平均値算出部 1 0 7 j f より獲得し、 dのパラメータとして予め決められたある固定の値を使用 し、 式 1 を用いて予測画像を算出し出力する。 つまり、 式 1 の係数 （w 1 、 w 2 , c , d ) には下記の値が入力されることになる。
w 1 = w 1 _ 1 , w 2 = w 2 _ 2 , 0 = ( 0_ 1 と 0ー2の平均）， d = (固定値）
これを式 1 に代入すると下記の式 1 aが得られる。 P ( i )= (w 1 _ 1 X Q 1 ( i )+ w 2 _ 2 x Q 2 ( i )) / p o w ( 2 , d ) + ( c— 1 + c一 2 ) Z 2 (式 1 a )
( p o w(2 ,d )は 2の d乗を示す）
さらに式 1 aを変形することによリ式 1 bのような式が得られる。 線 形予測演算部 1 0 7 kにおける線形予測の演算方法は式 1 bのような形 式で用いた場合も式 1 の形式で用いた場合も全く同様に扱うことが可能 である。
P ( i ) = ( w 1 _ 1 Q 1 ( i )/ p o w(2 ,d — 1 )+ c一 1 + w 2— 2 x Q 2 ( i )/ p o w(2 ,d - l )+ c _ 2)/ 2 (式 1 b )
( p o w(2，d — 1 )は 2の d— 1 乗を示す）
なお、 式 1 bでは p o w ( 2， d — 1 )となっているが、 dは固定の値で あるため、 d '= d — 1 と して d 'を線形予測演算部 1 0 7 kへの入力と することにより p o w(2 ,d ')としてシステムを構成してもよい。
また、 図 1 1 で説明した予測画像の生成においては、 線形予測係数記 憶部 1 0 9 i は重み付け係数セッ トのうち w 1 — 1 と c_ 1 のみを必要 とし、 線形予測係数記憶部 1 0 9 j は重み付け係数セッ トのうち w 2— 2と c— 2のみを必要とするため、 それ以外のパラメ一タを符号化する 必要がない。 よって符号列を小さくすることができる。
なお、 dの値と して使用する予め決定された固定の値とは、 常に同じ 値を使用することも可能であるが、 スライスヘッダに前記固定の値を記 述することによってスライスごとに切り替えることも可能である。 同様 に、 ピクチャ共通情報領域またはシーケンス共通情報領域に記述するこ とにより ピクチャごとまたはシーケンスごとに切リ替えることも可能で あ 。
上記の線形予測方法を用いたときのスライスデータ領域の構成の例を 図 1 2に示す。 図 6と異なる点は、 dがスライスヘッダ領域に 1 つだけ 記述されている点と、 r e f 1用の p s e t として w l — 1 と c— 1 の みが記述されている点である。 図 1 3は前記スライスヘッダ領域に含ま れる前記重み付 Iナ係数セッ 卜の例を表に示したものである。 識別子 p s e t で示された各々のデータは w 1— 1 、 c— 1 もしくは w 2 _ 2、 c _ 2の 2つの値を持ち、 r e f l および r e f 2の値によって直接参照 できるように構成されている。
なお、 線形予測係数生成部 1 1 0では、 ピクチャの特徴を調べること によって重み付け係数セッ 卜を生成し、 動き補償符号化部 1 0 7におい て、 図 8、 図 9、 図 1 0、 図 1 1 で説明した方法を用いて予測画像を作 成し、 最も予測誤差が最小になるような 2つの参照インデックス r e f 1 および r e f 2の組み合わせを決定する。 なお、 図 1 0 ( a )、 （ b )、 図 1 1 のように全てのパラメータを必要としない方法を用いる場合は、 符号化装置の線形予測係数生成部 1 1 0において重み付け係数セッ 卜作 成する段階で、 必要の無いパラメータの作成処理を省略することも可能 である。
また、 図 1 0 ( a )、 （ b )、 図 1 1 のような方法では、 線形予測係数生 成部 1 1 0において重み付け係数セッ ト作成する際に、 例えば w 1 ― 1 や w 2— 2のように、 r e f 1用の重み付け係数セッ 卜と r e f 2用の 重み付け係数セッ 卜をそれぞれ独立に最適なものを探索して作成するこ とが可能である。 つまり、 この方法を用いると符号化装置において重み 付け係数セッ トを作成するための処理量を削減することが可能となる。 なお、 上記の符号化方法は 2つの参照ピクチャをもつ Bピクチャに関 するものであつたが、 1 つの参照ピクチャしか持たない Pピクチャおよ び Bピクチヤにおける単一ピクチャ参照符号化モードにおいても同様の 処理を行うことが可能である。 この場合は第 1参照インデックスもしく は第 2参照インデックスのどちらか一方のみを使用し、 図 6の符号列に おけるスライスヘッダ領域中の P s e t および i d x— c m dは、ブロッ クデータ領域中に記述される参照インデックスに従って、 r e f 1 用も しくは r e f 2用のもののみを記述することになる。
また、 線形予測の方法は従来の方法で説明した式 1 に替えて下記の式 3を使用する。このとき、 Q 1 ( i )は参照されたブロックの画素値、 Ρ( ί ) は符号化対象ブロックの予測画像の画素値と し、 w 1 、 w 2、 c、 dは 選択された重み付け係数セッ 卜によつて与えられる線形予測係数である。
P ( i )= (w 1 X Q 1 ( i )+ w 2 X Q 1 ( i ))/ p o w(2 ,d )+ c (式 3 ) ( p o w(2 , d )は 2の d乗を示す）
なお、 線形予測の式として式 3の代わりに式 4を使用することも可能 である。 このとき、 Q 1 ( i )は参照されたプロックの画素値、 P ( i )は符 号化対象ブロックの予測画像の画素値とし、 w 1 、 c、 dは選択された 重み付け係数セッ トによって与えられる線形予測係数である。
P ( i ) = (w 1 x Q 1 ( i ))/ p o w(2 , d )+ c (式 4 )
( p o w(2 , d )は 2の d乗を示す）
式 1 および式 3を使用する場合は、 w 1 、 w 2、 c、 dの 4つのパラ メータが必要だったが、 式 4を使用する場合は、 w 1 、 c、 dの 3つの パラメータのみで線形予測を行うことができる。 つまり、 Pピクチャの ようにピクチャ全体で第 1 参照インデックスもしくは第 2参照インデッ クスのどちらか一方のみしか使用されない場合は、 スライスヘッダ領域 に記述する重み付け係数セッ トのデータの項目数をそれぞれ 3つずつに 減らすことが可能となる。
式 3を用いた場合は Bピクチャと Pピクチャとで構成を変更せずに両 方に対応した線形予測を実現することが可能となる。 また、 式 4を用い た場合は Pピクチャのへッダ領域に記述するデータ量を削減することが でき、 さらに計算が単純化されるため処理量の削減も実現することが可 03009228
能となる。 ただし、 いずれの方法においても、 本発明において提案する 参照インデックスの割り振り方法はそのまま適用することができるため、 符号化効率の高い予測画像を作成することが可能であリ、 画像の符号化 において非常に有効である。
ところで、 動き補償において参照するピクチャは、 各々のピクチャに 割り当てられた参照インデックスを指定することによって決定される。 その際に、 参照することが可能なピクチャの最大枚数を符号列のピクチ ャ共通情報部分に記述していた。
図 3 8は、 参照することが可能なピクチャの最大枚数を記述した符号 列の模式図である。 図に示すように符号列のピクチャ共通情報に r e f 1 用のピクチャの最大数 M a X— p i c 1 と、 r e f 2用のピクチャの 最大数 M a x— p i c 2を記述していた。
符号化において必要とする情報は、 実際のピクチャの最大枚数ではな く、 ピクチャを指定するために使用する参照インデックスの取り得る最 大値である。
従来の方法では、 1 つのピクチャには 1 つの参照インデックスしか割 リ当てられなかったため、 前述のピクチャの最大枚数を記述することに よって矛盾は生じなかったが、 特に本発明のように、 ピクチャ番号に複 数の参照ィンデックスが割リ当てられる場合には、 その違いが大きく影 響する。
上述したように、 符号列には参照ィンデックスをピクチャ番号に割リ 当てるためにコマン ド列 i d x— c m d 1 、 および i 乂ー 01^ 01 2が 記述されている。 このコマン ド列 i d x _ c m d 1 、 および i d x— c m d 2の各コマンドを基に、 ピクチャ番号と参照インデックスとを対応 づけていく。 このときに、 参照インデックスの最大値を知ることで、 す ベての参照インデックスとピクチャ番号との対応づけが行われたことが わかり、 コマン ド列 ί d x— c m d 1 、 および i d x _ c m d 2におけ るコマン ドの終端を知ることができる。
そこで、 本実施の形態では、 従来のピクチャの最大枚数の代わりに、 利用可能な参照インデックスの最大数をピクチャのヘッダであるピクチ ャ共通情報部分に記述している。 もしくは、 ピクチャの最大枚数と参照 インデックスの最大数の両者を記述する。
図 2 3は、 ピクチャの符号列のピクチャ共通情報に参照インデクッス の最大数を記述した状態を示している。 ピクチャの共通情報部分には、 r e f 1 用の利用可能な参照インデックスの最大数 M a x _ i d x 1 、 および r e f 2用の利用可能な参照インデックスの最大数 M a x _ i d x 2を記述している。
なお、 図 2 3では、 ピクチャ共通情報に参照インデクッスの最大数を 記述しているが、 これに加えて、 スライスデータ領域に参照インデクッ スの最大数を記述する構成と してもよい。 例えば、 ピクチャでの参照ィ ンデクッスの最大数が 8、 当該ピクチャ中のスライス 1 で必要な参照ィ ンデクッスの最大数が 8、 スライス 2で必要な参照インデクッスの最大 数が 4であるというように、 スライスによって必要な参照インデクッス の最大数がピクチャ共通情報領域に記述された最大数と異なる場合に、 スライス毎に必要な参照インデクッスの最大数を明示することができる。 すなわち、 ピクチャ共通情報に記述された参照インデクッスの最大数 をピクチャ中の各スライスに共通するデフオル卜値として、 必要な参照 インデクッスの最大数がデフォルト値と異なるスライスについてはスラ イスヘッダに記述するようにしてもよい。
なお、 図 2 3および図 3 8ではではピクチャ共通情報領域とスライス データ領域とをひとまとめにして符号列としている例を示したが、 ピク チヤ共通情報領域とスライスデータ領域はそれぞれ独立した符号列とす ることも可能であり、 この場合も全く同様に扱うことができる。
(実施の形態 2 )
本発明の実施の形態 2における動画像符号化方法について説明する。 なお、 符号化装置の構成および符号化の処理の流れおよび参照インデッ クスの割り当て方法は実施の形態 1 と全く同様であるため、 ここでは説 明を省略する。
実施の形態 1 では動き補償において予測画像を生成する際に、 式 1 も しくは式 3もしくは式 4を用いて画素ごとに線形予測を行っている。 し かし、 これらの式はいずれも乗算処理を含むものであり、 全ての画素に 対してこのような演算を行うことを考えると、 処理量が非常に大きくな つてしまう。
そこで式 1 の代わりに式 5、 式 3の代わりに式 6、 式 4の代わりに式 7を使用することも可能である。 これらの式は乗算を使用することなく ビッ トシフ ト演算のみで計算を行うことができるため、 処理量を少なく 抑えることが可能となる。 このとき、 Q 1 ( i )、 Q 2 ( i )は参照されたブ ロックの画素値、 P ( i )は符号化対象ブロックの予測画像の画素値とし、 m、 n、 cは選択された重み付け係数セッ トによって与えられる線形予 測係数である。
P ( i )= ± p o w ( 2 ,m) x Q 1 ( i ) 土 p o w (2 , n ) x Q 2 ( i )+ c (式 5 )
P ( i )= ± p o w ( 2 ,m ) x Q 1 ( i ) ± p o w ( 2 , n ) x Q 1 ( i )+ c (式 6 )
P ( i )= ± p o w (2 ,m) x Q 1 ( i )+ c (式 7 )
( p o w(2，m)は 2の m乗を、 p o w(2 ,n )は 2の n乗を示す。） 実施の形態 1 と同様に、 同時に 2枚のピクチャを参照して予測画像を 生成するときは式 5を使用し、 1 枚のピクチャのみを参照して予測画像 を生成するときは式 6もしくは式 7を使用する。 これらの式では正負の 符号を表す識別子が必要となるため、 予測演算に必要な重み付け係数セ ッ トは、 式 5および式 6の場合は （ s i g n 1 、 m、 s i g n 2、 n、 c )、 式 7の場合は （ s i g n 1 、 m、 c ) となる。 s i g n 1 は 1 つめ の正負の符号を、 s i g n 2は 2つめの正負の符号を識別するパラメ一 タである。 パラメータの個数は実施の形態 1 よりも増加しているが、 s i g n 1 および s i g n 2はそれぞれ 1 ビッ トで表現することができる ため符号量の増加はほとんど無い。
ここで、 重み付け係数セッ トを決定し、 式 5を使用し同時に 2枚のピ クチャを参照して予測画像の生成するまでの処理の流れについて詳細に 説明する。
まず、 予測画像を生成する機能構成が図 8である場合について説明す る。 平均値算出部 1 0 7 aは、 線形予測係数記憶部 1 0 9 aより重み付 け係数セッ ト （ s i g n 1 _ 1 , m― 1 , s i g n 2― 1 ， n― 1 , c — 1 ) を得る。 また、 平均値算出部 1 0 7 aは、 線形予測係数記憶部 1 0 9 bより重み付け係数セッ ト （ s i g n 1 _ 2 , m_ 2 , s i g n 2 _ 2， n— 2， c— 2 ) を得る。
平均値算出部 1 0 7 aは、 線形予測係数記憶部 1 0 9 a、 線形予測係 数記憶部 1 0 9 bより得た重み付け係数セッ 卜のパラメータ毎の平均値 を求め、 重み付け係数セッ ト （ s i g n 1 , m， s i g n 2 , n , c ) とする。 線形予測演算部 1 0 7 bは、 平均値算出部 1 0 7 aが出力する 重み付け係数セッ ト （ s i g n 1 , m， s i g n 2 , n , c ) を基に、 式 5を用いて予測画像を演算する。
なお、 図 8に記載した線形予測係数記憶部 1 0 9 a等より得られる重 み付け係数セッ ト （w l — 1 ， w 2— 1 ， c _ 1 , d— 1 ) 等は、 実施 の形態 1 で説明した式 1 の場合の例におけるものであり、 式 5を用いて 予測画像を求める場合についてのパラメータについては図示していない が、 そのまま置き換えることが可能である。 以下に説明する図 9、 図 1 0の場合も同様である。
次に、 予測画像を生成する機能構成が図 9である場合について説明す る。 線形予測演算部 1 0 7 cは、 線形予測係数記憶部 1 0 9 aよリ得た 重み付け係数セッ ト （ s i g n 1一 1 ， m_ 1 , s i g n 2 _ 1 , n 1 , c _ 1 ) を基に予測画像を演算する。 線形予測演算部 1 0 7 dは、 線形予測係数記憶部 1 0 9 bより得た重み付け係数セッ 卜 （ s ί g n 1 — 2 , m— 2 , s i g n 2 _ 2 , n— 2， c— 2 ) を基に予測画像を演 算する。 そして平均値算出部 1 0 7 eは、 線形予測演算部 1 0 7 c , 1 0 7 dのそれぞれが演算した予測画像の各画素の平均を求め、 予測画像 とする。
この場合、 線形予測演算部 1 0 7 cは、 重み付け係数セッ 卜 （ s i g n 1 ― 1 , m一 1 , s i g n 2一 1 , n― 1 , c一 1 ) を卷に式 5を用 いて、 最初に予測画像を演算するため、 乗算を使用することなく、 ビッ トシフ ト演算で計算することができる。 線形予測演算部 1 0 7 dも同様 である。 一方、 図 8の場合であると、 最初に重み付け係数セッ ト （ s i g n 1 _ 1 , m_ 1 , s i g n 2 _ 1 , n _ 1 , c _ 1 ) と重み付け係 数セッ ト （ s i g n l一 2 , m一 2 , s i g n 2 _ 2 , n _ 2 , c _ 2 ) の平均を求めるため、 m__ 1 と m— 2の平均値あるいは n— 1 と n„ 2 の平均値が整数にならない場合があり、 すなわち 2の指数にあたる部分 が整数にならないため、処理量が多くなってしまう可能性がある。また、 2の指数にあたる部分が整数になるように丸め処理をおこなうと誤差が 大きくなつてしまう可能性がある。
次に、 予測画像を生成する機能構成が図 1 0 ( a ) である場合につい て説明する。 線形予測演算部 1 0 7 gは、 線形予測係数記憶部 1 0 9 c よリ得たビッ トシフ 卜演算に用いられる係数であるパラメータ s i g n 1 _ 1 , m— 1 と、 線形予測係数記憶部 1 0 9 cより得たビッ トシフ ト 演算に用いられる係数であるパラメータ s i g n 2 _ 2 , n— 2と、 各 線形予測係数記憶部 1 0 9 c ， 1 0 9 dより得たパラメータ c— 1 と c — 2を平均値算出部 1 0 7 f が平均して求めた平均値 cとを基に式 5を 用いて予測画像を演算する。
この場合においても、 ビッ トシフ ト演算に用いられる係数は、 線形予 測係数記憶部 1 0 9 cあるいは線形予測係数記憶部 1 0 9 dよりそのま ま得た値であるので、 式 5における 2の指数部分が整数となる。 そのた め、 ビッ トシフ ト演算で計算することができ、 処理量を少なくすること が可能となる。
予測画像を生成する機能構成が図 1 0 ( b ) である場合について説明 する。 線形予測演算部 1 0 7 hは、 線形予測係数記憶部 1 0 9 eょリ得 たパラメータ s i g n 1 — 1 , m— 1 , c— 1 と、 線形予測係数記憶部 1 0 9 f より得たパラメータ s i g n 2 _ 2 , n _ 2とを基に式 5を用 いて予測画像を演算する。
この場合においても、 ビッ トシフ ト演算に用いられる係数は、 線形予 測係数記憶部 1 0 9 e、 あるいは線形予測係数記憶部 1 0 9 f よりその まま得た値であるので、 式 5における 2の指数部分が整数となる。 その ため、 ビッ トシフ ト演算で計算することができ、 処理量を少なくするこ とが可能となる。
図 1 0 ( a ) ( b ) の場合は、 実施の形態 1 における図 1 0 ( a ) ( b ) の説明と同様に符号列に付加して送らなくてもよいパラメータがあり、 符号列を小さくすることが可能である。
以上、 実施の形態 2で説明したような線形予測式を用いると、 乗算を 使用することなく ビッ トシフ ト演算で計算することができるため実施の 形態 1 に比べて処理量を大幅に削減することが可能となる。
なお、 上記実施の形態では式 1 、 式 3、 式 4の代わりに式 5、 式 6、 式 7を用い、 符号化するパラメータセッ トも （w 1 、 w 2、 c、 d ) の 代わりに （ s i g n 1 、 m、 s i g n 2、 n、 c ) を用いて線形予測を 行うことによってビッ トシフ 卜演算のみでの計算を実現し処理量の削減 を図っていたが、別のアプローチとして式 1 、式 3、式 4および（w 1 、 w 2、 c 、 d ) をそのまま用いたまま、 w 1 および w 2をビッ トシフ ト 演算可能な値のみ選択可能と して制限することによってビッ トシフ ト演 算のみでの計算を実現し処理量の削減を行うことも可能である。
図 1 の線形予測係数生成部 1 1 0において、 w 1 および w 2の各値を 決定する際に、 その選択肢と してビッ トシフ ト演算可能な値のみを選択 し図 6および図 1 2の符号列中の w l および w 2にそのまま選択された 値を記述する。 これによつて実施の形態 1 と全く同様の構成のまま線形 予測のための処理量の削減を図ることが可能となリ、 さらに係数の選択 肢が制限されることによリ係数の決定を容易に行うことが可能となる。 また、 さらに限定する方法として、 w l および w 2を常に 1 と して選 択するように制限し、 直流成分である c 1 および c 2のみ最適な値を線 形予測係数生成部 1 1 0において生成することも可能である。 図 1 1 の 構成の場合を例にとると、 「 6 1 用として （ 1 、 c— 1 )、 r e f 2用 として （ 1 、 c— 2 ) をパラメータセッ 卜として符号化する。 この場合、 予測画像の画素値 P ( i ) は、 （式 1 a ) 中の w l — 1 および w 2— 2を 1 に置き換えた次式により求められる。
P ( i )=(Q 1 ( i )+ Q 2 ( i ))/ p o w(2 ,d )+ ( c一 1 + c一 2 ) Z
2
( p o w(2，d )は 2の d乗を示す）
これによつて実施の形態 1 と全く同様の構成のまま線形予測のための 処理量を大幅に削減することが可能となリ、 さらに不確定の係数が c— 1 および c— 2のみとなるため係数の決定方法の大幅な単純化が可能と なる。
図 2 4は、 ピクチャの符号列のピクチャ共通情報に、 線形予測をビッ トシフ 卜演算のみで行うことが可能であるかを示すフラグ s f t _ f I g、 および直流成分である cのみで線形予測を行うことが可能であるか を示すフラグ d c— f I gを記述した例を示している。 復号化装置では これらフラグを参照せずに復号することも可能であるが、 これらフラグ を参照することにより、 ビッ トシフ 卜演算のみでの線形予測に適した構 成での復号を行うことや、 直流成分のみでの線形予測に適した構成での 復号を行うことが可能となるため、 復号化装置の構成によっては非常に 重要な情報となる場合がある。
なお、 図 2 4ではピクチャ共通情報領域とスライスデータ領域とをひ とまとめにして符号列としている例を示したが、 ピクチャ共通情報領域 とズライスデータ領域はそれぞれ独立した符号列とすることも可能であ リ、 この場合も全く同様に扱うことができる。 また、 図 2 4の例ではピ クチャ共通情報領域に s f t— f i gおよび d c— f i gを記述してい るが、 シーケンス共通情報領域やその他の独立した共通情報領域に記述 する場合も全く同様に扱うことができる。 また、 これらの 2つのフラグ は両方同時に使用する場合のみでなく、 s f t _ f I gのみもしくは d c _ f I gのみで使用することも可能であり、 それらの場合も同様に扱 うことができる。
(実施の形態 3 )
本発明の実施の形態 3における動画像符号化方法について説明する。 なお、 符号化装置の構成および符号化の処理の流れおよび参照インデッ クスの割リ当て方法は実施の形態 1 と全く同様であるため、 ここでは説 明を省略する。
従来の技術において説明したように、 実施の形態 1 および実施の形態 2のように線形予測係数の重み付け係数セッ 卜から求める予測式を用い て予測画像を生成するのではなく、 式 2 aおよび式 2 bのように予め決 めた固定式を用いて予測画像を求める方法があった。 この方法を用いる と、 予測画像を求めるときの重み付け係数セッ トを符号化して送る必要 がないため符号量を削減できるという利点があった。 また、 線形予測の 計算式が単純であるため、 少ない処理量で線形予測を大幅に削減するこ とが可能であった。 しかし、 この固定式を用いた方法であると、 選択す ることのできる線形予測式が式 2 aおよび式 2 bの 2通り しかないため、 予測精度が悪くなつてしまうという問題があった。
そこで本実施の形態では式 2 a , 式 2 bの代わりに式 8 a , 8 bを使 用する。 これらの式は式 2 a , 式 2 bに C 1 および C 2を加えたもので ある。 演算と しては加算の回数が増加するだけであるため、 元の式と比 較しても処理量の増加はほとんど無い。 このとき、 Q 1 ( i )、 Q 2 ( i ) は参照されたプロックの画素値、 P ( i )は符号化対象プロックの予測画 像の画素値と し、 C 1 、 C 2は選択された重み付け係数セッ トによって 与えられる線形予測係数である。
P ( i ) = 2 X ( Q 1 ( i ) + C 1 ) 一 ( Q 2 ( i ) + C 2 ) (式 8 a )
P ( i ) = ( Q 1 ( i ) + C 1 + Q 2 ( i ) + C 2 ) / 2 (式
8 b )
式 8 a , 8 bは同時に 2枚のピクチャを参照して予測画像を生成する ときの予測式であるが、 1 枚のピクチャのみを参照して予測画像を生成 するときは実施の形態で説明した式 3、式 4の代わりに式 9を使用する。
P ( i ) = Q 1 ( i ) + C 1 (式 9) この方法を用いるために必要な重み付け係数セッ トは、 r e f 1用と して （C 1 )、 r e f 2用と して （C 2 ) のみである。 そのため、 この方 法を用いた場合のピクチャの符号列の例は図 1 4にょうになり、 スライ スヘッダ領域には線形予測を行うための重み付け係数セッ ト （ P s e t 0、 p s e t 1 、 p s e t 2 ,■ , ■ ■ ) が r e f l 用および r e f 2用 それぞれに記述され、 それぞれの重み付け係数セッ 卜の中身は Cのみと なる。 同様に、 図 1 5は前記スライスヘッダ領域に含まれる重み付け係 数セッ トの例を表に示したものであるが、 図 7 とは異なり、 各重み付け 係数セッ 卜の要素は Cのみとなっている。
図 1 6は、 図 1 の線形予測係数生成部 1 1 0、 線形予測係数記憶部 1 0 9、 および動き補償符号化部 1 0 7における予測画像を生成する機能 構成を示した機能ブロック図である。
線形予測係数生成部 1 1 0、 線形予測係数記憶部 1 0 9 g、 線形予測 係数記憶部 1 0 9 h、 および線形予測演算部 1 0 7 ί によリ予測画像が 生成される。
線形予測係数生成部 1 1 0によって生成された重み付け係数セッ トは 線形予測係数記憶部 1 0 9 gおよび線形予測係数記憶部 1 0 9 hに格納 されている。 動き検出の処理によって決定された第 1参照インデックス r e f 1 、 および第 2参照インデックス r e f 2により線形予測係数記 憶部 1 0 9 gおよび 1 0 9 hよりそれぞれ 1 つの構成要素のみを持つ重 み付け係数セッ ト （C 1 ) および （C 2 ) が獲得される。 それらの値は 線形予測演算部 1 0 7 i に入力され、 式 8 a， 式 8 bを用いて線形予測 がなされ、 予測画像が生成される。
同様に、 1 枚のみを参照して線形予測を行う場合は図 1 6の r e f 1 もしくは r e f 2のどちらかのみにより重み付け係数セッ ト （C 1 ) も しくは （C 2 ) が獲得され、 式 9を用いて線形予測がなされ、 予測画像 が生成される。
なお、 線形予測係数生成部 1 1 0では、 ピクチャの特徴.を調べること によつて重み付け係数セッ ト （ C 1 ) および （ C 2 ) を生成し、 図 1 6 で説明した方法を用いて予測画像を作成し、 最も予測誤差が最小になる ような 2つの参照インデックス r e f 1 および r e f 2の組み合わせを 決定する。
このように、本実施の形態では使用するパラメータの数が r e f 1 用、 r e f 2用にそれぞれ 1 つずつのみでよいため、 符号化装置においてパ ラメータの値を決定する処理が容易に行え、 さらに符号列に記述するデ 一タの量を削減することができる。 また線形予測式も乗算等の複雑な演 算を必要としないため、 演算量も最小限に抑えることが可能である。 ま た従来の固定式を用いた方法で欠点とされていた予測精度の悪さも、 c
1 および C 2という係数を用いることにより大幅に改善することが可能 である。
なお、 本実施の形態で説明した線形予測の方法は、 複数の参照インデ ックスが同一のピクチャを参照することが可能であるかどうかに関わら ず用いることが可能である。
(実施の形態 4 )
本発明の実施の形態 4における動画像符号化方法について説明する。 なお、 符号化装置の構成および符号化の処理の流れおよび参照インデッ クスの割り当て方法は実施の形態 1 と全く同様であるため、 ここでは説 明を省略する。
各々のピクチャはピクチャ番号と共に、 表示時間もしくはそれに代わ るものを示すための表示順情報というものが割り当てられている。 図 3 9は、 その 1例としてピクチャ番号と表示順情報とを並べて示した図で ある。 表示順情報は表示される順番に従ってある値が割り当てられる。 この図の例では、 1 ピクチャごとに 1 ずつ増加する値が使用されている。 線形予測を行うための式で用いられる係数の値をこれらの表示順情報を 用いて生成する方法について実施の形態 4において説明する。
実施の形態 1 では動き補償において予測画像を生成する際に、 式 1 も しく は式 3もしくは式 4を用いて画素ごとに線形予測を行っている。 し かし、 これらの線形予測を行うためには係数のデータが必要であり、 前 記実施の形態では、 スライスヘッダ領域に重み付け係数セッ トとして符 号列中に係数のデータを記述し、予測画像の作成に用いていた。しかし、 高い符号化効率が得られる反面、 重み付け係数セッ 卜のデータを作成す るための処理が必要となり、 また、 重み付け係数セッ トを符号列中に記 述することによるビッ ト量の増加も発生する。
そこで式 1 の代わりに式 1 0、 式 1 1 a、 式 1 2 aを用いて線形予測 を行うことも可能である。 これらの式は各々の参照ピクチャが持つ表示 順情報のみから重み付け係数を决定することができるため、 別途重み付 け係数セッ トを符号化する必要がない。
このとき、 Q 1 ( i )、 Q 2 ( i )は参照されたブロックの画素値、 Ρ ( ί ) は符号化対象ブロックの予測画像の画素値と し、 V O、 V 1 は重み付け 係数、 T 0は符号化対象ピクチャの表示順情報、 T 1 は第 1参照インデ ックスによって指定されたピクチャの表示順情報、 T 2は第 2参照イン デックスによって指定されたピクチャの表示順情報である。
P ( i )= V 1 X Q 1 ( i )+ V 2 X Q 2 ( i ) (式 1 0 )
V I = (T 2 - T 0)/(T 2 - T 1 ) (式 1 1 a )
V 2 =(T 0— T 1レ（T 2— T 1 ) (式 1 2 a )
例と して図 3 9において、 符号化対象ピクチャが 1 6番、 第 1参照ィ ンデックスによって指定されたピクチャが 1 1 番、 第 2参照インデック スによって指定されたピクチャが 1 0番とすると、 それぞれのピクチャ の表示順情報は 1 5、 1 3、 1 0となるため、 下記のような線形予測式 が決定される。
V I =(1 0 — 1 5 )/( 1 0 - 1 3 )= 5 / 3
V 2 = ( 1 5 — 1 3 )/( 1 0— 1 3 )= - 2 / 3
P ( i )= 5 / 3 x Q l ( i )- 2 / 3 x Q 2 ( i )
式 1 を用いた重み付け係数セッ 卜を用いて線形予測を行う方法と比較 すると係数の値の自由度が低いため最適な予測画像の作成は困難と言え るが、 式 2 a、 式 2 bを用いた 2つの式からなる固定式を 2枚の参照ピ クチャの位置関係によって切リ替える方法と比較すると線形予測式とし てより効率の良い式を生成することができる。
なお、 第 1 参照インデックスおよび第 2参照インデックスが同じピク チヤを参照している場合は、 T 1 = T 2となってしまい、 式 1 1 a、 式 1 2 aが成立しない。 そこで、 参照される 2枚のピクチャが同じ表示順' 情報を持つ場合は V 1 および V 2の値と して 1 2を用いて線形予測を 行うものとする。 その場合の線形予測式は下記のようになる。
V 1 = 1 / 2
V 2 = 1 / 2
P ( i )= 1 2 x Q 1 ( i )+ 1 2 x Q 2 ( i )
また、 第 1 参照ィンデックスおよび第 2參照ィンデックスが異なるピ クチャを参照しているが、 それらのピクチャが同じ表示順情報を持つ場 合にも、 T 1 = T 2となってしまい、式 1 1 a、式 1 2 aが成立しない。 このように、 参照される 2枚のピクチヤが同じ表示順情報を持つ場合は V 1 および V 2の値として 1 2を用いて線形予測を行うものとする。 このように、 参照される 2枚のピクチャが同じ表示順情報を持つ場合 には、 予め設定された値を係数として用いる構成とすればよい。 予め設 定された値を係数と しては、 上記の 1 2の例のように同じ重みを有す る係数と してもよい。
ところで、 上記の実施の形態のように式 1 0を用いると、 線形予測を 行うために乗算および除算が必要となる。 式 1 0による線形予測演算は 符号化対象ブロック内の全ての画素に対して演算を行うため、 乗算が加 わることによる処理量の増加は非常に大きなものとなる。
そこで、 実施の形態 2の考え方と同様にして、 V 1 および V 2を 2の べき乗に近似することにより、 線形予測の演算をシフ 卜演算のみで行う ことを可能とし、 処理量の削減を図ることができる。 その場合の線形予 測式として、 式 1 1 a、 式 1 2 aの代わりに式 1 1 b、 式 1 2 bを用い る。 ただし、 V 1 および V 2は整数とする。
V 1 = ± p o w(2， V l )= a p x ((T 2 - T 0)/(T 2 - T 1 )) (式 1 1 b )
V 2 = ± p o w(2， v 2 ) = a p x ((T 0 - T 1 )/(T 2 - T 1 )) (式 1 2 b )
( 卩 0 （2， 1 )は 2の 1乗を、 0 \«(2， 2)は 2の 2乗を示 す。）
(= a p x () は () 内の値を左辺の値に近似することを示す。） なお、 式 1 1 a、 式 1 2 aの代わりに式 1 1 c、 式 1 2 cを用いるこ とも可能である。 ただし、 v 1 は整数とする。
V 1 =土 p o w (2 ， V l )= a p x ((T 2 - T 0 )/(T 2 - T 1 ))
(式 1 1 c )
V 2 = 1 — V 1
(式 1 2 c )
( p o w ( 2 , v 1 )は 2の v 1乗を示す。）
( = a ρ X () は （） 内の値を左辺の値に近似することを示す。） なお、 式 1 1 a、 式 1 2 aの代わりに式 1 1 d、 式 1 2 dを用いるこ とも可能である。 ただし、 v 1 は整数とする。
V 1 = 1 - V 2
(式 1 1 d )
V 2 =土 p o w ( 2 , V 2 ) = a p x ((T O - T l )/(T 2 - Τ 1 )) (式 1 2 d )
( ρ ο w (2 , ν 2)は 2の ν 2乗を示す。）
( = a ρ X ( ) は () 内の値を左辺の値に近似することを示す。） なお、 2のべき乗への近似の方法は、 式 1 1 bを例にとると、 V 1 の 値を 1 ずつ変化させたとき、 ± p o w(2， v 1 )と（T 2— T 0)Z(T 2 — Τ 1 )とが最も近くなるときの士 p o w(2 , ν 1 )の値とする。
例として図 3 9において、 符号化対象ピクチャが 1 6番、 第 1参照ィ ンデックスによって指定されたピクチャが 1 1 番、 第 2参照インデック スによって指定されたピクチャが 1 0香とすると、 それぞれのピクチャ の表示順情報は 1 5、 1 3、 1 0となるため、 （Τ 2— Τ 0) （Τ 2— Τ 1 )ぉょび± 0 （2 , V 1 )は下記のようになる。
(Τ 2 - Τ 0)/(Τ 2 - Τ 1 )=(1 0 - 1 5 )/( 1 0— 1 3 )= 5 / 3 + p o w (2 , 0)= 1 、 + p o w(2， 1 )= 2
5 Z 3は 1 よりも 2に近いため、 近似の結果 V 1 = 2となる。
また、 別の近似の方法と して、 表示順情報 T 1 および T 2の 2つの値 の関係によって切り上げによる近似、 切り下げによる近似を切り替える ことも可能である。
その場合、 T 1 が T 2よりも時間的に後方にある場合は、 V 1 および V 2の両者に対して切り上げによる近似を行い、 T 1 が T 2よりも時間 的に前方にある場合は、 V 1 および V 2の両者に対して切り下げによる 近似を行う。 逆に、 T 1 が T 2よりも時間的に後方にある場合は、 V I および V 2の両者に対して切り下げによる近似を行い、 T 1 が T 2より も時間的に前方にある場合は、 V 1 および V 2の両者に対して切り上げ による近似を行うことも可能である。
また、 別の表示順情報を用いた近似の方法と して、 丁 1 が丁 2ょりも 時間的に後方にある場合は、 V 1 に関する式においては切リ上げによる 近似を行い、 V 2に関する式においては切り下げによる近似を行う。 こ れによリ 2つの係数の値が互いに離れるため、 外揷補間に適した値が得 られやすくなる。 逆に、 T 1 が T 2よりも時間的に前方にある場合は、 V 1 に関する式と V 2に関する式とでその両者の値を比較したときに、 値の小さい方は切リ上げによる近似を行い、 値の大きい方は切リ下げに よる近似を行う。 これにより 2つの係数の値が互いに近づくため、 内挿 補間に適した値が得られやすくなる。
例として図 3 9において、 符号化対象ピクチャが 1 6番、 第 1参照ィ ンデックスによって指定されたピクチャが 1 1 番、 第 2参照インデック スによって指定されたピクチャが 1 0香とすると、 それぞれのピクチャ の表示順情報は 1 5、 1 3、 1 0となり、 T 1 は T 2よりも時間的に後 方にあるため、 V 1 に関する式においては切り上げによる近似を行い、 V 2に関する式においては切り下げによる近似を行う。 その結果、 式 1 1 bおよび式 1 2 bは下記のように計算される。
(1)式 1 1 bについて
(T 2 - T 0)/(T 2 - Τ 1 )=( 1 0— 1 5)/(1 0— 1 3 )= 5 / 3
+ p o w (2 , 0)= 1 、 + p o w ( 2 , 1 )= 2
切リ上げによる近似を行つた結果 V 1 = 2となる。
(2)式 1 2 bについて
(T 0 - T 1 )/(T 2 - Τ 1 )=(1 5— 1 3)/(1 0— 1 3 )= - 2 X 3 - p o w (2 , 0)=— 1 、 - p o w(2 , - 1 )= - 1 / 2
切り下げによる近似を行った結果 V 2 =— 1 となる。 なお、 上記実施 の形態では線形予測の式は式 1 0の 1 つであつたが、 従来の技術で説明 した式 2 aおよび式 2 bの 2つの式からなる固定式による線形予測方法 と組み合わせて用いることも可能である。 その場合、 式 2 aの代わりに 式 1 0を使用し、 式 2 bはそのまま使用する。 つまり、 第 1参照インデ ックスによって指定されるピクチャが第 2参照インデックスによって指 定されるピクチャよりも表示順において後ろにある場合は式 1 0を使用 し、 それ以外の場合は式 2 bを使用する。
また逆に、 式 2 bの代わりに式 1 0を使用し、 式 2 aはそのまま使用 することも可能である。 つまり、 第 1参照インデックスによって指定さ れるピクチャが第 2参照インデックスによって指定されるピクチャより も表示順において後ろにある場合は式 2 aを使用し、 それ以外の場合は 式 1 0を使用する。 ただし、 このとき参照される 2枚のピクチヤが同じ 表示順情報を持つ場合は V I および V 2の値として 1 / 2を用いて線形 予測を行う。
また、 実施の形態 3の考え方と同様にして、 係数 Cのみをスライスへ ッダ領域に記述して線形予測に使用することも可能である。 その場合、 式 1 0の代わりに式 1 3を用いる。 V I および V 2の求め方は上記実施 の形態と同様である。
P ( i )= V 1 x(Q l ( i )+ C l )+ V 2 x(Q 2 ( i )+ C 2) (式 1 3 )
係数を生成するための処理が必要になり、 さらに、 スライスヘッダ領 域に係数データを符号化する必要があるが、 V 1 および V 2の精度が低 い場合でも C 1 および C 2を用いることによつてより高い精度の線形予 測を行うことが可能となる。 特に V 1 および V 2を 2のべき乗に近似し て線形予測を行う場合において有効である。
なお、 式 1 3を用いた場合の線形予測では、 1 つのピクチャに 1 つの 参照インデックスが割リ当てられている場合でも、 また、 1 つのピクチ ャに複数の参照ィンデックスが割リ当てられている場合でも、 同様に扱 うことが可能である。
なお、 式 1 1 a、 式 1 2 a、 式 1 1 b、 式 1 2 b、 式 1 1 c、 式 1 2 c、 式 1 1 d、 式 1 2 dの各式の値の計算では、 取り得る値の組み合わ せがスライスごとにある程度限られているため、 スライスを符号化する 再に 1度だけ演算を行っておけばよく 、 式 1 0や式 1 3のように符号化 対象ブロックのすべての画素に対して演算を行う必要はないため、 全体 の処理量への影響は小さいと考えられる。
なお、 本発明の実施の形態における表示順情報は、 表示の順番に限定 されるものではなく、 実際の表示時間や、 表示時間に伴って値が大きく なる所定のピクチャを基準と した各ピクチャの参照順序であっても良い。
(実施の形態 5 )
本発明の実施の形態 5における動画像符号化方法について説明する。 なお、 符号化装置の構成および符号化の処理の流れおよび参照インデッ クスの割リ当て方法は実施の形態 1 と全く同様であるため、 ここでは説 明を省略する。
従来の方法では固定式を用いて予測画像の生成を行う場合と、 線形予 測係数の重み付け係数セッ トを用いて予測画像の生成を行う場合とを符 号列のピクチャ共通情報部分に記述されるフラグを用いることによって 必要に応じて切り替えることを可能と していた。
本実施の形態では、 さらに実施の形態 1 から実施の形態 4で説明した 各種の線形予測方法をフラグを用いて切り替える方法について説明する。 図 1 7 ( a ) は、 上記切り替えを制御するための 5つのフラグ （ p f I a g、 c― f I a g s d一 f I a g、 t― f I a g、 s― f I a g を符号列中のスライスヘッダ領域に記述する場合の構成である。 図 1 7 ( b ) に示したように、 p— f l a gは重み付け係数が符号化 されているかどうかを示すためのフラグである。 また、 c— f I a gは r e f 1 用および r e f 2用のパラメータのうち、 パラメータ C ( C I および C 2 ) に関するデータのみが符号化されているかどうかを示すフ ラグである。 また、 t— f I a gは線形予測を行うための重み付け係数 を参照ピクチャの表示順情報を用いて生成するかどうかを示すフラグで ある。 また、 s— f I a gは線形予測を行うための重み付け係数をシフ ト演算で計算ができるように 2のべき乗に近似するかどうかを示すフラ グである。
また、 d _ f I a gは式 2 aおよぴ式 2 bで示されたような、 予め設 定されている 2つの固定式を用いて線形予測を行う際に、 r e f 1 によ つて指定されるピクチャと r e f 2によって指定されるピクチャの時間 的な位置関係によって 2つの式を切り替えるかどうかを示すフラグであ る。 つまり、 このフラグによって切り替えるように指定された場合は、 従来の方法と同様に、 r e f 1 によって指定されるピクチャが r e f 2 によって指定されるピクチャよりも表示順において後にある場合は式 2 aを使用し、それ以外の場合は式 2 bを使用して線形予測を行う。一方、 このフラグによって切り替えを行わないように指定された場合は、 r e f 1 によって指定されるピクチャが r e f 2によって指定されるピクチ ャの位置関係に関係なく、 常に式 2 bを使用して線形予測を行う。 なお、 切り替えずに使用する式を式 2 bの代わりに式 2 aを用いた場 合も同様に扱うことが可能である。
図 1 に示す符号化装置では動き補償符号化部 1 0 7において、 各スラ イスごとに、 重み付け係数セッ トに関するデータを符号化するか否かを 決定し、 それに基づいてフラグ p— f I a gの情報を符号列生成部 1 0 3に出力し、 図 1 7 ( a ) に示すように符号列中に記述する。 これによ つて、 処理能力の高い装置では重み付け係数セッ トを使用して線形予測 を行い、 処理能力の低い装置では重み付け係数セッ 卜を使用せずに線形 予測を行うといった使い分けが可能となる。
同様に、図 1 に示す符号化装置では動き補償符号化部 1 0 7において、 各スライスごとに、 画像データの D C成分に相当するパラメータ C ( C 1 および C 2 ) に関するデータのみ符号化するか否かを決定し、 それに 基づいてフラグ c— f I a gの情報を符号列生成部 1 0 3に出力し、 図 1 7 ( a ) に示すように符号列中に記述する。 これによつて、 処理能力 の高い装置では全ての重み付け係数セッ トを使用して線形予測を行い、 処理能力の低い装置では直流成分のみを使用して線形予測を行うといつ た使い分けが可能となる。
同様に、図 1 に示す符号化装置では動き補償符号化部 1 0 7において、 各スライスごとに、 固定式を使用して線形予測を行う場合に、 2つの式 を切り替えて符号化するか否かを決定し、 それに基づいてフラグ d— f I a gの情報を符号列生成部 1 0 3に出力し、 図 1 7 ( a ) に示すよう に符号列中に記述する。 これによつて、 画面の明度が時間的にほとんど 変わらないような場合は片方の固定式のみを用いて線形予測を行い、 画 面の明度が時間的に変化するような場合は 2つの固定式を切り替えて使 用して線形予測を行うといった使い分けが可能となる。
同様に、図 1 に示す符号化装置では動き補償符号化部 1 0 7において、 各スライスごとに、 線形予測を行うための係数を参照ピクチャの表示順 情報を用いて生成するか否かを決定し、 それに基づいてフラグ t— f I a gの情報を符号列生成部 1 0 3に出力し、 図 1 7 ( a ) に示すように 符号列中に記述する。 これによつて、 符号量に余裕がある場合は重み付 け係数セッ トを符号化して線形予測を行い、 符号量に余裕がない場合は 表示順情報から係数を生成して線形予測を行うといった使い分けが可能 3009228
となる。
同様に、図 1 に示す符号化装置では動き補償符号化部 1 0 7において、 各スライスごとに、 線形予測を行うための係数をシフ ト演算で計算でき るように 2のべき乗に近似するか否かを決定し、 それに基づいてフラグ s _ f I a gの情報を符号列生成部 1 0 3に出力し、 図 1 7 ( a ) に示 すように符号列中に記述する。 これによつて、 処理能力の高い装置では 重み付け係数を近似しないで使用して線形予測を行い、 処理能力の低い 装置では重み付け係数を 2のべき乗に近似して使用しシフ ト演算で実現 できる線形予測を行うといった使い分けが可能となる。
例えば、 （1) ( p、 c 、 d 、 t 、 s _ f I a g ) = ( 1 、 0、 0、 0、 1 ) である場合は、 全ての重み付け係数セッ トが符号化され、 実施の形 態 2で説明したように、 係数を 2のべき乗で表すことによリシフ ト演算 のみで線形予測を行い予測画像を生成したことが示される。
また、 （2) ( p、 c、 d、 t 、 s— f l a g ) = ( 1 、 1 、 1 、 0、 0 ) である場合は、 パラメータ C ( C 1 および C 2 ) に関するデータのみが 符号化され、 実施の形態 3で説明した固定式に係数 Cを加えることによ つて予測画像を生成する方法を用い、 さらに 2つの固定式を切り替えて 使用したことが示される。
また、 （3) ( p、 c、 d、 t 、 s _ f I a g ) = ( 0、 0、 0、 0、 0 ) である場合は、 重み付け係数セッ トは何も符号化されない。 つまり、 従 来の方法である固定式のうち式 2 bのみを用いた予測画像の生成方法を 用いたことが示される。
また、 （4) ( p、 c、 d、 t 、 s _ f l a g ) = ( 0、 0、 1 、 1 、 1 ) である場合は、 重み付け係数セッ トは何も符号化されないが、 実施の形 態 4で説明したように、 重み付け係数を参照ピクチャの表示順情報から 生成し、 さらに係数を 2のべき乗で近似することによりシフ ト演算のみ で線形予測を行い、 さらに 2つの固定式を切り替えて使用して予測画像 を生成したことが示される。
なお、 上記実施の形態では各々 1 ビッ トからなる 5つのフラグ （ p— f I a g、 c一 f I a g d一 f I a g、 t一 τ I a g s一 f I a g を用いて判別を行っているが、 5つのフラグの代わりに 5 ビッ トからな る 1 つのフラグのみで表現することも可能である。 また、 その場合、 5 ビッ トで表現するのではなく可変長符号化を用いて符号化することも可 能である。
なお、 上記実施の形態では各々 1 ビッ 卜からなる 5つのフラグ （ p— f I a g、 c― f I a g、 d一 f I a g t一 f I a g、 s― f I a g ) を全て用いているが、 そのうちの 1部分のフラグのみを用いて線形予測 方法の切り替えを行う場合も同様に扱うことが可能である。 その場合、 図 1 7 ( a ) に示したフラグは必要なもののみを符号化して記述するこ とになる。
従来の方法では、 固定式を用いた予測画像の生成と、 線形予測係数の 重み付け係数セッ 卜を用いた予測画像の生成とを切リ替えるためのフラ グを符号列のピクチャ共通情報部分に設けて、 ピクチャ単位で切り替え ることを可能と していた。 しかし、 この方法であると、 ピクチャ毎にし か予測画像の生成方法を切リ替えることができなかった。
しかし、 本実施の形態で説明したように、 この切り替えフラグを符号 列のスライスヘッダに設けるようにして、 ピクチャを構成するスライス ごとにいずれの方法で予測画像を生成するかを切リ替えることを可能と することによ り、 例えば、 複雑な画像を持つスライスでは重み付け係数 セッ トを用いた予測画像の生成を行い、 単純な画像を持つスライスでは 固定式を用いた予測画像の生成を行うことにより、 処理量の増加を最小 限に抑えつつ画質の向上を図ることが可能となる。 なお、 上記実施の形態ではスライスヘッダ領域に 5つのフラグ （ P— f I a g、 c― f I a g、 d一 f I a g、 t一 f I a g、 s一 f I a g ) を記述してスライスごとに判別を行っているが、 ピクチャ共通情報領域 にこれらのフラグを記述することにより、 ピクチャ単位で切り替えるよ うにすることも可能である。 また、 スライスを構成するブロックごとに 切り替えフラグを設けることにより、 さらにブロック単位で最適な方法 で予測画像の生成を行うことも可能である。
なお、 本発明の実施の形態における表示順情報は、 表示の順番に限定 されるものではなく、 実際の表示時間や、 表示時間に伴って値が大きく なる所定のピクチャを基準と した各ピクチャの参照順序であっても良し、。 (実施の形態 6 )
図 2は、 本発明の実施の形態 6における動画像復号化装置の構成を示 すブロック図である。 この動画像復号化装置における動画像復号化方法 を図 2に示したブロック図を用いて （ 1 ) 復号化の概要、 （ 2 ) 参照イン デックス割リ当て方法、（ 3 )予測画像生成方法の順で説明する。ただし、 以下の説明では実施の形態 1 の動画像符号化方法で生成された符号列が 入力されるものとする。
( 1 ) 復号化の概要
まず入力された符号列から符号列解析部 2 0 1 によって、 スライスへ ッダ領域から線形予測用の重み付け係数セッ トのデータ列、 および参照 ィンデックス割り当て用コマンド列を、 さらにブ口ック符号化情報領域 から参照インデックスおよび動きベク トル情報および予測残差符号化デ —タ等の各種の情報が抽出される。 図 6は前記符号化情報が符号列に含 まれている様子を示した図である。
符号列解析部 2 0 1 で抽出された線形予測用の重み付け係数セッ 卜の データ列は線形予測係数記憶部 2 0 6に、 参照ィンデックス割リ当て用 コマン ド列は参照ィンデックス ■ ピクチャ番号変換部 2 0 7に、 参照ィ ンデックスは動き補償復号化部 2 0 4に、 動きべク トル情報は動きべク トル記憶部 2 0 5に、 予測残差符号化信号は予測残差復号化部 2 0 2に それぞれ出力される。
予測残差復号化部 2 0 2では入力された残差符号化信号に対して、 逆 量子化、 逆周波数変換等の画像復号化処理を施し残差復号化信号を出力 する。 加算演算部 2 0 8では前記残差復号化信号と動き補償復号化部 2 0 4から出力される予測画像信号との加算を行い再構成画像信号を生成 し、 得られた再構成画像信号は以降の画面間予測での参照に使用するた め、および表示用に出力するためにピクチャメ モリ 2 0 3に格納される。 動き補償復号化部 2 0 4では、 動きべク トル記憶部 2 0 5から入力さ れる動きべク トルおよび符号列解析部 2 0 1から入力される参照ィンデ ックスを用いて、 ピクチャメモリ 2 0 3に格納されている再構成画像信 号から予測画像に最適な画像領域を取り出す。 このとき、 参照インデッ クス ■ ピクチャ番号変換部 2 0 7において、 符号列解析部 2 0 1 から与 えられた参照インデックスとピクチャ番号との対応を取ることによリピ クチャメモリ 2 0 3中の参照ピクチャを指定する。
参照ィンデックス ■ ピクチャ番号変換部 2 0 7における動作の詳細は ( 2 ) において詳しく説明する。 さらに、 得られた画像領域の画素値に 対して動き補償復号化部 2 0 4において線形予測による補間処理等の画 素値変換処理を施すことによって最終的な予測画像を作成する。 その際 に使用する線形予測係数は線形予測係数記憶部 2 0 6に格納されている データから参照インデックスを検索キーとすることによって獲得される。
この予測画像生成方法については （ 3 ) において詳しく説明する。 上記の一連の処理によって生成された復号化画像はピクチャメモリ 2 0 3に格納され、 表示されるタイミングに従って表示用画像信号として 出力される。
以上の処理の流れは画面間予測復号化を行つた場合の動作であつたが、 スィッチ 2 0 9によって画面内予測復号化との切り替えがなされる。 ίί 面内復号化を行う場合は、 動き補償による予測画像の生成は行わず、 同 一画面内の復号化済み領域から復号化対象領域の予測画像を生成し加算 を行うことによって復号化画像を生成する。 復号化画像は画面間予測復 号化の場合と同様に、 ピクチャメモリ 2 0 3に格納され、 表示されるタ ィミングに従って表示用画像信号として出力される。
( 2 ) 参照インデックス割り当て方法
次に、 図 2の参照インデックス ' ピクチャ番号変換部 2 0 7における 参照インデックス割り当て方法について図 3、 図 4を用いて説明する。 図 3は、 ピクチャ番号に対する 2つの参照インデックスの割り当て方 法を説明するための図である。 図のような表示される順に並べられたピ クチャ列があったとき、 ピクチャ番号は復号化される順番に割リ振られ ている。 参照インデックスをピクチャ番号に割り当てるためのコマンド はピクチャをさらに分割した復号化単位であるスライスのヘッダに記述 され、 1 つのスライスを復号化する毎に割り振り方が更新されることに なる。 前記コマンドは、 直前に参照ィンデックスに割り当てたピクチャ 番号と現在割り当てを行っているピクチャ番号との差分値を参照インデ ックスの数だけ連続して指示するものである。
図 3の第 1参照インデックスの例を用いると、 まずコマン ドとして" 一 1 "が与えられたので、現在復号化の対象と しているピクチャ番号 1 6 番から 1 を引く ことにより、 ピクチャ番号 1 5番が参照インデックス 0 番に割り当てられる。 次に"一 4 "が与えられたので、 直前に割り当てを 行ったピクチャ番号 1 5番から 4を引く ことにより、 ピクチャ番号 1 1 番が参照ィンデックス 1 香に割り当てられる。 以下同様の処理によって 各ピクチャ番号の割り当てが行われる。 第 2参照インデックスの場合も 同様である。
図 3 4に示した従来の方法による参照インデックス割り当て方法では、 全ての参照インデックスはそれぞれ別々のピクチャ番号に対応付けられ ている。 一方、 図 3の例では、 割り当て方法は従来のものと全く同じ方 法を用いているが、 コマン ドの値を変更することにより同じピクチャ番 号に対して複数の参照インデックス番号が対応付けられている。
図 4は参照インデックスの割り当てを行った結果を示したものである。 各ピクチャ番号には第 1参照インデックスおよび第 2参照インデックス がそれぞれ独立に割り当てられているが、 1 つのピクチャ番号に対して 複数の参照ィンデックスが割リ当てられているものもあることが分かる。 本発明の復号化方法では、 この例のように複数の参照ィンデックスが割 リ当てられているピクチヤ番号が少なく とも 1 つ以上あるものとする。 参照インデックスを参照ピクチャの決定のみに使用する場合であれば、 従来の方法のように 1 つのピクチャ番号に対して 1 つの参照インデック スを割り当てる方法が最も効率の良い方法である。 しかし、 参照インデ ックスを使用して予測画像の生成における線形予測係数の重み付け係数 セッ 卜を選択する場合は、 従来の方法では同じ参照ピクチャを持つプロ ック全てにおいて同じ線形予測係数を使用しなくてはならないため、 最 適な予測画像が生成されない可能性が非常に高くなつてしまう。そこで、 本発明のように 1 つのピクチャ番号に対して複数の参照インデックスが 割り当てることを可能とすることにより、 同じ参照ピクチャを持つ場合 でも、 ブロックごとに複数の線形予測係数の重み付け係数セッ 卜の候補 の中から最適なものを選択することが可能となリ、 より予測精度の高い 予測画像を生成することが可能となる。
なお、 以上の説明では全ての参照ピクチャが参照用メモリに蓄積され るものと してピクチャ番号が与えられている場合の例を示していたが、 ピクチャ番号は符号化を行った直前のピクチャが蓄積された場合のみ値 が 1 つずつ増加していく ものであり、 蓄積されないピクチャがあった場 合でも参照用メモリ内ではピクチャ番号の連続性は保たれ、 前記方法を そのまま使用することが可能である。
( 3 ) 予測画像生成方法
次に、 図 2の動き補償復号化部 2 0 4における予測画像生成方法につ いて図 5を用いて説明する。 線形予測による予測画像生成方法は従来法 と全く同様であるが、 同じピクチャに対して複数の参照インデックス番 号を対応付けることが可能となったため、 線形予測係数を選択する際の 自由度が高くなつている。
ピクチャ B 1 6は現在復号化の対象と している Bピクチャであり、 ブ ロック B L O 1 およびブロック B L O 2は前記 Bピクチャに属する復号 化対象のブロックである。 B L O 1 は第 1参照ピクチャをピクチャ P 1 1 、 第 2参照ピクチャをピクチャ B 1 5とし、 それぞれのピクチャに属 するブロック B L 1 1 および B L 2 1 を参照して予測画像を作成する。 同様に B L 0 2も第 1参照ピクチャをピクチャ P 1 1 、 第 2参照ピクチ ャをピクチャ B 1 5とし、 それぞれのピクチャに属するブロック B L 1 2および B L 2 2を参照して予測画像を作成する。
第 1参照ピクチャおよび第 2参照ピクチャは B L 0 1 、 B L 0 2共に 同じものを参照しているが、（ 2 ) において説明した参照インデックスの 割り当て方法を用いることにより、 第 1参照インデックス r e f 1 およ び第 2参照インデックス r e f 2は B L O 1 と B L O 2とで異なる値を 取ることが可能となる。 図 4を例にとると、 ピクチャ番号 1 1 に対応す る第 1参照インデックスは 1 と 3が、 ピクチャ番号 1 5に対応する第 2 参照インデックスは 1 と 6が割り振られている。 その結果、 これらの参 照インデックスの組み合わせは、 （ r e f 1 、 r e f 2 ) = ( 1 、 1 )、 ( 1 、 6 )、 （ 3、 1 )、 （ 3、 6 ) の 4通りが考えられ、 これらの中から 最適な重み付け係数セッ 卜を導き出す組み合わせをブロックごとに選択 することが可能となっている。 図 5では例として B L 0 1 が r e f 1 = 1 、 r e f 2 = 1 、 B L 0 2が r e f 1 = 3、 r e f 2 = 6としている。 図 3 5にあるような従来の方法によって対応付けられた参照インデッ クスの組み合わせでは、図 5のような例では B L 0 1 、 B L 0 2共に（ r e f 1 、 r e f 2 ) = ( 1 、 1 ) の組み合わせしか選択できなかったた め、 選択することのできる線形予測係数の重み付け係数セッ トも 1 通り しかなかった。 一方、 本発明では選択範囲が 4通りに拡張されているた め、最適な重み付け係数セッ トが選択できる可能性が高くなると言える。
1 つのピクチャの符号列は、 ピクチャ共通情報領域および複数のスラ イスデータ領域から構成される。 図 6はそのうちのスライスデータ領域 の構成を示したものである。 さらにスライスデータ領域は、 スライスへ ッダ領域および複数のブロックデータ領域から構成される。 ここではブ ロックデータ領域の例として図 5における B L O 1 、 B L O 2に対応す る各ブロックの領域が示されている。
B L 0 1 に含まれる r e f 1 および r e f 2はこのブロックが参照 する 2枚のピクチャを指し示す第 1参照インデックスおよび第 2参照ィ ンデックスをそれぞれ指示するものである。 またスライスヘッダ領域に は前記線形予測を行うための重み付け係数セッ トを与えるためのデータ ( p s e t O、 p s e t 1 、 p s e t 2、 . ■ ■ - ) が r e f l用および r e f 2用それぞれに記述されている。 このときの p s e t は （ 2 ) で 説明した参照ィンデックスの個数と同じで数だけ設定することができる。 つまり、 図 3のように第 1 参照インデックス、 第 2参照インデックスを 共に 0から 9までの 1 0個を使用した場合は、 p s e t も r e f 1 用、 JP2003/009228
r e f 2用共に 0から 9までの 1 0個を設定することが可能である。 図 7は前記スライスヘッダ領域に含まれる前記重み付け係数セッ ト の例を表に示したものである。 識別子 P s e t で示された各々のデータ は w 1 、 w 2、 c、 dの 4つ値を持ち、 r e f l および r e f 2の値に よってダイ レク 卜に参照できるように構成されている。 また、 スライス へッダ領域には前記参照インデックスをピクチャ番号に割リ当てるため のコマンド列 i d x _c m d 1 および i d x _ c m d 2が記述されている。 図 6の B L 0 1 に記述された r e f 1 および r e f 2によって図 7の r e f 1 用おょぴ r e f 2用のテーブルからそれぞれ 1 組の重み付け係 数セッ トが選択される。 この 2組の重み付け係数セッ トを用いて参照画 像の画素値に対して線形予測を施すことによって予測画像を生成する。
ここで、 重み付け係数セッ トを決定し予測画像の生成するまでの処理 の流れについて詳細に説明する。
図 1 8は、 図 2の線形予測係数記憶部 2 0 6と動き補償復号化部 2 0 4における予測画像を生成する機能構成を示した機能プロック図である。 線形予測係数記憶部 2 0 6 aと、 線形予測係数記憶部 2 0 6 bと、 平 均値算出部 2 0 4 a と、 線形予測演算部 2 0 4 bにより予測画像が生成 される。
平均値算出部 2 0 4 aは、 符号列解析部 2 0 1 より出力される r e f 1 によって選択される 1組の重み付け係数セッ ト（w 1— 1 ， w 2— 1 ， c_ 1 , d _ 1 ) を線形予測係数記憶部 2 0 6 aょリ獲得し、 符号列解 析部 2 0 1 より出力される r e f 2によって選択される 1組の重み付け 係数セッ ト （w 1 — 2， w 2— 2， c_2 , d _2 ) を線形予測係数記 憶部 2 0 6 bより獲得する。
そして平均値算出部 2 0 4 aは、 線形予測係数記憶部 2 0 6 a , 2 0 6 bより獲得したそれぞれの重み付け係数セッ 卜のパラメータごとの平 均を取リ、実際に線形予測に使用する重み付け係数セッ ト（w 1 ， w 2 , c , d ) とし、 線形予測演算部 2 0 4 bに出力する。 線形予測演算部 2 0 4 bは、 重み付け係数セッ ト （w 1 ， w 2 , c , d ) を基に、 式 1 を 用いて予測画像を演算し出力する。
また、 図 1 9は予測画像を生成する他の機能構成を示す機能ブロック 図である。線形予測係数記憶部 2 0 6 a ,線形予測係数記憶部 2 0 6 b , 線形予測演算部 2 0 4 c , 線形予測演算部 2 0 4 d , および平均値算出 部 2 0 4 eにより、 予測画像が生成される。
線形予測演算部 2 0 4 cは、 符号列解析部 2 0 1 より出力される r e f l によって選択される 1組の重み付け係数セッ ト （w 1 — 1 , w 2— 1 ， c _ 1 , d— 1 ) を線形予測係数記憶部 2 0 6 aより獲得し、 その 重み付け係数セッ トを基に、 式 1 を用いて予測画像を演算して平均値算 出部 2 0 4 eに出力する。
同様に、 線形予測演算部 2 0 4 dは、 符号列解析部 2 0 1 より出力さ れる r e f 2によって選択される 1 組の重み付け係数セッ ト（w 1 _ 2， w 2_ 2 , c— 2 , d— 2 )を線形予測係数記憶部 2 0 6 bより獲得し、 その重み付け係数セッ トを基に式 1 を用いて予測画像を演算して平均値 算出部 2 0 4 eに出力する。
平均値算出部 2 0 4 eは、 線形予測演算部 2 0 4 c , 線形予測演算部 2 0 4 dのそれぞれから出力される予測画像の各画素の平均値をと リ、 最終的な予測画像を生成し出力する。
図 2 0 ( a ) は、 予測画像を生成する他の機能構成を示す機能ブロッ ク図である。 線形予測係数記憶部 2 0 6 c， 線形予測係数記憶部 2 0 6 d , 平均値算出部 2 0 4 f , 線形予測演算部 2 0 4 gにより予測画像が 生成される。
平均値算出部 2 0 4 f は、 符号列解析部 2 0 1 より出力される r e f 1 によって選択される 1 組の重み付け係数セッ ト（w l — 1 、w 2— 1 ， c _ 1 , d _ 1 ) のうち、 c— 1 ， d— 1 のパラメータを線形予測係数 記憶部 2 0 6 cより獲得し、 符号列解析部 2 0 1 より出力される r e f 2によって選択される 1 組の重み付け係数セッ ト（w 1 — 2、w 2— 2， c— 2， d _ 2 ) のうち、 c— 2 , d— 2のパラメータを線形予測係数 記憶部 2 0 6 dより獲得する。 平均値算出部 2 0 4 f は、 線形予測係数 記憶部 2 0 6 cおよび線形予測係数記憶部 2 0 6 dよリ獲得した c— 1 と c— 2の平均値と、 d— 1 と d— 2の平均値を算出して c、 dを求め 線形予測演算部 2 0 4 gに出力する。
また、 線形予測演算部 2 0 4 gは、 上記重み付け係数セッ ト （w l —
1 、 w 2 _ 1 ， c _ 1 , d— 1 ) のうち、 w l — 1 のパラメータを線形 予測係数記憶部 2 0 6 cより獲得し、 上記重み付け係数セッ ト （w 1 —
2、 w 2 _ 2 , c— 2， d— 2 ) のうち、 w 2— 2のパラメータを線形 予測係数記憶部 2 0 6 dより獲得し、 平均値算出部 2 0 4 f によりそれ ぞれの平均を求めて c、 dを獲得して、 式 1 を用いて予測画像を演算し 出力する。
すなわち、 線形予測演算部 2 0 4 gは、 線形予測係数記憶部 2 0 6 c より得られた重み付け係数セッ ト （w 1 — 1 、 w 2 _ 1 , c _ 1 , d— 1 ) と、 線形予測係数記憶部 2 0 6 dより得られた重み付け係数セッ ト ( w 1 — 2、 w 2— 2， c _ 2 , d— 2 ) のうち、 実際に線形予測で使 用する重み付け係数セッ ト （w 1 、 w 2， c , d ) を決定する際に、 下 記の規則を用いている。
w 1 = w 1 _ 1 , w 2 = w 2 _ 2 , c = ( c一 1 と c— 2の平均）， d = ( d— 1 と d— 2の平均）
図 2 0 ( b ) は、 予測画像を生成する他の機能構成を示す機能ブロッ ク図である。 線形予測係数記憶部 2 0 6 e， 線形予測係数記憶部 2 0 6 f , 線形予測演算部 2 0 4 hによリ予測画像が生成される。
線形予測演算部 2 0 4 hは、 符号列解析部 2 0 1 より出力される r e f l によって選択される 1 組の重み付け係数セッ ト （w 1 _ 1 、 w 2_ 1 , c— 1 ， d— 1 ) のうちの一部である w 1 — 1 , c— 1 ， d— 1 の パラメータを線形予測係数記憶部 2 0 6 eょリ獲得し、 符号列解析部 2 0 1 より出力される r e f 2によって選択される 1組の重み付け係数セ ッ ト （w l — 2、 w 2 _ 2 , c _ 2 , d _ 2 ) のうちの一部である w 2 — 2のパラメータを線形予測係数記憶部 2 0 6 f より獲得する。 線形予 測演算部 2 0 4 hは、 線形予測係数記憶部 2 0 6 e， 線形予測係数記憶 部 2 0 6 f より獲得した w 1 _ 1 , c— 1 , d— 1 ， w 2— 2を基に、 式 1 を用いて、 予測画像を演算し出力する。
すなわち、 線形予測演算部 2 0 4 hは、 線形予測係数記憶部 2 0 6 e より得られた重み付け係数セッ ト （w 1 _ 1 、 w 2 _ 1 , c— 1 ， d _ 1 ) と、 線形予測係数記憶部 2 0 6 f より得られた重み付け係数セッ ト (w l — 2、 w 2— 2， c _ 2 , d— 2 ) のうち、 実際に線形予測で使 用する重み付け係数セッ ト （w 1 、 w 2 , c , d ) を決定する際に、 下 記の規則を用いている。
w 1 = w 1 ― 1 ， w 2 = w 2― 2 , c = c一 1 , d = d― 1
また、 w 1 、 w 2、 c、 dのパラメ一タのうちの 1 つもしくは複数個 を固定の値として使用することも可能である。 図 2 1 は図 2 0 ( a ) に おける機能構成に対して、 dのみを固定の値と して使用した場合の機能 ブロック図である。 線形予測係数記憶部 2 0 6 g， 線形予測係数記憶部 2 0 6 h , 平均値算出部 2 0 4 i 、 線形予測演算部 2 0 4 j により予測 画像が生成される。
第 1参照ィンデックス r e f 1 によつて線形予測係数記憶部 2 0 6 g から選択される係数は （w l — 1 、 c _ 1 ) のみであり、 第 2参照イン デックス r e f 2によつて線形予測係数記憶部 2 0 6 hから選択される 係数は （w 2— 2、 c _ 2 ) のみである。 平均値算出部 2 0 4 ί は、 線 形予測係数記憶部 2 0 6 gおよび線形予測係数記憶部 2 0 6 hより獲得 した c— 1 と c— 2の平均値を算出して cを求め線形予測算出部 2 0 4 j に出力する。
また、 線形予測演算部 2 0 4 j は、 w 1 _ 1 のパラメータを線形予測 係数記憶部 2 0 6 gより獲得し、 w 2— 2のパラメータを線形予測係数 記憶部 2 0 6 hより獲得し、 cのパラメータを平均値算出部 2 0 4 i よ リ獲得し、 dのパラメータと して予め決められたある固定の値を使用し、 式 1 を用いて予測画像を算出し出力する。 この場合式 1 は実施の形態 1 で説明した通り式 1 bのようにして変形して扱うことも可能である。 なお、 dの値として使用する予め決定された固定の値とは、 常に同じ 値を使用することも可能であるが、 符号化装置においてスライスヘッダ に前記固定の値が記述されている場合は、 符号列解析部 2 0 1 において 前記固定の値を抽出することによリスライスごとに切り替えることも可 能である。 同様に、 ピクチャ共通情報領域またはシーケンス共通情報領 域に記述することによリ ピクチャごとまたはシーケンスごとに切り替え ることも可能である。
なお、 上記の復号化方法は 2つの参照ピクチャをもつ Bピクチャに関 するものであつたが、 1 つの参照ピクチャしか持たない Pピクチャおよ び Bピクチヤにおける単一ピクチャ参照復号化モードにおいても同様の 処理を行うことが可能である。 この場合は第 1 参照インデックスもしく は第 2参照インデックスのどちらか一方のみを使用し、 図 6の符号列に おけるスライスヘッダ領域中の p s e t および i d x _ c m dは、ブロッ クデータ領域中に記述される参照インデックスに従って、 r e f l 用も しくは r e f 2用のもののみを記述することになる。 また、 線形予測の 方法は従来の方法で説明した式 1 に替えて式 3もしくは式 4を使用する。 式 1 および式 3を使用する場合は、 w 1 、 w 2、 c、 dの 4つのパラ メータが必要だったが、 式 4を使用する場合は、 w 1 、 c、 dの 3つの パラメータのみで線形予測を行うことができる。 つまり、 Pピクチャの ようにピクチャ全体で第 1参照インデックスもしくは第 2参照インデッ クスのどちらか一方のみしか使用されない場合は、 スライスヘッダ領域 に記述する重み付け係数セッ 卜のデータの項目数をそれぞれ 3つずつに 減らすことが可能となる。
式 3を用いた場合は Bピクチャと Pピクチャとで構成を変更せずに両 方に対応した線形予測を実現することが可能となる。 また、 式 4を用い た場合は Pピクチャのへッダ領域に記述するデータ量を削減することが でき、 さらに計算が単純化されるため処理量の削減も実現することが可 能となる。 ただし、 いずれの方法においても、 本発明において提案する 参照ィンデックスの割リ振リ方法はそのまま適用することができるため、 予測精度の高い予測画像を作成することが可能であり、 画像の復号化に おいて非常に有効である。
ところで、 動き補償において参照するピクチャは、 各々のピクチャに 割り当てられた参照インデックスを指定することによって決定される。 その際に、 参照することが可能なピクチャの最大枚数を符号列のピクチ ャ共通情報部分に記述していた。
図 3 8は、 参照することが可能なピクチャの最大枚数を記述した符号 列の模式図である。 図に示すように符号列のピクチャ共通情報に r e f 1 用のピクチャの最大数 M a X— p i c 1 と、 r e f 2用のピクチャの 最大数 M a x— p i c 2を記述していた。
復号化において必要とする情報は、 実際のピクチャの最大枚数ではな く、 ピクチャを指定するために使用する参照インデックスの取り得る最 大値である。
従来の方法では、 1 つのピクチャには 1 つの参照インデックスしか割 リ当てられなかったため、 前述のピクチャの最大枚数を記述することに よって矛盾は生じなかったが、 特に本発明のように、 ピクチャ番号に複 数の参照インデックスが割り当てられる場合には、 その違いが大きく影 響する。
上述したように、 符号列には参照インデックスをピクチャ番号に割リ 当てるためにコマンド列 i d x _ c m d 1 、 および ί d x— c m d 2が 記述されている。 このコマン ド列 i d x _ c m d 1 、 および ί d x _ c m d 2の各コマンドを基に、 ピクチャ番号と参照インデックスとを対応 づけていく。 このときに、 参照インデックスの最大値を知ることで、 す ベての参照ィンデックスとピクチャ番号との対応づけが行われたことが わかり、 コマン ド列 i d x— c m d 1 、 および i d x— c m d 2にお【十 るコマン ドの終端を知ることができる。
そこで、 本実施の形態では、 従来のピクチャの最大枚数の代わりに、 利用可能な参照インデックスの最大数をピクチャのヘッダであるピクチ ャ共通情報部分に記述している。 もしくは、 ピクチャの最大枚数と参照 インデックスの最大数の両者を記述する。
図 2 3は、 ピクチャの符号列のピクチャ共通情報に参照インデクッス の最大数を記述した状態を示している。 ピクチャの共通情報部分には、 r e f 1 用の利用可能な参照インデックスの最大数 M a x_ i d x 1 、 および r e f 2用の利用可能な参照インデックスの最大数 M a x _ i d x 2を記述している。
なお、 図 2 3では、 ピクチャ共通情報に参照インデクッスの最大数を 記述しているが、 これに加えて、 スライスデータ領域に参照インデクッ スの最大数を記述する構成と してもよい。 例えば、 ピクチャでの参照ィ ンデクッスの最大数が 8、 当該ピクチャ中のスライス 1 で必要な参照ィ ンデクッスの最大数が 8、 スライス 2で必要な参照インデクッスの最大 数が 4であるというように、 スライスによって必要な参照インデクッス の最大数がピクチャ共通情報領域に記述された最大数と異なる場合に、 スライス毎に必要な参照インデクッスの最大数を明示することができる。 すなわち、 ピクチャ共通情報に記述された参照ィンデクッスの最大数 をピクチャ中の各スライスに共通するデフォルト値として、 必要な参照 インデクッスの最大数がデフォルト値と異なるスライスについてはスラ イスヘッダに記述するようにしてもよい。
なお、 図 2 3および図 3 8ではピクチャ共通情報領域とスライスデー タ領域とをひとまとめにして符号列と している例を示したが、 ピクチャ 共通情報領域とスライスデータ領域はそれぞれ独立した符号列とするこ とも可能であり、 この場合も全く同様に扱うことができる。
(実施の形態 7 )
本発明の実施の形態 7における動画像復号化方法について説明する。 なお、 復号化装置の構成および復号化の処理の流れおよび参照ィンデッ クスの割り当て方法は実施の形態 6と全く同様であるため、 ここでは説 明を省略する。
実施の形態 6では動き補償において予測画像を生成する際に、 式 1 も しくは式 3もしくは式 4を用いて画素ごとに線形予測を行っている。 し かし、 これらの式はいずれも乗算処理を含むものであり、 全ての画素に 対してこのような演算を行うことを考えると、 処理量が非常に大きくな つてしまう。
そこで式 1 の代わりに式 5、 式 3の代わりに式 6、 式 4の代わりに式 7を使用することも可能である。 これらの式は乗算を使用することなく ビッ トシフ ト演算のみで計算を行うことができるため、 処理量を少なく 抑えることが可能となる。
実施の形態 6 と同様に、 同時に 2枚のピクチャを参照して予測画像を 生成するときは式 5を使用し、 1 枚のピクチャのみを参照して予測画像. を生成するときは式 6もしくは式 7を便用する。 これらの式では正負の 符号を表す識別子が必要となるため、 予測演算に必要な重み付け係数セ ッ トは、 式 5および式 6の場合は （ s i g n 1 、 m、 s i g n 2、 n 、 c ) . 式 7の場合は （ s i g n 1 、 m、 c ) となる。 s i g n 1 【ま 1 つめ の正負の符号を、 s i g n 2は 2つめの正負の符号を識別するパラメ一 タとする。 パラメータの個数は実施の形態 3よりも増加しているが、 s i g n l および s i g n 2はそれぞれ 1 ビッ 卜で表現することができる ため符号量の増加はほとんど無い。
ここで、 重み付け係数セッ トを決定し、 式 5を使用し同時に 2枚のピ クチャを参照して予測画像の生成するまでの処理の流れについて詳細に 説明する。
まず、 予測画像を生成する機能構成が図 1 8である場合について説明 する。 平均値算出部 2 0 4 aは、 線形予測係数記憶部 2 0 6 aより重み 付け係数セッ ト （ s i g n 1 _ 1 , m_ 1 , s i g n 2 _ 1 , n _ 1 , c _ 1 ) を得る。 また、 平均値算出部 2 0 4 aは、 線形予測係数記憶部 2 0 6 bより重み付け係数セッ ト （ s i g n 1 _ 2 , m— 2， s i g n 2— 2 , n _ 2 , c _ 2 ) を得る。
平均値算出部 2 0 4 aは、 線形予測係数記憶部 2 0 6 a , 線形予測係 数記憶部 2 0 6 bより得た重み付け係数セッ 卜のパラメータ毎の平均値 を求め、 直み付け係数セッ ト ( s i g n 1 , m , s i g n 2 , n , c ) とする。 線形予測演算部 2 0 4 bは、 平均値算出部 2 0 4 aが出力する 重み付け係数セッ ト （ s i g n "! , m , s i g n 2 , n， c ) を基に、 式 5を用いて予測画像を演算する。 なお、 図 1 8に記載した線形予測係数記憶部 2 0 6 a等より得られる 重み付け係数セッ ト （w l — 1 , w 2— 1 ， c _ 1 , d— 1 ) 等は、 実 施の形態 6で 明した式 1 の場合の例におけるものであり、 式 5を用い て予測画像を求める場合についてのパラメータについては図示していな いがそのまま置き換えることが可能である。 以下に説明する図 1 9、 図 2 0の場合も同様である。
次に、 予測画像を生成する機能構成が図 1 '9である場合について説明 する。 線形予測演算部 2 0 4 cは、 線形予測係数記憶部 2 0 6 aょリ得 た重み付け係数セッ ト （ s i g n l — 1 , m— 1 , s i g n 2 _ 1 , n — 1 , c— 1 ) を基に予測画像を演算する。線形予測演算部 2 0 4 dは、 線形予測係数記憶部 2 0 6 bより得た重み付け係数セッ ト （ s i g n 1 — 2， m— 2， s i g n 2_ 2 , n _ 2 , c— 2 ) を基に予測画像を演 算する。 そして平均値算出部 2 0 4 eは、 線形予測演算部 2 0 4 c ， 2
0 4 dのそれぞれが演算した予測画像の各画素の平均を求め、 予測画像 とする。
この場合、 線形予測演算部 2 0 4 cは、 重み付け係数セッ ト （ s i g n 1 _ 1 , m_ 1 , s i g n 2 _ 1 , n一 1 , c _ 1 ) を基に式 5を用 いて、 最初に予測画像を演算するため、 乗算を使用することなく、 ビッ トシフ ト演算で計算することができる。 線形予測演算部 2 0 4 dも同様 である。 一方、 図 1 8の場合であると、 最初に重み付け係数セッ ト （ s
1 g n 1 _ 1 , m_ 1 , s i g n 2 _ 1 , n _ 1 , c一 1 ) と重み付け 係数セッ 卜 （ s i g n l ― 2 , m一 2， s i g n 2― 2 , n― 2 , c一 2 ) の平均を求めるため、 m_ 1 と m_ 2の平均値あるいは n— 1 と n — 2の平均値が整数にならない場合があリ、 すなわち 2の指数にあたる 部分が整数にならないため、 処理量が多くなつてしまう可能性がある。 また、 2の指数にあたる部分が整数になるように丸め処理をおこなうと 誤差が大きくなつてしまう可能性がある。
次に、 予測画像を生成する機能構成が図 2 0 ( a ) である場合につい て説明する。 線形予測演算部 2 0 4 gは、 線形予測係数記憶部 2 0 6 c より得たビッ トシフ ト演算に用いられる係数であるパラメータ s i g n 1 _ 1 , m— 1 と、 線形予測係数記憶部 2 0 6 cより得たビッ トシフ ト 演算に用いられる係数であるパラメ一タ s i g n 2 _ 2 , η _ 2と、 各 線形予測係数記憶部 2 0 6 c , 2 0 6 dより得たパラメ一タ c— 1 と c _ 2を平均値算出部 2 0 4 f が平均して求めた平均値 c とを基に式 9を 用いて予測画像を演算する。
この場合においても、 ビッ トシフ ト演算に用いられる係数は、 線形予 測係数記憶部 2 0 6 cあるいは線形予測係数記憶部 2 0 6 dよりそのま ま得た値であるので、 式 5における 2の指数部分が整数となる。 そのた め、 ビッ トシフ ト演算で計算することができ、 処理量を少なくすること が可能となる。
予測画像を生成する機能構成が図 2 0 ( b ) である場合について説明 する。 線形予測演算部 2 0 4 hは、 線形予測係数記憶部 2 0 6 eょリ得 たパラメータ s i g n 1 _ 1 , m— 1 , c— 1 と、 線形予測係数記憶部 2 0 6 f より得たパラメ一タ s i g n 2 _ 2 , n _ 2とを基に式 9を用 いて予測画像を演算する。
この場合においても、 ビッ トシフ ト演算に用いられる係数は、 線形予 測係数記憶部 2 0 6 e、 あるいは線形予測係数記憶部 2 0 6 f よりその まま得た値であるので、 式 5における 2の指数部分が整数となる。 その ため、 ビッ トシフ ト演算で計算することができ、 処理量を少なくするこ とが可能となる。
図 2 0 ( a ) ( b ) の場合は、 実施の形態 3における図 1 0 ( a ) ( b ) の説明と同様に符号列に付加して送らなくてもよいパラメータがあリ、 符号列を小さくすることが可能である。
以上、 実施の形態 7で説明したような線形予測式を用いると、 乗算を 使用することなく ビッ トシフ ト演算で計算することができるため実施の 形態 6に比べて処理量を大幅に削減することが可能となる。
なお、 上記実施の形態では式 1 、 式 3、 式 4の代わりに式 5、 式 6、 式 7を用い、 符号化するパラメータセッ トも （w 1 、 w 2、 c、 d ) の 代わりに （ s i g n 1 、 m、 s i g n 2、 n、 c ) を用いて線形予測を 行うことによってビッ トシフ ト演算のみでの計算を実現し処理量の削減 を図っていたが、別のアプローチとして式 1 、 式 3、式 4および（w 1 、 w 2、 c、 d ) をそのまま用いたまま、 w l および w 2をビッ トシフ ト 演算可能な値のみ選択可能として制限することによって実施の形態 6と 全く同様の構成のままビッ トシフ ト演算のみでの計算を実現し処理量の 削減を行うことも可能である。
また、 さらに限定する方法として、 w 1 および w 2を常に 1 として選 択するように制限し、 直流成分である c 1 および c 2のみ任意の値を持 つような符号列を入力とすることも可能である。 図 2 1 の構成の場合を 例にとると、 r e f l 用と して （ 1 、 c一 1 )、 r e f 2用として （ 1 、 c_2 ) をパラメータセッ トとして符号化されているものする。 この場 合、 予測画像の画素値 P ( i ) は、 （式 1 a ) 中の w 1 — 1 および w 2— 2を 1 に置き換えた次式により求められる。
P ( i )=(Q l ( i )+ Q 2 ( i ))/ p o w(2 ,d ) + ( c _ 1 + c _ 2 ) Z
2
( p 0 ，01)は 2の 01乗を示す）
これによつて実施の形態 6と全く同様の構成のまま線形予測のための 処理量を大幅に削減することが可能となる。
さらに、 図 2 4のようにピクチャの符号列のピクチャ共通情報に、 線 形予測をビッ トシフ 卜演算のみで行うことが可能であるかを示すフラグ s f t _ f I g s および直流成分である cのみで線形 測を行うことが 可能であるかを示すフラグ d c _ f I gが記述されている場合、 復号化 装置ではこれらフラグを参照することにより、 ビッ トシフ 卜演算のみで の線形予測に適した構成での復号を行うことや、 直流成分のみでの線形 予測に適した構成での復号を行うことが可能となり、 復号化装置の構成 によっては大幅な処理量の削減が可能となる。
(実施の形態 8 )
本発明の実施の形態 8における動画像復号化方法について説明する。 なお、 復号化装置の構成および復号化の処理の流れおよび参照インデッ クスの割リ当て方法は実施の形態 6と全く同様であるため、 ここでは説 明を省略する。
従来の技術において説明したように、 実施の形態 6および実施の形態 7のように線形予測係数の重み付け係数セッ 卜から求める予測式を用い て予測画像を生成するのではなく、 式 2 aおよび式 2 bのように予め決 めた固定式を用いて予測画像を求める方法があった。 この方法を用いる と、 予測画像を求めるときの重み付け係数セッ 卜を符号化して送る必要 がないため符号量を削減できるという利点があった。 また、 線形予測の 計算式が単純であるため、 少ない処理量で線形予測を大幅に削減するこ とが可能であった。 しかし、 この固定式を用いた方法であると、 選択す ることのできる線形予測式が式 2 aおよび式 2 bの 2通り しかないため、 予測精度が悪くなってしまうという問題があった。
そこで本実施の形態では式 2 a， 式 2 bの代わりに式 8 a， 8 bを使 用する。 これらの式は式 2 a , 式 2 bに C 1 および C 2を加えたもので ある。 演算としては加算の回数が増加するだけであるため、 元の式と比 較しても処理量の増加はほとんど無い。 式 8 a , 8 bは同時に 2枚のピクチャを参照して予測画像を生成する ときの予測式であるが、 1 枚のピクチャのみを参照して予測画像を生成 するときは実施の形態で説明した式 3、式 4の代わりに式 9を使用する。
この方法を用いるために必要な重み付け係数セッ トは、 r e f 1 用と して （C 1 )、 r e f 2用と して （C 2 ) のみである。 そのため、 この方 法を用いた場合のピクチャの符号列の例は図 1 4にょうになり、 スライ スヘッダ領域には線形予測を行うための重み付け係数セッ ト （ p s e t 0、 p s e t 1 、 p s e t 2、 ' ' . ' ） が r e f l 用および r e f 2用 それぞれに記述され、 それぞれの重み付け係数セッ 卜の中身は Cのみと なる。 同様に、 図 1 5は前記スライスヘッダ領域に含まれる重み付け係 数セッ トの例を表に示したものであるが、 図 7とは異なり、 各重み付け 係数セッ 卜の要素は Cのみとなっている。
図 2 2は、 図 2の線形予測係数記憶部 2 0 6と動き補償復号化部 2 0 4における予測画像を生成する機能構成を示した機能ブロック図である。 線形予測係数記憶部 2 0 6 aと、 線形予測係数記憶部 2 0 6 bと、 線 形予測演算部 2 0 4 aによリ予測画像が生成される。
符号列解析部 2 0 1 より出力される第 1参照インデックス r e f 1 お よび第 2参照インデックス r e f 2によりを線形予測係数記憶部 2 0 6 aおよび 2 0 6 bよりそれぞれ 1 つの構成要素のみを持つ重み付け係数 セッ ト （ C 1 ) および （ C 2 ) が獲得される。 それらの値は線形予測演 算部 2 0 4 aに入力され、 式 8 a , 8 bを用いて線形予測がなされ、 予 測画像が生成される。
同様に、 1 枚のみを参照して線形予測を行う場合は図 2 2の r e f 1 もしくは r e f 2のどちらかのみにより重み付け係数セッ ト （ C 1 ) も しくは （C 2 ) が獲得され、 式 9を用いて線形予測がなされ、 予測画像 が生成される。 このように、本実施の形態では使用するパラメータの数が r e f 1用、 r e f 2用にそれぞれ 1 つずつのみでよいため、 符号列に記述するデ一 タの量を削減することができる。 また線形予測式も乗算等の複雑な演算 を必要と しないため、 演算量も最小限に抑えることが可能である。 また 従来の固定式を用いた方法で欠点とされていた予測精度の悪さも、 C 1 および C 2という係数を用いることにより大幅に改善することが可能で のる。
なお、 本実施の形態で説明した線形予測の方法は、 複数の参照インデ ックスが同一のピクチャを参照することが可能であるかどうかに関わら ず用いることが可能である。
(実施の形態 9 )
本発明の実施の形態 9における動画像復号化方法について説明する。 なお、 復号化装置の構成および復号化の処理の流れおよび参照インデッ クスの割り当て方法は実施の形態 6と全く同様であるため、 ここでは説 明を省略する。
各々のピクチャはピクチャ番号と共に、 表示時間もしくはそれに代わ るものを示すための表示順情報というものが割り当てられている。 図 3 9は、 その 1例としてピクチャ番号と表示順情報とを並べて示した図で ある。 表示順情報は表示される順番に従ってある値が割リ当てられる。 この図の例では、 1 ピクチャごとに 1 ずつ増加する値が使用されている。 線形予測を行うための式で用いられる係数の値をこれらの表示順情報を 用いて生成する方法について実施の形態 9において説明する。
実施の形態 6では動き補償において予測画像を生成する際に、 式 1 も しくは式 3もしくは式 4を用いて画素ごとに線形予測を行っている。 し かし、 これらの線形予測を行うためには係数のデータが必要であり、 前 記実施の形態では、 スライスヘッダ領域に重み付け係数セッ トと して符 号列中に係数のデータを記述し、予測画像の作成に用いていた。しかし、 高い符号化効率が得られる反面、 重み付け係数セッ 卜のデータを作成す るための処理が必要となり、 また、 重み付け係数セッ トを符号列中に記 述することによるビッ ト量の増加も発生する。
そこで式 1 の代わりに式 1 0、 式 1 1 a、 式 1 2 aを用いて線形予測 を行うことも可能である。 これらの式は各々の参照ピクチャが持つ表示 順情報のみから重み付け係数を決定することができるため、 別途重み付 け係数セッ 卜を符号化する必要がない。
例と して図 3 9において、 符号化対象ピクチャが 1 6番、 第 1参照ィ ンデックスによって指定されたピクチャが 1 1番、 第 2参照インデック スによって指定されたピクチャが 1 0香とすると、 それぞれのピクチャ の表示順情報は 1 5、 1 3、 1 0となるため、 下記のような線形予測式 が決定される。
V 1 = ( 1 0— 1 5 )/( 1 0— 1 3 )= 5 / 3
V 2 =(1 5 - 1 3)/(1 0 - 1 3)= - 2 / 3
P ( i )= 5 / 3 X Q 1 ( i )- 2 / 3 x Q 2 ( i )
式 1 を用いた重み付け係数セッ トを用いて線形予測を行う方法と比較 すると係数の値の自由度が低いため最適な予測画像の作成は困難と言え るが、 式 2 a、 式 2 bを用いた 2つの式からなる固定式を 2枚の参照ピ クチャの位置関係によって切り替える方法と比較すると線形予測式とし てより効率の良い式を生成することができる。
なお、 第 1参照ィンデックスおよび第 2参照ィンデックスが同じピク チヤを参照している場合は、 T 1 = T 2となってしまい、 式 1 1 a、 式 1 2 aが成立しない。 そこで、 参照される 2枚のピクチャが同じ表示順 情報を持つ場合は V 1 および V 2の値と して 1 / 2を用いて線形予測を 行うものとする。 その場合の線形予測式は下記のようになる。 V 1 = 1 / 2
V 2 = 1 / 2
P ( i )= 1 ノ 2 x Q 1 ( i )+ 1 2 x Q 2 ( i )
また、 第 1 参照インデックスおよび第 2参照インデックスが異なるピ クチャを参照しているが、 それらのピクチャが同じ表示順情報を持つ場 合にも、 T 1 - T 2となってしまい、式 1 1 a、式 1 2 aが成立しない。 このように、 参照される 2枚のピクチャが同じ表示順情報を持つ場合は V 1 および V 2の値として 1 / 2を用いて線形予測を行うものとする。 このように、 参照される 2枚のピクチャが同じ表示順情報を持つ場合 には、 予め設定された値を係数と して用いる構成とすればよい。 予め設 定された値を係数としては、 上記の 1 Z 2の例のように同じ重みを有す る係数としてもよい。
ところで、 上記の実施の形態のように式 1 0を用いると、 線形予測を 行うために乗算および除算が必要となる。 式 1 0による線形予測演算は 符号化対象ブロック内の全ての画素に対して演算を行うため、 乗算が加 わることによる処理量の増加は非常に大きなものとなる。
そこで、 実施の形態 7の考え方と同様にして、 V 1 および V 2を 2の べき乗に近似することにより、 線形予測の演算をシフ ト演算のみで行う ことを可能と し、 処理量の削減を図ることができる。 その場合の線形予 測式と して、 式 1 1 a、 式 1 2 aの代わりに式 1 1 b、 式 1 2 bを用い る。
なお、 式 1 1 a、 式 1 2 aの代わりに式 1 1 c、 式 1 2 cを用いるこ とも可能である。
なお、 式 1 1 a、 式 1 2 aの代わりに式 1 1 d、 式 1 2 dを用いるこ とも可能である。
なお、 2のべき乗への近似の方法は、 式 1 1 bを例にとると、 V 1 の 値を 1 ずつ変化させたとき、 土 p o w(2， v 1 )と（T 2— T O) （T 2 — T 1 )とが最も近くなるときの ± p o w(2 , v 1 )の値とする。
例として図 3 9において、 復号化対象ピクチャが 1 6番、 第 1参照ィ ンデックスによって指定されたピクチャが 1 1 番、 第 2参照インデック スによって指定されたピクチャが 1 0番とすると、 それぞれのピクチャ の表示順情報は 1 5、 1 3、 1 0となるため、 （T 2— T O) （T 2— T 1 )および士 p o w(2 , V 1 )は下記のようになる。
(T 2 - T 0)/(T 2 - T 1 )=(1 0— 1 5 )/( 1 0— 1 3 )= 5 / 3
+ p o w ( 2 , 0)= 1 、 + p o w ( 2 , 1 )= 2
5ノ 3は 1 よりも 2に近いため、 近似の結果 V 1 = 2となる。
また、 別の近似の方法として、 表示順情報 Τ 1 および Τ 2の 2つの値 の関係によって切り上げによる近似、 切り下げによる近似を切り替える ことも可能である。
その場合、 Τ 1 が Τ 2よりも時間的に後方にある場合は、 V 1 および V 2の両者に対して切り上げによる近似を行い、 Τ 1 が Τ 2よりも時間 的に前方にある場合は、 V 1 および V 2の両者に対して切り下げによる 近似を行う。 逆に、 Τ 1 が Τ 2よりも時間的に後方にある場合は、 V I および V 2の両者に対して切り下げによる近似を行い、 Τ 1が Τ 2より も時間的に前方にある場合は、 V I および V 2の両者に対して切り上げ による近似を行うことも可能である。
また、 別の表示順情報を用いた近似の方法と して、 丁 1 が丁 2ょリも 時間的に後方にある場合は、 V 1 に関する式においては切リ上げによる 近似を行い、 V 2に関する式においては切り下げによる近似を行う。 こ れによリ 2つの係数の値が互いに離れるため、 外揷補間に適した値が得 られやすくなる。 逆に、 Τ 1 が Τ 2よりも時間的に前方にある場合は、 V I に関する式と V 2に関する式とでその両者の値を比較したときに、 値の小さい方は切リ上げによる近似を行い、 値の大きい方は切リ下げに よる近似を行う。 これにより 2つの係数の値が互いに近づくため、 内挿 補間に適した値が得られやすくなる。
例として図 3 9において、 復号化対象ピクチャが 1 6番、 第 1 参照ィ ンデックスによって指定されたピクチャが 1 1 番、 第 2参照インデック スによって指定されたピクチャが 1 0香とすると、 それぞれのピクチャ の表示順情報は 1 5、 1 3、 1 0となり、 T 1 は T 2よりも時間的に後 方にあるため、 V 1 に関する式においては切り上げによる近似を行い、 V 2に関する式においては切り下げによる近似を行う。 その結果、 式 1 1 bおよび式 1 2 bは下記のように計算される。
(1)式 1 1 bについて
(T 2 - T 0 )/(T 2 - Τ 1 )=(1 0— 1 5 )/( 1 0— 1 3 )= 5 / 3 + p o w (2 , 0)= 1 、 + p o w ( 2 , 1 )= 2
切り上げによる近似を行った結果 V 1 = 2となる。
(2)式 1 2 bについて
(T 0 - T 1 )/(T 2 - Τ 1 )=(1 5 - 1 3 )/( 1 0— 1 3)=— 2/ 3 — p o w (2 , 0)=— 1 、 — p o w ( 2 , — 1 )=— 1 / 2
切り下げによる近似を行った結果 V 2 =— 1 となる。
なお、 上記実施の形態では線形予測の式は式 1 0の 1 つであつたが、 従来の技術で説明した式 2 aおよぴ式 2 bの 2つの式からなる固定式に よる線形予測方法と組み合わせて用いることも可能である。 その場合、 式 2 aの代わりに式 1 0を使用し、式 2 bはそのまま使用する。つまり、 第 1参照インデックスによって指定されるピクチャが第 2参照インデッ クスによって指定されるピクチャよりも表示順において後ろにある場合 は式 1 0を使用し、 それ以外の場合は式 2 bを使用する。
また逆に、 式 2 bの代わりに式 1 0を使用し、 式 2 aはそのまま使用 することも可能である。 つまり、 第 1参照インデックスによって指定さ れるピクチャが第 2参照インデックスによって指定されるピクチャより も表示順において後ろにある場合は式 2 aを使用し、 それ以外の場合は 式 1 0を使用する。 ただし、 このとき参照される 2枚のピクチャが同じ 表示順情報を持つ場合は V 1 および V 2の値と して 1 Z 2を用いて線形 予測を行う。
また、 実施の形態 8の考え方と同様にして、 係数 Cのみをスライスへ ッダ領域に記述して線形予測に使用することも可能である。 その場合、 式 1 0の代わりに式 1 3を用いる。 V 1 および V 2の求め方は上記実施 の形態と同様である。
係数を生成するための処理が必要になり、 さらに、 スライスヘッダ領 域に係数データを符号化する必要があるが、 V 1 および V 2の精度が低 い場合でも C 1 および C 2を用いることによつてより高い精度の線形予 測を行うことが可能となる。 特に V 1 および V 2を 2のべき乗に近似し て線形予測を行う場合において有効である。
なお、 式 1 3を用いた場合の線形予測では、 1 つのピクチャに 1 つの 参照インデックスが割り当てられている場合でも、 また、 1 つのピクチ ャに複数の参照ィンデックスが割リ当てられている場合でも、 同様に扱 うことが可能である。
なお、 式 1 1 a、 式 1 2 a、 式 1 1 b、 式 1 2 b、 式 1 1 c、 式 1 2 c、 式 1 1 d、 式 1 2 dの各式の値の計算では、 取り得る値の組み合わ せがスライスごとにある程度限られているため、 スライスを符号化する 再に 1度だけ演算を行っておけばよく、 式 1 0や式 1 3のように符号化 対象プロックのすベての画素に対して演算を行う必要はないため、 全体 の処理量への影響は小さいと考えられる。
なお、 本発明の実施の形態における表示順情報は、 表示の順番に限定 されるものではなく、 実際の表示時間や、 表示時間に伴って値が大きく なる所定のピクチャを基準と した各ピクチャの参照順序であっても良し、。
(実施の形態 1 0 )
本発明の実施の形態 1 0における動画像復号化方法について説明する。 なお、 復号化装置の構成および復号化の処理の流れおよび参照インデッ クスの割り当て方法は実施の形態 6と全く同様であるため、 ここでは説 明を省略する。
従来の方法では固定式を用いて予測画像の生成を行う場合と、 線形予 測係数の重み付け係数セッ 卜を用いて予測画像の生成を行う場合とを符 号列のピクチャ共通情報部分に記述されるフラグを用いることによって 必要に応じて切り替えることを可能としていた。
本実施の形態では、 さらに実施の形態 6から実施の形態 9で説明した 各種の線形予測方法をフラグを用いて切り替える方法について説明する。 図 1 7 ( a ) は、 上記切り替えを制御するための 5つのフラグ （ p— f I a g、 c― f I a g、 d― f I a g、 t― f I a g、 s― f I a g ) を符号列中のスライスヘッダ領域に記述する場合の構成である。
図 1 7 ( b ) に示したように、 p— f l a gは重み付け係数が符号化 されているかどうかを示すためのフラグである。 また、 c— f I a gは r e f 1 用および r e f 2用のパラメ一タのうち、 パラメータ C ( C 1 および C 2 ) に関するデータのみが符号化されているかどうかを示すフ ラグである。 また、 t— f I a gは線形予測を行うための重み付け係数 を参照ピクチャの表示順情報を用いて生成するかどうかを示すフラグで ある。 また、 s— f I a gは線形予測を行うための重み付け係数をシフ 卜演算で計算ができるように 2のべき乗に近似するかどうかを示すフラ グである。
また、 d f I a gは式 2 aおよび式 2 bで示されたような、 予め設 定されている 2つの固定式を用いて線形予測を行う際に、 r e f 1 によ つて指定されるピクチャと r e f 2によって指定されるピクチャの時間 的な位置関係によって 2つの式を切り替えるかどうかを示すフラグであ る。 つまり、 このフラグによって切り替えるように指定された場合は、 従来の方法と同様に、 r e f 1 によって指定されるピクチャが r e f 2 によって指定されるピクチャよりも表示順において後にある場合は式 2 aを使用し、それ以外の場合は式 2 bを使用して線形予測を行う。一方、 このフラグによって切り替えを行わないように指定された場合は、 r e f 1 によって指定されるピクチャが r e f 2によって指定されるピクチ ャの位置関係に関係なく、 常に式 2 bを使用して線形予測を行う。
なお、 切り替えずに使用する式を式 2 bの代わりに式 2 a を用いた場 合も同様に扱うことが可能である。
図 2に示す復号化装置では符号列解析部 2 0 1 においてフラグ p— f I a gの値を解析し、 その結果に基づいて、 重み付け係数セッ 卜に関す るデータを復号化し予測画像の生成を行うのかどうかの指示を動き補償 復号化部 2 0 4に出力し、 線形予測による動き補償を行う。 これによつ て、 処理能力の高い装置では重み付け係数セッ トを使用して線形予測を 行い、 処理能力の低い装置では重み付け係数セッ トを使用せずに線形予 測を行うといった使い分けが可能となる。
同様に、 図 2に示す復号化装置では符号列解析部 2 0 1 においてフラ グ c— f I a gの値を解析し、 その結果に基づいて、 画像データの D C 成分に相当するパラメータ C ( 0 1 ぉょび〇 2 ) に関するデータのみ復 号化し固定式による予測画像の生成を行うのかどうかの指示を動き補償 復号化部 2 0 4に出力し、 線形予測による動き補償を行う。 これによつ て、 処理能力の高い装置では全ての重み付け係数セッ トを使用して線形 予測を行い、 処理能力の低い装置では直流成分のみを使用して線形予測 を行うといった使い分けが可能となる。
同様に、 図 2に示す復号化装置では符号列解析部 2 0 1 においてフラ グ d— f I a gの値を解析し、 その結果に基づいて、 固定式を使用して 線形予測を行う場合に、 2つの式を切リ替えて符号化するかどうかの指 示を動き補償復号化部 2 0 4に出力し、線形予測による動き補償を行う。 これによつて、 画面の明度が時間的にほとんど変わらないような場合は 片方の固定式のみを用いて線形予測を行い、 画面の明度が時間的に変化 するような場合は 2つの固定式を切り替えて使用して線形予測を行うと いった使い分けが可能となる。
同様に、 図 2に示す復号化装置では符号列解析部 2 0 1 においてフラ グ t — f I a gの値を解析し、 その結果に基づいて、 線形予測を行うた めの係数を参照ピクチャの表示順情報を用いて生成するかどうかの指示 を動き補償復号化部 2 0 4に出力し、 線形予測による動き補償を行う。 これによつて、 符号量に余裕がある場合は重み付け係数セッ トを符号化 して線形予測を行い、 符号量に余裕がない場合は表示順情報から係数を 生成して線形予測を行うといった使い分けが可能となる。
同様に、 図 2に示す復号化装置では符号列解析部 2 0 1 においてフラ グ s— f I a gの値を解析し、 その結果に基づいて、 線形予測を行うた めの係数をシフ ト演算で計算できるように 2のべき乗に近似するかどう かの指示を動き補償復号化部 2 0 4に出力し、 線形予測による動き補償 を行う。 これによつて、 処理能力の高い装置では重み付け係数を近似し ないで使用して線形予測を行い、 処理能力の低い装置では重み付け係数 を 2のべき乗に近似して使用しシフ 卜演算で実現できる線形予測を行う といった使い分けが可能となる。
例えば、 （1) ( p、 c、 d 、 t 、 s _ f l a g ) = ( 1 、 0、 0、 0、 1 ) である場合は、 全ての重み付け係数セッ トが復号化され、 実施の形 態 7で説明したように、 係数を 2のべき乗で表すことによリシフ ト演算 のみで線形予測を行い予測画像を生成することが指示される。
また、 （2) ( p、 c、 d 、 t 、 s _ f I a g ) = ( 1 、 1 、 1 、 0、 0 ) である場合は、 パラメータ C ( C 1 および C 2 ) に関するデータのみが 復号化され、 実施の形態 8で説明した固定式に係数 Cを加えることによ つて予測画像を生成する方法を用い、 さらに 2つの固定式を切り替えて 使用することが指示される。
また、 （3) ( p、 c、 d 、 t 、 s一 f I a g ) = ( 0、 0、 0、 0、 0 ) である場合は、 重み付け係数セッ トは何も復号化されない。 つまり、 従 来の方法である固定式のうち式 2 bのみを用いた予測画像の生成方法を 用いることが指示される。
また、 （4) ( p、 c、 d 、 t 、 s _ f I a g ) = ( 0、 0、 1 、 1 、 1 ) である場合は、 重み付け係数セッ トは何も復号化されないが、 実施の形 態 9で説明したように、 重み付け係数を参照ピクチャの表示順情報から 生成し、 さらに係数を 2のべき乗で近似すことによりシフ ト演算のみで 線形予測を行い、 さらに 2つの固定式を切り替えて使用して予測画像を 生成することが指示される。
なお、 上記実施の形態では各々 1 ビッ トからなる 5つのフラグ （ p— r I a g、 c一 f I a g、 d― f I a g、 t― f I a g、 s― f I a g ) を用いて判別を行っているが、 5つのフラグの代わリに 5 ビッ トからな る 1 つのフラグのみで表現することも可能である。 また、 その場合、 5 ビッ トで表現するのではなく可変長復号化を用いて復号化することも可 能である。
なお、 上記実施の形態では各々 1 ビッ トからなる 5つのフラグ （ p— f I a g、 c― f I a g、 d一 f I a g、 t一 f I a g、 s― f I a g ) を全て用いているが、 そのうちの 1部分のフラグのみを用いて線形予測 方法の切り替えを行う場合も同様に扱うことが可能である。 その場合、 図 1 7 ( a ) に示したフラグは必要なもののみが符号化されて記述され ていることになる。
従来の方法では、 固定式を用いた予測画像の生成と、 線形予測係数の 重み付け係数セッ トを用いた予測画像の生成とを切リ替えるためのフラ グを符号列のピクチャ共通情報部分に設けて、 ピクチャ単位で切リ替え ることを可能と していた。 しかし、 この方法であると、 ピクチャ毎にし か予測画像の生成方法を切り替えることができなかった。
しかし、 本実施の形態で説明したように、 この切り替えフラグを符号 列のスライスヘッダに設けるようにして、 ピクチャを構成するスライス ごとにいずれの方法で予測画像を生成するかを切リ替えることを可能と することにより、 例えば、 複雑な画像を持つスライスでは重み付け係数 セッ トを用いた予測画像の生成を行い、 単純な画像を持つスライスでは 固定式を用いた予測画像の生成を行うことにより、 処理量の増加を最小 限に抑えつつ画質の向上を図ることが可能となる。
なお、 上記実施の形態ではスライスヘッダ領域に 5つのフラグ （ p— f I a g、 c― f I a g N d― τ I a g、 t ― f I a g、 s― f I a g j を記述してスライスごとに判別を行っているが、 ピクチャ共通情報領域 にこれらのフラグを記述することにより、 ピクチャ単位で切り替えるよ うにすることも可能である。 また、 スライスを構成するブロックごとに 切り替えフラグを設けることによリ、 さらにブロック単位で最適な方法 で予測画像の生成を行うことも可能である。
なお、 本発明の実施の形態における表示順情報は、 表示の順番に限定 されるものではなく、 実際の表示時間や、 表示時間に伴って値が大きく なる所定のピクチャを基準とした各ピクチャの参照順序であっても良し、。 (実施の形態 1 1 ) 本発明の実施の形態 1 1 における動画像の符号化方法およぴ復号化方 法について説明する。 なお、 符号化装置および復号化装置の構成および 符号化およぴ復号化の処理の流れおよび参照インデックスの割り当て方 法は実施の形態 1 および実施の形態 6と全く同様であるため、 ここでは 説明を省略する。
本実施の形態は実施の形態 5および実施の形態 1 0において説明した 内容と同様の技術に関する説明である。
ノ ラメ一タセッ 卜が符号化されているかどうかを示すフラグ p— f I a gと、 r e f 1 用および r e f 2用のパラメータのうち、 パラメータ C (〇 1 ぉょび〇 2 ) に関するデータのみが符号化されているかどうか を示すフラグ c— f I a g と、 をスライス毎に示す。
図 1 に示す符号化装置では動き補償符号化部 1 0 7において、 各スラ イスごともしくはブロックごとに、 ノ ラメータセッ 卜に関するデータを 符号化するか否かを決定し、 それに基づいてフラグ p— f I a gの情報 を符号列生成部 1 0 3に出力し、 図 4 0 ( a ) に示すように符号列中に 記述する。
同様に、図 1 に示す符号化装置では動き補償符号化部 1 0 7において、 各スライスごともしくはブロックごとに、 画像データの D C成分に相当 するパラメータ C ( C 1 , C 2 ) に関するデータのみ符号化するか否か を決定し、 それに基づいてフラグ c— f I a gの情報を符号列生成部 1 0 3に出力し、 図 4 0 ( a ) に示すように符号列中に記述する。
一方、 図 2に示す復号化装置では符号列解析部 2 0 1 において前記切 リ替えフラグ p— f I a gとフラグ c _ f I gとの値を解析し、 その結 果に基づいて、 例えばダウンロードしたパラメータセッ トを用いて予測 画像を生成するのか、 あるいは固定式を用いて予測画像を生成するのか の指示を動き補償復号化部 2 0 4に出力し、 線形予測による動き補償を 行う。
例えば、 図 4 0 ( b ) に示すように、 （1)フラグ p— f I a gが 1 であ リ、 フラグ c _ f I a gが 0である場合には、 符号化装置において全て のパラメータセッ 卜が符号化される。 また、 （2)フラグ p— f I a gが 1 であり、 フラグ c— f I a gが 1 である場合には、 符号化装置において パラメータ C ( C 1 および C 2 ) に関するデータのみが符号化される。 さらに、 （3)フラグ p— f I a gが 0であり、 フラグ c— f I a gが 0で ある場合には、 符号化装置においてパラメータセッ トは何も符号化され ない。 なお、 図 4 0 ( b ) に示すようにフラグの値を決定すると、 フラ グ p— f I a gによって画像データの D C成分が符号化されているかが 判別できる。
符号化装置において、 前記（1)の場合は、 例えば図 8から図 1 0で説明 したようにパラメータは処理される。 前記（2)の場合は、 例えば図 1 6で 説明したようにパラメータは処理される。 前記（3)の場合は、 例えば固定 式を用いてパラメータは処理される。
復号化装置において、 前記（1)の場合は、 例えば図 1 8から図 2 0で説 明したようにパラメータは処理される。 前記（2)の場合は、 例えば図 2 2 で説明したようにパラメータは処理される。 前記（3)の場合は、 例えば固 定式を用いてパラメータは処理される。
さらに、 組み合わせた場合の別の例について、 以下に、 具体的に説明 する。
上記の例では、 フラグ P— f I a g、 フラグ c— f I a gを用いて明 示的にパラメータを符号化する （受信させるか） を切り替えたが、 前記 フラグを用いず、 可変長符号化テーブル （Vし Cテーブル） を用いるこ とも可能である。
図 4 1 に示すように、 固定式 2 aと固定式 2 bを切り替えるかどうか の選択も、 さらに明示的に行うことができる。
ここで、 固定式 2の切り替えを行わないとは、 以下を意味する。 例え ば、 上記で従来の技術では、 第 1 参照インデックスによって指定される ピクチャが第 2参照インデックスによって指定されるピクチャよりも表 示順において後にある場合は、 固定の係数からなる固定式である式 2 a を選択し、 それ以外は固定の係数からなる固定式である式 2 bを選択し て、 予測画像を生成する、 ことを説明した。 一方、 図 4 1 に示す例で、 切り替えを行わないと指示された場合は、 第 1参照インデックスによつ て指定されるピクチャが第 2参照インデックスによって指定されるピク チヤよりも符号化順において後にある場合であっても、 固定の係数から なる固定式である式 2 bを選択して、 予測画像を生成するようにするこ とを意味する。
固定式 2 a と固定式 2 bを切り替えるかどうかの選択も明示的に行う ためのフラグ v _ f I a gの情報は符号列生成部 1 0 3から出力され図 4 1 ( a ) に示すように符号列中に記述される。
図 4 1 ( b )にフラグ V — f I a gによる処理の例を示す。図 4 1 ( b ) に示すようにフラグ V — f I a gが 1 のとき、 パラメータの符号化は行 わず （符号化装置でパラメ一タはダウンロードされない。 以下同様）、 固 定式 2の切り替えは行わない。また、フラグ V — f I a gが 0 1 のとき、 パラメータの符号化は行わず、 固定式 2の切り替えは行う。 また、 フラ グ V — f I a gが 0 0 0 0のとき、 パラメータの符号化はパラメータ C のみ行い、 固定式 2の切り替えは行わない。
また、 フラグ V — f I a gが 0 0 0 1 のとき、 パラメータの符号化はパ ラメ一タ Cのみ行い、 固定式 2の切り替えを行う。 また、 フラグ V — f I a gが 0 0 1 0のとき、 パラメータの符号化はパラメータ全てについ て行い、 固定式 1 2の切り替えは行わない。 また、 フラグ V— f I a g が o o 1 1 のとき、パラメータの符号化はパラメータ全てについて行い、 固定式 1 2の切り替えを行う。
なお、 v __ f I a gが 0 0 1 0および 0 0 1 1 のときはパラメ一タ全 てが符号化されているので、 固定式を使用せずに、 重み付けパラメータ を用いた線形予測を行うことが可能であり、 その場合は固定式を切リ替 えて使用するかどうかの判別は無視される。
なお、 フラグ V — f I a gの切り替えは、 図 1 に示す符号化装置では 動き補償符号化部 1 0 7において行い、 図 2に示す復号化装置では動き 補償復号化部 2 0 4において行うことができる。 また、 フラグ V — f I a gでなく、 上記のフラグ p— f I a g とフラグ c— f I a gに加え、 固定式を切り替えるかどうかを示すフラグ d— f I a gを用いるように してもよい。
以上で示したように、 フラグを用いることで、 パラメータを符号化装 置において符号化して、符号化されたパラメータを復号化装置で受信（ダ ゥンロード） するかどうかを切り替えることができるようになる。 これ によリ、アプリケーションの特性や、復号化装置側の処理能力によって、 符号化する （受信させる） パラメータを明示的に切り替えることができ る。
また、 固定式の切り替えを明示的に変更可能にすることで、 画質の向 上を図る手段が増え、 ひいては符号化効率の向上も図ることが可能にな る。 また、 復号化装置で有していない固定式がある場合でも、 明示的に 固定式を変更することによって、 明示的に選択した固定式による予測画 像の生成が可能になる。
なお、 図 4 0中のフラグの配置は図示するものに限られない。 また、 フラグの値は上記で説明したものに限られない。 また、 2種類のフラグ を用いると、 4通りのパラメータの用い方を明示することが可能になる ので、 上記で説明した以外のパラメータの用い方を割り当てるようにし てもよい。 また、 上記の例で全てのパラメータを送ると説明したが、 例 えば図 1 0および図 2 0で説明したように必要なパラメ一タセッ トを全 て送るようにしてもよい。
(実施の形態 1 2 )
さらに、 上記各実施の形態で示した画像符号化方法または画像復号化 方法の構成を実現するためのプログラムを、 フレキシブルディスク等の 記憶媒体に記録するようにすることにより、 上記各実施の形態で示した 処理を、 独立したコンピュ一タシステムにおいて簡単に実施することが 可能となる。
図 2 5は、 上記実施の形態 1 から実施の形態 1 1 の画像符号化方法ま たは画像復号化方法を格納したフレキシブルディスクを用いて、 コンビ ュ一タシステムにより実施する場合の説明図である。
図 2 5 ( b ) は、 フレキシブルディスクの正面からみた外観、 断面構 造、 及びフレキシブルディスクを示し、 図 2 5 ( a ) は、 記録媒体本体 であるフレキシブルディスクの物理フォーマツ 卜の例を示している。 フ レキシブルディスク F Dはケース F内に内蔵され、 該ディスクの表面に は、 同心円状に外周からは内周に向かって複数の トラック T rが形成さ れ、 各 トラックは角度方向に 1 6のセクタ S eに分割されている。 従つ て、 上記プログラムを格納したフレキシブルディスクでは、 上記フレキ シブルディスク F D上に割り当てられた領域に、 上記プログラムとして の画像符号化方法が記録されている。
また、 図 2 5 ( c ) は、 フレキシブルディスク F Dに上記プログラム の記録再生を行うための構成を示す。 上記プログラムをフレキシブルデ イスク F Dに記録する場合は、 コンピュータシステム C sから上記プロ グラムと しての画像符号化方法または画像復号化方法をフレキシブルデ イスク ドライブを介して書き込む。 また、 フレキシブルディスク内のプ ログラムにより上記画像符号化方法をコンピュータシステム中に構築す る場合は、 フレキシブルディスク ドライブによりプログラムをフレキシ ブルディスクから読み出し、 コンピュータシステムに転送する。
なお、 上記説明では、 記録媒体としてフレキシブルディスクを用いて 説明を行ったが、光ディスクを用いても同様に行うことができる。また、 記録媒体はこれに限らず、 1 Cカード、 R O Mカセッ ト等、 プログラム を記録できるものであれば同様に実施することができる。
(実施の形態 1 3 )
図 2 6から図 2 9は、 上記実施の形態で示した符号化処理または復号 化処理を行う機器、 およびこの機器を用いたシステムを説明する図であ る。
図 2 6は、 コンテンッ配信サービスを実現するコンテンッ供給システ ム exl 0 0の全体構成を示すブロック図である。通信サービスの提供ェ リアを所望の大きさに分割し、 各セル内にそれぞれ固定無線局である基 地局 ex 1 0 7〜ex 1 1 0が設置されている。
このコンテンツ供給システム ex 1 0 0は、 例えば、 インターネッ ト ex 1 0 1 にインターネッ トサービスプロバイダ ex 1 0 2および電話網 exl 0 4、 および基地局 e x 1 0 7〜 e x 1 1 0を介して、 コンビユー タ ex 1 1 1 、 P D A ( ersonal digital assistant) ex 1 1 2、 カメフ exl 1 3、 携帯電話 exl 1 4、 カメラ付きの携帯電話 e x 1 1 5などの 各機器が接続される。
しかし、 コンテンツ供給システム exl 0 0は図 2 6のような組合せに 限定されず、いずれかを組み合わせて接続するようにしてもよい。また、 固定無線局である基地局 ex 1 0 7〜ex1 1 0を介さずに、各機器が電話 網 exl 0 4に直接接続されてもよい。 カメラ ex 1 1 3はデジタルビデオカメラ等の動画撮影が可能な機器 である。 また、携帯電話は、 P D C ( Personal Digital Communications) 方式、 C D M A (Code Division Multiple Access) 方式、 W— C D M A (Wideband-Code Division Multiple Access) 方式、 若しく は G S M (Global System for Mobile Communications) 方式の携帯電話機、 ま たは P H S (Personal Handyphone System) 等であり、 いずれでも構 わない。
また、 ス トリーミングサーバ ex 1 0 3は、 カメラ ex 1 1 3から基地 局 ex 1 0 9、 電話網 ex 1 0 4を通じて接続されており、 カメラ ex 1 1 3を用いてユーザが送信する符号化処理されたデータに基づいたライブ 配信等が可能になる。撮影したデータの符号化処理は力メラ exl 1 3で 行っても、 データの送信処理をするサーバ等で行ってもよい。
また、カメラ 1 1 6で撮影した動画データはコンピュータ ex 1 1 1 を 介してス トリ一ミングサーバ ex1 0 3に送信されてもよい。 カメラ ex 1 1 6はデジタルカメラ等の静止画、 動画が撮影可能な機器である。 こ の場合、動画データの符号化はカメラ exl 1 6で行ってもコンピュータ ex1 1 1 で行ってもどちらでもよい。 また、 符号化処理はコンピュータ ex 1 1 1 やカメラ exl 1 6が有する L S I ex 1 1 7において処理する ι_とに る。
なお、 画像符号化 .復号化用のソフ トウェアをコンピュータ exl 1 1 等で読み取り可能な記録媒体である何らかの蓄積メディア （ C D— R O M、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。 さらに、カメラ付きの携帯電話 exl 1 5で動画データを送信してもよし、。 このときの動画データは携帯電話 exl 1 5が有する L S I で符号化処 理されたデータである。
このコンテンツ供給システム ex 1 0 0では、 ユーザがカメラ exl 1 3、 カメラ ex 1 1 6等で撮影しているコンテンツ （例えば、 音楽ライブ を撮影した映像等） を上記実施の形態同様に符号化処理してス トリ一ミ ングサーバ ex 1 0 3に送信する一方で、 ス トリ一ミングサーバ ex 1 0 3は要求のあったクライアン 卜に対して上記コンテンツデータをス トリ —ム配信する。 クライアン トと しては、 上記符号化処理されたデータを 復号化することが可能な、 コンピュータ ex l 1 1 、 P D A ex 1 1 2、 力 メラ ex l 1 3、 携帯電話 ex 1 1 4等がある。 このようにすることでコ ンテンッ供給システム ex 1 0 0は、符号化されたデータをクライアント において受信して再生することができ、 さらにクライアン トにおいてリ アルタイムで受信して復号化し、 再生することにより、 個人放送をも実 現可能になるシステムである。
このシステムを構成する各機器の符号化、 復号化には上記各実施の形 態で示した動画像符号化装置あるいは動画像復号化装置を用いるように すればよい。
その一例と して携帯電話について説明する。
図 2 7は、 上記実施の形態で説明した動画像符号化方法と動画像復号 化方法を用いた携帯電話 ex l 1 5を示す図である。 携帯電話 ex l 1 5 は、 基地局 ex l 1 0との間で電波を送受信するためのアンテナ ex 2 0 1 、 C C Dカメラ等の映像、 静止画を撮ることが可能なカメラ部 ex 2 0 3、 カメラ部 ex 2 0 3で撮影した映像、 アンテナ ex 2 0 1 で受信した 映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部 ex 2 0 2、 操作キー e x 2 0 4群から構成される本体部、 音声出力をす るためのスピーカ等の音声出力部 ex 2 0 8、音声入力をするためのマイ ク等の音声入力部 ex 2 0 5、 撮影した動画もしくは静止画のデータ、 受 信したメールのデータ、 動画のデータもしくは静止画のデータ等、 符号 化されたデータまたは復号化されたデータを保存するための記録メディ ァ ex 2 0 7、 携帯電話 ex 1 1 5に記録メディア eX2 0 7を装着可能と するためのスロッ ト部 ex 2 0 6を有している。 記録メディア ex 2 0 7 は S Dカード等のプラスチックケース内に電気的に書換えや消去が可能 な不揮発性メ モ リ である E E P R O M ( Electrically Erasable and Programmable Read Only Memory) の一禾里であるフラ ッシュメモリ素 子を格納したものである。
さらに、 携帯電話 exl 1 5について図 2 8を用いて説明する。 携帯電 話 ex 1 1 5は表示部 ex2 0 2及び操作キー e X 2 0 4を備えた本体部 の各部を統括的に制御するようになされた主制御部 ex 3 1 1 に対して、 電源回路部 ex 3 1 0、 操作入力制御部 ex 3 0 4、 画像符号化部 ex 3 1 2 、 カ メ ライ ンタ 一フ ェース部 ex 3 0 3 、 L C D ( Liquid Crystal Display) 制御部 ex 3 0 2、 画像復号化部 ex 3 0 9、 多重分離部 ex 3 0 8、 記録再生部 ex3 0 7、 変復調回路部 ex3 0 6及び音声処理部 ex3 0 5が同期バス ex 3 1 3を介して互いに接続されている。
電源回路部 ex3 1 0は、ユーザの操作によリ終話及び電源キーがオン 状態にされると、 バッテリパックから各部に対して電力を供給すること によリカメラ付ディジタル携帯電話 exl 1 5を動作可能な状態に起動 する。
携帯電話 ex l 1 5は、 C P U、 R O M及び R A M等でなる主制御部 ex 3 1 1 の制御に基づいて、音声通話モード時に音声入力部 ex2 0 5で 集音した音声信号を音声処理部 ex3 0 5によってディジタル音声デー タに変換し、 これを変復調回路部 ex3 0 6でスペク トラム拡散処理し、 送受信回路部 ex 3 0 1 でディジタルアナログ変換処理及び周波数変換 処理を施した後にアンテナ ex2 0 1 を介して送信する。また携帯電話機 ex1 1 5は、音声通話モード時にアンテナ ex2 0 1 で受信した受信信号 を増幅して周波数変換処理及びアナログディジタル変換処理を施し、 変 復調回路部 ex 3 0 6でスペク トラム逆拡散処理し、 音声処理部 ex 3 0 5によってアナログ音声信号に変換した後、 これを音声出力部 e x 2 0 8を介して出力する。
さらに、 データ通信モード時に電子メールを送信する場合、 本体部の 操作キ一 e X 2 0 4の操作によって入力された電子メールのテキス トデ —タは操作入力制御部 ex 3 0 4を介して主制御部 ex 3 1 1 に送出され る。 主制御部 ex 3 1 1 は、 テキス トデータを変復調回路部 ex 3 0 6で スぺク 卜ラム拡散処理し、送受信回路部 ex 3 0 1 でディジタルアナログ 変換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して 基地局 ex 1 1 0へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部 ex 2 0 3 で撮像された画像データをカメラインタ一フ I—ス部 ex 3 0 3を介し て画像符号化部 ex 3 1 2に供給する。 また、 画像データを送信しない場 合には、カメラ部 ex2 0 3で撮像した画像データをカメラインターフエ ース部 ex 3 0 3及び L C D制御部 ex 3 0 2を介して表示部 ex 2 0 2に 直接表示することも可能である。
画像符号化部 ex 3 1 2は、本願発明で説明した画像符号化装置を備え た構成であり、カメラ部 eX2 0 3から供給された画像データを上記実施 の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化 することにより符号化画像データに変換し、 これを多重分離部 ex 3 0 8 に送出する。 また、 このとき同時に携帯電話機 ex1 1 5は、 カメラ部 ex 2 0 3で撮像中に音声入力部 ex 2 0 5で集音した音声を音声処理部 ex 3 0 5を介してディジタルの音声データと して多重分離部 ex 3 0 8 に： ^出 。
多重分離部 ex3 0 8は、 画像符号化部 ex 3 1 2から供給された符号 化画像データと音声処理部 ex3 0 5から供給された音声データとを所 定の方式で多重化し、その結果得られる多重化データを変復調回路部 ex 3 0 6でスぺク トラム拡散処理し、送受信回路部 ex 3 0 1 でディジタル アナログ変換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイル のデータを受信する場合、 アンテナ ex 2 0 1 を介して基地局 ex l 1 0 から受信した受信信号を変復調回路部 ex 3 0 6でスぺク トラム逆拡散 処理し、その結果得られる多重化データを多重分離部 ex 3 0 8に送出す る。
また、アンテナ ex 2 0 1 を介して受信された多重化データを復号化す るには、 多重分離部 ex 3 0 8は、 多重化データを分離することによリ画 像データの符号化ビッ トス 卜リームと音声データの符号化ビッ トス トリ —ムとに分け、同期バス ex 3 1 3を介して当該符号化画像データを画像 復号化部 ex 3 0 9に供給すると共に当該音声データを音声処理部 ex 3 0 5に供給する。
次に、 画像復号化部 ex 3 0 9は、 本願発明で説明した画像復号化装置 を備えた構成であり、 画像データの符号化ビッ トス トリームを上記実施 の形態で示した符号化方法に対応した復号化方法で復号することにより 再生動画像データを生成し、 これを L C D制御部 ex 3 0 2を介して表示 部 ex 2 0 2に供給し、 これによリ、 例えばホームページにリンクされた 動画像ファイルに含まれる動画データが表示される。 このとき同時に音 声処理部 ex 3 0 5は、 音声データをアナログ音声信号に変換した後、 こ れを音声出力部 ex 2 0 8に供給し、 これにより、 例えばホームページに リンクされた動画像ファイルに含まる音声データが再生される。
なお、 上記システムの例に限られず、 最近は衛星、 地上波によるディ ジタル放送が話題となつておリ、 図 2 9に示すようにディジタル放送用 システムにも上記実施の形態の少なく とも画像符号化装置または画像復 号化装置のいずれかを組み込むことができる。 具体的には、 放送局 ex 4 0 9では映像情報の符号化ビッ トス トリ一厶が電波を介して通信また は放送衛星 ex 4 1 0に伝送される。これを受けた放送衛星 ex4 1 0は、 放送用の電波を発信し、 この電波を衛星放送受信設備をもつ家庭のアン テナ ex 4 0 6で受信し、 テレビ （受信機） ex 4 0 1 またはセッ ト トップ ボックス （S T B ) ex4 0 7などの装置によリ符号化ビッ トス トリーム を復号化してこれを再生する。
また、 記録媒体である CDや DVD等の蓄積メディア ex 4 0 2に記録 した符号化ビッ 卜ス トリームを読み取リ、復号化する再生装置 ex4 0 3 にも上記実施の形態で示した画像復号化装置を実装することが可能であ る。 この場合、 再生された映像信号はモニタ ex 4 0 4に表示される。 ま た、ケーブルテレビ用のケーブル ex4 0 5または衛星 地上波放送のァ ンテナ ex4 0 6に接続されたセッ ト トツプポックス ex4 0 7内に画像 復号化装置を実装し、 これをテレビのモニタ ex 4 0 8で再生する構成も 考えられる。 このときセッ ト トップボックスではなく、 テレビ内に画像 復号化装置を組み込んでも良い。 また、 アンテナ ex 4 1 1 を有する車 ex 4 1 2で衛星 ex 4 ί 0からまたは基地局 ex 1 0 7等から信号を受信 し、 車 ex4 1 2が有する力一ナビゲ一シヨン ex4 1 3等の表示装置に 動画を再生することも可能である。
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、 記録媒体に記録することもできる。 具体例としては、 D VDディスク e X 4 2 1 に画像信号を記録する DVD レコーダや、 ハードディスクに記録 するディスク レコーダなどのレコーダ e x4 2 0がある。更に SDカード e x 4 2 2に記録することもできる。 レコーダ e x 4 2 0が上記実施の 形態で示した画像復号化装置を備えていれば、 DVDディスク e x 4 2 1 や SD カード e x 4 2 2に記録した画像信号を再生し、 モニタ e x 4 0 8で表示することができる。
なお、 力一ナピゲーシヨン ex 4 1 3の構成は例えば図 2 8に示す構成 のうち、 カメラ部 ex 2 0 3とカメラインターフェース部 ex 3 0 3、 画 像符号化部 e X 3 1 2を除いた構成が考えられ、 同様なことがコンピュ —タ ex l 1 1 やテレビ （受信機） ex 4 0 1 等でも考えられる。
また、 上記携帯電話 ex 1 1 4等の端末は、 符号化器■復号化器を両方 持つ送受信型の端末の他に、 符号化器のみの送信端末、 復号化器のみの 受信端末の 3通りの実装形式が考えられる。
このように、 上記実施の形態で示した動画像符号化方法あるいは動画 像復号化方法を上述したいずれの機器 ' システムに用いることは可能で あり、 そうすることで、 上記実施の形態で説明した効果を得ることがで さる。 産業上の利用可能性
本発明は、 予測画像の生成に用いられる係数および参照ピクチャを指 定する参照インデックスとピクチャ番号とを対応付けるコマンドを生成 し、 符号化対象ピクチャ内のブロックに対して動き補償を行うときに参 照すべき参照ピクチャを前記参照ィンデックスによリ指定し、 指定され た参照ピクチャ上の動き検出により得られたブロックに対して、 前記参 照ィンデックスに対応した前記係数を用いた線形予測を施すことによリ 予測画像を生成する画面間符号化を行う画像符号化装置に適している。 また、 画像符号化装置により符号化信号を復号化する画像復号化装置に 適している。

Claims

1 . ピクチャ番号で識別される符号化済ピクチャを参照ピクチャと して 記憶部に格納する参照ピクチャ格納ステップと、
予測画像の生成に用いられる係数および前記参照ピクチャを指定する 参照インデックスと前記ピα=クチャ番号とを対応付けるコマンドを生成す s
るコマン ド生成ステップと、
符号化対象ピクチャ上のブロックに対して動き補償を行うときの参照 の
ピクチャを前記参照インデックスにより指定する参照ピクチャ指定ステ 範
ップと、
囲
前記参照ピクチャ指定ステップで指定された参照ピクチャ内の動き検 出により得られたブロックに対して、 前記参照インデックスに対応した 前記係数を用いた線形予測を施すことによリ予測画像を生成する予測画 像生成ステップと、
入力された符号化対象ピクチャ内のプロックと前記予測画像との差で ある予測残差と、 前記コマンドと、 前記参照インデックスと、 前記係数 とを符号化した符号化信号を含む画像符号化信号を出力する符号化信号 出力ステップと
を有し、
前記符号化信号出力ステップは、 前記画像符号化信号中に前記参照ィ ンデックスの最大値を示す情報を符号化する
ことを特徴とする画像符号化方法。
2 . 前記参照インデックスの最大値を示す情報は、 前記画像符号化信号 に含まれるピクチャ共通情報領域に置かれている
ことを特徴とする請求の範囲第 1 項に記載の画像符号化方法。
3 . 前記コマン ド生成ステップにおいて、 記憶部に格納されている複数 の参照ピクチャの中に、 複数の参照ィンデックスが対応付けられたピク チヤ番号を有する参照ピクチャが少なく とも 1 つ以上含まれるようにコ マン ドを生成する
ことを特徴とする請求の範囲第 1 項に記載の画像符号化方法。
4 . 前記参照ピクチャ指定ステップにおいて、 前記參照ピクチャのピク チヤ番号に対して複数の参照インデックスが対応付けられている場合、 当該複数の参照インデックスのそれぞれに対応する係数に基づいて、 そ の中の 1 つの参照インデックスを選択し、
前記予測画像生成ステツプにおいて、 指定ス亍ップで選択された参照 インデックスに対応する係数を用いて線形予測を施す
ことを特徴とする請求の範囲第 3項に記載の画像符号化方法。
5 . 前記予測画像生成ステップにおいて、 ビッ トシフ ト演算、 加算およ び減算のみを使用して前記線形予測を行う
ことを特徴とする請求の範囲第 1 項に記載の画像符号化方法。
6 . 前記予測画像生成ステップにおける前記線形予測で用いる係数とし て、 線形予測式における直流成分を示す値のみが、 前記参照インデック スに対応付けられる
ことを特徴とする請求の範囲第 1 項に記載の画像符号化方法。
7 . 前記参照インデックスは、 第 1 の参照ピクチャを示す第 1 の参照ィ ンデックスと、 第 2の参照ピクチャを示す第 2の参照インデックスとを 有し、
前記予測画像生成ステップにおける前記線形予測を行う方法と して、 各参照ピクチャの持つ表示順情報によって係数を生成する方法を使用す る場合に、 第 1 の参照インデックスによって指定される参照ピクチャお よび第 2の参照インデックスによって指定される参照ピクチャとが同じ 表示順情報をもつ時は、 予め設定された係数を代わリに用いて線形予測 を行つ
ことを特徴とする請求の範囲第 1 項に記載の画像符号化方法。
8 . 前記予め設定された係数は、 同じ重みを有する
ことを特徴とする請求の範囲第 7項に記載の画像符号化方法。
9 . 予測画像の生成に用いられる係数および参照ピクチャを指定する参 照ィンデックスとピクチャ番号とを対応付けるコマン ドと、 前記参照ィ ンデックスと、 予測残差の符号化信号とを有する画像符号化信号を復号 化し、 前記コマンド、 前記参照インデクックス、 前記予測誤差を得る画 像符号化情報獲得ステップと、
復号化された前記コマンドと、 復号化された前記参照ィンデックスと により、 復号化対象ピクチャ内のプロックに対して動き補償を行うとき の参照ピクチャを指定する参照ピクチャ指定ステップと、
前記参照ピクチャ指定ステップで指定された参照ピクチャ内の動き検 出により得られたブロックに対して、 前記参照インデックスに対応した 前記係数を用いた線形予測を施すことによリ予測画像を生成する予測画 像生成ステップと、
前記予測画像と復号化された予測残差とから復号画像を生成する復号 画像生成ステツプと ピクチャ番号で識別される復号化済ピクチャを参照ピクチャと して記 憶部に格納する参照ピクチャ格納ステップと、
を有し、 ， .
前記画像符号化情報獲得ステツプは、 前記画像符号化信号中の前記参 照インデックスの最大値を示す情報を復号化する
ことを特徴とする画像復号化方法。
1 0 . 前記参照インデックスの最大値を示す情報は、 前記画像符号化信 号に含まれるピクチャ共通情報領域に置かれている
ことを特徴とする請求の範囲第 9項に記載の画像復号化方法。
1 1 . 前記コマンドは、 記憶部に格納されている複数の参照ピクチャの 中に、 複数の参照インデックスが対応付けられたピクチャ番号を有する 参照ピクチャが少なく とも 1 つ以上含まれるように参照ィンデックスと ピクチャ番号とを対応付けるものである
ことを特徴とする請求の範囲第 9項に記載の画像復号化方法。
1 2 . 前記参照ピクチャ指定ステップにおいて、 復号化された参照イン デックスに対応する前記ピクチャ番号を前記コマン ドを用いて指定し、 予測画像生成ステップにおける線形予測で用いる係数を、 前記参照イン デックスに対応する係数に決定する
ことを特徴とする請求の範囲第 1 1項に記載の画像復号化方法。
1 3 . 前記予測画像生成ステップにおいて、 ビッ トシフ ト演算、 加算お よび減算のみを使用して前記線形予測を行う
ことを特徴とする請求の範囲第 9項に記載の画像復号化方法。
1 4 . 前記予測画像生成ステップにおける前記線形予測で用いる係数と して、 線形予測式における直流成分を示す値のみが、 前記参照インデッ クスに対応付けられる
ことを特徴とする請求の範囲第 9項に記載の画像符号化方法。
1 5 . 前記参照ィンデックスは、 第 1 の参照ピクチャを示す第 1 の参照 インデックスと、 第 2の参照ピクチャを示す第 2の参照インデックスと を有し、
前記予測画像生成ス亍ップにおける前記線形予測を行う方法と して、 各参照ピクチャの持つ表示順情報によって係数を生成する方法を使用す る場合に、 第 1 の参照インデックスによって指定される参照ピクチャお よび第 2の参照インデックスによって指定される参照ピクチやとが同じ 表示順情報をもつ時は、 予め設定された係数を代わリに用いて線形予測 を行う
ことを特徴とする請求の範囲第 9項に記載の画像符号化方法。
1 6 . 前記予め設定された係数は、 同じ重みを有する
ことを特徴とする請求の範囲第 1 5項に記載の画像復号化方法。
1 7 . ピクチャ番号で識別される符号化済ピクチャを参照ピクチャとし て記憶部に格納する参照ピクチャ格納手段と、
予測画像の生成に用いられる係数および前記参照ピクチャを指定する 参照インデックスと前記ピクチャ番号とを対応付けるコマンドを生成す るコマン ド生成手段と、
符号化対象ピクチャ上のブロックに対して動き補償を行うときの参照 ピクチャを前記参照インデックスにより指定する参照ピクチャ指定手段 前記参照ピクチャ指定手段で指定された参照ピクチャ内の動き検出に よリ得られたプロックに対して、 前記参照ィンデックスに対応した前記 係数を用いた線形予測を施すことにより予測画像を生成する予測画像生 成手段と、
入力された符号化対象ピクチャ中のプロックと前記予測画像との差で ある予測残差と、 前記コマン ドと、 前記参照ィンデックスと、 前記係数 とを符号化した符号化信号を含む画像符号化信号を出力する符号化信号 出力手段と
を有し、
前記符号化信号出力手段は、 前記画像符号化信号中に前記参照インデ ックスの最大値を示す情報を符号化する
ことを特徴とする画像符号化装置。
1 8 . 予測画像の生成に用いられる係数および参照ピクチャを指定する 参照インデックスとピクチャ番号とを対応付けるコマン ドと、 前記参照 ィンデックスと、 予測残差の符号化信号とを有する画像符号化信号を復 号化し、 前記コマンド、 前記参照インデクックス、 前記予測誤差を得る 画像符号化情報獲得手段と、
復号化された前記コマンドと、 復号化された前記参照ィンデックスと により、 復号化対象ピクチャ内のブロックに対して動き補償を行うとき の参照ピクチャを指定する参照ピクチャ指定手段と、
前記参照ピクチャ指定手段で指定された参照ピクチャ内の動き検出に より得られたブロックに対して、 前記参照インデックスに対応した前記 係数を用いた線形予測を施すことにより予測画像を生成する予測画像生 成手段と、
前記予測画像と復号化された予測残差とから復号画像を生成する復号 画像生成手段と
ピクチャ番号で識別される復号化済ピクチャを参照ピクチャと して記 憶部に格納する参照ピクチャ格納手段と、
を有し、
前記画像符号化情報獲得手段は、 前記画像符号化信号中の前記参照ィ ンデックスの最大値を示す情報を復号化する
ことを特徴とする画像復号化装置。
1 9 . 請求の範囲第 1項から第 8項の何れかに記載の画像符号化方法又 は請求の範囲第 9項から第 1 6項の何れかに記載の画像復号化方法をコ ンピュ一タに実行させることを特徴とするプログラム。
2 0 . 符号化された複数のピクチャを有する動画像を表し、 コンビユー タによって復号化されるデータ構造を有する符号化データであって、 前記符号化データは、
予測画像の生成に用いられる係数と、
復号化対象ピクチャ上のプロックに対して動き補償を行うときの参照 ピクチャと前記係数とを指定する参照インデックスと、
前記参照インデックスとピクチャ番号とを対応付けるコマンドと、 前記参照インデックスにより指定された参照ピクチャ内の動き検出に より得られたブロックに対して、 前記参照インデックスに対応する前記 係数を用いた線形予測を施すことにより生成される予測画像と、 入力さ れた符号化対象ピクチャ内のプロックとの差である予測残差と、 前記参照ィンデックスの最大値を示す情報とが符号化されている ことを特徴とする符号化データ
2 1 . 前記最大値を示す情報は、 前記符号化データに含まれるピクチャ 共通情報領域に含まれていることを特徴とする請求の範囲第 2 0項に記 載の符号化データ。
PCT/JP2003/009228 2001-10-09 2003-07-22 動画像の符号化方法および復号化方法 WO2004015999A1 (ja)

Priority Applications (22)

Application Number Priority Date Filing Date Title
EP17188103.0A EP3285486B1 (en) 2002-08-08 2003-07-22 Moving picture decoding method
EP03741520A EP1530374B1 (en) 2002-08-08 2003-07-22 Moving picture encoding method and decoding method
ES03741520T ES2401774T3 (es) 2002-08-08 2003-07-22 Procedimiento de codificación y procedimiento de descodificación de imágenes en movimiento
EP17188120.4A EP3288261B1 (en) 2002-08-08 2003-07-22 Moving picture decoding method
US10/491,153 US7308145B2 (en) 2002-08-08 2003-07-22 Moving picture coding method and moving picture decoding method
DK03741520.5T DK1530374T3 (da) 2002-08-08 2003-07-22 Fremgangsmåde til kodning og afkodning af bevægelige billeder
CN038012561A CN1568622B (zh) 2002-08-08 2003-07-22 图像编码方法及图像编码装置
EP18155299.3A EP3349447B1 (en) 2002-08-08 2003-07-22 Moving picture decoding method
US11/976,843 US7492952B2 (en) 2002-08-08 2007-10-29 Moving picture coding method and moving picture decoding method
US11/976,845 US7817867B2 (en) 2002-08-08 2007-10-29 Moving picture coding method and moving picture decoding method
US11/976,860 US7817868B2 (en) 2002-08-08 2007-10-29 Moving picture coding method and moving picture decoding method
US11/976,842 US7813568B2 (en) 2001-10-09 2007-10-29 Moving picture coding method and moving picture decoding method
US12/878,350 US8023753B2 (en) 2002-08-08 2010-09-09 Moving picture coding method and moving picture decoding method
US13/208,677 US8150180B2 (en) 2002-08-08 2011-08-12 Moving picture coding method and moving picture decoding method
US13/368,708 US8355588B2 (en) 2002-08-08 2012-02-08 Moving picture coding method and moving picture decoding method
US13/713,211 US9456218B2 (en) 2002-08-08 2012-12-13 Moving picture coding method and moving picture decoding method
US13/713,198 US8606027B2 (en) 2002-08-08 2012-12-13 Moving picture coding method and moving picture decoding method
US14/069,708 US9113149B2 (en) 2002-08-08 2013-11-01 Moving picture coding method and moving picture decoding method
US14/069,859 US9002124B2 (en) 2002-08-08 2013-11-01 Moving picture coding method and moving picture decoding method
US15/239,170 US9942547B2 (en) 2002-08-08 2016-08-17 Moving picture coding using inter-picture prediction with reference to previously coded pictures
US15/239,207 US9888239B2 (en) 2002-08-08 2016-08-17 Moving picture coding method and moving picture decoding method
US15/907,643 US10321129B2 (en) 2002-08-08 2018-02-28 Moving picture coding method and moving picture decoding method

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
JP2002-232160 2002-08-08
JP2002232160 2002-08-08
JP2002-273992 2002-09-19
JP2002273992 2002-09-19
JP2002-289294 2002-10-01
JP2002289294 2002-10-01
JP2002-296726 2002-10-09
JP2002296726 2002-10-09
JP2002370722 2002-12-20
JP2002-370722 2002-12-20
JP2003-8751 2003-01-16
JP2003008751 2003-01-16

Related Child Applications (6)

Application Number Title Priority Date Filing Date
US10491153 A-371-Of-International 2003-07-22
US10/491,153 A-371-Of-International US7308145B2 (en) 2001-10-09 2003-07-22 Moving picture coding method and moving picture decoding method
US11/976,845 Continuation US7817867B2 (en) 2002-08-08 2007-10-29 Moving picture coding method and moving picture decoding method
US11/976,842 Continuation US7813568B2 (en) 2001-10-09 2007-10-29 Moving picture coding method and moving picture decoding method
US11/976,860 Continuation US7817868B2 (en) 2002-08-08 2007-10-29 Moving picture coding method and moving picture decoding method
US11/976,843 Continuation US7492952B2 (en) 2002-08-08 2007-10-29 Moving picture coding method and moving picture decoding method

Publications (1)

Publication Number Publication Date
WO2004015999A1 true WO2004015999A1 (ja) 2004-02-19

Family

ID=31721895

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/009228 WO2004015999A1 (ja) 2001-10-09 2003-07-22 動画像の符号化方法および復号化方法

Country Status (9)

Country Link
US (15) US7308145B2 (ja)
EP (13) EP3288261B1 (ja)
KR (5) KR101000635B1 (ja)
CN (7) CN101867823B (ja)
DK (2) DK1530374T3 (ja)
ES (10) ES2524117T3 (ja)
HU (2) HUE047568T2 (ja)
PT (4) PT2320659E (ja)
WO (1) WO2004015999A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006040413A1 (en) * 2004-10-14 2006-04-20 Nokia Corporation Reference picture management in video coding
WO2012047047A2 (ko) * 2010-10-06 2012-04-12 에스케이텔레콤 주식회사 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
CN103210649A (zh) * 2010-10-06 2013-07-17 Sk电信有限公司 使用高精度滤波器编码/解码视频的方法和设备
US8731054B2 (en) 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
CN103210649B (zh) * 2010-10-06 2016-12-14 Sk电信有限公司 使用高精度滤波器编码/解码视频的方法和设备

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US8406301B2 (en) 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
US7903742B2 (en) * 2002-07-15 2011-03-08 Thomson Licensing Adaptive weighting of reference pictures in video decoding
US7154952B2 (en) * 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
ES2524117T3 (es) 2002-08-08 2014-12-04 Panasonic Intellectual Property Corporation Of America Procedimiento de codificación y procedimiento de descodificación de imágenes en movimiento
EP1547381A4 (en) * 2002-10-01 2010-11-03 Thomson Licensing IMPLIED WEIGHTING OF REFERENCE IMAGES IN A VIDEO PROCESSOR
EP2309758B1 (en) 2002-11-20 2014-07-30 Panasonic Intellectual Property Corporation of America Moving image predicting method, moving image encoding method and device, and moving image decoding method and device
JP2004179687A (ja) * 2002-11-22 2004-06-24 Toshiba Corp 動画像符号化／復号化方法及び装置
ATE524924T1 (de) * 2004-04-28 2011-09-15 Panasonic Corp Strömungserzeugungsvorrichtung, strömungserzeugungsverfahren, kodierungsvorrichtung, kodierungsvorrichtung, aufzeichnungsmedium und programm dafür
EP2002653A2 (en) * 2004-12-08 2008-12-17 Imagine Communications Ltd., Distributed statistical multiplexing of multi-media
KR100703749B1 (ko) * 2005-01-27 2007-04-05 삼성전자주식회사 잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩방법, 이를 위한 장치
TWI280803B (en) * 2005-07-20 2007-05-01 Novatek Microelectronics Corp Method and apparatus for motion estimation
US8233535B2 (en) * 2005-11-18 2012-07-31 Apple Inc. Region-based processing of predicted pixels
CN101455087B (zh) * 2006-05-24 2011-01-12 松下电器产业株式会社 图像编码装置、图像编码方法及图像编码用集成电路
JP2010506440A (ja) * 2006-09-30 2010-02-25 トムソン ライセンシング ビデオのカラーエンハンスメント層をエンコード及びデコードする方法及び装置
US8256005B2 (en) * 2007-01-08 2012-08-28 Apple Inc. Protection of audio or video data in a playback device
JP2008177907A (ja) * 2007-01-19 2008-07-31 Fujitsu Ltd 動画データ復号装置、情報機器、動画データ復号方法および動画データ復号プログラム
US8494049B2 (en) * 2007-04-09 2013-07-23 Cisco Technology, Inc. Long term reference frame management with error video feedback for compressed video communication
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
AU2007237313A1 (en) * 2007-12-03 2009-06-18 Canon Kabushiki Kaisha Improvement for error correction in distributed vdeo coding
US8270483B1 (en) * 2008-01-18 2012-09-18 Maxim Integrated Products, Inc. Method and apparatus for applying accurate parameter estimation and efficient fade detection in weighted prediction for video compression
WO2009095962A1 (ja) * 2008-01-29 2009-08-06 Panasonic Corporation 画像符号化装置、画像符号化方法、画像符号化集積回路および画像符号化プログラム
KR101353304B1 (ko) * 2008-10-24 2014-01-21 에스케이 텔레콤주식회사 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치
US8189666B2 (en) * 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
US20110023548A1 (en) 2009-07-29 2011-02-03 Garner Sean M Glass substrate comprising an edge web portion
WO2011037420A2 (ko) * 2009-09-25 2011-03-31 에스케이텔레콤 주식회사 인접 화소를 이용한 인터 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP5368631B2 (ja) 2010-04-08 2013-12-18 株式会社東芝 画像符号化方法、装置、及びプログラム
CN103826131B (zh) * 2010-04-08 2017-03-01 株式会社东芝 图像解码方法以及图像解码装置
CA2799144C (en) * 2010-05-13 2016-03-15 Sharp Kabushiki Kaisha Prediction image generation device, moving image decoding device, and moving image coding device
EP2654302B1 (en) * 2010-12-13 2019-09-04 Electronics and Telecommunications Research Institute Inter prediction method
JP2014501091A (ja) * 2010-12-17 2014-01-16 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート インター予測方法及びその装置
JP5837575B2 (ja) 2011-04-12 2015-12-24 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、および動画像符号化復号化装置
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
ES2769378T3 (es) * 2011-05-27 2020-06-25 Sun Patent Trust Procedimiento de codificación de imágenes y aparato de codificación de imágenes
KR101889582B1 (ko) 2011-05-31 2018-08-20 선 페이턴트 트러스트 동화상 부호화 방법, 동화상 부호화 장치, 동화상 복호화 방법, 동화상 복호화 장치, 및, 동화상 부호화 복호화 장치
CA2837532C (en) 2011-06-23 2018-10-02 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
CA2830046C (en) 2011-06-24 2018-09-04 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
KR102062283B1 (ko) 2011-06-24 2020-01-03 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
CN103563375B (zh) 2011-06-27 2017-04-05 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置
CA2837535C (en) 2011-06-28 2018-09-04 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
MX2013010892A (es) 2011-06-29 2013-12-06 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
CN103583048B (zh) * 2011-06-30 2017-05-17 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置
AU2012277219A1 (en) 2011-06-30 2013-09-19 Sun Patent Trust Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
KR20140034209A (ko) 2011-07-11 2014-03-19 파나소닉 주식회사 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
MX341415B (es) 2011-08-03 2016-08-19 Panasonic Ip Corp America Metodo de codificacion de video, aparato de codificacion de video, metodo de decodificacion de video, aparato de decodificacion de video y aparato de codificacion/decodificacion de video.
EP3174301A1 (en) 2011-10-17 2017-05-31 Kabushiki Kaisha Toshiba Decoding device and decoding method
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
EP3923572A1 (en) 2011-10-19 2021-12-15 Sun Patent Trust Image encoding method, image encoding device, image decoding method, and picture decoding device
CN110650336B (zh) * 2012-01-18 2022-11-29 韩国电子通信研究院 视频解码装置、视频编码装置和传输比特流的方法
JP6182719B2 (ja) * 2012-06-29 2017-08-23 ヴェロス メディア インターナショナル リミテッドＶｅｌｏｓ Ｍｅｄｉａ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｌｉｍｉｔｅｄ 符号化装置および符号化方法
EP2901697A1 (fr) * 2012-09-26 2015-08-05 Thomson Licensing Procede et dispositif de prediction inter-image et procede et appareil de codage correspondants
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
JP6365924B2 (ja) * 2013-05-09 2018-08-01 サン パテント トラスト 画像復号方法及び画像復号装置
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US10148965B2 (en) * 2015-03-04 2018-12-04 Panasonic Intellectual Property Management Co., Ltd. Moving image coding apparatus and moving image coding method
CN117061736A (zh) 2017-01-13 2023-11-14 谷歌有限责任公司 视频代码化的复合预测
CN116437105A (zh) * 2017-05-19 2023-07-14 松下电器（美国）知识产权公司 解码装置和编码装置
US10880573B2 (en) 2017-08-15 2020-12-29 Google Llc Dynamic motion vector referencing for video coding
US10284869B2 (en) 2017-09-28 2019-05-07 Google Llc Constrained motion field estimation for hardware efficiency
US11789874B2 (en) 2018-01-09 2023-10-17 Qualcomm Incorporated Method, apparatus, and system for storing memory encryption realm key IDs
EP3599693A1 (de) * 2018-07-27 2020-01-29 Fronius International GmbH Lichtbogenerkennung
CN110147330B (zh) * 2019-05-23 2023-09-01 深圳市创维软件有限公司 一种字模数据的缓存方法、装置、设备和存储介质
CN112584142B (zh) * 2019-09-30 2022-09-30 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
JP2021061501A (ja) * 2019-10-04 2021-04-15 シャープ株式会社 動画像変換装置及び方法
CN111343462B (zh) * 2020-03-08 2021-10-22 苏州浪潮智能科技有限公司 一种图像数据压缩传输方法、装置及存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59200592A (ja) * 1983-04-27 1984-11-13 Fuji Photo Film Co Ltd カラ−画像の適応形圧縮方式
JP2853553B2 (ja) * 1994-02-22 1999-02-03 日本電気株式会社 動画像符号化方式
JP3089941B2 (ja) 1994-02-28 2000-09-18 日本ビクター株式会社 画像間予測符号化装置
US5708473A (en) 1994-08-30 1998-01-13 Hughes Aircraft Company Two stage video film compression method and system
KR0181034B1 (ko) * 1995-03-18 1999-05-01 배순훈 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치
EP0935395A2 (en) * 1998-02-06 1999-08-11 Sony Corporation Video encoding methods and apparatus
CN1201589C (zh) * 1999-04-06 2005-05-11 皇家菲利浦电子有限公司 运动估计方法和装置
WO2001086960A2 (en) * 2000-05-10 2001-11-15 Picturetel Corporation Video coding using multiple buffers
JP2001333389A (ja) * 2000-05-17 2001-11-30 Mitsubishi Electric Research Laboratories Inc ビデオ再生システムおよびビデオ信号処理方法
WO2003030556A1 (en) * 2001-09-18 2003-04-10 Matsushita Electric Industrial Co., Ltd. Image encoding method and image decoding method
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
EP1833262A1 (en) * 2002-01-18 2007-09-12 Kabushiki Kaisha Toshiba Video encoding method and apparatus and video decoding method and apparatus
JP2004007379A (ja) * 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
KR100508798B1 (ko) 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
EP3525466B1 (en) * 2002-04-19 2022-02-09 Panasonic Intellectual Property Corporation of America Motion vector determining method and apparatus
JP2004023458A (ja) * 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
US20040234143A1 (en) * 2002-07-02 2004-11-25 Makoto Hagai Image encoding method and picture decoding method
US7903742B2 (en) * 2002-07-15 2011-03-08 Thomson Licensing Adaptive weighting of reference pictures in video decoding
WO2004012459A1 (ja) * 2002-07-26 2004-02-05 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法、動画像復号化方法および記録媒体
ES2524117T3 (es) * 2002-08-08 2014-12-04 Panasonic Intellectual Property Corporation Of America Procedimiento de codificación y procedimiento de descodificación de imágenes en movimiento
JP2004179687A (ja) * 2002-11-22 2004-06-24 Toshiba Corp 動画像符号化／復号化方法及び装置
BRPI0307119B1 (pt) * 2002-11-25 2018-02-14 Godo Kaisha Ip Bridge 1 “Método e aparelho de decodificação de imagem móvel”
MXPA06000555A (es) * 2003-07-15 2006-07-10 Thomson Licensing Calculo de movimiento con coincidencia del bloque de busqueda rapida.
JPWO2009041215A1 (ja) * 2007-09-25 2011-01-20 シャープ株式会社 動画像符号化装置及び動画像復号装置
EP2920962A4 (en) * 2012-11-13 2016-07-20 Intel Corp ADAPTIVE TRANSFORMATION ENCODING OF CONTENT FOR NEXT GENERATION VIDEO
EP2952003B1 (en) * 2013-01-30 2019-07-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FUKUHARA T. ET AL.: "Very low bit-rate video coding with block partitioning and adaptive selection of two time-differential frame memories", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE, vol. 7, no. 1, February 1997 (1997-02-01), pages 212 - 220, XP000678892 *
See also references of EP1530374A4 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8731054B2 (en) 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
WO2006040413A1 (en) * 2004-10-14 2006-04-20 Nokia Corporation Reference picture management in video coding
CN105812800A (zh) * 2010-10-06 2016-07-27 Sk电信有限公司 使用高精度滤波器编码/解码视频的方法和设备
CN103210649A (zh) * 2010-10-06 2013-07-17 Sk电信有限公司 使用高精度滤波器编码/解码视频的方法和设备
KR101341993B1 (ko) 2010-10-06 2013-12-16 에스케이텔레콤 주식회사 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
WO2012047047A3 (ko) * 2010-10-06 2012-06-28 에스케이텔레콤 주식회사 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
WO2012047047A2 (ko) * 2010-10-06 2012-04-12 에스케이텔레콤 주식회사 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
US9420281B2 (en) 2010-10-06 2016-08-16 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding video using high-precision filter
CN103210649B (zh) * 2010-10-06 2016-12-14 Sk电信有限公司 使用高精度滤波器编码/解码视频的方法和设备
US9602834B2 (en) 2010-10-06 2017-03-21 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding video using high-precision filter
US9706222B2 (en) 2010-10-06 2017-07-11 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding video using high-precision filter
US10158880B2 (en) 2010-10-06 2018-12-18 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding video using high-precision filter
CN105812800B (zh) * 2010-10-06 2019-09-17 Sk电信有限公司 一种视频解码设备

Also Published As

Publication number Publication date
HUE035701T2 (en) 2018-05-28
DK2903277T3 (en) 2017-09-04
US20080063291A1 (en) 2008-03-13
EP2302931A3 (en) 2011-12-07
KR20100082016A (ko) 2010-07-15
EP2903277B1 (en) 2017-07-12
EP2928185A1 (en) 2015-10-07
EP2824928A2 (en) 2015-01-14
US8150180B2 (en) 2012-04-03
ES2636947T3 (es) 2017-10-10
US20180192048A1 (en) 2018-07-05
CN101873491B (zh) 2011-11-23
EP2903277A1 (en) 2015-08-05
CN101873492A (zh) 2010-10-27
PT2903277T (pt) 2017-10-06
EP1530374A1 (en) 2005-05-11
US7492952B2 (en) 2009-02-17
US20140056351A1 (en) 2014-02-27
CN101883279B (zh) 2012-12-19
ES2767066T3 (es) 2020-06-16
US8355588B2 (en) 2013-01-15
EP1906671A2 (en) 2008-04-02
US20110293007A1 (en) 2011-12-01
US20080063288A1 (en) 2008-03-13
EP2903278B1 (en) 2017-06-28
KR20050031451A (ko) 2005-04-06
PT2320659E (pt) 2014-11-13
CN1568622A (zh) 2005-01-19
EP2824927A3 (en) 2015-10-07
PT2903278T (pt) 2017-09-22
CN101083770A (zh) 2007-12-05
ES2401774T3 (es) 2013-04-24
ES2638189T3 (es) 2017-10-19
US9942547B2 (en) 2018-04-10
KR100969057B1 (ko) 2010-07-09
EP2903272B1 (en) 2018-03-28
CN101873501A (zh) 2010-10-27
KR20080073368A (ko) 2008-08-08
EP2320659A2 (en) 2011-05-11
US20130094583A1 (en) 2013-04-18
ES2650068T3 (es) 2018-01-16
ES2653437T3 (es) 2018-02-07
EP3285486B1 (en) 2019-11-06
EP3288261A1 (en) 2018-02-28
EP1530374B1 (en) 2012-12-26
EP3288261B1 (en) 2019-11-06
EP2824927A2 (en) 2015-01-14
EP2903272A1 (en) 2015-08-05
CN101867823B (zh) 2012-05-02
US20160360233A1 (en) 2016-12-08
KR101011561B1 (ko) 2011-01-27
HUE047568T2 (hu) 2020-04-28
US9113149B2 (en) 2015-08-18
US20130101045A1 (en) 2013-04-25
EP3349447A1 (en) 2018-07-18
US20080069461A1 (en) 2008-03-20
US8606027B2 (en) 2013-12-10
US7817867B2 (en) 2010-10-19
US20050105809A1 (en) 2005-05-19
US20160360197A1 (en) 2016-12-08
US20140056359A1 (en) 2014-02-27
CN101873501B (zh) 2012-10-31
US9456218B2 (en) 2016-09-27
CN101083770B (zh) 2010-06-16
US9888239B2 (en) 2018-02-06
EP1906671A3 (en) 2010-03-10
ES2524117T3 (es) 2014-12-04
CN101883279A (zh) 2010-11-10
KR20100082015A (ko) 2010-07-15
EP2302931A2 (en) 2011-03-30
ES2673393T3 (es) 2018-06-21
ES2767954T3 (es) 2020-06-19
US7308145B2 (en) 2007-12-11
EP2824928B1 (en) 2017-11-01
EP1530374A4 (en) 2007-10-10
US20120195514A1 (en) 2012-08-02
US10321129B2 (en) 2019-06-11
EP3285486A1 (en) 2018-02-21
EP2320659B1 (en) 2014-10-01
US9002124B2 (en) 2015-04-07
EP2824927B1 (en) 2017-10-04
EP2928185B1 (en) 2017-09-06
EP2824928A3 (en) 2015-10-21
EP2903278A1 (en) 2015-08-05
EP2320659A3 (en) 2011-12-28
US20100329350A1 (en) 2010-12-30
DK1530374T3 (da) 2013-01-21
CN1568622B (zh) 2010-05-26
KR20100082017A (ko) 2010-07-15
KR100976017B1 (ko) 2010-08-17
US20080069462A1 (en) 2008-03-20
PT1530374E (pt) 2013-02-06
US7817868B2 (en) 2010-10-19
CN101867823A (zh) 2010-10-20
KR101000609B1 (ko) 2010-12-10
CN101873492B (zh) 2012-05-30
US7813568B2 (en) 2010-10-12
ES2656106T3 (es) 2018-02-23
CN101873491A (zh) 2010-10-27
KR101000635B1 (ko) 2010-12-10
EP3349447B1 (en) 2019-11-06
US8023753B2 (en) 2011-09-20

Similar Documents

Publication Publication Date Title
WO2004015999A1 (ja) 動画像の符号化方法および復号化方法
WO2003090474A1 (en) Moving image coding method and moving image decoding method
JP4485157B2 (ja) 画像復号化方法および画像復号化装置
JP4485494B2 (ja) 画像復号化方法および画像復号化装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

WWE Wipo information: entry into national phase

Ref document number: 1020047003839

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2003741520

Country of ref document: EP

Ref document number: 10491153

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 20038012561

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2003741520

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020087016268

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 1020107011292

Country of ref document: KR

Ref document number: 1020107011290

Country of ref document: KR

Ref document number: 1020107011291

Country of ref document: KR