WO2003003745A1 - Image encoder, image decoder, image encoding method, and image decoding method - Google Patents

Image encoder, image decoder, image encoding method, and image decoding method Download PDF

Info

Publication number
WO2003003745A1
WO2003003745A1 PCT/JP2002/006615 JP0206615W WO03003745A1 WO 2003003745 A1 WO2003003745 A1 WO 2003003745A1 JP 0206615 W JP0206615 W JP 0206615W WO 03003745 A1 WO03003745 A1 WO 03003745A1
Authority
WO
WIPO (PCT)
Prior art keywords
partial image
appearance frequency
information
decoding
frequency distribution
Prior art date
Application number
PCT/JP2002/006615
Other languages
English (en)
French (fr)
Inventor
Shunichi Sekiguchi
Akira Kinno
Kazuo Sugimoto
Minoru Etoh
Original Assignee
Ntt Docomo, Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ntt Docomo, Inc. filed Critical Ntt Docomo, Inc.
Priority to JP2003509782A priority Critical patent/JP3920849B2/ja
Priority to EP02738884A priority patent/EP1404133A4/en
Priority to US10/362,364 priority patent/US7292731B2/en
Publication of WO2003003745A1 publication Critical patent/WO2003003745A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/97—Matching pursuit coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Definitions

  • the present invention relates to an image encoding device, an image decoding device, an image encoding method, and an image decoding method.
  • the present invention relates to an image encoding device, an image decoding device, an image encoding method, and an image decoding method capable of transmitting and storing an image with a small encoding amount.
  • DCT discrete cosine transform
  • Matching Pursuits is a method of expressing inter-frame prediction residual signals as a linear sum of over-completed basis sets.
  • the unit of basis representation is not limited to blocks.
  • the ability to express irregular signals in a compact manner with a small number of basis coefficients using a simple basis pattern has the characteristic that visual quality superior to DCT coding can be obtained at low rate coding.
  • the prediction residual image signal f to be encoded is a pre-prepared over-completion consisting of n types of bases g k EG (1 ⁇ k ⁇ n). Using the basis set G, it is expressed as T f
  • m is the total number of base search steps
  • i is the base search step number
  • the prediction residual image signal is a target of the base search.
  • r. f.
  • S i and g ki are s and g k of the arbitrary partial region s (partial region in the frame) above and the arbitrary basis g k included in the basis set G in the i-th step basis search. These are the subregions and bases obtained by selecting the combination that maximizes the inner product value.
  • the information to be encoded is:
  • An index indicating g ki (g k is held in common on the encoding side and the decoding side, and the basis can be specified by exchanging only the index information),
  • a set of these parameters is collectively called an atom.
  • the number of atoms to be coded is increased, that is, as the number m of base search total steps is increased, the coding amount is increased and the distortion is reduced.
  • Matching Pursuits video coding a frame-based prediction residual signal is prepared for each frame. Specify a partial signal to be expressed as coded information. This partial signal may be located at any position in the frame. However, in a normal video signal, a signal portion having large motion, that is, a signal portion having a large amount of information may be considered as a portion having a large residual signal power.
  • a general method is to detect the position of the maximum power in the prediction residual frame as the partial signal.
  • the partial signal is represented on a basis, and it is necessary to encode the position information in the frame.
  • a base that is often expressed as having the partial signal is selected from among the bases included in the base code book given in advance, and the index and the base coefficient (the inner product value of the partial signal and the base) are selected. Are transmitted and recorded as encoded information.
  • SAC Syntax—based Arithmetic Coding mode
  • H.263 Syntax—based Arithmetic Coding mode
  • arithmetic coding is performed based on the table. Therefore, in cases where the occurrence probability of certain encoded data is affected by the occurrence of other encoded data, or when a video frame is encoded in units of areas such as fixed blocks, certain encoding of each block is performed. No consideration is given to cases where the data is affected by the occurrence of the same encoded data in the surrounding blocks. For this reason, it is not possible to make full use of the efficiency of arithmetic coding, especially for signals having temporal and spatial dependencies such as video.
  • an object of the present invention is to improve the entropy coding efficiency of the atom parameter of Matching Pursuits coding by introducing arithmetic coding. Furthermore, in order to improve the efficiency of arithmetic coding, we focus on the interdependency of the atom parameters in Matching Pursuits coding, and define a context (context) model based on conditional probabilities. The purpose is to improve the efficiency of the event-to-peak coding of atom parameters by switching the appearance frequency table.
  • an image encoding apparatus includes a position information acquisition unit that acquires position information indicating a position of a unit element of prediction residual data in a predetermined partial image region for each of the partial image regions.
  • a context determining means for determining an appearance frequency distribution of the position information in the partial image area to be encoded according to the number of unit elements of the prediction residual data existing in the partial image area;
  • Losless encoding means for arithmetically encoding the position information based on the determined appearance frequency distribution.
  • the image decoding apparatus corresponding to the above-mentioned image decoding apparatus comprises: an irreversible decoding means for decoding position information indicating a position of a unit element of prediction residual data in a predetermined partial image area for each of the partial image areas; A context determining means for determining an appearance frequency distribution of the position information in the partial image area to be decoded according to the number of unit elements of the prediction residual data existing in the Arithmetic decoding means for performing arithmetic decoding of the position information based on the information.
  • an image encoding method comprises: position information for acquiring position information indicating a position of a unit element of prediction residual data in a predetermined partial image region for each of the partial image regions An acquiring step; a context determining step of determining an appearance frequency distribution of the position information in the partial image area to be encoded according to the number of unit elements of the prediction residual data existing in the partial image area; A lossless encoding step of arithmetically encoding the position information based on the determined appearance frequency distribution.
  • a corresponding image decoding method includes: an irreversible decoding step of decoding position information indicating a position of a unit element of prediction residual data in a predetermined partial image region for each of the partial image regions; A context determining step of determining the appearance frequency distribution of the position information in the partial image area to be decoded according to the number of unit elements of the prediction residual data existing in the And an arithmetic decoding step of performing arithmetic decoding of the position information based on the arithmetic operation.
  • the distribution of position information values largely depends on the number of unit elements (atoms) of the prediction residual data existing in the partial image area. Therefore, the appearance frequency distribution of the position information in the partial image region to be encoded is determined according to the number of unit elements of the prediction residual data existing in the partial image region, and the appearance frequency determined in this manner is determined. By performing arithmetic coding of the position information based on the distribution, it is possible to improve the efficiency of the entity-to-peak coding of the position information.
  • an image coding apparatus of the present invention classifies a prediction residual data distribution in a predetermined partial image region, and acquires class information for each of the partial image regions Prediction residual distribution classifying means, and context determining means for determining an appearance frequency distribution of basis coefficient information used for expressing a unit element of prediction residual data in the partial image area based on the class information of the partial image area And an irreversible encoding unit that performs arithmetic encoding of the base coefficient information based on the determined appearance frequency distribution.
  • the corresponding image decoding device decodes the class information of the prediction residual data distribution in the predetermined partial image region and the base coefficient information used for expressing the unit element of the prediction residual data in the partial image region.
  • Lossless decoding means, and context determining means for determining, based on the class information, an appearance frequency distribution of base coefficient information used to represent a unit element of prediction residual data in the partial image region;
  • Arithmetic decoding means for performing arithmetic decoding of the base coefficient information based on the occurrence frequency distribution.
  • an image encoding method of the present invention classifies a prediction residual data distribution in a predetermined partial image region, and obtains prediction information for acquiring class information for each of the partial image regions.
  • the image decoding method corresponding thereto decodes the class information of the prediction residual data distribution in a predetermined partial image region and the base coefficient information used for expressing the unit element of the prediction residual data in the partial image region.
  • the prediction residual data distribution is often divided into several classes (groups) using specific features.
  • the appearance frequency distribution of the basis coefficient information is determined based on the class information, and the base coefficient information is arithmetically encoded based on the appearance frequency distribution determined in this manner, whereby the ent-peak coding of the transformed basis information is performed.
  • the efficiency is improved.
  • an image encoding device of the present invention acquires, for each of the partial image regions, number information indicating the number of unit elements of prediction residual data in a predetermined partial image region A number information obtaining means; and a context determination for determining an appearance frequency distribution of the number information of the partial image area to be coded according to the number information in the partial image area adjacent to the partial image area to be coded.
  • Means, and lossless encoding means for performing arithmetic encoding of the number information based on the determined appearance frequency distribution.
  • the image decoding apparatus corresponding to this is a reversible decoding unit that decodes, for each of the partial image regions, number information indicating the number of unit elements of the prediction residual data in a predetermined partial image region, and a decoding target.
  • a context determining means for determining an appearance frequency distribution of the number information of the partial image area to be decoded in accordance with the number information in the partial image area adjacent to the partial image area;
  • Arithmetic decoding means for performing arithmetic decoding of the number information based on the arithmetic information.
  • an image encoding method comprises: a number information unit for obtaining, for each of the partial image regions, number information indicating the number of unit elements of prediction residual data in a predetermined partial image region.
  • a corresponding image decoding method includes a reversible decoding step of decoding number information indicating the number of unit elements of prediction residual data in a predetermined partial image region for each of the partial image regions, and a decoding target.
  • the number of unit elements (atoms) of prediction residual data in a predetermined partial image area largely depends on the number of unit elements (atoms) of prediction residual data in a partial image area adjacent to the partial image area. Therefore, the appearance frequency distribution of the number information of the predetermined partial image area to be coded is determined according to the number information of the unit elements (atoms) in the adjacent partial image areas. By performing arithmetic coding of the number information based on the appearance frequency distribution, it is possible to improve the efficiency of the entity-to-peak coding of the number information.
  • an image encoding device of the present invention acquires, for each of the partial image regions, number information indicating the number of unit elements of prediction residual data in a predetermined partial image region
  • a lossless encoding unit that arithmetically encodes the number information based on the determined appearance frequency distribution. Sign.
  • the image decoding apparatus corresponding to this is a reversible decoding means for decoding the number information indicating the number of unit elements of the prediction residual data in the predetermined partial image area ⁇ for each of the partial image areas, and is a decoding target.
  • Reversible decoding means for decoding motion information of an image in the partial image area for each of the partial image areas; Determining means for determining the appearance frequency distribution of the number information of the partial image area to be decoded according to the decoding information, and arithmetic decoding for arithmetically decoding the number information based on the determined appearance frequency distribution Means.
  • an image encoding method comprises: An acquisition step; a motion detection step of detecting motion information of an image in a partial image area to be encoded; and a partial image to be encoded according to the motion information of an image in the partial image area to be encoded.
  • a corresponding image decoding method includes: an irreversible decoding step of decoding the number information indicating the number of unit elements of the prediction residual data in a predetermined partial image region for each of the partial image regions; A lossless decoding step of decoding the motion information of the image in the partial image region for each of the partial image regions, and an appearance frequency distribution of the number information of the partial image region to be decoded according to the motion information of the image in the partial image region And an arithmetic decoding step of performing arithmetic decoding of the number information based on the determined appearance frequency distribution.
  • the number of unit elements of the prediction residual data in the predetermined partial image area largely depends on the motion information of the image in the predetermined partial image area. Therefore, the appearance frequency distribution of the number information of the unit elements in the partial image region to be encoded is determined according to the motion information of the image in the partial image region to be encoded, and the appearance frequency thus determined is determined. By performing arithmetic coding of the number information based on the distribution, it is possible to improve the efficiency of the entity-to-peak coding of the number information.
  • an image encoding device includes a predetermined partial image.
  • Coefficient information obtaining means for obtaining base coefficient information for each unit element used for representing a unit element of the prediction residual data in the image area, and detecting the prediction residual data in the partial image area to be encoded
  • a context determining means for determining an appearance frequency distribution of the base coefficient information of the partial image area to be encoded in accordance with the determined order; and an arithmetic code of the base coefficient information based on the determined appearance frequency distribution.
  • Reversible encoding means for performing the conversion.
  • the image decoding apparatus corresponding to the base coefficient information of the partial image area to be decoded according to the decoding order of the base coefficient information used to represent the unit element of the prediction residual data in the predetermined partial image area
  • an arithmetic decoding means for arithmetically decoding the base coefficient information based on the determined occurrence frequency distribution.
  • an image encoding method provides base coefficient information used for expressing a unit element of prediction residual data in a predetermined partial image area for each of the above unit elements.
  • the appearance frequency distribution of the base coefficient information of the partial image area to be encoded is determined according to the coefficient information acquisition step to be acquired and the order in which the prediction residual data is detected in the partial image area to be encoded.
  • the image decoding method corresponding to the above is based on the base coefficient information of the partial image area to be decoded according to the decoding order of the base coefficient information used for expressing the unit element of the prediction residual data in the predetermined partial image area. And an arithmetic decoding step for performing arithmetic decoding of the base coefficient information based on the determined occurrence frequency distribution.
  • the basis coefficient information used for expressing the unit element of the prediction residual data in the predetermined partial image area largely depends on the order in which the prediction residual data is detected in the predetermined partial image area.
  • Prediction residual data in the partial image area to be encoded The appearance frequency distribution of the base coefficient information of the partial image area to be encoded is determined according to the order in which the base coefficient information is detected, and the arithmetic code of the base coefficient information is determined based on the appearance frequency distribution determined in this manner. By performing the coding, it is possible to improve the efficiency of the event-to-peak coding of the base coefficient information.
  • FIG. 1 is a configuration diagram of an image encoding device according to Embodiment 1.
  • FIG. 2 is a configuration diagram of a decoding device according to Embodiment 1.
  • 3A to 3G are diagrams showing macro blocks.
  • FIGS. 4A and 4B are diagrams showing macroblocks and atoms.
  • FIG. 5 is a diagram showing a configuration of the variable length coding unit.
  • FIG. 6 is a diagram that defines a context for the encoding mode information of the macroblock C.
  • FIGS. 7A and 7B are diagrams showing the distribution of position information values.
  • 8A and 8B are diagrams showing the relationship between the atom g k massageand the residual signal f (n).
  • FIG. 9 is a diagram showing a configuration of the variable length decoding unit.
  • FIG. 10 is a diagram illustrating a state of a sequence (syntax) of encoded data in units of frames of a compressed stream.
  • FIG. 11 is a diagram showing the relationship between the atom detection order ⁇ and the atom coefficient information.
  • FIG. 12 is a diagram illustrating an example of the distribution of atoms.
  • FIG. 13 is a diagram showing a binarization pattern of the encoding mode information.
  • FIG. 14 shows an appearance frequency table for the context C M1.
  • FIG. 15 shows an appearance frequency table for the context CM2.
  • FIG. 16 is a diagram showing a binarization pattern of the atom position information.
  • FIG. 17 shows an appearance frequency table for context CM3.
  • FIG. 18 is a diagram showing a binarization pattern of the base index.
  • FIG. 19 shows an appearance frequency table for context CM4.
  • FIG. 20 is a diagram showing a binarization pattern of the number of atoms in a macroblock.
  • FIG. 21 shows an appearance frequency table for context CM5.
  • FIG. 22 shows an appearance frequency table for the context CM6.
  • FIGS. 23A to 23C are diagrams showing the relationship between the atom detection order K and the atom coefficient information according to the value of ACT.
  • FIG. 24 is a diagram showing a binarization pattern of the atom coefficient information.
  • FIG. 25 shows an appearance frequency table for the context CM7 according to the value of ACT.
  • An image coding apparatus and a decoding apparatus receive a video signal consisting of a sequence of image frames, and mainly include an inter-frame motion compensation prediction unit, a coding mode selection unit, and compression coding of a texture signal. And a decoding device that receives compressed video data (hereinafter, referred to as “bit stream”) generated by the coding device and reproduces a video signal.
  • bit stream compressed video data
  • the input video signal 101 is a time sequence of a frame image, and hereinafter, represents a signal of a frame image unit.
  • a frame is divided into a square rectangular area (hereafter, referred to as a “macroblock”) with a fixed size of 16 pixels ⁇ 16 lines, and the following processing is performed on a unit basis. That is, the macroblock data of the input video signal 101 is first sent to the motion detection unit 102, and the motion vector 105 is detected in the motion detection unit 102.
  • the motion vector 105 is obtained by referring to a predetermined search area of a past encoded frame 104 (hereinafter, referred to as a “locally decoded image”) stored in the frame memory 103. It finds a pattern similar to the macroblock to be coded and calculates the amount of spatial movement between that pattern and the current macroblock.
  • the motion vector 105 is represented by a two-dimensional translation amount. This motion vector 1 0
  • a method such as block matching is generally used.
  • the unit to which the motion vector 105 is assigned can be defined as a unit in which the macroblock is equally divided into various rectangular areas, and indicates the type of block shape to be used.
  • the identification information may be transmitted as coding mode information.
  • MC Motion Compressive Mode
  • MC mode 1 since the macroblock itself is used as a motion vector assignment unit, one motion vector is determined for each macroblock.
  • MC mode 2 shown in Fig. 3B an area obtained by dividing the macro block into left and right halves is used as a motion vector assignment unit, and two motion vectors are determined for one macro block.
  • MC mode 7 shown in Fig. 3G 16 motion vectors are determined per macroblock.
  • the locally decoded image used for motion detection is not limited to a past frame, and a future frame can be coded first and stored in a frame memory for use. For example, B frame prediction in the MPEG series corresponds to this.
  • the motion compensation unit 107 extracts the predicted image 106 from the local decoded image 104 in the frame memory using the motion vector 105.
  • the motion detecting unit 102 and the motion compensating unit 107 perform processing for each macroblock, and a difference signal (prediction residual signal 108) from the input video signal 101 is obtained in units of frames. That is, the motion vector 105 of each macroblock is retained over the entire frame, and the predicted image 106 is It is configured as an image.
  • a final parameter 112 is generated for the prediction residual signal 108 based on the above-mentioned antoregorism of Matching Pursuits.
  • the basis set g k l 11 is stored in the basis codebook 110, from which a basis to be assigned to each partial signal is selected.
  • Atom extraction is performed for the entire frame regardless of the macroblock structure. The operation is shown in Figs. 4A and 4B. Figures 4A and 4B show that the position of the atom does not depend on the structure of the macroblock.
  • FIGS. 4A and 4B show a prediction residual frame, and a plurality of rectangular areas separated by dotted lines in the figure are macroblocks MB.
  • the coding syntax of atoms uses rules that can be transmitted in macroblock units. Therefore, as can be seen from Equation (1), using the fact that the encoding order of the atoms does not affect the decoded image, the frames are sorted in order on the two-dimensional coordinates with the upper left corner of the frame as the origin. And the encoding order is configured so that atoms are counted in macroblock units. In this way, the configuration is such that the atom parameters 112 (basic index, position information, basis coefficients) are encoded for each macroblock by the number of atoms contained therein.
  • the atom decoding unit 115 restores the local decoding residual signal 116 from the atom parameters 112 and adds the prediction image 106 to the local decoded image 117 to obtain a local decoded image 117.
  • the locally decoded image 1 17 is stored in the frame memory 103 because it is used for motion compensation prediction of the next frame.
  • the variable-length decoding unit 118 detects a synchronization word representing the start of each frame, and thereafter, the motion vector 105, The tom parameters 1 1 2 are restored at will.
  • the motion vector 105 is sent to a motion compensation unit 107 to obtain a predicted image 106.
  • the atom parameters 112 are decoded by the atom decoding unit 115.
  • the basis is retrieved by giving the basis codebook 110 a basis index.
  • the output 1 16 of the atom decoding unit 1 15 is added to the predicted image 106 to obtain a decoded image 1 17.
  • the decoded image 1 17 is stored in the frame memory 103 because it is used for motion compensation prediction of the subsequent frames.
  • the decoded image 1 17 is output to the display device at a predetermined display timing, and the video is reproduced.
  • variable length coding unit 113 and the variable length decoding unit 118 serving as the points of the present invention will be described.
  • the variable-length encoding unit 113 and the variable-length decoding unit 118 are used to determine the dependence of the atom parameters obtained in the image encoding device of FIG. By changing the appearance frequency table adaptively using the dependencies between the two, the most appropriate appearance frequency table is used according to the situation, and the coding efficiency of arithmetic coding is improved.
  • FIG. 5 shows the configuration of the variable length coding unit 113.
  • the input 1 19 also includes the coding mode information of the macroblock in addition to the above-described atom parameters 112.
  • a context is defined for the following information in the input 1 19.
  • the context determination unit 120 determines an appearance frequency tape lock 123 suitable for the context at that time according to the bit position 125 to be encoded given from the binarization processing unit 121, and performs arithmetic coding. To the chemical unit 1 24.
  • the coding mode information is, for example, whether the macroblock is coded in any of the motion vector adding units shown in FIGS.
  • Information such as whether it is inter-coded or intra-frame (intra) -coded is provided to the decoding device as macro-block coded data.
  • the encoding mode options are determined, for example, as follows.
  • Encoding mode 2 MC mode 1 (Fig. 3 A No atom)
  • Encoding mode 3 MC mode 2 (Fig. 3B No atom)
  • Encoding mode 4 MC mode 3 (Fig. 3 No atom
  • Encoding mode 5 MC mode 4 (Fig. 3D No atom)
  • Encoding mode 6 MC mode 5 (Fig. 3 E No atom)
  • Encoding mode 7 MC mode 6 (Fig. 3 No F atom
  • Encoding mode 8 MC mode 7 (Fig. 3G No atom)
  • Coding mode 9 Intra coding, no atoms
  • Encoding mode 10 MC mode 1 (Fig. 3A, with atoms
  • Encoding mode 1 1 MC mode 2 (Fig. 3B, with atoms
  • Encoding mode 12 MC mode 3 (Fig. 3C, with atoms
  • Encoding mode 13 MC mode 4 (Fig. 3D, with atoms)
  • Coding mode 14 MC mode 5 (Fig. 3E) with atoms
  • Encoding mode 15 MC mode 6 (Fig. 3F) with atoms
  • Encoding mode 16 MC mode 7 (Fig. 3G) with atoms
  • Coding mode 17 Intra coding, with atoms
  • “skip” in coding mode 1 is a case where the motion vector is zero and no atom is coded. This corresponds to a mode in which the image at the same spatial position of the reference image is copied as it is.
  • coding modes 2 to 8 there are motion vectors corresponding to the individual MC modes in Figs. 3A to 3G, but if there are no atoms to be coded as residuals, coding modes 10 to 16 are If there are motion vectors corresponding to the individual MC modes in Figs.
  • coding mode 9 is a case where intra coding is performed and the residual
  • encoding mode 17 is a case where intra-coding is performed, and there is an atom to be encoded as a residual. Note that, here, the intra coding assumes that only the DC component is encoded, and that the AC component is encoded by an atom in the form of a residual.
  • the context for the encoding mode information is defined as shown in Figure 6.
  • a to C indicate adjacent macroblocks
  • the context for the coding mode information of the macroblock C is defined as follows.
  • CM 1 g (A) + 2 X g (B)
  • CM2 h (A) + 2 X h (B)
  • CM 2 sets the context as to whether A or B contains an atom to be encoded as a residual. Similarly to CM 1, the frequency of the presence or absence of an atom in macro block C changes according to the surrounding situation, so the appearance frequency table is switched according to the value of CM 2.
  • the binarization processing unit 1221 encodes the encoding mode 1 to: L7 so that CM1 and CM2 correspond to the first bit and the second bit, respectively. Implement binarization. Thus, the appearance frequency table is switched according to the bit position. In addition, since the above context always requires information on the left and upper macroblocks, the current macroblock coding mode information is used to determine the context of subsequent macroblocks. Buffer to 120.
  • Fig. 13 shows an example of the coding mode information binarization process.
  • Fig. 14 shows the four types of appearance frequency table for the first bit.
  • Fig. 15 shows the four types of appearance frequency for the second bit. 4 shows an example of a table.
  • the value of CM 2 calculated by the above equation is 0. .
  • the value of C M2 calculated by the above equation is 3.
  • the position information is data expressing the position of an atom in the macroblock as a difference between them.
  • the distribution of the position information value greatly depends on the number of atoms in the macroblock. For example, as shown in Fig. 7A, if there are few atoms in the macroblock, the distance between the atoms will be long, and as shown in Fig. 7B, the distance between the atoms will inevitably decrease if there are many atoms. In other words, the frequency distribution of the location information changes according to the value of the number of atoms in the macroblock. Therefore, the context is defined as follows based on this.
  • CM 3 is a value for designating the appearance frequency table so as to best reflect the frequency distribution of the position information at that time when the number of atoms in the macroblock is within a predetermined range.
  • the binarization processing section 121 binarizes the position information so that CM 3 can be used for switching the appearance frequency of the first bit.
  • Fig. 16 shows an example of the binarization process of atom position information
  • Fig. 17 shows an example of four types of appearance frequency tables for the first bit.
  • the base index is an index number for specifying a base coefficient of each atom in the macroblock.
  • a residual signal having a large power and containing a sharp waveform change such as a step edge is localized.
  • the residual signal f (n + 1) obtained by subtracting the extracted atoms gkn from f (n) is divided into smaller waveforms as shown in Fig. 8B. The resulting atom tends to have a smaller base size.
  • the base codebook is configured to assign smaller index numbers to bases with larger base sizes and higher index numbers to bases with smaller base sizes.
  • the appearance frequency distribution of the atom's basis index tends to be biased toward larger values.
  • CM4 is a value for designating the appearance frequency table so as to best reflect the frequency distribution of the base index at that time when the number of atoms in the macroblock is within a predetermined range.
  • the binarizing processing section 121 binarizes the underlying index so that the CM 4 can be used to switch the appearance frequency of the first bit.
  • FIG. 18 shows an example of the binarization process of the atom base index
  • FIG. 19 shows an example of four types of appearance frequency tables for the first bit.
  • the arithmetic coding of the base index of the atom according to the present invention will be described with reference to FIGS.
  • the value of C M4 calculated by the above expression is 3.
  • the number of atoms in the macroblock is the number Na of atoms in the macroblock.
  • a residual signal having a large power and including a steep waveform change such as a step edge is generated. If it exists, there is a high probability that multiple atoms will be intensively extracted at the same location in subsequent atom extraction steps. Therefore, if the number of atoms in an adjacent macroblock is large, the possibility that the number of atoms in the macroblock is also increased is high.
  • Figure 12 shows an example of the typical distribution of atoms in the screen.
  • the white part is the atom AT.
  • the macroblock adjacent to the macroblock C is A
  • the macroblock adjacent to the left is B
  • the numbers of atoms in the macroblocks of A and B are N a (A) and N a (B).
  • the context for the number of atoms in a macroblock is defined as follows.
  • CM5 is a value for designating an appearance frequency table so as to best reflect the frequency distribution of the number of atoms in the macroblock when the number of atoms in an adjacent macroblock is within a predetermined range. is there.
  • the binarization processing unit 121 binarizes the number of atoms in the macroblock so that the CM5 can be used to switch the appearance frequency of the first bit.
  • FIG. 20 shows an example of binarization processing of the number of atoms in a macroblock
  • FIG. 21 shows an example of four types of appearance frequency tables for the first bit.
  • CM 5 3
  • CM 5 3
  • a table with a low probability of becoming 0 that is, the number of atoms in the macroblock takes a value of 1 to 2).
  • the context for the number of atoms in a macroblock may be defined as follows.
  • MVD X and MVD y are differential motion vectors that are the difference between the horizontal and vertical components MVx and MVy of the motion vector of the macroblock and their predicted values PMVx and PMVy, and the predicted values PMVx and PMVy are For example, a median value of a motion vector value in a nearby macro block is used as used in an encoding method such as MPEG-14 or H.26L.
  • Max (X) means that the processing is for the differential motion vector in which the absolute value of the differential motion vector of all the differential motion vectors X in the macroblock gives the maximum value.
  • CM 6 a value for designating the appearance frequency table so as to reflect the frequency distribution of the number of atoms in the macroblock most effectively.
  • the binarization processing unit 122 binarizes the number of atoms in the macroblock so that the CM6 can be used to switch the appearance frequency of the first bit.
  • Fig. 22 shows an example of four types of appearance frequency tables for the first bit after binarization of the number of atoms in a macroblock. Another example of the arithmetic coding of the number of atoms in the macroblock according to the present invention will be described below with reference to FIGS.
  • MV1 (0, 1)
  • MV2 (2, 1 1)
  • MV 3 (1 2, 1)
  • CM6 calculated by applying the above equation to MV2 whose absolute value is the largest of MV2 and MV2 is 1.
  • the motion in the macroblock to be encoded is considered to be complicated, and the number of atoms in the macroblock is likely to increase. Therefore, as shown in Fig. 22, the number of atoms in the macroblock is binarized.
  • FIG. 9 shows the configuration of the variable-length decoding unit 118.
  • the variable-length decoding unit 118 receives the compressed stream 114 as an input and, like the variable-length encoding unit 113, generates an appearance frequency table 1 in bit units according to the context determined by the context determining unit 120. Twenty three (The same table definition as the variable-length coding unit 113) is switched, and the arithmetic decoding unit 126 performs arithmetic decoding to binary data.
  • the restored binarized data 122 is converted to final decoded data 119 by the inverse binarization processing unit 127 according to the same rules as those on the encoding side.
  • the same distortion-free decoded value as the input 1 19 to the variable length coding unit 113 is obtained.
  • data used for determining the context of the decoding process of the subsequent macroblock is sent to the context determination unit 120 and buffered.
  • Fig. 10 shows the state of the encoded data arrangement (syntax) of the compressed stream 1 14 in frame units. Following the frame header that stores the time stamp of the frame, initial parameters, and activity information (details will be described later), for example, information on the movement of macroblocks and the like described in Embodiment 1 in fixed block units is collected. Multiplex.
  • the counter N is the number of macroblocks in a frame, and is generally a constant uniquely determined for the image size. Next, a sync word is inserted.
  • This synchronization word must be a unique code indicating the start of the atom parameter of the frame.
  • the decoding device separates the motion information coded in macroblock units and the atom parameters coded in frame units in advance, and outputs the separated motion information to each decoding processing block. Since the processing can be performed in parallel, it is possible to speed up the decoding processing. Also, in the case of a line error or the like, if it is confirmed that an error has occurred after the synchronization word, it is possible to secure flexibility such as performing error concealment processing using only motion information.
  • the atom parameters are multiplexed in the order in which they were detected in the frame.
  • the atom parameter counter M generally varies from frame to frame and is not known.
  • the value of the counter M is embedded in the synchronization word itself, a terminate code is provided in the position information which is the leading information of each atom parameter, and when the terminate code is detected, the atom parameter of the frame is decoded. There are methods such as terminating processing.
  • Each atom parameter is encoded in the order in which it was detected in the frame.
  • the basis coefficient for each detected atom is referred to as atom coefficient information or atom coefficient.
  • Atoms are usually coded in order of importance in video information.
  • the essential information in the video information is the degree of motion, and control is performed so that the motion is large and the inter-frame prediction residual power is large.
  • the atom coefficient information has a large value at the beginning of detection, but is detected by gradually removing power by each atom. Each time, the value of coefficient information tends to decrease.
  • the K-th atom coefficient information has a strong correlation with the K-1st atom coefficient information multiplexed immediately before. Therefore, the Kth atom coefficient is encoded as difference information from the K-1st atom coefficient.
  • the distribution in FIG. 11 may deviate from the distribution in FIG.
  • the activity information for classifying such a residual signal distribution is inserted into the frame header, and the frequency encoding table of the atom coefficient information is switched according to the activity information to perform the arithmetic coding. .
  • the variance in the distribution of the power E of the inter-frame prediction residual signal is reduced, and the classification is performed by the following equation according to the value of the variance ⁇ .
  • ACT is classified activity information
  • TH1 and TH2 are preset thresholds.
  • FIGS. 23A to 23C The distribution of typical atom coefficient information for the activity information ACT classified in this way is illustrated in FIGS. 23A to 23C.
  • the larger the number of ACTs the larger the atom coefficient information changes from a large value to a small value as the atom detection order K increases. Conversely, as the value of ACT is smaller, the atom coefficient information does not change over a large range even if the atom detection order K changes.
  • the context of the atom coefficient information is determined by the following equation.
  • the ⁇ th atom coefficient information is encoded as difference information between the ⁇ -1th atom coefficient and the ⁇ th atom coefficient. As shown in FIG. 23, the difference information tends to decrease as the value of ⁇ increases.
  • activity information ACT is calculated from the inter-frame prediction residual signal generated in the motion compensation unit 107.
  • the variance ⁇ becomes small and the value of ACT becomes 0.
  • the first bit after the binarization processing of the atom coefficient information becomes 0 as shown in Fig. 25 (that is, the atom (The coefficient information takes a value of 0 to 3.)
  • the motion of the screen is complicated, and the power distribution of the inter-frame prediction residual signal is wide.
  • the variance value ⁇ becomes a large value
  • the value of ACT becomes 2, for example.
  • the value of C M7 is calculated from the above equation according to each detection order ⁇ .
  • the detection order K is 1 for the first detected atom
  • the value of CM 7 is 0.
  • the detection order K 1 0 for the 10th detected atom, so the value of CM 7 is 2.
  • the appearance frequency table used for arithmetic coding of the atom coefficient information can be appropriately selected according to the motion information of the entire screen and the atom detection order, so that the coding efficiency can be improved. It becomes possible.
  • the decoding side decodes the activity information included in the frame header of the compressed stream coded by the above-described coding method, and performs the same processing as the coding side in accordance with the decoded activity information.
  • the correct decoding can be achieved by selecting the table set in a manner.
  • the decoding can be correctly performed by selecting the appearance frequency table in the same manner as the encoding side according to the number of atoms in the macroblock decoded earlier.
  • the present invention can be used as a moving image encoding device or a decoding device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

明糸田書
画像符号化装置、 画像復号装置、 画像符号化方法、 及び画像復号方法 技術分野
本発明は、 画像を少ない符号化量で伝送及び蓄積することができる画像符号化 装置、 画像復号装置、 画像符号化方法、 及び画像復号方法に関する。
背景技術
従来から、 I TU— T H. 26 Xや MP EGシリーズなどの標準動画像符号 化方式が知られている。 この標準動画像符号化方式では、 圧縮効率と実装負荷と のバランスや専用 L S Iの普及等の観点から、 主に離散コサイン変換 （d i s c r e t e c o s i n e t r a n s f o r m :以下、 「D C T」 とレヽう。） が用 いられている。 しかし、 DCTは、 基底係数の量子化を行うため、 極めて低いビ ットレートで符号化を行う場合、 本来の信号の表現にとって重要である基底が復 元できなくなり、 その結果、 歪みが発生するという問題を有している。 このよう な問題を解決する手法として、 R. N e f f e t . a 1 , "V e r y L ow B i t— r a t e V i d e o C o d i n g B a s e d o n Ma t c h i n g P u r s u i t s" , I EEE T r a n s . o n C S V T ， v o l . 7, p p. 1 5 8 - 1 7 1 , F e b. 1 9 9 7、 などで提案されてい る Ma t c h i n g P u r s u i t sベースの映像符号化方式がある。 Ma t c h i n g P u r s u i t sとは、 フレーム間予測残差信号を過完備 （o v e r— c omp l e t e) な基底セッ トの線形和として表現する手法であり、 基底 表現の単位がブロックに限定されないこと、 過完備な基底パターンによって非定 常な信号を少ない基底係数でコンパク トに表現できる可能性とから、 低レート符 号化時に DCT符号化よりも視覚的に優れた映像品質が得られるという特徴を有 する。 Ma t c h i n g P u r s u i t sでは、 符号化対象となる予測残差画 像信号 f は、 n種類の基底 gkEG (1≤ k≤ n) からなる予め用意される過完備 (o v e r - c omp l e t e) な基底セッ 卜 Gを用いて、 次式のように表現す ることができる t f
Figure imgf000004_0001
ここで、 mは基底探索総ステップ数、 iは基底探索ステップ番号、 は第 i一 1ステップ目の基底探索まで完了した後の予測残差画像信号であり、 これをその まま第 iステップ目の基底探索の対象となる予測残差画像信号とする。 ただし、 r。=f とする。 また S iおよび gkiは、 第 i ステップ目の基底探索において 上 の任意の部分領域 s (フレーム内の部分領域） と基底セット Gに含まれる任意の 基底 gkのうち、 sと gkの内積値を最大とする組み合わせを選択することによつ て得られる部分領域および基底である。 基底探索をこのように行えば、 基底探索 ステップ数 mが大きければ大きいほど rmの持つエネルギーは小さくなる。これは、 予測残差画像信号 f の表現に使用する基底の数が多ければ多いほど信号をよく 表現できることを意味する。
符号化される情報は、 各基底探索ステップにおいて、
① gkiを示すインデックス （gkは符号化側、 復号側で共通して保持しており、 そ のィンデッタス情報だけを交換することで基底を特定することができる）、
②内積値 < S i, gki> (基底係数に該当する）、
③ S iの中心点の画面内位置情報 Pi= ( X i， Yi) である。
これらのパラメータの組をまとめて、 アトムと呼ぶ。 この画像信号表現および符 号化方法によれば、 符号化するアトムの数を増やす、 すなわち基底探索総ステツ プ数 mを増やすほど符号化量が増加し、 歪みが小さくなる。
一方、 Ma t c h i n g P u r s u i t s符号化の優れた性能を引き出すた めには、 その符号化対象情報であるァトムパラメータを効率的にエントロピー符 号化することが重要となる。 Ma t c h i n g P u r s u i t s映像符号化で は、 フレーム問予測残差信号をフレーム単位で用意し、 まず、 フレーム内で符号 化情報として表現すべき部分信号を特定する。 この部分信号はフレーム内のどの 位置にあっても良いが、 通常映像信号では、 動きが大きい、 すなわち情報量の大 きな信号箇所は、 残差信号の電力が大きい箇所と考えて良いため、 まず予測残差 フレーム内で電力最大の箇所を当該部分信号として検出する方法が一般的である。 このとき、 当該部分信号が基底表現されるのであるが、 そのフレーム内の位置情 報を符号化する必要がある。 基底表現に関しては、 予め与えられた基底コードブ ックに含まれる基底の内、当該部分信号をもつともよく表現する基底を選択して、 そのインデックスと基底係数 （上記部分信号と基底との内積値） とを符号化情報 として伝送 ·記録する。
上記の M a t c h i n g P u r s u i t s , D C Tに関わらず、 従来の映像 符号化方式では、 信号の冗長度削減、 量子化を経た後の符号化パラメータは、 ハ フマン符号によるエントロピー符号化を行ってきた。 一方、 ハフマン符号は、 符 号化しようとするシンボルに対して整数長の符号しか割り当てることができない という制約がある。 これを克服する手段として算術符号化が提案されている。 算 術符号ィ匕の原理につ ヽては、 例えは "The Data Compression Book 2nd edition",
Mark Nelson and Jean-Loup Gai l ly, M&T Books, 1995 など ίこ詳説されてレヽる。 符号化対象シンボルの各アルファべットの典型的な出現頻度を 0〜1の数直線上 の区間に割り当て、 あるシンボルが現れたときに、 まず、 そのシンボルが属する 区間を選択し、次のシンボルでは前のシンボルが属する区間を 0〜 1とみなして、 その中での当該シンボルの属する区間を選択する。 この操作を繰り返すことによ つて、 有限長のシンボル系列をひとつの 0〜 1の間の数値の形で表現することが 可能となる。 このことから、 算術符号化は、 シンボルあたりの符号長を小数精度 で表現することができ、 一般にハフマン符号よりもェントロピー符号化効率が向 上することが知られている。
発明の開示
映像符号化に算術符号化の技術を導入した例としては、 I T U— Τ Η . 2 6 3映像符号化方式 An n e x Eに採用されている S y n t a x— b a s e d A r i t hme t i c C o d i n g mo d e (以下、 「SAC」 とレヽう。） カ ある。 SACでは、 H. 2 6 3における各符号化データごとに独立な固定の出現 頻度テーブルを与え、 それに基づいた算術符号化を行っている。 従って、 ある符 号化データの発生確率が他の符号化データの発生状況に影響されるケースや、 映 像フレームを固定プロックなどの領域単位で符号化を行う場合に、 各プロックの ある符号化データが、 その周辺のプロックの同一符号化データの発生状況に影響 を受けるケースなどは考慮されていない。 このため、特に、映像のように時間的 · 空間的な依存性を有する信号において、 算術符号化の効率を十分に生かすことが できない。
上記の論文に示されるような従来の Ma t c h i n g P u r s u i t s符号 化方式では、 他の多くの映像符号化標準方式と同様に、 アトムパラメータのェン ト口ピー符号化において、 個々のデータ発生頻度に基づいたハフマン符号を固定 的に割り振る手法が採られている。 これに対し、 本発明は、 算術符号化を導入す ることにより、 Ma t c h i n g P u r s u i t s符号化のアトムパラメータ のエントロピー符号化効率の向上を図ることを目的とする。 さらに、 算術符号化 の効率を向上させるために、 Ma t c h i n g P u r s u i t s符号化におけ るアトムパラメータの相互依存関係に着目し、 条件付き確率に基づく文脈 （コン テキスト） モデルを定義し、 コンテキス トによって出現頻度テーブルを切り替え てァトムパラメータのェント口ピー符号化効率の改善を行うことを目的とする。 上記課題を解決するために、 本発明の画像符号化装置は、 所定の部分画像領域 内における予測残差データの単位要素の位置を示す位置情報を上記部分画像領域 ごとに獲得する位置情報獲得手段と、 上記部分画像領域内に存在する予測残差デ ータの単位要素の数に応じて、 符号化対象である部分画像領域内の上記位置情報 の出現頻度分布を決定するコンテキスト決定手段と、 上記決定された出現頻度分 布に基づいて上記位置情報の算術符号化を行う可逆符号化手段とを備えることを 特徴とする。
また、 これに対応する画像復号装置は、 所定の部分画像領域内における予測残 差データの単位要素の位置を示す位置情報を上記部分画像領域ごとに復号する可 逆復号手段と、 上記部分画像領域内に存在する予測残差データの単位要素の数に 応じて、 復号対象である部分画像領域内の上記位置情報の出現頻度分布を決定す るコンテキスト決定手段と、 上記決定された出現頻度分布に基づいて上記位置情 報の算術復号を行う算術復号手段とを備えることを特徴とする。
さらに、 上記課題を解決するために、 本発明の画像符号化方法は、 所定の部分 画像領域内における予測残差データの単位要素の位置を示す位置情報を上記部分 画像領域ごとに獲得する位置情報獲得ステップと、 上記部分画像領域内に存在す る予測残差データの単位要素の数に応じて、 符号化対象となる部分画像領域内の 上記位置情報の出現頻度分布を決定するコンテキスト決定ステップと、 上記決定 された出現頻度分布に基づいて上記位置情報の算術符号化を行う可逆符号化ステ ップとを含むことを特徴とする。
また、 これに対応する画像復号方法は、 所定の部分画像領域内における予測残 差データの単位要素の位置を示す位置情報を上記部分画像領域ごとに復号する可 逆復号ステップと、 上記部分画像領域内に存在する予測残差データの単位要素の 数に応じて、 復号対象である部分画像領域内の上記位置情報の出現頻度分布を決 定するコンテキスト決定ステップと、 上記決定された出現頻度分布に基づいて上 記位置情報の算術復号を行う算術復号ステップとを含むことを特徴とする。
位置情報の値 （例えばあるアトム位置から他のアトム位置までの差分） の分布 は、 部分画像領域内に存在する予測残差データの単位要素 （アトム） の数に大き く依存する。 従って、 部分画像領域内に存在する予測残差データの単位要素の数 に応じて、符号化対象となる部分画像領域内の位置情報の出現頻度分布を決定し、 このように決定された出現頻度分布に基づいて位置情報の算術符号化を行うこと で、 位置情報のェント口ピー符号化効率の向上が図られる。 また、 上記課題を解決するために、 本発明の画像符号化装置は、 所定の部分画 像領域内における予測残差データ分布のクラス分けを行い、 クラス情報を上記部 分画像領域ごとに獲得する予測残差分布クラス分け手段と、 上記部分画像領域の クラス情報に基づいて、 上記部分画像領域内における予測残差データの単位要素 の表現に用いる基底係数情報の出現頻度分布を決定するコンテキスト決定手段と、 上記決定された出現頻度分布に基づいて上記基底係数情報の算術符号化を行う可 逆符号化手段とを備えることを特徴とする。
また、 これに対応する画像復号装置は、 所定の部分画像領域内における予測残 差データ分布のクラス情報、 及び上記部分画像領域内における予測残差データの 単位要素の表現に用いる基底係数情報を復号する可逆復号手段と、 上記クラス情 報に基づいて、 上記部分画像領域内における予測残差データの単位要素の表現に 用いる基底係数情報の出現頻度分布を決定するコンテキスト決定手段と、 上記決 定された出現頻度分布に基づいて上記基底係数情報の算術復号を行う算術復号手 段とを備えることを特徴とする。
さらに、 上記課題を解決するために、 本発明の画像符号化方法は、 所定の部分 画像領域内における予測残差データ分布のクラス分けを行い、 クラス情報を上記 部分画像領域ごとに獲得する予測残差分布クラス分けステップと、 上記部分画像 領域のクラス情報に基づいて、 上記部分画像領域内における予測残差データの単 位要素の表現に用いる基底係数情報の出現頻度分布を決定するコンテキスト決定 ステップと、 上記決定された出現頻度分布に基づいて上記基底係数情報の算術符 号化を行う可逆符号化ステップとを含むことを特徴とする。
また、 これに対応する画像復号方法は、 所定の部分画像領域内における予測残 差データ分布のクラス情報、 及び上記部分画像領域内における予測残差データの 単位要素の表現に用いる基底係数情報を復号する可逆復号ステップと、 上記クラ ス情報に基づいて、 上記部分画像領域内における予測残差データの単位要素の表 現に用いる基底係数情報の出現頻度分布を決定するコンテキスト決定ステップと、 上記決定された出現頻度分布に基づいて上記基底係数情報の算術復号を行う算術 復号ステップとを含むことを特徴とする。
予測残差データ分布は特定の特徴量を用いていくつかのクラス （グループ） に 分けられる場合が多い。 クラス情報に基づいて基底係数情報の出現頻度分布を決 定し、 このように決定された出現頻度分布に基づいて基底係数情報の算術符号化 を行うことで、 変換基底情報のェント口ピー符号化効率の向上が図られる。 また、 上記課題を解決するために、 本発明の画像符号化装置は、 所定の部分画 像領域内における予測残差データの単位要素の個数を示す個数情報を上記部分画 像領域ごとに獲得する個数情報獲得手段と、 符号化対象となる部分画像領域に隣 接する部分画像領域における上記個数情報に応じて当該符号化対象となる部分画 像領域の上記個数情報の出現頻度分布を決定するコンテキスト決定手段と、 上記 決定された出現頻度分布に基づいて上記個数情報の算術符号化を行う可逆符号化 手段とを備えることを特徴とする。
また、 これに対応する画像復号装置は、 所定の部分画像領域内における予測残 差データの単位要素の個数を示す個数情報を上記部分画像領域ごとに復号する可 逆復号手段と、 復号対象となる部分画像領域に隣接する部分画像領域内における 上記個数情報に応じて当該復号対象となる部分画像領域の上記個数情報の出現頻 度分布を決定するコンテキスト決定手段と、 上記決定された出現頻度分布に基づ いて上記個数情報の算術復号を行う算術復号手段とを備えることを特徴とする。 さらに、 上記課題を解決するために、 本発明の画像符号化方法は、 所定の部分 画像領域内における予測残差データの単位要素の個数を示す個数情報を上記部分 画像領域ごとに獲得する個数情報獲得ステツプと、 符号化対象となる部分画像領 域に隣接する部分画像領域における上記個数情報に応じて当該符号化対象となる 部分画像領域の上記個数情報の出現頻度分布を決定するコンテキスト決定ステツ プと、 上記決定された出現頻度分布に基づいて上記個数情報の算術符号化を行う 可逆符号化ステップとを備えることを特徴とする。 また、 これに対応する画像復号方法は、 所定の部分画像領域内における予測残 差データの単位要素の個数を示す個数情報を上記部分画像領域ごとに復号する可 逆復号ステツプと、 復号対象となる部分画像領域に隣接する部分画像領域内にお ける上記個数情報に応じて当該復号対象となる部分画像領域の上記個数情報の出 現頻度分布を決定するコンテキス ト決定ステップと、 上記決定された出現頻度分 布に基づいて上記個数情報の算術復号を行う算術復号ステップとを備えることを 特徴とする。
所定の部分画像領域内における予測残差データの単位要素（ァトム）の個数は、 当該部分画像領域に隣接する部分画像領域における予測残差データの単位要素 (アトム） の個数に大きく依存する。 従って、 隣接する部分画像領域における単 位要素 （アトム） の個数情報に応じて、 符号化対象となる上記所定の部分画像領 域の個数情報の出現頻度分布を決定し、 このように決定された出現頻度分布に基 づいて個数情報の算術符号化を行うことで、 上記個数情報のェント口ピー符号化 効率の向上が図られる。
また、 上記課題を解決するために、 本発明の画像符号化装置は、 所定の部分画 像領域内における予測残差データの単位要素の個数を示す個数情報を上記部分画 像領域ごとに獲得する個数情報獲得手段と、 符号化対象となる部分画像領域の画 像の動き情報を検出する動き検出手段と、 符号化対象となる部分画像領域におけ る画像の動き情報に応じて当該符号化対象となる部分画像領域の上記個数情報の 出現頻度分布を決定するコンテキスト決定手段と、 上記決定された出現頻度分布 に基づいて上記個数情報の算術符号化を行う可逆符号化手段とを備えることを特 徴とする。
また、 これに対応する画像復号装置は、 所定の部分画像領域內における予測残 差データの単位要素の個数を示す個数情報を上記部分画像領域ごとに復号する可 逆復号手段と、 復号対象となる部分画像領域における画像の動き情報を上記部分 画像領域ごとに復号する可逆復号手段と、 上記部分画像領域内における画像の動 き情報に応じて復号対象となる部分画像領域の上記個数情報の出現頻度分布を決 定するコンテキスト決定手段と、 上記決定された出現頻度分布に基づいて上記個 数情報の算術復号を行う算術復号手段とを備えることを特徴とする。
さらに、 上記課題を解決するために、 本発明の画像符号化方法は、 所定の部分 画像領域内における予測残差データの単位要素の個数を示す個数情報を上記部分 画像領域ごとに獲得する個数情報獲得ステツプと、 符号化対象となる部分画像領 域の画像の動き情報を検出する動き検出ステップと、 符号化対象となる部分画像 領域における画像の動き情報に応じて当該符号化対象となる部分画像領域の上記 個数情報の出現頻度分布を決定するコンテキスト決定ステップと、 上記決定され た出現頻度分布に基づいて上記個数情報の算術符号化を行う可逆符号化ステップ とを備えることを特徴とする。
また、 これに対応する画像復号方法は、 所定の部分画像領域内における予測残 差データの単位要素の個数を示す個数情報を上記部分画像領域ごとに復号する可 逆復号ステップと、 復号対象となる部分画像領域における画像の動き情報を上記 部分画像領域ごとに復号する可逆復号ステツプと、 上記部分画像領域内における 画像の動き情報に応じて復号対象となる部分画像領域の上記個数情報の出現頻度 分布を決定するコンテキスト決定ステップと、 上記決定された出現頻度分布に基 づいて上記個数情報の算術復号を行う算術復号ステップとを備えることを特徴と する。
所定の部分画像領域内における予測残差データの単位要素の個数は、 当該所定 の部分画像領域における画像の動き情報に大きく依存する。 従って、 符号化対象 となる部分画像領域における画像の動き情報に応じて当該符号化対象となる部分 画像領域における上記単位要素の個数情報の出現頻度分布を決定し、 このように 決定された出現頻度分布に基づいて個数情報の算術符号化を行うことで、 上記個 数情報のェント口ピー符号化効率の向上が図られる。
また、 上記課題を解決するために、 本発明の画像符号化装置は、 所定の部分画 像領域内における予測残差データの単位要素の表現に用 、る基底係数情報を上記 単位要素ごとに獲得する係数情報獲得手段と、 符号化対象となる部分画像領域内 における予測残差データの検出された順序に応じて当該符号化対象となる部分画 像領域の上記基底係数情報の出現頻度分布を決定するコンテキスト決定手段と、 上記決定された出現頻度分布に基づいて上記基底係数情報の算術符号化を行う可 逆符号化手段とを備えることを特徴とする。
また、 これに対応する画像復号装置は、 所定の部分画像領域内における予測残 差データの単位要素の表現に用いる基底係数情報の復号順序に応じて復号対象と なる部分画像領域の上記基底係数情報の出現頻度分布を決定するコンテキス 卜決 定手段と、 上記決定された出現頻度分布に基づいて上記基底係数情報の算術復号 を行う算術復号手段とを備えることを特徴とする。
さらに、 上記課題を解決するために、 本発明の画像符号化方法は、 所定の部分 画像領域内における予測残差データの単位要素の表現に用レ、る基底係数情報を上 記単位要素ごとに獲得する係数情報獲得ステツプと、 符号化対象となる部分画像 領域内における予測残差データの検出された順序に応じて当該符号化対象となる 部分画像領域の上記基底係数情報の出現頻度分布を決定するコンテキスト決定ス テツプと、 上記決定された出現頻度分布に基づいて上記基底係数情報の算術符号 化を行う可逆符号化ステップとを備えることを特徴とする。
また、 これに対応する画像復号方法は、 所定の部分画像領域内における予測残 差データの単位要素の表現に用いる基底係数情報の復号順序に応じて復号対象と なる部分画像領域の上記基底係数情報の出現頻度分布を決定するコンテキスト決 定ステップと、 上記決定された出現頻度分布に基づいて上記基底係数情報の算術 復号を行う算術復号ステツプとを備えることを特徴とする。
所定の部分画像領域内における予測残差データの単位要素の表現に用いる基底 係数情報は、 当該所定の部分画像領域内における予測残差データの検出された順 序に大きく依存する。 符号化対象となる部分画像領域内における予測残差データ の検出された順序に応じて当該符号化対象となる部分画像領域の上記基底係数情 報の出現頻度分布を決定し、 このように決定された出現頻度分布に基づいて上記 基底係数情報の算術符号化を行うことで、 上記基底係数情報のェント口ピー符号 化効率の向上が図られる。
図面の簡単な説明
図 1は、 実施の形態 1に係る画像符号化装置の構成図である。
図 2は、 実施の形態 1に係る復号装置の構成図である。
図 3 A〜Gは、 マクロブロックを示す図である。
図 4 A， Bは、 マクロブロックとアトムとを示す図である。
図 5は、 可変長符号化部の構成を示す図である。
図 6は、 マクロプロック Cの符号化モード情報に対するコンテキストを定義す る図である。
図 7 A， Bは、 位置情報の値の分布を示す図である。
図 8 A， Bは、 アトム g k„と残差信号 f ( n ) との関係を示す図である。
図 9は、 可変長復号部の構成を示す図である。
図 1 0は、圧縮ストリームのフレーム単位の符号化データ並び（シンタックス） の様子を示す図である。
図 1 1は、 アトム検出順序 κとアトム係数情報との関係を示す図である。
図 1 2は、 アトムの分布の例を示す図である。
図 1 3は、 符号化モード情報の二値化パターンを示す図である。
図 1 4は、 コンテキスト C M 1に対する出現頻度テーブルを示すである。
図 1 5は、 コンテキスト C M 2に対する出現頻度テーブルを示すである。
図 1 6は、 アトム位置情報の二値化パターンを示す図である。
図 1 7は、 コンテキス ト C M 3に対する出現頻度テーブルを示すである。
図 1 8は、 基底インデックスの二値化パターンを示す図である。
図 1 9は、 コンテキス ト C M 4に対する出現頻度テーブルを示すである。 図 2 0は、 マクロブロック内ァトム数の二値化パターンを示す図である。
図 2 1は、 コンテキス ト C M 5に対する出現頻度テーブルを示すである。
図 2 2は、 コンテキスト C M 6に対する出現頻度テーブルを示すである。
図 2 3 A〜Cは、 A C Tの値に応じたァトム検出順序 Kとァトム係数情報との 関係を示す図である。
図 2 4は、 ァトム係数情報の二値化パターンを示す図である。
図 2 5は、 A C Tの値に応じたコンテキスト C M 7に対する出現頻度テ一ブル を示すである。
発明を実施するための最良の形態
(実施の形態 1 )
実施の形態 1に係る画像符号化装置及び復号装置は、 画像フレーム列からなる 映像信号を入力し、 主に、 フレーム間動き補償予測手段と、 符号化モード選択手 段、 テクスチャ信号の圧縮符号化手段とから構成される符号化装置と、 この符号 化装置によって生成された圧縮映像データ （以下、 「ビットス トリーム」 という。） を受信して映像信号を再生する復号装置とから構成される。
図 1を参照して、 実施の形態 1に係る画像符号化装置について説明する。 入力 映像信号 1 0 1は、 フレーム画像の時間系列であり、 以下、 フレーム画像単位の 信号を表すものとする。 フレームは、 1 6画素 X 1 6ライン固定の正方矩形領域 (以下、 「マクロブロック」 という。） に分割され、 その単位で以下の処理が行わ れる。 すなわち、 入力映像信号 1 0 1のマクロブロックデータは、 まず動き検出 部 1 0 2に送られ、 動き検出部 1 0 2において動きべク トル 1 0 5の検出が行わ れる。 動きべク トル 1 0 5は、 フレームメモリ 1 0 3に格納されている過去の符 号化済みフレーム 1 0 4 (以下、 「局所復号画像」 という。） の所定の探索領域を 参照して、符号化しようとするマクロプロックと類似するパターンを見つけ出し、 そのパターンと現在のマクロプロックとの間の空間的移動量を求めたものである。 動きべク トル 1 0 5は 2次元の平行移動量で表現される。 この動きべク トル 1 0 5の検出方法としては、 一般にブロックマッチングなどの手法が用いられる。 動 きベク トル 105を付与する単位は、 図 3A〜Gに示すように、 マクロブロック を種々の矩形領域に均等分割した単位で定義できるようにし、 どのようなプロッ ク形状を使用するかを示す識別情報を符号化モード情報として伝送するようにし てもよい。
ί列えば、 図 3 Αに示す MC (Mo t i o n C omp e n s a t i o n) モー ド 1では、 マクロブロックそのものを動きベク トル付与単位とするため、 マクロ ブロックにっき 1本の動きベク トルが定まる。 それに対し、 図 3 Bに示す MCモ ード 2では、 マクロプロックを左右半分に分割した領域を動きべク トル付与単位 とし、 1マクロブロックあたり 2本の動きベク トルが定まる。 同様に、 図 3Gに 示す MCモード 7では 1マクロプロックあたり 1 6本の動きべク トルが定まる。 また、 動き検出に用いられる局所復号画像は、 過去のフレームだけに限定され るものではなく、 未来のフレームを先に符号化しておきフレームメモリに格納し て使用することもできる。 例えば M P E Gシリーズにおける Bフレーム予測がこ れに該当する。
一方、 過去のフレームのみを使用する予測を Pフレーム予測と呼び、 フレーム 間予測を使用せずに自身のフレーム内で閉じた符号化を行う場合を Iフレームと 呼んで区別している。 未来のフレームを使用すると、 符号化順序の入れ替えが生 じて処理遅延が増えるものの、 過去と未来の間に生じた映像内容の変動を予測し やすくなり、 時間冗長度を更に効果的に削減することができるメリットがある。 動きべク トル 105が求まると、 動き補償部 107において、 動きべク トル 1 05を用いてフレームメモリ内の局所復号画像 104から予測画像 1 06を取り 出す。 動き検出部 102と動き補償部 107とは、 マクロブロックごとに処理を 行うが、 入力映像信号 101との差分信号 （予測残差信号 108) は、 フレーム を単位として得るものとする。 すなわち、 個々のマクロブロックの動きベク トル 105は、 フレーム全体に渡って保持され、 予測画像 106は、 フレーム単位の 画像として構成される。
次に、 ァトム抽出部 1 09において、 予測残差信号 108に対して、 上述した Ma t c h i n g Pu r s u i t sのァノレゴリズムに基づいて、 了トムパラメ ータ 1 1 2が生成される。 基底セット gk l 1 1は、 基底コードブック 1 10に格 納されており、 この中から各部分信号に充てるべき基底を選択する。 アトムの抽 出は、 マクロブロックの構造にとらわれず、 フレーム全域を対象として実施され る。 その実施動作を図 4 A， Bに示す。 図 4A, Bでは、 アトムの位置がマクロ ブロックの構造に依存していないことを示している。 ここで、 図 4A, Bは、 予 測残差フレームを示しており、 図中の点線で区切られている複数の矩形領域はマ クロブロック MBである。 また、 図 4 Bに示すアトム ATの中心位置は、 その中 心位置が存在するマクロブロックと、 そのマクロブロック内の座標によって表現 される。 一方、 アトムの符号化シンタックスとしては、 マクロブロック単位で伝 送できる規則を用いる。 そのため、 数式 （1) からもわかるように、 アトムの符 号化順序が復号画像に影響を与えないことを用いて、 フレームの左上隅を原点と する 2次元座標上で順番に並ぶようにソートを行い、 かつ、 マクロブロックの単 位にアトムをカウントするように符号化順序を構成する。 こうして、 マクロブロ ック単位に、その内部に含まれるアトムの数分だけ、アトムパラメータ 1 1 2 (基 底インデックス、 位置情報、 基底係数） を符号化する構成とする。 また、 マクロ ブロック内に何個のァトムが含まれるのかを示す情報 （マクロプロック内アトム 数） も符号化する。 これらのアトムパラメータは、 可変長符号化部 1 1 3によつ てェントロピー符号化された後、圧縮ストリーム 1 14として伝送'記録される。 ァトム復号部 1 15では、 これらのァトムパラメータ 1 1 2から局所復号残差 信号 1 16を復元し、 予測画像 106と加算することによって、 局所復号画像 1 1 7を得る。 局所復号画像 1 1 7は、 次のフレームの動き補償予測に用いられる ため、 フレームメモリ 103に格納される。
次に、 図 2を参照して、 実施の形態 1に係る復号装置について説明する。 この 復号装置では、 圧縮ストリーム 1 1 4を受信した後、 可変長復号部 1 1 8で各フ レームの先頭を表す同期ワードを検出し、 以後、 マクロブロック単位に、 動きべ ク トノレ 1 0 5、 了トムパラメータ 1 1 2がー意に復元される。 動きべク トノレ 1 0 5は、 動き補償部 1 0 7に送られ、 予測画像 1 0 6を得る。 ア トムパラメータ 1 1 2は、 ァトム復号部 1 1 5で復号される。 基底は、 基底コードブック 1 1 0に 基底インデックスを与えることで取り出される。 アトム復号部 1 1 5の出力 1 1 6は、 予測画像 1 0 6と加算され、 復号画像 1 1 7となる。 復号画像 1 1 7はこ れ以降のフレームの動き補償予測に用いられるため、 フレームメモリ 1 0 3に格 納される。復号画像 1 1 7は、所定の表示タイミングで表示デバイスへ出力され、 映像が再生される。
次に、 本発明のボイントとなる可変長符号化部 1 1 3、 及び可変長復号部 1 1 8について説明する。 可変長符号化部 1 1 3、 及び可変長復号部 1 1 8は、 図 1 の画像符号化装置において得られるァトムパラメータに対して、 個々のパラメ一 タにおける近傍領域間の依存関係ゃ各パラメータ間の依存関係を用いて、 出現頻 度テーブルを適応的に切り替えることによって、 状況に応じて最も適した出現頻 度テーブルを用いるようにし、 算術符号化の符号化効率を向上させる。
図 5に、 可変長符号化部 1 1 3の構成を示す。 図 5において、 入力 1 1 9は、 上述したアトムパラメータ 1 1 2に加え、 当該マクロブロックの符号化モード情 報も含めるものとする。 実施の形態 1では、 入力 1 1 9のうち、 以下の情報に対 してコンテキス トを定義する。
①符号化モード情報
②位置情報
③基底を示すインデックス
④マクロブ口ック内ァトム数
これらの情報は、 出現頻度テーブルをビット単位で切り替えられるようにする ため、二値化処理部 1 2 1において所定の規則で二値化される。これにより、 0、 1の出現頻度のテーブルが二値化後のビット位置に応じて切り替わるように構成 される。 出現頻度テーブルの切替えは、 コンテキスト決定部 1 20において行わ れる。 コンテキス ト決定部 1 20は、 二値化処理部 1 21から与えられる符号化 対象のビット位置 1 25に応じて、 その時点でのコンテキス 卜に適した出現頻度 テープノレ 1 23を決定し、 算術符号化部 1 24へ与える。
次に、 各情報に対するコンテキス トの定義について説明する。
(1) 符号化モード情報と対応コンテキス ト
入力 1 1 9のうち、 符号化モード情報とは、 例えば、 当該マクロブロックが図 3 A〜Gに示したいずれかの動きべク トル付与単位で符号化されているか、 ある いはフレーム間 （インター） 符号化されているかフレーム内 （イントラ） 符号化 されているかなどの情報をマクロプロックの符号化データとして復号装置に与え るものである。 実施の形態 1では、 この符号化モードの選択肢を、 例えば以下の ように定める。
符号化モード 1 ： スキップ
符号化モード 2 ： MCモード 1 (図 3 A アトムなし
符号化モード 3 ： MCモード 2 (図 3 B アトムなし
符号化モード 4 ： MCモード 3 (図 3 C アトムなし
符号化モード 5 ： MCモード 4 (図 3D アトムなし
符号化モード 6 ： MCモード 5 (図 3 E アトムなし
符号化モード 7 ： MCモード 6 (図 3 F アトムなし
符号化モード 8 ： MCモード 7 (図 3G ア トムなし
符号化モード 9 イントラ符号化、 アトムなし
符号化モード 10 ： MCモード 1 (図 3 A 、 アトムあり
符号化モード 1 1 ： MCモード 2 (図 3 B 、 アトムあり
符号化モード 12 ： MCモード 3 (図 3 C 、 ァトムあり
符号化モード 1 3 ： MCモード 4 (図 3D 、 ァトムあり 符号化モード 14 : MCモード 5 (図 3 E)、 ア トムあり
符号化モード 1 5 ： MCモード 6 (図 3 F)、 ア トムあり
符号化モード 1 6 ： MCモード 7 (図 3 G)、 ア トムあり
符号化モード 1 7 ： イントラ符号化、 アトムあり
ここで、 符号化モード 1の 「スキップ」 とは、 動きベク トルがゼロでアトムも 符号化しないケースで、 これは参照画像の空間的に同位置の画像をそのままコピ 一するモードに該当する。 符号化モード 2〜8は、 図 3 A〜Gにおける個々の M Cモードに対応した動きべク トルが存在するが、 残差として符号化すべきァトム がない場合、 符号化モード 10〜 1 6は、 図 3 A〜Gにおける個々の MCモード に対応した動きべク トルが存在し、 残差として符号化すべきァトムがある場合、 符号化モード 9は、 イントラ符号化を行う場合であって、 残差として符号化すベ きアトムがない場合、 符号化モード 1 7はイントラ符号化を行う場合であって、 残差として符号化すべきアトムがある場合である。 なお、 ここではイントラ符号 ィ匕とは、 DC成分のみの符号化を想定しており、 AC成分は残差の形でアトムで 符号化されることを想定している。
符号化モード情報に対するコンテキス トは、 図 6に示すように定義する。 図 6 において、 A〜Cは、 隣接し合うマクロブロックを示しており、 マクロブロック Cの符号化モード情報に対するコンテキストを以下のように定義する。
CM 1 = g (A) + 2 X g (B)
ここで g (X) =0 (マクロブロック Xの符号化モードが 「スキップ」 のとき）
= 1 (上記以外のとき）
CM2 = h (A) + 2 X h (B)
ここで h (X) =0 (マクロブロック Xにアトムが無いとき）
= 1 (上記以外のとき）
ここで、 CM1は、 A又は Bがスキップモードであるか否かをコンテキストと する。 例えば、 Aも Bもスキップの場合、 CM1 =0となり、 Aも Bもスキップ でない場合は、 C M 1 = 3となる。 画像信号の性質から、 明らかに C M 1の値の 違いはマクロプロック Cの符号化モード情報の出現頻度に影響を与えるため、 C M lの値に応じて出現頻度テーブルを切り替えることにより、 算術符号化の効率 改善が見込まれる。 同時に、 C M 2では、 A又は Bが残差として符号化すべきァ トムを含んでいるかどうかをコンテキス トとする。 これも C M 1と同様、 周辺の 状況に応じて、 マクロブロック Cの中にァトムがあるか否かの頻度が変わってく るため、 C M 2の値に応じて出現頻度テーブルを切り替える。
二値化処理部 1 2 1は、 C M 1及び C M 2がそれぞれ、 第 1 ビッ ト目、 第 2ビ ット目に対応するように、 符号化モード 1〜： L 7の符号化モード情報の二値化を 実施する。 これによつて、 ビット位置に応じた出現頻度テーブルの切替えを行う ようにする。 また、 上記コンテキス トは、 常に、 左及び上のマクロブロックの情 報を必要とするため、 これ以降のマクロブロックにおけるコンテキスト判断のた め、 現在のマクロブロックの符号化モード情報をコンテキス ト決定部 1 2 0にバ ッファリングしておく。
図 1 3に符号化モード情報の二値化処理の一例を、 図 1 4に第 1ビット目に対 する 4種類の出現頻度テーブル、 図 1 5に第 2ビット目に対する 4種類の出現頻 度テーブルの一例を示す。
以下に本発明による符号化モード情報の算術符号化を図 1 4および図 1 5を用 いて説明する。 例えば、 図 6において符号化対象となっているマクロブロック C に隣接するマクロブロック Aおよびマクロブロック Bの符号化モード情報がいず れもスキップであった場合には、 上記に示した式により算出される C M 1の値は 0となる。 この場合、 マクロブロック Cの符号化モード情報もスキップである可 能性が高いと考えられ、 図 1 4に示すように、 符号化モード情報の二値化処理後 の第 1ビット目が 0となる （すなわちスキップモードが選択される） 確率が高い テーブルである C M 1 = 0に対応する出現頻度テーブルを選択するよう動作する。 同様に例えばマクロブロック Aおよびマクロブロック Bの符号化モ一ド情報が いずれもスキップモードでない場合には、 上記に示した式により算出される CM 1の値は 3となる。 この場合、 マクロブロック Cの符号化モード情報もスキップ となる可能性は低いと考えられ、 図 1 4に示すように、 符号化モード情報の二値 化処理後の第 1ビッ ト目が 0となる確率が低いテーブルである C M 1 = 3に対応 する出現頻度テーブルを選択するよう動作する。
また、 同様に例えばマクロブロック Aおよびマクロブロック Bの符号化モード 情報がいずれもァトムが存在しないモードである場合には、 上記に示した式によ り算出される C M 2の値は 0となる。 この場合、 マクロブロック Cの符号化モー ド情報もアトムが存在しないモードとなる可能性が高いと考えられ、 図 1 5に示 すように、 符号化モード情報の二値化処理後の第 2ビット目が 0となる （すなわ ちアトムが存在しないモードが選択される） 確率が高いテーブルである、 C M 2 = 0に対応する出現頻度テーブルを選択するよう動作する。
同様に例えばマクロプロック Aおよびマクロブロック Bの符号化モード情報が いずれもァトムが存在するモードである場合には、 上記に示した式により算出さ れる C M 2の値は 3となる。 この場合、 マクロブロック Cの符号化モード情報は ァトムが存在しないモードとなる可能性は低いと考えられ、図 1 5に示すように、 符号化モード情報の二値化処理後の第 2ビット目が 0となる （すなわちァトムが 存在しないモードが選択される） 確率が低いテーブルである、 CM 2 = 3に対応 する出現頻度テーブルを選択するよう動作する。
( 2 ) 位置情報と対応コンテキスト
入力 1 1 9のうち、 位置情報とは、 当該マクロブロック内におけるアトムの位 置を、 それらの差分として表現するデータである。 図 7 A , Bに示すように、 位 置情報の値の分布はマクロプロック内ァトム数に大きく依存する。 例えば図 7 A に示すように、 マクロブロック内にアトムが少なければ、 アトム間の距離は遠く なり、図 7 Bに示すように、ァトムが多ければ必然的にァトム間の距離が縮まる。 すなわち、 マクロブロック内アトム数の値に応じて、 位置情報の頻度分布が変わ つてくるため、 これに基いてコンテキストを以下のように定める。
C M 3 = 0 (N a = 1のとき）
= 1 ( 2≤N a≤4のとき）
= 2 ( 5≤N a≤ 9のとき）
= 3 (上記以外のとき）
ここで、 N aは、 マクロブロック内アトム数を示す。 C M 3は、 マクロブロック 内ァトム数が所定の範囲内にある場合に、 その時の位置情報の頻度分布を最もよ く反映するように出現頻度テーブルを指定するための値である。
二値化処理部 1 2 1は、 C M 3が第 1ビット目の出現頻度の切替に使用できる よう、 位置情報の二値化を実施する。
図 1 6にアトムの位置情報の二値化処理の一例を、 図 1 7に第 1ビット目に対 する 4種類の出現頻度テーブルの一例を示す。
以下に本発明によるァトムの位置情報の算術符号化を図 1 6および図 1 7を用 いて説明する。 例えば、 符号化対象マクロブロックにおけるマクロブロック内ァ トム数が 1つであった場合には、 上記に示した式により算出される C M 3の値は 0となる。 この場合、 マクロブロック Cにおけるアトムの位置情報 （すなわち、 アトム間距離） は大きい値となる可能性が高いため、 図 1 7に示すように、 アト ムの位置情報のニイ直化処理後の第 1ビット目が 0となる （すなわちァトムの位置 情報が 0〜 3の値を取る） 確率が低いテーブルである C M 3 = 0に対応する出現 頻度テ一ブルを選択するよう動作する。
同様に例えばマクロブロック Cのマクロブ口ック内ァトム数が 1 0個であった 場合には、 上記に示した式により算出される C M 3の値は 3となる。 この場合、 マクロブロック Cにおけるアトム間の距離は小さな値をとる可能性が高くなるた め、 図 1 7に示すように、 アトムの位置情報の二値化処理後の第 1ビッ 卜目が 0 となる （すなわちアトムの位置情報が 0〜3の値を取る） 確率が高いテーブルで ある C M 3 = 3に対応する出現頻度テーブルを選択するよう動作する。 (3) 基底インデックスと対応コンテキス ト
入力 1 1 9のうち、基底インデックスとは、当該マクロブロック内における個々 のァトムの基底係数を特定するためのインデックス番号である。 図 8 Aに示すよ うに、 アトム抽出の第 nステップ目の残差信号 f (n) において、 電力が大きく ステップエッジのような急峻な波形変化を含むような残差信号が局在している場 合、 それ以降のァトム抽出ステップにおいて複数のァトムが同一箇所で集中的に 抽出される確率が高い。 f (n) から抽出されたアトム gknを差し引いて得られ る残差信号 f (n+ 1) は、 図 8 Bに示すようにより小さい波形に分割されるた め、 第 n+ 1ステップ以降で抽出されるァトムはその基底のサイズがより小さい ものになる傾向が現れる。 従って、 もし基底のサイズがより大きい基底に対して より小さいインデックス番号を、 基底のサイズがより小さい基底に対してより大 きいインデックス番号を割り当てるように基底コードブックを構成すれば、 マク ロブ口ック内ァトム数が多いマクロプロックでは、 ァトムの基底ィンデッタスの 出現頻度分布は大きい値の方に偏る傾向がある。 これを利用して、 コンテキス ト を次のように定める。
CM4 = 0 (N a = 1のとき）
= 1 (2≤Na≤4のとき）
=2 (5≤Na≤ 9のとき）
=3 (上記以外のとき）
ここで、 N aは、 マクロブロック内アトム数を示す。 CM4は、 マクロブロック 内ァトム数が所定の範囲内にある場合に、 その時の基底インデックスの頻度分布 を最もよく反映するように出現頻度テーブルを指定するための値である。 二値ィ匕 処理部 1 21は、 CM 4が第 1ビット目の出現頻度の切替に使用できるよう、 基 底ィンデッタスの二値化を実施する。
図 18にァトムの基底インデックスの二値化処理の一例を、 図 1 9に第 1ビッ ト目に対する 4種類の出現頻度テーブルの一例を示す。 以下に本発明によるァトムの基底インデックスの算術符号化を図 1 8および図 1 9を用いて説明する。 例えば、 符号化対象マクロブロックにおけるマクロプロ ック内アトム数が 1つであった場合には、 上記に示した式により算出される CM 4のィ直は 0となる。 この場合、 マクロプロック Cにおけるアトムの基底インデッ タスが大きい値となる可能性は低いため、 図 1 9に示すように、 アトムの基底ィ ンデッタスの二値化処理後の第 1ビット目が 0となる （すなわちァトムの基底ィ ンデッタスが 0〜 3の値を取る） 確率が高いテーブルである C M 4 = 0に対応す る出現頻度テーブルを選択するよう動作する。
同様に例えばマクロブロック Cのマクロブロック内ァトム数が 1 0個であった 場合には、 上記に示した式により算出される C M 4の値は 3となる。 この場合、 マクロブロック Cにおけるァトムの基底インデックスが大きい値となる可能性が 高くなるため、 図 1 9に示すように、 アトムの基底インデックスの二値化処理後 の第 1ビット目が 0となる （すなわちァトムの基底インデックスが 0〜 3の値を 取る） 確率が低いテーブルである C M 4 = 3に対応する出現頻度テーブルを選択 するよう動作する。
( 4 ) マクロブロック内アトム数と対応コンテキスト
入力 1 1 9のうち、 マクロプロック内ァトム数とは、 当該マクロブロック内に おけるアトムの個数 N aである。 前述したように、 図 8 A , Bにおいてアトム抽 出の第 nステップ目の残差信号 f ( n ) において、 電力が大きくステップエッジ のような急峻な波形変化を含むような残差信号が局在している場合、 それ以降の ァトム抽出ステップにおいて複数のァトムが同一箇所で集中的に抽出される確率 が高い。 従って、 隣接するマクロブロック内のアトム数が多ければ、 当該マクロ ブロックにおけるアトム数も多くなる可能性が高くなる。 逆に、 隣接するマクロ ブロック内のァトム数が少なければ、 当該マクロブロックにおけるァトム数も少 なくなる可能性が高くなる。 画面内のアトムの典型的な分布の一例を図 1 2に示 す。 図 1 2において、 白い部分がアトム A Tである。 ここで、 図 6に示すように 当該マクロブロック Cの上に隣接するマクロブロックを A、 左に隣接するマク口 ブロックを Bとし、 A， Bのそれぞれのマクロブロック内アトム数を N a (A)、 N a (B) とする。 マクロブロック内アトム数に対するコンテキストを次のよう に定める。
CM5 = 0 (N a (A) +N a (B) < 3のとき）
= 1 (3≤N a (A) +N a (B) のとき）
=2 (6≤N a (A) +N a (B) ≤ 9のとき）
=3 (上記以外のとき）
CM5は、 隣接するマクロブロック内のァトム数が所定の範囲内にある場合に、 その時の当該マクロブロック内のァトム数の頻度分布を最もよく反映するように 出現頻度テーブルを指定するための値である。 二値化処理部 1 21は、 CM5が 第 1ビット目の出現頻度の切替に使用できるよう、 マクロブロック内ァトム数の 二値化を実施する。
図 20にマクロブロック内ァトム数の二 化処理の一例を、 図 21に第 1ビッ ト目に対する 4種類の出現頻度テーブルの一例を示す。
以下に本発明によるマクロプロック内ァトム数の算術符号化を図 20および図 21を用いて説明する。 例えば、 図 6において符号化対象となっているマクロブ 口ック Cに隣接するマクロブ口ック Aおよびマクロブ口ック Bにおけるマクロブ 口ック内アトム数の合計数が 1であった場合には、 上記に示した式により算出さ れる CM5の値は 0となる。 この場合、 マクロブロック Cにおけるマクロプロッ ク内アトム数は少なくなる可能性が高いため、 図 21に示すように、 マクロブロ ック内ァトム数の二値化処理後の第 1ビット目が 0となる （すなわちマクロブロ ック内ァトム数が 1〜 2の値を取る） 確率が高いテーブルである CM5 = 0に対 応する出現頻度テーブルを選択するよう動作する。
同様に例えばマクロブロック Aおよびマクロブロック Bにおけるマクロブ口ッ ク内アトム数の合計数が 10個であった場合には、 上記に示した式により算出さ れる CM 5の値は 3となる。 この場合、 マクロブロック Cにおけるマクロブロッ ク内アトム数は多くなる可能性が高くなるため、 図 2 1に示すように、 マクロブ 口ック内ァトム数の二値化処理後の第 1ビット目が 0となる （すなわちマクロブ ロック内ァトム数が 1〜2の値を取る） 確率が低いテーブルである CM 5 = 3に 対応する出現頻度テーブルを選択するよう動作する。
また、 別の例では、 マクロブロック内アトム数に対するコンテキストを次のよ うに定めてもよい。
CM6 = 0 (Ma x (MVDx2) +Ma x (MVD y 2) く 10のとき）
= 1 (上記以外のとき）
ここで、 MVD Xおよび MVD yは当該マクロブロックにおける動きベク トルの 水平成分 MVxおよび垂直成分 MVyとその予測値 PMVx， PMVyとの差分 値である差分動きベク トルであり、 予測値 PMVx, PMVyは例えば MPEG 一 4や H. 26 Lなどの符号化方式で用いられているように、 近傍のマクロブロ ックにおける動きベク トルの値のメディアン値を用いる。 また、 Ma x ( X ) は マクロブロック内の全ての差分動きべク トル Xのうち差分動きべクトルの絶対値 が最大値を与える差分動きべク トルに対する処理であることを意味する。
マクロブロック内の差分動きべク トルの大きさが大きければ大きいほど当該マ クロプロックにおける画像の動きは複雑であるため、 残差信号の電力は大きくな る傾向がある。 従って、 このようなマクロブロックにアトムが集中しやすい。 従って、 CM 6を当該マクロブロック内のアトム数の頻度分布を最もよく反映す るように出現頻度テーブルを指定するための値として用いることによって、 符号 化効率を高めることができる。 二値化処理部 1 2 1は、 CM6が第 1ビット目の 出現頻度の切替に使用できるよう、 マクロプロック内アトム数の二値化を実施す る。
図 22にマクロブロック内ァトム数の二値化処理後の第 1ビッ ト目に対する 4 種類の出現頻度テーブルの一例を示す。 以下に本発明によるマクロプロック内ァトム数の算術符号化の別の例を図 20 および図 22を用いて説明する。 例えば、 符号化対象となっているマクロブロッ クの差分動きべク トルが 4つあり、 それぞれ MV 1 = (0， 1)、 MV 2 = (2, 一 1)、 MV 3 = (一 2， 一2)、 MV 4 = (0， 0) であった場合、 MV 1から M V 4のうち絶対 が最大となる MV3に対して上記に示した式を適用すること により算出される CM6の値は 0となる。 この場合、 符号化対象マクロブロック における動きはあまり複雑ではないと考えられ、 マクロブロック内ァトム数は少 なくなる可能性が高いため、 図 22に示すように、 マクロブロック内アトム数の 二値化処理後の第 1ビット目が 0となる （すなわちマクロプロック内ァトム数が 1~ 2の値を取る） 確率が高いテーブルである CM6 = 0に対応する出現頻度テ —ブルを選択するよう動作する。
同様に例えば、 符号化対象となっているマクロブロックの差分動きべク トルが 2つあり、 それぞれ MV 1 = (0, 1)、 MV 2 = (3, —2) であった場合、 M V 1と MV 2のうち絶対値が最大となる MV 2に対して上記に示した式を適用す ることにより算出される CM6の値は 1となる。 この場合、 符号化対象マクロブ 口ックにおける動きは複雑であると考えられ、 マクロブロック内ァトム数は多く なる可能性が高いため、 図 22に示すように、 マクロブロック内アトム数の二値 化処理後の第 1ビット目が 0となる （すなわちマクロブロック内ァトム数が 1〜 2の値を取る） 確率が低いテーブルである CM 6 = 1に対応する出現頻度テープ ルを選択するよう動作する。
尚、 本実施の形態 1においては、 コンテキス トを決定する数式に閾値として具 体的な数値を用いて例を示したが、 もちろん本発明はこれらの数値に限定される ことなく適用することができる。
図 9に、 可変長復号部 1 18の構成を示す。 可変長復号部 1 18は、 圧縮スト リーム 1 14を入力とし、 可変長符号化部 1 1 3と同様に、 コンテキス ト決定部 1 20で定められたコンテキストに応じてビット単位で出現頻度テーブル 1 23 (可変長符号化部 1 1 3と同じテーブル定義） を切り替えて、 算術復号部 1 2 6 において二値化データへ算術復号していく。 復元された二値化データ 1 2 2は、 符号化側と同じ規則に従って、 逆二値化処理部 1 2 7において最終的な復号デ一 タ 1 1 9に変換される。 すなわち、 エントロピー符号化であるため、 可変長符号 化部 1 1 3への入力 1 1 9と同一の無歪み復号値が得られる。復号データのうち、 以降のマクロブロックの復号処理のコンテキスト決定に用いられるデータは、 コ ンテキス ト決定部 1 2 0に送られ、 バッファリングされる。
(実施の形態 2 )
実施の形態 2では、 実施の形態 1における符号化 ·復号装置において、 アトム パラメータを、 マクロブロックの単位ではなく、 フレームの単位で符号化 .復号 化する装置について説明する。 図 1 0に圧縮ストリーム 1 1 4のフレーム単位の 符号化データ並び （シンタックス） の様子を示す。 フレームのタイムスタンプや 初期パラメータ、 アクティビティ情報 （詳細は後述） などを格納するフレームへ ッダに続いて、 例えば、 実施の形態 1で述べたマクロブロックなどを固定ブロッ ク単位で動きに関する情報をまとめて多重する。 ここで、 カウンタ Nとは、 マク ロブロックのフレーム内の個数であり、 一般に、 画像サイズに対して一意に決ま る定数である。 次に、 同期ワードを挿入する。 この同期ワードは、 当該フレーム のァトムパラメータの始まりを示すユニークな符号である必要がある。 この同期 ワードの揷入により、 復号装置は、 マクロブロック単位に符号化される動き情報 と、 フレーム単位に符号化されるア トムパラメータとを事前に分離して、 それぞ れの復号処理プロックに並列処理させることができるため、 復号処理の高速化を 図ることが可能となる。 また、 回線誤りなどの場合に、 同期ワードよりも後で誤 りが発生したことが確認された場合は、 動き情報のみで誤り隠蔽処理を行うなど の柔軟性も確保することができる。 同期ワードに続いて、 フレーム内で検出され た順序でアトムパラメータを多重する。 ここで、 アトムパラメータのカウンタ M は、 一般にフレーム毎に変動し、 既知ではない。 カウンタ Mを確定させるための 手段としては、 同期ワード自体にカウンタ Mの値を埋め込んだり、 各アトムパラ メータの先頭の情報である位置情報に、 T e r m i n a t e符号を設け、 T e r m i n a t e符号を検出した時点で当該フレームのアトムパラメータの復号処理 を終了するなどの方法がある。
各アトムパラメータは、 フレーム内で検出された順序に符号化される。 以降、 検出された各ァトムに対する基底係数をアトム係数情報、 またはアトム係数と呼 ぶこととする。 アトムは通常、 映像情報における重要な箇所から順に符号化され る。 一般に、 映像情報における本質的な情報は、 動きの度合いにあり、 動きが大 きくフレーム間予測残差電力が大きい箇所から順番に抽出されるよう制御される。 このような規則に従ってアトムが検出される場合、 図 1 1に示すように、 アトム 係数情報は、 検出開始当初は大きな値になるが、 各ア トムによって徐々に電力が 取り除かれることで、 検出されるたびに係数情報の値は小さくなっていく傾向が ある。 このことにより、 K番目のア トム係数情報は、 直前に多重される K— 1番 目のアトム係数情報との間に強い相関関係を有すると言える。 そこで、 K番目の アトム係数は、 K— 1番目のァトム係数からの差分情報として符号化する。 ただ し、 フレーム間予測残差信号の状況によっては、 同一電力を有する箇所が複数に 分散するなどして図 1 1における分布からはずれるケースもある。
従って、 このような残差信号分布をクラス分けするァクティビティ情報をフレ ームヘッダに挿入しておき、 このアクティビティ情報に従って、 アトム係数情報 の出現頻度テーブルを切り替えて算術符号化を実施するように構成する。 これに より、 フレーム毎に変動するァトム係数分布に適応した算術符号化を行うことが 可能となる。
具体的には、 例えばフレーム間予測残差信号の電力 Eの分布における分散ィ直を ひとし、 分散値 σの値に応じて以下の式によってクラス分けを行う。
A C Τ = 0 ( σ < Τ Η 1のとき）
= 1 ( Τ Η 1≤ σ < Τ Η 2のとき） = 2 (上記以外のとき）
ただし、 ACTはクラス分けされたアクティビティ情報、 TH 1および TH 2は 予め設定された閾値である。
このようにしてクラス分けされたァクティビティ情報 ACTに対する典型的な アトム係数情報の分布を図 2 3 A〜Cに例示する。 このように、 ACTのィ直が大 きいほどァトム係数情報はァトム検出順序 Kが大きくなるにつれて大きい値から 小さい値まで大きい範囲で変化する。 逆に ACTの値が小さいほどァトム係数情 報はアトム検出順序 Kが変化してもあまり大きい範囲にわたって変化しない。 ァトム係数情報のコンテキストは以下の式によって決定する。
CM7 = 0 (K= lのとき）
= 1 (2≤K< 1 0のとき）
= 2 (上記以外のとき）
ただし、 Κはアトム検出順序である。 Κ番目のアトム係数情報は上述したように Κ- 1番目のアトム係数と Κ番目のァトム係数との差分情報として符号化する。 図 2 3に示したように、 Κの値が大きくなるにつれてこの差分情報は小さくなる 傾向がある。
以下に本発明によるァトム係数情報の算術符号化の例を図 24および図 2 5を 用いて説明する。 まず、 動き補償部 1 0 7において生成されるフレーム間予測残 差信号よりァクティビティ情報 ACTを算出する。 例えば画面の動きがあまり複 雑でなく、 フレーム間予測残差信号の電力の分布があまり分散していない場合に は、 分散値 σ が小さい値となり、 ACTの値は 0となる。 この場合、 アトム検出 順序 Kによらずあまりアトム係数が変化しないため、 図 2 5に示すように、 アト ム係数情報の二値化処理後の第 1ビッ ト目が 0となる （すなわち、 ァトム係数情 報が 0〜 3の値を取る） 確率がそれぞれの CM 7に対して比較的高いテーブルセ ットである AC T = 0に対するテーブルセットが選ばれるよう動作する。
逆に例えば画面の動きが複雑で、 フレーム間予測残差信号の電力の分布が広く 分散している場合には、分散値 σ が大きい値となり、 A C Tの値は例えば 2とな る。 この場合、 アトム係数の変化が大きいため、 図 2 5に示すように、 アトム係 数情報の二値化処理後の第 1ビット目が 0となる （すなわち、 ァトム係数情報が 0〜 3の値を取る） 確率がそれぞれの C M 7に対して比較的高くないテーブルセ ットである A C T = 2に対するテーブルセットが選ばれるよう動作する。
次に、 それぞれの検出順序 Κに応じて上記の式より C M 7の値を算出する。 例 えば最初に検出されたァトムに対しては検出順序 K = 1であるため、 C M 7の値 は 0となる。 この場合、 先に A C Tの値に応じて選択されたテーブルセッ トのう ち、 CM 7 = 0に対応する出現頻度テーブルを選択するよう動作する。 また、 例 えば 1 0番目に検出されたアトムに対しては検出順序 K = 1 0であるため、 CM 7の値は 2となる。 この場合、 先に A C Tの値に応じて選択されたテーブルセッ トのうち、 C M 7 = 2に対応する出現頻度テーブルを選択するよう動作する。 以上のように構成すれば、 画面全体の動き情報およびァトム検出順序に応じて ァトム係数情報の算術符号化に用いる出現頻度テーブルを適切に選択することが できるため、 符号化効率を向上させることが可能となる。 また、 復号側では上述 した符号化方法によって符号化された圧縮ス 卜リームのフレームヘッダに含まれ ている上記ァクティビティ情報を復号し、 復号されたァクティビティ情報に応じ て符号化側と同様の方法でテーブルセットを選択することによって正しく復号す ることができる。 また、 アトム係数を復号する際には、 先に復号されたマクロブ ロック内ァトム数に応じて符号化側と同様の方法で出現頻度テーブルを選択する ことによって正しく復号することができる。
産業上の利用可能性
本発明は、 動画像の符号化装置、 あるいは復号装置として利用可能である。

Claims

言青求の範囲
1 . 所定の部分画像領域内における予測残差データの単位要素の位置を示す位 置情報を前記部分画像領域ごとに獲得する位置情報獲得手段と、
前記部分画像領域内に存在する予測残差データの単位要素の数に応じて、 符号 化対象である部分画像領域内の前記位置情報の出現頻度分布を決定するコンテキ ス ト決定手段と、
前記決定された出現頻度分布に基づいて前記位置情報の算術符号化を行う可逆 符号化手段と
を備えることを特徴とする画像符号化装置。
2 . 前記位置情報の種類を二値化して表現する二値化手段を備え、
前記コンテキスト決定手段は、 二値化データの各ビット位置に応じて複数の出 現頻度分布の中から特定の出現頻度分布を決定する
ことを特徴とする請求項 1記載の画像符号化装置。
3 . 所定の部分画像領域内における予測残差データ分布のクラス分けを行い、 クラス情報を前記部分画像領域ごとに獲得する予測残差分布クラス分け手段と、 前記部分画像領域のクラス情報に基づいて、 前記部分画像領域内における予測 残差データの単位要素の表現に用レ、る基底係数情報の出現頻度分布を決定するコ ンテキス ト決定手段と、
前記決定された出現頻度分布に基づいて前記基底係数情報の算術符号化を行う 可逆符号化手段と
を備えることを特徴とする画像符号化装置。
4 . 所定の部分画像領域内における予測残差データの単位要素の位置を示す位 置情報を前記部分画像領域ごとに復号する可逆復号手段と、
前記部分画像領域内に存在する予測残差データの単位要素の数に応じて、 復号 対象である部分画像領域内の前記位置情報の出現頻度分布を決定するコンテキス ト決定手段と、 前記決定された出現頻度分布に基づいて前記位置情報の算術復号を行う算術復 号手段と
を備えることを特徴とする画像復号装置。
5 . 前記算術復号手段から出力されるビット系列を、 予め定められた規則で前 記位置情報を示す情報に変換する逆二値化手段を備え、
前記コンテキスト決定手段は、 前記算術復号手段で処理される各ビット位置に 応じて複数の出現頻度分布の中から特定の出現頻度分布を決定する
ことを特徴とする請求項 4記載の画像復号装置。
6 . 所定の部分画像領域内における予測残差データ分布のクラス情報、 及び前 記部分画像領域内における予測残差データの単位要素の表現に用レ、る基底係数情 報を復号する可逆復号手段と、
前記クラス情報に基づいて、 前記部分画像領域内における予測残差データの単 位要素の表現に用いる基底係数情報の出現頻度分布を決定するコンテキスト決定 手段と、
前記決定された出現頻度分布に基づいて前記基底係数情報の算術復号を行う算 術復号手段と
を備えることを特徴とする画像復号装置。
7 . 所定の部分画像領域内における予測残差データの単位要素の個数を示す個 数情報を前記部分画像領域ごとに獲得する個数情報獲得手段と、
符号化対象となる部分画像領域に隣接する部分画像領域における前記個数情報 に応じて当該符号化対象となる部分画像領域の前記個数情報の出現頻度分布を決 定するコンテキス ト決定手段と、
前記決定された出現頻度分布に基づいて前記個数情報の算術符号化を行う可逆 符号化手段と
を備えることを特徴とする画像符号化装置。
8 . 前記個数情報の種類を二値化して表現する二値化手段を備え、 前記コンテキスト決定手段は、 二値化データの各ビット位置に応じて複数の出現 頻度分布の中から特定の出現頻度分布を決定する
ことを特徴とする請求項 7記載の画像符号化装置。
9 . 所定の部分画像領域内における予測残差データの単位要素の個数を示す個 数情報を前記部分画像領域ごとに復号する可逆復号手段と、
復号対象となる部分画像領域に隣接する部分画像領域内における前記個数情報 に応じて当該復号対象となる部分画像領域の前記個数情報の出現頻度分布を決定 するコンテキス ト決定手段と、
前記決定された出現頻度分布に基づいて前記個数情報の算術復号を行う算術復 号手段と
を備えることを特徴とする画像復号装置。
1 0 . 前記算術復号手段から出力されるビット系列を、 予め定められた規則で 前記個数情報を示す情報に変換する逆二値化手段を備え、
前記コンテキスト決定手段は、 前記算術復号手段で処理される各ビット位置に 応じて複数の出現頻度分布の中から特定の出現頻度分布を決定する
ことを特徴とする請求項 9記載の画像復号装置。
1 1 . 所定の部分画像領域内における予測残差データの単位要素の位置を示す 位置情報を前記部分画像領域ごとに獲得する位置情報獲得ステップと、
前記部分画像領域内に存在する予測残差データの単位要素の数に応じて、 符号 化対象となる部分画像領域内の前記位置情報の出現頻度分布を決定するコンテキ ス ト決定ステップと、
前記決定された出現頻度分布に基づいて前記位置情報の算術符号化を行う可逆 符号化ステップと
を含むことを特徴とする画像符号化方法。
1 2 . 前記位置情報の種類を二値化して表現する二値化ステップを含み、 前記コンテキスト決定ステップでは、 二値化データの各ビット位置に応じて複 数の出現頻度分布の中から特定の出現頻度分布を決定する
ことを特徴とする請求項 1 1記載の画像符号化方法。
1 3 . 所定の部分画像領域内における予測残差データ分布のクラス分けを行い、 クラス情報を前記部分画像領域ごとに獲得する予測残差分布クラス分けステップ と、
前記部分画像領域のクラス情報に基づいて、 前記部分画像領域内における予測 残差データの単位要素の表現に用いる基底係数情報の出現頻度分布を決定するコ ンテキス ト決定ステップと、
前記決定された出現頻度分布に基づいて前記基底係数情報の算術符号化を行う 可逆符号化ステップと
を含むことを特徴とする画像符号化方法。
1 4 . 所定の部分画像領域内における予測残差データの単位要素の位置を示す 位置情報を前記部分画像領域ごとに復号する可逆復号ステップと、
前記部分画像領域内に存在する予測残差データの単位要素の数に応じて、 復号 対象である部分画像領域内の前記位置情報の出現頻度分布を決定するコンテキス ト決定ステップと、
前記決定された出現頻度分布に基づいて前記位置情報の算術復号を行う算術復 号ステップと
を含むことを特徴とする画像復号方法。
1 5 . 前記算術復号ステップから出力されるビット系列を、 予め定められた規 則で前記位置情報を示す情報に変換する逆二値化ステップを含み、
前記コンテキスト決定ステップでは、 前記算術復号ステップで処理される各ビ ッ卜位置に応じて複数の出現頻度分布の中から特定の出現頻度分布を決定する ことを特徴とする請求項 1 4記載の画像復号方法。
1 6 . 所定の部分画像領域内における予測残差データ分布のクラス情報、 及び 前記部分画像領域内における予測残差データの単位要素の表現に用レ、る基底係数 情報を復号する可逆復号ステップと、
前記クラス情報に基づいて、 前記部分画像領域内における予測残差データの単 位要素の表現に用いる基底係数情報の出現頻度分布を決定するコンテキスト決定 ステップと、
前記決定された出現頻度分布に基づいて前記基底係数情報の算術復号を行う算 術復号ステップと
を含むことを特徴とする画像復号方法。
1 7 . 所定の部分画像領域内における予測残差データの単位要素の個数を示す 個数情報を前記部分画像領域ごとに獲得する個数情報獲得ステップと、
符号化対象となる部分画像領域に隣接する部分画像領域における前記個数情報 に応じて当該符号化対象となる部分画像領域の前記個数情報の出現頻度分布を決 定するコンテキス ト決定ステップと、
前記決定された出現頻度分布に基づいて前記個数情報の算術符号化を行う可逆 符号化ステップと
を備えることを特徴とする画像符号化方法。
1 8 . 前記個数情報の種類を二値化して表現する二値化ステップを含み、 前記コンテキスト決定ステップでは、 二値化データの各ビット位置に応じて複 数の出現頻度分布の中から特定の出現頻度分布を決定する
ことを特徴とする請求項 1 7記載の画像符号化方法。
1 9 . 所定の部分画像領域内における予測残差データの単位要素の個数を示す 個数情報を前記部分画像領域ごとに復号する可逆復号ステツプと、
復号対象となる部分画像領域に隣接する部分画像領域内における前記個数情報 に応じて当該復号対象となる部分画像領域の前記個数情報の出現頻度分布を決定 するコンテキス ト決定ステップと、
前記決定された出現頻度分布に基づいて前記個数情報の算術復号を行う算術復 を備えることを特徴とする画像復号方法。
2 0 . 前記算術復号ステップから出力されるビット系列を、 予め定められた規 則で前記個数情報を示す情報に変換する逆二値化ステップを備え、
前記コンテキスト決定ステップでは、 前記算術復号手段で処理される各ビット 位置に応じて複数の出現頻度分布の中から特定の出現頻度分布を決定する ことを特徴とする請求項 1 9記載の画像復号方法。
2 1 . 所定の部分画像領域内における予測残差データの単位要素の個数を示す 個数情報を前記部分画像領域ごとに獲得する個数情報獲得手段と、
符号化対象となる部分画像領域の画像の動き情報を検出する動き検出手段と、 符号化対象となる部分画像領域における画像の動き情報に応じて当該符号化対 象となる部分画像領域の前記個数情報の出現頻度分布を決定するコンテキスト決 定手段と、
前記決定された出現頻度分布に基づいて前記個数情報の算術符号化を行う可逆 符号化手段と
を備えることを特徴とする画像符号化装置。
2 2 . 前記個数情報の種類を二値化して表現する二値化手段を備え、
前記コンテキスト決定手段は、 二値化データの各ビット位置に応じて複数の出 現頻度分布の中から特定の出現頻度分布を決定する
ことを特徴とする請求項 2 1記載の画像符号化装置。
2 3 . 所定の部分画像領域内における予測残差データの単位要素の個数を示す 個数情報を前記部分画像領域ごとに復号する可逆復号手段と、
復号対象となる部分画像領域における画像の動き情報を前記部分画像領域ごと に復号する可逆復号手段と、
前記部分画像領域内における画像の動き情報に応じて復号対象となる部分画像 領域の前記個数情報の出現頻度分布を決定するコンテキスト決定手段と、 前記決定された出現頻度分布に基づいて前記個数情報の算術復号を行う算術復 号手段と
を備えることを特徴とする画像復号装置。
2 4 . 前記算術復号手段から出力されるビット系列を、 予め定められた規則で 前記個数情報を示す情報に変換する逆二値化手段を備え、
前記コンテキスト決定手段は、 前記算術復号手段で処理される各ビット位置に 応じて複数の出現頻度分布の中から特定の出現頻度分布を決定する
ことを特徴とする請求項 2 3記載の画像復号装置。
2 5 . 所定の部分画像領域内における予測残差データの単位要素の表現に用い る基底係数情報を前記単位要素ごとに獲得する係数情報獲得手段と、
符号化対象となる部分画像領域内における予測残差データの検出された順序に 応じて当該符号化対象となる部分画像領域の前記基底係数情報の出現頻度分布を 決定するコンテキスト決定手段と、
前記決定された出現頻度分布に基づいて前記基底係数情報の算術符号化を行う 可逆符号化手段と
を備えることを特徴とする画像符号化装置。
2 6 . 前記基底係数情報の種類を二値化して表現する二値化手段を備え、 前記コンテキスト決定手段は、 二値化データの各ビット位置に応じて複数の出 現頻度分布の中から特定の出現頻度分布を決定する
ことを特徴とする請求項 2 5記載の画像符号化装置。
2 7 . 所定の部分画像領域内における予測残差データの単位要素の表現に用い る基底係数情報の復号順序に応じて復号対象となる部分画像領域の前記基底係数 情報の出現頻度分布を決定するコンテキスト決定手段と、
前記決定された出現頻度分布に基づいて前記基底係数情報の算術復号を行う算 術復号手段と
を備えることを特徴とする画像復号装置。
2 8 . 前記算術復号手段から出力されるビット系列を、 予め定められた規則で 前記基底係数情報を示す情報に変換する逆二値化手段を備え、 前記コンテキスト決定手段は、 前記算術復号手段で処理される各ビット位置に 応じて複数の出現頻度分布の中から特定の出現頻度分布を決定する
ことを特徴とする請求項 2 7記載の画像復号装置。
2 9 . 所定の部分画像領域内における予測残差データの単位要素の個数を示す 個数情報を前記部分画像領域ごとに獲得する個数情報獲得ステツプと、
符号化対象となる部分画像領域の画像の動き情報を検出する動き検出ステップ と、
符号化対象となる部分画像領域における画像の動き情報に応じて当該符号化対 象となる部分画像領域の前記個数情報の出現頻度分布を決定するコンテキスト決 定ステップと、
前記決定された出現頻度分布に基づいて前記個数情報の算術符号化を行う可逆 符号化ステップと
を備えることを特徴とする画像符号化方法。
3 0 . 前記個数情報の種類を二値化して表現する二値化ステップを含み、 前記コンテキスト決定ステップは、 二値化データの各ビット位置に応じて複数 の出現頻度分布の中から特定の出現頻度分布を決定する
ことを特徴とする請求項 2 9記載の画像符号化方法。
3 1 . 所定の部分画像領域内における予測残差データの単位要素の個数を示す 個数情報を前記部分画像領域ごとに復号する可逆復号ステツプと、
復号対象となる部分画像領域における画像の動き情報を前記部分画像領域ごと に復号する可逆復号ステップと、
前記部分画像領域内における画像の動き情報に応じて復号対象となる部分画像 領域の前記個数情報の出現頻度分布を決定するコンテキス ト決定ステップと、 前記決定された出現頻度分布に基づいて前記個数情報の算術復号を行う算術復 号ステップと を備えることを特徴とする画像復号方法。
3 2 . 前記算術復号ステップから出力されるビット系列を、 予め定められた規 則で前記個数情報を示す情報に変換する逆二値化ステップを含み、
前記コンテキスト決定ステップは、 前記算術復号ステップで処理される各ビッ ト位置に応じて複数の出現頻度分布の中から特定の出現頻度分布を決定する ことを特徴とする請求項 3 1記載の画像復号方法。
3 3 . 所定の部分画像領域内における予測残差データの単位要素の表現に用い る基底係数情報を前記単位要素ごとに獲得する係数情報獲得ステップと、 符号化対象となる部分画像領域内における予測残差データの検出された順序に 応じて当該符号化対象となる部分画像領域の前記基底係数情報の出現頻度分布を 決定するコンテキス ト決定ステップと、
前記決定された出現頻度分布に基づいて前記基底係数情報の算術符号化を行う 可逆符号化ステップと
を備えることを特徴とする画像符号化方法。
3 4 . 前記基底係数情報の種類を二値化して表現する二値化ステップを含み、 前記コンテキスト決定ステップは、 二値化データの各ビット位置に応じて複数 の出現頻度分布の中から特定の出現頻度分布を決定する
ことを特徴とする請求項 3 4記載の画像符号化方法。
3 5 . 所定の部分画像領域内における予測残差データの単位要素の表現に用い る基底係数情報の復号順序に応じて復号対象となる部分画像領域の前記基底係数 情報の出現頻度分布を決定するコンテキスト決定ステップと、
前記決定された出現頻度分布に基づいて前記基底係数情報の算術復号を行う算 術復号ステップと
を備えることを特徴とする画像復号方法。
3 6 . 前記算術復号ステップから出力されるビッ ト系列を、 予め定められた規 則で前記基底係数情報を示す情報に変換する逆二値化ステップを含み、 前記コンテキスト決定ステップは、 前記算術復号ステップで処理される各ビッ ト位置に応じて複数の出現頻度分布の中から特定の出現頻度分布を決定する ことを特徴とする請求項 3 5記載の画像復号方法。
PCT/JP2002/006615 2001-06-29 2002-06-28 Image encoder, image decoder, image encoding method, and image decoding method WO2003003745A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003509782A JP3920849B2 (ja) 2001-06-29 2002-06-28 画像符号化装置、画像復号装置、画像符号化方法、及び画像復号方法
EP02738884A EP1404133A4 (en) 2001-06-29 2002-06-28 IMAGE ENCODER, IMAGE DECODER, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD
US10/362,364 US7292731B2 (en) 2001-06-29 2002-06-28 Image encoder, image decoder, image encoding method, and image decoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001199008 2001-06-29
JP2001-199008 2001-06-29

Publications (1)

Publication Number Publication Date
WO2003003745A1 true WO2003003745A1 (en) 2003-01-09

Family

ID=19036358

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/006615 WO2003003745A1 (en) 2001-06-29 2002-06-28 Image encoder, image decoder, image encoding method, and image decoding method

Country Status (5)

Country Link
US (1) US7292731B2 (ja)
EP (1) EP1404133A4 (ja)
JP (1) JP3920849B2 (ja)
CN (1) CN1305311C (ja)
WO (1) WO2003003745A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100409691C (zh) * 2003-02-28 2008-08-06 株式会社Ntt都科摩 图像编码设备、方法和图像解码设备、方法
WO2013069255A1 (ja) * 2011-11-07 2013-05-16 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置
JP2016036176A (ja) * 2009-05-29 2016-03-17 三菱電機株式会社 画像復号装置、画像符号化装置およびビットストリーム
CN105551503A (zh) * 2015-12-24 2016-05-04 武汉大学 基于原子预选择的音频匹配追踪方法与系统
US9628819B2 (en) 2003-03-06 2017-04-18 Thomson Licensing Dtv Method for coding a video image taking into account the part relating to a component of a movement vector
US9924199B2 (en) 2005-08-26 2018-03-20 Rgb Systems, Inc. Method and apparatus for compressing image data using compression profiles

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6965644B2 (en) * 1992-02-19 2005-11-15 8×8, Inc. Programmable architecture and methods for motion estimation
US7336711B2 (en) * 2001-11-16 2008-02-26 Ntt Docomo, Inc. Image encoding method, image decoding method, image encoder, image decode, program, computer data signal, and image transmission system
JP4019790B2 (ja) * 2002-05-23 2007-12-12 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
EP1453004A2 (en) * 2003-02-28 2004-09-01 NTT DoCoMo, Inc. Image encoding apparatus and method
US8705613B2 (en) * 2003-06-26 2014-04-22 Sony Corporation Adaptive joint source channel coding
US7746929B2 (en) * 2003-08-05 2010-06-29 Trident Microsystems (Far East) Ltd. Video encoding and decoding methods and corresponding devices
JP2007502561A (ja) 2003-08-12 2007-02-08 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオエンコードおよびデコードの方法および対応する装置
US8582640B2 (en) * 2003-12-16 2013-11-12 Sony Corporation Adaptive joint source channel coding
US7689051B2 (en) 2004-04-15 2010-03-30 Microsoft Corporation Predictive lossless coding of images and video
US20060262860A1 (en) * 2005-02-23 2006-11-23 Chou Jim C Macroblock adaptive frame/field coding architecture for scalable coding
JP4444180B2 (ja) * 2005-07-20 2010-03-31 株式会社東芝 テクスチャ符号化装置、テクスチャ復号化装置、方法、およびプログラム
JP4662171B2 (ja) * 2005-10-20 2011-03-30 ソニー株式会社 符号化装置および方法、復号化装置および方法、プログラム、並びに記録媒体
JP2007166039A (ja) * 2005-12-09 2007-06-28 Matsushita Electric Ind Co Ltd 画像符号化装置
US8265392B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US8265349B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Intra-mode region-of-interest video object segmentation
JP4555257B2 (ja) * 2006-06-06 2010-09-29 パナソニック株式会社 画像符号化装置
JP4902854B2 (ja) * 2006-09-12 2012-03-21 パナソニック株式会社 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置
US20080084924A1 (en) * 2006-10-05 2008-04-10 Donald Martin Monro Matching pursuits basis selection design
US7974488B2 (en) * 2006-10-05 2011-07-05 Intellectual Ventures Holding 35 Llc Matching pursuits basis selection
US7522076B1 (en) * 2007-10-16 2009-04-21 Mediatek Inc. Parallel context adaptive binary arithmetic coding
JPWO2010079736A1 (ja) * 2009-01-09 2012-06-21 パナソニック株式会社 通信端末および通信状態変更方法
KR20110090511A (ko) * 2010-02-04 2011-08-10 삼성전자주식회사 통신 기기에서 3차원 영상을 위한 영상 처리 방법 및 장치
US9461872B2 (en) * 2010-06-02 2016-10-04 Hewlett Packard Enterprise Development Lp Compressing data in a wireless network
KR20120014676A (ko) * 2010-08-10 2012-02-20 에스케이 텔레콤주식회사 적응적 부호화/복호화 모드 인덱싱 기법을 이용한 영상 부호화/복호화 장치 및 방법
JP5485851B2 (ja) 2010-09-30 2014-05-07 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
WO2012082029A1 (en) * 2010-12-14 2012-06-21 Telefonaktiebolaget L M Ericsson (Publ) Method and device for storing a compression ratio indication in a pixel value buffer in tile encoding
US8446301B2 (en) 2011-04-15 2013-05-21 Research In Motion Limited Methods and devices for coding and decoding the position of the last significant coefficient
CA2837532C (en) 2011-06-23 2018-10-02 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
KR102062283B1 (ko) 2011-06-24 2020-01-03 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
CA2830046C (en) 2011-06-24 2018-09-04 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
CN103563375B (zh) 2011-06-27 2017-04-05 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置
CA2837535C (en) 2011-06-28 2018-09-04 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
MX2013010892A (es) 2011-06-29 2013-12-06 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
CN103583048B (zh) 2011-06-30 2017-05-17 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置
AU2012277219A1 (en) 2011-06-30 2013-09-19 Sun Patent Trust Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
KR20140034209A (ko) 2011-07-11 2014-03-19 파나소닉 주식회사 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
WO2013047805A1 (ja) * 2011-09-29 2013-04-04 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
DK2763414T3 (da) 2011-09-29 2020-11-30 Sharp Kk Billedafkodningsindretning og fremgangsmåde til billedafkodning til udførelse af konvertering af bi-forudsigelse til uni-forudsigelse
US9154792B2 (en) * 2011-11-08 2015-10-06 Qualcomm Incorporated Progressive coding of position of last significant coefficient
BR122020010110B1 (pt) * 2012-03-28 2021-08-17 JVC Kenwood Corporation Dispositivo de codificação de imagem
CN103675444B (zh) * 2012-08-30 2016-09-14 中国石油化工股份有限公司 一种高精度的时频分析方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09331535A (ja) * 1995-11-02 1997-12-22 Canon Inc 情報処理装置及び方法
JPH11220728A (ja) * 1998-02-02 1999-08-10 Canon Inc 画像圧縮時のコンテクスト生成方法及び画像圧縮方法、画像処理装置
JP2001103315A (ja) * 1999-09-28 2001-04-13 Matsushita Graphic Communication Systems Inc 画像符号化方法および画像符号化装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5136371A (en) * 1990-03-15 1992-08-04 Thomson Consumer Electronics, Inc. Digital image coding using random scanning
US5150209A (en) * 1990-05-11 1992-09-22 Picturetel Corporation Hierarchical entropy coded lattice threshold quantization encoding method and apparatus for image and video compression
JPH06331535A (ja) * 1993-05-25 1994-12-02 Asahi Chem Ind Co Ltd 流動状態における粉体付着力の測定方法
US5654702A (en) * 1994-12-16 1997-08-05 National Semiconductor Corp. Syntax-based arithmetic coding for low bit rate videophone
JP3115199B2 (ja) * 1994-12-16 2000-12-04 松下電器産業株式会社 画像圧縮符号化装置
US6614847B1 (en) * 1996-10-25 2003-09-02 Texas Instruments Incorporated Content-based video compression
JP3132456B2 (ja) * 1998-03-05 2001-02-05 日本電気株式会社 階層的画像符号化方式、及び階層的画像復号方式
US6563953B2 (en) * 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09331535A (ja) * 1995-11-02 1997-12-22 Canon Inc 情報処理装置及び方法
JPH11220728A (ja) * 1998-02-02 1999-08-10 Canon Inc 画像圧縮時のコンテクスト生成方法及び画像圧縮方法、画像処理装置
JP2001103315A (ja) * 1999-09-28 2001-04-13 Matsushita Graphic Communication Systems Inc 画像符号化方法および画像符号化装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GHARAVI-AIKHANSARI MOHAMMAD: "A model for entropy coding in matching pursuit", PROCEEDINGS. INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, vol. 1, 4 October 1998 (1998-10-04) - 7 October 1998 (1998-10-07), CHICAGO, IL, USA, pages 778 - 782, XP001044670 *
NEFF RALPH ET AL.: "Very low bit-rate video coding based on matching pursuit", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 7, no. 1, February 1997 (1997-02-01), pages 158 - 171, XP000678888 *
See also references of EP1404133A4 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100409691C (zh) * 2003-02-28 2008-08-06 株式会社Ntt都科摩 图像编码设备、方法和图像解码设备、方法
US9628819B2 (en) 2003-03-06 2017-04-18 Thomson Licensing Dtv Method for coding a video image taking into account the part relating to a component of a movement vector
US10244263B2 (en) 2005-08-26 2019-03-26 Rgb Systems, Inc. Method and apparatus for packaging image data for transmission over a network
US10051288B2 (en) 2005-08-26 2018-08-14 Rgb Systems, Inc. Method and apparatus for compressing image data using a tree structure
US9930364B2 (en) 2005-08-26 2018-03-27 Rgb Systems, Inc. Method and apparatus for encoding image data using wavelet signatures
US9924199B2 (en) 2005-08-26 2018-03-20 Rgb Systems, Inc. Method and apparatus for compressing image data using compression profiles
JP2016036176A (ja) * 2009-05-29 2016-03-17 三菱電機株式会社 画像復号装置、画像符号化装置およびビットストリーム
US8781001B2 (en) 2011-11-07 2014-07-15 Panasonic Corporation Image coding method, image coding apparatus, image decoding method and image decoding apparatus
RU2610249C2 (ru) * 2011-11-07 2017-02-08 ТАГИВАН II ЭлЭлСи Способ кодирования изображения, устройство кодирования изображения, способ декодирования изображения и устройство декодирования изображения
US9491465B2 (en) 2011-11-07 2016-11-08 Tagivan Ii Llc Image coding method, image coding apparatus, image decoding method and image decoding apparatus
US9712849B2 (en) 2011-11-07 2017-07-18 Tagivan Ii Llc Image coding method, image coding apparatus, image decoding method and image decoding apparatus
JP2017147742A (ja) * 2011-11-07 2017-08-24 タギバン ツー エルエルシー 復号方法および復号装置
JP2014075807A (ja) * 2011-11-07 2014-04-24 Panasonic Corp 復号方法および復号装置
JP5415656B2 (ja) * 2011-11-07 2014-02-12 パナソニック株式会社 符号化方法および符号化装置
WO2013069255A1 (ja) * 2011-11-07 2013-05-16 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置
US10334280B2 (en) 2011-11-07 2019-06-25 Tagivan Ii Llc Image coding method, image coding apparatus, image decoding method and image decoding apparatus
US10631014B2 (en) 2011-11-07 2020-04-21 Tagivan Ii Llc Image coding method, image coding apparatus, image decoding method and image decoding apparatus
CN105551503A (zh) * 2015-12-24 2016-05-04 武汉大学 基于原子预选择的音频匹配追踪方法与系统
CN105551503B (zh) * 2015-12-24 2019-03-01 武汉大学 基于原子预选择的音频匹配追踪方法与系统

Also Published As

Publication number Publication date
US7292731B2 (en) 2007-11-06
JP3920849B2 (ja) 2007-05-30
US20040131268A1 (en) 2004-07-08
CN1305311C (zh) 2007-03-14
JPWO2003003745A1 (ja) 2004-10-21
EP1404133A1 (en) 2004-03-31
EP1404133A4 (en) 2010-04-21
CN1465190A (zh) 2003-12-31

Similar Documents

Publication Publication Date Title
WO2003003745A1 (en) Image encoder, image decoder, image encoding method, and image decoding method
JP3842803B2 (ja) 信号符号化方法、信号復号方法、信号符号化装置、信号復号装置、信号符号化プログラム、及び信号復号プログラム
EP1379000B1 (en) Signal encoding method and apparatus and decoding method and apparatus
JP5379020B2 (ja) イントラ予測符号化、復号化方法及び装置
CN101001374B (zh) 为隔行扫描和逐行扫描视频编码和解码宏块和运动信息中的革新
JP4993676B2 (ja) 画像符号化装置及び画像符号化方法
CN105556971A (zh) 针对帧内块复制预测中的块翻动和跳跃模式的编码器侧判定
CN102239693A (zh) 运动图像解码方法和运动图像编码方法
JPWO2006073116A1 (ja) 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
CN101005620B (zh) 为隔行扫描和逐行扫描视频编码和解码宏块和运动信息中的革新
JPWO2003043347A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、コンピュータデータ信号、及び画像伝送システム
KR20100046202A (ko) 이미지들을 처리하기 위한 방법 및 그 대응하는 전자 장치
KR102267770B1 (ko) 픽쳐들의 그룹에서 변경가능 엘리먼트들의 세트를 결정하기 위한 방법 및 디바이스
CN101569201A (zh) 基于帧内预测进行编码和解码的方法和装置
CN101554058B (zh) 基于帧内预测进行编码和解码的方法和装置
CN100539670C (zh) 已编码a/v序列的编辑
CN106028029A (zh) 低延时低复杂度的数字kvm切换器视频无损压缩方法及系统
CN100551064C (zh) 变长编码方法及装置
JP3491001B1 (ja) 信号符号化方法、信号復号方法、信号符号化装置、信号復号装置、信号符号化プログラム、及び、信号復号プログラム
KR20070090494A (ko) 평균 움직임 벡터를 이용한 인터 프레임 에러 은닉 장치 및방법
KR20040008360A (ko) 개선된 움직임 벡터 부호화 및 복호화 방법과 그 장치
CN102783036A (zh) 使用辅码字指示符的编码和解码方法和设备
Vidyavathi et al. Motion-compensated video compression using variable length Huffman coding
JP2003209844A (ja) 動画像符号化装置および動画像符号化方法
JPH1051792A (ja) 動画像符号化装置及び符号化方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

ENP Entry into the national phase

Ref country code: JP

Ref document number: 2003 509782

Kind code of ref document: A

Format of ref document f/p: F

WWE Wipo information: entry into national phase

Ref document number: 2003509782

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 028022653

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2002738884

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10362364

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2002738884

Country of ref document: EP