WO2003092301A1 - Coding device and method, decoding device and method, recording medium, and program - Google Patents

Coding device and method, decoding device and method, recording medium, and program Download PDF

Info

Publication number
WO2003092301A1
WO2003092301A1 PCT/JP2003/005081 JP0305081W WO03092301A1 WO 2003092301 A1 WO2003092301 A1 WO 2003092301A1 JP 0305081 W JP0305081 W JP 0305081W WO 03092301 A1 WO03092301 A1 WO 03092301A1
Authority
WO
WIPO (PCT)
Prior art keywords
field
macroblock
frame
encoding
context model
Prior art date
Application number
PCT/JP2003/005081
Other languages
English (en)
French (fr)
Inventor
Kazushi Sato
Teruhiko Suzuki
Osamu Sunohara
Yoichi Yagasaki
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to CN038094312A priority Critical patent/CN1650636B/zh
Priority to EP03717684.9A priority patent/EP1501313A4/en
Priority to US10/509,682 priority patent/US7778331B2/en
Priority to KR1020047017169A priority patent/KR100952649B1/ko
Publication of WO2003092301A1 publication Critical patent/WO2003092301A1/ja
Priority to US12/468,912 priority patent/US8325820B2/en
Priority to US12/468,917 priority patent/US8320467B2/en
Priority to US13/546,666 priority patent/US8571116B2/en
Priority to US13/558,554 priority patent/US8611430B2/en
Priority to US13/559,066 priority patent/US8619875B2/en
Priority to US13/558,758 priority patent/US8654862B2/en
Priority to US13/558,712 priority patent/US8693550B2/en
Priority to US13/559,117 priority patent/US8649442B2/en
Priority to US13/619,759 priority patent/US8509311B2/en
Priority to US13/619,975 priority patent/US8509312B2/en
Priority to US13/619,779 priority patent/US8477854B2/en
Priority to US13/725,519 priority patent/US8488669B2/en
Priority to US13/725,462 priority patent/US8483280B2/en
Priority to US14/176,826 priority patent/US9088784B2/en
Priority to US14/732,909 priority patent/US9532068B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/4006—Conversion to or from arithmetic code

Definitions

  • Encoding device and method decoding device and method, recording medium, and program
  • the present invention relates to an encoding device and method, a decoding device and method, a recording medium, and a program.
  • the present invention is suitable for encoding an image signal at a higher compression ratio than before and transmitting or storing the signal.
  • the present invention relates to an encoding method, a decoding apparatus and method, a recording medium, and a program. Background art
  • the MPEG 2 (IS0 / IEC 13818-2) compression method is a standard defined as a versatile image compression method, and includes both interlaced and progressive scan images, as well as standard-resolution images and high-definition images. It is currently widely used for a wide range of professional and consumer applications, such as the DVD (Digital Versatile Disk) standard.
  • MPEG2 By using the MPEG2 compression method, for example, 4 to 8 Mbps for a standard resolution interlaced scan image having 720 x 480 pixels, and a high resolution having 1,920 x 1,080 pixels
  • a code amount (bit rate) 18 to 22 Mbps
  • MPEG2 mainly targets high-quality encoding suitable for broadcasting, but does not support an encoding method with a higher compression rate. Therefore, as an encoding method with a higher compression rate, Standardization of the MPEG 4 coding system was performed. Image coding method The standard was approved as an international standard as ISO / IEC 14496-2 in February 1998.
  • H.26L requires more computation for encoding and decoding than conventional encoding methods such as MPEG2 and MPEG4, but has higher encoding efficiency. Is known to be realized.
  • FIG. 1 shows an example of a configuration of a conventional image information encoding device.
  • an input image signal which is an analog signal, is converted into a digital signal by an A / D converter 1 and then supplied to a screen rearrangement buffer 2.
  • the screen rearrangement buffer 2 rearranges the image information from the A / D conversion unit 1 according to the GOP (Group of Pictures) structure of the image compression information output by the image information encoding device. .
  • an image to be subjected to intra (intra-image) encoding will be described.
  • the image information is supplied to the orthogonal transform unit 4 via the adder 3.
  • the image information is subjected to an orthogonal transform (such as discrete cosine transform or power Lunen'-Loeve transform), and the obtained transform coefficients are supplied to the quantization unit 5.
  • the quantization unit 5 calculates the quantization coefficient based on the data amount of the transform coefficient stored in the storage buffer 7. In accordance with the control from the rate control unit 8, quantization processing is performed on the transform coefficients supplied from the orthogonal transform unit 4.
  • the encoding mode is determined from the quantized transform coefficient and the quantization scale supplied from the quantization unit 5, and the determined encoding mode is subjected to irreversible encoding (variable length Coding or arithmetic coding) to form information to be inserted into the header part of the image coding unit.
  • the encoded encoding mode is supplied to the accumulation buffer 7 and accumulated.
  • the encoded coding mode stored in the storage buffer 7 is output to the subsequent stage as image compression information.
  • the lossless encoding unit 6 performs lossless encoding on the quantized transform coefficients, and stores the encoded transform coefficients in the storage buffer 7.
  • the coded transform coefficients accumulated in the accumulation buffer 7 are also output to the subsequent stage as image compression information.
  • the transform coefficient quantized by the quantization unit 5 is inversely quantized.
  • the inverse orthogonal transform unit 10 performs an inverse orthogonal transform process on the inversely quantized transform coefficients to generate decoded image information.
  • the generated decoded image information is stored in the frame memory 11.
  • the image information is supplied to the adder 3 and the motion prediction and compensation unit 12.
  • the motion prediction / compensation unit 12 reads the image information for reference, which corresponds to the inter-coded image from the screen rearrangement buffer 2, from the frame memory 11, and performs motion prediction and compensation processing. Then, the reference image information is generated and supplied to the adder 3. The motion vector information obtained in the motion prediction / compensation process by the motion prediction / compensation unit 12 is supplied to the lossless encoding unit 6.
  • the reference image information from the motion prediction / compensation unit 12 is converted into a difference signal from the image information of the image to be inter-coded from the screen rearrangement buffer 2.
  • the orthogonal transform unit 4 uses a differential signal Are subjected to orthogonal transform, and the obtained transform coefficients are supplied to the quantization unit 5.
  • the quantization unit 5 performs a quantization process on the transform coefficient supplied from the orthogonal transform unit 4 under the control of the rate control unit 8.
  • the lossless encoding unit 6 sets the encoding mode based on the transform coefficients and the quantization scale quantized by the quantization unit 5, and the motion vector information supplied from the motion prediction / compensation unit 12 and the like.
  • the determined encoding mode is subjected to lossless encoding for the determined encoding mode, and information to be inserted into the header part of the image encoding unit is generated.
  • the encoded coding mode is stored in the storage buffer 7.
  • the encoded coding mode stored in the storage buffer 7 is output as image compression information.
  • lossless encoding is performed on the motion vector information from the motion prediction / compensation unit 12 to generate information to be inserted into the header part of the image encoding unit.
  • FIG. 2 shows an example of the configuration of a conventional image information decoding device.
  • the input image compression information is temporarily stored in the storage buffer 21 and then transferred to the reversible decoding unit 22.
  • the lossless decoding unit 22 performs lossless decoding (variable length decoding, arithmetic decoding, etc.) on the image compression information based on a predetermined format of the image compression information, and encodes the data stored in the header section.
  • the mode information is obtained and supplied to the inverse quantization unit 23.
  • the reversible decoding unit 22 obtains the quantized transform coefficient and supplies it to the inverse quantization unit 23.
  • the lossless decoding unit 22 also decodes the motion vector information stored in the header of the image compression information and performs motion prediction on the information.
  • the inverse quantization unit 23 inversely quantizes the quantized transform coefficient supplied from the lossless decoding unit 22 and supplies the obtained transform coefficient to the inverse orthogonal transform unit 24.
  • the inverse orthogonal transform unit 24 performs an inverse orthogonal transform (an inverse discrete cosine transform or a reverse Lunen-Loeve transform) on the transform coefficient based on a predetermined format of the image compression information.
  • the image information subjected to the inverse orthogonal transform is stored in the screen rearrangement buffer 26 via the adder 25, and D /
  • the signal is converted into an analog signal by the A conversion section 27 and output to the subsequent stage.
  • the image information that has been subjected to the inverse orthogonal transform is also stored in the frame memory 29.
  • the motion prediction 'compensation unit 28 stores the motion vector information from the lossless decoding unit 22 and the motion vector information stored in the frame memory 29.
  • a reference image is generated based on the image information and supplied to the adder 25.
  • the reference image from the motion prediction / compensation unit 28 and the output of the inverse orthogonal transform unit 25 are combined to generate image information.
  • the other processing is the same as that of the intra-coded frame, and a description thereof will not be repeated.
  • UVLC Universal Variable Length Code
  • CABAC Context-based adaptive binary arithmetic coding
  • the user is able to select and apply one of UVLC or CABAC the lossless encoding scheme.
  • Information indicating whether the lossless encoding method is UVLC or CABAC is specified in a field called Entropy Coding included in the RTP Parameter Set Packet of the RTP layer in the image compression information.
  • any message (consisting of multiple alphabetic symbols) is represented as a point on the half-open interval 0.0 ⁇ X ⁇ 1.0, and a code is generated from the coordinates of this point.
  • the half-open interval 0. ⁇ ⁇ ⁇ ⁇ 1.0 is divided into sub-intervals corresponding to each symbol based on the appearance probabilities of the symbols constituting the alphabet.
  • Figure 3 shows the probability of occurrence of symbols si through s 7, an example of a sub-interval fraction.
  • the upper and lower limits of sub-intervals are determined based on the cumulative appearance probabilities of each symbol.
  • the lower limit of the subinterval for symbol 3 ; (i 1, 2, ⁇ ⁇ ⁇ , 7) is the upper limit of the subinterval of symbol s, and the upper limit of the subinterval corresponding to symbol si is the lower limit of that subinterval. This is a value obtained by adding the appearance probability of the symbol si.
  • Equation (2) is a value representing a message included in the half-open section 0.21 1 64 ⁇ x ⁇ 0.21 1 7.
  • the code length of the code corresponding to the message is 2 - long 1 1 2 bits can be represented up to 2 12 .
  • the message (s 2 s! S 3 s 6 s 7 ) is encoded as (00 1 10 1 10001 1).
  • the first feature is that by using an appropriate context model for each symbol to be encoded and performing arithmetic coding based on an independent probability model, redundancy between the symbols can be eliminated. is there.
  • the second feature is that in arithmetic coding, it is possible to assign a non-integer code amount (bit) to each symbol, and it is possible to obtain coding efficiency close to entropy. is there.
  • FIG. 5 shows a general configuration of a CABAC encoder to which CABAC is applied.
  • the context modeling unit 31 first converts a syntax element symbol (symbol) into an appropriate context model according to a past history for an arbitrary syntax element in the image compression information. I do. Such a model Is called context modeling. The context model for each syntax element in the image compression information will be described later.
  • the binarization unit 32 binarizes the symbol that has not been binarized.
  • the probability estimation is performed on the binarized symbol by the probability estimating unit 34, and the adaptive arithmetic coding based on the probability estimation is performed by the coding engine 35.
  • the related models are updated, so that each model can perform the coding process according to the statistics of the actual image compression information.
  • MB_type MB-type
  • MVD motion vector information
  • Ref_frame reference frame parameters
  • the generation of the B_type context model is described separately for intra frames and inter frames.
  • the context model ctx—mb_type one intra (C) corresponding to the MB—type of the macroblock C is expressed by the following equation ( 3) defined by In the intraframe, the mode of the macroblock is Intra4X4 or Intral6Xl6.
  • ctx_mb_type_intra (C) A + B (3) where, in equation (3), A is 0 when macroblock A is Intra 4 X 4 and Intra 16 X 16 In some cases it is 1. Similarly, B is 0 if Mac mouth block B is Intra 4 ⁇ 4 and 1 if Intra 16 ⁇ 16. Therefore, the context model ctx—mb—type—intra (C) is one of the values 0, 1, and 2.
  • the context model ctx—mb—type_inter (C) corresponding to the MB_type of macroblock C indicates that the interframe is If it is a P picture, 1
  • interframe is a B picture, it is defined by the following equation (5).
  • the context model ctx_mb_type—inter (C) corresponding to the MB type of the macroblock C in the interframe (P picture) has three values for the case of the P picture and the case of the B picture, respectively. It will be.
  • the motion vector information corresponding to the macroblock of interest included in the image compression information is encoded as a prediction error from the motion vector corresponding to the adjacent macroblock.
  • the evaluation function ek (C) for the macroblock C of interest is defined by the following equation (6).
  • k 0 indicates a horizontal component
  • k l indicates a vertical component.
  • e k (C) [mvd k (A)
  • mv d k (A), mvd k (B) are the motion vector prediction errors for macroblocks A and B that are adjacent to macroblock C, respectively. It is.
  • the context model generation of the motion vector information (MVD) is performed as shown in Fig.8. That is, the motion for the macroblock C vector prediction error mv d k (C), the absolute value I mv d k (C) is separated into I and code. The absolute value I mv d k (C)
  • the first bin (leftmost value) of the binarized absolute value imvd k (C) I is encoded using the above-described context model ctx_mvd (C, k).
  • the second bin (the second value from the left) is encoded using context model 3.
  • the third and fourth bins are encoded using context models 4 and 5, respectively.
  • the fifth and subsequent bins are encoded using the context model 6.
  • the code of mv d k (C) is encoded using context model 7.
  • motion vector information (MVD) is encoded using eight types of context models.
  • 0: 1) indicates 0 when the reference frame parameter of the macro block 0 is 0, and indicates 1 when the reference frame parameter of the macro block ⁇ ⁇ is not 0.
  • Equation (8) defines four types of context models that encode reference frame parameters (Ref-frame). Further, a context model for the second bin and a context model for the third and subsequent bin are defined. Next, code block pattern (CBP), intra prediction mode (IPRED), and option (RUN, LEVEL) information, which are syntax elements related to the texture information included in the H.26L image compression information, are calculated and encoded.
  • CBP code block pattern
  • IPRED intra prediction mode
  • RUN option
  • the context model to be used is described. First, the context model for the code block pattern is described.
  • the handling of code block patterns other than the Intra 16 X 16 macro block is defined as follows.
  • the luminance signal includes four CBP bits, one bit for each of the four 8 ⁇ 8 blocks included in the Intral 6 ⁇ 16 macroblock.
  • the context model ctx—cbp—luma (C) corresponding to the luminance signal of macroblock C is given by the following equation (9). Defined.
  • ctx_cbp_luma (C) A + 2B (9) where, in equation (9), A is the CBP bit of the luminance signal of macroblock A, and B is the CBP bit of the luminance signal of macroblock B. It is. ⁇
  • the remaining two bits of the CBP field are for color difference signals.
  • the context model corresponding to the color difference signal of macroblock C ci: x_cbp—chroma—sig (C) is It is defined by (1 0).
  • Equation (10) A + 2B ⁇ ⁇ '(1 0)
  • A is the CBP bit of the color difference signal of macro block A
  • B is the color difference signal of macro block B.
  • the context model ctx_cbp_chroraa_sig (C) corresponding to the color difference signal of the macro block C is not 0, that is, if the AC component of the color difference signal exists, the macro block C defined by the following equation (1 1) It is necessary to encode the context model ctx-cbp-chroma-ac (C) corresponding to the AC component of the color difference signal.
  • ctx_cbp_chroma_ac (C) A + 2B) where, in equation (11), A is cbp_chroma_a c decision corresponding to macroblock A, and B is cbp_ckroma_ac decision corresponding to macroblock B. is there.
  • FIG. 9 shows pixels a to p existing in a 4 ⁇ 4 block obtained by dividing a macro block and pixels A to I existing in adjacent 4 ⁇ 4 blocks.
  • Labels 1 to 5 in FIG. 10 indicate the directions of the intra prediction modes of labels 1 to 5, respectively.
  • the intra prediction mode at label 0 is the DC prediction mode (DC Prediction).
  • Equation (1 2) the average value of the remaining four pixels (in this case, pixels E to H) is calculated as pixels a to p
  • the predetermined value for example, 1 28
  • the intra prediction mode with label 1 is called Vertical / Diagonal Prediction.
  • the intra prediction mode of label 1 is used only when four pixels A to D are present in the image frame. In this case, pixels a through! Are predicted according to the following equations (13-1) to (13-6).
  • the intra prediction mode of label 2 is called Vertical Prediction.
  • the intra prediction mode of label 2 is used only when four pixels A to D exist in the image frame. In this case, for example, pixel A is used as a predicted value of pixels a, e, i, and m, and pixel ⁇ is used as a predicted value of pixels b, f, j, and ⁇ .
  • the intra prediction mode at label 3 is called Diagonal Prediction.
  • the intra prediction mode of label 1 is used only when 9 pixels A to I exist in the image frame.
  • each of the pixels a to p is expressed by the following equations (14-1) to (13— TJP03 / 05081
  • the intra prediction mode of label 4 is called Horizontal Prediction.
  • Label 4 intra prediction mode is used only when 4 pixels E to H are present in the picture frame.
  • pixel E is used as a predicted value of pixels a, b, c, and d
  • pixel F is used as a predicted value of pixels e, f, g, and h.
  • the intra prediction mode with label 5 is called Horizontal / Diagonal Prediction.
  • the intra prediction mode of label 5 is used only when the four pixels E to H exist in the image frame. In this case, pixels a through! Are predicted according to the following equation (15-1).
  • Pixel a (E + F) // 2 (1 5-1)
  • Pixel b F (1 5 2)
  • Pixel c, e (F + G) 1/2 (1 5 3)
  • Pixel f, d G (1 5 4)
  • Pixel i, g (G + H) // 2 (1 5 5)
  • Models are defined. Therefore, a total of 14 context models are defined for intra prediction mode.
  • FIGS. 11A and 11B are defined as a scanning method for rearranging the two-dimensional discrete cosine transform coefficients into one dimension.
  • the single scan method shown in FIG. 11A is a method used for a luminance signal for an intra macro block and when the quantization parameter QP is smaller than 24.
  • the double scan method shown in Fig. 11B is used when the single scan method is not used.
  • an intra macroblock with an interpol macroblock and a quantization parameter QP of 24 or more there is one non-zero coefficient on average for a 4x4 macroblock, and a 1-bit EOB (End Of Block) signal Sufficient, but for a luminance signal of an intra macroblock whose quantization parameter QP is smaller than 24, a 1-bit E0B signal is not sufficient because there are two or more non-zero coefficients. For this reason, the double scan method shown in FIG. 11B is used.
  • the context model for (RUN, LEVEL) is based on the above-described distinction between scan methods, distinction between DC / AC block types, distinction between luminance signals / color difference signals, and the Nine types are defined according to the distinction between macroblocks.
  • the LEVEL information is separated into a sign and an absolute value.
  • Four context models are defined according to the corresponding Ctx_run-level shown in FIG. That is, the first context model is for the code, the second context model is for the first bin, and the second context model is for the second bin. And the fourth context model is defined for subsequent bins.
  • the following describes a context model for the quantization parameter Dquant, which can be set at the macroblock level in the H.26L image compression information.
  • the parameter Dquant is set when the code block pattern for the macroblock includes a non-zero orthogonal transform coefficient, or when the macroblock is 16 ⁇ 16 Intra Coded.
  • the parameter Dquant can take values from 16 to 16.
  • the quantization parameter QUANT new for the macroblock is calculated by the following equation (16) using the parameter Dquant in the image compression information.
  • QUANT new modulo 3 2 (QUANT 0 L d + Dquant + 3 2) ⁇ ⁇ ⁇ (1 6)
  • QUANT. ld is the quantization parameter used for the previous encoding or decoding.
  • the first context model ctx_dquant (C) for the parameter Dquant of the macro block C arranged as shown in FIG. 6 is defined as the following equation (17).
  • A represents the value of the parameter Dquant of the macroblock A.
  • a second context model is defined for the first b in, and a second context model is defined for the second and subsequent b i ⁇ .
  • MB_ty P e being 1 0 type defined for the P picture, is binarized according to the relationship shown in FIG. 1 4 A. Further, 17 types of MB-type defined for the B picture are binarized according to the correspondence shown in FIG. 14B.
  • Registers corresponding to the various context models described above are initialized in advance by values calculated in advance, and when encoding each symbol, a series of The frequency of bin occurrence for the text model is updated successively and is used to determine when to encode the next symbol.
  • the frequency counter is reduced.
  • the field Z frame adaptive coding processing can be performed at the macroblock level.
  • FIG. 15 In the current H.26L, seven types of modes (modes 1 to 7) as shown in FIG. 15 are defined as units of motion prediction 'compensation in a macroblock.
  • Reference 3 proposes to have a Frame / Field Flag between Run and MB-type as the syntax corresponding to the macroblock of image compression information, as shown in Fig. 16. If the value of Frame / Field Flag is 0, it indicates that the macroblock is subjected to frame-based coding.If the value of Frame / Field Flag is 1, field-based coding is performed. It is shown that it is done. When the value of Frame / Field Flag is 1 (that is, when field-based encoding is performed), the pixels in the macro block are rearranged in units of rows as shown in Fig. 17 .
  • the pixels a to p located in the 4 ⁇ 4 block shown in FIG. 9 use the pixels A to I located in the adjacent 4 ⁇ 4 block even when the value of the Frame / Field Flag is 1. Intra prediction is performed, but pixels a through! ), And the pixels A to I all belong to the same field parity.
  • Pixels a to p existing in the 4 ⁇ 4 block 7 obtained by dividing the macroblock into 16 are subjected to intra prediction using the pixels A to I existing at the ends of the adjacent blocks 2, 3, and 6.
  • Figure 2 OA shows a case where the value of the Frame / Field Flag for the macroblock on the left side of the macroblock to be processed and the value of the Frame / Field Flag for the macroblock on the upper side are 1 respectively.
  • the intra prediction of the pixels present in the 4 ⁇ 4 block C obtained by dividing the macro block to be processed into 16 is performed by dividing the left macro block by 16 minutes.
  • Intra prediction of the pixels existing in the 4 ⁇ 4 block C ′ is performed using the pixels existing in the 4 ⁇ 4 block A ′ and the pixels existing in the 4 ⁇ 4 block B ′.
  • FIG. 20B shows a case where the value of the Frame / Field Flag for the macroblock to be processed is 1, and the value of the Frame / Field Flag for the left and upper macroblocks is 0, respectively.
  • the intra prediction of the pixels existing in the 4 ⁇ 4 block C obtained by dividing the macroblock to be processed into 16 is obtained by calculating the pixels existing in the 4 ⁇ 4 block A obtained by dividing the left macroblock into 16 and the upper pixels This is performed using the pixels present in the 4 ⁇ 4 block B, which is obtained by dividing the macro block into 16 parts.
  • the intra prediction of the pixels existing in the 4 ⁇ 4 block C ′ is performed using the pixels existing in the 4 ⁇ 4 block A ′ and the pixels existing in the 4 ⁇ 4 block B.
  • the intra prediction of the color difference signal will be described with reference to FIG.
  • the value of Frame / Field Flag is 1, only one type of the intra prediction mode of the color difference signal is defined.
  • a to D indicate 4 ⁇ 4 blocks of the color difference signal, respectively.
  • Blocks A and B belong to the first field, and blocks C and D belong to the second field.
  • s 2 of the blocks adjacent to the proc A to D, which is the total value of the color difference signals present in proc belonging to the first Fi one Rudopariti.
  • s 3 Itaru s 5 among the blocks adjacent to the block A to D, which is the total value of the color difference signals present in the block that belongs to the second field parity.
  • the predicted values A to D respectively corresponding to the blocks A to D are s. Or if s 5 exist in all image frame within are predicted according to Expressions (1 8).
  • FIG. 22 shows a method for encoding the residual components of the chrominance signal after intra-prediction as described above. That is, after performing orthogonal transformation processing on each 4 ⁇ 4 block, a 2 ⁇ 2 block as shown is generated using the DC components of the first field and the second field, and the orthogonal transformation processing is performed again. Will be applied.
  • the motion prediction compensation mode is inter 16 x 16 mode, inter 8 x 16 mode, inter 8 x 8 mode, inter 4 x 8 mode, inter 4 x 4 mode
  • the inter 16 X 16 mode is a mode in which the motion vector information for the first field, the motion vector information for the second field, and the reference frame in the inter 8 X 16 mode are equivalent.
  • Code-Numbers 0 to 5 are assigned to these six types of motion prediction compensation modes, respectively.
  • Code 1 Number 0 is assigned to the first field of the frame encoded immediately before, and Code_Number is assigned to the second field of the frame. l is assigned. Code 1 Number 2 is assigned to the first field of the frame encoded one time before that, and Code—Number 3 is assigned to the second field of the frame. Further, Code_Number 4 is assigned to the first field of the frame encoded one time earlier, and Code_Number 5 is assigned to the second field.
  • a reference field for the first field and a reference field for the second field are separately defined.
  • the 16X16, 8X8, or 4X4 motion vector information corresponding to the 16X16 macroblock E shown in Fig. 24 is the motion vector information of the adjacent macroblocks A to C. Is predicted using the median of the country.
  • the median is calculated assuming that the value of the corresponding motion vector information is 0 for the mac mouth blocks A to C that do not exist in the image frame. For example, when the macro blocks D, B, and C do not exist in the image frame, the motion vector information corresponding to the macro block A is used as the predicted value. If the macroblock C does not exist in the image frame, the motion vector information of the macroblock D is used instead.
  • the reference frames of the macro blocks A to D do not necessarily have to be the same.
  • the block size of the macro block is 8 ⁇ 16, 16 ⁇ 8, 8 ⁇ 4, or 4 ⁇ 8 will be described with reference to FIGS. 25A to 25D.
  • the macroblock E of interest and the adjacent macroblocks A to D are arranged as shown in FIG.
  • FIG. 25A shows a case where the block sizes of the macro blocks E1 and E2 are 8 ⁇ 16.
  • the motion vector information of the macroblock A is used as the prediction value. If the macroblock A adjacent to the left refers to a frame different from the macroblock E1, the above-described median prediction is applied.
  • the motion vector information of the macroblock C is used as the predicted value. If the macroblock C adjacent to the upper right refers to a frame different from the macroblock E2, the above-described median prediction is applied.
  • FIG. 25B shows a case where the block sizes of the macroblocks El and E2 are 16 ⁇ 8.
  • the motion vector information of the macroblock B is used as the prediction value. If the macroblock B adjacent above refers to a frame different from the macroblock E1, the above-described median prediction is applied.
  • FIG. 25C shows a case where the block sizes of the macroblocks E1 to E8 are 8 ⁇ 4.
  • the median prediction described above is applied to the left macroblocks E1 to E4, and the motion vectors of the left macroblocks E1 to E4 are applied to the right macroblocks E5 to E8.
  • the torque information is used as a predicted value.
  • FIG. 25D shows a case where the block sizes of the macro blocks E1 to E8 are 4 ⁇ 8.
  • the median prediction described above is applied to the upper macroblocks E1 to E4, and the motion estimation of the upper macroblocks E1 to E4 is applied to the lower macroblocks E5 to E8.
  • the vector information is used as the predicted value.
  • the value of the vertical component of the motion vector information is divided by 2.
  • the quotient is assumed to be equivalent to a field-based motion vector and prediction is performed.
  • the CABAC method requires a larger amount of calculation for the encoding process than the UVLC method, it is known to achieve higher encoding efficiency, and the input image information is in an interlaced scanning format. In such a case, it is desirable that macroblock-level field Z frame encoding using the CABAC method can be realized. Disclosure of the invention
  • the present invention has been made in view of such a situation, and it is possible to perform macro block-level field Z frame encoding using the CABAC method even when input image information is in an interlaced scanning format. With the goal.
  • the encoding apparatus performs a context model corresponding to a frame / field flag indicating whether the macroblock level encoding processing is to be field-based or frame-based, and performs frame-based encoding processing.
  • a lossless encoding unit that performs lossless encoding using a context model corresponding to the syntax element for performing the encoding processing on a field basis and a context model corresponding to the syntax element for performing the encoding processing on a field basis. I do.
  • the context model for the syntax element for performing the field-based encoding includes MB_type for I picture, MB—type for P / B picture, motion vector information, reference field parameter, and intra prediction mode. It can include at least one of the context models corresponding to.
  • the encoding method performs a context model corresponding to a frame / field flag indicating whether a macroblock-level encoding process is field-based or frame-based, and performs a frame-based encoding process. And a lossless encoding step of executing a lossless encoding process using a context model corresponding to the syntax element for performing the encoding process on a field basis and a context model corresponding to the syntax element for performing the encoding process on a field basis.
  • the program of the first recording medium according to the present invention includes a context model corresponding to a frameZfield flag indicating whether the macroblock-level encoding processing is to be based on a fino redo or a frame.
  • a first program according to the present invention includes a context model corresponding to a frame / field flag indicating whether a macroblock-level encoding process is to be field-based or frame-based, and a frame-based encoding process.
  • the decoding device of the present invention performs a frame-based encoding process corresponding to a frame / field flag indicating whether a macroblock-level encoding process is field-based or a frame-based encoding process.
  • Decoding means for decoding lossless-encoded image compression information using a context model corresponding to the syntax element and a context model corresponding to the syntax element for performing a field-based encoding process It is characterized by the following.
  • the decoding method of the present invention includes a context model corresponding to a frameZfield flag indicating whether a macroblock-level encoding process is field-based or frame-based, and a syntax element for performing the frame-based encoding process.
  • the program of the second recording medium according to the present invention includes a context model corresponding to a frameZfield flag indicating whether the macroblock-level encoding process is to be field-based or frame-based, and a frame-based encoding process.
  • a second program according to the present invention includes a context model corresponding to a frame / field flag indicating whether the encoding process of the MAC block level is to be field-based or frame-based, and a frame-based encoding process.
  • a computer executes a decoding step of decoding image-compressed information that has been losslessly encoded using a context model corresponding to the syntax element of the above and a context model corresponding to the syntax element for performing the field-based encoding processing. It is characterized by
  • a context model corresponding to a frameZfield flag indicating whether encoding processing of a macroblock level is field-based or frame-based The lossless encoding process is performed using a context model corresponding to the syntax element for performing the encoding process and a context model corresponding to the syntax element for performing the encoding process on a field basis.
  • a context model corresponding to a frame / field flag indicating whether a macroblock level encoding process is to be based on a fino redo or a frame is described.
  • Image compression that is losslessly encoded using a context model corresponding to syntax elements for performing frame-based encoding processing and a context model corresponding to syntax elements for performing field-based encoding processing The information is decrypted.
  • the encoding device and the decoding device may be independent devices, or may be a block that performs the encoding process and the decoding process of the signal processing device.
  • FIG. 1 shows a conventional image that achieves image compression by orthogonal transformation and motion compensation.
  • FIG. 2 is a block diagram illustrating a configuration of an information encoding device.
  • FIG. 2 is a block diagram showing a configuration of an image information decoding device corresponding to the image information encoding device of FIG.
  • FIG. 3 is a diagram showing an example of a correspondence relationship between symbol occurrence probabilities and assigned sub-intervals in the arithmetic coding process.
  • FIG. 4 is a diagram illustrating an example of the arithmetic coding process.
  • FIG. 5 is a block diagram showing a general configuration of a CABAC encoder.
  • FIG. 6 is a diagram for explaining an MB-type context model.
  • FIG. 7 is a diagram for explaining a context model of the motion vector information MVD.
  • FIG. 8 is a diagram for explaining a process of encoding motion vector information MVD based on a context model.
  • FIG. 9 is a diagram for explaining the intra prediction mode defined in H.26L.
  • FIG. 10 is a diagram for explaining the directions of the intra prediction modes of labels 1 to 5.
  • FIG. 11A is a diagram for explaining the single scan method defined in H.26L.
  • FIG. 11B is a diagram for explaining the double scan method defined in H.26L.
  • FIG. 12 is a diagram showing a context model corresponding to (RUN, LEVEL) defined in H.26L.
  • FIG. 13 is a diagram illustrating a process of binarizing syntax elements other than MB-type in H.26L.
  • FIG. 14A is a diagram for explaining a process of binarizing the MB_type of a P picture in H.26L.
  • Fig. 14B shows the process of binarizing the MB_type of a B picture in H.26L. It is a figure for explaining.
  • FIG. 15 is a diagram showing seven modes as units of motion prediction / compensation in macroblock, defined in H.26L.
  • FIG. 16 is a diagram illustrating the syntax of image compression information extended so as to obtain macroblock-level field / frame adaptive coding.
  • FIG. 17 is a diagram for explaining the rearrangement of the pixels of the macroblock when the macroblock is encoded on a field basis.
  • FIG. 18 is a diagram showing five types of modes defined as units of motion prediction / compensation when a macroblock is coded on a field basis.
  • FIG. 19 is a diagram for explaining the operation principle of performing intra prediction in the macroblock when the macroblock is encoded on a field basis.
  • FIG. 2OA is a diagram for explaining an operation principle of performing intra prediction across macroblocks when a macroblock is encoded on a field basis.
  • FIG. 20B is a diagram for explaining the operation principle of performing intra prediction across macroblocks when coding a macroblock on a field basis.
  • FIG. 21 is a diagram for explaining the operation principle of performing intra prediction on a chrominance signal when a macroblock is coded on a field basis.
  • FIG. 22 is a diagram for explaining an operation principle of encoding a residual component of a chrominance signal when a macroblock is encoded on a field basis.
  • FIG. 23 is a diagram for describing multiple frame prediction defined in H.26L.
  • FIG. 24 is a diagram for explaining a prediction method of motion vector information when a macroblock is encoded on a field basis.
  • FIG. 25A is a diagram for explaining a process of generating a predicted value of motion vector information in each prediction mode defined in H.26L.
  • FIG. 25B is a diagram for describing a process of generating a predicted value of motion vector information in each prediction mode defined in H.26L.
  • FIG. 25C is a diagram for describing a process of generating a predicted value of motion vector information in each prediction mode defined in H.26L.
  • FIG. 25D is a diagram for describing a process of generating a predicted value of motion vector information in each prediction mode defined in H.26L.
  • FIG. 26 is a block diagram illustrating a configuration example of an image information encoding device according to an embodiment of the present invention.
  • FIG. 27 is a block diagram showing a configuration example of the arithmetic coding unit 58 in FIG.
  • FIG. 28A is a diagram showing a tape / record for binarizing the MB_type of a Mac block belonging to a P picture when a macroblock is encoded on a field basis.
  • FIG. 28B is a diagram illustrating a tape insert for binarizing the MB_type of the MAC block belonging to the B picture when the macroblock is encoded on a field basis.
  • FIG. 29 is a block diagram illustrating a configuration example of an image information decoding device according to an embodiment of the present invention, which corresponds to the image information encoding device of FIG. 26.
  • the image information encoding apparatus can perform the encoding process using the CABAC method even when the input image information is in the interlaced scanning format.
  • the A / D converter 51 converts an input image signal, which is an analog signal, into a digital signal, and outputs the digital signal to the screen rearrangement buffer 52.
  • the screen rearrangement buffer 52 rearranges the input image information from the A / D converter 51 according to the GOP structure of the image compression information output from the image information encoding device, PT / JP03 / 05081
  • the field / frame determination unit 53 determines which of the coding efficiency of the macroblock of the image to be processed is higher on the basis of the field-based coding and the case of coding on the frame-based basis.
  • / Field Flag is generated and output to the field / frame conversion unit 55 and the arithmetic coding unit 58.
  • the adder 54 converts the difference image between the input image via the field / frame determination unit 53 and the reference image from the motion prediction / compensation unit 64. It is generated and output to the field frame conversion unit 55 and the orthogonal conversion unit 56.
  • the adder 54 outputs the field / frame conversion unit 55 and the orthogonal conversion unit 5 with the input image passed through the field / frame determination unit 53 unchanged. Output to 6.
  • the field Z frame conversion unit 55 converts the input image from the adder 54 into a field structure and outputs it to the orthogonal conversion unit 56.
  • the orthogonal transform unit 56 performs orthogonal transform (discrete cosine transform, Karhunen's-Loeve transform, or the like) on the input image information, and supplies the obtained transform coefficients to the quantization unit 57.
  • the quantization unit 57 performs a quantization process on the transform coefficient supplied from the orthogonal transformation unit 56 under the control of the rate control unit 65.
  • the arithmetic coding unit 58 includes the syntax elements input from the quantization unit 57 and the motion prediction 'compensation unit 64, and the Frame / Field Flag from the field Z frame determination unit 53. Is arithmetically encoded based on the CABAC method, and supplied to an accumulation buffer 59 for accumulation.
  • the storage buffer 59 outputs the stored image compression information to the subsequent stage.
  • the inverse quantization unit 60 inversely quantizes the quantized orthogonal transform coefficients and outputs the result to the inverse orthogonal transform unit 61.
  • Inverse orthogonal transform unit 61 is subjected to inverse orthogonal transform processing to generate decoded image information to the inverse quantized transform coefficients, to accumulate and supplies to the frame memory 6 2.
  • the field / frame converter 63 converts the macroblock to be processed into a macroblock. Fine 81
  • the decoded image information stored in the frame memory 62 is converted into a field structure and output to the motion prediction / compensation unit 64.
  • the motion prediction 'compensation unit 64 generates optimal prediction mode information and motion vector information by motion prediction processing and outputs the generated information to the arithmetic coding unit 58, and also generates a prediction image and adds an adder 54 Output to
  • the rate control unit 65 performs feedback control of the operation of the quantization unit 57 based on the amount of data stored in the storage buffer 59.
  • the control unit 66 controls each unit of the image information encoding device according to a control program recorded on the recording medium 67.
  • FIG. 27 shows a configuration example of the arithmetic coding unit 58.
  • the frame Zfield flag is first coded by the frame Z-field flag content model 91 shown in FIG.
  • the frame-based context model 92 currently specified in the H.26L standard is applied. It should be noted that arithmetic elements having a non-binarized value are binarized by the binarizing unit 93 and then subjected to arithmetic coding.
  • the field-based context model 94 is applied to the following syntax elements.
  • the first syntax element is MB_type for an I picture
  • the second syntax element is MB—type for a P / B picture
  • the third syntax element is motion vector information
  • the syntax element is a reference field parameter
  • the fifth syntax is the intra prediction mode.
  • ctx-mb-type-intra-field (C) A + B ⁇ --(22) where A and B in equation (22) are the same as those in equation (3).
  • the adjacent macroblocks A and B may be either field-based or frame-based coded.
  • the context model for MB_type for P / B pictures is described.
  • the context model ctx—mb—type—inter—field (C) corresponding to the MB—type of the macroblock C is defined by the following equation (23).
  • the context model ctx—mb—type—inter—field (C) corresponding to the MB—type of the macroblock C is defined by the following equation (23).
  • Neighboring macroblocks A and B may be field-based coded or frame-based coded. Note that the MB_type of a non-binarized P picture is binarized according to the table shown in FIG. 28A. Also, the MB_type of a B picture that has not been binarized is binarized by the table shown in FIG. 28B.
  • the probability estimation is performed on the binarized symbol by the probability estimation unit 97, and the coding engine 98 performs the adaptive arithmetic coding based on the probability estimation.
  • the related models are updated, so that each model can perform the coding process according to the statistics of the actual image compression information.
  • a macroblock to be frame-based coded For a macroblock to be frame-based coded, ten MB_types are defined if they belong to a P picture.
  • the 16 ⁇ 16 mode and the 8 ⁇ 16 mode are not defined among the 16 types. That is, for a macroblock to be field-based coded, eight MB-types are defined for p-pictures.
  • MB_type For macroblocks to be frame-based coded, 18 types of MB_type are defined for B pictures.
  • a macroblock to be field-based coded if it belongs to a B picture, of the above 18 types, it is the forward 16 ⁇ 16 mode, the backward 16 ⁇ 16 mode, and the forward 8 X16 mode and backward 8 X16 mode are not defined. That is, for a macroblock to be field-based coded, 14 types of MB_type are defined for B pictures.
  • the context model for the reference field parameter is described.
  • the first context model ctx—ref—field_top (C) corresponding to the first field is defined by the following equation (29-1).
  • the first context model ctx-ref_fiel d-bot (C) corresponding to the second field is defined by the following equation (29-2).
  • parameter b t is related to the first field of adjacent macroblock B
  • parameter b b is related to the second field of adjacent macroblock B. It is defined by the following equations (30-1) and (30-2).
  • the context model ctx—intra_pred—field (C) for the intra prediction mode corresponding to macroblock C is the context model ctx—intra—pred (C Defined in the same way as).
  • adjacent macroblocks A and B may be field-based coded or frame-based coded.
  • field-no-frame encoding using the CABAC method can be performed.
  • FIG. 29 illustrates a configuration example of an image information decoding device corresponding to the image information encoding device of FIG.
  • the accumulation buffer 101 accumulates the input image compression information and outputs the information to the arithmetic decoding unit 102 as appropriate.
  • the arithmetic decoding unit 102 performs an arithmetic decoding process on the image compression information encoded based on the CABAC method, JP03 / 05081
  • the inverse quantization unit 103 inversely quantizes the quantized orthogonal transform coefficients decoded by the arithmetic decoding unit 102.
  • the inverse orthogonal transform unit 104 performs an inverse orthogonal transform on the inversely quantized orthogonal transform coefficient.
  • the field frame conversion unit 105 converts the output image or the difference image obtained as a result of the inverse orthogonal transform into a frame structure.
  • the adder 106 combines the difference image from the inverse orthogonal transform unit 104 and the reference image from the motion prediction / compensation unit 111 when the macroblock to be processed is an inter macroblock. To generate an output image.
  • the screen rearrangement buffer 107 rearranges the output image according to the G0P structure of the input image compression information and outputs the rearranged image to the D / A converter 108.
  • the 0 conversion unit 108 converts an output image, which is a digital signal, into an analog signal and outputs it to a subsequent stage. '
  • the frame memory 109 stores image information which is generated by the adder 106 and is used as a reference image.
  • the field / frame conversion unit 110 converts the image information stored in the frame memory 111 into a field structure.
  • the motion prediction / compensation unit 111 generates a reference image based on the image information stored in the frame memory based on the prediction mode information and the motion vector information for each macroblock included in the image compression information. Are output to the adder 106.
  • the image compression information output by the image information encoding device in FIG. 26 can be decoded to obtain the original image information.
  • the series of processes described above can be executed by hardware, but can also be executed by software.
  • the programs that make up the software must be installed on a computer built into a dedicated hard disk or by installing various programs.
  • the recording medium 67 shown in FIG. 26 is installed on a general-purpose personal computer capable of executing various functions.
  • This recording medium 67 is provided separately from the computer to distribute the program to the user, and includes a magnetic disk (including a flexible disk) on which the program is recorded and an optical disk (CD-ROM (Compact Disc-Read)). Only Memory), DVD (including Digital Versatile Disc), magneto-optical disc (including MD (Mini Disc)), or packaged media consisting of semiconductor memory, etc. It is composed of a ROM or hard disk that stores the program and is provided to the user in a state.
  • steps for describing a program to be recorded on a recording medium are not only performed in chronological order according to the order described, but are not necessarily performed in chronological order. It also includes the processing executed in Industrial applicability
  • the macroblock level field using the CABAC method is used.
  • the image information in the interlaced scanning format is decoded by using the CABAC method to decode the compressed image information in which the field / frame coding is performed at the macroblock level, and the image information in the interlaced scanning format is restored. It becomes possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

明細書
符号化装置および方法、 復号装置および方法、 記録媒体、 並びにプログラム 技術分野
本発明は、 符号化装置および方法、 復号装置および方法、 記録媒体、 並びにプ ログラムに関し、 例えば、 画像信号を従来よりも高い圧縮率で符号化し、 伝送ま たは蓄積する場合に用いて好適な符号化装置おょぴ方法、 復号装置および方法、 記録媒体、 並びにプログラムに関する。 背景技術
近年、 画像をディジタル信号として取り扱い、 当該ディジタル信号を効率よく 伝送、 蓄積することを目的として、 画像情報特有の冗長性を利用して、 離散コサ イン変換等の直交変換と動き補償により圧縮する MPEG (Moving Picture Expert
Group) 等の方式に準拠した装置が、放送局などの情報配信、および一般家庭にお ける情報受信の双方において普及しつつある。
特に、 MPEG 2 (IS0/IEC 13818-2)圧縮方式は、 汎用性がある画像圧縮方式として 定義された規格であり、 飛び越し走査画像および順次走査画像の双方、 並びに標 準解像度画像および高精細画像を網羅する標準であって、 例えば DVD (Digital Versatile Disk)規格に代表されるように、プロフェッショナル用途おょぴコンシ ユーマー用途の広範なアプリケーションに現在広く用いられている。
MPEG 2圧縮方式を用いることにより、 例えば、 7 2 0 X 4 8 0画素を持つ標準 解像度の飛び越し走査画像に対しては4乃至 8 Mbps、 1 9 2 0 X 1 0 8 8画素を 持つ高解像度の飛び越し走査画像に対しては 1 8乃至 2 2 Mbpsの符号量（ビット レート） を割り当てることで、 高い圧縮率と良好な画質の実現が可能である。 ところで、 MPEG 2は、 主として放送用に適合する高画質符号化を対象としてい たが、 より高い圧縮率の符号化方式には対応していなかつたので、 より高い圧縮 率の符号化方式として、 MPEG 4符号化方式の標準化が行われた。 画像符号化方式 に関しては、 1 9 9 8年 1 2月に ISO/IEC 14496-2としてその規格が国際標準に 承認された。
さらに、 近年、 テレビ会議用の画像符号化を当初の目的として、 国際電気連合 の電気通信標準化部門である ITU-T (International Telecommunication Union 一 Telecommunication Standardization Sector)による H. 2 6 L (ITU-T Q6/16 VCEG) と称される標準の規格化が進められている。
H. 2 6 Lは、 MPEG 2や MPEG 4などの従来の符号化方式に比較して、 符号化処 理、 およぴ復号処理により多くの演算量が必要となるが、 より高い符号化効率が 実現されることが知られている。
またさらに、 現在、 MPEG 4の活動の一環として ITU - Tと共同で、 H . 2 6 Lに 基づいた、 H. 2 6 Lではサポートされない機能を取り入れた、 より高い符号化 効率を実現する符号化技術の標準化が、 Joint Model of Enhanced- Compression Video Codingとして進められている。
ここで、 離散コサイン変換または力ルーネン■ レーべ変換等の直交変換と動き 補償とを利用した従来の画像情報符号化装置について、図 1を参照して説明する。 図 1は、 従来の画像情報符号化装置の構成の一例を示している。
当該画像情報符号化装置において、 アナログ信号である入力画像信号は、 A/ D変換部 1によってディジタル信号に変換された後、 画面並べ替えバッファ 2に 供給される。 画面並べ替えバッファ 2は、 A/D変換部 1からの画像情報を、 当 該画像情報符号化装置が出力する画像圧縮情報の GOP (Group of Pictures)構造に 応じて、 フレームの並べ替えを行う。
まず、 イントラ （画像内） 符号化が行われる画像について説明する。 画面並び 替えバッファ 2において、 イントラ符号化が行われる画像については、 その画像 情報が加算器 3を介して直交変換部 4に供給される。
直交変換部 4では、 画像情報に対して直交変換 （離散コサイン変換、 または力 ルーネン ' レーべ変換等） が施され、 得られた変換係数が量子化部 5に供給され る。 量子化部 5では、 蓄積バッファ 7に蓄積された変換係数のデータ量に基づく レート制御部 8からの制御に従い、 直交変換部 4から供給された変換係数に対し て量子化処理が施こされる。
可逆符号化部 6では、 量子化部 5から供給された量子化された変換係数や量子 化スケール等から符号化モードが決定され、 決定された符号化モードに対して可 逆符号化 （可変長符号化、 または算術符号化等） が施こされ、 画像符号化単位の ヘッダ部に挿入される情報が形成される。 また、 符号化された符号化モードは、 蓄積バッファ 7に供給されて蓄積される。 蓄積バッファ 7に蓄積された、 符号化 された符号化モードは、 画像圧縮情報として後段に出力される。
また、 可逆符号化部 6では、 量子化された変換係数に対して可逆符号化が施さ れ、 符号化された変換係数が蓄積バッファ 7に蓄積させる。 蓄積バッファ 7に蓄 積された、 符号化された変換係数も、 画像圧縮情報として後段に出力される。 逆量子化部 9では、 量子化部 5によつて量子化された変換係数が逆量子化され る。 逆直交変換部 1 0では、 逆量子化された変換係数に対して逆直交変換処理が 施されて復号画像情報が生成される。 生成された復号画像情報は、 フレームメモ リ 1 1に蓄積される。
次に、 インター （画像間） 符号化が行われる画像について説明する。 画面並び 替えバッファ 2において、 インター符号化が行われる画像については、 その画像 情報が加算器 3および動き予測■捕償部 1 2に供給される。
動き予測 ·補償部 1 2では、 画面並び替えバッファ 2からのインター符号化が 行われる画像に対応する、 参照するための画像情報がフレームメモリ 1 1から読 み出され、 動き予測，補償処理を施して参照画像情報が生成され、 加算器 3に供 給される。 また、 動き予測 ·補償部 1 2で動き予測 '補償処理の際に得られた動 きベクトル情報は、 可逆符号化部 6に供給される。
加算器 3では、 動き予測 .補償部 1 2からの参照画像情報が、 画面並ぴ替えバ ッファ 2からのインター符号化が行われる画像の画像情報との差分信号に変換さ れる。
インター符号化が行われる画像を処理する場合、 直交変換部 4では、 差分信号 に対して直交変換が施され、 得られる変換係数が量子化部 5に供給される。 量子 化部 5では、 レート制御部 8からの制御に従い、 直交変換部 4から供給された変 換係数に対して量子化処理を施される。
可逆符号化部 6では、 量子化部 5によつて量子化された変換係数および量子化 スケール、 並びに動き予測■補償部 1 2から供給された動きべクトル情報等に基 づいて符号化モードが決定され、 決定された符号化モードに対して可逆符号化が 施され、 画像符号化単位のヘッダ部に挿入される情報が生成される。 符号化され た符号化モードは蓄積バッファ 7に蓄積される。 蓄積バッファ 7に蓄積された符 号化された符号化モードは、 画像圧縮情報として出力される。
また、 可逆符号化部 6では、 動き予測 ·補償部 1 2からの動きべクトル情報に 対して可逆符号化処理が施され、 画像符号化単位のへッダ部に挿入される情報が 生成される。
なお、 ィンター符号化が行われる画像を処理する場合における逆量子化部 9以 降の処理については、 イントラ符号化を施される画像を処理する場合と同様であ るので、 その説明を省略する。
次に、 図 1に示した従来の画像情報符号化装置が出力する画像圧縮情報を入力 とし、 画像信号を復元する従来の画像情報復号装置について、 図 2を参照して説 明する。 図 2は、 従来の画像情報復号装置の構成の一例を示している。
当該画像情報復号装置において、 入力された画像圧縮情報は、 蓄積バッファ 2 1に一時的に格納された後、 可逆複号化部 2 2に転送される。 可逆復号化部 2 2 は、 予め定められている画像圧縮情報のフォーマットに基づき、 画像圧縮情報に 対して可逆復号 （可変長復号、 または算術復号等） を施し、 ヘッダ部に格納され た符号化モード情報を取得して逆量子化部 2 3に供給する。 また同様に、 可逆復 号化部 2 2は、量子化されている変換係数を取得して逆量子化部 2 3に供給する。 さらに、 可逆復号化部 2 2は、 復号するフレームがインター符号化されたもので ある場合には、 画像圧縮情報のヘッダ に格納された動きべク トル情報について も復号し、 その情報を動き予測■補償部 2 8に供給する。 逆量子化部 2 3は、 可逆復号化部 2 2から供給された量子化されている変換係 数を逆量子化し、 得られる変換係数を逆直交変換部 2 4に供給する。 逆直交変換 部 2 4は、 予め定められている画像圧縮情報のフォーマットに基づき、 変換係数 に対して逆直交変換（逆離散コサイン変換、 または逆力ルーネン' レーべ変換等） を施す。
ここで、 対象となるフレームがイントラ符号化されたものである場合には、 逆 直交変換が施された画像情報は、 加算器 2 5を介して画面並べ替えバッファ 2 6 に格納され、 D /A変換部 2 7によってアナログ信号に変換されて後段に出力さ れる。 逆直交変換が施された画像情報は、 フレームメモリ 2 9にも格納される。 また、 対象となるフレームがインター符号化されたものである場合には、 動き 予測 '補償部 2 8では、 可逆復号化部 2 2からの動きべクトル情報とフレームメ モリ 2 9に格納された画像情報とに基づいて参照画像が生成され、 加算器 2 5に 供給される。 加算器 2 5では、 動き予測 '補償部 2 8からの参照画像と逆直交変 換部 2 5の出力とが合成されて画像情報が生成される。 なお、 その他の処理につ いては、 イントラ符号化されたフレームと同様であるため、 説明を省略する。 ところで、 H . 2 6 Lにおいては、 可逆符号化方式として、 可変長符号化の一 種である UVLC (Universal Variable Length Code)と、 算術符号化の一種である CABAC (Context-based adaptive binary arithmetic coding)の 2種類力 λ疋' され ており、ユーザは可逆符号化方式に UVLCまたは CABACの一方を選択して適用する ことが可能である。可逆符号化方式が UVLCであるか CABACであるかを示す情報は、 画像圧縮情報中において、 RTP レイヤの RTP Parameter Set Packetに含まれる、 Entropy Codingと称されるフィールドにおいて指定される。
ここで、 CABACが属する算術符号化について説明する。算術符号化においては、 任意のメッセージ （複数のアルファベット記号から構成される） は半開区間 0 . 0 ≤ X < 1 . 0上の 1点として表され、 この点の座標から符号が生成される。 まず、 アルファベットを構成する記号の出現確率を元に、 半開区間 0 . Ο ^ χ < 1 . 0を、 各記号に対応するサブ区間に分割する。 図 3は、 記号 s i乃至 s 7の発生確率と、 サブ区間の分割の一例を示している。 算術符号化においては、 図 3に示すように、 各記号の累積出現確率を元にサブ区 間の上限と下限が決定される。 記号 3 ; ( i = 1 , 2， · · ·， 7) に対するサブ 区間の下限は、記号 s のサブ区間の上限であり、記号 s iに対応するサブ区間 の上限は、 そのサブ区間の下限に記号 s iの出現確率を加えた値である。
いま、 メッセージとして、 （s 2 s l S 3 s 6 s 7) が入力されたものとする。 た だし、 記号 s 7は、 メッセージの終了を表す終端記号であり、 終端記号が現れた 時点でメッセージが終了するものとする。 算術符号化法は、 メッセージ （s 2 s s 3 s 6 s 7) に対し、 図 4に示すように、 メッセージを構成する各記号に対応す るサブ区間の計算を実行する。 すなわち、 図 3に割り当てられた区間を、 次の記 号の累積出現確率に応じて分割する。 最終的に得られるサブ区間が、 そのメッセ ージを表す値の含まれる区間となる。 したがって、 この区間内の値であれば一意 にメッセージの復元を行うことができる。 ただし、 符号化の効率を考慮して、 そ の半開区間内で 2のべき乗表現が可能な数によってメッセ一ジを表すようにする c すなわち、 この例では、 次式 （1) を考慮すると、 次式 （2) が半開区間 0. 2 1 1 64≤ x < 0. 2 1 1 7に含まれるメッセージを表す値となる。
2— 1 = 0. 5
2- 2 = 0. 2 5
2— 3 = 0, 1 2 5
22——44 == 00. 0 6 2 5
2一5 - = 0 0 3 1 2 5
2一6 = 0 0 1 5 6 2 5
2一 7 = 0 00 7 8 1 2 5
2— 8 = 0 00 3 9 0 6 2 5
22—一 99 ==00. 00 1 9 5 3 1 2 5
2一1 0 = 0 00 0 9 7 6 5 6 2 5
2一1 1 = 0 00 04 8 8 2 8 1 2 5 2— 12= 0. 000244 1406 25
• · · · (1) 2— 3+ 2_4+ 2_6+ 2一7 + 2— u+ 2一12 = 0. 2 1 1 6699 2 1 87 5
• ■ ■ (2) したがって、 メッセージ （ s 2 S i S 3 s 6 s 7) に対応する符号の符号長は、 2 -1乃至 2— 12までを表現できるように 1 2ビットであればよく、 メッセージ （s 2 s！ s 3 s 6 s 7) は、 （00 1 10 1 10001 1) に符号化される。
次に、 H. 26 Lで定義されている CABACについて説明する。 なお、 CABACの 詳糸田につ ヽては、 文献 I 'Video Compression Using Context-Based Adaptive Arithmetic Coding", Marpe et al， ICIOlj (以下、 文献 1と記述する） に開示され ている。 CABACは、 同じく H. 26 Lで定義されている UVLCと比較して、 以下の 3つの特徴を有している。
第 1の特徴は、 符号化されるそれぞれの記号に対して適切なコンテキストモデ ルを用い、 それぞれ独立した確率モデルに基づいた算術符号化を行うことで、 シ ンポル間の冗長性を排除できることである。
第 2の特徴は、 算術符号化において、 それぞれの記号に対して非整数値の符号 量 （ビット） を割り当てることが可能であり、 エントロピに近い符号化効率を得 ることが可能であることである。
第 3の特徴は、 例えば動きベク トルの統計データは、 ビットレートゃシーケン スのみならず、 空間、 時間的に異なるものであって一定ではないが、 適応型符号 化を行うことにより、 これらの変化に追従した符号化が可能となることである。 図 5は、 CABACを適用した CABAC符号化器の一般的な構成を示している。 当該 CABAC 符号化器において、 コンテキストモデル化部 3 1は、 画像圧縮情報におけ る任意のシンタクス要素に関して、 まず、 過去の履歴に応じて、 シンタクス要素 のシンポル （記号） を適切なコンテキストモデルに変換する。 このようなモデル 化をコンテキス トモデル化と称する。 画像圧縮情報中のそれぞれのシンタクス要 素に対するコンテキストモデルについては後述する。
2値化部 3 2は、 2値化されていないシンボルを 2値化する。 適応 2値算術符 号化部 3 3では、 2値化されたシンポルに対して、 確率推定部 3 4によって確率 推定がなされ、 符号化エンジン 3 5によって確率推定に基づく適応算術符号化が 施される。 適応算術符号化処理が行われた後、 関連するモデルの更新が行われる ため、 それぞれのモデルは実際の画像圧縮情報の統計に応じた符号化処理を行う ことが可能となる。
ここで、 画像圧縮情報中のシンタクス要素である MB一 type (MB_type)、動きべク トル情報（MVD)、 および参照フレームパラメータ（Ref_frame)を算術符号化するコ ンテキス トモデルについて説明する。
B_type のコンテキス トモデル生成について、 イントラフレームとィンターフ レームに分けて説明する。
イントラフレームにおいて、 図 6に示すようにマクロブロック A， B , Cが配 置されている場合、 マクロプロック Cの MB— typeに対応するコンテキス トモデル ctx— mb_type一 intra (C)は、 次式 （3 ) によって定義される。 なお、 イントラフレ ームにおいて、 マクロブロックのモードは、 Intra 4 X 4、 または Intra l 6 X l 6である。
ctx_mb_type_intra (C) = A + B · · · ( 3 ) ただし、 式 （3 ) において、 Aは、 マクロブロック Aが Intra 4 X 4である場 合には 0であり、 Intra 1 6 X 1 6である場合には 1である。 同様に、 Bは、 マク 口プロック Bが Intra 4 X 4である場合には 0であり、 Intra 1 6 X 1 6である場 合には 1である。したがって、コンテキストモデル ctx— mb— type— intra (C)は、 0 , 1， 2のいずれかの値となる。
インターフレームにおいて、 図 6に示すようにマクロブロック A， B， Cが酉己 置されている場合、 マクロブロック Cの MB_typeに対応するコンテキストモデル ctx— mb— type_inter (C)は、 当該インターフレームが Pピクチャである場合、 次式 1
9
(4) によって定義される。 また、 当該インターフレームが Bピクチャである場 合、 次式 （5) によって定義される。
ctx_rab_type_inter (C) = ( (A==Skip) ?0： l) + ( (B==Skip) ?0： l) ■ · - (4) ctx_mb_type_inter (C) = ( (A==Direct) ?0： l) + ( (B==Direct) ?0： l) ■ ■ - (5) ただし、 式 （4) において、 演算子（（A==Skip)?0:l)は、 マクロプロック Aが S kipモードである場合には 0を示し、マクロプロック Aが Skipモードではない場 合には 1を示すものとする。 同様に、演算子（(B==Skip)?0:l)は、 マクロプロック Bが Skipモードである場合には 0を示し、 マクロプロック Bが Skipモードでは ない場合には 1を示すものとする。
また、 式 （5) において、 演算子（（A==Direct)?0:l)は、 マクロプロック が！） irectモードである場合には 0を示し、マクロプロック Aが Directモードではな い場合には 1を示すものとする。演算子（（B==Direct)?0:l)は、マクロブロック B が Directモードである場合には 0を示し、 マクロブロック Bが Directモードで はない場合には 1を示すものとする。
したがって、 ィンターフレーム ( Pピクチャ) におけるマクロブロック Cの MB一 typeに対応するコンテキストモデル ctx_mb_type— inter (C)は、 Pピクチャで ある場合と Bピクチャである場合に対して、 それぞれ 3種類の値となることにな る。
次に、 動きべクトル情報（MVD)のコンテキス トモデル生成について説明する。 画像圧縮情報に含まれる、 注目するマクロブロックに対応する動きベク トル情 報は、 隣接するマクロプロックに対応する動きべク トルとの予測誤差として符号 化されている。 いま、 図 7に示すように配置されているマクロブロック A， B, Cのうち、 注目するマクロブロック Cに対する評価関数 e k (C) を次式 （6) によって定義する。 ここで、 k = 0は水平成分、 k= lは垂直成分を示す。
e k (C) = [ m v d k (A) | + | mv dk (B) ,| · · · (6) ただし、 式 （6) において、 ；mv dk (A), m v d k (B) は、 それぞれ、 マ クロブロック Cに瞵接するマクロブロック A， Bに対する動きべク トル予測誤差 である。
なお、 式 （6) に関し、 マクロプロック Cが画枠の左端に存在しており、 マク 口プロック A, Bの一方が存在しないような場合、 動きベク トル予測誤差 mv d k (A) または mv dk (B) に関する情報を得ることができないので、 式 （6) の右辺における対応する項は無視する。 このように定義された e k (C) に対応 するコンテキストモデル ctx— mvd(C，k)は、 次式 （7— 1 ) 乃至 （7— 3) のよう に定義される。
ctx_mvd(C, k) = 0 e k (C) < 3 - - ■ ( 7 - 1 ) ctx_ravd(C, k) = 1 32 < e k (C) - - · (7 - 2) ctx_mvd(C, k) = 2 3≤ e k (C) ≤ 32 - - · ( 7 - 3 ) 動きべクトル情報（MVD)のコンテキス トモデル生成は、図 8に示すように行われ る。 すなわち、 マクロブロック Cに対する動きベク トル予測誤差 mv d k (C) は、 絶対値 I mv dk (C) I と符号に分離される。 絶対値 I mv dk (C) | は 2値化される。 2値化された絶対値 i m v dk (C) Iの第 1の b i n (最左端 の値） は、 上述したコンテキストモデル ctx_mvd(C,k)を用いて符号化する。 第 2 の b i n (左端から 2番目の値） はコンテキス トモデル 3を用いて符号化する。 同様に、 第 3, 4の b i nは、 それぞれコンテキス トモデル 4, 5を用いて符号 化する。 第 5以降の b i nは、 コンテキス トモデル 6を用いて符号化する。 mv d k (C) の符号は、 コンテキス トモデル 7を用いて符号化する。 このように、 運動ベクトル情報 (MVD)は、 8種類のコンテキストモデルを用いて符号化される。 次に、参照フレームパラメータ (Ref_frame)を符号化するコンテキストモデルに ついて説明する。
ィンターフレームに対して、 2枚以上の参照フレームが用いられる場合、 イン ターフレームの各マクロプロックに対して参照フレームに関する情報が設定され る。 図 6に示すように配置されたマクロブロック A， B, Cにおいて、 マクロブ ロック A， Bそれぞれに対する参照フレームパラメータを A, Bとした場合、 マ クロブロック Cに対するコンテキス トモデル ctx_ref_frame(C)は、 次式 （8) に よって定義される。
ctx—ref— frame (C) = ( (A==0) ?0：1)+ 2 ( (B==0) ?0:1) · · ■ (8) ただし、 式 （8) において、 演算子（(A==0)?0:1)は、 マクロブロック Aの参照 フレームパラメータ 0である場合には 0を示し、 マクロプロック Aの参照フレー ムパラメータが 0ではない場合には 1を示すものとする。同様に、演算子（(Β==0)?
0:1)は、マクロプロック Βの参照フレームパラメータ 0である場合には 0を示し、 マクロブロック Βの参照フレームパラメータが 0ではない場合には 1を示すもの とする。
参照フレームパラメータ（Ref— frame)を符号化するコンテキス トモデルは、 式 (8) によって 4種類が定義される。 さらに、 第 2の b i nに対するコンテキス トモデル、 および第 3以降の b i nに対するコンテキス トモデルが定義される。 次に、 H. 26 Lの画像圧縮情報中に含まれるテキスチャ情報に関するシンタ タス要素であるコードプロックパターン（CBP)、 イントラ予測モード（IPRED)、 お ょぴ （RUN,LEVEL) 情報を算出符号化するコンテキス トモデルについて説明する。 始めに、 コードブロックパターンに関するコンテキス トモデルについて説明す る。 Intra 1 6 X 1 6マクロプロック以外のコードプロックパターンに関する取り 扱いは以下のように定義されている。
すなわち、 輝度信号に関しては、 Intral 6 X 16マクロブロックに含まれる、 4つの 8 X 8ブロックそれぞれに対して 1ビットずつ、 合計 4ビットの CBPビッ トが含まれている。 図 6に示すようにマクロブロック A， B, Cが配置されてい る場合、 マク ロブロ ック Cの輝度信号に対応するコ ンテキス トモデル ctx— cbp—luma(C)は、 次式 （9) によって定義される。
ctx_cbp_luma (C) = A + 2 B · · · ( 9 ) ただし、 式 （9) において、 Aは、 マクロプロック Aの輝度信号の CBPビット であり、 Bは、 マクロプロック Bの輝度信号の CBPビットである。 ■
CBP フィールドの残り 2ビッ トは色差信号に関するものである。 マクロブロッ ク Cの色差信号に対応するコンテキス トモデル ci:x_cbp— chroma— sig(C)は、 次式 (1 0) によって定義される。
ctx_cbp_chroma_sig(C) = A+ 2 B ■ · ' (1 0) ただし、 式 （1 0) において、 Aは、 マクロプロック Aの色差信号の CBPビッ トであり、 Bは、 マクロブロック Bの色差信号の CBPビットである。
ここで、マクロブロック Cの色差信号に対応するコンテキストモデル ctx_cbp_ chroraa_sig(C)が 0ではない場合、すなわち、色差信号の A C成分が存在する場合、 次式 （1 1 ) によって定義されるマクロブロック Cの色差信号の AC成分に対応 するコンテキストモデル ctx—cbp一 chroma— ac (C)が符号化される必要がある。
ctx_cbp_chroma_ac (C) = A + 2 B 上 ) ただし、 式 （1 1 ) において、 Aは、 マクロプロック Aに対応する cbp_chroma_a c decisionであり、 Bは、 マクロブロック Bに対応する cbp一 ckroma_ac decisio nである。
式 (9) 乃至 ( 1 1) によって定義されるコンテキストモデルは、 イントラマ クロプロックとインターマクロブ口ックのそれぞれに対して別個に定義されるの で、 24 (= 2 X 3 X 4) 種類のコンテキストモデルが定義されることになる。 さらに、 Intra 1 6 X 1 6マクロプロックに対しては、 2値化された AC decision に対して 1種類のコンテキス トモデルが定義され、 色差信号の各成分それぞれに 対して 1種のコンテキストモデルが定義されている。
次に、イントラ予測モード（IPRED)に関するコンテキス トモデルについて説明す る。 ここで、 H. 2 6 Lにおいて定義されている 6種類 （ラベル 0乃至 5) のィ ントラ予測モードについて、 図 9およぴ図 1 0を参照して説明する。 図 9は、 マ クロプロックを分割した 4 X 4ブロックに存在する画素 a乃至 pと、 隣接する各 4 X 4プロック内に存在する画素 A乃至 Iを示している。 図 1 0のラベル 1乃至 5は、 それぞれラベル 1乃至 5のイントラ予測モードの方向を示している。 ラベ ル 0のイントラ予測モードは、 D C予測モード（DC Prediction)である。
ラベル 0のイントラ予測モードにおいては、 画素 a乃至 pが次式 （1 2) に従 つて予測される。 画素 a乃至 p = (A+B + C + D + E+ F + G + H) 〃8 ■ . . ( 1 2) ただし、 式 （1 2) 乃至次式 （1 5) において、 A乃至 Iは、 それぞれ画素 A乃 至 Iを示しており、記号" ΙΓは、除算した結果を丸め込む演算を意味している。 なお、 ラベル 0のイントラ予測モードにおいて、 8画素 A乃至 Hのうち、 4画 素 （例えば、 画素 A乃至 D) が画枠内に存在しない場合、 式 （1 2) は用いられ ず、 残りの 4画素 （いまの場合、 画素 E乃至 H) の平均値が、 画素 a乃至 pの予 測値とされる。 また、 8画素 A乃至 Hの全てが画枠内に存在しない場合も、式（1 2) は用いられず、 所定の値 （例えば、 1 2 8) が画素 a乃至 pの予測値とされ る。
ラベル 1のィン卜ラ予測モードは、 Vertical/Diagonal Predictionと称される。 ラベル 1のイントラ予測モードは、 4画素 A乃至 Dが画枠内に存在する場合にだ け用いられる。 この場合、画素 a乃至！ のそれぞれが、次式（1 3— 1 ) 乃至（1 3 - 6) に従って予測される。
a (A+B) //2 ( 1 3 - 1) e B ( 1 3 2) 画素 b i = (B + C) 112 ( 1 3 3) 画素 f m= C ( 1 3 4) c， j = (C + D) 〃2 ( 1 3 5) 画素 d， g， h， k， 1， n o , p
=D • • • ( 1 3— 6) ラベル 2のイントラ予測モードは、 Vertical Prediction と称される。 ラベル 2のイントラ予測モードは、 4画素 A乃至 Dが画枠内に存在する場合にだけ用い られる。 この場合、 例えば、 画素 a， e , i , mの予測値として画素 Aが用いら れ、 画素 b , f , j , ηの予測値として画素 Βが用いられる。
ラベル 3のイントラ予測モードは、 Diagonal Prediction と称される。 ラベル 1のイントラ予測モードは、 9画素 A乃至 Iが画枠内に存在する場合にだけ用い られる。 この場合、 画素 a乃至 pのそれぞれが、 次式 （1 4— 1) 乃至 （1 3— TJP03/05081
14
7) に従って予測される。
画素 m = (H+ 2 G+F) //4 - - - ( 1 4- 1) n = (G+ 2 F + E) 〃4 - ' ■ ■ ( 1 4一 2) 画素 e j , o = (F+ 2 E+ I ) //4 - - - ( 1 4- 3) 画素 f , k， p = (E+ 2 I +A) 〃4 · ■ - (1 4 - 4) 画素 b g， l = ( I + 2 A+B) //4 - - - ( 1 4- 5) c h = (A+ 2 B + C) //4 · · - (1 4- 6) 画素 d = (B + 2 C + D) //4 - - - (1 4- 7) ラベル 4のイントラ予測モードは、 Horizontal Prediction と称される。 ラベ ル 4のィントラ予測モードは、 4画素 E乃至 Hが画枠内に存在する場合にだけ用 いられる。 この場合、 例えば、 画素 a， b , c , dの予測値として画素 Eが用い られ、 画素 e， f ， g， hの予測値として画素 Fが用いられる。
ラベル 5のイントラ予測モードは、 Horizontal/Diagonal Predictionと称され る。 ラベル 5のイントラ予測モードは、 4画素 E乃至 Hが画枠内に存在する場合 にだけ用いられる。 この場合、 画素 a乃至！のそれぞれが、 次式 （1 5— 1 ) 乃 至 （1 5— 6) に従って予測される。
画素 a = (E + F) //2 ( 1 5 - 1 ) 画素 b = F ( 1 5 2) 画素 c， e = (F + G) 1/2 ( 1 5 3) 画素 f ， d =G ( 1 5 4) 画素 i， g = (G + H) //2 ( 1 5 5) 画素 h , j , k , 1 , m, η ο , ρ
=Η - ' - ( 1 5 - 6) ラベル 0乃至 5のイントラ予測モードに対しては、 それぞれ 2つのコンテキス トモデルが定義されている。 すなわち、 1つは、 それぞれのモードに対する第 1 の b i nであり、 もう 1つは、 それぞれのモードに対する第 2の b i nである。 これらに加え、 Intra 1 6 X 1 6モードの 2ビットに対して 1つずつコンテキスト 03 05081
15 モデルが定義されている。 したがって、 イントラ予測モードに対しては、 合計 1 4のコンテキストモデルが定義されている。
次に、 （RUN, LEVEL)に関するコンテキストモデルについて説明する。
H . 2 6 Lにおいては、 2次元離散コサイン変換係数を 1次元に並べ替えるス キャン方式として、 図 1 1 A , Bに示す 2種類の方法が定義されている。 図 1 1 Aに示すシングルスキャン方式は、 イントラマクロプロックに対する輝度信号で あって、 かつ、 量子化パラメータ Q Pが 2 4よりも小さい場合以外に用いられる 方式である。 図 1 1 Bに示すダブルスキヤン方式は、 シングルスキャン方式が用 いられない場合に用いられる。
ィンターマクロプロックおよび量子化パラメータ Q Pが 2 4以上であるイント ラマクロブロックでは、 平均して 4 X 4マクロプロックに対する非零係数は 1つ であり、 1ビットの EOB (End Of Block) 信号で十分であるが、 量子化パラメ一 タ Q Pが 2 4よりも小さいイントラマクロブロックの輝度信号に関しては、 2つ 以上の非零係数が存在するため、 1ビットの E0B信号では不十分である。 このた め、 図 1 1 Bに示すダブルスキャン方式が用いられる。
(RUN, LEVEL)に対するコンテキストモデルは、図 1 2に示すように、上述したス キャン方式の区別、 D C /A Cブロックタイプの区別、 輝度信号/色差信号の区 別、 ィントラマクロプロック Zィンターマクロプロックの区別に応じて 9種類が 定義されている。
LEVEL情報は符号と絶対値に分離される。 図 1 2に示した対応する Ctx_run— le vel に応じて、 4つのコンテキストモデルが定義される。 すなわち、 第 1のコン テキストモデルは符号に対してのものであり、 第 2のコンテキストモデルは第 1 の b i nに対してのものであり、 第 2のコンテキストモデルは第 2の b i nに対 してのものであり、 第 4のコンテキストモデルはそれ以降の b i nに対して定義 されたものである。
LEVELが 0ではない場合（E0Bでない場合） には、以下に述べる RUNが符号化さ れる。 RUNに対してであるが、 図 1 2に示された、 それぞれの Ctx_run— levelに T/JP03/05081
16 対して、 第 1の b i nと第 2以降の b i nについて、 それぞれ 2つずつのコンテ キストモデルが定義されている。
H . 2 6 Lの画像圧縮情報において、 マクロプロックレベルで設定され得る、 量子化に関するパラメータ Dquant に対するコンテキストモデルについて説明す る。
パラメータ Dquantは、マクロブロックに対するコードプロックパターンが、非 零の直交変換係数を含む場合、 またはマクロブロックが 1 6 X 1 6 Intra Coded である場合に設定される。パラメータ Dquantは、一 1 6乃至 1 6の値を取り得る。 マクロプロックに対する量子化パラメータ QUANTn e wは、 画像圧縮情報中のパラ メータ Dquantを用いた次式 （1 6 ) によって算出される。
QUANTn e w = modulo 3 2 (QUANT 0 L d +Dquant+ 3 2 ) · ■ · ( 1 6 ) ただし、 式 （1 6 ) において、 QUANT。l dは、 直前の符号化または復号に用いられ た量子化パラメータである。
図 6に示すように配置されたマクロブロック Cのパラメータ Dquant に対する 第 1のコンテキストモデル ctx_dquant (C)は、次式（ 1 7 )のように定義される。 ctx_dquant (C) = (A！ = 0 ) · ■ · ( 1 7 ) ただし、 式 （1 7 ) において、 Aは、 マクロブロック Aのパラメータ Dquantの値 を示している。 第 1の b i nに対しては第 2のコンテキストモデルが、 第 2以降 の b i ηに対しては第 2のコンテキストモデルが定義されている。
以上説明した様々なコンテキストモデルに対し、 入力となるシンボルが 2値化 されていない場合には、そのシンボルを入力前に 2値化する必要がある。 MB_tyPe 以外のシンタクス要素は、 図 1 3に示す対応関係によって 2値化される。
Pピクチャに対して 1 0種類定義されている MB_tyPeは、 図 1 4 Aに示す対応 関係によって 2値化される。 また、 Bピクチャに対して 1 7種類定義されている MB— typeは、 図 1 4 Bに示す対応関係によって 2値化される。
以上説明した様々なコンテキストモデルに対応するレジスタは、 事前に計算さ れた値によって予め初期化されており、 各シンボルを符号化する際、 一連のコン テキストモデルに対する b i nの発生頻度が逐次更新され、 次のシンボルの符号 化を行う際の判定に用いられる。
しかしながら、 与えられたコンテキス トモデルに対する発生頻度が予め定めら れた値を超えた場合には、 頻度カウンタは縮小処理が行われる。 このように周期 的にスケーリング処理を行うことで、 動的なシンポルの発生に対応することを容 易なものとしている。
H . 2 6 Lにおいて、 2値化されたシンボルの算術符号化方式については、 現 在のところ、 文献 I Arithmeticし oding for Data Compression ， (Witten et al. Comm. of the ACM, 30 (6) , 1987, pp520-541)」 （以下、 文献 2と記述する） に開示 されている方法が適用されている。
ところで、 MPEG 2においては、 入力となる画像信号が飛び越し走査フォーマツ トであった場合、 マクロブロックレベルでフィールド Zフレーム適応型符号化処 理が可能とされている。
現在、 H . 2 6 Lにはそのような仕様は定義されていないが、文献 ^Interlace Coding Tools for H. 26L Video Coding (L. Wang et al.， VCEG—037, Dec. 2001) "\ (以 下、 文献 3と記述する） には、 H . 2 6 Lの仕様を、 マクロブロックレベルでフ ィールド フレーム適応型符号化処理を可能とするように拡張することが提案さ れている。
文献 3に提案されている、 マクロプロックレベルでフィールド Zフレーム適応 型符号化処理について説明する。
現在の H . 2 6 Lにおいては、 マクロブロックにおける動き予測 '補償の単位 として、図 1 5に示すような 7種類のモード（mode l乃至 7 )が定義されている。 文献 3においては、 画像圧縮情報のマクロプロックに対応するシンタクスとし て、 図 1 6に示すように、 Runと MB— typeの間に Frame/Field Flagを持つことが 提案されている。 Frame/Field Flagの値が 0である場合、 当該マクロブロックは フレームベースの符号化が施されることを示し、 Frame/Fi eld Flagの値が 1であ る場合、 フィールドベースの符号化が施されることを示している。 Frame/Field Flagの値が 1である場合 （すなわち、 フィールドベースの符号化 が施される場合）、マクロプロック内の画素は、図 1 7に示すように行単位で画素 の並べ替えが行われる。
Frame/Field Flagの値が 1である場合、 マクロブロックにおける動き予測 ·補 償の単位として、 図 1 5の mode 3乃至 7に相当する、 図 1 8に示す 5種類のモー ド （mode l a乃至 5 a ) が定義されている。 '
例えば、 図 1 8の mode 2 aにおいて、 マクロブロックを 4分割した 8 X 8ブロ ック 0乃至 3のうち、ブロック 0 , 1は同一のフィールドパリティに属し、また、 ブロック 2， 3は同一のフィールドパリティに属する。また例えば、図 1 8の mode 3 aにおいて、 マクロブロックを 8分割した 4 X 8プロック 0乃至 8のうち、 ブ ロック 0乃至 3は同一のフィールドパリティに属し、 また、 ブロック 4乃至 7は 同一のフィーノレドパリティに属する。
Frame/Field Flagの値が 1である場合のィントラ予測モードについて説明する。 例えば、 図 9に示した 4 X 4ブロックに位置する画素 a乃至 pは、 Frame/Field Flagの値が 1である場合においても、隣接する 4 X 4プロックに位置する画素 A 乃至 Iを用いてイントラ予測が行われるが、 画素 a乃至！）、 および画素 A乃至 I が全て同一フィールドパリティに属していることが特徴である。
画素 A乃至 I力 S、 画素 a乃至 pと同一のマクロブロックに属している場合につ いて、 図 1 9を参照して説明する。 マクロブロックを 1 6分割した 4 X 4プロッ ク 7に存在する画素 a乃至 pは、 隣接するプロック 2， 3， 6の端に存在する画 素 A乃至 Iを用いてィントラ予測が行われる。
画素 A乃至 I 1 画素 a乃至 pとは異なるマクロブロックに属する場合につい て、 図 2 O Aおよび図 2 0 Bを参照して説明する。
図 2 O Aは、 処理対象としているマクロブ口ックの左側のマクロプロックと、 上側のマクロブ口ックに対する Frame/Field Flagの値がそれぞれ 1である場合を 示している。 この場合、 処理対象としているマクロブロックを 1 6分割した 4 X 4ブロック Cに存在する画素のィントラ予測は、 左側のマクロプロックを 1 6分 0508!
19 割したブ 4 X 4プロック Aに存在する画素と、 上側のマクロブロックを 1 6分割 した 4 X 4ブロック Bに存在する画素を用いて行われる。 4 X 4ブロック C' に 存在する画素のイントラ予測は、 4 X 4ブロック A' に存在する画素と、 4 X 4 ブロック B ' に存在する画素を用いて行われる。
図 2 0 Bは、 処理対象としているマクロブロックに対する Frame/Field Flag の値が 1であり、 その左側および上側のマクロブ口ックに対する Frame/Field Flagの値がそれぞれ 0である場合を示している。 この場合、 処理対象としている マクロブロックを 1 6分割した 4 X 4プロック Cに存在する画素のィントラ予測 は、 左側のマクロプロックを 1 6分割した 4 X 4プロック Aに存在する画素と、 上側のマクロプロックを 1 6分割した 4 X 4プロック Bに存在する画素を用いて 行われる。 4 X 4ブロック C ' に存在する画素のイントラ予測は、 4 X 4ブロッ ク A' に存在する画素と、 4 X 4ブロック Bに存在する画素を用いて行われる。 次に、 色差信号のイントラ予測について、 図 2 1を参照して説明する。 Frame/ Field Flagの値が 1である場合、色差信号のィントラ予測モードは 1種類だけが 定義されている。
図 2 1において、 A乃至 Dは、 それぞれ色差信号の 4 X 4ブロックを示す。 ブ ロック A， Bは、 第 1フィールドに属し、 プロック C， Dは、 第 2フィールドに 属する。 s。乃至 s 2は、 プロック A乃至 Dに隣接するブロックのうち、 第 1フィ 一ルドパリティに属するプロックに存在する色差信号の合計値である。 s 3至 s 5 は、 ブロック A乃至 Dに隣接するブロックのうち、 第 2フィールドパリティに属 するブロックに存在する色差信号の合計値である。
ブロック A乃至 Dにそれぞれ対応する予測値 A乃至 Dは、 s。乃至 s 5が全て画 枠内に存在する場合、 次式 （1 8 ) に従って予測される。
A= ( s 0 + s 2 + 4) 8
B = ( s！ + 2) /4
C= ( s 3 + s 5+ 4) /8
D= ( s , + 2) /4 · · ■ ( 1 8) ただし、 S。乃至 S 5のうち、 S。， S l， S 3 , S 4だけが画枠内に存在する場 合、 ブロック A乃至 Dにそれぞれ対応する予測値 A乃至 Dは、 次式 （1 9) に従 つて予測される。
A= ( s。+ 2) /4
B= ( s x+ 2) /4
C= ( s 3 + 2) /4
D- (s 4+ 2) /4 ■ ■ · (1 9) さらに、 s。乃至 s 5のうち、 s 2 s 5だけが画枠内に存在する場合、 ブロック A 乃至 Dにそれぞれ対応する予測値は、 次式 （20) に従って予測される。
A= ( s 2+ 2) Z4
B= ( s 2+ 2) Z4
C= ( s 5+ 2) /4
D- ( s 5+ 2) /4 ■ · · (20) 図 22は、 上述したようにイントラ予測された後の色差信号の残差成分を符号 化する方法を示している。 すなわち、 それぞれの 4 X 4ブロックに対して直交変 換処理を施した後、 第 1フィールドおよび第 2フィールドの直流成分を用いて図 示すような 2 X 2プロックが生成され、 再び直交変換処理が施される。
次に、 Frame/Field Flagの値が 1である場合の動き予測 ·補償処理について説 明する。 Frame/Field Flag の値が 1である場合、 動き予測補償モードとしては、 インター 1 6 X 1 6モード、 インター 8 X 16モード、 インター 8 X 8モード、 インター 4 X 8モード、 ィンター 4 X 4モードの 6種類のモードが存在する。 例えば、 インター 1 6 X 1 6モードは、 インター 8 X 1 6モードにおける第 1 フィールドに対する動きべクトル情報、 第 2フィールドに対する動きべクトル情 報、 および参照フレームが同等であるモードである。
これら 6種類の動き予測捕償モードに対して、 それぞれ Code— Number 0乃至 5 が割り当てられている。
現在の H. 26 Lにおいては、 図 23に示すような、 複数の参照フレームを設 けることができるマルチプルフレーム予測が規定されている。. 現在のフレームべ ースの H. 2 6 Lの規格において、 参照フレームに関する情報は、 マクロプロッ クレベルで定義されており、 直前に符号化されたフレームに対し、 Code_Number 0が割り当てられており、 その 1乃至 5回前に符号化されたフレームに対し、 そ れぞれ Code_Number 1乃至 5が割り当てられている。
これに対して、 フィールドベース符号化を行う場合、 直前に符号化されたフレ 一ムの第 1フイー^^ドに対して Code一 Number 0が割り当てられ、 当該フレームの 第 2フィールドに対して Code_Number lが割り当てられる。 その 1回前に符号化 されたフレームの第 1フィールドに対して Code一 Number 2が割り当てられ、 当該 フレームの第 2フィールドに対して Code— Number 3が割り当てられる。 さらに 1 回前に符号化されたフレームの第 1フィールドに対して Code_Number 4が割り当 てられ、 第 2フィールドに対して Code_Number 5が割り当てられる。
また、 フィールドベース符号化が行われるマク口プロックに対しては、 第 1フ ィールドに対する参照フィールドと、 第 2フィールドに対する参照フィールドが 別個に規定される。
次に、 Frame/Field Flagの値が 1である場合の動きべク トル情報予測方式につ いて説明するが、 その前に、 現在の H . 2 6 Lにおいて規定されているメディア ン予測について、 図 2 4を参照して説明する。 図 2 4に示す 1 6 X 1 6マクロブ 口ック Eに対応する 1 6 X 1 6、 8 X 8、 または 4 X 4動きべクトル情報は、 隣 接するマクロブロック A乃至 Cの動きべクトル情報のメディアンを用いて予測さ れる。
ただし、マク口プロック A乃至 Cのうち、画枠内に存在しないものについては、 対応する動きべクトル情報の値は 0であるとしてメディアンを算出する。例えば、 マクロプロック D， B , Cが画枠内に存在しない場合、 予測値としてマクロプロ ック Aに対応する動きベクトル情報を用いる。 また、 マクロブロック Cが画枠内 に存在しない場合、 その代わりにマクロブロック Dの動きべクトル情報を用いて
-算出する。 T/JP03/05081
22 なお、マクロプロック A乃至 Dの参照フレームは必ずしも同一でなくてもよい。 次に、 マクロプロックのプロックサイズが、 8 X 1 6、 1 6 X 8、 8 X 4、 ま たは 4 X 8である場合について、 図 2 5 A乃至図 2 5 Dを参照して説明する。 な お、 注目するマクロブロック Eとこれに隣接するマクロブロック A乃至 Dは、 図 2 4に示すように配置されていると仮定する。
図 2 5 Aは、 マクロプロック E l， E 2のブロックサイズが 8 X 1 6である場 合を示している。 左側のマクロブロック E 1に関しては、 左に隣接するマクロブ ロック Aがマクロブロック E 1と同じフレームを参照している場合、 マクロプロ ック Aの動きべク トル情報が予測値として用いられる。 左に隣接するマクロブロ ック Aがマクロブロック E 1 と異なるフレームを参照している場合、 上述したメ ディアン予測が適用される。
右側のマクロブロック E 2に関しては、 右上に隣接するマクロプロック Cがマ クロブロック E 2と同じフレームを参照している場合、 マクロブロック Cの動き ベタ トル情報が予測値として用いられる。 右上に隣接するマクロプロック Cがマ クロブロック E 2と異なるフレームを参照している場合、 上述したメディアン予 測が適用される。
図 2 5 Bは、 マクロブロック E l , E 2のブロックサイズが 1 6 X 8である場 合を示している。 上側のマクロブロック E 1に関しては、 上に隣接するマクロブ ロック Bがマクロブロック E 1と同じフレームを参照している場合、 マクロプロ ック Bの動きベク トル情報が予測値として用いられる。 上に隣接するマクロプロ ック Bがマクロブロック E 1 と異なるフレームを参照している場合、 上述したメ ディアン予測が適用される。
下側のマクロプロック E 2に関しては、 左に隣接するマクロプロック Aがマク ロブ口ック E 2と同じフレームを参照している場合、 マクロブロック Aの動きべ タトル情報が予測値として用いられる。 左に隣接するマクロブロック Aがマクロ プロック E 2と異なるフレームを参照している場合、 上述したメディアン予測が 適用される。 図 2 5 Cは、 マクロブロック E 1乃至 E 8のプロックサイズが 8 X 4である場 合を示している。 左側のマクロブロック E 1乃至 E 4に対しては、 上述したメデ イアン予測が適用され、 右側のマクロプロック E 5乃至 E 8に対しては、 左側の マクロプロック E 1乃至 E 4の動きべク トル情報が予測値として用いられる。 図 2 5 Dは、 マクロプロック E 1乃至 E 8のブロックサイズが 4 X 8である場 合を示している。 上側のマクロプロック E 1乃至 E 4に対しては、 上述したメデ イアン予測が適用され、 下側のマクロブロック E 5乃至 E 8に対しては、 上側の マクロプロック E 1乃至 E 4の動きべク トル情報が予測値として用いられる。
Frame/Field Flagの値が 1である場合においても、 動きべクトル情報の水平方 向成分の予測に関しては、 上述の方式に準ずる。 しかしながら、 垂直方向成分に 関しては、 フィ一ルドベースのブロックとフレームベースのブロックが混在する ため、 以下のような処理を行う。 なお、 注目するマクロプロック Eとこれに隣接 するマクロプロック A乃至 Dは、 図 2 4に示すように配置されているとする。 マクロブロック Eをフレームベース符号化する場合であって、 隣接するマクロ ブロック A乃至 Dのいずれかがフィールドベース符号化されている場合、 第 1フ ィールドに対する動きべクトル情報の垂直方向成分と、 第 2フィールドに対する 動きべクトル情報の垂直方向成分の平均値の 2倍を算出し、 これをフレームベー スの動きべクトル情報に相当するものとして予測処理を行う。
マクロプロック Eをフィールドベース符号化する場合であって、 隣接するプロ ック A乃至 Dのいずれかがフレームベース符号化されている場合、 動きベク トル 情報の垂直方向成分の値を 2で割った商を、 フィールドベースの動きべクトルに 相当するものとして予測処理を行う。
ところで、 文献 3においては、 マクロブロックレベルのフィールド Zフレーム 符号化に必要なシンタクス要素が付加されており、 また、 動きベク トル情報等の シンタクス要素に関しても、 そのセマンティクスが変更されているが、 これに対 して、 新たなコンテキス トモデルの導入、 および既存のコンテキス トモデルの変 更がなされておらず、 文献 3に提案された情報のみでは、 CABAC方式を用いたマ クロブロックレベルのフィールド/フレーム符号化を行うことが不可能である。
CABAC方式は、 UVLC方式に比較して符号化処理により多くの演算量を要するも のの、 より高い符号化効率を実現することが知られており、 入力となる画像情報 が飛び越し走査フォーマツトであった場合にも、 CABAC方式を用いたマクロブロ ックレベルのフィールド Zフレーム符号化を実現できることが望ましい。 発明の開示
本発明はこのような状況に鑑みてなされたものであり、 入力となる画像情報が 飛び越し走査フォーマツトであった場合にも、 CABAC方式を用いたマクロプロッ クレベルのフィールド Zフレーム符号化を可能とすることを目的とする。
本発明の符号化装置は、 マクロブロックレベルの符号化処理をフィールドベー スとするかフレームベースとするかを示す frame/field flagに対応するコンテ キス トモデノレと、 フレームベースの符号化処理を行うためのシンタクス要素に対 応するコンテキストモデルと、 フィールドベースで符号化処理を行うためのシン タクス要素に対応するコンテキス トモデルとを用いて可逆符号化処理を実行する 可逆符号化手段を含むことを特徴とする。
前記フィールドベースで符号化処理を行うためのシンタタス要素に対するコン テキストモデルには、 Iピクチャに対する MB_type、 P / Bピクチャに対する MB— type、動きべク トル情報、参照フィールドパラメータ、およびイントラ予測モ ードに対応するコンテキストモデルのうち、 少なくとも 1つを含むようにするこ とができる。
本発明の符号化方法は、 マクロブロックレベルの符号化処理をフィールドベー スとするかフレームベースとするかを示す frame/field flagに対応するコンテ キス トモデノレと、 フレームベースの符号化処理を行うためのシンタクス要素に対 応するコンテキス トモデルと、 フィールドベースで符号化処理を行うためのシン タクス要素に対応するコンテキス トモデルとを用いて可逆符号化処理を実行する 可逆符号化ステップを含むことを特徴とする。 05081
25 本発明の第 1の記録媒体のプログラムは、 マクロプロックレベルの符号化処理 をフィーノレドベースとするかフレームベースとするかを示す frameZfield flag に対応するコンテキストモデルと、 フレームベースの符号化処理を行うためのシ ンタクス要素に対応するコンテキス トモデルと、 フィールドベースで符号化処理 を行うためのシンタクス要素に対応するコンテキス トモデルとを用いて可逆符号 化処理を実行する可逆符号化ステップを含むことを特徴とする。
本発明の第 1のプログラムは、 マクロブロックレベルの符号化処理をフィール ドベースとするかフレームベースとするかを示す frame/field flagに対応する コンテキス トモデ _/レと、 フレームベースの符号化処理を行うためのシンタクス要 素に対応するコンテキストモデルと、 フィールドベースで符号化処理を行うため のシンタクス要素に対応するコンテキストモデルとを用いて可逆符号化処理を行 う可逆符号化ステップをコンピュータに実行させることを特徴とする。
本発明の復号装置は、 マクロブロックレベルの符号化処理をフィールドベース とするかフレームベースとするかを示す frame/field flagに対応するコンテキ ストモデルと、 フレームべ一スの符号化処理を行うためのシンタクス要素に対応 するコンテキストモデルと、 フィ一ルドベースで符号化処理を行うためのシンタ クス要素に対応するコンテキス トモデルとを用いて可逆符号化されている画像圧 縮情報を復号する復号手段を含むことを特徴とする。
本発明の復号方法は、 マクロプロックレベルの符号化処理をフィールドベース とするかフレームベースとするかを示す frameZfield flagに対応するコンテキ ス トモデルと、 フレームベースの符号化処理を行うためのシンタクス要素に対応 するコンテキストモデルと、 フィールドベースで符号化処理を行うためのシンタ クス要素に対応するコンテキストモデルとを用いて可逆符号化されている画像圧 縮情報を復号する復号ステップを含むことを特徴とする。
本発明の第 2の記録媒体のプログラムは、 マクロブロックレベルの符号化処理 をフィールドベースとするかフレームベースとするかを示す frameZfield flag に対応するコンテキス トモデルと、 フレームベースの符号化処理を行うためのシ ンタクス要素に対応するコンテキス トモデルと、 フィールドベースで符号化処理 を行うためのシンタタス要素に対応するコンテキストモデルとを用いて可逆符号 化されている画像圧縮情報を復号する復号ステップを含むことを特徴とする。 本発明の第 2のプログラムは、 マク口プロックレベルの符号化処理をフィール ドベースとするかフレームベースとするかを示す frame/field flagに対応する コンテキストモデルと、 フレームベースの符号化処理を行うためのシンタクス要 素に対応するコンテキス トモデルと、 フィールドベースで符号化処理を行うため のシンタクス要素に対応するコンテキス トモデルとを用いて可逆符号化されてい る画像圧縮情報を復号する復号ステップをコンピュータに実行させることを特徴 とする。
本発明の符号化装置および方法、 並びに第 1のプログラムにおいては、 マクロ ブロックレべノレの符号化処理をフィールドベースとするかフレームベースとする かを示す frameZfield flagに対応するコンテキス トモデルと、 フレームベース の符号化処理を行うためのシンタクス要素に対応するコンテキス トモデルと、 フ ィールドベースで符号化処理を行うためのシンタクス要素に対応するコンテキス トモデルとを用いて可逆符号化処理が行われる。
本発明の復号装置おょぴ方法、 並びに第 2のプログラムにおいては、 マクロプ ロックレべノレの符号化処理をフィーノレドベースとするかフレームベースとするか を示す frame/field flagに対応するコンテキス トモデルと、 フレームベースの 符号化処理を行うためのシンタクス要素に対応するコンテキス トモデルと、 フィ ールドベースで符号化処理を行うためのシンタクス要素に対応するコンテキス ト モデルとを用いて可逆符号化されている画像圧縮情報が復号される。
符号化装置および復号装置は、 互いに独立した装置であってもよいし、 信号処 理装置の符号化処理およぴ復号処理を行うプロックであってもよい。 図面の簡単な説明
図 1は、 直交変換処理と動き補償処理によって画像圧縮を実現する従来の画像 情報符号化装置の構成を示すプロック図である。
図 2は、 図 1の画像情報符号化装置に対応する画像情報復号装置の構成を示す プロック図である。
図 3は、 算術符号化処理における、 記号の発生確率と割り当てられるサブ区間 の対応関係の一例を示した図である。
図 4は、 算術符号化処理の一例を示す図である。
図 5は、 CABAC符号化器の一般的な構成を示すプロック図である。
図 6は、 MB— typeのコンテキストモデルを説明するための図である。
図 7は、 動きべクトル情報 MVDのコンテキストモデルを説明するための図であ る。
図 8は、 コンテキストモデルに基づいて、 動きベクトル情報 MVDを符号化する 処理を説明するための図である。
図 9は、 H. 2 6 Lで定義されているイントラ予測モードを説明するための図 である。
図 1 0は、 ラベル 1乃至 5のイントラ予測モードの方向を説明するための図で ある。
図 1 1 Aは、 H. 2 6 Lで定義されているシングルスキャン方式を説明するた めの図である。
図 1 1 Bは、 H. 2 6 Lで定義されているダブルスキャン方式を説明するため の図である。
図 1 2は、 H. 2 6 Lで定義されている、 （RUN， LEVEL)に対応するコンテキスト モデルを示す図である。
図 1 3は、 H . 2 6 Lにおける、 MB— type 以外のシンタクス要素を 2値化する 処理を説明するための図である。
図 1 4 Aは、 H . 2 6 Lにおける、 Pピクチャの MB_typeを 2値化する処理を 説明するための図である。
図 1 4 Bは、 H . 2 6 Lにおける、 Bピクチャの MB_typeを 2値化する処理を 説明するための図である。
図 1 5は、 H . 2 6 Lにおいて定義されている、 マクロプロックにおける動き 予測■補償の単位として 7種類のモードを示す図である。
図 1 6は、 マクロブロックレベルのフィールド/フレーム適応符号化が える ように拡張された画像圧縮情報のシンタクスを示す図である。
図 1 7は、 マクロプロックをフィールドベースで符号化する場合における、 マ クロプロックの画素の並べ替えを説明するための図である。
図 1 8は、 マクロブロックをフィールドベースで符号化する場合における、 動 き予測■補償の単位として定義されている 5種類のモードを示す図である。 図 1 9は、 マクロプロックをフィールドベースで符号化する場合における、 マ クロプロック内でィントラ予測を行う動作原理を説明するための図である。 図 2 O Aは、 マクロブロックをフィールドベースで符号化する場合における、 マクロブロックをまたがってイントラ予測を行う動作原理を説明するための図で ある。
図 2 0 Bは、 マクロブロックをフィールドベースで符号化する場合における、 マクロプロックをまたがってイントラ予測を行う動作原理を説明するための図で ある。
図 2 1は、 マクロブロックをフィールドベースで符号化する場合における、 色 差信号に対するイントラ予測を行う動作原理を説明するための図である。
図 2 2は、 マクロブロックをフィールドベースで符号化する場合における、 色 差信号の残差成分を符号化する動作原理を説明するための図である。
図 2 3は、 H . 2 6 Lにおいて規定されているマルチプルフレーム予測を説明 するための図である。
図 2 4は、 マクロブロックをフィールドベースで符号化する場合における、 動 きべク トル情報の予測方式を説明するための図である。
図 2 5 Aは、 H. 2 6 Lで定められている各予測モードにおける動きベク トル 情報の予測値を生成する処理を説明するための図である。 図 2 5 Bは、 H . 2 6 Lで定められている各予測モードにおける動きベク トル 情報の予測値を生成する処理を説明するための図である。
図 2 5 Cは、 H . 2 6 Lで定められている各予測モードにおける動きベク トル 情報の予測値を生成する処理を説明するための図である。
図 2 5 Dは、 H . 2 6 Lで定められている各予測モードにおける動きベクトル 情報の予測値を生成する処理を説明するための図である。
図 2 6は、 本発明の一実施の形態である画像情報符号化装置の構成例を示すブ 口ック図である。
図 2 7は、 図 2 6の算術符号化部 5 8の構成例を示すプロック図である。
図 2 8 Aは、 マクロブロックをフィールドベースで符号化する場合における、 Pピクチャに属するマク口プロックの MB_typeを 2値化するたためのテープ/レを 示す図である。
図 2 8 Bは、 マクロプロックをフィールドベースで符号化する場合における、 Bピクチャに属するマク口プロックの MB_typeを 2値化するたためのテープノレを 示す図である。
図 2 9は、 図 2 6の画像情報符号化装置の対応する、 本発明の一実施の形態で ある画像情報復号装置の構成例を示すブロック図である。 発明を実施するための最良の形態
以下、 本発明を適用した画像情報符号化装置について、 図 2 6を参照して説明 する。 当該画像情報符号化装置は、 入力となる画像情報が飛び越し走査フォーマ ットであった場合にも、 CABAC方式を用いて符号化処理を施すことができるもの である。
当該画像情報符号化装置において、 A/D変換部 5 1は、 アナログ信号である 入力画像信号をディジタル信号に変換して、 画面並べ替えバッファ 5 2に出力す る。 画面並べ替えバッファ 5 2は、 A/D変換部 5 1からの入力画像情報を、 当 該画像情報符号化装置の出力となる画像圧縮情報の GOP構造に応じて並び替えて、 P T/JP03/05081
30 加算器 5 4に出力する。
フィールド/フレーム判定部 5 3は、 処理対象の画像のマクロブロックを、 フ ィールドベースで符号化する場合と、 フレームベースで符号化する場合との符号 化効率が高い方を判定し、 対応する Frame/Field Flagを生成して、 フィールド/ フレーム変換部 5 5および算術符号化部 5 8に出力する。
加算器 5 4は、 処理対象のマクロプロックがインター符号化される場合、 フィ 一ルド/フレーム判定部 5 3を介する入力画像と、 動き予測■補償部 6 4からの 参照画像との差分画像を生成して、 フィールド フレーム変換部 5 5および直交 変換部 5 6に出力する。 また、 加算器 5 4は、 処理対象のマクロプロックがイン トラ符号化される場合、 フィールド/フレーム判定部 5 3を介する入力画像をそ のまま、 フィールド/フレーム変換部 5 5および直交変換部 5 6に出力する。 フィールド Zフレーム変換部 5 5は、 処理対象のマクロブロックがフィールド ベースで符号化される場合、 加算器 5 4からの入力画像をフィールド構造に変換 して直交変換部 5 6に出力する。 直交変換部 5 6は、 入力される画像情報に対し て直交変換 （離散コサイン変換、 またはカルーネン ' レーべ変換等） を施し、 得 られる変換係数を量子化部 5 7に供給する。 量子化部 5 7は、 レート制御部 6 5 らの制御に従い、 直交変換部 5 6から供給された変換係数に対して量子化処理を 施す。
算術符号化部 5 8は、 量子化部 5 7および動き予測 '補償部 6 4から入力され る各シンタ ク ス要素、 並びにフ ィ ール ド Zフ レーム判定部 5 3からの Frame/Field Flagを CABAC方式に基づいて算術符号化し、 蓄積バッファ 5 9に供 給して蓄積させる。 蓄積バッファ 5 9は、 蓄積した画像圧縮情報を後段に出力す る。
逆量子化部 6 0は、 量子化された直交変換係数を逆量子化して、 逆直交変換部 6 1に出力する。 逆直交変換部 6 1は、 逆量子化された変換係数に対して逆直交 変換処理を施して復号画像情報を生成し、 フレームメモリ 6 2に供給して蓄積さ せる。 フィールド/フレーム変換部 6 3は、 処理対象とするマクロブロックをフ 細 81
31 ィールドベースで符号化する場合、 フレームメモリ 6 2に蓄積された復号画像情 報をフィールド構造に変換して、 動き予測 ·補償部 6 4に出力する。
動き予測 '補償部 6 4は、 動き予測処理により、 最適な予測モード情報および 動きべクトル情報を生成して算術符号化部 5 8部に出力するとともに、 予測画像 を生成して加算器 5 4に出力する。 レート制御部 6 5は、 蓄積バッファ 5 9に蓄 積されたデータ量に基づき、 量子化部 5 7の動作のフィードバック制御を行う。 制御部 6 6は、 記録媒体 6 7に記録されている制御用プログラムに従い、 当該画 像情報符号化装置の各部を制御する。
次に、 算術符号化部 5 8の動作原理について、 図 2 7を参照して説明する。 図 2 7は、算術符号化部 5 8の構成例を示している。算術符号化部 5 8においては、 入力される画像圧縮情報のシンタクス要素のうち、 まず、 図 1 6に示した frame Zfield flag力 フレーム Zフィールドフラグコンテタス トモデル 9 1によって 符号化される。
そして、 処理対象となるマクロプロックがフレームベース符号化される場合、 現在 H . 2 6 Lの標準で定められているフレームベースのコンテキス トモデル 9 2が適用される。なお、 2値化されていない値を持つシンタタス要素に関しては、 2値化部 9 3によって 2値化が施された後、 算術符号化が行われる。
一方、 処理対象となるマクロブロックがフィールド符号化される場合、 以下の シンタクス要素に関しては、 フィールドベースのコンテキス トモデル 9 4が適用 される。 なお、 2値化されていない値を持つシンタクス要素に関しては、 2値化 部 9 5によって 2値化が施された後、 算術符号化が行われる。 すなわち、 第 1の シンタクス要素は、 Iピクチャに対する MB_typeであり、 第 2のシンタクス要素 は P / Bピクチャに対する MB— typeであり、 第 3のシンタクス要素は動きべクト ル情報であり、 第 4のシンタクス要素は参照フィールドパラメータであり、 第 5 のシンタクスはイントラ予測モードである。
以下、 図 6に示すようにマクロブロック A， B， Cが配置されているとする。 frame/field flag に関するコンテキス トモデルについて説明する。 マクロブロ ックじの fratneZfield flagに関するコンテキス トモデル ctx— fifr_f lag(C)は、 次式 （21) によって定義される。
ctx一 fifr— flag(C) = a + 2 b - - " (2 1) ただし、 式 （2 1) において、 a, bは、 それぞれマクロプロック A， Bの frame /field flagのィ直である。
次に、 Iピクチャに対する MB_typeに関するコンテキストモデルについて説明 する。 fratneZfield flag が 1である場合、 Iピクチャに含まれるマクロプロッ ク Cの MB— typeに対応するコンテキストモデノレ ctx一 mb一 type— intra— field (C)は、 式 （3) と同様に次式 （22) によって定義される。
ctx一 mb一 type— intra一 field (C) =A+B ■ ■ - (22) ただし、 式 （22) における A, Bは、 式 （3) におけるものと同様である。 な お、 隣接するマクロブロック A， Bは、 フィールドベース符号化されていても、 フレームベース符号化されていてもかまわない。
次に、 P/Bピクチャに対する MB_typeに関するコンテキストモデルについて 説明する。 マクロブロック Cが Pピクチヤに含まれる場合、 マクロブロック Cの MB— typeに対応するコンテキストモデル ctx— mb— type— inter— field (C)は、次式（ 2 3) によって定義される。 また、 Bピクチャに含まれる場合、 次式 （24) によ つて定義される。
ctx_mb_type_inter_field(C) = ((A==skip)?0:l) + 2 ((B二 =skip)?0: 1)
· · · ( 23 ) ctx— mb— type— inter一 field (C) = ( (A==Direct) ?0:1) + 2 ( (B==Direct) ?0:1)
■ · · (24) ただし、 式 （23) における演算子（(A==skip) ?0:1)， （(A==skip)?0:l)は、 式 (4)におけるものと同様であり、式（24)における演算子（（A==Direct) ?0:1)， ((B-Direct)?0:l)は、 式 （5) におけるものと同様である。 隣接するマクロプロ ック A, Bは、 フィールドベース符号化されていても、 フレームベース符号化さ れていてもかまわない。 なお、 2値化されていない Pピクチャの MB_typeは、 図 28 Aに示すテーブル によって 2値化される。 また、 2値化されていない Bピクチャの MB_typeは、 図 28 Bに示すテーブルによって 2値化される。
適応 2値算術符号化部 96では、 2値化されたシンボルに対して、 確率推定部 97によって確率推定がなされ、 符号化エンジン 98によって確率推定に基づく 適応算術符号化が施される。 適応算術符号化処理が行われた後、 関連するモデル の更新が行われるため、 それぞれのモデルは実際の画像圧縮情報の統計に応じた 符号化処理を行うことが可能となる。
フレームベース符号化されるマクロブロックに対しては、 Pピクチャに属する 場合、 10種類の MB_typeが定義されている。 一方、 フィールドベース符号化さ れるマクロプロックに対しては、 Pピクチャに属する場合、前記 1 6種類のうち、 1 6 X 1 6モード、 および 8 X 16モードが定義されていない。 すなわち、 フィ 一ルドベース符号化されるマクロブロックに対しては、 pピクチャに関して 8種 類の MB— typeが定義されている。
フレームベース符号化されるマクロプロックに対しては、 Bピクチャに関して 1 8種類の MB_typeが定義されている。 一方、 フィールドベース符号化されるマ クロブロックに対しては、 Bピクチャに属する場合、 前記 1 8種類のうち、 前方 向 1 6 X 1 6モード、 後方向 1 6 X 1 6モード、 前方向 8 X 1 6モード、 および 後方向 8 X 1 6モードが定義されていない。 すなわち、 フィールドベース符号化 されるマクロブロックに対しては、 Bピクチャに関して 14種類の MB_typeが定 義されている。
次に、動きべクトル情報のコンテキストモデルについて説明する。 frameZfield flagの値が 1である場合、マクロプロック Cの動きべクトル情報に対応する第 1 乃至 3のコンテキストモデル ctx_mvd— field(C,k)は、 次式 （25— 1) 乃至 （2 5 - 3 ) によって定義される。
ctx_mvd_f ield (C, k) = 0 e k (C) < 3 - - - (25 - 1) ctx_mvd_field (C, k) = 1 3 2 < e k (C) - - - (25 - 2) ctx— mvd—field (C,k)= 2 3≤ e k (C) ≤ 3 2 · ' · (25— 3) ただし、 式 （2 5— 1) 乃至 （2 5— 3) における評価関数 e kは次式 （26) のように定義されている。 マクロプロック A， Bは同じパリティフィールドにあ る。
k (c) m V d k (A) I + I m v d k (B) (26) ここで、 マクロプロック Aがフレームベース符号化されたものである場合、 垂 直方向成分の動きベクトル情報 mv d i (A) に関しては、 次式 （2 7) を用い て算出した m V d — f ; e i d (A) を式 （26) に適用する。 また、 マクロブロッ ク Bがフレームベース符号化されたものである場合においても同様である。
mv
Figure imgf000036_0001
d 1_f r ame (A) /2 · ■ · (2 7) 反対に、 マクロブロック Cをフレームベース符号化する場合であって、 隣接ブ ロック Aがフィールドベース符号化されたものである場合、 mv d k (A) の水 平方向成分、 垂直方向成分は、 それぞれ次式 （28— 1)， (28- 2) を用いて 算出した m V dk— f r ame (A) を式 （26) に適用する。
m V d 0_f r ame (A)
= (m v d 0_t o p (A) +mv d。— b。t t。m (A)) /2 · ■ - (28- 1) m v d !_f r ame (A)
=m v d x_t op (A) +11^ 一 b。t t。m (A) · ■ - (28 - 2) 次に、 参照フィールドパラメータに関するコンテキストモデルについて説明す る。 frarae/field flag の値が 1である場合、 第 1フィールドに対応する第 1の コンテキス トモデル ctx— ref— field_top(C)は、 次式 （29— 1) によって定義さ れる。 また、 第 2フィールドに対応する第 1のコンテキストモデル ctx— ref_fiel d— bot(C)は、 次式 （29— 2) によって定義される。
ctx_ref_field_top(C) = a t + 2 b t - - - (29 - 1) ctx_ref_field_bot (C) = a b + 2 b b - - - (29 -2) ただし、 式 （29— 1)， (2 9 - 2) において、 パラメータ a tは、 隣接する マクロブロック Aの第丄フィールドに関するものであり、 パラメータ a hは、 隣 081
35 接するマクロブロック Aの第 2フィールドに関するものであり、 パラメータ b t は、 隣接するマクロブロック Bの第 1フィールドに関するものであり、 パラメ一 タ b bは、 隣接するマクロブロック Bの第2フィールドに関するものであり、 次 式 （30— 1)， (30- 2) のように定義されている。
aリ a b , b " b b
= 0 参照フィールドが最も直前に符号化されたものである場合
■ · - (30- 1) aい a b, bい b
= 1 上記以外の場合 · · ' （30— 2) 第 2以降の b i nに対応するコンテキストモデルに関しては、それぞれ、式（8) に示したコンテキス トモデル ctx_ref_frame(C)と同様に定義される。 ただし、符 号化される Code_numberは、 フレームに対するものではなく、 フィールドに対し て割り当てられたものである。
次に、 ィントラ予測モードに関するコンテキストモデルについて説明する。 frame/field flag の値が 1である場合、 マクロプロック Cに対応するイントラ 予測モードに関するコンテキストモデル ctx— intra_pred— field(C)は、 フレーム モードのマク口プロックに対するコンテキストモデル ctx— intra— pred(C)と同様 に定義される。 なお、 隣接するマクロブロック A， Bは、 フィールドベース符号 化されていても、 フレームベース符号化されていてもかまわない。
以上説明したように、 新たなコンテキストモデルを導入し、 既存のコンテキス トモデルを変更することにより、 CABAC方式を用いたフィールドノフレーム符号 化を行うことが可能となる。
次に、 図 29は、 図 26の画像情報符号化装置に対応する画像情報復号装置の 構成例を示している。
当該画像情報復号装置において、 蓄積バッファ 10 1は、 入力される画像圧縮 情報を蓄積し、 適宜、 算術復号化部 1 02に出力する。 算術復号化部 102は、 CABAC方式に基づいて符号化されている画像圧縮情報に算術複号化処理を施し、 JP03/05081
36 復号した fraraeZfield flagをフィールド Zフレーム変換部 1 0 5 , 1 1 0に出 力し、 量子化されている直交変換係数を逆量子化部 1 0 3に出力し、 予測モード 情報および動きべクトル情報を動き予測 ·補償部 1 1 1に出力する。
逆量子化部 1 0 3は、 算術復号化部 1 0 2によって復号された、 量子化されて いる直交変換係数を逆量子化する。 逆直交変換部 1 0 4は、 逆量子化された直交 変換係数を逆直交変換する。 フィールドダフレーム変換部 1 0 5は、 処理対象の マクロプロックがフィールドベースで符号化されている場合、 逆直交変換の結果 得られた出力画像または差分画像をフレーム構造に変換する。
加算器 1 0 6は、 処理対象のマクロブロックがィンターマクロブ口ックであつ た場合、 逆直交変換部 1 0 4からの差分画像と、 動き予測 ·補償部 1 1 1からの 参照画像を合成して出力画像を生成する。 画面並べ替えバッファ 1 0 7は、 入力 された画像圧縮情報の G0P構造に応じて、 出力画像を並べ替えて D /A変換部 1 0 8に出力する。 0 変換部1 0 8は、 ディジタル信号である出力画像をアナ ログ信号に変換して後段に出力する。 '
フレームメモリ 1 0 9は、 加算器 1 0 6が生成した、 参照画像の元となる画像 情報を格納する。 フィールド/フレーム変換部 1 1 0は、 処理対象のマクロプロ ックがフィールドベースで符号化されている場合、 フレームメモリ 1 1 1に格納 されている画像情報をフィールド構造に変換する。 動き予測 ·補償部 1 1 1は、 画像圧縮情報に含まれる、 マクロプロックごとの予測モード情報および動きべク トル情報に基づき、 フレームメモリに格納された画像情報を元にいて参照画像を 生成し、 加算部 1 0 6に出力する。
以上説明したように構成される画像情報復号装置によれば、 図 2 6の画像情報 符号化装置が出力する画像圧縮情報を復号し、元の画像情報を得ることができる。 上述した一連の処理は、 ハードウェアにより実行させることもできるが、 ソフ トウエアにより実行させることもできる。 一連の処理をソフトウェアにより実行 させる場合には、 そのソフトウェアを構成するプログラムが、 専用のハードゥエ ァに組み込まれているコンピュータ、 または、 各種のプログラムをインス トール することで、 各種の機能を実行することが可能な、 例えば汎用のパーソナルコン ピュータなどに、 例えば図 2 6の記録媒体 6 7力、らィンストールされる。
この記録媒体 6 7は、 コンピュータとは別に、 ユーザにプログラムを提供する ために配布される、 プログラムが記録されている磁気ディスク （フレキシブルデ イスクを含む）、 光ディスク ( CD-ROM (Compact Disc-Read Only Memory)、 DVD (Digital Versati le Disc)を含む）、光磁気ディスク (MD (Mini Disc)を含む）、 もしくは半導体メモリなどよりなるパッケージメディアにより構成されるだけで なく、 コンピュータに予め組み込まれた状態でユーザに提供される、 プログラム が記録されている ROMやハードディスクなどで構成される。
なお、 本明細書において、 記録媒体に記録されるプログラムを記述するステツ プは、 記載された順序に従って時系列的に行われる処理はもちろん、 必ずしも時 系列的に処理されなくとも、 並列的あるいは個別に実行される処理をも含むもの である。 産業上の利用可能性
以上のように、 本発明によれば、 入力となる画像情報が飛び越し走査フォーマ ットであった場合にも、 CABAC方式を用いたマクロプロックレベルのフィールド
Zフレーム符号化を実現することが可能となる。
また、 本発明によれば、 飛び越し走査フォーマッ トの画像情報が CABAC方式を 用いてマクロブ口ックレベルでフィールド/フレーム符号化されている圧縮画像 情報を復号して、 飛び越し走査フォーマツトの画像情報を復元することが可能と なる。

Claims

請求の範囲
1 . 飛び越し走査の画像情報を入力として、 マクロブロックレベルで適応的に フィールドベースまたはフレームベースの符号化処理を実行し、 前記符号化処理 に含まれる可逆符号化処理に CABAC方式を採用した符号化装置において、 前記マクロブロックレベルの前記符号化処理を前記フィールドベースとするか 前記フレームベースとするかを示す frameZfield flagに対応するコンテキスト モデルと、 前記フレームベースの符号化処理を行うためのシンタクス要素に対応 するコンテキス トモデルと、 前記フィールドベースで符号化処理を行うためのシ ンタクス要素に対応するコンテキス トモデルとを用いて前記可逆符号化処理を実 行する可逆符号化手段を
含むことを特徴とする符号化装置。
2 . 前記フィールドベースで符号化処理を行うためのシンタクス要素に対する コンテキス トモデルには、 I ピクチャに対する MB_ ype、 P / Bピクチャに対す る MB— type、 動きベクトル情報、 参照フィールドパラメータ、 およびイントラ予 測モードに対応するコンテキス トモデルのうち、 少なくとも 1つを含む
ことを特徴とする請求の範囲第 1項に記載の符号化装置。
3 . マク ロブロ ックじの fraraeZfield flag に関するコンテキス トモデノレ ctx— fifr— flag (C)は、 前記マクロブロック Cに隣接するマクロプロック A， Bそ れぞれの fratneZfield flagの値 a , bを用いて次式のように定義されている ctx_fifr_flag (C) = a + 2 b
ことを特徴とする請求の範囲第 1項に記載の符号化装置。
4 . Pピクチャに含まれるマクロプロック Cを前記フィールドベースで符号化 する場合、 前記マクロブロック Cの MB_typeに対応する第 1のコンテキス トモデ ル ctx一 mb一 type_inter一 field (C)は、前記マクロブロック Cに隣接するマクロプロ ック A， Bそれぞれが Skipモードであるか否かに対応して 0または 1を示す演算 子（A==Skip) ?0 : l) , ( (B==Skip) ?0 : l)を用いて次式のように定義されている ctx mb type— inter— field (C) = ( (A==skip) ?0 : 1) + 2 ( (B==skip) ?0 : 1) 39 ことを特徴とする請求の範囲第 1項に記載の符号化装置。
5. Pピクチャに含まれるマクロプロック Cを前記フィールドベースで符号化 する場合、前記マクロブロック Cの MB— typeに対応する Code— Number 0乃至 7を、 それぞれ、 0， 1 00, 10 1， 1 1000, 1 100 1, 1 10 10， 1 10 1 1または 1 1 100に 2値化する
ことを特徴とする請求の範囲第 4項に記載の符号化装置。
6. Bピクチャに含まれるマク口プロック Cを前記フィールドベースで符号化 する場合、 前記マクロブロック Cの MB— typeに対応する第 1のコンテキストモデ ル ctx—mb_type— inter— field (C)は、前記マクロブロック Cに隣接するマク口プロ ック A， Bそれぞれが Directモードであるか否かに対応して 0または 1を示す演 算子（A==Direct)?0:l)，（（B==Direc"t) ?0: 1)を用いて次式のように定義されている ctx— mb— type— inter— field (C) = ( (A==Direct) ?0 : 1) + 2 ( (B==Direct) ?0： 1) ことを特徴とする請求の範囲第 1項に記載の符号化装置。
7. Bピクチャに含まれるマクロブロック Cを前記フィールドベースで符号化 する場合、 前記マクロブロック Cの MB一 typeに対応する Code— Number 0乃至 1 3 を、 それぞれ、 0， 100， 10 1， 1 1 000， 1 1001 , 1 101 0， 1 10 1 1, 1 1 100, 1 1 1000, 1 1 1000 1, 1 1 100 1 0， 1 1 100 1 1 , 1 1 10 1 00, 1 1 10101または 1 1 10 1 1 0に 2値化す る
ことを特徴とする請求の範囲第 6項に記載の符号化装置。
8. マクロブロック Cを前記フィールドベースで符号化する場合、 前記マクロ ブロック Cの動きべク トル情報に対応する第 1乃至 3のコンテキストモデル ctx_mvd_field(C，k)は、 前記マクロブロック Cに隣接するマクロプロック A, B それぞれの動きべク トル情報を用いて算出される評価関数 e k (C) = I mv dk (A) I + I mv dk (B) | の値によって場合分けされた次式によって定義さ れている
ctx_mvd_field(C, k) = 0 e k (C) < 3 ctx_ravd_field(C, k) = 1 3 2 < e k (C)
ctx_mvd_field(C, k) = 2 3≤ e k (C) ≤ 3 2
ことを特徴とする請求の範囲第 1項に記載の符号化装置。
9. 前記マクロプロック Cに隣接する前記マクロブロック A， Bは、 前記マク 口プロック Cと同じパリティフィールドに属する
ことを特徴とする請求の範囲第 8項に記載の符号化装置。
10. 前記マクロブロック Cを前記フィールドベースで符号化する場合であつ て、 かつ、 前記マクロプロック Cに隣接する前記マクロブロック X (Xは Aまた は B) が前記フレームベースで符号化されている場合、 次式のように、 マクロブ ロック Xに対応する動きベク トル垂直成分 mv d — i r ame (X) をフィールド符 号化相当に換算して前記評価関数 ek (C) を算出する
mv di— f ieid (X) =m v d 1__ί r ame (X / 2
ことを特徴とする請求の範囲第 8項に記載の符号化装置。
1 1. 前記マクロブロック Cを前記フィールドベースで符号化する場合、 前記 マクロブロック Cの前記動きべク トル情報の第 2および第 3の b i nに対しては、 フレームベースのコンテキス トモデル ctx_mvd (C，k) と同様のコンテキス トモデ ■ ル ctx一 mvd— f ield (C, k) を用いる
ことを特徴とする請求の範囲第 8項に記載の符号化装置。
1 2. マクロブロック Cを前記フレームベースで符号化する場合、 前記マクロ プロック Cの動きべク トル情報に対応する第 1乃至 3のコンテキストモデル ctx_ravd(C, k)は、 前記マクロブロック Cに隣接するマクロプロック A, Bそれぞ れの動きベクトル情報を用いて算出される評価関数 e k (C) = I mv d k (A) I + I m v d k (B) Iの値によって場合分けされた次式によって定義されてい る
ctx_mvd(C, k) = 0 e k (C) く 3
ctx一 mvd (C， k) = 1 32く e k ( C )
ctx一 mvd(C，k)= 2 3≤ e k (C) ≤ 3 2 ことを特徴とする請求の範囲第 1項に記載の符号化装置。
1 3. 前記マクロブロック Cを前記フレームベースで符号化する場合であって、 かつ、前記マクロブ口ック Cに隣接する前記マクロブ口ック X (Xは Aまたは B) が前記フィールドベースで符号化されている場合、 次式のように、 マクロブロッ ク Xに対応する動きベクトル水平成分 mv d。― f i e l d (X) および垂直成分 mv di i i e l d (X) をフレーム符号化相当に換算して前記評価関数 e k (C) を算 出する
m V d 0_f r ame (A)
= (rav d0j。p (A) +mv d0一 b。t t。m (A)) / 2
mv d 1_f r ame (A)
= mv d i一 t。p (A) +mv di一 b。t t。m (A)
ことを特徴とする請求の範囲第 1 2項に記載の符号化装置。
14. マクロブロック Cを前記フィールドベースで符号化する場合、 前記マク ロブ口ック Cの第 1のフィールドに対する参照フィールドに対応する第 1のコン テキス トモデル ctx_ref_field一 top(C)、 および前記マクロブロック Cの第 2のフ ィール ドに対する参照フィールドに対応する第 1 のコンテキス トモデル ctx_ref_field_bot (C)は、 次式によつて定義され、
ctx一: ref一 field一 top (しノ = a t + 2 b t
ctx_ref_field_bot (C) = a b + 2 b b
隣接するマクロブロック Aの第 1のフィールドに関するパラメータ aい 隣接 する前記マクロブロック Aの第 2フィールドに関するパラメータ aい 隣接する マクロブロック Bの第 1フィールドに関するパラメータ bい および前記隣接す るマクロブロック Bの第 2フィールドに関するパラメータ b bは、 次式によって 定義されている
参照フィールドが最も直前に符号化されたものである場合
a t . a b， b t , b b = 0
参照フィールドが最も直前に符号化されたものではない場合 a t > a b， b t , b b = 1
ことを特徴とする請求の範囲第 1項に記載の符号化装置。
1 5 . マクロプロック Cを前記フィールドベースで符号化する場合、 前記マク 口プロック Cの第 1およぴ第 2フィールドのそれぞれに対する第 2および第 3の b i nに関しては、 Code— Number が参照フレームでなく、 参照フィールドを示し ていること以外は、 フレームモードで符号化するマクロプロックに対するコンテ キス トモデノレ ctx—ref— frame (C)と同一である
ことを特徴とする請求の範囲第 1項に記載の符号化装置。
1 6 . マクロプロック Cを前記フィールドベースで符号化する場合、 イントラ 予測モードに対するコンテキス トモデル ctx—intra_pred_field (C)は、 前記フレ ー ム モ ー ド の前記マク ロ ブ口 ッ ク に対する コ ンテ キ ス ト モデ /レ ctx_intra_pred_field (C)と同様に定義されている
ことを特徴とする請求の範囲第 1項に記載の符号化装置。
1 7 . マクロブロック Cを前記フィールドベースで符号化する場合、 イントラ 予測モードに対するコンテキス トモデル ctx_intra一 pred_field (C)は、 前記マク 口プロック Cに隣接するマクロブ口ック A， Bがフィーノ ドモードであるかフレ ームモードであるかに拘わらず、 前記フレームモードの前記マクロプロックに対 するコンテキス トモデル ctx_intra_pred (C)と同様に定義されている
ことを特徴とする請求の範囲第 1 5項に記載の符号化装置。
1 8 . 飛び越し走査の画像情報を入力として、 マクロブロックレベルで適応的 にフィールドベースまたはフレームベースの符号化処理を実行し、 前記符号化処 理に含まれる可逆符号化処理に CABAC方式を採用した符号化方法において、 前記マクロプロックレベルの前記符号化処理を前記フィールドベースとするか 前記フレームベースとするかを示す frameZfield flagに対応するコンテキスト モデルと、 前記フレームベースの符号化処理を行うためのシンタクス要素に対応 するコンテキストモデルと、 前記フィールドベースで符号化処理を行うためのシ ンタクス要素に対応するコンテキス トモデルとを用いて前記可逆符号化処理を実 行する可逆符号化ステップを
含むことを特徴とする符号化方法。
1 9 . 飛び越し走査の画像情報を入力として、 マクロブロックレベルで適応的 にフィールドベースまたはフレームベースの符号化処理を実行し、 前記符号化処 理に含まれる可逆符号化処理に CABAC方式が採用されたプログラムであって、 前記マクロブ口ックレベルの前記符号化処理を前記フィールドベースとするか 前記フレームベースとするかを示す frame/field flagに対応するコンテキス ト モデルと、 前記フレ ムベースの符号化処理を行うためのシンタクス要素に対応 するコンテキストモデルと、 前記フィールドベースで符号化処理を行うためのシ ンタクス要素に対応するコンテキストモデルとを用いて前記可逆符号化処理を実 行する可逆符号化ステップを
含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されて いる記録媒体。
2 0 . 飛び越し走査の画像情報を入力として、 マクロブロックレベルで適応的 にフィールドベースまたはフレームベースで符号化処理を実行し、 前記符号化処 理に含まれる可逆符号化処理に CABAC方式が採用されたプログラムであって、 前記マクロプロックレベルの前記符号化処理を前記フィールドベースとするか 前記フレームベースとするかを示す frame/field flagに対応するコンテキスト モデルと、 前記フレームベースの符号化処理を行うためのシンタクス要素に対応 するコンテキス トモデルと、 前記フィールドベースで符号化処理を行うためのシ ンタクス要素に対応するコンテキス トモデルとを用いて前記可逆符号化処理を行 う可逆符号化ステップを
含む処理をコンピュータに実行させることを特徴とするプログラム。
2 1 . 画像圧縮情報を復号して前記飛び越し走査の画像情報を復元する復号装 置において、
前記マク口プロックレベルの前記符号化処理を前記フィールドベースとするか 前記フレームベースとするかを示す frameZfiel d flagに対応するコンテキスト モデルと、 前記フレームベースの符号化処理を行うためのシンタクス要素に対応 するコンテキス トモデルと、 前記フィールドベースで符号化処理を行うためのシ ンタクス要素に対応するコンテキス トモデルとを用いて可逆符号化されている前 記画像圧縮情報を復号する復号手段を
含むことを特徴とする復号装置。
2 2 . 画像圧縮情報を復号して前記飛び越し走査の画像情報を復元する復号方 法において、
前記マクロブロックレベルの前記符号化処理を前記フィールドベースとするか 前記フレームベースとするかを示す frame/field flagに対応するコンテキス ト モデルと、 前記フレームベースの符号化処理を行うためのシンタクス要素に対応 するコンテキストモデルと、 前記フィールドベースで符号化処理を行うためのシ ンタクス要素に対応するコンテキス トモデルとを用いて可逆符号化されている前 記画像圧縮情報を復号する復号ステップを
含むことを特徴とする復号方法。
2 3 . 画像圧縮情報を復号して前記飛び越し走査の画像情報を復元するための プログラムであって、
前記マクロブロックレベルの前記符号化処理を前記フィールドベースとするか 前記フレームベースとするかを示す frame/fiel d flagに対応するコンテキスト モデルと、 前記フレームベースの符号化処理を'行うためのシンタクス要素に対応 するコンテキス トモデルと、 前記フィールドベースで符号化処理を行うためのシ ンタクス要素に対応するコンテキストモデルとを用いて可逆符号化されている前 記画像圧縮情報を復号する復号ステップを
含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されて いる記録媒体。
2 4 . 画像圧縮情報を復号して前記飛び越し走査の画像情報を復元するための プログラムであって、
前記マクロプロックレベルの前記符号化処理を前記フィールドベースとするか 前記フレームベースとするかを示す frame/field flagに対応するコンテキスト モデルと、 前記フレームベースの符号化処理を行うためのシンタクス要素に対応 するコンテキストモデルと、 前記フィールドベースで符号化処理を行うためのシ ンタクス要素に対応するコンテキストモデルとを用いて可逆符号化されている前 記画像圧縮情報を復号する復号ステップを
含む処理をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2003/005081 2002-04-26 2003-04-22 Coding device and method, decoding device and method, recording medium, and program WO2003092301A1 (en)

Priority Applications (19)

Application Number Priority Date Filing Date Title
CN038094312A CN1650636B (zh) 2002-04-26 2003-04-22 编码设备和编码方法、解码设备和解码方法
EP03717684.9A EP1501313A4 (en) 2002-04-26 2003-04-22 Coding device and method Decoding device and method, recording medium and program
US10/509,682 US7778331B2 (en) 2002-04-26 2003-04-22 Coding device and method, decoding device and method, recording medium, and program
KR1020047017169A KR100952649B1 (ko) 2002-04-26 2003-04-22 부호화 장치 및 방법
US12/468,912 US8325820B2 (en) 2002-04-26 2009-05-20 Coding device and method, decoding device and method, recording medium, and program
US12/468,917 US8320467B2 (en) 2002-04-26 2009-05-20 Coding device and method, decoding device and method, recording medium, and program
US13/546,666 US8571116B2 (en) 2002-04-26 2012-07-11 Coding device and method, decoding device and method, recording medium, and program
US13/559,117 US8649442B2 (en) 2002-04-26 2012-07-26 Coding device and method, decoding device and method, recording medium, and program
US13/559,066 US8619875B2 (en) 2002-04-26 2012-07-26 Coding device and method, decoding device and method, recording medium, and program
US13/558,554 US8611430B2 (en) 2002-04-26 2012-07-26 Coding device and method, decoding device and method, recording medium, and program
US13/558,758 US8654862B2 (en) 2002-04-26 2012-07-26 Coding device and method, decoding device and method, recording medium, and program
US13/558,712 US8693550B2 (en) 2002-04-26 2012-07-26 Coding device and method, decoding device and method, recording medium, and program
US13/619,759 US8509311B2 (en) 2002-04-26 2012-09-14 Coding device and method, decoding device and method, recording medium, and program
US13/619,975 US8509312B2 (en) 2002-04-26 2012-09-14 Coding device and method, decoding device and method, recording medium, and program
US13/619,779 US8477854B2 (en) 2002-04-26 2012-09-14 Coding device and method, decoding device and method, recording medium, and program
US13/725,519 US8488669B2 (en) 2002-04-26 2012-12-21 Coding device and method, decoding device and method, recording medium, and program
US13/725,462 US8483280B2 (en) 2002-04-26 2012-12-21 Coding device and method, decoding device and method, recording medium, and program
US14/176,826 US9088784B2 (en) 2002-04-26 2014-02-10 Coding device and method, decoding device and method, recording medium, and program
US14/732,909 US9532068B2 (en) 2002-04-26 2015-06-08 Coding device and method, decoding device and method, recording medium, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002125295A JP2003319391A (ja) 2002-04-26 2002-04-26 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
JP2002-125295 2002-04-26

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US10509682 A-371-Of-International 2003-04-22
US10/509,682 A-371-Of-International US7778331B2 (en) 2002-04-26 2003-04-22 Coding device and method, decoding device and method, recording medium, and program
US12/468,912 Continuation US8325820B2 (en) 2002-04-26 2009-05-20 Coding device and method, decoding device and method, recording medium, and program
US12/468,917 Continuation US8320467B2 (en) 2002-04-26 2009-05-20 Coding device and method, decoding device and method, recording medium, and program

Publications (1)

Publication Number Publication Date
WO2003092301A1 true WO2003092301A1 (en) 2003-11-06

Family

ID=29267555

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/005081 WO2003092301A1 (en) 2002-04-26 2003-04-22 Coding device and method, decoding device and method, recording medium, and program

Country Status (6)

Country Link
US (16) US7778331B2 (ja)
EP (4) EP1501313A4 (ja)
JP (1) JP2003319391A (ja)
KR (2) KR100952649B1 (ja)
CN (3) CN1650636B (ja)
WO (1) WO2003092301A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100455019C (zh) * 2004-07-22 2009-01-21 三星电子株式会社 内容自适应二进制算术编码的方法和使用该方法的设备
US20100232496A1 (en) * 2004-11-09 2010-09-16 Masayoshi Tojima Decoding-processing apparatus and method
CN101686397B (zh) * 2004-09-16 2013-07-31 汤姆逊许可证公司 用于快速视频帧和场编码的方法

Families Citing this family (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319391A (ja) 2002-04-26 2003-11-07 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
US7769088B2 (en) * 2003-05-28 2010-08-03 Broadcom Corporation Context adaptive binary arithmetic code decoding engine
US7630440B2 (en) * 2003-05-28 2009-12-08 Broadcom Corporation Context adaptive binary arithmetic code decoding engine
US7463781B2 (en) * 2004-04-14 2008-12-09 Lsi Corporation Low overhead context intializations for arithmetic video codecs
KR100648258B1 (ko) 2004-08-02 2006-11-23 삼성전자주식회사 고속의 디코딩을 수행하는 파이프라인 구조의 내용 기반적응적 이진 산술 디코더
JP4763422B2 (ja) * 2004-12-03 2011-08-31 パナソニック株式会社 イントラ予測装置
KR101104828B1 (ko) * 2004-12-09 2012-01-16 삼성전자주식회사 움직임 벡터 연산 장치 및 그 방법
US20060133494A1 (en) * 2004-12-17 2006-06-22 Rahul Saxena Image decoder with context-based parameter buffer
EP1836858A1 (en) 2005-01-14 2007-09-26 Sungkyunkwan University Methods of and apparatuses for adaptive entropy encoding and adaptive entropy decoding for scalable video encoding
KR100694098B1 (ko) 2005-04-04 2007-03-12 한국과학기술원 산술 복호 방법 및 그 장치
WO2006109974A1 (en) * 2005-04-13 2006-10-19 Samsung Electronics Co., Ltd. Method for entropy coding and decoding having improved coding efficiency and apparatus for providing the same
KR100703773B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 향상된 코딩 효율을 갖는 엔트로피 코딩 및 디코딩 방법과이를 위한 장치, 이를 포함하는 비디오 코딩 및 디코딩방법과 이를 위한 장치
EP1878253A1 (en) * 2005-04-19 2008-01-16 Samsung Electronics Co., Ltd. Context-based adaptive arithmetic coding and decoding methods and apparatuses with improved coding efficiency and video coding and decoding methods and apparatuses using the same
KR100703776B1 (ko) 2005-04-19 2007-04-06 삼성전자주식회사 향상된 코딩 효율을 갖는 컨텍스트 기반 적응적 산술 코딩및 디코딩 방법과 이를 위한 장치, 이를 포함하는 비디오코딩 및 디코딩 방법과 이를 위한 장치
JP4856954B2 (ja) * 2005-06-08 2012-01-18 パナソニック株式会社 画像符号化装置
CN100461863C (zh) * 2005-08-05 2009-02-11 上海富瀚微电子有限公司 基于上下文自适应二进制算术解码器
CN100466739C (zh) * 2005-10-12 2009-03-04 华为技术有限公司 Cabac解码系统及方法
JP4622804B2 (ja) * 2005-10-26 2011-02-02 ソニー株式会社 符号化装置、符号化方法およびプログラム
KR100644713B1 (ko) 2005-10-31 2006-11-10 삼성전자주식회사 컨텍스트 기반 적응적 이진 산술 코딩 복호기에서 원소구문을 복호화하는 방법 및 이를 위한 복호화 장치
KR100717052B1 (ko) * 2005-11-08 2007-05-10 삼성전자주식회사 Ｃａｂａｃ 복호기에서 이진 산술 복호화와 이진 매칭을병렬 처리하는 원소 구문의 복호화 방법 및 이를 위한복호화 장치
KR100717055B1 (ko) * 2005-11-18 2007-05-10 삼성전자주식회사 Ｃａｂａｃ 복호기에서 복수의 이진 값들을 파이프라인방식에 의하여 복호화하는 방법 및 이를 위한 복호화 장치
US7245242B2 (en) * 2005-11-28 2007-07-17 Conexant Systems, Inc. Decoding systems and methods
KR100750165B1 (ko) * 2006-02-22 2007-08-17 삼성전자주식회사 압축률 향상을 위해 개선된 컨텍스트 모델 선택을 사용하는ｃａｂａｃ 부호화 방법 및 장치, 그리고 ｃａｂａｃ복호화 방법 및 장치
KR101049258B1 (ko) * 2006-02-22 2011-07-13 삼성전자주식회사 타입이 일치하지 않는 하위 계층의 정보를 사용하여인터레이스 비디오 신호를 인코딩/디코딩 하는 방법 및장치
KR100809296B1 (ko) * 2006-02-22 2008-03-04 삼성전자주식회사 타입이 일치하지 않는 하위 계층의 정보를 사용하여인터레이스 비디오 신호를 인코딩/디코딩 하는 방법 및장치
US8976870B1 (en) * 2006-08-30 2015-03-10 Geo Semiconductor Inc. Block and mode reordering to facilitate parallel intra prediction and motion vector prediction
US8311120B2 (en) * 2006-12-22 2012-11-13 Qualcomm Incorporated Coding mode selection using information of other coding modes
US8554767B2 (en) * 2008-12-23 2013-10-08 Samsung Electronics Co., Ltd Context-based interests in computing environments and systems
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
KR100936208B1 (ko) * 2008-12-09 2010-01-12 주식회사세오 무손실 문맥적응적이진산술부호화를 위한 h.264/avc 부호화기, 상기 부호화기의 문맥적응적이진산술부호화방법
US8175902B2 (en) * 2008-12-23 2012-05-08 Samsung Electronics Co., Ltd. Semantics-based interests in computing environments and systems
US20100161380A1 (en) * 2008-12-23 2010-06-24 Samsung Electronics Co., Ltd. Rating-based interests in computing environments and systems
US20100198604A1 (en) * 2009-01-30 2010-08-05 Samsung Electronics Co., Ltd. Generation of concept relations
US9288494B2 (en) * 2009-02-06 2016-03-15 Thomson Licensing Methods and apparatus for implicit and semi-implicit intra mode signaling for video encoders and decoders
US8558724B2 (en) * 2009-05-20 2013-10-15 Nippon Telegraph And Telephone Corporation Coding method, coding appartaus, decoding method, decoding apparatus, program, and recording medium
CN103826132B (zh) * 2009-06-18 2017-03-01 株式会社东芝 运动图像解码装置和运动图像解码方法
SI3448031T1 (sl) 2009-06-18 2021-03-31 Kabushiki Kaisha Toshiba Naprava za video dekodiranje in postopek za video dekodiranje
US9628794B2 (en) 2009-06-18 2017-04-18 Kabushiki Kaisha Toshiba Video encoding apparatus and a video decoding apparatus
CN102474601B (zh) * 2009-06-29 2017-06-23 汤姆森特许公司 未编码语法的自适应概率更新的方法和装置
WO2011011052A1 (en) 2009-07-20 2011-01-27 Thomson Licensing A method for detecting and adapting video processing for far-view scenes in sports video
EP2312854A1 (de) * 2009-10-15 2011-04-20 Siemens Aktiengesellschaft Verfahren zur Codierung von Symbolen aus einer Folge digitalisierter Bilder
EP2493194A4 (en) * 2009-10-22 2014-07-16 Univ Zhejiang VIDEO AND PICTURE CODING / DECODING SYSTEM BASED ON THE PREDICTION OF SPATIAL DOMAINS
JP5470405B2 (ja) * 2009-12-28 2014-04-16 パナソニック株式会社 画像符号化装置および方法
MX2012010863A (es) * 2010-04-01 2012-10-15 Sony Corp Dispositivo y metodo de procesamiento de imagenes.
US8306343B2 (en) * 2010-04-09 2012-11-06 Newport Media, Inc. Optimized prediction based image compression
CA2794261A1 (en) * 2010-04-19 2011-10-27 Research In Motion Limited Methods and devices for reordered parallel entropy coding and decoding
JP5134050B2 (ja) * 2010-07-23 2013-01-30 ソニー株式会社 符号化装置および方法、記録媒体、並びにプログラム
JP5134047B2 (ja) * 2010-07-23 2013-01-30 ソニー株式会社 復号装置および方法、記録媒体、並びにプログラム
JP5134048B2 (ja) * 2010-07-23 2013-01-30 ソニー株式会社 復号装置および方法、記録媒体、並びにプログラム
JP5134049B2 (ja) * 2010-07-23 2013-01-30 ソニー株式会社 符号化装置および方法、記録媒体、並びにプログラム
WO2012077349A1 (ja) * 2010-12-09 2012-06-14 パナソニック株式会社 画像符号化方法および画像復号化方法
US20120163457A1 (en) * 2010-12-28 2012-06-28 Viktor Wahadaniah Moving picture decoding method, moving picture coding method, moving picture decoding apparatus, moving picture coding apparatus, and moving picture coding and decoding apparatus
JP5988071B2 (ja) * 2011-02-07 2016-09-07 ソニー株式会社 画像処理装置および方法、並びに、プログラム
CN107529706B (zh) * 2011-06-16 2020-11-17 Ge视频压缩有限责任公司 解码器、编码器、解码和编码视频的方法及存储介质
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
MX2013013508A (es) 2011-06-23 2014-02-27 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
RU2603552C2 (ru) 2011-06-24 2016-11-27 Сан Пэтент Траст Способ декодирования изображения, способ кодирования изображения, устройство декодирования изображения, устройство кодирования изображения и устройство кодирования и декодирования изображения
TWI581615B (zh) 2011-06-24 2017-05-01 Sun Patent Trust A decoding method, a coding method, a decoding device, an encoding device, and a coding / decoding device
MX2013013483A (es) 2011-06-27 2014-02-27 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
CN103563377B (zh) 2011-06-28 2017-05-10 太阳专利托管公司 解码方法及解码装置
US20130083856A1 (en) * 2011-06-29 2013-04-04 Qualcomm Incorporated Contexts for coefficient level coding in video compression
MX2013010892A (es) 2011-06-29 2013-12-06 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
US8798139B1 (en) 2011-06-29 2014-08-05 Zenverge, Inc. Dual-pipeline CABAC encoder architecture
US9258565B1 (en) * 2011-06-29 2016-02-09 Freescale Semiconductor, Inc. Context model cache-management in a dual-pipeline CABAC architecture
MX339141B (es) 2011-06-30 2016-05-13 Panasonic Ip Corp America Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
WO2013001769A1 (ja) 2011-06-30 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
MY164252A (en) 2011-07-01 2017-11-30 Samsung Electronics Co Ltd Method and apparatus for entropy encoding using hierarchical data unit, and method and apparatus for decoding
AU2012281918C1 (en) 2011-07-11 2016-11-17 Sun Patent Trust Decoding Method, Coding Method, Decoding Apparatus, Coding Apparatus, And Coding and Decoding Apparatus
BR112014001026B1 (pt) 2011-07-15 2022-05-03 Ge Video Compression, Llc Codificação de matriz de amostra de baixo atrasdo
US11184623B2 (en) * 2011-09-26 2021-11-23 Texas Instruments Incorporated Method and system for lossless coding mode in video coding
EP2777258B1 (en) 2011-11-04 2017-01-11 Huawei Technologies Co., Ltd. Binarization of prediction residuals for lossless video coding
CN109120930B (zh) * 2011-11-04 2021-03-26 夏普株式会社 图像解码装置、图像编码装置及其方法
US9088796B2 (en) 2011-11-07 2015-07-21 Sharp Kabushiki Kaisha Video decoder with enhanced CABAC decoding
US9237358B2 (en) * 2011-11-08 2016-01-12 Qualcomm Incorporated Context reduction for context adaptive binary arithmetic coding
US10616581B2 (en) 2012-01-19 2020-04-07 Huawei Technologies Co., Ltd. Modified coding for a transform skipped block for CABAC in HEVC
US9654139B2 (en) 2012-01-19 2017-05-16 Huawei Technologies Co., Ltd. High throughput binarization (HTB) method for CABAC in HEVC
US9743116B2 (en) 2012-01-19 2017-08-22 Huawei Technologies Co., Ltd. High throughput coding for CABAC in HEVC
US20130188736A1 (en) 2012-01-19 2013-07-25 Sharp Laboratories Of America, Inc. High throughput significance map processing for cabac in hevc
US9860527B2 (en) 2012-01-19 2018-01-02 Huawei Technologies Co., Ltd. High throughput residual coding for a transform skipped block for CABAC in HEVC
CN108347619B (zh) 2012-04-11 2020-09-15 杜比国际公司 用于对与变换系数相关联的比特流进行编码和解码方法
CN107809645B (zh) * 2012-06-22 2021-12-03 威勒斯媒体国际有限公司 图像解码方法及图像解码设备
EP2869563B1 (en) 2012-07-02 2018-06-13 Samsung Electronics Co., Ltd. METHOD FOR ENTROPY DECODING of a VIDEO
US9584804B2 (en) 2012-07-10 2017-02-28 Qualcomm Incorporated Coding SEI NAL units for video coding
CN102801974B (zh) * 2012-07-19 2014-08-20 西安电子科技大学 基于cabac的图像压缩熵编码器
WO2014049981A1 (ja) * 2012-09-28 2014-04-03 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
US9794558B2 (en) 2014-01-08 2017-10-17 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
US11025934B2 (en) * 2014-12-16 2021-06-01 Advanced Micro Devices, Inc. Methods and apparatus for decoding video using re-ordered motion vector buffer
TWI651042B (zh) * 2015-01-06 2019-02-11 南韓商愛思開海力士有限公司 電磁干擾抑制結構及具有該電磁干擾抑制結構之電子裝置
GB2563936A (en) * 2017-06-30 2019-01-02 Canon Kk Method and apparatus for encoding or decoding a flag during video data encoding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10229564A (ja) * 1996-12-12 1998-08-25 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置および画像符号化方法、画像復号化方法
JPH11164303A (ja) * 1997-12-01 1999-06-18 Nippon Hoso Kyokai <Nhk> 動画像の可逆圧縮符号化装置および可逆伸長復号化装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471207A (en) * 1994-02-23 1995-11-28 Ricoh Company Ltd. Compression of palettized images and binarization for bitwise coding of M-ary alphabets therefor
US5654702A (en) * 1994-12-16 1997-08-05 National Semiconductor Corp. Syntax-based arithmetic coding for low bit rate videophone
JP3855286B2 (ja) * 1995-10-26 2006-12-06 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体
JP3466058B2 (ja) 1996-07-31 2003-11-10 松下電器産業株式会社 画像復号化装置、及び画像復号化方法
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
JP3774954B2 (ja) * 1996-10-30 2006-05-17 株式会社日立製作所 動画像の符号化方法
DE69735437T2 (de) * 1996-12-12 2006-08-10 Matsushita Electric Industrial Co., Ltd., Kadoma Bildkodierer und bilddekodierer
US6005980A (en) * 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
US5974184A (en) * 1997-03-07 1999-10-26 General Instrument Corporation Intra-macroblock DC and AC coefficient prediction for interlaced digital video
US5857035A (en) * 1997-05-19 1999-01-05 Hewlett-Packard Company Arithmetic coding compressor for encoding multiple bit values
JP3349957B2 (ja) * 1997-07-09 2002-11-25 株式会社ハイニックスセミコンダクター コンテキスト確率表を利用した二進映像情報の内挿装置および方法
EP0940774A3 (en) * 1998-03-05 2000-07-05 Matsushita Electric Industrial Co., Ltd. Motion vector coding and decoding apparatus and method
EP1142343A1 (en) * 1999-10-29 2001-10-10 Koninklijke Philips Electronics N.V. Video encoding method
US6538583B1 (en) * 2001-03-16 2003-03-25 Analog Devices, Inc. Method and apparatus for context modeling
EP1384376A4 (en) * 2001-04-11 2010-08-25 Nice Systems Ltd DIGITAL VIDEO PROTECTION FOR AUTHENTICITY VERIFICATION
US6856701B2 (en) * 2001-09-14 2005-02-15 Nokia Corporation Method and system for context-based adaptive binary arithmetic coding
JP2003319391A (ja) 2002-04-26 2003-11-07 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
CN1190755C (zh) * 2002-11-08 2005-02-23 北京工业大学 基于感知器的彩色图像无损压缩方法
JP2006352911A (ja) 2006-08-18 2006-12-28 Sony Corp 符号化装置および方法、並びに復号装置および方法
JP2008104205A (ja) 2007-10-29 2008-05-01 Sony Corp 符号化装置および方法
JP2008092593A (ja) 2007-10-29 2008-04-17 Sony Corp 復号装置および方法
JP5134047B2 (ja) 2010-07-23 2013-01-30 ソニー株式会社 復号装置および方法、記録媒体、並びにプログラム
JP5234870B1 (ja) 2013-02-08 2013-07-10 ソニー株式会社 符号化装置および方法、記録媒体、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10229564A (ja) * 1996-12-12 1998-08-25 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置および画像符号化方法、画像復号化方法
JPH11164303A (ja) * 1997-12-01 1999-06-18 Nippon Hoso Kyokai <Nhk> 動画像の可逆圧縮符号化装置および可逆伸長復号化装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MARPE D. ET AL.: "Adaptive codes for H.26L", ITU-TELECOMMUNICATIONS STANDARDIZATION SECTOR STUDY GROUP 16 QUESTION 6 VIDEO CODING EXPERTS GROUP (VCEG) VCEG-L13, TWELFTH MEETING, 9 January 2001 (2001-01-09) - 12 January 2001 (2001-01-12), EIBSEE, GERMANY, pages 1 - 8, XP002971071 *
MARPE D. ET AL.: "Video compression using context-based adaptive arithmetic coding", IMAGE PROCESSING 2001. PROCEEDINGS. INTERNATIONAL CONFERENCE, IEEE, vol. 3, 7 October 2001 (2001-10-07) - 10 October 2001 (2001-10-10), THESSALONIKI, GREECE, pages 558 - 561, XP001077781 *
See also references of EP1501313A4 *
WANG L. ET AL.: "Interlace coding tools for H.26L video coding", ITU-TELECOMMUNCATIONS STANDARDIZATION SECTOR STUDY GROUP 16 QUESTION 6 VIDEO CODING EXPERTS GROUP (VCEG) VCEG-037, 15TH MEETING, 4 December 2001 (2001-12-04) - 6 December 2001 (2001-12-06), PATTAYA, THAILAND, pages 1 - 20, XP002240263 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100455019C (zh) * 2004-07-22 2009-01-21 三星电子株式会社 内容自适应二进制算术编码的方法和使用该方法的设备
CN101686397B (zh) * 2004-09-16 2013-07-31 汤姆逊许可证公司 用于快速视频帧和场编码的方法
US20100232496A1 (en) * 2004-11-09 2010-09-16 Masayoshi Tojima Decoding-processing apparatus and method
US8406308B2 (en) * 2004-11-09 2013-03-26 Panasonic Corporation Encoding apparatus for encoding binary signals generated from binarized multivalued syntax elements and method for performing the same
US8867612B2 (en) 2004-11-09 2014-10-21 Panasonic Corporation Decoding method for decoding an incoming bitstream and method for performing the same

Also Published As

Publication number Publication date
US20120288010A1 (en) 2012-11-15
US8649442B2 (en) 2014-02-11
JP2003319391A (ja) 2003-11-07
CN1650636B (zh) 2010-05-26
US8325820B2 (en) 2012-12-04
US20120294354A1 (en) 2012-11-22
US20130107967A1 (en) 2013-05-02
US7778331B2 (en) 2010-08-17
US8571116B2 (en) 2013-10-29
CN101800898B (zh) 2012-11-28
KR20090130302A (ko) 2009-12-22
US20130010874A1 (en) 2013-01-10
US20130010862A1 (en) 2013-01-10
CN1650636A (zh) 2005-08-03
US20130107945A1 (en) 2013-05-02
US20090225862A1 (en) 2009-09-10
US8654862B2 (en) 2014-02-18
US20090225861A1 (en) 2009-09-10
US20140153649A1 (en) 2014-06-05
CN101800897B (zh) 2016-08-03
US8477854B2 (en) 2013-07-02
CN101800897A (zh) 2010-08-11
US20120275523A1 (en) 2012-11-01
US8693550B2 (en) 2014-04-08
US8611430B2 (en) 2013-12-17
US8509312B2 (en) 2013-08-13
KR100952649B1 (ko) 2010-04-13
EP1501313A4 (en) 2013-08-21
CN101800898A (zh) 2010-08-11
KR100969345B1 (ko) 2010-07-09
EP2624461A3 (en) 2013-08-21
US20120288009A1 (en) 2012-11-15
US20050219069A1 (en) 2005-10-06
EP2627089A3 (en) 2013-08-21
US20120288011A1 (en) 2012-11-15
US20120288008A1 (en) 2012-11-15
EP2627089A2 (en) 2013-08-14
US8509311B2 (en) 2013-08-13
US20150271518A1 (en) 2015-09-24
US9532068B2 (en) 2016-12-27
EP2624461A2 (en) 2013-08-07
US9088784B2 (en) 2015-07-21
US8619875B2 (en) 2013-12-31
KR20040106392A (ko) 2004-12-17
US8483280B2 (en) 2013-07-09
US20130010875A1 (en) 2013-01-10
EP2629522A1 (en) 2013-08-21
US8488669B2 (en) 2013-07-16
US8320467B2 (en) 2012-11-27
EP1501313A1 (en) 2005-01-26

Similar Documents

Publication Publication Date Title
WO2003092301A1 (en) Coding device and method, decoding device and method, recording medium, and program
JP5134049B2 (ja) 符号化装置および方法、記録媒体、並びにプログラム
JP5134047B2 (ja) 復号装置および方法、記録媒体、並びにプログラム
JP2006352911A (ja) 符号化装置および方法、並びに復号装置および方法
JP2008104205A (ja) 符号化装置および方法
JP2008092593A (ja) 復号装置および方法
JP5234870B1 (ja) 符号化装置および方法、記録媒体、並びにプログラム
JP5215495B2 (ja) 復号装置および方法、記録媒体、並びにプログラム
JP5134050B2 (ja) 符号化装置および方法、記録媒体、並びにプログラム
JP5134048B2 (ja) 復号装置および方法、記録媒体、並びにプログラム
JP5234872B1 (ja) 符号化装置および方法、記録媒体、並びにプログラム
JP5234871B2 (ja) 復号装置および方法、記録媒体、並びにプログラム
JP5234874B1 (ja) 符号化装置および方法、記録媒体、並びにプログラム
JP5234873B2 (ja) 復号装置および方法、記録媒体、並びにプログラム
JP2013123263A (ja) 復号装置および方法、記録媒体、プログラム、並びに復号画像情報

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 10509682

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2003717684

Country of ref document: EP

Ref document number: 1020047017169

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20038094312

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020047017169

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2003717684

Country of ref document: EP