WO2007010690A1 - 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法、画像符号化プログラム、画像復号プログラム、ならびに画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体、画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法、画像符号化プログラム、画像復号プログラム、ならびに画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体、画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2007010690A1
WO2007010690A1 PCT/JP2006/312159 JP2006312159W WO2007010690A1 WO 2007010690 A1 WO2007010690 A1 WO 2007010690A1 JP 2006312159 W JP2006312159 W JP 2006312159W WO 2007010690 A1 WO2007010690 A1 WO 2007010690A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
image
prediction mode
decoding
information
Prior art date
Application number
PCT/JP2006/312159
Other languages
English (en)
French (fr)
Inventor
Yoshimi Moriya
Shunichi Sekiguchi
Kazuo Sugimoto
Yoshihisa Yamada
Koutarou Asai
Tokumichi Murakami
Yuuichi Idehara
Original Assignee
Mitsubishi Electric Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=37668575&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2007010690(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Mitsubishi Electric Corporation filed Critical Mitsubishi Electric Corporation
Priority to KR1020117021863A priority Critical patent/KR101217400B1/ko
Priority to JP2006551668A priority patent/JP4542107B2/ja
Priority to EP06757388A priority patent/EP1909508A4/en
Priority to US11/912,680 priority patent/US20090034856A1/en
Priority to CA 2610276 priority patent/CA2610276C/en
Priority to CN2006800251408A priority patent/CN101218830B/zh
Priority to BRPI0611672-8A priority patent/BRPI0611672A2/pt
Publication of WO2007010690A1 publication Critical patent/WO2007010690A1/ja
Priority to US11/931,636 priority patent/US20090034857A1/en
Priority to US11/931,714 priority patent/US20080123947A1/en
Priority to US11/931,557 priority patent/US20090123066A1/en
Priority to US11/980,460 priority patent/US8509551B2/en
Priority to US11/931,445 priority patent/US20080130988A1/en
Priority to US11/932,236 priority patent/US20080130989A1/en
Priority to US11/980,363 priority patent/US20080130990A1/en
Priority to US11/932,465 priority patent/US20080137744A1/en
Priority to US11/932,759 priority patent/US20080123977A1/en
Priority to US11/931,756 priority patent/US20080165849A1/en
Priority to US11/931,503 priority patent/US8488889B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Definitions

  • Image encoding device image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer-readable recording medium storing image encoding program, and image decoding program
  • the present invention relates to a digital image signal encoding device, a digital image signal decoding device, a digital image signal encoding method, and a digital image signal decoding method used for image compression encoding technology, compressed image data transmission technology, etc. About.
  • 0 means that color moving image signals such as RGB are converted into a luminance component (Y) and two color difference components (Cb, Cr), and the number of samples of the color difference component is reduced to half of the luminance component both horizontally and vertically. Reduced format. Since the color difference component is less visible than the luminance component, the conventional international standard video coding system performs code sampling by down-sampling the color difference component before coding in this way. It was premised on reducing the amount of original information.
  • a format with exactly the same number of samples for the luminance component and the color difference component is called a 4: 4: 4 format.
  • AVC MPEG-4 AVC
  • 4,4: 4: “4 Profile” has been formulated.
  • the conventional 4: 2: 0 format is limited to the color space definition of Y, Cb, and Cr because it assumes the downsampling of color difference components, whereas the 4: 4: 4 format.
  • Non-Patent Document 1 MPEG-4 AVC (ISO / IEC 14496-10) / ITU-T H.264 standard
  • the corresponding color difference components are Cb and Cr in the macroblock region with a luminance component of 16x16 pixels. It becomes 8x8 pixel block.
  • the intra macro block code ⁇ uses spatial prediction (intra prediction) using neighboring sample values in the same picture. The mode is supposed to be used.
  • the luminance component has the highest prediction efficiency among the nine types shown in Fig. 3, and the chrominance component is the same for Cb and Cr, and the four types shown in Fig. 9 with the highest prediction efficiency are selected as the intra prediction modes ( Cb and Cr cannot use different prediction modes).
  • one component is regarded as a luminance component, and only one component of information is multiplexed and common to all three components.
  • Motion compensation prediction is performed using the inter prediction mode, reference image information, and motion vector information.
  • the optimal prediction method is not necessarily.
  • the present invention provides optimality in encoding a moving image signal without distinguishing the sample ratio between color components such as the 4: 4: 4 format. It is an object of the present invention to provide an improved encoding device, decoding device, encoding method, decoding method, a program for executing these, and a recording medium on which these programs are recorded.
  • An image coding apparatus generates a prediction image corresponding to a plurality of prediction modes indicating a prediction image generation method, and outputs the prediction image generation unit power.
  • a prediction mode determination unit that evaluates the prediction efficiency of the prediction image and determines a predetermined prediction mode; and a code mode unit that outputs a variable length code as an output of the prediction mode determination unit, and the prediction mode determination The unit determines whether to use a common prediction mode for each color component constituting the input image signal or to use a separate prediction mode for each color component based on a predetermined control signal, When the common prediction mode is used, the common prediction mode information is multiplexed into the bit stream, and when the common prediction mode is not used, the prediction mode for each color component is multiplexed. Affection The information is multiplexed into a bitstream.
  • the image decoding device According to the image encoding device, the image decoding device, the image encoding method, the image decoding method of the present invention, the program for executing these, and the recording medium on which these programs are recorded, Y, Cb, Cr, etc.
  • intra prediction mode information and inter prediction mode information used for each color component can be flexibly selected. It is possible to perform optimum code processing even when the color space definition is various.
  • FIG. 1 is an explanatory diagram showing the configuration of a video encoding device according to Embodiment 1.
  • FIG. 2 is an explanatory diagram showing the configuration of the video decoding apparatus in the first embodiment
  • FIG. 3 Prediction image generation method in intra 4 ⁇ 4 prediction mode evaluated by the spatial prediction unit 2 in FIG. Explanatory drawing explaining
  • FIG. 4 is an explanatory diagram for explaining a prediction image generation method in the intra 16 ⁇ 16 prediction mode evaluated by the spatial prediction unit 2 in FIG.
  • FIG. 13 is an explanatory diagram for explaining a prediction image generation method in the intra 8 ⁇ 8 prediction mode evaluated by the spatial prediction unit 2 in FIG. 11.
  • FIG. 15 is an explanatory diagram showing a data arrangement of a video bit stream output from the video encoding device in Embodiment 2.
  • FIG. 16 is an explanatory diagram showing another data arrangement of the video bit stream output from the video encoding device in the second embodiment
  • FIG. 23 is a flowchart showing the flow of intra prediction mode decoding processing in the third embodiment.
  • FIG. 28 is an explanatory diagram showing a binary sequence configuration of CurrlntraPredMode in Embodiment 6.
  • FIG. 29 is an explanatory diagram showing another binary sequence configuration of CurrlntraPredMode in the sixth embodiment.
  • ⁇ 30] is an explanatory diagram showing the configuration of the video encoding device in the seventh embodiment.
  • FIG. 33 is a flowchart showing the flow of inter prediction mode determination processing in the seventh embodiment.
  • FIG. 34 is an explanatory diagram showing a data arrangement of a video stream output from the video encoding device in Embodiment 7.
  • FIG. 35 is a flowchart showing the flow of processing performed by the variable length decoding unit 25 in the seventh embodiment.
  • the video code in the seventh embodiment is also different from the output video stream.
  • FIG. 38 is a flowchart showing the flow of inter prediction mode determination processing in the eighth embodiment.
  • FIG. 39 is an explanatory diagram showing the bit stream data arrangement at the macroblock level in the eighth embodiment.
  • FIG. 40 is a flowchart showing the flow of inter prediction image generation processing in the eighth embodiment.
  • FIG. 41 is an explanatory diagram showing another data arrangement of the bit stream at the macroblock level in the eighth embodiment.
  • FIG. 42 is an explanatory diagram showing another data arrangement of the bit stream at the macroblock level in the eighth embodiment.
  • FIG. 43 is a flowchart showing the flow of inter prediction mode determination processing in the ninth embodiment.
  • FIG. 44 is a flowchart showing the flow of inter prediction image generation processing in the ninth embodiment.
  • FIG. 45 is an explanatory diagram showing the configuration of the motion vector encoding unit
  • FIG. 47 is an explanatory diagram showing the configuration of the motion vector decoding unit
  • FIG. 48 is an explanatory diagram showing the state of the bitstream syntax.
  • FIG. 49 is an explanatory diagram showing the configuration of the macroblock encoded data in the eleventh embodiment.
  • FIG. 50 is an explanatory diagram showing the detailed configuration of the code key data of the Cn component header information in FIG. 49 in the eleventh embodiment.
  • FIG. 56 is an explanatory diagram showing a detailed flow of the process of step S 162 in FIG. 55 in Embodiment 12.
  • FIG. 58 is an explanatory diagram showing an example of a context model relating to a motion vector of a macroblock.
  • FIG. 60 is a flowchart showing the flow of arithmetic decoding processing in the variable-length decoding unit 25 in the twelfth embodiment.
  • FIG. 61 is an explanatory diagram showing a context model l lf in Embodiment 12.
  • FIG. 62 An explanatory diagram showing the difference in mode of the current macroblock in the embodiment 12.
  • ⁇ 63 An explanatory diagram showing the configuration of the decoding device in the thirteenth embodiment.
  • ⁇ 64 An image in the thirteenth embodiment. Explanatory drawing which shows the structure of a code
  • FIG. 70 is an explanatory diagram showing a bit stream configuration of slice data in each of common code key processing and independent code key processing
  • FIG. 75 is an explanatory diagram showing a schematic configuration of the decoding apparatus according to the fourteenth embodiment.
  • FIG. 76 is an explanatory diagram showing the internal configuration of the first picture decoding unit
  • FIG. 77 is an explanatory diagram showing the internal configuration of the second picture decoding unit
  • FIG. 78 is an explanatory diagram showing the internal configuration of the first picture code part that has undergone color space conversion processing.
  • FIG. 79 shows the internal configuration of the first picture code part that has undergone color space conversion processing.
  • Explanatory diagram [FIG. 80] An explanatory diagram showing the internal configuration of the first picture code key unit subjected to the reverse color space conversion process.
  • FIG. 81 The first picture code key unit subjected to the reverse color space conversion process.
  • Explanatory diagram showing internal structure [FIG. 82] Explanatory diagram showing the structure of code block data of macroblock header information included in a conventional YUV4: 2: 0 format bit stream
  • FIG. 83 is an explanatory diagram showing the internal configuration of the prediction unit 461 of the first picture decoding unit that ensures compatibility with a conventional YUV4: 2: 0 format bitstream.
  • FIG. 84 is an explanatory diagram showing the structure of the bit stream of encoded data to be multiplexed in the fifteenth embodiment
  • FIG. 85 is an explanatory diagram showing picture code type information when picture data in an access unit starting with an AUD NAL unit is encoded.
  • FIG. 86 is an explanatory diagram showing the structure of the bit stream of code key data to be multiplexed in the fifteenth embodiment
  • an encoding device that performs code coding that is closed in a frame in units of equally dividing a video frame input in a 4: 4: 4 format into a rectangular area (macroblock) of 16 ⁇ 16 pixels And a corresponding decoding apparatus will be described.
  • this encoding device and decoding device are based on the coding method adopted in the MPEG-4 AVC (ISO / IEC 14496-10) / ITU-T H.264 standard, which is Non-Patent Document 1.
  • FIG. 1 shows the configuration of the video coding apparatus according to the first embodiment
  • FIG. 2 shows the first embodiment.
  • the input video signal 1 is input in individual video frames in a 4: 4: 4 format.
  • the input video frame is input to the encoding unit in units of macroblocks in which the three color components are divided into 16 pixels X 16 pixels blocks of the same size. .
  • Intra prediction processing is performed for each color component in units of the macroblock using the locally decoded image 15 stored in the memory 16.
  • Three memories are prepared for each color component (this embodiment will be described as three faces, but may be changed as appropriate depending on the design).
  • Intra prediction modes include intra 4x4 prediction mode in which spatial prediction is performed using neighboring pixels in units of 4 pixels x 4 lines shown in Fig. 3, and 16 pixels x 16 lines macroblock shown in Fig. 4. There is an intra 16x16 prediction mode that performs spatial prediction using neighboring pixels in units of.
  • Luminance signal in a macro block A 16 X 16 pixel block is divided into 6 blocks consisting of 4 X 4 pixel blocks, and the 9 modes shown in Fig. 3 are selected in units of 4 X 4 pixel blocks. To do.
  • the pixels in the surrounding blocks (upper left, upper, upper right, left) that have already been encoded and have been locally decoded and stored in the memory 16 are used for predictive image generation.
  • Intra4x4_pred_mode 0: Adjacent upper pixels are used as they are as predicted images.
  • Intra4x4_pred_mode 4: Predicted image by calculating the weighted average every 2 to 3 pixels from adjacent pixels Use as an image (corresponds to 45 ° left edge).
  • Intra4x4_pred_mode 5: A weighted average is obtained every 2 to 3 pixels from adjacent pixels and used as the predicted image (corresponding to the left 22.5 degree edge).
  • Intra4x4_pred_mode 6: A weighted average is calculated every 2 to 3 pixels from adjacent pixels and used as a predicted image (corresponding to the left 67.5 degree edge).
  • Intra4x4_pred_mode 7: A weighted average is obtained every 2 to 3 pixels from adjacent pixels and used as the predicted image (corresponding to the right 22.5 degree edge).
  • Intra4x4_pred_mode 8: A weighted average is obtained every 2 to 3 pixels from adjacent pixels and used as the predicted image (corresponding to the left 112.5 degree edge).
  • This mode predicts a 16 ⁇ 16 pixel block corresponding to the macroblock size at a time, and selects one of the four modes shown in FIG. 4 for each macroblock. Similar to the intra 4x4 prediction mode, the surrounding macroblock (upper left, upper, left) pixels that have already been encoded and have been locally decoded and stored in the memory 16 are used for prediction image generation.
  • Intral6xl6_pred_mode 0: Use the bottom 16 pixels of the upper macroblock as the predicted image.
  • Intral6xl6_pred_mode 1: The 16 pixels on the rightmost side of the left macroblock are used as the prediction image.
  • Intral6xl6_pred_mode 2: The average value of the total of 32 pixels, 16 pixels at the bottom of the upper macroblock (A part in Fig. 4) and 16 pixels at the left side of the left macroblock (B part in Fig. 4) is used as the predicted image. use.
  • Intral6xl6— pred— mode 3: Lower right corner pixel of the upper left macroblock, lowermost 15 pixels of the upper macroblock (excluding white pixels), rightmost 15 pixels of the left macroblock (white pixels) Predetermined arithmetic processing using the total of 31 pixels (excluding A predicted image is obtained by weighted addition processing according to the pixel position to be predicted).
  • the video coding apparatus is characterized in that the intra prediction processing method for the three color components is switched based on the intra prediction mode common identification flag 23. This point is described in detail in 2 below.
  • the prediction differential signal 4 is evaluated for prediction efficiency by the encoding mode determination unit 5 and, from the prediction processing executed by the spatial prediction unit 2, a prediction mode for obtaining the optimal prediction efficiency for the macroblock to be predicted is selected.
  • the code key mode 6 is used per prediction unit region together with information for determining whether to use the intra 4x4 prediction mode or the intra 16x16 prediction mode (equivalent to the intra code key mode in FIG. 6).
  • Individual prediction mode information (Intra 4x4_pred_mode or Intral6xl6_pred_mode) is also included.
  • the prediction unit area corresponds to a 4x4 pixel block in the intra 4x4 prediction mode and a 16x16 pixel block in the intra 16x16 prediction mode.
  • a weighting factor 20 for each code key mode determined by the determination of the coding control unit 19 may be added.
  • the optimal prediction difference signal 4 obtained by using the code key mode 6 in the code key mode determination unit 5 is output to the orthogonal transform unit 8.
  • the orthogonal transform unit 8 transforms the input prediction difference signal 4 and outputs it to the quantization unit 9 as an orthogonal transform coefficient.
  • the quantization unit 9 quantizes the input orthogonal transform coefficient based on the quantization parameter 21 determined by the code control unit 19 and outputs the quantized transform coefficient 10 to the variable length code unit 11. .
  • the quantized transform coefficient 10 is entropy-encoded by a variable-length code key unit 11 by means such as a Huffman code or an arithmetic code key. Also, the quantized transform coefficient 10 is restored to the local decoded prediction difference signal 14 via the inverse quantization unit 12 and the inverse orthogonal transform unit 13, and the predicted image 7 and the adder 18 generated based on the encoding mode 6.
  • the locally decoded image 15 is generated by adding at.
  • the locally decoded image 15 is stored in the memory 16 for use in subsequent intra prediction processing.
  • the variable length coding unit 11 is also input with a deblocking filter control flag 24 indicating whether or not to apply a deblocking filter to the macroblock (in the prediction process performed by the spatial prediction unit 2). Is the pixel data before the deblocking filter is applied Is stored in the memory 16 and used, so the deblocking filter process itself is not necessary for the encoding process, but the decoding device side uses the instruction of the deblocking filter control flag 24
  • the intra-prediction mode common identification flag 23, the quantized transform coefficient 10, the coding mode 6, and the quantization parameter 21 input to the variable-length code unit 11 are bitstreams according to a predetermined rule (syntax). As an array and is output to the transmission buffer 17.
  • the bit stream is smoothed according to the bandwidth of the transmission path to which the encoding device is connected and the reading speed of the recording medium, and output as a video stream 22.
  • feedback information is output to the encoding control unit 19 in accordance with the bit stream accumulation state in the transmission buffer 17, and the generated code amount in the subsequent video frame code is controlled.
  • the intra-prediction mode determination process that is a feature of the coding apparatus according to the first embodiment will be described in detail.
  • This process is performed in units of macroblocks that combine the above three color components, and is mainly performed by the spatial prediction unit 2 and the coding mode determination unit 5 in the coding apparatus of FIG. Fig. 5 shows a flowchart showing the flow of this process.
  • the image data of the three color components that make up the block are C0, Cl, and C2.
  • the coding mode determination unit 5 receives the intra prediction mode common identification flag 23, and determines whether or not to use a common intra prediction mode for C0, Cl, and C2 based on the value thereof. (Step Sl in Figure 5). If you want to share, go to step S2 and after. If not, go to step S5 and later.
  • the encoding mode determination unit 5 When the intra prediction mode is shared by C0, Cl, and C2, the encoding mode determination unit 5 notifies the spatial prediction unit 2 of all the intra 4x4 prediction modes that can be selected. Spatial prediction unit 2 evaluates all the prediction efficiencies and selects an optimal intra 4x4 prediction mode common to C0, Cl, and C2 (step S2). Next, the coding mode determination unit 5 notifies the spatial prediction unit 2 of all the intra 16x16 prediction modes that can be selected, and the spatial prediction unit 2 evaluates all the prediction efficiencies, and C The optimal intra 16x16 prediction mode common to C2 is selected (step S3). The sign key mode determination unit 5 finally selects a mode most suitable for prediction efficiency from the modes obtained in steps S2 and S3 (step S4), and ends the process.
  • Jm Dm + Rm (: positive number) as a standard for predicting the prediction efficiency of the prediction mode performed in the spatial prediction unit 2
  • Dm is a sign distortion or a prediction error amount when the intra prediction mode m is applied.
  • Code distortion is a method in which an intra prediction mode m is applied to obtain a prediction error, a prediction error is converted and quantized, the resultant force image is decoded, and an error with respect to a signal before coding is measured.
  • the amount of prediction error is obtained by obtaining the difference between the predicted image when intra prediction mode m is applied and the signal before sign ⁇ and quantifying the magnitude of the difference. For example, the sum of absolute differences (Sum of Absolute Distance: SAD) is used.
  • Rm is the amount of generated code when intra prediction mode m is applied.
  • Jm is a value that defines the trade-off between the amount of code and the degree of degradation when intra prediction mode m is applied, and intra prediction mode m that gives the minimum Jm gives the optimal solution.
  • Intra code mode 28 is information that determines whether intra 4x4 power intra 16x16 or basic intra
  • intra prediction mode common identification flag 23 is “common to C0, Cl, C2”, it indicates common intra prediction mode information and not “common to C0, Cl, C2”. This indicates the intra prediction mode information for CO.
  • the extended intra prediction mode 30 is multiplexed only when the intra prediction mode common identification flag 23 indicates that it is not “common to C0, Cl, and C2,” and indicates intra prediction mode information for Cl and C2. Subsequently, the quantization parameter 21 and the quantized transform coefficient 10 are multiplexed.
  • FIG. 1 is a general term for the intra code key mode 28 and the intra prediction mode (basic 'extension) (FIG. 6 shows the variable length code key unit 11 in FIG.
  • the input deblocking filter control flag 24 is included, but it is not a necessary component for explaining the characteristics of the first embodiment, so it is omitted.
  • the color space definition is fixed to Y, Cb, Cr.
  • Y, Cb, Cr Various color spaces can be used without being limited to the above.
  • the intra prediction mode information as shown in FIG. 6, the optimum encoding process can be performed even when the color space of the input video signal 1 has various definitions. For example, when the color space is defined in RGB, the video texture structure remains evenly in each of the R, G, and B components, so the intra prediction mode information itself can be obtained by using the common intra prediction mode information. Therefore, it is possible to increase the code efficiency.
  • the optimal code efficiency can be obtained by adaptively using the extended intra prediction mode 30.
  • the decoding device of FIG. 2 receives the video stream 22 according to the arrangement of FIG. 6 output from the encoding device of FIG. 1, and the three color components are the same size (4: 4: 4 format) macro. Decoding processing is performed in units of blocks to restore individual video frames.
  • variable length decoding unit 25 receives the stream 22 and decodes the stream 22 according to a predetermined rule (syntax), so that the intra prediction mode common identification flag 23, the quantized transformation coefficient 10. Extract information such as coding mode 6, quantization parameter 21, and so on. Quantized Only the transform coefficient 10 is input to the inverse quantization unit 12 together with the quantization parameter 21, and the inverse quantization process is performed. Next, the output is input to the inverse orthogonal transform unit 13 and restored to the local decoded prediction difference signal 14. On the other hand, the code prediction mode 6 and the intra prediction mode common identification flag 23 are input to the spatial prediction unit 2, and a predicted image 7 is obtained according to these pieces of information. A specific procedure for obtaining the predicted image 7 will be described later.
  • Local decoded prediction difference signal 14 and predicted image 7 are added by adder 18 to obtain provisional decoded image 15 (this is exactly the same signal as local decoded image 15 in the encoder).
  • the provisional decoded image 15 is written back to the memory 16 for use in the subsequent intra prediction of the macroblock.
  • Three memories are prepared for each color component (this embodiment will be described as three faces, but may be changed as appropriate depending on the design).
  • the deblocking filter 26 is acted on the provisional decoded image 15 based on the instruction of the deblocking filter control flag 24 decoded by the variable length code key unit 25 to obtain the final decoded image 27.
  • the intra-predicted image generation process that is a feature of the decoding apparatus according to the first embodiment will be described in detail.
  • This processing is performed in units of macroblocks in which the above three color components are combined, and is mainly performed by the variable length decoding unit 25 and the spatial prediction unit 2 in the decoding device of FIG. Fig. 7 shows a flowchart showing the flow of this process.
  • step S 10 to S 14 are performed by the variable length decoding unit 25.
  • the video stream 22 that is input to the variable length decoding unit 25 is assumed to follow the data arrangement shown in FIG.
  • step S10 the intra code mode 28 in the data of FIG. 6 is first decoded, and then the intra prediction mode common identification flag 23 is decoded (step Sll). Further, the basic intra prediction mode 29 is decoded (step S12).
  • step S13 the result of the intra prediction mode common identification flag 23 is used to determine whether or not to share the intra prediction mode between C0, Cl, and C2. In the case of common use, all of C0, Cl, and C2 are determined.
  • the basic intra prediction mode 29 is used, if it is not shared, the basic intra prediction mode 29 is used as the CO mode, and the extended intra prediction mode 30 is decoded (step S14).
  • Get C2 mode information Since the sign key mode 6 of each color component is determined through the above processing steps, this is output to the spatial prediction unit 2, and the input of each color component is performed according to steps S15 to S17. A tiger prediction image is obtained.
  • the process for obtaining an intra-predicted image follows the procedure shown in FIGS.
  • FIG. 8 shows variations of the bit stream data array of FIG.
  • the intra prediction mode common identification flag 23 is multiplexed as a flag located in an upper data layer such as a slice, picture, sequence, etc., as a macroblock level flag, and the extended intra prediction mode 30
  • An extended intra prediction mode table indication flag 31 is provided so that one of a plurality of code tables defining a code word can be selected.
  • the extended intra prediction mode table indication flag 31 is provided to define the prediction mode specialized for Cl and C2 components with the same definition as the basic intra prediction mode 29. It becomes possible to select, and encoding processing adapted to the definition of the color space can be performed.
  • an intra prediction mode set different from the luminance (Y) is defined for the color difference components (Cb, Cr).
  • the color difference signal in a macroblock is 8 pixels x 8 lines, and the decoding process is performed by selecting one of the four modes shown in Fig. 9 for each macroblock.
  • the 8 X 8 block is divided into four 4 X 4 blocks.
  • the processing is performed by changing the position of the pixel for which the average value is obtained.
  • the block “a + x, a or x” indicates that 8 pixels a and X are available when both pixel a and pixel X are available, and if only a is available. If only 4 pixels of a and only X are available, the average value is obtained using only 4 pixels of X and used as predicted image 7. If neither a nor X is available, the value 128 is used as the predicted image 7.
  • the average value is obtained by using 4 pixels of b when the image b is available and using 4 pixels of X when only the pixel X is available.
  • a video frame input in 4: 4: 4 format is divided into 16 ⁇ 16 pixel rectangular areas (macroblocks), and the code is closed within the frame.
  • An encoding apparatus and a corresponding decoding apparatus will be described.
  • the present encoding device and decoding device are the same as those in the MPEG-4 AVC (ISO / IEC 14496-10) / ITU-T H.264 standard, which is Non-Patent Document 1. Based on the method, the features unique to the present invention are given.
  • FIG. 11 shows the configuration of the video encoding device in the second embodiment
  • FIG. 12 shows the configuration of the video decoding device in the second embodiment
  • elements having the same numbers as those of the coding apparatus in FIG. 1 are the same elements.
  • elements having the same numbers as those of the components of the reference sign apparatus in FIG. 11 are the same elements.
  • 32 is a transform block size identification flag
  • 33 is an intra code key mode common identification flag.
  • the input video signal 1 has an individual video frame in a 4: 4: 4 format and three color components in the same size macroblock as shown in FIG. It is assumed that the code is input to the code unit in units divided and collected.
  • the intra prediction mode includes an intra 4x4 prediction mode in which spatial prediction is performed using neighboring pixels in units of 4 pixel x 4 line blocks shown in Fig. 3, and an 8 pixel x 8 line block shown in Fig. 13.
  • Intra 8x8 prediction mode that performs spatial prediction using neighboring pixels in units of 16 pixels
  • Intra 1 6x16 prediction mode that performs spatial prediction using neighboring pixels in macroblock units of 16 pixels x 16 lines as shown in Fig. 4 .
  • the intra 4x4 prediction mode and the intra 8x8 prediction mode are set according to the state of the transform block size identification flag 32.
  • the intra NxN prediction coding mode (N is 4 or 4), in which coding is performed using either the intra 4x4 prediction mode or the intra 8x8 prediction mode as the intra code mode.
  • Luminance signal in a macro block A 16x16 pixel block consists of 4x4 pixel blocks 1 Intra 4x4 prediction mode in which a prediction mode is selected individually for each 4x4 pixel block, and in a macro block The luminance signal of 16x16 pixel block is divided into 4 blocks composed of 8x8 pixel blocks, and the 8x8 pixel block is selected individually for each 8x8 pixel block. This is the mode to perform the trap. Switching between intra 4x4 prediction mode and intra 8x8 prediction mode is linked to the state of the conversion block size identification flag 32. This point will be described later.
  • any of the nine modes shown in Fig. 3 is selected in units of 4x4 pixel blocks.
  • the pixels of the surrounding blocks (upper left, upper, upper right, left) that have already been encoded and have been locally decoded and stored in the memory 16 are used for prediction image generation.
  • the intra 8x8 prediction mode the! /, Shift among the nine modes shown in Fig. 13 is selected in units of 8x8 pixel blocks.
  • the prediction method of the intra 4x4 prediction mode has been changed to be compatible with the 8x8 pixel block.
  • Intra8x8_pred_mode 4: Predicted image by calculating the weighted average every 2 to 3 pixels from adjacent pixels Use as an image (corresponds to 45 ° left edge).
  • Intra8x8_pred_mode 5: A weighted average is obtained every 2 to 3 pixels from adjacent pixels and used as the predicted image (corresponding to the left 22.5 degree edge).
  • Intra8x8_pred_mode 6: A weighted average is obtained every 2 to 3 pixels from adjacent pixels and used as the predicted image (corresponding to the left 67.5 degree edge).
  • Intra8x8_pred_mode 7: A weighted average is obtained every 2 to 3 pixels from adjacent pixels and used as the predicted image (corresponding to the right 22.5 degree edge).
  • Intra8x8_pred_mode 8: A weighted average is obtained every 2 to 3 pixels from adjacent pixels and used as the predicted image (corresponding to the left 112.5 degree edge).
  • the intra 4x4 prediction mode When the intra 4x4 prediction mode is selected, 16 pieces of mode information per macroblock are required. Therefore, in order to reduce the amount of code of the mode information itself, predictive coding is performed from the mode information of adjacent blocks using the fact that the mode information has a high correlation with adjacent blocks. Similarly, when the intra 8x8 prediction mode is selected, a prediction code is obtained from the mode information of the adjacent block by utilizing the fact that the correlation of the intra prediction mode is high between the adjacent blocks.
  • This mode predicts a 16x16 pixel block corresponding to the macroblock size at a time, and selects one of the four modes shown in Fig. 4 for each macroblock. Similar to the intra 4x4 prediction mode, the surrounding macroblock (upper left, upper, left) pixels that have already been encoded and have been locally decoded and stored in the memory 16 are used to generate a predicted image.
  • the mode type is as described in FIG. 4 in the first embodiment.
  • the transform block size is always 4x4.
  • 16 DCs (direct current component, average value) of 4x4 block units are collected first, 4x4 block conversion is performed in that unit, and the remaining AC components excluding DC components are converted for each 4x4 block. Apply conversion.
  • the video coding apparatus is characterized in that it switches the intra prediction / conversion 'coding method for three color components based on the intra-code mode common identification flag 33. And This point is described in detail in 2 below.
  • an intra code mode is applied to the input three color component signals. Based on the instruction of the common identification flag 33, the intra prediction mode is evaluated.
  • the intra code key mode common identification flag 33 indicates whether to assign the intra code key mode to each of the three input color components individually or to assign the same intra code key mode to all three components. This is due to the following background.
  • RGB can be directly used in addition to the Y, Cb, and Cr color spaces conventionally used for encoding.
  • the Y, Cb, and Cr color spaces components that depend on the texture structure of the video are removed from the Cb and Cr signals.
  • the optimal intra coding method changes between the Y component and the Cb and Cr2 components.
  • the encoding method targeting the 4: 2: 0 format such as the high 4: 2: 0 profile, uses the Y, Cb, and Cr components for the intra prediction mode.
  • the texture structure between the color components is not removed as in the Y, Cb, and Cr color spaces, and the signal in the same space is used. Since the components are highly correlated, it is possible to increase the code efficiency by configuring the intra code mode so that it can be selected in common. Even if this color space is used, it depends on the nature of the video, and it is desirable that the coding method itself can adapt to the nature of the video signal.
  • the common mode identification flag 33 is provided, A 4: 4: 4 format video coding system was constructed so that flexible coding was possible.
  • the intra-code key mode common identification flag set as described above
  • prediction processing for each color component is executed for all intra prediction modes shown in FIG. 3, FIG. 4, and FIG.
  • the prediction signal 4 is evaluated for prediction efficiency by the sign key mode determination unit 5, and intra prediction that provides the optimal prediction efficiency for the target macroblock from the prediction processing executed by the spatial prediction unit 2.
  • Select a mode when intra NxN prediction is selected, intra NxN prediction code key mode is output as code key mode 6, and when the prediction mode is intra 4x4 prediction, transform block size identification flag 32 is set. Set to "Conversion with 4x4 block size". If the prediction mode is intra 8x8 prediction, set the conversion block size identification flag 32 to "Conversion with 8x8 block size”. Set.
  • Various methods are conceivable for determining the transform block size identification flag 32.
  • the method is determined according to the N value. For example, when the intra 4x4 prediction mode is used and the conversion block size is 8x8 pixel block, the spatial continuity of the prediction signal may be disrupted in units of 4x4 blocks in the prediction difference signal 4 obtained as a result of prediction. This increases the performance and generates unnecessary high-frequency components, reducing the effect of signal power concentration by conversion. If the conversion block size is set to 4x4 pixel block according to the prediction mode, this problem does not occur.
  • the intra 16x16 prediction code key mode is output as the coding mode 6. It should be noted that in selecting the code mode 6, the weighting factor 20 force S for each coding mode determined by the coding control unit 19 may be used.
  • the prediction difference signal 4 obtained by the code key mode 6 is output to the orthogonal transform unit 8.
  • the orthogonal transform unit 8 transforms the input prediction difference signal and outputs it to the quantization unit 9 as an orthogonal transform coefficient.
  • the quantization unit 9 quantizes the input orthogonal transform coefficient based on the quantization parameter 21 determined by the sign key control unit 19, and outputs the quantized transform coefficient 10 to the variable length coding unit 11. Output.
  • the prediction difference signal 4 input to the orthogonal transform unit 8 is divided into 4 ⁇ 4 block units and orthogonally transformed, and the quantization unit 9 performs quantization.
  • the transform block size is 8x8 block units
  • the prediction difference signal 4 input to the orthogonal transform unit 8 is divided into 8x8 block units and orthogonally transformed, and the quantization unit 9 performs quantization.
  • the quantized transform coefficient 10 is entropy-encoded by the variable-length encoding unit 11 by means such as Huffman encoding or arithmetic encoding. Also, the quantized transform coefficient 10 is restored to the local decoded prediction differential signal 14 through the inverse quantization unit 12 and the inverse orthogonal transform unit 13 with a block size based on the transform block size identification flag 32 and the like, and the code key mode 6 On the basis of the The locally decoded image 15 is generated by adding the generated predicted image 7 and the adder 18. The locally decoded image 15 is stored in the memory 16 for use in subsequent intra prediction processing.
  • the variable length coding unit 11 is also input with a deblocking filter control flag 24 indicating whether or not to apply a deblocking filter to the macroblock (in the prediction process performed by the spatial prediction unit 2). Since the pixel data before being subjected to the deblocking filter is stored in the memory 16 and used, the deblocking filter processing itself is not necessary for the encoding process, but on the decoding device side, the deblocking filter control flag 24 The final decoded image is obtained by performing a debucking filter according to the instructions in (1).
  • Intra coding mode common identification flag 33, quantized transform coefficient 10, coding mode 6, and quantization parameter 21 input to variable length coding unit 11 are bitstreams according to a predetermined rule (syntax). As an array and is output to the transmission buffer 17.
  • the transmission buffer 17 smoothes the bit stream in accordance with the bandwidth of the transmission path to which the encoding device is connected and the reading speed of the recording medium, and outputs it as a video stream 22. Also, feedback information is output to the encoding control unit 19 in accordance with the bit stream accumulation state in the transmission buffer 17, and the generated code amount in the code frame of subsequent video frames is controlled.
  • the determination process of the intra code key mode and the intra prediction mode which is a feature of the code key device of the second embodiment, will be described in detail.
  • This processing is performed in units of macro blocks in which the above three color components are combined, and is mainly performed by the spatial prediction unit 2 and the code key mode determination unit 5 in the code key device of FIG. Fig. 14 shows a flowchart showing the flow of this process.
  • the image data of the three color components that make up the block are C0, Cl, and C2.
  • the coding mode determination unit 5 receives the intra code key mode common identification flag 33 and, based on the value, determines whether or not the common intra code key mode is used in C0, Cl, and C2. (Step S20 in FIG. 14). If you want to share, go to step S21 and after. If not, go to step S22 and later.
  • the coding mode determination unit 5 instructs the spatial prediction unit 2 to select all intra prediction modes (intra NxN prediction). , (Intra 16 ⁇ 16 prediction), the spatial prediction unit 2 evaluates all the prediction efficiencies, and selects the intra code mode and intra prediction mode that are optimal for all components (step S21).
  • the conversion block size identification flag 32 is set to "conversion with 4 x 4 block size".
  • the conversion block size identification flag 32 is set to "conversion with 8x8 block size”.
  • Jm Dm + Rm (: positive number) as a standard for predicting the prediction efficiency of the prediction mode performed in the spatial prediction unit 2
  • the rate 'distortion cost given by can be used.
  • Dm is a sign distortion or a prediction error amount when the intra prediction mode m is applied.
  • Code distortion is obtained by applying the intra prediction mode m to obtain a prediction error, decoding the image from the result of converting and quantizing the prediction error, and measuring the error with respect to the signal before encoding.
  • the prediction error amount is obtained by obtaining the difference between the prediction image when the intra prediction mode m is applied and the signal before the sign, and quantifying the magnitude of the difference. For example, the sum of absolute differences (Sum of Absolute Distance: SAD) is used.
  • Rm is the amount of generated code when intra prediction mode m is applied.
  • Jm is a value that regulates the trade-off between the amount of code and the degree of degradation when intra prediction mode m is applied, and intra prediction mode m that gives the smallest Jm gives the optimal solution.
  • intra coding modes 0 (34a), l (34b), and 2 (34c) multiplexed in the bitstream at the macroblock level are coding modes 6 for C0, Cl, and C2, respectively.
  • the intra code mode is the intra NxN prediction code mode
  • the conversion block size identification flag 32 and the information of the intra prediction mode are multiplexed into the bit stream.
  • the intra code mode is the intra 16x16 prediction code mode
  • the intra prediction mode information is encoded as part of the intra code mode information, and the transform block size identification flag 32, intra prediction Mode information is not multiplexed into the bitstream.
  • the intra code key mode common identification flag 33 indicates “common to C0, Cl, C2”
  • the intra code key mode l (34b) '2 (34c), transform block size identification flag l (32b) '2 (32c) and intra prediction mode l (35b)' 2 (35c) are not multiplexed into the bitstream (the dotted circle in Fig. 15 indicates the branch).
  • the intra coding mode 0 (34a), the transform block size identification flag 0 (32a), and the intra prediction mode 0 (35a) each function as coding information common to all color components.
  • the intra code key mode common identification flag 33 shows an example of being multiplexed as bit stream data at a higher level than a macro block such as a slice, a picture, and a sequence.
  • a macro block such as a slice, a picture, and a sequence.
  • the intra code key mode common identification flag 33 is multiplexed at the sequence level. The purpose can be achieved.
  • the intra coding mode common identification flag 33 is used to mean "whether all components have common power". For example, this can be done according to the color space definition of the input video signal 1. It may be used to mean “whether it is common to two specific components such as C1 and C2” (in the case of Y, Cb, Cr, etc., it is highly possible that Cb and Cr can be shared).
  • the common range of the intra code mode common identification flag 33 is limited to the intra code mode only, and the intra code mode common identification flag 33 is limited to the intra code mode.
  • the transform block size and the NxN prediction mode may be selected independently for each color component (FIG. 16). With the syntax configuration shown in Fig. 16, it is possible to change the prediction method for each color component while sharing the encoding mode information for complex picture images that require NxN prediction. It is possible to improve the prediction efficiency.
  • the encoding device may be configured to perform the encoding by fixing the intra encoding mode common identification flag 33 to any value V, and what is a video bitstream? It can be transmitted separately.
  • the decoding device in FIG. 12 receives the video stream 22 according to the arrangement in FIG. 15 output from the encoding device in FIG. 11, and the macro color of the three color components of the same size (4: 4: 4 format) is received. It is assumed that individual video frames are restored by performing decoding processing in units.
  • variable length decoding unit 25 receives the stream 22 and decodes the stream 22 in accordance with a predetermined rule (syntax), so that an intra code key mode common identification flag 33, a quantized transform Extract information such as coefficient 10, encoding mode 6, quantization parameter 21, and so on.
  • the quantized transform coefficient 10 is input to the inverse quantization unit 12 together with the quantization parameter 21, and the inverse quantization process is performed.
  • the output is input to the inverse orthogonal transform unit 13 and restored to the local decoded prediction difference signal 14.
  • code key mode 6 and intra code key mode common identification flag 33 are input to spatial prediction unit 2, and predicted image 7 is obtained according to these pieces of information. A specific procedure for obtaining the predicted image 7 will be described later.
  • the intra-predicted image generation process that is a feature of the decoding apparatus according to the second embodiment will be described in detail.
  • This processing is performed in units of macroblocks in which the above three color components are combined, and is mainly performed by the variable length decoding unit 25 and the spatial prediction unit 2 in the decoding device of FIG.
  • a flowchart showing the flow of this process is shown in FIG.
  • step S 25 to S 38 are performed by the variable length decoding unit 25.
  • the video stream 22 that is the input to the variable length decoding unit 25 is assumed to follow the data arrangement shown in FIG.
  • step S25 the intra coding mode 0 (34a) (C0 component correspondence) is first decoded from the data in FIG.
  • the intra code mode 0 (34a) is “intra NxN prediction”
  • the transform block size identification flag 0 (32a) and the intra prediction mode 0 (35a) are decoded (steps S26 and S27).
  • Fig. 17 illustrates processing in units of macroblocks.
  • the intra coding mode common identification flag 33 used for the determination in step S29 is variable at the layer level above the slice before entering the START process in Fig. 17. It is assumed that data is read from the bitstream 22 by the long decoding unit 25.
  • step S29 in Fig. 17 If it is determined in step S29 in Fig. 17 that the intra-coding 'prediction mode information is coded for each color component, in the subsequent steps S31 to S38, intra-coding for the C1 and C2 components 'Decode prediction mode information.
  • the encoding mode 6 of each color component is determined, and this is output to the spatial prediction unit 2, and an intra prediction image of each color component is obtained according to steps S39 to S41.
  • the process for obtaining an intra-predicted image follows the procedure shown in FIGS. 3, 4, and 13 and is the same as the process performed by the encoder apparatus shown in FIG.
  • the decoding device may be configured to perform decoding with a fixed value in advance so that the value is analyzed from the video bitstream, and transmitted separately from the video bitstream. May be.
  • the color space definition is fixed to Y, Cb, Cr.
  • Y, Cb Various color spaces can be used without being limited to Cr.
  • optimal code processing can be performed according to the definition of the color space of the input video signal 1 and the nature of the video signal.
  • Video decoding / playback processing can be performed by uniquely interpreting the bit stream obtained as a result of such code processing.
  • Embodiment 3 shows another configuration example of the encoding device in FIG. 11 and the decoding device in FIG.
  • the present encoding device and decoding device are based on the encoding method employed in the MPEG-4 AV C0SO / IEC 14496-10) / ITU-T H.264 standard, which is Non-Patent Document 1.
  • the features unique to the present invention are given.
  • the video encoding device in the third embodiment is different from the encoding device in the second embodiment described in FIG. 11 only in the variable length encoding unit 11.
  • the video decoding apparatus according to the third embodiment is different from the decoding apparatus according to the second embodiment described in FIG. 12 only in the variable length decoding unit 25.
  • the other operations are the same as those in the second embodiment, and only the differences will be described here.
  • variable length encoding unit 11 uses the data shown on the bitstream for the information of the intra NxN prediction mode, in particular, the power that does not indicate the encoding procedure. I got it.
  • a specific method of the sign key sequence is shown.
  • the value correlation between the color components is used for the intra NxN prediction mode obtained for each color component. It is characterized in that the entropy code is performed.
  • the bit stream array has the format shown in FIG.
  • the value of the intra code key common identification flag 33 is set to share the intra code mode with C0, Cl, and C2, and the intra code key mode is set.
  • Is the intra NxN prediction mode and the transform block size 0-2 is 4x4 blocks.
  • all intra prediction modes 0 to 2 (35a to 35c) are set to the intra 4x4 prediction mode.
  • Fig. 18 to Fig. 20 Let X be the current macroblock to be encoded. The macroblock on the left is macroblock A, and the macroblock just above is macroblock B.
  • FIG. 18 to FIG. 20 are used as explanatory diagrams of the sign key sequence of each color component of C0, Cl, and C2.
  • the flowchart of the procedure is shown in Figs.
  • FIG. 18 shows the state of the CO component of macroblock X.
  • the 4x4 block to be encoded is called block X
  • the left and upper 4x4 blocks of block X are called block A and block B, respectively.
  • Case 2 is a case where the 4x4 block on the left and the top of the 4x4 block to be encoded belongs to the inside of the current macroblock X, that is, the macroblock X.
  • one intra 4x4 prediction mode is assigned to each 4x4 block X in macroblock X, which is called CurrlntraPredMod e.
  • the intra 4x4 prediction mode for block A is IntraPredModeA
  • the intra 4x4 prediction mode for block B is IntraPredModeB.
  • Both IntraPredModeA and IntraPredModeB are already coded information at the time when the block X is coded.
  • these parameters are assigned first (step S50 in Fig. 21).
  • a prediction value predCurrlntraPredMode for the CurrlntraPredMode of the block X is determined by the following equation (step S51).
  • predCurrlntraPredMode iin, IntraPredModeA, IntraPredModeB)
  • CurrlntraPredMode predCurrlntraPredMode
  • CurrlntraPredMode! Pred and urrlntraPredMode
  • CurrlntraPredMode compare CurrlntraPredMode and predCurrlntraPredMode _b and if CurrlntraPredMode is smaller, encode CurrlntraPredMode as it is. If CurrlntraPredMode is larger! /, CurrlntraPredMode-l is encoded (step S52).
  • FIG. 19 shows a CI component encoding procedure.
  • neighboring encoding parameters such as IntraPredModeA and IntraPredModeB are set according to the position of the block X (step S53).
  • a prediction value candidate 1 predCurrlntraPredModel for CurrlntraPredMode of block X is determined by the following equation (step S54).
  • predCurrlntraPredMode 1 Min (IntraPredModeA, IntraPredModeB)
  • prev_intra_pred_mode_flag 1 for the CO component
  • this predCurrlntraPred Model is directly adopted as predCurrlntraPredMode in the CI component block X.
  • the C1 component can also have a high correlation between neighboring image areas as in the C0 component. There is sex.
  • the predicted value of the C1 component does not depend on the intra 4x4 prediction mode of the C0 component.
  • the CO component [prev-intra-pred-mode-flag 0]
  • ie, rem-intra-pred-mode is encoded (step S55)
  • the CO component CurrlntraPredMode Is a predicted value candidate 2 (step S56). That is,
  • predCurrIntraPredMode2 then urrlntraPredMode— CO
  • Coding rem_intra_pred_mode with the C0 component means that the intra prediction correlation between neighboring image regions is low in the C0 component. In that case, the correlation between neighboring image regions is also expected to be low in the C1 component as well, and the intra prediction mode at the same block position in different color components may give a better prediction value.
  • the predicted value of CurrlntraPredMode in block X of the C1 component is finally determined as one of predCurrl ntraPredModel force and predCurrIntraPredMode2 (step S57).
  • Which value to use is an additional sign with a 1-bit flag (pred jkg).
  • pred_flag is encoded only when CurrlntraPredMode matches the predicted value, and predCurrlntraPredModel is used for the predicted value when V ⁇ does not match (when rem_intra_pred_mode is encoded).
  • predCurrIntraPredMode2 CurrlntraPredMode— CO;
  • prev-intra-pred-mode-flag pred-flag
  • rem-intra-pred-mode force code data step S58
  • FIG. 20 shows a procedure for coding the C2 component.
  • neighboring encoding parameters such as IntraPredModeA and IntraPredModeB are set according to the position of block X (step S59).
  • a prediction value candidate 1 predCurrlntraPredModel for CurrlntraPredMode of block X is determined by the following equation (step S60).
  • the C2 component is the same as the C0 and C1 components. Correlation between image regions may be high. Therefore, it is judged that the predicted value of the C2 component does not depend on the intra 4x4 prediction mode of the C0 and C1 components.
  • pre dCurrIntraPredMode2 CurrlntraPredMode— Cl;
  • predCurrIntraPredMode2 CurrlntraPredMode— Cl;
  • the background of setting this as a predicted value candidate is as follows. If rem_intra_predjnode is encoded with C0 or C1 component, this means that the correlation of intra prediction between neighboring image regions is low with respect to C0 or C1 component. In that case, the correlation between neighboring image regions is also expected to be low in the C2 component, and the intra prediction mode at the same block position in different color components may give a better prediction value. Also, according to this idea, when remjntra_pred_mode is encoded for both C0 and Cl components, the current intra prediction modes for both C0 and Cl can be candidates for prediction values. The mode is adopted as a predicted value.
  • C0 is likely to be treated as luminance
  • C1 / C2 is likely to be treated as color difference.
  • C1 is considered to be closer to C2's prediction mode than C0. Because it is. RGB color space
  • the choice of CO or C1 is not a big factor, and it is generally considered appropriate to use the C1 component for the predicted value (by design, the C2 component is used for the predicted value). You may).
  • CurrlntraPredMode in block C of the C2 component is finally determined as one of predCurrl ntraPredModel force and predCurrIntraPredMode2 (step S63). Which value is used is additionally encoded with a 1-bit flag (predjlag).
  • predCurrIntraPredMode2 CurrlntraPredMode— CO;
  • predCurrIntraPredMode2 CurrlntraPredMode— CI;
  • prev— intra— pred— mode— flag 0;
  • prev-intra-pred-mode-flag, pred-flag, and rem-intra-pred-mode force are encoded as S code data (step S64).
  • the above encoding procedure can be similarly defined for the intra 8x8 prediction mode.
  • the correlation with the prediction mode selected in the other color components can be used, and the code amount of the prediction mode itself can be reduced. Therefore, it is possible to improve the code efficiency.
  • Fig. 21 The difference between Fig. 21 and Fig. 22 is whether the encoding process in the intra prediction mode per MB is performed separately for each color component or collectively.
  • the sign of each color component is performed in units of 4 ⁇ 4 blocks, and a collection of 16 patterns of them is arranged in a bit stream (step S65).
  • 16 4x4 blocks of each color component are encoded together and arranged in a bit stream for each color component (steps S66, S67, S68).
  • predjag may be determined to include the case of force prev_intra_pred_mode_flag force that is valid information only when prev_intra_pred_mode_flag is used. That is, for example, taking the example of the C1 component,
  • predCurrlntraPredMode Min (IntraPredModeA, IntraPredModeB);
  • predCurrlntraPredModel Min (IntraPredModeA, IntraPredModeB);
  • predCurrIntraPredMode2 CurrlntraPredMode— CO;
  • predCurrlntraPredMode predCurrlntraPredModel
  • Encode rem— intra— pred— mode You may comprise so that it may carry out a code
  • it may be configured to encode pred_flag without depending on whether or not rem_intra_pred_mode is encoded in the intra prediction mode in the block at the same position of the CO component. In this case, the CO component intra prediction mode is always used as a candidate for the predicted value.
  • predCurrlntraPredMode 1 Min (IntraPredModeA, IntraPredModeB);
  • predCurrIntraPredMode2 CurrlntraPredMode— CO;
  • predCurrlntraPredMode predCurrIntraPredMode2; il CurrlntraPredMode ⁇ predCurrlntraPredMode)
  • pred_flag may be set in units of macroblocks or sequences in units of 4x4 blocks.
  • all 4x4 blocks in the macroblock are shared! /, And prediction value candidate 1 or prediction value candidate 2 is used in common.
  • overhead information to be transmitted can be further reduced.
  • it in order to determine which one of predicted value candidate 1 or predicted value candidate 2 is used according to the input color space definition, it can be determined in units of sequences. In this case, it is not necessary to transmit pred Jkg for each macro block, and overhead information can be further reduced.
  • variable length decoding unit 25 has the data arrangement on the bitstream shown for the intra NxN prediction mode information, in particular, the decoding procedure is not shown.
  • the third embodiment a specific method of the decoding procedure is shown.
  • the third embodiment considers the case where the intra NxN prediction mode value is high and correlates between color components, and the intra NxN prediction mode obtained for each color component correlates the values between color components. It is characterized in that it decodes a bitstream that has been subjected to entropy coding using.
  • the bit stream array has the format shown in FIG.
  • the value of the intra code mode common identification flag 33 in the bitstream is set so that the intra code mode is shared by C0, Cl, and C2. It is assumed that “Yes” is set. It is also assumed that the intra code mode is the intra NxN prediction mode, and the conversion block sizes 0 to 2 are 4x4 blocks. At this time, intra prediction modes 0 to 2 (35a to 35c) are all set to the intra 4x4 prediction mode. Similar to the encoding device, the relationship shown in FIGS. 18 to 20 is also used in the decoding device.
  • FIG. 23 shows the flowchart of the decryption procedure.
  • steps given the same numbers as in FIGS. 21 and 22 indicate that the same processing as that of the encoding device is executed.
  • FIG. 18 shows the state of the CO component of macroblock X.
  • macroblock X There are two cases of macroblock X depending on the position of the 4x4 block to be decoded. Casel is the case where the 4x4 block on the left and top of the 4x4 block to be decoded is outside the current macroblock X, that is, the macroblock A or macroblock B. Case 2 is the case where the 4x4 block on the left and upper side of the 4x4 block to be decoded belongs to the inside of the current macroblock X, that is, the macroblock X.
  • the 4x4 block to be decoded is called block X
  • the left and upper 4x4 blocks of block X are called block A and block B, respectively.
  • one intra 4x4 prediction mode is assigned to each 4 x 4 block X in macroblock X, and this is called CurrlntraPredMode.
  • the intra 4x4 prediction mode of block A is IntraPredModeA
  • the intra 4x4 prediction mode of block B is IntraPredModeB. Both IntraPredModeA and IntraPredModeB are already decoded information when the block X is encoded.
  • these parameters are assigned first (step S5 0).
  • step S51 the prediction value predCurrlntraPredMode for the CurrlntraPredMode of the block X is determined by the following equation (step S51).
  • predCurrlntraPredMode Kiin, IntraPredModeA, IntraPredMoaeB)
  • CurrlntraPredMode rem_intra_pred_mode + 1 is set (step S65).
  • predCurrlntraPredMode Kiin, IntraPredModeA, IntraPredMoaeB);
  • CurrlntraPredMode rem— intra— pred— mode
  • CurrlntraPredMode rem— intra— pred— mode + 1;
  • FIG. 19 shows a CI component decoding procedure.
  • neighboring encoding parameters such as IntraPredModeA and IntraPredModeB are set (step S53).
  • a prediction value candidate 1 predCurrlntraPredModel for CurrlntraPredMode of block X is determined by the following equation (step S54).
  • predCurrlntraPredMode 1 Min (IntraPredModeA, IntraPredModeB)
  • Model is used as it is for predCurrlntraPredMode in CI block X. This is the same as the reason described in the sign key device.
  • predCurrIntraPredMode2 then urrlntraPredMode— CO
  • the background of setting this as a predicted value candidate is the same as the reason explained in the sign key device.
  • the predicted value of CurrlntraPredMode in block X of the C1 component is finally determined as one of predCurrl ntraPredModel force and predCurrIntraPredMode2 (step S57). Which value to use is determined by decoding a 1-bit flag (precLflag). However, precLflag is decoded only when CurrlntraPredMode matches the predicted value, and when it does not match (when rem_intra_pred_mode is decoded), the predicted value uses predCurrlntraPredModel.
  • Prediction value on the sleeve prediction value item 2, prev-intra-pred-mode-flag, pred-flag, rem-intra-pred-mode are given, and according to the following procedure, CurrlntraPredMode Is decrypted (step S66).
  • CurrlntraPredMode rem— intra— pred— mode
  • CurrlntraPredMode rem— intra— pred— mode + 1;
  • predCurrlntraPredMode predCurrlntraPredModel
  • predCurrlntraPredMode predCurrIntraPredMode2;
  • CurrlntraPredMode rem— intra— pred— mode
  • CurrlntraPredMode rem— intra— pred— mode + 1;
  • FIG. 20 shows a procedure for decoding the C2 component.
  • neighboring encoding parameters such as IntraPredModeA and IntraPredModeB are set according to the position of the block X (step S59).
  • a prediction value candidate 1 predCurrlntraPredModel for CurrlntraPredMode of block X is determined by the following equation (step S60).
  • predCurrlntraPredMode 1 Min (IntraPredModeA, IntraPredModeB)
  • predCurrlntraPredModel is used as it is in predCurrlntraPredMode in CI component block X. This is the same as the reason described in the sign key device.
  • prev_intra_pred_mode_flag 0 that is, when remj ntra_pred_mode is decoded in C0 or C1 component (step S61), C0 or CurlntraPre dMode of C1 component is set as prediction value candidate 2 (step S62). .
  • pre dCurrIntraPredMode2 CurrlntraPredMode— Cl;
  • predCurrIntraPredMode2 CurrlntraPredMode— Cl;
  • the reason for setting this as a predicted value candidate is also the same as the reason described in the sign key device.
  • the predicted value of CurrlntraPredMode in block X of the C2 component is finally determined as one of predCurrl ntraPredModel force and predCurrIntraPredMode2 (step S63). Which value to use is determined by decoding a 1-bit flag (predjlag). However, predjag is decoded only when CurrlntraPredMode matches the predicted value. When it does not match (when rem_intra_pred_mode is decoded), predCurrlntraPredModel is used as the predicted value.
  • Predicted value candidate sleeve B predicted value candidate B2, prev-intra-pred-mode-flag, pred-flag, rem-intra-pred-mode are given, and the following procedure is used to set CurrlntraPredMode.
  • Decrypt Step S71
  • CurrlntraPredMode rem— intra— pred— mode
  • CurrlntraPredMode rem— intra— pred— mode + 1;
  • predCurrlntraPredModel Min (IntraPredModeA, IntraPredModeB);
  • predCurrIntraPredMode2 CurrlntraPredMode— CO;
  • predCurrIntraPredMode2 CurrlntraPredMode— CI;
  • predCurrlntraPredMode predCurrlntraPredModel
  • predCurrlntraPredMode predCurrIntraPredMode2;
  • CurrlntraPredMode rem— intra— pred— mode
  • CurrlntraPredMode rem— intra— pred— mode + 1; [0116]
  • the above decoding procedure can be similarly defined for the intra 8x8 prediction mode.
  • the coding amount of the prediction mode itself is reduced by using the correlation with the prediction mode selected in other color components, and the coding is performed. A bitstream with improved efficiency can be decoded.
  • predjag may be decoded as including information even when the force prev_intra_pred_mode_flag is 0, which is information that is decoded only when prev_intra_pred_mode_flag power is ⁇ ! ⁇ .
  • predCurrlntraPredMode Min (IntraPredModeA, IntraPredModeB);
  • CurrlntraPredMode rem— intra— pred— mode
  • CurrlntraPredMode rem— intra— pred— mode + 1;
  • predCurrlntraPredMode predCurrlntraPredModel
  • predCurrlntraPredMode predCurrIntraPredMode2;
  • CurrlntraPredMode rem— intra— pred— mode
  • CurrlntraPredMode rem— intra— pred— mode + 1;
  • the effect of this method is as described in the description of the encoding procedure on the corresponding encoding device side. Further, it may be configured to decode predjkg without depending on whether or not rem_intra_pred_mode is decoded in the intra prediction mode in the block at the same position of the C0 component. In this case, the C0 component intra prediction mode is always used as a prediction value candidate.
  • predCurrlntraPredModel Min (IntraPredModeA, IntraPredModeB);
  • predCurrIntraPredMode2 CurrlntraPredMode— CO; Decode prev— intra— pred— mode— flag;
  • predCurrlntraPredMode predCurrlntraPredModel
  • predCurrlntraPredMode predCurrIntraPredMode2;
  • CurrlntraPredMode rem— intra— pred— mode
  • CurrlntraPredMode rem— intra— pred— mode + 1;
  • pred_flag may be included in the bitstream not in units of 4x4 blocks but in units of macroblocks or sequences.
  • Embodiment 4 In Embodiment 2, the bit stream in the format of FIG. 16 has been described.
  • each color component of C0, Cl, and C2 depends on the value of transform block size identification flags 0 to 2 (32a to 32c).
  • Intra prediction mode of force It is described that it is recognized as S intra 4x4 prediction mode or intra 8x8 prediction mode.
  • this bit stream arrangement is changed, and as shown in FIG. 24, intra prediction mode instruction flags 1 and 2 (36a, 36b) are transmitted at the sequence level for Cl and C2 components. Constitute.
  • the intra prediction mode instruction flag is used when the intra NxN prediction mode is selected in the intra code key mode, and when the transform block size identification flag indicates 4x4 conversion, that is, in the case of the intra 4x4 prediction mode. It is valid, and it is possible to switch between the following two states according to this value.
  • a 4x4 block corresponds to a very small image area.
  • the Cb and Cr components and the texture structure of the two images are retained, and the prediction mode information itself is fixed to one rather than giving room for selecting nine prediction modes for the components.
  • the prediction mode may be used. State 2 may also be determined to use the same intra 4x4 prediction mode as CO for C1 or C2 components. In this case as well, overhead bits can be reduced because there is no need to code the intra 4x4 prediction mode for the C1 or C2 components.
  • the encoding device and decoding device according to the fifth embodiment conform to the MPEG-4 AVC (ISO / IEC 14496-10) / ITU-T H.264 standard, which is Non-Patent Document 1. It is assumed that features unique to the present invention are given based on the code method employed.
  • the video encoding device in the fifth embodiment is different from the configuration of the encoding device in FIG. 11 described in the second and third embodiments only in the operation of the variable-length encoding unit 11.
  • the video decoding apparatus according to the fifth embodiment is different from the decoding apparatus of FIG. 12 described in the second and third embodiments only in the operation of the variable length decoding unit 25.
  • the other operations are the same as those in the second and third embodiments, and only the differences will be described here.
  • the variable length coding unit 11 has shown a specific coding method for intra NxN prediction mode information in the bitstream in the format of FIG.
  • another specific method of the sign key procedure is shown.
  • the fifth embodiment pays attention to the fact that the value of the intra NxN prediction mode reflects the structure of the texture as an image pattern, and provides a method for performing adaptive prediction within the neighboring pixel region in the same color component. There is a feature in the point. The following description assumes a bitstream arrangement of the format shown in Figure 16.
  • the CO code encoding method is performed on the assumption that the code N of the intra NxN prediction mode information of each component of C0, Cl, and C2 is encoded independently for each color component.
  • the value of the intra code key common identification flag 33 is set to share the intra code key mode with C0, Cl, and C2, and the intra code key mode is set to INT.
  • La NxN prediction mode, transform block size identification flags 0 to 2 (32a to 32c) are assumed to be 4x4 blocks. At this time, all intra prediction modes 0 to 2 (35a to 35c) are set to the intra 4x4 prediction mode.
  • FIG. 18 is used as an explanatory diagram of the coding procedure for the intra NxN prediction mode information of the CO component.
  • X is the current macroblock that is the target of the sign ⁇ .
  • the macroblock A on the left next to the macroblock A and the macroblock directly above are the macroblock B.
  • FIG. 25 shows a flowchart of the sign key sequence.
  • the prediction value predCurrlntraPredMode for the intra 4x4 prediction mode CurrlntraPredMode assigned to each 4x4 block X in Fig. 18 is set to the smaller one of IntraPredModeA and IntraPredModeB. Assigned uniquely.
  • This method is also used in the current AVC / H.264 standard, and the larger the value of the intra NxN prediction mode, the more complicated the predicted image generation method is with pixel interpolation that takes into account the directionality of the image pattern. This is because it is a mode and has a high conformity to general image patterns, a small mode, and a value assigned to it.
  • the code amount increment in the prediction mode has a greater effect on the mode selection than the distortion increment, so this method is also beneficial to the overall code efficiency.
  • the distortion increment has a greater effect on the mode selection than the prediction mode code amount increment, so the smaller of IntraPredModeA and IntraPredModeB is not necessarily optimal. Disappear.
  • the accuracy of the prediction value is improved by adapting the prediction value setting according to the states of IntraPredModeA and IntraPredModeB as described below.
  • predCurrlntraPredMode is determined based on the state of IntraPredModeA and IntraPredModeB as the value that can be estimated to best estimate CurrlntraPredMode when viewed as an image pattern (steps S73, S74, S75).
  • MIN IntraP redModeA, IntraPredModeB
  • IntraPredModeA and IntraPredModeB are 3 or more and the prediction direction is the same (Example: 0 when IntraPredModeA is ⁇ and IntraPredModeB is 7, prediction is from the top right)
  • the prediction mode to be used (7 in the above example) is predCurrlntraPredMode.
  • Step S50, S53, and S59 preparation processing for encoding such as IntraPredModeA and IntraPredModeB is performed in advance (steps S50, S53, and S59).
  • predCurrlntraPredMode is uniquely derived from the values of IntraPredModeA and IntraPredModeB.
  • Figure 26 shows the rules for setting the predicted values. The shaded portion in FIG. 26 is a case where the conventional rule of MIN (IntraPredModeA, IntraPredModeB) is not followed! /, And a case where a predicted value with a better continuity of the image pattern is judged.
  • MIN IntraPredModeA, IntraPredModeB
  • step (1) a class 0 table is used.
  • a class 1 table is used.
  • predCurrlntraPredMode is determined as a result of the above, the sign code is completed by executing the remaining sign code procedure for the C0 component described in the third embodiment (steps S52, S58, S64).
  • the above encoding procedure can be similarly defined for the intra 8x8 prediction mode.
  • the correlation of the prediction mode in the neighboring pixel region of the same color component can be used more effectively, and the code amount of the prediction mode itself can be reduced. Therefore, it is possible to improve the code efficiency.
  • one specific decoding procedure of the information of the intra NxN prediction mode in the variable length decoding unit 25 is shown for the bit stream in the format of FIG.
  • another specific method of the decoding procedure is shown.
  • adaptive prediction is performed within the neighboring pixel region in the same color component, and the sign This is characterized in that the bitstream subjected to the above is decoded.
  • the bit stream array has the format shown in FIG.
  • the value of the intra code key mode common identification flag 33 in the bitstream is set to share the intra code key mode with C0, Cl, and C2.
  • the intra code mode is the intra NxN prediction mode
  • the transform block size identification flags 0 to 2 32a to 32c) are 4x4 blocks.
  • all intra prediction modes 0 to 2 35a to 35c are set to the intra 4x4 prediction mode.
  • the decoding device will explain only the CO component using the relationship shown in FIG. 18 (Cl and C2 are decoded independently of C0 in the same procedure).
  • X be the current macroblock to be decoded.
  • the left macroblock is macroblock A
  • the macroblock just above is macroblock B.
  • predCurrlntraPredMode is determined using the table in FIG. 26 in exactly the same procedure as shown in the encoding procedure. Since IntraPredModeA and IntraPredModeB have already been decoded and are already known, it is possible to perform exactly the same processing as the encoding procedure.
  • CurrlntraPredMode rem— intra— pred— mode
  • CurrlntraPredMode rem— intra— pred— mode + 1;
  • the above decoding procedure can be similarly defined for the intra 8x8 prediction mode.
  • the stream can be decoded.
  • the table of FIG. 26 is used in a fixed manner and predCurrlntraPredMode is determined and the encoding is performed.
  • the intra prediction mode may be predCurrrl ntraPredMode, and the encoding / decoding may be performed while sequentially updating.
  • IntraPredModeB 0, predCurrlntraPredMode is always 0.
  • the sixth embodiment another configuration example of the encoding device in FIG. 11 and the decoding device in FIG. 12 is shown.
  • the encoding device and decoding device according to the sixth embodiment are based on the MPEG-4 AVC (ISO / IEC 14496-10) / ITU-T H.264 standard, which is Non-Patent Document 1, as in the other embodiments described above. It is assumed that features unique to the present invention are given based on the code method employed.
  • the video coding apparatus according to the sixth embodiment differs from the coding apparatus of FIG. 11 described in the second, third, and fifth embodiments only in the operation of the variable-length coding unit 11.
  • the video decoding apparatus according to the sixth embodiment differs from the decoding apparatus of FIG. 12 described in the second, third, and fifth embodiments only in the operation of the variable length decoding unit 25.
  • the other operations are the same as those in the second, third, and fifth embodiments, and only the differences will be described here.
  • a specific coding method for intra NxN prediction mode information has been shown for the bit stream in the format of FIG.
  • another specific method of the encoding procedure is shown.
  • adaptive arithmetic coding is performed in the neighboring pixel region in the same color component. It is characterized in that it gives a method.
  • the following explanation assumes a bitstream array of the format shown in Figure 16.
  • Embodiment 6 intra Nx of each component of C0, Cl, C2
  • the sign of the N prediction mode information is coded independently for each color component, and the CO component coding method is applied to Cl and C2 as well. Only will be described.
  • the value of the intra code key mode common identification flag 33 is set to share the intra code key mode with C0, Cl, and C2, and the intra code key mode is set to the intra NxN prediction mode and transform block size.
  • the identification flags 0 to 2 (32a to 32c) are assumed to be 4x4 blocks. At this time, the intra prediction modes 0 to 2 (35a to 35c) are all set to the intra 4x4 prediction mode.
  • FIG. 18 is used as an explanatory diagram of the coding procedure of the intra NxN prediction mode information of the CO component.
  • X is the current macroblock that is the target of the sign ⁇ .
  • the left macroblock is macroblock A, and the macroblock directly above is macroblock B.
  • Figure 27 shows the flowchart of the sign key sequence.
  • the prediction value predCurrlntra aPredMode for the intra 4x4 prediction mode CurrlntraPredMode assigned to each 4x4 block X in Fig. 18 is the smaller of IntraPredModeA and IntraPredModeB.
  • prevjntra_pred_mode_flag is set to 1
  • the encoding of intra 4x4 prediction mode for block X is discontinued, and if different, the code is transmitted by rem_intra_pred_mode.
  • CurrlntraPredMode is directly arithmetically encoded using the states of IntraPredModeA and IntraPredModeB.
  • a code key procedure according to the context adaptive binary arithmetic code key adopted in the AVC / H.264 standard is used.
  • the CurrlntraPredMode to be encoded is binarized according to the format shown in Fig. 28 (step S76).
  • the second bin gives the Terminate bit to the prediction mode value that is considered to have the highest appearance frequency in both the vertical and horizontal directions.
  • the code is constructed so that the remaining prediction mode values are terminated in descending order of appearance frequency.
  • the second and subsequent bins in the binary sequence structure in FIG. 28 are preferably set according to the symbol occurrence probability in the actual image data code process.
  • the arithmetic sign ⁇ is executed while selecting the (0, 1) occurrence probability table to be used in sequence for each bin of the binary sequence.
  • the context used for the arithmetic sign ⁇ is determined as follows (step S78).
  • Context A binary table indicating whether the intra prediction mode is vertical prediction or horizontal prediction.
  • the present flag intra_pred_direction_flag is defined for IntraPredModeA and IntraPredModeB, and the following four states are used as context values.
  • C IntraPredModeA
  • IntraPredMod IntraPredMod
  • the conditional probability of CurrlntraPredMode assuming the state of eB is obtained, and an initial occurrence probability table (0, 1) determined based on it is assigned.
  • an initial occurrence probability table (0, 1) determined based on it is assigned.
  • the occurrence probability table is updated with the sign key value (step S79).
  • an initial occurrence probability table (0, 1) determined according to the occurrence probability of each prediction mode value is assigned in advance (step S80).
  • binary arithmetic coding and occurrence probability table update are performed (step S81).
  • the above encoding procedure can be similarly defined for the intra 8x8 prediction mode.
  • the adaptive arithmetic code ⁇ is used to encode the prediction mode information using the correlation of the prediction mode in the neighboring pixel region of the same color component. Since it can be applied, the code efficiency can be improved.
  • one specific decoding procedure of intra NxN prediction mode information in the variable-length coding unit 25 is shown for the bit stream in the format of FIG.
  • another specific method of the decoding procedure is shown.
  • the state 6 uses the adaptive arithmetic code ⁇ within the neighboring pixel region in the same color component to This is characterized in that the bitstream subjected to the above is decoded.
  • the bit stream array has the format shown in FIG.
  • the value of the intra code key mode common identification flag 33 in the bitstream is set to share the intra code key mode with C0, Cl, and C2.
  • the intra code mode is the intra NxN prediction mode
  • the transform block size identification flags 0 to 2 are 4x4 blocks.
  • all intra prediction modes 0 to 2 are set to the intra 4x4 prediction mode.
  • the decoding device will explain only the CO component using the relationship of FIG. 18 (Cl and C2 are decoded independently of CO in the same procedure).
  • X be the current macroblock to be decoded.
  • the left macroblock is macroblock A
  • the macroblock just above is macroblock B.
  • PredCurrlntraPredMode for CurrlntraPre dMode is uniquely assigned to the smaller one of IntraPredModeA and IntraPredMod eB. Is configured to restore block X's intra 4x4 prediction mode by decoding rem_intra_pred_mode.
  • CurrlntraPredMode is directly arithmetically decoded using the states of IntraPredModeA and IntraPredModeB. At this time, the decoding procedure according to the context adaptive binary arithmetic decoding adopted in the AVC / H.264 standard is used.
  • the CurrlntraPredMode to be decoded is encoded as a binary sequence according to the format shown in Fig. 28, and this sequence is also subjected to binary arithmetic decoding sequentially with the leftmost force.
  • the first bin of the binary sequence is a code that classifies CurrlntraPredMode for vertical prediction or horizontal prediction power (see Fig. 3). After 2 bins, the appearance frequency is high in the prediction mode value, and it is coded so that it is sequentially terminated from the first. It is configured. The reason for this code configuration is as described in the code ⁇ procedure.
  • the decoding process first, when decoding the first bin, the same C as the content used in the encoding process is determined. Select the occurrence probability table of the 1st bin according to the value of C and perform arithmetic recovery
  • the occurrence probability table is updated with the decoded value.
  • an initial occurrence probability table (0, 1) determined according to the occurrence probability of each prediction mode value is assigned.
  • binary arithmetic decoding and occurrence probability table update are performed as in the first bin.
  • the binary sequence in FIG. 28 is configured so that each prediction mode value can be uniquely identified. Therefore, when a predetermined number of bins are restored, the Currln traPredMode is sequentially decoded.
  • the above decoding procedure can be similarly defined for the intra 8x8 prediction mode.
  • the stream can be decoded.
  • Context B Intra prediction mode power 3 ⁇ 4C prediction power, binary table of DC prediction
  • the present flag intra_dc_pred_flag is defined for IntraPredModeA and IntraPredModeB, and the following four states are used as context values.
  • intra_dc_pred_flag is set to 1 in Fig. 3 if intra4x4_pred_mode takes value 2, and 0 if it takes other values.
  • a video signal input in 4: 4: 4 format is encoded by using inter-frame prediction in units obtained by equally dividing a 16 ⁇ 16 pixel rectangular area (macroblock).
  • a dredge device and a corresponding decoding device will be described.
  • the present encoding device and decoding device are based on the encoding method employed in the MPEG-4 AVC (ISO / IEC 14496-10) / ITU-TH H.264 standard (hereinafter referred to as AVC), and are included in the present invention. It shall be given unique features.
  • FIG. 30 shows the configuration of the video encoding apparatus in the seventh embodiment
  • FIG. 31 shows the configuration of the video decoding apparatus in the seventh embodiment.
  • FIG. 31 it is shown that elements having the same numbers as the constituent elements of the sign key device of FIG. 30 are the same elements.
  • the input video signal 1 is an individual video frame having a 4: 4: 4 format, and the three color components are divided into macro blocks of the same size. It is assumed that the unit is input to the encoding device.
  • one frame of reference image is selected from one or more frames of motion compensation prediction reference image data stored in the memory 16, and each color component is selected in units of the macroblock. Then, motion compensation prediction processing is performed. Three memories are prepared for each color component (in this embodiment, it is described as three faces, but it may be changed as appropriate depending on the design).
  • the selected size information is the macro block size information. As lock type, size information of 8x8 block unit is output as sub macro block type. In addition, the identification number and motion vector information of the reference image selected for each block are output.
  • the video coding apparatus is characterized in that the motion compensation prediction processing method for the three color components is switched based on the inter prediction mode common identification flag 123. This point is described in detail in 2 below.
  • the motion compensated prediction unit 102 has all block sizes or sub-block sizes shown in FIG. 32, all motion vectors 137 in a predetermined search range, and one or more selectable reference images. Then, a motion compensation prediction process is performed on the image, and a prediction difference signal 4 is obtained by the motion vector 137, one reference image, and the subtractor 3. The prediction differential signal 4 is evaluated for the prediction efficiency by the coding mode determination unit 5, and the macro block that can obtain the optimal prediction efficiency for the macro block to be predicted from the prediction processing executed by the motion compensation prediction unit 102.
  • Type Z sub-macroblock type 106, motion vector 137 and reference image identification number are output.
  • the weighting factor 20 for each type determined by the coding control unit 19 may be considered. Further, the prediction difference signal 4 obtained by motion compensation prediction based on the selected type, the motion vector 137 and the reference image is output to the orthogonal transform unit 8.
  • the orthogonal transform unit 8 transforms the input prediction difference signal 4 and outputs it to the quantization unit 9 as an orthogonal transform coefficient.
  • the quantizing unit 9 quantizes the input orthogonal transform coefficient based on the quantization parameter 21 determined by the code key control unit 19, and outputs the quantized transform coefficient 10 to the variable length code key unit 11. Output.
  • the quantized transform coefficient 10 is entropy-encoded by a variable-length code key unit 11 by means such as a Huffman code or an arithmetic code key. Also, the quantized transform coefficient 10 is restored to the local decoded prediction differential signal 14 via the inverse quantization unit 12 and the inverse orthogonal transform unit 13, and is referred to the selected macroblock type Z sub macroblock type 106 and motion vector 137.
  • the local decoded image 15 is generated by adding the predicted image 7 generated based on the image and the adder 18.
  • the locally decoded image 15 is stored in the memory 16 for use in subsequent motion compensation prediction processing.
  • the variable length coding unit 11 also receives a deblocking filter control flag 24 indicating whether or not to apply a deblocking filter to the macroblock.
  • the pixel data before being subjected to the deblocking filter is stored in the memory 16 and used, so the deblocking filter process itself is not necessary for the encoding process. However, on the decoding device side, a deblocking filter is performed according to the instruction of the deblocking filter control flag 24 to obtain a final decoded image).
  • the quantization parameter 21 is arranged and shaped as a bit stream according to a predetermined rule (syntax), and is output to the transmission buffer 17.
  • the bit stream is smoothed according to the bandwidth of the transmission path to which the encoding device is connected and the reading speed of the recording medium, and is output as the video stream 22. Further, feedback is applied to the code key control unit 19 in accordance with the bit stream accumulation state in the transmission buffer 17, and the generated code amount in the code key of the subsequent video frame is controlled.
  • the inter prediction mode refers to the block size that is the unit of motion compensation prediction described above, that is, the macroblock type Z sub-macroblock type
  • the inter prediction mode determination process refers to the macroblock type Z sub-macroblock. This is the process of selecting the type, motion vector, and reference image. This processing is performed in units of macroblocks in which the above three color components are combined, and is mainly performed by the motion compensation prediction unit 102 and the code key mode determination unit 5 in the encoding device in FIG. Fig. 33 shows a flowchart showing the flow of this process.
  • the image data of the three color components that make up the block are C0, Cl, and C2.
  • the coding mode determination unit 5 receives the inter prediction mode common identification flag 123, and based on the value, C0, Cl, C2 common inter prediction modes and common motion vectors 137 and It is determined whether or not the common reference image is used (step S100 in FIG. 33). When sharing, go to step S101 and after, otherwise go to step S102 and after.
  • the code mode determination unit 5 determines all of the motion compensation prediction units 102 that can be selected.
  • the inter prediction mode, the motion vector search range, and the reference image are notified, and the motion compensated prediction unit 102 evaluates all the prediction efficiencies and determines the optimal inter prediction mode common to C0, Cl, and C2.
  • a motion vector 137 and a reference image are selected (step S101).
  • the coding mode determination unit 5 performs the motion.
  • Dm, v, r is a code distortion or a prediction error amount when the inter prediction mode m, the motion vector V in a predetermined range, and the reference image r are applied.
  • Code distortion is obtained by applying inter prediction mode m, motion vector V, and reference image r to obtain a prediction error, and converting the prediction error. The error with respect to is measured.
  • the amount of prediction error is obtained by obtaining the difference between the prediction image when the inter prediction mode m, the motion vector V, and the reference image r are applied, and the signal before the sign, and quantifying the magnitude of the difference. For example, the sum of absolute distance (SAD) is used.
  • Rm, v, r is the amount of generated code when the inter prediction mode m, the motion vector V, and the reference image r are applied.
  • Jm, v, r is a value that specifies the trade-off between the code amount and the degree of degradation when the inter prediction mode m, the motion vector V, and the reference image r are applied, and gives the minimum Jm, v, r Inter prediction mode m, motion vector V, and reference image r give the optimal solution.
  • the inter prediction mode, the motion vector 137, and the information of the reference image are allocated to a macroblock including three color components.
  • the processing after step S102 when the processing after step S102 is performed, the inter prediction mode information, the motion vector 137, and the reference image are assigned to each color component. The Therefore, since the inter prediction mode assigned to the macroblock, the motion vector 137, and the information of the reference image are different, the coding device performs the processing process after S101 and the processing process after S102. It is necessary to multiplex the inter prediction mode common identification flag 123 into the bit stream so that the decoding apparatus can recognize it.
  • Figure 34 shows the data arrangement of such a bitstream.
  • Fig. 34 shows the bit stream data arrangement at the macroblock level.
  • the macroblock type indicates intra-inter, and information indicating the block size that is a unit of motion compensation in inter mode. Including.
  • the sub macroblock type is multiplexed only when the 8x8 block size is selected for the macroblock type, and includes block size information for each 8x8 block.
  • the basic macroblock type 128 and basic submacroblock type 129 indicate that the common macroblock type and common submacroblock type are used when the inter prediction mode common identification flag 123 indicates "common in C0, Cl, C2". Otherwise, indicate the macroblock type and sub-macroblock type for CO.
  • Extended macroblock type 130 and extended sub-macroblock type 131 are multiplexed for Cl and C2 only when the inter prediction mode common identification flag 123 indicates that it is not “common to C0, Cl and C2,” The macro block type and sub macro block type for Cl and C2 are shown.
  • the reference image identification number is information for specifying a reference image to be selected for each block of 8x8 block size or more which is a motion compensation unit.
  • a reference image that can be selected is one frame, one reference image identification number is multiplexed for each block.
  • a set of motion vector information is multiplexed for each block as a motion compensation unit.
  • the reference image identification number and the motion vector information need to be multiplexed by the number of blocks that are units of motion compensation included in the macroblock.
  • the common reference image identification number and the common motion vector Information are “common to C0, Cl, and C2,” the common reference image identification number and the common motion vector Information, otherwise reference image identification number and motion vector information for CO.
  • the inter prediction mode common identification flag 123 is “C0, Cl, C2 Only when it is not “common”, it is multiplexed for Cl and C2, respectively, and indicates the reference image identification number and motion vector information for Cl and C2.
  • FIG. 34 includes a deblocking filter control flag 24 that is input to the variable-length encoding unit 11 in FIG. 30, and is a configuration necessary for explaining the features of the seventh embodiment. I have omitted it because it is not an element)
  • the color space definition is fixed to Y, Cb, Cr.
  • Y, Cb Various color spaces can be used without being limited to Cr.
  • the inter prediction mode information as shown in FIG. 34, the optimum encoding process can be performed even when the color space of the input video signal 1 has various definitions. For example, when the color space is defined in RGB, the video texture structure remains uniformly in each of the R, G, and B components, and the common inter prediction mode information and the common motion vector information are used in the region where the color space is defined.
  • the redundancy of the inter prediction mode information and the motion vector information itself can be reduced, and the code efficiency can be increased.
  • the inter prediction mode and motion vector information optimal for the R component and the inter prediction mode and motion vector information optimal for the G and B components must be different. It is. Therefore, optimal code efficiency can be obtained by adaptively using the extended inter prediction mode, the extended reference image identification information, and the extended motion vector information.
  • the decoding device in FIG. 31 receives the video stream 22 according to the arrangement in FIG. 34 output from the encoding device in FIG. 30, and the three color components have the same size (4: 4: 4 format). It is assumed that individual video frames are restored by performing decoding processing in units.
  • variable-length decoding unit 25 receives the stream 22 and decodes the video stream 22 according to a predetermined rule (syntax) to obtain an inter prediction mode common identification flag 123, a quantized transform coefficient. 10. Extract information such as macroblock type / sub-macroblock type 106, reference image identification number, motion vector information, quantization parameter 21, and the like. The quantized transform coefficient 10 is input to the inverse quantization unit 12 together with the quantization parameter 21, and the inverse quantization process is performed. Then, the output is input to the inverse orthogonal transform unit 13 and the local decoded prediction difference Restored to minute signal 14.
  • a predetermined rule syntax
  • the macro block type Z sub-macroblock type 106, the inter prediction mode common identification flag 123, the motion vector 137, and the reference image identification number are input to the motion compensated prediction unit 102. Get. A specific procedure for obtaining the predicted image 7 will be described later. Local decoded prediction difference signal 14 and predicted image 7 are added by adder 18 to obtain provisional decoded image 15 (this is exactly the same signal as local decoded image 15 in the coding device). The provisional decoded image 15 is written back to the memory 16 to be used for motion compensation prediction of the subsequent macroblock. Three memories are prepared for each color component (this embodiment will be described as three faces, but may be changed as appropriate depending on the design). Further, based on the instruction of the deblocking filter control flag 24 decoded by the variable length decoding unit 25, the deblocking filter 26 is made to act on the provisional decoded image 15 to obtain the final decoded image 27.
  • the decoding device in FIG. 31 receives the video stream 22 according to the arrangement in FIG. 34 output from the encoding device in FIG. 30, and the three color components have the same size (4: 4: 4 format). It is assumed that individual video frames are restored by performing decoding processing in units.
  • FIG. 35 shows a flow chart showing the flow of processing performed by the variable length decoding unit 25 in this processing.
  • step S110 the inter prediction mode common identification flag 123 in the data of FIG. 34 is decoded (step S110). Furthermore, basic macroblock type 128 and basic sub-macroblock type 129 are decoded (step Slll).
  • step S112 it is determined whether the inter prediction mode is shared by C0, C1, and C2 using the result of the inter prediction mode common identification flag 123, and in the case of common (Yes in step S112), Basic macroblock type 128 and basic submacroblock type 129 shall be used for all of Cl and C2, otherwise (No in step S112) basic macroblock type 128
  • the basic sub macroblock type 129 is used as a CO mode, and the extended macro block type 130 and the extended sub macro block type 131 are decoded for each of Cl and C2 (step S113). Get prediction mode information.
  • step S114 when the basic reference image identification number 132 and basic motion vector information 133 are decoded (step S114), and the inter prediction mode common identification flag 123 indicates that “common with C0, Cl, C2” is indicated. (Yes in step S115), the basic reference image identification number 132 and basic motion vector information 133 are used for all of C0, Cl, and C2, otherwise the basic reference image is determined (No in step S115).
  • the identification number 132 and the basic motion vector information 133 are used as CO information, and the extended reference image identification number 134 and the extended motion vector information 135 are decoded for each of Cl and C2 (step S116).
  • the macroblock type Z sub-macroblock type 106, reference image identification number, and motion vector information for each color component are determined. Get a statue.
  • FIG. 36 shows a variation of the bit stream data array in FIG.
  • the inter prediction mode common identification flag 123 is multiplexed as a flag located in an upper data layer such as a slice, a picture, and a sequence, not as a macroblock level flag.
  • the power inter prediction mode common identification flag 123 is multiplexed by multiplexing the inter prediction mode common identification flag 123 for each macroblock or upper data layer such as slice, picture, sequence, etc.
  • FIG. 37 shows the bit stream data arrangement in that case.
  • the inter prediction mode common identification flag 123 does not exist, and the profile information 136 that instructs the upper data layer such as a sequence to handle the input image in the 4: 4: 4 format is multiplexed.
  • extended macroblock type 130, extended submacroblock type 131, extended reference image identification number 134, extended motion vector Information 135 is multiplexed.
  • the macro block type Z sub-macro block type, the motion vector, and the reference image have different power for each color component.
  • the macro block type Z sub-macro A video encoding device and a video decoding device are described in which the block type and the reference image are common to each component, and only the motion vector can be different for each component.
  • the configuration of the video encoding device and the video decoding device in the eighth embodiment is the same as that in FIGS. 30 and 31 in the seventh embodiment.
  • a motion vector common identification flag 123b The point that is using is different.
  • the inter prediction mode determination process which is a feature of the coding apparatus according to the eighth embodiment, will be described in detail focusing on processes different from those in the seventh embodiment.
  • This process is performed in units of macroblocks in which the above three color components are combined, and is mainly performed by the motion compensation prediction unit 102 and the code key mode determination unit 5 in the code key device of FIG.
  • FIG. 38 is a flowchart showing the flow of this process.
  • the image data of the three color components that make up the block are C0, Cl, and C2.
  • the encoding mode determination unit 5 receives the motion vector common identification flag 123b, and determines whether or not to use the common motion vector 137 for C0, Cl, and C2 based on the value ( Step S120 in Fig. 37). In the case of sharing, go to Step S121 and after, otherwise go to Step S122 and after.
  • the sign mode determination unit 5 instructs the motion compensation prediction unit 102 to select all inter prediction modes and motion vector searches.
  • the motion compensation prediction unit 102 evaluates all prediction efficiencies and selects the optimal inter prediction mode, motion vector 137, and reference image common to C0, Cl, and C2. (Step S121).
  • the sign key mode determination unit 5 performs motion compensation prediction. For part 102 Notify all possible inter prediction modes, motion vector search range and reference image
  • the motion vector common identification flag 123b needs to be multiplexed with the bit stream so that the decoding apparatus can recognize it.
  • Figure 39 shows the data arrangement of such a bitstream.
  • FIG. 39 shows the data arrangement of the bit stream at the macroblock level.
  • the macro block type 128b, the sub macro block type 129b, and the reference image identification number 132b are “common to C0, Cl, and C2.”
  • the basic motion vector information 133 indicates common motion vector information when the motion vector common identification flag 123b indicates “common to C0, Cl, and C2,” otherwise indicates motion vector information for CO. .
  • the extended motion vector information 135 is multiplexed for Cl and C2 only when the motion vector common identification flag 123b indicates “not common to C0, Cl, and C2,” and motion for Cl and C2 is performed. Shows vector information.
  • the macroblock type / sub-macroblock type 106 in FIGS. 30 and 31 is a generic term for the macroblock type 128b and the sub-macroblock type 129b in FIG.
  • the decoding apparatus receives the video stream 22 according to the arrangement in FIG. 39 output as the coding power of the eighth embodiment, and the three color components have the same size (4: 4: 4 It is assumed that individual video frames are restored by performing decoding processing in units of macro blocks in a format.
  • FIG. 40 is a flowchart showing the flow of processing performed by the variable length decoding unit 25 in this processing.
  • step S126 the macroblock type 128b and the sub macroblock type 129b that are common to C0, Cl, and C2 are decoded.
  • the block size that is the unit of motion compensation is determined by the decoded macroblock type 128b or sub-macroblock type 129b, so the reference image identification number common to C0, Cl, and C2 for each block that will be the next unit of motion compensation
  • the number 132b is decoded (step S127).
  • step S128 the motion vector common identification flag 123b is decoded.
  • step S129 the basic motion vector information 133 is decoded for each block serving as a motion compensation unit
  • step S130 it is determined whether or not the motion vector 137 is shared by C0, Cl, and C2 using the result of the motion vector sharing identification flag 1 23b. , C2 is used for the basic motion vector information, otherwise (No in step S130), the basic motion vector information 133 is used as the CO mode, and the extended motion vector for each of Cl and C2. Information 135 is decrypted (step S131).
  • the macroblock type Z sub-macroblock type 106, reference image identification number, and motion vector information for each color component are determined, and these are output to the motion compensation prediction unit 102 for motion compensation prediction of each color component. Obtain an image.
  • FIG. 41 shows variations of the bit stream data array of FIG. 39, the motion vector common identification flag 123b is multiplexed as a flag located in an upper data layer such as a slice, a picture, or a sequence that is not as a macroblock level flag.
  • an upper data layer such as a slice, a picture, or a sequence that is not as a macroblock level flag.
  • the force vector common identification flag 123b is multiplexed without multiplexing the force vector common identification flag 123b for each macroblock or upper data layer such as slice, picture, sequence, etc. 4:
  • Figure 42 shows the bitstream data arrangement in this case.
  • the motion vector common identification flag 123b does not exist, and the profile information 136 instructing the upper data layer such as a sequence to handle the input image in the 4: 4: 4 format is multiplexed.
  • the extended motion vector information 135 is multiplexed according to the decoding result.
  • the macroblock type Z sub-macroblock type 106 and the reference image are made common to each color component, and only the motion vector 137 can be made different for each color component. did.
  • the macroblock type Z sub-macroblock type 106 and the reference image identification number are multiplexed for each color component. Overhead bits can be reduced without any problems.
  • the motion vector 137, and the reference image common to three components by the inter prediction mode common identification flag 123 or the profile information 136 For each color component that makes the macroblock type / sub-macroblock type 106, the motion vector 137, and the reference image common to three components by the inter prediction mode common identification flag 123 or the profile information 136, In this Embodiment 9, assuming a 4: 4: 4 format image such as Y, Cb, Cr format, etc., luminance component (Y) and color difference component (Cb , Cr) can be switched between different ones (in this case, the common mode is used for the two color difference components). In other words, it is possible to switch between the three components that are common to each component or different for each component, and that some can be different for the luminance component and the color difference component.
  • a video encoding device and a video decoding device will be described. The configurations of the video encoding device and the video decoding device in the ninth embodiment are the same as those in FIGS. 30 and 31 in the seventh embodiment.
  • the inter prediction mode determination process that is a feature of the coding apparatus according to the ninth embodiment will be described in detail with a focus on processes different from those in the seventh embodiment.
  • FIG. 43 shows a flowchart showing the flow of this process.
  • the image data of the three color components that make up the block are C0, Cl, and C2.
  • the encoding mode determination unit 5 receives the inter prediction mode common identification flag 123, and based on the value, C0, Cl, and C2 share a common motion prediction mode with a common inter prediction mode. It is determined whether or not it is possible to use the reference 137 and the common reference image (step S132 in FIG. 43). In the case of sharing, go to Step S133 and after, otherwise go to Step S134 and after or Step S137 and after.
  • the code mode determination unit 5 determines all of the motion compensation prediction units 102 that can be selected.
  • the inter prediction mode, the motion vector search range, and the reference image are notified, and the motion compensated prediction unit 102 evaluates all the prediction efficiencies and determines the optimal inter prediction mode common to C0, Cl, and C2.
  • a motion vector 137 and a reference image are selected (step S133).
  • the data arrangement of the bitstream output by the coding apparatus according to the ninth embodiment is the same as in Fig. 34, but the inter prediction mode common identification flag 123 is "common to C1 and C2".
  • the extended macroblock type 130, the extended submacroblock type 131, the extended reference identification number 134, and the extended motion vector information 135 are information common to Cl and C2. [0203] 2. Inter prediction duplication processing in duplication equipment.
  • the decoding apparatus receives the video stream 22 according to the arrangement of FIG. 34 output by the coding apparatus power according to the ninth embodiment, and the three color components have the same size (4: 4: 4 It is assumed that individual video frames are restored by performing decoding processing in units of macro blocks in a format.
  • FIG. 44 shows a flowchart showing the flow of processing performed by the variable length decoding unit 25 in this processing.
  • step S140 the inter prediction mode common identification flag 123 is decoded from the data in FIG. 34 (step S140). Further, basic macroblock type 128 and basic sub-macroblock type 129 are decoded (step S141). In step S142, it is determined whether or not the inter prediction mode is shared by C0, C1, and C2 using the result of the inter prediction mode common identification flag 123. In the case of common use, all of C0, Cl, and C2 are determined.
  • the basic macro block type 128 and the basic sub macro block type 129 are used, and the basic macro block type 128 and the basic sub macro block type 129 are used as the CO mode.
  • the extended macroblock type 130 and the extended sub-macroblock type 131 common to the Cl and C2 components are decoded (step S143).
  • extended macroblock type 130 and extended submacroblock type 131 are decoded for Cl and C2, respectively (steps S144, S145, and S146) Get mode information for Cl, C2.
  • step S147 when the basic reference image identification number 132 and the basic motion vector information 133 are decoded (step S147), and the inter prediction mode common identification flag 123 indicates that “common with C0, Cl, C2” is indicated. , C 0, Cl, C2 all use basic reference image identification number 132 and basic motion vector information 133, otherwise basic reference image identification number 132 and basic motion vector information 133 are CO information.
  • Cl and C2 are used in common, Cl and C2 Extended reference image identification number 134 and extended motion vector information 135 common to the components are decoded (step S149).
  • the extended reference image identification number 134 and the extended motion vector information 135 for each of the C2 to decrypt step S150, S151, S152
  • the macroblock type Z sub-macroblock type 106 of each color component, the reference image identification number, and the motion vector information are determined. These are output to the motion compensation prediction unit 102, and the motion compensated prediction image of each color component is output. Get.
  • the extended macroblock type 130 when the inter prediction mode common identification flag 123 indicates “common to C1 and C2,” the extended macroblock type 130, The extended sub macroblock type 131, the extended reference identification number 134, and the extended motion vector information 135 are information common to Cl and C2, and the video code input / output is a video stream according to the data arrangement shown in FIG.
  • the operation of the dredge device and the video decoding device is the same as in FIG.
  • the macro block type Z sub macro block type 106, the motion vector 137, and the reference image can be made different for each color component.
  • the macro block type 106 and the reference image are common to each component, and only the motion vector 137 is the force common to the three components, is different for each component, or is shared by Cl and C2, and the CO and C1, C2 You may switch between choosing the best one for each.
  • the bit stream data arrangement in this case follows FIG. 39 or FIG. 41, and in this case as well, when the inter prediction mode common identification flag 123 indicates “common to C1 and C2,” the extended motion vector information 135 Is information common to Cl and C2.
  • variable length coding unit 11 of the coding apparatus described in the seventh embodiment corresponds to a method of encoding the input motion vector 137 and multiplexing it into a bitstream.
  • a method for decoding the bitstream force motion vector 137 in the variable length decoding unit 25 of the decoding device will be described.
  • FIG. 45 is a part of the variable length code key unit 11 of the code key device shown in FIG. 30, and shows the configuration of the motion vector code key unit that codes the motion vector 137. [0210] A method of multiplexing the motion vector 137 of the three color components (C0, Cl, C2) into a bitstream in the order of C0, Cl, C2 is described.
  • CO motion vector 137 be mvO.
  • the motion vector prediction unit 111 obtains a prediction vector (mvpO) of the CO motion vector 137.
  • the motion vectors (mvA 0, mvBO, mvCO) of blocks (A, B, C in Fig. 46) adjacent to the block where the motion vector (mvO) to be encoded is located are stored in memory. get. It is assumed that motion vectors 137 for A, B, and C have already been multiplexed into the bit stream. The median value of mvA0, mvB0, and mvCO is calculated as mvpO.
  • the calculated prediction vector mvpO and the motion vector mvO to be encoded are input to the differential motion vector calculation unit 112.
  • the difference motion vector calculation unit 112 calculates a difference vector (mvdO) between mvO and mvpO.
  • the calculated mvdO is input to the differential motion vector variable length code input unit 113 and is entropy encoded by means such as a Huffman code or an arithmetic code.
  • the motion vector prediction unit 111 obtains a prediction vector (mvpl) of the motion vector 137 of C1.
  • the motion vector (mvAl, mvBl, m vCl) of the block adjacent to the block where the motion vector (mvl) to be encoded is located and the CO motion vector ( mvO) is obtained from memory 16.
  • motion vectors 137 for A, B, and C are already multiplexed in the bitstream. Calculate the median of mvAl, mvBl, mvCl, mvO as mvpl.
  • the calculated mvdl is input to the differential motion vector variable length coding unit 113 and entropy-coded by means such as Huffman coding or arithmetic coding.
  • the motion vector prediction unit 111 obtains a prediction vector (mvp2) of the motion vector 137 of C2.
  • the motion vectors (mvA2, mvB2, mVC2) of the block adjacent to the block where the motion vector (mv2) to be encoded is located and the CO and CI motion at the same position as the block where mv2 is located
  • the median value of mvA2, mvB2, mvC2, mvO, mvl is calculated as mvp2.
  • the calculated mvd2 is input to the differential motion vector variable length code key unit 113, and entropy-coded by means such as Huffman coding or arithmetic code y.
  • FIG. 47 shows a configuration of motion vector decoding section 250 that decodes motion vector 137 in a part of variable length decoding section 25 of the decoding apparatus shown in FIG.
  • the motion vector decoding unit 250 decodes the motion vectors 137 of the three color components multiplexed in the video stream 22 in the order of C0, Cl, and C2.
  • the differential motion vector variable length decoding unit 251 extracts the differential motion vectors (mvd0, mvdl, mvd2) of the three color components (C0, Cl, C2) multiplexed in the video stream 22 and variable length. Decrypt.
  • the motion vector prediction unit 252 calculates prediction vectors (mvpO, mvpl, mvp2) of the motion vectors 137 of C0, Cl, and C2.
  • the calculation method of the prediction vector is the same as that of the motion vector prediction unit 111 of the encoding device.
  • the calculated motion vector 137 is Stored in memory 16 for use as a prediction vector candidate.
  • the motion vector of the same color component block adjacent to the block in which the motion vector to be encoded is located, Since the motion vector of a different color component block at the same position as the block where the target motion vector is located is used as a prediction vector candidate, the motion of adjacent blocks in the same color component in the boundary region of the object, etc.
  • using the motion vector of the block in the same position with different color components as the prediction vector candidate can improve the efficiency of motion vector prediction and reduce the amount of motion vector code
  • Embodiment 11 an example of another encoding apparatus and decoding apparatus derived from the encoding apparatus and decoding apparatus described in Embodiment 7 will be described.
  • the encoding apparatus' decoding apparatus in the eleventh embodiment uses C0, Cl, and C2 components in the macroblock as individual header information. Whether or not to perform coding according to the information is determined according to a predetermined control signal, and the information of the control signal is multiplexed into the video stream 22.
  • the header information necessary for decoding the C0, Cl, and C2 components is multiplexed into the video stream 22 according to the control signal, and there is no motion vector or conversion coefficient information to be transmitted according to the control signal. It is characterized by providing a means to efficiently code skip (or not coded) macroblocks.
  • a special signal is given to the case where there is no code information to be transmitted for the macroblock to be coded, so that the macroblock A high-efficiency code with a minimum code amount is realized.
  • the image data at the exact same position on the reference image used for motion compensated prediction is used as the predicted image (that is, the motion vector is zero), and the obtained prediction is used.
  • the error signal is transformed and quantized, if all the transform coefficients after quantization in the macroblock become zero, the prediction error signal obtained by performing inverse quantization on the decoding side has an amplitude of zero. There is no conversion coefficient data to be transmitted to the device.
  • Such macroblocks are conventionally called skip macroblocks or not coded macroblocks, and they are designed to prevent extra information from being transmitted by performing special signaling.
  • motion vector assumptions are as follows: ⁇ When performing 16x16 prediction in Fig. 32 (a) and predicting values used for coding motion vectors (predicted vectors mvp0, mvpl, mvp2 are applicable) are actual motion vectors. If it is equal, the condition is met, and if there is no transform coefficient data to be transmitted, it is regarded as a skip macroblock.
  • this skip macroblock is encoded, either of the following two methods is selected according to the variable-length encoding method to be used.
  • Method 1 Count the number of skip macroblocks (RUN length) that are consecutive in the slice, and variable-length encode the RUN length.
  • Method 2 For each macro block, encode a flag indicating whether or not it is a skip macro block.
  • Figure 48 shows the bitstream syntax for each method.
  • Figure 48 (a) shows variable-length coding.
  • Fig. 48 (b) shows the case when adaptive arithmetic coding is used (method 2).
  • method 1 skip macroblock signaling is performed by mb_skip_run, and in method 2, mb_skip_flag.
  • MB (n) refers to the encoded data of the nth (not skipped) macroblock. Note that mb_skip_run and mb_skip_flag are assigned in units of macroblocks that combine C0, Cl, and C2 components.
  • the decoding apparatus depends on the state of the control signal, that is, the signal corresponding to the inter prediction mode common identification flag 123 described in the seventh embodiment.
  • the header information including the motion vector is changed for each component of C0, Cl, and C2, and a method for performing skip macroblock signaling for each component of C0, Cl, and C2 is provided. Examples of specific bitstream syntax are shown in FIG. 49 and FIG.
  • FIG. 49 shows the configuration of the macroblock code data that is output from the encoding device of the eleventh embodiment and becomes the input of the decoding device of the eleventh embodiment.
  • FIG. 50 shows the Cn in FIG. The detailed structure of the code key data of the component header information is shown.
  • the operation on the decoding device side that receives the bit stream and restores the video signal will be mainly described. Refer to FIG. 31 for explanation of the operation of the decoding apparatus.
  • the inter prediction mode common identification flag 123 in Embodiment 7 is expanded and defined as a macroblock header common identification flag 123c.
  • Macro block header common identification flag 123c regards CO component header information 139a as basic macro block header information and multiplexes only CO component header information 139a as header information that is commonly used for Cl and C2 components, or C1 component It is a flag that indicates whether header information 139b and C2 component header information 139c are individually multiplexed as extension header information.
  • the macroblock header common identification flag 123c is extracted and decoded from the video stream 22 by the variable length decoding unit 25.
  • the macro block header common identification flag 123c indicates that only CO component header information 139a is multiplexed as header information that is also used in common with C1 and C2 components, all components of C0, C1, and C2
  • the macroblock is decoded based on the various macroblock header information included in the CO component header information 139a.
  • the CO component skip instruction information 138a and the C0 component header information 139a are also applied to the C1 and C2 components in common, the skip instruction information for the Cl and C2 components (138b and 138c)
  • the header information (139b, 139c) is not multiplexed in the bit stream.
  • the variable length decoding unit 25 first decodes and evaluates the C0 component skip instruction information 138a. If the C 0 component skip instruction information 138a indicates “skip”, it is assumed that the C0 component header information 139a is not coded, and the conversion coefficient in the C0 component header information 139a is valid / invalid.
  • the indication information 142 is assumed to be zero (no encoded transform coefficient at all).
  • the C0 to C2 component transform coefficient data 140a to 140c
  • the motion vector 137 of all components C0, Cl and C2 is set to the same value and output.
  • C0 component skip instruction information 138a indicates that it is not "skip"
  • macro block type 128b indicates intra coding in C0 component header information 139a
  • intra prediction mode 141 indicates intra prediction mode 141
  • transform coefficient valid / invalid instruction information 142 (if transform coefficient valid / invalid instruction information 142 is not 0) Decode the quantization parameter. If the transform coefficient valid / invalid instruction information 142 is not zero, the C0 to C2 component transform coefficient data (140a to 140c) is decoded and output in the form of a quantized transform coefficient 10.
  • C0 to C2 component transform coefficient data (140a to 140c) are all zero, and all quantized transform coefficients 10 in the macroblock are output as zero. If the macro block type 128b indicates inter coding, the sub macro block type 129b is decoded as necessary, Further, reference image identification number 132b, motion vector information 133b, transform coefficient valid / invalid instruction information 142, and quantization parameter 21 are decoded (if transform coefficient valid / invalid instruction information 142 is not 0). If the transform coefficient valid / invalid instruction information 142 is not zero, the C0 to C2 component transform coefficient data (140a to 140c) is decoded and output in the form of a quantized transform coefficient 10.
  • C0 to C2 component transform coefficient data 140a to 140c are all zero, and all quantized transform coefficients 10 in the macroblock are output as zero.
  • the macroblock decoding is performed in accordance with a predetermined processing procedure using the output from the variable length decoding unit 25 by the above operation as in the seventh embodiment.
  • the macro block header common identification flag 123c indicates that the header information 139b of the C1 component header and the header information 139c of the C2 component are individually multiplexed as extension header information separately from the CO component header information 139a , C0, Cl, and C2 are decoded based on various macroblock header information included in the corresponding header information (139a to 139c).
  • skip instruction information (138b, 138c) and header blue (139b, 139c) force S bitstreams are multiplexed on the Cl and C2 components.
  • the variable length decoding unit 25 first decodes and evaluates the CO component skip instruction information 138a.
  • the CO component header information 139a is regarded as not coded, and the conversion coefficient in the CO component header information 139a is valid / invalid.
  • the indication information 142 is assumed to be zero (no encoded transform coefficient at all).
  • the C0 component transform coefficient data 140a is regarded as unsigned, and all the quantized transform coefficients in the C0 component are set to zero (that is, C0 component transform coefficient data 140a is determined by the value of the macroblock header common identification flag 123c.
  • the relationship between the component skip instruction information 138a and the conversion coefficient valid / invalid instruction information 142 changes).
  • the motion vector 137 of the C0 component is set and output according to the definition in the case of skipping the C0 component.
  • the C0 component skip instruction information 138a indicates that it is not "skip"
  • the C0 component header information 139a exists and is decoded.
  • the intra prediction mode 141 Spatial pixel prediction mode in which the neighboring pixel of the pixel to be predicted in the frame is used as the prediction value
  • transform coefficient valid / invalid instruction information 142 and (quantum if transform coefficient valid / invalid instruction information 1 42 is not 0) Decryption parameter 21. If the transform coefficient valid / invalid instruction information 142 is not zero, the CO component transform coefficient data is decoded and output in the form of a quantized transform coefficient of 10.
  • the conversion coefficient valid / invalid instruction information is zero, all CO component conversion coefficient data are assumed to be zero. If the macro block type indicates inter coding, the sub macro block type is decoded as necessary, and the reference image identification number, motion vector information, transform coefficient valid / invalid instruction information, (transform coefficient valid / invalid instruction) Decode the quantization parameter (if not info power). If the transform coefficient valid / invalid instruction information is not zero, the CO component transform coefficient data is decoded and output in the form of a quantized transform coefficient 10. If the conversion coefficient valid / invalid instruction information is zero, the CO component conversion coefficient data is all zero. Repeat the above procedure for Cl and C2.
  • the signal component power equivalent to the luminance signal that conveys the content of the image signal S When it is equivalent to the three color components, the input video signal to each component Variations in signal characteristics may occur due to the way the noise is ridden, etc. It may not be optimal to code all components C0 to C2 together.
  • the encoding apparatus uses the macro block header common identification flag 123c according to the signal characteristics for each component of C0 to C2.
  • the optimal code key mode (macroblock type including intra and inter code key types) and motion vector can be selected to increase the code key efficiency. .
  • the presence / absence of encoded information is determined for each component. Since the skip instruction information 138 can be discriminated, only one component is force skipped.1S When another component is not skipped, it is not necessary to skip all components. Allocation can be performed.
  • the value of the skip instruction information 138 is converted into the quantized conversion coefficient data 10 and the motion vector 137, the reference image identification number 132b, the macro block type Z sub-macro in the variable length code section 11. Based on block type 106,
  • the configuration of the bitstream handled by the decoding apparatus may be as shown in FIG.
  • skip instruction information (138), header information (139 & 1390), and conversion coefficient data (140 & 1400) for each component of C0, Cl, and C2 are arranged together.
  • the skip instruction information 138 may be arranged such that the C0, Cl, and C2 states are arranged in 1-bit code symbols, and the 8 states are combined into one code symbol. . If there is a high correlation between the color components in the skip state, the coding efficiency of the skip instruction information 138 itself is determined by combining the code symbols and appropriately defining a context model of arithmetic code ⁇ (described later in Embodiment 12). You can increase the
  • the macroblock header common identification flag 123c may be multiplexed into the bitstream in units of an arbitrary data layer such as a macroblock, a slice, a picture, or a sequence. If there is a steady difference in signal characteristics between color components in the input signal, it is efficient with less overhead information if the macroblock header common identification flag 123c is multiplexed in sequence units. Can be performed. If the macro block header common identification flag 123c is configured to be multiplexed in units of pictures, the macro block type has few NORMALizations, and the I picture has a common header, and the macro block type has many variations. P, B picture Therefore, using individual headers for each color component is expected to improve the balance between code efficiency and computation load. it can.
  • switching at the picture layer is also desirable from the viewpoint of video signal coding control that changes the signal characteristics for each picture, such as scene changes.
  • the macroblock header common identification flag 123c is multiplexed in units of macroblocks, the amount of code per macroblock increases, but the header information is shared based on the signal status of each color component in units of macroblocks. It is possible to control whether or not to perform the encoding, and it is possible to configure a coding apparatus that improves the compression efficiency by following the local signal fluctuation of the image.
  • the macroblock header common identification flag 123c is multiplexed for each slice, and the flag is “common to C0, Cl, C2”.
  • the bit stream is configured to include all the sign information of the three color components, and the flag is not “common to C0, Cl and C2”.
  • a possible method is to configure the bitstream so that one slice contains information of one color component. This is shown in FIG. In FIG. 52, the macro block header common identification flag 123c indicates that “the current slice includes all the encoding information of the three color components” or “the current slice is the code of a specific color component. It should be given meaning as slice configuration identification information.
  • Such slice configuration identification information may be prepared separately from the macroblock header common identification flag 123c! /. If it is identified as “the current slice contains the sign information of a specific color component,” it shall contain the identification “C0, Cl, C2”.
  • one macroblock header is commonly used for C0, Cl, and C2 components in units of slices (C0, Cl, and C2 mixed slices), or a macroblock header is added for each C0, Cl, and C2 component.
  • the encoder apparatus can mix C0, Cl, and C2 slices, CO slices, C1 slices, and C2 slices according to the nature of the local signal in the picture.
  • variable length decoding unit 25 decodes the slice configuration identification information from the bit stream power every time slice data is input. This also identifies which slice in FIG. 52 is the slice to be decoded.
  • the inter prediction mode common identification flag 123 or macro block header common If the state of the identification flag 123c) is set to “use individual inter prediction mode or (macroblock header) for C0, Cl, C2”, the decoding operation should be performed. Since it is guaranteed that the value of first_mb_in_slice for each slice is equal to the number of macroblocks in the slice, C0, Cl, and C2 mixed slices can be decoded based on this without causing overlap or gaps on the picture. Processing is possible.
  • different slice configuration identification information in the picture It may be configured to add identification information that enables selection at the picture level or sequence level whether or not to allow mixing of slices having a value of.
  • the decoding device is a symbol used for the arithmetic code ⁇ when the C0, Cl, and C2 components in the macroblock are encoded using the adaptive arithmetic coding method. It is characterized by adaptively switching whether the occurrence probability and its learning process are shared by all components or separated for each component according to instruction information multiplexed in the bitstream.
  • Embodiment 12 differs from Embodiment 11 only in the processing in variable-length encoding unit 11 in Fig. 30 in the encoding device, and in processing in variable-length decoding unit 25 in Fig. 31 in the decoding device. Action Corresponds to the eleventh embodiment.
  • the arithmetic code and decoding processing which are the points of the twelfth embodiment, will be described in detail.
  • FIG. 54 shows an internal configuration related to arithmetic code key processing in the variable length code key unit 11, and FIGS. 55 and 56 show an operation flow thereof.
  • the variable length code key unit 11 in the present embodiment 12 includes a motion vector 137, reference image identification number 132b, macro block type Z sub-macro block type 106, and intra prediction mode, which are code target data. 141, a context model determination unit 1 la that defines a context model (described later) defined for each data type, such as a quantized transform coefficient 10, and the binary key rule defined for each target data type Binary part l lb to convert multi-value data into binary data, occurrence probability generation part l lc that gives the probability of occurrence of each bin value (0 or 1) after binary ⁇ , generated It consists of a code part l ld for executing an arithmetic sign ⁇ based on the occurrence probability and a memory l lg for storing occurrence probability information.
  • the input to the context model determination unit 11a is a variable length code such as motion vector 137, reference image identification number 132b, macro block type / sub macro block type 106, intra prediction mode 141, quantized transform coefficient 10, etc. It is various data input as encoding target data to the frame 11, and the output from the encoding unit id corresponds to information related to the macroblock of the video stream 22.
  • the context model is a model of the dependency relationship with other information that causes fluctuations in the occurrence probability of the source symbol.By switching the state of the occurrence probability according to this dependency relationship, the symbol It is possible to perform a sign ⁇ adapted to the actual occurrence probability.
  • Figure 57 shows the concept of the context model (ctx).
  • the information source symbol may be a multi-valued power multi-value.
  • the ctx options 0 to 2 in Fig. 57 are defined assuming that the state of the occurrence probability of the information source symbol using this ctx will change depending on the situation.
  • the value of ctx is switched according to the dependency between the encoded data in a certain macroblock and the encoded data of the surrounding macroblocks.
  • D. Marpe et al. “Video An example of a context model related to motion vectorization of a macroblock disclosed in Compression Using Context-Based Adaptive Arithmetic Coding J, International Conference on Image Processing 2001 is shown.
  • the motion vector of block C is the encoding target (more precisely, the prediction difference value mvd (C
  • Motion vector prediction difference value, mvd (B) is the motion vector prediction difference in block B
  • the evaluation value e (C) indicates the degree of variation in nearby motion vectors.
  • Mvd (C) is small when the variation of the value is small, and mvd (C) is large when e (C) is large.
  • This variation set of occurrence probabilities is a context model, and in this case, there are three types of occurrence probability variations.
  • a context model is defined in advance for each of the encoding target data such as the macroblock type Z sub-macroblock type 106, the intra prediction mode 141, and the quantized transform coefficient 10, and the encoding device and the decoding are performed. Shared on the device.
  • the context model determination unit 1 la performs a process of selecting a model determined in advance based on the type of data to be encoded (which occurrence probability variation in the context model is selected). Whether to select it corresponds to the occurrence probability generation process of (3) below).
  • the context model is defined according to each bin (binary position) of the binary sequence by converting the target data of the code into binary sequences at the binary part l ib.
  • conversion to a binary sequence of variable length is performed in accordance with a rough distribution of values that can be taken by each encoded data.
  • Binary key can reduce the number of probability linear divisions by simplifying the calculation by signing in bin units rather than arithmetic code as it is as it is. There are advantages such as the slimness of the content model.
  • step S162 in FIG. 55 (details of step S162 are shown in FIG. 56))
  • binarization of multi-value encoding target data is performed.
  • the setting of the context model to be applied to each bin is completed, and the sign is ready.
  • occurrence probability generator 11c The generation process of the occurrence probability state used for the arithmetic code ⁇ is performed at. Since each context model includes a notional occurrence probability for each value of 0/1, processing is performed with reference to the context model 1 If determined in step S160 as shown in FIG. . Establish an evaluation value for selecting the occurrence probability as shown in e (C) of Fig. 58, and
  • variable length code key unit 11 in the twelfth embodiment includes the occurrence probability information storage memory l lg and stores the occurrence probability states l lh that are sequentially updated in the encoding process for each color component. Provide mechanism. Depending on the value of the occurrence probability state parameter common identification flag 143, the occurrence probability generation unit 11c selects the occurrence probability state l lh used for the current encoding from those held for each color component of C0 to C2. Then, it is selected whether to share the CO component for Cl and C2, and the occurrence probability state l lh actually used for encoding is determined (S162b to S162d in FIG. 56).
  • the occurrence probability state parameter common identification flag 143 needs to be multiplexed into a bit stream so that the decoding device can perform the same selection.
  • This configuration has the following effects. For example, referring to FIG. 58, if the macroblock header common identification flag 123c indicates that the CO component header information 139a is also used for other components, the macroblock type 128b indicates the 16x16 prediction mode. For example, e (C) in Figure 58 is
  • the occurrence probability state prepared for the CO component is always used.
  • the macroblock header common identification flag 123c indicates that the header information (139a to 139c) corresponding to each component is used
  • the macroblock type 128b force C0, Cl, C2 is set to 16x16 prediction mode. If shown, e (C) in Figure 58 can have three variations per macroblock. The encoding part of the latter stage l id is k
  • Two options are possible: In the former, when the C0, Cl, and C2 components have almost the same motion vector distribution, the occurrence probability state l lh is used in common. There is a possibility that the probability can be learned. On the contrary, if the C0, Cl, and C2 components have different motion vector distributions, the latter is The occurrence probability state l lh can be used and updated individually to reduce mismatches due to learning, and there is a possibility that the occurrence probability of motion vectors can be better learned. Since the video signal is non-stationary, the efficiency of the arithmetic code can be improved by enabling such adaptive control.
  • Step S163 in FIG. 55 The actual encoded value (0 or l) l le is fed back to the occurrence probability generation unit 11c, and 0/1 occurrence frequency is counted to update the occurrence probability state l lh used (step S164). For example, when 100 bins are processed using a certain occurrence probability state l lh, the occurrence probability power of 0/1 in the occurrence probability variation is 25, 0.75.
  • the code key value l ie is output from the variable length code key unit 11 and is output as a video stream 22 from the code key device.
  • FIG. 59 shows an internal configuration related to arithmetic decoding processing in the variable-length decoding unit 25, and FIG. 60 shows its operation flow.
  • variable length decoding unit 25 includes a motion vector 137, a reference image identification number 132b, a macroblock type Z sub-macroblock type 106, an intra prediction mode 141, a quantized transform coefficient 10, etc.
  • Context model determination unit l la which determines the type of individual decoding target data and defines a context model that is defined in common with the encoding device, and is defined based on the type of decoding target data.
  • a binarization part l lb that generates a rule an occurrence probability generator l lc that gives the occurrence probability of each bin (0 or 1) according to the binarization rule and the context model, arithmetic decoding based on the generated occurrence probability From the binary sequence obtained as a result and the above binary rule, the motion vector 137 ⁇ Reference image identification number 132b, macroblock type Z sub-macroblock type 106 , Intra prediction mode 141, decoding unit 25a for decoding data such as quantized transform coefficient 10, occurrence probability It consists of 1 lg of memory for storing information.
  • 1 la ⁇ : L lc and 1 lg are the same as the internal components of the variable-length code section 11 in FIG.
  • the decoding unit 25a restores the value of bin according to a predetermined arithmetic decoding process (step S166 in FIG. 60).
  • the bin restoration value 25b is fed back to the occurrence probability generation unit 11c, and the occurrence frequency 0/1 is counted to update the occurrence probability state l lh used (step S164).
  • the decryption unit 25a confirms a match with the binary sequence pattern defined by the binarization rule, and outputs the data value indicated by the matched pattern as a decoded data value. (Step S167). Unless the decrypted data is confirmed, the process returns to step S166 and the decryption process is continued.
  • the decoding apparatus adaptively computes coding information for each color component according to the macroblock header common identification flag 123c. In the case of encoding, more efficient encoding is possible.
  • the unit for multiplexing the occurrence probability state parameter common identification flag 143 may be any of a macroblock unit, a slice unit, a picture unit, and a sequence unit, as specifically illustrated. If sufficient code efficiency is ensured by switching at the upper layer above the slice by multiplexing as a flag located in the upper data layer such as slice, picture, sequence, etc., the macro block It is possible to reduce overhead bits without multiplexing the occurrence probability state parameter common identification flag 143 at each level.
  • the occurrence probability state parameter common identification flag 143 may be information determined inside the decoding apparatus based on related information included in a bit stream different from itself.
  • the macroblock header common identification flag 123c is set to When arithmetic codes are entered in lock units, the model shown in Fig. 61 is used for the context model 1 If. In FIG. 61, the value of the macroblock header common identification flag 123c in macroblock X is IDC. Common macroblock header in macroblock C
  • the code for the identification flag 123c When the code for the identification flag 123c is used, the value IDC of the macroblock header common identification flag 123c for macroblock A and the macroblock header common identification for macroblock B are used.
  • the header information of FIG. 50 included in the macroblock header (macroblock type, sub macroblock type, intra prediction mode, reference image identification number, motion vector, transform coefficient valid / invalid instruction information,
  • the arithmetic code is used in the context model defined for each information type, and as shown in FIG. , B is defined with reference to the corresponding information.
  • the macro block C is in the “use common macro block header in C0, Cl, C2” mode
  • the macro block B is in the “individual C0, Cl, C2”
  • C0, Cl, and C2 are used as reference information in the context model definition. Information on a specific color component is used.
  • macroblock C is in the “use separate macroblock headers for C0, Cl, C2” mode
  • macroblock B is “ If there is a ⁇ Use common macroblock header for C0, Cl, C2 '' mode, the header information of the three color components must be encoded and decoded in the macroblock.
  • the header information common to the three components is used as the same value for the three components.
  • the macroblock header common identification flag 123c shows the same value for all of the obvious 1S macroblocks A, B, and C, the corresponding reference information always exists, so use them. .
  • arithmetic decoding is performed by defining a context model in the same procedure on both the encoding side and the decoding side.
  • the occurrence probability state associated with the context model is updated based on the state of the occurrence probability state parameter common identification flag 143. And execute.
  • arithmetic coding according to the occurrence probability distribution of the data to be encoded is also performed on the transform coefficient data of the C0, Cl, and C2 components. Regardless of whether the macroblock header is shared or not, these data always contain 3 component code data in the bitstream.
  • intra prediction and inter prediction are performed on the color space of the encoded input signal to obtain a prediction difference signal, so that the distribution of transform coefficient data obtained by integer conversion of the prediction difference signal is performed.
  • the occurrence probability distribution is considered to be the same regardless of the surrounding state where the macro block header is not shared as shown in Fig. 62. Therefore, in Embodiment 12, for each component of C0, Cl, and C2, a ma Regardless of whether the black block header is shared or not, a common context model is defined and used for encoding and decoding.
  • the encoding apparatus according to Embodiment 13 is a video decoding apparatus that performs color space conversion processing at the input stage of the encoding apparatus described in Embodiments 7 to 12 and that is input to the encoding apparatus after imaging.
  • An encoding device that multiplexes information specifying reverse conversion processing for converting the signal color space into an arbitrary color space suitable for encoding and returning it to the color space at the time of imaging on the decoding side in a bit stream
  • the information specifying the inverse conversion process is also extracted with the bitstream power, and the decoded image is obtained by the decoding device described in Embodiments 7 to 12, and then the inverse color space is based on the information specifying the inverse conversion process. It is characterized by a configuration that performs conversion.
  • FIG. 63 shows the configuration of the decoding apparatus according to the thirteenth embodiment. With reference to FIG. 63, the coding apparatus according to the thirteenth embodiment will be described.
  • the encoding device of the thirteenth embodiment is provided with a color space conversion unit 301 in front of the encoding device 303 of the seventh to twelfth embodiments.
  • the color space conversion unit 301 includes one or a plurality of color space conversion processes, and selects a color space conversion process to be used according to the characteristics of the input video signal or system settings, and performs color space conversion processing on the input video signal
  • the converted video signal 302 obtained as a result is sent to the encoding device 303.
  • information for identifying the color space conversion processing used at the same time is output to the encoding device 303 as color space conversion method identification information 304.
  • the encoding device 303 multiplexes the color space conversion method identification information 304 on the bit stream 305 compressed and encoded by the method shown in Embodiments 7 to 12 using the converted video signal 302 as the encoding target signal. Send to the transmission line or record to the recording media. Output to the recording device.
  • the prepared color space conversion method is, for example, a conversion from RGB to YUV used in the conventional standard.
  • the input to the color space conversion unit 301 is not necessarily limited to RGB, and the conversion process is not limited to the above three types.
  • the decoding apparatus includes an inverse color space conversion unit 308 in the subsequent stage in addition to the decoding apparatuses 306 according to the seventh to twelfth embodiments.
  • Decoding device 306 receives bit stream 305 as input, extracts color space conversion method identification information 304 from bit stream 305 and outputs it, and also outputs decoded image 307 obtained by the operation of the decoding device described in Embodiments 7 to 12. Output.
  • the inverse color space conversion unit 308 includes an inverse conversion process corresponding to each of the color space conversion methods that can be selected by the color space conversion unit 301, and color space conversion method identification information 304 output from the decoding device 306. Based on the above, the conversion executed by the color space conversion unit 301 is specified, the inverse conversion process is performed on the decoded image 307, and the image is returned to the color space of the input video signal for the coding apparatus of the thirteenth embodiment. Process.
  • the encoding apparatus and decoding apparatus as in the thirteenth embodiment, optimal color space conversion processing is performed on the video signal encoded in the preceding stage of encoding and the subsequent stage of decoding processing. Therefore, the correlation included in the image signal composed of the three color component forces is removed before the sign, It is possible to perform signing in a state where redundancy is reduced, and it is possible to increase compression efficiency.
  • the color space of the signal to be encoded is limited to one type of YUV.
  • the color space conversion unit 301 and the inverse color space conversion unit 308 are provided, and the color space conversion is performed.
  • the method identification information 304 By including the method identification information 304 in the bitstream 305, it is possible to remove restrictions on the color space of the input video signal, and to perform the optimal conversion from multiple types of means for removing the correlation between the color components. It is possible to sign by using.
  • FIG. 64 shows an encoding apparatus configured as described above
  • FIG. 65 shows a decoding apparatus.
  • 64 includes a transform unit 310 instead of the orthogonal transform unit 8 and an inverse transform unit 312 instead of the inverse orthogonal transform unit 13.
  • Inverter 312 is provided.
  • the conversion unit 310 applies a plurality of C0, Cl, and C2 component prediction difference signals 4 output from the sign key mode determination unit 5 as shown in the processing of the color space conversion unit 301.
  • Color space conversion is first executed by selecting an optimal conversion process from among the color space conversion processes. After that, the transformation corresponding to the orthogonal transformation unit 8 is performed on the result of the color space transformation.
  • the color space conversion method identification information 311 indicating which conversion is selected is sent to the variable length encoding unit 11, multiplexed into a bit stream, and output as a video stream 22.
  • the inverse conversion unit 312 first performs inverse conversion equivalent to the inverse orthogonal conversion unit 13 and then executes the inverse color space conversion process using the color space conversion process specified by the color space conversion method identification information 311. .
  • variable length decoding unit 25 extracts the color space conversion method identification information 311 from the bitstream, and sends the result to the inverse conversion unit 312 so that the inverse conversion unit in the encoding device described above The same processing as 312 is performed. With this configuration, it remains between the color components. If the correlation is sufficiently removed in the prediction difference region, it can be executed as part of the encoding process, which has the effect of increasing the efficiency of the code. However, when individual macroblock headers are used for the C0, Cl, and C2 components, the prediction method can change for each component, such as intra prediction for the CO component and inter prediction for the C1 component. Correlation in the region of the measurement difference signal 4 may be difficult to maintain.
  • the conversion unit 310 and the inverse conversion unit 312 may be operated so as not to perform color space conversion, and the prediction difference It may be configured to multiplex in the bit stream as identification information whether or not it is capable of performing color space conversion in the region of signal 4.
  • the color space conversion method identification information 311 may be switched in units of deviation of sequence, picture, slice, and macroblock.
  • the conversion coefficient data of the C0, Cl, and C2 components is the signal definition domain of the encoding target signal according to the color space conversion method identification information 311. The inn will be different. Therefore, it is generally considered that the distribution of the conversion coefficient data becomes a different occurrence probability distribution according to the color space conversion method identification information 311. Therefore, when configuring the coding device and the decoding device as shown in FIGS. 64 and 65, there is an individual occurrence probability state for each state of the color space conversion method identification information 311 for each component of C0, Cl, and C2. Encoding / decoding is performed using the associated context model.
  • arithmetic decoding is performed by defining a context model in the same procedure on both the decoding side and the decoding side.
  • the occurrence probability state associated with the context model is updated based on the state of the occurrence probability state parameter common identification flag 143. And execute.
  • FIG. 1, FIG. 2, FIG. 30, FIG. an input video signal consisting of three color components is input to the encoding device at once, and the three color components are shared in the device.
  • Encoding is performed while selecting whether to encode based on the prediction mode or macroblock header of each, or encoding based on the individual prediction mode or macroblock header, and the resulting bit stream is A bit stream that is input to the decoding device and indicates whether the three color components are encoded based on the prediction mode or macroblock header or the individual prediction mode or macroblock header.
  • the above flag has already stated that it may be encoded and decoded in units of arbitrary data layers such as macroblocks, slices, pictures, sequences, etc.
  • three color component signals are shared.
  • the macroblock header according to the fourteenth embodiment includes a transform block size identification flag as shown in Fig. 15, a code block such as a macroblock type ⁇ sub-macroblock type 'intra prediction mode as shown in Fig. 50 ⁇ a prediction mode It includes macroblock overhead information other than conversion coefficient data, such as information, motion prediction information such as reference image identification number / motion vector, transform coefficient valid / invalid instruction information, and quantization parameter for the transform coefficient.
  • the process of encoding the three color component signals of one frame with a common macroblock header is “common encoding processing”, and the three color component signals of one frame are encoded with individual independent macroblock headers.
  • the encoding process is referred to as “independent encoding process”.
  • the process of decoding the bitstream power frame image data in which the three color component signals of one frame are encoded by a common macroblock header is called “common decoding processing”, and the three color component signals of one frame
  • the process of decoding the frame image data with the bitstream power encoded by the individual independent macroblock header is referred to as “independent decoding process”.
  • common code processing in the fourteenth embodiment as shown in FIG.
  • an input video signal for one frame is divided into macroblocks in which three color components are combined.
  • the independent encoding process is shown in FIG. In this way, the input video signal for one frame is divided into three color components, and these are divided into macro blocks having a single color component.
  • the macroblock that is subject to the common code processing is a force-independent coding process that includes samples of the three color components C0, Cl, and C2. Any of these forces include only one component sample.
  • FIG. 68 is an explanatory diagram showing the temporal motion prediction reference relationship between pictures in the encoding device * decoding device according to the fourteenth embodiment.
  • the data unit indicated by the thick vertical bar is a picture
  • the relationship between the picture and the access unit is indicated by a surrounding dotted line.
  • one picture is data representing a video signal for one frame in which three color components are mixed.
  • one picture is one The video signal for one frame of the color component.
  • An access unit is the smallest data unit that gives a time stamp for the purpose of synchronizing audio and other information to the video signal.
  • one access unit has one picture. Minute data is included (427a in Figure 68).
  • three pictures are included in one access unit (427b in FIG. 68). This is because, in the case of independent encoding and decoding processing, a reproduced video signal for one frame is obtained starting with all the pictures of the same display time for all three color components. Note that the number given to the top of each picture indicates the temporal encoding / decoding order of the picture (frame_num of AVC). In FIG. 68, an arrow between pictures indicates a reference direction for motion prediction.
  • an IDR (instantaneous decoder refresh) picture is defined that performs intra coding and resets the contents of the reference image memory used for motion compensation prediction. Because IDR pictures can be decoded without depending on other pictures Used as a random access point.
  • the identification information indicating whether the encoding by the common encoding process or the encoding by the independent encoding process has been performed is referred to as the common encoding and the independent encoding identification signal in the fourteenth embodiment. Call.
  • FIG. 69 is an explanatory diagram showing an example of the structure of a bitstream that is generated by the encoding device according to the fourteenth embodiment and is the target of input ′ decoding processing by the decoding device according to the fourteenth embodiment. .
  • FIG. 69 shows the bit stream configuration from the sequence to the frame level.
  • the common encoding 'independent encoding identification signal 423 is multiplexed on the sequence level upper header (sequence parameter set in the case of AVC). Keep it.
  • Individual frames are encoded in units of access units.
  • AUD is an Access Unit Delimiter NAL unit that is a unique NAL unit for identifying breaks in access units in AVC.
  • the access unit includes coded data for one picture.
  • the picture at this time is assumed to be data representing a video signal for one frame in which three color components are mixed as described above.
  • the encoded data of the i-th access unit is configured as a set of slice data Slice (U). j is the index of slice data in one picture.
  • one picture is a video signal for one frame of any one color component.
  • the encoded data of the pth access unit is configured as a set of slice data Slice (p, q, r) of the qth picture in the access unit.
  • r is the index of slice data in one picture.
  • the number of values that q can take is three.
  • additional data such as transparency information for alpha blending is also available.
  • q takes Set the number of values to be obtained to be 4 or more. Since the encoding device and the decoding device according to the fourteenth embodiment select the independent encoding process, each color component constituting the video signal is encoded completely independently. Therefore, the encoding / decoding process is performed in principle. Changing The number of color components can be changed freely. In the future, even if the signal format for color representation of the video signal is changed, there is an effect that can be handled by the independent code processing in the fourteenth embodiment.
  • the common coding 'independent coding identification signal 423 is included in one access unit, and each does not perform motion prediction reference to each other. It is expressed in the form of “the number of independently encoded pictures”.
  • the decoding device decodes and refers to num_pictures_in_au, so that it can be distinguished in one access unit as much as possible by distinguishing between code data by common code process and code data by independent code process. It is possible to know how many single-color component pictures exist at the same time, and to support the expansion of color representation of future video signals, while seamlessly performing common encoding processing and independent encoding processing in the bitstream. It is possible to handle.
  • Fig. 70 is an explanatory diagram showing a bit stream configuration of slice data in each of the common encoding process and the independent code encoding process.
  • the slice data received by the decoding device can be identified as to which color component picture in the access unit the slice belongs to.
  • the color component identification flag (color_channel_idc) is assigned to the header area at the beginning of the slice data.
  • color_channel_idc groups slices with the same value. That is, between slices with different values of color.chann eljdc, any encoding'decoding dependency (e.g. motion estimation Reference, CABAC context modeling, occurrence probability learning, etc.).
  • frame_num encoding of picture to which a slice belongs'decoding processing order
  • multiplexed in each slice header is set to the same value in all color component pictures in one access unit.
  • FIG. 71 is an explanatory diagram showing a schematic configuration of the coding apparatus according to the fourteenth embodiment.
  • common code key processing is executed in the first picture code key unit 503a, and independent coding processing is performed in the second picture coding units 503bO, 503b 1, and 503b2 (for three color components). It is executed in preparation.
  • the input video signal 1 is supplied by the switch (SW) 501 to the first picture code section 503a, or one of the color component separation section 502 and the second picture code sections 503bO to 503b2.
  • the switch 501 is driven by the common encoding / independent encoding identification signal 423 and supplies the input video signal 1 to the designated path.
  • the key identification signal 423 needs to be multiplexed in the bit stream as information specifying it. Therefore, the common encoding / independent encoding identification signal 423 is input to the multiplexing unit 504.
  • the multiplexing unit of this common coding 'independent coding identification signal 423 can be any higher layer than a picture, such as a GOP (group' of 'picture) unit consisting of several picture groups in a sequence. Even a unit like this! /.
  • the first picture code section 503a divides the input video signal 1 into macroblocks in which three color component samples are combined as shown in FIG. Then, the sign key process is advanced in that unit.
  • the encoding process in the first picture code unit 503a will be described later.
  • Input video signal 1 when independent encoding processing is selected Is separated into data for one frame of C0, Cl, and C2 by the color component separation unit 502, and supplied to the corresponding second picture code unit 503b0 to 503b2.
  • the second picture coding units 503bO to 503b2 the signal for one frame separated for each color component is divided into macro blocks of the format shown in FIG. The encoding process in the second picture encoding unit will be described later.
  • the video signal for one picture having three color component powers is input to the first picture code part 503a, and the code data is output as a video stream 422a.
  • a video signal for one picture having a single color component power is input to the second picture code sections 503bO to 503b2, and the encoded data is output as video streams 422b0 to 422b2.
  • These video streams are multiplexed in the format of the video stream 422c by the multiplexing unit 504 based on the state of the common encoding / independent encoding identification signal 423, and output.
  • the multiplexing order and transmission order in the bit stream of the slice data are determined according to the picture (each color in the access unit).
  • the components can be interleaved (Fig. 72).
  • a color component identification flag multiplexed as shown in FIG. 70 is used in the header area at the beginning of the slice data.
  • the encoder apparatus can convert the pictures of the three color components into independent second picture encoding units 503bO to 503b2 as in the encoder apparatus of FIG.
  • the code data is immediately Can be sent out.
  • AVC one picture can be divided into multiple slice data and encoded, and the slice data length and the number of macroblocks included in the slice can be flexibly changed according to the code condition. Can do.
  • the encoding apparatus can reduce the transmission buffer size required for transmission, that is, the processing delay on the encoding apparatus side. This is shown in FIG. If multiplexing of slice data is not allowed for a picture, the encoding device buffers the code data of another picture until the code of the picture of a specific color component is completed. It is necessary to let This means that a delay at the picture level will occur. On the other hand, as shown in the lowermost part of FIG. 72, if interleaving is possible at the slice level, the picture code part of a specific color component can output the code data to the multiplexing part in units of slice data. And delay can be suppressed.
  • the slice data included in the picture may be transmitted in the raster scan order of the macroblock, or interleaved transmission is also possible within one picture. You can configure it.
  • FIG. 73 shows an internal configuration of the first picture code key unit 503a.
  • input video signal 1 is input in a 4: 4: 4 format and in units of macroblocks in which three color components in the format of FIG. 66 are combined.
  • the prediction unit 461 selects a reference image from the motion compensated prediction reference image data stored in the memory 16a, and the motion compensation prediction process is performed in units of the macroblock.
  • the memory 16a stores a plurality of reference image data composed of three color components over a plurality of times, and the prediction unit 461 selects an optimal reference image in units of these medium power macroblocks.
  • the arrangement of the reference image data in the memory 16a may be stored in a frame sequential manner for each color component, or a sample of each color component may be stored in a dot sequential manner.
  • Prediction unit 461 performs macroblocks for all or some of the block sizes and subblock sizes shown in Fig. 32, the motion vector of a predetermined search range, and one or more available reference images.
  • a motion compensation prediction process is executed, and a prediction difference signal 4 for each block serving as a motion compensation prediction unit is obtained from the motion vector information, the reference image identification number 463 used for prediction, and the subtractor 3.
  • the prediction difference signal 4 is evaluated for its prediction efficiency by the sign key mode determination unit 5, and from among the prediction processes executed by the prediction unit 461, a macroblock that can obtain the optimal prediction efficiency for the macroblock to be predicted is obtained.
  • Type Z sub-macroblock type 106 and motion vector information ⁇ Reference image identification number 463 is output.
  • Macroblock header information such as macroblock type, submacroblock type, reference image index, motion vector, etc. are all determined as common header information for the three color components, used for sign, bit Multiplexed into a stream.
  • evaluating the optimality of the prediction efficiency only the prediction error amount for a given color component (for example, the G component in RGB, the Y component in YU V, etc.) is evaluated for the purpose of suppressing the amount of computation. Alternatively, although the calculation amount is large, the prediction error amount for all the color components may be comprehensively evaluated in order to obtain optimum prediction performance.
  • a weighting factor 20 for each type determined by the judgment of the sign key control unit 19 may be added.
  • the prediction unit 461 also performs intra prediction.
  • the intra prediction mode information is output to the output signal 463.
  • the output signal 463 collectively refers to intra prediction mode information, motion vector information, and reference image identification number as prediction overhead information.
  • the prediction error amount for only a predetermined color component may be evaluated, or the prediction error amount for all color components may be comprehensively evaluated.
  • the coding mode determination unit 5 predicts whether the macroblock type is the intra prediction or the inter prediction. Select by evaluating measurement efficiency or coding efficiency.
  • the selected macroblock type Z sub-macroblock type 106 and the prediction difference signal 4 obtained by the intra prediction 'motion compensation prediction based on the prediction overhead information 463 are output to the conversion unit 310.
  • the conversion unit 310 converts the input prediction difference signal 4 and outputs it to the quantization unit 9 as a conversion coefficient.
  • the block size as a unit for conversion may be selected from 4x4 or 8x8 based on the displacement force!
  • the quantization unit 9 quantizes the input conversion coefficient based on the quantization parameter 21 determined by the code control unit 19, and outputs the quantized conversion coefficient 10 to the variable length code unit 11. .
  • the quantized transform coefficient 10 includes information for three color components, and is entropy-encoded by means such as a Huffman code or an arithmetic code in the variable length code section 11. Also, the quantized transform coefficient 10 is restored to the local decoded prediction difference signal 14 via the inverse quantization unit 12 and the inverse transform unit 312, and the selected macroblock type Z sub-macroblock type 106 and the prediction overhead information By adding the predicted image 7 generated based on 463 and the adder 18, a locally decoded image 15 is generated.
  • the locally decoded image 15 is stored in the memory 16a for use in subsequent motion compensation prediction processing after the block distortion removal processing is performed by the deblocking filter 462.
  • the variable length coding unit 11 also receives a deblocking filter control flag 24 indicating whether or not to apply a deblocking filter to the macroblock.
  • Quantized transform coefficient 10, macroblock type Z sub-macroblock type 106, prediction overhead information 463, quantization parameter 21 input to variable length coding unit 11 are bits according to a predetermined rule (syntax).
  • the data is arranged as a stream, and is output to the transmission buffer 17 as NAL-cut encoded data in which one or a plurality of macro blocks of the format shown in FIG.
  • the bit stream is smoothed in accordance with the bandwidth of the transmission path to which the encoding device is connected and the reading speed of the recording medium, and output as a video stream 422a.
  • all slice data in the sequence is CO, Cl, C2 mixed slices (that is, the common coding 'independent coding identification signal 423 (that is, Therefore, the color component identification flag is not multiplexed in the slice header.
  • FIG. 74 shows the inner structure of the second picture code key 503bO (503bl, 503b2).
  • the input video signal 1 is input in units of macroblocks that also have the sampling power of a single color component in the format of FIG.
  • the prediction unit 461 selects a reference image from the motion compensated prediction reference image data stored in the memory 16b, and performs motion compensation prediction processing in units of the macroblock.
  • the memory 16b can store a plurality of pieces of reference image data composed of a single color component over a plurality of times, and the prediction unit 461 selects an optimum reference image in units of macroblocks.
  • the memory 16b may be shared with the memory 16a in units of three color components.
  • the prediction unit 461 performs macroblocks for all or part of the block size / subblock size in FIG. 32, the motion vector of a predetermined search range, and one or more available reference images.
  • a motion compensation prediction process is executed, and a prediction difference signal 4 for each block serving as a motion compensation prediction unit is obtained from the motion vector information, the reference image identification number 463 used for prediction, and the subtractor 3.
  • the prediction difference signal 4 is evaluated for its prediction efficiency by the sign key mode determination unit 5, and from among the prediction processes executed by the prediction unit 461, a macroblock that can obtain the optimal prediction efficiency for the macroblock to be predicted is obtained.
  • Type Z sub macroblock type 1 06 and motion vector information ⁇ Reference image identification number 463 is output.
  • Macro block header information such as macro block type, sub macro block type, reference image index, and motion vector are all determined as header information for the single color component signal of input video signal 1 and used for encoding. Is multiplexed into the bitstream. In evaluating the optimality of the prediction efficiency, only the prediction error amount for the single color component to be encoded is evaluated. In selecting the final macroblock type Z sub-macroblock type 106, the weighting factor 20 for each type determined by the judgment of the sign key control unit 19 may be taken into account.
  • the prediction unit 461 also executes intra prediction.
  • the intra prediction mode information is output to the output signal 463.
  • the output signal 463 collectively refers to intra prediction mode information, motion vector information, and reference image identification number as prediction overhead information. Even with intra prediction, only the prediction error amount for a single color component to be encoded is evaluated. Finally, the macro block type is selected based on the prediction efficiency or coding efficiency to determine whether it is intra prediction or inter prediction.
  • the selected macroblock type Z sub-macroblock type 106 and the prediction difference signal 4 obtained from the prediction overhead information 463 are output to the conversion unit 310.
  • the conversion unit 310 converts the input prediction difference signal 4 for a single color component, and outputs it to the quantization unit 9 as a conversion coefficient.
  • the block size as a unit for conversion may be selected from 4x4 force or 8x8.
  • the block size selected at the time of encoding is reflected in the value of the transform block size designation flag 464, and the flag is multiplexed into a bitstream.
  • the quantization unit 9 quantizes the input transform coefficient based on the quantization parameter 21 determined by the sign key control unit 19, and the quantized transform coefficient 10 is variable length coding unit 11.
  • the quantized transform coefficient 10 includes information for a single color component, and is encoded by the entangle py code by means such as a Huffman code or an arithmetic code in the variable length code section 11.
  • the quantized transform coefficient 10 is restored to the local decoded prediction differential signal 14 via the inverse quantization unit 12 and the inverse transform unit 31 2, and the selected macroblock type Z sub-macroblock type 106 and the prediction overhead information 463 Forecast generated based on
  • a locally decoded image 15 is generated.
  • the local decoded image 15 is stored in the memory 16b for use in the subsequent motion compensation prediction process after the block distortion removal process is performed by the deblocking filter 462.
  • the variable length coding unit 11 also receives a deblocking filter control flag 24 indicating whether or not to apply a deblocking filter to the macroblock.
  • Quantized transform coefficient 10 input to variable length coding unit 11, macroblock type Z sub-macroblock type 106, prediction overhead information 463, quantization parameter 21 are bits according to a predetermined rule (syntax).
  • the data is arranged as a stream, and is output to the transmission buffer 17 as encoded data that is NAL-cut in units of slice data in which one or a plurality of macroblocks in the format of FIG.
  • the transmission buffer 17 smoothes the bit stream in accordance with the bandwidth of the transmission path to which the encoding device is connected and the reading speed of the recording medium, and outputs it as a video stream 422b0 (422bl, 422b2).
  • a feed knock is applied to the encoding control unit 19 in accordance with the bit stream accumulation state in the transmission buffer 17 to control the amount of generated code in the code frame of subsequent video frames.
  • the output of the second picture encoding units 503bO to 503b2 is a slice that has only the power of single color component data, and it is necessary to control the code amount in units in which access units are combined.
  • the multiplexing unit 504 a common transmission buffer in a unit in which slices of all color components are multiplexed is provided, and the encoding control unit 19 for each color component is fed back based on the occupied amount of the same buffer. You may comprise. Also, at this time, only the amount of generated information of all color components may be used to perform the encoding control, and the encoding control may be performed in consideration of the state of the transmission buffer 17 of each color component. Again! ⁇ .
  • the transmission buffer 17 is omitted by realizing the function equivalent to the transmission buffer 17 with the common transmission buffer in the multiplexing unit 504. It can also be taken.
  • each of the second picture code key units 503bO to 503b2 can transmit the data from one transmission buffer 17 when one slice of data is accumulated without accumulating the output from the transmission buffer 17 for one picture.
  • the common coding 'independently code I ⁇ another signal (num_pi C tur es _in_ a u ) distinguishes code I spoon data by independent code I spoon processing the code I spoon data by the common code I spoon treatment Information (common coding identification information) and information (number of color components) indicating how many single color component pictures exist in one access unit can be expressed simultaneously. It may be coded as independent information.
  • the first picture code part 503a and the second picture code parts 503bO to 503b2 handle the macroblock header information as information common to the three components, or information on a single color component. The only difference is whether the bit stream structure of slice data is handled. Many of the basic processing blocks such as the prediction unit, transform unit, inverse transform unit, quantization unit, inverse quantization unit, and deblocking filter in Fig. 73 and Fig. 74 are processed together with the information of the three color components.
  • the first picture coding unit 5003a and the second picture coding unit 503bO to 503b2 can be realized by a common functional block only by the difference of handling only information of a single color component. it can.
  • the encoding apparatus uses a virtual stream buffer (encoded picture buffer) that buffers the video stream 422c according to the arrangement shown in Figs. ) And a virtual frame memory (decoded picture buffer) for buffering the decoded images 427a and 427b, it is assumed that there is an underflow or a failure of the decoded picture buffer.
  • Video stream 422c is generated so that there is no such thing. This control is mainly performed by the sign key control unit 19.
  • the decoding apparatus when the video stream 422c is decoded in accordance with the operation of the coded picture buffer and the decoded picture buffer (virtual buffer model), the decoding apparatus is not broken. Guarantee that it will not occur.
  • the virtual buffer model is specified below.
  • the operation of the coded picture buffer is performed in units of access units.
  • one access unit when performing common decoding processing, one access unit includes code data for one picture, and when performing independent decoding processing, one access unit includes as many pictures as the number of color components (3 It contains 3 pictures of encoded data.
  • the behavior specified for the sign-picture-noffer is that the time when the first and last bits of the access unit are input to the sign-picture picture and the bits of the access unit are also read. It's time. It should be noted that the reading of the sign key picture buffer power is performed instantaneously, and all bits of the access unit are read from the sign key picture buffer at the same time.
  • the decoding process is performed in the first picture decoding unit or the second picture decoding unit, It is output as a color video frame bundled in units of access units.
  • the process from reading the bit of the code buffer power to outputting it as a color video frame in units of access units is performed instantaneously in accordance with the virtual buffer model.
  • Color video frames configured in units of access units are input to the decoded picture buffer, and the output time of the decoded picture buffer is calculated.
  • the output time of the decoded picture buffer is a value obtained by adding a predetermined delay time to the read time of the encoded picture buffer.
  • This delay time can be multiplexed with the bit stream to control the decoding apparatus.
  • the delay time is 0, that is, when the output time from the decoded picture buffer is equal to the read time from the coded picture buffer, a color video frame is input to the decoded picture buffer and output from the decoded picture buffer at the same time. Is done. In other cases, that is, when the output time from the decoded picture buffer is later than the read time of the code-picture buffer, the color video frame is stored in the decoded picture buffer until the output time from the decoded picture buffer is reached. .
  • the operation from the decoding picture buffer is defined for each access unit.
  • FIG. 75 is an explanatory diagram showing a schematic configuration of the decoding apparatus according to the fourteenth embodiment.
  • the common decoding process is executed in the first picture decoding unit 603a, and the independent decoding process is performed. Is executed by the color component determination unit 602 and the second picture decoding units 603b0, 603b1, and 603b2 (preparing three color components).
  • the video stream 422c is divided into NAL units by the upper header analysis unit 610, and the upper header information such as the sequence parameter set and the picture parameter set is decoded as it is, and the first picture decoding unit in the decoding apparatus.
  • the data is stored in a predetermined memory area that can be referred to by 603a, the color component determination unit 602, and the second picture decoding units 603b0 to 603b2.
  • the common encoding 'independent code identification signal 423 (num_pictures_in_au) multiplexed in sequence units is held as a part of the higher-order header information'.
  • the color component determination unit 602 Based on the value of the color component identification flag shown in FIG. 70, the color component determination unit 602 identifies which color component picture in the current access unit corresponds to the slice NAL unit, Distribution is supplied to the second picture decoding units 603b0 to 603b2. With such a decoding apparatus configuration, even if a bitstream in which slices are interleaved in the access unit and received as shown in FIG. 72 is received, it is easy to determine which slice belongs to which color component picture. This has the effect of discriminating and correctly decoding.
  • FIG. 76 shows the internal configuration of the first picture decoding unit 603a.
  • the first picture decoding unit 603a divides the video stream 442c output from the encoding device in FIG. 71 according to the arrangement in FIG. 69 and FIG. 70 into NAL units by the upper header analysis unit 610, and then C0, Cl and C2 mixed slices are received in units of slices, and decoding processing is performed in units of macroblocks consisting of the three color component samples shown in Fig. 66 to restore output video frames.
  • the variable length decoding unit 25 receives the video stream 442c divided into NAL units as input, The video stream 442c is decoded according to a predetermined rule (syntax), and the quantized transform coefficient 10 for the three components and the macro block header information used in common for the three components (macro block type / sub macro block type) 106, prediction overhead information 463, transform block size designation flag 464, and quantization parameter 21) are extracted.
  • the quantized transform coefficient 10 is input together with the quantization parameter 21 to the inverse quantization unit 12 that performs the same process as the first picture code unit 503a, and the inverse quantization process is performed.
  • the output is input to the inverse transform unit 312 that performs the same processing as the first picture code key unit 503a, and is restored to the local decoded prediction difference signal 14 (the transform block size designation flag 464 is included in the video stream 422c). If it exists, it is referred to in the process of inverse quantization and inverse transform).
  • the prediction unit 461 includes only the process of generating the predicted image 7 with reference to the prediction overhead information 463 out of the prediction units 461 in the first picture code encoding unit 503a.
  • a macroblock type / sub-macroblock type 106 and prediction overhead information 463 are input to 461, and a predicted image 7 for three components is obtained.
  • the prediction image 7 for three components is obtained from the prediction overhead information 463 according to the intra prediction mode information, and when indicating that it is macroblock type force inter prediction, the prediction overhead is indicated. From information 463, a predicted image 7 for three components is obtained according to the motion vector and the reference image index. The local decoded prediction difference signal 14 and the predicted image 7 are added by an adder 18 to obtain a provisional decoded image (local decoded image) 15 for three components. Since the provisional decoded image 15 is used for motion compensation prediction of the subsequent macroblock, the deblocking filter 462 that performs the same processing as the first picture code part 503a is applied to the provisional decoded image sample for three components.
  • the decoded image 427a is output and stored in the memory 16a.
  • the deblocking filter process is applied to the temporary decoded image 15 based on the instruction of the deblocking filter control flag 24 decoded by the variable length decoding unit 25.
  • the memory 16a stores a plurality of pieces of reference image data composed of three color components over a plurality of times, and the prediction unit 461 extracts a reference image obtained by extracting the bitstream force in units of macroblocks from these. A reference image indicated by the index is selected to generate a predicted image.
  • the arrangement of the reference image data in the memory 16a may be stored in a frame sequential manner for each color component, or each color component sample is dot-sequentially stored. May be stored.
  • the decoded image 427a includes three color components and becomes a color video frame constituting the access unit 427a0 in the common decoding process as it is.
  • FIG. 77 shows an internal configuration of second picture decoding sections 603b0 to 603b2.
  • the second picture decoding units 603b0 to 603b2 are divided into units of NAL units by the high-order header analysis unit 610 in the video stream 442c force according to the arrangement of FIGS. 69 and 70 output from the encoding device of FIG.
  • the CO or C1 or C2 slice NAL units distributed by the unit 602 are received in units of NAL units, and are decoded in units of macroblocks composed of single color component samples shown in FIG. 67 to restore output video frames.
  • the variable length decoding unit 25 receives the video stream 422c, decodes the video stream 422c according to a predetermined rule (syntax), and converts it to a quantized transform coefficient 10 of a single color component and a single color component. Extract applicable macroblock header information (macroblock type Z sub-macroblock type 106, prediction overhead information 463, transform block size designation flag 464, quantization parameter 21). The quantized transform coefficient 10 is input together with the quantization parameter 21 to the inverse quantization unit 12 that performs the same processing as the second picture code encoding unit 503b0 (503bl, 503b2), and the inverse quantization process is performed.
  • a predetermined rule syntax
  • the output is input to the inverse transform unit 312 that performs the same processing as the second picture code unit 503b0 (503bl, 503b2), and is restored to the local decoded prediction difference signal 14 (the transform block size designation flag 464 is If it exists in the video stream 422c, it is referred to in the process of inverse quantization and inverse orthogonal transform).
  • the prediction unit 461 includes only the process of generating the predicted image 7 with reference to the prediction overhead information 463 among the prediction units 461 in the second picture code key units 503b0 (503bl, 503b2), A macroblock type Z sub-macroblock type 106 and prediction overhead information 463 are input to the prediction unit 461, and a prediction image 7 having a single color component is obtained.
  • the prediction image 7 of a single color component is obtained from the prediction overhead information 463 according to the intra prediction mode information, and when indicating that it is macro block type cauter prediction
  • a prediction image 7 having a single color component is obtained from the prediction overhead information 463 according to the motion beta and the reference image index.
  • the difference signal 14 and the predicted image 7 are added by an adder 18, and a single color component macroblock is added.
  • Provisional decoded image 15 is obtained. Since the provisional decoded image 15 is used for subsequent motion compensation prediction of the macroblock, the deblocking filter 26 that performs the same processing as the second picture encoding unit 503bO (503bl, 503b2) converts the provisional decoded image sample into a single color component provisional decoded image sample. After block distortion removal processing is performed on the image, it is output as a decoded image 427b and stored in the memory 16b.
  • the deblocking filter process is applied to the provisional decoded image 15 based on the instruction of the deblocking filter control flag 24 decoded by the variable length decoding unit 25.
  • the decoded image 427b includes only a sample of a single color component, and the decoded image 427b that is the output of each of the second picture decoding units 603b0 to 603b2 to be processed in parallel in FIG. 75 is used as the unit of the access unit 427b0. By bundling, it is configured as a color video frame.
  • the first picture decoding unit 603a and the second picture decoding unit 6 03b0 to 603b2 handle macroblock header information as information common to three components, or a single
  • Many of the basic decoding processing blocks such as motion compensation prediction processing, inverse transform, and inverse quantization in Fig. 73 and Fig. 74 differ only in the difference in whether it is handled as color component information and the bit stream configuration of slice data.
  • the configuration of the memory 16a and the memory 16b is changed to the first picture decoding unit 603a and the second picture decoding units 603b0 to 603b2. And can be shared.
  • the decoding apparatus of FIG. 75 always fixes the common encoding 'independent code identification signal 423 to “independent code encoding process” as another form of the encoding apparatus of FIG.
  • the switch 601 and the first coding are used as another form of the decoding apparatus of FIG. 75.
  • the switch 601 and the first coding are used as a decoding device that only performs independent decoding without the picture decoding unit 603a Make up.
  • the common encoding and independent code I ⁇ another signal (num_pi C tur es _in_ a u )
  • the code I spoon distinguishing data information by independent code I spoon processing the code I spoon data by the common encoding processing (Common encoding identification information) and information (number of color components) indicating how many single color component pictures exist in one access unit, but the above two pieces of information are independent information It's a sign.
  • the first picture decoding unit 603a is provided with a decoding function of an AVC high profile compliant bitstream that is encoded together for the conventional YUV4: 2: 0 format.
  • the header analysis unit 610 refers to the profile identifier decoded from the video stream 422c to determine in which format the bit stream is encoded, and the determination result is the common encoding 'independent encoding identification signal 423. If it is configured to transmit to the switch 601 and the first picture decoding unit 603a as part of the signal line information, a decoding device that ensures compatibility with the conventional YUV4: 2: 0 format bit stream is configured. You can
  • the prediction error signal may be configured to be subjected to color space conversion processing as described in the thirteenth embodiment.
  • FIG. 78 shows an example in which the color space conversion process is performed at the pixel level before the conversion process.
  • the color space conversion unit 465 is set before the conversion unit 310, and the reverse color space conversion unit 466 is set at the reverse conversion unit 312.
  • FIG. 79 shows an example in which the color space conversion process is performed while appropriately selecting the frequency component to be processed for the coefficient data obtained after the conversion process.
  • the color space conversion unit 465 is converted into the conversion unit 310.
  • the inverse color space conversion unit 466 is arranged before the inverse conversion unit 312.
  • a plurality of conversion methods as described in Embodiment 13 may be used by switching in units of macroblocks according to the property of the image signal to be encoded. You may comprise so that the presence or absence of conversion may be determined by the unit of a macroblock.
  • the type of conversion method that can be selected can be specified at the sequence level, and it can be configured to specify which one of them is selected in units of pictures, slices, and macroblocks. Further, it may be configured to select whether to perform before or after orthogonal transformation.
  • the code key mode determination unit 5 evaluates the code key efficiency for all selectable options and selects the one with the highest code key efficiency. Can be configured.
  • signaling information 467 for determining selection at the time of encoding on the decoding side is multiplexed into the bit stream.
  • Such signaling may be specified at a different level than macroblocks, such as slices, pictures, GOPs, and sequences.
  • FIG. 80 is a decoding device that decodes a bitstream that has been encoded by color space conversion before the conversion processing by the encoding device of FIG.
  • the variable length decoding unit 25 is information indicating whether or not to perform conversion in the inverse color space conversion unit 466 from the bit stream, and information for selecting a conversion method executable in the inverse color space conversion unit 466.
  • the signal information 467 is decoded and supplied to the inverse color space conversion unit 466.
  • the inverse color space conversion unit 466 performs color space conversion processing on the prediction error signal after inverse conversion based on these pieces of information.
  • variable-length decoding unit uses the bit stream to determine whether or not to perform the conversion in the inverse color space conversion unit 466, information for selecting the conversion method to be executed in the inverse color space conversion unit, Signaling information 467, which is identification information including information specifying a frequency component to be subjected to color space conversion, is decoded and supplied to the inverse color space conversion unit 466.
  • the decoding device in FIG. 81 uses inverse color space conversion. In section 466, color space conversion processing is performed on the conversion coefficient data after inverse quantization based on such information.
  • the decoding devices in Fig. 80 and Fig. 81 have the AVC encoded by the first picture decoding unit 603a in which the three components are encoded for the conventional YUV4: 2: 0 format. It has a bitstream decoding function compliant with the noise profile, and an upper header analysis unit
  • the profile identifier to be decoded from the video stream 422c is referred to, it is determined whether it is a bit stream encoded in a different format, and the determination result is determined as the signal line information of the common code ⁇ 'independent code ⁇ identification signal 423. If it is configured to transmit to the switch 601 and the first picture decoding unit 603a as part of the above, it is possible to configure a decoding apparatus that ensures compatibility with a conventional YUV4: 2: 0 format bitstream.
  • Fig. 82 shows the structure of the encoded data of the macroblock header information included in the conventional YUV4: 2: 0 format bit stream.
  • the only difference from the Cn component header information shown in FIG. 50 is that the encoded data of the intra color difference prediction mode 144 is included in the macroblock type power S intra prediction.
  • the structure of the code key data of the macroblock header information is the same as the Cn component header information shown in FIG. 50, but the reference image included in the macroblock header information is Using the identification number and the motion vector information, a motion vector of the color difference component is generated in a method different from the luminance component.
  • variable length decoding unit 25 of the first picture decoding unit equipped with the conventional YUV4: 2: 0 format bitstream decoding function will be described.
  • the color difference format instruction flag is decoded.
  • the color difference format indication flag is included in the sequence parameter header of the video stream 422c, and the input video format is 4: 4: 4 force, 4: 2: 2 force, 4: 2: 0 force, 4: 0: 0 force. !, A flag indicating the format of either.
  • Decoding process of macroblock header information of video stream 422c is color Switching is performed according to the value of the difference format instruction flag.
  • the intra color difference prediction mode 144 is also decoded by the bitstream monitor.
  • the color difference format indication flag power indicates 4: 4
  • decoding of the intra color difference prediction mode 144 is skipped.
  • the input video signal is a format composed only of luminance signals (4: 0: 0 format), so decoding of the intra color difference prediction mode 144 is skipped.
  • the decoding process of macro block header information other than intra color difference prediction mode 144 is the same as the variable length decoding unit of the first picture decoding unit 603a that does not have the conventional YUV4: 2: 0 format bitstream decoding function.
  • the prediction unit 461 receives a color difference instruction format instruction flag (not shown) and prediction overhead information 463 to obtain a predicted image 7 for three components.
  • FIG. 83 shows the internal configuration of the prediction unit 461 of the first picture decoding unit that ensures compatibility with the conventional YUV4: 2: 0 format bitstream, and its operation will be described.
  • the switching unit 461 la determines the macroblock type, and when the macroblock type indicates intra prediction, the switching unit 461 lb determines the value of the color difference format instruction flag. If the value of the color difference format indication flag is 4: 2: 0 or 4: 2: 2 !, it indicates a deviation from the prediction overhead information 463 according to the intra prediction mode information and the intra color difference prediction mode information. Get a predicted image of 7 minutes.
  • the luminance signal prediction image is generated by the luminance signal intra prediction unit 4612 according to the intra prediction mode information.
  • the color difference signal two-component prediction image is generated by the color difference signal intra prediction unit 4613 that performs processing different from the luminance component in accordance with the intra color difference prediction mode information.
  • the luminance signal intra prediction unit 4612 When the value of the color difference format instruction flag indicates 4: 4: 4, the luminance signal intra prediction unit 4612 generates the information according to the prediction image power intra prediction mode information of all three components. If the value of the color difference format indication flag indicates 4: 0: 0, the 4: 0: 0 format is the luminance signal (1 component). Therefore, only the predicted image of the luminance signal is generated by the luminance signal intra prediction unit 4612 according to the power S intra prediction mode information.
  • the switching unit 4611c determines the value of the color difference format instruction flag. If the value of the color difference format instruction flag indicates 4: 2: 0 or 4: 2: 2 !, it indicates a deviation, the luminance signal inter prediction unit 4614 predicts the overhead information. From the motion vector and the reference image index, a predicted image is generated according to the predicted image generation method of the luminance signal defined by the AVC standard. For the color difference signal two-component prediction image, the color difference signal inter prediction unit 4615 generates a color difference motion vector by scaling the motion vector obtained from the prediction overhead information 463 based on the color difference format, and performs the prediction overhead.
  • a predicted image is generated from the reference image indicated by the reference image index obtained from the reference information 463 according to the method defined by the AVC standard.
  • the 4: 0: 0 format is composed only of luminance signals (one component), so only the predicted image of the luminance signal is a motion vector, It is generated by the luminance signal inter prediction unit 4614 according to the reference image index.
  • a conventional YUV4: 2: 0 format color difference signal prediction image generation unit is provided, and bitstream power is predicted according to the value of the decoded color difference format instruction flag. Since the means used to generate the image are switched, it is possible to configure a decoding device that ensures compatibility with the conventional YUV4: 2: 0 format bitstream.
  • the video stream 422c supplied to the decoding device in FIGS. 80 and 81 does not support color space conversion processing as in the decoding device in FIG. 75, and is a bit stream that can also be decoded by the decoding device. If information indicating whether or not is given in units such as a sequence parameter set, any of the decoding devices in FIG. 80, FIG. 81 and FIG. 75 can decode the bit stream according to the decoding performance of each bit stream. This has the effect of ensuring compatibility.
  • the encoding device in the fifteenth embodiment multiplexes encoding data with the bit stream configuration shown in FIG.
  • the AUD NAL unit includes information called primary_pic_type as its element. This shows the picture code type information when picture data in an access unit starting with an AUD NAL unit is encoded.
  • Embodiment 15 of the present invention when performing independent coding of each color component picture, the remaining two color component pictures are added in the AUD NAL queue of FIG. 69 according to the value of num_pictures_in_au.
  • the power to insert primary_pic_type as shown in the bitstream configuration in Fig. 84, the encoded data of each color component picture is configured to start from the NAL unit (Color Channel Delimiter) indicating the start of the color component picture.
  • the CCD NAL unit is configured to include primary_pi C _type information of the corresponding picture.
  • the color component identification flag (color_channel_idc) described in the above embodiment 14 is included in the CCD NAL unit, not in the slice header. To do so. As a result, the information of the color component identification flag that has been required to be multiplexed to each slice can be aggregated into data in units of pictures, so that the overhead information can be reduced.
  • the CCD NAL unit configured as a byte sequence is detected and the color_channel_idc is verified only once per color component picture, the head of the color component picture can be found quickly without performing variable length decoding. On the decoding device side, each color component is restored. It is not necessary to verify the color_channel_idc in the slice header one by one in order to separate the NAL units that are subject to issue, and the data can be supplied smoothly to the second picture decoding unit.
  • the effect of reducing the coding size and processing delay of the coding apparatus as described in FIG. 72 of Embodiment 14 is reduced, so that the color component identification flag is sliced. It may be configured to signal at a higher level (sequence or GOP) whether to multiplex in units or color component picture units.
  • the encoding device can be flexibly implemented according to its usage.
  • multiplexing of code data may be performed with the bit stream configuration shown in FIG. In FIG. 86, color_channel_idc and primary_pic_type included in the CCD NAL unit in FIG. 84 are included in each AUD.
  • the bit stream configuration in the fifteenth embodiment is configured such that one (color component) picture is included in one access unit even in the case of independent encoding processing. Even with such a configuration, the overhead information can be reduced by collecting the information of the color component identification flag into data in units of pictures, and the AUD NAL unit configured as a byte string is detected and the color_channel dc is only set once per picture.
  • the bit stream configuration in FIG. 86 can also be configured so that sequence numbers (coding in the time direction, decoding order, etc.) of each picture are added to the AUD.
  • the decoding device can verify the decoding order of each picture (display order, color component attributes, IDR, etc.) without decoding any slice data, and perform bitstream level editing and special playback. It becomes possible to carry out efficiently.
  • the conversion process and the inverse conversion process may be conversions that guarantee direct orthogonality such as DCT, or strictly like DCT. Quantization without orthogonal transformation / transformation that approximates orthogonality in combination with inverse quantization processing. Further, it may be configured such that the prediction error signal is encoded as pixel level information without performing conversion.
  • the present invention can be applied to a digital image signal encoding apparatus and a digital image signal decoding apparatus used for an image compression encoding technique, a compressed image data transmission technique, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　予測画像生成方法を示す複数の予測モードに対応して予測画像を生成する予測画像生成部と、該予測画像生成部から出力される予測画像の予測効率を評価して所定の予測モードを判定する予測モード判定部と、該予測モード判定部の出力を可変長符号化する符号化部とを備え、該予測モード判定部は、所定の制御信号に基づいて、前記入力画像信号を構成する各色成分に対して共通の予測モードを使用するか、各色成分ごとに個別の予測モードを使用するかを判断し、該制御信号の情報をビットストリームに多重化するとともに、共通の予測モードを使用する場合は共通の予測モード情報をビットストリームに多重化し、共通の予測モードを使用しない場合は各色成分ごとの予測モード情報をビットストリームに多重化する。

Description

画像符号化装置、画像復号装置、および画像符号化方法、画像復号方 法、画像符号化プログラム、画像復号プログラム、ならびに画像符号ィ匕プログラム を記録したコンピュータ読み取り可能な記録媒体、画像復号プログラムを記録し たコンピュータ読み取り可能な記録媒体
技術分野
[0001] 本発明は、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられるデジ タル画像信号符号化装置、デジタル画像信号復号装置、デジタル画像信号符号ィ匕 方法、およびデジタル画像信号復号方法に関する。
背景技術
[0002] 従来、 MPEGや ITU-T H.26xなどの国際標準映像符号ィ匕方式では、主として 4 : 2 :
0フォーマットと呼ばれる標準化された入力信号フォーマットの使用を前提としてきた 。 4 : 2 : 0とは、 RGBなどのカラー動画像信号を輝度成分 (Y)と 2つの色差成分 (Cb、 Cr )に変換し、水平 ·垂直ともに色差成分のサンプル数を輝度成分の半分に削減したフ ォーマットである。色差成分は輝度成分に比べて視認性が落ちることから、従来の国 際標準映像符号ィ匕方式では、このように符号ィ匕を行う前に色差成分のダウンサンプ ルを行うことで符号ィ匕対象の原情報量を削減しておくことを前提としていた。一方、近 年のビデオディスプレイの高解像度化、高階調化に伴い、色差成分をダウンサンプ ルすることなく輝度成分と同一サンプルで符号ィ匕する方式についても検討が行われ て 、る。輝度成分と色差成分とがまったく同一のサンプル数のフォーマットは 4 :4 :4 フォーマットと呼ばれる。 MPEG- 4 AVC(ISO/IEC 14496- 10)/ITU-T H.264規格 (以 下、 AVC)では、 4 :4 :4フォーマットを入力とする符号化方式として「ノ、ィ 4 :4 :4プロフ アイル」が策定されている。図 10に示すように、従来の 4 : 2 : 0フォーマットが色差成分 のダウンサンプルを前提としたために Y、 Cb、 Crという色空間定義にのみ限定された のに対し、 4 :4 :4フォーマットでは色成分間にサンプル比の区別がないため、 Y、 Cb 、 Crのほか、 R,G,Bを直接使用したり、その他複数の色空間定義を利用することが可 能である。 4 : 2 : 0フォーマットを用いた映像符号ィ匕方式では、その色空間は Y、 Cb、 Crに決まっていたため符号ィ匕処理中に色空間の種別を考慮する必要はな力つたが 、上記の AVCハイ 4： 4： 4プロファイルにお!/、ては色空間定義が符号化処理そのもの に影響を与える方式になっている。一方で、現在のハイ 4 :4 :4プロファイルは、 Y、 Cb 、 Cr空間で定義された 4： 2： 0フォーマットを符号ィ匕対象とするその他のプロファイル との互換性を考慮するため、 4： 4： 4フォーマットの圧縮効率を最適とする設計になつ ているとはいえない。
[0003] 非特許文献 1： MPEG- 4 AVC(ISO/IEC 14496- 10)/ITU-T H.264規格
発明の開示
発明が解決しょうとする課題
[0004] たとえば、 AVCの 4： 2： 0フォーマットを符号化対象とするハイ 4： 2： 0プロファイルで は、輝度成分 16x16画素力もなるマクロブロック領域において、対応する色差成分 は Cb、 Crとも各 8x8画素ブロックとなる。ハイ 4 : 2 : 0プロファイルにおけるイントラマク ロブロック符号ィ匕には、同一ピクチャ中の周辺サンプル値を用いた空間予測 (イントラ 予測)が採用されており、輝度成分と色差成分は別々のイントラ予測モードを使用す ることになつている。輝度成分は図 3の 9種類の中からもっとも予測効率の高いものを 、色差成分は Cb、 Cr共通で図 9に示す 4種類の中からもっとも予測効率が高いものを イントラ予測モードとして選択する (Cbと Crは別々の予測モードを使用することはでき ない)。また、ハイ 4 : 2 : 0プロファイルにおける動き補償予測では、輝度成分に対して のみ動き補償予測の単位となるブロックサイズ情報と予測に用いる参照画像情報、 各ブロックごとの動きベクトル情報を多重化し、色差成分は輝度成分と同じ情報を用 いて動き補償予測を行うことになつている。このような方式は、 4 : 2 : 0フォーマットが画 像の構造 (テクスチャ)の表現に大きく寄与する輝度成分に比べ色差成分の寄与が小 さいという色空間定義の前提のもとでなりたつものである。しかしながら、現在のハイ 4 :4 :4プロファイルは、マクロブロックあたりの色差信号のブロックサイズが 16x16画素 に拡張された状態にぉ 、ても、 4： 2： 0フォーマットの色差用イントラ予測モードを単 純に拡張した方式となっているのみであり、また、 4 : 2 : 0フォーマットのときと同様、 1 成分を輝度成分とみなし、 1成分の情報のみしか多重化せずに 3成分に共通のインタ 一予測モード、参照画像情報および動きべ外ル情報で動き補償予測が行われるこ とになっており、画像信号の構造表現に際して各色成分が同等に寄与する 4： 4： 4フ ォーマットでは必ずしも最適な予測方法とは 、えな 、。
[0005] そこで、本発明は、上記従来技術に述べたように、 4 :4 :4フォーマットのような色成 分間にサンプル比の区別のな 、動画像信号を符号化するにあたり、最適性を高めた 符号化装置、復号装置、符号化方法、復号方法、およびこれらを実行するプログラム とこれらのプログラムを記録した記録媒体を提供することを目的とする。
課題を解決するための手段
[0006] 本発明に力かわる画像符号ィ匕装置は、予測画像生成方法を示す複数の予測モー ドに対応して予測画像を生成する予測画像生成部と、該予測画像生成部力 出力さ れる予測画像の予測効率を評価して所定の予測モードを判定する予測モード判定 部と、該予測モード判定部の出力を可変長符号ィ匕する符号ィ匕部とを備え、該予測モ ード判定部は、所定の制御信号に基づいて、前記入力画像信号を構成する各色成 分に対して共通の予測モードを使用するか、各色成分ごとに個別の予測モードを使 用するかを判断し、該制御信号の情報をビットストリームに多重化するとともに、共通 の予測モードを使用する場合は共通の予測モード情報をビットストリームに多重化し 、共通の予測モードを使用しない場合は各色成分ごとの予測モード情報をビットストリ ームに多重化するものである。
発明の効果
[0007] 本発明の画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、お よびこれらを実行するプログラムとこれらのプログラムを記録した記録媒体によれば、 Y、 Cb、 Crなどの固定された色空間に限定せず多様な色空間を利用する符号化を行 う場合において、各色成分で用いるイントラ予測モード情報やインター予測モード情 報を柔軟に選択できるように構成することができ、色空間の定義が種々に及ぶ場合 にも最適な符号ィ匕処理を行うことができる。
図面の簡単な説明
[0008] [図 1]実施の形態 1における映像符号ィ匕装置の構成を示す説明図
[図 2]実施の形態 1における映像復号装置の構成を示す説明図
[図 3]図 1の空間予測部 2で評価されるイントラ 4x4予測モードの予測画像生成方法 を説明する説明図
[図 4]図 1の空間予測部 2で評価されるイントラ 16x16予測モードの予測画像生成方 法を説明する説明図
圆 5]図 1の映像符号ィ匕装置において行われるイントラ予測モード判定処理の手順を 説明するフローチャート
圆 6]実施の形態 1における映像符号ィ匕装置力も出力されるビデオビットストリームの データ配列を示す説明図
圆 7]図 2の映像復号装置において行われるイントラ予測復号処理の手順を説明する フローチャート
圆 8]実施の形態 1における映像符号ィ匕装置力も出力されるビデオビットストリームの 別のデータ配列の形態を示す説明図
圆 9]AVC規格における色差成分対応イントラ予測モードの予測画像生成方法を説 明する説明図
圆 10]従来と現在のマクロブロックを説明する説明図
圆 11]実施の形態 2における映像符号ィ匕装置の構成を示す説明図
圆 12]実施の形態 2における映像復号装置の構成を示す説明図
[図 13]図 11の空間予測部 2で評価されるイントラ 8x8予測モードの予測画像生成方 法を説明する説明図
圆 14]図 11の映像符号ィ匕装置において行われるイントラ符号ィ匕モード判定処理の 手順を説明するフローチャート
[図 15]実施の形態 2における映像符号ィ匕装置から出力されるビデオビットストリームの データ配列を示す説明図
[図 16]実施の形態 2における映像符号ィ匕装置から出力されるビデオビットストリームの 別のデータ配列を示す説明図
圆 17]図 12の映像復号装置において行われるイントラ予測復号処理の手順を説明 するフローチャート
圆 18]実施の形態 3における CO成分のイントラ予測モード符号ィ匕処理のパラメータを 説明する説明図 圆 19]実施の形態 3における CI成分のイントラ予測モード符号ィ匕処理のパラメータを 説明する説明図
圆 20]実施の形態 3における C2成分のイントラ予測モード符号ィ匕処理のパラメータを 説明する説明図
圆 21]実施の形態 3におけるイントラ予測モード符号ィ匕処理の流れを示すフローチヤ ート
圆 22]実施の形態 3におけるイントラ予測モード符号ィ匕処理の別の流れを示すフロー チャート
[図 23]実施の形態 3におけるイントラ予測モード復号処理の流れを示すフローチヤ一 卜
圆 24]実施の形態 4における映像符号ィ匕装置力も出力されるビデオビットストリームの 別のデータ配列を示す説明図
圆 25]実施の形態 5におけるイントラ予測モード符号ィ匕処理の別の流れを示すフロー チャート
圆 26]実施の形態 5におけるテーブル化された予測値設定の規則を示す説明図 圆 27]実施の形態 6における符号ィ匕手順を示すフローチャート
[図 28]実施の形態 6における CurrlntraPredModeの二値系列構成を示す説明図
[図 29]実施の形態 6における CurrlntraPredModeの別の二値系列構成を示す説明図 圆 30]実施の形態 7における映像符号ィ匕装置の構成を示す説明図
圆 31]実施の形態 7における映像復号装置の構成を示す説明図
[図 32]マクロブロックの単位を示す説明図
[図 33]実施の形態 7におけるインター予測モード判定処理の流れを示すフローチヤ ート
[図 34]実施の形態 7における映像符号ィ匕装置から出力されるビデオストリームのデー タ配列を示す説明図
[図 35]実施の形態 7における可変長復号部 25で行われる処理の流れを示すフロー チャート
圆 36]実施の形態 7における映像符号ィ匕装置力も出力されるビデオストリームの別の データ配列を示す説明図
圆 37]実施の形態 7における映像符号ィ匕装置力も出力されるビデオストリームの別の データ配列を示す説明図
[図 38]実施の形態 8におけるインター予測モード判定処理の流れを示すフローチヤ ート
[図 39]実施の形態 8におけるマクロブロックのレベルにおけるビットストリームのデータ 配列を示す説明図
[図 40]実施の形態 8におけるインター予測画像生成処理の流れを示すフローチヤ一 卜
[図 41]実施の形態 8におけるマクロブロックのレベルにおけるビットストリームの別のデ ータ配列を示す説明図
[図 42]実施の形態 8におけるマクロブロックのレベルにおけるビットストリームの別のデ ータ配列を示す説明図
[図 43]実施の形態 9におけるインター予測モード判定処理の流れを示すフローチヤ ート
[図 44]実施の形態 9におけるインター予測画像生成処理の流れを示すフローチヤ一 卜
[図 45]動きベクトル符号化部の構成を示す説明図
圆 46]動きベクトル符号ィ匕部の動作を示す説明図
[図 47]動きベクトル復号部の構成を示す説明図
[図 48]ビットストリームシンタックスの様子を示す説明図
[図 49]実施の形態 11におけるマクロブロック符号化データの構成を示す説明図 [図 50]実施の形態 11における図 49中の Cn成分ヘッダ情報の符号ィ匕データの詳細 構成を示す説明図
圆 51]実施の形態 11におけるマクロブロック符号ィ匕データの別の構成を示す説明図 圆 52]実施の形態 11におけるビットストリームの構成を示す説明図
圆 53]実施の形態 11におけるスライスの構成を示す説明図
圆 54]実施の形態 12における可変長符号ィ匕部 11の算術符号ィ匕処理に関わる内部 構成を示す説明図
圆 55]実施の形態 12における可変長符号ィ匕部 11の算術符号ィ匕処理の流れを示す フローチャート
[図 56]実施の形態 12における図 55中のステップ S 162の処理の詳細な流れを示す 説明図
[図 57]コンテクストモデル (ctx)の概念を示す説明図
[図 58]マクロブロックの動きベクトルに関するコンテクストモデルの例を示す説明図 [図 59]実施の形態 12における可変長復号部 25の算術復号処理に関わる内部構成 を示す説明図
[図 60]実施の形態 12における可変長復号部 25の算術復号処理の流れを示すフロ 一チャート
[図 61]実施の形態 12におけるコンテクストモデル l lfを示す説明図
[図 62]実施の形態 12におけるカレントマクロブロックのモードの違いを示す説明図 圆 63]実施の形態 13における符号ィ匕装置'復号装置の構成を示す説明図 圆 64]実施の形態 13における映像符号ィ匕装置の構成を示す説明図
圆 65]実施の形態 13における映像復号装置の構成を示す説明図
圆 66]実施の形態 14における共通符号ィ匕処理を示す説明図
圆 67]実施の形態 14における独立符号ィ匕処理を示す説明図
圆 68]実施の形態 14の符号ィ匕装置'復号装置におけるピクチャ間の時間方向の動 き予測参照関係を示す説明図
圆 69]実施の形態 14の符号ィ匕装置で生成され実施の形態 14の復号装置が入力- 復号処理の対象とするビットストリームの構造の一例を示す説明図
[図 70]共通符号ィ匕処理、独立符号ィ匕処理それぞれの場合のスライスデータのビット ストリーム構成を示す説明図
圆 71]実施の形態 14の符号ィ匕装置の概略構成を示す説明図
圆 72]符号ィ匕装置側での処理遅延を小さくする様子を示す説明図
圆 73]第 1のピクチャ符号ィ匕部の内部構成を示す説明図
圆 74]第 2のピクチャ符号ィ匕部の内部構成を示す説明図 [図 75]実施の形態 14の復号装置の概略構成を示す説明図
[図 76]第 1のピクチャ復号部の内部構成を示す説明図
[図 77]第 2のピクチャ復号部の内部構成を示す説明図
[図 78]色空間変換処理を施した第 1のピクチャ符号ィ匕部の内部構成を示す説明図 [図 79]色空間変換処理を施した第 1のピクチャ符号ィ匕部の内部構成を示す説明図 [図 80]逆色空間変換処理を施した第 1のピクチャ符号ィ匕部の内部構成を示す説明図 [図 81]逆色空間変換処理を施した第 1のピクチャ符号ィ匕部の内部構成を示す説明図 [図 82]従来の YUV4： 2： 0フォーマットのビットストリームに含まれるマクロブロックへッ ダ情報の符号ィ匕データの構成を示す説明図
[図 83]従来の YUV4： 2： 0フォーマットのビットストリームに対する互換性を確保する第 1のピクチャ復号部の予測部 461の内部構成を示す説明図
[図 84]実施の形態 15における多重化する符号化データのビットストリームの構成を示 す説明図
[図 85]AUD NALユニットで始まるアクセスユニット内のピクチャデータが符号化され る際のピクチャ符号ィ匕タイプの情報を示す説明図
[図 86]実施の形態 15における多重化する符号ィ匕データのビットストリームの構成を示 す説明図
符号の説明
1 入力映像信号
2 空間予測部
3 減算器
4 予測差分信号
5 符号化モード判定部
6 符号化モード
7 予測画像
8 直交変換部
9 量子化部
10 量子化済み変換係数 11 可変長符号化部
11a コンテクストモデル決定部 l ib 二値化部
11c 生起確率生成部
l id 符号化部
l ie 符号化値
l lf コンテクストモデル
l lg 生起確率情報記憶メモリ l lh 生起確率状態
12 逆量子化部
13 逆直交変換部
14 局部復号予測差分信号
15 局部復号画像 (暫定復号画像）
16 メモリ
17 送信バッファ
18 加算器
19 符号化制御部
20 重み係数
21 量子化パラメータ
2 ビデ才ストリーム
3 イントラ予測モード共通化識別フラグ 4 デブロッキングフィルタ制御フラグ 5 可変長復号部
5a 復号部
5b bin復元値
6 デブロッキングフィルタ
7 復号画像
8 イントラ符号化モード 基本イントラ予測モード
拡張イントラ予測モード
拡張イントラ予測モードテーブル指示フラグ 変換ブロックサイズ識別フラグ
イントラ符号化モード共通化識別フラグ イントラ符号化モード
イントラ予測モード
イントラ予測モード指示フラグ
動き補償予測部
マクロブロックタイプ/サブマクロブロックタイプ インター予測モード共通化識別フラグb 動きベクトル共通化識別フラグ
c マクロブロックヘッダ共通化識別フラグ 基本マクロブロックタイプ
b マクロブロックタイプ
基本サブマクロブロックタイプ
b サブマクロブロックタイプ
拡張マクロブロックタイプ
拡張サブマクロブロックタイプ
基本参照画像識別番号
b 参照画像識別番号
基本動きベクトル情報
拡張参照画像識別番号
拡張動きベクトル情報
プロファイル情報
動きベクトル
、 138a, 138b, 138c スキップ指示情報a, 139b, 139c ヘッダ情報 140a, 1墨、 140c 変換係数データ
141 イントラ予測モード
142 変換係数有効無効指示情報
143 生起確率状態パラメータ共通化識別フラグ
144 イントラ色差予測モード
111 動きベクトル予測部
112 差分動きベクトル算出部
113 差分動きベクトル可変長符号化部
250 動きベクトル復号部
251 差分動きベクトル可変長復号部
252 動きベクトル予測部
253 動きベクトル算出部
301 色空間変換部
302 変換映像信号
303 符号化装置
304 色空間変換方法識別情報
305 ビットストリーム
306 復号装置
307 復号画像
308 逆色空間変換部
310 変換部
311 色空間変換方法識別情報
312 逆変換部
422a, 422b0、 422b 1、 422b2、 422c ビデオス卜リ 423 共通符号化 ·独立符号化識別信号
427a, 427b 復号画像
461 予測部
462 デブロッキングフィルタ 463 予測オーバヘッド情報
464 変換ブロックサイズ指定フラグ
465 色空間変換部
466 逆色空間変換部
467 シグナリング†青報
501、 601 スィッチ
502 色成分分離部
503a 第 1のピクチャ符号ィ匕部
503bO、 503b 1、 503b2 第 2のピクチャ符号ィ匕部
504 多重化部
602 色成分判定部
603a 第 1のピクチャ復号部
603b0、 603bl、 603b2 第 2のピクチャ復号部
610 上位ヘッダ解析部
4611a, 4611b, 4611c 切替部
4612 輝度信号イントラ予測部
4613 色差信号イントラ予測部
4614 輝度信号インター予測部
4615 色差信号インター予測部
発明を実施するための最良の形態
[0010] 実施の形態 1.
本実施の形態 1では、 4 :4 :4フォーマットで入力される映像フレームを 16 X 16画素 の矩形領域 (マクロブロック)に均等分割した単位でフレーム内に閉じた符号ィ匕を行う 符号化装置、および対応する復号装置について説明する。また、本符号化装置、復 号装置は非特許文献 1である MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格 で採用される符号ィ匕方式をベースとして、本発明に固有の特徴を付与したものとする
[0011] 図 1に、本実施の形態 1における映像符号ィ匕装置の構成を、図 2に本実施の形態 1 における映像復号装置の構成を示す。図 2において、図 1の符号化装置の構成要素 と同じ番号が付されている要素は同一の要素であることを示す。
[0012] 以下、これらの図に基づいて符号化装置ならびに復号装置全体の動作と、本実施 の形態 1の特徴的な動作であるイントラ予測モード判定処理およびイントラ予測復号 処理について説明する。
[0013] 1.符号化装置の動作概要
図 1の符号ィ匕装置において、入力映像信号 1は、個々の映像フレームが 4 :4 :4フォ 一マットで入力される。入力される映像フレームは、図 10に示すように、 3つの色成分 を同一サイズの 16画素 X 16画素のブロックに分割してまとめたマクロブロック単位で 符号ィ匕装置に入力されるものとする。
[0014] まず、空間予測部 2において、メモリ 16に格納される局部復号画像 15を用いて、該 マクロブロックの単位で、各色成分ごとにイントラ予測処理が行われる。メモリは各色 成分ごとに 3面用意される (本実施の形態では 3面として説明するが、設計により適宜 変更してよい）。イントラ予測のモードには、図 3に示す 4画素 X 4ラインのブロックの単 位でその周辺画素を用いた空間予測を行うイントラ 4x4予測モード、図 4に示す 16画 素 X 16ラインのマクロブロックの単位でその周辺画素を用いた空間予測を行うイント ラ 16x16予測モードがある。
[0015] (a)イントラ 4x4予測モード
マクロブロック内の輝度信号 16 X 16画素ブロックを 4 X 4画素ブロックで構成される 1 6個のブロックに分割し、図 3に示す 9つのモードの 、ずれかを 4 X 4画素ブロック単位 に選択する。すでに符号化を終え、局部復号処理されてメモリ 16に格納された周囲 のブロック (左上、上、右上、左）の画素を予測画像生成に用いる。
[0016] Intra4x4_pred_mode = 0:隣接する上部の画素をそのまま予測画像として使用する。
Intra4x4_pred_mode = 1:隣接する左部の画素をそのまま予測画像として使用する。 Intra4x4_pred_mode = 2:隣接する 8つの画素の平均値を予測画像として使用する Intra4x4_pred_mode = 3:隣接する画素から 2〜3画素ごとに加重平均を求め予測画 像として使用する (右 45度エッジに対応)。
Intra4x4_pred_mode = 4:隣接する画素から 2〜3画素ごとに加重平均を求め予測画 像として使用する (左 45度エッジに対応)。
Intra4x4_pred_mode = 5:隣接する画素から 2〜3画素ごとに加重平均を求め予測画 像として使用する (左 22.5度エッジに対応)。
Intra4x4_pred_mode = 6:隣接する画素から 2〜3画素ごとに加重平均を求め予測画 像として使用する (左 67.5度エッジに対応)。
Intra4x4_pred_mode = 7:隣接する画素から 2〜3画素ごとに加重平均を求め予測画 像として使用する (右 22.5度エッジに対応)。
Intra4x4_pred_mode = 8:隣接する画素から 2〜3画素ごとに加重平均を求め予測画 像として使用する (左 112.5度エッジに対応)。
[0017] イントラ 4x4予測モードを選択する場合、マクロブロックあたりのモード情報は 16個 必要となる。したがって、モード情報自体の符号量を削減するため、モード情報は隣 接するブロック間との相関が高いことを利用して、隣接するブロックのモード情報から 予測符号化を行う。
[0018] (b)イントラ 16x16予測モード
マクロブロックサイズに相当する 16 X 16画素ブロックを一度に予測するモードであり 、図 4に示す 4つのモードのいずれかをマクロブロック単位に選択する。イントラ 4x4予 測モードと同様、すでに符号化を終え、局部復号処理されてメモリ 16に格納された 周囲のマクロブロック (左上、上、左）の画素を予測画像生成に用いる。
[0019] Intral6xl6_pred_mode = 0: 上マクロブロックの最下辺の 16画素を予測画像として使 用する。
Intral6xl6_pred_mode = 1: 左マクロブロックの最右辺の 16画素を予測画像として使 用する。
Intral6xl6_pred_mode = 2: 上マクロブロックの最下辺の 16画素 (図 4の A部分)と左マ クロブロックの最左辺の 16画素 (図 4の B部分)の合計 32画素の平均値を予測画像とし て使用する。
Intral6xl6— pred— mode = 3: 左上のマクロブロックの右下隅の画素、上マクロブロック の最下辺の 15画素（白抜き画素を除いた部分)、左マクロブロックの最右辺の 15画素（ 白抜き画素を除いた部分)の合計 31画素を用いて所定の演算処理 (使用する画素と 予測する画素位置に応じた重み付け加算処理）により予測画像を得る。
[0020] 本実施の形態 1における映像符号ィ匕装置は、イントラ予測モード共通化識別フラグ 23に基づき、 3つの色成分に対するイントラ予測処理方法を切り替えることを特徴と する。この点については、下記 2で詳しく述べる。
[0021] 空間予測部 2では、図 3や図 4に示した全モードないしはサブセットに対して予測処 理を実行して減算器 3により予測差分信号 4を得る。予測差分信号 4は符号化モード 判定部 5においてその予測効率が評価され、空間予測部 2で実行した予測処理の中 から、予測対象のマクロブロックに対して最適な予測効率が得られる予測モードを符 号ィ匕モード 6として出力する。ここで、符号ィ匕モード 6は、イントラ 4x4予測モードを用 いるか、イントラ 16x16予測モードを用いるかの判別情報 (図 6のイントラ符号ィ匕モー ドに相当)とともに、予測単位領域あたりで使用する個々の予測モード情報 (上記 Intra 4x4_pred_modeな 、しは Intral6xl6_pred_mode)も含むものとする。予測単位領域は、 イントラ 4x4予測モードの場合は 4x4画素ブロック、イントラ 16x16予測モードの場合 は 16x16画素ブロックに相当する。符号ィ匕モード 6の選定にあたっては、符号化制御 部 19の判断で定まる各符号ィ匕モードに対する重み係数 20が加味されることもある。 符号ィ匕モード判定部 5において符号ィ匕モード 6を用いて得られる最適な予測差分信 号 4は、直交変換部 8へ出力される。直交変換部 8は入力される予測差分信号 4を変 換し直交変換係数として量子化部 9へ出力する。量子化部 9は入力される直交変換 係数を、符号ィ匕制御部 19によって定まる量子化パラメータ 21に基づいて量子化を 行い、量子化済み変換係数 10として可変長符号ィ匕部 11へ出力する。量子化済み変 換係数 10は、可変長符号ィ匕部 11にてハフマン符号ィ匕ゃ算術符号ィ匕などの手段に よりエントロピー符号化される。また、量子化済み変換係数 10は逆量子化部 12、逆 直交変換部 13を経て局部復号予測差分信号 14へ復元され、符号化モード 6に基づ いて生成される予測画像 7と加算器 18で加算することで局部復号画像 15が生成さ れる。局部復号画像 15は以降のイントラ予測処理に用いるためメモリ 16へ格納され る。また、可変長符号化部 11には、当該マクロブロックに対してデブロッキングフィル タを施すか否かを示すデブロッキングフィルタ制御フラグ 24も入力される (空間予測 部 2で実施される予測処理には、デブロッキングフィルタが施される前の画素データ をメモリ 16に格納して用いるのでデブロッキングフィルタ処理自体は符号化処理には 必要はな 、が、復号装置側ではデブロッキングフィルタ制御フラグ 24の指示によって
Figure imgf000018_0001
[0022] 可変長符号ィ匕部 11に入力されるイントラ予測モード共通化識別フラグ 23、量子化 済み変換係数 10、符号化モード 6、量子化パラメータ 21は所定の規則 (シンタックス） に従ってビットストリームとして配列'整形され、送信バッファ 17へ出力される。送信バ ッファ 17では符号ィ匕装置が接続される伝送路の帯域や記録媒体の読み出し速度に 合わせてビットストリームを平滑ィ匕してビデオストリーム 22として出力する。また、送信 ノ ッファ 17中のビットストリーム蓄積状況に応じて符号化制御部 19へフィードバック 情報を出力し、以降の映像フレームの符号ィ匕における発生符号量を制御する。
[0023] 2.符^ ~化 置におけるイントラ予沏 Iモード判定処理
本実施の形態 1の符号ィ匕装置の特徴であるイントラ予測モード判定処理について 詳述する。本処理は上記 3つの色成分をまとめたマクロブロックの単位で実施され、 主として、図 1の符号ィ匕装置における空間予測部 2、符号化モード判定部 5によって 行われる。また、本処理の流れを示すフローチャートを図 5に示す。以下、ブロックを 構成する 3つの色成分の画像データを C0、 Cl、 C2とする。
[0024] まず、符号化モード判定部 5は、イントラ予測モード共通化識別フラグ 23を受け取り 、その値に基づいて C0、 Cl、 C2で共通のイントラ予測モードを使用するか否かを判 断する (図 5のステップ Sl)。共通化する場合はステップ S2以降へ、共通化しない場合 はステップ S5以降へ進む。
[0025] イントラ予測モードを C0、 Cl、 C2で共通化する場合は、符号化モード判定部 5は空 間予測部 2に対して、選択しうるすベてのイントラ 4x4予測モードを通知し、空間予測 部 2はそのすベての予測効率を評価して、 C0、 Cl、 C2で共通の最適なイントラ 4x4予 測モードを選択する (ステップ S2)。次いで、符号化モード判定部 5は空間予測部 2に 対して、選択しうるすベてのイントラ 16x16予測モードを通知し、空間予測部 2はその すべての予測効率を評価して、 C0、 Cl、 C2で共通の最適なイントラ 16x16予測モード を選択する (ステップ S3)。符号ィ匕モード判定部 5はステップ S2、 S3で得たモードのうち より予測効率上最適なモードを最終的に選択して (ステップ S4)、処理を終了する。 [0026] イントラ予測モードを C0、 Cl、 C2で共通化せず、 C0、 Cl、 C2でそれぞれ一番よい モードを選択する場合は、符号ィ匕モード判定部 5は空間予測部 2に対して、 Ci (K=0く 3)成分で選択しうるすベてのイントラ 4x4予測モードを通知し、空間予測部 2はそのす ベての予測効率を評価して、 Ci (K=0く 3)成分における最適なイントラ 4x4予測モード を選択する (ステップ S6)。同様に最適なイントラ 16x16予測モードを選択する (ステップ S7)0最後にステップ S8にて Ci (K=0く 3)成分における最適なイントラ予測モードを判定 する。
[0027] 空間予測部 2で行われる予測モードの予測効率評価の規範としてはたとえば、 Jm = Dm + Rm( ：正数）
で与えられるレート'ひずみコストを用いることができる。ここで、 Dmはイントラ予測モ ード mを適用した場合の符号ィ匕歪または予測誤差量である。符号ィ匕歪とは、イントラ 予測モード mを適用して予測誤差を得、予測誤差を変換 '量子化した結果力 映像 を復号して符号化前の信号に対する誤差を計測するものである。予測誤差量は、ィ ントラ予測モード mを適用した場合の予測画像と符号ィ匕前の信号との差分を得、その 差分の大きさを定量化したもので、たとえば差分絶対値和 (Sum of Absolute Distance ： SAD)などが用いられる。 Rmはイントラ予測モード mを適用した場合の発生符号量で ある。つまり、 Jmはイントラ予測モード mを適用した場合の符号量と劣化度とのトレード オフを規定する値であり、最小の Jmを与えるイントラ予測モード mが最適解を与える。
[0028] 符号ィ匕装置力ステップ S2以降の処理を行った場合、イントラ予測モードの情報は、 3つの色成分を含むマクロブロックに対して 1つ割り当てられる。一方、ステップ S5以 降の処理を行った場合は、各色成分に対してそれぞれイントラ予測モード情報が割り 当てられる。したがって、マクロブロックに対して割り当てられるイントラ予測モードの 情報が異なるため、符号化装置が S2以降の処理過程を行ったか、 S5以降の処理過 程を行つたかはイントラ予測モード共通化識別フラグ 23をビットストリームに多重化し て復号装置側で認識できるようにする必要がある。このようなビットストリームのデータ 配列を図 6に示す。
[0029] 同図はマクロブロックのレベルにおけるビットストリームのデータ配列を示しており、 イントラ符号ィ匕モード 28はイントラ 4x4力イントラ 16x16かを判別する情報、基本イント ラ予測モード 29はイントラ予測モード共通化識別フラグ 23が「C0、 Cl、 C2で共通」で あることを示す場合は共通イントラ予測モード情報を示し、「C0、 Cl、 C2で共通」でな いことを示す場合は COに対するイントラ予測モード情報を示す。拡張イントラ予測モ ード 30は、イントラ予測モード共通化識別フラグ 23が「C0、 Cl、 C2で共通」でないこ とを示す場合にのみ多重化され、 Cl、 C2に対するイントラ予測モード情報を示す。つ いで量子化パラメータ 21、量子化済み変換係数 10が多重化される。図 1における符 号ィ匕モード 6は、上記イントラ符号ィ匕モード 28とイントラ予測モード (基本'拡張)を総 称したものである (図 6には図 1で可変長符号ィ匕部 11に入力されて 、るデブロッキン グフィルタ制御フラグ 24が含まれて 、な 、が、本実施の形態 1の特徴を説明するた めに必要な構成要素ではな 、ため割愛して 、る)。
[0030] 従来の映像符号化標準で採用されてきた 4： 2： 0フォーマットでは、色空間の定義 が Y、 Cb、 Crに固定されていた力 4 :4 :4フォーマットでは Y、 Cb、 Crに限定せず多 様な色空間を利用することができる。図 6のようにイントラ予測モード情報を構成する ことで、入力映像信号 1の色空間の定義が種々に及ぶ場合にも最適な符号化処理を 行うことができる。たとえば、色空間が RGBで定義される場合は R、 G、 Bの各成分には 均等に映像テクスチャの構造が残存しているため、共通のイントラ予測モード情報を 用いることでイントラ予測モード情報自体の冗長性を削減して符号ィ匕効率を高めるこ とができる。一方、 Y、 Cb、 Crで色空間が定義される場合、映像テクスチャの構造は Y に集約されるため、必ずしも共通のイントラ予測モードが最適な結果を与えるわけで はない。そこで、拡張イントラ予測モード 30を適応的に利用することで最適な符号ィ匕 効率を得ることができる。
[0031] 3.街号 置の動作概要
図 2の復号装置は、図 1の符号ィ匕装置から出力される図 6の配列に従うビデオストリ ーム 22を受信して、 3つの色成分が同一サイズ (4： 4： 4フォーマット)のマクロブロック の単位で復号処理を行い、個々の映像フレームを復元するものとする。
[0032] まず、可変長復号部 25はストリーム 22を入力とし、所定の規則 (シンタックス)に従つ てストリーム 22を解読して、イントラ予測モード共通化識別フラグ 23、量子化済み変 換係数 10、符号化モード 6、量子化パラメータ 21などの情報を抽出する。量子化済 み変換係数 10は量子化パラメータ 21とともに逆量子化部 12へ入力され、逆量子化 処理が行われる。ついでその出力が逆直交変換部 13へ入力され、局部復号予測差 分信号 14へ復元される。一方、空間予測部 2に対しては符号ィ匕モード 6とイントラ予 測モード共通化識別フラグ 23が入力され、これらの情報に従って予測画像 7を得る。 予測画像 7を得る具体的な手順につ ヽては後述する。局部復号予測差分信号 14と 予測画像 7は加算器 18により加算され、暫定復号画像 15を得る (これは符号ィ匕装置 における局部復号画像 15とまったく同じ信号である)。暫定復号画像 15は以降のマ クロブロックのイントラ予測に用いられるためメモリ 16へ書き戻される。メモリは各色成 分ごとに 3面用意される (本実施の形態では 3面として説明するが、設計により適宜変 更してよい)。また、可変長符号ィ匕部 25によって解読されたデブロッキングフィルタ制 御フラグ 24の指示に基づいてデブロッキングフィルタ 26を暫定復号画像 15に対して 作用させ、最終的な復号画像 27を得る。
[0033] 4. ^^ に： けるイントラチ測復^^ ¾
本実施の形態 1の復号装置の特徴であるイントラ予測画像生成処理について詳述 する。本処理は上記 3つの色成分をまとめたマクロブロックの単位で実施され、主とし て、図 2の復号装置における可変長復号部 25、空間予測部 2によって行われる。また 、本処理の流れを示すフローチャートを図 7に示す。
[0034] 図 7のフローチャートのうち、 S10〜S14は可変長復号部 25において行われる。可変 長復号部 25への入力であるビデオストリーム 22は、図 6のデータ配列に従うものとす る。ステップ S10では図 6のデータのうちイントラ符号ィ匕モード 28がまず復号され、つ いでイントラ予測モード共通化識別フラグ 23が復号される (ステップ Sll)。さらに基本 イントラ予測モード 29が復号される (ステップ S12)。ステップ S13では、イントラ予測モー ド共通化識別フラグ 23の結果を用いてイントラ予測モードを C0、 Cl、 C2で共通化す るかどうかを判断し、共通化の場合は C0、 Cl、 C2のすべてに対して基本イントラ予測 モード 29を用いることとし、共通化しな 、場合は基本イントラ予測モード 29を COのモ ードとして使用し、さらに拡張イントラ予測モード 30を復号して (ステップ S14)、 C1,C2 のモード情報を得る。以上の処理過程を経て各色成分の符号ィ匕モード 6が確定する ため、これを空間予測部 2へ出力し、ステップ S15〜S17にしたがって各色成分のイン トラ予測画像を得る。イントラ予測画像を得るプロセスは図 3、図 4の手順に従うもので 図 1の符号ィ匕装置で行う処理と同じである。
[0035] 図 8に、図 6のビットストリームデータ配列のバリエーションを示す。図 7では、イントラ 予測モード共通化識別フラグ 23は、マクロブロックレベルのフラグとしてでなぐスライ ス、ピクチャ、シーケンスなどの上位データレイヤに位置するフラグとして多重化され 、かつ、拡張イントラ予測モード 30の符号語を定義する符号テーブルを複数あるうち のいずれかから選択できるよう、拡張イントラ予測モードテーブル指示フラグ 31を備 えるようにした。これにより、スライス以上の上位レイヤでの切り替えで十分な予測効 率が確保できる場合は、マクロブロックレベルでイントラ予測モード共通化識別フラグ 23を逐一多重化することなくオーバヘッドビットを削減できる。また、拡張イントラ予測 モード 30については、拡張イントラ予測モードテーブル指示フラグ 31を設けることに より、基本イントラ予測モード 29と同一の定義でなぐ Cl、 C2成分に特化した予測モ ードの定義を選択することが可能となり、色空間の定義に適応した符号化処理を行う ことが可能となる。たとえば、 AVCの 4 : 2 : 0フォーマットの符号ィ匕では、色差成分 (Cb 、 Cr)に対しては、輝度 (Y)とは異なるイントラ予測モードセットが定義されている。 4 : 2 : 0フォーマットではマクロブロック内の色差信号は 8画素 X 8ラインであり、図 9に示す 4つのモードの 、ずれかをマクロブロック単位に選択して復号処理を行う。色差信号 は Cbと Crの 2種類があるが、同じモードを使用する。 intra_chroma_pred_mode = 0の D C予測を除いては、図 4のイントラ 16 X 16予測モードと同様の予測処理となる力 DC 予測では 8 X 8ブロックを 4つの 4 X 4ブロックに分割し、それぞれのブロックごとに平均 値を求める画素の位置を変更して処理を行う。同図で「a+x, a or x」となっているブロ ックは、画素 aと画素 Xが共に利用可能な場合には aと Xの 8画素、 aのみが利用可能な 場合には aの 4画素、 Xのみ利用可能な場合には Xの 4画素のみを用いて平均値を求 め、予測画像 7として使用する。 aと Xともに利用不可能な場合には値 128を予測画像 7 として使用する。「b or x」となっているブロックは、画像 bが利用可能な場合には bの 4 画素を、画素 Xのみが利用可能な場合には Xの 4画素を用いて平均値を求める。
[0036] このように、色成分の性質に応じてイントラ予測モードのセットに変更を要する場合 、図 8のシンタックスのような構成により、より最適な符号ィ匕効率を得ることができる。 [0037] 実施の形態 2.
本実施の形態 2では、 4 :4 :4フォーマットで入力される映像フレームを 16 X 16画素 の矩形領域 (マクロブロック)に均等分割した単位でフレーム内に閉じた符号ィ匕を行う 別の符号化装置、および対応する復号装置について説明する。本符号化装置、復 号装置は実施の形態 1と同様、非特許文献 1である MPEG-4 AVC(ISO/IEC 14496-1 0)/ITU-T H.264規格で採用される符号ィ匕方式をベースとして、本発明に固有の特徴 を付与したものとする。
[0038] 図 11に、本実施の形態 2における映像符号ィ匕装置の構成を、図 12に本実施の形 態 2における映像復号装置の構成を示す。図 11において、図 1の符号化装置の構 成要素と同じ番号が付されている要素は同一の要素であることを示す。図 12におい て、図 11の符号ィ匕装置の構成要素と同じ番号が付されている要素は同一の要素で あることを示す。図 11における 32は変換ブロックサイズ識別フラグであり、 33はイント ラ符号ィ匕モード共通化識別フラグである。
[0039] 以下、これらの図に基づいて本実施の形態 2の符号化装置ならびに復号装置全体 の動作と、本実施の形態 2の特徴的な動作であるイントラ符号ィ匕 ·予測モード判定処 理およびイントラ予測復号処理にっ 、て説明する。
[0040] 1.符^ ·化装置の動作概耍
図 11の符号ィ匕装置において、入力映像信号 1は、個々の映像フレームが 4 :4 :4フ ォーマットであって、かつ 3つの色成分が図 10に示すように同一サイズのマクロブロッ クに分割してまとめられた単位で符号ィ匕装置に入力されるものとする。
[0041] 空間予測部 2においては、メモリ 16に格納される局部復号画像 15を用いて、該マク ロブロックの単位で、各色成分ごとにイントラ予測処理が行われる。イントラ予測のモ ードには、図 3に示す 4画素 X 4ラインのブロックの単位でその周辺画素を用いた空 間予測を行うイントラ 4x4予測モード、図 13に示す 8画素 X 8ラインのブロックの単位 でその周辺画素を用いた空間予測を行うイントラ 8x8予測モード、図 4に示す 16画素 X 16ラインのマクロブロックの単位でその周辺画素を用いた空間予測を行うイントラ 1 6x16予測モードがある。本実施の形態 2における符号化装置では、変換ブロックサ ィズ識別フラグ 32の状態に従ってイントラ 4x4予測モードとイントラ 8x8予測モードと を切り替えて用いる。あるマクロブロックを 4x4予測、 8x8予測、 16x16予測のいずれ のイントラ予測モードを用いて符号ィ匕するかは、図 6と同様にイントラ符号ィ匕モードで 表現できる。本実施の形態 2における符号化装置では、イントラ符号ィ匕モードとして、 イントラ 4x4予測モード力イントラ 8x8予測モードかの 、ずれかを用いて符号化を行う イントラ NxN予測符号化モード (Nは 4ないしは 8)と、イントラ 16x16予測モードを用 いて符号ィ匕を行うイントラ 16x16予測符号ィ匕モードの 2種類を設ける。以下、イントラ 符号ィ匕モード別に説明を進める。
[0042] (a)イントラ NxN予測符号ィ匕モード
マクロブロック内の輝度信号 16x16画素ブロックを 4x4画素ブロックで構成される 1 6個のブロックに分割し、各 4x4画素ブロックに対して個別に予測モードを選択するィ ントラ 4x4予測モードと、マクロブロック内の輝度信号 16x16画素ブロックを 8x8画素 ブロックで構成される 4個のブロックに分割し、各 8x8画素ブロックに対して個別に予 測モードを選択するイントラ 8x8予測モードとを選択的に切り替えながら符号ィ匕を行う モードである。イントラ 4x4予測モードとイントラ 8x8予測モードの切り替えは、変換ブ ロックサイズ識別フラグ 32の状態に連動する。この点は後述する。イントラ 4x4予測モ ードについては、実施の形態 1で説明したように、図 3に示す 9つのモードのいずれ かを 4x4画素ブロック単位に選択する。すでに符号化を終え、局部復号処理されてメ モリ 16に格納された周囲のブロック（左上、上、右上、左）の画素を予測画像生成に 用いる。
[0043] 一方、イントラ 8x8予測モードは、図 13に示す 9つのモードの!/、ずれかを 8x8画素 ブロック単位に選択する。図 3との対比で明らかなように、イントラ 4x4予測モードの予 測方法を 8x8画素ブロックに適合するように変更をカ卩えたものである。
Intra8x8_pred_mode = 0:隣接する上部の画素をそのまま予測画像として使用する。 Intra8x8_pred_mode = 1:隣接する左部の画素をそのまま予測画像として使用する。 Intra8x8_pred_mode = 2:隣接する 8つの画素の平均値を予測画像として使用する Intra8x8_pred_mode = 3:隣接する画素から 2〜3画素ごとに加重平均を求め予測画 像として使用する (右 45度エッジに対応)。
Intra8x8_pred_mode = 4:隣接する画素から 2〜3画素ごとに加重平均を求め予測画 像として使用する (左 45度エッジに対応)。
Intra8x8_pred_mode = 5:隣接する画素から 2〜3画素ごとに加重平均を求め予測画 像として使用する (左 22.5度エッジに対応)。
Intra8x8_pred_mode = 6:隣接する画素から 2〜3画素ごとに加重平均を求め予測画 像として使用する (左 67.5度エッジに対応)。
Intra8x8_pred_mode = 7:隣接する画素から 2〜3画素ごとに加重平均を求め予測画 像として使用する (右 22.5度エッジに対応)。
Intra8x8_pred_mode = 8:隣接する画素から 2〜3画素ごとに加重平均を求め予測画 像として使用する (左 112.5度エッジに対応)。
[0044] イントラ 4x4予測モードを選択する場合、マクロブロックあたりのモード情報は 16個 必要となる。したがって、モード情報自体の符号量を削減するため、モード情報は隣 接するブロック間との相関が高いことを利用して、隣接するブロックのモード情報から 予測符号化を行う。同様にイントラ 8x8予測モードを選択する場合も隣接するブロック 間でイントラ予測モードの相関が高いことを利用して、隣接するブロックのモード情報 カゝら予測符号ィ匕を行う。
[0045] (b)イントラ 16x16予測符号化モード
マクロブロックサイズに相当する 16x16画素ブロックを一度に予測するモードであり 、図 4に示す 4つのモードのいずれかをマクロブロック単位に選択する。イントラ 4x4 予測モードと同様、すでに符号化を終え、局部復号処理されてメモリ 16に格納され た周囲のマクロブロック (左上、上、左）の画素を予測画像生成に用いる。モード種別 は実施の形態 1における図 4の説明の通りである。イントラ 16x16予測符号ィ匕モード では、変換ブロックサイズは常に 4x4とする。ただし、まず 4x4ブロック単位の DC (直 流成分、平均値)を 16個分集め、その単位で 4x4ブロック変換を行い、 DC分を除い た残りの交流成分を 4x4ブロックごとに変換する 2段階の変換を施す。
[0046] 本実施の形態 2における映像符号ィ匕装置は、イントラ符号ィ匕モード共通化識別フラ グ 33に基づき、 3つの色成分に対するイントラ予測 ·変換 '符号ィ匕方法を切り替えるこ とを特徴とする。この点については、下記 2で詳しく述べる。
[0047] 空間予測部 2では、入力される 3つの色成分の信号に対して、イントラ符号ィ匕モード 共通化識別フラグ 33の指示に基づいてイントラ予測モードの評価を行う。イントラ符 号ィ匕モード共通化識別フラグ 33は、入力される 3つの色成分それぞれについて個別 にイントラ符号ィ匕モードを割り当てるか、 3成分すべてに同じイントラ符号ィ匕モードを 割り当てるかを指示する。これは以下の背景による。
[0048] 4 :4 :4フォーマットでは、従来から符号化に用いられてきた Y、 Cb、 Cr色空間以外 に、 RGBを直接利用することも可能である。 Y、 Cb、 Cr色空間は、 Cb、 Crの信号から 映像のテクスチャ構造に依存する成分が取り除かれる。 Y成分と Cb、 Cr2成分との間 では最適なイントラ符号ィヒ方法が変化する確率が高い。（現に、ハイ 4 : 2 : 0プロフアイ ルなど、 ¥じ/1"[.264の4 : 2 : 0フォーマットを対象とする符号化方式では、 Y成分と Cb 、 Cr成分で用いるイントラ予測モードの設計が異なっている)。一方、 RGB色空間で符 号ィ匕を行う場合は、 Y、 Cb、 Cr色空間のように色成分間でのテクスチャ構造の除去を 行わず、同一空間上の信号成分は相関が高くなるため、イントラ符号ィ匕モードを共通 的に選択できるように構成することで符号ィ匕効率を高められる可能性がある。この点 は、色空間の定義だけでなぐある特定の色空間を使用したとしても映像の性質によ つて左右される点であり、符号化方式自体は、そういった映像信号の性質に適応的 に対応できることが望ましい。そこで、本実施の形態ではイントラ符号ィ匕モード共通化 識別フラグ 33を設け、 4： 4： 4フォーマット映像に対する柔軟な符号ィ匕を行うことがで きるよう符号ィ匕装置を構成した。
[0049] 空間予測部 2では、以上のように設定されるイントラ符号ィ匕モード共通化識別フラグ
33の状態に応じて、図 3や図 4、図 13に示した全イントラ予測モードないしは所定の サブセットに対して各色成分に対する予測処理を実行して減算器 3により予測差分 信号 4を得る。予測分信号 4は符号ィ匕モード判定部 5においてその予測効率が評価 され、空間予測部 2で実行した予測処理の中から、対象のマクロブロックに対して最 適な予測効率が得られるイントラ予測モードを選択する。ここで、イントラ NxN予測が 選ばれた場合、符号ィ匕モード 6としてイントラ NxN予測符号ィ匕モードを出力するととも に、予測モードがイントラ 4x4予測であった場合は、変換ブロックサイズ識別フラグ 32 を「4x4ブロックサイズでの変換」に設定する。また、予測モードがイントラ 8x8予測で あった場合は、変換ブロックサイズ識別フラグ 32を「8x8ブロックサイズでの変換」に 設定する。変換ブロックサイズ識別フラグ 32の決定方法にっ 、ては様々な方法が考 えられるが、本実施の形態 2における符号化装置では、イントラ NxN予測によって得 られる残差に対して変換を行う場合のブロックサイズを定めるため、符号ィ匕モード判 定部 5において最適なイントラ NxN予測モードが定まった後、その N値にあわせて決 定する方法が基本である。例えば、イントラ 4x4予測モードを用いる場合に変換プロ ックサイズを 8x8画素ブロックとすると、予測の結果得られる予測差分信号 4にお 、て 4x4ブロックの単位で予測信号の空間的連続性が断絶される可能性が高くなり、無 駄な高周波成分が発生するため、変換による信号電力集中化の効果が薄れる。変 換ブロックサイズを予測モードにあわせて 4x4画素ブロックとしておけば、このような 問題は発生しない。
[0050] 符号ィ匕モード判定部 5においてイントラ 16x16予測が選ばれた場合、符号化モード 6としてイントラ 16x16予測符号ィ匕モードを出力する。なお、符号ィ匕モード 6の選定に あたっては、符号化制御部 19の判断で定まる各符号化モードに対する重み係数 20 力 Sカロ味されることちある。
[0051] 符号ィ匕モード 6によって得られる予測差分信号 4は直交変換部 8へ出力される。直 交変換部 8は入力される予測差分信号を変換し直交変換係数として量子化部 9へ出 力する。量子化部 9は入力される直交変換係数を、符号ィ匕制御部 19によって定まる 量子化パラメータ 21に基づ 、て量子化を行 、、量子化済み変換係数 10として可変 長符号化部 11へ出力する。
[0052] 変換ブロックサイズが 4x4ブロック単位の場合、直交変換部 8に入力される予測差 分信号 4は、 4x4ブロック単位に分割され直交変換され、量子化部 9にて量子化が行 われる。変換ブロックサイズが 8x8ブロック単位の場合、直交変換部 8に入力される予 測差分信号 4は、 8x8ブロック単位に分割され直交変換され、量子化部 9にて量子化 が行われる。
[0053] 量子化済み変換係数 10は、可変長符号化部 11にてハフマン符号化や算術符号 化などの手段によりエントロピー符号化される。また、量子化済み変換係数 10は変換 ブロックサイズ識別フラグ 32などに基づくブロックサイズにて逆量子化部 12、逆直交 変換部 13を経て局部復号予測差分信号 14へ復元され、符号ィ匕モード 6に基づいて 生成される予測画像 7と加算器 18で加算することで局部復号画像 15が生成される。 局部復号画像 15は以降のイントラ予測処理に用いるためメモリ 16へ格納される。ま た、可変長符号化部 11には、当該マクロブロックに対してデブロッキングフィルタを施 すか否かを示すデブロッキングフィルタ制御フラグ 24も入力される (空間予測部 2で 実施される予測処理には、デブロッキングフィルタが施される前の画素データをメモリ 16に格納して用いるのでデブロッキングフィルタ処理自体は符号ィ匕処理には必要は な 、が、復号装置側ではデブロッキングフィルタ制御フラグ 24の指示によってデブ口 ッキングフィルタを行って最終的な復号画像を得る)。
[0054] 可変長符号化部 11に入力されるイントラ符号化モード共通化識別フラグ 33、量子 化済み変換係数 10、符号化モード 6、量子化パラメータ 21は所定の規則 (シンタック ス)に従ってビットストリームとして配列'整形され、送信バッファ 17へ出力される。送信 バッファ 17では符号ィ匕装置が接続される伝送路の帯域や記録媒体の読み出し速度 に合わせてビットストリームを平滑ィ匕してビデオストリーム 22として出力する。また、送 信バッファ 17中のビットストリーム蓄積状況に応じて符号化制御部 19へフィードバッ ク情報を出力し、以降の映像フレームの符号ィ匕における発生符号量を制御する。
[0055] 2.符 化装置におけるイントラ符 化モード '予沏 Iモード判定処理
本実施の形態 2の符号ィ匕装置の特徴であるイントラ符号ィ匕モードおよびイントラ予 測モードの判定処理につ 、て詳述する。本処理は上記 3つの色成分をまとめたマク ロブロックの単位で実施され、主として、図 11の符号ィ匕装置における空間予測部 2、 符号ィ匕モード判定部 5によって行われる。また、本処理の流れを示すフローチャート を図 14に示す。以下、ブロックを構成する 3つの色成分の画像データを C0、 Cl、 C2 とする。
[0056] まず、符号化モード判定部 5は、イントラ符号ィ匕モード共通化識別フラグ 33を受け 取り、その値に基づいて C0、 Cl、 C2で共通のイントラ符号ィ匕モードを使用する力否 かを判断する (図 14のステップ S20)。共通化する場合はステップ S21以降へ、共通化 しな 、場合はステップ S22以降へ進む。
[0057] イントラ符号ィ匕モードを C0、 Cl、 C2で共通化する場合は、符号化モード判定部 5は 空間予測部 2に対して、選択しうるすベてのイントラ予測モード (イントラ NxN予測、ィ ントラ 16x16予測)を通知し、空間予測部 2はそのすベての予測効率を評価して、全 成分に最適なイントラ符号ィ匕モードおよびイントラ予測モードを選択する (ステップ S21 )。
[0058] 一方、 C0、 Cl、 C2でそれぞれ最適なイントラ符号ィ匕モードを選択する場合は、符号 化モード判定部 5は空間予測部 2に対して、 Ci(iく =0く 3)成分で選択しうるすベてのィ ントラ予測モード (イントラ NxN予測、イントラ 16x16予測)を通知し、空間予測部 2は そのすベての予測効率を評価して、 Ci(iく =0く 3)成分における最適なイントラ 4x4予測 モードを選択する (ステップ S23)。
[0059] 上記ステップ S21、 S23にお 、て、空間予測部 2がイントラ 4x4予測モードを最適な 予測効率を与えるモードとして選択した場合、変換ブロックサイズ識別フラグ 32は「4 x4ブロックサイズでの変換」に設定され、空間予測部 2がイントラ 8x8予測モードを最 適な予測効率を与えるモードとして選択した場合、変換ブロックサイズ識別フラグ 32 は「8x8ブロックサイズでの変換」に設定される。
[0060] 空間予測部 2で行われる予測モードの予測効率評価の規範としてはたとえば、 Jm = Dm + Rm( ：正数）
で与えられるレート'ひずみコストを用いることができる。ここで、 Dmはイントラ予測モ ード mを適用した場合の符号ィ匕歪または予測誤差量である。符号ィ匕歪とは、イントラ 予測モード mを適用して予測誤差を得て、予測誤差を変換 ·量子化した結果から映 像を復号して符号化前の信号に対する誤差を計測するものである。予測誤差量は、 イントラ予測モード mを適用した場合の予測画像と符号ィ匕前の信号との差分を得て、 その差分の大きさを定量ィ匕したもので、たとえば差分絶対値和 (Sum of Absolute Dist ance: SAD)などが用いられる。 Rmはイントラ予測モード mを適用した場合の発生符号 量である。つまり、 Jmはイントラ予測モード mを適用した場合の符号量と劣化度とのト レードオフを規定する値であり、最小の Jmを与えるイントラ予測モード mが最適解を与 える。
[0061] 符号ィ匕装置力ステップ S21以降の処理を行った場合、イントラ符号ィ匕モードの情報 は、 3つの色成分を含むマクロブロックに対して、 1つ割り当てられる。一方、ステップ S 22以降の処理を行った場合は、各色成分に対してそれぞれイントラ符号ィ匕モード情 報 (計 3つ)が割り当てられる。したがって、マクロブロックに対して割り当てられるイント ラ予測モードの情報が異なるため、符号化装置が S21以降の処理過程を行ったか、 S 23以降の処理過程を行つたかはイントラ符号ィ匕モード共通化識別フラグ 23をビットス トリームに多重化して復号装置側で認識できるようにする必要がある。このようなビット ストリームのデータ配列を図 15に示す。
[0062] 図 15において、マクロブロックレベルでビットストリームに多重化されるイントラ符号 化モード 0(34a)、 l(34b)、 2(34c)はそれぞれ、 C0、 Cl、 C2成分に対する符号化モード 6を示す。イントラ符号ィ匕モードがイントラ NxN予測符号ィ匕モードである場合には、変 換ブロックサイズ識別フラグ 32、イントラ予測モードの情報がビットストリームに多重化 される。一方、イントラ符号ィ匕モードがイントラ 16x16予測符号ィ匕モードである場合に は、イントラ予測モードの情報はイントラ符号ィ匕モード情報の一部として符号化され、 変換ブロックサイズ識別フラグ 32、イントラ予測モードの情報はビットストリームに多重 化されない。イントラ符号ィ匕モード共通化識別フラグ 33が「C0、 Cl、 C2で共通」であ ることを示す場合には、イントラ符号ィ匕モード l(34b) ' 2(34c)、変換ブロックサイズ識別 フラグ l(32b) ' 2(32c)、イントラ予測モード l(35b)' 2(35c)はビットストリームに多重化さ れない (図 15中の点線の丸印部分がその分岐を示す)。このときは、イントラ符号化モ ード 0(34a)、変換ブロックサイズ識別フラグ 0(32a)、イントラ予測モード 0(35a)がそれぞ れ全色成分共通の符号化情報として機能する。イントラ符号ィ匕モード共通化識別フ ラグ 33は、図 15においてはスライス、ピクチャ、シーケンスなど、マクロブロックよりも 上位レベルのビットストリームデータとして多重化される例を示す。特に、本実施の形 態 2に挙げた例のように用いる場合は、シーケンスを通じて色空間が変化しないこと が多 、ことから、シーケンスレベルにイントラ符号ィ匕モード共通化識別フラグ 33を多 重化しておくことで目的を達成できる。
[0063] 本実施の形態 2では、イントラ符号化モード共通化識別フラグ 33を「全成分で共通 力どうか」という意味で用いたが、これは入力映像信号 1の色空間定義に応じて例え ば「C1、 C2など特定の 2成分で共通かどうか」という意味で使用してもよい (Y、 Cb、 Cr のような場合、 Cbと Crとでは共通化できる可能性が高い)。さらに、イントラ符号ィ匕モー ド共通化識別フラグ 33の共通化範囲をイントラ符号ィ匕モードのみに限定し、イントラ NxN予測モードを使用する場合には、各色成分で独立に変換ブロックサイズや Nx N予測モードを選択できるように構成してもよい (図 16)。図 16のようなシンタックス構 成により、 NxN予測を必要とするような複雑な絵柄の映像に対して、符号化モード情 報を共通化しつつも、色成分ごとに予測方法を変更することができ、予測効率を高め ることがでさる。
[0064] なお、イントラ符号化モード共通化識別フラグ 33の情報は、符号化装置と復号装置 の双方であらかじめ何らかの手段で既知となっていれば、ビデオのビットストリーム中 に載せて伝送しなくてもよい。その場合、例えば符号化装置はイントラ符号化モード 共通化識別フラグ 33をいずれかの値に固定ィ匕して符号ィ匕を行うように構成してもよ V、し、ビデオのビットストリームとは別に伝送してもよ 、。
[0065] 3.街号装置の動作概要
図 12の復号装置は、図 11の符号ィ匕装置から出力される図 15の配列に従うビデオ ストリーム 22を受信して、 3つの色成分が同一サイズ (4： 4： 4フォーマット)のマクロブ ロックの単位で復号処理を行い、個々の映像フレームを復元するものとする。
[0066] まず、可変長復号部 25はストリーム 22を入力とし、所定の規則 (シンタックス)に従つ てストリーム 22を解読して、イントラ符号ィ匕モード共通化識別フラグ 33、量子化済み 変換係数 10、符号化モード 6、量子化パラメータ 21などの情報を抽出する。量子化 済み変換係数 10は量子化パラメータ 21とともに逆量子化部 12へ入力され、逆量子 化処理が行われる。ついでその出力が逆直交変換部 13へ入力され、局部復号予測 差分信号 14へ復元される。一方、空間予測部 2に対しては符号ィ匕モード 6とイントラ 符号ィ匕モード共通化識別フラグ 33が入力され、これらの情報に従って予測画像 7を 得る。予測画像 7を得る具体的な手順については後述する。局部復号予測差分信号 14と予測画像 7は加算器 18により加算され、暫定復号画像 15を得る (これは符号ィ匕 装置における局部復号画像 15とまったく同じ信号である)。暫定復号画像 15は以降 のマクロブロックのイントラ予測に用いられるためメモリ 16へ書き戻される。メモリは各 色成分ごとに 3面用意される。また、可変長符号ィ匕部 25によって解読されたデブロッ キングフィルタ制御フラグ 24の指示に基づいてデブロッキングフィルタ 26を暫定復号 画像 15に対して作用させ、最終的な復号画像 27を得る。 [0067] 4.複吾装置におけるイントラ予沏 I複吾処理
本実施の形態 2の復号装置の特徴であるイントラ予測画像生成処理について詳述 する。本処理は上記 3つの色成分をまとめたマクロブロックの単位で実施され、主とし て、図 12の復号装置における可変長復号部 25、空間予測部 2によって行われる。ま た、本処理の流れを示すフローチャートを図 17に示す。
[0068] 図 17のフローチャートのうち、 S25〜S38は可変長復号部 25において行われる。可 変長復号部 25への入力であるビデオストリーム 22は、図 15のデータ配列に従うもの とする。ステップ S25では図 15のデータのうちイントラ符号化モード 0(34a)(C0成分対 応)がまず復号される。結果、イントラ符号ィ匕モード 0(34a)が「イントラ NxN予測」である 場合は、変換ブロックサイズ識別フラグ 0(32a)とイントラ予測モード 0(35a)とが復号され る (ステップ S26,S27)。次いで、イントラ符号ィ匕モード共通化識別フラグ 33の状態に基 づき、イントラ符号化'予測モード情報が全色成分で共通と判断された場合は、イント ラ符号ィ匕モード 0(34a)、変換ブロックサイズ識別フラグ 0(32a)、イントラ予測モード 0(35 a)を、 C1および C2成分で用いる符号ィ匕情報として設定する (ステップ S29、 S30)。図 17 はマクロブロック単位の処理を図示しており、ステップ S29の判断に用いるイントラ符 号化モード共通化識別フラグ 33は、図 17の STARTのプロセスに入る前に、スライス 以上のレイヤレベルで可変長復号部 25によってビットストリーム 22から読み出されて いるものとする。
[0069] 図 17におけるステップ S29にてイントラ符号化'予測モード情報が各色成分ごとに符 号化と判断された場合は、続くステップ S31〜S38のプロセスにおいて、 C1および C2 成分用のイントラ符号化'予測モード情報を復号する。以上の処理過程を経て各色 成分の符号化モード 6が確定し、これを空間予測部 2へ出力して、ステップ S39〜S41 にしたがって各色成分のイントラ予測画像を得る。イントラ予測画像を得るプロセスは 図 3、図 4、図 13の手順に従うもので図 11の符号ィ匕装置で行う処理と同じである。
[0070] なお、前述のように、イントラ符号ィ匕モード共通化識別フラグ 33の情報は、符号ィ匕 装置と復号装置の双方であらかじめ何らかの手段で既知となって 、れば、復号装置 は、ビデオのビットストリーム中からその値を解析するのでなぐ例えばあらかじめ固 定の値で復号を行うように構成してもよ 、し、ビデオのビットストリームとは別に伝送し てもよい。
[0071] 従来の映像符号ィ匕標準で採用されてきた 4 : 2 : 0フォーマットでは、色空間の定義 が Y、 Cb、 Crに固定されていた力 4 :4 :4フォーマットでは Y、 Cb、 Crに限定せず多 様な色空間を利用することができる。図 15や図 16のようにイントラマクロブロックの符 号化情報を構成することで、入力映像信号 1の色空間の定義や映像信号の性質に 応じて最適な符号ィ匕処理を行えるとともに、力 うな符号ィ匕処理の結果得られるビット ストリームを一意に解釈して映像復号再生処理を行うことができる。
[0072] 実施の形態 3.
本実施の形態 3では、図 11の符号化装置、図 12の復号装置の別の構成例を示す 。本符号化装置、復号装置は実施の形態 1と同様、非特許文献 1である MPEG-4 AV C0SO/IEC 14496-10)/ITU-T H.264規格で採用される符号化方式をベースとして、 本発明に固有の特徴を付与したものとする。本実施の形態 3における映像符号ィ匕装 置は、図 11で説明した実施の形態 2の符号ィ匕装置のうち、可変長符号化部 11のみ が異なる。本実施の形態 3における映像復号装置は、図 12で説明した実施の形態 2 の復号装置のうち、可変長復号部 25のみが異なる。他は実施の形態 2と同様の動作 とし、ここでは差異部分のみを説明する。
[0073] 1.符 化 優におけるイントラ予沏 Iモード情 ¾の符 化丰順
実施の形態 2の符号化装置においては、その可変長符号化部 11では、イントラ Nx N予測モードの情報について、ビットストリーム上のデータ配列は示した力 特にその 符号ィ匕手順を示さなカゝつた。本実施の形態では、その符号ィ匕手順の具体的な方法 を示す。本実施の形態では特に、イントラ NxN予測モードの値が色成分間で高い相 関を有する場合を考慮し、各色成分で得られたイントラ NxN予測モードについて、色 成分間での値の相関を利用したエントロピー符号ィ匕を行う点に特徴がある。
[0074] 以下の説明では、図 16の形式のビットストリーム配列を前提とする。また、説明の簡 略化のため、イントラ符号ィ匕モード共通化識別フラグ 33の値は、イントラ符号ィ匕モー ドを C0、 Cl、 C2で共通化する、と設定し、イントラ符号ィ匕モードをイントラ NxN予測モ ード、変換ブロックサイズ 0〜2を 4x4ブロックであるとする。この際、イントラ予測モード 0〜2(35a〜35c)はすべてイントラ 4x4予測モードになる。図 18〜図 20において、符 号化の対象となるカレントマクロブロックは Xとする。また、その左隣のマクロブロックは マクロブロック A、真上のマクロブロックをマクロブロック Bとする。
[0075] C0、 Cl、 C2の各色成分の符号ィ匕手順の説明図として、図 18〜図 20を用いる。また 、手順のフローチャートを図 21、図 22に示す。
[0076] 図 18はマクロブロック Xの CO成分の様子を示している。ここで、符号化対象の 4x4 ブロックをブロック X、ブロック Xの左、上の 4x4ブロックをそれぞれブロック A、ブロック Bと呼ぶこととする。マクロブロック Xのうち、符号化対象の 4x4ブロックの位置に応じ て 2つのケースがある。 Caselは、符号化対象の 4x4ブロックに対して、その左、上の 4x4ブロックがカレントマクロブロック Xの外、すなわち、マクロブロック Aないしはマク ロブロック Bに属する場合である。 Case2は、符号ィ匕対象の 4x4ブロックに対して、そ の左、上の 4x4ブロックがカレントマクロブロック Xの内部、すなわち、マクロブロック X に属する場合である。いずれに場合にせよ、イントラ 4x4予測モードはマクロブロック X内の個々の 4x4ブロック Xに対して 1つずつ割り当てられ、これを CurrlntraPredMod eとする。また、ブロック Aのイントラ 4x4予測モードを IntraPredModeA、ブロック Bのィ ントラ 4x4予測モードを IntraPredModeBとする。 IntraPredModeA、 IntraPredModeBは ともに、ブロック Xを符号ィ匕する時点ではすでに符号ィ匕済みの情報である。あるブロッ ク Xのイントラ 4x4予測モードを符号ィ匕するにあたり、まずこれらのパラメータの割り当 てを行う (図 21におけるステップ S50)。
[0077] 次に、ブロック Xの CurrlntraPredModeに対する予測値 predCurrlntraPredModeを 下式で定める (ステップ S51)。
predCurrlntraPredMode = iin、 IntraPredModeA, IntraPredModeB )
[0078] 次に、 CO成分の CurrlntraPredModeの符号化を行う。ここでは、 CurrlntraPredMod e = predCurrlntraPredModeならば、予測値と同じであることを示す 1ビットのフラグ (pr ev— intra— pred— mode— ilag)を符号ィ匕する。 CurrlntraPredMode != predし urrlntraPredMo deならば、 CurrlntraPredModeと predCurrlntraPredModeを _b匕較して CurrlntraPredMo deのほうが小さい場合、 CurrlntraPredModeをそのまま符号化する。 CurrlntraPredMo deのほうが大き!/、場合、 CurrlntraPredMode-lを符号化する (ステップ S52)。
[0079] iKCurrlntraPredMode == predCurrlntraPredMode) prev— intra— pred— mode— flag = 1； else prev— intra— pred— mode— flag = 0;
il CurrlntraPredMode < predCurrlntraPredMode)
rem— intra— pred— mode = CurrlntraPredMode;
else
rem— intra— pred— mode = CurrlntraPredMode - 1；
Encode prev— intra— pred— mode— flag;
Il prev— intra— pred— mode— flag == 0)
Encode rem— intra— pred— mode;
[0080] 次に、図 19により、 CI成分の符号化手順を示す。まず、 C0成分と同様、ブロック X の位置に応じて、 IntraPredModeA、 IntraPredModeBなどの近傍の符号化パラメータ を設定する (ステップ S53)。
[0081] 次に、ブロック Xの CurrlntraPredModeに対する予測値候補 1 predCurrlntraPredMo delを下式で定める (ステップ S54)。
predCurrlntraPredMode 1 = Min( IntraPredModeA, IntraPredModeB )
[0082] もし CO成分にぉ 、て、 prev_intra_pred_mode_flag= 1ならば、この predCurrlntraPred Modelをそのまま CI成分のブロック Xにおける predCurrlntraPredModeに採用する。 これは以下の理由による。 C0成分の同一ブロック位置で prev_intra_pred_mode_flag= 1が採用されたということは、 C0成分においては近傍画像領域において予測モード間 の相関が高力つたことを意味している。 C0成分と C1成分の間でテクスチャ構造の相 関を除去し切れていない RGB信号などの場合においては、このような場合、 C1成分 においても C0成分と同様、近傍画像領域間に相関が高い可能性がある。したがって 、 C1成分の予測値は C0成分のイントラ 4x4予測モードに依存しな 、と判断する。 [0083] 一方、 CO成分【こお ヽて、 prev— intra— pred— mode— flag =0、すなわち、 rem— intra— pred—m odeを符号化した場合 (ステップ S55)は、 CO成分の CurrlntraPredModeを予測値候補 2とする (ステップ S56)。すなわち、
predCurrIntraPredMode2 =し urrlntraPredMode— CO
これを予測値候補とする背景は以下の通りである。 C0成分で rem_intra_pred_modeを 符号ィ匕するということは、 C0成分においては近傍画像領域間でのイントラ予測の相関 が低いことを意味する。その場合、 C1成分でも同様に近傍画像領域間での相関が低 いことが予想され、異なる色成分における同一ブロック位置のイントラ予測モードのほ うが、よりよい予測値を与える可能性がある。
[0084] C1成分のブロック Xにおける CurrlntraPredModeの予測値は最終的に、 predCurrl ntraPredModel力、 predCurrIntraPredMode2のどちらか一方の値として定める (ステツ プ S57)。どちらの値を用いるかは 1ビットのフラグ (pred jkg)で追加符号ィ匕する。ただし 、 pred_flagは、 CurrlntraPredModeが予測値に一致するときだけ符号化し、一致しな Vヽ場合（rem_intra_pred_modeを符号化する場合）予測値は predCurrlntraPredModel を用いる。
[0085] 以上の手順を式で記載すると
Il prev— intra— pred— mode— flag— CO == 1 predCurrlntraPredMode = Min( IntraPredModeA, IntraPredModeB ); else predCurrlntraPredModel = Min( IntraPredModeA, IntraPredModeB );
predCurrIntraPredMode2 = CurrlntraPredMode— CO;
il CurrlntraPredMode == predCurrlntraPredModel ) prev— intra— pred— mode— flag = 1;
predjag = 0; II予測値候補 1を使う else ii(CurrIntraPredMode == predCurrIntraPredMode2 ) prev— intra— pred— mode— flag = 1;
predjag = 1; //予測値候補 2を使う else prev— intra— pred— mode— flag = 0;
ii( CurrlntraPredModeく predCurrlntraPredModel )
rem— intra— pred— mode = CurrlntraPredMode;
else
rem— intra— pred— mode = CurrlntraPredMode - 1;
Encode prev— intra— pred— mode— flag；
ii(prev— intra— pred— mode— flag == 1)
Encode pred— flag;
else II Ii(prev— intra— pred— mode— flag == 0)
Encode rem— intra— pred— mode；
となる。結果、 prev— intra— pred— mode— flag、 pred— flag、 rem— intra— pred— mode力符号ィ匕ァ ータとして符号化される (ステップ S58)。
[0086] 次に、図 20により、 C2成分の符号化手順を示す。まず、 C0、 C1成分と同様、ブロッ ク Xの位置に応じて、 IntraPredModeA、 IntraPredModeBなどの近傍の符号化パラメ ータを設定する (ステップ S59)。
[0087] 次に、ブロック Xの CurrlntraPredModeに対する予測値候補 1 predCurrlntraPredMo delを下式で定める (ステップ S60)。
predCurrlntraPredModel = Min( IntraPredModeA, IntraPredModeB ) [0088] もし C0、 CI成分の両方にぉ 、て、 prev_intra_pred_mode_flag= 1ならば、この predCu rrlntraPredModelをそのまま C1成分のブロック Xにおける predCurrlntraPredModeに 採用する。これは以下の理由による。 C0、 C1成分の同一ブロック位置で prev_intra_pr ed_mode_flag= lが採用されたということは、 C0、 C1成分においては近傍画像領域に おいて予測モード間の相関が高力つたことを意味している。 C0、 C1成分と C2成分の 間でテクスチャ構造の相関を除去し切れて ヽな ヽ RGB信号などの場合にぉ 、ては、 このような場合、 C2成分においても C0、 C1成分と同様、近傍画像領域間に相関が高 い可能性がある。したがって、 C2成分の予測値は C0、 C1成分のイントラ 4x4予測モ ードに依存しな!ヽと判断する。
[0089] 一方、 COな ヽしは C1成分にぉ 、て、 prev_intra_pred_mode_flag=0、すなわち、 remj ntra_pred_modeを符号化した場合 (ステップ S61)は、 COな!、しは C1成分の CurrlntraP redModeを予測値候補 2とする (ステップ S62)。すなわち、
Il prev— intra— pred— mode— flag— CO == 0 &.&. pred— intra— pred— mode— flag— Cl == 1 predCurrIntraPredMode2 = CurrlntraPredMode— CO;
else il prev— intra— pred— mode— flag— CO == 1 &.&. pred— intra— pred— mode— flag— Cl == 0 )pre dCurrIntraPredMode2 = CurrlntraPredMode— Cl;
else
predCurrIntraPredMode2 = CurrlntraPredMode— Cl;
これを予測値候補とする背景は以下の通りである。 C0な 、しは C1成分で rem_intra_pr edjnodeを符号ィ匕すると 、うことは、 C0な 、しは C1成分にぉ 、ては近傍画像領域間 でのイントラ予測の相関が低いことを意味する。その場合、 C2成分でも同様に近傍画 像領域間での相関が低いことが予想され、異なる色成分における同一ブロック位置 のイントラ予測モードのほうが、よりよい予測値を与える可能性がある。また、この考え 方によれば、 C0、 Cl成分ともに remjntra_pred_modeを符号化する場合には、 C0、 Cl の両方のカレントイントラ予測モードが予測値の候補となりうる力 ここでは、 C1成分 のカレントイントラ予測モードを予測値として採用する。その理由は、 YUV色空間が入 力される場合、 C0は輝度、 C1/C2は色差として扱われる可能性が高ぐその場合、 C 0よりも C1のほうがより C2の予測モードに近いと考えられるからである。 RGB色空間入 力の場合においては、 COを選ぶか C1を選ぶかはそれほど大きなファクタにはならず 、一般的に C1成分を予測値に採用するのは妥当と考えられる (設計により C2成分を 予測値に採用してもよい)。
[0090] C2成分のブロック Xにおける CurrlntraPredModeの予測値は最終的に、 predCurrl ntraPredModel力、 predCurrIntraPredMode2のどちらか一方の値として定める (ステツ プ S63)。どちらの値を用いるかは 1ビットのフラグ (predjlag)で追加符号化する。
[0091] 以上の手順を式で記載すると
Ii( prev— intra— pred— mode— flag— CO == 1 && prev— intra— pred— mode— flag == 1 ) predCurrlntraPredMode = Min( IntraPredModeA, IntraPredModeB ); else predCurrlntraPredMode 1 = Min( IntraPredModeA, IntraPredModeB );
Ii( prev— intra— pred— mode— flag— CO == 0 && pred— intra— pred— mode— flag— CI == 1 ) predCurrIntraPredMode2 = CurrlntraPredMode— CO;
else ii(prev— intra— pred— mode— flag— CO == 1 && pred— intra— pred— mode— flag— CI == 0 )pre dCurrIntraPredMode2 = CurrlntraPredMode— CI ;
else
predCurrIntraPredMode2 = CurrlntraPredMode— CI ;
ii( CurrlntraPredMode == predCurrlntraPredMode 1 ) prev— intra— pred— mode— flag = 1 ;
predjag = 0; 〃予測値候補 1を使う else ii(CurrIntraPredMode == predCurrIntraPredMode2 ) prev— intra— pred— mode— flag = 1 ; predjag = 1; //予測値候補 2を使う
prev— intra— pred— mode— flag = 0;
il( CurrlntraPredModeく predCurrlntraPredModel )
rem— intra— pred— mode = CurrlntraPredMode;
else
rem— intra— pred— mode = CurrlntraPredMode - 1；
Encode prev— intra— pred— mode— flag；
il(prev— intra— pred— mode— flag == 1)
Encode pred— flag;
else 11 Il prev— intra— pred— mode— flag == 0)
Encode rem— intra— pred— mode；
となる。結果、 prev— intra— pred— mode— flag、 pred— flag、 rem— intra— pred— mode力 S符号ィ匕ァ ータとして符号ィ匕される (ステップ S64)。
[0092] 以上のベた符号化手順は、イントラ 8x8予測モードに対しても同様に定義できる。ィ ントラ NxN予測モードをこのような手順で符号ィ匕することにより、他の色成分において 選択される予測モードとの間の相関を利用することができ、予測モード自体の符号量 を削減して、符号ィ匕効率を向上することができる。
[0093] 図 21と図 22の違いは、 MBあたりのイントラ予測モードの符号化処理を各色成分ご とに分離して行うか、まとめて行うかの違いである。図 21の場合は 4x4ブロックの単位 で各色成分の符号ィ匕が行われ、それらを 16パターン集めたものがビットストリームに 配列される（ステップ S65)。図 22の場合は、各色成分の 16個の 4x4ブロックがまとめ て符号化され、それを色成分別にビットストリームに配列した形態になる (ステップ S66 、 S67、 S68)。 なお、上記述べた手順では、 predjagは、 prev_intra_pred_mode_flagカ^のときのみ 有効な情報としている力 prev_intra_pred_mode_flag力 の場合も包含するように定め てもよい。すなわち、例えば、 C1成分の例をとると、
Ii( prev— intra— pred— mode— flag— CO == 1 ) predCurrlntraPredMode = Min( IntraPredModeA, IntraPredModeB );
ii( CurrlntraPredMode == predCurrlntraPredMode ) prev— intra— pred— mode— flag = 1;
Else{
ii( CurrlntraPredModeく predCurrlntraPredMode )
rem— intra— pred— mode = CurrlntraPredMode;
else
rem— intra— pred— mode = CurrlntraPredMode - 1;
else predCurrlntraPredModel = Min( IntraPredModeA, IntraPredModeB );
predCurrIntraPredMode2 = CurrlntraPredMode— CO;
ii( CurrlntraPredMode == predCurrlntraPredModel ) prev— intra— pred— mode— flag = 1;
predjag = 0; 〃予測値候補 1を使う else ii(CurrIntraPredMode == predCurrIntraPredMode2 ) prev— intra— pred— mode— flag = 1;
predjag = 1; 〃予測値候補 2を使う else prev— intra— pred— mode— flag = 0;
ii( I CurrlntraPredMode - predCurrlntraPredModel |く
I CurrlntraPredMode predCurrIntraPredMode2 | ) pred— flag = 0;
predCurrlntraPredMode = predCurrlntraPredModel ;
Else pred— flag = 1;
predCurrlntraPredMode = predCurrIntraPredMode2； ii( CurrlntraPredModeく predCurrlntraPredMode ) rem— intra— pred— mode = CurrlntraPredMode;
else
rem— intra— pred— mode = CurrlntraPredMode - 1;
Encode prev— intra— pred— mode— flag；
Ii(prev— intra— pred— mode— flag— CO == 0)
Encode pred— flag;
Ii(prev— intra— pred— mode— flag == 0)
Encode rem— intra— pred— mode； のような手順で符号ィ匕するように構成してもよい。この方法では、 CO成分の同一位置 のブロックにおけるイントラ予測モードにおいて rem_intra_pred_modeを符号化する場 合には常時 predjlagを符号化することになる力 prev_intra_pred_mode_flag = 0の場合 でもより精度のよい予測値を使用することができ、符号ィ匕効率の改善が期待できる。 また、さらに進めて、 CO成分の同一位置のブロックにおけるイントラ予測モードにおい て rem_intra_pred_modeを符号化するかどうかに依存せず、 pred_flagを符号化するよう に構成してもよ 、。この場合は常時 CO成分のイントラ予測モードを予測値候補として 使用することになる。
すなわち、この場合の式は以下のようになる。
predCurrlntraPredMode 1 = Min( IntraPredModeA, IntraPredModeB );
predCurrIntraPredMode2 = CurrlntraPredMode— CO;
il( CurrlntraPredMode == predCurrlntraPredMode 1 ) prev— intra— pred— mode— flag = 1;
predjag = 0; II予測値候補 1を使う else il CurrIntraPredMode == predCurrIntraPredMode2 ) prev— intra— pred— mode— flag = 1;
predjag = 1; //予測値候補 2を使う else prev— intra— pred— mode— flag = 0;
il( I CurrlntraPredMode - predCurrlntraPredMode 1 | <
I CurrlntraPredMode predCurr!ntraPredMode2 | ) pred— flag = 0; predCurrlntraPredMode = predCurrlntraPredModel ;
Else pred— flag = 1;
predCurrlntraPredMode = predCurrIntraPredMode2； il CurrlntraPredMode < predCurrlntraPredMode )
rem— intra— pred— mode = CurrlntraPredMode;
else
rem— intra— pred— mode = CurrlntraPredMode - 1;
Encode prev— intra— pred— mode— flag；
Encode pred— flag;
Il prev— intra— pred— mode— flag == 0)
Encode rem— intra— pred— mode；
[0096] なお、 pred_flagは、 4x4ブロック単位でなぐマクロブロックやシーケンスの単位で設 定するようにしてもよい。マクロブロック単位で設定する場合は、マクロブロック内のす ベての 4x4ブロックにつ!/、て、予測値候補 1な 、しは予測値候補 2のどちらを使うかを 共通化するので、 pred_flagとして伝送するオーバヘッド情報をさらに削減できる。また 、入力色空間定義に応じて予測値候補 1ないしは予測値候補 2のどちらを使うかを定 めるために、シーケンスの単位で定めるようにすることもできる。この場合はマクロブロ ックごとにも pred Jkgを伝送する必要がなくなり、さらにオーバヘッド情報を削減できる
[0097] 2.街号装置におけるイントラ予沏 Iモード情報の街号手順
実施の形態 2の復号装置においては、その可変長復号部 25では、イントラ NxN予 測モードの情報について、ビットストリーム上のデータ配列は示した力 特にその復号 手順を示さなカゝつた。本実施の形態 3では、その復号手順の具体的な方法を示す。 本実施の形態 3では特に、イントラ NxN予測モードの値が色成分間で高 、相関を有 する場合を考慮し、各色成分で得られたイントラ NxN予測モードについて、色成分 間での値の相関を利用したエントロピー符号ィ匕が行われたビットストリームを復号する 点に特徴がある。
[0098] 以下の説明では、図 16の形式のビットストリーム配列を前提とする。また、説明をィ ントラ予測モードの復号手順に限定するため、ビットストリーム中のイントラ符号ィ匕モ ード共通化識別フラグ 33の値は、イントラ符号ィ匕モードを C0、 Cl、 C2で共通化する、 と設定されているものとする。また、イントラ符号ィ匕モードはイントラ NxN予測モード、 変換ブロックサイズ 0〜2は 4x4ブロックが指定されているものとする。この際、イントラ 予測モード 0〜2(35a〜35c)はすべてイントラ 4x4予測モードになる。符号化装置と同 様、復号装置においても、図 18〜図 20の関係を用いる。復号装置では、復号の対 象となるカレントマクロブロックを Xとする。また、その左隣のマクロブロックはマクロブ ロック A、真上のマクロブロックをマクロブロック Bとする。復号手順のフローチャートを 図 23に示す。図 23において、図 21、図 22と同じ番号を付与したステップは符号化 装置の処理と同じ処理を実行することを示す。
[0099] 図 18はマクロブロック Xの CO成分の様子を示している。マクロブロック Xのうち、復号 対象の 4x4ブロックの位置に応じて 2つのケースがある。 Caselは、復号対象の 4x4 ブロックに対して、その左、上の 4x4ブロックがカレントマクロブロック Xの外、すなわち 、マクロブロック Aないしはマクロブロック B〖こ属する場合である。 Case2は、復号対象 の 4x4ブロックに対して、その左、上の 4x4ブロックがカレントマクロブロック Xの内部、 すなわち、マクロブロック Xに属する場合である。ここで、復号対象の 4x4ブロックをブ ロック X、ブロック Xの左、上の 4x4ブロックをそれぞれブロック A、ブロック Bと呼ぶこと とする。いずれに場合にせよ、イントラ 4x4予測モードはマクロブロック X内の個々の 4 x4ブロック Xに対して 1つずつ割り当てられ、これを CurrlntraPredModeとする。また、 ブロック Aのイントラ 4x4予測モードを IntraPredModeA、ブロック Bのイントラ 4x4予測 モードを IntraPredModeBとする。 IntraPredModeA、 IntraPredModeBはともに、ブロック Xを符号ィ匕する時点ではすでに復号済みの情報である。あるブロック Xのイントラ 4x4 予測モードを復号するにあたり、まずこれらのパラメータの割り当てを行う (ステップ S5 0)。
[0100] 次に、ブロック Xの CurrlntraPredModeに対する予測値 predCurrlntraPredModeを 下式で定める (ステップ S51)。
predCurrlntraPredMode = Kiin、 IntraPredModeA, IntraPredMoaeB )
[0101] 次に、 CurrlntraPredMode = predCurrlntraPredModeであるかどうかを示す 1ビットの フフグ (prev— intra— pred— mode— flag)を復号する。 prev— intra— pred— mode— flag = liま、 Currl ntraPredMode = predCurrlntraPredModeであることを意味する。さもなくば (prev— intra— pred_mode_flag = 0)、 rem_intra_pred_modeの†青報をビットストリーム中力ら復号する。 r em— intra— pred— moaeと predCurrlntraPredModeを《b匕 ¾ζして rem— intra— pred— modeの方力 ,J、さい場合、 CurrlntraPredMode = rem— intra— pred— modeとする。 CurrlntraPredMode の方が大きい場合、 CurrlntraPredMode = rem_intra_pred_mode + 1とする (ステップ S6 5)。
[0102] これらの手順をまとめると以下のようになる。
predCurrlntraPredMode = Kiin、 IntraPredModeA, IntraPredMoaeB );
Decode prev— intra— pred— mode— flag;
ii(prev— intra— pred— mode— flag == 1)
CurrlntraPredMode == predCurrlntraPredMode; else
Decode rem— intra— pred— mode;
ii(rem— intra— pred— modeく predCurrlntraPredMode )
CurrlntraPredMode = rem— intra— pred— mode;
else
CurrlntraPredMode = rem— intra— pred— mode + 1;
[0103] 次に、図 19により、 CI成分の復号手順を示す。まず、 C0成分と同様、ブロック Xの 位置に応じて、 IntraPredModeA、 IntraPredModeBなどの近傍の符号化パラメータを 設定する (ステップ S53)。
[0104] 次に、ブロック Xの CurrlntraPredModeに対する予測値候補 1 predCurrlntraPredMo delを下式で定める (ステップ S54)。
predCurrlntraPredMode 1 = Min( IntraPredModeA, IntraPredModeB )
[0105] もし CO成分において、 prev— intra— pred— mode— flag= lならば、この predCurrlntraPred
Modelをそのまま CI成分のブロック Xにおける predCurrlntraPredModeに採用する。 これは符号ィ匕装置において説明した理由と同様である。
[0106] 一方、し 0成分【こお ヽ H、 prev— intra— prea— mode— flag =0、すなわ 、 rem— intra— pred— m odeを復号した場合 (ステップ S55)は、 CO成分の CurrlntraPredModeを予測値候補 2 とする (ステップ S56)。すなわち、
predCurrIntraPredMode2 =し urrlntraPredMode— CO
これを予測値候補とする背景も符号ィ匕装置において説明した理由と同様である。
[0107] C1成分のブロック Xにおける CurrlntraPredModeの予測値は最終的に、 predCurrl ntraPredModel力、 predCurrIntraPredMode2のどちらか一方の値として定める (ステツ プ S57)。どちらの値を用いるかは 1ビットのフラグ (precLflag)を復号して定める。ただし 、 precLflagは、 CurrlntraPredModeが予測値に一致するときだけ復号し、一致しない 場合（rem_intra_pred_modeを復号する場合）予測値は predCurrlntraPredModelを用 いる。
[0108」 予測値候袖上、予測値候ネ闬 2、 prev— intra— pred— mode— flag、 pred— flag、 rem— intra— pred— modeが与えられた上で、以下の手順により、 CurrlntraPredModeを復号する (ステップ S66)。
ιί( prev— intra— pred— mode— flag— CO == 1 ) precLflag = 0; IIこのときは precLflagはビットストリームには含まれない predCurrlntraPredMode = Min( IntraPredModeA, IntraPredModeB );
Decode prev— intra— pred— mode— flag;
il prev— intra— pred— mode— flag == 1) CurrlntraPredMode == predCurrlntraPredMode; else
Decode rem— intra— pred— mode;
ii(rem— intra— pred— modeく predCurrlntraPredMode )
CurrlntraPredMode = rem— intra— pred— mode;
else
CurrlntraPredMode = rem— intra— pred— mode + 1 ;
else predCurrlntraPredModel = Min( IntraPredModeA, IntraPredModeB ); predCurrIntraPredMode2 = CurrlntraPredMode— CO;
Decode prev— intra— pred— mode— flag
ii(prev— intra— pred— mode— flag == 1)
Decode pred— flag;
Ii( pred— flag == 0 )
predCurrlntraPredMode = predCurrlntraPredModel ;
Else
predCurrlntraPredMode = predCurrIntraPredMode2；
CurrlntraPredMode == predCurrlntraPredMode; else predCurrlntraPredMode = predCurrlntraPredMode 1 ;
Decode rem— intra— pred— mode;
il rem— intra— pred— mode < predCurrlntraPredMode )
CurrlntraPredMode = rem— intra— pred— mode;
else
CurrlntraPredMode = rem— intra— pred— mode + 1；
[0109] 次に、図 20により、 C2成分の復号手順を示す。まず、 C0、 C1成分と同様、ブロック Xの位置に応じて、 IntraPredModeA、 IntraPredModeBなどの近傍の符号化パラメ一 タを設定する (ステップ S59)。
[0110] 次に、ブロック Xの CurrlntraPredModeに対する予測値候補 1 predCurrlntraPredMo delを下式で定める (ステップ S60)。
predCurrlntraPredMode 1 = Min( IntraPredModeA, IntraPredModeB )
[0111] もし C0、 CI成分の両方において、 prev_intra_pred_mode_flag= lならば、この predCu rrlntraPredModelをそのまま CI成分のブロック Xにおける predCurrlntraPredModeに 採用する。これは符号ィ匕装置において説明した理由と同様である。
[0112] 一方、 C0ないしは C1成分において、 prev_intra_pred_mode_flag=0、すなわち、 remj ntra_pred_modeを復号した場合 (ステップ S61)は、 C0な ヽしは C1成分の CurrlntraPre dModeを予測値候補 2とする (ステップ S62)。
[0113] すなわち、
Il prev— intra— pred— mode— flag— CO == 0 &.&. pred— intra— pred— mode— flag— Cl == 1 predCurrIntraPredMode2 = CurrlntraPredMode— CO;
else il prev— intra— pred— mode— flag— CO == 1 &.&. pred— intra— pred— mode— flag— Cl == 0 )pre dCurrIntraPredMode2 = CurrlntraPredMode— Cl;
else
predCurrIntraPredMode2 = CurrlntraPredMode— Cl;
これを予測値候補とする背景も符号ィ匕装置において説明した理由と同様である。 [0114] C2成分のブロック Xにおける CurrlntraPredModeの予測値は最終的に、 predCurrl ntraPredModel力、 predCurrIntraPredMode2のどちらか一方の値として定める (ステツ プ S63)。どちらの値を用いるかは 1ビットのフラグ (predjlag)を復号して定める。ただし 、 predjagは、 CurrlntraPredModeが予測値に一致するときだけ復号し、一致しない 場合（rem_intra_pred_modeを復号する場合）は、予測値は predCurrlntraPredModelを 用いる。
[011ΰ」 予測値候袖丄、予測値候ネ B2、 prev— intra— pred— mode— flag、 pred— flag、 rem— intra— pred— modeが与えられた上で、以下の手順により、 CurrlntraPredModeを復号する (ステップ S71)0
if(prev— intra— pred— moae— flag—し 0 == 1 && prev— intra— pred— moae— flag—し 1 == 1 ) predjlag = 0; IIこのときは predjlagはビットストリームには含まれない predCurrlntraPredMode = Min( IntraPredModeA, IntraPredModeB );
Decode prev— intra— pred— mode— flag
ii(prev— intra— pred— mode— flag == 1)
CurrlntraPredMode == predCurrlntraPredMode; else
Decode rem— intra— pred— mode;
ii(rem— intra— pred— modeく predCurrlntraPredMode )
CurrlntraPredMode = rem— intra— pred— mode;
else
CurrlntraPredMode = rem— intra— pred— mode + 1;
else predCurrlntraPredModel = Min( IntraPredModeA, IntraPredModeB );
Ii( prev— intra— pred— mode— flag— CO == 0 && pred— intra— pred— mode— flag— CI == 1 ) predCurrIntraPredMode2 = CurrlntraPredMode— CO;
else ii(prev— intra— pred— mode— flag— CO == 1 && pred— intra— pred— mode— flag— CI == 0 )pre dCurrIntraPredMode2 = CurrlntraPredMode— CI;
else
predCurrIntraPredMode2 = CurrlntraPredMode— CI;
Decode prev— intra— pred— mode— flag
ii(prev— intra— pred— mode— flag == 1)
Decode pred— flag;
I pred— flag == 0 )
predCurrlntraPredMode = predCurrlntraPredModel ;
Else
predCurrlntraPredMode = predCurrIntraPredMode2；
CurrlntraPredMode == predCurrlntraPredMode; else predCurrlntraPredMode = predCurrlntraPredModel ;
Decode rem— intra— pred— mode;
ii(rem— intra— pred— modeく predCurrlntraPredMode )
CurrlntraPredMode = rem— intra— pred— mode;
else
CurrlntraPredMode = rem— intra— pred— mode + 1; [0116] 以上のベた復号手順は、イントラ 8x8予測モードに対しても同様に定義できる。イン トラ NxN予測モードをこのような手順で復号することにより、他の色成分において選 択される予測モードとの間の相関を利用して、予測モード自体の符号量を削減し、符 号化効率を向上させたビットストリームを復号することができる。
[0117] なお、上記述べた手順では、 predjagは、 prev_intra_pred_mode_flag力^となってい る場合にのみ復号される情報としている力 prev_intra_pred_mode_flagが 0の場合も包 含する情報として復号するようにしてもよ!ヽ。
[0118] すなわち、例えば、 C1成分の例をとると、
ii( prev— intra— pred— mode— flag— CO == 1 ) predCurrlntraPredMode = Min( IntraPredModeA, IntraPredModeB ); Decode prev— intra— pred— mode— flag
ii(prev— intra— pred— mode— flag == 1)
CurrlntraPredMode == predCurrlntraPredMode; else
Decode rem— intra— pred— mode;
ii(rem— intra— pred— modeく predCurrlntraPredMode )
CurrlntraPredMode = rem— intra— pred— mode;
else
CurrlntraPredMode = rem— intra— pred— mode + 1;
else predCurrlntraPredModel = Min( IntraPredModeA, IntraPredModeB ); predCurrIntraPredMode2 = CurrlntraPredMode— CO;
Decode prev— intra— pred— mode— flag
Decode pred— flag;
Ii( pred— flag == 0 )
predCurrlntraPredMode = predCurrlntraPredModel ;
Else
predCurrlntraPredMode = predCurrIntraPredMode2；
ii(prev— intra— pred— mode— flag == 1)
CurrlntraPredMode == predCurrlntraPredMode; else
Decode rem— intra— pred— mode;
ii(rem— intra— pred— modeく predCurrlntraPredMode )
CurrlntraPredMode = rem— intra— pred— mode;
else
CurrlntraPredMode = rem— intra— pred— mode + 1;
のような手順で復号するように構成してもよ!/、。この方法の効果は対応する符号化装 置側での符号化手順の記載中に述べたとおりである。また、さらに進めて、 C0成分の 同一位置のブロックにおけるイントラ予測モードにおいて rem_intra_pred_modeを復号 するかどうかに依存せず、 predjkgを復号するように構成してもよい。この場合は常時 C0成分のイントラ予測モードを予測値候補として使用することになる。
すなわち、
predCurrlntraPredModel = Min( IntraPredModeA, IntraPredModeB );
predCurrIntraPredMode2 = CurrlntraPredMode— CO; Decode prev— intra— pred— mode— flag;
Decode pred_flag;
IK pred— flag == 0 )
predCurrlntraPredMode = predCurrlntraPredModel ;
Else
predCurrlntraPredMode = predCurrIntraPredMode2；
il prev— intra— pred— mode— flag == 1)
CurrlntraPredMode == predCurrlntraPredMode; else
Decode rem— intra— pred— mode;
il rem— intra— pred— mode < predCurrlntraPredMode )
CurrlntraPredMode = rem— intra— pred— mode;
else
CurrlntraPredMode = rem— intra— pred— mode + 1； となる。
[0120] なお、符号化装置の説明で述べたように、 pred _flagは、 4x4ブロック単位でなく、マ クロブロックやシーケンスの単位でビットストリームに含まれて 、てもよ 、。マクロブロッ ク単位で設定する場合は、マクロブロック内のすべての 4x4ブロックについて、予測 値候補 1な 、しは予測値候補 2のどちらを使うかを共通化するので、復号する predjk gのオーバヘッド情報が削減される。また、入力色空間定義に応じて予測値候補 1な いしは予測値候補 2のどちらを使うかを定めるために、シーケンスの単位で定めるよう にすることもできる。この場合はマクロブロックごとにも pred _flagを伝送する必要がなく なり、さらにオーバヘッド情報を削減される。
[0121] 実施の形態 4. 実施の形態 2にて図 16の形式のビットストリームについて説明した。実施の形態 2で は、イントラ符号ィ匕モードが「イントラ NxN予測」を示している場合、変換ブロックサイズ 識別フラグ 0〜2(32a〜32c)の値に応じて、 C0、 Cl、 C2各色成分のイントラ予測モード 力 Sイントラ 4x4予測モードか、イントラ 8x8予測モードと認識されることを述べた。本実施 の形態 4では、このビットストリーム配列を変更して図 24に示すように、 Cl、 C2成分に ついて、イントラ予測モード指示フラグ 1、 2(36a,36b)をシーケンスレベルで伝送する ように構成する。イントラ予測モード指示フラグは、イントラ符号ィ匕モードにおいてイン トラ NxN予測モードが選択される場合で、かつ変換ブロックサイズ識別フラグが 4x4変 換を指示している場合、すなわちイントラ 4x4予測モードの場合に有効であって、この 値に応じて、以下の 2つの状態を切り替えることを可能とする。
状態 1 : C1ないしは C2成分に対しても、使用するイントラ 4x4予測モードは図 3の 9つ 力 個別に選択し符号ィ匕する。
状態 2 : C1ないしは C2成分に対しては、使用するイントラ 4x4予測モードを DC予測、 つまり図 3の intra4x4_pred_mode = 2に限定し、イントラ予測モード情報を符号化しな い。
[0122] 例えば、 Y、 Cb、 Crのような色空間で符号ィ匕を行う場合で、 HDTV以上などの高解 像度映像の場合、 4x4ブロックはきわめて小さい画像領域に対応する。このとき、特に Cb、 Cr成分と 、つた画像のテクスチャ構造を保持して 、な 、成分に対して 9つもの予 測モードを選択する余地を与えるよりも、予測モード情報自体を 1つに固定ィ匕してォ ーバヘッドとなる予測モード情報を伝送しな 、ほうが効率的な場合がある。このような ビットストリーム配列を行うことによって、入力色空間の性質や映像の特性に応じた最 適な符号ィ匕が可能になる。
[0123] 図 24の形式のビットストリームを受ける復号装置は、可変長復号部 25においてイン トラ予測モード指示フラグ (36a,36b)を復号し、その値によって、ビットストリームが状態 1で符号化されて ヽるか、状態 2で符号化されて ヽるかを識別するように構成しておく 。これによつて、 C1ないしは C2成分に対して、ビットストリーム力もイントラ 4x4予測モ 一ドを復号して使用する力、 DC予測つまり図 3の intra4x4_pred_mode = 2を固定的に 適用するかを判断する。 [0124] また、本実施の形態 4では、状態 2は、 C1な!、しは C2成分に対して、 intra4x4_pred_ mode = 2に限定するとした力 予測モード情報を 1つに固定すればよぐ他の予測モ ードでもよい。また、状態 2は、 C1ないしは C2成分に対して、 COと同じイントラ 4x4予測 モードを使用する、というように定めてもよい。この場合も、 C1ないしは C2成分につい てはイントラ 4x4予測モードを符号ィ匕する必要がないのでオーバヘッドビットを削減で きる。
[0125] 実施の形態 5.
本実施の形態 5では、図 11の符号化装置、図 12の復号装置の別の構成例を示す 。本実施の形態 5における符号化装置、復号装置は上記の他の実施の形態と同様、 非特許文献 1である MPEG-4 AVC(ISO/IEC 14496-10)/ITU- T H.264規格で採用さ れる符号ィ匕方式をベースとして、本発明に固有の特徴を付与したものとする。本実施 の形態 5における映像符号ィ匕装置は、実施の形態 2、 3で説明した図 11の符号ィ匕装 置の構成のうち、可変長符号ィ匕部 11の動作のみが異なる。本実施の形態 5における 映像復号装置は、実施の形態 2、 3で説明した図 12の復号装置の構成のうち、可変 長復号部 25の動作のみが異なる。他は実施の形態 2、 3と同様の動作とし、ここでは 差異部分のみを説明する。
[0126] 1.符 化 優におけるイントラ予沏 Iモード情 ¾の符 化丰順
実施の形態 3の符号化装置においては、その可変長符号化部 11では、図 16の形 式によるビットストリームにおいて、イントラ NxN予測モード情報の具体的な符号ィ匕方 法について示した。本実施の形態 5では、その符号ィ匕手順の別の具体的な方法を示 す。本実施の形態 5では特に、イントラ NxN予測モードの値が画像パターンとしてのテ タスチヤの構造を反映することに着目し、同一色成分中の近傍画素領域内で適応的 な予測を行う方法を与える点に特徴がある。以下の説明では、図 16の形式のビットス トリーム配列を前提とする。また、本実施の形態 5では、 C0、 Cl、 C2の各成分のイント ラ NxN予測モード情報の符号ィ匕は色成分ごとに独立に符号ィ匕することとして、 CO成 分の符号化方法を Cl、 C2にも同様に適用するものとし、説明の簡略化のため、 CO成 分についてのみ説明する。イントラ符号ィ匕モード共通化識別フラグ 33の値は、イント ラ符号ィ匕モードを C0、 Cl、 C2で共通化する、と設定し、イントラ符号ィ匕モードをイント ラ NxN予測モード、変換ブロックサイズ識別フラグ 0〜2(32a〜32c)を 4x4ブロックである とする。この際、イントラ予測モード 0〜2(35a〜35c)はすべてイントラ 4x4予測モードに なる。 CO成分のイントラ NxN予測モード情報の符号ィ匕手順の説明図として、図 18を 用いる。図 18において、符号ィ匕の対象となるカレントマクロブロックは Xとする。また、 その左隣のマクロブロック〖まマクロブロック A、真上のマクロブロックをマクロブロック B とする。また、符号ィ匕手順のフローチャートを図 25に示す。
[0127] 実施の形態 3では、図 18において個々の 4x4ブロック Xに対して 1つずつ割り当てら れているイントラ 4x4予測モード CurrlntraPredModeに対する予測値 predCurrlntraPr edModeを、 IntraPredModeA, IntraPredModeBのうち小さいほうの値を一意に割り当 てた。これは、現在の AVC/H.264規格でも採用されている方法であり、イントラ NxN予 測モードの値が大きくなるほど、予測画像生成方式が画像パターンの方向性を加味 した画素補間を伴う複雑なモードになっており、一般的な画像パターンへの適合性 が高 、モードには小さ 、値が割り振られることに起因する。ビットレートが低 、場合に は、歪の増分よりも予測モードの符号量増分のほうがモード選択に大きな影響を及ぼ すため、この方式でも全体の符号ィ匕効率にとっては有益である力 逆に、ビットレート が比較的高い場合は、予測モードの符号量の増分よりも歪の増分のほうがモード選 択に大きな影響を与えることから、かならずしも IntraPredModeA, IntraPredModeBのう ち小さいほうの値が最適とはいえなくなる。このような観察に基づいて、本実施の形態 5では、この予測値設定を、以下に説明するように IntraPredModeA, IntraPredModeB の状態に応じて適応化することで予測値の精度を向上させる。この手順では、画像 パターンとしてみた場合に CurrlntraPredModeをもっともよく推定できると判断される 値として、 IntraPredModeA, IntraPredModeBの状態をもとに predCurrlntraPredMode を定める (ステップ S73,S74,S75)。
[0128] (DlntraPredModeA, IntraPredModeBがともに 0から 2の範囲にあるときは、 MIN(IntraP redModeA, IntraPredModeB)を predCurrlntraPredModeとする。
(2)IntraPredModeA, IntraPredModeBの 、ずれ力が 3以上のときで、 IntraPredModeA, IntraPredModeBの予測の方向がまったく異なるとき（例： IntraPredModeA力^で、 Intr aPredModeB;^4のとき)は、 DC予測 (intra4x4— pred— mode = 2)を predCurrlntraPredMo deとする。
(3)IntraPredModeA, IntraPredModeBのいずれ力が 3以上のときで、予測の方向が同 じとき (例： IntraPredModeA力^で IntraPredModeBが 7のとき 0、ずれも右上からの予測 ))は、画素を補間する予測モード (上述の例では 7)を predCurrlntraPredModeとする。
[0129] なお、実施の开態 3と同様、 IntraPredModeA, IntraPredModeBなど符号化のための 準備処理は事前に行っておく (ステップ S50,S53,S59)。結果、 predCurrlntraPredMode は、 IntraPredModeA, IntraPredModeBの値から一意に導かれる。この予測値設定の 規則をテーブルィ匕したものを図 26に示す。図 26において網がけされた部分は、従 来の MIN(IntraPredModeA, IntraPredModeB)の規則には従わな!/、ケースで、画像パ ターンの連続性力もよりよい予測値が判断されるケースである。上記手順 (1)では、ク ラス 0のテーブルが使用される。（2)、（3)ではクラス 1のテーブルが使用される。
[0130] 以上の結果、 predCurrlntraPredModeが定まった後は、実施の形態 3で述べた C0 成分の残りの符号ィ匕手順を実行することで符号ィ匕を完了する (ステップ S52,S58,S64)
[0131] つまり、
iK.CurrIntraPredMode == predCurrlntraPredMode) prev— intra— pred— mode— flag = 1； else prev— intra— pred— mode— flag = 0;
il CurrlntraPredMode < predCurrlntraPredMode)
rem— intra— pred— mode = CurrlntraPredMode;
else
rem— intra— pred— mode = CurrlntraPredMode - 1；
Encode prev— intra— pred— mode— flag; Il prev— intra— pred— mode— flag == 0)
Encode rem— intra— pred— mode;
となる。
[0132] 以上のベた符号化手順は、イントラ 8x8予測モードに対しても同様に定義できる。ィ ントラ NxN予測モードをこのような手順で符号ィ匕することにより、同一色成分の近傍画 素領域における予測モードの相関をよりよく利用することができ、予測モード自体の 符号量を削減して、符号ィ匕効率を向上することができる。
[0133] 2.街号装置におけるイントラ予沏 Iモード情報の街号手順
実施の形態 3の復号装置においては、図 16の形式によるビットストリームに対して、 可変長復号部 25でのイントラ NxN予測モードの情報の具体的な復号手順の一つを 示した。本実施の形態 5では、復号手順の別の具体的な方法を示す。本実施の形態 5では特に、イントラ NxN予測モードの値が画像パターンとしてのテクスチャの構造を 反映することに着目し、同一色成分中の近傍画素領域内で適応的な予測を行って 符号ィ匕が行われたビットストリームを復号する点に特徴がある。
[0134] 以下の説明では、図 16の形式のビットストリーム配列を前提とする。また、説明の簡 略ィ匕のため、ビットストリーム中のイントラ符号ィ匕モード共通化識別フラグ 33の値は、 イントラ符号ィ匕モードを C0、 Cl、 C2で共通化する、と設定されているものとする。また 、イントラ符号ィ匕モードはイントラ NxN予測モード、変換ブロックサイズ識別フラグ 0〜2 (32a〜32c)は 4x4ブロックが指定されているものとする。この際、イントラ予測モード 0〜 2(35a〜35c)はすべてイントラ 4x4予測モードになる。符号ィ匕装置と同様、復号装置に おいても、図 18の関係を用いて CO成分についてのみ説明する (Cl、 C2は同等の手 順で C0とは独立に復号する)。復号装置では、復号の対象となるカレントマクロブロッ クを Xとする。また、その左隨のマクロブロックはマクロブロック A、真上のマクロブロッ クをマクロブロック Bとする。
[0135] 実施の形態 3では、符号ィ匕装置の説明にも記したように、図 18において個々の 4x4 ブロック Xに対して 1つずつ割り当てられて!/、るイントラ 4x4予測モード CurrlntraPredM odeに対する予測値 predCurrlntraPredModeを、 IntraPredModeA, IntraPredModeB のうち小さいほうの値を一意に割り当てた。これに対し、本実施の形態 5における復号 装置では、 predCurrlntraPredModeを符号化手順に示した手順と全く同じ手順で、図 26のテーブルを用いて決定する。 IntraPredModeA, IntraPredModeBはすでに復号さ れて既知であるため、符号ィ匕手順とまったく同じ処理を行うことが可能である。
[0136] その後の手順は、実施の形態 3に述べた CO成分の復号手順と等価である。まとめる と以下のようになる。
Decode prev— intra— pred— mode— flag;
i prev— intra— pred— mode— flag == 1)
CurrlntraPredMode == predCurrlntraPredMode; else
Decode rem— intra— pred— mode;
il rem— intra— pred— mode < predCurrlntraPredMode )
CurrlntraPredMode = rem— intra— pred— mode;
else
CurrlntraPredMode = rem— intra— pred— mode + 1；
[0137] 以上のベた復号手順は、イントラ 8x8予測モードに対しても同様に定義できる。イン トラ NxN予測モードをこのような手順で復号することにより、同一色成分の近傍画素領 域における予測モードの相関をよりよく利用して、予測モード自体の符号量を削減し た符号ィ匕ビットストリームを復号することができる。
[0138] また、上述の例では図 26のテーブルを固定的に使用して predCurrlntraPredMode を定めて符号化 '復号を行った力 図 26のテーブルを初期値として、 IntraPredMode A, IntraPredModeBの状態に対して最も発生しやす!/、イントラ予測モードを predCurrl ntraPredModeとして逐次更新しながら符号化'復号するように構成してもよい。例え ば、図 26の「クラス =0、 IntraPredModeA =0、 IntraPredModeB = 0、 predCurrlntraPr edMode = 0」なる組み合わせにおいて、上述の実施の形態では IntraPredModeA=0 、 IntraPredModeB = 0の場合には、常に predCurrlntraPredModeを 0とした。しかし、 映像信号自体は非定常信号であるため、映像の内容によっては、この組み合わせが 必ずしもベストである保証はない。最悪の場合、映像全体を通じて、ほとんどのケース で predCurrlntraPredModeが予測値としてヒットしな!、可能性もゼロではな 、。したが つて、例えば、 IntraPredModeA=0、 IntraPredModeB = 0の場合に発生する Currlntr aPredModeの頻度をカウントしておき、 CurrlntraPredModeの符号化 '復号が終わるた びに、 IntraPredModeA、 IntraPredModeBの状態に対して最も発生頻度の高い予測 モードをもって predCurrlntraPredModeを更新するように構成する。このような構成に より、 CurrlntraPredModeの符号化'復号に用いる予測値を映像内容に照らして最適 な値に設定することができる。
[0139] 実施の形態 6.
本実施の形態 6では、図 11の符号化装置、図 12の復号装置の別の構成例を示す 。本実施の形態 6における符号化装置、復号装置は上記の他の実施の形態と同様、 非特許文献 1である MPEG-4 AVC(ISO/IEC 14496-10)/ITU- T H.264規格で採用さ れる符号ィ匕方式をベースとして、本発明に固有の特徴を付与したものとする。本実施 の形態 6における映像符号ィ匕装置は、実施の形態 2、 3、 5で説明した図 11の符号ィ匕 装置の構成のうち、可変長符号ィ匕部 11の動作のみが異なる。本実施の形態 6にお ける映像復号装置は、実施の形態 2、 3、 5で説明した図 12の復号装置の構成のうち 、可変長復号部 25の動作のみが異なる。他は実施の形態 2、 3、 5と同様の動作とし 、ここでは差異部分のみを説明する。
[0140] 1.符号化装置におけるイントラ予測モード情報の符号化丰順
実施の形態 3や実施の形態 5の符号化装置においては、図 16の形式によるビットス トリームについて、イントラ NxN予測モード情報の具体的な符号ィ匕方法について示し た。本実施の形態 6では、その符号化手順の別の具体的な方法を示す。本実施の形 態 6では特に、イントラ NxN予測モードの値が画像パターンとしてのテクスチャの構造 を反映することに着目し、同一色成分中の近傍画素領域内で適応的な算術符号ィ匕 を行う方法を与える点に特徴がある。以下の説明では、図 16の形式のビットストリー ム配列を前提とする。また、本実施の形態 6では、 C0、 Cl、 C2の各成分のイントラ Nx N予測モード情報の符号ィ匕は色成分ごとに独立に符号ィ匕することとして、 CO成分の 符号化方法を Cl、 C2にも同様に適用するものとし、説明の簡略化のため、 CO成分に ついてのみ説明する。イントラ符号ィ匕モード共通化識別フラグ 33の値は、イントラ符 号ィ匕モードを C0、 Cl、 C2で共通化する、と設定し、イントラ符号ィ匕モードをイントラ Nx N予測モード、変換ブロックサイズ識別フラグ 0〜2(32a〜32c)を 4x4ブロックであるとす る。この際、イントラ予測モード 0〜2(35a〜35c)はすべてイントラ 4x4予測モードになる 。 CO成分のイントラ NxN予測モード情報の符号ィ匕手順の説明図として、図 18を用い る。図 18において、符号ィ匕の対象となるカレントマクロブロックは Xとする。また、その 左隨のマクロブロックはマクロブロック A、真上のマクロブロックをマクロブロック Bとする 。符号ィ匕手順のフローチャートを図 27に示す。
[0141] 実施の形態 3、 5では、図 18において個々の 4x4ブロック Xに対して 1つずつ割り当 てられているイントラ 4x4予測モード CurrlntraPredModeに対する予測値 predCurrlntr aPredModeを、 IntraPredModeA, IntraPredModeBのうち小さいほうの値を一意に割り 当て、それと等し 、場合には prevjntra_pred_mode_flagを 1としてブロック Xに対するィ ントラ 4x4予測モードの符号化を打ち切り、異なる場合に、 rem_intra_pred_modeによつ て符号を伝送するように構成した。本実施の形態では、 IntraPredModeA, IntraPredM odeBの状態を利用して CurrlntraPredModeを直接算術符号化する。この際、 AVC/H .264規格に採用されているコンテクスト適応二値算術符号ィ匕に従う符号ィ匕手順を用 いる。
[0142] まず、符号化対象の CurrlntraPredModeを図 28に示す形式にしたがって二値表現 化する (ステップ S76)。二値系列の第 1ビンは、 CurrlntraPredModeが縦方向予測か、 横方向予測かを分類する符号になっている (図 3参照)。この例では、 DC予測 Gntra4x 4_pred_mode = 2)を横方向予測に分類している力 これは縦方向予測に分類するよう に構成してもよい。第 2ビンは、縦方向、横方向のそれぞれで出現頻度が最も高いと 考えられる予測モード値に対して Terminateビットを与える。第 3ビン以降は、残存す る予測モード値の中で出現頻度が高いものから順次 Terminateされるように符号構成 する。（図 28における二値系列構成の第 2ビン以降は実際の画像データ符号ィ匕の過 程でのシンボル発生確率に応じて設定されることが望ましい） [0143] 算術符号ィ匕は、二値系列の各ビンに対し、順次、使用する (0,1)生起確率テーブル を選択しながら実行する。第 1ビンの符号ィ匕では、算術符号ィ匕に用いるコンテクストを 以下のように定める (ステップ S78)。
[0144] コンテクスト ）:イントラ予測モードが縦方向予測か、横方向予測かをバイナリ表
A
現するフラグ intra_pred_direction_flagを IntraPredModeA、 IntraPredModeBに対して 定義し、以下の 4状態をコンテクスト値とする。
し = (intra— pred— direction— flag for IntraPredModeA == 1) + (intra— prea— direction— flag f
A
or IntraPredModeB == 1);
ここで、 intra_pred_direction_flagは例えば図 3にて、 intra4x4_pred_modeが値 0、 3、 5 、 7をとる場合は縦方向予測 (=0)、値 1、 2、 4、 6、 8をとる場合は横方向予測（ = 1) に分類する。 Cの 4状態には、それぞれ、あらかじめ IntraPredModeA, IntraPredMod
A
eBの状態を前提とする CurrlntraPredModeの条件付確率を求めておき、それに基づ いて定まる (0,1)の初期生起確率テーブルを割り当てておく。このようにコンテクストを 構成することで、第 1ビンの条件付生起確率をよりよく推定することが可能となり、算術 符号ィ匕の効率を高めることができる。 Cの値に応じて第 1ビンの生起確率テーブルを
A
選択して算術符号化を実行する。また、符号ィ匕値をもって生起確率テーブルを更新 する (ステップ S79)。
[0145] 第 2ビン以降については、あら力じめ各予測モード値の発生確率に応じて定まる (0, 1)の初期生起確率テーブルを割り当てておく (ステップ S80)。次いで、第 1ビンと同様 に二値算術符号化、生起確率テーブル更新を行う (ステップ S81)。
[0146] 以上のベた符号化手順は、イントラ 8x8予測モードに対しても同様に定義できる。ィ ントラ NxN予測モードをこのような手順で符号ィ匕することにより、同一色成分の近傍画 素領域における予測モードの相関を利用して、予測モード情報の符号化に適応算 術符号ィ匕を適用することができるので、符号ィ匕効率を向上することができる。
[0147] 2.街号装置におけるイントラ予沏 Iモード情報の街号手順
実施の形態 3、 5の復号装置においては、図 16の形式によるビットストリームに対し て、可変長符号部 25でのイントラ NxN予測モードの情報の具体的な復号手順の一つ を示した。本実施の形態 6では、復号手順の別の具体的な方法を示す。本実施の形 態 6では特に、イントラ NxN予測モードの値が画像パターンとしてのテクスチャの構造 を反映することに着目し、同一色成分中の近傍画素領域内で適応的な算術符号ィ匕 を用いて符号ィ匕が行われたビットストリームを復号する点に特徴がある。
[0148] 以下の説明では、図 16の形式のビットストリーム配列を前提とする。また、説明の簡 略ィ匕のため、ビットストリーム中のイントラ符号ィ匕モード共通化識別フラグ 33の値は、 イントラ符号ィ匕モードを C0、 Cl、 C2で共通化する、と設定されているものとする。また 、イントラ符号ィ匕モードはイントラ NxN予測モード、変換ブロックサイズ識別フラグ 0〜2 (32a〜32c)は 4x4ブロックが指定されているものとする。この際、イントラ予測モード 0〜 2(35a〜35c)はすべてイントラ 4x4予測モードになる。符号ィ匕装置と同様、復号装置に おいても、図 18の関係を用いて CO成分についてのみ説明する (Cl、 C2は同等の手 順で COとは独立に復号する)。復号装置では、復号の対象となるカレントマクロブロッ クを Xとする。また、その左隨のマクロブロックはマクロブロック A、真上のマクロブロッ クをマクロブロック Bとする。
[0149] 実施の形態 3、 5では、符号ィ匕装置の説明にも記したように、図 18において個々の 4 x4ブロック Xに対して 1つずつ割り当てられて!/、るイントラ 4x4予測モード CurrlntraPre dModeに対する予測値 predCurrlntraPredModeを、 IntraPredModeA, IntraPredMod eBのうち小さ 、ほうの値を一意に割り当て、 prev_intra_pred_mode_flagを復号してその 値が 1の場合には CurrlntraPredModeとして predCurrlntraPredModeを採用し、 prevjn tra_pred_mode_flagがゼロの場合は、 rem_intra_pred_modeを復号することによってブロ ック Xのイントラ 4x4予測モードを復元するように構成した。これに対し、本実施の形態 6では、 IntraPredModeA, IntraPredModeBの状態を利用して CurrlntraPredModeを 直接算術復号する。この際、 AVC/H.264規格に採用されているコンテクスト適応二値 算術復号に従う復号手順を用いる。
[0150] 復号対象の CurrlntraPredModeは、図 28に示す形式にしたがって二値系列として 符号化されているものとし、この系列を左端力も順次二値算術復号していく。本実施 の形態 6の符号化手順で説明したとおり、二値系列の第 1ビンは、 CurrlntraPredMod eが縦方向予測か、横方向予測力を分類する符号になっており (図 3参照)、第 2ビン 以降は予測モード値の中で出現頻度が高 、ものから順次 Terminateされるように符号 構成されている。この符号構成の理由については符号ィ匕手順で述べたとおりである。
[0151] 復号プロセスでは、まず、第 1ビンの復号に際して、符号ィ匕手順で用いたコンテタス トと同じ Cを定める。 Cの値に応じて第 1ビンの生起確率テーブルを選択して算術復
A A
号を実行して第 1ビンを復元する。また、復号値をもって生起確率テーブルを更新す る。
[0152] 第 2ビン以降については、あら力じめ各予測モード値の発生確率に応じて定まる (0, 1)の初期生起確率テーブルを割り当てておく。次いで、第 1ビンと同様に二値算術復 号、生起確率テーブル更新を行う。図 28の二値系列は各予測モード値を一意に特 定できるように構成されて 、るため、所定の数だけビンを復元したところで逐次 Currln traPredModeが復号される。
[0153] 以上のベた復号手順は、イントラ 8x8予測モードに対しても同様に定義できる。イン トラ NxN予測モードをこのような手順で復号することにより、同一色成分の近傍画素領 域における予測モードの相関を利用した算術符号ィ匕によって予測モード自体の符号 量を削減した符号ィ匕ビットストリームを復号することができる。
[0154] 上述の例において、図 28のテーブルは他にもバリエーションが考えられる。例えば 、図 29のような二値系列を構成する方法でもよい。ここでは、第 1ビンには以下のコン テクスト Bを用いる。
[0155] コンテクスト B(C；) :イントラ予測モード力 ¾C予測力、 DC予測でないかをバイナリ表
B
現するフラグ intra_dc_pred_flagを IntraPredModeA、 IntraPredModeBに対して定義し 、以下の 4状態をコンテクスト値とする。
し = (intra— dc—pred— flag for IntraPredModeA == 1) + 、intra— dc— prea— flag for IntraPred
A
ModeB == 1);
ここで、 intra_dc_pred _flagは図 3にて、 intra4x4_pred_modeが値 2をとる場合は 1、そ の他の値をとる場合は 0に設定する。 C の 4状態には、それぞれ、あら力じめ IntraPre
B
dModeA、 IntraPredModeBの状態を前提とする CurrlntraPredModeの条件付確率を 求めておき、それに基づいて定まる第 1ビンの値 (0,1)の初期生起確率テーブルを割 り当てておく。図 29では、 CurrlntraPredModeが DC予測の場合に、第 1ビンは値 0を 、 DC予測以外の場合は第 1ビンは値 1をとるように設計している。また、第 2ビンには 、上述のコンテクスト A(C )を用いることとした。このようにコンテクストを構成することで
A
、第 1ビンおよび第 2ビンのいずれに対しても条件付生起確率をよりよく推定すること が可能となり、算術符号ィ匕の効率を高めることができる。
[0156] 実施の形態 7.
本実施の形態 7では、 4 :4 :4フォーマットで入力される映像フレームを 16 X 16画素 の矩形領域 (マクロブロック)に均等分割した単位でフレーム間予測を用いて符号ィ匕を 行う符号ィ匕装置、および対応する復号装置について説明する。また、本符号化装置 、復号装置は MPEG-4 AVC(ISO/IEC 14496-10)/ITU- T H.264規格 (以下、 AVC)で 採用される符号ィ匕方式をベースとして、本発明に固有の特徴を付与したものとする。
[0157] 図 30に、本実施の形態 7における映像符号ィ匕装置の構成を、図 31に本実施の形 態 7における映像復号装置の構成を示す。図 31において、図 30の符号ィ匕装置の構 成要素と同じ番号が付されている要素は同一の要素であることを示す。
[0158] 以下、これらの図に基づいて符号化装置ならびに復号装置全体の動作と、本実施 の形態 7の特徴的な動作であるインター予測モード判定処理と動き補償予測復号処 理について説明する。
[0159] 1.符 化 置の動作概耍
図 30の符号ィ匕装置において、入力映像信号 1は、個々の映像フレームが 4 :4 :4フ ォーマットであって、かつ 3つの色成分を同一サイズのマクロブロックに分割してまと めた単位で符号化装置に入力されるものとする。
[0160] まず、動き補償予測部 102において、メモリ 16に格納される 1フレーム以上の動き 補償予測参照画像データの中から 1フレームの参照画像を選択し、該マクロブロック の単位で、各色成分ごとに動き補償予測処理が行われる。メモリは各色成分ごとに 3 面用意される (本実施の形態では 3面として説明するが、設計により適宜変更してよ い)。動き補償予測を行うブロックサイズには、 7種類用意されており、まずマクロプロ ック単位に、図 32(a)力ら (d)に示すように、 16x16、 16x8、 8x16、 8x8の!ヽずれ力の サイズを選択することができる。さらに 8x8が選択された場合には、各 8x8ブロックごと に、図 32(e)力ら (h)に示すように、 8x8、 8x4、 4x8、 4x4の!ヽずれ力のサイズを選択 することができる。選択したサイズ情報は、マクロブロック単位のサイズ情報はマクロブ ロックタイプとして、 8x8ブロック単位のサイズ情報はサブマクロブロックタイプとして出 力される。なお、それぞれのブロックごとに選択した参照画像の識別番号と動きべタト ル情報が出力される。
[0161] 本実施の形態 7における映像符号ィ匕装置は、インター予測モード共通化識別フラ グ 123に基づき、 3つの色成分に対する動き補償予測処理方法を切り替えることを特 徴とする。この点については、下記 2で詳しく述べる。
[0162] 動き補償予測部 102では、図 32に示した全ブロックサイズな 、しはサブブロックサ ィズ、および所定の探索範囲のすべての動きベクトル 137および選択可能な 1枚以 上の参照画像に対して動き補償予測処理を実行して、動きベクトル 137と 1枚の参照 画像と減算器 3により予測差分信号 4を得る。予測差分信号 4は符号化モード判定部 5においてその予測効率が評価され、動き補償予測部 102で実行した予測処理の中 から、予測対象のマクロブロックに対して最適な予測効率が得られるマクロブロックタ ィプ Zサブマクロブロックタイプ 106と動きベクトル 137と参照画像の識別番号を出力 する。マクロブロックタイプ Zサブマクロブロックタイプ 106の選定にあたっては、符号 化制御部 19の判断で定まる各タイプに対する重み係数 20が加味されることもある。 また、選定されたタイプと動きベクトル 137と参照画像に基づく動き補償予測によって 得られる予測差分信号 4を直交変換部 8へ出力する。直交変換部 8は入力される予 測差分信号 4を変換し直交変換係数として量子化部 9へ出力する。量子化部 9は入 力される直交変換係数を、符号ィ匕制御部 19によって定まる量子化パラメータ 21に基 づいて量子化を行い、量子化済み変換係数 10として可変長符号ィ匕部 11へ出力す る。量子化済み変換係数 10は、可変長符号ィ匕部 11にてハフマン符号ィ匕ゃ算術符 号ィ匕などの手段によりエントロピー符号化される。また、量子化済み変換係数 10は逆 量子化部 12、逆直交変換部 13を経て局部復号予測差分信号 14へ復元され、選定 されたマクロブロックタイプ Zサブマクロブロックタイプ 106と動きベクトル 137と参照 画像に基づいて生成される予測画像 7と加算器 18で加算することで局部復号画像 1 5が生成される。局部復号画像 15は以降の動き補償予測処理に用いるためメモリ 16 へ格納される。また、可変長符号化部 11には、当該マクロブロックに対してデブロッ キングフィルタを施すか否かを示すデブロッキングフィルタ制御フラグ 24も入力される (動き補償予測部 102で実施される予測処理には、デブロッキングフィルタが施され る前の画素データをメモリ 16に格納して用いるのでデブロッキングフィルタ処理自体 は符号化処理には必要はな 、が、復号装置側ではデブロッキングフィルタ制御フラ グ 24の指示によってデブロッキングフィルタを行って最終的な復号画像を得る）。
[0163] 可変長符号ィ匕部 11に入力されるインター予測モード共通化識別フラグ 123、量子 化済み変換係数 10、マクロブロックタイプ/サブマクロブロックタイプ 106、動きべタト ル 137、参照画像識別番号、量子化パラメータ 21は所定の規則 (シンタックス)に従つ てビットストリームとして配列'整形され、送信バッファ 17へ出力される。送信バッファ 1 7では符号化装置が接続される伝送路の帯域や記録媒体の読み出し速度に合わせ てビットストリームを平滑ィ匕してビデオストリーム 22として出力する。また、送信バッファ 17中のビットストリーム蓄積状況に応じて符号ィ匕制御部 19へフィードバックをかけ、 以降の映像フレームの符号ィ匕における発生符号量を制御する。
[0164] 2.符^ ~化 置におけるインター予沏 Iモード判定処理
本実施の形態 7の符号ィヒ装置の特徴であるインター予測モード判定処理について 詳述する。なお以下の記述でインター予測モードとは、上述の動き補償予測の単位 となるブロックサイズ、すなわちマクロブロックタイプ Zサブマクロブロックタイプを指し 、インター予測モード判定処理とは、マクロブロックタイプ Zサブマクロブロックタイプ と動きベクトルと参照画像を選定する処理のことである。本処理は上記 3つの色成分 をまとめたマクロブロックの単位で実施され、主として、図 30の符号化装置における 動き補償予測部 102、符号ィ匕モード判定部 5によって行われる。また、本処理の流れ を示すフローチャートを図 33に示す。以下、ブロックを構成する 3つの色成分の画像 データを C0、 Cl、 C2とする。
[0165] まず、符号化モード判定部 5は、インター予測モード共通化識別フラグ 123を受け 取り、その値に基づいて C0、 Cl、 C2で共通のインター予測モードと共通の動きべタト ル 137および共通の参照画像を使用する力否かを判断する (図 33のステップ S100)。 共通化する場合はステップ S101以降へ、さもなくばステップ S102以降へ進む。
[0166] インター予測モードと動きベクトル 137および参照画像を C0、 Cl、 C2で共通化する 場合は、符号ィ匕モード判定部 5は動き補償予測部 102に対して、選択しうるすベての インター予測モードと動きベクトル探索範囲と参照画像を通知し、動き補償予測部 10 2はそのすベての予測効率を評価して、 C0、 Cl、 C2で共通の最適なインター予測モ ードと動きベクトル 137と参照画像を選択する (ステップ S101)。
[0167] インター予測モードと動きベクトル 137および参照画像を C0、 Cl、 C2で共通化せず 、 C0、 Cl、 C2でそれぞれ一番よいモードを選択する場合は、符号化モード判定部 5 は動き補償予測部 102に対して、 Ci (K=0く 3)成分で選択しうるすベてのインター予測 モードと動きベクトル探索範囲と参照画像を通知し、動き補償予測部 102はそのすベ ての予測効率を評価して、 Ci (K=0く 3)成分における最適なインター予測モードと動き ベクトル 137と参照画像を選択する (ステップ S102、 S103、 S104)。
[0168] 動き補償予測部 102で行われる予測モードの予測効率評価の規範としてはたとえ ば、
Jm'v'r = Dm'v'r + λ Rm,v,r( λ：正 )
で与えられるレート'ひずみコストを用いることができる。ここで、 Dm,v,rはインタ一予 測モード mと所定範囲の動きベクトル Vと参照画像 rを適用した場合の符号ィ匕歪または 予測誤差量である。符号ィ匕歪とは、インター予測モード mと動きベクトル Vと参照画像 r を適用して予測誤差を得、予測誤差を変換 '量子化した結果力 映像を復号して符 号ィ匕前の信号に対する誤差を計測するものである。予測誤差量は、インター予測モ ード mと動きベクトル Vと参照画像 rを適用した場合の予測画像と符号ィ匕前の信号との 差分を得、その差分の大きさを定量ィ匕したもので、たとえば差分絶対値和 (Sum of Ab solute Distance: SAD)などが用いられる。 Rm,v,rはインター予測モード mと動きべタト ル Vと参照画像 rを適用した場合の発生符号量である。つまり、 Jm,v,rはインター予測 モード mおよび動きベクトル Vと参照画像 rを適用した場合の符号量と劣化度とのトレ ードオフを規定する値であり、最小の Jm,v,rを与えるインター予測モード mと動きべタト ル Vと参照画像 rが最適解を与える。
[0169] 符号ィ匕装置がステップ S101以降の処理を行った場合、インター予測モードと動きべ タトル 137および参照画像の情報は、 3つの色成分を含むマクロブロックに対して 1組 割り当てられる。一方、ステップ S102以降の処理を行った場合は、各色成分に対して それぞれインター予測モード情報と動きベクトル 137および参照画像が割り当てられ る。したがって、マクロブロックに対して割り当てられるインター予測モードと動きべタト ル 137と参照画像の情報が異なるため、符号ィ匕装置が S101以降の処理過程を行つ た力、 S102以降の処理過程を行つたかはインター予測モード共通化識別フラグ 123 をビットストリームに多重化して復号装置側で認識できるようにする必要がある。このよ うなビットストリームのデータ配列を図 34に示す。
[0170] 図 34はマクロブロックのレベルにおけるビットストリームのデータ配列を示しており、 マクロブロックタイプは、イントラ力インターかを示し、インターモードのときには動き補 償の単位となるブロックサイズを示す情報を含む。サブマクロブロックタイプは、マクロ ブロックタイプで 8x8ブロックサイズが選択された場合にのみ多重化され、各 8x8ブロ ックごとのブロックサイズ情報を含む。基本マクロブロックタイプ 128と基本サブマクロ ブロックタイプ 129はインター予測モード共通化識別フラグ 123が「C0、 Cl、 C2で共 通」であることを示す場合は共通マクロブロックタイプおよび共通サブマクロブロックタ ィプを示し、さもなくば COに対するマクロブロックタイプおよびサブマクロブロックタイ プを示す。拡張マクロブロックタイプ 130および拡張サブマクロブロックタイプ 131は、 インター予測モード共通化識別フラグ 123が「C0、 Cl、 C2で共通」でないことを示す 場合にのみ Cl、 C2各々に対して多重化され、 Cl、 C2に対するマクロブロックタイプ およびサブマクロブロックタイプを示す。
[0171] 参照画像識別番号は、動き補償単位となる 8x8ブロックサイズ以上のブロックごとに 選択する参照画像を特定するための情報である。インターフレームのときには、選択 できる参照画像は 1フレームであるので、 1ブロックごとに 1つの参照画像識別番号が 多重化される。動きベクトル情報は、動き補償単位となるブロックごとに 1組の動きべク トル情報を多重化する。参照画像識別番号および動きベクトル情報は、マクロブロッ クに含まれる動き補償の単位となるブロックの個数分多重化される必要がある。基本 参照画像識別番号 132および基本動きベクトル情報 133はインター予測モード共通 化識別フラグ 123が「C0、 Cl、 C2で共通」であることを示す場合は、共通の参照画像 識別番号および共通の動きベクトル情報を示し、さもなければ COに対する参照画像 識別番号および動きベクトル情報を示す。拡張参照画像識別番号 134および拡張 動きベクトル情報 135は、インター予測モード共通化識別フラグ 123が「C0、 Cl、 C2 で共通」でないことを示す場合にのみ Cl、 C2各々に対して多重化され、 Cl、 C2に対 する参照画像識別番号および動きベクトル情報を示す。
[0172] ついで量子化パラメータ 21、量子化済み変換係数 10が多重化される。（図 34には 図 30で可変長符号化部 11に入力されて 、るデブロッキングフィルタ制御フラグ 24が 含まれて 、な 、が、本実施の形態 7の特徴を説明するために必要な構成要素ではな いため割愛している）
[0173] 従来の映像符号ィ匕標準で採用されてきた 4 : 2 : 0フォーマットでは、色空間の定義 が Y、 Cb、 Crに固定されていた力 4 :4 :4フォーマットでは Y、 Cb、 Crに限定せず多 様な色空間を利用することができる。図 34のようにインター予測モード情報を構成す ることで、入力映像信号 1の色空間の定義が種々に及ぶ場合にも最適な符号化処理 を行うことができる。たとえば、色空間が RGBで定義される場合に R、 G、 Bの各成分に 均等に映像テクスチャの構造が残存して 、る領域では、共通のインター予測モード 情報と共通の動きベクトル情報を用いることでインター予測モード情報と動きベクトル 情報自体の冗長性を削減して符号ィ匕効率を高めることができる。これに対し、例えば 赤味がまったくな 、領域 (R成分力 )では、 R成分に最適なインター予測モードと動き ベクトル情報と G,B成分に最適なインター予測モードと動きベクトル情報は異なるは ずである。そこで、拡張インター予測モードと拡張参照画像識別情報および拡張動き ベクトル情報を適応的に利用することで最適な符号ィ匕効率を得ることができる。
[0174] 3. の謝乍概
図 31の復号装置は、図 30の符号ィ匕装置から出力される図 34の配列に従うビデオ ストリーム 22を受信して、 3つの色成分が同一サイズ (4： 4： 4フォーマット)のマクロブ ロックの単位で復号処理を行い、個々の映像フレームを復元するものとする。
[0175] まず、可変長復号部 25はストリーム 22を入力とし、所定の規則 (シンタックス)に従つ てビデオストリーム 22を解読して、インター予測モード共通化識別フラグ 123、量子 化済み変換係数 10、マクロブロックタイプ/サブマクロブロックタイプ 106、参照画像 識別番号、動きベクトル情報、量子化パラメータ 21などの情報を抽出する。量子化済 み変換係数 10は量子化パラメータ 21とともに逆量子化部 12へ入力され、逆量子化 処理が行われる。ついでその出力が逆直交変換部 13へ入力され、局部復号予測差 分信号 14へ復元される。一方、動き補償予測部 102に対してはマクロブロックタイプ Zサブマクロブロックタイプ 106とインター予測モード共通化識別フラグ 123と動きべ タトル 137と参照画像識別番号が入力され、これらの情報に従って予測画像 7を得る 。予測画像 7を得る具体的な手順については後述する。局部復号予測差分信号 14 と予測画像 7は加算器 18により加算され、暫定復号画像 15を得る (これは符号化装 置における局部復号画像 15とまったく同じ信号である)。暫定復号画像 15は以降の マクロブロックの動き補償予測に用いられるためメモリ 16へ書き戻される。メモリは各 色成分ごとに 3面用意される (本実施の形態では 3面として説明するが、設計により適 宜変更してよい)。また、可変長復号部 25によって解読されたデブロッキングフィルタ 制御フラグ 24の指示に基づいてデブロッキングフィルタ 26を暫定復号画像 15に対し て作用させ、最終的な復号画像 27を得る。
[0176] 4. に: けるインターチ沏 1 ¾
図 31の復号装置は、図 30の符号ィ匕装置から出力される図 34の配列に従うビデオ ストリーム 22を受信して、 3つの色成分が同一サイズ (4： 4： 4フォーマット)のマクロブ ロックの単位で復号処理を行い、個々の映像フレームを復元するものとする。
[0177] 本実施の形態 7の復号装置の特徴であるインター予測画像生成処理にっ 、て詳 述する。本処理は上記 3つの色成分をまとめたマクロブロックの単位で実施され、主と して、図 31の復号装置における可変長復号部 25、動き補償予測部 102によって行 われる。また、本処理のうち可変長復号部 25で行われる処理の流れを示すフローチ ヤートを図 35に示す。
[0178] 可変長復号部 25への入力であるビデオストリーム 22は、図 34のデータ配列に従う ものとする。ステップ S110では図 34のデータのうちインター予測モード共通化識別フ ラグ 123が復号される (ステップ S110)。さらに基本マクロブロックタイプ 128および基本 サブマクロブロックタイプ 129が復号される (ステップ Slll)。ステップ S112では、インタ 一予測モード共通化識別フラグ 123の結果を用いてインター予測モードを C0、C1、 C2で共通化するかどうかを判断し、共通化の場合は (ステップ S112で Yes)C0、 Cl、 C2 のすべてに対して基本マクロブロックタイプ 128および基本サブマクロブロックタイプ 129を用いることとし、さもなければ (ステップ S112で No)基本マクロブロックタイプ 128 および基本サブマクロブロックタイプ 129は COのモードとして使用し、さらに Cl、 C2の 各々に対して拡張マクロブロックタイプ 130および拡張サブマクロブロックタイプ 131 を復号して (ステップ S113)、 Cl、 C2のインター予測モード情報を得る。次に基本参照 画像識別番号 132と基本動きベクトル情報 133を復号し (ステップ S114)、インタ一予 測モード共通化識別フラグ 123が、「C0、 Cl、 C2で共通化」することを示す場合には ( ステップ S 115で Yes)、 C0、 Cl、 C2のすべてに対して基本参照画像識別番号 132およ び基本動きベクトル情報 133を用いることとし、さもなければ (ステップ S115で No)基本 参照画像識別番号 132および基本動きベクトル情報 133は COの情報として使用し、 さらに Cl、 C2の各々に対して拡張参照画像識別番号 134および拡張動きベクトル情 報 135を復号する (ステップ S116)。以上の処理過程を経て各色成分のマクロブロック タイプ Zサブマクロブロックタイプ 106、参照画像識別番号および動きベクトル情報が 確定するため、これらを動き補償予測部 102へ出力し、各色成分の動き補償予測画 像を得る。
[0179] 図 36に、図 34のビットストリームデータ配列のバリエーションを示す。図 36では、ィ ンター予測モード共通化識別フラグ 123は、マクロブロックレベルのフラグとしてでは なぐスライス、ピクチャ、シーケンスなどの上位データレイヤに位置するフラグとして 多重化されるようにした。これにより、スライス以上の上位レイヤでの切り替えで十分な 予測効率が確保できる場合は、マクロブロックレベルで予測モード共通化識別フラグ 123を逐一多重化することなくオーバヘッドビットを削減できる。
[0180] 図 34、図 36では、インター予測モード共通化識別フラグ 123をマクロブロック毎ま たはスライス、ピクチャ、シーケンスなどの上位データレイヤに多重化した力 インター 予測モード共通化識別フラグ 123を多重化せずに 4： 4： 4フォーマットで符号化する 場合には常に各成分に異なるインター予測モードと動きベクトル情報を用いるように してもよい。その場合のビットストリームデータの配列を図 37に示す。図 37では、イン ター予測モード共通化識別フラグ 123は存在せず、シーケンスなどの上位データレ ィャに 4 :4 :4フォーマットの入力画像を扱うことを指示するプロファイル情報 136が多 重化され、このプロファイル情報の復号結果によって、拡張マクロブロックタイプ 130 、拡張サブマクロブロックタイプ 131、拡張参照画像識別番号 134、拡張動きベクトル 情報 135が多重化される。
[0181] 実施の形態 8.
実施の形態 7では、マクロブロックタイプ Zサブマクロブロックタイプ、動きベクトル、 参照画像の各々を色成分ごとに異なるものにすることができるようにした力 本実施 の形態 8ではマクロブロックタイプ Zサブマクロブロックタイプと参照画像を各成分で 共通とし、動きベクトルのみを各成分で異なるものにすることができることを特徴とする 映像符号化装置、映像復号装置について記述する。本実施の形態 8における映像 符号化装置および映像復号装置の構成は実施の形態 7における図 30および図 31と 同じである力 インター予測モード共通化識別フラグ 123の代わりに動きベクトル共 通化識別フラグ 123bを使用している点が異なる。
[0182] 1.符^ ~化 置におけるインター予沏 Iモード判定処理
本実施の形態 8の符号化装置の特徴であるインター予測モード判定処理について実 施の形態 7と異なる処理を中心に詳述する。
[0183] 本処理は上記 3つの色成分をまとめたマクロブロックの単位で実施され、主として、 図 30の符号ィ匕装置における動き補償予測部 102、符号ィ匕モード判定部 5によって行 われる。また、本処理の流れを示すフローチャートを図 38に示す。以下、ブロックを 構成する 3つの色成分の画像データを C0、 Cl、 C2とする。
[0184] まず、符号化モード判定部 5は、動きベクトル共通化識別フラグ 123bを受け取り、 その値に基づいて C0、 Cl、 C2で共通の動きベクトル 137を使用するか否かを判断す る (図 37のステップ S120)。共通化する場合はステップ S121以降へ、さもなくばステップ S122以降へ進む。
[0185] 動きベクトル 137を C0、 Cl、 C2で共通化する場合は、符号ィ匕モード判定部 5は動き 補償予測部 102に対して、選択しうるすベてのインター予測モードと動きベクトル探 索範囲と参照画像を通知し、動き補償予測部 102はそのすベての予測効率を評価 して、 C0、 Cl、 C2で共通の最適なインター予測モードと動きベクトル 137と参照画像 を選択する (ステップ S121)。
[0186] 動きベクトル 137を C0、 Cl、 C2で共通化せず、 C0、 Cl、 C2でそれぞれ一番よい動 きべ外ルを選択する場合は、符号ィ匕モード判定部 5は動き補償予測部 102に対して 、選択しうるすベてのインター予測モードと動きベクトル探索範囲と参照画像を通知し
、動き補償予測部 102はそのすベての予測効率を評価して、 C0、 Cl、 C2で共通の 最適なインター予測モードと参照画像を選択し (ステップ S122)、さらに Ci (K=0く 3)成 分において最適な動きベクトルを選択する (ステップ S123、 S124、 S125)0
[0187] 動きベクトル共通化識別フラグ 123bは、ビットストリームに多重化して復号装置側で 認識できるようにする必要がある。このようなビットストリームのデータ配列を図 39に示 す。
[0188] 図 39はマクロブロックのレベルにおけるビットストリームのデータ配列を示している。
マクロブロックタイプ 128bとサブマクロブロックタイプ 129bおよび参照画像識別番号 132bは、「C0、 Cl、 C2で共通」である。基本動きベクトル情報 133は、動きベクトル共 通化識別フラグ 123bが「C0、 Cl、 C2で共通」であることを示す場合は、共通の動き ベクトル情報を示し、さもなければ COに対する動きベクトル情報を示す。拡張動きべ タトル情報 135は、動きベクトル共通化識別フラグ 123bが「C0、 Cl、 C2で共通」でな いことを示す場合にのみ Cl、 C2各々に対して多重化され、 Cl、 C2に対する動きべク トル情報を示す。なお、図 30、 31におけるマクロブロックタイプ/サブマクロブロック タイプ 106は、図 39におけるマクロブロックタイプ 128bとサブマクロブロックタイプ 12 9bの総称である。
[0189] 2. に: けるインターチ沏 1 ¾
本実施の形態 8の復号装置は、本実施の形態 8の符号ィ匕装置力 出力される図 39 の配列に従うビデオストリーム 22を受信して、 3つの色成分が同一サイズ (4 :4 :4フォ 一マット)のマクロブロックの単位で復号処理を行い、個々の映像フレームを復元する ものとする。
[0190] 本実施の形態 8の復号装置の特徴であるインター予測画像生成処理にっ 、て実 施の形態 7と異なる処理を中心に詳述する。本処理は上記 3つの色成分をまとめたマ クロブロックの単位で実施され、主として、図 31の復号装置における可変長復号部 2 5、動き補償予測部 102によって行われる。また、本処理のうち可変長復号部 25で行 われる処理の流れを示すフローチャートを図 40に示す。
[0191] 可変長復号部 25への入力であるビデオストリーム 22は、図 39のデータ配列に従う ものとする。ステップ S126では、 C0、 Cl、 C2で共通のマクロブロックタイプ 128b、サブ マクロブロックタイプ 129bを復号する。復号したマクロブロックタイプ 128bまたはサブ マクロブロックタイプ 129bによって、動き補償の単位となるブロックサイズが決まるの で、次に動き補償の単位となるブロックごとに C0、 Cl、 C2に共通の参照画像識別番 号 132bを復号する (ステップ S127)。ステップ S128では、動きベクトル共通化識別フラ グ 123bを復号する。次に動き補償の単位となるブロックごとに基本動きベクトル情報 133を復号する (ステップ S129)。ステップ S130では、動きベクトル共通化識別フラグ 1 23bの結果を用いて動きベクトル 137を C0、 Cl、 C2で共通化するかどうかを判断し、 共通化の場合は (ステップ S130で Yes)C0、 Cl、 C2のすべてに対して基本動きベクトル 情報を用いることとし、さもなければ (ステップ S130で No)基本動きベクトル情報 133は COのモードとして使用し、さらに Cl、 C2の各々に対して拡張動きベクトル情報 135を 復号する (ステップ S131)。以上の処理過程を経て各色成分のマクロブロックタイプ Z サブマクロブロックタイプ 106、参照画像識別番号および動きベクトル情報が確定す るため、これらを動き補償予測部 102へ出力し、各色成分の動き補償予測画像を得 る。
[0192] 図 41に、図 39のビットストリームデータ配列のバリエーションを示す。図 39では、動 きベクトル共通化識別フラグ 123bは、マクロブロックレベルのフラグとしてではなぐス ライス、ピクチャ、シーケンスなどの上位データレイヤに位置するフラグとして多重化さ れるようにした。これにより、スライス以上の上位レイヤでの切り替えで十分な予測効 率が確保できる場合は、マクロブロックレベルで動きベクトル共通化識別フラグ 123b を逐一多重化することなくオーバヘッドビットを削減できる。
[0193] 図 39、図 41では動きベクトル共通化識別フラグ 123bをマクロブロック毎またはスラ イス、ピクチャ、シーケンスなどの上位データレイヤに多重化した力 動きベクトル共 通化識別フラグ 123bを多重化せずに 4： 4： 4フォーマットで符号ィ匕する場合には常 に各成分に異なる動きベクトル情報を用いるようにしてもょ 、。その場合のビットストリ ームデータの配列を図 42に示す。図 42では、動きベクトル共通化識別フラグ 123b が存在せず、シーケンスなどの上位データレイヤに 4 :4 :4フォーマットの入力画像を 扱うことを指示するプロファイル情報 136が多重化され、このプロファイル情報 136の 復号結果によって、拡張動きベクトル情報 135が多重化される。
[0194] 本実施の形態 8では、マクロブロックタイプ Zサブマクロブロックタイプ 106と参照画 像を各色成分に対して共通とし、動きベクトル 137のみを色成分ごとに異なるものに することができるようにした。これにより、各色成分に対して動きベクトル 137のみを適 応化することで十分な予測効率が得られる場合にはマクロブロックタイプ Zサブマク ロブロックタイプ 106や参照画像識別番号は色成分ごとに多重化することなくオーバ ヘッドビットを削減できる。
[0195] 実施の形態 9.
実施の形態 7では、インター予測モード共通化識別フラグ 123またはプロファイル 情報 136によって、マクロブロックタイプ/サブマクロブロックタイプ 106、動きベクトル 137、参照画像の各々を 3成分で共通にする力 色成分ごとに異なるものにするかを 切り替えることができるようにした力 本実施の形態 9では、 Y、 Cb、 Cr形式などの 4 :4 :4フォーマット画像を想定し、輝度成分 (Y)と色差成分 (Cb、 Cr)に対して異なるものに するかを切り替えることができるようにした (この場合、色差成分の 2成分に対しては共 通のモードを使用する)。すなわち、 3成分で共通にするか、各成分ごとに異なるもの にするカゝ、ある ヽは輝度成分と色差成分に対して異なるものにするかを切り替えるこ とができるようにしたことを特徴とする映像符号ィ匕装置および映像復号装置について 説明する。本実施の形態 9における映像符号化装置および映像復号装置の構成は 実施の形態 7における図 30および図 31と同じである。
[0196] 1.符晉化装置におけるインター予測モード判定処理
本実施の形態 9の符号化装置の特徴であるインター予測モード判定処理について実 施の形態 7と異なる処理を中心に詳述する。
[0197] 本処理は上記 3つの色成分をまとめたマクロブロックの単位で実施され、主として、 図 30の符号ィ匕装置における動き補償予測部 102、符号ィ匕モード判定部 5によって行 われる。また、本処理の流れを示すフローチャートを図 43に示す。以下、ブロックを 構成する 3つの色成分の画像データを C0、 Cl、 C2とする。
[0198] まず、符号化モード判定部 5は、インター予測モード共通化識別フラグ 123を受け 取り、その値に基づいて C0、 Cl、 C2で共通のインター予測モードと共通の動きべタト ル 137および共通の参照画像を使用する力否かを判断する (図 43のステップ S132)。 共通化する場合はステップ S133以降へ、さもなくばステップ S134以降またはステップ S 137以降へ進む。
[0199] インター予測モードと動きベクトル 137および参照画像を C0、 Cl、 C2で共通化する 場合は、符号ィ匕モード判定部 5は動き補償予測部 102に対して、選択しうるすベての インター予測モードと動きベクトル探索範囲と参照画像を通知し、動き補償予測部 10 2はそのすベての予測効率を評価して、 C0、 Cl、 C2で共通の最適なインター予測モ ードと動きベクトル 137と参照画像を選択する (ステップ S133)。
[0200] インター予測モードと動きベクトル 137および参照画像を C0、 Cl、 C2で共通化せず 、 C0、 Cl、 C2でそれぞれ一番よいモードを選択する場合は、符号化モード判定部 5 は動き補償予測部 102に対して、 Ci (K=0く 3)成分で選択しうるすベてのインター予測 モードと動きベクトル探索範囲と参照画像を通知し、動き補償予測部 102はそのすベ ての予測効率を評価して、 Ci (K=0く 3)成分における最適なインター予測モードと動き ベクトル 137と参照画像を選択する (ステップ S134、 S135、 S136)。
[0201] インター予測モードと動きベクトル 137および参照画像を Cl、 C2で共通化し、 C0( 輝度成分相当)と C1,C2(色差成分相当)でそれぞれ一番よいモードを選択する場合 は、符号ィ匕モード判定部 5は動き補償予測部 102に対して、 CO成分で選択しうるす ベてのインター予測モードと動きベクトル探索範囲と参照画像を通知し、動き補償予 測部 102はそのすベての予測効率を評価して、 CO成分における最適なインター予測 モードと動きベクトル 137と参照画像を選択する (ステップ S137)。さらに Cl、 C2成分で 選択しうるすベてのインター予測モードと動きベクトル探索範囲と参照画像を通知し、 動き補償予測部 102はそのすベての予測効率を評価して、 Cl、 C2で共通の最適な インター予測モードと動きベクトル 137と参照画像を選択する (ステップ S138)。
[0202] 本実施の形態 9における符号ィ匕装置が出力するビットストリームのデータ配列は図 34と同じであるが、インター予測モード共通化識別フラグ 123が、「C1、 C2で共通」で あることを示す場合は、拡張マクロブロックタイプ 130、拡張サブマクロブロックタイプ 131、拡張参照識別番号 134、拡張動きベクトル情報 135は、 Cl、 C2に対して共通 の情報である。 [0203] 2.複吾装置におけるインター予測複吾処理.
本実施の形態 9の復号装置は、本実施の形態 9の符号ィ匕装置力 出力される図 34 の配列に従うビデオストリーム 22を受信して、 3つの色成分が同一サイズ (4 :4 :4フォ 一マット)のマクロブロックの単位で復号処理を行い、個々の映像フレームを復元する ものとする。
[0204] 本実施の形態 9の復号装置の特徴であるインター予測画像生成処理にっ 、て実 施の形態 7と異なる処理を中心に詳述する。本処理は上記 3つの色成分をまとめたマ クロブロックの単位で実施され、主として、図 31の復号装置における可変長復号部 2 5、動き補償予測部 102によって行われる。また、本処理のうち可変長復号部 25で行 われる処理の流れを示すフローチャートを図 44に示す。
[0205] 可変長復号部 25への入力であるビデオストリーム 22は、図 34のデータ配列に従う ものとする。ステップ S140では図 34のデータのうちインター予測モード共通化識別フ ラグ 123が復号される (ステップ S140)。さらに基本マクロブロックタイプ 128および基本 サブマクロブロックタイプ 129が復号される (ステップ S141)。ステップ S142では、インタ 一予測モード共通化識別フラグ 123の結果を用いてインター予測モードを C0、C1、 C2で共通化するかどうかを判断し、共通化の場合は C0、 Cl、 C2のすべてに対して基 本マクロブロックタイプ 128および基本サブマクロブロックタイプ 129を用いることとし 、さもなければ基本マクロブロックタイプ 128および基本サブマクロブロックタイプ 129 は COのモードとして使用する。さらに Cl、 C2で共通の場合には、 Cl、 C2成分で共通 の拡張マクロブロックタイプ 130および拡張サブマクロブロックタイプ 131を復号する（ ステップ S143)。 C0、 Cl、 C2に対して異なるモードを使用する場合には、 Cl、 C2の各 々に対して拡張マクロブロックタイプ 130および拡張サブマクロブロックタイプ 131を 復号して (ステップ S144、 S145、 S146)、 Cl、 C2のモード情報を得る。次に基本参照画 像識別番号 132と基本動きベクトル情報 133を復号し (ステップ S147)、インター予測 モード共通化識別フラグ 123が、「C0、 Cl、 C2で共通化」することを示す場合には、 C 0、 Cl、 C2のすべてに対して基本参照画像識別番号 132および基本動きベクトル情 報 133を用いることとし、さもなければ基本参照画像識別番号 132および基本動きべ タトル情報 133は COの情報として使用し、さらに Cl、 C2で共通の場合には、 Cl、 C2 成分で共通の拡張参照画像識別番号 134および拡張動きベクトル情報 135を復号 する (ステップ S149)。 C0、 Cl、 C2に対して異なるモードを使用する場合には、 Cl、 C2 の各々に対して拡張参照画像識別番号 134および拡張動きベクトル情報 135を復 号する (ステップ S150、 S151、 S152)0以上の処理過程を経て各色成分のマクロブロッ クタイプ Zサブマクロブロックタイプ 106、参照画像識別番号および動きベクトル情報 が確定するため、これらを動き補償予測部 102へ出力し、各色成分の動き補償予測 画像を得る。
[0206] なおビットストリームのデータ配列が、図 36の場合も同様に、インター予測モード共 通化識別フラグ 123が、「C1、 C2で共通」であることを示す場合は、拡張マクロブロッ クタイプ 130、拡張サブマクロブロックタイプ 131、拡張参照識別番号 134、拡張動き ベクトル情報 135は、 Cl、 C2に対して共通の情報であり、図 36に示すデータの配列 に従うビデオストリームを出入力とする映像符号ィ匕装置および映像復号装置の動作 は図 34の場合と同様である。
[0207] 本実施の形態 9では、マクロブロックタイプ Zサブマクロブロックタイプ 106、動きべ タトル 137、参照画像の各々を色成分ごとに異なるものにすることができるようにした 力 マクロブロックタイプ Zサブマクロブロックタイプ 106と参照画像は各成分で共通 とし、動きベクトル 137のみ 3成分で共通にする力、各成分ごとに異なるものにするか 、あるいは Cl、 C2で共通化し、 COと C1,C2でそれぞれ最適なものを選択するかを切り 替えても良い。この場合のビットストリームのデータ配列は図 39または図 41に従い、 この場合も、インター予測モード共通化識別フラグ 123が、「C1、 C2で共通」であるこ とを示す場合は、拡張動きベクトル情報 135は、 Cl、 C2に対して共通の情報である。
[0208] 実施の形態 10.
本実施の形態 10では、実施の形態 7で述べた符号化装置の可変長符号化部 11 において、入力される動きベクトル 137を符号ィ匕し、ビットストリームに多重化する方 法と、対応する復号装置の可変長復号部 25において、ビットストリーム力 動きべタト ル 137を復号する方法を述べる。
[0209] 図 45は図 30に示す符号ィ匕装置の可変長符号ィ匕部 11の一部で、動きベクトル 137 を符号ィ匕する動きベクトル符号ィ匕部の構成である。 [0210] 3つの色成分 (C0、 Cl、 C2)の動きベクトル 137を C0、 Cl、 C2の順番にビットストリー ムに多重化する方法について述べる。
[0211] COの動きベクトル 137を mvOとする。動きベクトル予測部 111にて、 COの動きべタト ル 137の予測ベクトル (mvpO)を求める。図 46に示すように、符号化対象の動きべタト ル (mvO)が位置するブロックに隣接するブロック (図 46の A、 B、 C)の動きベクトル (mvA 0, mvBO, mvCO)をメモリより取得する。なお A、 B、 Cの動きベクトル 137はすでにビット ストリームに多重化されているものとする。 mvA0、 mvB0、 mvCOの中央値を mvpOとして 算出する。算出した予測ベクトル mvpOと符号ィ匕対象の動きベクトル mvOを差分動きべ タトル算出部 112へ入力する。差分動きベクトル算出部 112では mvOと mvpOの差分 ベクトル (mvdO)を算出する。算出した mvdOは差分動きベクトル可変長符号ィ匕部 113 へ入力され、ハフマン符号ィ匕ゃ算術符号ィ匕などの手段によりエントロピー符号化され る。
[0212] 次に C1の動きベクトル (mvl)を符号ィ匕する。動きベクトル予測部 111にて、 C1の動き ベクトル 137の予測ベクトル (mvpl)を求める。図 46に示すように、符号化対象の動き ベクトル (mvl)が位置するブロックに隣接するブロックの動きベクトル (mvAl、 mvBl、 m vCl)と mvlが位置するブロックと同位置の COの動きベクトル (mvO)をメモリ 16より取得 する。なお A、 B、 Cの動きベクトル 137はすでにビットストリームに多重化されているも のとする。 mvAl、 mvBl、 mvCl、 mvOの中央値を mvplとして算出する。算出した予測 ベクトル mvplと符号化対象の動きベクトル mvlを差分動きベクトル算出部 112へ入力 し、 mvlと mvplの差分動きベクトル (mvdl=mvl-mvpl)を算出する。算出した mvdlは差 分動きベクトル可変長符号化部 113へ入力され、ハフマン符号化や算術符号化など の手段によりエントロピー符号ィ匕される。
[0213] 次に C2の動きベクトル (mv2)を符号ィ匕する。動きベクトル予測部 111にて、 C2の動き ベクトル 137の予測ベクトル (mvp2)を求める。図 46に示すように、符号化対象の動き ベクトル (mv2)が位置するブロックに隣接するブロックの動きベクトル (mvA2、 mvB2、 m vC2)と mv2が位置するブロックと同位置の COおよび CIの動きベクトル (mvl、 mv2)をメ モリより取得する。 mvA2、 mvB2、 mvC2、 mvO、 mvlの中央値を mvp2として算出する。 算出した予測ベクトル mvp2と符号ィ匕対象の動きベクトル mv2を差分動きベクトル算出 部 112へ入力し、 mv2と mvp2の差分動きベクトル (mvd2=mv2-mvp2)を算出する。算出 した mvd2は差分動きベクトル可変長符号ィ匕部 113へ入力され、ハフマン符号化ゃ算 術符号ィ匕などの手段によりエントロピー符号化される。
[0214] 図 47に図 31に示す復号装置の可変長復号部 25の一部で、動きベクトル 137を復 号する動きベクトル復号部 250の構成を示す。
[0215] 動きベクトル復号部 250では C0、 Cl、 C2の順番にビデオストリーム 22に多重化さ れた 3つの色成分の動きベクトル 137を復号する。
[0216] 差分動きベクトル可変長復号部 251にて、ビデオストリーム 22に多重化された 3つ の色成分 (C0、 Cl、 C2)の差分動きベクトル (mvd0、 mvdl、 mvd2)を抽出し可変長復号 する。
[0217] 動きベクトル予測部 252にて、 C0、 Cl、 C2の動きベクトル 137の予測ベクトル (mvpO 、 mvpl、 mvp2)を算出する。予測ベクトルの算出方法は符号化装置の動きベクトル予 測部 111と同じである。
[0218] 次に動きベクトル算出部 253にて差分動きベクトルと予測ベクトルを加算し動きべク トル (mvi=mvdi+mvpi(i=0, 1 ,2》を算出する。算出した動きベクトル 137は予測ベクトル 候補として用いるためにメモリ 16に格納する。
[0219] 本実施の形態 10によれば、動きベクトルを符号ィ匕および復号する際に、符号化対 象の動きベクトルが位置するブロックに隣接する同一色成分ブロックの動きベクトルと 、符号ィヒ対象の動きベクトルが位置するブロックと同位置にあって異なる色成分プロ ックの動きベクトルを予測ベクトル候補として用いることにしたので、物体の境界領域 などで同一色成分内の隣接するブロックの動きベクトルと連続性がない場合などに、 異なる色成分の同位置のブロックの動きベクトルを予測ベクトル候補として用いること で動きベクトルの予測効率を高め、動きベクトルの符号量を削減する効果が得られる
[0220] 実施の形態 11.
本実施の形態 11では、実施の形態 7で述べた符号化装置および復号装置から派 生する別の符号化装置、復号装置の実施例について述べる。本実施の形態 11にお ける符号化装置'復号装置は、マクロブロック中の C0、 Cl、 C2成分を個別のヘッダ情 報に従って符号ィ匕するか否力を所定の制御信号に応じて判断し、その制御信号の 情報をビデオストリーム 22に多重化する。また、当該制御信号に応じて C0、 Cl、 C2 成分の復号に必要なヘッダ情報をビデオストリーム 22に多重化するとともに、当該制 御信号に応じて伝送すべき動きベクトルや変換係数の情報がない場合のスキップ (ま たは not coded)マクロブロックを効率よく符号ィ匕する手段を提供する点を特徴とする。
[0221] AVCも含め従来の MPEG映像符号ィ匕方式では、符号ィ匕対象のマクロブロックにつ いて伝送すべき符号ィ匕情報が存在しないようなケースを特別にシグナリングすること で、当該マクロブロックの符号量を最小限に抑えた高能率符号ィ匕を実現している。例 えば、あるマクロブロックを符号ィ匕しょうとする場合、動き補償予測に用いる参照画像 上でまったく同じ位置の画像データを予測画像として使用し (すなわち、動きベクトル がゼロ)、なおかつ得られた予測誤差信号を変換、量子化した結果、マクロブロック内 の量子化後のすべての変換係数がゼロになる場合、復号側では逆量子化を行って も得られる予測誤差信号は振幅がゼロとなり、復号装置側へ伝送すべき変換係数デ ータがなくなる。さらに、動きベクトルがゼロであることも結合仮定すれば、「動きべタト ルゼロ、変換係数データ無し」という特別なマクロブロックタイプを定義することができ る。このようなマクロブロックは従来、スキップマクロブロックまたは not codedマクロブロ ックと呼ばれ、特別なシグナリングを行うことで余分な情報を伝送しな 、ようにするェ 夫がなされている。 AVCでは、動きベクトルの仮定を、「図 32(a)の 16x16予測を行う 場合で、かつ動きベクトルの符号化に用いる予測値 (予測ベクトル mvp0、 mvpl、 mvp2 が該当)が実際の動きベクトルに等しい場合」という条件とし、その条件に合致し、 つ伝送すべき変換係数データがない場合に、スキップマクロブロックとみなす。従来 の AVCでは、このスキップマクロブロックを符号ィ匕する場合に、使用する可変長符号 化方式に応じて以下の 2つの方法の 、ずれかを選択することになつて 、る。
[0222] 方法 1 :スライス内で連続するスキップマクロブロックの数 (RUN長)をカウントし、 RUN 長を可変長符号化する。
方法 2：マクロブロックごとに、スキップマクロブロックか否かの指示フラグを符号化す る。
[0223] 各方法によるビットストリームシンタックスを図 48に示す。図 48(a)は、可変長符号化 方式として適応ハフマン符号ィ匕を用いた場合 (方法 1)、図 48(b)は適応算術符号化を 用いた場合 (方法 2)である。方法 1の場合は mb_skip_run、方法 2の場合は mb_skip_fla gによってスキップマクロブロックのシグナリングを行っている。 MB(n)は n番目の (スキッ プでな 、)マクロブロックの符号化データを指す。ここで、 mb_skip_runや mb_skip _flagは 、 C0、 Cl、 C2成分をひとまとめにしたマクロブロックを単位として割り当てられているこ とに注意されたい。
[0224] これに対して、本実施の形態 11における符号化装置'復号装置では、上記制御信 号、すなわち実施の形態 7で述べたインター予測モード共通化識別フラグ 123相当 の信号の状態に応じて、 C0、 Cl、 C2の各成分ごとに動きベクトルなどを含むヘッダ情 報を変更し、スキップマクロブロックのシグナリングを C0、 Cl、 C2の各成分ごとに行う 方法を提供する。具体的なビットストリームシンタックスの例を図 49、図 50に示す。
[0225] 図 49は本実施の形態 11の符号ィ匕装置が出力し、本実施の形態 11の復号装置の 入力となるマクロブロック符号ィ匕データの構成を、図 50は図 49中の Cn成分ヘッダ情 報の符号ィ匕データの詳細構成を示す。以下では、このビットストリーム構成の効果を 説明するため、ビットストリームを受信して映像信号を復元する復号装置側の動作を 中心に説明する。復号装置の動作説明には図 31を参照する。
[0226] 実施の形態 7におけるインター予測モード共通化識別フラグ 123は、定義を拡張し 、マクロブロックヘッダ共通化識別フラグ 123cと表現する。マクロブロックヘッダ共通 化識別フラグ 123cは CO成分ヘッダ情報 139aを基本マクロブロックヘッダ情報とみな し、 CO成分ヘッダ情報 139aのみを Cl、 C2成分にも共通に用いるヘッダ情報として 多重化するか、 C1成分ヘッダ情報 139b、 C2成分ヘッダ情報 139cをそれぞれ個別 に拡張ヘッダ情報として多重化するかを指示するフラグとする。マクロブロックヘッダ 共通化識別フラグ 123cはビデオストリーム 22から可変長復号部 25によって抽出 '復 号される。同フラグが、 CO成分ヘッダ情報 139aのみを C1,C2成分にも共通に用いる ヘッダ情報として多重化することを示す場合は、マクロブロック中の C0、 Cl、 C2の全 成分に対して、 CO成分ヘッダ情報 139aを用いた復号を行い、 C1成分ヘッダ情報 13 9b、C2成分ヘッダ情報 139cをそれぞれ個別に拡張ヘッダ情報として多重化するこ とを示す場合は、マクロブロック中の C0、 C1,C2それぞれの成分に固有のヘッダ情報 139a〜139cを用いた復号を行うものとする。以下ではこの点をさらに詳しくマクロブ ロック単位の処理として説明する。
[0227] 1. CO成分ヘッダ情報のみが多重化される場合
マクロブロックヘッダ共通化識別フラグ 123cが CO成分ヘッダ情報 139aのみを C1,C2 成分にも共通に用いるヘッダ情報として多重化することを示している場合は、 C0、 C1 、 C2の全成分に対して、 CO成分ヘッダ情報 139aに含まれている各種マクロブロック ヘッダ情報に基づいてマクロブロックの復号を行う。この場合は、 CO成分スキップ指 示情報 138aと C0成分ヘッダ情報 139aを C 1、 C2成分に対しても共通に適用すること とするため、 Cl、 C2成分についてのスキップ指示情報（138b、 138c)、ヘッダ情報（ 139b, 139c)はビットストリーム中に多重ィ匕されない。
[0228] 可変長復号部 25はまず C0成分スキップ指示情報 138aを復号、評価する。ここで C 0成分スキップ指示情報 138aが「スキップ」であることを示す場合は、 C0成分ヘッダ 情報 139aは符号ィ匕されていないものとみなし、 C0成分ヘッダ情報 139aのうちの変 換係数有効無効指示情報 142はゼロ (符号化されている変換係数がまったくない)で あるとみなす。これにより、 C0〜C2成分変換係数データ（140a〜140c)はすべて符 号ィ匕されていないものとみなされ、マクロブロック中の量子化済み変換係数 10を全て ゼロとして出力する。さらに、スキップマクロブロックの定義に従って、 C0、 Cl、 C2全 成分の動きベクトル 137を同一値に設定し出力する。
[0229] C0成分スキップ指示情報 138aが「スキップ」でな 、ことを示す場合は、 C0成分へッ ダ情報 139aが存在するものとし、その復号を行う。 C0成分ヘッダ情報 139aの中で、 マクロブロックタイプ 128bがイントラ符号化を示していれば、イントラ予測モード 141、 変換係数有効無効指示情報 142、（変換係数有効無効指示情報 142が 0でなけれ ば)量子化パラメータを復号する。ここで変換係数有効無効指示情報 142がゼロでな ければ、 C0〜C2成分変換係数データ（140a〜140c)を復号して量子化済み変換 係数 10の形式で出力する。変換係数有効無効指示情報 142がゼロの場合は、 C0〜 C2成分変換係数データ（140a〜140c)はすべてゼロであるとし、マクロブロック中の 量子化済み変換係数 10を全てゼロとして出力する。マクロブロックタイプ 128bがイン ター符号化を示していれば、必要に応じてサブマクロブロックタイプ 129bを復号し、 さらに参照画像識別番号 132b、動きベクトル情報 133b、変換係数有効無効指示情 報 142、（変換係数有効無効指示情報 142が 0でなければ)量子化パラメータ 21を復 号する。ここで変換係数有効無効指示情報 142がゼロでなければ、 C0〜C2成分変 換係数データ（140a〜140c)を復号して量子化済み変換係数 10の形式で出力す る。変換係数有効無効指示情報 142がゼロの場合は、 C0〜C2成分変換係数データ (140a〜140c)はすべてゼロであるとし、マクロブロック中の量子化済み変換係数 1 0を全てゼロとして出力する。以上の動作による可変長復号部 25からの出力を用い て所定の処理手順に従ってマクロブロックの復号を行う点は実施の形態 7と同様であ る。
[0230] 2. C0、 C1、 C2成 >について各針]^ヘッダ情 ¾が多 ¾ィ れる場合
マクロブロックヘッダ共通化識別フラグ 123cが C1成分ヘッダ情報 139b、 C2成分へ ッダ情報 139cを CO成分ヘッダ情報 139aとは別にそれぞれ個別に拡張ヘッダ情報と して多重化することを示している場合は、 C0、 Cl、 C2の各成分に対して、それぞれ対 応するヘッダ情報（139a〜139c)に含まれる各種マクロブロックヘッダ情報に基づ いて各成分画像の復号を行う。この場合は、 Cl、 C2成分についてのスキップ指示情 報（138b、 138c)、ヘッダ†青報（139b、 139c)力 Sビットストリームに多重ィ匕される。
[0231] 可変長復号部 25はまず CO成分スキップ指示情報 138aを復号、評価する。ここで C 0成分スキップ指示情報 138aが「スキップ」であることを示す場合は、 CO成分ヘッダ 情報 139aは符号ィ匕されていないものとみなし、 CO成分ヘッダ情報 139aのうちの変 換係数有効無効指示情報 142はゼロ (符号化されている変換係数がまったくない)で あるとみなす。これにより、 C0成分変換係数データ 140aは符号ィ匕されていないものと みなされ、 C0成分における量子化済み全変換係数をゼロとする (つまり、マクロブロッ クヘッダ共通化識別フラグ 123cの値により、 C0成分スキップ指示情報 138aと変換係 数有効無効指示情報 142の関係が変化する)。さらに、 C0成分の動きベクトル 137を C0成分スキップの場合の定義に従って設定し出力する。
[0232] C0成分スキップ指示情報 138aが「スキップ」でな 、ことを示す場合は、 C0成分へッ ダ情報 139aが存在するものとし、その復号を行う。 C0成分ヘッダ情報 139aの中で、 マクロブロックタイプ 128bがイントラ符号ィ匕を示していれば、イントラ予測モード 141( フレーム内の被予測対象画素の近傍画素を予測値として用いることにする空間画素 予測のモード)と、変換係数有効無効指示情報 142、（変換係数有効無効指示情報 1 42が 0でなければ)量子化パラメータ 21を復号する。ここで変換係数有効無効指示 情報 142がゼロでなければ、 CO成分変換係数データを復号して量子化済み変換係 数 10の形式で出力する。変換係数有効無効指示情報がゼロの場合は、 CO成分変 換係数データはすべてゼロであるとする。マクロブロックタイプがインター符号化を示 していれば、必要に応じてサブマクロブロックタイプを復号し、さらに参照画像識別番 号、動きベクトル情報、変換係数有効無効指示情報、（変換係数有効無効指示情報 力^でなければ)量子化パラメータを復号する。ここで変換係数有効無効指示情報が ゼロでなければ、 CO成分変換係数データを復号して量子化済み変換係数 10の形式 で出力する。変換係数有効無効指示情報がゼロの場合は、 CO成分変換係数データ はすべてゼロであるとする。以上の処理手順を、 Cl、 C2に対しても同様に行う。
以上の動作による可変長復号部 25からの出力を用いて所定の処理手順に従って マクロブロック中の C0、 Cl、 C2の各成分の復号を行う点は実施の形態 7と同様である 以上は復号装置側での動作を中心に述べた力 このようにビットストリームを構成す ることにより、以下の効果が得られる。まず、従来の AVCではマクロブロックあたりに利 用可能なヘッダ情報（図 50)は 1組しかなぐこのヘッダ情報にしたがって C0〜C2の 全成分をひとまとめでイントラ 'インター判定を行って符号ィ匕を行う必要があった。一 方、 4 :4 :4フォーマットのように、画像信号の内容を伝える輝度信号相当の信号成分 力 S3つの色成分に等価に含まれる場合に対しては、各成分への入力映像信号へのノ ィズの乗り方等に起因する信号特性のばらつきが生じることがあり、必ずしも C0〜C2 の全成分をひとまとめで符号ィ匕することが最適ではないことがある。本実施の形態 11 における図 49、図 50のビットストリーム構成を前提にすることで、符号化装置は、マク ロブロックヘッダ共通化識別フラグ 123cによって、 C0〜C2の各成分ごとに信号特性 に応じた最適な符号ィ匕モード (イントラ 'インター符号ィ匕種別を含むマクロブロックタイ プ)、動きべ外ルなどを選択して符号ィ匕を行うことができ、符号ィ匕効率を高めることが できる。また、従来は C0〜C2の全成分をひとまとめにしたマクロブロックの単位で符 号ィ匕を行っていたため、全成分の符号ィ匕情報がすべて存在しないことを条件にスキ ップと判定を行っていたが、本実施の形態 11では、各成分ごとに符号化情報の有無 をスキップ指示情報 138で判別できるように構成したため、ある成分だけ力スキップだ 1S 別の成分はスキップでないというような場合に、全成分をスキップでないとする必 要がなぐより効率的に符号量の割り当てを行うことが可能となる。なお、符号化装置 において、スキップ指示情報 138の値は、可変長符号ィ匕部 11にて、量子化済み変 換係数データ 10と動きベクトル 137·参照画像識別番号 132b、マクロブロックタイプ Zサブマクロブロックタイプ 106に基づき、
[0234] で述べたような符号化装置'復号装置の双方で一意に規定されるスキップマクロプロ ックの定義に従って決定される。
[0235] なお、本実施の形態 11による符号ィ匕装置 '復号装置が扱うビットストリームの構成 は、図 51のようにしてもよい。この例では、 C0、 Cl、 C2の各成分のスキップ指示情報 (138)、へッダ情報（139&〜1390)、変換係数データ（140&〜1400)をそれぞれま とめて配置するようにした。この際、スキップ指示情報 138は、 C0、 Cl、 C2の各状態 をそれぞれ 1ビットの符号シンボルで並べてもょ 、し、 8状態を 1つの符号シンボルに まとめて符号ィ匕するようにしてもよい。色成分間でスキップ状態に相関が高い場合は 、符号シンボルをまとめて適切に算術符号ィ匕のコンテクストモデル (実施の形態 12で 後述)を定義することによって、スキップ指示情報 138そのものの符号化効率を高め ることちでさる。
[0236] なお、マクロブロックヘッダ共通化識別フラグ 123cは、マクロブロック、スライス、ピク チヤ、シーケンスなどの任意のデータレイヤの単位でビットストリームに多重してもよ ヽ 。入力信号において定常的に色成分間の信号の性質の違いがある場合には、マクロ ブロックヘッダ共通化識別フラグ 123cをシーケンスの単位で多重化するように構成 すれば、より少ないオーバヘッド情報で効率的な符号ィ匕を行うことができる。マクロブ ロックヘッダ共通化識別フラグ 123cをピクチャの単位で多重化するように構成すれ ば、マクロブロックタイプのノ リエーシヨンが少ない Iピクチャではヘッダを共通化し、マ クロブロックタイプのバリエーションが多い p、 Bピクチャでは色成分ごとに個別のへッ ダを使用することで符号ィ匕効率と演算負荷のバランスを改善するなどの効果が期待 できる。さらにピクチャレイヤでの切り替えは、シーンチェンジなど、ピクチャごとに信 号の性質が変化するような映像信号の符号ィ匕制御の観点力もも望ま 、と 、える。マ クロブロックヘッダ共通化識別フラグ 123cをマクロブロックの単位で多重化することに すると、マクロブロックあたりの符号量が増加する反面、マクロブロックの単位で各色 成分の信号状態を踏まえてヘッダ情報の共通化を行うか否力を制御することが可能 となり、画像の局所的な信号の変動によりょく追随して圧縮効率を向上させる符号ィ匕 装置を構成することができる。
AVCのようにピクチャタイプ相当の符号化タイプがスライスレベルで切り替わる場合 は、マクロブロックヘッダ共通化識別フラグ 123cをスライスごとに多重し、同フラグが「 C0、 Cl、 C2で共通」であることを示す場合は当該スライスは 3つの色成分の符号ィ匕情 報をすベて含むようにビットストリームを構成し、また、同フラグが「C0、 Cl、 C2で共通 」でな 、ことを示す場合は、 1つのスライスが 1つの色成分の情報を含むようにビットス トリームを構成する方法が考えられる。この様子を図 52に示す。図 52において、マク ロブロックヘッダ共通化識別フラグ 123cには、「カレントスライスは 3つの色成分の符 号化情報をすベて含んで 、る」か「カレントスライスはある特定の色成分の符号ィ匕情 報を含んで ヽる」かのスライス構成識別情報としての意味を持たせて ヽる。もちろん、 このようなスライス構成識別情報をマクロブロックヘッダ共通化識別フラグ 123cとは別 に用意してもよ!/、。 「カレントスライスはある特定の色成分の符号ィ匕情報を含んで 、る 」と識別される場合には、それが「C0、 Cl、 C2のうちどれか」という識別を含むものとす る。また、このようにしてスライス単位で、一つのマクロブロックヘッダを C0、 Cl、 C2成 分で共通に用いるか (C0、 Cl、 C2混在スライス)、 C0、 Cl、 C2成分ごとにマクロブロッ クヘッダを個別に多重するか (COスライス、 C1スライス、 C2スライス)を切り替える場合、 1ピクチャ内でこれら 2種類のスライスが混在する場合においては、 COスライス、 C1ス ライス、 C2スライスは常に画面内の同一位置のマクロブロックを符号ィ匕したデータとし て組にしてビットストリームに多重する制約を設ける。すなわち、スライスヘッダに含ま れてスライスの先頭マクロブロックのピクチャ内位置を示す firstjnb jn_sliceの値は、一 組の COスライス、 C1スライス、 C2スライスで常に同一の値をとり、かつ、一組の COスラ イス、 C1スライス、 C2スライスに含まれるマクロブロックの個数は同じ数とする。この様 子を図 53に示す。ビットストリームの構成にこのような制約を設けることにより、符号ィ匕 装置では、ピクチャ内の局所的な信号の性質に応じて、 C0、 Cl、 C2混在スライスと、 COスライス、 C1スライス、 C2スライスの組のうち、符号化効率の高い符号化方法を適 応的に選択して符号ィ匕することができ、復号装置はそのようにして効率的に符号化さ れたビットストリームを受信して映像信号を再生できる。例えば、図 31の復号装置に 入力されるビットストリーム 22がこのような構成であるとすると、可変長復号部 25では スライスデータが入力されるたびにスライス構成識別情報をビットストリーム力ゝら復号し 、これカも復号しょうとするスライスが図 52のいずれのスライスかを識別する。スライス 構成識別情報から、 COスライス、 C1スライス、 C2スライスの組として符号ィ匕データが構 成されると判断される場合は、インター予測モード共通化識別フラグ 123ほたはマク ロブロックヘッダ共通化識別フラグ 123c)の状態を「C0、 Cl、 C2で個別のインタ一予 測モードまたは (マクロブロックヘッダ)を使用」であると定めて復号動作を行うようにす ればよ 、。各スライスの first_mb_in_sliceの値とスライス中のマクロブロック個数が等し いことが保証されるため、これに基づいて C0、 Cl、 C2混在スライスとピクチャ上でのォ ーバラップやギャップを発生させることなく復号処理が可能である。
[0238] また、 C0、 Cl、 C2の各スライスの信号の性質が大きく異なる場合にこのような制約を 設けることによる符号ィ匕効率の低下を回避するため、ピクチャ内で異なるスライス構 成識別情報の値を持つスライスの混在を許可する力しないかをピクチャレベルまたは シーケンスレベルで選択可能とする識別情報を付与するように構成してもよ ヽ。
[0239] 実施の形態 12.
本実施の形態 12では、実施の形態 11で述べた符号化装置および復号装置から 派生する別の符号化装置、復号装置の実施例について述べる。本実施の形態 12に おける符号化装置'復号装置は、マクロブロック中の C0、 Cl、 C2各成分の符号化を、 適応算術符号化方式を用いて行う場合に、算術符号ィ匕に用いるシンボル生起確率 ならびにその学習過程を全成分で共有するか、各成分ごとに分離するかを、ビットス トリーム中に多重される指示情報によって適応的に切り替えることを特徴とする。
[0240] 本実施の形態 12は、符号化装置では図 30の可変長符号化部 11、復号装置では 図 31の可変長復号部 25内の処理のみが実施の形態 11と異なり、それ以外の動作 は実施の形態 11に順ずる。以下、本実施の形態 12のポイントである算術符号ィ匕およ び復号処理について詳細に説明する。
[0241] 1.符吾化処理
図 54は可変長符号ィ匕部 11における算術符号ィ匕処理に関わる内部構成を、図 55 及び図 56はその動作フローを示す。
[0242] 本実施の形態 12における可変長符号ィ匕部 11は、符号ィ匕対象データである動きべ タトル 137、参照画像識別番号 132b、マクロブロックタイプ Zサブマクロブロックタイ プ 106、イントラ予測モード 141、量子化済み変換係数 10などの個々のデータタイプ に対して定義されるコンテクストモデル (後述）を定めるコンテクストモデル決定部 1 la 、各符号ィ匕対象データタイプについて定められる二値ィ匕規則に従って多値データを 二値データに変換する二値ィ匕部 l lb、二値ィ匕後の個々の binの値 (0 or 1)の生起確 率を与える生起確率生成部 l lc、生成された生起確率に基づいて算術符号ィ匕を実 行する符号ィ匕部 l ld、生起確率情報を記憶するメモリ l lgから構成される。コンテク ストモデル決定部 11aへの入力は、動きベクトル 137 ·参照画像識別番号 132b、マク ロブロックタイプ/サブマクロブロックタイプ 106、イントラ予測モード 141、量子化済 み変換係数 10など、可変長符号ィ匕部 11に符号ィ匕対象データとして入力される各種 データであって、符号化部 l idからの出力はビデオストリーム 22のマクロブロックに関 わる情報に相当する。
[0243] (1)コンテクストモデル決定処理（図 55におけるステップ S160)
コンテクストモデルとは、情報源シンボルの生起確率の変動要因となる他の情報と の依存関係をモデル化したものであり、この依存関係に対応して生起確率の状態を 切り替えることで、よりシンボルの実際の生起確率に適応した符号ィ匕を行うことが可能 となる。図 57にコンテクストモデル (ctx)の概念を示す。なお、図 57では情報源シンポ ルはニ値とした力 多値でも構わない。図 57の 0〜2という ctxの選択肢は、この ctxを 用いる情報源シンボルの生起確率の状態が、状況に応じて変化するであろうことを想 定して定義されている。本実施の形態 12における映像符号ィ匕で言えば、あるマクロ ブロックにおける符号化データとその周辺のマクロブロックの符号化データとの間の 依存関係に応じて ctxの値が切り替えられる。例えば、図 58に、 D. Marpe他，「Video Compression Using Context-Based Adaptive Arithmetic CodingJ , International Con ference on Image Processing 2001に開示されるマクロブロックの動きべクトノレに関する コンテクストモデルの例を示す。図 58において、ブロック Cの動きベクトルが符号化対 象であり（正確には、ブロック Cの動きベクトルを近傍から予測した予測差分値 mvd (C
k
)が符号化される）、 ctx mvd(C，k)がコンテクストモデルを示す。 mvd (A)はブロック Aに
k
おける動きベクトル予測差分値、 mvd (B)はブロック Bにおける動きベクトル予測差分
k
値をそれぞれ示し、コンテクストモデルの切り替え評価値 e (C)の定義に用いられる。
k
評価値 e (C)は、近傍の動きベクトルのばらつき具合を示すことになり、一般的にはこ k
のばらつきが小さい場合には mvd (C)は小さく、逆に e (C)が大きい場合は mvd (C)も
k k k 大きくなる傾向がある。したがって、 mvd (C)のシンボル生起確率は、 e (C)に基づいて
k k
適応化されることが望ま U、。この生起確率のバリエーションセットがコンテクストモデ ルであり、このケースでは 3種類の生起確率バリエーションがある、といえる。
[0244] この他、マクロブロックタイプ Zサブマクロブロックタイプ 106、イントラ予測モード 14 1、量子化済み変換係数 10などの符号ィ匕対象データそれぞれについてあらかじめコ ンテクストモデルが定義され、符号化装置と復号装置で共有される。コンテクストモデ ル決定部 1 laでは、このような符号ィ匕対象データの種別に基づいてあら力じめ定めら れたモデルを選択する処理を行う（コンテクストモデルの中のどの生起確率バリエ一 シヨンを選択するかは下記 (3)の生起確率生成処理に該当する）。
[0245] (2)二値化処理（図 55におけるステップ S161)
コンテクストモデルは、符号ィ匕対象データを二値ィ匕部 l ibにて二値系列化し、二値 系列の各 bin (バイナリ位置)に応じて定められる。ニ値ィ匕の規則は、各符号化データ の取りうる値のおおまかな分布に従い、可変長の二値系列への変換を行う。二値ィ匕 は、本来多値を取りうる符号ィ匕対象データをそのまま算術符号ィ匕するよりも bin単位で 符号ィ匕することにより確率数直線分割数を削減でき演算を簡略ィ匕できる、コンテタス トモデルのスリム化が可能になるなどのメリットがある。
[0246] (3)生起確率生成処理（図 55におけるステップ S162(ステップ S162の詳細は図 56)) 上記 (1)、（2)のプロセスで、多値の符号化対象データの二値化と、各 binに適用する コンテクストモデルの設定が完了し、符号ィ匕準備が整う。次いで生起確率生成部 11c にて算術符号ィ匕に用いる生起確率状態の生成処理が行われる。各コンテクストモデ ルには、 0/1の各値に対する生起確率のノ リエーシヨンが含まれているので、図 54に 示すように、ステップ S160で決定されたコンテクストモデル 1 Ifを参照して処理を行う。 図 58の e (C)に示したような生起確率選択のための評価値を定め、これに従って、参 k
照するコンテクストモデルの選択肢の中からどの生起確率バリエーションを現在の符 号ィ匕に用いるかを決定する（図 56のステップ S162a)。さらに、本実施の形態 12にお ける可変長符号ィ匕部 11は、生起確率情報記憶メモリ l lgを備え、符号化の過程で順 次更新される生起確率状態 l lhを色成分別に記憶する機構を備える。生起確率生 成部 11cは、生起確率状態パラメータ共通化識別フラグ 143の値に応じて、現在の 符号化に用いる生起確率状態 l lhを C0〜C2の色成分別に保持されたものから選択 するか、 CO成分用のものを Cl、 C2で共有するかを選択して、実際に符号化に用いる 生起確率状態 l lhを決定する (図 56の S162b〜S162d)。
生起確率状態パラメータ共通化識別フラグ 143は、復号装置で同様の選択を行う ことを可能とするため、ビットストリームに多重化する必要がある。このような構成とする こと〖こより、以下の効果がある。例えば、図 58を例〖ことると、マクロブロックヘッダ共通 化識別フラグ 123cが CO成分ヘッダ情報 139aを他の成分でも使用することを示す場 合、マクロブロックタイプ 128bが 16x16予測モードを示していれば、図 58の e (C)は
k マクロブロックあたり 1つだけ定まる。このときは、 CO成分用に用意された生起確率状 態を常時使用する。一方、マクロブロックヘッダ共通化識別フラグ 123cが各成分に 対応するヘッダ情報（ 139a〜 139c)を使用することを示す場合、マクロブロックタイ プ 128b力 C0、 Cl、 C2のいずれにおいても 16x16予測モードを示していれば、図 58 の e (C)はマクロブロックあたり 3つのバリエーションがありうる。後段の符号化部 l idで k
は、それぞれのノ リエーシヨンについて、 CO成分で用意される生起確率状態 l lhを 共通的に使用、更新するか、または、各色成分別に用意される生起確率状態 l lhを 個別に使用、更新するかという 2つの選択肢をとりうる。前者は、 C0、 Cl、 C2各成分で ほぼ同じような動きベクトル分布をもつ場合、生起確率状態 l lhを共通的に使用 '更 新することで学習回数が増え、よりょく動きベクトルの生起確率を学習できる可能性が ある。後者は、逆に C0、 Cl、 C2各成分でばらばらの動きベクトル分布をもつ場合、生 起確率状態 l lhを個別に使用 ·更新することで学習によるミスマッチを削減でき、より よく動きベクトルの生起確率を学習できる可能性がある。映像信号は非定常であるた め、このような適応制御が可能になることにより、算術符号ィ匕の効率を高めることがで きる。
[0248] (4)符号化処理
(3)によって、算術符号化プロセスに必要な確率数直線上の 0/1各値の生起確率が 得られるため、従来例にあげたプロセスにしたがって符号ィ匕部 l idにおいて算術符 号ィ匕を行う（図 55のステップ S163)。また、実際の符号化値 (0 or l)l leは、生起確率 生成部 11cへフィードバックされ、使用した生起確率状態 l lhの更新のため、 0/1発 生頻度のカウントが行われる (ステップ S164)。例えば、ある特定の生起確率状態 l lh を用いて 100個の binの符号ィ匕処理が行われた時点で、当該生起確率バリエーション における 0/1の生起確率力 25、 0.75であったとする。ここで、同じ生起確率バリエ一 シヨンを用いて 1が符号化されると、 1の出現頻度が更新され、 0/1の生起確率は 0.247 、 0.752に変化する。このメカニズムにより、実際の生起確率に適応した効率的な符号 化を行うことが可能となる。符号ィ匕値 l ieは可変長符号ィ匕部 11からの出力となり、ビ デォストリーム 22として符号ィ匕装置から出力される。
[0249] 図 59は可変長復号部 25における算術復号処理に関わる内部構成を、図 60はそ の動作フローを示す。
[0250] 本実施の形態 12における可変長復号部 25は、動きベクトル 137 ·参照画像識別番 号 132b、マクロブロックタイプ Zサブマクロブロックタイプ 106、イントラ予測モード 14 1、量子化済み変換係数 10などの個々の復号対象データのタイプを特定して、それ ぞれに符号ィ匕装置と共通定義されるコンテクストモデルを定めるコンテクストモデル 決定部 l la、復号対象データのタイプに基づいて定まる二値ィ匕規則を生成する二値 化部 l lb、二値化規則とコンテクストモデルに従って、個々の bin(0 or 1)の生起確率 を与える生起確率生成部 l lc、生成された生起確率に基づいて算術復号を実行し、 その結果得られる二値系列と、上記二値ィ匕規則とから、動きべ外ル 137 ·参照画像 識別番号 132b、マクロブロックタイプ Zサブマクロブロックタイプ 106、イントラ予測モ ード 141、量子化済み変換係数 10などのデータを復号する復号部 25a、生起確率 情報を記憶するメモリ 1 lgとから構成される。 1 la〜： L lc及び 1 lgは図 54の可変長符 号ィ匕部 11の内部構成要素と同一のものである。
[0251] (5)コンテクストモデル決定処理、二値化処理、生起確率生成処理
これらのプロセスは符号ィ匕装置側のプロセス (1)〜(3)に準ずる。なお、図示していな いが、生起確率状態パラメータ共通化識別フラグ 143は、ビデオストリーム 22からあ らカじめ抽出されて 、るものとする。
[0252] (6)算術復号処理
これ力 復号しょうとする binの生起確率が (6)までのプロセスで確定するため、復号 部 25aにおいて、所定の算術復号処理プロセスにしたがって、 binの値を復元する (図 60におけるステップ S166)。 binの復元値 25bは、生起確率生成部 11cへフィードバッ クされ、使用した生起確率状態 l lhの更新のため、 0/1発生頻度のカウントが行われ る (ステップ S164)。復号部 25aでは、各 binの復元値が確定するごとに、二値化規則 で定められる二値系列パターンとの合致を確認し、合致したパターンが指し示すデ ータ値を復号データ値として出力する (ステップ S167)。復号データが確定しない限り は、ステップ S 166へ戻って復号処理を継続する。
[0253] 以上の構成による、算術符号化ならびに算術復号処理を備えた符号化 '復号装置 によれば、マクロブロックヘッダ共通化識別フラグ 123cに応じて適応的に色成分ごと の符号化情報を算術符号化する場合にぉ ヽて、より効率的な符号ィ匕が可能となる。
[0254] なお、特に図示して 、な 、が、生起確率状態パラメータ共通化識別フラグ 143を多 重する単位はマクロブロック単位、スライス単位、ピクチャ単位、シーケンス単位のい ずれでもよい。スライス、ピクチャ、シーケンスなどの上位データレイヤに位置するフラ グとして多重化されるようにすることで、スライス以上の上位レイヤでの切り替えで十 分な符号ィ匕効率が確保できる場合は、マクロブロックレベルで生起確率状態パラメ一 タ共通化識別フラグ 143を逐一多重化することなくオーバヘッドビットを削減できる。
[0255] また、生起確率状態パラメータ共通化識別フラグ 143は、それ自体とは別のビットス トリーム中に含まれる関連情報に基づ 、て復号装置の内部で定まる情報であっても よい。
[0256] 本実施の形態 12において、マクロブロックヘッダ共通化識別フラグ 123cをマクロブ ロック単位に算術符号ィ匕する際は、コンテクストモデル 1 Ifにつ ヽて図 61に示すモデ ノレを用いる。図 61において、マクロブロック Xにおけるマクロブロックヘッダ共通ィ匕識 別フラグ 123cの値を IDCとする。マクロブロック Cにおけるマクロブロックヘッダ共通
X
化識別フラグ 123cの符号ィ匕を行う場合は、マクロブロック Aのマクロブロックヘッダ共 通化識別フラグ 123cの値 IDCと、マクロブロック Bのマクロブロックヘッダ共通化識別
A
フラグ 123cの値 IDCとの値に基づいて、同図の式に基づいて、以下の 3つの状態を
B
とる。
• 値 0 :A、 Bの両方とも「C0、 Cl、 C2で共通のマクロブロックヘッダを使用す る」モードである
• 値 1 :A、 Bのうちいずれかが「C0、 Cl、 C2で共通のマクロブロックヘッダを 使用する」モードで、他方が「C0、 Cl、 C2で個別のマクロブロックヘッダを使用する」 モードである
• 値 2 :A、 Bの両方とも「C0、 Cl、 C2で個別のマクロブロックヘッダを使用す る」モードである
このようにマクロブロックヘッダ共通化識別フラグ 123cを符号ィ匕することにより、近 傍のマクロブロックの符号ィ匕状態に適合して算術符号ィ匕を行うことができ、符号ィ匕効 率を高めることができる。なお、符号ィ匕側でも復号側でも同じ手順でコンテクストモデ ルを定義して算術復号することは、上記本実施の形態 12の復号装置の動作説明か ら自明である。
また、本実施の形態 12において、マクロブロックヘッダ中に含まれる図 50のヘッダ 情報 (マクロブロックタイプ、サブマクロブロックタイプ、イントラ予測モード、参照画像 識別番号、動きベクトル、変換係数有効無効指示情報、量子化パラメータ)について は、それぞれ各情報種別ごとに定義されるコンテクストモデルで算術符号ィ匕を行うが 、いずれのコンテクストモデルも図 62に示すように、カレントマクロブロック Cに対して 、マクロブロック A、 Bの対応する情報を参照して定義される。ここで、図 62(a)のように 、マクロブロック Cが「C0、 Cl、 C2で共通のマクロブロックヘッダを使用する」モードで あって、マクロブロック Bが「C0、 Cl、 C2で個別のマクロブロックヘッダを使用する」モ ードである場合には、コンテクストモデル定義上の参照情報として、 C0、 Cl、 C2のい ずれか特定の色成分の情報を用いる。
[0258] 例えば、 C0、 Cl、 C2が、 R、 G、 B色成分に対応する場合は、画像の構造をよく表現 する信号として従来力 符号ィ匕に用いられてきた輝度信号に最も近い成分を持つ G 成分を選択するといつた方法が考えられる。それは「C0、 Cl、 C2で共通のマクロプロ ックヘッダを使用する」モードでも、 G成分を基準にしてマクロブロックヘッダの情報を 定めて符号ィ匕を行うケースが多いと考えられるからである。
[0259] 一方、逆のケースで、図 62(b)のように、マクロブロック Cが「C0、 Cl、 C2で個別のマ クロブロックヘッダを使用する」モードであって、マクロブロック Bが「C0、 Cl、 C2で共 通のマクロブロックヘッダを使用する」モードが存在する場合には、マクロブロックじで は、 3つの色成分のヘッダ情報を符号化'復号する必要があるが、その際、各色成分 のヘッダ情報のコンテクストモデル定義上の参照情報として、マクロブロック Bについ ては 3成分共通のヘッダ情報を 3成分同じ値として用いることとする。また、自明である 1S マクロブロック Aも Bも Cもすベてマクロブロックヘッダ共通化識別フラグ 123cが同 じ値を示す場合は、それぞれ対応する参照情報が常に存在するのでそれらを用いる こととする。
[0260] なお、符号ィ匕側でも復号側でも同じ手順でコンテクストモデルを定義して算術復号 することは、上記本実施の形態 12の復号装置の動作説明から自明である。また、ど の成分の情報を参照したコンテクストモデルを用いるかが決まった後は、そのコンテク ストモデルに対応付けられている生起確率状態の更新は生起確率状態パラメータ共 通化識別フラグ 143の状態に基づいて実行する。
[0261] また、本実施の形態 12において、 C0、 Cl、 C2成分の各変換係数データについても 各符号化対象データの生起確率分布に応じた算術符号化が行われる。これらのデ ータはマクロブロックヘッダを共通化するしないに関わらず、常に 3成分分の符号ィ匕 データがビットストリームに含まれる。本実施の形態 12では、符号化入力信号の色空 間上でイントラ予測、インター予測が行われて予測差分信号が得られるので、予測差 分信号を整数変換して得られる変換係数データの分布は、図 62のようなマクロブロッ クヘッダを共通化するしないといった周辺の状態に関わらず、同様の生起確率分布 になると考えられる。そこで、本実施の形態 12では、 C0、 Cl、 C2の各成分ごとに、マ クロブロックヘッダを共通化するしないに関わらず、共通のコンテクストモデルを定義 して符号化 '復号に用いる。
[0262] なお、符号ィ匕側でも復号側でも同じ手順でコンテクストモデルを定義して算術復号 することは、上記本実施の形態 12の復号装置の動作説明から自明である。また、ど の成分の情報を参照したコンテクストモデルを用いるかが決まった後は、そのコンテク ストモデルに対応付けられている生起確率状態の更新は生起確率状態パラメータ共 通化識別フラグ 143の状態に基づいて実行する。
[0263] 実施の形態 13.
本実施の形態 13では、実施の形態 7〜 12で述べた符号化装置および復号装置か ら派生する別の符号化装置、復号装置の実施形態について述べる。本実施の形態 1 3における符号化装置'復号装置は、実施の形態 7〜12に記載の符号ィヒ装置の入 力段で色空間変換処理を行い、撮像後に符号化装置へ入力される映像信号の色空 間を符号化に適した任意の色空間に変換して、復号側で撮像時の色空間へ戻すた めの逆変換処理を指定する情報をビットストリームに多重化する符号化装置と、逆変 換処理を指定する情報をビットストリーム力も抽出して、実施の形態 7〜12に記載の 復号装置によって復号画像を得たのち、逆変換処理を指定する情報に基づいて逆 色空間変換を行う構成を特徴とする。
[0264] 本実施の形態 13における符号ィ匕装置 '復号装置の構成を図 63に示す。図 63によ り本実施の形態 13の符号化装置'復号装置について説明する。
[0265] 本実施の形態 13の符号ィ匕装置は、実施の形態 7〜 12の符号ィ匕装置 303にカ卩えて 、その前段に色空間変換部 301を備える。色空間変換部 301は、 1つまたは複数の 色空間変換処理を備え、入力される映像信号の性質やシステムの設定などによって 使用する色空間変換処理を選択して入力映像信号に対する色空間変換処理を行い 、その結果得られる変換映像信号 302を符号ィ匕装置 303へ送る。また、同時に使用 した色空間変換処理を識別する情報を色空間変換方法識別情報 304として符号ィ匕 装置 303へ出力する。符号ィ匕装置 303は、変換映像信号 302を符号ィ匕対象信号と して実施の形態 7〜12に示す方法で圧縮符号ィ匕したビットストリーム 305に、色空間 変換方法識別情報 304を多重して伝送路へ送出、または記録メディアへの記録を行 う記録装置へ出力する。
[0266] ここで、用意される色空間変換方法は、例えば、従来標準で用いられて 、る RGBか ら YUVへの変換
CO = Y = 0.299 x R + 0.587 x G + 0.114 x B
CI = U = -0.169 x R - 0.3316 x G + 0.500 x B
C2 = V = 0.500 x R - 0.4186 x G - 0.0813 x B
や、色成分間の予測、
CO = G' = G
C1 = B' = B KG) (ただし、 KG): G成分に対するフィルタ処理結果）
C2 = R' = R KG)
や、 RGBから YCoCgへの変換
CO = Y = R/2 + G/2 + B/4
CI = Co = R/2 B/2
C2 = Cg = -R/4 + G/2 B/4
のような変換がある。色空間変換部 301に対する入力は RGBに限定する必要はなく 、また変換処理も上記 3種に限定するものではな 、。
[0267] 本実施の形態 13の復号装置は、実施の形態 7〜12の復号装置 306に加えて、そ の後段に逆色空間変換部 308を備える。復号装置 306はビットストリーム 305を入力 として、色空間変換方法識別情報 304をビットストリーム 305から抽出して出力すると ともに、実施の形態 7〜12に記載の復号装置の動作により得られる復号画像 307を 出力する。逆色空間変換部 308は、上記色空間変換部 301で選択可能な色空間変 換方法のそれぞれに対して対応する逆変換処理を備え、復号装置 306から出力され る色空間変換方法識別情報 304に基づいて色空間変換部 301で実行された変換を 特定して、復号画像 307に対して逆変換処理を施し、本実施の形態 13の符号ィ匕装 置に対する入力映像信号の色空間へ戻す処理を行う。
[0268] 本実施の形態 13のような符号化装置'復号装置によれば、符号化の前段と復号処 理の後段で符号化される映像信号に対して最適な色空間の変換処理を行うことによ り、 3つの色成分力 構成される画像信号中に含まれる相関を符号ィ匕前に除去して、 冗長度を少なくした状態で符号ィ匕を行うことができ、圧縮効率を高めることができる。 従来の MPEG等の標準符号化方式では、符号化対象の信号の色空間を YUVの 1種 類に限定していたが、色空間変換部 301、逆色空間変換部 308を備え、色空間変換 方法識別情報 304をビットストリーム 305に含めることにより、符号ィ匕入力される映像 信号の色空間に関する制限をなくすことができ、かつ色成分間の相関を取り除く複数 種類の手段の中から最適な変換を用いて符号ィ匕することが可能になる。
[0269] 本実施の形態 13では、色空間変換部 301、逆色空間変換部 308を常に動作させ るという前提で記載したが、これらの処理部を動作させず、従来の規格との互換性を 確保することを指示する情報を、シーケンスなどの上位のレイヤで符号ィ匕する構成を とることち可會である。
[0270] また、本実施の形態 13の色空間変換部 301、逆色空間変換部 308を、本実施の 形態 7〜 12の符号ィ匕装置、復号装置の内部構成に取り入れるようにして、予測差分 信号レベルでの色空間変換を行うように構成することもできる。このように構成した符 号化装置を図 64に、復号装置を図 65に示す。図 64の符号化装置では、直交変換 部 8の代わりに変換部 310が、逆直交変換部 13の代わりに逆変換部 312が備えられ 、図 65の復号装置では、逆直交変換部 13の代わりに逆変換部 312が備えられてい る。
[0271] 変換部 310は、符号ィ匕モード判定部 5から出力される C0、 Cl、 C2成分の予測差分 信号 4に対して、上記色空間変換部 301の処理として示したように、複数の色空間変 換処理の中から最適な変換処理を選択して色空間変換をまず実行する。その後、色 空間変換の結果に対して直交変換部 8相当の変換を実行する。どの変換を選択した かを示す色空間変換方法識別情報 311は可変長符号化部 11に送り、ビットストリ一 ムに多重してビデオストリーム 22として出力する。また、逆変換部 312では、まず逆直 交変換部 13相当の逆変換を行った後、色空間変換方法識別情報 311で指定される 色空間変換処理を用いて逆色空間変換処理を実行する。
[0272] 復号装置では、可変長復号部 25でビットストリームから色空間変換方法識別情報 3 11を抽出して、その結果を逆変換部 312へ送ることで、上述の符号化装置における 逆変換部 312と同様の処理を行う。このように構成することで、色成分の間に残存す る相関が予測差分領域で十分に除去できるような場合は、それを符号化処理の一部 として実行するようにでき、符号ィ匕効率を高める効果がある。ただし、 C0、 Cl、 C2成 分で個別のマクロブロックヘッダを用いる場合には、そもそも CO成分はイントラ予測、 C1成分はインター予測といったように、成分ごとに予測の方法が変化しうるため、予 測差分信号 4の領域での相関が保持されにくいこともある。したがって、 C0、 Cl、 C2 成分で個別のマクロブロックヘッダを用いる場合は、変換部 310、逆変換部 312は色 空間変換を実行しな 、ように動作させるようにしてもょ 、し、予測差分信号 4の領域で 色空間変換を実行する力しないかを識別情報としてビットストリームに多重するように 構成してもよい。なお、色空間変換方法識別情報 311はシーケンス、ピクチャ、スライ ス、マクロブロックの 、ずれの単位で切り替えられるようにしてもよ 、。
[0273] 図 64、図 65の符号化装置、復号装置の構成では、 C0、 Cl、 C2成分の各変換係数 データは、色空間変換方法識別情報 311に応じて符号化対象信号の信号定義ドメ インが異なることになる。したがって、色空間変換方法識別情報 311に応じて、変換 係数データの分布は、異なる生起確率分布になるのが一般的と考えられる。そこで、 図 64、 65のように符号ィ匕装置、復号装置を構成する場合は、 C0、 Cl、 C2の各成分 ごとに、色空間変換方法識別情報 311の状態ごとに個別の生起確率状態が対応付 けられたコンテクストモデルを用いて符号化'復号を行う。
[0274] なお、符号ィ匕側でも復号側でも同じ手順でコンテクストモデルを定義して算術復号 することは、上記本実施の形態 12の復号装置の動作説明から自明である。また、ど の成分の情報を参照したコンテクストモデルを用いるかが決まった後は、そのコンテク ストモデルに対応付けられている生起確率状態の更新は生起確率状態パラメータ共 通化識別フラグ 143の状態に基づいて実行する。
[0275] 実施の形態 14.
本実施の形態 14では、上記実施の形態で述べた符号化装置'復号装置につき、さ らに具体的な装置構成について言及する。
[0276] 上記実施の形態では、符号化装置'復号装置の動作説明を、例えば図 1、図 2、図 30、図 31等に準ずる図面を用いて実施した。これらの図面では、 3つの色成分から なる入力映像信号を符号ィ匕装置に一括入力して、装置内部で 3つの色成分を共通 の予測モードやマクロブロックヘッダに基づいて符号化するか個々の予測モードや マクロブロックヘッダ〖こ基づ ヽて符号化するかを選択しながら符号化を行 ヽ、その結 果得られるビットストリームを復号装置に入力して、復号装置内部で 3つの色成分が 予測モードやマクロブロックヘッダに基づいて符号化されているか個々の予測モード やマクロブロックヘッダに基づいて符号化されているかを、ビットストリーム力 復号し て取り出したフラグ (例えば、イントラ予測モード共通化識別フラグ 23、インター予測 モード共通化識別フラグ 123等）に基づ ヽて選択しながら復号処理を行 ヽ再生映像 を得る動作を説明した。上記フラグはマクロブロック、スライス、ピクチャ、シーケンスな どの任意のデータレイヤの単位で符号化'復号してもよい旨はすでに明記した力 本 実施の形態 14では、特に、 3つの色成分信号を共通のマクロブロックヘッダで符号 化するか、個別のマクロブロックヘッダで符号化するかを 1フレーム（ないしは 1フィー ルド)の単位で切り分けながら符号化'復号する装置構成 ·動作を具体的な図面をも とに説明する。以下、特に断らない限り、「1フレーム」と記載した場合は 1フレームな Vヽしは 1フィールドのデータ単位とみなす。
[0277] 本実施の形態 14におけるマクロブロックヘッダは、図 15のような変換ブロックサイズ 識別フラグ、図 50のようなマクロブロックタイプ ·サブマクロブロックタイプ'イントラ予測 モードなどの符号ィ匕 ·予測モード情報、参照画像識別番号 ·動きベクトルなどの動き 予測情報、変換係数有効無効指示情報、変換係数に対する量子化パラメータ等、変 換係数データ以外のマクロブロックオーバヘッド情報を含むものとする。
[0278] 以降、 1フレームの 3つの色成分信号を共通のマクロブロックヘッダで符号化する処 理を「共通符号化処理」、 1フレームの 3つの色成分信号を個別の独立したマクロプロ ックヘッダで符号化する処理を「独立符号化処理」と記す。同様に、 1フレームの 3つ の色成分信号が共通のマクロブロックヘッダで符号化されたビットストリーム力 フレ ーム画像データを復号する処理を「共通復号処理」、 1フレームの 3つの色成分信号 が個別の独立したマクロブロックヘッダで符号ィ匕されたビットストリーム力もフレーム画 像データを復号する処理を「独立復号処理」と記す。本実施の形態 14における共通 符号ィ匕処理では、図 66に示すように、 1フレーム分の入力映像信号を 3つの色成分 をまとめた形のマクロブロックに分割する。一方、独立符号化処理では、図 67に示す ように、 1フレーム分の入力映像信号を 3つの色成分に分離し、それらを単一の色成 分力もなるマクロブロックに分割する。つまり、共通符号ィ匕処理の対象となるマクロブ ロックは、 C0、 Cl、 C2の 3つの色成分のサンプルを含む力 独立符号化処理の対象 となるマクロブロックは、 COまたは C1または C2成分のうちのいずれ力 1つの成分のサ ンプルのみを含む。
[0279] 図 68は、本実施の形態 14の符号ィ匕装置 *復号装置における、ピクチャ間の時間方 向の動き予測参照関係を示す説明図である。この例では、太縦棒線で示されるデー タ単位をピクチヤとし、ピクチャとアクセスユニットとの関係を囲み点線で示している。 共通符号化'復号処理の場合、 1ピクチャは、 3つの色成分が混在した 1フレーム分 の映像信号を表すデータであって、独立符号化'復号処理の場合、 1ピクチャはいず れカ 1つの色成分の 1フレーム分の映像信号とする。アクセスユニットは、映像信号に 対してオーディオ '音声情報などとの同期などを目的とするタイムスタンプを付与する 最小データ単位であり、共通符号化'復号処理の場合、 1つのアクセスユニットには 1 ピクチャ分のデータを含む（図 68の 427a)。一方、独立符号化'復号処理の場合は 1 つのアクセスユニットに 3つのピクチヤが含まれる（図 68の 427b)。これは独立符号化 '復号処理の場合、 3つの色成分すベての同一表示時刻のピクチャがそろってはじ めて 1フレーム分の再生映像信号が得られるためである。なお、各ピクチャの上部に 付与した番号は、ピクチャの時間方向の符号化'復号処理順序 (AVCの frame_num) を示す。図 68では、ピクチャ間の矢印は動き予測の参照方向を示している。すなわ ち、独立符号化'復号処理の場合、同一アクセスユニットに含まれるピクチャの間で の動き予測参照、ならびに異なる色成分間での動き予測参照は行わないものとし、 C 0、 Cl、 C2の各色成分のピクチャを同一色成分の信号に限定して予測参照しながら 符号化'復号する。このような構成とすることにより、本実施の形態 14における独立符 号化'復号処理の場合は、各色成分の符号化'復号を、他の色成分の符号化'復号 処理に全く依存することなく実行でき、並列処理が容易になる。
[0280] なお、 AVCでは、自身はイントラ符号ィ匕を行うとともに、動き補償予測に用いる参照 画像メモリの内容をリセットする IDR (instantaneous decoder refresh)ピクチャが定義さ れて 、る。 IDRピクチャは他の 、かなるピクチャにも依存せずに復号可能であるため ランダムアクセスポイントとして利用される。共通符号ィ匕処理の場合のアクセスュ-ッ トは、 1アクセスユニット = 1ピクチャである力 独立符号ィ匕処理の場合のアクセスュ- ットでは 1アクセスユニットが複数ピクチヤで構成されるため、ある色成分ピクチャが ID Rピクチャである場合は他の残りの色成分ピクチャも IDRピクチャとして、 IDRアクセス ユニットを定義し、ランダムアクセス機能を確保する。
[0281] 以下、共通符号化処理による符号化を行ったか、独立符号化処理による符号化を 行つたかを示す識別情報を、本実施の形態 14では、共通符号化，独立符号化識別 信号と呼ぶ。
[0282] 図 69は、本実施の形態 14の符号化装置で生成され、本実施の形態 14の復号装 置が入力'復号処理の対象とするビットストリームの構造の一例を示す説明図である 。図 69は、シーケンスからフレームレベルまでのビットストリーム構成を示したもので、 まず、シーケンスレベルの上位ヘッダ（AVCの場合、シーケンスパラメータセットなど） に、共通符号化'独立符号化識別信号 423を多重しておく。個々のフレームはァクセ スユニットの単位で符号化される。 AUDとは、 AVCにおいてアクセスユニットの切れ目 を識別するためのユニークな NALユニットである Access Unit Delimiter NALユニット を示す。共通符号化'独立符号ィ匕識別信号 423が「共通符号ィ匕処理によるピクチャ 符号化」を示す場合は、アクセスユニットには 1ピクチャ分の符号化データが含まれる 。このときのピクチャは、前述のように 3つの色成分が混在した 1フレーム分の映像信 号を表すデータであるとする。このとき、 i番目のアクセスユニットの符号化データはス ライスデータ Slice(U)の集合として構成される。 jは、 1ピクチャ内のスライスデータの インデックスである。
[0283] 一方、共通符号化，独立符号化識別信号 423が「独立符号化処理によるピクチャ 符号化」を示す場合は、 1ピクチャはいずれか 1つの色成分の 1フレーム分の映像信 号である。このとき、 p番目のアクセスユニットの符号化データは、アクセスユニット内 の q番目のピクチャのスライスデータ Slice(p,q,r)の集合として構成される。 rは、 1ピク チヤ内のスライスデータのインデックスである。 RGBのように色成分が 3成分で構成さ れる映像信号の場合、 qがとり得る値の個数は 3である。また、 3原色力もなる映像信 号に加えて例えばアルファブレンデイングのための透過度情報のような付加データを 同一アクセスユニットとして符号化'復号する場合や、 4成分以上の色成分 (例えば力 ラー印刷で使用される YMCKなど)で構成される映像信号を符号化'復号する場合な どは、 qがとり得る値の個数は 4以上となるように設定する。本実施の形態 14における 符号化装置、復号装置は、独立符号化処理を選択すれば、映像信号を構成する各 色成分をまったく独立に符号ィ匕するため、原理的に符号化'復号処理を変更すること なぐ色成分の枚数を自在に変更できる。将来、映像信号の色表現を行うための信 号形式が変更された場合にも、本実施の形態 14における独立符号ィ匕処理で対応可 能となる効果がある。
[0284] このような構成を実現するために、本実施の形態 14では、共通符号化'独立符号 化識別信号 423は「1アクセスユニット内に含まれ、各々が相互に動き予測参照する ことなく独立に符号化されるピクチャの数」という形で表現する。このとき、共通符号化 •独立符号ィ匕識別信号 423は上記パラメータ qがとり得る値の個数で表現できることに なり、このパラメータがとり得る値の個数を以降、 num_pictures_in_auと呼ぶ。つまり、 nu m_pictures_in_au = 1は「共通符号化処理」を示し、 num_picturesjn_au = 3は本実施の 形態 14における「独立符号化処理」を示す。色成分が 4以上となる場合、 num_picture s_in_au > 3なる値に設定すればよい。このようなシグナリングを行うことによって、復号 装置は num_pictures_in_auを復号、参照すれば共通符号ィヒ処理による符号ィヒデータ と独立符号ィ匕処理による符号ィ匕データの区別ができるだけでなぐ 1つのアクセスュ ニット内に何枚の単一色成分ピクチヤが存在するかを同時に知ることができ、将来の 映像信号の色表現拡張への対応も可能にしつつ、共通符号化処理と独立符号化処 理をビットストリーム中でシームレスに扱うことが可能である。
[0285] 図 70は、共通符号化処理、独立符号ィ匕処理それぞれの場合のスライスデータのビ ットストリーム構成を示す説明図である。独立符号ィ匕処理によって符号化されたビット ストリームでは、後述する効果を達成するため、復号装置で受信したスライスデータが アクセスユニット内のどの色成分のピクチャに属するスライスかを識別可能なように、 スライスデータの先頭のヘッダ領域に色成分識別フラグ (color_channel_idc)を付与す る。 color_channel_idcは、その値が同じスライスをグループ化する。つまり、 color.chann eljdcの値が異なるスライス間では、いかなる符号化'復号の依存性 (例えば動き予測 参照、 CABACのコンテキストモデリング ·生起確率学習など)も持たせないものとする 。このように規定することで、独立符号化処理の場合のアクセスユニット内の個々のピ クチャの独立性が確保される。また、各スライスヘッダに多重される frame_num (スライ スが属するピクチャの符号化'復号処理順序）については、 1アクセスユニット内の全 色成分ピクチヤにおいて同一の値とする。
[0286] 図 71は、本実施の形態 14の符号ィ匕装置の概略構成を示す説明図である。図 71に おいて、共通符号ィ匕処理は第 1のピクチャ符号ィ匕部 503aにおいて実行され、独立 符号化処理は第 2のピクチャ符号化部 503bO、 503b 1、 503b2(3つの色成分分を 用意)において実行される。入力映像信号 1は、スィッチ (SW)501によって第 1のピク チヤ符号ィ匕部 503aか、色成分分離部 502および第 2のピクチャ符号ィ匕部 503bO〜 503b2のいずれかに供給される。スィッチ 501は、共通符号化'独立符号化識別信 号 423によって駆動され、入力映像信号 1を指定されたパスへ供給する。以下では、 共通符号化 ·独立符号ィ匕識別信号 (num_piCtures_in_au)423は、入力映像信号が 4： 4 :4フォーマットの場合にシーケンスパラメータセットに多重され、シーケンスの単位で 共通符号化処理と独立符号化処理を選択する信号とする場合につ!ヽて説明する。こ れは上記実施の形態 7で述べたインター予測モード共通化識別フラグ 123や、上記 実施の形態 11で述べたマクロブロックヘッダ共通化識別フラグ 123cと概念的に同一 である。共通符号化処理を用いた場合は復号装置側では共通復号処理を実行し、 独立符号化処理を用いた場合は復号装置側では独立復号処理を実行する必要が あるため、共通符号化'独立符号ィ匕識別信号 423はそれを指定する情報としてビット ストリームに多重する必要がある。そのため、共通符号化'独立符号化識別信号 423 は多重化部 504へ入力される。この共通符号化'独立符号化識別信号 423の多重 化単位は、シーケンス内のいくつかのピクチャ群からなる GOP (グループ'ォブ'ピクチ ャ)の単位など、ピクチャよりも上位レイヤであればどのような単位であってもよ！/、。
[0287] 第 1のピクチャ符号ィ匕部 503aでは、共通符号化処理を実行するために、入力映像 信号 1を図 66に示すように 3つの色成分のサンプルをまとめた形式のマクロブロック へ分割して、その単位で符号ィ匕処理を進める。第 1のピクチャ符号ィ匕部 503aにおけ る符号化処理は後述する。独立符号化処理が選択された場合は、入力映像信号 1 は色成分分離部 502で C0、 Cl、 C2の 1フレーム分のデータへ分離され、それぞれ対 応する第 2のピクチャ符号ィ匕部 503b0〜503b2へ供給される。第 2のピクチャ符号化 部 503bO〜503b2では、色成分ごとに分離された 1フレーム分の信号を図 67に示 す形式のマクロブロックへ分割して、その単位で符号ィ匕処理を進める。第 2のピクチャ 符号化部における符号化処理は後述する。
[0288] 第 1のピクチャ符号ィ匕部 503aには、 3つの色成分力もなる 1ピクチャ分の映像信号 が入力され、符号ィ匕データはビデオストリーム 422aとして出力される。第 2のピクチャ 符号ィ匕部 503bO〜503b2には、単一色成分力もなる 1ピクチャ分の映像信号が入 力され、符号化データはビデオストリーム 422b0〜422b2として出力される。これらビ デォストリームは、共通符号化'独立符号化識別信号 423の状態に基づいて多重化 部 504でビデオストリーム 422cの形式に多重化され、出力される。
[0289] ビデオストリーム 422cの多重化に際しては、独立符号ィ匕処理される場合のアクセス ユニット中では、スライスデータのビットストリーム中での多重化順、伝送順を、ァクセ スユニット内のピクチャ（各色成分）間でインタリーブ可能とする（図 72)。この場合、 復号装置側では、受信したスライスデータが、アクセスユニット内のどの色成分に属 するスライスかを識別する必要がある。そのために、スライスデータの先頭のヘッダ領 域に図 70のように多重する色成分識別フラグを利用する。
[0290] このような構成にすることにより、符号ィ匕装置では、図 71の符号ィ匕装置のように 3つ の色成分のピクチャをそれぞれ独立な第 2のピクチャ符号化部 503bO〜503b2の 3 セット使用して、並列処理により符号化を行う場合に、他の色成分ピクチヤの符号ィ匕 データの完成を待たずに、自身のピクチヤのスライスデータが準備できればすぐに符 号ィ匕データを送出可能となる。 AVCでは 1ピクチャを複数のスライスデータに分割し て符号ィ匕することができ、スライスデータ長やスライス内に含まれるマクロブロックの個 数については、符号ィ匕条件に応じて柔軟に変化させることができる。画像空間上で 隣り合うスライスの間では、スライスの復号処理の独立性を確保するため、イントラ予 測や算術符号ィ匕などの近傍コンテクストの利用ができないため、スライスデータ長は できるだけ長いほうが符号ィ匕効率は高い。一方、伝送や記録の過程でビットストリー ムに誤りが混入した場合は、スライスデータ長が短いほど誤りからの復帰が早まり、品 質劣化を抑えやすくなる。色成分識別フラグを多重化することなぐスライスの長さや 構成、色成分の順序などを固定的にしてしまうと、符号ィ匕装置においてビットストリー ムの生成条件が固定化されてしまい、多様な符号ィ匕要求条件に柔軟に対応すること ができなくなる。
[0291] また、図 72のようにビットストリームを構成することができれば、符号化装置では伝 送に必要な送信バッファサイズ、すなわち符号ィ匕装置側での処理遅延を小さくするこ とができる。その様子を図 72に示す。もしピクチャをまた力 ¾スライスデータの多重が 許容されない場合、符号化装置は、ある特定の色成分のピクチャの符号ィヒが終了す るまでの間、他のピクチヤの符号ィ匕データをバッファリングさせる必要がある。これは ピクチャレベルでの遅延が発生することを意味する。一方、図 72最下部に示すように 、スライスレベルでインタリーブ可能とすれば、ある特定の色成分のピクチャ符号ィ匕部 はスライスデータの単位で符号ィ匕データを多重化部に出力することができ、遅延を抑 ff¾することができる。
[0292] なお、 1つの色成分ピクチャ内においては、それに含まれるスライスデータはマクロ ブロックのラスタスキャン順で伝送するようにしてもよいし、 1つのピクチャ内でもインタ リーブ伝送を可能とするように構成してもよ ヽ。
[0293] 以下、第 1および第 2のピクチャ符号ィ匕部の動作を詳しく説明する。
[0294] 笫 1のピクチャ符^ ·化部の動作概耍
第 1のピクチャ符号ィ匕部 503aの内部構成を図 73に示す。図 73において、入力映 像信号 1は、 4 : 4 : 4フォーマットで、かつ図 66の形式の 3つの色成分をまとめたマク ロブロックの単位で入力されるものとする。
[0295] まず、予測部 461において、メモリ 16aに格納される動き補償予測参照画像データ の中から参照画像を選択し、該マクロブロックの単位で動き補償予測処理が行われ る。メモリ 16aには、複数時刻に渡る、 3つの色成分で構成される複数枚の参照画像 データが格納され、予測部 461では、これらの中力 マクロブロックの単位で最適な 参照画像を選択して動き予測を行う。メモリ 16a内の参照画像データの配置は、色成 分ごとに面順次で分けて格納してもよ 、し、各色成分のサンプルを点順次で格納し てもよい。動き補償予測を行うブロックサイズは 7種類用意されており、まずマクロプロ ック単位に、図 32(a)力ら (d)に示すように、 16x16、 16x8、 8x16、 8x8の!ヽずれ力の サイズを選択することができる。さらに 8x8が選択された場合には、各 8x8ブロックごと に、図 32(e)力ら (h)に示すように、 8x8、 8x4、 4x8、 4x4の!ヽずれ力のサイズを選択 することができる。
[0296] 予測部 461では、図 32のすベてまたは一部のブロックサイズ ·サブブロックサイズ、 および所定の探索範囲の動きベクトルおよび利用可能な 1枚以上の参照画像に対し てマクロブロックごとに動き補償予測処理を実行して、動きベクトル情報と予測に用い る参照画像識別番号 463と減算器 3により、動き補償予測単位となるブロックごとの予 測差分信号 4を得る。予測差分信号 4は符号ィ匕モード判定部 5においてその予測効 率が評価され、予測部 461で実行した予測処理の中から、予測対象のマクロブロック に対して最適な予測効率が得られるマクロブロックタイプ Zサブマクロブロックタイプ 1 06と動きベクトル情報 ·参照画像識別番号 463を出力する。マクロブロックタイプ、サ ブマクロブロックタイプ、参照画像インデックス、動きベクトルなどのマクロブロックへッ ダ情報はすべて、 3つの色成分に対して共通のヘッダ情報として決定され、符号ィ匕 に使用され、ビットストリームに多重化される。予測効率の最適性の評価にあたっては 、演算量を抑制する目的で、ある所定の色成分 (たとえば RGBのうちの G成分、 YU Vのうちの Y成分など）に対する予測誤差量だけを評価してもよいし、演算量は大きく なるが最適な予測性能を得るべくすべての色成分についての予測誤差量を総合評 価するようにしてもよい。また、最終的なマクロブロックタイプ Zサブマクロブロックタイ プ 106の選定にあたっては、符号ィ匕制御部 19の判断で定まる各タイプに対する重み 係数 20が加味されることもある。
[0297] 同様に、予測部 461では、イントラ予測も実行する。イントラ予測実行時は、出力信 号 463には、イントラ予測モード情報が出力される。以降、特にイントラ予測、動き補 償予測を区別しない場合には、出力信号 463はイントラ予測モード情報、動きべタト ル情報、参照画像識別番号をまとめて予測オーバヘッド情報と呼ぶ。イントラ予測に っ 、ても所定の色成分だけの予測誤差量を評価してもよ 、し、すべての色成分につ いての予測誤差量を総合評価するようにしてもよい。最後に、マクロブロックタイプを イントラ予測にする力 インター予測にするかを、符号化モード判定部 5において予 測効率または符号化効率で評価して選定する。
[0298] 選定されたマクロブロックタイプ Zサブマクロブロックタイプ 106と、予測オーバへッ ド情報 463に基づくイントラ予測'動き補償予測によって得られる予測差分信号 4を変 換部 310へ出力する。変換部 310は入力される予測差分信号 4を変換し変換係数と して量子化部 9へ出力する。この際、変換を行う単位となるブロックのサイズを 4x4か 8x8の 、ずれ力から選択するようにしてもよ!、。変換ブロックサイズを選択可能とする 場合は、符号化時に選択されたブロックサイズを、変換ブロックサイズ指定フラグ 464 の値に反映し、同フラグをビットストリームに多重化する。量子化部 9は入力される変 換係数を、符号ィ匕制御部 19によって定まる量子化パラメータ 21に基づいて量子化 を行い、量子化済み変換係数 10として可変長符号ィ匕部 11へ出力する。量子化済み 変換係数 10は、 3つの色成分分の情報を含み、可変長符号ィ匕部 11にてハフマン符 号ィ匕ゃ算術符号ィ匕などの手段によりエントロピー符号化される。また、量子化済み変 換係数 10は逆量子化部 12、逆変換部 312を経て局部復号予測差分信号 14へ復 元され、選定されたマクロブロックタイプ Zサブマクロブロックタイプ 106と予測オーバ ヘッド情報 463に基づいて生成される予測画像 7と加算器 18で加算することで局部 復号画像 15が生成される。局部復号画像 15は、デブロッキングフィルタ 462でブロッ クひずみ除去処理を実施した後、以降の動き補償予測処理に用いるためメモリ 16a へ格納される。可変長符号化部 11には、当該マクロブロックに対してデブロッキング フィルタを施すか否かを示すデブロッキングフィルタ制御フラグ 24も入力される。
[0299] 可変長符号化部 11に入力される量子化済み変換係数 10、マクロブロックタイプ Z サブマクロブロックタイプ 106、予測オーバヘッド情報 463、量子化パラメータ 21は所 定の規則（シンタックス）に従ってビットストリームとして配列'整形され、図 66の形式 のマクロブロックが 1つないしは複数個まとまったスライスデータの単位で NALュ-ッ ト化された符号化データとして送信バッファ 17へ出力される。送信バッファ 17では符 号化装置が接続される伝送路の帯域や記録媒体の読み出し速度に合わせてビットス トリームを平滑ィ匕してビデオストリーム 422aとして出力する。また、送信バッファ 17中 のビットストリーム蓄積状況に応じて符号ィ匕制御部 19へフィードバックをかけ、以降の 映像フレームの符号ィ匕における発生符号量を制御する。 [0300] なお、第 1のピクチャ符号ィ匕部 503aの出力は、 3成分をまとめた単位のスライスであ つてアクセスユニットをまとめた単位での符号量と等価であるため、送信バッファ 17は そのまま多重化部 504内に配置してもよい。
[0301] 本実施の形態 14における第 1のピクチャ符号ィ匕部 503aでは、共通符号化'独立符 号化識別信号 423によってシーケンス中のすべてのスライスデータが CO、 Cl、 C2 混在スライス (すなわち、 3つの色成分の情報が混在するスライス)であることが識別 可能であるため、スライスヘッダに色成分識別フラグは多重化しな 、。
[0302] 第 2のピクチャ符吾化部の動作概要
第 2のピクチャ符号ィ匕咅 503bO (503bl、 503b2)の内咅構成を図 74に示す。図 7 4において、入力映像信号 1は、図 67の形式の単一色成分のサンプル力もなるマク ロブロックの単位で入力されるものとする。
[0303] まず、予測部 461において、メモリ 16bに格納される動き補償予測参照画像データ の中から参照画像を選択し、該マクロブロックの単位で動き補償予測処理を行う。メ モリ 16bには、複数時刻に渡る、単一色成分で構成される複数枚の参照画像データ を格納でき、予測部 461では、これらの中力もマクロブロックの単位で最適な参照画 像を選択して動き予測を行う。メモリ 16bは 3つの色成分分をまとめた単位でメモリ 16 aと共用するようにしてもよい。動き補償予測を行うブロックサイズには 7種類用意され ており、まずマク Pブ Pック単位に、図 32(a)力ら (d)に示す うに、 16x16、 16x8、 8x 16、 8x8のいずれかのサイズを選択することができる。さらに 8x8が選択された場合 には、各 8x8ブロックごとに、図 32(e)力ら (h)に示すように、 8x8、 8x4、 4x8、 4x4の V、ずれかのサイズを選択することができる。
[0304] 予測部 461では、図 32のすベてまたは一部のブロックサイズ ·サブブロックサイズ、 および所定の探索範囲の動きベクトルおよび利用可能な 1枚以上の参照画像に対し てマクロブロックごとに動き補償予測処理を実行して、動きベクトル情報と予測に用い る参照画像識別番号 463と減算器 3により、動き補償予測単位となるブロックごとの予 測差分信号 4を得る。予測差分信号 4は符号ィ匕モード判定部 5においてその予測効 率が評価され、予測部 461で実行した予測処理の中から、予測対象のマクロブロック に対して最適な予測効率が得られるマクロブロックタイプ Zサブマクロブロックタイプ 1 06と動きベクトル情報 ·参照画像識別番号 463を出力する。マクロブロックタイプ、サ ブマクロブロックタイプ、参照画像インデックス、動きベクトルなどのマクロブロックへッ ダ情報はすべて、入力映像信号 1の単一色成分の信号に対するヘッダ情報として決 定され、符号化に使用され、ビットストリームに多重化される。予測効率の最適性の評 価にあたっては、符号化処理対象となる単一色成分に対する予測誤差量だけを評 価する。また、最終的なマクロブロックタイプ Zサブマクロブロックタイプ 106の選定に あたっては、符号ィ匕制御部 19の判断で定まる各タイプに対する重み係数 20が加味 されることちある。
[0305] 同様に、予測部 461では、イントラ予測も実行する。イントラ予測実行時は、出力信 号 463には、イントラ予測モード情報が出力される。以降、特にイントラ予測、動き補 償予測を区別しない場合には、出力信号 463はイントラ予測モード情報、動きべタト ル情報、参照画像識別番号をまとめて予測オーバヘッド情報と呼ぶ。イントラ予測に っ ヽても符号化処理対象となる単一色成分に対する予測誤差量だけを評価する。最 後に、マクロブロックタイプをイントラ予測にする力、インター予測にするかを予測効率 または符号化効率で評価して選定する。
[0306] 選定されたマクロブロックタイプ Zサブマクロブロックタイプ 106と、予測オーバへッ ド情報 463によって得られる予測差分信号 4を変換部 310へ出力する。変換部 310 は入力される単一色成分分の予測差分信号 4を変換し変換係数として量子化部 9へ 出力する。この際、変換を行う単位となるブロックのサイズを 4x4力 8x8のいずれかか ら選択するよう〖こしてもよい。選択可能とする場合は、符号化時に選択されたブロック サイズを、変換ブロックサイズ指定フラグ 464の値に反映し、同フラグをビットストリー ムに多重化する。量子化部 9は入力される変換係数を、符号ィ匕制御部 19によって定 まる量子化パラメータ 21に基づ 、て量子化を行 、、量子化済み変換係数 10として可 変長符号化部 11へ出力する。量子化済み変換係数 10は、単一色成分分の情報を 含み、可変長符号ィ匕部 11にてハフマン符号ィ匕ゃ算術符号ィ匕などの手段によりェント 口ピー符号化される。また、量子化済み変換係数 10は逆量子化部 12、逆変換部 31 2を経て局部復号予測差分信号 14へ復元され、選定されたマクロブロックタイプ Zサ ブマクロブロックタイプ 106と予測オーバヘッド情報 463に基づいて生成される予測 画像 7と加算器 18で加算することで局部復号画像 15が生成される。局部復号画像 1 5は、デブロッキングフィルタ 462でブロックひずみ除去処理を実施した後、以降の動 き補償予測処理に用いるためメモリ 16bへ格納される。可変長符号化部 11には、当 該マクロブロックに対してデブロッキングフィルタを施すか否かを示すデブロッキング フィルタ制御フラグ 24も入力される。
[0307] 可変長符号化部 11に入力される量子化済み変換係数 10、マクロブロックタイプ Z サブマクロブロックタイプ 106、予測オーバヘッド情報 463、量子化パラメータ 21は所 定の規則（シンタックス）に従ってビットストリームとして配列'整形され、図 67の形式 のマクロブロックが 1つないしは複数個まとまったスライスデータの単位で NALュ-ッ ト化された符号化データとして送信バッファ 17へ出力される。送信バッファ 17では符 号化装置が接続される伝送路の帯域や記録媒体の読み出し速度に合わせてビットス トリームを平滑化してビデオストリーム 422b0 (422bl、 422b2)として出力する。また 、送信バッファ 17中のビットストリーム蓄積状況に応じて符号化制御部 19へフィード ノ ックをかけ、以降の映像フレームの符号ィ匕における発生符号量を制御する。
[0308] なお、第 2のピクチャ符号化部 503bO〜503b2の出力は、単一色成分のデータの み力 なるスライスであって、アクセスユニットをまとめた単位での符号量制御が必要 となる場合には、多重化部 504内に全色成分のスライスを多重した単位での共通送 信バッファを設け、同ノ ッファの占有量をもとに各色成分の符号化制御部 19にフィー ドバックをかけるように構成してもよい。また、この際、全色成分の発生情報量だけを 用 、て符号ィ匕制御を行うようにしてもょ 、し、各色成分の送信バッファ 17の状態も加 味して符号化制御を行うようにしてもよ！ヽ。全色成分の発生情報量だけを用いて符号 化制御を行う場合は、送信バッファ 17相当の機能を多重化部 504内の共通送信バ ッファで実現することとして、送信バッファ 17を省略する構成をとることもできる。
[0309] 本実施の形態 14における第 2のピクチャ符号ィ匕部 503bO〜503b2では、共通符 号化'独立符号ィ匕識別信号 423によってシーケンス中のすべてのスライスデータが 単一色成分スライス（すなわち、 COスライスまたは C1スライスまたは C2スライス）であ ることが識別可能であるため、スライスヘッダに常に色成分識別フラグを多重化し、復 号装置側でどのスライスがアクセスユニット内のどのピクチャデータに該当するかを識 別できるようにする。このため、各第 2のピクチャ符号ィ匕部 503bO〜503b2は、それ ぞれの送信バッファ 17からの出力を 1ピクチャ分ためることなぐ 1スライス分のデータ がたまった時点で送出することができる。
[0310] なお共通符号化 '独立符号ィ匕識別信号 (num_piCtures_in_au)は、共通符号ィ匕処理に よる符号ィ匕データと独立符号ィ匕処理による符号ィ匕データを区別する情報 (共通符号 化識別情報)と、 1つのアクセスユニット内に何枚の単一色成分ピクチヤが存在するか を示す情報 (色成分の数)を同時に表現できるようにしたが、上記 2つの情報を独立な 情報として符号ィ匕してもよい。
[0311] なお、第 1のピクチャ符号ィ匕部 503aと第 2のピクチャ符号ィ匕部 503bO〜503b2とは 、マクロブロックヘッダ情報を 3成分共通の情報として扱うか、単一の色成分の情報と して扱うかの違いと、スライスデータのビットストリーム構成が異なるだけである。図 73 や図 74における予測部や変換部 ·逆変換部、量子化部 ·逆量子化部、デブロッキン グフィルタなどの基本的な処理ブロックの多くは、 3つの色成分の情報とまとめて処理 するか、単一の色成分の情報だけを扱うかの違いだけで、第 1のピクチャ符号化部 5 03aと第 2のピクチャ符号ィ匕部 503bO〜503b2とで共通の機能ブロックで実現するこ ともできる。したがって、図 71のような完全に独立な符号ィ匕処理部としてだけでなぐ 図 73や図 74の基本構成要素を適宜組み合わせて多様な符号ィ匕装置の実装を実現 することができる。また、第 1のピクチャ符号ィ匕部 503aにおけるメモリ 16aの配置を面 順次で持つことにすれば、参照画像格納メモリの構成を第 1のピクチャ符号化部 503 aと第 2のピクチャ符号化部 503bO〜503b2とで共通にできる。
[0312] なお、図示はしていないが、本実施の形態 14における符号化装置では、図 69、図 70の配列に従うビデオストリーム 422cをバッファリングする仮想的なストリームバッフ ァ（符号ィ匕ピクチャバッファ）と、復号画像 427a、 427bをバッファリングする仮想的な フレームメモリ（復号ピクチャバッファ）の存在を想定し、符号ィ匕ピクチヤノくッファのォ 一バーフロ一.アンダーフローや、復号ピクチャバッファの破綻がないようにビデオス トリーム 422cを生成する。この制御は主として、符号ィ匕制御部 19で行う。これにより、 復号装置において、ビデオストリーム 422cを符号ィ匕ピクチャバッファと復号ピクチャ バッファの動作 (仮想バッファモデル）に従って復号する場合に、復号装置に破綻が 生じな 、ようにすることを保証する。仮想バッファモデルを以下に規定する。
[0313] 符号化ピクチャバッファの動作はアクセスユニット単位で行う。上述のとおり、共通 復号処理を行う場合には 1アクセスユニットには 1ピクチャ分の符号ィ匕データが含まれ 、独立復号処理を行う場合には 1アクセスユニットには色成分数分のピクチャ（3成分 ならば 3ピクチャ分)の符号化データが含まれている。符号ィ匕ピクチヤノッファについ て規定される動作は、アクセスユニットの最初のビットと最後のビットが符号ィ匕ピクチャ ノ ッファに入力される時刻とアクセスユニットのビットが符号ィ匕ピクチャバッファ力も読 み出される時刻である。なお符号ィ匕ピクチャバッファ力 の読み出しは瞬時に行われ ると規定し、アクセスユニットのすべてのビットが同じ時刻に符号ィ匕ピクチャバッファか ら読み出されることする。アクセスユニットのビットは符号ィ匕ピクチャバッファ力も読み 出されると、上位ヘッダ解析部へ入力され、上述のとおり、第 1のピクチャ復号部また は第 2のピクチャ復号部にて復号処理が行われ、アクセスユニット単位に束ねられた カラー映像フレームとして出力される。なお符号ィ匕ピクチャバッファ力もビットを読み 出して、アクセスユニット単位のカラー映像フレームとして出力するまでの処理は、仮 想バッファモデルの規定上は瞬時に行われるものとする。アクセスユニット単位に構 成されたカラー映像フレームは復号ピクチャバッファへ入力され、復号ピクチャバッフ ァカもの出力時刻が算出される。復号ピクチャバッファ力もの出力時刻は、符号化ピ クチャバッファ力もの読み出し時刻に所定の遅延時間をカ卩えた値である。この遅延時 間はビットストリームに多重して復号装置を制御することが可能である。遅延時間が 0 の場合、すなわち復号ピクチャバッファからの出力時刻が符号ィ匕ピクチャバッファか らの読み出し時刻に等しい場合には、カラー映像フレームが復号ピクチャバッファへ 入力されると同時に復号ピクチャバッファから出力される。それ以外の場合、すなわ ち復号ピクチャバッファからの出力時刻が符号ィ匕ピクチヤノッファ力もの読み出し時 刻より遅い場合、復号ピクチャバッファからの出力時刻になるまでカラー映像フレーム は復号ピクチャバッファに保存される。上述のとおり、アクセスユニット単位に復号ピク チヤバッファからの動作が規定される。
[0314] 図 75は、本実施の形態 14の復号装置の概略構成を示す説明図である。図 75にお いて、共通復号処理は第 1のピクチャ復号部 603aにおいて実行され、独立復号処理 は色成分判定部 602と第 2のピクチャ復号部 603b0、 603b 1、 603b2 (3つの色成 分分を用意）において実行される。
[0315] ビデオストリーム 422cは、上位ヘッダ解析部 610で NALユニット単位に分割され、 シーケンスパラメータセットゃピクチャパラメータセットなどの上位ヘッダ情報は、その まま復号して復号装置内の第 1のピクチャ復号部 603a、色成分判定部 602、第 2の ピクチャ復号部 603b0〜603b2が参照可能な所定のメモリエリアへ格納しておく。シ 一ケンス単位に多重される共通符号化 '独立符号ィ匕識別信号 423 (num_pictures_in_ au)は、上位ヘッダ情報の一部として復号'保持される。
[0316] 復号された num_pictures_in_auはスィッチ（SW) 601に供給され、スィッチ 601は num_ pictures_in_au = 1ならば、ピクチャごとのスライス NALユニットを第 1のピクチャ復号部 603aへ供給し、 num_pictures_in_au = 3ならば、色成分判定部 602に供給する。すな わち、 num_picturesjn_au = 1ならば第 1のピクチャ復号部 603aにより、共通復号処 理が行われ、 num_pictures_in_au = 3ならば 3つの第 2のピクチャ復号部 603b0〜60 3b2により、独立復号処理が行われる。第 1および第 2のピクチャ復号部の詳細な動 作は後述する。
[0317] 色成分判定部 602は、図 70で示した色成分識別フラグの値により、スライス NALュ ニットが現在のアクセスユニット内のいずれの色成分ピクチヤに相当するかを識別し て、適切な第 2のピクチャ復号部 603b0〜603b2へ分配供給する。このような復号装 置の構成によって、図 72のようにアクセスユニット内でスライスがインタリーブされて符 号ィ匕されたビットストリームを受信しても、どのスライスがどの色成分ピクチヤに属する かを容易に判別し正しく復号できる効果がある。
[0318] 第 1のピクチャ複吾部の動作概要
第 1のピクチャ復号部 603aの内部構成を図 76に示す。第 1のピクチャ復号部 603a は、図 71の符号ィ匕装置から出力される図 69、図 70の配列に従うビデオストリーム 44 2cを、上位ヘッダ解析部 610で NALユニット単位に分割した後、 C0、 Cl、 C2混在 スライスの単位で受信して、図 66に示す 3つの色成分のサンプルからなるマクロブロ ックを単位として復号処理を行 、、出力映像フレームを復元する。
[0319] 可変長復号部 25は NALユニットに分割されたビデオストリーム 442cを入力とし、 所定の規則（シンタックス）に従ってビデオストリーム 442cを解読して、 3成分分の量 子化済み変換係数 10、および 3成分で共通して用いられるマクロブロックヘッダ情報 (マクロブロックタイプ/サブマクロブロックタイプ 106、予測オーバヘッド情報 463、 変換ブロックサイズ指定フラグ 464、量子化パラメータ 21)を抽出する。量子化済み 変換係数 10は量子化パラメータ 21とともに、第 1のピクチャ符号ィ匕部 503aと同じ処 理を行う逆量子化部 12へ入力され、逆量子化処理が行われる。ついでその出力が 第 1のピクチャ符号ィ匕部 503aと同じ処理を行う逆変換部 312へ入力され、局部復号 予測差分信号 14へ復元される（変換ブロックサイズ指定フラグ 464がビデオストリー ム 422c中に存在すれば、それを逆量子化、逆変換処理過程で参照する)。一方、予 測部 461は、第 1のピクチャ符号ィ匕部 503a中の予測部 461のうち、予測オーバへッ ド情報 463を参照して予測画像 7を生成する処理だけが含まれ、予測部 461に対し てマクロブロックタイプ/サブマクロブロックタイプ 106、予測オーバヘッド情報 463が 入力され、 3成分分の予測画像 7を得る。マクロブロックタイプ力イントラ予測であるこ とを示す場合は、予測オーバヘッド情報 463からイントラ予測モード情報に従って 3 成分分の予測画像 7を得、マクロブロックタイプ力インター予測であることを示す場合 は、予測オーバヘッド情報 463から動きベクトル、参照画像インデックスに従って 3成 分分の予測画像 7を得る。局部復号予測差分信号 14と予測画像 7は加算器 18によ り加算され、 3成分分の暫定復号画像 (局部復号画像) 15を得る。暫定復号画像 15 は以降のマクロブロックの動き補償予測に用いられるため、第 1のピクチャ符号ィ匕部 5 03aと同じ処理を行うデブロッキングフィルタ 462で 3成分分の暫定復号画像サンプ ルに対してブロックひずみ除去処理を実施した後、復号画像 427aとして出力される とともに、メモリ 16aへ格納される。この際、可変長復号部 25によって解読されたデブ ロッキングフィルタ制御フラグ 24の指示に基づいてデブロッキングフィルタ処理を暫 定復号画像 15に対して作用させる。メモリ 16aには、複数時刻に渡る、 3つの色成分 で構成される複数枚の参照画像データが格納され、予測部 461では、これらの中か らマクロブロックの単位でビットストリーム力 抽出した参照画像インデックスで示され る参照画像を選択して予測画像生成を行う。メモリ 16a内の参照画像データの配置 は、色成分ごとに面順次で分けて格納してもよいし、各色成分のサンプルを点順次 で格納してもよい。復号画像 427aは 3つの色成分を含み、そのまま共通復号処理に おけるアクセスユニット 427a0を構成するカラー映像フレームとなる。
[0320] 第 2のピクチャ複吾部の動作概要
第 2のピクチャ復号部 603b0〜603b2の内部構成を図 77に示す。第 2のピクチャ 復号部 603b0〜603b2は、図 71の符号化装置から出力される図 69、図 70の配列 に従うビデオストリーム 442c力 上位ヘッダ解析部 610で NALユニット単位に分割さ れ、色成分判定部 602で振り分けられた COないしは、 C1ないしは、 C2スライス NAL ユニット単位で受信して、図 67に示す単一色成分のサンプルからなるマクロブロック を単位として復号処理を行い、出力映像フレームを復元する。
[0321] 可変長復号部 25はビデオストリーム 422cを入力とし、所定の規則（シンタックス）に 従ってビデオストリーム 422cを解読して、単一色成分の量子化済み変換係数 10、お よび単一色成分に適用するマクロブロックヘッダ情報（マクロブロックタイプ Zサブマ クロブロックタイプ 106、予測オーバヘッド情報 463、変換ブロックサイズ指定フラグ 4 64、量子化パラメータ 21)を抽出する。量子化済み変換係数 10は量子化パラメータ 21とともに第 2のピクチャ符号ィ匕部 503b0 (503bl、 503b2)と同じ処理を行う逆量 子化部 12へ入力され、逆量子化処理が行われる。ついでその出力が第 2のピクチャ 符号ィ匕部 503b0 (503bl、 503b2)と同じ処理を行う逆変換部 312へ入力され、局 部復号予測差分信号 14へ復元される（変換ブロックサイズ指定フラグ 464がビデオ ストリーム 422c中に存在すれば、それを逆量子化、逆直交変換処理過程で参照す る）。一方、予測部 461は、第 2のピクチャ符号ィ匕部 503b0 (503bl、 503b2)中の予 測部 461のうち、予測オーバヘッド情報 463を参照して予測画像 7を生成する処理 だけが含まれ、予測部 461に対してマクロブロックタイプ Zサブマクロブロックタイプ 1 06、予測オーバヘッド情報 463が入力され、単一色成分の予測画像 7を得る。マクロ ブロックタイプ力 Sイントラ予測であることを示す場合は、予測オーバヘッド情報 463か らイントラ予測モード情報に従って単一色成分の予測画像 7を得、マクロブロックタイ プカインター予測であることを示す場合は、予測オーバヘッド情報 463から動きべタト ル、参照画像インデックスに従って単一色成分の予測画像 7を得る。局部復号予測 差分信号 14と予測画像 7は加算器 18により加算され、単一色成分マクロブロックの 暫定復号画像 15を得る。暫定復号画像 15は以降のマクロブロックの動き補償予測 に用いられるため、第 2のピクチャ符号化部 503bO (503bl、 503b2)と同じ処理を 行うデブロッキングフィルタ 26で単一色成分の暫定復号画像サンプルに対してブロッ クひずみ除去処理を実施した後、復号画像 427bとして出力されるとともに、メモリ 16 bへ格納される。この際、可変長復号部 25によって解読されたデブロッキングフィルタ 制御フラグ 24の指示に基づいてデブロッキングフィルタ処理を暫定復号画像 15に対 して作用させる。復号画像 427bは単一色成分のサンプルのみを含み、図 75におけ る他の並列処理される第 2のピクチャ復号部 603b0〜603b2のそれぞれの出力であ る復号画像 427bをアクセスユニット 427b0の単位に束ねることで、カラー映像フレー ムとして構成される。
[0322] 以上のことから明らかなように、第 1のピクチャ復号部 603aと第 2のピクチャ復号部 6 03b0〜603b2とは、マクロブロックヘッダ情報を 3成分共通の情報として扱うか、単 一の色成分の情報として扱うかの違いと、スライスデータのビットストリーム構成が異な るだけで、図 73や図 74における動き補償予測処理や逆変換、逆量子化などの基本 的な復号処理ブロックの多くは第 1のピクチャ復号部 603aと第 2のピクチャ復号部 60 3b0〜603b2とで共通の機能ブロックで実現できる。したがって、図 75のような完全 に独立な復号処理部としてだけでなぐ図 76や図 77の基本構成要素を適宜組み合 わせて多様な復号装置の実装を実現することができる。また、第 1のピクチャ復号部 6 03aにおけるメモリ 16aの配置を面順次で持つことにすれば、メモリ 16a、メモリ 16bの 構成を第 1のピクチャ復号部 603aと第 2のピクチャ復号部 603b0〜603b2とで共通 にできる。
[0323] なお、図 75の復号装置は、図 71の符号化装置の別の形態として、共通符号化'独 立符号ィ匕識別信号 423を常に「独立符号ィ匕処理」に固定ィ匕して、第 1のピクチャ符号 化部 503aを一切使用せず全フレームを独立符号化するように構成された符号化装 置から出力されるビットストリームを受信して復号することももちろん可能である。また 、図 75の復号装置の別の形態として、常に共通符号化'独立符号化識別信号 423 が「独立符号化処理」に固定化されることを前提とする利用形態では、スィッチ 601 や第 1のピクチャ復号部 603aを省略した独立復号処理を行うのみの復号装置として 構成してちょい。
[0324] なお共通符号化 ·独立符号ィ匕識別信号 (num_piCtures_in_au)は、共通符号化処理に よる符号ィ匕データと独立符号ィ匕処理による符号ィ匕データを区別する情報 (共通符号 化識別情報)と、 1つのアクセスユニット内に何枚の単一色成分ピクチヤが存在するか を示す情報 (色成分の数)を含むようにしたが、上記 2つの情報が独立な情報として符 号ィ匕されていてちょい。
[0325] さらに、第 1のピクチャ復号部 603aに、従来の YUV4 : 2 : 0フォーマットを対象として 3成分まとめて符号ィ匕された AVCハイプロファイル準拠のビットストリームの復号機能 を備えるようにし、上位ヘッダ解析部 610において、ビデオストリーム 422cから復号 するプロファイル識別子を参照していずれのフォーマットで符号ィ匕されたビットストリ 一ムかを判定し、判定結果を共通符号化'独立符号化識別信号 423の信号線の情 報の一部としてスィッチ 601と第 1のピクチャ復号部 603aに伝える構成をとれば、従 来の YUV4： 2： 0フォーマットのビットストリームに対する互換性を確保する復号装置を 構成することちできる。
[0326] なお、本実施の形態 14における第 1のピクチャ符号ィ匕部 503aでは、スライスデータ に 3つの色成分の情報が混在し、かつ 3つの色成分に対してまったく同じイントラ'ィ ンター予測処理を実施するため、予測誤差信号空間で、色成分間での信号相関が 残存することがある。これを除去する工夫として、例えば、予測誤差信号に対して、上 記実施の形態 13で述べたような色空間変換処理を施すように構成してもよい。このよ うな構成をもつ第 1のピクチャ符号ィ匕部 503aの例を図 78、図 79に示す。図 78は、色 空間変換処理を、変換処理を行う前の画素レベルで実施する例であり、色空間変換 部 465を変換部 310の前に、逆色空間変換部 466を逆変換部 312の後に配置する 。図 79は、色空間変換処理を、変換処理を行った後で得られた係数データに対して 処理対象の周波数成分を適宜選択しながら実施する例であり、色空間変換部 465を 変換部 310の後に、逆色空間変換部 466を逆変換部 312の前に配置する。色空間 変換を施す周波数成分を限定することで、特定の色成分に含まれる高周波ノイズ成 分がノイズをあまり含まない他の色成分に伝播することを抑制することができる効果が ある。色空間変換処理の対象となる周波数成分を適応選択可能とする場合には、復 号側で符号ィ匕時の選択を判断するためのシグナリング情報 467をビットストリーム〖こ 多重化する。
[0327] 色空間変換処理は、符号化対象の画像信号の性質に応じて上記実施の形態 13で 述べたような複数の変換方式をマクロブロック単位に切り替えて使用するようにしても よいし、マクロブロックの単位で変換有無を判定するように構成してもよい。選択可能 な変換方式の種別をシーケンスレベルなどで指定しておき、それらの中からどれを選 ぶかをピクチャ、スライス、マクロブロックなどの単位で指定するようにも構成できる。ま た、直交変換の前で実施するか、後で実施するかを選択可能なように構成してもよい 。これらの適応符号化処理を行う場合は、選択可能なすべての選択肢について、符 号ィ匕モード判定部 5で符号ィ匕効率の評価を行ってもっとも符号ィ匕効率が高いものを 選択するように構成することができる。これらの適応符号化処理を実施する場合は、 復号側で符号ィ匕時の選択を判断するためのシグナリング情報 467をビットストリーム に多重化する。このようなシグナリングは、スライス、ピクチャ、 GOP、シーケンスなどマ クロブロックとは異なるレベルで指定してもよ 、。
[0328] 図 78、図 79の符号化装置に対応する復号装置を図 80、図 81に示す。図 80は、 図 78の符号ィ匕装置によって、変換処理前に色空間変換が行われて符号化されたビ ットストリームを復号する復号装置である。可変長復号部 25はビットストリームから、逆 色空間変換部 466において変換を行うか行わないかを選択する変換有無の情報や 、逆色空間変換部 466において実行可能な変換方式を選択する情報であるシグナリ ング情報 467を復号して、逆色空間変換部 466へ供給する。図 80の復号装置は、逆 色空間変換部 466において、これらの情報に基づいて逆変換後の予測誤差信号に 対する色空間変換処理を実施する。また、図 81は、図 79の符号ィ匕装置によって、変 換処理後に処理対象の周波数成分を選択して色空間変換を行うことによって符号化 されたビットストリームを復号する復号装置である。可変長復号部はビットストリームか ら、逆色空間変換部 466において変換を行うか行わないかを選択する変換有無の情 報や、逆色空間変換部において実行される変換方式を選択する情報や、色空間変 換を施す周波数成分を特定する情報などを含む識別情報であるシグナリング情報 4 67を復号して逆色空間変換部 466に供給する。図 81の復号装置は、逆色空間変換 部 466において、これらの情報に基づいて逆量子化後の変換係数データに対し色 空間変換処理を実施する。
[0329] 図 80、図 81の復号装置は、図 75の復号装置と同様、第 1のピクチャ復号部 603a に、従来の YUV4： 2： 0フォーマットを対象として 3成分まとめて符号化された AVCノヽ ィプロファイル準拠のビットストリームの復号機能を備えるようにし、上位ヘッダ解析部
610において、ビデオストリーム 422cから復号するプロファイル識別子を参照してい ずれのフォーマットで符号化されたビットストリームかを判定し、判定結果を共通符号 ィ匕 '独立符号ィ匕識別信号 423の信号線の情報の一部としてスィッチ 601と第 1のピク チヤ復号部 603aに伝える構成をとれば、従来の YUV4 : 2 : 0フォーマットのビットストリ ームに対する互換性を確保する復号装置を構成することもできる。
[0330] 図 82に従来の YUV4： 2： 0フォーマットのビットストリームに含まれるマクロブロックへ ッダ情報の符号化データの構成を示す。図 50に示した Cn成分ヘッダ情報と異なる点 は、マクロブロックタイプ力 Sイントラ予測のときに、イントラ色差予測モード 144の符号 化データが含まれて 、る点のみである。なおマクロブロックタイプがインター予測のと きには、マクロブロックヘッダ情報の符号ィ匕データの構成は、図 50に示した Cn成分 ヘッダ情報と同じであるが、マクロブロックヘッダ情報に含まれる参照画像識別番号、 動きベクトル情報を用いて輝度成分とは異なる方法で色差成分の動きベクトルが生 成される。
[0331] 従来の YUV4 : 2 : 0フォーマットのビットストリームに対する互換性を確保する復号装 置の動作について説明する。上述のとおり、第 1のピクチャ復号部 603aが従来の YU V4 : 2 : 0フォーマットのビットストリームの復号機能を備えるものとする。第 1のピクチャ 復号部の内部構成は図 76と同じである。
[0332] 従来の YUV4 : 2 : 0フォーマットのビットストリームの復号機能を備えた第 1のピクチャ 復号部の可変長復号部 25の動作を説明する。ビデオストリーム 422cが可変長復号 部へ入力されると、色差フォーマット指示フラグを復号する。色差フォーマット指示フ ラグはビデオストリーム 422cのシーケンスパラメータヘッダに含まれ、入力映像フォ 一マットが 4： 4： 4力、 4 : 2 : 2力 4 : 2 : 0力、 4 : 0 : 0力の!、ずれかのフォーマットを示 すフラグである。ビデオストリーム 422cのマクロブロックヘッダ情報の復号処理は色 差フォーマット指示フラグの値によって切り替えられる。マクロブロックタイプがイントラ 予測を示して 、る場合で、色差フォーマット指示フラグ力 ： 2： 0または 4： 2： 2を示し て 、る場合にはイントラ色差予測モード 144をビットストリームカも復号する。色差フォ 一マット指示フラグ力 ： 4： 4を示して 、る場合にはイントラ色差予測モード 144の復 号をスキップする。色差フォーマット指示フラグ力 ： 0： 0を示して 、る場合、入力映像 信号は輝度信号のみで構成されるフォーマット (4： 0： 0フォーマット)であるため、イン トラ色差予測モード 144の復号をスキップする。イントラ色差予測モード 144以外のマ クロブロックヘッダ情報の復号処理は、従来の YUV4： 2： 0フォーマットのビットストリー ムの復号機能を備えていない第 1のピクチャ復号部 603aの可変長復号部と同じであ る。以上によりビデオストリーム 422cが可変長復号部 25へ入力されると、色差フォー マット指示フラグ（図示せず）、 3成分分の量子化済み変換係数 10、マクロブロックへ ッダ情報（マクロブロックタイプ/サブマクロブロックタイプ 106、予測オーバヘッド情 報 463、変換ブロックサイズ指定フラグ 464、量子化パラメータ 21)を抽出する。予測 部 461には、色差指示フォーマット指示フラグ（図示せず)と予測オーバヘッド情報 4 63が入力され、 3成分分の予測画像 7を得る。
[0333] 図 83に従来の YUV4 : 2 : 0フォーマットのビットストリームに対する互換性を確保する 第 1のピクチャ復号部の予測部 461の内部構成を示し、その動作を説明する。
[0334] 切替部 461 laは、マクロブロックタイプを判別し、マクロブロックタイプがイントラ予測 であることを示す場合は、切替部 461 lbにて色差フォーマット指示フラグの値を判別 する。色差フォーマット指示フラグの値力 4 : 2 : 0または 4： 2： 2の!、ずれかを示す場 合には、予測オーバヘッド情報 463からイントラ予測モード情報とイントラ色差予測モ ード情報に従って 3成分分の予測画像 7を得る。 3成分のうち、輝度信号の予測画像 は、イントラ予測モード情報に従って輝度信号イントラ予測部 4612にて生成される。 色差信号 2成分の予測画像は、イントラ色差予測モード情報に従って、輝度成分とは 異なる処理を行う色差信号イントラ予測部 4613にて生成される。色差フォーマット指 示フラグの値が、 4 :4 :4を示す場合には、 3成分すベての予測画像力イントラ予測モ ード情報に従って輝度信号イントラ予測部 4612にて生成される。色差フォーマット指 示フラグの値が、 4 : 0 : 0を示す場合には、 4 : 0 : 0フォーマットは輝度信号（1成分)の みで構成されるため、輝度信号の予測画像のみ力 Sイントラ予測モード情報に従って 輝度信号イントラ予測部 4612にて生成される。
[0335] 切替部 4611aにてマクロブロックタイプがインター予測であることを示す場合は、切 替部 4611cにて色差フォーマット指示フラグの値を判別する。色差フォーマット指示 フラグの値が 4： 2： 0または 4： 2： 2の!、ずれかを示す場合には、輝度信号につ!ヽては 、輝度信号インター予測部 4614にて予測オーバヘッド情報 463から動きベクトル、 参照画像インデックスに従って、 AVC規格が定める輝度信号の予測画像生成方法に 従って予測画像が生成される。色差信号 2成分の予測画像については、色差信号ィ ンター予測部 4615にて、予測オーバヘッド情報 463から得られる動きベクトルを色 差フォーマットに基づいてスケーリングして色差動きベクトルを生成し、予測オーバへ ッド情報 463から得られる参照画像インデックスが指示する参照画像から、上記色差 動きベクトルに基づ 、て AVC規格の定める方法に従って予測画像が生成される。色 差フォーマット指示フラグの値力 4 : 0 : 0を示す場合には、 4 : 0 : 0フォーマットは輝 度信号（1成分)のみで構成されるため、輝度信号の予測画像のみが動きベクトル、 参照画像インデックスに従って輝度信号インター予測部 4614にて生成される。
[0336] 以上のように、従来の YUV4： 2： 0フォーマットの色差信号の予測画像を生成する手 段を設け、ビットストリーム力 復号した色差フォーマット指示フラグの値に応じて 3成 分の予測画像の生成に用いる手段を切り替えるようにしたため、従来の YUV4 : 2 : 0 フォーマットのビットストリームに対する互換性を確保する復号装置を構成することが できる。
[0337] なお、図 80、図 81の復号装置に供給するビデオストリーム 422cに、図 75の復号装 置のように色空間変換処理をサポートしな 、復号装置でも復号が可能であるビットス トリームかどうかを示す情報をシーケンスパラメータセットなどの単位で付与しておけ ば、図 80、図 81と図 75いずれの復号装置でもそれぞれの復号性能に応じたビットス トリームの復号が可能であり、ビットストリームの互換性を確保しやすい効果がある。
[0338] 実施の形態 15.
本実施の形態 15では、図 71や図 75など上記実施の形態 14の符号化装置'復号 装置において、その入出力対象となるビットストリームの構成のみが異なる別の実施 の形態について述べる。本実施の形態 15における符号ィ匕装置は、図 84に示すビッ トストリーム構成で符号ィ匕データの多重化を行う。
[0339] 図 69の構成のビットストリームにおいて、 AUD NALユニットは、その要素として prim ary_pic_typeという情報を含む。これは、 AUD NALユニットで始まるアクセスユニット 内のピクチャデータが符号ィ匕される際のピクチャ符号ィ匕タイプの情報を図 85に示す
[0340] 例えば、 primary_pic_type = 0の場合は、ピクチャ内すべてがイントラ符号化されて！/ヽ ることを示す。 primary_pic_type = 1の場合は、イントラ符号ィ匕されるスライスと、参照ピ クチャリストを 1つだけ使用して動き補償予測を行うことが可能なスライスとがピクチャ 内で混在できることを示す。 primary_pic_typeは 1つのピクチヤがどのような符号化モ ードを使用して符号ィ匕できるか、を規定する情報であるので、符号化装置側ではこの 情報を操作することで、入力映像信号の性質やランダムアクセス機能などの種々の 条件に適した符号ィ匕を行うことができる。上記実施の形態 14では、 primary_pic_type がアクセスユニットあたり 1つだけしかな 、ので、独立符号化処理を行う場合のァクセ スユニットでは 3つの色成分ピクチャで primary_pic_typeは共通、とする。本実施の开 態 15では、各色成分ピクチヤの独立符号ィ匕を行う場合に、図 69の AUD NALュ-ッ ト内に、 num_pictures_in_auの値に応じて、追加で残り 2つの色成分ピクチャ分の prima ry_pic_typeを挿入する力、図 84のビットストリーム構成のように、各色成分ピクチヤの 符号化データを、色成分ピクチヤの開始を示す NALユニット（Color Channel Delimite r)から開始するように構成し、この CCD NALユニット中に、対応するピクチャの primar y_piC_type情報を含むように構成する。この構成では、各色成分ピクチヤの符号化デ ータは 1ピクチャ分まとめて多重されるので、上記実施の形態 14で述べた色成分識 別フラグ（color_channel_idc)はスライスヘッダではなぐ CCD NALユニットに含めるよ うにする。これにより、各スライスへの多重が必要であった色成分識別フラグの情報を ピクチャ単位のデータに集約できるので、オーバヘッド情報を削減できる効果がある 。また、バイト列として構成される CCD NALユニットを検出して color_channel_idcを色 成分ピクチャあたり 1度だけ検証すればよぐ可変長復号処理を行うことなく色成分ピ クチャの先頭をすばやく見つけることができるので、復号装置側で、色成分ごとに復 号対象の NALユニットを分離するためにスライスヘッダ中の color_channel_idcを逐一 検証しなくてもよくなり、第 2のピクチャ復号部へのデータ供給を円滑に行うことができ る。
[0341] 一方で、このような構成では、上記実施の形態 14の図 72で述べたような、符号ィ匕 装置のノ ッファサイズ、処理遅延を低減する効果が薄れるため、色成分識別フラグは スライス単位に多重する力、色成分ピクチャ単位に多重するかをより上位のレベル（ シーケンスや GOP)でシグナリングするように構成してもよ 、。このようなビットストリー ム構成をとることで、符号ィ匕装置はその利用形態に応じて柔軟な実装を行うことが可 能となる。
[0342] さらに別の実施の形態として、図 86に示すビットストリーム構成で符号ィ匕データの 多重化を行ってもよい。図 86において、図 84では CCD NALユニットに含むようにし た color_channel_idc, primary_pic_typeは各 AUDに含むようにする。本実施の形態 15 におけるビットストリーム構成では、独立符号化処理の場合にも、 1つのアクセスュ- ットに 1つの（色成分)ピクチャが含まれるように構成する。このような構成でも、色成分 識別フラグの情報をピクチャ単位のデータに集約できることによるオーバヘッド情報 の削減効果、また、バイト列として構成される AUD NALユニットを検出して color_chan neljdcをピクチャあたり 1度だけ検証すればよぐ可変長復号処理を行うことなく色成 分ピクチャの先頭をすばやく見つけることができるので、復号装置側で、色成分ごと に復号対象の NALユニットを分離するためにスライスヘッダ中の color_channel_idcを 逐一検証することなく第 2のピクチャ復号部へのデータ供給を円滑に行うことができる 。一方、 1フレームないしは 1フィールドの画像は 3つのアクセスユニットから構成され るため、 3つのアクセスユニットが同一時刻の画像データであることを指定する必要が ある。このため、図 86のビットストリーム構成では、さらに AUDの中に、各ピクチャのシ 一ケンス番号 (時間方向の符号化'復号順序等)を付与するように構成することもでき る。このような構成によって、復号装置側では各ピクチャの復号 '表示順や色成分属 性、 IDRの是非などを、スライスデータを一切復号することなく検証可能となり、ビット ストリームレベルの編集や特殊再生を効率よく行うことが可能となる。
[0343] また、図 69、 84ないしは図 86のビットストリーム構成において、 AUDや CCDの領域 に、ひとつの色成分ピクチヤに含まれるスライス NALユニットの個数を指定する情報を 格納するように構成してもよ 、。
[0344] なお、上記すベての実施例について、変換処理、逆変換処理は、 DCTのよう〖こ直 交性を保証する変換でもよいし、 AVCのような、厳密には DCTのような直交変換でな ぐ量子化 ·逆量子化処理と組み合わせて直交性を近似する変換であってもよい。ま た、変換を行わずに、予測誤差信号を画素レベルの情報として符号ィ匕するような構 成であってもよい。
産業上の利用可能性
[0345] 本発明は、画像圧縮符号化技術や圧縮画像データ伝送技術等に用いられるデジ タル画像信号符号ィ匕装置、デジタル画像信号復号装置に適用することが可能である

Claims

請求の範囲
[1] 予測画像生成方法を示す複数の予測モードに対応して予測画像を生成する予測 画像生成部と、
該予測画像生成部から出力される予測画像の予測効率を評価して所定の予測モ ードを判定する予測モード判定部と、
該予測モード判定部の出力を可変長符号ィヒする符号ィヒ部とを備え、
該予測モード判定部は、所定の制御信号に基づいて、前記入力画像信号を構成 する各色成分に対して共通の予測モードを使用するか、各色成分ごとに個別の予測 モードを使用するかを判断し、該制御信号の情報をビットストリームに多重化するとと もに、共通の予測モードを使用する場合は共通の予測モード情報をビットストリーム に多重化し、共通の予測モードを使用しない場合は各色成分ごとの予測モード情報 をビットストリームに多重化することを特徴とする画像符号ィ匕装置。
[2] 入力画像信号を構成する各色成分に対して共通の予測モードを使用するか、各色 成分ごとに個別の予測モードを使用するかを示す予測モード共通化識別情報を復 号するとともに、該予測モード共通化識別情報の値に基づいて各色成分の予測モー ドを復号する復号部と、
該復号部により復号された予測モードに基づいて予測画像を生成する予測画像生 成部とを備え、
前記復号部は、前記予測画像生成部により生成された予測画像に基づいて画像 データへの復号を行うことを特徴とする画像復号装置。
[3] 前記予測モード判定部は、マクロブロック単位に前記予測モードの判定を行うととも に、マクロブロックの単位で変化する前記制御信号に基づ 、て処理することを特徴と する請求項 1記載の画像符号化装置。
[4] 前記復号部は、マクロブロック単位に復号を行うとともに、前記予測モード共通化識 別情報をマクロブロック単位で復号、使用することを特徴とする請求項 2記載の画像 復号装置。
[5] 前記予測モード判定部は、マクロブロック単位に前記予測モードの判定を行うととも に、複数のフレーム力 なるシーケンスの単位で変化する前記制御信号に基づ 、て 処理することを特徴とする請求項 1記載の画像符号化装置。
[6] 前記復号部は、マクロブロック単位に復号を行うとともに、前記予測モード共通化識 別情報を複数のフレームカゝらなるシーケンスの単位で復号、使用することを特徴とす る請求項 2記載の画像復号装置。
[7] 予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 該生成された予測画像の予測効率を評価して所定の予測モードを判定する とともに、所定の制御信号に基づいて、前記入力画像信号を構成する各色成分に対 して共通の予測モードを使用するか、各色成分ごとに個別の予測モードを使用する かを判断し、該制御信号の情報をビットストリームに多重化し、共通の予測モードを使 用する場合は共通の予測モード情報をビットストリームに多重化し、共通の予測モー ドを使用しない場合は各色成分ごとの予測モード情報をビットストリームに多重化す るステップと、
該判定及び多重化するステップの出力を可変長符号ィヒするステップと
を備えることを特徴とする画像符号化方法。
[8] 予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 該生成された予測画像の予測効率を評価して所定の予測モードを判定する とともに、所定の制御信号に基づいて、前記入力画像信号を構成する各色成分に対 して共通の予測モードを使用するか、各色成分ごとに個別の予測モードを使用する かを判断し、該制御信号の情報をビットストリームに多重化し、共通の予測モードを使 用する場合は共通の予測モード情報をビットストリームに多重化し、共通の予測モー ドを使用しない場合は各色成分ごとの予測モード情報をビットストリームに多重化す るステップと、
該判定及び多重化するステップの出力を可変長符号ィヒするステップと
をコンピュータに実行させることを特徴とする画像符号ィ匕プログラム。
[9] 予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 該生成された予測画像の予測効率を評価して所定の予測モードを判定する とともに、所定の制御信号に基づいて、前記入力画像信号を構成する各色成分に対 して共通の予測モードを使用するか、各色成分ごとに個別の予測モードを使用する かを判断し、該制御信号の情報をビットストリームに多重化し、共通の予測モードを使 用する場合は共通の予測モード情報をビットストリームに多重化し、共通の予測モー ドを使用しない場合は各色成分ごとの予測モード情報をビットストリームに多重化す るステップと、
該判定及び多重化するステップの出力を可変長符号ィヒするステップと をコンピュータに実行させるための画像符号ィ匕プログラムを記録したコンピュータ読 み取り可能な記録媒体。
[10] 入力画像信号を構成する各色成分に対して共通の予測モードを使用するか、各色 成分ごとに個別の予測モードを使用するかを示す予測モード共通化識別情報を復 号するとともに、該予測モード共通化識別情報の値に基づいて各色成分の予測モー ドを復号するステップと、
該復号された予測モードに基づいて予測画像を生成するステップと、
該生成された予測画像に基づいて画像データへの復号を行うステップと を備えることを特徴とする画像復号方法。
[11] 入力画像信号を構成する各色成分に対して共通の予測モードを使用するか、各色 成分ごとに個別の予測モードを使用するかを示す予測モード共通化識別情報を復 号するとともに、該予測モード共通化識別情報の値に基づいて各色成分の予測モー ドを復号するステップと、
該復号された予測モードに基づいて予測画像を生成するステップと、
該生成された予測画像に基づいて画像データへの復号を行うステップと をコンピュータに実行させることを特徴とする画像復号プログラム。
[12] 入力画像信号を構成する各色成分に対して共通の予測モードを使用するか、各色 成分ごとに個別の予測モードを使用するかを示す予測モード共通化識別情報を復 号するとともに、該予測モード共通化識別情報の値に基づいて各色成分の予測モー ドを復号するステップと、
該復号された予測モードに基づいて予測画像を生成するステップと、
該生成された予測画像に基づいて画像データへの復号を行うステップと をコンピュータに実行させることを特徴とする画像復号プログラムを記録したコンビュ ータ読み取り可能な記録媒体。
[13] 予測画像生成方法を示す複数の予測モードに対応して予測画像を生成する予測 画像生成部と、
該予測画像生成部から出力される予測画像の予測効率を評価して所定の予測モ ードを判定する予測モード判定部と、
該予測モード判定部の出力を可変長符号化する予測モード符号化部とを備え、 前記予測モード判定部は、予測対象の画像領域の単位に対して、各色成分ごとに 個別に予測モードの判定を行い、
前記予測モード符号化部は、同一色成分上での前記画像領域の近傍の予測モー ド情報と、異なる色成分における前記画像領域と同一画面内位置の予測モード情報 のうち、いずれかを選択して予測モードの予測値を定めて予測モード情報の符号ィ匕 を行うことを特徴とする画像符号化装置。
[14] 前記予測モード符号ィ匕部は、同一色成分上での前記画像領域の近傍の予測モー ド情報と、異なる色成分における前記画像領域と同一画面内位置の予測モード情報 のうち、いずれを予測値として用いる力を指示する識別情報をビットストリームに多重 化することを特徴とする請求項 13記載の画像符号化装置。
[15] 前記入力画像信号を構成する各色成分に対して個別に符号化された予測モード を復号する予測モード復号部と、
予測画像生成方法を示す複数の予測モードに対応して予測画像を生成する予測 画像生成部と、
前記予測モード復号部により定まる各色成分の予測モードに基づいて、前記予測 画像生成部により予測画像を生成して画像データへの復号を行う復号部とを備え、 前記予測モード復号部は、ある予測単位に割り当てられた予測モードを復号する にあたって、同一色成分の近傍における予測モード情報と、異なる色成分の同一画 面内位置における予測単位に割り当てられた予測モード情報のうち、いずれかを選 択して予測モードの予測値を定めて復号を行うことを特徴とする画像復号装置。
[16] 前記予測モード復号部は、同一色成分の近傍における予測モード情報と、異なる 色成分の同一画面内位置における予測単位に割り当てられた予測モード情報のうち 、いずれを予測値として用いる力を指示する識別情報をビットストリーム中から復号し
、該識別情報の値に基づいて予測値を定めることを特徴とする請求項 15記載の画 像復号装置。
[17] 予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 該生成された予測画像の予測効率を評価して所定の予測モードを判定する とともに、予測対象の画像領域の単位に対して、各色成分ごとに個別に予測モード の判定を行うステップと、
前記予測モードの判定を行うステップの出力を可変長符号ィ匕するとともに、同一色 成分上での前記画像領域の近傍の予測モード情報と、異なる色成分における前記 画像領域と同一画面内位置の予測モード情報のうち、 V、ずれかを選択して予測モー ドの予測値を定めて予測モード情報の符号ィ匕を行うステップと
を備えることを特徴とする画像符号化方法。
[18] 予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 該生成された予測画像の予測効率を評価して所定の予測モードを判定する とともに、予測対象の画像領域の単位に対して、各色成分ごとに個別に予測モード の判定を行うステップと、
前記予測モードの判定を行うステップの出力を可変長符号ィ匕するとともに、同一色 成分上での前記画像領域の近傍の予測モード情報と、異なる色成分における前記 画像領域と同一画面内位置の予測モード情報のうち、 V、ずれかを選択して予測モー ドの予測値を定めて予測モード情報の符号ィ匕を行うステップと
をコンピュータに実行させることを特徴とする画像符号プログラム。
[19] 予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 該生成された予測画像の予測効率を評価して所定の予測モードを判定する とともに、予測対象の画像領域の単位に対して、各色成分ごとに個別に予測モード の判定を行うステップと、
前記予測モードの判定を行うステップの出力を可変長符号ィ匕するとともに、同一色 成分上での前記画像領域の近傍の予測モード情報と、異なる色成分における前記 画像領域と同一画面内位置の予測モード情報のうち、 V、ずれかを選択して予測モー ドの予測値を定めて予測モード情報の符号ィ匕を行うステップと
をコンピュータに実行させることを特徴とする画像符号プログラムを記録したコンビュ ータ読み取り可能な記録媒体。
[20] 入力画像信号を構成する各色成分に対して個別に符号化された予測モードを復 号するとともに、ある予測単位に割り当てられた予測モードを復号するにあたって、同 一色成分の近傍における予測モード情報と、異なる色成分の同一画面内位置にお ける予測単位に割り当てられた予測モード情報のうち、いずれかを選択して予測モ ードの予測値を定めて復号を行うステップと、
予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 前記予測モードの復号を行うステップにより定まる各色成分の予測モードに 基づ 、て、前記予測画像を生成するステップにより予測画像を生成して画像データ への復号を行うステップと
を備えることを特徴とする画像復号方法。
[21] 前記入力画像信号を構成する各色成分に対して個別に符号化された予測モード を復号するとともに、ある予測単位に割り当てられた予測モードを復号するにあたつ て、同一色成分の近傍における予測モード情報と、異なる色成分の同一画面内位置 における予測単位に割り当てられた予測モード情報のうち、いずれかを選択して予 測モードの予測値を定めて復号を行うステップと、
予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 前記予測モードの復号を行うステップにより定まる各色成分の予測モードに 基づ 、て、前記予測画像を生成するステップにより予測画像を生成して画像データ への復号を行うステップと
をコンピュータに実行させることを特徴とする画像復号プログラム。
[22] 前記入力画像信号を構成する各色成分に対して個別に符号化された予測モード を復号するとともに、ある予測単位に割り当てられた予測モードを復号するにあたつ て、同一色成分の近傍における予測モード情報と、異なる色成分の同一画面内位置 における予測単位に割り当てられた予測モード情報のうち、いずれかを選択して予 測モードの予測値を定めて復号を行うステップと、 予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 前記予測モードの復号を行うステップにより定まる各色成分の予測モードに 基づ 、て、前記予測画像を生成するステップにより予測画像を生成して画像データ への復号を行うステップと
をコンピュータに実行させることを特徴とする画像復号プログラムを記録したコンビュ ータ読み取り可能な記録媒体。
[23] 予測画像生成方法を示す複数の予測モードに対応して予測画像を生成する予測 画像生成部と、
該予測画像生成部から出力される予測画像の予測効率を評価して所定の予測モ ードを判定する予測モード判定部と、
該予測モード判定部の出力を可変長符号化する予測モード符号化部とを備え、 前記予測モード判定部は、予測対象の画像領域の単位に対して、各色成分ごとに 個別に予測モードの判定を行い、
前記予測モード符号ィ匕部は、同一色成分上での前記画像領域近傍の複数の予測 モード情報の状態と符号ィヒ対象の予測モードに対する予測値との組み合わせをテ ーブルイ匕したルックアップテーブルを参照することによって、前記画像領域近傍の複 数の予測モード情報の状態力 予測モード情報の予測値を一意に定めて符号ィ匕を 行うことを特徴とする画像符号化装置。
[24] 前記予測モード符号ィ匕部は、同一色成分上での前記画像領域近傍の複数の予測 モード情報の状態と符号ィ匕対象の予測モードの値とに基づ 、て、前記ルックアップテ 一ブル中の予測モード情報の予測値の値を動的に更新することを特徴とする請求項 23記載の画像符号ィ匕装置。
[25] 前記入力画像信号を構成する各色成分に対して個別に符号化された予測モード を復号する予測モード復号部と、
予測画像生成方法を示す複数の予測モードに対応して予測画像を生成する予測 画像生成部と、
前記予測モード復号部により定まる各色成分の予測モードに基づいて、前記予測 画像生成部により予測画像を生成して画像データへの復号を行う復号部とを備え、 前記予測モード復号部は、ある予測単位に割り当てられた予測モードを復号する にあたって、同一色成分の近傍画像領域における複数の予測モード情報の状態と 復号対象の予測モードに対する予測値との組み合わせをテーブルィ匕したルックアツ プテーブルを参照することによって、前記画像領域近傍の複数の予測モード情報の 状態力 予測モード情報の予測値を一意に定めて復号を行うことを特徴とする画像 復号装置。
[26] 前記予測モード復号部は、同一色成分上での前記画像領域近傍の複数の予測モ ード情報の状態と復号された予測モードの値とに基づ 、て、前記ルックアップテープ ル中の予測モード情報の予測値の値を動的に更新することを特徴とする請求項 25 記載の画像復号装置。
[27] 予測画像生成方法を示す複数の予測モードに対応して予測画像を生成する予測 画像生成部と、
該予測画像生成部から出力される予測画像の予測効率を評価して所定の予測モ ードを判定する予測モード判定部と、
該予測モード判定部の出力を可変長符号化する予測モード符号化部とを備え、 前記予測モード判定部は、予測対象の画像領域の単位に対して、各色成分ごとに 個別に予測モードの判定を行い、
前記予測モード符号ィ匕部は、符号ィ匕対象の予測モードの値を二値系列化し、該ニ 値系列の各ビンを符号ィ匕するに際して、同一色成分上での前記画像領域近傍の複 数の予測モード情報の状態によって定まるコンテクストに応じて生起確率を動的に変 更しながら算術符号ィ匕を行うことを特徴とする画像符号ィ匕装置。
[28] 前記予測モード符号ィ匕部は、同一色成分上での前記画像領域近傍の複数の予測 モード情報の状態によって定まるコンテクストとして、予測モードが画像面垂直方向 の予測、画像面水平方向の予測のいずれに分類されるかを示す状態を用いることを 特徴とする請求項 27記載の画像符号ィ匕装置。
[29] 前記予測モード符号ィ匕部は、同一色成分上での前記画像領域近傍の複数の予測 モード情報の状態によって定まるコンテクストとして、予測モードが DC予測か、 DC予 測以外のいずれかを示す状態を用いることを特徴とする請求項 27記載の画像符号 化装置。
[30] 前記入力画像信号を構成する各色成分に対して個別に符号化された予測モード を復号する予測モード復号部と、
予測画像生成方法を示す複数の予測モードに対応して予測画像を生成する予測 画像生成部と、
前記予測モード復号部により定まる各色成分の予測モードに基づいて、前記予測 画像生成部により予測画像を生成して画像データへの復号を行う復号部とを備え、 前記予測モード復号部は、ある予測単位に割り当てられた予測モードを復号する にあたって、二値系列として表現される復号対象の予測モードの値を、該ニ値系列 の各ビンごとに復号するに際して、同一色成分上での前記画像領域近傍の複数の 予測モード情報の状態によって定まるコンテクストに応じて生起確率を動的に変更し ながら算術復号を行うことを特徴とする画像復号装置。
[31] 前記予測モード復号部は、同一色成分上での前記画像領域近傍の複数の予測モ ード情報の状態によって定まるコンテクストとして、予測モードが画像面垂直方向の 予測、画像面水平方向の予測のいずれに分類されるかを示す状態を用いることを特 徴とする請求項 30記載の画像復号装置。
[32] 前記予測モード復号部は、同一色成分上での前記画像領域近傍の複数の予測モ ード情報の状態によって定まるコンテクストとして、予測モードが DC予測か、 DC予測 以外のいずれかを示す状態を用いることを特徴とする請求項 30記載の画像復号装 置。
[33] 予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 該生成された予測画像の予測効率を評価して所定の予測モードを判定する とともに、予測対象の画像領域の単位に対して、各色成分ごとに個別に予測モード の判定を行うステップと、
前記予測モードの判定を行うステップの出力を可変長符号ィ匕するとともに、同一色 成分上での前記画像領域近傍の複数の予測モード情報の状態と符号化対象の予 測モードに対する予測値との組み合わせをテーブル化したルックアップテーブルを 参照することによって、前記画像領域近傍の複数の予測モード情報の状態から予測 モード情報の予測値を一意に定めて符号ィ匕を行うステップと
を備えることを特徴とする画像符号化方法。
[34] 予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 該生成された予測画像の予測効率を評価して所定の予測モードを判定する とともに、予測対象の画像領域の単位に対して、各色成分ごとに個別に予測モード の判定を行うステップと、
前記予測モードの判定を行うステップの出力を可変長符号ィ匕するとともに、同一色 成分上での前記画像領域近傍の複数の予測モード情報の状態と符号化対象の予 測モードに対する予測値との組み合わせをテーブル化したルックアップテーブルを 参照することによって、前記画像領域近傍の複数の予測モード情報の状態から予測 モード情報の予測値を一意に定めて符号ィ匕を行うステップと
をコンピュータに実行させることを特徴とする画像符号プログラム。
[35] 予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 該生成された予測画像の予測効率を評価して所定の予測モードを判定する とともに、予測対象の画像領域の単位に対して、各色成分ごとに個別に予測モード の判定を行うステップと、
前記予測モードの判定を行うステップの出力を可変長符号ィ匕するとともに、同一色 成分上での前記画像領域近傍の複数の予測モード情報の状態と符号化対象の予 測モードに対する予測値との組み合わせをテーブル化したルックアップテーブルを 参照することによって、前記画像領域近傍の複数の予測モード情報の状態から予測 モード情報の予測値を一意に定めて符号ィ匕を行うステップと
をコンピュータに実行させることを特徴とする画像符号プログラムを記録したコンビュ ータ読み取り可能な記録媒体。
[36] 入力画像信号を構成する各色成分に対して個別に符号化された予測モードを復 号するとともに、ある予測単位に割り当てられた予測モードを復号するにあたって、同 一色成分の近傍画像領域における複数の予測モード情報の状態と復号対象の予測 モードに対する予測値との組み合わせをテーブル化したルックアップテーブルを参 照することによって、前記画像領域近傍の複数の予測モード情報の状態力 予測モ ード情報の予測値を一意に定めて復号を行うステップと、
予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 前記予測モードの復号を行うステップにより定まる各色成分の予測モードに 基づ 、て、前記予測画像を生成するステップにより予測画像を生成して画像データ への復号を行うステップと
を備えることを特徴とする画像復号方法。
[37] 入力画像信号を構成する各色成分に対して個別に符号化された予測モードを復 号するとともに、ある予測単位に割り当てられた予測モードを復号するにあたって、同 一色成分の近傍画像領域における複数の予測モード情報の状態と復号対象の予測 モードに対する予測値との組み合わせをテーブル化したルックアップテーブルを参 照することによって、前記画像領域近傍の複数の予測モード情報の状態力 予測モ ード情報の予測値を一意に定めて復号を行うステップと、
予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 前記予測モードの復号を行うステップにより定まる各色成分の予測モードに 基づ 、て、前記予測画像を生成するステップにより予測画像を生成して画像データ への復号を行うステップと
をコンピュータに実行させることを特徴とする画像復号プログラム。
[38] 入力画像信号を構成する各色成分に対して個別に符号化された予測モードを復 号するとともに、ある予測単位に割り当てられた予測モードを復号するにあたって、同 一色成分の近傍画像領域における複数の予測モード情報の状態と復号対象の予測 モードに対する予測値との組み合わせをテーブル化したルックアップテーブルを参 照することによって、前記画像領域近傍の複数の予測モード情報の状態力 予測モ ード情報の予測値を一意に定めて復号を行うステップと、
予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 前記予測モードの復号を行うステップにより定まる各色成分の予測モードに 基づ 、て、前記予測画像を生成するステップにより予測画像を生成して画像データ への復号を行うステップと
をコンピュータに実行させることを特徴とする画像復号プログラムを記録したコンビュ ータ読み取り可能な記録媒体。
[39] 予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 該生成された予測画像の予測効率を評価して所定の予測モードを判定する とともに、予測対象の画像領域の単位に対して、各色成分ごとに個別に予測モード の判定を行うステップと、
前記予測モードの判定を行うステップの出力を可変長符号ィ匕するとともに、符号ィ匕 対象の予測モードの値を二値系列化し、該ニ値系列の各ビンを符号ィ匕するに際して 、同一色成分上での前記画像領域近傍の複数の予測モード情報の状態によって定 まるコンテクストに応じて生起確率を動的に変更しながら算術符号ィ匕を行うステップと を備えることを特徴とする画像符号化方法。
[40] 予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 該生成された予測画像の予測効率を評価して所定の予測モードを判定する とともに、予測対象の画像領域の単位に対して、各色成分ごとに個別に予測モード の判定を行うステップと、
前記予測モードの判定を行うステップの出力を可変長符号ィ匕するとともに、符号ィ匕 対象の予測モードの値を二値系列化し、該ニ値系列の各ビンを符号ィ匕するに際して 、同一色成分上での前記画像領域近傍の複数の予測モード情報の状態によって定 まるコンテクストに応じて生起確率を動的に変更しながら算術符号ィ匕を行うステップと をコンピュータに実行させることを特徴とする画像符号プログラム。
[41] 予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 該生成された予測画像の予測効率を評価して所定の予測モードを判定する とともに、予測対象の画像領域の単位に対して、各色成分ごとに個別に予測モード の判定を行うステップと、
前記予測モードの判定を行うステップの出力を可変長符号ィ匕するとともに、符号ィ匕 対象の予測モードの値を二値系列化し、該ニ値系列の各ビンを符号ィ匕するに際して 、同一色成分上での前記画像領域近傍の複数の予測モード情報の状態によって定 まるコンテクストに応じて生起確率を動的に変更しながら算術符号ィ匕を行うステップと をコンピュータに実行させることを特徴とする画像符号プログラムを記録したコンビュ ータ読み取り可能な記録媒体。
[42] 入力画像信号を構成する各色成分に対して個別に符号化された予測モードを復 号するとともに、ある予測単位に割り当てられた予測モードを復号するにあたって、二 値系列として表現される復号対象の予測モードの値を、該ニ値系列の各ビンごとに 復号するに際して、同一色成分上での前記画像領域近傍の複数の予測モード情報 の状態によって定まるコンテクストに応じて生起確率を動的に変更しながら算術復号 を行うステップと、
予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 前記予測モードの復号を行うステップにより定まる各色成分の予測モードに 基づ 、て、前記予測画像を生成するステップにより予測画像を生成して画像データ への復号を行うステップと
を備えることを特徴とする画像復号方法。
[43] 入力画像信号を構成する各色成分に対して個別に符号化された予測モードを復 号するとともに、ある予測単位に割り当てられた予測モードを復号するにあたって、二 値系列として表現される復号対象の予測モードの値を、該ニ値系列の各ビンごとに 復号するに際して、同一色成分上での前記画像領域近傍の複数の予測モード情報 の状態によって定まるコンテクストに応じて生起確率を動的に変更しながら算術復号 を行うステップと、
予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 前記予測モードの復号を行うステップにより定まる各色成分の予測モードに 基づ 、て、前記予測画像を生成するステップにより予測画像を生成して画像データ への復号を行うステップと
をコンピュータに実行させることを特徴とする画像復号プログラム。
[44] 入力画像信号を構成する各色成分に対して個別に符号化された予測モードを復 号するとともに、ある予測単位に割り当てられた予測モードを復号するにあたって、二 値系列として表現される復号対象の予測モードの値を、該ニ値系列の各ビンごとに 復号するに際して、同一色成分上での前記画像領域近傍の複数の予測モード情報 の状態によって定まるコンテクストに応じて生起確率を動的に変更しながら算術復号 を行うステップと、
予測画像生成方法を示す複数の予測モードに対応して予測画像を生成するステツ プと、 前記予測モードの復号を行うステップにより定まる各色成分の予測モードに 基づ 、て、前記予測画像を生成するステップにより予測画像を生成して画像データ への復号を行うステップと
をコンピュータに実行させることを特徴とする画像復号プログラムを記録したコンビュ ータ読み取り可能な記録媒体。
[45] 前記予測モード判定部は、共通の予測モードを使用する場合は共通の予測モード 情報を予測モード共通化識別情報としてビットストリームに多重化し、共通の予測モ ードを使用しない場合は各色成分ごとの予測モード情報を予測モード共通化識別情 報としてビットストリームに多重化することを特徴とする請求項 1記載の画像符号ィ匕装 置。
(1〜45が 557338JP02、 46〜68が 557769JP03に対応するクレームです。）
[46] 予測画像生成方法を示す複数の予測モードおよび参照画像識別番号および動き ベクトルに対応して予測画像を生成する予測画像生成部と、
該予測画像生成部から出力される予測画像の予測効率を評価して所定の予測モ ードおよび参照画像識別番号および動きベクトルを判定する予測モード判定部と、 該予測モード判定部の出力を可変長符号ィヒする符号ィヒ部とを備え、
該予測モード判定部は、所定の制御信号に基づいて、入力画像信号を構成する 各色成分に対して共通の予測モードと共通の参照画像識別番号と共通の動きべタト ルを使用するか、各色成分ごとに個別の予測モードと個別の参照画像識別番号と個 別の動きベクトルを使用するかを判断し、該制御信号の情報をビットストリームに多重 化するとともに、共通の予測モードと共通の参照画像識別番号と共通の動きベクトル を使用する場合は共通の予測モード情報と共通の参照画像識別番号と共通の動き ベクトルをビットストリームに多重化し、共通の予測モードと共通の参照画像識別番号 と共通の動きベクトルを使用しない場合は各色成分ごとの予測モード情報と参照画 像識別番号と動きベクトルをビットストリームに多重化することを特徴とする画像符号 化装置。 [47] 入力画像信号を構成する各色成分に対して共通の予測モードと共通の参照画像 識別番号と共通の動きベクトルを使用するか、各色成分ごとに個別の予測モードと個 別の識別番号と個別の動きベクトルを使用するかを示す予測モード共通化識別情報 を復号するとともに、該予測モード共通化識別情報の値に基づいて各色成分の予測 モードと参照画像識別番号と動きべ外ルを復号する復号部と、
該復号部により復号された予測モードと参照画像識別番号と動きベクトルに基づい て予測画像を生成する予測画像生成部とを備え、
前記復号部は、前記予測画像生成部により生成された予測画像に基づいて画像 データへの復号を行うことを特徴とする画像復号装置。
[48] 前記予測モード判定部は、マクロブロック単位に前記予測モードの判定を行うととも に、マクロブロックの単位で変化する前記制御信号に基づ 、て処理することを特徴と する請求項 46記載の画像符号化装置。
[49] 前記復号部は、マクロブロック単位に復号を行うとともに、前記予測モード共通化識 別情報をマクロブロック単位で復号、使用することを特徴とする請求項 2記載の画像 復号装置。
[50] 前記予測モード判定部は、マクロブロック単位に前記予測モードの判定を行うととも に、複数のフレーム力 なるシーケンスの単位で変化する前記制御信号に基づ 、て 処理することを特徴とする請求項 46記載の画像符号化装置。
[51] 前記復号部は、マクロブロック単位に復号を行うとともに、前記予測モード共通化識 別情報を複数のフレームカゝらなるシーケンスの単位で復号、使用することを特徴とす る請求項 47記載の画像復号装置。
[52] 予測画像生成方法を示す複数の予測モードおよび参照画像識別番号および動き ベクトルに対応して予測画像を生成するステップと、
該生成された予測画像の予測効率を評価して所定の予測モードおよび参照画像 識別番号および動きベクトルを判定するとともに、所定の制御信号に基づいて、入力 画像信号を構成する各色成分に対して共通の予測モードと共通の参照画像識別番 号と共通の動きベクトルを使用するか、各色成分ごとに個別の予測モードと個別の参 照画像識別番号と個別の動きベクトルを使用するかを判断し、該制御信号の情報を ビットストリームに多重化し、共通の予測モードと共通の参照画像識別番号と共通の 動きべ外ルを使用する場合は共通の予測モード情報と共通の参照画像識別番号と 共通の動きベクトルをビットストリームに多重化し、共通の予測モードと共通の参照画 像識別番号と共通の動きべ外ルを使用しない場合は各色成分ごとの予測モード情 報と参照画像識別番号と動きベクトルをビットストリームに多重化するステップと、 該判定するステップの出力を可変長符号ィ匕するステップと
を備えることを特徴とする画像符号化方法。
[53] 予測画像生成方法を示す複数の予測モードおよび参照画像識別番号および動き ベクトルに対応して予測画像を生成するステップと、
該生成された予測画像の予測効率を評価して所定の予測モードおよび参照画像 識別番号および動きベクトルを判定するとともに、所定の制御信号に基づいて、入力 画像信号を構成する各色成分に対して共通の予測モードと共通の参照画像識別番 号と共通の動きベクトルを使用するか、各色成分ごとに個別の予測モードと個別の参 照画像識別番号と個別の動きベクトルを使用するかを判断し、該制御信号の情報を ビットストリームに多重化し、共通の予測モードと共通の参照画像識別番号と共通の 動きべ外ルを使用する場合は共通の予測モード情報と共通の参照画像識別番号と 共通の動きベクトルをビットストリームに多重化し、共通の予測モードと共通の参照画 像識別番号と共通の動きべ外ルを使用しない場合は各色成分ごとの予測モード情 報と参照画像識別番号と動きベクトルをビットストリームに多重化するステップと、 該判定するステップの出力を可変長符号ィ匕するステップと
をコンピュータに実行させることを特徴とする画像符号ィ匕プログラム。
[54] 予測画像生成方法を示す複数の予測モードおよび参照画像識別番号および動き ベクトルに対応して予測画像を生成するステップと、
該生成された予測画像の予測効率を評価して所定の予測モードおよび参照画像 識別番号および動きベクトルを判定するとともに、所定の制御信号に基づいて、入力 画像信号を構成する各色成分に対して共通の予測モードと共通の参照画像識別番 号と共通の動きベクトルを使用するか、各色成分ごとに個別の予測モードと個別の参 照画像識別番号と個別の動きベクトルを使用するかを判断し、該制御信号の情報を ビットストリームに多重化し、共通の予測モードと共通の参照画像識別番号と共通の 動きべ外ルを使用する場合は共通の予測モード情報と共通の参照画像識別番号と 共通の動きベクトルをビットストリームに多重化し、共通の予測モードと共通の参照画 像識別番号と共通の動きべ外ルを使用しない場合は各色成分ごとの予測モード情 報と参照画像識別番号と動きベクトルをビットストリームに多重化するステップと、 該判定するステップの出力を可変長符号ィ匕するステップと
をコンピュータに実行させるための画像符号ィ匕プログラムを記録したコンピュータ読 み取り可能な記録媒体。
[55] 入力画像信号を構成する各色成分に対して共通の予測モードと共通の参照画像 識別番号と共通の動きベクトルを使用するか、各色成分ごとに個別の予測モードと個 別の識別番号と個別の動きベクトルを使用するかを示す予測モード共通化識別情報 を復号するとともに、該予測モード共通化識別情報の値に基づいて各色成分の予測 モードと参照画像識別番号と動きベクトルを復号するステップと、
該復号された予測モードと参照画像識別番号と動きベクトルに基づいて予測画像 を生成するステップと、
該生成された予測画像に基づいて画像データへの復号を行うステップと を備えることを特徴とする画像復号方法。
[56] 入力画像信号を構成する各色成分に対して共通の予測モードと共通の参照画像 識別番号と共通の動きベクトルを使用するか、各色成分ごとに個別の予測モードと個 別の識別番号と個別の動きベクトルを使用するかを示す予測モード共通化識別情報 を復号するとともに、該予測モード共通化識別情報の値に基づいて各色成分の予測 モードと参照画像識別番号と動きベクトルを復号するステップと、
該復号された予測モードと参照画像識別番号と動きベクトルに基づいて予測画像 を生成するステップと、
該生成された予測画像に基づいて画像データへの復号を行うステップと をコンピュータに実行させることを特徴とする画像復号プログラム。
[57] 入力画像信号を構成する各色成分に対して共通の予測モードと共通の参照画像 識別番号と共通の動きベクトルを使用するか、各色成分ごとに個別の予測モードと個 別の識別番号と個別の動きベクトルを使用するかを示す予測モード共通化識別情報 を復号するとともに、該予測モード共通化識別情報の値に基づいて各色成分の予測 モードと参照画像識別番号と動きベクトルを復号するステップと、
該復号された予測モードと参照画像識別番号と動きベクトルに基づいて予測画像 を生成するステップと、
該生成された予測画像に基づいて画像データへの復号を行うステップと をコンピュータに実行させることを特徴とする画像復号プログラムを記録したコンビュ ータ読み取り可能な記録媒体。
[58] 前記予測モード判定部は、共通の予測モードと共通の参照画像識別番号と共通の 動きべ外ルを使用する場合は共通の予測モード情報と共通の参照画像識別番号と 共通の動きベクトルを予測モード共通化識別情報としてビットストリームに多重化し、 共通の予測モードと共通の参照画像識別番号と共通の動きベクトルを使用しない場 合は各色成分ごとの予測モード情報と共通の参照画像識別番号と共通の動きべタト ルを予測モード共通化識別情報としてビットストリームに多重化することを特徴とする 請求項 46記載の画像符号化装置。
[59] 複数の色成分からなる入力画像信号を所定の部分画像領域ごとに動き補償予測 を用いて画像圧縮を行う画像符号ィ匕装置において、
前記部分画像領域に含まれる画像信号をフレーム内符号ィ匕する力フレーム間動き 補償予測により符号ィ匕するかを指定するとともに、フレーム間動き補償予測により符 号化する場合の予測画像生成方法を指定する動き補償予測モードの指定を含む符 号化モードを、所定の評価尺度に基づいて決定する符号化モード判定部と、 前記動き補償予測モード、参照画像識別番号および動きベクトルに基づ!ゝて動き 補償予測画像を生成する予測画像生成部と、
前記部分画像領域ごとに前記符号化モード、前記参照画像識別番号、前記動きべ タトルを可変長符号ィ匕してビットストリームに多重化する符号ィ匕部とを備え、
前記符号化モード判定部は、所定の制御信号により、前記部分画像領域を構成す る各色成分に対して共通の符号化モードを適用するか、各色成分ごとに個別の符号 化モードを適用するかを判断し、 前記符号化部は、前記制御信号の情報をビットストリームに多重化するとともに、前 記部分画像領域を構成する各色成分に対して共通の符号化モードを適用する場合 は、共通の符号化モード、共通の参照画像識別番号、共通の動きベクトルをビットス トリームに多重化し、前記部分画像領域を構成する各色成分に対して個別に符号化 モードを適用する場合は、各色成分ごとに個別の符号化モード、個別の参照画像識 別番号、個別の動きベクトルをビットストリームに多重化し、
前記予測画像生成部は、前記制御信号によって定まる符号化モード、参照画像識 別番号、動きベクトルに基づいて、個々の色成分に対する予測画像を生成することを 特徴とする画像符号化装置。
[60] 請求項 59記載の画像符号ィ匕装置にぉ 、て、
前記フレーム間動き補償予測の結果を評価して前記部分画像領域について伝送 すべき符号化情報が存在するか否かを判定する部分画像領域スキップ判定部を備 え、
該部分画像領域スキップ判定部は、前記制御信号が前記部分画像領域を構成す る各色成分に対して共通の符号ィ匕モードを適用することを示す場合には、前記部分 画像領域の符号化情報の有無を、前記部分画像領域内の少なくとも 1つの色成分の 符号化情報が存在するか、全ての色成分の符号化情報が存在しな!、かに基づ 、て 判定し、
前記制御信号が前記部分画像領域を構成する各色成分に対して個別の符号化モ ードを適用することを示す場合には、各色成分ごとに符号ィ匕情報の有無を判定し、 前記符号化部は、前記部分画像領域スキップ判定部の結果に従って、前記部分 画像領域中の符号化情報の有無を示す画像領域スキップ情報を複数の色成分をま とめた部分画像領域の単位、または各色成分の単位でビットストリームに多重化する ことを特徴とする画像符号化装置。
[61] 複数の色成分からなる入力画像信号が所定の部分画像領域の単位で動き補償予 測を用いて圧縮符号ィ匕されたビットストリームを入力として画像データへの復号を行う 画像復号装置において、
前記部分画像領域に含まれる画像信号がフレーム内符号ィ匕されている力フレーム 間動き補償予測により符号化されているかを指定するとともに、フレーム間動き補償 予測により符号化される場合の予測画像生成方法を指定する動き補償予測モードの 指定を含む符号化モードを、前記部分画像領域内の全色成分共通の情報として復 号するか、前記部分画像領域内の各色成分ごとの情報として復号するかを指定する 制御信号の情報をビットストリーム力 抽出するとともに、前記部分画像領域ごとに前 記制御信号の情報に従って符号化モード、参照画像識別番号、動きベクトルを復号 してビットストリーム力 抽出する復号部と、
前記動き補償予測モード、前記参照画像識別番号および前記動きベクトルに基づ いて動き補償予測画像を生成する予測画像生成部を備え、
前記復号部は、前記制御情報の情報が、前記部分画像領域を構成する各色成分 に対して共通の符号化モードを適用することを示す場合は、共通の符号化モード、 共通の参照画像識別番号、共通の動きベクトルをビットストリームから抽出し、前記部 分画像領域を構成する各色成分に対して個別に符号化モードを適用することを示す 場合は、各色成分ごとに個別の符号化モード、参照画像識別番号、動きべ外ルをビ ットストリーム力 抽出し、 前記予測画像生成部は、前記復号部によって前記制御 信号の情報に従って抽出される前記符号化モード、前記参照画像識別番号、前記 動きベクトルに基づいて、個々の色成分に対する動き補償予測画像を生成すること を特徴とする画像復号装置。
請求項 61記載の画像復号装置において、
前記復号部は、前記部分画像領域の単位で、前記フレーム間動き補償予測を行つ た結果、当該部分画像領域につ！ヽて伝送すべき符号化情報が存在するか否かを指 定する画像領域スキップ情報を復号するスキップ情報復号部を備え、
前記スキップ情報復号部は、前記制御信号が前記部分画像領域を構成する各色 成分に対して共通の符号化モードを適用することを示す場合は、全色成分に対して 共通の前記画像領域スキップ情報を復号して前記部分画像領域中の符号化情報の 存在を識別し、
前記制御信号が前記部分画像領域を構成する各色成分に対して個別の符号化モ ードを適用することを示す場合は、各色成分ごとに個別の前記画像領域スキップ情 報を復号して前記部分画像領域中の符号化情報の存在を識別し、 前記復号部は、画像領域スキップ情報に基づいて、伝送すべき符号化情報が存在 する場合は、符号化モード、参照画像識別番号、動きベクトルを復号してビットストリ ームから抽出することを特徴とする画像復号装置。
[63] 複数の色成分からなる入力画像信号を所定の部分画像領域ごとに動き補償予測 を用いて画像圧縮を行う画像符号化方法にお ヽて、
前記部分画像領域に含まれる画像信号をフレーム内符号ィ匕する力フレーム間動き 補償予測により符号ィ匕するかを指定するとともに、フレーム間動き補償予測により符 号化する場合の予測画像生成方法を指定する動き補償予測モードの指定を含む符 号化モードを、所定の評価尺度に基づ 、て決定する符号ィ匕モード判定ステップと、 前記動き補償予測モード、参照画像識別番号および動きベクトルに基づ!ゝて動き 補償予測画像を生成する予測画像生成ステップと、
前記部分画像領域ごとに前記符号化モード、前記参照画像識別番号、前記動きべ タトルを可変長符号ィ匕してビットストリームに多重化する符号化ステップとを備え、 前記符号化モード判定ステップは、所定の制御信号により、前記部分画像領域を 構成する各色成分に対して共通の符号ィ匕モードを適用するか、各色成分ごとに個別 の符号化モードを適用するかを判断し、
前記符号化ステップは、前記制御信号の情報をビットストリームに多重化するととも に、前記部分画像領域を構成する各色成分に対して共通の符号化モードを適用す る場合は、共通の符号化モード、共通の参照画像識別番号、共通の動きベクトルを ビットストリームに多重化し、前記部分画像領域を構成する各色成分に対して個別に 符号化モードを適用する場合は、各色成分ごとに個別の符号化モード、個別の参照 画像識別番号、個別の動きベクトルをビットストリームに多重化し、
前記予測画像生成ステップは、前記制御信号によって定まる符号化モード、参照 画像識別番号、動きベクトルに基づいて、個々の色成分に対する動き補償予測画像 を生成することを特徴とする画像符号化方法。
[64] 所定の部分画像領域に含まれる画像信号をフレーム内符号化するかフレーム間動 き補償予測により符号ィ匕するかを指定するとともに、所定の制御信号により、前記部 分画像領域を構成する複数の色成分に対して共通の符号化モードを適用するか、 各色成分ごとに個別の符号化モードを適用するかを判断する符号化モード判定ステ ップと、
前記制御信号によって定まる符号ィ匕モード、参照画像識別番号、動きベクトルに基 づいて、個々の色成分に対する動き補償予測画像を生成する予測画像生成ステツ プと、
前記制御信号の情報をビットストリームに多重化するとともに、前記部分画像領域を 構成する各色成分に対して共通の符号ィ匕モードを適用する場合は、共通の符号ィ匕 モード、共通の参照画像識別番号、共通の動きベクトルをビットストリームに多重化し 、前記部分画像領域を構成する各色成分に対して個別に符号化モードを適用する 場合は、各色成分ごとに個別の符号化モード、個別の参照画像識別番号、個別の 動きベクトルをビットストリームに多重化する符号化ステップ
をコンピュータに実行させることを特徴とする画像符号ィ匕プログラム。
所定の部分画像領域に含まれる画像信号をフレーム内符号化するかフレーム間動 き補償予測により符号ィ匕するかを指定するとともに、所定の制御信号により、前記部 分画像領域を構成する複数の色成分に対して共通の符号化モードを適用するか、 各色成分ごとに個別の符号化モードを適用するかを判断する符号化モード判定ステ ップと、
前記制御信号によって定まる符号ィ匕モード、参照画像識別番号、動きベクトルに基 づいて、個々の色成分に対する動き補償予測画像を生成する予測画像生成ステツ プと、
前記制御信号の情報をビットストリームに多重化するとともに、前記部分画像領域を 構成する各色成分に対して共通の符号ィ匕モードを適用する場合は、共通の符号ィ匕 モード、共通の参照画像識別番号、共通の動きベクトルをビットストリームに多重化し 、前記部分画像領域を構成する各色成分に対して個別に符号化モードを適用する 場合は、各色成分ごとに個別の符号化モード、個別の参照画像識別番号、個別の 動きベクトルをビットストリームに多重化する符号化ステップ
をコンピュータに実行させるための画像符号ィ匕プログラムを記録したコンピュータ読 み取り可能な記録媒体。
[66] 複数の色成分からなる入力画像信号が所定の部分画像領域の単位で動き補償予 測を用いて圧縮符号ィ匕されたビットストリームを入力として画像データへの復号を行う 画像復号方法において、
前記部分画像領域に含まれる画像信号がフレーム内符号ィ匕されている力フレーム 間動き補償予測により符号化されているかを指定するとともに、フレーム間動き補償 予測により符号化される場合の予測画像生成方法を指定する動き補償予測モードの 指定を含む符号化モードを、前記部分画像領域内の全色成分共通の情報として復 号するか、前記部分画像領域内の各色成分ごとの情報として復号するかを指定する 制御信号の情報をビットストリーム力 抽出するとともに、前記部分画像領域ごとに前 記制御信号の情報に従って符号化モード、参照画像識別番号、動きベクトルを復号 してビットストリーム力 抽出する復号ステップと、
前記動き補償予測モード、前記参照画像識別番号および前記動きベクトルに基づ いて動き補償予測画像を生成する予測画像生成ステップを備え、
前記復号ステップは、前記制御信号の情報が、前記部分画像領域を構成する各色 成分に対して共通の符号化モードを適用することを示す場合は、共通の符号化モー ド、共通の参照画像識別番号、共通の動きベクトルをビットストリーム力 抽出し、前 記部分画像領域を構成する各色成分に対して個別に符号化モードを適用することを 示す場合は、各色成分ごとに個別の符号化モード、参照画像識別番号、動きべタト ルをビットストリーム力 抽出し、
前記予測画像生成ステップは、前記復号ステップによって前記制御信号の情報に 従って抽出される前記符号化モード、前記参照画像識別番号、前記動きベクトルに 基づいて、個々の色成分に対する動き補償予測画像を生成することを特徴とする画 像復号方法。
[67] 所定の部分画像領域に含まれる画像信号がフレーム内符号化されて ヽるカゝフレー ム間動き補償予測により符号化されているかを指定するとともに、フレーム間動き補 償予測により符号化される場合の予測画像生成方法を指定する動き補償予測モード の指定を含む符号化モードを、前記部分画像領域内の全色成分共通の情報として 復号するか、前記部分画像領域内の各色成分ごとの情報として復号する力を指定す る制御信号の情報をビットストリーム力 抽出するとともに、前記制御信号の情報が、 前記部分画像領域を構成する各色成分に対して共通の符号化モードを適用するこ とを示す場合は、共通の符号化モード、共通の参照画像識別番号、共通の動きべク トルをビットストリームから抽出し、前記部分画像領域を構成する各色成分に対して個 別に符号ィ匕モードを適用することを示す場合は、各色成分ごとに個別の符号ィ匕モー ド、参照画像識別番号、動きベクトルをビットストリーム力 抽出する復号ステップと、 前記復号ステップによって前記制御信号の情報に従って抽出される前記符号化モ ード、前記参照画像識別番号、前記動きベクトルに基づいて、個々の色成分に対す る動き補償予測画像を生成する動き補償予測画像生成ステップ
をコンピュータに実行させることを特徴とする画像復号プログラム。
[68] 所定の部分画像領域に含まれる画像信号がフレーム内符号化されて!/ヽるカゝフレー ム間動き補償予測により符号化されているかを指定するとともに、フレーム間動き補 償予測により符号化される場合の予測画像生成方法を指定する動き補償予測モード の指定を含む符号化モードを、前記部分画像領域内の全色成分共通の情報として 復号するか、前記部分画像領域内の各色成分ごとの情報として復号する力を指定す る制御信号の情報をビットストリーム力 抽出するとともに、前記制御信号の情報が、 前記部分画像領域を構成する各色成分に対して共通の符号化モードを適用するこ とを示す場合は、共通の符号化モード、共通の参照画像識別番号、共通の動きべク トルをビットストリームから抽出し、前記部分画像領域を構成する各色成分に対して個 別に符号ィ匕モードを適用することを示す場合は、各色成分ごとに個別の符号ィ匕モー ド、参照画像識別番号、動きベクトルをビットストリーム力 抽出する復号ステップと、 前記復号ステップによって前記制御信号の情報に従って抽出される前記符号化モ ード、前記参照画像識別番号、前記動きベクトルに基づいて、個々の色成分に対す る動き補償予測画像を生成する動き補償予測画像生成ステップ
をコンピュータに実行させるための画像複合プログラムを記録したコンピュータ読み 取り可能な記録媒体。
[69] 予測画像生成方法を示す複数のオーバヘッド情報に対応して予測画像を生成す る予測画像生成部と、
該予測画像生成部から出力される予測画像の予測効率を評価して所定のオーバ ヘッド情報を判定する判定部と、
該判定部の出力を可変長符号化する符号化部とを備え、
該判定部は、共通化識別情報に基づいて、前記入力画像信号を構成する各色成 分に対して共通のオーバヘッド情報を使用するか、各色成分ごとに個別のオーバへ ッド情報を使用するかを判断し、該共通化識別情報をビットストリームに多重化すると ともに、共通のオーバヘッド情報を使用する場合は共通のオーバヘッド情報をビット ストリームに多重化し、個別のオーバヘッド情報を使用する場合は各色成分ごとのォ ーバヘッド情報をビットストリームに多重化することを特徴とする画像符号ィ匕装置。
[70] 入力画像信号を構成する各色成分に対して共通のオーバヘッド情報を使用するか 、各色成分ごとに個別のオーバヘッド情報を使用するかを示す共通化識別情報を復 号するとともに、該共通化識別情報の値に基づいて各色成分のオーバヘッド情報を 復号する復号部と、
該復号部により復号されたオーバヘッド情報に基づいて予測画像を生成する予測 画像生成部とを備え、
前記復号部は、前記予測画像生成部により生成された予測画像に基づいて画像 データへの復号を行うことを特徴とする画像復号装置。
[71] 予測画像生成方法を示す複数のオーバヘッド情報に対応して予測画像を生成す る予測画像生成部と、
該予測画像生成部から出力される予測画像の予測効率を評価して所定のオーバ ヘッド情報を判定する判定部と、
該判定部の出力を可変長符号化する符号化部とを備え、
該判定部は、色成分の数を含む所定の制御信号の情報をビットストリームに多重化 するとともに、該制御信号に基づいて各色成分のオーバヘッド情報をビットストリーム に多重化することを特徴とする画像符号化装置。
[72] 入力画像信号を構成する色成分の数の情報を含む所定の制御信号を復号すると ともに、該制御信号の値に基づ 、て各色成分のオーバヘッド情報を復号する復号部 と、
該復号部により復号されたオーバヘッド情報と前記色成分の数の情報を含む前記 制御信号とに基づいて予測画像を生成する予測画像生成部とを備え、
前記復号部は、前記予測画像生成部により生成された予測画像に基づいて画像 データへの復号を行うことを特徴とする画像復号装置。
[73] 予測画像生成方法を示す複数のオーバヘッド情報に対応して予測画像を生成す る予測画像生成部と、
該予測画像生成部から出力される予測画像の予測効率を評価して所定のオーバ ヘッド情報を判定する判定部と、
該判定部の出力を可変長符号化する符号化部とを備え、
該判定部は、スライスが属するピクチャを識別する情報をビットストリームに多重化 するとともに、該スライスが属するピクチャを識別する情報に基づいて各色成分のォ ーバヘッド情報をビットストリームに多重化することを特徴とする画像符号ィ匕装置。
[74] スライスが属するピクチャを識別する情報を復号するとともに、該スライスが属するピ クチャを識別する情報の値に基づいて各色成分のオーバヘッド情報を復号する復号 部と、
該復号部により復号されたオーバヘッド情報に基づいて予測画像を生成する予測 画像生成部とを備え、
前記復号部は、前記予測画像生成部により生成された予測画像に基づいて画像 データへの復号を行うことを特徴とする画像復号装置。
[75] スライス単位に該スライスが属するピクチャを識別する情報を復号して、該スライス が属するピクチャを識別する情報の値に基づいて各色成分の復号画像を生成する 復号部を備え、
該復号部は、前記スライスが属するピクチャを識別する情報の値が同一であるスラ イス符号化データの集合からピクチャの復号を行うことを特徴とする画像復号装置。
[76] 複数の色成分からなる入力画像信号を圧縮符号化した結果生成されるビットストリ ームであって、
各色成分の画像信号の圧縮データをスライス単位に構成し、該スライスのヘッダ領 域に該スライスデータがいずれの色成分の圧縮データを含むかを示すパラメータが 多重されることを特徴とする画像符号化ビットストリーム。
複数の色成分からなる入力画像信号を圧縮符号化した結果生成されるビットストリ ームを記録したコンピュータ読み取り可能な記録媒体であって、
各色成分の画像信号の圧縮データをスライス単位に構成し、該スライスのヘッダ領 域に該スライスデータがいずれの色成分の圧縮データを含むかを示すパラメータが 多重されることを特徴とする画像符号ィ匕ビットストリームを記録したコンピュータ読み 取り可能な記録媒体。
PCT/JP2006/312159 2005-07-22 2006-06-16 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法、画像符号化プログラム、画像復号プログラム、ならびに画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体、画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体 WO2007010690A1 (ja)

Priority Applications (18)

Application Number Priority Date Filing Date Title
KR1020117021863A KR101217400B1 (ko) 2005-07-22 2006-06-16 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
JP2006551668A JP4542107B2 (ja) 2005-07-22 2006-06-16 画像復号装置及び画像復号方法
EP06757388A EP1909508A4 (en) 2005-07-22 2006-06-16 Image Coding Device, Image Decoding Device, Image Coding Method, Image Decoding Method, Image Coding Program, Image Decoding Program, Computer Readable Recording Medium With Image Recoding Program Recorded Thereon, and Computer Readable Recording Medium With Image Image Coding Program Recorded Thereon
US11/912,680 US20090034856A1 (en) 2005-07-22 2006-06-16 Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
CA 2610276 CA2610276C (en) 2005-07-22 2006-06-16 Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
CN2006800251408A CN101218830B (zh) 2005-07-22 2006-06-16 图像编码装置和方法、以及图像解码装置和方法
BRPI0611672-8A BRPI0611672A2 (pt) 2005-07-22 2006-06-16 codificador e decodificador de imagem, mÉtodo de codificaÇço de imagem, programa de codificaÇço de imagem, meio de gravaÇço legÍvel por computador, mÉtodo de decodificaÇço de imagem, programa de decodificaÇço de imagem, e, corrente de bits codificada por imagem
US11/931,503 US8488889B2 (en) 2005-07-22 2007-10-31 Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US11/931,756 US20080165849A1 (en) 2005-07-22 2007-10-31 Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US11/931,636 US20090034857A1 (en) 2005-07-22 2007-10-31 Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US11/931,714 US20080123947A1 (en) 2005-07-22 2007-10-31 Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
US11/931,557 US20090123066A1 (en) 2005-07-22 2007-10-31 Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
US11/980,460 US8509551B2 (en) 2005-07-22 2007-10-31 Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recording with image encoding program and computer readable recording medium recorded with image decoding program
US11/931,445 US20080130988A1 (en) 2005-07-22 2007-10-31 Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US11/932,236 US20080130989A1 (en) 2005-07-22 2007-10-31 Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US11/980,363 US20080130990A1 (en) 2005-07-22 2007-10-31 Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US11/932,465 US20080137744A1 (en) 2005-07-22 2007-10-31 Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US11/932,759 US20080123977A1 (en) 2005-07-22 2007-10-31 Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP2005212601 2005-07-22
JP2005-212601 2005-07-22
JP2005294767 2005-10-07
JP2005-294767 2005-10-07
JP2005-294768 2005-10-07
JP2005294768 2005-10-07
JP2005377638 2005-12-28
JP2005-377638 2005-12-28
JP2006085210 2006-03-27
JP2006-085210 2006-03-27

Related Child Applications (12)

Application Number Title Priority Date Filing Date
US11/912,680 A-371-Of-International US20090034856A1 (en) 2005-07-22 2006-06-16 Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
US11/931,756 Division US20080165849A1 (en) 2005-07-22 2007-10-31 Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US11/980,363 Division US20080130990A1 (en) 2005-07-22 2007-10-31 Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US11/931,714 Division US20080123947A1 (en) 2005-07-22 2007-10-31 Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
US11/931,557 Division US20090123066A1 (en) 2005-07-22 2007-10-31 Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
US11/932,236 Division US20080130989A1 (en) 2005-07-22 2007-10-31 Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US11/932,759 Division US20080123977A1 (en) 2005-07-22 2007-10-31 Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US11/980,460 Division US8509551B2 (en) 2005-07-22 2007-10-31 Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recording with image encoding program and computer readable recording medium recorded with image decoding program
US11/931,636 Division US20090034857A1 (en) 2005-07-22 2007-10-31 Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US11/931,445 Division US20080130988A1 (en) 2005-07-22 2007-10-31 Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US11/931,503 Division US8488889B2 (en) 2005-07-22 2007-10-31 Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US11/932,465 Division US20080137744A1 (en) 2005-07-22 2007-10-31 Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program

Publications (1)

Publication Number Publication Date
WO2007010690A1 true WO2007010690A1 (ja) 2007-01-25

Family

ID=37668575

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/312159 WO2007010690A1 (ja) 2005-07-22 2006-06-16 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法、画像符号化プログラム、画像復号プログラム、ならびに画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体、画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体

Country Status (10)

Country Link
US (1) US20090034856A1 (ja)
EP (1) EP1909508A4 (ja)
JP (2) JP4542107B2 (ja)
KR (5) KR100995226B1 (ja)
CN (5) CN102281448B (ja)
BR (1) BRPI0611672A2 (ja)
CA (2) CA2610276C (ja)
HK (2) HK1159913A1 (ja)
RU (1) RU2506714C1 (ja)
WO (1) WO2007010690A1 (ja)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008126139A1 (ja) * 2007-03-30 2008-10-23 Fujitsu Limited 画像データ圧縮装置及び復号装置
WO2008132791A1 (ja) * 2007-04-13 2008-11-06 Panasonic Corporation 画像処理装置、集積回路及び画像処理方法
WO2009001864A1 (ja) * 2007-06-28 2008-12-31 Mitsubishi Electric Corporation 画像符号化装置および画像復号装置
WO2009051010A1 (ja) * 2007-10-15 2009-04-23 Mitsubishi Electric Corporation 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP2009094828A (ja) * 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
JP2009177787A (ja) * 2008-01-25 2009-08-06 Samsung Electronics Co Ltd 映像の符号化、復号化の方法及びその装置
EP2063644A3 (en) * 2007-10-30 2009-09-30 Hitachi Ltd. Image encoding device and encoding method, and image decoding device and decoding method
EP2034742A3 (en) * 2007-07-25 2009-10-14 Hitachi Ltd. Video coding method and device
WO2010004726A1 (ja) * 2008-07-08 2010-01-14 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、及び集積回路
JP2011501533A (ja) * 2007-10-12 2011-01-06 クゥアルコム・インコーポレイテッド ビデオブロックヘッダ情報の適応可能なコーディング
RU2454823C2 (ru) * 2007-10-30 2012-06-27 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования и способ декодирования видео, аппараты для этого, программы для этого, а также носители данных, которые сохраняют программы
US8369404B2 (en) 2007-01-12 2013-02-05 Mitsubishi Electric Corporation Moving image decoding device and moving image decoding method
US8428133B2 (en) 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
JP5289440B2 (ja) * 2008-07-10 2013-09-11 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US8571104B2 (en) 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
JP2013232843A (ja) * 2012-05-01 2013-11-14 Canon Inc 動画像符号化装置及び動画像符号化方法
KR101330630B1 (ko) 2006-03-13 2013-11-22 삼성전자주식회사 최적인 예측 모드를 적응적으로 적용하여 동영상을부호화하는 방법 및 장치, 동영상을 복호화하는 방법 및장치
US8655087B2 (en) 2007-01-12 2014-02-18 Mitsubishi Electric Corporation Image decoding device and image decoding method for decoding compressed data
US8718139B2 (en) 2007-01-12 2014-05-06 Mitsubishi Electric Corporation Image decoding device and image decoding method
RU2518417C2 (ru) * 2007-02-21 2014-06-10 Майкрософт Корпорейшн Управление вычислительной сложностью и точностью в мультимедийном кодеке, основанном на преобразовании
US8938009B2 (en) 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
JP2015015772A (ja) * 2010-07-15 2015-01-22 三菱電機株式会社 動画像符号化装置及び動画像符号化方法
WO2015008417A1 (ja) * 2013-07-19 2015-01-22 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
US8971405B2 (en) 2001-09-18 2015-03-03 Microsoft Technology Licensing, Llc Block transform and quantization for image and video coding
JP2015103969A (ja) * 2013-11-25 2015-06-04 キヤノン株式会社 画像符号化装置及び画像符号化方法
US9445113B2 (en) 2006-01-10 2016-09-13 Thomson Licensing Methods and apparatus for parallel implementations of 4:4:4 coding
JP2017028728A (ja) * 2011-09-28 2017-02-02 サン パテント トラスト 画像復号化方法及び画像復号化装置
US10021384B2 (en) 2010-12-23 2018-07-10 Samsung Electronics Co., Ltd. Method and device for encoding intra prediction mode for image prediction unit, and method and device for decoding intra prediction mode for image prediction unit
US10264254B2 (en) 2011-01-14 2019-04-16 Huawei Technologies Co., Ltd. Image coding and decoding method, image data processing method, and devices thereof
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
US11330270B2 (en) * 2020-03-31 2022-05-10 University Of Electronic Science And Technology Of China Temporal domain rate distortion optimization considering coding-mode adaptive distortion propagation

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100995226B1 (ko) * 2005-07-22 2010-11-17 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법, 화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체, 화상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
BRPI0611668B1 (pt) * 2005-09-20 2019-06-18 Mitsubishi Electric Corporation Decodificador de imagem, e, método de decodificação de imagem
US8300694B2 (en) 2005-09-20 2012-10-30 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US8300700B2 (en) 2005-09-20 2012-10-30 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US8306112B2 (en) 2005-09-20 2012-11-06 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US8250618B2 (en) * 2006-09-18 2012-08-21 Elemental Technologies, Inc. Real-time network adaptive digital video encoding/decoding
WO2008084817A1 (ja) * 2007-01-09 2008-07-17 Kabushiki Kaisha Toshiba 画像符号化と復号化の方法及び装置
US8565519B2 (en) * 2007-02-09 2013-10-22 Qualcomm Incorporated Programmable pattern-based unpacking and packing of data channel information
CN103281542B (zh) * 2007-06-29 2017-07-14 夏普株式会社 图像编码装置、图像编码方法、图像译码装置、图像译码方法
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8184715B1 (en) * 2007-08-09 2012-05-22 Elemental Technologies, Inc. Method for efficiently executing video encoding operations on stream processor architectures
TW200910971A (en) * 2007-08-22 2009-03-01 Univ Nat Cheng Kung Direction detection algorithms for H.264 intra prediction
US8121197B2 (en) 2007-11-13 2012-02-21 Elemental Technologies, Inc. Video encoding and decoding using parallel processors
US8761253B2 (en) * 2008-05-28 2014-06-24 Nvidia Corporation Intra prediction mode search scheme
US8325801B2 (en) * 2008-08-15 2012-12-04 Mediatek Inc. Adaptive restoration for video coding
US9042455B2 (en) 2008-08-19 2015-05-26 Thomson Licensing Propagation map
KR101611375B1 (ko) 2008-08-19 2016-04-11 톰슨 라이센싱 압축된 비디오에서 구문 요소의 ｃａｂａｃ/ａｖｃ 준수 워터마킹
CN102187673B (zh) 2008-08-19 2014-07-30 汤姆森特许公司 亮度评估
CN102187583B (zh) * 2008-08-19 2013-09-11 汤姆森特许公司 基于上下文的自适应二进制算术编码（cabac）的视频流兼容性
CN102132564B (zh) 2008-08-20 2013-09-11 汤姆森特许公司 用于压缩视频的水印制作的水印选取
KR101306834B1 (ko) * 2008-09-22 2013-09-10 에스케이텔레콤 주식회사 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
US8831099B2 (en) * 2008-12-17 2014-09-09 Nvidia Corporation Selecting a macroblock encoding mode by using raw data to compute intra cost
KR20220041931A (ko) 2009-01-27 2022-04-01 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 비디오 인코딩 및 디코딩에서 변환 선택을 위한 방법 및 장치
US9432674B2 (en) * 2009-02-02 2016-08-30 Nvidia Corporation Dual stage intra-prediction video encoding system and method
EP2230849A1 (en) * 2009-03-20 2010-09-22 Mitsubishi Electric R&D Centre Europe B.V. Encoding and decoding video data using motion vectors
KR101710622B1 (ko) * 2009-07-28 2017-02-28 삼성전자주식회사 스킵 모드에 따라 영상을 부호화, 복호화하는 방법 및 장치
KR101631280B1 (ko) * 2009-07-28 2016-06-16 삼성전자주식회사 스킵 모드에 기초한 영상을 복호화하는 방법 및 장치
KR101631278B1 (ko) * 2009-07-28 2016-06-16 삼성전자주식회사 모드 정보를 부호화, 복호화하는 방법 및 장치
KR101633459B1 (ko) 2009-08-10 2016-06-24 삼성전자주식회사 컬러 간의 상관 관계를 이용한 영상 데이터 인코딩 장치 및 방법, 그리고 영상 데이터 디코딩 장치 및 방법
US8861879B2 (en) 2009-09-17 2014-10-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image based on skip mode
WO2011040796A2 (ko) * 2009-10-01 2011-04-07 에스케이텔레콤 주식회사 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치
KR101479129B1 (ko) 2009-10-01 2015-01-06 에스케이텔레콤 주식회사 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치
WO2011046681A2 (en) * 2009-10-14 2011-04-21 Sony Corporation Joint scalar embedded graphics coding for color images
KR101487687B1 (ko) 2010-01-14 2015-01-29 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
CN106028048B (zh) * 2010-01-15 2019-04-05 三星电子株式会社 对视频进行解码的设备
CN106454380B (zh) * 2010-01-15 2019-04-05 三星电子株式会社 对视频进行解码的方法
EP2529553B1 (en) * 2010-01-25 2021-08-11 InterDigital Madison Patent Holdings Video encoder, video decoder, method for video encoding and method for video decoding, separately for each colour plane
EP2526692A1 (en) * 2010-01-26 2012-11-28 Vidyo, Inc. Low complexity, high frame rate video encoder
BR112012019745B1 (pt) 2010-02-09 2020-11-10 Contentarmor Método de detecção de marca dágua utilizando um mapa de propagação
KR20180028430A (ko) * 2010-02-17 2018-03-16 한국전자통신연구원 초고해상도 영상을 부호화하는 장치 및 방법, 그리고 복호화 장치 및 방법
CN105141959B (zh) * 2010-02-24 2018-06-01 夏普株式会社 图像解码装置
MX353107B (es) 2010-04-09 2017-12-19 Mitsubishi Electric Corp Dispositivo codificador de imagen en movimiento y dispositivo decodificador de imagen en movimiento.
CN105472387B (zh) 2010-04-09 2018-11-02 Lg电子株式会社 处理视频数据的方法和装置
BR112012026391B1 (pt) 2010-04-13 2020-12-15 Ge Video Compression, Llc Herança em amostra de arranjo em subdivisão multitree
CN106412608B (zh) 2010-04-13 2019-10-08 Ge视频压缩有限责任公司 用于解码、生成数据流的方法和解码器
CN106358045B (zh) 2010-04-13 2019-07-19 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
TWI815295B (zh) 2010-04-13 2023-09-11 美商Ｇｅ影像壓縮有限公司 樣本區域合併技術
KR101791078B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
KR101813189B1 (ko) 2010-04-16 2018-01-31 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
KR101791242B1 (ko) 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
WO2011146451A1 (en) * 2010-05-20 2011-11-24 Thomson Licensing Methods and apparatus for adaptive motion vector candidate ordering for video encoding and decoding
US20130182768A1 (en) * 2010-09-30 2013-07-18 Korea Advanced Institute Of Science And Technology Method and apparatus for encoding / decoding video using error compensation
CA2813377C (en) 2010-10-06 2017-08-29 Ntt Docomo, Inc. Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program
CN103430547B (zh) * 2011-03-08 2017-03-29 Jvc建伍株式会社 动图像解码装置、动图像解码方法
JP5748553B2 (ja) * 2011-05-13 2015-07-15 キヤノン株式会社 撮像装置
WO2012164939A1 (ja) * 2011-06-03 2012-12-06 パナソニック株式会社 画像符号化方法および画像復号化方法
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
JP5318292B2 (ja) 2011-06-23 2013-10-16 パナソニック株式会社 画像復号方法及び画像復号装置
KR101588143B1 (ko) * 2011-06-23 2016-01-22 가부시키가이샤 제이브이씨 켄우드 화상 인코딩 장치, 화상 인코딩 방법 및 화상 인코딩 프로그램, 및 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램
CN106878722B (zh) 2011-06-24 2019-11-12 太阳专利托管公司 解码方法、解码装置、编码方法、编码装置
WO2012176464A1 (ja) 2011-06-24 2012-12-27 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
MX2013013483A (es) 2011-06-27 2014-02-27 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
CN107105254B (zh) 2011-06-28 2020-03-20 太阳专利托管公司 编码方法及编码装置
WO2013001767A1 (ja) 2011-06-29 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
KR102060619B1 (ko) 2011-06-30 2019-12-30 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
PL2728869T3 (pl) 2011-06-30 2022-02-28 Sun Patent Trust Sposób dekodowania obrazów
CN106851295B (zh) 2011-07-11 2019-10-18 太阳专利托管公司 编码方法及编码装置
SG187781A1 (en) * 2011-07-18 2013-03-28 Panasonic Corp Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
EP2736254B1 (en) * 2011-07-22 2018-07-04 Hitachi, Ltd. Video decoding method and image encoding method
KR102073868B1 (ko) * 2011-11-07 2020-02-05 타지반 투 엘엘씨 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및 화상 부호화 복호 장치
JP2013110517A (ja) 2011-11-18 2013-06-06 Canon Inc 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム
WO2013094199A1 (ja) * 2011-12-21 2013-06-27 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号化方法、画像復号化装置、および画像符号化復号化装置
WO2013099285A1 (ja) * 2011-12-28 2013-07-04 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
EP2999218A1 (en) 2012-01-12 2016-03-23 MediaTek Inc. Method and apparatus for unification of significance map context selection
PL2805511T3 (pl) 2012-01-20 2019-09-30 Sun Patent Trust Sposoby i urządzenie do kodowania i dekodowania wideo przy użyciu predykcji wektora ruchu w czasie
CN103220508B (zh) * 2012-01-20 2014-06-11 华为技术有限公司 编解码方法和装置
MX2013008942A (es) 2012-02-03 2013-09-12 Panasonic Corp Metodo de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de codificacion de imagenes, aparato de decodificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
EP2824920A4 (en) 2012-03-06 2016-02-17 Panasonic Ip Corp America VIDEO CODING METHOD, VIDEO CODING METHOD, VIDEO COORDING DEVICE, VIDEO CODING DEVICE AND VIDEO CODING / DECODING DEVICE
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
ES2781573T3 (es) 2012-06-08 2020-09-03 Sun Patent Trust Procedimiento de codificación de imágenes, procedimiento de decodificación de imágenes, dispositivo de codificación de imágenes, dispositivo de decodificación de imágenes, y dispositivo de codificación y decodificación de imágenes
JP6168365B2 (ja) * 2012-06-12 2017-07-26 サン パテント トラスト 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
KR101962984B1 (ko) 2012-06-27 2019-03-27 선 페이턴트 트러스트 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치 및 화상 부호화 복호 장치
JP6137817B2 (ja) * 2012-11-30 2017-05-31 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム
JP6151909B2 (ja) * 2012-12-12 2017-06-21 キヤノン株式会社 動画像符号化装置、方法およびプログラム
US9049442B2 (en) 2013-03-15 2015-06-02 Canon Kabushiki Kaisha Moving image encoding apparatus and method for controlling the same
KR101432769B1 (ko) * 2013-07-19 2014-08-26 에스케이텔레콤 주식회사 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
JP6362370B2 (ja) * 2014-03-14 2018-07-25 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
EP3206399A4 (en) * 2014-11-04 2017-10-25 Samsung Electronics Co., Ltd. Probability updating method for binary arithmetic coding/decoding, and entropy coding/decoding apparatus using same
EP3041233A1 (en) * 2014-12-31 2016-07-06 Thomson Licensing High frame rate-low frame rate transmission technique
US10362305B2 (en) * 2015-03-27 2019-07-23 Sony Corporation Image processing device, image processing method, and recording medium
WO2017086738A1 (ko) * 2015-11-19 2017-05-26 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
KR20170058838A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 화면간 예측 향상을 위한 부호화/복호화 방법 및 장치
CN105407352A (zh) * 2015-11-23 2016-03-16 小米科技有限责任公司 图像压缩方法、装置及服务器
KR101640572B1 (ko) * 2015-11-26 2016-07-18 이노뎁 주식회사 효율적인 코딩 유닛 설정을 수행하는 영상 처리 장치 및 영상 처리 방법
EP3429204B1 (en) * 2016-03-07 2020-04-15 Sony Corporation Encoding device and encoding method
RU169308U1 (ru) * 2016-11-07 2017-03-14 Федеральное государственное бюджетное образовательное учреждение высшего образования "Юго-Западный государственный университет" (ЮЗГУ) Устройство для оперативного восстановления видеосигнала RGB-модели
TWI627521B (zh) * 2017-06-07 2018-06-21 財團法人工業技術研究院 時序估算方法與模擬裝置
WO2019229801A1 (ja) * 2018-05-28 2019-12-05 三菱電機株式会社 無線アクセスネットワークの管理装置
US10848696B2 (en) 2018-06-01 2020-11-24 Samsung Electronics Co., Ltd. Apparatus for encoding image, apparatus for decoding image and image sensor
US11475601B2 (en) * 2019-10-21 2022-10-18 Google Llc Image decoding during bitstream interruptions
JP2023517695A (ja) * 2020-03-12 2023-04-26 インターデジタル ブイシー ホールディングス フランス ビデオ符号化及び復号化のための方法並びに装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005039743A (ja) * 2003-07-18 2005-02-10 Sony Corp 画像情報符号化装置及び方法、並びに画像情報復号装置及び方法
JP2005034975A (ja) * 2003-07-18 2005-02-10 Kr Kogyo Kk ラチェットレンチ及びその組立て方法
JP2006203909A (ja) * 2005-01-21 2006-08-03 Seiko Epson Corp マクロブロックをイントラ符号化するための予測モードを選択する方法、ビデオデータのマクロブロックに対して少なくとも一つの予測モードを選択するための方法、予測モードの選択を可能にするためにコンピュータ可読媒体に実装されたコンピュータプログラム製品、および複数の予測モードでデータを符号化するためのエンコーダ

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07109990B2 (ja) * 1989-04-27 1995-11-22 日本ビクター株式会社 適応型フレーム間予測符号化方法及び復号方法
JP2683181B2 (ja) * 1992-05-12 1997-11-26 三菱電機株式会社 カラー画像処理装置
JP4326758B2 (ja) * 1995-11-02 2009-09-09 三菱電機株式会社 動画像符号化装置及び動画像復号化装置
JPH1013859A (ja) * 1996-06-26 1998-01-16 Mitsubishi Electric Corp 画像用高能率符号化器及び画像用高能率復号化器及び画像用高能率符号化復号化システム
RU2217879C2 (ru) * 1996-12-18 2003-11-27 Томсон Конзьюмер Электроникс, Инк. Процессор многоформатного видеосигнала
CN101026762B (zh) * 1997-02-13 2015-08-19 三菱电机株式会社 运动图像预测装置和方法
JP3901287B2 (ja) * 1997-02-27 2007-04-04 松下電器産業株式会社 映像信号変換装置、映像信号変換方法及び映像提供システム
AU1941797A (en) * 1997-03-17 1998-10-12 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
WO1999022525A1 (en) * 1997-10-23 1999-05-06 Mitsubishi Denki Kabushiki Kaisha Image encoding method, image encoder, image decoding method, and image decoder
WO1999022524A1 (en) * 1997-10-23 1999-05-06 Mitsubishi Denki Kabushiki Kaisha Image decoder, image encoder, image communication system, and encoded bit stream converter
JP2001285863A (ja) * 2000-03-30 2001-10-12 Sony Corp 画像情報変換装置及び方法
US6757429B2 (en) * 2001-02-21 2004-06-29 Boly Media Communications Inc. Method of compressing digital images
JP4193406B2 (ja) * 2002-04-16 2008-12-10 三菱電機株式会社 映像データ変換装置および映像データ変換方法
KR100754972B1 (ko) * 2002-05-28 2007-10-01 샤프 가부시키가이샤 화상 인트라-예측 모드 추정, 전달과 편성을 위한 방법 및시스템
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
AU2003281133A1 (en) * 2002-07-15 2004-02-02 Hitachi, Ltd. Moving picture encoding method and decoding method
US7469069B2 (en) * 2003-05-16 2008-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image using image residue prediction
KR100624429B1 (ko) * 2003-07-16 2006-09-19 삼성전자주식회사 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법
EP1509045A3 (en) * 2003-07-16 2006-08-09 Samsung Electronics Co., Ltd. Lossless image encoding/decoding method and apparatus using intercolor plane prediction
EP1515561B1 (en) * 2003-09-09 2007-11-21 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for 3-D sub-band video coding
KR100964401B1 (ko) * 2003-10-23 2010-06-17 삼성전자주식회사 칼라 영상을 위한 인트라 부호화/복호화 방법 및 장치
KR20050061762A (ko) * 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
JP2005349775A (ja) 2004-06-14 2005-12-22 Noritsu Koki Co Ltd 写真プリントシステム
KR101246915B1 (ko) * 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치
JP2006304102A (ja) * 2005-04-22 2006-11-02 Renesas Technology Corp 画像符号化ユニットと画像符号化方法
KR100995226B1 (ko) * 2005-07-22 2010-11-17 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법, 화상 부호화 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체, 화상 복호 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005039743A (ja) * 2003-07-18 2005-02-10 Sony Corp 画像情報符号化装置及び方法、並びに画像情報復号装置及び方法
JP2005034975A (ja) * 2003-07-18 2005-02-10 Kr Kogyo Kk ラチェットレンチ及びその組立て方法
JP2006203909A (ja) * 2005-01-21 2006-08-03 Seiko Epson Corp マクロブロックをイントラ符号化するための予測モードを選択する方法、ビデオデータのマクロブロックに対して少なくとも一つの予測モードを選択するための方法、予測モードの選択を可能にするためにコンピュータ可読媒体に実装されたコンピュータプログラム製品、および複数の予測モードでデータを符号化するためのエンコーダ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1909508A4 *

Cited By (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971405B2 (en) 2001-09-18 2015-03-03 Microsoft Technology Licensing, Llc Block transform and quantization for image and video coding
US9445113B2 (en) 2006-01-10 2016-09-13 Thomson Licensing Methods and apparatus for parallel implementations of 4:4:4 coding
US10034000B2 (en) 2006-03-13 2018-07-24 Samsung Electronics Co., Ltd. Method, medium, and system encoding and/or decoding moving pictures by adaptively applying optimal prediction modes
US9654779B2 (en) 2006-03-13 2017-05-16 Samsung Electronics Co., Ltd. Method, medium, and system encoding and/or decoding moving pictures by adaptively applying optimal predication modes
KR101330630B1 (ko) 2006-03-13 2013-11-22 삼성전자주식회사 최적인 예측 모드를 적응적으로 적용하여 동영상을부호화하는 방법 및 장치, 동영상을 복호화하는 방법 및장치
JP2014197865A (ja) * 2006-03-13 2014-10-16 サムスン エレクトロニクス カンパニー リミテッド 予測映像の生成方法、装置及び記録媒体
JP2014158305A (ja) * 2006-03-13 2014-08-28 Samsung Electronics Co Ltd 予測映像の生成方法、装置及び記録媒体
US8718139B2 (en) 2007-01-12 2014-05-06 Mitsubishi Electric Corporation Image decoding device and image decoding method
US8369404B2 (en) 2007-01-12 2013-02-05 Mitsubishi Electric Corporation Moving image decoding device and moving image decoding method
US8655087B2 (en) 2007-01-12 2014-02-18 Mitsubishi Electric Corporation Image decoding device and image decoding method for decoding compressed data
RU2518417C2 (ru) * 2007-02-21 2014-06-10 Майкрософт Корпорейшн Управление вычислительной сложностью и точностью в мультимедийном кодеке, основанном на преобразовании
US8942289B2 (en) 2007-02-21 2015-01-27 Microsoft Corporation Computational complexity and precision control in transform-based digital media codec
US8306341B2 (en) 2007-03-30 2012-11-06 Fujitsu Limited Image data compression apparatus and decoding apparatus
WO2008126139A1 (ja) * 2007-03-30 2008-10-23 Fujitsu Limited 画像データ圧縮装置及び復号装置
WO2008132791A1 (ja) * 2007-04-13 2008-11-06 Panasonic Corporation 画像処理装置、集積回路及び画像処理方法
US8428133B2 (en) 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
US8619853B2 (en) 2007-06-15 2013-12-31 Qualcomm Incorporated Separable directional transforms
US9578331B2 (en) 2007-06-15 2017-02-21 Qualcomm Incorporated Separable directional transforms
US8571104B2 (en) 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
US8520732B2 (en) 2007-06-15 2013-08-27 Qualcomm Incorporated Adaptive coding of video block prediction mode
US8488668B2 (en) 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
RU2470480C1 (ru) * 2007-06-28 2012-12-20 Мицубиси Электроник Корпорейшн Устройство кодирования изображения и устройство декодирования изображения
US8145002B2 (en) 2007-06-28 2012-03-27 Mitsubishi Electric Corporation Image encoding device and image encoding method
CN101889449B (zh) * 2007-06-28 2013-06-19 三菱电机株式会社 图像编码装置以及图像解码装置
US8345968B2 (en) 2007-06-28 2013-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
WO2009001864A1 (ja) * 2007-06-28 2008-12-31 Mitsubishi Electric Corporation 画像符号化装置および画像復号装置
US8422803B2 (en) 2007-06-28 2013-04-16 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
JP2013176168A (ja) * 2007-06-28 2013-09-05 Mitsubishi Electric Corp 画像符号化装置および画像復号装置
CN101889449A (zh) * 2007-06-28 2010-11-17 三菱电机株式会社 图像编码装置以及图像解码装置
CN103327328A (zh) * 2007-06-28 2013-09-25 三菱电机株式会社 图像编码装置以及图像解码装置
JP5296679B2 (ja) * 2007-06-28 2013-09-25 三菱電機株式会社 画像復号装置および画像復号方法
KR101379087B1 (ko) 2007-06-28 2014-04-11 미쓰비시덴키 가부시키가이샤 화상 부호화 장치 및 방법, 그리고 화상 복호 장치 및 방법
JPWO2009001864A1 (ja) * 2007-06-28 2010-08-26 三菱電機株式会社 画像符号化装置および画像復号装置
US8139875B2 (en) 2007-06-28 2012-03-20 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
KR101088972B1 (ko) 2007-06-28 2011-12-01 미쓰비시덴키 가부시키가이샤 화상 부호화 장치 및 방법
EP2034742A3 (en) * 2007-07-25 2009-10-14 Hitachi Ltd. Video coding method and device
CN104052996B (zh) * 2007-10-10 2018-04-10 日立麦克赛尔株式会社 图像编码装置及方法，和图像解码装置及方法
US9451255B2 (en) 2007-10-10 2016-09-20 Hitachi Maxell, Ltd. Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
CN104052997B (zh) * 2007-10-10 2018-06-15 日立麦克赛尔株式会社 图像编码装置及方法，和图像解码装置及方法
CN104038763B (zh) * 2007-10-10 2018-04-24 麦克赛尔株式会社 图像编码装置及方法，和图像解码装置及方法
CN104038763A (zh) * 2007-10-10 2014-09-10 株式会社日立制作所 图像编码装置及方法，和图像解码装置及方法
CN104052996A (zh) * 2007-10-10 2014-09-17 株式会社日立制作所 图像编码装置及方法，和图像解码装置及方法
CN104052995A (zh) * 2007-10-10 2014-09-17 株式会社日立制作所 图像编码装置及方法，和图像解码装置及方法
EP2059048A3 (en) * 2007-10-10 2009-10-21 Hitachi Ltd. Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
US8867626B2 (en) 2007-10-10 2014-10-21 Hitachi, Ltd. Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
CN104052995B (zh) * 2007-10-10 2017-12-29 日立麦克赛尔株式会社 图像解码方法
US9706202B2 (en) 2007-10-10 2017-07-11 Hitachi Maxell, Ltd. Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
US9699459B2 (en) 2007-10-10 2017-07-04 Hitachi Maxell, Ltd. Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
US9699458B2 (en) 2007-10-10 2017-07-04 Hitachi Maxell, Ltd. Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
US9609322B2 (en) 2007-10-10 2017-03-28 Hitachi Maxell, Ltd. Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
JP2009094828A (ja) * 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
US8938009B2 (en) 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
US9386316B2 (en) 2007-10-12 2016-07-05 Qualcomm Incorporated Adaptive coding of video block header information
JP2011501533A (ja) * 2007-10-12 2011-01-06 クゥアルコム・インコーポレイテッド ビデオブロックヘッダ情報の適応可能なコーディング
WO2009051010A1 (ja) * 2007-10-15 2009-04-23 Mitsubishi Electric Corporation 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
US8520727B2 (en) 2007-10-30 2013-08-27 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
RU2454823C2 (ru) * 2007-10-30 2012-06-27 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования и способ декодирования видео, аппараты для этого, программы для этого, а также носители данных, которые сохраняют программы
EP2063644A3 (en) * 2007-10-30 2009-09-30 Hitachi Ltd. Image encoding device and encoding method, and image decoding device and decoding method
JP2009177787A (ja) * 2008-01-25 2009-08-06 Samsung Electronics Co Ltd 映像の符号化、復号化の方法及びその装置
WO2010004726A1 (ja) * 2008-07-08 2010-01-14 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、及び集積回路
JP5289440B2 (ja) * 2008-07-10 2013-09-11 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2015015772A (ja) * 2010-07-15 2015-01-22 三菱電機株式会社 動画像符号化装置及び動画像符号化方法
JP2015222973A (ja) * 2010-07-15 2015-12-10 三菱電機株式会社 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法及びビットストリーム
US11070811B2 (en) 2010-12-23 2021-07-20 Samsung Electronics Co., Ltd. Method and device for encoding intra prediction mode for image prediction unit, and method and device for decoding intra prediction mode for image prediction unit
US11509899B2 (en) 2010-12-23 2022-11-22 Samsung Electronics Co., Ltd. Method and device for encoding intra prediction mode for image prediction unit, and method and device for decoding intra prediction mode for image prediction unit
US10021384B2 (en) 2010-12-23 2018-07-10 Samsung Electronics Co., Ltd. Method and device for encoding intra prediction mode for image prediction unit, and method and device for decoding intra prediction mode for image prediction unit
US10630986B2 (en) 2010-12-23 2020-04-21 Samsung Electronics Co., Ltd. Method and device for encoding intra prediction mode for image prediction unit, and method and device for decoding intra prediction mode for image prediction unit
US10264254B2 (en) 2011-01-14 2019-04-16 Huawei Technologies Co., Ltd. Image coding and decoding method, image data processing method, and devices thereof
JP2017028728A (ja) * 2011-09-28 2017-02-02 サン パテント トラスト 画像復号化方法及び画像復号化装置
JP2013232843A (ja) * 2012-05-01 2013-11-14 Canon Inc 動画像符号化装置及び動画像符号化方法
WO2015008417A1 (ja) * 2013-07-19 2015-01-22 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
US10178408B2 (en) 2013-07-19 2019-01-08 Nec Corporation Video coding device, video decoding device, video coding method, video decoding method, and program
JPWO2015008417A1 (ja) * 2013-07-19 2017-03-02 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
JP2015103969A (ja) * 2013-11-25 2015-06-04 キヤノン株式会社 画像符号化装置及び画像符号化方法
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
US11330270B2 (en) * 2020-03-31 2022-05-10 University Of Electronic Science And Technology Of China Temporal domain rate distortion optimization considering coding-mode adaptive distortion propagation

Also Published As

Publication number Publication date
KR100995226B1 (ko) 2010-11-17
CA2610276A1 (en) 2007-01-25
JP5138709B2 (ja) 2013-02-06
KR20110014656A (ko) 2011-02-11
JP4542107B2 (ja) 2010-09-08
CN101218830B (zh) 2011-10-12
CN102176754A (zh) 2011-09-07
BRPI0611672A2 (pt) 2009-01-13
CA2732532A1 (en) 2007-01-25
CN102176754B (zh) 2013-02-06
CA2732532C (en) 2013-08-20
CN102281448B (zh) 2014-04-30
EP1909508A1 (en) 2008-04-09
EP1909508A4 (en) 2011-05-25
KR20100083850A (ko) 2010-07-22
KR20110124315A (ko) 2011-11-16
HK1159913A1 (en) 2012-08-03
US20090034856A1 (en) 2009-02-05
JP2010110006A (ja) 2010-05-13
JPWO2007010690A1 (ja) 2009-01-29
CN102281448A (zh) 2011-12-14
KR101213904B1 (ko) 2012-12-20
CN101815224A (zh) 2010-08-25
CN102231835B (zh) 2013-04-17
CN101218830A (zh) 2008-07-09
KR20080034131A (ko) 2008-04-18
KR101037855B1 (ko) 2011-05-31
KR20100020984A (ko) 2010-02-23
RU2506714C1 (ru) 2014-02-10
KR100957754B1 (ko) 2010-05-12
KR101217400B1 (ko) 2013-01-02
CN102231835A (zh) 2011-11-02
CA2610276C (en) 2013-01-29
HK1162791A1 (en) 2012-08-31

Similar Documents

Publication Publication Date Title
WO2007010690A1 (ja) 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法、画像符号化プログラム、画像復号プログラム、ならびに画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体、画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体
JP5296679B2 (ja) 画像復号装置および画像復号方法
US8488889B2 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US8509551B2 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recording with image encoding program and computer readable recording medium recorded with image decoding program
RU2502216C2 (ru) Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения
US20090123066A1 (en) Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
US20090034857A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080123947A1 (en) Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein
US20080165849A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080123977A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080137744A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130989A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130990A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130988A1 (en) Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
WO2011125313A1 (ja) 動画像符号化装置および動画像復号装置
WO2011125314A1 (ja) 動画像符号化装置および動画像復号装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680025140.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2006551668

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006757388

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2610276

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 5700/CHENP/2007

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 1020087001610

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2008106777

Country of ref document: RU

WWE Wipo information: entry into national phase

Ref document number: 11912680

Country of ref document: US

ENP Entry into the national phase

Ref document number: PI0611672

Country of ref document: BR

WWE Wipo information: entry into national phase

Ref document number: 1020097027351

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 1020107013666

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 1020107028571

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 1020117021863

Country of ref document: KR