WO2007034601A1 - 画像符号化方法および画像復号方法、画像符号化装置および画像復号装置、並びに画像符号化ビットストリーム及び記録媒体 - Google Patents

画像符号化方法および画像復号方法、画像符号化装置および画像復号装置、並びに画像符号化ビットストリーム及び記録媒体 Download PDF

Info

Publication number
WO2007034601A1
WO2007034601A1 PCT/JP2006/312248 JP2006312248W WO2007034601A1 WO 2007034601 A1 WO2007034601 A1 WO 2007034601A1 JP 2006312248 W JP2006312248 W JP 2006312248W WO 2007034601 A1 WO2007034601 A1 WO 2007034601A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
encoding
data
unit
color
Prior art date
Application number
PCT/JP2006/312248
Other languages
English (en)
French (fr)
Inventor
Shunichi Sekiguchi
Yoshimi Moriya
Kazuo Sugimoto
Yoshihisa Yamada
Kohtaro Asai
Tokumichi Murakami
Yuuichi Idehara
Original Assignee
Mitsubishi Electric Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US11/912,563 priority Critical patent/US8320462B2/en
Priority to KR1020117010050A priority patent/KR101139138B1/ko
Application filed by Mitsubishi Electric Corporation filed Critical Mitsubishi Electric Corporation
Priority to JP2006541534A priority patent/JP4964595B2/ja
Priority to BRPI0611668-0A priority patent/BRPI0611668B1/pt
Priority to KR1020107017551A priority patent/KR101099865B1/ko
Priority to EP06766912.7A priority patent/EP1928184B1/en
Priority to CN200680025228XA priority patent/CN101218831B/zh
Priority to CA 2623297 priority patent/CA2623297C/en
Publication of WO2007034601A1 publication Critical patent/WO2007034601A1/ja
Priority to US11/980,512 priority patent/US8300694B2/en
Priority to US11/980,422 priority patent/US20080130740A1/en
Priority to US11/980,533 priority patent/US20080123737A1/en
Priority to US11/980,521 priority patent/US8306112B2/en
Priority to US11/980,518 priority patent/US20080137732A1/en
Priority to US11/980,527 priority patent/US8165392B2/en
Priority to US11/980,402 priority patent/US8300700B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • Image encoding method image decoding method, image encoding device, image decoding device, image encoding bitstream, and recording medium
  • the present invention relates to an image encoding method and apparatus for performing compression processing on an input image signal composed of a plurality of color components, and a bitstream obtained by compressing an image signal composed of a plurality of color components.
  • the present invention relates to an image decoding method and apparatus for performing processing, an image encoded bit stream, and a recording medium.
  • the 4: 2: 0 format converts RGB color image signals into a luminance component (Y) and two color difference components (CB, CR), and sets the number of samples of the luminance component relative to the number of luminance component samples. This is a format that has been cut in half in both the horizontal and vertical directions. Because of the human visual characteristics, the color difference component is less visible than the luminance component, so the conventional international standard video encoding method encodes the code by reducing the number of sampled components of the color difference component before encoding. The premise was to reduce the amount of information targeted.
  • the conventional 4: 2: 0 format is premised on down-sampling of the color difference component, and is limited to Y, CB, CR, and only in the color space, whereas the 4: 4: 4 format. Since there is no distinction of the sample ratio between the color components, it is possible to directly use R, G, B in addition to Y, CB, CR, or define and use that power color space It is.
  • Non-patent literature l ISO / lEC 14496-10
  • the macro block is similar to the conventional coding scheme. It is necessary to perform encoding processing and decoding processing for each unit.
  • AVC defines a 4: 0: 0 format. This is originally intended for encoding only an image with only a luminance component, that is, a monochrome image.
  • a 4: 0: 0 format each of the three color components in the 4: 4: 4 format is encoded in the 4: 0: 0 format, so that three independent code data are obtained.
  • one access unit is defined as one picture (corresponding to one frame or one field). Access unit boundaries can be indicated using access unit delimiters (AUD). For example, in the case of AVC Baseline profile, an access unit delimiter is placed at the boundary of each picture. Therefore, by detecting the access unit delimiter, one access unit can be taken out independently and easily, and data for one picture can be decoded.
  • AUD access unit delimiters
  • the encoding process is performed for each of the three color components in the 4: 4: 4 format using the 4: 0: 0 format.
  • An image coding method is an image coding method in which compression processing is performed on an input image signal having a plurality of color component powers, and the input image signal of each color component is independently coded. Coded data obtained by performing processing and a parameter indicating which color component the encoded data is for are multiplexed in a bitstream.
  • the image decoding method of the present invention in the image decoding system in which a decoding process is performed by inputting a bit stream in which an image signal composed of a plurality of color components is compressed, the coded data for any color component It is characterized in that the coding data of each color component is decoded using a parameter indicating whether or not.
  • the image encoding device can convert an input image signal including a plurality of color components.
  • the coded data obtained by independently coding the input image signal of each color component, and for which color component data the coded data corresponds to And multiplexing means for multiplexing the parameter indicating whether or not to the bitstream.
  • the image decoding device is an image decoding device that performs decoding processing by inputting a bitstream in which an image signal composed of a plurality of color components is compressed. It has a detecting means for detecting a parameter indicating whether or not.
  • the image encoded bitstream according to the present invention is a bitstream generated as a result of compression encoding an input image signal composed of a plurality of color components, and the compressed data of the image signal of each color component It is configured in units of slices, and a parameter indicating which color component includes compressed data in the slice data is multiplexed in the header area of the slice.
  • the recording medium according to the present invention is a bit stream generated as a result of compression-coding an input image signal composed of a plurality of color components, and the compression data of the image signal of each color component is a slice unit. And an encoded image bit stream in which a parameter indicating whether to include the slice data key and compressed data of a shifted color component is recorded in the header area of the slice.
  • FIG. 1 is a diagram in which a part related to the present invention is extracted from the syntax of a code bit stream generated by an image coding apparatus of the present invention.
  • FIG. 3 is an explanatory diagram in which data of all color components constituting one picture is included in one access unit (AU) between AUD and AUD.
  • FIG. 4 is an explanatory diagram in which color component data is delimited by a delimiter and arranged for each color component in one access unit.
  • FIG. 5 An explanatory diagram for switching between 4: 0: 0 format and 4: 4: 4 format encoding modes in arbitrary units.
  • FIG. 7 is an explanatory diagram of the independent encoding process in the seventh embodiment of the present invention.
  • FIG. 8 is a diagram showing a temporal motion prediction reference relationship between pictures in the encoding device * decoding device according to Embodiment 7 of the present invention.
  • FIG. 9 A diagram showing an example of the structure of a bitstream generated by the coding apparatus according to the seventh embodiment of the present invention and subjected to input / decoding processing by the decoding apparatus.
  • FIG. 10 is a diagram showing a bit stream configuration of slice data in each of common encoding processing and independent encoding processing in Embodiment 7 of the present invention.
  • FIG. 11 A block diagram showing a schematic configuration of the coding apparatus according to Embodiment 7 of the present invention.
  • FIG. 13 is a block diagram showing an internal configuration of the first picture encoding unit 102 shown in FIG. 14]
  • FIG. 14 is a block diagram showing the internal configuration of the second picture encoding unit 104 shown in FIG. 15] It is a block diagram showing a schematic configuration of a decoding apparatus according to Embodiment 7 of the present invention.
  • FIG. 16 is a block diagram showing an internal configuration of the first picture decoding unit 302 shown in FIG. 17] is a block diagram showing an internal configuration of the second picture decoding unit 304 shown in FIG. 18]
  • FIG. 18 is a block diagram showing a modified example of the sign key device shown in FIG.
  • FIG. 19 is a block diagram showing another modification of the encoding device shown in FIG.
  • FIG. 19 is a block diagram showing a decoding device corresponding to the encoding device shown in FIG.
  • FIG. 21] is a block diagram showing a decoding device corresponding to the encoding device shown in FIG.
  • FIG. 22 is a diagram illustrating a configuration of encoded data of macroblock header information included in a conventional YUV4: 2: 0 format bit stream.
  • FIG. 23 is a diagram illustrating an internal configuration of a prediction unit 311 of a first picture decoding unit 302 that ensures compatibility with a conventional YUV4: 2: 0 format bitstream.
  • FIG. 24 is a diagram showing another example of a bitstream structure.
  • FIG. 25 is a diagram showing still another example of the bitstream structure.
  • FIG. 1 is a diagram in which a portion related to the present invention is extracted from the syntax of the code bit stream generated by the image coding apparatus of the present invention.
  • (a) is the NAL (Network Abstraction Layer) unit header information syntax
  • (b) is the SPS (Sequence Parameter Set) syntax
  • (c) is the PPS (Picchiano Parameter Set) syntax
  • (d) is the syntax of the slice header. Except for the shaded part, the syntax is defined by the existing AVC standard, and the shaded part is the force defined by the existing AVC standard. The syntax is not defined in the VC standard and is newly added by the present invention.
  • nal_ref_idc of the NAL unit is a parameter indicating whether or not the data of the NAL unit is image data used for prediction reference.
  • Nal_unit_type is a parameter that indicates whether the data of the NAL unit is a slice data, SPS, PPS, or access unit delimiter (AUD).
  • SPS profilejdc indicates the profile of the coding sequence
  • AVC defines the baseline, main, high, high 444, and the like.
  • seq_paremeter_set_id indicates the SPS ID. Multiple SPS are defined in one coding sequence and each is managed by the ID.
  • chroma_for maUdc is used only for the high 444 profile, and the coding sequence is 4: 0: 0, 4: 2: 0, 4: 2: 2, 4: 4: 4. This parameter indicates whether the format is [0025]
  • PPS pic_paremter_set_id indicates the ID of the PPS, and a plurality of PPSs are defined in one code sequence and each is managed by the ID. Seq_paremeter_set_id in the PPS is a parameter indicating which SPS this PPS belongs to.
  • first_mb_in_slice of the slice header is a parameter indicating where in the screen the first macroblock data of the slice data is.
  • the slice_type pe is a parameter indicating whether the slice data is intra-frame coding, unidirectional predictive coding, or bi-predictive coding.
  • pi parameter_set_id is a parameter indicating which PPS the slice data force S belongs to.
  • a profilejdc is provided with data indicating that it is a process that independently encodes the data of three color components using the 4: 0: 0 format, and the slice header shown in FIG.
  • a new colourjd parameter is provided to indicate which of the three color components the encoded data contained in the slice data is.
  • the parameter colourjd may be defined as shown in FIG.
  • colourjd 0
  • colour_id 0
  • each parameter is indicated using a parameter indicating which color component is the encoded data.
  • the ability to easily decode the color component encoded data can be achieved.
  • the data of three color components are included in one access unit, the data of three color components are simultaneously encoded as an IDR (Instantaneous Devoding Refresh) picture.
  • IDR Intelligent Devoding Refresh
  • An IDR picture is defined by AVC, and is a picture that enables normal decoding processing immediately from an IDR picture and can be used as the head of random access playback. It is provided.
  • the power that puts the code data of three color components in one access unit As in the first embodiment, the power that puts the code data of three color components in one access unit.
  • the first embodiment shown in FIG. , B, G) are arranged in order, but as shown in Fig. 4, it is also possible to arrange the color components such as R, B, and G together. Furthermore, it is also possible to adopt a configuration in which only the color components of a specific color component can be easily extracted by inserting “Delimiter” that is not defined in the current AVC.
  • the same effect as in the first embodiment can be obtained by inserting a parameter indicating a color component in a part of the NAL unit instead of colourjd of the slice header.
  • the slice header and the slice data that follows the slice header are defined as the payload of the NAL unit. Therefore, the nal_unit_type parameter of the NAL unit is expanded and included in the NAL unit payload in this parameter.
  • Video data force Shows which color component it is. Furthermore, by including the data of the three color components in one access unit (AU), all data composing one picture is inserted between AUD and AUD.
  • a constraint is set so that the same value is always set for the flrs t_mb_in_slice parameter of the slice header in which data of three color components are encoded.
  • the first_mb_in_slice parameter indicates where in the screen the position of the top data of the slice data is.
  • the slice structure can take any form, and therefore, the slice structure can be different for each color component.
  • the slice structure can be different for each color component.
  • a constraint is set so that the slice_type parameter of the slice header of each color component always has the same value.
  • the slice_type parameter indicates whether the slice data following the slice header is intra-frame coding, unidirectional prediction coding, bi-prediction coding, or the like. Intraframe coding does not use interframe prediction processing, so decoding and display processing can be performed immediately.
  • the encoding type is made common to all the color components, and the same encoding process is performed, so that the decoding apparatus performs intra-frame encoding during random access reproduction.
  • Decoding and display processing can be performed at high speed by performing decoding processing on only the slice of cocoon.
  • the 4-format encoding mode can be switched in arbitrary units.
  • the force is described as switching between the pictures in units of pictures.
  • switching can be performed in units of slices by the same processing.
  • AVC which is an international standard for moving picture coding
  • the macroblock header according to the seventh embodiment includes a macroblock type 'sub-macroblock type, coding such as intra prediction mode, prediction mode information, reference image identification number', motion prediction information such as motion vector, and transform coefficient. It shall include macroblock overhead information other than conversion coefficient data, such as quantization parameters, conversion block size indication flags, and effective conversion coefficient presence / absence determination flags in units of 8 x 8 blocks.
  • a process of encoding three color component signals in one frame with a common macroblock header is referred to as “common encoding process”, and the process of encoding the three color component signals of one frame with individual independent macroblock headers is referred to as “independent encoding process”.
  • the process of decoding frame image data from a bit stream in which three color component signals in one frame are encoded with a common macroblock header is called “common decoding processing”, and three color component signals in one frame
  • the process of decoding frame image data from a bitstream encoded with an individual independent macroblock header is referred to as an “independent decoding process”.
  • the input video signal for one frame is a common code in which three color components of CO component, C1 component, and C2 component are combined. Divide into macroblocks to be encoded.
  • the input video signal for one frame is separated into three color components, CO component, C1 component, and C2 component, and these are divided into macro blocks consisting of a single color component In other words, it is divided into macroblocks subject to independent code processing for each CO component, C1 component, and C2 component.
  • the macroblock that is the target of the common encoding process includes samples of three color components C0, Cl, and C2, but the macroblock that is the target of the independent encoding process is CO, C1, or C2. Any force of an ingredient Contains only one ingredient sample.
  • FIG. 8 shows the temporal motion prediction reference relationship between pictures in the coding apparatus according to the seventh embodiment and the decoding apparatus.
  • a data unit indicated by a thick vertical bar is a picture
  • a relationship between a picture and an access unit is indicated by a surrounding dotted line.
  • one picture is data representing a video signal for one frame in which three color components are mixed.
  • one picture is one of the colors.
  • the video signal is one frame of the component.
  • An access unit is a minimum data unit that gives a time stamp for the purpose of synchronization with audio 'audio information etc.' to a video signal.
  • one access unit Contains data for one picture.
  • arrows between pictures indicate reference directions for motion prediction. That is, in the case of independent coding and decoding processing, motion prediction reference between pictures included in the same access unit and motion prediction reference between different color components are not performed, and each color of C0, Cl, C2 is assumed. Encoding / decoding is performed while predicting and referencing component pictures to signals of the same color component.
  • encoding of each color component' decoding is completely dependent on encoding of other color components' decoding processing. It can be executed without the need for parallel processing.
  • AVC itself performs intra coding and is also referred to for motion compensated prediction. Since IDR pictures can be decoded without depending on any other pictures, they are used as random access points.
  • identification information indicating whether encoding by common encoding processing or encoding by independent encoding processing has been performed corresponding to inter prediction mode common identification flag and macroblock header common identification flag
  • this information is referred to as a common coding 'independent coding identification signal'.
  • FIG. 9 shows an example of the structure of a bitstream that is generated by the encoding apparatus of the seventh embodiment and is subjected to input “decoding processing” by the decoding apparatus of the seventh embodiment.
  • This figure shows the bit stream configuration from the sequence to the frame level.
  • the common header code and independent code are added to the sequence level upper header (such as SPS (sequence parameter set) in the case of AVC).
  • the identification signal is multiplexed.
  • Individual frames are encoded in units of access units.
  • AUD is an Access Unit Delimiter NAL unit that is a unique NAL unit for identifying breaks in access units in AVC.
  • the access unit includes coded data for one picture.
  • the picture at this time is data representing a video signal for one frame in which three color components are mixed as described above.
  • the encoded data of the i-th access unit is configured as a set of slice data Slice (i, j). j is the index of slice data in one picture.
  • the common coding 'independent coding identification signal indicates "picture coding by independent coding processing"
  • one picture is a video signal for one frame of four color components.
  • the encoded data of the ⁇ -th access unit is configured as a set of q-th picture slice data Slice (p, q, r) in the access unit.
  • r is an index of slice data in one picture.
  • q is 0, 1, or 2.
  • additional data such as transparency information for alpha blending is encoded and decoded as the same access unit, or four or more color components (for example, Q> 3 can be handled when encoding / decoding video signals composed of YMCK used for color printing).
  • the encoding device and decoding device encodes each color component constituting the video signal completely independently if the independent encoding process is selected. It is possible to freely change the number of color components without changing the processing. In the future, even if the signal format for expressing the color of the video signal is changed, there is an effect that it can be handled by the independent encoding processing in the seventh embodiment.
  • the common coding 'independent code' identification signal is included in “one access unit, and each does not make motion prediction reference to each other”.
  • the number of pictures that are encoded independently is included in “one access unit, and each does not make motion prediction reference to each other”.
  • the decoding device can decode and refer to num_pictures_in_au as much as possible to distinguish between encoded data by the common encoding process and encoded data by the independent encoding process. It is possible to know how many single-color component pictures exist in the access unit at the same time, and it is possible to cope with the expansion of color expression of future video signals, and common code processing and independent code processing Can be handled seamlessly in the bitstream.
  • FIG. 10 shows a bit stream configuration of slice data in each of the common encoding process and the independent encoding process.
  • the slice data received by the decoding device can be identified to which color component picture in the access unit.
  • the color component identification flag (color_channel_idc) is assigned to the header area at the beginning of the slice data.
  • Color_channel_idc groups slices having the same value. In other words, between coding slices with different color.channel_idc values, there is any coding / decoding dependency (for example, motion prediction reference, context modeling of CAB AC (Context-Adaptive Binary Arithmetic Coding), occurrence probability learning, etc.) Shall not. Note that color_channel_idc is the same as the color_id in the first embodiment shown in FIG. 1 (d) and has the same semantic information.
  • the frame_num (encoding / decoding order of the picture to which the slice belongs) multiplexed in each slice header is the same value for all color component pictures in one access unit.
  • FIG. 11 shows a schematic configuration of the encoding apparatus according to the seventh embodiment.
  • the common encoding process is executed in the first picture encoding unit 102
  • the independent encoding process is executed in the second picture encoding unit 104 (preparing three color components).
  • the input video signal 1 is supplied by the switch (SW) 100 to either the first picture code section 102, the color component separation section 103, or the second picture code section 104 for each color component.
  • the switch 100 is driven by the common coding 'independent coding identification signal 101 and supplies the input video signal 1 to the designated path.
  • the common coding / independent coding identification signal (num_picturesjn_au) 101 is multiplexed into the sequence parameter set when the input video signal is in the 4: 4: 4 format, and the common coding is performed in sequence units. A case where a signal for selecting processing and independent coding processing is used will be described.
  • the decoding apparatus side needs to execute the common decoding process
  • the independent encoding process is used, the decoding apparatus side needs to execute the independent decoding process.
  • the encoded 'independently encoded identification signal 101 needs to be multiplexed on the bitstream as information specifying it. Therefore, the common encoding / independent encoding identification signal 101 is input to the multiplexing unit 105.
  • the multiplexing unit of this common coding 'independent code' identification signal 101 can be any higher layer than a picture, such as a record in a sequence or a GOP (Group Of Pictures) unit consisting of several pictures. It can be a simple unit.
  • first picture encoding section 102 divides input video signal 1 into macroblocks of a format in which samples of three color components are combined as shown in FIG. Then, the sign key processing is advanced in that unit. The encoding process in the first picture code unit 102 will be described later.
  • the input video signal 1 is separated into data for one frame of CO, Cl, and C2 by the color component separating unit 103, and the corresponding second picture encoding unit 104 is supplied.
  • the second picture encoding unit 104 divides the signal for one frame separated for each color component into macroblocks of the format shown in FIG. 7, and advances the encoding process in units thereof.
  • the code key processing in the second picture code key section will be described later.
  • a video signal for one picture composed of three color components is input to the first picture encoding unit 102, and the encoded data is output as a bit stream 133.
  • the second picture encoding unit 104 receives a picture signal for one picture composed of a single color component, and the encoded data is output as bit streams 233a to 233c.
  • bit streams are multiplexed into the format of the bit stream 106 by the multiplexing unit 105 based on the state of the common encoding / independent encoding identification signal 101 and output. That is, The multiplexing unit 105 includes encoded data obtained by independently encoding the input image signals of the respective color components, and a parameter indicating the force that the encoded data is for which color component data. And multiplex it into a bitstream.
  • bit stream 106 When the bit stream 106 is multiplexed, in the access unit in the case of independent encoding processing, the multiplexing order and transmission order in the bit stream of slice data are determined according to the picture (each color component) in the access unit. Interleaving is possible.
  • FIG. 12 shows a case (a) where slice interleaving is not possible in the access unit and a case (b) where slice interleaving is possible.
  • slice interleaving is not possible (a)
  • the C 1 component picture data cannot be multiplexed into the bitstream until the CO component encoding is completed.
  • the C2 component picture data is completed with the CO and C1 component codes.
  • slice interleaving is possible (b)
  • the C1 component can be multiplexed immediately if one slice of the CO component is multiplexed into the bitstream, and the C2 component can be , If one slice of the C1 component is multiplexed into the bitstream, it can be multiplexed immediately.
  • the color component identification flag multiplexed as shown in Fig. 10 is used in the header area at the beginning of the slice data. Note that the concept of slice interleaving in FIG. 12 described here is equivalent to the concept disclosed in FIG.
  • one picture can be divided into a plurality of slice data and encoded, and the slice data length and the number of macroblocks included in the slice can be flexibly changed according to the encoding condition. Can be made.
  • the encoding apparatus can reduce the transmission buffer size required for transmission, that is, the processing delay on the encoding apparatus side.
  • FIG. 11 shows the situation. If multiplexing of slice data across pictures is not allowed, the encoding device needs to buffer the encoded data of other pictures until the encoding of the picture of a specific color component is completed. is there. This means that there is a delay at the picture level.
  • the picture coding unit of a specific color component outputs the coded data to the multiplexing unit in units of slice data. And delay can be suppressed.
  • the slice data included in the picture may be transmitted in the raster scan order of the macroblocks, so that interleave transmission is possible even within one picture. It may be configured.
  • FIG. 13 shows the internal configuration of the first picture code key unit 102.
  • the input video signal 1 is input in a 4: 4: 4 format and in units of macroblocks in which three color components in the format of FIG. 6 are combined.
  • the prediction unit 110 selects a reference image from the motion compensated prediction reference image data stored in the memory 111, and the motion compensated prediction process is performed in units of the macroblock.
  • the memory 111 stores a plurality of reference image data composed of three color components over a plurality of times, and the prediction unit 110 selects an optimum reference image in units of macroblocks from these. Perform motion prediction.
  • the arrangement of the reference image data in the memory 111 may be stored separately in the frame order for each color component, or the samples of each color component may be stored in the dot order. Seven types of block sizes for motion compensation prediction are prepared. First, any of 16X16, 16X8, 8X16, and 8X8 can be selected for each macroblock. In addition, when 8X8 is selected, it is possible to select the size of the 8X8, 8X4, 4X8, and 4X4 displacement force for each 8X8 block.
  • the prediction unit 110 all or some block sizes of 16X16, 16X8, 8X16, 8X8 ⁇ sub-block sizes of 8X8, 8X4, 4X8, 4X4, and motion vector and a predetermined search range
  • the motion compensation prediction process is executed for each macroblock on one or more available reference images, and the motion compensation prediction unit and the motion compensation prediction unit are determined by the motion image and the reference image identification information 112 used for prediction and the subtractor 113. To obtain the prediction difference signal 114 for each block
  • the prediction difference signal 114 is evaluated by the sign key mode determination unit 115, and the prediction efficiency thereof is evaluated. Among the prediction processes executed by the prediction unit 110, an optimal prediction for the macroblock to be predicted is performed.
  • the macro block type / sub macro block type 116 and the motion vector / reference image identification information 112 that can obtain the efficiency are output.
  • Macroblock header information such as macroblock type, sub-macroblock type, reference image index, and motion vector are all determined as common header information for the three color components, used for encoding, and bitstream Is multiplexed.
  • the prediction unit 110 When evaluating the optimality of prediction efficiency, only the prediction error amount for a given color component (eg, G component in RGB, Y component in YUV, etc.) is evaluated for the purpose of reducing the amount of computation. Alternatively, the calculation amount may be large, but the prediction error amount for all color components may be comprehensively evaluated in order to obtain optimum prediction performance. In selecting the final macroblock type / sub-macroblock type 116, a weighting factor 118 for each type determined by the determination of the encoding control unit 117 may be taken into account. [0102] Similarly, the prediction unit 110 also performs intra prediction. During intra prediction execution, intra prediction mode information is output as the signal 112.
  • intra prediction mode information is output as the signal 112.
  • the output signal 112 collectively refers to intra prediction mode information, motion vector information, and reference image identification number as prediction overhead information.
  • intra prediction the prediction error amount for only a predetermined color component may be evaluated, or the prediction error amount for all color components may be comprehensively evaluated.
  • the coding mode determination unit 115 selects whether the macroblock type is to be used for intra prediction and inter prediction by evaluating the prediction efficiency or the coding efficiency.
  • the prediction difference signal 114 obtained by the intra prediction / motion compensation prediction based on the selected macroblock type / sub-macroblock type 116 and the prediction overhead information 112 is output to the conversion unit 119.
  • the conversion unit 119 converts the input prediction difference signal 114 and outputs it as a conversion coefficient to the quantization unit 120.
  • the size of the block that is the unit for conversion can be selected from 4 X 4 force 8 X 8 and displacement force.
  • the transform block size can be selected, the block size selected at the time of encoding is reflected in the value of the transform block size designation flag 134, and the flag is multiplexed into the bit stream.
  • the quantization unit 120 performs quantization on the input transform coefficient based on the quantized parameter 121 determined by the coding control unit 117, and sets the quantized transform coefficient 122 as a variable-length coding unit. Output to 123.
  • the quantized transform coefficient 122 includes information for three color components, and is entropy-encoded by the variable length encoding unit 123 by means such as Huffman code or arithmetic code.
  • the quantized transform coefficient 122 is restored to the local decoded prediction differential signal 126 via the inverse quantization unit 124 and the inverse transform unit 125, and is predicted as the selected macroblock type / sub-macroblock type 116.
  • a local decoded image 129 is generated.
  • the locally decoded image 129 is stored in the memory 111 for use in the subsequent motion compensation prediction process after the block distortion removal process is performed by the deblocking filter 130.
  • the variable length coding unit 123 also receives a deblocking filter control flag 131 indicating whether or not to apply a deblocking filter to the macroblock.
  • the quantized transform coefficient 122, the macroblock type / sub-macroblock type 116, the prediction overhead information 112, and the quantization parameter 121 input to the variable length coding unit 123 are bitstreams according to a predetermined rule (syntax). 6 is output to the transmission buffer 132 as encoded data that is NAL-unitized in units of slice data in which one or a plurality of macroblocks in the format of FIG.
  • the transmission buffer 17 smoothes the bit stream according to the bandwidth of the transmission path to which the encoding device is connected and the reading speed of the recording medium, and outputs it as a video stream 133. Further, feedback is applied to the code key control unit 117 according to the bit stream accumulation state in the transmission buffer 133, and the generated code amount in the subsequent video frame encoding is controlled.
  • the output of the first picture coding unit 102 is a slice of a unit in which three components are grouped, and is equivalent to a code amount in a unit in which access units are grouped. You may arrange
  • first picture coding section 102 in Embodiment 7 all slice data in a sequence is CO, CI, C2 mixed slices (ie, 3 slices) based on common coding 'independent coding identification signal 101'. Therefore, the color component identification flag is not multiplexed in the slice header.
  • FIG. 14 shows the internal configuration of the second picture code key unit 104.
  • the explanation in Fig. 1 of 557769JP03 is used to create the explanatory text in Fig. H.
  • Fig. H There are places where the figure number remains as in Fig. 1.
  • an input video signal la is input in units of macroblocks composed of samples of a single color component in the format of FIG.
  • the prediction unit 210 selects a reference image from the motion compensated prediction reference image data stored in the memory 211, and performs motion compensation prediction processing in units of the macroblock.
  • Memory 211 has a key point of encoding single color components over multiple times. The difference in appearance between Figure H and Figure I is the number of memory 16 faces.
  • a plurality of pieces of reference image data composed of the above can be stored, and the prediction unit 210 selects an optimum reference image from among these in units of macro blocks and performs motion prediction.
  • the memory 211 may be shared with the memory 111 in units of three color components. . There are seven types of block sizes for motion compensation prediction. First, any of 16X16, 16X8, 8X16, and 8X8 can be selected for each macroblock. Furthermore, when 8X8 force S is selected, any of 8X8, 8X4, 4X8, and 4X4 sizes can be selected for each 8X8 block.
  • the prediction unit 210 all or some block sizes of 16X16, 16X8, 8X16, 8X8 ⁇ Subblock sizes of 8X8, 8X4, 4X8, 4X4, and motion vector and
  • the motion compensation prediction process is executed for each macroblock on one or more available reference images, and the motion vector and the index of the reference image used for prediction 212 and the subtracter 213 are used as a motion compensated prediction unit.
  • the prediction difference signal 214 for each block is obtained.
  • the prediction efficiency of the prediction difference signal 214 is evaluated by the sign key mode determination unit 215, and the optimal prediction efficiency is obtained for the macroblock to be predicted from the prediction processing executed by the prediction unit 210.
  • the macro block type / sub-macro block type 216 and the motion vector reference image index 212 are output. Macro block header information such as macro block type, sub macro block type, reference image index, and motion vector are all determined as header information for a single color component signal of the input video signal la, used for encoding, and bit. Multiplexed into a stream.
  • the prediction unit 210 also executes intra prediction.
  • the prediction unit 110 is a block that executes both intra and inter prediction.
  • intra prediction mode information is output to the signal 212.
  • the signal 212 is referred to as prediction overhead information, particularly when intra prediction and motion compensation prediction are not distinguished.
  • prediction overhead information particularly when intra prediction and motion compensation prediction are not distinguished.
  • the macro block type is selected based on the prediction efficiency or coding efficiency based on the ability to make intra prediction and whether to use inter prediction.
  • the selected macro block type / sub macro block type 216 and the prediction difference signal 214 obtained from the prediction overhead information 212 are output to the conversion unit 219.
  • the conversion unit 219 converts the input prediction difference signal 214 for a single color component, and outputs it to the quantization unit 220 as a conversion coefficient.
  • the block size as a unit for conversion may be selected from 4 ⁇ 4 force and 8 ⁇ 8 force.
  • the block size selected at the time of encoding is reflected in the value of the transform block size designation flag 234, and the flag is multiplexed into the bit stream.
  • the quantization unit 220 quantizes the input transform coefficient based on the quantization parameter 221 determined by the coding control unit 217, and the variable-length coding unit 223 as the quantized transform coefficient 222. Output to.
  • the quantized transform coefficient 222 includes information for a single color component, and is entropy-encoded by the variable length encoding unit 223 by means such as a Huffman code or an arithmetic code.
  • the quantized transform coefficient 222 is restored to the local decoded prediction differential signal 226 via the inverse quantization unit 224 and the inverse transform unit 225, and the selected macroblock type / sub-macroblock type 216 and the prediction overhead are restored.
  • a locally decoded image 229 is generated.
  • Locally decoded image 229 is stored in memory 211 for use in subsequent motion compensation prediction processing after block distortion removal processing is performed by deblocking filter 230.
  • the variable length coding unit 223 determines whether or not to apply a deblocking filter to the macroblock.
  • the quantized transform coefficient 222, the macroblock type / sub-macroblock type 216, the prediction overhead information 212, and the quantization parameter 221 input to the variable length coding unit 223 are a bit stream according to a predetermined rule (syntax). 7 is output to the transmission buffer 232 as encoded data that is NAL-unitized in units of slice data in which one or a plurality of macroblocks in the format of FIG.
  • the transmission buffer 232 smoothes the bit stream according to the bandwidth of the transmission path to which the encoding device is connected and the reading speed of the recording medium, and outputs it as a video stream 233. Also, depending on the bitstream accumulation status in the transmission buffer 232, the code control unit 217 Apply feedback to control the amount of generated code in subsequent video frame encoding
  • the output of the second picture encoding unit 104 is a slice consisting only of data of a single color component, and when it is necessary to control the amount of code in units in which access units are combined, A multiplexing transmission unit 105 may be provided with a common transmission buffer in a unit in which slices of all color components are multiplexed, and feedback may be applied to the encoding control unit 217 for each color component based on the occupied amount of the buffer. Good.
  • the encoding control may be performed using only the generated information amount of all the color components, or the encoding control may be performed in consideration of the state of the transmission buffer 232 of each color component. May be.
  • a function equivalent to transmission buffer 232 is realized by a common transmission buffer in multiplexing section 105, and transmission buffer 232 is omitted. You can also take
  • second picture coding section 104 in Embodiment 7 all slice data in the sequence is converted into a single color component slice (ie, CO slice) by common coding 'independent coding identification signal 101'. Or C1 slice or C2 slice), the color component identification flag is always multiplexed in the slice header, and the decoding device can identify which slice corresponds to which picture data in the access unit. To do so.
  • each second picture encoding unit 104 can transmit the data from one transmission buffer 232 when data for one slice is accumulated without accumulating the output from each transmission buffer 232 for one picture.
  • the first picture encoding unit 102 and the second picture encoding unit 104 handle macroblock header information as information common to three components or information as a single color component. The only difference is the bit stream configuration of the slice data. Many of the basic processing blocks such as the prediction unit and transform unit 'inverse transform unit, quantization unit' dequantization unit, and deblocking filter in Fig. 13 and Fig. 14 are combined with the information of the three color components. It can also be realized by a common functional block in the first picture coding unit 102 and the second picture coding unit 104, only by the difference in processing power and handling only information of a single color component. . Therefore, various coding apparatus implementations can be realized by appropriately combining the basic components shown in FIG. 13 and FIG.
  • the configuration of the reference picture storage memory is configured by the first picture encoding unit 102 and the second picture encoding unit. Can be shared with 104.
  • a virtual stream buffer (encoded picture buffer) that buffers the video stream 106 according to the arrangement of Figs. Assuming the existence of a virtual frame memory (decoded picture buffer) for buffering the decoded images 313a and 313b, it is possible to prevent the overflow of the encoded picture buffer, the underflow, and the failure of the decoded picture buffer Video stream
  • This control is mainly performed by the encoding control units 117 and 217.
  • the operation of the coded picture buffer is performed in units of access units.
  • one access unit when performing common decoding processing, one access unit includes encoded data for one picture, and when performing independent decoding processing, one access unit includes pictures for three color components (three components). If so, it contains 3 pictures) of encoded data.
  • the operations defined for the coded picture buffer are as follows: the time when the first bit and the last bit of the access unit are input to the code frame and the time when the bit of the access unit is read from the code frame It is. Note that reading from the coded picture buffer is defined to be performed instantaneously, and all bits of the access unit are read from the coded picture buffer at the same time.
  • bits of the access unit are read from the encoded picture buffer, they are input to the higher-order header analysis unit, and are decoded by the first picture decoding unit or the second picture decoding unit as described above. It is output as a color video frame bundled in units of access units. Note that the process from reading out bits from the coded picture buffer to outputting them as color video frames in units of access units is specified by the virtual buffer model. The above shall be done instantaneously.
  • a color video frame configured in units of access units is input to a decoded picture buffer, and an output time from the decoded picture buffer is calculated.
  • the output time from the decoded picture buffer is a value obtained by adding a predetermined delay time to the read time from the encoded picture buffer.
  • This delay time can be multiplexed with the bit stream to control the decoding apparatus.
  • the delay time is 0, that is, when the output time from the decoded picture buffer is equal to the read time from the code picture buffer, the color video frame is input to the decoding picture buffer and output from the decoded picture buffer at the same time.
  • the color video frame is stored in the decoded picture buffer until the output time from the decoded picture buffer is reached. Is done. As described above, the operation from the decoded picture buffer is defined for each access unit.
  • FIG. 15 shows a schematic configuration of the decoding apparatus according to the seventh embodiment.
  • the common decoding process is executed in the first picture decoding unit 302
  • the independent decoding process is executed in the color component determination unit 303 and the second picture decoding unit 304 (three color components are prepared). It is done.
  • the bit stream 106 is divided into NAL unit units by the upper header analysis unit 300, and the upper header information such as the sequence parameter set and the picture parameter set is decoded as it is, and the first header in the decoding device is decoded.
  • the picture decoding unit 302, the color component determination unit 303, and the second picture decoding unit 304 are stored in a predetermined memory area that can be referred to.
  • the common coding 'independent coding identification signal (num_pictures_in_au) multiplexed in sequence units is decoded' and held as part of the upper header information.
  • the color component determination unit 303 serves as a detection unit that detects a parameter indicating which color component is the encoded data, and is based on the value of the color component identification flag shown in FIG.
  • the slice NAL unit identifies which color component picture in the current access unit corresponds, and distributes it to the appropriate second picture decoding unit 304.
  • the internal configuration of first picture decoding section 302 is shown in FIG.
  • the first picture decoding unit 302 receives the bitstream 106 according to the arrangement of FIGS. 9 and 10 output from the encoder apparatus of FIG. 11 in units of C0, Cl, and C2 mixed slices, Decoding is performed in units of macroblocks consisting of the three color component samples shown, and the output video frame is restored.
  • Variable length decoding section 310 receives bit stream 106 as input, decodes bit stream 106 according to a predetermined rule (syntax), and is common to three components of quantized transform coefficient 122 and three components. Macro block header information (macro block type / sub-macro block type 116, prediction overhead information 112, transform block size designation flag 1 34, quantization parameter 121) is extracted. The quantized transform coefficient 122 is input together with the quantization parameter 121 to the inverse quantization unit 124 that performs the same processing as that of the first picture code unit 102, and the inverse quantization process is performed.
  • a predetermined rule syntax
  • Macro block header information micro block type / sub-macro block type 116, prediction overhead information 112, transform block size designation flag 1 34, quantization parameter 121
  • the quantized transform coefficient 122 is input together with the quantization parameter 121 to the inverse quantization unit 124 that performs the same processing as that of the first picture code unit 102, and the inverse quantization process is performed
  • the output is input to the inverse transform unit 125 that performs the same processing as that of the first picture code key unit 102, and restored to the local decoded prediction difference signal 126 (the transform block size designation flag 134 is a bit stream). If it exists in 106, it is referred to in the process of inverse quantization and inverse transform).
  • the prediction unit 311 includes only the process of generating the predicted image 127 with reference to the prediction overhead information 112 in the prediction unit 110 in the first picture encoding unit 102.
  • prediction overhead Information 112 is input and a predicted image 127 for three components is obtained.
  • the deblocking filter process is applied to the provisional decoded image 129 based on the instruction of the deblocking filter control flag 131 decoded by the variable length decoding unit 310.
  • the memory 312 stores a plurality of reference image data composed of three color components over a plurality of times.
  • the prediction unit 311 selects the reference image indicated by the reference image index extracted from the bitstream in units of macroblocks, and generates a predicted image.
  • the arrangement of the reference image data in the memory 312 may be stored in a frame sequential manner for each color component, or a sample of each color component may be stored in a dot sequential manner.
  • the decoded image 313 includes three color components and becomes a color video frame constituting the access unit 313a in the common decoding process as it is.
  • the internal configuration of second picture decoding section 304 is shown in FIG.
  • the second picture decoding unit 304 is a CO or C1 or C2 slice in which the bit stream 106 according to the arrangement of FIGS. 9 and 10 output from the encoding device of FIG. 11 is distributed by the color component determination unit 303.
  • Received in units of NAL unit 450 performs decoding processing in units of macroblocks consisting of single color component samples shown in Fig. 7, and restores output video frames.
  • variable length decoding unit 410 receives the bitstream 450, decodes the bitstream 450 according to a predetermined rule (syntax), and converts the quantized transform coefficients 222, And macroblock header information (macroblock type / submacroblock type 216, prediction overhead information 212, transform block size designation flag 234, quantization parameter 221) to be applied to a single color component.
  • a predetermined rule syntax
  • macroblock header information macroblock type / submacroblock type 216, prediction overhead information 212, transform block size designation flag 234, quantization parameter 221
  • the quantized transform coefficient 222 is input together with the quantization parameter 221 to the inverse quantization unit 224 that performs the same processing as that of the second picture encoding unit 104, and the inverse quantization process is performed.
  • the output is input to the inverse transform unit 225, which performs the same processing as the second picture code unit 104, and restored to the local decoded prediction difference signal 226 (the transform block size designation flag 234 is set to the bit stream 450). If it exists, it is referred to in the process of inverse quantization and inverse orthogonal transform).
  • the prediction unit 311 includes only the process of generating the predicted image 227 by referring to the prediction overhead information 212 in the prediction unit 210 in the second picture encoding unit 104, and includes the prediction unit 411.
  • the prediction unit 311 is only the process of generating the predicted image 227 by referring to the prediction overhead information 212 in the prediction unit 210 in the second picture encoding unit 104, and includes the prediction unit 411.
  • a prediction image 227 of a single color component is obtained from the prediction overhead information 212 according to the intra prediction mode information, and when indicating that the macroblock type is inter prediction.
  • the prediction image 227 having a single color component is obtained from the prediction overhead information 212 according to the motion vector and the reference image index.
  • Local decoded prediction difference signal 226 and predicted image 227 are added by adder 228 to obtain provisional decoded image 229 of a single color component macroblock. Since the provisional decoded image 229 is used for motion compensation prediction of the subsequent macroblock, the deblocking filter 230 that performs the same processing as that of the second picture code section 104 blocks the temporary decoded image sample of a single color component. After the distortion removal process is performed, the decoded image 451 is output and stored in the memory 412.
  • the deblocking filter process is applied to the provisional decoded image 229 based on the instruction of the deblocking filter control flag 231 decoded by the variable length decoding unit 410.
  • the decoded image 410 includes only a single color component sample, and is configured as a color video frame by bundling each output of the second picture decoding unit 304 to be processed in parallel in FIG. 15 into units of the access unit 313b. Is done.
  • the first picture decoding unit 302 and the second picture decoding unit 304 handle the macroblock header information as information common to the three components or a single color component.
  • Most of the basic decoding processing blocks such as motion compensation prediction processing, inverse transform, and inverse quantization in Figs. This can be realized by a functional block common to the first picture decoding unit 302 and the second picture decoding unit 304.
  • FIG. 16 and FIG. 16 are identical to each other [0160] Therefore, FIG. 16 and FIG.
  • Various decoding devices can be implemented by appropriately combining the 17 basic components. Although the specific device configuration cannot be described at this time, if the arrangement of the memory 312 in the first picture decoding unit 302 is arranged in the frame order, the configuration of the memory 312 and the memory 412 is the first. This can be shared by the first picture decoding unit 302 and the second picture decoding unit 304.
  • the decoding apparatus of FIG. 15 is, as another form of the encoding apparatus of FIG. 11, always fixed the common encoding 'independent encoding identification signal 3 to "independent encoding processing"
  • the decoder 301 may be configured as a decoding device that only performs independent decoding processing without the switch 301 or the first picture decoding unit 302. .
  • the first picture decoding unit 302 has three conventional YUVs (the luminance signal (Y), the difference between the luminance signal and the blue component (U), and the difference between the luminance signal and the red component (V)). Signals in a format that expresses colors in information) A bit stream that has a decoding function for AVC high-profile compliant bitstreams that are encoded together in a 4: 2: 0 format is provided.
  • the profile identifier to be decoded from 106 determines which format is used for the encoded bit stream, and switch the determination result as part of the signal information of the common encoding 'independent encoding identification signal 3' If the configuration transmitted to 301 and the first picture decoding unit 302 is taken, it is possible to configure a decoding device that ensures compatibility with a conventional YUV4: 2: 0 format bitstream. [0164] Note that in the first picture coding unit 102 according to the seventh embodiment, information on three color components is mixed in slice data, and exactly the same intra-inter prediction processing is performed on the three color components. Therefore, signal correlation between color components may remain in the prediction error signal space.
  • a color space conversion process may be performed on the prediction error signal.
  • An example of the first picture encoding unit 102 having such a configuration is shown in FIGS. 18 and 19 are the same as those in FIG. 13 except for the color space conversion unit and the inverse color space conversion unit.
  • FIG. 18 shows an example in which the color space conversion process is performed at the pixel level before the conversion process.
  • the color space conversion unit 150a is set before the conversion unit, and the reverse color space conversion unit 151a is set as the reverse conversion unit. Place after.
  • FIG. 19 shows an example of HHI proposal in which color space conversion processing is performed while appropriately selecting frequency components to be processed for coefficient data obtained after performing conversion processing.
  • the unit 150b is arranged after the conversion unit, and the inverse color space conversion unit 151b is arranged before the inverse conversion unit.
  • signaling information 152aa and 152b for determining selection at the time of encoding on the decoding side are multiplexed into a bitstream.
  • a plurality of conversion methods may be used by switching to a macroblock unit according to the property of the image signal to be encoded, or whether conversion is performed in units of macroblocks. You may comprise so that it may determine.
  • the types of conversion methods that can be selected can be specified at the sequence level, etc., and it can be configured to specify which one to select from among them, such as a picture, slice, or macro block. In addition, it may be configured so that it can be selected before or after the orthogonal transformation.
  • the encoding efficiency is evaluated by the encoding mode determination units 115 to 215 for all selectable options, and the encoding efficiency is the highest. Can be configured to select a higher one.
  • signaling information 152a and 152b for determining selection at the time of encoding on the decoding side are multiplexed into a bit stream. Such signaling may be specified at a different level than macroblocks, such as slices, pictures, GOPs, sequences, etc.
  • FIG. 20 and FIG. 21 show decoding apparatuses corresponding to the encoding apparatus in FIG. 18 and FIG. 20 and 21 are the same as those in FIG. 16 except for the inverse color space conversion unit.
  • FIG. 20 is a decoding device that decodes a bitstream encoded by color space conversion before the conversion processing by the encoding device of FIG.
  • the variable length decoding unit determines whether or not to perform conversion in the reverse color space conversion unit 151a from the bit stream, information on whether or not to convert, and a conversion method that can be executed in the reverse color space conversion unit.
  • the information 152aa to be selected is decoded and supplied to the inverse color space conversion unit 151a.
  • the inverse color space conversion unit 151a performs color space conversion processing on the prediction error signal after inverse conversion based on these pieces of information.
  • FIG. 21 is a decoding device that decodes a bitstream encoded by selecting the frequency component to be processed and performing color space conversion after the conversion processing by the encoding device of FIG. .
  • the variable length decoding unit selects information on whether or not to perform conversion in the inverse color space conversion unit 151b from the bit stream, and the conversion method executed in the inverse color space conversion unit.
  • the identification information 152b including information and information specifying the frequency component to be subjected to color space conversion is decoded and supplied to the inverse color space conversion unit 151b.
  • the inverse color space conversion unit 151b performs color space conversion processing on the conversion coefficient data after inverse quantization based on such information.
  • the decoding device of FIG. 20 and FIG. 15 are similar to the decoding device of FIG. 15.
  • the first picture decoding unit 302 uses the AVC encoded with the three components together for the conventional YUV4: 2: 0 format.
  • a high-profile bitstream decoding function is provided, and the higher-order header analysis unit 300 determines whether the bitstream is encoded in any format with reference to the profile identifier decoded from the video stream 106. If the configuration in which the determination result is transmitted to the switch 10 and the first picture decoding unit 302 as part of the signal line information of the independent encoding identification signal 101, the conventional YUV4: 2: 0 format is used.
  • Bitstream It is also possible to configure a decoding device that ensures compatibility.
  • Fig. 22 shows the structure of encoded data of macroblock header information included in a conventional YUV4: 2: 0 format bit stream.
  • macro block type is intra prediction
  • encoded data of intra color difference prediction mode 500 is included.
  • macroblock type is inter prediction
  • a motion vector of a chrominance component is generated by a method different from the luminance component using the reference image identification number and motion vector information included in the macroblock header information.
  • variable length decoding unit 310 of the first picture decoding unit 302 provided with a conventional YUV4: 2: 0 format bitstream decoding function
  • the color difference format instruction flag is decoded.
  • the color difference format indication flag is included in the sequence parameter header of the video stream 106, and the input video format is 4: 4: 4, 4: 2: 2, 4: 2: 0, or 4: 0: 0. This flag indicates one of the formats.
  • the decoding process of the macroblock header information of the video stream 106 is switched depending on the value of the color difference format instruction flag.
  • the macro block type indicates intra prediction and the color difference format indication flag indicates 4: 2: 0 or 4: 2: 2: 2: 2: 2: 2: 2: 2: 2: 2
  • the intra color difference prediction mode is decoded from the bitstream.
  • the color difference format instruction flag indicates 4: 4: 4
  • decoding in the intra color difference prediction mode is skipped.
  • the color difference format indication flag indicates 4: 0: 0
  • the input video signal is a format consisting only of luminance signals (4: 0: 0 format), so decoding of the intra color difference prediction mode is skipped. To do.
  • Decoding processing of macroblock header information other than the intra color difference prediction mode includes a conventional YU V4: 2: 0 format bitstream decoding function, and the variable of the first picture decoding unit 302 This is the same as the long decoding unit 310.
  • a color difference format instruction flag (not shown), quantized transform coefficients for three components, macroblock header information (macroblock type) / Sub-macro block type, prediction overhead information, transform block size designation flag, quantization parameter).
  • the prediction unit 311 receives a color difference instruction format instruction flag (not shown) and prediction overhead information, and obtains a predicted image 127 of three components.
  • FIG. 23 shows the internal configuration of the prediction unit 311 of the first picture decoding unit 302 that ensures compatibility with the conventional YUV4: 2: 0 format bitstream, and its operation will be described.
  • Switching section 501 determines the macroblock type, and if the macroblock type indicates intra prediction, switching section 502 determines the value of the color difference format instruction flag.
  • the prediction overhead information power is also predicted image of 3 components according to the intra prediction mode information and intra color difference prediction mode information. Get 127. Of the three components, the prediction image of the luminance signal is generated by the luminance signal intra prediction unit according to the intra prediction mode information.
  • the color difference signal two-component prediction image is generated by the color difference signal intra prediction unit that performs processing different from the luminance component in accordance with the intra color difference prediction mode information.
  • the prediction image of all three components is generated by the luminance signal intra prediction unit according to the intra prediction mode information.
  • the 4: 0: 0 format is composed of only the luminance signal (one component), so only the predicted image of the luminance signal is the intra prediction mode information.
  • the luminance signal is generated by the intra prediction unit.
  • the switching unit 503 determines the value of the color difference format instruction flag. If the value of the chrominance format indication flag indicates 4: 2: 0 or 4: 2: 2, the brightness signal inter-prediction unit uses the prediction overhead information. According to the motion vector and the reference image index, a predicted image is generated according to a predicted image generation method for luminance signals defined by the AVC standard.
  • the color difference signal two-component prediction image is predicted by the color difference signal inter prediction unit.
  • the motion vector obtained from the head information is scaled based on the color difference format to generate a color difference motion vector.
  • the reference image indicated by the reference image index obtained from the prediction overhead information is used to generate the color difference motion vector based on the color difference motion vector.
  • a predicted image is generated according to the method defined by the AVC standard. If the value of the chrominance format indication flag indicates 4: 0: 0, the 4: 0: 0 format is composed of only the luminance signal (one component), so only the predicted image of the luminance signal is a motion vector. It is generated by the luminance signal inter prediction unit according to the image index.
  • conventional YUV4: 2: 0 format color difference signal prediction image generation means is provided, and a three-component prediction image is generated according to the value of the color difference format instruction flag decoded from the bitstream. Since the means used for the above are switched, it is possible to configure a decoding device that ensures compatibility with a conventional YUV4: 2: 0 format bitstream.
  • bitstream 106 supplied to the decoding device in FIGS. 20 and 21 is a bit stream that can be decoded even by a decoding device that does not support color space conversion processing, such as the decoding device in FIG. Is given in units such as a sequence parameter set
  • any of the decoding devices shown in FIGS. 20, 21, and 15 can decode the bitstream according to the decoding performance of each bitstream. This has the effect of ensuring compatibility.
  • the eighth embodiment another embodiment in which only the configuration of the bit stream to be input / output is different in the coding apparatus / decoding apparatus of the seventh embodiment such as FIG. 11 and FIG. 15 will be described.
  • the encoding apparatus according to the eighth embodiment multiplexes encoded data with the bitstream configuration shown in FIG.
  • the AUD NAL unit includes primary_pic_type and the corresponding information as its elements. This indicates the picture coding type information when picture data in the access unit starting with AUD NAL unit is coded, as shown in the table.
  • primary_pic_type 0
  • primary_pic_type 1
  • slices that are intra-coded and slices that can be motion-compensated using only one reference picture list can be mixed in the picture.
  • the primary_pic_type is information that defines what encoding mode can be used for one picture, so the encoding device can manipulate this information to determine the characteristics of the input video signal and the randomness. Encoding suitable for various conditions such as the access function can be performed.
  • Embodiment 7 since there is only one primary_pic_type per access unit, the primary_pic_type is shared by three color component pictures in the access unit when performing independent encoding processing.
  • Embodiment 8 when independent coding of each color component picture is performed, whether or not primary_pic_type for the remaining two color component pictures is additionally inserted in the AUD NAL unit of FIG. 9 according to the value of num_pictures_in_au.
  • the encoded data of each color component picture is configured to start from a NAL unit (Color Channel Delimiter) indicating the start of the color component picture.
  • this CCD NAL unit Configure to include primary_pic_type information for the corresponding picture. Note that the concept of the CCD NAL unit of the eighth embodiment is equivalent to the concept disclosed in FIG.
  • the code data of each color component picture is multiplexed together for one picture. Therefore, the color component identification flag (color_channel_idc) described in the seventh embodiment is included in the CCD NAL unit that is not included in the slice header. As a result, the information of the color component identification flag that has been required to be multiplexed to each slice can be aggregated into data in units of pictures, so that the overhead information can be reduced.
  • the encoding device can be flexibly implemented according to its usage.
  • the encoded data may be multiplexed with the bit stream configuration shown in FIG.
  • color_channel_idc and primary_pic_type included in the CCD NAL unit in FIG. 24 are included in each AUD.
  • the bit stream configuration in the ninth embodiment is configured so that one (color component) picture is included in one access unit even in the case of independent encoding processing. That is, in FIG. 25, one picture (one color component) is defined as one access unit.
  • the overhead information can be reduced by collecting the information of the color component identification flag into the data of the picture unit, and the color_channeUdc is detected by detecting the AUD NAL unit configured as a byte string. Since it is possible to quickly find the head of the color component picture without performing variable length decoding processing, it is necessary to verify only once per image. Therefore, the decoding device side slices the NAL unit to be decoded for each color component. What Data can be smoothly supplied to the second picture decoding unit without verifying the color_channel_idc in the header one by one.
  • bit stream configuration of FIG. 25 can also be configured so that the sequence number of each picture (coding in the time direction, decoding order, etc.) is given in the AUD.
  • the decoding device can verify the decoding order of each picture 'display order, color component attributes, IDR, etc. without decoding any slice data, and can edit bitstream levels. And special reproduction can be performed efficiently.
  • the transformation process and the inverse transformation process may be transformations that guarantee orthogonality, such as DCT, or orthogonal, such as AVC, strictly like DCT. It may be a transformation that approximates orthogonality in combination with a quantization 'inverse quantization process performed by transformation'. Further, the prediction error signal may be encoded as pixel level information without conversion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

３つの色成分に対して４：０：０フォーマットを使用して符号化処理を行った場合に１ピクチャ分のデータを一つのアクセスユニットに含めることを可能とするとともに、それぞれの色成分間で時間情報を揃えたり、符号化モードを揃えたりすることを可能とする。複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符号化方式において、それぞれの色成分の入力画像信号を独立に符号化処理を行うことにより得られる符号化データと、前記符号化データがどの色成分のものに対してのものであるかを示すパラメータとを、ビットストリームに多重する。また、複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理を行う画像復号方式において、どの色成分のものに対する符号化データであるかを示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を行う。

Description

明 細 書
画像符号化方法および画像復号方法、画像符号化装置および画像復号 装置、並びに画像符号化ビットストリーム及び記録媒体
技術分野
[0001] この発明は、複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符 号化方法と装置および複数の色成分からなる画像信号が圧縮されたビットストリーム を入力して復号処理を行う画像復号方法と装置、並びに画像符号化ビットストリーム 及び記録媒体に関するものである。
背景技術
[0002] 従来、 MPEGや ITU— T H. 26xなどの国際標準映像符号化方式では、主として 「4 : 2 : 0」フォーマットと呼ばれる入力信号フォーマットの使用を前提としてきた。 4 : 2 : 0フォーマットとは、 RGBなどのカラー画像信号を、輝度成分 (Y)と 2つの色差成分（ CB、 CR)に変換し、色差成分のサンプノレ数を輝度成分のサンプル数に対して水平 方向 ·垂直方向ともに半分に削減したフォーマットのことである。人間の視覚特性上、 色差成分は輝度成分に比べて視認性が劣ることから、従来の国際標準映像符号ィ匕 方式では、符号ィ匕を行う前に色差成分のサンプノレ数を減らすことで符号化対象の情 報量を削減しておくことを前提としていた。
[0003] 一方、近年のビデオディスプレイの高解像度化 ·高階調化に伴い、色差成分をダウ ンサンプノレすることなく輝度成分と同一サンプノレで符号化する方式についての検討 も行われてレ、る。輝度成分と色差成分とが同一のサンプル数のフォーマットは「4 : 4 : 4」フォーマットと呼ばれている。そして、 4 : 4 : 4フォーマットを入力する符号ィ匕方式と して「ハイ 444プロファイル」が策定されている（例えば、非特許文献 1参照）。
[0004] 従来の 4： 2： 0フォーマットでは色差成分のダウンサンプルを前提とし、 Y、 CB、 CR とレ、う色空間にのみ限定されてレ、たのに対し、 4 : 4 : 4フォーマットでは色成分間にサ ンプル比の区別がないため、 Y、 CB、 CRのほか、 R, G, Bを直接使用したり、そのほ 力の色空間を定義して利用したりすることが可能である。
[0005] 非特許文献 l : ISO/lEC 14496 - 10 | ITU-T H. 264規格（Advanced Video C oding:AVC)
発明の開示
発明が解決しょうとする課題
[0006] ISO/IEC 14496— 10 | ITU— T H. 264 (2005)規格（以下、 AVCと称す）で 定義されたハイ 444プロファイルを用いると、従来の符号ィヒ方式と同様に、マクロブロ ックを単位とした符号化処理 ·復号処理を行う必要がある。
[0007] すなわち、ひとつのマクロブロックの中に 3つの色成分のデータが含まれているため 、それぞれの色成分のデータをマクロブロック単位に順番に処理を行うこととなるため 、符号化'復号処理を並列化する、という目的には好ましくない。
[0008] 一方、 AVCでは、 4 : 0 : 0フォーマットが定義されている。これは、元々は輝度成分 のみの画像、すなわちモノクロ画像の符号化処理を対象としたものである。この 4 : 0 : 0フォーマットを用いて、 4 : 4 : 4フォーマットの 3つの色成分に対してそれぞれを 4： 0： 0フォーマットで符号化処理を行うことによって 3つの独立した符号ィ匕データを生成す る、という方法をとることもできる。この場合、それぞれの色成分を独立に処理すること となるため、並列処理が可能となる。
[0009] しかし、それぞれの色成分を独立に処理を行うこととなるため、それぞれの色成分 間で時間情報を合わせたり、符号化モードを揃えたりする、というような処理を現在の 標準規格では実現することが不可能であった。そのため、ランダムアクセス再生（早 送りや巻き戻しなど）ゃピクチャ単位の編集処理が容易に実現できない、という問題 が発生するものであった。
[0010] この問題についてさらに説明する。 AVCで定義されている各種データは、アクセス ユニットデリミタ（AUD)、シーケンスパラメータセット（SPS)、ピクチャパラメータセット (PPS)、ピクチャデータの順序で配置されている。なお、本発明に関係しないデータ につレ、てはここでは割愛する。
[0011] また、 AVCでは、一つのアクセスユニット（AU)は一つのピクチャ（1フレームもしく は 1フィールドに相当する）によって構成するもの、と定義されている。アクセスュニッ トの境界はアクセスユニットデリミタ（AUD)を用いて示すことができる。例えば AVC の Baselineプロファイルであれば、各ピクチャの境界にアクセスユニットデリミタが配置 されるため、アクセスユニットデリミタを検出することにより一つのアクセスユニットを独 立にかつ簡単に取り出すことができ、一つのピクチャ分のデータを復号することが可 能である。
[0012] 一方、現在の AVC方式を用いて 4 : 0 : 0フォーマットで 3つの色成分を符号化した 場合、それぞれの色成分ごとにアクセスユニットが定義されることとなり、一つのピクチ ャは 3つのアクセスユニットにより構成されることとなる。そのため、アクセスユニットデリ ミタを検出するだけでは一つのピクチャ分のデータを取り出すことができなぐランダ ムアクセス再生ゃピクチャ単位の編集処理が容易に実現できなくなる。また、それぞ れの色成分ごとで独立に符号ィ匕処理が行われるため、時間情報を揃えたり、符号ィ匕 モードを揃えたりすることが困難になるものである。
[0013] そこで、この発明では、 AVCを拡張することにより、 4 : 4 : 4フォーマットの 3つの色 成分に対してそれぞれを 4： 0： 0フォーマットを使用して符号化処理を行った場合に おいても 1ピクチャ分のデータを一つのアクセスユニットに含めることを可能とするとと もに、それぞれの色成分間で時間情報を揃えたり、符号ィ匕モードを揃えたりすること を可能とする画像符号化方法および画像復号方法、画像符号化装置および画像復 号装置、並びに画像符号ィ匕ビットストリーム及び記録媒体を提供することを目的とす る。
課題を解決するための手段
[0014] この発明に係る画像符号化方法は、複数の色成分力 なる入力画像信号に対して 圧縮処理を行う画像符号化方式において、それぞれの色成分の入力画像信号を独 立に符号ィヒ処理を行うことにより得られる符号ィヒデータと、前記符号化データがどの 色成分のものに対してのものであるかを示すパラメータとを、ビットストリームに多重す ることを特徴とする。
[0015] また、この発明に係る画像復号方法は、複数の色成分からなる画像信号が圧縮さ れたビットストリームを入力して復号処理を行う画像復号方式において、どの色成分 のものに対する符号ィヒデータであるかを示すパラメータを用いてそれぞれの色成分 の符号ィヒデータの復号処理を行うことを特徴とする。
[0016] また、この発明に係る画像符号化装置は、複数の色成分からなる入力画像信号に 対して圧縮処理を行う画像符号化装置において、それぞれの色成分の入力画像信 号を独立に符号化処理を行うことにより得られる符号化データと、前記符号化データ がどの色成分のデータに対してのものであるかを示すパラメータとを、ビットストリーム に多重する多重手段を備えたことを特徴とする。
[0017] また、この発明に係る画像復号装置は、複数の色成分からなる画像信号が圧縮さ れたビットストリームを入力して復号処理を行う画像復号装置において、どの色成分 のものに対する符号ィヒデータであるかを示すパラメータを検出する検出手段を備え たことを特徴とする。
[0018] また、この発明に係る画像符号化ビットストリームは、複数の色成分からなる入力画 像信号を圧縮符号化した結果生成されるビットストリームであって、各色成分の画像 信号の圧縮データをスライス単位に構成し、該スライスのヘッダ領域に該スライスデ ータがいずれの色成分の圧縮データを含むか否かを示すパラメータが多重されるこ とを特徴とする。
[0019] さらに、この発明に係る記録媒体は、複数の色成分からなる入力画像信号を圧縮 符号化した結果生成されるビットストリームであって、各色成分の画像信号の圧縮デ ータをスライス単位に構成し、該スライスのヘッダ領域に該スライスデータカ^、ずれの 色成分の圧縮データを含むか否かを示すパラメータが多重された画像符号化ビット ストリームが記録されたものである。
発明の効果
[0020] この発明によれば、ランダムアクセス再生ゃピクチャ単位の編集処理を、 AUDを用 レ、て容易に実行することが可能となり、 3つの色成分に対してそれぞれを 4： 0： 0フォ 一マットを使用して符号化処理を行った場合においても 1ピクチャ分のデータを一つ のアクセスユニットに含めることを可能とするとともに、それぞれの色成分間で時間情 報を揃えたり、符号化モードを揃えたりすることが可能となる。
図面の簡単な説明
[0021] [図 1]この発明の画像符号ィ匕装置が生成する符号ィ匕ビットストリームのシンタックスの うち、この発明に関わる部分を抜き出した図である。
[図 2]既存の規格との互換性を確保する別の方法として、パラメータ colourjdの定義 についての説明図である。
[図 3]AUDと AUDの間に 1ピクチャを構成する全ての色成分のデータを一つのァク セスユニット (AU)に含むようにした説明図である。
[図 4]色成分のデータを一つのアクセスユニットの中に Delimiterで各色成分毎に区切 りまとめて並べた説明図である。
[図 5]4： 0： 0フォーマットと 4： 4： 4フォーマットの符号化モードを任意の単位で切り替 える説明図である。
園 6]この発明の実施の形態 7における共通符号化処理の説明図である。
園 7]この発明の実施の形態 7における独立符号化処理の説明図である。
園 8]この発明の実施の形態 7の符号ィ匕装置 *復号装置における、ピクチャ間の時間 方向の動き予測参照関係を示す図である。
園 9]この発明の実施の形態 7の符号ィ匕装置で生成され、復号装置が入力'復号処 理の対象とするビットストリームの構造の一例を示す図である。
園 10]この発明の実施の形態 7における共通符号化処理、独立符号化処理それぞ れの場合のスライスデータのビットストリーム構成を示す図である。
園 11]この発明の実施の形態 7に係る符号化装置の概略構成を示すブロック図であ る。
園 12]図 11に示す多重化部 105による多重化されて出力されるビットストリーム 106 の説明図である。
園 13]図 11に示す第 1のピクチャ符号化部 102の内部構成を示すブロック図である。 園 14]図 11に示す第 2のピクチャ符号化部 104の内部構成をブロック図である。 園 15]この発明の実施の形態 7に係る復号装置の概略構成を示すブロック図である。 園 16]図 15に示す第 1のピクチャ復号部 302の内部構成を示すブロック図である。 園 17]図 15に示す第 2のピクチャ復号部 304の内部構成を示すブロック図である。 園 18]図 11に示す符号ィ匕装置の変形例を示すブロック図である。
園 19]図 11に示す符号ィ匕装置の他の変形例を示すブロック図である。
園 20]図 18に示す符号ィ匕装置に対応する復号装置を示すブロック図である。
園 21]図 19に示す符号ィ匕装置に対応する復号装置を示すブロック図である。 [図 22]従来の YUV4： 2： 0フォーマットのビットストリームに含まれるマクロブロックへッ ダ情報の符号化データの構成を示す図である。
[図 23]従来の YUV4： 2： 0フォーマットのビットストリームに対する互換性を確保する 第 1のピクチャ復号部 302の予測部 311の内部構成を示す図である。
[図 24]ビットストリームの構造の他の例を示す図である。
[図 25]ビットストリームの構造のさらに他の例を示す図である。
発明を実施するための最良の形態
[0022] 実施の形態 1.
図 1は、この発明の画像符号ィ匕装置が生成する符号ィ匕ビットストリームのシンタック スのうち、この発明に関わる部分を抜き出した図である。図 1において、（a)は NAL ( ネットワークアブストラクションレイヤ）ユニットのヘッダ情報のシンタックス、（b)は SPS (シーケンスパラメータセット）のシンタックス、 （c)は PPS (ピクチヤノ ラメータセット）の シンタックス、 (d)はスライスヘッダのシンタックスである。網掛け部分以外は、既存の AVC規格で定められているシンタックスであり、網掛け部分は既存の AVC規格で定 められている力 この発明により新たに機能を追加するシンタックスもしくは既存の A VC規格では定められておらずこの発明により新たに追加するシンタックスである。
[0023] 以下、 AVCで定義されているパラメータについて簡単に記す。
図 1の（a)において、 NALユニットの nal_ref_idcは、 NALユニットのデータが予測参 照に使用される画像データであるか否かを示すパラメータである。また、 nal_unit_type は、 NALユニットのデータがスライスデータ、 SPS、 PPS、アクセスユニットデリミタ（A UD)のレ、ずれであるかを示すパラメータである。
[0024] 図 1の（b)において、 SPSの profilejdcは、符号化シーケンスのプロファイルを示す ものであり、 AVCではベースライン、メイン、ハイ、ハイ 444などが定義されている。ま た、 seq_paremeter_set_idは SPSの IDを示すものであり、一つの符号化シーケンスの 中に複数の SPSを定義してそれぞれを IDで管理するものである。さらに、 chroma_for maUdcはハイ 444プロファイルのときにのみ使用されるもので、符号化シーケンスが 4 : 0 : 0, 4 : 2 : 0, 4 : 2 : 2, 4 : 4 : 4のレ、ずれかのフォーマットであるかを示すパラメータ である。 [0025] 図 1の（c)において、 PPSの pic_paremter_set_idは PPSの IDを示すものであり、ひと つの符号ィ匕シーケンスの中に複数の PPSを定義してそれぞれを IDで管理するもの である。 PPS中の seq_paremeter_set_idは、この PPSがどの SPSに属するかを示すパ ラメータである。
[0026] 図 1の（d)において、スライスヘッダの first_mb_in_sliceは、スライスデータの先頭マク ロブロックデータが画面内のどの位置にあるかを示すパラメータである。また、 slice_ty peは、スライスデータがフレーム内符号化、片方向予測符号化、双予測符号化のい ずれであるかを示すパラメータである。さらに、 pi parameter_set_idはスライスデータ 力 Sどの PPSに属するかを示すパラメータである。
[0027] 次に動作について説明する。
3つの色成分の画像信号に対して 4： 0： 0フォーマットを用いてそれぞれの色成分を 独立に符号化処理を行う場合、図 1の（b)に示す SPSに含まれるパラメータの一つで ある profilejdcに、新たに 4： 0： 0フォーマットを用いて 3つの色成分のデータを独立に 符号化する処理であることを示すデータを設けるとともに、図 1の（d)に示すスライス ヘッダに、新たに colourjdのパラメータを設け、スライスデータに含まれている符号化 データが 3つの色成分のいずれのものであるかを示すようにする。
[0028] 既存の 4： 0： 0フォーマット（モノクロ画像）、4 : 2 : 0フォーマット、 4 : 2 : 2フォーマット 、 4 : 4 : 4フォーマットで符号化処理を行う場合には、図 1の（d)に示すパラメータ colou r_idは使用せず、この発明により新たに定義する 4 : 0 : 0フォーマットを用いて 3つの色 成分のデータを独立に符号化するモードのときにのみ、パラメータ colour_idを使用す ることにより、既存の規格には影響を及ぼさないようにすることができる。
[0029] この発明により新たに定義する 4 : 0 : 0フォーマットを用いて 3つの色成分のデータ を独立に符号化するモードのときには、パラメータ colouredを使用することによって、 図 3のように、 3つの色成分のデータを一つのアクセスユニット（AU)に含むようにして 、 AUDと AUDの間に 1ピクチャを構成する全ての色成分のデータを入れるようにす る。
[0030] また、既存の規格との互換性を確保する別の方法として、パラメータ colourjdを、図 2のような定義としてもよレ、。このように colourjdを定義することで、 colour_id=0の場合 は、既存の規格のようにひとつのマクロブロックの中に 3つの色成分のデータが含ま れる形式で符号化されたスライスデータであることを示す。その他の値の場合は、本 実施の形態 1で述べた 4： 0： 0フォーマットを用いて 3つの色成分のデータを独立に 符号化する処理で符号化されたスライスデータであることを示すことが可能である。
[0031] これにより、既存の方式と本実施の形態 1で述べた方式の双方を包含するビットスト リームを構成でき、既存方式との互換性を保つ点で有用である。また、スライスの数が 多くなつて、パラメータ colourjd自体の符号量のオーバヘッドが符号化効率に影響を 与えるという場合には、既存の方式と本実施の形態 1で述べた方式のいずれがより選 択されやすいか、という判断基準に基づいて適当な可変長符号ィ匕を行レ、、 coloured 自体の符号量を低減するように構成してもよレ、。
[0032] このように、複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符号 化方式において、それぞれの色成分の入力画像信号を独立に符号化処理を行うこと により得られる符号化データと、前記符号化データがどの色成分のものに対してのも のであるかを示すパラメータとを、ビットストリームに多重することによって、ランダムァ クセス再生ゃピクチャ単位の編集処理を、 AUDを用いて容易に実行することが可能 となる。
[0033] 複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理 を行う画像復号方式において、どの色成分のものに対する符号化データであるかを 示すパラメータを用いてそれぞれの色成分の符号化データの復号処理を容易に行う こと力 Sできる。
[0034] また、 3つの色成分のデータが一つのアクセスユニットに含まれることになるため、 3 つの色成分のデータが同時に IDR (Instantaneous Devoding Refresh)ピクチャとして 符号化されることとなる。
[0035] IDRピクチャは AVCで定義されているもので、 IDRピクチャからであれば即時に正 常な復号処理が可能となるピクチヤであり、ランダムアクセス再生の先頭として利用す ることを ¾1定して設けられたものである。
[0036] また、 3つの色成分のうちの一つの色成分だけを取り出したい場合には、特定の値 を持っている colouredのスライスデータのみを抽出することにより容易に実現できる。 [0037] なお、図 1では、 colour_idパラメータをスライスヘッダの先頭に設けた力 必ずしも先 頭に配置する必要はなぐスライスヘッダの中に含まれていれば同様の効果を得るこ とが可能である。
[0038] 実施の形態 2.
実施の形態 1と同様に、一つのアクセスユニットの中に 3つの色成分の符号ィ匕デ一 タを入れるものではある力 図 3に示す実施の形態 1が、それぞれの色成分のデータ (R, B, G)を順番に並べたものであるのに対し、図 4に示すように、 Rだけ、 Bだけ、 G だけと色成分をまとめて並べる方法をとることもできる。さらに、現在の AVCでは定義 されていない「Delimiter」を入れることによって、所定の色成分のもののみを簡単に取 り出すような構成をとることも可能である。
[0039] このようにすることによって、例えばそれぞれの色成分ごとに異なるプロセッサを割り 当てて並列に処理を行うことが容易にできるようになる。なお、この発明で示した「Deli miter」 ia>、 AVしの SEI (Supplemental enhancement Informationノメッセ1 ~~シへイロ一 ドを拡張することによって、既存の規格に影響を及ぼすことなく実現することが可能で ある。もちろん、これ以外の別の方法で「Delimiter」を定義しても同様の効果を得るこ とは可能である。
[0040] 実施の形態 3.
スライスヘッダの colourjdの代わりに、 NALユニットの一部において色成分を示す パラメータを入れることによつても、実施の形態 1と同じ効果を得ることができる。 AVC では、スライスヘッダおよびスライスヘッダに後続するスライスデータは NALユニット のペイロードとして定義されているため、 NALユニットの nal_unit_typeパラメータを拡 張して、このパラメータの中に NALユニットのペイロードに含まれている映像データ 力どの色成分であるかを示すようにする。さらに、 3つの色成分のデータは一つのァク セスユニット (AU)に含むようにすることにより、 AUDと AUDの間に 1ピクチャを構成 する全てのデータを入れるようにする。
[0041] このようにすることにより、実施の形態 1と同様に、ランダムアクセス再生ゃピクチャ 単位の編集処理が容易に実行できるとともに、 3つの色成分のうちの一つの成分だけ を取り出したい場合に、スライスヘッダまで解析することなぐ NALユニットのヘッダデ ータのみで抽出することが可能となる。
[0042] 実施の形態 4.
実施の形態 1〜3のときに、さらに 3つの色成分のデータが符号ィ匕されているスライ スヘッダの flrst_mb_in_sliceパラメータに対して常に同じ値とするように制約を設ける。 fi rst_mb_in_sliceパラメータは、スライスデータの先頭データの位置が画面内のどこであ るかを示すものである。
[0043] 従来の AVCの符号ィ匕方式では、スライスの構造は任意の形式をとることが可能なも のであるため、各色成分でスライスの構造を異なるものとすることも可能ではあるが、 この制約を設けることによって、同じ first_mb_in_sliceの値を持つスライスデータを 3つ 集めてくることによって、正しい色の状態をもった画像の一部分を復号'表示すること が可能となる。
[0044] このようにすることにより、画面の特定の部分、例えば中央部分だけを表示させたい 、という場合に、制約を設けない場合には first_mb_in_sliceの値がそれぞれの色成分 で異なるために一画面分全てのスライスデータを用いて画面全体を復号しないと 3つ の色成分を合成して正しい復号画像が得られなかったもの力 一画面全てではなく 一部のスライスデータのみを用いて復号 ·表示処理が可能となる。また、個々の色成 分のデータを個々のプロセッサを用いて並列処理を行う場合、各スライスデータが同 じ位置から開始されるようになるため、並列処理の管理が容易になる。
[0045] 実施の形態 5.
実施の形態 4に対して、さらに各色成分のスライスヘッダの slice_typeパラメータに対 して常に同じ値とするように制約を設ける。 slice_typeパラメータは、スライスヘッダに 後続するスライスデータがフレーム内符号化、片方向予測符号化、双予測符号化の いずれであるか、等を示すものである。フレーム内符号化であれば、フレーム間予測 処理が使用されないため、即時に復号 ·表示処理が可能となる。
[0046] そこで、画面上同じ位置にあるスライスデータについては符号化のタイプを全ての 色成分に対して共通とし同じ符号化処理を行うことにより、復号装置では、ランダムァ クセス再生時にはフレーム内符号ィ匕のスライスのみを復号処理を行うことによって高 速に復号 ·表示処理を行うことが可能となる。 [0047] 実施の形態 6.
前述の実施の形態 1〜5のような構成をとることによって、新たに定義する 4： 0： 0フ ォーマットを用いて 3つの色成分のデータを独立に符号化するモードと、 4 : 4 : 4フォ 一マットの符号化モードを任意の単位で切り替えることが可能となる。
[0048] 例えば図 5のように、 SPSの seq_parameter_set_id= 1に対して新たに定義した 4： 0： 0フォーマットのパラメータをセットし、 seq_parameter_set_id = 2に対して 4： 4： 4フォー マットのパラメータをセットして、それぞれの seq_parameter_set_idに対応する SPSを異 なる pk_parameter_set_idを持たせてセットすることにより、ピクチャ単位で両者を切り替 えることが可能となる。
[0049] このようにすることにより、符号化効率のより良い方を選択して符号化処理を行った り、アプリケーションによって都合のよい方を選択して符号化処理を行うことが可能と なる。
[0050] なお、本実施の形態 5では、ピクチャ単位で両者を切り替えるものとして説明を行つ た力 AVCの規格上では、同じ処理によりスライス単位での切り替えも可能である。
[0051] また、この発明では、動画像符号化方式の国際標準である AVCを用いて説明を行 つたが、もちろん他の符号ィ匕方式を用いても同様の効果を得ることは可能である。
[0052] 実施の形態 7.
本実施の形態 7では、 3つの色成分信号を共通のマクロブロックヘッダで符号ィ匕す るカ 個別のマクロブロックヘッダで符号化するかを 1フレーム（ないしは 1フィールド） の単位で切り分けながら符号化'復号する装置構成'動作を具体的な図面をもとに説 明する。以下、特に断らない限り、「1フレーム」と記載した場合は 1フレームないしは 1 フィールドのデータ単位とみなす。
[0053] 本実施の形態 7におけるマクロブロックヘッダは、マクロブロックタイプ'サブマクロブ ロックタイプ ·イントラ予測モードなどの符号化 ·予測モード情報、参照画像識別番号' 動きベクトルなどの動き予測情報、変換係数に対する量子化パラメータ、変換ブロッ クサイズ指示フラグ、 8 X 8ブロック単位での有効変換係数有無判定フラグなど、変換 係数データ以外のマクロブロックオーバヘッド情報を含むものとする。
[0054] 以降、 1フレームの 3つの色成分信号を共通のマクロブロックヘッダで符号化する処 理を「共通符号化処理」、 1フレームの 3つの色成分信号を個別の独立したマクロブロ ックヘッダで符号化する処理を「独立符号化処理」と記す。同様に、 1フレームの 3つ の色成分信号が共通のマクロブロックヘッダで符号化されたビットストリームからフレ ーム画像データを復号する処理を「共通復号処理」、 1フレームの 3つの色成分信号 が個別の独立したマクロブロックヘッダで符号化されたビットストリームからフレーム画 像データを復号する処理を「独立復号処理」と記す。
[0055] 本実施の形態 7における共通符号化処理では、図 6に示すように、 1フレーム分の 入力映像信号を CO成分、 C1成分、 C2成分の 3つの色成分をまとめた形の共通符 号化処理の対象となるマクロブロックに分割する。一方、独立符号化処理では、図 7 に示すように、 1フレーム分の入力映像信号を CO成分、 C1成分、 C2成分 3つの色 成分に分離し、それらを単一の色成分からなるマクロブロック、つまり CO成分、 C1成 分、 C2成分毎の独立符号ィヒ処理の対象となる各マクロブロックに分割する。
[0056] すなわち、共通符号化処理の対象となるマクロブロックは、 C0、 Cl、 C2の 3つの色 成分のサンプルを含むが、独立符号化処理の対象となるマクロブロックは、 COまたは C1または C2成分のうちのいずれ力 1つの成分のサンプルのみを含む。
[0057] 図 8には、本実施の形態 7の符号化装置'復号装置における、ピクチャ間の時間方 向の動き予測参照関係を示す。この例では、太縦棒線で示されるデータ単位をピク チヤとし、ピクチャとアクセスユニットとの関係を囲み点線で示している。共通符号化' 復号処理の場合、 1ピクチャは、 3つの色成分が混在した 1フレーム分の映像信号を 表すデータであって、独立符号化'復号処理の場合、 1ピクチャはいずれか 1つの色 成分の 1フレーム分の映像信号とする。
[0058] アクセスユニットは、映像信号に対してオーディオ '音声情報などとの同期などを目 的とするタイムスタンプを付与する最小データ単位であり、共通符号化'復号処理の 場合、 1つのアクセスユニットには 1ピクチャ分のデータを含む。
[0059] 一方、独立符号化'復号処理の場合は、 1つのアクセスユニットに 3つのピクチヤが 含まれる。これは、独立符号化'復号処理の場合、 3つの色成分すベての同一表示 時刻のピクチャがそろってはじめて 1フレーム分の再生映像信号が得られるためであ る。なお、各ピクチャの上部に付与した番号は、ピクチャの時間方向の符号化'復号 処理順序（動画データの圧縮符号化方式の標準である AVC : Advanced Video Codi ngの frame—皿 m) 不す。
[0060] 図 8では、ピクチャ間の矢印は動き予測の参照方向を示している。すなわち、独立 符号化'復号処理の場合、同一アクセスユニットに含まれるピクチャの間での動き予 測参照、ならびに異なる色成分間での動き予測参照は行わないものとし、 C0、 Cl、 C2の各色成分のピクチャを同一色成分の信号に限定して予測参照しながら符号化- 復号する。
[0061] このような構成とすることにより、本実施の形態 7における独立符号化'復号処理の 場合は、各色成分の符号化'復号を、他の色成分の符号化'復号処理に全く依存す ることなく実行でき、並列処理が容易になる。
[0062] なお、 AVCでは、 自身はイントラ符号化を行うとともに、動き補償予測に用いる参照 されている。 IDRピクチャは他のいかなるピクチャにも依存せずに復号可能であるた めランダムアクセスポイントとして禾 I」用される。
[0063] 共通符号化処理の場合のアクセスユニットは、 1アクセスユニット = 1ピクチャである 力、独立符号ィ匕処理の場合のアクセスユニットでは 1アクセスユニットが複数ピクチャ で構成されるため、ある色成分ピクチャが IDRピクチャである場合は他の残りの色成 分ピクチャも IDRピクチャとして、 IDRアクセスユニットを定義し、ランダムアクセス機能 を確保する。
[0064] 以下、共通符号化処理による符号化を行ったか、独立符号化処理による符号化を 行つたかを示す識別情報 (インター予測モード共通化識別フラグやマクロブロックへ ッダ共通化識別フラグ相当の情報)を、本実施の形態 7では、共通符号化'独立符号 化識別信号と呼ぶ。
[0065] 図 9に、本実施の形態 7の符号化装置で生成され、本実施の形態 7の復号装置が 入力 '復号処理の対象とするビットストリームの構造の一例を示す。同図は、シーケン スからフレームレベルまでのビットストリーム構成を示したもので、まず、シーケンスレ ベルの上位ヘッダ（AVCの場合、 SPS (sequence parameter set)など）に、共通符号 ィ匕 ·独立符号化識別信号を多重しておく。 [0066] 個々のフレームはアクセスユニットの単位で符号化される。 AUDとは、 AVCにおい てアクセスユニットの切れ目を識別するためのユニークな NALユニットである Access Unit Delimiter NALユニットを示す。共通符号化'独立符号化識別信号が「共通符 号化処理によるピクチャ符号化」を示す場合は、アクセスユニットには 1ピクチャ分の 符号化データが含まれる。
[0067] このときのピクチャは、前述のように 3つの色成分が混在した 1フレーム分の映像信 号を表すデータであるとする。このとき、 i番目のアクセスユニットの符号化データはス ライスデータ Slice (i,j)の集合として構成される。 jは、 1ピクチャ内のスライスデータの インデックスである。
[0068] 一方、共通符号化'独立符号化識別信号が「独立符号化処理によるピクチャ符号 ィ匕」を示す場合は、 1ピクチャはいずれ力 4つの色成分の 1フレーム分の映像信号で ある。このとき、 ρ番目のアクセスユニットの符号化データは、アクセスユニット内の q番 目のピクチヤのスライスデータ Slice (p,q,r)の集合として構成される。 rは、 1ピクチャ内 のスライスデータのインデックスである。 RGBのように色成分が 3成分で構成される映 像信号の場合、 qは 0, 1 , 2のいずれかである。
[0069] また、 3原色からなる映像信号に加えて例えばアルファブレンデイングのための透 過度情報のような付加データを同一アクセスユニットとして符号化 .復号する場合や、 4成分以上の色成分 (例えばカラー印刷で使用される YMCKなど）で構成される映像 信号を符号化'復号する場合などは、 q > 3として扱うことができる。
[0070] 本実施の形態 7における符号化装置、復号装置は、独立符号化処理を選択すれ ば、映像信号を構成する各色成分をまったく独立に符号化するため、原理的に符号 ィ匕 '復号処理を変更することなぐ色成分の枚数を自在に変更できる。将来、映像信 号の色表現を行うための信号形式が変更された場合にも、本実施の形態 7における 独立符号化処理で対応可能となる効果がある。
[0071] このような構成を実現するために、本実施の形態 7では、共通符号化'独立符号ィ匕 識別信号は「1アクセスユニット内に含まれ、各々が相互に動き予測参照することなく 独立に符号化されるピクチャの数」とレ、う形で表現する。
[0072] 共通符号化'独立符号化識別信号 3を、以降、 num_pictures_in_auと呼ぶ。つまり、 n um— pictures— in— au= 1は「共通符号ィ匕処理」を示し、 num— pictures— in— au= 3は本実施 の形態 7における「独立符号化処理」を示す。色成分力 ¾以上となる場合、皿 m_pictur esjn.au > 3なる値に設定すればょレヽ。
[0073] このようなシグナリングを行うことによって、復号装置は、 num_pictures_in_auを復号、 参照すれば共通符号化処理による符号化データと独立符号化処理による符号化デ ータの区別ができるだけでなぐ 1つのアクセスユニット内に何枚の単一色成分ピクチ ャが存在するかを同時に知ることができ、将来の映像信号の色表現拡張への対応も 可能にしつつ、共通符号ィ匕処理と独立符号ィ匕処理をビットストリーム中でシームレス に扱うことが可能である。
[0074] 図 10には、共通符号化処理、独立符号化処理それぞれの場合のスライスデータの ビットストリーム構成を示す。独立符号ィ匕処理によって符号化されたビットストリームで は、後述する効果を達成するため、復号装置で受信したスライスデータがアクセスュ ニット内のどの色成分のピクチャに属するスライスかを識別可能なように、スライスデ ータの先頭のヘッダ領域に色成分識別フラグ（color_channel_idc)を付与する。
[0075] color_channel_idcは、その値が同じスライスをグループ化する。つまり、 color.channel _idcの値が異なるスライス間では、いかなる符号化'復号の依存性 (例えば動き予測 参照、 CAB AC (Context-Adaptive Binary Arithmetic Coding)のコンテキストモデリ ング.生起確率学習など）も持たせないものとする。なお、 color_channel_idcは、図 1の (d)に示す実施の形態 1の color_idと同じもので、同じセマンティクスの情報である。
[0076] このように規定することで、独立符号化処理の場合のアクセスユニット内の個々のピ クチャの独立性が確保される。また、各スライスヘッダに多重される frame_num (スラ イスが属するピクチャの符号化 .復号処理順序）については、 1アクセスユニット内の 全色成分ピクチャにぉレ、て同一の値とする。
[0077] 図 11に、本実施の形態 7に係る符号化装置の概略構成を示す。同図において、共 通符号化処理は、第 1のピクチャ符号化部 102において実行され、独立符号化処理 は、第 2のピクチャ符号化部 104 (3つの色成分分を用意）において実行される。入力 映像信号 1は、スィッチ（SW) 100によって第 1のピクチャ符号ィ匕部 102か、色成分分 離部 103および色成分毎の第 2のピクチャ符号ィ匕部 104のいずれかに供給される。 スィッチ 100は、共通符号化'独立符号化識別信号 101によって駆動され、入力映 像信号 1を指定されたパスへ供給する。
[0078] 以下では、共通符号化 ·独立符号化識別信号 (num_picturesjn_au) 101は、入力映 像信号が 4： 4： 4フォーマットの場合にシーケンスパラメータセットに多重され、シーケ ンスの単位で共通符号化処理と独立符号化処理を選択する信号とする場合につい て説明する。
[0079] 共通符号化処理を用いた場合は、復号装置側では共通復号処理を実行し、独立 符号化処理を用いた場合は、復号装置側では独立復号処理を実行する必要がある ため、共通符号化'独立符号化識別信号 101は、それを指定する情報としてビットス トリームに多重する必要がある。そのため、共通符号化'独立符号化識別信号 101は 多重化部 105へ入力される。この共通符号化'独立符号ィ匕識別信号 101の多重化 単位は、シーケンス内のレ、くつかのピクチャ群からなる GOP (Group Of Pictures)の 単位など、ピクチャよりも上位レイヤであればどのような単位であってもよレ、。
[0080] 第 1のピクチャ符号化部 102では、共通符号化処理を実行するために、入力映像 信号 1を図 6に示すように 3つの色成分のサンプルをまとめた形式のマクロブロックへ 分割して、その単位で符号ィ匕処理を進める。第 1のピクチャ符号ィ匕部 102における符 号化処理は後述する。
[0081] 独立符号化処理が選択された場合は、入力映像信号 1は色成分分離部 103で CO 、 Cl、 C2の 1フレーム分のデータへ分離され、それぞれ対応する第 2のピクチャ符号 化部 104へ供給される。第 2のピクチャ符号化部 104では、色成分ごとに分離された 1フレーム分の信号を図 7に示す形式のマクロブロックへ分割して、その単位で符号 化処理を進める。第 2のピクチャ符号ィ匕部における符号ィ匕処理は後述する。
[0082] 第 1のピクチャ符号ィ匕部 102には、 3つの色成分からなる 1ピクチャ分の映像信号が 入力され、符号化データはビットストリーム 133として出力される。第 2のピクチャ符号 化部 104には、単一色成分からなる 1ピクチャ分の映像信号が入力され、符号化デ ータはビットストリーム 233a〜cとして出力される。
[0083] これらビットストリームは、共通符号化'独立符号化識別信号 101の状態に基づい て多重化部 105でビットストリーム 106の形式に多重化され、出力される。すなわち、 多重化部 105は、それぞれの色成分の入力画像信号を独立に符号化することにより 得られる符号化データと、符号ィヒデータがどの色成分のデータに対してのものである 力を示すパラメータとを、ビットストリームに多重化する。
[0084] ビットストリーム 106の多重化に際しては、独立符号化処理される場合のアクセスュ ニット中では、スライスデータのビットストリーム中での多重化順、伝送順を、アクセス ユニット内のピクチャ (各色成分）間でインタリーブ可能とする。
[0085] すなわち、図 12は、アクセスユニット内でのスライスインタリーブ不可の場合（a)と、 スライスインタリーブ可の場合 (b)とを示す。スライスインタリーブ不可の場合（a)に、 C 1成分のピクチャデータは、 CO成分の符号化が完了するまでビットストリームに多重 できなぐ C2成分のピクチャデータは、 CO, C1成分の符号ィ匕が完了するまでビットス トリームに多重できないが、スライスインタリーブ可の場合 (b)に、 C1成分は、 CO成分 の 1スライス分がビットストリームに多重されれば、直ぐに多重化可能であり、 C2成分 は、 CO, C1成分の 1スライス分がビットストリームに多重されれば、直ぐに多重化可能 である。
[0086] この場合、復号装置側では、受信したスライスデータ力 アクセスユニット内のどの 色成分に属するスライスかを識別する必要がある。そのために、スライスデータの先 頭のヘッダ領域に図 10のように多重する色成分識別フラグを利用する。なお、ここに 記載した図 12のスライスインタリーブの概念は、図 3で開示されている概念と等価で ある。
[0087] このような構成にすることにより、符号化装置では、図 11の符号ィ匕装置のように 3つ の色成分のピクチャをそれぞれ独立な第 2のピクチャ符号ィ匕部 6を 3セット使用して、 並列処理により符号ィ匕を行う場合に、他の色成分ピクチヤの符号化データの完成を 待たずに、 自身のピクチヤのスライスデータが準備できればすぐに符号化データを送 出可能となる。
[0088] AVCでは 1ピクチャを複数のスライスデータに分割して符号ィ匕することができ、スラ イスデータ長やスライス内に含まれるマクロブロックの個数については、符号化条件 に応じて柔軟に変化させることができる。
[0089] 画像空間上で隣り合うスライスの間では、スライスの復号処理の独立性を確保する ため、イントラ予測や算術符号ィ匕などの近傍コンテキストの利用ができないため、スラ イスデータ長はできるだけ長いほうが符号化効率は高い。
[0090] 一方、伝送や記録の過程でビットストリームに誤りが混入した場合は、スライスデー タ長が短いほど誤りからの復帰が早まり、品質劣化を抑えやすくなる。色成分識別フ ラグを多重化することなぐスライスの長さや構成、色成分の順序などを固定的にして しまうと、符号化装置においてビットストリームの生成条件が固定化されてしまレ、、多 様な符号化要求条件に柔軟に対応することができなくなる。
[0091] また、図 12のようにビットストリームを構成することができれば、符号化装置では伝 送に必要な送信バッファサイズ、すなわち符号化装置側での処理遅延を小さくするこ とができる。
[0092] その様子を図 11に示す。もしピクチャをまたがるスライスデータの多重が許容されな い場合、符号化装置は、ある特定の色成分のピクチャの符号化が終了するまでの間 、他のピクチヤの符号化データをバッファリングさせる必要がある。これはピクチャレべ ルでの遅延が発生することを意味する。
[0093] 一方、同図最下部に示すように、スライスレベルでインタリーブ可能とすれば、ある 特定の色成分のピクチャ符号化部はスライスデータの単位で符号化データを多重化 部に出力することができ、遅延を抑制することができる。
[0094] なお、 1つの色成分ピクチャ内においては、それに含まれるスライスデータはマクロ ブロックのラスタスキャン順で伝送するようにしてもよいし、 1つのピクチャ内でもインタ リーブ伝送を可能とするように構成してもよい。
[0095] 以下、第 1ピクチャ符号ィ匕部 102および第 2のピクチャ符号ィ匕部 104の動作を詳しく 説明する。
第 1のピクチャ符号化部 102の動作概要
第 1のピクチャ符号ィ匕部 102の内部構成を図 13に示す。同図において、入力映像 信号 1は、 4 : 4 : 4フォーマットで、かつ図 6の形式の 3つの色成分をまとめたマクロブ ロックの単位で入力されるものとする。
[0096] まず、予測部 110において、メモリ 111に格納される動き補償予測参照画像データ の中から参照画像を選択し、該マクロブロックの単位で動き補償予測処理が行われ る。メモリ 111には、複数時刻に渡る、 3つの色成分で構成される複数枚の参照画像 データが格納され、予測部 110では、これらの中からマクロブロックの単位で最適な 参照画像を選択して動き予測を行う。
[0097] メモリ 111内の参照画像データの配置は、色成分ごとに面順次で分けて格納しても よいし、各色成分のサンプルを点順次で格納してもよい。動き補償予測を行うブロッ クサイズは 7種類用意されており、まず、マクロブロック単位に、 16X16、 16X8、 8 X 16、 8X8のいずれかのサイズを選択することができる。さらに、 8X8が選択された 場合には、各 8X8ブロックごとに、、 8X8、 8X4、 4X8、 4X4のレヽずれ力、のサイズ を選択すること力 Sできる。
[0098] 予測部 110では、 16X16、 16X8、 8X16、 8 X 8のすベてまたは一部のブロック サイズ · 8X8、 8X4、 4X8、 4X4のサブブロックサイズ、および所定の探索範囲の 動きべクトノレおよび利用可能な 1枚以上の参照画像に対してマクロブロックごとに動 き補償予測処理を実行して、動きべ外ルと予測に用いる参照画像識別情報 112と 減算器 113により、動き補償予測単位となるブロックごとの予測差分信号 114を得る
[0099] 予測差分信号 114は符号ィ匕モード判定部 115におレ、てその予測効率が評価され 、予測部 110で実行した予測処理の中から、予測対象のマクロブロックに対して最適 な予測効率が得られるマクロブロックタイプ/サブマクロブロックタイプ 116と動きべク トル ·参照画像識別情報 112を出力する。
[0100] マクロブロックタイプ、サブマクロブロックタイプ、参照画像インデックス、動きベクトル などのマクロブロックヘッダ情報はすべて、 3つの色成分に対して共通のヘッダ情報 として決定され、符号化に使用され、ビットストリームに多重化される。
[0101] 予測効率の最適性の評価にあたっては、演算量を抑制する目的で、ある所定の色 成分（たとえば RGBのうちの G成分、 YUVのうちの Y成分など）に対する予測誤差量 だけを評価してもよいし、演算量は大きくなるが最適な予測性能を得るべくすべての 色成分についての予測誤差量を総合評価するようにしてもよい。また、最終的なマク ロブロックタイプ/サブマクロブロックタイプ 116の選定にあたっては、符号化制御部 117の判断で定まる各タイプに対する重み係数 118が加味されることもある。 [0102] 同様に、予測部 110では、イントラ予測も実行する。イントラ予測実行時は、信号 11 2には、イントラ予測モード情報が出力される。以降、特にイントラ予測、動き補償予 測を区別しない場合には、出力信号 112はイントラ予測モード情報、動きベクトル情 報、参照画像識別番号をまとめて予測オーバヘッド情報と呼ぶ。イントラ予測につい ても所定の色成分だけの予測誤差量を評価してもよレ、し、すべての色成分にっレ、て の予測誤差量を総合評価するようにしてもよい。最後に、マクロブロックタイプをイント ラ予測にする力、、インター予測にするかを、符号化モード判定部 115において予測 効率または符号化効率で評価して選定する。
[0103] 選定されたマクロブロックタイプ/サブマクロブロックタイプ 116と、予測オーバへッ ド情報 1 12に基づくイントラ予測 ·動き補償予測によって得られる予測差分信号 114 を変換部 119へ出力する。変換部 119は入力される予測差分信号 114を変換し変 換係数として量子化部 120へ出力する。この際、変換を行う単位となるブロックのサイ ズを 4 X 4力 8 X 8のレ、ずれ力から選択するようにしてもょレ、。変換ブロックサイズを選 択可能とする場合は、符号化時に選択されたブロックサイズを、変換ブロックサイズ指 定フラグ 134の値に反映し、同フラグをビットストリームに多重化する。
[0104] 量子化部 120は、入力される変換係数を、符号化制御部 117によって定まる量子 ィ匕パラメータ 121に基づいて量子化を行レ、、量子化済み変換係数 122として可変長 符号化部 123へ出力する。量子化済み変換係数 122は、 3つの色成分分の情報を 含み、可変長符号化部 123にてハフマン符号ィ匕ゃ算術符号ィ匕などの手段によりェン トロピー符号化される。
[0105] また、量子化済み変換係数 122は、逆量子化部 124、逆変換部 125を経て局部復 号予測差分信号 126へ復元され、選定されたマクロブロックタイプ/サブマクロブロッ クタイプ 116と予測オーバヘッド情報 112に基づいて生成される予測画像 127と加算 器 128で加算することで局部復号画像 129が生成される。局部復号画像 129は、デ ブロッキングフィルタ 130でブロックひずみ除去処理を実施した後、以降の動き補償 予測処理に用いるためメモリ 111へ格納される。
[0106] 可変長符号化部 123には、当該マクロブロックに対してデブロッキングフィルタを施 すか否力、を示すデブロッキングフィルタ制御フラグ 131も入力される。 [0107] 可変長符号化部 123に入力される量子化済み変換係数 122、マクロブロックタイプ /サブマクロブロックタイプ 116、予測オーバヘッド情報 112、量子化パラメータ 121 は所定の規則（シンタックス）に従ってビットストリームとして配歹 整形され、図 6の形 式のマクロブロックが 1つないしは複数個まとまったスライスデータの単位で NALュニ ット化された符号化データとして送信バッファ 132へ出力される。
[0108] 送信バッファ 17では符号化装置が接続される伝送路の帯域や記録媒体の読み出 し速度に合わせてビットストリームを平滑化してビデオストリーム 133として出力する。 また、送信バッファ 133中のビットストリーム蓄積状況に応じて符号ィ匕制御部 117へフ イードバックを力、け、以降の映像フレームの符号化における発生符号量を制御する。
[0109] なお、第 1のピクチャ符号化部 102の出力は、 3成分をまとめた単位のスライスであ つて、アクセスユニットをまとめた単位での符号量と等価であるため、送信バッファ 13 2はそのまま多重化部 105内に配置してもよい。
[0110] 本実施の形態 7における第 1のピクチャ符号化部 102では、共通符号化'独立符号 化識別信号 101によってシーケンス中のすべてのスライスデータが CO, CI , C2混 在スライス（すなわち、 3つの色成分の情報が混在するスライス）であることが識別可 能であるため、スライスヘッダに色成分識別フラグは多重化しなレ、。
[0111] 第 2のピクチャ符号化部 104の動作概要
第 2のピクチャ符号ィ匕部 104の内部構成を図 14に示す。 557769JP03の図 1の説明 を流用して図 Hの説明文案を作成しています力 図番が図 1のままの箇所があります 。同図において、入力映像信号 laは、図 7の形式の単一色成分のサンプルからなる マクロブロックの単位で入力されるものとする。
[0112] まず、予測部 210において、メモリ 211に格納される動き補償予測参照画像データ の中から参照画像を選択し、該マクロブロックの単位で動き補償予測処理を行う。メ モリ 211には、複数時刻に渡る、単一色成分単一色成分を符号化処理対象とするこ とがポイント。図 Hと図 Iの見た目の違いは、メモリ 16の面数としています。で構成され る複数枚の参照画像データを格納でき、予測部 210では、これらの中からマクロプロ ックの単位で最適な参照画像を選択して動き予測を行う。
[0113] メモリ 211は 3つの色成分分をまとめた単位でメモリ 111と共用するようにしてもよい 。動き補償予測を行うブロックサイズには 7種類用意されており、まず、マクロブロック 単位に、 16X16、 16X8、 8X16、 8X8のいずれかのサイズを選択することができ る。さらに、 8X8力 S選択された場合には、各 8X8ブロックごとに、 8X8、 8X4、 4X8 、 4X4のいずれかのサイズを選択することができる。
[0114] 予測部 210では、 16X16、 16X8、 8X16、 8 X 8のすベてまたは一部のブロック サイズ · 8X8、 8X4、 4X8、 4X4のサブブロックサイズ、および所定の探索範囲の 動きべクトノレおよび利用可能な 1枚以上の参照画像に対してマクロブロックごとに動 き補償予測処理を実行して、動きベクトルと予測に用いる参照画像のインデックス 21 2と減算器 213により、動き補償予測単位となるブロックごとの予測差分信号 214を得 る。
[0115] 予測差分信号 214は符号ィ匕モード判定部 215においてその予測効率が評価され 、予測部 210で実行した予測処理の中から、予測対象のマクロブロックに対して最適 な予測効率が得られるマクロブロックタイプ/サブマクロブロックタイプ 216と動きべク トル'参照画像のインデックス 212を出力する。マクロブロックタイプ、サブマクロブロッ クタイプ、参照画像インデックス、動きべクトノレなどのマクロブロックヘッダ情報はすべ て、入力映像信号 laの単一色成分の信号に対するヘッダ情報として決定され、符号 化に使用され、ビットストリームに多重化される。
[0116] 予測効率の最適性の評価にあたっては、符号化処理対象となる単一色成分に対 する予測誤差量だけを評価する。また、最終的なマクロブロックタイプ/サブマクロブ ロックタイプ 216の選定にあたっては、符号ィ匕制御部 217の判断で定まる各タイプに 対する重み係数 218が加味されることもある。
[0117] 同様に、予測部 210では、イントラ予測も実行する。予測部 110を、イントラ、インタ 一予測を両方実行するブロックとした。イントラ予測実行時は、信号 212には、イント ラ予測モード情報が出力される。以降、特にイントラ予測、動き補償予測を区別しな い場合には、信号 212は予測オーバヘッド情報と呼ぶ。イントラ予測についても符号 化処理対象となる単一色成分に対する予測誤差量だけを評価する。最後に、マクロ ブロックタイプをイントラ予測にする力、、インター予測にするかを予測効率または符号 化効率で評価して選定する。 [0118] 選定されたマクロブロックタイプ/サブマクロブロックタイプ 216と、予測オーバへッ ド情報 212によって得られる予測差分信号 214を変換部 219へ出力する。変換部 21 9は入力される単一色成分分の予測差分信号 214を変換し変換係数として量子化部 220へ出力する。この際、変換を行う単位となるブロックのサイズを 4 X 4力、 8 X 8のい ずれ力、から選択するようにしてもよい。選択可能とする場合は、符号化時に選択され たブロックサイズを、変換ブロックサイズ指定フラグ 234の値に反映し、同フラグをビッ トストリームに多重化する。
[0119] 量子化部 220は入力される変換係数を、符号化制御部 217によって定まる量子化 パラメータ 221に基づいて量子化を行レ、、量子化済み変換係数 222として可変長符 号化部 223へ出力する。量子化済み変換係数 222は、単一色成分分の情報を含み 、可変長符号化部 223にてハフマン符号ィ匕ゃ算術符号ィ匕などの手段によりェントロ ピー符号化される。
[0120] また、量子化済み変換係数 222は逆量子化部 224、逆変換部 225を経て局部復 号予測差分信号 226へ復元され、選定されたマクロブロックタイプ/サブマクロブロッ クタイプ 216と予測オーバヘッド情報 212に基づいて生成される予測画像 227と加算 器 228で加算することで局部復号画像 229が生成される。
[0121] 局部復号画像 229は、デブロッキングフィルタ 230でブロックひずみ除去処理を実 施した後、以降の動き補償予測処理に用いるためメモリ 211へ格納される。可変長符 号化部 223には、当該マクロブロックに対してデブロッキングフィルタを施すか否かを
[0122] 可変長符号化部 223に入力される量子化済み変換係数 222、マクロブロックタイプ /サブマクロブロックタイプ 216、予測オーバヘッド情報 212、量子化パラメータ 221 は所定の規則（シンタックス）に従ってビットストリームとして配歹 整形され、図 7の形 式のマクロブロックが 1つないしは複数個まとまったスライスデータの単位で NALュニ ット化された符号化データとして送信バッファ 232へ出力される。
[0123] 送信バッファ 232では符号化装置が接続される伝送路の帯域や記録媒体の読み 出し速度に合わせてビットストリームを平滑化してビデオストリーム 233として出力する 。また、送信バッファ 232中のビットストリーム蓄積状況に応じて符号ィ匕制御部 217へ フィードバックをかけ、以降の映像フレームの符号化における発生符号量を制御する
[0124] なお、第 2のピクチャ符号化部 104の出力は、単一色成分のデータのみからなるス ライスであって、アクセスユニットをまとめた単位での符号量制御が必要となる場合に は、多重化部 105内に全色成分のスライスを多重した単位での共通送信バッファを 設け、同バッファの占有量をもとに各色成分の符号化制御部 217にフィードバックを かけるように構成してもよい。
[0125] また、この際、全色成分の発生情報量だけを用いて符号化制御を行うようにしても よいし、各色成分の送信バッファ 232の状態も加味して符号化制御を行うようにしても よい。全色成分の発生情報量だけを用いて符号化制御を行う場合は、送信バッファ 2 32相当の機能を多重化部 105内の共通送信バッファで実現することとして、送信バ ッファ 232を省略する構成をとることもできる。
[0126] 本実施の形態 7における第 2のピクチャ符号化部 104では、共通符号化'独立符号 化識別信号 101によつてシーケンス中のすべてのスライスデータが単一色成分スライ ス（すなわち、 COスライスまたは C1スライスまたは C2スライス）であることが識別可能 であるため、スライスヘッダに常に色成分識別フラグを多重化し、復号装置側でどの スライスがアクセスユニット内のどのピクチャデータに該当する力を識別できるように する。
[0127] このため、各第 2のピクチャ符号化部 104は、それぞれの送信バッファ 232からの出 力を 1ピクチャ分ためることなぐ 1スライス分のデータがたまった時点で送出すること ができる。
[0128] なお、第 1のピクチャ符号化部 102と第 2のピクチャ符号化部 104とは、マクロブロッ クヘッダ情報を 3成分共通の情報として扱うか、単一の色成分の情報として扱うかの 違いと、スライスデータのビットストリーム構成が異なるだけである。図 13や図 14にお ける予測部や変換部'逆変換部、量子化部'逆量子化部、デブロッキングフィルタな どの基本的な処理ブロックの多くは、 3つの色成分の情報とまとめて処理する力、、単 一の色成分の情報だけを扱うかの違いだけで、第 1のピクチャ符号化部 102と第 2の ピクチャ符号化部 104とで共通の機能ブロックで実現することもできる。 [0129] したがって、図 11のような完全に独立な符号化処理部としてだけでなぐ図 13や図 14の基本構成要素を適宜組み合わせて多様な符号化装置の実装を実現することが できる。また、第 1のピクチャ符号ィ匕部 102におけるメモリ 111の配置を面順次で持つ ことにすれば、参照画像格納メモリの構成を第 1のピクチャ符号化部 102と第 2のピク チヤ符号化部 104とで共通にできる。
[0130] また、図示はしていないが、本実施の形態における符号ィ匕装置では、図 9、図 10の 配列に従うビデオストリーム 106をバッファリングする仮想的なストリームバッファ（符 号化ピクチャバッファ）と、復号画像 313a、 313bをバッファリングする仮想的なフレー ムメモリ（復号ピクチャバッファ）の存在を想定し、符号ィ匕ピクチャバッファのオーバー フロ一.アンダーフローや、復号ピクチャバッファの破綻がないようにビデオストリーム
106を生成する。この制御は、主として、符号化制御部 117、 217で行う。
[0131] これにより、復号装置において、ビデオストリーム 106を符号ィ匕ピクチャバッファと復 号ピクチャバッファの動作 (仮想バッファモデル）に従って復号する場合に、復号装置 に破綻が生じないようにすることを保証する。仮想バッファモデルを以下に規定する。
[0132] 符号化ピクチャバッファの動作はアクセスユニット単位で行う。上述のとおり、共通 復号処理を行う場合には、 1アクセスユニットには 1ピクチャ分の符号化データが含ま れ、独立復号処理を行う場合に 1アクセスユニットには色成分数分のピクチャ（3成分 ならば 3ピクチャ分）の符号化データが含まれている。
[0133] 符号化ピクチャバッファについて規定される動作は、アクセスユニットの最初のビット と最後のビットが符号ィ匕ピクチャバッファに入力される時刻とアクセスユニットのビット が符号ィ匕ピクチャバッファから読み出される時刻である。なお、符号ィ匕ピクチャバッフ ァからの読み出しは瞬時に行われると規定し、アクセスユニットのすべてのビットが同 じ時刻に符号化ピクチャバッファから読み出されることする。
[0134] アクセスユニットのビットは、符号化ピクチャバッファから読み出されると、上位ヘッダ 解析部へ入力され、上述のとおり、第 1のピクチャ復号部または第 2のピクチャ復号部 にて復号処理が行われ、アクセスユニット単位に束ねられたカラー映像フレームとし て出力される。なお、符号化ピクチャバッファからビットを読み出して、アクセスユニット 単位のカラー映像フレームとして出力するまでの処理は、仮想バッファモデルの規定 上は瞬時に行われるものとする。
[0135] アクセスユニット単位に構成されたカラー映像フレームは、復号ピクチャバッファへ 入力され、復号ピクチャバッファからの出力時刻が算出される。復号ピクチャバッファ からの出力時刻は、符号化ピクチャバッファからの読み出し時刻に所定の遅延時間 を加えた値である。
[0136] この遅延時間は、ビットストリームに多重して復号装置を制御することが可能である 。遅延時間が 0の場合、すなわち復号ピクチャバッファからの出力時刻が符号ィ匕ピク チヤバッファからの読み出し時刻に等しい場合には、カラー映像フレームが復号ピク チヤバッファへ入力されると同時に復号ピクチャバッファから出力される。
[0137] それ以外の場合、すなわち復号ピクチャバッファからの出力時刻が符号ィ匕ピクチャ バッファからの読み出し時刻より遅い場合、復号ピクチャバッファからの出力時刻にな るまでカラー映像フレームは復号ピクチャバッファに保存される。上述のとおり、ァク セスユニット単位に復号ピクチャバッファからの動作が規定される。
[0138] 図 15に、本実施の形態 7の復号装置の概略構成を示す。同図において、共通復 号処理は、第 1のピクチャ復号部 302において実行され、独立復号処理は、色成分 判定部 303と第 2のピクチャ復号部 304 (3つの色成分分を用意）において実行され る。
[0139] ビットストリーム 106は、上位ヘッダ解析部 300で NALユニット単位に分割され、シ 一ケンスパラメータセットゃピクチャパラメータセットなどの上位ヘッダ情報は、そのま ま復号して復号装置内の第 1のピクチャ復号部 302、色成分判定部 303、第 2のピク チヤ復号部 304が参照可能な所定のメモリエリアへ格納しておく。シーケンス単位に 多重される共通符号化'独立符号化識別信号 (num_pictures_in_au)は、上位ヘッダ情 報の一部として復号'保持される。
[0140] 復号された num_pictures_in_auはスィッチ（SW) 301に供給され、スィッチ 301は、 nu m_pictures_in_au = 1ならば、ピクチャごとのスライス NALユニットを第 1のピクチャ復 号部 302へ供給し、 num_pictures_in_au = 3ならば、色成分判定部 303に供給する。
[0141] すなわち、 num_pictures_in_au = 1ならば第 1のピクチャ復号部 302により、共通復号 処理が行われ、 num_pictures_in_au = 3ならば 3つの第 2のピクチャ復号部 304により、 独立復号処理が行われる。第 1および第 2のピクチャ復号部の詳細な動作は後述す る。
[0142] 色成分判定部 303は、どの色成分のものに対する符号化データであるかを示すパ ラメータを検出する検出手段をなすもので、図 10で示した色成分識別フラグの値に より、スライス NALユニットが現在のアクセスユニット内のいずれの色成分ピクチヤに 相当するかを識別して、適切な第 2のピクチャ復号部 304へ分配供給する。
[0143] このような復号装置の構成によって、図 12のようにアクセスユニット内でスライスがィ ンタリーブされて符号化されたビットストリームを受信しても、どのスライスがどの色成 分ピクチャに属するかを容易に判別し正しく復号できる効果がある。
[0144] 第 1のピクチャ復号部 302の動作概要
第 1のピクチャ復号部 302の内部構成を図 16に示す。第 1のピクチャ復号部 302は 、図 11の符号ィ匕装置から出力される図 9，図 10の配列に従うビットストリーム 106を、 C0、 Cl、 C2混在スライスの単位で受信して、図 6に示す 3つの色成分のサンプルか らなるマクロブロックを単位として復号処理を行レ、、出力映像フレームを復元する。
[0145] 可変長復号部 310は、ビットストリーム 106を入力とし、所定の規則（シンタックス）に 従ってビットストリーム 106を解読して、 3成分分の量子化済み変換係数 122、および 3成分で共通して用いられるマクロブロックヘッダ情報（マクロブロックタイプ/サブマ クロブロックタイプ 116、予測オーバヘッド情報 112、変換ブロックサイズ指定フラグ 1 34、量子化パラメータ 121)を抽出する。量子化済み変換係数 122は量子化パラメ ータ 121とともに、第 1のピクチャ符号ィ匕部 102と同じ処理を行う逆量子化部 124へ 入力され、逆量子化処理が行われる。
[0146] 次いで、その出力が第 1のピクチャ符号ィ匕部 102と同じ処理を行う逆変換部 125へ 入力され、局部復号予測差分信号 126へ復元される (変換ブロックサイズ指定フラグ 134がビットストリーム 106中に存在すれば、それを逆量子化、逆変換処理過程で参 照する）。
[0147] 一方、予測部 311は、第 1のピクチャ符号化部 102中の予測部 110のうち、予測ォ ーバヘッド情報 112を参照して予測画像 127を生成する処理だけが含まれ、予測部 311に対してマクロブロックタイプ/サブマクロブロックタイプ 116、予測オーバヘッド 情報 112が入力され、 3成分分の予測画像 127を得る。
[0148] マクロブロックタイプがイントラ予測であることを示す場合は、予測オーバヘッド情報 112からイントラ予測モード情報に従って 3成分分の予測画像 127を得、マクロブロッ クタイプ力 Sインター予測であることを示す場合は、予測オーバヘッド情報 112から動き ベクトル、参照画像インデックスに従って 3成分分の予測画像 127を得る。
[0149] 局部復号予測差分信号 126と予測画像 127は加算器 128により加算され、 3成分 分の暫定復号画像 129を得る。暫定復号画像 129は以降のマクロブロックの動き補 償予測に用いられるため、第 1のピクチャ符号ィ匕部 102と同じ処理を行うデブロッキン グフィルタ 130で 3成分分の暫定復号画像サンプルに対してブロックひずみ除去処 理を実施した後、復号画像 313として出力されるとともに、メモリ 312へ格納される。
[0150] この際、可変長復号部 310によって解読されたデブロッキングフィルタ制御フラグ 1 31の指示に基づいてデブロッキングフィルタ処理を暫定復号画像 129に対して作用 させる。メモリ 312には、複数時刻に渡る、 3つの色成分で構成される複数枚の参照 画像データが格納される。
[0151] 予測部 311では、これらの中力もマクロブロックの単位でビットストリームから抽出し た参照画像インデックスで示される参照画像を選択して予測画像生成を行う。メモリ 3 12内の参照画像データの配置は、色成分ごとに面順次で分けて格納してもよいし、 各色成分のサンプルを点順次で格納してもよい。復号画像 313は 3つの色成分を含 み、そのまま共通復号処理におけるアクセスユニット 313aを構成するカラー映像フレ ームとなる。
[0152] 第 2のピクチャ復号部 304の動作概要
第 2のピクチャ復号部 304の内部構成を図 17に示す。第 2のピクチャ復号部 304は 、図 11の符号ィ匕装置から出力される図 9，図 10の配列に従うビットストリーム 106が、 色成分判定部 303で振り分けられた COないしは、 C1ないしは、 C2スライス NALュ ニット 450の単位で受信して、図 7に示す単一色成分のサンプルからなるマクロブロッ クを単位として復号処理を行い、出力映像フレームを復元する。
[0153] 可変長復号部 410は、ビットストリーム 450を入力とし、所定の規則（シンタックス）に 従ってビットストリーム 450を解読して、単一色成分の量子化済み変換係数 222、お よび単一色成分に適用するマクロブロックヘッダ情報（マクロブロックタイプ/サブマ クロブロックタイプ 216、予測オーバヘッド情報 212、変換ブロックサイズ指定フラグ 2 34、量子化パラメータ 221)を抽出する。
[0154] 量子化済み変換係数 222は量子化パラメータ 221とともに第 2のピクチャ符号化部 104と同じ処理を行う逆量子化部 224へ入力され、逆量子化処理が行われる。次い でその出力が第 2のピクチャ符号ィ匕部 104と同じ処理を行う逆変換部 225へ入力さ れ、局部復号予測差分信号 226へ復元される（変換ブロックサイズ指定フラグ 234が ビットストリーム 450中に存在すれば、それを逆量子化、逆直交変換処理過程で参照 する)。
[0155] 一方、予測部 311は、第 2のピクチャ符号化部 104中の予測部 210のうち、予測ォ ーバヘッド情報 212を参照して予測画像 227を生成する処理だけが含まれ、予測部 411に対してマクロブロックタイプ/サブマクロブロックタイプ 216、予測オーバヘッド 情報 212が入力され、単一色成分の予測画像 227を得る。
[0156] マクロブロックタイプがイントラ予測であることを示す場合は、予測オーバヘッド情報 212からイントラ予測モード情報に従って単一色成分の予測画像 227を得、マクロブ ロックタイプがインター予測であることを示す場合は、予測オーバヘッド情報 212から 動きベクトル、参照画像インデックスに従って単一色成分の予測画像 227を得る。
[0157] 局部復号予測差分信号 226と予測画像 227は加算器 228により加算され、単一色 成分マクロブロックの暫定復号画像 229を得る。暫定復号画像 229は以降のマクロ ブロックの動き補償予測に用いられるため、第 2のピクチャ符号ィ匕部 104と同じ処理 を行うデブロッキングフィルタ 230で単一色成分の暫定復号画像サンプルに対してブ ロックひずみ除去処理を実施した後、復号画像 451として出力されるとともに、メモリ 4 12へ格納される。
[0158] この際、可変長復号部 410によって解読されたデブロッキングフィルタ制御フラグ 2 31の指示に基づいてデブロッキングフィルタ処理を暫定復号画像 229に対して作用 させる。復号画像 410は単一色成分のサンプルのみを含み、図 15における他の並 列処理される第 2のピクチャ復号部 304のそれぞれの出力をアクセスユニット 313bの 単位に束ねることで、カラー映像フレームとして構成される。 [0159] 以上のことから明らかなように、第 1のピクチャ復号部 302と第 2のピクチャ復号部 3 04とは、マクロブロックヘッダ情報を 3成分共通の情報として扱うか、単一の色成分の 情報として扱うかの違いと、スライスデータのビットストリーム構成が異なるだけで、図 1 3や図 14における動き補償予測処理や逆変換、逆量子化などの基本的な復号処理 ブロックの多くは第 1のピクチャ復号部 302と第 2のピクチャ復号部 304とで共通の機 能ブロックで実現できる。
[0160] したがって、図 15のような完全に独立な符号化処理部としてだけでなぐ図 16や図
17の基本構成要素を適宜組み合わせて多様な復号装置の実装を実現することがで きる。現時点で具体的な装置構成は記述しきれないが · · ·また、第 1のピクチャ復号 部 302におけるメモリ 312の配置を面順次で持つことにすれば、メモリ 312、メモリ 41 2の構成を第 1のピクチャ復号部 302と第 2のピクチャ復号部 304とで共通にできる。
[0161] なお、図 15の復号装置は、図 11の符号化装置の別の形態として、共通符号化'独 立符号化識別信号 3を常に「独立符号化処理」に固定化して、第 1のピクチャ符号化 部 102を一切使用せず全フレームを独立符号化するように構成された符号化装置か ら出力されるビットストリームを受信して復号することももちろん可能である。
[0162] また、図 15の復号装置の別の形態として、常に共通符号化'独立符号化識別信号
3が「独立符号化処理」に固定化されることを前提とする利用形態では、スィッチ 301 や第 1のピクチャ復号部 302を省略した独立復号処理を行うのみの復号装置として 構成してもよい。
[0163] さらに、第 1のピクチャ復号部 302に、従来の YUV (輝度信号 (Y)と、輝度信号と青 色成分の差 (U)、輝度信号と赤色成分の差 (V)の 3つの情報で色を表す形式の信号 ) 4 : 2 : 0フォーマットを対象として 3成分まとめて符号化された AVCハイプロファイル 準拠のビットストリームの復号機能を備えるようにし、上位ヘッダ解析部 300において 、ビットストリーム 106から復号するプロファイル識別子を参照していずれのフォーマツ トで符号化されたビットストリームかを判定し、判定結果を共通符号化'独立符号化識 別信号 3の信号線の情報の一部としてスィッチ 301と第 1のピクチャ復号部 302に伝 える構成をとれば、従来の YUV4 : 2 : 0フォーマットのビットストリームに対する互換性 を確保する復号装置を構成することもできる。 [0164] なお、本実施の形態 7における第 1のピクチャ符号化部 102では、スライスデータに 3つの色成分の情報が混在し、かつ 3つの色成分に対してまったく同じイントラ 'イン ター予測処理を実施するため、予測誤差信号空間で、色成分間での信号相関が残 存することがある。
[0165] これを除去する工夫として、例えば、予測誤差信号に対して、色空間変換処理を施 すように構成してもよい。このような構成をもつ第 1のピクチャ符号化部 102の例を図 18,図 19に示す。なお、図 18，図 19において、色空間変換部及び逆色空間変換部 以外は図 13と共通する。
[0166] 図 18は、色空間変換処理を、変換処理を行う前の画素レベルで実施する例であり 、色空間変換部 150aを変換部の前に、逆色空間変換部 151aを逆変換部の後に配 置する。
[0167] 図 19は、色空間変換処理を、変換処理を行った後で得られた係数データに対して 処理対象の周波数成分を適宜選択しながら実施 HHI提案する例であり、色空間変 換部 150bを変換部の後に、逆色空間変換部 151bを逆変換部の前に配置する。色 空間変換を施す周波数成分を限定することで、特定の色成分に含まれる高周波ノィ ズ成分がノイズをあまり含まない他の色成分に伝播することを抑制することができる効 果がある。
[0168] 色空間変換処理の対象となる周波数成分を適応選択可能とする場合には、復号側 で符号化時の選択を判断するためのシグナリング情報 152aa、 152bをビットストリー ムに多重化する。
[0169] 色空間変換処理は、符号化対象の画像信号の性質に応じて複数の変換方式をマ クロブロック単位に切り替えて使用するようにしてもよいし、マクロブロックの単位で変 換有無を判定するように構成してもよい。選択可能な変換方式の種別をシーケンスレ ベルなどで指定しておき、それらの中からどれを選ぶかをピクチャ、スライス、マクロブ ロックなどの単位で指定するようにも構成できる。また、直交変換の前で実施するか、 後で実施するかを選択可能なように構成してもよレ、。
[0170] これらの適応符号化処理を行う場合は、選択可能なすべての選択肢について、符 号化モード判定部 115ないし 215で符号化効率の評価を行ってもっとも符号化効率 が高いものを選択するように構成することができる。これらの適応符号化処理を実施 する場合は、復号側で符号化時の選択を判断するためのシグナリング情報 152a、 1 52bをビットストリームに多重化する。このようなシグナリングは、スライス、ピクチャ、 G OP、シーケンスなどマクロブロックとは異なるレベルで指定してもよレ、。
[0171] 図 18,図 19の符号化装置に対応する復号装置を図 20,図 21に示す。なお、図 20 ,図 21において、逆色空間変換部以外は図 16と共通する。図 20は、図 18の符号化 装置によって、変換処理前に色空間変換が行われて符号化されたビットストリームを 復号する復号装置である。
[0172] 可変長復号部はビットストリームから、逆色空間変換部 151aにおいて変換を行うか 行わなレ、かを選択する変換有無の情報や、逆色空間変換部において実行可能な変 換方式を選択する情報 152aaを復号して、逆色空間変換部 151aへ供給する。図 20 の復号装置は、逆色空間変換部 151aにおいて、これらの情報に基づいて逆変換後 の予測誤差信号に対する色空間変換処理を実施する。
[0173] また、図 21は、図 19の符号化装置によって、変換処理後に処理対象の周波数成 分を選択して色空間変換を行うことによって符号化されたビットストリームを復号する 復号装置である。可変長復号部はビットストリームから、逆色空間変換部 151bにお いて変換を行うか行わないかを選択する変換有無の情報や、逆色空間変換部にお いて実行される変換方式を選択する情報や、色空間変換を施す周波数成分を特定 する情報などを含む識別情報 152bを復号して逆色空間変換部 151bに供給する。 図 21の復号装置は、逆色空間変換部 151bにおいて、これらの情報に基づいて逆 量子化後の変換係数データに対し色空間変換処理を実施する。
[0174] 図 20、図 21の復号装置は、図 15の復号装置と同様、第 1のピクチャ復号部 302に 、従来の YUV4： 2： 0フォーマットを対象として 3成分まとめて符号化された AVCハイ プロファイル準拠のビットストリームの復号機能を備えるようにし、上位ヘッダ解析部 3 00において、ビデオストリーム 106から復号するプロファイル識別子を参照していず れのフォーマットで符号ィ匕されたビットストリームかを判定し、判定結果を共通符号ィ匕 •独立符号化識別信号 101の信号線の情報の一部としてスィッチ 10と第 1のピクチャ 復号部 302に伝える構成をとれば、従来の YUV4： 2： 0フォーマットのビットストリーム に対する互換性を確保する復号装置を構成することもできる。
[0175] 図 22に従来の YUV4 : 2 : 0フォーマットのビットストリームに含まれるマクロブロック ヘッダ情報の符号化データの構成を示す。マクロブロックタイプがイントラ予測のとき に、イントラ色差予測モード 500の符号化データが含まれている。マクロブロックタイ プがインター予測のときには、マクロブロックヘッダ情報に含まれる参照画像識別番 号、動きベクトル情報を用いて輝度成分とは異なる方法で色差成分の動きベクトルが 生成される。
[0176] 従来の YUV4 : 2 : 0フォーマットのビットストリームに対する互換性を確保する復号 装置の動作について説明する。上述のとおり、第 1のピクチャ復号部 302が従来の Y UV4 : 2 : 0フォーマットのビットストリームの復号機能を備えるものとする。第 1のピクチ ャ復号部の内部構成は図 16と同じである。
[0177] 従来の YUV4 : 2 : 0フォーマットのビットストリームの復号機能を備えた第 1のピクチ ャ復号部 302の可変長復号部 310の動作を説明する。ビデオストリーム 106が可変 長復号部 310へ入力されると、色差フォーマット指示フラグを復号する。色差フォー マット指示フラグは、ビデオストリーム 106のシーケンスパラメータヘッダに含まれ、入 力映像フォーマットが 4 : 4 : 4か、 4 : 2 : 2か、 4 : 2 : 0か、 4 : 0 : 0かのいずれかのフォー マットを示すフラグである。
[0178] ビデオストリーム 106のマクロブロックヘッダ情報の復号処理は色差フォーマット指 示フラグの値によって切り替えられる。マクロブロックタイプがイントラ予測を示してい る場合で、色差フォーマット指示フラグが 4： 2： 0または 4： 2： 2を示してレ、る場合には イントラ色差予測モードをビットストリームから復号する。色差フォーマット指示フラグ が 4： 4： 4を示してレ、る場合にはイントラ色差予測モードの復号をスキップする。色差 フォーマット指示フラグが 4： 0： 0を示してレ、る場合、入力映像信号は輝度信号のみ で構成されるフォーマット (4： 0： 0フォーマット)であるため、イントラ色差予測モードの 復号をスキップする。
[0179] イントラ色差予測モード以外のマクロブロックヘッダ情報の復号処理は、従来の YU V4 : 2 : 0フォーマットのビットストリームの復号機能を備えてレ、なレ、第 1のピクチャ復号 部 302の可変長復号部 310と同じである。 [0180] 以上により、ビデオストリーム 106が可変長復号部 310へ入力されると、色差フォー マット指示フラグ (図示せず)、 3成分分の量子化済み変換係数、マクロブロックヘッダ 情報（マクロブロックタイプ/サブマクロブロックタイプ、予測オーバヘッド情報、変換 ブロックサイズ指定フラグ、量子化パラメータ）を抽出する。予測部 311には、色差指 示フォーマット指示フラグ (図示せず)と予測オーバヘッド情報が入力され、 3成分分 の予測画像 127を得る。
[0181] 図 23に従来の YUV4 : 2 : 0フォーマットのビットストリームに対する互換性を確保す る第 1のピクチャ復号部 302の予測部 311の内部構成を示し、その動作を説明する。
[0182] 切替部 501は、マクロブロックタイプを判別し、マクロブロックタイプがイントラ予測で あることを示す場合は、切替部 502にて色差フォーマット指示フラグの値を判別する 。色差フォーマット指示フラグの値力 4 : 2 : 0または 4： 2： 2のレ、ずれかを示す場合に は、予測オーバヘッド情報力もイントラ予測モード情報とイントラ色差予測モード情報 に従って 3成分分の予測画像 127を得る。 3成分のうち、輝度信号の予測画像は、ィ ントラ予測モード情報に従って輝度信号イントラ予測部にて生成される。
[0183] 色差信号 2成分の予測画像は、イントラ色差予測モード情報に従って、輝度成分と は異なる処理を行う色差信号イントラ予測部にて生成される。色差フォーマット指示フ ラグの値が、 4 : 4 : 4を示す場合には、 3成分すベての予測画像がイントラ予測モード 情報に従って輝度信号イントラ予測部にて生成される。色差フォーマット指示フラグ の値が、 4 : 0 : 0を示す場合には、 4 : 0 : 0フォーマットは輝度信号 (1成分)のみで構成 されるため、輝度信号の予測画像のみがイントラ予測モード情報に従って輝度信号 イントラ予測部にて生成される。
[0184] 切替部 501にてマクロブロックタイプがインター予測であることを示す場合は、切替 部 503にて色差フォーマット指示フラグの値を判別する。色差フォーマット指示フラグ の値が 4： 2： 0または 4： 2： 2のレ、ずれかを示す場合には、輝度信号にっレ、ては、輝 度信号インター予測部にて予測オーバヘッド情報から動きベクトル、参照画像インデ ッタスに従って、 AVC規格が定める輝度信号の予測画像生成方法に従って予測画 像が生成される。
[0185] 色差信号 2成分の予測画像については、色差信号インター予測部にて、予測ォー バヘッド情報から得られる動きベクトルを色差フォーマットに基づいてスケーリングし て色差動きベクトルを生成し、予測オーバヘッド情報から得られる参照画像インデッ タスが指示する参照画像から、上記色差動きベクトルに基づレ、て AVC規格の定める 方法に従って予測画像が生成される。色差フォーマット指示フラグの値が、 4 : 0 : 0を 示す場合には、 4 : 0 : 0フォーマットは輝度信号 (1成分)のみで構成されるため、輝度 信号の予測画像のみが動きベクトル、参照画像インデックスに従って輝度信号インタ 一予測部にて生成される。
[0186] 以上のように、従来の YUV4 : 2 : 0フォーマットの色差信号の予測画像を生成する 手段を設け、ビットストリームから復号した色差フォーマット指示フラグの値に応じて 3 成分の予測画像の生成に用いる手段を切り替えるようにしたため、従来の YUV4 : 2 : 0フォーマットのビットストリームに対する互換性を確保する復号装置を構成すること ができる。
[0187] なお、図 20,図 21の復号装置に供給するビットストリーム 106に、図 15の復号装置 のように色空間変換処理をサポートしない復号装置でも復号が可能であるビットストリ ームかどうかを示す情報をシーケンスパラメータセットなどの単位で付与しておけば、 図 20,図 21、図 15のいずれの復号装置でもそれぞれの復号性能に応じたビットスト リームの復号が可能であり、ビットストリームの互換性を確保しやすい効果がある。
[0188] 実施の形態 8.
本実施の形態 8では、図 11や図 15など実施の形態 7の符号ィヒ装置 *復号装置に おいて、その入出力対象となるビットストリームの構成のみが異なる別の実施の形態 について述べる。本実施の形態 8における符号化装置は、図 24に示すビットストリー ム構成で符号化データの多重化を行う。
[0189] 図 9の構成のビットストリームにおいて、 AUD NALユニットは、その要素として pri mary_pic_typeとレ、う情報を含む。これは、表に示されるように、 AUD NALユニット で始まるアクセスユニット内のピクチャデータが符号化される際のピクチャ符号化タイ プの情報を示す。
[0190] [表 1] Meaning of primary .pic type (規格より抜粋)
Figure imgf000038_0001
[0191] 例えば、 primary_pic_type = 0の場合は、ピクチャ内すべてがイントラ符号化されて レ、ることを示す。 primary_pic_type = 1の場合は、イントラ符号化されるスライスと、参照 ピクチャリストを 1つだけ使用して動き補償予測を行うことが可能なスライスとがピクチ ャ内で混在できることを示す。 primary_pic_typeは、 1つのピクチヤがどのような符号化 モードを使用して符号化できるかを規定する情報であるので、符号化装置側ではこ の情報を操作することで、入力映像信号の性質やランダムアクセス機能などの種々 の条件に適した符号化を行うことができる。
[0192] 実施の形態 7では、 primary_pic_typeがアクセスユニットあたり 1つだけしかないので 、独立符号化処理を行う場合のアクセスユニットでは 3つの色成分ピクチヤで primary _pic_typeは共通とする。本実施の形態 8では、各色成分ピクチヤの独立符号化を行う 場合に、図 9の AUD NALユニット内に、 num_pictures_in_auの値に応じて、追加で 残り 2つの色成分ピクチャ分の primary_pic_typeを挿入するか、図 24のビットストリー ム構成のように、各色成分ピクチヤの符号化データを、色成分ピクチヤの開始を示す NALユニット（Color Channel Delimiter)から開始するように構成し、この CCD NAL ユニット中に、対応するピクチャの primary_pic_type情報を含むように構成する。なお、 実施の形態 8の CCD NALユニットの概念は、図 4で開示されている概念と等価であ る。
[0193] この構成では、各色成分ピクチヤの符号ィ匕データは 1ピクチャ分まとめて多重される ので、実施の形態 7で述べた色成分識別フラグ（color_channel_idc)はスライスヘッダ ではなぐ CCD NALユニットに含めるようにする。これにより、各スライスへの多重が 必要であった色成分識別フラグの情報をピクチャ単位のデータに集約できるので、ォ ーバヘッド情報を削減できる効果がある。
[0194] また、バイト列として構成される CCD NALユニットを検出して color_channeUdcを色 成分ピクチャあたり 1度だけ検証すればよぐ可変長復号処理を行うことなく色成分ピ クチャの先頭をすばやく見つけることができるので、復号装置側で、色成分ごとに復 号対象の NALユニットを分離するためにスライスヘッダ中の color_channel_idcを逐一 検証しなくてもよくなり、第 2のピクチャ復号部へのデータ供給を円滑に行うことができ る。
[0195] 一方で、このような構成では、実施の形態 7の図 12で述べたような、符号化装置の バッファサイズ、処理遅延を低減する効果が薄れるため、色成分識別フラグはスライ ス単位に多重する力、色成分ピクチャ単位に多重するかをより上位のレベル (シーケ ンスゃ GOP)でシグナリングするように構成してもよい。このようなビットストリーム構成 をとることで、符号ィ匕装置はその利用形態に応じて柔軟な実装を行うことが可能とな る。
[0196] 実施の形態 9
さらに、別の実施の形態として、図 25に示すビットストリーム構成で符号化データの 多重化を行ってもよい。同図において、図 24では CCD NALユニットに含むようにし た color_channel_idc , primary_pic_typeは各 AUDに含むようにする。本実施の形態 9 におけるビットストリーム構成では、独立符号化処理の場合にも、 1つのアクセスュニ ットに 1つの（色成分)ピクチャが含まれるように構成する。すなわち、図 25において は、 1ピクチャ（1色成分） = 1アクセスユニットとして定義する。
[0197] このような構成でも、色成分識別フラグの情報をピクチャ単位のデータに集約できる ことによるオーバヘッド情報の削減効果、また、バイト列として構成される AUD NA Lユニットを検出して color_channeUdcをピクチャあたり 1度だけ検証すればよぐ可変 長復号処理を行うことなく色成分ピクチヤの先頭をすばやく見つけることができるので 、復号装置側で、色成分ごとに復号対象の NALユニットを分離するためにスライスへ ッダ中の color_channel_idcを逐一検証することなく第 2のピクチャ復号部へのデータ供 給を円滑に行うことができる。
[0198] 一方、 1フレームないしは 1フィールドの画像は 3つのアクセスユニットから構成され るため、 3つのアクセスユニットが同一時刻の画像データであることを指定する必要が ある。このため、図 25のビットストリーム構成では、さらに AUDの中に、各ピクチャの シーケンス番号 (時間方向の符号化'復号順序等)を付与するように構成することもで きる。
[0199] このような構成によって、復号装置側では、各ピクチャの復号'表示順や色成分属 性、 IDRの是非などを、スライスデータを一切復号することなく検証可能となり、ビット ストリームレベルの編集や特殊再生を効率よく行うことが可能となる。
[0200] また、図 9、図 24ないしは図 25のビットストリーム構成において、 AUDや CCDの領 域に、ひとつの色成分ピクチヤに含まれるスライス NALユニットの個数を指定する情 報を格納するように構成してもよレ、。
[0201] なお、上記すベての実施の形態について、変換処理、逆変換処理は、 DCTのよう に直交性を保証する変換でもよいし、 AVCのような、厳密には DCTのような直交変 換でなぐ量子化'逆量子化処理と組み合わせて直交性を近似する変換であっても よい。また、変換を行わずに、予測誤差信号を画素レベルの情報として符号ィ匕するよ うな構成であってもよい。

Claims

請求の範囲
[1] 複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符号化方法に おいて、
それぞれの色成分の入力画像信号を独立に符号化処理を行うことにより得られる 符号化データと、前記符号ィヒデータがどの色成分のデータに対してのものであるか を示すパラメータとを、ビットストリームに多重する
ことを特徴とする画像符号化方法。
[2] 請求項 1に記載の画像符号化方法にぉレ、て、
前記符号化データがどの色成分のデータに対してのものであるかを示すパラメータ は、前記ビットストリームのシンタックスのうち、スライスヘッダの一部に含まれる ことを特徴とする画像符号化方法。
[3] 請求項 1に記載の画像符号化方法にぉレ、て、
前記色成分のデータは、一つのアクセスユニットの中にデリミタで各色成分毎に区 切られてまとめて並べられる
ことを特徴とする画像符号化方法。
[4] 請求項 1に記載の画像符号化方法において、
前記符号化データがどの色成分のものに対してのものであるかを示すパラメータは 、前記ビットストリームのシンタックスのうち、 NALユニットのヘッダ情報の一部に含ま れる
ことを特徴とする画像符号ィヒ方法。
[5] 請求項 1に記載の画像符号化方法において、
前記符号化データのスライスの空間的な構造を全ての色成分に対して共通とする ことを特徴とする画像符号ィヒ方法。
[6] 請求項 1に記載の画像符号化方法において、
前記符号化データの符号化のタイプを全ての色成分に対して共通とする ことを特徴とする画像符号化方法。
[7] 請求項 1に記載の画像符号化方法にぉレ、て、
前記符号化データのシーケンスパラメータセットの IDに複数のフォーマットのパラメ ータをセットして、異なるフォーマットで符号化処理を行うモードを切り替える ことを特徴とする画像符号化方法。
[8] 複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理 を行う画像復号方法において、
どの色成分のものに対する符号ィ匕データであるかを示すパラメータを用いてそれぞ れの色成分の符号化データの復号処理を行う
ことを特徴とする画像復号方法。
[9] 請求項 8に記載の画像復号方法において、
前記符号化データがどの色成分のデータに対してのものであるかを示すパラメータ を、前記ビットストリームのシンタックスのうち、スライスヘッダの一部力、ら検出する ことを特徴とする画像復号方法。
[10] 請求項 8に記載の画像復号方法において、
一つのアクセスユニットの中にデリミタで各色成分毎に区切られてまとめて並べられ る前記色成分の符号化データを検出する
ことを特徴とする画像復号方法。
[11] 請求項 8に記載の画像復号方法において、
前記符号化データがどの色成分のものに対してのものであるかを示すパラメータを 、前記ビットストリームのシンタックスのうち、 NALユニットのヘッダ情報の一部力ら検 出する
ことを特徴とする画像復号方法。
[12] 請求項 8に記載の画像復号方式において、
前記符号化データのスライスの空間的な構造を全ての色成分に対して共通とする ことを特徴とする画像復号方法。
[13] 請求項 8に記載の画像復号方法において、
前記符号化データの符号化のタイプを全ての色成分に対して共通とする ことを特徴とする画像復号方法。
[14] 請求項 8に記載の画像復号方法において、
前記符号化データのシーケンスパラメータセットの IDに含まれる複数のフォーマット のパラメータに基づき、異なるフォーマットで復号処理を行うモードを切り替える ことを特徴とする画像復号方法。
[15] 複数の色成分からなる入力画像信号に対して圧縮処理を行う画像符号化装置に おいて、
それぞれの色成分の入力画像信号を独立に符号化処理を行うことにより得られる 符号化データと、前記符号ィヒデータがどの色成分のデータに対してのものであるか を示すパラメータとを、ビットストリームに多重する多重手段を備えた
ことを特徴とする画像符号化装置。
[16] 複数の色成分からなる画像信号が圧縮されたビットストリームを入力して復号処理 を行う画像復号装置において、
どの色成分のものに対する符号ィ匕データであるかを示すパラメータを検出する検出 手段を備え、検出されたパラメータを用いてそれぞれの色成分の符号ィ匕データの復 号処理を行う
ことを特徴とする画像復号装置。
[17] 複数の色成分からなる入力画像信号を圧縮符号化した結果生成されるビットストリ ームであって、各色成分の画像信号の圧縮データをスライス単位に構成し、該スライ スのヘッダ領域に該スライスデータがいずれの色成分の圧縮データを含むか否かを 示すパラメータが多重されることを特徴とする画像符号化ビットストリーム。
[18] 複数の色成分からなる入力画像信号を圧縮符号化した結果生成されるビットストリ ームであって、各色成分の画像信号の圧縮データをスライス単位に構成し、該スライ スのヘッダ領域に該スライスデータがいずれの色成分の圧縮データを含むか否かを 示すパラメータが多重された画像符号ィ匕ビットストリームが記録された記録媒体。
PCT/JP2006/312248 2005-09-20 2006-06-19 画像符号化方法および画像復号方法、画像符号化装置および画像復号装置、並びに画像符号化ビットストリーム及び記録媒体 WO2007034601A1 (ja)

Priority Applications (15)

Application Number Priority Date Filing Date Title
CN200680025228XA CN101218831B (zh) 2005-09-20 2006-06-19 图像解码方法以及图像解码装置
CA 2623297 CA2623297C (en) 2005-09-20 2006-06-19 Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
JP2006541534A JP4964595B2 (ja) 2005-09-20 2006-06-19 画像復号装置及び方法
KR1020117010050A KR101139138B1 (ko) 2005-09-20 2006-06-19 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치 및 화상 복호 방법
KR1020107017551A KR101099865B1 (ko) 2005-09-20 2006-06-19 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치 및 화상 복호 방법
EP06766912.7A EP1928184B1 (en) 2005-09-20 2006-06-19 Image encoding apparatus, image encoding method
BRPI0611668-0A BRPI0611668B1 (pt) 2005-09-20 2006-06-19 Decodificador de imagem, e, método de decodificação de imagem
US11/912,563 US8320462B2 (en) 2005-09-20 2006-06-19 Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoded bitstream and recording medium
US11/980,422 US20080130740A1 (en) 2005-09-20 2007-10-31 Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US11/980,512 US8300694B2 (en) 2005-09-20 2007-10-31 Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US11/980,533 US20080123737A1 (en) 2005-09-20 2007-10-31 Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US11/980,521 US8306112B2 (en) 2005-09-20 2007-10-31 Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US11/980,518 US20080137732A1 (en) 2005-09-20 2007-10-31 Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US11/980,527 US8165392B2 (en) 2005-09-20 2007-10-31 Image decoder and image decoding method for decoding color image signal, and image decoding method for performing decoding processing
US11/980,402 US8300700B2 (en) 2005-09-20 2007-10-31 Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005272500 2005-09-20
JP2005-272500 2005-09-20
JP2006-083524 2006-03-24
JP2006083524 2006-03-24

Related Child Applications (8)

Application Number Title Priority Date Filing Date
US11/912,563 A-371-Of-International US8320462B2 (en) 2005-09-20 2006-06-19 Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoded bitstream and recording medium
US11/980,533 Division US20080123737A1 (en) 2005-09-20 2007-10-31 Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US11/980,512 Division US8300694B2 (en) 2005-09-20 2007-10-31 Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US11/980,422 Division US20080130740A1 (en) 2005-09-20 2007-10-31 Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US11/980,402 Division US8300700B2 (en) 2005-09-20 2007-10-31 Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US11/980,521 Division US8306112B2 (en) 2005-09-20 2007-10-31 Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US11/980,527 Division US8165392B2 (en) 2005-09-20 2007-10-31 Image decoder and image decoding method for decoding color image signal, and image decoding method for performing decoding processing
US11/980,518 Division US20080137732A1 (en) 2005-09-20 2007-10-31 Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium

Publications (1)

Publication Number Publication Date
WO2007034601A1 true WO2007034601A1 (ja) 2007-03-29

Family

ID=37888657

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/312248 WO2007034601A1 (ja) 2005-09-20 2006-06-19 画像符号化方法および画像復号方法、画像符号化装置および画像復号装置、並びに画像符号化ビットストリーム及び記録媒体

Country Status (9)

Country Link
US (2) US8320462B2 (ja)
EP (5) EP2228994A3 (ja)
JP (2) JP4964595B2 (ja)
KR (4) KR101139138B1 (ja)
CN (10) CN101931801A (ja)
BR (1) BRPI0611668B1 (ja)
CA (2) CA2623297C (ja)
RU (3) RU2426268C2 (ja)
WO (1) WO2007034601A1 (ja)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008132791A1 (ja) * 2007-04-13 2008-11-06 Panasonic Corporation 画像処理装置、集積回路及び画像処理方法
JP2009177787A (ja) * 2008-01-25 2009-08-06 Samsung Electronics Co Ltd 映像の符号化、復号化の方法及びその装置
JP2009531946A (ja) * 2006-03-28 2009-09-03 サムスン エレクトロニクス カンパニー リミテッド 画像符号化／復号化方法及び装置
WO2012029884A1 (ja) * 2010-09-03 2012-03-08 ソニー株式会社 符号化装置および符号化方法、並びに復号装置および復号方法
JP2012142844A (ja) * 2011-01-05 2012-07-26 Seikei Gakuen カラー動画像符号化方法及びカラー動画像符号化装置
WO2012176406A1 (ja) * 2011-06-23 2012-12-27 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法及び画像復号プログラム
WO2012176405A1 (ja) * 2011-06-20 2012-12-27 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法及び画像復号プログラム
JP2013005344A (ja) * 2011-06-20 2013-01-07 Jvc Kenwood Corp 画像復号装置、画像復号方法及び画像復号プログラム
JP2013005343A (ja) * 2011-06-20 2013-01-07 Jvc Kenwood Corp 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP2013009103A (ja) * 2011-06-23 2013-01-10 Jvc Kenwood Corp 画像復号装置、画像復号方法及び画像復号プログラム
JP2013009102A (ja) * 2011-06-23 2013-01-10 Jvc Kenwood Corp 画像符号化装置、画像符号化方法及び画像符号化プログラム
US8369404B2 (en) 2007-01-12 2013-02-05 Mitsubishi Electric Corporation Moving image decoding device and moving image decoding method
JP2013176168A (ja) * 2007-06-28 2013-09-05 Mitsubishi Electric Corp 画像符号化装置および画像復号装置
JP2014014135A (ja) * 2013-08-30 2014-01-23 Jvc Kenwood Corp 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2014014137A (ja) * 2013-08-30 2014-01-23 Jvc Kenwood Corp 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2014014136A (ja) * 2013-08-30 2014-01-23 Jvc Kenwood Corp 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2014014134A (ja) * 2013-08-30 2014-01-23 Jvc Kenwood Corp 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
US8655087B2 (en) 2007-01-12 2014-02-18 Mitsubishi Electric Corporation Image decoding device and image decoding method for decoding compressed data
JP2014057337A (ja) * 2013-10-29 2014-03-27 Jvc Kenwood Corp 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2014060755A (ja) * 2013-10-29 2014-04-03 Jvc Kenwood Corp 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
US8718139B2 (en) 2007-01-12 2014-05-06 Mitsubishi Electric Corporation Image decoding device and image decoding method
KR20140066194A (ko) * 2011-09-20 2014-05-30 마이크로소프트 코포레이션 복잡도가 낮은 원격 프리젠테이션 세션 인코더
JP2014225928A (ja) * 2014-09-05 2014-12-04 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP2015080262A (ja) * 2014-12-24 2015-04-23 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP2015080263A (ja) * 2014-12-24 2015-04-23 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2015139089A (ja) * 2014-01-22 2015-07-30 Kddi株式会社 動画像復号装置、動画像復号方法、およびプログラム
JP2015144484A (ja) * 2015-03-31 2015-08-06 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP5839144B1 (ja) * 2015-09-09 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP5839143B1 (ja) * 2015-09-09 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP5839145B1 (ja) * 2015-09-09 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP5839140B1 (ja) * 2015-09-02 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP5839141B1 (ja) * 2015-09-02 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP5839142B1 (ja) * 2015-09-02 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP2016048945A (ja) * 2015-11-09 2016-04-07 株式会社Ｊｖｃケンウッド 画像符号化装置
JP2016054509A (ja) * 2015-11-09 2016-04-14 株式会社Ｊｖｃケンウッド 画像符号化装置
KR20160132866A (ko) * 2014-03-14 2016-11-21 퀄컴 인코포레이티드 블록 적응적 컬러­공간 변환 코딩
WO2017033748A1 (ja) * 2015-08-25 2017-03-02 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP2018110440A (ja) * 2013-05-30 2018-07-12 アップル インコーポレイテッド 適応色空間変換の符号化
US10602143B2 (en) 2013-05-30 2020-03-24 Apple Inc. Adaptive color space transform coding
JP2022507673A (ja) * 2018-12-14 2022-01-18 テンセント・アメリカ・エルエルシー ビデオシーケンスを復号するための方法、装置、コンピュータプログラム、およびビデオ符号化方法
JP2022516694A (ja) * 2019-01-10 2022-03-02 オッポ広東移動通信有限公司 画像デコーディング方法、デコーダ及びコンピューター記憶媒体

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8513087B2 (en) 2002-08-14 2013-08-20 Advanced Analogic Technologies, Incorporated Processes for forming isolation structures for integrated circuit devices
EP1753242A2 (en) 2005-07-18 2007-02-14 Matsushita Electric Industrial Co., Ltd. Switchable mode and prediction information coding
US8311111B2 (en) 2008-09-11 2012-11-13 Google Inc. System and method for decoding using parallel processing
JP4896944B2 (ja) * 2008-11-13 2012-03-14 株式会社東芝 画像復号装置
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
KR101457894B1 (ko) 2009-10-28 2014-11-05 삼성전자주식회사 영상 부호화 방법 및 장치, 복호화 방법 및 장치
KR20110065412A (ko) * 2009-12-09 2011-06-15 에스케이 텔레콤주식회사 멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체
JP5421757B2 (ja) * 2009-12-11 2014-02-19 株式会社Ｋｄｄｉ研究所 画像符号化装置
US9049450B2 (en) 2010-04-05 2015-06-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding video based on internal bit depth increment, and method and apparatus for decoding video based on internal bit depth increment
WO2011126277A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Low complexity entropy-encoding/decoding method and apparatus
WO2011126282A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using transformation index, and method and apparatus for decoding video by using transformation index
US10778969B2 (en) 2010-12-17 2020-09-15 Sun Patent Trust Image coding method and image decoding method
JP5801614B2 (ja) * 2011-06-09 2015-10-28 キヤノン株式会社 画像処理装置、画像処理方法
JP5839848B2 (ja) 2011-06-13 2016-01-06 キヤノン株式会社 画像処理装置、画像処理方法
JP5972888B2 (ja) 2011-09-29 2016-08-17 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
CN108632608B (zh) 2011-09-29 2022-07-29 夏普株式会社 图像解码装置、图像解码方法、图像编码装置及图像编码方法
RU2604330C2 (ru) * 2011-10-05 2016-12-10 Сан Пэтент Траст Способ кодирования изображений, устройство кодирования изображений, способ декодирования изображений, устройство декодирования изображений и устройство кодирования изображений
US10051289B2 (en) 2011-11-04 2018-08-14 Qualcomm Incorporated Adaptive center band offset filter for video coding
US9237358B2 (en) 2011-11-08 2016-01-12 Qualcomm Incorporated Context reduction for context adaptive binary arithmetic coding
US9100657B1 (en) 2011-12-07 2015-08-04 Google Inc. Encoding time management in parallel real-time video encoding
JP2013172323A (ja) * 2012-02-21 2013-09-02 Toshiba Corp 動き検出装置、画像処理装置および画像処理システム
US9124872B2 (en) 2012-04-16 2015-09-01 Qualcomm Incorporated Coefficient groups and coefficient coding for coefficient scans
US8963944B2 (en) * 2012-05-15 2015-02-24 Omnivision Technologies, Inc. Method, apparatus and system to provide video data for buffering
US20150043645A1 (en) * 2012-06-20 2015-02-12 Google Inc. Video stream partitioning to allow efficient concurrent hardware decoding
JP5885604B2 (ja) * 2012-07-06 2016-03-15 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
US20140072027A1 (en) * 2012-09-12 2014-03-13 Ati Technologies Ulc System for video compression
JPWO2014051080A1 (ja) * 2012-09-28 2016-08-25 三菱電機株式会社 カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
US9979960B2 (en) * 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US9098887B2 (en) * 2012-10-12 2015-08-04 Mediatek Inc. Image compression method and apparatus for encoding pixel data of frame into interleaved bit-stream, and related image decompression method and apparatus
RU2651201C2 (ru) * 2012-11-30 2018-04-18 Сони Корпорейшн Устройство обработки изображения и способ
US20140185928A1 (en) * 2012-12-28 2014-07-03 Shai Ben NUN Hardware-supported huffman coding of images
TWI557727B (zh) 2013-04-05 2016-11-11 杜比國際公司 音訊處理系統、多媒體處理系統、處理音訊位元流的方法以及電腦程式產品
US9264683B2 (en) * 2013-09-03 2016-02-16 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
CA2950171C (en) 2014-05-28 2019-11-19 Arris Enterprises Llc Content aware scheduling in a hevc decoder operating on a multi-core processor platform
US9729887B2 (en) * 2014-06-25 2017-08-08 Qualcomm Incorporated Multi-layer video coding
US9854201B2 (en) 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
CN112842690B (zh) * 2015-04-20 2023-10-17 康奈尔大学 具有维度数据缩减的机器视觉
JP2017050592A (ja) * 2015-08-31 2017-03-09 ルネサスエレクトロニクス株式会社 画像符号化装置、画像復号化装置および画像伝送装置
EP3357037B1 (en) * 2015-09-30 2021-05-12 Razer (Asia-Pacific) Pte. Ltd. Information encoding methods, information decoding methods, computer-readable media, information encoders, and information decoders
US9794574B2 (en) 2016-01-11 2017-10-17 Google Inc. Adaptive tile data size coding for video and image compression
CN105718513B (zh) * 2016-01-14 2019-11-15 上海大学 jpg文件的压缩方法及解压缩方法
US10542258B2 (en) 2016-01-25 2020-01-21 Google Llc Tile copying for video compression
JP6691417B2 (ja) * 2016-04-06 2020-04-28 日本放送協会 符号化装置、その復号化装置および符号化・復号化装置
US20170366819A1 (en) * 2016-08-15 2017-12-21 Mediatek Inc. Method And Apparatus Of Single Channel Compression
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values
CN112673399A (zh) * 2018-07-11 2021-04-16 交互数字Vc控股公司 对点云的点的纹理进行编码/解码的方法
EP3836089A4 (en) * 2018-08-10 2021-09-01 Panasonic Intellectual Property Corporation of America METHOD FOR CODING THREE-DIMENSIONAL DATA, METHOD FOR DECODING THREE-DIMENSIONAL DATA, DEVICE FOR CODING THREE-DIMENSIONAL DATA AND DEVICE FOR DECODING THREE-DIMENSIONAL DATA
EP3857894A4 (en) * 2018-10-08 2022-09-07 HFI Innovation Inc. METHOD AND APPARATUS FOR CODING THE LAST SIGNIFICANT COEFFICIENT IN IMAGE AND VIDEO CODING
US11909964B2 (en) 2019-03-08 2024-02-20 Sony Group Corporation Information processing device, information processing method, and program
EP4020994A4 (en) * 2019-09-06 2022-10-26 Sony Group Corporation IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
CN113573098B (zh) * 2021-07-06 2022-11-01 杭州海康威视数字技术股份有限公司 一种图像传输方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001359117A (ja) * 2000-06-15 2001-12-26 Canon Inc 画像処理装置及び該装置における画像処理方法
JP2002084540A (ja) * 2000-06-28 2002-03-22 Canon Inc 画像処理装置、画像処理方法、電子カメラ、及び、プログラム
JP2005039743A (ja) * 2003-07-18 2005-02-10 Sony Corp 画像情報符号化装置及び方法、並びに画像情報復号装置及び方法
JP2005349755A (ja) * 2004-06-11 2005-12-22 Canon Inc カラープリンタ

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4209852A (en) * 1974-11-11 1980-06-24 Hyatt Gilbert P Signal processing and memory arrangement
JPS6033789A (ja) 1983-08-03 1985-02-21 Matsushita Electric Ind Co Ltd 画像符号化伝送方法
US5818970A (en) 1991-04-26 1998-10-06 Canon Kabushiki Kaisha Image encoding apparatus
GB2266635B (en) * 1992-02-28 1995-11-15 Sony Broadcast & Communication Image data compression
JP3381855B2 (ja) * 1992-12-28 2003-03-04 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
US5489947A (en) * 1994-06-17 1996-02-06 Thomson Consumer Electronics, Inc. On screen display arrangement for a digital video signal processing system
KR0157570B1 (ko) * 1995-11-24 1999-02-18 김광호 복수경로를 통해 mpeg2 비트열을 복호하는 복호화장치
US5832120A (en) * 1995-12-22 1998-11-03 Cirrus Logic, Inc. Universal MPEG decoder with scalable picture size
JP3359215B2 (ja) 1995-12-28 2002-12-24 株式会社リコー 多値画像符号化装置
JPH1013859A (ja) 1996-06-26 1998-01-16 Mitsubishi Electric Corp 画像用高能率符号化器及び画像用高能率復号化器及び画像用高能率符号化復号化システム
US5781241A (en) 1996-11-08 1998-07-14 Chrontel, Inc. Apparatus and method to convert computer graphics signals to television video signals with vertical and horizontal scaling requiring no frame buffers
JP3510433B2 (ja) * 1996-11-26 2004-03-29 シャープ株式会社 画像処理装置
JPH10200921A (ja) * 1997-01-10 1998-07-31 Sony Corp デジタルデータ伝送方法、データ記録再生装置、データ編集装置
JPH11252552A (ja) * 1998-03-05 1999-09-17 Sony Corp ビデオ信号の圧縮符号化方法及び圧縮符号化装置、並びに、圧縮符号化データの多重化方法及び多重化装置
US6862278B1 (en) * 1998-06-18 2005-03-01 Microsoft Corporation System and method using a packetized encoded bitstream for parallel compression and decompression
JP3440830B2 (ja) 1998-06-26 2003-08-25 ソニー株式会社 画像符号化装置及び方法、並びに記録媒体
JP3413720B2 (ja) * 1998-06-26 2003-06-09 ソニー株式会社 画像符号化方法及び装置、並びに画像復号方法及び装置
US6259741B1 (en) * 1999-02-18 2001-07-10 General Instrument Corporation Method of architecture for converting MPEG-2 4:2:2-profile bitstreams into main-profile bitstreams
JP3589188B2 (ja) * 2000-04-03 2004-11-17 日産自動車株式会社 車両用電子キー装置
US6891893B2 (en) * 2000-04-21 2005-05-10 Microsoft Corp. Extensible multimedia application program interface and related methods
CN1165183C (zh) * 2000-05-15 2004-09-01 北京北达华彩科技有限公司 自适应色度补偿法及其补偿装置
JP2003023545A (ja) 2001-07-09 2003-01-24 Canon Inc 画像出力装置及びその制御方法
JP3797209B2 (ja) * 2001-11-30 2006-07-12 ソニー株式会社 画像情報符号化方法及び装置、画像情報復号方法及び装置、並びにプログラム
JP4407514B2 (ja) * 2002-07-18 2010-02-03 ソニー株式会社 撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラム
JP3946722B2 (ja) 2002-09-06 2007-07-18 富士通株式会社 動画像符号化装置
JP3720035B2 (ja) 2003-09-22 2005-11-24 株式会社東芝 可変長符号復号化装置および可変長符号復号化方法
KR100552695B1 (ko) 2003-11-20 2006-02-20 삼성전자주식회사 칼라영상의 색조절방법 및 장치
KR100657268B1 (ko) * 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
EP1753242A2 (en) 2005-07-18 2007-02-14 Matsushita Electric Industrial Co., Ltd. Switchable mode and prediction information coding
KR101213904B1 (ko) * 2005-07-22 2012-12-20 미쓰비시덴키 가부시키가이샤 화상 복호 장치, 화상 복호 방법, 화상 부호화 장치 및 화상 부호화 방법
EP1999965A4 (en) * 2006-03-28 2012-10-03 Samsung Electronics Co Ltd METHOD, MEDIUM AND SYSTEM FOR ENCODING AND / OR DECODING AN IMAGE
US8331433B2 (en) * 2006-08-31 2012-12-11 Samsung Electronics Co., Ltd. Video encoding apparatus and method and video decoding apparatus and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001359117A (ja) * 2000-06-15 2001-12-26 Canon Inc 画像処理装置及び該装置における画像処理方法
JP2002084540A (ja) * 2000-06-28 2002-03-22 Canon Inc 画像処理装置、画像処理方法、電子カメラ、及び、プログラム
JP2005039743A (ja) * 2003-07-18 2005-02-10 Sony Corp 画像情報符号化装置及び方法、並びに画像情報復号装置及び方法
JP2005349755A (ja) * 2004-06-11 2005-12-22 Canon Inc カラープリンタ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1928184A4 *

Cited By (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8509310B2 (en) 2006-03-28 2013-08-13 Samsung Electronics Co., Ltd. Method, medium, and system encoding and/or decoding an image
US8977048B2 (en) 2006-03-28 2015-03-10 Samsung Electronics Co., Ltd. Method medium system encoding and/or decoding an image using image slices
JP2009531946A (ja) * 2006-03-28 2009-09-03 サムスン エレクトロニクス カンパニー リミテッド 画像符号化／復号化方法及び装置
US8718139B2 (en) 2007-01-12 2014-05-06 Mitsubishi Electric Corporation Image decoding device and image decoding method
US8655087B2 (en) 2007-01-12 2014-02-18 Mitsubishi Electric Corporation Image decoding device and image decoding method for decoding compressed data
US8369404B2 (en) 2007-01-12 2013-02-05 Mitsubishi Electric Corporation Moving image decoding device and moving image decoding method
WO2008132791A1 (ja) * 2007-04-13 2008-11-06 Panasonic Corporation 画像処理装置、集積回路及び画像処理方法
JP2013176168A (ja) * 2007-06-28 2013-09-05 Mitsubishi Electric Corp 画像符号化装置および画像復号装置
JP2009177787A (ja) * 2008-01-25 2009-08-06 Samsung Electronics Co Ltd 映像の符号化、復号化の方法及びその装置
JPWO2012029884A1 (ja) * 2010-09-03 2013-10-31 ソニー株式会社 符号化装置および符号化方法、並びに復号装置および復号方法
US9667941B2 (en) 2010-09-03 2017-05-30 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
JP2016015767A (ja) * 2010-09-03 2016-01-28 ソニー株式会社 復号装置、復号方法、プログラム、および記録媒体
WO2012029884A1 (ja) * 2010-09-03 2012-03-08 ソニー株式会社 符号化装置および符号化方法、並びに復号装置および復号方法
JP2012142844A (ja) * 2011-01-05 2012-07-26 Seikei Gakuen カラー動画像符号化方法及びカラー動画像符号化装置
WO2012176405A1 (ja) * 2011-06-20 2012-12-27 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法及び画像復号プログラム
JP2013005344A (ja) * 2011-06-20 2013-01-07 Jvc Kenwood Corp 画像復号装置、画像復号方法及び画像復号プログラム
US9794576B2 (en) 2011-06-20 2017-10-17 JVC Kenwood Corporation Picture decoding device, picture decoding method, and picture decoding program
US9848195B2 (en) 2011-06-20 2017-12-19 JVC Kenwood Corporation Picture decoding device, picture decoding method, and picture decoding program
US8891620B2 (en) 2011-06-20 2014-11-18 JVC Kenwood Corporation Picture coding device, picture coding method, picture coding program, picture decoding device, picture decoding method, and picture decoding program
US9942555B2 (en) 2011-06-20 2018-04-10 JVC Kenwood Corporation Picture coding device, picture coding method, picture coding program, picture decoding device, picture decoding method and picture decoding program
US10200693B2 (en) 2011-06-20 2019-02-05 JVC Kenwood Corporation Picture decoding device, picture decoding method, and picture decoding program
US11006126B2 (en) 2011-06-20 2021-05-11 Jvckenwood Corporation Picture coding device, picture coding method, and picture coding program
US9179164B2 (en) 2011-06-20 2015-11-03 JVC Kenwood Corporation Picture coding device, picture coding method, picture coding program, picture decoding device, picture decoding method, and picture decoding program
US9369716B2 (en) 2011-06-20 2016-06-14 JVC Kenwood Corporation Picture coding device, picture coding method, picture coding program, picture decoding device, picture decoding method, and picture decoding program
US10531097B2 (en) 2011-06-20 2020-01-07 JVC Kenwood Corporation Picture coding device, picture coding method, and picture coding program
JP2013005343A (ja) * 2011-06-20 2013-01-07 Jvc Kenwood Corp 画像符号化装置、画像符号化方法及び画像符号化プログラム
US10869033B2 (en) 2011-06-23 2020-12-15 JVC Kenwood Corporation Picture coding device, picture coding method, picture coding program
WO2012176406A1 (ja) * 2011-06-23 2012-12-27 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号装置、画像復号方法及び画像復号プログラム
US9363521B2 (en) 2011-06-23 2016-06-07 JVC Kenwood Corporation Picture coding device, picture coding method, picture coding program, picture decoding device, picture decoding method, and picture decoding program
JP2013009103A (ja) * 2011-06-23 2013-01-10 Jvc Kenwood Corp 画像復号装置、画像復号方法及び画像復号プログラム
US10412384B2 (en) 2011-06-23 2019-09-10 JVC Kenwood Corporation Picture coding device, picture coding method, picture coding program
TWI563826B (ja) * 2011-06-23 2016-12-21 Jvc Kenwood Corp
US8938003B2 (en) 2011-06-23 2015-01-20 JVC Kenwood Corporation Picture coding device, picture coding method, picture coding program, picture decoding device, picture decoding method, and picture decoding program
US10009607B2 (en) 2011-06-23 2018-06-26 JVS KENWOOD Corporation Picture coding device, picture coding method and picture coding program
JP2013009102A (ja) * 2011-06-23 2013-01-10 Jvc Kenwood Corp 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP2014530563A (ja) * 2011-09-20 2014-11-17 マイクロソフト コーポレーション 低複雑度リモート・プレゼンテーション・セッション・エンコーダー
KR20140066194A (ko) * 2011-09-20 2014-05-30 마이크로소프트 코포레이션 복잡도가 낮은 원격 프리젠테이션 세션 인코더
KR101962990B1 (ko) * 2011-09-20 2019-03-27 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 복잡도가 낮은 원격 프리젠테이션 세션 인코더
US9712847B2 (en) 2011-09-20 2017-07-18 Microsoft Technology Licensing, Llc Low-complexity remote presentation session encoder using subsampling in color conversion space
US11184613B2 (en) 2013-05-30 2021-11-23 Apple Inc. Adaptive color space transform coding
US11368688B2 (en) 2013-05-30 2022-06-21 Apple Inc. Adaptive color space transform coding
US11368689B2 (en) 2013-05-30 2022-06-21 Apple Inc. Adaptive color space transform coding
JP2018110440A (ja) * 2013-05-30 2018-07-12 アップル インコーポレイテッド 適応色空間変換の符号化
US10602143B2 (en) 2013-05-30 2020-03-24 Apple Inc. Adaptive color space transform coding
US11758135B2 (en) 2013-05-30 2023-09-12 Apple Inc. Adaptive color space transform coding
JP2021002860A (ja) * 2013-05-30 2021-01-07 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 適応色空間変換の符号化
JP2014014134A (ja) * 2013-08-30 2014-01-23 Jvc Kenwood Corp 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2014014135A (ja) * 2013-08-30 2014-01-23 Jvc Kenwood Corp 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2014014136A (ja) * 2013-08-30 2014-01-23 Jvc Kenwood Corp 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2014014137A (ja) * 2013-08-30 2014-01-23 Jvc Kenwood Corp 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2014057337A (ja) * 2013-10-29 2014-03-27 Jvc Kenwood Corp 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2014060755A (ja) * 2013-10-29 2014-04-03 Jvc Kenwood Corp 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2015139089A (ja) * 2014-01-22 2015-07-30 Kddi株式会社 動画像復号装置、動画像復号方法、およびプログラム
KR20160132866A (ko) * 2014-03-14 2016-11-21 퀄컴 인코포레이티드 블록 적응적 컬러­공간 변환 코딩
JP2017513324A (ja) * 2014-03-14 2017-05-25 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ブロック適応色空間変換コーディング
KR102348541B1 (ko) 2014-03-14 2022-01-06 퀄컴 인코포레이티드 블록 적응적 컬러­공간 변환 코딩
US10271052B2 (en) 2014-03-14 2019-04-23 Qualcomm Incorporated Universal color-space inverse transform coding
JP2014225928A (ja) * 2014-09-05 2014-12-04 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP2015080262A (ja) * 2014-12-24 2015-04-23 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP2015080263A (ja) * 2014-12-24 2015-04-23 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2015144484A (ja) * 2015-03-31 2015-08-06 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
WO2017033748A1 (ja) * 2015-08-25 2017-03-02 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10834444B2 (en) 2015-08-25 2020-11-10 Sony Corporation Transmitting apparatus, transmission method, receiving apparatus, and reception method
JP5839140B1 (ja) * 2015-09-02 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP5839141B1 (ja) * 2015-09-02 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP5839142B1 (ja) * 2015-09-02 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP5839144B1 (ja) * 2015-09-09 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP5839143B1 (ja) * 2015-09-09 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP5839145B1 (ja) * 2015-09-09 2016-01-06 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
JP2016048945A (ja) * 2015-11-09 2016-04-07 株式会社Ｊｖｃケンウッド 画像符号化装置
JP2016054509A (ja) * 2015-11-09 2016-04-14 株式会社Ｊｖｃケンウッド 画像符号化装置
JP2022507673A (ja) * 2018-12-14 2022-01-18 テンセント・アメリカ・エルエルシー ビデオシーケンスを復号するための方法、装置、コンピュータプログラム、およびビデオ符号化方法
JP7209832B2 (ja) 2018-12-14 2023-01-20 テンセント・アメリカ・エルエルシー ビデオシーケンスを復号するための方法、装置、コンピュータプログラム、およびビデオ符号化方法
JP2022516694A (ja) * 2019-01-10 2022-03-02 オッポ広東移動通信有限公司 画像デコーディング方法、デコーダ及びコンピューター記憶媒体
US11785225B2 (en) 2019-01-10 2023-10-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for picture decoding, method for picture encoding, decoder, and encoder
JP7431827B2 (ja) 2019-01-10 2024-02-15 オッポ広東移動通信有限公司 画像デコーディング方法、デコーダ及びコンピューター記憶媒体

Also Published As

Publication number Publication date
BRPI0611668B1 (pt) 2019-06-18
KR101018504B1 (ko) 2011-03-03
EP2228994A2 (en) 2010-09-15
RU2551898C2 (ru) 2015-06-10
KR20110056432A (ko) 2011-05-27
CN101218831B (zh) 2010-07-21
EP2228994A3 (en) 2012-07-25
BRPI0611668A2 (pt) 2012-07-31
RU2447611C2 (ru) 2012-04-10
KR20080040740A (ko) 2008-05-08
EP2228997B1 (en) 2017-10-18
EP1928184A4 (en) 2009-10-28
EP2228996A2 (en) 2010-09-15
CN101783943B (zh) 2013-03-06
CN101707713A (zh) 2010-05-12
CN101931801A (zh) 2010-12-29
US8320462B2 (en) 2012-11-27
KR101139138B1 (ko) 2012-07-02
CA2710354A1 (en) 2007-03-29
EP1928184B1 (en) 2017-09-27
EP2228996A3 (en) 2012-07-25
KR101099865B1 (ko) 2011-12-28
CA2623297C (en) 2011-11-01
CA2623297A1 (en) 2007-03-29
CN101697592A (zh) 2010-04-21
EP1928184A1 (en) 2008-06-04
JPWO2007034601A1 (ja) 2009-03-19
US8165392B2 (en) 2012-04-24
CA2710354C (en) 2014-09-23
CN101707712A (zh) 2010-05-12
EP2228995A2 (en) 2010-09-15
RU2008115481A (ru) 2009-10-27
CN101707715A (zh) 2010-05-12
JP4964595B2 (ja) 2012-07-04
EP2228997A2 (en) 2010-09-15
EP2228995A3 (en) 2012-07-25
CN101867820A (zh) 2010-10-20
US20080123972A1 (en) 2008-05-29
EP2228997A3 (en) 2012-07-25
KR20100018083A (ko) 2010-02-16
US20090080534A1 (en) 2009-03-26
RU2011119121A (ru) 2012-11-20
KR101023365B1 (ko) 2011-03-18
CN101783943A (zh) 2010-07-21
CN101697592B (zh) 2014-01-29
RU2426268C2 (ru) 2011-08-10
CN101867820B (zh) 2013-05-29
CN101218831A (zh) 2008-07-09
CN101867819B (zh) 2012-08-22
RU2009138762A (ru) 2011-04-27
CN101867819A (zh) 2010-10-20
KR20100097232A (ko) 2010-09-02
JP2010110007A (ja) 2010-05-13
CN101783942A (zh) 2010-07-21

Similar Documents

Publication Publication Date Title
JP4964595B2 (ja) 画像復号装置及び方法
US8306112B2 (en) Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US9510011B2 (en) Video encoding device, video decoding device, video encoding method, video decoding method, and program
US8300694B2 (en) Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
JP2009303265A (ja) 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
US8300700B2 (en) Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US20080137732A1 (en) Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US20080130740A1 (en) Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
US20080123737A1 (en) Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680025228.X

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2006541534

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 5694/CHENP/2007

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 11912563

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2006766912

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020087004690

Country of ref document: KR

Ref document number: 2006766912

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2623297

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2008115481

Country of ref document: RU

WWE Wipo information: entry into national phase

Ref document number: 1020107001015

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 1020107017551

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 1020117010050

Country of ref document: KR

ENP Entry into the national phase

Ref document number: PI0611668

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20071214