WO2010074407A2 - 컬러 영상 부호화/복호화 방법 및 장치 - Google Patents

컬러 영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
WO2010074407A2
WO2010074407A2 PCT/KR2009/006772 KR2009006772W WO2010074407A2 WO 2010074407 A2 WO2010074407 A2 WO 2010074407A2 KR 2009006772 W KR2009006772 W KR 2009006772W WO 2010074407 A2 WO2010074407 A2 WO 2010074407A2
Authority
WO
WIPO (PCT)
Prior art keywords
format
color
block
chrominance component
component block
Prior art date
Application number
PCT/KR2009/006772
Other languages
English (en)
French (fr)
Other versions
WO2010074407A3 (ko
Inventor
김하윤
김해광
문주희
이영렬
전병우
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to US13/141,184 priority Critical patent/US8824562B2/en
Publication of WO2010074407A2 publication Critical patent/WO2010074407A2/ko
Publication of WO2010074407A3 publication Critical patent/WO2010074407A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a color image encoding / decoding method and apparatus. More specifically, the present invention relates to a method and apparatus for encoding and decoding an image constituting a video in various color formats in encoding or decoding the video based on color information of the video.
  • the color format of the moving picture is indicated by displaying a ratio between luminance signals and chroma differences of pixels included in pixel lines in the horizontal direction of the picture constituting the moving picture.
  • the luminance signal is represented by the Y signal
  • the color difference signal is represented by the Cb / Cr signal.
  • Luminance refers to the degree of image brightness.
  • the luminance of one pixel is represented by 8 bits.
  • the color difference is information representing the color of an image, and represents the color of a pixel by two (Cb / Cr) 8-bit values.
  • a coordinate system that represents color is called a color space.
  • MPEG moving picture expert group
  • a color format of a video is represented by three 8-bit information such as Y, Cb, and Cr.
  • the present invention has a main object to improve compression performance by enabling encoding and decoding of one image constituting a video in various color formats.
  • the present invention provides an apparatus for encoding an image, comprising: a luminance component encoder for encoding a luminance component block for a current block of an image; A color format selector for selecting one color format among the plurality of color formats; A chrominance component encoder for encoding a chrominance component block for the current block of the image according to the selected color format; And a bitstream output unit configured to generate and output a bitstream including the encoded luminance component block, the encoded chrominance component block, and information on the selected color format.
  • a method of encoding an image comprising: a dividing step of dividing a current block of an image into a luminance component block and a chrominance component block; A luminance component block encoding step of encoding a luminance component block; A color format selecting step of selecting one color format among the plurality of color formats; A color difference component encoding step of encoding a color difference component block according to the selected color format; And a bitstream output step of generating and outputting a bitstream including information about an encoded luminance component block, an encoded chrominance component block, and information on a selected color format.
  • a bitstream decomposer for extracting information about the encoded luminance component block, the encoded chrominance component block, and the color format from the bitstream;
  • a luminance component decoder for decoding an encoded luminance component block to restore a current block of the luminance component;
  • a chrominance component decoder for reconstructing the current block of the chrominance component by decoding the chrominance component block encoded according to the color format according to the information on the color format.
  • a method of decoding an image comprising: a bitstream decomposition step of extracting information about an encoded luminance component block, an encoded chrominance component block, and a color format from a bitstream; A luminance component decoding step of decoding the encoded luminance component block to restore a current block of the luminance component; A chrominance component decoding step of decoding a chrominance component block encoded according to a color format according to information on a color format to restore a current block of the chrominance component; And a reconstructed block outputting step of outputting a reconstructed current block including a current block of the reconstructed luminance component and a current block of the reconstructed color difference component.
  • compression performance can be improved by enabling encoding and decoding of one image constituting a video in various color formats.
  • 1 is an exemplary diagram illustrating a color format used in video compression
  • FIG. 2 is a block diagram schematically illustrating a 4: 4: 4 format image encoding apparatus for encoding a 4: 4: 4 format color image;
  • 3 and 4 illustrate a 4: 2: 2 format image encoding apparatus for encoding a 4: 2: 2 format color image and a 4: 2: 0 format image encoding apparatus for encoding a 4: 2: 0 format color image.
  • FIG. 5 is a block diagram schematically illustrating a color image encoding apparatus according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a color image encoding method according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a method of selecting a color format according to an embodiment of the present invention.
  • FIG. 8 is a block diagram schematically illustrating a color image decoding device according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a color image decoding method according to an embodiment of the present invention.
  • FIG. 10 is an exemplary diagram illustrating an algorithm for selecting a color format according to an embodiment of the present invention.
  • 1 is an exemplary diagram illustrating a color format used in video compression.
  • the image format includes high-quality color information in which one pixel of the color image Cr and Cb exists for each pixel of the brightness image Y of the 4: 4: 4 format color image.
  • the color image in 4: 2: 2 format is an image obtained by down sampling the pixels in the horizontal direction while maintaining the 4: 4: 4 format color images Cr and Cb. If the size of the color images Cr and Cb in the 4: 4: 4 format is N ⁇ N, the size of the color images Cr and Cb after down-sampling is the N ⁇ (N / 2) image.
  • a 4: 2: 0 format image is an image obtained by down-sampling a 4: 4: 4 format Cr or Cb color image in both the vertical and horizontal directions. If the size of the color image (Cr, Cb) in 4: 4: 4 format is N ⁇ N, the size of the color image (Cr, Cb) after down-sampling is (N / 2) x (N / 2). do.
  • FIG. 2 is a block diagram schematically illustrating a 4: 4: 4 format image encoding apparatus for encoding a 4: 4: 4 format color image.
  • the luminance signal of the 4: 4: 4 format input image is a luminance component encoder ( In operation 210, the color difference signal is encoded in the color difference component encoder 240.
  • the luminance signal encoded by the luminance component encoder 210 and the color difference signal encoded by the chrominance component encoder 240 are generated by the bitstream output unit 250 as a bitstream of an image of 4: 4: 4 format and output. do.
  • the luminance component encoder 210 generates a prediction block of the current block by compensating for the motion of the current block by using the motion predictor 212 that predicts the motion vector of the current block from the input luminance Y signal and the predicted motion vector.
  • the luminance component encoder 210 may include an inverse quantizer 224 that inverse quantizes the quantized frequency coefficients quantized by the quantizer 220, and an inverse transformer 226 that inversely transforms the inverse quantized frequency coefficients to restore a residual block.
  • An adder 228 that adds the predicted prediction block and the reconstructed residual block output from the inverse transformer 226 to compensate for the motion output from the motion compensator 214 to generate a reconstructed current block for the luminance signal, and It may include a reconstructed image storage unit 230 for storing the reconstructed current block for the luminance signal.
  • the chrominance component encoder 240 may include all components of the luminance component encoder 210 except for the motion predictor 212.
  • each component of the chrominance component encoder 240 performs the same or similar function as that described above in the luminance component encoder 210.
  • the luminance component encoder 210 performs each function on the luminance signal
  • the chrominance component encoder 240 performs each function on the 4: 4: 4 format color difference signal instead of the luminance signal.
  • the motion compensator 214 of the chrominance component encoder 240 generates a prediction block of the current block by compensating for the motion of the current block by using the motion vector predicted by the motion predictor 212 of the luminance component encoder 210. do.
  • the bitstream output unit 250 generates and outputs a bitstream including texture information of the luminance signal output from the luminance component encoder 210 and texture information of the color difference signal output from the chrominance component encoder 240.
  • the bitstream output as described above is a bitstream obtained by compressing an image of 4: 4: 4 format.
  • the bitstream generator 250 may additionally include the motion vector predicted by the motion predictor 212 in the bitstream and output it.
  • 3 and 4 illustrate a 4: 2: 2 format image encoding apparatus encoding 4: 2: 2 format color image and a 4: 2: 0 format image encoding apparatus encoding 4: 2: 0 format color image. It is a simplified block diagram.
  • the configuration of the 4: 2: 2 format video encoding apparatus 300 and the 4: 2: 0 format video encoding apparatus 400 is the same as that of the 4: 4: 4 format video encoding apparatus 200 described above with reference to FIG. 2.
  • the input image is not an 4: 4: 4 format input image but an 4: 2: 2 format input image and a 4: 2: 0 input image
  • the chrominance component coder 240 uses the 4: 2: 2 format, respectively.
  • Texture information is generated by encoding a color difference signal and a 4: 2: 0 color difference signal
  • the bitstream output from the bitstream output unit 250 is a bitstream and a 4: 2 compressed video of 4: 2: 2 format, respectively.
  • the image is encoded and compressed in the 4: 4: 4 format, the 4: 2: 2 format, and the 4: 2: 0 format as described above with reference to FIGS. 2 through 4, the image is compressed only in one color format. As a result, one video cannot be encoded in various color formats.
  • FIG. 5 is a block diagram schematically illustrating a color image encoding apparatus according to an embodiment of the present invention.
  • the color image encoding apparatus 500 may include a luminance component encoder 510, a format selector 520, a chrominance component encoder 530, and a bitstream output unit 540.
  • the color image encoding apparatus 500 may include a personal computer (PC), a notebook computer, a personal digital assistant (PDA), a portable multimedia player (PMP), and a PlayStation Portable (PSP).
  • a communication device such as a communication modem for communicating with various devices or a wired / wireless communication network, a memory for storing various programs and data for encoding an image, and a program. It means a variety of devices having a microprocessor, etc. for execution and operation and control.
  • the luminance component encoder 510 encodes a luminance component block for the current block of the image.
  • the luminance component encoder 510 includes all components of the luminance component encoder 210 of the 4: 4: 4 format image encoding apparatus 200 described above with reference to FIG. 2, and the functions of the components are similar to each other.
  • the luminance component block refers to a block generated by dividing only the luminance signal among the luminance signal (Y signal) and the color difference signal (Cr signal, Cb signal) of the current block to be encoded in the image, that is, the current block of the luminance component.
  • the color format selector 520 selects one color format among the plurality of color formats.
  • the plurality of color formats may be one or more of 4: 4: 4 format, 4: 2: 2 format, and 4: 2: 0 format. That is, the color format selector 520 selects an optimal color format for the current block among the 4: 4: 4 format, 4: 2: 2 format, and 4: 2: 0 format.
  • the color format selector 520 down-samples the 4: 4: 4 format chrominance component block corresponding to the current block to be encoded in the horizontal direction, and then 4 4: 2: 2 down sampler 522, which generates a 4: 2: 2 format chrominance component block, downsamples the 4: 4: 4 format chrominance component block in the vertical and horizontal directions, 4: 2: 0 down sampler 524 and 4: 4: 4 format chrominance component block, 4: 2: 2 format chrominance component block, 4: 2: 0 format chrominance component block And a comparator 526 for receiving an input and selecting an optimal color format for the current block.
  • the chrominance component block refers to a block generated by dividing only the chrominance signal among the luminance signal (Y signal) and the chrominance signal (Cr signal, Cb signal) of the current block to be encoded in the image, that is, the current block of the chrominance component. And a Cr color difference component block and a Cb color difference component block.
  • the comparator 526 is configured to sum up the SADs of the color difference component block B " 444 " in the 4: 4: 4 format and the color difference component block B444 in the 4: 4: 4 format. If the Absolute Difference is smaller than the threshold, the 4: 2: 2 format may be selected as the optimal color format of the current block. In addition, the comparator 526 performs the 4: 2: 0 format when the color difference component block B'444 of the 4: 4: 4 format and the SAD of the B444 smaller than the threshold value are upsampled in the 4: 2: 0 format. It can be selected as the optimal color format of the current block.
  • the threshold value is an arbitrary constant and may be set to another value depending on the application applied.
  • the comparator 526 uses the 4: 4: 4 format when the SADs of B''444 and B444 are greater than or equal to the threshold and the SADs of B'444 and B444 are greater than or equal to the threshold. It can be selected as a format.
  • the color format selector 520 exemplarily shows an algorithm for selecting a color format, it may be represented as shown in FIG. 10.
  • the color difference component encoder 530 encodes the color difference component block for the current block of the image according to the selected color format.
  • the chrominance component encoder 530 includes all the components of the chrominance component encoder 210 of the 4: 4: 4 format image encoding apparatus 200 described above with reference to FIG. 2, and the functions of the components are similar.
  • the color difference component encoder 530 compensates for the movement of the color difference component block output from the color format selector 520 by using the motion vector predicted by the motion predictor 216 of the luminance component encoder 510.
  • a motion compensator 532 for generating a predicted chrominance component block by predicting the chrominance component a subtractor 534 for generating a residual chrominance component block by subtracting the chrominance component block and the predicted chrominance component block, and a converter for converting the residual chrominance component block to a frequency domain.
  • the chrominance component encoder 530 outputs from an inverse quantizer 542 for inversely quantizing a quantized residual chrominance component block, an inverse transformer 546 for inversely transforming an inverse quantized residual chrominance component block, and a motion compensator 532.
  • An adder 548 may be further included to add the predicted color difference component block and the inverse transformed residual color difference component block to restore the color difference component block.
  • the chrominance component encoder 530 may further include an up sampler 550, a reconstructed image storage unit 552, and a down sampler 554, wherein the up sampler 550 is reconstructed by the adder 548. Up-sample the chrominance component block to the chrominance component block in 4: 4: 4 format. The restored and up-sampled color difference component blocks are stored in the reconstructed image storage unit 552.
  • the upsampler 550 may not further upsample in this case.
  • the down sampler 554 may be used as a reference picture when the motion compensator 532 compensates the motion of the chrominance component block by using the motion vector predicted by the motion predictor 212 of the luminance component encoder 510. Down-samples the 4: 4: 4 format chrominance component block to the color format selected by the color format selector 520. Of course, if the chrominance component block stored in the reconstructed image store 552 is in 4: 4: 4 format and the color format selected by the color format selector 520 is in 4: 4: 4 format, the down sampler 554 adds.
  • the motion compensator 532 may perform motion compensation by using the reconstructed chrominance component block of 4: 4: 4 format stored in the reconstructed image storage unit 552 without being further down sampled. Can be.
  • the chrominance component encoder 530 predicts and encodes the chrominance component block by down sampling the reconstructed chrominance component block in the 4: 4: 4 format previously stored according to the selected color format. Can be.
  • the chrominance component encoder 530 decodes and restores the encoded chrominance component block predicted according to the selected color format, and upsamples the 4: 4: 4 format to store the reconstructed chrominance component block of the 4: 4: 4 format.
  • the chrominance component encoder 530 may predict the chrominance component block using the motion vector used by the luminance component encoder 510 to predict the luminance component block.
  • the bitstream output unit 540 generates and outputs a bitstream including information about the encoded luminance component block, the encoded color difference component block, and the selected color format. That is, the bitstream output unit 540 is configured for the luminance component block encoded by the luminance component encoder 510, the color difference component block encoded by the color difference component encoder 530, and the color format selected by the color format selector 520. The information can be multiplexed to generate and output a bitstream. For this purpose, the bitstream output unit 540 may be implemented as a multiplexer. In addition, the bitstream output unit 540 may insert information about the color format into one or more of a block header, a slice header, and a picture header of the bitstream.
  • the current block may be one or more of a 4x4 block, an 8x8 block, a 16x16 block, a slice, and a picture.
  • the current block may be understood as a broad concept including various types of regions, such as triangles and circles, rather than just rectangular blocks.
  • FIG. 6 is a flowchart illustrating a color image encoding method according to an embodiment of the present invention.
  • the color image encoding apparatus 500 divides the current block of the image into a luminance component block and a chrominance component block (S610), and encodes the luminance component block (S620). In addition, the color image encoding apparatus 500 selects one color format among a plurality of color formats (S630), encodes a color difference component block according to the selected color format (S640), and encodes a luminance component block and an encoded color difference. A bitstream including the component block and the information on the selected color format is generated and output (S650). In this case, in step S630, the color format may be selected using SAD, but may be selected as described below with reference to FIG. 7, but is not limited thereto.
  • FIG. 7 is a flowchart illustrating a method of selecting a color format according to an embodiment of the present invention.
  • the color image encoding apparatus 500 downsamples the 4: 4: 4 format color difference component block (B444), the 4: 4: 4 format color difference component block (B444), the 4: 2: 2 format color difference component block (B422), and A color difference component block B420 having a 4: 2: 0 format is generated (S710). That is, the color image encoding apparatus 500 downsamples the 4: 4: 4 format color difference component block B444 split from the current block of the image input in operation S610 in the horizontal direction to color difference the 4: 2: 2 format.
  • the component block B422 is generated, and the 4: 4: 4 format color difference component block B444 is downsampled in the horizontal direction and the vertical direction to generate the 4: 2: 0 format color difference component block B420.
  • the color image encoding apparatus 500 upsamples the color difference component block B420 of the 4: 2: 0 format and upsamples the 4: 4: 4 format color difference component block B'444 in the 4: 2: 0 format.
  • the color image encoding apparatus 500 may include the color difference component block B'444 of the 4: 4: 4 format and the color difference component block B444 of the 4: 4: 4 format, which are upsampled in the 4: 2: 0 format.
  • B'444, B444) is calculated and the calculated SAD (B'444, B444) is compared with a preset threshold to determine whether the SAD (B'444, B444) is less than the threshold (S730), SAD If (B'444, B444) is smaller than the threshold, 4: 2: 0 format is selected as one color format, that is, the optimal color format for the current block (S732), and SAD (B'444, B444).
  • the 4: 2: 2 format chrominance component block B422 is upsampled and the 4: 4: 4 format chrominance component block B '' is upsampled in the 4: 2: 2 format. 444) is generated (S740). That is, the 4: 2: 2 format chrominance component block B422 is upsampled in the horizontal direction to generate a 4: 4: 4 format chrominance component block B ′′ 444 that is upsampled in the 4: 2: 2 format. do.
  • the color image encoding apparatus 500 includes the SADs of the color difference component blocks B''444 of the 4: 4: 4 format and the color difference component blocks B444 of the 4: 4: 4 format that are upsampled in the 4: 2: 2 format.
  • steps S740, S750, and S752 are performed and described after steps 720, S730, and S732 are performed.
  • step 720 after steps S740, S750, and S752 is performed.
  • Step S730 and step S732 may be performed.
  • the image encoded in the bitstream by the color image encoding apparatus 500 is real-time or non-real-time through the wired or wireless communication network such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network or the like,
  • the image data may be transmitted to a color image decoding apparatus to be described later through various communication interfaces such as a universal serial bus (USB), decoded by the color image decoding apparatus, and restored and reproduced as an image.
  • USB universal serial bus
  • FIG. 8 is a block diagram schematically illustrating an apparatus for decoding a color image according to an embodiment of the present invention.
  • the color image decoding apparatus 800 may include a bitstream decomposer 810, a luminance component decoder 820, and a chrominance component decoder 842.
  • the color image decoding apparatus 800 may be a personal computer (PC), a notebook computer, a personal digital assistant (PDA), a portable multimedia player (PMP), or a PlayStation Portable (PSP).
  • a communication device such as a communication modem for communicating with various devices or a wired / wireless communication network, a memory for storing various programs and data for decoding an image, and a program. It means a variety of devices having a microprocessor, etc. for execution and operation and control.
  • the bitstream decompressor 810 extracts information about the encoded luminance component block, the encoded chrominance component block, and the color format from the bitstream. That is, when the transmitted or prestored bitstream is input, the bitstream decompressor 810 extracts the encoded luminance component block and the encoded chrominance component block from the bitstream, and inserts them into the block header, slice header, picture header, etc. of the bitstream. Extract information about color formats.
  • the bitstream decomposer 810 may be implemented as a demultiplexer.
  • the luminance component decoder 820 decodes the encoded luminance component block to reconstruct the current block of the luminance component. That is, the luminance component decoder 820 decodes the encoded luminance component block output from the bitstream splitter 810 to restore the current block of the luminance component.
  • the luminance component decoder 820 decodes the encoded luminance component block using an entropy decoding technique to generate a residual block having quantization frequency coefficients of the luminance component, and a quantization frequency of the luminance component.
  • An inverse quantizer 824 that inverse quantizes a residual block having coefficients to produce a residual block having frequency coefficients of the luminance component, and an inverse transform of the residual block having frequency coefficients of the luminance component to restore the residual block of the luminance component
  • the transformer 826 reconstructs the current block of the luminance component by adding a motion compensator 830 that predicts the current block of the luminance component to produce a predictive block of the luminance component, and the predicted block of the luminance component and the reconstructed residual block of the luminance component. May include an adder 828.
  • bitstream decomposer 810 may further extract information about the motion vector from the bitstream, in which case the motion compensator 830 uses the motion vector additionally extracted from the bitstream to determine the current block of luminance components.
  • the prediction block of the luminance component may be generated by compensating for the motion of.
  • the color difference component decoder 840 decodes the color difference component block encoded according to the color format according to the information on the color format, and restores the current block of the color difference component. That is, the color difference component decoder 840 decodes the encoded color difference component block output from the bitstream decomposer 810 according to the color format identified by the information on the color format output from the bitstream decomposer 810 to color difference. Restore the current block of components.
  • the chrominance component decoder 840 decodes the encoded chrominance component block using an entropy decoding technique to generate a residual block having quantization frequency coefficients of the chrominance component, and the quantization frequency of the chrominance component.
  • Inverse quantizer 844 which inverse quantizes the coefficients to produce a residual block having frequency coefficients of the chrominance components
  • inverse transformer 846 which inversely transforms the residual block having frequency coefficients of the chrominance components, to restore the residual blocks of the chrominance components.
  • Plug 852 and the 4: 4: 4 the current block of the restored color difference component of the format may include a down-sampling down-sampler 854 in accordance with the color format extracted by the bitstream decomposer (810).
  • the motion compensator 848 may compensate for the motion of the current block of the color difference component using the current block of the reconstructed color difference component down sampled by the down sampler 854.
  • the up sampler 852 may determine whether to up-sampling and up-sampling scheme based on the color format identified by the information on the color format extracted by the bitstream decomposer 810. For example, assuming that the color format identified by the information about the color format extracted by the bitstream decomposer 810 is a 4: 2: 2 format, the current block of reconstructed color difference components output from the adder 850. Since the color format of is also a 4: 2: 2 format, the upsampler 852 upsamples the current block of the reconstructed color difference component output from the adder 850 in the horizontal direction to reconstruct the reconstructed color difference component of the 4: 4: 4 format. You can create and output the current block of.
  • the upsampler 852 may output the current block of the restored color difference component output from the adder 850 as it is without upsampling.
  • the down sampler 854 may determine whether to down-sample and the down-sampling scheme based on the color format identified by the information on the color format extracted by the bitstream decomposer 810. For example, assuming that the color format identified by the information about the color format extracted by the bitstream decomposer 810 is a 4: 2: 2 format, the residual of the reconstructed color difference component output from the inverse converter 846. Since the color format of the block is also a 4: 2: 2 format, the down sampler 854 may use the up sampler 852 to allow the motion compensator 848 to compensate and predict the motion of the current block of the color difference component in the 4: 2: 2 format.
  • the current block of the reconstructed color difference component of 4: 4: 4 format which is outputted from, may be downsampled in the horizontal direction to generate and output the current block of the reconstructed color difference component of 4: 2: 2 format.
  • the color format identified by the information about the color format extracted by the bitstream decomposer 810 is a 4: 4: 4 format
  • the residual of the restored color difference component output from the inverse converter 846 Since the color format of the block is also a 4: 4: 4 format, the down sampler 854 may use the up sampler 852 so that the motion compensator 848 compensates and predicts the motion of the current block of the color difference component of the 4: 4: 4 format. It is possible to output the current block of the restored color difference component of 4: 4: 4 format outputted from the data stream as it is without downsampling.
  • the color difference component decoder 840 upsamples the color difference component block decoded and reconstructed according to the color format to 4: 4: 4 format and outputs the same.
  • the chrominance component block upsampled and output in the 4: 4: 4 format may be downsampled according to the color format to predict and decode.
  • the color format here may be one or more of 4: 4: 4 format, 4: 2: 2 format, and 4: 2: 0 format.
  • FIG. 9 is a flowchart illustrating a color image decoding method according to an embodiment of the present invention.
  • the color image decoding apparatus 800 which receives and stores a bitstream of an image through a wired or wireless communication network or a cable, decodes and restores the image to reproduce the image according to a user's selection or an algorithm of another program being executed. To this end, the image decoding apparatus 800 extracts information about the encoded luminance component block, the encoded chrominance component block, and the color format from the bitstream (S910), and decodes the encoded luminance component block to decode the current block of the luminance component. Restores the current block of the color difference component by decoding the color difference component block encoded according to the color format according to the information on the color format (S930), and restores the restored luminance component block and the restored color difference component block. The restored current block including the output is output (S940).
  • the present invention is applied to the field of image processing or image compression, which encodes or decodes an image based on color information of a video, thereby encoding and decoding one image constituting the video in various color formats. It is a very useful invention that produces the effect of improving the compression performance.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 컬러 영상 부호화/복호화 방법 및 장치에 관한 것이다. 본 발명은 영상을 부호화하는 장치가 영상의 현재 블록에 대한 휘도 성분 블록을 부호화하고, 복수 개의 컬러 포맷 중 하나의 컬러 포맷을 선택하여, 선택된 컬러 포맷에 따라 영상의 현재 블록에 대한 색차 성분 블록을 부호화하며, 부호화된 휘도 성분 블록, 부호화된 색차 성분 블록 및 선택된 컬러 포맷에 대한 정보를 포함하는 비트스트림을 생성하여 출력하는 것을 특징으로 한다. 본 발명에 의하면, 동영상을 구성하는 하나의 영상을 다양한 컬러 포맷으로 부호화하고 복호화할 수 있도록 함으로써, 압축 성능을 향상시킬 수 있다.

Description

컬러 영상 부호화/복호화 방법 및 장치
본 발명은 컬러 영상 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 동영상의 색 정보에 기반하여 영상을 부호화하거나 복호화하는 데 있어서, 동영상을 구성하는 하나의 영상을 다양한 컬러 포맷으로 부호화하고 복호화하는 방법 및 장치에 관한 것이다.
동영상을 부호화할 때, 동영상을 구성하는 픽처의 가로 방향의 화소 라인에 포함되는 화소들의 휘도 신호(Luminance)와 색차 신호(Chrominance)의 비율을 표시함으로써, 동영상의 컬러 포맷을 나타낸다. 통상적으로 휘도 신호를 Y 신호로 표시하고, 색차 신호를 Cb/Cr 신호로 표시한다.
휘도란 영상의 밝기를 나타내는 정도로서, ITU-R 권고에서 하나의 화소의 휘도는 8비트로 나타낸다. 색차란 영상의 색을 나타내는 정보로서, 두 개(Cb/Cr)의 8비트값으로 화소의 색을 나타낸다. 색을 나타내는 좌표계를 색 공간(Color Space)이라고 부르는데, 동영상 부호화 표준인 MPEG(Moving Picture Experts Group)에서는 Y, Cb, Cr 이라는 3개의 8비트 정보로 동영상의 컬러 포맷을 표현한다.
통상적인 MPEG-2, MPEG-4, JVT(Joint Video Team) 등의 동영상 압축 기술들은 하나의 동영상을 4:4:4 컬러 포맷, 4:2:2 컬러 포맷, 4:2:0 컬러 포맷의 동영상으로 압축하는 기술들이다. 이러한 압축 기술들은 동영상의 시퀀스(Sequence) 단위로 컬러 포맷을 고정하고 있어서, 동영상을 구성하는 하나의 영상 내에서 다양한 컬러 포맷으로 압축할 수 없는 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명은, 동영상을 구성하는 하나의 영상을 다양한 컬러 포맷으로 부호화하고 복호화할 수 있도록 함으로써, 압축 성능을 향상시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 영상을 부호화하는 장치에 있어서, 영상의 현재 블록에 대한 휘도 성분 블록을 부호화하는 휘도 성분 부호화기; 복수 개의 컬러 포맷 중 하나의 컬러 포맷을 선택하는 컬러 포맷 선택기; 선택된 컬러 포맷에 따라 영상의 현재 블록에 대한 색차 성분 블록을 부호화하는 색차 성분 부호화기; 및 부호화된 휘도 성분 블록, 부호화된 색차 성분 블록 및 선택된 컬러 포맷에 대한 정보를 포함하는 비트스트림을 생성하여 출력하는 비트스트림 출력기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 방법에 있어서, 영상의 현재 블록을 휘도 성분 블록과 색차 성분 블록으로 분할하는 분할 단계; 휘도 성분 블록을 부호화하는 휘도 성분 블록 부호화 단계; 복수 개의 컬러 포맷 중 하나의 컬러 포맷을 선택하는 컬러 포맷 선택 단계; 선택된 컬러 포맷에 따라 색차 성분 블록을 부호화하는 색차 성분 부호화 단계; 및 부호화된 휘도 성분 블록, 부호화된 색차 성분 블록 및 선택된 컬러 포맷에 대한 정보를 포함하는 비트스트림을 생성하여 출력하는 비트스트림 출력 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서,
비트스트림으로부터 부호화된 휘도 성분 블록, 부호화된 색차 성분 블록 및 컬러 포맷에 대한 정보를 추출하는 비트스트림 분해기; 부호화된 휘도 성분 블록을 복호화하여 휘도 성분의 현재 블록을 복원하는 휘도 성분 복호화기; 및 컬러 포맷에 대한 정보에 따른 컬러 포맷에 따라 부호화된 색차 성분 블록을 복호화하여 색차 성분의 현재 블록을 복원하는 색차 성분 복호화기를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 부호화된 휘도 성분 블록, 부호화된 색차 성분 블록 및 컬러 포맷에 대한 정보를 추출하는 비트스트림 분해 단계; 부호화된 휘도 성분 블록을 복호화하여 휘도 성분의 현재 블록을 복원하는 휘도 성분 복호화 단계; 컬러 포맷에 대한 정보에 따른 컬러 포맷에 따라 부호화된 색차 성분 블록을 복호화하여 색차 성분의 현재 블록을 복원하는 색차 성분 복호화 단계; 및 복원된 휘도 성분의 현재 블록 및 복원된 색차 성분의 현재 블록을 포함하는 복원된 현재 블록을 출력하는 복원 블록 출력 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 동영상을 구성하는 하나의 영상을 다양한 컬러 포맷으로 부호화하고 복호화할 수 있도록 함으로써, 압축 성능을 향상시킬 수 있다.
도 1은 동영상 압축에서 사용하는 컬러 포맷을 나타낸 예시도,
도 2는 4:4:4 포맷의 컬러 영상을 부호화하는 4:4:4 포맷 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도3 및 도 4는 4:2:2 포맷의 컬러 영상을 부호화하는 4:2:2 포맷 영상 부호화 장치와 4:2:0 포맷의 컬러 영상을 부호화하는 4:2:0 포맷 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 5는 본 발명의 일 실시예에 따른 컬러 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 6은 본 발명의 일 실시예에 따른 컬러 영상 부호화 방법을 설명하기 위한 순서도,
도 7은 본 발명의 일 실시예에 따라 컬러 포맷을 선택하는 방법을 설명하기 위한 순서도,
도 8은 본 발명의 일 실시예에 따른 컬러 영상 복호화 장치를 간략하게 나타낸 블록 구성도,
도 9는 본 발명의 일 실시예에 따른 컬러 영상 복호화 방법을 설명하기 위한 순서도,
도 10은 본 발명의 일 실시예에 따른 컬러 포맷을 선택하는 알고리즘을 예시적으로 나타낸 예시도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 동영상 압축에서 사용하는 컬러 포맷을 나타낸 예시도이다.
동영상 압축에서는 사람의 시각이 밝기 정보보다 색 정보에 둔감한 특성을 고려하여, R, G, B 신호를 등가로 표현할 수 있는 Y, Cr, Cb 신호로 변환하고 색의 공간 해상도를 떨어뜨려 손실 압축한다.
4:4:4 포맷의 컬러 영상은 크기가 N X N 화소일 때, 휘도 성분의 밝기 영상(Y)과 두 개의 색차 성분의 색상 영상(Cr, Cb)이 모두 N x N 화소의 크기를 가진다. 따라서, 4:4:4 포맷의 컬러 영상의 밝기 영상(Y)의 각 화소마다 해당하는 하나 씩의 색상 영상(Cr, Cb)의 화소가 존재하는 고화질의 색정보를 포함하는 영상 포맷이다.
4:2:2 포맷의 컬러 영상은 4:4:4 포맷의 색상 영상(Cr, Cb)을 수직 방향은 원래대로 유지하고, 수평 방향의 화소를 다운 샘플링(Down Sampling)에 의해 얻어진 영상이다. 4:4:4 포맷의 색상 영상(Cr, Cb)의 크기가 N x N이면, 다운 샘플링한 후의 색상 영상(Cr, Cb)의 크기는 N x (N/2)의 영상이 된다.
4:2:0 포맷의 영상은 4:4:4 포맷의 Cr, Cb의 색상 영상을 수직 방향과 수평 방향으로 모두 다운 샘플링하여 얻어지는 영상이다. 4:4:4 포맷의 색상 영상(Cr, Cb)의 크기가 N x N이면, 다운 샘플링한 후의 색상 영상(Cr, Cb)의 크기는 (N/2) x (N/2)의 영상이 된다.
도 2는 4:4:4 포맷의 컬러 영상을 부호화하는 4:4:4 포맷 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
Y, Cr, Cb로 구성된 4:4:4 포맷의 입력 영상이 4:4:4 포맷 영상 부호화 장치(200)로 입력되면, 4:4:4 포맷의 입력 영상 중 휘도 신호는 휘도 성분 부호화기(210)에서 부호화되고, 색차 신호는 색차 성분 부호화기(240)에서 부호화된다. 휘도 성분 부호화기(210)에 의해 부호화된 휘도 신호와 색차 성분 부호화기(240)에 의해 부호화된 색차 신호는 비트스트림 출력기(250)에 의해 4:4:4 포맷의 영상에 대한 비트스트림으로 생성되어 출력된다.
휘도 성분 부호화기(210)는 입력된 휘도(Y) 신호로부터 현재 블록의 움직임 벡터를 예측하는 움직임 예측기(212), 예측된 움직임 벡터를 이용하여 현재 블록의 움직임을 보상하여 현재 블록의 예측 블록을 생성하는 움직임 보상기(214), 현재 블록으로부터 예측 블록을 감산하여 잔차 블록을 생성하는 감산기(216), 잔차 블록에 대해 이산 코사인 변환(DCT: Discrete Cosine Transform) 등과 같은 주파수 변환을 수행하여 주파수 계수를 갖는 잔차 블록을 생성하는 변환기(218), 주파수 변환된 잔차 블록의 주파수 계수들을 양자화하는 양자화기(220), 양자화된 주파수 계수를 엔트로피(Entropy) 부호화 등의 기법을 이용하여 부호화함으로써 휘도 신호에 대한 텍스처(Texture) 정보를 생성하는 부호화기(222)를 포함할 수 있다.
또한, 휘도 성분 부호화기(210)는 양자화기(220)에 의해 양자화된 양자화 주파수 계수들을 역 양자화하는 역 양자화기(224), 역 양자화된 주파수 계수들을 역 변환하여 잔차 블록을 복원하는 역 변환기(226), 움직임 보상기(214)로부터 출력되는 움직임이 보상되어 예측된 예측 블록과 역 변환기(226)로부터 출력되는 복원된 잔차 블록을 가산하여 휘도 신호에 대한 복원된 현재 블록을 생성하는 가산기(228) 및 휘도 신호에 대한 복원된 현재 블록을 저장하는 복원 영상 저장기(230)를 포함할 수 있다.
색차 성분 부호화기(240)는 전술한 휘도 성분 부호화기(210)의 모든 구성 요소 중 움직임 예측기(212)를 제외한 나머지 구성 요소를 포함하여 구성될 수 있다. 여기서, 색차 성분 부호화기(240)의 각 구성 요소는 휘도 성분 부호화기(210)에서 전술한 기능과 동일 또는 유사한 기능을 수행한다. 다만, 휘도 성분 부호화기(210)에서는 휘도 신호에 대해 각 기능을 수행하지만, 색차 성분 부호화기(240)에서는 휘도 신호가 아닌 4:4:4 포맷의 색차 신호에 대해서 각 기능을 수행한다. 또한, 색차 성분 부호화기(240)의 움직임 보상기(214)는 휘도 성분 부호화기(210)의 움직임 예측기(212)에 의해 예측된 움직임 벡터를 이용하여 현재 블록의 움직임을 보상함으로써 현재 블록의 예측 블록을 생성한다.
비트스트림 출력기(250)는 휘도 성분 부호화기(210)로부터 출력되는 휘도 신호에 대한 텍스처 정보와 색차 성분 부호화기(240)로부터 출력되는 색차 신호에 대한 텍스처 정보를 포함하는 비트스트림을 생성하여 출력한다. 이와 같이 출력되는 비트스트림은 4:4:4 포맷의 영상을 압축한 비트스트림이다. 또한, 비트스트림 생성기(250)는 경우에 따라 움직임 예측기(212)에서 예측한 움직임 벡터를 비트스트림에 추가로 포함시켜 출력할 수 있다.
도 3 및 도 4는 4:2:2 포맷의 컬러 영상을 부호화하는 4:2:2 포맷 영상 부호화 장치와 4:2:0 포맷의 컬러 영상을 부호화하는 4:2:0 포맷 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
4:2:2 포맷 영상 부호화 장치(300)와 4:2:0 포맷 영상 부호화 장치(400)의 구성은 도 2를 통해 전술한 4:4:4 포맷 영상 부호화 장치(200)와 동일하다. 다만, 입력되는 영상이 4:4:4 포맷의 입력 영상이 아니라 4:2:2 포맷의 입력 영상과 4:2:0 입력 영상이며, 색차 성분 부호화기(240)가 각각 4:2:2 포맷의 색차 신호와 4:2:0 색차 신호를 부호화하여 텍스처 정보를 생성하며, 비트스트림 출력기(250)로부터 출력되는 비트스트림도 각각 4:2:2 포맷의 영상을 압축한 비트스트림과 4:2:0 포맷의 영상을 압축한 비트스트림이다.
도 2 내지 도 4를 통해 전술한 바와 같은 4:4:4 포맷, 4:2:2 포맷, 4:2:0 포맷 각각으로 영상을 부호화하여 압축하는 경우, 하나의 컬러 포맷으로만 영상을 압축할 수 있기 때문에, 하나의 영상을 다양한 컬러 포맷으로 부호화할 수 없는 문제점이 있다.
도 5는 본 발명의 일 실시예에 따른 컬러 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 컬러 영상 부호화 장치(500)는 휘도 성분 부호화기(510), 포맷 선택기(520), 색차 성분 부호화기(530) 및 비트스트림 출력기(540)를 포함하여 구성될 수 있다. 이러한 컬러 영상 부호화 장치(500)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
휘도 성분 부호화기(510)는 영상의 현재 블록에 대한 휘도 성분 블록을 부호화한다. 휘도 성분 부호화기(510)는 도 2를 통해 전술한 4:4:4 포맷 영상 부호화 장치(200)의 휘도 성분 부호화기(210)의 모든 구성 요소를 포함하며, 각 구성 요소의 기능 또한 동일 유사하다. 여기서, 휘도 성분 블록이란 영상에서 부호화하고자 하는 현재 블록의 휘도 신호(Y 신호), 색차 신호(Cr 신호, Cb 신호) 중에서 휘도 신호만을 분할하여 생성되는 블록 즉, 휘도 성분의 현재 블록을 의미한다.
컬러 포맷 선택기(520)는 복수 개의 컬러 포맷 중 하나의 컬러 포맷을 선택한다. 여기서, 복수 개의 컬러 포맷은 4:4:4 포맷, 4:2:2 포맷 및 4:2:0 포맷 중 하나 이상일 수 있다. 즉, 컬러 포맷 선택기(520)는 4:4:4 포맷, 4:2:2 포맷 및 4:2:0 포맷 중 현재 블록에 대해 최적의 컬러 포맷을 선택한다.
이를 위해, 컬러 포맷 선택기(520)는 4:4:4 포맷의 색차 성분 입력 영상이 입력되면 부호화하고자 하는 현재 블록에 해당하는 4:4:4 포맷의 색차 성분 블록을 수평 방향으로 다운 샘플링하여 4:2:2 포맷의 색차 성분 블록을 생성하는 4:2:2 다운 샘플러(522), 4:4:4 포맷의 색차 성분 블록을 수직 방향과 수평 방향으로 다운 샘플링하여 4:2:0 포맷의 색차 성분 블록을 생성하는 4:2:0 다운 샘플러(524) 및 4:4:4 포맷의 색차 성분 블록, 4:2:2 포맷의 색차 성분 블록, 4:2:0 포맷의 색차 성분 블록을 입력받아 현재 블록에 대한 최적의 컬러 포맷을 선택하는 비교기(526)를 포함하여 구성될 수 있다. 여기서, 색차 성분 블록이란 영상에서 부호화하고자 하는 현재 블록의 휘도 신호(Y 신호), 색차 신호(Cr 신호, Cb 신호) 중에서 색차 신호만을 분할하여 생성되는 블록 즉, 색차 성분의 현재 블록을 의미하는 것으로, Cr 색차 성분 블록과 Cb 색차 성분 블록을 포함한다.
비교기(526)는 4:2:2 포맷에서 업 샘플링된 4:4:4 포맷의 색차 성분 블록(B''444)과 4:4:4 포맷의 색차 성분 블록(B444)의 SAD(Sum of Absolute Difference)가 임계값(Threshold)보다 작은 경우, 4:2:2 포맷을 현재 블록의 최적의 컬러 포맷으로서 선택할 수 있다. 또한, 비교기(526)는 4:2:0 포맷에서 업 샘플링된 4:4:4 포맷의 색차 성분 블록(B'444)과 B444의 SAD가 임계값보다 작은 경우, 4:2:0 포맷을 현재 블록의 최적의 컬러 포맷으로서 선택할 수 있다. 여기서, 임계값은 임의의 상수로서, 적용되는 응용에 따라 다른 값으로 설정될 수 있다.
또한, 비교기(526)는 B''444와 B444의 SAD가 임계값보다 크거나 같으며, B'444와 B444의 SAD가 임계값보다 크거나 같은 경우, 4:4:4 포맷을 최적의 컬러 포맷으로서 선택할 수 있다. 이와 같이, 컬러 포맷 선택기(520)가 컬러 포맷을 선택하는 알고리즘을 예시적으로 나타내면 도 10과 같이 나타낼 수 있다.
색차 성분 부호화기(530)는 선택된 컬러 포맷에 따라 영상의 현재 블록에 대한 색차 성분 블록을 부호화한다. 색차 성분 부호화기(530)는 도 2를 통해 전술한 4:4:4 포맷 영상 부호화 장치(200)의 색차 성분 부호화기(210)의 모든 구성 요소를 포함하며, 각 구성 요소의 기능 또한 동일 유사하다.
즉, 색차 성분 부호화기(530)는 휘도 성분 부호화기(510)의 움직임 예측기(216)에 의해 예측된 움직임 벡터를 이용하여 컬러 포맷 선택기(520)로부터 출력되는 색차 성분 블록의 움직임을 보상함으로써 색차 성분 블록을 예측하여 예측 색차 성분 블록을 생성하는 움직임 보상기(532), 색차 성분 블록과 예측 색차 성분 블록을 감산하여 잔차 색차 성분 블록을 생성하는 감산기(534), 잔차 색차 성분 블록을 주파수 영역으로 변환하는 변환기(536), 주파수 영역으로 변환된 잔차 색차 성분 블록을 양자화하는 양자화기(538), 양자화된 잔차 색차 성분 블록을 부호화하여 출력하는 부호화기(540)를 포함할 수 있다. 또한, 색차 성분 부호화기(530)는 양자화된 잔차 색차 성분 블록을 역 양자화하는 역 양자화기(542), 역 양자화된 잔차 색차 성분 블록을 역 변환하는 역 변환기(546), 움직임 보상기(532)로부터 출력되는 예측 색차 성분 블록과 역 변환된 잔차 색차 성분 블록을 가산하여 색차 성분 블록을 복원하는 가산기(548)를 추가로 포함할 수 있다.
또한, 색차 성분 부호화기(530)는 업 샘플러(550), 복원 영상 저장기(552) 및 다운 샘플러(554)를 추가로 포함할 수 있는데, 업 샘플러(550)는 가산기(548)에 의해 복원된 색차 성분 블록을 4:4:4 포맷의 색차 성분 블록으로 업 샘플링한다. 이와 같이 복원되어 업 생플링된 색차 성분 블록은 복원 영상 저장기(552)에 저장된다. 물론, 컬러 포맷 선택기(520)에 의해 선택된 컬러 포맷이 4:4:4 포맷이어서 색차 성분 부호화기(530)가 4:4:4 포맷으로 색차 성분 블록을 부호화하여 복호화하고 복원한 경우 복원된 색차 성분 블록도 4:4:4 포맷이므로, 이 경우 업 샘플러(550)는 추가로 업 샘플링할 하지 않을 수 있다.
다운 샘플러(554)는 움직임 보상기(532)가 휘도 성분 부호화기(510)의 움직임 예측기(212)에서 예측된 움직임 벡터를 이용하여 색차 성분 블록의 움직임을 보상할 때, 참조 영상(Reference Picture)으로 사용할 수 있도록 4:4:4 포맷의 색차 성분 블록을 컬러 포맷 선택기(520)에 의해 선택된 컬러 포맷으로 다운 샘플링한다. 물론, 복원 영상 저장기(552)에 저장된 색차 성분 블록이 4:4:4 포맷이고 컬러 포맷 선택기(520)에 의해 선택된 컬러 포맷이 4:4:4 포맷인 경우, 다운 샘플러(554)는 추가로 다운 샘플링할 하지 않을 수 있으며, 움직임 보상기(532)는 추가로 다운 샘플링되지 않고 복원 영상 저장기(552)에 저장된 4:4:4 포맷의 복원된 색차 성분 블록을 이용하여 움직임 보상을 수행할 수 있다.
이와 같이, 색차 성분 부호화기(530)는 색차 성분 블록을 부호화하는 데 있어서, 선택된 컬러 포맷에 따라 기 저장된 4:4:4 포맷의 복원된 색차 성분 블록을 다운 샘플링하여 색차 성분 블록을 예측하고 부호화할 수 있다. 또한, 색차 성분 부호화기(530)는 선택된 컬러 포맷에 따라 예측하여 부호화된 색차 성분 블록을 복호화하여 복원하고 4:4:4 포맷으로 업 샘플링하여 4:4:4 포맷의 복원된 색차 성분 블록을 저장할 수 있다. 또한, 색차 성분 부호화기(530)는 휘도 성분 부호화기(510)에서 휘도 성분 블록을 예측하는 데 이용하는 움직임 벡터를 이용하여 색차 성분 블록을 예측할 수 있다.
*비트스트림 출력기(540)는 부호화된 휘도 성분 블록, 부호화된 색차 성분 블록 및 선택된 컬러 포맷에 대한 정보를 포함하는 비트스트림을 생성하여 출력한다. 즉, 비트스트림 출력기(540)는 휘도 성분 부호화기(510)에 의해 부호화된 휘도 성분 블록, 색차 성분 부호화기(530)에 의해 부호화된 색차 성분 블록 및 컬러 포맷 선택기(520)에 의해 선택된 컬러 포맷에 대한 정보를 다중화하여 비트스트림을 생성하고 출력할 수 있다. 이를 위해 비트스트림 출력기(540)는 다중화기(Multiplexer)로 구현될 수 있다. 또한, 비트스트림 출력기(540)는 컬러 포맷에 대한 정보를 비트스트림의 블록 헤더, 슬라이스 헤더 및 픽처 헤더 중 하나 이상에 삽입할 수 있다.
여기서, 현재 블록은 4x4 블록, 8x8 블록, 16x16 블록, 슬라이스 및 픽처 중 하나 이상일 수 있는데, 사각형의 블록만을 의미하는 것이 아니라 삼각형, 원형 등 다양한 형태의 영역을 포함하는 넓은 개념으로 이해될 수 있다.
도 6은 본 발명의 일 실시예에 따른 컬러 영상 부호화 방법을 설명하기 위한 순서도이다.
컬러 영상 부호화 장치(500)는 영상의 현재 블록을 휘도 성분 블록과 색차 성분 블록으로 분할하고(S610), 휘도 성분 블록을 부호화한다(S620). 또한, 컬러 영상 부호화 장치(500)는 복수 개의 컬러 포맷 중 하나의 컬러 포맷을 선택하고(S630), 선택된 컬러 포맷에 따라 색차 성분 블록을 부호화하며(S640), 부호화된 휘도 성분 블록, 부호화된 색차 성분 블록 및 선택된 컬러 포맷에 대한 정보를 포함하는 비트스트림을 생성하여 출력한다(S650). 이때, 단계 S630에서 컬러 포맷은 SAD를 이용하여 선택될 수 있는데, 도 7을 통해 후술하는 바와 같이 선택될 수 있지만, 반드시 이에 한정되는 것은 아니다.
도 7은 본 발명의 일 실시예에 따라 컬러 포맷을 선택하는 방법을 설명하기 위한 순서도이다.
컬러 영상 부호화 장치(500)는 4:4:4 포맷의 색차 성분 블록을 다운 샘플링하여 4:4:4 포맷의 색차 성분 블록(B444), 4:2:2 포맷의 색차 성분 블록(B422) 및 4:2:0 포맷의 색차 성분 블록(B420)을 생성한다(S710). 즉, 컬러 영상 부호화 장치(500)는 단계 S610에서 입력된 영상의 현재 블록에서 분할된 4:4:4 포맷의 색차 성분 블록(B444)을 수평 방향으로 다운 샘플링하여 4:2:2 포맷의 색차 성분 블록(B422)를 생성하고, 4:4:4 포맷의 색차 성분 블록(B444)을 수평 방향과 수직 방향으로 다운 샘플링하여 4:2:0 포맷의 색차 성분 블록(B420)을 생성한다.
컬러 영상 부호화 장치(500)는 4:2:0 포맷의 색차 성분 블록(B420)을 업 샘플링하여 4:2:0 포맷에서 업 샘플링된 4:4:4 포맷의 색차 성분 블록(B'444)을 생성한다(S720). 즉, 4:2:0 포맷의 색차 성분 블록(B420)이 수평 방향과 수직 방향으로 업 샘플링되어 4:2:0 포맷에서 업 샘플링된 4:4:4 포맷의 색차 성분 블록(B'444)이 생성된다.
컬러 영상 부호화 장치(500)는 4:2:0 포맷에서 업 샘플링된 4:4:4 포맷의 색차 성분 블록(B'444)과 4:4:4 포맷의 색차 성분 블록(B444)의 SAD(B'444, B444)를 계산하고 계산된 SAD(B'444, B444)를 기 설정된 임계값과 비교하여 SAD(B'444, B444)가 임계값보다 작은지 여부를 판단하며(S730), SAD(B'444, B444)가 임계값보다 작은 경우에는 4:2:0 포맷을 하나의 컬러 포맷 즉, 현재 블록에 대한 최적의 컬러 포맷으로 선택하고(S732), SAD(B'444, B444)가 임계값보다 크거나 같은 경우에는 4:2:2 포맷의 색차 성분 블록(B422)을 업 샘플링하여 4:2:2 포맷에서 업 샘플링된 4:4:4 포맷의 색차 성분 블록(B''444)을 생성한다(S740). 즉, 4:2:2 포맷의 색차 성분 블록(B422)이 수평 방향으로 업 샘플링되어 4:2:2 포맷에서 업 샘플링된 4:4:4 포맷의 색차 성분 블록(B''444)이 생성된다.
컬러 영상 부호화 장치(500)는 4:2:2 포맷에서 업 샘플링된 4:4:4 포맷의 색차 성분 블록(B''444)과 4:4:4 포맷의 색차 성분 블록(B444)의 SAD(B''444, B444)를 계산하고 계산된 SAD(B''444, B444)를 기 설정된 임계값과 비교하여 SAD(B''444, B444)가 임계값보다 작은지 여부를 판단하며(S750), SAD(B'444, B444)가 임계값보다 작은 경우에는 4:2:2 포맷을 하나의 컬러 포맷 즉, 현재 블록에 대한 최적의 컬러 포맷으로 선택하고(S752), SAD(B''444, B444)가 임계값보다 크거나 같은 경우에는 4:4:4 포맷을 하나의 컬러 포맷 즉, 현재 블록에 대한 최적의 컬러 포맷으로 선택한다(S760).
도 6 및 도 7에 도시하고 전술한 단계들은 본 발명의 일 실시예로서 예를 들어 설명한 것일 뿐, 본 발명이 반드시 이러한 단계의 순서에 한정되는 것은 아니다. 즉, 각 단계들의 순서는 선택적으로 변경되어 수행될 수 있을 뿐만 아니라, 심지어는 일부 또는 전부의 단계들이 선택적으로 병행해서 수행될 수도 있다. 예를 들어, 도 7에서는 단계 720, 단계 S730, 단계 S732가 수행된 후에 단계 S740, 단계 S750, 단계 S752가 수행되는 것으로 도시하고 설명했지만, 단계 S740, 단계 S750, 단계 S752가 수행된 후 단계 720, 단계 S730, 단계 S732가 수행될 수도 있다.
전술한 바와 같이, 컬러 영상 부호화 장치(500)에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 다양한 통신 인터페이스를 통해 후술할 컬러 영상 복호화 장치로 전송되어 컬러 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
도 8은 본 발명의 일 실시예에 따른 컬러 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 컬러 영상 복호화 장치(800)는 비트스트림 분해기(810), 휘도 성분 복호화기(820) 및 색차 성분 복호화기(842)를 포함하여 구성될 수 있다. 이러한 컬러 영상 복호화 장치(800)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
비트스트림 분해기(810)는 비트스트림으로부터 부호화된 휘도 성분 블록, 부호화된 색차 성분 블록 및 컬러 포맷에 대한 정보를 추출한다. 즉, 비트스트림 분해기(810)는 전송되거나 기 저장된 비트스트림이 입력되면 비트스트림으로부터 부호화된 휘도 성분 블록과 부호화된 색차 성분 블록을 추출하고, 비트스트림의 블록 헤더, 슬라이스 헤더, 픽처 헤더 등에 삽입된 컬러 포맷에 대한 정보를 추출한다. 이러한 비트스트림 분해기(810)는 역 다중화기(Demultiplexer)로 구현될 수 있다.
휘도 성분 복호화기(820)는 부호화된 휘도 성분 블록을 복호화하여 휘도 성분의 현재 블록을 복원한다. 즉, 휘도 성분 복호화기(820)는 비트스트림 분해기(810)로부터 출력되는 부호화된 휘도 성분 블록을 복호화하여 휘도 성분의 현재 블록을 복원한다.
이를 위해, 휘도 성분 복호화기(820)는 부호화된 휘도 성분 블록을 엔트로피 복호화 기법 등을 이용하여 복호화함으로써 휘도 성분의 양자화 주파수 계수를 갖는 잔차 블록을 생성하는 복호화기(822), 휘도 성분의 양자화 주파수 계수를 갖는 잔차 블록을 역 양자화하여 휘도 성분의 주파수 계수를 갖는 잔차 블록을 생성하는 역 양자화기(824), 휘도 성분의 주파수 계수를 갖는 잔차 블록을 역 변환하여 휘도 성분의 잔차 블록을 복원하는 역 변환기(826), 휘도 성분의 현재 블록을 예측하여 휘도 성분의 예측 블록을 생성하는 움직임 보상기(830) 및 휘도 성분의 예측 블록과 휘도 성분의 복원된 잔차 블록을 가산하여 휘도 성분의 현재 블록을 복원하는 가산기(828)를 포함할 수 있다.
여기서, 비트스트림 분해기(810)는 비트스트림으로부터 움직임 벡터에 대한 정보를 추가로 추출할 수 있으며, 이 경우 움직임 보상기(830)는 비트스트림으로부터 추가로 추출된 움직임 벡터를 이용하여 휘도 성분의 현재 블록의 움직임을 보상함으로써 휘도 성분의 예측 블록을 생성할 수 있다.
색차 성분 복호화기(840)는 컬러 포맷에 대한 정보에 따른 컬러 포맷에 따라 부호화된 색차 성분 블록을 복호화하여 색차 성분의 현재 블록을 복원한다. 즉, 색차 성분 복호화기(840)는 비트스트림 분해기(810)로부터 출력되는 컬러 포맷에 대한 정보에 의해 식별되는 컬러 포맷에 따라 비트스트림 분해기(810)로부터 출력되는 부호화된 색차 성분 블록을 복호화하여 색차 성분의 현재 블록을 복원한다.
이를 위해, 색차 성분 복호화기(840)는 부호화된 색차 성분 블록을 엔트로피 복호화 기법 등을 이용하여 복호화함으로써 색차 성분의 양자화 주파수 계수를 갖는 잔차 블록을 생성하는 복호화기(842), 색차 성분의 양자화 주파수 계수를 역 양자화하여 색차 성분의 주파수 계수를 갖는 잔차 블록을 생성하는 역 양자화기(844), 색차 성분의 주파수 계수를 갖는 잔차 블록을 역 변환하여 색차 성분의 잔차 블록을 복원하는 역 변환기(846), 색차 성분의 현재 블록의 움직임을 보상하여 색차 성분의 예측 블록을 생성하는 움직임 보상기(848), 복원된 색차 성분의 잔차 블록과 색차 성분의 예측 블록을 가산하여 색차 성분의 현재 블록을 복원하는 가산기(850), 복원된 색차 성분의 현재 블록을 업 샘플링하여 4:4:4 포맷의 복원된 색차 성분의 현재 블록을 생성하는 업 샘플러(852) 및 4:4:4 포맷의 복원된 색차 성분의 현재 블록을 비트스트림 분해기(810)에 의해 추출된 컬러 포맷에 따라 다운 샘플링하는 다운 샘플러(854)를 포함할 수 있다. 움직임 보상기(848)는 다운 샘플러(854)에 의해 다운 샘플링된 복원된 색차 성분의 현재 블록을 이용하여 색차 성분의 현재 블록의 움직임을 보상할 수 있다.
여기서, 업 샘플러(852)는 비트스트림 분해기(810)에 의해 추출된 컬러 포맷에 대한 정보에 의해 식별되는 컬러 포맷에 기초하여 업 샘플링 여부와 업 샘플링 방식을 결정할 수 있다. 예를 들어, 비트스트림 분해기(810)에 의해 추출된 컬러 포맷에 대한 정보에 의해 식별되는 컬러 포맷이 4:2:2 포맷이라고 가정하면, 가산기(850)로부터 출력되는 복원된 색차 성분의 현재 블록의 컬러 포맷도 4:2:2 포맷이므로, 업 샘플러(852)는 가산기(850)로부터 출력되는 복원된 색차 성분의 현재 블록을 수평 방향으로 업 샘플링하여 4:4:4 포맷의 복원된 색차 성분의 현재 블록을 생성하여 출력할 수 있다. 또 다른 예로, 비트스트림 분해기(810)에 의해 추출된 컬러 포맷에 대한 정보에 의해 식별되는 컬러 포맷이 4:4:4 포맷이라고 가정하면, 가산기(850)로부터 출력되는 복원된 색차 성분의 현재 블록의 컬러 포맷도 4:4:4 포맷이므로, 업 샘플러(852)는 가산기(850)로부터 출력되는 복원된 색차 성분의 현재 블록을 업 샘플링하지 않고 그대로 출력할 수 있다.
또한, 다운 샘플러(854)는 비트스트림 분해기(810)에 의해 추출된 컬러 포맷에 대한 정보에 의해 식별되는 컬러 포맷에 기초하여 다운 샘플링 여부와 다운 샘플링 방식을 결정할 수 있다. 예를 들어, 비트스트림 분해기(810)에 의해 추출된 컬러 포맷에 대한 정보에 의해 식별되는 컬러 포맷이 4:2:2 포맷이라고 가정하면, 역 변환기(846)로부터 출력되는 복원된 색차 성분의 잔차 블록의 컬러 포맷도 4:2:2 포맷이므로 움직임 보상기(848)가 4:2:2 포맷의 색차 성분의 현재 블록의 움직임을 보상하여 예측할 수 있도록, 다운 샘플러(854)는 업 샘플러(852)로부터 출력되는 4:4:4 포맷의 복원된 색차 성분의 현재 블록을 수평 방향으로 다운 샘플링하여 4:2:2 포맷의 복원된 색차 성분의 현재 블록을 생성하여 출력할 수 있다. 또 다른 예로, 비트스트림 분해기(810)에 의해 추출된 컬러 포맷에 대한 정보에 의해 식별되는 컬러 포맷이 4:4:4 포맷이라고 가정하면, 역 변환기(846)로부터 출력되는 복원된 색차 성분의 잔차 블록의 컬러 포맷도 4:4:4 포맷이므로 움직임 보상기(848)가 4:4:4 포맷의 색차 성분의 현재 블록의 움직임을 보상하여 예측할 수 있도록, 다운 샘플러(854)는 업 샘플러(852)로부터 출력되는 4:4:4 포맷의 복원된 색차 성분의 현재 블록을 다운 샘플링하지 않고 그대로 출력할 수 있다.
즉, 이와 같은 업 샘플러(852), 다운 샘플러(854) 등을 이용하여 색차 성분 복호화기(840)는 컬러 포맷에 따라 복호화되어 복원된 색차 성분 블록을 4:4:4 포맷으로 업 샘플링하여 출력할 수 있으며, 부호화된 색차 성분 블록을 복호화하는 데 있어서, 4:4:4 포맷으로 업 샘플링되어 출력되는 색차 성분 블록을 컬러 포맷에 따라 다운 샘플링하여 예측하고 복호화할 수 있다. 물론, 여기서 컬러 포맷은 4:4:4 포맷, 4:2:2 포맷 및 4:2:0 포맷 중 하나 이상일 수 있다.
도 9는 본 발명의 일 실시예에 따른 컬러 영상 복호화 방법을 설명하기 위한 순서도이다.
유무선 통신망 또는 케이블 등을 통해 영상에 대한 비트스트림을 수신하여 저장한 컬러 영상 복호화 장치(800)는 사용자의 선택 또는 실행 중인 다른 프로그램의 알고리즘에 따라 영상을 재생하기 위해, 영상을 복호화하여 복원한다. 이를 위해, 영상 복호화 장치(800)는 비트스트림으로부터 부호화된 휘도 성분 블록, 부호화된 색차 성분 블록 및 컬러 포맷에 대한 정보를 추출하고(S910), 부호화된 휘도 성분 블록을 복호화하여 휘도 성분의 현재 블록을 복원하며(S920), 컬러 포맷에 대한 정보에 따른 컬러 포맷에 따라 부호화된 색차 성분 블록을 복호화하여 색차 성분의 현재 블록을 복원하며(S930), 복원된 휘도 성분 블록 및 복원된 색차 성분 블록을 포함하는 복원된 현재 블록을 출력한다(S940).
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 동영상의 색 정보에 기반하여 영상을 부호화하거나 복호화하는 영상 처리 또는 영상 압축 분야에 적용되어, 동영상을 구성하는 하나의 영상을 다양한 컬러 포맷으로 부호화하고 복호화할 수 있도록 함으로써, 압축 성능을 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2008년 12월 23일 한국에 출원한 특허출원번호 제 10-2008-0132265 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (20)

  1. 영상을 부호화하는 장치에 있어서,
    상기 영상의 현재 블록에 대한 휘도 성분 블록을 부호화하는 휘도 성분 부호화기;
    복수 개의 컬러 포맷 중 하나의 컬러 포맷을 선택하는 컬러 포맷 선택기;
    상기 선택된 컬러 포맷에 따라 상기 영상의 현재 블록에 대한 색차 성분 블록을 부호화하는 색차 성분 부호화기; 및
    상기 부호화된 휘도 성분 블록, 상기 부호화된 색차 성분 블록 및 상기 선택된 컬러 포맷에 대한 정보를 포함하는 비트스트림을 생성하여 출력하는 비트스트림 출력기
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  2. 제 1 항에 있어서, 상기 복수 개의 컬러 포맷은,
    4:4:4 포맷, 4:2:2 포맷 및 4:2:0 포맷 중 하나 이상인 것을 특징으로 하는 영상 부호화 장치.
  3. 제 1 항에 있어서, 상기 컬러 포맷 선택기는,
    4:2:2 포맷에서 업 샘플링된 4:4:4 포맷의 색차 성분 블록(B''444)과 4:4:4 포맷의 색차 성분 블록(B444)의 SAD가 임계값보다 작은 경우, 상기 4:2:2 포맷을 상기 하나의 컬러 포맷으로서 선택하는 것을 특징으로 하는 영상 부호화 장치.
  4. 제 1 항에 있어서, 상기 컬러 포맷 선택기는,
    4:2:0 포맷에서 업 샘플링된 4:4:4 포맷의 색차 성분 블록(B'444)과 4:4:4 포맷의 색차 성분 블록(B444)의 SAD가 임계값보다 작은 경우, 상기 4:2:0 포맷을 상기 하나의 컬러 포맷으로서 선택하는 것을 특징으로 하는 영상 부호화 장치.
  5. 제 2 항에 있어서, 상기 컬러 포맷 선택기는,
    4:2:2 포맷에서 업 샘플링된 4:4:4 포맷의 색차 성분 블록(B''444)과 4:4:4 포맷의 색차 성분 블록(B444)의 SAD가 임계값보다 크거나 같으며, 4:2:0 포맷에서 업 샘플링된 4:4:4 포맷의 색차 성분 블록(B'444)과 상기 4:4:4 포맷의 색차 성분 블록(B444)의 SAD가 임계값보다 크거나 같은 경우, 상기 4:4:4 포맷을 상기 하나의 컬러 포맷으로서 선택하는 것을 특징으로 하는 영상 부호화 장치.
  6. 제 1 항에 있어서, 상기 컬러 포맷 선택기는,
    4:4:4 포맷의 색차 성분 블록을 다운 샘플링하여 4:2:2 색차 성분 블록과 4:2:0 색차 성분 블록을 생성하는 것을 특징으로 하는 영상 부호화 장치.
  7. 제 1 항에 있어서, 상기 색차 성분 부호화기는,
    상기 색차 성분 블록을 부호화하는 데 있어서, 상기 선택된 컬러 포맷에 따라 기 저장된 4:4:4 포맷의 복원된 색차 성분 블록을 다운 샘플링하여 상기 색차 성분 블록을 예측하여 부호화하는 것을 특징으로 하는 영상 부호화 장치.
  8. 제 7 항에 있어서, 상기 색차 성분 부호화기는,
    상기 선택된 컬러 포맷에 따라 예측하여 부호화된 색차 성분 블록을 복호화하여 복원하고 4:4:4 포맷으로 업 샘플링하여 상기 4:4:4 포맷의 복원된 색차 성분 블록을 저장하는 것을 특징으로 하는 영상 부호화 장치.
  9. 제 1 항에 있어서, 상기 색차 성분 부호화기는,
    상기 휘도 성분 부호화기에서 상기 휘도 성분 블록을 예측하는 데 이용하는 움직임 벡터를 이용하여 상기 색차 성분 블록을 예측하는 것을 특징으로 하는 영상 부호화 장치.
  10. 제 1 항에 있어서, 상기 비트스트림 출력기는,
    상기 컬러 포맷에 대한 정보를 상기 비트스트림의 블록 헤더, 슬라이스 헤더 및 픽처 헤더 중 하나 이상에 삽입하는 것을 특징으로 하는 영상 부호화 장치.
  11. 제 1 항에 있어서, 상기 현재 블록은,
    4x4 블록, 8x8 블록, 16x16 블록, 슬라이스 및 픽처 중 하나 이상인 것으로 특징으로 하는 영상 부호화 장치.
  12. 영상을 부호화하는 방법에 있어서,
    상기 영상의 현재 블록을 휘도 성분 블록과 색차 성분 블록으로 분할하는 분할 단계;
    상기 휘도 성분 블록을 부호화하는 휘도 성분 블록 부호화 단계;
    복수 개의 컬러 포맷 중 하나의 컬러 포맷을 선택하는 컬러 포맷 선택 단계;
    상기 선택된 컬러 포맷에 따라 상기 색차 성분 블록을 부호화하는 색차 성분 부호화 단계; 및
    상기 부호화된 휘도 성분 블록, 상기 부호화된 색차 성분 블록 및 상기 선택된 컬러 포맷에 대한 정보를 포함하는 비트스트림을 생성하여 출력하는 비트스트림 출력 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  13. 제 12 항에 있어서, 상기 컬러 포맷 선택 단계는,
    4:4:4 포맷의 색차 성분 블록을 다운 샘플링하여 4:2:2 포맷의 색차 성분 블록과 4:2:0 포맷의 색차 성분 블록을 생성하는 다운 샘플링 단계;
    상기 4:2:0 포맷의 색차 성분 블록을 업 샘플링하여 4:2:0 포맷에서 업 샘플링된 4:4:4 포맷의 색차 성분 블록을 생성하는 4:2:0 포맷 업 샘플링 단계;
    상기 4:2:0 포맷에서 업 샘플링된 4:4:4 포맷의 색차 성분 블록과 상기 4:4:4 포맷의 색차 성분 블록의 SAD가 임계값보다 작은 경우, 상기 4:2:0 포맷을 상기 하나의 컬러 포맷으로 선택하는 4:2:0 포맷 선택 단계;
    상기 4:2:2 포맷의 색차 성분 블록을 업 샘플링하여 4:2:2 포맷에서 업 샘플링된 4:4:4 포맷의 색차 성분 블록을 생성하는 4:2:2 포맷 업 샘플링 단계;
    상기 4:2:2 포맷에서 업 샘플링된 4:4:4 포맷의 색차 성분 블록과 상기 4:4:4 포맷의 색차 성분 블록의 SAD가 임계값보다 작은 경우, 상기 4:2:2 포맷을 상기 하나의 컬러 포맷으로 선택하는 4:2:2 포맷 선택 단계; 및
    상기 4:2:0 포맷에서 업 샘플링된 4:4:4 포맷의 색차 성분 블록과 상기 4:4:4 포맷의 색차 성분 블록의 SAD가 임계값보다 크거나 같으며, 상기 4:2:2 포맷에서 업 샘플링된 4:4:4 포맷의 색차 성분 블록과 상기 4:4:4 포맷의 색차 성분 블록의 SAD가 임계값보다 크거나 같은 경우, 상기 4:4:4 포맷을 상기 하나의 컬러 포맷으로 선택하는 4:4:4 포맷 선택 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  14. 제 12 항에 있어서, 상기 컬러 포맷 선택 단계는,
    SAD를 이용하여 상기 하나의 컬러 포맷을 선택하는 것을 특징으로 하는 영상 부호화 방법.
  15. 영상을 복호화하는 장치에 있어서,
    비트스트림으로부터 부호화된 휘도 성분 블록, 부호화된 색차 성분 블록 및 컬러 포맷에 대한 정보를 추출하는 비트스트림 분해기;
    상기 부호화된 휘도 성분 블록을 복호화하여 휘도 성분의 현재 블록을 복원하는 휘도 성분 복호화기; 및
    상기 컬러 포맷에 대한 정보에 따른 컬러 포맷에 따라 상기 부호화된 색차 성분 블록을 복호화하여 색차 성분의 현재 블록을 복원하는 색차 성분 복호화기
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  16. 제 15 항에 있어서,
    상기 비트스트림 분해기는 상기 비트스트림으로부터 움직임 벡터에 대한 정보를 추출하되, 상기 휘도 성분 복호화기 및 상기 색차 성분 복호화기는 상기 추출된 움직임 벡터에 대한 정보에 따른 움직임 벡터를 이용하여 복호화하는 것을 특징으로 하는 영상 복호화 장치.
  17. 제 15 항에 있어서, 상기 색차 성분 복호화기는,
    상기 컬러 포맷에 따라 복호화되어 복원된 색차 성분 블록을 4:4:4 포맷으로 업 샘플링하여 출력하는 것을 특징으로 하는 영상 복호화 장치.
  18. 제 15 항에 있어서, 상기 색차 성분 복호화기는,
    상기 부호화된 색차 성분 블록을 복호화하는 데 있어서, 4:4:4 포맷으로 업 샘플링되어 출력되는 색차 성분 블록을 상기 컬러 포맷에 따라 다운 샘플링하여 예측하고 복호화하는 것을 특징으로 하는 영상 복호화 장치.
  19. 제 15 항에 있어서, 상기 컬러 포맷은,
    4:4:4 포맷, 4:2:2 포맷 및 4:2:0 포맷 중 하나 이상인 것을 특징으로 하는 영상 복호화 장치.
  20. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 부호화된 휘도 성분 블록, 부호화된 색차 성분 블록 및 컬러 포맷에 대한 정보를 추출하는 비트스트림 분해 단계;
    상기 부호화된 휘도 성분 블록을 복호화하여 휘도 성분의 현재 블록을 복원하는 휘도 성분 복호화 단계;
    상기 컬러 포맷에 대한 정보에 따른 컬러 포맷에 따라 상기 부호화된 색차 성분 블록을 복호화하여 색차 성분의 현재 블록을 복원하는 색차 성분 복호화 단계; 및
    상기 복원된 휘도 성분의 현재 블록 및 상기 복원된 색차 성분의 현재 블록을 포함하는 복원된 현재 블록을 출력하는 복원 블록 출력 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
PCT/KR2009/006772 2008-12-23 2009-11-27 컬러 영상 부호화/복호화 방법 및 장치 WO2010074407A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/141,184 US8824562B2 (en) 2008-12-23 2009-11-27 Method and apparatus for encoding/decoding color image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080132265A KR101359490B1 (ko) 2008-12-23 2008-12-23 컬러 영상 부호화/복호화 방법 및 장치
KR10-2008-0132265 2008-12-23

Publications (2)

Publication Number Publication Date
WO2010074407A2 true WO2010074407A2 (ko) 2010-07-01
WO2010074407A3 WO2010074407A3 (ko) 2010-08-26

Family

ID=42288222

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/006772 WO2010074407A2 (ko) 2008-12-23 2009-11-27 컬러 영상 부호화/복호화 방법 및 장치

Country Status (3)

Country Link
US (1) US8824562B2 (ko)
KR (1) KR101359490B1 (ko)
WO (1) WO2010074407A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8934726B2 (en) 2011-12-19 2015-01-13 Dolby Laboratories Licensing Corporation Video codecs with integrated gamut management

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9014471B2 (en) 2010-09-17 2015-04-21 I.C.V.T. Ltd. Method of classifying a chroma downsampling error
JP2013541897A (ja) * 2010-09-17 2013-11-14 アイ．シー．ブイ．ティー リミテッド 符号化画像の小型化
US20120169845A1 (en) * 2010-12-30 2012-07-05 General Instrument Corporation Method and apparatus for adaptive sampling video content
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
WO2013065263A1 (ja) * 2011-11-02 2013-05-10 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム
US9225988B2 (en) * 2013-05-30 2015-12-29 Apple Inc. Adaptive color space transform coding
CN105659602B (zh) 2013-10-14 2019-10-08 微软技术许可有限责任公司 用于视频和图像编码的帧内块复制预测模式的编码器侧选项
KR102257269B1 (ko) 2013-10-14 2021-05-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐
US10469863B2 (en) 2014-01-03 2019-11-05 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US9584817B2 (en) * 2014-03-31 2017-02-28 Sony Corporation Video transmission system with color prediction and method of operation thereof
WO2015192353A1 (en) 2014-06-19 2015-12-23 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
EP3202150B1 (en) 2014-09-30 2021-07-21 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
GB201500719D0 (en) * 2015-01-15 2015-03-04 Barco Nv Method for chromo reconstruction
KR101770300B1 (ko) * 2015-06-09 2017-08-22 삼성전자주식회사 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR20180039323A (ko) 2016-10-10 2018-04-18 디지털인사이트 주식회사 다양한 블록 분할 구조를 결합하여 사용하는 비디오 코딩 방법 및 장치
US10607527B1 (en) 2018-10-25 2020-03-31 Baylor University System and method for a six-primary wide gamut color system
US11069279B2 (en) 2018-10-25 2021-07-20 Baylor University System and method for a multi-primary wide gamut color system
US10950162B2 (en) 2018-10-25 2021-03-16 Baylor University System and method for a six-primary wide gamut color system
US10950161B2 (en) 2018-10-25 2021-03-16 Baylor University System and method for a six-primary wide gamut color system
US11289003B2 (en) 2018-10-25 2022-03-29 Baylor University System and method for a multi-primary wide gamut color system
US11341890B2 (en) 2018-10-25 2022-05-24 Baylor University System and method for a multi-primary wide gamut color system
US11030934B2 (en) 2018-10-25 2021-06-08 Baylor University System and method for a multi-primary wide gamut color system
US11403987B2 (en) 2018-10-25 2022-08-02 Baylor University System and method for a multi-primary wide gamut color system
US11289000B2 (en) * 2018-10-25 2022-03-29 Baylor University System and method for a multi-primary wide gamut color system
US11037481B1 (en) 2018-10-25 2021-06-15 Baylor University System and method for a multi-primary wide gamut color system
US11488510B2 (en) 2018-10-25 2022-11-01 Baylor University System and method for a multi-primary wide gamut color system
US11475819B2 (en) 2018-10-25 2022-10-18 Baylor University System and method for a multi-primary wide gamut color system
US11532261B1 (en) 2018-10-25 2022-12-20 Baylor University System and method for a multi-primary wide gamut color system
US11189210B2 (en) 2018-10-25 2021-11-30 Baylor University System and method for a multi-primary wide gamut color system
US11069280B2 (en) 2018-10-25 2021-07-20 Baylor University System and method for a multi-primary wide gamut color system
US11587491B1 (en) 2018-10-25 2023-02-21 Baylor University System and method for a multi-primary wide gamut color system
US11373575B2 (en) 2018-10-25 2022-06-28 Baylor University System and method for a multi-primary wide gamut color system
US11043157B2 (en) 2018-10-25 2021-06-22 Baylor University System and method for a six-primary wide gamut color system
US10997896B2 (en) 2018-10-25 2021-05-04 Baylor University System and method for a six-primary wide gamut color system
US11062638B2 (en) 2018-10-25 2021-07-13 Baylor University System and method for a multi-primary wide gamut color system
US11315467B1 (en) 2018-10-25 2022-04-26 Baylor University System and method for a multi-primary wide gamut color system
US11410593B2 (en) 2018-10-25 2022-08-09 Baylor University System and method for a multi-primary wide gamut color system
US11632563B2 (en) 2019-02-22 2023-04-18 Qualcomm Incorporated Motion vector derivation in video coding
CN114025168B (zh) * 2021-09-30 2023-08-04 浙江大华技术股份有限公司 视频图像的处理方法、处理设备、电子设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990055254A (ko) * 1997-12-26 1999-07-15 김영환 영상 색차신호의 포맷변환장치
KR20020078523A (ko) * 2001-04-03 2002-10-19 주식회사 하이닉스반도체 영상 압축 방법 및 그 장치
KR20060006183A (ko) * 2004-07-15 2006-01-19 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
KR20060108253A (ko) * 2006-08-24 2006-10-17 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
WO2008044637A1 (fr) * 2006-10-10 2008-04-17 Nippon Telegraph And Telephone Corporation Procédés de codage et de décodage vidéo, leur dispositif, leur programme, et le support de stockage contenant le programme

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3381855B2 (ja) * 1992-12-28 2003-03-04 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
US6018369A (en) * 1996-03-21 2000-01-25 Samsung Electronics Co., Ltd. Video decoder with closed caption data on video output
US7136417B2 (en) * 2002-07-15 2006-11-14 Scientific-Atlanta, Inc. Chroma conversion optimization
US7860168B2 (en) * 2004-10-27 2010-12-28 Lsi Corporation Method and apparatus for improved increased bit-depth display from a transform decoder by retaining additional inverse transform bits
KR101348365B1 (ko) * 2006-08-02 2014-01-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
US8369411B2 (en) * 2007-03-29 2013-02-05 James Au Intra-macroblock video processing
US8139875B2 (en) * 2007-06-28 2012-03-20 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990055254A (ko) * 1997-12-26 1999-07-15 김영환 영상 색차신호의 포맷변환장치
KR20020078523A (ko) * 2001-04-03 2002-10-19 주식회사 하이닉스반도체 영상 압축 방법 및 그 장치
KR20060006183A (ko) * 2004-07-15 2006-01-19 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
KR20060108253A (ko) * 2006-08-24 2006-10-17 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
WO2008044637A1 (fr) * 2006-10-10 2008-04-17 Nippon Telegraph And Telephone Corporation Procédés de codage et de décodage vidéo, leur dispositif, leur programme, et le support de stockage contenant le programme

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8934726B2 (en) 2011-12-19 2015-01-13 Dolby Laboratories Licensing Corporation Video codecs with integrated gamut management
US9191682B2 (en) 2011-12-19 2015-11-17 Dolby Laboratories Licensing Corporation Video codecs with integrated gamut management

Also Published As

Publication number Publication date
KR101359490B1 (ko) 2014-02-10
WO2010074407A3 (ko) 2010-08-26
US8824562B2 (en) 2014-09-02
US20110255608A1 (en) 2011-10-20
KR20100073554A (ko) 2010-07-01

Similar Documents

Publication Publication Date Title
WO2010074407A2 (ko) 컬러 영상 부호화/복호화 방법 및 장치
KR100303685B1 (ko) 영상 예측부호화 장치 및 그 방법
KR101138392B1 (ko) 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
US9510011B2 (en) Video encoding device, video decoding device, video encoding method, video decoding method, and program
WO2013070006A1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
WO2013002549A2 (ko) 영상 부호화/복호화 방법 및 장치
KR100240771B1 (ko) 이동벡터 스케일링기능을 개선한 스케러블 부호화기 및 그 방법
WO2012033344A2 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
WO2010044569A2 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012091461A2 (ko) 주변블록의 특징벡터를 이용한 영상 부호화/복호화 방법 및 장치
WO2010047498A2 (ko) 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치
WO2012015275A2 (ko) 블록 분할예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2013002550A2 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
WO2013141671A1 (ko) 인터 레이어 인트라 예측 방법 및 장치
KR19990077197A (ko) 디지털 화상 부호화 방법 및 디지털 화상 부호화 장치, 디지털화상 복호화 방법 및 디지털 화상복호화 장치, 및 데이터 기억매체
WO2011052990A2 (ko) 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치
KR20080093386A (ko) 컬러 동영상 신축 부호화와 복호화 방법 및 그 장치
WO2012077959A2 (ko) 노이즈성분을 위한 공간영역에서의 영상 부호화/복호화 방법 및 장치
KR20100095914A (ko) 채널 상관 관계를 이용한 영상 부호화/복호화 장치 및 방법과 그를 위한 컴퓨터로 읽을 수 있는 기록매체
WO2013133648A1 (ko) 비디오 신호 처리 방법 및 장치
WO2011111954A2 (ko) 움직임 벡터 해상도 조합을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012021040A2 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
WO2018074626A1 (ko) 적응적 보간 필터를 사용하는 비디오 코딩 방법 및 장치
WO2011053054A2 (ko) 움직임 벡터 해상도 제한을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011105849A2 (ko) 영상 부호화 장치 및 그 방법, 및 영상 복호화 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09835173

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 13141184

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 10-10-2011)

122 Ep: pct application non-entry in european phase

Ref document number: 09835173

Country of ref document: EP

Kind code of ref document: A2