WO2013129822A1 - 영상 부호화와 복호화 장치 및 영상을 부호화와 복호화하는 방법 - Google Patents

영상 부호화와 복호화 장치 및 영상을 부호화와 복호화하는 방법 Download PDF

Info

Publication number
WO2013129822A1
WO2013129822A1 PCT/KR2013/001551 KR2013001551W WO2013129822A1 WO 2013129822 A1 WO2013129822 A1 WO 2013129822A1 KR 2013001551 W KR2013001551 W KR 2013001551W WO 2013129822 A1 WO2013129822 A1 WO 2013129822A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
coding block
category
inverse
predictor
Prior art date
Application number
PCT/KR2013/001551
Other languages
English (en)
French (fr)
Inventor
한종기
서찬원
최광현
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120106279A external-priority patent/KR20130098122A/ko
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to US14/381,378 priority Critical patent/US20150078441A1/en
Publication of WO2013129822A1 publication Critical patent/WO2013129822A1/ko
Priority to US15/262,530 priority patent/US11418786B2/en
Priority to US17/850,006 priority patent/US11863750B2/en
Priority to US18/516,398 priority patent/US20240089438A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/74—Address processing for routing
    • H04L45/745—Address table lookup; Address filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Definitions

  • the present invention relates to an image encoding / decoding apparatus, and more particularly, to an apparatus in which an input image is divided into two or more different categories according to a predetermined property, and an image is encoded / decoded according to the category of the input image. It is about.
  • H.264 / AVC is the standard for the most compressed video codec among the standardized video coders and decoders so far.In the H.264 / AVC standard, intra prediction with directionality is considered to improve compression efficiency. Prediction, image transformation using 4x4 pixel unit integer transform, block mode with various sizes from 16x16 pixel size to 4x4 pixel size, deblocking filter, etc. In order to find a more accurate motion vector, motion estimation is performed by interpolating the image up to 1/2 pixel unit and 1/4 pixel unit.
  • FIG. 1 is a block diagram schematically illustrating a conventional video encoding apparatus, and illustrates an example configuration of an encoding apparatus according to the above-described H.264 / AVC.
  • the conventional image encoding apparatus 100 is an apparatus for encoding an image, and includes a predictor 110, a subtractor 120, a transformer 130, a quantizer 140, and an encoder 150. ), An inverse quantizer 160, an inverse transformer 170, an adder 180, and a reference picture memory 190.
  • the input image to be described below is composed of a series of pictures, and each picture is divided into a predetermined area such as a block.
  • the predictor 110 includes an intra predictor for intra prediction and an inter predictor for inter prediction, and in particular, the inter predictor includes a motion vector resolution group consisting of a plurality of motion vector resolutions.
  • a predicted image of the input image is generated by using a motion vector of the input image determined according to FIG.
  • Intra predictive encoding is a pixel of a current block using pixels of blocks previously encoded in a current picture performing current encoding and pixels decoded and decoded.
  • the prediction method generates a prediction block (image) and encodes a difference value with pixels of the current block.
  • Inter prediction is a method of generating a prediction block by predicting a current block in a current picture by referring to one or more past or future pictures, and encoding a difference value from the current block.
  • the picture referred to for encoding or decoding the current picture is referred to as a reference picture.
  • the subtractor 120 generates a residual image by subtracting an input image and a predicted image to be currently encoded, and the residual image includes a residual signal that is a difference between a pixel of the input image and a pixel of the predicted image.
  • the transformer 130 transforms the residual signal of the residual image generated by the subtractor 120 into a frequency domain through a method such as a Hadamard transform or a discrete cosine transform (DCT) to transform the residual coefficient.
  • DCT discrete cosine transform
  • a transform image having a transform coefficient is generated, and the quantizer 140 converts the transform image generated by the transformer 130 into a dead zone uniform threshold quantization (DZUTQ), a quantization weighted matrix, and an RDOQ (Rate-).
  • Quantization is performed through a method such as Distortion Optimized Quantization to generate a quantized transformed image.
  • the encoder 150 encodes a quantized transform image and generates a bit stream including encoded data about a motion vector resolution, and as an encoding technique that may be applied to the encoder 150, entropy encoding may be used. Technology.
  • the inverse quantizer 160 and the inverse transformer 170 inversely quantize and inversely transform some or all of the quantized transform images transmitted from the transformer 140 and the quantizer 150 described above to reconstruct the residual image.
  • the inverse quantizer 160 and the inverse transformer 170 may reconstruct the residual image by performing the transformed and quantized methods in the above-described converter 140 and the quantizer 150 in reverse.
  • the adder 180 is an apparatus for reconstructing the input image by adding the reconstructed residual image and the predictive image generated by the predictor 110, and the memory 190 accumulates the reconstructed input image in picture units.
  • the predictor 110 may use the stored reference picture to predict the next input image or the next picture, as well as store the same.
  • the use of High Efficiency Video Coding (HEVC), which is recently under discussion of standardization, can perform more efficient encoding than conventional H.264 / AVC encoding.
  • the predictor 110 has various directions. Intra prediction may be performed, the transformer 130 may perform a transform operation in a residual quadtree transform (RQT) scheme, and the memory 190 may be restored from the inverse quantizer 160 and the inverse transformer 170.
  • the filtered image may be stored through an adaptive loop filter (ALF) or a sample adaptive offset (SAO) scheme as well as conventional de-blocking filtering.
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • FIG. 4 is a block diagram schematically illustrating a conventional video decoding apparatus and illustrates an example of a decoding apparatus according to the aforementioned H.264 / AVC or HEVC or an earlier standard.
  • the conventional image decoding apparatus 400 is an apparatus for decoding an image, and includes a decoder 410, an inverse quantizer 420, an inverse transformer 430, an adder 440, It may be configured to include a predictor 450 and a reference picture memory 460.
  • the decoder 410 decodes the encoded data extracted from the bitstream to reconstruct not only the motion vector resolution and the motion vector, but also the quantized transform image, and inversely, the encoder 150 described above with reference to FIG. Can be decrypted.
  • the inverse quantizer 420 and the inverse converter 430 inversely quantize and inversely transform the quantized transform image to restore a residual image having a residual signal, and the converter 130 and the quantizer 140 described above with reference to FIG. 1.
  • Inverse quantization and inverse transformation may be performed by performing a reverse transform and quantization process.
  • the adder 440 reconstructs the image by adding the residual image reconstructed by the inverse quantizer 420 and the inverse transformer 430 and the predictive image generated by the predictor 450 to be described later.
  • the image may be accumulated and output as a reconstructed image, or may be stored in the reference picture memory 460 to be used by the predictor 450 to predict the next image.
  • the predictor 450 generates a prediction block by compensating for the motion of blocks to be encoded by using the motion vector reconstructed by the decoder 410.
  • the prediction blocks are collected in a predetermined coding unit to form a prediction image.
  • the conventional image encoding / decoding apparatus described so far has a disadvantage of performing motion prediction and compensation, transform and quantization, inverse transform and inverse quantization, encoding or decoding operations, which are fixedly applied to all input images, respectively.
  • each image may have different properties or characteristics.
  • the conventional image encoding / decoding apparatus has a problem of performing motion prediction and compensation, transform and quantization, inverse transform and inverse quantization, encoding or decoding operations on all input images including both images.
  • Korean Patent Laid-Open Publication No. 10-2010-0045549 (Invention: Image encoding / decoding method and apparatus using adaptive interpolation filter coefficients) interpolates a reference image by adaptively determining coefficients of an interpolation filter every frame.
  • these prior arts still have a limitation in that they only target a specific portion or a very narrow portion of the entire encoding / decoding process for an image.
  • the present invention is to solve the above-mentioned problems of the prior art, according to some embodiments of the present invention, the input image is divided into two or more different categories according to a predetermined property, the image encoding / decoding apparatus is a category of the input image And a video encoding / decoding apparatus to which an adaptive scheme capable of performing more efficient image encoding / decoding can be performed by driving the divided images according to different methods. Its purpose is to.
  • the image encoding apparatus analyzes the image characteristics of the input image in units of coding blocks, and based on the image characteristics
  • the image analyzer may be classified into categories, and a converter may perform transformation by referring to a category of a coding block.
  • the image characteristic may include information on at least one of the directionality of the image, the distribution of edge components, and a color format.
  • the two or more categories may be divided to include at least one of a screen content including a text or a figure, a natural picture, and a depth map.
  • the apparatus for encoding an image may further include a color format converter for converting a color format of the coding block with reference to a category of the coding block.
  • the transformer can skip the transform by referring to the category of the coding block.
  • the apparatus for encoding an image may further include a quantizer for performing quantization with reference to a category of a coding block.
  • the quantizer may skip the quantization with reference to the category of the coding block.
  • the apparatus for encoding an image includes: an intra predictor for performing intra prediction with reference to a category of a coding block, an inter predictor for performing inter prediction with reference to a category of a coding block, and a filtering by referring to a category of a coding block. It may further include a filter to perform.
  • the intra predictor skips the intra prediction with reference to the category of the coding block
  • the filter may change the resolution with reference to the category of the coding block.
  • the intra predictor may perform intra prediction by expressing a pixel of the image as a predetermined index of a look up table (LUT).
  • LUT look up table
  • the image decoding apparatus to decode the bitstream to calculate the category of the coding block divided into two or more categories based on the image characteristics of the input image analyzed by the coding block as a unit And an inverse quantizer for performing inverse quantization with reference to a category of the coding block, and an inverse transformer for performing inverse transformation with reference to a category of the coding block.
  • the decoder may calculate the color format of the coding block based on the category of the coding block.
  • the inverse quantizer may skip inverse magnetization by referring to a category of a coding block.
  • the inverse transformer may skip the inverse transform by referring to the category of the coding block.
  • the apparatus for decoding an image may include: an intra predictor for performing intra prediction with reference to a category of a coding block, an inter predictor for performing inter prediction with reference to a category of a coding block, and a filtering by referring to a category of a coding block. It may further include a filter to perform.
  • the intra predictor skips the intra prediction with reference to the category of the coding block
  • the filter may change the resolution with reference to the category of the coding block.
  • the intra predictor may perform intra prediction by expressing a pixel of the image as a predetermined index of a look up table (LUT).
  • LUT look up table
  • the image decoding method decoding the bitstream to calculate the category of the coding block divided into two or more categories based on the image characteristics of the input image analyzed by the coding block unit And performing inverse quantization with reference to the category of the coding block, and performing inverse transform with reference to the category of the coding block.
  • the image encoding / decoding apparatus to which the adaptive method is applied is driven to encode / decode the image divided according to the category reflecting the attribute of the input image by different methods,
  • the image can be encoded / decoded more efficiently and without loss of important information than the conventional method to which the method is applied.
  • FIG. 1 is a block diagram schematically illustrating a conventional video encoding apparatus
  • FIG. 2 is a block diagram schematically illustrating a video encoding apparatus to which an adaptive scheme is applied according to an embodiment of the present invention
  • FIG. 3 is a flowchart illustrating a method of encoding an image to which an adaptive scheme is applied according to an embodiment of the present invention.
  • FIG. 4 is a block diagram schematically illustrating a conventional video decoding apparatus
  • FIG. 5 is a block diagram schematically illustrating an image decoding apparatus to which an adaptive scheme is applied according to an embodiment of the present invention
  • FIG. 6 is a flowchart illustrating a method of decoding an image to which an adaptive scheme is applied according to an embodiment of the present invention.
  • a video may be composed of a series of pictures, and each picture may be divided into a predetermined area such as a block.
  • HEVC High Efficiency Video Coding
  • CU coding unit
  • PU prediction unit
  • TU transform unit
  • the coding unit is similar to the existing macroblock, but allows the encoding to be performed while variably adjusting the size of the coding unit.
  • the prediction unit is determined in a coding unit that is no longer split, and may be determined through a prediction type and a PU splitting process.
  • the transform unit is a transform unit for transform and quantization, which may be larger than the size of the prediction unit, but not larger than the coding unit.
  • a block can be understood as meaning equivalent to a unit.
  • a block or pixel referred to for encoding or decoding the current block or the current pixel is referred to as a reference block or a reference pixel.
  • the term "picture” described below may be used interchangeably with other terms having equivalent meanings, such as an image, a frame, or the like. If you grow up, you can understand.
  • a coding block may be used as a concept including a coding unit (CU), a prediction unit (PU), and a transformation unit (TU), and the input image may be composed of at least one coding block.
  • CU coding unit
  • PU prediction unit
  • TU transformation unit
  • the size of the coding block may have various sizes such as 4 ⁇ 4 to 64 ⁇ 64 and 128 ⁇ 128.
  • FIG. 2 is a block diagram schematically illustrating a video encoding apparatus to which an adaptive scheme is applied according to an embodiment of the present invention.
  • the image encoding apparatus 200 to which the adaptive method is applied according to an embodiment of the present invention may include an image analyzer 201, a color format converter 205, an inter predictor 214, an intra predictor 216, and a converter 220. And a module including the quantizer 230, the inverse quantizer 240, and the inverse transformer 250, and including the above-described components, each of which is included in two or more different categories according to a predetermined property as an input image. There are technical features to working in different ways according to the above categories.
  • the image may include a general natural image, an image containing content such as text, shapes, and lines, and a depth map related to a multi-view video or 3D video signal, and each of these images may be, respectively.
  • Properties or characteristics may vary.
  • the input image is divided into two or more different categories according to a predetermined property, and each component of the image encoding apparatus according to the present invention is inputted. Modules containing this operate differently according to the above categories.
  • the property related to the input image is not limited to a particular specific criterion.
  • the image analyzer 201 may analyze image characteristics of an input image based on coding blocks, and classify coding blocks into two or more categories based on the image characteristics.
  • the image analyzer 201 may analyze image characteristics of the input image in units of coding blocks. Also, the image analyzer 201 may determine a category for each coding block based on the image characteristics of the analyzed input image.
  • categories may be classified into two or more types, but the types of categories to be distinguished are not particularly limited.
  • the classification of the category may be determined based on probabilistic and statistical characteristics of the image signal such as directionality of the image, distribution of edge components, color format, and the like, and image characteristics according to the signal model.
  • screen content including text, graphics, lines, and the like has different image characteristics compared to a general natural picture. That is, the screen content may have more edge components than the general natural image, so that the screen content may have discontinuous and sharp image characteristics than the general natural image.
  • the depth information image may be represented by a wide low frequency region, and may have an image characteristic similar to that of the screen content in that the edge component is clearly changed due to a sudden change in brightness value, but may have a more simplified image characteristic.
  • the depth information image may be configured in a black and white format. That is, the depth information image may express a depth value, which is information about distance, as a difference in luminance. For example, the depth value of the object in the depth information image may have a value smaller than the depth value of the background.
  • the encoding of the depth information image may be performed by encoding the depth value itself, but the depth value is represented by a look-up table (LUT) prepared in advance, and the depth value of the corresponding pixel or block is expressed by the index of the LUT. It may also be performed by encoding the signal represented by the index.
  • LUT look-up table
  • the screen content, the depth information image, and the natural image may be included in different categories, and the image may be encoded or decoded by different methods according to the included categories.
  • determining the appropriate color format (or chroma format) according to the image characteristics is also important in encoding of the image.
  • YUV 444, YUV 422 or YUV 420 may be used as the color format.
  • the color format converter 205 may convert the color format of the coding block by referring to the category of the coding block.
  • YUV 444 may or may not be converted to YUV 422 or YUV 420.
  • a coding block of a category corresponding to the screen content may apply a color format of YUV 444, and a coding block of a category corresponding to a general natural image may be encoded by applying a color format of YUV 422 or YUV 420.
  • the depth information image may be configured in the form of a black and white signal instead of the color component
  • the depth information image may be encoded by applying a color format including only the brightness signal component Y.
  • the predictor 210 includes a motion predictor 212 for generating a motion vector of an input image, an inter predictor 214 for inter prediction, and an intra predictor 216 for intra prediction. And a predicted image of the input image by performing intra prediction or inter prediction.
  • the inter predictor 214 generates a prediction block by predicting a current block within a current picture with reference to one or more past pictures or future pictures, and performs different inter predictions according to the categories of the input image (or coding block) described above. It comprises two or more inter prediction module. That is, the inter predictor 214 receives a motion vector determined from the motion predictor 212 using a reference picture referred to to encode or decode the current picture stored in the memory 265, and is used to generate a predictive block of an image. do.
  • the inter predictor 214 may perform inter prediction by referring to categories of coding blocks separated by the image analyzer 201.
  • the inter predictor 214 adaptively determines which inter prediction module to operate according to the category of the input image (or coding block), and the inter prediction module determined among the two or more inter prediction modules is inter prediction as follows. Do this.
  • the first inter prediction module performs inter prediction by an inter prediction method performed by the inter predictor of the conventional video encoding apparatus 100 shown in FIG. 1, and the second inter prediction module performs an edge of the current block.
  • the edge component of the reference image is strengthened and motion prediction and compensation are performed, or inter prediction is performed through interpolation considering the edges when interpolating the reference image. Can be.
  • the inter predictor 214 may estimate motion in subpixel units after interpolating signals of 1/2 pixel positions and 1/4 pixel positions between integer pixels to efficiently remove inter-correlation. Can be. That is, the most suitable interpolation filter may be selected and used among the plurality of interpolation filters according to the characteristics of the input image.
  • one of a plurality of interpolation filters may be selected and used according to the type of color format of the input image.
  • the interpolation filter for the brightness signal may be selected from a plurality, and the interpolation filter for the color signal may be selected and used.
  • the depth value of the current encoding target picture may be predicted from the reference depth information image to generate a residual depth value, and then the residual depth value may be encoded.
  • the residual signal may be generated by directly predicting the depth value itself.
  • the depth value may be represented by a look up table (LUT) prepared in advance, and in this case, an index corresponding to the depth value may be used in the LUT. That is, both the prediction depth value and the depth value of the current block are represented by the index of the LUT, and the residual signal may be a difference value between these indexes.
  • LUT look up table
  • inter predictor 214 may further include an inter prediction module that performs inter prediction in a different manner from the first and second inter prediction modules, in addition to the first and second inter prediction modules illustrated in FIG. 2. .
  • the intra predictor 216 generates a prediction block (image) by predicting a pixel of the current block by using previously encoded blocks in the current picture performing current encoding and pixels of the decoded blocks after decoding. And two or more intra prediction modules configured to perform different intra predictions according to the categories of the above-described input image (or coding block).
  • the intra predictor 216 may perform inter prediction by referring to categories of coding blocks separated by the image analyzer 201.
  • the intra predictor 216 adaptively determines which intra prediction module to operate according to the category of the input image (or coding block), and the intra prediction module determined among the two or more intra prediction modules is intra prediction as follows. Do this.
  • the first intra prediction module performs intra prediction by the intra prediction method performed by the intra predictor of the conventional image encoding apparatus 100 shown in FIG. 1, and the second intra prediction module performs the periphery of the current block.
  • Intra prediction using differential edge code modulation (DPCM) may be performed by using edge information of blocks located at or in units of pixels to optimally operate on an image containing content.
  • DPCM differential edge code modulation
  • the residual depth value is generated by predicting the depth value of the pixels in the current coding block from the depth value of the neighboring pixels of the current block.
  • the residual depth value (difference value of the depth value) can be encoded.
  • the residual signal may be generated by directly predicting the depth value itself.
  • the depth value may be represented by a look up table (LUT) prepared in advance, and in this case, an index corresponding to the depth value may be used in the LUT. That is, both the prediction depth value and the depth value of the current block are represented by the index of the LUT, and the residual signal may be a difference value between these indexes.
  • LUT look up table
  • the intra predictor 216 may further include an intra prediction module that performs intra prediction in a manner different from that of the first and second intra prediction modules, in addition to the first and second intra prediction modules illustrated in FIG. 2. .
  • the intra predictor 216 may perform intra prediction based on contours or region divisions based on edges, and skip intra prediction on the depth image. may be skipped).
  • the converter 220 generates a transformed image by converting the residual image including the residual signal generated by the subtractor 215 into a frequency domain, and performs a different transform operation according to the category of the input image (or coding block) described above. It consists of two or more conversion modules to perform.
  • the transformer 220 may perform a transform by referring to a category of the coding block. In addition, the transformer 220 may skip the transform by referring to the category of the coding block.
  • the transformer 220 may perform transformation on a coding block of a category corresponding to a general natural image and skip transformation on a coding block of a category corresponding to a screen content or a depth information image.
  • the converter 220 may convert a residual signal by inter prediction and a residual signal by intra prediction. For example, the transform is skipped for the residual signal due to the intra prediction on the coding block of the category corresponding to the screen content or the depth information image, and the residual due to the inter prediction on the coding block of the category corresponding to the screen content or the depth information image. Conversion may be performed on the signal.
  • whether or not to perform a transformation and a transformation method may be adaptively determined in consideration of a category based on image characteristics, and the implementation and method are not particularly limited.
  • the converter 220 adaptively determines which transform module to operate according to the category of the input image (or coding block), and the transform module determined among the two or more transform modules performs the transform as follows.
  • the first transform module performs a transform operation by a transform scheme (Hadamard transform, DCT, DST, etc.) that the conventional converter 130 shown in FIG. 1 performs
  • the second transform module performs encoding efficiency.
  • the conversion may be optimally performed on an image containing content by performing no transformation or performing only one-dimensional transformation different from the two-dimensional transformation of the first transformation module.
  • the converter 220 may further include a transform module that performs a transform operation in a different manner from the first and second transform modules in addition to the first and second transform modules illustrated in FIG. 2.
  • the quantizer 230 quantizes the transformed image generated by the transformer 220 to generate a quantized transformed image, and performs two or more quantizations that perform different quantization operations according to the categories of the input image (or coding block) described above. It consists of modules.
  • the quantizer 230 may perform quantization by referring to the category of the coding block. In addition, the quantizer 230 may skip the quantization with reference to the category of the coding block.
  • the quantizer 230 may perform quantization on a coding block of a category corresponding to a general natural image, and skip quantization on a coding block of a category corresponding to a screen content or a depth information image.
  • the quantizer 230 adaptively determines which quantization module to operate according to the category of the input image (or coding block), and the quantization module determined among the two or more quantization modules performs a quantization operation as follows.
  • the first quantization module performs a quantization operation by a quantization method (DZUTQ, quantization weight matrix, RDOQ, etc.) that the conventional quantizer 140 shown in FIG. 1 performs, and the second quantization module mainly
  • quantization may or may not be performed on the prediction residual signal to which the transform is not applied, and an optimal quantization may be performed on the transform coefficient to optimally operate on an image containing content.
  • the quantizer 230 may further include a quantization module that performs a quantization operation in a manner different from that of the first and second quantization modules, in addition to the first and second quantization modules illustrated in FIG. 2.
  • the inverse quantizer 240 and the inverse transformer 250 inversely quantize and inversely transform some or all of the quantized transform images transmitted from the above-described converter 220 and the quantizer 230 to restore the residual image, and Two or more inverse quantization modules performing different inverse quantization operations according to a category of one input image (or coding block) and two or more inverse performing different inverse transform operations according to a category of the input image (or coding block) described above. Each includes a conversion module.
  • the inverse quantizer 240 and the inverse transformer 250 adaptively determine which inverse quantization module and inverse transform module to operate according to the category of the input image (or coding block), and among the two or more inverse quantization modules.
  • the quantization module and the inverse transform module determined from two or more inverse transform modules perform inverse quantization operations and inverse transform operations, respectively, as in the following example.
  • the first inverse quantization module and the first inverse transform module may be applied to the inverse quantization scheme performed by the conventional inverse quantizer 160 shown in FIG. 1 and the inverse transformation scheme performed by the conventional inverse transformer 170.
  • Inverse quantization operations and inverse transform operations are performed by the second inverse quantization module, and the second inverse quantization module performs inverse quantization, like the second quantization module, and the second inverse transform module performs inverse transformation, like the second transform module, to store contents. It can operate optimally with the existing image.
  • the inverse quantizer 240 and the inverse transformer 250 may further include the first, second inverse quantization module and the first in addition to the first and second inverse quantization modules and the first and second inverse transform modules shown in FIG. 2.
  • the apparatus may further include an inverse quantization module and an inverse transform module that perform inverse quantization operations and inverse transform operations, respectively, in a different manner from the second inverse transform module.
  • the image encoding apparatus to which the adaptive method is applied according to the present invention further includes a filter 260, and the filter 260 is generated while encoding the image reconstructed from the adder 255 in a predetermined area unit.
  • It may be configured to include two or more filtering modules for performing the operation of reducing the distortion, and performing different filtering operations according to the category of the above-described input image (or coding block).
  • the filter 260 may perform filtering by referring to a category of a coding block.
  • the filter 260 adaptively determines which filtering module to operate according to the category of the input image (or coding block), and the filtering module determined among the two or more filtering modules performs the filtering operation as in the following example. .
  • the first filtering module performs a filtering operation by a filtering method (deblocking filtering, ALF, SAO, etc.) performed by the conventional filter
  • the second filtering module performs filtering of the first filtering module in order to maximize image quality. Only one of the methods may be selected or filtered by a filter set combining specific filters to optimally operate on an image containing content.
  • the filter 260 may further include a filtering module that performs a filtering operation in a different manner from the first and second filtering modules, in addition to the first and second filtering modules illustrated in FIG. 2.
  • the filter 260 may perform down-sampling or up-sampling on the depth information image. That is, the filter 260 may change the resolution of the depth information image by resampling the depth information image.
  • the encoder 235 of the present invention receives the quantized transform image from the quantizer 230 and encodes the image through an entropy encoding technique to generate a bit stream including the encoded data.
  • the flag bits representing the applied encoding technique may be transmitted for each coding block, or may be transmitted in a group of larger blocks, and the flags that are bundled in larger blocks may be encoded. You can also send it later.
  • the encoded image is obtained by different methods classified according to the categories in which the attributes of the input image are reflected, thereby efficiently encoding the image without losing important information. Can be performed.
  • FIG. 3 is a flowchart illustrating a method of encoding an image to which an adaptive scheme is applied according to an embodiment of the present invention.
  • an image encoding method according to an embodiment of the present invention may be performed by the above-described image encoding apparatus. Therefore, the above-described embodiment of the image encoding apparatus can be applied to the image encoding method.
  • an input image (or a coding block) is classified into two or more different categories according to a predetermined property.
  • the performance of the method is adaptively changed according to the above category.
  • An image characteristic of the input image may be analyzed based on the coding block, the coding block may be divided into two or more categories based on the image characteristic, and the color format of the coding block may be converted with reference to the category of the coding block (S300).
  • the image characteristic may include information on at least one of the direction of the image, the distribution of edge components, and the color format, and two or more categories may include screen content and natural picture including text or graphics.
  • a depth map may be analyzed based on the coding block, the coding block may be divided into two or more categories based on the image characteristic, and the color format of the coding block may be converted with reference to the category of the coding block (S300).
  • the image characteristic may include information on at least one of the direction of the image, the distribution of edge components, and the color format, and two or more categories may include screen content and natural picture including text or graphics.
  • a depth map may be analyzed based on the coding block, the coding block may be divided into two or more categories based on
  • the predictor In order to generate a predictive image of the input image, the predictor performs inter prediction by two or more inter prediction schemes that are different from each other according to categories of the input image (or coding block), or two or more intra prediction schemes that are different from each other. Intra prediction is performed (S310), and a residual image is generated by subtracting the input image and the predictive image generated by the predictor (S320).
  • intra prediction may be performed based on contours or region divisions based on edges, and intra prediction may be skipped with respect to the depth image.
  • the generated residual image is converted by two or more transformation schemes that are formed in different ways according to the category of the input image (or coding block), and then the input image (or coding block) is generated using the transformed image generated by the converter.
  • a quantized transform image is generated by quantizing by using two or more quantization schemes that are formed in different ways according to the category of S).
  • a transform may be performed on a coding block of a category corresponding to a general natural image, and a transform may be skipped on a coding block of a category corresponding to a screen content or a depth information image, and a category corresponding to a general natural image may be skipped.
  • Quantization may be performed on a coding block of, and quantization may be skipped on a coding block of a category corresponding to a screen content or a depth information image.
  • Inverse quantization is performed by using two or more inverse quantization schemes that are different from each other according to the category of the above-described input image (or coding block) using the quantized transform image, and then inputs the transform image generated by the inverse quantizer.
  • the residual image is reconstructed by inversely transforming by two or more inverse transform schemes that are different from each other according to the category of the image (or coding block), and the predicted image and the reconstructed residual image are added and stored in the memory (S340).
  • the reference image stored in the memory may be used for motion estimation of the input image, and a residual image may be generated using the input image and the regenerated prediction image.
  • the quantized transformed image generated through the above process is used by the encoder to generate a bitstream including the encoded data using various encoding techniques (S350).
  • the filtering process may be additionally performed by two or more filtering schemes in which the prediction image and the reconstructed residual image are added to each other according to the category of the input image (or coding block) before storing the reconstructed input image in memory. Can be rough.
  • FIG. 5 is a block diagram schematically illustrating an image decoding apparatus to which an adaptive scheme is applied according to an embodiment of the present invention.
  • the image decoding apparatus 500 to which the adaptive method is applied according to an embodiment of the present invention includes a decoder 505, an inverse quantizer 510, an inverse converter 520, an inter predictor 534, and an intra predictor 536.
  • a module included in each of the above-described configurations operates in different ways according to the above categories by using an image divided into two or more different categories according to a preset property as an input image.
  • the image may include a general natural image, an image containing content such as text, shapes, and lines, and may also include a depth information image, and these images may have different attributes or characteristics.
  • the input image is divided into two or more different categories according to a predetermined property, and each component of the image decoding apparatus according to the present invention is inputted. Modules containing this operate differently according to the above categories.
  • the property related to the input image is not limited to a particular specific criterion.
  • the image characteristic may include information on at least one of the direction of the image, the distribution of edge components, and the color format, and two or more categories may include screen content and natural picture including text or graphics. And at least one of the depth information image.
  • the decoder 505 decodes the encoded data extracted from the bitstream to reconstruct the motion vector and the quantized transform image.
  • the decoder 505 may decode the bitstream to calculate categories of coding blocks divided into two or more categories based on image characteristics of the input image analyzed based on the coding blocks. That is, the decoder 505 may calculate the information on the category of the coding block by decoding the bitstream, and may determine the category for each coding block through this. In addition, the decoder 505 may calculate the color format of the coding block based on the category of the coding block. That is, the color format may be determined corresponding to the category of the coding block.
  • the information about the category of the image or coding block decoded by the decoder 505 can be known through the decoded bitstream, and the unit of decoding the information about the category is frame, slice or block unit. Can be.
  • the signal may be decoded by inferring the information from the recovered information without obtaining the information on the category in the decoded bitstream.
  • the inverse quantizer 510 inversely quantizes the quantized transformed image transmitted from the decoder 505 to restore the transformed image, and performs different inverse quantization operations according to the categories of the input image (or coding block) described above. Two or more inverse quantization modules. That is, the zero quantizer 510 may perform inverse quantization by referring to a category of a coding block.
  • the inverse quantizer 510 adaptively determines which inverse quantization module to operate according to the category of the input image (or coding block), and the quantization module determined among the two or more inverse quantization modules is inverse quantized as in the following example.
  • Perform the action For example, the first inverse quantization module performs an inverse quantization operation by the same inverse quantization scheme as the first inverse quantization module of the inverse quantizer 240 shown in FIG. 2, and the second inverse quantization module is shown in FIG. 2.
  • An inverse quantization operation may be performed by the same inverse quantization method as the second inverse quantization module of the inverse quantizer 240 shown to optimally operate on an image containing content.
  • the inverse quantizer 510 may further include an inverse quantization module that performs an inverse quantization operation in a manner different from that of the first and second inverse quantization modules in addition to the first and second inverse quantization modules illustrated in FIG. 5. Can be.
  • the inverse quantizer 510 may perform inverse quantization on a coding block of a category corresponding to a general natural image and skip inverse quantization on a coding block of a category corresponding to a screen content or a depth information image. have.
  • the inverse transformer 520 restores the residual image by inversely transforming the transformed image reconstructed from the inverse quantizer 510 and performs different inverse transform operations according to the categories of the above-described input image (or coding block). It consists of two or more inverse transform modules. That is, the inverse transformer 520 may perform inverse transformation with reference to the category of the coding block.
  • the inverse transformer 520 adaptively determines which inverse transform module to operate according to the category of the input image (or coding block), and the inverse transform module determined among the two or more inverse transform modules is an inverse transform as shown in the following example.
  • Perform the action For example, the first inverse transform module performs an inverse transform operation by the same inverse quantization scheme as the first inverse transform module of the inverse transformer 250 illustrated in FIG. 2, and the second inverse transform module is illustrated in FIG. 2.
  • the inverse transform operation may be performed by the same inverse transform scheme as that of the second inverse transform module of the inverse transformer 250, so as to optimally operate on an image containing content.
  • the inverse converter 520 may further include an inverse transform module that performs an inverse transform operation in a manner different from that of the first and second inverse transform modules in addition to the first and second inverse transform modules illustrated in FIG. 5. have.
  • the inverse transformer 520 may perform inverse transformation on the residual signal by inter prediction and the residual signal by intra prediction. That is, the inverse transform is skipped for the residual signal due to the intra prediction for the coding block of the category corresponding to the screen content or the depth information image, and the inter prediction for the coding block of the category corresponding to the screen content or the depth information image is skipped. Inverse transformation may be performed on the residual signal.
  • the inverse transform is skipped for a residual signal by inter prediction or intra prediction for a coding block of a category corresponding to a screen content or a depth information image, and corresponding to a natural image.
  • Inverse transform may be performed on a residual signal by inter prediction or intra prediction on a coding block of a category.
  • the predictor 530 includes a motion predictor 532 using a reconstructed motion vector, an inter predictor 534 for inter prediction and an intra predictor 536 for intra prediction. And a predicted image of the input image is generated by performing intra prediction or inter prediction.
  • the inter predictor 534 generates a prediction block by predicting a current block in the current picture with reference to one or more past pictures or future pictures, and performs different inter predictions according to the categories of the input image (or coding block) described above. It comprises two or more inter prediction module.
  • the inter predictor 534 adaptively determines which inter prediction module to operate according to the category of the input image (or coding block), and determines which of the two or more inter prediction modules including the first and second inter prediction modules.
  • the inter prediction module performs inter prediction like the first and second inter prediction modules shown in FIG. 2.
  • the intra predictor 536 generates a prediction block (image) by predicting a pixel of the current block by using previously encoded blocks in the current picture performing current encoding and pixels of the decoded blocks. And two or more intra prediction modules configured to perform different intra predictions according to the categories of the above-described input image (or coding block).
  • the intra predictor 536 adaptively determines which intra prediction module to operate according to the category of the input image (or coding block), and determines among two or more inter prediction modules including the first and second intra prediction modules.
  • the intra prediction module performs intra prediction like the first and second intra prediction modules shown in FIG. 2.
  • the intra predictor 536 may perform intra prediction based on an edge-based contour or region classification, and skip intra prediction on the depth image. You may.
  • the depth value of the pixels in the current decoding block may be predicted and generated from the reconstructed depth values of the neighboring pixels of the current block.
  • a prediction signal may be generated through direct prediction of the depth value itself.
  • the depth value may be represented by a look up table (LUT) prepared in advance, and in this case, an index corresponding to the corresponding depth value may be used in the LUT instead of the depth value. That is, the index for the depth value in the current block can be predicted from the index corresponding to the depth value of the neighboring pixel.
  • Both the predicted depth value and the depth value of the current block are represented by the index of the LUT, and the residual signal to be recovered may be a difference value between the indexes.
  • the image decoding apparatus to which the adaptive method is applied according to the present invention further includes a filter 540, and the filter 540 decodes the image reconstructed from the adder 525, which will be described later, in a predetermined area unit. It may be configured to include two or more filtering modules for performing the operation of reducing the distortion generated while performing different filtering operations according to the category of the input image (or coding block) described above.
  • the filter 540 adaptively determines which filtering module to operate according to the category of the input image (or coding block), and the filtering module determined among two or more filtering modules including the first and second filtering modules may be selected.
  • the filtering operation is performed like the first and second filtering modules illustrated in FIG. 2.
  • the filter 540 may perform down-sampling or up-sampling on the depth image. That is, the filter 540 may change the resolution of the depth image by resampling the depth image.
  • the intra predictor 536 performs intra prediction with reference to the category of the coding block
  • the inter predictor 534 performs inter prediction with reference to the category of the coding block
  • the filter 540 is the category of the coding block. Filtering can be performed by referring to.
  • the adder 525 may reconstruct the image by adding the reconstructed residual image and the generated prediction image, and the memory 545 may store the reconstructed image or the filtered reconstructed image in a predetermined unit, and the predictor 530 as necessary. Image information stored in the motion predictor 535).
  • the image decoding apparatus using the adaptive method according to the present invention having the above structure is configured, the image is reconstructed by different methods classified according to the categories in which the attributes of the input image are reflected, thereby efficiently performing image decoding without losing important information. Can be done.
  • the decoding apparatus 500 may decode the image adaptively encoded according to the category of the coding block.
  • the decoding apparatus 500 may calculate information on a category of a coding block, that is, information on analyzing image characteristics of an input image, based on a coding block, and may decode the image in a different manner according to the category of the coding block. .
  • categories may be classified into two or more types, but the types of categories to be distinguished are not particularly limited.
  • the classification of the category may be determined based on probabilistic and statistical characteristics of the image signal such as directionality of the image, distribution of edge components, color format, and the like, and image characteristics according to the signal model.
  • screen content including text, graphics, lines, and the like, and depth information associated with 3D video or multi-view video signaling have different image characteristics compared to a general natural picture. That is, the screen content may have more edge components than the general natural image, so that the screen content may have discontinuous and sharp image characteristics than the general natural image.
  • the depth information image has similar characteristics to the screen content image, but the difference is that the depth information image is composed of only black and white signals, and the depth value of the background and the object is different.
  • the screen content, the depth information image, and the natural image may be included in different categories, and the image may be encoded or decoded by different methods according to the included categories.
  • determining the appropriate color format (or chroma format) according to the image characteristics is also important in encoding and decoding of the image.
  • YUV 444, YUV 422 or YUV 420 may be used as the color format.
  • the decoding apparatus 500 may calculate the color format of the coding block according to the category of the coding block.
  • the coding block of the category corresponding to the screen content may be decoded by applying the color format of YUV 444 and the coding block of the category corresponding to the general natural image by applying the color format of YUV 422 or YUV 420.
  • the depth information image may be encoded or decoded in a black and white image format composed of only Y.
  • the depth value of the depth information image may be encoded or decoded in a form expressed by the index of the LUT instead of directly representing the depth value.
  • the first module may be a technology used in existing codecs.
  • 2 Modules can pass signals without performing any action.
  • the first filtering module and the second filtering module may each perform different filtering functions, and one of the two modules may perform no filtering operation.
  • FIG. 6 is a flowchart illustrating a method of decoding an image to which an adaptive scheme is applied according to an embodiment of the present invention.
  • an image decoding method according to an embodiment of the present invention may be performed by the image decoding apparatus described above. Therefore, the above-described embodiment of the image decoding apparatus can be applied to the image decoding method.
  • the input image (or coding block) is classified into two or more different categories according to a predetermined property, The performance of the method is adaptively changed according to the above category.
  • a category of coding blocks divided into two or more categories may be calculated based on image characteristics of an input image analyzed based on coding blocks (S600). That is, information about a category of a coding block can be calculated by decoding the bitstream, and through this, a category can be determined for each coding block.
  • the image characteristic may include information about at least one of the directionality of the image, the distribution of edge components, and the color format, and two or more categories may include screen content including text or figures, and natural image ( and at least one of a natural picture and a depth information image.
  • the decoder decodes the encoded data extracted from the bitstream and reconstructs the quantized transform image and motion vector using various decoding techniques (S610).
  • Inverse quantization is performed by using two or more inverse quantization schemes that are different from each other according to the category of the above-described input image (or coding block) using the quantized transform image, and then inputs the transform image generated by the inverse quantizer.
  • the residual image is reconstructed by inversely transforming by two or more inverse transform schemes that are different from each other according to the category of the image (or coding block) (S620), and the predicted image and the reconstructed residual image are added and stored in the memory.
  • a reference image stored in the memory may be used for motion estimation of the input image, and a residual image may be generated using the input image and the prediction image.
  • inverse quantization may be performed on a coding block of a category corresponding to a general natural image, and inverse quantization may be skipped on a coding block of a category corresponding to a screen content or a depth information image.
  • the inverse transform is skipped for the residual signal due to the intra prediction on the coding block of the category corresponding to the screen content or the depth information image, and the inter prediction is performed on the coding block of the category corresponding to the screen content or the depth information image.
  • Inverse transformation may be performed on the residual signal.
  • an inverse transform is skipped for a residual signal by inter prediction or intra prediction for a coding block of a category corresponding to a screen content or a depth information image, and an inter for a coding block of a category corresponding to a natural image is skipped.
  • Inverse transformation may be performed on the residual signal by prediction or intra prediction.
  • the predictor performs inter prediction by using two or more inter prediction methods that are different from each other according to the category of the input image (or coding block), or performs intra prediction by using two or more intra prediction methods that are different from each other.
  • a prediction image of the input image is generated (S630), and the image is reconstructed by adding the reconstructed residual image and the generated prediction image (S640).
  • intra prediction may be performed based on contours or region divisions based on edges, and intra prediction may be skipped with respect to the depth image.
  • the filtering process may be additionally performed by two or more filtering schemes in which the prediction image and the reconstructed residual image are added to each other according to the category of the input image (or coding block) before storing the reconstructed input image in memory. Can be rough.
  • the input image is a depth image
  • down-sampling or up-sampling may be performed on the depth image. That is, the resolution of the depth information image may be changed by resampling the depth information image.
  • the image can be reconstructed with improved efficiency than the conventional decoding method, and the main information loss rate can be lowered during the decoding process.

Abstract

본 발명에 따른 적응적 방식이 적용된 영상 부호화 장치는 인터 예측기, 인트라 예측기, 변환기, 양자화기, 역 양자화기 및 역 변환기를 포함하되, 입력 영상이 미리 설정된 속성에 따라 2 이상의 상이한 카테고리로 구분되고, 위 인터 예측기, 인트라 예측기, 변환기, 양자화기, 역 양자화기 및 역 변환기는 입력 영상의 카테고리에 따라 서로 상이한 방식으로 각각의 동작을 수행하는 2 이상의 모듈을 포함하여 구성됨으로써, 일괄적인 방식이 적용되던 종래의 영상 부호화 장치보다 중요한 정보 손실없이 영상을 효율적으로 부호화할 수 있다는 장점이 있다.

Description

영상 부호화와 복호화 장치 및 영상을 부호화와 복호화하는 방법
본 발명은 영상 부호화/복호화 장치에 관한 것으로서, 보다 상세하게는, 입력 영상이 미리 설정된 속성에 따라 2 이상의 상이한 카테고리로 구분되고, 위 입력 영상의 카테고리에 따라 영상을 부호화/복호화 수행을 하는 장치에 관한 것이다.
H. 264/AVC은 현재까지 표준화된 비디오 코덱(Video Coder and Decoder)들 중 가장 압축률이 뛰어난 비디오 코덱에 대한 표준으로서, H.264/AVC 표준에서는 압축 효율을 높이기 위하여 방향성을 고려한 인트라 예측(Intra Prediction), 4x4 화소 단위의 정수 변환(Integer Transform), 16x16 화소 크기부터 4x4 화소 크기까지의 다양한 크기를 가지는 블록 모드(Block Mode), 디블록킹 필터(Deblocking Filter) 등을 이용하여 영상을 예측 부호화하고, 더욱 정확한 움직임 벡터를 찾기 위하여 1/2 화소 단위와 1/4 화소 단위까지 영상을 보간하여 움직임 추정을 수행한다.
도 1은 종래의 영상 부호화 장치를 간략하게 나타낸 블록 구성도로서, 상술한 H. 264/AVC 에 따른 부호화 장치의 일예 구성을 나타낸다.
종래의 영상 부호화 장치(100)는 영상을 부호화하는 장치로서, 예측기(Predictor, 110), 감산기(Subtracter, 120), 변환기(Transformer, 130), 양자화기(Quantizer, 140), 부호화기(Encoder, 150), 역 양자화기(Inverse Quantizer, 160), 역 변환기(Inverse Transformer, 170), 가산기(Adder, 180) 및 참조 픽처 메모리(Reference Picture Memory, 190)를 포함하여 구성될 수 있다.
이하, 설명될 입력 영상은 일련의 픽처(Picture)로 구성되고, 각 픽처들은 블록(Block) 등의 소정의 영역으로 분할된다.
예측기(110)는 인트라 예측(Intra Prediction)을 위한 인트라 예측기 및 인터 예측(Inter Prediction)을 위한 인터 예측기를 포함하고, 특히 인터 예측기는 복수 개의 움직임 벡터 해상도(Motion Vector Resolution)로 이루어지는 움직임 벡터 해상도 집단에 따라 결정되는 입력 영상의 움직임 벡터(Motion Vector)를 이용하여 입력 영상의 예측 영상(Predicted Image)을 생성한다.
인트라 블록(Intra Block)에 대해서는 인트라 예측기를 사용하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화된 블록들과, 복호화된 후 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록(영상)을 생성하고 현재 블록의 화소와의 차분 값을 부호화하는 방식이다.
인터 블록(Inter Block)에 대해서는 인터 예측기를 사용하는데, 인터 예측이란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분 값을 부호화하는 방식을 말하며, 현재 픽처를 부호화하거나 복호화하는데 참조되는 픽처를 참조 픽처(Reference Picture)라고 한다.
감산기(120)는 현재 부호화하고자 하는 입력 영상과 예측 영상을 감산하여 잔차 영상(Residual Image)을 생성하고, 잔차 영상이란 입력 영상의 화소와 예측 영상의 화소의 차이인 잔차 신호를 포함한다.
변환기(130)는 감산기(120)에 의해 생성된 잔차 영상의 잔차 신호(Residual Signal)를 하다마드 변환(Hadamard Transform), DCT(Discrete Cosine Transform) 등의 방식을 통해 주파수 영역으로 변환하여 변환 계수(Transform Coefficient)를 가지는 변환 영상을 생성하고, 양자화기(140)는 변환기(130)에 의해 생성된 변환 영상을 DZUTQ (Dead Zone Uniform Threshold Quantization), 양자화 가중치 매트릭스(Quantization Weighted Matrix), RDOQ (Rate-Distortion Optimized Quantization) 등의 방식을 통해 양자화하여 양자화된 변환 영상을 생성한다.
부호화기(150)는 양자화된 변환 영상을 부호화하고 움직임 벡터 해상도에 대한 부호화 데이터가 포함된 비트스트림(Bit Stream)을 생성하며, 부호화기(150)에 적용될 수 있는 부호화 기술로는 엔트로피 부호화 (Entropy Encoding) 기술 등이 있다.
역 양자화기(160) 및 역 변환기(170)는 상술한 변환기(140) 및 양자화기(150)로부터 전달되는 일부의 또는 모든 양자화된 변환 영상을 역 양자화 및 역 변환하여 잔차 영상을 복원한다. 이때, 역 양자화기(160) 및 역 변환기(170)는 상술한 변환기(140) 및 양자화기(150)에서 변환 및 양자화한 방식을 역으로 수행함으로써 잔차 영상을 복원할 수 있다.
가산기(180)는 복원된 잔차 영상과 예측기(110)에 의해 생성된 예측 영상을 가산하여 입력 영상을 복원하는 장치이고, 메모리(190)는 복원된 입력 영상을 픽처 단위로 누적해 구성된 참조 픽처를 저장할 뿐만 아니라 다음 입력 영상 또는 다음 픽처 등을 예측하는 데에 저장된 참조 픽처를 상술한 예측기(110)가 활용하도록 전달할 수 있다.
한편, 최근에 표준화 논의가 진행 중인 HEVC(High Efficiency Video Coding)를 이용하면 종래의 H. 264/AVC를 통한 부호화보다 더욱 효율적인 부호화를 수행할 수 있는데, HEVC에 의하면 예측기(110)가 다양한 방향성을 고려한 인트라 예측을 수행할 수 있고, 변환기(130)가 RQT(Residual Quadtree Transform) 방식으로 변환 동작을 수행할 수 있으며, 메모리(190)는 역 양자화기(160) 및 역 변환기(170)로부터 복원된 잔차 영상에 대하여 종래의 디블로킹 필터링(De-blocking filtering) 뿐만 아니라 ALF(Adaptive Loop Filter) 또는 SAO(Sample Adaptive Offset) 방식을 통해 필터링한 영상을 저장할 수 있다.
또한, 도 4는 종래의 영상 복호화 장치를 간략하게 나타낸 블록 구성도로서, 상술한 H. 264/AVC 또는 HEVC 혹은 그 이전 표준에 따른 복호화 장치의 일예 구성을 나타낸다.
종래의 영상 복호화 장치(400)는 영상을 복호화하는 장치로서, 복호화기(Decoder, 410), 역 양자화기(Inverse Quantizer, 420), 역 변환기(Inverse Transformer, 430), 가산기(Adder, 440), 예측기(Predictor, 450) 및 참조 픽처 메모리(Reference Picture Memory, 460)를 포함하여 구성될 수 있다.
복호화기(410)는 비트스트림으로부터 추출되는 부호화 데이터를 복호화하여 움직임 벡터 해상도 및 움직임 벡터 뿐만 아니라 양자화된 변환 영상을 복원하고, 도 1을 통해 전술한 부호화기(150)가 부호화하는 과정을 역으로 수행하여 복호화할 수 있다.
역 양자화기(420) 및 역 변환기(430)는 양자화된 변환 영상을 역 양자화 및 역 변환하여 잔차 신호를 가지는 잔차 영상을 복원하고, 도 1을 통해 전술한 변환기(130) 및 양자화기(140)가 변환 및 양자화하는 과정을 역으로 수행하여 역 양자화 및 역 변환할 수 있다.
가산기(440)는 상술한 역 양자화기(420) 및 역 변환기(430)에 의해 복원되는 잔차 영상과 후술할 예측기(450)로부터 생성된 예측 영상을 가산하여 영상을 복원하는데, 이러한 영상을 픽처 단위로 누적하여 복원 영상으로서 출력하거나, 참조 픽처 메모리(460)에 이러한 영상을 저장하여 예측기(450)가 다음 영상을 예측하는 데 활용할 수 있다.
예측기(450)는 복호화기(410)에 의해 복원된 움직임 벡터를 이용하여 부호화하고자 하는 블록들의 움직임을 보상하여 예측 블록을 생성하는데, 예측 블록들이 소정의 부호화 단위로 모여 예측 영상을 구성한다.
그러나 지금까지 설명한 종래의 영상 부호화/복호화 장치는 모든 입력 영상에 대해 일정 방식을 각각 고정적으로 적용한 움직임 예측 및 보상, 변환 및 양자화, 역 변환 및 역 양자화, 부호화 또는 복호화 동작을 수행한다는 단점이 있었다.
다시 말하자면, 영상은 각각 속성 혹은 특성이 다를 수 있는데, 일예로 일반적인 자연 영상과, 텍스트, 도형, 선과 같은 콘텐츠를 담고 있는 영상을 비교하면 후자가 전자에 비하여 경계가 강하게 나타나 에지 성분을 많이 포함하는 차이점을 가지고 있게 된다. 종래의 영상 부호화/복호화 장치는 양 영상을 포함하는 모든 입력 영상에 대하여 일괄적인 방식으로 움직임 예측 및 보상, 변환 및 양자화, 역 변환 및 역 양자화, 부호화 또는 복호화 동작을 수행하는 문제점이 있었다.
이와 관련하여 한국공개특허 10-2010-0045549(발명의 명칭 : 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치)은 매 프레임마다 보간 필터의 계수를 적응적으로 결정하여 참조 영상을 보간하는 기술을 개시하고 있지만, 이러한 종래 기술들은 영상에 대한 부호화/복호화 전 과정 중에서 특정 부분 혹은 매우 좁은 부분만을 대상으로 삼고 있다는 한계를 여전히 가지고 있었다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 본 발명의 일부 실시예에 따르면 입력 영상이 미리 설정된 속성에 따라 2 이상의 상이한 카테고리로 구분되고, 영상 부호화/복호화 장치는 위 입력 영상의 카테고리에 따라 구분된 영상을 각기 다른 방식에 의해 부호화/복호화 동작하도록 구동됨으로써, 보다 효율적인 영상 부호화/복호화가 이루어질 수 있는 적응적 방식이 적용된 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법을 제공하는 데에 그 목적이 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제1 측면에 따른 영상 부호화 장치는, 코딩 블록을 단위로 입력 영상에 대한 영상 특성을 분석하고, 코딩 블록을 영상 특성에 기반하여 2 이상의 카테고리로 구분하는 영상 분석기와, 코딩 블록의 카테고리를 참조하여 변환을 수행하는 변환기를 포함한다.
여기에서, 상기 영상 특성은, 영상의 방향성, 에지 성분의 분포 및 컬러 포맷 중 적어도 하나에 대한 정보를 포함할 수 있다.
여기에서, 상기 2 이상의 카테고리는, 텍스트 또는 도형을 포함하는 스크린 콘텐츠(screen content), 자연 영상(natural picture) 및 깊이정보 영상(depth map) 중 적어도 하나를 포함하여 구분될 수 있다.
여기에서, 상기 영상 부호화 장치는, 코딩 블록의 카테고리를 참조하여 코딩 블록의 컬러 포맷을 변환하는 컬러 포맷 변환기를 더 포함할 수 있다.
여기에서, 상기 변환기는, 코딩 블록의 카테고리를 참조하여 변환을 스킵할 수 있다.
여기에서, 상기 영상 부호화 장치는, 코딩 블록의 카테고리를 참조하여 양자화를 수행하는 양자화기를 더 포함할 수 있다.
여기에서, 상기 양자화기는, 코딩 블록의 카테고리를 참조하여 양자화를 스킵할 수 있다.
여기에서, 상기 영상 부호화 장치는, 코딩 블록의 카테고리를 참조하여 인트라 예측을 수행하는 인트라 예측기와, 코딩 블록의 카테고리를 참조하여 인터 예측을 수행하는 인터 예측기와, 코딩 블록의 카테고리를 참조하여 필터링을 수행하는 필터기를 더 포함할 수 있다.
여기에서, 상기 인트라 예측기는 코딩 블록의 카테고리를 참조하여 인트라 예측을 스킵(skip)하고, 상기 필터기는 코딩 블록의 카테고리를 참조하여 해상도를 변경할 수 있다.
여기에서, 상기 인트라 예측기는, 코딩 블록의 카테고리가 깊이정보 영상인 경우, 영상의 화소를 미리 설정된 LUT(Look Up Table)의 인덱스로 표현하여 인트라 예측을 수행할 수 있다.
또한, 본 발명의 제2 측면에 따른 영상 복호화 장치는, 비트스트림을 복호화하여 코딩 블록을 단위로 분석된 입력 영상에 대한 영상 특성에 기반하여 2 이상의 카테고리로 구분된 코딩 블록의 카테고리를 산출하는 복호화기와, 코딩 블록의 카테고리를 참조하여 역 양자화를 수행하는 역 양자화기와, 코딩 블록의 카테고리를 참조하여 역 변환을 수행하는 역 변환기를 포함한다.
여기에서, 상기 복호화기는, 코딩 블록의 카테고리에 기반한 코딩 블록의 컬러 포맷을 산출할 수 있다.
여기에서, 상기 역 양자화기는, 코딩 블록의 카테고리를 참조하여 역 영자화를 스킵할 수 있다.
여기에서, 상기 역 변환기는, 코딩 블록의 카테고리를 참조하여 역 변환을 스킵할 수 있다.
여기에서, 상기 영상 복호화 장치는, 코딩 블록의 카테고리를 참조하여 인트라 예측을 수행하는 인트라 예측기와, 코딩 블록의 카테고리를 참조하여 인터 예측을 수행하는 인터 예측기와, 코딩 블록의 카테고리를 참조하여 필터링을 수행하는 필터기를 더 포함할 수 있다.
여기에서, 상기 인트라 예측기는 코딩 블록의 카테고리를 참조하여 인트라 예측을 스킵(skip)하고, 상기 필터기는 코딩 블록의 카테고리를 참조하여 해상도를 변경할 수 있다.
여기에서, 상기 인트라 예측기는, 코딩 블록의 카테고리가 깊이정보 영상인 경우, 영상의 화소를 미리 설정된 LUT(Look Up Table)의 인덱스로 표현하여 인트라 예측을 수행할 수 있다.
또한, 본 발명의 제3 측면에 따른 영상 복호화 방법은, 비트스트림을 복호화하여 코딩 블록을 단위로 분석된 입력 영상에 대한 영상 특성에 기반하여 2 이상의 카테고리로 구분된 코딩 블록의 카테고리를 산출하는 단계와, 코딩 블록의 카테고리를 참조하여 역 양자화를 수행단계와, 코딩 블록의 카테고리를 참조하여 역 변환을 수행하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단에 의하면, 적응적 방식이 적용된 영상 부호화/복호화 장치는 입력 영상의 속성이 반영된 카테고리에 따라 구분된 영상을 각기 다른 방식에 의해 부호화/복호화 동작하도록 구동됨으로써, 일괄적인 방식이 적용되던 종래의 방식보다 효율적으로 그리고 중요한 정보 손실없이 영상을 부호화/복호화할 수 있다는 장점이 있다.
도 1은 종래의 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 2는 본 발명의 일 실시예에 따른 적응적 방식이 적용된 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 3은 본 발명의 일 실시예에 따른 적응적 방식이 적용된 영상을 부호화하는 방법을 설명하기 위한 순서도
도 4는 종래의 영상 복호화 장치를 간략하게 나타낸 블록 구성도,
도 5는 본 발명의 일 실시예에 따른 적응적 방식이 적용된 영상 복호화 장치를 간략하게 나타낸 블록 구성도,
도 6은 본 발명의 일 실시예에 따른 적응적 방식이 적용된 영상을 복호화하는 방법을 설명하기 위한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 블록(Block)과 같은 소정의 영역으로 분할될 수 있다.
또한, 현재 표준화가 진행되고 있는 HEVC(High Efficiency Video Coding)는 부호화 단위(CU: Coding Unit), 예측 단위(PU: Prediction Unit), 변환 단위(TU: Transform Unit)의 개념을 정의하고 있다. 부호화 단위는 기존의 매크로블록(Macroblock)과 유사하나 가변적으로 부호화 단위의 크기를 조절하면서 부호화를 수행할 수 있도록 한다. 예측 단위는 더 이상 분할되지 않는 부호화 단위에서 결정되며 예측 종류(Prediction Type)와 예측 단위 분할(PU splitting) 과정을 통하여 결정될 수 있다. 변환 단위는 변환과 양자화를 위한 변환 단위로 예측 단위의 크기보다 클 수 있지만 부호화 단위보다는 클 수 없다. 따라서, 본 발명에 있어 블록은 유닛과 동등한 의미로 이해될 수 있다.
또한, 현재 블록 또는 현재 화소를 부호화하거나 복호화하는데 참조되는 블록 또는 화소를 참조 블록(Reference Block) 또는 참조 화소(Reference Pixel)라고 한다. 또한, 이하에 기재된 "픽처(picture)"이라는 용어는 영상(image), 프레임(frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
또한, 본 발명의 명세서에 있어서, 코딩 블록은 부호화 단위(CU), 예측 단위(PU), 변환 단위(TU)를 포함하는 개념으로 사용될 수 있으며, 입력 영상은 적어도 하나의 코딩 블록으로 구성될 수 있다.
또한, 코딩 블록의 크기는 4×4 내지 64×64 및 128×128 등 다양한 크기를 가질 수 있다.
이하, 본 발명에 대해 첨부도면을 참조하여 보다 구체적으로 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 적응적 방식이 적용된 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 적응적 방식이 적용된 영상 부호화 장치(200)는, 영상 분석기(201), 컬러 포맷 변환기(205), 인터 예측기(214), 인트라 예측기(216), 변환기(220), 양자화기(230), 역 양자화기(240) 및 역 변환기(250)를 포함하고, 미리 설정된 속성에 따라 2 이상의 상이한 카테고리로 구분된 영상을 입력 영상으로 하여 상술한 각 구성이 포함하는 모듈이 위 카테고리에 따라 각기 다른 방식으로 작동하는 데에 기술적 특징이 있다.
전술한 것과 같이 영상에는 일반적인 자연 영상과, 텍스트, 도형, 선과 같은 콘텐츠를 담고 있는 영상 및 멀티뷰 비디오 또는 3D 비디오 신호와 관련있는 깊이정보 영상(depth map) 등이 있을 수 있고, 이러한 영상은 각각 속성 혹은 특성이 다를 수 있다. 이와 같은 모든 영상에 대하여 일괄적인 방식을 적용하여 나타나는 비효율을 감소시키고자, 본 발명에서는 입력 영상이 미리 설정된 속성에 따라 2 이상의 상이한 카테고리로 구분되어 입력되고, 본 발명에 따른 영상 부호화 장치의 각 구성이 포함하는 모듈은 위 카테고리에 따라 서로 상이하게 동작한다. 여기서, 입력 영상과 관련된 속성은 특별한 특정 기준으로 제한되는 것은 아니다.
영상 분석기(201)은 코딩 블록을 단위로 입력 영상에 대한 영상 특성을 분석하고, 코딩 블록을 영상 특성에 기반하여 2 이상의 카테고리로 구분할 수 있다.
영상 분석기(201)는 코딩 블록을 단위로 하여 입력 영상의 영상 특성을 분석할 수 있다. 또한, 영상 분석기(201)는 분석된 입력 영상의 영상 특성에 기반하여 코딩 블록 별로 카테고리를 결정할 수 있다.
본 발명에 있어서 카테고리는 2 이상의 종류로 구분될 수 있으나, 구분되는 카테고리의 종류는 특별히 제한하지 않는다.
카테고리의 구분은 영상의 방향성, 에지 성분의 분포 및 컬러 포맷 등과 같은 영상 신호의 확률적, 통계적 특성 및 신호 모델에 따른 영상 특성에 기반하여 결정될 수 있다.
특히, 텍스트, 도형, 선 등을 포함하는 스크린 콘텐츠(Screen Content)는 일반적인 자연 영상(Natural Picture)와 비교하여 다른 영상 특성을 가진다. 즉, 스크린 콘텐츠는 일반적인 자연 영상보다 많은 에지 성분을 가질 수 있어, 스크린 콘텐츠는 일반적인 자연 영상 보다 불연속적(discontinuous)이고 샤프(sharp)한 영상 특성을 가질 수 있다.
또한, 깊이정보 영상은 넓은 저주파 영역으로 표현되고, 급격하게 밝기값이 변하여 에지 성분이 명확하다는 점에서 스크린 콘텐츠와 유사한 영상 특성을 가질수 있으나, 좀 더 단순화된 영상 특성을 가질 수도 있다.
상세하게는, 스크린 콘텐츠와 비교하여, 깊이정보 영상은 흑백 포맷으로 구성될 수 있다. 즉, 깊이정보 영상은 거리에 대한 정보인 깊이값을 휘도의 차이로 표현할 수 있다. 예를 들어, 깊이정보 영상에서 물체에 대한 깊이값은 배경에 대한 깊이값보다 작은 값을 가질 수 있다.
또한, 깊이정보 영상에 대한 부호화는 깊이값 자체를 부호화하여 수행될 수 있으나, 깊이값을 미리 준비된 LUT(Look Up Table)로 표현하고 해당 화소 또는 블록의 깊이값을 LUT의 인덱스로 표현한 후 이와 같이 인덱스로 표현된 신호를 부호화하여 수행될 수도 있다.
따라서, 스크린 콘텐츠, 깊이정보 영상 및 자연 영상은 서로 다른 카테고리에 포함될 수 있고, 포함된 카테고리에 따라 서로 다른 방법에 의해 영상을 부호화 또는 복호화할 수 있다.
영상의 부호화는 변환, 양자화, 인트라 예측, 인터 예측 및 필터링 등에 의해 수행되므로, 영상 특성을 반영한 카테고리에 따라 각각 다른 방법에 의한 변환, 양자화, 인트라 예측, 인터 예측 및 필터링 등을 수행할 수 있다.
또한, 영상 특성에 따라 적합한 컬러 포맷(또는 크로마(chroma) 포맷)을 결정하는 것도 영상의 부호화에 있어서 중요하다. 예컨대, 컬러 포맷으로 YUV 444, YUV 422 또는 YUV 420 등을 사용할 수 있다.
컬러 포맷 변환기(205)는 코딩 블록의 카테고리를 참조하여 코딩 블록의 컬러 포맷을 변환할 수 있다. 예를 들어, YUV 444을 YUV 422 또는 YUV 420으로 변환하거나 변환하지 않을 수 있다. 스크린 콘텐츠에 해당하는 카테고리의 코딩 블록은 YUV 444의 컬러 포맷을 적용하고, 일반적인 자연 영상에 해당하는 카테고리의 코딩 블록은 YUV 422 또는 YUV 420의 컬러 포맷을 적용하여 부호화할 수 있다.
또한, 깊이정보 영상은 컬러 성분으로 구성되지 않고 흑백 신호 형태로 구성될 수 있기 때문에, 밝기 신호 성분인 Y만으로 구성된 컬러 포맷을 적용하여 부호화될 수 있다.
예측기(210)는 입력 영상의 움직임 벡터(Motion Vector)를 생성하는 움직임 예측기(212), 인터 예측(Inter Prediction)을 위한 인터 예측기(214) 및 인트라 예측(Intra Prediction)을 위한 인트라 예측기(216) 를 포함하여 구성되고, 인트라 예측 또는 인터 예측을 수행하여 입력 영상의 예측 영상(Predicted Image)을 생성한다.
인터 예측기(214)는 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고, 상술한 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 인터 예측을 수행하는 2 이상의 인터 예측 모듈을 포함하여 구성된다. 즉, 인터 예측기(214)는 메모리(265)에 저장된 현재 픽처를 부호화하거나 복호화하는데 참조되는 참조 픽처(Reference Picture)를 이용하는 움직임 예측기(212)로부터 결정된 움직임 벡터를 전달받아 영상의 예측 블록 생성에 사용한다.
인터 예측기(214)는 영상 분석기(201)에 의해 구분된 코딩 블록의 카테고리를 참조하여 인터 예측을 수행할 수 있다.
특히, 인터 예측기(214)는 어떤 인터 예측 모듈을 작동시킬지 입력 영상(또는 코딩 블록)의 카테고리에 따라 적응적으로 결정하고, 2 이상의 인터 예측 모듈 중 결정된 인터 예측 모듈은 다음과 같은 일예처럼 인터 예측을 수행한다. 예를 들면, 제1 인터 예측 모듈은 도 1에 도시된 종래의 영상 부호화 장치(100)의 인터 예측기가 수행하던 인터 예측 방식에 의해 인터 예측을 수행하고, 제 2 인터 예측 모듈은 현재 블록의 에지를 효과적으로 예측하기 위하여 참조 영상의 에지 성분을 강화한 후 움직임 예측 및 보상을 수행하거나 참조 영상의 보간 시 에지를 고려한 보간법(Interpolation)을 통한 인터 예측을 수행하여 콘텐츠를 담고 있는 영상에 대하여 최적으로 동작할 수 있다.
예를 들어, 인터 예측기(214)는 화면간 상관성을 효율적으로 제거하기 위하여, 정수화소들 사이의 1/2 화소 위치, 1/4 화소 위치의 신호를 보간한 후에 서브 픽셀단위로 움직임을 추정할 수 있다. 즉, 입력 영상의 특성에 따라 다수개의 보간 필터 중에 가장 적합한 보간 필터를 선택하여 사용할 수 있다.
또한, 입력 영상의 컬러 포맷의 종류에 따라 복수개의 보간 필터 중에 하나를 선택하여 사용할 수 있다. 이때, 밝기 신호에 대한 보간 필터도 복수개 중에서 선택할 수 있고, 컬러 신호의 보간 필터도 복수개 중에서 선택하여 사용할 수 있다.
또한, 입력 영상이 깊이정보 영상인 경우에는, 현재 부호화 대상 픽쳐에 대한 깊이값을 참조 깊이정보 영상으로부터 예측하여 잔차 깊이값을 생성한 후, 잔차 깊이값을 부호화할 수 있다.
이때, 깊이값 자체에 대한 직접 예측을 통하여 잔차 신호를 만들 수 있다. 또 다른 실시 예로는, 깊이값을 미리 준비된 LUT(Look Up Table)로 표현할 수 있고, 이러한 경우에는 LUT에서 해당 깊이값에 상응하는 인덱스(index)이용할 수 있다. 즉, 예측 깊이값과 현재 블록의 깊이값은 모두 LUT의 인덱스로 표현되고, 잔차 신호는 이 인덱스들의 차이값이 될 수 있다.
또한, 인터 예측기(214)는 도 2에 도시된 제1, 제2 인터 예측 모듈 이외에 추가적으로 제1, 제2 인터 예측 모듈과는 상이한 방식으로 인터 예측을 수행하는 인터 예측 모듈을 더 포함할 수 있다.
인트라 예측기(216)는 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화된 블록들과, 복호화된 후 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록(영상)을 생성하고, 상술한 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 인트라 예측을 수행하는 2 이상의 인트라 예측 모듈을 포함하여 구성된다.
인트라 예측기(216)는 영상 분석기(201)에 의해 구분된 코딩 블록의 카테고리를 참조하여 인터 예측을 수행할 수 있다.
특히, 인트라 예측기(216)는 어떤 인트라 예측 모듈을 작동시킬지 입력 영상(또는 코딩 블록)의 카테고리에 따라 적응적으로 결정하고, 2 이상의 인트라 예측 모듈 중 결정된 인트라 예측 모듈은 다음과 같은 일예처럼 인트라 예측을 수행한다. 예를 들면, 제1 인트라 예측 모듈은 도 1에 도시된 종래의 영상 부호화 장치(100)의 인트라 예측기가 수행하던 인트라 예측 방식에 의해 인트라 예측을 수행하고, 제 2 인트라 예측 모듈은 현재 블록의 주변에 위치하는 블록들의 에지 정보를 이용하거나 화소 단위로 차분 펄스 코드 변조(DPCM: Difference Pulse Code Modulation)를 수행하는 인트라 예측을 수행하여 콘텐츠를 담고 있는 영상에 대하여 최적으로 동작할 수 있다.
또 다른 제 2 인트라 예측 모듈의 실시 예로는, 입력 영상이 깊이정보 영상인 경우에는, 현재 부호화 블록내의 화소들의 깊이값을 현재 블록의 주변화소들의 깊이값으로부터 예측하여 잔차 깊이값을 생성한 후, 잔차 깊이값(깊이값의 차이값)을 부호화할 수 있다.
이때, 깊이값 자체에 대한 직접 예측을 통하여 잔차 신호를 만들 수 있다. 또 다른 실시 예로는, 깊이값을 미리 준비된 LUT(Look Up Table)로 표현할 수 있고, 이러한 경우에는 LUT에서 해당 깊이값에 상응하는 인덱스(index)이용할 수 있다. 즉, 예측 깊이값과 현재 블록의 깊이값은 모두 LUT의 인덱스로 표현되고, 잔차 신호는 이 인덱스들의 차이값이 될 수 있다.
또한, 인트라 예측기(216)는 도 2에 도시된 제1, 제2 인트라 예측 모듈 이외에 추가적으로 제1, 제2 인트라 예측 모듈과는 상이한 방식으로 인트라 예측을 수행하는 인트라 예측 모듈을 더 포함할 수 있다.
예를 들어, 입력 영상이 깊이정보 영상인 경우, 인트라 예측기(216)는 에지에 기반한 컨투어(contour) 또는 영역 구분에 기반하여 인트라 예측을 수행할 수 있으며, 깊이정보 영상에 대해서는 인트라 예측을 스킵(skip)할 수도 있다.
변환기(220)는 감산기(215)에 의해 생성된 잔차 신호를 포함하는 잔차 영상을 주파수 영역으로 변환하여 변환 영상을 생성하고, 상술한 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 변환 동작을 수행하는 2 이상의 변환 모듈을 포함하여 구성된다.
변환기(220)는 코딩 블록의 카테고리를 참조하여 변환(transform)을 수행할 수 있다. 또한, 변환기(220)는 코딩 블록의 카테고리를 참조하여 변환을 스킵(skip)할 수 있다.
예를 들어, 변환기(220)는 일반적인 자연 영상에 해당하는 카테고리의 코딩 블록에 대해서는 변환을 수행하고, 스크린 콘텐츠 또는 깊이정보 영상에 해당하는 카테고리의 코딩 블록에 대해서는 변환을 스킵할 수 있다.
또한, 변환기(220)는 인터 예측에 의한 잔차 신호와 인트라 예측에 의한 잔차 신호에 대한 변환을 달리할 수 있다. 예컨대, 스크린 콘텐츠 또는 깊이정보 영상에 해당하는 카테고리의 코딩 블록에 대한 인트라 예측에 의한 잔차 신호에 대해서는 변환을 스킵하고, 스크린 콘텐츠 또는 깊이정보 영상에 해당하는 카테고리의 코딩 블록에 대한 인터 예측에 의한 잔차 신호에 대해서는 변환을 수행할 수 있다.
또한, 율 왜곡 최적화(rate distortion optimization)에 따라 변환의 수행 여부 및 변환 방법을 적응적으로 결정할 수 있다.
따라서, 본 발명에 있어서 영상 특성에 기반한 카테고리를 고려하여 변환의 수행 여부 및 변환 방법을 적응적으로 결정할 수 있으며, 수행 여부 및 방법에 대해서는 특별히 제한하지 않는다.
특히, 변환기(220)는 어떤 변환 모듈을 작동시킬지 입력 영상(또는 코딩 블록)의 카테고리에 따라 적응적으로 결정하고, 2 이상의 변환 모듈 중 결정된 변환 모듈은 다음과 같은 일예처럼 변환을 수행한다. 예를 들면, 제1 변환 모듈은 도 1에 도시된 종래의 변환기(130)가 수행하던 변환 방식(하다마드 변환, DCT, DST 등)에 의해 변환 동작을 수행하고, 제 2 변환 모듈은 부호화 효율 또는 화질을 최대화하기 위하여 변환을 수행하지 않거나 제1 변환 모듈의 2차원 변환과는 다른 1차원 변환만을 수행하여 콘텐츠를 담고 있는 영상에 대하여 최적으로 동작할 수 있다. 또한, 변환기(220)는 도 2에 도시된 제1, 제2 변환 모듈 이외에 추가적으로 제1, 제2 변환 모듈과는 상이한 방식으로 변환 동작을 수행하는 변환 모듈을 더 포함할 수 있다.
양자화기(230)는 변환기(220)에 의해 생성된 변환 영상을 양자화하여 양자화된 변환 영상을 생성하고, 상술한 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 양자화 동작을 수행하는 2 이상의 양자화 모듈을 포함하여 구성된다.
즉, 양자화기(230)는 상기 코딩 블록의 카테고리를 참조하여 양자화(quantization)를 수행할 수 있다. 또한, 양자화기(230)는 코딩 블록의 카테고리를 참조하여 양자화를 스킵할 수 있다.
예를 들어, 양자화기(230)는 일반적인 자연 영상에 해당하는 카테고리의 코딩 블록에 대해서는 양자화를 수행하고, 스크린 콘텐츠 또는 깊이정보 영상에 해당하는 카테고리의 코딩 블록에 대해서는 양자화를 스킵할 수 있다.
특히, 양자화기(230)는 어떤 양자화 모듈을 작동시킬지 입력 영상(또는 코딩 블록)의 카테고리에 따라 적응적으로 결정하고, 2 이상의 양자화 모듈 중 결정된 양자화 모듈은 다음과 같은 일예처럼 양자화 동작을 수행한다. 예를 들면, 제1 양자화 모듈은 도 1에 도시된 종래의 양자화기(140)가 수행하던 양자화 방식(DZUTQ, 양자화 가중치 매트릭스, RDOQ 등)에 의해 양자화 동작을 수행하고, 제 2 양자화 모듈은 주요 정보를 효과적으로 보존하기 위하여 변환이 적용되지 않은 예측 잔차 신호에 대하여 양자화를 수행하거나 또는 수행하지 않을 수 있으며, 변환 계수에 대하여 비균등 양자화를 수행하여 콘텐츠를 담고 있는 영상에 대하여 최적으로 동작할 수 있다. 또한, 양자화기(230)는 도 2에 도시된 제1, 제2 양자화 모듈 이외에 추가적으로 제1, 제2 양자화 모듈과는 상이한 방식으로 양자화 동작을 수행하는 양자화 모듈을 더 포함할 수 있다.
역 양자화기(240) 및 역 변환기(250)는 상술한 변환기(220) 및 양자화기(230)로부터 전달되는 일부의 또는 모든 양자화된 변환 영상을 역 양자화 및 역 변환하여 잔차 영상을 복원하고, 상술한 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 역 양자화 동작을 수행하는 2 이상의 역 양자화 모듈 및 상술한 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 역 변환 동작을 수행하는 2 이상의 역 변환 모듈을 각각 포함하여 구성된다.
특히, 역 양자화기(240) 및 역 변환기(250)는 어떤 역 양자화 모듈 및 역 변환 모듈을 작동시킬지 입력 영상(또는 코딩 블록)의 카테고리에 따라 적응적으로 결정하고, 2 이상의 역 양자화 모듈 중 결정된 양자화 모듈과, 2 이상의 역 변환 모듈 중 결정된 역 변환 모듈은 다음과 같은 일예처럼 역 양자화 동작 및 역 변환 동작을 각각 수행한다. 예를 들면, 제1 역 양자화 모듈과 제1 역 변환 모듈은 도 1에 도시된 종래의 역 양자화기(160)가 수행하던 역 양자화 방식과 종래의 역 변환기(170)가 수행하던 역 변환 방식에 의해 각각 역 양자화 동작 및 역 변환 동작을 수행하고, 제 2 역 양자화 모듈은 제2 양자화 모듈과 같이 역 양자화를 수행하고 제2 역 변환 모듈은 제2 변환 모듈과 같이 역 변환을 수행하여 콘텐츠를 담고 있는 영상에 대하여 최적으로 동작할 수 있다. 또한, 역 양자화기(240) 및 역 변환기(250)는 도 2에 도시된 제1, 제2 역 양자화 모듈 및 제1, 제2 역 변환 모듈 이외에 추가적으로 제1, 제2 역 양자화 모듈 및 제1, 제2 역 변환 모듈과는 상이한 방식으로 각각 역 양자화 동작 및 역 변환 동작을 수행하는 역 양자화 모듈 및 역 변환 모듈을 더 포함할 수 있다.
나아가 바람직하게는 본 발명에 따른 적응적 방식이 적용된 영상 부호화 장치는 필터기(260)를 더 포함하고, 필터기(260)는 가산기(255)로부터 복원된 영상에 대하여 일정 영역 단위로 부호화하면서 발생하는 왜곡을 감소시키는 동작을 수행하며, 상술한 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 필터링 동작을 수행하는 2 이상의 필터링 모듈을 포함하여 구성될 수 있다.
필터기(260)는 코딩 블록의 카테고리를 참조하여 필터링을 수행할 수 있다.
특히, 필터기(260)는 어떤 필터링 모듈을 작동시킬지 입력 영상(또는 코딩 블록)의 카테고리에 따라 적응적으로 결정하고, 2 이상의 필터링 모듈 중 결정된 필터링 모듈은 다음과 같은 일예처럼 필터링 동작을 수행한다.
예를 들면, 제1 필터링 모듈은 종래의 필터기가 수행하던 필터링 방식(디블로킹 필터링, ALF, SAO 등)에 의해 필터링 동작을 수행하고, 제 2 필터링 모듈은 화질의 최대화를 위하여 제1 필터링 모듈의 방식 중 하나만을 선택하여 수행하거나 특정 필터들을 조합한 필터셋트에 의해 필터링하여 콘텐츠를 담고 있는 영상에 대하여 최적으로 동작할 수 있다. 또한, 필터기(260)는 도 2에 도시된 제1, 제2 필터링 모듈 이외에 추가적으로 제1, 제2 필터링 모듈과는 상이한 방식으로 필터링 동작을 수행하는 필터링 모듈을 더 포함할 수 있다.
또한, 입력 영상이 깊이정보 영상인 경우, 필터기(260)는 깊이정보 영상에 대해 다운 샘플링(down-sampling) 또는 업 샘플링(up-sampling)을 수행할 수 있다. 즉, 필터기(260)는 깊이정보 영상에 대한 리 샘플링(resampling)을 통하여 깊이정보 영상의 해상도를 변경할 수 있다.
덧붙여, 본 발명의 부호화기(235)는 양자화기(230)로부터 양자화된 변환 영상을 전달받아 엔트로피 부호화 (Entropy Encoding) 기술 등을 통해 부호화하여 부호화 데이터가 포함된 비트스트림(Bit Stream)을 생성한다.
또한, 상술한 복수의 부호화 방법에 따른 기술을 적용한 경우, 적용된 부호화 기술을 표현하는 플래그 비트는 코딩 블록마다 전송되거나, 더 큰 블록 단위로 묶어서 전송될 수 있으며, 더 큰 블록 단위로 묶인 플래그들을 부호화한 후에 전송할 수도 있다.
이와 같은 구성으로 이루어진 본 발명에 따른 적응적 방식이 적용된 영상 부호화 장치를 이용하면, 입력 영상의 속성이 반영된 카테고리에 따라 구분되는 각기 다른 방식에 의해 부호화 데이터를 얻음으로써, 중요한 정보 손실없이 효율적인 영상 부호화를 수행할 수 있다.
도 3은 본 발명의 일 실시예에 따른 적응적 방식이 적용된 영상을 부호화하는 방법을 설명하기 위한 순서도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 부호화 방법은 상술한 영상 부호화 장치에 의해 수행할 수 있다. 따라서, 영상 부호화 장치에 관한 상술한 실시예는 영상 부호화 방법에 적용될 수 있다.
본 발명의 일 실시예에 따른 적응적 방식이 적용된 영상을 부호화하는 방법에서 입력 영상(또는 코딩 블록)은 미리 설정된 속성에 따라 2 이상의 상이한 카테고리로 구분되는 것을 특징으로 하며, 부호화와 관련된 각 과정에 대한 수행 방식이 위 카테고리에 따라 적응적으로 변하는 것을 특징으로 한다.
코딩 블록을 단위로 입력 영상에 대한 영상 특성을 분석하고, 코딩 블록을 영상 특성에 기반하여 2 이상의 카테고리로 구분할 수 있고, 코딩 블록의 카테고리를 참조하여 코딩 블록의 컬러 포맷을 변환할 수 있다(S300). 여기서, 영상 특성은 영상의 방향성, 에지 성분의 분포 및 컬러 포맷 중 적어도 하나에 대한 정보를 포함할 수 있으며, 2 이상의 카테고리는 텍스트 또는 도형을 포함하는 스크린 콘텐츠(screen content), 자연 영상(natural picture) 및 깊이정보 영상(depth map) 중 적어도 하나를 포함하여 구분될 수 있다.
입력 영상의 예측 영상을 생성하기 위해 예측기에서 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 방식으로 이루어지는 2 이상의 인터 예측 방식에 의해 인터 예측을 수행하거나, 서로 상이한 방식으로 이루어지는 2 이상의 인트라 예측 방식에 의해 인트라 예측을 수행하고(S310), 입력 영상과 예측기에서 생성된 예측 영상을 감산하여 잔차 영상을 생성한다(S320). 특히, 입력 영상이 깊이정보 영상인 경우, 에지에 기반한 컨투어(contour) 또는 영역 구분에 기반하여 인트라 예측을 수행할 수 있으며, 깊이정보 영상에 대해서는 인트라 예측을 스킵(skip)할 수도 있다.
이어서, 생성된 잔차 영상을 이용하여 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 방식으로 이루어지는 2 이상의 변환 방식에 의해 변환한 이후, 변환기에서 생성된 변환 영상을 이용하여 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 방식으로 이루어지는 2 이상의 양자화 방식에 의해 양자화하여 양자화된 변환 영상을 생성한다(S330).
예를 들어, 일반적인 자연 영상에 해당하는 카테고리의 코딩 블록에 대해서는 변환을 수행하고, 스크린 콘텐츠 또는 깊이정보 영상에 해당하는 카테고리의 코딩 블록에 대해서는 변환을 스킵할 수 있으며, 일반적인 자연 영상에 해당하는 카테고리의 코딩 블록에 대해서는 양자화를 수행하고, 스크린 콘텐츠 또는 깊이정보 영상에 해당하는 카테고리의 코딩 블록에 대해서는 양자화를 스킵할 수 있다.
위 양자화된 변환 영상을 이용하여 상술한 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 방식으로 이루어지는 2 이상의 역 양자화 방식에 의해 역 양자화한 이후, 역 양자화기에서 생성된 변환 영상을 이용하여 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 방식으로 이루어지는 2 이상의 역 변환 방식에 의해 역 변환하여 잔차 영상을 복원하고, 예측 영상과 복원된 잔차 영상을 가산하여 메모리에 저장한다(S340). 추후 필요에 따라 메모리에 저장된 참조 영상을 입력 영상의 움직임 예측에 이용할 수 있고, 입력 영상과 다시 생성된 예측 영상을 이용하여 잔차 영상을 생성할 수 있다.
위 과정을 거쳐 생성된 양자화된 변환 영상을 부호화기에서 다양한 부호화 기술을 이용하여 부호화 데이터를 포함하는 비트스트림을 생성한다(S350).
덧붙여, 예측 영상과 복원된 잔차 영상을 가산하여 복원된 입력 영상에 대하여 메모리에 저장하기 이전에 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 방식으로 이루어지는 2 이상의 필터링 방식에 의해 필터링 과정을 추가적으로 거칠 수 있다.
이와 같은 적응적 방식에 의하여 각 단계를 입력 영상에 대해 수행함으로써, 종래 부호화 방법보다 향상된 효율의 부호화 데이터를 얻을 수 있고, 주요 정보 손실률도 낮출 수 있다.
한편, 도 5는 본 발명의 일 실시예에 따른 적응적 방식이 적용된 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 적응적 방식이 적용된 영상 복호화 장치(500)는 복호화기(505), 역 양자화기(510), 역 변환기(520), 인터 예측기(534), 인트라 예측기(536)를 포함하고, 미리 설정된 속성에 따라 2 이상의 상이한 카테고리로 구분된 영상을 입력 영상으로 하여 상술한 각 구성이 포함하는 모듈이 위 카테고리에 따라 각기 다른 방식으로 작동하는 데에 기술적 특징이 있다.
전술한 것과 같이 영상에는 일반적인 자연 영상과, 텍스트, 도형, 선과 같은 콘텐츠를 담고 있는 영상 등이 있을 수 있고, 또한, 깊이정보 영상이 있을 수 있으며, 이러한 영상은 각각 속성 혹은 특성이 다를 수 있다. 이와 같은 모든 영상에 대하여 일괄적인 방식을 적용하여 나타나는 비효율을 감소시키고자, 본 발명에서는 입력 영상이 미리 설정된 속성에 따라 2 이상의 상이한 카테고리로 구분되어 입력되고, 본 발명에 따른 영상 복호화 장치의 각 구성이 포함하는 모듈은 위 카테고리에 따라 서로 상이하게 동작한다. 여기서, 입력 영상과 관련된 속성은 특별한 특정 기준으로 제한되는 것은 아니다.
여기서, 영상 특성은 영상의 방향성, 에지 성분의 분포 및 컬러 포맷 중 적어도 하나에 대한 정보를 포함할 수 있으며, 2 이상의 카테고리는 텍스트 또는 도형을 포함하는 스크린 콘텐츠(screen content), 자연 영상(natural picture) 및 깊이정보 영상 중 적어도 하나를 포함하여 구분될 수 있다.
복호화기(505)는 비트스트림으로부터 추출된 부호화 데이터를 복호화하여 움직임 벡터 및 양자화된 변환 영상을 복원한다.
또한, 복호화기(505)는 비트스트림을 복호화하여 코딩 블록을 단위로 분석된 입력 영상에 대한 영상 특성에 기반하여 2 이상의 카테고리로 구분된 코딩 블록의 카테고리를 산출할 수 있다. 즉, 복호화기(505)는 비트스트림을 복호화하여 코딩 블록의 카테고리에 대한 정보를 산출할 수 있고, 이를 통하여 코딩 블록 별로 카테고리를 판별할 수 있다. 또한, 복호화기(505)는 코딩 블록의 카테고리에 기반한 코딩 블록의 컬러 포맷을 산출할 수 있다. 즉, 컬러 포맷은 코딩 블록의 카테고리에 상응하여 결정될 수 있다.
더욱 상세하게는, 복호화기(505)에서 복호화되는 영상 또는 코딩 블록의 카테고리에 대한 정보는 복호화된 비트스트림을 통하여 알 수 있고, 카테고리에 대한 정보를 복호화하여 획득하는 단위는 프레임, 슬라이스 또는 블록 단위일 수 있다.
또한, 복호화된 비트스트림에서 카테고리에 대한 정보를 얻지 않고도 복원되는 정보들로부터 이를 유추해서 신호를 복호화할 수도 있다.
역 양자화기(510)는 복호화기(505)로부터 전달되는 양자화된 변환 영상을 역 양자화하여 변환 영상으로 복원하고, 상술한 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 역 양자화 동작을 수행하는 2 이상의 역 양자화 모듈을 포함하여 구성된다. 즉, 영 양자화기(510)는 코딩 블록의 카테고리를 참조하여 역 양자화를 수행할 수 있다.
특히, 역 양자화기(510)는 어떤 역 양자화 모듈을 작동시킬지 입력 영상(또는 코딩 블록)의 카테고리에 따라 적응적으로 결정하고, 2 이상의 역 양자화 모듈 중 결정된 양자화 모듈은 다음과 같은 일예처럼 역 양자화 동작을 수행한다. 예를 들면, 제1 역 양자화 모듈은 도 2에 도시된 역 양자화기(240)의 제1 역 양자화 모듈과 동일한 역 양자화 방식에 의해 역 양자화 동작을 수행하고, 제 2 역 양자화 모듈은 도 2에 도시된 역 양자화기(240)의 제 2 역 양자화 모듈과 동일한 역 양자화 방식에 의해 역 양자화 동작을 수행하여 콘텐츠를 담고 있는 영상에 대하여 최적으로 동작할 수 있다. 또한, 역 양자화기(510)는 도 5에 도시된 제1, 제2 역 양자화 모듈 이외에 추가적으로 제1, 제2 역 양자화 모듈과는 상이한 방식으로 역 양자화 동작을 수행하는 역 양자화 모듈을 더 포함할 수 있다.
예를 들어, 역 양자화기(510)는 일반적인 자연 영상에 해당하는 카테고리의 코딩 블록에 대해서는 역 양자화를 수행하고, 스크린 콘텐츠 또는 깊이정보 영상에 해당하는 카테고리의 코딩 블록에 대해서는 역 양자화를 스킵할 수 있다.
역 변환기(520)는 상술한 역 양자화기(510)로부터 복원된 변환 영상을 역 변환하여 잔차 영상을 복원하고, 상술한 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 역 변환 동작을 수행하는 2 이상의 역 변환 모듈을 포함하여 구성된다. 즉, 역 변환기(520)는 코딩 블록의 카테고리를 참조하여 역 변환을 수행할 수 있다.
특히, 역 변환기(520)는 어떤 역 변환 모듈을 작동시킬지 입력 영상(또는 코딩 블록)의 카테고리에 따라 적응적으로 결정하고, 2 이상의 역 변환 모듈 중 결정된 역 변환 모듈은 다음과 같은 일예처럼 역 변환 동작을 수행한다. 예를 들면, 제1 역 변환 모듈은 도 2에 도시된 역 변환기(250)의 제1 역 변환 모듈과 동일한 역 양자화 방식에 의해 역 변환 동작을 수행하고, 제 2 역 변환 모듈은 도 2에 도시된 역 변환기(250)의 제 2 역 변환 모듈과 동일한 역 변환 방식에 의해 역 변환 동작을 수행하여 콘텐츠를 담고 있는 영상에 대하여 최적으로 동작할 수 있다. 또한, 역 변환기(520)는 도 5에 도시된 제1, 제2 역 변환 모듈 이외에 추가적으로 제1, 제2 역 변환 모듈과는 상이한 방식으로 역 변환 동작을 수행하는 역 변환 모듈을 더 포함할 수 있다.
예를 들어, 역 변환기(520)는 인터 예측에 의한 잔차 신호와 인트라 예측에 의한 잔차 신호에 대한 역 변환을 달리할 수 있다. 즉, 스크린 콘텐츠 또는 깊이정보 영상에 해당하는 카테고리의 코딩 블록에 대한 인트라 예측에 의한 잔차 신호에 대해서는 역 변환을 스킵하고, 스크린 콘텐츠 또는 깊이정보 영상에 해당하는 카테고리의 코딩 블록에 대한 인터 예측에 의한 잔차 신호에 대해서는 역 변환을 수행할 수 있다.
역 변환기(520)에 대한 또 다른 실시예로, 스크린 콘텐츠 또는 깊이정보 영상에 해당하는 카테고리의 코딩 블록에 대한 인터 예측 또는 인트라 예측에 의한 잔차 신호에 대해서는 역 변환을 스킵하고, 자연 영상에 해당하는 카테고리의 코딩 블록에 대한 인터 예측 또는 인트라 예측에 의한 잔차 신호에 대해서는 역 변환을 수행할 수 있다.
예측기(530)는 복원된 움직임 벡터(Motion Vector)을 이용하는 움직임 예측기(532), 인터 예측(Inter Prediction)을 위한 인터 예측기(534) 및 인트라 예측(Intra Prediction)을 위한 인트라 예측기(536) 를 포함하여 구성되고, 인트라 예측 또는 인터 예측을 수행하여 입력 영상의 예측 영상(Predicted Image)을 생성한다.
인터 예측기(534)는 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고, 상술한 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 인터 예측을 수행하는 2 이상의 인터 예측 모듈을 포함하여 구성된다.
특히, 인터 예측기(534)는 어떤 인터 예측 모듈을 작동시킬지 입력 영상(또는 코딩 블록)의 카테고리에 따라 적응적으로 결정하고, 제1, 제2 인터 예측 모듈을 포함하는 2 이상의 인터 예측 모듈 중 결정된 인터 예측 모듈은 도 2에 도시된 제1, 제2 인터 예측 모듈처럼 인터 예측을 수행한다.
인트라 예측기(536)는 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화된 블록들과, 복호화된 후 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록(영상)을 생성하고, 상술한 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 인트라 예측을 수행하는 2 이상의 인트라 예측 모듈을 포함하여 구성된다.
특히, 인트라 예측기(536)는 어떤 인트라 예측 모듈을 작동시킬지 입력 영상(또는 코딩 블록)의 카테고리에 따라 적응적으로 결정하고, 제1, 제2 인트라 예측 모듈을 포함하는 2 이상의 인터 예측 모듈 중 결정된 인트라 예측 모듈은 도 2에 도시된 제1, 제2 인트라 예측 모듈처럼 인트라 예측을 수행한다.
또한, 입력 영상이 깊이정보 영상인 경우, 인트라 예측기(536)는 에지에 기반한 컨투어(contour) 또는 영역 구분에 기반하여 인트라 예측을 수행할 수 있으며, 깊이정보 영상에 대해서는 인트라 예측을 스킵(skip)할 수도 있다.
또 다른 제 2 인트라 예측기의 실시 예로는, 복원 영상이 깊이정보 영상인 경우에는, 현재 복호화 블록내의 화소들의 깊이값을 현재 블록의 주변화소들의 복원된 깊이값으로부터 예측하여 생성할 수 있다. 이때, 깊이값 자체에 대한 직접 예측을 통하여 예측 신호를 만들 수 있다. 또 다른 실시 예로는, 깊이값을 미리 준비된 LUT(Look Up Table)로 표현할 수 있고, 이러한 경우에는 깊이값 대신 LUT에서 해당 깊이값에 상응하는 인덱스(index)를 이용할 수 있다. 즉, 주변 화소의 깊이값에 해당되는 인덱스로부터 현재 블록 내의 깊이값에 대한 인덱스를 예측할 수 있다. 예측 깊이값과 현재 블록의 깊이값은 모두 LUT의 인덱스로 표현되고, 복원되는 잔차 신호는 이 인덱스들의 차이값이 될 수 있다.
나아가 바람직하게는 본 발명에 따른 적응적 방식이 적용된 영상 복호화 장치는 필터기(540)를 더 포함하고, 필터기(540)는 후술할 가산기(525)로부터 복원된 영상에 대하여 일정 영역 단위로 복호화하면서 발생한 왜곡을 감소시키는 동작을 수행하며, 상술한 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 필터링 동작을 수행하는 2 이상의 필터링 모듈을 포함하여 구성될 수 있다.
특히, 필터기(540)는 어떤 필터링 모듈을 작동시킬지 입력 영상(또는 코딩 블록)의 카테고리에 따라 적응적으로 결정하고, 제1, 제2 필터링 모듈을 포함하는 2 이상의 필터링 모듈 중 결정된 필터링 모듈은 도 2에 도시된 제1, 제2 필터링 모듈처럼 필터링 동작을 수행한다.
예를 들어, 입력 영상이 깊이정보 영상인 경우, 필터기(540)는 깊이정보 영상에 대해 다운 샘플링(down-sampling) 또는 업 샘플링(up-sampling)을 수행할 수 있다. 즉, 필터기(540)는 깊이정보 영상에 대한 리 샘플링(resampling)을 통하여 깊이정보 영상의 해상도를 변경할 수 있다.
따라서, 인트라 예측기(536)은 코딩 블록의 카테고리를 참조하여 인트라 예측을 수행하고, 인터 예측기(534)는 코딩 블록의 카테고리를 참조하여 인터 예측을 수행하며, 필터기(540)는 코딩 블록의 카테고리를 참조하여 필터링을 수행할 수 있다.
덧붙여, 가산기(525)는 복원된 잔차 영상과 생성된 예측 영상을 가산하여 영상을 복원하고, 메모리(545)는 복원 영상 혹은 필터링된 복원 영상을 일정 단위로 저장할 수 있으며, 필요에 따라 예측기(530)의 움직임 예측기(535)에 저장된 영상 정보를 전달한다.
이와 같은 구성으로 이루어진 본 발명에 따른 적응적 방식이 적용된 영상 복호화 장치를 이용하면, 입력 영상의 속성이 반영된 카테고리에 따라 구분되는 각기 다른 방식에 의해 영상을 복원함으로써, 중요한 정보 손실없이 효율적인 영상 복호화를 수행할 수 있다.
즉, 본 발명의 실시예에 따른 복호화 장치(500)는 코딩 블록의 카테고리에 따라 적응적으로 부호화된 영상을 복호화할 수 있다.
복호화 장치(500)는 코딩 블록을 단위로 하여 입력 영상의 영상 특성을 분석한 정보인 코딩 블록의 카테고리에 대한 정보를 산출할 수 있고, 코딩 블록의 카테고리에 따라 상이한 방법으로 영상을 복호화할 수 있다.
본 발명에 있어서 카테고리는 2 이상의 종류로 구분될 수 있으나, 구분되는 카테고리의 종류는 특별히 제한하지 않는다.
카테고리의 구분은 영상의 방향성, 에지 성분의 분포 및 컬러 포맷 등과 같은 영상 신호의 확률적, 통계적 특성 및 신호 모델에 따른 영상 특성에 기반하여 결정될 수 있다.
특히, 텍스트, 도형, 선 등을 포함하는 스크린 콘텐츠(Screen Content)와 3D 비디오 또는 멀티뷰 비디오 신호화 관련된 깊이정보 영상은 일반적인 자연 영상(Natural Picture)와 비교하여 다른 영상 특성을 가진다. 즉, 스크린 콘텐츠는 일반적인 자연 영상보다 많은 에지 성분을 가질 수 있어, 스크린 콘텐츠는 일반적인 자연 영상 보다 불연속적(discontinuous)이고 샤프(sharp)한 영상 특성을 가질 수 있다. 또한, 깊이정보 영상은 스크린 콘텐츠 영상과 유사한 특성이 있으나, 다른 점은 깊이정보 영상은 흑백 신호만으로 이뤄져 있고, 배경과 물체에 대한 깊이값이 다르다는 특성이 있다.
따라서, 스크린 콘텐츠, 깊이정보 영상 및 자연 영상은 서로 다른 카테고리에 포함될 수 있고, 포함된 카테고리에 따라 서로 다른 방법에 의해 영상을 부호화 또는 복호화할 수 있다.
또한, 영상 특성에 따라 적합한 컬러 포맷(또는 크로마(chroma) 포맷)을 결정하는 것도 영상의 부호화 및 복호화에 있어서 중요하다. 예컨대, 컬러 포맷으로 YUV 444, YUV 422 또는 YUV 420 등을 사용할 수 있다.
따라서, 복호화 장치(500)는 코딩 블록의 카테고리에 따른 코딩 블록의 컬러 포맷을 산출할 수 있다. 예를 들어, 스크린 콘텐츠에 해당하는 카테고리의 코딩 블록은 YUV 444의 컬러 포맷을 적용하고, 일반적인 자연 영상에 해당하는 카테고리의 코딩 블록은 YUV 422 또는 YUV 420의 컬러 포맷을 적용하여 복호화할 수 있다.
예를 들어, 깊이정보 영상은 Y만으로 구성된 흑백 영상 포맷으로 부호화 또는 복호화될 수 있다. 또한, 깊이정보 영상의 깊이값을 미리 약속된 LUT 형태로 표현한 후, 깊이값을 직접 표현하지 않고, LUT의 인덱스로 표현하는 형태로 부호화 또는 복호화할 수 있다.
따라서, 본 발명의 실시예에 따른 영상 부호화 장치 및 영상 복호화 장치를 구성하는 각 기능 모듈들의 제1 모듈과 제2 모듈에 있어서, 제1 모듈은 기존의 코덱들에서 사용되는 기술일 수 있고, 제2 모듈은 아무런 동작을 수행하지 않고 신호를 통과시킬 수 있다. 예컨대, 필터링 모듈에 있어서, 제1 필터링 모듈과 제2 필터링 모듈이 각각 다른 필터링 기능을 수행할 수도 있고, 2개의 모듈 중에 하나는 아무런 필터링 동작을 수행하지 않을 수 있다.
또한, 도 6은 본 발명의 일 실시예에 따른 적응적 방식이 적용된 영상을 복호화하는 방법을 설명하기 위한 순서도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 영상 복호화 방법은 상술한 영상 복호화 장치에 의해 수행될 수 있다. 따라서, 영상 복호화 장치에 관한 상술한 실시예는 영상 복호화 방법에 적용될 수 있다.
본 발명의 일 실시예에 따른 적응적 방식이 적용된 영상을 복호화하는 방법에서 입력 영상(또는 코딩 블록)은 미리 설정된 속성에 따라 2 이상의 상이한 카테고리로 구분되는 것을 특징으로 하며, 복호화와 관련된 각 과정에 대한 수행 방식이 위 카테고리에 따라 적응적으로 변하는 것을 특징으로 한다.
비트스트림을 복호화하여 코딩 블록을 단위로 분석된 입력 영상에 대한 영상 특성에 기반하여 2 이상의 카테고리로 구분된 코딩 블록의 카테고리를 산출할 수 있다(S600). 즉, 비트스트림을 복호화하여 코딩 블록의 카테고리에 대한 정보를 산출할 수 있고, 이를 통하여 코딩 블록 별로 카테고리를 판별할 수 있다.
예를 들어, 영상 특성은 영상의 방향성, 에지 성분의 분포 및 컬러 포맷 중 적어도 하나에 대한 정보를 포함할 수 있으며, 2 이상의 카테고리는 텍스트 또는 도형을 포함하는 스크린 콘텐츠(screen content), 자연 영상(natural picture) 및 깊이정보 영상 중 적어도 하나를 포함하여 구분될 수 있다.
복호화기에서 비트스트림으로부터 추출된 부호화 데이터를 복호화하여 양자화된 변환 영상 및 움직임 벡터를 다양한 복호화 기술을 이용하여 복원한다(S610).
위 양자화된 변환 영상을 이용하여 상술한 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 방식으로 이루어지는 2 이상의 역 양자화 방식에 의해 역 양자화한 이후, 역 양자화기에서 생성된 변환 영상을 이용하여 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 방식으로 이루어지는 2 이상의 역 변환 방식에 의해 역 변환하여 잔차 영상을 복원하고(S620), 예측 영상과 복원된 잔차 영상을 가산하여 메모리에 저장한다. 추후 필요에 따라 메모리에 저장된 참조 영상을 입력 영상의 움직임 예측에 이용할 수 있고, 입력 영상과 예측 영상을 이용하여 잔차 영상을 생성할 수 있다.
예를 들어, 일반적인 자연 영상에 해당하는 카테고리의 코딩 블록에 대해서는 역 양자화를 수행하고, 스크린 콘텐츠 또는 깊이정보 영상에 해당하는 카테고리의 코딩 블록에 대해서는 역 양자화를 스킵할 수 있다. 또한, 스크린 콘텐츠 또는 깊이정보 영상에 해당하는 카테고리의 코딩 블록에 대한 인트라 예측에 의한 잔차 신호에 대해서는 역 변환을 스킵하고, 스크린 콘텐츠 또는 깊이정보 영상에 해당하는 카테고리의 코딩 블록에 대한 인터 예측에 의한 잔차 신호에 대해서는 역 변환을 수행할 수 있다.
또 다른 실시예로, 스크린 콘텐츠 또는 깊이정보 영상에 해당하는 카테고리의 코딩 블록에 대한 인터 예측 또는 인트라 예측에 의한 잔차 신호에 대해서는 역 변환을 스킵하고, 자연 영상에 해당하는 카테고리의 코딩 블록에 대한 인터 예측 또는 인트라 예측에 의한 잔차 신호에 대해서는 역 변환을 수행할 수 있다.
이어서, 예측기에서 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 방식으로 이루어지는 2 이상의 인터 예측 방식에 의해 인터 예측을 수행하거나, 서로 상이한 방식으로 이루어지는 2 이상의 인트라 예측 방식에 의해 인트라 예측을 수행하여 입력 영상의 예측 영상을 생성하고(S630), 복원된 잔차 영상과 생성된 예측 영상을 가산하여 영상을 복원한다(S640).
예를 들어, 입력 영상이 깊이정보 영상인 경우, 에지에 기반한 컨투어(contour) 또는 영역 구분에 기반하여 인트라 예측을 수행할 수 있으며, 깊이정보 영상에 대해서는 인트라 예측을 스킵(skip)할 수도 있다.
덧붙여, 예측 영상과 복원된 잔차 영상을 가산하여 복원된 입력 영상에 대하여 메모리에 저장하기 이전에 입력 영상(또는 코딩 블록)의 카테고리에 따라 서로 상이한 방식으로 이루어지는 2 이상의 필터링 방식에 의해 필터링 과정을 추가적으로 거칠 수 있다.
예를 들어, 입력 영상이 깊이정보 영상인 경우, 깊이정보 영상에 대해 다운 샘플링(down-sampling) 또는 업 샘플링(up-sampling)을 수행할 수 있다. 즉, 깊이정보 영상에 대한 리 샘플링(resampling)을 통하여 깊이정보 영상의 해상도를 변경할 수 있다.
이와 같은 적응적 방식에 의하여 각 단계를 부호화 데이터를 포함하는 비트스트림에 대해 수행함으로써, 종래 복호화 방법보다 향상된 효율로 영상을 복원할 수 있고, 복호화 과정에서 주요 정보 손실률도 낮출 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (22)

  1. 영상의 부호화에 있어서,
    코딩 블록을 단위로 입력 영상에 대한 영상 특성을 분석하고, 상기 코딩 블록을 상기 영상 특성에 기반하여 2 이상의 카테고리로 구분하는 영상 분석기; 및
    상기 코딩 블록의 카테고리를 참조하여 변환(transform)을 수행하는 변환기를 포함하는 영상 부호화 장치.
  2. 청구항 1에 있어서, 상기 영상 특성은,
    영상의 방향성, 에지 성분의 분포 및 컬러 포맷 중 적어도 하나에 대한 정보를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  3. 청구항 1에 있어서, 상기 2 이상의 카테고리는,
    텍스트 또는 도형을 포함하는 스크린 콘텐츠(screen content), 자연 영상(natural picture) 및 깊이정보 영상(depth map) 중 적어도 하나를 포함하여 구분되는 것을 특징으로 하는 영상 부호화 장치.
  4. 청구항 1에 있어서,
    상기 코딩 블록의 카테고리를 참조하여 상기 코딩 블록의 컬러 포맷을 변환하는 컬러 포맷 변환기를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
  5. 청구항 1에 있어서, 상기 변환기는,
    상기 코딩 블록의 카테고리를 참조하여 변환을 스킵(skip)하는 것을 특징으로 하는 영상 부호화 장치.
  6. 청구항 1에 있어서,
    상기 코딩 블록의 카테고리를 참조하여 양자화(quantization)를 수행하는 양자화기를 더 포함하는 영상 부호화 장치.
  7. 청구항 6에 있어서, 상기 양자화기는,
    상기 코딩 블록의 카테고리를 참조하여 양자화를 스킵(skip)하는 것을 특징으로 하는 영상 부호화 장치.
  8. 청구항 1에 있어서,
    상기 코딩 블록의 카테고리를 참조하여 인트라 예측을 수행하는 인트라 예측기;
    상기 코딩 블록의 카테고리를 참조하여 인터 예측을 수행하는 인터 예측기; 및
    상기 코딩 블록의 카테고리를 참조하여 필터링을 수행하는 필터기를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
  9. 청구항 8에 있어서,
    상기 인트라 예측기는 상기 코딩 블록의 카테고리를 참조하여 인트라 예측을 스킵(skip)하고,
    상기 필터기는 상기 코딩 블록의 카테고리를 참조하여 해상도를 변경하는 것을 특징으로 하는 영상 부호화 장치.
  10. 청구항 8에 있어서, 상기 인트라 예측기는
    상기 코딩 블록의 카테고리가 깊이정보 영상인 경우,
    상기 영상의 화소를 미리 설정된 LUT(Look Up Table)의 인덱스로 표현하여 인트라 예측을 수행하는 것을 특징으로 하는 영상 부호화 장치.
  11. 영상의 복호화에 있어서,
    비트스트림을 복호화하여 코딩 블록을 단위로 분석된 입력 영상에 대한 영상 특성에 기반하여 2 이상의 카테고리로 구분된 상기 코딩 블록의 카테고리를 산출하는 복호화기;
    상기 코딩 블록의 카테고리를 참조하여 역 양자화를 수행하는 역 양자화기; 및
    상기 코딩 블록의 카테고리를 참조하여 역 변환을 수행하는 역 변환기를 포함하는 복호화 장치.
  12. 청구항 11에 있어서, 상기 영상 특성은,
    영상의 방향성, 에지 성분의 분포 및 컬러 포맷 중 적어도 하나에 대한 정보를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  13. 청구항 11에 있어서, 상기 2 이상의 카테고리는,
    텍스트 또는 도형을 포함하는 스크린 콘텐츠(screen content), 자연 영상(natural picture) 및 깊이정보 영상(depth map) 중 적어도 하나를 포함하여 구분되는 것을 특징으로 하는 영상 복호화 장치.
  14. 청구항 11에 있어서, 상기 복호화기는,
    상기 코딩 블록의 카테고리에 기반한 상기 코딩 블록의 컬러 포맷을 산출하는 것을 특징으로 하는 영상 복호화 장치.
  15. 청구항 11에 있어서, 상기 역 양자화기는,
    상기 코딩 블록의 카테고리를 참조하여 역 영자화를 스킵(skip)하는 것을 특징으로 영상 복호화 장치.
  16. 청구항 11에 있어서, 상기 역 변환기는,
    상기 코딩 블록의 카테고리를 참조하여 역 변환을 스킵(skip)하는 것을 특징으로 영상 복호화 장치.
  17. 청구항 11에 있어서,
    상기 코딩 블록의 카테고리를 참조하여 인트라 예측을 수행하는 인트라 예측기;
    상기 코딩 블록의 카테고리를 참조하여 인터 예측을 수행하는 인터 예측기; 및
    상기 코딩 블록의 카테고리를 참조하여 필터링을 수행하는 필터기를 더 포함하는 것을 특징으로 하는 영상 복호화 장치.
  18. 청구항 17에 있어서,
    상기 인트라 예측기는 상기 코딩 블록의 카테고리를 참조하여 인트라 예측을 스킵(skip)하고,
    상기 필터기는 상기 코딩 블록의 카테고리를 참조하여 해상도를 변경하는 것을 특징으로 하는 영상 복호화 장치.
  19. 청구항 17에 있어서, 상기 인트라 예측기는,
    상기 코딩 블록의 카테고리가 깊이정보 영상인 경우,
    상기 영상의 화소를 미리 설정된 LUT(Look Up Table)의 인덱스로 표현하여 인트라 예측을 수행하는 것을 특징으로 하는 영상 복호화 장치.
  20. 영상의 복호화에 있어서,
    비트스트림을 복호화하여 코딩 블록을 단위로 분석된 입력 영상에 대한 영상 특성에 기반하여 2 이상의 카테고리로 구분된 상기 코딩 블록의 카테고리를 산출하는 단계;
    상기 코딩 블록의 카테고리를 참조하여 역 양자화를 수행단계; 및
    상기 코딩 블록의 카테고리를 참조하여 역 변환을 수행하는 단계를 포함하는 영상 복호화 방법.
  21. 청구항 20에 있어서, 상기 코딩 블록의 카테고리를 산출하는 단계는,
    상기 코딩 블록의 카테고리에 기반한 상기 코딩 블록의 컬러 포맷을 산출하는 것을 특징으로 영상 복호화 방법.
  22. 청구항 20에 있어서,
    상기 코딩 블록의 카테고리를 참조하여 인트라 예측을 수행하는 단계;
    상기 코딩 블록의 카테고리를 참조하여 인터 예측을 수행하는 단계; 및
    상기 코딩 블록의 카테고리를 참조하여 필터링을 수행하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
PCT/KR2013/001551 2012-02-27 2013-02-27 영상 부호화와 복호화 장치 및 영상을 부호화와 복호화하는 방법 WO2013129822A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/381,378 US20150078441A1 (en) 2012-02-27 2013-02-27 Image encoding and decoding apparatus, and image encoding and decoding method
US15/262,530 US11418786B2 (en) 2012-02-27 2016-09-12 Image encoding and decoding apparatus, and image encoding and decoding method
US17/850,006 US11863750B2 (en) 2012-02-27 2022-06-27 Image encoding and decoding apparatus, and image encoding and decoding method using contour mode based intra prediction
US18/516,398 US20240089438A1 (en) 2012-02-27 2023-11-21 Image encoding and decoding apparatus, and image encoding and decoding method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2012-0019663 2012-02-27
KR20120019663 2012-02-27
KR1020120106279A KR20130098122A (ko) 2012-02-27 2012-09-25 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
KR10-2012-0106279 2012-09-25

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/381,378 A-371-Of-International US20150078441A1 (en) 2012-02-27 2013-02-27 Image encoding and decoding apparatus, and image encoding and decoding method
US15/262,530 Continuation US11418786B2 (en) 2012-02-27 2016-09-12 Image encoding and decoding apparatus, and image encoding and decoding method

Publications (1)

Publication Number Publication Date
WO2013129822A1 true WO2013129822A1 (ko) 2013-09-06

Family

ID=49082965

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/001551 WO2013129822A1 (ko) 2012-02-27 2013-02-27 영상 부호화와 복호화 장치 및 영상을 부호화와 복호화하는 방법

Country Status (2)

Country Link
US (2) US11863750B2 (ko)
WO (1) WO2013129822A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015057033A1 (ko) * 2013-10-18 2015-04-23 엘지전자 주식회사 3d 비디오 부호화/복호화 방법 및 장치
WO2018044088A1 (ko) * 2016-08-31 2018-03-08 주식회사 케이티 비디오 신호 처리 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070030356A1 (en) * 2004-12-17 2007-02-08 Sehoon Yea Method and system for processing multiview videos for view synthesis using side information
KR20090129939A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
KR20100018810A (ko) * 2008-08-07 2010-02-18 전자부품연구원 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체
EP2302932A1 (en) * 2005-09-27 2011-03-30 Qualcomm Incorporated Scalability techniques based on content information
US20110216833A1 (en) * 2008-10-17 2011-09-08 Nokia Corporation Sharing of motion vector in 3d video coding

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7566273B2 (en) 2000-01-28 2009-07-28 Namco Bandai Games, Inc. Game system and image generating method
KR100377951B1 (ko) 2000-09-25 2003-03-29 (주) 멀티비아 전자책용 영상정보 부호화 및 복호화 시스템
KR100667806B1 (ko) 2005-07-07 2007-01-12 삼성전자주식회사 영상 부호화 및 복호화 방법 및 장치
US8488889B2 (en) 2005-07-22 2013-07-16 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
JP5053722B2 (ja) 2007-06-14 2012-10-17 キヤノン株式会社 画像処理装置及び画像処理方法、コンピュータプログラム及び記憶媒体
US9232226B2 (en) 2008-08-19 2016-01-05 Marvell World Trade Ltd. Systems and methods for perceptually lossless video compression
KR101353304B1 (ko) 2008-10-24 2014-01-21 에스케이 텔레콤주식회사 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치
KR101502598B1 (ko) 2008-11-12 2015-03-16 삼성전자주식회사 깊이감 인지 향상을 위한 영상 처리 장치 및 방법
WO2011036761A1 (ja) 2009-09-25 2011-03-31 株式会社東芝 多視点画像生成方法および装置
EP2499829B1 (en) 2009-10-14 2019-04-17 Dolby International AB Methods and devices for depth map processing
CN103202019A (zh) * 2010-11-22 2013-07-10 索尼公司 编码装置和编码方法、以及解码装置和解码方法
US9177381B2 (en) 2010-12-22 2015-11-03 Nani Holdings IP, LLC Depth estimate determination, systems and methods
US8854357B2 (en) 2011-01-27 2014-10-07 Microsoft Corporation Presenting selectors within three-dimensional graphical environments
US9565449B2 (en) 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
CN104041040B (zh) 2011-06-30 2018-03-06 华为技术有限公司 用于无损视频编码的预测残差编码
US20130188013A1 (en) 2011-07-22 2013-07-25 Qualcomm Incorporated Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode
US9521418B2 (en) * 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
WO2013068566A1 (en) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive partition coding
WO2013107931A1 (en) * 2012-01-19 2013-07-25 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
CN102662997B (zh) 2012-03-15 2015-09-16 播思通讯技术（北京）有限公司 一种存储xml数据到关系数据库的方法
US20130271567A1 (en) 2012-04-16 2013-10-17 Samsung Electronics Co., Ltd. Image processing method and apparatus for predicting motion vector and disparity vector
US20130287093A1 (en) * 2012-04-25 2013-10-31 Nokia Corporation Method and apparatus for video coding
US8644596B1 (en) 2012-06-19 2014-02-04 Google Inc. Conversion of monoscopic visual content using image-depth database
CN104662908B (zh) 2012-09-24 2018-03-30 高通股份有限公司 深度图译码
WO2014107029A1 (ko) 2013-01-02 2014-07-10 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
WO2014110452A1 (en) * 2013-01-11 2014-07-17 Futurewei Technologies Co., Ltd. Method and apparatus of depth prediction mode selection
US9516306B2 (en) 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070030356A1 (en) * 2004-12-17 2007-02-08 Sehoon Yea Method and system for processing multiview videos for view synthesis using side information
EP2302932A1 (en) * 2005-09-27 2011-03-30 Qualcomm Incorporated Scalability techniques based on content information
KR20090129939A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
KR20100018810A (ko) * 2008-08-07 2010-02-18 전자부품연구원 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체
US20110216833A1 (en) * 2008-10-17 2011-09-08 Nokia Corporation Sharing of motion vector in 3d video coding

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015057033A1 (ko) * 2013-10-18 2015-04-23 엘지전자 주식회사 3d 비디오 부호화/복호화 방법 및 장치
WO2018044088A1 (ko) * 2016-08-31 2018-03-08 주식회사 케이티 비디오 신호 처리 방법 및 장치
US10764583B2 (en) 2016-08-31 2020-09-01 Kt Corporation Method and apparatus for processing video signal
US11412223B2 (en) 2016-08-31 2022-08-09 Kt Corporation Method and apparatus for processing video signal
US11445193B2 (en) 2016-08-31 2022-09-13 Kt Corporation Method and apparatus for processing video signal
US11445195B2 (en) 2016-08-31 2022-09-13 Kt Corporation Method and apparatus for processing video signal
US11445194B2 (en) 2016-08-31 2022-09-13 Kt Corporation Method and apparatus for processing video signal
US11962774B2 (en) 2016-08-31 2024-04-16 Kt Corporation Method and apparatus for processing video signal

Also Published As

Publication number Publication date
US20240089438A1 (en) 2024-03-14
US20220329806A1 (en) 2022-10-13
US11863750B2 (en) 2024-01-02

Similar Documents

Publication Publication Date Title
WO2017057953A1 (ko) 비디오 코딩 시스템에서 레지듀얼 신호 코딩 방법 및 장치
WO2012081879A1 (ko) 인터 예측 부호화된 동영상 복호화 방법
WO2012148138A2 (ko) 인트라 예측 방법과 이를 이용한 부호화기 및 복호화기
WO2013109039A1 (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2015009039A1 (ko) 비디오 코딩에서 사선 모드의 인트라 예측 향상을 위한 방법
WO2016204531A1 (ko) 블록 경계에 따라 적응적으로 필터링을 수행하는 방법 및 장치
WO2012023762A2 (ko) 인트라 예측 복호화 방법
WO2020185004A1 (ko) 예측 유닛을 서브 유닛들로 분할하여 예측하는 인트라 예측 방법 및 장치
WO2011142603A2 (ko) 영상의 필터링 방법 및 장치와 그를 이용한 부호화/복호화를 위한 방법 및 장치
WO2020262951A1 (ko) 동영상 데이터의 인트라 예측 코딩을 위한 방법 및 장치
WO2015012600A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2021201515A1 (ko) Hls를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
WO2016140439A1 (ko) 향상된 예측 필터를 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
WO2018128222A1 (ko) 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
WO2016064242A1 (ko) 그래프 템플릿으로부터 유도된 변환을 이용하여 비디오 신호를 디코딩/인코딩하는 방법 및 장치
WO2021025478A1 (ko) 동영상 데이터의 인트라 예측 코딩을 위한 방법 및 장치
WO2020231228A1 (ko) 영상 복호화 장치에서 이용하는 역양자화장치 및 방법
WO2019059721A1 (ko) 해상도 향상 기법을 이용한 영상의 부호화 및 복호화
WO2021251787A1 (ko) 루마 매핑 크로마 스케일링을 이용하는 영상 부호화 및 복호화
WO2021118293A1 (ko) 필터링 기반 영상 코딩 장치 및 방법
WO2020242181A1 (ko) 인트라 모드 후보 구성 방법 및 영상 복호화 장치
WO2018070723A1 (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2013129822A1 (ko) 영상 부호화와 복호화 장치 및 영상을 부호화와 복호화하는 방법
WO2022045738A1 (ko) 딥러닝 기반 인루프 필터를 이용하는 영상 부호화 및 복호화
WO2021137588A1 (ko) 픽처 헤더를 포함하는 영상 정보를 코딩하는 영상 디코딩 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13755001

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14381378

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 13755001

Country of ref document: EP

Kind code of ref document: A1