WO2015083929A1 - 영상 부호화 및 복호화 방법, 장치 및 시스템 - Google Patents

영상 부호화 및 복호화 방법, 장치 및 시스템 Download PDF

Info

Publication number
WO2015083929A1
WO2015083929A1 PCT/KR2014/009222 KR2014009222W WO2015083929A1 WO 2015083929 A1 WO2015083929 A1 WO 2015083929A1 KR 2014009222 W KR2014009222 W KR 2014009222W WO 2015083929 A1 WO2015083929 A1 WO 2015083929A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
mode
correlation
prediction
flag
Prior art date
Application number
PCT/KR2014/009222
Other languages
English (en)
French (fr)
Inventor
최윤식
최장원
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to US15/101,780 priority Critical patent/US10158882B2/en
Publication of WO2015083929A1 publication Critical patent/WO2015083929A1/ko
Priority to US16/193,406 priority patent/US10798413B2/en
Priority to US16/990,532 priority patent/US11425419B2/en
Priority to US17/865,551 priority patent/US20230043350A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Definitions

  • the present invention relates to an image encoding and decoding method, apparatus and system, and more particularly, to an image encoding and decoding method, apparatus and system for improving the inter-color prediction efficiency of RGB images in HEVC.
  • High Efficiency Video Coding (HEVC) Range Extension follows HEVC, which is now standardized, and is an extension technology to support 4: 2: 2 4: 4: 4 color sampling and 10-, 12- and 14-bit depth YUV and RGB video. Standardization is currently underway with the goal of developing a. Among them, RGB video has a high correlation between color planes of R, G, and B, respectively, unlike YUV video.
  • Extended chroma mode hereinafter ECM
  • the ECM proposed by J. Kim uses the luma (or G) region that has already been encoded during intra prediction of the chroma (U, V) region (B, R in RGB coding). A pixel value of the chroma (or B, R) region is predicted by referring to a pixel value of.
  • This algorithm uses the technique proposed by J. Chen in the existing HEVC standardization, and has not been applied to HEVC. (J. Chen, V. Seregin, WJ Han, J. Kim, B. Jeon, "CE6.a.4: Chroma intra prediction by reconstructed luma samples", JCTVC-E266, 5thMeeting, Geneva, Switzerland, Mar.
  • the RGB 4: 4: 4 format has a high correlation between color planes, so the ECM proposed by J. Kim uses the YUV proposed technique. Higher compression performance can be achieved if you change the format to RGB 4: 4: 4 format instead of the format. In other words, a high coding gain can be obtained. Therefore, there is a possibility that HEVC Range Extension is applied.
  • RGB images have a low correlation between color planes in a high frequency region of the color plane. That is, since the correlation between color planes in the high frequency region is low, high frequency components in the luminance region may interfere with pixel prediction in the chroma region when ECM is applied, thereby reducing compression efficiency.
  • Table 1 shows the correlation between the four frequency bands between the color planes (GB, GR) using the first frame of the eight RGB experimental images currently used by the HEVC Range Extension. Range Exension RGB Shows the correlation of frequency band between color planes in the experiment image.
  • Table 1 shows B. K. Gunturk, Y. Altunbasak, and R. M. Mersereau, “Color plane interpolation using alternating projections,” IEEE Trans. Image Processing, Vol. 11, No. 9, pp. 997-1013, September 2002.
  • This is a frequency analysis method of RGB image which mathematically analyzes the correlation between R, G, and B color planes, where each correlation has a range of -0.2 to 1, and the higher the correlation, the higher the correlation. it means.
  • the LL frequency band refers to the low frequency components of the image
  • the LH and HL frequency bands refer to the horizontal and vertical edge components of the image
  • the HH frequency band refers to the high frequency components as the diagonal edge components of the image.
  • LL low frequency region
  • HH high frequency region
  • RGB images have a high correlation of 0.90 in the LL frequency band but a low correlation of 0.38 in the HH frequency band.
  • high frequency components having low correlations compared to other frequency components having high correlations throughout the frequency domain may interfere with compression performance when predicting pixel values between color planes using ECM.
  • the LL frequency band refers to the low frequency components of the image
  • the LH and HL frequency bands refer to the horizontal and vertical edge components of the image
  • the HH frequency band refers to the high frequency components as the diagonal edge components of the image.
  • LL low frequency region
  • HH high frequency region
  • RGB images have a high correlation of 0.90 in the LL frequency band but a low correlation of 0.38 in the HH frequency band.
  • high frequency components having low correlations compared to other frequency components having high correlations throughout the frequency domain may interfere with compression performance when predicting pixel values between color planes using ECM.
  • An object of the present invention is to provide an image encoding and decoding method capable of improving the efficiency of pixel value prediction between color planes by filtering high frequency components having low color plane correlation.
  • Another object of the present invention is to provide an image encoding and decoding apparatus for achieving the above object.
  • Another object of the present invention is to provide an image encoding and decoding system for achieving the above object.
  • an image encoding apparatus receives an input image, calculates a correlation between a luminance region block and a chroma region block in the input image when performing intra prediction, and calculates the correlation.
  • low-pass filtering is performed on pixel values of the luminance region block in which encoding is completed, and then saturation is applied to the pixel values of the luminance region block from which high-frequency components are removed by applying an extended chroma mode technique, LMChroma Mode. It includes an intra prediction unit for generating a prediction block of the region.
  • the intra predictor includes a plurality of preset mode predictors including an LMChroma Mode predictor configured to apply the LMChroma Mode to the pixel values of the encoded luminance region block of the input image to generate the predictive block.
  • a chroma predictor for generating a plurality of prediction blocks by performing intra prediction on each of the predictors;
  • a rate-distortion optimizer that receives the plurality of prediction blocks and determines an optimal prediction block among the plurality of prediction blocks in a predetermined manner;
  • a mode selector for setting a flag corresponding to a mode for generating the optimal prediction block among the plurality of modes and outputting the flag along with the optimal prediction block. Characterized in that it comprises a.
  • the LMChroma Mode predicting unit calculates a correlation between the luminance region block and the chroma region block in the input image, and determines whether the correlation is less than a preset threshold;
  • a low pass filter configured to low pass filter the pixel value of the luminance area block when the correlation is less than a preset threshold;
  • the prediction block is generated by applying the LMChroma Mode to pixel values of the luminance domain block applied by the correlation calculator, and when the correlation is less than the threshold,
  • An extended chroma prediction unit generating the prediction block by applying the LMChroma Mode to pixel values of the luminance region block low-pass filtered by the low-pass filter; Characterized in that it comprises a.
  • An image decoding apparatus for achieving the above object receives a bitstream, analyzes a flag included in the bitstream when performing intra prediction, and selectively sets a correlation flag of the analyzed flag.
  • a high pass component is removed by low-pass filtering a pixel value of the luminance region block, and a chrominance prediction block is generated by applying LMChroma Mode, an extended chroma mode technique, to the pixel value of the luminance region block from which the high frequency component is removed. It includes an intra prediction unit.
  • the intra predictor may include a flag analyzer configured to analyze a flag set in the bit stream; A mode selection unit for selecting a mode for performing intra prediction among a plurality of preset modes including the LMChroma Mode based on the analyzed flag; And a plurality of preset mode predictors including an LMChroma Mode predictor configured to generate the prediction block by applying the LMChroma Mode to pixel values of the luminance domain block, and performing intra prediction on each of the plurality of mode predictors.
  • a chroma prediction unit generating a plurality of prediction blocks; Characterized in that it comprises a.
  • the LMChroma Mode prediction unit comprises: a correlation flag determiner for determining whether to set a correlation flag among flags analyzed by the flag analyzer;
  • a low pass filter configured to receive the luminance area block and to remove high frequency components by low pass filtering the pixel values of the luminance area block when the correlation flag is set;
  • the prediction block is generated by applying the LMChroma Mode to pixel values of the luminance region block applied by the flag analyzer, and if the correlation flag is set, the lowpass filter
  • An extended chroma prediction unit generating the prediction block by applying the LMChroma Mode to the pixel values of the luminance region block filtered at L; Characterized in that it comprises a.
  • the chroma prediction unit performs low pass filtering on the pixel values of the luminance region block by the low pass filter, and calculates a pixel value of the low pass filtered luminance region block.
  • ⁇ and ⁇ are weights calculated using pixel values of the luminance block at the same position as the pixel value around the chroma region block to be encoded.
  • a prediction block is generated.
  • An image encoding method for achieving the above object is an image encoding method of an image encoding apparatus that receives an input image, encodes the input image through intra prediction and outputs a bit stream. Calculating, by the image encoding apparatus, a correlation between a luminance region block and a chroma region block in the input image when performing intra prediction; If the correlation is less than a preset threshold, performing low pass filtering on pixel values of the encoded luminance domain block to remove high frequency components; If the correlation is less than the threshold, a prediction block is generated by applying LMChroma Mode, which is an extended chroma mode technique, to pixel values of the low-pass filtered luminance region block, and if the correlation is greater than or equal to the threshold, the luminance region. Generating a prediction block by applying the LMChroma Mode to pixel values of a block; Generating and outputting a bit stream of an RGB image having a high correlation between color planes using the prediction block; It
  • the image decoding method of the image decoding apparatus for receiving a bit stream, decoding through the intra prediction on the bit stream and outputs a reconstructed image
  • An image system for achieving the above object receives an input image, calculates a correlation between a luminance region block and a chroma region block in the input image when performing intra prediction, and calculates the correlation According to the low-pass filtering of the pixel value of the luminance region block after the encoding is removed to remove the high-frequency components, the chroma value of the chroma region block is removed by applying the extended chroma mode technique LMChroma Mode An image encoding apparatus for generating a prediction block of a pixel, and generating and outputting a bit stream of an RGB image having a high correlation between color planes using the prediction block; And receiving the bitstream, analyzing a flag included in the bitstream when performing the intra prediction, and selectively performing low pass filtering on pixel values of the luminance region block according to the correlation flag setting of the analyzed flag to obtain a high frequency component.
  • LMChroma Mode which is an extended chroma mode technique
  • the image encoding and decoding method, apparatus and system of the present invention calculate the correlation between color planes in the extended chroma mode during intra prediction, and selectively apply low pass filtering to the luminance region according to the correlation to LMChroma Moda.
  • a prediction block can be generated to be encoded and decoded. Therefore, even when encoding and decoding with LMChroma Moda, encoding performance can be improved by selectively performing low pass filtering according to correlation and encoding and decoding.
  • 1 shows an intra-correlation degree of a high frequency region between color planes in an image.
  • FIG. 2 is a block diagram schematically illustrating a video encoding apparatus of the present invention.
  • FIG. 3 illustrates an example of the intra prediction unit of FIG. 2.
  • FIG. 4 shows a detailed configuration of the LMCM of FIG.
  • FIG. 5 illustrates an example of an intra prediction method for encoding performed by the intra prediction unit of FIG. 3.
  • FIG. 6 is a block diagram schematically illustrating an example of a structure of an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 7 shows an example of the intra prediction unit of FIG. 6.
  • FIG. 8 shows a detailed configuration of the LMCM of FIG.
  • FIG. 9 illustrates an example of an intra prediction method for decoding performed by the intra prediction unit of FIG. 7.
  • the Extended Chroma Mode is a technique for predicting pixel values of the chroma region by using the pixel values of the Luma region that has been encoded in the intra prediction of the chroma region.
  • the ECM is added to the in-picture prediction mode of saturation and configured to be selected through competition with existing in-picture prediction methods.
  • Equation 1 is a mathematical expression of the ECM technique in the RGB image.
  • C pred represents a pixel value of a B or R block to be predicted
  • G recon represents a decoded pixel value of a coded G block
  • [x, y] represents a pixel position.
  • ⁇ and ⁇ are inferred using the pixel values of the G block at the same position as the pixel value around the B or R block to be encoded as the weight.
  • the ECM predicts pixel values of the saturation region by using pixel values of the luminance (Luma) region where encoding is completed, but this may be useful only when the correlation between color planes is high.
  • 1 shows an intra-correlation degree of a high frequency region between color planes in an image.
  • FIG. 1 shows an intra-screen correlation diagram of a high frequency region (HH) between G-B and G-R color planes in a first frame of a VenueVu image among the eight images disclosed in Table 1.
  • FIG. 1 shows an original image
  • (b) shows an intra-screen correlation of the high frequency region between the G-B color planes
  • (c) shows an intra-screen correlation of the high frequency region between the G-R color planes.
  • (B) and (c) of FIG. 1 calculate the correlation between G-B and G-R in units of 8 ⁇ 8 blocks, and the darker the lower the correlation and the brighter the higher the correlation.
  • inter-color plane prediction is performed by removing high-frequency components of the luminance (Luma (G)) region having low correlation through filtering in advance.
  • a prediction unit (PU) adaptive filtering technique to cope with changes in the correlation of high frequency regions within a screen.
  • FIG. 2 is a block diagram schematically illustrating a video encoding apparatus of the present invention.
  • the image encoding apparatus 100 may include a motion predictor 111, a motion compensator 112, an intra predictor 120, a switch 115, a subtractor 125, a converter 130, A quantization unit 140, an entropy encoding unit 150, an inverse quantization unit 160, an inverse transform unit 170, an adder 175, a filter unit 180, and a reference image buffer 190 are included.
  • the image encoding apparatus 100 encodes an input image in an intra mode or an inter mode and outputs a bitstream.
  • intra prediction may be used in the same meaning as intra prediction and inter prediction.
  • an intra prediction method and an inter prediction method may be selectively used for the prediction unit.
  • the image encoding apparatus 100 generates a prediction block for the original block of the input image and then encodes a difference between the original block and the prediction block.
  • the intra prediction unit 120 (or the intra prediction unit may be used as a term having the same meaning) may be encoded in the intra prediction of the chroma (B, R) screen.
  • a chroma mode for predicting the pixel value of the chroma (B, R) region by referring to the pixel value of the luminance (Luma (G)) region is supported.
  • the intra predictor 120 of the present invention uses the LMChroma Mode, which is an ECM proposed by J. Kim, along with Planar Mode, Vertical Mode, Horizontal Mode, and DC Mode, which are chroma modes provided by the existing intra predictor. to provide.
  • the intra prediction unit of the present invention calculates the correlation between the luminance (Luma (G)) region and the adjacent chroma (Broma (B, R)) region when generating the prediction block in LMChroma Mode, and calculates the luminance according to the calculated correlation.
  • the high frequency component in the (G) region is removed by a low pass filter (LPF) so that the LMChroma Mode can be applied.
  • the intra predictor 120 may perform low pass filtering according to a correlation between an adjacent chroma (Broma (R)) region and a luminance Luma (G) region before applying the LMChroma Mode.
  • the intra prediction unit 120 generates a prediction block in all of the available modes, selects the most efficient mode, and outputs the prediction block generated in the selected mode. A detailed description of the intra predictor 120 will be described later.
  • the motion predictor 111 finds a motion vector in the reference image stored in the reference image buffer 190 that best matches the input block in the motion prediction process.
  • the motion compensator 112 generates a prediction block by performing motion compensation using the motion vector.
  • the subtractor 125 generates a residual block by the difference between the input block and the generated prediction block.
  • the transform unit 130 performs a transform on the residual block and outputs a transform coefficient.
  • the quantization unit 140 quantizes the input transform coefficient according to the quantization parameter and outputs a quantized coefficient.
  • the entropy encoder 150 entropy codes the input quantized coefficients according to a probability distribution and outputs a bit stream.
  • the quantized coefficients are inversely quantized by the inverse quantizer 160 and inversely transformed by the inverse transformer 170.
  • the inverse quantized and inverse transformed coefficients are added to the prediction block by the adder 175 and a reconstruction block is generated.
  • the reconstruction block passes through the filter unit 180, and the filter unit 180 applies at least one or more of a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) to the reconstruction block or the reconstruction picture. can do.
  • the filter unit 180 may be referred to as an adaptive in-loop filter.
  • the deblocking filter can remove block distortion generated at the boundary between blocks.
  • SAO may add an appropriate offset value to pixel values to compensate for coding errors.
  • the ALF may perform filtering based on a value obtained by comparing the reconstructed image with the original image, and may be performed only when high efficiency is applied.
  • the reconstructed block that has passed through the filter unit 180 is stored in the reference image buffer 190.
  • FIG. 3 illustrates an example of the intra prediction unit of FIG. 2.
  • HEVC has evolved from performing only encoding in macroblock units, and further defines three new units: a coding unit (CU), a prediction unit (PU), and a transform unit (TU). I use it.
  • the dual prediction unit is determined for all coding units that are no longer split when the block unit splitting process is performed and the coding unit is determined.
  • the intra prediction unit 120 when the intra prediction unit 120 predicts chroma (B, R) pixel values through inter-color prediction in a pixel value prediction step using a prediction unit, the intra prediction unit 120 first matches the chroma (B, R) to be currently encoded.
  • LPF low pass filter
  • the intra prediction unit 120 of FIG. 3 may support other modes other than the chroma mode, for the sake of convenience, the intra predictor 120 may refer to the chroma value of the encoded Luma (G) region to refer to chroma (Broma (B, R). Only the configuration for the chroma mode for predicting the pixel value of the region) is illustrated.
  • the intra predictor 120 includes a chroma predictor 121, a rate-distortion optimizer 122, and a mode selector 123.
  • the chroma predictor 121 includes a planar mode predictor PM, a vertical mode predictor VM, a horizontal mode predictor HM, and a DC mode predictor DC mode, similarly to a conventional intra predictor.
  • the planar mode predictor (PM), the vertical mode predictor (VM), the horizontal mode predictor (HM), and the DC mode predictor (DC mode) are planar modes, vertical modes, and horizontal modes, respectively. Intra prediction is performed using DC mode, which is a well-known technique and thus will not be described in detail herein.
  • the chroma predicting unit 121 of the present invention further includes the LMChroma Mode predicting unit (LMCM) for the ECM.
  • LMCM LMChroma Mode predicting unit
  • the chroma predictor 121 uses a planar mode predictor PM, a vertical mode predictor VM, a horizontal mode predictor HM, a DC mode predictor DC mode, and an LMChroma Mode predictor LMCM.
  • the rate-distortion optimizer 122 receives the pixel values of the prediction blocks on which the chroma prediction has been performed in the plurality of modes to determine the optimal mode.
  • the mode selector 123 receives the optimal mode determined by the rate-distortion optimizer 122, sets a flag corresponding to the received optimal mode, and sets the set flag and the pixel value of the predicted block. Send along with.
  • FIG. 4 shows a detailed configuration of the LMCM of FIG.
  • the LMChroma Mode predictor LMCM includes a correlation calculator COC, a low pass filter LPF, and an extended chroma predictor ECM.
  • the correlation calculator COC receives a block of the encoded Luma (G) region, and calculates a correlation between the Luma (G) region and the Chroma (B, G) region. . Then, it is determined whether the calculated correlation is less than a preset threshold.
  • the correlation calculator COC directly transmits the luminance (Luma (G)) region block to the extended chroma predictor ECM when the calculated correlation is greater than or equal to a preset threshold, and the correlation is less than the preset threshold. In this case, the luminance Luma (G) region block is transmitted to the low pass filter LPF.
  • the low pass filter LPF receives the luminance (Luma (G)) region block, performs low pass filtering on pixel values of the luminance (Luma (G)) region block, and transmits the low-pass filter to the extended chroma prediction unit ECM.
  • the extended chroma predictor ECM applies the pixel values of the luminance (Luma (G)) region block transmitted from the correlation calculator COC or the low pass filter LPF to Equation 1 to obtain chroma (Broma, B, G)) Predict the pixel value of the area block.
  • the LMChroma Mode predictor LMCM of FIG. 4 may operate in the same manner as the existing LMChroma Mode, but the correlation between the luminance Luma (G) region and the chroma (Broma G) region is a threshold value. If less, the high pass component is removed from the luminance (Luma (G)) region block by applying a low pass filter (LPF), and then the LMChroma Mode is performed to predict the pixel value.
  • a low-pass filter (LPF) is applied to remove the high frequency components from the luminance (Luma (G)) region block, and then the LMChroma Mode is performed to predict the pixel value.
  • Equation 2 is a mathematical expression of the block prediction technique performed by the LPF LMChroma Mode.
  • Equation 3 shows an example of calculating a pixel value? Of a low pass filtered G block using four surrounding pixel values.
  • the intra prediction unit 120 of the present invention provides the LMChroma Mode, which is an ECM proposed by J. Kim, in addition to the existing intra prediction modes, Planar Mode, Vertical Mode, Horizontal Mode, and DC Mode.
  • Luma (G)) and the chroma (B, G) region according to the correlation between the high-frequency components of the luminance (G) region with a low pass filter (LPF) after the LPF LMChroma Mode to apply ECM together Can provide.
  • the optimal mode is selected and the block pixel value predicted in the optimal mode is transmitted together with the selected optimal mode information, thereby greatly increasing the efficiency of the pixel value prediction between color planes.
  • Table 2 shows an example of a flag specification technique according to a prediction mode in a chroma screen according to the present invention.
  • the flag is configured such that the prediction mode in chroma screen is increased to LMChroma Mode, and LPF LMChroma Mode can be performed even in LMChroma Mode.
  • it can be set by adding suffix 0 when no filtering is applied and suffix 1 when filtering is applied depending on whether low pass filtering is performed in LMChroma Mode (prefix: 10). That is, in the conventional ECM mode, only the prefix '10' bit was used as a flag for mode encoding. However, in the present invention, in order to additionally use the LPF LMChroma Mode, the suffix 1 bit is used together as the correlation flag to the prefix '10' bit. . However, the setting position and flag value of the flag can be variously changed according to the setting.
  • FIG. 5 illustrates an example of an intra prediction method for encoding performed by the intra prediction unit of FIG. 3.
  • the intra predictor 120 first analyzes a prediction mode set in the image encoding apparatus 100 (S110). As described above, since the image encoding apparatus 100 may provide the inter prediction mode and the intra prediction mode as the prediction mode, in order for the intra prediction unit 120 to be activated, the prediction mode of the image encoding apparatus 100 is the intra prediction mode. Should be set to. Therefore, the intra predictor 120 first analyzes the setting of the image encoding apparatus 100. In operation S120, it is determined whether the prediction mode set as a result of the analysis is an intra prediction mode. If the set prediction mode is not the intra prediction mode, that is, the inter prediction mode, the inter prediction mode is performed.
  • the intra predictor 120 Since the inter prediction mode is not a task performed by the intra predictor 120, the intra predictor 120 does not perform any operation. However, if the set prediction mode is the intra prediction mode, the chroma prediction unit 121 of the intra prediction unit 120 performs block prediction using all the prediction modes that can be provided (S130). In FIG. 5, the planar mode predictor PM, the vertical mode predictor VM, the horizontal mode predictor HM, and the DC mode predictor DC mode according to the configuration of the chroma predictor 121 of FIG. Five predictors of the LMChroma Mode predictor LMCM each generate a predictive block in a predetermined corresponding mode.
  • the LMChroma Mode predicting unit LMCM first calculates the correlation between the luminance calculation unit COC and the luminance Luma (G) region and the chroma (Chroma (B, G)) region (S135). In operation S136, it is determined whether the calculated correlation is less than a predetermined threshold. If the calculated correlation is less than a preset threshold, the luminance (Luma (G)) region block is transmitted to the lowpass filter LPF, and the lowpass filter LPF is applied to the luminance (Luma (G)) region block. Low pass filtering is performed (S137).
  • the low-pass filtered luminance (Luma (G)) region block is transmitted to the extended chroma prediction unit ECM to generate a prediction block for the chroma regions B and R using the extended chroma technique (S137).
  • the luminance (Luma (G)) region block is transmitted directly to the extended chroma predictor ECM, and the extended chroma predictor ECM transmits the luminance without low pass filtering.
  • a predictive block for the chroma regions B and R is generated by applying an extended chroma technique to the (Luma (G)) region block (S137).
  • the generated prediction block is transmitted to the rate-distortion optimizer 122, and the rate-distortion optimizer 122 analyzes pixel values of the prediction blocks to determine an optimal mode (S140).
  • the mode selector 123 selects the determined optimal mode (S150).
  • the flag is set in a preset manner according to the selected optimal mode (S160). If the flag is set, the mode selector 123 outputs the set flag and the selected prediction block (S170).
  • FIG. 6 is a block diagram schematically illustrating an example of a structure of an image decoding apparatus according to an embodiment of the present invention.
  • the image decoding apparatus 200 may include an entropy decoder 210, an inverse quantizer 220, an inverse transformer 230, an intra predictor 240, a motion compensator 250, and a filter ( 260 and a reference picture buffer 270.
  • the image decoding apparatus 200 receives a bitstream output from the encoder and performs decoding in an intra mode or an inter mode, and outputs a reconstructed image, that is, a reconstructed image.
  • the prediction block is generated using the intra prediction mode
  • the prediction block is generated using the inter prediction method.
  • the image decoding apparatus 200 obtains a residual block from the input bitstream, generates a prediction block, adds the residual block and the prediction block, and generates a reconstructed block, that is, a reconstruction block.
  • the entropy decoder 210 entropy decodes the input bitstream according to a probability distribution and outputs quantized coefficients.
  • the quantized coefficients are inversely quantized by the inverse quantizer 220 and inversely transformed by the inverse transformer 230, and as a result of the inverse quantization / inverse transformation of the quantized coefficients, a residual block is generated.
  • the intra predictor 240 In the intra prediction mode, the intra predictor 240 generates a prediction block by performing spatial prediction using pixel values of blocks around the current block.
  • the intra prediction unit 240 of the present invention analyzes the flag of the input bitstream and determines whether the correlation flag is set to the LPF LMChroma Mode when the flag is set to the LMChroma Mode. If the correlation flag is set to the LPF LMChroma Mode as a result of the determination, first, the high frequency component of the decoded luminance (Luma (G)) region is removed by the low pass filter LPF.
  • the ECM technique is applied to predict the pixel value of the chroma (B, R) region by referring to the pixel value of the luminance (Luma (G)) region from which the high frequency component is removed.
  • the motion compensator 250 In the inter prediction mode, the motion compensator 250 generates a predictive block by performing motion compensation using the motion vector and the reference image stored in the reference image buffer 270.
  • the filter unit 260 may apply at least one or more of the deblocking filter, SAO, and ALF to the reconstructed block or the reconstructed picture.
  • the filter unit 260 outputs a reconstructed image, that is, a reconstructed image.
  • the reconstructed picture may be stored in the reference picture buffer 270 to be used for inter prediction.
  • FIG. 7 shows an example of the intra prediction unit of FIG. 6.
  • the intra predictor 240 of FIG. 7 includes a flag analyzer 241, a mode selector 242, and a chroma predictor 243.
  • the flag analyzer 241 analyzes a flag included in the bit stream and transmits the analyzed mode to the mode selector 242.
  • the mode selector 242 is a planar mode predictor PM, a vertical mode predictor VM, and a horizontal mode predictor HM included in the chroma predictor 243 according to the mode analyzed by the flag analyzer 241. ), One of the DC mode predictor (DC Mode) and the LMChroma Mode predictor (LMCM) is selected and activated to transmit the received bit stream to the activated predictor.
  • DC Mode DC mode predictor
  • LMCM LMChroma Mode predictor
  • the chroma predictor 243 is activated according to the selection of the mode selector 242 to generate the prediction blocks in a predetermined manner, respectively.
  • Planar mode predictor PM, vertical mode predictor VM, and horizontal mode predictor HM and a DC mode predictor (DC Mode) and an LMChroma Mode predictor (LMCM).
  • DC Mode DC Mode
  • LMCM LMChroma Mode predictor
  • the LMChroma Mode predictor LMCM predicts the pixel value of the chroma (Broma (R)) region or decodes the luminance value by referring to the pixel value of the luminance (Luma (G)) region according to the setting of the correlation flag.
  • the high frequency component in the (Luma (G)) region is removed by a low pass filter (LPF), and the pixel value in the luminance (Luma (G)) region from which the high frequency component is removed is referred to as the chroma (B, R) region. It can also operate in LPF LMChroma mode to predict pixel values.
  • Table 3 shows the results of analyzing the performance of the LPF LMChroma Mode according to the present invention to the first frame of the eight RGB experimental images of Table 1.
  • Table 3 uses the HM10.0_RExt2.0 program, and the experimental variable setting was HEVC Range Extension Common test condition (D. Flynn, K. Sharman, "Common test conditions and software reference configurations for HEVC range extensions", JCTVC-L1006, 12th Meeting, Geneva, Switzerland, Jan. 2013.
  • HEVC Range Extension Common test condition D. Flynn, K. Sharman, "Common test conditions and software reference configurations for HEVC range extensions", JCTVC-L1006, 12th Meeting, Geneva, Switzerland, Jan. 2013.
  • the G, B, and R color planes are compared to ECM, which is a conventional LMChroma mode, in All Intra HE Super-High-tier.
  • ECM which is a conventional LMChroma mode
  • bit rate gains 0.4%, 0.6%, and 0.8% on average, so that a bit rate gain of 0.6% is obtained overall.
  • the coding rate increased by 8% and the decoding rate by 1%.
  • the decoding speed complexity
  • the proposed method is efficient because the encoding and decoding speeds are almost not increased, and at the same time, a bit rate gain of 0.6% is obtained. This can be called.
  • FIG. 8 shows a detailed configuration of the LMCM of FIG.
  • the LMChroma Mode predictor LMCM includes a correlation flag determiner CFA, a low pass filter LPF, and an extended chroma predictor ECM.
  • the correlation flag determination unit CFA receives a block of the encoded luminance (Luma (G)) region and determines whether or not a correlation flag is set in the flag analyzed by the flag analyzer 241. If the correlation flag is not set, the luminance (Luma (G)) region block is transmitted directly to the extended chroma prediction unit (ECM). If the correlation flag is set, the luminance (Luma (G)) region block is low-passed. Send to filter (LPF).
  • LPF extended chroma predictor
  • the low pass filter LPF receives the luminance (Luma (G)) region block, performs low pass filtering on pixel values of the luminance (Luma (G)) region block, and transmits the low-pass filter to the extended chroma prediction unit ECM.
  • the extended chroma prediction unit ECM applies the ECM method of Equation 1 to the pixel values of the luminance (Luma (G)) region block transmitted from the correlation flag determination unit CFA or the low pass filter LPF. (B, G)) Predict pixel values of the area block.
  • the LMChroma Mode predicting unit LMCM of FIG. 8 may operate in the same manner as the existing LMChroma Mode depending on the value of the correlation flag, but by applying a low pass filter LPF, the luminance (Luma (G)) region is applied. After removing the high frequency component from the block, the LMChroma Mode may be performed to predict the pixel value.
  • the correlation flag determiner CFA is included in the LMChroma Mode predictor LMCM for convenience of description, but the correlation flag determiner CFA may be included in the flag analyzer 241.
  • the mode selector 242 LMChroma the luminance (Luma (G)) region block according to the correlation flag analyzed by the flag analyzer 241.
  • the signal may be transmitted to one of a low pass filter (LPF) or an extended chroma predictor (ECM) in the mode predictor LMCM.
  • LPF low pass filter
  • ECM extended chroma predictor
  • FIG. 9 illustrates an example of an intra prediction method for decoding performed by the intra prediction unit of FIG. 7.
  • the intra prediction unit 240 of the image decoding apparatus 200 analyzes a prediction mode set in the image decoding apparatus 200 (S210). In operation S220, it is determined whether the analyzed prediction mode is an intra prediction mode. If the set prediction mode is not the intra prediction mode, since the inter prediction mode, the intra prediction unit 240 is not activated and ends. However, in the intra prediction mode, the bitstream is received and a flag of the received bitstream is analyzed (S230). The flag analysis determines whether the flag set in the bit stream is LMChroma Mode (S240). If the set flag is not the LMChroma Mode, the prediction block is generated in a mode corresponding to the set flag (S270).
  • the set flag is LMChroma Mode
  • the method, the apparatus and the system for encoding and decoding the image according to the present invention may refer to the pixel value of the luminance (Luma (or G)) region in the chroma (or B, R) region during intra prediction.
  • Luma or G
  • LMChroma Mode can apply the ECM technique, thereby improving coding performance.
  • the method according to the invention can be embodied as computer readable code on a computer readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and also include a carrier wave (for example, transmission through the Internet).
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 부호화 및 복호화 방법, 장치 및 시스템을 공개한다. 본 발명은 입력 영상을 인가받고, 인트라 예측 수행 시에 상기 입력 영상에서 휘도 영역 블록과 채도 영역 블록 사이의 상관도를 계산하고, 계산된 상관도에 따라 부호화가 완료된 상기 휘도 영역 블록의 픽셀 값을 로우패스 필터링하여 고주파 성분을 제거한 후, 고주파 성분이 제거된 상기 휘도 영역 블록의 픽셀 값에 대해, 확장 크로마 모드 기법인 LMChroma Mode를 적용하여 채도 영역의 예측 블록을 생성하는 인트라 예측부를 포함한다.

Description

영상 부호화 및 복호화 방법, 장치 및 시스템
본 발명은 영상 부호화 및 복호화 방법, 장치 및 시스템에 관한 것으로, 특히 HEVC에서 RGB 영상의 색평면간 예측 효율을 향상시키기 위한 영상 부호화 및 복호화 방법, 장치 및 시스템에 관한 것이다.
HEVC(High Efficiency Video Coding) Range Extension은 현재 표준화가 완료된 HEVC의 뒤를 이어, 4:2:2 4:4:4 색 샘플링과 10bit, 12bit, 14bit 심도의 YUV 영상 및 RGB 영상을 지원하기 위한 확장 기술의 개발을 목표로 현재 표준화가 진행 중에 있다. 이 중, RGB 영상은 YUV 영상과는 달리 R, G, B 각각 색평면(color plane) 사이에 높은 상관관계(correlation)를 갖고 있으며, 이를 이용하여 최근 MPEG 표준화 회의에서는 J. Kim에 의해 확장 크로마 모드(extended chroma mode : 이하 ECM)가 제안되었다. (J. Kim, "RCE1: The performance of extended chroma mode for non 4:2:0 format, JCTVC-M0097, 13th JCT-VC Meeting, Incheon, Korea, Apr. 2013)
J. Kim에 의해 제안된 ECM은 채도(Chroma (U,V)(RGB 코딩에서는 B,R)) 영역의 화면내 예측(intra prediction) 시, 이미 부호화가 끝난 휘도(Luma (또는 G))영역의 픽셀 값을 참조하여 채도(Chroma (또는 B, R)) 영역의 픽셀 값을 예측하는 방법이다. 이 알고리즘은 기존 HEVC 표준화 때 J. Chen에 의해 제안된 기법을 이용하는 기술로 HEVC에는 적용되지 않았다. (J. Chen, V. Seregin, W-J Han, J. Kim, B. Jeon, "CE6.a.4: Chroma intra prediction by reconstructed luma samples", JCTVC-E266, 5thMeeting, Geneva, Switzerland, Mar. 2011) 그러나 HEVC의 YUV 4:2:0 포맷과는 달리, RGB 4:4:4 포맷은 색평면 간 높은 상관관계를 갖고 있기 때문에, J. Kim에 의해 제안된 ECM는 J. Chen이 제안한 기술을 YUV 포맷이 아닌 RGB 4:4:4 포맷에 맞게 변경하여 적용하는 경우에 높은 압축 성능 향상 효과를 얻을 수 있다. 즉 높은 부호화 이득(coding gain)을 얻을 수 있다. 따라서 HEVC Range Extension 적용될 가능성이 있다.
그러나 다수의 RGB 영상을 분석한 결과, 일반적으로 RGB 영상은 색 평면의 고주파수(high frequency) 영역에서 색 평면 사이의 상관관계가 낮다는 문제점이 도출되었다. 즉 고주파수 영역에서 색 평면 사이의 상관관계가 낮아서 ECM 적용 시에 휘도(Luma) 영역의 고주파 성분이 채도(Chroma)영역의 화소 예측에 방해가 되어 압축 효율을 떨어뜨릴 수 있다.
표 1
Figure PCTKR2014009222-appb-T000001
표 1은 현재 HEVC Range Extension에서 사용하고 있는 8개의 RGB 실험 영상의 첫번째 프레임을 이용하여, 색 평면 간(G-B, G-R) 4개의 주파수 영역(frequency band) 간의 상관도(correlation)를 계산한 것으로 HEVC Range Exension RGB 실험 영상의 색 평면 간 주파수 밴드 별 상관관계를 나타낸다. 표1 은 B. K. Gunturk, Y. Altunbasak, and R. M. Mersereau, "Color plane interpolation using alternating projections," IEEE Trans. Image Processing, Vol. 11, No. 9, pp. 997-1013, September 2002.에 공개되어 있다. 이는 R, G, B 색평면 간의 상관관계를 수학적으로 분석하는 RGB 영상의 주파수 분석 방법으로, 여기서 각각의 상관도는 -0.2부터 1의 범위를 가지며, 상관도가 높을수록 높은 상관관계를 갖는 것을 의미한다.
표1 에서 LL 주파수 밴드는 영상의 저주파수 성분을 의미하며, LH 및 HL 주파수 밴드는 영상의 수평 및 수직 에지(Edge) 성분을 의미하며, HH 주파수 밴드는 영상의 대각선 에지 성분으로 고주파수 성분을 의미한다. EBULupoCandlelight 및 EBURainFruits 영상을 제외하면 대체적으로 저주파수 영역(LL)에서는 높은 상관도를 가지는 반면, 고주파수 영역(HH)에서는 낮은 상관도를 갖는다. 표1 을 살펴보면, RGB 영상들이 LL 주파수 밴드에서는 평균 0.90의 높은 상관도를 갖지만 HH 주파수 밴드에서는 평균 0.38의 낮은 상관도를 갖고 있음을 확인할 수 있다. 표1 에 나타난 바와 같이, 주파수 영역 전반에서 높은 상관도를 갖는 다른 주파수 성분에 비해 낮은 상관도를 갖는 고주파수 성분은 ECM를 이용한 색 평면 간 픽셀 값 예측 시, 오히려 압축 성능에 방해가 될 수 있다.
표1 에서 LL 주파수 밴드는 영상의 저주파수 성분을 의미하며, LH 및 HL 주파수 밴드는 영상의 수평 및 수직 에지(Edge) 성분을 의미하며, HH 주파수 밴드는 영상의 대각선 에지 성분으로 고주파수 성분을 의미한다. EBULupoCandlelight 및 EBURainFruits 영상을 제외하면 대체적으로 저주파수 영역(LL)에서는 높은 상관도를 가지는 반면, 고주파수 영역(HH)에서는 낮은 상관도를 갖는다. 표1 을 살펴보면, RGB 영상들이 LL 주파수 밴드에서는 평균 0.90의 높은 상관도를 갖지만 HH 주파수 밴드에서는 평균 0.38의 낮은 상관도를 갖고 있음을 확인할 수 있다. 표1 에 나타난 바와 같이, 주파수 영역 전반에서 높은 상관도를 갖는 다른 주파수 성분에 비해 낮은 상관도를 갖는 고주파수 성분은 ECM를 이용한 색 평면 간 픽셀 값 예측 시, 오히려 압축 성능에 방해가 될 수 있다.
본 발명의 목적은 색평면간 상관도가 낮은 고주파 성분을 필터링하여 색평면간 픽셀 값 예측의 효율성을 높일 수 있는 영상 부호화 및 복호화 방법을 제공하는데 있다.
본 발명의 다른 목적은 상기 목적을 달성하기 위한 영상 부호화 및 복호화 장치를 제공하는데 있다.
본 발명의 또 다른 목적은 상기 목적을 달성하기 위한 영상 부호화 및 복호화 시스템을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 예에 따른 영상 부호화 장치는 입력 영상을 인가받고, 인트라 예측 수행 시에 상기 입력 영상에서 휘도 영역 블록과 채도 영역 블록 사이의 상관도를 계산하고, 계산된 상관도에 따라 부호화가 완료된 상기 휘도 영역 블록의 픽셀 값을 로우패스 필터링하여 고주파 성분을 제거한 후, 고주파 성분이 제거된 상기 휘도 영역 블록의 픽셀 값에 대해, 확장 크로마 모드 기법인 LMChroma Mode를 적용하여 채도 영역의 예측 블록을 생성하는 인트라 예측부를 포함한다.
상기 인트라 예측부는 상기 입력 영상의 부호화된 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 LMChroma Mode를 적용하여 상기 예측 블록을 생성하는 LMChroma Mode 예측부를 포함하는 기설정된 복수개의 모드 예측부를 구비하고, 복수개의 모드 예측부 각각에서 인트라 예측을 수행하여 복수개의 예측 블록을 생성하는 크로마 예측부; 상기 복수개의 예측 블록을 수신하고, 상기 복수개의 예측 블록 중 최적의 예측 블록을 기설정된 방식으로 판별하는 률-왜곡 최적화부; 및 상기 복수개의 모드 중 상기 최적의 예측 블록을 생성하는 모드에 대응하는 플래그를 설정하여 상기 최적의 예측 블록과 함께 출력하는 모드 선택부; 를 포함하는 것을 특징으로 한다.
상기 LMChroma Mode 예측부는 상기 입력 영상에서 상기 휘도 영역 블록과 상기 채도 영역 블록 사이의 상관도를 계산하고, 상기 상관도가 기설정된 문턱값 미만인지 판별하는 상관도 계산부; 상기 상관도가 기설정된 문턱값 미만이면, 상기 휘도 영역 블록의 픽셀 값을 로우패스 필터링하는 로우패스 필터; 및 상기 상관도가 상기 문턱값 이상이면, 상기 상관도 계산부에서 인가되는 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 LMChroma Mode를 적용하여 상기 예측 블록을 생성하고, 상기 상관도가 문턱값 미만이면, 상기 로우패스 필터에서 로우패스 필터링된 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 LMChroma Mode를 적용하여 상기 예측 블록을 생성하는 확장 크로마 예측부; 를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 예에 따른 영상 복호화 장치는 비트스트림을 수신하고, 인트라 예측 수행 시에 상기 비트스트림에 포함된 플래그를 분석하고, 분석된 플래그의 상관 플래그 설정에 따라 선택적으로 휘도 영역 블록의 픽셀 값을 로우패스 필터링하여 고주파 성분을 제거하고, 고주파 성분이 제거된 상기 휘도 영역 블록의 픽셀 값에 대해, 확장 크로마 모드 기법인 LMChroma Mode를 적용하여 채도 영역의 예측 블록을 생성하는 인트라 예측부를 포함한다.
상기 인트라 예측부는 상기 비트 스트림에 설정된 플래그를 분석하는 플래그 분석부; 상기 분석된 플래그에 기초하여 상기 LMChroma Mode 를 포함하는 기설정된 복수개의 모드 중 인트라 예측을 수행할 모드를 선택하는 모드 선택부; 및 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 LMChroma Mode를 적용하여 상기 예측 블록을 생성하는 LMChroma Mode 예측부를 포함하는 기설정된 복수개의 모드 예측부를 구비하고, 복수개의 모드 예측부 각각에서 인트라 예측을 수행하여 복수개의 예측 블록을 생성하는 크로마 예측부; 를 포함하는 것을 특징으로 한다.
상기 LMChroma Mode 예측부는 상기 플래그 분석부에서 분석된 플래그 중 상관 플래그의 설정 여부를 판별하는 상관 플래그 판별부;
상기 상관 플래그가 설정되어 있으면, 상기 휘도 영역 블록을 수신하고, 상기 휘도 영역 블록의 픽셀 값을 로우패스 필터링하여 고주파 성분을 제거하는 로우패스 필터; 및
상기 상관 플래그가 설정되어 있지 않으면, 상기 플래그 분석부에서 인가되는 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 LMChroma Mode를 적용하여 상기 예측 블록을 생성하고, 상기 상관 플래그가 설정되어 있으면, 상기 로우패스 필터에서 로우패스 필터링된 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 LMChroma Mode를 적용하여 상기 예측 블록을 생성하는 확장 크로마 예측부; 를 포함하는 것을 특징으로 한다.
상기 크로마 예측부는 상기 상관 플래그가 설정되어 있으면, 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 로우패스 필터에 의한 로우패스 필터링하여, 상기 로우 패스 필터링된 상기 휘도 영역 블록의 픽셀 값을 수학식
Figure PCTKR2014009222-appb-I000001
에 따라 계산하고, 상기 로우 패스 필터링된 상기 휘도 영역 블록의 픽셀 값에 상기 LMChroma Mode를 적용하여 수학식
Figure PCTKR2014009222-appb-I000002
(여기서
Figure PCTKR2014009222-appb-I000003
는 로우 패스 필터링된 상기 휘도 영역 블록의 픽셀 값을 나타내며, α와 β는 부호화하고자 하는 상기 채도 영역 블록 주변의 픽셀값과 동일한 위치의 상기 휘도 블록의 픽셀 값들을 이용하여 계산되는 가중치)에 따라 상기 예측 블록을 생성하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 예에 따른 영상 부호화 방법은 입력 영상을 인가받고, 상기 입력 영상에 대해 인트라 예측을 통해 부호화하여 비트 스트림을 출력하는 영상 부호화 장치의 영상 부호화 방법에 있어서, 상기 영상 부호화 장치가 인트라 예측 수행 시에 상기 입력 영상에서 휘도 영역 블록과 채도 영역 블록 사이의 상관도를 계산하는 단계; 상기 상관도가 기설정된 문턱값 미만이면, 부호화가 완료된 상기 휘도 영역 블록의 픽셀 값을 로우패스 필터링하여 고주파 성분을 제거하는 단계; 상기 상관도가 문턱값 미만이면, 로우패스 필터링된 상기 휘도 영역 블록의 픽셀 값들에 대해 확장 크로마 모드 기법인 LMChroma Mode를 적용하여 예측 블록을 생성하고, 상기 상관도가 문턱값 이상이면, 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 LMChroma Mode를 적용하여 예측 블록을 생성하는 단계; 및 상기 예측 블록을 이용하여 색평면 사이의 상관관계가 높은 RGB 영상의 비트 스트림을 생성하여 출력하는 단계; 를 포함한다.
상기 목적을 달성하기 위한 본 발명의 일 예에 따른 영상 복호화 방법은 비트 스트림을 수신하고, 상기 비트스트림에 대해 인트라 예측을 통해 복호화하여 복원 영상을 출력하는 영상 복호화 장치의 영상 복호화 방법에 있어서, 상기 영상 복호화 장치가 상기 비트스트림을 수신하여, 휘도 영역 블록을 획득하는 단계; 상기 비트스트림에 포함된 플래그를 획득하고 분석하여, 기설정된 복수개의 모드 중 인트라 예측을 수행할 모드를 선택하는 단계; 분석된 상기 플래그에 의해 선택된 모드가 LMChroma Mode이면, 상기 플래그에 포함된 상관 플래그의 설정을 분석하는 단계; 상기 상관 플래그가 설정되어 있으면, 상기 휘도 영역 블록의 픽셀 값을 로우패스 필터링하여 고주파 성분을 제거하는 단계; 상기 상관 플래그가 설정되어 있으면, 로우패스 필터링된 상기 휘도 영역 블록의 픽셀 값들에 대해 확장 크로마 모드 기법인 LMChroma Mode를 적용하여 예측 블록을 생성하고, 상기 상관 플래그가 설정되어 있지 않으면, 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 LMChroma Mode를 적용하여 예측 블록을 생성하는 단계; 및 상기 예측 블록을 이용하여 상기 복원 영상을 출력하는 단계; 를 포함한다.
상기 목적을 달성하기 위한 본 발명의 일 예에 따른 영상 시스템은 입력 영상을 인가받고, 인트라 예측 수행 시에 상기 입력 영상에서 휘도 영역 블록과 채도 영역 블록 사이의 상관도를 계산하고, 계산된 상관도에 따라 부호화가 완료된 상기 휘도 영역 블록의 픽셀 값을 로우패스 필터링하여 고주파 성분을 제거한 후, 고주파 성분이 제거된 상기 휘도 영역 블록의 픽셀 값에 대해, 확장 크로마 모드 기법인 LMChroma Mode를 적용하여 채도 영역의 예측 블록을 생성하며, 상기 예측 블록을 이용하여 색평면 사이의 상관관계가 높은 RGB 영상의 비트 스트림을 생성하여 출력하는 영상 부호화 장치; 및 상기 비트스트림을 수신하고, 상기 인트라 예측 수행 시에 상기 비트스트림에 포함된 플래그를 분석하고, 분석된 플래그의 상관 플래그 설정에 따라 선택적으로 휘도 영역 블록의 픽셀 값을 로우패스 필터링하여 고주파 성분을 제거하고, 고주파 성분이 제거된 상기 휘도 영역 블록의 픽셀 값에 대해, 확장 크로마 모드 기법인 LMChroma Mode를 적용하여 채도 영역의 예측 블록을 생성하며, 상기 예측 블록을 이용하여 복원 영상을 출력하는 영상 복호화 장치; 를 포함한다.
따라서, 본 발명의 영상 부호화 및 복호화 방법, 장치 및 시스템은 인트라 예측 시에 확장 크로마 모드에서 색 평면간 상관도를 계산하여 상관도에 따라 선택적으로 휘도 영역에 대해 로우 패스 필터링을 적용한 후 LMChroma Moda로 예측 블록을 생성하여 부호화 및 복호화 할 수 있도록 한다. 그러므로 LMChroma Moda로 부호화 및 복호화 시에도 상관도에 따라 로우패스 필터링을 선택적으로 수행한 후 부호화 및 복호화하도록 함으로써, 부호화 성능을 높일 수 있다.
도1 은 영상에서 색평면간 고주파 영역의 화면 내 상관도를 나타낸다.
도2 는 본 발명의 영상 부호화 장치를 개략적으로 나타낸 블록도이다.
도3 은 도2 의 인트라 예측부의 일예를 나타낸다.
도4 는 도3 의 LMCM의 상세 구성을 나타낸다.
도5 는 도3 의 인트라 예측부가 수행하는 부호화를 위한 화면내 예측 방법의 일예를 나타낸다.
도6 은 본 발명의 일실시예에 따른 영상 복호화 장치 구조의 일 예를 개략적으로 나타낸 블록도이다.
도7 은 도6 의 인트라 예측부의 일예를 나타낸다.
도8 은 도7 의 LMCM의 상세 구성을 나타낸다.
도9 는 도7 의 인트라 예측부가 수행하는 복호화를 위한 화면내 예측 방법의 일예를 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
상기한 바와 같이 확장 크로마 모드(ECM)는 채도(Chroma) 영역의 화면 내 예측 시, 부호화가 완료된 휘도(Luma)영역의 픽셀 값을 이용하여 채도 영역의 픽셀 값을 예측하는 기법으로, 이 기법을 통해 색 평면간 상관도가 높은 RGB 영상에서 매우 높은 부호화 이득율을 얻을 수 있다. ECM은 채도의 화면 내 예측 모드에 추가되며, 기존의 화면내 예측 방법과의 경쟁을 통해 선택되도록 구성된다.
RGB 영상은 GBR 순으로 부호화가 진행되기 때문에, B 및 R 색평면은 채도의 화면 내 예측 모드로 부호화 될 수 있다. 수학식 1은 RGB 영상에서의 ECM 기법을 수학적으로 표현한 것이다.
수학식 1
Figure PCTKR2014009222-appb-M000001
여기서 Cpred는 예측하고자 하는 B 또는 R 블록의 픽셀 값을 나타내고, Grecon은 부호화가 완료된 G 블록의 복호화된 화소값을 나타내며, [x, y]는 픽셀의 위치를 나타낸다. α 및 β는 가중치로서 부호화하고자 하는 B 또는 R 블록 주변의 픽셀값과 동일한 위치의 G 블록의 픽셀 값들을 이용하여 유추된다.
수학식 1 에 나타난 바와 같이 ECM은 부호화가 완료된 휘도(Luma)영역의 픽셀 값을 이용하여 채도 영역의 픽셀 값을 예측하지만, 이는 색 평면간 상관도가 높은 경우에만 유용하게 활용될 수 있다.
도1 은 영상에서 색평면간 고주파 영역의 화면 내 상관도를 나타낸다.
도1 은 표1 에 개시된 8개의 영상 중 VenueVu 영상의 첫 번째 프레임에서 G-B, G-R 색평면 간의 고주파수 영역(HH)의 화면 내 상관도를 나타낸다. 도1 에서 (a)는 원본 영상을 나타내고, (b)는 G-B 색평면 간 고주파수 영역의 화면 내 상관도를 나타내며, (c)는 G-R 색평면 간 고주파수 영역의 화면 내 상관도를 나타낸다. 도1 에서 (b) 및 (c)는 화면을 8 X 8 블록 단위로 G-B 및 G-R 간의 상관도를 계산하였으며, 어두울수록 낮은 상관도를 가지며, 밝을수록 높은 상관도를 갖는다.
도1 의 (b) 및 (c)를 살펴보면, 하나의 화면 내에서도 고주파수 영역의 색 평면간 상관도가 높은 영역과 낮은 영역이 모두 존재하는 것을 알 수 있다.
이에 본 발명에서는 색평면 간의 예측 정확도를 높이기 위해 ECM 기법으로 픽셀 값을 예측할 때, 낮은 상관도를 갖는 휘도(Luma(G)) 영역의 고주파수 성분을 필터링을 통해 사전에 제거하도록 하여 색평면간 예측 효율을 높일 수 있도록 한다. 또한 화면 내 고주파수 영역의 상관도 변화에 대응할 수 있도록 예측 단위(Prediction Unit : PU) 적응형 필터링 기법을 제안한다.
도2 는 본 발명의 영상 부호화 장치를 개략적으로 나타낸 블록도이다.
도2 를 참조하면, 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조영상 버퍼(190)를 포함한다.
영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력한다. 이하 본 발명의 실시예에서는 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측과 동일한 의미로 사용될 수 있다. 예측 단위에 대한 최적의 예측 방법을 결정하기 위해 예측 단위에 대해 화면 내 예측 방법 및 화면 간 예측 방법이 선택적으로 사용될 수 있다. 영상 부호화 장치(100)는 입력 영상의 원본 블록에 대한 예측 블록을 생성한 후, 원본 블록과 예측 블록의 차분을 부호화한다.
화면 내 예측 모드인 경우, 인트라 예측부(120)(또는 화면 내 예측부도 동일한 의미를 가지는 용어로 사용될 수 있다.)는 채도(Chroma(B,R))화면의 인트라 예측 시에, 이미 부호화된 휘도(Luma(G))영역의 픽셀 값을 참조하여 채도(Chroma (B, R)) 영역의 픽셀 값을 예측하는 크로마 모드(Chroma Mode)를 지원한다. 특히 본 발명의 인트라 예측부(120)는 기존의 인트라 예측부가 제공하던 크로마 모드(Chroma Mode)인 Planar Mode, Vertical Mode, Horizontal Mode, DC Mode와 더불어 J. Kim에 의해 제안된 ECM인 LMChroma Mode를 제공한다. 다만 본 발명의 인트라 예측부는 LMChroma Mode 로 예측 블록 생성 시에 휘도(Luma(G)) 영역과 인접한 채도(Chroma (B, R)) 영역 사이의 상관도를 계산하고, 계산된 상관도에 따라 휘도(G) 영역의 고주파수 성분을 로우 패스 필터(LPF)로 제거한 후 LMChroma Mode를 적용할 수 있도록 한다. 즉 인트라 예측부(120)는 LMChroma Mode를 적용하기 이전에 인접한 채도(Chroma (B, R)) 영역과 휘도(Luma(G)) 영역 사이의 상관도에 따른 로우 패스 필터링을 수행할 수 있다.
그리고 인트라 예측부(120)는 제공 가능한 모든 모드로 예측 블록을 생성하고, 가장 효율적인 모드를 선택하여 선택된 모드로 생성된 예측 블록을 출력한다. 인트라 예측부(120)에 대한 상세한 설명은 후술하도록 한다.
화면 간 예측 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 영상 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구한다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성한다.
감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔여 블록(residual block)을 생성한다. 변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력한다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력한다. 엔트로피 부호화부(150)는 입력된 양자화된 계수를 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bit stream)을 출력한다.
HEVC는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성된다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 화소값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있으며, 고효율이 적용되는 경우에만 수행될 수도 있다. 필터부(180)를 거친 복원 블록은 참조 영상 버퍼(190)에 저장된다.
도3 은 도2 의 인트라 예측부의 일예를 나타낸다.
HEVC에서는 기존에 매크로 블록 단위의 부호화만을 수행하는 것에서 발전하여 부호화 단위(coding unit : CU), 예측 단위(prediction unit : PU) 및 변환 단위(transform unit, TU)의 새로운 세 개의 단위를 추가로 정의하여 사용하고 있다. 이중 예측 단위는 블록 단위 분할 과정을 수행하고 부호화 단위가 결정되면, 더 이상 분할되지 않는 모든 부호화 단위에 대해 결정된다. 본 발명은 인트라 예측부(120)는 예측 단위를 이용한 픽셀 값 예측 단계에서 색 평면간 예측을 통해 채도(B, R) 픽셀 값을 예측할 때, 먼저 현재 부호화하고자 하는 채도(B, R)의 동일 위치에 배치된 휘도(G)의 고주파수 성분을 로우패스 필터(Low Pass Filter : LPF)를 이용하여 제거하는 방식으로 고주파 성분이 제거된 휘도(G) 영역의 상관도 변화에 적응적인 필터링 기법을 제공할 수 있다.
도3 의 인트라 예측부(120)는 크로마 모드 이외의 다른 모드도 지원할 수 있으나, 여기서는 설명의 편의를 위해 부호화된 휘도(Luma(G))영역의 픽셀 값을 참조하여 채도(Chroma (B, R)) 영역의 픽셀 값을 예측하는 크로마 모드(Chroma Mode)에 대한 구성만을 도시하였다.
도3 에서 인트라 예측부(120)는 크로마 예측부(121), 률-왜곡 최적화부(122) 및 모드 선택부(123)를 포함한다.
크로마 예측부(121)는 기존의 인트라 예측부와 마찬가지로 Planar Mode 예측부(PM), Vertical Mode 예측부(VM), Horizontal Mode 예측부(HM) 및 DC Mode 예측부(DC Mode)를 포함한다. Planar Mode 예측부(PM), Vertical Mode 예측부(VM), Horizontal Mode 예측부(HM) 및 DC Mode 예측부(DC Mode)는 각각 기존에 사용되고 있는 인트라 예측 모드인 Planar Mode, Vertical Mode, Horizontal Mode, DC Mode를 이용하여 인트라 예측을 수행하며, 이는 공지된 기술이므로 여기서는 상세하게 설명하지 않는다.
그리고 본 발명의 크로마 예측부(121)는 상기한 ECM을 위한 LMChroma Mode 예측부(LMCM)를 더 포함한다.
크로마 예측부(121)가 Planar Mode 예측부(PM), Vertical Mode 예측부(VM), Horizontal Mode 예측부(HM) 및 DC Mode 예측부(DC Mode), 및 LMChroma Mode 예측부(LMCM)를 이용하여 설정된 모든 모드로 크로마 예측을 수행하면, 률-왜곡 최적화부(122)가 복수개의 모드로 크로마 예측이 수행된 예측 블록들의 픽셀값을 수신하여 최적의 모드를 판별한다.
모드 선택부(123)는 률-왜곡 최적화부(122)에서 판별된 최적의 모드를 수신하고, 수신된 최적의 모드에 대응하는 플래그(flag)를 설정하여, 설정된 플래그와 예측된 블록의 픽셀값과 함께 전송한다.
도4 는 도3 의 LMCM의 상세 구성을 나타낸다.
도4 에서 LMChroma Mode 예측부(LMCM)는 상관도 계산부(COC), 로우 패스 필터(LPF) 및 확장 크로마 예측부(ECM)을 포함한다. 상관도 계산부(COC)는 부호화된 휘도(Luma(G)) 영역의 블록을 수신하고, 휘도(Luma(G)) 영역과 채도(Chroma(B, G)) 영역 사이의 상관도를 계산한다. 그리고 계산된 상관도가 기설정된 문턱값 미만인지 판별한다. 상관도 계산부(COC)는 계산된 상관도가 기설정된 문턱값 이상이면, 휘도(Luma(G)) 영역 블록을 확장 크로마 예측부(ECM) 로 곧바로 전송하고, 상관도가 기설정된 문턱값 미만이면, 휘도(Luma(G)) 영역 블록을 로우패스 필터(LPF)로 전송한다.
로우패스 필터(LPF)는 휘도(Luma(G)) 영역 블록을 수신하고, 휘도(Luma(G)) 영역 블록의 픽셀 값들을 로우패스 필터링하여 확장 크로마 예측부(ECM)로 전송한다.
확장 크로마 예측부(ECM)는 상관도 계산부(COC) 또는 로우패스 필터(LPF)에서 전송되는 휘도(Luma(G)) 영역 블록의 픽셀 값들을 수학식 1에 적용하여 채도(Chroma(B, G)) 영역 블록의 픽셀 값을 예측한다.
따라서 도4 의 LMChroma Mode 예측부(LMCM)는 기존의 LMChroma Mode 와 동일하게 동작할 수도 있으나, 휘도(Luma(G)) 영역과 채도(Chroma(B, G)) 영역 사이의 상관도가 문턱값 미만이면, 로우 패스 필터(LPF)를 적용하여 휘도(Luma(G)) 영역 블록에서 고주파수 성분을 제거한 후, LMChroma Mode를 수행하여 픽셀값을 예측한다. 본 발명에서는 상기한 바와 같이 로우 패스 필터(LPF)를 적용하여 휘도(Luma(G)) 영역 블록에서 고주파수 성분을 제거한 후, LMChroma Mode를 수행하여 픽셀값을 예측하는 기법을 LPF LMChroma Mode라 한다.
수학식 2는 LPF LMChroma Mode로 의해 수행되는 블록 예측 기법을 수학적으로 표현한 것이다.
수학식 2
Figure PCTKR2014009222-appb-M000002
(여기서
Figure PCTKR2014009222-appb-I000004
는 로우 패스 필터링된 G블록의 픽셀 값을 나타내며, α와 β는 수학식 1과 같이 가중치로서 부호화하고자 하는 B 또는 R 블록 주변의 픽셀값과 동일한 위치의 G 블록의 픽셀 값들을 이용하여 유추된다.)
수학식 3
Figure PCTKR2014009222-appb-M000003
수학식 3 은 로우 패스 필터링된 G블록의 픽셀 값()을 주변 4개의 화소값을 이용하여 계산하는 일예를 나타낸다.
즉 본 발명의 인트라 예측부(120)는 기존의 인트라 예측 모드인 Planar Mode, Vertical Mode, Horizontal Mode, DC Mode와 더불어 J. Kim에 의해 제안된 ECM인 LMChroma Mode를 제공하고, LMChroma Mode 에서도 휘도(Luma(G)) 영역과 채도(Chroma(B, G)) 영역 사이의 상관도에 따라 휘도(G) 영역의 고주파수 성분을 로우 패스 필터(LPF)로 제거한 후 ECM을 적용하는 LPF LMChroma Mode를 함께 제공 할 수 있다. 그리고 각각의 모드에서 개별적으로 블록 예측을 수행한 후, 최적의 모드를 선택하여, 선택된 최적 모드 정보와 함께 최적 모드로 예측된 블록 픽셀 값을 전송함으로써, 색평면간 픽셀 값 예측의 효율성을 크게 높일 수 있도록 한다.
표2 는 본 발명에 따른 크로마 화면 내 예측 모드에 따른 플래그 명시 기법의 일예를 나타낸다.
표 2
Figure PCTKR2014009222-appb-T000002
표2 에 나타난 바와 같이 플래그는 크로마 화면 내 예측 모드가 LMChroma Mode로 증가되고, LMChroma Mode 내에서도 LPF LMChroma Mode 가 수행될 수 있도록 구성됨에 따라 화면내 예측의 이진화(binarization)시에 표2 의 2열 및 3열에 표시된 바와 같이 LMChroma Mode (prefix : 10)에서 로우 패스 필터링의 수행 여부에 따라 필터링 미적용시에 suffix 0를, 그리고 필터링 적용시에 suffix 1을 추가하여 설정할 수 있다. 즉 기존에는 ECM 모드시에 prefix '10' 비트만을 모드 부호화를 위한 플래그로 사용하였으나, 본 발명에서는 LPF LMChroma Mode를 추가로 사용하기 위해 prefix '10' 비트에 상관 플래그로서 suffix 1 비트를 함께 사용한다. 그러나 플래그의 설정 위치 및 플래그 값은 설정에 따라 다양하게 변경될 수 있다.
도5 는 도3 의 인트라 예측부가 수행하는 부호화를 위한 화면내 예측 방법의 일예를 나타낸다.
도3 을 참조하여 도5 의 화면내 예측 방법을 설명하면, 인트라 예측부(120)은 먼저 영상 부호화 장치(100)에 설정된 예측 모드를 분석한다(S110). 상기한 바와 같이 영상 부호화 장치(100)는 예측 모드로 인터 예측 모드와 인트라 예측 모드를 제공할 수 있으므로, 인트라 예측부(120)가 활성화 되기 위해서는 영상 부호화 장치(100)의 예측 모드가 인트라 예측 모드로 설정되어 있어야 한다. 그러므로 인트라 예측부(120)은 먼저 영상 부호화 장치(100)의 설정을 분석한다. 그리고 분석 결과 설정된 예측 모드가 인트라 예측 모드인지 판별한다(S120). 만일 설정된 예측 모드가 인트라 예측 모드가 아니라면, 즉 인터 예측 모드인 경우라면, 인터 예측 모드를 수행한다. 인터 예측 모드는 인트라 예측부(120)가 수행하는 작업이 아니므로, 인트라 예측부(120)는 어떠한 동작도 수행하지 않는다. 그러나 설정된 예측 모드가 인트라 예측 모드이면, 인트라 예측부(120)의 크로마 예측부(121)는 제공할 수 있는 모든 예측 모드를 이용하여 블록 예측을 수행한다(S130). 도5 에서는 도3 의 크로마 예측부(121)의 구성에 따라 Planar Mode 예측부(PM), Vertical Mode 예측부(VM), Horizontal Mode 예측부(HM) 및 DC Mode 예측부(DC Mode), 및 LMChroma Mode 예측부(LMCM)의 5개의 예측부가 각각 기설정된 대응하는 모드로 예측 블록을 생성한다. 특히 LMChroma Mode 예측부(LMCM)는 우선 상관도 계산부(COC)가 휘도(Luma(G)) 영역과 채도(Chroma(B, G)) 영역 사이의 상관도를 계산한다(S135). 그리고 계산된 상관도가 기설정된 문턱값 미만인지 판별한다(S136). 계산된 상관도가 기설정된 문턱값 미만이면, 휘도(Luma(G)) 영역 블록을 로우패스 필터(LPF)로 전송하고, 로우패스 필터(LPF)는 휘도(Luma(G)) 영역 블록에 대해 로우패스 필터링을 수행한다(S137). 그리고 로우패스 필터링된 휘도(Luma(G)) 영역 블록을 확장 크로마 예측부(ECM)로 전송하여 확장 크로마 기법으로 크로마 영역(B, R)에 대한 예측 블록을 생성한다(S137). 그러나, 계산된 상관도가 기설정된 문턱값 이상이면, 휘도(Luma(G)) 영역 블록을 확장 크로마 예측부(ECM) 로 곧바로 전송하고, 확장 크로마 예측부(ECM)는 로우패스 필터링 되지 않은 휘도(Luma(G)) 영역 블록에 대해 확장 크로마 기법을 적용하여 크로마 영역(B, R)에 대한 예측 블록을 생성한다(S137).
그리고 생성된 예측 블록은 률-왜곡 최적화부(122)에 전송되고, 률-왜곡 최적화부(122)는 예측 블록들의 픽셀값을 분석하여 최적의 모드를 판별한다(S140). 률-왜곡 최적화부(122)에 의해 최적 모드가 판별되면, 모드 선택부(123)는 판별된 최적 모드를 선택한다 (S150). 그리고 선택된 최적 모드에 따라 플래그를 기설정된 방식으로 설정한다(S160). 플래그가 설정되면, 모드 선택부(123)는 설정된 플래그와 선택된 예측 블록을 출력한다(S170).
도6 은 본 발명의 일실시예에 따른 영상 복호화 장치 구조의 일 예를 개략적으로 나타낸 블록도이다.
도6 을 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 및 참조 영상 버퍼(270)를 포함한다.
영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력한다. 인트라 모드인 경우 화면 내 예측 모드를 사용하여 예측 블록을 생성하고 인터 모드인 경우 화면 간 예측 방법을 사용하여 예측 블록을 생성한다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 잔여 블록(residual block)을 얻고 예측 블록을 생성한 후 잔여 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성한다.
엔트로피 복호화부(210)는 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여 양자화된 계수(quantized coefficient)를 출력한다. 양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 잔여 블록(residual block)이 생성된다.
화면 내 예측 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성한다. 이때 특히 본 발명의 인트라 예측부(240)는 입력된 비트스트림의 플래그를 분석하여 플래그가 LMChroma Mode로 설정되어 있다면, 상관 플래그가 LPF LMChroma Mode로 설정되어 있는지 판별한다. 판별 결과 상관 플래그가 LPF LMChroma Mode로 설정되어 있다면, 우선 복호화된 휘도(Luma(G))영역의 고주파수 성분을 로우 패스 필터(LPF)로 제거한다. 그리고 고주파 성분이 제거된 휘도(Luma(G))영역의 픽셀 값을 참조하여 채도(Chroma (B, R)) 영역의 픽셀 값을 예측하는 ECM 기법을 적용한다.
화면 간 예측 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 영상 버퍼(270)에 저장되어 있는 참조영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성한다.
잔여 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 복원 영상은 참조 영상 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.
도7 은 도6 의 인트라 예측부의 일예를 나타낸다.
도7 의 인트라 예측부(240)는 플래그 분석부(241), 모드 선택부(242) 및 크로마 예측부(243)를 포함한다.
플래그 분석부(241)는 비트 스트림에 포함된 플래그를 분석하여 모드 선택부(242)로 분석된 모드를 전송한다. 모드 선택부(242)는 플래그 분석부(241)에서 분석된 모드에 따라 크로마 예측부(243)에 구비된 Planar Mode 예측부(PM), Vertical Mode 예측부(VM), Horizontal Mode 예측부(HM), DC Mode 예측부(DC Mode), 및 LMChroma Mode 예측부(LMCM) 중 하나를 선택하여 활성화하여 수신된 비트 스트림을 활성화된 예측부로 전송한다.
크로마 예측부(243)는 모드 선택부(242)의 선택에 따라 활성화되어 각각 기설정된 방식으로 예측 블록을 생성Planar Mode 예측부(PM), Vertical Mode 예측부(VM), Horizontal Mode 예측부(HM) 및 DC Mode 예측부(DC Mode) 및 LMChroma Mode 예측부(LMCM) 를 구비한다.
특히 LMChroma Mode 예측부(LMCM)는 상관 플래그의 설정에 따라 휘도(Luma(G)) 영역의 픽셀 값을 그대로 참조하여 채도(Chroma (B, R)) 영역의 픽셀 값을 예측하거나, 복호화된 휘도(Luma(G)) 영역의 고주파수 성분을 로우 패스 필터(LPF)로 제거한 후 고주파 성분이 제거된 휘도(Luma(G))영역의 픽셀 값을 참조하여 채도(Chroma (B, R)) 영역의 픽셀 값을 예측하는 LPF LMChroma mode로 동작할 수도 있다.
표3 은 본 발명에 따른 LPF LMChroma Mode의 성능을 표 1의 8개의 RGB 실험 영상의 첫번째 프레임에 적용하여 분석한 결과를 나타낸다. 표3 은 HM10.0_RExt2.0 프로그램을 이용하였으며, 실험 변수 설정은 HEVC Range Extension Common test condition(D. Flynn, K. Sharman, "Common test conditions and software reference configurations for HEVC range extensions", JCTVC-L1006, 12th Meeting, Geneva, Switzerland, Jan. 2013. )을 적용하였다. 그리고 표1 의 RGB 4:4:4 8개의 테스트 영상을 이용하여 All-Intra(AI) 모드에서 제안하는 알고리즘 기법의 성능을 실험하였으며, 이 실험에서, LPF는 2D-separable LPF(ho=[1 2 1]/4)를 사용하였다. 표3 에 나타난 바와 같이 비교 대상인 LMChroma에 비해 본 발명에서 제안한 크로마 화면 내 예측 모드를 수행하는 경우에 All Intra HE Super-High-tier에서 기존의 LMChroma Mode인 ECM에 비해 G, B, R 색평면에서 평균 0.4%, 0.6%, 0.8%의 비트율 이득(Bitrate-gain)이 있어, 전체적으로 평균 0.6%의 비트율 이득(Bitrate-gain)을 얻을 수 있다. 그리고 부호화 속도는 8%, 복호화 속도는 1% 증가하였다. 특히 속도 증가에 가장 민감한 복호화 속도(복잡도)가 1%만 증가하므로, 결과적으로 본 발명에서 제안하는 기법은 부호화 및 복호화 속도가 거의 증가하지 않는 동시에 평균 0.6%의 비트율 이득을 얻을 수 있기 때문에 효율적인 기법이라 할 수 있다.
표 3
Figure PCTKR2014009222-appb-T000003
도8 은 도7 의 LMCM의 상세 구성을 나타낸다.
도8 에서 LMChroma Mode 예측부(LMCM)는 상관 플래그 판별부(CFA), 로우 패스 필터(LPF) 및 확장 크로마 예측부(ECM)을 포함한다. 상관 플래그 판별부(CFA)는 부호화된 휘도(Luma(G)) 영역의 블록을 수신하고, 플래그 분석부(241)에서 분석한 플래그에서 상관 플래그가 설정되어 있는지 여부를 판별한다. 만일 상관 플래그가 설정되어 있지 않으면, 휘도(Luma(G)) 영역 블록을 확장 크로마 예측부(ECM) 로 곧바로 전송하고, 상관 플래그가 설정되어 있으면, 휘도(Luma(G)) 영역 블록을 로우패스 필터(LPF)로 전송한다.
로우패스 필터(LPF)는 휘도(Luma(G)) 영역 블록을 수신하고, 휘도(Luma(G)) 영역 블록의 픽셀 값들을 로우패스 필터링하여 확장 크로마 예측부(ECM)로 전송한다.
확장 크로마 예측부(ECM)는 상관 플래그 판별부(CFA) 또는 로우패스 필터(LPF)에서 전송되는 휘도(Luma(G)) 영역 블록의 픽셀 값들에 수학식 1의 ECM 기법을적용하여 채도(Chroma(B, G)) 영역 블록의 픽셀 값을 예측한다.
따라서 도8 의 LMChroma Mode 예측부(LMCM)는 상관 플래그의 설정값에 값에 따라 기존의 LMChroma Mode 와 동일하게 동작할 수도 있으나, 로우 패스 필터(LPF)를 적용하여 휘도(Luma(G)) 영역 블록에서 고주파수 성분을 제거한 후, LMChroma Mode를 수행하여 픽셀값을 예측할 수도 있다.
상기에서는 설명의 편의를 위하여 상관 플래그 판별부(CFA)가 LMChroma Mode 예측부(LMCM)에 포함되는 것으로 설명하였으나, 상관 플래그 판별부(CFA)는 플래그 분석부(241)에 포함될 수도 있다. 상관 플래그 판별부(CFA)가 플래그 분석부(241)에 포함되는 경우, 모드 선택부(242)는 플래그 분석부(241)에서 분석한 상관 플래그에 따라 휘도(Luma(G)) 영역 블록을 LMChroma Mode 예측부(LMCM)내의 로우 패스 필터(LPF) 또는 확장 크로마 예측부(ECM) 중 하나로 전송할 수 있다.
도9 는 도7 의 인트라 예측부가 수행하는 복호화를 위한 화면내 예측 방법의 일예를 나타낸다.
도7 을 참조하여 도9 를 설명하면, 영상 복호화 장치(200)의 인트라 예측부(240)는 영상 복호화 장치(200)에 설정된 예측 모드를 분석한다(S210). 그리고 분석된 예측 모드가 인트라 예측 모드인지 판별한다(S220). 만일 설정된 예측 모드가 인트라 예측 모드가 아니면, 인터 예측 모드이므로, 인트라 예측부(240)는 활성화 되지 않고, 종료한다. 그러나 인트라 예측 모드이면, 비트스트림을 수신하고, 수신된 비트 스트림의 플래그를 분석한다(S230). 플래그 분석을 통해 비트 스트림에 설정된 플래그가 LMChroma Mode 인지 판별한다(S240). 만일 설정된 플래그가 LMChroma Mode가 아니면, 설정된 플래그에 대응하는 모드로 예측 블록을 생성한다(S270). 그러나 설정된 플래그가 LMChroma Mode이면 상관 플래그가 설정되어 있는지 판별한다(S250). 판별 결과, 상관 플래그가 설정되어 있으면, 휘도 영역(G)에 대해 로우 패스 필터링을 수행한다(S260). 그리고 로우 패스 필터링된 휘도(G) 영역의 색평면을 이용하여 크로마 영역(B, R)에 대한 예측 블록을 생성한다(S270). 그러나 상관 플래그가 설정되어 있지 않으면, 로우패스 필터링을 수행하지 않고, 휘도(G) 영역의 색평면을 이용하여 크로마 영역(B, R)에 대한 예측 블록을 생성한다(S270). 이후 생성된 예측 블록을 출력한다(S280).
상기한 바와 같이, 본 발명에 따른 영상 부호화 및 복호화 방법, 장치 및 시스템은 인트라 예측 시에 휘도(Luma (또는 G))영역의 픽셀 값을 참조하여 채도(Chroma (또는 B, R)) 영역의 픽셀 값을 예측하는 확장 크로마 모드에서 색 평면간 상관도에 따라 로우 패스 필터링을 선택적으로 적용한 후 LMChroma Mode가 ECM 기법을 적용할 수 있도록 함으로써, 부호화 성능을 높일 수 있다.
본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (17)

  1. 입력 영상을 인가받고, 인트라 예측 수행 시에 상기 입력 영상에서 휘도 영역 블록과 채도 영역 블록 사이의 상관도를 계산하고, 계산된 상관도에 따라 부호화가 완료된 상기 휘도 영역 블록의 픽셀 값을 로우패스 필터링하여 고주파 성분을 제거한 후, 고주파 성분이 제거된 상기 휘도 영역 블록의 픽셀 값에 대해, 확장 크로마 모드 기법인 LMChroma Mode를 적용하여 채도 영역의 예측 블록을 생성하는 인트라 예측부를 포함하는 영상 부호화 장치.
  2. 제1 항에 있어서, 상기 인트라 예측부는
    상기 입력 영상의 부호화된 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 LMChroma Mode를 적용하여 상기 예측 블록을 생성하는 LMChroma Mode 예측부를 포함하는 기설정된 복수개의 모드 예측부를 구비하고, 복수개의 모드 예측부 각각에서 인트라 예측을 수행하여 복수개의 예측 블록을 생성하는 크로마 예측부;
    상기 복수개의 예측 블록을 수신하고, 상기 복수개의 예측 블록 중 최적의 예측 블록을 기설정된 방식으로 판별하는 률-왜곡 최적화부; 및
    상기 복수개의 모드 중 상기 최적의 예측 블록을 생성하는 모드에 대응하는 플래그를 설정하여 상기 최적의 예측 블록과 함께 출력하는 모드 선택부; 를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  3. 제2 항에 있어서, 상기 LMChroma Mode 예측부는
    상기 입력 영상에서 상기 휘도 영역 블록과 상기 채도 영역 블록 사이의 상관도를 계산하고, 상기 상관도가 기설정된 문턱값 미만인지 판별하는 상관도 계산부;
    상기 상관도가 기설정된 문턱값 미만이면, 상기 휘도 영역 블록의 픽셀 값을 로우패스 필터링하는 로우패스 필터; 및
    상기 상관도가 상기 문턱값 이상이면, 상기 상관도 계산부에서 인가되는 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 LMChroma Mode를 적용하여 상기 예측 블록을 생성하고, 상기 상관도가 문턱값 미만이면, 상기 로우패스 필터에서 로우패스 필터링된 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 LMChroma Mode를 적용하여 상기 예측 블록을 생성하는 확장 크로마 예측부; 를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  4. 제3 항에 있어서, 상기 크로마 예측부는
    상기 상관도가 문턱값 미만인 경우에, 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 로우패스 필터에 의한 로우패스 필터링하여, 상기 로우 패스 필터링된 상기 휘도 영역 블록의 픽셀 값을 수학식
    Figure PCTKR2014009222-appb-I000005
    에 따라 계산하고,
    상기 로우 패스 필터링된 상기 휘도 영역 블록의 픽셀 값에 상기 LMChroma Mode를 적용하여 수학식
    Figure PCTKR2014009222-appb-I000006
    (여기서
    Figure PCTKR2014009222-appb-I000007
    는 로우 패스 필터링된 상기 휘도 영역 블록의 픽셀 값을 나타내며, α와 β는 부호화하고자 하는 상기 채도 영역 블록 주변의 픽셀값과 동일한 위치의 상기 휘도 블록의 픽셀 값들을 이용하여 계산되는 가중치)
    에 따라 상기 예측 블록을 생성하는 것을 특징으로 하는 영상 부호화 장치.
  5. 제3 항에 있어서, 상기 모드 선택부는
    상기 플래그를 설정 시에, 상기 플래그에 로우패스 필터링 수행 여부를 나타내는 상관 플래그를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  6. 비트스트림을 수신하고, 인트라 예측 수행 시에 상기 비트스트림에 포함된 플래그를 분석하고, 분석된 플래그의 상관 플래그 설정에 따라 선택적으로 휘도 영역 블록의 픽셀 값을 로우패스 필터링하여 고주파 성분을 제거하고, 고주파 성분이 제거된 상기 휘도 영역 블록의 픽셀 값에 대해, 확장 크로마 모드 기법인 LMChroma Mode를 적용하여 채도 영역의 예측 블록을 생성하는 인트라 예측부를 포함하는 영상 복호화 장치.
  7. 제6 항에 있어서, 상기 인트라 예측부는
    상기 비트 스트림에 설정된 플래그를 분석하는 플래그 분석부;
    상기 분석된 플래그에 기초하여 상기 LMChroma Mode 를 포함하는 기설정된 복수개의 모드 중 인트라 예측을 수행할 모드를 선택하는 모드 선택부; 및
    상기 휘도 영역 블록의 픽셀 값들에 대해 상기 LMChroma Mode를 적용하여 상기 예측 블록을 생성하는 LMChroma Mode 예측부를 포함하는 기설정된 복수개의 모드 예측부를 구비하고, 복수개의 모드 예측부 각각에서 인트라 예측을 수행하여 복수개의 예측 블록을 생성하는 크로마 예측부; 를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  8. 제7 항에 있어서, 상기 LMChroma Mode 예측부는
    상기 플래그 분석부에서 분석된 플래그 중 상관 플래그의 설정 여부를 판별하는 상관 플래그 판별부;
    상기 상관 플래그가 설정되어 있으면, 상기 휘도 영역 블록을 수신하고, 상기 휘도 영역 블록의 픽셀 값을 로우패스 필터링하여 고주파 성분을 제거하는 로우패스 필터; 및
    상기 상관 플래그가 설정되어 있지 않으면, 상기 플래그 분석부에서 인가되는 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 LMChroma Mode를 적용하여 상기 예측 블록을 생성하고, 상기 상관 플래그가 설정되어 있으면, 상기 로우패스 필터에서 로우패스 필터링된 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 LMChroma Mode를 적용하여 상기 예측 블록을 생성하는 확장 크로마 예측부; 를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  9. 제8 항에 있어서, 상기 크로마 예측부는
    상기 상관 플래그가 설정되어 있으면, 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 로우패스 필터에 의한 로우패스 필터링하여, 상기 로우 패스 필터링된 상기 휘도 영역 블록의 픽셀 값을 수학식
    Figure PCTKR2014009222-appb-I000008
    에 따라 계산하고,
    상기 로우 패스 필터링된 상기 휘도 영역 블록의 픽셀 값에 상기 LMChroma Mode를 적용하여 수학식
    Figure PCTKR2014009222-appb-I000009
    (여기서
    Figure PCTKR2014009222-appb-I000010
    는 로우 패스 필터링된 상기 휘도 영역 블록의 픽셀 값을 나타내며, α와 β는 부호화하고자 하는 상기 채도 영역 블록 주변의 픽셀값과 동일한 위치의 상기 휘도 블록의 픽셀 값들을 이용하여 계산되는 가중치)
    에 따라 상기 예측 블록을 생성하는 것을 특징으로 하는 영상 복호화 장치.
  10. 입력 영상을 인가받고, 상기 입력 영상에 대해 인트라 예측을 통해 부호화하여 비트 스트림을 출력하는 영상 부호화 장치의 영상 부호화 방법에 있어서,
    상기 영상 부호화 장치가 인트라 예측 수행 시에 상기 입력 영상에서 휘도 영역 블록과 채도 영역 블록 사이의 상관도를 계산하는 단계;
    상기 상관도가 기설정된 문턱값 미만이면, 부호화가 완료된 상기 휘도 영역 블록의 픽셀 값을 로우패스 필터링하여 고주파 성분을 제거하는 단계;
    상기 상관도가 문턱값 미만이면, 로우패스 필터링된 상기 휘도 영역 블록의 픽셀 값들에 대해 확장 크로마 모드 기법인 LMChroma Mode를 적용하여 예측 블록을 생성하고, 상기 상관도가 문턱값 이상이면, 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 LMChroma Mode를 적용하여 예측 블록을 생성하는 단계; 및
    상기 예측 블록을 이용하여 색평면 사이의 상관관계가 높은 RGB 영상의 비트 스트림을 생성하여 출력하는 단계; 를 포함하는 영상 부호화 방법.
  11. 제10 항에 있어서, 상기 예측 블록을 생성하는 단계는
    상기 입력 영상의 상기 휘도 영역의 픽셀 값들에 대해 상기 LMChroma Mode를 포함하는 기설정된 복수개의 모드 각각으로 인트라 예측을 수행하는 단계;
    상기 복수개의 예측 블록 중 최적의 예측 블록을 기설정된 방식으로 판별하는 단계; 및
    상기 복수개의 모드 중 상기 최적의 예측 블록을 생성하는 모드에 대응하는 플래그를 설정하여 상기 최적의 예측 블록과 함께 출력하는 단계; 를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  12. 제10 항 내지 제11 항 중 어느 한 항에 따른 상기 영상 부호화 방법을 수행하기 위한 컴퓨터로 판독 가능한 프로그램을 기록한 기록 매체.
  13. 비트 스트림을 수신하고, 상기 비트스트림에 대해 인트라 예측을 통해 복호화하여 복원 영상을 출력하는 영상 복호화 장치의 영상 복호화 방법에 있어서,
    상기 영상 복호화 장치가 상기 비트스트림을 수신하여, 휘도 영역 블록을 획득하는 단계;
    상기 비트스트림에 포함된 플래그를 획득하고 분석하여, 기설정된 복수개의 모드 중 인트라 예측을 수행할 모드를 선택하는 단계;
    분석된 상기 플래그에 의해 선택된 모드가 LMChroma Mode이면, 상기 플래그에 포함된 상관 플래그의 설정을 분석하는 단계;
    상기 상관 플래그가 설정되어 있으면, 상기 휘도 영역 블록의 픽셀 값을 로우패스 필터링하여 고주파 성분을 제거하는 단계;
    상기 상관 플래그가 설정되어 있으면, 로우패스 필터링된 상기 휘도 영역 블록의 픽셀 값들에 대해 확장 크로마 모드 기법인 LMChroma Mode를 적용하여 예측 블록을 생성하고, 상기 상관 플래그가 설정되어 있지 않으면, 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 LMChroma Mode를 적용하여 예측 블록을 생성하는 단계; 및
    상기 예측 블록을 이용하여 상기 복원 영상을 출력하는 단계; 를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  14. 제13 항에 따른 상기 영상 복호화 방법을 수행하기 위한 컴퓨터로 판독 가능한 프로그램을 기록한 기록 매체.
  15. 입력 영상을 인가받고, 인트라 예측 수행 시에 상기 입력 영상에서 휘도 영역 블록과 채도 영역 블록 사이의 상관도를 계산하고, 계산된 상관도에 따라 부호화가 완료된 상기 휘도 영역 블록의 픽셀 값을 로우패스 필터링하여 고주파 성분을 제거한 후, 고주파 성분이 제거된 상기 휘도 영역 블록의 픽셀 값에 대해, 확장 크로마 모드 기법인 LMChroma Mode를 적용하여 채도 영역의 예측 블록을 생성하며, 상기 예측 블록을 이용하여 색평면 사이의 상관관계가 높은 RGB 영상의 비트 스트림을 생성하여 출력하는 영상 부호화 장치; 및
    상기 비트스트림을 수신하고, 상기 인트라 예측 수행 시에 상기 비트스트림에 포함된 플래그를 분석하고, 분석된 플래그의 상관 플래그 설정에 따라 선택적으로 휘도 영역 블록의 픽셀 값을 로우패스 필터링하여 고주파 성분을 제거하고, 고주파 성분이 제거된 상기 휘도 영역 블록의 픽셀 값에 대해, 확장 크로마 모드 기법인 LMChroma Mode를 적용하여 채도 영역의 예측 블록을 생성하며, 상기 예측 블록을 이용하여 복원 영상을 출력하는 영상 복호화 장치; 를 포함하는 영상 시스템.
  16. 제15 항에 있어서, 상기 영상 부호화 장치는
    상기 입력 영상의 부호화된 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 LMChroma Mode를 적용하여 상기 예측 블록을 생성하는 LMChroma Mode 예측부를 포함하는 기설정된 복수개의 모드 예측부를 구비하고, 복수개의 모드 예측부 각각에서 인트라 예측을 수행하여 복수개의 예측 블록을 생성하는 크로마 예측부;
    상기 복수개의 예측 블록을 수신하고, 상기 복수개의 예측 블록 중 최적의 예측 블록을 기설정된 방식으로 판별하는 률-왜곡 최적화부; 및
    상기 복수개의 모드 중 상기 최적의 예측 블록을 생성하는 모드에 대응하는 플래그를 설정하여 상기 최적의 예측 블록과 함께 출력하는 모드 선택부; 를 구비하는 인트라 예측부를 포함하는 것을 특징으로 하는 영상 시스템.
  17. 제16 항에 있어서, 상기 LMChroma Mode 예측부는
    상기 입력 영상에서 상기 휘도 영역 블록과 상기 채도 영역 블록 사이의 상관도를 계산하고, 상기 상관도가 기설정된 문턱값 미만인지 판별하는 상관도 계산부;
    상기 상관도가 기설정된 문턱값 미만이면, 상기 휘도 영역 블록의 픽셀 값을 로우패스 필터링하는 로우패스 필터; 및
    상기 상관도가 상기 문턱값 이상이면, 상기 상관도 계산부에서 인가되는 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 LMChroma Mode를 적용하여 상기 예측 블록을 생성하고, 상기 상관도가 문턱값 미만이면, 상기 로우패스 필터에서 로우패스 필터링된 상기 휘도 영역 블록의 픽셀 값들에 대해 상기 LMChroma Mode를 적용하여 상기 예측 블록을 생성하는 확장 크로마 예측부; 를 포함하는 것을 특징으로 하는 영상 시스템.
PCT/KR2014/009222 2013-12-03 2014-09-30 영상 부호화 및 복호화 방법, 장치 및 시스템 WO2015083929A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/101,780 US10158882B2 (en) 2013-12-03 2014-09-30 Method, apparatus, and system for encoding and decoding image
US16/193,406 US10798413B2 (en) 2013-12-03 2018-11-16 Method, apparatus, and system for encoding and decoding image
US16/990,532 US11425419B2 (en) 2013-12-03 2020-08-11 Method, apparatus, and system for encoding and decoding image using LM chroma prediction
US17/865,551 US20230043350A1 (en) 2013-12-03 2022-07-15 Method, apparatus, and system for encoding and decoding image using lm chroma prediction

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0149075 2013-12-03
KR1020130149075A KR101530782B1 (ko) 2013-12-03 2013-12-03 영상 부호화 및 복호화 방법, 장치 및 시스템

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/101,780 A-371-Of-International US10158882B2 (en) 2013-12-03 2014-09-30 Method, apparatus, and system for encoding and decoding image
US16/193,406 Continuation US10798413B2 (en) 2013-12-03 2018-11-16 Method, apparatus, and system for encoding and decoding image

Publications (1)

Publication Number Publication Date
WO2015083929A1 true WO2015083929A1 (ko) 2015-06-11

Family

ID=53273651

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/009222 WO2015083929A1 (ko) 2013-12-03 2014-09-30 영상 부호화 및 복호화 방법, 장치 및 시스템

Country Status (3)

Country Link
US (4) US10158882B2 (ko)
KR (1) KR101530782B1 (ko)
WO (1) WO2015083929A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024016775A1 (zh) * 2022-07-19 2024-01-25 腾讯科技（深圳）有限公司 数据处理方法、装置、设备

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2013003679A (es) * 2010-10-01 2013-08-12 Samsung Electronics Co Ltd Metodo y aparato de intraprediccion de imagen.
US10971896B2 (en) 2013-04-29 2021-04-06 Nuburu, Inc. Applications, methods and systems for a laser deliver addressable array
US10562132B2 (en) 2013-04-29 2020-02-18 Nuburu, Inc. Applications, methods and systems for materials processing with visible raman laser
KR101530774B1 (ko) 2013-09-30 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
KR101530782B1 (ko) 2013-12-03 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
US11646549B2 (en) 2014-08-27 2023-05-09 Nuburu, Inc. Multi kW class blue laser system
KR20180059482A (ko) * 2015-10-22 2018-06-04 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
US11612957B2 (en) 2016-04-29 2023-03-28 Nuburu, Inc. Methods and systems for welding copper and other metals using blue lasers
WO2017189982A1 (en) 2016-04-29 2017-11-02 Nuburu, Inc. Visible laser additive manufacturing
US11503315B2 (en) 2016-08-19 2022-11-15 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal using intra prediction filtering
JP6911153B2 (ja) 2017-01-31 2021-07-28 ヌブル インク 青色レーザーを使用して銅を溶接するための方法及びシステム
WO2018195510A1 (en) 2017-04-21 2018-10-25 Nuburu, Inc. Multi-clad optical fiber
CN110999000B (zh) 2017-06-13 2021-10-08 努布鲁有限公司 高密集波长束组合激光系统
WO2019125093A1 (ko) 2017-12-22 2019-06-27 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
US11418803B2 (en) 2018-04-01 2022-08-16 Lg Electronics Inc. Intra-prediction-based image coding method and device therefor
WO2019206115A1 (en) * 2018-04-24 2019-10-31 Mediatek Inc. Method and apparatus for restricted linear model parameter derivation in video coding
CN117031615A (zh) 2018-05-04 2023-11-10 努布鲁有限公司 三包层光纤
WO2020107030A1 (en) 2018-11-23 2020-05-28 Nuburu, Inc Multi-wavelength visible laser source
CA3127651A1 (en) 2019-02-02 2020-08-06 Nuburu, Inc. High reliability, high power, high brightness blue laser diode systems and methods of making the same
CN113099221B (zh) * 2021-02-22 2023-06-02 浙江大华技术股份有限公司 跨分量样点自适应补偿方法、编码方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980074795A (ko) * 1997-03-27 1998-11-05 윤종용 전역 기반 색도 상관성을 이용한 영상 부호화 방법
KR20070072327A (ko) * 2005-12-30 2007-07-04 삼성전자주식회사 영상 부호화 및 복호화 장치 및 그 방법
KR20120003147A (ko) * 2010-07-02 2012-01-10 삼성전자주식회사 루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치
JP4989048B2 (ja) * 2004-07-12 2012-08-01 マイクロソフト コーポレーション ３ｄサブバンド符号化のための組み込み基本レイヤコーデック

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227585B1 (en) * 2003-12-30 2007-06-05 Conexant Systems, Inc. Luminance and chrominance separation system
JP2007148500A (ja) 2005-11-24 2007-06-14 Olympus Corp 画像処理装置および画像処理方法
KR101349836B1 (ko) 2006-11-17 2014-01-10 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
KR20070007232A (ko) 2006-12-20 2007-01-15 양중규 케이블접지크립
US8432411B2 (en) * 2007-05-18 2013-04-30 Pure Depth Limited Method and system for improving display quality of a multi-component display
JP5053802B2 (ja) 2007-11-05 2012-10-24 オリンパス株式会社 信号処理装置及び信号処理プログラム
US8369638B2 (en) * 2008-05-27 2013-02-05 Microsoft Corporation Reducing DC leakage in HD photo transform
KR20120000314A (ko) 2010-06-25 2012-01-02 김대을 원터치 개봉수단이 구비된 병뚜껑
KR20120004128A (ko) 2010-07-06 2012-01-12 에스케이텔레시스 주식회사 이동 단말기
KR101663764B1 (ko) 2010-08-26 2016-10-07 에스케이 텔레콤주식회사 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
MX2013003679A (es) 2010-10-01 2013-08-12 Samsung Electronics Co Ltd Metodo y aparato de intraprediccion de imagen.
KR101263090B1 (ko) 2010-11-08 2013-05-09 성균관대학교산학협력단 다단계 예측을 이용한 영상 부/복호화 방법 및 이러한 방법을 사용하는 부/복호화 장치
HRP20221483T1 (hr) * 2011-03-06 2023-02-03 Lg Electronics Inc. Postupak intra predviđanja za blokove krominancije
US9288500B2 (en) * 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
US9693070B2 (en) * 2011-06-24 2017-06-27 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
KR101756843B1 (ko) * 2011-06-28 2017-07-11 삼성전자주식회사 휘도 성분 영상을 이용한 색차 성분 영상의 예측 방법 및 예측 장치
US9948938B2 (en) * 2011-07-21 2018-04-17 Texas Instruments Incorporated Methods and systems for chroma residual data prediction
KR20130049526A (ko) * 2011-11-04 2013-05-14 오수미 복원 블록 생성 방법
KR101647344B1 (ko) 2011-12-30 2016-08-10 광주과학기술원 깊이 영상 부호화 방법 및 장치
US20150003524A1 (en) * 2012-01-13 2015-01-01 Sharp Kabushiki Kaisha Image decoding device, image encoding device, and data structure of encoded data
CN104380741B (zh) 2012-01-19 2018-06-05 华为技术有限公司 用于lm帧内预测的参考像素缩减
CN103220508B (zh) 2012-01-20 2014-06-11 华为技术有限公司 编解码方法和装置
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
CN104380745B (zh) * 2012-06-22 2018-04-27 联发科技股份有限公司 图层间与视图间自适应帧内预测方法及其装置
US20140078394A1 (en) * 2012-09-17 2014-03-20 General Instrument Corporation Selective use of chroma interpolation filters in luma interpolation process
KR101369174B1 (ko) 2013-03-20 2014-03-10 에스케이텔레콤 주식회사 고해상도 동영상의 부호화/복호화 방법 및 장치
KR101530774B1 (ko) 2013-09-30 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
KR101530782B1 (ko) 2013-12-03 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980074795A (ko) * 1997-03-27 1998-11-05 윤종용 전역 기반 색도 상관성을 이용한 영상 부호화 방법
JP4989048B2 (ja) * 2004-07-12 2012-08-01 マイクロソフト コーポレーション ３ｄサブバンド符号化のための組み込み基本レイヤコーデック
KR20070072327A (ko) * 2005-12-30 2007-07-04 삼성전자주식회사 영상 부호화 및 복호화 장치 및 그 방법
KR20120003147A (ko) * 2010-07-02 2012-01-10 삼성전자주식회사 루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAN, CHAN HUI: "Development of HEVC Based Coding Tools for Efficient Screen Content Coding", DOCTORAL THESIS, February 2013 (2013-02-01) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024016775A1 (zh) * 2022-07-19 2024-01-25 腾讯科技（深圳）有限公司 数据处理方法、装置、设备

Also Published As

Publication number Publication date
US20160309184A1 (en) 2016-10-20
KR20150064406A (ko) 2015-06-11
US20230043350A1 (en) 2023-02-09
US11425419B2 (en) 2022-08-23
US20190089983A1 (en) 2019-03-21
US10798413B2 (en) 2020-10-06
KR101530782B1 (ko) 2015-06-22
US10158882B2 (en) 2018-12-18
US20200374557A1 (en) 2020-11-26

Similar Documents

Publication Publication Date Title
WO2015083929A1 (ko) 영상 부호화 및 복호화 방법, 장치 및 시스템
WO2015047039A1 (ko) 영상 부호화 및 복호화 방법, 장치 및 시스템
WO2013070006A1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
WO2012057528A2 (ko) 적응적 화면내 예측 부호화 및 복호화 방법
WO2013069932A1 (ko) 영상의 부호화 방법 및 장치, 및 복호화 방법 및 장치
WO2016204360A1 (ko) 영상 코딩 시스템에서 조도 보상에 기반한 블록 예측 방법 및 장치
WO2012144876A2 (ko) 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
WO2013062191A1 (ko) 인트라 예측 모드에서의 영상 부호화 방법 및 장치
WO2010039000A2 (ko) 예측 모드를 이용한 영상 부호화 장치 및 복호화 장치
WO2013141671A1 (ko) 인터 레이어 인트라 예측 방법 및 장치
WO2013002550A2 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
WO2011037337A2 (ko) 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
WO2017043766A1 (ko) 비디오 부호화, 복호화 방법 및 장치
WO2018212430A1 (ko) 영상 코딩 시스템에서 주파수 도메인 필터링 방법 및 그 장치
WO2018074626A1 (ko) 적응적 보간 필터를 사용하는 비디오 코딩 방법 및 장치
WO2011090352A2 (ko) 영역 기반의 부호화/복호화 장치 및 방법
WO2011071254A2 (ko) 쌍예측을 이용한 멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체
WO2018070568A1 (ko) 복호화기 기반의 화면 내 예측 모드 추출 기술을 사용하는 비디오 코딩 방법 및 장치
WO2019135628A1 (ko) 영상을 부호화 또는 복호화하는 방법 및 장치
WO2016024826A1 (en) In-loop filtering in video coding
JP2006270851A (ja) 画像符号化装置及び画像復号装置
WO2014084671A2 (ko) 트랜스폼을 이용한 영상 부호화/복호화 방법 및 장치
WO2012047047A2 (ko) 고정밀 필터를 이용한 영상 부호화/복호화 방법 및 장치
WO2018124855A1 (ko) 화면 간 예측을 이용한 영상 복호화 방법 및 장치
WO2023200101A1 (ko) 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14868393

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15101780

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 14868393

Country of ref document: EP

Kind code of ref document: A1