KR20150048637A - Method and apparatus for inter color component prediction - Google Patents

Method and apparatus for inter color component prediction Download PDF

Info

Publication number
KR20150048637A
KR20150048637A KR1020140141035A KR20140141035A KR20150048637A KR 20150048637 A KR20150048637 A KR 20150048637A KR 1020140141035 A KR1020140141035 A KR 1020140141035A KR 20140141035 A KR20140141035 A KR 20140141035A KR 20150048637 A KR20150048637 A KR 20150048637A
Authority
KR
South Korea
Prior art keywords
color component
unit
component
block
color
Prior art date
Application number
KR1020140141035A
Other languages
Korean (ko)
Inventor
임성창
정세윤
김종호
김휘용
이대열
조숙희
최진수
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/525,626 priority Critical patent/US9788000B2/en
Publication of KR20150048637A publication Critical patent/KR20150048637A/en
Priority to US15/694,569 priority patent/US10205952B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

The present invention comprises the following units: a residual block acquisition unit which acquires input blocks and residual blocks of first and second color components; an inter-color component prediction unit which predicts color components by generating residual signals from the difference between the residual blocks of the first and second color components; a conversion unit which generates a conversion coefficient by converting the residual signals; a quantization unit which generates quantized data on the converted coefficient; and a video encoding device which performs inter-color component prediction, and includes an entropy encoding unit outputting bit stream by encoding on the quantized data.

Description

색 성분 간 예측 방법 및 장치{METHOD AND APPARATUS FOR INTER COLOR COMPONENT PREDICTION}TECHNICAL FIELD The present invention relates to a method and apparatus for predicting inter-

본 발명은 영상 부호화/복호화 방법 및 이를 이용하는 장치에 관한 것으로서, 보다 상세하게는 색 성분 간 예측을 이용한 영상 부호화/복호화 방법 및 이를 이용한 장치에 관한 것이다.
The present invention relates to an image encoding / decoding method and apparatus using the same, and more particularly, to an image encoding / decoding method using intercolor inter-prediction and an apparatus using the same.

정보 통신 산업의 지속적인 발달은 HD(High Definition) 해상도를 가지는 방송 서비스의 세계적인 확산을 야기시켰다. 이에, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지게 되었으며, 사용자들의 높은 화질에 대한 수요를 만족시키기 위하여, 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한, HDTV뿐만 아니라, FHD(Full HD) 및 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서, 보다 높은 해상도, 고화질의 영상에 대한 영상 부호화/복호화 기술이 요구되고 있다.The continuous development of the information and telecommunication industry has led to the worldwide spread of broadcasting services with HD (High Definition) resolution. Accordingly, many users have become accustomed to high-resolution and high-definition video and many organizations are spurring development of next generation video equipment in order to satisfy the demand for high image quality of users. In addition, not only HDTV but also FHD (Full HD) and UHD (Ultra High Definition) having resolution higher than 4 times of HDTV have been increased in interest, and image encoding / decoding technology for higher resolution and higher image quality is required have.

영상 부호화/복호화 장치 및 방법은 보다 높은 해상도 및 고화질의 영상에 대한 부호화/복호화를 수행하기 위해, 시간적으로 이전 및/또는 이후의 픽쳐로부터 현재 픽쳐에 포함된 픽셀값을 예측하는 인터(inter) 예측 기술, 현재 픽쳐 내의 픽셀 정보를 이용하여 현재 픽쳐에 포함된 픽셀값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등을 사용할 수 있다.An apparatus and method for encoding / decoding an image includes an inter prediction unit for predicting a pixel value included in a current picture from temporally preceding and / or following pictures to perform coding / decoding on a higher resolution and high- An intra prediction technique for predicting a pixel value included in a current picture using pixel information in the current picture, an intra prediction technique for assigning a short code to a symbol having a high appearance frequency and a long code for a symbol having a low appearance frequency And an entropy encoding technique to be used.

하지만, 종래의 경우, 영상 부호화/복호화 장치 및 방법은 색 성분 간 상관관계에 대한 고려를 하지 않았으며, 이로 인해, 종래의 영상 부호화/복호화 장치 및 방법은 영상 부호화/복호화 효율의 저하를 야기했다.
However, in the related art, image encoding / decoding apparatuses and methods have not considered correlation between color components, and thus, conventional image encoding / decoding apparatuses and methods have caused degradation of image encoding / decoding efficiency .

본 발명은 색 성분 간 상관 관계에 대해 고려하여, 영상 부호화/복호화 효율을 향상시키는 장치 및 방법을 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide an apparatus and method for enhancing image encoding / decoding efficiency by considering correlation between color components.

본 발명은 또한, 선택적으로 색 성분 간 예측을 수행하여, 영상 부호화 효율을 향상시키는 장치 및 방법을 제공하는 것을 목적으로 한다.It is another object of the present invention to provide an apparatus and method for enhancing image coding efficiency by selectively performing inter-color component prediction.

본 발명은 또한, 선택적으로 색 성분 간 보상을 수행하여, 영상 복호화 효율을 향상시키는 장치 및 방법을 제공하는 것을 목적으로 한다.
It is another object of the present invention to provide an apparatus and method for selectively performing inter-color component compensation to improve image decoding efficiency.

본 발명의 일 실시예에 따르면, 입력 블록과 제1 색 성분에 대한 예측 블록의 차분으로부터 제1 색 성분에 대한 잔여 블록을 획득하고, 입력 블록과 제2 색 성분에 대한 예측 블록의 차분으로부터 제2 색 성분에 대한 잔여 블록을 획득하는 잔여 블록 획득부; 상기 제1 색 성분에 대한 잔여 블록과 상기 제2 색 성분에 대한 잔여 블록의 차분인 잔여 신호를 생성하는 색 성분 간 예측부; 상기 잔여 신호에 대해 변환을 하여, 변환 계수를 생성하는 변환부; 상기 변환 계수에 대해 양자화하여, 양자화된 데이터를 생성하는 양자화부; 및 상기 양자화된 데이터에 대해 엔트로피 부호화하여, 비트스트림을 출력하는 엔트로피 부호화부를 포함하는 색 성분 간 예측을 수행하는 영상 부호화 장치를 제공한다.According to an embodiment of the present invention, a residual block for a first color component is obtained from a difference between an input block and a prediction block for a first color component, and a residual block from a difference between the input block and a prediction block for a second color component A residual block obtaining unit for obtaining a residual block for the two color components; An inter-color predictor for generating a residual signal that is a difference between a residual block for the first color component and a residual block for the second color component; A conversion unit for converting the residual signal to generate a conversion coefficient; A quantization unit for quantizing the transform coefficients and generating quantized data; And an entropy encoding unit for performing entropy encoding on the quantized data and outputting a bitstream.

이때, 상기 색 성분 간 예측부는 기 설정된 조건을 만족하는 경우, 상기 잔여 신호를 생성하는 것을 특징으로 하는 색 성분 간 예측을 수행하는 영상 부호화 장치를 제공한다.In this case, the inter-color-component predicting unit generates the residual signal when a predetermined condition is satisfied.

이때, 상기 기 설정된 조건은 변환 유닛이 기 설정된 크기 이상인 것을 특징으로 하는 색 성분 간 예측을 수행하는 영상 부호화 장치를 제공한다.In this case, the predetermined condition is that the conversion unit has a predetermined size or larger.

이때, 상기 기 설정된 조건은 변환 유닛이 기 설정된 크기 이하인 것을 특징으로 하는 색 성분 간 예측을 수행하는 영상 부호화 장치를 제공한다.In this case, the predetermined condition is that the conversion unit is equal to or less than a predetermined size.

이때, 상기 엔트로피 부호화부는 픽처 파라미터 세트(Picture Parameter Set, PPS)를 통해 잔여 신호의 생성 여부에 대해 지시하는 지시자를 생성하는 것을 특징으로 하는 색 성분 간 예측을 수행하는 영상 부호화 장치를 제공한다.In this case, the entropy encoding unit generates an indicator for indicating whether to generate a residual signal through a picture parameter set (PPS).

이때, 상기 제1 색 성분은 휘도 성분이고, 상기 제2 색 성분은 색차 성분인 것을 특징으로 하는 색 성분 간 예측을 수행하는 영상 부호화 장치를 제공한다.In this case, the first color component is a luminance component, and the second color component is a chrominance component.

본 발명의 다른 실시예에 따르면, 비트스트림을 입력 받아, 양자화된 데이터를 생성하는 엔트로피 복호화부; 상기 양자화된 데이터에 대해 역양자화 하여, 변환 계수를 생성하는 역양자화부; 상기 변환 계수에 대해 역변환하여, 잔여 신호를 생성하는 역변환부; 제1 색 성분에 대한 잔여 블록에 잔여 신호를 가산하여, 제2 색 성분에 대한 잔여 블록을 생성하는 색 성분 간 보상부; 및 상기 제1 색 성분에 대한 잔여 블록에 제1 색 성분에 대한 예측 블록을 가산하고, 상기 제2 색 성분에 대한 잔여 블록에 제2 색 성분에 대한 예측 블록을 가산하여, 복원 블록을 획득하는 복원 블록 획득부를 포함하는 색 성분 간 보상을 수행하는 영상 복호화 장치를 제공한다.According to another aspect of the present invention, there is provided an apparatus for decoding a bitstream, comprising: an entropy decoding unit receiving a bitstream and generating quantized data; A dequantizer for dequantizing the quantized data to generate a transform coefficient; An inverse transform unit for inversely transforming the transform coefficient to generate a residual signal; A color inter-component compensator for adding a residual signal to a residual block for the first color component to generate a residual block for the second color component; And adding a prediction block for a first color component to a residual block for the first color component and adding a prediction block for a second color component to a residual block for the second color component to obtain a restoration block And a reconstruction block acquiring unit.

이때, 상기 색 성분 간 보상부는 기 설정된 조건을 만족하는 경우, 상기 제1 색 성분에 대한 잔여 블록에 잔여 신호를 가산하여, 제2 색 성분에 대한 잔여 블록을 생성 하는 것을 특징으로 하는 색 성분 간 보상을 수행하는 영상 복호화 장치를 제공한다.Wherein the inter-color-component compensation unit adds residual signals to the residual block for the first color component to generate a residual block for the second color component when a predetermined condition is satisfied, The present invention provides a video decoding apparatus that performs compensation.

이때, 상기 기 설정된 조건은 변환 유닛이 기 설정된 크기 이상인 것을 특징으로 하는 색 성분 간 보상을 수행하는 영상 복호화 장치를 제공한다.In this case, the predetermined condition is that the conversion unit has a predetermined size or larger.

이때, 상기 기 설정된 조건은 변환 유닛이 기 설정된 크기 이하인 것을 특징으로 하는 색 성분 간 보상을 수행하는 영상 복호화 장치를 제공한다.In this case, the predetermined condition is that the conversion unit is equal to or less than a predetermined size.

이때, 상기 엔트로피 복호화부는 픽처 파라미터 세트(Picture Parameter Set, PPS)를 통해, 상기 제1 색 성분에 대한 잔여 블록에 잔여 신호를 가산하여 제2 색 성분에 대한 잔여 블록을 생성하는지 여부를 지시 받는 것을 특징으로 하는 색 성분 간 보상을 수행하는 영상 복호화 장치를 제공한다.At this time, the entropy decoding unit is instructed, through a picture parameter set (PPS), whether to generate a residual block for the second color component by adding the residual signal to the residual block for the first color component The present invention provides an image decoding apparatus that performs compensation between color components.

이때, 상기 제1 색 성분은 휘도 성분이고, 상기 제2 색 성분은 색차 성분인 것을 특징으로 하는 색 성분 간 보상을 수행하는 영상 복호화 장치를 제공한다.In this case, the first color component is a luminance component, and the second color component is a color difference component.

본 발명의 또 다른 실시예에 따르면, 비트스트림을 입력 받아, 양자화된 데이터를 생성하는 엔트로피 복호화 단계; 상기 양자화된 데이터로부터 변환 계수를 생성하는 역양자화 단계; 상기 변환 계수로부터 잔여 신호를 생성하는 역변환 단계; 제1 색 성분에 대한 잔여 블록에 잔여 신호를 가산하여, 제2 색 성분에 대한 잔여 블록을 생성하는 색 성분 간 보상 단계; 및 상기 제1 색 성분에 대한 잔여 블록에 제1 색 성분에 대한 예측 블록을 가산하고, 상기 제2 색 성분에 대한 잔여 블록에 제2 색 성분에 대한 예측 블록을 가산하여, 복원 블록을 획득하는 단계를 포함하는 색 성분 간 보상을 수행하는 영상 복호화 방법을 제공한다.According to another embodiment of the present invention, there is provided a method of decoding an image, comprising: entropy decoding step of receiving a bitstream and generating quantized data; An inverse quantization step of generating a transform coefficient from the quantized data; An inverse conversion step of generating a residual signal from the transform coefficient; A color component compensation step of adding a residual signal to a residual block for the first color component to generate a residual block for the second color component; And adding a prediction block for a first color component to a residual block for the first color component and adding a prediction block for a second color component to a residual block for the second color component to obtain a restoration block The present invention also provides an image decoding method for performing inter-chrominance compensation.

이때, 상기 색 성분 간 보상 단계에서는 기 설정된 조건을 만족하는 경우, 상기 제1 색 성분에 대한 잔여 블록과 잔여 신호를 가산하여, 제2 색 성분에 대한 잔여 블록을 생성 하는 것을 특징으로 하는 색 성분 간 보상을 수행하는 영상 복호화 방법을 제공한다.Wherein, when the predetermined condition is satisfied, the residual block for the second color component is generated by adding the residual block and the residual signal to the first color component, The present invention provides a video decoding method for performing inter-picture compensation.

이때, 상기 기 설정된 조건은 변환 유닛이 기 설정된 크기 이상인 것을 특징으로 하는 색 성분 간 보상을 수행하는 영상 복호화 방법을 제공한다.In this case, the predetermined condition is that the conversion unit has a predetermined size or larger.

이때, 상기 기 설정된 조건은 변환 유닛이 기 설정된 크기 이하인 것을 특징으로 하는 색 성분 간 보상을 수행하는 영상 복호화 방법을 제공한다.In this case, the predetermined condition is that the conversion unit is equal to or less than a predetermined size.

이때, 상기 엔트로피 복호화 단계에서는 픽처 파라미터 세트(Picture Parameter Set, PPS)를 통해, 상기 제1 색 성분에 대한 잔여 블록과 잔여 신호를 가산하여 제2 색 성분에 대한 잔여 블록을 생성하는지 여부를 지시 받는 것을 특징으로 하는 색 성분 간 보상을 수행하는 영상 복호화 방법을 제공한다.At this time, in the entropy decoding step, it is instructed whether to generate a residual block for a second color component by adding a residual block and a residual signal for the first color component through a picture parameter set (PPS) The present invention also provides an image decoding method for performing inter-color component compensation.

이때, 상기 제1 색 성분은 휘도 성분이고, 상기 제2 색 성분은 색차 성분인 것을 특징으로 하는 색 성분 간 보상을 수행하는 영상 복호화 방법을 제공한다.
In this case, the first color component is a luminance component, and the second color component is a color difference component.

본 발명은 색 성분 간 상관 관계에 대해 고려하여, 영상 부호화/복호화 효율을 향상시키는 이점이 있다.The present invention has an advantage of improving image encoding / decoding efficiency in consideration of correlation between color components.

본 발명은 또한, 선택적으로 색 성분 간 예측을 수행하여, 영상 부호화 효율을 향상시키는 이점이 있다.The present invention is also advantageous in that inter-color component prediction is selectively performed to improve the image coding efficiency.

본 발명은 또한, 선택적으로 색 성분 간 보상을 수행하여, 영상 복호화 효율을 향상시키는 이점이 있다.
The present invention is also advantageous in that the inter-color component compensation is selectively performed to improve the image decoding efficiency.

도 1은 본 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 영상을 부호화 및 복호화할 때 영상의 분할 구조를 개략적으로 나타내는 도면이다.
도 4는 부호화 유닛(CU)이 포함할 수 있는 예측 유닛(PU)의 형태를 도시한 도면이다.
도 5는 부호화 유닛(CU)이 포함할 수 있는 변환 유닛(TU)의 형태를 도시한 도면이다.
도 6은 인트라 예측 과정의 실시예를 설명하기 위한 도면이다.
도 7은 인터 예측 과정의 실시예를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른, 색 성분 간 예측을 이용하는 영상 부호화 장치의 블록도이다.
도 9는 본 발명의 일 실시예에 따른, 색 성분 간 보상을 이용하는 영상 복호화 장치의 블록도이다.
도 10은 본 발명의 일 실시예에 따른, 색 성분 간 예측을 이용하는 영상 부호화 방법의 순서도이다.
도 11은 본 발명의 일 실시예에 따른, 색 성분 간 보상을 이용하는 영상 복호화 방법의 순서도이다.
1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
2 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
3 is a diagram schematically showing a divided structure of an image when encoding and decoding an image.
4 is a diagram showing a form of a prediction unit (PU) that can be included in the encoding unit (CU).
Fig. 5 is a diagram showing a form of a conversion unit TU that the encoding unit CU can include.
6 is a diagram for explaining an embodiment of an intra prediction process.
7 is a diagram for explaining an embodiment of the inter prediction process.
FIG. 8 is a block diagram of an image encoding apparatus using inter-chromatic inter-component prediction according to an embodiment of the present invention.
9 is a block diagram of an image decoding apparatus using inter-chrominance compensation according to an embodiment of the present invention.
FIG. 10 is a flowchart of an image encoding method using interpolation between color components, according to an embodiment of the present invention.
11 is a flowchart of a method of decoding an image using inter-color component compensation according to an embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the following description of the embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present disclosure rather unclear.

도 1은 본 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.

도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽쳐 버퍼(190)를 포함한다.1, the image encoding apparatus 100 includes a motion prediction unit 111, a motion compensation unit 112, an intra prediction unit 120, a switch 115, a subtractor 125, a transform unit 130, A quantization unit 140, an entropy encoding unit 150, an inverse quantization unit 160, an inverse transformation unit 170, an adder 175, a filter unit 180, and a reference picture buffer 190.

영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다.The image encoding apparatus 100 may encode an input image in an intra mode or an inter mode and output a bit stream. In the intra mode, the switch 115 is switched to the intra mode, and in the inter mode, the switch 115 can be switched to the inter mode. The image encoding apparatus 100 may generate a prediction block for an input block of an input image, and then may code a residual between the input block and the prediction block.

인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 참조 화소로 이용할 수 있다. 인트라 예측부(120)는 참조 화소를 이용하여, 공간적 예측을 수행하고, 현재 블록에 대한 에측 샘플들을 생성할 수 있다.In the intra mode, the intraprediction unit 120 can use the pixel value of the already coded block around the current block as a reference pixel. The intra predictor 120 can perform spatial prediction using the reference pixels and generate the inverse samples for the current block.

인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 픽쳐 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다.In the inter mode, the motion predicting unit 111 can find a motion vector by searching an area of the reference picture stored in the reference picture buffer 190 that is best matched with the input block.

움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. 여기서, 움직임 벡터는 인터 예측에 사용되는 2차원 벡터이며, 현재 부호화/복호화 대상 영상과 참조 영상 사이의 오프셋을 나타낼 수 있다.The motion compensation unit 112 may generate a prediction block by performing motion compensation using a motion vector. Here, the motion vector is a two-dimensional vector used for inter prediction, and can represent an offset between the current image to be encoded / decoded and the reference image.

감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔여 블록(residual block, 레지듀얼 신호)을 생성할 수 있다.The subtracter 125 may generate a residual block (residual signal) by a difference between the input block and the generated prediction block.

변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 여기서, 변환 계수는 잔여 블록 및/또는 잔여 신호에 대한 변환을 수행함으로써 생성된 계수 값을 의미할 수 있다. 변환 생략(transform skip) 모드가 적용되는 경우, 변환부(130)는 레지듀얼 블록에 대한 변환을 생략할 수도 있다.The transforming unit 130 may perform a transform on the residual block to output a transform coefficient. Here, the transform coefficient may mean a coefficient value generated by performing a transform on a residual block and / or a residual signal. When the transform skip mode is applied, the transforming unit 130 may omit the transform for the residual block.

이하, 본 명세서에서는 변환 계수에 양자화가 적용되어 생성된, 양자화된 변환 계수 레벨(transform coefficient level)도 변환 계수로 불릴 수 있다.Hereinafter, a quantized transform coefficient level generated by applying quantization to a transform coefficient may also be referred to as a transform coefficient.

양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 변환 계수 레벨(quantized transform coefficient level)을 출력할 수 있다. 이때, 양자화부(140)에서는 양자화 행렬을 사용하여 입력된 변환 계수를 양자화할 수 있다.The quantization unit 140 may quantize the input transform coefficients according to a quantization parameter to output a quantized transform coefficient level. At this time, the quantization unit 140 can quantize the input transform coefficients using the quantization matrix.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bitstream)을 출력할 수 있다. 엔트로피 부호화부(150)는 비디오의 화소 정보 외에 비디오 디코딩을 위한 정보(예컨대, 신택스 엘리먼트(syntax element) 등)을 엔트로피 부호화 할 수도 있다. The entropy encoding unit 150 can output a bitstream by entropy encoding the values calculated by the quantization unit 140 or the encoding parameter values calculated in the encoding process according to the probability distribution. The entropy encoding unit 150 may entropy encode information for video decoding (e.g., a syntax element or the like) in addition to the pixel information of the video.

부호화 파라미터는 부호화 및 복호화에 필요한 정보로서, 신택스 엘리먼트와 같이 부호화 장치에서 부호화되어 복호화 장치로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있다. The encoding parameters are information necessary for encoding and decoding, and may include information that can be inferred during encoding or decoding, as well as information encoded and encoded by a coding device such as a syntax element.

부호화 파라미터는 예를 들어 인트라/인터 예측모드, 이동/움직임 벡터, 참조 영상 색인, 부호화 블록 패턴, 레지듀얼 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다. The coding parameters include, for example, values of intra / inter prediction mode, motion / motion vector, reference picture index, coding block pattern, presence of residual signal, transform coefficient, quantized transform coefficient, quantization parameter, block size, Or statistics.

레지듀얼 신호는 원신호와 예측 신호의 차이를 의미할 수 있고, 또한 원신호와 예측 신호의 차이가 변환(transform)된 형태의 신호 또는 원신호와 예측 신호의 차이가 변환되고 양자화된 형태의 신호를 의미할 수도 있다. 레지듀얼 신호는 블록 단위에서는 레지듀얼 블록이라 할 수 있다.The residual signal may be a difference between the original signal and the prediction signal, and may be a signal in which the difference between the original signal and the prediction signal is transformed, or a difference between the original signal and the prediction signal is converted and the quantized signal . The residual signal can be referred to as a residual block in block units.

엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다. When entropy coding is applied, a small number of bits are allocated to a symbol having a high probability of occurrence, and a large number of bits are allocated to a symbol having a low probability of occurrence, so that the size of a bit string for the symbols to be coded Can be reduced. Therefore, the compression performance of the image encoding can be enhanced through the entropy encoding.

엔트로피 부호화를 위해 지수 골롬(exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(150)는 가변 길이 부호화(VLC: Variable Lenghth Coding/Code) 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 부호화를 수행할 수도 있다.Encoding methods such as exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), and Context-Adaptive Binary Arithmetic Coding (CABAC) may be used for entropy encoding. For example, the entropy encoding unit 150 may perform entropy encoding using a Variable Length Coding / Code (VLC) table. Further, the entropy encoding unit 150 derives a binarization method of a target symbol and a probability model of a target symbol / bin, and then performs entropy encoding using the derived binarization method or probability model You may.

양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다.The quantized coefficients can be inversely quantized in the inverse quantization unit 160 and inversely transformed in the inverse transformation unit 170. The inverse quantized and inverse transformed coefficients can be added to the prediction block through the adder 175 and a reconstruction block can be generated.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다.The restoration block passes through the filter unit 180 and the filter unit 180 applies at least one of a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) can do. The filter unit 180 may be referred to as an adaptive in-loop filter.

디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 필터부(180)를 거친 복원 블록은 참조 픽쳐 버퍼(190)에 저장될 수 있다.
The deblocking filter can remove block distortion occurring at the boundary between the blocks. The SAO may add a proper offset value to the pixel value to compensate for coding errors. ALF can perform filtering based on the comparison between the reconstructed image and the original image. The reconstructed block having passed through the filter unit 180 may be stored in the reference picture buffer 190.

도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.2 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.

도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(255), 필터부(260) 및 참조 픽쳐 버퍼(270)를 포함한다.2, the image decoding apparatus 200 includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 230, an intra prediction unit 240, a motion compensation unit 250, an adder 255, a filter unit 260, and a reference picture buffer 270.

영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔여 블록(reconstructed residual block)을 얻고 예측 블록을 생성한 후 복원된 잔여 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.The video decoding apparatus 200 receives the bit stream output from the encoder and decodes the video stream into the intra mode or the inter mode, and outputs the reconstructed video, that is, the reconstructed video. In the intra mode, the switch is switched to the intra mode, and in the inter mode, the switch can be switched to the inter mode. The image decoding apparatus 200 may obtain a reconstructed residual block from the input bitstream, generate a prediction block, and add the restored residual block and the prediction block to generate a reconstructed block, i.e., a reconstructed block .

엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법의 역과정으로 수행된다.The entropy decoding unit 210 may entropy-decode the input bitstream according to a probability distribution to generate symbols including a symbol of a quantized coefficient type. The entropy decoding method is performed in the inverse process of the entropy encoding method described above.

양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔여 블록이 생성될 수 있다. 이때, 역양자화부(220)에서는 양자화된 계수에 양자화 행렬을 적용할 수 있다.The quantized coefficients are inversely quantized in the inverse quantization unit 220 and inversely transformed in the inverse transformation unit 230. The reconstructed residual block can be generated as a result of inverse quantization / inverse transformation of the quantized coefficients. At this time, the inverse quantization unit 220 can apply the quantization matrix to the quantized coefficients.

인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 부호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 픽쳐 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. In the intra mode, the intraprediction unit 240 may generate a prediction block by performing spatial prediction using the pixel values of the already coded blocks around the current block. In the inter mode, the motion compensation unit 250 may generate a prediction block by performing motion compensation using a motion vector and a reference image stored in the reference picture buffer 270. [

복원된 잔여 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거칠 수 있다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 복원 영상은 참조 픽쳐 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.
The restored residual block and the prediction block are added through the adder 255, and the added block can be passed through the filter unit 260. The filter unit 260 may apply at least one of a deblocking filter, SAO, and ALF to a restoration block or a restored picture. The filter unit 260 may output a reconstructed image, that is, a reconstructed image. The restored image is stored in the reference picture buffer 270 and can be used for inter prediction.

도 3은 영상을 부호화 및 복호화할 때 영상의 분할 구조를 개략적으로 나타내는 도면이다.3 is a diagram schematically showing a divided structure of an image when encoding and decoding an image.

영상을 효율적으로 분할하기 위해 부호화 유닛(Coding Unit; CU)으로 부호화 및 복호화를 수행할 수 있다. 유닛은 구문 요소(syntax element)와 영상 샘플들이 포함된 블록을 합쳐서 일컫는 말이다. 유닛이 분할된다는 것은 유닛에 해당하는 블록을 분할한다는 것을 의미할 수 있다.It is possible to perform coding and decoding with a coding unit (CU) in order to efficiently divide an image. A unit is a combination of syntax elements and blocks containing image samples. When a unit is divided, it may mean that a block corresponding to the unit is divided.

도 3을 참조하면, 영상(300)을 최대 부호화 유닛(Largest Coding Unit; LCU)(이하, LCU라 함) 단위로 순차적으로 분할한 후, LCU 단위로 분할 구조를 결정한다. 여기서, LCU란 코딩 트리 유닛(Coding Tree Unit, CTU)과 동일한 의미로 사용될 수 있다. 분할 구조는 LCU(310) 내에서 영상을 효율적으로 부호화하기 위한 부호화 유닛(이하, CU라 함)의 분포를 의미하며, 이러한 분포는 하나의 CU를 그 가로 크기 및 세로 크기의 절반으로 감소된 4개의 CU로 분할할지 여부에 따라 결정될 수 있다. 분할된 CU는 동일한 방식으로 분할된 CU에 대해서 그 가로 크기 및 세로 크기가 절반씩 감소된 4개의 CU로 재귀적으로 분할될 수 있다. Referring to FIG. 3, the image 300 is sequentially divided into units of a maximum coding unit (LCU) (LCU), and a divided structure is determined on a per LCU basis. Here, the LCU can be used with the same meaning as a coding tree unit (CTU). The division structure means a distribution of a coding unit (hereinafter referred to as a CU) for efficiently encoding an image in the LCU 310. This distribution is a distribution of four CUs reduced to half of the horizontal size and the vertical size Quot; CU " A partitioned CU can be recursively partitioned into four CUs whose halftone and vertical sizes are reduced by half for CUs partitioned in the same manner.

이때, CU의 분할은 미리 정의된 깊이까지 재귀적으로 분할될 수 있다. 깊이 정보는 CU의 크기를 나타내는 정보로써, 각 CU마다 저장되어 있다. 예컨대, LCU의 깊이는 0이고, SCU(Smallest Coding Unit)의 깊이는 미리 정의된 최대 깊이일 수 있다. 여기서, LCU는 상술한 바와 같이 최대 부호화 유닛 크기를 가지는 부호화 유닛이며, SCU(Smallest Coding Unit)는 최소 부호화 유닛 크기를 가지는 부호화 유닛이다. At this time, the division of the CU can be recursively divided to a predetermined depth. The depth information is information indicating the size of the CU, and is stored for each CU. For example, the depth of the LCU may be zero and the depth of the Smallest Coding Unit (SCU) may be a predefined maximum depth. Here, the LCU is a coding unit having the maximum coding unit size as described above, and the SCU (Smallest Coding Unit) is a coding unit having the minimum coding unit size.

LCU(310)로부터 가로 및 세로 크기의 절반으로 분할을 수행할 때마다 CU의 깊이는 1씩 증가한다. 각각의 깊이 별로, 분할을 수행하지 않는 CU의 경우에는 2Nx2N 크기를 가지며, 분할을 수행하는 CU의 경우에는 2Nx2N 크기의 CU에서 NxN 크기를 가지는 4개의 CU로 분할된다. N의 크기는 깊이가 1씩 증가할 때마다 절반으로 감소한다. The depth of the CU increases by one each time the LCU 310 divides into halves and halves. For each depth, a CU that does not perform a partitioning has a size of 2Nx2N, and a CU that performs a partitioning is divided into 4 CUs having a size of NxN in a 2Nx2N size CU. The size of N decreases by half every time the depth increases by one.

도 3을 참조하면, 최소 깊이가 0인 LCU의 크기는 64x64 화소들이고, 최대 깊이가 3인 SCU의 크기는 8x8 화소들일 수 있다. 이때, 64x64 화소들의 CU(LCU)는 깊이 0으로, 32x32 화소들의 CU는 깊이 1로, 16x16 화소들의 CU는 깊이 2로, 8x8 화소들의 CU(SCU)는 깊이 3으로 표현될 수 있다. Referring to FIG. 3, the size of the LCU having the minimum depth of 0 is 64x64 pixels, and the size of the SCU having the maximum depth of 3 may be 8x8 pixels. At this time, the CU (LCU) of 64x64 pixels can be represented by depth 0, the CU of 32x32 pixels by depth 1, the CU of 16x16 pixels by depth 2, and the CU (SCU) of 8x8 pixels by depth 3. [

또한, 특정 CU를 분할할지에 대한 정보는 CU마다 1비트의 분할 정보를 통해 표현될 수 있다. 이 분할 정보는 SCU를 제외한 모든 CU에 포함될 수 있으며, 예컨대 CU를 분할하지 않을 경우에는 분할 정보에 0을 저장할 수 있고, CU를 분할할 경우에는 분할 정보에 1을 저장할 수 있다.
In addition, information on whether to divide a specific CU can be expressed through division information of 1 bit for each CU. This division information can be included in all the CUs except for the SCU. For example, when the CU is not divided, 0 can be stored in the division information, and when the CU is divided, 1 can be stored in the division information.

도 4는 부호화 유닛(CU)이 포함할 수 있는 예측 유닛(PU)의 형태를 도시한 도면이다.4 is a diagram showing a form of a prediction unit (PU) that can be included in the encoding unit (CU).

LCU로부터 분할된 CU 중 더 이상 분할되지 않는 CU는 하나 이상의 예측 유닛으로 분할되며 이 행위 자체 역시 분할(partition)(혹은 파티션)이라고 일컫는다.A CU that is no longer subdivided among the CUs segmented from the LCU is divided into one or more prediction units, and this action itself is also referred to as a partition (or partition).

예측 유닛(이하, PU라 함)은 예측을 수행하는 기본 단위로써, 스킵(skip) 모드, 인터(inter) 모드, 인트라(intra) 모드 중 어느 하나로 부호화 및 복호화되며, 각 모드에 따라서 다양한 형태로 파티션될 수 있다.The prediction unit (hereinafter, referred to as PU) is a basic unit for performing prediction, and is encoded and decoded in any one of a skip mode, an inter mode, and an intra mode. It can be partitioned.

도 4를 참조하면, 스킵 모드의 경우, CU 내에서 파티션 없이, CU와 동일한 크기를 갖는 2Nx2N 모드(410)를 지원할 수 있다.Referring to FIG. 4, in the case of the skip mode, the 2Nx2N mode 410 having the same size as the CU can be supported without a partition in the CU.

인터 모드의 경우, CU 내에서 8가지의 파티션된 형태, 예컨대 2Nx2N 모드(410), 2NxN 모드(415), Nx2N 모드(420), NxN 모드(425), 2NxnU 모드(430), 2NxnD 모드(435), nLx2N 모드(440), nRx2N 모드(445)를 지원할 수 있다.In the case of the inter mode, eight partitioned types in the CU such as 2Nx2N mode 410, 2NxN mode 415, Nx2N mode 420, NxN mode 425, 2NxnU mode 430, 2NxnD mode 435 ), nLx2N mode 440, and nRx2N mode 445, for example.

인트라 모드의 경우, CU 내에서 2Nx2N 모드(410), NxN 모드(425)를 지원할 수 있다.
In the intra mode, the 2Nx2N mode 410 and the NxN mode 425 can be supported in the CU.

도 5는 부호화 유닛(CU)이 포함할 수 있는 변환 유닛(TU)의 형태를 도시한 도면이다.Fig. 5 is a diagram showing a form of a conversion unit TU that the encoding unit CU can include.

변환 유닛(이하, TU라 함)은 CU 내에서 변환, 양자화, 역변환, 역양자화 과정을 위해 사용되는 기본 단위이다. TU는 정사각형 또는 직사각형 형태를 가질 수 있다. LCU로부터 분할된 CU 중 더 이상 분할되지 않는 CU는 하나 이상의 TU로 분할될 수 있다. 이때, TU의 분할 구조는 쿼드트리(quad-tree) 구조일 수 있다. 예컨대, 도 5에 도시된 바와 같이, 하나의 CU(510)가 쿼드트리 구조에 따라서 한번 혹은 그 이상 분할되어 다양한 크기의 TU들로 구성될 수 있다.
A conversion unit (hereinafter referred to as a TU) is a basic unit used for conversion, quantization, inverse transformation, and inverse quantization in a CU. The TU may have a square or rectangular shape. A CU that is not further divided among the CUs segmented from the LCU may be divided into one or more TUs. At this time, the partition structure of the TU may be a quad-tree structure. For example, as shown in FIG. 5, one CU 510 may be divided into one or more TUs of various sizes according to a quad tree structure.

도 6은 인트라 예측 과정의 실시예를 설명하기 위한 도면이다.6 is a diagram for explaining an embodiment of an intra prediction process.

인트라 예측 모드의 개수는 예측 유닛의 크기에 관계없이 35개로 고정하여 수행할 수 있으며, 이때 예측 모드는 도 6에서와 같이 2개의 비방향성 모드(DC, Planar)와 33개의 방향성 모드로 구성될 수 있다. 이때, 예측 모드의 개수는 색 성분(color component)이 휘도(luma) 신호인지 또는 색차(chroma) 신호인지에 따라 다를 수 있다. 예측 유닛의 크기는 4x4, 8x8, 16x16, 32x32, 64x64 등 NxN 형태 또는 2Nx2N 형태의 정사각형일 수 있다. 예측 유닛의 단위는 부호화 유닛(CU: Coding Unit), 예측 유닛(PU: Prediction Unit), 변환 유닛(TU: Transform Unit) 중 적어도 하나의 크기가 될 수 있다. 인트라 부/복호화는 주변의 복원된 유닛에 포함되는 샘플 값 또는 부호화 파라미터를 이용하여 수행할 수 있다.
The number of intraprediction modes can be fixed to 35 irrespective of the size of the prediction unit. The prediction mode can be composed of two non-directional modes (DC, Planar) and 33 directional modes as shown in FIG. 6 have. At this time, the number of prediction modes may be different depending on whether the color component is a luma signal or a chroma signal. The size of the prediction unit may be NxN type such as 4x4, 8x8, 16x16, 32x32, 64x64, or square of 2Nx2N type. The unit of the prediction unit may be at least one of a coding unit (CU), a prediction unit (PU), and a transform unit (TU). The intra-portion / decoding can be performed using a sample value or a coding parameter included in the restored unit in the vicinity.

도 7은 인터 예측 과정의 실시예를 설명하기 위한 도면이다.7 is a diagram for explaining an embodiment of the inter prediction process.

도 7에 도시된 사각형은 영상(픽처)를 나타낸다. 또한, 도 7에서 화살표는 예측 방향을 나타낸다. 즉, 예측 방향에 따라 영상은 부호화/복호화될 수 있다.The rectangle shown in Fig. 7 represents an image (picture). In Fig. 7, arrows indicate prediction directions. That is, the image can be encoded / decoded according to the prediction direction.

각 영상(픽처)는 부호화 타입에 따라 I 픽처(Intra Picture), P 픽처(Uni-prediction Picture), B 픽처(Bi-prediction Picture)로 나뉘어지며, 각 픽처의 부호화 타입에 따라 부호화될 수 있다.Each picture (picture) is divided into an I picture (Intra picture), a P picture (Uni-prediction picture) and a B picture (Bi-prediction picture) according to the coding type and can be coded according to the coding type of each picture.

I 픽처는 픽처 간 예측 없이 영상 자체를 부호화하고, P 픽처는 순방향으로만 참조 픽처를 이용하여 픽처 간 예측 부호화하며, B 픽처는 순방향과 역방향 양측으로 참조 픽처를 이용하여 픽처 간 예측 부호화하거나, 순방향 또는 역방향 중 일측으로 참조 픽처를 이용하여 픽처 간 예측 부호화를 한다.An I-picture encodes an image itself without inter-picture prediction, a P-picture performs intra-picture prediction coding only in a forward direction using a reference picture, a B-picture is subjected to inter picture prediction coding using forward reference pictures and backward reference pictures, Or inter picture prediction coding is performed using a reference picture as one side of the backward direction.

이때, 참조 영상을 이용하는 P 픽처 및 B 픽처는 인터 예측으로 부를 수 있다.At this time, the P picture and the B picture using the reference picture can be called inter prediction.

이하, 인터 예측에 대해 구체적으로 설명한다.Hereinafter, inter prediction will be described in detail.

인터 예측은 참조 픽처 및 움직임 정보를 통해 수행될 수 있다. 또한, 인터 예측은 상술한 스킵 모드를 이용할 수도 있다.Inter prediction can be performed through reference pictures and motion information. Also, the inter prediction may use the skip mode described above.

참조 픽처는 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나일 수 있다. 이때, 인터 예측은 참조 픽처를 기반으로 하여 블록에 대한 예측을 수행할 수 있다. 즉, 참조 픽처(reference picture)는 블록의 예측에 이용되는 영상을 의미할 수 있다.The reference picture may be at least one of a previous picture or a following picture of the current picture. At this time, the inter prediction can perform prediction on the block based on the reference picture. That is, a reference picture may refer to an image used for prediction of a block.

이때, 참조 픽처 내의 영역은 참조 픽처를 지시하는 참조 픽처 인덱스(refIdx) 및 후술할 움직임 벡터(motion vector) 등을 이용하여 나타낼 수 있다. 인터 예측은 참조 픽처 및 참조 픽처 내에서 현재 블록에 대응하는 참조 블록을 선택해서, 현재 블록에 대한 예측 블록을 생성할 수 있다At this time, an area in the reference picture can be represented using a reference picture index refIdx indicating a reference picture and a motion vector (to be described later). Inter prediction can select a reference block corresponding to a current block in a reference picture and a reference picture to generate a prediction block for the current block

움직임 정보는 인터 예측에서 부호화기 및 복호화기를 통해 도출될 수 있다. 아울러, 도출된 움직임 정보는 인터 예측을 수행하는데 사용될 수 있다.The motion information may be derived through an encoder and a decoder in inter prediction. In addition, the derived motion information can be used to perform inter prediction.

이때, 부호화기 및 복호화기는 복원된 주변 블록(neighboring block) 및/또는 이미 복원된 콜(col) 픽쳐(collocated picture) 내에서 현재 블록에 대응되는 콜(col) 블록(collocated block)의 움직임 정보를 이용함으로써, 부호화/복호화 효율을 향상시킬 수 있다. 여기서, 복원된 주변 블록은 이미 부호화 및/또는 복호화되어 복원된 현재 픽쳐 내의 블록으로서, 현재 블록에 인접한 블록 및/또는 현재 블록의 외부 코너에 위치한 블록을 포함할 수 있다.At this time, the encoder and the decoder use motion information of a collided block corresponding to a current block in a restored neighboring block and / or a collocated picture that has been restored. Coding / decoding efficiency can be improved. Here, the reconstructed neighboring block may include a block adjacent to the current block and / or a block located at the outer corner of the current block, which is a block in the current picture reconstructed by decoding and / or decoding.

또한, 부호화기 및 복호화기는 콜 픽쳐 내에서 현재 블록과 공간적으로 대응되는 위치에 존재하는 블록을 기준으로, 소정의 상대적인 위치를 결정할 수 있고, 상기 결정된 소정의 상대적인 위치(상기 현재 블록과 공간적으로 대응되는 위치에 존재하는 블록의 내부 및/또는 외부의 위치)를 기반으로 상기 콜 블록을 도출할 수 있다. 여기서, 콜 픽쳐는 참조 픽쳐 리스트에 포함된 참조 픽쳐 중에서 하나의 픽쳐에 해당될 수 있다.Also, the encoder and the decoder can determine a predetermined relative position based on a block existing at a position spatially corresponding to the current block in the call picture, and determine the relative position based on the determined relative position The location of the call block may be derived based on the internal and / or external location of the block in the location). Here, the call picture may correspond to one of the reference pictures included in the reference picture list.

한편, 움직임 정보 도출 방식은 현재 블록의 예측 모드에 따라 달라질 수 있다. 인터 예측을 위해 적용되는 예측 모드에는 AMVP(Advanced Motion Vector Predictor), 머지(merge) 등이 있을 수 있다.Meanwhile, the motion information derivation method can be changed according to the prediction mode of the current block. The prediction mode applied for inter prediction may be an Advanced Motion Vector Predictor (AMVP), a merge, or the like.

일례로, AMVP(Advanced Motion Vector Predictor)가 적용되는 경우, 부호화기 및 복호화기는 복원된 주변 블록의 움직임 벡터 및/또는 콜 블록의 움직임 벡터를 이용하여, 예측 움직임 벡터 후보 리스트를 생성할 수 있다. 즉, 복원된 주변 블록의 움직임 벡터 및/또는 콜 블록의 움직임 벡터는 예측 움직임 벡터 후보로 사용될 수 있다.For example, when an Advanced Motion Vector Predictor (AMVP) is applied, the encoder and the decoder can generate a predicted motion vector candidate list using a motion vector of a restored neighboring block and / or a motion vector of a call block. That is, the motion vector of the reconstructed neighboring block and / or the motion vector of the call block may be used as a predicted motion vector candidate.

이때, 부호화기 및 복호화기는 상기 리스트에 포함된 예측 움직임 벡터 후보 중에서 선택된 최적의 예측 움직임 벡터를 지시하는 예측 움직임 벡터 인덱스를 복호화기로 전송할 수 있다. 이 때, 복호화기는 상기 예측 움직임 벡터 인덱스를 이용하여, 예측 움직임 벡터 후보 리스트에 포함된 예측 움직임 벡터 후보 중에서, 현재 블록의 예측 움직임 벡터를 선택할 수 있다.At this time, the encoder and the decoder may transmit a predicted motion vector index indicating an optimal predicted motion vector selected from the predicted motion vector candidates included in the list to the decoder. At this time, the decoder can select the predicted motion vector of the current block from the predicted motion vector candidates included in the predicted motion vector candidate list using the predicted motion vector index.

이때, 부호화기는 현재 블록의 움직임 벡터와 예측 움직임 벡터 간의 움직임 벡터 차분(MVD: Motion Vector Difference)을 구할 수 있고, 이를 부호화하여 복호화기로 전송할 수 있다. 이 때, 복호화기는 수신된 움직임 벡터 차분을 복호화할 수 있고, 복호화된 움직임 벡터 차분과 예측 움직임 벡터의 합을 통해 현재 블록의 움직임 벡터를 도출할 수 있다.At this time, the encoder can obtain the motion vector difference (MVD) between the motion vector of the current block and the predicted motion vector, and can transmit the encoded motion vector difference (MVD) to the decoder. At this time, the decoder can decode the received motion vector difference, and derive the motion vector of the current block through the sum of the decoded motion vector difference and the predicted motion vector.

이때, 부호화기는 또한 참조 픽처를 지시하는 참조 픽처 인덱스 등을 복호화기에 전송할 수 있다. 복호화기는 주변 블록의 움직임 정보들을 이용하여 현재 블록의 움직임 벡터를 예측하고, 부호화기로부터 수신한 움직임 벡터 차분을 이용하여 현재 블록에 대한 움직임 벡터를 유도할 수 있다. 복호화기는 유도한 움직임 벡터와 부호화기로부터 수신한 참조 픽처 인덱스 정보를 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있다.At this time, the encoder can also transmit a reference picture index indicating the reference picture to the decoder. The decoder may predict a motion vector of a current block using motion information of a neighboring block and derive a motion vector of the current block using a motion vector difference received from the encoder. The decoder can generate a prediction block for the current block based on the derived motion vector and the reference picture index information received from the encoder.

움직임 정보 도출 방식의 다른 예로, 병합 움직임이 적용될 수 있다. 이때, 병합 움직임은 머지를 의미할 수 있다. 머지가 적용되는 경우, 부호화기 및 복호화기는 복원된 주변 블록의 움직임 정보 및/또는 콜 블록의 움직임 정보를 이용하여, 병합 움직임 후보 목록(머지 후보 리스트, merge candidate list)를 생성할 수 있다. 이때 움직임 정보란, 움직임 벡터, 참조 영상에 대한 인덱스 그리고 예측 방향(단방향, 양방향 등) 중에서 적어도 하나를 포함한다.As another example of the motion information derivation method, a merge motion can be applied. At this time, the merge movement may mean merge. When the merge is applied, the encoder and the decoder may generate a merged motion candidate list (merge candidate list) using the motion information of the restored neighboring block and / or the motion information of the call block. Here, the motion information includes at least one of a motion vector, an index for a reference image, and a prediction direction (unidirectional, bidirectional, etc.).

이때, 병합 움직임은 부호화 유닛 또는 예측 유닛 단위로 적용될 수 있다. CU 또는 PU 단위로 병합 움직임을 수행하는 경우에는, 블록 파티션(partition)별로 병합 움직임을 수행할지에 관한 정보와 현재 블록에 인접한 주변 블록(현재 블록의 좌측 인접 블록, 현재 블록의 상측 인접 블록, 현재 블록의 시간적(temporal) 인접 블록 등) 중 어떤 블록과 병합 움직임을 할 것인지에 대한 정보를 전송할 필요가 있다.At this time, the merging motion can be applied in units of an encoding unit or a prediction unit. In the case of performing a merge movement in units of CU or PU, information on whether to perform a merge movement for each block partition and information on neighboring blocks adjacent to the current block (the left adjacent block of the current block, the upper adjacent block of the current block, A temporal neighboring block of the block, etc.) to be merged with another block.

이때, 병합 움직임 후보 목록은 움직임 정보들이 저장된 목록을 나타내며, 병합 움직임이 수행되기 전에 생성된다. 여기서 병합 움직임 후보 목록에 저장되는 움직임 정보는 현재 블록에 인접한 주변 블록의 움직임 정보이거나 참조 영상에서 현재 블록에 대응되는(collocated) 블록의 움직임 정보일 수 있다. 또한 병합 움직임 후보 목록에 저장되는 움직임 정보는 이미 병합 움직임 후보 목록에 존재하는 움직임 정보들을 조합하여 만든 새로운 움직임 정보일 수 있다.At this time, the merged motion candidate list represents a list in which the motion information is stored, and is generated before the merging motion is performed. Here, the motion information stored in the merged motion candidate list may be motion information of a neighboring block adjacent to the current block or motion information of a collocated block corresponding to the current block in the reference image. Also, the motion information stored in the merged motion candidate list may be new motion information created by combining motion information already present in the merged motion candidate list.

스킵 모드는 주변 블록의 정보를 그대로 현재 블록에 이용하는 것으로, 인터 예측에 이용되는 모드 중 하나다. 스킵 모드일 경우, 부호화기는 현재 블록의 움직임 정보로서 어떤 블록의 움직임 정보를 이용할 것인지에 대한 정보만을 복호화기에 전송하며, 부호화기는 그 외의 정보(예컨대, 움직임 벡터 차분 정보 등과 같은 신택스(syntax) 정보)를 복호화기에 전송하지 않는다.
In the skip mode, information of neighboring blocks is used as it is in the current block, which is one of the modes used for inter prediction. In the skip mode, the encoder transmits only information on which block motion information is to be used as motion information of the current block to the decoder, and the encoder outputs other information (e.g., syntax information such as motion vector difference information) It is not transmitted to the decoder.

상술한 바와 같이, 영상 부호화/복호화 방법 및 이를 이용하는 장치에서는 영상 부호화/복호화 효율을 상승시키기 위해 인트라/인터 예측, 엔트로피 부호화 등을 이용할 수 있다. 하지만, 상술한 방법만으로는 충분한 영상 부호화/복호화 효율을 제공하지 못하기 때문에, 본 발명에서는 색 성분 사이의 상관성을 제거하는 방식을 추가적으로 제안한다.As described above, in the image encoding / decoding method and the apparatus using the image encoding / decoding method, intra / inter prediction and entropy encoding can be used to increase image encoding / decoding efficiency. However, since the above-mentioned method alone can not provide a sufficient image encoding / decoding efficiency, the present invention further proposes a method of eliminating the correlation between color components.

이때, 색 성분(color component)은 색 공간(color space)을 이루는 구성 요소를 의미하며, 각 색 성분은 휘도(luminance), 색차(chrominance) 성분, 빨강(Red, R), 초록(Green, G), 파랑(Blue, B), Y, U, V, Cb, Cr 등이 될 수 있다. 이하에서는 YUV 색 표현 방식에서 휘도 성분(Y)과 색차 성분(U, V) 사이의 상관성을 제거하는 방법, RGB 색 표현 방식에서 R 성분, G 성분, B 성분 사이의 상관성을 제거하는 방법 등을 기반으로 본 발명을 실시하기 위한 구체적인 내용을 설명한다.In this case, a color component means a component forming a color space, and each color component includes a luminance component, a chrominance component component, red (R), green (G), green , Blue (B), Y, U, V, Cb, Cr, and the like. Hereinafter, a method of removing the correlation between the luminance component (Y) and the chrominance components (U, V) in the YUV color rendering system, a method of removing the correlation between the R, G, The present invention will be described in detail.

본 발명에 따른 영상 부호화/복호화 방법 및 장치는 색 성분 간의 상관성을 판단하고, 색 성분 사이에 상관성이 있는 데이터를 제거할 수 있다. 본 발명에 따르면, 영상 부호화/복호화 방법 및 장치는 색 성분 사이에 상관성이 있는 데이터를 제거하고 남은 데이터만을 부호화/복호화 하여, 영상 부호화/복호화 효율을 향상시킬 수 있으며, 특히, 색 성분 간에 상관성이 클 경우 본 발명에 따른 영상 부호화/복호화의 효율성이 극대화 된다.The image encoding / decoding method and apparatus according to the present invention can determine correlation between color components and remove correlated data between color components. According to the present invention, the image encoding / decoding method and apparatus can improve the efficiency of image encoding / decoding by removing data having correlation between color components and encoding / decoding only the remaining data. In particular, The efficiency of the image coding / decoding according to the present invention is maximized.

예를 들어, RGB 4:4:4, YUV 4:4:4, YUV 4:2:2 등과 같이 색 성분 간에 부호화/복호화 해야 되는 영상 데이터량이 큰 경우가 이에 해당하며, RGB에서 YUV로의 변환도 이에 해당될 수 있다.For example, this is the case when the amount of image data to be encoded / decoded between color components is large such as RGB 4: 4: 4, YUV 4: 4: 4, YUV 4: 2: This may be the case.

이때, 영상 부호화/복호화 방법 및 장치는 하나의 색 성분에 대한 잔여 블록의 부호화/복호화를 우선 완료한 후, 부호화/복호화가 완료된 색 성분의 잔여 블록을 이용하여, 다른 색 성분에 대한 잔여 블록을 부호화/복호화를 할 수 있다.At this time, the image encoding / decoding method and apparatus firstly completes the encoding / decoding of the residual block for one color component, and then uses the residual block of the encoded / decoded color component to generate a residual block for the other color component Encoding / decoding can be performed.

하지만, 상술한 방법을 통해 영상 부호화/복호화를 수행했음에도 불구하고, 색 성분 간의 상관성이 충분히 제거되지 않는 경우가 발생할 수 있다. 따라서, 이하에서는 블록의 크기, 예측 모드 등에 따라 선택적으로 색 성분 간 예측을 하여 부호화/복호화 효율을 보다 더 향상시키는 방법 및 이를 이용하는 장치에 대해 서술하겠다.
However, in spite of performing image encoding / decoding through the above-described method, the correlation between color components may not be sufficiently removed. Therefore, a description will now be made of a method for further enhancing the coding / decoding efficiency by selectively performing inter-color component prediction according to the size of a block, a prediction mode, and the like.

도 8은 본 발명의 일 실시예에 따른, 색 성분 간 예측을 이용하는 영상 부호화 장치의 블록도이다.FIG. 8 is a block diagram of an image encoding apparatus using inter-chromatic inter-component prediction according to an embodiment of the present invention.

도 8을 참조하면, 색 성분 간 예측을 이용하는 영상 부호화 장치(800)는 잔여 블록 획득부(810), 색 성분 간 예측부(820), 변환부(830). 양자화부(840) 및 엔트로피 부호화부(850)를 포함할 수 있다.Referring to FIG. 8, the image encoding apparatus 800 using inter-chrominance prediction includes a residual block obtaining unit 810, an inter-color predicting unit 820, and a transform unit 830. A quantization unit 840 and an entropy encoding unit 850.

색 성분 간 예측을 이용하는 영상 부호화 장치(800)는 상술한 영상 부호화 장치를 의미할 수 있다. 따라서, 색 성분 간 예측을 수행하는 영상 부호화 장치(800)는 상술한 바와 같이 인트라 모드 또는 인터 모드에 기반하여 영상 부호화를 수행할 수 있다.The image encoding apparatus 800 using the inter-color component prediction may mean the image encoding apparatus described above. Accordingly, the image encoding apparatus 800 that performs inter-color component prediction can perform image encoding based on the intra mode or the inter mode as described above.

잔여 블록 획득부(810)는 인트라 모드 또는 인터 모드에 따라 예측 블록을 생성하고, 입력 영상에 대한 입력 블록과 예측 블록 간의 차분으로부터 잔여 블록을 획득한다. 이때, 상술한 바와 같이, 구문 요소(syntax element)와 블록을 통틀어 유닛이라고 부를 수 있으므로, 예측 블록의 생성은 예측 유닛의 생성을 의미할 수 있으며, 예측 블록의 구체적인 생성 방법은 상술한 바와 같다.The residual block obtaining unit 810 generates a prediction block according to the intra mode or the inter mode and obtains the residual block from the difference between the input block and the prediction block for the input image. At this time, as described above, since the syntax element and the block may be called a unit, generation of a prediction block may mean generation of a prediction unit, and a concrete method of generating a prediction block is as described above.

잔여 블록 획득부(810)는 상술한 과정을 통해 색 성분 각각에 대한 잔여 블록을 획득하며, 색 성분 각각에 대한 잔여 블록은 제1 색 성분에 대한 잔여 블록과 제2 색 성분에 대한 잔여 블록을 포함할 수 있다. 이때, 각 색 성분은 상술한 바와 같이 휘도(luminance), 색차(chrominance) 성분, Red, Green, Blue, Y, U, V, Cb, Cr 등을 포함할 수 있다.The residual block obtaining unit 810 obtains a residual block for each of the color components through the process described above, and the residual block for each color component is a residual block for the first color component and a residual block for the second color component . At this time, each color component may include luminance, chrominance component, red, green, blue, Y, U, V, Cb, Cr, and the like as described above.

본 발명의 일 실시예에 따르면, 잔여 블록 획득부(810)는 유도된 모드(DM, Derived Mode)를 이용하여 색차 성분에 대한 잔여 블록을 획득할 수 있다. 이때, 유도된 모드는 휘도 성분에 대한 인트라 예측 모드를 색차 성분의 인트라 예측 모드로 적용하는 방법을 의미한다.According to an exemplary embodiment of the present invention, the residual block obtaining unit 810 may obtain a residual block for a chrominance component using a derived mode (DM). In this case, the derived mode means a method of applying the intra prediction mode for the luminance component to the intra prediction mode of the chrominance component.

본 발명의 다른 실시예에 따르면, 잔여 블록 획득부(810)는 플래너 모드, DC 모드, 수평 모드 (horizontal mode), 수직 모드(vertical mode) 또는 수직 방향에서 8번째 위치한 모드(vertical mode+8 혹은 34 번 모드)를 이용하여, 색차 성분에 대한 잔여 블록을 획득할 수 있다.According to another embodiment of the present invention, the residual block obtaining unit 810 may obtain the residual block 810 in a planar mode, a DC mode, a horizontal mode, a vertical mode, 34 mode), it is possible to obtain a residual block for a chrominance component.

색 성분 간 예측부(820)는 색 표현 방식에 따른 각 색 성분 사이의 관계를 예측하고, 색 성분 사이에 상관성이 있는 부분을 제거하여, 영상 부호화 효율을 높일 수 있다. 이때, 색 성분 간 예측부(820)는 RGB, YUV, YCbCr 등과 같은 색 표현 방식에 의해서 색 성분 간 예측을 수행할 수 있다. 본 발명에서는 휘도 성분(Y)과 색차 성분(U, V) 사이 예측을 통해 발명을 설명하지만, 이는 YUV에만 한정되는 것은 아니고 다른 색 표현 방식에도 동일하게 적용될 수 있다. 예를 들어, 본 발명은 G 성분과 R, B 성분 사이의 예측에서도 적용된다. 또한, 본 발명에서는 4:4:4 형태의 색 성분 데이터를 예로 설명하지만, 4:2:2, 4:2:0, 4:1:1 등과 같은 색차 성분 표현 방식에도, 본 발명이 동일하게 적용될 수 있다.The inter-color-component predicting unit 820 predicts the relationship between the color components according to the color expression scheme, removes a portion having a correlation between the color components, and improves the image encoding efficiency. In this case, the inter-color-component predicting unit 820 can perform inter-color-component prediction by a color expression scheme such as RGB, YUV, YCbCr, and the like. In the present invention, the invention is described by predicting between a luminance component (Y) and a chrominance component (U, V), but the present invention is not limited to YUV but can be applied to other color representation methods as well. For example, the present invention also applies to the prediction between the G component and the R and B components. In the present invention, color component data in the form of 4: 4: 4 is described as an example, but the present invention is equally applicable to a method of expressing chrominance components such as 4: 2: 2, 4: 2: 0, Can be applied.

구체적으로, 색 성분 간 예측부(820)는 잔여 블록 획득부(810)에서 획득한 제1 색 성분에서의 잔여 블록(residual block)과 제2 색 성분의 잔여 블록을 비교하여, 공통되는 색 성분 요소를 제거한 잔여 신호(residual signal)를 생성할 수 있다. 이때, 색 성분 간 예측부(820)가 ‘제1 색 성분에서의 잔여 블록과 제2 색 성분의 잔여 블록을 비교하여 공통되는 색 성분 요소를 제거’하는 것을 ‘색 성분 간 예측’이라고 할 수 있다. 즉, 색 성분 간 예측부(820)는 색 성분 간의 예측을 이용하여, 공통되는 색 성분 요소를 제거한 잔여 신호만을 복호화기에 전송하며, 상술한 과정을 통해, 색 성분 간 예측을 이용한 영상 부호화 장치(800)는 적은 양의 데이터만을 복호화기에 전송하게 되어, 부호화 성능을 향상할 수 있다. 이때, 잔여 신호는 블록 형태를 가질 수 있다.Specifically, the inter-chrominance predictor 820 compares the residual block of the first color component obtained by the residual block obtaining unit 810 with the residual block of the second color component, It is possible to generate a residual signal by removing the element. In this case, the inter-color-component predicting unit 820 may compare the residual block of the first color component with the residual block of the second color component to remove the common color component, have. In other words, the inter-chrominance predictor 820 transmits only the residual signal from which the common color component is removed by using the predictions between the color components, and transmits the residual signal to the image encoding apparatus 800 transmits only a small amount of data to the decoder, thereby improving the coding performance. At this time, the residual signal may have a block form.

이하, 설명의 편의를 위해, ‘제1 색 성분에서의 잔여 블록과 제2 색 성분의 잔여 블록을 비교하여, 공통되는 색 성분 요소를 제거’는 ‘색 성분 간 예측’으로 용어를 통일하여 설명하도록 한다.Hereinafter, for the sake of convenience of explanation, it is assumed that 'the residual block of the first color component is compared with the residual block of the second color component to remove the common color component element' .

이때, 색 성분 간 예측부(820)는 휘도 성분에 기반하여, 색차 성분을 예측할 수 있으며, 역으로, 색 성분 간 예측부(820)는 색차 성분에 기반하여 휘도 성분을 예측할 수도 있다.At this time, the inter-chrominance predictor 820 can predict the chrominance component based on the luminance component, and conversely, the inter-chrominance predictor 820 can predict the luminance component based on the chrominance component.

본 발명의 일 실시예로, 색 성분 간 예측부(820)는 색차 성분의 예측을 위해서 휘도 성분의 잔여 블록을 사용할 수 있다. 구체적으로, 색 성분 간 예측부(820)는 수학식 1을 통해 색차 성분의 예측을 할 수 있다. 색 성분 간 예측부(820)는 색차 성분의 잔여 블록을 통해 휘도 성분의 잔여 블록을 생성할 수도 있으며, 색 성분 간 예측부(820)가 휘도 성분의 잔여 블록을 생성하는 구체적인 방법은 아래 수학식 1과 유사하게 구현할 수 있으므로, 구체적인 상세한 설명은 생략한다.In an embodiment of the present invention, inter-color-component predicting unit 820 may use residual blocks of luminance components for prediction of chrominance components. Specifically, the inter-color component prediction unit 820 can predict a chrominance component using Equation (1). The inter-color component prediction unit 820 may generate a residual block of the luminance component through the residual block of the chrominance component, and a specific method of generating the residual block of the luminance component by the inter- 1, detailed description thereof will be omitted.

Figure pat00001
Figure pat00001

본 발명의 다른 실시예로, 색 성분 간 예측부(820)는 색차 성분의 예측을 위해서, 휘도 성분의 복원된 잔여 블록을 사용할 수 있다. 구체적으로, 색 성분 간 예측부(820)는 수학식 2를 통해 색차 성분의 예측을 할 수 있다. 색차 성분의 복원된 잔여 블록을 통해 휘도 성분의 잔여 블록을 생성할 수도 있으며, 색 성분 간 예측부(820)가 휘도 성분의 잔여 블록을 생성하는 구체적인 방법은 아래 수학식 2과 유사하게 구현할 수 있으므로, 구체적인 상세한 설명은 생략한다.In another embodiment of the present invention, the inter-chrominance predictor 820 can use the reconstructed residual block of the luminance component for predicting the chrominance component. Specifically, the inter-color-component predicting unit 820 can predict a chrominance component using Equation (2). A residual block of a luminance component may be generated through a restored residual block of a chrominance component and a concrete method of generating a residual block of a luminance component by the inter-chrominance predictor 820 may be implemented similarly to the following Equation 2 , Detailed description thereof will be omitted.

Figure pat00002
Figure pat00002

수학식 1 및 수학식 2에서, ΔrC는 잔여 신호를 의미하고, rC 는 색차 성분의 잔여 블록 내 샘플을 의미하며, rL은 휘도 성분의 잔여 블록 내 샘플을 의미하고, r’L은 휘도 성분의 복원된 잔여 블록 내 샘플을 의미한다. 또한, α는 스케일링 팩터를 의미하고, (x, y)는 잔여 블록 내의 샘플의 위치를 나타낸다.In Equation 1 and Equation 2, Δr C refers to the residual signal, r C refers to a sample refers to a sample remaining blocks of color difference components and, r L is the remaining blocks of the luminance component, and r 'L is Means a sample in the restored residual block of the luminance component. Also, a denotes a scaling factor, and (x, y) denotes a position of a sample in a residual block.

본 발명의 또 다른 실시예로, 색 성분 간 예측부(820)는 수학식 1 및 수학식 2와 같이, 휘도 성분의 잔여 블록(또는 휘도 성분의 복원된 잔여 블록)에, 스케일링 팩터를 곱하고, 그 결과에 대해 우측 쉬프트 연산을 수행한 후 색차 성분의 잔여 블록을 가산하여, 잔여 신호를 생성할 수 있다.In another embodiment of the present invention, the inter-color-component predicting unit 820 multiplies the residual block of the luminance component (or the restored residual block of the luminance component) by a scaling factor, as shown in equations (1) The residual signal of the chrominance component may be added to the residual signal after the right shift operation is performed on the result.

이때, 스케일링 팩터는 엔트로피 부호부에서, 최적의 값이 비트스트림에 포함되어 복호화기로 전송될 수 있다. 스케일링 팩터의 예로, 스케일링 팩터는 -8과 8 사이의 정수 값을 가질 수 있다. 다만, 스케일링 팩터는 상술한 값에 한정되는 것은 아니고, 다양한 정수 값을 가질 수 있다. 또한, 스케일링 팩터는 미리 정의된 값의 집합 내에서 선택될 수도 있다.At this time, in the entropy coding unit, the scaling factor may be included in the bitstream and transmitted to the decoder. As an example of a scaling factor, the scaling factor may have an integer value between -8 and 8. However, the scaling factor is not limited to the above-described values, and may have various integer values. The scaling factor may also be selected within a predefined set of values.

본 발명의 또 다른 실시예로, 색 성분 간 예측부(820)는 인트라 예측 모드가 DM 모드일 경우, 특정 색 성분에서의 잔여 블록을 이용하여, 다른 색 성분의 잔여 블록을 예측할 수도 있다.In another embodiment of the present invention, inter-chrominance predictor 820 may predict a residual block of another color component using a residual block in a specific color component when the intra-prediction mode is the DM mode.

이때, 색 성분 간 예측부(820)는 제1 색 성분에서의 잔여 블록을 이용하여, 제2 색 성분의 잔여 블록을 생성할지 여부에 대한 정보를 복호화기로 전송할 수 있다. 제2 색 성분의 잔여 블록을 생성할지 여부에 대한 정보는 변환 유닛 단위로 생성될 수 있으며, 제2 색 성분의 잔여 블록을 생성할지 여부에 대한 정보는 변환 유닛 단위로 비트스트림에 플래그(flag) 형식으로 포함시킬 수 있다. 스케일링 팩터 값은 스케일링 팩터의 부호(sign) 정보와, 스케일링 팩터의 절대값(absolute value)이 분리되어, 비트스트림에 포함될 수 있다.At this time, the inter-color-component predicting unit 820 may use the residual block in the first color component to transmit information on whether to generate the residual block of the second color component to the decoder. Information on whether or not to generate a residual block of the second color component can be generated on a conversion unit basis and information on whether or not to generate a residual block of the second color component is flagged in the bit stream on a conversion unit basis. Format. The scaling factor value may be included in the bitstream by separating the sign information of the scaling factor and the absolute value of the scaling factor.

색 성분 간 예측부(820)는 기 설정된 조건을 만족하는 경우, 선택적으로 색 성분 간 예측을 할 수 있다. 색 성분 간 예측부(820)는 1) 부호화 유닛, 예측 유닛, 변환 유닛이 일정한 크기를 만족하는 경우, 선택적으로 색 성분 간 예측을 할 수 있으며, 2) 색 성분 간 예측부(820)는 특정 예측 모드(인트라/인터 모드)를 만족하는 경우, 선택적으로 색 성분 간 예측을 할 수 있고, 3) 특정 인트라 예측 모드를 만족하는 경우, 선택적으로 색 성분 간 예측을 선택적으로 할 수 있다. 또한, 색 성분 간 예측부(820)는 4) 변환 스킵 모드를 사용할 때만 색 성분 간 예측을 선택적으로 할 수 있으며, 색 성분 간 예측부(820)는 5) 무손실 부호화를 수행할 때만 색 성분 간 예측을 선택적으로 할 수도 있다.The inter-color-component predicting unit 820 can selectively perform inter-color-component prediction when the predetermined condition is satisfied. The inter-color-component predicting unit 820 can selectively perform inter-color component prediction when 1) the encoding unit, the prediction unit, and the conversion unit satisfy a certain size, and 2) Inter-chrominance prediction can be selectively performed when the prediction mode (intra / inter mode) is satisfied, and 3) inter-color-component prediction can be selectively selectively performed when the intra-prediction mode is satisfied. The inter-color-component predicting unit 820 can selectively perform inter-color-component prediction only when 4) the transition skip mode is used, and 5) the inter-color predicting unit 820 predicts inter- The prediction may be optional.

본 발명의 일 예로, 색 성분 간 예측부(820)는 부호화 유닛, 예측 유닛 또는 변환 유닛이 기 설정된 크기를 만족하는 경우, 선택적인 색 성분 간 예측을 할 수 있다.In an embodiment of the present invention, the inter-color-component predicting unit 820 can perform selective inter-color component prediction when the encoding unit, the prediction unit or the conversion unit satisfies a predetermined size.

이때, 색 성분 간 예측부(820)는 특정 크기 이상의 유닛에 대해서만 선택적인 색 성분 간 예측을 할 수 있으며, 이로써, 색 성분 간 예측부(820)는 유닛의 크기가 너무 작을 경우, 스케일링 팩터를 시그널링하는데 필요한 비트가 증가하는 부호화 비효율을 극복할 수 있다. 구체적인 예로, 색 성분 간 예측부(820)는 8x8 크기 이상의 변환 유닛에서만 휘도 성분의 잔여 블록(또는, 휘도 성분의 복원된 잔여 블록)을 이용하여, 색차 성분의 잔여 블록 예측을 할 수 있다.In this case, the inter-color-component predicting unit 820 can perform selective inter-color-component prediction only for units of a specific size or larger, whereby the inter-color-component predicting unit 820 predicts a scaling factor It is possible to overcome the coding inefficiency in which bits required for signaling are increased. As a specific example, the inter-color-component predicting unit 820 can perform residual block prediction of a chrominance component using only a residual block of a luminance component (or a restored residual block of a luminance component) only in a conversion unit of 8x8 size or larger.

이때, 색 성분 간 예측부(820)는 특정 크기 이하의 유닛에 대해서만 선택적인 색 성분 간 예측을 할 수도 있으며, 이로써 색 성분 간 예측부(820)는 유닛의 크기가 지나치게 큰 경우, 스케일링 팩터가 큰 영역에 적용되는 비효율을 극복할 수 있다. 구체적인 예로, 색 성분 간 예측부(820)는 32x32 크기 이하의 부호화 유닛에서만 휘도 성분의 잔여 블록(혹은 휘도 성분의 복원된 잔여 블록)을 사용하여, 색차 성분의 예측을 할 수 있다.In this case, the inter-color-component predicting unit 820 may perform selective inter-color-component prediction only on units of a specific size or less. Thus, when the size of the unit is excessively large, It is possible to overcome the inefficiency applied to a large area. As a concrete example, the inter-color-component predicting unit 820 can predict a chrominance component using only the residual block of the luminance component (or the restored residual block of the luminance component) only in the coding unit of 32x32 or smaller.

이때, 색 성분 간 예측부(820)는 유닛/블록의 크기를 고정하여, 선택적인 색 성분 간 예측을 할 수 있다. 구체적인 예로, 색 성분 간 예측부(820)는 4x4 크기의 변환 유닛에서만 휘도 성분의 잔여 블록(혹은 휘도 성분의 복원된 잔여 블록)을 사용하여 색차 성분의 예측을 할 수 있다.At this time, inter-color component prediction unit 820 can perform selective inter-color component prediction by fixing the unit / block size. As a specific example, the inter-color-component predicting unit 820 can predict a chrominance component using a residual block of a luminance component (or a restored residual block of a luminance component) only in a 4x4-size conversion unit.

이때, 색 성분 간 예측부(820)는 부호화 유닛이 최소 크기의 부호화 유닛에 해당할 때만 선택적인 색 성분 간 예측을 할 수 있다.At this time, the inter-color-component predicting unit 820 can perform selective inter-color-component prediction only when the encoding unit corresponds to a minimum-size encoding unit.

이때, 색 성분 간 예측부(820)는 부호화 유닛이 최대 크기의 부호화 유닛에 해당할 때만 선택적인 색 성분 간 예측을 할 수 있다.At this time, the inter-color-component predicting unit 820 can perform selective inter-color-component prediction only when the encoding unit corresponds to the encoding unit of the maximum size.

이때, 색 성분 간 예측부(820)는 최상위 변환 유닛일 경우에만 선택적인 색 성분 간 예측을 할 수 있다.At this time, the inter-color-component predicting unit 820 can perform selective inter-color-component prediction only when it is the highest-level converting unit.

이때, 색 성분 간 예측부(820)는 최하위 변환 유닛일 경우에만 선택적인 색 성분 간 예측을 할 수 있다.At this time, the inter-color-component predicting unit 820 can perform selective inter-color-component prediction only when it is the least-significant conversion unit.

여기서, 기 설정된 특정 유닛의 크기는 부호화기와 복호화기에서 미리 정의한 고정된 크기를 사용할 수 있다. 또한, 기 설정된 특정 유닛의 크기는 시퀀스 파라미터 세트(sequence parameter set, SPS), 픽처 파라미터 세트(picture parameter set, PPS), 슬라이스 헤더(slice header)와 같이 상위 레벨 구문(high level syntax)에서 설정된 크기를 사용할 수 있다.Here, the predetermined size of the predetermined unit can be a fixed size predefined by the encoder and the decoder. The size of the predetermined unit may be set to a size set in a high level syntax such as a sequence parameter set (SPS), a picture parameter set (PPS), a slice header, Can be used.

이때, SPS는 시퀀스 단위의 수준에서 전송되는 신택스 요소를 포함하는 구문을 의미하며, PPS는 여러 장의 픽처 레벨에서의 신택스를 표현하는 파라미터 세트를 의미한다. 또한, 슬라이스 헤더는 슬라이스가 참조하는 PPS 아이디, 슬라이스의 타입, 슬라이스가 참조하는 픽처 리스트에 대한 정보 등을 포함할 수 있다.In this case, the SPS means a syntax including a syntax element transmitted at the level of a sequence unit, and the PPS means a parameter set expressing a syntax at a plurality of picture levels. In addition, the slice header may include a PPS ID referenced by the slice, a type of the slice, information on the picture list referenced by the slice, and the like.

본 발명의 다른 예로, 색 성분 간 예측부(820)는 특정 예측 모드(인트라/인터 모드)일 경우에만, 선택적인 색 성분간 예측을 할 수 있다.As another example of the present invention, the inter-color-component predicting unit 820 can perform selective inter-color-component prediction only when it is a specific prediction mode (intra / inter mode).

이때, 색 성분 간 예측부(820)는 부호화 유닛의 예측 모드가 인트라 예측 모드일 경우에만 색 성분 간의 잔여 블록에 대한 예측을 선택적으로 할 수 있다.At this time, the inter-color-component predicting unit 820 can selectively predict the residual block between color components only when the prediction mode of the encoding unit is the intra-prediction mode.

이때, 색 성분 간 예측부(820)는 부호화 유닛의 예측 모드가 인터 예측 모드일 경우에만 선택적인 색 성분 간 예측을 할 수 있다.At this time, the inter-color-component predicting unit 820 can perform selective inter-color-component prediction only when the prediction mode of the encoding unit is the inter-prediction mode.

본 발명의 또 다른 실시예로, 색 성분 간 예측부(820)는 특정 인트라 예측 모드일 때에만, 색 성분 간의 잔여 블록에 대한 예측을 선택적으로 할 수 있다In another embodiment of the present invention, the intercolor inter-component prediction unit 820 can selectively predict a residual block between color components only in a specific intra prediction mode

이때, 색 성분 간 예측부(820)는 부호화기 및 복호화기의 계산 복잡도 감소를 위해서, 상대적으로 계산 복잡도가 낮은 플래너 모드, DC 모드, 수평 모드, 수직 모드 중 적어도 하나를 사용하여 선택적인 색 성분 간 예측을 할 수도 있다.In this case, the inter-color-component predicting unit 820 may use at least one of a planar mode, a DC mode, a horizontal mode, and a vertical mode having a relatively low computation complexity to reduce the computational complexity of the encoder and the decoder, You can also make predictions.

본 발명의 또 다른 실시예로, 색 성분 간 예측부(820)는 변환 스킵 모드를 사용할 때만 선택적인 색 성분 간 예측을 할 수 있다.In another embodiment of the present invention, the inter-chrominance predictor 820 can perform selective inter-color inter-component prediction only when the transition skip mode is used.

본 발명의 또 다른 실시예로, 색 성분 간 예측부(820)는 무손실 부호화를 수행할 때만 선택적인 색 성분 간 예측을 할 수 있다.In another embodiment of the present invention, the inter-chrominance predictor 820 can perform selective inter-chrominance prediction only when lossless coding is performed.

상술한 색 성분 간 예측부(820)는 변환부(830) 및 양자화부(840) 이후에 위치할 수 있다. 즉, 색 성분 간 예측부(820)는 공간 영역이 아닌 주파수 영역에서, 색 성분 간의 예측을 선택적으로 할 수 있다.The inter-color-component predicting unit 820 may be located after the converting unit 830 and the quantizing unit 840. That is, the inter-color-component predicting unit 820 can selectively perform prediction between color components in a frequency domain other than a spatial domain.

변환부(830)는 색 성분 간 예측부(820)에서 색 성분간 예측을 통해 생성한 잔여 신호를 변환(Transform)할 수 있다. 구체적으로, 변환부(830)는 잔여 신호에 대해 공간 영역의 신호를 주파수 영역의 신호로 변환하여, 변환 계수를 생성할 수 있다.The transforming unit 830 transforms the residual signal generated by inter-chrominance prediction in inter-chrominance predicting unit 820. Specifically, the transform unit 830 can transform the signal in the spatial domain into the signal in the frequency domain with respect to the residual signal, and generate the transform coefficient.

이때, 변환부(830)는 DCT(Discrete Cosine Transform) 또는 DST(Discrete Sine Transform)를 이용하여 변환을 수행할 수 있으며, 잔여 신호를 변환하기 위해 DCT를 적용할지 DST를 적용할지는 추가적인 정보를 기초로 하여 정해질 수 있다. 아울러, 추가적인 정보는 잔여 블록을 생성하기 위해 사용된 예측 단위의 예측 모드(인트라/인터), 변환 신호의 크기 또는 색 성분(휘도 신호인지 색차 신호인지)일 수 있다.At this time, the transforming unit 830 may perform the transform using DCT (Discrete Cosine Transform) or DST (Discrete Sine Transform). Based on the additional information, whether to apply DCT or DST to transform the residual signal . Further, the additional information may be a prediction mode (intra / inter) of a prediction unit used for generating a residual block, a size of a conversion signal or a color component (whether it is a luminance signal or a color difference signal).

이때, 변환부(830)는 변환 과정을 생략할 수 있으며, 변환 과정을 생략하는 과정은 변환 스킵(transform skip)으로 지칭될 수 있다. 변환부(830)가 변환 스킵을 적용할 경우, 잔여 신호는 변환 과정 없이 바로 양자화된다. 변환부(830)가 변환 스킵을 적용할 수 있는 예로, 스크린 컨텐츠(screen contents)(예컨대, 문서 영상이나 혹은 파워포인트의 프리젠테이션 영상 등)를 들 수 있으며, 변환 스킵 모드를 통해 부호화 효율을 높일 수 있다.At this time, the converting unit 830 may skip the converting process, and the process of omitting the converting process may be referred to as a transform skip. When the transforming unit 830 applies a transform skip, the residual signal is directly quantized without a transform process. Examples of the conversion unit 830 to which the conversion skip can be applied include screen contents (e.g., a document image or a presentation image of a power point), and the coding efficiency is increased through the conversion skip mode .

또한 이때, 변환부(830)는 무손실 부호화가 사용될 경우에도, 변환 과정을 생략하여, 영상 데이터를 무손실로 부호화할 수 있다Also, at this time, even if lossless coding is used, the conversion unit 830 can omit the conversion process and can encode the image data in a lossless manner

양자화부(840)는 변환부(830)에서 변환된 변환 계수를 양자화하여, 양자화된 변환 계수 레벨을 생성할 수 있다. 이때, 양자화부(840)는 양자화 매개 변수를 이용해서 양자화 정도를 달리 할 수 있으며, 양자화부(840)는 양자화 행렬을 사용하여, 변환 계수에 대해 주파수 별로 서로 다른 스텝 사이즈(step size)를 적용할 수 있다.The quantization unit 840 can quantize the transform coefficients transformed by the transform unit 830 to generate quantized transform coefficient levels. At this time, the quantization unit 840 may vary the degree of quantization using the quantization parameter, and the quantization unit 840 may apply a different step size to the transformation coefficient using the quantization matrix. can do.

이때, 양자화부(840)는 무손실 부호화가 사용될 경우, 양자화 과정을 생략하여, 영상 데이터를 무손실로 부호화할 수 있다.At this time, when lossless coding is used, the quantization unit 840 can eliminate the quantization process and encode the image data in a lossless manner.

엔트로피 부호화부(850)는 다양한 값을 갖는 심볼을 입력 받아, 통계적 중복성을 제거하면서, 복호 가능한 2진수의 열(bin sequence/string)로 표현할 수 있다. 여기서, 심볼이란 부호화/복호화 대상 구문 요소(syntax element) 및 부호화 파라미터(coding parameter), 잔여 블록의 값 등을 의미한다. 부호화 파라미터는 부호화 및 복호화에 필요한 매개변수로서, 구문 요소와 같이 부호화기에서 부호화되어 복호화기로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있으며, 영상을 부호화하거나 복호화할 때 필요한 정보를 의미한다. 부호화 파라미터는 예를 들어 인트라/인터 예측모드, 이동/움직임 벡터, 참조 영상 색인, 부호화 블록 패턴, 잔여 블록 내 계수 유무, 변환 계수, 양자화된 변환 계수 레벨, 양자화 매개 변수, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다. 또한 잔여 블록은 입력 블록과 예측 블록의 차이를 의미할 수도 있지만, 입력 블록과 예측 블록의 차이가 변환(transform)된 형태의 블록 또는 입력 블록과 예측 블록의 차이가 변환되고 양자화된 형태의 블록을 의미할 수도 있다.The entropy encoding unit 850 receives symbols having various values and can represent the decoded binary sequence (bin sequence / string) while eliminating statistical redundancy. Here, the symbol means a syntax element to be encoded / decoded, a coding parameter, a value of a residual block, and the like. The encoding parameter is a parameter required for encoding and decoding. The encoding parameter may include information that can be inferred in an encoding or decoding process as well as information encoded and encoded in a decoder such as a syntax element, and may be encoded or decoded It means information that is needed when. The coding parameters include, for example, intra / inter prediction mode, motion / motion vector, reference picture index, coding block pattern, presence or absence of intra-block residual coefficients, transform coefficients, quantized transform coefficient levels, quantization parameters, And the like. Also, the residual block may mean the difference between the input block and the prediction block, but the difference between the input block and the prediction block may be transformed, or the difference between the input block and the prediction block may be transformed and the quantized block may be transformed It may mean.

보다 상세하게, 엔트로피 부호화는 CABAC 엔트로피 부호화를 사용할 수 있으며, CABAC 엔트로피 부호화는, 이진화되지 않은 심볼을 이진화(binarization)하여 빈으로 변환하고, 주변 및 부호화 대상 블록의 부호화 정보 혹은 이전 단계에서 부호화된 심볼/빈의 정보를 이용하여 문맥 모델(context model)을 결정하고, 결정된 문맥 모델에 따라 빈(bin)의 발생 확률을 예측하여, 빈의 산술 부호화(arithmetic encoding)의 수행을 통해 비트스트림을 생성할 수 있다. 이때, CABAC 엔트로피 부호화는 문맥 모델 결정 후 다음 심볼/빈의 문맥 모델을 위해 부호화된 심볼/빈의 정보를 이용하여, 문맥 모델을 업데이트할 수 있다. 여기서, 이진화란 심볼의 값을 2진수의 열로 표현하는 것을 의미한다. 빈은 심볼이 이진화를 통해 2진수의 열로 표현될 때, 각각의 2진수의 값(0 또는 1)을 의미한다.More specifically, the entropy encoding can use CABAC entropy encoding. The CABAC entropy encoding binarizes the non-binarized symbols and converts the binarized symbols into encapsulated information of surrounding and encoding target blocks, A context model is determined using the information of the bean, the probability of occurrence of a bin is predicted according to the determined context model, and a bitstream is generated by performing arithmetic encoding of the bean . At this time, the CABAC entropy encoding can update the context model using the information of the encoded symbol / bin for the context model of the next symbol / bean after the context model is determined. Here, binarization means that the value of a symbol is represented by a binary number column. A bean refers to the value (0 or 1) of each binary number when the symbol is represented as a sequence of binary numbers through binarization.

이때, 엔트로피 부호화부(850)는 PPS 내에 플래그를 포함하여, 색 성분 간 예측 방법이 픽처 내에서 사용하는지에 대해 복호화기로 시그널링할 수 있다.At this time, the entropy encoding unit 850 may include a flag in the PPS to signal to the decoder whether the inter-color prediction method is used in a picture.

이때, 엔트로피 부호화부(850)는 색 성분 간 예측의 사용 유무에 대해 비트스트림에 부호화 유닛 혹은 변환 유닛 단위의 플래그를 포함시켜 복호화기로 시그널링할 수 있다.At this time, the entropy encoding unit 850 can include the encoding unit or the flag for each conversion unit in the bitstream to signal the presence or absence of the intercolorcomparison prediction to the decoder.

이때, 엔트로피 부호화부(850)가 CABAC를 이용할 경우, 스케일링 팩터의 부호 정보를 바이패스 모드(bypass mode)로 부호화할 수 있다.At this time, when the entropy encoding unit 850 uses CABAC, the sign information of the scaling factor can be encoded into the bypass mode.

이때, 엔트로피 부호화부(850)는 SPS (sequence parameter set), PPS (picture parameter set), 슬라이스 헤더(slice header)와 같이, 상위 레벨 구문(high level syntax)에 특정 유닛(또는 블록)의 크기와 관련된 정보를 부호화하여 복호화기로 시그널링할 수 있다.
At this time, the entropy encoding unit 850 encodes the size of a specific unit (or block) into a high level syntax such as a sequence parameter set (SPS), a picture parameter set (PPS), and a slice header Related information can be encoded and signaled to the decoder.

도 9는 본 발명의 일 실시예에 따른, 색 성분 간 보상을 이용하는 영상 복호화 장치의 블록도이다.9 is a block diagram of an image decoding apparatus using inter-chrominance compensation according to an embodiment of the present invention.

색 성분 간 보상을 이용하는 영상 복호화 장치(900)는 엔트로피 복호화부(910), 역양자화부(920), 역변환부(930), 색 성분간 보상부(940) 및 복원 블록 획득부(950)를 포함할 수 있다.The image decoding apparatus 900 using inter-color component compensation includes an entropy decoding unit 910, an inverse quantization unit 920, an inverse transform unit 930, a inter-color component compensation unit 940, and a reconstruction block obtaining unit 950 .

색 성분 간 보상을 이용하는 영상 복호화 장치(900)는 상술한 영상 복호화 장치(200)를 의미할 수 있다. 따라서, 색 성분 간 보상을 수행하는 영상 복호화 장치(900)는 상술한 바와 같이 인트라 모드 또는 인터 모드에 기반하여 영상 복호화를 수행할 수 있다. 또한, 색 성분 간 예측을 이용하는 영상 복호화 장치(900)는 상술한 색 성분 간 예측을 이용하는 영상 부호화 장치(800)의 역과정을 수행할 수 있다. 따라서, 이하, 본 명세서에서는 상술한 기재와 중복되는 내용을 생략하여 작성한다.The image decoding apparatus 900 using the inter-color component compensation may mean the image decoding apparatus 200 described above. Accordingly, the image decoding apparatus 900 for performing inter-color component compensation can perform image decoding based on the intra mode or the inter mode as described above. In addition, the image decoding apparatus 900 using inter-color component prediction can perform an inverse process of the image encoding apparatus 800 using inter-color component prediction described above. Therefore, in the following description, contents overlapping with the above-described description will be omitted.

엔트로피 복호화부(910)는 2진수의 열을 입력 받아 양자화된 데이터를 생성하는 방법이며, 엔트로피 복호화부(920)는 상술한 엔트로피 부호화부(850)의 역과정을 수행한다.The entropy decoding unit 910 receives the binary sequence and generates quantized data. The entropy decoding unit 920 performs an inverse process of the entropy encoding unit 850 described above.

보다 상세하게, 엔트로피 복호화부(920)는 CABAC 엔트로피 복호화를 수행할 수 있으며, CABAC 엔트로피 복호화는, 비트스트림에서 각 구문 요소에 해당하는 빈을 수신하고, 복호화 대상 구문 요소 정보와 주변 및 복호화 대상 블록의 복호화 정보 혹은 이전 단계에서 복호화된 심볼/빈의 정보를 이용하여, 문맥 모델을 결정할 수 있다. 이때, 엔트로피 복호화부(920)는 결정된 문맥 모델에 따라 빈의 발생 확률을 예측하여, 빈의 산술 복호화를 수행함으로써, 각 구문 요소의 값에 해당하는 심볼을 생성할 수 있다. 아울러, CABAC 엔트로피 복호화는 문맥 모델 결정 후 다음 심볼/빈의 문맥 모델을 위해 복호화된 심볼/빈의 정보를 이용하여 문맥 모델을 업데이트할 수 있다.In more detail, the entropy decoding unit 920 can perform CABAC entropy decoding, and the CABAC entropy decoding is performed by receiving a bean corresponding to each syntax element in the bitstream, decoding the syntax element information to be decoded, The context model can be determined using the decoded information of the symbol / bin decoded in the previous step or the information of the symbol / bin decoded in the previous step. At this time, the entropy decoding unit 920 can generate a symbol corresponding to the value of each syntax element by predicting the occurrence probability of the bean according to the determined context model and performing arithmetic decoding of the bean. In addition, the CABAC entropy decoding can update the context model using the information of the decoded symbol / bin for the context model of the next symbol / bean after determining the context model.

이때, 엔트로피 복호화부(910)는 PPS 내에 포함된 플래그를 이용하여, 수신된 픽처가 색 성분 간 예측을 사용하는지에 대해 복호화할 수 있다.At this time, the entropy decoding unit 910 can decode whether or not the received picture uses inter-chroma interim prediction, using the flag included in the PPS.

이때, 엔트로피 복호화부(910)는 부호화 유닛 혹은 변환 유닛 단위의 플래그를 복호화하여, 색 성분 간 예측의 유무를 결정할 수 있다.At this time, the entropy decoding unit 910 can determine the presence or absence of intercolor component prediction by decoding the flag of the encoding unit or the conversion unit unit.

이때, 엔트로피 복호화부(910)는 스케일링 팩터 값을 현재 블록 주변에 복호화된 블록의 스케일링 팩터 값으로부터 예측하여 복호화할 수 있다.At this time, the entropy decoding unit 910 can predict and decode the scaling factor value from the scaling factor value of the block decoded around the current block.

이때, 엔트로피 복호화부(910)는 CABAC을 이용할 경우 스케일링 팩터의 부호 정보를 바이패스 모드(bypass mode)로 복호화할 수 있다.At this time, the entropy decoding unit 910 can decode the sign information of the scaling factor into the bypass mode when CABAC is used.

이때, 엔트로피 복호화부(910)는 SPS (sequence parameter set), PPS (picture parameter set), 슬라이스 헤더(slice header)와 같이 상위 레벨 구문(high level syntax)으로부터 특정 유닛(또는 블록)의 크기와 관련된 정보를 복호화할 수 있다.At this time, the entropy decoding unit 910 decodes the high level syntax, such as a sequence parameter set (SPS), a picture parameter set (PPS), and a slice header, Information can be decoded.

역양자화부(920)는 색 성분 간 예측을 이용하는 영상 부호화 장치(800)에서 제공된 양자화 매개 변수를 기반으로 변환 계수 레벨에 대해 역양자화를 수행하여 변환 계수를 생성한다. 역양자화는 스케일링(scaling)이라고도 불리며, 이는 변환 계수 레벨에 인수를 곱하는 과정을 의미한다. 이때, 역양자화부(920)는 상술한 양자화부(840)의 역과정을 수행하며, 이하 양자화부와 공통되는 내용은 설명의 편의를 위해 생략한다.The inverse quantization unit 920 performs inverse quantization on the transform coefficient levels based on the quantization parameters provided by the image encoding apparatus 800 using inter-chrominance prediction to generate transform coefficients. Inverse quantization is also referred to as scaling, which means the process of multiplying the transform coefficient level by an argument. At this time, the inverse quantization unit 920 performs an inverse process of the quantization unit 840 described above. Hereinafter, the inverse quantization unit 920 omits the contents common to the quantization unit for convenience of explanation.

이때, 역양자화부(920)는 부호화기에서 무손실 부호화를 사용한 경우, 역양자화 과정을 생략할 수 있다.At this time, the inverse quantization unit 920 may omit the inverse quantization process when lossless coding is used in the encoder.

역변환부(930)는 역양자화 과정을 통해 생성된 변환 계수에 대해 역변환을 수행하여 복원된 잔여 블록을 생성할 수 있다. 역변환은 색 성분 간 예측을 이용하는 영상 부호화 장치(800)에서 사용한 변환 방법에 대응하여, 각각 역 DCT 및 역 DST를 수행할 수 있다.The inverse transform unit 930 may perform inverse transform on the transform coefficients generated through the inverse quantization process to generate the reconstructed residual block. Inverse transform can perform inverse DCT and inverse DST respectively corresponding to the transform method used in the image encoding apparatus 800 using inter-chromatic inter-prediction.

이때, 역변환부(930)는 색 성분 간 예측을 이용하는 영상 부호화 장치(800)에서 무손실 부호화를 사용한 경우, 역변환 과정을 생략할 수 있다.At this time, the inverse transform unit 930 may skip the inverse transform process when lossless coding is used in the image coding apparatus 800 using inter-chrominance prediction.

또한, 역변환부(930)는 색 성분 간 예측을 이용하는 영상 부호화 장치(800)에서 변환 스킵을 적용한 경우, 역변환 과정을 생략할 수도 있다.In addition, the inverse transform unit 930 may skip the inverse transform process when the transform skip is applied in the image encoding apparatus 800 using inter-chromatic inter-prediction.

색 성분 간 보상부(940)는 상술한 색 성분 간 예측부(820)의 역과정에 해당한다. 색 성분 간 보상부(940)는 잔여 신호와, 제1 색 성분의 잔여 블록을 더하여, 제2 색 성분의 잔여 블록을 복원할 수 있으며, 이때, 잔여 신호는 상술한 바와 같이 제1 색 성분에서의 잔여 블록(residual block)과 제2 색 성분의 잔여 블록을 비교하여, 공통되는 색 성분 요소가 제거된 신호를 의미한다. 즉, 색 성분 간 보상부(940)는 역변환부(930)를 통해 획득한 잔여 신호(residual signal)와 제1 색 성분의 잔여 블록(residual block)을 이용하여 색 성분 간 보상을 수행한다. 이때, ‘잔여 신호와, 제1 색 성분의 잔여 블록을 더하는 과정’은 ‘색 성분 간 보상’이라고 할 수 있으며, 이하, 설명의 편의를 위하여 ‘잔여 신호와, 제1 색 성분의 잔여 블록을 더하는 과정’은 ‘색 성분 간 보상’이라고 용어를 통일하여 서술한다.The inter-color component compensation unit 940 corresponds to the inverse process of the inter-color component prediction unit 820 described above. The inter-color-component compensating unit 940 may add the residual signal and the residual block of the first color component to recover the residual block of the second color component. At this time, The residual block of the second color component is compared with the residual block of the second color component, and the common color component is removed. That is, the inter-color-component compensation unit 940 performs compensation between the color components using the residual signal obtained through the inverse transform unit 930 and the residual block of the first color component. Hereinafter, the 'residual signal and the process of adding the residual block of the first color component' may be referred to as 'inter-color component compensation'. Hereinafter, Addition process "refers to" compensation between color components ".

이때, 색 성분 간 보상부(940)는 상술한 색 성분 간 예측부(820)의 역과정에 해당하므로, 색차 성분의 보상을 위해서 제1 색 성분으로 휘도 성분을 사용할 수 있으며, 마찬가지로 색 성분 간 보상부(940)는 휘도 성분의 보상을 위하여 제1 색 성분으로 색차 성분을 이용할 수도 있다.Since the inter-color-component compensating unit 940 corresponds to the inverse process of the inter-color-component predicting unit 820, the luminance component can be used as the first color component for compensating the chrominance component, The compensation unit 940 may use a chrominance component as a first color component to compensate for the luminance component.

본 발명의 일 예로, 색 성분 간 보상부(940)는 색차 성분의 잔여 블록 보상을 위해서 수학식 3과 같이 휘도 성분의 잔여 블록을 사용할 수 있다.In an exemplary embodiment of the present invention, the inter-color-component compensating unit 940 may use the residual block of the luminance component as shown in Equation (3) for compensating the residual block of the chrominance component.

Figure pat00003
Figure pat00003

여기서, r’C는 색 성분 간 보상을 통해 생성된 색차 성분의 복원된 잔여 블록 내 샘플을 의미하고, Δr’C 는 잔여 신호 내 샘플을 의미하고, r’L은 휘도 성분의 복원된 잔여 블록 내 샘플을 의미한다. 또한, α는 스케일링 팩터를 의미하고, (x, y)는 잔여 블록 내의 샘플의 위치를 나타낸다.Here, r ' C denotes a sample in the reconstructed residual block of the chrominance component generated through compensation between color components,? R' C denotes a sample in the residual signal, r ' L denotes a restored residual block of the luminance component It means my sample. Also, a denotes a scaling factor, and (x, y) denotes a position of a sample in a residual block.

이때, 수학식 3과 같이, 색 성분 간 보상부(940)는 복원된 휘도 성분의 잔여 블록에 스케일링 팩터를 곱하고, 그 결과에 대해 우측 쉬프트 연산을 수행한 후, 색차 성분의 잔여 신호를 더하여, 색차 성분의 잔여 블록을 복원할 수 있다. 즉, 색 성분 간 보상부(940)는 색 성분 간 보상을 통해 색차 성분의 잔여 블록을 복원할 수 있다. 스케일링 팩터는 일 예로 -8과 8 사이의 정수 값을 가질 수 있지만, 이에 한정되는 것은 아니고 다양한 정수 값을 가질 수 있다. 또한, 스케일링 팩터는 미리 정의된 값의 집합 내에서 선택될 수 있고, 엔트로피 복호화 단계에서 최적의 스케일링 팩터 값이 비트스트림으로부터 복호화될 수도 있다.As shown in Equation (3), the inter-color-component compensating unit 940 multiplies the residual block of the restored luminance component by a scaling factor, performs a right-shift operation on the result, adds the residual signal of the chrominance component, The residual block of the chrominance component can be restored. That is, the inter-color-component compensating unit 940 can recover the residual block of the chrominance component by compensating inter-color components. The scaling factor may, for example, have an integer value between -8 and 8, but it is not limited thereto and may have various integer values. In addition, the scaling factor may be selected within a predefined set of values, and the optimal scaling factor value in the entropy decoding step may be decoded from the bitstream.

본 발명의 다른 예로, 인트라 예측 모드가 DM 모드일 경우, 색 성분 간 보상부(940)는 색차 성분의 잔여 블록을 생성하기 위해 휘도 성분의 복원된 잔여 블록을 이용할 수도 있다. 이때, 색 성분 간 보상부(940)는 비트스트림에 포함된 변환 유닛 단위의 플래그를 이용하여, 색 성분 간 보상 유무를 결정할 수 있다. 또한, 스케일링 팩터 값은 스케일링 팩터의 부호(sign)값과 절대값 각각을 통해 복호화될 수 있다.In another example of the present invention, when the intraprediction mode is the DM mode, the inter-color-component compensator 940 may use the reconstructed residual block of the luminance component to generate the residual block of the chrominance component. At this time, the inter-color-component compensating unit 940 can determine the presence or absence of compensation between the color components using the flags of the conversion unit units included in the bit stream. In addition, the scaling factor value may be decoded through a sign value and an absolute value of the scaling factor, respectively.

색 성분 간 보상부(940)는 상술한 색 성분 간 예측부(820)의 역과정에 해당하므로, 색 성분 간 보상부(940)가 기 설정된 조건을 만족하는 경우, 색 성분 간 보상을 선택적으로 할 수 있다. 구체적인 경우로, 색 성분 간 보상부(940)는 1) 부호화 유닛, 예측 유닛, 변환 유닛이 특정 크기를 만족하는 경우, 선택적으로 색 성분 간 보상을 할 수 있으며, 2) 색 성분 간 보상부(940)는 특정 예측 모드(인트라/인터 모드)를 만족하는 경우, 선택적으로 색 성분 간 보상을 할 수 있고, 3) 특정 인트라 예측 모드일 경우, 선택적인 색 성분 간 보상을 할 수 있다. 또한, 색 성분 간 보상부(940)는 4) 변환 스킵 모드를 사용할 때만 색 성분 간 보상을 선택적으로 할 수 있으며, 색 성분 간 보상부(940)는 5) 무손실 부호화를 수행할 때만 색 성분 간 보상을 선택적으로 할 수도 있다.Since the inter-color-component compensating unit 940 corresponds to the inverse process of the inter-color-component predicting unit 820 described above, when the inter-color-component compensating unit 940 satisfies predetermined conditions, can do. In concrete terms, the inter-color-component compensating unit 940 can selectively perform inter-color component compensation when 1) the encoding unit, the prediction unit, and the conversion unit satisfy a certain size, and 2) 940 can selectively compensate inter-color components when a specific prediction mode (intra / inter mode) is satisfied, and 3) perform compensation between selective inter-color components in a specific intra prediction mode. The inter-color-component compensating unit 940 can selectively perform inter-color-component compensation only when 4) the transition skip mode is used, and 5) the inter-color- The compensation may also be optional.

이때, 상술한 바와 같이 색 성분 간 보상부(940)는 색 성분 간 예측부(820)의 역과정에 해당하므로, 선택적으로 색 성분 간 보상을 하는 구체적인 실시예 또한, 상술한 선택적인 색 성분 간 예측의 역과정에 해당한다. 따라서, 상술한 선택적인 색 성분 간 예측 실시예의 ‘부호화’를 ‘복호화’로 해석하면, 색 성분 간 보상부(940)가 선택적으로 색 성분 간 보상을 하는 구체적인 실시예를 얻을 수 있다.Since the inter-color compensator 940 corresponds to an inverse process of the inter-color predictor 820 as described above, a specific embodiment for selectively compensating inter-color components is also possible. This corresponds to the inverse process of forecasting. Therefore, by analyzing 'encoding' in the selective inter-chrominance prediction example described above, the inter-color-component compensating unit 940 selectively obtains the inter-color component compensation.

지금까지, 색 성분 간 보상부(940)에서는 설명의 편의를 위해 ‘색 성분 간 보상’이라는 용어를 사용하였으나, ‘색 성분 간 보상’은 제1 색 성분에서의 잔여 블록과 제2 색 성분의 잔여 블록을 비교하여, 공통되는 색 성분 요소를 제거하는 것을 의미할 수도 있다. 즉, 지금까지 ‘색 성분 간 보상’이라는 용어를 사용하였다고 해서, 본 명세서가 색 성분 간 보상부(940)에서 ‘색 성분 간 예측’을 하는 것을 권리범위에서 제외하는 것은 아니다.In the inter-color-component compensating unit 940, the term 'inter-color component compensation' is used for the sake of convenience of explanation, but the 'inter-color component compensation' It may mean to compare the remaining blocks to remove the common color component. That is, the use of the term 'inter-color component compensation' does not exclude 'inter-color component prediction' in the inter-color component compensation unit 940 from the right range.

복원 블록 획득부(950)는 상술한 잔여 블록 획득부(960)의 역과정에 해당한다. 따라서, 잔여 블록 획득부(960) 및 도 2에서 설명한 바와 같이, 복원 블록 획득부(950)는 인트라 모드 또는 인터 모드에 따라 예측(또는 보상)을 이용하여, 예측 블록을 생성할 수 있다. 이때, 복원 블록 획득부(950)는 예측 블록과, 색 성분 간 보상부(940)로부터 얻은 복원된 잔여 블록을 가산하여 복원 블록을 생성할 수 있다.The reconstruction block acquisition unit 950 corresponds to the inverse process of the residual block acquisition unit 960 described above. Therefore, as described in FIG. 2, the residual block obtaining unit 960 and the restored block obtaining unit 950 can generate a predicted block using prediction (or compensation) according to the intra mode or the inter mode. At this time, the reconstruction block acquiring unit 950 can generate a reconstruction block by adding the reconstructed residual block obtained from the interpolation unit 940 and the prediction block.

이때, 복원 블록 획득부(950)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록에 적용할 수도 있다.
At this time, the reconstruction block acquisition unit 950 may apply at least one of the deblocking filter, SAO, and ALF to the reconstruction block.

도 10은 본 발명의 일 실시예에 따른, 색 성분 간 예측을 이용하는 영상 부호화 방법의 순서도이다.FIG. 10 is a flowchart of an image encoding method using interpolation between color components, according to an embodiment of the present invention.

색 성분 간 예측을 이용하는 영상 부호화 장치(800)는 인트라 모드 또는 인터 모드에 따라 예측 블록을 생성하고, 입력 영상의 입력 블록과 생성된 예측 블록 간의 차이를 이용하여 색 성분 각각에 대한 잔여 블록을 획득할 수 있다(S1010). 이때, 색 성분 각각에 대한 잔여 블록은 제1 색 성분에 대한 잔여 블록 및 제2 색 성분에 대한 잔여 블록을 포함할 수 있으며, 잔여 블록의 구체적인 생성 방법은 상술한 바와 같다.The image coding apparatus 800 using inter-chrominance prediction generates a prediction block according to an intra mode or an inter mode and acquires residual blocks for each color component using the difference between the input block of the input image and the generated prediction block (S1010). At this time, a residual block for each color component may include a residual block for the first color component and a residual block for the second color component, and a specific method of generating the remaining block is as described above.

색 성분 간 예측을 이용하는 영상 부호화 장치(800)는 생성된 잔여 블록을 이용하여, 색 성분 간 예측을 수행할 수 있다(S1020). The image encoding apparatus 800 using inter-color component prediction can perform inter-color component prediction using the generated residual block (S1020).

이때, 색 성분 간 예측은 제1 색 성분에서의 잔여 블록(residual block)과 제2 색 성분의 잔여 블록을 비교하여, 공통되는 색 성분 요소를 제거하는 과정을 의미하며, 색 성분간 예측을 이용하는 영상 부호화 장치는 색 성분 간 예측을 통해 잔여 신호를 생성할 수 있다. 이때, 구체적인 색 성분 간 예측(S1020) 방법은 상술한 바와 같다.In this case, inter-chrominance prediction refers to a process of comparing a residual block of a first color component with a residual block of a second color component to remove a common color component, The image encoding apparatus can generate a residual signal through interpolation between color components. At this time, the concrete inter-color component prediction method (S1020) is as described above.

색 성분 간 예측을 이용하는 영상 부호화 장치(800)는 생성된 잔여 신호의 변환을 수행할 수 있다(S1030). 이때, 변환 수행의 구체적인 방법은 상술한 바와 같다.The image encoding apparatus 800 using inter-chrominance prediction can perform conversion of the generated residual signal (S1030). At this time, a concrete method of performing the conversion is as described above.

색 성분 간 예측을 이용하는 영상 부호화 장치(800)는 변환된 신호의 양자화를 수행할 수 있다(S1040). 이때, 구체적인 양자화 과정은 상술한 바와 같다.The image encoding apparatus 800 using inter-chrominance prediction can perform quantization of the converted signal (S1040). At this time, the concrete quantization process is as described above.

색 성분 간 예측을 이용하는 영상 부호화 장치(800)는 양자화된 신호에 대해 엔트로피 부호화를 수행할 수 있다(S1050). 이때, 구체적인 엔트로피 부호화 과정은 상술한 바와 같다.
The image encoding apparatus 800 using inter-chrominance prediction can perform entropy encoding on the quantized signal (S1050). At this time, the specific entropy encoding process is as described above.

도 11은 본 발명의 일 실시예에 따른, 색 성분 간 보상을 이용하는 영상 복호화 방법의 순서도이다.11 is a flowchart of a method of decoding an image using inter-color component compensation according to an embodiment of the present invention.

색 성분 간 보상을 이용하는 영상 복호화 장치(900)는 비트스트림을 수신하여 엔트로피 복호화를 수행할 수 있다(S1100). 이때, 엔트로피 복호화는 2진수의 열을 입력 받아 양자화된 데이터를 생성하는 과정이며, 구체적인 엔트로피 복호화 방법은 상술한 바와 같다.The image decoding apparatus 900 using the inter-color component compensation can perform entropy decoding by receiving the bit stream (S1100). At this time, entropy decoding is a process of generating quantized data by receiving a binary sequence, and a specific entropy decoding method is as described above.

색 성분 간 보상을 이용하는 영상 복호화 장치(900)는 엔트로피 복호화 과정을 통해 생성한 양자화된 데이터를 이용하여, 역 양자화를 수행할 수 있다(S1120). 이때, 구체적인 역 양자화 과정은 상술한 바와 같다.The image decoding apparatus 900 using inter-color component compensation can perform inverse quantization using the quantized data generated through the entropy decoding process (S1120). The specific dequantization process is as described above.

색 성분 간 보상을 이용하는 영상 복호화 장치(900)는 역 양자화 과정을 통해 생성된 데이터를 이용하여 역 변환을 수행할 수 있다(S1130). 이때, 구체적인 역 변환 과정은 상술한 바와 같다.The image decoding apparatus 900 using the inter-color component compensation can perform inverse transform using the data generated through the inverse quantization (S1130). The specific inverse transformation process is as described above.

색 성분 간 보상을 이용하는 영상 복호화 장치(900)는 역 변환 과정을 통해 획득한 잔여 신호(residual signal)과 제1 색 성분의 잔여 블록(residual block)을 이용하여 색 성분 간 보상을 수행한다(S1140). 이때, 구체적인 색 성분 간 보상의 수행 과정은 상술한 바와 같다.The image decoding apparatus 900 using inter-color component compensation performs inter-color component compensation using a residual signal obtained through an inverse transform process and a residual block of a first color component (S1140 ). At this time, the specific color component compensation is performed as described above.

색 성분 간 보상을 이용하는 영상 복호화 장치(900)는 색 성분 간 보상을 통해 획득한 잔여 블록과, 예측 블록을 가산하여 복원 블록을 획득할 수 있다(S1150).
The image decoding apparatus 900 using the inter-color component compensation can obtain the restored block by adding the residual block obtained through compensation between color components and the predicted block (S1150).

상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.In the above-described embodiments, although the methods are described on the basis of a flowchart as a series of steps or units, the present invention is not limited to the order of the steps, and some steps may occur in different orders or simultaneously . It will also be understood by those skilled in the art that the steps depicted in the flowchart illustrations are not exclusive and that other steps may be included or that one or more steps in the flowchart may be deleted without affecting the scope of the invention You will understand.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.The above-described embodiments include examples of various aspects. While it is not possible to describe every possible combination for expressing various aspects, one of ordinary skill in the art will recognize that other combinations are possible. Accordingly, it is intended that the invention include all alternatives, modifications and variations that fall within the scope of the following claims.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.The method according to the present invention may be implemented as a program for execution on a computer and stored in a computer-readable recording medium. Examples of the computer-readable recording medium include a ROM, a RAM, a CD- , A floppy disk, an optical data storage device, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet).

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The computer readable recording medium may be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner. And, functional programs, codes and code segments for implementing the above method can be easily inferred by programmers of the technical field to which the present invention belongs.

또한, 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안 될 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limiting the scope of the invention as defined by the appended claims. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention.

Claims (18)

입력 블록과 제1 색 성분에 대한 예측 블록의 차분으로부터 제1 색 성분에 대한 잔여 블록을 획득하고, 입력 블록과 제2 색 성분에 대한 예측 블록의 차분으로부터 제2 색 성분에 대한 잔여 블록을 획득하는 잔여 블록 획득부;
상기 제1 색 성분에 대한 잔여 블록과 상기 제2 색 성분에 대한 잔여 블록의 차분인 잔여 신호를 생성하는 색 성분 간 예측부;
상기 잔여 신호에 대해 변환을 하여, 변환 계수를 생성하는 변환부;
상기 변환 계수에 대해 양자화하여, 양자화된 데이터를 생성하는 양자화부; 및
상기 양자화된 데이터에 대해 엔트로피 부호화하여, 비트스트림을 출력하는 엔트로피 부호화부
를 포함하는 색 성분 간 예측을 수행하는 영상 부호화 장치.
The residual block for the first color component is obtained from the difference between the input block and the prediction block for the first color component and the residual block for the second color component is obtained from the difference between the input block and the prediction block for the second color component A residual block obtaining unit;
An inter-color predictor for generating a residual signal that is a difference between a residual block for the first color component and a residual block for the second color component;
A conversion unit for converting the residual signal to generate a conversion coefficient;
A quantization unit for quantizing the transform coefficients and generating quantized data; And
An entropy encoding unit for entropy encoding the quantized data and outputting a bitstream,
And performing inter-color component prediction including the inter-color component prediction.
제1항에 있어서,
상기 색 성분 간 예측부는 기 설정된 조건을 만족하는 경우, 상기 잔여 신호를 생성하는 것을 특징으로 하는 색 성분 간 예측을 수행하는 영상 부호화 장치.
The method according to claim 1,
Wherein the inter-color-component predicting unit generates the residual signal when the predetermined condition is satisfied.
제2항에 있어서,
상기 기 설정된 조건은 변환 유닛이 기 설정된 크기 이상인 것을 특징으로 하는 색 성분 간 예측을 수행하는 영상 부호화 장치.
3. The method of claim 2,
Wherein the predetermined condition is that the conversion unit has a predetermined size or larger.
제2항에 있어서,
상기 기 설정된 조건은 변환 유닛이 기 설정된 크기 이하인 것을 특징으로 하는 색 성분 간 예측을 수행하는 영상 부호화 장치.
3. The method of claim 2,
Wherein the predetermined condition is that the conversion unit has a predetermined size or less.
제1항에 있어서,
상기 엔트로피 부호화부는 픽처 파라미터 세트(Picture Parameter Set, PPS)를 통해 잔여 신호의 생성 여부에 대해 지시하는 지시자를 생성하는 것을 특징으로 하는 색 성분 간 예측을 수행하는 영상 부호화 장치.
The method according to claim 1,
Wherein the entropy encoding unit generates an indicator for indicating whether to generate a residual signal through a picture parameter set (PPS).
제1항에 있어서,
상기 제1 색 성분은 휘도 성분이고, 상기 제2 색 성분은 색차 성분인 것을 특징으로 하는 색 성분 간 예측을 수행하는 영상 부호화 장치.
The method according to claim 1,
Wherein the first color component is a luminance component and the second color component is a chrominance component.
비트스트림을 입력 받아, 양자화된 데이터를 생성하는 엔트로피 복호화부;
상기 양자화된 데이터에 대해 역양자화 하여, 변환 계수를 생성하는 역양자화부;
상기 변환 계수에 대해 역변환하여, 잔여 신호를 생성하는 역변환부;
제1 색 성분에 대한 잔여 블록에 잔여 신호를 가산하여, 제2 색 성분에 대한 잔여 블록을 생성하는 색 성분 간 보상부; 및
상기 제1 색 성분에 대한 잔여 블록에 제1 색 성분에 대한 예측 블록을 가산하고, 상기 제2 색 성분에 대한 잔여 블록에 제2 색 성분에 대한 예측 블록을 가산하여, 복원 블록을 획득하는 복원 블록 획득부
를 포함하는 색 성분 간 보상을 수행하는 영상 복호화 장치.
An entropy decoding unit for receiving a bitstream and generating quantized data;
A dequantizer for dequantizing the quantized data to generate a transform coefficient;
An inverse transform unit for inversely transforming the transform coefficient to generate a residual signal;
A color inter-component compensator for adding a residual signal to a residual block for the first color component to generate a residual block for the second color component; And
A prediction block for the first color component is added to the residual block for the first color component, a prediction block for the second color component is added to the residual block for the second color component, Block obtaining unit
And performing compensation between the color components.
제7항에 있어서,
상기 색 성분 간 보상부는 기 설정된 조건을 만족하는 경우, 상기 제1 색 성분에 대한 잔여 블록에 잔여 신호를 가산하여, 제2 색 성분에 대한 잔여 블록을 생성 하는 것을 특징으로 하는 색 성분 간 보상을 수행하는 영상 복호화 장치.
8. The method of claim 7,
Wherein the inter-color-component compensation unit adds the residual signal to the residual block for the first color component to generate a residual block for the second color component when the predetermined condition is satisfied. The video decoding apparatus comprising:
제8항에 있어서,
상기 기 설정된 조건은 변환 유닛이 기 설정된 크기 이상인 것을 특징으로 하는 색 성분 간 보상을 수행하는 영상 복호화 장치.
9. The method of claim 8,
Wherein the predetermined condition is that the conversion unit has a predetermined size or larger.
제8항에 있어서,
상기 기 설정된 조건은 변환 유닛이 기 설정된 크기 이하인 것을 특징으로 하는 색 성분 간 보상을 수행하는 영상 복호화 장치.
9. The method of claim 8,
Wherein the predetermined condition is that the conversion unit is equal to or less than a predetermined size.
제7항에 있어서,
상기 엔트로피 복호화부는 픽처 파라미터 세트(Picture Parameter Set, PPS)를 통해, 상기 제1 색 성분에 대한 잔여 블록에 잔여 신호를 가산하여 제2 색 성분에 대한 잔여 블록을 생성하는지 여부를 지시 받는 것을 특징으로 하는 색 성분 간 보상을 수행하는 영상 복호화 장치.
8. The method of claim 7,
Wherein the entropy decoding unit indicates whether to generate a residual block for a second color component by adding a residual signal to a residual block for the first color component through a picture parameter set (PPS) And performing compensation between the color components.
제7항에 있어서,
상기 제1 색 성분은 휘도 성분이고, 상기 제2 색 성분은 색차 성분인 것을 특징으로 하는 색 성분 간 보상을 수행하는 영상 복호화 장치.
8. The method of claim 7,
Wherein the first color component is a luminance component and the second color component is a chrominance component.
비트스트림을 입력 받아, 양자화된 데이터를 생성하는 엔트로피 복호화 단계;
상기 양자화된 데이터로부터 변환 계수를 생성하는 역양자화 단계;
상기 변환 계수로부터 잔여 신호를 생성하는 역변환 단계;
제1 색 성분에 대한 잔여 블록에 잔여 신호를 가산하여, 제2 색 성분에 대한 잔여 블록을 생성하는 색 성분 간 보상 단계; 및
상기 제1 색 성분에 대한 잔여 블록에 제1 색 성분에 대한 예측 블록을 가산하고, 상기 제2 색 성분에 대한 잔여 블록에 제2 색 성분에 대한 예측 블록을 가산하여, 복원 블록을 획득하는 단계
를 포함하는 색 성분 간 보상을 수행하는 영상 복호화 방법.
An entropy decoding step of receiving a bitstream and generating quantized data;
An inverse quantization step of generating a transform coefficient from the quantized data;
An inverse conversion step of generating a residual signal from the transform coefficient;
A color component compensation step of adding a residual signal to a residual block for the first color component to generate a residual block for the second color component; And
Adding a prediction block for a first color component to a residual block for the first color component, adding a prediction block for a second color component to a residual block for the second color component,
And performing compensation between the color components.
제13항에 있어서,
상기 색 성분 간 보상 단계에서는 기 설정된 조건을 만족하는 경우, 상기 제1 색 성분에 대한 잔여 블록과 잔여 신호를 가산하여, 제2 색 성분에 대한 잔여 블록을 생성 하는 것을 특징으로 하는 색 성분 간 보상을 수행하는 영상 복호화 방법.
14. The method of claim 13,
Wherein, when the predetermined condition is satisfied, the residual block for the second color component is generated by adding the residual block and the residual signal to the first color component, In the image decoding method.
제14항에 있어서,
상기 기 설정된 조건은 변환 유닛이 기 설정된 크기 이상인 것을 특징으로 하는 색 성분 간 보상을 수행하는 영상 복호화 방법.
15. The method of claim 14,
Wherein the predetermined condition is that the conversion unit has a predetermined size or larger.
제14항에 있어서,
상기 기 설정된 조건은 변환 유닛이 기 설정된 크기 이하인 것을 특징으로 하는 색 성분 간 보상을 수행하는 영상 복호화 방법.
15. The method of claim 14,
Wherein the predetermined condition is that the conversion unit is equal to or less than a predetermined size.
제13항에 있어서,
상기 엔트로피 복호화 단계에서는 픽처 파라미터 세트(Picture Parameter Set, PPS)를 통해, 상기 제1 색 성분에 대한 잔여 블록과 잔여 신호를 가산하여 제2 색 성분에 대한 잔여 블록을 생성하는지 여부를 지시 받는 것을 특징으로 하는 색 성분 간 보상을 수행하는 영상 복호화 방법.
14. The method of claim 13,
The entropy decoding step is performed to indicate whether to generate a residual block for a second color component by adding a residual block and a residual signal for the first color component through a picture parameter set (PPS) To compensate for inter-chrominance components.
제13항에 있어서,
상기 제1 색 성분은 휘도 성분이고, 상기 제2 색 성분은 색차 성분인 것을 특징으로 하는 색 성분 간 보상을 수행하는 영상 복호화 방법.
14. The method of claim 13,
Wherein the first color component is a luminance component and the second color component is a chrominance component.
KR1020140141035A 2013-10-28 2014-10-17 Method and apparatus for inter color component prediction KR20150048637A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/525,626 US9788000B2 (en) 2013-10-28 2014-10-28 Method and apparatus for inter color component prediction
US15/694,569 US10205952B2 (en) 2013-10-28 2017-09-01 Method and apparatus for inter color component prediction

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130128685 2013-10-28
KR1020130128685 2013-10-28

Publications (1)

Publication Number Publication Date
KR20150048637A true KR20150048637A (en) 2015-05-07

Family

ID=53387083

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140141035A KR20150048637A (en) 2013-10-28 2014-10-17 Method and apparatus for inter color component prediction

Country Status (1)

Country Link
KR (1) KR20150048637A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018236031A1 (en) * 2017-06-21 2018-12-27 엘지전자(주) Intra-prediction mode-based image processing method and apparatus therefor
WO2020106117A1 (en) * 2018-11-23 2020-05-28 한국항공대학교산학협력단 Inter-image component prediction method, and image encoding and decoding method and device using same

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018236031A1 (en) * 2017-06-21 2018-12-27 엘지전자(주) Intra-prediction mode-based image processing method and apparatus therefor
US11190799B2 (en) 2017-06-21 2021-11-30 Lg Electronics Inc. Intra-prediction mode-based image processing method and apparatus therefor
WO2020106117A1 (en) * 2018-11-23 2020-05-28 한국항공대학교산학협력단 Inter-image component prediction method, and image encoding and decoding method and device using same

Similar Documents

Publication Publication Date Title
KR102515487B1 (en) Tree-type Coding for Video Coding
KR102328179B1 (en) Method and apparatus for encoding/decoding image and recording medium for storing bitstream
KR20220080062A (en) Method and apparatus for encoding and decoding using selective information sharing over channels
KR20220132504A (en) Method and apparatus for encoding/decoding of intra prediction mode signaling
KR20170058838A (en) Method and apparatus for encoding/decoding of improved inter prediction
KR20190104032A (en) Multi-type-tree framework for video coding
KR20170117112A (en) Image encoding and decoding method based on low complexity transformation and apparatus using the same
KR102031468B1 (en) Escape Pixels Coding for Palette Mode Coding
KR20180040319A (en) Method of processing video, video encoding and decoding thereof
KR20170058837A (en) Method and apparatus for encoding/decoding of intra prediction mode signaling
US11070831B2 (en) Method and device for processing video signal
KR20190067732A (en) Method and apparatus for encoding and decoding using selective information sharing over channels
IL230016A (en) Video coding using adaptive motion vector resolution
KR20220050871A (en) Method and apparatus for encoding/decoding image and recording medium for storing bitstream
WO2014055231A1 (en) Devices and methods for using base layer motion vector for enhancement layer motion vector prediction
KR102480967B1 (en) Method and apparatus for image encoding/decoding
KR20170102806A (en) Method for encoding/decoding a video signal and apparatus therefor
KR20200039591A (en) Method and apparatus for encoding/decoding image and recording medium for storing bitstream
US10205952B2 (en) Method and apparatus for inter color component prediction
CN111052741A (en) Image encoding/decoding method and apparatus based on efficiently transmitted differential quantization parameter
KR20220137935A (en) Video decoding method and apparatus for residual coding
KR20210035062A (en) Method and apparatus for encoding/decoding image and recording medium for storing bitstream
KR20170120418A (en) Apparatus and method for fast motion estimation encoding/decoding of enhancement later
KR20150048637A (en) Method and apparatus for inter color component prediction
KR20140104064A (en) Method and apparatus for coding mode decision

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination