KR20190067732A - Method and apparatus for encoding and decoding using selective information sharing over channels - Google Patents

Method and apparatus for encoding and decoding using selective information sharing over channels Download PDF

Info

Publication number
KR20190067732A
KR20190067732A KR1020180157404A KR20180157404A KR20190067732A KR 20190067732 A KR20190067732 A KR 20190067732A KR 1020180157404 A KR1020180157404 A KR 1020180157404A KR 20180157404 A KR20180157404 A KR 20180157404A KR 20190067732 A KR20190067732 A KR 20190067732A
Authority
KR
South Korea
Prior art keywords
block
information
channel
mode
prediction
Prior art date
Application number
KR1020180157404A
Other languages
Korean (ko)
Inventor
전동산
강정원
고현석
임성창
이진호
이하현
전병우
김휘용
박지윤
Original Assignee
한국전자통신연구원
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR20170167729 priority Critical
Priority to KR1020170167729 priority
Priority to KR1020180079012 priority
Priority to KR20180079012 priority
Priority to KR20180106479 priority
Priority to KR1020180106479 priority
Priority to KR20180114333 priority
Priority to KR1020180114333 priority
Application filed by 한국전자통신연구원, 성균관대학교산학협력단 filed Critical 한국전자통신연구원
Priority claimed from PCT/KR2018/015573 external-priority patent/WO2019112394A1/en
Publication of KR20190067732A publication Critical patent/KR20190067732A/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

A video decoding method, a video decoding apparatus, a video encoding method, and a video encoding apparatus are disclosed. Coding determination information of a representative channel of a target block is shared as coding determination information of a target channel of the target block, and decoding of the target block is performed by using the coding determination information of the target channel. As the coding determination information of the representative channel is shared with other channels, the same coding determination information can be prevented from being repeatedly signaled. The efficiency of encoding and decoding on the target block or the like can be improved through the prevention.

Description

채널들 간의 선택적인 정보 공유를 사용하는 부호화 및 복호화를 위한 방법 및 장치{METHOD AND APPARATUS FOR ENCODING AND DECODING USING SELECTIVE INFORMATION SHARING OVER CHANNELS}[0001] METHOD AND APPARATUS FOR ENCODING AND DECODING USING SELECTIVE INFORMATION SHARING OVER CHANNELS [
아래의 실시예들은 비디오의 복호화 방법, 복호화 장치, 부호화 방법 및 부호화 장치에 관한 것으로서, 채널들 간의 선택적인 정보 공유를 사용하는 비디오의 복호화 방법, 복호화 장치, 부호화 방법 및 부호화 장치에 관한 것이다.The following embodiments are directed to a video decoding method, a decoding apparatus, a coding method, and an encoding apparatus, and more particularly, to a video decoding method, a decoding apparatus, a coding method, and an encoding apparatus using selective information sharing among channels.
정보 통신 산업의 지속적인 발달을 통해 HD(High Definition) 해상도를 가지는 방송 서비스가 세계적으로 확산되었다. 이러한 확산을 통해, 많은 사용자들이 고해상도이며 고화질인 영상(image) 및/또는 비디오(video)에 익숙해지게 되었다.With the continuous development of the information and telecommunication industry, broadcasting service with HD (High Definition) resolution spread worldwide. With this proliferation, many users become accustomed to high resolution and high quality images and / or video.
높은 화질에 대한 사용자들의 수요를 만족시키기 위하여, 많은 기관들이 차세대 영상 기기에 대한 개발에 박차를 가하고 있다. 에이치디티브이(High Definition TV; HDTV) 및 풀에이치디(Full HD; FHD) TV뿐만 아니라, FHD TV에 비해 4배 이상의 해상도를 갖는 울트라에이치디(Ultra High Definition; UHD) TV에 대한 사용자들의 관심이 증대하였고, 이러한 관심의 증대에 따라, 더 높은 해상도 및 화질을 갖는 영상에 대한 영상 부호화(encoding)/복호화(decoding) 기술이 요구된다.In order to meet the users' demand for high image quality, many organizations are spurring development on next generation image devices. In addition to High Definition TV (HDTV) and Full HD (FHD) TVs, users' interest in ultra high definition (UHD) TVs with more than four times the resolution of FHD TVs As the interest increases, there is a need for image encoding / decoding techniques for images with higher resolution and image quality.
영상 부호화(encoding)/복호화(decoding) 장치 및 방법은 고해상도 및 고화질의 영상에 대한 부호화/복호화를 수행하기 위해, 인터(inter) 예측(prediction) 기술, 인트라(intra) 예측 기술 및 엔트로피 부호화 기술 등을 사용할 수 있다. 인터 예측 기술은 시간적으로(temporally) 이전의 픽처 및/또는 시간적으로 이후의 픽처를 이용하여 대상 픽처에 포함된 픽셀의 값을 예측하는 기술일 수 있다. 인트라 예측 기술은 대상 픽처 내의 픽셀의 정보를 이용하여 대상 픽처에 포함된 픽셀의 값을 예측하는 기술일 수 있다. 엔트로피 부호화 기술은 출현 빈도가 높은 심볼에는 짧은 코드(code)를 할당하고, 출현 빈도가 낮은 심볼에는 긴 코드를 할당하는 기술일 수 있다.An apparatus and method for encoding / decoding an image includes an inter prediction technique, an intra prediction technique, and an entropy coding technique to perform encoding / decoding on high resolution and high image quality images Can be used. The inter prediction technique may be a technique of predicting a value of a pixel included in a target picture temporally using a previous picture and / or a temporally subsequent picture. The intra prediction technique may be a technique of predicting a value of a pixel included in a target picture by using information of a pixel in the target picture. The entropy coding technique may be a technique of allocating a short code to a symbol having a high appearance frequency and allocating a long code to a symbol having a low appearance frequency.
최근 UHD 영상과 같은, 고해상도, 더욱 넓어진 색 공간(color space) 및 우수한 화질을 제공할 수 있는 고품질의 영상에 대한 수요가 다양한 응용 분야에서 증가하고 있다. 고해상도 및 고품질의 영상일수록 영상의 제공을 위해 요구되는 영상 데이터의 양이 기존의 영상 데이터의 양에 비해 상대적으로 더 증가할 수 있다. 이러한 영상 데이터의 양의 증가에 따라서, 유무선 광대역 회선과 같은 통신 매체나 위성, 지상파, 인터넷 프로토콜(Internet protocol; IP) 네트워크, 무선 네트워크, 케이블, 이동 통신 망 등의 다양한 방송 매체를 이용하여 영상 데이터를 전송하는 경우나, 씨디(CD), 디브이디(DVD), 유에스비(USB) 및 에이치디-디브이디(HD-DVD)등 다양한 저장 매체를 이용해 저장되는 경우에 있어서, 전송 비용 및 저장 비용이 증가하게 된다.The demand for high quality images that can provide high resolution, wider color space and superior image quality, such as UHD images in recent years, is increasing in various applications. The higher the resolution and quality of the image, the greater the amount of image data required to provide the image, relative to the amount of the existing image data. In accordance with the increase in the amount of the image data, various kinds of broadcasting media such as a wired / wireless broadband line, a satellite, a terrestrial wave, an internet protocol (IP) network, a wireless network, a cable, In a case where the data is stored using various storage media such as a CD, a DVD, a USB, and an HD-DVD, transmission costs and storage costs are increased do.
고해상도 및 고품질의 영상이 사용됨에 따라, 영상 데이터에 대하여 필연적으로 더욱 심화되어 발생하는 이러한 문제들을 해결하고, 더 높은 해상도 및 더 높은 화질을 갖는 영상을 제공하기 위해서 고효율의 영상 부호화/복호화 기술이 요구된다.As high resolution and high quality images are used, high-efficiency image encoding / decoding techniques are required to solve these problems that are inevitably further intensified with respect to image data and to provide images with higher resolution and higher image quality do.
일 실시예는 채널들 간의 선택적인 정보 공유를 사용하는 부호화 장치, 부호화 방법, 복호화 장치 및 복호화 방법을 제공할 수 있다.One embodiment can provide an encoding apparatus, an encoding method, a decoding apparatus, and a decoding method using selective information sharing between channels.
일 측에 있어서, 대상 블록의 대표 채널의 코딩 결정 정보를 상기 대상 블록의 대상 채널의 코딩 결정 정보로서 공유하는 단계; 및 상기 대상 채널의 코딩 결정 정보를 사용하는 상기 대상 블록의 복호화를 수행하는 단계를 포함하는 복호화 방법이 제공된다.Sharing coding determination information of a representative channel of a target block as coding determination information of a target channel of the target block; And decoding the target block using the coding decision information of the target channel.
상기 복호화 방법은, 상기 대상 블록에 대한 정보를 포함하는 비트스트림을 수신하는 단계를 더 포함할 수 있다.The decoding method may further include receiving a bitstream including information on the target block.
상기 대상 블록에 대한 정보는 상기 대표 채널의 코딩 결정 정보를 포함할 수 있다.The information on the target block may include coding determination information of the representative channel.
상기 대상 블록에 대한 정보는 상기 대상 채널의 코딩 결정 정보를 포함하지 않을 수 있다.The information on the target block may not include the coding determination information of the target channel.
상기 대표 채널의 코딩 결정 정보는 변환의 생략의 여부를 지시하는 변환 생략 정보일 수 있다.The coding determination information of the representative channel may be conversion skip information indicating whether to skip the conversion.
상기 대표 채널의 코딩 결정 정보는 채널의 변환 블록에 대하여 어떤 변환을 사용할지를 지시할 수 있다.The coding decision information of the representative channel may indicate which transform is to be used for the transform block of the channel.
상기 대표 채널의 코딩 결정 정보는 상기 대표 채널의 인트라 코딩 결정 정보일 수 있다.The coding determination information of the representative channel may be intra-coding determination information of the representative channel.
상기 대표 채널 및 상기 대상 채널은 YCbCr 컬러 공간 내의 채널들일 수 있다.The representative channel and the target channel may be channels in the YCbCr color space.
상기 대표 채널은 루마 채널일 수 있다.The representative channel may be a luma channel.
상기 대상 채널은 크로마 채널일 수 있다.The target channel may be a chroma channel.
상기 대표 채널은 루마 신호와 가장 높은 연관성을 갖는 컬러 채널일 수 있다.The representative channel may be a color channel having the highest correlation with the luma signal.
상기 대표 채널은 비트스트림 내의 선택된 대표 채널을 나타내는 인덱스에 의해 결정될 수 있다.The representative channel may be determined by an index indicating a selected representative channel in the bitstream.
상기 공유는 상기 대상 블록의 복수의 채널들의 영상 성질들이 서로 유사한 경우에 수행될 수 있다.The sharing may be performed when the video properties of the plurality of channels of the target block are similar to each other.
상기 대상 블록의 크로마 채널에 대한 인트라 예측 모드가 다이렉트 모드이면 상기 복수의 채널들의 영상 성질들이 서로 유사하다고 판단될 수 있다.If the intra prediction mode for the chroma channel of the target block is the direct mode, it can be determined that the video properties of the plurality of channels are similar to each other.
상기 공유는 채널간 예측이 사용될 때 수행될 수 있다.The sharing may be performed when inter-channel prediction is used.
상기 채널간 예측이 사용되는지 여부는 비트스트림으로부터 획득된 정보에 기반하여 유도될 수 있다.Whether or not the inter-channel prediction is used can be derived based on the information obtained from the bit stream.
상기 공유는 채널간 예측이 사용될 때 수행될 수 있다.The sharing may be performed when inter-channel prediction is used.
상기 채널간 예측이 사용되는지 여부는 상기 대상 블록의 인트라 예측 모드에 기반하여 결정될 수 있다.Whether or not the inter-channel prediction is used may be determined based on an intra prediction mode of the target block.
상기 대상 블록에 대한 상기 인트라 예측 모드가 INTRA_CCLM 모드, INTRA_MMLM 모드 및 INTRA_MFLM 모드 중 하나이면 상기 채널간 예측이 사용될 수 있다.The interchannel prediction may be used if the intra prediction mode for the target block is one of an INTRA_CCLM mode, an INTRA_MMLM mode, and an INTRA_MFLM mode.
상기 대상 블록의 크기에 기반하여 상기 공유의 여부가 결정될 수 있다.The sharing may be determined based on the size of the target block.
상기 대상 블록의 복수의 채널들 중 상기 대표 채널의 코딩 결정 정보가 상기 복수의 채널들의 모두에 대해 사용될 수 있다.Coding determination information of the representative channel among the plurality of channels of the target block may be used for all of the plurality of channels.
다른 일 측에 있어서, 대상 블록의 대표 채널의 코딩 결정 정보를 결정하는 단계; 및 상기 대표 채널의 코딩 결정 정보를 사용하는 상기 대상 블록의 부호화를 수행하는 단계를 포함하고, 상기 대표 채널의 코딩 결정 정보는 상기 대상 블록의 다른 채널에도 공유되는, 부호화 방법이 제공된다.Determining, at the other side, coding determination information of a representative channel of a target block; And performing coding of the target block using coding determination information of the representative channel, wherein the coding determination information of the representative channel is shared with other channels of the target block.
상기 부호화 방법은, 상기 대상 블록에 대한 정보를 포함하는 비트스트림을 생성하는 단계The encoding method includes generating a bitstream including information on the target block
를 더 포함할 수 있다.As shown in FIG.
상기 대상 블록에 대한 정보는 상기 대표 채널의 코딩 결정 정보를 포함할 수 있다.The information on the target block may include coding determination information of the representative channel.
상기 대상 블록에 대한 정보는 상기 다른 채널의 코딩 결정 정보를 포함하지 않을 수 있다.The information on the target block may not include the coding determination information of the other channel.
상기 대표 채널 및 상기 대상 채널은 YCbCr 컬러 공간 내의 채널들일 수 있다.The representative channel and the target channel may be channels in the YCbCr color space.
상기 대표 채널은 루마 채널일 수 있다.The representative channel may be a luma channel.
상기 대상 채널은 크로마 채널일 수 있다.The target channel may be a chroma channel.
또 다른 일 측에 있어서, 영상의 복호화를 위한 비트스트림을 저장하는 컴퓨터 판독 가능한 기록매체에 있어서, 상기 비트스트림은, 대상 블록에 대한 정보를 포함하고, 상기 대상 블록에 대한 정보는 상기 대상 블록의 대표 채널의 코딩 결정 정보를 포함하고, 상기 대상 블록의 상기 대표 채널의 코딩 결정 정보가 사용하여 상기 대상 블록의 대상 채널의 코딩 결정 정보로서 공유되고, 상기 대상 채널의 코딩 결정 정보를 사용하여 상기 대상 블록의 복호화가 수행되는, 컴퓨터 판독 가능한 기록매체가 제공된다.A computer-readable recording medium storing a bitstream for decoding an image, the bitstream including information on a target block, and the information on the target block includes information on a target block And the coding decision information of the representative channel is used as the coding decision information of the target channel of the target block and the coding decision information of the target channel is shared using the coding decision information of the target channel, There is provided a computer-readable recording medium on which decoding of a block is performed.
채널들 간의 선택적인 정보 공유를 사용하는 부호화 장치, 부호화 방법, 복호화 장치 및 복호화 방법이 제공된다.An encoding apparatus, an encoding method, a decoding apparatus, and a decoding method using selective information sharing among channels are provided.
도 1은 본 발명이 적용되는 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 영상을 부호화 및 복호화할 때의 영상의 분할 구조를 개략적으로 나타내는 도면이다.
도 4는 코딩 유닛(CU)이 포함할 수 있는 예측 유닛(PU)의 형태를 도시한 도면이다.
도 5는 코딩 유닛(CU)에 포함될 수 있는 변환 유닛(TU)의 형태를 도시한 도면이다.
도 6은 일 예에 따른 블록의 분할을 나타낸다.
도 7은 인트라 예측 과정의 실시예를 설명하기 위한 도면이다.
도 8은 인트라 예측 과정에서 사용되는 참조 샘플의 위치를 설명하기 위한 도면이다.
도 9는 인터 예측 과정의 실시예를 설명하기 위한 도면이다.
도 10은 일 예에 따른 공간적 후보들을 나타낸다.
도 11은 일 예에 따른 공간적 후보들의 움직임 정보들의 머지 리스트로의 추가 순서를 나타낸다.
도 12은 일 예에 따른 변환 및 양자화의 과정을 설명한다.
도 13은 일 예에 따른 대각선 스캐닝을 나타낸다.
도 14는 일 예에 따른 수평 스캐닝을 나타낸다.
도 15는 일 예에 따른 수직 스캐닝을 나타낸다.
도 16은 일 실시예에 따른 부호화 장치의 구조도이다.
도 17은 일 실시예에 따른 복호화 장치의 구조도이다.
도 18은 일 실시예에 따른 코딩 결정 정보의 복호화 방법의 흐름도이다.
도 19는 일 실시예에 따른 변환 생략의 여부를 결정하는 복호화 방법의 흐름도이다.
도 20은 일 실시예에 따른 인트라 모드를 참조하여 변환 생략의 여부를 결정하는 복호화 방법의 흐름도이다.
도 21은 일 실시예에 따른 변환 선택 정보를 공유하는 방법의 흐름도이다.
도 22는 일 예에 따른 단일 트리 블록 분할 구조를 나타낸다.
도 23은 일 예에 따른 듀얼 트리 블록 분할 구조를 나타낸다.
도 24는 일 예에 따른 대응 영역 내에서 위치에 기반하여 대응 블록을 특정하는 방식을 나타낸다.
도 25는 일 예에 따른 대응 영역 내에서 면적에 기반하여 대응 블록을 특정하는 방식을 나타낸다.
도 26은 일 예에 따른 대응 영역 내에서 면적에 기반하여 대응 블록을 특정하는 다른 방식을 나타낸다.
도 27은 일 예에 따른 대응 영역 내에서 블록의 형태에 기반하여 대응 블록을 특정하는 방식을 나타낸다.
도 28은 일 예에 따른 대응 영역 내에서 블록의 형태에 기반하여 대응 블록을 특정하는 다른 방식을 나타낸다.
도 29는 일 예에 따른 대응 영역 내에서 블록의 종횡비에 기반하여 대응 블록을 특정하는 방식을 나타낸다.
도 30은 일 예에 따른 대응 영역 내에서 블록의 종횡비에 기반하여 대응 블록을 특정하는 다른 방식을 나타낸다.
도 31은 일 예에 따른 대응 영역 내에서 블록의 부호화 성질에 기반하여 대응 블록을 특정하는 다른 방식을 나타낸다.
도 32는 일 실시예에 따른 부호화 방법의 흐름도이다.
도 33은 일 실시예에 따른 복호화 방법의 흐름도이다.
1 is a block diagram illustrating a configuration of an encoding apparatus to which the present invention is applied.
2 is a block diagram illustrating a configuration of a decoding apparatus to which the present invention is applied.
3 is a diagram schematically showing a division structure of an image when coding and decoding an image.
Fig. 4 is a diagram showing a form of a prediction unit (PU) that a coding unit (CU) can include.
5 is a diagram showing a form of a conversion unit (TU) which can be included in a coding unit (CU).
Figure 6 shows the partitioning of a block according to an example.
7 is a diagram for explaining an embodiment of an intra prediction process.
8 is a view for explaining the positions of reference samples used in the intra prediction process.
9 is a diagram for explaining an embodiment of the inter prediction process.
Figure 10 shows spatial candidates according to an example.
FIG. 11 shows an order of addition of motion information of a spatial candidate to a merge list according to an example.
FIG. 12 illustrates a process of transforming and quantizing according to an example.
13 illustrates diagonal scanning according to an example.
14 shows horizontal scanning according to an example.
15 shows vertical scanning according to an example.
16 is a structural diagram of an encoding apparatus according to an embodiment.
17 is a structural diagram of a decoding apparatus according to an embodiment.
18 is a flowchart of a decoding method of coding determination information according to an embodiment.
19 is a flowchart of a decoding method for determining whether to omit conversion according to an embodiment.
20 is a flowchart of a decoding method for determining whether to omit conversion with reference to an intra mode according to an embodiment.
21 is a flow diagram of a method for sharing transformation selection information in accordance with one embodiment.
22 illustrates a single triblock division structure according to an example.
FIG. 23 shows a dual tree block division structure according to an example.
FIG. 24 illustrates a manner of specifying a corresponding block based on a position within a corresponding region according to an example.
FIG. 25 illustrates a method of specifying a corresponding block based on an area within a corresponding area according to an example.
Figure 26 shows another way of specifying the corresponding block based on the area within the corresponding area according to an example.
FIG. 27 shows a manner of specifying a corresponding block based on the shape of the block within the corresponding area according to an example.
Figure 28 shows another way of specifying the corresponding block based on the shape of the block within the corresponding area according to an example.
FIG. 29 shows a manner of specifying the corresponding block based on the aspect ratio of the block within the corresponding area according to an example.
Figure 30 shows another way of specifying the corresponding block based on the aspect ratio of the block within the corresponding area according to an example.
Figure 31 shows another way of specifying the corresponding block based on the coding nature of the block within the corresponding area according to an example.
32 is a flowchart of an encoding method according to an embodiment.
33 is a flowchart of a decoding method according to an embodiment.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들면, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.The following detailed description of exemplary embodiments refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments. These embodiments are described in sufficient detail to enable those skilled in the art to practice the embodiments. It should be understood that the various embodiments are different, but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with one embodiment. It is also to be understood that the location or arrangement of the individual components within each disclosed embodiment may be varied without departing from the spirit and scope of the embodiments. The following detailed description is, therefore, not to be taken in a limiting sense, and the scope of the exemplary embodiments is to be limited only by the appended claims, along with the full scope of equivalents to which such claims are entitled, if properly explained.
도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.In the drawings, like reference numerals refer to the same or similar functions throughout the several views. The shape and size of the elements in the figures may be exaggerated for clarity.
본 발명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들면, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, etc. in the present invention may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소(component)가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기의 2개의 구성요소들이 서로 간에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 상기의 2개의 구성요소들의 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 어떤 구성요소(component)가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기의 2개의 구성요소들의 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When it is mentioned that a component is "connected" or "connected" to another component, the two components may be directly connected or connected to each other, It is to be understood that other components may be present in the middle of the components. When a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that no other component is present in the middle of the two components.
본 발명의 실시예에 나타나는 구성요소들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성요소들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성요소는 설명의 편의상 각각의 구성요소로 나열하여 포함한 것으로 각 구성요소 중 적어도 두 개의 구성요소가 합쳐져 하나의 구성요소로 이루어지거나, 하나의 구성요소가 복수 개의 구성요소로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성요소의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.The components shown in the embodiments of the present invention are shown independently to represent different characteristic functions, and do not mean that each component is composed of separate hardware or one software constituent unit. That is, each component is listed as a separate component for convenience of explanation. At least two components of each component are combined to form one component, or one component is divided into a plurality of components, And the integrated embodiments and the separate embodiments of each of these components are also included in the scope of the present invention unless they depart from the essence of the present invention.
또한, 예시적 실시예들에서 특정 구성을 "포함"한다고 기술하는 내용은 상기의 특정 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 예시적 실시예들의 실시 또는 예시적 실시예들의 기술적 사상의 범위에 포함될 수 있음을 의미한다.Also, in the exemplary embodiments, the description of "comprising" a specific configuration does not exclude a configuration other than the specific configuration, and the additional configuration is not limited to the implementation of the exemplary embodiments or the technical idea of the exemplary embodiments. Range. ≪ / RTI >
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 발명에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성 또한 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present invention, the term "comprises" or "having ", etc. is intended to specify that there is a feature, number, step, operation, element, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof. In other words, the description of "including" a specific configuration in the present invention does not exclude a configuration other than the configuration, and it is also possible that additional configurations can be included in the scope of the present invention or the scope of the present invention.
이하에서는, 기술분야에서 통상의 지식을 가진 자가 실시예들을 용이하게 실시할 수 있도록 하기 위하여, 첨부된 도면을 참조하여 실시 형태에 대하여 구체적으로 설명한다. 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 도면 상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고, 동일한 구성요소에 대한 중복된 설명은 생략한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the embodiments. In the following description of the embodiments, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present disclosure rather unclear. The same reference numerals are used for the same constituent elements in the drawings, and redundant description of the same constituent elements is omitted.
이하에서, 영상은 비디오(video)을 구성하는 하나의 픽처(picture)를 의미할 수 있으며, 비디오 자체를 나타낼 수도 있다. 예를 들면, "영상의 부호화 및/또는 복호화"는 "비디오의 부호화 및/또는 복호화"를 의미할 수 있으며, "비디오를 구성하는 영상들 중 하나의 영상의 부호화 및/또는 복호화"를 의미할 수도 있다.Hereinafter, an image may denote a picture constituting a video, or may represent a video itself. For example, "encoding and / or decoding of an image" may mean "encoding and / or decoding of video ", which means" encoding and / or decoding of one of the images constituting a video " It is possible.
이하에서, 용어들 "비디오(video)" 및 "동영상(motion picture)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.Hereinafter, the terms "video" and "motion picture" may be used interchangeably and may be used interchangeably.
이하에서, 대상 영상은 부호화의 대상인 부호화 대상 영상 및/또는 복호화의 대상인 복호화 대상 영상일 수 있다. 또한, 대상 영상은 부호화 장치로 입력된 입력 영상일 수 있고, 복호화 장치로 입력된 입력 영상일 수 있다.Hereinafter, the target image may be a coding target image to be coded and / or a decoding target image to be decoded. The target image may be an input image input to the encoding device or an input image input to the decoding device.
이하에서, 용어들 "영상", "픽처", "프레임(frame)" 및 "스크린(screen)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.In the following, the terms "image", "picture", "frame" and "screen" may be used interchangeably and may be used interchangeably.
이하에서, 대상 블록은 부호화의 대상인 부호화 대상 블록 및/또는 복호화의 대상인 복호화 대상 블록일 수 있다. 또한, 대상 블록은 현재 부호화 및/또는 복호화의 대상인 현재 블록일 수 있다. 예를 들면, 용어들 "대상 블록" 및 "현재 블록"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.Hereinafter, the target block may be a current block to be coded and / or a current block to be decoded. Also, the target block may be the current block that is the current encoding and / or decoding target. For example, the terms "object block" and "current block" may be used interchangeably and may be used interchangeably.
이하에서, 용어들 "블록" 및 "유닛"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 또는 "블록"은 특정한 유닛을 나타낼 수 있다.In the following, the terms "block" and "unit" may be used interchangeably and may be used interchangeably. Or "block" may represent a particular unit.
이하에서, 용어들 "영역(region)" 및 "세그먼트(segment)"는 서로 교체되어 사용될 수 있다.In the following, the terms " region "and" segment "
이하에서, 특정한 신호는 특정한 블록을 나타내는 신호일 수 있다. 예를 들면, 원(original) 신호는 대상 블록을 나타내는 신호일 수 있다. 예측(prediction) 신호는 예측 블록을 나타내는 신호일 수 있다. 잔차(residual) 신호는 잔차 블록을 나타내는 신호일 수 있다. Hereinafter, a specific signal may be a signal indicating a specific block. For example, an original signal may be a signal representing a target block. The prediction signal may be a signal representing a prediction block. The residual signal may be a signal representing the residual block.
실시예들에서, 특정된 정보, 데이터, 플래그(flag) 및 요소(element), 속성(attribute) 등의 각각은 값을 가질 수 있다. 정보, 데이터, 플래그(flag) 및 요소(element), 속성(attribute) 등의 값 "0"은 논리 거짓(logical false) 또는 제1 기정의된(predefined) 값을 나타낼 수 있다. 말하자면, 값 "0", 거짓, 논리 거짓 및 제1 기정의된 값은 서로 대체되어 사용될 수 있다. 정보, 데이터, 플래그(flag) 및 요소(element), 속성(attribute) 등의 값 "1"은 논리 참(logical true) 또는 제2 기정의된(predefined) 값을 나타낼 수 있다. 말하자면, 값 "1", 참, 논리 참 및 제2 기정의된 값은 서로 대체되어 사용될 수 있다.In embodiments, each of the specified information, data, flags and elements, attributes, etc. may have a value. The value "0" of information, data, flags and element, attribute, etc. may represent a logical false or a first predefined value. That is to say, the values "0 ", False, Logical False, and First Default values can be used interchangeably. The value "1" of information, data, flags and elements, attributes, etc. may represent a logical true or a second predefined value. That is to say, the values "1 ", " true ", " logical "
행, 열 또는 인덱스(index)를 나타내기 위해 i 또는 j 등의 변수가 사용될 때, i의 값은 0 이상의 정수일 수 있으며, 1 이상의 정수일 수도 있다. 말하자면, 실시예들에서 행, 열 및 인덱스 등은 0에서부터 카운트될 수 있으며, 1에서부터 카운트될 수 있다.When a variable such as i or j is used to represent a row, column or index, the value of i may be an integer greater than or equal to 0 and may be an integer greater than or equal to one. In other words, in the embodiments, rows, columns, indexes, etc. may be counted from 0 and counted from 1.
아래에서는, 실시예들에서 사용되는 용어가 설명된다.Hereinafter, terms used in the embodiments will be described.
부호화기(encoder): 부호화(encoding)를 수행하는 장치를 의미한다.Encoder: An apparatus that performs encoding.
복호화기(decoder): 복호화(decoding)를 수행하는 장치를 의미한다.Decoder: A device that performs decoding.
유닛(unit): 유닛은 영상의 부호화 및 복호화의 단위를 나타낼 수 있다. 용어들 "유닛" 및 "블록(block)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.Unit: A unit may represent a unit of encoding and decoding of an image. The terms "unit" and "block" may be used interchangeably and may be used interchangeably.
- 유닛은 샘플의 MxN 배열일 수 있다. M 및 N은 각각 양의 정수일 수 있다. 유닛은 흔히 2차원의 샘플들의 배열을 의미할 수 있다.- The unit may be an MxN array of samples. M and N may be positive integers, respectively. A unit can often refer to an array of two-dimensional samples.
- 영상의 부호화 및 복호화에 있어서, 유닛은 하나의 영상의 분할에 의해 생성된 영역일 수 있다. 말하자면, 유닛은 하나의 영상 내의 특정된 영역일 수 있다. 하나의 영상은 복수의 유닛들로 분할될 수 있다. 또는, 유닛은 하나의 영상을 세분화된 부분들로 분할하고, 분할된 부분에 대한 부호화 또는 복호화가 수행될 때, 상기의 분할된 부분을 의미할 수 있다.- In coding and decoding of an image, a unit may be an area generated by the division of one image. That is to say, a unit may be a specified area in one image. One image may be divided into a plurality of units. Alternatively, a unit may mean the divided portion when one image is divided into subdivided portions and when encoding or decoding is performed on the subdivided portions.
- 영상의 부호화 및 복호화에 있어서, 유닛의 종류에 따라서 유닛에 대한 기정의된 처리가 수행될 수 있다.- In the encoding and decoding of images, predetermined processing on the unit may be performed depending on the type of unit.
- 기능에 따라서, 유닛의 타입은 매크로 유닛(Macro Unit), 코딩 유닛(Coding Unit; CU), 예측 유닛(Prediction Unit; PU), 잔차 유닛(Residual Unit) 및 변환 유닛(Transform Unit; TU) 등으로 분류될 수 있다. 또는, 기능에 따라서, 유닛은 블록, 매크로블록(Macroblock), 코딩 트리 유닛(Coding Tree Unit), 코딩 트리 블록(Coding Tree Block), 코딩 유닛(Coding Unit), 부호화 블록(Coding Block), 예측 유닛(Prediction Unit), 예측 블록(Prediction Block), 잔차 유닛(Residual Unit), 잔차 블록(Residual Block), 변환 유닛(Transform Unit) 및 변환 블록(Transform Block) 등을 의미할 수 있다.- Depending on the function, the type of unit may be a Macro Unit, a Coding Unit (CU), a Prediction Unit (PU), a Residual Unit and a Transform Unit (TU) . ≪ / RTI > Alternatively, depending on the function, the unit may include a block, a macroblock, a Coding Tree Unit, a Coding Tree Block, a Coding Unit, a Coding Block, A prediction unit, a prediction block, a residual unit, a residual block, a transform unit, and a transform block.
- 유닛은, 블록과 구분하여 지칭하기 위해, 루마(luma) 성분 블록 및 이에 대응하는 크로마(chroma) 성분 블록, 그리고 각 블록에 대한 구문 요소(syntax element)를 포함하는 정보를 의미할 수 있다.- A unit may refer to information comprising a luma component block and its corresponding chroma component block, and a syntax element for each block, to distinguish it from a block.
- 유닛의 크기 및 형태는 다양할 수 있다. 또한, 유닛은 다양한 크기 및 다양한 형태를 가질 수 있다. 특히 유닛의 형태는 정사각형뿐만 아니라 직사각형, 사다리꼴, 삼각형 및 오각형 등 2차원으로 표현될 수 있는 기하학적 도형을 포함할 수 있다.- The size and shape of the unit may vary. In addition, the unit may have various sizes and shapes. In particular, the shape of the unit may include not only squares but also geometric figures that can be expressed in two dimensions, such as rectangles, trapezoids, triangles, and pentagons.
- 또한, 유닛 정보는 유닛의 타입, 유닛의 크기, 유닛의 깊이, 유닛의 부호화 순서 및 유닛의 복호화 순서 등 중 적어도 하나 이상을 포함할 수 있다. 예를 들면, 유닛의 타입은 CU, PU, 잔차 유닛 및 TU 등 중 하나를 가리킬 수 있다.Also, the unit information may include at least one of a unit type, a unit size, a unit depth, a unit encoding order, and a unit decoding order. For example, the type of unit may refer to one of CU, PU, residual unit, and TU.
- 하나의 유닛은 유닛에 비해 더 작은 크기를 갖는 하위 유닛으로 더 분할될 수 있다.- one unit may be further subdivided into smaller units with a smaller size than the unit.
깊이(depth): 깊이는 유닛의 분할된 정도를 의미할 수 있다. 또한, 유닛 깊이는 유닛을 트리 구조로 표현했을 때 유닛이 존재하는 레벨을 나타낼 수 있다.Depth: Depth can mean the degree of division of a unit. Unit depth can also indicate the level at which a unit is present when the unit is represented in a tree structure.
- 유닛 분할 정보는 유닛의 깊이에 관한 깊이를 포함할 수 있다. 깊이는 유닛이 분할되는 회수 및/또는 정도를 나타낼 수 있다.- The unit partition information may include a depth for the depth of the unit. The depth may indicate the number and / or the number of times the unit is divided.
- 트리 구조에서, 루트 노드(root node)의 깊이가 가장 얕고, 리프 노드(leaf node)의 깊이가 가장 깊다고 볼 수 있다.In the tree structure, the depth of the root node is the shallowest and the depth of the leaf node is the deepest.
- 하나의 유닛은 트리 구조(tree structure)에 기반하여 깊이 정보(depth)를 가지면서 계층적으로(hierarchically) 복수의 하위 유닛들로 분할될 수 있다. 말하자면, 유닛 및 상기의 유닛의 분할에 의해 생성된 하위 유닛은 노드 및 상기의 노드의 자식 노드에 각각 대응할 수 있다. 각각의 분할된 하위 유닛은 깊이를 가질 수 있다. 깊이는 유닛이 분할된 회수 및/또는 정도를 나타내므로, 하위 유닛의 분할 정보는 하위 유닛의 크기에 관한 정보를 포함할 수도 있다.- A unit may be hierarchically divided into a plurality of subunits with depth information based on a tree structure. That is to say, the unit and the lower unit generated by the division of the unit can correspond to the node and the child node of the node, respectively. Each divided subunit may have a depth. Since the depth indicates the number and / or degree of division of the unit, the division information of the lower unit may include information on the size of the lower unit.
- 트리 구조에서, 가장 상위 노드는 분할되지 않은 최초의 유닛에 대응할 수 있다. 가장 상위 노드는 루트 노드로 칭해질 수 있다. 또한, 가장 상위 노드는 최소의 깊이 값을 가질 수 있다. 이 때, 가장 상위 노드는 레벨 0의 깊이를 가질 수 있다. - In a tree structure, the top node may correspond to the first unit that has not been partitioned. The superordinate node may be referred to as a root node. Also, the uppermost node may have a minimum depth value. At this time, the uppermost node can have a level 0 depth.
- 레벨 1의 깊이를 갖는 노드는 최초의 유닛이 한 번 분할됨에 따라 생성된 유닛을 나타낼 수 있다. 레벨 2의 깊이를 갖는 노드는 최초의 유닛이 두 번 분할됨에 따라 생성된 유닛을 나타낼 수 있다.- A node with a depth of level 1 can represent a unit created as the first unit is once partitioned. A node with a depth of level 2 may represent a unit created as the first unit is divided twice.
- 레벨 n의 깊이를 갖는 노드는 최초의 유닛이 n번 분할됨에 따라 생성된 유닛을 나타낼 수 있다.- A node with a depth of level n can represent a unit created as the first unit is divided n times.
- 리프 노드는 가장 하위의 노드일 수 있으며, 더 분할될 수 없는 노드일 수 있다. 리프 노드의 깊이는 최대 레벨일 수 있다. 예를 들면, 최대 레벨의 기정의된 값은 3일 수 있다.The leaf node may be the lowest node, and may be a node that can not be further divided. The depth of the leaf node may be the maximum level. For example, the default value of the maximum level may be three.
- QT 깊이는 쿼드 분할에 대한 깊이를 나타낼 수 있다. BT 깊이는 이진 분할에 대한 깊이를 나타낼 수 있다. TT 깊이는 삼진 분할에 대한 깊이를 나타낼 수 있다.- QT depth can indicate depth for quad split. The BT depth can represent the depth for binary segmentation. The TT depth can represent the depth for the ternary splitting.
샘플(sample): 샘플은 블록을 구성하는 기반(base) 단위일 수 있다. 샘플은 비트 깊이(bit depth; Bd)에 따라서 0부터 2Bd-1까지의 값들로서 표현될 수 있다.Sample: A sample can be a base unit that makes up a block. The samples can be represented as values from 0 to 2 Bd- 1, depending on the bit depth (Bd).
- 샘플은 픽셀 또는 픽셀 값일 수 있다.The sample may be a pixel or a pixel value.
- 이하에서, 용어들 "픽셀", "화소" 및 "샘플"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.- In the following, the terms "pixel", "pixel" and "sample" may be used interchangeably and may be used interchangeably.
코딩 트리 유닛(Coding Tree Unit; CTU): CTU는 하나의 루마 성분(Y) 코딩 트리 블록과, 상기의 루마 성분 코딩 트리 블록에 관련된 두 크로마 성분(Cb, Cr) 코딩 트리 블록들로 구성될 수 있다. 또한, CTU는 상기의 블록들과 상기의 블록들의 각 블록에 대한 구문 요소를 포함한 것을 의미할 수도 있다. Coding Tree Unit (CTU): A CTU can consist of one luma component (Y) coding tree block and two chroma component (Cb, Cr) coding tree blocks related to the luma component coding tree block have. The CTU may also include the above blocks and the syntax elements for each block of the above blocks.
- 각 코딩 트리 유닛은 코딩 유닛, 예측 유닛 및 변환 유닛 등의 하위 유닛을 구성하기 위하여 쿼드 트리(Quad Tree: QT), 이진 트리(Binary Tree; BT) 및 삼진 트리(Ternary Tree; TT) 등과 같은 하나 이상의 분할 방식을 이용하여 분할될 수 있다. 또한, 각 코딩 트리 유닛은 하나 이상의 분할 방식들을 사용하는 복수 트리(MultiType Tree; MTT)을 이용하여 분할될 수 있다.- Each coding tree unit may be configured as a quad tree (QT), a binary tree (BT), and a ternary tree (TT) to construct a lower unit such as a coding unit, May be divided using one or more division methods. In addition, each coding tree unit may be partitioned using a MultiType Tree (MTT) using one or more partitioning schemes.
- CTU는 입력 영상의 분할에서와 같이, 영상의 복호화 및 부호화 과정에서의 처리 단위인 픽셀 블록을 지칭하기 위한 용어로서 사용될 수 있다.- The CTU can be used as a term to refer to a pixel block, which is a processing unit in the process of decoding and encoding an image, as in the segmentation of an input image.
코딩 트리 블록(Coding Tree Block; CTB): 코딩 트리 블록은 Y 코딩 트리 블록, Cb 코딩 트리 블록, Cr 코딩 트리 블록 중 어느 하나를 지칭하기 위한 용어로 사용될 수 있다.Coding Tree Block (CTB): A coding tree block can be used as a term for designating any one of a Y coding tree block, a Cb coding tree block, and a Cr coding tree block.
주변 블록(neighbor block): 주변 블록은 대상 블록에 인접한 블록을 의미할 수 있다. 주변 블록은 복원된 주변 블록을 의미할 수도 있다.Neighbor block: A neighboring block may mean a block adjacent to a target block. A neighboring block may mean a restored neighboring block.
- 이하에서, 용어들 "주변 블록" 및 "인접 블록(adjacent block)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.- In the following, the terms "peripheral block" and "adjacent block" may be used interchangeably and may be used interchangeably.
공간적 주변 블록(spatial neighbor block): 공간적 주변 블록은 대상 블록에 공간적으로 인접한 블록일 수 있다. 주변 블록은 공간적 주변 블록을 포함할 수 있다.Spatial neighbor block: A spatial neighbor block may be a block spatially adjacent to a target block. The neighboring block may include a spatial neighboring block.
- 대상 블록 및 공간적 주변 블록은 대상 픽처 내에 포함될 수 있다.The target block and the spatial neighboring block may be included in the target picture.
- 공간적 주변 블록은 대상 블록에 경계가 맞닿은 블록 또는 대상 블록으로부터 소정의 거리 내에 위치한 블록을 의미할 수 있다.A spatial neighboring block may refer to a block that is bounded to a target block or a block located within a predetermined distance from a target block.
- 공간적 주변 블록은 대상 블록의 꼭지점에 인접한 블록을 의미할 수 있다. 여기에서, 대상 블록의 꼭지점에 인접한 블록이란, 대상 블록에 가로로 인접한 이웃 블록에 세로로 인접한 블록 또는 대상 블록에 세로로 인접한 이웃 블록에 가로로 인접한 블록일 수 있다.- A spatial neighboring block may mean a block adjacent to the vertex of the target block. Here, a block adjacent to a vertex of a target block may be a block vertically adjacent to a neighboring block horizontally adjacent to the target block or a block horizontally adjacent to a neighboring block vertically adjacent to the target block.
시간적 주변 블록(temporal neighbor block): 시간적 주변 블록은 대상 블록에 시간적으로 인접한 블록일 수 있다. 주변 블록은 시간적 주변 블록을 포함할 수 있다.Temporal neighbor block: The temporal neighbor block may be temporally adjacent to the target block. The neighboring blocks may include temporal neighboring blocks.
- 시간적 주변 블록은 콜 블록(co-located block; col block)을 포함할 수 있다.The temporal neighboring block may include a co-located block (col block).
- 콜 블록은 이미 복원된 콜 픽처(co-located picture; col picture) 내의 블록일 수 있다. 콜 블록의 콜 픽처 내에서의 위치는 대상 블록의 대상 픽처 내의 위치에 대응할 수 있다. 또는, 콜 블록의 콜 픽처 내에서의 위치는 대상 블록의 대상 픽처 내의 위치와 동일할 수 있다. 콜 픽처는 참조 픽처 리스트에 포함된 픽처일 수 있다.The call block may be a block in a co-located picture (col picture). The position of the call block in the call picture may correspond to the position in the target picture of the target block. Alternatively, the position of the call block in the call picture may be the same as the position in the target picture of the target block. The call picture may be a picture included in the reference picture list.
- 시간적 주변 블록은 대상 블록의 공간적 주변 블록에 시간적으로 인접한 블록일 수 있다.The temporal neighboring block may be a block temporally adjacent to the spatial neighboring block of the target block.
예측 유닛(prediction unit): 인터 예측, 인트라 예측, 인터 보상(compensation), 인트라 보상 및 움직임 보상 등의 예측에 대한 기반 단위를 의미할 수 있다.Prediction unit: It can mean a base unit for prediction such as inter prediction, intra prediction, inter-compensation, intra compensation, and motion compensation.
- 하나의 예측 유닛은 더 작은 크기를 갖는 복수의 파티션(partition)들 또는 하위 예측 유닛들로 분할될 수도 있다. 복수의 파티션들 또한 예측 또는 보상의 수행에 있어서의 기반 단위일 수 있다. 예측 유닛의 분할에 의해 생성된 파티션 또한 예측 유닛일 수 있다.- one prediction unit may be divided into a plurality of partitions or lower prediction units having a smaller size. The plurality of partitions may also be a base unit in performing prediction or compensation. The partition generated by the division of the prediction unit may also be a prediction unit.
예측 유닛 파티션(prediction unit partition): 예측 유닛이 분할된 형태를 의미할 수 있다.Prediction unit partition: Prediction unit may mean a partitioned form.
재구축된 이웃 유닛(reconstructed neighboring unit): 재구축된 이웃 유닛은 대상 유닛의 주변에 이미 복호화되어 재구축된 유닛일 수 있다.Reconstructed neighboring unit: The reconstructed neighboring unit may be a unit that has already been decoded and reconstructed around the target unit.
- 재구축된 이웃 유닛은 대상 유닛에 대한 공간적(spatial) 인접 유닛 또는 시간적(temporal) 인접 유닛일 수 있다.The reconstructed neighboring unit may be a spatial adjacent unit or a temporal adjacent unit for the target unit.
- 재구축된 공간적 주변 유닛은 대상 픽처 내의 유닛이면서 부호화 및/또는 복호화를 통해 이미 재구축된 유닛일 수 있다.The reconstructed spatial surrounding unit may be a unit in the target picture and a unit already reconstructed through coding and / or decoding.
- 재구축된 시간적 주변 유닛은 참조 영상 내의 유닛이면서 부호화 및/또는 복호화를 통해 이미 재구축된 유닛일 수 있다. 재구축된 시간적 주변 유닛의 참조 영상 내에서의 위치는 대상 유닛의 대상 픽처 내에서의 위치와 같거나, 대상 유닛의 대상 픽처 내에서의 위치에 대응할 수 있다.- the reconstructed temporal neighboring unit may be a unit in the reference image and a unit already reconstructed through coding and / or decoding. The position in the reference picture of the reconstructed temporal neighboring unit may be the same as the position in the target picture of the target unit or may correspond to the position in the target picture of the target unit.
파라미터 세트(parameter set): 파라미터 세트는 비트스트림 내의 구조(structure) 중 헤더(header) 정보에 해당할 수 있다. 예를 들면, 파라미터 세트는 비디오 파라미터 세트(video parameter set), 시퀀스 파라미터 세트(sequence parameter set), 픽처 파라미터 세트(picture parameter set) 및 적응 파라미터 세트(adaptation parameter set) 등을 포함할 수 있다.Parameter set: A parameter set may correspond to header information among structures in a bitstream. For example, the parameter set may include a video parameter set, a sequence parameter set, a picture parameter set, and an adaptation parameter set.
또한, 파라미터 세트는 슬라이스(slice) 헤더 정보 및 타일 헤더 정보를 포함할 수 있다.In addition, the parameter set may include slice header information and tile header information.
율-왜곡 최적화(rate-distortion optimization): 부호화 장치는 코딩 유닛의 크기, 예측 모드, 예측 유닛의 크기, 움직임 정보 및, 변환 유닛의 크기 등의 조합을 이용해서 높은 부호화 효율을 제공하기 위해 율-왜곡 최적화를 사용할 수 있다.Rate-distortion optimization: An encoding apparatus uses rate-distortion optimization to provide a high coding efficiency using a combination of a coding unit size, a prediction mode, a prediction unit size, motion information, Distortion optimization can be used.
- 율-왜곡 최적화 방식은 상기의 조합들 중에서 최적의 조합을 선택하기 위해 각 조합의 율-왜곡 비용(rate-distortion cost)을 계산할 수 있다. 율-왜곡 비용은 아래의 수식 1을 이용하여 계산될 수 있다. 일반적으로 상기 율-왜곡 비용이 최소가 되는 조합이 율-왜곡 최적화 방식에 있어서의 최적의 조합으로 선택될 수 있다.The rate-distortion optimization scheme can calculate the rate-distortion cost of each combination to select the optimal combination from among the combinations above. The rate-distortion cost can be calculated using Equation 1 below. In general, the combination in which the rate-distortion cost is minimized can be selected as the optimum combination in the rate-distortion optimization method.
[수식 1][Equation 1]
Figure pat00001
Figure pat00001
- D는 왜곡을 나타낼 수 있다. D는 변환 유닛 내에서 원래의 변환 계수들 및 재구축된 변환 계수들 간의 차이 값들의 제곱들의 평균(mean square error)일 수 있다.- D can indicate distortion. D may be the mean square error of the difference values between the original transform coefficients and the reconstructed transform coefficients in the transform unit.
- R은 율을 나타낼 수 있다. R은 관련된 문맥 정보를 이용한 비트 율을 나타낼 수 있다.- R can represent the rate. R can represent the bit rate using related context information.
- λ는 라그랑지안 승수(Lagrangian multiplier)를 나타낼 수 있다. R은 예측 모드, 움직임 정보 및 코드된 블록 플래그(coded block flag) 등과 같은 코딩 파라미터 정보뿐만 아니라, 변환 계수의 부호화에 의해 발생하는 비트도 포함할 수 있다.- [lambda] can represent a Lagrangian multiplier. R may include coding parameter information such as a prediction mode, motion information, and coded block flag, as well as bits generated by coding the transform coefficients.
- 부호화 장치는 정확한 D 및 R을 계산하기 위해 인터 예측 및/또는 인트라 예측, 변환, 양자화, 엔트로피 부호화, 역양자화, 역변환 등의 과정들을 수행할 수 있다. 이러한 과정들은 부호화 장치에서의 복잡도를 크게 증가시킬 수 있다.- The encoder may perform inter prediction and / or intra prediction, conversion, quantization, entropy coding, inverse quantization, inverse transform, etc. to calculate the correct D and R. These processes can greatly increase the complexity in the encoding apparatus.
비트스트림(bitstream): 비트스트림은 부호화된 영상 정보를 포함하는 비트의 열을 의미할 수 있다.Bitstream: A bitstream may be a bit string containing encoded image information.
파라미터 세트(parameter set): 파라미터 세트는 비트스트림 내의 구조(structure) 중 헤더(header) 정보에 해당할 수 있다.Parameter set: A parameter set may correspond to header information among structures in a bitstream.
- 파라미터 세트는 비디오 파라미터 세트(video parameter set), 시퀀스 파라미터 세트(sequence parameter set), 픽처 파라미터 세트(picture parameter set) 및 적응 파라미터 세트(adaptation parameter set) 중 적어도 하나를 포함할 수 있다. 또한, 파라미터 세트는 슬라이스(slice) 헤더의 정보 및 타일(tile) 헤더의 정보를 포함할 수도 있다.The parameter set may comprise at least one of a video parameter set, a sequence parameter set, a picture parameter set and an adaptation parameter set. The parameter set may also include information of a slice header and information of a tile header.
파싱(parsing): 파싱은 비트스트림을 엔트로피 복호화하여 구문 요소(syntax element)의 값을 결정하는 것을 의미할 수 있다. 또는, 파싱은 엔트로피 복호화 자체를 의미할 수 있다.Parsing: Parsing may entropy-decode the bitstream to determine the value of a syntax element. Or, parsing may mean entropy decoding itself.
심볼(symbol): 부호화 대상 유닛 및/또는 복호화 대상 유닛의 구문 요소, 코딩 파라미터(coding parameter) 및 변환 계수(transform coefficient) 등 중 적어도 하나를 의미할 수 있다. 또한, 심볼은 엔트로피 부호화의 대상 또는 엔트로피 복호화의 결과를 의미할 수 있다.Symbol: may include at least one of a syntax element, a coding parameter, and a transform coefficient of a coding target unit and / or a target unit to be decoded. In addition, the symbol may mean a target of entropy encoding or a result of entropy decoding.
참조 픽처(reference picture): 참조 픽처는 인터 예측 또는 움직임 보상을 위하여 유닛이 참조하는 영상을 의미할 수 있다. 또는, 참조 픽처는 인터 예측 또는 움직임 보상을 위해 대상 유닛이 참조하는 참조 유닛을 포함하는 영상일 수 있다.Reference picture: A reference picture may refer to an image that a unit refers to for inter prediction or motion compensation. Alternatively, the reference picture may be an image including a reference unit referred to by the target unit for inter prediction or motion compensation.
이하, 용어 "참조 픽처" 및 "참조 영상"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.Hereinafter, the terms "reference picture" and "reference picture" may be used interchangeably and may be used interchangeably.
참조 픽처 리스트(reference picture list): 참조 픽처 리스트는 인터 예측 또는 움직임 보상에 사용되는 하나 이상의 참조 영상들을 포함하는 리스트일 수 있다.Reference picture list: A reference picture list may be a list including one or more reference pictures used for inter-prediction or motion compensation.
- 참조 픽처 리스트의 종류는 리스트 조합(List Combined; LC), 리스트 0(List 0; L0), 리스트 1(List 1; L1), 리스트 2(List 2; L2) 및 리스트 3(List 3; L3) 등이 있을 수 있다.The types of the reference picture list include a list combination (LC), a list 0 (L0), a list 1 (L1), a list 2 (L2), and a list 3 ) And the like.
- 인터 예측에는 하나 이상의 참조 픽처 리스트들이 사용될 수 있다.- One or more reference picture lists may be used for inter prediction.
인터 예측 지시자(inter prediction indicator): 인터 예측 지시자는 대상 유닛에 대한 인터 예측의 방향을 가리킬 수 있다. 인터 예측은 단방향 예측 및 양방향 예측 등 중 하나일 수 있다. 또는, 인터 예측 지시자는 대상 유닛의 예측 유닛을 생성할 때 사용되는 참조 영상의 개수를 나타낼 수 있다. 또는, 인터 예측 지시자는 대상 유닛에 대한 인터 예측 혹은 움직임 보상을 위해 사용되는 예측 블록의 개수를 의미할 수 있다.Inter Prediction Indicator: An inter prediction indicator may indicate the direction of inter prediction for a target unit. The inter prediction may be one of a unidirectional prediction and a bidirectional prediction. Alternatively, the inter prediction indicator may indicate the number of reference images used when generating the prediction unit of the target unit. Alternatively, the inter prediction indicator may mean the number of prediction blocks used for inter prediction or motion compensation for the target unit.
참조 픽처 색인(reference picture index): 참조 픽처 색인은 참조 픽처 리스트에서 특정 참조 영상을 지시하는 색인일 수 있다.Reference picture index: The reference picture index may be an index indicating a specific reference picture in the reference picture list.
움직임 벡터(Motion Vector; MV): 움직임 벡터는 인터 예측 또는 움직임 보상에서 사용되는 2차원의 벡터일 수 있다. 움직임 벡터는 대상 영상 및 참조 영상 간의 오프셋을 의미할 수 있다.Motion Vector (MV): A motion vector may be a two-dimensional vector used in inter prediction or motion compensation. A motion vector may mean an offset between a target image and a reference image.
- 예를 들면, MV는 (mvx, mvy)와 같은 형태로 표현될 수 있다. mvx는 수평(horizontal) 성분을 나타낼 수 있고, mvy 는 수직(vertical) 성분을 나타낼 수 있다.- For example, MV can be expressed in the form (mv x , mv y ). mv x may represent a horizontal component, and mv y may represent a vertical component.
탐색 영역(search range): 탐색 영역은 인터 예측 중 MV에 대한 탐색이 이루어지는 2차원의 영역일 수 있다. 예를 들면, 탐색 영역의 크기는 MxN일 수 있다. M 및 N은 각각 양의 정수일 수 있다.Search range: The search area may be a two-dimensional area where an MV search is performed during inter prediction. For example, the size of the search area may be MxN. M and N may be positive integers, respectively.
움직임 벡터 후보(motion vector candidate): 움직임 벡터 후보는 움직임 벡터를 예측할 때 예측 후보인 블록 혹은 예측 후보인 블록의 움직임 벡터를 의미할 수 있다. Motion vector candidate: A motion vector candidate may mean a motion vector of a block, which is a prediction candidate or a prediction candidate, when a motion vector is predicted.
- 움직임 벡터 후보는 움직임 벡터 후보 리스트에 포함될 수 있다.- The motion vector candidate may be included in the motion vector candidate list.
움직임 벡터 후보 리스트(motion vector candidate list): 움직임 벡터 후보 리스트는 하나 이상의 움직임 벡터 후보들을 이용하여 구성된 리스트를 의미할 수 있다.Motion Vector Candidate List: A motion vector candidate list may refer to a list constructed using one or more motion vector candidates.
움직임 벡터 후보 색인(motion vector candidate index): 움직임 벡터 후보 색인은 움직임 벡터 후보 리스트 내의 움직임 벡터 후보를 가리키는 지시자를 의미할 수 있다. 또는, 움직임 벡터 후보 색인은 움직임 벡터 예측기(motion vector predictor)의 색인(index)일 수 있다.Motion vector candidate index: The motion vector candidate index may indicate an indicator indicating a motion vector candidate in a motion vector candidate list. Alternatively, the motion vector candidate index may be an index of a motion vector predictor.
움직임 정보(motion information): 움직임 정보는 움직임 벡터, 참조 픽처 색인 및 인터 예측 지시자(inter prediction indicator) 뿐만 아니라 참조 픽처 리스트 정보, 참조 영상, 움직임 벡터 후보, 움직임 벡터 후보 색인, 머지 후보 및 머지 색인 등 중 적어도 하나를 포함하는 정보를 의미할 수 있다.Motion information: Motion information includes motion picture information, reference picture list information, reference pictures, motion vector candidates, motion vector candidate indexes, merge candidates, and merge indices, as well as motion vectors, reference picture indexes and inter prediction indicators Quot; and " information "
머지 후보 리스트(merge candidate list): 머지 후보 리스트는 머지 후보를 이용하여 구성된 리스트를 의미할 수 있다.Merge candidate list: A merge candidate list can mean a list constructed using merge candidates.
머지 후보(merge candidate): 머지 후보는 공간적 머지 후보, 시간적 머지 후보, 조합된 머지 후보, 조합 양예측(combined bi-prediction) 머지 후보 및 제로 머지 후보 등을 의미할 수 있다. 머지 후보는 예측 타입 정보, 각 리스트에 대한 참조 픽처 색인 및 움직임 벡터 등의 움직임 정보를 포함할 수 있다.Merge candidate: A merge candidate can mean a spatial merge candidate, a temporal merge candidate, a combined merge candidate, a combined bi-prediction merge candidate, and a zero merge candidate. The merge candidate may include motion type information such as prediction type information, a reference picture index for each list, and a motion vector.
머지 색인(merge index): 머지 색인은 머지 후보 리스트 내의 머지 후보를 가리키는 지시자일 수 있다.The merge index: The merge index may be an indicator that indicates the merge candidate in the merge candidate list.
- 머지 색인은 대상 유닛에 공간적으로 인접한 재구축된 유닛 및 대상 유닛에 시간적으로 인접한 재구축된 유닛 중 머지 후보를 유도한 재구축된 유닛을 지시할 수 있다.The merge index may indicate a reconstructed unit spatially adjacent to the target unit and a reconstructed unit that derives the merge candidate out of the reconstructed units temporally adjacent to the target unit.
- 머지 색인은 머지 후보의 움직임 정보들 중 적어도 하나를 지시할 수 있다.The merge index may indicate at least one of the motion information of the merge candidate.
변환 유닛(transform unit): 변환 유닛은 변환, 역변환, 양자화, 역양자화, 변환 계수 부호화 및 변환 계수 복호화 등과 같은 잔차 신호(residual signal) 부호화 및/또는 잔차 신호 복호화에 있어서의 기본 유닛일 수 있다. 하나의 변환 유닛은 더 작은 크기의 복수의 변환 유닛들로 분할될 수 있다.Transform unit: The transform unit can be a base unit in residual signal coding and / or residual signal decoding such as transform, inverse transform, quantization, inverse quantization, transform coefficient coding and transform coefficient decoding. One conversion unit can be divided into a plurality of conversion units of a smaller size.
스케일링(scaling): 스케일링은 변환 계수 레벨에 인수를 곱하는 과정을 의미할 수 있다. Scaling: Scaling can refer to the process of multiplying the transform coefficient level by an argument.
- 변환 계수 레벨에 대한 스케일링의 결과로서, 변환 계수가 생성될 수 있다. 스케일링은 역양자화(dequantization)로 칭해질 수도 있다.As a result of scaling to the transform coefficient level, a transform coefficient can be generated. Scaling may also be referred to as dequantization.
양자화 파라미터(Quantization Parameter; QP): 양자화 파라미터는 양자화에서 변환 계수에 대해 변환 계수 레벨(transform coefficient level)을 생성할 때 사용되는 값을 의미할 수 있다. 또는, 양자화 파라미터는 역양자화에서 변환 계수 레벨을 스케일링(scaling)함으로써 변환 계수를 생성할 때 사용되는 값을 의미할 수도 있다. 또는, 양자화 파라미터는 양자화 스탭 크기(step size)에 매핑된 값일 수 있다.Quantization Parameter (QP): The quantization parameter may refer to a value used when generating a transform coefficient level for a transform coefficient in quantization. Alternatively, the quantization parameter may mean a value used when generating the transform coefficient by scaling the transform coefficient level in the inverse quantization. Alternatively, the quantization parameter may be a value mapped to a quantization step size.
델타 양자화 파라미터(delta quantization parameter): 델타 양자화 파라미터는 예측된 양자화 파라미터 및 대상 유닛의 양자화 파라미터의 차분(differential) 값을 의미한다.Delta quantization parameter: A delta quantization parameter means a predicted quantization parameter and a differential value of the quantization parameter of the target unit.
스캔(scan): 스캔은 유닛, 블록 또는 행렬 내의 계수들의 순서를 정렬하는 방법을 의미할 수 있다. 예를 들면, 2차원 배열을 1차원 배열 형태로 정렬하는 것을 스캔이라고 칭할 수 있다. 또는, 1차원 배열을 2차원 배열 형태로 정렬하는 것도 스캔 또는 역 스캔(inverse scan)이라고 칭할 수 있다.Scan: A scan may mean a method of arranging the order of coefficients within a unit, block, or matrix. For example, arranging a two-dimensional array in a one-dimensional array form can be referred to as a scan. Alternatively, arranging the one-dimensional arrays in the form of a two-dimensional array may be referred to as a scan or an inverse scan.
변환 계수(transform coefficient): 변환 계수는 부호화 장치에서 변환을 수행함에 따라 생성된 계수 값일 수 있다. 또는, 변환 계수는 복호화 장치에서 엔트로피 복호화 및 역양자화 중 적어도 하나를 수행함에 따라 생성된 계수 값일 수 있다. Transform coefficient: The transform coefficient may be a coefficient value generated as a result of performing the transform in the encoding apparatus. Alternatively, the transform coefficient may be a coefficient value generated by performing at least one of entropy decoding and inverse quantization in the decoding apparatus.
- 변환 계수 또는 잔차 신호에 양자화를 적용함으로써 생성된 양자화된 레벨 또는 양자화된 변환 계수 레벨 또한 변환 계수의 의미에 포함될 수 있다.The quantized level or quantized transform coefficient level generated by applying the quantization to the transform coefficients or residual signals may also be included in the meaning of the transform coefficients.
양자화된 레벨(quantized level): 양자화된 레벨은 부호화 장치에서 변환 계수 또는 잔차 신호에 양자화를 수행함으로써 생성된 값을 의미할 수 있다. 또는, 양자화된 레벨은 복호화 장치에서 역양자화를 수행함에 있어서 역양자화의 대상이 되는 값을 의미할 수도 있다.Quantized level: A quantized level may mean a value generated by performing a quantization on a transform coefficient or a residual signal in an encoding apparatus. Alternatively, the quantized level may be a value to be subjected to inverse quantization in performing inverse quantization in the decoding apparatus.
- 변환 및 양자화의 결과인 양자화된 변환 계수 레벨도 양자화된 레벨의 의미에 포함될 수 있다.- The quantized transform coefficient levels resulting from the transform and quantization can also be included in the meaning of the quantized levels.
넌제로 변환 계수(non-zero transform coefficient): 넌제로 변환 계수는 0이 아닌 값을 갖는 변환 계수 또는 0이 아닌 값을 갖는 변환 계수 레벨을 의미할 수 있다. 또는, 넌제로 변환 계수는 값의 크기가 0이 아난 변환 계수 또는 값의 크기가 0이 아닌 변환 계수 레벨을 의미할 수 있다.Non-zero transform coefficient: A non-zero transform coefficient may mean a transform coefficient having a value other than zero or a transform coefficient level having a non-zero value. Alternatively, the non-zero transform coefficient may mean a transform coefficient whose magnitude is not zero or a transform coefficient level whose magnitude is not zero.
양자화 행렬(quantization matrix): 양자화 행렬은 영상의 주관적 화질 혹은 객관적 화질을 향상시키기 위해서 양자화 과정 또는 역양자화 과정에서 이용되는 행렬을 의미할 수 있다. 양자화 행렬은 스케일링 리스트(scaling list)라고도 칭해질 수 있다.Quantization matrix: A quantization matrix may mean a matrix used in a quantization process or a dequantization process to improve the subjective or objective image quality of an image. The quantization matrix may also be referred to as a scaling list.
양자화 행렬 계수(quantization matrix coefficient): 양자화 행렬 계수는 양자화 행렬 내의 각 원소(element)를 의미할 수 있다. 양자화 행렬 계수는 행렬 계수(matrix coefficient)라고도 칭해질 수 있다.Quantization matrix coefficient: The quantization matrix coefficient may refer to each element in the quantization matrix. The quantization matrix coefficient may also be referred to as a matrix coefficient.
디폴트 행렬(default matrix): 기본 행렬은 부호화 장치 및 복호화 장치에서 기정의된 양자화 행렬일 수 있다.Default matrix: The base matrix may be a predefined quantization matrix in the encoder and decoder.
비 디폴트 행렬(non-default matrix): 비 디폴트 행렬은 부호화 장치 및 복호화 장치에서 기정의되어 있지 않은 양자화 행렬일 수 있다. 비 디폴트 행렬은 부호화 장치로부터 복호화 장치로 시그널링될 수 있다.Non-default matrix: The non-default matrix may be a non-default quantization matrix in the encoder and decoder. The non-default matrix may be signaled from the encoder to the decoder.
가장 가능성있는 모드(Most Probable Mode; MPM): MPM은 대상 블록의 인트라 예측을 위해 사용될 가능성이 높은 인트라 예측 모드를 나타낼 수 있다.Most Probable Mode (MPM): The MPM may indicate an intra prediction mode that is likely to be used for intra prediction of a target block.
부호화 장치 및 복호화 장치는 대상 블록에 관련된 코딩 파라미터 및 대상 블록에 관련된 개체의 속성에 기반하여 하나 이상의 MPM들을 결정할 수 있다.The encoding device and the decoding device may determine one or more MPMs based on coding parameters related to the object block and attributes of the object related to the object block.
부호화 장치 및 복호화 장치는 참조 블록의 인트라 예측 모드에 기반하여 하나 이상의 MPM들을 결정할 수 있다. 참조 블록은 복수일 수 있다. 복수의 참조 블록들은 대상 블록의 좌측에 인접한 공간적 주변 블록 및 대상 블록의 상단에 인접한 공간적 주변 블록을 포함할 수 있다. 말하자면, 참조 블록들에 대하여 어떠한 인트라 예측 모드들이 사용되었는가에 따라서 서로 다른 하나 이상의 MPM들이 결정될 수 있다.The encoder and decoder may determine one or more MPMs based on the intra prediction mode of the reference block. The reference block may be plural. The plurality of reference blocks may include a spatial neighboring block to the left of the target block and a spatial neighboring block to the top of the target block. That is to say, one or more different MPMs may be determined depending on which intra prediction modes are used for the reference blocks.
하나 이상의 MPM들은 부호화 장치 및 복호화 장치에서 동일한 방식으로 결정될 수 있다. 말하자면, 부호화 장치 및 복호화 장치는 동일한 하나 이상의 MPM들을 포함하는 MPM 리스트를 공유할 수 있다.One or more MPMs may be determined in the same manner in the encoder and decoder. That is to say, the encoder and decoder can share an MPM list that includes the same one or more MPMs.
MPM 리스트: MPM 리스트는 하나 이상의 MPM들을 포함하는 리스트일 수 있다. MPM 리스트 내의 하나 이상의 MPM들의 개수는 기정의될 수 있다.MPM list: The MPM list may be a list containing one or more MPMs. The number of one or more MPMs in the MPM list may be predetermined.
MPM 지시자: MPM 지시자는 MPM 리스트의 하나 이상의 MPM들 중 대상 블록의 인트라 예측을 위해 사용되는 MPM을 지시할 수 있다. 예를 들면, MPM 지시자는 MPM 리스트에 대한 인덱스일 수 있다.MPM indicator: The MPM indicator can indicate the MPM used for intraprediction of the target block of one or more MPMs in the MPM list. For example, the MPM indicator may be an index to the MPM list.
MPM 리스트는 부호화 장치 및 복호화 장치에서 동일한 방식으로 결정되기 때문에 MPM 리스트 자체는 부호화 장치로부터 복호화 장치로 전송될 필요가 없을 수 있다.Since the MPM list is determined in the same manner in the encoder and the decoder, the MPM list itself may not need to be transmitted from the encoder to the decoder.
MPM 지시자는 부호화 장치로부터 복호화 장치로 시그널링될 수 있다. MPM 지시자가 시그널링됨에 따라 복호화 장치는 MPM 리스트의 MPM들 중 대상 블록에 대한 인트라 예측을 위해 사용될 MPM을 결정할 수 있다.The MPM indicator may be signaled from the encoder to the decoder. As the MPM indicator is signaled, the decoding device may determine the MPM to be used for intra prediction of the target block among the MPMs in the MPM list.
MPM 사용 지시자: MPM 사용 지시자는 대상 블록에 대한 예측을 위해 MPM 사용 모드가 사용될지 여부를 지시할 수 있다. MPM 사용 모드는 MPM 리스트를 사용하여 대상 블록에 대한 인트라 예측을 위해 사용될 MPM을 결정하는 모드일 수 있다.MPM Utilization Indicator: The MPM Utilization Indicator can indicate whether the MPM use mode is to be used for prediction of the target block. The MPM usage mode may be a mode for determining an MPM to be used for intra prediction on a target block using the MPM list.
MPM 사용 지시자는 부호화 장치로부터 복호화 장치로 시그널링될 수 있다.The MPM usage indicator may be signaled from the encoding device to the decryption device.
시그널링: 시그널링은 정보가 부호화 장치로부터 복호화 장치로 전송되는 것을 나타낼 수 있다. 또는, 시그널링은 정보를 비트스트림 또는 기록 매체 내에 포함시키는 것을 의미할 수 있다. 부호화 장치에 의해 시그널링된 정보는 복호화 장치에 의해 사용될 수 있다.Signaling: Signaling may indicate that information is sent from the encoding device to the decoding device. Alternatively, signaling may mean including information in a bitstream or recording medium. The information signaled by the encoding apparatus may be used by the decoding apparatus.
도 1은 본 발명이 적용되는 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.1 is a block diagram illustrating a configuration of an encoding apparatus to which the present invention is applied.
부호화 장치(100)는 인코더, 비디오 부호화 장치 또는 영상 부호화 장치일 수 있다. 비디오는 하나 이상의 영상들을 포함할 수 있다. 부호화 장치(100)는 비디오의 하나 이상의 영상들을 순차적으로 부호화할 수 있다.The encoding apparatus 100 may be an encoder, a video encoding apparatus, or an image encoding apparatus. The video may include one or more images. The encoding apparatus 100 may sequentially encode one or more images of the video.
도 1을 참조하면, 부호화 장치(100)는 인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)를 포함할 수 있다.1, an encoding apparatus 100 includes an inter prediction unit 110, an intra prediction unit 120, a switch 115, a subtractor 125, a transform unit 130, a quantization unit 140, An inverse quantization unit 160, an inverse transform unit 170, an adder 175, a filter unit 180, and a reference picture buffer 190.
부호화 장치(100)는 인트라 모드 및/또는 인터 모드를 사용하여 대상 영상에 대한 부호화를 수행할 수 있다.The encoding apparatus 100 may perform encoding of a target image using an intra mode and / or an inter mode.
또한, 부호화 장치(100)는 대상 영상에 대한 부호화를 통해 부호화의 정보를 포함하는 비트스트림을 생성할 수 있고, 생성된 비트스트림을 출력할 수 있다. 생성된 비트스트림은 컴퓨터 판독가능한 기록 매체에 저장될 수 있고, 유/무선 전송 매체를 통해 스트리밍될 수 있다.In addition, the encoding apparatus 100 can generate a bitstream including encoding information through encoding of a target image, and output the generated bitstream. The generated bit stream can be stored in a computer-readable recording medium and can be streamed through a wired / wireless transmission medium.
예측 모드로서, 인트라 모드가 사용되는 경우, 스위치(115)는 인트라로 전환될 수 있다. 예측 모드로서, 인터 모드가 사용되는 경우, 스위치(115)는 인터로 전환될 수 있다.When the intra mode is used as the prediction mode, the switch 115 can be switched to intra. When the inter mode is used as the prediction mode, the switch 115 can be switched to the inter.
부호화 장치(100)는 대상 블록에 대한 예측 블록을 생성할 수 있다. 또한, 부호화 장치(100)는 예측 블록이 생성된 후, 대상 블록 및 예측 블록의 차분(residual)을 부호화할 수 있다.The encoding apparatus 100 may generate a prediction block for the target block. Also, after the prediction block is generated, the encoding device 100 can code the residual of the target block and the prediction block.
예측 모드가 인트라 모드인 경우, 인트라 예측부(120)는 대상 블록의 주변에 있는, 이미 부호화/복호화된 블록의 픽셀을 참조 샘플로서 이용할 수 있다. 인트라 예측부(120)는 참조 샘플을 이용하여 대상 블록에 대한 공간적 예측을 수행할 수 있고, 공간적 예측을 통해 대상 블록에 대한 예측 샘플들을 생성할 수 있다.When the prediction mode is the intra mode, the intra prediction unit 120 can use the pixels of the already coded / decoded block around the target block as a reference sample. The intra prediction unit 120 can perform spatial prediction of a target block using a reference sample and generate prediction samples of a target block through spatial prediction.
인터 예측부(110)는 움직임 예측부 및 움직임 보상부를 포함할 수 있다.The inter prediction unit 110 may include a motion prediction unit and a motion compensation unit.
예측 모드가 인터 모드인 경우, 움직임 예측부는, 움직임 예측 과정에서 참조 영상으로부터 대상 블록과 가장 매치가 잘 되는 영역을 검색할 수 있고, 검색된 영역을 이용하여 대상 블록 및 검색된 영역에 대한 움직임 벡터를 도출할 수 있다.When the prediction mode is the inter mode, the motion predicting unit can search for the best matched region from the reference block in the motion estimation process, derive the motion vector for the target block and the searched region using the searched region, can do.
참조 영상은 참조 픽처 버퍼(190)에 저장될 수 있으며, 참조 영상에 대한 부호화 및/또는 복호화가 처리되었을 때 참조 픽처 버퍼(190)에 저장될 수 있다.The reference picture may be stored in the reference picture buffer 190 and may be stored in the reference picture buffer 190 when the coding and / or decoding of the reference picture has been processed.
움직임 보상부는 움직임 벡터를 이용하는 움직임 보상을 수행함으로써 대상 블록에 대한 예측 블록을 생성할 수 있다. 여기에서, 움직임 벡터는 인터 예측에 사용되는 2차원 벡터일 수 있다. 또한 움직임 벡터는 대상 영상 및 참조 영상 간의 오프셋(offset)을 나타낼 수 있다.The motion compensation unit may generate a prediction block for a target block by performing motion compensation using a motion vector. Here, the motion vector may be a two-dimensional vector used for inter prediction. The motion vector may also indicate an offset between the target image and the reference image.
움직임 예측부 및 움직임 보상부는 움직임 벡터가 정수가 아닌 값을 가진 경우 참조 영상 내의 일부 영역에 대해 보간 필터(interpolation filter)를 적용함으로써 예측 블록을 생성할 수 있다. 인터 예측 또는 움직임 보상을 수행하기 위해, CU를 기준으로 CU에 포함된 PU의 움직임 예측 및 움직임 보상의 방법이 스킵 모드(skip mode), 머지 모드(merge mode), 향상된 움직임 벡터 예측(advanced motion vector prediction; AMVP) 모드 및 현재 픽처 참조 모드 중 어떠한 방법인지 여부가 판단될 수 있고, 각 모드에 따라 인터 예측 또는 움직임 보상이 수행될 수 있다.The motion prediction unit and the motion compensation unit can generate a prediction block by applying an interpolation filter to a part of the reference image when the motion vector has a non-integer value. In order to perform inter prediction or motion compensation, a method of motion prediction and motion compensation of a PU included in a CU based on a CU is called a skip mode, a merge mode, an advanced motion vector prediction (AMVP) mode and a current picture reference mode, and inter prediction or motion compensation may be performed according to each mode.
감산기(125)는 대상 블록 및 예측 블록의 차분인 잔차 블록(residual block)을 생성할 수 있다. 잔차 블록은 잔차 신호로 칭해질 수도 있다.The subtracter 125 may generate a residual block which is a difference between the target block and the prediction block. The residual block may be referred to as a residual signal.
잔차 신호는 원 신호 및 예측 신호 간의 차이(difference)를 의미할 수 있다. 또는, 잔차 신호는 원신호 및 예측 신호 간의 차이를 변환(transform)하거나 양자화하거나 또는 변환 및 양자화함으로써 생성된 신호일 수 있다. 잔차 블록은 블록 단위에 대한 잔차 신호일 수 있다.The residual signal may mean a difference between the original signal and the prediction signal. Alternatively, the residual signal may be a signal generated by transforming, quantizing, or transforming and quantizing the difference between the original signal and the prediction signal. The residual block may be a residual signal for a block unit.
변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수를 생성할 수 있고, 생성된 변환 계수(transform coefficient)를 출력할 수 있다. 여기서, 변환 계수는 잔차 블록에 대한 변환을 수행함으로써 생성된 계수 값일 수 있다.The transforming unit 130 may perform a transform on the residual block to generate a transform coefficient, and output the generated transform coefficient. Here, the transform coefficient may be a coefficient value generated by performing a transform on the residual block.
변환부(130)는 변환을 수행함에 있어서 기정의된 복수의 변환 방법들 중 하나를 사용할 수 있다.The conversion unit 130 may use one of a plurality of predetermined conversion methods for performing the conversion.
기정의된 복수의 변환 방법들은 이산 코사인 변환(Discrete Cosine Transform; DCT), 이산 사인 변환(Discrete Sine Transform; DST) 및 카루넨-루베 변환(Karhunen-Loeve Transform; KLT) 기반 변환 등을 포함할 수 있다.The predetermined plurality of conversion methods may include Discrete Cosine Transform (DCT), Discrete Sine Transform (DST), and Karhunen-Loeve Transform (KLT) have.
잔차 블록에 대한 변환을 위해 사용되는 변환 방법은 대상 블록 및/또는 주변 블록에 대한 코딩 파라미터들 중 적어도 하나에 따라 결정될 수 있다. 예를 들면, 변환 방법은 PU에 대한 인터 예측 모드, PU에 대한 인트라 예측 모드, TU의 크기 및 TU의 형태 중 적어도 하나에 기반하여 결정될 수 있다. 또는, 변환 방법을 지시하는 변환 정보가 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수도 있다.The transform method used for transforming the residual block may be determined according to at least one of the coding parameters for the object block and / or the surrounding block. For example, the transformation method may be determined based on at least one of an inter prediction mode for the PU, an intra prediction mode for the PU, a size of the TU, and a type of the TU. Alternatively, conversion information indicating the conversion method may be signaled from the encoding device 100 to the decryption device 200. [
변환 스킵(transform skip) 모드가 적용되는 경우, 변환부(130)는 잔차 블록에 대한 변환을 생략할 수도 있다.When the transform skip mode is applied, the transforming unit 130 may omit the transform for the residual block.
변환 계수에 양자화를 적용함으로써 양자화된 변환 계수 레벨(transform coefficient level) 또는 양자화된 레벨이 생성될 수 있다. 이하, 실시예들에서는 양자화된 변환 계수 레벨 및 양자화된 레벨도 변환 계수로 칭해질 수 있다.A quantized transform coefficient level or a quantized level can be generated by applying quantization to the transform coefficients. Hereinafter, in the embodiments, the quantized transform coefficient level and the quantized level may also be referred to as a transform coefficient.
양자화부(140)는 변환 계수를 양자화 파라미터에 맞춰 양자화함으로써 양자화된 변환 계수 레벨(quantized transform coefficient level) 또는 양자화된 레벨을 생성할 수 있다. 양자화부(140)는 생성된 양자화된 변환 계수 레벨 또는 생성된 양자화된 레벨을 출력할 수 있다. 이때, 양자화부(140)에서는 양자화 행렬을 사용하여 변환 계수를 양자화할 수 있다.The quantization unit 140 may generate a quantized transform coefficient level or a quantized level by quantizing the transform coefficient in accordance with the quantization parameter. The quantization unit 140 may output the generated quantized transform coefficient level or the generated quantized level. At this time, the quantization unit 140 can quantize the transform coefficient using the quantization matrix.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 및/또는 부호화 과정에서 산출된 코딩 파라미터 값들 등에 기초하여 확률 분포에 따른 엔트로피 부호화를 수행함으로써 비트스트림(bitstream)을 생성할 수 있다. 엔트로피 부호화부(150)는 생성된 비트스트림을 출력할 수 있다.The entropy encoding unit 150 can generate a bitstream by performing entropy encoding according to the probability distribution based on the values calculated by the quantization unit 140 and / or the coding parameter values calculated in the encoding process . The entropy encoding unit 150 may output the generated bitstream.
엔트로피 부호화부(150)는 영상의 픽셀에 관한 정보 및 영상의 복호화를 위한 정보에 대한 엔트로피 부호화를 수행할 수 있다. 예를 들면, 영상의 복호화를 위한 정보는 구문 요소(syntax element) 등을 포함할 수 있다. The entropy encoding unit 150 may perform entropy encoding on information about pixels of an image and information for decoding an image. For example, the information for decoding the image may include a syntax element or the like.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당될 수 있고, 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당될 수 있다. 이러한 할당을 통해 심볼이 표현됨에 따라, 부호화의 대상인 심볼들에 대한 비트열(bitstring)의 크기가 감소될 수 있다. 따라서, 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 향상될 수 있다. When entropy coding is applied, a small number of bits can be assigned to a symbol having a high probability of occurrence, and a large number of bits can be assigned to a symbol having a low probability of occurrence. As the symbol is represented through this allocation, the size of the bit string for the symbols to be encoded can be reduced. Therefore, the compression performance of the image encoding can be improved through the entropy encoding.
또한, 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골롬(exponential golomb), 문맥-적응형 가변 길이 코딩(Context-Adaptive Variable Length Coding; CAVLC) 및 문맥-적응형 이진 산술 코딩(Context-Adaptive Binary Arithmetic Coding; CABAC) 등과 같은 부호화 방법을 사용할 수 있다. 예를 들면, 엔트로피 부호화부(150)는 가변 길이 부호화(Variable Length Coding/Code; VLC) 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 예를 들면, 엔트로피 부호화부(150)는 대상 심볼에 대한 이진화(binarization) 방법을 도출할 수 있다. 또한, 엔트로피 부호화부(150)는 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출할 수 있다. 엔트로피 부호화부(150)는 도출된 이진화 방법, 확률 모델 및 문맥 모델(context model)을 사용하여 산술 부호화를 수행할 수도 있다.In addition, the entropy encoding unit 150 may use an exponential golomb, a context-adaptive variable length coding (CAVLC), and a context-adaptive binary arithmetic coding Arithmetic Coding (CABAC), and the like can be used. For example, the entropy encoding unit 150 may perform entropy encoding using a Variable Length Coding / Code (VLC) table. For example, the entropy encoding unit 150 may derive a binarization method for a target symbol. In addition, the entropy encoding unit 150 may derive a probability model of a target symbol / bin. The entropy encoding unit 150 may perform arithmetic encoding using the derived binarization method, the probability model, and the context model.
엔트로피 부호화부(150)는 양자화된 변환 계수 레벨을 부호화하기 위해 변환 계수 스캐닝(transform coefficient scanning) 방법을 통해 2차원의 블록의 형태(form)의 계수를 1차원의 벡터의 형태로 변경할 수 있다.The entropy encoding unit 150 may change coefficients of a form of a two-dimensional block into a form of a one-dimensional vector through a transform coefficient scanning method to encode the quantized transform coefficient levels.
코딩 파라미터는 부호화 및/또는 복호화를 위해 요구되는 정보일 수 있다. 코딩 파라미터는 부호화 장치(100)에서 부호화되어 부호화 장치(100)로부터 복호화 장치로 전달되는 정보를 포함할 수 있고, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있다. 예를 들면, 복호화 장치로 전달되는 정보로서, 구문 요소가 있다.The coding parameters may be information required for coding and / or decoding. The coding parameters may include information that is encoded in the encoding apparatus 100 and transferred from the encoding apparatus 100 to the decoding apparatus, and may include information that can be inferred in the encoding or decoding process. For example, as information transmitted to the decoding apparatus, there is a syntax element.
코딩 파라미터(coding parameter)는 구문 요소와 같이 부호화 장치에서 부호화되고, 부호화 장치로부터 복호화 장치로 시그널링되는 정보(또는, 플래그, 인덱스 등)뿐만 아니라, 부호화 과정 또는 복호화 과정에서 유도되는 정보를 포함할 수 있다. 또한, 코딩 파라미터는 영상을 부호화하거나 복호화함에 있어서 요구되는 정보를 포함할 수 있다. 예를 들면, 유닛/블록의 크기, 유닛/블록의 깊이, 유닛/블록의 분할 정보, 유닛/블록의 분할 구조, 유닛/블록이 쿼드 트리 형태로 분할되는지 여부를 나타내는 정보, 유닛/블록이 이진 트리 형태로 분할되는지 여부를 나타내는 정보, 이진 트리 형태의 분할 방향(가로 방향 또는 세로 방향), 이진 트리 형태의 분할 형태(대칭 분할 또는 비대칭 분할), 유닛/블록이 삼진 트리 형태로 분할되는지 여부를 나타내는 정보, 삼진 트리 형태의 분할 방향(가로 방향 또는 세로 방향), 삼진 트리 형태의 분할 형태(대칭 분할 또는 비대칭 분할 등), 유닛/블록이 복합 트리 형태로 분할되는지 여부를 나타내는 정보, 복합 트리 형태의 분할의 조합 및 방향(가로 방향 또는 세로 방향 등), 예측 방식(인트라 예측 또는 인터 예측), 인트라 예측 모드/방향, 참조 샘플 필터링 방법, 예측 블록 필터링 방법, 예측 블록 경계 필터링 방법, 필터링의 필터 탭, 필터링의 필터 계수, 인터 예측 모드, 움직임 정보, 움직임 벡터, 참조 픽처 색인, 인터 예측 방향, 인터 예측 지시자, 참조 픽처 리스트, 참조 영상, 움직임 벡터 예측기, 움직임 벡터 예측 후보, 움직임 벡터 후보 리스트, 머지 모드를 사용하는지 여부를 나타내는 정보, 머지 후보, 머지 후보 리스트, 스킵(skip) 모드를 사용하는지 여부를 나타내는 정보, 보간 필터의 종류, 보간 필터의 필터 탭, 보간 필터의 필터 계수, 움직임 벡터 크기, 움직임 벡터 표현 정확도, 변환 종류, 변환 크기, 1차 변환을 사용하는지 여부를 나타내는 정보, 추가(2차) 변환을 사용하는지 여부를 나타내는 정보, 1차 변환 선택 정보(또는, 1차 변환 인덱스), 2차 변환 선택 정보(또는, 2차 변환 인덱스), 잔차 신호의 유무를 나타내는 정보, 코드된 블록 패턴(coded block pattern), 코드된 블록 플래그(coded block flag), 양자화 파라미터, 양자화 행렬, 인트라-루프 필터에 대한 정보, 인트라-루프 필터를 적용하는지 여부에 대한 정보, 인트라-루프 필터의 계수, 인트라-루프의 필터 탭, 인트라 루프 필터의 모양(shape)/형태(form), 디블록킹 필터를 적용하는지 여부를 나타내는 정보, 디블록킹 필터 계수, 디블록킹 필터 탭, 디블록킹 필터 강도, 디블록킹 필터 모양/형태, 적응적 샘플 오프셋을 적용하는지 여부를 나타내는 정보, 적응적 샘플 오프셋 값, 적응적 샘플 오프셋 카테고리, 적응적 샘플 오프셋 종류, 적응적 루프-내(in-loop) 필터를 적용하는지 여부, 적응적 루프-내 필터 계수, 적응적 루프-내 필터 탭, 적응적 루프-내 필터 모양/형태, 이진화/역이진화 방법, 문맥 모델, 문맥 모델 결정 방법, 문맥 모델 업데이트 방법, 레귤러 모드를 수행하는지 여부, 바이패스 모드를 수행하는지 여부, 문맥 빈, 바이패스 빈, 변환 계수, 변환 계수 레벨, 변환 계수 레벨 스캐닝 방법, 영상의 디스플레이/출력 순서, 슬라이스 식별 정보, 슬라이스 타입, 슬라이스 분할 정보, 타일 식별 정보, 타일 타입, 타일 분할 정보, 픽처 타입, 비트 심도, 루마 신호에 대한 정보 및 크로마 신호에 대한 정보 중 적어도 하나의 값, 조합된 형태 또는 통계가 코딩 파라미터에 포함될 수 있다. 예측 방식은 인트라 예측 모드 및 인터 예측 모드 중 하나의 예측 모드를 나타낼 수 있다.Coding parameters may include not only information (or flags, indexes, etc.) encoded in a coding apparatus such as syntax elements and signaled from a coding apparatus to a decoding apparatus, but also information derived from a coding process or a decoding process have. In addition, the coding parameters may include information required in coding or decoding an image. For example, the unit / block size, the unit / block depth, the unit / block division information, the unit / block division structure, the information indicating whether the unit / block is divided into quad tree form, Information indicating whether or not the unit / block is divided into a tree form, a division direction (horizontal direction or vertical direction) of a binary tree, a division type (a symmetric division or an asymmetric division) Information indicating whether or not the unit / block is divided into a complex tree form, a compound tree form (information on whether the unit / block is divided into a complex tree form) (Intra-prediction or inter-prediction), intraprediction mode / direction, reference sample filtering method A predictive block filtering method, a predictive block boundary filtering method, a filter tap of filtering, a filter coefficient of filtering, an inter prediction mode, a motion information, a motion vector, a reference picture index, an inter prediction direction, Information indicating whether or not to use the merge mode, information indicating whether a merge candidate, a merge candidate list, a skip mode are used, a type of an interpolation filter, a motion vector prediction candidate, a motion vector candidate list, The filter tap of the interpolation filter, the filter coefficient of the interpolation filter, the size of the motion vector, the accuracy of the motion vector representation, the type of transformation, the size of the transformation, information indicating whether primary transformation is used, Information, primary conversion selection information (or primary conversion index), secondary conversion selection information (or secondary conversion index), residual signal Information indicating whether or not the intra-loop filter is applied, information indicating the presence or absence of the intra-loop filter, a coded block pattern, a coded block flag, a quantization parameter, a quantization matrix, A filter tap of an intra-loop, a shape / form of an intra-loop filter, information indicating whether a deblocking filter is applied, a deblocking filter coefficient, a deblocking filter tap, An adaptive sample offset value, an adaptive sample offset type, an adaptive sample offset type, an adaptive sample offset value, an adaptive sample offset value, an adaptive sample offset value, loop filter), adaptive loop-in filter coefficients, adaptive loop-in filter taps, adaptive loop-in-filter shape / form, binarization / inverse binarization method, contextual model, context A method of determining a model, a method of updating a context model, whether to perform a regular mode, whether to perform a bypass mode, a context bin, a bypass bin, a conversion coefficient, a conversion coefficient level, At least one value, a combined form, or a combination of at least one of information on the slice identification information, slice type, slice division information, tile identification information, tile type, tile division information, picture type, bit depth, Statistics may be included in the coding parameters. The prediction scheme may represent one of an intra prediction mode and an inter prediction mode.
1차 변환 선택 정보는 대상 블록에 적용되는 1차 변환을 나타낼 수 있다.The primary transformation selection information may represent a primary transformation applied to the target block.
2차 변환 선택 정보는 대상 블록에 적용되는 2차 변환을 나타낼 수 있다.The secondary transformation selection information may represent a quadratic transformation applied to the target block.
잔차 신호는 원 신호 및 예측 신호 간의 차분(difference)을 나타낼 수 있다. 또는, 잔차 신호는 원신호 및 예측 신호 간의 차분을 변환(transform)함으로써 생성된 신호일 수 있다. 또는, 잔차 신호는 원 신호 및 예측 신호 간의 차분을 변환 및 양자화함으로써 생성된 신호일 수 있다. 잔차 블록은 블록에 대한 잔차 신호일 수 있다.The residual signal may represent a difference between the original signal and the prediction signal. Alternatively, the residual signal may be a signal generated by transforming the difference between the original signal and the prediction signal. Alternatively, the residual signal may be a signal generated by converting and quantizing the difference between the original signal and the prediction signal. The residual block may be a residual signal for the block.
여기서, 플래그 또는 인덱스를 시그널링(signaling)한다는 것은 부호화 장치(100)에서는 플래그 또는 인덱스에 대한 엔트로피 부호화(entropy encoding)를 수행함으로써 생성된 엔트로피 부호화된 플래그 또는 엔트로피 부호화된 인덱스를 비트스트림(Bitstream)에 포함시키는 것을 의미할 수 있고, 복호화 장치(200)에서는 비트스트림으로부터 추출된 엔트로피 부호화된 플래그 또는 엔트로피 부호화된 인덱스에 대한 엔트로피 복호화(entropy decoding)를 수행함으로써 플래그 또는 인덱스를 획득하는 것을 의미할 수 있다.Signaling a flag or an index may be performed by encoding the entropy-encoded flag or the entropy-encoded index generated by performing entropy encoding on a flag or an index in a bitstream in the encoding apparatus 100 And the decryption apparatus 200 may mean to obtain a flag or an index by performing entropy decoding on an entropy-encoded flag extracted from the bitstream or an entropy-encoded index .
부호화 장치(100)에 의해 인터 예측을 통한 부호화가 수행되기 때문에, 부호화된 대상 영상은 이후에 처리되는 다른 영상(들)에 대하여 참조 영상으로서 사용될 수 있다. 따라서, 부호화 장치(100)는 부호화된 대상 영상을 다시 재구축 또는 복호화할 수 있고, 재구축 또는 복호화된 영상을 참조 영상으로서 참조 픽처 버퍼(190)에 저장할 수 있다. 복호화를 위해 부호화된 대상 영상에 대한 역양자화 및 역변환이 처리될 수 있다.Since encoding is performed through inter-prediction by the encoding apparatus 100, the encoded target image can be used as a reference image for another image (s) to be processed later. Accordingly, the encoding apparatus 100 can reconstruct or decode the encoded target image again, and store the reconstructed or decoded image as a reference image in the reference picture buffer 190. [ The inverse quantization and inverse transform of the encoded object image for decoding can be processed.
양자화된 레벨은 역양자화부(160)에서 역양자화될(inversely quantized) 수 있고, 역변환부(170)에서 역변환될(inversely transformed) 수 있다. 역양자화 및/또는 역변환된 계수는 가산기(175)를 통해 예측 블록과 합해질 수 있다, 역양자화 및/또는 역변환된 계수와 예측 블록을 합함으로써 재구축된(reconstructed) 블록이 생성될 수 있다. 여기서, 역양자화 및/또는 역변환된 계수는 역양자화(dequantization) 및 역변환(inverse-transformation) 중 적어도 하나 이상이 수행된 계수를 의미할 수 있고, 재구축된 잔차 블록을 의미할 수 있다.The quantized level may be inversely quantized in the inverse quantization unit 160 and may be inversely transformed in the inverse transformation unit 170. [ The dequantized and / or inverse transformed coefficients may be combined with the prediction block via an adder 175. A reconstructed block may be generated by summing the dequantized and / or inverse transformed coefficients and the prediction block. Here, the dequantized and / or inverse transformed coefficient may mean a coefficient on which at least one of dequantization and inverse-transformation is performed, and may mean a reconstructed residual block.
재구축된 블록은 필터부(180)를 거칠 수 있다. 필터부(180)는 디블록킹 필터(deblocking filter), 샘플 적응적 오프셋(Sample Adaptive Offset; SAO), 적응적 루프 필터(Adaptive Loop Filter; ALF) 및 논 로컬 필터(Non Local Filter; NLF) 중 적어도 하나 이상을 재구축된 블록 또는 재구축된 픽처에 적용할 수 있다. 필터부(180)는 루프-내(in-loop) 필터로 칭해질 수도 있다.The reconstructed block may pass through filter portion 180. The filter unit 180 includes at least one of a deblocking filter, a sample adaptive offset (SAO), an adaptive loop filter (ALF), and a non-local filter (NLF) One or more can be applied to reconstructed blocks or reconstructed pictures. The filter unit 180 may be referred to as an in-loop filter.
디블록킹 필터는 블록들 간의 경계에서 발생한 블록 왜곡을 제거할 수 있다. 디블록킹 필터를 적용할지 여부를 판단하기 위해, 블록에 포함된 몇 개의 열 또는 행에 포함된 픽셀(들)에 기반하여 대상 블록에 디블록킹 필터를 적용할지 여부가 판단될 수 있다.The deblocking filter can remove block distortion occurring at the boundary between the blocks. To determine whether to apply a deblocking filter, it may be determined whether to apply a deblocking filter to a target block based on the number of columns or pixels (or pixels) included in the block.
대상 블록에 디블록킹 필터를 적용하는 경우, 적용되는 필터는 요구되는 디블록킹 필터링의 강도에 따라 다를 수 있다. 말하자면, 서로 다른 필터들 중 디블록킹 필터링의 강도에 따라 결정된 필터가 대상 블록에 적용될 수 있다. 대상 블록에 디블록킹 필터가 적용되는 경우, 요구되는 디블록킹 필터링의 강도에 따라 강한 필터(strong filter) 및 약한 필터(weak filter) 중 하나의 필터가 대상 블록에 적용될 수 있다.When a deblocking filter is applied to a target block, the applied filter may differ depending on the strength of the required deblocking filtering. In other words, a filter determined according to the strength of deblocking filtering among different filters can be applied to the target block. When a deblocking filter is applied to a target block, one of a strong filter and a weak filter may be applied to the target block according to the strength of the required deblocking filtering.
또한, 대상 블록에 수직 방향 필터링 및 수평 방향 필터링이 수행되는 경우, 수평 방향 필터링 및 수직 방향 필터링이 병행으로 처리될 수 있다.Further, when vertical filtering and horizontal filtering are performed on a target block, horizontal filtering and vertical filtering can be processed in parallel.
SAO는 코딩 에러에 대한 보상을 위해 픽셀의 픽셀 값에 적정한 오프셋(offset)을 더할 수 있다. SAO는 디블록킹이 적용된 영상에 대해, 픽셀의 단위로 원본 영상 및 디블록킹이 적용된 영상 간의 차이에 대하여 오프셋을 사용하는 보정을 수행할 수 있다. 영상에 대한 오프셋 보정을 수행하기 위해, 영상에 포함된 픽셀들을 일정한 수의 영역들로 구분한 후, 구분된 영역들 중 오프셋이 수행될 영역을 결정하고 결정된 영역에 오프셋을 적용하는 방법이 사용될 수 있고, 영상의 각 픽셀의 에지 정보를 고려하여 오프셋을 적용하는 방법이 사용될 수 있다.SAO may add an appropriate offset to the pixel value of the pixel to compensate for coding errors. SAO can perform correction using an offset with respect to a difference between an original image and an image to which deblocking is applied, in units of pixels, for an image to which deblocking is applied. In order to perform offset correction on an image, a method of dividing pixels included in an image into a predetermined number of regions, determining an area to be offset of the divided areas, and applying an offset to the determined area may be used And a method of applying an offset in consideration of edge information of each pixel of the image may be used.
ALF는 재구축된 영상 및 원래의 영상을 비교한 값에 기반하여 필터링을 수행할 수 있다. 영상에 포함된 픽셀들을 소정의 그룹들로 분할한 후, 각 분할된 그룹에 적용될 필터가 결정될 수 있고, 그룹 별로 차별적으로 필터링이 수행될 수 있다. 루마 신호에 대하여, 적응적 루프 필터를 적용할지 여부에 관련된 정보는 CU 별로 시그널링될 수 있다. 각 블록에 적용될 ALF 의 모양 및 필터 계수는 블록 별로 다를 수 있다. 또는, 블록의 특징과는 무관하게, 고정된 형태의 ALF가 블록에 적용될 수 있다.ALF can perform filtering based on the comparison of the reconstructed image and the original image. After dividing the pixels included in the image into predetermined groups, a filter to be applied to each divided group can be determined, and different filtering can be performed for each group. For a luma signal, information related to whether or not to apply an adaptive loop filter may be signaled per CU. The shape and filter coefficients of the ALF to be applied to each block may be different for each block. Alternatively, regardless of the characteristics of the block, a fixed form of ALF may be applied to the block.
논 로컬 필터는 대상 블록과 유사한 재구축된 블록들에 기반하여 필터링을 수행할 수 있다. 재구축된 영상에서 대상 블록과 유사한 영역이 선택될 수 있고, 선택된 유사한 영역의 통계적 성질을 사용하여 대상 블록의 필터링이 수행될 수 있다. 논 로컬 필터를 적용할지 여부에 관련된 정보는 CU에 대하여 시그널링될 수 있다. 또한, 블록들에 적용될 논 로컬 필터의 모양들 및 필터 계수들은 블록에 따라서 서로 다를 수 있다.The non-local filter can perform filtering based on reconstructed blocks similar to the target block. In the reconstructed image, a region similar to the target block can be selected, and the filtering of the target block can be performed using the statistical properties of the selected similar regions. Information related to whether or not to apply a non-local filter may be signaled to the CU. In addition, the shapes of the non-local filters to be applied to the blocks and the filter coefficients may differ from each other depending on the blocks.
필터부(180)를 거친 재구축된 블록 또는 재구축된 영상은 참조 픽처 버퍼(190)에 저장될 수 있다. 필터부(180)를 거친 재구축된 블록은 참조 픽처의 일부일 수 있다. 말하자면, 참조 픽처는 필터부(180)를 거친 재구축된 블록들로 구성된 재구축된 픽처일 수 있다. 저장된 참조 픽처는 이후 인터 예측에 사용될 수 있다.The reconstructed block or reconstructed image through the filter unit 180 may be stored in the reference picture buffer 190. [ The reconstructed block through the filter unit 180 may be part of the reference picture. That is to say, the reference picture may be a reconstructed picture composed of reconstructed blocks via the filter unit 180. [ The stored reference picture can then be used for inter prediction.
도 2는 본 발명이 적용되는 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.2 is a block diagram illustrating a configuration of a decoding apparatus to which the present invention is applied.
복호화 장치(200)는 디코더, 비디오 복호화 장치 또는 영상 복호화 장치일 수 있다.The decoding apparatus 200 may be a decoder, a video decoding apparatus, or an image decoding apparatus.
도 2를 참조하면, 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 스위치(245), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)를 포함할 수 있다.2, the decoding apparatus 200 includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 230, an intra prediction unit 240, an inter prediction unit 250, a switch 245, An adder 255, a filter unit 260, and a reference picture buffer 270.
복호화 장치(200)는 부호화 장치(100)에서 출력된 비트스트림을 수신할 수 있다. 복호화 장치(200)는 컴퓨터 판독가능한 기록 매체에 저장된 비트스트림을 수신할 수 있고, 유/무선 전송 매체를 통해 스트리밍되는 비트스트림을 수신할 수 있다.The decoding apparatus 200 can receive the bit stream output from the encoding apparatus 100. [ The decoding apparatus 200 can receive a bitstream stored in a computer-readable recording medium and can receive a bitstream streamed through a wired / wireless transmission medium.
복호화 장치(200)는 비트스트림에 대하여 인트라 모드 및/또는 인터 모드의 복호화를 수행할 수 있다. 또한, 복호화 장치(200)는 복호화를 통해 재구축된 영상 또는 복호화된 영상을 생성할 수 있고, 생성된 재구축된 영상 또는 복호화된 영상을 출력할 수 있다.The decoding apparatus 200 may perform decoding of an intra mode and / or an inter mode with respect to a bit stream. In addition, the decoding apparatus 200 can generate a reconstructed image or a decoded image through decoding, and output the reconstructed image or the decoded image.
예를 들면, 복호화에 사용되는 예측 모드에 따른 인트라 모드 또는 인터 모드로의 전환은 스위치(245)에 의해 이루어질 수 있다. 복호화에 사용되는 예측 모드가 인트라 모드인 경우 스위치(245)가 인트라로 전환될 수 있다. 복호화에 사용되는 예측 모드가 인터 모드인 경우 스위치(245)가 인터로 전환될 수 있다.For example, the switch to the intra mode or the inter mode according to the prediction mode used for decoding may be performed by the switch 245. When the prediction mode used for decoding is the intra mode, the switch 245 can be switched to intra. When the prediction mode used for decoding is the inter mode, the switch 245 can be switched to the inter.
복호화 장치(200)는 입력된 비트스트림을 복호화함으로써 재구축된 잔차 블록(reconstructed residual block)을 획득할 수 있고, 예측 블록을 생성할 수 있다. 재구축된 잔차 블록 및 예측 블록이 획득되면, 복호화 장치(200)는 재구축된 잔차 블록 및 예측 블록을 더함으로써 복호화의 대상이 되는 재구축된 블록을 생성할 수 있다.The decoding apparatus 200 can obtain a reconstructed residual block by decoding the input bitstream, and can generate a prediction block. Once the reconstructed residual block and the prediction block are obtained, the decoding apparatus 200 can generate the reconstructed block to be decoded by adding the reconstructed residual block and the prediction block.
엔트로피 복호화부(210)는 비트스트림에 대한 확률 분포에 기초하여 비트스트림에 대한 엔트로피 복호화를 수행함으로써 심볼들을 생성할 수 있다. 생성된 심볼들은 양자화된 변환 계수 레벨(quantized transform coefficient level) 형태의 심볼을 포함할 수 있다. 여기에서, 엔트로피 복호화 방법은 상술된 엔트로피 부호화 방법과 유사할 수 있다. 예를 들면, 엔트로피 복호화 방법은 상술된 엔트로피 부호화 방법의 역과정일 수 있다.The entropy decoding unit 210 may generate the symbols by performing entropy decoding on the bitstream based on the probability distribution of the bitstream. The generated symbols may include symbols in the form of a quantized transform coefficient level. Here, the entropy decoding method may be similar to the above-described entropy encoding method. For example, the entropy decoding method may be the inverse of the above-described entropy encoding method.
엔트로피 복호화부(210)는 양자화된 변환 계수 레벨을 복호화하기 위해 변환 계수 스캐닝 방법을 통해 1차원의 벡터의 형태의 계수를 2차원의 블록의 형태로 변경할 수 있다.The entropy decoding unit 210 may change the coefficient of the one-dimensional vector form into a two-dimensional block form through a transform coefficient scanning method to decode the quantized transform coefficient levels.
예를 들면, 우상단 대각 스캔을 이용하여 블록의 계수들을 스캔함으로써 계수들이 2차원 블록 형태로 변경될 수 있다. 또는, 블록의 크기 및/또는 인트라 예측 모드에 따라 우상단 대각 스캔, 수직 스캔 및 수평 스캔 중 어떤 스캔이 사용될 것인지가 결정될 수 있다.For example, the coefficients may be changed to a two-dimensional block form by scanning the coefficients of the block using the upper-right diagonal scan. Alternatively, depending on the size of the block and / or the intra prediction mode, it may be determined which of the upper right diagonal scan, the vertical scan and the horizontal scan will be used.
양자화된 계수는 역양자화부(220)에서 역양자화될 수 있다. 역양자화부(220)는 양자화된 계수에 대한 역양자화를 수행함으로써 역양자화된 계수를 생성할 수 있다. 또한, 역양자화된 계수는 역변환부(230)에서 역변환될 수 있다. 역변환부(230)는 역양자화된 계수에 대한 역변환을 수행함으로써 재구축된 잔차 블록을 생성할 수 있다. 양자화된 계수에 대한 역양자화 및 역변환이 수행된 결과로서, 재구축된 잔차 블록이 생성될 수 있다. 이때, 역양자화부(220)는 재구축된 잔차 블록을 생성함에 있어서 양자화된 계수에 양자화 행렬을 적용할 수 있다.The quantized coefficients may be inversely quantized in the inverse quantization unit 220. The inverse quantization unit 220 may generate inverse quantized coefficients by performing inverse quantization on the quantized coefficients. Also, the inverse quantized coefficient may be inversely transformed by the inverse transform unit 230. The inverse transform unit 230 may generate the reconstructed residual block by performing an inverse transform on the inversely quantized coefficient. As a result of the inverse quantization and inverse transform performed on the quantized coefficients, the reconstructed residual block can be generated. In this case, the inverse quantization unit 220 may apply the quantization matrix to the quantized coefficients in generating the reconstructed residual block.
인트라 모드가 사용되는 경우, 인트라 예측부(240)는 대상 블록 주변의 이미 복호화된 블록의 픽셀 값을 이용하는 공간적 예측을 수행함으로써 예측 블록을 생성할 수 있다.When the intra mode is used, the intraprediction unit 240 can generate a prediction block by performing spatial prediction using the pixel value of the already decoded block around the target block.
인터 예측부(250)는 움직임 보상부를 포함할 수 있다. 또는, 인터 예측부(250)는 움직임 보상부로 명명될 수 있다.The inter prediction unit 250 may include a motion compensation unit. Alternatively, the inter prediction unit 250 may be named as a motion compensation unit.
인터 모드가 사용되는 경우, 움직임 보상부는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장된 참조 영상을 이용하는 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.When the inter mode is used, the motion compensation unit may generate a prediction block by performing motion compensation using a motion vector and a reference image stored in the reference picture buffer 270. [
움직임 보상부는 움직임 벡터가 정수가 아닌 값을 가진 경우, 참조 영상 내의 일부 영역에 대해 보간 필터를 적용할 수 있고, 보간 필터가 적용된 참조 영상을 사용하여 예측 블록을 생성할 수 있다. 움직임 보상부는 움직임 보상을 수행하기 위해 CU를 기준으로 CU에 포함된 PU를 위해 사용되는 움직임 보상 방법이 스킵 모드, 머지 모드, AMVP 모드 및 현재 픽처 참조 모드 중 어떤 모드인가를 결정할 수 있고, 결정된 모드에 따라 움직임 보상을 수행할 수 있다.If the motion vector has a non-integer value, the motion compensation unit can apply an interpolation filter to a part of the reference image and generate a prediction block using the reference image to which the interpolation filter is applied. The motion compensation unit may determine which of the skip mode, the merge mode, the AMVP mode, and the current picture reference mode is used for the PU included in the CU based on the CU to perform motion compensation, To perform motion compensation.
재구축된 잔차 블록 및 예측 블록은 가산기(255)를 통해 더해질 수 있다. 가산기(255)는 재구축된 잔차 블록 및 예측 블록을 더함으로써 재구축된 블록을 생성할 수 있다.The reconstructed residual block and the prediction block may be added through an adder 255. The adder 255 may generate the reconstructed block by adding the reconstructed residual block and the prediction block.
재구축된 블록은 필터부(260)를 거칠 수 있다. 필터부(260)는 디블록킹 필터, SAO, ALF 및 논 로컬 필터 중 적어도 하나를 재구축된 블록 또는 재구축된 영상에 적용할 수 있다. 재구축된 영상은 재구축된 블록을 포함하는 픽처일 수 있다.The reconstructed block may pass through filter portion 260. The filter unit 260 may apply at least one of the deblocking filter, SAO, ALF, and non-local filter to the reconstructed block or the reconstructed image. The reconstructed image may be a picture including a reconstructed block.
필터부(260)를 거친 재구축된 영상은 부호화 장치(100)에 의해 출력될 수 있으며, 부호화 장치(100)에 의해 사용될 수 있다.The reconstructed image through the filter unit 260 can be output by the encoding apparatus 100 and can be used by the encoding apparatus 100. [
필터부(260)를 거친 재구축된 영상은 참조 픽처 버퍼(270)에 참조 픽처로서 저장될 수 있다. 필터부(260)를 거친 재구축된 블록은 참조 픽처의 일부일 수 있다. 말하자면, 참조 픽처는 필터부(260)를 거친 재구축된 블록들로 구성된 영상일 수 있다. 저장된 참조 픽처는 이후 인터 예측을 위해 사용될 수 있다.The reconstructed image through the filter unit 260 can be stored in the reference picture buffer 270 as a reference picture. The reconstructed block through the filter unit 260 may be part of the reference picture. That is to say, the reference picture may be an image composed of reconstructed blocks through the filter unit 260. The stored reference picture may then be used for inter prediction.
도 3은 영상을 부호화 및 복호화할 때의 영상의 분할 구조를 개략적으로 나타내는 도면이다.3 is a diagram schematically showing a division structure of an image when coding and decoding an image.
도 3은 하나의 유닛이 복수의 하위 유닛들로 분할되는 예를 개략적으로 나타낼 수 있다.3 schematically shows an example in which one unit is divided into a plurality of lower units.
영상을 효율적으로 분할하기 위해, 부호화 및 복호화에 있어서, 코딩 유닛(Coding Unit; CU)이 사용될 수 있다. 유닛은 1) 영상 샘플들을 포함하는 블록 및 2) 구문 요소(syntax element)을 합쳐서 지칭하는 용어일 수 있다. 예를 들면, "유닛의 분할"은 "유닛에 해당하는 블록의 분할"을 의미할 수 있다.To efficiently divide an image, a coding unit (CU) can be used in coding and decoding. A unit may be a term collectively referred to as 1) a block containing image samples and 2) a syntax element. For example, "division of a unit" may mean "division of a block corresponding to a unit ".
영상 부호화/복호화의 기반 단위로서 CU가 사용될 수 있다. 또한, CU는 영상 부호화/복호화에 있어서 인트라 모드 및 인터 모드 중 하나의 선택된 모드가 적용되는 단위로 사용될 수 있다. 말하자면, 영상 부호화/복호화에 있어서, 각 CU에 대해서 인트라 모드 및 인터 모드 중 어떤 모드가 적용될 것인가가 결정될 수 있다.CU can be used as a base unit of image encoding / decoding. Also, the CU can be used as a unit to which one of the intra mode and the inter mode is applied in image encoding / decoding. That is to say, in the image coding / decoding, it is possible to determine which of intra mode and inter mode is applied to each CU.
또한, CU는 예측, 변환, 양자화, 역변환, 역양자화 및 변환 계수의 부호화/복호화에 있어서 기반 단위일 수 있다.The CU may also be a base unit for prediction, transform, quantization, inverse transform, dequantization, and encoding / decoding of transform coefficients.
도 3을 참조하면, 영상(300)은 최대 코딩 유닛(Largest Coding Unit; LCU)의 단위로 순차적으로 분할될 수 있다. 각 LCU에 대해, 분할 구조가 결정될 수 있다. 여기서, LCU는 코딩 트리 유닛(Coding Tree Unit; CTU)과 동일한 의미로 사용될 수 있다.Referring to FIG. 3, an image 300 may be sequentially divided into units of a Largest Coding Unit (LCU). For each LCU, a partition structure can be determined. Here, the LCU can be used in the same sense as a coding tree unit (CTU).
유닛의 분할은 유닛에 해당하는 블록의 분할을 의미할 수 있다. 블록 분할 정보는 유닛의 깊이(depth)에 관한 깊이 정보를 포함할 수 있다. 깊이 정보는 유닛이 분할되는 회수 및/또는 정도를 나타낼 수 있다. 하나의 유닛은 트리 구조(tree structure)에 기반하여 깊이 정보를 가지고 계층적으로 하위 유닛들로 분할될 수 있다. 각각의 분할된 하위 유닛은 깊이 정보를 가질 수 있다. 깊이 정보는 CU의 크기를 나타내는 정보일 수 있다. 깊이 정보는 각 CU마다 저장될 수 있다.The division of a unit may mean division of a block corresponding to the unit. The block partitioning information may include depth information about the depth of the unit. The depth information may indicate the number and / or the number of times the unit is divided. One unit may be hierarchically subdivided with depth information based on a tree structure. Each divided subunit may have depth information. The depth information may be information indicating the size of the CU. Depth information can be stored for each CU.
각 CU는 깊이 정보를 가질 수 있다. CU가 분할되면, 분할에 의해 생성된 CU들은 분할된 CU의 깊이에서 1 증가한 깊이를 가질 수 있다.Each CU can have depth information. If the CU is partitioned, the CUs generated by partitioning may have an increased depth by one in the depth of the partitioned CU.
분할 구조는 LCU(310) 내에서의, 영상을 효율적으로 부호화하기 위한, CU의 분포를 의미할 수 있다. 이러한 분포는 하나의 CU를 복수의 CU들로 분할할지 여부에 따라 결정될 수 있다. 분할된 CU들의 개수는 2, 4, 8 및 16 등을 포함하는 2 이상의 양의 정수일 수 있다. 분할에 의해 생성된 CU의 가로 크기 및 세로 크기는, 분할에 의해 생성된 CU들의 개수에 따라, 분할 전의 CU의 가로 크기 및 세로 크기보다 더 작을 수 있다.The divided structure may mean a distribution of CUs for efficiently encoding an image in the LCU 310. [ This distribution can be determined depending on whether or not to divide one CU into a plurality of CUs. The number of divided CUs may be two or more positive integers including 2, 4, 8, and 16, and so on. The horizontal size and the vertical size of the CU generated by the division may be smaller than the horizontal size and the vertical size of the CU before division according to the number of CUs generated by the division.
분할된 CU는 동일한 방식으로 복수의 CU들로 재귀적으로 분할될 수 있다. 재귀적 분할에 의해, 분할된 CU의 가로 크기 및 세로 크기 중 적어도 하나의 크기가 분할 전의 CU의 가로 크기 및 세로 크기 중 적어도 하나에 비해 감소될 수 있다.The divided CUs can be recursively divided into a plurality of CUs in the same manner. By recursive partitioning, the size of at least one of the horizontal and vertical sizes of the partitioned CUs can be reduced compared to at least one of the horizontal and vertical sizes of the CUs before partitioning.
CU의 분할은 기정의된 깊이 또는 기정의된 크기까지 재귀적으로 이루어질 수 있다. 예를 들면, CU의 깊이는 0 내지 3의 값을 가질 수 있다. CU의 크기는 CU의 깊이에 따라 64x64로부터 8x8까지의 크기일 수 있다.The partitioning of the CU can be done recursively up to a predetermined depth or a predetermined size. For example, the depth of the CU may have a value from 0 to 3. The size of the CU may range from 64x64 to 8x8 depending on the depth of the CU.
예를 들면, LCU의 깊이는 0일 수 있고, 최소 코딩 유닛(Smallest Coding Unit; SCU)의 깊이는 기정의된 최대 깊이일 수 있다. 여기서, LCU는 상술된 것과 같이 최대의 코딩 유닛 크기를 가지는 CU일 수 있고, SCU는 최소의 코딩 유닛 크기를 가지는 CU일 수 있다. For example, the depth of the LCU may be zero, and the depth of the Smallest Coding Unit (SCU) may be a predetermined maximum depth. Here, the LCU may be a CU having a maximum coding unit size as described above, and the SCU may be a CU having a minimum coding unit size.
LCU(310)로부터 분할이 시작될 수 있고, 분할에 의해 CU의 가로 크기 및/또는 세로 크기가 줄어들 때마다 CU의 깊이는 1씩 증가할 수 있다. The partitioning may be started from the LCU 310 and the depth of the CU may increase by one each time the horizontal and / or vertical size of the CU is reduced by partitioning.
예를 들면, 각각의 깊이 별로, 분할되지 않는 CU는 2Nx2N 크기를 가질 수 있다. 또한, 분할되는 CU의 경우, 2Nx2N 크기의 CU가 NxN 크기를 가지는 4개의 CU들로 분할될 수 있다. N의 크기는 깊이가 1씩 증가할 때마다 절반으로 감소할 수 있다. For example, for each depth, the unpartitioned CU may have a size of 2Nx2N. Also, in the case of a CU to be divided, a CU having a size of 2Nx2N can be divided into four CUs having an NxN size. The size of N can be reduced by half each time the depth is increased by one.
도 3을 참조하면, 깊이가 0인 LCU는 64x64 픽셀들 또는 64x64 블록일 수 있다. 0은 최소 깊이일 수 있다. 깊이가 3인 SCU는 8x8 픽셀들 또는 8x8 블록일 수 있다. 3은 최대 깊이일 수 있다. 이때, LCU인 64x64 블록의 CU는 깊이 0으로 표현될 수 있다. 32x32 블록의 CU는 깊이 1로 표현될 수 있다. 16x16 블록의 CU는 깊이 2로 표현될 수 있다. SCU인 8x8 블록의 CU는 깊이 3으로 표현될 수 있다. Referring to FIG. 3, a LCU having a depth of 0 may be 64x64 pixels or 64x64 block. 0 may be the minimum depth. An SCU with a depth of 3 may be 8x8 pixels or 8x8 block. 3 may be the maximum depth. At this time, the CU of the 64x64 block, which is the LCU, can be represented by the depth 0. The CU of a 32x32 block can be represented by a depth of one. The CU of a 16x16 block can be represented by a depth of two. The CU of an 8x8 block that is an SCU can be represented by a depth of 3.
CU가 분할되는지 여부에 대한 정보는 CU의 분할 정보를 통해 표현될 수 있다. 분할 정보는 1비트의 정보일 수 있다. SCU를 제외한 모든 CU는 분할 정보를 포함할 수 있다. 예를 들면, 분할되지 않는 CU의 분할 정보의 값은 0일 수 있고, 분할되는 CU의 분할 정보의 값은 1일 수 있다.Information on whether or not the CU is divided can be expressed through the partition information of the CU. The division information may be 1-bit information. All CUs except SCU can contain partition information. For example, the value of the partition information of the unpartitioned CU may be 0, and the value of the partition information of the partitioned CU may be 1.
예를 들면, 하나의 CU가 4 개의 CU들로 분할되는 경우, 분할에 의해 생성된 4 개의 CU들의 각 CU의 가로 크기 및 세로 크기는 각각 분할 전의 CU의 가로 크기의 절반 및 세로 크기의 절반일 수 있다. 32x32 크기의 CU가 4 개의 CU들로 분할되는 경우, 분할된 4 개의 CU들의 크기들은 16x16일 수 있다. 하나의 CU가 4 개의 CU들로 분할되는 경우, CU가 쿼드-트리 형태로 분할되었다고 할 수 있다.For example, when one CU is divided into four CUs, the horizontal size and the vertical size of each CU of the four CUs generated by the division are respectively half of the horizontal size and half of the vertical size of the CU before division . When a 32x32 CU is divided into 4 CUs, the sizes of the 4 divided CUs may be 16x16. When one CU is divided into four CUs, it can be said that the CU is divided into quad-tree form.
예를 들면, 하나의 CU가 2 개의 CU들로 분할되는 경우, 분할에 의해 생성된 2 개의 CU들의 각 CU의 가로 크기 또는 세로 크기는 각각 분할 전의 CU의 가로 크기의 절반 또는 세로 크기의 절반일 수 있다. 32x32 크기의 CU가 2 개의 CU들로 세로로 분할되는 경우, 분할된 2 개의 CU들의 크기들은 16x32일 수 있다. 32x32 크기의 CU가 2 개의 CU들로 가로로 분할되는 경우, 분할된 2 개의 CU들의 크기들은 32x16일 수 있다. 하나의 CU가 2 개의 CU들로 분할되는 경우, CU가 이진-트리(binary-tree) 형태로 분할되었다고 할 수 있다.For example, when one CU is divided into two CUs, the horizontal size or the vertical size of each CU of the two CUs generated by the division is respectively one half of the horizontal size of the CU before the division, . When a 32x32 CU is vertically divided into two CUs, the sizes of the two divided CUs may be 16x32. When a 32x32 CU is divided horizontally into two CUs, the sizes of the two CUs may be 32x16. When one CU is divided into two CUs, it can be said that the CU is divided into a binary-tree form.
도 3의 LCU(310)에는 쿼드-트리 형태의 분할 및 이진-트리 형태의 분할이 모두 적용되었다.In the LCU 310 of FIG. 3, both a quad-tree type partition and a binary-tree type partition are applied.
부호화 장치(100)에서, 64x64 크기의 코딩 트리 유닛(Coding Tree Unit; CTU)은 재귀적인 쿼드-크리 구조에 의해 더 작은 복수의 CU들로 분할될 수 있다. 하나의 CU는 동일한 크기들을 갖는 4개의 CU들로 분할될 수 있다. CU는 재귀적으로 분할될 수 있으며, 각 CU는 쿼드 트리의 구조를 가질 수 있다.In the encoding apparatus 100, a 64.times.64 size Coding Tree Unit (CTU) can be divided into a smaller number of CUs by a recursive quad-crree structure. One CU may be divided into four CUs having the same sizes. CUs can be recursively partitioned, and each CU can have a quadtree structure.
CU에 대한 재귀적인 분할을 통해, 최소의 율-왜곡 비율을 발생시키는 최적의 분할 방법이 선택될 수 있다.Through recursive partitioning for CU, an optimal partitioning method that yields the lowest rate-distortion ratio can be selected.
도 4는 코딩 유닛(CU)이 포함할 수 있는 예측 유닛(PU)의 형태를 도시한 도면이다.Fig. 4 is a diagram showing a form of a prediction unit (PU) that a coding unit (CU) can include.
LCU로부터 분할된 CU 중 더 이상 분할되지 않는 CU는 하나 이상의 예측 유닛(Prediction Unit; PU)들로 분할될 수 있다.A CU that is not further divided among the CUs divided from the LCU may be divided into one or more Prediction Units (PUs).
PU는 예측에 대한 기본 단위일 수 있다. PU는 스킵(skip) 모드, 인터 모드 및 인트라 모드 중 어느 하나로 부호화 및 복호화될 수 있다. PU는 각 모드에 따라서 다양한 형태로 분할될 수 있다. 예를 들면, 도 1을 참조하여 전술된 대상 블록 및 도 2를 참조하여 전술된 대상 블록은 PU일 수 있다.The PU can be a base unit for prediction. The PU may be coded and decoded in either a skip mode, an inter mode, or an intra mode. The PU can be divided into various forms according to each mode. For example, the target block described above with reference to FIG. 1 and the target block described above with reference to FIG. 2 may be a PU.
CU는 PU들로 분할되지 않을 수 있다. CU가 PU들로 분할되지 않는 경우 CU의 크기 및 PU의 크기는 같을 수 있다.The CU may not be divided into PUs. If the CU is not partitioned into PUs, the size of the CU and the size of the PU may be the same.
스킵 모드에서는, CU 내에 분할이 존재하지 않을 수 있다. 스킵 모드에서는 분할 없이 PU 및 CU의 크기들이 동일한 2Nx2N 모드(410)가 지원될 수 있다.In the skip mode, there may be no division in the CU. In the skip mode, the 2Nx2N mode 410 having the same sizes of PU and CU without division can be supported.
인터 모드에서는, CU 내에서 8가지로 분할된 형태들이 지원될 수 있다. 예를 들면, 인터 모드에서는 2Nx2N 모드(410), 2NxN 모드(415), Nx2N 모드(420), NxN 모드(425), 2NxnU 모드(430), 2NxnD 모드(435), nLx2N 모드(440) 및 nRx2N 모드(445)가 지원될 수 있다.In inter mode, eight subdivided forms within the CU can be supported. For example, in the inter mode, 2Nx2N mode 410, 2NxN mode 415, Nx2N mode 420, NxN mode 425, 2NxnU mode 430, 2NxnD mode 435, nLx2N mode 440, Mode 445 may be supported.
인트라 모드에서는, 2Nx2N 모드(410) 및 NxN 모드(425)가 지원될 수 있다.In the intra mode, 2Nx2N mode 410 and NxN mode 425 may be supported.
2Nx2N 모드(410)에서는 2Nx2N의 크기의 PU가 부호화될 수 있다. 2Nx2N의 크기의 PU는 CU의 크기와 동일한 크기의 PU를 의미할 수 있다. 예를 들면, 2Nx2N의 크기의 PU는 64x64, 32x32, 16x16 또는 8x8의 크기를 가질 수 있다.In the 2Nx2N mode 410, a PU of size 2Nx2N may be encoded. A PU of size 2Nx2N can mean a PU of the same size as a CU. For example, a PU of size 2Nx2N may have a size of 64x64, 32x32, 16x16, or 8x8.
NxN 모드(425)에서는 NxN의 크기의 PU가 부호화될 수 있다.In the NxN mode 425, the PU of the size NxN can be encoded.
예를 들면, 인트라 예측에서, PU의 크기가 8x8일 때, 4개의 분할된 PU들이 부호화될 수 있다. 분할된 PU의 크기는 4x4일 수 있다.For example, in intra prediction, when the size of the PU is 8x8, four divided PUs can be encoded. The size of the partitioned PU may be 4x4.
PU가 인트라 모드에 의해 부호화될 경우, PU는 복수의 인트라 예측 모드들 중 하나의 인트라 예측 모드를 사용하여 부호화될 수 있다. 예를 들면, 고 효율 비디오 코딩(High Efficiency Video Coding; HEVC) 기술에서는 35 개의 인트라 예측 모드들을 제공할 수 있고, PU는 35 개의 인트라 예측 모드들 중 하나의 인트라 예측 모드로 부호화될 수 있다.When the PU is encoded by the intra mode, the PU may be encoded using one of the plurality of intra prediction modes. For example, the High Efficiency Video Coding (HEVC) technique may provide 35 intra prediction modes, and the PU may be coded into one of the 35 intra prediction modes.
PU가 2Nx2N 모드(410) 및 NxN 모드(425) 중 어느 모드에 의해 부호화될 것인가는 율-왜곡 비용(rate-distortion cost)에 의해 결정될 수 있다.The mode in which the PU is encoded by the 2Nx2N mode 410 and the NxN mode 425 can be determined by the rate-distortion cost.
부호화 장치(100)는 2Nx2N 크기의 PU에 대해 부호화 연산을 수행할 수 있다. 여기에서, 부호화 연산은 부호화 장치(100)가 사용할 수 있는 복수의 인트라 예측 모드들의 각각으로 PU를 부호화하는 것일 수 있다. 부호화 연산을 통해 2Nx2N 크기의 PU에 대한 최적의 인트라 예측 모드가 도출될 수 있다. 최적의 인트라 예측 모드는 부호화 장치(100)가 사용할 수 있는 복수의 인트라 예측 모드들 중 2Nx2N 크기의 PU의 부호화에 대하여 최소의 율-왜곡 비용을 발생시키는 인트라 예측 모드일 수 있다.The encoding apparatus 100 can perform the encoding operation on the 2Nx2N size PU. Here, the encoding operation may be to encode the PU in each of a plurality of intra prediction modes that the encoding apparatus 100 can use. The optimal intra prediction mode for the 2Nx2N size PU can be derived through the encoding operation. The optimal intra prediction mode may be an intra prediction mode in which a minimum rate-distortion cost is incurred for encoding 2Nx2N sized PUs among a plurality of intra prediction modes available for use by the encoding apparatus 100. [
또한, 부호화 장치(100)는 NxN으로 분할된 PU들의 각 PU에 대해서 순차적으로 부호화 연산을 수행할 수 있다. 여기에서, 부호화 연산은 부호화 장치(100)가 사용할 수 있는 복수의 인트라 예측 모드들의 각각으로 PU를 부호화하는 것일 수 있다. 부호화 연산을 통해 NxN 크기의 PU에 대한 최적의 인트라 예측 모드가 도출될 수 있다. 최적의 인트라 예측 모드는 부호화 장치(100)가 사용할 수 있는 복수의 인트라 예측 모드들 중 NxN 크기의 PU의 부호화에 대하여 최소의 율-왜곡 비용을 발생시키는 인트라 예측 모드일 수 있다.Also, the encoding apparatus 100 can sequentially perform encoding operations on each PU of PUs divided into NxN. Here, the encoding operation may be to encode the PU in each of a plurality of intra prediction modes that the encoding apparatus 100 can use. An optimal intra prediction mode for an NxN size PU can be derived through an encoding operation. The optimal intra prediction mode may be an intra prediction mode in which a minimum rate-distortion cost is incurred for encoding of NxN-sized PUs among a plurality of intra prediction modes available for use by the encoding apparatus 100. [
부호화 장치(100)는 2Nx2N 크기의 PU의 율-왜곡 비용 및 NxN 크기의 PU들의 율-왜곡 비용들의 비교에 기반하여 2Nx2N 크기의 PU 및 NxN 크기의 PU들 중 어느 것을 부호화할 지를 결정할 수 있다.The encoding apparatus 100 may determine which of 2Nx2N sized PU and NxN sized PUs to encode based on a comparison of the rate-distortion cost of the 2Nx2N sized PU and the rate-distortion costs of the NxN sized PUs.
하나의 CU는 하나 이상의 PU들로 분할될 수 있고, PU도 복수의 PU들로 분할될 수 있다.One CU may be divided into one or more PUs, and a PU may be divided into a plurality of PUs.
예를 들면, 하나의 PU가 4 개의 PU들로 분할되는 경우, 분할에 의해 생성된 4 개의 PU들의 각 PU의 가로 크기 및 세로 크기는 각각 분할 전의 PU의 가로 크기의 절반 및 세로 크기의 절반일 수 있다. 32x32 크기의 PU가 4 개의 PU들로 분할되는 경우, 분할된 4 개의 PU들의 크기들은 16x16일 수 있다. 하나의 PU가 4 개의 PU들로 분할되는 경우, PU가 쿼드-트리 형태로 분할되었다고 할 수 있다.For example, when one PU is divided into four PUs, the horizontal size and the vertical size of each PU of the four PUs generated by the division are respectively one half of the horizontal size of the PU before division and one half of the vertical size . When a 32x32 PU is divided into 4 PUs, the sizes of the 4 divided PUs may be 16x16. When one PU is divided into four PUs, it can be said that the PU is divided into quad-tree form.
예를 들면, 하나의 PU가 2 개의 PU들로 분할되는 경우, 분할에 의해 생성된 2 개의 PU들의 각 PU의 가로 크기 또는 세로 크기는 각각 분할 전의 PU의 가로 크기의 절반 또는 세로 크기의 절반일 수 있다. 32x32 크기의 PU가 2 개의 PU들로 세로로 분할되는 경우, 분할된 2 개의 PU들의 크기들은 16x32일 수 있다. 32x32 크기의 PU가 2 개의 PU들로 가로로 분할되는 경우, 분할된 2 개의 PU들의 크기들은 32x16일 수 있다. 하나의 PU가 2 개의 PU들로 분할되는 경우, PU가 이진-트리 형태로 분할되었다고 할 수 있다.For example, when one PU is divided into two PUs, the horizontal size or the vertical size of each PU of the two PUs generated by the division is a half of the horizontal size or half of the vertical size of the PU before the division, . When a PU of 32x32 size is vertically divided into two PUs, the sizes of the two divided PUs may be 16x32. When a 32x32 size PU is divided horizontally into two PUs, the sizes of the two divided PUs may be 32x16. When one PU is divided into two PUs, it can be said that the PU is divided into a binary-tree form.
도 5는 코딩 유닛(CU)에 포함될 수 있는 변환 유닛(TU)의 형태를 도시한 도면이다.5 is a diagram showing a form of a conversion unit (TU) which can be included in a coding unit (CU).
변환 유닛(Transform Unit; TU)은 CU 내에서 변환, 양자화, 역변환, 역양자화, 엔트로피 부호화 및 엔트로피 복호화의 과정을 위해 사용되는 기본 단위일 수 있다.A Transform Unit (TU) can be a basic unit used for transform, quantization, inverse transform, inverse quantization, entropy coding, and entropy decoding processes in a CU.
TU는 정사각형 형태 또는 직사각형 형태를 가질 수 있다. TU의 형태는 CU의 크기 및/또는 형태에 의존하여 결정될 수 있다.The TU may have a square shape or a rectangular shape. The form of the TU may be determined depending on the size and / or shape of the CU.
LCU로부터 분할된 CU 중, 더 이상 CU들로 분할되지 않는 CU는 하나 이상의 TU들로 분할될 수 있다. 이때, TU의 분할 구조는 쿼드-트리(quad-tree) 구조일 수 있다. 예컨대, 도 5에서 도시된 것과 같이, 하나의 CU(510)가 쿼드-트리 구조에 따라서 한 번 혹은 그 이상 분할될 수 있다. 분할을 통해, 하나의 CU(510)는 다양한 크기의 TU들로 구성될 수 있다.Of the CUs segmented from the LCU, the CUs that are no longer divided into CUs may be divided into one or more TUs. At this time, the partition structure of the TU may be a quad-tree structure. For example, as shown in FIG. 5, one CU 510 may be divided one or more times according to the quad-tree structure. Through partitioning, one CU 510 can be composed of TUs of various sizes.
하나의 CU가 2 번 이상 분할될 경우, CU는 재귀적으로 분할되는 것으로 볼 수 있다. 분할을 통해, 하나의 CU는 다양한 크기들을 갖는 TU들로 구성될 수 있다.If a CU is divided more than once, the CU can be considered to be recursively partitioned. Through partitioning, one CU can be composed of TUs with various sizes.
또는, 하나의 CU는 CU를 분할하는 수직 선 및/또는 수평 선의 개수에 기반하여 하나 이상의 TU들로 분할될 수도 있다.Alternatively, one CU may be divided into one or more TUs based on the number of vertical and / or horizontal lines dividing the CU.
CU는 대칭형의 TU들로 분할될 수 있고, 비대칭형의 TU들로 분할될 수도 있다. 비대칭형의 TU들로의 분할을 위해, TU의 크기 및/또는 형태에 대한 정보가 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수 있다. 또는, TU의 크기 및/또는 형태는 CU의 크기 및/또는 형태에 대한 정보로부터 유도될 수 있다.The CU may be divided into symmetric TUs and may be divided into asymmetric TUs. For division into asymmetric TUs, information about the size and / or type of the TU may be signaled from the encoding device 100 to the decoding device 200. Alternatively, the size and / or shape of the TU may be derived from information about the size and / or shape of the CU.
CU는 TU들로 분할되지 않을 수 있다. CU가 TU들로 분할되지 않는 경우 CU의 크기 및 TU의 크기는 같을 수 있다.The CU may not be divided into TUs. If the CU is not divided into TUs, the size of the CU and the size of the TU may be the same.
하나의 CU는 하나 이상의 TU들로 분할될 수 있고, TU도 복수의 TU들로 분할될 수 있다.One CU may be divided into one or more TUs, and a TU may be divided into a plurality of TUs.
예를 들면, 하나의 TU가 4 개의 TU들로 분할되는 경우, 분할에 의해 생성된 4 개의 TU들의 각 TU의 가로 크기 및 세로 크기는 각각 분할 전의 TU의 가로 크기의 절반 및 세로 크기의 절반일 수 있다. 32x32 크기의 TU가 4 개의 TU들로 분할되는 경우, 분할된 4 개의 TU들의 크기들은 16x16일 수 있다. 하나의 TU가 4 개의 TU들로 분할되는 경우, TU가 쿼드-트리 형태로 분할되었다고 할 수 있다.For example, when one TU is divided into four TUs, the horizontal size and the vertical size of each TU of the four TUs generated by the division are respectively one half of the horizontal size of the TU before the division and one half of the vertical size . When a 32x32 TU is divided into 4 TUs, the sizes of the 4 TUs divided may be 16x16. When one TU is divided into four TUs, it can be said that TU is divided into quad-tree form.
예를 들면, 하나의 TU가 2 개의 TU들로 분할되는 경우, 분할에 의해 생성된 2 개의 TU들의 각 TU의 가로 크기 또는 세로 크기는 각각 분할 전의 TU의 가로 크기의 절반 또는 세로 크기의 절반일 수 있다. 32x32 크기의 TU가 2 개의 TU들로 세로로 분할되는 경우, 분할된 2 개의 TU들의 크기들은 16x32일 수 있다. 32x32 크기의 TU가 2 개의 TU들로 가로로 분할되는 경우, 분할된 2 개의 TU들의 크기들은 32x16일 수 있다. 하나의 TU가 2 개의 TU들로 분할되는 경우, TU가 이진-트리 형태로 분할되었다고 할 수 있다.For example, if one TU is divided into two TUs, the horizontal size or vertical size of each TU of the two TUs generated by the partition may be half of the horizontal size of the TU before the partition, . When a 32x32 TU is vertically divided into two TUs, the sizes of the two divided TUs may be 16x32. When a 32x32 TU is divided horizontally into two TUs, the sizes of the two TUs divided may be 32x16. When one TU is divided into two TUs, it can be said that the TU is divided into a binary-tree form.
도 5에서 도시된 것 외의 다른 방식으로 CU가 분할될 수도 있다.The CU may be divided in a manner other than that shown in Fig.
예를 들면, 하나의 CU는 3 개의 CU들로 분할될 수 있다. 분할된 3 개의 CU들의 가로 크기 또는 세로 크기는 각각 분할전의 CU의 가로 크기 또는 세로 크기의 1/4, 1/2 및 1/4일 수 있다.For example, one CU may be divided into three CUs. The horizontal size or the vertical size of the three divided CUs may be 1/4, 1/2 and 1/4 of the horizontal size or vertical size of the CU before division, respectively.
일 예로, 32x32 크기의 CU가 3 개의 CU들로 세로로 분할되는 경우, 분할된 3 개의 CU들의 크기들은 각각 8x32, 16x32 및 8x32일 수 있다. 이와 같이, 하나의 CU가 3 개의 CU들로 분할되는 경우, CU는 삼진 트리의 형태로 분할되었다고 볼 수 있다.For example, if a CU with a size of 32x32 is vertically divided into three CUs, the sizes of the three divided CUs may be 8x32, 16x32, and 8x32, respectively. Thus, when one CU is divided into three CUs, it can be seen that the CU is divided into the form of a triad tree.
예시된 쿼드 트리의 형태의 분할, 이진 트리의 형태의 분할 및 삼진 트리의 형태의 분할 중 하나가 CU의 분할을 위해 적용될 수 있으며, 복수 개의 분할 방식들이 함께 조합되어 CU의 분할을 위해 사용될 수도 있다. 이 때, 복수 개의 분할 방식들이 조합되어 사용되는 경우를 복합 트리의 형태의 분할이라고 칭할 수 있다.One of the partitioning of the illustrated quad tree type, the partitioning of the binary tree type and the partitioning of the triple tree can be applied for partitioning of the CU, and a plurality of partitioning schemes may be combined for partitioning the CU . In this case, a case where a plurality of division methods are used in combination is referred to as a division of the form of a composite tree.
도 6은 일 예에 따른 블록의 분할을 나타낸다.Figure 6 shows the partitioning of a block according to an example.
영상의 부호화 및/또는 복호화의 과정에서, 도 6과 같이 대상 블록이 분할될 수 있다.During the encoding and / or decoding of the image, the target block may be divided as shown in FIG.
대상 블록의 분할을 위해, 분할 정보를 나타내는 지시자가 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수 있다. 분할 정보는 대상 블록이 어떻게 분할되는가를 나타내는 정보일 수 있다.To divide the target block, an indicator indicating the division information may be signaled from the coding apparatus 100 to the decoding apparatus 200. [ The partition information may be information indicating how the target block is divided.
분할 정보는 분할 플래그(이하, "split_flag"로 표시), 쿼드-이진 플래그(이하, "QB_flag"로 표시), 쿼드 트리 플래그(이하, "quadtree_flag"로 표시), 이진 트리 플래그(이하, "binarytree_flag"로 표시) 및 이진 타입 플래그(이하, "Btype_flag"로 표시) 중 하나 이상일 수 있다.(Hereinafter referred to as "quadtree_flag"), a binary tree flag (hereinafter referred to as "binarytree_flag"), a quad-binary flag (hereinafter referred to as "QB_flag" Quot;) and a binary type flag (hereinafter referred to as "Btype_flag").
split_flag는 블록이 분할되었는지 여부를 나타내는 플래그일 수 있다. 예를 들면, split_flag의 값 1은 블록이 분할됨을 나타낼 수 있다. split_flag의 값 0은 블록이 분할되지 않음을 나타낼 수 있다.The split_flag may be a flag indicating whether or not the block is divided. For example, the value 1 of split_flag may indicate that the block is partitioned. A value of 0 in split_flag may indicate that the block is not partitioned.
QB_flag는 블록이 쿼드 트리 형태 및 이진 트리 형태 중 어떤 형태로 분할되는가를 나타내는 플래그일 수 있다. 예를 들면, QB_flag의 값 0은 블록이 쿼드 트리 형태로 분할됨을 나타낼 수 있다. QB_flag의 값 1은 블록이 이진 트리 형태로 분할됨을 나타낼 수 있다. 또는, QB_flag의 값 0은 블록이 이진 트리 형태로 분할됨을 나타낼 수 있다. QB_flag의 값 1은 블록이 쿼드 트리 형태로 분할됨을 나타낼 수 있다.QB_flag may be a flag indicating whether the block is divided into a quad tree form or a binary tree form. For example, a value of 0 in QB_flag may indicate that the block is partitioned into a quadtree form. A value of 1 in QB_flag may indicate that the block is partitioned into a binary tree. Alternatively, a value of 0 in QB_flag may indicate that the block is partitioned into a binary tree form. A value of 1 in QB_flag may indicate that the block is partitioned into a quadtree form.
quadtree_flag는 블록이 쿼드 트리 형태로 분할되는지 여부를 나타내는 플래그일 수 있다. 예를 들면, quadtree_flag의 값 1은 블록이 쿼드 트리 형태로 분할됨을 나타낼 수 있다. quadtree_flag의 값 0은 블록이 쿼드 트리 형태로 분할되지 않음을 나타낼 수 있다.The quadtree_flag may be a flag indicating whether the block is divided into a quad tree form. For example, a value of 1 in quadtree_flag may indicate that the block is partitioned into a quadtree form. A value of 0 in the quadtree_flag may indicate that the block is not partitioned into quadtrees.
binarytree_flag는 블록이 이진 트리 형태로 분할되었는지 여부를 나타내는 플래그일 수 있다. 예를 들면, binarytree_flag의 값 1은 블록이 이진 트리 형태로 분할됨을 나타낼 수 있다. binarytree_flag의 값 0은 블록이 이진 트리 형태로 분할되지 않음을 나타낼 수 있다.The binarytree_flag may be a flag indicating whether the block is divided into a binary tree form. For example, a value of 1 in the binarytree_flag may indicate that the block is partitioned into a binary tree. A value of binarytree_flag of 0 may indicate that the block is not partitioned into a binary tree.
Btype_flag는 블록이 이진 트리 형태로 분할되는 경우, 수직 분할 및 수평 분할 중 어떤 것으로 분할되었는지를 나타내는 플래그일 수 있다. 예를 들면, Btype_flag의 값 0은 블록이 수평 방향으로 분할됨을 나타낼 수 있다. Btype_flag의 값 1은 블록이 수직 방향으로 분할됨을 나타낼 수 있다. 또는, Btype_flag의 값 0은 블록이 수직 방향으로 분할되었음을 나타낼 수 있다. Btype_flag의 값 1은 블록이 수평 방향으로 분할되었음을 나타낼 수 있다.Btype_flag may be a flag indicating whether the block is divided into a vertical division or a horizontal division when the block is divided into a binary tree form. For example, a value of 0 for Btype_flag may indicate that the block is divided horizontally. A value of 1 for Btype_flag may indicate that the block is vertically partitioned. Alternatively, a value of 0 for Btype_flag may indicate that the block is vertically split. A value of 1 for Btype_flag may indicate that the block is split horizontally.
예를 들면, 도 6의 블록에 대한 분할 정보는 아래의 표 1과 같이 quadtree_flag, binarytree_flag 및 Btype_flag 중 적어도 하나를 시그널링함으로써 유도할 수 있다.For example, the partition information for the block of FIG. 6 can be derived by signaling at least one of quadtree_flag, binarytree_flag, and Btype_flag as shown in Table 1 below.
[표 1][Table 1]
Figure pat00002
Figure pat00002
예를 들면, 도 6의 블록에 대한 분할 정보는 아래의 표 2와 같이 split_flag, QB_flag 및 Btype_flag 중 적어도 하나를 시그널링함으로써 유도할 수 있다.For example, the partition information for the block of FIG. 6 can be derived by signaling at least one of split_flag, QB_flag, and Btype_flag as shown in Table 2 below.
[표 2][Table 2]
Figure pat00003
Figure pat00003
분할 방법은 블록의 크기 및/또한 형태에 따라 쿼드 트리로만 제한될 수 있고, 또는 이진 트리로만 제한될 수 있다. 이러한 제한이 적용되는 경우, split_flag는 쿼드 트리 형태로의 분할 여부를 나타내는 플래그 또는 이진 트리 형태로의 분할 여부를 나타내는 플래그일 수 있다. 블록의 크기 및 형태는 블록의 깊이 정보에 따라서 유도될 수 있으며, 깊이 정보는 부호화 장치(100)로부터 복호화 장치(200)로 시그널링 될 수 있다. The partitioning method may be limited to a quadtree only according to the size and / or type of the block, or may be limited to a binary tree only. When this restriction is applied, the split_flag may be a flag indicating whether to split into a quadtree form or a flag indicating whether to divide it into a binary tree form. The size and shape of the block may be derived according to the depth information of the block, and the depth information may be signaled from the encoding device 100 to the decoding device 200.
블록의 크기가 특정된 범위 내에 속하는 경우, 쿼드 트리 형태의 분할만이 가능할 수 있다. 예를 들면, 특정된 범위는 쿼드 트리 형태의 분할만이 가능한 최대 블록 크기 및 최소 블록 크기 중 적어도 하나에 의해 정의될 수 있다.If the size of the block falls within a specified range, only a quadtree-type partition may be possible. For example, the specified range may be defined by at least one of a maximum block size and a minimum block size that can be partitioned only in the form of a quadtree.
쿼트 트리 형태의 분할만이 가능한 최대 블록 크기 및/또는 최소 블록 크기를 나타내는 정보는 비트스트림을 통해 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수 있다. 또한, 이러한 정보는 비디오, 시퀀스, 픽처 및 슬라이스(또는, 세그먼트) 중 적어도 하나의 단위에 대하여 시그널링될 수 있다.The information indicating the maximum block size and / or the minimum block size that can be divided only in the quadtree form can be signaled from the encoding apparatus 100 to the decoding apparatus 200 through the bit stream. In addition, such information may be signaled for at least one of a video, a sequence, a picture, and a slice (or segment).
또는, 최대 블록 크기 및/또는 최소 블록 크기는 부호화 장치(100) 및 복호화 장치(200)에서 기정의된 고정된 크기일 수 있다. 예를 들면, 블록의 크기가 64x64의 이상이며, 256x256의 이하인 경우에는 쿼드 트리 형태의 분할만이 가능할 수 있다. 이러한 경우, split_flag는 쿼드 트리 형태로의 분할 여부를 나타내는 플래그일 수 있다.Alternatively, the maximum block size and / or minimum block size may be a fixed size predefined in the encoding device 100 and the decoding device 200. For example, if the block size is greater than or equal to 64x64, and less than or equal to 256x256, only a quadtree-type partition may be possible. In this case, the split_flag may be a flag indicating whether the split_flag is divided into a quadtree form.
블록의 크기가 특정된 범위 내에 속하는 경우, 이진 트리 형태의 분할만이 가능할 수 있다. 여기서, 예를 들면, 특정된 범위는 이진 트리 형태의 분할만이 가능한 최대 블록 크기 및 최소 블록 크기 중 적어도 하나에 의해 정의될 수 있다.If the size of the block falls within a specified range, only a binary tree-like partition may be possible. Here, for example, the specified range may be defined by at least one of a maximum block size and a minimum block size that can be partitioned only in a binary tree form.
이진 트리 형태의 분할만이 가능한 최대 블록 크기 및/또는 최소 블록 크기를 나타내는 정보는 비트스트림을 통해 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수 있다. 또한, 이러한 정보는 시퀀스, 픽처 및 슬라이스(또는, 세그먼트) 중 적어도 하나의 단위에 대하여 시그널링될 수 있다.Information indicating the maximum block size and / or minimum block size that can be divided only in the binary tree form can be signaled from the encoding apparatus 100 to the decoding apparatus 200 through the bit stream. This information may also be signaled for at least one of a sequence, a picture, and a slice (or segment).
또는, 최대 블록 크기 및/또는 최소 블록 크기는 부호화 장치(100) 및 복호화 장치(200)에서 기정의된 고정된 크기일 수 있다. 예를 들면, 블록의 크기가 8x8의 이상이며, 16x16의 이하인 경우에는 이진 트리 형태의 분할만이 가능할 수 있다. 이러한 경우, split_flag는 이진 트리 형태로의 분할 여부를 나타내는 플래그일 수 있다.Alternatively, the maximum block size and / or minimum block size may be a fixed size predefined in the encoding device 100 and the decoding device 200. For example, if the block size is greater than or equal to 8x8 and less than or equal to 16x16, then only a binary tree-like partition may be possible. In this case, the split_flag may be a flag indicating whether the split tree is divided into a binary tree form.
블록의 분할은 이전의 분할에 의해 제한될 수 있다. 예를 들면, 블록이 이진 트리 형태로 분할되어 복수의 분할된 블록들이 생성된 경우, 각 분할된 블록은 이진 트리 형태로만 추가로 분할될 수 있다.The partitioning of the block can be limited by the previous partitioning. For example, when a block is divided into a binary tree form to generate a plurality of divided blocks, each divided block can be further divided into a binary tree form only.
분할된 블록의 가로 크기 또는 세로 크기가 더 이상 분할될 수 없는 크기에 해당하는 경우 전술된 지시자는 시그널링되지 않을 수 있다.If the horizontal or vertical size of the partitioned block corresponds to a size that can no longer be partitioned, the aforementioned indicator may not be signaled.
도 7은 인트라 예측 과정의 실시예를 설명하기 위한 도면이다.7 is a diagram for explaining an embodiment of an intra prediction process.
도 7의 그래프의 중심으로부터 외곽으로의 화살표들은 인트라 예측 모드들의 예측 방향들을 나타낼 수 있다. 또한, 화살표에 근접하게 표시된 숫자는 인트라 예측 모드 또는 인트라 예측 모드의 예측 방향에 할당된 모드 값의 일 예를 나타낼 수 있다.The arrows from the center to the outline of the graph of FIG. 7 may indicate the prediction directions of the intra-prediction modes. In addition, the number indicated close to the arrow may represent an example of the mode value assigned to the prediction direction of the intra-prediction mode or the intra-prediction mode.
인트라 부호화 및/또는 복호화는 대상 블록의 주변의 유닛의 참조 샘플을 이용하여 수행될 수 있다. 주변의 블록은 주변의 재구축된 블록일 수 있다. 예를 들면, 인트라 부호화 및/또는 복호화는 주변의 재구축된 블록이 포함하는 참조 샘플의 값 또는 코딩 파라미터를 이용하여 수행될 수 있다.Intra coding and / or decoding may be performed using reference samples of the units around the target block. The surrounding block may be the reconstructed block around. For example, intra-coding and / or decoding may be performed using values or coding parameters of reference samples included in the reconstructed neighboring blocks.
부호화 장치(100) 및/또는 복호화 장치(200)는 대상 영상 내의 샘플의 정보에 기초하여 대상 블록에 대한 인트라 예측을 수행함으로써 예측 블록을 생성할 수 있다. 인트라 예측을 수행할 때, 부호화 장치(100) 및/또는 복호화 장치(200)는 대상 영상 내의 샘플의 정보에 기반하여 인트라 예측을 수행함으로써 대상 블록에 대한 예측 블록을 생성할 수 있다. 인트라 예측을 수행할 때, 부호화 장치(100) 및/또는 복호화 장치(200)는 적어도 하나의 재구축된 참조 샘플에 기반하여 방향성 예측 및/또는 비방향성 예측을 수행할 수 있다.The encoding apparatus 100 and / or the decoding apparatus 200 can generate a prediction block by performing intra prediction on a target block based on information of samples in the target image. When performing intra prediction, the encoding apparatus 100 and / or the decoding apparatus 200 may generate a prediction block for a target block by performing intra prediction based on information of samples in the target image. When performing intra prediction, the encoding apparatus 100 and / or the decoding apparatus 200 may perform directional prediction and / or non-directional prediction based on at least one reconstructed reference sample.
예측 블록은 인트라 예측의 수행의 결과로 생성된 블록을 의미할 수 있다. 예측 블록은 CU, PU 및 TU 중 적어도 하나에 해당할 수 있다.The prediction block may refer to a block generated as a result of performing intra prediction. The prediction block may correspond to at least one of CU, PU, and TU.
예측 블록의 단위는 CU, PU 및 TU 중 적어도 하나의 크기일 수 있다. 예측 블록은 2Nx2N의 크기 또는 NxN의 크기를 갖는, 정사각형의 형태를 가질 수 있다. NxN의 크기는 4x4, 8x8, 16x16, 32x32 및 64x64 등을 포함할 수 있다.The unit of the prediction block may be at least one of CU, PU, and TU. The prediction block may have the form of a square having a size of 2Nx2N or a size of NxN. The size of NxN may include 4x4, 8x8, 16x16, 32x32 and 64x64.
또는, 예측 블록은 2x2, 4x4, 8x8, 16x16, 32x32 또는 64x64 등의 크기를 갖는 정사각형의 형태의 블록일 수 있고, 2x8, 4x8, 2x16, 4x16 및 8x16 등의 크기를 갖는 직사각형 모양의 블록일 수도 있다.Alternatively, the prediction block may be a block in the form of a square having a size of 2x2, 4x4, 8x8, 16x16, 32x32, or 64x64, or may be a rectangular block having a size of 2x8, 4x8, 2x16, 4x16, have.
인트라 예측은 대상 블록에 대한 인트라 예측 모드에 따라 수행될 수 있다. 대상 블록이 가질 수 있는 인트라 예측 모드의 개수는 기정의된 고정된 값일 수 있으며, 예측 블록의 속성에 따라 다르게 결정된 값일 수 있다. 예를 들면, 예측 블록의 속성은 예측 블록의 크기 및 예측 블록의 타입 등을 포함할 수 있다.Intra prediction may be performed according to the intra prediction mode for the target block. The number of intra prediction modes that a target block may have may be a predetermined fixed value and may be a value determined differently depending on the property of the prediction block. For example, the attributes of the prediction block may include the size of the prediction block and the type of the prediction block.
예를 들면, 인트라 예측 모드의 개수는 예측 블록의 크기에 관계없이 35개로 고정될 수 있다. 또는, 예를 들면, 인트라 예측 모드의 개수는 3, 5, 9, 17, 34, 35 또는 36 등일 수 있다.For example, the number of intra prediction modes can be fixed to 35 irrespective of the size of the prediction block. Or, for example, the number of intra prediction modes may be 3, 5, 9, 17, 34, 35 or 36, and so on.
인트라 예측 모드는 비방향성(non-directional) 모드 또는 방향성(directional) 모드일 수 있다. 예를 들면, 인트라 예측 모드는 도 7서 도시된 것과 같이 2개의 비방향성 모드들 및 33개의 방향성 모드들을 포함할 수 있다.The intra prediction mode may be a non-directional mode or a directional mode. For example, the intra prediction mode may include two non-directional modes and 33 directional modes as shown in FIG.
2개의 비방향성 모드들은 디씨(DC) 모드 및 플래너(Planar) 모드를 포함할 수 있다.The two non-directional modes may include a DC mode and a Planar mode.
방향성 모드들은 특정한 방향 또는 특정한 각도를 갖는 예측 모드일 수 있다.The directional modes may be a prediction mode having a specific direction or a specific angle.
인트라 예측 모드는 모드 번호, 모드 값 및 모드 각도 중 적어도 하나로 표현될 수 있다. 인트라 예측 모드의 개수는 M 개일 수 있다. M은 1 이상일 수 있다. 말하자면, 인트라 예측 모드는 비방향성 모드의 개수 및 방향성 모드의 개수를 포함하는 M 개일 수 있다.The intra prediction mode may be represented by at least one of a mode number, a mode value, and a mode angle. The number of intra prediction modes may be M. M may be at least one. That is to say, the intra prediction mode may be M numbers including the number of non-directional modes and the number of directional modes.
인트라 예측 모드의 개수는 블록의 크기 및/또는 색 성분(color component)에 관계없이 M 개로 고정될 수 있다. 예를 들면, 인트라 예측 모드의 개수는, 블록의 크기와 무관하게, 35 또는 67 중 하나로 고정될 수 있다.The number of intra prediction modes may be fixed to M, regardless of the size of the block and / or the color component. For example, the number of intra prediction modes can be fixed to either 35 or 67 regardless of the size of the block.
또는, 인트라 예측 모드의 개수는 블록의 크기 및/또는 색 성분의 타입에 따라 상이할 수 있다.Alternatively, the number of intra prediction modes may differ depending on the size of the block and / or the type of color component.
예를 들면, 블록의 크기가 커질수록 인트라 예측 모드의 개수는 많아질 수 있다. 또는, 블록의 크기가 커질수록 인트라 예측 모드의 개수는 적어질 수 있다. 블록의 크기가 4x4 또는 8x8인 경우에는 인트라 예측 모드의 개수는 67일 수 있다. 블록의 크기가 16x16인 경우에는 인트라 예측 모드의 개수는 35일 수 있다. 블록의 크기가 32x32인 경우에는 인트라 예측 모드의 개수는 19일 수 있다. 블록의 크기가 64x64인 경우에는 인트라 예측 모드의 개수는 7일 수 있다.For example, the larger the block size, the larger the number of intra prediction modes. Alternatively, the larger the block size, the smaller the number of intra prediction modes. If the block size is 4x4 or 8x8, then the number of intra prediction modes may be 67. If the size of the block is 16x16, the number of intra prediction modes may be 35. If the block size is 32x32, the number of intra prediction modes may be 19. If the block size is 64x64, the number of intra prediction modes may be 7.
예를 들면, 색 성분이 루마(luma) 신호인지 아니면 크로마(chroma) 신호인지에 따라 인트라 예측 모드의 개수가 다를 수 있다. 또는 루마 성분 블록의 인트라 예측 모드의 개수는 크로마 성분 블록의 인트라 예측 모드의 개수보다 많을 수 있다.For example, the number of intra prediction modes may be different depending on whether the color component is a luma signal or a chroma signal. Or the number of intra prediction modes of the luma component block may be greater than the number of intra prediction modes of the chroma component block.
예를 들면, 모드 값이 26인 수직 모드의 경우, 참조 샘플의 픽셀 값에 기반하여 수직 방향으로 예측이 수행될 수 있다. 예를 들면, 모드 값이 10인 수평 모드의 경우, 참조 샘플의 픽셀 값에 기반하여 수평 방향으로 예측이 수행될 수 있다.For example, in the case of a vertical mode with a mode value of 26, the prediction can be performed in the vertical direction based on the pixel value of the reference sample. For example, in the case of a horizontal mode with a mode value of 10, prediction can be performed in the horizontal direction based on the pixel value of the reference sample.
전술된 모드 이외의 방향성 모드인 경우에도 부호화 장치(100) 및 복호화 장치(200)는 방향성 모드에 대응하는 각도에 따라 참조 샘플을 이용하여 대상 유닛에 대한 인트라 예측을 수행할 수 있다.The encoding apparatus 100 and the decoding apparatus 200 can perform intra prediction on a target unit using a reference sample according to an angle corresponding to the directional mode even in the directional mode other than the above-described mode.
수직 모드의 우측에 위치한 인트라 예측 모드는 수직 우측 모드(vertical-right mode)로 명명될 수 있다. 수평 모드의 하단에 위치한 인트라 예측 모드는 수형 하단 모드(horizontal-below mode)로 명명될 수 있다. 예를 들면, 도 7에서, 모드 값이 27, 28, 29, 30, 31, 32, 33 및 34 중 하나인 인트라 예측 모드들은 수직 우측 모드들(613)일 수 있다. 모드 값이 2, 3, 4, 5, 6, 7, 8 및 9 중 하나인 인트라 예측 모드들은 수평 하단 모드들(616)일 수 있다.The intra prediction mode located on the right side of the vertical mode may be referred to as a vertical-right mode. The intra prediction mode located at the lower end of the horizontal mode may be named a horizontal-below mode. For example, in FIG. 7, the intra prediction modes in which the mode value is one of 27, 28, 29, 30, 31, 32, 33, and 34 may be vertical right modes 613. Intra prediction modes where the mode value is one of 2, 3, 4, 5, 6, 7, 8, and 9 may be horizontal lower modes 616.
비방향성 모드는 디씨(DC) 모드 및 플래너(planar) 모드를 포함할 수 있다. 예를 들면, 디씨 모드의 모드 값은 1일 수 있다. 플래너 모드의 모드 값은 0일 수 있다.The non-directional mode may include a DC mode and a planar mode. For example, the mode value of the DC mode may be one. The mode value of the planner mode may be zero.
방향성 모드는 각진(angular) 모드를 포함할 수 있다. 복수의 인트라 예측 모드들 중 DC 모드 및 플래너 모드를 제외한 나머지의 모드는 방향성 모드일 수 있다.The directional mode may include an angular mode. Among the plurality of intra prediction modes, the remaining modes except for the DC mode and the planar mode may be the directional mode.
인트라 예측 모드가 DC 모드인 경우, 복수의 참조 샘플들의 픽셀 값들의 평균에 기반하여 예측 블록이 생성될 수 있다. 예를 들면, 예측 블록의 픽셀의 값은 복수의 참조 샘플들의 픽셀 값들의 평균에 기반하여 결정될 수 있다.If the intra prediction mode is a DC mode, a prediction block may be generated based on an average of pixel values of a plurality of reference samples. For example, the value of a pixel of a prediction block may be determined based on an average of pixel values of a plurality of reference samples.
전술된 인트라 예측 모드들의 개수 및 각 인트라 예측 모드들의 모드 값은 단지 예시적인 것일 수 있다. 전술된 인트라 예측 모드들의 개수 및 각 인트라 예측 모드들의 모드 값은 실시예, 구현 및/또는 필요에 따라 다르게 정의될 수도 있다.The number of intra prediction modes described above and the mode value of each intra prediction mode may be exemplary only. The number of intra prediction modes described above and the mode value of each intra prediction mode may be differently defined according to the embodiment, implementation and / or necessity.
대상 블록에 대한 인트라 예측을 수행하기 위해 복원된 주변 블록에 포함되는 샘플들이 대상 블록의 참조 샘플로서 이용될 수 있는지 여부를 검사하는 단계가 수행될 수 있다. 주변 블록의 샘플들 중 대상 블록의 참조 샘플로 이용할 수 없는 샘플이 존재하는 경우, 복원된 주변 블록에 포함된 샘플들 중 적어도 하나의 샘플 값을 사용하는 복사 및/또는 보간에 의해 생성된 값이 참조 샘플로 이용할 수 없는 샘플의 샘플 값으로 대체될 수 있다. 복사 및/또는 보간에 의해 생성된 값이 샘플의 샘플 값으로 대체되면, 샘플이 대상 블록의 참조 샘플로서 이용될 수 있다.A step of checking whether samples included in the restored neighboring block can be used as a reference sample of the target block to perform intra prediction on the target block can be performed. A value generated by copying and / or interpolation using at least one sample value of samples included in the reconstructed neighboring block, if there is a sample that is not available as a reference sample of the target block among the samples of the neighboring block It can be replaced with the sample value of the sample which is not available as a reference sample. If the value generated by copying and / or interpolation is replaced with the sample value of the sample, the sample may be used as a reference sample of the target block.
인트라 예측 시, 인트라 예측 모드 및 대상 블록의 크기 중 적어도 하나에 기반하여 참조 샘플 또는 예측 샘플 중 적어도 하나에 필터가 적용될 수 있다.In intra prediction, a filter may be applied to at least one of a reference sample or a prediction sample based on at least one of an intra prediction mode and a size of a target block.
참조 샘플 또는 예측 샘플 중 적어도 하나에 적용되는 필터의 종류는 대상 블록의 인트라 예측 모드, 대상 블록의 크기 및 대상 블록의 형태 중 적어도 하나에 따라서 다를 수 있다. 필터의 종류는 필터 탭의 개수, 필터 계수의 값 및 필터 강도 중 하나 이상에 따라서 분류될 수 있다.The kind of filter applied to at least one of the reference sample and the prediction sample may be different depending on at least one of an intra prediction mode of a target block, a size of a target block, and a shape of a target block. The type of the filter can be classified according to one or more of the number of filter taps, the value of the filter coefficient, and the filter strength.
인트라 예측 모드가 플래너 모드인 경우, 대상 블록의 예측 블록을 생성함에 있어서, 예측 대상 샘플의 예측 블록 내 위치에 따라, 대상 샘플의 상단 참조 샘플, 대상 샘플의 좌측 참조 샘플, 대상 블록의 우상단 참조 샘플 및 대상 블록의 좌하단 참조 샘플의 가중치가 부여된 합(weight-sum)을 이용하여 예측 대상 샘플의 샘플 값이 생성될 수 있다.When the intra prediction mode is the planar mode, in generating the prediction block of the target block, the upper reference sample of the target sample, the left reference sample of the target sample, and the upper right reference sample of the target block And a weighted sum of the lower left reference samples of the target block may be used to generate a sample value of the prediction target sample.
인트라 예측 모드가 DC 모드인 경우, 대상 블록의 예측 블록을 생성함에 있어서, 대상 블록의 상단 참조 샘플들 및 좌측 참조 샘플들의 평균 값이 이용될 수 있다. 또한, 대상 블록 내의 특정된 행들 또는 특정된 열들에 대해서는 참조 샘플들의 값들을 이용하는 필터링이 수행될 수 있다. 특정된 행들은 참조 샘플과 인접한 하나 이상의 상단 행들일 수 있다. 특정된 열들은 참조 샘플과 인접한 하나 이상의 좌측 열들일 수 있다.When the intra prediction mode is the DC mode, in generating the prediction block of the target block, the average value of the upper reference samples and the left reference samples of the target block may be used. Further, filtering may be performed using the values of the reference samples for the specified rows or specified columns in the object block. The specified rows may be one or more top rows adjacent to the reference sample. The specified columns may be one or more left columns adjacent to the reference sample.
인트라 예측 모드가 방향성 모드인 경우 대상 블록의 상단 참조 샘플, 좌측 참조 샘플, 우상단 참조 샘플 및/또는 좌하단 참조 샘플을 이용하여 예측 블록이 생성될 수 있다.When the intra prediction mode is the directional mode, a prediction block can be generated using the upper reference sample, the left reference sample, the upper right reference sample, and / or the lower left reference sample of the target block.
전술된 예측 샘플을 생성하기 위해 실수 단위의 보간이 수행될 수도 있다. Real-unit interpolation may be performed to generate the prediction samples described above.
대상 블록의 인트라 예측 모드는 대상 블록의 주변 블록의 인트라 예측 모드로부터 예측될 수 있으며, 예측을 위해 사용되는 정보가 엔트로피 부호화/복호화될 수 있다.The intra prediction mode of the target block can be predicted from the intra prediction mode of the neighboring block of the target block, and the information used for prediction can be entropy encoded / decoded.
예를 들면, 대상 블록 및 주변 블록의 인트라 예측 모드들이 동일하면 기정의된 플래그를 이용하여 대상 블록 및 주변 블록의 인트라 예측 모드들이 동일하다는 것이 시그널링될 수 있다.For example, if the intraprediction modes of the target block and the neighboring blocks are the same, it can be signaled that the intraprediction modes of the target block and the neighboring block are the same using the predetermined flag.
예를 들면, 복수의 주변 블록들의 인트라 예측 모드들 중 대상 블록의 인트라 예측 모드와 동일한 인트라 예측 모드를 가리키는 지시자가 시그널링될 수 있다.For example, an indicator indicating an intra prediction mode that is the same as the intra prediction mode of the target block among the intra prediction modes of a plurality of neighboring blocks may be signaled.
대상 블록 및 주변 블록의 인트라 예측 모드들이 서로 다르면, 엔트로피 부호화 및/또는 복호화를 사용하여 대상 블록의 인트라 예측 모드의 정보가 부호화 및/또는 복호화될 수 있다.If the intra prediction modes of the target block and the neighboring blocks are different from each other, the information of the intra prediction mode of the target block can be encoded and / or decoded using entropy encoding and / or decoding.
도 8은 인트라 예측 과정에서 사용되는 참조 샘플의 위치를 설명하기 위한 도면이다.8 is a view for explaining the positions of reference samples used in the intra prediction process.
도 8은 대상 블록의 인트라 예측을 위해 사용되는 참조 샘플의 위치를 도시한다. 도 8을 참조하면, 대상 블록의 인트라 예측에 사용되는 재구축된 참조 샘플은 하단 좌측(below-left) 참조 샘플들(831), 좌측(left) 참조 샘플들(833), 상단 좌측(above-left) 코너 참조 샘플(835), 상단(above) 참조 샘플들(837) 및 상단 우측(above-right) 참조 샘플들(839) 등을 포함할 수 있다.8 shows the location of a reference sample used for intra prediction of a target block. 8, a reconstructed reference sample used for intra prediction of a target block includes lower-left reference samples 831, left reference samples 833, an upper- left corner reference sample 835, top reference samples 837 and top-right reference samples 839, and the like.
예를 들면, 좌측 참조 샘플들(833)은 대상 블록의 좌측에 인접한 재구축된 참조 픽셀을 의미할 수 있다. 상단 참조 샘플들(837)은 대상 블록의 상단에 인접한 재구축된 참조 픽셀을 의미할 수 있다. 상단 좌측 코너 참조 샘플(835)은 대상 블록의 상단 좌측 코너에 위치한 재구축된 참조 픽셀을 의미할 수 있다. 또한, 하단 좌측 참조 샘플들(831)은 좌측 참조 샘플들(833)로 구성된 좌측 샘플 라인과 동일 선상에 위치한 샘플들 중에서 좌측 샘플 라인의 하단에 위치한 참조 샘플을 의미할 수 있다. 상단 우측 참조 샘플들(839)은 상단 참조 샘플들(837)로 구성된 상단 샘플 라인과 동일 선상에 위치한 샘플들 중에서 상단 픽셀 라인의 우측에 위치한 참조 샘플들을 의미할 수 있다.For example, the left reference samples 833 may refer to reconstructed reference pixels adjacent to the left of the target block. Top reference samples 837 may refer to a reconstructed reference pixel adjacent the top of the target block. The upper left corner reference sample 835 may refer to a reconstructed reference pixel located at the upper left corner of the object block. In addition, the lower left reference samples 831 may refer to a reference sample located at the lower end of the left sample line among the samples located on the same line as the left sample line composed of the left reference samples 833. Upper right reference samples 839 may refer to reference samples located on the right side of the upper pixel line among samples located on the same line as the upper sample line composed of upper reference samples 837. [
대상 블록의 크기가 NxN일 때, 하단 좌측 참조 샘플들(831), 좌측 참조 샘플들(833), 상단 참조 샘플들(837) 및 상단 우측 참조 샘플들(839)은 각각 N개일 수 있다.When the size of the target block is NxN, the lower left reference samples 831, the left reference samples 833, the upper reference samples 837, and the upper right reference samples 839 may be N, respectively.
대상 블록에 대한 인트라 예측을 통해 예측 블록이 생성될 수 있다. 예측 블록의 생성은 예측 블록의 픽셀들의 값이 결정되는 것을 포함할 수 있다. 대상 블록 및 예측 블록의 크기는 동일할 수 있다.A prediction block can be generated through intraprediction of a target block. The generation of the prediction block may include determining the value of the pixels of the prediction block. The size of the target block and the size of the prediction block may be the same.
대상 블록의 인트라 예측에 사용되는 참조 샘플은 대상 블록의 인트라 예측 모드에 따라 달라질 수 있다. 인트라 예측 모드의 방향은 참조 샘플들 및 예측 블록의 픽셀들 간의 의존 관계를 나타낼 수 있다. 예를 들면, 특정된 참조 샘플의 값이 예측 블록의 특정된 하나 이상의 픽셀들의 값으로서 사용될 수 있다. 이 경우, 특정된 참조 샘플 및 예측 블록의 특정된 하나 이상의 픽셀들은 인트라 예측 모드의 방향의 직선으로 지정되는 샘플 및 픽셀들일 수 있다. 말하자면, 특정된 참조 샘플의 값은 인트라 예측 모드의 방향의 역방향에 위치한 픽셀의 값으로 복사될 수 있다. 또는, 예측 블록의 픽셀의 값은 상기의 픽셀의 위치를 기준으로 인트라 예측 모드의 방향에 위치한 참조 샘플의 값일 수 있다.The reference sample used for intra prediction of the target block may be changed depending on the intra prediction mode of the target block. The direction of the intra-prediction mode may indicate a dependency between the reference samples and the pixels of the prediction block. For example, the value of the specified reference sample may be used as the value of one or more specified pixels of the prediction block. In this case, the specified reference sample and the specified one or more pixels of the prediction block may be samples and pixels designated by a straight line in the direction of the intra prediction mode. That is to say, the value of the specified reference sample can be copied to the value of the pixel located in the reverse direction of the intra prediction mode. Alternatively, the value of the pixel of the prediction block may be the value of the reference sample located in the direction of the intra-prediction mode with respect to the position of the pixel.
예를 들면, 대상 블록의 인트라 예측 모드가 모드 값이 26인 수직 모드인 경우, 상단 참조 샘플들(837)이 인트라 예측에 사용될 수 있다. 인트라 예측 모드가 수직 모드인 경우, 예측 블록의 픽셀의 값은 상기의 픽셀의 위치를 기준으로 수직으로 위에 위치한 참조 샘플의 값일 수 있다. 따라서, 대상 블록에 상단으로 인접한 상단 참조 샘플들(837)이 인트라 예측을 위해 사용될 수 있다. 또한, 예측 블록의 한 행의 픽셀들의 값들은 상단 참조 샘플들(837)의 값들과 동일할 수 있다.For example, if the intra prediction mode of the target block is a vertical mode with a mode value of 26, upper reference samples 837 may be used for intra prediction. When the intra prediction mode is the vertical mode, the value of the pixel of the prediction block may be the value of the reference sample vertically positioned with respect to the position of the pixel. Thus, top reference samples 837 that are near the top of the target block may be used for intra prediction. In addition, the values of the pixels of a row of the prediction block may be the same as the values of the upper reference samples 837. [
예를 들면, 대상 블록의 인트라 예측 모드가 모드 값이 10인 수평 모드인 경우, 좌측 참조 샘플들(833)이 인트라 예측에 사용될 수 있다. 인트라 예측 모드가 수평 모드인 경우, 예측 블록의 픽셀의 값은 상기의 픽셀을 기준으로 수평으로 좌측에 위치한 참조 샘플의 값일 수 있다. 따라서, 대상 블록에 좌측으로 인접한 좌측 참조 샘플들(833)이 인트라 예측을 위해 사용될 수 있다. 또한, 예측 블록의 한 열의 픽셀들의 값들은 좌측 참조 샘플들(833)의 값들과 동일할 수 있다.For example, when the intra prediction mode of the target block is a horizontal mode with a mode value of 10, the left reference samples 833 can be used for intra prediction. When the intra prediction mode is the horizontal mode, the value of the pixel of the prediction block may be the value of the reference sample located horizontally on the left side of the pixel. Thus, the left reference samples 833 to the left of the target block may be used for intra prediction. In addition, the values of the pixels in a column of the prediction block may be the same as the values of the left reference samples 833. [
예를 들면, 대상 블록의 인트라 예측 모드의 모드 값이 18인 경우 좌측 참조 샘플들(833)의 적어도 일부, 상단 좌측 코너 참조 샘플(835) 및 상단 참조 샘플들(837)의 적어도 일부 인트라 예측에 사용될 수 있다. 인트라 예측 모드의 모드 값이 18인 경우, 예측 블록의 픽셀의 값은 상기의 픽셀을 기준으로 대각선으로 상단 좌측에 위치한 참조 샘플의 값일 수 있다.For example, if the mode value of the intra prediction mode of the target block is 18, at least a part of the left reference samples 833, at least a part of the upper left corner reference sample 835 and the upper reference samples 837, Can be used. If the mode value of the intra prediction mode is 18, the value of the pixel of the prediction block may be a value of the reference sample located diagonally to the left of the upper side with respect to the pixel.
또한, 모드 값이 27, 28, 29, 30, 31, 32, 33 또는 34인 인트라 예측 모드가 사용되는 경우에는 상단 우측 참조 샘플들(839) 중 적어도 일부가 인트라 예측에 사용될 수 있다.Also, if an intra prediction mode with a mode value of 27, 28, 29, 30, 31, 32, 33 or 34 is used, at least some of the upper right reference samples 839 may be used for intra prediction.
또한, 모드 값이 2, 3, 4, 5, 6, 7, 8 또는 9인 인트라 예측 모드가 사용되는 경우에는 하단 좌측 참조 샘플들(831) 중 적어도 일부가 인트라 예측에 사용될 수 있다.Also, when an intra prediction mode having a mode value of 2, 3, 4, 5, 6, 7, 8, or 9 is used, at least a part of the lower left reference samples 831 may be used for intra prediction.
또한, 모드 값이 11 내지 25 중 하나인 인트라 예측 모드가 사용되는 경우에는 상단 좌측 코너 참조 샘플(835)이 인트라 예측에 사용될 수 있다.Also, if an intra prediction mode with a mode value of 11 to 25 is used, upper left corner reference sample 835 may be used for intra prediction.
예측 블록의 하나의 픽셀의 픽셀 값을 결정하기 위해 사용되는 참조 샘플은 1개일 수 있고, 2개 이상일 수도 있다.The reference sample used to determine the pixel value of one pixel of the prediction block may be one, or may be two or more.
전술된 것과 같이 예측 블록의 픽셀의 픽셀 값은 상기의 픽셀의 위치 및 인트라 예측 모드의 방향에 의해 가리켜지는 참조 샘플의 위치에 따라 결정될 수 있다. 픽셀의 위치 및 인트라 예측 모드의 방향에 의해 가리켜지는 참조 샘플의 위치가 정수 위치인 경우, 정수 위치가 가리키는 하나의 참조 샘플의 값이 예측 블록의 픽셀의 픽셀 값을 결정하기 위해 사용될 수 있다.The pixel value of the pixel of the prediction block as described above can be determined according to the position of the pixel and the position of the reference sample indicated by the direction of the intra prediction mode. If the position of the pixel and the position of the reference sample pointed by the direction of the intra prediction mode is an integer position, the value of one reference sample pointed to by the integer position can be used to determine the pixel value of the pixel of the prediction block.
픽셀의 위치 및 인트라 예측 모드의 방향에 의해 가리켜지는 참조 샘플의 위치가 정수 위치가 아닌 경우, 참조 샘플의 위치에 가장 가까운 2개의 참조 샘플들에 기반하여 보간된(interpolated) 참조 샘플이 생성될 수 있다. 보간된 참조 샘플의 값이 예측 블록의 픽셀의 픽셀 값을 결정하기 위해 사용될 수 있다. 말하자면, 예측 블록의 픽셀의 위치 및 인트라 예측 모드의 방향에 의해 가리켜지는 참조 샘플의 위치가 2개의 참조 샘플들 간의 사이를 나타낼 때, 상기의 2개의 샘플들의 값들에 기반하여 보간된 값이 생성될 수 있다.If the position of the pixel and the position of the reference sample pointed by the direction of the intra prediction mode is not an integer position then an interpolated reference sample may be generated based on the two reference samples closest to the location of the reference sample have. The value of the interpolated reference sample may be used to determine the pixel value of the pixel of the prediction block. That is, when the position of the pixel of the prediction block and the position of the reference sample pointed by the direction of the intra prediction mode indicate between the two reference samples, an interpolated value is generated based on the values of the two samples .
예측에 의해 생성된 예측 블록은 원래의 대상 블록과는 동일하지 않을 수 있다. 말하자면, 대상 블록 및 예측 블록 간의 차이(difference)인 예측 오차(prediction error)가 존재할 수 있으며, 대상 블록의 픽셀 및 예측 블록의 픽셀 간에도 예측 오차가 존재할 수 있다.The prediction block generated by the prediction may not be the same as the original target block. That is, there may be a prediction error which is a difference between the target block and the prediction block, and a prediction error may exist between the pixels of the target block and the pixels of the prediction block.
이하에서, 용어들 "차이(difference)", "오차(error)" 및 "잔차(residual)"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.In the following, the terms "difference", "error" and "residual" may be used interchangeably and may be used interchangeably.
예를 들면, 방향성 인트라 예측의 경우, 예측 블록의 픽셀 및 참조 샘플 간의 거리가 더 멀수록 더 큰 예측 오차가 발생할 수 있다. 이러한 예측 오차에 등 의해 생성된 예측 블록 및 주변 블록 간에는 불연속성이 발생할 수 있다.For example, in the case of directional intra prediction, the greater the distance between the pixel of the prediction block and the reference sample, the larger the prediction error may occur. Discontinuity may occur between the prediction block generated by the prediction error and the neighboring blocks.
예측 오차의 감소를 위해 예측 블록에 대한 필터링이 사용될 수 있다. 필터링은 예측 블록 중 큰 예측 오차를 갖는 것으로 간주되는 영역에 대해 적응적으로 필터를 적용하는 것일 수 있다. 예를 들면, 큰 예측 오차를 갖는 것으로 간주되는 영역은 예측 블록의 경계일 수 있다. 또한, 인트라 예측 모드에 따라서 예측 블록 중 큰 예측 오차를 갖는 것으로 간주되는 영역이 다를 수 있으며, 필터의 특징이 다를 수 있다.Filtering for the prediction block may be used to reduce the prediction error. The filtering may be adaptively applying a filter to an area of the prediction block that is considered to have a large prediction error. For example, the region considered as having a large prediction error may be the boundary of the prediction block. In addition, depending on the intra-prediction mode, an area regarded as having a large prediction error among the prediction blocks may be different, and the characteristics of the filter may be different.
도 9는 인터 예측 과정의 실시예를 설명하기 위한 도면이다.9 is a diagram for explaining an embodiment of the inter prediction process.
도 9에서 도시된 사각형은 영상(또는, 픽처)를 나타낼 수 있다. 또한, 도 9에서 화살표는 예측 방향을 나타낼 수 있다. 즉, 영상은 예측 방향에 따라 부호화 및/또는 복호화될 수 있다.The rectangle shown in FIG. 9 may represent an image (or a picture). In Fig. 9, arrows may indicate the prediction direction. That is, the image can be encoded and / or decoded according to the prediction direction.
각 영상은 부호화 타입에 따라 I 픽처(Intra Picture), P 픽처(Uni-prediction Picture) 및 B 픽처(Bi-prediction Picture)로 분류될 수 있다. 각 픽처는 각 픽처의 부호화 타입에 따라 부호화 및/또는 복호화될 수 있다.Each image can be classified into an I picture (Intra Picture), a P picture (Uni-prediction Picture), and a B picture (Bi-prediction Picture) according to the coding type. Each picture can be coded and / or decoded according to the coding type of each picture.
부호화의 대상인 대상 영상이 I 픽처인 경우, 대상 영상은 다른 영상을 참조하는 인터 예측 없이 영상 자체 내의 데이터를 사용하여 부호화될 수 있다. 예를 들면, I 픽처는 인트라 예측으로만 부호화될 수 있다.If the object image to be encoded is an I-picture, the object image can be encoded using data in the image itself without inter-prediction referring to other images. For example, an I-picture can be encoded only by intra prediction.
대상 영상이 P 픽처인 경우, 대상 영상은 단방향에 존재하는 참조 픽처만을 이용하는 인터 예측을 통해 부호화될 수 있다. 여기에서, 단방향은 순방향 또는 역방향일 수 있다.When the target image is a P picture, the target image can be encoded by inter prediction using only reference pictures existing in a unidirection. Here, the unidirectional may be forward or reverse.
대상 영상이 B 픽처인 경우, 대상 영상은 양방향에 존재하는 참조 픽처들을 이용하는 인터 예측 또는 순방향 및 역방향 중 일 방향에 존재하는 참조 픽처를 이용하는 인터 예측을 통해 부호화될 수 있다. 여기에서, 양방향은 순방향 및 역방향일 수 있다.When the target image is a B picture, the target image can be encoded by inter prediction using bi-directional reference pictures or inter prediction using reference pictures existing in one direction of forward and backward directions. Here, both directions may be forward and backward.
참조 픽처를 이용하여 부호화 및/또는 복호화되는 P 픽처 및 B 픽처는 인터 예측이 사용되는 영상으로 간주될 수 있다.P-pictures and B-pictures that are encoded and / or decoded using reference pictures can be regarded as pictures in which inter-prediction is used.
아래에서, 실시예에 따른 인터 모드에서의 인터 예측에 대해 구체적으로 설명된다.In the following, inter prediction in the inter mode according to the embodiment will be described in detail.
인터 예측은 움직임 정보를 이용하여 수행될 수 있다.Inter prediction can be performed using motion information.
인터 모드에서, 부호화 장치(100)는 대상 블록에 대한 인터 예측 및/또는 움직임 보상을 수행할 수 있다. 복호화 장치(200)는 대상 블록에 대하여 부호화 장치(100)에서의 인터 예측 및/또는 움직임 보상에 대응하는 인터 예측 및/또는 움직임 보상을 수행할 수 있다.In inter mode, the encoding apparatus 100 can perform inter prediction and / or motion compensation on a target block. The decoding apparatus 200 may perform inter-prediction and / or motion compensation corresponding to inter-prediction and / or motion compensation in the encoding apparatus 100 with respect to a target block.
대상 블록에 대한 움직임 정보는 부호화 장치(100) 및 복호화 장치(200)의 각각에 의해 인터 예측 중 도출될 수 있다. 움직임 정보는 복원된 주변 블록의 움직임 정보, 콜 블록의 움직임 정보 및/또는 콜 블록에 인접한 블록의 움직임 정보를 이용하여 도출될 수 있다.The motion information for the target block can be derived during inter-prediction by the encoding apparatus 100 and the decoding apparatus 200, respectively. The motion information may be derived using motion information of the restored neighboring block, motion information of the call block, and / or motion information of a block adjacent to the call block.
예를 들면, 부호화 장치(100) 또는 복호화 장치(200)는 공간적 후보(spatial candidate) 및/또는 시간적 후보(temporal candidate)의 움직임 정보를 대상 블록의 움직임 정보로 사용함으로써 예측 및/또는 움직임 보상을 수행할 수 있다. 대상 블록은 PU 및/또는 PU 파티션을 의미할 수 있다.For example, the coding apparatus 100 or the decoding apparatus 200 may perform prediction and / or motion compensation by using motion information of a spatial candidate and / or a temporal candidate as motion information of a target block Can be performed. The target block may refer to a PU and / or PU partition.
공간적 후보는 대상 블록에 공간적으로 인접한 재구축된 블록일 수 있다.The spatial candidate may be a reconstructed block spatially adjacent to the target block.
시간적 후보는 이미 재구축된 콜 픽처(collocated picture; col picture) 내의 대상 블록에 대응하는 재구축된 블록일 수 있다.The temporal candidate may be a reconstructed block corresponding to a target block in a collocated picture (col picture) that has already been reconstructed.
인터 예측에 있어서, 부호화 장치(100) 및 복호화 장치(200)는 공간적 후보 및/또는 시간적 후보의 움직임 정보를 이용함으로써 부호화 효율 및 복호화 효율을 향상시킬 수 있다. 공간적 후보의 움직임 정보는 공간적 움직임 정보로 칭해질 수 있다. 시간적 후보의 움직임 정보는 시간적 움직임 정보로 칭해질 수 있다.In the inter prediction, the coding apparatus 100 and the decoding apparatus 200 can improve coding efficiency and decoding efficiency by using motion information of spatial candidates and / or temporal candidates. The motion information of the spatial candidate may be referred to as spatial motion information. The temporal candidate motion information may be referred to as temporal motion information.
이하에서, 공간적 후보의 움직임 정보는, 공간적 후보를 포함하는 PU의 움직임 정보일 수 있다. 시간적 후보의 움직임 정보는, 시간적 후보를 포함하는 PU의 움직임 정보일 수 있다. 후보 블록의 움직임 정보는, 후보 블록을 포함하는 PU의 움직임 정보일 수 있다.Hereinafter, the motion information of the spatial candidate may be the motion information of the PU including the spatial candidate. The motion information of the temporal candidate may be the motion information of the PU including the temporal candidate. The motion information of the candidate block may be the motion information of the PU including the candidate block.
인터 예측은 참조 픽처를 이용하여 수행될 수 있다.Inter prediction can be performed using a reference picture.
참조 픽처(reference picture)는 대상 픽처의 이전 픽처 또는 대상 픽처의 이후 픽처 중 적어도 하나일 수 있다. 참조 픽처는 대상 블록의 예측에 이용되는 영상을 의미할 수 있다.The reference picture may be at least one of a previous picture of a target picture or a subsequent picture of a target picture. The reference picture may refer to an image used for prediction of a target block.
인터 예측에 있어서, 참조 픽처를 지시하는 참조 픽처 인덱스(또는, refIdx) 및 후술될 움직임 벡터(motion vector) 등을 이용함으로써 참조 픽처 내의 영역이 특정될 수 있다. 여기에서, 참조 픽처 내의 특정된 영역은 참조 블록을 나타낼 수 있다.In inter prediction, an area in a reference picture can be specified by using a reference picture index (or refIdx) indicating a reference picture and a motion vector or the like to be described later. Here, the specified area in the reference picture may indicate a reference block.
인터 예측은 참조 픽처를 선택할 수 있고, 참조 픽처 내에서 대상 블록에 대응하는 참조 블록을 선택할 수 있다. 또한, 인터 예측은 선택된 참조 블록을 사용하여 대상 블록에 대한 예측 블록을 생성할 수 있다.Inter prediction can select a reference picture and can select a reference block corresponding to a target block in a reference picture. In addition, the inter prediction can generate a prediction block for a target block using the selected reference block.
움직임 정보는 부호화 장치(100) 및 복호화 장치(200)의 각각에 의해 인터 예측 중 도출될 수 있다.The motion information may be derived during inter-prediction by the encoding apparatus 100 and the decoding apparatus 200, respectively.
공간적 후보는, 1) 대상 픽처 내의 존재하며, 2) 이미 부호화 및/또는 복호화를 통해 재구축되었고, 3) 대상 블록에 인접하거나, 대상 블록의 코너에 위치한 블록일 수 있다. 여기에서, 대상 블록의 코너에 위치한 블록이란, 대상 블록에 가로로 인접한 이웃 블록에 세로로 인접한 블록 또는 대상 블록에 세로로 인접한 이웃 블록에 가로로 인접한 블록일 수 있다. "대상 블록의 코너에 위치한 블록"은 "대상 블록의 코너에 인접한 블록"과 동일한 의미일 수 있다. "대상 블록의 코너에 위치한 블록"은 "대상 블록에 인접한 블록"에 포함될 수 있다.The spatial candidate may be 1) existing in the target picture, 2) already reconstructed through encoding and / or decoding, and 3) adjacent to the target block or a block located at the corner of the target block. Here, a block located at a corner of a target block may be a block vertically adjacent to a neighboring block that is laterally adjacent to the target block, or a block that is laterally adjacent to a neighboring block vertically adjacent to the target block. The "block located at the corner of the target block" may have the same meaning as "the block adjacent to the corner of the target block ". The "block located at the corner of the target block" may be included in the "block adjacent to the target block ".
예를 들면, 공간적 후보는 대상 블록의 좌측에 위치한 재구축된 블록, 대상 블록의 상단에 위치한 재구축된 블록, 대상 블록의 좌측 하단 코너에 위치한 재구축된 블록, 대상 블록의 우측 상단 코너에 위치한 재구축된 블록 또는 대상 블록의 좌측 상단 코너에 위치한 재구축된 블록일 수 있다.For example, the spatial candidate may be a reconstructed block located on the left side of the target block, a reconstructed block located on the top of the target block, a reconstructed block located in the lower left corner of the target block, The reconstructed block or the reconstructed block located in the upper left corner of the target block.
부호화 장치(100) 및 복호화 장치(200)의 각각은 콜(col) 픽처 내에서 대상 블록에 공간적으로 대응하는 위치에 존재하는 블록을 식별할 수 있다. 대상 픽처 내의 대상 블록의 위치 및 콜 픽처 내의 식별된 블록의 위치는 서로 대응할 수 있다.Each of the encoding apparatus 100 and the decoding apparatus 200 can identify a block existing in a position spatially corresponding to a target block in a col picture. The position of the target block in the target picture and the position of the identified block in the call picture can correspond to each other.
부호화 장치(100) 및 복호화 장치(200)의 각각은 식별된 블록에 대하여 기정의된 상대적인 위치에 존재하는 콜(col) 블록을 시간적 후보로서 결정할 수 있다. 기정의된 상대적인 위치는 식별된 블록의 내부의 위치 및/또는 외부의 위치일 수 있다.Each of the encoding apparatus 100 and the decoding apparatus 200 can determine a col block existing at a predetermined relative position with respect to the identified block as a temporal candidate. The predetermined relative position may be a position inside the identified block and / or an outside position.
예를 들면, 콜 블록은 제1 콜 블록 및 제2 콜 블록을 포함할 수 있다. 식별된 블록의 좌표들이 (xP, yP)이고, 식별된 블록의 크기가 (nPSW, nPSH)일 때, 제1 콜 블록은 좌표들 (xP + nPSW, yP + nPSH)에 위치한 블록일 수 있다. 제2 콜 블록은 좌표들 (xP + (nPSW >> 1), yP + (nPSH >> 1))에 위치한 블록일 수 있다. 제2 콜 블록은 제1 콜 블록이 가용하지 않을(unavailable) 경우 선택적으로 사용될 수 있다.For example, the call block may include a first call block and a second call block. When the coordinates of the identified block are (xP, yP) and the size of the identified block is (nPSW, nPSH), the first call block may be a block located in the coordinates (xP + nPSW, yP + nPSH). The second call block may be a block located in the coordinates (xP + (nPSW >> 1), yP + (nPSH >> 1). The second call block may optionally be used when the first call block is unavailable.
대상 블록의 움직임 벡터는 콜 블록의 움직임 벡터에 기반하여 결정될 수 있다. 부호화 장치(100) 및 복호화 장치(200)의 각각은 콜 블록의 움직임 벡터를 스케일(scale)할 수 있다. 콜 블록의 스케일된(scale) 움직임 벡터가 대상 블록의 움직임 벡터로서 이용될 수 있다. 또한, 리스트에 저장되는 시간적 후보의 움직임 정보의 움직임 벡터는 스케일된 움직임 벡터일 수 있다.The motion vector of the target block may be determined based on the motion vector of the call block. Each of the encoding apparatus 100 and the decoding apparatus 200 can scale a motion vector of a call block. A scaled motion vector of the call block can be used as a motion vector of the target block. In addition, the motion vector of the temporal candidate motion information stored in the list may be a scaled motion vector.
대상 블록의 움직임 벡터 및 콜 블록의 움직임 벡터의 비율(ratio)은 제1 거리 및 제2 거리의 비율과 같을 수 있다. 제1 거리는 대상 블록의 참조 픽처 및 대상 픽처 간의 거리일 수 있다. 제2 거리는 콜 블록의 참조 픽처 및 콜 픽처 간의 거리일 수 있다.The ratio of the motion vector of the target block and the motion vector of the call block may be the same as the ratio of the first distance and the second distance. The first distance may be a distance between a reference picture and a target picture of a target block. The second distance may be the distance between the reference picture of the call block and the call picture.
움직임 정보의 도출 방식은 대상 블록의 인터 예측 모드에 따라 변할 수 있다. 예를 들면, 인터 예측을 위해 적용되는 인터 예측 모드로서, 향상된 움직임 벡터 예측자(Advanced Motion Vector Predictor; AMVP) 모드, 머지(merge) 모드 및 스킵(skip) 모드 및 현재 픽처 참조 모드 등이 있을 수 있다. 머지 모드는 움직임 머지 모드(motion merge mode)로 칭해질 수도 있다. 아래에서는, 모드들의 각각에 대해서 상세하게 설명된다.The derivation method of the motion information can be changed according to the inter prediction mode of the target block. For example, there may be an inter-prediction mode applied for inter prediction, such as an Advanced Motion Vector Predictor (AMVP) mode, a merge mode and a skip mode, and a current picture reference mode have. The merge mode may also be referred to as a motion merge mode. Each of the modes will be described in detail below.
1) AMVP 모드1) AMVP mode
AMVP 모드가 사용되는 경우, 부호화 장치(100)는 대상 블록의 주변에서 유사한 블록을 검색할 수 있다. 부호화 장치(100)는 검색된 유사한 블록의 움직임 정보를 이용하여 대상 블록에 대한 예측을 수행함으로써 예측 블록을 획득할 수 있다. 부호화 장치(100)는 대상 블록 및 예측 블록 간의 차이인 잔차 블록을 부호화할 수 있다.When the AMVP mode is used, the encoding apparatus 100 can search for similar blocks in the vicinity of the target block. The encoding apparatus 100 can obtain a prediction block by performing prediction on a target block using motion information of a similar similar block. The encoding apparatus 100 may encode a residual block which is a difference between the target block and the prediction block.
1-1) 예측 움직임 벡터 후보 리스트의 작성1-1) Creation of Predicted Motion Vector Candidate List
예측 모드로서 AMVP 모드가 사용되는 경우, 부호화 장치(100) 및 복호화 장치(200)의 각각은 공간적 후보의 움직임 벡터, 시간적 후보의 움직임 벡터 및 제로 벡터를 이용하여 예측 움직임 벡터 후보 리스트를 생성할 수 있다. 예측 움직임 벡터 후보 리스트는 하나 이상의 예측 움직임 벡터 후보들을 포함할 수 있다. 공간적 후보의 움직임 벡터, 시간적 후보의 움직임 벡터 및 제로 벡터 중 적어도 하나가 예측 움직임 벡터 후보로서 결정 및 사용될 수 있다. When the AMVP mode is used as the prediction mode, each of the encoding apparatus 100 and the decoding apparatus 200 can generate a predicted motion vector candidate list using a spatial candidate motion vector, a temporal motion motion vector, and a zero vector have. The predicted motion vector candidate list may include one or more predicted motion vector candidates. At least one of a spatial candidate motion vector, a temporal candidate motion vector, and a zero vector may be determined and used as a predicted motion vector candidate.
이하에서, 용어들 "예측 움직임 벡터 (후보)" 및 "움직임 벡터 (후보)"는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. Hereinafter, the terms "predicted motion vector (candidate)" and "motion vector (candidate)" may be used interchangeably and may be used interchangeably.
이하에서, 용어들 "예측 움직임 벡터 후보" 및 "AMVP 후보"는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.Hereinafter, the terms "predicted motion vector candidate" and "AMVP candidate" can be used interchangeably and can be used interchangeably.
이하에서, 용어들 "예측 움직임 벡터 후보 리스트" 및 "AMVP 후보 리스트"는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.Hereinafter, the terms "predicted motion vector candidate list" and "AMVP candidate list" may be used interchangeably and may be used interchangeably.
공간적 후보는 복원된 공간적 주변 블록을 포함할 수 있다. 말하자면, 복원된 주변 블록의 움직임 벡터는 공간적 예측 움직임 벡터 후보(spatial prediction motion vector candidate)라 칭해질 수 있다.Spatial candidates may include reconstructed spatial neighboring blocks. In other words, the motion vector of the reconstructed neighboring block may be referred to as a spatial prediction motion vector candidate.
시간적 후보는 콜 블록 및 콜 블록에 인접한 블록을 포함할 수 있다. 말하자면, 콜 블록의 움직임 벡터 또는 콜 블록에 인접한 블록의 움직임 벡터는 시간적 예측 움직임 벡터 후보(temporal prediction motion vector candidate)로 칭해질 수 있다.The temporal candidate may include a call block and a block adjacent to the call block. In other words, a motion vector of a call block or a block adjacent to a call block may be referred to as a temporal prediction motion vector candidate.
제로 벡터는 (0, 0) 움직임 벡터일 수 있다.The zero vector may be a (0, 0) motion vector.
예측 움직임 벡터 후보는 움직임 벡터의 예측을 위한 움직임 벡터 예측자(motion vector predictor)일 수 있다. 또한, 부호화 장치(100)에 있어서 예측 움직임 벡터 후보는 움직임 벡터 초기 검색 위치일 수 있다.The predicted motion vector candidate may be a motion vector predictor for predicting the motion vector. Also, in the encoding apparatus 100, the predicted motion vector candidate may be a motion vector initial search position.
1-2) 예측 움직임 벡터 후보 리스트를 사용하는 움직임 벡터의 검색1-2) Retrieving a motion vector using a predicted motion vector candidate list
부호화 장치(100)는 예측 움직임 벡터 후보 리스트를 사용하여 검색 범위 내에서 대상 블록의 부호화를 위해 사용될 움직임 벡터를 결정할 수 있다. 또한, 부호화 장치(100)는 예측 움직임 벡터 후보 리스트의 예측 움직임 벡터 후보들 중 대상 블록의 예측 움직임 벡터로 사용할 예측 움직임 벡터 후보를 결정할 수 있다.The encoding apparatus 100 may use the predicted motion vector candidate list to determine a motion vector to be used for encoding the target block within the search range. Also, the encoding apparatus 100 can determine a predicted motion vector candidate to be used as a predicted motion vector of a target block among predicted motion vector candidates of the predicted motion vector candidate list.
대상 블록의 부호화를 위해 사용될 움직임 벡터는 최소의 비용으로 부호화될 수 있는 움직임 벡터일 수 있다.A motion vector to be used for coding a target block may be a motion vector that can be encoded at a minimum cost.
또한, 부호화 장치(100)는 대상 블록의 부호화에 있어서 AMVP 모드를 사용할지 여부를 결정할 수 있다.Also, the encoding apparatus 100 can determine whether to use the AMVP mode in encoding the target block.
1-3) 인터 예측 정보의 전송1-3) Transmission of inter prediction information
부호화 장치(100)는 인터 예측을 위해 요구되는 인터 예측 정보를 포함하는 비트스트림을 생성할 수 있다. 복호화 장치(200)는 비트스트림의 인터 예측 정보를 사용하여 대상 블록에 대한 인터 예측을 수행할 수 있다.The encoding apparatus 100 can generate a bitstream including inter prediction information required for inter prediction. The decoding apparatus 200 may perform inter prediction on a target block using inter prediction information of a bit stream.
인터 예측 정보는, 1) AMVP 모드를 사용하는지 여부를 나타내는 모드 정보, 2) 예측 움직임 벡터 인덱스, 3) 움직임 벡터 차분(MVD: Motion Vector Difference), 4) 참조 방향 및 5) 참조 픽처 인덱스를 포함할 수 있다.The inter prediction information includes 1) mode information indicating whether the AMVP mode is used, 2) a predicted motion vector index, 3) a motion vector difference (MVD), 4) a reference direction, and 5) can do.
이하에서, 용어들 "예측 움직임 벡터 인덱스" 및 "AMVP 인덱스"는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.Hereinafter, the terms "predicted motion vector index" and "AMVP index" may be used interchangeably and may be used interchangeably.
또한, 인터 예측 정보는 잔차 신호를 포함할 수 있다.Further, the inter prediction information may include a residual signal.
복호화 장치(200)는 모드 정보가 AMVP 모드를 사용하는 것을 나타낼 경우 엔트로피 복호화를 통해 예측 움직임 벡터 인덱스, 움직임 벡터 차분, 참조 방향 및 참조 픽처 인덱스를 비트스트림으로부터 획득할 수 있다.When the mode information indicates that the AMVP mode is used, the decoding apparatus 200 can obtain the predicted motion vector index, the motion vector difference, the reference direction, and the reference picture index from the bitstream through entropy decoding.
예측 움직임 벡터 인덱스는 예측 움직임 벡터 후보 리스트에 포함된 예측 움직임 벡터 후보들 중에서 대상 블록의 예측을 위해 사용되는 예측 움직임 벡터 후보를 가리킬 수 있다.The predicted motion vector index may indicate a predicted motion vector candidate used for predicting a target block among the predicted motion vector candidates included in the predicted motion vector candidate list.
1-4) 인터 예측 정보를 사용하는 AMVP 모드의 인터 예측1-4) Inter prediction of AMVP mode using inter prediction information
복호화 장치(200)는 예측 움직임 벡터 후보 리스트를 이용하여 예측 움직임 벡터 후보를 유도할 수 있고, 유도된 예측 움직임 벡터 후보에 기반하여 대상 블록의 움직임 정보를 결정할 수 있다.The decoding apparatus 200 can derive a predicted motion vector candidate using the predicted motion vector candidate list and determine the motion information of the target block based on the derived predicted motion vector candidate.
복호화 장치(200)는 예측 움직임 벡터 인덱스를 사용하여 예측 움직임 벡터 후보 리스트에 포함된 예측 움직임 벡터 후보 중에서 대상 블록에 대한 움직임 벡터 후보를 결정할 수 있다. 복호화 장치(200)는 예측 움직임 벡터 후보 리스트에 포함된 예측 움직임 벡터 후보들 중에서 예측 움직임 벡터 인덱스가 가리키는 예측 움직임 벡터 후보를 대상 블록의 예측 움직임 벡터로서 선택할 수 있다.The decoding apparatus 200 can determine a motion vector candidate for a target block from among the predicted motion vector candidates included in the predicted motion vector candidate list using the predicted motion vector index. The decoding apparatus 200 can select a predicted motion vector candidate pointed to by the predicted motion vector index among the predicted motion vector candidates included in the predicted motion vector candidate list as a predicted motion vector of the target block.
대상 블록의 인터 예측을 위해 실제로 사용될 움직임 벡터는 예측 움직임 벡터와 일치하지 않을 수 있다. 대상 블록의 인터 예측을 위해 실제로 사용될 움직임 벡터는 및 예측 움직임 벡터 간의 차분을 나타내기 위해 MVD가 사용될 수 있다. 부호화 장치(100)는 가능한 작은 크기의 MVD를 사용하기 위해 대상 블록의 인터 예측을 위해 실제로 사용될 움직임 벡터와 유사한 예측 움직임 벡터를 도출할 수 있다.The motion vector to be actually used for inter prediction of the target block may not coincide with the predicted motion vector. The MVD may be used to represent the difference between the motion vector to be actually used for inter prediction of the target block and the predicted motion vector. The encoding apparatus 100 can derive a predictive motion vector similar to a motion vector to be actually used for inter prediction of a target block in order to use an MVD as small as possible.
MVD는 대상 블록의 움직임 벡터 및 예측 움직임 벡터 간의 차분일 수 있다. 부호화 장치(100)는 MVD를 계산할 수 있고, MVD를 엔트로피 부호화할 수 있다.The MVD may be a difference between a motion vector of a target block and a predicted motion vector. The encoding apparatus 100 can calculate the MVD and entropy-encode the MVD.
MVD는 비트스트림을 통해 부호화 장치(100)로부터 복호화 장치(200)로 전송될 수 있다. 복호화 장치(200)는 수신된 MVD를 복호화할 수 있다. 복호화 장치(200)는 복호화된 MVD 및 예측 움직임 벡터를 합함으로써 대상 블록의 움직임 벡터를 유도(derive)할 수 있다. 말하자면, 복호화 장치(200)에서 도출되는 대상 블록의 움직임 벡터는 엔트로피 복호화된 MVD 및 움직임 벡터 후보의 합일 수 있다.The MVD may be transmitted from the encoding apparatus 100 to the decoding apparatus 200 through a bitstream. The decoding apparatus 200 can decode the received MVD. The decoding apparatus 200 can derive a motion vector of a target block by adding the decoded MVD and the predicted motion vector. In other words, the motion vector of the target block derived from the decoding apparatus 200 may be the sum of the entropy-decoded MVD and the motion vector candidate.
참조 방향은 대상 블록의 예측을 위해 사용되는 참조 픽처 리스트를 가리킬 수 있다. 예를 들면, 참조 방향은 참조 픽처 리스트 L0 및 참조 픽처 리스트 L1 중 하나를 가리킬 수 있다.The reference direction may indicate a reference picture list used for predicting a target block. For example, the reference direction may indicate one of the reference picture list L0 and the reference picture list L1.
참조 방향은 대상 블록의 예측을 위해 사용되는 참조 픽처 리스트를 가리킬 뿐, 참조 픽처들의 방향들이 순방향(forward direction) 또는 역방향(backward direction)으로 제한된다는 것을 나타내는 것을 아닐 수 있다. 말하자면, 참조 픽처 리스트 L0 및 참조 픽처 리스트 L1의 각각은 순방향 및/또는 역방향의 픽처들을 포함할 수 있다.The reference direction may refer to a reference picture list used for prediction of a target block, but may not indicate that the directions of the reference pictures are limited in a forward direction or a backward direction. That is to say, each of the reference picture list L0 and the reference picture list L1 may include forward and / or backward pictures.
참조 방향이 단방향(uni-direction)이란 것은 하나의 참조 픽처 리스트가 사용된다는 것을 의미할 수 있다. 참조 방향이 양방향(bi-direction)이란 것은 2 개의 참조 픽처 리스트들이 사용된다는 것을 의미할 수 있다. 말하자면, 참조 방향은, 참조 픽처 리스트 L0만이 사용된다는 것, 참조 픽처 리스트 L1만이 사용된다는 것 및 2 개의 참조 픽처 리스트들 것 중 하나를 가리킬 수 있다.The reference direction being uni-directional may mean that one reference picture list is used. The bi-directional reference direction may mean that two reference picture lists are used. That is to say, the reference direction may indicate that only the reference picture list L0 is used, only the reference picture list L1 is used, and one of the two reference picture lists.
참조 픽처 인덱스는 참조 픽처 리스트의 참조 픽처들 중 대상 블록의 예측을 위해 사용되는 참조 픽처를 가리킬 수 있다. 참조 픽처 인덱스는 부호화 장치(100)에 의해 엔트로피 부호화될 수 있다. 엔트로피 부호화된 참조 픽처 인덱스는 비트스트림을 통해 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수 있다.The reference picture index may indicate a reference picture used for prediction of a target block among reference pictures of the reference picture list. The reference picture index can be entropy-encoded by the encoding apparatus 100. [ The entropy encoded reference picture index may be signaled from the encoding apparatus 100 to the decoding apparatus 200 through the bit stream.
대상 블록의 예측을 위해 2 개의 참조 픽처 리스트가 사용될 경우. 각 참조 픽처 리스트에 대해 하나의 참조 픽처 인덱스 및 하나의 움직임 벡터가 사용될 수 있다. 또한, 대상 블록의 예측을 위해 2 개의 참조 픽처 리스트가 사용될 경우, 대상 블록에 대해 2 개의 예측 블록들이 특정될 수 있다. 예를 들면, 대상 블록에 대한 2 개의 예측 블록들의 평균 또는 가중치가 부여된 합(weighed-sum)을 통해 대상 블록의 (최종적인) 예측 블록이 생성될 수 있다.When two reference picture lists are used for prediction of a target block. One reference picture index and one motion vector may be used for each reference picture list. In addition, when two reference picture lists are used for predicting a target block, two prediction blocks can be specified for a target block. For example, a (final) prediction block of a target block may be generated through an average or a weighted sum of two prediction blocks for a target block.
예측 움직임 벡터 인덱스, MVD, 참조 방향 및 참조 픽처 인덱스에 의해 대상 블록의 움직임 벡터가 유도될 수 있다.The motion vector of the target block can be derived by the predicted motion vector index, the MVD, the reference direction, and the reference picture index.
복호화 장치(200)는 유도된 움직임 벡터 및 참조 픽처 인덱스에 기반하여 대상 블록에 대한 예측 블록을 생성할 수 있다. 예를 들면, 예측 블록은 참조 픽처 인덱스가 가리키는 참조 픽처 내의 유도된 움직임 벡터가 가리키는 참조 블록일 수 있다.The decoding apparatus 200 may generate a prediction block for a target block based on the derived motion vector and the reference picture index. For example, the prediction block may be a reference block pointed to by the derived motion vector in the reference picture pointed to by the reference picture index.
대상 블록의 움직임 벡터 자체를 부호화하지 않고, 예측 움직임 벡터 인덱스 및 MVD를 부호화함에 따라 부호화 장치(100)로부터 복호화 장치(200)로 전송되는 비트량이 감소될 수 있고, 부호화 효율이 향상될 수 있다.The amount of bits to be transmitted from the encoding apparatus 100 to the decoding apparatus 200 can be reduced by encoding the predicted motion vector index and the MVD without encoding the motion vector of the target block and the encoding efficiency can be improved.
대상 블록에 대해서 재구축된 주변 블록의 움직임 정보가 사용될 수 있다. 특정한 인터 예측 모드에서는, 부호화 장치(100)가 대상 블록에 대한 움직임 정보 자체는 별도로 부호화하지 않을 수도 있다. 대상 블록의 움직임 정보가 부호화되지 않고, 재구축된 주변 블록의 움직임 정보를 통해 대상 블록의 움직임 정보를 유도할 수 있는 다른 정보가 대신 부호화될 수 있다. 다른 정보가 대신 부호화됨에 따라, 복호화 장치(200)로 전송되는 비트량이 감소될 수 있고, 부호화 효율이 향상될 수 있다.Motion information of the reconstructed neighboring blocks may be used for the target block. In the specific inter prediction mode, the encoding apparatus 100 may not separately encode the motion information on the target block. The motion information of the target block is not coded and other information capable of deriving the motion information of the target block through motion information of the reconstructed neighboring block can be encoded instead. As other information is encoded in place, the amount of bits to be transmitted to the decoding apparatus 200 can be reduced, and the coding efficiency can be improved.
예를 들면, 이러한 대상 블록의 움직임 정보가 직접적으로 부호화되지 않는 인터 예측 모드로서, 스킵 모드(skip mode) 및/또는 머지 모드(merge mode) 등이 있을 수 있다. 이때, 부호화 장치(100) 및 복호화 장치(200)는 재구축된 주변 유닛들 중 어떤 유닛의 움직임 정보가 대상 유닛의 움직임 정보로서 사용되는지를 지시하는 식별자 및/또는 인덱스를 사용할 수 있다.For example, a skip mode and / or a merge mode may be an inter prediction mode in which motion information of the target block is not directly encoded. At this time, the encoding apparatus 100 and the decoding apparatus 200 may use an identifier and / or index indicating which one of the reconstructed neighboring units is used as motion information of the target unit.
2) 머지 모드2) Mersey mode
대상 블록의 움직임 정보를 도출하는 방식으로서, 머지(merge)가 있다. 머지는 복수의 블록들에 대한 움직임들의 병합을 의미할 수 있다. 머지는 하나의 블록의 움직임 정보를 다른 블록에도 함께 적용시키는 것을 의미할 수 있다. 말하자면, 머지 모드는 대상 블록의 움직임 정보가 주변 블록의 움직임 정보로부터 유도되는 모드를 의미할 수 있다.As a method for deriving motion information of a target block, there is a merge. A merge may mean a merging of movements for a plurality of blocks. Merging may mean applying motion information of one block to another block as well. In other words, the merge mode may mean a mode in which motion information of a target block is derived from motion information of a neighboring block.
머지 모드가 사용되는 경우, 부호화 장치(100)는 공간적 후보의 움직임 정보 및/또는 시간적 후보의 움직임 정보를 이용하여 대상 블록의 움직임 정보에 대한 예측을 수행할 수 있다. 공간적 후보는 대상 블록에 공간적으로 인접한 복원된 공간적 주변 블록을 포함할 수 있다. 공간적 주변 블록은 좌측 인접 블록 및 상단 인접 블록을 포함할 수 있다. 시간적 후보는 콜 블록을 포함할 수 있다. 용어들 "공간적 후보" 및 "공간적 머지 후보"는 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다. 용어들 "시간적 후보" 및 "시간적 머지 후보"은 동일한 의미로 사용될 수 있으며, 서로 교체되어 사용될 수 있다.When the merge mode is used, the encoding apparatus 100 can predict motion information of a target block using motion information of a spatial candidate and / or motion information of a temporal candidate. The spatial candidate may include reconstructed spatial neighboring blocks spatially adjacent to the object block. The spatial neighboring block may include a left adjacent block and an upper adjacent block. The temporal candidate may include a call block. The terms "spatial candidate" and "spatial merge candidate" can be used interchangeably and can be used interchangeably. The terms "temporal candidate" and "temporal merge candidate" can be used interchangeably and can be used interchangeably.
부호화 장치(100)는 예측을 통해 예측 블록을 획득할 수 있다. 부호화 장치(100)는 대상 블록 및 예측 블록의 차이인 잔차 블록을 부호화할 수 있다.The encoding apparatus 100 can obtain a prediction block through prediction. The encoding apparatus 100 can encode a residual block that is a difference between the target block and the prediction block.
2-1) 머지 후보 리스트(merge candidate list)의 작성2-1) Creating a merge candidate list
머지 모드가 사용되는 경우, 부호화 장치(100) 및 복호화 장치(200)의 각각은 공간적 후보의 움직임 정보 및/또는 시간적 후보의 움직임 정보를 이용하여 머지 후보 리스트를 생성할 수 있다. 움직임 정보는 1) 움직임 벡터, 2) 참조 픽처 인덱스, 및 3) 참조 방향을 포함할 수 있다. 참조 방향은 단방향 또는 양방향일 수 있다.When the merge mode is used, each of the encoding apparatus 100 and the decoding apparatus 200 can generate a merge candidate list using motion information of a spatial candidate and / or motion information of a temporal candidate. The motion information may include 1) a motion vector, 2) a reference picture index, and 3) a reference direction. The reference direction may be unidirectional or bidirectional.
머지 후보 리스트는 머지 후보들을 포함할 수 있다. 머지 후보는 움직임 정보일 수 있다. 말하자면, 머지 후보 리스트는 움직임 정보들이 저장된 리스트일 수 있다.The merge candidate list may include merge candidates. The merge candidate may be motion information. That is to say, the merge candidate list may be a list in which motion information is stored.
머지 후보들은 시간적 후보 및/또는 공간적 후보 등의 움직임 정보들일 수 있다. 또한, 머지 후보 리스트는 머지 후보 리스트에 이미 존재하는 머지 후보들의 조합에 의해 생성된 새로운 머지 후보를 포함할 수 있다. 말하자면, 머지 후보 리스트는 머지 후보 리스트에 이미 존재하는 움직임 정보들의 조합에 의해 생성된 새로운 움직임 정보를 포함할 수 있다.The merge candidates may be motion information such as temporal candidates and / or spatial candidates. In addition, the merge candidate list may include a new merge candidate generated by a combination of merge candidates already present in the merge candidate list. That is, the merge candidate list may include new motion information generated by a combination of motion information already present in the merge candidate list.
머지 후보들은 인터 예측 정보를 유도하는 특정된 모드들일 수 있다. 머지 후보는 인터 예측 정보를 유도하는 특정된 모드를 가리키는 정보일 수 있다. 머지 후보가 가리키는 특정된 모드에 따라 대상 블록의 인터 예측 정보가 유도될 수 있다. 이 때, 특정된 모드는 일련의 인터 예측 정보를 유도하는 과정을 포함할 수 있다. 이러한 특정된 모드는 인터 예측 정보 유도 모드 또는 움직임 정보 유도 모드일 수 있다.The merge candidates may be specified modes for deriving inter prediction information. The merge candidate may be information indicating a specified mode for deriving inter prediction information. The inter prediction information of the target block may be derived according to the specified mode indicated by the merge candidate. At this time, the specified mode may include a process of deriving a series of inter prediction information. This specified mode may be an inter prediction information induction mode or a motion information induction mode.
머지 후보 리스트 내의 머지 후보들 중 머지 인덱스에 의해 선택된 머지 후보가 가리키는 모드에 따라서 대상 블록의 인터 예측 정보가 유도될 수 있다.The inter prediction information of the target block may be derived according to the mode indicated by the merge candidate selected by the merge index among the merge candidates in the merge candidate list.
예를 들면, 머지 후보 리스트 내의 움직임 정보 유도 모드들은, 1) 서브 블록 단위의 움직임 정보 유도 모드 및 2) 어파인 움직임 정보 유도 모드 중 적어도 하나일 수 있다.For example, the motion information derivation modes in the merge candidate list may be at least one of 1) a motion information derivation mode in sub-block units, and 2) an affine motion information derivation mode.
또한, 머지 후보 리스트는 제로 벡터의 움직임 정보를 포함할 수 있다. 제로 벡터는 제로 머지 후보로 칭해질 수도 있다.Also, the merge candidate list may include motion information of a zero vector. Zero vectors may also be called zero-merge candidates.
말하자면, 머지 후보 리스트 내의 움직임 정보들은, 1) 공간적 후보의 움직임 정보, 2) 시간적 후보의 움직임 정보, 3) 이미 머지 후보 리스트에 존재하는 움직임 정보들의 조합에 의해 생성된 움직임 정보, 4) 제로 벡터 중 적어도 하나일 수 있다.In other words, the motion information in the merge candidate list includes: 1) motion information of a spatial candidate, 2) motion information of a temporal candidate, 3) motion information generated by a combination of motion information existing in an already existing candidate list, 4) Lt; / RTI >
움직임 정보는 1) 움직임 벡터, 2) 참조 픽처 인덱스 및 3) 참조 방향을 포함할 수 있다. 참조 방향은 인터 예측 지시자로 칭해질 수도 있다. 참조 방향은 단방향 또는 양방향일 수 있다. 단방향의 참조 방향은 L0 예측 또는 L1 예측을 나타낼 수 있다.The motion information may include 1) a motion vector, 2) a reference picture index, and 3) a reference direction. The reference direction may be referred to as an inter prediction indicator. The reference direction may be unidirectional or bidirectional. The unidirectional reference direction may represent L0 prediction or L1 prediction.
머지 후보 리스트는 머지 모드에 의한 예측이 수행되기 전에 생성될 수 있다.The merge candidate list can be generated before the prediction by merge mode is performed.
머지 후보 리스트의 머지 후보들의 개수는 기정의될 수 있다. 머지 후보 리스트가 기정의된 개수의 머지 후보들을 갖도록 부호화 장치(100) 및 복호화 장치(200)는 기정의된 방식 및 기정의된 순위에 따라서 머지 후보 리스트에 머지 후보를 추가할 수 있다. 기정의된 방식 및 기정의된 순위를 통해 부호화 장치(100)의 머지 후보 리스트 및 복호화 장치(200)의 머지 후보 리스트는 동일하게 될 수 있다. The number of merge candidates in the merge candidate list can be predetermined. The encoding apparatus 100 and the decrypting apparatus 200 may add a merge candidate to the merge candidate list according to the predefined manner and the predefined rank so that the merge candidate list has a predetermined number of merge candidates. The merge candidate list of the encoding apparatus 100 and the merge candidate list of the decryption apparatus 200 may be the same through the predetermined scheme and the default rank.
머지는 CU 단위 또는 PU 단위로 적용될 수 있다. CU 단위 또는 PU 단위로 머지가 수행되는 경우, 부호화 장치(100)는 기정의된 정보를 포함하는 비트스트림을 복호화 장치(200)로 전송할 수 있다. 예를 들면, 기정의된 정보는, 1) 블록 파티션(partition) 별로 머지를 수행할지 여부를 나타내는 정보, 2) 대상 블록에 대하여 공간적 후보 및/또는 시간적 후보인 블록들 중 어떤 블록과 머지를 할 것인가에 대한 정보를 포함할 수 있다.The merge can be applied in CU units or PU units. When the merging is performed in units of CU or PU, the encoding apparatus 100 may transmit the bitstream including the predetermined information to the decoding apparatus 200. [ For example, the predefined information may include: 1) information indicating whether to perform a merge by block partitions, 2) a block to be merged with any block among the blocks that are spatial candidates and / or temporal candidates for the target block And information about whether or not it is possible.
2-2) 머지 후보 리스트를 사용하는 움직임 벡터의 검색2-2) Search of motion vectors using merge candidate list
부호화 장치(100)는 대상 블록의 부호화를 위해 사용될 머지 후보를 결정할 수 있다. 예를 들면, 부호화 장치(100)는 머지 후보 리스트의 머지 후보들을 사용하여 대상 블록에 대한 예측들을 수행하고, 머지 후보들에 대한 잔차 블록들을 생성할 수 있다. 부호화 장치(100)는 예측과 잔차 블록의 부호화에 있어서 최소의 비용을 요구하는 머지 후보를 대상 블록의 부호화를 위해 사용할 수 있다.The encoding apparatus 100 can determine a merge candidate to be used for encoding the target block. For example, the encoding apparatus 100 may use the merge candidates of the merge candidate list to perform predictions on the target block, and generate residual blocks for the merge candidates. The encoding apparatus 100 can use a merge candidate that requires a minimum cost in prediction and encoding of the residual block for encoding the target block.
또한, 부호화 장치(100)는 대상 블록의 부호화에 있어서 머지 모드를 사용할지 여부를 결정할 수 있다.Further, the encoding apparatus 100 can determine whether to use the merge mode in encoding the target block.
2-3) 인터 예측 정보의 전송2-3) Transmission of inter prediction information
부호화 장치(100)는 인터 예측을 위해 요구되는 인터 예측 정보를 포함하는 비트스트림을 생성할 수 있다. 부호화 장치(100)는 인터 예측 정보에 대한 엔트로피 부호화를 수행하여 엔트로피 부호화된 인터 예측 정보를 생성할 수 있고, 엔트로피 부호화된 인터 예측 정보를 포함하는 비트스트림을 복호화 장치(200)로 전송할 수 있다. 비트스트림을 통해, 엔트로피 부호화된 인터 예측 정보가 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수 있다.The encoding apparatus 100 can generate a bitstream including inter prediction information required for inter prediction. The encoding apparatus 100 may generate entropy-encoded inter prediction information by performing entropy encoding on the inter prediction information, and may transmit the bit stream including the entropy-encoded inter prediction information to the decoding apparatus 200. Through the bitstream, entropy-encoded inter prediction information can be signaled from the encoding apparatus 100 to the decoding apparatus 200. [
복호화 장치(200)는 비트스트림의 인터 예측 정보를 사용하여 대상 블록에 대한 인터 예측을 수행할 수 있다.The decoding apparatus 200 may perform inter prediction on a target block using inter prediction information of a bit stream.
인터 예측 정보는, 1) 머지 모드를 사용하는지 여부를 나타내는 모드 정보 및 2) 머지 인덱스를 포함할 수 있다.The inter prediction information may include 1) mode information indicating whether the merge mode is used, and 2) a merge index.
또한, 인터 예측 정보는 잔차 신호를 포함할 수 있다.Further, the inter prediction information may include a residual signal.
복호화 장치(200)는 모드 정보가 머지 모드를 사용하는 것을 나타낼 경우에만 머지 인덱스를 비트스트림으로부터 획득할 수 있다.The decoding apparatus 200 can obtain a merge index from the bit stream only when the mode information indicates that the merge mode is used.
모드 정보는 머지 플래그일 수 있다. 모드 정보의 단위는 블록일 수 있다. 블록에 대한 정보는 모드 정보를 포함할 수 있고, 모드 정보는 블록에 대하여 머지 모드가 적용되는지 여부를 나타낼 수 있다.The mode information may be a merge flag. The unit of mode information may be a block. The information about the block may include mode information, and the mode information may indicate whether the merge mode is applied to the block.
머지 인덱스는 머지 후보 리스트에 포함된 머지 후보들 중에서 대상 블록의 예측을 위해 사용되는 머지 후보를 가리킬 수 있다. 또는, 머지 인덱스는 대상 블록에 공간적 또는 시간적으로 인접한 주변 블록들 중 어떤 블록과의 머지가 수행되는가를 가리킬 수 있다.The merge index may indicate a merge candidate used for predicting a target block among merge candidates included in the merge candidate list. Alternatively, the merge index may indicate which of the neighboring blocks spatially or temporally adjacent to the target block is merged with.
부호화 장치(100)는 머지 후보 리스트에 포함된 머지 후보들 중 가장 높은 부호화 성능을 갖는 머지 후보를 선택할 수 있고, 선택된 머지 후보를 가리키도록 머지 인덱스의 값을 설정할 수 있다.The encoding apparatus 100 can select the merge candidate having the highest encoding capability among the merge candidates included in the merge candidate list and set the merge index value to point to the selected merge candidate.
2-4) 인터 예측 정보를 사용하는 머지 모드의 인터 예측2-4) Inter prediction in merge mode using inter prediction information
복호화 장치(200)는 머지 후보 리스트에 포함된 머지 후보들 중에서 머지 인덱스가 가리키는 머지 후보를 사용하여 대상 블록에 대한 예측을 수행할 수 있다.The decoding apparatus 200 can perform the prediction on the target block using merge candidates indicated by the merge index among merge candidates included in the merge candidate list.
머지 인덱스가 가리키는 머지 후보의 움직임 벡터, 참조 픽처 인덱스 및 참조 방향에 의해 대상 블록의 움직임 벡터가 특정될 수 있다.The motion vector of the target block may be specified by the motion vector of the merge candidate pointed to by the merge index, the reference picture index, and the reference direction.
3) 스킵 모드3) Skip Mode
스킵 모드는 공간적 후보의 움직임 정보 또는 시간적 후보의 움직임 정보를 그대로 대상 블록에 적용하는 모드일 수 있다. 또한, 스킵 모드는 잔차 신호를 사용하지 않는 모드일 수 있다. 말하자면, 스킵 모드가 사용될 때, 재구축된 블록은 예측 블록일 수 있다.The skip mode may be a mode in which motion information of a spatial candidate or motion information of a temporal candidate is directly applied to a target block. The skip mode may be a mode in which the residual signal is not used. That is to say, when the skip mode is used, the reconstructed block may be a prediction block.
머지 모드 및 스킵 모드의 차이는 잔차 신호의 전송 또는 사용의 여부일 수 있다. 말하자면, 스킵 모드는 잔차 신호가 전송 또는 사용되지 않는다는 점을 제외하고는 머지 모드와 유사할 수 있다.The difference between the merge mode and the skip mode may be the transmission or use of the residual signal. That is to say, the skip mode may be similar to the merge mode, except that the residual signal is not transmitted or used.
스킵 모드가 사용되는 경우, 부호화 장치(100)는 공간적 후보 또는 시간적 후보인 블록들 중 어떤 블록의 움직임 정보가 대상 블록의 움직임 정보로서 이용되는 지를 나타내는 정보를 비트스트림을 통해 복호화 장치(200)에 전송할 수 있다. 부호화 장치(100)는 이러한 정보에 대한 엔트로피 부호화를 수행하여 엔트로피 부호화된 정보를 생성할 수 있고, 비트스트림을 통해 엔트로피 부호화된 정보를 복호화 장치(200)로 시그널링할 수 있다.When the skip mode is used, the encoding apparatus 100 transmits information indicating which of the blocks, which are spatial candidates or temporal candidates, is to be used as motion information of the target block, to the decoding apparatus 200 through the bit stream Lt; / RTI > The encoding apparatus 100 may generate entropy-encoded information by performing entropy encoding on the information, and may signal entropy-encoded information to the decoding apparatus 200 through the bitstream.
또한, 스킵 모드가 사용되는 경우 부호화 장치(100)는 MVD와 같은 다른 구문 요소 정보는 복호화 장치(200)에 전송하지 않을 수 있다. 예를 들면, 스킵 모드와 사용되는 경우, 부호화 장치(100)는 MVC, 코드된 블록 플래그 및 변환 계수 레벨 중 적어도 하나에 관한 구문 요소를 복호화 장치(200)에 시그널링하지 않을 수 있다.In addition, when the skip mode is used, the encoding apparatus 100 may not transmit other syntax element information such as MVD to the decryption apparatus 200. [ For example, when used in the skip mode, the encoding apparatus 100 may not signal a syntax element related to at least one of the MVC, the coded block flag, and the transform coefficient level to the decoding apparatus 200. [
3-1) 머지 후보 리스트의 작성3-1) Preparation of merge candidate list
스킵 모드 또한 머지 후보 리스트를 사용할 수 있다. 말하자면, 머지 후보 리스트는 머지 모드 및 스킵 모드의 양자에서 사용될 수 있다. 이러한 측면에서, 머지 후보 리스트는 "스킵 후보 리스트" 또는 "머지/스킵 후보 리스트"로 명명될 수도 있다.Skipped mode You can also use the merge candidate list. That is to say, the merge candidate list can be used in both merge mode and skip mode. In this regard, the merge candidate list may be named a "skip candidate list" or a "merge / skip candidate list ".
또는, 스킵 모드는 머지 모드와는 다른 별개의 후보 리스트를 사용할 수도 있다. 이러한 경우, 아래의 설명에서 머지 후보 리스트 및 머지 후보는 스킵 후보 리스트 및 스킵 후보로 각각 대체될 수 있다.Alternatively, the skip mode may use a separate candidate list different from the merge mode. In this case, the merge candidate list and merge candidate in the following description can be replaced with a skip candidate list and a skip candidate, respectively.
머지 후보 리스트는 스킵 모드에 의한 예측이 수행되기 전에 생성될 수 있다.The merge candidate list can be generated before the prediction by the skip mode is performed.
3-2) 머지 후보 리스트를 사용하는 움직임 벡터의 검색3-2) Search of motion vectors using merge candidate list
부호화 장치(100)는 대상 블록의 부호화를 위해 사용될 머지 후보를 결정할 수 있다. 예를 들면, 부호화 장치(100)는 머지 후보 리스트의 머지 후보들을 사용하여 대상 블록에 대한 예측들을 수행할 수 있다. 부호화 장치(100)는 예측에 있어서 최소의 비용을 요구하는 머지 후보를 대상 블록의 부호화를 위해 사용할 수 있다.The encoding apparatus 100 can determine a merge candidate to be used for encoding the target block. For example, the encoding apparatus 100 may perform predictions on a target block using merge candidates of a merge candidate list. The encoding apparatus 100 can use the merge candidate requiring minimum cost in prediction for encoding the target block.
또한, 부호화 장치(100)는 대상 블록의 부호화에 있어서 스킵 모드를 사용할지 여부를 결정할 수 있다.Further, the encoding apparatus 100 can determine whether to use the skip mode in encoding the target block.
3-3) 인터 예측 정보의 전송3-3) Transmission of inter prediction information
부호화 장치(100)는 인터 예측을 위해 요구되는 인터 예측 정보를 포함하는 비트스트림을 생성할 수 있다. 복호화 장치(200)는 비트스트림의 인터 예측 정보를 사용하여 대상 블록에 대한 인터 예측을 수행할 수 있다.The encoding apparatus 100 can generate a bitstream including inter prediction information required for inter prediction. The decoding apparatus 200 may perform inter prediction on a target block using inter prediction information of a bit stream.
인터 예측 정보는, 1) 스킵 모드를 사용하는지 여부를 나타내는 모드 정보 및 2) 스킵 인덱스를 포함할 수 있다.The inter prediction information may include 1) mode information indicating whether a skip mode is used, and 2) a skip index.
스킵 인덱스는 전술된 머지 인덱스와 동일할 수 있다.The skip index may be the same as the merge index described above.
스킵 모드가 사용될 경우, 대상 블록은 잔차 신호 없이 부호화될 수 있다. 인터 예측 정보는 잔차 신호를 포함하지 않을 수 있다. 또는, 비트스트림은 잔차 신호를 포함하지 않을 수 있다.When the skip mode is used, the target block can be encoded without a residual signal. The inter prediction information may not include the residual signal. Alternatively, the bitstream may not include the residual signal.
복호화 장치(200)는 모드 정보가 스킵 모드를 사용하는 것을 나타낼 경우에만 스킵 인덱스를 비트스트림으로부터 획득할 수 있다. 전술된 것과 같이, 머지 인덱스 및 스킵 인덱스는 동일한 것일 수 있다. 복호화 장치(200)는 모드 정보가 머지 모드 또는 스킵 모드를 사용하는 것을 나타낼 경우에만 스킵 인덱스를 비트스트림으로부터 획득할 수 있다.The decoding apparatus 200 can acquire the skip index from the bit stream only when the mode information indicates that the skip mode is used. As described above, the merge index and the skip index may be the same. The decoding apparatus 200 can acquire the skip index from the bit stream only when the mode information indicates that the merge mode or the skip mode is used.
스킵 인덱스는 머지 후보 리스트에 포함된 머지 후보들 중에서 대상 블록의 예측을 위해 사용되는 머지 후보를 가리킬 수 있다.The skip index may indicate a merge candidate used for predicting a target block among merge candidates included in the merge candidate list.
3-4) 인터 예측 정보를 사용하는 스킵 모드의 인터 예측3-4) Inter prediction of skip mode using inter prediction information
복호화 장치(200)는 머지 후보 리스트에 포함된 머지 후보들 중에서 스킵 인덱스가 가리키는 머지 후보를 사용하여 대상 블록에 대한 예측을 수행할 수 있다.The decoding apparatus 200 can perform prediction on the target block using merge candidates indicated by the skip index among merge candidates included in the merge candidate list.
스킵 인덱스가 가리키는 머지 후보의 움직임 벡터, 참조 픽처 인덱스 및 참조 방향에 의해 대상 블록의 움직임 벡터가 특정될 수 있다.The motion vector of the target block may be specified by the motion vector of the merge candidate pointed to by the skip index, the reference picture index, and the reference direction.
4) 현재 픽처 참조 모드4) Current picture reference mode
현재 픽처 참조 모드는 대상 블록이 속한 대상 픽처 내의 기-복원된 영역을 이용하는 예측 모드를 의미할 수 있다.The current picture reference mode may mean a prediction mode using the preexisting reconstructed region in the target picture to which the target block belongs.
기-복원된 영역을 특정하기 위한 움직임 벡터가 이용될 수 있다. 대상 블록이 현재 픽처 참조 모드로 부호화되는지 여부는 대상 블록의 참조 픽처 인덱스를 이용하여 판단될 수 있다.A motion vector may be used to specify the periodically reconstructed region. Whether or not the target block is coded in the current picture reference mode can be determined using the reference picture index of the target block.
대상 블록이 현재 픽처 참조 모드로 부호화된 블록인지 여부를 나타내는 플래그 혹은 인덱스가 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수도 있다. 또는, 대상 블록이 현재 픽처 참조 모드로 부호화된 블록인지 여부는 대상 블록의 참조 픽처 인덱스를 통해 유추될 수도 있다.A flag or an index indicating whether the target block is a block coded in the current picture reference mode may be signaled from the coding apparatus 100 to the decoding apparatus 200. [ Alternatively, whether the target block is a block coded in the current picture reference mode may be inferred through the reference picture index of the target block.
대상 블록이 현재 픽처 참조 모드로 부호화된 경우, 대상 픽처는 대상 블록을 위한 참조 픽처 리스트 내에서 고정된 위치 또는 임의의 위치에 존재할 수 있다.When the target block is coded in the current picture reference mode, the target picture may be in a fixed position or an arbitrary position in the reference picture list for the target block.
예를 들면, 고정된 위치는 참조 픽처 인덱스의 값이 0인 위치 또는 가장 마지막의 위치일 수 있다.For example, the fixed position may be the position where the value of the reference picture index is 0 or the last position.
대상 픽처가 참조 픽처 리스트 내의 임의의 위치에 존재하는 경우, 이러한 임의의 위치를 나타내는 별도의 참조 픽처 인덱스가 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수도 있다.When the target picture exists at any position in the reference picture list, a separate reference picture index indicating this arbitrary position may be signaled from the coding apparatus 100 to the decoding apparatus 200. [
전술된 AMVP 모드, 머지 모드 및 스킵 모드에서는 리스트에 대한 인덱스를 통해 리스트 내의 움직임 정보들 중 대상 블록의 예측을 위해 사용될 움직임 정보가 특정될 수 있다.In the above-described AMVP mode, merge mode, and skip mode, motion information to be used for prediction of a target block among the motion information in the list can be specified through the index for the list.
부호화 효율의 향상을 위해서, 부호화 장치(100)는 리스트의 요소들 중 대상 블록의 인터 예측에 있어서 최소의 비용을 유발하는 요소의 인덱스만을 시그널링할 수 있다. 부호화 장치(100)는 인덱스를 부호화할 수 있으며, 부호화된 인덱스를 시그널링할 수 있다.In order to improve the coding efficiency, the coding apparatus 100 can signal only the index of the element causing the minimum cost in the inter prediction of the target block among the elements of the list. The encoding apparatus 100 can encode an index and signal the encoded index.
따라서, 전술된 리스트들(즉, 예측 움직임 벡터 후보 리스트 및 머지 후보 리스트)은 부호화 장치(100) 및 복호화 장치(200)에서 동일한 데이터에 기반하여 동일한 방식으로 유도되어야 할 수 있다. 여기에서, 동일한 데이터는 재구축된 픽처 및 재구축된 블록을 포함할 수 있다. 또한, 인덱스로 요소를 특정하기 위해, 리스트 내에서 요소들의 순서는 일정해야 할 수 있다.Accordingly, the above-described lists (i.e., the predicted motion vector candidate list and the merge candidate list) may have to be derived in the same manner based on the same data in the encoding apparatus 100 and the decrypting apparatus 200. [ Here, the same data may include reconstructed pictures and reconstructed blocks. Also, in order to specify an element by index, the order of the elements in the list may have to be constant.
도 10은 일 예에 따른 공간적 후보들을 나타낸다.Figure 10 shows spatial candidates according to an example.
도 10에서는, 공간적 후보들의 위치가 도시되었다.In Figure 10, the location of spatial candidates is shown.
가운데의 큰 블록은 대상 블록을 나타낼 수 있다. 5 개의 작은 블록들은 공간적 후보들을 나타낼 수 있다.A large block in the middle can represent a target block. The five small blocks may represent spatial candidates.
대상 블록의 좌표들은 (xP, yP)일 수 있고, 대상 블록의 크기는 (nPSW, nPSH)일 수 있다.The coordinates of the target block may be (xP, yP), and the size of the target block may be (nPSW, nPSH).
공간적 후보 A0은 대상 블록의 좌측 하단의 코너에 인접한 블록일 수 있다. A0은 좌표들 (xP - 1, yP + nPSH + 1)의 픽셀을 차지하는 블록일 수 있다.The spatial candidate A 0 may be a block adjacent to the lower left corner of the target block. A 0 may be a block occupying a pixel of coordinates (xP - 1, yP + nPSH + 1).
공간적 후보 A1은 대상 블록의 좌측에 인접한 블록일 수 있다. A1은 대상 블록의 좌측에 인접한 블록들 중 최 하단의 블록일 수 있다. 또는, A1은 A0의 상단에 인접한 블록일 수 있다. A1은 좌표들 (xP - 1, yP + nPSH)의 픽셀을 차지하는 블록일 수 있다.The spatial candidate A 1 may be a block adjacent to the left of the target block. A 1 may be the lowermost block among the blocks adjacent to the left of the target block. Alternatively, A 1 may be a block adjacent to the top of A 0 . A 1 may be a block occupying a pixel of coordinates (xP - 1, yP + nPSH).
공간적 후보 B0은 대상 블록의 우측 상단의 코너에 인접한 블록일 수 있다. B0은 좌표들 (xP + nPSW + 1, yP - 1)의 픽셀을 차지하는 블록일 수 있다.The spatial candidate B 0 may be a block adjacent to the upper right corner of the target block. B 0 may be a block occupying a pixel of coordinates (xP + nPSW + 1, yP-1).
공간적 후보 B1은 대상 블록의 상단에 인접한 블록일 수 있다. B1은 대상 블록의 상단에 인접한 블록들 중 최 우측의 블록일 수 있다. 또는, B1은 B0의 좌측에 인접한 블록일 수 있다. B1은 좌표들 (xP + nPSW, yP - 1)의 픽셀을 차지하는 블록일 수 있다.The spatial candidate B 1 may be a block adjacent to the top of the target block. B 1 may be the rightmost block among the blocks adjacent to the top of the target block. Alternatively, B 1 may be a block adjacent to the left of B 0 . B 1 may be a block occupying the pixels of the coordinates (xP + nPSW, yP-1).
공간적 후보 B2는 대상 블록의 좌측 상단의 코너에 인접한 블록일 수 있다. B2는 좌표들 (xP - 1, yP - 1)의 픽셀을 차지하는 블록일 수 있다.The spatial candidate B 2 may be a block adjacent to the upper left corner of the target block. B 2 may be a block occupying pixels of coordinates (xP-1, yP-1).
공간적 후보 및 시간적 후보의 가용성(availability)의 판단Determining Availability of Spatial and Temporal Candidates
공간적 후보의 움직임 정보 또는 시간적 후보의 움직임 정보를 리스트에 포함시키기 위해서는, 공간적 후보의 움직임 정보 또는 시간적 후보의 움직임 정보가 가용한지 여부가 판단되어야 한다.In order to include motion information of a spatial candidate or motion information of a temporal candidate, it is necessary to determine whether motion information of a spatial candidate or motion information of a temporal candidate is available.
이하에서, 후보 블록은 공간적 후보 및 시간적 후보를 포함할 수 있다.Hereinafter, the candidate block may include spatial candidates and temporal candidates.
예를 들면, 상기의 판단은 아래의 단계 1) 내지 단계 4)를 순차적으로 적용함으로써 이루어질 수 있다.For example, the above determination can be made by sequentially applying the following steps 1) to 4).
단계 1) 후보 블록을 포함하는 PU가 픽처의 경계의 밖에 있으면 후보 블록의 가용성은 거짓(false)으로 설정될 수 있다. "가용성이 거짓으로 설정된다"는 것은 "비가용한 것으로 설정된다"는 것과 동일한 의미일 수 있다. Step 1) If the PU including the candidate block is outside the boundary of the picture, the availability of the candidate block may be set to false. "Availability is set to false" may be synonymous with "set to unavailable ".
단계 2) 후보 블록을 포함하는 PU가 슬라이스의 경계의 밖에 있으면 후보 블록의 가용성은 거짓으로 설정될 수 있다. 대상 블록 및 후보 블록이 서로 다른 슬라이스들 내에 위치하면, 후보 블록의 가용성은 거짓으로 설정될 수 있다. Step 2) If the PU including the candidate block is outside the boundary of the slice, the availability of the candidate block may be set to false. If the target block and the candidate block are located in different slices, the availability of the candidate block may be set to false.
단계 3) 후보 블록을 포함하는 PU가 타일의 경계의 밖에 있으면 후보 블록의 가용성은 거짓으로 설정될 수 있다. 대상 블록 및 후보 블록이 서로 다른 타일들 내에 위치하면, 후보 블록의 가용성은 거짓으로 설정될 수 있다. Step 3) If the PU including the candidate block is outside the boundary of the tile, the availability of the candidate block may be set to false. If the target block and the candidate block are located in different tiles, the availability of the candidate block may be set to false.
단계 4) 후보 블록을 포함하는 PU의 예측 모드가 인트라 예측 모드이면 후보 블록의 가용성은 거짓으로 설정될 수 있다. 후보 블록을 포함하는 PU가 인터 예측을 사용하지 않으면 후보 블록의 가용성은 거짓으로 설정될 수 있다. Step 4) If the prediction mode of the PU including the candidate block is the intra prediction mode, the availability of the candidate block may be set to false. If the PU including the candidate block does not use inter prediction, the availability of the candidate block may be set to false.
도 11은 일 예에 따른 공간적 후보들의 움직임 정보들의 머지 리스트로의 추가 순서를 나타낸다.FIG. 11 shows an order of addition of motion information of a spatial candidate to a merge list according to an example.
도 11에서 도시된 것처럼, 공간적 후보들의 움직임 정보들을 머지 리스트에 추가함에 있어서, A1, B1, B0, A0 및 B2의 순서가 사용될 수 있다. 즉, A1, B1, B0, A0 및 B2의 순서로, 가용한 공간적 후보의 움직임 정보가 머지 리스트에 추가될 수 있다.As shown in FIG. 11, in order to add motion information of spatial candidates to the merge list, the order of A 1 , B 1 , B 0 , A 0, and B 2 may be used. That is, the motion information of available spatial candidates can be added to the merged list in the order of A 1 , B 1 , B 0 , A 0, and B 2 .
머지 모드 및 스킵 모드에서의 머지 리스트의 유도 방법How to derive a merge list in merge mode and skip mode
전술된 것과 같이, 머지 리스트 내의 머지 후보들의 최대 개수는 설정될 수 있다. 설정된 최대 개수를 N으로 표시한다. 설정된 개수는 부호화 장치(100)로부터 복호화 장치(200)로 전송될 수 있다. 슬라이스의 슬라이스 헤더는 N을 포함할 수 있다. 말하자면, 슬라이스 헤더에 의해 슬라이스의 대상 블록에 대한 머지 리스트의 머지 후보들의 최대 개수가 설정될 수 있다. 예를 들면, 기본적으로 N의 값은 5일 수 있다.As described above, the maximum number of merge candidates in the merge list can be set. The set maximum number is denoted by N. The set number can be transferred from the encoding apparatus 100 to the decoding apparatus 200. [ The slice header of the slice may contain N. [ That is, the maximum number of merge candidates of the merge list for the target block of the slice can be set by the slice header. For example, basically the value of N may be 5.
움직임 정보(즉, 머지 후보)는 아래의 단계 1) 내지 단계 4)의 순서로 머지 리스트에 추가될 수 있다.The motion information (i.e., merge candidate) may be added to the merge list in the following order of steps 1) to 4) below.
단계 1) 공간적 후보들 중 가용한 공간적 후보들이 머지 리스트에 추가될 수 있다. 가용한 공간적 후보들의 움직임 정보들은 도 10에서 도시된 순서대로 머지 리스트에 추가될 수 있다. 이 때, 가용한 공간적 후보의 움직임 정보가 이미 머지 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 움직임 정보는 머지 리스트에 추가되지 않을 수 있다. 리스트 내에 존재하는 다른 움직임 정보와 중복되는지 여부를 검사하는 것은 "중복성 검사"로 약술될 수 있다. Step 1) Available spatial candidates among the spatial candidates can be added to the merged list. The motion information of the available spatial candidates may be added to the merge list in the order shown in FIG. At this time, if the motion information of the available spatial candidate overlaps with other motion information already existing in the merge list, the motion information may not be added to the merge list. Checking whether or not to overlap with other motion information present in the list can be outlined as "redundancy check ".
추가되는 움직임 정보들은 최대 N 개일 수 있다.The motion information to be added may be a maximum of N pieces.
단계 2) 머지 리스트 내의 움직임 정보들의 개수가 N 보다 더 작고, 시간적 후보가 가용하면, 시간적 후보의 움직임 정보가 머지 리스트에 추가될 수 있다. 이 때, 가용한 시간적 후보의 움직임 정보가 이미 머지 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 움직임 정보는 머지 리스트에 추가되지 않을 수 있다. Step 2) If the number of motion information in the merge list is smaller than N and temporal candidates are available, motion information of temporal candidates may be added to the merge list. At this time, if the available temporal candidate motion information overlaps with other motion information already existing in the merge list, the motion information may not be added to the merge list.
단계 3) 머지 리스트 내의 움직임 정보들의 개수가 N 보다 더 작고, 대상 슬라이스의 타입이 "B"이면, 조합된 양방향 예측(combined bi-prediction)에 의해 생성된 조합된 움직임 정보가 머지 리스트에 추가될 수 있다. Step 3) If the number of pieces of motion information in the merge list is smaller than N and the type of the target slice is "B ", the combined motion information generated by the combined bi-prediction is added to the merge list .
대상 슬라이스는 대상 블록을 포함하는 슬라이스일 수 있다.The target slice may be a slice containing the target block.
조합된 움직임 정보는 L0 움직임 정보 및 L1 움직임 정보의 조합일 수 있다. L0 움직임 정보는 참조 픽처 리스트 L0만을 참조하는 움직임 정보일 수 있다. L1 움직임 정보는 참조 픽처 리스트 L1만을 참조하는 움직임 정보일 수 있다.The combined motion information may be a combination of L0 motion information and L1 motion information. The L0 motion information may be motion information that refers to only the reference picture list L0. The L1 motion information may be motion information referring to only the reference picture list L1.
머지 리스트 내에서, L0 움직임 정보는 하나 이상일 수 있다. 또한, 머지 리스트 내에서, L1 움직임 정보는 하나 이상일 수 있다.Within the merge list, the L0 motion information may be one or more. Also, within the merge list, the L1 motion information may be one or more.
조합된 움직임 정보는 하나 이상일 수 있다. 조합된 움직임 정보를 생성함에 있어서 하나 이상의 L0 움직임 정보들 및 하나 이상의 L1 움직임 정보들 중 어떤 L0 움직임 정보 및 어떤 L1 움직임 정보를 사용할 것인가는 기정의될 수 있다. 하나 이상의 조합된 움직임 정보는 머지 리스트 내의 서로 다른 움직임 정보들의 쌍(pair)을 사용하는 조합된 양방향 예측에 의해 기정의된 순서로 생성될 수 있다. 서로 다른 움직임 정보들의 쌍 중 하나는 L0 움직임 정보고 다른 하나는 L1 움직임 정보일 수 있다.The combined motion information may be one or more. In generating the combined motion information, it is possible to determine which L0 motion information and which L1 motion information to use among one or more L0 motion information and one or more L1 motion information. The one or more combined motion information may be generated in a predetermined order by combined bidirectional prediction using a pair of different motion information in the merge list. One of the pairs of different motion information may be the L0 motion information and the other may be the L1 motion information.
예를 들면, 최우선적으로 추가되는 조합된 움직임 정보는 머지 인덱스가 0인 L0 움직임 정보 및 머지 인덱스가 1인 L1 움직임 정보의 조합일 수 있다. 머지 인덱스가 0인 움직임 정보가 L0 움직임 정보가 아니거나, 머지 인덱스가 1인 움직임 정보가 L1 움직임 정보가 아니면 상기의 조합된 움직임 정보는 생성 및 추가되지 않을 수 있다. 다음으로 추가되는 움직임 정보는 머지 인덱스가 1인 L0 움직임 정보 및 머지 인덱스가 0인 L1 움직임 정보의 조합일 수 있다. 이하의 구체적인 조합은 비디오의 부호화/복호화 분야의 다른 조합을 따를 수 있다.For example, the highest combined motion information may be a combination of L0 motion information having a merge index of 0 and L1 motion information having a merge index of 1. If the motion information whose merge index is 0 is not L0 motion information, or the motion information whose merge index is 1 is not L1 motion information, the combined motion information may not be generated and added. The next motion information may be a combination of L0 motion information having a merge index of 1 and L1 motion information having a merge index of 0. [ The following specific combinations may follow other combinations of fields of video encoding / decoding.
이 때, 조합된 움직임 정보가 이미 머지 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 조합된 움직임 정보는 머지 리스트에 추가되지 않을 수 있다.At this time, if the combined motion information overlaps with other motion information already existing in the merge list, the combined motion information may not be added to the merge list.
단계 4) 머지 리스트 내의 움직임 정보들의 개수가 N 보다 더 작으면, 제로 벡터 움직임 정보가 머지 리스트에 추가될 수 있다. Step 4) If the number of motion information in the merge list is less than N, zero vector motion information may be added to the merge list.
제로 벡터 움직임 정보는 움직임 벡터가 제로 벡터인 움직임 정보일 수 있다.The zero vector motion information may be motion information whose motion vector is a zero vector.
제로 벡터 움직임 정보는 하나 이상일 수 있다. 하나 이상의 제로 벡터 움직임 정보들의 참조 픽처 인덱스들은 서로 상이할 수 있다. 예를 들면, 첫 번째의 제로 벡터 움직임 정보의 참조 픽처 인덱스의 값은 0일 수 있다. 두 번째의 제로 벡터 움직임 정보의 참조 픽처 인덱스의 값은 1일 수 있다.The zero vector motion information may be one or more. The reference picture indexes of one or more zero vector motion information may be different from each other. For example, the value of the reference picture index of the first zero vector motion information may be zero. The value of the reference picture index of the second zero vector motion information may be one.
제로 벡터 움직임 정보들의 개수는 참조 픽처 리스트 내의 참조 픽처들의 개수와 동일할 수 있다.The number of zero vector motion information may be equal to the number of reference pictures in the reference picture list.
제로 벡터 움직임 정보의 참조 방향은 양방향일 수 있다. 2 개의 움직임 벡터들은 모두 제로 벡터들일 수 있다. 제로 벡터 움직임 정보들의 개수는 참조 픽처 리스트 L0 내의 참조 픽처들의 개수 및 참조 픽처 리스트 L1 내의 참조 픽처들의 개수 중 더 작은 것일 수 있다. 또는, 참조 픽처 리스트 L0 내의 참조 픽처들의 개수 및 참조 픽처 리스트 L1 내의 참조 픽처들의 개수가 서로 다를 경우, 하나의 참조 픽처 리스트에만 적용될 수 있는 참조 픽처 인덱스에 대해서는 단방향의 참조 방향이 사용될 수 있다.The reference direction of the zero vector motion information may be bi-directional. The two motion vectors may all be zero vectors. The number of zero vector motion information may be the smaller of the number of reference pictures in the reference picture list L0 and the number of reference pictures in the reference picture list L1. Alternatively, when the number of reference pictures in the reference picture list L0 is different from the number of reference pictures in the reference picture list L1, a unidirectional reference direction can be used for a reference picture index that can be applied to only one reference picture list.
부호화 장치(100) 및/또는 복호화 장치(200)는 참조 픽처 인덱스를 변경하면서 순차적으로 제로 벡터 움직임 정보를 머지 리스트에 추가할 수 있다.The coding apparatus 100 and / or the decoding apparatus 200 can sequentially add the zero vector motion information to the merged list while changing the reference picture index.
제로 벡터 움직임 정보가 이미 머지 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 제로 벡터 움직임 정보는 머지 리스트에 추가되지 않을 수 있다.If the zero vector motion information overlaps with other motion information already present in the merge list, the zero vector motion information may not be added to the merge list.
전술된 단계 1) 내지 단계 4)의 순서는 단지 예시적인 것으로, 단계들 간의 순서는 서로 바뀔 수 있다. 또한, 단계들 중 일부는 기정의된 조건에 따라 생략될 수 있다.The order of the above-described steps 1) to 4) is merely exemplary, and the order between the steps may be mutually exclusive. In addition, some of the steps may be omitted depending on the predefined conditions.
AMVP 모드에서의 예측 움직임 벡터 후보 리스트의 유도 방법A method of deriving a predicted motion vector candidate list in AMVP mode
예측 움직임 벡터 후보 리스트 내의 예측 움직임 벡터 후보들의 최대 개수는 기정의될 수 있다. 기정의된 최대 개수를 N으로 표시한다. 예를 들면, 기정의된 최대 개수는 2일 수 있다.The maximum number of predicted motion vector candidates in the predicted motion vector candidate list can be predetermined. The default maximum number is denoted by N. For example, the default maximum number may be two.
움직임 정보(즉, 예측 움직임 벡터 후보)는 아래의 단계 1) 내지 단계 3)의 순서로 예측 움직임 벡터 후보 리스트에 추가될 수 있다.The motion information (i.e., the predicted motion vector candidate) may be added to the predicted motion vector candidate list in the order of the following steps 1) to 3).
단계 1) 공간적 후보들 중 가용한 공간적 후보들이 예측 움직임 벡터 후보 리스트에 추가될 수 있다. 공간적 후보들은 제1 공간적 후보 및 제2 공간적 후보를 포함할 수 있다. Step 1) Available spatial candidates among the spatial candidates can be added to the predicted motion vector candidate list. The spatial candidates may include a first spatial candidate and a second spatial candidate.
제1 공간적 후보는 A0, A1, 스케일된(scaled) A0 및 스케일된 A1 중 하나일 수 있다. 제2 공간적 후보는 B0, B1, B2, 스케일된 B0, 스케일된 B1 및 스케일된 B2 중 하나일 수 있다.The first spatial candidate may be one of A 0 , A 1 , scaled A 0, and scaled A 1 . The second spatial candidate may be one of B 0 , B 1 , B 2 , Scaled B 0 , Scaled B 1, and Scaled B 2 .
가용한 공간적 후보들의 움직임 정보들은 제1 공간적 후보 및 제2 공간적 후보의 순서로 예측 움직임 벡터 후보 리스트에 추가될 수 있다. 이 때, 가용한 공간적 후보의 움직임 정보가 이미 예측 움직임 벡터 후보 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 움직임 정보는 예측 움직임 벡터 후보 리스트에 추가되지 않을 수 있다. 말하자면, N의 값이 2인 경우, 제2 공간적 후보의 움직임 정보가 제1 공간적 후보의 움직임 정보와 동일하면 제2 공간적 후보의 움직임 정보는 예측 움직임 벡터 후보 리스트에 추가되지 않을 수 있다.The motion information of the available spatial candidates may be added to the predicted motion vector candidate list in the order of the first spatial candidate and the second spatial candidate. In this case, if the motion information of the available spatial candidate is already overlapped with other motion information existing in the predicted motion vector candidate list, the motion information may not be added to the predicted motion vector candidate list. That is, if the value of N is 2 and the motion information of the second spatial candidate is the same as the motion information of the first spatial candidate, the motion information of the second spatial candidate may not be added to the predicted motion vector candidate list.
추가되는 움직임 정보들은 최대 N 개일 수 있다.The motion information to be added may be a maximum of N pieces.
단계 2) 예측 움직임 벡터 후보 리스트 내의 움직임 정보들의 개수가 N 보다 더 작고, 시간적 후보가 가용하면, 시간적 후보의 움직임 정보가 예측 움직임 벡터 후보 리스트에 추가될 수 있다. 이 때, 가용한 시간적 후보의 움직임 정보가 이미 예측 움직임 벡터 후보 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 움직임 정보는 예측 움직임 벡터 후보 리스트에 추가되지 않을 수 있다. Step 2) If the number of pieces of motion information in the predicted motion vector candidate list is smaller than N and temporal candidates are available, temporal motion information may be added to the predicted motion vector candidate list. In this case, if the motion information of the available temporal candidate overlaps with other motion information already present in the predicted motion vector candidate list, the motion information may not be added to the predicted motion vector candidate list.
단계 3) 예측 움직임 벡터 후보 리스트 내의 움직임 정보들의 개수가 N 보다 더 작으면, 제로 벡터 움직임 정보가 예측 움직임 벡터 후보 리스트에 추가될 수 있다. Step 3) If the number of motion information in the predicted motion vector candidate list is smaller than N, zero vector motion information may be added to the predicted motion vector candidate list.
제로 벡터 움직임 정보는 하나 이상일 수 있다. 하나 이상의 제로 벡터 움직임 정보들의 참조 픽처 인덱스들은 서로 상이할 수 있다.The zero vector motion information may be one or more. The reference picture indexes of one or more zero vector motion information may be different from each other.
부호화 장치(100) 및/또는 복호화 장치(200)는 참조 픽처 인덱스를 변경하면서 순차적으로 제로 벡터 움직임 정보를 예측 움직임 벡터 후보 리스트에 추가할 수 있다.The encoding apparatus 100 and / or the decoding apparatus 200 may sequentially add the zero vector motion information to the predicted motion vector candidate list while changing the reference picture index.
제로 벡터 움직임 정보가 이미 예측 움직임 벡터 후보 리스트 내에 존재하는 다른 움직임 정보와 중복되는 경우 상기의 제로 벡터 움직임 정보는 예측 움직임 벡터 후보 리스트에 추가되지 않을 수 있다.The zero vector motion information may not be added to the predicted motion vector candidate list if the zero vector motion information overlaps with other motion information already present in the predicted motion vector candidate list.
머지 리스트에 대해 전술된 제로 벡터 움직임 정보에 대한 설명은 제로 벡터 움직임 정보에도 적용될 수 있다. 중복되는 설명은 생략된다.The description of the zero vector motion information described above for the merge list can also be applied to zero vector motion information. Duplicate descriptions are omitted.
전술된 단계 1) 내지 단계 3)의 순서는 단지 예시적인 것으로, 단계들 간의 순서는 서로 바뀔 수 있다. 또한, 단계들 중 일부는 기정의된 조건에 따라 생략될 수 있다.The order of the steps 1) to 3) described above is merely exemplary, and the order between the steps may be mutually exclusive. In addition, some of the steps may be omitted depending on the predefined conditions.
도 12는 일 예에 따른 변환 및 양자화의 과정을 설명한다.FIG. 12 illustrates a process of transform and quantization according to an example.
도 12에 도시된 바와 같이 잔차 신호에 변환 및/또는 양자화 과정을 수행하여 양자화된 레벨이 생성될 수 있다.A quantized level may be generated by performing a conversion and / or quantization process on the residual signal as shown in FIG.
잔차 신호는 원본 블록과 예측 블록 간의 차분으로 생성될 수 있다. 여기에서, 예측 블록은 인트라 예측 또는 인터 예측에 의해 생성된 블록일 수 있다.The residual signal can be generated as a difference between the original block and the prediction block. Here, the prediction block may be a block generated by intra prediction or inter prediction.
잔차 신호는 양자화 과정의 일부인 변환 과정을 통해 주파수 도메인으로 변환될 수 있다.The residual signal can be transformed into the frequency domain through a transform process that is part of the quantization process.
변환을 위해 사용되는 변환 커널은 이산 코사인 변환(Discrete Cosine Transform; DCT) 타입(type) 2 (DCT-II) 등과 같은 다양한 DCT 커널 및 이산 사인 변환(Discrete Sine Transform; DST) 커널을 포함할 수 있다.The transformation kernel used for the transformation may include various DCT kernels and Discrete Sine Transform (DST) kernels such as Discrete Cosine Transform (DCT) type 2 (DCT-II) .
이러한 변환 커널들은 잔차 신호에 대해 분리가능 변환(separable transform) 또는 2차원(2Dimensional; 2D) 비-분리가능 변환(non-separable transform)을 수행할 수 있다. 분리가능 변환은 잔차 신호에 대해 1차원(1Dimensional; 1D) 변환을 수평 방향 및 수직 방향의 각각에 수행하는 변환일 수 있다.These transform kernels may perform a separable transform or a two-dimensional (2D) non-separable transform on the residual signal. The detachable transform may be a transform that performs a one-dimensional (1D) transform on the residual signal in each of the horizontal and vertical directions.
1D 변환을 위해 적응적으로 사용되는 DCT 타입 및 DST 타입은 아래의 표 3에서 표시된 것과 같이 DCT-II 외에도 DCT-V, DCT-VIII, DST-I 및 DST-VII를 포함할 수 있다.The DCT type and DST type adaptively used for 1D conversion may include DCT-V, DCT-VIII, DST-I and DST-VII in addition to DCT-II as shown in Table 3 below.
[표 3][Table 3]
Figure pat00004
Figure pat00004
표 3에서 표시된 것과 같이, 변환에 사용될 DCT 타입 또는 DST 타입을 유도함에 있어서 변환 세트(transform set)가 사용될 수 있다. 각 변환 세트는 복수의 변환 후보들을 포함할 수 있다. 각 변환 후보는 DCT 타입 또는 DST 타입 등일 수 있다.As indicated in Table 3, a transform set may be used to derive the DCT type or DST type to be used for the transform. Each transform set may include a plurality of transform candidates. Each conversion candidate may be a DCT type or a DST type.
아래의 표 4는 인트라 예측 모드에 따라 수평 방향에 적용되는 변환 세트의 일 예를 나타낸다.Table 4 below shows an example of a transform set applied in the horizontal direction according to the intra prediction mode.
[표 4][Table 4]
Figure pat00005
Figure pat00005
표 4에서는, 대상 블록의 인트라 예측 모드에 따라서 잔차 신호의 수평 방향에 적용되는 변환 세트의 번호가 표시되었다.In Table 4, the number of the conversion set applied to the horizontal direction of the residual signal in accordance with the intra prediction mode of the target block is shown.
아래의 표 5는 인트라 예측 모드에 따라 수직 방향에 적용되는 변환 세트의 일 예를 나타낸다.Table 5 below shows an example of a transform set applied in the vertical direction according to the intra prediction mode.
[표 5][Table 5]
Figure pat00006
Figure pat00006
표 4 및 표 5에서 예시된 것과 같이, 대상 블록의 인트라 예측 모드에 따라 수평 방향 및 수직 방향에 적용되는 변환 세트들이 미리 기정의될 수 있다. 부호화 장치(100)는 대상 블록의 인트라 예측 모드에 대응하는 변환 세트에 포함된 변환을 이용하여 잔차 신호에 대한 변환 및 역변환을 수행할 수 있다. 또한, 복호화 장치(200)는 대상 블록의 인트라 예측 모드에 대응하는 변환 세트에 포함된 변환을 이용하여 잔차 신호에 대한 역변환을 수행할 수 있다.As illustrated in Tables 4 and 5, the transform sets applied in the horizontal direction and the vertical direction according to the intra-prediction mode of the target block can be predetermined in advance. The encoding apparatus 100 can perform the transform and inverse transform on the residual signal using the transform included in the transform set corresponding to the intra prediction mode of the object block. In addition, the decoding apparatus 200 can perform inverse transform on the residual signal using the transform included in the transform set corresponding to the intra-prediction mode of the target block.
이러한 변환 및 역변환에 있어서, 잔차 신호에 적용되는 변환 세트는 표 3, 표 4 및 표 5에서 예시된 것과 같이 결정될 수 있고, 시그널링되지 않을 수 있다. 변환 지시 정보는 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수 있다. 변환 지시 정보는 잔차 신호에 적용되는 변환 세트가 포함하는 복수의 변환 후보들 중 어떤 변환 후보가 사용되는가를 지시하는 정보일 수 있다.In such transforms and inversions, the transform set applied to the residual signal may be determined as illustrated in Tables 3, 4 and 5 and may not be signaled. The conversion instruction information can be signaled from the encoding apparatus 100 to the decoding apparatus 200. [ The conversion instruction information may be information indicating which conversion candidate is used among a plurality of conversion candidates included in the conversion set applied to the residual signal.
전술된 것과 같이 다양한 변환들을 사용하는 방법은 인트라 예측 또는 인터 예측에 의해 생성된 잔차 신호에 적용될 수 있다.The method of using various transformations as described above can be applied to the residual signal generated by intra prediction or inter prediction.
변환은 1차 변환 및 2차 변환 중 적어도 하나를 포함할 수 있다. 잔차 신호에 대해서 1차 변환을 수행함으로써 변환 계수가 생성될 수 있고, 변환 계수에 2차 변환을 수행함으로써 2차 변환 계수가 생성될 수 있다.The transform may include at least one of a primary transform and a secondary transform. A transform coefficient may be generated by performing a first transform on the residual signal and a second transform coefficient may be generated by performing a second transform on the transform coefficient.
1차 변환은 주 변환(primary)으로 명명될 수 있다. 또한, 1차 변환은 적응적 다중 변환(Adaptive Multiple Transform; AMT)로 명명될 수 있다. AMT는 전술된 것과 같이 1D 방향들(즉, 수직 방향 및/또는 수평 방향)의 각각에 또는 선택된 방향에 대해 서로 다른 변환이 적용되는 것을 의미할 수 있다.The primary transformation can be named primary. Also, the first order transformation can be named as Adaptive Multiple Transform (AMT). AMT may mean that different transforms are applied to each of the 1D directions (i.e., vertical and / or horizontal directions) or selected directions as described above.
또한, AMT는 다중 변환 선택(Multiple Transform Selection; MTS) 또는 확장된 다중 변환(Extended Multiple Transform; EMT)이라고 명명될 수도 있다.The AMT may also be called Multiple Transform Selection (MTS) or Extended Multiple Transform (EMT).
2차 변환은 1차 변환에 의해 생성된 변환 계수의 에너지 집중도를 향상시키기 위한 변환일 수 있다. 2차 변환도 1차 변환과 마찬가지로 분리가능 변환 또는 비-분리가능 변환일 수 있다. 비-분리가능 변환은 비-분리가능 2차 변환(Non-Separable Secondary Transform; NSST)일 수 있다.The quadratic transformation may be a transform to improve the energy concentration of the transform coefficients generated by the primary transform. The quadratic transformation can be a separable transformation or a non-separable transformation like the primary transformation. The non-separable transform may be a non-separable secondary transform (NSST).
1차 변환은 기정의된 복수의 변환 방법들 중 적어도 하나를 이용하여 수행될 수 있다. 일 예로, 기정의된 복수의 변환 방법들은 이산 코사인 변환(Discrete Cosine Transform; DCT), 이산 사인 변환(Discrete Sine Transform; DST) 및 카루넨-루베 변환(Karhunen-Loeve Transform; KLT) 기반 변환 등을 포함할 수 있다.The primary transformation may be performed using at least one of a plurality of predetermined transformation methods. For example, a plurality of predetermined conversion methods may be implemented using discrete cosine transform (DCT), discrete sine transform (DST), and Karhunen-Loeve Transform (KLT) .
또한, 1차 변환은 DCT 또는 DST를 정의하는 커널 함수에 따라서 다양한 타입을 갖는 변환일 수 있다.Also, the first order transform may be a transform of various types depending on the kernel function defining the DCT or DST.
예를 들면, 1차 변환은 아래의 표 6에서 제시된 변환 커널에 따른 DCT-2, DCT-5, DCT-7, DST-7, DST-1, DST-8 및 DCT-8과 같은 변환들을 포함할 수 있다. 표 6에서는 복수 변환 선택(Multiple Transform Selection; MTS)에 대한 다양한 변환 타입들 및 변환 커널 함수들이 예시되었다.For example, the first order transform includes transforms such as DCT-2, DCT-5, DCT-7, DST-7, DST-1, DST-8 and DCT-8 according to the transform kernel shown in Table 6 below. can do. In Table 6, various transformation types and transformation kernel functions for Multiple Transform Selection (MTS) are illustrated.
MTS는 잔차 신호의 수평 및/또는 수직방향에 대한 변환을 위해 하나 이상의 DCT 및/또는 DST 변환 커널의 조합이 선택되는 것을 의미할 수 있다.The MTS may mean that a combination of one or more DCT and / or DST transform kernels is selected for conversion to the horizontal and / or vertical direction of the residual signal.
[표 6][Table 6]
Figure pat00007
Figure pat00007
표 6에서, i 및 j는 0 이상 N-1 이하의 정수 값일 수 있다.In Table 6, i and j may be an integer value of 0 or more and N-1 or less.
1차 변환의 수행에 의해 생성된 변환 계수에 2차 변환(secondary transform)이 수행될 수 있다.A secondary transform may be performed on the transform coefficients generated by performing the primary transform.
1차 변환 및/또는 2차 변환은 루마 성분 및 크로마 성분 중 하나 이상의 신호 성분에 적용될 수 있다. 1차 변환 및/또는 2차 변환의 적용 여부는 대상 블록 및/또는 주변 블록에 대한 코딩 파라미터들 중 적어도 하나에 따라 결정될 수 있다. 예를 들면, 1차 변환 및/또는 2차 변환의 적용 여부는 대상 블록의 크기 및/또는 형태에 의해 결정될 수 있다.The primary transform and / or the quadratic transform may be applied to one or more signal components of a luma component and a chroma component. The application of the primary transformation and / or the secondary transformation may be determined according to at least one of coding parameters for a target block and / or a neighboring block. For example, the application of the primary transformation and / or the secondary transformation may be determined by the size and / or shape of the target block.
1차 변환 및/또는 2차 변환에 적용되는 변환 방법(들)은 대상 블록 및/또는 주변 블록에 대한 코딩 파라미터들 중 적어도 하나에 따라 결정될 수 있다. 결정된 변환 방법은 1차 변환 및/또는 2차 변환이 사용되지 않음을 나타낼 수도 있다.The transform method (s) applied to the primary transform and / or the quadratic transform may be determined according to at least one of the coding parameters for the object block and / or the surrounding block. The determined transform method may indicate that the first transform and / or the second transform are not used.
또는 변환 방법을 지시하는 변환 정보가 부호화 장치(100)로부터 복호화 장치(200)로 시그널링될 수도 있다. 예를 들면, 변환 정보는 1차 변환 및/또는 2차 변환을 위해 사용될 변환의 인덱스를 포함할 수 있다.Or conversion information indicating the conversion method may be signaled from the encoding device 100 to the decryption device 200. [ For example, the transformation information may include an index of transformations to be used for the primary transformation and / or the secondary transformation.
1차 변환 및/또는 2차 변환의 수행에 의해 생성된 결과 또는 잔차 신호에 양자화를 수행함으로써 양자화된 변환 계수(즉, 양자화된 레벨)이 생성될 수 있다.The quantized transform coefficients (i.e., quantized levels) can be generated by performing quantization on the result or residual signal generated by performing the primary transform and / or the quadratic transform.
도 13은 일 예에 따른 대각선 스캐닝을 나타낸다.13 illustrates diagonal scanning according to an example.
도 14는 일 예에 따른 수평 스캐닝을 나타낸다.14 shows horizontal scanning according to an example.
도 15는 일 예에 따른 수직 스캐닝을 나타낸다.15 shows vertical scanning according to an example.
양자화된 변환 계수들은 인트라 예측 모드, 블록 크기 및 블록 형태 중 적어도 하나에 따라서, (우상단(up-right)) 대각선 스캐닝, 수직 스캐닝 및 수평 스캐닝 중 적어도 하나에 따라서 스캐닝(scanning) 될 수 있다. 블록은 변환 유닛일 수 있다.The quantized transform coefficients may be scanned according to at least one of an intraprediction mode, a block size, and a block type according to at least one of (up-right) diagonal scanning, vertical scanning and horizontal scanning. The block may be a conversion unit.
각 스캐닝은 특정된 시작 점에서 시작할 수 있고 특정된 종료 점에서 종료할 수 있다.Each scanning can start at a specified starting point and end at a specified ending point.
예를 들면, 도 13의 대각선 스캐닝을 이용하여 블록의 계수들을 스캔함으로써 양자화된 변환 계수들이 1차원 벡터 형태로 변경될 수 있다. 또는, 블록의 크기 및/또는 인트라 예측 모드에 따라 대각선 스캐닝 대신 도 14의 수평 스캐닝이나, 도 15의 수직 스캐닝이 사용될 수 있다.For example, the quantized transform coefficients can be changed to a one-dimensional vector form by scanning the coefficients of the block using the diagonal scanning of FIG. Alternatively, horizontal scanning of FIG. 14 or vertical scanning of FIG. 15 may be used instead of diagonal scanning depending on the block size and / or intra prediction mode.
수직 스캐닝은 2차원의 블록 형태 계수를 열 방향으로 스캔하는 것일 수 있다. 수평 스캐닝은 2차원의 블록 형태 계수를 행 방향으로 스캔하는 것일 수 있다.Vertical scanning may be a two dimensional block form factor scan in the column direction. The horizontal scanning may be to scan the two-dimensional block form factor in the row direction.
말하자면, 블록의 크기 및/또는 인터 예측 모드에 따라 대각선 스캐닝, 수직 스캐닝 및 수평 스캐닝 중 어떤 스캐닝이 사용될 것인지가 결정될 수 있다.That is to say, depending on the size of the block and / or the inter prediction mode, it can be determined which one of diagonal scanning, vertical scanning and horizontal scanning is to be used.
도 13, 도 14 및 도 15에서 도시된 것과 같이, 양자화된 변환 계수들은 대각선 방향, 수평 방향 또는 수직 방향에 따라 스캔될 수 있다.As shown in Figs. 13, 14, and 15, the quantized transform coefficients may be scanned along the diagonal direction, the horizontal direction, or the vertical direction.
양자화된 변환 계수들은 블록 형태로 표현될 수 있다. 블록은 복수의 서브 블록들을 포함할 수 있다. 각 서브 블록은 최소 블록 크기 또는 최소 블록 형태에 따라 정의될 수 있다.The quantized transform coefficients may be expressed in block form. A block may include a plurality of sub-blocks. Each sub-block may be defined according to a minimum block size or a minimum block type.
스캐닝에 있어서, 스캐닝의 종류 또는 방향에 따른 스캐닝 순서는 우선 서브 블록들에 적용될 수 있다. 또한, 서브 블록 내의 양자화된 변환 계수들에 대해 스캐닝의 방향에 따른 스캐닝 순서가 적용될 수 있다.In scanning, the scanning order according to the type or direction of scanning may be first applied to the sub-blocks. In addition, the scanning order according to the scanning direction may be applied to the quantized transform coefficients in the sub-block.
예를 들면, 도 13, 도 14 및 도 15에서 도시된 것과 같이, 대상 블록의 크기가 8x8일 때, 대상 블록의 잔차 신호에 대한 1차 변환, 2차 변환 및 양자화에 의해 양자화된 변환 계수들이 생성될 수 있다. 이후, 4 개의 4x4 서브 블록들에 대해 3 가지의 스캐닝 순서들 중 하나의 스캐닝 순서가 적용될 수 있으며, 각 4x4 서브 블록에 대해서도 스캐닝 순서에 따라 양자화된 변환 계수들이 스캐닝될 수 있다.For example, as shown in FIGS. 13, 14, and 15, when the size of the target block is 8x8, the transform coefficients quantized by the first transform, the second transform, and the quantization on the residual signal of the target block Lt; / RTI > Thereafter, one of the three scanning sequences may be applied to four 4x4 subblocks, and the quantized transform coefficients may be scanned for each 4x4 subblock according to the scanning order.
스캐닝된 양자화된 변환 계수들은 엔트로피 부호화될 수 있고, 비트스트림은 엔트로피 부호화된 양자화된 변환 계수들을 포함할 수 있다.The scanned quantized transform coefficients may be entropy encoded and the bitstream may comprise entropy encoded quantized transform coefficients.
복호화 장치(200)는 비트스트림에 대한 엔트로피 복호화를 통해 양자화된 변환 계수들 생성할 수 있다. 양자화된 변환 계수들은 역 스캐닝(inverse scanning)을 통해 2차원의 블록 형태로 정렬될 수 있다. 이때, 역 스캐닝의 방법으로서, 우상단 대각 스캔, 수직 스캔 및 수평 스캔 중 적어도 하나가 수행될 수 있다.The decoding apparatus 200 can generate quantized transform coefficients through entropy decoding on the bit stream. The quantized transform coefficients may be arranged in a two-dimensional block form through inverse scanning. At this time, as a method of inverse scanning, at least one of top-right diagonal scanning, vertical scanning, and horizontal scanning may be performed.
양자화된 변환 계수들에 역양자화가 수행될 수 있다. 2차 역변환의 수행 여부에 따라서, 역양자화의 수행에 의해 생성된 결과에 대하여 2차 역변환이 수행될 수 있다. 또한, 1차 역변환의 수행 여부에 따라서, 2차 역변환의 수행에 의해 생성된 결과에 대하여 1차 역변환이 수행될 수 있다. 2차 역변환의 수행에 의해 생성된 결과에 대하여 1차 역변환을 수행함으로써 복원된 잔차 신호가 생성될 수 있다.The inverse quantization can be performed on the quantized transform coefficients. Depending on whether or not the second-order inverse transform is performed, the second-order inverse transform can be performed on the result generated by performing the inverse quantization. Also, depending on whether or not the first-order inverse transform is performed, the first-order inverse transform can be performed on the result generated by performing the second-order inverse transform. The reconstructed residual signal can be generated by performing the first-order inverse transform on the result generated by performing the second-order inverse transform.
도 16은 일 실시예에 따른 부호화 장치의 구조도이다.16 is a structural diagram of an encoding apparatus according to an embodiment.
부호화 장치(1600)는 전술된 부호화 장치(100)에 대응할 수 있다.The encoding apparatus 1600 may correspond to the encoding apparatus 100 described above.
부호화 장치(1600)는 버스(1690)를 통하여 서로 통신하는 처리부(1610), 메모리(1630), 사용자 인터페이스(User Interface; UI) 입력 디바이스(1650), UI 출력 디바이스(1660) 및 저장소(storage)(1640)를 포함할 수 있다. 또한, 부호화 장치(1600)는 네트워크(1699)에 연결되는 통신부(1620)를 더 포함할 수 있다.The encoding device 1600 includes a processing unit 1610, a memory 1630, a user interface (UI) input device 1650, a UI output device 1660, and a storage unit 1630, which communicate with each other via a bus 1690. [ 1640 < / RTI > The encoding apparatus 1600 may further include a communication unit 1620 connected to the network 1699.
처리부(1610)는 중앙 처리 장치(Central Processing Unit; CPU), 메모리(1630) 또는 저장소(1640)에 저장된 프로세싱(processing) 명령어(instruction)들을 실행하는 반도체 장치일 수 있다. 처리부(1610)는 적어도 하나의 하드웨어 프로세서일 수 있다.The processing unit 1610 may be a semiconductor device that executes processing instructions stored in a central processing unit (CPU), memory 1630, or storage 1640. The processing unit 1610 may be at least one hardware processor.
처리부(1610)는 부호화 장치(1600)로 입력되거나, 부호화 장치(1600)에서 출력되거나, 부호화 장치(1600)의 내부에서 사용되는 신호, 데이터 또는 정보의 생성 및 처리를 수행할 수 있고, 신호, 데이터 또는 정보에 관련된 검사, 비교 및 판단 등을 수행할 수 있다. 말하자면, 실시예에서 데이터 또는 정보의 생성 및 처리와, 데이터 또는 정보에 관련된 검사, 비교 및 판단은 처리부(1610)에 의해 수행될 수 있다.The processing unit 1610 can generate and process signals, data, or information that are input to the encoding apparatus 1600, output from the encoding apparatus 1600, used in the encoding apparatus 1600, Compare, and judge related to data or information. In other words, in the embodiment, the generation and processing of data or information and the inspection, comparison and judgment relating to data or information can be performed by the processing unit 1610.
처리부(1610)는 인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)를 포함할 수 있다.The processing unit 1610 includes an inter prediction unit 110, an intra prediction unit 120, a switch 115, a subtractor 125, a transform unit 130, a quantization unit 140, an entropy coding unit 150, An inverse transform unit 170, an adder 175, a filter unit 180, and a reference picture buffer 190, as shown in FIG.
인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190) 중 적어도 일부는 프로그램 모듈들일 수 있으며, 외부의 장치 또는 시스템과 통신할 수 있다. 프로그램 모듈들은 운영 체제, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 부호화 장치(1600)에 포함될 수 있다.The inter prediction unit 110, the intra prediction unit 120, the switch 115, the subtractor 125, the transform unit 130, the quantization unit 140, the entropy coding unit 150, the inverse quantization unit 160, At least some of the inverse transform unit 170, the adder 175, the filter unit 180, and the reference picture buffer 190 may be program modules and may communicate with an external device or system. The program modules may be included in the encoding device 1600 in the form of an operating system, application program modules, and other program modules.
프로그램 모듈들은 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈 중 적어도 일부는 부호화 장치(1600)와 통신 가능한 원격 기억 장치에 저장될 수도 있다.The program modules may be physically stored on various known storage devices. At least some of these program modules may also be stored in a remote storage device capable of communicating with the encoding device 1600. [
프로그램 모듈들은 일 실시예에 따른 기능 또는 동작을 수행하거나, 일 실시예에 따른 추상 데이터 유형을 구현하는 루틴(routine), 서브루틴(subroutine), 프로그램, 오브젝트(object), 컴포넌트(component) 및 데이터 구조(data structure) 등을 포괄할 수 있지만, 이에 제한되지는 않는다.Program modules may be implemented as a set of routines, subroutines, programs, objects, components, and data that perform functions or operations in accordance with one embodiment, implement an abstract data type according to one embodiment, Data structures, and the like, but are not limited thereto.
프로그램 모듈들은 부호화 장치(1600)의 적어도 하나의 프로세서(processor)에 의해 수행되는 명령어(instruction) 또는 코드(code)로 구성될 수 있다.Program modules may be comprised of instructions or code that are executed by at least one processor of the encoding device 1600. [
처리부(1610)는 인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)의 명령어 또는 코드를 실행할 수 있다.The processing unit 1610 includes an inter prediction unit 110, an intra prediction unit 120, a switch 115, a subtractor 125, a transform unit 130, a quantization unit 140, an entropy coding unit 150, The adder 175, the filter unit 180, and the reference picture buffer 190, as shown in FIG.
저장부는 메모리(1630) 및/또는 저장소(1640)를 나타낼 수 있다. 메모리(1630) 및 저장소(1640)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들면, 메모리(1630)는 롬(ROM)(1631) 및 램(RAM)(1632) 중 적어도 하나를 포함할 수 있다.The storage may represent memory 1630 and / or storage 1640. Memory 1630 and storage 1640 can be various types of volatile or non-volatile storage media. For example, memory 1630 may include at least one of ROM (R) 1631 and RAM (RAM) 1632.
저장부는 부호화 장치(1600)의 동작을 위해 사용되는 데이터 또는 정보를 저장할 수 있다. 실시예에서, 부호화 장치(1600)가 갖는 데이터 또는 정보는 저장부 내에 저장될 수 있다.The storage unit may store data or information used for the operation of the encoding apparatus 1600. In the embodiment, the data or information possessed by the encoding apparatus 1600 can be stored in the storage unit.
예를 들면, 저장부는 픽처, 블록, 리스트, 움직임 정보, 인터 예측 정보 및 비트스트림 등을 저장할 수 있다.For example, the storage unit may store pictures, blocks, lists, motion information, inter prediction information, bit streams, and the like.
부호화 장치(1600)는 컴퓨터에 의해 독출(read)될 수 있는 기록 매체를 포함하는 컴퓨터 시스템에서 구현될 수 있다.Encoding device 1600 can be implemented in a computer system that includes a recording medium that can be read by a computer.
기록 매체는 부호화 장치(1600)가 동작하기 위해 요구되는 적어도 하나의 모듈을 저장할 수 있다. 메모리(1630)는 적어도 하나의 모듈을 저장할 수 있고, 적어도 하나의 모듈이 처리부(1610)에 의하여 실행되도록 구성될 수 있다.The recording medium may store at least one module required for the encoding apparatus 1600 to operate. The memory 1630 may store at least one module, and at least one module may be configured to be executed by the processing unit 1610.
부호화 장치(1600)의 데이터 또는 정보의 통신과 관련된 기능은 통신부(1620)를 통해 수행될 수 있다.The function related to the communication of data or information of the encoding apparatus 1600 may be performed through the communication unit 1620. [
예를 들면, 통신부(1620)는 비트스트림을 후술될 복호화 장치(1700)로 전송할 수 있다.For example, the communication unit 1620 can transmit the bit stream to the decoding apparatus 1700 to be described later.
도 17은 일 실시예에 따른 복호화 장치의 구조도이다.17 is a structural diagram of a decoding apparatus according to an embodiment.
복호화 장치(1700)는 전술된 복호화 장치(200)에 대응할 수 있다.The decoding apparatus 1700 may correspond to the decoding apparatus 200 described above.
복호화 장치(1700)는 버스(1790)를 통하여 서로 통신하는 처리부(1710), 메모리(1730), 사용자 인터페이스(User Interface; UI) 입력 디바이스(1750), UI 출력 디바이스(1760) 및 저장소(storage)(1740)를 포함할 수 있다. 또한, 복호화 장치(1700)는 네트워크(1799)에 연결되는 통신부(1720)를 더 포함할 수 있다.The decryption apparatus 1700 includes a processing unit 1710, a memory 1730, a user interface (UI) input device 1750, a UI output device 1760, and a storage 1760, which communicate with each other via a bus 1790. [ Lt; RTI ID = 0.0 > 1740 < / RTI > In addition, the decryption apparatus 1700 may further include a communication unit 1720 connected to the network 1799.
처리부(1710)는 중앙 처리 장치(Central Processing Unit; CPU), 메모리(1730) 또는 저장소(1740)에 저장된 프로세싱(processing) 명령어(instruction)들을 실행하는 반도체 장치일 수 있다. 처리부(1710)는 적어도 하나의 하드웨어 프로세서일 수 있다.The processing unit 1710 may be a semiconductor device that executes processing instructions stored in a central processing unit (CPU), memory 1730, or storage 1740. The processing unit 1710 may be at least one hardware processor.
처리부(1710)는 복호화 장치(1700)로 입력되거나, 복호화 장치(1700)에서 출력되거나, 복호화 장치(1700)의 내부에서 사용되는 신호, 데이터 또는 정보의 생성 및 처리를 수행할 수 있고, 신호, 데이터 또는 정보에 관련된 검사, 비교 및 판단 등을 수행할 수 있다. 말하자면, 실시예에서 데이터 또는 정보의 생성 및 처리와, 데이터 또는 정보에 관련된 검사, 비교 및 판단은 처리부(1710)에 의해 수행될 수 있다.The processing unit 1710 may perform generation and processing of signals, data, or information to be input to the decoding apparatus 1700, output from the decoding apparatus 1700, or used in the decoding apparatus 1700, Compare, and judge related to data or information. In other words, in the embodiment, the generation and processing of data or information and the inspection, comparison and judgment relating to the data or information can be performed by the processing unit 1710.
처리부(1710)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 스위치(245), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)를 포함할 수 있다.The processing unit 1710 includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 230, an intra prediction unit 240, an inter prediction unit 250, a switch 245, an adder 255, A reference picture buffer 260, and a reference picture buffer 270.
엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 스위치(245), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270) 중 적어도 일부는 프로그램 모듈들일 수 있으며, 외부의 장치 또는 시스템과 통신할 수 있다. 프로그램 모듈들은 운영 체제, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 복호화 장치(1700)에 포함될 수 있다.An entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 230, an intra prediction unit 240, an inter prediction unit 250, a switch 245, an adder 255, a filter unit 260, At least some of the reference picture buffer 270 may be program modules and may communicate with an external device or system. The program modules may be included in the decryption device 1700 in the form of an operating system, an application program module, and other program modules.
프로그램 모듈들은 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈 중 적어도 일부는 복호화 장치(1700)와 통신 가능한 원격 기억 장치에 저장될 수도 있다.The program modules may be physically stored on various known storage devices. At least some of these program modules may also be stored in a remote storage device capable of communicating with the decryption device 1700. [
프로그램 모듈들은 일 실시예에 따른 기능 또는 동작을 수행하거나, 일 실시예에 따른 추상 데이터 유형을 구현하는 루틴(routine), 서브루틴(subroutine), 프로그램, 오브젝트(object), 컴포넌트(component) 및 데이터 구조(data structure) 등을 포괄할 수 있지만, 이에 제한되지는 않는다.Program modules may be implemented as a set of routines, subroutines, programs, objects, components, and data that perform functions or operations in accordance with one embodiment, implement an abstract data type according to one embodiment, Data structures, and the like, but are not limited thereto.
프로그램 모듈들은 복호화 장치(1700)의 적어도 하나의 프로세서(processor)에 의해 수행되는 명령어(instruction) 또는 코드(code)로 구성될 수 있다.The program modules may be comprised of instructions or code that are executed by at least one processor of the decoding apparatus 1700.
처리부(1710)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 스위치(245), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)의 명령어 또는 코드를 실행할 수 있다.The processing unit 1710 includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 230, an intra prediction unit 240, an inter prediction unit 250, a switch 245, an adder 255, (260) and the reference picture buffer (270).
저장부는 메모리(1730) 및/또는 저장소(1740)를 나타낼 수 있다. 메모리(1730) 및 저장소(1740)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들면, 메모리(1730)는 롬(ROM)(1731) 및 램(RAM)(1732) 중 적어도 하나를 포함할 수 있다.The storage may represent memory 1730 and / or storage 1740. Memory 1730 and storage 1740 can be various types of volatile or non-volatile storage media. For example, the memory 1730 may include at least one of a ROM 1731 and a RAM 1732. [
저장부는 복호화 장치(1700)의 동작을 위해 사용되는 데이터 또는 정보를 저장할 수 있다. 실시예에서, 복호화 장치(1700)가 갖는 데이터 또는 정보는 저장부 내에 저장될 수 있다.The storage unit may store data or information used for the operation of the decoding apparatus 1700. In the embodiment, the data or information possessed by the decryption apparatus 1700 can be stored in the storage unit.
예를 들면, 저장부는 픽처, 블록, 리스트, 움직임 정보, 인터 예측 정보 및 비트스트림 등을 저장할 수 있다.For example, the storage unit may store pictures, blocks, lists, motion information, inter prediction information, bit streams, and the like.
복호화 장치(1700)는 컴퓨터에 의해 독출(read)될 수 있는 기록 매체를 포함하는 컴퓨터 시스템에서 구현될 수 있다.The decryption apparatus 1700 can be implemented in a computer system including a recording medium that can be read by a computer.
기록 매체는 복호화 장치(1700)가 동작하기 위해 요구되는 적어도 하나의 모듈을 저장할 수 있다. 메모리(1730)는 적어도 하나의 모듈을 저장할 수 있고, 적어도 하나의 모듈이 처리부(1710)에 의하여 실행되도록 구성될 수 있다.The recording medium may store at least one module required for the decryption apparatus 1700 to operate. The memory 1730 may store at least one module, and at least one module may be configured to be executed by the processing unit 1710.
복호화 장치(1700)의 데이터 또는 정보의 통신과 관련된 기능은 통신부(1720)를 통해 수행될 수 있다.The function related to the communication of data or information of the decryption apparatus 1700 may be performed through the communication unit 1720. [
예를 들면, 통신부(1720)는 부호화 장치(1600)로부터 비트스트림을 수신할 수 있다.For example, the communication unit 1720 can receive the bit stream from the encoding device 1600. [
채널들 간의 정보 공유를 사용하는 영상 처리 방법Image processing method using information sharing between channels
실시예들의 방법 및 장치는, 4K 또는 8K 와 같은 고해상도 영상에 대하여 예측 및 다양한 변환을 사용하는 변환 부호화 기술을 적용할 수 있고, 결정된 다양한 코딩 결정 정보들을 채널들 간에 공유하여 영상을 부호화 및/또는 복호화할 수 있고, 전송된 코딩 결정 정보를 채널들 간에 공유하여 부호화된 영상에 대한 압축 비트스트림 또는 압축 데이터를 복호화할 수 있다.The method and apparatus of the embodiments can apply a transcoding technique using prediction and various transforms to a high-resolution image such as 4K or 8K, and can share the determined various coding decision information between channels to encode and / And decodes the compressed bitstream or compressed data for the encoded image by sharing the transmitted coding decision information between the channels.
복수의 채널들은 블록을 나타내는 복수의 구성요소들을 의미할 수 있다. 예를 들면, 복수의 채널들은 컬러 채널, 깊이(depth) 채널 및 알파(alpha) 채널 등을 포함할 수 있다.A plurality of channels may denote a plurality of components representing a block. For example, the plurality of channels may include a color channel, a depth channel, and an alpha channel.
이하에서, 용어들 "채널" 및 "컬러"의 의미들은 동일할 수 있으며, 서로 교체되어 사용될 수 있다. 또는, 컬러는 채널 중 하나일 수 있다. 용어 "채널"은 용어들 "컬러", "깊이" 및 "알파"의 하나 이상과 교체되어 사용될 수 있다.In the following, the meanings of the terms "channel" and "color" may be the same and may be used interchangeably. Alternatively, the color may be one of the channels. The term "channel" may be used interchangeably with one or more of the terms "color "," depth ", and "alpha ".
실시예의 기술을 사용함으로써, 영상의 부호화 및 복호화에 종래 기술을 적용할 때 발생하는 압축률의 저하 및 화질 저하의 문제가 개선될 수 있다. 특히, 픽셀 값들의 변화도가 공간적으로 집중된 영상에 종래의 기술이 적용되는 경우 압축률 및 화질 저하의 문제가 심하게 발생할 수 있다.By using the technique of the embodiment, it is possible to improve the problem of degradation of the compression rate and deterioration of image quality, which occurs when the conventional technique is applied to the encoding and decoding of the image. Particularly, when the conventional technique is applied to an image in which the degree of change of pixel values is spatially concentrated, a problem of compression ratio and deterioration of image quality may occur severely.
예를 들면, 실시예에 따른 부호화 및 복호화를 위해 채널들 간에 공유되는 다양한 코딩 결정 정보들로서, 아래와 같은 정보들이 있다. 아래의 정보들의 명칭들에서 "플래그"는 생략될 수 있다.For example, as various coding determination information shared among channels for encoding and decoding according to the embodiment, there are the following information. In the names of the following information, the "flag" may be omitted.
1) 변환 생략 플래그(transform_skip_flag) 정보는 선택적인 변환의 생략의 여부를 지시할 수 있다. 또는, transform_skip_flag 정보는 변환 및 변환의 생략 중 하나를 가리킬 수 있다.1) The conversion skip flag (transform_skip_flag) information can indicate whether or not the selective conversion is omitted. Alternatively, the transform_skip_flag information may indicate one of conversion and conversion skipping.
2) 인트라 스무딩(intra smoothing) 필터링 정보는 인트라 예측에서 사용되는 참조 픽셀들에 대해 스무딩 필터링이 적용되는지 여부를 나타낼 수 있다.2) intra smoothing filtering information may indicate whether smoothing filtering is applied to reference pixels used in intra prediction.
3) 위치 의존 인트라 예측 조합(Position Dependent intra Prediction Combination; PDPC) 플래그(PDPC_flag) 정보는 특정된 인트라 예측(예를 들면, 플래너 예측)이 수행될 때, 스무딩(즉, 필터링)이 적용된 주변의 픽셀 및 스무딩(즉, 필터링)이 적용되지 않은 주변의 픽셀을 함께 사용하여 인트라 예측을 수행할지 여부를 지시할 수 있다.3) The Position Dependent intra Prediction Combination (PDPC) flag (PDPC_flag) information is used to determine whether or not the neighboring pixels to which smoothing (i.e., filtering) is applied when a specified intra prediction And surrounding pixels not subjected to smoothing (i.e., filtering) are used together to indicate whether to perform intra prediction.
4) 잔차 펄스 코드된 변조(Residual Differential Pulse Coded Modulation; RDPCM) 플래그(rdpcm_flag) 정보는 1 회의 예측에 의해 획득된 잔여 신호에 대하여 추가로 차등 펄스 코드된 변조(Differential Pulse Coded Modulation; DPCM)을 수행하여 다시 잔여 신호를 획득하는 RDPCM을 수행하는지 여부를 지시할 수 있다.4) Residual Differential Pulse Coded Modulation (RDPCM) flag (rdpcm_flag) information is further subjected to differential pulse coded modulation (DPCM) with respect to the residual signal obtained by one prediction And perform RDPCM to obtain the residual signal again.
5) 다중 변환 선택(Multiple Transform Selection: MTS) 플래그(mts_flag) 정보는 확장된 다중 변환(Extended Multiple Transform; EMT)의 부호화 방법이 사용되는지 여부를 지시할 수 있다.5) The Multiple Transform Selection (MTS) flag (mts_flag) information may indicate whether or not an Extended Multiple Transform (EMT) encoding method is used.
EMT는 구비된 복수의 변환들 중 대상 블록인 변환 블록에 대하여 특정된 변환을 선택 및 사용하는 부호화 방법일 수 있다.The EMT may be a coding method for selecting and using a transform specified for a transform block that is a target block among a plurality of transforms provided.
EMT는 향상된 다중 변환(enhanced multi transform)으로도 칭해질 수 있고, 다중 변환 선택(Multiple Transform Selection; MTS)으로도 칭해질 수 있다.The EMT may be referred to as an enhanced multiple transform and may also be referred to as Multiple Transform Selection (MTS).
6) EMT 플래그 정보는 EMT가 사용되는지 여부를 지시할 수 있다.6) The EMT flag information may indicate whether or not the EMT is used.
7) MTS 인덱스(mts_idx) 정보는 MTS가 사용될 경우, 가로 -항 및 세로 방향으로 어떤 변환이 사용되는지를 지시할 수 있다.7) The MTS index (mts_idx) information may indicate which transform is used in the transverse-direction and longitudinal direction when the MTS is used.
mts_idx 정보의 일부(예를 들면, mts_idx 중 특정된 1 비트)는 잔차 신호의 수평 방향에서 사용되는 변환을 지시하는 정보일 수 있다.A part of the mts_idx information (e.g., one bit specified in mts_idx) may be information indicating a conversion used in the horizontal direction of the residual signal.
mts_idx 정보의 다른 일부 또는 나머지의 일부(예를 들면, mts_idx 중 특정된 다른 1 비트)는 잔차 신호의 수직 방향에서 사용되는 변환을 지시하는 정보일 수 있다.Another part or the remaining part of the mts_idx information (e.g., the other one bit specified in mts_idx) may be information indicating a conversion used in the vertical direction of the residual signal.
예를 들면, mts_idx 정보에 따른 변환의 결정은 아래의 표 7 및 표 8과 같이 구성될 수 있다.For example, the determination of the conversion according to the mts_idx information can be configured as shown in Tables 7 and 8 below.
[표 7][Table 7]
Figure pat00008
Figure pat00008
[표 8][Table 8]
Figure pat00009
Figure pat00009
표 7에서는, 인트라 예측 모드 및 mts_idx 정보의 값에 따라서 사용되는 수평 방향의 변환 및 수직 방향의 변환이 예시되었다.In Table 7, the horizontal direction conversion and the vertical direction conversion used in accordance with the intra prediction mode and the value of the mts_idx information are illustrated.
표 7에 따르면, 대상 블록의 인터 예측 또는 인터 예측을 위해 mts_idx 정보가 획득되면, mts_idx 정보의 값에 따라서 대상 블록의 변환에 사용될 수평 방향의 변환 및 수직 방향의 변환이 결정될 수 있다.According to Table 7, when mts_idx information is acquired for inter prediction or inter prediction of a target block, a horizontal direction transformation and a vertical direction transformation to be used for transforming a target block may be determined according to the value of mts_idx information.
예를 들면, 대상 블록의 인트라 예측 모드가 6일 때, mts_idx 정보의 값이 2이면, 수평 변환의 변환으로는 DCT-7이 사용될 수 있고, 수직 방향의 변환으로는 DCT-8이 사용될 수 있다. For example, when the intra-prediction mode of the target block is 6 and the value of the mts_idx information is 2, DCT-7 can be used for the horizontal conversion and DCT-8 can be used for the vertical direction conversion .
표 8은 표 7의 변형된 실현 예를 나타낼 수 있다. 표 8에서, MTS_CU_flag는 다중 변환 선택(Multiple Transform Selection; MTS) 방법이 사용되는지 여부를 지시하는 플래그(mts_flag) 정보가 CU의 단위로 결정되고 전송된다는 것을 지시할 수 있다. 또한, MTS_Hor_flag 및 MTS_Ver_flag는 각각 수평 방향 및 수직 방향에서 사용되는 변환을 지시할 수 있다. 표 8은 MTS_Hor_flag 및 MTS_Ver_flag의 값들에 의하여 수평 방향 및 수직 방향에 사용되는 변환들을 예시할 수 있다..Table 8 shows the modified realization examples of Table 7. < tb > < TABLE > In Table 8, MTS_CU_flag may indicate that flag (mts_flag) information indicating whether the Multiple Transform Selection (MTS) method is used is determined and transmitted in units of CUs. In addition, MTS_Hor_flag and MTS_Ver_flag can indicate the conversion used in the horizontal direction and the vertical direction, respectively. Table 8 can illustrate transformations used in the horizontal and vertical directions by the values of MTS_Hor_flag and MTS_Ver_flag.
또는, 표 7의 mts_idx 정보에 따른 변환의 결정은 아래의 표 9와 같이 구성될 수 있다.Alternatively, the determination of the conversion according to the mts_idx information in Table 7 can be made as shown in Table 9 below.
[표 9][Table 9]
Figure pat00010
Figure pat00010
표 9에서는 인트라 예측 및 인터 예측에 있어서, mts_idx 정보의 값에 따라서 사용되는 수평 변환 타입 및 수직 변환 타입이 예시되었다.Table 9 exemplifies the horizontal conversion type and the vertical conversion type used in the intra prediction and inter prediction according to the value of the mts_idx information.
수평 변환 타입의 각 값은 특정된 변환을 나타낼 수 있다. 예를 들면, 수평 변환 타입의 값 1은 DST-7을 나타낼 수 있다. 수평 변환 타입의 값 2는 DCT-8을 나타낼 수 있다.Each value of the horizontal transform type can represent a specified transform. For example, a horizontal conversion type value of 1 may represent DST-7. A horizontal transform type value of 2 may represent DCT-8.
8) 분리가능하지 않은 2차 변환(Non-Separable Secondary Transform; NSST) 플래그(nsst_flag) 정보는 1차 변환에 의해 획득된 전체의 또는 일부의 변환 계수들에 대하여 추가로 분리가능하지 않은(non-separable) 2차 변환을 수행하는 NSST 부호화 방법을 사용하는지 여부를 지시할 수 있다.8) The Non-separable Secondary Transform (NSST) flag (nsst_flag) information is not additionally non-separable for all or some of the transform coefficients obtained by the first- separable) NSST coding method for performing the second conversion.
9) NSST 인덱스(nsst_idx) 정보는 NSST 부호화 방법이 사용되는 경우 변환 계수들의 전체 또는 일부에 적용되는 2차 변환의 종류를 지시할 수 있다.9) The NSST index (nsst_idx) information may indicate the type of quadratic transformation applied to all or part of the transform coefficients when the NSST coding method is used.
nsst_idx 정보는 2차원 비분리 변환을 위해서 사용될 변환을 지시할 수 있다.The nsst_idx information may indicate a transformation to be used for the 2D non-separating transformation.
10) CU 스킵 플래그 정보는 CU에 대한 부호화된 데이터의 전송이 생략되는지 여부를 나타낼 수 있다.10) The CU skip flag information may indicate whether the transmission of coded data to the CU is omitted.
11) CU 밝기 차이 보상 플래그(CU_lic_flag) 정보는 블록들의 밝기들 간의 차이에 대한 보상의 여부를 지시할 수 있다.11) The CU brightness difference compensation flag (CU_lic_flag) information may indicate whether or not compensation for the difference between the brightnesses of the blocks.
12) 중첩된 블록 움직임 보상(Overlapped Block Motion Compensation; OBMC) 플래그(obmc_flag) 정보는 중첩된 복수의 움직임 보상 블록들을 사용하여 최종의 움직임 보상 블록을 생성하는지 여부를 지시할 수 있다.12) Overlapped Block Motion Compensation (OBMC) flag (obmc_flag) information may indicate whether to generate a final motion compensation block using a plurality of overlapped motion compensation blocks.
13) codeAlfCtuEnable 플래그(codeAlfCtuEnable_flag) 정보는 현재 CTU의 픽셀 값에 ALF(Adaptive Loop Filter)의 적용가능 여부를 지시할 수 있다.13) The codeAlfCtuEnable flag (codeAlfCtuEnable_flag) information can indicate whether Adaptive Loop Filter (ALF) can be applied to the pixel value of the current CTU.
이러한 코딩 결정 정보가 채널들 간에서 공유될 경우, 영상 압축의 압축률이 향상되면서도 동시에 좋은 화질의 영상이 획득될 수 있다.When the coding determination information is shared between the channels, the compression ratio of the image compression is improved, and at the same time, the image of good quality can be obtained.
실시예에 따른 채널들 간에서 공유되는 코딩 결정 정보를 설명함에 있어서, 동작의 설명, 도면 및 수식 등과 같은 실시예에 대한 전체적인 설명 및 이해의 편의 상, transform_skip_flag 정보가 채널들 간에서 공유되는 코딩 결정 정보의 일 예로서 사용될 수 있다.In describing the coding decision information shared between the channels according to the embodiment, for the sake of an overall explanation and understanding of the embodiments such as the description of operations, drawings and formulas, the coding decision in which the transform_skip_flag information is shared between channels Can be used as an example of information.
그러나, transform_skip_flag 정보는 구체적인 하나의 구현 예이며, 실시예가 적용되는 채널들 간에서 공유되는 코딩 결정 정보가 transform_skip_flag 만을 의미하는 것은 아닐 수 있다.However, the transform_skip_flag information is a specific implementation example, and the coding decision information shared among the channels to which the embodiment is applied may not mean only transform_skip_flag.
예를 들면, 복호화에 요구되는 1) rdpcm_flag 정보, 2) mts_flag 정보, mts_idx 정보, nsst_flag 정보 및 nsst_idx 정보들과 같은 변환 관련 선택 정보들, 3) obmc_flag 정보 및 4) PDPC_flag 정보 등과 같이 상기에 언급된 코딩 결정 정보들의 하나 이상이 채널들 간에서 공유되는 코딩 결정 정보에 포함되는 것으로 이해되어야 할 수 있다.Such as 1) rdpcm_flag information, 2) mts_flag information, mts_idx information, nsst_flag information and nsst_idx information, 3) obmc_flag information, and 4) PDPC_flag information required for decryption, It may be understood that one or more of the coding decision information is included in the coding decision information that is shared between the channels.
또한, 실시예에 따른 복호화에 요구되는 코딩 결정 정보를 공유할 채널들을 설명함에 있어서, YCbCr 컬러 공간이 예시로서 사용될 수 있다. 그러나 YCbCr 컬러 공간은 구체적인 하나의 구현 예이며, 실시예들은 YUV 컬러 공간, XYZ 컬러 공간 및 RGB 컬러 공간 등과 같은 다양한 컬러 공간들에 적용될 수 있다.In describing channels for sharing coding determination information required for decoding according to the embodiment, a YCbCr color space may be used as an example. However, the YCbCr color space is one specific implementation, and embodiments can be applied to various color spaces such as YUV color space, XYZ color space, and RGB color space.
컬러 인덱스(cIDX)는 컬러 공간의 채널들 중 하나의 채널을 가리키기 위한 채널 인덱스를 의미할 수 있다.The color index (cIDX) may denote a channel index for indicating one channel of the channels in the color space.
YCbCr 컬러 공간 및 YUV 컬러 공간에 대해서, cIDX는 컬러 공간의 순서대로 표시된 채널들에 대하여 "0/1/2"의 값들을 가질 수 있다. 값들 "a/b/c"은 첫 번째의 채널을 가리키는 cIDX의 값이 a이고, 두 번째의 채널을 가리키는 cIDX의 값이 b이고, 세 번째의 채널을 가리키는 cIDX의 값이 c임을 나타낼 수 있다.For the YCbCr color space and the YUV color space, cIDX may have values of " 0/1/2 "for the displayed channels in order of color space. The value "a / b / c" indicates that the value of cIDX indicating the first channel is a, the value of cIDX indicating the second channel is b, and the value of cIDX indicating the third channel is c .
또는, YCbCr 컬러 공간 및 YUV 컬러 공간에 대해서는, cIDX는 컬러 공간의 순서대로 표시된 채널들에 대하여 "0/2/1"의 값들을 갖는 것이 가능할 수 있다.Or, for the YCbCr color space and the YUV color space, cIDX may be possible to have values of "0/2/1" for the channels displayed in the order of the color space.
RGB 컬러 공간 및 XYZ 컬러 공간에 대해서는, cIDX는 컬러 공간의 순서대로 표시된 채널들에 대하여, "1/0/2"의 값들 또는 "2/0/1"의 값들을 가질 수 있다.For the RGB color space and the XYZ color space, cIDX may have values of "1/0/2" or "2/0/1" for the channels displayed in the order of the color space.
고효율의 영상 부호화/복호화의 목적으로 개발되었거나 개발되고 있는 영상 압축 기술로써, 1) 대상 픽처의 이전 픽처 또는 이후 픽처로부터 대상 픽처에 포함된 픽셀의 픽셀 값을 예측하는 인터 예측 기술, 2) 대상 픽처 내의 픽셀의 정보를 이용하여 현재 대상 픽처에 포함된 픽셀의 픽셀 값을 예측하는 인트라 예측 기술, 3) 예측 오차로서 남는 잔차 신호의 에너지를 압축하기 위한 변환 및 양자화 기술, 4) 높은 출현 빈도를 갖는 값에 짧은 부호를 할당하고, 낮은 출현 빈도를 갖는 값에 긴 부호를 할당하는 엔트로피 부호화 기술 및 산술 부호화 기술 등과 같은 다양한 기술들이 존재할 수 있다. 이러한 영상 압축 기술을 이용함으로써 영상 데이터가 효과적으로 압축, 전송 및 저장될 수 있다.1) an inter prediction technique for predicting a pixel value of a pixel included in a target picture from a previous picture or a following picture of a current picture; 2) an inter prediction technique for predicting a pixel value of a pixel included in a current picture from a previous picture or a following picture of the current picture; An intra prediction technique for predicting a pixel value of a pixel included in a current target picture by using information of pixels in a current picture, 3) a conversion and quantization technique for compressing energy of a residual signal remaining as a prediction error, and 4) There may be a variety of techniques such as entropy coding techniques and arithmetic coding techniques that assign a short code to a value and assign a long code to a value with a low frequency of occurrence. By using such an image compression technique, image data can be compressed, transmitted and stored effectively.
영상의 부호화에 적용될 수 있는 압축 기술은 매우 다양할 수 있다. 또한 부호화될 영상의 성질에 따라, 특정 압축 기술이 다른 압축 기술에 비하여 더 유리할 수 있다. 따라서 부호화 장치(1600)는 복수의 다양한 압축 기술들을 대상 블록에 대하여 사용할지 여부를 적응적으로 결정함으로써 대상 블록을 위해 가장 유리한 압축을 수행할 수 있다.The compression techniques that can be applied to the encoding of an image can vary widely. Also, depending on the nature of the image to be encoded, a particular compression technique may be more advantageous than other compression techniques. Therefore, the encoding apparatus 1600 can perform the most advantageous compression for the target block by adaptively determining whether to use a plurality of various compression techniques for the target block.
따라서, 선택가능한 여러 압축 기술들 중, 대상 블록에 대하여 가장 유리한 압축 기술을 선택하기 위해 부호화 장치(1600)는 통상적으로 율-왜곡 최적화(Rate-Distortion Optimization; RDO)를 수행할 수 있다. 영상의 부호화를 위해 선택될 수 있는 다양한 영상 부호화 결정들 중 어떤 부호화 결정이 율-왜곡의 측면에서 가장 최적인지는 미리 알려지지 못할 수 있다. 따라서, 부호화 장치(1600)는 가용한 모든 영상 부호화 결정들의 조합들의 각각에 대하여 부호화(또는, 간이화된 부호화)를 수행함으로써 조합들에 대한 율-왜곡 값들을 산출할 수 있고, 산출된 율-왜곡 값들 중 가장 작은 율-왜곡 값을 갖는 영상 부호화 결정을 대상 블록에 대한 최종적인 영상 부호화 결정으로서 결정 및 사용할 수 있다.Accordingly, of the various compression techniques that can be selected, the encoding device 1600 can typically perform Rate-Distortion Optimization (RDO) to select the most advantageous compression technique for the target block. It may not be known in advance which coding decision among the various image coding decisions that can be selected for coding the image is most optimal in terms of rate-distortion. Thus, the encoder 1600 can calculate the rate-distortion values for the combinations by performing an encoding (or simplified encoding) on each of the combinations of all available image encoding decisions, and the calculated rate-distortion The image encoding decision with the smallest rate-distortion value among the values can be determined and used as the final image encoding decision for the target block.
또한, 부호화 장치(1600)는 이러한 RDO를 수행함으로써 도출되거나 부호화 장치(1600)에 의해 선택된 여타의 결정 방법에 따라 도출된 부호화 결정을 비트스트림에 기록할 수 있다. 복호화 장치(1700)는 비트스트림에 기록된 부호화 결정을 독출(read)(즉, 파싱)하고, 부호화 결정에 따라 부호화에 대응하는 정확한 역과정을 수행함으로써 대상 블록에 대한 복호화를 정확하게 수행할 수 있다.Also, the encoding apparatus 1600 can record an encoding decision derived by performing such RDO or derived according to another decision method selected by the encoding apparatus 1600, in the bit stream. The decoding apparatus 1700 reads (i.e., parses) an encoding decision recorded in the bitstream and performs an accurate inverse process corresponding to the encoding according to the encoding decision, thereby accurately performing decoding on the object block .
여기에서, 부호화 결정을 나타내는 정보를 복호화를 위해 요구되는 코딩 결정 정보(coding decision information) 또는 코딩 정보로 칭할 수 있다.Here, the information indicating the coding decision can be referred to as coding decision information or coding information required for decoding.
이하에서, 용어들 "코딩 결정 정보" 및 "코딩 정보"의 의미들은 동일할 수 있으며, 서로 교체되어 사용될 수 있다.Hereinafter, the meanings of the terms "coding determination information" and "coding information" may be the same and may be used interchangeably.
일반적으로, 영상의 복수의 채널들(예를 들면, YUV, YCbCr, RGB 및 XYZ)이 항상 동일하거나 유사한 성질들을 갖지는 않을 수 있다. 따라서, 복수의 채널들의 각 채널에 대하여 독립적인 부호화 결정들이 수행되는 것이 압축률의 향상의 측면에서는 일반적으로 더 우수한 성능을 보일 수 있다.In general, a plurality of channels (e.g., YUV, YCbCr, RGB, and XYZ) of an image may not always have the same or similar properties. Thus, performing independent coding decisions for each channel of a plurality of channels generally exhibits better performance in terms of improving the compression ratio.
예를 들면, 상기에서 언급된 부호화 결정의 하나로써, 대상 블록에 변환을 수행할지 여부를 표시하는 부호화 결정인 transform_skip_flag가 있다. 즉, 블록들의 각각에 대하여 변환이 생략되는지 여부가 결정될 수 있고, 이러한 결정을 지시하는 transform_skip_flag 정보가 복수의 채널들의 각 채널에 대하여 코딩 결정 정보로서 비트스트림에 기록될 수 있다.For example, as one of the coding decisions mentioned above, there is transform_skip_flag, which is an encoding decision indicating whether to perform conversion in the target block. That is, for each of the blocks, it may be determined whether or not the transform is omitted, and transform_skip_flag information indicating this determination may be written to the bitstream as coding determination information for each channel of the plurality of channels.
일반적으로, 영상 압축의 부호화에 있어서, 대상 블록에 대한 변환은 항상 수행되는 것으로 간주되어 왔다. 그러나 압축의 대상인 대상 블록 내에서의 픽셀들의 픽셀 값들의 공간적 변화도가 매우 크거나, 특히 픽셀 값들의 변화가 국부적으로 매우 한정된 경우, 변환이 적용되어도 영상 에너지가 저주파로 집중되는 정도가 크지 않을 수 있고, 오히려 비교적 큰 값을 갖는 고주파 영역에 대한 변환 계수가 매우 많이 발생할 수 있다.Generally, in the coding of image compression, the conversion to the target block has always been considered to be performed. However, if the spatial variation of the pixel values of the pixels in the target block to be compressed is very large, and particularly when the change of the pixel values is locally very limited, the degree of image energy concentration at low frequencies may not be large And a large number of conversion coefficients for a high frequency region having a relatively large value may occur.
따라서, 변환 및 양자화의 과정을 통하여 저주파의 신호 성분은 대체적으로 유지하고 고주파의 신호 성분은 제거하는 경우 또는 양자화를 강하게 적용함으로써 데이터 양을 감소시키는 변환 및 양자화가 적용되는 경우, 심각한 화질의 저하가 발생할 수 있다. 특히, 픽셀들의 픽셀 값들의 공간적 변화가 매우 크거나, 국부적으로 매우 한정된 곳에 픽셀 값들의 변화가 집중된 경우 이러한 화질의 저하가 더 커질 수 있다.Therefore, when conversion and quantization which reduce the amount of data are applied by applying a quantization or when a signal component of a low frequency is generally maintained and a signal component of a low frequency is removed through transformation and quantization, serious image degradation Lt; / RTI > In particular, such a deterioration in image quality may be greater when the spatial variation of the pixel values of the pixels is very large, or when the variation of the pixel values is concentrated in a locally very limited area.
전술된 문제의 해결을 위해, 대상 블록에 일률적으로 변환을 적용하는 대신, 변환 없이 공간 영역에서의 픽셀들의 픽셀 값들을 직접 부호화하는 방법이 사용될 수 있다. 이러한 방법에 따르면, 각 변환 블록에 대하여 변환의 수행 여부가 결정될 수 있다. 이러한 결정에 따라 변환을 수행 또는 생략함으로써 변환 블록에 대한 부호화가 수행될 수 있다. 비트스트림에는 변환의 수행의 생략 여부를 지시하는 코딩 결정 정보인 transform_skip_flag 정보가 기록될 수 있다.In order to solve the above-mentioned problem, a method of directly encoding pixel values of pixels in a spatial region without conversion can be used instead of uniformly applying a conversion to a target block. According to this method, it is possible to determine whether to perform the conversion for each transform block. Encoding of the transform block can be performed by performing or omitting the transform according to this determination. The bit stream may be recorded with transform_skip_flag information, which is coding determination information indicating whether or not conversion is omitted.
예를 들면, transform_skip_flag 정보의 값이 1인 경우, 변환이 생략될 수 있다. transform_skip_flag 정보의 값이 0인 경우, 변환이 수행될 수 있다. 부호화 장치(1600)는 대상 블록에 대한 변환의 생략의 여부를 transform_skip_flag 정보를 통해 복호화 장치(1700)로 전달할 수 있고, 이러한 전달을 통해 전술된 문제가 해결될 수 있다.For example, if the value of the transform_skip_flag information is 1, the conversion may be omitted. If the value of the transform_skip_flag information is 0, the conversion can be performed. The encoding apparatus 1600 can transmit to the decoding apparatus 1700 through the transform_skip_flag information whether or not the conversion of the target block is omitted, and the aforementioned problem can be solved through such transfer.
또한, transform_skip_flag 정보들이 루마(luma) 채널(즉, Y 채널) 및 크로마(chroma) 채널들(즉, Cb 채널 및 Cr채널)의 각각에 대해서 설정될 수 있고, 전송될 수 있다. 복호화 장치(1700)는 비트스트림으로부터 독출된(말하자면, 파싱된) 각 채널에 대한 transform_skip_flag 정보의 값에 따라서 대상 블록의 채널에 대한 변환을 생략 또는 수행함으로써 대상 블록에 대한 복호화를 수행할 수 있다.Also, transform_skip_flag information can be set and transmitted for each of a luma channel (i.e., Y channel) and chroma channels (i.e., Cb channel and Cr channel). The decoding apparatus 1700 may perform decoding on the target block by omitting or performing the conversion on the channel of the target block in accordance with the value of the transform_skip_flag information for each channel read out (that is, parsed) from the bitstream.
그러나, 모든 변환 블록들에 대해서, Y, Cb 및 Cr 등과 같은 채널들에 대해 transform_skip_flag 정보들이 전송되면, transform_skip_flag 정보들의 시그널링으로 인한 오버헤드가 증가할 수 있고, 영상의 압축률이 저하되는 또 다른 문제가 발생할 수 있다.However, for all transform blocks, when transform_skip_flag information is transmitted for channels such as Y, Cb and Cr, the overhead due to signaling of transform_skip_flag information may increase, and another problem that the compression ratio of the image is lowered Lt; / RTI >
이러한 압축률의 저하의 문제를 감소시키기 위해 변환 블록의 크기가 특정된 변환 블록 크기의 이하인 경우에만 변환이 생략되는지 여부를 지시하는 플래그 정보를 제한적으로 전송될 수 있다. 그러나, 이러한 방식이 사용되더라도 특정된 변환 블록 크기보다 더 큰 크기를 갖는 변환 블록에 대해서는 모든 채널들에 대해 변환이 생략되는지 여부를 지시하는 플래그 정보들을 전송하는 것은 여전히 영상의 압축률을 저하시킬 수 있다. 또한, 이와 같이 저하된 압축률은 필연적으로 압축된 영상의 화질을 떨어뜨릴 수 있다.In order to reduce the problem of the degradation of the compression ratio, flag information indicating whether or not the conversion is omitted can be limitedly transmitted only when the size of the conversion block is smaller than or equal to the specified conversion block size. However, even if this scheme is used, transmitting the flag information indicating whether conversion is omitted for all channels for a conversion block having a size larger than the specified conversion block size may still lower the compression rate of the image . In addition, the degraded compression rate can inevitably degrade the quality of the compressed image.
채널들의 전체에 대해서 부호화 장치(1600)에 의해 선택된 코딩 결정 정보들을 전송함으로써 야기되는 압축률의 저하를 해결하게 위해, 실시예에서는 채널들 간의 정보 공유를 사용하는 부호화 및/또는 복호화 방법 등이 개시된다.In order to solve the degradation of the compression rate caused by transmitting the coding determination information selected by the coding apparatus 1600 for all of the channels, in the embodiment, a coding and / or decoding method using information sharing between channels is disclosed .
우선, 채널들의 영상 성질들이 서로 유사하다고 판단되기 위한 조건이 미리 정의될 수 있다. 이러한 조건이 충족되는 경우, 복수의 채널들 중 하나의 대표 채널에 대하여, 부호화 장치(1600)에 의해 결정된 영상 또는 블록 등에 대한 코딩 결정 정보가 복호화 장치(1700)로 전송될 수 있다.First, the condition for judging that the video properties of the channels are similar to each other can be defined in advance. When such a condition is satisfied, coding determination information for an image, a block, or the like determined by the coding apparatus 1600 can be transmitted to the decoding apparatus 1700 for one representative channel among a plurality of channels.
복수의 채널들 중 대표 채널을 제외한 나머지의 채널들의 모두 또는 나머지의 채널들 중 선택된 채널에 대하여는 대표 채널에 대하여 전달되는 코딩 결정 정보를 공유하여 사용될 수 있다. 이러한 공유 및 사용을 통해 영상의 압축률이 향상될 수 있다. 따라서, 실시예의 부호화 및/또는 복호화 방법 등은 복수의 채널들에 대하여 코딩 결정 정보들을 각각 전송하지 않더라도, 우수한 부호화 효율을 제공할 수 있다.All of the remaining channels other than the representative channel among the plurality of channels, or the selected channel among the remaining channels, may share the coding determination information transmitted to the representative channel. The compression rate of the image can be improved through such sharing and use. Therefore, the encoding and / or decoding method and the like of the embodiment can provide excellent encoding efficiency even if the coding determination information is not transmitted to each of a plurality of channels.
이 때, 공유되는 코딩 결정 정보는 전술된 transform_skip_flag 정보, 인트라 스무딩 필터링 정보, rdpcm_flag 정보, mts_flag 정보, mts_idx 정보, PDPC_flag 정보, MTS_CU_flag 정보, MTS_Hor_flag 정보, MTS_Ver_flag 정보, nsst_flag 정보, nsst_idx 정보, CU 스킵 플래그 정보, CU_lic_flag 정보, obmc_flag 정보, codeAlfCtuEnable 플래그 정보 및 PDPC_flag 정보의 하나 이상을 포함할 수 있다.At this time, the shared coding determination information includes transform_skip_flag information, intra smoothing filtering information, rdpcm_flag information, mts_flag information, mts_idx information, PDPC_flag information, MTS_CU_flag information, MTS_Hor_flag information, MTS_Ver_flag information, nsst_flag information, nsst_idx information, CU skip flag information , CU_lic_flag information, obmc_flag information, codeAlfCtuEnable flag information, and PDPC_flag information.
채널들의 영상 성질들이 서로 유사하다고 판단되기 위한 조건Conditions for judging that the video properties of the channels are similar to each other
채널들의 영상 성질들이 서로 유사하다고 판단하기 위하여, 대상 블록에 대하여 채널간 예측이 사용되었는지가 확인될 수 있다.In order to determine that the video properties of the channels are similar to each other, it can be confirmed whether inter-channel prediction is used for the target block.
즉, 대상 블록의 복호화 대상 채널의 예측을 위하여 다른 채널(예를 들면, 루마 채널)의 재구축된 정보에 특정된 모델을 적용함으로써 복호화 대상 채널의 예측 값을 획득하는 예측 방법을 사용할지 여부가 확인될 수 있다. 예를 들면, 재구축된 정보는 재구축된 픽셀의 픽셀 값 또는 변환 계수의 값일 수 있다. 특정된 모델은 선형 모델(linear model)일 수 있다.That is, whether or not to use a prediction method of acquiring a prediction value of a decoding target channel by applying a model specified for reconstructed information of another channel (for example, a luma channel) for prediction of a decoding target channel of the target block Can be confirmed. For example, the reconstructed information may be the pixel value of the reconstructed pixel or the value of the transform coefficient. The specified model may be a linear model.
복호화 대상 채널은 복수의 채널들 중 현재 복호화의 대상인 채널일 수 있다. 부호화 대상 채널은 복수의 채널들 중 현재 부호화의 대상인 채널일 수 있다. 이하에서, 부호화 대상 채널 및/또는 복호화 대상 채널은 대상 채널로 약술될 수 있다.The decoding target channel may be a current decoding target channel among the plurality of channels. The encoding target channel may be a current encoding target channel among a plurality of channels. Hereinafter, the to-be-encoded channel and / or the to-be-decoded channel may be outlined as a target channel.
예를 들면, 대상 블록에 대한 인트라 예측이 다른 채널의 재구축된 정보를 사용하여 대상 채널의 예측 값을 유도하는 인트라 예측 모드를 사용하는지 여부가 확인될 수 있다.For example, it can be ascertained whether intra prediction for a target block uses an intra prediction mode that derives a prediction value of a target channel using reconstructed information of another channel.
다른 채널의 재구축된 정보를 사용하여 대상 채널의 예측 값을 유도하기 위해서는 하나의 선형 모델을 사용하는 크로스 컴포넌트 선형 모델(Cross Component Linear Model; CCLM), 복수의 선형 모델들을 사용하는 멀티 모드 선형 모델(MultiMode Linear Model; MMLM) 및 복수의 필터들을 사용하는 멀티 필터 선형 모델(MultiFilter Linear Model)이 사용될 수 있다. CCLM에서 컴포넌트(component)는 채널(channel)로 대체될 수도 있다.In order to derive the prediction values of the target channel using reconstructed information of other channels, a cross component linear model (CCLM) using one linear model, a multi-mode linear model using a plurality of linear models A MultiMode Linear Model (MMLM) and a MultiFilter Linear Model using a plurality of filters may be used. In CCLM, a component may be replaced by a channel.
INTRA_CCLM 모드는 CCLM을 사용하는 인트라 예측 모드일 수 있다. INTRA_MMLM 모드는 MMLM을 사용하는 인트라 예측 모드일 수 있다. INTRA_MFLM 모드는 MFLM을 사용하는 인트라 예측 모드일 수 있다.The INTRA_CCLM mode may be an intra prediction mode using CCLM. The INTRA_MMLM mode may be an intra prediction mode using MMLM. The INTRA_MFLM mode may be an intra prediction mode using MFLM.
또는, 채널들의 영상 성질들이 유사하다고 판단하는 것은, 대상 블록에 대한 인트라 예측 모드(예를 들면, 대상 블록의 크로마 채널에 대한 인트라 예측 모드인 intra_chroma_pred_mode 정보)가 INTRA_CCLM 모드, INTRA_MMLM 모드 및 INTRA_MFLM 모드 중 하나인지 여부를 확인하는 것으로 구현될 수 있다. Alternatively, it is determined that the video properties of the channels are similar if the intra prediction mode for the target block (for example, intra_chroma_pred_mode information, which is an intra prediction mode for the chroma channel of the target block) is one of INTRA_CCLM mode, INTRA_MMLM mode, and INTRA_MFLM mode Or the like.
또는, 채널들의 영상 성질들이 유사하다고 판단하는 것은, 대상 블록의 대상 채널의 부호화 모드가 다른 채널(예를 들면, 루마 채널)의 부호화 모드를 그대로 사용하는지 여부를 확인하는 것으로 구현될 수 있다. 예를 들면, 채널들의 영상 성질들이 유사하다고 판단하는 것은, 대상 블록에 대한 인트라 예측 모드(예를 들면, intra_chroma_pred_mode 정보)가 다이렉트 모드(Direct Mode; DM)인지 여부를 확인하는 것으로 구현될 수 있다. 다이렉트 모드는 유도된 모드(derived mode)로 칭해질 수도 있다. DM은 루마 채널 및 크로마 채널 간의 상관도가 클 수 있다는 특성에 따라 크로마 채널의 인트라 예측 모드로서 루마 채널의 인트라 예측 모드를 그대로 사용한다는 것을 지시하는 모드일 수 있다.Alternatively, determining that the video properties of the channels are similar can be implemented by checking whether the encoding mode of the target channel of the target block uses the encoding mode of another channel (for example, a luma channel) as it is. For example, determining that the video properties of the channels are similar may be implemented by checking whether the intra prediction mode (for example, intra_chroma_pred_mode information) for the target block is a direct mode (DM). The direct mode may also be referred to as a derived mode. The DM may be a mode indicating that the intraprediction mode of the luma channel is directly used as the intraprediction mode of the chroma channel according to the characteristic that the correlation between the luma channel and the chroma channel may be large.
인트라 예측 모드들 중 하나인 DM의 특징 및 세부적인 동작은 아래의 표 10 및 표 11에 따라서 더욱 상세하게 정의될 수 있다.The characteristics and detailed operation of the DM which is one of the intra prediction modes can be defined in more detail in accordance with Table 10 and Table 11 below.
표 10은 크로마 신호에 대한 인트라 예측을 위한 IntraPredModeC 값의 설정 방법을 나타낸다. (sps_cclm_enabled_flag 정보의 값이 0인 경우)Table 10 shows a method of setting the IntraPredModeC value for intraprediction on the chroma signal. (when the value of the sps_cclm_enabled_flag information is 0)
표 11은 크로마 신호에 대한 인트라 예측을 위한 IntraPredModeC 값의 설정 방법을 나타낸다. (sps_cclm_enabled_flag 정보의 값이 1인 경우)Table 11 shows a method of setting the IntraPredModeC value for intraprediction on the chroma signal. (when the value of the sps_cclm_enabled_flag information is 1)
[표 10][Table 10]
Figure pat00011
Figure pat00011
[표 11][Table 11]
Figure pat00012
Figure pat00012
일반적으로, 인트라 예측에 있어서, 하나의 채널(예를 들면, 루마 채널 또는 더 일반적으로는 대표 채널)의 재구축된 픽셀의 픽셀 값을 다른 채널(예를 들면, 크로마 채널, 또는 더 일반적으로는 대상 채널)의 예측 값을 계산할 때 사용하는 INTRA_CCLM 모드, INTRA_MMLM 모드 또는 INTRA_MFLM 모드를 사용할지 여부가 확인될 수 있다.Generally, in intra prediction, the pixel value of a reconstructed pixel of one channel (e.g., a luma channel or more typically a representative channel) may be used as a reference to another channel (e.g., a chroma channel, Whether the INTRA_CCLM mode, the INTRA_MMLM mode, or the INTRA_MFLM mode, which is used when calculating the predicted value of the target channel, can be confirmed.
INTRA_CCLM 모드, INTRA_MMLM 모드 또는 INTRA_MFLM 모드를 사용하는 경우를 지시하는 것은, 표 10 및 표 11에서 설명된 것과 같이 sps_cclm_enabled_flag 정보의 값에 따라서 두 가지들로 구별되어 상세하게 정의될 수 있다.Indicating the case of using the INTRA_CCLM mode, the INTRA_MMLM mode, or the INTRA_MFLM mode can be defined in detail by distinguishing the two types according to the value of the sps_cclm_enabled_flag information as described in Table 10 and Table 11. [
sps_cclm_enabled_flag 정보는 INTRA_CCLM 모드, INTRA_MMLM 모드 및 INTRA_MFLM 모드를 사용하는 것이 가능한지 여부를 나타내는 정보일 수 있다. 또는, sps_cclm_enabled_flag 정보는 INTRA_CCLM 모드, INTRA_MMLM 모드 및 INTRA_MFLM 모드가 가능하게(enabled)되었는지를 나타내는 정보일 수 있다.The sps_cclm_enabled_flag information may be information indicating whether it is possible to use INTRA_CCLM mode, INTRA_MMLM mode, and INTRA_MFLM mode. Alternatively, the sps_cclm_enabled_flag information may be information indicating whether INTRA_CCLM mode, INTRA_MMLM mode, and INTRA_MFLM mode are enabled.
sps_cclm_enabled_flag의 값이 0의 경우에는, INTRA_CCLM 모드, INTRA_MMLM 모드 및 INTRA_MFLM 모드가 사용되지 않을 수 있고, sps_cclm_enabled_flag의 값이 1의 경우에는, INTRA_CCLM 모드가 사용될 수 있다. 또는, sps_cclm_enabled_flag의 값이 1인 경우 INTRA_MMLM 모드 및 INTRA_MFLM 모드 중 적어도 하나가 사용될 수도 있다.When the value of sps_cclm_enabled_flag is 0, INTRA_CCLM mode, INTRA_MMLM mode and INTRA_MFLM mode may not be used, and when the value of sps_cclm_enabled_flag is 1, INTRA_CCLM mode may be used. Alternatively, if the value of sps_cclm_enabled_flag is 1, at least one of INTRA_MMLM mode and INTRA_MFLM mode may be used.
대상 채널에 대한 인트라 예측 모드(예를 들면, intra_chroma_pred_mode 정보)가 DM인지 여부는, 크로마 채널에 대한 인트라 예측 모드(즉, intra_chroma_pred_mode의 값)가 특정된 값(예를 들면, 표 10에서는 4, 표 11에서는 5)인지 여부를 확인함으로써 이루어질 수 있다. 이러한 동작에 대한 설명에 있어서, sps_cclm_enabled_flag의 값이 0인 경우에는 표 10이 참조될 수 있고, sps_cclm_enabled_flag의 값이 1인 경우에는 표 11이 참조될 수 있다.Whether or not the intra prediction mode (for example, intra_chroma_pred_mode information) for the target channel is DM is determined by determining whether or not the intra prediction mode for the chroma channel (i.e., the value of intra_chroma_pred_mode) 11 in step 5). In the description of this operation, Table 10 can be referred to when the value of sps_cclm_enabled_flag is 0, and Table 11 can be referred to when the value of sps_cclm_enabled_flag is 1.
sps_cclm_enabled_flag의 값이 0이고, 대상 채널에 대한 인트라 예측 모드(예를 들면, intra_chroma_pred_mode)의 값이 4이면 DM이 적용된다고 볼 수 있다. 또는, sps_cclm_enabled_flag의 값이 1이고, 대상 채널에 대한 인트라 예측 모드(예를 들면, intra_chroma_pred_mode)의 값이 5이면 DM이 적용된다고 볼 수 있다. DM으로 지시되는 대상 블록의 대상 채널(예를 들면, 크로마 채널)의 인트라 예측을 위해서는 대표 채널(예를 들면, Luma 채널)의 인트라 예측 모드를 지시하는 IntraPredModeY의 값이 그대로 IntraPredModeC의 값으로서 사용될 수 있다.If the value of sps_cclm_enabled_flag is 0 and the value of the intra-prediction mode (for example, intra_chroma_pred_mode) for the target channel is 4, DM is applied. Alternatively, if the value of sps_cclm_enabled_flag is 1 and the value of the intra prediction mode (for example, intra_chroma_pred_mode) for the target channel is 5, the DM is considered to be applied. The IntraPredModeY value indicating the intraprediction mode of the representative channel (e.g., the Luma channel) can be directly used as the IntraPredModeC value for intraprediction of a target channel (for example, a chroma channel) of a target block indicated by DM have.
여기에서, 크로마 신호에 대한 인트라 예측 모드 intra_chroma_pred_mode는 크로마 신호에 어떤 방식의 인트라 예측이 사용되는가를 지시하는 인덱스 정보일 수 있다.Here, the intra prediction mode intra_chroma_pred_mode for the chroma signal may be index information indicating which type of intra prediction is used for the chroma signal.
이러한 인덱스 정보에 의하여 크로마 신호에 대한 인트라 예측을 위해 실제로 사용되는 인트라 예측 모드를 지시하는 최종의 값이 IntraPredModeC의 값이 될 수 있다. 말하자면, IntraPredModeC는 크로마 신호에 대한 인트라 예측을 위해 실제로 사용되는 인트라 예측 모드를 지시할 수 있다.According to the index information, the final value indicating the intra prediction mode actually used for intra prediction for the chroma signal may be the value of IntraPredModeC. That is to say, IntraPredModeC can indicate the intra prediction mode actually used for intra prediction for the chroma signal.
sps_cclm_enabled_flag의 값이 0일 때, DM이 적용되는 경우(즉, intra_chroma_pred_mode의 값이 4인 경우), IntraPredModeY의 값이 0, 50, 18 또는 1이면, IntraPredModeC의 값 또한 역시 0, 50, 18 또는 1이 될 수 있다.If IntraPredModeY has a value of 0, 50, 18, or 1 when the value of sps_cclm_enabled_flag is 0, DM is applied (that is, intra_chroma_pred_mode has a value of 4), the value of IntraPredModeC is also 0, 50, .
여기에서, 값 0은 플래너 모드(말하자면, 플래너 예측 또는 플래너 방향)를 의미할 수 있고, 값 1은 DC 모드를 의미할 수 있고, 값 18은 수평 모드를 의미할 수 있고, 값 50은 수직 모드를 의미할 수 있고, 값 66은 대각선 모드를 의미할 수 있다.Here, a value of 0 may mean a planner mode (say, planar prediction or planar direction), a value of 1 may mean a DC mode, a value of 18 may mean a horizontal mode, a value of 50 may mean a vertical mode , And the value 66 may mean diagonal mode.
만일, IntraPredModeY의 값이 0, 50, 18 및 1의 4 개의 값들이 아닌 다른 값 X이면, 이러한 경우에도 역시 IntraPredModeC의 값은 IntraPredModeY의 값과 동일하게 X가 될 수 있다.If the value of IntraPredModeY is a value X other than the four values of 0, 50, 18 and 1, then the value of IntraPredModeC can also be X equal to the value of IntraPredModeY.
한편, cclm_enabled_flag가 0일때, IntraPredModeY의 값이 0, 50, 18 또는 1인 경우, 표 10의 처음의 4 개의 행들에서 도시된 것과 같이 IntraPredModeC의 값은 IntraPredModeY의 값에 의해 결정될 수 있다.On the other hand, when the value of IntraPredModeY is 0, 50, 18, or 1 when cclm_enabled_flag is 0, the value of IntraPredModeC can be determined by the value of IntraPredModeY as shown in the first four rows of Table 10.
예를 들면, 표 10의 첫 번째 행에서 설명된 것과 같이 IntraPredModeY의 값 0, 50, 18 또는 1이면 IntraPredModeC의 값은 66, 0, 0 또는 0이 될 수 있다. IntraPredModeY의 값이 0, 50, 18 및 1가 아닌 다른 값이면, IntraPredModeC의 값은 0이 될 수 있다.For example, if the value of IntraPredModeY is 0, 50, 18, or 1, as described in the first row of Table 10, the value of IntraPredModeC may be 66, 0, 0 or 0. If the value of IntraPredModeY is a value other than 0, 50, 18, and 1, the value of IntraPredModeC can be zero.
또한, sps_cclm_enabled_flag의 값이 1일 때, DM이 적용되는 경우(즉, intra_chroma_pred_mode의 값이 5인 경우), IntraPredModeY의 값이 0, 50, 18 또는 1이면, IntraPredModeC의 값 또한 역시 0, 50, 18 또는 1이 될 수 있다.If the value of IntraPredModeY is 0, 50, 18 or 1 when the value of sps_cclm_enabled_flag is 1, DM is applied (that is, the value of intra_chroma_pred_mode is 5), the value of IntraPredModeC is also 0, Or < / RTI >
여기에서, 값 0은 플래너 모드(말하자면, 플래너 예측 또는 플래너 방향)를 의미할 수 있고, 값 1은 DC 모드를 의미할 수 있고, 값 18은 수평 모드를 의미할 수 있고, 값 50은 수직 모드를 의미할 수 있고, 값 66은 대각선 모드를 의미할 수 있다.Here, a value of 0 may mean a planner mode (say, planar prediction or planar direction), a value of 1 may mean a DC mode, a value of 18 may mean a horizontal mode, a value of 50 may mean a vertical mode , And the value 66 may mean diagonal mode.
만일, IntraPredModeY값이 0, 50, 18 및 1의 4 개의 값들이 아닌 다른 값 X이면, 이 경우에도 역시 IntraPredModeC의 값은 IntraPredModeY의 값과 동일하게 X가 될 수 있다.If the IntraPredModeY value is a value X other than the four values 0, 50, 18, and 1, then the value of IntraPredModeC may also be X equal to the value of IntraPredModeY.
한편, cclm_enabled_flag가 1일때, IntraPredModeY의 값이 0, 50, 18 또는 1인 경우, 표 11의 처음의 5개의 행들에서 도시된 것과 같이, IntraPredModeC의 값은 IntraPredModeY의 값에 의해 결정될 수 있다.On the other hand, when the value of IntraPredModeY is 0, 50, 18, or 1 when cclm_enabled_flag is 1, the value of IntraPredModeC can be determined by the value of IntraPredModeY, as shown in the first five rows of Table 11.
예를 들면, 표 11의 첫 번째 행에서 설명된 것과 같이 IntraPredModeY의 값 0, 50, 18 또는 1이면 IntraPredModeC의 값은 66, 0, 0 또는 0이 될 수 있다. IntraPredModeY의 값이 0, 50, 18 및 1가 아닌 다른 값이면, IntraPredModeC의 값은 0이 될 수 있다.For example, if the value of IntraPredModeY is 0, 50, 18, or 1, as described in the first row of Table 11, the value of IntraPredModeC may be 66, 0, 0 or 0. If the value of IntraPredModeY is a value other than 0, 50, 18, and 1, the value of IntraPredModeC can be zero.
또 다른 실시예에 있어서, 채널들의 영상 성질들이 서로 유사하다고 판단하는 것은 대상 블록의 대상 채널에 대한 부호화 모드로서 다른 채널(예를 들면, 루마 채널)의 부호화 모드에 의하여 제한되는 특정된 모드만이 사용되도록 지시하는 모드가 사용하는지 여부를 확인하는 것으로 구현될 수 있다. 예를 들면, 채널들의 영상 성질들이 서로 유사하다고 판단하는 것은 대상 채널의 인트라 예측 모드가 DM인지 여부를 확인하는 것으로 구현될 수 있다.In another embodiment, it is determined that the image properties of the channels are similar to each other. That is, only the specified mode restricted by the encoding mode of another channel (for example, the luma channel) as the encoding mode for the target channel of the target block It can be implemented by checking whether or not a mode for instructing to use is used. For example, determining that the video properties of the channels are similar to each other can be implemented by checking whether the intra prediction mode of the target channel is DM.
채널들 간의 연관성을 이용한 채널간 예측Interchannel prediction using associations between channels
채널간 예측은 대상 채널의 픽셀의 픽셀 값을 예측함에 있어서, 인트라 예측 또는 인터 예측을 사용하는 것이 아니라, 다른 채널의 픽셀의 픽셀 값을 사용하는 기술일 수 있다.The inter-channel prediction may be a technique of using pixel values of pixels of other channels, instead of using intra-prediction or inter-prediction, in predicting pixel values of pixels of a target channel.
대상 블록을 부호화함에 있어서, 이러한 채널간 예측의 성능이 다른 예측보다 더 좋다는 것은 대상 블록의 채널들의 픽셀들의 픽셀 값들 간에 상당한 유사성이 있다는 것을 의미할 수 있다.In encoding a target block, the performance of such an inter-channel prediction is better than other predictions, which means that there is a considerable similarity between the pixel values of the pixels of the channels of the target block.
따라서, 이러한 경우, 대표 채널의 코딩 결정 정보의 값이 결정되면, 대표 채널의 코딩 결정 정보의 결정된 값을 다른 채널의 코딩 결정 정보에 대해서도 동일하게 사용하거나, 대표 채널의 코딩 결정 정보의 값에 의해 지시되는 특정된 값을 다른 채널의 코딩 결정 정보에 대해서 사용하는 것이 유리할 수 있다. Therefore, in this case, when the value of the coding decision information of the representative channel is determined, the determined value of the coding decision information of the representative channel is used in the same manner for the coding decision information of the other channel or by the value of the coding decision information of the representative channel It may be advantageous to use the indicated specified value for the coding decision information of the other channel.
예를 들면, 대표 채널의 transform_skip_flag 정보의 값이 변환을 생략하지 않음을 나타내는 0인 경우, 다른 채널에서도 마찬가지로 transform_skip_flag 정보의 값이 0으로 결정될 확률이 높을 수 있다.For example, when the value of the transform_skip_flag information of the representative channel is 0 indicating that the conversion is not omitted, the probability that the value of the transform_skip_flag information is determined to be 0 can be high in other channels as well.
따라서, 채널간 예측이 효과적인 영상 또는 블록에 대하여는, 복수의 채널들에 대하여 transform_skip_flag 정보들이 각각 지정될 필요가 없는 경우가 존재할 수 있다. 왜냐하면, 채널들 간의 유사성이 높기 때문에 채널들의 transform_skip_flag 정보들이 동일할 확률이 높을 수 있기 때문이다.Therefore, for an image or block in which inter-channel prediction is effective, there may be a case in which transform_skip_flag information need not be specified for each of a plurality of channels. This is because the likelihood that the transform_skip_flag information of the channels is the same may be high because the similarity between the channels is high.
이러한 영상의 특징이 존재함에도 불구하고, 영상의 채널들에 대하여 transform_skip_flag 정보들이 각각 전송되면 압축률 및 영상의 화질이 저하될 수 있다.Despite the presence of such an image feature, the compression rate and the image quality of the image may be degraded if transform_skip_flag information is transmitted to the channels of the image, respectively.
다른 코딩 결정 정보인 mts_flag 정보, mts_idx 정보, nsst_flag 정보, nsst_idx 정보, 인트라 스무딩 필터링 정보, PDPC_flag 정보 및 rdpcm_flag 정보 등에 대하여도 이러한 원리가 적용될 수 있으며, 대표 채널에 대한 코딩 결정 정보의 값이 다른 채널에 대한 코딩 결정 정보의 값과 동일할 확률이 높을 수 있다.This principle can also be applied to other coding determination information such as mts_flag information, mts_idx information, nsst_flag information, nsst_idx information, intra smoothing filtering information, PDPC_flag information, and rdpcm_flag information. The probability of being the same as the value of the coding decision information for the first time may be high.
따라서, 전술된 채널들의 영상 성질들이 서로 유사하다고 판단되기 위한 조건을 통해, 채널들 간의 연관성을 이용하는 채널간 예측이 대상 블록의 부호화 모드로서 결정되었는지 여부가 판단될 수 있다.Therefore, it can be determined whether or not the interchannel prediction using the correlation between the channels is determined as the encoding mode of the target block through the condition for judging that the video properties of the channels described above are similar to each other.
예를 들면, 채널간 예측이 대상 블록의 부호화 모드로 결정되었는지 여부를 결정하는 것은, 채널간 예측을 의미하는 컬러-구성요소 선형 예측 모드(Color-Component Linear prediction Mode; CCLM)가 대상 블록에 적용되는지 여부에 의해서 채널들의 영상 성질들이 서로 유사한지 여부를 판단하는 것일 수 있다. CCLM이 대상 블록에 적용되는지 여부를 판단하기 위해 대상 블록에 대한 예측 모드가 INTRA_CCLM 모드, INTRA_MMLM 모드 및 INTRA_MFLM 모드 중의 하나인지 여부가 확인될 수 있다.For example, determining whether the interchannel prediction is determined to be the coding mode of the target block is based on whether a color-component linear prediction mode (CCLM), which means inter-channel prediction, is applied to the target block Whether the image properties of the channels are similar to each other or not. It can be confirmed whether the prediction mode for the target block is one of INTRA_CCLM mode, INTRA_MMLM mode and INTRA_MFLM mode in order to judge whether CCLM is applied to the target block.
예를 들면, 채널간 예측이 대상 블록의 부호화 모드로 결정되었는지 여부를 결정하는 것은, 대표 채널(예를 들면, 루마 채널)의 인트라 모드가 다른 채널(예를 들면, 크로마 채널들 Cb 및 Cr)에서 그대로 사용되는지 여부를 결정하는 것일 수 있다. 또는, 채널간 예측이 대상 블록의 부호화 모드로 결정되었는지 여부를 결정하는 것은, 대표 채널의 인트라 모드에 의하여 지시되는 특정된 인트라 모드가 다른 채널에서 사용되는지 여부를 판단하는 것일 수 있다. 또는, 채널간 예측이 대상 블록의 부호화 모드로 결정되었는지 여부를 결정하는 것은, 대표 채널의 인트라 모드에 의해 유도되는 특정된 인트라 모드가 다른 채널에 사용되는지 여부가 판단하는 것일 수 있다.For example, it is determined whether the interchannel prediction is determined as the encoding mode of the target block by determining whether the intra mode of the representative channel (for example, the luma channel) is different from the channel (for example, the chroma channels Cb and Cr) As shown in FIG. Alternatively, determining whether the interchannel prediction is determined as the encoding mode of the target block may be to determine whether the specified intra mode indicated by the intra mode of the representative channel is used in another channel. Alternatively, determining whether the interchannel prediction is determined as the encoding mode of the target block may be to determine whether the specified intra mode induced by the intra mode of the representative channel is used for another channel.
예를 들면, 채널간 예측이 대상 블록의 부호화 모드로 결정되었는지 여부를 결정하는 것은, 부호화 장치(1600) 및 복호화 장치(1700)가 서로 약정한 특정된 부호화 모드(예를 들면, 채널간 공유 모드)를 사용하는지 여부를 판단하는 것일 수 있다.For example, the determination as to whether or not the interchannel prediction is determined as the encoding mode of the target block may be made based on a specific encoding mode (for example, interchannel sharing mode ≪ / RTI > is used.
예를 들면, 채널간 예측이 대상 블록의 부호화 모드로 결정되었는지 여부를 결정하는 것은, 크로마 채널의 인트라 예측 모드가 DM인지 여부를 판단하는 것일 수 있다.For example, determining whether the interchannel prediction is determined as the encoding mode of the target block may be to determine whether the intraprediction mode of the chroma channel is DM.
DM은 루마 채널 및 크로마 채널 간의 상관도가 클 수 있다는 특성에 따라 크로마 채널의 인트라 예측 모드가 루마 채널의 인트라 예측 모드로서 그대로 사용된다는 것을 지시하는 모드일 수 있다. 따라서, 대상 블록의 크로마 채널에 대한 인트라 예측 모드가 DM인 경우, 채널들의 영상 성질들이 서로 유사하다고 판단되는 조건이 충족되는 것으로 판단될 수 있다.The DM may be a mode indicating that the intraprediction mode of the chroma channel is used intact as the intraprediction mode of the luma channel, depending on the characteristic that the correlation between the luma channel and the chroma channel may be large. Therefore, when the intraprediction mode for the chroma channel of the target block is DM, it can be determined that the condition that the video properties of the channels are similar to each other is satisfied.
상기의 예들에서 설명된 조건들에 추가되어, 블록의 크기에 기반하여 채널간 예측이 대상 블록의 부호화 모드로 결정되었는지 여부가 결정될 수 있다.In addition to the conditions described in the above examples, it can be determined whether the interchannel prediction is determined to be the encoding mode of the target block based on the size of the block.
예를 들면, 블록의 크기가 더 클 수록 블록 내에 이질적인 성질을 갖는 픽셀이 존재할 확률이 더 높아질 수 있다. 따라서, 큰 크기를 갖는 블록의 채널들 간의 유사도는 작은 크기를 갖는 블록의 채널들 간의 유사도에 비해 더 작을 수 있다. 또한, 블록의 크기가 너무 작은 경우 블록의 채널들 간의 유사도가 안정적이지 않을 수 있다.For example, the larger the block size, the higher the probability that a pixel having a heterogeneous property exists in the block. Thus, the similarity between the channels of the block having a large size may be smaller than the similarity between the channels of the block having the small size. Also, if the size of the block is too small, the similarity between the channels of the block may not be stable.
예를 들면, 특정된 크기의 이하의 크기를 갖는 블록에 대해서만 채널들 간의 정보의 공유가 실시될 수 있다. 특정된 크기는 64x64, 32x32 또는 16x16일 수 있다. 블록의 크기가 특정된 크기의 이하인 경우에 채널들 간의 정보의 공유가 실시되도록 함으로써 채널들의 영상 성질들이 서로 유사하다고 판단되는 조건이 좀 더 충실하게 만족될 수 있다.For example, sharing of information between channels may be performed only for blocks having the following sizes of specified sizes. The specified size may be 64x64, 32x32 or 16x16. In the case where the size of the block is smaller than or equal to the specified size, the sharing of information between the channels enables the condition that the image properties of the channels are determined to be similar to each other more satisfactorily.
또는, 특정된 크기보다 더 큰 크기를 갖는 블록에 대해서만 채널들 간의 정보의 공유가 실시될 수 있다. 특정된 크기는 4x4일 수 있다. 블록의 크기가 특정된 크기보다 더 큰 경우에 채널들 간의 정보의 공유가 실시되도록 함으로써 채널들의 영상 성질들이 서로 유사하다고 판단되는 조건이 좀 더 충실하게 만족될 수 있다.Alternatively, sharing of information between channels may be performed only for blocks having a size larger than a specified size. The specified size can be 4x4. By allowing information to be shared between the channels when the size of the block is larger than the specified size, the condition that the video properties of the channels are determined to be similar to each other can be satisfactorily satisfied.
또는, 블록의 크기가 특정된 제1 크기(예를 들면, 4x4)보다 더 크고, 특정된 제2 크기(예를 들면, 32x32 또는 64x64)의 이하인 경우에만 채널들 간의 정보의 공유가 실시될 수 있다. 블록의 크기가 특정된 범위 내에 있는 경우에만 채널들 간의 정보의 공유가 실시되도록 함으로써 채널들의 영상 성질들이 서로 유사하다고 판단되는 조건이 좀 더 충실하게 만족될 수 있다.Alternatively, sharing of information between channels may be performed only if the size of the block is greater than a specified first size (e.g., 4x4) and less than or equal to a specified second size (e.g., 32x32 or 64x64) have. The condition that the image properties of the channels are determined to be similar to each other can be satisfied more satisfactorily by sharing the information between the channels only when the size of the block is within the specified range.
실시예에서는 채널들 간의 정보의 공유를 통해 대상 블록을 부호화하는 방법 및 장치가 설명되며, 아래와 같은 기능이 제공될 수 있다.In the embodiment, a method and apparatus for encoding a target block through sharing of information between channels are described, and the following functions can be provided.
- 압축된 비트스트림으로부터 대상 블록의 한 채널의 코딩 결정 정보가 파싱될 수 있고, 한 채널의 코딩 결정 정보를 사용하여 대상 블록의 모든 채널들 또는 선택된 일부의 채널들에 대한 복호화가 수행될 수 있다. - Coding decision information of one channel of the target block from the compressed bitstream can be parsed and decryption of all channels of the target block or selected channels of the target block can be performed using the coding determination information of one channel .
- 대상 블록의 대표 채널 또는 선택된 일부의 채널에 대해서만 코딩 결정 정보가 전송되도록 비트스트림이 구성될 수 있다.- The bitstream may be configured such that the coding determination information is transmitted only to the representative channel of the target block or the selected channel.
- 하나의 채널에 대하여 변환의 생략의 여부가 결정될 수 있고, 다른 채널들에 대해서는 결정된 변환의 생략 여부가 적용될 수 있다.Whether to omit the conversion for one channel can be determined and whether or not the determined conversion for the other channels can be applied.
- 압축된 비트스트림으로부터 변환 블록의 하나의 채널에 대해서 transform_skip_flag 정보가 파싱될 수 있다. 파싱된 transform_skip_flag 정보를 사용하여 변환 블록의 하나의 채널 또는 복수의 채널들에 대하여 변환의 생략 여부가 결정될 수 있다.- transform_skip_flag information can be parsed for one channel of the transform block from the compressed bit stream. The parsed transform_skip_flag information can be used to determine whether to omit the transform for one channel or a plurality of channels of the transform block.
- 변환 블록의 하나의 채널에 대해서 transform_skip_flag 정보가 시그널닝될 수 있다. 하나의 채널에 대한 transform_skip_flag 정보가 다른 채널에서도 이용될 수 있다.- Transform_skip_flag information can be signaled for one channel of the transform block. The transform_skip_flag information for one channel can be used in another channel.
- 채널들 간의 정보의 공유를 이용하여 코딩 결정 정보가 효율적으로 시그널링될 수 있다. 이러한 효율적인 시그널링을 통해 부호화 효율 및 주관적 화질이 향상될 수 있다.- Coding decision information can be efficiently signaled using the sharing of information between channels. This efficient signaling can improve the coding efficiency and the subjective image quality.
- 특히, 블록의 픽셀 값들의 공간적 변화도가 매우 크거나, 매우 예리(sharp)한 경우, 대상 블록에 변환이 적용되어도 영상 에너지가 저주파로 집중되는 정도가 크지 않을 수 있다. 또한, 이러한 블록에 대하여 변환 및 양자화의 과정을 적용하여 저주파의 신호 성분은 대체적으로 유지하고 고주파의 신호 성분은 제거하는 경우 또는 이러한 블록에 대하여 강한 양자화가 적용되는 경우 심각한 화질의 저하가 발생할 수 있다. 실시예에서는, 이러한 블록에 대해 부호화 장치(1600)의 판단에 따라 큰 오버헤드 없이 블록의 변환의 생략 여부가 경제적으로 지시될 수 있다. 이러한 경제적인 지시를 통해 영상의 압축율이 향상될 수 있으며, 화질의 저하가 최소화될 수 있다.Particularly, when the spatial variation of the pixel values of the block is very large or very sharp, even if the transformation is applied to the target block, the degree of image energy converging to low frequency may not be large. In addition, when a process of transforming and quantizing is applied to such a block, the signal component of the low frequency is generally maintained and the signal component of the high frequency is removed, or a severe image quality may be degraded when strong quantization is applied to the block . In the embodiment, it can be economically indicated whether or not block conversion is omitted without a large overhead according to the judgment of the encoding apparatus 1600 for such a block. Such an economical instruction can improve the compression ratio of the image and minimize the deterioration of image quality.
- 채널들 간의 연관성을 이용하는 채널간 예측 기술이 사용될 경우, 복수의 채널들에 대하여 복수의 코딩 결정 정보들이 각각 사용되지 않을 수 있다. 실시예에서는, 하나의 채널에 대해서 코딩 결정 정보가 전송될 수 있고, 하나의 채널에 대해서 전송된 코딩 결정 정보가 나머지의 채널들 모두 또는 나머지의 채널들 중 선택된 일부에 대해서도 공유되어 사용될 수 있다. 이러한 공유를 통해 압축률의 저하 및 화질의 저하라는 문제가 해결될 수 있다.When an inter-channel prediction technique using association between channels is used, a plurality of coding determination information for a plurality of channels may not be respectively used. In an embodiment, coding determination information may be transmitted for one channel, and coding determination information transmitted for one channel may be shared and used for all or a selected one of the remaining channels. This sharing can solve the problem of the degradation of the compression ratio and the degradation of the image quality.
컬러 공간에 따른 대표 채널의 결정Determination of representative channels according to color space
영상의 부호화 및 복호화를 위한 컬러 공간으로서, 범용적인 영상의 부호화 및 복호화를 위해 사용되는 YCbCr 및 YUV가 있으며, 그 외에도 RGB, XYZ 및 YCoCg이 있다. 다양한 컬러 공간들 중 하나가 영상의 부호화 및 복호화를 위해 사용되는 대상 컬러 공간일 때, 대상 컬러 공간의 채널들 중 하나가 대상 컬러 공간의 대표 채널로서 결정될 수 있다.There are YCbCr and YUV, which are used for encoding and decoding a general image, as color spaces for encoding and decoding images, and RGB, XYZ, and YCoCg in addition to them. When one of the various color spaces is a target color space used for encoding and decoding an image, one of the channels of the target color space may be determined as a representative channel of the target color space.
일 실시예에서, 채널들 중 루마 신호와 가장 높은 연관성을 갖는 컬러 채널이 대표 채널로서 결정될 수 있다. 예를 들면, RGB 컬러 공간에서는 G 채널이 루마 신호에 대하여 가장 높은 연관성을 가질 수 있으므로, G 채널이 대표 채널로서 선택될 수 있다. XYZ 컬러 공간에서는 Y 채널이 루마 신호에 대하여 가장 높은 연관성을 가질 수 있으므로, Y 채널이 대표 채널로서 선택될 수 있다. YCoCg 컬러 공간에서는 Y 채널이 루마 신호에 대하여 가장 높은 연관성을 가질 수 있으므로, Y 채널이 대표 채널로서 선택될 수 있다.In one embodiment, a color channel having the highest correlation with the luma signal among the channels may be determined as the representative channel. For example, in the RGB color space, the G channel may have the highest correlation to the luma signal, so that the G channel may be selected as the representative channel. In the XYZ color space, the Y channel can have the highest correlation to the luma signal, so that the Y channel can be selected as the representative channel. In the YCoCg color space, the Y channel can be selected as the representative channel since it can have the highest correlation to the luma signal.
컬러 공간의 채널들은 "0/1/2"와 같은 인덱스 값들로서 표현될 수 있다. SelectedCIDX는 선택된 컬러의 인덱스일 수 있다. 또는, SelectedCIDX는 선택된 대표 채널을 나타내는 인덱스 값일 수 있다. 대표 채널은 비트스트림 내의 대상 블록에 대한 정보 중 선택된 대표 채널을 나타내는 인덱스 SelectedCIDX에 의해 결정될 수 있다.Channels in the color space may be represented as index values such as "0/1/2 ". SelectedCIDX may be the index of the selected color. Alternatively, SelectedCIDX may be an index value representing the selected representative channel. The representative channel may be determined by an index SelectedCIDX indicating a selected representative channel among information on a target block in the bitstream.
예를 들면, YCbCr 컬러 공간에서 SelectedCIDX의 값은 Y 채널을 가리키는 0일 수 있다.For example, the value of SelectedCIDX in the YCbCr color space may be zero indicating the Y channel.
예를 들면, YCbCr 컬러 공간에서 Cb 채널이 대표 채널로서 결정될 수 있다. Cb 채널이 대표 채널로서 결정된 경우, SelectedCIDX의 값은 Cb 채널을 가리키는 1일 수 있다.For example, in a YCbCr color space, a Cb channel can be determined as a representative channel. When the Cb channel is determined as the representative channel, the value of SelectedCIDX may be 1 indicating the Cb channel.
예를 들면, YUV 컬러 공간에서 U 채널이 대표 채널로서 결정될 수 있다. U 채널이 대표 채널로서 결정된 경우, SelectedCIDX의 값은 U 채널을 가리키는 1일 수 있다.For example, in the YUV color space, a U-channel can be determined as a representative channel. If the U channel is determined as the representative channel, the value of SelectedCIDX may be one indicating the U channel.
채널들 간의 코딩 결정 정보의 공유를 위해, 컬러 공간의 특정된 채널이 대표 채널로서 선택될 수 있다. 영상의 부호화 및 복호화에 있어서 대표 채널의 코딩 결정 정보가 하나 이상의 나머지의 채널들에서 공유될 수 있다.For sharing coding determination information between channels, a specified channel of color space may be selected as a representative channel. Coding and decoding information of the representative channel in the encoding and decoding of the image may be shared in one or more remaining channels.
예를 들면, 부호화 장치(1600)는 비트스트림을 통해 대표 채널의 코딩 결정 정보만을 복호화 장치(1700)로 시그널링할 수 있다. 또는, 복호화 장치(1700)는 비트스트림을 사용하여 대표 채널의 코딩 결정 정보를 유도할 수 있다. 나머지의 채널들 중 적어도 일부의 코딩 결정 정보는 별도로 시그널링되지 않을 수 있다. 복호화 장치(1700)는 대표 채널의 코딩 결정 정보를 사용하여 나머지의 채널들 중 적어도 일부의 코딩 결정 정보를 유도할 수 있다. 말하자면, 대표 채널의 코딩 결정 정보가 나머지의 채널들 중 적어도 일부에 대해 공유될 수 있다.For example, the encoding apparatus 1600 can signal only decoding information of the representative channel to the decoding apparatus 1700 through the bit stream. Alternatively, the decoding apparatus 1700 may derive coding determination information of a representative channel using a bitstream. The coding decision information of at least some of the remaining channels may not be signaled separately. The decoding apparatus 1700 may derive coding determination information of at least a part of the remaining channels using the coding determination information of the representative channel. That is to say, the coding decision information of the representative channel can be shared for at least some of the remaining channels.
예를 들면, YCbCr 컬러공간에서 루마 신호에 대해 가장 높은 연관성을 갖는 Y 채널이 대표 채널로서 선택된 경우, 영상의 루마 채널(즉, Y) 및 크로마 채널(즉, Cb 및/또는 Cr) 간에는 연관성(correlation)이 존재할 수 있다. 따라서, 영상 압축을 위한 예측이 수행될 때, 컬러 공간의 3 개의 채널들에 독립적인 예측들이 각각 적용되는 대신, 대표 채널인 루마 채널에 대한 코딩 결정 정보가 하나 이상의 크로마 블록들에 대한 코딩 결정 정보들로서 묵시적으로 공유될 수 있다. 하나 이상의 크로마 블록들은 Cb 블록 및 Cr 블록의 하나 이상을 포함할 수 있다.For example, if the Y channel with the highest correlation to the luma signal in the YCbCr color space is selected as the representative channel, then the association (i.e., Y) and chroma channel (i.e., Cb and / or Cr) correlation may exist. Therefore, when predictions for image compression are performed, instead of applying independent predictions to the three channels of the color space, coding determination information for a luma channel, which is a representative channel, is used as coding determination information for one or more chroma blocks Can be implicitly shared. The one or more chroma blocks may comprise one or more of a Cb block and a Cr block.
예를 들면, YCbCr 컬러공간에서 Cb 채널이 대표 채널로서 선택된 경우, 크로마 채널들을 구성하는 Cb 신호 및 Cr 신호 간에는 연관성(correlation)이 존재할 수 있다. 따라서, 영상 압축을 위한 예측이 수행될 때, 2 개의 크로마 채널들에 대하여 독립적인 예측들이 각각 적용되는 대신, 대표 채널인 Cb 채널에 대한 코딩 결정 정보가 Cr 블록에 대한 코딩 결정 정보로서 묵시적으로 공유될 수 있다.For example, when a Cb channel is selected as a representative channel in the YCbCr color space, there may be a correlation between the Cb signal and the Cr signal constituting the chroma channels. Therefore, when predictions for image compression are performed, independent predictions are applied to two chroma channels, respectively. Instead, coding determination information for a Cb channel, which is a representative channel, is shared implicitly as coding determination information for a Cr block. .
채널들 간에서 공유되는 코딩 결정 정보Coding decision information shared between channels
채널들 간에서 공유될 수 있는 코딩 결정 정보는 구문 요소와 같이 부호화 장치(1600)에서 부호화되고, 비트스트림 내의 정보로서 복호화 장치(1700)로 시그널링되는 정보를 의미할 수 있다. 예를 들면, 코딩 결정 정보는 플래그 및 인덱스 등을 포함할 수 있다. 또한, 코딩 결정 정보는 부호화 및/또는 복호화의 과정에서 유도되는 정보를 포함할 수 있다. 또한, 코딩 결정 정보는 영상의 부호화 및/또는 복호화를 위해 요구되는 정보를 의미할 수 있다.Coding decision information that can be shared between the channels may be information encoded in the encoding apparatus 1600 such as a syntax element and signaled to the decoding apparatus 1700 as information in the bitstream. For example, the coding determination information may include flags, indexes, and the like. In addition, the coding determination information may include information that is derived in the course of encoding and / or decoding. In addition, the coding decision information may mean information required for encoding and / or decoding an image.
예를 들면, 코딩 결정 정보는, 유닛/블록의 크기, 유닛/블록의 깊이, 유닛/블록의 분할 정보, 유닛/블록의 분할 구조, 유닛/블록이 쿼드 트리 형태로 분할되는지 여부를 나타내는 분할 플래그 정보, 유닛/블록이 이진 트리 형태로 분할되는지 여부를 나타내는 분할 플래그 정보, 이진 트리 형태의 분할 방향(가로 방향 또는 세로 방향), 이진 트리 형태의 분할 형태(대칭 분할 또는 비대칭 분할), 유닛/블록이 삼진 트리 형태로 분할되는지 여부를 나타내는 분할 플래그 정보, 삼진 트리 형태의 분할 방향(가로 방향 또는 세로 방향), 삼진 트리 형태의 분할 형태(대칭 분할 또는 비대칭 분할 등), 유닛/블록이 복합 트리 형태로 분할되는지 여부를 나타내는 정보, 복합 트리 형태의 분할의 조합 및 방향(가로 방향 또는 세로 방향 등), 예측 방식(인트라 예측 또는 인터 예측), 인트라 예측 모드/방향, 참조 샘플 필터링 방법, 예측 블록 필터링 방법, 예측 블록 경계 필터링 방법, 필터링의 필터 탭, 필터링의 필터 계수, 인터 예측 모드, 움직임 정보, 움직임 벡터, 참조 픽처 색인, 인터 예측 방향, 인터 예측 지시자, 참조 픽처 리스트, 참조 영상, 움직임 벡터 예측기, 움직임 벡터 예측 후보, 움직임 벡터 후보 리스트, 머지 모드를 사용하는지 여부를 나타내는 정보, 머지 후보, 머지 후보 리스트, 스킵(skip) 모드를 사용하는지 여부를 나타내는 정보, 보간 필터의 종류, 보간 필터의 필터 탭, 보간 필터의 필터 계수, 움직임 벡터 크기, 움직임 벡터 표현 정확도, 변환 종류, 변환 크기, 1차 변환을 사용하는지 여부를 나타내는 정보, 추가(2차) 변환을 사용하는지 여부를 나타내는 정보, 1차 변환 선택 정보(또는, 1차 변환 인덱스), 2차 변환 선택 정보(또는, 2차 변환 인덱스), 잔차 신호의 유무를 나타내는 정보, 코드된 블록 패턴(coded block pattern), 코드된 블록 플래그(coded block flag), 양자화 파라미터, 양자화 행렬, 인트라-루프 필터에 대한 정보, 인트라-루프 필터를 적용하는지 여부에 대한 정보, 인트라-루프 필터의 계수, 인트라-루프의 필터 탭, 인트라 루프 필터의 모양(shape)/형태(form), 디블록킹 필터를 적용하는지 여부를 나타내는 정보, 디블록킹 필터 계수, 디블록킹 필터 탭, 디블록킹 필터 강도, 디블록킹 필터 모양/형태, 적응적 샘플 오프셋을 적용하는지 여부를 나타내는 정보, 적응적 샘플 오프셋 값, 적응적 샘플 오프셋 카테고리, 적응적 샘플 오프셋 종류, 적응적 루프-내(in-loop) 필터를 적용하는지 여부, 적응적 루프-내 필터 계수, 적응적 루프-내 필터 탭, 적응적 루프-내 필터 모양/형태, 이진화/역이진화 방법, 문맥 모델, 문맥 모델 결정 방법, 문맥 모델 업데이트 방법, 레귤러 모드를 수행하는지 여부, 바이패스 모드를 수행하는지 여부, 문맥 빈, 바이패스 빈, 변환 계수, 변환 계수 레벨, 변환 계수 레벨 스캐닝 방법, 영상의 디스플레이/출력 순서, 슬라이스 식별 정보, 슬라이스 타입, 슬라이스 분할 정보, 타일 식별 정보, 타일 타입, 타일 분할 정보, 픽처 타입, 비트 심도, 루마 신호에 대한 정보 및 크로마 신호에 대한 정보, transform_skip_flag 정보, 1차 변환 선택 정보, 2차 변환 선택 정보, 참조 샘플 필터링 정보, PDPC_flag 정보, rdpcm_flag 정보, EMT 플래그 정보, mts_flag 정보, mts_idx 정보, nsst_flag 정보 및 nsst_idx 정보의 적어도 하나 또는 조합된 형태를 포함할 수 있다.For example, the coding determination information includes a unit / block size, a unit / block depth, a unit / block division information, a unit / block division structure, a division flag indicating whether a unit / block is divided into a quad tree form (Division in the horizontal direction or the vertical direction), division type in the form of binary tree (symmetric division or asymmetric division), unit / block (Symmetrical division or asymmetric division) of the triangle tree type, a division tree structure in which the unit / block is formed as a composite tree form , Information indicating whether or not to be divided into a composite tree, a combination and direction of a composite tree type (horizontal direction or vertical direction, etc.), a prediction method A motion vector, a motion vector, a reference picture index, a motion vector, a motion vector, a motion vector, and a reference picture index, A merge candidate list, a skip image, an inter prediction direction, an inter prediction instruction, a reference picture list, a reference image, a motion vector predictor, a motion vector prediction candidate, a motion vector candidate list, Mode, the type of the interpolation filter, the filter tap of the interpolation filter, the filter coefficient of the interpolation filter, the size of the motion vector, the accuracy of the motion vector expression, the kind of transformation, the size of the transformation, Information indicating whether or not additional (secondary) conversion is used, information indicating whether primary conversion selection information (or primary conversion index A coded block pattern, a coded block flag, a quantization parameter, a quantization matrix, and a quantization matrix. Information about the intra-loop filter, information about whether the intra-loop filter is applied, coefficients of the intra-loop filter, filter tap of the intra-loop, shape / form of the intra- Information indicating whether or not to apply a filter, information indicating whether to apply a filter, deblocking filter coefficient, deblocking filter tap, deblocking filter strength, deblocking filter shape / shape, information indicating whether to apply an adaptive sample offset, Adaptive loop-filter coefficients, adaptive loop-in-filter tap, adaptive loop-in filter, adaptive loop-filter coefficients, Filter shape / form, binarization / inverse binarization method, context model, context model determination method, context model update method, whether to perform regular mode, bypass mode, context bean, bypass bean, A slice type information, a slice division information, a tile identification information, a tile type, a tile division information, a picture type, a bit depth, information on a luma signal, At least one of information on a chroma signal, transform_skip_flag information, primary conversion selection information, secondary conversion selection information, reference sample filtering information, PDPC_flag information, rdpcm_flag information, EMT flag information, mts_flag information, mts_idx information, nsst_flag information, and nsst_idx information Or a combination thereof.
채널들 간에서 공유될 수 있는 코딩 결정 정보들 중, 1차 변환 선택 정보는 수평 방향 및/또는 수직 방향에 대한 적어도 하나 이상의 DCT 변환 커널 및/또는 DST 변환 커널의 조합을 사용하여 잔차 신호에 대한 변환 과정을 수행함에 있어서 요구되는 변환 정보일 수 있다. 예를 들면, 1차 변환 선택 정보는 1차 변환에서 MTS를 사용하기 위한 정보일 수 있다. 1차 변환 선택 정보는 mts_flag 정보 및 mts_idx 정보를 포함할 수 있다.Of the coding decision information that can be shared between the channels, the first order transformation selection information may be obtained by using a combination of at least one DCT transform kernel and / or a DST transform kernel for the horizontal and / Conversion information required for performing the conversion process. For example, the primary conversion selection information may be information for using the MTS in the primary conversion. The primary conversion selection information may include mts_flag information and mts_idx information.
대상 블록에 적용되는 1차 변환 선택 정보는 명시적으로 시그널링될 수 있으며, 또는 대상 블록의 코딩 결정 정보 및 주변 블록의 코딩 결정 정보를 사용하여 부호화 장치(1600) 및 복호화 장치(1700)에서 묵시적으로 각각 유도될 수도 있다.The primary transformation selection information applied to the target block may be explicitly signaled or may be implicitly generated in the encoder 1600 and the decoder 1700 using the coding decision information of the target block and the coding decision information of the neighboring block Respectively.
부호화 장치(1600)에서는 1차 변환이 완료된 후, 변환 계수들에 대한 에너지 집중도를 높이기 위해 2차 변환이 수행될 수 있다.After the primary conversion is completed in the encoding apparatus 1600, the secondary conversion may be performed to increase the energy concentration of the conversion coefficients.
대상 블록에 적용되는 2차 변환 선택 정보는 명시적으로 시그널링될 수 있으며, 또는 대상 블록의 코딩 결정 정보 및 주변 블록의 코딩 결정 정보를 사용하여 부호화 장치(1600) 및 복호화 장치(1700)에서 묵시적으로 각각 유도될 수도 있다. 복호화 장치(1700)는 2차 역변환의 수행 여부에 따라 2차 역변환을 수행할 수 있고, 1차 역변환의 수행 여부에 따라 2차 역변환의 수행의 결과에 대하여 1차 역변환을 수행할 수 있다.The secondary transformation selection information applied to the target block may be explicitly signaled or may be implicitly applied to the coding apparatus 1600 and the decoding apparatus 1700 using the coding determination information of the target block and the coding determination information of the neighboring block Respectively. The decoding apparatus 1700 can perform the second-order inverse transformation according to whether or not the second-order inverse transformation is performed, and can perform the first-order inverse transformation on the result of performing the second-order inverse transformation according to whether the first inverse transformation is performed.
부호화 장치(1600)는 대상 블록에 대한 rdpcm_flag 정보를 생성할 수 있고, rdpcm_flag 정보를 비트스트림에 기재할 수 있다. 복호화 장치(1700)는 비트스트림을 통해 rdpcm_flag 정보를 획득할 수 있고, rdpcm_flag 정보가 지시하는 바에 따라서 RDPCM을 수행하거나, 수행하지 않을 수 있다.The encoder 1600 can generate rdpcm_flag information for the target block and write the rdpcm_flag information in the bitstream. The decoding apparatus 1700 can obtain the rdpcm_flag information through the bit stream and perform or not perform the RDPCM according to the instruction of the rdpcm_flag information.
도 18은 일 실시예에 따른 코딩 결정 정보의 복호화 방법의 흐름도이다.18 is a flowchart of a decoding method of coding determination information according to an embodiment.
실시예들에 따라 복수의 채널들 간의 정보의 공유를 위해 컬러 공간 상의 특정된 채널이 대표 채널로서 선정된 경우, 대상 블록의 대표 채널의 코딩 결정 정보는 복수의 채널들 중 대표 채널을 제외한 적어도 하나 이상의 나머지 채널에서 공유될 수 있다.When a specific channel on the color space is selected as a representative channel for sharing information among a plurality of channels according to embodiments, the coding determination information of the representative channel of the target block includes at least one of the plurality of channels The remaining channels can be shared.
예를 들면, YCbCr 컬러 공간 상에서 대상 블록에 대한 인트라 예측이 수행되는 경우, 컬러 공간의 세 채널들에 대하여 각각 독립적으로 인트라 코딩 결정 정보를 전송하는 대신, Y 채널을 대표 채널로 설정한 후, 대표 채널의 인트라 코딩 결정 정보가 대표 채널 이외의 채널들(즉, Cb 채널 및/또는 Cr 채널)의 복호화에서 공유되어 사용될 수 있다. 또는, YCbCr 컬러 공간 상에서 Cb 채널이 대표 채널로 가정된 후, 대표 채널의 인트라 코딩 결정 정보가 대표 채널 이외의 채널인 Cr 채널의 복호화에서 묵시적으로 사용될 수 있다.For example, when intraprediction is performed on a target block in the YCbCr color space, instead of transmitting intra-coding determination information independently for each of the three channels of the color space, the Y channel is set as a representative channel, The intra coding determination information of the channel can be shared and used in decoding of channels other than the representative channel (i.e., the Cb channel and / or the Cr channel). Alternatively, after the Cb channel is assumed to be the representative channel in the YCbCr color space, the intra coding determination information of the representative channel may be implicitly used in decoding the Cr channel, which is a channel other than the representative channel.
예를 들면, 나머지의 채널들에서 공유될 수 있는 대표 채널의 인트라 코딩 결정 정보는 인트라 예측 모드, 인트라 예측 방향, 예측 블록 경계 필터링 방법, 예측 블록 경계 필터링을 위한 필터 탭, 예측 블록 경계 필터링을 위한 필터 계수, transform_skip_flag 정보, 1차 변환 선택 정보, 2차 변환 선택 정보, mts_flag 정보), mts_idx 정보, PDPC_flag 정보, rdpcm_flag 정보, EMT 플래그 정보, nsst_flag 정보, nsst_idx 정보, 인트라 스무딩 필터링 정보, CU 스킵(skip) 플래그 정보, CU_lic 플래그 정보, obmc_flag 정보, codeAlfCtuEnable_플래그 정보 및 PDPC_flag 정보의 하나 이상을 포함할 수 있다.For example, the intra-coding decision information of the representative channels that can be shared in the remaining channels may be used for intra-prediction mode, intra-prediction direction, prediction block boundary filtering method, filter tap for prediction block boundary filtering, Mts_idx information, PDPC_flag information, rdpcm_flag information, EMT flag information, nsst_flag information, nsst_idx information, intra smoothing filtering information, skip (skip) information, ) Flag information, CU_lic flag information, obmc_flag information, codeAlfCtuEnable_ flag information, and PDPC_flag information.
크로마 신호의 예측을 위한 각(angular) 예측, DC 예측 및 플래너 예측 등을 포함한 다양한 기술들 중에서 채널간 예측이 선택되거나 채널간 예측이 유리한 경우는 루마 신호(즉, Y)의 특성이 크로마 신호(즉, Cb 및/또는 Cr)의 특성과 상당히 유사하다는 것을 의미할 수 있다.If interchannel predictions are selected among various techniques including angular prediction, DC prediction and planar prediction for chroma signal prediction, or interchannel prediction is advantageous, the characteristics of the luma signal (i.e., Y) That is, Cb and / or Cr).
이러한 경우, Y 신호 블록의 채널이 대표 채널이면, 대표 채널의 부호화 및/또는 복호화의 과정에서 결정된 코딩 결정 정보가 크로마 블록에 대하여도 동일하게 적용될 수 있다. 이러한 적용을 통해 코딩 결정 정보를 전송하기 위한 비트량이 감소될 수 있다. 따라서, 채널간 예측을 통해, 하나의 코딩 결정 정보가 복수의 채널들을 위해 사용되도록 부호화 및 복호화가 이루어질 수 있다.In this case, if the channel of the Y signal block is a representative channel, the coding determination information determined in the process of encoding and / or decoding the representative channel may be similarly applied to the chroma block. With this application, the bit amount for transmitting the coding decision information can be reduced. Therefore, through inter-channel prediction, coding and decoding can be performed so that one piece of coding decision information is used for a plurality of channels.
예를 들면, 루마 채널에 대한 코딩 결정 정보가 결정된 후, 나머지 채널에서 그 결정된 코딩 결정 정보가 공유될 수 있고, 공유된 코딩 결정 정보를 통해 부호화가 수행될 수 있다. 또는 채널들 간의 공유 없이, 3 개의 채널들에 코딩 결정 정보들이 독립적으로 적용될 수 있고, 3 개의 채널들이 독립적으로 부호화 및/또는 복호화될 수 있다. 부호화 장치(1600)는 채널들 간에서 코딩 결정 정보가 공유되는 방법 및 채널들이 서로 독립적으로 부호화되는 방법 중 율-왜곡 측면에서 유리한 방법을 부호화 방법으로서 결정할 수 있다. 이러한 결정에 따라, 부호화 장치(1600)는 채널들 간의 코딩 결정 정보의 공유 여부에 대한 정보를 명시적으로 비트스트림에 기재할 수 있고, 비트스트림을 통해 이러한 정보가 복호화 장치(1700)로 전송될 수 있다.For example, after the coding determination information for the luma channel is determined, the determined coding determination information may be shared in the remaining channels, and the coding may be performed through the shared coding determination information. Or without sharing between the channels, the coding decision information can be applied independently to the three channels, and the three channels can be independently encoded and / or decoded. The encoding apparatus 1600 can determine a method in which coding decision information is shared between channels and an advantageous method in terms of rate-distortion of channels in which channels are independently encoded as a coding method. According to this determination, the encoding apparatus 1600 can explicitly write information about whether or not the coding decision information between the channels is shared in the bitstream, and this information is transmitted to the decoding apparatus 1700 through the bitstream .
예를 들면, 부호화 및/또는 복호화의 과정에서 특정된 부호화 조건이 충족되는 경우, 채널들 간의 코딩 결정 정보의 공유 여부에 대한 정보가 명시적으로 시그널링되지 않을 수 있고, 대표 채널의 코딩 결정 정보가 나머지 채널에서 공유될 수 있다.For example, if the coding condition specified in the coding and / or decoding process is satisfied, information on whether or not the coding decision information is shared between the channels may not be explicitly signaled, and the coding decision information of the representative channel may be Can be shared on the remaining channels.
예를 들면, 특정된 부호화 조건은 크로스 컴포넌트 예측(Cross Component Prediction), DM 또는 CCLM을 사용하는 것일 수 있다.For example, the specified encoding condition may be using Cross Component Prediction, DM or CCLM.
예를 들면, 부호화 또는 복호화가 완료된 루마 신호의 원본 신호, 재구축된 신호, 잔차 신호 및 예측 신호 중 적어도 하나를 이용하여 나머지의 크로마 신호(즉, Cb 신호 및/또는 Cr 신호)를 예측하는 경우, 채널들 간의 코딩 결정 정보의 공유가 적용될 수 있다.For example, when predicting the remaining chroma signals (that is, the Cb signal and / or the Cr signal) using at least one of the original signal of the encoded or decoded luma signal, the reconstructed signal, the residual signal and the prediction signal , Sharing of coding decision information between channels can be applied.
예를 들면, 부호화 또는 복호화가 완료된 크로마 신호의 원본 신호, 재구축된 신호, 잔차 신호 및 예측 신호 중 적어도 하나를 이용하여 루마 신호를 예측하는 경우, 채널들 간의 코딩 결정 정보의 공유가 적용될 수 있다.For example, when the luma signal is predicted using at least one of the original signal of the encoded or decoded chroma signal, the reconstructed signal, the residual signal, and the prediction signal, the sharing of the coding decision information between the channels can be applied .
예를 들면, 부호화 또는 복호화가 완료된 Cb 신호의 원본 신호, 재구축된 신호, 잔차 신호 및 예측 신호 중 적어도 하나를 이용하여 Cr 신호를 예측하는 경우, 채널들 간의 코딩 결정 정보의 공유가 적용될 수 있다.For example, when the Cr signal is predicted using at least one of the original signal, the reconstructed signal, the residual signal, and the prediction signal of the Cb signal in which coding or decoding has been completed, the sharing of coding determination information between channels can be applied .
예를 들면, 부호화 또는 복호화가 완료된 Cr 신호의 원본 신호, 재구축된 신호, 잔차 신호 및 예측 신호 중 적어도 하나를 이용하여 Cb 신호를 예측하는 경우, 채널들 간의 코딩 결정 정보의 공유가 적용될 수 있다.For example, when the Cb signal is predicted using at least one of the original signal of the encoded or decoded Cr signal, the reconstructed signal, the residual signal, and the prediction signal, the sharing of the coding decision information between the channels can be applied .
YCbCr 컬러 공간에서, 루마 채널이 대표 채널로 설정된 경우, 코딩 결정 정보를 루마 채널 외의 나머지의 채널들에 대하여 시그널링하는 대신에, 루마 신호에 대하여만 코딩 결정 정보가 시그널링될 수 있고, 나머지의 크로마 채널에 대하여는 별도로 코딩 결정 정보가 전송되지 않을 수 있다. 이러한 선택적인 전송을 통해 압축률이 향상될 수 있다.In the YCbCr color space, when the luma channel is set as the representative channel, instead of signaling the coding decision information for the remaining channels outside the luma channel, the coding decision information can be signaled only for the luma signal, The coding decision information may not be transmitted separately. This selective transmission can improve the compression rate.
또한, Cb 신호에 대하여만 코딩 결정 정보가 전송되고, Cr 신호에 대해서는 전송된 코딩 결정 정보가 공유됨으로써 압축률이 향상될 수 있다. 또는, Cr 신호에 대하여만 코딩 결정 정보가 전송되고, Cb 신호에 대해서는 전송된 코딩 결정 정보가 공유됨으로써 압축률이 향상될 수 있다.In addition, the coding decision information is transmitted only for the Cb signal, and the coding decision information transmitted is shared for the Cr signal, so that the compression ratio can be improved. Alternatively, the coding decision information is transmitted only for the Cr signal, and the coding decision information transmitted is shared for the Cb signal, so that the compression ratio can be improved.
단계(1810)에서, 통신부(1720)는 비트스트림을 수신할 수 있다. 비트스트림은 코딩 결정 정보를 포함할 수 있다.In step 1810, the communication unit 1720 can receive the bit stream. The bitstream may include coding determination information.
단계(1820)에서, 처리부(1710)는 대상 블록의 대상 채널에 대하여 코딩 결정 정보의 공유를 사용할지 여부를 결정할 수 있다.In step 1820, the processing unit 1710 may determine whether to use sharing of coding determination information for the target channel of the target block.
코딩 결정 정보가 공유되지 않을 경우 단계(1830)가 수행될 수 있다.If the coding decision information is not shared, step 1830 may be performed.
코딩 결정 정보가 공유될 경우 단계(1840)가 수행될 수 있다.If the coding decision information is shared, step 1840 may be performed.
단계(1830)에서, 처리부(1710)는 비트스트림으로부터 대상 채널의 코딩 결정 정보를 획득할 수 있다. 처리부(1710)는 비트스트림으로부터 대상 채널의 코딩 결정 정보를 파싱 및 독출할 수 있다.In step 1830, the processing unit 1710 may obtain the coding determination information of the target channel from the bitstream. The processing unit 1710 can parse and read the coding determination information of the target channel from the bitstream.
단계(1840)에서, 처리부(1710)는 대표 채널의 코딩 결정 정보가 대상 채널의 코딩 결정 정보로서 사용되도록 설정할 수 있다.In step 1840, the processing unit 1710 can set the coding determination information of the representative channel to be used as the coding determination information of the target channel.
단계들(1820, 1830 및 1840)은 아래의 코드 1과 같이 표현될 수 있다.Steps 1820, 1830, and 1840 may be represented as code 1 below.
[코드 1][Code 1]
if ((cIdx != 0) && "채널간 예측이 사용됨")if ((cIdx! = 0) && "Interchannel prediction is used")
코딩 결정 정보 [cIdx] = 코딩 결정 정보[0]    Coding decision information [cIdx] = Coding decision information [0]
elseelse
PARSE 코딩 결정 정보 [cIdx] from compressed bitstream    PARSE coding decision information [cIdx] from compressed bitstream
cIdx는 대상 블록의 대상 채널을 지시할 수 있다. 예를 들면, 대상 영상의 채널들의 개수가 3일 때, cIdx는 기정의된 특정된 값들 중 하나일 수 있으며, {0, 1, 2}의 값들 중 하나의 값일 수 있다.cIdx can indicate the target channel of the target block. For example, when the number of channels of the object image is 3, cIdx may be one of the predetermined specified values and may be a value of one of {0, 1, 2}.
실시예에서, 대표 채널의 cIdx는 0인 것으로 가정될 수 있다.In an embodiment, the cIdx of the representative channel may be assumed to be zero.
"cIdx != 0"는 대상 채널이 대표 채널(예를 들면, 루마 채널)이 아님을 나타낼 수 있다. 말하자면, cIdx의 값이 0인 것은 대상 채널이 대표 채널임을 나타낼 수 있다."cIdx! = 0" may indicate that the target channel is not a representative channel (e.g., a luma channel). That is to say, a value of cIdx of 0 indicates that the target channel is a representative channel.
말하자면, 단계(1820)에서, 처리부(1710)는 대상 채널이 대표 채널이 아니고, 대상 블록에 대해 채널간 예측이 사용되면 대상 채널에 대해서 코딩 결정 정보의 공유를 사용할 것을 결정할 수 있다. 처리부(1710)는 대상 채널이 대표 채널이거나 대상 블록에 대해 채널간 예측이 사용되지 않으면 대상 채널에 대해서 코딩 결정 정보의 공유를 사용하지 않을 것을 결정할 수 있다.That is to say, at step 1820, the processing unit 1710 can determine to use sharing of coding decision information for the target channel if the target channel is not a representative channel and inter-channel prediction is used for the target block. The processing unit 1710 can determine that the target channel is a representative channel or not to use the sharing of coding determination information for the target channel if inter-channel prediction is not used for the target block.
대상 블록에 채널간 예측이 사용되는지 여부는, 1) 비트스트림으로부터 획득된 정보에 기반하여 유도될 수 있고, 2) 특정된 조건이 만족되는지 여부에 따라서 묵시적으로 유도될 수도 있다.Whether interchannel prediction is used in the target block may be derived either 1) based on information obtained from the bitstream and 2) implicitly derived depending on whether the specified condition is satisfied.
전술된 것과 같이, 채널간 예측이 사용되는지 여부는 대상 블록의 인트라 예측 모드에 기반하여 결정될 수 있다. 대상 블록에 대한 인트라 예측 모드가 INTRA_CCLM 모드, INTRA_MMLM 모드 및 INTRA_MFLM 모드 중 하나인지 여부에 기반하여 채널간 예측이 사용되는지 여부가 결정될 수 있다. 예를 들면, 처리부(1710)는 대상 블록에 대한 인트라 예측 모드가 INTRA_CCLM 모드, INTRA_MMLM 모드 및 INTRA_MFLM 모드 중 하나이면 채널간 예측이 사용되는 것으로 결정할 수 있다.As described above, whether or not interchannel prediction is used can be determined based on the intra prediction mode of the target block. It may be determined whether inter-channel prediction is used based on whether the intra-prediction mode for the target block is one of INTRA_CCLM mode, INTRA_MMLM mode, and INTRA_MFLM mode. For example, the processing unit 1710 can determine that inter-channel prediction is used when the intra-prediction mode for the target block is one of INTRA_CCLM mode, INTRA_MMLM mode, and INTRA_MFLM mode.
전술된 것과 같이, 대상 블록의 크로마 채널에 대한 인트라 예측 모드가 특정된 값을 갖는지 여부에 기반하여 채널간 예측이 사용되는지 여부가 결정될 수 있다. 예를 들면, 처리부(1710)는 대상 블록의 크로마 채널에 대한 인트라 예측 모드가 특정된 값을 가지면 채널간 예측이 사용되는 것으로 결정할 수 있다.As described above, it can be determined whether inter-channel prediction is used based on whether or not the intra-prediction mode for the chroma channel of the object block has a specified value. For example, the processing unit 1710 may determine that inter-channel prediction is used if the intra-prediction mode for the chroma channel of the object block has a specified value.
대상 블록의 크로마 채널에 대한 인트라 예측 모드는 intra_chroma_pred_mode 정보에 의해 지시될 수 있다.The intra prediction mode for the chroma channel of the target block may be indicated by intra_chroma_pred_mode information.
전술된 것과 같이, 대상 채널의 인트라 예측 모드가 DM인지 여부에 기반하여 채널간 예측이 사용되는지 여부가 결정될 수 있다. 예를 들면, 처리부(1710)는 대상 채널의 인트라 예측 모드가 DM이면 채널간 예측이 사용되는 것으로 결정할 수 있다.As described above, it can be determined whether inter-channel prediction is used based on whether the intra-prediction mode of the target channel is DM. For example, the processing unit 1710 can determine that inter-channel prediction is used if the intra-prediction mode of the target channel is DM.
단계(1830)에서, 처리부(1710)는 cIdx가 지시하는 채널의 블록에 대한 코딩 결정 정보를 비트스트림으로부터 획득할 수 있다.In step 1830, the processing unit 1710 may obtain coding determination information for a block of the channel indicated by cIdx from the bitstream.
처리부(1710)는 cIdx가 지시하는 채널의 블록에 대한 코딩 결정 정보를 비트스트림으로부터 파싱 및 독출할 수 있다.The processing unit 1710 can parse and read the coding determination information for the block of the channel indicated by cIdx from the bitstream.
단계(1840)에서, 처리부(1710)는 대표 채널의 코딩 결정 정보를 cIdx가 지시하는 채널의 블록에 대한 코딩 결정 정보로서 공유할 수 있다. 말하자면, 처리부(1710)는 대표 채널의 코딩 결정 정보를 cIdx가 지시하는 채널의 블록에 대한 코딩 결정 정보로 설정할 수 있다.In step 1840, the processing unit 1710 may share coding determination information of the representative channel as coding determination information for a block of a channel indicated by cIdx. In other words, the processing unit 1710 can set the coding determination information of the representative channel to the coding determination information for the block of the channel indicated by cIdx.
일 실시예에 따라서, 단계(1820)의 이전이나, 단계들(1820 및 1840)의 사이에서 조건 또는 실행에 해당하는 동작이 추가로 부가될 수 있다.According to one embodiment, an operation corresponding to a condition or action may be added before the step 1820, or between the steps 1820 and 1840.
일 실시예에 따라서, Cb 신호에 대해서는 코딩 결정 정보가 전송되고, Cr 신호에 대해서는 코딩 결정 정보의 전송 없이 Cb 신호의 코딩 결정 정보가 공유될 수 있다. 이러한 경우 전술된 코드 1은 아래의 코드 2와 같이 변형될 수 있다.According to one embodiment, coding determination information may be transmitted for the Cb signal, and coding determination information of the Cb signal may be shared for the Cr signal without transmission of the coding determination information. In this case, the code 1 described above can be modified as shown in the following code 2.
[코드 2][Code 2]
if ((cIdx != 1) && "채널간 예측이 사용됨")if ((cIdx! = 1) && "Interchannel prediction is used")
코딩 결정 정보 [cIdx] = 코딩 결정 정보[0]    Coding decision information [cIdx] = Coding decision information [0]
elseelse
PARSE 코딩 결정 정보 [cIdx] from compressed bitstream    PARSE coding decision information [cIdx] from compressed bitstream
도 19는 일 실시예에 따른 변환 생략의 여부를 결정하는 복호화 방법의 흐름도이다.19 is a flowchart of a decoding method for determining whether to omit conversion according to an embodiment.
부호화 장치(1600)는 대상 블록의 크기에 따라서 변환(예를 들면, 1차 변환 및/또는 2차 변환)의 수행 여부를 결정할 수 있다.The encoding device 1600 can determine whether to perform a conversion (e.g., a primary conversion and / or a secondary conversion) according to the size of the target block.
대상 블록은 변환 블록일 수 있다.The target block may be a transform block.
log2TrafoSize는 대상 블록의 크기를 나타낼 수 있다.log2TrafoSize can represent the size of the target block.
예를 들면, 부호화 장치(1600)는 대상 블록의 크기가 블록 크기의 경계치를 지시하는 임계 값의 이하이면 대상 블록의 변환을 생략할 수 있다.For example, if the size of the target block is less than or equal to the threshold value indicating the boundary value of the block size, the encoding device 1600 can omit conversion of the target block.
Log2MaxTransformSkipSize는 블록 크기의 경계치를 지시하는 임계 값을 나타낼 수 있다.Log2MaxTransformSkipSize can represent a threshold value indicating the threshold value of the block size.
대상 블록의 변환이 생략되는 경우, 부호화 장치(1600)는 변환을 수행하지 않고, transform_skip_flag 정보의 값을 1로 설정할 수 있다. transform_skip_flag 정보는 비트스트림을 통해 복호화 장치(1700)로 전송할 수 있다.When the conversion of the target block is omitted, the encoding device 1600 can set the value of the transform_skip_flag information to 1 without performing conversion. The transform_skip_flag information can be transmitted to the decoding apparatus 1700 through the bit stream.
또한, 대상 블록의 변환이 수행되는 경우, 부호화 장치(1600)는 변환을 수행하고, transform_skip_flag 정보의 값을 0으로 설정할 수 있다. transform_skip_flag 정보는 비트스트림을 통해 복호화 장치(1700)로 전송할 수 있다.Also, when the conversion of the target block is performed, the encoding device 1600 may perform the conversion and set the value of the transform_skip_flag information to 0. [ The transform_skip_flag information can be transmitted to the decoding apparatus 1700 through the bit stream.
이 때, transform_skip_flag 정보들이 영상의 컬러 공간을 구성하는 채널들에 대해서 별도로 전송될 수 있다.At this time, the transform_skip_flag information can be separately transmitted to the channels constituting the color space of the image.
복호화 장치(1700)는 비트스트림으로부터 transform_skip_flag 정보의 값을 획득할 수 있다. 말하자면, 복호화 장치(1700)는 비트스트림으로부터 transform_skip_flag 정보를 파싱 및 독출할 수 있다.The decoding apparatus 1700 can obtain the value of the transform_skip_flag information from the bit stream. In other words, the decoding apparatus 1700 can parse and read transform_skip_flag information from the bit stream.
이 때, 복호화 장치(1700)는 블록의 크기가 블록 크기의 경계치를 지시하는 임계 값의 이하인 경우에만 비트스트림으로부터 transform_skip_flag 정보의 값을 획득할 수 있다.At this time, the decoding apparatus 1700 can obtain the value of the transform_skip_flag information from the bit stream only when the size of the block is less than or equal to a threshold value indicating the boundary value of the block size.
또한, 복호화 장치(1700)는 영상의 복수의 채널들에 대한 transform_skip_flag 정보들 획득할 수 있다.Also, the decoding apparatus 1700 can obtain transform_skip_flag information for a plurality of channels of an image.
이러한 transform_skip_flag 정보의 획득은 아래의 코드 3과 같이 표현될 수 있다.The acquisition of the transform_skip_flag information can be expressed as the following code 3.
[코드 3][Code 3]
If ( log2TrafoSize <= Log2MaxTransformSkipSize )If (log2TrafoSize <= Log2MaxTransformSkipSize)
transform_skip_flag[ x0 ][ y0 ][ cIdx ]    transform_skip_flag [x0] [y0] [cIdx]
x0 및 y0는 대상 블록의 위치를 나타내는 공간 좌표들을 나타낼 수 있다.and x0 and y0 may represent spatial coordinates indicating the position of the target block.
cIdx는 대상 블록 정보의 대상 채널을 지시할 수 있다.cIdx can indicate the target channel of the target block information.
영상의 채널들이 3 개일 때, cIdx는 기정의된 {0,1,2}의 값들 중 하나의 값을 가질 수 있다. 대표 채널의 값은 0일 수 있다.When there are three channels of image, cIdx may have one of the values of {0,1,2} predefined. The value of the representative channel may be zero.
코드 3은 아래의 코드 4와 같이 변형될 수 있다.Code 3 can be modified as in Code 4 below.
[코드 4][Code 4]
If (( log2TbWidth <= Log2MaxTransformSkipSize_W ) && ( log2TbHeight <= Log2MaxTransformSkipSize_H ))If ((log2TbWidth <= Log2MaxTransformSkipSize_W) && (log2TbHeight <= Log2MaxTransformSkipSize_H))
transform_skip_flag[ x0 ][ y0 ][ cIdx ]    transform_skip_flag [x0] [y0] [cIdx]
log2TbWidth는 아래의 수식 11에 따른 값일 수 있다. width는 대상 블록의 폭(즉, 가로 길이)일 수 있다.log2TbWidth may be a value according to Equation 11 below. The width may be the width of the target block (i.e., the width).
[수식 11][Equation 11]
log2TbWidth = loglog2TbWidth = log 22 widthwidth
log2TbHeight는 아래의 수식 12에 따른 값일 수 있다. height는 대상 블록의 높이(즉, 세로 길이)일 수 있다.log2TbHeight may be a value according to Equation 12 below. The height may be the height of the target block (i.e., the height).
[수식 12][Equation 12]
log2TbHeight= loglog2TbHeight = log 22 heightheight
기정의된 임계 값들인 Log2MaxTransformSkipSize_W 및 Log2MaxTransformSkipSize_H는 서로 동일할 수 있으며, 서로 다를 수도 있다. 예를 들면, Log2MaxTransformSkipSize_W의 값은 2일 수 있고, Log2MaxTransformSkipSize_H의 값은 2일 수 있다.The predetermined thresholds Log2MaxTransformSkipSize_W and Log2MaxTransformSkipSize_H may be the same or different from each other. For example, the value of Log2MaxTransformSkipSize_W can be 2, and the value of Log2MaxTransformSkipSize_H can be 2.
코드 3은 아래의 코드 5와 같이 변형될 수도 있다.Code 3 may be modified as in Code 5 below.
[코드 5][Code 5]
If (( log2TbWidth <= 2 ) && ( log2TbHeight <= 2 ))If ((log2TbWidth <= 2) && (log2TbHeight <= 2))
transform_skip_flag[ x0 ][ y0 ][ cIdx ]    transform_skip_flag [x0] [y0] [cIdx]
전술된 것과 같이, 복수의 채널들에 대해서 transform_skip_flag 정보들이 별도로 시그널링되는 대신에, 루마(Y) 신호에 대하여만 transform_skip_flag 정보가 시그널링되고, 나머지의 크로마 채널에 대하여는 별도로 transform_skip_flag 정보가 시그널링되지 않을 수 있다. 또는, Cb 신호에 대하여만 transform_skip_flag 정보가 시그널링되고, Cr 신호에 대하여는 별도로 transform_skip_flag 정보가 별도로 전송되지 않고, Cb 신호에 대해 전송된 transform_skip_flag 정보가 Cr 신호를 위해서도 공유될 수 있다.As described above, instead of the transform_skip_flag information being signaled separately for a plurality of channels, the transform_skip_flag information may be signaled only for luma (Y) signals and the transform_skip_flag information may not be signaled separately for the remaining chroma channels. Alternatively, the transform_skip_flag information is signaled only for the Cb signal, the transform_skip_flag information for the Cr signal is not separately transmitted, and the transform_skip_flag information transmitted for the Cb signal is also shared for the Cr signal.
아래에서는 이러한 transform_skip_flag 정보가 공유되는 실시예가 설명된다.An embodiment in which such transform_skip_flag information is shared is described below.
실시예에서, 복호화 장치(1700)는 비트스트림으로부터 transform_skip_flag 정보를 획득할 수 있다. 이러한 획득은 아래의 코드 6과 같이 표현될 수 있다.In an embodiment, the decoding apparatus 1700 may obtain transform_skip_flag information from the bitstream. This acquisition can be expressed as code 6 below.
[코드 6][Code 6]
if ( log2TrafoSize <= Log2MaxTransformSkipSize ) {if (log2TrafoSize <= Log2MaxTransformSkipSize) {
if ( (cIdx != 0) && "채널간 예측이 사용됨")  if ((cIdx! = 0) && "Interchannel prediction is used")
transform_skip_flag[ x0 ][ y0 ][cIdx] = transform_skip_flag[ x0 ][ y0 ][0]    transform_skip_flag [x0] [y0] [cIdx] = transform_skip_flag [x0] [y0] [0]
else  else
PARSE transform_skip_flag[ x0 ][ y0 ][cIdx] from compressed bitstream     PARSE transform_skip_flag [x0] [y0] [cIdx] from compressed bitstream
} else } else
transform_skip_flag[ x0 ][ y0 ][cIdx] = 0  transform_skip_flag [x0] [y0] [cIdx] = 0
x0 및 y0는 대상 블록의 위치를 나타내는 공간 좌표들일 수 있다.x0 and y0 may be space coordinates indicating the position of the target block.
cIdx는 대상 블록의 대상 채널을 지시할 수 있다.cIdx can indicate the target channel of the target block.
코드 6 및 조건 "if ( log2TrafoSize <= Log2MaxTransformSkipSize )"를 포함하는 다른 코드들에서, 조건 "if ( log2TrafoSize <= Log2MaxTransformSkipSize )"는 조건 "if (( log2TbWidth <= Log2MaxTransformSkipSize_W ) && ( log2TbHeight <= Log2MaxTransformSkipSize_H ))" 또는 조건 "if (( log2TbWidth <= 2 ) && ( log2TbHeight <= 2 ))"으로 대체될 수 있다.(Log2TbWidth &lt; = Log2MaxTransformSkipSize_W) && (log2TbHeight &lt; = Log2MaxTransformSkipSize_H)) in code 6 and in other codes including the condition "if (log2TrafoSize <= Log2MaxTransformSkipSize) "Or the condition" if ((log2TbWidth <= 2) && (log2TbHeight <= 2)) ".
영상의 채널들이 3 개일 때, cIdx는 기정의된 {0,1,2}의 값들 중 하나의 값을 가질 수 있다. 대표 채널의 값은 0일 수 있다. 또는, 대표 채널의 값인 1 또는 2일 수도 있다.When there are three channels of image, cIdx may have one of the values of {0,1,2} predefined. The value of the representative channel may be zero. Alternatively, it may be 1 or 2, which is the value of the representative channel.
단계(1910)에서, 통신부(1720)는 비트스트림을 수신할 수 있다.In step 1910, the communication unit 1720 can receive the bit stream.
단계(1920)에서, 처리부(1710)는 대상 블록에 대하여 변환의 생략이 가능한지 여부를 판단할 수 있다.In step 1920, the processing unit 1710 can determine whether or not the conversion of the target block is omissible.
변환의 생략이 가능한 경우, 단계(1930)가 수행될 수 있다.If the omission of the transformation is possible, step 1930 may be performed.
변환의 생략이 가능하지 않은 경우, 단계(1960)가 수행될 수 있다.If the omission of the conversion is not possible, step 1960 may be performed.
예를 들면, 처리부(1710)는 대상 블록의 크기가 특정된 크기의 이하이면 변환의 생략이 가능하지 않은 것으로 판단할 수 있다.For example, the processing unit 1710 can determine that the conversion can not be omitted if the size of the target block is smaller than or equal to the specified size.
예를 들면, 처리부(1710)는 대상 블록의 크기가 특정된 크기보다 더 크면 변환의 생략이 가능하지 않은 것으로 판단할 수 있다.For example, the processing unit 1710 can determine that the conversion can not be omitted if the size of the target block is larger than the specified size.
여기에서, 특정된 크기는 변환의 생략이 허용되는 블록 크기의 경계치일 수 있다.Here, the specified size may be a boundary value of a block size in which omission of conversion is allowed.
예를 들면, 처리부(1710)는 아래의 코드 7의 조건이 충족되면(즉, 코드 7의 조건의 결과가 참이면) 변환의 생략이 가능하지 않은 것으로 판단할 수 있고, 아래의 코드 7의 조건이 충족되지 않으면(즉, 코드 7의 조건의 결과가 거짓이면) 변환의 생략이 가능한 것으로 판단할 수 있다.For example, the processing unit 1710 can determine that the conversion is not possible if the condition of code 7 below is satisfied (i.e., the result of the condition of code 7 is true), and the condition of code 7 below Is not satisfied (that is, the result of the condition of the code 7 is false), it can be determined that the conversion can be omitted.
[코드 7][Code 7]
if (log2TrafoSize <= Log2MaxTransformSkipSize)if (log2TrafoSize <= Log2MaxTransformSkipSize)
단계(1930)에서, 처리부(1710)는 대상 블록의 대상 채널에 대하여 transform_skip_flag 정보의 공유를 사용할지 여부를 결정할 수 있다.In step 1930, the processing unit 1710 may determine whether to use the sharing of transform_skip_flag information for the target channel of the object block.
transform_skip_flag 정보가 공유되지 않을 경우 단계(1940)가 수행될 수 있다.If the transform_skip_flag information is not shared, step 1940 may be performed.
transform_skip_flag 정보가 공유될 경우 단계(1950)가 수행될 수 있다.If the transform_skip_flag information is shared, step 1950 can be performed.
예를 들면, 처리부(1710)는 아래의 코드 8의 조건이 충족되면(즉, 코드 8의 조건의 결과가 참이면) transform_skip_flag 정보가 공유되는 것으로 판단할 수 있고, 아래의 코드 8의 조건이 충족되지 않으면(즉, 코드 8의 조건의 결과가 거짓이면) transform_skip_flag 정보가 공유되지 않는 것으로 판단할 수 있다.For example, the processing unit 1710 may determine that the transform_skip_flag information is shared if the conditions of code 8 below are met (i.e., the result of the condition of code 8 is true), and the condition of code 8 below is met (That is, the result of the condition of the code 8 is false), it can be determined that the transform_skip_flag information is not shared.
[코드 8][Code 8]
if ((cIdx != 0) && (채널간 예측이 사용됨))if ((cIdx! = 0) && (interchannel prediction is used))
말하자면, 단계(1930)에서, 처리부(1710)는 대상 채널이 대표 채널이 아니고, 대상 블록에 대해 채널간 예측이 사용되면 대상 채널에 대해서 transform_skip_flag 정보를 공유할 것을 결정할 수 있다. 또한, 처리부(1710)는 대상 채널이 대표 채널이거나 대상 블록에 대해 채널간 예측이 사용되지 않으면 transform_skip_flag 정보를 공유하지 않을 것을 결정할 수 있다.In other words, in step 1930, the processing unit 1710 may determine that the target channel is not a representative channel and that transform_skip_flag information is to be shared for the target channel if inter-channel prediction is used for the target block. In addition, the processing unit 1710 can determine that the target channel is a representative channel or not to share transform_skip_flag information if interchannel prediction is not used for the target block.
단계(1940)에서, 처리부(1710)는 비트스트림으로부터 대상 채널의 transform_skip_flag 정보를 획득할 수 있다. 처리부(1710)는 비트스트림으로부터 대상 채널의 transform_skip_flag 정보를 파싱 및 독출할 수 있다.In step 1940, the processing unit 1710 may obtain transform_skip_flag information of the target channel from the bitstream. The processing unit 1710 can parse and read the transform_skip_flag information of the target channel from the bitstream.
transform_skip_flag 정보는 transform_skip_flag[ x0 ][ y0 ][ cIdx ]에 저장될 수 있다.The transform_skip_flag information may be stored in transform_skip_flag [x0] [y0] [cIdx].
단계(1950)에서, 처리부(1710)는 대표 채널의 transform_skip_flag 정보가 대상 채널의 transform_skip_flag 정보로서 사용되도록 설정할 수 있다.In step 1950, the processing unit 1710 can set the transform_skip_flag information of the representative channel to be used as the transform_skip_flag information of the target channel.
처리부(1710)는, 대상 채널의 transform_skip_flag 정보를 비트스트림으로부터 파싱 및 독출하는 대신, 대표 채널의 transform_skip_flag 정보를 대상 채널의 transform_skip_flag 정보로서 사용할 수 있다. 말하자면, 처리부(1710)는 transform_skip_flag[ x0 ][ y0 ][ cIdx ]에 transform_skip_flag[ x0 ][ y0 ][ 0 ]의 값을 저장할 수 있다.The processing unit 1710 can use the transform_skip_flag information of the representative channel as the transform_skip_flag information of the target channel instead of parsing and reading the transform_skip_flag information of the target channel from the bit stream. That is to say, the processing unit 1710 can store the value of transform_skip_flag [x0] [y0] [0] in transform_skip_flag [x0] [y0] [cIdx].
말하자면, 대상 채널의 transform_skip_flag 정보를 비트스트림으로부터 파싱 및 독출하는 과정 없이, 이미 transform_skip_flag[ x0 ][ y0 ][ 0 ]에 저장된 값이 transform_skip_flag[ x0 ][ y0 ][ cIdx ]에도 동일하게 사용할 수 있다.That is to say, the value already stored in transform_skip_flag [x0] [y0] [0] can be used equally in transform_skip_flag [x0] [y0] [cIdx] without parsing and reading the transform_skip_flag information of the target channel from the bitstream .
예를 들면, 대표 채널인 루마(Y) 채널에 대해서 시그널링된 transform_skip_flag 정보가 크로마 채널(Cb 및/또는 Cr)에 대해서도 사용될 수 있다.For example, the transform_skip_flag information signaled for the luma (Y) channel, which is the representative channel, can also be used for the chroma channel (Cb and / or Cr).
일 실시예에 따라서, Cb 신호에 대해서는 transform_skip_flag 정보가 전송되고, Cr 신호에 대해서는 transform_skip_flag 정보의 전송 없이 Cb 신호의 transform_skip_flag 정보가 공유될 수 있다. 이러한 경우 전술된 코드 6은 아래의 코드 9와 같이 변형될 수 있다.According to one embodiment, transform_skip_flag information may be transmitted for the Cb signal, and transform_skip_flag information of the Cb signal may be shared for the Cr signal without transmission of the transform_skip_flag information. In this case, the code 6 described above can be modified as shown in the following code 9.
[코드 9][Code 9]
if ( log2TrafoSize <= Log2MaxTransformSkipSize ) { if (log2TrafoSize <= Log2MaxTransformSkipSize) {
if ( (cIdx != 1) && "채널간 예측이 사용됨")   if ((cIdx! = 1) && "Interchannel prediction is used")
transform_skip_flag[ x0 ][ y0 ][ cIdx ] = transform_skip_flag[ x0 ][ y0 ][ 1 ]     transform_skip_flag [x0] [y0] [cIdx] = transform_skip_flag [x0] [y0] [1]
else   else
PARSE transform_skip_flag[ x0 ][ y0 ][ cIdx ] from compressed bitstream     PARSE transform_skip_flag [x0] [y0] [cIdx] from compressed bitstream
} else } else
transform_skip_flag[ x0 ][ y0 ][ cIdx ] = 0  transform_skip_flag [x0] [y0] [cIdx] = 0
대상 블록에 대해 변환의 생략 자체가 가능하지 않을 경우 단계(1960)가 수행될 수 있다.Step 1960 can be performed if the omission of the transform itself is not possible for the target block.
단계(1960)에서, 대상 블록에 대해 변환이 생략되지 않는다는 것이 설정될 수 있다. 대상 블록에 대하여 변환의 생략이 허용되지 않음에 따라서, transform_skip_flag[ x0 ][ y0 ][ cIdx ]의 값이 0으로 설정될 수 있다.In step 1960, it can be set that the transformation is not omitted for the target block. The value of transform_skip_flag [x0] [y0] [cIdx] may be set to 0 as the omission of conversion is not allowed for the target block.
도 20은 일 실시예에 따른 인트라 모드를 참조하여 변환 생략의 여부를 결정하는 복호화 방법의 흐름도이다.20 is a flowchart of a decoding method for determining whether to omit conversion with reference to an intra mode according to an embodiment.
영상의 루마 채널(즉, Y) 및 크로마 채널(즉, Cb 및/또는 Cr) 간에는 상당한 연관성(correlation)이 존재할 수 있다. 예를 들면, 루마 채널은 영상의 텍스쳐에 대한 정보를 많이 포함할 수 있고, 크로마 채널인 Cb 채널 및 Cr 채널은 이러한 텍스쳐에 부가될 색상 정보를 추가로 제공할 수 있다.There may be significant correlation between the luma channel (i.e., Y) of the image and the chroma channel (i.e., Cb and / or Cr). For example, the luma channel may contain a lot of information about the texture of the image, and the Cb channel and the Cr channel, which are chroma channels, may additionally provide color information to be added to this texture.
따라서, 영상의 압축 및 재구축을 위한 예측을 수행함에 있어서, 컬러 공간의 3 개의 채널들에 대하여 독립적인 예측들이 각각 수행되는 대신, 이미 복호화를 통해 획득된 루마 채널 신호로부터 예측이 수행되는 Cb 블록 및 Cr 블록에 대한 예측 값들이 산출될 수 있다.Therefore, in performing prediction for compressing and reconstructing an image, instead of performing independent predictions on the three channels of the color space, the Cb block in which predictions are performed from the luma channel signals already obtained through decoding And Cr blocks can be calculated.
이러한 예측 값들을 산출하는 기술은 채널간 예측(Cross Channel Prediction; CCP) 또는 전술된 CCLM으로 명명될 수 있다.The technique of calculating these predicted values may be named as Cross Channel Prediction (CCP) or the above-mentioned CCLM.
복호화 장치(1700)는 대상 블록에 대한 인트라 예측 모드가 INTRA_CCLM 모드, INTRA_MMLM 모드 및 INTRA_MFLM 모드 중 하나인지 여부를 확인함으로써 채널간 예측이 사용되었는지 여부를 판단할 수 있다.The decoding apparatus 1700 can determine whether interchannel prediction is used by checking whether the intra prediction mode for the target block is one of the INTRA_CCLM mode, the INTRA_MMLM mode, and the INTRA_MFLM mode.
크로마 신호의 텍스쳐 정보 중 상당한 부분이 루마 신호에도 포함되기 때문에, 이러한 채널간 예측이 효과적일 수 있다. 마찬가지로 채널간 예측을 사용하여 Cb 채널 신호로부터, 예측의 대상인 Cr 블록에 대한 예측 값들이 산출될 수 있다.Since a significant portion of the texture information of the chroma signal is also included in the luma signal, such interchannel prediction may be effective. Likewise, prediction values for Cr blocks to be predicted can be calculated from Cb channel signals using inter-channel prediction.
크로마 신호의 예측을 위한 각(angular) 예측, DC 예측, 플래너 예측 등을 포함한 다양한 기술들 중에서 채널간 예측이 선택되거나 채널간 예측이 유리한 경우는 SelectedCIDX에 대응하는 채널의 신호 특성이 다른 채널의 신호 특성과 상당히 유사하다는 것을 의미할 수 있다.In the case where inter-channel prediction is selected among various techniques including angular prediction, DC prediction, and planar prediction for prediction of chroma signal, or inter-channel prediction is advantageous, when the signal characteristic of the channel corresponding to SelectedCIDX is different from the signal Lt; RTI ID = 0.0 &gt; characteristic. &Lt; / RTI &gt;
따라서, SelectedCIDX에 대응하는 채널의 블록에 대하여 변환을 생략(또는, 수행)하는 것이 유리하다면, 나머지의 채널의 블록에 대하여도 동일하게 변환을 생략(또는, 수행)하는 것이 유리할 수 있다.Therefore, if it is advantageous to omit (or perform) the conversion for the block of the channel corresponding to SelectedCIDX, it may be advantageous to omit (or perform) the same conversion for the remaining channels.
따라서, 채널간 예측이 사용되는 경우, transform_skip_flag 정보를 획득하기 위해 3 개의 채널들에 대하여 비트스트림의 파싱을 각각 수행하지 않을 수 있다. 대표 채널에 대한 transform_skip_flag 정보가 파싱되면, 다른 채널에 대한 transform_skip_flag 정보는 별도로 파싱되지 않을 수 있다. 대표 채널에 대한 transform_skip_flag 정보가 다른 채널에 대한 transform_skip_flag 정보로서 공유되어 사용될 수 있고, 이러한 공유를 나타내는 정보가 비트스트림에 기록될 수 있다. 예를 들면, 이러한 공유를 위하여, SelectedCIDX에 대응하는 채널을 사용하여 변환의 생략 여부가 결정될 수 있다.Thus, when interchannel prediction is used, it may not perform parsing of the bitstream for each of the three channels in order to obtain transform_skip_flag information. If the transform_skip_flag information for the representative channel is parsed, the transform_skip_flag information for the other channel may not be parsed separately. The transform_skip_flag information for the representative channel can be shared and used as the transform_skip_flag information for the other channel, and information indicating such sharing can be recorded in the bitstream. For example, for such sharing, the channel corresponding to SelectedCIDX may be used to determine whether to omit conversion.
또는, 3 개의 채널들에 대하여 동일하게 변환이 생략된 경우에 대해 율-왜곡의 값들이 계산될 수 있고, 3 개의 채널들에 대하여 동일하게 변환이 수행된 경우에 대해 율-왜곡의 값들이 계산될 수 있다. 변환이 생략된 경우의 율-왜곡의 값들 및 변환의 수행된 경우의 율-왜곡의 값들이 비교될 수 있으며, 이러한 비교에 따라 변환의 생략 및 변환의 수행 중 더 유리한 방식으로 채널들에 대한 부호화가 수행될 수 있다.Alternatively, values of the rate-distortion may be calculated for the case where the same conversion is omitted for three channels and the values of the rate-distortion are calculated for the case where the same conversion is performed for the three channels . The values of the rate-distortion when the transform is omitted and the value of the rate-distortion when the transform is performed can be compared, and according to this comparison, the coding for the channels in a more favorable way, Can be performed.
실시예에서는, 복수의 채널들에 대해서 transform_skip_flag 정보들이 별도로 시그널링되는 대신에, SelectedCIDX에 대응하는 채널에 대하여만 transform_skip_flag 정보가 시그널링되고, 나머지의 채널에 대하여는 별도로 transform_skip_flag 정보가 시그널링되지 않을 수 있다.In the embodiment, instead of the transform_skip_flag information being signaled separately for a plurality of channels, the transform_skip_flag information may be signaled only for the channel corresponding to SelectedCIDX and the transform_skip_flag information may not be separately signaled for the remaining channels.
아래에서는 이러한 transform_skip_flag 정보가 공유되는 실시예가 설명된다.An embodiment in which such transform_skip_flag information is shared is described below.
실시예에서, 복호화 장치(1700)는 비트스트림으로부터 transform_skip_flag 정보를 획득할 수 있다. 이러한 획득은 아래의 코드 10과 같이 표현될 수 있다.In an embodiment, the decoding apparatus 1700 may obtain transform_skip_flag information from the bitstream. This acquisition can be expressed as code 10 below.
[코드 10][Code 10]
if ( log2TrafoSize <= Log2MaxTransformSkipSize ) {if (log2TrafoSize <= Log2MaxTransformSkipSize) {
if ( (cIdx != SelectedCIDX) && "채널간 예측이 사용됨")  if ((cIdx! = SelectedCIDX) && "Interchannel prediction is used")
transform_skip_flag[ x0 ][ y0 ][ cIdx ] = transform_skip_flag[ x0 ][ y0 ][SelectedCIDX]    transform_skip_flag [x0] [y0] [cIdx] = transform_skip_flag [x0] [y0] [SelectedCIDX]
else  else
PARSE transform_skip_flag[ x0 ][ y0 ][ cIdx ] from compressed bitstream     PARSE transform_skip_flag [x0] [y0] [cIdx] from compressed bitstream
} else } else
transform_skip_flag[ x0 ][ y0 ][cIdx] = 0  transform_skip_flag [x0] [y0] [cIdx] = 0
x0 및 y0는 대상 블록의 위치를 나타내는 공간 좌표들일 수 있다.x0 and y0 may be space coordinates indicating the position of the target block.
cIdx는 대상 블록의 대상 채널을 지시할 수 있다.cIdx can indicate the target channel of the target block.
영상의 채널들의 개수가 3일 때, 코드 10에서 cIdx의 값은 {0, 1, 2} 중의 하나의 값일 수 있다. 예를 들면, cIdx의 값은 {0, 1, 2} 중의 기정의된 값일 수 있다.When the number of channels in the image is 3, the value of cIdx in code 10 may be one of {0, 1, 2}. For example, the value of cIdx may be a predefined value in {0, 1, 2}.
단계(2010)에서, 통신부(1720)는 비트스트림을 수신할 수 있다.In step 2010, the communication unit 1720 can receive the bit stream.
단계(2020)에서, 처리부(1710)는 대상 블록에 대하여 변환의 생략이 가능한지 여부를 판단할 수 있다.In step 2020, the processing unit 1710 can determine whether or not conversion of the object block is possible.
변환의 생략이 가능한 경우, 단계(2030)가 수행될 수 있다.If the omission of the transformation is possible, step 2030 may be performed.
변환의 생략이 가능하지 않은 경우, 단계(2060)가 수행될 수 있다.If the omission of the transformation is not possible, step 2060 may be performed.
예를 들면, 처리부(1710)는 대상 블록의 크기가 특정된 크기의 이하이면 변환의 생략이 가능하지 않은 것으로 판단할 수 있다.For example, the processing unit 1710 can determine that the conversion can not be omitted if the size of the target block is smaller than or equal to the specified size.
예를 들면, 처리부(1710)는 대상 블록의 크기가 특정된 크기보다 더 크면 변환의 생략이 가능하지 않은 것으로 판단할 수 있다.For example, the processing unit 1710 can determine that the conversion can not be omitted if the size of the target block is larger than the specified size.
여기에서, 특정된 크기는 변환의 생략이 허용되는 블록 크기의 경계치일 수 있다.Here, the specified size may be a boundary value of a block size in which omission of conversion is allowed.
예를 들면, 처리부(1710)는 아래의 코드 7의 조건이 충족되면(즉, 코드 7의 조건의 결과가 참이면) 변환의 생략이 가능하지 않은 것으로 판단할 수 있고, 아래의 코드 7의 조건이 충족되지 않으면(즉, 코드 7의 조건의 결과가 거짓이면) 변환의 생략이 가능한 것으로 판단할 수 있다.For example, the processing unit 1710 can determine that the conversion is not possible if the condition of code 7 below is satisfied (i.e., the result of the condition of code 7 is true), and the condition of code 7 below Is not satisfied (that is, the result of the condition of the code 7 is false), it can be determined that the conversion can be omitted.
[코드 11][Code 11]
if (log2TrafoSize <= Log2MaxTransformSkipSize)if (log2TrafoSize <= Log2MaxTransformSkipSize)
단계(2030)에서, 처리부(1710)는 선택된 대표 채널에 기반하여 대상 블록의 대상 채널에 대하여 transform_skip_flag 정보의 공유를 사용할지 여부를 결정할 수 있다.In step 2030, the processing unit 1710 may determine whether to use the sharing of transform_skip_flag information for the target channel of the object block based on the selected representative channel.
transform_skip_flag 정보가 공유되지 않을 경우 단계(2040)가 수행될 수 있다.If the transform_skip_flag information is not shared, step 2040 may be performed.
transform_skip_flag 정보가 공유될 경우 단계(2050)가 수행될 수 있다.If the transform_skip_flag information is shared, step 2050 may be performed.
예를 들면, 처리부(1710)는 아래의 코드 8의 조건이 충족되면(즉, 코드 8의 조건의 결과가 참이면) transform_skip_flag 정보가 공유되는 것으로 판단할 수 있고, 아래의 코드 8의 조건이 충족되지 않으면(즉, 코드 8의 조건의 결과가 거짓이면) transform_skip_flag 정보가 공유되지 않는 것으로 판단할 수 있다.For example, the processing unit 1710 may determine that the transform_skip_flag information is shared if the conditions of code 8 below are met (i.e., the result of the condition of code 8 is true), and the condition of code 8 below is met (That is, the result of the condition of the code 8 is false), it can be determined that the transform_skip_flag information is not shared.
[코드 12][Code 12]
if ( (cIdx != SelectedCIDX) && "채널간 예측이 사용됨")if ((cIdx! = SelectedCIDX) && "Interchannel prediction is used")
말하자면, 단계(2030)에서, 처리부(1710)는 대상 채널이 SelectedCIDX가 나타내는 선택된 대표 채널이 아니고, 대상 블록에 대해 채널간 예측이 사용되면 대상 채널에 대해서 transform_skip_flag 정보를 공유할 것을 결정할 수 있다. 또한, 처리부(1710)는 대상 채널이 SelectedCIDX가 나타내는 선택된 대표 채널이거나 대상 블록에 대해 채널간 예측이 사용되지 않으면 transform_skip_flag 정보를 공유하지 않을 것을 결정할 수 있다.In other words, in step 2030, the processing unit 1710 may determine that the target channel is not the selected representative channel indicated by the SelectedCIDX, and that the interchannel prediction is used for the target block to share the transform_skip_flag information for the target channel. In addition, the processing unit 1710 may determine that the target channel is the selected representative channel indicated by SelectedCIDX, or that it will not share the transform_skip_flag information if interchannel prediction is not used for the target block.
단계(2040)에서, 처리부(1710)는 비트스트림으로부터 대상 채널의 transform_skip_flag 정보를 획득할 수 있다. 처리부(1710)는 비트스트림으로부터 대상 채널의 transform_skip_flag 정보를 파싱 및 독출할 수 있다.In step 2040, the processing unit 1710 may obtain transform_skip_flag information of the target channel from the bitstream. The processing unit 1710 can parse and read the transform_skip_flag information of the target channel from the bitstream.
transform_skip_flag 정보는 transform_skip_flag[ x0 ][ y0 ][ cIdx ]에 저장될 수 있다.The transform_skip_flag information may be stored in transform_skip_flag [x0] [y0] [cIdx].
단계(2050)에서, 처리부(1710)는 SelectedCIDX가 나타내는 선택된 대표 채널의 transform_skip_flag 정보가 대상 채널의 transform_skip_flag 정보로서 사용되도록 설정할 수 있다.In step 2050, the processing unit 1710 can set the transform_skip_flag information of the selected representative channel indicated by SelectedCIDX to be used as the transform_skip_flag information of the target channel.
처리부(1710)는, 대상 채널의 transform_skip_flag 정보를 비트스트림으로부터 파싱 및 독출하는 대신, SelectedCIDX가 나타내는 선택된 대표 채널의 transform_skip_flag 정보를 대상 채널의 transform_skip_flag 정보로서 사용할 수 있다. 말하자면, 처리부(1710)는 transform_skip_flag[ x0 ][ y0 ][ cIdx ]에 transform_skip_flag[ x0 ][ y0 ][ SelectedCIDX ]의 값을 저장할 수 있다.The processing unit 1710 can use the transform_skip_flag information of the selected representative channel indicated by SelectedCIDX as the transform_skip_flag information of the target channel instead of parsing and reading the transform_skip_flag information of the target channel from the bit stream. That is to say, the processing unit 1710 can store the value of transform_skip_flag [x0] [y0] [SelectedCIDX] in transform_skip_flag [x0] [y0] [cIdx].
말하자면, 대상 채널의 transform_skip_flag 정보를 비트스트림으로부터 파싱 및 독출하는 과정 없이 이미 transform_skip_flag[ x0 ][ y0 ][ SelectedCIDX ]에 저장된 값이 transform_skip_flag[ x0 ][ y0 ][ cIdx ]에도 동일하게 사용할 수 있다.That is to say, the values already stored in the transform_skip_flag [x0] [y0] [SelectedCIDX] can be used for the transform_skip_flag [x0] [y0] [cIdx] without parsing and reading the transform_skip_flag information of the target channel from the bit stream.
단계(2060)에서, 대상 블록의 대상 채널에 대해 변환이 생략되지 않는다는 것이 설정될 수 있다. 대상 블록에 대하여 변환의 생략이 허용되지 않음에 따라서, transform_skip_flag[ x0 ][ y0 ][ cIdx ]의 값이 0으로 설정될 수 있다.In step 2060, it can be set that the transform is not omitted for the target channel of the target block. The value of transform_skip_flag [x0] [y0] [cIdx] may be set to 0 as the omission of conversion is not allowed for the target block.
말하자면, cIdx가 지시하는 대상 블록의 대상 채널에 대하여, 비트스트림으로부터 변환의 생략 여부를 지시하는 transform_skip_flag 정보가 파싱 및 독출되는 대신, 대상 채널에 대해 변환이 생략되지 않음을 나타내기 위해 기정의된 값 0이 transform_skip_flag 정보에 세팅될 수 있다.That is, instead of parsing and reading the transform_skip_flag information indicating whether or not the conversion from the bitstream is omitted, the target channel of the target block indicated by cIdx is replaced with a predetermined value 0 can be set in the transform_skip_flag information.
전술된 실시예에서 설명된 것과 같이, 선택된 대표 채널의 코딩 결정 정보가 선택된 대표 채널 외의 다른 채널들의 모두에게 공유될 수 있다.As described in the above embodiment, the coding decision information of the selected representative channel can be shared with all of the channels other than the selected representative channel.
전술된 실시예는 부분적으로 변형될 수 있다. 말하자면, 선택된 대표 채널의 코딩 결정 정보가 특정된 다른 하나의 채널의 코딩 결정 정보로서 공유될 수 있다. 예를 들면, 코딩 결정 정보는 transform_skip_flag 정보를 포함할 수 있다.The above-described embodiment can be partially modified. That is, the coding determination information of the selected representative channel can be shared as the coding determination information of another specified channel. For example, the coding decision information may include transform_skip_flag information.
예를 들면, SelectedCIDX의 값이 1이고, cIDX의 값 1이 Cb 신호를 가리키고, cIDX 값 2가 Cr 신호를 가리킬 때, Cb 신호에 대한 코딩 결정 정보가 Cr 신호의 코딩 결정 정보로서 공유될 수 있다.For example, when the value of SelectedCIDX is 1, the value 1 of cIDX indicates the Cb signal, and the cIDX value 2 indicates the Cr signal, the coding decision information for the Cb signal can be shared as the coding decision information of the Cr signal .
말하자면, Cb 신호에 대한 코딩 결정 정보가 부호화 장치(1600)로부터 복호화 장치(1700)로 전송될 수 있고, Cr 신호에 대한 코딩 결정 정보는 별도의 전송 없이 Cb 신호에 대한 코딩 결정 정보를 사용하여 설정될 수 있다.In other words, the coding determination information for the Cb signal can be transmitted from the coding apparatus 1600 to the decoding apparatus 1700, and the coding determination information for the Cr signal can be set using the coding determination information for the Cb signal .
Cb 신호에 대한 코딩 결정 정보가 Cr 신호의 코딩 결정 정보로서 공유되는 경우 전술된 코드 10은 아래의 코드 13과 같이 변환될 수 있다.When the coding decision information for the Cb signal is shared as the coding decision information of the Cr signal, the code 10 described above can be transformed as shown in the following code 13.
[코드 13][Code 13]
if ( log2TrafoSize <= Log2MaxTransformSkipSize ) { if (log2TrafoSize <= Log2MaxTransformSkipSize) {
if (( cIdx != 2 ) or ( ! "채널간 예측이 사용됨" )) // ! 는 논리적 반대(logical negation)를 의미함   if ((cIdx! = 2) or (! "Interchannel prediction is used")) //! Means logical negation.
PARSE   PARSE
transform_skip_flag[ x0 ][ y0 ][ cIdx ] from compressed bitstream // 단계(2040)    transform_skip_flag [x0] [y0] [cIdx] from compressed bitstream // Step 2040:
Else   Else
transform_skip_flag[ x0 ][ y0 ][cIdx] = transform_skip_flag[ x0 ][ y0 ][ SelectedCIDX ] // 단계(2050)    transform_skip_flag [x0] [y0] [cIdx] = transform_skip_flag [x0] [y0] [SelectedCIDX] // step 2050:
} else } else
transform_skip_flag[ x0 ][ y0 ][cIdx] = 0 // 단계(2060)  transform_skip_flag [x0] [y0] [cIdx] = 0 // Step 2060:
단계(2030)에서, 처리부(1710)는 아래의 코드 8의 조건이 충족되면(즉, 코드 8의 조건의 결과가 참이면) transform_skip_flag 정보가 공유되는 것으로 판단할 수 있고, 아래의 코드 8의 조건이 충족되지 않으면(즉, 코드 8의 조건의 결과가 거짓이면) transform_skip_flag 정보가 공유되지 않는 것으로 판단할 수 있다.In step 2030, the processing unit 1710 may determine that the transform_skip_flag information is shared if the conditions of code 8 below are met (i.e., the result of the condition of code 8 is true) Is not satisfied (i.e., the result of the condition of the code 8 is false), it can be determined that the transform_skip_flag information is not shared.
[코드 14][Code 14]
if (( cIdx != 2 ) or ( ! "채널간 예측이 사용됨" ))if ((cIdx! = 2) or (! "Interchannel prediction is used"))
말하자면, 단계(2030)에서, 처리부(1710)는 1) 대상 채널이 SelectedCIDX가 나타내는 선택된 대표 채널의 코딩 결정 정보가 공유되는 채널이 아니거나, 2) 대상 블록에 대해 채널간 예측이 사용되지 않으면, 대상 채널에 대해서 transform_skip_flag 정보를 공유하지 않을 것을 결정할 수 있다. 또한, 처리부(1710)는 1) 대상 채널이 SelectedCIDX가 나타내는 선택된 대표 채널의 코딩 결정 정보가 공유되는 채널이고, 2) 대상 블록에 대해 채널간 예측이 사용되면 transform_skip_flag 정보를 공유할 것을 결정할 수 있다.In other words, in step 2030, the processing unit 1710 determines whether 1) the target channel is not the channel on which the coding determination information of the selected representative channel indicated by SelectedCIDX is shared, or 2) if interchannel prediction is not used for the target block, It may decide not to share the transform_skip_flag information for the target channel. Also, the processing unit 1710 can determine that 1) the target channel is the channel in which the coding determination information of the selected representative channel indicated by the SelectedCIDX is shared, and 2) the transform_skip_flag information is shared when the interchannel prediction is used for the target block.
코드 13의 단계들은 의미가 동일하게 유지되는 다른 단계들로서 구현될 수도 있다. 예를 들면, 코드 13은 아래의 코드 15와 같이 변형될 수도 있다.The steps of code 13 may be implemented as other steps where the semantics remain the same. For example, code 13 may be modified as in code 15 below.
[코드 15][Code 15]
if ( log2TrafoSize <= Log2MaxTransformSkipSize ) { if (log2TrafoSize <= Log2MaxTransformSkipSize) {
if ((cIdx == 2) && ("채널간 예측이 사용됨"))  if ((cIdx == 2) && ("Interchannel prediction is used"))
transform_skip_flag[ x0 ][ y0 ][ cIdx ] = transform_skip_flag[ x0 ][ y0 ][ SelectedCIDX ] // 단계(2050)    transform_skip_flag [x0] [y0] [cIdx] = transform_skip_flag [x0] [y0] [SelectedCIDX] // step 2050:
Else   Else
PARSE transform_skip_flag[ x0 ][ y0 ][ cIdx ] from compressed bitstream // 단계(2040)    PARSE transform_skip_flag [x0] [y0] [cIdx] from compressed bitstream // Step 2040:
} else } else
transform_skip_flag[ x0 ][ y0 ][ cIdx ] = 0 // 단계(2060)  transform_skip_flag [x0] [y0] [cIdx] = 0 // Step 2060:
변환 선택 정보의 공유Sharing of conversion selection information
도 21은 일 실시예에 따른 변환 선택 정보를 공유하는 방법의 흐름도이다.21 is a flow diagram of a method for sharing transformation selection information in accordance with one embodiment.
전술된 실시예들에서는, 공유되는 코딩 결정 정보로서 transform_skip_flag 정보가 설명되었다. 전술된 실시예들에서의 transform_skip_flag 정보는 다른 코딩 결정 정보로 대체될 수 있다. 아래에서는, 변환 선택 정보가 공유되는 코딩 결정 정보로서 설명된다.In the above-described embodiments, transform_skip_flag information has been described as shared coding determination information. The transform_skip_flag information in the above-described embodiments can be replaced with other coding determination information. In the following, the conversion selection information is described as shared coding determination information.
변환 선택 정보는 대상 채널의 변환 블록에 대하여 어떤 변환을 사용할지를 지시하는 정보일 수 있다. 변환 선택 정보는 전술된 1차 변환 선택 정보 및/또는 2차 변환 선택 정보을 포함할 수 있다.The conversion selection information may be information indicating which conversion to use for the conversion block of the target channel. The conversion selection information may include the above-mentioned primary conversion selection information and / or secondary conversion selection information.
영상의 루마 채널(즉, Y) 및 크로마 채널(즉, Cb 및/또는 Cr) 간에는 상당한 연관성(correlation)이 존재할 수 있다. 예를 들면, 루마 채널은 영상의 텍스쳐에 대한 정보를 많이 포함할 수 있고, 크로마 채널인 Cb 채널 및 Cr 채널은 이러한 텍스쳐에 부가될 색상 정보를 추가로 제공할 수 있다.There may be significant correlation between the luma channel (i.e., Y) of the image and the chroma channel (i.e., Cb and / or Cr). For example, the luma channel may contain a lot of information about the texture of the image, and the Cb channel and the Cr channel, which are chroma channels, may additionally provide color information to be added to this texture.
따라서, 영상의 압축 및 재구축을 위한 예측을 수행함에 있어서, 컬러 공간의 3 개의 채널들에 대하여 독립적인 예측들이 각각 수행되는 대신, 이미 복호화를 통해 획득된 루마 채널 신호로부터 예측이 수행되는 Cb 블록 및 Cr 블록에 대한 예측 값들이 산출될 수 있다. 크로마 신호의 텍스쳐 정보 중 상당한 양이 루마 신호에 포함될 수 있기 때문에, 이러한 채널간 예측은 효과적일 수 있다.Therefore, in performing prediction for compressing and reconstructing an image, instead of performing independent predictions on the three channels of the color space, the Cb block in which predictions are performed from the luma channel signals already obtained through decoding And Cr blocks can be calculated. Since a significant amount of the texture information of the chroma signal may be included in the luma signal, such interchannel prediction may be effective.
크로마 신호의 예측을 위한 각(angular) 예측, DC 예측 및 플래너 예측 등을 포함한 다양한 기술들 중에서 채널간 예측이 선택되거나 채널간 예측이 유리한 경우는 루마 채널의 신호 특성이 크로마 채널(즉, Cb 및/또는 Cr)의 신호 특성과 상당히 유사하다는 것을 의미할 수 있다.If interchannel prediction is selected among various techniques including angular prediction, DC prediction, and planar prediction for chroma signal prediction, or channel-to-channel prediction is advantageous, the signal characteristics of the luma channel may be affected by chroma channels / RTI &gt; and / or &lt; RTI ID = 0.0 &gt; Cr). &Lt; / RTI &gt;
따라서, 루마 블록에 대하여 복수의 변환들 중 특정된 변환을 사용하는 것이 유리한 경우, 크로마 블록(즉, Cb 블록 및/또는 Cr 블록)에 대해서도 동일한 변환을 사용하는 것이 유리할 수 있다.Thus, it may be advantageous to use the same transform for a chroma block (i.e., a Cb block and / or a Cr block) if it is advantageous to use a specified transform among a plurality of transforms for a luma block.
말하자면, 일반적으로 루마 블록 및 크로마 블록에 대하여 동일한 변환이 사용될 수 있다. 또는, 루마 블록에 대하여 특정된 변환이 사용되면, 크로마 블록에 대해서는 루마 블록에 대하여 사용되는 특정된 변환에 대응하는 다른 특정된 변환이 사용될 수 있다.That is to say, the same transform can generally be used for luma blocks and chroma blocks. Alternatively, if a transformation specified for a luma block is used, another specific transformation corresponding to the specified transformation used for the luma block may be used for the chroma block.
따라서, 채널간 예측이 사용되는 경우, 루마 채널 및 크로마 채널(들)에 대하여 사용되는 변환들의 각각 시그널링되는 대신, 하나의 변환이 결정되면 결정된 변환이 3 개의 채널들에 대하여 동일하게 사용될 수 있다.Thus, when inter-channel prediction is used, instead of being each signaled for the transformations used for the luma channel and the chroma channel (s), the determined transform can be used equally for the three channels if one transform is determined.
또는, 루마 채널에 대하여 하나의 변환이 결정되면, 크로마 채널에 대해서는 루마 채널에 대하여 결정된 변환에 대응하는 변환이 사용될 수 있다.Alternatively, if one transform is determined for the luma channel, a transform corresponding to the transform determined for the luma channel may be used for the chroma channel.
이러한 방식으로 채널들에 대해 사용될 변환이 결정되면, 결정에 따라서 루마 채널 및 크로마 채널(들)이 부호화될 수 있다. 이러한 부호화를 위해, 루마 채널에 대해서만 복수의 가용한 변환들 중 하나의 변환이 선택될 수 있고, 루마 채널에 대한 하나의 변환이 선택됨에 따라 크로마 채널(들)에 대한 변환이 자동으로 결정될 수 있다.Once the transform to be used for the channels is determined in this way, the luma channel and chroma channel (s) can be encoded according to the decision. For this encoding, one transform of a plurality of available transformations can be selected for the luma channel only, and the transform for the chroma channel (s) can be automatically determined as one transform for the luma channel is selected .
또는, 3 개의 채널들에 대하여 동일한 변환을 사용하는 부호화가 수행될 수 있다. 이러한 부호화를 통해, 복수의 변환들에 대해 율-왜곡의 값들이 계산될 수 있다. 이후, 적용가능한 변환들의 율-왜곡의 값들의 비교에 따라서, 가장 유리한 율-왜곡의 값을 갖는 변환이 선택될 수 있고, 선택된 변환에 따른 부호화가 이루어질 수 있다.Alternatively, encoding may be performed using the same transform for the three channels. Through this encoding, the values of the rate-distortion can be calculated for a plurality of transforms. Thereafter, according to a comparison of the values of the rate-distortion of applicable transforms, the transform with the most favorable rate-distortion value can be selected and the encoding according to the selected transform can be made.
또는, 3 개의 채널들에 대하여 변환 세트를 사용하는 부호화가 수행될 수 있다. 변환 세트는 루마 채널에 대해 사용되는 특정된 변환 및 크로마 채널(들)에 대해 사용되는 상기의 특정된 변환에 대응하는 변환(들)을 포함할 수 있다.Alternatively, encoding may be performed using a transform set for three channels. The transform set may include transform (s) corresponding to the specified transform used for the luma channel and the specified transform used for the chroma channel (s).
이러한 부호화를 통해, 복수의 변환 세트들에 대해 율-왜곡의 값들이 계산될 수 있다. 이후, 적용가능한 변환 세트들의 율-왜곡의 값들의 비교에 따라서, 가장 유리한 율-왜곡의 값을 갖는 변환 세트가 선택될 수 있고, 선택된 변환 세트에 따른 부호화가 이루어질 수 있다.With this encoding, values of rate-distortion can be calculated for a plurality of transform sets. Thereafter, according to a comparison of the rate-distortion values of the applicable transform sets, a transform set with the most favorable rate-distortion value can be selected and the encoding according to the selected transform set can be made.
실시예에서는, 복수의 채널들에 대해서 변환 선택 정보들이 별도로 시그널링되는 대신에, 루마 신호에 대해서만 변환 선택 정보가 시그널링되고, 나머지의 크로마 채널에 대하여는 별도로 변환 선택 정보가 시그널링되지 않을 수 있다.In an embodiment, instead of the conversion selection information being signaled separately for a plurality of channels, the conversion selection information may be signaled only for luma signals and the conversion selection information may not be signaled separately for the remaining chroma channels.
실시예에서, 복호화 장치(1700)는 비트스트림으로부터 변환 선택 정보를 획득할 수 있다.In an embodiment, the decoding apparatus 1700 may obtain conversion selection information from the bitstream.
단계(2110)에서, 통신부(1720)는 비트스트림을 수신할 수 있다.In step 2110, the communication unit 1720 can receive the bit stream.
단계(2120)에서, 처리부(1710)는 대상 블록의 대상 채널에 대하여 변환 선택 정보의 공유를 사용할지 여부를 결정할 수 있다.In step 2120, the processing unit 1710 may determine whether to use the sharing of the conversion selection information for the target channel of the target block.
변환 선택 정보가 공유되지 않을 경우 단계(2130)가 수행될 수 있다.If the transform selection information is not shared, step 2130 may be performed.
변환 선택 정보가 공유될 경우 단계(2140)가 수행될 수 있다.If the conversion selection information is shared, step 2140 may be performed.
단계(2130)에서, 처리부(1710)는 비트스트림으로부터 대상 채널의 변환 선택 정보를 획득할 수 있다. 처리부(1710)는 비트스트림으로부터 대상 채널의 변환 선택 정보를 파싱 및 독출할 수 있다.In step 2130, the processing unit 1710 may obtain conversion selection information of the target channel from the bitstream. The processing unit 1710 can parse and read the conversion selection information of the target channel from the bitstream.
단계(2140)에서, 처리부(1710)는 대표 채널의 변환 선택 정보가 대상 채널의 변환 선택 정보로서 사용되도록 설정할 수 있다.In step 2140, the processing unit 1710 can set the conversion selection information of the representative channel to be used as the conversion selection information of the target channel.
단계들(2120, 2130 및 2140)은 아래의 코드 16과 같이 표현될 수 있다.Steps 2120, 2130 and 2140 may be represented as code 16 below.
[코드 16] [Code 16]
if ( (cIdx != 0) && "채널간 예측이 사용됨")if ((cIdx! = 0) && "Interchannel prediction is used")
변환 선택 정보 [ x0 ][ y0 ][ cIdx ] = 변환 선택 정보 [ x0 ][ y0 ][0]  Conversion selection information [x0] [y0] [cIdx] = conversion selection information [x0] [y0] [0]
elseelse
PARSE 변환 선택 정보 [ x0 ][ y0 ][ cIdx ] from compressed bitstream  PARSE conversion selection information [x0] [y0] [cIdx] from compressed bitstream
x0 및 y0는 대상 블록의 위치를 나타내는 공간 좌표들일 수 있다.x0 and y0 may be space coordinates indicating the position of the target block.
cIdx는 대상 블록의 대상 채널을 지시할 수 있다.cIdx can indicate the target channel of the target block.
영상의 채널들의 개수가 3일 때, 코드 10에서 cIdx의 값은 {0, 1, 2} 중의 하나의 값일 수 있다. 예를 들면, cIdx의 값은 {0, 1, 2} 중의 기정의된 값일 수 있다.When the number of channels in the image is 3, the value of cIdx in code 10 may be one of {0, 1, 2}. For example, the value of cIdx may be a predefined value in {0, 1, 2}.
대표 채널의 cIdx는 0인 것으로 가정될 수 있다.The cIdx of the representative channel can be assumed to be zero.
"cIdx != 0"는 대상 채널이 대표 채널(예를 들면, 루마 채널)이 아님을 나타낼 수 있다. cIdx의 값이 0인 것은 대상 채널이 대표 채널임을 나타낼 수 있다."cIdx! = 0" may indicate that the target channel is not a representative channel (e.g., a luma channel). A value of cIdx of 0 indicates that the target channel is a representative channel.
말하자면, 단계(2120)에서, 처리부(1710)는 대상 채널이 대표 채널이 아니고, 대상 블록에 대해 채널간 예측이 사용되면 대상 채널에 대해서 변환 선택 정보의 공유를 사용할 것을 결정할 수 있다. 처리부(1710)는 대상 채널이 대표 채널이거나 대상 블록에 대해 채널간 예측이 사용되지 않으면 대상 채널에 대해서 변환 선택 정보의 공유를 사용하지 않을 것을 결정할 수 있다.That is to say, at step 2120, the processing unit 1710 can determine to use the sharing of the conversion selection information for the target channel if the target channel is not a representative channel and inter-channel prediction is used for the target block. The processing unit 1710 can determine that the target channel is a representative channel or not to use the sharing of the conversion selection information for the target channel if interchannel prediction is not used for the target block.
단계(2130)에서, 처리부(1710)는 비트스트림으로부터 대상 채널의 변환 선택 정보를 획득할 수 있다. 처리부(1710)는 비트스트림으로부터 대상 채널의 변환 선택 정보를 파싱 및 독출할 수 있다.In step 2130, the processing unit 1710 may obtain conversion selection information of the target channel from the bitstream. The processing unit 1710 can parse and read the conversion selection information of the target channel from the bitstream.
변환 선택 정보는 변환 선택 정보[ x0 ][ y0 ][ cIdx ]에 저장될 수 있다.The conversion selection information may be stored in the conversion selection information [x0] [y0] [cIdx].
단계(2140)에서, 처리부(1710)는 대표 채널의 변환 선택 정보가 대상 채널의 변환 선택 정보로서 사용되도록 설정할 수 있다.In step 2140, the processing unit 1710 can set the conversion selection information of the representative channel to be used as the conversion selection information of the target channel.
처리부(1710)는, 대상 채널의 변환 선택 정보를 비트스트림으로부터 파싱 및 독출하는 대신, 대표 채널의 변환 선택 정보를 대상 채널의 변환 선택 정보로서 사용할 수 있다. 말하자면, 처리부(1710)는 변환 선택 정보 [ x0 ][ y0 ][ cIdx ]에 변환 선택 정보[ x0 ][ y0 ][ 0 ]의 값을 저장할 수 있다.The processing unit 1710 can use the conversion selection information of the representative channel as the conversion selection information of the target channel instead of parsing and reading the conversion selection information of the target channel from the bit stream. That is to say, the processing unit 1710 can store the values of the conversion selection information [x0] [y0] [0] in the conversion selection information [x0] [y0] [cIdx].
말하자면, 대상 채널의 변환 선택 정보를 비트스트림으로부터 파싱 및 독출하는 과정 없이 이미 변환 선택 정보[ x0 ][ y0 ][ 0 ]에 저장된 값이 변환 선택 정보[ x0 ][ y0 ][ cIdx ]에도 동일하게 사용할 수 있다.That is, the values already stored in the conversion selection information [x0] [y0] [0] are converted into the conversion selection information [x0] [y0] [cIdx] without the process of parsing and reading the conversion selection information of the target channel from the bitstream Can be used.
채널간 예측의 사용 여부의 결정Determining whether to use interchannel prediction
도 18 내지 도 21을 참조하여 전술된 실시예에서, 채널간 예측이 사용되는지 여부는 대상 블록에 대한 인트라 예측 모드가 INTRA_CCLM 모드, INTRA_MMLM 모드 및 INTRA_MFLM 모드 중 하나인지 여부를 확인함으로써 이루어지는 것으로 예시되었다. 말하자면, 대상 블록에 대한 인트라 예측 모드가 INTRA_CCLM 모드, INTRA_MMLM 모드 및 INTRA_MFLM 모드 중 하나이면 채널간 예측이 사용될 수 있다. 대상 블록에 대한 인트라 예측 모드가 INTRA_CCLM 모드, INTRA_MMLM 모드 및 INTRA_MFLM 모드가 아니면 채널간 예측이 사용되지 않을 수 있다.In the above-described embodiment with reference to Figs. 18 to 21, whether interchannel prediction is used or not is exemplified by checking whether the intra prediction mode for the target block is one of INTRA_CCLM mode, INTRA_MMLM mode, and INTRA_MFLM mode. That is, inter-channel prediction can be used when the intra-prediction mode for the target block is one of INTRA_CCLM mode, INTRA_MMLM mode, and INTRA_MFLM mode. Interchannel prediction may not be used unless the intra prediction mode for the target block is INTRA_CCLM mode, INTRA_MMLM mode, and INTRA_MFLM mode.
전술된 채널간 예측의 사용 여부에 대한 결정은 일 예이며, 채널간 예측이 사용되는지 여부는 아래의 코드 17 내지 코드 23 중 하나에 의해서도 이루어질 수 있다. 예를 들면, 아래의 코드의 조건의 값이 참이면 채널 간 예측이 사용될 수 잇고, 아래의 코드의 조건의 값이 거짓이면 채널 간 예측이 사용되지 않을 수 있다. intra_chroma_pred_mode는 크로마 채널에 대한 인트라 예측 모드일 수 있다.The determination as to whether or not to use the interchannel prediction described above is an example, and whether or not interchannel prediction is used can also be achieved by one of the following codes 17 to 23. For example, interchannel prediction may be used if the value of the condition of the following code is true, and interchannel prediction may not be used if the value of the condition of the code below is false. intra_chroma_pred_mode may be an intra prediction mode for the chroma channel.
[코드 17][Code 17]
if (intra_chroma_pred_mode == CCLM 모드)if (intra_chroma_pred_mode == CCLM mode)
[코드 18][Code 18]
if (intra_chroma_pred_mode == DM 모드) if (intra_chroma_pred_mode == DM mode)
[코드 19][Code 19]
if (intra_chroma_pred_mode == INTRA_CCLM 모드) if (intra_chroma_pred_mode == INTRA_CCLM mode)
[코드 20][Code 20]
if (intra_chroma_pred_mode == INTRA_MMLM 모드) if (intra_chroma_pred_mode == INTRA_MMLM mode)
[코드 21][Code 21]
if (intra_chroma_pred_mode == INTRA_MFLM 모드) if (intra_chroma_pred_mode == INTRA_MFLM mode)
[코드 22][Code 22]
if ( (intra_chroma_pred_mode == INTRA_CCLM 모드) || if ((intra_chroma_pred_mode == INTRA_CCLM mode) ||
(intra_chroma_pred_mode == INTRA_MMLM 모드) ||(intra_chroma_pred_mode == INTRA_MMLM mode) ||
(intra_chroma_pred_mode == INTRA_MFLM 모드) )(intra_chroma_pred_mode == INTRA_MFLM mode)
[코드 23][Code 23]
if ( (intra_chroma_pred_mode == DM 모드) ||if ((intra_chroma_pred_mode == DM mode) ||
(intra_chroma_pred_mode == INTRA_CCLM 모드) || (intra_chroma_pred_mode == INTRA_CCLM mode) ||
(intra_chroma_pred_mode == INTRA_MMLM 모드) ||(intra_chroma_pred_mode == INTRA_MMLM mode) ||
(intra_chroma_pred_mode == INTRA_MFLM 모드) )(intra_chroma_pred_mode == INTRA_MFLM mode)
코드 17 내지 코드 23에서 기재된 CCLM 모드, DM 모드, INTRA_CCLM 모드, INTRA_MMLM 모드 및 INTRA_MFLM 모드 등은 전술된 표 10 및 표 11의 첫 번째 열(column)에 제시되어 있는 intra_chroma_pred_mode의 하나의 값을 나타낼 수 있다. CCLM 모드, DM 모드, INTRA_CCLM 모드, INTRA_MMLM 모드 및 INTRA_MFLM 모드에 대해서 표 10 및 표 11에 관련하여 전술된 설명이 참조될 수 있다.The CCLM mode, the DM mode, the INTRA_CCLM mode, the INTRA_MMLM mode, and the INTRA_MFLM mode described in codes 17 to 23 can represent one value of intra_chroma_pred_mode shown in the first column of Tables 10 and 11 described above . The explanations described above with reference to Table 10 and Table 11 can be referred to for CCLM mode, DM mode, INTRA_CCLM mode, INTRA_MMLM mode and INTRA_MFLM mode.
채널간 예측이 사용되는지 여부를 결정함에 있어서, 아래의 코드 17 내지 코드 23에 의한 방식에 블록의 크기가 추가로 고려될 수 있다.In determining whether inter-channel prediction is to be used, the size of the block may be further considered in a scheme according to the following code 17 to code 23.
채널간 예측이 사용되는지 여부는 아래의 코드 24 내지 코드 30 중 하나에 의해서도 이루어질 수 있다. 예를 들면, 아래의 코드의 조건의 값이 참이면 채널 간 예측이 사용될 수 잇고, 아래의 코드의 조건의 값이 거짓이면 채널 간 예측이 사용되지 않을 수 있다.Whether or not interchannel prediction is used can also be achieved by one of the following codes 24 to 30. For example, interchannel prediction may be used if the value of the condition of the following code is true, and interchannel prediction may not be used if the value of the condition of the code below is false.
[코드 24][Code 24]
if ((intra_chroma_pred_mode == CCLM 모드) && 블록 크기 조건)if ((intra_chroma_pred_mode == CCLM mode) && block size condition)
[코드 25][Code 25]
if ((intra_chroma_pred_mode == DM 모드) && 블록 크기 조건) if ((intra_chroma_pred_mode == DM mode) && block size condition)
[코드 26][Code 26]
if ((intra_chroma_pred_mode == INTRA_CCLM 모드) && 블록 크기 조건) if ((intra_chroma_pred_mode == INTRA_CCLM mode) && block size condition)
[코드 27][Code 27]
if ((intra_chroma_pred_mode == INTRA_MMLM 모드) && 블록 크기 조건) if ((intra_chroma_pred_mode == INTRA_MMLM mode) && block size condition)
[코드 28][Code 28]
if ((intra_chroma_pred_mode == INTRA_MFLM 모드) && 블록 크기 조건) if ((intra_chroma_pred_mode == INTRA_MFLM mode) && block size condition)
[코드 29][Code 29]
if ( (intra_chroma_pred_mode == INTRA_CCLM 모드) || if ((intra_chroma_pred_mode == INTRA_CCLM mode) ||
(intra_chroma_pred_mode == INTRA_MMLM 모드) ||(intra_chroma_pred_mode == INTRA_MMLM mode) ||
(intra_chroma_pred_mode == INTRA_MFLM 모드) && 블록 크기 조건)(intra_chroma_pred_mode == INTRA_MFLM mode) && block size condition)
[코드 30][Code 30]
if ( (intra_chroma_pred_mode == DM (direct mode) 모드) ||if ((intra_chroma_pred_mode == DM (direct mode) mode) ||
(intra_chroma_pred_mode == INTRA_ CCLM 모드) || (intra_chroma_pred_mode == INTRA_CCLM mode) ||
(intra_chroma_pred_mode == INTRA_MMLM 모드) ||(intra_chroma_pred_mode == INTRA_MMLM mode) ||
(intra_chroma_pred_mode == INTRA_ MFLM 모드) && 블록 크기 조건)(intra_chroma_pred_mode == INTRA_ MFLM mode) && block size condition)
코드 24 내지 코드 30에서 표시된 블록 크기 조건은 아래의 코드 31, 코드 32, 코드 33 및 코드 34 중 하나로 대체될 수 있다.The block size condition indicated in codes 24 to 30 may be replaced by one of codes 31, 32, 33 and 34 below.
[코드 31][Code 31]
((log2TbWidth <= Log2MaxSizeWidth) && (log2TbHeight <= Log2MaxSizeHeight))((log2TbWidth <= Log2MaxSizeWidth) && (log2TbHeight <= Log2MaxSizeHeight))
[코드 32][Code 32]
((log2TbWidth >= Log2MinSizeWidth) && (log2TbHeight >= Log2MinSizeHeight))((log2TbWidth> = Log2MinSizeWidth) && (log2TbHeight> = Log2MinSizeHeight))
[코드 33][Code 33]
((log2TbWidth > Log2MinSizeWidth) && (log2TbHeight <= Log2MaxSizeHeight))((log2TbWidth> Log2MinSizeWidth) && (log2TbHeight <= Log2MaxSizeHeight))
[코드 34][Code 34]
((log2TbWidth > Log2MinSizeWidth) && (log2TbHeight > Log2MaxSizeHeight))((log2TbWidth> Log2MinSizeWidth) && (log2TbHeight> Log2MaxSizeHeight))
log2TbWidth 및 log2TbHeight에 대해서는 수식 11 및 수식 12를 참조하여 전술되었다.log2TbWidth and log2TbHeight have been described above with reference to Equation 11 and Equation 12.
Log2MaxSizeWidth, Log2MaxSizeHeight, Log2MinSizeWidth 및 Log2MinSizeHeight는 기정의된 값들일 수 있다. Log2MaxSizeWidth는 최대 크기의 블록의 폭에 대응할 수 있다. Log2MaxSizeHeight는 최대 크기의 블록의 높이에 대응할 수 있다. Log2MinSizeWidth는 최소 크기의 블록의 폭에 대응할 수 있다. Log2MinSizeHeight는 최소 크기의 블록의 높이에 대응할 수 있다.Log2MaxSizeWidth, Log2MaxSizeHeight, Log2MinSizeWidth, and Log2MinSizeHeight may be predetermined values. Log2MaxSizeWidth can correspond to the width of the block of maximum size. Log2MaxSizeHeight can correspond to the height of the block with the maximum size. Log2MinSizeWidth can correspond to the width of the minimum size block. Log2MinSizeHeight can correspond to the height of the minimum size block.
예를 들면, Log2MaxSizeWidth의 값은 16일 수 있고, Log2MaxSizeHeight의 값은 16일 수 있고, Log2MinSizeWidth의 값은 4일 수 있고, Log2MinSizeHeight의 값은 4일 수 있다.For example, the value of Log2MaxSizeWidth may be 16, the value of Log2MaxSizeHeight may be 16, the value of Log2MinSizeWidth may be 4, and the value of Log2MinSizeHeight may be 4.
또는, Log2MaxSizeWidth의 값은 32일 수 있고, Log2MaxSizeHeight의 값은 32일 수 있다.Alternatively, the value of Log2MaxSizeWidth may be 32, and the value of Log2MaxSizeHeight may be 32.
DM이 사용될 경우, 크로마 신호에 대한 인트라 예측 모드는 별도로 시그널링되지 않을 수 있다. DM이 사용될 경우, 루마 신호에 대해 시그널링된 인트라 예측 모드가 크로마 모드에 대해서도 그대로 사용될 수 있다.If DM is used, the intra prediction mode for the chroma signal may not be signaled separately. If DM is used, the intraprediction mode signaled for the luma signal can be used as is for the chroma mode.
블록 분할 구조(block partition structure) 하에서의 채널들 간의 선택적인 정보의 공유를 이용하는 부호화 및 복호화Coding and decoding using selective sharing of information between channels under a block partition structure
일반적으로, 영상의 부호화가 수행될 경우, 영상 내의 공간적 특성을 반영하여 복수의 공간 영역들에 대해 적절한 부호화 방식들이 별도로 사용될 수 있다. 이러한 부호화를 위해, 영상은 CU들로 분할될 수 있고, 분할된 CU들이 각각 부호화될 수 있다.Generally, when encoding of an image is performed, appropriate encoding schemes may be separately used for a plurality of spatial regions reflecting spatial characteristics in an image. For this encoding, the image can be divided into CUs, and the divided CUs can be respectively encoded.
이러한 부호화를 위하여 루마 채널 및 크로마 채널에 대하여 동일한 블록 분할 구조가 사용될 수 있다.For this encoding, the same block division structure may be used for the luma channel and the chroma channel.
그러나, 루마 신호의 특성 및 크로마 신호의 특성은 서로 다를 수 있다. 이러한 특성의 차이를 고려하면, 더욱 효과적인 부호화를 위해 루마 채널 및 크로마 채널에 대해 서로 다른 블록 분할 구조들이 각각 사용될 수 있다.However, the characteristics of the luma signal and the characteristics of the chroma signal may be different from each other. In consideration of the difference of these characteristics, different block division structures may be used for the luma channel and the chroma channel, respectively, for more effective encoding.
이하에서, 루마 신호 및 크로마 신호(또는, 복수의 채널들)에 대하여 영상의 블록 분할 구조가 동일한 것을 단일 트리(single tree) 블록 분할 구조 또는 단일 트리로 명명한다.Hereinafter, the same block division structure of an image for a luma signal and a chroma signal (or a plurality of channels) is named as a single tree block division structure or a single tree.
이하에서, 루마 신호 및 크로마 신호(또는, 복수의 채널들)에 대한 블록 분할 구조들이 동일하지 않은 것을 듀얼 트리(dual tree) 블록 분할 구조 또는 듀얼 트리로 명명한다.In the following, what is not the same for block segmentation structures for luma signals and chroma signals (or multiple channels) is referred to as a dual tree block division structure or dual tree.
실시예에서는, 루마 채널과 크로마 채널(또는, 복수의 채널들) 중 대상 채널의 대상 블록이 다른 채널의 어떤 블록에 대응하는지가 특정될 수 있다. 대상 채널의 대상 블록에 대응하는 다른 채널의 블록을 대응 블록으로 명명한다.In an embodiment, it can be specified which block of the other channel the target block of the target channel of the luma channel and chroma channel (or a plurality of channels) corresponds to. And blocks of other channels corresponding to the target block of the target channel are designated as corresponding blocks.
실시예에서는, 루마 채널 및 크로마 채널(또는, 복수의 채널들)이 동일한 블록 분할 구조를 갖는 경우(즉, 단일 트리가 적용되는 경우), 대상 채널의 대상 블록이 다른 채널의 어떤 블록에 대응하는지가 특정될 수 있다.In an embodiment, if the luma channel and the chroma channel (or a plurality of channels) have the same block partition structure (i.e., a single tree is applied), the target block of the target channel corresponds to which block of the other channel Can be specified.
실시예에서는, 루마 채널 및 크로마 채널(또는, 복수의 채널들)이 서로 다른 블록 분할 구조들을 각각 갖는 경우(즉, 듀얼 트리가 적용되는 경우), 대상 채널의 대상 블록이 다른 채널의 어떤 블록에 대응하는지가 특정될 수 있다.In an embodiment, if the luma channel and the chroma channel (or a plurality of channels) each have different block partition structures (i.e., a dual tree is applied), the target block of the target channel Can be specified.
루마 채널 및 크로마 채널(또는, 복수의 채널들)이 서로 다른 블록 분할 구조들을 각각 갖는 경우(즉, 듀얼 트리가 적용되는 경우), 대응 블록의 코딩 결정 정보가 대상 채널의 대상 블록에게 공유될 수 있다. 코딩 결정 정보의 공유를 통해 대상 블록이 부호화됨에 따라 부호화 효율이 향상될 수 있다.If the luma channel and the chroma channel (or a plurality of channels) each have different block partition structures (i.e., a dual tree is applied), the coding determination information of the corresponding block may be shared with the target block of the target channel have. The encoding efficiency can be improved as the target block is encoded through the sharing of the coding decision information.
압축된 비트스트림으로부터 대상 채널의 대상 블록에 대응하는 대응 블록의 코딩 결정 정보가 파싱될 수 있다.The coding determination information of the corresponding block corresponding to the target block of the target channel from the compressed bitstream can be parsed.
압축된 비트스트림으로부터 대상 채널의 대상 블록에 대응하는 대응 블록의 코딩 결정 정보가 파싱될 수 있고, 대응 블록의 코딩 결정 정보를 사용하여 대상 채널의 대상 블록이 복호화될 수 있다.The coding determination information of the corresponding block corresponding to the target block of the target channel from the compressed bitstream can be parsed and the target block of the target channel can be decoded using the coding determination information of the corresponding block.
예를 들면, 대상 채널의 대상 블록에 대응하는 대응 블록의 transform_skip_flag 정보가 파싱될 수 있고, 대응 블록의 transform_skip_flag 정보가 대상 블록의 변환의 생략 여부를 결정하기 위해 사용될 수 있다.For example, the transform_skip_flag information of the corresponding block corresponding to the target block of the target channel can be parsed, and the transform_skip_flag information of the corresponding block can be used to determine whether or not the conversion of the target block is omitted.
공유 정보는 루마 블록 및 크로마 블록 간에 공유되는 코딩 결정 정보를 의미할 수 있다.The shared information may refer to coding decision information that is shared between luma blocks and chroma blocks.
제1 채널의 블록 분할 구조 및 제2 채널의 블록 분할 구조가 동일한 경우, 제1 채널의 제1 블록의 공간적 위치 및 제2 채널의 제2 블록의 공간적 위치가 대응하면, 제1 블록 및 제2 블록은 서로 대응할 수 있다. 말하자면, 서로 다른 채널들의 서로 대응하는 블록들은 서로 대응하는 공간적 위치들을 갖는 서로 다른 채널들의 블록들일 수 있다. 제1 블록에 대응하는 제2 블록의 공유 정보가 제1 블록의 부호화 및/또는 복호화를 위해 사용될 수 있다.If the spatial position of the first block of the first channel and the spatial position of the second block of the second channel correspond to each other when the block division structure of the first channel and the block division structure of the second channel are the same, The blocks may correspond to each other. That is to say, the corresponding blocks of the different channels may be blocks of different channels with corresponding spatial positions. The shared information of the second block corresponding to the first block may be used for coding and / or decoding of the first block.
크로마 채널의 블록 분할 구조 및 루마 채널의 블록 분할 구조가 동일한 경우, 크로마 채널의 특정한 크로마 블록에 대응하는 루마 블록은 상기의 특정한 크로마 블록의 공간적 위치에 대응하는 공간적 위치의 루마 블록일 수 있다. 이러한 경우, 크로마 블록에 대응하는 루마 블록의 공유 정보가 크로마 블록의 부호화 및/또는 복호화를 위해 사용될 수 있다.When the block division structure of the chroma channel and the block division structure of the luma channel are the same, the luma block corresponding to the specific chroma block of the chroma channel may be a luma block of the spatial position corresponding to the spatial position of the specific chroma block. In this case, the shared information of the luma block corresponding to the chroma block may be used for encoding and / or decoding the chroma block.
도 22는 일 예에 따른 단일 트리 블록 분할 구조를 나타낸다.22 illustrates a single triblock division structure according to an example.
도 23은 일 예에 따른 듀얼 트리 블록 분할 구조를 나타낸다.FIG. 23 shows a dual tree block division structure according to an example.
4:2:0의 컬러 서브샘플링(color subsampling) 구조 하에서, 크로마 블록에 공간적으로 대응하는 루마 신호 영역은 크로마 블록에 비해 4 배의 영역을 차지할 수 있다. 말하자면, 루마 신호 영역의 가로 길이 및 세로 길이는 크로마 블록의 가로 길이 및 세로 길이의 2 배일 수 있다.Under a color subsampling scheme of 4: 2: 0, a luma signal region spatially corresponding to a chroma block can occupy an area four times as large as a chroma block. That is to say, the width and height of the luma signal area can be twice the width and height of the chroma block.
도 22에서 도시된 것처럼, 크로마 채널 및 루마 채널의 서로 대응하는 영상 영역들 내에서, 크로마 채널의 블록 분할 구조 및 루마 채널의 블록 분할 구조는 서로 동일할 수 있다. 말하자면, 크로마 채널 및 루마 채널에 대하여 단일 트리가 사용될 수 있다.As shown in Fig. 22, in the video regions corresponding to each other of the chroma channel and the luma channel, the block division structure of the chroma channel and the block division structure of the luma channel may be equal to each other. That is, a single tree may be used for the chroma channel and the luma channel.
도 22 및 그 이하에서, 서로 대응하는 영상 영역들은 "대응하는 영역들"로 표시되었다.22 and below, the video regions corresponding to each other are indicated as "corresponding regions ".
도 23에서 도시된 것처럼, 크로마 채널 및 루마 채널의 서로 상응하는 영상 영역들 내에서, 크로마 채널의 블록 분할 구조 및 루마 채널의 블록 분할 구조는 서로 다를 수 있다. 말하자면, 크로마 채널 및 루마 채널에 대하여 듀얼 트리가 사용될 수 있다.As shown in FIG. 23, within the corresponding image regions of the chroma channel and the luma channel, the block division structure of the chroma channel and the block division structure of the luma channel may be different from each other. That is to say, a dual tree can be used for the chroma channel and the luma channel.
예를 들면, 도 23에서, 하나의 크로마 블록에 공간적으로 대응하는 루마 채널의 영역은 8 개의 블록들로 분할되어 있다.For example, in FIG. 23, the area of the luma channel corresponding spatially to one chroma block is divided into eight blocks.
루마 채널 및 크로마 채널의 서로 대응하는 영상 영역들 내의 블록 분할 구조들이 동일한 경우, 특정된 크로마 블록에 공간적으로 대응하는 루마 채널의 블록이 모호함 없이 특정될 수 있다.A block of luma channels spatially corresponding to a specified chroma block may be specified without ambiguity if the block division structures within the corresponding video regions of the luma channel and the chroma channel are the same.
반면, 루마 채널의 블록 분할 구조 및 크로마 채널의 블록 분할 구조가 서로 동일하지 않은 경우, 크로마 채널의 블록 분할 구조에 따른 분할에 의해 결정된 특정된 크로마 블록에 대하여, 상기의 특정된 크로마 블록에 대응하는 루마 블록이 루마 채널 내에서 명확하게 특정되지 않을 수 있다. 이러한 불명확성은 도 23에서 도시된 것과 같이, 크로마 채널의 블록 분할 구조 및 루마 채널의 블록 분할 구조가 서로 동일하지 않는 것에 기인한다.On the other hand, when the block division structure of the luma channel and the block division structure of the chroma channel are not equal to each other, for a specified chroma block determined by division according to the block division structure of the chroma channel, The luma block may not be explicitly specified within the luma channel. This uncertainty is due to the fact that the block division structure of the chroma channel and the block division structure of the luma channel are not equal to each other, as shown in Fig.
실시예에서는, 루마 채널의 블록 분할 구조 및 크로마 채널의 블록 분할 구조가 서로 동일하지 않은 경우에 크로마 블록에 대응하는 루마 블록을 특정하는 방법이 설명된다.In the embodiment, a method of specifying a luma block corresponding to a chroma block when the block division structure of the luma channel and the block division structure of the chroma channel are not equal to each other will be described.
예를 들면, 크로마 블록에 대응하는 복수의 루마 블록들이 특정될 수 있다. 이러한 특정을 통해, 대상 블록인 크로마 블록에 대응하는 하나 이상의 루마 블록들로부터 공유 정보(들)이 획득될 수 있고, 획득된 공유 정보(들)을 사용하여 크로마 블록의 부호화 및/또는 복호화가 수행될 수 있다.For example, a plurality of luma blocks corresponding to a chroma block may be specified. Through this specification, the shared information (s) can be obtained from one or more luma blocks corresponding to the chroma block, which is the target block, and the coding and / or decoding of the chroma block is performed using the acquired shared information .
아래에서는, 제1 채널의 블록 분할 구조가 다른 제2 채널의 블록 분할 구조와 동일하지 않은 경우, 제1 채널의 블록에 대응하는 제2 채널의 하나 이상의 블록들을 특정하는 방법이 설명된다. 이하의 설명에서, 제1 채널은 크로마 채널이고, 제2 채널은 루마 채널인 것으로 설명되나, 크로마 채널 및 루마 채널은 단지 예시적인 것이고, 제1 채널 및 제2 채널의 각각은 전술된 다른 종류의 채널일 수 있다.Hereinafter, a method of specifying one or more blocks of a second channel corresponding to a block of the first channel will be described when the block division structure of the first channel is not the same as the block division structure of the second channel. In the following description, the first channel is described as a chroma channel and the second channel is described as a luma channel, but the chroma channel and luma channel are merely exemplary, and each of the first channel and the second channel is different from the above- Channel.
도 24는 일 예에 따른 대응 영역 내에서 위치에 기반하여 대응 블록을 특정하는 방식을 나타낸다.FIG. 24 illustrates a manner of specifying a corresponding block based on a position within a corresponding region according to an example.
크로마 블록에 대응하는 루마 블록들을 나타내는 대응 영역은 사각형 영역으로서 특정될 수 있다. 사각형 영역의 최상단-최좌측 픽셀의 위치는 (xCb, yCb)일 수 있다. 사각형 영역의 최하단-최우측 픽셀의 위치는 (xCb + cbWidth - 1, yCb + cbHeight - 1)일 수 있다.The corresponding area representing the luma blocks corresponding to the chroma block may be specified as a rectangular area. The position of the top-leftmost pixel of the rectangular area may be (xCb, yCb). The position of the lowermost-rightmost pixel of the rectangular region may be (xCb + cbWidth - 1, yCb + cbHeight - 1).
(xCb, yCb)는 크로마 블록(즉, 크로마 코딩 블록) 내의 최좌측-최상단 픽셀의 위치에 대응하는 루마 픽셀의 위치를 나타낼 수 있다.(xCb, yCb) may represent the position of the luma pixel corresponding to the position of the leftmost-topmost pixel in the chroma block (i.e., the chroma coding block).
cbWidth 및 cbHeight는 각각 대상 블록의 폭 및 높이를 루마 픽셀을 기준으로 지시하는 값일 수 있다.cbWidth and cbHeight may be values indicating the width and height of the target block based on luma pixels, respectively.
말하자면, 크로마 블록에 대응하는 루마 블록들을 나타내는 대응영역은, 루마 픽셀의 위치를 기준으로, 최상단-최좌측 픽셀의 위치가 (xCb, yCb)이고, 가로의 폭이 cbWidth이고, 세로의 높이가 cbHeight인 사각형의 영역으로 정의될 수 있다.In other words, the corresponding area representing the luma blocks corresponding to the chroma block is defined by the position of the top-left pixel as (xCb, yCb), the width as cbWidth, and the height as cbHeight As shown in FIG.
전술된 것과 같은 크로마 블록에 대응하는 루마 블록들을 나타내는 대응 영역은 도 24 내지 도 31을 참조하여 설명된 실시예들에게 적용될 수 있다.The corresponding regions representing the luma blocks corresponding to the chroma blocks as described above can be applied to the embodiments described with reference to Figs.
도 24에서 크로마 블록에 대응하는 루마 블록들은, 상기의 크로마 블록에 공간적으로 대응하는 루마 채널의 대응 영역 내의 기정의된 위치들에 존재하는 루마 블록들일 수 있다.The luma blocks corresponding to the chroma block in Fig. 24 may be luma blocks present at predetermined positions within the corresponding region of the luma channel that spatially correspond to the chroma block.
말하자면, 크로마 블록에 공간적으로 대응하는 루마 채널의 대응 영역 내의 기정의된 위치들에 존재하는 루마 블록들이 크로마 블록에 대응하는 하나 이상의 루마 블록들로서 특정될 수 있다. 또는, 크로마 블록에 공간적으로 대응하는 루마 채널의 대응 영역 내의 기정의된 위치들을 차지하는 루마 블록들이 크로마 블록에 대응하는 하나 이상의 루마 블록들로서 특정될 수 있다.That is to say, luma blocks existing at predetermined locations within the corresponding area of the luma channel corresponding spatially to the chroma block may be specified as one or more luma blocks corresponding to the chroma block. Alternatively, luma blocks occupying predetermined positions within the corresponding region of the luma channel corresponding spatially to the chroma block may be specified as one or more luma blocks corresponding to the chroma block.
예를 들면, 기정의된 위치들은 크로마 블록에 공간적으로 대응하는 루마 채널의 영역 내의 중앙(CR) 위치, 상단 좌측(TL) 위치, 상단 우측(TR) 위치, 하단 좌측(BL) 및 하단 우측(BR)일 수 있다. For example, the predefined locations may be located in the center (CR) position, upper left (TL), upper right (TR), lower left (BL) and lower right BR).
CR 위치는 (xCb + cbWidth/2, yCb + cbHeight/2)를 의미할 수 있다. TL 위치는 (xCb, yCb)를 의미할 수 있다. TR은 (xCb + cbWidth - 1, yCb)를 의미할 수 있다. BL 위치는 (xCb, yCb + cbHeight - 1)를 의미할 수 있다. BR 위치는 (xCb + cbWidth - 1, yCb + cbHeight - 1)를 의미할 수 있다.The CR position may mean (xCb + cbWidth / 2, yCb + cbHeight / 2). The TL position can mean (xCb, yCb). TR can mean (xCb + cbWidth - 1, yCb). The BL position can mean (xCb, yCb + cbHeight - 1). The BR position may mean (xCb + cbWidth - 1, yCb + cbHeight - 1).
실시예에서는, 루마 채널 및 크로마 채널 등과 같은 복수의 채널들에서 대상 채널의 대상 블록이 다른 채널의 어떤 블록에 대응하는지가 특정될 수 있다. 대상 채널의 대상 블록에 대응하는 다른 채널의 블록을 대응 블록으로 명명한다.In an embodiment, it can be specified which block of the other channel the target block of the target channel corresponds to in a plurality of channels such as a luma channel and a chroma channel. And blocks of other channels corresponding to the target block of the target channel are designated as corresponding blocks.
일 실시예에서는, 크로마 블록에 공간적으로 대응하는 루마 채널의 영역 내에서, 중앙(CR)을 나타내는 (xCb + cbWidth/2, yCb + cbHeight/2)의 위치에 있는 루마 픽셀을 포함하는 루마 블록이 대응 블록이 될 수 있다. 따라서, 대상 블록이 듀얼-트리로 분할된 경우, 복수의 채널들 중 대상 채널(예를 들면, 크로마 채널)의 대상 블록이 다른 채널(예를 들면, 루마 채널)의 어떤 블록에 대응하는지가 모호함 없이 특정될 수 있다. 실시예에서는, 크로마 채널의 부호화 및/또는 복호화에 있어서, (xCb + cbWidth/2, yCb + cbHeight/2)의 위치에 있는 루마 픽셀을 포함하는 루마 블록이 대응 블록으로서 특정될 수 있다. 특정된 대응 블록의 정보가 대상 블록의 부호화 및/또는 복호화에 사용될 수 있다. In one embodiment, within a region of the luma channel that spatially corresponds to the chroma block, a luma block containing luma pixels at a location (xCb + cbWidth / 2, yCb + cbHeight / 2) Corresponding block. Therefore, when the target block is divided into a dual-tree, it is ambiguous whether a target block of a target channel (for example, a chroma channel) among a plurality of channels corresponds to a block of another channel (for example, a luma channel) Can be specified. In an embodiment, in coding and / or decoding a chroma channel, a luma block containing a luma pixel at a location of (xCb + cbWidth / 2, yCb + cbHeight / 2) may be specified as a corresponding block. Information of the specified corresponding block may be used for coding and / or decoding of the target block.
예를 들면, 기정의된 위치들은 크로마 블록에 공간적으로 대응하는 루마 채널의 영역 내의 CR 위치, TL 위치, TR 위치, BL 위치 및 BR 위치의 일부일 수 있다.For example, the default locations may be part of the CR location, TL location, TR location, BL location and BR location within the area of the luma channel corresponding spatially to the chroma block.
예를 들면, 크로마 블록에 대응하는 루마 블록들은 크로마 블록에 공간적으로 대응하는 루마 채널의 영역 내의 중앙, 상단 좌측, 상단 우측, 하단 좌측 또는 하단 우측에 위치한 픽셀들 중 적어도 하나를 포함하는 블록들일 수 있다.For example, the luma blocks corresponding to the chroma block may be blocks comprising at least one of the pixels located in the center, upper left, upper right, lower left, or lower right of the region of the luma channel spatially corresponding to the chroma block have.
예를 들면, 크로마 블록에 대응하는 루마 블록들은 크로마 블록에 공간적으로 대응하는 루마 채널의 영역 내의 중앙, 상단 좌측, 상단 우측, 하단 좌측 또는 하단 우측에 위치한 픽셀들 중 적어도 하나를 포함하는 블록들의 일부일 수 있다.For example, the luma blocks corresponding to the chroma block may be part of the blocks including at least one of the pixels located in the center, upper left, upper right, lower left, or lower right of the region of the luma channel spatially corresponding to the chroma block .
예를 들면, 크로마 블록에 대응하는 루마 블록들은 크로마 블록에 공간적으로 대응하는 루마 채널의 영역 내의 중앙, 상단 좌측, 상단 우측, 하단 좌측 또는 하단 우측에 위치한 픽셀들 중 적어도 하나를 포함하는 블록들을 포함할 수 있다.For example, the luma blocks corresponding to the chroma block include blocks comprising at least one of the pixels located in the center, upper left, upper right, lower left, or lower right of the region of the luma channel spatially corresponding to the chroma block can do.
도 25는 일 예에 따른 대응 영역 내에서 면적에 기반하여 대응 블록을 특정하는 방식을 나타낸다.FIG. 25 illustrates a method of specifying a corresponding block based on an area within a corresponding area according to an example.
도 26은 일 예에 따른 대응 영역 내에서 면적에 기반하여 대응 블록을 특정하는 다른 방식을 나타낸다.Figure 26 shows another way of specifying the corresponding block based on the area within the corresponding area according to an example.
크로마 블록에 대응하는 루마 블록들은, 상기의 크로마 블록에 공간적으로 대응하는 루마 채널의 영역 내의 가장 넓은 면적을 갖는 루마 블록일 수 있다.The luma blocks corresponding to the chroma block may be luma blocks having the widest area in the area of the luma channel that spatially corresponds to the chroma block.
또는, 크로마 블록에 대응하는 루마 블록들은, 상기의 크로마 블록에 공간적으로 대응하는 루마 채널의 영역 내의 가장 넓은 면적을 갖는 기정의된 개수의 루마 블록들일 수 있다.Alternatively, the luma blocks corresponding to the chroma block may be a predetermined number of luma blocks having the widest area in the area of the luma channel spatially corresponding to the chroma block.
이러한 특정은, 크로마 블록에 대응하는 루마 채널의 영역 내에서 가장 넓은 면적을 갖는 루마 블록 또는 가장 넓은 면적을 갖는 기정의된 개수의 루마 블록들의 성질이 크로마 블록의 성질과 유사할 가능성이 크다는 점에 기인할 수 있다.This specification indicates that the property of the luma block having the widest area in the area of the luma channel corresponding to the chroma block or the predetermined number of luma blocks having the widest area is likely to be similar to the property of the chroma block Can be attributed.
도 25에서 도시된 것처럼, 기정의된 개수는 2 개일 수 있다. 도 25에서는 크로마 블록에 대응하는 루마 채널의 영역 내의 8 개의 루마 블록들 중 가장 넓은 면적을 갖는 2 개의 블록들(즉, 블록 1 및 블록 2)이 선택될 수 있다.As shown in Fig. 25, the predetermined number may be two. In Fig. 25, two blocks (i.e., block 1 and block 2) having the widest area among eight luma blocks in the area of the luma channel corresponding to the chroma block can be selected.
도 26에서 도시된 것처럼, 기정의된 개수는 3 개일 수 있다. 도 25에서는 크로마 블록에 대응하는 루마 채널의 영역 내의 8 개의 루마 블록들 중 가장 넓은 면적을 갖는 3 개의 블록들(즉, 블록 1, 블록 2 및 블록 3)이 선택될 수 있다.As shown in Fig. 26, the predetermined number may be three. In Fig. 25, three blocks (i.e., block 1, block 2 and block 3) having the widest area among the eight luma blocks in the area of the luma channel corresponding to the chroma block can be selected.
이러한 특정을 통해, 루마 채널의 블록 분할 구조 및 크로마 채널의 블록 분할 구조가 동일하지 않는 경우에도, 공유 정보의 사용을 통해 부호화 효율이 향상될 수 있다.With this specification, even when the block division structure of the luma channel and the block division structure of the chroma channel are not the same, the encoding efficiency can be improved through the use of the shared information.
도 27은 일 예에 따른 대응 영역 내에서 블록의 형태에 기반하여 대응 블록을 특정하는 방식을 나타낸다.FIG. 27 shows a manner of specifying a corresponding block based on the shape of the block within the corresponding area according to an example.
도 28은 일 예에 따른 대응 영역 내에서 블록의 형태에 기반하여 대응 블록을 특정하는 다른 방식을 나타낸다.Figure 28 shows another way of specifying the corresponding block based on the shape of the block within the corresponding area according to an example.
크로마 블록에 대응하는 루마 블록들은, 상기의 크로마 블록에 공간적으로 대응하는 루마 채널의 영역 내의, 크로마 블록의 형태와 동일한 형태를 갖는 루마 블록일 수 있다.The luma blocks corresponding to the chroma block may be luma blocks having the same shape as the shape of the chroma block in the region of the luma channel spatially corresponding to the chroma block.
예를 들면, 블록의 형태는 블록의 크기를 포함할 수 있다.For example, the shape of the block may include the size of the block.
도 27 및 도 28에서 도시된 것과 같은 듀얼 트리의 블록 분할 구조에 따라서, 크로마 채널의 CU의 블록 분할 구조 및 크로마 채널의 CU에 대응하는 루마 채널의 영역의 CU의 블록 분할 구조가 동일하지 않을 수 있다. 이러한 경우에도, 크로마 채널의 CU 내의 대상 블록의 영역에 대응하는 루마 채널의 영역이 하나의 블록으로서 존재할 수도 있다.27 and 28, the block division structure of the CU of the chroma channel and the block division structure of the CU of the luma channel region corresponding to the CU of the chroma channel may not be the same have. In this case also, the area of the luma channel corresponding to the area of the target block in the CU of the chroma channel may exist as one block.
이러한 경우, 크로마 블록에 대응하는 루마 채널의 영역 내의 하나의 루마 블록이 크로마 채널에 정확하게 대응할 수 있다. 대응하는 루마 블록의 공유 정보가 크로마 블록의 코딩 결정 정보로서 공유될 수 있다.In this case, one luma block in the area of the luma channel corresponding to the chroma block can accurately correspond to the chroma channel. The shared information of the corresponding luma block can be shared as the coding determination information of the chroma block.
도 29는 일 예에 따른 대응 영역 내에서 블록의 종횡비에 기반하여 대응 블록을 특정하는 방식을 나타낸다.FIG. 29 shows a manner of specifying the corresponding block based on the aspect ratio of the block within the corresponding area according to an example.
도 30은 일 예에 따른 대응 영역 내에서 블록의 종횡비에 기반하여 대응 블록을 특정하는 다른 방식을 나타낸다.Figure 30 shows another way of specifying the corresponding block based on the aspect ratio of the block within the corresponding area according to an example.
크로마 블록에 대응하는 루마 블록들은, 상기의 크로마 블록에 공간적으로 대응하는 루마 채널의 영역 내의, 크로마 블록의 종횡비와 동일한 종횡비를 갖는 루마 블록(들)일 수 있다.The luma blocks corresponding to the chroma block may be luma block (s) having the aspect ratio equal to the aspect ratio of the chroma block in the region of the luma channel spatially corresponding to the chroma block.
또는, 크로마 블록에 대응하는 루마 블록들은, 상기의 크로마 블록에 공간적으로 대응하는 루마 채널의 영역 내의, 크로마 블록의 종횡비와 유사한 종횡비를 갖는 루마 블록(들)일 수 있다.Alternatively, the luma blocks corresponding to the chroma block may be luma block (s) having an aspect ratio similar to the aspect ratio of the chroma block in the region of the luma channel that spatially corresponds to the chroma block.
예를 들면, 도 29의 루마 채널의 영역에서는 루마 블록 2가 선택될 수 있고, 도 30의 루마 채널의 영역에서는 루마 블록 1이 선택될 수 있다.For example, luma block 2 may be selected in the area of the luma channel of Fig. 29, and luma block 1 may be selected in the area of the luma channel of Fig.
여기에서, 블록의 종횡비(aspect ratio)는 블록의 가로 길이 및 블록의 세로 길이 간의 비율일 수 있다. 말하자면, 블록의 종횡비는 블록의 가로 길이가 세로 길이로 나뉜 값일 수 있다.Here, the aspect ratio of the block may be a ratio between the horizontal length of the block and the vertical length of the block. That is to say, the aspect ratio of the block may be a value obtained by dividing the width of the block by the vertical length.
예를 들면, 종횡비들이 서로 동일한지 여부는 아래의 수식 13에 의해 판단될 수 있다.For example, whether or not the aspect ratios are equal to each other can be judged by the following expression (13).
[수식 13] [Equation 13]
(log(log 22 WidthWidth ChromaChroma - log - log 22 HeightHeight ChromaChroma ) == (log) == (log 22 WidthWidth LumaLuma - log - log 22 HeightHeight LumaLuma ))
WidthChroma는 크로마 블록의 폭일 수 있다. HeightChroma는 크로마 블록의 높이일 수 있다.Width Chroma can be the width of the chroma block. Height Chroma can be the height of the chroma block.
WidthLuma는 크로마 블록에 대응하는 루마 블록의 폭일 수 있다. HeightLuma는 크로마 블록에 대응하는 루마 블록의 높이일 수 있다.Width Luma can be the width of the luma block corresponding to the chroma block. Height Luma can be the height of the luma block corresponding to the chroma block.
종횡비들이 서로 유사한지 여부는 아래의 수식 14에 의해 판단될 수 있다.Whether or not the aspect ratios are similar to each other can be judged by the following expression (14).
[수식 14] [Equation 14]
|(log| (Log 22 WidthWidth ChromaChroma - log - log 22 HeightHeight ChromaChroma ) == (log) == (log 22 WidthWidth LumaLuma - log - log 22 HeightHeight LumaLuma )|< THD) | <THD
"|x|"는 x의 절대 값을 나타낼 수 있다."| X |" can represent the absolute value of x.
THD는 임계치일 수 있다. 예를 들면, THD의 값은 2일 수 있다.THD may be a threshold. For example, the value of THD may be 2.
수식 13 및 수식 14에 따라, 크로마 블록의 종횡비와 동일한 종횡비를 갖는 하나 이상의 루마 블록들이 대응하는 블록들로서 특정될 수 있다. 또는, 크로마 블록의 종횡비와 유사한 종횡비를 갖는 하나 이상의 루마 블록들이 대응하는 블록들로서 특정될 수 있다. According to Equations 13 and 14, one or more luma blocks having the same aspect ratio as the aspect ratio of the chroma block may be specified as corresponding blocks. Alternatively, one or more luma blocks having an aspect ratio similar to an aspect ratio of a chroma block may be specified as corresponding blocks.
도 31은 일 예에 따른 대응 영역 내에서 블록의 부호화 성질에 기반하여 대응 블록을 특정하는 다른 방식을 나타낸다.Figure 31 shows another way of specifying the corresponding block based on the coding nature of the block within the corresponding area according to an example.
크로마 채널의 블록 분할 구조 및 루마 채널의 블록 분할 구조가 서로 독립적이더라도, 크로마 블록에 공간적으로 대응하는 루마 채널의 영역 내의 루마 블록들 중에서, 크로마 블록의 코딩 결정 정보와 동일한 코딩 결정 정보를 갖는 루마 블록이 존재한다면, 크로마 블록의 공유 정보 및 루마 블록의 공유 정보도 서로 동일할 수 있다.Even if the block division structure of the chroma channel and the block division structure of the luma channel are independent from each other, among the luma blocks in the area of the luma channel spatially corresponding to the chroma block, the luma blocks having the same coding determination information as the coding determination information of the chroma block The sharing information of the chroma block and the sharing information of the luma block may be the same.
이러한 특징을 활용하기 위해, 기정의된 코딩 결정 정보에 대하여, 크로마 블록의 값과 동일한 값을 갖는 루마 블록이 크로마 블록에 대응하는 루마 블록으로서 특정될 수 있다. 또는, 기정의된 코딩 결정 정보에 대하여, 크로마 블록의 값과 유사한 값을 갖는 루마 블록이 크로마 블록에 대응하는 루마 블록으로서 특정될 수 있다.To take advantage of this feature, a luma block having the same value as the value of the chroma block can be specified as the luma block corresponding to the chroma block, with respect to the predetermined coding determination information. Alternatively, for the predetermined coding determination information, a luma block having a value similar to the value of the chroma block may be specified as a luma block corresponding to the chroma block.
예를 들면, 기정의된 코딩 결정 정보는 인트라 예측의 사용 여부, 인트라 예측 모드, 움직임 예측 정보, 움직임 벡터, 머지 모드의 사용 여부 및 유도된 모드, 변환 선택 정보 등일 수 있다.For example, the predetermined coding determination information may be whether to use intra prediction, an intra prediction mode, motion prediction information, a motion vector, whether to use the merge mode, derived mode, conversion selection information, and the like.
예를 들면, 인트라 예측 모드가 기정의된 코딩 결정 정보로서 사용될 수 있다. 도 31에서는, 루마 채널의 영역 내에서 루마 블록 1, 루마 블록 2 및 루마 블록 3이 도시되었다. 루마 블록 1, 루마 블록 2 및 루마 블록 3은 크로마 블록의 인트라 예측 모드와 동일한(또는, 유사한) 인트라 예측 모드를 갖는 루마 블록들일 수 있다. 루마 블록 1, 루마 블록 2 및 루마 블록 3이 크로마 블록에 대응하는 루마 블록들로서 특정될 수 있다.For example, the intra prediction mode can be used as the predetermined coding determination information. 31, luma block 1, luma block 2 and luma block 3 are shown in the area of the luma channel. Luma block 1, luma block 2, and luma block 3 may be luma blocks having the same (or similar) intra prediction mode as the intra prediction mode of the chroma block. Luma block 1, luma block 2 and luma block 3 may be specified as luma blocks corresponding to the chroma block.
전술된 특정 방식들에 따르면, 크로마 블록에 대응하는 루마 블록은 복수일 수 있다. 복수의 루마 블록들의 공유 정보들이 모두 동일한 경우, 공유 정보들을 크로마 블록을 위해 사용함에 있어서 문제가 발생하지 않을 수 있다. 반면, 복수의 루마 블록들의 공유 정보들이 동일하지 않은 경우, 크로마 블록의 부호화 및/또는 복호화에 사용될 공유 정보가 분명하지 않을 수 있다.According to the particular schemes described above, the luma block corresponding to the chroma block may be plural. If the shared information of the plurality of luma blocks are all the same, there is no problem in using the shared information for the chroma block. On the other hand, if the shared information of the plurality of luma blocks is not the same, the shared information to be used for coding and / or decoding the chroma block may not be clear.
복수의 대응 블록들의 공유 정보들의 값들 중 다수인 값이 크로마 블록의 공유 정보의 값으로서 사용될 수 있다. 이러한 결정 방법은 다수 기반 공유 정보 결정 방법으로 명명될 수 있다. 이러한 같은 방법을 통해 추가의 시그널링 없이 공유 정보가 효율적으로 공유될 수 있다. A plurality of values of the shared information values of the plurality of corresponding blocks may be used as the value of the shared information of the chroma block. This decision method can be named as a multiple base shared information decision method. In this way, shared information can be efficiently shared without further signaling.
예를 들면, transform_skip_flag 정보가 공유되는 경우, 크로마 블록에 대응하는 복수의 루마 블록들의 transform_skip_flag 정보들의 값들 중 다수를 차지하는 값이 크로마 블록의 transform_skip_flag 정보의 값으로서 공유될 수 있다. 이러한 공유를 통해 크로마 블록의 부호화 및/또는 복호화가 수행될 수 있다. For example, when transform_skip_flag information is shared, a value occupying a plurality of values of transform_skip_flag information of a plurality of luma blocks corresponding to a chroma block can be shared as values of transform_skip_flag information of a chroma block. Through this sharing, encoding and / or decoding of chroma blocks can be performed.
예를 들면, 크로마 블록에 대응하는 루마 블록이 오직 하나인 경우에만 공유 정보가 사용될 수 있다. 크로마 블록에 공간적으로 대응하는 루마 채널의 영역 내에서, 전술된 특정 조건을 충족시키는 루마 블록이 단 하나만 존재할 경우에만 공유 정보가 사용될 수 있다. 또는, 대상 채널의 대상 블록에 공간적으로 대응하는 다른 채널의 영역이 하나의 블록으로만 특정되는 경우에 채널들 간에 코딩 결정 정보가 공유될 수 있다.For example, shared information may be used only if there is only one luma block corresponding to a chroma block. Within the area of the luma channel that spatially corresponds to the chroma block, the shared information can be used only if there is only one luma block that meets the specific conditions described above. Alternatively, coding determination information may be shared among channels when an area of another channel spatially corresponding to a target block of a target channel is specified as one block.
도 27을 참조하면, 크로마 채널의 대상 블록에 공간적으로 대응하는 루마 채널의 영역이 하나의 블록으로만 분할되었을 경우, 상기의 하나의 블록이 루마 채널의 대응 블록일 수 있다. 이러한 대응 블록의 공유 정보가 크로마 블록의 부호화 및/또는 복호화에 사용될 수 있다.Referring to FIG. 27, when a luma channel region spatially corresponding to a target block of a chroma channel is divided into only one block, the one block may be a corresponding block of a luma channel. The shared information of this corresponding block may be used for encoding and / or decoding of the chroma block.
만일, 크로마 채널의 대상 블록에 공간적으로 대응하는 루마 채널의 영역이 하나의 블록으로 분할되지 않은 경우, 별도의 시그널링 없이 코딩 결정 정보가 공유되지 않을 수 있다.If the area of the luma channel corresponding spatially to the target block of the chroma channel is not divided into one block, the coding decision information may not be shared without signaling.
도 32는 일 실시예에 따른 부호화 방법의 흐름도이다.32 is a flowchart of an encoding method according to an embodiment.
실시예의 부호화 방법 및 비트스트림 생성 방법은 부호화 장치(1600)에 의해 수행될 수 있다. 실시예는 대상에 대한 부호화 방법 또는 비디오 부호화 방법의 일부일 수 있다.The encoding method and the bit stream generating method of the embodiment can be performed by the encoding apparatus 1600. [ The embodiment may be part of a coding method or a video coding method for an object.
단계(3210)에서, 처리부(1610)는 대상 블록의 대표 채널의 코딩 결정 정보를 결정할 수 있다.In step 3210, the processing unit 1610 may determine the coding determination information of the representative channel of the target block.
단계(3220)에서, 처리부(1610)는 대상 블록의 대표 채널의 코딩 결정 정보를 사용하는 대상 블록의 부호화를 수행함으로써 대상 블록에 대한 정보를 생성할 수 있다.In step 3220, the processing unit 1610 can generate information on the target block by performing encoding of the target block using the coding determination information of the representative channel of the target block.
단계(3230)에서, 처리부(1610)는 대상 블록에 대한 정보를 포함하는 비트스트림을 생성할 수 있다.In step 3230, the processing unit 1610 may generate a bitstream that includes information about the object block.
대상 블록에 대한 정보는 대표 채널의 코딩 결정 정보를 포함할 수 있다. 또한, 비트스트림 및 대상 블록에 대한 정보는 대상 채널의 코딩 결정 정보를 포함하지 않을 수 있다.The information on the target block may include coding determination information of the representative channel. In addition, the information on the bitstream and the target block may not include the coding determination information of the target channel.
도 32를 참조하여 설명된 실시예는 전술된 다른 실시예들과 결합될 수 있다. 중복되는 설명은 생략된다.The embodiment described with reference to Fig. 32 can be combined with the other embodiments described above. Duplicate descriptions are omitted.
도 33은 일 실시예에 따른 복호화 방법의 흐름도이다.33 is a flowchart of a decoding method according to an embodiment.
실시예의 복호화 방법은 복호화 장치(1600)에 의해 수행될 수 있다.The decoding method of the embodiment can be performed by the decoding apparatus 1600. [
단계(3310)에서, 통신부(1710)는 대상 블록에 대한 정보를 포함하는 비트스트림을 수신할 수 있다.In step 3310, the communication unit 1710 may receive a bitstream including information on a target block.
대상 블록에 대한 정보는 대표 채널의 코딩 결정 정보를 포함할 수 있다. 또한, 비트스트림 및 대상 블록에 대한 정보는 대상 채널의 코딩 결정 정보를 포함하지 않을 수 있다.The information on the target block may include coding determination information of the representative channel. In addition, the information on the bitstream and the target block may not include the coding determination information of the target channel.
단계(3320)에서, 처리부(1720)는 대상 블록의 대표 채널의 코딩 결정 정보를 대상 블록의 대상 채널의 코딩 결정 정보로서 공유할 수 있다.In step 3320, the processing unit 1720 can share the coding determination information of the representative channel of the target block as the coding determination information of the target channel of the target block.
대표 채널의 코딩 결정 정보는 대상 채널의 코딩 결정 정보로서 공유될 수 있다.The coding determination information of the representative channel can be shared as the coding determination information of the target channel.
단계(3320)에서, 처리부(1610)는 대상 채널의 코딩 결정 정보를 사용하는 대상 블록의 복호화를 수행할 수 있다.In step 3320, the processing unit 1610 may perform decoding of a target block using the coding determination information of the target channel.
도 33을 참조하여 설명된 실시예는 전술된 다른 실시예들과 결합될 수 있다. 중복되는 설명은 생략된다.The embodiment described with reference to Fig. 33 can be combined with the other embodiments described above. Duplicate descriptions are omitted.
전술된 실시예들은 부호화 장치(1600) 및 복호화 장치(1700)에서 같은 방법으로 수행될 수 있다.The embodiments described above can be performed in the same way in the encoding apparatus 1600 and the decoding apparatus 1700. [
실시예들의 단계, 동작 및 절차 등이 적용되는 순서는 부호화 장치(1600) 및 복호화 장치(1700)에서 서로 상이할 수 있다. 또는, 실시예의 단계, 동작 및 절차 등이 적용되는 순서는 부호화 장치(1600) 및 복호화 장치(1700)에서 서로 동일할 수 있다.The order in which the steps, operations, and procedures of the embodiments are applied may be different from each other in the encoding apparatus 1600 and the decoding apparatus 1700. Alternatively, the order in which the steps, operations, and procedures of the embodiments are applied may be the same in the encoding apparatus 1600 and the decoding apparatus 1700.
실시예들은 루마 신호 및 크로마 신호의 각각에 대하여 수행될 수 있다. 또는, 실시예들은 루마 신호 및 크로마 신호에 대해서 동일하게 수행될 수도 있다.Embodiments may be performed for each of a luma signal and a chroma signal. Alternatively, embodiments may be performed identically for a luma signal and a chroma signal.
실시예들이 적용되는 블록의 형태는 정방형(square) 형태 또는 비정방형(non-square) 형태일 수 있다.The shape of the block to which the embodiments are applied may be a square shape or a non-square shape.
실시예들은 CU, PU, TU 및 대상 블록 중 적어도 하나의 크기에 기반하여 적용 여부가 결정될 수 있다. 여기서, 크기는 대상에 실시예가 적용되기 위한 최소 크기 및/또는 최대 크기로서 정의될 수도 있고, 대상에 실시예가 적용되기 위한 고정된 크기로 정의될 수도 있다.Embodiments may be determined based on the size of at least one of the CU, PU, TU and target block. Here, the size may be defined as a minimum size and / or a maximum size for an embodiment to be applied to an object, or may be defined as a fixed size for an embodiment to be applied to an object.
또한, 제1 크기에 대해서는 제1의 실시예가 적용되고, 제2 크기에 대해서는 제2의 실시예가 적용될 수도 있다. 즉, 실시예들은 대상의 크기에 따라 복합적으로 적용될 수 있다. 또한, 실시예들은 대상의 크기가 최소 크기의 이상이고 최대 크기의 이하일 경우에만 적용될 수도 있다. 즉, 실시예들은 대상의 크기가 일정한 범위 내에 포함될 경우에만 적용될 수도 있다.Further, the first embodiment may be applied to the first size, and the second embodiment may be applied to the second size. That is, the embodiments can be applied in combination according to the size of the object. Embodiments may also be applied only when the size of the object is at least the minimum size and less than the maximum size. That is, the embodiments may be applied only when the size of the object is included in a certain range.
예를 들면, 대상 블록의 크기가 8x8의 이상일 경우에만 실시예들이 적용될 수 있다. 예를 들면, 대상 블록의 크기가 4x4일 경우에만 실시예들이 적용될 수 있다. 예를 들면, 대상 블록의 크기가 16x16 이하일 경우에만 실시예들이 적용될 수 있다. 예를 들면, 대상 블록의 크기가 16x16의 이상이고, 64x64의 이하일 경우에만 실시예들이 적용될 수 있다.For example, the embodiments can be applied only when the size of the target block is 8x8 or more. For example, the embodiments may be applied only when the size of the target block is 4x4. For example, the embodiments can be applied only when the size of the target block is 16x16 or less. For example, the embodiments can be applied only when the size of the target block is 16x16 or more and 64x64 or less.
실시예들은 시간적 계층(temporal layer)에 따라 적용 여부가 결정될 수 있다. 실시예들이 적용되는 시간적 계층을 식별하기 위해 별도의 식별자(identifier)가 시그널링될 수 있다. 식별자에 의해 특정된 시간적 계층에 대해서 실시예들이 선택적으로 적용될 수 있다. 여기에서, 식별자는 실시예가 적용되기 위한 최하위 계층 및/또는 최상위 계층을 나타낼 수 있고, 실시예가 적용되는 특정 계층을 나타낼 수도 있다. 또한, 실시예가 적용되는 시간적 계층이 기정의될 수도 있다.The embodiments may be determined depending on the temporal layer. A separate identifier may be signaled to identify the temporal layer to which the embodiments are applied. Embodiments may optionally be applied to the temporal hierarchy specified by the identifier. Here, the identifier may represent the lowest layer and / or the highest layer for which the embodiment is to be applied, and may represent a particular layer to which the embodiment is applied. In addition, the temporal hierarchy to which the embodiment is applied may be predetermined.
예를 들면, 대상 영상의 시간적 계층이 최하위 계층일 경우에만 실시예들이 적용될 수 있다. 예를 들면, 대상 영상의 시간적 계층 식별자가 1 이상인 경우에만 실시예들이 적용될 수 있다. 예를 들면, 대상 영상의 시간적 계층이 최상위 계층일 경우에만 실시예들이 적용될 수 있다.For example, the embodiments can be applied only when the temporal layer of the target image is the lowest layer. For example, the embodiments may be applied only when the temporal layer identifier of the target image is one or more. For example, the embodiments can be applied only when the temporal layer of the target image is the highest layer.
실시예들이 적용되는 슬라이스 타입(slice type)이 정의될 수 있다. 슬라이스의 타입에 따라 실시예들이 선택적으로 적용될 수 있다.A slice type to which the embodiments are applied can be defined. Embodiments may be selectively applied depending on the type of slice.
상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.In the above-described embodiments, although the methods are described on the basis of a flowchart as a series of steps or units, the present invention is not limited to the order of the steps, and some steps may occur in different orders or simultaneously . It will also be understood by those skilled in the art that the steps depicted in the flowchart illustrations are not exclusive and that other steps may be included or that one or more steps in the flowchart may be deleted without affecting the scope of the invention You will understand.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.The embodiments of the present invention described above can be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium. The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer-readable recording medium may be those specially designed and constructed for the present invention or may be those known and used by those skilled in the computer software arts.
컴퓨터 판독 가능한 기록 매체는 본 발명에 따른 실시예들에서 사용되는 정보를 포함할 수 있다. 예를 들면, 컴퓨터 판독 가능한 기록 매체는 비트스트림을 포함할 수 있고, 비트스트림은 본 발명에 따른 실시예들에서 설명된 정보를 포함할 수 있다.The computer-readable recording medium may include information used in embodiments according to the present invention. For example, the computer readable recording medium may comprise a bit stream, and the bit stream may comprise the information described in embodiments according to the present invention.
컴퓨터 판독 가능한 기록 매체는 비-일시적 컴퓨터 판독 가능한 매체(non-transitory computer-readable medium)를 포함할 수 있다.The computer-readable recording medium may comprise a non-transitory computer-readable medium.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules for performing the processing according to the present invention, and vice versa.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be construed as being limited to the above-described embodiments, and all of the equivalents or equivalents of the claims, as well as the following claims, I will say.

Claims (20)

  1. 대상 블록의 대표 채널의 코딩 결정 정보를 상기 대상 블록의 대상 채널의 코딩 결정 정보로서 공유하는 단계; 및
    상기 대상 채널의 코딩 결정 정보를 사용하는 상기 대상 블록의 복호화를 수행하는 단계
    를 포함하는 복호화 방법.
    Sharing coding determination information of a representative channel of a target block as coding determination information of a target channel of the target block; And
    Performing decoding of the target block using coding determination information of the target channel
    / RTI &gt;
  2. 제1항에 있어서,
    상기 대상 블록에 대한 정보를 포함하는 비트스트림을 수신하는 단계
    를 더 포함하고,
    상기 대상 블록에 대한 정보는 상기 대표 채널의 코딩 결정 정보를 포함하고,
    상기 대상 블록에 대한 정보는 상기 대상 채널의 코딩 결정 정보를 포함하지 않는, 복호화 방법.
    The method according to claim 1,
    Receiving a bitstream including information on the target block
    Further comprising:
    Wherein the information on the target block includes coding determination information of the representative channel,
    Wherein information on the target block does not include coding determination information of the target channel.
  3. 제1항에 있어서,
    상기 대표 채널의 코딩 결정 정보는 변환의 생략의 여부를 지시하는 변환 생략 정보인, 복호화 방법.
    The method according to claim 1,
    Wherein the coding determination information of the representative channel is conversion skip information indicating whether to skip the conversion.
  4. 제1항에 있어서,
    상기 대표 채널의 코딩 결정 정보는 채널의 변환 블록에 대하여 어떤 변환을 사용할지를 지시하는 변환 선택 정보인, 복호화 방법.
    The method according to claim 1,
    Wherein the coding determination information of the representative channel is conversion selection information indicating which conversion is to be used for the conversion block of the channel.
  5. 제1항에 있어서,
    상기 대표 채널의 코딩 결정 정보는 상기 대표 채널의 인트라 코딩 결정 정보인, 복호화 방법.
    The method according to claim 1,
    And the coding determination information of the representative channel is intra-coding determination information of the representative channel.
  6. 제1항에 있어서,
    상기 대표 채널 및 상기 대상 채널은 YCbCr 컬러 공간 내의 채널들인, 복호화 방법.
    The method according to claim 1,
    Wherein the representative channel and the target channel are channels in a YCbCr color space.
  7. 제1항에 있어서,
    상기 대표 채널은 루마 채널이고,
    상기 대상 채널은 크로마 채널인, 복호화 방법.
    The method according to claim 1,
    Wherein the representative channel is a luma channel,
    Wherein the target channel is a chroma channel.
  8. 제1항에 있어서,
    상기 대표 채널은 루마 신호와 가장 높은 연관성을 갖는 컬러 채널인, 복호화 방법.
    The method according to claim 1,
    Wherein the representative channel is a color channel having the highest correlation with a luma signal.
  9. 제1항에 있어서,
    상기 대표 채널은 비트스트림 내의 선택된 대표 채널을 나타내는 인덱스에 의해 결정되는, 복호화 방법.
    The method according to claim 1,
    Wherein the representative channel is determined by an index representing a selected representative channel in the bitstream.
  10. 제1항에 있어서,
    상기 공유는 상기 대상 블록의 복수의 채널들의 영상 성질들이 서로 유사한 경우에 수행되는, 복호화 방법.
    The method according to claim 1,
    Wherein the sharing is performed when the video properties of the plurality of channels of the target block are similar to each other.
  11. 제10항에 있어서,
    상기 대상 블록의 크로마 채널에 대한 인트라 예측 모드가 다이렉트 모드이면 상기 복수의 채널들의 영상 성질들이 서로 유사하다고 판단되는, 복호화 방법.
    11. The method of claim 10,
    Wherein if the intraprediction mode for the chroma channel of the target block is a direct mode, then the video properties of the plurality of channels are determined to be similar to each other.
  12. 제1항에 있어서,
    상기 공유는 채널간 예측이 사용될 때 수행되고,
    상기 채널간 예측이 사용되는지 여부는 비트스트림으로부터 획득된 정보에 기반하여 유도되는, 복호화 방법.
    The method according to claim 1,
    The sharing is performed when inter-channel prediction is used,
    Wherein whether the inter-channel prediction is used is derived based on information obtained from the bit stream.
  13. 제1항에 있어서,
    상기 공유는 채널간 예측이 사용될 때 수행되고,
    상기 채널간 예측이 사용되는지 여부는 상기 대상 블록의 인트라 예측 모드에 기반하여 결정되는, 복호화 방법.
    The method according to claim 1,
    The sharing is performed when inter-channel prediction is used,
    Wherein whether the inter-channel prediction is used is determined based on an intra prediction mode of the target block.
  14. 제13항에 있어서,
    상기 대상 블록에 대한 상기 인트라 예측 모드가 INTRA_CCLM 모드, INTRA_MMLM 모드 및 INTRA_MFLM 모드 중 하나이면 상기 채널간 예측이 사용되는, 복호화 방법.
    14. The method of claim 13,
    Wherein the interchannel prediction is used when the intra prediction mode for the target block is one of an INTRA_CCLM mode, an INTRA_MMLM mode, and an INTRA_MFLM mode.
  15. 제1항에 있어서,
    상기 대상 블록의 크기에 기반하여 상기 공유의 여부가 결정되는, 복호화 방법.
    The method according to claim 1,
    And whether or not the sharing is determined based on the size of the target block.
  16. 제1항에 있어서,
    상기 대상 블록의 복수의 채널들 중 상기 대표 채널의 코딩 결정 정보가 상기 복수의 채널들의 모두에 대해 사용되는, 복호화 방법.
    The method according to claim 1,
    And coding determination information of the representative channel among a plurality of channels of the target block is used for all of the plurality of channels.
  17. 대상 블록의 대표 채널의 코딩 결정 정보를 결정하는 단계; 및
    상기 대표 채널의 코딩 결정 정보를 사용하는 상기 대상 블록의 부호화를 수행하는 단계
    를 포함하고,
    상기 대표 채널의 코딩 결정 정보는 상기 대상 블록의 다른 채널에도 공유되는, 부호화 방법.
    Determining coding determination information of a representative channel of a target block; And
    Performing coding of the target block using coding determination information of the representative channel
    Lt; / RTI &gt;
    And the coding determination information of the representative channel is shared with other channels of the target block.
  18. 제17항에 있어서,
    상기 대상 블록에 대한 정보를 포함하는 비트스트림을 생성하는 단계
    를 더 포함하고,
    상기 대상 블록에 대한 정보는 상기 대표 채널의 코딩 결정 정보를 포함하고,
    상기 대상 블록에 대한 정보는 상기 다른 채널의 코딩 결정 정보를 포함하지 않는, 부호화 방법.
    18. The method of claim 17,
    Generating a bitstream including information on the target block
    Further comprising:
    Wherein the information on the target block includes coding determination information of the representative channel,
    Wherein information on the target block does not include coding determination information of the other channel.
  19. 제17항에 있어서,
    상기 대표 채널 및 상기 다른 채널은 YCbCr 컬러 공간 내의 채널들인, 부호화 방법.
    18. The method of claim 17,
    Wherein the representative channel and the other channel are channels in a YCbCr color space.
  20. 영상의 복호화를 위한 비트스트림을 저장하는 컴퓨터 판독 가능한 기록매체에 있어서, 상기 비트스트림은,
    대상 블록에 대한 정보
    를 포함하고,
    상기 대상 블록에 대한 정보는 상기 대상 블록의 대표 채널의 코딩 결정 정보
    를 포함하고,
    상기 대상 블록의 상기 대표 채널의 코딩 결정 정보가 사용하여 상기 대상 블록의 대상 채널의 코딩 결정 정보로서 공유되고,
    상기 대상 채널의 코딩 결정 정보를 사용하여 상기 대상 블록의 복호화가 수행되는, 컴퓨터 판독 가능한 기록매체.
    A computer-readable recording medium storing a bitstream for decoding an image,
    Information about the target block
    Lt; / RTI &gt;
    The information on the target block includes coding determination information of the representative channel of the target block
    Lt; / RTI &gt;
    Coding determination information of the representative channel of the target block is used as coding determination information of a target channel of the target block,
    Wherein decoding of the target block is performed using coding determination information of the target channel.
KR1020180157404A 2017-12-07 2018-12-07 Method and apparatus for encoding and decoding using selective information sharing over channels KR20190067732A (en)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR20170167729 2017-12-07
KR1020170167729 2017-12-07
KR1020180079012 2018-07-06
KR20180079012 2018-07-06
KR1020180106479 2018-09-06
KR20180106479 2018-09-06
KR20180114333 2018-09-21
KR1020180114333 2018-09-21

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/770,534 US20210136395A1 (en) 2017-12-07 2018-12-07 Method and apparatus for encoding and decoding using selective information sharing between channels
PCT/KR2018/015573 WO2019112394A1 (en) 2017-12-07 2018-12-07 Method and apparatus for encoding and decoding using selective information sharing between channels

Publications (1)

Publication Number Publication Date
KR20190067732A true KR20190067732A (en) 2019-06-17

Family

ID=67064587

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180157404A KR20190067732A (en) 2017-12-07 2018-12-07 Method and apparatus for encoding and decoding using selective information sharing over channels

Country Status (3)

Country Link
US (1) US20210136395A1 (en)
KR (1) KR20190067732A (en)
CN (1) CN111699682A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020256524A1 (en) * 2019-06-20 2020-12-24 한국전자통신연구원 Method and apparatus for image encoding and image decoding using prediction based on block type
WO2021015537A1 (en) * 2019-07-21 2021-01-28 엘지전자 주식회사 Image encoding/decoding method and device for signaling chroma component prediction information according to whether palette mode is applicable, and method for transmitting bitstream
WO2021025478A1 (en) * 2019-08-06 2021-02-11 현대자동차주식회사 Method and device for intra prediction coding of video data

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020256524A1 (en) * 2019-06-20 2020-12-24 한국전자통신연구원 Method and apparatus for image encoding and image decoding using prediction based on block type
WO2021015537A1 (en) * 2019-07-21 2021-01-28 엘지전자 주식회사 Image encoding/decoding method and device for signaling chroma component prediction information according to whether palette mode is applicable, and method for transmitting bitstream
WO2021025478A1 (en) * 2019-08-06 2021-02-11 현대자동차주식회사 Method and device for intra prediction coding of video data

Also Published As

Publication number Publication date
US20210136395A1 (en) 2021-05-06
CN111699682A (en) 2020-09-22

Similar Documents

Publication Publication Date Title
KR20210080322A (en) A method for encoding/decoding a video and a readable medium therefor
JP2019525577A (en) Image encoding / decoding method, apparatus, and recording medium storing bitstream
KR20170132682A (en) A method for encoding/decoding a video and a readable medium therefor
KR20210088475A (en) A method for encoding/decoding a video and a readable medium therefor
KR20180107761A (en) Method and apparatus for prediction using reference block
KR20180014655A (en) A method for encoding/decoding a video
KR20170058838A (en) Method and apparatus for encoding/decoding of improved inter prediction
KR20180107762A (en) Method and apparatus for prediction based on block shape
KR20170115969A (en) Method and apparatus for derivation of motion prediction information
KR20190067732A (en) Method and apparatus for encoding and decoding using selective information sharing over channels
KR20190062273A (en) Method and apparatus for image processing using image transform network and inverse transform neaural network
KR20180061041A (en) Method and apparatus for encoding/decoding image and recording medium for storing bitstream
KR20210082421A (en) Method and apparatus for encoding/decoding image and recording medium for storing bitstream
KR20190040476A (en) Method and apparatus for using inter prediction information
KR20190062300A (en) Method and apparatus for bi-directional intra prediction
KR20190107581A (en) Method and apparatus for derivation of intra prediction mode
KR20190054942A (en) Method and apparatus for quantization
KR20190071611A (en) Method and apparatus for encoding and decoding image using prediction network
US11070831B2 (en) Method and device for processing video signal
KR20190091217A (en) Method and apparatus for image encoding and image decoding based on temporal motion information
KR20210063276A (en) Method, apparatus and recoding medium for video processing using motion prediction model
KR20210070941A (en) Method, apparatus and recording medium for encoding/decoding image using palette mode
KR20210067973A (en) Method, apparatus and recording medium for performing processing for image using neural network
KR20210063275A (en) Method, apparatus and recoding medium for video processing using resolution of reference picture
KR20210084288A (en) Method, apparatus and recording medium for encoding/decoding image using reference picture