KR20170046112A - 예측 모드에 기초한 변환 생략 정보의 엔트로피 복호화 방법 및 장치 - Google Patents

Abstract

본 발명에 따른 영상의 복호화 방법은 현재 코딩 유닛의 크기가 변환 생략이 가능한 변환 블록을 포함할 수 있는 경우, 상기 코딩 유닛으로부터 분할되는 변환 블록의 변환 생략 여부를 지시하는 제1 정보를 대표하는 대표 플래그를 상기 코딩 유닛에 대한 정보로 파싱하는 단계와, 상기 대표 플래그에 기초하여 상기 제1 정보의 파싱 여부를 판단하는 단계와, 상기 제1 정보의 파싱이 필요 없는 경우 상기 대표 플래그에 기초하여 상기 제1 정보를 유추하고, 상기 제1 정보의 파싱이 필요한 경우 상기 제1 정보를 파싱하는 단계와, 상기 제1 정보에 따라 상기 변환 블록에 대한 변환을 수행 또는 생략하는 단계를 포함한다.

Description

예측 모드에 기초한 변환 생략 정보의 엔트로피 복호화 방법 및 장치{ENTRPY DECODING METHOD AND APPARATUS FOR TRANSFORM SKIP INFORMATION}

본 발명은 영상의 부호화 및 복호화 처리에 관한 것으로서, 보다 상세하게는 예측 모드에 기초한 변환 생략 정보의 엔트로피 복호화 방법 및 장치에 관한 것이다.

최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.

영상 압축을 위해, 시간적으로 이전 및/또는 이후의 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 인터(inter, 화면 내) 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 인트라(intra, 화면 간) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 사용될 수 있다.

영상의 예측에 사용되는 예측 기술 중 인트라 예측의 경우, 현재 프레임 또는 현재 픽쳐 내에서 공간적 유사성을 제거하여 영상으르 압축하는 기술이다. 이러한 인트라 예측 시, 현재 블록과 인접한 주변의 화소값들을 참조하여 현재 예상 블록에 대한 예측값을 생성하고, 이에 대한 정보를 시그널링한다.

영상의 예측에 사용되는 예측 기술 중 인터 예측의 경우, 서로 다른 프레임간의 시간적 유사성을 제거하여 영상을 압축하는 기술이다. 인터 예측 시, 현재 블록과 유사한 화소값을 가지는 영역을 다른 프레임에서 탐색하여 찾아내고, 이를 현재 예측 블록에 대한 예측값으로 사용한다.

탐색, 즉 움직임 추정을 통해 결정한 예측값은 움직임 벡터 (motion vector, MV)로 표현되고, 이러한 움직임 벡터는 움직임 벡터 예측치 (motion vector predictor, MVp)와 움직임 벡터 차분값 (motion vector difference MVd)으로 표현될 수 있다.

현재 적용되고 있는 인트라 예측의 경우, 현재 블록와 인접한 블록을 이용하여 예측 블록을 생성하기 때문에 현재 블록과 공간적으로 떨어진 영역의 화소는 참조할 수 없는 제약이 존재한다. 또한, 인터 예측의 경우 현재 픽쳐 내의 영역에서 현재 블록과 유사한 화소값을 가지는 영역이 존재하더라도, 이를 예측값으로 사용할 수 없는 한계점을 가지고 있다.

본 발명은 영상 압축 시, 압축 신호들의 변환생략 정보의 엔트로피 부호화/ 복호화 시 코딩 유닛(coding unit, CU)의 예측 모드를 참조하여 카박(CABAC)과 같은 컨텍스트 기반 엔트로피 코딩에서 사용하는 컨텍스트를 결정하며, 이를 통해 부호화 효율을 증대시키는 방법 및 장치를 제공한다.

본 발명은 화면 내에서 반복적으로 유사한 패턴이 발생하며, 고주파를 다량 포함하는 잔차 신호가 빈번히 발생하는 경우, 소정의 단위 내의 변환 블록들은 공통적으로 변환 생략 모드가 적용되거나 적용되지 않을 가능성이 존재하므로, 이 경우 이들의 변환 생략 여부를 대표하는 플래그를 시그널링함으로써 부호화 효율을 증가 시킬 수 있는 영상 부호화/복호화 방법 및 이를 이용하는 장치를 제공한다.

본 발명의 일 실시예에 따른 변환 생략 여부를 나타내는 변환 생략 플래그의 엔트로피 복호화 방법은 상기 변환 생략 플래그의 코드워드를 구성하는 빈에 대한 컨텍스트 정보를 유도하는 단계와; 상기 컨텍스트 정보를 기반으로 상기 빈에 대한 산술 복호화(arithmetic decoding)를 수행하여 상기 변환 생략 플래그의 값을 유도하는 단계를 포함하되, 상기 컨텍스트 정보 유도 단계에서는, 코딩 유닛의 예측 모드에 기초하여 상기 컨텍스트 정보를 유도할 수 있다.

상기 빈에 대한 컨텍스트 정보를 유도하는 단계는, 상기 변환 생략 플래그에 대한 컨텍스트 인덱스를 결정하는 것을 포함하고, 상기 컨텍스트 인덱스는 상기 코딩 유닛의 예측 모드가 인트라 블록 카피 모드인지 여부에 기초하여 결정될 수 있다.

상기 컨텍스트 인덱스는 현재 슬라이스가 I 슬라이스인지, P 슬라이스인지, B 슬라이스인지에 따라서 결정될 수 있다.

상기 컨텍스트 인덱스는 현재 블록이 루마 블록인지 크로마 블록인지에 따라서 결정될 수 있다.

상기 빈에 대한 컨텍스트 정보를 유도하는 단계는, 상기 컨텍스트 인덱스에 대응하는 확률값을 초기값으로 설정하는 초기화를 수행하고, 상기 초기값은 코딩 유닛의 예측 모드에 기초하여 설정될 수 있다.

본 발명의 일 실시예에 따르면, 코딩 유닛의 예측 모드에 따른 변환생략플래그(transform_skip_flag)의 컨텍스트를 정의하고, 엔트로피 코딩 과정에서 코딩 유닛의 예측 모드를 참조할 수 있게 함으로써 변환 생략을 시그널링하기 위한 비트량을 감소시키고, 비디오 부호화 효율이 증가된다.

본 발명의 일 측면에 따르면, 변환 생략의 발생이 빈번한 영상에서 특정 예측 모드가 사용된 경우, 변환 생략의 발생 확률이 높다는 점을 고려하여 컨텍스트 기반의 엔트로피 코딩을 수행하여 영상의 부호화/복호화 효율이 증가될 수 있다.

구체적으로, 이러한 본 발명의 효과는 컴퓨터에 의하여 만들어진 인공 영상의 부호화 및 복호화에서 두드러지게 나타날 수 있다.

도 1은 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 IBC 예측을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 변환 생략 플래그의 엔트로피 복호화 방법을 나타낸 순서도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 본 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

도 1을 참조하면, 상기 영상 부호화 장치(100)는 예측부(110), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조영상 버퍼(190)를 포함한다.

영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림(bit stream)을 출력할 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 인트라 모드인 경우 스위치(미도시)가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환된다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분을 부호화할 수 있다.

예측부는 인트라 예측을 수행하는 인트라 예측부, 인터 예측을 수행하는 움직임 예측부 및 움직임 보상부, 인트라 카피 예측(intra block copy(IBC) prediction)을 수행하는 IBC 예측부를 세부적인 구성 요소로 포함할 수 있다. 또한, 영상 부호화 장치는 도시하지 않은 스위치를 포함할 수 있고, 스위치는 인터 예측부, 인트라 예측부, IBC 예측부 사이에서 전환될 수 있다.

인트라 모드인 경우, 인트라 예측부는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.

인터 모드인 경우, 움직임 예측부는, 움직임 예측 과정에서 참조 영상 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부는 움직임 벡터와 참조 영상 버퍼(190)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

IBC 예측부는 현재 픽쳐 내에서 움직임 예측, 즉 탐색을 수행하여 현재 블록과 유사한 영역을 판별하여, 현재 블록에 대한 예측값, 블록 벡터를 구할 수 있다. IBC 예측부에 의한 예측은 이하에서 상세히 기술된다.

감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔여 블록(residual block)을 생성할 수 있다. 변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 일부 잔여 블록에 대하여 변환부(130)는 변환(transform)을 생략하도록 구성될 수도 있으며, 이 경우에도 변환부(130)의 출력을 편의상 변환 계수(transform coefficient)라고 부른다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로, 심볼(symbol)을 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bit stream)을 출력할 수 있다. 엔트로피 부호화 방법은 다양한 값을 갖는 심볼을 입력 받아, 통계적 중복성을 제거하면서, 복호 가능한 2진수의 열로 표현하는 방법이다.

여기서, 심볼이란 부호화/복호화 대상 구문 요소(syntax element) 및 부호화 파라미터(coding parameter), 잔여 신호(residual signal)의 값 등을 의미한다. 부호화 파라미터는 부호화 및 복호화에 필요한 매개변수로서, 구문 요소와 같이 부호화 장치에서 부호화되어 복호화 장치로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있으며 영상을 부호화하거나 복호화할 때 필요한 정보를 의미한다.

부호화 파라미터는 예를 들어 인트라/인터 예측모드, 이동/움직임 벡터(motion vector), 참조 영상 색인, 부호화 블록 패턴, 잔여 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다. 또한 잔여 신호는 원신호와 예측 신호의 차이를 의미할 수 있고, 또한 원신호와 예측 신호의 차이가 변환(transform)된 형태의 신호 또는 원신호와 예측 신호의 차이가 변환되고 양자화된 형태의 신호, 또는 원신호와 예측 신호의 차이 신호 또는 원신호와 예측 신호의 차이 신호가 양자화된 형태의 신호를 의미할 수도 있다. 잔여 신호는 블록 단위에서는 잔여 블록이라 할 수 있다.

엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.

엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(150)에는 가변 길이 부호화(VLC: Variable Length Coding/Code) 테이블과 같은 엔트로피 부호화를 수행하기 위한 테이블이 저장될 수 있고, 엔트로피 부호화부(150)는 저장된 가변 길이 부호화(VLC) 테이블을 사용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 부호화를 수행할 수도 있다.

양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 일부 블록에 대하여 역변환부(170)는 역변환을 생략하도록 구성될 수도 있으며, 이 경우에도 역변환부(170)의 출력을 편의상 역변환된 계수라고 부른다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 참조 영상 버퍼(190)에 저장될 수 있다.

도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 예측부(240), 필터부(260) 및 참조 영상 버퍼(270)를 포함한다.

영상 복호화 장치(200)는 부호화 장치에서 출력된 비트스트림을 입력 받아 인트라 모드, 인터 모드 또는 IBC 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다.

영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔여 블록(residual block)을 얻고 예측 블록을 생성한 후 복원된 잔여 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.

엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 복호화 방법은 2진수의 열을 입력 받아 각 심볼들을 생성하는 방법이다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.

양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔여 블록(residual block)이 생성될 수 있다. 일부 블록에 대하여 역변환부(230)는 역변환을 생략하도록 구성될 수도 있다. 또한, 역양자화부(220)도 일부 블록에 대하여 생략되도록 구성될 수 도 있다.

예측부(240)는 인트라 예측을 수행하는 인트라 예측부, 인터 예측을 수행하는 움직임 예측부 및 움직임 보상부, 인트라 카피 예측(intra block copy(IBC) prediction)을 수행하는 IBC 예측부를 세부적인 구성 요소로 포함할 수 있다.

인트라 모드인 경우, 인트라 예측부는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부는 움직임 벡터 및 참조 영상 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

IBC 예측의 경우, IBC 예측부는 현재 픽쳐 내에서 움직임 예측, 즉 탐색을 수행하여 현재 블록과 유사한 영역을 판별하여 현재 블록에 대한 예측값, 블록 벡터를 구할 수 있다. IBC 예측부에 의한 예측은 이하에서 상세히 기술된다.

복원된 잔여 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 복원 영상은 참조 영상 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.

상기 영상 복호화 장치(200)에 포함되어 있는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 예측부(240), 필터부(260) 및 참조 영상 버퍼(270) 중 영상의 복호화에 직접적으로 관련된 구성요소들, 예컨대, 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 예측부(240) 필터부(260) 등을 다른 구성요소와 구분하여 복호화부 또는 디코딩부로 표현할 수 있다.

또한, 영상 복호화 장치(200)는 비트스트림에 포함되어 있는 인코딩된 영상에 관련된 정보를 파싱하는 도시하지 않은 파싱부를 더 포함할 수 있다. 파싱부는 엔트로피 복호화부(210)를 포함할 수도 있고, 엔트로피 복호화부(210)에 포함될 수도 있다. 이러한 파싱부는 또한 디코딩부의 하나의 구성요소로 구현될 수도 있다.

도 3은 본 발명의 일 실시예에 따른 IBC 예측을 설명하기 위한 도면이다.

IBC 예측의 경우, 현재 픽쳐에 있는 특정 영역이 현재 블록의 참조 블록으로 사용될 수 있으며, 이 특정 영역의 위치를 표시하기 위하여 인터 예측에 사용된 움직임 벡터와 유사하게 블록 벡터(block vector, 이하, BV)가 사용될 수 있다.

기존의 인터 예측의 경우, 참조 픽쳐는 현재 픽쳐와 다른 이전 픽쳐 또는 이후 픽쳐 이지만, IBC 예측의 경우의 경우 참조 픽쳐는 현재 픽쳐가 되고, 블록 벡터는 현재 픽쳐에서 참조 블록을 지시하는 벡터를 나타낸다.

도시된 바와 같이, 본 발명의 일 예에 따르면 현재 픽쳐 내 현재 예측 블록과 이웃한 좌측의 CTU(coding tree unit)에 존재하는 영역이 현재 예측 블록의 참조 블록으로 선택될 수 있다.

IBC 예측을 수행할 때 참조 블록의 탐색을 위한 영역이 제한되거나 특정 영역으로 설정될 수 있다. 일 예에 따라 참조 블록은 현재 예측 블록이 속하는 현재 CTU 또는 현재 CTU와 인접한 좌측 CTU 내에서 탐색되는 것으로 한정될 수 있다.

반대로, IBC 예측을 수행할 때 참조 블록의 탐색을 위한 영역을 현재 픽쳐 내에서 현재 코딩 유닛 이전에 복호화가 완료된 모든 영역으로 확장하는 것도 가능할 수 있다.

IBC 예측이 수행되는 예측 블록의 타입은 2Nx2N, 2NxN, Nx2N, NxN 일 수 있다.

BV는 움직임 벡터와 유사하게 BV 예측자(BV predictor)와 BV 차이값(BV difference)으로부터 도출될 수 있다.

현재 블록에 대한 BV 예측자는 부호화 장치에서 코딩되어 복호화 장치로 시그널링 될 수 있으며, 특정 영역, 예를 들어 현재 CTU 내에서 이전에 IBC 모드로 예측된 블록의 BV가 예측자로 사용될 수 있으며, 현재 블록과 인접한 블록 중 IBC 모드로 예측된 블록의 BV 또한 예측자로 사용될 수도 있다.

이 때, 영상 처리 중간에 데이트를 리셋하거나 리프레쉬할 필요가 존재하므로 각 CTU 별로 BV 예측자는 (-2*w, 0) 또는 (-w,0)와 같은 초기값으로 초기화될 수 있다. 여기서, w는 현재 코딩 유닛(Coding Unit)의 폭(width)일 수 있다.

BV 차이값은 BV와 BV 예측자의 차이를 나타내며, BVdx, BVdy 값으로 부호화 장치에서 코딩되어 복호화 장치로 시그널링 될 수 있다.

한편, 기존의 영상 코딩 방법 중에는 고주파 성분을 많이 포함하고 있는 블록에 대하여 변환을 생략하는 변환 생략(Transform Skip)을 적용하고 있다.

예를 들어, 픽쳐 파라미터 세트(picture parameter set)와 같은 상위 단에서 시그널링되는 transform_skip_enabled_flag에 대한 값이 1이고, 잔차 신호의 부/복호화시, CBF(coded block flag)가 1인 모든 4x4 크기의 변환 블록(transform block, TB)에 대하여 변환 생략 여부를 지시하는 플래그(transform_skip_flag)를 개별적으로 시그널링 할 수 있다.

또는 transform_skip_enabled_flag에 대한 값이 1이고, 현재 변환 블록의 크기가 픽쳐 파라미터 세트에서 시그널링되는 변환 생략이 적용될 수 있는 변환 블록의 최대 크기를 나타내는 정보(예를 들어, log2_max_transform_skip_block_size_minus2)에 의하여 정의되는 최대 블록 크기보다 작거나 같고, CBF가 1인 모든 변환 블록에 대하여 변환 생략 여부를 지시하는 플래그(transform_skip_flag)를 개별적으로 시그널링 할 수 있다.

한편, 종래의 영상의 부호화 및 복호화에서 변환 생략 여부는 변환 블록 (TB, transform block) 단위로 transform_skip_flag[ x0 ][ y0 ][ cIdx ] 이라는 신택스 요소 정보로 시그널링되며, 이 신호는 엔트로피 부호화 되어 비트스트림으로 전송된다. 여기서, x0, y0은 변환 블록의 좌측 최상단 위치를 나타내고, ‘cIdx’는 현재 변환 블록의 색상 정보를 나타낸다. 루마 신호의 경우 cIdx는 0으로 설정되고 크로마 신호의 경우 cIdx는 각각 1과 2의 값을 가질 수 있다.

영상의 복호화 시, 엔트로피 복호화부는 각 신택스 요소 별로 컨텍스트에 따라 정의된 컨텍스트 인덱스(context index, ctxIdx)에 기초하여 엔트로피 디코딩을 수행할 수 있다. 변환 생략 플래그(transform_skip_flag)를 예를 들면, 표 1과 같이 6개의 컨텍스트 인덱스가 정의될 수 있다.

표 1을 참조하면, 신택스 요소인 transform_skip_flag는 initType과 현재 블록의 현재 블록의 색상 성분에 따라 컨텍스트 인덱스가 결정된다.

initType이란 현재 부/복호화가 수행되는 슬라이스의 타입에 따라 결정되는 값으로, I 슬라이스의 경우 initType은 0으로 설정되고, P 슬라이스와 B 슬라이스의 경우 cabac_init_flag 값에 따라 다르게 설정될 수 있다. 예를 들어, cabac_init_flag =0의 경우 P 슬라이스에 대하여 initType이 1로 설정될 수 있고, B 슬라이스의 경우 initType는 0으로 설정될 수 있다.

ctxTable이란, 일 예로 표 1에서 정의된 신택스 요소인 transform_skip_flag와 initType에 따라 초기 값(initValue)을 정의한 table로서, 표 1의 transform_skip_flag가 가지는 확률 값은 표 3을 참조하여 초기화를 수행할 수 있다.

표 1에서 cabac_init_flag를 0으로 가정한 경우, 컨텍스트 인덱스는 표 2와 같다.

CABAC에서 컨텍스트의 업데이트(context update) 과정은 컨텍스트 인덱스 별로 독립적으로 수행된다. 예를 들면, 현재 부호화 하고자 하는 transform_skip_flag의 컨텍스트 인덱스가 0인 경우, ctxIdx = 0의 확률 인덱스(pState index)를 기반으로 CABAC 부호화가 수행되며, 또한 오직 ctxIdx = 0의 확률 인덱스만 업데이트 된다.

엔트로피 복호화부는 독립적인 슬라이스 세그먼트(Independent slice segment)의 첫 번째 신택스 요소이거나 행의 첫 번째 CTU 중 상위 우측 CTU에 저장된 확률 정보를 참조할 수 없는 CTU의 신택스 요소에 대하여 컨텍스트 인덱스 별로 확률 값(pState index)의 초기화를 수행한다.

이 때, 확률 값의 초기화는 신텍스 요소의 각 컨텍스트 인덱스 별 초기 값(initValue)을 기반으로 수행될 수 있다.

표 3은 변환 생략 플래그(transform_skip_flag)의 컨텍스트 인덱스에 따른 초기값의 일 예를 나타낸다.

정리하면, 변환 생략 플래그의 엔트로피 코딩을 위하여 CABAC에 사용되는 6개의 컨텍스트 인덱스는 표 2와 같이 설정될 수 있고, 컨텍스트 인덱스는 1) 현재 슬라이스 타입과 2)현재 변환 블록이 루마 성분을 나타내는지 또는 크로마 성분을 나타내는지에 따라 정해질 수 있다.

한편, 도 3을 참조하여 설명된 IBC로 예측된 코딩 유닛에서는 변환 생략의 발생이 빈번하다는 특징이 존재한다. 하지만, 기존의 변환 생략 플래그의 엔트로피 코딩을 위한 컨텍스트 설계 과정에서는 IBC와 변환 생략 모드의 연관성이 고려되지 않았다.

즉, 종래의 경우, 변환 생략 플래그(transform_skip_flag)의 엔트로피 부호화/ 복호화 시, 슬라이스 타입과 색상 성분만을 참조하여 컨텍스트가 결정되었지만, 변환 생략의 발생 분포는 코딩 유닛의 예측 모드에 따라 상이한 특징을 지닐 수 있다. 이러한 특징을 고려하여 컨텍스트를 결정한 후, 결정된 컨텍스트를 사용하여 변환 생략 플래그를 엔트로피 부호화/복호화하여 압축률을 증가시킬 수 있다.

본 발명은 코딩 유닛의 예측 모드에 따른 변환 생략 플래그의 컨텍스트를 정의하고, 엔트로피 코딩 과정에서 코딩 유닛의 예측 모드를 참조함으로써 변환 생략을 시그널링하기 위한 비트량을 감소시키고, 결과적으로 비디오 부호화 효율을 증대시키는 방법 및 장치를 제공한다.

*이하에서는 본 발명의 실시예를 기술함에 있어, cabac_init_flag 값은 0인 것으로, 즉, I 슬라이스의 initType은 0, P 슬라이스와 B 슬라이스의 initType은 각각 1과 2인 것을 가정한다.

또한, 본 발명의 일 측면에 따라 코딩 유닛의 예측 모드가 IBC 인지 여부를 참조하여 컨텍스트 인덱스를 결정하는 것을 하나의 바람직한 예로 제시하지만, 본 발명의 권리 범위는 이에 한정되지 않으며 IBC가 아닌 다른 모드 경우로도 확대될 수 있다.

기존의 엔트로피 코딩과 비교하여 본 발명은 코딩 유닛의 예측 모드를 참조하여 결정되는 컨텍스트 인덱스를 추가로 정의하고, 컨텍스트 인덱스가 추가로 정의되었을 때 개별적인 컨텍스트 인덱스의 initValue를 새롭게 정의한다.

본 발명의 일 실시예에 따르면, 코딩 유닛의 예측 모드를 참조하여 컨텍스트 인덱스를 결정할 때 루마 성분과 크로마 성분 모두에 이를 적용할 수 있다. 이를 표로 나타내면 표 4로 나타낼 수 있다.

표 4를 참조하면, 표 2와 비교하였을 때 추가로 6개의 컨텍스트 인덱스가 더 정의되며, 결과적으로 변환 생략 플래그를 위한 컨텍스트 인덱스는 12개가 될 수 있다.

본 발명의 다른 실시예에 따르면, 코딩 유닛의 예측 모드를 참조하여 컨텍스트 인덱스를 결정할 때 루마 성분에만 이를 적용할 수 있다. 이를 표로 나타내면 표 5로 나타낼 수 있다.

표 5를 참조하면, 표 2와 비교하였을 때 추가로 3개의 컨텍스트 인덱스가 더 정의되며, 결과적으로 변환 생략 플래그를 위한 컨텍스트 인덱스는 9개가 될 수 있다

본 발명의 또 다른 실시예에 따르면, 코딩 유닛의 예측 모드를 참조하여 컨텍스트 인덱스를 결정할 때 크로마 성분에만 이를 적용할 수 있다. 이를 표로 나타내면 표 6으로 나타낼 수 있다.

표 6을 참조하면, 표 2와 비교하였을 때 추가로 3개의 컨텍스트 인덱스가 더 정의되며, 결과적으로 표 5와 같이 변환 생략 플래그를 위한 컨텍스트 인덱스는 9개가 될 수 있다.

본 발명의 또 다른 실시예에 따르면, 표 4 내지 6에 추가된 새로운 컨텍스트 인덱스는 모두 서로 다를 필요는 없다. 일부 컨텍스트 인덱스는 기존의 것으로 설정되고, 일부 컨텍스트 인덱스는 새로운 것으로 설정될 수 있다. 컨텍스트 인덱스의 수가 많아져 엔트로피 부/복호화가 복잡하게 되는 경우, 복잡도를 줄일 수 있다.

아래 표 7에 따르면, 코딩 유닛의 예측 모드가 IBC인 경우, 슬라이스 타입과 관계없이 하나의 컨텍스트 인덱스가 결정될 수 있다.

또 다른 실시예에 따르면, 표 8와 같이 컨텍스트 인덱스가 결정될 수 있고, 표 8에 따를 경우 슬라이스 타입에 따라 코딩 유닛의 예측 모드가 IBC인지 여부에 따라 컨텍스트 인덱스 가 결정될 수 있다.

표 8를 참조하면, 슬라이스 타입이 I 슬라이스인 경우에만 코딩 유닛의 예측 모드가 IBC인지 여부에 따라 컨텍스트 인덱스가 결정된다. 즉, 코딩 유닛의 예측 모드가 IBC가 아닌 경우(CU mode != IBC) I 슬라이스의 컨텍스트 인덱스는 0으로 설정되고, 코딩 유닛의 예측 모드가 IBC이면(CU mode = IBC) I 슬라이스의 컨텍스트 인덱스는 새로운 6으로 설정될 수 있다.

상기 표 4 내지 표 8과 같이 새롭게 정의된 컨텍스트 인덱스(6~11 또는 6~8)에 대응하는 초기값(initValue)은 기존의 컨텍스트 인덱스(0~5)의 초기값과 다르게 정의될 수 있다. 표 4를 기반으로 새로운 컨텍스트 인덱스에 대응하는 초기값을 표로 나타내면 표 9 내지 표 11과 같다.

표 9는 루마 변환 블록에 적용되는 컨텍스트 인덱스의 초기값을 새롭게 정의하고 있고, 표 10은 크로마 변환 블록에 적용되는 컨텍스트 인덱스의 초기값을 새롭게 정의하고 있으며, 표 11은 루마 변환 블록 및 크로마 변환 블록에 적용되는 컨텍스트 인덱스의 초기값을 새롭게 정의하고 있다.

표 9 내지 11의 a 내지 g는 부호화 장치 및 복호화 장치에서 약속된 최적의 값으로 설정될 수 있으며, 이는 율-왜곡비율을 최소로 하는 값으로 설정될 수 있다. a 내지 g는 기존의 초기값 139과 동일할 수도 있고, 동일하지 않을 수도 있다.

상기 기술의 수행 여부, 즉, 코딩 유닛의 예측 모드를 참조하여 변환 생략 플래그를 엔트로피 코딩하는지 여부는 상위 레이어에서 전달되는 파라미터 세트, 예를 들어 시퀀스 파라미터 세트(Sequence parameter set, SPS), SPS_extension, 픽처 파라미터 세트(Picture parameter set 등)에서 시그널링 될 수 있다. 또는 다른 상위 레벨에서 시그널링 될 수도 있다.

본 발명의 일 예에 따라 제안된 기술 자체를 사용할 지 여부를 지시하는 정보를 시그널링하는 SPS 는 표 12와 같다.

표 12에서, transform_skip_context_modification_enabled_flag가 0인 경우, transform_skip_flag의 컨텍스트 인덱스는 기존의 0~5로 정의되는 것을 나타내고, transform_skip_context_modification_enabled_flag가 1인 경우 transform_skip_flag의 컨텍스트 인덱스는 본 발명에 따른 실시예인 표 4 내지 표 8에 따라 설정되는 것을 나타낼 수 있다.

또는, transform_skip_context_modification_enabled_flag가 0인 경우, transform_skip_flag의 컨텍스트 인덱스는 기존의 0~5로 정의되는 것을 나타내고, transform_skip_context_modification_enabled_flag가 1인 경우, transform_skip_flag 의 컨텍스트 인덱스는 기존의 0 내지 5가 아닌 새롭게 정의되는 것을 나타낼 수 있다.

도 4는 본 발명의 일 실시예에 따른 변환 생략 플래그의 엔트로피 복호화 방법을 나타낸 순서도이다. 도 4를 참조하여 본 발명에 따른 엔트로피 복호화 방법을 설명하면 다음과 같다.

우선, 엔트로피 복호화부는 코딩 유닛의 예측 모드에 기초하여 변환 생략 플래그에 대한 컨텍스트 인덱스를 결정할 수 있다(S410).

컨텍스트 인덱스는 코딩 유닛의 예측 모드, 예를 들어 코딩 유닛의 예측 모드가 인트라 블록 카피 모드인지 여부에 기초하여 결정될 수 있다.

또한, 컨텍스트 인덱스는 현재 슬라이스가 I 슬라이스인지, P 슬라이스인지, B 슬라이스인지에 따라서 결정될 수도 있다.

또한, 컨텍스트 인덱스는 현재 블록이 루마 블록인지 크로마 블록인지에 따라서 결정될 수도 있다.

컨텍스트 인덱스가 결정되면, 엔트로피 복호화부는 결정된 컨텍스트 인덱스에 대응하는 확률값을 초기값으로 설정하는 초기화 과정을 수행할 수 있다(S420).

초기값 역시 코딩 유닛의 예측 모드에 기초하여 설정될 수 있다.

컨텍스트 인덱스가 기존이 아닌 새로운 값으로 설정되었다면, 초기값은 기존과 동일한 값으로 설정될 수도 있고, 새로운 값으로 설정될 수도 있다.

엔트로피 복호화부는 설정된 컨텍스트 인덱스와 초기값에 기초하여 확률을 업데이트 할 수 있고, 이러한 과정을 통하여 변환 생략 플래그의 코드워드를 구성하는 빈에 대한 컨텍스트 정보를 유도할 수 있다(S430).

단계 S430은 단계 S410와 단계 S420을 포함하는 단계일 수 있다. 다시 말하면 엔트로피 복호화부는 컨텍스트 정보를 유도하기 위하여 컨텍스트 인덱스를 결정하고, 컨텍스트 인덱스에 대응하는 확률값을 초기값으로 설정하는 초기화 설정하는 과정을 수행할 수 있다.

그 후, 엔트로피 복호화부는 컨텍스트 정보를 기반으로 상기 빈에 대한 산술 복호화(arithmetic decoding)를 수행하여 상기 변환 생략 플래그의 값 유도할 수 있다(S440).

상술한 바와 같이, 본 발명의 일 측면은 기존의 엔트로피 코딩과 비교하여 코딩 유닛의 예측 모드를 참조하여 결정되는 컨텍스트 인덱스를 추가로 정의하고, 컨텍스트 인덱스가 추가로 정의되었을 때 개별적인 컨텍스트 인덱스의 initValue를 새롭게 정의하는 것을 제공한다.

상기에서 복호화 과정에서 수행되는 변환은 실질적으로 부호화 장치에서 실행한 변환의 역과정인 역변환 (inverse transform)을 의미하지만, 역변환 역시 변환의 일종이므로 그 실질적인 의미하는 바에 있어 혼동의 소지가 없을 것이다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

111 : 움직임 예측부 112 : 움직임 보상부
120 : 인트라 예측부 130 : 변환부

Claims (5)

1. 변환 생략 여부를 나타내는 변환 생략 플래그의 엔트로피 복호화 방법에 있어서,
   상기 변환 생략 플래그의 코드워드를 구성하는 빈에 대한 컨텍스트 정보를 유도하는 단계와;
   상기 컨텍스트 정보를 기반으로 상기 빈에 대한 산술 복호화(arithmetic decoding)를 수행하여 상기 변환 생략 플래그의 값을 유도하는 단계를 포함하되,
   상기 빈에 대한 컨텍스트 정보를 유도하는 단계는,
   코딩 유닛의 예측 모드에 기초하여 상기 컨텍스트 정보를 유도하는 것을 특징으로 하는 엔트로피 복호화 방법.
2. 제1항에 있어서,
   상기 빈에 대한 컨텍스트 정보를 유도하는 단계는,
   상기 변환 생략 플래그에 대한 컨텍스트 인덱스를 결정하는 것을 포함하고,
   상기 컨텍스트 인덱스는 상기 코딩 유닛의 예측 모드가 현재 픽쳐 내에서 벡터로 지시되는 블록 - 상기 블록은 현재 픽쳐 내의 블록임 - 을 현재 블록에 대한 예측 블록으로 사용하는 모드인지 여부에 기초하여 결정되는 것을 특징으로 하는 엔트로피 복호화 방법.
3. 제1항에 있어서,
   상기 빈에 대한 컨텍스트 정보를 유도하는 단계는,
   상기 변환 생략 플래그에 대한 컨텍스트 인덱스를 결정하는 것을 포함하고,
   상기 컨텍스트 인덱스는 상기 코딩 유닛의 예측 모드 및 현재 슬라이스가 I 슬라이스인지, P 슬라이스인지, B 슬라이스인지에 따라서 결정되는 것을 특징으로 하는 엔트로피 복호화 방법.
4. 제1항에 있어서,
   상기 빈에 대한 컨텍스트 정보를 유도하는 단계는,
   상기 변환 생략 플래그에 대한 컨텍스트 인덱스를 결정하는 것을 포함하고,
   상기 컨텍스트 인덱스는 상기 코딩 유닛의 예측 모드 및 현재 블록이 루마 블록인지 크로마 블록인지에 따라서 결정되는 것을 특징으로 하는 엔트로피 복호화 방법.
5. 제2항에 있어서,
   상기 빈에 대한 컨텍스트 정보를 유도하는 단계는,
   상기 컨텍스트 인덱스에 대응하는 확률값을 초기값으로 설정하는 초기화를 수행하고,
   상기 초기값은 코딩 유닛의 예측 모드에 기초하여 설정되는 것을 특징으로 하는 엔트로피 복호화 방법.

Images