KR20120028262A - 엔트로피 부호화/복호화 방법 및 장치 - Google Patents

Abstract

엔트로피 복호화 방법이 제공된다. 본 발명에 따른 엔트로피 복호화 방법은 대상 계층의 문맥 정보 및 다른 계층의 문맥 정보 중 적어도 하나를 이용하여 복호화 대상 심볼의 문맥 정보를 도출하는 단계 및 상기 도출된 문맥 정보를 이용하여 상기 복호화 대상 심볼에 대한 엔트로피 복호화를 수행하는 단계를 포함한다. 본 발명에 따르면, 영상 압축 효율이 향상될 수 있다.

Description

엔트로피 부호화/복호화 방법 및 장치 {METHOD AND APPARATUS FOR ENTROPY ENCODING/DECODING}

본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 엔트로피 부호화/복호화 방법 및 장치에 관한 것이다.

최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.

영상 압축을 위해, 시간적으로 이전 및/또는 이후의 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 사용될 수 있다.

영상 압축 기술에는 유동적인 네트워크 환경을 고려하지 않고 하드웨어의 제한적인 동작 환경하에서 일정한 네트워크 대역폭을 제공하는 기술이 있다. 그러나 수시로 대역폭이 변화하는 네트워크 환경에 적용되는 영상 데이터를 압축하기 위해서는 새로운 압축 기술이 요구되고, 이를 위해 스케일러블(scalable) 비디오 부호화/복호화 방법이 사용될 수 있다.

본 발명의 기술적 과제는 영상 압축 효율을 향상시킬 수 있는 엔트로피 부호화 방법 및 장치를 제공함에 있다.

본 발명의 다른 기술적 과제는 영상 압축 효율을 향상시킬 수 있는 스케일러블 비디오 부호화 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 기술적 과제는 영상 압축 효율을 향상시킬 수 있는 엔트로피 복호화 방법 및 장치를 제공함에 있다.

본 발명의 또 다른 기술적 과제는 영상 압축 효율을 향상시킬 수 있는 스케일러블 비디오 복호화 방법 및 장치를 제공함에 있다.

본 발명의 일 실시 형태는 복수 계층(layer) 기반의 스케일러블(scalable) 비디오 복호화를 위한 엔트로피(entropy) 복호화 방법이다. 상기 방법은 대상 계층의 문맥(context) 정보 및 다른 계층의 문맥 정보 중 적어도 하나를 이용하여 복호화 대상 심볼(symbol)의 문맥 정보를 도출하는 단계 및 상기 도출된 문맥 정보를 이용하여 상기 복호화 대상 심볼에 대한 엔트로피 복호화를 수행하는 단계를 포함하고, 상기 대상 계층은 상기 복호화 대상 심볼이 포함된 계층이고, 상기 다른 계층은 상기 대상 계층을 제외한 계층으로서 상기 대상 계층에서의 복호화 수행에 이용될 수 있는 계층이다.

본 발명에 따르면, 엔트로피 부호화/복호화 성능 및 영상 압축 효율이 향상될 수 있다.

도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용될 수 있는, 복수 계층을 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다.
도 4는 본 발명에 따른 엔트로피 부호화 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 5는 문맥 정보 도출 과정을 포함한 엔트로피 부호화 방법의 실시예를 개략적으로 나타내는 흐름도이다.
도 6은 본 발명에 따른 엔트로피 부호화 방법의 다른 실시예를 개략적으로 나타내는 흐름도이다.
도 7은 본 발명에 따른 엔트로피 부호화 방법의 또 다른 실시예를 개략적으로 나타내는 흐름도이다.
도 8은 본 발명에 따른 엔트로피 부호화 방법의 또 다른 실시예를 개략적으로 나타내는 흐름도이다.
도 9는 본 발명에 따른 엔트로피 복호화 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.
도 10은 문맥 정보 도출 과정을 포함한 엔트로피 복호화 방법의 실시예를 개략적으로 나타내는 흐름도이다.
도 11은 본 발명에 따른 엔트로피 복호화 방법의 다른 실시예를 개략적으로 나타내는 흐름도이다.
도 12는 본 발명에 따른 엔트로피 복호화 방법의 또 다른 실시예를 개략적으로 나타내는 흐름도이다.
도 13은 본 발명에 따른 엔트로피 복호화 방법의 또 다른 실시예를 개략적으로 나타내는 흐름도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 스케일러블(scalable) 비디오 부호화/복호화 방법 또는 장치는 스케일러빌리티(scalability)를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장(extension)에 의해 구현될 수 있으며, 도 1의 블록도는 스케일러블 비디오 부호화 장치의 기초가 될 수 있는 영상 부호화 장치의 일 실시예를 나타낸다.

도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조영상 버퍼(190)를 포함한다.

영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림(bit stream)을 출력할 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환된다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분을 부호화할 수 있다.

인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.

인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 영상 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터와 참조 영상 버퍼(190)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔여 블록(residual block)을 생성할 수 있다. 변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로, 심볼(symbol)을 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bit stream)을 출력할 수 있다. 엔트로피 부호화 방법은 다양한 값을 갖는 심볼을 입력 받아, 통계적 중복성을 제거하면서, 복호 가능한 2진수의 열로 표현하는 방법이다.

여기서, 심볼이란 부호화/복호화 대상 구문 요소(syntax element) 및 부호화 파라미터(coding parameter), 잔여 신호(residual signal)의 값 등을 의미한다. 부호화 파라미터는 부호화 및 복호화에 필요한 매개변수로서, 구문 요소와 같이 부호화기에서 부호화되어 복호화기로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있으며 영상을 부호화하거나 복호화할 때 필요한 정보를 의미한다. 부호화 파라미터는 예를 들어 인트라/인터 예측모드, 이동/움직임 벡터, 참조 영상 색인, 부호화 블록 패턴, 잔여 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다. 또한 잔여 신호는 원신호와 예측 신호의 차이를 의미할 수 있고, 또한 원신호와 예측 신호의 차이가 변환(transform)된 형태의 신호 또는 원신호와 예측 신호의 차이가 변환되고 양자화된 형태의 신호를 의미할 수도 있다. 잔여 신호는 블록 단위에서는 잔여 블록이라 할 수 있다.

엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.

엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(150)에는 가변 길이 부호화(VLC: Variable Lenghth Coding/Code) 테이블과 같은 엔트로피 부호화를 수행하기 위한 테이블이 저장될 수 있고, 엔트로피 부호화부(150)는 저장된 가변 길이 부호화(VLC) 테이블을 사용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 부호화를 수행할 수도 있다.

여기서, 이진화(binarization)란 심볼의 값을 2진수의 열(bin sequence/string)로 표현하는 것을 의미한다. 빈(bin)은 심볼이 이진화를 통해 2진수의 열로 표현될 때, 각각의 2진수의 값(0 또는 1)을 의미한다.

확률 모델이란, 문맥 정보(context information)/문맥 모델(context model)을 통해서 도출될 수 있는 부호화/복호화 대상 심볼/빈의 예측된 확률을 의미한다. 문맥 정보/문맥 모델은 부호화/복호화 대상 심볼/빈의 확률을 결정하기 위한 정보를 말한다.

보다 상세하게, CABAC 엔트로피 부호화 방법은, 이진화되지 않은 심볼을 이진화(binarization)하여 빈으로 변환하고, 주변 및 부호화 대상 블록의 부호화 정보 혹은 이전 단계에서 부호화된 심볼/빈의 정보를 이용하여 문맥 모델을 결정하고, 결정된 문맥 모델에 따라 빈(bin)의 발생 확률을 예측하여 빈의 산술 부호화(arithmetic encoding)를 수행하여 비트스트림을 생성할 수 있다. 이때, CABAC 엔트로피 부호화 방법은 문맥 모델 결정 후 다음 심볼/빈의 문맥 모델을 위해 부호화된 심볼/빈의 정보를 이용하여 문맥 모델을 업데이트할 수 있다.

양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 참조 영상 버퍼(190)에 저장될 수 있다.

도 2는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 도 1에서 상술한 바와 같이 스케일러블 비디오 부호화/복호화 방법 또는 장치는 스케일러빌리티를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장에 의해 구현될 수 있으며, 도 2의 블록도는 스케일러블 비디오 복호화 장치의 기초가 될 수 있는 영상 복호화 장치의 일 실시예를 나타낸다.

도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 및 참조 영상 버퍼(270)를 포함한다.

영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔여 블록(residual block)을 얻고 예측 블록을 생성한 후 복원된 잔여 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.

엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 복호화 방법은 2진수의 열을 입력 받아 각 심볼들을 생성하는 방법이다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.

보다 상세하게, CABAC 엔트로피 복호화 방법은, 비트스트림에서 각 구문 요소에 해당하는 빈을 수신하고, 복호화 대상 구문 요소 정보와 주변 및 복호화 대상 블록의 복호화 정보 혹은 이전 단계에서 복호화된 심볼/빈의 정보를 이용하여 문맥 모델을 결정하고, 결정된 문맥 모델에 따라 빈(bin)의 발생 확률을 예측하여 빈의 산술 복호화(arithmetic decoding)를 수행하여 각 구문 요소의 값에 해당하는 심볼을 생성할 수 있다. 이때, CABAC 엔트로피 복호화 방법은 문맥 모델 결정 후 다음 심볼/빈의 문맥 모델을 위해 복호화된 심볼/빈의 정보를 이용하여 문맥 모델을 업데이트할 수 있다.

엔트로피 복호화 방법이 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 각 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 복호화 방법을 통해서 영상 복호화의 압축 성능이 높아질 수 있다.

양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔여 블록(residual block)이 생성될 수 있다.

인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 영상 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

복원된 잔여 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 복원 영상은 참조 영상 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.

도 3은 본 발명이 적용될 수 있는, 복수 계층을 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽쳐군 즉, 픽쳐의 그룹을 나타낸다.

영상 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 다양한 네트워크 환경에 따라 전송 매체별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.

스케일러블 비디오 코딩 방법은 계층(layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층 간 중복성을 제거하여 부호화/복호화 성능을 높이는 코딩 방법이다. 스케일러블 비디오 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적, 시간적, 화질적 관점에서 다양한 스케일러빌리티를 제공할 수 있다.

스케일러블 비디오 코딩은, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용하여 수행될 수 있다. 예를 들어 스케일러블 비디오 코딩 구조는, 일반적인 영상 부호화 방법을 이용하여 영상 데이터를 압축하여 처리하는 기초 계층을 포함할 수 있고, 기초 계층의 부호화 정보 및 일반적인 영상 부호화 방법을 함께 사용하여 영상 데이터를 압축 처리하는 향상 계층을 포함할 수 있다.

여기서, 계층(layer)은 공간(예를 들어, 영상 크기), 시간(예를 들어, 부호화 순서, 영상 출력 순서), 화질, 복잡도 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합을 의미한다. 또한 복수의 계층들은 서로 간에 종속성을 가질 수도 있다.

도 3을 참조하면, 예를 들어 기초 계층은 QCIF(Quarter Common Intermediate Format), 15Hz의 프레임율, 3Mbps 비트율로 정의될 수 있고, 제1 향상 계층은 CIF(Common Intermediate Format), 30Hz의 프레임율, 0.7Mbps 비트율로 정의될 수 있으며, 제2 향상 계층은 SD(Standard Definition), 60Hz의 프레임율, 0.19Mbps 비트율로 정의될 수 있다. 상기 포맷(format), 프레임율, 비트율 등은 하나의 실시예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 계층의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다.

이 때, 만일 CIF 0.5Mbps 비트스트림(bit stream)이 필요하다면, 제1 향상 계층에서 비트율이 0.5Mbp가 되도록 비트스트림이 잘려서 전송될 수 있다. 스케일러블 비디오 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적 스케일러빌리티를 제공할 수 있다.

이하, 대상 계층, 대상 영상, 대상 슬라이스, 대상 유닛, 대상 블록, 대상 심볼, 대상 빈은 각각 현재 부호화 또는 복호화되는 계층, 영상, 슬라이스, 유닛, 블록, 심볼 및 빈을 의미한다. 따라서 예를 들어, 대상 계층은 대상 심볼이 속한 계층일 수 있다. 또한 다른 계층은 대상 계층을 제외한 계층으로서, 대상 계층에서 이용 가능한 계층을 의미한다. 즉, 다른 계층은 대상 계층에서의 복호화 수행에 이용될 수 있다. 대상 계층에서 이용 가능한 계층에는 예를 들어, 시간적, 공간적, 화질적 하위 계층이 있을 수 있다.

또한 이하, 대응 계층, 대응 영상, 대응 슬라이스, 대응 유닛, 대응 블록, 대응 심볼, 대응 빈은 각각 대상 계층, 대상 영상, 대상 슬라이스, 대상 유닛, 대상 블록, 대상 심볼, 대상 빈에 대응되는 계층, 영상, 슬라이스, 유닛, 블록, 심볼 및 빈을 의미한다. 대응 영상이란, 대상 영상과 동일한 시간축에 존재하는 다른 계층의 영상을 의미한다. 대상 계층 내의 영상과 다른 계층 내의 영상의 디스플레이 순서(display order)가 동일하면, 대상 계층 내의 영상과 다른 계층 내의 영상은 동일한 시간축에 존재한다고 할 수 있다. 영상들이 동일한 시간축에 존재하는 지 여부는 POC (picture order count)와 같은 부호화 파라미터를 이용해서 식별될 수 있다. 대응 슬라이스는 상기 대응 영상 내에서, 대상 영상의 대상 슬라이스와 공간적으로 동일하거나 유사하게 대응되는 위치에 존재하는 슬라이스를 의미한다. 대응 유닛은 상기 대응 영상 내에서, 대상 영상의 대상 유닛과 공간적으로 동일하거나 유사하게 대응되는 위치에 존재하는 유닛을 의미한다. 대응 블록은 상기 대응 영상 내에서, 대상 영상의 대상 블록과 공간적으로 동일하거나 유사하게 대응되는 위치에 존재하는 블록을 의미한다.

또한 이하, 영상이 분할되는 단위를 나타내는 슬라이스는 타일(tile), 엔트로피 슬라이스(entropy slice) 등의 분할 단위를 통칭하는 의미로 사용된다. 각 분할된 단위 간에는 독립적인 영상 부호화 및 복호화가 가능하다.

또한 이하, 블록은 영상 부호화 및 복호화의 단위를 의미한다. 영상 부호화 및 복호화 시 부호화 혹은 복호화 단위는, 하나의 영상을 세분화된 유닛으로 분할하여 부호화 혹은 복호화 할 때 그 분할된 단위를 말하므로, 매크로 블록, 부호화 유닛 (CU: Coding Unit), 예측 유닛 (PU: Prediction Unit), 변환 유닛(TU: Transform Unit), 변환 블록(transform block) 등으로 불릴 수 있다. 하나의 블록은 크기가 더 작은 하위 블록으로 더 분할될 수 있다.

또한, 스케일러블 비디오 코딩은 이하 부호화 관점에서는 스케일러블 비디오 부호화, 복호화 관점에서는 스케일러블 비디오 복호화와 동일한 의미를 가진다.

스케일러빌리티를 제공하지 않는 일반적인 영상 압축 기술에서 사용되는 엔트로피 부호화/복호화 방법에서는, 대상 계층의 문맥 정보가 사용되고 스케일러블 비디오 코딩 방법 등에서 사용 가능한 다른 계층의 문맥 정보가 활용되지 않는다.

스케일러블 비디오 코딩 방법에서는, 계층 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 정보 등을 활용하여 계층 간 중복성이 제거될 수 있다. 그러나, 부호화 파라미터 및 최종 잔여 신호 등이 얻어진 후, 각각의 계층에서 독립적으로 엔트로피 부호화/복호화가 수행될 수 있다. 이 때 스케일러블 비디오 코딩 방법은 부호화 성능 향상에 한계를 가질 수 있다.

따라서 스케일러블 비디오 코딩 방법에 있어, 대상 계층의 부호화/복호화 대상 정보(부호화 파라미터, 잔여 신호 등의 심볼)에 대한 엔트로피 부호화/복호화가 수행될 때, 대상 계층의 문맥 정보뿐만 아니라 다른 계층의 문맥 정보도 함께 사용하는 방법이 제공될 수 있다. 이 때, 스케일러블 비디오 부호화/복호화 방법을 수행함에 있어 계층 간의 정보를 이용하여 엔트로피 부호화/복호화가 수행되므로, 영상 부호화/복호화의 압축 성능이 향상될 수 있다.

도 4는 본 발명에 따른 엔트로피 부호화 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.

도 4의 실시예를 참조하면, 부호화기의 엔트로피 부호화부는 부호화 대상 심볼의 문맥 정보를 도출한다(S410). 상술한 바와 같이, 부호화 대상 심볼의 문맥 정보는 대상 계층 내의 문맥 정보를 이용하여 도출될 수도 있고, 다른 계층 내의 문맥 정보를 이용하여 도출될 수도 있다.

대상 계층 또는 다른 계층 내의 문맥 정보는 대상 계층 또는 다른 계층 내에 존재하는 심볼 및/또는 빈의 값 및 값들의 조합과 빈도수 및 빈도수의 조합을 포함할 수 있다. 이하, 심볼/빈의 값 및 값들의 조합을 통칭하여 심볼/빈의 값 정보라 하고, 심볼/빈의 빈도수 및 빈도수의 조합을 통칭하여 심볼/빈의 빈도수 정보라 한다. 또한 이하 빈의 값 및 값들의 조합을 통칭하여 빈의 값 정보라 하고, 빈의 빈도수 및 빈도수의 조합을 통칭하여 빈의 빈도수 정보라 한다.

부호화 대상 심볼의 문맥 정보 도출을 위해 사용되는, 대상 계층 또는 다른 계층 내의 문맥 정보에는 다양한 유형이 있을 수 있다.

상술한 바와 같이, 부호화 대상 심볼의 문맥 정보는 대상 계층 내의 문맥 정보를 이용하여 도출될 수 있다. 부호화 대상 심볼의 문맥 정보를 도출하기 위해 사용되는 대상 계층 내의 문맥 정보의 실시예로서, 다음과 같은 문맥 정보 유형들이 있을 수 있다.

1. 대상 계층 내의 문맥 정보는, 부호화 대상 심볼/빈과 동일하고 대상 계층에서 부호화 순서에 따라 이미 부호화된 심볼/빈의 값, 빈도수 정보일 수 있다.

2. 대상 계층 내의 문맥 정보는, 부호화 대상 심볼/빈과 관련되거나 종속되고 대상 계층에서 부호화 순서에 따라 이미 부호화된 심볼/빈의 값, 빈도수 정보일 수 있다.

3. 대상 계층 내의 문맥 정보는, 부호화 대상 심볼/빈과 동일한 심볼/빈으로서, 대상 계층의 영상, 슬라이스, 유닛 또는 블록 내에 존재하는 전체 심볼/빈의 값, 빈도수 정보일 수 있다.

4. 대상 계층 내의 문맥 정보는, 대상 계층 내의 부호화 대상 슬라이스, 유닛 또는 블록에 존재하는 심볼/빈으로서, 부호화 대상 심볼/빈과 동일하고 이미 부호화된 심볼/빈의 값, 빈도수 정보일 수 있다. 이 때, 상기 슬라이스, 유닛 또는 블록은 특정 부호화 대상 심볼/빈이 존재하는 슬라이스, 유닛 또는 블록일 수 있다.

5. 대상 계층 내의 문맥 정보는, 대상 계층 내의 부호화 대상 슬라이스, 유닛 또는 블록에 존재하는 심볼/빈으로서, 부호화 대상 심볼/빈과 동일하고 이미 부호화된 심볼/빈의 공간적 위치 및 주사(scanning) 위치 정보일 수 있다. 이 때, 상기 슬라이스, 유닛 또는 블록은 특정 부호화 대상 심볼/빈이 존재하는 슬라이스, 유닛 또는 블록일 수 있다.

6. 대상 계층 내의 문맥 정보는, 대상 계층에 존재하는 특정 부호화 대상 심볼에서, 부호화 대상 빈과 동일하고 이미 부호화된 빈의 값, 빈도수 정보일 수 있다.

7. 대상 계층 내의 문맥 정보는, 대상 계층에서 부호화 대상 유닛의 주변 유닛 또는 부호화 대상 블록의 주변 블록에 존재하는 심볼/빈으로서, 부호화 대상 심볼/빈과 동일하고 이미 부호화된 심볼/빈의 값, 빈도수 정보일 수 있다. 이 때, 상기 부호화 대상 유닛 또는 상기 부호화 대상 블록은 특정 부호화 대상 심볼/빈이 존재하는 유닛 또는 블록일 수 있다.

부호화 대상 심볼의 문맥 정보는 다른 계층 내의 문맥 정보를 이용하여 도출될 수도 있다. 부호화 대상 심볼의 문맥 정보를 도출하기 위해 사용되는 다른 계층 내의 문맥 정보의 실시예로서, 다음과 같은 문맥 정보 유형들이 있을 수 있다.

1. 다른 계층 내의 문맥 정보는, 부호화 대상 심볼/빈과 동일한 심볼/빈으로서, 다른 계층의 대응 영상, 대응 슬라이스, 대응 유닛 또는 대응 블록 내에서 부호화 순서에 따라 이미 부호화된 심볼/빈의 값, 빈도수 정보일 수 있다.

2. 다른 계층 내의 문맥 정보는, 부호화 대상 심볼/빈과 관련되거나 종속된 심볼/빈으로서, 다른 계층의 대응 영상, 대응 슬라이스, 대응 유닛 또는 대응 블록 내에서 부호화 순서에 따라 이미 부호화된 심볼/빈의 값, 빈도수 정보일 수 있다.

3. 다른 계층 내의 문맥 정보는, 부호화 대상 심볼/빈과 동일한 심볼/빈으로서, 다른 계층의 대응 영상, 대응 슬라이스, 대응 유닛 또는 대응 블록 내에 존재하는 전체 심볼/빈의 값, 빈도수 정보일 수 있다.

4. 다른 계층 내의 문맥 정보는, 부호화 대상 심볼/빈과 동일한 심볼/빈으로서, 다른 계층의 대응 영상, 대응 슬라이스, 대응 유닛 또는 대응 블록 내에서 이미 부호화된 심볼/빈의 공간적 위치 및 주사(scanning) 위치 정보일 수 있다.

5. 다른 계층 내의 문맥 정보는, 다른 계층의 대응 영상, 대응 슬라이스, 대응 유닛 또는 대응 블록에 존재하는 심볼에서, 부호화 대상 빈과 동일하고 이미 부호화된 빈의 값, 빈도수 정보일 수 있다. 이 때, 상기 심볼은 특정 부호화 대상 심볼과 동일한 심볼일 수 있다.

6. 다른 계층 내의 문맥 정보는, 다른 계층에서 대응 슬라이스의 주변 슬라이스, 대응 유닛의 주변 유닛 또는 대응 블록의 주변 블록에 존재하는 심볼/빈으로서, 부호화 대상 심볼/빈과 동일하고 이미 부호화된 심볼/빈의 값, 빈도수 정보일 수 있다. 이 때, 상기 대응 슬라이스, 상기 대응 유닛 또는 상기 대응 블록은 특정 부호화 대상 심볼/빈과 동일한 심볼/빈이 존재하는 슬라이스, 유닛 또는 블록일 수 있다.

7. 다른 계층 내의 문맥 정보는, 다른 계층의 대응 영상, 대응 슬라이스, 대응 유닛 또는 대응 블록의 부호화 처리를 위해 사용되는 문맥 정보일 수 있다. 즉, 대상 계층 내의 부호화 대상 심볼/빈에 대한 문맥 정보는, 다른 계층의 대응 영상, 대응 슬라이스, 대응 유닛 또는 대응 블록의 문맥 정보를 이용하여 초기화될 수 있다.

8. 다른 계층 내의 문맥 정보는, 다른 계층의 대응 영상, 대응 슬라이스, 대응 유닛 또는 대응 블록의 부호화 처리를 위해 사용되는 문맥 정보일 수 있다. 즉, 대상 계층 내의 부호화 대상 심볼/빈에 대한 문맥 정보는, 다른 계층 내의 부호화된 심볼/빈의 문맥 정보를 이용하여 초기화될 수 있다.

부호화기의 엔트로피 부호화부는 상술한 대상 계층 내의 문맥 정보 및 다른 계층 내의 문맥 정보 중 최소 하나 이상을 이용하여 부호화 대상 심볼의 문맥 정보를 도출할 수 있다.

다시 도 4의 실시예를 참조하면, 부호화기의 엔트로피 부호화부는 도출된 문맥 정보를 이용하여 부호화 대상 심볼을 엔트로피 부호화한다(S420).

본 발명의 실시예에 따르면, 스케일러블 비디오 부호화 과정에서 다른 계층의 문맥 정보가 대상 계층에서의 엔트로피 부호화 수행에 이용될 수 있으므로, 부호화 대상 심볼/빈의 확률 특성이 보다 정확히 예측될 수 있다. 따라서 영상 또는 비디오 부호화의 압축 성능이 향상될 수 있다.

부호화기는, 대상 계층 내의 문맥 정보 및 다른 계층 내의 문맥 정보 중 어떤 계층의 문맥 정보가 사용되는지에 대한 정보를 복호화기에 알려주기 위해 명시적(explicit) 방법을 사용할 수 있다. 또한 부호화기에서 얻어지는 상기 정보가 복호화기에서도 동일하게 얻어질 수 있도록, 암시적(implicit) 방법이 사용될 수도 있다.

명시적 방법이 사용되는 경우, 일 실시예로 부호화기는 대상 계층 내의 문맥 정보 이용 여부를 지시하는 정보 및/또는 다른 계층 내의 문맥 정보 이용 여부를 지시하는 정보를 포함하는 플래그(flag)를 생성, 전송 및/또는 저장할 수 있다. 이 때, 복호화기는 상기 플래그를 부호화기로부터 수신 및/또는 저장할 수 있다. 복호화기는 상기 플래그를 이용하여 대상 계층 내의 문맥 정보가 이용되는지 여부에 관한 정보 및/또는 다른 계층 내의 문맥 정보가 이용되는지 여부에 관한 정보를 도출할 수 있다.

명시적 방법에서 다른 계층 내의 문맥 정보가 사용되는 경우, 일 실시예로 부호화기는 다른 계층들 중 어떤 계층의 문맥 정보를 이용하는지 여부를 지시하는 플래그를 생성, 전송 및/또는 저장할 수 있다. 이 때, 복호화기는 상기 플래그를 부호화기로부터 수신 및/또는 저장할 수 있다. 복호화기는 상기 플래그를 이용하여 다른 계층들 중 어떤 계층의 문맥 정보가 사용되는지 여부에 관한 정보를 도출할 수 있다.

암시적 방법이 사용되는 경우, 일 실시예로 대상 계층 및 다른 계층의 부호화 파라미터 값에 따라 부호화기 및 복호화기가 동일한 방법을 사용하여 어떤 계층의 문맥 정보가 사용되는지에 대한 정보를 도출할 수 있다. 이 때, 부호화기 및 복호화기가 동일하게 사용하는 문맥 정보 도출 방법은, 미리 부호화기 및 복호화기 사이에 정해져 있을 수 있다.

도 5는 문맥 정보 도출 과정을 포함한 엔트로피 부호화 방법의 실시예를 개략적으로 나타내는 흐름도이다.

도 5를 참조하면, 부호화기는 부호화 대상 심볼 또는 심볼의 열에 대해, 대상 계층에서 이용 가능한 문맥 정보가 존재하는지 여부를 검색한다(S510). 부호화기는 검색 결과에 따라 대상 계층에 이용 가능한 문맥 정보가 존재하는지 여부를 판단한다(S520).

대상 계층에 이용 가능한 문맥 정보가 존재하는 경우, 부호화기는 대상 계층의 문맥 정보를 도출한다(S530). 대상 계층 내의 문맥 정보에는 다양한 유형이 있을 수 있으며, 대상 계층 내에서 이용 가능한 문맥 정보의 실시예는 도 4에서 상술한 바 있다. 따라서 부호화기에서 도출된 문맥 정보는 도 4의 실시예에서 상술된 유형 또는 기타 다른 유형일 수 있다.

대상 계층에 이용 가능한 문맥 정보가 존재하지 않는 경우, 부호화기는 다른 계층의 이용 가능한 문맥 정보를 검색한다(S540).

다른 계층에 이용 가능한 문맥 정보가 존재하는 경우, 부호화기는 다른 계층의 문맥 정보를 도출한다(S550). 다른 계층 내의 문맥 정보에도 다양한 유형이 있을 수 있으며, 다른 계층 내에서 이용 가능한 문맥 정보의 실시예는 도 4에서 상술한 바 있다. 따라서 부호화기에서 도출된 문맥 정보는 도 4의 실시예에서 상술된 유형 또는 기타 다른 유형일 수 있다.

부호화기는 도출된 문맥 정보를 이용하여 부호화 대상 심볼에 대한 엔트로피 부호화를 수행한다(S560). 부호화기는 엔트로피 부호화를 수행함으로써 비트스트림을 생성할 수 있다.

부호화기는 검색 및 판단 결과에 따라 대상 계층 및/또는 다른 계층에 이용 가능한 문맥 정보가 존재하는지 여부에 대한 정보를 복호화기에 알려줄 수 있다. 또한 부호화기는 다른 계층들 중 어떤 계층에 대한 문맥 정보가 사용되는지 여부에 대한 정보를 복호화기에 알려줄 수 있다. 상기 정보들은 암시적 방법에 의해 부호화기 및 복호화기에서 동일하게 얻어질 수도 있다.

도 5의 실시예에 따르면, 스케일러블 비디오 부호화 과정에서 다른 계층의 문맥 정보가 대상 계층에서의 엔트로피 부호화 수행에 이용될 수 있다. 따라서 부호화 대상 심볼/빈의 확률 특성이 보다 정확히 예측될 수 있고, 영상 또는 비디오 부호화의 압축 성능이 향상될 수 있다.

도 6은 본 발명에 따른 엔트로피 부호화 방법의 다른 실시예를 개략적으로 나타내는 흐름도이다.

도 6의 실시예를 참조하면, 부호화기는 부호화 대상 심볼의 문맥 정보를 도출한다(S610). 부호화 대상 심볼의 문맥 정보는 대상 계층 내의 문맥 정보를 이용하여 도출될 수도 있고, 다른 계층 내의 문맥 정보를 이용하여 도출될 수도 있다. 또한 대상 계층 및 다른 계층 내의 문맥 정보는 도 4의 실시예에서 상술한 바와 같이 다양한 유형을 가질 수 있다.

부호화기는 도출된 문맥 정보를 이용하여 부호화 대상 심볼/빈의 확률 모델을 도출한다(S620). 도출된 문맥 정보는 다른 계층의 문맥 정보에 의해서도 도출될 수 있으므로, 부호화 대상 심볼/빈의 확률 모델은 대상 계층뿐만 아니라, 다른 계층의 문맥 정보를 이용하여 도출될 수 있다.

부호화기는 도출된 확률 모델을 이용하여 부호화 대상 심볼/빈에 대한 엔트로피 부호화를 수행한다(S630).

도 7은 본 발명에 따른 엔트로피 부호화 방법의 또 다른 실시예를 개략적으로 나타내는 흐름도이다.

도 7의 실시예를 참조하면, 부호화기는 부호화 대상 심볼의 문맥 정보를 도출한다(S710). 부호화 대상 심볼의 문맥 정보는 대상 계층 내의 문맥 정보를 이용하여 도출될 수도 있고, 다른 계층 내의 문맥 정보를 이용하여 도출될 수도 있다. 또한 대상 계층 및 다른 계층 내의 문맥 정보는 도 4의 실시예에서 상술한 바와 같이 다양한 유형을 가질 수 있다.

부호화기는 도출된 문맥 정보를 이용하여 부호화 대상 심볼의 이진화 방법을 도출한다(S720). 도출된 문맥 정보는 다른 계층의 문맥 정보에 의해서도 도출될 수 있으므로, 부호화 대상 심볼의 이진화 방법은 대상 계층뿐만 아니라, 다른 계층의 문맥 정보를 이용하여 도출될 수 있다.

부호화기는 도출된 이진화 방법을 이용하여 부호화 대상 심볼에 대한 엔트로피 부호화를 수행한다(S730).

도 8은 본 발명에 따른 엔트로피 부호화 방법의 또 다른 실시예를 개략적으로 나타내는 흐름도이다.

도 8의 실시예를 참조하면, 부호화기는 부호화 대상 심볼의 문맥 정보를 도출한다(S810). 부호화 대상 심볼의 문맥 정보는 대상 계층 내의 문맥 정보를 이용하여 도출될 수도 있고, 다른 계층 내의 문맥 정보를 이용하여 도출될 수도 있다. 또한 대상 계층 및 다른 계층 내의 문맥 정보는 도 4의 실시예에서 상술한 바와 같이 다양한 유형을 가질 수 있다.

부호화기는 도출된 문맥 정보를 이용하여 부호화 대상 심볼의 VLC 테이블을 도출한다(S820). 도출된 문맥 정보는 다른 계층의 문맥 정보에 의해서도 도출될 수 있으므로, 부호화 대상 심볼의 VLC 테이블은 대상 계층뿐만 아니라, 다른 계층의 문맥 정보를 이용하여 도출될 수 있다.

부호화기는 도출된 VLC 테이블을 이용하여 부호화 대상 심볼에 대한 엔트로피 부호화를 수행한다(S830).

도 6 내지 도 8의 실시예를 참조하면, 다른 계층의 문맥 정보가 엔트로피 부호화에 사용될 수 있으므로, 부호화 대상 심볼/빈의 확률 특성이 보다 정확하게 반영될 수 있다. 따라서 엔트로피 부호화 성능 및 영상 압축 효율이 향상될 수 있다.

도 9는 본 발명에 따른 엔트로피 복호화 방법의 일 실시예를 개략적으로 나타내는 흐름도이다.

도 9의 실시예를 참조하면, 복호화기의 엔트로피 복호화부는 복호화 대상 심볼의 문맥 정보를 도출한다(S910). 상술한 바와 같이, 복호화 대상 심볼의 문맥 정보는 대상 계층 내의 문맥 정보를 이용하여 도출될 수도 있고, 다른 계층 내의 문맥 정보를 이용하여 도출될 수도 있다.

복호화 대상 심볼의 문맥 정보 도출을 위해 사용되는, 대상 계층 또는 다른 계층 내의 문맥 정보에는 다양한 유형이 있을 수 있다.

복호화 대상 심볼의 문맥 정보는 대상 계층 내의 문맥 정보를 이용하여 도출될 수 있다. 복호화 대상 심볼의 문맥 정보를 도출하기 위해 사용되는 대상 계층 내의 문맥 정보의 실시예로서, 다음과 같은 문맥 정보 유형들이 있을 수 있다.

1. 대상 계층 내의 문맥 정보는, 복호화 대상 심볼/빈과 동일하고 대상 계층에서 복호화 순서에 따라 이미 복호화된 심볼/빈의 값, 빈도수 정보일 수 있다.

2. 대상 계층 내의 문맥 정보는, 복호화 대상 심볼/빈과 관련되거나 종속되고 대상 계층에서 복호화 순서에 따라 이미 복호화된 심볼/빈의 값, 빈도수 정보일 수 있다.

3. 대상 계층 내의 문맥 정보는, 복호화 대상 심볼/빈과 동일한 심볼/빈으로서, 대상 계층의 영상, 슬라이스, 유닛 또는 블록 내에 존재하는 전체 심볼/빈의 값, 빈도수 정보일 수 있다.

4. 대상 계층 내의 문맥 정보는, 대상 계층 내의 복호화 대상 슬라이스, 유닛 또는 블록에 존재하는 심볼/빈으로서, 복호화 대상 심볼/빈과 동일하고 이미 복호화된 심볼/빈의 값, 빈도수 정보일 수 있다. 이 때, 상기 슬라이스, 유닛 또는 블록은 특정 복호화 대상 심볼/빈이 존재하는 슬라이스, 유닛 또는 블록일 수 있다.

5. 대상 계층 내의 문맥 정보는, 대상 계층 내의 복호화 대상 슬라이스, 유닛 또는 블록에 존재하는 심볼/빈으로서, 복호화 대상 심볼/빈과 동일하고 이미 복호화된 심볼/빈의 공간적 위치 및 주사(scanning) 위치 정보일 수 있다. 이 때, 상기 슬라이스, 유닛 또는 블록은 특정 복호화 대상 심볼/빈이 존재하는 슬라이스, 유닛 또는 블록일 수 있다.

6. 대상 계층 내의 문맥 정보는, 대상 계층에 존재하는 특정 복호화 대상 심볼에서, 복호화 대상 빈과 동일하고 이미 복호화된 빈의 값, 빈도수 정보일 수 있다.

7. 대상 계층 내의 문맥 정보는, 대상 계층에서 복호화 대상 유닛의 주변 유닛 또는 복호화 대상 블록의 주변 블록에 존재하는 심볼/빈으로서, 복호화 대상 심볼/빈과 동일하고 이미 복호화된 심볼/빈의 값, 빈도수 정보일 수 있다. 이 때, 상기 복호화 대상 유닛 또는 상기 복호화 대상 블록은 특정 복호화 대상 심볼/빈이 존재하는 유닛 또는 블록일 수 있다.

복호화 대상 심볼의 문맥 정보는 다른 계층 내의 문맥 정보를 이용하여 도출될 수도 있다. 복호화 대상 심볼의 문맥 정보를 도출하기 위해 사용되는 다른 계층 내의 문맥 정보의 실시예로서, 다음과 같은 문맥 정보 유형들이 있을 수 있다.

1. 다른 계층 내의 문맥 정보는, 복호화 대상 심볼/빈과 동일한 심볼/빈으로서, 다른 계층의 대응 영상, 대응 슬라이스, 대응 유닛 또는 대응 블록 내에서 복호화 순서에 따라 이미 복호화된 심볼/빈의 값, 빈도수 정보일 수 있다.

2. 다른 계층 내의 문맥 정보는, 복호화 대상 심볼/빈과 관련되거나 종속된 심볼/빈으로서, 다른 계층의 대응 영상, 대응 슬라이스, 대응 유닛 또는 대응 블록 내에서 복호화 순서에 따라 이미 복호화된 심볼/빈의 값, 빈도수 정보일 수 있다.

3. 다른 계층 내의 문맥 정보는, 복호화 대상 심볼/빈과 동일한 심볼/빈으로서, 다른 계층의 대응 영상, 대응 슬라이스, 대응 유닛 또는 대응 블록 내에 존재하는 전체 심볼/빈의 값, 빈도수 정보일 수 있다.

4. 다른 계층 내의 문맥 정보는, 복호화 대상 심볼/빈과 동일한 심볼/빈으로서, 다른 계층의 대응 영상, 대응 슬라이스, 대응 유닛 또는 대응 블록 내에서 이미 복호화된 심볼/빈의 공간적 위치 및 주사(scanning) 위치 정보일 수 있다.

5. 다른 계층 내의 문맥 정보는, 다른 계층의 대응 영상, 대응 슬라이스, 대응 유닛 또는 대응 블록에 존재하는 심볼에서, 복호화 대상 빈과 동일하고 이미 복호화된 빈의 값, 빈도수 정보일 수 있다. 이 때, 상기 심볼은 특정 복호화 대상 심볼과 동일한 심볼일 수 있다.

6. 다른 계층 내의 문맥 정보는, 다른 계층에서 대응 슬라이스의 주변 슬라이스, 대응 유닛의 주변 유닛 또는 대응 블록의 주변 블록에 존재하는 심볼/빈으로서, 복호화 대상 심볼/빈과 동일하고 이미 복호화된 심볼/빈의 값, 빈도수 정보일 수 있다. 이 때, 상기 대응 슬라이스, 상기 대응 유닛 또는 상기 대응 블록은 특정 복호화 대상 심볼/빈과 동일한 심볼/빈이 존재하는 슬라이스, 유닛 또는 블록일 수 있다.

7. 다른 계층 내의 문맥 정보는, 다른 계층의 대응 영상, 대응 슬라이스, 대응 유닛 또는 대응 블록의 복호화 처리를 위해 사용되는 문맥 정보일 수 있다. 즉, 대상 계층 내의 복호화 대상 심볼/빈에 대한 문맥 정보는, 다른 계층의 대응 영상, 대응 슬라이스, 대응 유닛 또는 대응 블록의 문맥 정보를 이용하여 초기화될 수 있다.

8. 다른 계층 내의 문맥 정보는, 다른 계층의 대응 영상, 대응 슬라이스, 대응 유닛 또는 대응 블록의 복호화 처리를 위해 사용되는 문맥 정보일 수 있다. 즉, 대상 계층 내의 복호화 대상 심볼/빈에 대한 문맥 정보는, 다른 계층 내의 복호화된 심볼/빈의 문맥 정보를 이용하여 초기화될 수 있다.

복호화기의 엔트로피 복호화부는 상술한 대상 계층 내의 문맥 정보 및 다른 계층 내의 문맥 정보 중 최소 하나 이상을 이용하여 복호화 대상 심볼의 문맥 정보를 도출할 수 있다.

다시 도 9의 실시예를 참조하면, 복호화기의 엔트로피 복호화부는 도출된 문맥 정보를 이용하여 복호화 대상 심볼에 대한 엔트로피 복호화를 수행한다(S920).

본 발명의 실시예에 따르면, 스케일러블 비디오 복호화 과정에서 다른 계층의 문맥 정보가 대상 계층에서의 엔트로피 복호화 수행에 이용될 수 있으므로, 복호화 대상 심볼/빈의 확률 특성이 보다 정확히 예측될 수 있다. 따라서 영상 또는 비디오 복호화의 압축 성능이 향상될 수 있다.

복호화기는, 명시적 방법에 의해 대상 계층 내의 문맥 정보 및 다른 계층 내의 문맥 정보 중 어떤 계층의 문맥 정보가 사용되는지에 대한 정보를 부호화기로부터 수신할 수도 있고, 암시적 방법에 의해 상기 정보를 도출할 수도 있다.

도 4의 실시예에서 상술한 바와 같이, 명시적 방법이 사용되는 경우 복호화기는 대상 계층 내의 문맥 정보 이용 여부를 지시하는 정보 및/또는 다른 계층 내의 문맥 정보 이용 여부를 지시하는 정보를 포함하는 플래그(flag)를 수신할 수 있다. 또한 복호화기는 다른 계층들 중 어떤 계층의 문맥 정보를 이용하는지 여부를 지시하는 플래그도 수신할 수 있다. 이 때 복호화기는 상기 플래그를 이용하여 어떤 계층의 문맥 정보가 사용되는지 여부에 관한 정보를 얻을 수 있다.

암시적 방법이 사용되는 경우, 일 실시예로 대상 계층 및 다른 계층의 부호화 파라미터 값에 따라 부호화기 및 복호화기가 동일한 방법을 사용하여 어떤 계층의 문맥 정보가 사용되는지에 대한 정보를 도출할 수 있다.

도 10은 문맥 정보 도출 과정을 포함한 엔트로피 복호화 방법의 실시예를 개략적으로 나타내는 흐름도이다.

도 10을 참조하면, 복호화기는 비트스트림을 수신하여, 복호화 대상 심볼에 대해 대상 계층에서 이용 가능한 문맥 정보가 존재하는지 여부를 검색한다(S1010). 복호화기는 검색 결과에 따라 대상 계층에 이용 가능한 문맥 정보가 존재하는지 여부를 판단한다(S1020). 이 때, 복호화기는 부호화기에서 전송된 플래그 정보를 통해 대상 계층 내의 문맥 정보 존재 여부를 검색, 판단할 수 있다. 또한 복호화기는 부호화 파라미터 값에 따라 부호화기와 동일한 방법을 사용하여 대상 계층 내의 문맥 정보 존재 여부를 검색, 판단할 수도 있다.

대상 계층에 이용 가능한 문맥 정보가 존재하는 경우, 복호화기는 대상 계층의 문맥 정보를 도출한다(S1030). 대상 계층 내의 문맥 정보에는 다양한 유형이 있을 수 있으며, 대상 계층 내에서 이용 가능한 문맥 정보의 실시예는 도 9에서 상술한 바 있다. 따라서 복호화기에서 도출된 문맥 정보는 도 9의 실시예에서 상술된 유형 또는 기타 다른 유형일 수 있다.

대상 계층에 이용 가능한 문맥 정보가 존재하지 않는 경우, 복호화기는 다른 계층의 이용 가능한 문맥 정보를 검색한다(S1040). 이 때, 복호화기는 부호화기에서 전송된 플래그 정보를 통해 다른 계층 내의 문맥 정보 존재 여부를 검색, 판단할 수 있다. 또한 복호화기는 부호화 파라미터 값에 따라 부호화기와 동일한 방법을 사용하여 다른 계층 내의 문맥 정보 존재 여부를 검색, 판단할 수도 있다.

다른 계층에 이용 가능한 문맥 정보가 존재하는 경우, 복호화기는 다른 계층의 문맥 정보를 도출한다(S1050). 다른 계층 내의 문맥 정보에도 다양한 유형이 있을 수 있으며, 다른 계층 내에서 이용 가능한 문맥 정보의 실시예는 도 9에서 상술한 바 있다. 따라서 복호화기에서 도출된 문맥 정보는 도 9의 실시예에서 상술된 유형 또는 기타 다른 유형일 수 있다.

복호화기는 도출된 문맥 정보를 이용하여 복호화 대상 심볼에 대한 엔트로피 복호화를 수행한다(S1060). 복호화기는 엔트로피 복호화를 수행함으로써 심볼 또는 심볼의 열을 생성할 수 있다.

도 10의 실시예에 따르면, 스케일러블 비디오 복호화 과정에서 다른 계층의 문맥 정보가 대상 계층에서의 엔트로피 복호화 수행에 이용될 수 있다. 따라서 복호화 대상 심볼/빈의 확률 특성이 보다 정확히 예측될 수 있고, 영상 또는 비디오 복호화의 성능이 향상될 수 있다.

도 11은 본 발명에 따른 엔트로피 복호화 방법의 다른 실시예를 개략적으로 나타내는 흐름도이다.

도 11의 실시예를 참조하면, 복호화기는 복호화 대상 심볼의 문맥 정보를 도출한다(S1110). 복호화 대상 심볼의 문맥 정보는 대상 계층 내의 문맥 정보를 이용하여 도출될 수도 있고, 다른 계층 내의 문맥 정보를 이용하여 도출될 수도 있다. 또한 대상 계층 및 다른 계층 내의 문맥 정보는 도 9의 실시예에서 상술한 바와 같이 다양한 유형을 가질 수 있다.

복호화기는 도출된 문맥 정보를 이용하여 복호화 대상 심볼/빈의 확률 모델을 도출한다(S1120). 도출된 문맥 정보는 다른 계층의 문맥 정보에 의해서도 도출될 수 있으므로, 복호화 대상 심볼/빈의 확률 모델은 대상 계층뿐만 아니라, 다른 계층의 문맥 정보를 이용하여 도출될 수 있다.

복호화기는 도출된 확률 모델을 이용하여 복호화 대상 심볼/빈에 대한 엔트로피 복호화를 수행한다(S1130).

도 12는 본 발명에 따른 엔트로피 복호화 방법의 또 다른 실시예를 개략적으로 나타내는 흐름도이다.

도 12의 실시예를 참조하면, 복호화기는 복호화 대상 심볼의 문맥 정보를 도출한다(S1210). 복호화 대상 심볼의 문맥 정보는 대상 계층 내의 문맥 정보를 이용하여 도출될 수도 있고, 다른 계층 내의 문맥 정보를 이용하여 도출될 수도 있다. 또한 대상 계층 및 다른 계층 내의 문맥 정보는 도 9의 실시예에서 상술한 바와 같이 다양한 유형을 가질 수 있다.

복호화기는 도출된 문맥 정보를 이용하여 복호화 대상 심볼의 이진화 방법을 도출한다(S1220). 도출된 문맥 정보는 다른 계층의 문맥 정보에 의해서도 도출될 수 있으므로, 복호화 대상 심볼의 이진화 방법은 대상 계층뿐만 아니라, 다른 계층의 문맥 정보를 이용하여 도출될 수 있다.

복호화기는 도출된 이진화 방법을 이용하여 복호화 대상 심볼에 대한 엔트로피 복호화를 수행한다(S1230).

도 13은 본 발명에 따른 엔트로피 복호화 방법의 또 다른 실시예를 개략적으로 나타내는 흐름도이다.

도 13의 실시예를 참조하면, 복호화기는 복호화 대상 심볼의 문맥 정보를 도출한다(S1310). 복호화 대상 심볼의 문맥 정보는 대상 계층 내의 문맥 정보를 이용하여 도출될 수도 있고, 다른 계층 내의 문맥 정보를 이용하여 도출될 수도 있다. 또한 대상 계층 및 다른 계층 내의 문맥 정보는 도 9의 실시예에서 상술한 바와 같이 다양한 유형을 가질 수 있다.

복호화기는 도출된 문맥 정보를 이용하여 복호화 대상 심볼의 VLC 테이블을 도출한다(S1320). 도출된 문맥 정보는 다른 계층의 문맥 정보에 의해서도 도출될 수 있으므로, 복호화 대상 심볼의 VLC 테이블은 대상 계층뿐만 아니라, 다른 계층의 문맥 정보를 이용하여 도출될 수 있다.

복호화기는 도출된 VLC 테이블을 이용하여 복호화 대상 심볼에 대한 엔트로피 복호화를 수행한다(S1330).

도 11 내지 도 13의 실시예를 참조하면, 다른 계층의 문맥 정보가 엔트로피 복호화에 사용될 수 있으므로, 복호화 대상 심볼/빈의 확률 특성이 보다 정확하게 반영될 수 있다. 따라서 엔트로피 복호화 성능 및 영상 압축 효율이 향상될 수 있다.

상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (1)

1. 복수 계층(layer) 기반의 스케일러블(scalable) 비디오 복호화를 위한 엔트로피(entropy) 복호화 방법으로서,
   대상 계층의 문맥 정보(context information) 및 다른 계층의 문맥 정보 중 적어도 하나를 이용하여 복호화 대상 심볼(symbol)의 문맥 정보를 도출하는 단계; 및
   상기 도출된 문맥 정보를 이용하여 상기 복호화 대상 심볼에 대한 엔트로피 복호화를 수행하는 단계를 포함하고,
   상기 대상 계층은 상기 복호화 대상 심볼이 포함된 계층이고, 상기 다른 계층은 상기 대상 계층을 제외한 계층으로서 상기 대상 계층에서의 복호화 수행에 이용될 수 있는 계층인 엔트로피 복호화 방법.

Images