KR100834757B1

KR100834757B1 - 엔트로피 부호화 효율을 향상시키는 방법 및 그 방법을이용한 비디오 인코더 및 비디오 디코더

Info

Publication number: KR100834757B1
Application number: KR1020060058216A
Authority: KR
Inventors: 이배근
Original assignee: 삼성전자주식회사
Priority date: 2006-03-28
Filing date: 2006-06-27
Publication date: 2008-06-05
Also published as: WO2007111461A1; EP1999962A1; US20070230811A1; MX2008012367A; JP2009531942A; CN101411191A; KR20070097275A

Abstract

본 발명은 FGS(Fine Granular Scalability) 계층을 엔트로피 부호화함에 있어 부호화 효율을 높이는 방법 및 장치에 관한 것이다.

비디오 인코더는 입력된 비디오 프레임으로부터 상기 비디오 프레임에 관한 적어도 하나의 품질 계층을 생성하는 프레임 인코딩부와, 상기 적어도 하나의 품질 계층 중 현재 품질 계층에 속하는 제1 계수를 무손실 부호화하기 위해, 상기 현재 품질 계층의 인접 하위 계층에서 상기 제1 계수와 대응되는 위치에 있는 제2 계수를 참조하여 코딩 패스를 선택하는 코딩 패스 선택부와, 상기 선택된 코딩 패스에 따라서 상기 제1 계수를 무손실 부호화하는 패스 코딩부로 이루어진다.

비디오 코딩, SVC, FGS, 정제 패스, 중요 패스

Description

엔트로피 부호화 효율을 향상시키는 방법 및 그 방법을 이용한 비디오 인코더 및 비디오 디코더{Method for enhancing entropy coding efficiency, video encoder and video decoder thereof}

도 1은 하나의 프레임 또는 슬라이스를 구성하는 복수의 품질 계층의 개념을 보여주는 도면.

도 2a는 이산 계층의 계수를 참조하여 제1 FGS 계층의 코딩 패스를 선택하였을 때, 해당 코딩 패스에 대하여 0이 발생하는 확률을 도시한 그래프.

도 2b는 이산 계층 및 제1 FGS 계층의 계수를 참조하여 제2 FGS 계층의 코딩 패스를 선택하였을 때, 해당 코딩 패스에 대하여 0이 발생하는 확률을 도시한 그래프.

도 3는 하나의 슬라이스를 하나의 기초 계층과 2개의 FGS 계층으로 표현하는 과정을 보여주는 도면.

도 4는 복수의 품질 계층을 비트스트림에 배치하는 예를 보여주는 도면.

도 5는 복수의 품질 계층에서 공간적으로 대응되는 계수들을 나타내는 도면.

도 6a는 종래의 SVC 초안에서의 코딩 패스 결정 스킴을 보여주는 도면.

도 6b는 본 발명에 따른 코딩 패스 결정 스킴을 보여주는 도면.

도 7a는 JSVM-5에 의하여 QCIF Football 시퀀스를 인코딩 할 때, 제2 FGS 계 층의 계수가 갖는 코딩 패스에 따라 0이 발생하는 확률을 도시한 그래프.

도 7b는 본 발명에 따라 QCIF Football 시퀀스를 인코딩 할 때, 제2 FGS 계층의 계수가 갖는 코딩 패스에 따라 0이 발생하는 확률을 도시한 그래프.

도 8은 정제 패스 및 중요 패스 별로 해당 계수들을 모아서 엔트로피 코딩을 수행하는 예를 보여주는 도면.

도 9는 본 발명의 일 실시예에 따른 비디오 인코더의 구성을 도시하는 블록도.

도 10은 도 9의 비디오 인코더에 포함된 무손실 부호화부의 세부적인 구성을 도시하는 블록도.

도 11은 본 발명의 일 실시예에 따른 비디오 디코더의 구성을 도시하는 블록도.

도 12는 도 11의 비디오 디코더에 포함된 무손실 복호화부의 세부적인 구성을 도시하는 블록도.

도 13은 CIF BUS 시퀀스에 대하여 종래 기술을 적용한 경우 휘도 성분의 PSNR과, 본 발명 적용한 경우 휘도 성분의 PSNR을 비교한 그래프.

도 14는 4CIF HARBOUR 시퀀스에 대하여 종래 기술을 적용한 경우 휘도 성분의 PSNR과, 본 발명 적용한 경우 휘도 성분의 PSNR을 비교한 그래프.

(도면의 주요부분에 대한 부호 설명)

100 : 비디오 인코더 110 : 프레임 인코딩부

111 : 예측부 112 : 변환부

113 : 양자화부 114 : 품질 계층 생성부

120 : 엔트로피 부호화부 121, 221 : 코딩 패스 선택부

122 : 정제 패스 코딩부 123 : 중요 패스 코딩부

124, 224 : MUX 125 : 패스 코딩부

200 : 비디오 디코더 210 : 프레임 디코딩부

211 : 품질계층 조립부 212 : 역 양자화부

213 : 역 변환부 214 : 역 예측부

220 : 엔트로피 복호화부 222 : 정제 패스 디코딩부

223 : 중요 패스 디코딩부 225 : 패스 디코딩부

본 발명은 비디오 압축 기술에 관한 것으로, 보다 상세하게는 FGS(Fine Granular Scalability) 계층을 엔트로피 부호화함에 있어 부호화 효율을 높이는 방법 및 장치에 관한 것이다.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 특성을 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다. 일반적인 비디오 코딩 방법에 있어서, 시간적 중복은 모션 보상에 근거한 시간적 필터링(temporal filtering)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다.

데이터의 중복을 제거한 결과는 다시 양자화 과정을 통하여 소정의 양자화 스텝에 따라서 손실 부호화된다. 상기 양자화된 결과는 최종적으로 엔트로피 부호화(entropy coding)를 통하여 최종적으로 무손실 부호화된다.

현재, ISO/IEC(International Organization for Standardization / International Electrotechnical Commission)와 ITU(International Telecommunication Union)의 비디오 전문가들 모임인 JVT(Joint Video Team)에서 진행중인 스케일러블 비디오 코딩 표준(이하, SVC 표준이라 함)에서는, 기존의 H.264를 기반으로 한 다 계층 기반의 코딩 기술에 관한 연구가 활발히 진행하고 있다. 특히, 하나의 프레임의 품질 내지 비트율을 점진적으로 향상시킬 수 있도록 FGS 기술을 채택한다.

도 1은 하나의 프레임 또는 슬라이스(10; 이하 통칭하여 슬라이스라고 기재한다)를 구성하는 복수의 품질 계층(11, 12, 13, 14)의 개념을 보여주는 도면이다. 품질 계층이란 SNR 스케일러빌리티를 지원하기 위하여 하나의 슬라이스를 분할하여 기록한 데이터로서, FGS 계층이 대표적인 예이지만 이에 한하지는 않는다. 복수의 품질 계층은 하나의 기초 계층과 적어도 하나 이상의 FGS 계층(11, 12, 13)으로 이루어질 수 있다. 비디오 디코더에서 측정되는 비디오 화질은 기초 계층(14)만이 수신된 경우, 기초 계층(14)과 제1 FGS 계층(13)이 수신된 경우, 기초 계층(14), 제1 FGS 계층(13) 및 제2 FGS 계층(12)이 수신된 경우, 그리고, 모든 계층(11, 12, 13, 14)이 수신된 경우 순으로 향상된다.

상기 SVC 초안에서는, 각 FGS 계층간의 관련성을 이용하여 코딩을 수행한다. 즉, 분리된 코딩 패스(중요 패스, 정제 패스를 포함하는 개념임)에 따라서 하나의 FGS 계층의 계수를 이용하여 다른 FGS 계층을 코딩한다. 이 때, 대응되는 모든 하위 계층의 계수가 0인 경우에는 해당 현재 계층의 계수는 중요 패스(significant pass)로 코딩하고, 상기 대응되는 하위 계층의 계수들 중 하나라도 0이 아닌 계수가 있는 해당 현재 계층의 계수는 정제 패스(refinement pass)로 코딩한다. 이와 같이 FGS 계층의 어떤 계수를 서로 다른 패스로 코딩하는 것은 대응되는 하위 계층의 계수에 따라 상기 계수의 확률적 분포가 서로 뚜렷이 구분되는 현상에 기인한다.

도 2a는 이산 계층의 계수를 참조하여 제1 FGS 계층의 코딩 패스를 선택하였을 때, 해당 코딩 패스에 대하여 0이 발생하는 확률을 도시한 그래프의 예이다. 도 2a에서 SIG는 중요 패스를, REF는 정제 패스를 지시한다. 도 2a를 참조하면, 이산 계층의 대응되는 계수가 0이어서 중요 패스로 코딩되는 제1 FGS 계층의 계수들 중에서 0이 발생하는 확률 분포와, 이산 계층의 대응되는 계수가 0이 아니어서 정제 패스로 코딩되는 제1 FGS 계층의 계수들 중에서 0이 발생하는 확률 분포는 다소 뚜렷이 구분됨을 알 수 있다. 이와 같이 0이 발생하는 확률분포가 명확히 구분되는 경우에는 서로 다른 코딩 패스, 즉 서로 다른 컨텍스트 모델에 따라서 코딩함으로써 코딩 효율을 향상시킬 수 있다.

도 2b는 이산 계층 및 제1 FGS 계층의 계수를 참조하여 제2 FGS 계층의 코딩 패스를 선택하였을 때, 해당 코딩 패스에 대하여 0이 발생하는 확률을 도시한 그래프의 예이다. 도 2b를 참조하면, 도 2b와는 달리 정제 패스로 코딩되는 제2 FGS 계층의 계수와 중요 패스로 코딩되는 제2 FGS 계층의 계수 간에 0이 발생하는 확률이 구별되지 않고 뒤섞여 있음을 알 수 있다. 즉, SVC 초안에 개시된 코딩 패스별 코딩 기법은 제1 FGS 계층의 코딩에 있어서는 상당히 효율적이지만, 제2 FGS 계층 이상의 코딩에 있어서는 그 효율성이 감소될 수 있다. 상기 효율성의 감소는, 인접한 계층 간에는 확률적 연관성이 높지만 인접하지 않고 다소 떨어져 있는 계층간에는 확률적 연관성이 낮다는 사실에 기인한다.

본 발명이 이루고자 하는 기술적 과제는, 복수의 품질 계층으로 이루어지는 비디오 데이터의 엔트로피 코딩 효율을 향상시키는 것이다.

본 발명이 이루고자 하는 다른 기술적 과제는, 복수의 품질 계층으로 이루어 지는 비디오 데이터의 엔트로피 코딩에 있어서 계산 복잡성(computational complexity)을 감소시키는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기한 기술적 과제를 달성하기 위한, 본 발명의 일 실시예에 따른 비디오 인코더는, 입력된 비디오 프레임으로부터 상기 비디오 프레임에 관한 적어도 하나의 품질 계층을 생성하는 프레임 인코딩부; 상기 적어도 하나의 품질 계층 중 현재 품질 계층에 속하는 제1 계수를 무손실 부호화하기 위해, 상기 현재 품질 계층의 인접 하위 계층에서 상기 제1 계수와 대응되는 위치에 있는 제2 계수를 참조하여 코딩 패스를 선택하는 코딩 패스 선택부; 상기 선택된 코딩 패스에 따라서 상기 제1 계수를 무손실 부호화하는 패스 코딩부를 포함한다.

상기한 기술적 과제를 달성하기 위한, 본 발명의 일 실시예에 따른 비디오 디코더는, 입력된 비트스트림에 포함된 적어도 하나의 품질 계층 중 현재 품질 계층에 속하는 제1 계수를 무손실 복호화하기 위하여, 상기 현재 품질 계층의 인접 하위 계층에서 상기 제1 계수와 대응되는 위치에 있는 제2 계수를 참조하여 코딩 패스를 선택하는 코딩 패스 선택부; 상기 선택된 코딩 패스에 따라서 상기 제1 계수를 무손실 복호화하는 패스 디코딩부; 및 상기 무손실 복호화된 제1 계수로부터 현재 블록의 이미지를 복원하는 프레임 디코딩부를 포함한다.

상기한 기술적 과제를 달성하기 위한, 본 발명의 일 실시예에 따른 비디오 인코딩 방법은, 입력된 비디오 프레임으로부터 상기 비디오 프레임에 관한 적어도 하나의 품질 계층을 생성하는 단계; 상기 적어도 하나의 품질 계층 중 현재 품질 계층에 속하는 제1 계수를 무손실 부호화하기 위해, 상기 현재 품질 계층의 인접 하위 계층에서 상기 제1 계수와 대응되는 위치에 있는 제2 계수를 참조하여 코딩 패스를 선택하는 단계; 상기 선택된 코딩 패스에 따라서 상기 제1 계수를 무손실 부호화하는 단계를 포함한다.

상기한 기술적 과제를 달성하기 위한, 본 발명의 일 실시예에 따른 비디오 디코딩 방법은, 입력된 비트스트림에 포함된 적어도 하나의 품질 계층 중 현재 품질 계층에 속하는 제1 계수를 무손실 복호화하기 위하여, 상기 현재 품질 계층의 인접 하위 계층에서 상기 제1 계수와 대응되는 위치에 있는 제2 계수를 참조하여 코딩 패스를 선택하는 단계; 상기 선택된 코딩 패스에 따라서 상기 제1 계수를 무손실 복호화하는 단계; 및 상기 무손실 복호화된 제1 계수로부터 현재 블록의 이미지를 복원하는 단계를 포함한다.

이하 첨부된 도면들을 참조하여 본 발명의 일 실시예를 상세히 설명한다.

도 3는 하나의 슬라이스를 하나의 기초 계층과 2개의 FGS 계층으로 표현하는 과정을 보여주는 도면이다. 최초에 오리지널 슬라이스는 제1 양자화 파라미터(QP₁)에 의하여 양자화된다(S1). 상기 양자화된 슬라이스(22)는 기초 계층을 형성한다. 상기 양자화된 슬라이스(22)는 역 양자화된 후(S2) 차감기(subtractor; 24)로 제공 된다. 차감기(23)는 오리지널 슬라이스로부터 상기 제공된 슬라이스(23)를 차감한다(S3). 상기 차감된 결과는 다시 제2 양자화 파라미터(QP₂)에 의하여 양자화된다(S4). 상기 양자화된 결과(25)는 제1 FGS 계층을 형성한다.

상기 양자화된 결과(25)는 및 역 양자화된 슬라이스(23)는 가산기(adder; 27)에 의하여 가산된 후 차감기(28)에 제공된다. 차감기(28)는 오리지널 슬라이스로부터 상기 가산된 결과를 차감한다(S6). 상기 차감된 결과는 다시 제3 양자화 파라미터(QP₃)에 의하여 양자화된다(S7). 상기 양자화된 결과(29)는 제2 FGS 계층을 형성한다. 이러한 과정을 통하여 도 1과 같은 복수의 품질 계층이 이루어질 수 있다. 여기서, 이산 계층을 제외한 제1 FGS 계층 및 제2 FGS 계층은 하나의 계층 내에서도 임의의 비트를 잘라낼 수 있는 구조(도 4 참조)로 되어 있다. 이를 위하여, 각각의 FGS 계층에는 기존의 MPEG-4에서 사용된 비트 평면(bit plane) 코딩 기법, SVC 초안에서 사용되는 순환(cyclic) FGS 코딩 기법 등이 적용될 수 있다.

상술한 바와 같이, 현재 SVC 초안에서는 어떤 FGS 계층의 계수의 코딩 패스를 결정함에 있어 하위에 존재하는 모든 계층의 대응되는 계수를 참조한다. 여기서, "대응되는 계수"란, 복수의 품질 계층 간에 공간적 위치가 같은 계수를 의미한다. 예를 들어, 도 5와 같이 4x4 블록이 이산 계층, 제1 FGS 계층 및 제2 FGS 계층으로 표시된다고 할 때, 제2 FGS 계층의 계수(53)와 대응되는 계수는 제1 FGS 계층의 계수(52) 및 이산 계층의 계수(51)이다.

도 6a 및 도 6b는 종래의 SVC 초안에서의 코딩 패스 결정 스킴(scheme) (61) 과 본 발명에 따른 코딩 패스 결정 스킴(62)를 비교하는 도면이다. 도 6a에서, 제2 FGS 계층의 계수의 코딩 패스는 그에 대응되는 하위 계층들의 계수들 중에서 0아닌 값이 하나라도 있으면 정제 패스로, 그렇지 않으면 중요 패스로 결정된다. 예컨대, 제2 FGS 계층의 계수들 중에서 c_n, c_n+1, c_n+2는 그 하위 계층에서 적어도 하나의 0이 아닌 계수가 존재하므로 정제 패스로 결정되고, c_n+3은 그 하위 계층의 계수들이 모두 0이므로 중요 패스로 결정된다.

이에 비하여 도 6b에서는, 제2 FGS 계층의 계수의 코딩 패스는 그 바로 아래의 계층(인접 하위 계층)의 계수만을 참조하여 결정된다. 따라서, 상기 인접 하위 계층, 즉 제1 FGS 계층의 대응되는 계수가 0이면 중요 패스로, 그렇지 않으면 정제 패스로 결정된다. 이는 이산 계층의 계수가 어떤 값을 갖는가 와는 무관하게 결정된다. 따라서, 제2 FGS 계층의 계수들 중에서 c_n, c_n+1은 정제 패스로 코딩되고, c_n+2 및 c_n+3은 중요 패스로 코딩된다.

도 7a는 종래의 JSVM(Joint Scalable Video Model)-5에 의하여 QCIF Football 시퀀스를 인코딩 할 때, 제2 FGS 계층의 계수가 갖는 코딩 패스에 따라 0이 발생하는 확률을 도시한 그래프의 예이다. 이와 같은 종래 SVC 초안에 따를 경우, 제2 FGS 계층 또는 그 이상의 계층에서는 코딩 패스 별로 확률 분포가 명확하게 구분되지 않으며, 이는 엔트로피 코딩의 효율에 영향을 미칠 수 있다.

도 7b는 본 발명에 따라 QCIF Football 시퀀스를 인코딩 할 때, 제2 FGS 계층의 계수가 갖는 코딩 패스에 따라 0이 발생하는 확률을 도시한 그래프의 예이다. 도 7b를 보면, 정제 패스의 경우 0이 발생할 확률이 대략 100% 근처에서 형성되고, 중요 패스의 경우 0이 발생할 확률이 대략 60 내지 80% 사이에서 형성되는 것을 알 수 있다. 이와 같이, 인접 하위 계층의 계수만을 참조하여 코딩 패스를 결정하는 경우에는, 제2 FGS 계층 또는 그 이상의 계층에서도 코딩 패스 별로 확률 분포가 명확히 구분될 가능성이 커진다.

한편, 종래의 SVC 초안에서는 도 6a와 같이 정제 패스 및 중요 패스를 결정한 후에는, 도 8과 같이 각 코딩 패스에 해당되는 계수들끼리 모아서 엔트로피 코딩을 수행한다. 4x4 FGS 계층 블록에 포함된 16개의 계수들(c₁ 내지 c₁₆)의 스캔 순서가 정해지고, 이중에서 c₃, c₄, c₅, c₈, 및 c₁₁이 정제 패스로 코딩될 계수라고 가정하면, 총 16개의 계수에 대하여 엔트로피 코딩을 수행함에 있어 총 2회의 루프(loop)가 필요하다. 제1 루프에서는 16개의 계수를 탐색하면서 이 중에서 정제 패스에 해당하는 계수들만을 엔트로피 코딩하고, 제2 루프에서는 다시 16개의 계수를 탐색하면서 이 중에서 중요 패스에 해당하는 계수만들을 엔트로피 코딩한다. 이와 같이 2번의 루프를 거치는 것은 비디오 인코더 또는 디코더에서의 연산 속도를 저하하는 일 요인이 될 수 있다.

따라서, 본 발명에서는 코딩 패스에 따른 엔트로피 코딩에 있어서의 연산량을 감소시키기 위하여, 종래의 SVC 초안에서와 같이 코딩 패스별로 계수를 그룹화하지 않고, 스캔 순서 대로 하나의 루프를 통하여 엔트로피 코딩을 수행할 것을 제안한다. 즉, 어떤 계수가 정제 패스인지 중요 패스인지를 불문하고 스캔 순서대로 해당 계수를 엔트로피 코딩하는 것이다.

다음의 표 1은 JSVM-5에 포함된 연산 과정을 나타내는 의사 코드의 예이고, 표 2는 본 발명에 따른 연산 과정을 나타내는 의사 코드의 예이다.

while (iLumaScanIdx < 16 || iChromaDCScanIdx < 4 || iChromaACScanIdx < 16) { for ( UInt uiMbYIdx = uiFirstMbY; uiMbYIdx < uiLastMbY; uiMbYIdx++ ) for( UInt uiMbXIdx = uiFirstMbX ; uiMbXIdx < uiLastMbY; uiMbXIdx++ ) { for( UInt uiB8YIdx = 2 * uiMbYIdx; uiB8YIdx < 2 * uiMbYIdx + 2; uiB8YIdx++ ) for( UInt uiB8XIdx = 2 * uiMbXIdx; uiB8XIdx < 2 * uiMbXIdx + 2; uiB8XIdx++ ) { for( UInt uiBlockYIdx = 2 * uiB8YIdx; uiBlockYIdx < 2 * uiB8YIdx + 2; uiBlockYIdx++ ) for( UInt uiBlockXIdx = 2 * uiB8XIdx; uiBlockXIdx < 2 * uiB8XIdx + 2; uiBlockXIdx++ ) { if (iLumaScanIdx < 16) { UInt uiBlockIndex = uiBlockYIdx * 4 * m_uiWidthInMB + uiBlockXIdx; if(m_apaucBQLumaCoefMap[iLumaScanIdx][uiBlockIndex] & SIGNIFICANT) { xEncodeCoefficientLumaRef( uiBlockYIdx, uiBlockXIdx, iLumaScanIdx) ); } } } } } } while (iLumaScanIdx < 16 || iChromaDCScanIdx < 4 || iChromaACScanIdx < 16) { for ( UInt uiMbYIdx = uiFirstMbY; uiMbYIdx < uiLastMbY; uiMbYIdx++ ) for( UInt uiMbXIdx = uiFirstMbX ; uiMbXIdx < uiLastMbY; uiMbXIdx++ ) { for( UInt uiB8YIdx = 2 * uiMbYIdx; uiB8YIdx < 2 * uiMbYIdx + 2; uiB8YIdx++ ) for( UInt uiB8XIdx = 2 * uiMbXIdx; uiB8XIdx < 2 * uiMbXIdx + 2; uiB8XIdx++ ) { for( UInt uiBlockYIdx = 2 * uiB8YIdx; uiBlockYIdx < 2 * uiB8YIdx + 2; uiBlockYIdx++ ) for( UInt uiBlockXIdx = 2 * uiB8XIdx; uiBlockXIdx < 2 * uiB8XIdx + 2; uiBlockXIdx++ ) { if (iLumaScanIdx < 16) { xEncodeCoefficientLuma( uiBlockYIdx, uiBlockXIdx, iLumaScanIdx) ); } } } } }

while (iLumaScanIdx < 16 || iChromaDCScanIdx < 4 || iChromaACScanIdx < 16) { for ( UInt uiMbYIdx = uiFirstMbY; uiMbYIdx < uiLastMbY; uiMbYIdx++ ) for( UInt uiMbXIdx = uiFirstMbX ; uiMbXIdx < uiLastMbY; uiMbXIdx++ ) { for( UInt uiB8YIdx = 2 * uiMbYIdx; uiB8YIdx < 2 * uiMbYIdx + 2; uiB8YIdx++ ) for( UInt uiB8XIdx = 2 * uiMbXIdx; uiB8XIdx < 2 * uiMbXIdx + 2; uiB8XIdx++ ) { for( UInt uiBlockYIdx = 2 * uiB8YIdx; uiBlockYIdx < 2 * uiB8YIdx + 2; uiBlockYIdx++ ) for( UInt uiBlockXIdx = 2 * uiB8XIdx; uiBlockXIdx < 2 * uiB8XIdx + 2; uiBlockXIdx++ ) { if (iLumaScanIdx < 16) { xEncodeCoefficientLuma( uiBlockYIdx, uiBlockXIdx, iLumaScanIdx) ); } } } }

표 2의 코드의 길이는 표 1의 코드의 길이보다 상당히 감소되었다. 또한, 표 1에서는 while 루프가 2회 사용된 데 비하여, 표 2에서는 while 루프가 1회 사용되었다. 따라서, 표 2와 같은 알고리즘에 따를 경우 표 1의 알고리즘에 비하여 연산량이 감소될 것이라는 것은 명백하다.

도 9는 본 발명의 일 실시예에 따른 비디오 인코더(100)의 구성을 도시하는 블록도이다. 비디오 인코더(100)는 프레임 인코딩부(110)와 엔트로피 부호화부(120)를 포함하여 구성될 수 있다.

프레임 인코딩부(110)는 입력된 비디오 프레임으로부터 상기 비디오 프레임에 관한 적어도 하나의 품질 계층을 생성한다.

이를 위하여, 프레임 인코딩부(110)는 예측부(111), 변환부(112), 양자화부(113), 및 품질 계층 생성부(114)를 포함하여 구성될 수 있다.

예측부(111)는 현재 매크로블록에서 소정의 예측 방법에 따라 예측된 이미지를 차분함으로써 잔차 신호를 구한다. 상기 예측 방법으로는 SVC 초안에 개시된 예측 기법들, 즉 인터 예측, 방향적 인트라 예측, 인트라 베이스 예측 등이 사용될 수 있다. 인터 예측은 현재 프레임과 동일한 해상도 및 다른 시간적 위치를 갖는 프레임과 현재 프레임 간의 상대적 움직임을 표현하기 위한 모션 벡터를 구하는 모션 추정 과정을 포함할 수 있다. 한편, 현재 프레임은 현재 프레임과 동일한 시간적 위치에 존재하며 현재 프레임과 해상도가 상이한 하위 계층(기초 계층)의 프레임을 참조하여 예측될 수도 있다. 이를 인트라 베이스(inta base) 예측이라고 한다. 물론, 인트라 베이스 예측에서는 상기 모션 추정 과정은 불필요하다.

변환부(112)는 상기 구한 잔차 신호를 DCT, 웨이브렛 변환 등 공간적 변환 기법을 이용하여 변환하여 변환 계수를 생성한다. 이러한 공간적 변환 방법으로는 DCT(Discrete Cosine Transform), 웨이브렛 변환(wavelet transform) 등이 사용될 수 있다. 공간적 변환 결과 변환 계수가 구해지는데, 공간적 변환 방법으로 DCT를 사용하는 경우 DCT 계수가, 웨이브렛 변환을 사용하는 경우 웨이브렛 계수가 구해진다.

양자화부(113)는 공간적 변환부(112)에서 구한 변환 계수를 양자화하여 양자화 계수를 생성한다. 양자화(quantization)란 임의의 실수 값으로 표현되는 상기 변환 계수를 일정 구간으로 나누어 불연속적인 값(discrete value)으로 나타내는 작업을 의미한다. 이러한 양자화 방법으로는 스칼라 양자화, 벡터 양자화 등의 방법이 있다.

품질 계층 생성부(114)는 도 3에서 설명한 것과 같은 과정을 통하여 복수의 품질 계층을 생성한다. 상기 복수의 품질 계층은 하나의 이산 계층과 적어도 하나 이상의 FGS 계층으로 이루어질 수 있다. 상기 이산 계층은 독립적으로 인코딩/디코딩이 이루어지지만, 상기 FGS 계층은 다른 계층을 참조하여 인코딩/디코딩이 이루어진다.

엔트로피 부호화부(120)는 본 발명의 실시예에 따른 독립적인 무손실 부호화를 수행한다. 상기 무손실 부호화부(120)의 세부적인 구성은 도 10에 도시된다. 도 10을 참조하면, 엔트로피 부호화부(120)는 코딩 패스 선택부(121), 정제 패스 코딩부(122), 중요 패스 코딩부(123) 및 MUX(124)를 포함하여 구성될 수 있다.

코딩 패스 선택부(121)는 상기 품질 계층에 속하는 현재 블록(4x4 블록, 8x8 블록 또는 16x16 블록)의 계수를 코딩하기 위하여, 상기 품질 계층의 인접 하위 계층의 블록만을 참조한다. 본 발명에 있어서, 상기 품질 계층은 제2 FGS 계층 이상의 계층인 것이 바람직하다. 코딩 패스 선택부(121)는 상기 참조되는 블록의 계수 중에서 상기 현재 블록의 계수와 공간적으로 대응되는 계수가 0인지 0이 아닌 값인지를 판단한다. 코딩 패스 선택부(121)는 상기 대응되는 계수가 0인 경우에는 상기 현재 블록의 계수에 대한 코딩 패스로서 중요 패스를 선택하고, 상기 대응되는 계수가 0이 아닌 경우에는 상기 코딩 패스로서 정제 패스를 선택한다.

패스 코딩부(125)는 상기 선택된 코딩 패스에 따라서 상기 현재 블록의 계수를 무손실 부호화(엔트로피 부호화)한다. 이를 위하여, 패스 코딩부(125)는 상기 대응되는 계수가 0이 아닐 때(1 또는 그 이상의 값) 상기 현재 블록의 계수를 정제 패스에 따라 무손실 부호화하는 정제 패스 코딩부(122)와, 상기 대응되는 계수가 0일 때 상기 현재 블록의 계수를 중요 패스에 따라 무손실 부호화하는 중요 패스 코딩부(123)를 포함한다. 실제 정제 패스 또는 중요 패스에 따라 엔트로피 코딩하는 구체적인 방법은, 기존의 SVC 초안에서 사용되는 방식을 그대로 사용할 수 있다. 특히, SVC 제안 문서 JVT-P056에서는 중요 패스에 대하여, 다음과 같은 코딩 기법을 제안하고 있다. 인코딩된 결과인 코드 워드(codeword)는 컷-오프(cut-off) 파라미터 "m"에 의하여 특성 지워진다. 코딩될 심볼 "C"가 상기 m보다 작거나 같다면 상기 심볼은 Exp_Golomb 코드를 사용하여 인코딩된다. 상기 심볼 C가 상기 m보다 크다면, 다음의 수학식 1에 따라서 길이(length) 및 첨자(suffix) 의 두 개 부분으로 나뉘어 인코딩된다.

상기 P는 인코딩된 코드 워드로서, 길이 및 첨자(00, 10, 또는 10을 가짐)로 이루어진다.

한편, 정제 패스에 있어서는 확률적으로 0이 발생할 가능성이 더욱 높으므로, JVT-P056에서는, 코딩될 각 정제 계수(refinement bit)의 그룹에 포함되는 0의 개수에 근거한 하나의 VLC 테이블을 이용하여, 서로 다른 길이를 갖는 코드 워드를 할당하는 CAVLC(Context-adaptive Variable Length Coding) 기법을 제안한다. 상기 정제 계수 그룹은 정제 계수들을 소정 개수 단위로 모은 것으로, 예를 들어 4개의 정제 계수를 하나의 정제 계수 그룹으로 간주될 수 있다.

물론, 정제 패스에 대하여 CABAC(Context-adaptive Binary Arithmetic Coding) 기법을 적용하여 코딩하는 것도 가능하다. CABAC은 소정의 코딩 대상에 대 한 확률 모델을 선택하여 산술 코딩을 하는 방식이다. 일반적으로 CABAC 과정은 이진화, 컨텍스트 모델 선택, 산술 코딩, 및 확률 업데이트 과정으로 이루어진다.

패스 코딩부(125)는 품질 계층의 계수를 소정의 블록 단위(4x4, 8x8, 16x16 등) 내에서 단일 루프로 엔트로피 코딩할 수 있다. 즉, 종래의 SVC 초안에서와 같이, 정제 패스로 선택된 계수와 중요 패스로 선택된 계수를 별도로 모아서 코딩하는 것이 아니라, 상기 계수의 스캔 순서대로 정제 패스 코딩 또는 중요 패스 코딩을 수행하는 것이다.

MUX(124)는 정제 패스 코딩부(122)의 출력과, 중요 패스 코딩부(123)의 출력을 다중화하여 하나의 비트스트림으로 출력한다.

도 11은 본 발명의 일 실시예에 따른 비디오 디코더(200)의 구성을 도시하는 블록도이다. 비디오 디코더(200)는 엔트로피 복호화부(220)와 프레임 디코딩부(210)를 포함한다.

엔트로피 복호화부(220)는 입력된 비트스트림에 포함된 적어도 하나의 품질 계층에 속하는 현재 블록의 계수에 대하여, 본 발명의 실시예에 따른 엔트로피 복호화를 수행한다. 엔트로피 복호화부(220)의 보다 자세한 구성은 후술하는 도 12에 도시된다.

프레임 디코딩부(210)는 엔트로피 복호화부(220)에 의하여 무손실 복호화된 현재 블록의 계수로부터 현재 블록의 이미지를 복원한다. 이를 위하여 프레임 디코딩부(210)는 품질 계층 조립부(211), 역 양자화부(212), 역 변환부(213) 및 역 예측부(214)를 포함한다.

품질 계층 조립부(211)는 도 1과 같은 복수의 품질 계층을 가산하여 하나의 슬라이스 데이터 또는 프레임 데이터를 생성한다.

역 양자화부(212)는 품질 계층 조립부(211)에서 제공된 데이터를 역 양자화한다.

역 변환부(213)는 상기 역 양자화 결과에 대하여 역 변환을 수행한다. 이러한 역 변환은 도 10의 변환부(112)에서 수행되는 변환 과정의 역으로 수행된다.

역 예측부(214)는 역 변환부(213)로부터 제공되는 복원된 잔차 신호를 예측 신호와 가산하여 비디오 프레임을 복원한다. 이 때, 상기 예측 신호는 비디오 인코더 단에서와 마찬가지로 인터 예측 또는 인트라 베이스 예측에 의하여 구해질 수 있다.

도 12는 엔트로피 복호화부(220)의 보다 자세한 구성을 도시한 블록도이다. 엔트로피 복호화부(220a)는 코딩 패스 선택부(221), 정제 패스 디코딩부(222), 중요 패스 디코딩부(223) 및 MUX(224)를 포함하여 구성될 수 있다.

코딩 패스 선택부(221)는 입력된 비트스트림에 포함된 적어도 하나의 품질 계층에 속하는 현재 블록(4x4 블록, 8x8 블록 또는 16x16 블록)의 계수를 코딩하기 위하여, 상기 품질 계층의 인접 하위 계층의 블록만을 참조한다. 코딩 패스 선택부(221)는 상기 참조되는 블록의 계수 중에서 상기 현재 블록의 계수와 공간적으로 대응되는 계수가 0인지 0이 아닌 값인지를 판단한다. 코딩 패스 선택부(221)는 상기 대응되는 계수가 0인 경우에는 상기 현재 블록의 계수에 대한 코딩 패스로서 중요 패스를 선택하고, 상기 대응되는 계수가 0이 아닌 경우에는 상기 코딩 패스로서 정제 패스를 선택한다.

패스 디코딩부(225)는 상기 선택된 코딩 패스에 따라 상기 현재 블록의 계수를 무손실 복호화한다. 이를 위하여, 패스 디코딩부(225)는 대응되는 계수가 0이 아닐 때(1 또는 그 이상의 값) 상기 현재 블록의 계수를 정제 패스에 따라 무손실 복호화하는 정제 패스 디코딩부(222)와, 상기 대응되는 계수가 0일 때 상기 현재 블록의 계수를 중요 패스에 따라 무손실 복호화하는 중요 패스 디코딩부(223)를 포함한다. 패스 코딩부(125)와 마찬가지로, 패스 디코딩부(225)도 상기 계수의 무손실 복호화를 단일 루프로 수행할 수 있다.

MUX(224)는 정제 패스 디코딩부(222)의 출력과, 중요 패스 디코딩부(223)의 출력을 다중화하여 하나의 품질 계층에 관한 데이터(슬라이스 또는 프레임)를 생성한다.

지금까지 도 9 내지 도 12의 각 구성요소들은 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램과 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소들은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.

도 13 및 도 14는 CIF BUS 시퀀스(프레임율: 15Hz) 및 4CIF HARBOUR 시퀀스(프레임율: 60Hz)에 대하여 종래의 JSVM-4.2를 적용한 경우 휘도 성분의 PSNR과, 상기 JSVM-4.2에 본 발명을 적용한 경우 휘도 성분의 PSNR을 비교한 그래프들이다. 도 13 및 도 14를 참조하면, 비트율이 높아질수록 본 발명을 적용한 데 따른 더욱 뚜렷해짐을 확인할 수 있다. 적용되는 비디오 시퀀스에 따라서 차이가 있지만, 본 발명의 적용에 따른 PSNR의 개선치는 대략 0.25dB에서 0.5dB 정도의 범위를 갖는다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

본 발명에 따르면, 복수의 품질 계층으로 이루어지는 비디오 데이터의 엔트로피 코딩 효율을 향상시킬 수 있다.

또한 본 발명에 따르면, 복수의 품질 계층으로 이루어지는 비디오 데이터의 엔트로피 코딩에 있어서 계산 복잡성을 감소시킬 수 있다.

Claims

입력된 비디오 프레임으로부터 상기 비디오 프레임에 관한 적어도 하나의 품질 계층을 생성하는 프레임 인코딩부;

상기 적어도 하나의 품질 계층 중 현재 품질 계층에 속하는 제1 계수를 무손실 부호화하기 위해, 상기 현재 품질 계층의 인접 하위 계층에서 상기 제1 계수와 대응되는 위치에 있는 제2 계수를 참조하여 코딩 패스를 선택하는 코딩 패스 선택부; 및

상기 선택된 코딩 패스에 따라서 상기 제1 계수를 무손실 부호화하는 패스 코딩부를 포함하며,

상기 계수들은 기초 계층 또는 FGS(Fine Granular Scalability) 계층을 구성하는 비디오 데이터인 비디오 인코더.
제1항에 있어서, 상기 적어도 하나의 품질 계층은

하나의 기초 계층과 적어도 하나의 FGS(Fine Granular Scalability) 계층을 포함하는 비디오 인코더.
제2항에 있어서, 상기 현재 품질 계층은

상기 기초 계층 및 제1 FGS 계층의 상위에 위치하는 제2 FGS 계층인 비디오 인코더.
제1항에 있어서, 상기 패스 코딩부는

상기 제2 계수가 0이 아닐 때, 상기 현재 블록의 계수를 정제 패스에 따라 무손실 부호화하는 정제 패스 코딩부; 및

상기 제2 계수가 0일 때, 상기 현재 블록의 계수를 중요 패스에 따라 무손실 부호화하는 중요 패스 코딩부를 포함하는 비디오 인코더.
제1항에 있어서, 상기 패스 코딩부는

상기 제1 계수를 블록 단위 내에서 단일 루프로 무손실 부호화하는 비디오 인코더.
제5항에 있어서, 상기 블록은

4x4 블록, 8x8 블록 또는 16x16 블록인 비디오 인코더.
입력된 비트스트림에 포함된 적어도 하나의 품질 계층 중 현재 품질 계층에 속하는 제1 계수를 무손실 복호화하기 위하여, 상기 현재 품질 계층의 인접 하위 계층에서 상기 제1 계수와 대응되는 위치에 있는 제2 계수를 참조하여 코딩 패스를 선택하는 코딩 패스 선택부;

상기 선택된 코딩 패스에 따라서 상기 제1 계수를 무손실 복호화하는 패스 디코딩부; 및

상기 무손실 복호화된 제1 계수로부터 현재 블록의 이미지를 복원하는 프레임 디코딩부를 포함하며,

상기 계수들은 기초 계층 또는 FGS(Fine Granular Scalability) 계층을 구성하는 비디오 데이터인 비디오 디코더.
제7항에 있어서, 상기 적어도 하나의 품질 계층은

하나의 기초 계층과 적어도 하나의 FGS(Fine Granular Scalability) 계층을 포함하는 비디오 디코더.
제8항에 있어서, 상기 현재 품질 계층은

상기 기초 계층 및 제1 FGS 계층의 상위에 위치하는 제2 FGS 계층인 비디오 디코더.
제7항에 있어서, 상기 패스 디코딩부는

상기 제2 계수가 0이 아닐 때, 상기 현재 블록의 계수를 정제 패스에 따라 무손실 복호화하는 정제 패스 디코딩부; 및

상기 제2 계수가 0일 때, 상기 현재 블록의 계수를 중요 패스에 따라 무손실 복호화하는 중요 패스 디코딩부를 포함하는 비디오 디코더.
제7항에 있어서, 상기 패스 디코딩부는

상기 제1 계수를 블록 단위 내에서 단일 루프로 무손실 복호화하는 비디오 디코더.
제11항에 있어서, 상기 블록은

4x4 블록, 8x8 블록 또는 16x16 블록인 비디오 디코더.
입력된 비디오 프레임으로부터 상기 비디오 프레임에 관한 적어도 하나의 품질 계층을 생성하는 단계;

상기 적어도 하나의 품질 계층 중 현재 품질 계층에 속하는 제1 계수를 무손실 부호화하기 위해, 상기 현재 품질 계층의 인접 하위 계층에서 상기 제1 계수와 대응되는 위치에 있는 제2 계수를 참조하여 코딩 패스를 선택하는 단계; 및

상기 선택된 코딩 패스에 따라서 상기 제1 계수를 무손실 부호화하는 단계를 포함하며,

상기 계수들은 기초 계층 또는 FGS(Fine Granular Scalability) 계층을 구성하는 비디오 데이터인 비디오 인코딩 방법.
입력된 비트스트림에 포함된 적어도 하나의 품질 계층 중 현재 품질 계층에 속하는 제1 계수를 무손실 복호화하기 위하여, 상기 현재 품질 계층의 인접 하위 계층에서 상기 제1 계수와 대응되는 위치에 있는 제2 계수를 참조하여 코딩 패스를 선택하는 단계;

상기 선택된 코딩 패스에 따라서 상기 제1 계수를 무손실 복호화하는 단계; 및

상기 무손실 복호화된 제1 계수로부터 현재 블록의 이미지를 복원하는 단계를 포함하며,

상기 계수들은 기초 계층 또는 FGS(Fine Granular Scalability) 계층을 구성하는 비디오 데이터인 비디오 디코딩 방법.