KR100703799B1

KR100703799B1 - 역 양자화 방법 및 장치, 상기 방법을 이용한 비디오디코딩 방법 및 장치

Info

Publication number: KR100703799B1
Application number: KR1020050101961A
Authority: KR
Inventors: 한우진; 이교혁; 차상창; 이배근
Original assignee: 삼성전자주식회사
Priority date: 2005-07-19
Filing date: 2005-10-27
Publication date: 2007-04-06
Also published as: US20070019879A1; KR20070011042A

Abstract

본 발명은 비디오 코딩에 관한 것으로, 보다 상세하게는 비디오 코딩 과정 중 양자화 과정 또는 역 양자화 과정을 개선하여 비디오 코딩 효율을 향상시키는 방법 및 장치에 관한 것이다.

오리지널 값을 양자화하여 생성되는 양자화 레벨 값을 역 양자화하여 상기 오리지널 값에 대한 복원 값을 구하는 역양자화 방법은, 상기 양자화 레벨 값에 대한 히스토그램 카운트를 누적함으로써 히스토그램을 갱신하는 단계와, 상기 히스토그램을 바탕으로 상기 오리지널 값에 대한 분포 함수를 추정하는 단계와, 상기 분포 함수로부터 상기 양자화 레벨 값에 대한 상기 복원 값을 구하는 단계로 이루어진다.

비디오 코딩, 양자화, 역양자화, 양자화 스텝, 오프셋

Description

역 양자화 방법 및 장치, 상기 방법을 이용한 비디오 디코딩 방법 및 장치{unquantization method, unqauntization apparatus, method and apparatus for video decoding using the unquantization method}

도 1은 원래의 입력 값(x)에 대한 양자화 레벨 값(L) 및 복원된 값(x')을 비교하여 보여주는 도면.

도 2는 본 발명의 일 실시예에 따른 히스토그램을 도시한 도면.

도 3은 이산 함수 F_c(L)를 보간하여 복원된 값(x')를 구하는 예를 설명하는 도면.

도 4는 경계 위치의 함수값을 이용하여 Lo를 구하는 개념을 설명하는 도면.

도 5는 양자화 레벨이 0인 레벨 구간에 대하여 복원된 값(x')를 구하는 예를 설명하는 도면.

도 6은 히스토그램에 감쇄치(β)가 적용된 경우를 설명하는 도면.

도 7은 DCT 계수의 AC 성분과 DC 성분은 독립적인 연관성을 가짐을 도시하는 도면.

도 8은 본 발명의 일 실시예에 따른 역양자화 장치의 구성을 도시한 블록도.

도 9는 본 발명의 일 실시예에 따라 도 8의 역 양자화 장치를 구비한 비디오 디코더의 구성을 도시한 블록도.

(도면의 주요부분에 대한 부호 설명)

100 : 역양자화 장치 110 : 감쇄치 제공부

120 : 히스토그램 갱신부 130 : 경계값 추정부

140 : 양자화 테이블 150 : 출력값 추정부

200 : 비디오 디코더 210 : 엔트로피 복호화부

220 : 역공간적 변환부 230 : 가산부

240 : 모션 보상부

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서 는 압축코딩기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다. 일반적인 비디오 코딩 방법에 있어서, 시간적 중복은 모션 보상에 근거한 시간적 예측(temporal prediction)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다.

상기 시간적 예측 과정 및 공간적 변환 과정을 거쳐서 생성되는 계수(coefficient)들은 목적 비트스트림 크기에 따라서 적절히 손실 압축되어야 하는데, 이러한 손실 압축은 양자화 과정에 의하여 수행된다. 현재 JPEG(Joint Photographic Experts Group), MPEG(Moving Picture Experts Group) 등 손실 압축에 기반한 대다수의 표준 이미지 및 비디오 코덱들은 양자화 스텝(quantization step)에 따른 양자화 과정 및 역양자화 과정을 수행한다. 즉, 양자화 모듈로 입력되는 값이 있을 때, 상기 양자화 모듈은 이 입력 값을 양자화 스텝으로 이를 나눈 후 정수화 함으로써 양자화 레벨 값을 얻는다. 입력 값에 비해 양자화 레벨 값은, 입력 값이 갖는 원래 범위에서 1/양자화 스텝 만큼의 범위 내의 정수 값이 되므로, 정보량을 줄이는 효과가 있다.

대다수의 표준안에서는 양자화 파라미터(이하, QP라고 함) 라고 하는 압축 품질에 관한 인덱스를 가지는데, 그 값이 작을수록 대응되는 양자화 스텝값을 크게 되므로 이에 따라 정보량이 더 많이 줄어들게 된다. 예를 들어, H.264의 경우 QP는 0에서부터 51까지 총 52개의 값을 갖는다. 일반적으로 표준안에서는 QP와 양자화 스텝간의 매핑 테이블을 상수항으로 정의하고 있다.

예를 들어, 최초에 양자화되기 이전의 입력 값, 즉 오리지널 값을 x라고 하고, 양자화 스텝을 Qs라고 할 때, 양자화 레벨 값 L은 다음의 수학식 1과 같이 표현된다.

수학식 1에서 f는 오프셋으로서 0 내지 1사이의 값을 가질 수 있다 만약, f가 1/2 이라면, L은 x/Qs의 반올림한 값을 가지며, f가 1/2 보다 작으면 L은 x/Qs 을 내림한 형태와 가까운 결과를, f가 1/2 보다 크면 L은 x/Qs 을 올림한 형태와 가까운 결과를 갖게 된다.

일반적으로 비디오 코딩의 경우는 양자화해야 하는 계수들의 분포가 라플라시안 분포(Laplacian distribution)를 따른다고 알려져 있다. 정규화된 라플라시안 분포는 0을 중심으로 대칭 형태를 취하며 값이 커질수록 그 빈도가 점차 낮아지는 형태를 갖는다. 가변 길이 부호화 등의 무손실 압축 방식에서는 0에 가까운 값을 압축하는 것이 보다 효율적이기 때문에, 상기 f 값으로는 일반적으로 상기 연산 결과가 내림에 가까운 형태가 되도록 하는 값이 사용된다.

예를 들어, H.264에서 인터-예측 잔차(inter-prediction residual)를 양자화하는 경우에는 f는 Qs/6으로 정의되어 있고, 인트라-예측 잔차(intral-prediction residual)를 양자화의 경우에는 f는 Qs/3으로 정의되어 있다.

한편, 디코더 단에서는 상기 L 값을 수신하고, 수신된 L 값으로부터 x값을 복원한다. 복원된 x 값을 x'라 표시한다고 하면, x'는 다음의 수학식 2에 따라서 구해질 수 있다.

도 1은 원래의 입력 값(x)에 대한 양자화 레벨 값(L) 및 복원된 값(x')을 비교하여 보여주는 도면이다. 원래의 입력 값(x)은 수직선(number line) A 상의 임의의 실수값으로 주어지는데, 오프셋(f)과 양자화 스텝(Qs)에 따라서 각 실수값에 대한 이산적인 양자화 레벨 값(L)이 결정된다. 상기 수직선 A 상에서 동일한 양자화 레벨 값(L)을 갖게 하는 이산 구간을 "레벨 구간" 이라고 한다. 따라서, 2개의 입력 값이 다소 차이가 있다고 하더라도 동일한 레벨 구간에 속하기만 한다면 그들이 갖는 양자화 레벨 값(L)은 동일하다.

도 1에서 보면, 오프셋 값은 1/2은 값을 가지기 때문에 양자화 레벨 값(L)이 0이 되는 레벨 구간이 가장 넓다는 것을 알 수 있다. 한편, 역 양자화를 거쳐서 복원되는 값(x')은 오프셋의 고려 없이 단순히 양자화 레벨 값(L)에 Qs를 곱함으로써 계산된다.

종래의 양자화, 역양자화 과정은 라플라시안 분포를 가정하여 만들어져 있다. 특히 오프셋 값 f는 각각 인터-예측 잔차, 인트라-예측 잔차의 통계적 특성을 감안하여 미리 결정되어 있다. 그러나, 당연하게도 실제 영상은 하나의 분포에 적합하게 나타나지는 않는다. 그러므로, 만일 현재의 계수들을 가장 잘 표현할 수 있는 분포를 정확하게 알 수 있다면 압축효율을 더 향상시킬 수 있을 것이다. 특히, 입력 값 x에 통계적으로 가장 가까운 값으로 상기 x에 대한 복원 값(x')을 복원할 수만 있다면, 복원된 비디오 프레임의 화질을 향상을 꾀할 수 있다. 다만, 디코더의 측면에서는 입력 값 x를 전혀 알 수가 없다는 문제점이 있다.

본 발명이 이루고자 하는 기술적 과제는, 양자화 레벨 값의 통계적 분포를 이용하여, 복원되는 계수 값을 보다 정확하게 추정함으로써, 디코더 단에서 복원되는 비디오 프레임의 화질을 향상시키는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 역 양자화 방법은, 오리지널 값을 양자화하여 생성되는 양자화 레벨 값을 역 양자화하여 상기 오리지널 값에 대한 복원 값을 구하는 역양자화 방법으로서, (a) 상기 양자화 레벨 값에 대한 히스토그램 카운트를 누적함으로써 히스토그램을 갱신하는 단계; (b) 상 기 히스토그램을 바탕으로 상기 오리지널 값에 대한 분포 함수를 추정하는 단계; 및 (c) 상기 분포 함수로부터 상기 양자화 레벨 값에 대한 상기 복원 값을 구하는 단계를 포함한다.

또한, 상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 역 양자화 장치는, 오리지널 값을 양자화하여 생성되는 양자화 레벨 값을 역 양자화하여 상기 오리지널 값에 대한 복원 값을 구하는 역양자화 장치로서, 상기 양자화 레벨 값에 대한 히스토그램 카운트를 누적함으로써 히스토그램을 갱신하는 수단; 상기 히스토그램을 바탕으로 상기 오리지널 값에 대한 분포 함수를 추정하는 수단; 및 상기 분포 함수로부터 상기 양자화 레벨 값에 대한 상기 복원 값을 구하는 수단을 포함한다.

또한, 상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 비디오 디코딩 방법은, 입력된 비트스트림을 무손실 복호화하여 텍스쳐 데이터와 모션 벡터를 추출하는 단계; 상기 추출된 텍스쳐 데이터를 구성하는 양자화 레벨 값에 의하여 갱신된 히스토그램을 바탕으로 분포 함수를 추정하고, 상기 추정된 분포 함수로부터 상기 양자화 레벨 값에 대한 복원 값을 구하는 단계; 상기 복원된 값에 대하여 역 공간적 변환을 수행함으로써 잔차 프레임을 복원하는 단계; 상기 모션 벡터를 이용하여 기 복원된 참조 프레임을 모션 보상함으로써 예측 프레임을 생성하는 단계; 및 상기 복원된 잔차 프레임과 상기 예측 프레임을 가산함으로써 현재 프레임을 복원하는 단계를 포함한다.

그리고, 상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 비 디오 디코더는, 입력된 비트스트림을 무손실 복호화하여 텍스쳐 데이터와 모션 벡터를 추출하는 엔트로피 복호화부; 상기 추출된 텍스쳐 데이터를 구성하는 양자화 레벨 값에 의하여 갱신된 히스토그램을 바탕으로 분포 함수를 추정하고, 상기 추정된 분포 함수로부터 상기 양자화 레벨 값에 대한 복원 값을 구하는 역양자화 장치; 상기 복원된 값에 대하여 역 공간적 변환을 수행함으로써 잔차 프레임을 복원하는 역 공간적 변환부; 상기 모션 벡터를 이용하여 기 복원된 참조 프레임을 모션 보상함으로써 예측 프레임을 생성하는 모션 보상부; 및 상기 복원된 잔차 프레임과 상기 예측 프레임을 가산함으로써 현재 프레임을 복원하는 가산부를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.

본 발명에서 제안하는 "분포 기반의 역양자화 기법"은 양자화 기법을 이용하여 양자화된 값을 복원하는 어떤 기술 분야에도 적용될 수 있다. 따라서, 이하에서 는 비디오 코딩을 위주로 하여 설명된다고 하더라도, 그 이외의 이미지 코딩, 오디오 코딩, 기타 손실 압축을 사용하는 어떤 코딩에도 적용될 수 있음을 명확히 하여 둔다.

특정 레벨 구간 [a, b) 내에서, 양자화 레벨 L과 대응되는 x/Qs(x는 인코더 측에서 양자화되기 전의 계수)에 대한 분포 함수가 F(t)로 정의된다고 가정하면, 이 때 최적 L(이하 Lo라고 표시함)은 [a, b) 구간에서 분포 함수 F(t)의 평균이라고 볼 수 있다. 구해진 Lo에 Qs를 곱하면, 최종 x'를 구할 수 있다.

Lo는 [a, b) 구간 내에서 분포 함수 F(t)가 차지하는 면적을 양분하는 값이므로, 상기 Lo는 다음의 수학식 3과 같이 표시할 수 있다.

수학식 3을 사용하면 분포 함수 F(t)를 고려하여 실제 입력 값 x에 보다 가까운 x'를 복원할 수 있다. 기존에는 x'를 단순히 L*Qs, 즉 x>0인 경우 (a+f)Qs로, x<0인 경우 (b-f)Qs로 복원하였던 데 비하여, 본 발명에 따르면 분포 함수를 고려하여 x에 보다 가까운 x'을 구할 수 있으므로 이는 코딩 효율 향상으로 이어질 수 있다. 다만, 문제는 이러한 분포 함수 F(t)는 인코더 측에서는 알 수 있겠지만, 디코더 측에서는 별도의 정보가 제공되지 않는 한 알 수가 없다는 것이다. 디코더 측에서 사용 가능한 정보는 양자화 스텝(Qs)과 양자화 레벨 값(L)이므로, 본 발명에서는 이들을 이용하여 분포 함수 F(t)를 추정하고 이로부터 최적 x'을 계산하는 기 법을 제시하고자 한다.

본 발명에서는, 디코더 측에서 입력 값에 대한 분포 함수 F(t)를 얻기 위해서 양자화 레벨 값(L)의 통계치를, 보다 구체적으로는 히스토그램을 이용한다. 임의의 양자화 레벨 값(L)이 입력된다고 할 때, 각각의 L에 해당하는 버킷의 카운터를 하나씩 증가시킴으로써 히스토그램을 갱신하는 것이다.

도 2는 본 발명의 일 실시예에 따른 히스토그램을 도시한 것으로, 각 양자화 레벨 값(L) 별로 누적되는 빈도수를 표시한 것이다. 상기 히스토그램은 새로운 양자화 레벨 값(L)이 입력될 때마다 해당 빈도가 하나씩 증가하는 식으로 갱신된다.

이러한 히스토그램이 나타내는 이산 함수를 F_c(L)이라고 하면, 상기 F_c(L)은 실제 인코더 측에서의 입력 값 x에 의한 분포 F(t)와 상당한 유사성을 가진다. 왜냐하면, 동일한 비디오 시퀀스, 동일한 프레임, 또는 동일한 슬라이스(slice) 내에서의 계수들(coefficients)은 서로 유사한 통계적 특성을 가질 확률이 높기 때문이다.

도 3은 상기 이산 함수 F_c(L)를 보간하여 최종 출력 값 x'를 구하는 예를 설명하는 도면이다. 상기 히스토그램으로부터 얻어지는 이산 함수 F_c(L)을 보간하면 연속된 분포 함수 F(t)를 구할 수 있다. 이러한 보간 방법으로는 직선 보간(단순히 히스토그램 카운트 간을 직선으로 연결하는 것을 의미함), bi-linear 보간, bi-cubic 보간, 기타 어떠한 방법이 사용되어도 좋다. 어쨌든, 분포 함수 F(t)만 구해진다면 상기 수학식 3을 이용하여 출력값 x'를 구할 수 있다.

그런데, 상기 보간은 새로이 양자화 레벨 값(즉, 하나의 픽셀 정보)이 입력되어 히스토그램이 변경될 때마다 수행되어야 하므로 현실적이지 못하다. 따라서, 이산 함수를 분포 함수로 보간하기 보다는 이산 함수 자체를 그대로 이용하여 보다 간단하게 x'을 계산할 수 있는 기법이 요구된다.

상기 히스토그램 분석을 통하여 이산 함수 F_c(L)이 구해져 있다고 하고, 도 3에서와 같이 양자화 레벨이 n, 레벨 구간의 범위를 [a, b)라고 한다. 그러면, 히스토그램 카운트 F_c(n) 및 인접한 양자화 레벨의 히스토그램 카운트 F_c(n-1), F_c(n+1)을 이용하여 [a, b)에서 경계 위치의 카운트(보간되는 분포 함수를 기준으로 한다면 함수값의 의미임), 즉 F_c(a) 및 F_c(b)를 추정할 수 있다. 여기서, b는 a+1과 같다.

이 때, 경계 위치와의 거리 관계를 고려하면, F_c(a) 및 F_c(b)는 각각 다음의 수학식 4와 같이 표시될 수 있다. 여기서, α는 오프셋(f)으로 둘 수 있다.

계산의 복잡성을 줄이기 위하여, 상기 α는 단순히 1/2로 둘 수도 있으며, 이 경우에는 F_c(a) 및 F_c(b)는 다음의 수학식 5와 같이 표시된다.

이와 같이, 일단 F_c(a), F_c(b)를 얻고 나면, 직선 보간 등 다양한 보간법을 통해서 Lo를 계산할 수 있다. 직선 보간을 이용한다고 하면, F(t)를 F_c(a)와 F_c(b)를 단순히 연결하는 직선(또는 다양한 곡선)으로 나타낸 후, [a, b) 구간 내의 F(t)로 이루어지는 영역의 면적을 반분함으로써 Lo를 계산할 수 있다. 다만, 면적을 반분하는 x'을 계산하기 위해서는, 가장 간단한 직선 보간을 이용하더라도 2차식을 풀이해야 하므로 연산량이 많이 소요된다. 따라서, 본 발명에서는 상기 직선 보간보다도 더 간략화된 방법을 아울러 제시한다.

F_c(a), F_c(b)가 현재 양자화 범위에 기여하는 가중치가 각각 w₁, w₂라고 하자. 이 때, w₁F_c(a), w₂F_c(b)의 높이를 갖는 사각형 2개로 현재 레벨 구간을 표현하고 이들의 면적을 반분하는 Lo를 찾는 것이다. 상기 가중치 w₁, w₂는 단순히 1로 둘 수도 있고, 서로 다른 값으로 둘 수도 있다. 예를 들어, 상기 [a,b) 구간에 속하는 L 값, 즉 n과 상기 경계 위치 a, b와의 거리를 고려하여 결정될 수 있다. 이 경우, w₁은 (1-f)가, w₂는 f가 될 것이다.

도 4는 결정된 w₁F_c(a), w₂F_c(b)를 이용하여 분포 함수(F(t))를 나타내고 이 로부터 Lo를 구하는 개념을 설명하는 도면이다. 도 4의 실시예에서 상기 분포 함수(F(t))는 레벨 구간 내에서 같은 폭(0.5)을 가지고 각각 w₁F_c(a), w₂F_c(b)의 높이를 갖는 두 개의 인접한 막대 그래프로 표현될 수 있다. 이 때, Lo는 상기 F(t)를 반분하는 가로축 상의 점을 선택함으로써 구해진다. 만일, w₁F_c(a)가　w₂F_c(b) 보다 크다면 Lo는 왼쪽 사각형 영역에 포함되게 되며, 그렇지 않다면 오른쪽 사각형 영역에 포함되게 된다.

x'는 Lo*Qs로 계산되므로, 위의 사항을 정리하면 x'은 다음의 수학식 6과 같이 표시될 수 있다.

그런데, L이 0인 경우는 레벨 구간이 다른 경우와는 다르므로, 상기 수학식 6을 그대로 이용하기는 어렵다. 도 5를 참조하면, L이 0인 레벨 구간은 원점(L=0)을 기준으로 좌측의 제1 구간(51)과 우측의 제2 구간(52)으로 나뉘어질 수 있다.

먼저, 제2 구간(52)에 대하여 살펴 보면, 우측 경계의 함수값 F_c(b)는 다른 레벨 구간에서와 마찬가지로 수학식 4의 두번째 식이나 수학식 5의 두번째 식에 의하여 결정될 수 있다. 다만, 좌측 경계의 함수값 F_c(a)는 별다른 보간을 할 필요 없 이 F_c(0)을 그대로 사용하면 될 것이다.

이와 같이 제2 구간(52)에 대하여 경계값을 결정하였다면, 복원 값 x'는 다른 레벨 구간에 비하여 구간의 길이가 (1-f)로 줄어들었음을 고려하면 다음의 수학식 7에 의하여 결정될 수 있다.

마찬가지로, 제1 구간(51)의 좌측 경계의 함수값은 수학식 4의 첫번째 식이나 수학식 5의 첫번째 식에 의하여　결정될 수 있고, 우측 경계의 함수값은 F_c(0)를 그대로 사용할 수 있다. 제1 구간(51)에 대하여 경계값을 결정한 연후에는, 상기 제2 구간(52)과 마찬가지로 수학식 7에 의하여 복원 값 x'를 결정할 수 있다.

그런데, 만일 L=0인 레벨 구간의 길이를 다른 레벨 구간과 일치시키기 위해, L=0인 레벨 구간을 [-0.5, 0.5)로 가정한다면, 도 5와 같이 두 개의 세부 구간으로 나누지 않아도 된다. 이 때에는, 좌측 경계인 a는 -0.5이고 레벨 구간의 길이는 1이므로, 다른 레벨 구간과 마찬가지로 수학식 6을 그대로 이용할 수 있다. 이 경우, F_c(a)는 F_c(-1) 및 F_c(0)에 의하여 결정되고, F_c(b)는 F_c(0) 및 F_c(1)에 의하여 결정될 것이다.

이상에서 설명한 바와 같이, 양자화 레벨에 양자화 스텝을 곱한 값으로 x'을 복원하지 않고, 양자화 레벨의 분포를 반영하여 x'을 복원함으로써 원래의 입력 값 x와의 차이를 감소시킬 수 있는 것이다. 본 발명의 핵심은 인코더 측으로부터 별도의 비트 전송 없이 디코더 측에서 얻을 수 있는 정보를 이용하여 히스토그램 기반으로 입력 값 x의 분포를 추정하고, 상기 추정된 분포에 따라서 최적 x'값을 얻는 것이라 할 수 있다.

기본적으로 본 발명에서 사용하는 방법과 같은 통계적인 방법들은 통계치를 구하는데 사용된 샘플들이 많아야 적절한 결과를 낼 수 있다. 따라서, 기본적으로는 처리한 모든 양자화 레벨을 이용하여 히스토그램 카운트를 누적시켜야 할 것이지만, 실제 이미지/오디오/비디오 시퀀스의 특성상 공간적으로, 혹은 시간적으로 인접한 샘플들 간에 강한 연관성을 갖는 것이 보통이므로 일정한 수 이상이 누적되면 감쇄치를 곱해서 이전 통계치의 가중치를 낮추어준 후 다시 카운트 누적을 하는 방법을 사용하는 것이 바람직하다. 즉, 최대 누적값을 N으로 설정한다면 입력되는 양자화 레벨의 누적 카운트(단순히 입력 L 값의 개수를 세는 것으로서, 각각의 L 별로 카운트를 누적하는 히스토그램 카운트와는 구별됨)가 N 이상이 되면 그간의 히스토그램 카운트, 즉 F_c(L) 값에 감쇄치 β를 곱해서 값을 낮추는 것이다. 따라서 β의 값은 1보다 작은 값이 사용된다.

도 6의 히스토그램에서 표시된 점이 원래의 히스토그램 카운트라고 하면, 새로운 L이 입력되어 최대 누적값 N이 된다고 하면, 원래의 히스토그램 카운트는 모두 β만큼의 비율로 감소시킨다. 따라서 상대적으로 새로이 입력되는 L에 높은 가 중치를 부여하게 된다.

상기 최대 누적값 N을 하나의 프레임이 갖는 샘플수라고 한다면, 프레임 단위로 가중치를 다르게 부여하는 것이 될 것이고, 상기 N을 하나의 슬라이스가 샘플수라고 한다면, 슬라이스 단위로 가중치를 다르게 부여하는 것이 될 것이다. 상기 N은 이외에도 입력되는 데이터를 특성을 고려하여 얼마든지 다른 값으로 설정될 수 있다.

그런데, 본 발명에 따른 양자화/역양자화의 대상이 되는 계수(coefficient)을 DCT 계수라고 한다면, DCT 계수의 DC 성분과 AC 성분이 다소 다른 통계적 특성을 갖는다는 점을 고려하여야 할 것이다. 도 7은 이와 같은 특성을 보여주는 도면이다. 도 7에서 각 DCT 블록에 포함되는 DC 성분은 실제로 그 주변의 AC 성분과는 거의 관련성이 없으며, 다른 DCT 블록에 포함되는 DC 성분과 높은 관련성을 가진다. 따라서, DC 성분의 계수와 AC 성분의 계수에 대해 각각 다른 히스토그램을 생성하여 적용하는 것이 보다 적합할 것이다. 물론, 최대 누적값 N도 DC 성분의 히스토그램과, AC 성분의 히스토그램에 대하여 각각 다른 값을 갖도록 할 수 있다.

도 8은 본 발명의 일 실시예에 따른 역양자화 장치(100)의 구성을 도시한 블록도이다. 역양자화 장치(100)는 감쇄치 적용부(110), 히스토그램 갱신부(120), 경계값 추정부(130), 양자화 테이블(140), 및 출력값 추정부(150)를 포함하여 구성될 수 있다.

하나의 양자화 레벨 값(L)이 입력되면 히스토그램 갱신부(120)는 해당 양자화 레벨 값에 대응되는 히스토그램 카운트를 1 증가시킨다. 히스토그램 갱신부 (120)는 이와 같이 입력되는 양자화 레벨 값을 누적하여 도 2와 같이 각 양자화 레벨 별 히스토그램 카운트(F_c(L))를 저장한다.

한편, 감쇄치 적용부(110)는 입력되는 양자화 레벨 값(L)을 누적하여 누적된 카운트가 최대 누적값 N 이상이 되는지를 판단하여, 그러한 경우에는 상기 히스토그램 갱신부(120)에 감쇄치 β를 제공한다. 만약 상기 카운트가 상기 β와 같아지는 경우에는 상기 카운트는 0으로 초기화된다. 상기 N은 프레임의 샘플 수, 슬라이스의 샘플 수, 매크로블록의 샘플수, 기타 다양한 값이 될 수 있다. 물론, 상기 β는 0이 될 수도 있는데, 이 경우에는 이전의 누적된 히스토그램 카운트는 모두 제거(초기화)되고 상기 히스토그램이 새로이 입력된 값에 의하여서만 작성됨을 의미한다.

히스토그램 갱신부(120)는 감쇄치 적용부(110)로부터 감쇄치 β가 제공되는 경우에는, 도 6과 같이 모든 양자화 레벨에 대하여 히스토그램 카운트(F_c(L))를 상기 β를 곱한 값으로 갱신한다.

양자화 테이블(140)은 어떤 조건에서는 어떤 양자화 스텝(Qs) 및 오프셋(f)를 사용할지를 미리 정의한 테이블로서, 인코더 측과 디코더 측에서 동일한 테이블이 사용된다. 상기 오프셋(f)은 경계값 추정부(130)에 제공되고, 상기 양자화 스텝(Qs)은 출력값 추정부(150)에 제공된다.

경계값 추정부(130)는 히스토그램 갱신부(120)로부터 제공되는 히스토그램 카운트(F_c(L))를 이용하여 각 레벨 구간의 경계 위치 카운트(F_c(a), F_c(b))를 추정 한다. 그런데, 최초 입력되는 L 값만으로는 상기 레벨 구간을 결정할 수 없으며 이를 위해서는 양자화 테이블(140)로부터 제공된 오프셋(f)이 필요하다. 예를 들어, 도 4에서 L이 n인 레벨 구간의 좌측 경계(a)는 n-f 로, 우측 경계(b)는 n+1-f로 표시되므로, 오프셋(f) 값을 알아야 상기 레벨 구간을 결정할 수 있는 것이다.

경계값 추정부(130)가 상기 경계 위치 카운트(F_c(a), F_c(b))를 추정하는 방법으로는 다양한 방법이 이용될 수 있겠지만, 본 발명에서는 일 예로서 수학식 4 또는 수학식 5를 이용할 수 있다. 물론, 양자화 레벨이 0인 레벨 구간의 경우에 경계 위치 카운트를 구하는 방법은 다른 레벨 구간에 비해 다소 달라질 수 있지만, 이에 관하여는 상술한 바 있으므로 중복된 설명을 생략하기로 한다.

출력값 추정부(150)는 상기 추정된 경계 위치 카운트(F_c(a), F_c(b))를 이용하여 최종 복원 값 x'를 구한다. 이를 위하여 우선, 각 레벨 구간에서의 Lo를 먼저 결정하고, 상기 결정된 Lo에 Qs를 곱함으로써 상기 x'를 복원할 수 있다. 물론, Lo를 구하는 중간 과정없이 상기 x'을 한번의 계산으로 구할 수도 있음은 물론이다.

상기 추정된 경계 위치 카운트(F_c(a), F_c(b))로부터 x'를 구하는 방법으로는 직선 보간, 또는 스플라인 보간 등 일반적으로 알려진 다양한 보간법들이 사용될 수 있겠으나, 역 양자화시의 연산량을 감소시키기 위하여, 수학식 6과 같은 간단한 연산을 통하여 x'를 구할 수도 있다. 물론, 양자화 레벨이 0인 레벨 구간의 경우에 x'는, 수학식 7에 따라서 구할 수도 있고, 상술한 바와 같이 레벨 구간을 [-0.5, 0.5)로 가정하여 수학식 6에 따라서 구할 수도 있다.

만약, L이 DCT 계수의 양자화 레벨 값이라면, 상기 DCT 계수의 AC 성분과 상기 DCT 계수의 DC 성분 각각에 대하여 상기 과정을 수행하는 것이 바람직하다.

도 9는 본 발명의 일 실시예에 따라 역 양자화 장치를 구비한 비디오 디코더(200)의 구성을 도시한 블록도이다.

먼저, 인코더 측에서 코딩된 비트스트림은 엔트로피 복호화부(210)로 입력된다. 엔트로피 복호화부(210)는 상기 비트스트림을 무손실 복호화하여 텍스쳐 데이터(texture data)와 모션 데이터(motion data)를 추출한다. 상기 무손실 복호화 과정은 인코더 측에서의 무손실 부호화 과정의 역으로 수행되는데, 무손실 부호화/복호화 알고리즘으로는 허프만 부호화(Huffman coding), 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding) 등이 이용될 수 있다.

상기 텍스쳐 데이터는 양자화된 데이터, 즉 양자화 레벨 값(L)들로 이루어지며, 상기 모션 데이터는 모션 벡터(MV), 매크로블록 패턴 등을 포함한다.

역양자화 장치(100)는 상기 추출된 텍스쳐 데이터를 본 발명에서 제시하는 방법에 따라서 역 양자화한다. 즉, 상기 추출된 텍스쳐 데이터를 구성하는 양자화 레벨 값에 의하여 갱신된 히스토그램을 바탕으로 분포 함수를 추정하고, 상기 추정된 분포 함수로부터 상기 양자화 레벨 값에 대한 복원 값을 구한다.

역 공간적 변환부(220)는 상기 복원된 계수에 대하여 역 공간적 변환을 수행한다. 이러한 역 공간적 변환은 인코더 측의 공간적 변환 과정에 대응되는 방식으로서 수행되며, 구체적으로 역 DCT 변환, 역 웨이블릿 변환 등이 사용될 수 있다. 상기 역 공간적 변환 결과, 잔차 프레임(R)이 복원된다.

모션 보상부(240)는 엔트로피 복호화부(210)로부터 제공된 모션 벡터(MV)를 이용하여 기 복원된 참조 프레임을 모션 보상함으로써 예측 프레임(P)을 생성한다.

가산부(230)는 상기 복원된 잔차 프레임(R)과 상기 예측 프레임(P)을 가산함으로써 현재 프레임을 복원한다.

도 9에서는 역양자화 장치(100)가 비디오 디코더에 적용되는 경우를 예로 들었지만, 그 이외의 이미지 코딩, 오디오 코딩, 기타 손실 압축을 사용하는 어떤 코딩에도 적용될 수 있다.

도 8 및 도 9의 실시예들과 연관하여 설명된 여러 예시적인 논리 블록들은 본 명세서에서 설명된 기능들을 수행하도록 설계된 범용 프로세서, DSP(digital signal processor), ASIC(application specific integrated circuit), FPGA(field programmable gate array) 또는 다른 프로그램가능 논리 장치, 이산 게이트 또는 트랜지스터 논리 장치, 이산 하드웨어 성분들, 또는 그것들의 임의의 결합으로 구현되거나 수행될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만, 선택적으로는, 그 프로세서는 임의의 종래 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수 있다. 프로세서는 또한 컴퓨팅 장치들의 결합, 예컨대, DSP와 마이크로프로세서의 결합, 복수의 마이크로프로세서들, DSP 코어와 관련한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로 구현될 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

상술한 바와 같이 본 발명에 따르면, 양자화 스텝을 이용한 역양자화 과정을 개선함으로써 별도의 비트율 증가 없이도 양자화 과정 이전의 입력 값에 보다 가까운 값을 복원할 수 있다.

특히, 본 발명을 비디오 디코더에 적용할 경우 비디오 화질의 향상을 가져올 수 있다.

Claims

오리지널 값을 양자화하여 생성되는 양자화 레벨 값을 역 양자화하여 상기 오리지널 값에 대한 복원 값을 구하는 역양자화 방법으로서,

(a) 상기 양자화 레벨 값에 대한 히스토그램 카운트를 누적함으로써 히스토그램을 갱신하는 단계;

(b) 상기 히스토그램을 바탕으로 상기 오리지널 값에 대한 분포 함수를 추정하는 단계; 및

(c) 상기 분포 함수로부터 상기 양자화 레벨 값에 대한 상기 복원 값을 구하는 단계를 포함하는 역양자화 방법.
제1항에 있어서,

상기 양자화 레벨 값 L은
로부터 구해지는데, 상기 x, Qs, 및 f는 각각 오리지널 값, 양자화 스텝, 및 0과 1 사이의 오프셋을 각각 나타내는 역양자화 방법.
제1항에 있어서,

(d) 상기 양자화 레벨 값의 누적 카운트가 소정의 최대 누적값을 초과하는 경우에는 상기 히스토그램 카운트를 소정의 감쇄치 만큼 축소시키는 단계를 더 포 함하는 역양자화 방법.
제3항에 있어서, 상기 감쇄치는

0보다 크거나 같고 1보다는 작은 역양자화 방법.
제4항에 있어서, 상기 누적 카운트는

하나의 비디오 프레임이 갖는 계수(coefficients)의 수, 하나의 슬라이스가 갖는 계수의 수, 및 하나의 매크로블록이 갖는 계수의 수 중 어느 하나인 역양자화 방법.
제1항에 있어서, 상기 분포 함수의 추정은

이산값을 갖는 상기 히스토그램 카운트를 직선 보간, bi-linear 보간, 및 bi-cubic 보간 중 적어도 하나에 의하여 이루어지는 역양자화 방법.
제1항에 있어서, 상기 (b) 단계는

(b1) 상기 양자화 레벨 값이 갖는 레벨 구간의 경계 위치에서의 히스토그램 카운트를 추정하는 단계; 및

(b2) 상기 추정된 히스토그램 카운트에 의하여 상기 레벨 구간에서의 분포 함수를 보간하는 단계를 포함하는 역양자화 방법.
제7항에 있어서, 상기 (b1) 단계는

상기 경계 위치에 근접한 2개의 양자화 레벨 값에 대한 히스토그램 카운트를 평균함으로써 이루어지는 역양자화 방법.
제7항에 있어서, 상기 (b2) 단계는

경계 위치에 근접한 2개의 양자화 레벨 값에 대한 히스토그램 카운트 각각에 가중치를 곱한 값을 높이로 갖는 2개의 인접한 막대 그래프를 구하는 단계를 포함하는 역양자화 방법.
제9항에 있어서, 상기 가중치는

2개의 양자화 레벨 값에 대한 상기 히스토그램 카운트와 상기 경계 위치와의 거리를 고려하여 결정되는 역 양자화 방법.
제1항에 있어서, 상기 (c) 단계는

상기 양자화 레벨 값이 갖는 레벨 구간 내에서 상기 분포 함수가 차지하는 면적을 반분하는 점을 구하는 단계를 포함하는 역양자화 방법.
제1항에 있어서, 상기 오리지널 값이 DCT 계수를 양자화한 값인 경우에는

상기 DCT 계수의 DC 성분 및 상기 DCT 계수의 AC 성분 각각에 대하여 별도로 상기 (a) 내지 (c) 단계를 수행하는 역양자화 방법.
오리지널 값을 양자화하여 생성되는 양자화 레벨 값을 역 양자화하여 상기 오리지널 값에 대한 복원 값을 구하는 역양자화 장치로서,

상기 양자화 레벨 값에 대한 히스토그램 카운트를 누적함으로써 히스토그램을 갱신하는 수단;

상기 히스토그램을 바탕으로 상기 오리지널 값에 대한 분포 함수를 추정하는 수단; 및

상기 분포 함수로부터 상기 양자화 레벨 값에 대한 상기 복원 값을 구하는 수단을 포함하는 역양자화 장치.
제13항에 있어서,

상기 양자화 레벨 값 L은
로부터 구해지는데, 상기 x, Qs, 및 f는 각각 오리지널 값, 양자화 스텝, 및 0과 1 사이의 오프셋을 각각 나타내는 역양자화 장치.
제13항에 있어서,

상기 양자화 레벨 값의 누적 카운트가 소정의 최대 누적값을 초과하는 경우에는 상기 히스토그램 카운트를 소정의 감쇄치 만큼 축소시키는 수단을 더 포함하는 역양자화 장치.
제15항에 있어서, 상기 감쇄치는

0보다 크거나 같고 1보다는 작은 역양자화 장치.
제16항에 있어서, 상기 누적 카운트는

하나의 비디오 프레임이 갖는 계수(coefficients)의 수, 하나의 슬라이스가 갖는 계수의 수, 및 하나의 매크로블록이 갖는 계수의 수 중 어느 하나인 역양자화 장치.
제13항에 있어서, 상기 분포 함수의 추정은

이산값을 갖는 상기 히스토그램 카운트를 직선 보간, bi-linear 보간, 및 bi-cubic 보간 중 적어도 하나에 의하여 이루어지는 역양자화 장치.
제13항에 있어서, 상기 분포함수를 추정하는 수단은

(b1) 상기 양자화 레벨 값이 갖는 레벨 구간의 경계 위치에서의 히스토그램 카운트를 추정하는 수단; 및

(b2) 상기 추정된 히스토그램 카운트에 의하여 상기 레벨 구간에서의 분포 함수를 보간하는 수단을 포함하는 역양자화 장치.
제19항에 있어서, 상기 히스토그램 카운트를 추정하는 수단은

상기 경계 위치에 근접한 2개의 양자화 레벨 값에 대한 히스토그램 카운트를 평균함으로써 이루어지는 역양자화 장치.
제19항에 있어서, 상기 분포 함수를 보간하는 수단은

경계 위치에 근접한 2개의 양자화 레벨 값에 대한 히스토그램 카운트 각각에 가중치를 곱한 값을 높이로 갖는 2개의 인접한 막대 그래프를 구하는 역양자화 장치.
제21항에 있어서, 상기 가중치는

2개의 양자화 레벨 값에 대한 상기 히스토그램 카운트와 상기 경계 위치와의 거리를 고려하여 결정되는 역 양자화 장치.
제13항에 있어서, 상기 복원 값을 구하는 수단은

상기 양자화 레벨 값이 갖는 레벨 구간 내에서 상기 분포 함수가 차지하는 면적을 반분하는 점을 구하는 역양자화 장치.
입력된 비트스트림을 무손실 복호화하여 텍스쳐 데이터와 모션 벡터를 추출하는 단계;

상기 추출된 텍스쳐 데이터를 구성하는 양자화 레벨 값에 의하여 갱신된 히스토그램을 바탕으로 분포 함수를 추정하고, 상기 추정된 분포 함수로부터 상기 양 자화 레벨 값에 대한 복원 값을 구하는 단계;

상기 복원된 값에 대하여 역 공간적 변환을 수행함으로써 잔차 프레임을 복원하는 단계;

상기 모션 벡터를 이용하여 기 복원된 참조 프레임을 모션 보상함으로써 예측 프레임을 생성하는 단계; 및

상기 복원된 잔차 프레임과 상기 예측 프레임을 가산함으로써 현재 프레임을 복원하는 단계를 포함하는 비디오 디코딩 방법.
입력된 비트스트림을 무손실 복호화하여 텍스쳐 데이터와 모션 벡터를 추출하는 엔트로피 복호화부;

상기 추출된 텍스쳐 데이터를 구성하는 양자화 레벨 값에 의하여 갱신된 히스토그램을 바탕으로 분포 함수를 추정하고, 상기 추정된 분포 함수로부터 상기 양자화 레벨 값에 대한 복원 값을 구하는 역양자화 장치;

상기 복원된 값에 대하여 역 공간적 변환을 수행함으로써 잔차 프레임을 복원하는 역 공간적 변환부;

상기 모션 벡터를 이용하여 기 복원된 참조 프레임을 모션 보상함으로써 예측 프레임을 생성하는 모션 보상부; 및

상기 복원된 잔차 프레임과 상기 예측 프레임을 가산함으로써 현재 프레임을 복원하는 가산부를 포함하는 비디오 디코더.