KR20100125387A - 비디오 부호화 방법 - Google Patents

Abstract

픽처는 가변 파라미터(QP)를 갖는 부호화 알고리즘을 사용하여 부호화되므로 부호화 품질은 변한다. 단계 100에서, 품질 측정 파라미터에 대한 목표 값(TiMOS)이 지정된다. 그 다음, 부호화되는 각 픽처(또는 픽처의 일부)에 대해, 다른 픽처에 독립적으로, a) 상기 픽처 영역에 대한 목표 값과 b) 상기 픽처 영역의 픽처 내용에 종속하는 마스킹 측정값(C)에 기초하여 상기 가변 파라미터(QP)에 대한 값을 예측한다. 상기 픽처는 그 다음에 예측된 값을 사용하여 부호화된다(단계 112). 상기 마스킹 측정값은 마스킹 효과에 대한 부호화 품질의 효과를 고려하기 위해 보상될 수 있다(단계 108, 122).

Description

비디오 부호화 방법{VIDEO CODING}

본 발명은 비디오 부호화에 관한 것이다.

본 발명은 특허청구범위에서 한정된다. 지금부터 본 발명의 몇몇 실시예를 다음과 같은 첨부 도면을 참조하여 설명할 것이다.

도 1은 비디오 부호화기(coder)의 블록 다이어그램이고,
도 2와 도 3은 도 1에 도시한 비디오 부호화기의 동작을 설명하는 흐름도이고,
도 4는 특정 파라미터의 도출을 도시하는 그래프이다.

도 1에 도시된 장치는 비디오 입력(2)에서 비압축 형태로 디지털 부호화된 비디오 신호를 수신하는 비디오 인터페이스(1)를 포함한다. 프로세서(3)는 디스크 스토리지(4)에 저장된 프로그램들의 제어하에 동작하고 메모리(5)와 비디오 출력(7)을 공급하는 비디오 출력 버퍼(6)를 액세스한다. 메모리(5)는 픽처(picture) 파라미터의 일시 저장을 위한 메모리 영역(51)을 포함한다. 상기 프로그램은 범용 운영체제(40)와 곧 설명되는 하나 이상의 부호화 방법을 구현하는 비디오 부호화 소프트웨어를 포함한다. 이 소프트웨어는 몇 가지 프로그램(또는 프로그램 그룹)을 포함한다, 즉

- 제어 소프트웨어(41);

- 압축 소프트웨어(42): 이 예에서, 압축 소프트웨어는 ITU H.264 표준을 따르는 부호화 알고리즘을 구현한다;

- 지각 품질 평가 소프트웨어(43).

본 발명의 제 1 형태에 의한 비디오 부호화 방법을 도 2의 흐름도를 참조하여 설명할 것이다. 우선, 동작 원리를 설명한다. 상기 방법의 목적은 일정한 품질을 갖는 비디오 신호를 부호화하는 것이다. 원칙적으로 픽처에 대한 품질 파라미터의 값이 상기 품질 파라미터에 대한 목표 값과 같도록, 또는 적어도 상기 목표 값으로부터 편차를 감소시킬 수 있도록 각 픽처를 부호화하는 것을 생각한다. 우리는 고정된 단일의 목표 값을 지정하거나, 또는 원한다면 다른 픽처에 대해 다른 목표 값을 지정할 수도 있다: 예를 들면 H.264에서 인트라-부호화된(intra-coded) 픽처(I-픽처)에 대해 하나의 목표 값을 지정하고, 전방 예측(forward prediction)을 사용하여 부호화한 픽처(P-픽처)에 대해 다른 목표 값을 지정하고, 양방향 부호화된(bidirectionally-coded) 픽처(B-픽처)에 대해 또 다른 목표 값을 지정해도 좋다. 어떤 외부 시스템, 예컨대 혼잡 제어 메커니즘의 일부의 특성을 수용하기 위해 상기 목표 값을 변경하기를 원할 수도 있을 것이다. 우리는 지각 품질 측정법, 즉 마스킹 효과를 고려하는 측정법을 사용하는 것을 선호한다. 품질은 상기 부호화 알고리즘이 부호화된 픽처의 품질에 영향을 주는 적어도 하나의 가변 파라미터를 갖는다고 가정함으로써 제어되며 - 이 예에서 그것은 양자화 지수이다. H.264에서 픽처(k)에 대해 양자화 지수(QP)와 크기 조정된 양자화기 스텝 크기(QSS: quantizer step size) 사이의 관계는 다음으로 주어진다

따라서, 제어 소프트웨어(41)의 첫 번째 작업은, 부호화된 픽처의 품질이 측정될 때, 결국 목표 값과 같거나 근사한 품질 측정 파라미터에 대한 값이 될 QP에 대한 값을 예측하는 것이다. 여러 가지의 상이한 양자화 지수의 값을 사용하여 픽처를 부호화하고, 픽처를 복호화하고 복호화된 픽처의 품질 측정 파라미터의 값을 연산함으로써 이것을 결정하는 것이 가능하지만, QP, 상기 품질 측정 파라미터, 및 마스킹 항목 사이의 알려진 관계로부터 QP를 예측하는 것을 선호한다.

이러한 한 가지 관계가 우리의 국제 특허출원 제WO2007/066066호에 기재되어 있다. 이 방법에서, 품질 측정은 양자화기 스텝 크기 파라미터와 복호화된 픽처의 공간 복잡도의 측정값에 기초하였다. 더욱 상세하게는, H.264 신호의 경우에, 복호화기(decoder)는 각 픽처에 있어서

(a) 각 매크로블록 i,j에 대해, 양자화기 스텝 크기 파라미터 Q(i,j) (i=0,...,M_x-1; J=0,...,M_y-1);

(b) 각 픽셀 x,y에 대해, 복호화된 밝기 값 D(x,y)(x=0,...,P_x-1; y=0,...,P_y-1)

픽처-평균 양자화기 스텝 크기(QPF)는 다음에 의해 계산된다:

마스킹 측정값으로써, 너비 H의 작은 수평 윈도우의 평균 밝기와 유사한 수평 인접 윈도우의 평균 밝기 사이의 차이를 나타내는 콘트라스트 측정값이 사용되었다:

- 그리고 수직 방향에서 마찬가지로:

여기서 V는 수직 윈도우 높이이고, 이들 2개의 측정값은 결합되어 더 큰 것이 효력을 나타낸다.

픽처-평균 콘트라스트 측정값(CS)은 다음에 의해 연산된다:

이들 2개의 양은 다음에 MOS(mean opinion score) 예측이 요구되는 시간 인터벌에 대해 시간 평균이 취해지며: 이 경우에 있어서 물론 상기 인터벌이 단일 픽처의 것이므로 이것은 요구되지 않는다.

그 다음에 상기 품질 측정 iMOS(순시 평균 평가 점수: instantaneous mean opinion score)가, 알려진 주관적 품질의 연습 시퀀스의 회귀분석에 의해 얻어진 가중 인자를 사용하여 이것들의 가중 합계로, 형성된다.

이 결과는 0 ~ 5의 범위에 고정되었다:

이 경우에 있어서, 목표 값(T_iMOS)은 지정되고, QP를 계산할 필요가 있다. 한 가지 옵션은 식 (7)의 선형 관계를 반전시키는 것이다, 즉:

T_iMOS는 0 ~ 5의 범위에 있으며 반드시 정수는 아니다(그리고 대부분의 경우 아닐 것이다).

그러나 우리는 비선형 모델을 사용하는 것을 선호하며, 2차 방정식을 선택했다. 다른 비선형 방정식도 가능하며; 예컨대, 양자화 지수의 선형 및 대수 함수를 포함하는 관계가 시도되었으며, 그것을 해결하기 위한 수학적 방법을 사용할 준비가 된 경우라면 사용될 수 있을 것이다. 상기 2차 방정식 모델은:

비디오의 부호화된 연습 시퀀스로부터 얻어진 복호화된 픽처에 대한 주관적인 시험의 결과를 분석함으로써 얻어진 상기 상수들에 대한 경험값은 a= -0.0503; b=0.1742l; c1=0.072; c2=2.649이다. 마스킹 측정값(C)은 CS와 약간 다르게 계산된다(원한다면 후자가 사용될 수도 있다). 상기 2차식 모델은 분석적 솔루션을 갖기 때문에 목표와 같은 품질에 대한 QP의 값이 2차 방정식의 해결을 위해 보통의 공식을 적용하여 얻어질 수 있다는 이점을 갖는다.

상기 콘트라스트 측정값(C)은 픽처의 마스킹 능력의 측정이고 다음과 같이 계산된다. 각 휘도 픽셀에 대해, 상기 픽셀 좌측의 8 픽셀 블록이 고려되고 평균이 계산된다. 상기 픽셀의 콘트라스트는 이 평균과 상기 픽셀 값 사이의 차이의 절대값으로 설정된다. 상기와 같은 동일한 표현을 사용하면, 이것은 다음 식을 제공한다:

이 예에서 블록 길이 H=8이다.

전체 픽처에 대한 평균 콘트라스트는 개개의 픽셀 콘트라스트 값을 계산할 때 블록이 픽처 영역 내에 잔존하는 픽셀들에 대한 콘트라스트 값의 평균으로 계산된다:

우리의 선행 특허출원에서 설명된 시스템에서, 콘트라스트 측정값은 복호화된 픽처의 픽셀 D(x,y)로부터 얻어졌다. 그러나 여기서 복호화된 픽처는 부호화가 수행될 때까지 이용할 수 없으므로 우리는 부호화되지 않은 소스 픽처의 픽셀 휘도 값 A(x,y)을 사용한다. 소스 픽처에 대한 픽처 평균 콘트라스트 측정값(C_SOURCE)은 다음과 같다.

이 값은 식 12에서 C 대신에 사용될 수 있다. 그러나, 만일 정밀한 양자화기가 사용된다면(즉, 작은 양자화 지수와 스텝 크기를 가짐) 복호화된 픽처에서 관찰된 마스킹 효과는 원래 픽처에서와 거의 같지만, 더 거친 양자화에서 마스킹 효과는 변경될 것이다. 그러므로 본 발명의 바람직한 형태에서 우리는 마스킹 효과가 사용된 양자화 지수에 종속하여 변경된다는 사실을 고려하여 정정을 가한다. 그러나 양자화 지수는 미리 알 수 없으므로, 이 정정은 경험적으로 관찰된 C, C_SOURCE 및 T_iMOS 사이의 상호 관련에 기초한다.

이것을 행하는 한 가지 방법은 이것의 선형 (또는 다른) 모델을 사용하는 것이다:

여기서 α=-4; β=1; γ=0.9는 경험적 계수들이다. 이 계수들은 다음 절차에 의해 예측되었다.

(i) 상이한 유형의 자료를 포함하는 17개의 비디오 시퀀스가 사용되었으며, 총 5958개 픽처이다. 이것들은 20~51 범위의 상이한 양자화 지수 32개를 사용하여 부호화되고 복호화되었다. 이것은 픽처 당 32개의 결과를 제공했지만, 데이터 양을 감소시키기 위해 각 픽처에 대해 랜덤 QP에서 오직 하나의 결과만이 유지되었다.

(ii) 이들 픽처 각각에 있어서, 소스 콘트라스트 측정값(C_SOURCE)과 부호화된 콘트라스트(C)가 식 (14)와 식 (15)에 의해 계산되었다. 품질(iMOS)는 식 11에 의해 계산되었다.

(iii) 식 (16)을 위한 파라미터를 예측하기 위해 전체 데이터 세트에 단순히회귀 기법을 적용하는 것도 가능할 수 있다. 그러나, 일정 범위의 7개의 QP 값(20~26; 21~27)에 대해 각각 별도로 26번의 회귀분석을 수행하여 진행했다. 이것은 계수(α,β,γ)에 대한 26개의 값을 제공했고 도 4는 QP 에 대해 도시된 계수들을 보여주는 그래프이다.

(iv) 선택된 값들은 그래프의 중앙 부분에서 취한 대표적인 값들이다.

그러나 실제에 있어서, 이전 픽처가 동일한 목표 iMOS를 사용하여 이미 부호화되었을 때, 우리는 상이한 방법을 사용하는 것을 선호한다. 각 픽처가 복호화된 경우, 우리는 식 (14)를 사용하여 C의 값을 결정하고 T_iMOS(이것이 항상 상수가 아니라면), C_SOURCE 및 C를 저장한다. C_SOURCE가 주어진 새로운 픽처에 대해 C_CORR를 연산하기 위해, 다음 식을 사용한다.

여기서 C_PSOURCE(iMOS)와 Cp(iMOS)는 각각 이전에 부호화 및 복호화된 픽처에 대한 소스 콘트라스트와 부호화된 콘트라스트이다. 이를 위해 선택된 이전 픽처는 직전 픽처이거나, 또는(만일 직전 픽처가 동일한 목표 iMOS를 사용하지 않았다면) 동일한 목표 iMOS를 사용한 가장 최근의 픽처가 될 수 있다. "직전" 및 "가장 최근"을 사용함으로써 우리가 의미하는 것은 부호화 순서에서 고려되는 경우지만; 대안으로 이미 부호화된 프레임들의, 디스플레이 순서에서 고려된, 직전 또는 가장 최근 픽처를 선택하는 것일 수 있다. 또한 주목할 것은 동일하지 않지만 작은 공차(예컨대, ±0.2) 내에 있는 목표 iMOS를 가지고 이전에 부호화된 픽처; 즉, 후보 픽처는 충분히 새로운 픽처에 유사한 T_iMOS를 가질 수 있다 (이것은 이하에서 설명되는 대안적인 방법에도 적용된다).

이 선택에 대한 다른 방법이 이하에서 설명될 것이다. C_PSOURCE(iMOS)와 Cp(iMOS)를 이용할 수 없는 경우에, 식 (16)의 관계가 대신 사용된다. T_iMOS에 대한 단일 값만이 지정된 경우, 이것은 첫 번째 프레임만에 대한 경우일 것이다. 만일 대안으로 C_SOURCE가 지정된 T_iMOS를 가지고 부호화되는 첫 번째 프레임에 대해 정정되지 않고 사용된다면, 동일한 T_iMOS를 가지고 부호화되는 후속 프레임들에 대한 식 (17)의 후속적인 반복 사용은 마스킹 정정에서 오류를 점점 감소시킬 것이다.

이제 도 2를 참조하면, 단계 100에서, 목표 값(T_iMOS)을 규정하는 신호가 수신된다. 단계 102에서, 디지털 부호화된 픽처가 입력(1)에서 수신되어 메모리(5)에 저장된다. 그 다음 단계 104에서 상기 픽처는 C_SOURCE를 결정하기 위해 식 (15)에 의해 분석된다. 단계 106에서, 현재 T_iMOS에 대해 메모리 영역(51)에 저장된 데이터가 있는지에 대한 검사가 수행된다. 첫 번째 이 테스트는 없는 것으로 수행될 것이며; 따라서 단계 108에서 마스킹 값(C_CORR)이 식 (16)에 따라 계산된다. 다음, 단계 110에서 사용될 양자화 지수가 C 대신에 C_CORR을 사용하여 식 (12)에 의해 계산된다. 그 다음, 단계 112에서 상기 픽처는 상기 양자화 지수를 가지고 H.264 소프트웨어(42)를 사용하여 부호화되고 출력 버퍼(6)에 전송된다. 부호화된 픽처는 H.264에 의해 복호화된(단계 114) 다음 C에 대한 복호화된 값을 얻기 위해 식 (14)에 의해 분석된다(단계 116). 단계 118에서, 복호화된 픽처에 대한 다양한 데이터와 픽처 번호가 나중 사용을 위해 메모리 영역(51)에 저장된다. 필요한 정확한 데이터는 식 (17)을 적용하기 위해 사용할 이전에 부호화 및 복호화된 픽처를 결정하는데 사용하는 전략에 종속할 것이다. 상기 데이터는 부호화 순서에서 픽처 번호, 디스플레이 순서에서 픽처 번호, T_iMOS, C_SOURCE, C, 및 픽처 유형(I,P,B) 중 일부 또는 전부를 포함할 것이다.

프로세스는 그 다음에 단계 102로 복귀하여 다른 픽처를 수신하며, 이것도 동일한 방법으로 처리된다. 그러나 단계 106에서 이전에 하나 이상의 픽처가 현재의 T_iMOS 값으로 부호화된 것을 알았다면, 마스킹 값(C_CORR)은, 단계 108 대신에, 선택된 이전 부호화 및 복호화된 픽처에 대해 C_PSOURCE(iMOS)와 Cp(iMOS)의 값들을 참조하고 식 (17)을 적용함으로써 단계 120에서 얻어진다. 그 다음 프로세스는 단계 110에서 계속한다.

단계 120에서 사용될 이전에 부호화 및 복호화된 픽처에 대한 몇 개의 선택 옵션은 이미 설명되었다. 이제, 가장 최근의 픽처가 부호화될 픽처에 반드시 가장 유사하지 않을 가능성을 인지하는 다른 방법들이 설명될 것이다. 한 가지는 동일한 유형의 (어떤 의미에서든) 가장 최근의 픽처를 사용하는 것이며; 한 예로, 만일 현재 픽처가 B-픽처라면 우리는 가장 최근의 B-픽처를 사용하고, 만일 현재 픽처가 P 또는 I-픽처라면 우리는 B-픽처가 아닌 가장 최근의 픽처를 사용한다(다시 말해서, P-픽처와 I-픽처는 이 목적을 위해서는 동일한 "유형(type)"을 갖는 것으로 간주된다).

BBPBBP 부호화 구조에 대해, 이 옵션들의 처음 3개는 다음과 같은 출력을 제공하며, 픽처는 부호화 순서로 정렬되고 디스플레이 순서로 번호가 부여되어 있다.

"이전의 출력 픽처"와 "이전의 부호화된 동일 유형" 사이의 유일한 차이는 각 그룹에서 제 1 B 픽처에 대한 것임을 주목해야 한다. 전자의 경우에 상기 이전 픽처는 4 주기 이전에 부호화되어 직전에 디스플레이된 I 또는 P 픽처이며, 후자의 경우에는 2주기 이전에 부호화되고 디스플레이된 최종 그룹의 최종 B-픽처이다.

또 하나의 옵션은 현재 부호화되는 픽처에 유사한 것을 찾기 위해 이전에 부호화 및 복호화된 픽처들 중에서 탐색하는 것이다. 전형적으로 이것은 아마도 1초 또는 수 초의 짧은 시간 원도우에 종료될 것이다. 이를 위한 유사성의 한 가지 가능한 기준은 현재 픽처와 가장 가까운 소스 콘트라스트(C_SOURCE)의 값을 갖는 이전에 부호화 및 복호화된 픽처를 탐색하는 것이다. 다음의 매크로 FindSimilar는 현재 픽처의 소스 콘트라스트와 상기 이전 R 부호화된 픽처들 각각의 소스 콘트라스트를 비교함으로써 상기 이전 R 부호화된 픽처에서 가장 유사한 소스 콘트라스트를 찾는데 사용될 수 있다.

FindSimilar 매크로의 구현이 아래에 제시되어 있으며, 여기서 r은 픽처 번호이고, 제 1 픽처는 r=1이고 지정된 T_iMOS를 가지고 부호화된다.

가장 유사한 최근 픽처를 찾는 또 하나의 옵션은 픽처들 자체를 실제로 비교하는 것이지만 - 이것은 프로세서 파워를 너무 많이 요구한다. 만일 이 옵션이 사용된다면, 이 픽처들에 액세스할 필요가 있으며, 따라서 픽처들을 이미 이용할 수 없다면(예컨대 만일 부호화되는 전체 시퀀스가 이미 디스크(4)에 저장되었다면), 단계 118은 상기 전체 픽처 역시 저장할 필요가 있을 것이다.

우리는 버퍼에 M개의 픽처가 있다고 가정한다. 현재 픽처는 픽처 0으로 지칭되고, 가장 최근에 부호화된 픽처는 픽처 1로 가장 오래된 픽처는 픽처 M으로 지칭된다. 단계 200에서, 포인터(m)는 M으로 설정된다. 현재 픽처와 가장 잘 일치하는 픽처의 번호를 포함하는 B는 0으로 설정된다.

단계 202에서, 프레임 m에 대해 저장된 T_iMOS는 현재 픽처에 대한 T_iMOS와 비교되고 만일 그것들이 같지 않다면, m은 단계 204에서 감소되고, 프로세스는, 모든 저장된 픽처가 검사되어 프로세스가 종료될 때까지(단계 206), 단계 202로부터 반복된다.

만일 단계 202에서 일치가 발생하면 픽처(m)는 현재 픽처와 비교되어(단계 210) 절대 차이의 합계(△(m))를 얻는다:

만일 이것이 지금까지 최적 픽처에 대해 얻어진 절대 차이의 합계(△(B))보다 작으면, 단계 212에서 B는 m으로 설정된다. 어떤 경우든 그 다음에 프로세스는 단계 204로 진행한다.

단계 206 종료 시, 포인터 B는 현재 픽처와 가장 일치되는 픽처에 대한 픽처 번호(m)를 가질 것이며, 이것이 선택된다. 유일한 예외는 현재 픽처와 동일한 목표 iMOS를 갖는 이전에 부호화된 픽처가 존재하지 않을 때이다. 이때 B=0이고 1로 설정되며(단계 214) 그리하여 직전 픽처가 디폴트로 선택된다.

원한다면, 이 탐색 방법들은 현재 픽처와 동일한 유형(B 또는 I/P)의 픽처를 탐색하는 것으로 제한될 수 있다.

지금까지 이전에 부호화 및 복호화된 픽처를 탐색하는 다수의 방법들을 설명했다. 다른 방법들과 조합하여 사용하는 것도 가능하다. 아래의 코드에 제시된 한 가지 선호되는 방법은, 다음과 같다. 먼저, 동일한 유형(즉, B 또는 B가 아닌)의 이전 픽처를 고려하고, 만일 상기 픽처의 소스 콘트라스트가 현재 픽처와 유사하면, 그것을 사용한다. 그렇지 않으면, 다른 유형(각각 B 또는 B가 아닌)의 이전 픽처를 고려하고, 만일 상기 픽처의 소스 콘트라스트가 현재 픽처와 유사하다면(즉, 예컨대 ±20%의 한정된 공차 내), 그것을 사용한다. 그렇지 않고, 만일 이들 이전 픽처의 어느 하나의 소스 콘트라스트가 현재 픽처의 소스 콘트라스트와 유사하다면(예컨대, ±50%의 더 넓은 공차를 가짐), 가장 유사한(즉, 현재 픽처와 가장 가까운 소스 콘트라스트를 가진) 것을 선택한다. (이하에서 사용된 공차(tolerance)는 약간 상이하며; 2개의 콘트라스트를 비교하는데 사용된 기준은 더 작은 것에 대한 더 큰 것의 비율이 1.25(또는 더 넓은 공차에 대해서는 2.0)보다 작으면 유사한 것으로 간주된다는 것이다). 그렇지 않으면 식 (16)의 (단일 프레임) 방법을 사용해야 한다.

-----------

초기화 코드

픽처별 코드 (B 픽처에 대해서만 제시되고, I/P 픽처에 대한 else 구문에서 유사한 코드). "break"는 "while" 루프에서 이탈하는 것을 의미하며, 상기 while 루프는 사실은 루프가 아니고 유행에 뒤진 "goto" 구문을을 회피하기 위한 수단임을 주의해야 한다.

변형예

사용될 부호화 알고리즘은 적어도 하나의 가변 파라미터를 갖는 것으로 위에서 언급되었으며, 상기 양자화 지수는 하나의 예로서 제시되었다. 예컨대 서브샘플링또는 변환 계수의 폐기에 의해, 공간 해상도를 감소시킴으로써 코딩을 변경하는 것도 가능하다.

H.264 표준은 픽처 내의 상이한 매크로블록(16x16 픽셀)에 다른 양자화 스텝 크기가 할당되는 것을 허용한다. 원한다면, 한 픽처에 대해 사용될 양자화 지수를 결정하는 전술한 프로세스는 개별 매크로블록과 같은 한 픽처의 일부에 별도로 동등하게 잘 적용될 수 있을 것이다. 이것은 동일한 목표 품질이 전체 픽처에 대해 지정된 경우라도 행해질 수 있는데, 이것은 마스킹 효과가 변한다면 상이한 매크로블록에 대해 여전히 상이한 양자화 지수가 생성될 수 있기 때문이다. 또한 상이한 매클로블록에 대해(예컨대, 인트라-매크로블록 또는 인터-매크로블록에 대해) 상이한 목표 값을 지정할 가능성을 허용한다. 사실, 이것은 마스킹이 단지 전체 픽처에 대해서만 예측되는 경우라도 매클로블록 단위로 행해질 수 있다.

또한, 상기 선택은 어떤 다른 기준, 예컨대 관심의 초점에 기초하여 이루어질 수 있다: 즉, 보는 사람이 관심을 집중하지 않는 픽처의 부분들은 관심을 갖는 관심 영역만큼 잘 부호화될 필요가 없다. 관심영역 부호화는 ACM Transactions on Multimedia Computing, Communications, and Applications (TOMCCAP) Volume 3, Issue 4 (2007년 12월)에 실린 D. Agrafiotis, S.J.C. Davies, N. Canagarajah 및 D.R. Bull의 "Towards efficient context-specitic video coding based on gaze-tracking analysis"; 2006년 중국에서 개최된 Proceedings of the Picture Coding Symposium에서 발표된 Crabtree, B.의 "Video compression using focus of attention"; 및 우리의 국제 특허출원 제WO01/61648호에서 논의되었다.

매크로블록 내의 상이한 계수에 상이한 양자화 스텝 크기를 적용하는 것도 역시 가능하다. 양자화 지수는 지정된 다음 매트릭스를 적용하여 상이한 계수를 위해 조정된다. 이것은 MPEG2 및 H.264 표준에서 상세히 설명되어 있다. 식 (12)를 사용하여 얻어진 양자화 지수에 대한 값이 정수가 아닌 경우가 종종 있을 수 있다. 여러 가지 목적으로 이것을 가장 근사한 정수로 간단히 반올림하는 것으로 충분할 것이다. 그러나, 얻어진 비-정수 값과 같은 픽처에 대한 평균 양자화 지수를 얻을 필요가 있는 경우에는 다음과 같이 처리할 수 있다.

매크로블록은 16x16 픽처 영역이다. 상기 매크로블록은 독립적인 양자화 지수 값을 가질 수 있는 가장 작은 영역의 그림이다. 만일 픽처의 시작에서 계산된 평균_양자화 지수의 값(즉, QP)이 정수라면, 이때 필요한 것은 각 매클로블록에 대한 양자화 지수로서 이 정수 값을 설정하는 것이다. 만일 32.5와 같이 정수가 아니라면, 각 매크로블록에 대한 양자화 지수를 변경할 필요가 있다. 이 경우에, 예컨대 픽처의 상부에 대해 32를 사용하고 하부에 대해서는 33을 사용하는 것과 같이 이것이 행해질 수 있는 다수의 방법들이 존재한다. 그러나, 이와 같은 전략은 픽처의 상부가 하부보다 더 좋게 보일 수 있는 가시적인 효과를 보여줄 수 있다. 대안은 32, 33, 32, 33등으로 교대로 변경하는 것이다.

그러나, 이 교대 패턴 역시 문제가 있다. 한 매클로블록이 생략되면(부호화되지 않으면), 상기 매크로블록에 대한 부호화된 비트스트림에 정보가 존재하지 않고, 양자화 지수를 변경하는 것이 불가능하다. 그러므로 만일 제 2 매크로블록이 생략되고 양자화 지수로 32, 33, 32, 33을 설정하면, 복호화기에서는 패턴 32, 32, 32, 33이 수신될 것이며, 평균값은 계획대로 32.5가 아니라 32.25로 계산될 것이다.

따라서 복호화기가 비트스트림으로부터 복호화할 양자화 지수 값을 추적하고, 복호화기에서 평균값이 의도한 것과 같은지 확인할 필요가 있다.

다음의 의사-코드(pseudo-code)는 이것이 어떻게 구현되는지를 보여준다.

Claims (17)

1. 부호화(coding)의 품질에 영향을 주는 가변 파라미터를 갖는 부호화 알고리즘을 사용하는 비디오 부호화 방법에 있어서,
   품질 측정 파라미터에 대해 하나 이상의 목표 값을 지정하여 각각의 픽처(picture) 또는 한 픽처의 일부가 상기 목표 값을 갖도록 하는 단계;
   부호화되는 각각의 픽처 영역에 대해, (a) 상기 픽처 영역에 대한 상기 목표 값과 (b) 상기 픽처 영역의 픽처 콘텐츠에 종속하는 지각 마스킹 측정값에 기초하여 상기 가변 파라미터에 대한 값을 다른 픽처와 관계없이 상기 값들 사이의 미리 정해진 관계에 따라 예측하는 단계; 및
   상기 예측된 값을 사용하여 상기 픽처 영역을 부호화하는 단계를 포함하고, 상기 픽처 영역은 픽처 또는 픽처의 일부인 것을 특징으로 하는 비디오 부호화 방법.
2. 제 1 항에 있어서,
   상기 마스킹 측정값은 상기 픽처 영역을 부호화하기 전에 부호화되는 픽처의 픽셀값으로부터 생성되는 것을 특징으로 하는 비디오 부호화 방법.
3. 제 2 항에 있어서,
   상기 마스킹 측정값은 상기 픽처 영역의 공간 복잡도의 측정값인 것을 특징으로 하는 비디오 부호화 방법.
4. 제 2 항 또는 제 3 항에 있어서,
   상기 마스킹 측정값은, 부호화되는 픽처의 픽셀값으로부터 소스 마스킹 측정값을 끌어내고 이 측정값을 상기 부호화 알고리즘의 마스킹 정도에 대한 효과 예측에 따라 수정함으로써 상기 픽처 영역을 부호화하기 전에 생성되는 것을 특징으로 하는 비디오 부호화 방법.
5. 제 4 항에 있어서,
   상기 마스킹 측정값은 (a) 상기 소스 마스킹 측정값과 (b) 상기 픽처 영역에 대한 품질 측정 파라미터의 목표 값의 함수인 것을 특징으로 하는 비디오 부호화 방법.
6. 제 3 항 또는 제 4 항에 있어서,
   픽처를 부호화한 후,
   상기 픽처의 복호화된 버전을 생성하는 단계;
   상기 복호화된 픽처의 마스킹 측정값을 결정하는 단계; 및
   (a) 상기 복호화된 픽처에 대한 마스킹 측정값과 상기 소스 픽처에 대한 마스킹 측정값 또는 (b) 상기 복호화된 픽처에 대한 마스킹 측정값과 상기 소스 픽처에 대한 마스킹 측정값 사이의 관계를 나타내는 데이터 중 어느 하나를 저장하는 단계를 포함하고,
   첫 번째 외의 부호화되는 픽처 영역에 대한 소스 마스킹 측정값을 수정하는 단계는 부호화될 픽처와 동일하거나 유사한 품질 측정 파라미터의 목표값을 사용하여 부호화된 이전에 부호화 및 복호화된 픽처에 대한 마스킹 측정값과 이전에 부호화 및 복호화된 동일한 픽처에 대한 소스 마스킹 측정값 사이의 관계에 따라 상기 측정값을 크기 조정하는 단계를 포함하는 것을 특징으로 하는 비디오 부호화 방법.
7. 제 6 항에 있어서,
   상기 관계는 이전에 부호화 및 복호화된 픽처에 대한 마스킹 측정값과 이전에 부호화 및 복호화된 동일한 픽처에 대한 소스 마스킹 측정값의 비율인 것을 특징으로 하는 비디오 부호화 방법.
8. 제 6 항 또는 제 7 항에 있어서,
   상기 이전에 부호화 및 복호화된 픽처는 부호화되는 픽처와 동일하거나 유사한 목표 값을 가지고 부호화된 한 세트의 픽처 중 상기 픽처가 부호화되는 순서에 있어서 가장 최근의 픽처인 것을 특징으로 하는 비디오 부호화 방법.
9. 제 6 항 또는 제 7 항에 있어서,
   상기 이전에 부호화 및 복호화된 픽처는 부호화되는 픽처와 동일하거나 유사한 목표 값을 가지고 부호화된 한 세트의 픽처 중 상기 픽처가 디스플레이되는 순서에 있어서 가장 최근의 픽처인 것을 특징으로 하는 비디오 부호화 방법.
10. 제 6 항 또는 제 7 항에 있어서,
    부호화될 픽처와 이전에 부호화된 한 세트의 픽처를 비교하는 단계; 및
    부호화되는 픽처에 높은 유사성을 갖는 이전에 부호화된 픽처들 중 하나를 선택하는 단계를 추가로 포함하고,
    부호화되는 픽처에 대한 소스 마스킹 측정값의 크기 조정을 위해 사용된 관계는 상기 선택된 픽처의 소스 마스킹 측정값인 것을 특징으로 하는 비디오 부호화 방법.
11. 제 10 항에 있어서,
    부호화되는 픽처와 이전에 부호화된 픽처 사이의 유사도는 상기 2개 픽처의 소스 마스킹 측정값을 비교함으로써 결정되는 것을 특징으로 하는 비디오 부호화 방법.
12. 제 10 항에 있어서,
    부호화되는 픽처와 이전에 부호화된 픽처 사이의 유사도는 상기 2개 픽처의 픽셀 값을 비교함으로써 결정되는 것을 특징으로 하는 비디오 부호화 방법.
13. 제 8 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 픽처 세트는 미리 결정된 수의 픽처이고, 부호화되는 픽처와 동일하거나 유사한 목표 값을 가지고 부호화된 가장 최근의 픽처들인 것을 특징으로 하는 비디오 부호화 방법.
14. 제 8 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 픽처 세트는 미리 결정된 수의 픽처이고, 부호화되는 픽처와 동일하거나 유사한 목표 값을 가지고 부호화된 가장 최근의 픽처들로부터 선택된 것이고, 상기 선택은 부호화되는 픽처의 예측 유형에 기초하는 것을 특징으로 하는 비디오 부호화 방법.
15. 제 14 항에 있어서,
    부호화될 픽처가 양방향 예측을 사용하여 부호화되는 경우 상기 픽처 세트는 양방향 예측을 사용하여 부호화된 픽처로 구성되고, 부호화될 픽처가 양방향 예측을 사용하지 않고 부호화되는 경우 상기 픽처 세트는 양방향 예측을 사용하지 않고 부호화된 픽처로 구성되는 것을 특징으로 하는 비디오 부호화 방법.
16. 제 1 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 가변 파라미터는 양자화 파라미터인 것을 특징으로 하는 비디오 부호화 방법.
17. 제 1 항 내지 제 16 항 중 어느 한 항에 있어서,
    상기 가변 파라미터, 상기 품질 측정 및 상기 마스킹 측정값 사이의 미리 결정된 관계는 비디오 자료에 대한 부호화 연습 시퀀스의 결과를 분석하여 결정되는 것을 특징으로 하는 비디오 부호화 방법.

Images