KR20040028334A - Ｈ.263 영상 부호화에 의한 왜곡량 예측 장치 및 그 방법 - Google Patents

Abstract

본 발명은 H.263 영상 부호기로 영상을 부호화할 때 발생되는 왜곡량을 부호화 하기 이전에 정확히 예측함으로써 왜곡 제약조건을 가진 영상의 부호율 제어에 적용할 수 있는 왜곡량 예측 장치 및 그 방법에 관한 것으로,

본 발명에 따른 왜곡량 예측장치는, 영상 부호화 시스템으로 영상을 부호화할 때 발생되는 왜곡량을 부호화 하기 이전에 예측하기 위한 장치에 있어서, 입력되는 모든 이산여현변환(DCT) 계수에 대해 해당 양자화 변수값을 적용하여 양자화를 수행하는 다수개의 양자화기; 일대일 대응되는 상기 다수개의 양자화기를 통해 양자화한 결과로 발생된 왜곡량을 역양자화 과정을 통해 계산하는 다수개의 왜곡량 계산수단; 및 상기 다수개의 양자화기의 양자화 변수값과 상기 다수개의 왜곡량 계산수단에 의해 계산된 결과를 이용해 세 개의 모델 변수를 계산하는 모델변수 결정수단을 포함한다.

Description

Ｈ.263 영상 부호화에 의한 왜곡량 예측 장치 및 그 방법{Apparatus and method for prediction of distortion in H.263 video coding}

본 발명은 H.263 영상 부호화 시스템으로 영상을 부호화할 때 발생되는 왜곡량을 부호화 하기 이전에 예측하는 장치 및 그 방법에 관한 것이다.

영상 부호화에 의한 왜곡량을 부호화 이전에 예측하기 위한 종래의 방법으로 다음과 같은 두 가지 방식이 사용되었다.

첫번째 방식은 수학식 1과 같은 고해상도 균일 양자화기로부터 유도된 왜곡량 예측 방식이다.

원영상 신호(original video signal)X와 재생된 영상 신호(reconstructed video signal)의 평균제곱오류(mean square error) 왜곡는 양자화 변수값(Q _P )에 따라 증가한다. 고해상도 균일 양자화기(high precision uniform quantizer)의 경우에는 왜곡과 양자화 스텝크기(Q _S : quanization step size) 또는 양자화 변수값(Q _P ) 와의 관계가 전술한 수학식 1과 같은 제곱 함수로써 근사화 된다.

그러나, 이와 같은 종래의 수학식은 양자화 변수 값이 작은 경우에는 어느 정도 유효하지만, 큰 경우에는 제대로 근사화 하지 못한다. 도1은 수학식 1로 계산된 왜곡 값과 실제 영상에서 측정된 왜곡량 간의 차이를 보여주고 있다. 계산된 왜곡량은 큰Q _P 값에서 급격하게 증가하는 반면, 실제 측정된 왜곡량(estimated distortion)은 특정한 값으로 포화되어 가는 추세를 보이기 때문에Q _P 값이 증가할수록 차이는 점점 커지게 된다.

다음 두번째 방식는 수학식 2와 같은 2차식 D-Q 모델이다.

이와 같은 두번째 왜곡 예측 모델은 단지 실제 영상을 부호화 했을 때 나타나는 왜곡량이 양자화 변수에 대하여 근사적으로 포물선 모양으로 증가한다는 현상의 관찰로부터 단순히 2개의 모델 변수만을 사용하는 2차식으로 도식화한 것인데, 실제로 모든 영상의 왜곡량이 양자화 변수에 대해 포물선 모양으로 증가하지는 않기 때문에, 2차식으로 이들의 관계를 충분히 정확하게 표현할 수 없으므로 예측 오차가 여전히 큰 단점이 있다.

따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명은 H.263 영상 부호기로 영상을 부호화할 때 발생되는 왜곡량을 부호화하기 이전에 정확히 예측함으로써 왜곡 제약조건을 가진 영상의 부호율 제어에 적용할 수 있는 왜곡량 예측 장치 및 그 방법을 제공하는데 그 목적이 있다.

도1은 왜곡량과 양자화 변수와의 관계를 나타내는 그래프.

도2는 Q²/D의 이차식 근사화 과정을 나타낸 그래프.

도3은 본 발명이 적용되는 H.263 영상 부호화 시스템의 블록 구성도.

도4는 본 발명에 따른 왜곡량 예측기의 블록 구성도.

도5는 양자화 변수 값에 따른 본 발명의 왜곡량 예측기의 예측 성능을 나타내는 그래프.

도6은 본 발명에 따른 왜곡량 예측기의 예측 성능(Qp=10인 경우)을 나타낸 그래프.

*도면의 주요 부분에 대한 부호의 설명

21a 내지 21c : 양자화기

22a 내지 22c : 왜곡량 계산부

23 : 모델변수 결정부

상기 목적을 달성하기 위한 본 발명에 따른 왜곡량 예측장치는, 영상 부호화 시스템으로 영상을 부호화할 때 발생되는 왜곡량을 부호화 하기 이전에 예측하기 위한 장치에 있어서, 입력되는 모든 이산여현변환(DCT) 계수에 대해 해당 양자화 변수값을 적용하여 양자화를 수행하는 다수개의 양자화기; 일대일 대응되는 상기 다수개의 양자화기를 통해 양자화한 결과로 발생된 왜곡량을 역양자화 과정을 통해 계산하는 다수개의 왜곡량 계산수단; 및 상기 다수개의 양자화기의 양자화 변수값과 상기 다수개의 왜곡량 계산수단에 의해 계산된 결과를 이용해 세 개의 모델 변수를 계산하는 모델변수 결정수단을 포함한다.

또한, 본 발명에 따른 왜곡량 예측방법은, 영상 부호화 시스템으로 영상을 부호화할 때 발생되는 왜곡량을 부호화 하기 이전에 예측하기 위한 방법에 있어서, 입력되는 모든 이산여현변환(DCT) 계수에 대해 해당 양자화 변수값을 각각 적용하여 양자화를 수행하는 제1 단계; 상기 각각의 양자화 결과로 발생된 왜곡량을 역양자화 과정을 통해 계산하는 제2 단계; 및 상기 양자화 변수값과 상기 계산된 왜곡량을 이용해 세 개의 모델 변수를 계산하는 제3 단계를 포함한다.

또한, 본 발명은 영상 부호화 시스템으로 영상을 부호화할 때 발생되는 왜곡량을 부호화 하기 이전에 예측하기 위해, 컴퓨터에서, 입력되는 모든이산여현변환(DCT) 계수에 대해 해당 양자화 변수값을 각각 적용하여 양자화를 수행하는 제1 단계; 상기 각각의 양자화 결과로 발생된 왜곡량을 역양자화 과정을 통해 계산하는 제2 단계; 및 상기 양자화 변수값과 상기 계산된 왜곡량을 이용해 세 개의 모델 변수를 계산하는 제3 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

본 발명에서 사용된 왜곡량 예측 방법은 한 프레임에 대한 왜곡량과 양자화 변수간의 관계가 수학식 1처럼 고정되어 있지도 않으며, 또 수학식 2처럼 단순히 Qp에 대한 2차식으로 표현될 수도 없다는 사실로부터 양자화 변수 값이 작은 경우에는 선형(linear) 관계로 근사화되다가 양자화 변수 값이 증가할수록 일정한 왜곡량 값으로 포화(saturation)되는 특성을 보인다는 관찰 결과를 예측 방법의 모델로 정형화 하였다.

본 발명에서는n번째 프레임을 어떤Q _P 값으로 양자화 하였을 때 발생되는 왜곡량을 D_n(Q_P)이라 했을 때, 임의의 Q_P, 1≤Q_P≤31에 대해 Q_P ²/D_n(Q_P)가 일정하지 않고 수학식 3과 같이Q _P 에 대한 2차 함수로 표현할 수 있다는 관찰로부터 수학식 4와 같은 왜곡량 예측 모델을 제시한다.

여기서는 모델 변수로서 세 개의Q _P 값을 적용함으로써 쉽게 얻을 수 있는 값들이며, 이 값들을 얻기 위한 추가의 지연은 발생하지 않는다.

도2는 Q_P ²/D_n(Q_P)가 수학식 3과 같이 2차 함수로 거의 정확하게 근사화 됨을 보여주고 있다. 이 왜곡 예측 모델로 설명할 수 있는 직관적인 해석은Q _P 가 작은 경우에는 수학식 4가Q _P 에 대한 1차식으로 근사화 될 수 있으며,Q _P 가 큰 경우에는 1/α_n값을 향해 포화되어 간다는 것으로서, 도1에서 확인할 수 있듯이 실제 영상에서 측정된 왜곡량의 증가 추세를 잘 반영하고 있다.

따라서, 정확하게 왜곡량을 예측하기 위해서는 H.263 영상 부호화 시스템에 왜곡 예측 장치를 장착하고 관련 기능을 추가하여야 한다.

도3은 본 발명이 적용되는 H.263 영상 부호화 시스템의 블록 구성도로서, 상기 영상 부호화 시스템은 공지의 기술로서, 이하에서는 간략하게 설명하기로 한다.

입력 영상은 움직임 추정 및 움직임 보상부(ME/MC: Motion Estimation/Motion Compensation)(5)에 의해 움직임 추정 및 보상이 이루어지며, 움직임 보상된 영상은 가산기(1)를 통해 이산여현변환부(DCT; 2)로 입력된다. DCT부(2)는 원영상과 움직임 보상된 재생 영상 사이의 오차 신호를 이산여현변환 부호화하는 기능을 수행하며, DCT계수 메모리(3)는 DCT 변환계수를 일시적으로 한 프레임 시간 정도 동안 저장하는 역할을 수행한다. 양자화부(Q: quantization)(6)는 DCT계수를 양자화하는 기능을 수행한다. 역양자화부(Q^-1)(7)는 양자화된 DCT계수를 역양자화하며, 역이산여현변환부(IDCT)(8)는 DCT 역변환으로서, 역양자화된 DCT계수를 화소 영역으로 변환시킨다. 가변길이부호화부(VLC: variable length coding)(10)는 양자화된 DCT계수와 각종 헤더 정보, 제어 정보 등을 가변길이 부호화한다. 버퍼(11)는 가변 비트율로 생성되는 영상부호기의 출력 비트율을 일정한 채널전송율로 전달하기 위한 완충 장치이다.

부호율 제어기(9)는 본 발명에 따른 왜곡량 예측기(12)의 출력 정보, 출력 비트량을 사전에 예측함으로써 부호화할 대상 프레임에 할당할 수 있는 목표 비트량을 정하는데 사용되는 비트량 예측기(4)의 출력 정보, 버퍼의 충만도 등에 관한 정보를 입력으로 받아들여, 사전에 규정되어 있는 부호율 제어의 제약 조건들을 만족시키도록 부호기의 발생 비트량을 제어한다.

DCT부(2)에 의해 생성된 DCT 계수들은 한편으로는 DCT계수 메모리(3)에 저장되면서, 동시에 본 발명에 따른 왜곡량 예측기(12)로 입력된다. 입력된 DCT 계수들을 가지고 왜곡량 예측기(12)는 왜곡 예측 모델 변수를 구해 임의의 Qp값에 대한 대한 프레임당 발생될 왜곡량을 예측한다.

도4는 도3에 도시된 본 발명에 따른 왜곡량 예측기의 상세 블록 구성도이다.

양자화기 Qi(21a 내지 21c)는 모델 변수를 구하기 위해, 입력되는 모든 이산여현변환(DCT) 계수에 대해 해당 양자화기(Qi, i=1,2,3)의 양자화 변수값을 적용하여 양자화한다.

왜곡량 계산부(22a 내지 22c)는 일대일 대응되는 해당 양자화기로 양자화한 결과로 발생된 왜곡량을 계산한다. 왜곡량의 계산은 H.263 영상부호화의 역양자화 과정으로부터 쉽게 수행되는 것으로 여기서는 이에 대한 구체적인 설명을 생략한다.

모델변수 결정부(23)는 양자화기의 양자화 변수값과 왜곡량 계산부에 의해 계산된 왜곡량으로 표현되는 세 개의 (Di,Qi) 쌍으로부터 세 개의 모델 변수를 구한다. 즉, 전술한 수학식 4와 같이 왜곡량 계산부의 왜곡량 D_n(Q_p)와 세개의 양자화 변수값 Qp를 적용하여의 세 모델 변수를 계산하고, 계산된 모델 변수를 부호율 제어기(도3의 9)로 제공한다.

이상에서 양호한 실시예에 근거하여 이 발명을 설명하였지만, 이러한 실시예는 이 발명을 제한하려는 것이 아니라 예시하려는 것이다. 이 발명이 속하는 분야의 숙련자에게는 이 발명의 기술사상을 벗어남이 없이 위 실시예에 대한 다양한 변화나 변경 또는 조절이 가능함이 자명할 것이다. 그러므로, 이 발명의 보호범위는 첨부된 청구범위에 의해서만 한정될 것이며, 위와 같은 변화예나 변경예 또는 조절예를 모두 포함하는 것으로 해석되어야 할 것이다.

전술한 바와 같은 본 발명에 따른 왜곡량 예측 방법의 성능을 평가하기 위해 시험 영상을 사용하여 모의 실험을 수행하였다.

먼저, 모든 양자화 변수 값에 대한 부호화에 의한 실제 측정된 왜곡량(measured distortion)과 본 발명에 의해 예측된 왜곡량(estimated distortion)은 도5와 같다. 시험에 사용된 영상은 CIF(common intermediate format) 규격의 'Foreman' 영상 20번째 프레임과 SIF(standard input format) 규격의 'Susie' 영상 20번째 프레임이며, 영상 부호화 알고리즘은 H.263을 사용하였다. 이 모의 실험에서 세 개의 모델 변수를 얻기 위해 사용한 양자화기는 Qp={5,15,25}이다. 모든 양자화 변수에 대하여 본 발명의 방법으로 예측된 결과가 실제 측정된 결과를 거의 정확하게 예측함을 알 수 있다.

그 다음 양자화 변수를 고정하고 연속 영상에 대해 모의 실험을 수행하였다. 시험에 사용된 영상은 'Foreman' 영상 100 프레임과 'Susie' 영상 100 프레임을 사용하였으며, 부호화 알고리즘은 H.263을 사용하였고, 세 개의 모델 변수를 얻기 위해 사용한 양자화기는 Qp={5,15,25}이다. 모든 영상 시퀀스에 대해 하나의 양자화 변수값 Qp=10만을 사용하여 가변 비트율(VBR: variable bit rate)로 부호화 하였다.

도6은 연속 영상에 대해 본 발명의 왜곡 예측기에 의해 예측된(estimated) 결과와 실제 측정한(measured) 결과와의 비교를 보여주고 있다. 본 발명에 따른 왜곡량 예측 방법은 대부분의 영상에서 나타나는 왜곡량과 양자화 변수와의 관계를 일반화시켜 모델링하였기 때문에 대단히 정확한 예측이 가능하다.

따라서, 본 발명에 의한 효과를 요약하면 다음과 같다.

1) 기존의 왜곡량 예측 방법보다도 더 정확한 왜곡량 예측으로 왜곡 제약 조건을 가지는 영상 부호율 제어를 훨씬 더 효율적으로 수행할 수 있다.

2) 비트량 예측기에서 1 프레임 시간 정도의 처리 지연이 발생하는데, 이 지연 시간동안 비트량 예측과 동시에 왜곡량을 예측할 수 있기 때문에 비트량 예측기와 함께 사용하는 경우에는 추가의 지연이 없으나, 왜곡량 예측기 단독으로 사용하는 경우에는 최대 1 프레임 시간 정도의 지연이 발생할 수 있다.

Claims (5)

1. 영상 부호화 시스템으로 영상을 부호화할 때 발생되는 왜곡량을 부호화 하기 이전에 예측하기 위한 장치에 있어서,

   입력되는 모든 이산여현변환(DCT) 계수에 대해 해당 양자화 변수값을 적용하여 양자화를 수행하는 다수개의 양자화기;

   일대일 대응되는 상기 다수개의 양자화기를 통해 양자화한 결과로 발생된 왜곡량을 역양자화 과정을 통해 계산하는 다수개의 왜곡량 계산수단; 및

   상기 다수개의 양자화기의 양자화 변수값과 상기 다수개의 왜곡량 계산수단에 의해 계산된 결과를 이용해 세 개의 모델 변수를 계산하는 모델변수 결정수단을 포함하는 왜곡량 예측장치.
2. 제 1 항에 있어서,

   상기 모델변수 결정수단은, 아래의 수학식을 통해 세개의 모델변수를 계산하는 것을 특징으로 하는 왜곡량 예측장치.

   여기서Q _P 는 양자화 변수값, D_n(Q_P)는 n 번째 프레임을 어떤 양자화 변수값으로 양자화 하였을 때, 발생되는 왜곡량을 각각 나타낸다.
3. 영상 부호화 시스템으로 영상을 부호화할 때 발생되는 왜곡량을 부호화 하기 이전에 예측하기 위한 방법에 있어서,

   입력되는 모든 이산여현변환(DCT) 계수에 대해 해당 양자화 변수값을 각각 적용하여 양자화를 수행하는 제1 단계;

   상기 각각의 양자화 결과로 발생된 왜곡량을 역양자화 과정을 통해 계산하는 제2 단계; 및

   상기 양자화 변수값과 상기 계산된 왜곡량을 이용해 세 개의 모델 변수를 계산하는 제3 단계를 포함하는 왜곡량 예측방법.
4. 제 3 항에 있어서,

   상기 제3 단계는, 아래의 수학식을 통해 세개의 모델변수를 계산하는 것을 특징으로 하는 왜곡량 예측방법.

   여기서Q _P 는 양자화 변수값, D_n(Q_P)는 n 번째 프레임을 어떤 양자화 변수값으로 양자화 하였을 때, 발생되는 왜곡량을 각각 나타낸다.
5. 영상 부호화 시스템으로 영상을 부호화할 때 발생되는 왜곡량을 부호화 하기 이전에 예측하기 위해, 컴퓨터에서,

   입력되는 모든 이산여현변환(DCT) 계수에 대해 해당 양자화 변수값을 각각 적용하여 양자화를 수행하는 제1 단계;

   상기 각각의 양자화 결과로 발생된 왜곡량을 역양자화 과정을 통해 계산하는 제2 단계; 및

   상기 양자화 변수값과 상기 계산된 왜곡량을 이용해 세 개의 모델 변수를 계산하는 제3 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.