KR100778473B1 - 비트율 제어 방법 - Google Patents

Abstract

본 발명은 비트율 제어 방법에 관한 것으로 특히, 이전 부호화 과정에서 계산된 SAD 정보를 이용하여 비트율을 제어함으로써 계산상의 복잡도를 줄이면서 효율면에서도 종래와 비슷한 성능을 갖도록 함을 목적으로 한다. 이러한 목적의 본 발명은 영상 부호화 방법에 있어서, 움직임 탐색 영역 내에서 현재 영상과 이전 영상과의 차를 비교하여 절대값 합(SAD)을 구하는 단계와, 상기 절대값 합(SAD)에 따라 부호화 모드를 인트라 모드 또는 인터 모드로 결정하는 단계와, 상기 결정된 부호화 모드에 해당하는 양자화 간격(QP)을 산출하는 단계를 수행하여 매크로 블럭 단위의 전송 비트율을 조절하는 것을 특징으로 한다.

Description

비트율 제어 방법{BIT RATE CONTROL METHOD}

도1은 일반적인 부호화기의 비트율 제어 장치의 블럭도.

도2는 본 발명의 실시예를 위한 비트율 제어 장치의 블럭도.

* 도면의 주요 부분에 대한 간단한 설명 *

201 : 감산기 202 : 스위치

203 : DCT 변환부 204 : 양자화기

205 : 엔트로피 코딩부 206 : 역양자화기

207 : IDCT 변환부 208 : 가산기

209 : 영상 메모리 210 : 움직임 추정부

211 : 비트율 제어부

본 발명은 영상 처리 시스템에 관한 것으로 특히, 동영상 부호화에 있어서 비트율 제어 방법에 관한 것이다.

일반적으로 영상 전화(Video Phone) 또는 영상 회의(Video Conference)와 같은 실시간 비디오 전송 응용을 위해서는 비디오 데이터 전송시 낮은 end-to-end delay(지연)이 반드시 요구된다.

상기 지연은 비디오 프레임들이 일정한 비트율의 통신 채널을 통해 전송되는데 필요한 시간 즉, 비디오 소스가 캡쳐되어 주어진 프레임율(초당 프레임수)로 부호화되고 그 부호화된 비트가 일정한 비트율을 가진 통신 채널을 통하여 전송되는 시간 때문에 발생된다.

예를 들어, 프레임율을 F, 비트율을 R이라 가정하면 부호화기는 1/F초의 프레임 간격동안 B=R/F 만큼의 데이터를 보낼 수 있다.

만약, 부호화될 첫번째 프레임이 B' 비트로 부호화되고 B'가 B보다 크다면 (B'-B) 비트는 한 프레임 간격 내에는 전송될 수 없고 부호화기의 버퍼에 그대로 남아 있어서 그 다음 프레임 간격에 보내지게 된다.

이 경우, 복호화기는 모든 비트를 받기 위해서 한 프레임 간격 후 부가적으로 (B-B')/R 초 동안을 더 기다려야 한다.

반대로, B' 비트가 B 비트보다 작다고 한다면 프레임 간격 내에 프레임 구성 을 위한 모드 비트를 받기는 하겠지만 (B-B') 비트가 낭비될 것이다.

따라서, 낮은 지연(low-delay)의 비디오 통신을 위하여 대략 B 비트로 비디오 프레임을 효율적으로 부호화하도록 비트율 조절 방법을 적용하게 된다.

일반적으로 비트율 조절 방법은 크게 프레임 단위의 비트율 조절 방법과 매크로 블럭 단위의 비트율 조절 방법의 2가지 방법으로 크게 나뉘어진다.

우선, 프레임 단위의 비트율 조절 방법은 버퍼에 있는 비트 수가 목표로 하는 비트수를 초과하는 경우 버퍼량이 목표 비트량 이하로 될 때까지 하나 이상의 비디오 프레임 부호화를 생략(skip)하게 되는데, 이는 다음번 프레임이 부호화될 때에 버퍼에서의 지연을 줄이고 버퍼가 넘치는 것(overflowing)을 방지하기 위한 것이다.

이러한 방법의 경우 프레임 스킵핑은 장면 절환이 발생하거나 인트라 매트로 블럭을 가진 몇몇 프레임이 전송되어져야만 할 때에는 바람직하지만, 움직임에 있어서는 부자연스런 급격한 동작 변화를 일으키게 되므로 가능하면 피해야 한다.

그리고, 상기의 방법에서는 몇몇 프레임들이 목표로 하는 B 비트보다 더 적은 비트로 부호화될 때 부호화기는 곧 비트를 전부 소모하게 되어 어떠한 비트도 채널을 통해 전송되지 않는 시간이 발생하는데, 이를 버퍼 언더플로우(underflow)라 하며 이로 인해 비디오 시퀀스는 더 낮은 비트로 부호화되고 그에 따라 화질도 떨어지게 된다.

따라서, 본 발명에서는 매크로 블럭 단위의 비트율 조절 방법을 종래의 기술로 제시하여 설명하기로 한다.

종래 기술에서의 매크로 블럭 단위의 비트율 조절 방법은 각 프레임당 목표로 하는 비트를 최대한 맞추고 일정한 양자화 간격(QP)으로 전체 프레임을 부호화할 때 흔히 발생하는 프레임 스킵핑의 문제점을 해결하기 위해 매크로 블럭당 양자화 간격(QP)을 변화시킴으로써 구현할 수 있다.

종래의 매크로 블럭 단위의 비트율 조절 방법을 이용한 부호화기는 도1의 블럭도에 도시된 바와 같이, 감산기(101), 스위치(102), DCT 변환부(103), 양자화기(104), 엔트로피 코딩부(105), 역양자화기(106), IDCT 변환부(107), 가산기(108), 영상 메모리(109), 움직임 추정부(110) 및 비트율 제어부(111)를 구비하여 구성되며, 그 동작을 설명하면 다음과 같다.

프레임 메모리(도면 미도시)에 필드 또는 프레임 단위로 원영상이 일시 저장된 후 출력되면 감산기(101)가 메모리 영상과 재구성 영상의 차분신호를 출력하며 스위치(102)가 메모리 영상 또는 상기 차분신호중 하나를 DCT 변환부(103)에 입력시키게 된다.

상기 DCT 변환부(103)에서 DCT 변환된 결과치(DCT 계수)는 양자화기(104)에서 양자화된 후 엔트로피 코딩부(105) 및 역양자화기(106)로 입력된다.

상기 역양자화기(106)는 양자화 신호를 역양자화하여 IDCT 변환부(107)를 통해 역 DCT된 이미지를 구함으로써 현재 입력된 영상을 복원하게 된다.

상기에서 복원된 영상은 가산기(108)에서 움직임 보상된 신호와 합산되어 영상 메모리(109)에 저장된 후 움직임 추정부(110)로 입력시키게 된다.

상기 움직임 추정부(110)는 영상 메모리(109)로부터 입력되는 다음 부호화하고자 하는 영상의 움직임을 예측하게 되는데, 탐색 영역 내에서 현재 영상과 움직임을 예측하고자 하는 영상을 비교하여 움직임 벡터(MV)를 구한 후 엔트로피 코딩부(105)로 출력함과 아울러 그 움직임 벡터(MV)값에 따라 움직임 보상된 영상을 감산기(101) 및 가산기(108)로 출력하게 된다.

따라서, 상기와 같은 동작을 반복 수행함에 의해 엔트로피 코딩부(105)는 양자화 제어된 최종 영상 정보를 코딩한 후 움직임 벡터(MV)와 함께 채널을 통해 복호화기측으로 전송하게 된다.

이에 따라, 비트율 제어부(111)는 엔트로피 코딩부(105)의 출력단 버퍼 용량을 검출하여 양자화 간격(QP)를 산출하고 그 양자화 간격(QP) 값으로 양자화기(104)의 양자화율을 제어하게 된다.

한편, 상기 동작에서 매크로 블럭 단위의 비트율 제어를 위해 양자화 간격(QP)을 구하는 과정을 수식으로 설명하면 다음과 같다.

우선, 프레임에서 매크로 블럭의 수가 N이라 하면 총 비트수(B)는 아래의 식(1)과 같이 나타낼 수 있다.

----- (1)

여기서, 일반적으로 i번째 매크로 블럭을 부호화하는데 필요한 비트수는 아래의 식(2)와 같이 표현되는 부호화 모델을 일반적으로 사용한다.

------ (2)

여기서,

는 양자화 스텝 사이즈로서

이고, K와 C는 실험적으로 정해지는 상수이며,

는 인트라 또는 움직임 보상된 매크로 블럭의 밝기 및 색 성분의 표준 편차이다.

상기 표준편차(

)는 다음과 같은 식(3)과 같이 정해진다.

-------- (3)

여기서,

는 i번째 매크로 블럭의 j번째 화소의 밝기값이고,

는 매크로 블럭에서 j번째 색성분의 값이며,

는 밝기 및 색성분의 평균치이다.

상기 평균치(

)는 아래의 식(4)와 같이 표현된다.

--------- (4)

이때, Distortion Model을 이용하여 ITU-T H.263+의 매크로 블럭당 QP를 구하는 과정을 설명하면 다음과 같다.

이 경우,

: 목표로 하는 비트,

: 프레임당 매크로 블럭의 수라고 가정할 때

는 다음과 같이 계산할 수 있다.

이에 따라,

이면 (running out of bits), set

, 그렇지 않으면

,

로 계산한다.

위 식을 살펴보면 부호화 모델은 표준 편차(

)에 의해 주로 결정되며 양자화 간격(QP)을 조절하는 주요소로 이용됨을 알 수 있다.

그러나, 종래 기술로 제시된 매크로 블럭 단위의 비트율 계산 방법은

의 계산이 매크로 블럭당 모든 화소에 대하여 평균치 및 각 화소값과의 차의 제곱을 취하는 연산으로 매우 복잡함으로 인터넷 통신에 적용하는 경우 실시간 화상 통신을 구현하기 어려운 단점이 있다.

따라서, 본 발명은 종래의 문제점을 개선하기 위하여 이전 부호화 과정에서 계산된 절대값 합(Sum of Absolute Difference : SAD) 정보를 이용하여 비트율을 제어함으로써 계산상의 복잡도를 줄이면서 효율면에서도 종래와 비슷한 성능을 갖도록 창안한 비트율 조절 방법을 제공함에 목적이 있다.

본 발명은 상기의 목적을 달성하기 위하여 낮은 지연(low delay)의 영상 통신을 위한 비트율 조절시 매크로 블럭 단위의 비트율 조절에 있어서, 움직임 추정시 계산되는 절대값 합(Sum of Absolute Difference, 이하 'SAD'라 약칭) 정보를 이용하여 부호화 모드를 결정하고 그 결정된 모드에 따라 매크로 블럭의 양자화 간격(QP)을 산출함으로써 종래의 매크로 블럭의 양자화 간격(QP) 조절시에 요구되는 복잡한 계산량을 줄이도록 구성함을 특징으로 한다.

따라서, 본 발명은 낮은 지연(low delay)의 영상 통신 특성을 갖는 고속의 화상 통화를 위한 영상 전화기를 구현할 수 있다.

즉, 본 발명은 영상 부호화 방법에 있어서, 움직임 탐색 영역 내에서 현재 영상과 이전 영상과의 차를 비교하여 SAD 값을 구하는 단계와, 상기 SAD값에 따라 부호화 모드를 인트라 모드 또는 인터 모드로 결정하는 단계와, 상기 결정된 부호화 모드에 해당하는 양자화 간격(QP)을 산출하는 단계를 수행하여 매크로 블럭 단위의 전송 비트율을 조절하는 것을 특징으로 한다.

이하, 본 발명을 도면에 의거하여 상세히 설명하면 다음과 같다.

도2는 본 발명의 실시예를 위한 장치의 블럭도로서 이에 도시한 바와 같이, 현재 입력 영상과 이전 영상의 차를 구하는 감산기(201)와, 현재 입력 영상 또는 상기 감산기(201)에서의 차 영상을 선택하는 스위치(202)와, 이 스위치(202)에서 선택된 영상에 대해 DCT 변환하는 DCT 변환부(203)와, 양자화 간격(QP)을 참조하여 상기 DCT 변환부(203)에서의 출력 계수를 양자화하는 양자화기(204)와, 움직임 벡터(MV)를 참조하여 상기 양자화기(204)의 출력 신호를 엔트로피 코딩하여 전송하는 엔트로피 코딩부(205)와, 상기 양자화기(204)의 출력 신호를 역양자화하는 역양자화기(206)와, 이 역양자화기(206)의 출력신호를 IDCT 변환하는 IDCT 변환부(207)와, 이 IDCT 변환부(207)의 출력 신호와 복호화된 이전 영상을 합하여 현재 입력된 영상을 복원하는 가산기(208)와, 이 가산기(208)에서 복원된 영상을 저장하는 영상 메모리(209)와, 현재 입력 영상과 상기 영상 메모리(209)로부터의 입력 영상에 대해 탐색 영역 내에서 비교하여 SAD값, 부호화 모드 및 움직임 벡터(MV)를 구하고 상기 움직임 벡터(MV)를 엔트로피 코딩부(205)로 출력함과 아울러 그 움직임 벡터(MV)값에 따라 움직임 보상된 영상을 감산기(201) 및 가산기(208)로 출력하는 움직임 추정부(210)와, 상기 엔트로피 코딩부(205)의 출력 버퍼량을 점검하면서 상기 움직임 추정부(210)에서의 SAD값과 부호화 모드를 참고하여 상기 양자화기(204)의 양자화 간격(QP)을 산출하는 비트율 제어부(211)로 구성한다.

이와같이 구성한 본 발명의 실시예에 대한 동작 및 작용효과를 설명하면 다음과 같다.

본 발명에서는 종래 기술의 도1에 대해 동일한 구성 블럭에도 식별부호를 다르게 부여하였지만, 감산기(201), 스위치(202), DCT 변환부(203), 양자화기(204), 엔트로피 코딩부(205), 역양자화기(206), IDCT 변환부(207), 가산기(208), 영상 메모리(209), 움직임 추정부(210)에서의 동작은 동일하게 수행하므로 중복되는 동작 부분은 생략하고 비트율 조절 동작을 중심으로 설명하기로 한다.

여기서, 매크로 블럭은 16*16 크기라고 가정한다.

우선, 매크로 블럭당 비트율 조절은 종래 기술과 마찬가지로 움직임 추정 및 모드 결정이 이미 행하여진 후 양자화 과정에서 이루어진다.

움직임 추정 과정에서는 탐색 영역 내에서 현재 영상과 이전 영상과의 차를 비교하여 가장 작은 에러값을 갖는 오프셋 값을 구하는데, 이때, 에러의 척도로서 아래의 식과 같이 표현되는 SAD(Sum of Absolute Difference)를 이용한다.

여기서, SAD(x,y)는 탐색 영역 x,y 에서의 원영상과 이전 복호화된 영상과의 차값의 절대치의 합으로 이는 향후 비트율 조절을 위해 저장되며, +-15는 움직임 추정시 사용되는 탐색 영역을 나타낸다.

또한, 움직임 추정 과정에서 인트라(Intra) 모드와 인터(Inter) 모드중 어떤 모드로 부호화할 것인지에 대한 모드 결정을 수행하는데, 그 과정을 설명하면 다음 과 같다.

우선, 아래 식과 같은

과

를 계산한다.

이 후, 원영상의 A가 조건

를 만족하면 인트라 모드를 선택하고 그렇지 않으면 인터 모드를 선택한다.

여기서, 인트라 모드인 경우 A는 전술한

값을 대신하여 쓸 수 있으므로 상기 식(2)

는

로 대치할 수 있다.

또한, 인터 모드인 경우 A값은 SAD값과 비교하여 상대적으로 작아지므로 상기 식(2)

는

로 대치할 수 있다.

이는 인터 모드인 경우 발생하는 비트수는 원영상의 variance A에 의존하기 보다는 SAD값에 따라 영향을 받기 때문이다.

따라서, 매크로 블럭당 양자화 간격(QP)은 다음과 같이 정해진다.

인트라 모드의 경우 :

인터 모드의 경우 :

이 후, 아래의 식과 같은 연산으로 양자화 간격(QP)을 산출한다.

이에 따라, 상기와 같은 과정으로 양자화 간격(QP)이 산출되면 비트율 제어부(211)가 양자화기(204)로 출력하여 양자화 간격을 조정함으로써 엔트로피 코딩부(205)에서 채널로 전송되는 데이터의 속도를 조절하게 된다.

상기에서 상세히 설명한 바와 같이 본 발명은 매크로 블럭 단위의 가변 양자화 간격(QP)을 이용한 비트율 조절에 있어서, 움직임 추정시 계산되는 SAD 정보 및 부호화 모드 정보를 이용함으로써 종래 기술에서의 복잡한 계산량을 줄일 수 있어 시스템의 처리 속도를 향상시킬 수 있는 효과가 있다.

즉, 본 발명은 기지의 정보(SAD 값, 부호화 모드)를 이용함으로써 계산 측면에서 매우 간단하고 매크로 블럭 단위의 비트율 조절시 프레임 스킵 감소로 인하여 화질을 개선할 수 있는 효과가 있다.

이러한 본 발명은 낮은 지연(low delay)의 영상 통신 특성을 갖는 고속의 영상 전화기 구현에 적용할 수 있다.

Claims (3)

1. 영상 부호화 방법에 있어서,

   움직임 탐색 영역 내에서 현재 영상과 이전 영상과의 차를 비교하여 절대값 합(SAD)을 구하는 제1 단계와,

   상기 절대값 합에 따라 부호화 모드를 인트라 모드 또는 인터 모드로 결정하는 제2 단계와,

   상기 결정된 부호화 모드에 해당하는 양자화 간격(QP)을 산출하는 제3 단계를 수행하여 매크로 블럭 단위의 전송 비트율을 조절하도록 구성한 것을 특징으로 하는 비트율 제어 방법.
2. 제1항에 있어서, 부호화를 위한 모드를 결정하는 제2 단계는

   절대값 합(SAD)이 현재 영상의 매크로블럭 계수의 절대 평균값(A)보다 큰지 아래의 식과 같은 연산으로 비교하는 제1 과정과,

   상기 비교결과, 절대값 합이 크면 부호화 모드를 인트라 모드로 결정하고, 반대로 절대값 합이 작으면 부호화 모드를 인터모드로 결정하는 제2 과정으로 이루어지는 것을 특징으로 하는 비트율 제어 방법.

   

   

   ,

   
3. 제1항에 있어서, 양자화 간격(QP)은

   

   연산으로 산출하며, 아래의 조건을 적용하는 것을 특징으로 하는 비트율 제어 방법.

   인트라 모드의 경우 :

   

   

   인터 모드의 경우 :

   

   

Images