KR100930485B1

KR100930485B1 - 발생 비트량을 이용한 동영상 부호화기의 적응적 비트율제어 기법

Info

Publication number: KR100930485B1
Application number: KR1020070116954A
Authority: KR
Inventors: 김명진; 김경환; 홍민철; 윤성현
Original assignee: (주)씨앤에스 테크놀로지
Priority date: 2007-11-15
Filing date: 2007-11-15
Publication date: 2009-12-09
Also published as: KR20090050495A

Abstract

비디오 부호화를 위한 효율적인 비트율 제어방법을 제공한다. 예컨대, H.264 비디오 부호화 방식은 QP 값을 조정함으로써 프레임을 부호화할 때 발생하는 비트량을 조절할 수 있는데, 비트율 제어방법은 QP 값에 따라 프레임을 부호화할 때 발생할 비트량을 통계적 선형 모델을 기반으로 예측하고 프레임을 부호화할 때 적절한 QP 값을 선택한다.

비트율, 비디오 부호화, QP

Description

발생 비트량을 이용한 동영상 부호화기의 적응적 비트율 제어 기법 {Adaptive rate control method for video encoder with occurrent bit amount}

본 발명은 비디오 부호화 기술에 관한 것으로서 보다 상세하게는 비디오 부호화를 위한 비트율 제어 방법에 관한 것이다.

일반적으로 H.264 표준은 최적비트율왜곡(Rate-Distortion Optimization) 기법을 이용하여 실제 부호화 과정에서 발생한 비트와 양자화 왜곡의 비율을 효과적으로 조정한다. H.264 비디오 부호화기는 사전에 각 프레임에 대하여 적절한 QP(Quantization Parameter)를 결정할 필요가 있지만 실제 발생 비트와 양자화 왜곡은 프레임을 부호화한 이후에 알 수 있다. QP가 결정되면 움직임 추정을 위한 비용 연산을 위한 라그랑지안 계수가 결정되고, 라그랑지안 계수가 결정되어야 움직임 추정 과정에서 각 모드에 따른 비용 계산이 가능하고 움직임 벡터를 결정할 수 있게 된다. 그렇기 때문에 H.264 비디오 부호화기는 모드 및 움직임 벡터를 결정하기 위하여 최적의 QP를 선택해야 한다.

현재 사용되고 있는 기법 중 하나는 현재 매크로블록의 MAD(Mean Absolute Difference)를 통해 이전 프레임의 매크로블록으로부터 QP를 추정한다. 이러한 방 식은 복잡한 계산을 필요로 하기 때문에 실시간 비디오 부호화에는 적절하지 않다. 따라서 실시간 비디오 부호화 또는 적은 연산량을 필요로 하는 응용을 위해 연산량을 줄이면서 한정된 비트량에서 고화질을 달성하기 위한 비트율 제어 기법이 필요하다.

본 발명은 상술한 문제점을 해결하기 위해 제안된 것으로서, 적은 연산량을 필요로 하면서 고화질 비디오 부호화를 지원하기 위한 비트율 제어 방법을 제공하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 비트율 제어 방법은, 각각의 QP(Quantization Parameter)에 대한 비트할당량 정보를 갖고 있는 QP 테이블을 제공하는 단계, 현재 프레임의 목표 비트량과 상기 QP 테이블에 기초해 현재 프레임의 QP를 결정하는 단계, 상기 결정된 QP에 따라 상기 현재 프레임을 부호화하는 단계 및 부호화에 따른 상기 현재 프레임의 실제 발생 비트량에 기초하여 상기 QP 테이블을 갱신하는 단계를 포함한다.

상기 QP 테이블은 각각의 QP에 대한 최소 비트량 또는 최대 비트량으로 상기 각각의 QP에 대한 비트량 범위를 특정하는 것을 포함한다.

상기 현재 프레임의 QP는 바로 이전 프레임의 결정된 QP와의 차이가 기준 값 이내가 되도록 결정되는 것을 특징으로 하며, 상기 QP 테이블을 갱신하는 단계는 상기 현재 프레임의 실제 발생 비트량과 상기 결정된 QP의 대표 비트량을 비교하는 단계, 비교 결과에 기초하여 적어도 하나의 QP에 대한 비트량 범위 정보를 갱신하는 단계를 포함한다.

상기 QP 테이블을 갱신하는 단계는 상기 현재 프레임의 실제 발생 비트량 및 상기 현재 프레임에서 소정 개수 이내의 이전 프레임들 중에서 상기 현재 프레임의 QP와 동일한 QP를 갖는 이전 프레임들의 실제 발생 비트량들에 의해 예측 비트량을 산정하는 단계, 예측 비트량과 상기 결정된 QP의 대표 비트량을 비교하는 단계, 비교 결과에 기초하여 적어도 하나의 QP에 대한 비트량 범위 정보를 갱신하는 단계를 포함한다.

상기 예측 비트량은 상기 이전 프레임들의 실제 발생 비트량들의 평균 값에 0.5를 곱한 값과 상기 현재 프레임의 QP의 실제 발생 비트량에 0.5를 곱한 값을 더한 값인 것을 특징으로 한다.

상기 현재 프레임의 QP와의 차이가 기준 값 이내에 속하는 QP에 대한 비트량 범위 정보가 갱신되는 것을 특징으로 하며. 상기 제공된 QP 테이블은 비디오 해상도에 따라 조정된 QP 테이블인 것을 특징으로 한다.

이상 설명한 바와 같이, 본 발명에 따르면 H.264와 같은 동영상 부호화 방식에서의 비트율 제어기법에서 적은 계산량으로 다양한 영상 종류에 무관하게 목표 비트량을 적응적으로 맞춤으로서 비트량 대비 화질 개선을 제공하여 실시간 부호화 기 구현의 어려움을 줄여준다.

이하 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다. 이하의 설명은 현재 널리 사용 중인 H.264 비디오 부호화 방식을 기준으로 하지만 이는 예시적인 것으로 이해되어야 한다.

도 1은 H.264 부호화기의 블록도이다.

도 1을 참조하면, 입력된 영상데이터(Fn)은 매크로블록(Macroblock) 단위로 처리되며, 각 매크로 블록은 입력 영상의 화면 내 중복성을 제거하기 위한 인트라 모드(Intra Mode)와 프레임간의 중복성을 없애기 위한 인터 모드(Inter Mode)로 부호화되며, 인터 모드는 움직임 추정(Motion Estimation; ME)과 움직임 보상(Motion Compensation; MC)으로 구성된다. 이 두 모드에서 처리된 값과 입력된 영상 데이터와의 차이 값인 잔여(Residual) 매크로 블록의 값은 정수 변환(Integer Transform; T)과 양자화(Quantization; Q)를 거쳐 양자화된 변화계수로 변환되며 엔트로피 부호화(Entropy Coding)을 거치게 된다. 본 발명은 이와 같은 비디오 부호화 과정 중에서 목표 비트율에 알맞은 QP(Quantization Parameter)를 결정하는 비트율 제어 기법에 관한 것이다.

도 2는 비트율 제어 과정을 간략히 보여주고 있고, 도 3은 보다 상세한 비트율 제어 과정을 보여준다. 편의상 QP는 프레임 단위로 결정되는 것을 기준으로 설명한다.

도 2는 통계적 선형 모델을 이용한 비트율 제어 과정을 보여준다. QP와 실 제 발생 비트량과는 비선형적인 관계를 갖지만 작은 구간 단위로 나누면 선형에 가깝기 때문에 본 발명은 연산의 편의를 위하여 작은 구간 단위(QP 단위)로 QP 테이블을 제공한다. QP 테이블은 다양한 영상에 대한 통계적 실험을 통해 구해진 것을 사용한다.

비디오 부호화를 위해 먼저 QP 테이블을 제공한다(S110). 그리고 나서 QP 테이블을 이용하여 현재 코딩 대상이 되는 프레임(현재 프레임)에 대한 QP를 결정한다(S120).

QP 테이블은 현재 프레임에 대한 목표 비트량(비트 할당량)에 대응하는 QP를 제공한다. QP 테이블은 각각의 QP가 커버하는 비트량의 범위에 대한 정보를 포함하도록 구성된다.

일 실시예에 있어서, QP 테이블은 각각의 QP에 대한 최소 비트량 또는 최대 비트량 값으로 정의된다. 표 1을 참조하면 QP 테이블은 각 QP에 대한 최소 비트량으로 정의된다. 예를 들어, 현재 프레임에 대한 목표 비트량이 503958을 넘는 경우에는 QP 값(QP)은 0이 된다. 현재 프레임에 대한 목표 비트량이 10000인 경우에 QP는 17이 되고, 목표 비트량이 5000인 경우에 QP는 38이 된다.

QP	QP Range	QP	QP Range	QP	QP Range
0	503958	18	87274	36	5938
1	475206	19	77201	37	5103
2	443622	20	67587	38	4383
3	414693	21	59867	39	3872
4	384038	22	52376	40	3356
5	352518	23	45247	41	2900
6	322966	24	39617	42	2550
7	293838	25	34368	43	2257
8	267260	26	29263	44	1968
9	244647	27	25209	45	1712
10	220230	28	21382	46	1511
11	196836	29	18174	47	1332
12	176907	30	15668	48	1175
13	159224	31	13266	49	1030
14	142016	32	11075	50	891
15	126722	33	9402	51	415
16	111990	34	8037
17	98231	35	6829

이와 같은 QP 테이블은 다양한 영상에 대한 실험을 통해 얻어진다. 표 1은 비디오 부호화에서 표준적으로 사용되는 CIF 사이즈의 container, foreman, mobile, news, stefan에 대한 각각 300 프레임(총 1500 프레임)에 대하여 실제로 각 QP를 적용하여 구한 비트량을 통계적으로 정리하여 구한 QP 테이블이다.

QP가 결정되면 결정된 QP에 따라 현재 프레임을 부호화한다(S130). 앞서 설명한 바와 같이 QP가 결정되면 라그랑지안 계수가 결정되고, 라그랑지안 계수가 결정되면 움직임 추정을 위한 비용을 계산할 수 있게 된다. 현재 프레임은 움직임 추정 과정을 거쳐서 잔여 프레임이 되고, 잔여 프레임은 정수 변환, 양자화, 엔트로피 부호화 등을 거쳐서 비트스트림이 된다.

현재 프레임의 부호화가 끝나면 현재 프레임을 부호화하는 과정에서 실제 발생한 비트량을 이용하여 QP 테이블을 갱신한다(S140).

표 1과 관련하여, 실제 실험에 사용된 stefan, mobile과 같이 움직임이 많은 영상의 경우에는 프레임당 많은 비트량을 필요로 하지만 news와 같이 움직임이 적은 영상의 경우에는 프레임당 적은 비트량을 필요로 한다. 실험 결과로 QP가 0인 경우에 프레임당 평균 비트량은 Stefan, mobile이 각각 652496, 648718이었고, news는 270858이었다. QP가 20인 경우에 비트량은 Stefan, mobile이 각각 124006, 137400이었고, news는 18580이었다.

만약 표 1을 기준으로 할 경우에 목표 비트량이 124006, 137400, 18580인 경우에 QP는 각각 16, 15,29가 결정될 것이다. 그렇지만 stefan 영상에 대한 목표 비트량이 124006 비트인 경우에 QP가 16으로 결정되면 실제 발생 비트량은 124006 비트보다 훨씬 많아지게 될 것이다. 마찬가지로 mobile 영상에 대한 목표 비트량이 137400 비트인 경우에 QP가 15로 결정되면 실제 발생 비트량은 137400 비트보다 훨씬 많아지게 될 것이고, news 영상에 대한 목표 비트량이 18580 비트인 경우에 QP가 29로 결정되면 실제 발생 비트량은 18580비트보다 훨씬 적을 것이다. 실험에 따르면 QP가 16인 Stefan 영상, QP가 15인 mobile 영상, 및 QP가 29인 news 영상에 대한 실제 발생 비트량은 각각 190561, 230950, 5662비트였다.

이와 같은 목표 비트량 대비 실제 발생 비트량에 대한 오차를 줄이기 위해서는 본 발명의 실시예는 현재 프레임을 부호화한 후에 실제 발생한 비트량에 기초하여 QP 테이블을 갱신한다. 갱신된 QP는 다음 프레임을 부호화할 때 사용된다.

QP 테이블을 갱신하고 나서 부호화할 프레임임이 남아있는지를 판단하고(S150), 남아 있는 경우에 앞서 설명한 과정들(S110, S120, S130, S140)을 수행한다.

도 3은 통계적 선형 모델을 이용한 비트율 제어 과정을 보다 상세히 보여준다.

먼저 영상 크기에 따라 조정된 QP 테이블을 제공한다(S210). 표 1의 QP 테이블은 CIF 사이즈의 영상을 기준으로 만들어진 QP 테이블이다. 따라서 현재 프레임의 사이즈가 CIF 보다 크거나 작은 경우에 현재 프레임 사이즈를 고려하여 조정된 QP 테이블이 제공된다.

QP 테이블은 수학식 1을 이용하여 조정한다.

QR'= QR*TotalMB/396

수학식 1에서 QR은 표 1의 QP 테이블에서 수정되기 전의 최소 비트량(QP Range)를 의미하고, QR'은 프레임 사이즈에 따라 조정된 최소 비트량(QP Range)를 의미한다. TotalMB는 현재 프레임이 갖고 있는 매크로블록의 개수를 의미하며, 396은 CIF 영상의 매크로블록의 개수를 의미한다.

현재 프레임의 QP를 결정하기 위하여 현재 프레임의 목표 비트량을 계산한다(S220). 제한된 비트량 안에서 프레임 단위의 최적의 비트를 할당하기 위해서는 이전에 부호화된 프레임의 비트량을 고려하여 현재 프레임의 비트량을 예측한다. 수학식 2는 현재 프레임의 비트량을 할당하는 방식을 나타낸 것이다.

여기서 BPF는 현재 프레임의 목표 비트량을 나탄내다. Frame Rate는 사전 정의된 encoding frame rate를 나타낸다. encoding frame rate를 30 [frame/sec]으로 예시한다면 Frame Rate 는 30을 대입한다. Encoded Frame Number는 현재까지 encoding완료한 프레임 수를 나타낸다. TB_r은 Frame Rate로 정의된 단위 프레임 개수에 목표치로 할당된 비트량을 나타낸다. TB_a의 의미는 현재 프레임 이전 encoding완료한 프레임의 실제 발생 비트량을 나타낸다. 이전 encoding완료한 프레임이 없는 경우 TB_a의 값은 '0'이 된다.

현재 프레임의 목표 비트량이 계산되면, 목표 비트량에 대응하는 QP를 결정한다(S221). QP 값이 급격하게 변할 경우에 화질의 열화가 발생할 수 있기 때문에 현재 프레임의 QP는 바로 이전 프레임의 QP와 그 차이가 소정의 기준 값 이내가 되도록 결정된다. 예를 들어, 상기 기준 값(QP 변화량의 최대 값)이 2로 설정된 경우에 바로 이전 프레임의 QP가 10인 경우라면 현재 프레임의 QP는 8~12 사이로 결정된다. 즉 현재 프레임의 목표 비트량이 매우 적어서 QP가 커져야 할 경우라도 QP는 최대 값인 12로 결정되고, 현재 프레임의 목표 비트량이 충분히 많더라도 QP는 최소 값인 8로 결정된다.

QP가 결정되면 현재 프레임을 부호화한다(S230). 현재 프레임에 대한 부호화가 끝나면 다음 프레임의 부호화를 위하여 QP 테이블을 갱신하는 프로세스가 진행된다.

먼저 현재 프레임의 QP와 동일한 QP를 갖는 이전 프레임이 존재하는지를 판 단한다(S240). 존재하지 않는 경우에는 현재 프레임의 실제 발생 비트량과 현재 프레임의 QP의 대표 비트량을 비교한다(S241).

존재하는 경우에 현재 프레임의 실제 발생 비트량과 동일한 QP를 갖는 이전 프레임의 실제 발생 비트량에 기초하여 예측 비트량을 계산한다(S242). 예를 들어, 현재 프레임의 실제 비트량에 0.5를 곱한 값과 이전 프레임들의 실제 비트량의 평균에 0.5를 곱한 값을 더하여 예측 비트량을 계산할 수 있다. 예측 비트량을 계산하기 위하여 현재 프레임으로부터 소정의 개수 이내(예를 들면, 20개 이내)에 속하는 이전 프레임을 이용할 수 있다.

그리고 나서 예측 비트량과 현재 프레임의 QP의 대표 비트량을 비교한다(S243). 대표 비트량은 특정한 QP의 비트량 범위에서 대표되는 하나의 값으로 정의될 수 있다. 예를 들어, 비트량 범위에서 평균 값을 대표 비트량으로 정의할 수 있다. 현재 프레임과 동일한 QP를 갖는 이전 프레임을 찾는 범위는 현재 프레임으로부터 소정 개수 이내의 프레임으로 제한된다. 예를 들어, 단계 S242에서 현재 프레임과 동일한 QP를 갖는 이전 프레임의 범위는 현재 프레임으로부터 20개 이내의 이전 프레임으로 제한할 수 있다.

그리고 나서 단계 S241 또는 S243의 비교 결과에 기초해서 QP 테이블을 갱신한다. 예를 들어, 현재 프레임과 동일한 QP를 갖는 이전 프레임이 존재하지 않는 경우라면 현재 프레임을 부호화할 때 실제 발생한 비트량과 현재 프레임에 대해 결정된 QP의 대표 비트량을 비교한 값에 따라 QP 테이블(비트량 범위)을 갱신할 수 있다. 만일 현재 프레임과 동일한 QP를 갖는 이전 프레임이 존재하는 경우라면 현 재 프레임과 이전 프레임의 실제 발생 비트량에 기초하여 계산된 예측 비트량과 현재 프레임에 대해 결정된 QP의 대표량을 비교한 값에 따라 QP 테이블을 갱신할 수 있다.

QP 테이블 갱신은 모든 QP에 대해 수행되는 것도 가능하지만 현재 프레임의 QP로부터 소정 기준 값 이내의 QP 값에 대해서만 갱신이 수행될 수 있다. 예를 들어 현재 프레임의 QP가 10인 경우에 QP 테이블에서 QP가 8~12에 대하여 비트량 범위를 갱신할 수 있다. 또한 QP 테이블 갱신은 도 3에서와 같이 현재 프레임 및 이전 프레임들의 QP의 대표 비트량 비교결과에 기초하여 갱신한다.

도 4는 본 발명의 일 실시예에 따른 비트율 제어 장치의 구성을 보여주는 블록도이다.

비트율 제어 장치(200)는 QP 테이블(210)과 QP 테이블 제어부(220)와 목표 비트량 계산부(230)를 포함한다.

목표 비트량 계산부(230)는 현재 프레임에 대한 목표 비트량을 계산한다. 이를 위해 바로 이전 프레임까지 실제로 발생한 비트량에 대한 정보를 비디오 부호화기(100)로부터 받고, 남은 비트량 중에서 현재 프레임에 할당되어야 할 목표 비트량을 계산한다. 목표 비트량 계산은 일정 개수의 프레임 단위로 수행될 수 있다.예를 들어, 30개 또는 60개 프레임 단위로 목표 비트량이 계산될 수 있고, I 프레임에서 다음 I 프레임이 나오기 전까지를 기준으로 계산될 수도 있다. 통상적으로 I 프레임의 경우에 P 프레임이나 B 프레임에 비해 많은 비트량을 소모하기 때문에 목표 비트량 계산부(230)는 프레임의 종류를 고려하여 목표 비트량을 계산할 수 있다. 예를 들어, 목표 비트량 계산부(230)는 I 프레임의 경우에는 P 프레임에 비해 많은 비트량을 할당할 수 있다.

목표 비트량이 계산되면 QP 테이블 제어부(220)는 QP 테이블을 통해 현재 프레임에 대한 QP를 결정하고, 결정된 QP를 비디오 부호화기(100)에 전달한다. 비디오 부호화기(100)는 QP에 따라 현재 프레임을 부호화한다. 비디오 부호화기(100)는 현재 프레임 실제 발생 비트량을 QP 테이블 제어부(220)에 전달하고, QP 테이블 제어부(220)는 현재 프레임의 실제 발생 비트량에 기초하여 QP 테이블(210)을 갱신한다. 앞서 설명한 바와 같이 현재 프레임의 실제 발생 비트량뿐만 아니라 현재 프레임과 동일한 QP를 갖는 이전 프레임들의 실제 발생 비트량을 고려하여 QP 테이블(210)을 갱신할 수 있지만, 현재 프레임의 실제 발생 비트량만을 이용하여 QP 테이블(210)을 갱신하는 것도 가능하다.

지금까지 본 발명의 실시 예의 구성 및 동작에 대해 설명하였다. 본 발명은 상술한 실시 예에 한정되지 않으며, 본 발명의 범위를 벗어나지 않는 한도 내에서 다양한 변형을 가할 수 있다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 특허청구범위뿐만 아니라 특허청구범위와 균등한 것들에 의해 정해져야 한다.

도 1은 H.264 부호화기의 블록도이다.

도 2는 본 발명의 일 실시예에 따른 비트율 제어 과정을 보여주는 흐름도이다.

도 3은 본 발명의 일 실시예에 따른 비트율 제어 과정을 보다 상세하게 보여주는 흐름도이다.

Claims

각각의 QP(Quantization Parameter)에 대한 비트할당량 정보를 갖고 있는 QP 테이블을 제공하는 단계;

현재 프레임의 목표 비트량과 상기 QP 테이블에 기초해 현재 프레임의 QP를 결정하는 단계;

상기 결정된 QP에 따라 상기 현재 프레임을 부호화하는 단계; 및

부호화에 따른 상기 현재 프레임의 실제 발생 비트량에 기초하여 상기 QP 테이블을 갱신하는 단계를 포함하는 비디오 부호화를 위한 비트율 제어 방법.
삭제
제1항에 있어서,

상기 QP 테이블은 각각의 QP에 대한 최소 비트량 또는 최대 비트량으로 상기 각각의 QP에 대한 비트량 범위를 특정하는 것을 포함하는 것을 특징으로 하는 비디오 부호화를 위한 비트율 제어 방법.
제1항에 있어서,

상기 현재 프레임의 QP는 바로 이전 프레임의 결정된 QP와의 차이가 기준 값 이내가 되도록 결정되는 것을 특징으로 하는 비디오 부호화를 위한 비트율 제어 방법.
제1항에 있어서,

상기 QP 테이블을 갱신하는 단계는

상기 현재 프레임의 실제 발생 비트량과 상기 결정된 QP의 대표 비트량을 비교하는 단계;

상기 비교 결과에 기초하여 적어도 하나의 QP에 대한 비트량 범위 정보를 갱신하는 단계를 포함하는 것을 특징으로 하는 비디오 부호화를 위한 비트율 제어 방법.
제1항에 있어서,

상기 QP 테이블을 갱신하는 단계는

상기 현재 프레임의 실제 발생 비트량 및 상기 현재 프레임에서 소정 개수 이내의 이전 프레임들 중에서 상기 현재 프레임의 QP와 동일한 QP를 갖는 이전 프레임들의 실제 발생 비트량들에 의해 예측 비트량을 산정하는 단계;

상기 예측 비트량과 상기 결정된 QP의 대표 비트량을 비교하는 단계;

상기 비교 결과에 기초하여 적어도 하나의 QP에 대한 비트량 범위 정보를 갱신하는 단계를 포함하는 것을 특징으로 하는 비디오 부호화를 위한 비트율 제어 방 법.
제6항에 있어서,

상기 예측 비트량은 상기 이전 프레임들의 실제 발생 비트량들의 평균 값에 0.5를 곱한 값과 상기 현재 프레임의 QP의 실제 발생 비트량에 0.5를 곱한 값을 더한 값인 것을 특징으로 하는 비디오 부호화를 위한 비트율 제어 방법.
제5항 내지 제7항 중 어느 한 항에 있어서,

상기 현재 프레임의 QP와의 차이가 기준 값 이내에 속하는 QP에 대한 비트량 범위 정보가 갱신되는 것을 특징으로 하는 비디오 부호화를 위한 비트율 제어 방법.
제1항, 제3항 내지 제7항 중 어느 한 항에 있어서,

상기 제공된 QP 테이블은 비디오 해상도에 따라 조정된 QP 테이블인 것을 특징으로 하는 비트율 제어 방법.
삭제