KR20040047009A - 영상 전화 시스템의 비트율 조절방법 - Google Patents

Abstract

본 발명은 영상 전화 시스템의 전송 비트율 조절방법에 관한 것으로서, 특히 정해진 목표 프레임율(target frame rate)에 따라 적응적으로 비트율(bit rate)을 조절함으로써, 계산적 복잡도를 줄이면서 동시에 전송 영상의 품질을 향상시킬 수 있도록 한 영상 전화 시스템의 비트율 조절방법에 관한 것이다.

본 발명은 목표 프레임율에 따라서 가변적으로 스킵 팩터(skip factor)를 적응적으로 조절하는 것에 기반한다. 본 발명에서는 높은 프레임율의 경우는 프레임당 양자화 파라미터 값(QP)을 낮은 범위의 값으로 제한하여 좀 더 스킵을 많이주고, 낮은 프레임율의 경우는 프레임당 양자화 파라미터 값(QP)을 약간씩 높게 제한하여 스킵의 수를 점점 작게 줄여줌으로써, 영상의 자연스러운 동작을 유지하고 급격한 움직임 발생시 나타나는 영상의 품질 저하를 방지할 수 있다.

Description

영상 전화 시스템의 비트율 조절방법{BIT RATE CONTROL METHOD OF VIDEO TELEPHONY SYSTEM}

본 발명은 영상 전화 시스템의 전송 비트율 조절방법에 관한 것으로서, 특히 정해진 목표 프레임율(target frame rate)에 따라 적응적으로 비트율(bit rate)을 조절함으로써, 계산적 복잡도를 줄이면서 동시에 전송 영상의 품질을 향상시킬 수 있도록 한 영상 전화 시스템의 비트율 조절방법에 관한 것이다.

MPEG4 및 H.263 비디오 코덱(VIDEO CODEC)을 이용한 IMT-2000 영상 전화 서비스 시스템에서 MPEG4 및 H.263 비디오 코덱은 비트율 조절을 통하여 각각 응용 타겟 비트(application target bit)에 맞추어 데이터를 보내는 방식을 취하고 있다.

도1은 MPEG4 및 H.263 동영상 부호화기의 구조를 보여준다. 도1에 나타낸 바와 같이 기존의 동영상 부호화기는 입력된 영상신호를 인트라/인터모드(INTRA/INTER MODE)에 따라 I프레임과 P프레임으로 스위칭하기 위한 스위칭부(101)와, 상기 스위칭부(101)에서 선택된 프레임 영상을 DCT 변환하는 DCT 변환부(102)와, 상기 DCT 변환된 영상신호를 양자화하는 양자화기(103)와, 상기 양자화된 영상신호를 역양자화하는 역양자화기(104)와, 상기 역양자화된 영상신호를 역DCT 변환하는 IDCT변환부(105)와, 상기 역양자화 및 역DCT 변환된 영상신호와 움직임 예측 정보를 기반으로 움직임 예측을 위한 영상 메모리(106)와, 상기 영상 메모리에 재구성된 영상과 현재 프레임 영상정보를 이용해서 움직임 예측을 수행하는 움직임 예측기(107)와, 상기 양자화된 영상신호의 엔트로피 부호화(entrophy coding)를 위한 부호화기(108)와, 상기 부호화된 영상신호가 전송되는 전송 채널(109)과, 비트율 조절 정보에 따라 상기 양자화기로부터 전송채널을 통해 전송될 영상신호의 비트율을 조절하는 비트율 조절기(110)를 포함하여 이루어지고 있다.

도1을 참조하여 동영상 부호화 동작을 살펴본다. 영상신호가 입력되면 스위칭부(101)는 인트라 모드(INTRA MODE)/인터 모드(INTER MODE)에 따라서 I프레임 또는 P프레임 영상을 선택하여 DCT 변환부(102)에 인가한다. DCT 변환부(102)는 입력된 프레임 영상신호를 이산 코사인 변환(Discrete Cosine Transform)하고, 양자화기(103)는 DCT 계수를 양자화하여 출력한다. 부호화기(108)는 양자화된 영상신호를 엔트로피 코딩(예: 가변길이 부호화 등)하여 전송채널(109)을 통해서 전송하게 된다. 한편, 상기 DCT 변환부(102) 및 양자화기(103)에 의해서 변환 및 양자화된 영상신호는 다시 역양자화기(104)와 IDCT 변환부(105)에 의해서 역양자화 및 DCT 역변환 과정을 거쳐 원래의 정보로 재구성되고, 이 정보는 영상 메모리(106)에 저장된다. 움직임 예측기(107)는 상기 영상 메모리(106)에 저장된 이전 프레임의 영상정보와 현재 입력되는 영상신호를 이용해서 현재 프레임 영상의 움직임 정보를 예측하여 상기 스위칭부(101)가 인트라/인터 모드에 따른 I프레임 혹은 P프레임 영상을 선택할 수 있도록 해주며, 또한 움직임 벡터 정보를 부호화기(108)에 인가하여 엔트로피 코딩이 이루어질 수 있도록 해준다.

상기한 바와 같이 영상신호를 부호화하여 전송함에 있어, 비트율 조절기(110)는 H.324 또는 H.323과 같은 영상전화 프로토콜의 목표 전송 비트율 및 목표 전송 프레임율에 따라 전송 비트율을 조절하게 된다.

비트율을 조절하는 방법은 일반적으로 프레임 단위 또는 매크로 블록 단위의 양자화 파라미터 값(QP) 조절 및 프레임 스킵(frame skip)을 적절하게 이용하고 있다. 즉, 영상 전화 시스템에서는 송신측에서 전송하고자 하는 데이터의 분량에 따라 초당 얼마의 비트율로 전송할 것인지와, 초당 몇 프레임 정도의 영상을 전송할 것인지를 결정하는 것이 일반적이다.

그런데, 기존의 비트율 조절 방법은 목표 비트와 목표 프레임율을 가지고 한 프레임 당 목표 비트를 할당하고 이를 기준으로 단일 메저(measure)의 프레임 스킵 방법을 사용하고 있다. 따라서, 기존의 비트율 조절 방법에 따르면 영상 내의 통계적 특성들을 이용해서 여러 가지 다양한 파라미터 값을 구하고, 이를 적용하는 과정에서 복잡한 계산량을 필요로 하기 때문에 저전력 소비를 위하여 적은 계산량을 필요로 하는 실제 IMT-2000 영상 서비스를 위한 단말의 경우는 이를 그대로 적용할경우 만족할 만한 화질을 확보하기가 매우 어렵다.

즉, 기존에는 목표 비트율과 목표 프레임율이 설정된 후에 비트율 조절을 위한 각 프레임당 기준 타겟 비트를 계산하여 향후 프레임당 양자화 파라미터 값(QP) 조정을 위한 파라미터로 사용하고 있으며, 이후의 프레임 스킵 방법에 있어서는 64kbps(실제 음성 12.8kbps를 제외하면 51.2kbps의 전송 비트율)의 목표 비트율이 일정하게 유지되며 사용자의 선택에 따라 목표 프레임율만 달라지는 특성이 있고, 이와 같이 목표 비트율이 일정하게 되면 목표 프레임율이 클수록(예: 15Hz) 스킵하는 프레임의 수가 많아지고, 목표 프레임율이 적을수록(예: 1Hz) 프레임 스킵이 거의 일어나지 않는 특성을 가지게 되므로 화상 전화 시스템에서의 충분한 화질 확보가 어려워지며, 특히 급격한 영상 움직임이 나타나는 경우 영상의 자연스러운 동작 재현이 어렵기 때문에 그 품질 저하가 나타나게 된다.

본 발명은 비디오 코덱을 이용한 영상 전화 서비스 시스템에서, 정해진 목표 프레임율에 따라 영상 전송시의 비트율 조절을 적응적으로 수행함으로써 계산의 복잡도를 줄임과 동시에 영상의 품질을 향상시킬 수 있도록 한 영상 전화 시스템의 비트율 조절방법을 제공하는데 그 목적이 있다.

본 발명의 또 다른 목적은 MPEG4 및 H.263 비디오 코덱을 이용한 IMT-2000 영상 전화 서비스 시스템에서 목표 프레임율에 따라 가변적으로 스킵 팩터를 조절함으로써 영상의 품질을 향상시킬 수 있도록, 높은 프레임율의 경우는 프레임당 양자화 파라미터 값(QP)을 낮은 범위의 값으로 제한하여 스킵 수를 늘려주고, 낮은프레임율의 경우는 프레임당 양자화 파라미터 값(QP)을 약간씩 높게 제한하여 스킵 수를 점점 작게 줄여주는 영상 전화 시스템의 비트율 조절방법을 제공하는데 있다.

도1은 동영상 부호화기의 구성을 나타낸 블록도

도2는 본 발명의 비트율 조절방법을 도식적으로 나타낸 도면

본 발명의 영상 전화 시스템의 비트율 조절방법은 목표 프레임율 및 목표 비트율을 이용해서 프레임당 기준 타겟 비트를 설정하는 단계, 상기 목표 프레임율에 따른 스킵 팩터를 조절하는 단계, 상기 스킵 팩터를 기반으로 하여 영상을 압축 부호화하는 단계, 상기 부호화된 프레임 비트 정보와 상기 프레임당 기준 타겟 비트를 비교하여 상기 압축 부호화시의 양자화 파라미터 값(QP)을 적응적으로 조절하는 단계; 를 포함하여 이루어지는 것을 특징으로 한다.

또한 본 발명의 영상 전화 시스템의 비트율 조절방법에서, 상기 프레임당 기준 타겟 비트 F_target은, F_target= T(목표 비트율)/F(목표 프레임율)로 설정함을 특징으로 한다.

또한 본 발명의 영상 전화 시스템의 비트율 조절방법에서, 상기 목표 프레임율에 따른 스킵 팩터의 조절은 상대적으로 높은 프레임율에 대해서 스킵 수를 증가시키고, 상대적으로 낮은 프레임율에 대해서 스킵 수를 감소시키는 것을 특징으로 한다.

또한 본 발명의 영상 전화 시스템의 비트율 조절방법에서, 상기 목표 프레임율에 따른 스킵 팩터의 조절은 압축 부호화시의 양자화 파라미터 값(QP)에 대해서; 프레임당 목표 비트 대비 출력된 프레임 비트의 많고 적음의 정도(W)에 따라, 높은경우는 양자화 파라미터 값(QP)을 높여서 다음 프레임의 출력 비트 수를 감소시키고, 낮은 경우는 양자화 파라미터 값(QP)을 낮춰서 다음 프레임의 출력 비트 수를 증가시키는 것을 특징으로 한다.

또한 본 발명의 영상 전화 시스템의 비트율 조절방법에서, 상기 목표 프레임율에 따른 스킵 팩터의 조절은 압축 부호화시의 양자화 파라미터 값(QP)에 대해서; 각각의 프레임당 양자화 파라미터 값(QP) 조절만 수행하고 각각의 매크로 블록 단위의 양자화 파라미터 값(QP) 조절은 수행하지 않는 것을 특징으로 한다.

또한 본 발명의 영상 전화 시스템의 비트율 조절방법에서, 상기 목표 프레임율에 따른 스킵 팩터의 조절은 압축 부호화시의 양자화 파라미터 값(QP)에 대해서 수행되며, 조정된 양자화 파라미터 값(QP)은 1 ~ 31의 값으로 클리핑(clipping)하여 사용함을 특징으로 한다.

도2는 상기한 바와 같이 이루어지는 본 발명의 영상 전화 시스템의 비트율 조절방법을 도식적으로 나타낸 도면이다.

첫번째 단계(S201a,S201b)는 전송할 목표 프레임율(F)과 목표 비트율(T)을 설정하는 단계이다. 다음 단계(S202)는 상기 목표 프레임율(F)과 목표 비트율(T)을 이용해서 각 프레임당 기준 타겟 비트(F_target)를 F_target= T/F로 설정하는 단계이다.

다음 단계(S203)는 상기 목표 프레임율에 따른 스킵 팩터의 조절을 수행하는 이하 과정을 표현하며, 이 과정에서는 각 프레임당 양자화 파라미터 값(QP)만을 조절하고 각각의 매크로 블록 단위의 양자화 파라미터 값(QP)은 조절하지 않으며, 높은 프레임의 경우는 프레임당 양자화 파라미터 값(QP)을 낮은 범위의 값으로 제한하고, 낮은 프레임의 경우는 프레임당 양자화 파라미터 값(QP)을 약간씩 높게 제한하여, 전자의 경우는 스킵하는 프레임 수를 좀 더 많이 주게 하고, 후자의 경우는 스킵하는 프레임 수를 점점 작게 줄여주는 것이다.

이 과정을 보다 더 상세하게 살펴본다.

단계(S204)는 앞서 기술한 도1과 같은 동영상 부호화기에서 이루어지는 압축 부호화 단계이다. 이 단계에서 첫번째 영상에 대해서는 초기 인트라 프레임 양자화 파라미터 값(Q_init)(S204a)에 따라 MPEG4 또는 H.263 영상 부호화기를 이용하여 부호화를 수행한다. 이 부호화의 결과로 부호화된 프레임 비트 정보(F_out)(S204b)를 구할 수 있게 된다. 이와 같은 프레임 비트 정보(F_out)는 각각의 부호화 과정에서 알 수 있으므로, 한 프레임 부호화 후 그 다음 프레임의 부호화 전에 비트율 조절을 위한 양자화 파라미터 값(QP)의 조절 과정을 다음과 같이 수행한다.

즉, 다음 단계(S205)에서 상기 각 프레임당 기준 타겟 비트(F_target)와 상기 부호화된 프레임 비트 정보(F_out)를 가중치 파라미터(W)와 함께 고려해서 그 대소를 비교한다. 여기서 가중치 파라미터(W)는 프레임당 목표 비트 대비 출력된 프레임 비트의 많고 적음의 정도를 반영하는 파라미터로서, W=1인 경우라면, 상기 비교 단계(S205)에서 F_out> F_target인 경우 새로운 양자화 파라미터 값은 +Q1 스텝만큼 증가시키고(S206a), F_out< F_target인 경우 새로운 양자화 파라미터 값은 -Q2 스텝만큼 감소시킨다(S206b).

다음 단계(S207)에서는 상기 조정된 양자화 파라미터 값을 반영하여 새로운 양자화 파라미터 Q_new를 Q_new= Q_new+ New_Q로 설정하고, 이 조정된 양자화 파라미터(S207a)를 이용해서 다음 프레임의 동영상 압축 부호화를 수행한다.

여기서, 이미 앞서 기술한 바와 같이 각각의 프레임당 양자화 파라미터 값(QP)만 조절하고 각각의 매크로 블록 단위의 양자화 파라미터값(QP)의 조절은 하지 않음으로써, 각 프레임당 일정한 화질을 유지하는 한편, 각 매크로 블록당 양자화 파라미터 값(QP)의 조절을 위한 불필요한 계산량은 줄이고 속도는 높여준다.

또한 이 때, 조정된 양자화 파라미터 값(QP)은 다음 프레임 부호화 전에 사용 가능하도록 그 값을 1 ~ 31 사이의 값으로 클리핑(clipping)하여 사용함으로써 잘못된 양자화 파라미터 값에 대한 오류를 방지한다.

지금까지 설명한 바와 같이 본 발명에서는 비트율 조절을 위한 양자화 파라미터 값(QP)의 조정이 프레임당 목표 비트 대비 출력된 프레임 비트의 많고 적음의 정도(W)에 따라, F_out> W * F_target로 높은 경우는 양자화 파라미터 값(QP)을 높여서 다음 프레임의 출력 비트를 내리고, F_out< W * F_target로 낮은 경우는 양자화 파라미터 값(QP)을 낮춰서 다음 프레임의 출력 비트를 높여주는 것이다.

따라서, 높은 프레임율(High Frame Rate)의 경우는 프레임당 양자화 파라미터 값(QP)을 낮은 범위의 값으로 제한함으로써 프레임 스킵을 좀더 많이 주고(Many Skip), 낮은 프레임율(Low Frame Rate)의 경우는 프레임당 양자화 파라미터 값(QP)을 약간씩 높게 제한함으로써 스킵되는 프레임 수를 점점 작게 줄이는 것이다(Small Skip). 이렇게 함으로써 목표 프레임율에 따라 스킵되는 프레임의 수를 가변적으로 조절할 수 있게 되고, 이는 곧 영상의 자연스러운 동작을 유지하게 함으로써 급격한 움직임이 나타나는 영상에 대해서도 그 품질의 저하를 막을 수 있게 하여 화질 향상을 가능하게 한다.

예를 들어, 프레임율이 15Hz인 경우는 프레임당 양자화 파라미터 값(QP)을 조정하여 스킵하는 프레임 수를 늘려주고, 프레임율이 7.5Hz, 5Hz, 3Hz, 1Hz인 경우는 프레임당 양자화 파라미터 값(QP)을 조정하여 스킵하는 프레임 수를 점점 작게 줄여주는 것이다.

결국, 본 발명의 영상 전화 시스템의 비트율 조절방법은 정해진 목표 프레임율에 따라 적응적이며 가변적으로 스킵 팩터를 조절함으로써, 기존에 목표 비트와 목표 프레임율을 가지고 한 프레임당 목표 비트를 할당하고 이를 기준으로 단일 메저(measure)의 스킵 방법을 사용하는 경우에 비하여 화질의 향상과 계산량의 감소를 가져올 수 있게 된다.

본 발명은 MPEG4 및 H.263 비디오 코덱을 이용한 IMT-2000 영상 전화 서비스 시스템에서, 영상 전송시 정해진 목표 프레임율에 따라 적응적으로 비트율을 조절함으로써 계산 복잡도를 줄일 수 있고, 동시에 목표 프레임율에 따라 스킵되는 프레임 수를 가변적으로 조절할 수 있기 때문에 영상의 자연스러운 동작을 유지하고 급격한 움직임 시 나타나는 영상의 품질 저하를 방지할 수 있다.

Claims (6)

1. 목표 프레임율 및 목표 비트율을 이용해서 프레임당 기준 타겟 비트를 설정하는 단계, 상기 목표 프레임율에 따른 스킵 팩터를 조절하는 단계, 상기 스킵 팩터를 기반으로 하여 영상을 압축 부호화하는 단계, 상기 부호화된 프레임 비트 정보와 상기 프레임당 기준 타겟 비트를 비교하여 상기 압축 부호화시의 양자화 파라미터 값(QP)을 적응적으로 조절하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 영상 전화 시스템의 비트율 조절방법.
2. 제 1 항에 있어서, 상기 프레임당 기준 타겟 비트 F_target은, F_target= T(목표 비트율)/F(목표 프레임율)로 설정함을 특징으로 하는 영상 전화 시스템의 비트율 조절방법.
3. 제 1 항에 있어서, 상기 목표 프레임율에 따른 스킵 팩터의 조절은 상대적으로 높은 프레임율에 대해서 스킵 수를 증가시키고, 상대적으로 낮은 프레임율에 대해서 스킵 수를 감소시키는 것을 특징으로 하는 영상 전화 시스템의 비트율 조절방법.
4. 제 1 항에 있어서, 상기 목표 프레임율에 따른 스킵 팩터의 조절은 압축 부호화시의 양자화 파라미터 값(QP)에 대해서; 프레임당 목표 비트 대비 출력된 프레임 비트의 많고 적음의 정도(W)에 따라, 높은 경우는 양자화 파라미터 값(QP)을 높여서 다음 프레임의 출력 비트 수를 감소시키고, 낮은 경우는 양자화 파라미터 값(QP)을 낮춰서 다음 프레임의 출력 비트 수를 증가시키는 것을 특징으로 하는 영상 전화 시스템의 비트율 조절방법.
5. 제 1 항에 있어서, 상기 목표 프레임율에 따른 스킵 팩터의 조절은 압축 부호화시의 양자화 파라미터 값(QP)에 대해서; 각각의 프레임당 양자화 파라미터 값(QP) 조절만 수행하고 각각의 매크로 블록 단위의 양자화 파라미터 값(QP) 조절은 수행하지 않는 것을 특징으로 하는 영상 전화 시스템의 비트율 조절방법.
6. 제 1 항에 있어서, 상기 목표 프레임율에 따른 스킵 팩터의 조절은 압축 부호화시의 양자화 파라미터 값(QP)에 대해서 수행되며, 조정된 양자화 파라미터 값(QP)은 1 ~ 31의 값으로 클리핑하여 사용함을 특징으로 하는 영상 전화 시스템의 비트율 조절방법.