KR20000002952A - 실시간 처리를 위한 비디오 신호에 대한 비트수 추정방법과왜곡추정방법 및 이것들을 이용한 부호화방법과 그 장치 - Google Patents

Abstract

본 발명은 실시간 처리를 위한 비디오 신호의 비트수 및 왜곡 추정방법과, 이것들을 이용한 부호화방법 및 그 장치에 관한 것으로, 하나의 채널을 통하여 전송되는 프로그램들간의 상대적인 화질을 프로그램의 중요도에 따라 차별화함으로써, 시청자들에게 만족할만한 비디오 서비스를 제공하는데 그 목적이 있다. 이를 위해 본 발명의 부호화 방법은 부호화될 모든 영상에 할당될 전체 비트수를 계산하는 제1단계; 매 주기마다 적용되는 양자화 파라메터에 따라 부호화될 각 프로그램의 영상으로부터 발생하는 비트수와 왜곡의 추정값을 계산하는 제2단계; 상기 제2단계에서 계산된 왜곡의 추정값에 미리 결정된 프로그램들간의 상대적 화질비를 곱해 변형된 비트율-왜곡 추정값을 계산하는 제3단계; 상기 제3단계에서 계산된 각 프로그램별 변형 비트율-왜곡 추정값들을 비트율 축에 대해 더함으로써 전체 비트율-왜곡 함수를 구하는 제4단계; 상기 전체 비트율-왜곡 함수로부터 상기 제1단계에서 계산된 할당될 전체 비트수에 대응되는 왜곡값을 구해 목표 왜곡값을 결정하는 제5단계; 및 각 프로그램의 영상에 대하여 상기 결정된 목표 왜곡값에 근접한 왜곡을 발생시키는 양자화 파라메터를 구해 상기 계산된 양자화 파라메터에 따라 입력된 영상을 부호화하는 제6단계를 포함한다.

Description

실시간 처리를 위한 비디오 신호에 대한 비트수 추정방법과 왜곡추정방법 및 이것들을 이용한 부호화방법과 그 장치

본 발명은 실시간 처리를 위한 비디오 신호에 대한 비트수 및 왜곡 추정방법과, 이것들을 이용한 부호화방법 및 그 장치에 관한 것으로, 더욱 자세하게는 MPEG-2로 부호화된 영상에서 발생되는 비트수와 왜곡을 정확하게 추정하고, 더욱이 이의 추정을 위한 주된 연산이 양자화기에 입력되는 신호의 히스토그램 또는 가중 히스토그램을 구하는 것으로, 그 계산량이 매우 적어 실시간 처리가 가능한 비디오 신호에 대한 비트수 및 왜곡 추정방법과, 상기 비트수 및 왜곡 추정방법을 이용하여 모든 비디오 프로그램들의 전체 전송률은 항상 일정하게 유지하면서 각 프로그램에 대해서는 프로그램의 중요도에 따라 미리 설정된 상대적 화질 차이를 유지하도록 한 부호화 방법 및 그 장치에 관한 것이다.

현재 MPEG-2 등과 같은 새로운 영상 압축기술과 디지탈 전송기술의 발달로 인하여 고정 비트율(CBR: Constant Bit Rate)을 갖는 기존 전송 채널을 통하여 다수의 비디오 프로그램들을 동시에 전송하는 다중 비디오 프로그램 전송 환경이 가능하게 되었다. 이와 같은 환경의 예로는 디지탈 위성방송, 케이블 TV, 디지탈 지상방송 등이 있다. 하지만, 이와 같은 방송 서비스를 시청하는 시청자들은 보다 고화질, 고기능의 영상 서비스를 요구한다. 이와 같은 시청자들의 욕구를 만족시키기 위해서는 보다 넓은 채널 대역을 각 프로그램에 할당해야 한다. 그러나, 이는 한 채널을 통해서 전송할 수 있는 프로그램의 수가 감소함을 의미한다. 그런데, 비디오 프로그램들간에는 내용에 따라 시청자들이 보다 고화질을 요구하는 프로그램과 그렇지 않은 프로그램이 있다. 따라서, 일정 대역을 갖는 채널을 통해 전송되는 비디오 프로그램들간의 상대적 화질을 비디오 프로그램들의 중요도에 따라 차별화 할 수 있다면 보다 향상된 서비스를 시청자들에게 제공할 수 있다.

다수의 비디오 프로그램들을 부호화하여 하나의 고정 비트율(CBR) 채널을 통하여 전송하는 종래의 부호화 장치가 도1에 도시되어 있다.

도1에 도시된 바와 같이 종래의 부호화장치에서는 N개의 비디오 프로그램을 각각의 부호화기(101)를 통해 부호화하여 각각의 버퍼(102)에 저장한다. 그리고, 각각의 버퍼(102)에 저장된 N개의 부호화된 비디오 신호는 다중화기(104)를 통해 다중화되어 망 인터페이스(105)를 통해 전송된다. 여기서, 각각의 버퍼(102)에 연결된 비트율 제어기(103)는 버퍼(102)의 상태에 따라 부호화기(101)를 제어한다. 이와 같은 종래의 부호화 장치는 모든 프로그램들을 독립적으로 고정 비트율(CBR)로 압축하여 전송하는 독립 부호화(independent coding) 방식이다. 그런데, 프로그램내에 있는 영상의 복잡도는 시간에 따라 변할 수 있다. 그러므로, 각 프로그램에 대하여 고정된 채널 대역을 할당하는 독립 부호화 방식은 시청자들에게 일관된 화질과 프로그램의 중요도에 따라 차별화된 화질을 제공할 수 없다.

이와 같은 독립 부호화 방식의 문제를 개선하기 위해서 각 프로그램에 대해서 가변 비트율(VBR: Variable Bit Rate) 압축을 허용하는 방식들이 제안되고 있다. 이 방식들은 가변 비트율(VBR)로 압축된 비디오 프로그램을 발생시키는 다수의 부호화기들을 중앙 제어부에서 동시에 제어하여 각 비디오 프로그램의 전송률은 가변적이지만, 다중화되어 고정 비트율(CBR) 채널을 통하여 전송되는 모든 프로그램들의 전송률 합을 일정하게 유지함으로써, 가변 비트율(VBR) 압축의 장점인 균일하고 향상된 화질을 얻고자 하였다.

이러한 방식들 중에서 사카자와(S. Sakazawa), 다키시마(Y. Takishima), 와다(M. Wada), 그리고 하토리(Y. Hatori)에 의해 제안된 멀티-인코더(multi-encoder) 시스템용 부호화 제어 구조(scheme)["Coding control scheme for a multi-encoder system," 6th International Workshop on Packet Video, Brisban, Australia, PP. 83-88, March 1996.]에서는 간단한 비트율-왜곡 모델을 이용하여 다중화 되는 프로그램들의 전체 왜곡을 최소화할 수 있도록 매 프레임 주기마다 부호화 되는 각 프로그램에 대역을 할당하는 방식이 제시되어 있다. 그러나, 이러한 방식에서 간단한 비트율-왜곡 모델은 적용되는 영상에 따라 큰 오차가 발생할 수 있다. 만일 오차를 줄이기 위하여 고차의 모델을 적용할 경우 이 모델의 변수를 구하기 위해서 반복적인 부호화 처리와 같은 많은 연산 과정이 추가되므로, 이를 실제로 구현하는데 매우 어려운 문제점이 있다.

또한, 왕(L. Wang)과 빈센트(A. Vincent) 등에 의해 제안된 방식들[L. Wang, A. Vincent and P. Corriveau, "Multi-program video coding with joint rate control," IEEE GLOBECOM'96, PP. 1516-1520.; L. Wang and A. Vincent, "Bit allocation for joint coding of multiple video programs," SPIE VCIP'97, PP.149-158.]에서는 다중화되는 모든 프로그램들의 프레임과 GOP(Group Of Pictures)들로 구성되는 슈퍼(super)-프레임과 슈퍼-GOP 개념을 도입하여 마치 하나의 프로그램을 부호화 하는 것과 같은 처리가 이루어지도록 하였다. 그리고, 슈퍼-프레임에 대하여 할당된 비트수에 가장 근접한 비트를 발생시키는 하나의 양자화 파라메터를 부호화될 모든 영상들에 동일하게 적용함으로써, 모든 프로그램들이 균일한 화질을 유지하도록 하였다. 그러나, 이러한 방식에서 이 영상들을 동일한 양자화 파라메터를 사용하여 부호화 하더라도 영상의 내용에 따라 서로 다른 화질을 가질 수 있다. 또한, 부호화에 실제로 적용되는 양자화 파라메터를 얻기 위해서는 적용 가능한 양자화 파라메터에 대한 비트수를 미리 구해야 하는데, 이를 위해서는 여러 번의 반복적인 부호화 과정이 필요하므로, 구현상의 어려움이 있다.

또한, 키스만(G. Keesman)과 엘리아스(D. Elias)에 의해 제안된 방식["Analysis of joint bit-rate control in multi-program image coding," SPIE VCIP'94, PP. 1906-1917.]에서는 매 프레임 주기마다 부호화되는 전체 프로그램에 할당되는 비트수를 MPEG-2의 TM5(Test Model 5)에서 제시한 영상의 복잡도에 비례하게 각 프로그램에 할당하여 프로그램들간의 화질 차이를 최소화하고자 하였다. 그러나, 비트수와 평균 양자화 파라메터의 곱으로 구해지는 TM5의 복잡도는 실험적으로 구해진 근사화 결과이므로, 동일한 영상에 대해서도 적용되는 양자화 파라메터에 따라 서로 다른 결과를 나타낸다. 따라서, 모든 프로그램들에 대하여 동일한 화질을 보장하기 어렵다. 또한, 이러한 종래의 방식들은 부호화되는 프로그램의 중요도에 따라 각 프로그램들간의 상대적 화질을 차별화 할 수 없으므로, 보다 향상된 서비스를 요구하는 시청자들의 욕구를 만족시키기 어렵다.

따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 MPEG-2로 부호화된 영상에서 발생되는 비트수와 왜곡을 정확하게 추정하고, 더욱이 이의 추정을 위한 주된 연산이 양자화기에 입력되는 신호의 히스토그램 또는 가중 히스토그램을 구하는 것으로, 그 계산량이 매우 적어 실시간 처리가 가능한 비디오 신호에 대한 비트수 및 왜곡 추정방법을 제공하는데 있다.

또한, 본 발명의 다른 목적은 시청자들에게 만족할만한 비디오 서비스를 제공하기 위해 상기 비트수 및 왜곡 추정방법을 이용하여 모든 비디오 프로그램들의 전체 전송률은 항상 일정하게 유지하면서 각 프로그램에 대해서는 프로그램의 중요도에 따라 미리 설정된 상대적 화질 차이를 유지하도록 한 부호화 장치 및 그 방법을 제공하는데 있다.

도1은 종래의 다중 비디오 전송을 위한 독립적인 부호화장치의 블럭 구성도.

도2는 본 발명에 따른 비디오 부호화장치의 블럭 구성도.

도3은 본 발명에 따른 결합화질제어의 개념을 설명하는 설명도.

도4는 본 발명에 따른 중앙 제어부의 상세 블럭 구성도.

도5a 및 도5b는 적용되는 양자화 파라메터가 2, 3일 때, MPEG-2 양자화 특성을 나타낸 그래프.

도6은 본 발명에 따른 MPEG-2 비디오의 비트수 추정 흐름도.

도7은 본 발명에 따른 MPEG-2 비디오의 왜곡 추정 흐름도.

도8은 본 발명에 따른 전체 목표 비트 할당부의 상세 블럭 구성도.

도9는 본 발명에 따른 부호화 처리 흐름도.

*도면의 주요 부분에 대한 부호의 설명

201 : 부호화기 202 : 다중화기

203 : 중앙 제어부 204 : 버퍼

205 : 망 인터페이스

401 : 비트율-왜곡 추정부

402 : 비트율-왜곡 변형부

403 : 전체 목표비트 할당부

404 : 목표왜곡 결정부 및 양자화 파라메터 결정부

상기 목적을 달성하기 위한 본 발명의 비트수 추정방법은, 양자화 매트릭스 처리된 이산여현변환(DCT) 계수들에 대하여 구간별 히스토그램을 계산하는 제1단계; 상기 제1단계에서 계산된 구간별 히스트그램의 누적치를 계산하여 적용되는 양자화 파라메터에 대응하는 영이아닌계수(NZC: Non-Zero Coefficient)들의 개수를 계산하는 제2단계; 현재 영상과 동일한 부호화 방식을 갖는 이전 영상의 신호 비트수와 영이아닌계수의 개수와의 비를 상기 제2단계에서 계산된 영이아닌계수의 개수에 곱하여 적용되는 양자화 파라메터에 따라 발생하는 현재 영상으로부터 발생하는 신호 비트수를 계산하는 제3단계; 및 상기 제3단계에서 계산된 신호 비트수에 부가정보 비트수를 더하여 한 영상에서 발생하는 비트수를 계산하는 제4단계를 포함한 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명의 왜곡 추정방법은, 양자화 매트릭스 처리된 이산여현변환(DCT) 계수들에 대하여 양자화 매트릭스의 영향을 고려한 구간별 가중 히스토그램을 계산하는 제1단계; 상기 제1단계에서 계산된 가중 히스토그램의 누적치를 계산하는 제2단계; 및 상기 계산된 가중 히스토그램과 가중 히스토그램의 누적치를 이용하여 양자화 파라메터 혹은 양자화 스텝 크기의 증가에 따른 왜곡의 증가량을 계산하는 제3단계를 포함한 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명의 부호화 방법은, 부호화될 모든 영상에 할당될 전체 비트수를 계산하는 제1단계; 매 주기마다 적용되는 양자화 파라메터에 따라 부호화될 각 프로그램의 영상으로부터 발생하는 비트수와 왜곡의 추정값을 계산하는 제2단계; 상기 제2단계에서 계산된 왜곡의 추정값에 미리 결정된 프로그램들간의 상대적 화질비를 곱해 변형된 비트율-왜곡 추정값을 계산하는 제3단계; 상기 제3단계에서 계산된 각 프로그램별 변형 비트율-왜곡 추정값들을 비트율 축에 대해 더함으로써 전체 비트율-왜곡 함수를 구하는 제4단계; 상기 전체 비트율-왜곡 함수로부터 상기 제1단계에서 계산된 할당될 전체 비트수에 대응되는 왜곡값을 구해 목표 왜곡값을 결정하는 제5단계; 및 각 프로그램의 영상에 대하여 상기 결정된 목표 왜곡값에 근접한 왜곡을 발생시키는 양자화 파라메터를 구해 상기 계산된 양자화 파라메터에 따라 입력된 영상을 부호화하는 제6단계를 포함한 것을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명의 부호화 장치는, 입력되는 다수개의 비디오 신호들을 각각 부호화하는 다수개의 부호화수단; 상기 다수개의 부호화수단에 의해 부호화된 각각의 비디오 신호를 다중화하는 다중화수단; 상기 다중화수단에 의해 다중화된 비디오 신호를 버퍼링하는 수단; 및 상기 다수개의 부호화수단으로부터 모니터링 정보를 입력받고, 상기 버퍼링수단으로부터 버퍼 충만도 정보를 입력받고, 외부로부터 미리 결정된 각 프로그램별 상대적 화질비를 입력받아 현재 부호화할 영상에 적용될 양자화 파라메터 값들을 계산하여 상기 다수개의 부호화수단으로 각각 제공하는 제어수단을 포함한 것을 특징으로 한다.

본 발명에서는 부호화될 각 프로그램의 영상에 대한 비트(또는 양자화 파라메터) 할당 과정에 의해서 상기의 목적들이 달성되도록 하였다. 즉, 결합 화질 제어되어 부호화된 프로그램들의 영상들간의 상대적 화질이 미리 설정된 화질비를 유지할 수 있도록 각 영상들에게 할당되는 비트수(또는 양자화 파라메터)를 제어하는 것이다.

다중화되어 고정 비트율(CBR) 채널을 통하여 전송되는 비디오 프로그램의 수가 임의의 자연수 N이고, 현재 프레임 기간 동안 부화화될 모든 영상들에 할당되는 전체 비트수를 B_T라 할 때, 프로그램들간의 상대적인 왜곡의 비를 1/β₁: 1/β₂:⋅⋅:1/β_Ν 로 유지하기 위해서는 수학식 1을 만족하도록 전체 비트수 B_T를 부호화될 각 프로그램의 영상에 재할당하면 된다.

여기서, B_T≤B_max이고, B_k(D/β_k)는 부호화된 k 번째 프로그램의 영상으로부터 발생하는 왜곡이 D/β_k가 되기 위해서 필요한 비트수이고, B_max는 부호화기 버퍼가 현재 프레임 기간 동안 버퍼의 넘침이 발생하지 않으면서 수용 가능한 최대 비트수를 의미한다.

본 발명에서 제시하는 비디오 프로그램들의 화질 제어의 기본 개념은 현재 부호화될 모든 프로그램들의 영상에 할당될 전체 목표 비트수 B_T를 부호화된 프로그램들의 상대적 화질이 미리 결정된 비율을 유지하도록 각 프로그램에 재 할당하는 것이다. 이 과정은 예를 들어 도3에 도시된 바와 같이 3개의 프로그램들간의 왜곡의 비가 1/β₁: 1/β₂: 1/β₃ 가 되도록 결합 화질 제어할 경우 우선 현재 부호화될 각 프로그램의 영상들에 대한 비트율-왜곡 곡선 R_k(D)들을 왜곡 축(수평 축)으로 각 프로그램에 대한 왜곡 비의 역수만큼 확장하여 변형된 비트율-왜곡 곡선 R_k(D/β_k)들을 구한다. 그리고, 이 변형된 비트율-왜곡 곡선 R_k(D/β_k)들을 비트율 축(수직 축)에 대하여 더함으로써, 전체 비트율-왜곡 곡선 R_T(D)를 구하고, 전체 비트율-왜곡 곡선 R_T(D)와 전체 목표 비트수 B_T가 교차하는 점에 해당하는 왜곡 D_T를 구한다. 그리고, 왜곡 D_T와 변형된 비트율-왜곡 곡선 R_k(D/β_k)가 교차하는 점에 해당하는 비트수 B_k를 현재 부호화될 k번째 프로그램의 영상에 할당한다. 결국 각 프로그램의 영상에 할당되는 비트수의 비는 B₁: B₂: B₃이고, 각 영상들간의 상대적인 왜곡의 비는 1/β₁: 1/β₂: 1/β₃가 되며, 부호화된 각 영상으로부터 발생하는 왜곡은 D_T/β_k가 된다.

그러나, 이와 같은 비트 재할당 과정에서 사용되는 비트율-왜곡 함수를 구하기 위해서는 MPEG-2에서 사용되는 양자화 파라메터가 31개이므로 31번의 양자화, 역양자화, 역이산여현변환(IDCT), 가변길이부호화(VLC), 그리고 왜곡 측정과 같은 처리과정이 추가로 필요하므로, 실제 부호화 과정에 이를 적용하기는 어렵다. 따라서, 본 발명에서는 실시간 비디오 처리에 적용할 수 있는 비트율-왜곡 추정 방법을 제안하여 적용함으로써 이 문제를 해결하였다.

본 발명의 처리과정은 부호화할 프로그램들의 현재 프레임에 대한 비트수와 왜곡을 추정하고, 이 추정 결과를 이용하여 결합 화질 제어를 수행한다. 여기서, 비트수와 왜곡의 추정은 한 프레임의 영상에 동일한 양자화 파라메터(QP: Quantization Parameter)를 적용했을 때, 이 영상에서 발생하는 비트수와 왜곡을 추정하는 것으로, 부호화 과정에 적용 가능한 양자화 파라메터가 31개이면 각 양자화 파라메터에 대응하는 비트수와 왜곡값이 추정되어야 한다. 이후 비트수와 왜곡의 추정 값은 다음과 같이 표현하기로 한다. 현재 부호화되는 k번째 프로그램의 한 프레임에 적용되는 양자화 파라메터가 QP_n일 때, 발생 비트수와 왜곡의 추정 값은 각각 과 으로 표현한다.

본 발명에 따른 결합 부호화 단계는 아래와 같은 단계에 의해 이루어진다.

제1 단계 : 매 프레임 주기마다 부호화될 모든 영상에 할당할 전체 목표 비트수 B_T을 추정한다.

제2 단계 : 매 프레임 주기마다 적용되는 양자화 파라메터에 따라 부호화될 각 프로그램의 영상으로부터 발생하는 비트수와 왜곡을 추정한다.

제3 단계 : 비트율-왜곡 추정 과정에서 얻어진 추정된 비트율-왜곡 곡선 R_k(D)를 왜곡 축으로 β_k만큼 확장하여 변형된 비트율-왜곡 곡선 R_k(D/β_k)를 구한다. 여기서, β_k는 프로그램들간의 상대적 화질비이다.

제4 단계 : 비트율-왜곡 추정 곡선 변형 과정으로부터 비트율-왜곡 곡선들을 비트율 축에 대하여 더함으로써 변형된 전체 비트율-왜곡 곡선 R_T(D)을 구한다.

제5 단계 : 현재 부호화할 모든 영상들을 전체 목표 비트수 B_T로 부호화할 때, 변형된 비트율-왜곡 곡선간의 왜곡의 차이가 최소화되는 목표 왜곡 값 D_T을 구한다.

제6 단계 : 각 프로그램의 영상에 대한 변형된 비트율-왜곡 곡선 R_k(D/β_k)에서 목표 왜곡 D_T에 근접한 왜곡을 발생시키는 양자화 파라메터를 선택하여 이를 이용해 부호화한다.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세히 설명한다.

도2는 N개의 비디오 프로그램들이 부호화되어 하나의 고정비트율(CBR) 채널(또는 TV채널)을 통하여 전송될 경우 결합적으로 비디오 부호화를 수행하는 본 발명에 따른 결합 부호화 장치의 전체적인 블럭 구성도로서, 도면에서 201은 부호화기, 202는 다중화기, 203은 중앙 제어부, 204는 버퍼, 205는 망 인터페이스를 각각 나타낸다.

입력되는 N개의 비디오 프로그램들은 각 프로그램들을 부호화하는 부호화기들(201)에 입력되어 부호화되고, 각 부호화기들(201)의 출력 비트열(bit stream)들은 다중화기(202)에서 다중화된 후, 출력 버퍼(204)에 저장된다. 그리고, 버퍼(204)의 출력 비트열은 망 인터페이스(205)에서 변조된 후 채널을 통하여 수신기로 전송된다. 한편, 현재 부호화되는 각 프로그램의 화질과 발생 비트수는 중앙 제어부(203)에 의해 제어된다. 즉, 중앙 제어부(203)는 각 부호화기들(201)로부터 제어에 필요한 모니터링(monitoring) 정보(MI[1:N])와 출력 버퍼(204)로부터 버퍼 충만도(buffer fullness)에 대한 정보(BI), 그리고 외부로부터 미리 결정된 상대적 화질비를 입력받아서 현재 부호화할 영상에 적용될 양자화 파라메터 값들(CS[1:N])을 각 부호화기(201)로 송출한다. 그리고, 각 부호화기(201)는 중앙 제어부(203)의 출력 제어신호인 양자화 파라메터(CS[1:N])에 따라 부호화를 수행한다. 여기서, 각 부호화기(201)의 양자화 파라메터 적용 처리 단위는 프레임이다. 즉, 한 프레임에 동일한 양자화 파라메터를 적용한다.

상기와 같은 본 발명에 따른 부호화 장치에서 중앙 제어부(203)의 동작을 도4 이하를 참조하여 보다 상세히 살펴본다.

도4는 본 발명에 따른 중앙 제어부(203)의 구성도로서, 도면에서 401은 비트율-왜곡 추정부, 402는 비트율-왜곡 변형부, 403은 전체 목표 비트 할당부, 404는 목표 왜곡 결정부 및 양자화 파라메터 결정부를 각각 나타낸다.

본 발명에 따른 중앙 제어부(203)는 현재 부호화될 각 프로그램의 현재 영상에 대하여 적용되는 양자화 파라메터에 대응하는 발생 비트수와 왜곡을 추정하는 비트율-왜곡 추정부(401)와, 상기 비트율-왜곡 추정부(401)에 의해 추정된 비트율-왜곡 곡선을 프로그램의 중요도에 따라 미리 결정된 상대적 화질비(β[1:N])만큼 왜곡 축으로 확장시키는 비트율-왜곡 변형부(402), 전체 프로그램의 영상에 할당할 비트수를 계산하는 전체 목표 비트 할당부(403), 상기 전체 목표 비트 할당부(403)에서 구해진 전체 목표 비트수로 모든 프로그램의 영상들을 부호화할 때, 각 영상들간의 화질비가 미리 결정된 상대적 화질비를 유지할 수 있도록 각 프로그램의 현재 프레임에 적용할 양자화 파라메터들을 구하는 목표 왜곡 결정부 및 양자화 파라메터 결정부(404)를 구비한다.

이와 같이 구성되는 중앙 제어부의 각 세부 기능 블럭들의 동작을 살펴보면 다음과 같다.

먼저, 비트율-왜곡 추정부(401)의 동작을 살펴본다.

MPEG-2와 같이 움직임 보상-이산여현변환(MC-DCT) 방식의 영상 부호화를 수행하는 표준 비디오 부호화 방식들은 일반적으로 양자화 과정에 적용되는 양자화 스텝 크기(QS: Quantization Step Size)를 조절하여 발생 비트수 또는 화질을 제어한다. 따라서, 영상 부호화에 적용되는 양자화 스텝 크기(QS)에 대한 발생 비트수와 왜곡의 정확한 추정은 비디오 부호화를 효율적이고도 정확하게 제어할 수 있다. 여기서, 양자화 스텝 크기(QS)는 양자화 파라메터(QP)의 함수로써, n 번째 양자화 파라메터를 QP_n(보통 QP_n=n)이라 하고, 이에 대응하는 양자화 스텝 크기(QS)를 QS_n이라 하면 양자화 스텝 크기(QS)와 양자화 파라메터(QP)의 관계는 보통 QS_n=2×QP_n이고, QP_n< QP_n+1이다.

이를 보다 구체적으로 살펴보기 위해 먼저, 적용되는 양자화 파라메터(QP)에 대응하는 비트수 추정과정을 살펴본다.

MPEG-2 비디오 부호화기의 출력 정보는 움직임 벡터, 각종 헤더 등과 같은 부가 정보와 이산여현변환(DCT: Discrete Cosine Transform) 계수로부터 발생되는 신호 정보로 구성된다. 여기서, 양자화 파라메터(QP)의 변화에 영향을 받는 신호 성분은 인트라(intra)-DC를 제외한 DCT 계수들이고, 높은 비트율로 부호화할 경우 부호화기의 출력 비트수는 대부분 DCT 계수로부터 발생된다. 양자화 처리된 DCT 계수들은 run-length 부호화에 의하여 (0의 개수,레벨)로 표현되는 부호단어(codeword)로 변환된 후, 가변 길이 부호화(VLC)되어 최종적인 비트열로 만들어진다. 여기서, (0의 갯수,레벨)로 표현되는 부호단어(codeword)의 수는 양자화 처리된 DCT 계수 중 영이 아닌 계수(NZC: Non-Zero Coefficient)의 수와 일치한다. 이러한 결과로부터 양자화된 DCT 계수로부터 발생되는 비트수는 영이 아닌 계수(NZC)의 수에 비례함을 알 수 있다. 만일 한 영상에서 발생되는 부호단어(codeword)들에 대한 평균 코드 길이가 부호화에 적용되는 양자화 파라메터(QP)에 무관하게 일정하다면 DCT 계수로부터 발생되는 비트수과 영이 아닌 계수(NZC)의 수는 선형적으로 비례하게 된다. 한편, 부가 정보로부터 발생되는 비트수는 양자화 파라메터(QP)의 변화에 영향을 받지 않으므로, 한번의 비트 카운트에 의하여 구할 수 있다. 이와 같은 가정으로부터 적용되는 양자화 파라메터(QP)에 대응하는 비트수 추정이 가능하다. 따라서, 본 발명에서는 적용되는 양자화 파라메터에 따라 DCT계수로부터 발생되는 비트수 Sbit을 영이 아닌 계수(NZC)의 개수를 측정함으로써, 수학식 2와 같이 근사적으로 추정한다.

Sbit(QP_n) =α_I× NZC_I(QP_n) + α_N× NZC_N(QP_n)

여기서, 비례계수 α_I는 이전 Ⅰ-픽처로부터 발생한 비트수와 NZC 수의 비이고, α_N은 현재 영상의 부호화 방식이 넌-인트라(non-intra) 방식인 P 또는 B-픽처인 경우 현재 영상과 동일한 부호화 방식으로 부호화된 이전 영상의 매크로 블럭(MB: MacroBlock)들 중 넌-인트라(non-intra) 방식으로 부호화된 매크로 블럭(MB)들로부터 발생한 비트수와 NZC 수의 비이다. 또한 NZC_I(QP_n)과 NZC_N(QP_n)은 각각 현재 영상에 포함된 매크로 블럭(MB)들 중 인트라(intra) 매크로 블럭(MB)들로부터 발생한 NZC와 넌-인트라(non-intra) 매크로 블럭(MB)들로부터 발생한 NZC의 수이다.

MPEG-2에서 사용되는 양자화 과정은 부호화 방식에 따라 인트라(intra)와 넌-인트라(non-intra) 양자화 과정으로 분류되는데, MPEG-2의 TM5(Test Model 5)에서 제시한 양자화기 중 인트라 양자화기는 수학식 3, 수학식 4와 같고, 넌-인트라 양자화기는 수학식 5, 6과 같다.

인트라(Intra)-DC를 제외한 DCT계수 ac(i,j)에 대한 양자화 과정은 우선 수학식 3 또는 수학식 5와 같이 양자화 매트릭스(quantization matrix)에 의한 개별적인 양자화를 수행한다. 여기서, W_I(i,j)와 W_N(i,j)는 각각 인트라(intra) 그리고 넌-인트라(non-intra) 양자화 매트릭스의 (i,j)성분이다. 양자화 매트릭스 처리된 DCT계수(즉, 또는 )는수학식 4 또는 수학식 6과 같이 양자화 파라메터(QP)에 의해서 양자화 처리된다. 여기서, 양자화 파라메터(QP)는 보통 비트율 제어 알고리즘에 의해서 매크로 블럭(MB) 또는 이 이상의 계층 단위로 조절될 수 있다. 한편, MPEG-2에서 사용되는 역양자화는 각 매크로 블럭(MB)의 부호화 방식에 따라 인트라의 경우는 수학식 7과 같이 넌-인트라의 경우는 수학식 8과 같이 표현되는 역양자화기를 적용하여 수행된다.

REC_I(i,j)=(QAC_I(i,j)×W_I(i,j)×QS)/16

REC_N(i,j)=[2×QAC_N(i,j)+sign(QAC_N(i,j))]×W_N(i,j)×QP/32

도5a는 적용되는 양자화 파라메터(QP)가 2, 3일 때, 수학식 4와 수학식 7로부터 얻어지는 인트라 양자화의 입출력 특성을 나타내고, 도5b는 수학식 6과 수학식 8로부터 얻어지는 넌-인트라 양자화의 입출력 특성을 나타낸 그래프이다.

도면에서 빗금 친 영역에 존재하는 입력 신호(즉, 또는 )들에 대한 양자화 처리 결과는 양자화에 적용되는 양자화 파라메터(QP)가 2일 때는 영이 아니고, 3일 때는 영이 된다.

MPEG-2에서 제시한 양자화기를 사용하여 부호화할 때, 적용되는 양자화 파라메터에 따라 발생하는 NZC의 수는 다음 절차에 의해서 쉽게 구할 수 있고, 이 결과를 수학식 2에 대입함으로써, DCT 계수로부터 발생하는 비트수를 추정할 수 있다.

이를 구체적으로 살펴보면, 먼저 의 히스토그램을 구한다.

NZC＿pdf[AC(i,j)]++

여기서, clipping[ㆍ]은 입력을 0에서 31로 제한된 정수로 변환하는 연산자이고, β는 수학식 4 또는 수학식 6으로부터 유도되는 상수로서, 인트라 양자화기의 경우는 0.8이고, 넌-인트라 양자화기의 경우는 0.5이다. 따라서, AC(i,j)는 양자화 처리된 DCT 계수의 절대값이 1이 되기 위한 양자화 파라메터(QP) 값을 의미한다. 예를 들어, 넌-인트라 양자화기의 경우 수학식 6으로부터 QAC_N(i,j)의 절대값을 1로 만드는 양자화 파라메터(QP) 값은 이다. 결국, NZC_pdf[QP_n]에는 양자화 과정에 적용되는 양자화 파라메터(QP)가 QP_n에서 QP_n+1로 증가할 때, 이에 대응하는 NZC의 감소량이 저장된다. 즉, QP_n을 적용하여 양자화 했을 때는 영이 아니고, 한 단계 증가된 QP_n+1을 적용하여 양자화하면 영으로 바뀌는 DCT 계수의 개수가 NZC_pdf[QP_n]에 저장되는 것이다. 예를 들어, NZC_pdf[2]에는 도5a 및 도5b에 나타낸 양자화의 입출력 특성에서 빗금 친 영역에 존재하는 입력 신호(즉, 또는 )의 개수가 저장된다.

이와 같이 의 히스토그램을 구한 다음, NZC_pdf[QP]의 누적 값을 구한다.

NZC[QP_n]에는 적용되는 양자화 파라메터가 QP_n일 때 발생하는 NZC의 개수가 저장된다.

이와 같이 DCT 계수를 양자화 매트릭스 처리한 결과인 또는 의 절대값에 0.8 또는 0.5를 곱한 값들의 히스토그램과 히스토그램의 누적 값을 구함으로써, 적용되는 양자화 파라메터에 따라 발생하는 NZC의 수를 구할 수 있고, 이 값에 수학식 2의 관계를 적용하면 양자화 파라메터에 따라 DCT 계수들로부터 발생하는 비트수를 추정할 수 있다. 따라서, 한 영상으로부터 발생하는 전체 비트수는 수학식 11로 추정할 수 있다.

여기서, Obit 는 DCT 계수를 제외한 부가 정보로부터 발생한 비트수로 한번의 비트 카운트에 의하여 구할 수 있다.

도6은 전술한 바와 같은 본 발명에 따른 비트율 추정 과정을 나타낸 흐름도이다.

우선 부호화 방식이 인트라(intra)와 넌-인트라(non-intra)인 양자화 매트릭스 처리된 이산여현변환(DCT) 계수가 입력되면, 상기 입력된 각각의 DCT 계수에 대한 구간별 히스토그램들(NZC_pdf_I[QP_n], NZC_pdf_N[QP_n])을 수학식 9와 같이 구한다(601). 그리고, 601 단계에서 구해진 히스토그램들을 수학식 10과 같이 누적시켜 적용되는 양자화 파라메터(QP)에 대응하는 NZC의 수들(NZC_I[QP_n], NZC_N[QP_n])을 각각 구한다(602). 602 단계에서 구해진 적용되는 양자화 파라메터(QP)에 대응하는 NZC의 수들과 비례계수 α_I와 α_N을 수학식 2와 같이 곱함으로써, 인트라-DC를 제외한 DCT 계수들로부터 발생되는 신호 비트수를 구하고, 이 계산된 신호 비트수와 나머지 부가 정보들로부터 발생되는 비트수를 더함으로써, 한 영상에서 적용되는 양자화 파라메터(QP)에 대응하는 비트수를 추정한다(603). 여기서, 비례계수 α_I는 이전 I-픽처로부터 발생한 비트수와 NZC수의 비이고, α_N은 현재 영상의 부호화 방식이 넌-인트라 방식인 P 또는 B-픽처인 경우 현재 영상과 동일한 부호화 방식으로 부호화된 이전 영상의 매크로 블럭들 중 넌-인트라 방식으로 부호화된 매크로 블럭들로부터 발생한 비트수와 NZC수의 비이다. 한편, 부가 정보로부터 발생한 비트수는 한번의 비트 카운트에 의하여 구할 수 있다.

다음은 적용되는 양자화 파라메터에 대응하는 왜곡을 추정하는 방법에 대해 살펴본다.

본 발명에 따른 왜곡 추정 방법은 다음 두 가지 사실에 근거한다. 첫째, 평균 자승 오차(MSE: Mean Squared Error) 관점에서의 왜곡은 양자화에 적용되는 양자화 스텝 크기(QS)의 제곱에 비례한다. 실제적으로, 표준 비디오 부호화 방식들에 사용되는 양자화기는 균일 양자화기(uniform quantizer)인데, 만일 양자화 과정이 이상적인 균일 양자화 과정이고, 양자화기의 입력 신호가 균일 분포를 갖는다면 적용되는 양자화 스텝 크기(QS)에 대한 왜곡(MSE)은 QS²/12 이다. 그런데, MPEG-2에서의 양자화는 모든 DCT 계수들에 대하여 8x8 블럭 단위로 양자화 매트릭스 처리를 수행한다. 따라서, 양자화 스텝 크기가 QS_n-1에서 QS_n으로 증가할 때, 양자화 매트릭스의 영향을 고려한 왜곡의 증가량은 에 비례한다. 둘째, 양자화 스텝 크기가 QS_n에서 QS_n+1로 한 단계 증가할 때, 왜곡의 증가에 영향을 미치는 입력 신호 성분들은 QS_n으로, 양자화 처리했을 때 영이 되지 않은 성분들이다. 즉, QS_n-1을 적용했을 때, 이미 영인 신호 성분은 왜곡의 증가에 영향을 미치지 못하고, 오직 QS_n-1을 적용했을 때 존재하는 영이 아닌 신호 성분들만이 왜곡의 증가에 영향을 미친다.

본 발명에서는 이와 같은 사실을 기반으로 하여 MPEG-2 부호화에 있어서 양자화에 적용되는 양자화 스텝 크기(QS)에 대한 평균 자승 오차(MSE) 관점에서의 왜곡을 추정하는데, 본 발명에 따른 왜곡 추정 방법은 다음 절차에 따라 구해지는 가중 히스토그램과 이 가중 히스토그램의 누적 값을 이용한다.

본 발명에 따른 왜곡 추정 방법을 보다 구체적으로 살펴보면, 먼저 양자화 매트릭스를 고려한 AC(i,j)의 가중 히스토그램을 구한다.

여기서, AC(i,j)는 수학식 9에서 정의된 값이고, W²(i,j)는 양자화 매트릭스의 (i,j)번째 성분을 제곱한 값으로, 미리 계산된 값을 사용하면 되므로 실제적인 연산은 덧셈 처리이다.

다음, 이와 같이 구해진 가중 히스토그램 QM_pdf[QP]의 누적 값을 구한다.

수학식 13으로부터 얻어지는 가중 히스토그램의 누적 값 QM_cdf[QP_n]에는 적용되는 양자화 파라메터가 QP_n일 때, 양자화된 DCT 계수들 중 영이 아닌 계수(NZC)에 해당되는 양자화 매트릭스의 제곱 값들의 합이 저장된다.

본 발명에 따른 왜곡 추정 방법은 위에서 언급한 MPEG-2의 양자화 특성에서 결정 준위(decision level)사이에 존재하는 NZC들의 분포가 균일하다는 가정하에서 유도된다. 또한, MPEG-2의 양자화 처리는 부호화 방식에 따라 인트라(intra)와 넌-인트라(non-intra) 양자화 처리로 분류되고, 각 양자화 처리의 특성이 서로 다르므로, 본 발명에 따른 왜곡 추정 방법은 적용되는 양자화 과정에 따라 다른 결과식을 갖는다.

먼저, 인트라(Intra) 양자화에 대한 왜곡 추정 과정을 살펴본다.

MPEG-2의 인트라(intra) 양자화 특성에서 결정 준위 사이에 존재하는 입력 신호가 균일 분포를 갖는다면, 적용되는 양자화 스텝 크기가 QS_n(n > 1)일 때 발생되는 왜곡(MSE)은이다(도5a 참조).

따라서, 양자화 스텝이 QS_n-1에서 QS_n로 한 단계 증가할 때, 보다 큰 값을 갖는 입력 신호 성분들에 의해 증가된 왜곡의 합은 수학식 14와 같다.

한편, 에서 사이에 존재하는 균일 분포를 갖는 입력 신호 성분에 의한 왜곡의 증가량은 수학식 15와 같다.

따라서, 에서 사이에 존재하는 영이 아닌 계수(NZC)들에 의해 증가되는 왜곡의 합은 수학식 16과 같이 표현할 수 있다.

여기서, n은 1보다 큰 자연수이다. 결국, 양자화 스텝 크기가 QS_n-1에서 QS_n으로 한 단계 증가할 때, 인트라 양자화에 의한 왜곡의 증가량은 수학식 17로 추정되고, 왜곡은 수학식 18로 추정할 수 있다.

여기서, 인트라 화소 개수(intra_pixel_num)는 인트라 방식으로 부호화되는 부호화 단위 내에 존재하는 화소의 개수이다. 예를 들어, 부호화 단위가 블럭 단위라면 인트라 화소 개수(inrta_pixel_num)는 64이고, 부호화 단위가 한 프레임이라면 한 프레임내에 존재하는 화소의 개수이다.

한편, 본 발명에 따른 왜곡 추정 과정에서 인트라 양자화에 대한 초기 왜곡은 0에서 사이에 존재하는 균일 분포를 갖는 입력 신호 성분에 대한 왜곡이 수학식 19와 같으므로, NZC에 의한 초기 왜곡은 수학식 20으로 추정할 수 있다.

여기서, DC_mse는 DCT 계수 중 인트라-DC 성분으로부터 발생하는 왜곡의 합이다.

다음은 넌-인트라 양자화에 대한 왜곡 추정 과정을 살펴본다.

넌-인트라 양자화에 대한 왜곡 추정도 인트라 양자화에 대한 왜곡 추정과 동일한 유도 과정을 따른다.

넌-인트라 양자화 특성에서 결정 준위 사이에 존재하는 입력 신호가 균등 분포를 갖는다면, 적용되는 양자화 스텝 크기가 QS_n일 때, 왜곡(MSE)은 수학식 21과 같다(도5b 참조).

따라서, 양자화 스텝 크기가 QS_n-1에서 QS_n으로 한 단계 증가할 때, QS_n보다 큰 값을 갖는 입력 신호 성분들에 의해 증가된 왜곡의 합은 수학식 22와 같다.

한편, QS_n-1에서 QS_n사이에 존재하는 균등 분포를 갖는 입력 신호 성분에 의한 왜곡의 증가는 수학식 23과 같다.

따라서, QS_n-1에서 QS_n사이에 존재하는 NZC들에 의해 증가되는 왜곡의 합은 수학식 24와 같다.

결국 양자화 스텝 크기가 QS_n-1에서 QS_n으로 한 단계 증가할 때, 넌-인트라 양자화에 의해 증가되는 왜곡의 합은 수학식 25를 통해 추정할 수 있고, 왜곡은 수학식 26으로 추정할 수 있다.

ΔD_N(QP_ｎ)=ΔE_N(QP_ｎ)+ΔRE_N(QP_ｎ), (ｎ>1)

여기서, 넌-인트라 화소 개수(non_intra_pixel_num)는 넌-인트라 방식으로 부호화되는 부호화 단위 내에 존재하는 화소의 개수이다. 본 발명에 따른 왜곡 추정 과정에서 넌-인트라 양자화에 대한 초기 왜곡은 0에서 QS₁사이에 존재하는 균등 분포를 갖는 입력 신호 성분에 대한 왜곡이 이므로, NZC 에 의한 초기 왜곡은 수학식 27과 같다.

만일 양자화 처리를 프레임 단위로 처리한다면 I 프레임에는 인트라 양자화 처리만이 사용되지만, P 또는 B 프레임의 경우는 각 매크로 블럭(MB)의 부호화 방식에 따라 인트라와 넌-인트라 양자화 처리가 사용된다. 따라서, 만일 왜곡 추정을 한 프레임 단위로 수행할 경우는 수학식 28을 사용하여 왜곡을 추정해야 한다.

여기서, 화소 개수(pixel_num)는 한 프레임 내에 존재하는 화소의 개수이고, 왜곡 증가량의 합인 ΔD_I(QP_n)과 ΔD_N(QP_n)의 산출에 사용되는 가중 히스토그램과 가중 히스토그램의 누적 값은 부호화 방식에 따라 각각 구해진 값들이다. 즉, ΔD_I(QP_n)의 계산에는 인트라 양자화 처리되는 DCT 계수들로부터 얻어진 가중 히스토그램과 누적 값이 사용되고, ΔD_N(QP_n)의 계산에는 넌-인트라 양자화 처리되는 DCT 계수들로부터 얻어진 가중 히스토그램과 누적 값이 사용된다.

도7은 전술한 바와 같은 본 발명에 따른 왜곡 추정 흐름도이다.

우선 부호화 방식이 인트라와 넌-인트라인 양자화 매트릭스 처리된 입력 DCT계수에 대한 구간별 가중 히스토그램들 (QM＿pdf_I[QP_ｎ],QM＿pdf_N[QP_ｎ]) 을 수학식 12를 통해 구하고(701), 수학식 13을 이용해 이 계산된 가중 히스토그램들의 누적치들 (QM＿cdf_I[QP_ｎ],QM＿cdf_N[QP_ｎ]) 을 구한다(702). 이와 같이 구한 가중 히스토그램들과 가중 히스토그램들의 누적치들을 이용하여 수학식 28과 같이 적용되는 양자화 파라메터(QP)에 따라 한 영상에서 발생되는 왜곡을 추정한다(703).

도8은 본 발명에 따른 도4의 전체 목표 비트 할당부(403)의 상세 기능 블럭도를 나타낸다.

각 프로그램에 대응되는 목표 비트 추정기들(801)은 각 프로그램의 현재 프레임을 부호화하는데 사용될 목표 비트수의 계산에 필요한 정보(MI[1]∼MI[N])를 자신의 부호기로부터 각각 입력받아 각 프로그램의 현재 프레임에 할당할 목표 비트수 결정한다. 여기서, 전체 프로그램을 전송하는 채널의 전송률이 R_CBR이고, N개의 프로그램이 이 채널을 통하여 전송될 경우 각각의 목표 비트 추정기에서 수행하는 각 프로그램의 현재 프레임에 대한 목표 비트수의 추정은 채널 전송률이 R_CBR/N 인 채널을 통하여 각 프로그램을 전송하는 것으로 가정하고 구한다.

한편, 전체 목표 비트수는 목표 비트 추정기들(801)에서 구한 각 프로그램의 현재 프레임에 대한 목표 비트수를 가산기(802)를 통해 더함으로써 구해지며, 이 전체 목표 비트수에 따라 결합 부호화한 결과가 부호화기 버퍼의 넘침이나 고갈이 발생하지 않는 범위내에 있도록 버퍼 검증기(803)에서 전체 목표 비트수를 재조정한다. 이러한 동작을 수행하기 위한 타이밍 신호로는 프레임 동기 신호를 이용한다. 각 기능 블록들의 동작 원리는 다음과 같다.

먼저, 각 프로그램에 대응되는 목표 비트 추정기들(801)의 동작을 살펴본다.

각 프로그램 영상에 대한 개별적인 목표 비트수는 MPEG-2 TM5에서 제시하는 목표 비트 할당(target bit allocastion)방식을 확장하여 구한다. 현재, 부호화할 k번째 프로그램 영상의 부호화 방식이 pct ∈ {I,P,B}일 때, 이 영상에 할당되는 비트수 T_pct(k)는 수학식 29와 같다.

여기서, X_pct(k)는 k번째 프로그램의 영상에 대한 복잡도로써, 현재 영상과 동일한 부호화 방식을 갖는 이전 영상에 적용된 평균 양자화 파라메터와 발생 비트수의 곱으로 표현되고, K_pct는 양자화 매트릭스에 관련된 상수로 K_I=K_P=1.0이고, K_B=1.4이다. N_pct(k)는 k번째 프로그램의 현재 GOP(Group Of Picture)에서 부호화 방식이 pct인 아직 부호화되지 않은 영상의 수를 나타낸다. R(k)은 k번째 프로그램의 현재 GOP에 할당된 비트수 중 잔여 비트수로 다음과 같이 갱신된다.

매 프레임 주기마다 모든 영상이 부호화된 후, R(k)은 R(k)=R(k)-E_T/N 와 같이 갱신된다. 여기서, E_T는 현재 프레임 기간동안 결합 부호화되는 모든 영상들로부터 발생한 전체 비트수이고, N은 결합 부호화되는 프로그램의 수이다. 또한, R(k)는 각 프로그램의 GOP 주기마다 다음과 같이 갱신된다.

R(k)=G(k)+R(k), G(k)=(R_T*N_GOP(k))/(N*frame_rate)

여기서, R_T는 프로그램 전체에 대한 채널 전송률이고, N_GOP(k)는 k번째 프로그램의 한 GOP에 포함된 영상의 수이다.

이와 같이 구해진 각 프로그램에 대한 목표 비트수를 가산기(802)를 통해 더하여 현재 부호화할 모든 프로그램 영상에 할당되는 전체 목표 비트수 B_T를 수학식 30과 같이 구한다.

그러나, 비트율 추정의 부정확성으로 인하여 추정된 전체 목표 비트수와 실제로 부호화하여 발생하는 비트수이 일치하지 않을 수 있으므로, 전체 목표 비트수 B_T가 지나치게 높게나 낮으면 부호화기 버퍼의 넘침이나 고갈이 발생할 수 있다. 따라서, 추정된 전체 목표 비트수는 부호기 버퍼 상태를 고려하여 다음과 같이 재 조정할 필요가 있다.

모든 프로그램들의 비트열들이 버퍼 크기가 B_max ^e 인 부호화기 버퍼에 저장된 후, 채널 전송률이 R_T인 고정 비트율(CBR) 채널을 통하여 전송될 경우 부호화기 버퍼의 넘침과 고갈이 발생되지 않을 조건은 수학식 31과 같다.

0≤B_i ^e≤B_max ^e, ∀i

B_i ^e=≤B_i-1 ^e+E_i-R_TT

여기서, T는 프레임 주기이고, B_i ^e 는 iT인 순간 부호화기 버퍼의 충만도이며, E_i는 (i-1)T에서 iT 기간 동안 부호화기 버퍼에 입력되는 비트수이다. 수학식 31로부터 부호화기 버퍼의 넘침과 고갈이 발생되지 않을 E_i의 범위는 수학식 32와 같다.

따라서, 수학식 30에서 구한 전체 목표 비트수 B_T는 수학식 33과 같이 재조정된다.

여기서, λ 와 γ 는 부호화기 버퍼 상태가 0 또는 B_max ^e 에 지나치게 근접하는 것을 막기 위한 상수이다.

비트율-왜곡 변형부(402)의 처리과정을 살펴보면, 도3에 나타낸 바와 같이 우선 현재 부호화될 프로그램들의 각 영상에 대한 비트율-왜곡 곡선 R_k(D)를 왜곡 축으로 β_k만큼 확장하여 변형된 비트율-왜곡 곡선 R_k(D/β_k)를 구한다. 여기서, β_k는 프로그램들간의 중요도로부터 구한 상대적 화질비이다. 실제적으로 각 프로그램 영상에 대한 비트율-왜곡 곡선의 변형은 수학식 28로부터 구한 왜곡의 추정 값에 상대적 화질비β_k를 곱하는 과정이다.

목표왜곡 결정 및 양자화 파라메터 결정부(404)는 다음 단계들에 의하여 각 프로그램 영상의 부호화에 적용할 양자화 파라메터를 구한다.

제1 단계는 전체 비트율-왜곡 곡선을 산출하는 단계로, 변형된 비트율-왜곡 곡선들을 비트율 축에 대하여 더함으로써, 변형된 전체 비트율-왜곡 곡선 R_T(D)를 구한다. 여기서, 각 프로그램 영상에 대한 비트율-왜곡 곡선은 계단 형태를 갖는데, 특히 본 발명에서와 같이 적용 가능한 양자화 파라메터가 31 종류이고, 한 영상에 대하여 동일한 양자화 파라메터를 적용하여 부호화할 경우는 각 프로그램 영상에 대한 비트율-왜곡 곡선이 31 단계의 왜곡 값을 가질 수 있다. 또한, N개의 프로그램이 결합 화질 제어되는 경우 전체 비트율-왜곡 곡선은 최대 N×31 단계의 왜곡 값을 가질 수 있다.

제2 단계는 목표 왜곡을 결정하는 단계로, 이 단계는 현재 부호화할 모든 영상들을 전체 목표 비트수 B_T로 부호화 할 때, 변형된 비트율-왜곡 곡선간의 왜곡의 차이가 최소화 되는 왜곡 값을 구하는 과정이다. 즉, 도3에 나타낸 바와 같이 현재 부호화 할 각 프로그램 영상에 대한 변형된 전체 비트율-왜곡 곡선 P_T(D)와 B_T가 교차하는 점에 해당되는 왜곡 값이 목표 왜곡 D_T가 되고, 이는 수학식 34로 구해진다.

제3 단계는 양자화 파라메터 선택 및 부호화 단계로, 이 단계는 각 프로그램의 영상에 대한 변형된 비트율-왜곡 곡선 R_k(D/β_k)에서 목표 왜곡 D_T에 근접한 왜곡을 발생시키는 양자화 파라메터를 선택하여 부호화하는 것으로, 각 프로그램의 영상에 대한 왜곡 추정 결과로부터 수학식 35를 만족하는 양자화 파라메터 QP를 구하여 부호화 한다.

여기서, D_k(QP)는 현재 부호화될 k번째 프로그램 영상에 대하여 양자화 파라메터 QP를 적용할 때 발생하는 왜곡의 추정 값이다.

도9는 전술한 바와 같은 본 발명에 따른 부호화 처리 과정을 요약한 흐름도이다.

901 단계의 비트율-왜곡 추정 단계에서는 전술한 바와 같이 각 부호화기들로부터 적용되는 양자화 파라메터에 대한 발생 비트수와 왜곡을 추정하는데 필요한 모니터링(monitoring) 정보(MI[1:N])를 압력 받아 부호화될 각 프로그램의 현재 프레임에 대하여 적용되는 양자화 파라메터에 대응하는 발생 비트수의 추정값 와 왜곡의 추정값 을 구한다. 여기서, k는 부호화되는 프로그램 번호이고, QP_n은 n번째 양자화 파라메터를 의미하는데 n 의 범위는 1≤n≤31 이다.

902 단계의 비트율-왜곡 곡선 변형 단계에서는 현재 부호화될 프로그램들의 각 영상에 대한 비트율-왜곡 곡선R_k(D)를 왜곡 축으로 프로그램들간의 중요도로부터 미리 결정된 상대적 화질비인 β_k만큼 확장하여 변형된 비트율-왜곡 곡선 R_k(D/β_k)를 구하는 것으로, 실제적으로 각 프로그램 영상에 대한 비트율-왜곡 곡선의 변형은 901 단계에서 수학식 28을 이용해 구한 왜곡의 추정값에 상대적 화질비 β_k를 곱하는 과정이다.

901 단계와 902 단계와 동시에 전체 목표 비트를 할당하는데, 전체 목표 비트를 할당하는 단계는 개별 목표 비트 추정(903), 전체 목표 비트 추정(904), 그리고 버퍼 검증(904) 단계로 이루어진다. 개별 목표 비트 추정(903) 단계는 각 비디오 프로그램들을 독립적으로 부호화 할 경우 각 프로그램의 현재 프레임을 부호화하는데 사용될 목표 비트수의 계산에 필요한 모니터링 정보 를 자신의 부호화기로부터 각각 입력 받아 각 프로그램의 현재 프레임에 할당할 목표 비트수를 독립적으로 결정한다. 다음, 전체 목표 비트 추정(904) 단계에서는 상기 개별 목표 비트 추정(903) 단계에서 구한 각 프로그램의 현재 프레임에 대한 목표 비트수들을 더하여 전체 목표 비트수를 계산한다. 그리고, 상기 전체 목표 비트수에 따라 결합 부호화한 결과가 부호화기 버퍼의 넘침이나 고갈이 발생하지 않는 범위에 있도록 버퍼 검증(905) 단계에서는 출력 버퍼로부터 버퍼 충만도(buffer fullness)에 대한 정보(BI)를 입력 받아 전체 목표 비트수를 재조정한다. 이와 같은 과정에 의하여 매 프레임 주기마다 한번씩 계산된 전체 목표 비트수 B_T를 얻는다.

이와 같이 901 단계 내지 905 단계를 수행한 다음에, 전체 목표 비트수 B_T로 결합 화질 제어할 때, 모든 프로그램의 영상들에 대한 변형된 비트율-왜곡 곡선이 가장 유사한 왜곡을 가질 수 있는 왜곡 값을 추정하는 목표 왜곡 결정 단계를 수행한다. 상기 목표 왜곡 결정 단계는 비트율-왜곡 곡선 변형 단계(902)에서 얻어진 변형된 비트율-왜곡 곡선 R_k(D/β_k)들을 비트율 축에 대하여 더함으로써, 전체 비트율-왜곡 함수 R_T(D)를 구하는 전체 비트율-왜곡 함수 산출 단계(906)와, 전체 비트율-왜곡 함수 R_T(D)로부터 전체 목표 비트수 B_T에 대응되는 왜곡 D_T를 구하는 목표 왜곡 결정 단계(907)로 이루어진다.

다음, 908 단계의 양자화 파라메터 결정 단계는 각 프로그램의 영상에 대하여 목표 왜곡 D_T/β_k에 근접한 왜곡을 발생시키는 양자화 파라메터를 선택하는 단계로, 각 프로그램의 영상에 대한 왜곡 추정 결과로부터 수학식 35를 만족하는 양자화 파라메터 QP를 구하는 단계이다. 따라서, 선택되는 양자화 파라메터들은 현재 부호화할 각 프로그램의 영상들에 대한 추정된 왜곡 값들(D_k(QP_n))이 목표 왜곡 D_T/β_k보다 큰 왜곡 중 최소값에 해당하는 양자화 파라메터이다.

이와 같이 양자화 파라메터가 결정되면 최종적으로 각 프로그램 영상을 부호화하는 각 부호화기는 결정된 양자화 파라메터에 따라 한 영상을 부호화 한다(909).

상기와 같은 본 발명에 의하면, MPEG-2로 부호화된 영상에서 발생하는 비트수와 왜곡을 정확하게 추정하고, 특히 추정을 위한 주된 연산이 양자화기에 입력되는 신호의 히스토그램 또는 가중 히스토그램을 구하는 것이므로, 계산량이 매우 적어 추정의 정확성과 추정을 위한 계산량 측면에서 본 발명은 실시간 MPEG-2 비디오 응용에 적용하기에 매우 적합하다. 또한, 본 발명은 MPEG-2 뿐만 아니라 H.261, H.263 또는 MPEG-1 등과 같은 다른 표준 부호화 방식에도 적용이 가능하다.

한편, 본 발명은 결합 화질 제어되는 모든 프로그램들의 전체 전송률은 항상 일정하게 유지하면서 각 프로그램에 대해서는 프로그램의 중요도에 따라 미리 설정된 상대적 화질 차이를 유지하도록 가변비트율(VBR) 압축을 수행한다. 따라서, 결합 화질 제어되는 프로그램들간의 화질이 미리 설정된 상대적 화질을 매우 정확하게 유지하므로, 시청자들에게 프로그램의 중요도에 따라 차별화된 회질을 갖는 영상 서비스를 제공할 수 있고, 비트율-왜곡 추정 과정을 포함하여 제안된 결합 화질 제어를 위해 추가되는 연산량이 적으므로, 위성방송, 케이블 텔레비젼(CATV), 디지탈 지상 방송과 같은 실시간 비디오 서비스 응용에 적용이 용이하며, 전체 목표 비트수 결정 과정에서 버퍼 제약 조건을 만족시키므로, 버퍼의 넘침이나 고갈을 방지할 수 있다. 또한, 전체 목표 비트수가 각 프로그램에 대한 개별적인 목표 비트수 산출 결과로부터 얻어지므로, 결합 화질 제어되는 영상들간의 부호화 방식과 GOP 구조가 동일할 필요가 없고, 한 영상에 동일한 양자화 파라메터를 적용하므로, 한 영상 내에서도 일관된 화질이 유지되는 효과가 있다.

Claims (14)

1. 부호화장치에서 적용되는 양자화 파라메터에 따라 부호화된 한 영상으로부터 발생하는 비트수 추정 방법에 있어서,

   양자화 매트릭스 처리된 이산여현변환(DCT) 계수들에 대하여 구간별 히스토그램을 계산하는 제1단계;

   상기 제1단계에서 계산된 구간별 히스토그램의 누적치를 계산하여 적용되는 양자화 파라메터에 대응되는 영이아닌계수(NZC: Non-Zero Coefficient)들의 개수를 계산하는 제2단계;

   현재 영상과 동일한 부호화 방식을 갖는 이전 영상의 신호 비트수와 영이아닌계수의 개수와의 비인 비례계수를 상기 제2단계에서 계산된 영이아닌계수의 개수에 곱하여 현재 영상으로부터 발생되는 신호 비트수를 계산하는 제3단계; 및

   상기 제3단계에서 계산된 신호 비트수에 부가정보 비트수를 더하여 한 영상에서 발생되는 비트수를 계산하는 제4단계

   를 포함한 것을 특징으로 하는 비트수 추정방법.
2. 제 1 항에 있어서,

   상기 제4단계의 부가정보 비트수는 한번의 비트 카운트에 의해 계산되는 것을 특징으로 하는 비트수 추정방법.
3. 부호화장치에서 적용되는 양자화 파라메터에 따라 부호화된 한 영상으로부터 발생하는 왜곡을 추정하는 방법에 있어서,

   양자화 매트릭스 처리된 이산여현변환(DCT) 계수들에 대하여 양자화 매트릭스의 영향을 고려한 구간별 가중 히스토그램을 계산하는 제1단계;

   상기 제1단계에서 계산된 가중 히스토그램의 누적치를 계산하는 제2단계; 및

   상기 계산된 가중 히스토그램과 가중 히스토그램의 누적치를 이용하여 양자화 파라메터 혹은 양자화 스텝 크기의 증가에 따른 왜곡의 증가량을 계산하는 제3단계

   를 포함한 것을 특징으로 하는 왜곡 추정방법.
4. 다수의 비디오 프로그램들을 하나의 전송 채널을 통해 전송하는 비디오 부호화장치에 적용되는 부호화방법에 있어서,

   부호화될 모든 영상에 할당될 전체 목표 비트수를 계산하는 제1단계;

   매 주기마다 적용되는 양자화 파라메터에 따라 부호화될 각 프로그램의 영상으로부터 발생되는 비트수와 왜곡의 추정값을 계산하는 제2단계;

   상기 제2단계에서 계산된 왜곡의 추정값에 미리 결정된 프로그램들간의 상대적 화질비를 곱해 변형된 비트율-왜곡 추정값을 계산하는 제3단계;

   상기 제3단계에서 계산된 각 프로그램별 변형 비트율-왜곡 추정값들을 비트율 축에 대해 더함으로써 전체 비트율-왜곡 함수를 구하는 제4단계;

   상기 전체 비트율-왜곡 함수로부터 상기 제1단계에서 계산된 할당될 전체 목표 비트수에 대응되는 왜곡값을 구해 목표 왜곡값을 결정하는 제5단계; 및

   각 프로그램의 영상에 대하여 상기 결정된 목표 왜곡값에 근접한 왜곡을 발생시키는 양자화 파라메터를 구해 상기 계산된 양자화 파라메터에 따라 입력된 영상을 부호화하는 제6단계

   를 포함한 것을 특징으로 하는 부호화 방법.
5. 제 4 항에 있어서,

   상기 제1단계는,

   각 프로그램별로 입력된 현재 프레임에 할당될 목표 비트수를 계산하는 단계;

   상기 각 프로그램별로 계산된 목표 비트수를 가산하여 전체 목표 비트수를 계산하는 단계; 및

   상기 계산된 전체 목표 비트수에 따라 부호화된 신호가 버퍼의 넘침이나 고갈이 발생되지 않는 범위내에 있도록 전체 목표 비트수를 재조정하는 단계

   를 포함한 것을 특징으로 하는 부호화 방법.
6. 제 3 항 또는 제 4 항에 있어서,

   상기 제2단계의 각 프로그램의 영상으로부터 발생되는 비트수를 계산하는 단계는,

   양자화 매트릭스 처리된 이산여현변환(DCT) 계수들에 대하여 구간별 히스토그램을 계산하는 단계;

   상기 계산된 구간별 히스트그램의 누적치를 계산하여 적용되는 양자화 파라메터에 대응하는 영이아닌계수(NZC: Non-Zero Coefficient)들의 개수를 계산하는 단계;

   현재 영상과 동일한 부호화 방식을 갖는 이전 영상의 신호 비트수와 영이아닌계수의 개수와의 비인 비례계수를 상기 계산된 영이아닌계수의 개수에 곱하여 현재 영상으로부터 발생되는 신호 비트수를 계산하는 단계; 및

   상기 계산된 신호 비트수에 부가정보 비트수를 더하여 한 영상에서 발생되는 비트수를 계산하는 단계

   를 포함한 것을 특징으로 하는 부호화 방법.
7. 제 6 항에 있어서,

   상기 부가정보 비트수는 한번의 비트 카운트에 의해 계산되는 것을 특징으로 하는 부호화 방법.
8. 제 6 항에 있어서,

   상기 제2단계의 왜곡 추정값을 계산하는 단계는,

   양자화 매트릭스 처리된 이산여현변환(DCT) 계수들에 대하여 양자화 매트릭스의 영향을 고려한 구간별 가중 히스토그램을 계산하는 단계;

   상기 계산된 가중 히스토그램의 누적치를 계산하는 단계; 및

   상기 계산된 가중 히스토그램과 가중 히스토그램의 누적치를 이용하여 양자화 파라메터 혹은 양자화 스텝 크기의 증가에 따른 왜곡의 증가량을 계산하는 단계

   를 포함한 것을 특징으로 하는 부호화 방법.
9. 입력되는 다수개의 비디오 신호들을 각각 부호화하는 다수개의 부호화수단;

   상기 다수개의 부호화수단에 의해 부호화된 각각의 비디오 신호를 다중화하는 다중화수단;

   상기 다중화수단에 의해 다중화된 비디오 신호를 버퍼링하는 수단; 및

   상기 다수개의 부호화수단으로부터 모니터링 정보를 입력받고, 상기 버퍼링수단으로부터 버퍼 충만도 정보를 입력받고, 외부로부터 미리 결정된 각 프로그램별 상대적 화질비를 입력받아 현재 부호화할 영상에 적용될 양자화 파라메터 값들을 계산하여 상기 다수개의 부호화수단으로 각각 제공하는 제어수단

   을 포함한 것을 특징으로 하는 부호화 장치.
10. 제 9 항에 있어서,

    상기 제어수단은,

    상기 다수개의 부호화수단으로부터 모니터링 정보를 각각 입력받아 현재 부호화될 각 프로그램의 현재 영상에 대하여 적용되는 양자화 파라메터에 대응되는 발생 비트수와 왜곡을 추정하는 비트율-왜곡 추정수단;

    프로그램의 중용도에 따라 미리 결정된 상대적 화질비를 외부로부터 입력받아 상기 비트율-왜곡 추정수단에 의해 추정된 비트율-왜곡 값에 상기 입력된 상대적 화질비를 곱해 변형된 비트율-왜곡값을 계산하는 비트율-왜곡 변형수단;

    상기 다수개의 부호화수단으로부터 모니터링 정보를 각각 입력받고, 상기 버퍼링수단으로부터 버퍼 충만도 정보를 입력받아 전체 프로그램의 영상에 할당될 목표 비트수를 계산하는 전체 목표 비트 할당수단; 및

    상기 전체 목표 비트 할당수단에 의해 계산된 전체 목표 비트수로 모든 프로그램의 영상들을 부호화할 때, 각 영상들간의 화질비가 상기 상대적 화질비를 유지할 수 있도록 각 프로그램의 현재 프레임에 적용할 양자화 파라메터들을 계산하는 목표 왜곡 결정 및 양자화 파라메터 결정수단

    을 포함한 것을 특징으로 하는 부호화 장치.
11. 제 10 항에 있어서,

    상기 비트율-왜곡 추정수단은,

    양자화 매트릭스 처리된 이산여현변환 계수들을 입력받아 적용되는 양자화 파라메터에 대응되는 영이아닌계수들의 개수를 구해 상기 구해진 개수에 비례계수를 곱하여 현재 영상으로부터 발생되는 신호 비트수를 구하고, 상기 신호 비트수에 부가정보 비트수를 더해 발생 비트수를 계산하는 것을 특징으로 하는 부호화 장치.
12. 제 11 항에 있어서,

    상기 비트율-왜곡 추정수단은,

    상기 양자화 매트릭스 처리된 이산여현변환 계수들을 입력받아 양자화 매트릭스의 영향을 고려한 구간별 가중 히스토그램과 상기 가중 히스토그램의 누적치를 계산하고, 상기 계산된 가중 히스토그램과 가중 히스토그램의 누적치를 이용하여 양자화 파라메터의 증가에 따른 왜곡의 증가량을 계산함으로써, 양자화에 적용되는 양자화 파라메터에 따른 왜곡 발생량을 추정하는 것을 특징으로 하는 부호화 장치.
13. 제 10 항 내지 제 12 항 중 어느 한 항에 있어서,

    상기 전체 목표 비트 할당수단은,

    상기 다수개의 부호화수단으로부터 각각 모니터링 정보를 입력받아 현재 프레임에 할당될 목표 비트수를 각각 계산하는 다수개의 목표 비트 추정수단;

    상기 다수개의 목표 비트 추정수단에 의해 계산된 각각의 목표 비트수를 가산하여 전체 목표 비트수를 계산하는 가산수단; 및

    상기 버퍼링수단으로부터 버퍼 충만도 정보를 입력받아 상기 가산수단에 의해 계산된 전체 목표 비트수가 버퍼의 넘침이나 고갈이 발생되지 않는 범위내에 있도록 상기 전체 목표 비트수를 재조정하는 버퍼 검증수단

    을 포함한 것을 특징으로 하는 부호화 장치.
14. 제 13 항에 있어서,

    상기 목표 왜곡 결정 및 양자화 파라메터 결정수단은,

    상기 비트율-왜곡 변형수단에 의해 계산된 각 프로그램별 변형 비트율-왜곡 추정값들을 비트율 축에 대해 가산하는 전체 비트율-왜곡 함수 산출수단;

    상기 전체 비트율-왜곡 함수 산출수단에 의해 계산된 값으로부터 상기 전체 목표 비트 할당수단에 의해 계산된 전체 목표 비트수에 대응되는 왜곡값을 구하는 목표 왜곡 결정수단; 및

    각 프로그램의 영상에 대하여 상기 목표 왜곡 결정수단에 의해 계산된 목표 왜곡값에 근접한 왜곡을 발생시키는 양자화 파라메터를 계산하여 상기 다수개의 부호화수단으로 각각 출력하는 양자화 파라메터 결정수단을 포함한 것을 특징으로 하는 부호화 장치.