KR100236822B1 - 가변 비트율 신호의 다중화율 결정방법 - Google Patents

Abstract

본 발명은 가변비트율 신호의 다중화율 결정방법에 관한 것으로, 더욱 상세하게는 각 인코더의 다중화 비트율을 다중화되는 모든 비디오의 비트열의 전송 지연과 버퍼 상태를 고려하여 결정하는 가변비트율 신호의 다중화율 결정방법에 관한 것으로, 다수의 비디오 신호를 다중화하여 전송할 경우 각 비디오의 트래픽을 인코더 및 디코더 버퍼에서 오버플로우 및 언더플로우가 발생하지 않도록 하고, 각 비디오 버퍼의 분산값을 최소화하므로써 데이타 손실이 발생하지 않도록 한 이점을 제공한다.

Description

가변 비트율 신호의 다중화율 결정방법

본 발명은 가변비트율 신호의 다중화율 결정방법에 관한 것으로, 더욱 상세하게는 각 인코더의 다중화 비트율을 다중화되는 모든 비디오의 비트열의 전송지연과 버퍼상태를 고려하여 결정하는 가변비트율 신호의 다중화율 결정방법에 관한 것이다.

현재 엠펙(이하 MPEG 라 칭한다)을 중심으로 한 비디오 부호화의 표준화가 완료되면서, 압축된 비디오 데이타의 비트열을 효율적으로 전송할 수 있는 전송 프로토콜 및 전송시스팀의 개발이 활발하게 진행되고 있다.

또한 유선, 무선, 위성 및 B-ISDN망을 이용한 방송 및 통신에서 사용자들의 비디오 서비스에 대한 수요가 급증할 전망이다. 특히 디지탈 방송이 시작되면 방송국에서는 여러 채널의 비디오 신호를 압축하여 다중화한 후 하나의 비트열로 만들어 전송할 것이며, 수상기에서는 역다중화와 복호화를 통하여 원하는 비디오 채널을 선택하여 시청할 수 있게 될 것이다. 여러 채널의 비디오 신호들을 다중화하여 전송할 경우 각 채널을 독립적으로 전송하는 방식에 비하여 대역폭의 효율적 사용은 물론 각 비디오 신호에 대한 트래픽을 효율적으로 관리할 수 있다.

동일 장소에 있는 항등률 인코더는 부호화된 가변률 데이타를 고정 채널에 전송해야 하므로 버퍼가 필요하다. 기존의 시스팀에서는 한 엑세스 시간 간격동안에 발생하는 각 스트림의 영역을 같은 다중화 스트림으로 구성하므로써 다중화된 비트스트림의 저장 및 편집에 적합하였다.

그러나, 각 비디오의 다중화 비트율은 다른 비디오 버퍼의 상태 및 트래픽 양을 고려하지 않았으므로 한 인코더의 과중한 트래픽은 다른 인코더 버퍼에 영향을 준다. 이러한 버퍼상태는 부호화하는 화질에 영향을 주므로 영상이 복잡하거나 장면 전환이 발생하였을 경우 화질저하를 가져올 수 있다. 그러므로 방송 등과 같이 고정된 대역폭에 여러 채널을 다중화할 경우 효율적인 대역폭 분배 및 고른 화질을 유지하는 데에는 부적합한 문제가 있다.

본 발명은 상기에 기술한 바와 같은 문제점을 해결하여 버퍼의 데이타 손실을 효율적으로 방지하고 적은 버퍼로도 효율적으로 데이타를 전송가능하게 하는 방법을 제공하는 것을 목적으로 한다.

제1도는 본 발명에 의한 다중화 비트율 결정 과정을 나타낸 도면.

제2도는 본 발명에 의한 다중화 시스템을 도시한 도면.

* 도면의 주요부분에 대한 부호의 설명

21 : 전송제어기 22 : i번째 인코더 버퍼

23 : 다중화 버퍼 24 : 다중화 시스템 제어기

상기와 같은 목적을 달성하기 위해, 전송지연 및 과다전송이 발생하여 디코더 버퍼에서 언더 플로우 및 오버 플로우가 발생하지 않도록 최소 다중화 비트율()과 최대 다중화 비트율()을 정하는 단계;

다중화하는 인코더 버퍼에서 오버플로우로 인한 데이타의 손실을 방지하기 위해 다중화되는 모든 인코더의 버퍼상태의 분산값이 최소화되도록 최대 다중화 비트율()에 의해 랜덤 다중화 비트율()을 구하는 단계;

및 상기 단계에서 구한 최소 다중화 비트율()과 랜덤 다중화 비트율()과의 합을 다중화 비트율()로 정하는 단계를 구비하는 것을 특징으로 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다.

각 인코더의 다중화 비트율은 다중화되는 모든 비디오의 비트열의 전송지연과 버퍼상태를 고려하여 결정한다. 그러므로 다중화 비트율과 비트 발생률과는 일치하지 않으며 하나의 다중화 스트링은 다른 시간에 부호화 된 비트스트림으로 구성될 수도 있다.

다중화를 위해 사용되는 버퍼는 인코더 버퍼와 다중화기의 버퍼로 구분할 수 있다. 다중화 버퍼는 각 인코더의 버퍼에서 나온 데이타를 하나의 다중화된 스트림으로 만들어 망에 전송하는 역할을 한다. 다중화 버퍼의 크기는 망으로 전송하는 다중화된 비트스트림의 전송률 R_T과 n개의 비디오 인코더 중 i번째 비디오 인코더에 할당되는 다중화 비트율 R_i에 따라 결정되어 질 수 있다. 만약 n이 다중화된 인코더의 수이고라면 다중화 버퍼는 망에서 제공하는 클럭과 시스템이 사용하는 클럭의 차이를 보상만 하면 된다. 그러므로 적은 시스팀 버퍼로도 다중화가 가능하다. 본 발명에서는인 시스팀을 고려하였으므로 시스팀 버퍼는 각 비디오 버퍼에 비하여 적다고 가정한다.

일반적으로 인코더는 버퍼 조건을 만족하기 위하여 두가지 방법을 한다. 하나는 부호화된 비트 스트림의 양 E_i을 전송률 제어를 통해서 조절하는 것이고, 다른 하나는 각 인코더의 버퍼의 상태에 따라 다중화 비트율 R_i를 적절하게 결정하는 것이다. 본 발명에서는 가상 버퍼를 이용하여 전송률 제어를 한 부호화된 비스트림을 가지고 다중화 비트율 R_i를 결정하므로써 버퍼 제어를 최적화하는 알고리즘을 고려한다.

제안한 방식에서 압축 계층과 다중화 계층은 서로 독립적 구조를 가지므로 하나의 다중화 스트림의 구성은 다른 부호화 시간을 갖는 비트열로도 구성될 수 있다. 그러나 압축 계층의 구성의 표현 시간을 제공하기 위한 시간 스탬프 정보를 얻기 위하여 각 인코더는 이 위치가 발생하였을 경우 다중화 제어기에 비디오버퍼내의 해당 위치를 알려준다.

패킷의 크기가 클수록 각 기본 스트림을 전송하는데 필요한 헤더 정보가 적게 필요하므로 전송 효율은 좋으나 인코더 버퍼가 많이 필요하고 전송지연도 높아진다. 그러므로 저지연 부호화에는 부적합하며 전송오류가 발생하였을 때 한 번에 많은 데이타를 손실할 수도 있다. 그와는 반대로 패킷의 크기가 적을 경우는 전송에 필요한 헤더 정보가 많이 필요하나 인코더 버퍼가 적게 필요하므로 저지연 전송에 유리하며, 전송 오류에도 효율적으로 대처할 수 있다. 각 버퍼 상태를 원활하게 조절할 수 있으므로 인코더에서 영상을 부호화하는 데 필요한 양자화 변수를 버퍼의 상태를 보고 결정한다면 보다 고른 화질을 얻을 수 있다. 제안한 방식에서는 패킷을 구성하는 시간 단위를 슬라이스율로 하였다. 이는 시스팀의 버퍼의 크기에 따라 패킷의 크기를 조절할 수 있는 장점이 있다. 예를 들면 버퍼의 크기가 적을 경우 한 슬라이스를 표현할 수 있는 시간에서 패킷을 구성하였고, 버퍼의 크기가 클 경우 몇개의 슬라이스를 표현할 수 있는 시간에서 패킷을 구성하였다.

본 발명에서는 다중화율을 구하기 위해, 첫째로 전송지연 및 과다전송의 발생으로 인해 디코더 버퍼에서 언더플로우 및 오버플로우가 발생하지 않도록 최소 다중화 비트율 R^m _i과 최대 다중화 비트율 R^M _i을 구하고, 둘째로 다중화하는 인코더 버퍼에서 오버플로우가 나지 않도록 R^M _i을 참고로 하여 랜덤 다중화비트율(R^r _i)을 구하며, 마지막으로 최종적인 다중화율은 R_i=R^m _i+R^r _i이 되고 다음 식(1)을 만족한다.

여기서 상기 랜덤 다중화비트율(R^r _i)은사이의 값을 갖는 비트율로서, 각 인코더와 디코더에서 오버플로우가 나지 않도록 변화하면서, 또한 각 인코더마다 일정화질도 유지하도록 정한다.

이하 본 발명에 의해 R_i를 구하는 과정을 도면을 통해 설명한다. 제1도는 본 발명에 의해 R^m _i과 R^r _i을 구한 후 R_i를 구하는 과정을 개념적으로 나타내는 도면으로, R^m _i은 각 인코더 버퍼의 상태인 B_i(t)을 조사한 후 전송지연되고 있는 데이타량에 따라 결정된다. R^r _i은 B_i(t)-R^m _i량과 비디오 소스에 대한 다중화 주기인 △t 동안에 발생할 예측 비트수를 조사한 후 t+△t에서 버퍼 상태의 분산값이 최소가 되도록 결정한다. t+△t에서 4개의 비디오 소스 A, B, C, D의 버퍼 상태는 모두 동일하게 된다.

제2도는 다중화 시스템의 구조를 나타내는 도면으로, △t는 n비디오 소스에 대한 다중화 주기이다. 즉 다중화기는 △t 동안에 각 인코더들의 다중화 비트율을 결정하며, 각 인코더는 버퍼에 있는 부호화된 비트스트림을 패킷으로 만든 후 다중화 버퍼(23)로 전송하게 된다. 다중화기는 각 패킷을 하나의 다중화된 비트열로 만든 후 망으로 전송하게 된다. 실험에서 △t는 슬라이스율로 정하였다. 704×480의 영상에서 슬라이스의 개수는 30개, 352×240의 영상에서는 15개의 슬라이스로 부호화하였으므로, 1초에 해당하는 영상률이 30인 경우 슬라이스율은 각각 30×30, 30×15이다.

R_T는 다중화된 비트스트림을 망으로 전송할 경우 항등 전송률이다. R_i(t)는 각 비디오의 트래픽 상태에 따라서 각 비디오에 할당된 다중화 비트율이다. B^e _i(t)(22)는 i번째 인코더의 현재 버퍼이며, E_i(t)는 부호화된 비트열의 발생률이다.는 △t동안에 발생할 예측 비트수이다. △t동안에 R_i(t)는 R_i가 된다. △t동안 각 비트스트림의 패킷 P_i은 다중화 비트율 R_i로 다중화되며, P_i의 비트수는 R_i×△t으로 나타낼 수 있다.

각 비디오의 전송 제어기(21)는 다중화 시스팀의 제어기(24)에을 알려준다.과 이전 다중화 비트율 R_i(t-j△t)(1≤j≤k-1)을 이용하여, 다중화기는 최종적으로 R_i의 값을 구한다.

다중화된 비트스트림은 항등 전송률 R_T로 역다중화기에 전송된다. 그러므로 다중화기로부터 역다중화까지의 채널지연은 일정하다고 가정한다. 인코더 버퍼로부터 디코더 버퍼까지의 최소 단대단(end-to-end) 지연시간을 k△t라고 정하였다. 각 비디오의 인코더 버퍼의 크기는 B^e _max 디코더의 버퍼의 크기는와 같이 정하였다.

디코더 버퍼의 오버플로우와 언더플로우를 방지하기 위하여 다음과 같은 식이 만족되어야 한다.

또한 시간 t에서 디코더의 버퍼 상태는 다음 식과 같다.

식 (3)으로 부터 전송 지연으로 인한 디코더의 버퍼 언더플로우가 발생하지 않은 조건을 살펴보기로 한다. 언더플로우가 발생하지 않기 위해서 식 (3)의 첫 번째 부등식 조건인 식 (5)이 만족되어야 한다.

식 (4)과 (5)을 결합하여 버퍼 언더플로우가 발생하지 않고 주어진 최소 지연을 만족하는 다중화 비트율은 식 (6)과 같이 나타낼 수 있다.

B^e _i(t)는 식 (7)으로 표현될 수 있으므로 식 (6)은 식 (8)과 같이 표현할 수 있다.

그러므로 단대단 지연을 만족하기 위하여 최소 다중화 비트율 R^m _i는 다음과 같이 구할 수 있다.

만약 R^m _i가 0보다 적다면 R^m _i는 0이 된다. 위 식을 살펴보면 R^m _i는 k△t 이전에 인코더의 버퍼에 저장되어 있는 데이타는 시간(k-1)△t에서 부터 -△t 이전까지 전송되고 남은 데이타의 양이다. 이 값은 전송 지연을 k△t로 하는 시스템에서 직관적으로도 쉽게 이해할 수 있다.

둘째 단계로 전송 지연으로 인한 디코더의 버퍼 오버 플로우가 발생하지 않는 조건으로부터 각 비디오 인코더의 최대 다중화 비트율 R^M _i을 구하여 본다. 오버플로우가 발생하지 않기 위해서 식 (3)의 두 번째 부등식 조건인 식 (10)이 만족되어야 한다.

식 (4)와 (10)을 결합하여 R_i는 식 (11)같이 나타낼 수 있다.

B^e _i(t)는 식 (7)으로 표현될 수 있으므로 식 (11)은 식 (12)와 같이 나타낼 수 있다.

그러므로 R^M _i은 다음과 같이 구할 수 있다.

위 식을 살펴보면 R^M _i와 시간(k-1)△t에서 부터 -△t 이전까지 전송한 데이타의 합은 B^d _max와 k△t 이전에 인코더의 버퍼에 저장되어 있는 데이타의 합과 같음을 알 수 있다. 만약 R^m _i가 0보다 큰 값을 가진다면 R^M _i를 식 (14)과 같이 표현할 수 있다.

R^m _i는 디코더에서 언더플로우가 발생하지 않는 최소의 다중화 비트율이므로 디코더에서 오버플로우가 발생하는 R^M _i는와 R^m _i의 합임을 알 수 있다.

R^r _i를 결정하기 위해서는 다중화된 다른 모든 인코더의 버퍼의 상태와 부호화되어 나오는 비트열의 트래픽을 고려해야 한다. 어느 인코더가 언제 얼마만큼의 비트열을 각 버퍼로 전달할 것인지는 알 수 없다.

그러므로 임의의 비디오의 임의의 트래픽을 효율적으로 대처하기 위해서는 다중화된 모든 버퍼의 상태가 동일하도록 전송률 R^r _i를 결정해야 할 것이다. 본 발명에서는 분산이 0이 되도록 결정하였다. 만약 B_i(t)=B^m _i+B^r _i이고 B^m _i=B^m _i△t, B^r _i=R^r _i△t라면, B_i(t+△t)는 식 (15)에 의하여 대략적으로 구할 수 있다.

R^r _i는 시간 t+△t에서 인코더 버퍼 오버플로우와 언더플로우를 방지하기 위한 버퍼의 분산값을 최소화한다. 시간 t+△t에서 인코더 버퍼 상태의 평균값 μ과 분산값 σ는 다음과 같이 나타낼 수 있다.

만약 B_i(t+△t)가 μ(t+△t) 값이라면, 분산값σ(t+△t)은 0이 될 것이다. σ(t+△t) 값을 최소화하기 위하여, R^r _i는 B_i(t+△t)의 값이 μ(t+△t)와 같아지도록 선택되어야 한다. B_i(t+△t)는 식 (18)과 같이 나타낼 수 있다.

대략적으로 B_i(t+△t)는 B_min이면 U는 0에 근접할 것이고, σ는 R^r _i×△t=△B_i(t+△t) 조건이 만족된다면 B_min이 될 것이다.

△B_i의 값과 R^r _i△t의 합은 다음 관계가 항상 성립한다.

R^r _i를 구하기 위해서 R^t _i를 구한다. R^t _i는 R^M _i을 참조하지 않는 값이다. ∑△B_i(t+△t)>∑(R^r _i△t)일 경우에, μ는 0이 되지 않는다. 그와 같은 경우에는 R^t _i는 최소의 버퍼 상태로 부터의 차이에 비례하게 다음과 같이 결정된다.

∑△B_i(t+△t)≤∑(R^r _i△t)일 경우에 μ는 0이 될 수 있다. R^t _i는 식 (21)과 같이 결정된다.

R_i는 R^M _i보다 클 수 없으므로 R^r _i는 R^M _i값을 참조하여 다음과 같이 구한다.

최종적으로 다중화 비트율 R_i는 R_i=R^m _i+R^r _i같이 표현된다.

이상에서 상세히 설명한 바와 같이 본 발명은 다수의 비디오 신호를 다중화하여 전송할 경우 각 비디오의 트래픽을 인코더 및 디코더 버퍼에서 오버플로우 및 언더플로우가 발생하지 않도록 하고, 각 비디오 버퍼의 분산값을 최소화하므로써 데이타 손실이 발생하지 않도록 한 이점이 있다. 또한 이 알고리듬은 가변률의 전송률을 갖는 다수의 비디오 신호를 다중화하여 항등률로 전송하는 방송 등에서 널리 사용되는 이점을 수반한다.

아울러 본 발명의 바람직한 실시예들은 예시의 목적을 위해 개시된 것이며, 당업자라면 본 발명의 사상과 범위안에서 다양한 수정, 변경, 부가등이 가능할 것이며, 이러한 수정 변경 등은 이하의 특허 청구의 범위에 속하는 것으로 보아야 할 것이다.

Claims (4)

1. 전송지연 및 과다전송이 발생하여 디코더 버퍼에서 언더플로우 및 오버플로우가 발생하지 않도록 최소 다중화 비트율(R^m _i)과 최대 다중화 비트율(R^M _i)을 정하는 단계; 다중화하는 인코더 버퍼에서 오버플로우로 인한 데이타의 손실을 방지하기 위해 다중화되는 모든 인코더의 버퍼 상태의 분산값이 최소화되도록 최대 다중화 비트율(R^M _i)에 의해 랜덤다중화비트율(R^r _i)을 구하는 단계; 및 상기 단계에서 구한 최소 다중화 비트율(R^m _i)과 랜덤다중화비트율(R^r _i)과의 합을 다중화 비트율(R_i)로 정하는 단계를 구비하는 것을 특징으로 하는 가변비트율 신호의 다중화율 결정방법.
2. 제1항에 있어서, 상기 최소 다중화 비트율 R^m _i은 하기의 식을 통해 구하는 것을 특징으로 하는 가변비트율 신호의 다중화율 결정방법.

   (△t : 비디오 소스에 대한 다중화 주기

   B^e _i: i번째 인코더의 현재 버퍼 상태

   k△t : 인코더 버퍼로부터 디코더 버퍼까지의 최소 단대단 (end-to-end) 지연시간

   R_i: 각 비디오에 할당되는 다중화율)
3. 제1항에 있어서, 상기 최대 다중화 비트율 R^M _i은 하기의 식을 통해 구하는 것을 충족시킴을 특징으로 하는 가변비트율 신호의 다중화율 결정방법.

   (B^dmax : 디코더 버퍼의 최대 크기

   △t : 비디오 소스에 대한 다중화 주기

   B^e _i: i번째 인코더의 현재 버퍼 상태

   k△t : 인코더 버퍼로부터 디코더 버퍼까지의 최소 단대단 (end-to-end) 지연시간

   R_i: 각 비디오에 할당되는 다중화율)
4. 제1항에 있어서, 상기 랜덤다중화비트율 R^r _i은 하기의 식을 통해 구하는 것을 특징으로 하는 가변비트율 신호의 다중화율 결정방법.

   R^m _i+R^t _i<R^M _i이면 R^r _i=R^t _i,

   R^m _i+R^t _i>R^M _i이면 R^r _i=R^M _i-R^m _i

   (R^m _i: 최소 다중화 비트율

   R^M _i: 최대 다중화 비트율