KR100634733B1 - 오디오 비트스트림의 패킷 전송 제어 방법 - Google Patents

Abstract

본 발명은 프레임 당 가변 길이를 갖는 오디오 비트스트림 데이터를 통상의 전송 패킷 단위로 분할하여 전송하는 경우에 전송 과정의 패킷 손실에 의해 발생되는 오디오의 음질 저하를 최소화하기 위한 전송 제어 방법을 제공한다. 이를 위해 본 발명은 오디오 비트스트림을 패킷 단위로 분할하는 단계와, 상기 각각 분할된 패킷 중 오디오 프레임의 경계를 포함하는 패킷에 대하여 패킷 재구성을 수행할지의 여부를 판단하는 단계, 상기 패킷 재구성 여부의 판단에 의해 패킷을 재구성하는 단계 및 상기 각각 분할되거나 재구성된 패킷을 전송하는 단계로 이루어진 것을 특징으로 한다.

오디오 부호화, 프레임, 패킷, 비트스트림, 전송 오류, 음질

Description

오디오 비트스트림의 패킷 전송 제어 방법{Packet Transmitting Control Method For Audio Bit Stream}

도 1은 오디오 비트스트림의 부호화 및 복호화 과정을 예시적으로 나타낸 도면,

도 2는 오디오 비트스트림을 패킷 단위로 분할하여 전송하는 과정을 예시적으로 나타낸 도면,

도 3a은 전송 과정에서 패킷 손실이 발생한 경우 출력 음질이 저하되는 과정을 예시적으로 나타낸 도면,

도 3b는 전송 과정에서 경계 패킷이 손실된 경우 출력 음질이 저하되는 과정을 예시적으로 나타낸 도면,

도 4a은 본 발명에 따라 경계 패킷에 대해 패킷 재구성을 하는 과정을 예시적으로 나타낸 도면,

도 4b는 본 발명에 따라 경계 패킷에 대한 패킷 재구성에 의해 출력 음질의 저하가 줄어드는 과정을 예시적으로 나타낸 도면,

도 5는 경계 패킷에 대한 패킷 재구성에 의해 데이터 전송량이 증가하고 오디오 신호의 출력 시점이 지연되는 과정을 예시적으로 나타낸 도면,

도 6은 본 발명에 따라 데이터 전송량을 제어하면서 경계 패킷에 대한 패킷 재구성 여부를 판단하는 과정을 예시적으로 나타낸 도면,

도 7은 본 발명에 따라 출력 시간 오프셋을 제어하면서 패킷 재구성 여부를 판단하는 과정

도 8은 본 발명에 따라 경계 패킷에 대한 패킷 재구성 여부를 판단하는 전송 제어 알고리즘을 예시적으로 나타낸 플로우차트이다.

본 발명은 프레임 당 가변 길이를 갖는 오디오 비트스트림 데이터를 전송 패킷 단위로 분할하여 전송하는 경우에, 전송 과정의 패킷 손실에 의해 발생되는 오디오의 음질 저하를 줄이기 위한 전송 제어 방법에 관한 것이다.

통상적인 오디오 코더는 일정 구간, 즉 프레임 단위로 오디오 신호를 분리하여 압축하고 비트스트림 데이터를 생성하게 된다. 그런데, 이와 같이 압축하는 과정에서 압축 효율을 높이기 위한 방법의 하나로서 가변 길이 부호화(variable length coding)를 사용하게 되는데, 그 결과 압축된 비트스트림 데이터의 길이는 프레임에 따라 변하는 특징이 있다.

도 1은 상기 오디오 비트스트림에 대한 부호화 및 복호화 과정을 예시적으로 나타낸 것으로서, MPEG-4 HE AAC 오디오 부호기에 대해 22050 Hz의 표본화 주파수를 갖는 오디오 신호를 8 kbps로 압축하는 경우를 표현한 것이다.

도 1에 나타난 바와 같이, MPEG-4 HE AAC 오디오 부호기는 2048개의 오디오 신호 샘플을 한 프레임으로 하여, 즉 22050 Hz에 대해 약 2048/22050 = 93 msec 구간을 기본 단위로 부호화를 수행하게 되는데, 부호화 결과 프레임 당 평균 8000*0.093 = 744 비트의 가변 길이 프레임 데이터로 압축된다.

이후, 압축된 프레임 데이터는 복호화 과정을 통해 압축되기 이전의 원본 신 호와 동일하거나 거의 유사한 신호로 복원될 수 있다. 이와 같이 부호화 및 복호화 과정에서 프레임은 오디오 신호를 처리하는 기본 단위로 사용되는데, 결과적으로 압축된 프레임 데이터의 일부가 소실되는 경우에는 해당 프레임의 오디오 신호는 정상적으로 복원되지 못하게 된다.

상기한 바와 같이 부호화된 오디오 비트스트림을 임의의 전송 시스템을 통해 전송하기 위해서는 해당 전송 시스템에서 사용되는 전송 단위, 즉 전송 패킷의 단위로 오디오 비트스트림을 분할하게 된다. 그런데 상기 전송 패킷의 길이는 해당 전송 시스템에서 사용하는 특정 길이로 고정되는 것이 통상적인데, 이는 결과적으로 오디오 부호화의 기본 단위와 부호화된 데이터의 전송 단위가 일치하지 않게 됨을 의미한다.

도 2는 상기한 전송 패킷 단위로 오디오 비트스트림을 분할하여 전송하는 과정을 나타낸 것이다.

도 2에서는 EVRC 음성 부호기의 전송 패킷을 사용하는 경우를 예로 들어 MPEG-4 HE AAC 오디오 부호기로 부호화된 비트스트림 데이터를 EVRC full rate에서 171 비트의 패킷 단위로 분할하여 전송하는 과정을 나타낸 것이다.

즉, 각각의 프레임 단위로 압축된 비트스트림 데이터는 171 비트의 패킷 단위로 분할되고, 각각의 패킷은 전송 시스템을 통해 전송 및 수신된 후 다시 프레임 단위로 결합되어 복호화 과정을 거쳐 오디오 신호로 복원된다. 따라서 하나의 프레임 데이터를 전송하기 위해 여러 개의 패킷이 필요하게 되고, 경우에 따라서는 하나의 패킷이 연속된 두 프레임의 데이터를 동시에 포함할 수도 있게 된다.

상기한 바와 같이 오디오 비트스트림을 전송 패킷 단위로 분할하여 전송하는 경우 패킷 전송 과정에서 전송 오류에 의해 일부 패킷이 손실될 수 있는데, 이러한 패킷 손실은 수신된 오디오 신호의 음질 저하를 유발하는 원인이 된다.

도 3a는 전송 과정에서 패킷 손실이 발생한 경우 오디오 출력 신호의 음질이 저하되는 과정을 나타낸 것이다.

도 3a에 나타난 바와 같이 MPEG-4 HE AAC 한 프레임의 비트스트림 데이터가 171 비트 크기의 패킷 단위로 분할되는 경우, 오디오 프레임의 일부에 해당하는 패킷이 손실됨으로써 93 msec에 해당하는 오디오 출력이 손실되는 결과를 초래하게 된다.

그러나 상기 결과는 오디오 비트스트림을 전송하는 과정에서는 필연적으로 발생하는 현상으로서 어떠한 형태의 전송 패킷을 사용하더라도 피할 수 없는 경우라고 할 수 있다.

상기한 전송 패킷 손실에 의한 음질 저하는, 도 3b에 나타낸 것과 같이 연속되는 오디오 프레임의 경계를 포함하는 패킷이 손실되는 경우 그 정도는 더욱 심해진다.

도 3b에 나타난 바와 같이 MPEG-4 HE AAC 한 프레임의 데이터가 171 비트 크기의 패킷 단위로 분할되는 경우, 두 프레임의 경계에 해당하는 패킷이 손실됨으로써 93*2 = 186 msec에 해당하는 오디오 출력이 손실되는 결과를 초래하게 된다.

상기 결과는 부호화의 기본 단위인 프레임과 전송의 기본 단위인 패킷의 길이가 일치하지 않기 때문에 패킷 단위 분할 과정에서 특정 패킷이 연속된 프레임의 경계를 포함하게 되면서 발생하는 현상이다.

이에, 최근에는 상기 경계 패킷의 손실을 방지하기 위한 효율적인 방법을 제공함으로써 패킷 손실에 의한 음질 저하를 최소화하는 오디오 비트스트림 전송 제어 방법의 적용이 절실히 요구되는 실정이다.

따라서 본 발명은 상기한 종래의 문제점을 해결하기 위해 이루어진 것으로서, 그 목적은 오디오 비트 스트림 데이터를 전송 패킷 단위로 분할하여 전송하는 경우 패킷 손실에 의해 발생되는 오디오 신호의 음질 저하를 최소화하기 위한 전송 제어 방법을 제공하는 것이다.

상기한 목적을 달성하기 위해 본 발명에 따르면, 오디오 비트스트림을 패킷 단위로 분할하는 단계와, 상기 각각 분할된 패킷 중 오디오 프레임의 경계를 포함하는 패킷에 대하여 패킷 재구성을 수행할지의 여부를 판단하는 단계, 상기 패킷 재구성 여부의 판단에 의해 패킷을 재구성하는 단계 및 상기 각각 분할되거나 재구성된 패킷을 전송하는 단계로 이루어진 것을 특징으로 하는 오디오 비트스트림 전송 제어 방법을 제공한다.

이하, 상기한 바와 같이 구성된 본 발명에 대해 첨부도면을 참조하여 상세히 설명한다.

도 4a는 본 발명에 따라 프레임의 경계에 해당하는 패킷이 손실됨으로써 연속되는 두 프레임의 오디오 출력이 손실되는 것을 방지하기 위해 해당 패킷에 패킷 재구성을 수행하는 과정을 나타낸 것이다.

패킷을 재구성하는 목적은 경계 패킷에 두 프레임의 데이터가 동시에 포함되는 것을 방지하는 것인데, 도 4a에서는 패킷을 재구성하는 방법의 하나로 패킷에 포함된 두 프레임의 데이터를 각각 분리하여 뒤쪽 프레임에 해당되는 데이터를 다음 패킷으로 이동시키는 과정을 나타낸 것이다.

즉, 하나의 경계 패킷에 두 프레임의 데이터가 동시에 포함되지 않도록 함으로써 도 3b에서와 같이 두 프레임의 오디오 출력이 손실되는 경우를 방지하게 되는 것이다.

도 4b는 상기 방법에 의해 오디오 출력의 음질 저하가 줄어드는 과정을 나타낸 것이다. 즉, 경계 패킷의 프레임 데이터를 분리하여 전송함으로써 해당 패킷이 전송 과정에서 손실되더라도 한 프레임에 해당하는 오디오 출력만이 영향을 받게 된다.

한편, 상기한 방법대로 모든 경계 패킷에 대해 패킷 재구성을 수행하게 되면 프레임의 수가 증가함에 따라 전송할 비트스트림 데이터의 양이 증가하게 되는 바, 도 5는 이러한 경우를 예시적으로 나타낸 것이다.

도 5에 나타난 바와 같이, 5개의 프레임을 전송할 때 경계 패킷에 대한 프레임 데이터 분리를 하지 않는 경우 19개의 패킷이 사용되지만, 프레임 데이터 분리 를 하는 경우에는 21개의 패킷이 사용되어야 한다. 즉, 171*2 = 342 비트가 추가적으로 전송되는 것과 같은 결과를 초래하게 되는 것이다.

따라서, 경계 패킷에 대한 프레임 데이터 분리를 수행할지의 여부는 이러한 데이터 전송량의 증가를 고려하여 판단되어야 한다. 상기 데이터 전송량의 문제는 오디오 신호의 출력 시점의 관점에서도 설명될 수 있는데, 도 5와 같이 5개의 프레임을 전송할 때, 경계 패킷에 대한 프레임 데이터 분리를 하지 않는 경우 465 msec의 오디오 신호가 출력되는 시점이 19번째 패킷이 전송된 후가 되지만, 프레임 데이터 분리를 하는 경우에는 21번째 패킷이 전송된 후에야 465 msec의 오디오 신호가 출력된다. 따라서 전송 패킷이 증가할수록 오디오 신호의 출력 시점이 지속적으로 지연되는 결과를 초래하게 된다.

본 발명에서는 상기한 바와 같이 데이터 전송량과 오디오 신호의 출력 시점의 지연이 허용 범위를 초과하지 않도록 하면서, 경계 패킷에 대한 패킷 재구성 여부를 판단하고 제어하기 위한 방법을 제공한다.

즉, 도 6은 경계 패킷에 대한 패킷 재구성 여부를 판단하기 위한 판단 기준으로서 해당 패킷까지의 초과 데이터 전송량의 허용 범위를 표시한 것이다.

초과 데이터 전송량(Extra Data Rate)은 패킷 재구성의 결과로 추가되는 데이터로서 패킷 재구성의 횟수와 함께 증가하게 되는데, 이렇게 추가되는 데이터의 양을 제한하기 위해 초과 데이터 전송량의 허용 범위(Extra Data Rate Limit)를 설정하게 된다.

이 경우에, 상기 초과 데이터 전송량 및 허용 범위의 값은 여러 가지 방식으 로 계산될 수 있는데, 예를 들어 해당 패킷까지의 초과 데이터 전송량의 누적치를 계산하여 그 누적치에 대한 허용 범위를 사용할 수도 있고, 초과 데이터 전송량에 대한 최소 허용 범위를 정하여 각각의 패킷에 대해 허용 범위를 적용할 수도 있다.

또 다른 방식으로서, 해당 경계 패킷까지 사용된 패킷의 수를 계산하여 초과된 데이터 전송량으로 사용할 수도 있다. 같은 맥락에서 출력 시점 지연에 대한 허용 범위를 설정하여 판단 기준으로 사용하는 것도 가능한 방법이다. 즉, 초과 데이터 전송량 및 허용 범위를 계산하는 방식은 전송 시스템 및 해당 부호기의 특성에 따라 적절하게 변형할 수 있도록 한다.

상기한 초과 데이터 전송량을 패킷 재구성 판단의 기준으로 사용하는 것과 함께 도 7에 도시된 것과 같이 출력 시간 오프셋(Output Time Offset)을 판단 기준에 포함시키는 것도 가능한 방법이다.

출력 시간 오프셋은 패킷 단위로 설정되는 기준 출력 시간(Reference Output Time)으로부터 현재 패킷까지의 출력 오디오의 양을 뺀 값으로서 현재까지 출력된 오디오 데이터의 양이 기준 출력 시간을 초과했는지 아닌지를 판단하는 수단이다. 도 7의 15번 및 18번 패킷의 경우 출력 시간 오프셋이 허용 범위(0 - 60 ms)를 벗어나기 때문에 패킷 재구성을 수행하지 않도록 한다.

상기한 바와 같이 패킷 재구성 여부의 판단 과정을 통해 경계 패킷에 대한 패킷 재구성 여부를 제어함으로써 패킷 손실에 의한 음질 저하를 감소시키는 동시에 패킷 재구성에 따른 부작용을 최소화할 수 있게 된다.

그 다음에, 도 8은 본 발명에 따른 패킷 전송 제어 알고리즘을 설명하는 플로우차트이다.

도 8에 도시된 바와 같이, 오디오 비트스트림으로부터 분할되어 패킷이 입력되면(단계 S10), 상기 입력된 패킷이 프레임의 경계를 포함하는 경계 패킷인지 아닌지의 여부를 판단한다(단계 S11).

상기 판단 결과, 입력된 패킷이 경계 패킷이 아니라고 판단되면, 해당 패킷은 아무런 처리 없이 패킷 전송 단계로 전달된다.

하지만, 상기 판단 결과, 입력된 패킷이 경계 패킷이라고 판단되면, 해당 경계 패킷이 특정 부호기 및 복호기의 관점에서 패킷 재구성이 필요한지의 여부를 선택적으로 판단한다(단계 S12).

예를 들어, MPEG-4 HE AAC 부호기의 경우 경계 패킷을 재구성 여부를 판단하는데 비트스트림의 내부 구성 특성을 이용하는 것이 가능하다. 즉, 특정 부호기 및 복호기의 특성을 이용하는 판단 조건을 포함시킴으로써 본 발명에서 제공하는 패킷 전송 제어 방법의 유연성을 증가시킬 수 있게 된다.

상기 판단 결과, 입력된 패킷이 특정 부호기 및 복호기의 관점에서 패킷 재구성이 필요하다고 판단되면, 해당 패킷까지의 초과 데이터 전송량(EDR, Extra Data Rate)이 초과 데이터 전송량의 허용 범위(EDRL, Extra Data Rate Limit)를 초과하는지의 여부를 판단한다(단계 S13).

상기 판단 결과, 해당 경계 패킷의 초과 데이터 전송량이 허용 범위를 초과하는 것으로 판단되면(EDR > EDRL), 해당 패킷은 전송 단계로 전달된다.

하지만, 상기 판단 결과, 해당 경계 패킷이 특정 부호기 및 복호기의 관점에서 데이터 분리가 필요한 것으로 판단된 상태에서, 해당 경계 패킷의 초과 데이터 전송량이 허용 범위를 초과하지 않는 것으로 판단되면(EDR < EDRL), 출력 시간 오프셋(OTO, Output Time Offset)이 출력 시간 오프셋 허용 범위(OTOL, Output Time Offset Limit)를 초과하는지의 여부를 판단한다(단계 S14).

상기 판단 결과, 출력 시간 오프셋이 허용 범위를 벗어나는 것으로 판단되면(OTO > OTOL 또는 OTO < 0), 해당 경계 패킷은 전송 단계로 전달된다.

하지만, 상기 판단 결과, 출력 시간 오프셋이 허용 범위를 초과하지 않는 것으로 판단되면(0 < OTO < OTOL), 해당 경계 패킷에 대해 패킷 재구성을 수행한 후(단계 S15), 패킷의 전송 단계로 전달한다(단계 S16).

한편, 본 발명은 전술한 전형적인 바람직한 실시예들에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술 분야에 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.

이상과 같이 본 발명에 따르면, 프레임 당 가변 길이를 갖는 오디오 비트 스 트림을 패킷 단위로 전송하는 경우에, 연속되는 프레임의 경계를 포함하는 경계 패킷이 손실됨으로써 두 프레임의 오디오 데이터가 한 번에 손실되는 것을 방지하기 위해, 패킷을 재구성하고, 패킷 재구성에 의해 오디오 출력 시점이 지연되거나 데이터 전송량이 증가하는 것을 방지하기 위해 패킷 전송 제어 알고리즘을 적용함에 따라, 전송 과정의 패킷 손실에 의한 음질 저하를 최소화하는 효과를 갖게 된다.

Claims (11)

1. 오디오 비트스트림을 패킷 단위로 분할하는 제 1단계와,

   상기 각각 분할된 패킷 중 오디오 프레임의 경계에 해당하는 경계 패킷에 대하여 패킷 재구성을 수행할지의 여부를 판단하는 제 2단계,

   상기 패킷 재구성 여부의 판단에 따라 해당 경계 패킷에 대하여 패킷을 재구성하는 제 3단계, 및

   상기 각각 분할되고 재구성된 패킷을 전송하는 제 4단계로 이루어진 것을 특징으로 하는 오디오 비트스트림의 패킷 전송 제어 방법.
2. 제 1 항에 있어서,

   상기 제 1단계에서, 상기 오디오 비트스트림은 전송 패킷 단위로 분할하여 전송하는 것을 특징으로 하는 오디오 비트스트림의 패킷 전송 제어 방법.
3. 제 1 항에 있어서,

   상기 제 1단계에서, 상기 오디오 비트스트림은 보코더 패킷 단위로 분할하여 전송하는 것을 특징으로 하는 오디오 비트스트림의 패킷 단위 전송 제어 방법.
4. 제 2 항에 있어서,

   상기 제 1단계에서, 상기 오디오 비트스트림은 MPEG-4 HE AAC 비트스트림이 고,

   상기 MPEG-4 HE AAC 비트스트림은 EVRC 패킷 단위로 분할하여 전송하는 것을 특징으로 하는 오디오 비트스트림의 패킷 전송 제어 방법.
5. 제 1 항에 있어서,

   상기 제 2단계에서, 상기 경계 패킷에 대한 패킷 재구성 여부는 패킷의 초과 데이터 전송량(EDR, Extra Data Rate)이 데이터 전송량의 허용 범위(EDRL, Extra Data Rate Limit)를 초과하는지의 여부에 의해 결정되는 것을 특징으로 하는 오디오 비트스트림의 패킷 전송 제어 방법.
6. 제 5 항에 있어서,

   상기 제 2단계에서, 상기 경계 패킷에 대한 재구성 여부의 판단을 위한 초과 데이터 전송량은, 프레임 데이터 분리 후 다음 패킷으로 이동된 데이터의 해당 패킷까지의 누적치를 초과 데이터 전송량으로 사용하는 것을 특징으로 하는 오디오 비트스트림의 패킷 전송 제어 방법.
7. 제 5 항에 있어서,

   상기 제 2단계에서, 상기 경계 패킷에 대한 재구성 여부의 판단을 위한 초과 데이터 전송량은, 프레임 데이터 분리에 의해 증가된 전송 패킷 수를 초과 데이터 전송량으로 사용하는 것을 특징으로 하는 오디오 비트스트림의 패킷 전송 제어 방 법.
8. 제 1 항에 있어서,

   상기 제 2단계에서, 상기 경계 패킷에 대한 재구성 여부는, 출력 시간 오프셋(OTO, Output Time Offset)이 출력 시간 오프셋 허용 범위(OTOL, Output Time Offset Limit)를 초과하는지의 여부에 의해 결정되는 것을 특징으로 하는 오디오 비트스트림의 패킷 전송 제어 방법.
9. 제 8 항에 있어서,

   상기 제 2단계에서, 상기 출력 시간 오프셋은, 패킷 단위로 설정되는 기준 출력 시간(Reference Output Time)으로부터 현재 패킷까지의 출력 오디오의 양을 뺀 값에 해당되는 것을 특징으로 하는 오디오 비트스트림의 패킷 전송 제어 방법.
10. 제 1 항에 있어서,

    상기 제 2단계에서, 상기 경계 패킷에 대한 재구성 여부는, 패킷 처리를 위해 적용되는 오디오 부호기 및 복호기의 고유 특성에 의해 결정되는 것을 특징으로 하는 패킷 재구성 여부의 판단 방법.
11. 제 1 항에 있어서,

    상기 제 3단계에서, 상기 각각 분할된 패킷 중 오디오 프레임의 경계를 포함 하는 경계 패킷은, 연속되는 두 프레임의 데이터를 분리하여 뒤쪽 프레임에 해당하는 데이터를 다음 패킷으로 이동함에 의해 패킷을 재구성하는 것을 특징으로 하는 전송 패킷의 재구성 방법.

Images