KR100499518B1 - 오디오 립 싱크 제어방법 - Google Patents

Abstract

시간오차를 줄이고 립 싱크 수행에 따른 소음을 방지하며 정밀한 립 싱크가 이루어질 수 있도록 한 오디오 립 싱크 제어방법에 관한 것으로, 오디오 데이터 초기 입력시 오디오 출력을 뮤트(Mute)시키는 단계와, PTS(Presentation Time Stamp)를 포함한 오디오 PES(packetized elementary stream)가 입력되면 오디오 디코딩을 시작하는 단계와, 오디오 PTS와 PCR(Program Clock Reference)의 차이가 설정값보다 큰지 판단하는 단계와, 그 판단결과 PTS와 PCR의 차이가 설정값보다 크면 오디오 디코딩/설정시간 대기/오디오 디코딩 재개를 포함하는 테스크를 진행하는 단계를 포함하므로 소음 발생을 방지하여 사용자 불편을 해소할 수 있고 정밀한 립 싱크가 이루어져 음질을 향상시킬 수 있다.

Description

오디오 립 싱크 제어방법{Method for Controlling Audio Lip-Synchronization}

본 발명은 정밀한 립 싱크가 이루어질 수 있도록 한 오디오 립 싱크 제어방법에 관한 것이다.

일반적으로 멀티미디어를 지원해주는 핵심 요소로는 디지털화와 더불어 화상 압축 기술이 있다. 상기 화상 압축 기술 중 MPEG(Moving Pictures Expert Group)-2는 멀티미디어 환경에 가장 핵심 기술인 디지털 동영상의 압축 부호화를 위한 국제적인 표준안이다.

이러한 MPEG-2를 채용한 디지털 방송 수신 시스템은 도 1에 도시된 바와 같이, 오디오/비디오(Audio/Video ; A/V) 다중(Multiplexed) 비트스트림이 입력되면 트랜스포트 역다중화부(101)에서 다중화(Multiplexed)되어 있는 오디오와 비디오 비트스트림을 각각 분리한다. 상기 분리된 비디오 비트스트림과 오디오 비트스트림은 디코딩을 위해 각각 비디오 디코더(102)와 오디오 디코더(104)로 출력된다. 여기서, 상기 비디오 비트스트림과 오디오 비트스트림은 패킷화된 요소 스트림(packetized elementary stream ; PES)이다.

상기 비디오 디코더(102)는 입력되는 비디오 비트스트림에서 오버헤드(각종 헤더 정보, 스타트 코드등)를 제거하고, 순수한 데이터 정보를 가변 길이 디코딩(Variable Length Decoding ; VLD)한 후 역양자화 과정, 역 이산 코사인 변환(IDCT) 과정을 거쳐 원래 화면의 픽셀 값을 복원하고, 비디오 디스플레이 처리부(Video Display processor ; VDP)(103)는 이를 디스플레이 포맷에 맞게 변환하여 디스플레이 장치등에 출력한다.

상기 오디오 디코더(104)는 MPEG 알고리즘 또는 오디오 코딩(AC)-3 알고리즘등을 이용하여 입력되는 오디오 비트스트림을 원래의 신호로 복원한 후 이를 아날로그 형태로 변환하여 스피커등으로 출력한다.

또한, 시스템 디코더(105)는 상기 TP 역다중화부(101)의 출력으로부터 STC(System Time Clock)를 복구하여 비디오 디코더(102)와 오디오 디코더(104)로 출력한다. 그러면, 상기 비디오 디코더(102)는 복구된 STC에 동기시켜 비디오 디코딩을 수행하고, 오디오 디코더(104)는 복구된 STC에 동기시켜 오디오 디코딩을 수행한다.

이러한 디지털 방송 수신기는 다중화된 디지털 신호를 사용하기 때문에 기존의 아날로그 시스템과는 달리 비디오와 오디오 신호의 동기를 맞추어 주는 별도의 A/V 립 싱크(Lip-Synchronization) 장치나 방법이 필요하다.

상기 A/V 립 싱크는 비디오, 오디오의 복호 재생 단위마다 주어지는 타임 스탬프(time stamp)라는 정보를 통해 구현된다. 타임 스탬프는 재생 출력 시간인 PTS(Presentation Time Stamp)와 복호 시간인 DTS(Decoding Time Stamp)로 이루어지는데 오디오의 경우 DTS는 사용되지 않는다. 이러한 타임 스탬프는 PES의 헤더에 위치하는데, PES 내에 ES(elementary stream)의 첫 부분이 포함될 경우에만 존재한다.

여기서, 상기 DTS는 각 픽쳐를 언제 디코딩할 것인지를 상기 STC를 기준으로 나타내는 디코딩 타임 스탬프이고, PTS는 복원된 데이터를 언제 디스플레이할 것인지를 상기 STC를 기준으로 나타내는 표시 타임 스탬프이다. 상기 STC는 엔코더와 록킹된 전체적인 클럭으로서, 엔코더와 디코더가 똑같은 STC를 갖고 있으며, 또한 상기 엔코더는 비디오 신호가 내부적으로 딜레이를 갖고 있기 때문에 A/V 립 싱크와 정상적인 비디오 디코딩을 위해서 STC를 기준으로 DTS와 PTS를 발생하여 함께 전송한다.

통상, 비디오와 오디오는 별도의 립 싱크 과정을 수행하게 되고, 최종적으로 비디오와 오디오를 맞추는 시스템이 주를 이룬다.

그리고 시각기준 참고치로서 SCR(System Clock Reference)과 PCR(Program Clock Reference)이 립 싱크 과정에서 사용되는데, 이 값들은 STC 값을 엔코더측에서 의도한 값으로 설정하기 위한 정보이다.

도 2는 종래의 립 싱크 제어방법을 설명하기 위한 타이밍도로서, 이론적으로는 STC(SCR 또는 PCR중 하나)와 PTS의 값이 동일할 때 A/V 데이터를 출력한다.

하지만 실제 적용에 있어서는 시간적인 차이가 존재하므로, PTS와 STC가 기설정된 범위(Range)를 만족하면 A/V 데이터를 출력하게 한다.

즉, 도 2와 같이 PTS와 STC 관계에 따라 4가지 상황(A,B,C,D)이 발생한다.

예컨대, (B)와 (C)의 경우처럼 STC를 기준으로 PTS가 기 설정된 특정 범위 내에 있으면 A/V 립 싱크가 맞는다고 판단하고 하나의 프레임 단위로 정상적인 디코딩을 수행하여 A/V 데이터를 출력시킨다. 하지만, (A)나 (D)의 경우처럼 STC를 기준으로 PTS가 기 설정된 특정 범위(range)를 벗어나면 한 프레임 단위로 디코딩을 스킵하던지, 반복하여 A/V 립 싱크를 맞춘다. 이때, (A)의 경우는 PTS 값이 STC보다 빠른 경우이므로 STC 값에 맞는 PTS를 포함한 디코딩 단위를 맞추기 위해서 현재 프레임(또는 픽쳐)의 디코딩을 수행하지 않고 다음 디코딩 단위 즉, 다음 프레임으로 바로 이동하는 스킵을 수행하고, (D)의 경우는 (A)와 반대인 경우로서, PTS 값이 STC보다 늦는 경우이므로 디코딩 단위 즉, 현재 프레임을 반복(Repeat)해서 A/V 립 싱크를 맞추게 한다.

여기서, 립 싱크는 일반적으로 규격화되어 있고 방송 사업자에 따라 인증 절차를 두어 관리하는 경우도 있다. 일예로 Direc TV STB의 경우 오디오와 비디오의 차이가 전/후로 20ms를 벗어나서는 안되도록 규정되어 있는데, 이러한 규정은 구현이 매우 까다로운 규정이며 기존의 오디오 한 프레임을 반복 또는 스킵하는 방법으로는 준수하기 어려운 규정이다.

또한 반복과 스킵을 통해 립 싱크를 수행할 경우 원하는 시간오차 범위내로 진입시키기 위해 과도한 반복과 스킵에 의해 소음이 발생하고 상당한 시간차 발생을 초래하게 된다.

종래의 기술에 따른 오디오 립 싱크 방법은 다음과 같은 문제점이 있다.

첫째, 립 싱크를 위해 프레임 단위의 반복 및 스킵이 다수 반복되므로 소음을 발생시켜 사용자를 불편하게 한다.

둘째, 프레임 단위로 립 싱크를 수행하므로 한 프레임 이하의 정밀한 립 싱크가 이루어지지 못한다.

셋째, 오디오 프레임간의 시간오차(PTS와 PCR의 차이)를 소정치 이상 줄일 수 없다.

따라서 본 발명은 상기한 종래의 문제점을 해결하기 위하여 안출한 것으로서, 시간오차를 줄이고 립 싱크 수행에 따른 소음을 방지하며 정밀한 립 싱크가 이루어질 수 있도록 한 오디오 립 싱크 제어방법을 제공함에 그 목적이 있다.

본 발명은 오디오 데이터 초기 입력시 오디오 출력을 뮤트(Mute)시키는 단계와, PTS(Presentation Time Stamp)를 포함한 오디오 PES(packetized elementary stream)가 입력되면 오디오 디코딩을 시작하는 단계와, 오디오 PTS와 PCR(Program Clock Reference)의 차이가 설정값보다 큰지 판단하는 단계와, 그 판단결과 PTS와 PCR의 차이가 설정값보다 크면 오디오 디코딩/설정시간 대기/오디오 디코딩 재개를 포함하는 테스크를 진행하는 단계를 포함함을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 오디오 립 싱크 제어방법의 바람직한 일실시예를 상세히 설명하면 다음과 같다.

도 3은 본 발명에 따른 오디오 립 싱크 제어방법을 나타낸 플로우챠트이다.

본 발명에 따른 오디오 립 싱크 제어방법은 도 3에 도시된 바와 같이, 초기 파워 '온', 채널 변경 그리고 언어 변경 등의 조건 발생시 오디오 출력을 뮤팅(Muting) 시킨다(S21).

상기 파워 '온', 채널 변경 그리고 언어 변경 등의 조건 발생시 오디오 출력을 뮤트시키는 것은 이후 오디오 디코딩을 시작하고 립 싱크를 수행함에 따른 잡음이 발생할 수 있기 때문이다.

이어서 트랜스포트 스트림에서 오디오 디코딩을 시작하고(S22), PTS를 포함한 PES가 들어오면 오디오 PTS 인터럽트 과정이 시작된다(S23).

그리고 PTS가 PCR에 비해 빠른지 판단한다(S24).

일반적으로 트랜스포트 스트림에서 오디오 PES는 PCR보다 한 프레임 반에서 두 프레임가지 빠르게 온다. 따라서 처음 오디오 디코딩을 하게 돼서 립 싱크를 수행하면 대부분 오디오 PTS가 PCR 보다 빠르게 된다.

그러나 상기 판단결과(S24), PTS가 PCR보다 느리면 일단 프레임을 스킵(Skip)시켜 PTS가 PCR보다 빠르게 만들고 상기 PTS 인터럽트 단계로 복귀한다(S25).

한편, 상기 판단결과(S24), PTS가 PCR보다 빠르면 그 차이값(PTS-PCR)이 설정값보다 큰지 판단하고(S26), 설정값 이내이면 즉, 원하는 범위내이면 오디오 뮤트를 '오프'시켜 정상적인 오디오 출력이 이루어지도록 하고 상기 PTS 인터럽트 단계로 복귀한다(S27).

이때 설정값은 이론상 0ms까지 가능하나, 실용상 1ms가 적당하며, 설정값 조정은 소프트웨어적인 프로그램에 의해 가능하므로 원하는 범위로 변동시킬 수 있다.(기존의 경우 정상적인 립 싱크 과정에서 PTS와 PCR의 차이가 최대 19ms)

그러나 상기 판단결과(S26), 그 차이값(PTS-PCR)이 설정값보다 크면 테스크 진행명령을 내리고(S28), 그에 따른 테스크를 진행한다(S29).

이때 테스크는 오디오 디코딩을 중지시키고 설정시간만큼 대기후 오디오 디코딩을 재개하는 것으로서, 설정시간 대기 방법은 아래와 같이 구현된다.

1. OS(Operating System)의 타임 틱(Time Tick) 즉, 10ms 만큼 대기하는 방법으로 정밀한 시간 설정이 요구되지 않을 경우 사용한다.

2. 일정 시간 변수를 카운트하여 루프를 돌리는 방법.

3. CPU의 프로그램 카운터 레지스터의 증감을 체크하면서 일정시간 대기하는 방법으로 가장 정확하게 구현 가능하다.

4. 오디오 디코더를 중지시킨후 바로 다시 플레이 시키는 방법으로, 오디오 디코더 칩이 중지했다가 다시 동작하는데는 최소한의 시간이 걸리게 되므로 이 시간을 이용하여 현재까지의 방법들 중 가장 짧은 시간 설정이 가능하다.

그리고 다시 오디오를 출력하던중 PTS를 포함한 오디오 PES가 들어오면 PTS 인터럽트 단계(S23)부터 반복한다.

오디오 PTS와 PCR의 차이가 원하는 범위 즉, 상술한 예로, 1ms 이내일 경우 오디오 출력은 프리 런닝(Free Running)하게 된다.

상술한 본 발명은 오디오 디코더 칩을 따로 사용하거나 내장된 제품에 모두 사용할 수 있다.

본 발명에 따른 오디오 립 싱크 제어방법은 다음과 같은 효과가 있다.

첫째, 립 싱크를 위한 프레임 단위의 반복 및 스킵이 거의 발생하지 않고 립 싱크 제어과정에서 오디오 출력을 뮤트 시키므로 소음 발생을 방지하여 사용자 불편을 해소할 수 있다.

둘째, 오디오 프레임간의 시간오차(PTS와 PCR의 차이)를 1ms 이내까지 최소화하므로 프레임 단위 이하의 정밀한 립 싱크가 이루어져 음질을 향상시킬 수 있다.

도 1은 일반적인 디지털 방송 수신 시스템의 구성 블록도

도 2는 종래의 립 싱크 제어방법을 설명하기 위한 타이밍도

도 3은 본 발명에 따른 오디오 립 싱크 제어방법을 나타낸 플로우챠트

Claims (3)

1. 오디오 립 싱크(Lip-Sync) 제어방법에 있어서,

   오디오 데이터 초기 입력시 오디오 출력을 뮤트(Mute)시키는 단계;

   PTS(Presentation Time Stamp)를 포함한 오디오 PES(packetized elementary stream)가 입력되면 오디오 디코딩을 시작하는 단계;

   오디오 PTS와 PCR(Program Clock Reference)의 차이가 설정값보다 큰지 판단하는 단계;

   상기 판단결과 PTS와 PCR의 차이가 설정값보다 크면 오디오 디코딩 중지/설정시간 대기/오디오 디코딩 재개를 포함하는 테스크를 진행하는 단계를 포함하는 오디오 립 싱크 제어방법.
2. 제1 항에 있어서,

   상기 판단결과 PTS와 PCR의 차이가 설정값 이내이면 오디오 뮤트를 '오프'시켜 정상적인 오디오 출력이 이루어지도록 하는 단계를 더 포함하는 오디오 립 싱크 제어방법.
3. 제1 항에 있어서,

   상기 판단결과 PTS와 PCR의 차이가 설정값보다 크면 오디오 디코딩 중지/설정시간 대기/오디오 디코딩 재개를 포함하는 테스크를 진행하는 단계에서 설정시간 대기는

   OS(Operating System)의 타임 틱(Time Tick)만큼 대기하는 방법, 일정 시간 변수를 카운트하여 대기하는 방법, CPU의 프로그램 카운터 레지스터의 증감을 체크하면서 일정시간 대기하는 방법, 그리고 오디오 디코더를 중지시킨후 바로 다시 플레이시키는 방법중 적어도 하나에 의해 이루어짐을 특징으로 하는 오디오 립 싱크 제어방법.