KR20030082117A - 디지털 방송 수신기에서의 오디오/비디오 립 싱크 제어 방법 - Google Patents

Abstract

디지털 방송 수신기에서 오디오/비디오 신호의 립 싱크를 제어하는 A/V 립 싱크 제어 방법에 관한 것으로서, 비디오와 오디오 립 싱크 과정을 각각 독립적으로 수행한 후 VDP에서의 지연 시간에 대한 비디오 지터값을 오디오 립 싱크에 적용하여 다시 한번 오디오 립 싱크 과정을 수행함으로써, 비디오 신호와 오디오 신호를 각각 STC에 동기시킬 때 발생될 수 있는 화면이 깨지는 현상을 방지할 수 있다. 또한, A/V 립 싱크를 위해 별도의 하드웨어를 사용하지 않으므로 시스템의 복잡성을 피할 수 있다.

Description

디지털 방송 수신기에서의 오디오/비디오 립 싱크 제어 방법{Method for audio/video signal lip-sync controlling in digital broadcasting receiver}

본 발명은 디지털 방송 수신기에 관한 것으로서, 특히 오디오/비디오 신호의 립 싱크(Lip sync)를 제어하는 립 싱크 제어 방법에 관한 것이다.

일반적으로 멀티미디어를 지원해주는 핵심 요소로는 디지털화와 더불어 화상 압축 기술이 있다. 상기 화상 압축 기술 중 MPEG(Moving Pictures Expert Group)-2는 멀티미디어 환경에 가장 핵심 기술인 디지털 동영상의 압축 부호화를 위한 국제적인 표준안이다.

이러한 MPEG-2를 채용한 디지털 방송 수신 시스템은 도 1에 도시된 바와 같이, 오디오/비디오(Audio/Video ; A/V) 다중(Multiplexed) 비트스트림이 입력되면 트랜스포트 역다중화부(101)에서 다중화(Multiplexed)되어 있는 오디오와 비디오 비트스트림을 각각 분리한다. 상기 분리된 비디오 비트스트림과 오디오 비트스트림은 디코딩을 위해 각각 비디오 디코더(102)와 오디오 디코더(104)로 출력된다. 여기서, 상기 비디오 비트스트림과 오디오 비트스트림은 패킷화된 요소 스트림(packetized elementary stream ; PES)이다.

상기 비디오 디코더(102)는 입력되는 비디오 비트스트림에서 오버헤드(각종 헤더 정보, 스타트 코드등)를 제거하고, 순수한 데이터 정보를 가변 길이 디코딩(Variable Length Decoding ; VLD)한 후 역양자화 과정, 역 이산 코사인 변환(IDCT) 과정을 거쳐 원래 화면의 픽셀 값을 복원하고, 비디오 디스플레이 처리부(Video Display processor ; VDP)(103)는 이를 디스플레이 포맷에 맞게 변환하여 디스플레이 장치등에 출력한다.

상기 오디오 디코더(104)는 MPEG 알고리즘 또는 오디오 코딩(AC)-3 알고리즘등을 이용하여 입력되는 오디오 비트스트림을 원래의 신호로 복원한 후 이를 아날로그 형태로 변환하여 스피커등으로 출력한다.

또한, 시스템 디코더(105)는 상기 TP 역다중화부(101)의 출력으로부터 STC(System Time Clock)를 복구하여 비디오 디코더(102)와 오디오 디코더(104)로 출력한다. 그러면, 상기 비디오 디코더(102)는 복구된 STC에 동기시켜 비디오 디코딩을 수행하고, 오디오 디코더(104)는 복구된 STC에 동기시켜 오디오 디코딩을 수행한다.

이러한 디지털 방송 수신기는 다중화된 디지털 신호를 사용하기 때문에 기존의 아날로그 시스템과는 달리 비디오와 오디오 신호의 동기를 맞추어 주는 별도의 A/V 립 싱크(Lip-Synchronization) 장치나 방법이 필요하다.

상기 A/V 립 싱크는 비디오, 오디오의 복호 재생 단위마다 주어지는 타임 스탬프(time stamp)라는 정보를 통해 구현된다. 타임 스탬프는 재생 출력 시간인 PTS(Presentation Time Stamp)와 복호 시간인 DTS(Decoding Time Stamp)로 이루어지는데 오디오의 경우 DTS는 사용되지 않는다. 이러한 타임 스탬프는 PES의 헤더에 위치하는데, PES 내에 ES(elementary stream)의 첫 부분이 포함될 경우에만 존재한다.

여기서, 상기 DTS는 각 픽쳐를 언제 디코딩할 것인지를 상기 STC를 기준으로 나타내는 디코딩 타임 스탬프이고, PTS는 복원된 데이터를 언제 디스플레이할 것인지를 상기 STC를 기준으로 나타내는 표시 타임 스탬프이다. 상기 STC는 엔코더와 록킹된 전체적인 클럭으로서, 엔코더와 디코더가 똑같은 STC를 갖고 있으며, 또한 상기 엔코더는 비디오 신호가 내부적으로 딜레이를 갖고 있기 때문에 A/V 립 싱크와 정상적인 비디오 디코딩을 위해서 STC를 기준으로 DTS와 PTS를 발생하여 함께전송한다.

통상, 비디오와 오디오는 별도의 립 싱크 과정을 수행하게 되고, 최종적으로 비디오와 오디오를 맞추는 시스템이 주를 이룬다.

도 2는 일반적인 PTS와 STC 관계에 따른 립 싱크 방식을 보여주는 도면으로서, 이론적으로는 STC와 PTS의 값이 동일할 때 A/V 데이터를 출력한다.

하지만 실제 적용에 있어서는 시간적인 차이가 존재하므로, PTS와 STC가 기설정된 범위(Range)를 만족하면 A/V 데이터를 출력하게 한다.

즉, 도 2와 같이 PTS와 STC 관계에 따라 4가지 상황(A,B,C,D)이 발생한다.

예컨대, (B)와 (C)의 경우처럼 STC를 기준으로 PTS가 기 설정된 특정 범위 내에 있으면 A/V 립 싱크가 맞는다고 판단하고 정상적인 디코딩을 수행하여 A/V 데이터를 출력시킨다. 하지만, (A)나 (D)의 경우처럼 STC를 기준으로 PTS가 기 설정된 특정 범위(range)를 벗어나면 디코딩을 스킵하던지, 반복이나 기다림을 통해 A/V 립 싱크를 맞춘다. 이때, (A)의 경우는 PTS 값이 STC보다 빠른 경우이므로 STC 값에 맞는 PTS를 포함한 디코딩 단위를 맞추기 위해서 현재 프레임(또는 픽쳐)의 디코딩을 수행하지 않고 다음 디코딩 단위로 바로 이동하는 스킵을 수행하고, (D)의 경우는 (A)와 반대인 경우로서, PTS 값이 STC보다 늦는 경우이므로 디코딩 단위를 반복(Repeat)하거나 기다리게(Wait) 해서 A/V 립 싱크를 맞추게 한다.

상기된 도 1의 디지털 방송 수신기에서 VDP(103)는 영상을 단순히 보여주는 것 외에도 다양한 영상 처리를 통해 하나의 영상을 여러 형태의 영상으로 변환하는처리를 수행하기도 한다. 이로 인해, 상기 VDP(103)에서 시간 지연이 생기고 이러한 시간 지연에 의해 비디오 자체적인 동기 문제가 발생할 수 있으며, 이러한 경우 오디오와 비디오 간의 립 싱크가 맞지 않는 문제가 발생하게 된다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 비디오 자체의 동기 지터(Jitter) 값을 고려하여 오디오에서 립 싱크 과정을 다시 수행함으로써, A/V 립 싱크를 정확하게 맞추는 디지털 방송 수신기의 A/V 립 싱크 제어 방법을 제공함에 있다.

도 1은 일반적인 디지털 방송 수신 시스템의 구성 블록도

도 2는 PTS와 STC 관계에 따른 립 싱크 방식을 보인 도면

도 3의 (a) 내지 (e)는 본 발명에 따른 A/V 립 싱크 제어 방법을 수행하기 위한 타이밍도로서,

(a)는 비디오 디스플레이 클럭

(b)의 PTSv는 비디오의 PTS

(c)의 STCv는 비디오의 STC

(d)의 STCa는 오디오의 STC

(e)의 PTSa는 오디오의 PTS

도 4는 본 발명에 따른 A/V 립 싱크 제어 방법을 수행하기 위한 흐름도

상기와 같은 목적을 달성하기 위한 본 발명에 따른 디지털 방송 수신기의 오디오/비디오 립 싱크 제어 방법은, VDP에서의 지연 시간에 따른 디코딩 시간 조절로 발생하는 비디오 지터를 적용하여 비디오 신호의 립 싱크를 수행하는 비디오 립 싱크 단계와, 상기 오디오 신호가 실제로 디코딩되어야 하는 시간과 상기 오디오 신호가 실제로 디코딩되는 시간과의 차를 구한 후 상기 차 값이 기 설정된 범위 내에 있지 않으면 오디오 신호의 디코딩을 스킵 또는 반복하여 기 설정된 범위 내에 오도록 상기 오디오 디코더를 제어하는 제 1 오디오 립 싱크 단계와, 상기 제 1 오디오 립 싱크 단계에서 오디오 신호의 차 값이 기 설정된 범위 내에 있으면 상기 VDP에서의 지연 시간에 따른 디코딩 시간 조절로 발생하는 비디오 지터를 적용하여 오디오 신호의 립 싱크를 다시 수행하는 제 2 오디오 립 싱크 단계를 포함하여 이루어지는 것을 특징으로 한다.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의상세한 설명을 통해 명백해질 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하며, 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.

본 발명은 먼저, 비디오와 오디오 신호에 대해 별도의 립 싱크 과정을 수행한 후 오디오 신호에 대해 다시 한번 상기 비디오 신호의 지터를 적용하여 립 싱크 과정을 수행하는데 있다.

이를 위해 먼저 비디오 립 싱크 과정을 설명한다. 즉, 도 3의 (c)와 같은 비디오 신호가 디코딩되어 출력되는 시점의 비디오 STCv와 도 3의 (b)와 같은 송신측에서 비디오 신호가 부호화될 때 삽입된 비디오 PTSv와의 차이(Vj)를 하기의 수학식 1과 같이 구한다.

Vj = PTSv - STCv

상기 수학식 1에서 비디오 신호가 디코딩되어 출력되는 시점(STCv)은 디코딩된 비디오 신호를 디스플레이 장치로 내보내주는 역할을 하는 VDP(103)에서 비디오 디코더(102)와 동기를 맞추기 위해 내보내주는 비디오 디스플레이 클럭으로 알 수 있다. 예컨대, 상기 비디오 STCv는 VDP(103)에서 발생시키는 비디오 디스플레이 클럭이 발생하는 순간에 복구된 STC이다. 즉, 상기 비디오 STCv은 비디오 신호가 실제로 디코딩되는 시간을 의미하고, 비디오 PTSv는 비디오 신호가 실제로 디코딩되어야 하는 시간을 의미하며, 상기 수학식 1은 상기 두 시간의 차값을 구하는 것이다. 그리고, 비디오 디코더(102)는 이 차 값이 기 설정된 범위 내에 있으면 정상적으로 디코딩을 수행하고, 기 설정된 범위를 벗어나면 스킵이나 반복을 수행하여 비디오 립 싱크를 맞춘다. 즉, Vj가 기 설정된 범위 내에 오도록 제어한다.

이때, 상기 VDP(103)는 비디오 디코딩 이후의 후처리 작업인 비디오 디스플레이 포맷 변환등으로 인한 시간 지연을 고려하여 비디오 디코더(102)의 디코딩 시간을 조정한다.

도 3의 (a)는 상기 VDP(103)에서 STC값을 STCov만큼 변화시켜 비디오 디코더(102)의 비디오 디코딩 시간을 조정하는 예를 보이고 있다. 여기서, 상기 STCov는 비디오 디코더(103)가 디코딩 시간을 조절하여 발생하는 비디오 디코딩 시간의 변화로서, 이후 비디오 지터값이라 칭한다. 즉, 상기 비디오 디코더(102)는 STCov만큼 빨리 비디오 디코딩 과정을 수행한다.

그러므로, 비디오의 STC는 STCv+STCov가 되고, 상기된 도 1의 비디오 립 싱크 식은 하기의 수학식 2와 같이 된다.

Vj = PTSv - (STCv + STCov)

이때, 상기 PTSv와 (STCv+STCov)와의 차 값 즉, Vj 값이 기 설정된 범위 내에 있지 않으면 비디오 디코더(102)가 스킵, 반복 등을 수행하도록 제어하여 Vj 값이 기 설정된 범위 내에 있도록 한다.

한편, 오디오 신호의 립 싱크를 위해 도 3의 (d)와 같이 오디오 신호가 디코딩되어 출력되는 시점의 오디오 STCa과 도 3의 (e)와 같이 송신측에서 오디오 신호가 부호화될 때 삽입된 오디오 PTSa와의 차이(Aj1)를 하기의 수학식 3과 같이 구한다.

Aj1 = PTSa - STCa

이때, 상기 수학식 3에서 오디오 PTSa는 실제로 오디오 신호가 디코딩되어야 하는 시간을 나타내며, 이 값은 오디오 디코더가 만들어내는 인터럽트를 받아 해당하는 레지스터를 읽어옴으로써, 구할 수 있다. 즉, 상기된 수학식 3은 오디오 신호가 실제로 디코딩되는 시간(STCa)과 오디오 신호가 실제로 디코딩되어야 하는 시간(PTSa)의 차값을 구하는 것이다.

그리고, 상기 PTSa와 STCa와의 차 값 즉, Aj1 값이 기 설정된 범위 내에 있지 않으면 오디오 디코더(104)가 스킵, 반복 등을 수행하도록 제어하여 Aj1 값이 기 설정된 범위 내에 있도록 한다.

이와 같이 먼저, 비디오와 오디오에서 자체적으로 립 싱크 기준을 만족시킨다. 즉, 기준 시간에 동기시켜 자체적으로 비디오와 오디오 립 싱크를 맞춘다.

이는 시스템 기준 시간인 STC를 사용하고 있는 지를 점검하는 것이다.

그리고 나서, 오디오에서 비디오 지터(STCov)를 적용하여 다시 립 싱크를 수행한다. 즉, 비디오에서는 VDP(103)에서의 시간 지연(STCov)을 적용하여 립 싱크를 수행하였는데, 오디오에서 적용이 안되면 오디오와 비디오간의 립 싱크 문제가 발생하기 때문이다.

따라서, 오디오의 경우 하기의 수학식 4와 같이 다시 한번 립 싱크 과정을 수행한다.

Aj2 = PTSa - (STCa + STCov)

상기된 수학식 4에 의해 Aj2가 구해지면 다시 상기 PTSa와 (STCa+STCov)와의 차 값 즉, Aj2 값이 기 설정된 범위 내에 있는지를 체크하여, 있지 않으면 오디오 디코더(104)가 스킵, 반복 등을 수행하도록 제어하여 Aj2 값이 기 설정된 범위 내에 있도록 한다.

도 4는 립 싱크를 수행하기 위한 본 발명의 동작 흐름도로서, 비디오 립 싱크와 오디오 립 싱크는 각각 독립적으로 상기된 흐름도에 따라 동작한다.

예를 들어, 오디오의 경우 디코딩이 시작되면(단계 401), CRC(Cyclic Redundancy Check)에러를 체크하고 나서(단계 402), 에러가 없다면 수학식 3을 적용하여 Aj1을 구한다. 그리고 상태를 결정한다(단계 403). 즉, 현재 프레임을 스킵할 것인지, 반복할 것인지, 정상적인 디코딩을 수행할 것인지를 결정한다.

만일, 상기 Aj1 값이 기 설정된 범위 내 즉, 정상이라면 현재 프레임을 디코딩한 후(단계 404), 다음 프레임 디코딩을 위해 단계 401로 리턴한다. 만일 반복이라면 현재 프레임을 디코딩한 후(단계 404), 디코딩한 프레임을 반복하면서 상태 결정을 위해 상기 단계 403로 리턴한다(단계 405). 또한, 상기 단계 403에서 스킵이라면 현재 프레임의 디코딩은 수행하지 않고(단계 406), 다음 디코딩을 준비한 후 상기 단계 401로 리턴한다(단계 407).

상기된 과정에 의해 Aj1 값이 기 설정된 범위 내에 있게 되면 오디오의 경우 상기된 도 4를 적용하여 다시 한번 립 싱크를 수행한다. 즉, 수학식 4를 적용하여 Aj2를 구한 후 현재 프레임을 스킵할 것인지, 반복할 것인지, 정상적인 디코딩을 수행할 것인지를 결정한다. 상기된 Aj2값이 기 설정된 범위 내에 있으면 스킵이나 반복을 수행하여 상기 Aj2값이 기 설정된 범위 내에 오도록 한다.

한편, 상기 TP 역다중화부(101)에서 출력되는 PES로부터 PTS 값을 얻으므로 실제 디코딩 단위에서의 PTS 값을 맞추어야 하는 것이 필수적이다. 이를 위해서 본 발명에서는 STC와 PTS가 다소 차이가 나는 비디오의 경우는 PTS 값을 ES 데이터 헤더의 맨 앞에 위치시킨다. 즉, 비디오는 디코딩 시간이 길므로 PTS와 STC 차가 많이 발생할 수 있기 때문이다. 하지만 오디오의 경우는 STC와 PTS의 간격 차이가 매우 좁기 때문에 실제 들어오는 PES마다 시간 지연없이 바로 디코딩할 수 있도록 구성하여 PTS값을 실제 디코딩 단위에 맞춘다.

이상에서와 같이 본 발명에 따른 디지털 방송 수신기의 A/V 립 싱크 제어 방법에 의하면, 비디오와 오디오 립 싱크 과정을 각각 독립적으로 수행한 후 VDP에서의 지연 시간에 대한 비디오 지터값을 오디오 립 싱크에 적용하여 다시 한번 오디오 립 싱크 과정을 수행함으로써, 비디오 신호와 오디오 신호를 각각 STC에 동기시킬 때 발생될 수 있는 화면이 깨지는 현상을 방지할 수 있다. 또한, 비디오 PTS 값을 효율적으로 관리함으로써, A/V 립 싱크를 더욱 정확하게 맞출 수 있다. 특히, A/V 립 싱크를 위해 별도의 하드웨어를 사용하지 않으므로 시스템의 복잡성을 피할수 있다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.

따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

Claims (4)

1. 입력되는 비디오 스트림을 디코딩하는 비디오 디코더, 상기 비디오 디코딩된 신호에 대해 디스플레이를 위한 처리를 수행하는 비디오 디스플레이 프로세서(VDP), 입력되는 오디오 스트림을 디코딩하는 오디오 디코더를 포함하는 디지털 방송 수신기에서의 오디오/비디오 립 싱크 제어 방법에 있어서,

   상기 VDP에서의 지연 시간에 따른 디코딩 시간 조절로 발생하는 비디오 지터(STCov)를 적용하여 비디오 신호의 립 싱크를 수행하는 비디오 립 싱크 단계;

   상기 오디오 신호가 실제로 디코딩되어야 하는 시간(PTSa)과 상기 오디오 신호가 실제로 디코딩되는 시간(STCa)과의 차(Aj1)를 구한 후 상기 차 값(Aj1)이 기 설정된 범위 내에 있지 않으면 오디오 신호의 디코딩을 스킵 또는 반복하여 기 설정된 범위 내에 오도록 상기 오디오 디코더를 제어하는 제 1 오디오 립 싱크 단계; 그리고

   상기 제 1 오디오 립 싱크 단계에서 오디오 신호의 차 값(Aj1)이 기 설정된 범위 내에 있으면 상기 VDP에서의 지연 시간에 따른 디코딩 시간 조절로 발생하는 비디오 지터(STCov)를 적용하여 오디오 신호의 립 싱크를 다시 수행하는 제 2 오디오 립 싱크 단계를 포함하여 이루어지는 것을 특징으로 하는 디지털 방송 수신기에서의 A/V 립 싱크 제어 방법.
2. 제 1 항에 있어서, 상기 비디오 립 싱크 단계는

   상기 비디오 신호가 실제로 디코딩되어야 하는 시간(PTCv)과, 상기 VDP에서의 지연 시간에 따른 디코딩 시간 조절로 발생하는 비디오 지터(STCov)와 상기 비디오 신호가 실제 디코딩되는 시간의 합과의 차(Vj=PTSv-(STCv+STCov))를 구한 후 상기 차 값(Vj)이 기 설정된 범위 내에 있지 않으면 비디오 신호의 디코딩을 스킵또는 반복하여 기 설정된 범위 내에 오도록 상기 비디오 디코더를 제어하는 것을 특징으로 하는 디지털 방송 수신기에서의 A/V 립 싱크 제어 방법.
3. 제 1 항에 있어서, 상기 제 2 오디오 립 싱크 단계는

   상기 오디오 신호가 실제로 디코딩되어야 하는 시간(PTSa)과, 상기 VDP에서의 지연 시간에 따른 디코딩 시간 조절로 발생하는 비디오 지터(STCov)와 상기 오디오 신호가 실제 디코딩되는 시간의 합과의 차(Aj2=PTSa-(STCa+STCov))를 구한 후 상기 차 값(Aj2)이 기 설정된 범위 내에 있지 않으면 오디오 신호의 디코딩을 스킵또는 반복하여 기 설정된 범위 내에 오도록 상기 오디오 디코더를 제어하는 것을 특징으로 하는 디지털 방송 수신기에서의 A/V 립 싱크 제어 방법.
4. 제 1 항에 있어서,

   비디오 PTS 값(PTSv)은 요소 스트림 데이터 헤더의 맨 앞에 위치시켜 송신측에서 전송되는 단계를 더 포함하는 것을 특징으로 하는 디지털 방송 수신기에서의 A/V 립 싱크 제어 방법.