KR20060103686A - 오디오/비디오의 립 싱크 방법 - Google Patents

Abstract

본 발명은 A/V 디코딩 시 립 싱크를 맞추기 위해서 사용되는 스킵과 반복의 조정범위를 최소화함으로써 보다 세밀한 조정이 가능한 립 싱크 방법을 제공하기 위한 것으로서, 한 프레임의 디코딩이 끝난 후 샘플 단위로 오디오 출력이 이루어지는 단계와, 상기 오디오 출력시 립 싱크 조정이 필요한 제약 조건에 의해 스킵이 발생하는 경우, 상기 샘플 단위로 스킵하여 립 싱크를 조정하는 단계와, 상기 오디오 출력시 립 싱크 조정이 필요한 제약 조건에 의해 반복이 발생하는 경우, 상기 샘플 단위로 반복하여 립 싱크를 조정하는 단계를 포함하여 이루어지는데 있다.

립 싱크, 스킵, 반복 A/V 디코더

Description

오디오/비디오의 립 싱크 방법{method for audio/video lipsync}

도 1 은 종래 기술에 따른 오디오/비디오의 립 싱크 방법을 나타낸 도면

도 2 는 본 발명에 따른 오디오/비디오의 립 싱크 방법을 나타낸 도면

본 발명은 A/V 디코더에서 립 싱크를 맞추기 위해 사용되는 스킵(skip), 반복(repeat)의 동작의 조정 단위를 좀 더 세밀하게 구현하는 방법에 관한 것이다.

일반적으로 MPEG-1, MPEG-2의 규격에 따른 트랜스포트 스트림으로 전송되는 AC-3 또는 MPEG 오디오 데이터를 디코딩할 때, 비디오 신호와 동기를 맞추기 위하여 오디오 데이터의 패킷화 기본 비트열(Packetized Elementary Streams : PES)의 헤더에 포함되어 있는 PTS(Presentation Time Stamp)와 STC(System Time Clock)의 동기를 일치시켜야 한다.

이를 위해 A/V 디코더에서 립 싱크를 맞추기 위해 주로 사용되고 있는 방법으로는 일정 구간을 삭제하여 립 싱크를 조절하는 스킵(skip) 방법과, 일정 구간을 반복함으로 립 싱크를 조절하는 반복(repeat) 방법이 사용된다.

이와 같은 스킵(skip), 반복(repeat)의 구현 방법은 ATSC에서 사용되는 돌비 (dolby) 디지털의 경우 6개의 블록으로 구성되어 있어서 각 블록별로 스킵이나 반복을 수행한다. 이러한 경우 ATSC에서는 대략 5.2msec(32/6 msec)의 조정단위를 갖는다.

그리고 기타 MPEG 알고리즘의 경우는 프레임 단위로 이루어지는데, 이에 따라 조정단위가 매우 큰 20msec 이상을 갖게 된다.

이와 같이 립 싱크를 맞추기 위해 사용되는 스킵과 반복은 대부분 프레임이나 블록 단위로 이루어진다

도 1 은 종래의 ATSC에서 사용되는 돌비 디지털을 사용할 때 수행되는 스킵과 반복의 동작을 나타낸 것으로, ATSC의 경우에는 1536개의 프레임 샘플을 출력은 32msec의 시간단위로 이루어진다.

도 1(a)과 같이, 일반적인 경우 한 프레임의 디코딩이 끝난 후 오디오 출력이 이루어지게 된다.

이때, 립 싱크 조정이 필요한 제약 조건에 의해 스킵이 발생하는 경우 도 1(b)과 같이, 프레임1(F#1)에서 스킵이 이루어지면 F#0에서 F#2로 디코딩이 진행된다. 이때 출력 또한 32*48개의 샘플이 생략된다.

또한, 립 싱크 조정이 필요한 제약 조건에 의해 반복이 발생하는 경우에는 도 1(c)과 같이, 프레임1(F#1)에서 반복이 발생하면 프레임1(F#1)에 대한 디코딩을 추가로 하거나 혹은 프레임(F#1)에 대한 전체 샘플을 오디오 출력단에서 처리하게 된다.

이와 같이 립 싱크의 제약 조건으로 20msec 정도의 권역을 설정하기 때문에 립 싱크를 맞추기 위해서는 어느 정도 미세한 조정이 가능해야 한다. 그런데 상기와 같이 미세한 조정이 아닌 프레임이나 블록 단위로 조정을 하게 되면 상당히 많은 양의 샘플을 잃게 되어 청취자에게 왜곡된 소리를 발생시킬 수 있게 된다.

따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, A/V 디코딩 시 립 싱크를 맞추기 위해서 사용되는 스킵과 반복의 조정범위를 최소화함으로써 보다 세밀한 조정이 가능한 립 싱크 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적은 스킵이나 반복의 구현으로 잃게 되는 샘플의 수를 최소화하여 왜곡된 소리의 재생을 막을 수 있는 립 싱크 방법을 제공하는데 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 오디오/비디오의 립 싱크 방법의 특징은 한 프레임의 디코딩이 끝난 후 샘플 단위로 오디오 출력이 이루어지는 단계와, 상기 오디오 출력시 립 싱크 조정이 필요한 제약 조건에 의해 스킵이 발생하는 경우, 상기 샘플 단위로 스킵하여 립 싱크를 조정하는 단계와, 상기 오디오 출력시 립 싱크 조정이 필요한 제약 조건에 의해 반복이 발생하는 경우, 상기 샘플 단위로 반복하여 립 싱크를 조정하는 단계를 포함하여 이루어지는데 있다.

바람직하게 상기 샘플 단위는 32비트인 것을 특징으로 한다.

바람직하게 상기 립 싱크 조정이 필요한 제약 조건은 | PTS - STC | < 20 ms 으로, 상기 PTS - STC의 값이 +20 ms보다 큰 경우에는 반복의 구현방법이 이용 되고, -20 ms보다 작은 경우에는 스킵의 구현방법이 이용되는 것을 특징으로 한다.

본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

본 발명에 따른 오디오/비디오의 립 싱크 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다.

도 2 는 본 발명에 따른 오디오/비디오의 립 싱크 방법을 나타낸 도면으로, 설명의 용이함을 위해 종래의 1536개의 프레임 샘플을 출력은 32msec의 시간단위로 이루어지는 ATSC를 실시예로 설명한다.

도 2(a)와 같이, 일반적인 경우 한 프레임의 디코딩이 끝난 후 오디오 출력이 이루어지게 된다.

이때, 1 프레임이 1536개의 샘플을 가지고 있는 ATSC의 경우 32샘플 단위로 48번의 출력을 통해서 1프레임의 샘플을 내보낼 수 있다. 따라서, 이하 수학식 1의 립 싱크 조정이 필요한 제약 조건에 의해 스킵이 발생하는 경우 도 2(b)와 같이, 48번의 출력에서 원하는 단위만큼 32샘플단위를 1개씩 줄여 나가면 된다.

또한, 이하 수학식 1의 립 싱크 조정이 필요한 제약 조건에 의해 반복이 발생하는 경우에는 도 2(c)와 같이, 48번의 출력에서 1개씩 마지막 32샘플 단위를 더해나가거나 총 반복의 개수만큼 앞으로 이동하여 반복하여 내보내게 된다.

이와 같이 프레임이나 블록단위의 스킵이나 반복은 실제 오디오 입장에서 보면 상당히 큰 단위이다.

상기 립 싱크 조정이 필요한 제약 조건은 다음의 수학식 1의 조건에 해당되 는 경우이다.

| PTS - STC | < 20 ms

이 경우, 상기 PTS - STC의 값이 +20 ms보다 큰 경우에는 반복의 구현방법이 이용되고, -20 ms보다 작은 경우에는 스킵의 구현방법이 이용된다.

이때, 상기 립 싱크의 제약 조건인 20 ms는 A/V 디코더에 구현된 값에 따라 다르게 설정할 수 있으며, 보통의 경우 립 싱크의 제약 조건으로 20msec 정도의 권역을 설정하게 된다.

이와 같이, 스킵이나 반복이 발생하는 경우 32개 단위의 샘플을 오디오 출력단에서 조절함으로써, 1 프레임이 1536개의 샘플을 가지고 있는 ATSC의 경우 32샘플 단위로 48번의 출력을 통해서 1프레임의 샘플을 내보낼 수 있다.

이에 따라 스킵이나 반복의 구현이 이러한 샘플 단위로 구현되어 미세한 조정이 가능하게 되다. 즉, 오디오 출력단에서 사용되는 최소 샘플의 개수를 32개로 설정함으로써, 이 샘플 개수가 결국 최종 조정 단위가 되고 대략 0.67msec 값을 갖게 된다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.

따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

이상에서 설명한 바와 같은 본 발명에 따른 오디오/비디오의 립 싱크 방법은 미세조정이 가능한 샘플단위의 스킵과 반복의 구조를 취함으로써, 립 싱크를 보다 정확하게 구현할 수 있으며, 샘플단위로 처리함으로써 스킵이나 반복을 동작시킬 때 발생될 수 있는 음의 왜곡 현상을 줄일 수 있다.

또한 별도의 버퍼나 기타 하드웨어 기능을 추가하지 않고 출력단에서의 출력개수를 줄이고 늘리는 간단한 구조를 갖고 있기 때문에 하드웨어나 DSP와 같은 프로그래머블 한 시스템에서 쉽게 구현이 가능하다.

Claims (5)

1. 한 프레임의 디코딩이 끝난 후 샘플 단위로 오디오 출력이 이루어지는 단계와,

   상기 오디오 출력시 립 싱크 조정이 필요한 제약 조건에 의해 스킵이 발생하는 경우, 상기 샘플 단위로 스킵하여 립 싱크를 조정하는 단계와,

   상기 오디오 출력시 립 싱크 조정이 필요한 제약 조건에 의해 반복이 발생하는 경우, 상기 샘플 단위로 반복하여 립 싱크를 조정하는 단계를 포함하여 이루어지는 것을 특징으로 하는 오디오/비디오의 립 싱크 방법.
2. 제 1 항에 있어서,

   상기 샘플 단위는 32비트인 것을 특징으로 하는 오디오/비디오의 립 싱크 방법.
3. 제 1 항에 있어서,

   상기 립 싱크 조정이 필요한 제약 조건은

   | PTS - STC | < 설정값으로,

   상기 PTS - STC의 값이 양(+)의 설정값보다 큰 경우에는 반복의 구현방법이 이용되고, 음(1)의 설정값보다 작은 경우에는 스킵의 구현방법이 이용되는 것을 특징으로 하는 오디오/비디오의 립 싱크 방법.
4. 제 1 항에 있어서,

   상기 설정값은 20ms 인 것을 특징으로 하는 오디오/비디오의 립 싱크 방법.
5. 제 1 항에 있어서,

   상기 최종 조정 단위는 0.67msec 값을 갖는 것을 특징으로 하는 오디오/비디오 립 싱크 방법.

Images