KR20070056547A - 신호의 처리방법 및 장치 - Google Patents

Abstract

본 발명은 수신된 신호를 효율적으로 처리하기 위한 방법과 장치에 관한 것으로 특히, 본 발명은 (a) 샘플링 주파수에 따른 증가 단위로 기준시각을 증가시키는 단계와, (b) 상기 기준시각의 증가 회수가 보정 회수에 해당하면, 상기 기준시각을 상기 샘플링 주파수에 따른 보정 값으로 보정하는 단계와, (c) 상기 보정된 기준시각을 이용하여 동기화를 수행하는 단계를 포함하여 이루어지는 것을 특징으로 하는 신호의 처리방법을 제공한다.

따라서, 본 발명에 의하면, 다양한 샘플링 주파수의 오디오 신호에 대응하여 디코더의 립싱크를 제어하여 오차를 줄여 오디오 신호를 효율적으로 디코딩하는 것이 가능하며, 오디오 신호의 기준시각이 정수 값으로 증가하지 않는 경우에도 별도의 인코딩 정보 없이 디코더 자체적으로 타임 정보를 보정하여, 립싱크를 정확히 맞추어 신호를 효율적으로 처리하는 것이 가능하다.

오디오 신호, 디코딩, 보정 값, 샘플링 주파수, 동기

Description

신호의 처리방법 및 장치{Method and apparatus for processing signal}

도 1은 본 발명에 따른 디코더의 일실시 예를 나타낸 도면

도 2는 본 발명에 따른 디코더의 다른 실시 예를 나타낸 도면

도 3은 본 발명에 따른 인터럽트와 기준시각 관계의 일실시 예를 설명하기 위한 도면

도 4는 본 발명에 따른 신호처리 장치의 일실시 예를 나타낸 도면

도 5는 본 발명에 따른 샘플링 주파수에 대한 인터럽트의 생성주기와 기준시각 증가 값의 관계를 설명하기 위한 도면

도 6은 본 발명에 따른 기준시각 증가 값이 정수 값이 아닌 경우의 샘플링 주파수에 따른 보정 값의 일실시 예를 나타낸 도면

도 7은 본 발명에 따른 신호처리 장치의 다른 실시 예를 설명하기 위한 도면

도 8은 본 발명에 따른 신호처리 방법의 일실시 예를 설명하기 위한 흐름도

*도면의 주요부분에 대한 부호의 설명

100, 200 : TS 역 다중화부 110 : 오디오 디패킷타이저/디코더

120 : 비디오 디패킷타이저/디코더 130 : 시스템 디코더

140, 224 : 비디오 디스플레이 프로세서

211, 221, 231 : PES 디패킷타이저 212, 222, 232 : SL 디패킷타이저

213 : 오디오 디코더 223 : 비디오 디코더

400 : 오디오 디코더 410 : 외부 메모리

420 : PCM 버퍼 430 : DA 컨버터

710 : 기준시각 증가부 720 : 기준시각 보정부

730 : 디코딩부 740 : 출력부

본 발명은 오디오 신호의 처리에 관한 것으로, 보다 상세하게는 수신된 오디오 신호를 디코딩하고 출력하는 방법과 장치에 관한 것이다.

표준화 기구인 ISO/IEC 협의회에서는 디지털 시스템, 디지털 비디오, 디지털 오디오에 대한 표준으로서 1992년에 MPEG 1, 1994년에 MPEG 2 표준을 발표하였고 1997년에 MPEG 2-AAC(Advanced Audio Coding) 표준을 발표하였다. 그리고 1999년 이래로 MPEG 4 표준화 작업을 진행해 오고 있다.

디지털 비디오, 디지털 오디오에 대한 표준은 각각의 신호에 대한 압축 및 복원에 대한 규격이며 디지털 시스템에 대한 표준은 압축된 비디오와 오디오 각각을 일정한 크기의 패킷으로 분할한 후 타이밍 정보, 스트림 관련 정보 등을 추가하여 다중화하여 전송하고, 그 반대로 역 다중화 과정을 통해 타이밍 정보, 스트림 관련 정보 등을 얻어내고, 또한 압축된 비디오와 오디오를 각각 분리해 내는데 필요한 규격이다.

아날로그 방송의 경우에는 비디오 신호와 함께 오디오 신호가 같은 채널에 실려 전송되므로 Audio/Video(A/V) 출력 동기를 맞추는 립싱크(Lip-synchronization)에 큰 어려움이 없었으나, 디지털 방송의 경우에는 비디오 신호와 오디오 신호가 별도의 채널로 분리되어 디코딩되므로 A/V 공통의 기준시각 정보와 A/V 각각의 출력시각 정보가 필요하며, 이 정보들의 관계에 의해 출력 시점을 결정하는 보다 복잡한 립싱크 제어 방법이 요구된다.

그러나, 상기와 같이 송신부에서 송신하여 수신부에서 수신한 전송 스트림에서 신호를 처리하기 위한 바람직한 방법 등이 제시된 바 없어, 신호를 처리하는 장치를 개발함에 있어서 문제점이 있었다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 수신된 신호를 효율적으로 처리하기 위한 방법과 장치를 제공하는 것이다.

상기 목적을 달성하기 위하여, 본 발명은 (a) 샘플링 주파수에 따른 증가 단위로 기준시각을 증가시키는 단계와, (b) 상기 기준시각의 증가 회수가 보정 회수에 해당하면, 상기 기준시각을 상기 샘플링 주파수에 따른 보정 값으로 보정하는 단계와, (c) 상기 보정된 기준시각을 이용하여 동기화를 수행하는 단계를 포함하여 이루어지는 것을 특징으로 하는 신호의 처리방법을 제공한다.

그리고, 상기 (a) 단계는, 상기 기준시각의 보정이 필요한 샘플링 주파수인 경우에 수행되는 것을 특징으로 한다.

또한, 본 발명은 샘플링 주파수에 따른 증가 단위로 기준시각을 증가시키는 기준시각 증가부와, 상기 기준시각의 증가 회수가 보정 회수에 해당하면, 상기 기준시각을 상기 샘플링 주파수에 따른 보정 값으로 보정하는 기준시각 보정부와, 상기 보정된 기준시각을 이용하여 동기화를 수행하는 디코딩부를 포함하여 이루어지는 것을 특징으로 하는 신호의 처리장치를 제공한다.

따라서, 본 발명에 의하면, 다양한 샘플링 주파수의 오디오 신호에 대응하여 디코더의 립싱크를 제어하여 오차를 줄여 오디오 신호를 효율적으로 디코딩하는 것이 가능하며, 오디오 신호의 기준시각이 정수 값으로 증가하지 않는 경우에도 별도의 인코딩 정보 없이 디코더 자체적으로 시각 정보를 보정하여 립싱크를 정확히 맞추어 오디오 신호를 효율적으로 디코딩하는 것이 가능하다.

이하 상기의 목적으로 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다.

아울러, 본 발명에서 사용되는 용어는 가능한 한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우는 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야함을 밝혀두고자 한다.

관련하여, 본 발명에서 "시각 정보"란 신호를 처리하기 위해서 필요한 시각에 대한 정보를 의미하며, 프레임시각과 기준시각 등이 시각 정보에 해당한다.

관련하여, 본 발명에서 "기준시각"이란 동기화를 수행하기 위한 기준이 되는 시각 정보를 의미하며, 상기 기준시각을 이용하여 디코딩된 오디오 또는 비디오 신호는 동기화되어 출력된다.

여기서, 수신한 비트 스트림에 포함된 기준시각을 "기본 기준시각"이라 명명하며, 상기 기본 기준시각의 전송주기가 특정 주기(예를 들어, 최대 700ms 주기)인 경우, 먼저 수신된 기본 기준시각을 "제1 기본 기준시각"이라 명명하고, 상기 제1 기본 기준시각 다음에 수신된 기본 기준시각을 "제2 기본 기준시각"이라 명명한다.

이때, 전송주기인 특정 주기가 길어 디코더에서 각 주기의 중간 값들을 예측해서 기준시각으로 사용하고자 하는바, 기준시각은 일정한 증가 단위를 가지고 증가하는 것을 감안하여 이전에 수신한 기본 기준시각(제1 기본 기준시각)에 특정 증가 단위의 증가 값을 더한 새로운 기준시각을 "예측 기준시각"이라 명명하여 사용한다.

즉, 기준시각은 수신한 비트 스트림에 포함된 기본 기준시각과 상기 기본 기준시각 사이의 시각 정보에 대응하는 예측 기준기각을 포함한다.

또한, 예측 기준시각을 특정 증가 단위인 소정의 증가 값으로 증가하는 경우, 특히 증가 값이 정수가 아닌 경우에 상기 증가 값을 반올림한 정수의 증가 값을 증가 단위로 하는 경우에 기준시각의 오차가 발생하는바, 이때 상기 기준시각의 오차를 수정하기 위해서, 특정 증가 회수 후에 보정 값을 보정하여 기준시각을 보정하는데, 상기 보정 값이 정수가 되는 최소 증가 회수를 보정 회수라 명명하여 사용한다.

관련하여, 예를 들어, 상기 기본 기준시각은 프로그램 클럭 레퍼런스 (Program Clock Reference:PCR, 이하 'PCR'이라 한다.)와, 오브젝트 클럭 레퍼런스(Object Clock Reference:OCR, 이하 'OCR'라 한다.) 등이 있으며, 예측 기준시각은 오브젝트 타임 클럭(Object Time Clock:OTC, 이하 'OTC'라 한다.)이 있으나, 본 발명은 상기 명칭에 제한되지 않으며, 용어가 다른 경우에도 적용가능함은 자명함을 밝혀둔다.

관련하여, 본 발명에서 "출력 동기 정보"는 비디오 신호와 오디오 신호의 동기를 맞추기 위해 비디오, 오디오 재생시마다 주어지는 시간 정보를 의미하는바, 예를 들어, 상기 출력 동기 정보로는 프리젠테이션 타임 스탬프(Presentation Time Stamp:PTS, 이하 'PTS'라 한다.)와, 콤포넌트 타임 스탬프(Component Time Stamp:CTS, 이하 'CTS'라 한다.)를 사용하나, 본 발명이 이에 한정되지 않음은 자명하다.

관련하여, 본 발명에서 "시스템 시각 정보"는 비디오/오디오 신호의 재생을 위한 시스템을 시각 정보를 의미하는바, 예를 들어, 상기 시스템 시각 정보로는 시스템 타임 클럭(System Time Clock:STC, 이하 'STC'라 한다.)를 사용하나, 본 발명이 이에 한정되지 않음은 자명하다.

도 1은 본 발명에 따른 디코더의 일실시 예를 나타낸 도면으로, 특히 MPEG 2 표준에서의 디코더를 예를 들어 설명하기 위한 도면이다.

먼저, MPEG 1 또는 MPEG 2 표준에서는 PTS(Presentation Time Stamp)와 STC(System Time Clock)의 차이 값을 기준으로 비디오 신호와 오디오 신호의 동기를 맞추는 일종인 립싱크를 맞추게 된다.

도 1을 참조하면, MPEG 1 또는 MPEG 2를 채용한 디지털 방송수신기인 디코더는 TS 역 다중화부(TS Demultiplexer:100)와, 오디오 디패킷타이저/디코더(Audio Depacketizer/Decoder:110)와, 비디오 디패킷타이저/디코더(Video Depacketizer/Decoder: 120)와, 시스템 디코더(System Decoder:130)와 비디오 디스플레이 프로세서(Video Display Processor:140)를 포함하여 구성되는 것이 바람직하다.

오디오/비디오 다중화된 비트 스트림이 디코더로 입력되면, TS 역 다중화부(100)에서 오디오 정보와 비디오 정보를 분리하며, 이렇게 분리된 비디오 정보와 오디오 정보는 디코딩을 위해 각기 오디오 디패킷타이저/디코더(110) 비디오 디패킷타이저/디코더(120)로 입력되는데, 통상적으로는 도 1에 도시된 바와 같이, PES(Packetized Elementary Stream: 이하 'PES'라 한다.) 형태로 각기 입력된다.

TS 역 다중화부(100)로부터 오디오 정보를 수신한 오디오 디패킷타이저/디코더(110)는 MPEG 알고리즘 또는 오디오 코딩(AC)-3 알고리즘 등을 이용하여 입력되는 오디오 비트 스트림을 원래의 신호로 복원한 후 이를 아날로그 형태로 변환하여 스피커 등으로 출력한다.

그리고, TS 역 다중화부(100)로부터 비디오 정보를 수신한 비디오 디패킷타이저/디코더(120)는 입력되는 PES 형태의 비디오 정보로부터 가변길이 디코딩(Variable length decoding)한 후 역 양자화, 역 이산코사인변환(iDCT)과정을 통해 원래 영상의 픽셀 값을 복원하며, 상기 비디오 디패킷타이저/디코더(120)로부터 디코딩된 정보를 수신한 비디오 디스플레이 프로세서(140)는 수신된 정보를 디스플 레이 영상 포맷에 맞게 변환하여 소정의 표시부를 통해 외부에 출력되도록 한다.

또한, 시스템 디코더(130)는 PCR 정보로부터 시스템 타임 클럭(System Time Clock:STC, 이하 'STC'라 한다.)을 복구하여 오디오 디패킷타이저/디코더(110)와 비디오 디패킷타이저/디코더(120)로 출력하고, 오디오 디패킷타이저/디코더(110)와 비디오 디패킷타이저/디코더(120)는 복구된 STC에 각기 동기 시켜 비디오 디코딩과 오디오 디코딩을 수행한다.

비디오 신호와 오디오 신호의 동기를 맞추어 주는 Audio/Video 립싱크(Audio/Video Lip-synchronization:A/V 립싱크, 이하 'A/V 립싱크'라 한다.)는 비디오, 오디오 복호 재생 시마다 주어지는 PTS와 STC를 이용해 이루어지는데, 예를들어, STC를 기준으로 PTS가 특정 오차범위인 특정범위 내(예를 들어 -40ms ~ +40ms)로 근접하게 있으면 A/V 립싱크가 맞는다고 판단하고 정상적인 디코딩을 수행하여 A/V 데이터를 출력시킨다.

하지만, STC를 기준으로 PTS가 미리 설정된 특정범위를 벗어나면 디코딩을 스킵하거나 또는 이전 프레임 반복이나 기다림을 통해 A/V 립싱크를 맞추는데, PTS가 너무 작아서 범위를 벗어나는 경우는 STC 값에 맞는 PTS를 포함한 디코딩 단위를 맞추기 위해서 현재 프레임의 디코딩을 수행하지 않고 다음 프레임으로 이동하는 스킵을 수행하고, PTS가 너무 커서 특정범위를 벗어나는 경우는 이전 프레임을 반복하거나 기다리게 해서 A/V 립싱크를 맞추게 된다.

또한, 비디오의 경우는 비디오 디스플레이 프로세서(140)에서의 비디오 포맷의 전환 등에 걸리는 시간지연을 고려하여 립싱크를 보정해주고 있다.

도 2는 본 발명에 따른 디코더의 다른 실시 예를 나타낸 도면으로, 특히 MPEG 4 표준에서의 디코더를 예를 들어 설명하기 위한 도면이다.

도 2를 참조하면, MPEG 4를 채용한 디지털 방송수신기인 디코더는 수신된 전송 스트림을 역 다중화하는 TS 역 다중화부(TS Demultiplexer:200)와, 수신된 오디오 PES를 디패킷타이징(Depacketizing)하는 PES 디패킷타이저(PES Depacketizer:211)와, 수신된 비디오 PES를 디패킷타이징(Depacketizing)하는 PES 디패킷타이저(PES Depacketizer:221)와, 수신된 섹션(Setion)을 디패킷타이징(Depacketizing)하는 섹션 디패킷타이저(Section Depacketizer:231)와, 수신된 오디오 SL, 비디오 SL, OD SL 각각을 디패킷타이징(Depacketizing)하는 SL 디패킷타이저(SL Depacketizer:212, 222, 232)와, 수신된 오디오 ES(Elementary Stream: 이하 'ES'라 한다.)/CTS를 디코딩하는 오디오 디코더(213)와, 수신된 비디오 ES(Elementary Stream: 이하 'ES'라 한다.)/CTS를 디코딩하는 비디오 디코더(223)와, 디코딩된 비디오 신호를 디스플레이하기 위한 비디오 디스플레이 프로세서(Video Display Processor:224)를 포함하여 구성되는 것이 바람직하다.

이때, SL 디패킷타이저(SL Depacketizer:232)에서 출력된 OCR 정보는 오디오 디코더(213)와 비디오 디코더(223)에 입력되어 오디오와 비디오의 디코딩시에 이용한다.

한편, MPEG 4 표준의 디코더에서 사용하는 타임(Time) 정보로는 MPEG 2 표준의 디코더의 PTS에 대응하는 것으로 콤포넌트 타임 스탬프(Component Time Stamp:CTS, 이하 'CTS'라 한다.)가 있으며 MPEG 2 표준의 PCR에 대응하는 것으로 OCR(Object Clock Reference)가 있다. 관련하여, MPEG 4 표준에서 기준시각인 OCR은 섹션(Section) 정보에 실려오므로 섹션(Section)을 분석하여 오디오와 비디오에 기준시각으로 제공한다. 특히, 도 2는 지상파 DMB(Digital Multimedia Broadcasting:DMB, 이하 'DMB'라 한다.)와 같이 MPEG 2 TS를 사용하는 MPEG 4 디코더 구조를 보여주는 것이다.

그리고, MPEG 2 디코더에서 PTS와 STC 차이를 보고 립싱크를 맞추었던 스킴 자체는 MPEG 4 디코더에서도 동일하게 적용된다.

또한, MPEG 4 디코더의 립싱크 기준 값은 다음과 같다. MPEG 4 기준시각인 OCR의 해상도가 낮으므로 MPEG 4 디코더에서는 띠엄 띠엄 오는 OCR 값들 사이를 보간한 보다 정밀한 기준시각을 사용할 수 있는바, 이를 OTC(Object Time Clock)라 명명하였으며, MPEG 2 디코더에서 PTS-STC를 립싱크 기준 값으로 삼은 것처럼 MPEG 4 디코더에서는 CTS-OTC를 립싱크 기준 값으로 사용하여 정상 출력(Nomal play), 스킵(Skip), 반복 또는 기다림(Repeat) 모드를 판별한다.

관련하여, MPEG 2 디코더, MPEG 4 디코더 모두 립싱크를 하는데 있어서, 비디오와 오디오의 프레임 레이트(Rate)에 따라 출력 제어가 달라지게 된다. 예를 들어, 30 fps의 비디오와 20 fps의 오디오 신호의 경우라면 1 프레임의 비디오를 출력하는 동안 2/3 프레임 데이터에 해당하는 오디오를 출력하도록 립싱크를 제어하면 된다.

그리고, 비디오 신호의 경우는 특정한 프레임 레이트(예를 들어, 15fps, 30fps 등)로 고정되어 있는데 비해 오디오 신호는 인코딩 시 사용한 샘플링 주파수 에 따라 프레임 레이트가 결정된다.

따라서, 디지털 오디오 인코딩에 사용되는 44.1kHz나 그의 정수비에 해당하는 샘플링 주파수(22.05kHz, 88.2kHz등)를 사용하는 경우에는 오디오 신호의 기준시각이 정수 값으로 증가하지 못하게 되는데(도 5 참조) 이것이 A/V 립싱크 출력에서 약간의 오차를 발생시키며 이러한 오차는 시간이 경과 함에 따라 누적되어 증가되는데 본 발명은 이러한 문제를 해결하기 위한 것이다.

따라서, 본 발명에서는 오디오 신호의 기준시각이 정수 값으로 증가하지 않는 경우에도 별도의 인코딩 정보의 수신 없이 디코더 자체적으로 립싱크를 맞출 수 있는 방법을 제안하는 것이다.

도 3은 본 발명에 따른 인터럽트와 기준시각 관계의 일실시 예를 설명하기 위한 도면으로, 특히, 실제 기준시각 증가 값(반올림한 정수 값)이 원 기준시각 증가 값보다 큰 경우를 나타낸 도면이다.

오디오 신호의 기본 기준시각은 인코더에서 스트림에 실어 보내주는 것으로서 디코더에서 디코딩한 소리의 출력에 대한 기준시각을 의미한다. 이것은 MPEG 1 표준의 디코더 또는 MPEG 2 표준의 디코더에서는 PCR에 해당되며, MPEG 4 표준의 디코더에서는 OCR에 해당된다.

관련하여, 기준시각과 별도로 오디오 프레임에 각각 부여되는 시각이 있는데 이는 MPEG 1 표준의 디코더 또는 MPEG 2 표준의 디코더에서는 PTS에 해당되며, MPEG 4 표준의 디코더에서는 CTS에 해당된다. 디코더에서는 프레임 시각과 기준시각을 비교하여 두 값의 차이가 어느 정도 특정범위 내(이를 립싱크 지터라고도 한 다.)에 존재하면 해당 프레임을 스피커를 통해 출력한다.

예를 들어, 이러한 시각 정보들(PCR, PTS, OCR, CTS)은 모두 90kHz의 해상도를 갖고 있으며, 33비트로 표현되어 1일에 대한 시각정보를 모두 표현할 수 있다.

한편, MPEG 1 표준의 디코더 또는 MPEG 2 표준의 디코더와는 달리 MPEG 2 AAC나 MPEG 4 오디오에서는 프레임 크기가 가변적이므로 립싱크를 위한 패딩 비트(Padding bit) 정보가 필요없는 것이 바람직하다. 다만 주기적으로 PCR이나 OCR정보를 업데이트 하여 보내준다.

또한, MPEG 2 표준의 디코더에서는 기본 기준시각인 PCR의 주기를 100ms이내로 하고 있으나 MPEG 4 표준의 디코더에서는 기본 기준시각인 OCR의 주기를 명시하지 않고 있다. 한편, MPEG 4 시스템 기반의 지상파 DMB 규격에서는 OCR의 주기를 바람직하게는 최대 700ms이내로 하고 있다.

따라서, 예를 들어, 지상파 DMB를 기준으로 볼 때 기본 기준시각인 OCR 값은 약 700ms마다 정확한 값을 보내준다고 볼 수 있다. 상기 OCR 값이 업데이트 되지 않는 동안에는 이전의 OCR에 대해 일정한 증가 값을 가진 기준시각(예를 들어, 예측 기준시각)을 오디오 디코더 내부에서 운영해야 한다.

도 3을 참조하면, 도 3의 가로축은 인터럽트를 나타내며, 세로축은 기준시각은 나타낸다.

먼저, 인코더에서 수신한 스트림에 포함된 기본 기준시각을 제1 기본 기준시각, 제2 기본 기준시각이라 하면, 디코더에서는 상기 제1 기본 기준시각을 수신 후, 제2 기본 기준시각을 수신하기 전에 기준시각을 예측하게 된다.

이때, 제1 기본 기준시각에서 인터럽트인 PCM 인터럽트가 발생할 때마다 기준시각 증가 단위인 특정 값, 즉 증가 값으로 기준시각을 증가하게 되는데, 이때의 기준시각 증가 값이 정수가 아닌 경우에는 반올림한 값으로 기준시각 증가 값으로 사용한다.

따라서, 예측 기준시각은 기본 기준시각과 오차가 발생하므로, 상기 오차를 줄이고자, 증가 회수가 특정 회수가 되어 보정 값이 정수 값을 가지는 경우인, 증가 회수가 보정 회수가 되는 경우에 보정 값으로 예측 기준시각을 보정하면 보정한 기준시각을 가지는데, 상기 보정한 기준시각은 보정한 예측 기준시각으로, 디코더에서는 보다 정확한 예측 기준시각에 따라 동기화를 수행하는 것이 가능하다.

도 4는 본 발명에 따른 신호처리 장치의 일실시 예를 나타낸 도면으로 특히, 1024 샘플수의 프레임과 32개 샘플수의 PCM 버퍼를 사용하는 스테레오 오디오 디코더를 예를 들어 설명하기 위한 도면이다.

도 4를 참조하면, 오디오 PES 또는 ES를 수신한 오디오 디코더(400)는 수신된 신호의 디코딩을 수행하여, 디코딩 결과를 프레임 단위로 외부 메모리(410)에 저장한다.

본 발명에서 사용한 방법은 오디오 디코더의 내부 PCM 인터럽트 발생 때마다 기준시각을 보정하는 것이다. 여기서는 프레임 크기가 1024이고 PCM 인터럽트가 32샘플 수 단위로 일어나는 것을 예로 든다.

오디오 디코더(400)는 외부 메모리(410)에 저장한 디코딩 결과를 1프레임당 32샘플씩 32번을 읽어 PCM 버퍼(420)에 저장한 후, 32 샘플마다 DA 컨버터(Digital to Analog Converter:DAC)(430)출력하면, 상기 DA 컨버터(430)는 외부 스피커 등을 통하여 오디오 신호를 출력한다.

또한, 상기 오디오 디코더(400)는 수신된 오디오 신호의 샘플링 주파수를 읽어, 상기 샘플링 주파수 기준시각의 조정이 필요하면, 상기 기준시각을 증가시키는 증가 회수가 특정 회수인 보정 회수가 되면, 기준시각을 보정 값으로 보정 후 립싱크를 맞추는 기능을 수행하며, 상기 PCM 버퍼(420)는 상기 오디오 디코더(400) 내부의 PCM 버퍼이며, 32개의 PCM 샘플 수를 읽어 DA 컨버터로 출력하는 기능을 수행한다.

관련하여, 상기 PCM 버퍼(420)는 왼쪽 채널 PCM 버퍼(PCM L:421)와 오른쪽 채널 PCM 버퍼(PCM R:422)를 포함하여 구성되며, 상기 DA 컨버터(430)는 왼쪽 채널 DA 컨버터(DAC L:431)와 오른쪽 채널 DA 컨버터(DAC R:432)를 포함하여 구성되는 것을 특징으로 한다.

특히, PCM 인터럽트 발생시마다 이전 기준시각에 인터럽트 간격에 해당하는 시간만큼을 증가 값으로 기준시각을 증가시켜 립싱크를 맞추는데, 이 증가 값이 정수가 되지 않는 샘플링 주파수의 경우에는 증가 값을 반올림한 증가 값으로 증가시키며, 매 증가시마다 오디오 디코더 내부 카운터(Counter)를 증가시키면서 카운팅한 값이 특정 보정 회수(바람직하게 49)에 이르면 이하에서 설명하는 도 6의 보정 회수 후 보정 값에 따라 추가로 기준시각을 보정하고, 카운터는 다시 리셋시키면서 립싱크를 맞추는 방법을 사용한다.

따라서, PCM 인터럽트 시마다 기준시각을 새로 계산해서 립싱크를 하게 되는 데 기준시각은 일정한 특정의 증가 값을 가지는 것에 착안하여 이전에 수신한 기본 기준시각인 OCR 값에 특정 증가 값을 더하여 새로운 기준시각을 삼게 된다. 이를 본 실시 예에서는 예측 기준시각이라고 하며, 상기 예측 기준시각을 OTC(Object Time Clock)이라고 명명하였으며, 샘플링 주파수가 48KHz의 경우 PCM 인터럽트가 한번 발생하면 증가 값은 약 0.67msec(32/48000)에 해당하게 된다.

즉, 매 PCM 인터럽트마다 OTC를 자동 증가시키는 경우에 OTC의 정확도는 자동 증가시 더해지는 값의 정확도에 따라서 달라진다. CTS, OCR등의 시각정보는 90kHz의 해상도를 가지므로 따라서 OTC의 해상도 또한 90KHz이 되며, 매번 더해지는 값은 도 5와 같게 된다.

도 5는 본 발명에 따른 샘플링 주파수에 대한 인터럽트의 생성주기와 기준시각 증가 값의 관계를 설명하기 위한 도면으로 특히, 이때의 해상도는 90KHz이며, 상기 기준기각 증가 값은 예측 기준시각의 증가 값으로 증가시키는 클럭 수를 의미한다. 또한, 상기 예측 기준시각의 증가 값은 자동으로 증가하는 것이 바람직하다.

도 5를 참조하면, 샘플링 주파수가 96KHz, 64KHz, 48KHz, 32KHz, 24KHz, 16KHz, 12KHz, 8KHz 등의 경우는 기준시각 증가 값인 OTC 자동 증가분이 정수로 정확히 떨어져 누적되는 오차가 0이지만, 88.2KHz, 44.1KHz, 22.05KHz, 11.025KHz, 7.35KHz 등의 경우는 정수로 정확히 떨어지지 않으므로 시간이 경과 함에 따라 누적되는 오차가 발생하게 되고, 따라서 이와 같은 주파수에 대해서는 기준시각 증가 값의 정확도를 보정해 주어야 한다.

예를 들어, 샘플링 주파수로 44.1KHz 주파수를 사용하는 경우, 기준시각 증 가 값인 65.30612...의 반올림한 정수 값인 65로 자동 증가할 경우는 매번 0.30612...에 해당하는 오차가 발생하고, 이를 시간으로 보면 -3.4

s((65 - 90*32/44.1)/90,000) 정도의 오차가 매 PCM 인터럽트마다 발생한다.

만일, 0.7초마다 OCR 값이 업데이트 된다고 가정한다면, 그동안 PCM 인터럽트의 발생 수는 964.6875이고, 964.6875 * -3.4

s = -3281.25

s = 약 -3.3ms가 되므로 0.7초마다 OCR이 업데이트 될 경우는 최대 -3.3ms를 보정을 해 주어야 OTC는 원래의 OTC를 따라가게 될 것이다.

이와 같은 보정은 88.2KHz, 22.05KHz, 11.025KHz, 7.35KHz의 샘플링 주파수에 대해서도 마찬가지로 해주어야 한다.

그런데, 이러한 보정을 0.7초 마다 해주면 그 사이에서는 립싱크가 상당히 틀어지게 될 수가 있다. 실제로 방송 스트림에서는 PCR이나 OCR 자체도 지터가 있으므로 0.7초 이후에 반드시 정확한 값이 오는 보장이 없다. 그러므로 그 사이 구간에서 보정을 해주는 것이 바람직하다.

그리고, 도 5에서 누적되는 오차들은 모두 49번 반복되면서 정수로 떨어지는 특징이 확인되었다. 따라서, 이하, 도 6과 같이 보정해주면 훨씬 짧은 구간 (PCM 인터럽트가 49번 발생하는 구간) 마다 정확한 OTC 값을 얻을 수 있고 그만큼 정확한 립싱크를 맞출 수 있게 된다.

도 6은 본 발명에 따른 기준시각 증가 값이 정수 값이 아닌 경우의 샘플링 주파수에 따른 보정 값의 일실시 예를 나타낸 도면이다.

도 5를 참조하면, 각 샘플링 주파수에 대한 디코더 해상도가 90KHz에서의 기준시각 증가 값, 상기 기준시각 증가 값에 대해 적용할 실제 기준시각 증가 값, 특정 보정 회수 후 보정 값, 버퍼 크기에 따른 보정 값을 보여주고 있다.

이때, 특히 상기 특정 보정 회수는 기준시각 증가 회수가 49번 증가한 경우이며, 상기 버퍼 크기는 PCM 버퍼 크기인 경우를 예를 든 것이다.

또한, 기준시각 증가 값, 실제 기준시각 증가 값, 보정 회수 후 보정 값의 단위는 디코더 해상도가 90KHz 클럭을 사용한 때의 사이클(Cycle) 수를 의미하며, PCM 버퍼 크기에 따른 보정 값에서의 N은 32의 배수를 의미한다.

또한, 도 6의 마지막 칼럼인 버퍼 크기에 따른 보정 값은 PCM 버퍼 크기가 변함에 따라 보정되는 값도 변경하여서 적용할 수 있음을 보여주고 있다. 예를 들어, 44.1KHz 샘플링 주파수 신호의 경우 PCM 버퍼 크기가 64 샘플 수이라면 49번 PCM인터럽트 발생 후, 30을 더해서 OTC 값을 보정해 주면 된다.

따라서, 이러한 보정 값은 PCM 버퍼 크기에 따라 다음과 같이 일반화시킬 수 있다.

보정 값은 PCM 버퍼 크기/X * Offset으로 나타낼 수 있는데, 이때의 X는 특정 정수를 나타내며, Offset은 도 5의 네 번째 칼럼의 보정 회수 후 보정 값을 나타내는 것을 의미하는데, 상기 X는 32인 것이 바람직하다.

특히, 상기 식에서 PCM 버퍼 크기가 아래와 같이 나누는 경우에 예를 들어, 보정 값과 보정 회수를 나타내면 다음과 같다.

1) PCM 버퍼 크기가 32 샘플 수 이상을 갖는 경우

보정 값은 PCM 버퍼 크기/32 * Offset 이며, 보정 회수는 49이다.

2) PCM 버퍼 크기가 32 샘플 수 미만을 갖는 경우

보정 값은 Offset 이며, 보정 회수는 32/PCM 버퍼 크기*49이다.

상기 1),2)에서 Offset은 도 6의 네 번째 칼럼의 보정 값(-17, +15, -19, +11, -8 등)을 의미하며, 보정 회수는 보정 값이 정수 값이 되도록 하는 기준시각 증가 회수의 최소 회수를 의미한다.

도 7은 본 발명에 따른 신호처리 장치의 다른 실시 예를 설명하기 위한 도면으로, 특히 오디오 신호처리 장치의 실시 예를 설명하기 위한 도면이다.

도 7의 오디오 신호처리 장치는 기준시각 증가부(710), 기준시각 보정부(720), 디코딩부(730), 출력부(740)를 포함하여 구성되는 것을 특징으로 한다.

먼저, 디코더에서는 스트림을 수신하여 획득한 기본 기준시각에서 예측 기준시각을 구하기 위해 기준시각 증가부(710)에서는 기준시각 증가 단위인 기준시각 증가 값으로 기준시각을 증가한다.

상기 기준시각이 특정 증가 회수인 보정 값이 정수가 되는 최소 회수가 되는 보정 회수가 되면, 기준시각 보정부(720)에서는 상기 도 6의 보정 회수 후 보정 값으로 예측 기준시각을 보정하여, 보정한 기준시각을 출력한다.

이때, 보정한 기준시각을 예측 기준시각을 보정한 경우로, 보정한 기준시각은 기본 기준시각과 동일한 시각이 되는 것이 바람직하다.

상기 출력된 보정한 기준시각을 이용하여 디코딩부(730)에서는 비디오 신호와 오디오 신호의 동기를 맞추는 립싱크를 수행하고, 출력부(740)에서는 디코딩된 신호를 출력하게 된다.

도 8은 본 발명에 따른 신호처리 방법의 일실시 예를 설명하기 위한 흐름도이며, 특히 오디오 신호처리 방법의 일실시 예를 설명하기 위한 흐름도이다.

먼저, 입력된 신호를 디코딩하기 위해 샘플링 주파수의 값을 읽는다(S800).

샘플링 주파수를 확인한 디코더는 상기 샘플링 주파수가 기준시각을 조정할 샘플링 주파수인지를 판단한다(S810).

상기 판단(S810) 결과, 기준시각 조정할 샘플링 주파수가 아니라면, 정수 값인 특정 증가 값으로 기준시각을 증가시킨다(S820). 이때, 상기 도 5를 참조하며, 샘플링 주파수는 도 4에서 살펴본 바와 같이 샘플링 주파수가 96KHz, 64KHz, 48KHz, 32KHz, 24KHz, 16KHz, 12KHz, 8KHz 인 경우이며, 상기 정수 값인 특정 값은 30, 45, 60, 90, 120, 180, 240, 360 등을 의미한다.

상기 기준시각 증가 후, 오디오 신호와 비디오 신호를 동기시키는 립싱크하여 신호를 출력한다(S830).

그리고, 다시 기준시각을 정수 값인 특정 증가 값으로 증가시키는 단계(S820)를 반복 수행한다.

상기 판단(S810) 결과, 기준시각 조정할 샘플링 주파수이면, 반올림한 정수 값인 특정 증가 값으로 기준시각을 증가시킨다(S840). 여기서, 상기 도 6을 참조하면, 상기 기준시각 조절할 샘플링 주파수는 샘플링 주파수가 88.2KHz, 44.1KHz, 22.05KHz, 11.025KHz, 7.35KHz 인 경우이며, 상기 특정 증가 값은 실제 기준시각 증가 값을 의미하는바,상기 특정 증가 값은 33, 65, 131, 261, 392 등을 의미한다.

상기 특정 증가 값으로의 기준시각의 증가시킨 후, 보정 값이 정수가 되기까지의 증가 회수인 증가 회수가 보정 회수인지를 확인한다(S850). 예를 들어, 증가 회수를 나타내는 카운터(Counter)가 PCM 버퍼 크기가 32 샘플 수 이상을 갖는 경우는 49이거나 또는, PCM 버퍼 크기가 32 샘플 수 미만을 갖는 경우는 32/PCM 버퍼 크기*49 인지를 확인한다.

상기 확인(S850) 결과, 기준시각 증가 회수가 보정 회수이면, 기준시각을 보정하고, 다시 카운팅을 시작한다(S860). 예를 들어, 증가 회수를 나타내는 카운터(Counter)가 PCM 버퍼 크기가 32 샘플 수 이상을 갖는 경우는 49이거나 또는, PCM 버퍼 크기가 32 샘플 수 미만을 갖는 경우는 32/PCM 버퍼 크기*49이면, 기준시각을 보정하고, 다시 카운팅을 시작한다.

이때, 기준시각 보정 값은 상기 도 6을 참조하는데, 샘플링 주파수가 88.2KHz, 44.1KHz, 22.05KHz, 11.025KHz, 7.35KHz 인 경우 각각 4번째, 5번째 칼럼의 보정 회수 후 보정 값을 사용한다.

상기 확인(S850) 결과, 기준시각 증가 회수가 보정 회수가 아니거나, 상기 단계(S860)의 기준시각 보정 후, 오디오 신호와 비디오 신호를 동기시키는 립싱크하여 신호를 출력한다(S870).

그리고, 다시 기준시각을 반올림한 정수 값인 특정 증가 값으로 증가시키는 단계(S840)를 반복 수행한다.

이상에서 살펴본 본 발명은 디지털 방송 수신기와 같은 디코더의 립싱크를 정확히 제어하기 위한 것이다. 본 발명의 방법을 사용하면 전송되는 오디오 신호의 샘플링 주파수가 변하는 경우에도 디지털 방송 수신기의 립싱크를 정확히 제어할 수 있다. 본 발명의 방법은 립싱크를 위한 별도의 인코더 정보를 필요로 하지 않으며 디코더 자체적으로 기준시각에 대한 보정을 통하여 립싱크를 맞출 수 있게 한다.

특히, 본 발명에 의하여 오디오 신호의 기준시각이 정수 값으로 증가하지 않는 경우에 디지털 방송수신기의 립싱크를 적절히 제어할 수 있다. 예를 들어, 88.2KHz, 44.1KHz, 22.05KHz, 11.025KHz, 7.35KHz의 샘플링 주파수를 갖는 오디오 신호에 대하여 본 발명을 적용하면 기준시각 업데이트 간격 내의 구간에서도 A/V 출력 립싱크를 정확히 맞출 수 있다.

본 발명을 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가진 자에 의해 변형이 가능하고 이러한 변형은 본 발명의 범위에 속한다.

상기에서 설명한 본 발명에 따른 오디오 신호의 처리방법 및 장치의 효과를 설명하면 다음과 같다.

첫째, 다양한 샘플링 주파수의 오디오 신호에 대응하여 디코더의 립싱크를 제어하여 오차를 줄여 오디오 신호를 효율적으로 디코딩하는 것이 가능하다.

둘째, 오디오 신호의 기준시각이 정수 값으로 증가하지 않는 경우에도 별도의 인코딩 정보 없이 디코더 자체적으로 시각 정보를 보정하여 립싱크를 정확히 맞추어 오디오 신호를 효율적으로 디코딩하는 것이 가능하다.

Claims (13)

1. (a) 샘플링 주파수에 따른 증가 단위로 기준시각을 증가시키는 단계와,

   (b) 상기 기준시각의 증가 회수가 보정 회수에 해당하면, 상기 기준시각을 상기 샘플링 주파수에 따른 보정 값으로 보정하는 단계와,

   (c) 상기 보정된 기준시각을 이용하여 동기화를 수행하는 단계를 포함하여 이루어지는 것을 특징으로 하는 신호의 처리방법.
2. 제 1 항에 있어서, 상기 (a) 단계는,

   상기 기준시각의 보정이 필요한 샘플링 주파수인 경우에 수행되는 것을 특징으로 하는 신호의 처리방법.
3. 제 1 항에 있어서,

   상기 증가 단위는 주파수 해상도를 이용하여 산출한 기준시각 증가 값을 이용하여 결정되는 것을 특징으로 하는 신호의 처리방법.
4. 제 3 항에 있어서,

   상기 기준시각 증가 값이 정수인 경우, 상기 기준시각의 보정을 수행하지 않는 것을 특징으로 하는 신호의 처리방법.
5. 제 3 항에 있어서,

   상기 기준시각 증가 값이 정수가 아닌 경우, 상기 기준시각 증가 값을 반올림한 정수로 결정되는 것을 특징으로 하는 신호의 처리방법.
6. 제 1 항에 있어서,

   상기 기준시각은 샘플링 주파수를 이용하여 산출한 인터럽트 생성주기에 따라 증가 단위로 증가하는 것을 특징으로 하는 신호의 처리방법.
7. 제 1 항에 있어서,

   상기 보정 회수는 상기 보정 값이 정수 값을 가지는 최소 회수인 것을 특징으로 하는 신호의 처리방법.
8. 제 1 항에 있어서,

   상기 기준시각을 보정하기 위한 보정 값은 버퍼 크기에 따라 결정되는 것을 특징으로 하는 신호의 처리방법.
9. 제 8 항에 있어서,

   상기 버퍼 크기가 32 샘플 수 이상을 갖는 경우의 보정 값은 버퍼 크기를 32로 나눈 값에 보정 회수까지의 보정 값을 곱하여 결정되는 것을 특징으로 하는 오디오 신호의 처리방법.
10. 제 9 항에 있어서,

    상기 보정 회수는 49인 것을 특징으로 하는 오디오 신호의 처리방법.
11. 제 8 항에 있어서,

    상기 버퍼 크기가 32 샘플 수 미만을 갖는 경우의 보정 값은 보정 회수까지의 보정 값인 것을 특징으로 하는 오디오 신호의 처리방법.
12. 제 11 항에 있어서,

    상기 보정 회수는 32를 버퍼 크기로 나눈 후, 49를 곱한 것으로 결정되는 것을 특징으로 하는 오디오 신호의 처리방법.
13. 샘플링 주파수에 따른 증가 단위로 기준시각을 증가시키는 기준시각 증가부와,

    상기 기준시각의 증가 회수가 보정 회수에 해당하면, 상기 기준시각을 상기 샘플링 주파수에 따른 보정 값으로 보정하는 기준시각 보정부와,

    상기 보정된 기준시각을 이용하여 동기화를 수행하는 디코딩부를 포함하여 이루어지는 것을 특징으로 하는 신호의 처리장치.

Images