KR100802133B1 - 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치및 그의 방법 - Google Patents

오디오/비디오신호의 동기화를 위한 디지털신호 처리장치및 그의 방법 Download PDF

Info

Publication number
KR100802133B1
KR100802133B1 KR1020060091465A KR20060091465A KR100802133B1 KR 100802133 B1 KR100802133 B1 KR 100802133B1 KR 1020060091465 A KR1020060091465 A KR 1020060091465A KR 20060091465 A KR20060091465 A KR 20060091465A KR 100802133 B1 KR100802133 B1 KR 100802133B1
Authority
KR
South Korea
Prior art keywords
audio
audio signal
time point
threshold value
signal
Prior art date
Application number
KR1020060091465A
Other languages
English (en)
Inventor
장혜영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060091465A priority Critical patent/KR100802133B1/ko
Application granted granted Critical
Publication of KR100802133B1 publication Critical patent/KR100802133B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Receiver Circuits (AREA)

Abstract

오디오/비디오신호의 동기화를 위한 디지털신호 처리장치 및 그의 방법이 개시된다. 인터페이스부에는 제1압축방식의 비디오신호를 제2압축방식으로 트랜스코딩한 후 오디오신호와 동기화하여 전송 스트림 형태로 출력하는 CI 모듈이 장착되며, 신호 처리부는 인터페이스부로부터 입력되는 전송 스트림에 포함된 오디오신호가 실제 출력되어야 하는 제1시점과 전송 스트림의 오디오신호가 외부로 출력되기 위하여 대기하는 제2시점의 차이에 따라 오디오신호의 출력 시점을 조정한다.
CI, 유료 채널, CI CAM/CARD, 동기

Description

오디오/비디오신호의 동기화를 위한 디지털신호 처리장치 및 그의 방법{Digital signal processing apparatus for synchronizing between video and audio, and method thereof}
도 1은 본 발명의 일 실시예에 따른 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치를 도시한 블록도, 그리고,
도 2는 도 1에 의한 오디오/비디오신호의 동기화를 위한 디지털신호 처리방법을 설명하기 위한 흐름도이다.
* 도면의 주요 부분에 대한 설명 *
100 : 디지털신호 처리장치 134 : 오디오 처리부
134a : 모니터링부 134b : 오디오 프레임 처리부
140 : 파서 150 : CI 스택
160 : CI부 200 : CI 모듈
220 : 버퍼 230 : 제1압축방식 디코더
240 : 제2압축방식 엔코더 250 : TS MUX
본 발명은 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치 및 그의 방법에 관한 것으로서, 보다 상세하게는, 압축방식의 비디오 트랜스코딩을 지원하는 경우 발생하는 오디오신호와 비디오신호 간의 동기를 적응적으로 조절할 수 있는 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치 및 그의 방법에 관한 것이다.
최근의 디지털 TV는 디지털 방송을 수신하여 시청자에게 제공하는 기능을 제공한다. 이 때, 디지털 방송이 유료 채널 방송인 경우, 디지털 방송의 전송 스트림은 MPEG(Motion Pictures Experts Group) 2 또는 MPEG 4 형태로 압축되어 전송되며, 디지털 TV는 슬롯에 삽입된 CI CAM/Card(Common Interface Conditional Access Module/Card)를 이용하여 압축된 전송 스트림을 압축해제한다. 여기서, 전송 스트림은 오디오/비디오신호 및 섹션정보를 포함한다.
CI CAM/Card는 유료 채널 방송을 시청하도록 오디오/비디오신호를 디스크램블링하여 디지털 TV로 전송한다. 여기서, 유료 채널 방송을 제공하는 사업체가 MPEG4 방식의 비디오를 지원하는 반면, DTV는 MPEG2 방식만을 지원하는 경우, CI CAM/Card는 MPEG4 비디오신호를 MPEG2로 트랜스코딩한 후, MPEG2 오디오신호와 재엔코딩된 MPEG2 비디오신호를 동기화하여 디지털 TV에게 전송한다. 이로써, 종래의 MPEG2를 지원하는 디지털 TV는 MPEG4의 방송을 시청자에게 제공한다.
그러나, 종래의 CI CAM/Card를 통해 MPEG4 방식에서 MPEG2 방식으로 비디오신호를 트랜스코딩하는 경우 비디오신호의 지연(delay)이 발생하며, 결과적으로 오디오신호에 비디오신호 만큼의 지연을 부가시킨다. 이로써 종래의 디지털 TV가 동 기가 어긋난 비디오신호와 오디오신호를 입력받아 처리함으로써 오디오 글리치(Audio Glitch) 현상이 발생하게 된다.
특히, 외부로부터 전송되는 전송 스트림이 복수의 오디오신호를 포함하는 경우, 사업자에 따라 처리방법이 달라 오디오신호와 비디오신호의 동기가 어긋나게 되어 시청자에게 시청곤란한 영상 및 음향을 제공하는 문제가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 압축방식의 비디오 트랜스코딩을 실행하는 경우 발생하는 오디오신호와 비디오신호 간의 동기의 어긋남을 보정할 수 있는 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치 및 그의 방법을 제공함에 있다.
상기의 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치는 제1압축방식의 비디오신호를 제2압축방식으로 트랜스코딩한 후 오디오신호와 동기화하여 전송 스트림 형태로 출력하는 CI(Common Interface) 모듈이 장착되는 인터페이스부; 및 상기 인터페이스부로부터 입력되는 전송 스트림에 포함된 상기 오디오신호가 실제 출력되어야 하는 제1시점과 상기 전송 스트림의 오디오신호가 외부로 출력되기 위하여 대기하는 제2시점의 차이에 따라 상기 오디오신호의 출력 시점을 조정하는 신호 처리부;를 포함한다.
바람직하게는, 상기 오디오신호가 복수 오디오 개체를 포함하는 경우, 상기 복수 오디오 개체 중 사용자에 의해 선택된 오디오 개체의 정보만을 상기 CI 모듈에게 전송하는 CI스택;을 더 포함하며, 상기 CI 모듈은 상기 선택된 오디오 개체에 해당하는 오디오신호와 상기 트랜스코딩된 비디오신호를 동기화하여 출력한다.
여기서, 상기 신호 처리부는, 상기 제1시점이 상기 제2시점보다 큰 경우, 상기 제1시점으로부터 상기 제2시점을 감산한 제1결과와 제1임계값을 비교하여 상기 제1결과가 상기 제1임계값보다 크면 해당시간만큼 상기 오디오신호를 pause처리한다.
또한, 상기 신호 처리부는, 상기 제1시점이 상기 제2시점보다 작은 경우, 상기 제2시점으로부터 상기 제1시점을 감산한 제2결과와 제2임계값을 비교하여 상기 제2결과가 상기 제2임계값보다 크면 해당시간만큼 상기 오디오신호를 skip처리한다.
바람직하게는, 상기 신호 처리부는 일정 시간 간격으로 산출된 상기 제1시점과 상기 제2시점의 차이의 평균을 이용하여 상기 오디오신호를 pause 또는 skip 처리한다.
한편, 상기의 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 오디오/비디오신호의 동기화를 위한 디지털신호 처리방법은, 제1압축방식의 비디오신호를 제2압축방식으로 트랜스코딩한 후 오디오신호와 동기화하여 전송 스트림 형태로 출력하는 단계; 및 상기 전송 스트림에 포함된 상기 오디오신호가 실제 출력되어야 하는 제1시점과 상기 전송 스트림의 오디오신호가 스피커로 출력되기 위하여 대기하는 제2시점의 차이를 산출하고, 상기 산출된 차이에 따라 상기 오디오신호의 실제 출력 시점을 조정하여 상기 스피커로 출력하는 단계;를 포함한다.
이하에서는 첨부된 도면들을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치를 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치(100)는 튜너(110), DeMUX(120), 신호 처리부(130), 파서(140), CI(Common Interface) 스택(150), CI부(160), ROM(170), RAM(175) 및 메인 제어부(180)를 갖는다.
본 발명에 따른 디지털신호 처리장치(100)는 위성방송, 케이블 방송 또는 지상파 방송과 같은 디지털방송신호를 수신하여 시청자에게 제공한다. 또한, 디지털신호 처리장치(100)는 CI 모듈(200)에 의해 소스원(미도시)으로부터의 유료 채널 방송의 전송 스트림(Transport Stream 이하, 'TS'라 한다)을 수신하여 디스크램블링한 후 시청가능한 신호로 처리한다. 이러한 디지털신호 처리장치(100)는 셋탑박스 또는 디지털 TV 모두에 적용가능하다.
CI 모듈(200)은 슬롯 형태의 CI부(160)에 삽입되며, 유료 채널 방송신호의 TS를 디스크램블링한다. 또한, CI 모듈(200)은, 소스원(미도시)으로부터 전송되는 TS는 제1압축방식에 의해 엔코딩된 반면, 디지털신호 처리장치(100)가 제2압축방식을 지원하는 경우, 제1압축방식의 비디오신호를 제2압축방식으로 트랜스코딩하는 기능을 제공한다. 이와 관련된 CI 모듈(200)에 대한 자세한 설명은 후술한다.
또한, 소스원(미도시)으로부터 전송되는 TS 중 오디오신호는 단일 오디오 개 체 또는 복수의 오디오 개체를 포함한다. 복수의 오디오 개체를 포함하는 경우는 예를 들어, 한국어, 영어, 프랑스어 등 다수의 국가에 대한 언어 또는 스테레오 방식의 언어, 돌비 방식의 언어 등을 들 수 있다.
먼저, 튜너(110)는 소스원(미도시)으로부터 송출되는 방송신호 중 선택된 채널을 선국한다. 선국된 채널의 방송신호는 DeMUX(120)로 출력된다.
DeMUX(120)는 튜너(110)로부터 입력되는 방송신호가 일반 채널의 신호인 경우, 방송신호를 역다중화하여, 비디오신호는 비디오 처리부(132)로 제공하며 오디오신호는 오디오 처리부(134)로 제공한다.
신호 처리부(130)는 비디오 처리부(132) 및 오디오 처리부(134)를 갖는다.
비디오 처리부(132)는 비디오신호를 디코딩하여 표시가능한 신호로 처리한다.
오디오 처리부(134)는 입력되는 오디오신호를 청취가능한 신호로 디코딩한다. 특히, 오디오 처리부(134)의 모니터링부(134a)는 후술할 CI 모듈(200)로부터 입력되는 TS의 PTS(Presentation Time Stamp)와 PCR(Program Clock Reference)을 모니터링하며, 오디오 프레임 처리부(134b)는 모니터링 결과를 이용하여 오디오 프레임의 pause 또는 skip 처리를 수행한다.
여기서, 오디오 프레임은 오디오 신호를 처리하는 단위의 하나이고, PTS는 제1시점으로 적용되며, PCR은 제2시점으로 적용되며, 오디오 처리부(134)와 관련된 자세한 설명은 후술한다.
한편, 튜너(110)로부터 입력되는 방송신호가 스크램블링된 TS인 경우, DeMUX(120)는 TS를 역다중화하여 섹션 정보는 파서(140)로 제공하며, 섹션 정보 외의 TS인 TSin은 CI부(160)에 장착된 CI 모듈(200)에게 제공한다.
파서(140)는 섹션 정보를 파싱하며, CI 스택(150)은 파싱된 섹션 정보를 이용하여 CI 모듈(200)과의 인터페이스를 지원한다. 전송되는 TS의 오디오신호가 복수의 오디오 개체를 포함하고 있는 경우, CI 스택(150)의 CA_PMT 생성부(152)는 사용자에 의해 선택된 오디오 개체에 대한 정보만을 포함하는 CA_PMT를 생성한 후, 생성된 CA_PMT를 CI부(160)를 통해 CI 모듈(200)에게 제공한다. 전송되는 TS의 오디오신호가 단수 오디오 개체를 포함하는 경우, CA_PMT 생성부(152)는 TS에 포함된 오디오 개체에 대한 정보를 포함하는 CA_PMT를 생성한다.
CI부(160)는 PCMCIA(Personal Computer Memory Card International Association) 규격에 의해 CI 모듈(200)과의 인터페이스를 지원하는 슬롯으로서, CI 모듈(200)은 CI부(160)에 삽입된다.
CI 모듈(200)은 스마트카드와 같은 PCMCIA 카드가 CI CAM(Conditional Access Module)에 삽입된 형태의 CI CAM/Card를 의미한다. CI 모듈(200)은 DeMUX(210), 버퍼(220), 제1압축방식 디코더(230), 제2압축방식 엔코더(240), TS MUX(250) 및 카드 제어부(260)를 포함한다.
먼저, 디지털신호 처리장치(100)로부터 단일 오디오 개체를 포함하는 TSin과 단일 오디오 개체 정보인 CA_PMT가 전송되는 경우를 설명하면 다음과 같다.
DeMUX(210)는 TSin과 단일 오디오 개체 정보인 CA_PMT를 역다중화하여, CA_PMT는 카드 제어부(260)로, 오디오신호(A)는 버퍼(220)로, 비디오신호(V)는 제1압축방식 디코더(230)로 제공한다. 여기서, 비디오신호는 제1압축방식으로 압축되었으며, 오디오신호는 제2압축방식으로 압축된 신호로서, 제1압축방식의 예로는 MPEG4, 제2압축방식의 예로는 MPEG2를 들 수 있으며, 이에 한정짓지 않는 것이 바람직하다.
버퍼(220)는 제2압축방식으로 압축된 오디오신호를 임시 저장한다.
제1압축방식 디코더(230)는 제1압축방식으로 압축된 비디오신호를 디코딩한다.
제2압축방식 엔코더(240)는 디코딩된 비디오신호를 입력받아 제2압축방식으로 엔코딩한다.
TS MUX(250)는 버퍼(220)로부터 입력되는 오디오신호와 제2압축방식 엔코더(240)로부터 입력되는 비디오신호를 동기화하여 TSout을 생성한 후 디지털신호 처리장치(100)에게 전송한다.
카드 제어부(260)는 DeMUX(210)로부터 입력되는 CA_PMT를 이용하여 오디오신호가 단일 오디오 개체를 포함하는지 또는 복수의 오디오 개체를 포함하여 특정 오디오 개체의 정보를 포함하는지 판단한다.
오디오신호가 단일 오디오 개체인 경우, 오디오신호는 단일 오디오 개체에 해당하는 오디오신호만을 포함하므로 카드 제어부(260)는 오디오신호와 비디오신호를 동기화하면서 리먹싱(ReMuxing)하여 TSout을 생성하도록 TS MUX(250)를 제어한 다.
한편, 디지털신호 처리장치(100)로부터 복수 오디오 개체를 포함하는 TSin과 복수 오디오 개체 정보인 CA_PMT가 전송되는 경우를 설명하면 다음과 같다.
오디오신호가 복수 오디오 개체를 포함하는 경우, 오디오신호는 복수 오디오 개체에 해당하는 오디오신호를 포함하므로 카드 제어부(260)는 오디오신호와 비디오신호를 리먹싱(ReMuxing)하여 TSout을 생성하되, 복수의 오디오신호 중 CA_PMT에 포함된 선택된 오디오 개체에 해당하는 오디오신호에 비디오신호의 동기를 맞추면서 리먹싱하도록 TS MUX(250)를 제어한다.
예를 들어, CA_PMT에 한국어를 나타내는 오디오 개체 정보가 포함되어 있는 경우, 카드 제어부(260)는 다수의 오디오신호 중 한국어에 해당하는 오디오신호에 비디오신호를 동기화하면서 리먹싱하도록 TS MUX(250)를 제어한다. 이로써, 사용자가 선택한 오디오신호에 비디오신호가 동기화됨으로써 사용자는 보다 정확하게 동기화된 방송을 시청하게 된다.
다시 도 1의 디지털신호 처리장치(100)를 참고하면, CI부(160)는 CI 모듈(200)로부터 전송되는 TSout을 DeMUX(120)에게 제공한다.
DeMUX(120)는 TSout을 역다중화하여 비디오신호와 오디오신호로 분리하여 각각 비디오 처리부(132) 및 오디오 처리부(134)로 제공한다. 여기서, 분리된 비디오신호 및 오디오신호는 제2압축방식 포맷을 갖는다.
비디오 처리부(132)는 제2압축방식의 비디오신호를 디코딩하여 표시부(100a) 로 출력한다.
오디오 처리부(134)는 제2압축방식의 오디오신호를 디코딩하여 스피커(100b)로 출력하되 오디오신호에 포함된 PTS와 오디오신호가 스피커(100b)로 출력되기 위하여 대기하는 시점의 차이에 따라 오디오신호가 출력되는 시점을 조정한다. 오디오신호가 스피커(100b)로 출력되기 위하여 대기하는 시점은 TSout에 포함된 PCR에 의해 확인가능하다. PTS는 오디오신호가 실제 스피커(100b)로 출력되어야 할 시점으로서 디코딩된 시점을 예로 들 수 있다.
보다 자세히 설명하면, 모니터링부(134a)는 상술한 PTS와 PCR를 확인한 후 PTS와 PCR의 차이를 모니터링하여 모니터링된 결과에 따라 적응적으로 임계값을 선정한다. 임계값은 적어도 두 개 설정되어 있다. 즉, 모니터링부(134a)는 확인된 PTS가 확인된 PCR보다 큰 경우, PTS로부터 PCR을 감산한 제1결과와 기설정된 제1임계값을 오디오 프레임 처리부(134b)에게 제공한다.
또한, 모니터링부(134a)는 확인된 PTS가 확인된 PCR보다 작은 경우, PCR로부터 PTS를 감산한 제2결과와 기설정된 제2임계값을 오디오 프레임 처리부(134b)에게 제공한다.
오디오 프레임 처리부(134b)는 모니터링부(134a)로부터 제공되는 제1결과가 제1임계값보다 크면 해당시간만큼 오디오신호를 pause시킨다. 여기서, 오디오신호를 pause시키는 해당시간은 제1임계값과 오디오가 디코딩된 시간 PTS의 차이가 될 수 있다.
반면, 오디오 프레임 처리부(134b)는 제2결과가 제2임계값보다 크면 해당시간만큼 오디오신호를 skip시킨다. 여기서, 오디오신호를 skip시키는 해당시간은 오디오신호를 pause시키는 해당시간은 제2임계값과 오디오가 디코딩된 시간 PTS의 차이가 될 수 있다.
한편, 모니터링부(134a)는 오디오신호의 pause 또는 skip에 사용되는 제1임계값과 제2임계값을 PTS와 PCR의 차이를 이용하여 조정한다. 제1임계값과 제2임계값을 조정하는 과정에 대하여 자세히 설명하면, 다음과 같다.
먼저, PTS>PCR인 경우, 모니터링부(134a)는 PTS와 PCR의 차이인 Diff(PTS-PCR)를 산출하고, 산출결과인 Diff(PTS-PCR)와 제1임계값인 TH1을 비교한다. 비교결과, Diff(PTS-PCR) > TH1이면, 모니터링부(134a)는 제1임계값을 아래의 [수학식 1]과 같이 보정한다.
Figure 112006068077008-pat00001
[수학식 1]을 참조하면, TH1은 제1임계값, d는 이전에 산출된 Diff(PTS-PCR)값과 현재 산출된 Diff(PTS-PCR)의 오차값, 즉, 증감값을 의미하며, TH1'는 보정된 제1임계값을 의미한다.
이와 마찬가지로, PTS<PCR인 경우, 모니터링부(134a)는 PTS와 PCR의 차이인 Diff(PCR-PTS)를 산출하고, 산출결과인 Diff(PCR-PTS)와 제2임계값인 TH2를 비교한다. 비교결과, Diff(PCR-PTS) > TH2이면, 모니터링부(134a)는 제2임계값을 아래의 [수학식 2]와 같이 보정한다.
Figure 112006068077008-pat00002
[수학식 2]를 참조하면, TH2는 제2임계값, d는 이전에 산출된 Diff(PCR-PTS)값과 현재 산출된 Diff(PCR-PTS)의 오차값, 즉, 증감값을 의미하며, TH2'는 보정된 제2임계값을 의미한다.
보정된 제1 및 제2보정값은 모니터링부(134a)에 마련된 메모리(미도시)에 저장되며, 다음에 산출되는 PTS와 PCR의 차이와 비교된다. 또한, 모니터링부(134a)는 현재까지 누적된 PTS와 PCR의 차이들의 평균을 산출하고, 산출된 평균값과 최종적으로 보정되어 저장된 제1 및 제2임계값을 비교하여 제1 및 제2임계값을 조정할 수 있다.
이로써, 모니터링부(134a)는 보다 정확히 산출된 임계값들을 이용하여 PTS와 PCR의 차이와 비교함으로써 오디오신호의 pause 또는 skip이 수행되도록 한다.
또한, 오디오 프레임 처리부(134b)는 일정 시간 간격으로 주기적으로 산출된 PCR과 PTS의 차이의 평균을 이용하여 오디오신호를 pause 또는 skip 시키도록 설계가능하다.
ROM(170)은 비휘발성 메모리 소자로서, 디지털신호 처리장치(100)의 기능을 구현하는 데 필요한 각종 제어프로그램이 저장된다.
RAM(175)은 휘발성 메모리 소자로서, 메인 제어부(180)에 의해 실행되는 프 로그램이 로딩되어 저장되거나 또는 메인 제어부(180)에 의해 처리된 결과 데이터 등이 저장된다.
메인 제어부(180)는 기저장된 각종 프로그램을 구동하여, 본 장치의 전반적인 동작이 실행되도록 처리한다. 예를 들어, 메인 제어부(180)는 튜너(110)에서 선국된 채널이 유료 방송이 아닌 경우, 채널의 방송신호를 디먹싱한 후 신호 처리부(130)로 제공하도록 DeMUX(120)를 제어한다. 또한, 메인 제어부(180)는 튜너(110)에서 선국된 채널이 유료 방송인 경우, 채널의 방송신호를 디먹싱한 후 섹션 정보는 파서(140)로 제공하며, TSin은 CI부(160)로 제공하도록 DeMUX(120)를 제어한다.
도 2는 도 1에 의한 오디오/비디오신호의 동기화를 위한 디지털신호 처리방법을 설명하기 위한 흐름도이다.
도 1 및 도 2를 참조하면, 메인 제어부(180)는 튜너(110)를 통해 선국된 채널의 TSin에 복수의 오디오 개체가 포함되어 있는지를 확인한다(S205). 확인결과, 단수의 오디오 개체가 포함되어 있는 경우, CI부(160)는 역다중화에 의해 생성된 TSin을 CI 모듈(200)로 전송한다(S210).
전송된 TSin은 DeMUX(210)에 의해 역다중화되며, 제1압축방식 디코더(230)는 제1압축방식의 비디오신호를 디코딩하고, 제2압축방식 엔코더(240)는 디코딩된 비디오신호를 제2압축방식으로 엔코딩한다(S215, S220).
TS MUX(250)는 S220단계에서 엔코딩된 비디오신호와 S210단계에서 전송되어 버퍼(220)에 저장된 오디오신호를 동기화하여 TSout을 생성한다(S230).
생성된 TSout은 CI부(160)를 통해 DeMUX(120)로 전송되어 비디오신호 및 오디오신호로 역다중화된다. 비디오 처리부(132)는 역다중화된 비디오신호를 디코딩한 후 표시부(100a)로 출력한다.
또한, 오디오 처리부(134)의 모니터링부(134a)는 S230단계에서 생성된 TSout 중 오디오신호가 실제 출력되어야 하는 시점인 PTS와 오디오신호가 출력되기 위하여 대기한 시점인 PCR을 비교한다(S235).
비교 결과, PTS가 PCR보다 크면 모니터링부(134a)는 PTS로부터 PCR을 감산한 제1결과와 기설정된 제1임계값을 오디오 프레임 처리부(134b)에게 제공한다(S240).
오디오 프레임 처리부(134b)는 S240단계로부터 출력되는 제1결과와 제1임계값을 비교하여 제1결과가 제1임계값보다 크면 해당시간만큼 오디오신호를 pause시킨 후 스피커(100b)로 출력한다(S245).
반면, S240단계에서 PCR이 PTS보다 크면 모니터링부(134a)는 PCR로부터 PTS를 감산한 제2결과와 기설정된 제2임계값을 오디오 프레임 처리부(134b)에게 제공하며, 오디오 프레임 처리부(134b)는 제2결과가 제2임계값보다 크면 오디오신호를 해당시간만큼 skip시킨 후 스피커(100b)로 출력한다(S250).
한편, S205단계에서 TSin에 복수의 오디오 개체가 포함된 것으로 확인된 경우, CA_PMT 생성부(152)는 복수의 오디오 개체 중 사용자에 의해 기선택된 오디오 개체에 대한 정보를 포함하는 CA_PMT를 생성한다(S255).
CI부(160)는 S255단계에서 생성된 CA_PMT 및 DeMUX(120)에 의해 생성된 TSin을 CI 모듈(200)로 전송한다(S260). 전송된 CA_PMT 및 TSin은 DeMUX(210)에 의해 역다중화되어 CA_PMT는 카드 제어부(260)로, 오디오신호는 버퍼(220)로, 비디오신호는 제1압축방식 디코더(230)로 입력된다.
그리고, 제1압축방식 디코더(230)는 제1압축방식의 비디오신호를 디코딩하고, 제2압축방식 엔코더(240)는 디코딩된 비디오신호를 제2압축방식으로 엔코딩한다(S265, S270).
TS MUX(250)는 S270단계에서 엔코딩된 비디오신호와 버퍼(220)에 저장된 오디오신호를 동기화하여 리먹싱함으로써 TSout을 생성한다(S275). 이 때, 카드 제어부(260)는 오디오신호에 포함된 다수의 오디오 개체 중 CA_PMT에 포함된 오디오 개체에 해당하는 오디오신호와 비디오신호를 동기화하도록 TS MUX(250)를 제어한다.
생성된 TSout은 CI부(160)를 통해 DeMUX(120)로 전송되어 비디오신호 및 오디오신호로 역다중화된다. 비디오 처리부(132)는 역다중화된 비디오신호를 디코딩한 후 표시부(100a)로 출력한다. 그리고, 메인 제어부(180)는 상술한 S235단계 내지 S250단계를 수행한다.
상술한 본 발명에 따른 디지털신호 처리장치(100)에 의하면, 오디오신호가 실제 스피커(100b)로 출력되어야 할 시점(PTS)과 오디오신호가 스피커(100b)로 출력되기 위하여 대기하는 시점(PCR)의 차이를 고려하여 오디오신호가 실제 스피 커(100b)로 출력되는 타이밍이 PTS에 근접하도록 조정함으로써 비디오신호와의 동기를 보다 정확히 맞출 수 있다.
본 발명에 따른 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치 및 그의 방법에 의하면, 압축방식의 비디오 트랜스코딩을 지원하는 경우 발생하는 오디오신호와 비디오신호 간의 동기를 CI CAM/Card가 아닌 디지털신호 처리장치에서 조정하는 것이 가능하다.
특히, 본 발명은 MPEG 4를 지원하는 사업체로부터 전송되는 비디오신호를 기기에서 지원하는 MPEG 2로 트랜스코딩하는 경우 발생하는 동기의 어긋남을 디지털신호 처리장치에서 보상함으로써, 디지털 신호 처리장치는 MPEG4의 동영상을 정확하게 제공하는 효과가 있다.
또한, 본 발명은 CI CAM/Card 내에서 수행되는 비디오 트랜스코딩으로 인하여 발생하는 비디오신호의 지연을 고려하여 오디오신호를 동기화하므로, 오디오 글리치 현상을 방지하는 것이 가능하다.
또한, 본 발명은 CI CAM/Card에서 발생하는 비디오신호의 딜레이를 디지털신호 처리장치가 자동으로 계산함으로써 CI CAM/Card의 종류 또는 사업체에 관계없이 본 발명을 적용시키는 것이 가능하다.
또한, TS에 복수의 오디오 개체가 포함된 경우, 사용자에 의해 선택된 오디오 개체에 대응되는 오디오신호와 비디오신호를 동기화함으로써 오디오 랭귀지 변경시 발생하는 동기화 문제를 해소하는 것이 가능하다.
또한, 본 발명은 오디오신호와 비디오신호의 동기화를 위하여 사용되는 임계값들을 PTS와 PCR의 차이에 따라 적응적으로 조정함으로써 보다 정확한 동기화가 이루어지도록 한다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (12)

  1. 선택된 채널을 선국하는 튜너;
    상기 선국된 채널의 제1압축방식의 비디오신호를 제2압축방식으로 트랜스코딩한 후 상기 선국된 채널의 오디오신호와 동기화하여 전송 스트림 형태로 출력하는 CI(Common Interface) 모듈이 장착되는 인터페이스부; 및
    상기 인터페이스부로부터 입력되는 전송 스트림에 포함된 상기 오디오신호가 실제 출력되어야 하는 제1시점과 상기 전송 스트림의 오디오신호가 외부로 출력되기 위하여 디코딩되는 제2시점의 차이를 모니터링하고, 상기 모니터링 결과를 이용하여, 상기 오디오신호의 출력 시점을 조정하는데 사용되는 임계값을 상기 채널별로 적응적으로 보정하는 신호 처리부;를 포함하는 것을 특징으로 하는 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치.
  2. 제 1항에 있어서,
    상기 신호 처리부는 상기 모니터링 결과와 기저장된 임계값을 비교하여 상기 모니터링 결과가 상기 임계값보다 크면 상기 모니터링 결과와 상기 임계값을 가산하여 보정된 임계값을 산출하고, 상기 보정된 임계값을 이용하여 상기 선국된 채널의 오디오신호의 출력 시점을 조정하는 것을 특징으로 하는 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치.
  3. 제 1항에 있어서,
    상기 오디오신호가 복수 오디오 개체를 포함하는 경우, 상기 복수 오디오 개체 중 사용자에 의해 선택된 오디오 개체의 정보만을 상기 CI 모듈에게 전송하는 CI스택;을 더 포함하며,
    상기 CI 모듈은 상기 선택된 오디오 개체에 해당하는 오디오신호와 상기 트랜스코딩된 비디오신호를 동기화하여 출력하는 것을 특징으로 하는 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치.
  4. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
    상기 신호 처리부는,
    상기 제1시점이 상기 제2시점보다 큰 경우, 상기 제1시점으로부터 상기 제2시점을 감산한 제1결과와 제1임계값을 비교하여 상기 제1결과가 상기 제1임계값보다 크면 해당시간만큼 상기 오디오신호를 pause처리하는 것을 특징으로 하는 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치.
  5. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
    상기 신호 처리부는,
    상기 제1시점이 상기 제2시점보다 작은 경우, 상기 제2시점으로부터 상기 제1시점을 감산한 제2결과와 제2임계값을 비교하여 상기 제2결과가 상기 제2임계값보다 크면 해당시간만큼 상기 오디오신호를 skip처리하는 것을 특징으로 하는 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치.
  6. 제 1항에 있어서,
    상기 신호 처리부는 일정 시간 간격으로 산출된 상기 제1시점과 상기 제2시점의 차이의 평균을 이용하여 상기 오디오신호를 pause 또는 skip 처리하는 것을 특징으로 하는 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치.
  7. 선택된 채널을 선국하는 단계;
    상기 선국된 채널의 제1압축방식의 비디오신호를 제2압축방식으로 트랜스코딩한 후 상기 선국된 채널의 오디오신호와 동기화하여 전송 스트림 형태로 출력하는 단계; 및
    상기 전송 스트림에 포함된 상기 오디오신호가 실제 출력되어야 하는 제1시점과 상기 전송 스트림의 오디오신호가 스피커로 출력되기 위하여 대기하는 제2시점의 차이를 모니터링하고, 상기 모니터링된 차이에 따라 상기 오디오신호의 실제 출력 시점을 조정하여 상기 스피커로 출력하며, 상기 모니터링 결과를 이용하여, 상기 오디오신호의 출력 시점을 조정하는데 사용되는 임계값을 상기 채널별로 적응적으로 보정하는 단계;를 포함하는 것을 특징으로 하는 오디오/비디오신호의 동기화를 위한 디지털신호 처리방법.
  8. 제 7항에 있어서,
    상기 보정하는 단계는 상기 모니터링 결과와 기저장된 임계값을 비교하여 상기 모니터링 결과가 상기 임계값보다 크면 상기 모니터링 결과와 상기 임계값을 가산하여 보정된 임계값을 산출하고, 상기 보정된 임계값을 이용하여 상기 선국된 채널의 오디오신호의 출력 시점을 조정하는 것을 특징으로 하는 오디오/비디오신호의 동기화를 위한 디지털신호 처리방법.
  9. 제 7항에 있어서,
    상기 전송 스트림 형태로 출력하는 단계는,
    상기 오디오신호가 복수 오디오 개체를 포함하는 경우, 상기 복수 오디오 개체 중 사용자에 의해 선택된 오디오 개체에 해당하는 오디오신호와 상기 트랜스코딩된 비디오신호를 동기화하여 출력하는 것을 특징으로 하는 오디오/비디오신호의 동기화를 위한 디지털신호 처리방법.
  10. 제 7항 내지 제 9항 중 어느 한 항에 있어서,
    상기 스피커로 출력하는 단계는,
    상기 제1시점이 상기 제2시점보다 큰 경우, 상기 제1시점으로부터 상기 제2시점을 감산한 제1결과와 제1임계값을 비교하여 상기 제1결과가 상기 제1임계값보다 크면 해당시간만큼 상기 오디오신호를 pause처리하는 것을 특징으로 하는 오디오/비디오신호의 동기화를 위한 디지털신호 처리방법.
  11. 제 7항 내지 제 9항 중 어느 한 항에 있어서,
    상기 스피커로 출력하는 단계는,
    상기 제1시점이 상기 제2시점보다 작은 경우, 상기 제2시점으로부터 상기 제1시점을 감산한 제2결과와 제2임계값을 비교하여 상기 제2결과가 상기 제2임계값보다 크면 해당시간만큼 상기 오디오신호를 skip처리하는 것을 특징으로 하는 오디오/비디오신호의 동기화를 위한 디지털신호 처리방법.
  12. 제 7항에 있어서,
    상기 스피커로 출력하는 단계는, 일정 시간 간격으로 산출된 상기 제1시점과 상기 제2시점의 차이의 평균을 이용하여 상기 오디오신호를 pause 또는 skip 처리하는 것을 특징으로 하는 오디오/비디오신호의 동기화를 위한 디지털신호 처리방법.
KR1020060091465A 2006-09-20 2006-09-20 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치및 그의 방법 KR100802133B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060091465A KR100802133B1 (ko) 2006-09-20 2006-09-20 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치및 그의 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060091465A KR100802133B1 (ko) 2006-09-20 2006-09-20 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치및 그의 방법

Publications (1)

Publication Number Publication Date
KR100802133B1 true KR100802133B1 (ko) 2008-02-11

Family

ID=39342778

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060091465A KR100802133B1 (ko) 2006-09-20 2006-09-20 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치및 그의 방법

Country Status (1)

Country Link
KR (1) KR100802133B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101805427B1 (ko) * 2011-04-19 2017-12-08 삼성전자주식회사 예약녹화된 방송을 출력하는 장치 및 그 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980027646A (ko) * 1996-10-17 1998-07-15 이준 타임스탬프 보상을 이용한 비디오와 오디오 동기 방법 및 이를 이용한 mpeg-2 인코더 장치
KR19980036074A (ko) * 1996-11-15 1998-08-05 배순훈 디코더 시스템의 비디오/오디오 동기화 장치
JP2004208308A (ja) 2002-12-20 2004-07-22 Stmicroelectronics Sa オーディオフレームおよび／またはビデオフレームの再生を同期化する方法と装置、ビデオドライバ回路、デコーダボックス
KR20050077404A (ko) * 2004-01-28 2005-08-02 (주)아이앤씨테크놀로지 셋탑박스의 씨아이 제어기에서 모드 변환시 데이터의 손실방지 장치
KR20060065436A (ko) * 2004-12-10 2006-06-14 한국전자통신연구원 디지털 멀티미디어 방송 수신 장치에서의 오디오 및 비디오동기화 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980027646A (ko) * 1996-10-17 1998-07-15 이준 타임스탬프 보상을 이용한 비디오와 오디오 동기 방법 및 이를 이용한 mpeg-2 인코더 장치
KR19980036074A (ko) * 1996-11-15 1998-08-05 배순훈 디코더 시스템의 비디오/오디오 동기화 장치
JP2004208308A (ja) 2002-12-20 2004-07-22 Stmicroelectronics Sa オーディオフレームおよび／またはビデオフレームの再生を同期化する方法と装置、ビデオドライバ回路、デコーダボックス
KR20050077404A (ko) * 2004-01-28 2005-08-02 (주)아이앤씨테크놀로지 셋탑박스의 씨아이 제어기에서 모드 변환시 데이터의 손실방지 장치
KR20060065436A (ko) * 2004-12-10 2006-06-14 한국전자통신연구원 디지털 멀티미디어 방송 수신 장치에서의 오디오 및 비디오동기화 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101805427B1 (ko) * 2011-04-19 2017-12-08 삼성전자주식회사 예약녹화된 방송을 출력하는 장치 및 그 제어 방법

Similar Documents

Publication Publication Date Title
US7735111B2 (en) Merging of multiple encoded audio-video streams into one program with source clock frequency locked and encoder clock synchronized
US9426479B2 (en) Preserving captioning through video transcoding
US6906755B2 (en) Method and apparatus for synchronizing audio and video data
JP6313704B2 (ja) 受信装置およびその同期処理方法
KR101168612B1 (ko) 디지털 방송수신기의 동기장치 및 방법
EP2485501B1 (en) Fast channel change companion stream solution with bandwidth optimization
KR20070106408A (ko) 디지털 방송 수신장치 및 그 제어 방법
US20150101004A1 (en) Receiver apparatus and synchronization processing method thereof
EP2079233A2 (en) Digital broadcast receiver and digital broadcast receiving method
US20060007356A1 (en) Method and system for maintaining lip synchronization
KR100802133B1 (ko) 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치및 그의 방법
US20130003867A1 (en) Video display device
KR101547697B1 (ko) 모바일 방송수신기의 신호 동기화 장치 및 그 방법
KR100998449B1 (ko) Ｄｍｂ 수신장치 및 그 버퍼제어 방법
KR100499519B1 (ko) 오디오 립 싱크 제어방법
KR102152337B1 (ko) 케이블 방송용 셋탑 박스 및 그를 포함하는 자막 동기화 시스템
KR100499518B1 (ko) 오디오 립 싱크 제어방법
KR20100107138A (ko) 디지털 방송 수신기에서 ｅｐｇ 시간 보정방법 및 장치
KR100978506B1 (ko) 디지털 방송 시청 단말기 및 그 단말기의 버퍼제어 방법
Hoffner Audio-video synchronization across DTV transport interfaces: the impossible dream?

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
LAPS Lapse due to unpaid annual fee