KR20050073482A - Lip 동기를 유지하기 위한 방법 및 시스템 - Google Patents
Lip 동기를 유지하기 위한 방법 및 시스템 Download PDFInfo
- Publication number
- KR20050073482A KR20050073482A KR1020057005951A KR20057005951A KR20050073482A KR 20050073482 A KR20050073482 A KR 20050073482A KR 1020057005951 A KR1020057005951 A KR 1020057005951A KR 20057005951 A KR20057005951 A KR 20057005951A KR 20050073482 A KR20050073482 A KR 20050073482A
- Authority
- KR
- South Korea
- Prior art keywords
- video signal
- audio
- displacement
- input buffer
- buffer level
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4392—Processing of audio elementary streams involving audio buffer management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/04—Systems for the transmission of one television signal, i.e. both picture and sound, by a single carrier
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/015—High-definition television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Receiver Circuits (AREA)
- Synchronizing For Television (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
Abstract
본 개시되는 실시예는 비디오 신호(29)와 오디오 신호(31) 사이에 동기화를 유지하기 위한 시스템(23) 및 방법(200)에 관한 것이다. 비디오 신호(29) 및 오디오 신호(31)는 고정된 클록을 사용하여 처리된다. 시스템(23)은 초기 오디오 입력 버퍼 레벨을 판정하는 구성요소(34), 상기 초기 오디오 입력 버퍼 레벨에서의 드리프트의 양을 판정하고, 상기 드리프트의 양이 제1 소정의 임계치에 도달하는 경우에 상기 클록을 조정하여 상기 초기 오디오 입력 버퍼 레벨을 유지하는 구성요소(34), 및 상기 클록의 상기 조정에 응답하여 상기 오디오 신호(31)와 연관된 비디오 신호(29)의 변위를 측정하고, 상기 측정된 변위가 제2 소정의 임계치에 도달하는 경우, 상기 비디오 신호의 상기 측정된 변위를 무효화하는 구성요소(32)를 포함한다.
Description
본 출원은 2002년 10월 24일자로 출원되고, 발명의 명칭이 "A METHOD AND SYSTEM FOR MAINTAINING LIP SYNCH"인 미국 가출원 제 60/420,871호의 우선권을 주장하며, 이를 여기에서 참조로 포함한다.
본 발명은 오디오/비디오 신호 수신기에서의 오디오 및 비디오 신호 사이에 동기를 유지하는 분야에 관한 것이다.
이 섹션은 상세한 설명 및/또는 청구범위에서의 본 발명의 다양한 태양과 관련된 다양한 기술 분야를 독자에게 설명하기 위함이다. 이 설명이 독자에게 배경정보를 제공하여, 본 발명의 다양한 태양에 대하여 보다 잘 이해할 수 있도록 할 것으로 생각된다. 따라서, 이 설명들은 이러한 관점에서 읽혀야 할 것이지, 종래 기술의 수용으로 받아들여서는 안되는 것은 물론이다.
텔레비젼과 같은 디스플레이 장치에 포함될 수 있는 일부 오디오/비디오 수신기 모듈은 비디오 출력 D/A 클록에 고정된 오디오 출력 디지털-아날로그(D/A) 클록을 갖도록 설계되었다. 이것은 오디오 클록 및 비디오 클록이 별도로 제어될 수 없다는 것을 의미한다. 신호 제어 시스템은 균등한 퍼센티지만큼 양 클록들의 속도를 가변적으로 변경시킨다. 이러한 시스템의 일부에서, 클록 복구 시스템은 비디오(D/A) 클록을 비디오 소스 아날로그-디지털(A/D) 클록에 일치시킬 수 있다. 그 후, 오디오 출력(D/A) 클록은 오디오 소스 A/D 클록에 일치되는 것으로 가정될 수 있다. 이 가정은, 소스 오디오 및 비디오가 생성되는 경우에, 브로드캐스터들이 그 오디오 및 비디오 클록을 유사하게 고정할 것으로 예상된다는 사실에 기초한다.
ATSC(Advanced Television Systems Committee) 명세사항이 브로드캐스터들로 하여금 비디오 소스 A/D 클록을 오디오 소스 A/D 클록에 고정하도록 요구하기는 하지만, 이 클록들이 고정되지 않는 경우들이 있었다. 송신되는 비디오 소스 자료의 클록으로 송신되는 오디오 소스 자료의 클록을 고정하는데 브로드캐스터들이 실패하여, 오디오 제공이 발생해야 하는 때와 오디오가 실제로 제공되는 때 사이에 시간 지연이 있을 수도 있다. lip 동기화 또는 립싱크 에러로 지칭될 수 있는 이 에러는 오디오/비디오 장치에 의하여 제공되는 사운드로 하여금 디스플레이되는 영상과 일치하지 않도록 할 수도 있다. 이 효과는 많은 시청자들의 심기를 불편하게 한다.
비디오 출력 레이트를 비디오 입력 레이트에 일치시킴으로써 오디오/비디오 클록이 복구되는 경우에, 립싱크 에러를 보상하는 유일한 방법은 오디오 출력을 시간 조작하는 것이다. 오디오가 연속적인 시간 제공이기 때문에, 일정 종류의 가청 왜곡, 뮤트 또는 스킵을 갖지 않고서, 오디오 출력을 시간 조작하는 것은 어려운 일이다. 이 원하지 않는 가청 교란의 주파수는 방송국에서의 상대적인 비고정 오디오와 비디오 클록들 사이의 주파수 차이에 의존한다. ATSC 소스는 매 2-3분마다 오디오를 뮤트하는 것으로 관찰되었다. 오디오 신호의 주기적 뮤팅은 텔레비전의 시청자에게 바람직하지 않은 결과를 가져올 수 있다.
고해상도 텔레비전(HDTV)을 포함한 다양한 텔레비전은 비고정 ATSC 소스로 구현되었으며, 커지는 립싱크 에러를 보정하기 위하여 HDTV는 일부 유형의 오디오 쉬프트를 수행한다. 오디오 쉬프트 동안의 뮤팅 대신에, 실제로 HDTV는 뮤트를 마스크하는 일부 유형의 정적 노이즈를 삽입하고, 이는 진폭상 오디오 진폭과 상대적으로 같다. 신호 내로 이 정적 잡음의 도입은 텔레비전의 시청자에게 바람직하지 않은 결과를 가져올 수 있다.
도면에서,
도 1은 본 발명이 구현될 수 있는 예시적인 시스템의 블록도이다.
도 2는 본 발명의 실시예에서 구현될 수 있는 버퍼 제어 테이블에 대응하는 그래픽 도시이다.
도 3은 본 발명의 실시예에 따른 프로세스를 나타내는 흐름도이다.
본 개시되는 실시예는 비디오 신호와 오디오 신호 사이에 동기화를 유지하기 위한 시스템 및 방법에 관한 것이다. 비디오 신호 및 오디오 신호는 고정된 클록을 사용하여 처리된다. 시스템은 초기 오디오 입력 버퍼 레벨을 판정하는 구성요소, 상기 초기 오디오 입력 버퍼 레벨에서의 드리프트의 양을 판정하고, 상기 드리프트의 양이 제1 소정의 임계치에 도달하는 경우에 상기 클록을 조정하여 상기 초기 오디오 입력 버퍼 레벨을 유지하는 구성요소, 및 상기 클록의 상기 조정에 응답하여 상기 오디오 신호와 연관된 비디오 신호의 변위를 측정하고, 상기 측정된 변위가 제2 소정의 임계치에 도달하는 경우, 상기 비디오 신호의 상기 측정된 변위를 무효화하는 구성요소를 포함한다.
본 발명의 하나 이상의 시시예를 이하에서 설명하기로 한다. 이 실시예의 정확한 기재를 제공하고자 하는 노력에서, 실제 구현에서의 모든 특징들이 본 명에서에서 설명되어 있는 것은 아니다. 임의의 엔지니어링 또는 설계 프로젝트에서와 같은 임의의 이러한 실제의 구현의 발전에서, 구현마다 다를 수도 있는 시스템-관련 및 영업-관련 호환성과 같은 개발자 특정의 목적을 달성하기 위하여 많은 구현-특정의 결정이 행해질 수 있음은 물론이다. 게다가, 이러한 개발 노력이 복잡하고 시간 소모적임에도 불구하고, 이 개시사항을 향유하는 당업자에게 있어서는 설계, 제조의 반복적인 일이 될 것이다.
본 발명은 소스 오디오 클록 및 소스 비디오 클록이 고정되지 않고, 디지털 TV 오디오 및 비디오 클록이 고정되는 경우에 오디오/비디오 수신기(예컨대, HDTV를 포함하는 디지털 TV)로 하여금 동기화된 오디오 및 비디오를 제공할 수 있게 한다. 게다가, 본 발명은 MPEG 소스와 같은 디지털 소스의 비고정 오디오 및 비디오 클록에서의 립싱크를 유지하는데 유용할 수 있다.
도 1은 본 발명이 구현될 수 있는 예시적인 시스템의 블록도이다. 시스템은 도면부호 10으로 지칭된다. 당업자는 도1에 도시한 구성요소가 단지 예시의 목적을 위한 것임을 알 수 있다. 본 발명을 구현하는 시스템은 도 1에 도시한 구성요소들의 서브셋 또는 부가적인 요소를 사용하여 구현될 수 있다. 부가적으로, 도 1에 도시한 기능 블록들은 결합되거나 또는 보다 작은 기능 유닛으로 분리될 수 있다.
브로드캐스터 사이트는 송신 이전에 비디오 신호 및 대응하는 오디오 신호를 개별적으로 처리하는 비디오 A/D 컨버터(12) 및 오디오 A/D 컨버터(14)를 포함한다. 비디오 A/D 컨버터(12) 및 오디오 A/D 컨버터(14)는 별도의 클록 신호에 의하여 동작된다. 도 1에 도시한 바와 같이, 비디오 A/D 컨버터(12)와 오디오 A/D 컨버터(14)에 대한 클록들이 반드시 고정되는 것은 아니다. 비디오 A/D 컨버터(12)는 이산 코사인 변환(DCT)을 이용하는 동작 보상 예측 인코더를 포함할 수도 있다. 비디오 신호는 비디오 신호 압축기/인코더(16)에 전달되고, 오디오 신호는 오디오 압축기/인코더(18)에 전달된다. 압축된 비디오 신호는 MPEG 등과 같은 일부 신호 프로토콜에 따라서 다른 보조 데이터와 함께 배치된다.
비디오 압축기/인코더(16) 및 오디오 압축기/인코더(18)의 출력은 오디오/비디오 멀티플렉서(20)에 전달된다. 오디오/비디오 멀티플렉서(20)는 오디오/비디오 수신 유닛으로의 송신을 위하여 오디오 및 비디오 신호를 단일한 신호로 결합한다. 당업자에 의해 이해되는 바와 같이, 시분할 멀티플렉싱과 같은 전략이 오디오/비디오 멀티플렉서(20)에 의하여 사용되어, 오디오 및 비디오 신호를 결합할 수 있다. 오디오/비디오 멀티플레서(20)의 출력은 송신 매카니즘(22)으로 전달되어, 신호를 증폭 및 방송할 수 있다.
디지털 텔레비전을 포함할 수도 있는 오디오/비디오 수신기(23)는 브로드캐스터 사이트로부터 송신되는 오디오/비디오 신호를 수신하도록 적합화된다. 신호는 수신 매카니즘(24)에 의하여 수신되는데, 이는 수신된 신호를 오디오/비디오 디멀티플렉서(26)로 전달한다. 오디오/비디오 멀티플렉서(26)는 수신된 신호를 비디오 및 오디오 성분으로 디멀티플렉싱한다. 디멀티플렉싱된 비디오 신호(29)는 추가적인 처리를 위하여 비디오 압축해제기/디코더(28)로 전달된다. 디멀티플렉싱된 오디오 신호(31)는 추가적인 처리를 위하여 오디오 압축해제기/디코더(30)으로 전달된다.
압축해제기/디코더(28)의 출력은 비디오 D/A 컨버터(32)로 전달되고, 압축해제기/디코더(30)의 출력은 오디오 D/A 컨버터(34)로 전달된다. 도 1에 도시한 바와 같이, 비디오 D/A 컨버터(32) 및 오디오 D/A 컨버터(34)의 클록들은 항상 고정된다. 비디오 D/A 컨버터(32) 및 오디오 D/A 컨버터(34)의 출력들은 시청자의 관람을 위한 비디오 이미지 및 대응하는 오디오 출력을 각각 생성하는데 사용된다.
도 1의 예시적인 시스템에서의 하드웨어가 오디오 및 비디오 표시의 분리된 제어를 허용하지 않더라도, 본 발명의 실시예를 사용하여 이러한 제어가 필요한지를 판정할 수 있다. 본 발명의 실시예에 의하면, 수신된 오디오 및 비디오 신호와 연관된 상대적인 전달 타이밍은 수신된 오디오 버퍼의 레벨을 관찰함으로써 측정된다. 오디오 버퍼의 레벨은 립싱크 에러의 상대적으로 정확한 측정인 것으로 관찰되었다.
오디오 및 비디오 신호들이 처음에 적절히 동기화되는 경우, 수신된 비디오 데이터 및 오디오 데이터는 재생 동안에 동일한 속도로 사용되어야 한다. 이 경우에, 오디오 정보를 보유하는 버퍼는 확대되지 않고 일정 시간 동안 대략 동일한 크기로 유지되어야 한다. 오디오 버퍼가 일반적으로 안정적인 범위를 초과하여 확대 또는 축소하는 경우에, 이는 적절한 링싱크가 조정되었다는 표시이다. 예컨대, 오디오 버퍼가 일정 시간에 걸쳐 전형적인 범위를 초과하여 확대된 경우, 이는 비디오 신호가 오디오 신호를 리딩한다(leading)는 표시이다. 오디오 버퍼가 그 전형적인 범위 아래로 축소되는 경우, 이는 비디오 신호가 오디오 신호에 래깅한다(lagging)는 표시이다. 링싱크 에러가 일정 시간에 걸쳐 0 근처에 있다고 판정되는 경우(즉, 오디오 버퍼가 일정 시간에 걸쳐 상대적으로 일정한 크기로 유지되는 경우), 오디오 A/D 소스 클록은 비디오 A/D 소스 클록에 고정되어 있는 것으로 추정된다. 일정 시간에 걸쳐 립싱크 에러가 커지는 경우, 오디오 A/D 및 비디오 A/D 소스 클록은 반드시 고정되는 것은 아니며, 보정이 요구될 수도 있다.
당업자라면 본 발명의 실시예들이 소프트웨어, 하드웨어 또는 이들의 결합으로 구현될 수 있음을 알 수 있다. 게다가, 본 발명의 구성 부분들은 비디오 압축해제기/디코더(28), 오디오 압축해제기/디코더(30), 비디오 D/A 컨버터(32), 및/또는 오디오 D/A 컨버터(34) 또는 이들의 조합으로 배치될 수 있다. 부가적으로, 본 발명의 구성요소 또는 기능적인 태양은 도 1에 도시하지 않은 다른 장치로 배치될 수 있다.
신규한 오디오/비디오 제공이 개시되는 경우마다, 종종 채널 변경 동안에, 본 발명의 실시예는 초기 오디오 D/A 입력 버퍼 레벨을 메모리에 저장할 수 있다. 이 데이터는 비디오 D/A 컨버터, 오디오 D/A 컨버터(34) 내 또는 그 외부에 저장될 수 있다.
오디오 소스 클록이 비디오 소스에 고정되는 경우, 버퍼 레벨은 일정 시간에 걸쳐 상대적으로 일정하게 유지되어야 한다. 버퍼 레벨이 드리프트되고, 그 드리프트가 대략 +/- 10 ms를 초과하는 립싱크 에러에 대응하는 경우에, 통상적인 클록 복구 제어는 디스에이블링될 수 있고, 비디오 D/A 컨버터(32) 및 오디오 D/A 컨버터(34)의 고정된 클록들은 버퍼 레벨을 그 초기 레벨로 되돌리는 방향으로 이동될 수 있다.
이 프로세스가 오디오 버퍼 레벨을 그 초기 레벨로 되돌리는 동안, 비디오가 그 원위치로부터 이동하는 정도가 또한 측정된다. 비디오가 대략 +/- 25 ms만큼 변위되는 경우, 프로세스는 (예컨대, 초기 오디오 입력 버퍼 레벨의 측정을 다시 개시함으로써) 반복되거나, 또는 비디오 프레임(예컨대, 수신된 비디오의 MPEG 프레임)을 드롭하여, 그 측정된 변위를 무효화할 수 있다.
프로세스는, 또 다른 채널 변경이 검출될 때까지, 오디오 출력을 오디오 소스에 고정하고, 비디오 프레임을 스킵 또는 반복하여 임의의 비디오 드리프트를 무효화하는 모드로 계속된다. 신규한 채널 변경 후에, 본 발명의 실시예는 립싱크 에러의 보정을 중지하고, 시스템으로 하여금 신규한 립싱크 에러가 검출될 때까지 비디오 출력을 비디오 입력에 고정시키는 종래의 방법으로 되돌아가도록 할 수 있다.
초기 오디오 출력 D/A 입력 버퍼 레벨과 실제의 오디오 출력 D/A 입력 버퍼 레벨에 기초하여, 고정된 오디오 및 비디오 출력 클록들을 제어하는데 사용되는 알고리즘은, 안정적인 성능에 매우 중요하다. 버퍼 레벨이 타겟으로부터 멀리 떨어지는 경우에 버퍼 레벨이 빠르게 증가되며, 타겟으로부터 상대적으로 멀리 있게 되는 경우에 타겟을 향하여 빨리 이동하며, 원하는 위치에 접근하는 경우에 감속하는 응답을 갖는 것이 바람직하다. 이는, 예컨대, 상대적인 위치에 대한 클록 주파수 변화와 변화율을 관련시키는 2 개의 제어 테이블을 생성함으로써, 달성된다.
테이블 1은 클록 주파수 변화를 상대적인 변화율과 관련시킨다.
주파수 변화 (Hz) | 상대적인 변화율 (Bytes) |
-430 | v < -2000 |
-354 | -2000 < v < -1800 |
-286 | -1800 < v < -1600 |
-226 | -1600 < v < -1400 |
-174 | -1400 < v < -1200 |
-130 | -1200 < v < -1000 |
-94 | -1000 < v < -800 |
-62 | -800 < v < -600 |
-46 | -600 < v < -400 |
-34 | -400 < v < -200 |
0 | -200 < v < 200 |
34 | 200 < v < 400 |
46 | 400 < v < 600 |
62 | 600 < v < 800 |
94 | 800 < v < 1000 |
130 | 1000 < v < 1200 |
174 | 1200 < v < 1400 |
226 | 1400 < v < 1600 |
286 | 1600 < v < 1800 |
354 | 1800 < v < 2000 |
430 | 2000 < v |
테이블 1
테이블 2는 클록 주파수 변화를 상대적인 거리와 관련시킨다.
주파수 변화 (Hz) | 상대적인 거리 (Bytes) |
-100 | x < -4000 |
-90 | -4000 < x < -3600 |
-80 | -3600 < x < -3200 |
-70 | -3200 < x < -2800 |
-60 | -2800 < x < -2400 |
-50 | -2400 < x < -2000 |
-40 | -2000 < x < -1600 |
-30 | -1600 < x < -1200 |
-20 | -1200 < x < -800 |
-10 | -800 < x < -400 |
0 | -400 < x < 400 |
10 | 400 < x < 800 |
20 | 800 < x < 1200 |
30 | 1200 < x < 1600 |
40 | 1600 < x < 2000 |
50 | 2000 < x < 2400 |
60 | 2400 < x < 2800 |
70 | 2800 < x < 3200 |
80 | 3200 < x < 3600 |
90 | 3600 < x < 4000 |
100 | 4000 < x |
테이블 2
당업자라면 테이블 1 및 2에 나타낸 값들이 예시적이고, 본 발명을 한정하도록 해석되지 않아야 함을 알 수 있다. 버퍼 레벨이 오디오 디코드로 인한 불규칙적인 입력 레이트 및 D/A 출력 클록으로 인한 매우 규칙적인 출력 레이트를 가지기 때문에, 버퍼 레벨 데이터는 다소 불규칙한 지터(jitter)를 가지게 된다. 이 다소의 지터를 소거하기 위하여, 버퍼 레벨은 30초 기간에 걸쳐 최대 버퍼 판독치와 최소 버퍼 판독치 사이의 중간점인 것으로 추정된다. 이 중간점은 주기적으로(예컨대, 매 30초 마다) 계산될 수 있으며, 일정 시간 동안의 오디오 소스 A/D 클록 주파수와 오디오 출력 D/A 클록 주파수 사이의 차이의 양호한 판독을 제공할 수 있다.
도 2를 참조하면, 버퍼 제어 테이블(상술함)을 그래픽으로 나타내는 차트가 도시되어 있다. 이 차트는 통상 도면 부호 100으로 참조된다. 거리 함수(102) 및 변화율 함수(104)가 도 2에 도시되어 있다. 차트(100)의 y축은 헤르쯔 단위의 상대적 주파수 변화에 대응한다. 차트(100)의 x축은 거리 함수(102)에 대한 바이트 단위의 버퍼 변화율 및 변화율 함수(104)에 대한 바이트 단위의 상대적인 버퍼 변화율에 대응한다. 당업자는 차트(100)에 도시한 값들이 예시적이고, 본 발명을 한정하는 것은 해석되지 않아야 함을 알 수 있다.
차트(100)는, 버퍼 레벨이 초기 위치로부터 멀어지는 경우, 그리고 변화율이 잘못된 방향에 있는 경우에, 본 발명의 실시예가 주파수 보상이 적절한 방향으로 상대적으로 크게 되도록 하는 방법을 나타낸다. 이 커다란 주파수 보상은, 변화율이 스위칭되고, 버퍼 레벨이 올바른 방향으로 이동할 때까지 계속된다. 이 포인트에서, 속도 요소는 위치 요소에 대향하여 동작하기 시작할 것이다. 그러나, 위치 요소가 변화율 요소보다 더 큰 한, 주파수는 타겟을 향하여 변화율을 증가시키도록 되고, 거리는 감소될 것이다. 일단 변화율 요소가 거리 요소보다 더 큰 경우에, 변화율은 감소하기 시작할 것이다. 이 동작은 거리 요소가 원하는 초기 버퍼 레벨에 근접함에 따라 변화율을 부드럽게 정지시키도록 한다.
도 3은 본 발명의 실시예에 따른 프로세스를 도시하는 흐름도이다. 프로세스는 참조 부호 200으로 참조된다. 블록 202에서, 프로세스는 개시된다.
블록 204에서, 초기 오디오 입력 버퍼 레벨이 판정된다. 일정 시간 동안에, 초기 오디오 입력 버퍼 레벨의 드리프트의 양이 블록 206에 도시한 바와 같이 판정된다. 드리프트가 제1 소정의 임계치를 초과하는 경우(208), 비디오 D/A 컨버터(32) 및 오디오 D/A 컨버터의 고정된 클록(도 1)은 초기 오디오 입력 버퍼 레벨을 유지하는 방향으로 조정된다.
클록의 조정에 응답하여, 비디오 신호의 변위가 블록 212에 도시한 바와 같이 조정된다. 비디오 신호의 변위가 제2 소정의 임계치를 초과하는 경우(214), 비디오 신호의 측정된 변위는 예컨대 그 프로세스를 재개시하거나 비디오 프레임을 드롭함으로써 무효화되어(블록 216), 동기화를 향상시키게 된다. 블록 218에서, 프로세스는 종료한다.
본 발명은 다양한 변형 및 대체 형태에 적합할 수 있지만, 특정한 실시예를 도면을 통하여 도시하였으며 여기서 상세히 설명하였다. 그러나, 본 발명을 개시된 특정한 형태에 제한하고자 의도된 것이 아님은 물론이다. 그 대신에, 본 발명은 첨부된 청구범위에 의하여 한정되는 바와 같이 본 발명의 사상 및 범위 내에 속하는 모든 변형, 등가물 및 대체물을 커버하기 위함이다.
Claims (20)
- 고정된 클록을 사용하여 비디오 신호와 오디오 신호 사이의 동기화를 유지하는 시스템에 있어서,초기 오디오 입력 버퍼 레벨을 판정하는 구성요소;상기 초기 오디오 입력 버퍼 레벨에서의 드리프트의 양을 판정하고, 상기 드리프트의 양이 제1 소정의 임계치에 도달하는 경우에, 상기 클록을 조정하여 상기 초기 오디오 입력 버퍼 레벨을 유지하는 구성요소; 및상기 클록의 상기 조정에 응답하여 상기 오디오 신호와 연관된 비디오 신호의 변위를 측정하고, 상기 측정된 변위가 제2 소정의 임계치에 도달하는 경우, 상기 비디오 신호의 상기 측정된 변위를 무효화하는 구성요소를 구비하는 것을 특징으로 하는 동기화 유지 시스템(23).
- 제 1 항에 있어서,상기 초기 오디오 입력 버퍼 레벨은 메모리에 저장되는 것을 특징으로 하는 동기화 유지 시스템(23).
- 제 1 항에 있어서,상기 드리프트의 양이 상기 제1 소정의 임계치에 도달하는 경우에, 클록 복구 제어가 디스에이블링되는 것을 특징으로 하는 동기화 유지 시스템(23).
- 제 1 항에 있어서,상기 오디오 신호(31) 및 상기 비디오 신호(29)는 MPEG 신호인 것을 특징으로 하는 동기화 유지 시스템(23).
- 제 1 항에 있어서,상기 오디오 신호(31)와 연관된 상기 비디오 신호(29)의 변위를 측정하는 상기 구성요소(32)는, 상기 초기 오디오 입력 버퍼 레벨의 측정을 다시 개시함으로써, 상기 비디오 신호(29)의 상기 측정된 변위를 무효화하도록 동작하는 것을 특징으로 하는 동기화 유지 시스템(23).
- 제 1 항에 있어서,상기 오디오 신호(31)와 연관된 상기 비디오 신호(29)의 변위를 측정하는 상기 구성요소(32)는, 상기 비디오 신호의 프레임을 드롭(drop)함으로써, 상기 비디오 신호(29)의 상기 측정된 변위를 무효화하도록 동작하는 것을 특징으로 하는 동기화 유지 시스템(23).
- 제 1 항에 있어서,상기 제1 소정의 임계치는 약 +/- 10 ms인 것을 특징으로 하는 동기화 유지 시스템(23).
- 제 1 항에 있어서,상기 제2 소정의 임계치는 약 +/- 25 ms인 것을 특징으로 하는 동기화 유지 시스템(23).
- 제 1 항에 있어서,상기 시스템(23)은 텔레비전 세트의 일부를 포함하는 것을 특징으로 하는 동기화 유지 시스템(23).
- 제 9 항에 있어서,상기 텔레비전 세트는 고해상도 텔레비전(HDTV) 세트를 포함하는 것을 특징으로 하는 동기화 유지 시스템(23).
- 고정된 클록들을 사용하여 처리되는 비디오 신호(29)와 오디오 신호(31) 사이의동기화를 유지하는 시스템(23)에 있어서,초기 오디오 입력 버퍼 레벨을 판정하기 위한 수단(34);상기 초기 오디오 입력 버퍼 레벨에서 드리프트의 양을 판정하는 수단(34);상기 드리프트의 양이 제1 소정의 임계치에 도달하는 경우에 상기 초기 오디오 입력 버퍼 레벨이 유지되도록 상기 클록들을 조정하는 수단(34);상기 클록의 조정에 응답하여 상기 오디오 신호(31)와 연관된 비디오 신호(29)의 변위를 측정하는 수단(32); 및상기 측정된 변위가 제2 소정의 임계치에 도달하는 경우 상기 비디오 신호(29)의 상기 측정된 변위를 무효화하는 수단(32)을 포함하는 것을 특징으로 하는 동기화 유지 시스템(23).
- 제 11 항에 있어서,상기 오디오 신호(31)와 상기 비디오 신호(29)는 MPEG 신호를 포함하는 것을 특징으로 하는 동기화 유지 시스템(23).
- 제 11 항에 있어서,상기 오디오 신호(31)와 연관된 상기 비디오 신호(29)의 변위를 측정하기 위한 수단(32)은, 상기 초기 오디오 입력 버퍼 레벨의 측정을 재-개시함으로써, 상기 비디오 신호(29)의 상기 측정된 변위를 무효화하도록 동작하는 것을 특징으로 하는 동기화 유지 시스템(23).
- 제 11 항에 있어서,상기 오디오 신호(31)와 연관된 상기 비디오 신호(29)의 변위를 측정하기 위한 수단(32)은, 상기 비디오 신호(29)의 프레임을 드롭함으로써, 상기 비디오 신호(29)의 상기 측정된 변위를 무효화하도록 동작하는 것을 특징으로 하는 동기화 유지 시스템(23).
- 고정된 클록들을 사용하여 처리되는 비디오 신호(29)와 오디오 신호(31) 사이의 동기화를 유지하기 방법(200)에 있어서,초기 오디오 입력 버퍼 레벨을 판정하는 단계(204);상기 초기 오디오 입력 버퍼 레벨에서 드리프트의 양을 판정하는 단계(206);상기 드리프트의 양이 제1 소정의 임계치에 도달하는 경우에 상기 초기 오디오 입력 버퍼 레벨이 유지되도록 상기 클록들을 조정하는 단계(210);상기 클록들의 조정에 응답하여 상기 오디오 신호(31)와 연관된 비디오 신호(29)의 변위를 측정하는 단계(212); 및상기 측정된 변위가 제2 소정의 임계치에 도달하는 경우에 상기 비디오 신호(29)의 상기 측정된 변위를 무효화하는 단계(216)를 포함하는 것을 특징으로 하는 동기화 유지 방법(200).
- 제 15 항에 있어서,상기 초기 오디오 입력 버퍼 레벨을 메모리에 저장하는 단계를 포함하는 것을 특징으로 하는 동기화 유지 방법(200).
- 제 15 항에 있어서,상기 드리프트의 양이 제1 소정의 임계치에 도달하는 경우에 클록 복구 제어를 디스에이블링하는 단계를 포함하는 것을 특징으로 하는 동기화 유지 방법(200).
- 제 15 항에 있어서,상기 비디오 신호의 상기 측정된 변위를 무효화하는 단계(216)는, 상기 초기 오디오 입력 버퍼 레벨의 상기 측정을 다시 개시하는 단계를 포함하는 것을 특징으로 하는 동기화 유지 방법(200).
- 제 15 항에 있어서,상기 비디오 신호의 상기 측정된 변위를 무효화하는 단계(216)는, 상기 비디오 신호의 프레임을 드롭하는 단계를 포함하는 것을 특징으로 하는 동기화 유지 방법(200).
- 제 15 항에 있어서,상기 단계들은 상기의 순서로 수행되는 것을 특징으로 하는 동기화 유지 방법(200).
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US42087102P | 2002-10-24 | 2002-10-24 | |
US60/420,871 | 2002-10-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20050073482A true KR20050073482A (ko) | 2005-07-13 |
Family
ID=32176641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020057005951A KR20050073482A (ko) | 2002-10-24 | 2003-10-22 | Lip 동기를 유지하기 위한 방법 및 시스템 |
Country Status (9)
Country | Link |
---|---|
US (1) | US20060007356A1 (ko) |
EP (1) | EP1554868A4 (ko) |
JP (1) | JP4462549B2 (ko) |
KR (1) | KR20050073482A (ko) |
CN (1) | CN100477802C (ko) |
AU (1) | AU2003284321A1 (ko) |
BR (1) | BR0315309A (ko) |
MX (1) | MXPA05004340A (ko) |
WO (1) | WO2004039056A2 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110022664A (ko) * | 2008-06-11 | 2011-03-07 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 미디어 스트림 구성요소들의 동기화 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7212248B2 (en) * | 2002-09-09 | 2007-05-01 | The Directv Group, Inc. | Method and apparatus for lipsync measurement and correction |
AU2003286797A1 (en) * | 2002-11-07 | 2004-06-03 | Thomson Licensing S.A. | A system and method for determining lip synchronization between audio and video in a digitized environment using buffer calculation |
US7519845B2 (en) | 2005-01-05 | 2009-04-14 | Microsoft Corporation | Software-based audio rendering |
CN100437546C (zh) * | 2005-06-30 | 2008-11-26 | 腾讯科技(深圳)有限公司 | 一种实现音频和视频同步的方法 |
JP2007124090A (ja) * | 2005-10-26 | 2007-05-17 | Renesas Technology Corp | 情報機器 |
US7948558B2 (en) * | 2006-09-29 | 2011-05-24 | The Directv Group, Inc. | Audio video timing measurement and synchronization |
US7765315B2 (en) * | 2007-01-08 | 2010-07-27 | Apple Inc. | Time synchronization of multiple time-based data streams with independent clocks |
DE102007045774B4 (de) * | 2007-09-25 | 2010-04-08 | Continental Automotive Gmbh | Verfahren und Vorrichtung zur Synchronisation einer Bildanzeige in einem Kraftfahrzeug |
WO2010122626A1 (ja) * | 2009-04-20 | 2010-10-28 | パイオニア株式会社 | 受信装置 |
US9565426B2 (en) | 2010-11-12 | 2017-02-07 | At&T Intellectual Property I, L.P. | Lip sync error detection and correction |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5596696A (en) * | 1993-05-10 | 1997-01-21 | Object Technology Licensing Corp. | Method and apparatus for synchronizing graphical presentations |
CA2140850C (en) * | 1994-02-24 | 1999-09-21 | Howard Paul Katseff | Networked system for display of multimedia presentations |
KR100207687B1 (ko) * | 1995-12-09 | 1999-07-15 | 윤종용 | 앰펙(mpeg) 시스템 복호기 및 오디오/비디오 동기 방법 |
US6262776B1 (en) * | 1996-12-13 | 2001-07-17 | Microsoft Corporation | System and method for maintaining synchronization between audio and video |
US5778218A (en) * | 1996-12-19 | 1998-07-07 | Advanced Micro Devices, Inc. | Method and apparatus for clock synchronization across an isochronous bus by adjustment of frame clock rates |
JP3106987B2 (ja) * | 1997-01-09 | 2000-11-06 | 日本電気株式会社 | オーディオ・ビデオ同期再生装置 |
KR100235438B1 (ko) * | 1997-02-04 | 1999-12-15 | 구자홍 | 광디스크의 오디오재생신호 보상처리방법 및 장치 |
US5959684A (en) * | 1997-07-28 | 1999-09-28 | Sony Corporation | Method and apparatus for audio-video synchronizing |
IL123906A0 (en) * | 1998-03-31 | 1998-10-30 | Optibase Ltd | Method for synchronizing audio and video streams |
US6279058B1 (en) * | 1998-07-02 | 2001-08-21 | Advanced Micro Devices, Inc. | Master isochronous clock structure having a clock controller coupling to a CPU and two data buses |
US6347380B1 (en) * | 1999-03-03 | 2002-02-12 | Kc Technology, Inc. | System for adjusting clock rate to avoid audio data overflow and underrun |
US7031306B2 (en) * | 2000-04-07 | 2006-04-18 | Artel Video Systems, Inc. | Transmitting MPEG data packets received from a non-constant delay network |
US6654956B1 (en) * | 2000-04-10 | 2003-11-25 | Sigma Designs, Inc. | Method, apparatus and computer program product for synchronizing presentation of digital video data with serving of digital video data |
US7030930B2 (en) * | 2001-03-06 | 2006-04-18 | Ati Technologies, Inc. | System for digitized audio stream synchronization and method thereof |
US6906755B2 (en) * | 2002-01-04 | 2005-06-14 | Microsoft Corporation | Method and apparatus for synchronizing audio and video data |
-
2003
- 2003-10-22 BR BR0315309-6A patent/BR0315309A/pt active Pending
- 2003-10-22 CN CNB2003801012487A patent/CN100477802C/zh not_active Expired - Fee Related
- 2003-10-22 AU AU2003284321A patent/AU2003284321A1/en not_active Abandoned
- 2003-10-22 EP EP03776502A patent/EP1554868A4/en not_active Withdrawn
- 2003-10-22 US US10/531,695 patent/US20060007356A1/en not_active Abandoned
- 2003-10-22 KR KR1020057005951A patent/KR20050073482A/ko not_active Application Discontinuation
- 2003-10-22 WO PCT/US2003/033451 patent/WO2004039056A2/en active Search and Examination
- 2003-10-22 MX MXPA05004340A patent/MXPA05004340A/es active IP Right Grant
- 2003-10-22 JP JP2004547018A patent/JP4462549B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110022664A (ko) * | 2008-06-11 | 2011-03-07 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 미디어 스트림 구성요소들의 동기화 |
Also Published As
Publication number | Publication date |
---|---|
AU2003284321A8 (en) | 2004-05-13 |
BR0315309A (pt) | 2005-08-16 |
AU2003284321A1 (en) | 2004-05-13 |
EP1554868A2 (en) | 2005-07-20 |
US20060007356A1 (en) | 2006-01-12 |
CN100477802C (zh) | 2009-04-08 |
JP4462549B2 (ja) | 2010-05-12 |
MXPA05004340A (es) | 2005-08-03 |
CN1703914A (zh) | 2005-11-30 |
EP1554868A4 (en) | 2011-06-01 |
JP2006508564A (ja) | 2006-03-09 |
WO2004039056A3 (en) | 2004-09-23 |
WO2004039056A2 (en) | 2004-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100984818B1 (ko) | 버퍼 연산을 사용하는 디지털 환경에서 오디오와 비디오간의 립싱크를 결정하기 위한 방법 및 시스템 | |
US6429902B1 (en) | Method and apparatus for audio and video end-to-end synchronization | |
EP0716547B1 (en) | Audio/video synchronizer | |
US20030066094A1 (en) | Robust method for recovering a program time base in MPEG-2 transport streams and achieving audio/video sychronization | |
US20120127365A1 (en) | Delay and Lip Sync Tracker | |
US7787578B2 (en) | Method and apparatus for synchronizing multimedia data stream | |
US6330033B1 (en) | Pulse detector for ascertaining the processing delay of a signal | |
RU2627040C2 (ru) | Приемное устройство и способ синхронизационной обработки изображений в этом устройстве | |
KR20050073482A (ko) | Lip 동기를 유지하기 위한 방법 및 시스템 | |
EP4254966A1 (en) | A method, apparatus and computer program for synchronizing video frames captured by multiple cameras | |
KR20020041189A (ko) | 엠펙 디코더의 시스템 타임 클럭 조정 장치 및 방법 | |
EP1414248A2 (en) | NCO based timebase recovery system and method for A/V decoder | |
US20090096921A1 (en) | Image processing apparatus, method, program, and recording medium | |
US20090128698A1 (en) | Audio synchronizer for digital television broadcast | |
JP4903930B2 (ja) | 信号処理装置 | |
EP1889488B1 (en) | Audio-video processing system | |
JPH11112982A (ja) | Mpegデータ受信装置 | |
US6192074B1 (en) | Fixed frequency source timing processor method and apparatus | |
US20080025345A1 (en) | Methods and Systems for Buffer Management | |
KR20030082117A (ko) | 디지털 방송 수신기에서의 오디오/비디오 립 싱크 제어 방법 | |
US20080037591A1 (en) | Data recording and reproducing apparatus | |
US20020042708A1 (en) | Method and apparatus for outputting a datastream processed by a processing device | |
JP2005130065A (ja) | トランスポートストリーム多重化装置 | |
KR100186447B1 (ko) | 영상/음성 동기제어 가능한 엠펙 디코딩 시스템 | |
JP2004023134A (ja) | 画像音声同期化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |