KR20050073482A - Lip 동기를 유지하기 위한 방법 및 시스템 - Google Patents

Lip 동기를 유지하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20050073482A
KR20050073482A KR1020057005951A KR20057005951A KR20050073482A KR 20050073482 A KR20050073482 A KR 20050073482A KR 1020057005951 A KR1020057005951 A KR 1020057005951A KR 20057005951 A KR20057005951 A KR 20057005951A KR 20050073482 A KR20050073482 A KR 20050073482A
Authority
KR
South Korea
Prior art keywords
video signal
audio
displacement
input buffer
buffer level
Prior art date
Application number
KR1020057005951A
Other languages
English (en)
Inventor
필립 아아론 정커스펠드
데본 매튜 존슨
Original Assignee
톰슨 라이센싱 에스.에이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 에스.에이. filed Critical 톰슨 라이센싱 에스.에이.
Publication of KR20050073482A publication Critical patent/KR20050073482A/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4392Processing of audio elementary streams involving audio buffer management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/04Systems for the transmission of one television signal, i.e. both picture and sound, by a single carrier
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/015High-definition television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Television Receiver Circuits (AREA)
  • Synchronizing For Television (AREA)

Abstract

본 개시되는 실시예는 비디오 신호(29)와 오디오 신호(31) 사이에 동기화를 유지하기 위한 시스템(23) 및 방법(200)에 관한 것이다. 비디오 신호(29) 및 오디오 신호(31)는 고정된 클록을 사용하여 처리된다. 시스템(23)은 초기 오디오 입력 버퍼 레벨을 판정하는 구성요소(34), 상기 초기 오디오 입력 버퍼 레벨에서의 드리프트의 양을 판정하고, 상기 드리프트의 양이 제1 소정의 임계치에 도달하는 경우에 상기 클록을 조정하여 상기 초기 오디오 입력 버퍼 레벨을 유지하는 구성요소(34), 및 상기 클록의 상기 조정에 응답하여 상기 오디오 신호(31)와 연관된 비디오 신호(29)의 변위를 측정하고, 상기 측정된 변위가 제2 소정의 임계치에 도달하는 경우, 상기 비디오 신호의 상기 측정된 변위를 무효화하는 구성요소(32)를 포함한다.

Description

LIP 동기를 유지하기 위한 방법 및 시스템{A METHOD AND SYSTEM FOR MAINTAINING LIP SYNCHRONIZATION}
본 출원은 2002년 10월 24일자로 출원되고, 발명의 명칭이 "A METHOD AND SYSTEM FOR MAINTAINING LIP SYNCH"인 미국 가출원 제 60/420,871호의 우선권을 주장하며, 이를 여기에서 참조로 포함한다.
본 발명은 오디오/비디오 신호 수신기에서의 오디오 및 비디오 신호 사이에 동기를 유지하는 분야에 관한 것이다.
이 섹션은 상세한 설명 및/또는 청구범위에서의 본 발명의 다양한 태양과 관련된 다양한 기술 분야를 독자에게 설명하기 위함이다. 이 설명이 독자에게 배경정보를 제공하여, 본 발명의 다양한 태양에 대하여 보다 잘 이해할 수 있도록 할 것으로 생각된다. 따라서, 이 설명들은 이러한 관점에서 읽혀야 할 것이지, 종래 기술의 수용으로 받아들여서는 안되는 것은 물론이다.
텔레비젼과 같은 디스플레이 장치에 포함될 수 있는 일부 오디오/비디오 수신기 모듈은 비디오 출력 D/A 클록에 고정된 오디오 출력 디지털-아날로그(D/A) 클록을 갖도록 설계되었다. 이것은 오디오 클록 및 비디오 클록이 별도로 제어될 수 없다는 것을 의미한다. 신호 제어 시스템은 균등한 퍼센티지만큼 양 클록들의 속도를 가변적으로 변경시킨다. 이러한 시스템의 일부에서, 클록 복구 시스템은 비디오(D/A) 클록을 비디오 소스 아날로그-디지털(A/D) 클록에 일치시킬 수 있다. 그 후, 오디오 출력(D/A) 클록은 오디오 소스 A/D 클록에 일치되는 것으로 가정될 수 있다. 이 가정은, 소스 오디오 및 비디오가 생성되는 경우에, 브로드캐스터들이 그 오디오 및 비디오 클록을 유사하게 고정할 것으로 예상된다는 사실에 기초한다.
ATSC(Advanced Television Systems Committee) 명세사항이 브로드캐스터들로 하여금 비디오 소스 A/D 클록을 오디오 소스 A/D 클록에 고정하도록 요구하기는 하지만, 이 클록들이 고정되지 않는 경우들이 있었다. 송신되는 비디오 소스 자료의 클록으로 송신되는 오디오 소스 자료의 클록을 고정하는데 브로드캐스터들이 실패하여, 오디오 제공이 발생해야 하는 때와 오디오가 실제로 제공되는 때 사이에 시간 지연이 있을 수도 있다. lip 동기화 또는 립싱크 에러로 지칭될 수 있는 이 에러는 오디오/비디오 장치에 의하여 제공되는 사운드로 하여금 디스플레이되는 영상과 일치하지 않도록 할 수도 있다. 이 효과는 많은 시청자들의 심기를 불편하게 한다.
비디오 출력 레이트를 비디오 입력 레이트에 일치시킴으로써 오디오/비디오 클록이 복구되는 경우에, 립싱크 에러를 보상하는 유일한 방법은 오디오 출력을 시간 조작하는 것이다. 오디오가 연속적인 시간 제공이기 때문에, 일정 종류의 가청 왜곡, 뮤트 또는 스킵을 갖지 않고서, 오디오 출력을 시간 조작하는 것은 어려운 일이다. 이 원하지 않는 가청 교란의 주파수는 방송국에서의 상대적인 비고정 오디오와 비디오 클록들 사이의 주파수 차이에 의존한다. ATSC 소스는 매 2-3분마다 오디오를 뮤트하는 것으로 관찰되었다. 오디오 신호의 주기적 뮤팅은 텔레비전의 시청자에게 바람직하지 않은 결과를 가져올 수 있다.
고해상도 텔레비전(HDTV)을 포함한 다양한 텔레비전은 비고정 ATSC 소스로 구현되었으며, 커지는 립싱크 에러를 보정하기 위하여 HDTV는 일부 유형의 오디오 쉬프트를 수행한다. 오디오 쉬프트 동안의 뮤팅 대신에, 실제로 HDTV는 뮤트를 마스크하는 일부 유형의 정적 노이즈를 삽입하고, 이는 진폭상 오디오 진폭과 상대적으로 같다. 신호 내로 이 정적 잡음의 도입은 텔레비전의 시청자에게 바람직하지 않은 결과를 가져올 수 있다.
도면에서,
도 1은 본 발명이 구현될 수 있는 예시적인 시스템의 블록도이다.
도 2는 본 발명의 실시예에서 구현될 수 있는 버퍼 제어 테이블에 대응하는 그래픽 도시이다.
도 3은 본 발명의 실시예에 따른 프로세스를 나타내는 흐름도이다.
본 개시되는 실시예는 비디오 신호와 오디오 신호 사이에 동기화를 유지하기 위한 시스템 및 방법에 관한 것이다. 비디오 신호 및 오디오 신호는 고정된 클록을 사용하여 처리된다. 시스템은 초기 오디오 입력 버퍼 레벨을 판정하는 구성요소, 상기 초기 오디오 입력 버퍼 레벨에서의 드리프트의 양을 판정하고, 상기 드리프트의 양이 제1 소정의 임계치에 도달하는 경우에 상기 클록을 조정하여 상기 초기 오디오 입력 버퍼 레벨을 유지하는 구성요소, 및 상기 클록의 상기 조정에 응답하여 상기 오디오 신호와 연관된 비디오 신호의 변위를 측정하고, 상기 측정된 변위가 제2 소정의 임계치에 도달하는 경우, 상기 비디오 신호의 상기 측정된 변위를 무효화하는 구성요소를 포함한다.
본 발명의 하나 이상의 시시예를 이하에서 설명하기로 한다. 이 실시예의 정확한 기재를 제공하고자 하는 노력에서, 실제 구현에서의 모든 특징들이 본 명에서에서 설명되어 있는 것은 아니다. 임의의 엔지니어링 또는 설계 프로젝트에서와 같은 임의의 이러한 실제의 구현의 발전에서, 구현마다 다를 수도 있는 시스템-관련 및 영업-관련 호환성과 같은 개발자 특정의 목적을 달성하기 위하여 많은 구현-특정의 결정이 행해질 수 있음은 물론이다. 게다가, 이러한 개발 노력이 복잡하고 시간 소모적임에도 불구하고, 이 개시사항을 향유하는 당업자에게 있어서는 설계, 제조의 반복적인 일이 될 것이다.
본 발명은 소스 오디오 클록 및 소스 비디오 클록이 고정되지 않고, 디지털 TV 오디오 및 비디오 클록이 고정되는 경우에 오디오/비디오 수신기(예컨대, HDTV를 포함하는 디지털 TV)로 하여금 동기화된 오디오 및 비디오를 제공할 수 있게 한다. 게다가, 본 발명은 MPEG 소스와 같은 디지털 소스의 비고정 오디오 및 비디오 클록에서의 립싱크를 유지하는데 유용할 수 있다.
도 1은 본 발명이 구현될 수 있는 예시적인 시스템의 블록도이다. 시스템은 도면부호 10으로 지칭된다. 당업자는 도1에 도시한 구성요소가 단지 예시의 목적을 위한 것임을 알 수 있다. 본 발명을 구현하는 시스템은 도 1에 도시한 구성요소들의 서브셋 또는 부가적인 요소를 사용하여 구현될 수 있다. 부가적으로, 도 1에 도시한 기능 블록들은 결합되거나 또는 보다 작은 기능 유닛으로 분리될 수 있다.
브로드캐스터 사이트는 송신 이전에 비디오 신호 및 대응하는 오디오 신호를 개별적으로 처리하는 비디오 A/D 컨버터(12) 및 오디오 A/D 컨버터(14)를 포함한다. 비디오 A/D 컨버터(12) 및 오디오 A/D 컨버터(14)는 별도의 클록 신호에 의하여 동작된다. 도 1에 도시한 바와 같이, 비디오 A/D 컨버터(12)와 오디오 A/D 컨버터(14)에 대한 클록들이 반드시 고정되는 것은 아니다. 비디오 A/D 컨버터(12)는 이산 코사인 변환(DCT)을 이용하는 동작 보상 예측 인코더를 포함할 수도 있다. 비디오 신호는 비디오 신호 압축기/인코더(16)에 전달되고, 오디오 신호는 오디오 압축기/인코더(18)에 전달된다. 압축된 비디오 신호는 MPEG 등과 같은 일부 신호 프로토콜에 따라서 다른 보조 데이터와 함께 배치된다.
비디오 압축기/인코더(16) 및 오디오 압축기/인코더(18)의 출력은 오디오/비디오 멀티플렉서(20)에 전달된다. 오디오/비디오 멀티플렉서(20)는 오디오/비디오 수신 유닛으로의 송신을 위하여 오디오 및 비디오 신호를 단일한 신호로 결합한다. 당업자에 의해 이해되는 바와 같이, 시분할 멀티플렉싱과 같은 전략이 오디오/비디오 멀티플렉서(20)에 의하여 사용되어, 오디오 및 비디오 신호를 결합할 수 있다. 오디오/비디오 멀티플레서(20)의 출력은 송신 매카니즘(22)으로 전달되어, 신호를 증폭 및 방송할 수 있다.
디지털 텔레비전을 포함할 수도 있는 오디오/비디오 수신기(23)는 브로드캐스터 사이트로부터 송신되는 오디오/비디오 신호를 수신하도록 적합화된다. 신호는 수신 매카니즘(24)에 의하여 수신되는데, 이는 수신된 신호를 오디오/비디오 디멀티플렉서(26)로 전달한다. 오디오/비디오 멀티플렉서(26)는 수신된 신호를 비디오 및 오디오 성분으로 디멀티플렉싱한다. 디멀티플렉싱된 비디오 신호(29)는 추가적인 처리를 위하여 비디오 압축해제기/디코더(28)로 전달된다. 디멀티플렉싱된 오디오 신호(31)는 추가적인 처리를 위하여 오디오 압축해제기/디코더(30)으로 전달된다.
압축해제기/디코더(28)의 출력은 비디오 D/A 컨버터(32)로 전달되고, 압축해제기/디코더(30)의 출력은 오디오 D/A 컨버터(34)로 전달된다. 도 1에 도시한 바와 같이, 비디오 D/A 컨버터(32) 및 오디오 D/A 컨버터(34)의 클록들은 항상 고정된다. 비디오 D/A 컨버터(32) 및 오디오 D/A 컨버터(34)의 출력들은 시청자의 관람을 위한 비디오 이미지 및 대응하는 오디오 출력을 각각 생성하는데 사용된다.
도 1의 예시적인 시스템에서의 하드웨어가 오디오 및 비디오 표시의 분리된 제어를 허용하지 않더라도, 본 발명의 실시예를 사용하여 이러한 제어가 필요한지를 판정할 수 있다. 본 발명의 실시예에 의하면, 수신된 오디오 및 비디오 신호와 연관된 상대적인 전달 타이밍은 수신된 오디오 버퍼의 레벨을 관찰함으로써 측정된다. 오디오 버퍼의 레벨은 립싱크 에러의 상대적으로 정확한 측정인 것으로 관찰되었다.
오디오 및 비디오 신호들이 처음에 적절히 동기화되는 경우, 수신된 비디오 데이터 및 오디오 데이터는 재생 동안에 동일한 속도로 사용되어야 한다. 이 경우에, 오디오 정보를 보유하는 버퍼는 확대되지 않고 일정 시간 동안 대략 동일한 크기로 유지되어야 한다. 오디오 버퍼가 일반적으로 안정적인 범위를 초과하여 확대 또는 축소하는 경우에, 이는 적절한 링싱크가 조정되었다는 표시이다. 예컨대, 오디오 버퍼가 일정 시간에 걸쳐 전형적인 범위를 초과하여 확대된 경우, 이는 비디오 신호가 오디오 신호를 리딩한다(leading)는 표시이다. 오디오 버퍼가 그 전형적인 범위 아래로 축소되는 경우, 이는 비디오 신호가 오디오 신호에 래깅한다(lagging)는 표시이다. 링싱크 에러가 일정 시간에 걸쳐 0 근처에 있다고 판정되는 경우(즉, 오디오 버퍼가 일정 시간에 걸쳐 상대적으로 일정한 크기로 유지되는 경우), 오디오 A/D 소스 클록은 비디오 A/D 소스 클록에 고정되어 있는 것으로 추정된다. 일정 시간에 걸쳐 립싱크 에러가 커지는 경우, 오디오 A/D 및 비디오 A/D 소스 클록은 반드시 고정되는 것은 아니며, 보정이 요구될 수도 있다.
당업자라면 본 발명의 실시예들이 소프트웨어, 하드웨어 또는 이들의 결합으로 구현될 수 있음을 알 수 있다. 게다가, 본 발명의 구성 부분들은 비디오 압축해제기/디코더(28), 오디오 압축해제기/디코더(30), 비디오 D/A 컨버터(32), 및/또는 오디오 D/A 컨버터(34) 또는 이들의 조합으로 배치될 수 있다. 부가적으로, 본 발명의 구성요소 또는 기능적인 태양은 도 1에 도시하지 않은 다른 장치로 배치될 수 있다.
신규한 오디오/비디오 제공이 개시되는 경우마다, 종종 채널 변경 동안에, 본 발명의 실시예는 초기 오디오 D/A 입력 버퍼 레벨을 메모리에 저장할 수 있다. 이 데이터는 비디오 D/A 컨버터, 오디오 D/A 컨버터(34) 내 또는 그 외부에 저장될 수 있다.
오디오 소스 클록이 비디오 소스에 고정되는 경우, 버퍼 레벨은 일정 시간에 걸쳐 상대적으로 일정하게 유지되어야 한다. 버퍼 레벨이 드리프트되고, 그 드리프트가 대략 +/- 10 ms를 초과하는 립싱크 에러에 대응하는 경우에, 통상적인 클록 복구 제어는 디스에이블링될 수 있고, 비디오 D/A 컨버터(32) 및 오디오 D/A 컨버터(34)의 고정된 클록들은 버퍼 레벨을 그 초기 레벨로 되돌리는 방향으로 이동될 수 있다.
이 프로세스가 오디오 버퍼 레벨을 그 초기 레벨로 되돌리는 동안, 비디오가 그 원위치로부터 이동하는 정도가 또한 측정된다. 비디오가 대략 +/- 25 ms만큼 변위되는 경우, 프로세스는 (예컨대, 초기 오디오 입력 버퍼 레벨의 측정을 다시 개시함으로써) 반복되거나, 또는 비디오 프레임(예컨대, 수신된 비디오의 MPEG 프레임)을 드롭하여, 그 측정된 변위를 무효화할 수 있다.
프로세스는, 또 다른 채널 변경이 검출될 때까지, 오디오 출력을 오디오 소스에 고정하고, 비디오 프레임을 스킵 또는 반복하여 임의의 비디오 드리프트를 무효화하는 모드로 계속된다. 신규한 채널 변경 후에, 본 발명의 실시예는 립싱크 에러의 보정을 중지하고, 시스템으로 하여금 신규한 립싱크 에러가 검출될 때까지 비디오 출력을 비디오 입력에 고정시키는 종래의 방법으로 되돌아가도록 할 수 있다.
초기 오디오 출력 D/A 입력 버퍼 레벨과 실제의 오디오 출력 D/A 입력 버퍼 레벨에 기초하여, 고정된 오디오 및 비디오 출력 클록들을 제어하는데 사용되는 알고리즘은, 안정적인 성능에 매우 중요하다. 버퍼 레벨이 타겟으로부터 멀리 떨어지는 경우에 버퍼 레벨이 빠르게 증가되며, 타겟으로부터 상대적으로 멀리 있게 되는 경우에 타겟을 향하여 빨리 이동하며, 원하는 위치에 접근하는 경우에 감속하는 응답을 갖는 것이 바람직하다. 이는, 예컨대, 상대적인 위치에 대한 클록 주파수 변화와 변화율을 관련시키는 2 개의 제어 테이블을 생성함으로써, 달성된다.
테이블 1은 클록 주파수 변화를 상대적인 변화율과 관련시킨다.
주파수 변화 (Hz) 상대적인 변화율 (Bytes)
-430 v < -2000
-354 -2000 < v < -1800
-286 -1800 < v < -1600
-226 -1600 < v < -1400
-174 -1400 < v < -1200
-130 -1200 < v < -1000
-94 -1000 < v < -800
-62 -800 < v < -600
-46 -600 < v < -400
-34 -400 < v < -200
0 -200 < v < 200
34 200 < v < 400
46 400 < v < 600
62 600 < v < 800
94 800 < v < 1000
130 1000 < v < 1200
174 1200 < v < 1400
226 1400 < v < 1600
286 1600 < v < 1800
354 1800 < v < 2000
430 2000 < v
테이블 1
테이블 2는 클록 주파수 변화를 상대적인 거리와 관련시킨다.
주파수 변화 (Hz) 상대적인 거리 (Bytes)
-100 x < -4000
-90 -4000 < x < -3600
-80 -3600 < x < -3200
-70 -3200 < x < -2800
-60 -2800 < x < -2400
-50 -2400 < x < -2000
-40 -2000 < x < -1600
-30 -1600 < x < -1200
-20 -1200 < x < -800
-10 -800 < x < -400
0 -400 < x < 400
10 400 < x < 800
20 800 < x < 1200
30 1200 < x < 1600
40 1600 < x < 2000
50 2000 < x < 2400
60 2400 < x < 2800
70 2800 < x < 3200
80 3200 < x < 3600
90 3600 < x < 4000
100 4000 < x
테이블 2
당업자라면 테이블 1 및 2에 나타낸 값들이 예시적이고, 본 발명을 한정하도록 해석되지 않아야 함을 알 수 있다. 버퍼 레벨이 오디오 디코드로 인한 불규칙적인 입력 레이트 및 D/A 출력 클록으로 인한 매우 규칙적인 출력 레이트를 가지기 때문에, 버퍼 레벨 데이터는 다소 불규칙한 지터(jitter)를 가지게 된다. 이 다소의 지터를 소거하기 위하여, 버퍼 레벨은 30초 기간에 걸쳐 최대 버퍼 판독치와 최소 버퍼 판독치 사이의 중간점인 것으로 추정된다. 이 중간점은 주기적으로(예컨대, 매 30초 마다) 계산될 수 있으며, 일정 시간 동안의 오디오 소스 A/D 클록 주파수와 오디오 출력 D/A 클록 주파수 사이의 차이의 양호한 판독을 제공할 수 있다.
도 2를 참조하면, 버퍼 제어 테이블(상술함)을 그래픽으로 나타내는 차트가 도시되어 있다. 이 차트는 통상 도면 부호 100으로 참조된다. 거리 함수(102) 및 변화율 함수(104)가 도 2에 도시되어 있다. 차트(100)의 y축은 헤르쯔 단위의 상대적 주파수 변화에 대응한다. 차트(100)의 x축은 거리 함수(102)에 대한 바이트 단위의 버퍼 변화율 및 변화율 함수(104)에 대한 바이트 단위의 상대적인 버퍼 변화율에 대응한다. 당업자는 차트(100)에 도시한 값들이 예시적이고, 본 발명을 한정하는 것은 해석되지 않아야 함을 알 수 있다.
차트(100)는, 버퍼 레벨이 초기 위치로부터 멀어지는 경우, 그리고 변화율이 잘못된 방향에 있는 경우에, 본 발명의 실시예가 주파수 보상이 적절한 방향으로 상대적으로 크게 되도록 하는 방법을 나타낸다. 이 커다란 주파수 보상은, 변화율이 스위칭되고, 버퍼 레벨이 올바른 방향으로 이동할 때까지 계속된다. 이 포인트에서, 속도 요소는 위치 요소에 대향하여 동작하기 시작할 것이다. 그러나, 위치 요소가 변화율 요소보다 더 큰 한, 주파수는 타겟을 향하여 변화율을 증가시키도록 되고, 거리는 감소될 것이다. 일단 변화율 요소가 거리 요소보다 더 큰 경우에, 변화율은 감소하기 시작할 것이다. 이 동작은 거리 요소가 원하는 초기 버퍼 레벨에 근접함에 따라 변화율을 부드럽게 정지시키도록 한다.
도 3은 본 발명의 실시예에 따른 프로세스를 도시하는 흐름도이다. 프로세스는 참조 부호 200으로 참조된다. 블록 202에서, 프로세스는 개시된다.
블록 204에서, 초기 오디오 입력 버퍼 레벨이 판정된다. 일정 시간 동안에, 초기 오디오 입력 버퍼 레벨의 드리프트의 양이 블록 206에 도시한 바와 같이 판정된다. 드리프트가 제1 소정의 임계치를 초과하는 경우(208), 비디오 D/A 컨버터(32) 및 오디오 D/A 컨버터의 고정된 클록(도 1)은 초기 오디오 입력 버퍼 레벨을 유지하는 방향으로 조정된다.
클록의 조정에 응답하여, 비디오 신호의 변위가 블록 212에 도시한 바와 같이 조정된다. 비디오 신호의 변위가 제2 소정의 임계치를 초과하는 경우(214), 비디오 신호의 측정된 변위는 예컨대 그 프로세스를 재개시하거나 비디오 프레임을 드롭함으로써 무효화되어(블록 216), 동기화를 향상시키게 된다. 블록 218에서, 프로세스는 종료한다.
본 발명은 다양한 변형 및 대체 형태에 적합할 수 있지만, 특정한 실시예를 도면을 통하여 도시하였으며 여기서 상세히 설명하였다. 그러나, 본 발명을 개시된 특정한 형태에 제한하고자 의도된 것이 아님은 물론이다. 그 대신에, 본 발명은 첨부된 청구범위에 의하여 한정되는 바와 같이 본 발명의 사상 및 범위 내에 속하는 모든 변형, 등가물 및 대체물을 커버하기 위함이다.

Claims (20)

  1. 고정된 클록을 사용하여 비디오 신호와 오디오 신호 사이의 동기화를 유지하는 시스템에 있어서,
    초기 오디오 입력 버퍼 레벨을 판정하는 구성요소;
    상기 초기 오디오 입력 버퍼 레벨에서의 드리프트의 양을 판정하고, 상기 드리프트의 양이 제1 소정의 임계치에 도달하는 경우에, 상기 클록을 조정하여 상기 초기 오디오 입력 버퍼 레벨을 유지하는 구성요소; 및
    상기 클록의 상기 조정에 응답하여 상기 오디오 신호와 연관된 비디오 신호의 변위를 측정하고, 상기 측정된 변위가 제2 소정의 임계치에 도달하는 경우, 상기 비디오 신호의 상기 측정된 변위를 무효화하는 구성요소를 구비하는 것을 특징으로 하는 동기화 유지 시스템(23).
  2. 제 1 항에 있어서,
    상기 초기 오디오 입력 버퍼 레벨은 메모리에 저장되는 것을 특징으로 하는 동기화 유지 시스템(23).
  3. 제 1 항에 있어서,
    상기 드리프트의 양이 상기 제1 소정의 임계치에 도달하는 경우에, 클록 복구 제어가 디스에이블링되는 것을 특징으로 하는 동기화 유지 시스템(23).
  4. 제 1 항에 있어서,
    상기 오디오 신호(31) 및 상기 비디오 신호(29)는 MPEG 신호인 것을 특징으로 하는 동기화 유지 시스템(23).
  5. 제 1 항에 있어서,
    상기 오디오 신호(31)와 연관된 상기 비디오 신호(29)의 변위를 측정하는 상기 구성요소(32)는, 상기 초기 오디오 입력 버퍼 레벨의 측정을 다시 개시함으로써, 상기 비디오 신호(29)의 상기 측정된 변위를 무효화하도록 동작하는 것을 특징으로 하는 동기화 유지 시스템(23).
  6. 제 1 항에 있어서,
    상기 오디오 신호(31)와 연관된 상기 비디오 신호(29)의 변위를 측정하는 상기 구성요소(32)는, 상기 비디오 신호의 프레임을 드롭(drop)함으로써, 상기 비디오 신호(29)의 상기 측정된 변위를 무효화하도록 동작하는 것을 특징으로 하는 동기화 유지 시스템(23).
  7. 제 1 항에 있어서,
    상기 제1 소정의 임계치는 약 +/- 10 ms인 것을 특징으로 하는 동기화 유지 시스템(23).
  8. 제 1 항에 있어서,
    상기 제2 소정의 임계치는 약 +/- 25 ms인 것을 특징으로 하는 동기화 유지 시스템(23).
  9. 제 1 항에 있어서,
    상기 시스템(23)은 텔레비전 세트의 일부를 포함하는 것을 특징으로 하는 동기화 유지 시스템(23).
  10. 제 9 항에 있어서,
    상기 텔레비전 세트는 고해상도 텔레비전(HDTV) 세트를 포함하는 것을 특징으로 하는 동기화 유지 시스템(23).
  11. 고정된 클록들을 사용하여 처리되는 비디오 신호(29)와 오디오 신호(31) 사이의동기화를 유지하는 시스템(23)에 있어서,
    초기 오디오 입력 버퍼 레벨을 판정하기 위한 수단(34);
    상기 초기 오디오 입력 버퍼 레벨에서 드리프트의 양을 판정하는 수단(34);
    상기 드리프트의 양이 제1 소정의 임계치에 도달하는 경우에 상기 초기 오디오 입력 버퍼 레벨이 유지되도록 상기 클록들을 조정하는 수단(34);
    상기 클록의 조정에 응답하여 상기 오디오 신호(31)와 연관된 비디오 신호(29)의 변위를 측정하는 수단(32); 및
    상기 측정된 변위가 제2 소정의 임계치에 도달하는 경우 상기 비디오 신호(29)의 상기 측정된 변위를 무효화하는 수단(32)을 포함하는 것을 특징으로 하는 동기화 유지 시스템(23).
  12. 제 11 항에 있어서,
    상기 오디오 신호(31)와 상기 비디오 신호(29)는 MPEG 신호를 포함하는 것을 특징으로 하는 동기화 유지 시스템(23).
  13. 제 11 항에 있어서,
    상기 오디오 신호(31)와 연관된 상기 비디오 신호(29)의 변위를 측정하기 위한 수단(32)은, 상기 초기 오디오 입력 버퍼 레벨의 측정을 재-개시함으로써, 상기 비디오 신호(29)의 상기 측정된 변위를 무효화하도록 동작하는 것을 특징으로 하는 동기화 유지 시스템(23).
  14. 제 11 항에 있어서,
    상기 오디오 신호(31)와 연관된 상기 비디오 신호(29)의 변위를 측정하기 위한 수단(32)은, 상기 비디오 신호(29)의 프레임을 드롭함으로써, 상기 비디오 신호(29)의 상기 측정된 변위를 무효화하도록 동작하는 것을 특징으로 하는 동기화 유지 시스템(23).
  15. 고정된 클록들을 사용하여 처리되는 비디오 신호(29)와 오디오 신호(31) 사이의 동기화를 유지하기 방법(200)에 있어서,
    초기 오디오 입력 버퍼 레벨을 판정하는 단계(204);
    상기 초기 오디오 입력 버퍼 레벨에서 드리프트의 양을 판정하는 단계(206);
    상기 드리프트의 양이 제1 소정의 임계치에 도달하는 경우에 상기 초기 오디오 입력 버퍼 레벨이 유지되도록 상기 클록들을 조정하는 단계(210);
    상기 클록들의 조정에 응답하여 상기 오디오 신호(31)와 연관된 비디오 신호(29)의 변위를 측정하는 단계(212); 및
    상기 측정된 변위가 제2 소정의 임계치에 도달하는 경우에 상기 비디오 신호(29)의 상기 측정된 변위를 무효화하는 단계(216)를 포함하는 것을 특징으로 하는 동기화 유지 방법(200).
  16. 제 15 항에 있어서,
    상기 초기 오디오 입력 버퍼 레벨을 메모리에 저장하는 단계를 포함하는 것을 특징으로 하는 동기화 유지 방법(200).
  17. 제 15 항에 있어서,
    상기 드리프트의 양이 제1 소정의 임계치에 도달하는 경우에 클록 복구 제어를 디스에이블링하는 단계를 포함하는 것을 특징으로 하는 동기화 유지 방법(200).
  18. 제 15 항에 있어서,
    상기 비디오 신호의 상기 측정된 변위를 무효화하는 단계(216)는, 상기 초기 오디오 입력 버퍼 레벨의 상기 측정을 다시 개시하는 단계를 포함하는 것을 특징으로 하는 동기화 유지 방법(200).
  19. 제 15 항에 있어서,
    상기 비디오 신호의 상기 측정된 변위를 무효화하는 단계(216)는, 상기 비디오 신호의 프레임을 드롭하는 단계를 포함하는 것을 특징으로 하는 동기화 유지 방법(200).
  20. 제 15 항에 있어서,
    상기 단계들은 상기의 순서로 수행되는 것을 특징으로 하는 동기화 유지 방법(200).
KR1020057005951A 2002-10-24 2003-10-22 Lip 동기를 유지하기 위한 방법 및 시스템 KR20050073482A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US42087102P 2002-10-24 2002-10-24
US60/420,871 2002-10-24

Publications (1)

Publication Number Publication Date
KR20050073482A true KR20050073482A (ko) 2005-07-13

Family

ID=32176641

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057005951A KR20050073482A (ko) 2002-10-24 2003-10-22 Lip 동기를 유지하기 위한 방법 및 시스템

Country Status (9)

Country Link
US (1) US20060007356A1 (ko)
EP (1) EP1554868A4 (ko)
JP (1) JP4462549B2 (ko)
KR (1) KR20050073482A (ko)
CN (1) CN100477802C (ko)
AU (1) AU2003284321A1 (ko)
BR (1) BR0315309A (ko)
MX (1) MXPA05004340A (ko)
WO (1) WO2004039056A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110022664A (ko) * 2008-06-11 2011-03-07 코닌클리케 필립스 일렉트로닉스 엔.브이. 미디어 스트림 구성요소들의 동기화

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212248B2 (en) * 2002-09-09 2007-05-01 The Directv Group, Inc. Method and apparatus for lipsync measurement and correction
EP1559265A4 (en) * 2002-11-07 2010-09-15 Thomson Licensing SYSTEM AND METHOD FOR DETERMINING THE LIP SYNCHRONIZATION BETWEEN AUDIO AND VIDEO IN A DIGITIZED ENVIRONMENT THROUGH THE USE OF A BUFFER CALCULATION
US7519845B2 (en) 2005-01-05 2009-04-14 Microsoft Corporation Software-based audio rendering
CN100437546C (zh) * 2005-06-30 2008-11-26 腾讯科技(深圳)有限公司 一种实现音频和视频同步的方法
JP2007124090A (ja) * 2005-10-26 2007-05-17 Renesas Technology Corp 情報機器
US7948558B2 (en) * 2006-09-29 2011-05-24 The Directv Group, Inc. Audio video timing measurement and synchronization
US7765315B2 (en) * 2007-01-08 2010-07-27 Apple Inc. Time synchronization of multiple time-based data streams with independent clocks
DE102007045774B4 (de) * 2007-09-25 2010-04-08 Continental Automotive Gmbh Verfahren und Vorrichtung zur Synchronisation einer Bildanzeige in einem Kraftfahrzeug
JPWO2010122626A1 (ja) * 2009-04-20 2012-10-22 パイオニア株式会社 受信装置
US9565426B2 (en) 2010-11-12 2017-02-07 At&T Intellectual Property I, L.P. Lip sync error detection and correction

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596696A (en) * 1993-05-10 1997-01-21 Object Technology Licensing Corp. Method and apparatus for synchronizing graphical presentations
CA2140850C (en) * 1994-02-24 1999-09-21 Howard Paul Katseff Networked system for display of multimedia presentations
KR100207687B1 (ko) * 1995-12-09 1999-07-15 윤종용 앰펙(mpeg) 시스템 복호기 및 오디오/비디오 동기 방법
US6262776B1 (en) * 1996-12-13 2001-07-17 Microsoft Corporation System and method for maintaining synchronization between audio and video
US5778218A (en) * 1996-12-19 1998-07-07 Advanced Micro Devices, Inc. Method and apparatus for clock synchronization across an isochronous bus by adjustment of frame clock rates
JP3106987B2 (ja) * 1997-01-09 2000-11-06 日本電気株式会社 オーディオ・ビデオ同期再生装置
KR100235438B1 (ko) * 1997-02-04 1999-12-15 구자홍 광디스크의 오디오재생신호 보상처리방법 및 장치
US5959684A (en) * 1997-07-28 1999-09-28 Sony Corporation Method and apparatus for audio-video synchronizing
IL123906A0 (en) * 1998-03-31 1998-10-30 Optibase Ltd Method for synchronizing audio and video streams
US6279058B1 (en) * 1998-07-02 2001-08-21 Advanced Micro Devices, Inc. Master isochronous clock structure having a clock controller coupling to a CPU and two data buses
US6347380B1 (en) * 1999-03-03 2002-02-12 Kc Technology, Inc. System for adjusting clock rate to avoid audio data overflow and underrun
US7031306B2 (en) * 2000-04-07 2006-04-18 Artel Video Systems, Inc. Transmitting MPEG data packets received from a non-constant delay network
US6654956B1 (en) * 2000-04-10 2003-11-25 Sigma Designs, Inc. Method, apparatus and computer program product for synchronizing presentation of digital video data with serving of digital video data
US7030930B2 (en) * 2001-03-06 2006-04-18 Ati Technologies, Inc. System for digitized audio stream synchronization and method thereof
US6906755B2 (en) * 2002-01-04 2005-06-14 Microsoft Corporation Method and apparatus for synchronizing audio and video data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110022664A (ko) * 2008-06-11 2011-03-07 코닌클리케 필립스 일렉트로닉스 엔.브이. 미디어 스트림 구성요소들의 동기화

Also Published As

Publication number Publication date
US20060007356A1 (en) 2006-01-12
AU2003284321A8 (en) 2004-05-13
MXPA05004340A (es) 2005-08-03
WO2004039056A2 (en) 2004-05-06
AU2003284321A1 (en) 2004-05-13
BR0315309A (pt) 2005-08-16
JP4462549B2 (ja) 2010-05-12
EP1554868A4 (en) 2011-06-01
WO2004039056A3 (en) 2004-09-23
CN100477802C (zh) 2009-04-08
CN1703914A (zh) 2005-11-30
JP2006508564A (ja) 2006-03-09
EP1554868A2 (en) 2005-07-20

Similar Documents

Publication Publication Date Title
KR100984818B1 (ko) 버퍼 연산을 사용하는 디지털 환경에서 오디오와 비디오간의 립싱크를 결정하기 위한 방법 및 시스템
US6429902B1 (en) Method and apparatus for audio and video end-to-end synchronization
US8810659B2 (en) Delay and lip sync tracker
US20030066094A1 (en) Robust method for recovering a program time base in MPEG-2 transport streams and achieving audio/video sychronization
US7787578B2 (en) Method and apparatus for synchronizing multimedia data stream
US6330033B1 (en) Pulse detector for ascertaining the processing delay of a signal
RU2627040C2 (ru) Приемное устройство и способ синхронизационной обработки изображений в этом устройстве
KR20050073482A (ko) Lip 동기를 유지하기 위한 방법 및 시스템
KR20080107413A (ko) 공통-파 네트워크의 고주파 송신기의 동기화 장치
KR20020041189A (ko) 엠펙 디코더의 시스템 타임 클럭 조정 장치 및 방법
EP1414248A2 (en) NCO based timebase recovery system and method for A/V decoder
US20090096921A1 (en) Image processing apparatus, method, program, and recording medium
US20090128698A1 (en) Audio synchronizer for digital television broadcast
JP4903930B2 (ja) 信号処理装置
EP4254966A1 (en) A method, apparatus and computer program for synchronizing video frames captured by multiple cameras
JPH11112982A (ja) Mpegデータ受信装置
EP1889488B1 (en) Audio-video processing system
US6192074B1 (en) Fixed frequency source timing processor method and apparatus
US20080025345A1 (en) Methods and Systems for Buffer Management
KR20030082117A (ko) 디지털 방송 수신기에서의 오디오/비디오 립 싱크 제어 방법
US20080037591A1 (en) Data recording and reproducing apparatus
US20020042708A1 (en) Method and apparatus for outputting a datastream processed by a processing device
JP2005130065A (ja) トランスポートストリーム多重化装置
KR100186447B1 (ko) 영상/음성 동기제어 가능한 엠펙 디코딩 시스템
JPH0831968B2 (ja) クロック位相制御回路

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application