KR20070098864A - 지연된 비디오와 오디오의 동기 - Google Patents

지연된 비디오와 오디오의 동기 Download PDF

Info

Publication number
KR20070098864A
KR20070098864A KR1020077016089A KR20077016089A KR20070098864A KR 20070098864 A KR20070098864 A KR 20070098864A KR 1020077016089 A KR1020077016089 A KR 1020077016089A KR 20077016089 A KR20077016089 A KR 20077016089A KR 20070098864 A KR20070098864 A KR 20070098864A
Authority
KR
South Korea
Prior art keywords
video
test
delay
audio
sequence
Prior art date
Application number
KR1020077016089A
Other languages
English (en)
Inventor
미셀 더블유. 니우웬후이젠
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20070098864A publication Critical patent/KR20070098864A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
    • H04N17/045—Self-contained testing apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof

Abstract

비디오 프로세싱 지연은 오디오와 비디오의 동기를 유지하기 위해 보상된다. 상기 지연은 상기 이미지가 생성된 것으로부터 전처리된 비디오 테스트 신호를 갖는 디스플레이된 광 이미지로부터 유도된 신호를 보상함으로써 결정된다.
동기, 손실 보상, 지연, 평균 휘도 값, 테스트 신호, 테스트 패턴

Description

지연된 비디오와 오디오의 동기{Synchronizing audio with delayed video}
본 발명은 비디오의 프로세싱 지연으로 인해 시청자에게 제공되는 비디오 및 오디오 사이의 동기 손실을 보상하기 위한 장치에 관한 것이다.
본 발명은 또한 비디오 출력 및 오디오 출력을 제공하며, 상기 보상을 위한 장치를 포함하는 비디오 소스에 관한 것이다.
본 발명은 또한 비디오의 프로세싱 지연으로 인해 시청자에게 제공되는 비디오 및 오디오 사이의 동기 손실을 보상하기 위한 방법에 관한 것이다.
텔레비전 및 모니터 장치와 같은 비디오 디스플레이 장치는 복합 비디오 처리 회로 및 비디오 신호의 비디오 성분을 처리하기 위한 소프트웨어를 포함한다. 이 프로세싱은 일반적으로 상기 비디오 신호의 오디오 성분에 부과된 임의의 지연들보다 실질적으로 더 긴 비디오 성분의 전송에서의 지연들을 부과하고, 시청자에게 제공되는 오디오 및 비디오 사이의 동기화에 악영향을 미칠 수 있다.
오디오 및 비디오 성분 모두가 공통 장치를 통해 통과할 때, 오디오 성분에 보상 전송 지연을 부가함으로써 동기를 유지할 수 있다. 그러나, 이들 성분 모두가 공통 장치를 통해 통과하지 않는 경우, 이러한 보상이 쉽게 달성되지 않는다. 예를 들어, DVD 플레이어가 비디오 신호의 소스일 때, 비디오 및 오디오 성분들은 다른 오디오 및 비디오 장치들을 통과할 수 있고 오디오 장치의 제조자들은 비디오 성분에서의 프로세싱 지연의 지속 기간을 알 수 없다.
본 발명에 따라, 비디오 신호의 프로세싱 지연으로 인한 비디오 및 오디오 사이의 동기 손실 보상은 디스플레이 디바이스에 의해 제공될 테스트 이미지들의 시퀀스를 표현하는 비디오 테스트 신호를 전송함으로써 달성된다. 상기 비디오 테스트 신호는 테스트 이미지들이 제공되기 전에 프로세싱 지연을 받게 된다. 광 검출기는 테스트 이미지들의 시퀀스로부터 광을 수신하고 테스트 이미지들의 시퀀스를 표현하는 수신된 테스트 신호를 생성한다. 비디오 프로세싱 지연을 보상하기 위해 오디오의 지연이 제어기에 의해 실현된다. 상기 제어기는 전송된 테스트 신호와 수신된 테스트 신호를 상관시킴으로써 요구된 지연을 결정한다.
동기 손실을 보상하기 위한 장치의 수정들과 그에 따른 변경들이 기술될 비디오 소스 및 방법의 수정 및 변경에 대응할 수 있다.
본 발명에 따른 동기 손실을 보상하기 위한 장치, 비디오 소스 및 방법의 상기한 점들과 다른 측면들이 하기에 기술될 구현들 및 실시예들과 첨부된 도면들을 참고로 하여 명백해지고 분명해진다.
도 1은 프로세싱 지연 보상을 포함하는 비디오 시스템의 예시적 실시예를 도시하는 블록도.
도 2는 지연 보상 방법의 예시적 실시예의 도시하는 흐름도.
도 3은 일련의 이미지들에서 각각의 이미지들의 평균 휘도의 개략도.
도 4는 동기 손실을 보상하기 위한 장치에서 사용하기 위한 광 검출기의 예시적인 실시예를 도시하는 개략도.
도 1의 비디오 시스템은 오디오 디바이스 AUD 및 디스플레이 디바이스 VID에 결합된 비디오 소스(101)를 포함한다. 상기 비디오 소스(101)는 예를 들어, DVD 플레이어, 셋-탑 박스 또는 위성 수신기에 비디오 신호를 제공하는 임의의 디바이스가 될 수 있다. 상기 비디오 신호는 DVD 또는 테이프 같은 저장 매체로부터 판독될 수 있다. 대안적으로, 비디오 신호는 입력 접속기(108)에 제공된다. 상기 오디오 디바이스 AUD는 비디오 소스(101)의 일부 또는 예컨대 스피커 시스템 SS를 구동하기 위한 오디오 수신기와 같은 장치의 개별 부분이 될 수 있다. 상기 디스플레이 디바이스 VID는 텔레비전 또는 모니터 또는 비디오 이미지를 디스플레이하기 위한 임의의 장치일 수 있다.
상기 비디오 소스(101)는 비디오 성분을 갖는 비디오 신호를 공급하기 위해 비디오 출력 접속기(102)에 제공된 예를 들어, MPEG 디코더와 같은 비디오 발생기(112) 및 오디오 출력 접속기(104)에 제공된 오디오 성분을 포함한다. 이들 성분들은 본 기술분야에 공지된 바와 같이 디지털 또는 아날로그 신호의 형태로 제공될 수 있다.
비디오 출력 접속기(102)에 제공된 비디오 성분은 라인(111)을 통해 디스플레이 디바이스 VID로 전송되고, 상기 비디오 성분들에 의해 표현되는 이미지들이 시청자에게 디스플레이되기 전에 비디오 프로세싱 지연이 발생한다. 이 지연은 예를 들어, 노이즈 감소 프로세싱, 다차원 스케일링, 예컨대 시간적 업컨버전 알고리즘과 같은 내추럴-모션 애플리케이션을 포함하는 다수의 더 작은 누적 지연을 통상적으로 포함하고 디스플레이 디바이스의 유형(예를 들어, 플라즈마, LCD, DMD, CRT)에 따라 변한다. 상기 디스플레이 디바이스에서 상기 비디오의 프로세싱 지연의 지속 기간은 특히 이들 장치가 서로 다른 제조자로부터 제조되었다면, 비디오 소스(101)의 제조자에게 알려지지 않을 수 있다.
상기 비디오 발생기(112)에 의해 제공된 오디오 성분은 제어가능한 가변 지연을 가지는 오디오 지연 디바이스(118)를 통해서 및 라인(113)을 통해 상기 오디오 디바이스 AUD로 전송된다. 상기 오디오 지연 디바이스(118)가 개별 디바이스일 필요는 없다는 것을 유의한다. 예를 들어, 비디오 발생기(112)는 MPEG 디코더를 통합하고, 상기 원하는 지연은 예를 들어, MPEG 프로그램 스트림에서 타임스탬프를 조작하는 것에 의해 영향받을 수 있다. 게다가, 상기 오디오 지연 디바이스(118)는 비디오 소스(101)에 대해 선택적이다. 이는 대안적으로 개별 장치들 내에서 또는 상기 오디오 디바이스 AUD에서 구현될 수 있다.
도 1에 도시된 바와 같은 비디오 소스(101)는 상기 비디오 성분의 프로세싱 지연으로 인한 시청자에게 제공되는 비디오와 오디오 사이의 동기 손실을 보상하기 위한 장치(102)를 포함한다. 상기 장치(102)는:
- 디스플레이 디바이스 VID에 의해 제공되는 테스트 이미지들의 시퀀스를 표현하는 테스트 신호가 상기 프로세싱 지연을 받게 된 후, 상기 테스트 신호를 전송 하기 위한 비디오 전송 수단(110);
- 상기 테스트 이미지들의 시퀀스에 기초하여 상기 디스플레이 디바이스 VID로부터 광을 수신하고 상기 테스트 이미지들의 시퀀스를 표현하는 수신된 테스트 신호들을 생성하기 위한 광 검출기(116); 및
- 라인(117)을 통해 수신된 상기 테스트 신호를 라인(115)을 통해 전송된 테스트 신호와 상관시키고; 상기 신호들 사이의 지연을 결정하고; 상기 신호들 사이의 지연에 기초하여 라인(119)을 통해 오디오 지연 신호를 출력하기 위한 제어기(114)를 포함한다.
본 명세서에 동기 손실을 보상하기 위한 상기 장치(102)의 두 개의 주요 실시예들이 개시된다:
- 동기 손실을 보상하기 위한 상기 장치(102)의 제 1 실시예에서 상기 비디오 전송 수단(110)은 미리결정된 테스트 신호를 발생하도록 구성된 테스트 신호 발생기(도시되지 않음)를 포함한다.
- 동기 손실을 보상하기 위한 상기 장치(102)의 제 2 실시예에서 상기 비디오 전송 수단(110)은 수신된 일련의 이미지들에서 테스트 이미지들의 시퀀스를 검출하기 위한 검출수단(도시되지 않음)을 포함한다. 이는 본 실시예에서 상기 비디오 전송 수단(110)이 상기 비디오 발생기(112)로부터 라인(112)을 통해 수신된 바와 같은 비디오 콘텐트에 기초하여 상기 테스트 신호를 전송하도록 구성된 것을 의미한다. 이 비디오 콘텐트는 예를 들어 멜로 에피소드의 영화 또는 만화를 표현하는 정상 비디오 콘텐트에 대응한다. 이는 시청자가 즐거움을 위해 또는 교육 목적 으로 시청자가 시청할 수 있고 비디오 시스템을 조정하기 위한 테스트 신호와 직접적으로 상관되지 않는 정상 비디오 콘텐트를 의미한다.
먼저 동기 손실을 보상하기 위한 상기 장치(102)의 제 1 실시예의 동작이 설명된다. 동기 손실을 보상하기 위한 상기 장치(102)의 제 2 실시예의 동작은 도 3과 관련하여 설명된다.
활성화될 때, 상기 테스트 신호 발생기는 비디오 테스트 신호를 동시에 라인들(111, 115)을 통해 상기 디스플레이 디바이스 VID 및 상기 제어기(114)로 각각 전송한다. 상기 테스트 신호 발생기는 상기 디스플레이 디바이스에 의한 디스플레이를 위해 하나 이상의 원하는 테스트 패턴들을 표현하는 비디오 테스트 신호들을 생성하도록 설정된다. 예시적 실시예에서, 테스트 발생기는 상기 디스플레이 디바이스 VID에 의해 생성될 견고한 흑-백 스크린과 같은 어둡고 밝은 이미지들이 교호하는 시퀀스를 표현하는 비디오 테스트 신호를 생성한다.
상기 광 검출기(116)는 상기 디스플레이 디바이스 VID에 의해 생성된 테스트 패턴으로부터 광을 포함하는 주변광을 수신하도록 위치된다. 상기 광 검출기(116)는 수신된 광을 디스플레이된 테스트 패턴으로부터의 광에 영향받는 검출 신호로 변환한다. 특히, 상기 검출 신호는 테스트 패턴을 표현하는 테스트 신호 성분("수신된 테스트 신호")을 포함하고 이를 라인(117)을 통해 제어기(114)로 전송한다.
제어기(114)는 상기 디스플레이 디바이스에 의해 디스플레이되는 이미지와 동기하는 상기 오디오 디바이스 AUD로부터 오디오를 확인하기 위해 상기 오디오 지연 디바이스(118)에 의해 제공되어야 하는 지연을 결정하기 위해 동작한다. 이를 위해, 제어기(114)는 상기 비디오 테스트 신호의 전송과 상기 디스플레이 디바이스 VID에 의해 생성된 테스트 패턴을 표현하는 상기 테스트 신호의 수신 사이의 지연을 측정한다. 상기 제어기(114)는 측정된 지연을 표현하는 오디오 지연 신호를 라인(119)을 통해 오디오 지연 디바이스(118)로 전송하고, 전송된 오디오 신호의 대응하는 지연은 상기 오디오 디바이스 AUD에 영향을 준다.
도 2는 시청자에게 제공되는 오디오에 대해 비디오의 원치않는 지연을 보상하기 위해 도 1의 비디오 시스템을 동작하기 위한 예시적 프로세스를 도시한다. 이러한 지연의 부정적인 영향의 전형적인 예는 디스플레이된 이미지에서 말하는 사람의 립 싱크(lip synch)의 손실이다. 이러한 손실은 예를 들어, 1/10초 또는 그 이하의 지연에도 쉽게 인식될 수 있다.
도 2를 참고하면:
ADM에서, 오디오 지연-측정 모드가 시청자에게 제공되는 오디오에 대해 비디오의 임의의 지연에 대한 보상 프로세스를 시작하기 위해 입력된다. 편리하게 이것은 비디오 시스템(100)이 인스톨될 때 또는 임의의 다른 원하는 시간에 제어기(114)에 의해 실행될 수 있는 셋-업 프로그램의 일부로서 행해질 수 있다.
TP에서, 제어기(114)는 라인들(111, 115)을 통해 비디오 테스트 신호의 전송을 시작하기 위해 비디오 전송 수단(110)의 테스트 신호 발생기를 지시하는 신호를 라인(115)을 통해 전송한다.(대안적으로, 라인(115)은 제어기(114)를 통과하는데만 필요하고 테스트 패턴의 타이밍은 비디오 테스트 신호에 의해 표현된다.) 선택적으로, 테스트 신호 발생기는 시스템의 어디에나 있을 수 있고, 제어기(114) 자체에 통합될 수도 있다. 테스트 패턴(예를 들어, 흑-백 전체화면 이미지들이 교호하는)의 반복율은 예상되는 가장 긴 지연과 비교하여 오히려 길다. 모호함을 피하기 위해, 풀-테스트 패턴 시퀀스의 사이클은 최대 예상된 지연의 적어도 두 배이다.
MSR에서, 제어기(114)는 검출기(116)에 의해 생성된 검출 신호의 샘플링을 시작한다. 샘플링은 비디오 프로세싱에 의해 실행된 최소 예상 지연 시간보다 짧은 시간 기간에서 시작된다. 샘플링 간격은 적어도 비디오 프로세싱 지연 측정의 원하는 정확도만큼 작다. 예를 들어, 통상의 시청자들에 의해 관측되는 바와 같은 양호하고 분명한 립-싱크에 대해 약 10 ms의 정확도가 요구된다. 예시적 시스템에서, 이러한 정확도는 각각이 약 1.0초의 지속기간을 갖는 교호하는 흑-백 전체 화면 이미지들의 패턴을 사용하고 약 1 내지 5 ms의 간격으로 샘플링함으로써 쉽게 얻어진다. 수신된 검출 신호에 의해 반송된 수신된 테스트 신호와 전송된 비디오 테스트 신호를 상관시키기에 충분한 주기 동안 샘플링이 계속된다. 예시적 시스템은 몇 초의 샘플링 주기를 가지고, 제어기(114)가 흑-백 및 백-흑 상관시키기 위해 시도하는 동안, 전이들이 전송 비디오 테스트 신호의 대응하는 전이들과 검출 신호에서 검출된다. 제어기(114)에 의해 사용되는 상기 알고리즘은 매우 간단하거나 매우 복잡하고, 잡음이 많은 수신된 테스트 신호로부터 검출된 패턴의 원하는 추출 성능에 따른다.
COR에서, 제어기(114)는 상관이 성공적인지 결정한다. 상관은 테스트 패턴으로부터의 광이 주변 광으로부터 명확하게 구분되지 않으면 불가능할 것이다. 이런 경우는 역광 조건, 예를 들어 태양광이 광 검출기(116)의 광 센서에 직접 조사되거 나 주변 광의 세기가 테스트 패턴의 세기와 유사하게 변할 때 일어난다. 상관이 성공적이면, 프로세스의 다음 단계는 ADJ이고, 성공적이지 않으면 OPT가 된다.
성공적인 상관 다음의 ADJ에서, 제어기(114)는 전송된 테스트 신호와 수신된 테스트 신호 사이의 시간 지연을 결정한다. 그 후 상기 제어기(114)는 디스플레이 디바이스 VID에 의해 제공되는 비디오 이미지와 동기하는 오디오 디바이스 AUD에 의해 생성되는 오디오를 운반하기 위해 상기 오디오 지연 디바이스(118)에 의해 제공된 지연을 대응하게 조정한다.
OPT에서, 제어기(114)는 비디오 전송 수단(110)을 통해 동기 프로세스가 성공적이지 않을 때 시청자에게 조언하는 디스플레이 디바이스 VID로 메세지를 전송한다. 상기 메세지는 또한 주변 광 조건을 개선하기 위해 방을 더 어둡게 하는 것, 디스플레이 디바이스에 대해 주변 광 센서를 재배치하는 것, 디스플레이로부터 광 검출기(116)로 지향되는 광을 증가시키기 위해 반사면을 제공하는 것 등의 올바른 행동을 제안한다. 비디오 소스(101)의 성능에 따라 원격 제어와 지능적으로 통신하기 위해, 다른 선택들이 제어기(114)로부터의 메세지들에 의해 설명된다. 예를 들어, 시청자는 화면 이미지를 시청하는 동안 예를 들면, 공지된 디바이스들에 대해 가능한 지연들의 범위를 다루는 미리결정된 디폴트 설정들의 숫자를 선택함으로써 오디오와 비디오를 동기하도록 수동 조정을 통해 안내될 수 있다.
ADJ, OPT의 다음인 NORM에서, 제어기(114)는 동작의 정상 모드로 비디오 소스를 리턴한다.
도 3은 일련의 이미지들의 각각의 이미지들의 평균 휘도를 표현하는 샘플 들(301-308)을 포함하는 시간 샘플링된 신호(300)의 개략도이다. 도면(300)의 x축은 시간에 대응한다. y축은 일련의 이미지들의 각각의 이미지의 평균 휘도 값에 대응한다. 동기 손실을 보상하는 장치(102)의 제 2 실시예의 동작을 설명하기 위해 도 3을 참조한다.
동기 손실을 보상하기 위한 장치(102)의 제 2 실시예에서, 비디오 전송 수단(110)은 비디오 발생기(112)로부터 라인(121)을 통해 수신된 바와 같은 비디오 콘텐트에 기초하여 테스트 신호를 발생하도록 구성된다. 이는 동기를 실현하기 위해 동기 손실 보상을 위해 장치(102)에 의해 사용되는 예를 들어, 영화 또는 멜로 에피소드를 표현하는 표준/정상 비디오 콘텐트를 의미한다. 이는 비디오 발생기(112)에 의해 제공되고 라인(121)을 통해 비디오 전송 수단(110)에 의해 수신된 바와 같은 비디오 콘텐트를 분석함으로써 달성된다. 통상적으로, 정상 시청을 목적으로 디스플레이 디바이스 VID에 의해 디스플레이되는 비디오 콘텐트는 비디오의 프로세싱 지연을 결정하고 따라서, 그로부터 오디오 지연 신호를 유도하기에 적절한 특성을 갖는다. 이러한 특성은 예를 들어 평균 휘도에서 갑작스런 변화이다:
예를 들어, 제 1 빛나는/밝은 이미지, 즉 상대적으로 높은 평균 휘도를 갖는 이미지에 예컨대, 상대적으로 낮은 평균 휘도를 갖는, 제 2 어두운 이미지가 뒤따른다. 참조 번호 301, 302의 샘플들로부터 참조 번호 303, 304로의 전이가 도 3에 도시된다;
예를 들어, 제 3 어두운 이미지에 제 4 빛나는/밝은 이미지가 뒤따른다. 참조 번호 305, 306의 샘플들로부터 참조 번호 307, 308의 샘플들로의 전이가 도 3에 도시된다.
평균 휘도에서 이러한 갑작스런 변화는 통상적으로 장면 변화에서 나타난다. 통상적으로 다수의 검은 비디오 프레임들 예를 들어, 비디오 이미지들이 연소하는 장면들 사이에 삽입된다. 장면 변화의 검출 또는 비디오 콘텐트의 평균 휘도에서 상대적으로 선명한 전이는 비디오 발생기(112)로부터 수신된 바와 같은 일련의 이미지들의 제 1 이미지의 픽셀들의 제 1 평균 휘도 값과 제 1 이미지에 앞서고 비디오 발생기(112)로부터 수신된 바와 같은 일련의 이미지들의 제 2 이미지의 픽셀들의 제 2 평균 휘도 값 사이의 차를 계산하고 상기 계산된 차를 미리결정된 문턱값과 비교함으로써 양호하게 달성된다. 미리결정된 문턱값을 초과하면, 대응하는 제 1 및 제 2 이미지들이 테스트 신호에 대응하는 테스트 이미지들의 시퀀스 또는 그 일부를 형성하는데 사용된다.
동기 손실을 보상하기 위한 장치(102)의 제 2 실시예의 나머지 동작들은 도 1 및 도 2를 참고하여 설명된 바와 같은 동기 손실을 보상하기 위한 장치(102)의 제 1 실시예의 동작과 실질적으로 같다. 따라서, 근본적으로 주된 차이는 테스트 이미지들의 시퀀스를 표현하는 테스트 신호의 생성이다. 이 차이와 관련하여 다음을 유의해야 한다. 비디오의 프로세싱 지연을 결정하는 동작 및 선택적으로 동기 손실 보상을 위한 장치(102)의 제 2 실시예의 오디오 지연을 조절하는 동작이 연속 동작일 수 있다. 이는 예를 들어, 오디오 디바이스 AUD 및 디스플레이 디바이스 VID에 결합된 비디오 소스(101)를 포함하는 비디오 시스템(100)의 오디오 지연 신호는 시청자가 선호하는 영화를 보는 동안 업데이트될 수 있다. 여기서는 도 2와 관련하여 설명된 바와 같은 전용의 측정/조정 절차는 필요하지 않다.
바람직하게 수신된 비디오 콘텐트에서 다수의 빛나는/어두운 및/또는 어두운/빛나는 전이들이 실제 오디오 지연 신호를 결정하는데 사용된다.
도 4는 광 검출기(116)의 예시적 실시예를 도시한다. 이러한 광 검출기의 다양한 디자인들이 본 기술 분야에 공지되어있지만, 본 실시예는 이러한 검출기가 상대적으로 낮은 비용 성분과 약간 단순한 성분들로 이뤄지는 것을 설명한다. 광 검출기(116)는 포토-다이오드 P, 연산 증폭기 A1 및 저항들 R 1a, R 2a 를 포함하는 제 1 증폭기 회로; 연산 증폭기 A2, 저항 R 2 및 커패시터 C를 포함하는 제 2 증폭기 회로; 및 A/D 컨버터 AD를 포함한다.
포토-다이오드 P는 디스플레이 디바이스 VID가 동작하는 영역의 주변 광을 센싱하도록 배치된다. 편리하게 비디오 소스(101)의 하우징 또는 광 검출기(116)를 포함하는 다른 부품들에 통합될 수 있지만, 또한 멀리 떨어져 위치될 수도 있다. 포토다이오드를 통해 흐르는 전류는 입사 광의 함수에 따라 변한다. 제 1 증폭기 회로는 주로 포토다이오드의 전류를 입사각의 세기를 표현하는 증폭된 전압으로 변환하도록 동작한다. 제 2 증폭기 회로는 비교기 및 적분기로서 동작한다. 선형 동작 영역에서 제 1 증폭을 유지하도록 제 1 증폭기 회로와 협력한다. 해상도 및 변환 속도가 낮을 수 있기 때문에 저렴하고 낮은 변환 속도의 A/D 컨버터가 사용된다. 본 예시적 광 검출기(116)에서 상기 A/D 컨버터는 1㎑의 변환 클럭 레이트로 동작한다.
전술된 실시예들이 본 발명을 제한하는 것이 아니라 예시하는 것이며 본 기 술분야의 당업자들이 첨부된 청구항들의 범위를 벗어나지 않고 대안적인 실시예를 설계 할 수 있다는 것을 유의한다. 청구항에서, 괄호 사이의 임의의 참조 사인은 청구항을 한정하는 것으로 구성되지 않는다. 용어 "포함하다"는 청구항에 언급되지 않은 소자 또는 단계의 존재를 배제하지 않는다. 소자 앞의 단수 표현은 복수개의 그러한 소자들의 존재를 배제하지 않는다. 본 발명은 몇몇의 개별 소자들을 포함하는 하드웨어 및 적절히 프로그램된 컴퓨터로 구현될 수 있다. 몇몇 수단들을 열거하는 단위 청구항에서 몇몇의 이들 수단들은 하나의 또는 하드웨어 또는 소프트웨어의 동일한 아이템에 의해 구현될 수 있다. 용어 제 1, 제 2, 제 3의 사용은 어떤 순서를 가리키는 것은 아니다. 이들 용어들은 명칭으로 해석된다. 특별히 지시되지 않는 한 동작의 어떤 특정 시퀀스가 요구되는 것으로 의도되지 않는다.

Claims (12)

  1. 비디오의 프로세싱 지연으로 인해 시청자에게 제공되는 비디오와 오디오 사이의 동기의 손실을 보상하기 위한 장치(102)로서:
    디스플레이 디바이스에 의해 제공되는 테스트 이미지들의 시퀀스를 표현하는 테스트 신호가 상기 프로세싱 지연을 받게 된 후, 상기 테스트 신호를 전송하기 위한 비디오 전송 수단(110);
    상기 테스트 이미지들의 시퀀스에 기초하여 상기 디스플레이 디바이스로부터 광을 수신하고 상기 테스트 이미지들의 시퀀스를 표현하는 수신된 테스트 신호들을 생성하기 위한 광 검출기(116); 및
    ⅰ) 상기 수신된 테스트 신호(117)를 전송된 테스트 신호(115)와 상관시키고, ⅱ) 상기 신호들 사이의 지연을 결정하고, 및 ⅲ) 상기 신호들(115, 117) 사이의 지연에 기초하여 오디오 지연 신호(119)를 출력하기 위한 제어기(114)를 포함하는, 동기 손실 보상 장치.
  2. 제 1 항에 있어서,
    상기 비디오 전송 수단(110)은 수신된 일련의 이미지들에서 상기 테스트 이미지들의 시퀀스를 검출하기 위한 수단을 포함하는, 동기 손실 보상 장치.
  3. 제 2 항에 있어서,
    상기 검출 수단은, 상기 테스트 이미지들의 시퀀스의 제 1 이미지의 제 1 측정치와 상기 테스트 이미지들의 시퀀스의 제 2 이미지의 제 2 측정치 사이의 차가 미리 결정된 문턱값을 초과하는 것을 결정함으로써 상기 테스트 이미지들의 시퀀스를 검출하도록 구성된, 동기 손실 보상 장치.
  4. 제 3 항에 있어서,
    상기 검출 수단은, 제 1 측정치로서 상기 시퀀스의 제 1 이미지의 픽셀들의 제 1 평균 휘도 값을 계산하고 제 2 측정치로서 상기 시퀀스의 제 2 이미지의 픽셀들의 제 2 평균 휘도 값을 계산하도록 구성된, 동기 손실 보상 장치.
  5. 제 1 항에 있어서,
    상기 비디오 전송 수단(110)은 상기 테스트 신호를 발생하기 위한 신호 발생기를 포함하는, 동기 손실 보상 장치.
  6. 제 5 항에 있어서,
    상기 테스트 이미지들의 시퀀스는 단일 이미지에 대응하는, 동기 손실 보상 장치.
  7. 제 5 항에 있어서,
    상기 신호 발생기는 테스트 패턴을 발생하도록 구성된, 동기 손실 보상 장 치.
  8. 제 7 항에 있어서,
    상기 테스트 패턴은 어둡고 밝은 이미지들이 교호하는, 동기 손실 보상 장치.
  9. 제 8 항에 있어서,
    상기 어둡고 밝은 이미지들이 상기 프로세싱 지연의 적어도 두 배로 긴 기간으로 반복되는, 동기 손실 보상 장치.
  10. 비디오 출력 및 관련된 오디오 출력을 제공하기 위한 비디오 소스(101)로서:
    상기 비디오 출력을 제공하기 위한 비디오 출력 수단(102);
    상기 오디오 출력을 제공하기 위한 오디오 출력 수단(104);
    제 1 항 내지 제 9 항 중 어느 한 항에 청구된 바와 같이, 시청자에게 제공되는 비디오와 오디오 사이의 동기 손실을 보상하기 위한 장치(102)로서, 상기 비디오는 상기 비디오 출력에 기초하고 상기 오디오는 상기 오디오 출력에 기초하는, 상기 장치(102)를 포함하는, 비디오 소스(101).
  11. 제 10 항에 있어서,
    보상을 위한 상기 장치(102)의 상기 오디오 지연 신호에 기초하여 상기 오디 오 출력에서 제어가능한 지연을 실행하기 위한 오디오 지연 디바이스(18)를 포함하는, 비디오 소스.
  12. 비디오의 프로세싱 지연으로 인해 시청자들에게 제공되는 비디오와 오디오 사이의 동기 손실을 보상하기 위한 방법으로서:
    디스플레이 디바이스에 의해 제공되는 테스트 이미지들의 시퀀스를 표현하는 테스트 신호가 상기 프로세싱 지연을 받게 된 후, 상기 테스트 신호를 전송하는 단계;
    상기 테스트 이미지들의 시퀀스에 기초하여 상기 디스플레이 디바이스로부터 광을 검출하고, 상기 테스트 이미지들의 시퀀스의 표현인 수신된 테스트 신호를 생성하는 단계; 및
    상기 수신된 테스트 신호를 상기 전송된 테스트 신호와 상관시키는 단계;
    상기 신호들 사이의 상기 지연을 결정하고, 상기 신호들 사이의 상기 지연에 기초하여 오디오 지연 신호를 출력하는 단계를 포함하는, 동기 손실 보상 방법.
KR1020077016089A 2004-12-15 2005-12-14 지연된 비디오와 오디오의 동기 KR20070098864A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US63636604P 2004-12-15 2004-12-15
US60/636,366 2004-12-15

Publications (1)

Publication Number Publication Date
KR20070098864A true KR20070098864A (ko) 2007-10-05

Family

ID=36353683

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077016089A KR20070098864A (ko) 2004-12-15 2005-12-14 지연된 비디오와 오디오의 동기

Country Status (9)

Country Link
US (1) US20060139490A1 (ko)
EP (1) EP1829382B1 (ko)
JP (1) JP2008524904A (ko)
KR (1) KR20070098864A (ko)
CN (1) CN101080933A (ko)
AT (1) ATE398892T1 (ko)
DE (1) DE602005007634D1 (ko)
ES (1) ES2308596T3 (ko)
WO (1) WO2006064477A2 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7970222B2 (en) * 2005-10-26 2011-06-28 Hewlett-Packard Development Company, L.P. Determining a delay
US7693190B2 (en) * 2006-11-22 2010-04-06 Cisco Technology, Inc. Lip synchronization for audio/video transmissions over a network
US20080260350A1 (en) * 2007-04-18 2008-10-23 Cooper J Carl Audio Video Synchronization Stimulus and Measurement
US9083943B2 (en) * 2007-06-04 2015-07-14 Sri International Method for generating test patterns for detecting and quantifying losses in video equipment
US20100146578A1 (en) * 2008-12-06 2010-06-10 Mallya Arvind R System and method for providing an embedded test signal from a multimedia processor
US8659585B2 (en) * 2009-10-16 2014-02-25 Nikon Corporation Projector apparatus and projection image correcting program product
US20110157322A1 (en) * 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
US9247286B2 (en) * 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US8823782B2 (en) * 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
US8854531B2 (en) * 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
US8665320B2 (en) * 2010-07-26 2014-03-04 Echo Star Technologies L.L.C. Method and apparatus for automatic synchronization of audio and video signals
CN102169664B (zh) * 2011-01-28 2013-08-21 北京视博云科技有限公司 一种显示装置时延检测方法及装置
US20150296247A1 (en) * 2012-02-29 2015-10-15 ExXothermic, Inc. Interaction of user devices and video devices
US8495236B1 (en) 2012-02-29 2013-07-23 ExXothermic, Inc. Interaction of user devices and servers in an environment
CN104871127B (zh) * 2012-12-21 2018-04-10 巴科股份有限公司 显示器间的差分等待时间的自动化测量
US11284063B2 (en) * 2012-12-28 2022-03-22 Promptlink Communications, Inc. Video quality analysis and detection of blockiness, artifacts and color variation for high-volume testing of devices using automated video testing system
CN103117072A (zh) * 2013-01-23 2013-05-22 广东欧珀移动通信有限公司 一种音视频同步测试装置及方法
EP2948949A4 (en) * 2013-01-24 2016-09-21 Telesofia Medical Ltd SYSTEM AND METHOD FOR SOFT VIDEO DESIGN
CN103219029A (zh) * 2013-03-25 2013-07-24 广东欧珀移动通信有限公司 自动调节音视频同步的方法和系统
TWI496455B (zh) * 2013-04-10 2015-08-11 Wistron Corp 影音同步檢測裝置與方法
JP6505996B2 (ja) * 2013-08-30 2019-04-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 受信方法、及び、受信装置
US9179184B1 (en) 2014-06-20 2015-11-03 Google Inc. Methods, systems, and media for detecting a presentation of media content on a display device
CN105608935A (zh) * 2015-12-29 2016-05-25 北京奇艺世纪科技有限公司 一种影音同步的检测方法和装置
FR3105686A1 (fr) * 2019-12-18 2021-06-25 Sagemcom Broadband Sas Equipement décodeur à double liaison audio
CN111479154B (zh) * 2020-04-03 2022-03-22 海信视像科技股份有限公司 音画同步的实现设备、方法及计算机可读存储介质
CN112328076B (zh) * 2020-11-06 2021-10-29 北京中科深智科技有限公司 一种语音驱动人物手势的方法和系统
KR102540763B1 (ko) * 2021-06-03 2023-06-07 주식회사 딥브레인에이아이 머신 러닝 기반의 립싱크 영상 생성을 위한 학습 방법 및 이를 수행하기 위한 립싱크 영상 생성 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56144692A (en) * 1980-04-11 1981-11-11 Sony Corp Color frame signal generator
US4313135B1 (en) * 1980-07-28 1996-01-02 J Carl Cooper Method and apparatus for preserving or restoring audio to video
US4303939A (en) * 1980-08-11 1981-12-01 Rca Corporation Horizontal stability measurement apparatus
JPH0720834A (ja) * 1992-03-23 1995-01-24 Eastman Kodak Co Ｃｒｔキャリブレータユニット
US5404161A (en) * 1993-07-27 1995-04-04 Information Resources, Inc. Tuned signal detector for use with a radio frequency receiver
US5572261A (en) * 1995-06-07 1996-11-05 Cooper; J. Carl Automatic audio to video timing measurement device and method
JP2002521934A (ja) * 1998-07-24 2002-07-16 リーズ テクノロジーズ リミテッド ビデオ及びオーディオ同期化
US6414960B1 (en) * 1998-12-29 2002-07-02 International Business Machines Corp. Apparatus and method of in-service audio/video synchronization testing
DE19930824C2 (de) * 1999-07-03 2001-05-31 Grundig Ag Bild- und Tonwiedergabegerät und Verfahren für dessen Betrieb
JP2002290767A (ja) * 2001-03-27 2002-10-04 Toshiba Corp 映像及び音声の時間合わせ装置及び時間合わせ方法
KR100926469B1 (ko) * 2002-01-31 2009-11-13 톰슨 라이센싱 가변 지연을 제공하는 오디오/비디오 시스템과, 제 1 지연된 디지털 신호에 대해 제 2 디지털 신호를 동기화하기 위한 방법
JP4517727B2 (ja) * 2004-05-27 2010-08-04 ヤマハ株式会社 オーディオ・ビデオアンプ

Also Published As

Publication number Publication date
CN101080933A (zh) 2007-11-28
ES2308596T3 (es) 2008-12-01
DE602005007634D1 (de) 2008-07-31
ATE398892T1 (de) 2008-07-15
WO2006064477A2 (en) 2006-06-22
JP2008524904A (ja) 2008-07-10
US20060139490A1 (en) 2006-06-29
EP1829382A2 (en) 2007-09-05
EP1829382B1 (en) 2008-06-18
WO2006064477A3 (en) 2006-09-08

Similar Documents

Publication Publication Date Title
KR20070098864A (ko) 지연된 비디오와 오디오의 동기
US7920209B2 (en) Delay matching in audio/video systems
US7970222B2 (en) Determining a delay
US7020894B1 (en) Video and audio synchronization
US20050179789A1 (en) Color image processing method, and color imaging apparatus
US9615031B2 (en) Imaging device and scene determination method
FR2587863A1 (fr) Recepteur de television avec signaux selectionnables d'entree video
KR100529421B1 (ko) 비디오 신호 특성 변환 장치 및 그 방법
KR100662413B1 (ko) 영화 모드를 지원하는 영상기기 및 그 제어방법
JP2001136463A (ja) 映像信号再生装置
KR100830040B1 (ko) 카메라를 포함하는 텔레비젼 및 카메라를 포함하는 텔레비젼의 화이트 밸런스 보정 방법
KR100201257B1 (ko) 다중화면 분할 기능을 가지는 영상시스템에서 온 스크린 디스플레이의 위치 보정 장치 및 방법
KR100631732B1 (ko) 무선카메라의 외부동기신호 송수신장치
US20030112368A1 (en) Displaying device capable of displaying additional signal on blanking area of screen and displaying method thereof
JP2662849B2 (ja) テレビジョン信号の伝送路による映像・音声信号間遅延測定方法
KR100219129B1 (ko) 화면비 자동 전환방법 및 장치
JP2000152029A (ja) 自動利得制御回路
KR100362156B1 (ko) 디지털 티브이의 영상 모드 검출 장치 및 방법
KR100264323B1 (ko) 텔레비젼의 표준신호레벨 조정방법 및 그 장치
JPH0795558A (ja) 画像監視装置
KR101108046B1 (ko) Ｐｌｌ 제어방법 및 장치
KR970057171A (ko) 텔레비전수상기의 무신호상태에서의 osd 동작시 화면처리방법
KR19990021790A (ko) 씨씨브이 시스템의 영상신호 감쇄량 자동 보상장치
JPH09168156A (ja) 撮像装置
JPH07107456A (ja) テレビドアホン装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid