KR20070098589A - 영상 및 음성 처리 시스템, 영상 처리장치, 음성 처리장치,출력장치, 및 시스템 제어 방법 - Google Patents

영상 및 음성 처리 시스템, 영상 처리장치, 음성 처리장치,출력장치, 및 시스템 제어 방법 Download PDF

Info

Publication number
KR20070098589A
KR20070098589A KR1020070030144A KR20070030144A KR20070098589A KR 20070098589 A KR20070098589 A KR 20070098589A KR 1020070030144 A KR1020070030144 A KR 1020070030144A KR 20070030144 A KR20070030144 A KR 20070030144A KR 20070098589 A KR20070098589 A KR 20070098589A
Authority
KR
South Korea
Prior art keywords
processing
audio
video
signal
image
Prior art date
Application number
KR1020070030144A
Other languages
English (en)
Other versions
KR101374160B1 (ko
Inventor
겐 이치무라
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20070098589A publication Critical patent/KR20070098589A/ko
Application granted granted Critical
Publication of KR101374160B1 publication Critical patent/KR101374160B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream

Abstract

영상 및 음성 처리 시스템은, 동기를 취해서 재생할 영상데이터와 음성데이터를 출력하는 출력장치와, 이 출력장치로부터 영상데이터와 음성데이터의 공급을 받고, 적어도 영상데이터는 후단의 기기에 대하여 공급하고, 음성데이터는 스피커에 공급하도록 처리하는 음성 처리장치와, 이 음성 처리장치로부터 적어도 영상데이터의 공급을 받고, 영상을 표시하는 영상신호를 형성하는 영상 처리장치로 이루어진다. 상기 영상 처리장치는, 영상신호 처리 수단과, 제어 수단과, 처리 시간을 특정하는 특정 수단을 포함한다. 상기 영상 및 음성 처리 시스템은 처리 시간의 특정 결과에 근거하여 스피커에 제공되는 음성신호를 지연 처리하여 표시되는 영상과 동기화한다.
영상, 음성, 동기, 신호, 출력, 시스템

Description

영상 및 음성 처리 시스템, 영상 처리장치, 음성 처리장치, 출력장치, 및 시스템 제어 방법{VIDEO AND AUDIO PROCESSING SYSTEM, VIDEO PROCESSING APPARATUS, AUDIO PROCESSING APPARATUS, OUTPUT APPARATUS, AND METHOD OF CONTROLLING THE SYSTEM}
도 1a는 종래의 영상 및 음성 처리 시스템의 일례를 설명하기 위한 도면이다.
도 1b는 종래의 영상 및 음성 처리 시스템의 또 다른 일례를 설명하기 위한 도면이다.
도 1c는 종래의 영상 및 음성 처리 시스템의 또 다른 일례를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 및 음성 처리 시스템의 구조를 설명하기 위한 블럭도다.
도 3은 지연 제어 정보를 영상 표시장치로부터 음성 출력장치에만 통지하는 형태의 본 발명의 또 다른 실시예에 따른 영상 및 음성 처리 시스템의 구조의 일례를 나타내는 블록도다.
도 4a 및 4b는 지연 제어 정보를 영상 표시장치로부터 영상 및 음성 신호 재 생장치에만 통지하는 형태의 본 발명의 또 다른 실시예에 따른 영상 및 음성 처리 시스템의 구조의 일례를 나타내는 블록도다.
도 5는 지연 제어 정보를 영상 표시장치로부터, 음성 출력장치와 영상 및 음성 신호 재생장치 모두에 통지하는 형태의 본 발명의 또 다른 실시예에 따른 영상 및 음성 처리 시스템의 구조의 일례를 나타내는 블록도다.
도 6은 지연 제어 정보를 2바이트로 구성하도록 한 경우의 예를 설명하기 위한 도면이다.
도 7은 지연 제어 정보를 4바이트로 구성하도록 한 경우의 예를 설명하기 위한 도면이다.
본 발명은 2006년 3월 31일에 일본 특허청에 출원된 일본 특개 JP 2006-098382에 관련된 주제를 포함하는 것으로, 그 모든 내용은 여기에 참조로 인용된다.
[기술분야]
본 발명은 예를 들면, 홈시어터 시스템 등, 동기를 취해서 재생할 영상신호와 음성신호를 처리하는 시스템, 이 시스템에서 사용되는 장치, 이 시스템에서 사용되는 영상과 음성의 동기를 취하는 방법에 관한 것이다.
[배경기술]
DVD(Digital Versatile Disc)에 기록된 영화 등의 디지털 콘텐츠가 수많이 제공되어 왔다. 이러한 디지털 콘텐츠의 고품격 영상과 음성을 가정에서도 즐길 수 있도록, 소위 홈시어터 시스템의 사용이 증가하고 있다. 이러한 홈시어터 시스템은 예를 들면, DVD 플레이어 등의 영상 및 음성 신호 재생장치(1)와, 오디오 앰프 등의 음성 출력장치(2)와, 텔레비전 모니터(텔레비전 수상기) 등의 영상 표시장치(3)로 구성되어 있다.
영상 및 음성 신호 재생장치(1)는, 예를 들면, DVD 등의 기록 매체에 기록되어 있는 영화 등의 디지털 콘텐츠의 영상신호와 음성신호를 판독해서 출력한다.
음성 출력장치(2)는, 영상 및 음성 신호 재생장치(1)로부터의 음성신호로부터 각 스피커에 공급하는 음성신호를 형성해서 각 스피커에 공급한다. 음성신호는 2채널 신호, 4채널 신호, 또는 5.1채널 신호 등의 소위 멀티채널 신호로 할 수 있다.
영상 표시장치(3)는, 영상 및 음성 신호 재생장치(1)로부터의 영상신호로부터 표시 소자에 공급해서 영상을 표시하기 위한 영상신호를 형성한다. 다양한 수의 주사선을 사용한 다양한 주사 방식을 이용한 영상신호가 영상 표시장치(3)에 공급된다. 주사 방식에는, 480p(유효 주사선 수 480개의 프로그레시브 주사 방식(순차 주사 방식)), 720p(유효 주사선 수 720개의 프로그레시브 주사 방식), 1080i(유효 주사선 수 1080개의 인터레이싱 주사 방식(뛰어 넘기 주사 방식)) 등이 존재한다. 즉, 재생 대상의 영상신호에는, 여러 가지 포맷이 있다.
전술한 바와 같이, 영상 및 음성 신호 처리장치(1)로부터의 음성신호와 영상신호는 다른 장치에서 처리되므로, 각각의 신호 처리에 걸리는 시간이 다르다. 일반적으로, 영상신호의 경우, 처리되는 데이터량이 음성신호의 경우보다 많으므로, 처리 시간이 더 길다. 따라서, 스피커로부터 방출되는 음성과 표시 소자에 표시되는 영상 사이에 지연(립싱크의 지연)이 발생하고, 이에 따라 재생된 디지털 콘텐츠를 시청하는 시청자(유저)에게 불쾌감을 줄 수 있다.
따라서, 예를 들면, 도 1a에 나타낸 바와 같이, 영상 및 음성 신호 재생장치(1)→영상 표시장치(3)→음성 출력장치(2)의 순으로 접속하도록 하면, 영상 표시장치(3)에 있어서의 영상신호의 처리에 걸리는 시간을 검출하고, 이에 따라 음성 출력장치(2)에 송출하는 음성신호의 출력을 지연시킴으로써, 영상 표시장치(3)에 있어서의 영상의 표시 타이밍과 음성 출력장치(2)에 있어서의 음성의 출력 타이밍을 동기시킬(립싱크시킬) 수 있다.
그러나, 홈시어터 시스템에 있어서는, 많은 경우, 도 1b에 나타낸 바와 같이, 영상 및 음성 신호 재생장치(1)→음성 출력장치(2)→영상 표시장치(3)의 순으로 접속하게 되어 있다. 이 경우, 음성 출력장치(2)는, 영상 표시장치(3)에 있어서 영상신호의 처리에 걸리는 시간을 알 수 없으므로, 영상과 음성의 동기를 취할 수 없게 되는 경우가 있다.
따라서, 일본국 공개특허공보 특개 2006-33436호에는, 도 1c에 나타낸 바와 같이, 음성 출력장치(2)와 영상 표시장치(3)를 제어 라인 ct를 통해서도 접속하는 기술이 공개되어 있다. 이 기술에서는, 제어 라인 ct를 통해 음성 출력장치(2)가 영상 표시장치(3)의 메모리로 설정되어 있는, 포맷이 다른 영상신호마다 처리 시간정보를 취득하고, 이것에 따라 음성 출력장치(2)에서, 음성 출력장치(2)가 공급을 받아서 영상 표시장치(3)에 공급하는 영상신호의 형식에 따라, 출력하는 음성신호를 지연 처리한다.
이 일본국 공개특허공보 특개 2006-33436호에 기재된 기술을 이용함으로써, 음성 출력장치(2)에 있어서는, 예를 들면, 전원 투입시 등에, 영상 표시장치(3)로부터 형식이 다른 영상신호의 처리 시간을 취득하면, 자신을 통해 영상 표시장치(3)에 공급하는 영상신호의 형식에 따른 음성신호의 지연을 제어할 수 있다. 즉, 포맷이 다른 영상신호를 영상 표시장치(3)에서 처리하는 것에 기인해서 발생하는 재생 영상과 재생 음성 사이의 지연(립싱크의 지연)을 해소할 수 있다.
도 1a 내지 1c에 나타낸 바와 같이, 영상 및 음성 신호 재생장치(1), 음성 출력장치(2), 영상 표시장치(3) 등으로 구성되는 홈시어터 시스템에 있어서, 영상 표시장치(3)에서의 영상신호의 처리 시간은 480p, 720p, 1080i를 포함하는 영상신호의 형식에 따라 변화한다.
그러나, 영상 표시장치(3) 중에는, 예를 들면, 필름 모드(고화질 모드), 카메라 모드(중화질 모드), 게임 모드(보통화질 모드) 등의 복수의 영상신호에 관한 신호 처리 모드를 구비하고, 이 중에서 적절한 것을 사용자가 선택해서 설정할 수 있게 하는 경우도 있다. 신호 처리 모드가 변환될 때마다, 영상신호의 처리 시간이 변화되는 경우가 있다. 따라서, 일본국 공개특허공보 특개 2006-33436호에 기재된 기술만으로 완전히 립싱크의 지연을 제거하지 못할 수도 있다.
필름 모드(고화질 모드)에서는, 480p나 720p의 영상신호가 공급되더라도, 영상 표시장치(3)는 영상 표시장치(3)에 있어서 가장 고화질의 영상신호(예를 들면, 1080i의 영상신호)를 형성한다. 1080i보다 저화질의 영상신호가 공급되면, 부족한 주사선을 보간하는 등의 고화질화 처리가 실행된다.
카메라 모드(중화질 모드)에서는, 예를 들면, 480p의 영상신호가 공급되더라도, 영상 표시장치(3)는 영상 표시장치(3)에 있어서 중정도의 화질의 영상신호(예를 들면, 720p의 영상신호)를 형성하는 것이며, 720p보다 저화질 영상신호가 공급된 경우에는, 전술한 필름 모드(고화질 모드)의 경우보다는 높지 않지만, 부족한 주사선을 보간하는 등의 고화질화 처리를 수반하는 모드다.
게임 모드에서, 영상 표시장치(3)는 필름 모드나 카메라 모드에 있어서의 고화질화 처리를 생략한다. 영상 표시장치(3)는 공급되는 영상신호를 그대로 처리해서 통상의 영상신호를 형성하고, 이것을 표시 소자에 공급한다. 예를 들면, 영상 및 음성 신호 재생장치(1)로서, 게임기가 사용되는 경우, 그 게임기에 의해 재생되는 영상이나 음성은, 사용자의 조작에 따라 적절한 타이밍으로 재생되어야 한다. 그러나, 사용자의 조작에 따라 재생 음성은 변화되었는데도, 재생 영상의 변화가 지연된다면, 게임을 즐길 수 없다. 따라서, 게임의 영상을 처리할 경우에 있어서는 여분의 처리인 고화질화 처리 등을 행하지 않는 게임 모드를 설치한다.
복수의 신호 처리 모드가 선택 가능한 영상 표시장치(3)에 있어서는, 예를 들면, 필름 모드(고화질 모드)가 사용자에 의해 선택되어서 설정된 경우에는, 480p의 영상신호가 공급되면, 이 480p의 영상신호에 대해 부족한 주사선을 보간하여, 유효 주사선 수가 1080개인 인터레이싱 방식의 영상신호를 형성하는 처리를 행한다.
따라서, 처리하는 영상신호의 형식만 알고, 영상 표시장치(3)에 있어서 어떤 신호 처리 모드가 선택되었는지 모르면, 영상 표시장치(3)에 있어서의 영상신호의 처리 시간을 적절히 파악할 수 없다. 게다가, 영상 표시장치(3)에 대하여 사용자가 행하는 처리 모드의 선택 입력은, 여러 가지 타이밍으로 이루어지므로, 영상 표시장치(3)에 있어서의 영상신호의 처리 시간은, 여러 가지 타이밍으로 변화된다. 즉, 선택 입력되는 영상신호에 관한 신호 처리 모드는 동적으로 변화된다.
따라서, 실시간으로 영상신호의 처리 시간을 정확하게 파악할 수 있는 것은 영상 표시장치(3)밖에 없다. 따라서, 상기도 바와 같이, 일본국 공개특허공보 특개 2006-33436호에 기재된 기술만으로 영상 표시장치(3)에 있어서의 처리 모드의 변경에 따른 영상신호의 처리 시간의 동적인 변화에 대응할 수 없다. 따라서, 어느 립싱크의 지연도 완전히 제거하지 못하는 경우도 있다.
상기 과제를 해결하기 위해서, 본 발명의 일 실시예에 따르면, 동기를 취해서 재생할 영상데이터와 음성데이터를 출력하는 출력장치와, 상기 출력장치로부터 영상데이터와 음성데이터의 공급을 받고 적어도 영상데이터는 후단의 기기에 공급 하고 음성데이터는 스피커에 공급되는 음성신호를 생성하도록 처리하는 음성 처리장치와, 상기 음성 처리장치로부터 출력되는 영상데이터의 공급을 받고 영상의 표시에 사용하는 영상신호를 형성하는 영상 처리장치를 포함하는 영상 및 음성 처리 시스템이 제공된다. 상기 영상 처리장치는, 상기 음성 처리장치로부터 출력된 영상데이터로부터 소정의 화질의 영상신호를 형성하는 영상신호 처리 수단과, 상기 음성 처리장치로부터 출력된 영상데이터의 형식과 설정되는 신호 처리 모드 중 적어도 하나에 근거하여 상기 영상신호 처리 수단에 있어서의 처리를 제어하는 제어 수단과, 상기 제어 수단에 의해 상기 영상신호 처리 수단에서의 처리 내용이 변경된 경우에 영상데이터의 공급을 받은 후 그 영상데이터를 상기 영상신호 처리 수단에 의해 처리해서 영상을 표시하는 데 필요한 처리 시간을 특정하는 특정 수단을 포함한다. 상기 영상 및 음성 처리 시스템은 상기 특정 수단에 의한 처리 시간의 특정 결과에 근거하여 상기 표시되는 영상과 동기를 취하도록 스피커에 공급되는 음성신호를 지연시킨다.
본 발명의 또 다른 실시예에 따르면, 동기를 취해서 재생할 영상데이터와 음성데이터를 출력하는 출력장치와, 상기 출력장치로부터 영상데이터와 음성데이터의 공급을 받고 적어도 영상데이터는 후단의 기기에 공급하고 음성데이터는 스피커에 공급되는 음성신호를 생성하도록 처리하는 음성 처리장치를 더 포함하는 영상 및 음성 처리 시스템에 포함되는 영상 처리장치가 제공된다. 상기 영상 처리장치는 상기 음성 처리장치로부터 출력되는 영상데이터를 공급받고 영상 표시에 사용되는 영상신호를 생성한다. 상기 영상 처리장치는, 상기 음성 처리장치로부터 출력된 영상 데이터로부터 소정의 화질의 영상신호를 형성하는 영상신호 처리 수단과, 상기 음성 처리장치로부터 출력된 영상데이터의 형식과 설정되는 신호 처리 모드 중 적어도 하나에 근거하여 상기 영상신호 처리 수단에 있어서의 처리를 제어하는 제어 수단과, 상기 제어 수단에 의해 상기 영상신호 처리 수단에서의 처리 내용이 변경된 경우에 영상데이터의 공급을 받은 후 그 영상데이터를 상기 영상신호 처리 수단에 의해 처리해서 영상을 표시하는 데 필요한 처리 시간을 특정하는 특정 수단과, 상기 특정된 처리 시간을 다른 장치에 공급하는 출력 수단을 포함한다.
본 발명의 또 다른 실시예에 따르면, 동기를 취해서 재생할 영상데이터와 음성데이터를 출력하는 출력장치와, 상기 음성 처리장치로부터 출력되는 영상데이터를 공급받고 영상 표시에 사용되는 영상신호를 형성하는 영상 처리장치를 더 포함하는 영상 및 음성 처리 시스템에 포함되는 음성 처리장치가 제공된다. 상기 음성 처리장치는 상기 출력장치로부터 영상데이터와 음성데이터의 공급을 받고, 적어도 영상데이터는 후단의 기기에 공급하고, 음성데이터는 스피커에 공급되는 음성신호를 생성하도록 처리한다. 상기 음성 처리장치는, 상기 영상신호 처리 내용이 변경된 경우에 영상 처리장치로부터의 영상데이터로부터 소정의 화질의 영상신호가 형성되는 영상신호 처리를 실행하는 데 필요한 처리 시간에 관련된 정보를 수신하는 수신 수단과, 상기 출력장치로부터 음성데이터를 수신하는 입력 수단과, 상기 입력 수단에 의해 수신한 음성데이터를 음성신호로서 스피커에 공급하는 데 필요한 시간을 지연하는 지연 수단과, 상기 수신 수단에 의해 수신된 처리 시간에 관련된 정보에 근거하여 지연 수단에 있어서의 지연 시간을 제어하는 제어수단을 포함한다.
본 발명의 또 다른 실시예에 따르면, 동기를 취해서 재생할 영상데이터와 음성데이터를 출력하는 출력장치가 제공된다. 상기 출력장치는 상기 출력장치로부터 영상데이터와 음성데이터의 공급을 받고 적어도 영상데이터는 후단의 기기에 공급하고 음성데이터는 스피커에 공급되는 음성신호를 생성하도록 처리하는 음성 처리장치와, 상기 음성 처리장치로부터 출력되는 영상데이터의 공급을 받고 영상의 표시에 사용하는 영상신호를 형성하는 영상 처리장치를 더 포함하는 영상 및 음성 처리 시스템에 포함된다. 상기 출력장치는, 소정의 화질의 영상신호가 영상데이터로부터 형성되는 영상신호 처리를 실행하는 데 필요한 처리 시간에 관련된 정보로서 상기 영상신호 처리 내용이 변경된 경우에 상기 영상 처리장치로부터 출력되는 정보를 수신하는 수신 수단과, 상기 음성데이터를 출력하는 출력 수단과, 상기 출력 수단으로부터의 음성데이터의 출력을 지연하는 지연 수단과, 상기 수신 수단에 의해 수신된 처리 시간에 관련된 정보에 근거하여 상기 지연 수단에 있어서의 상기 음성데이터의 지연 시간을 제어하는 제어 수단을 포함한다.
본 발명의 또 다른 실시예에 따르면, 동기를 취해서 재생할 영상데이터와 음성데이터를 출력하는 출력장치와, 상기 출력장치로부터 영상데이터와 음성데이터의 공급을 받고 적어도 영상데이터는 후단의 기기에 공급하고 음성데이터는 스피커에 공급되는 음성신호를 생성하도록 처리하는 음성 처리장치와, 상기 음성 처리장치로부터 출력되는 영상데이터의 공급을 받고 영상의 표시에 사용하는 영상신호를 형성하는 영상 처리장치를 포함하는 영상 및 음성 처리 시스템의 제어 방법이 제공된다. 상기 제어 방법은, 상기 처리 내용이 변경되면 영상 처리장치가 영상데이터의 형식과 설정되는 신호 처리 모드 중 적어도 하나에 근거하여 영상데이터로부터 소정의 화질의 영상신호를 형성하는 데 필요한 처리 시간을 특정하는 단계와, 상기 특정된 처리 시간에 근거하여 스피커에 공급되는 음성신호를 지연하는 단계를 포함한다.
본 발명의 또 다른 실시예에 따르면, 동기를 취해서 재생할 영상데이터와 음성데이터를 출력하는 출력장치와, 상기 출력장치로부터 영상데이터와 음성데이터의 공급을 받고 적어도 영상데이터는 후단의 기기에 공급하고 음성데이터는 스피커에 공급되는 음성신호를 생성하도록 처리하는 음성 처리장치와, 상기 음성 처리장치로부터 출력되는 영상데이터의 공급을 받고 영상의 표시에 사용하는 영상신호를 형성하는 영상 처리장치를 포함하는 영상 및 음성 처리 시스템이 제공된다. 상기 영상 처리장치는, 상기 음성 처리장치로부터 출력된 영상데이터로부터 소정의 화질의 영상신호를 형성하는 영상신호 처리 수단과, 상기 음성 처리장치로부터 출력된 영상데이터의 형식과 설정되는 신호 처리 모드 중 적어도 하나에 근거하여 상기 영상신호 처리 수단에 있어서의 처리를 제어하는 제어 수단과, 상기 제어 수단에 의해 상기 영상신호 처리 수단에서의 처리 내용이 변경된 경우에 영상데이터의 공급을 받은 후 그 영상데이터를 상기 영상신호 처리 수단에 의해 처리해서 영상을 표시하는 데 필요한 처리 시간을 특정하는 특정 수단과, 상기 특정 수단에 의해 특정된 처리 시간을 상기 음성 처리장치에 통지하는 통지 수단을 포함한다. 상기 음성 처리장치는, 상기 영상 처리장치에 의해 통지된 처리 시간에 관련된 정보를 취득하는 취득 수단과, 상기 영상 처리장치에 의해 통지된 처리 시간과 상기 음성 처리장치에 있 어서의 음성신호의 처리 시간 사이의 차분을 산출하는 차분 산출 수단과, 상기 차분 산출 수단에 의해 산출된 처리 시간의 차분에 관한 정보를 상기 출력장치에 통지하는 차분 통지 수단을 포함한다. 상기 출력장치는, 출력하는 음성신호를 지연하는 지연 수단과, 상기 음성 처리장치에 의해 통지되는 상기 처리 시간의 차분에 관련된 정보를 취득하는 차분 취득 수단과, 상기 차분 취득 수단에 의해 취득된 상기 처리 시간의 차분에 관련된 정보에 근거하여 상기 지연 수단에 있어서의 음성신호의 지연 시간을 제어하는 지연 제어 수단을 포함한다.
[실시예]
이하, 도면을 참조하면서, 본 발명의 실시예에 따른 시스템, 장치, 방법에 관하여 자세히 설명한다.
[영상 및 음성 처리 시스템의 개요]
도 2는, 본 실시예의 일 실시예에 따른 영상 및 음성 처리 시스템의 구조를 설명하기 위한 블럭도다. 본 발명의 실시예에 따른 시스템, 장치, 방법은 영상 및 음성 처리 시스템에 적용된다.
도 2에 나타낸 바와 같이, 본 실시예의 실시예에 따른 영상 및 음성 처리 시스템은 기본적으로 영상 및 음성 신호 재생장치(1)와, 음성 출력장치(2)와, 영상 표시장치(3)로 구성된다. 영상 및 음성 신호 재생장치(1)는 영상신호 Vd를 전송하는 영상신호선로와 음성신호 Au를 전송하는 음성신호선로를 통해 음성 출력장치(2)에 접속된다. 음성 출력장치(2)는 영상신호 Vd를 전송하는 영상신호선로와 음성신 호 Au를 전송하는 음성신호선로를 통해 영상 표시장치(3)에 접속된다. 또한, 영상 표시장치(3)는 제어신호 Ct를 전송하는 제어신호선로를 통해 음성 출력장치(2)에 접속된다. 영상 표시장치(3)는 제어신호 Ct를 전송하는 제어신호선로를 통해 영상 및 음성 신호 재생장치(1)에 접속된다. 제어신호선로는 도 2에 점선으로 나타내었다.
영상 및 음성 신호 재생장치(1)는, 동기를 취해서 재생할 영상신호 Vd와 음성신호 Au를 출력하는 출력장치에 해당한다. 영상 및 음성 신호 재생장치(1)의 구체적인 예에는, DVD플레이어, 게임기, 하드 디스크 레코더 등의 여러 가지 재생장치나 기록재생장치 외에도, TV 튜너, IRD(Integrated Receiver Decoder)나 세트 톱 박스(Set-Top Box) 등으로 불리는 위성방송 취득기나 케이블방송 취득기, 통신기능을 구비한 PC 등, 동기를 취해서 재생할 영상신호 Vd와 음성신호 Au를 출력하는 여러 가지 기기가 포함된다.
음성 출력장치(2)는, 영상 및 음성 신호 재생장치(출력장치)(1)로부터의 영상신호 Vd와 음성신호 Au의 공급을 받고, 적어도 영상신호 Vd는 후단의 기기에 공급하고, 음성신호 Au는 음성 처리부(21)에서 스피커에 공급하도록 처리한 후 스피커 SP에 공급하는 음성 처리장치에 해당한다. 음성 출력장치(2)는, 영상신호 Vd와 음성신호 Au를 후단의 영상 표시장치(3)에 공급하는 것과 함께, 음성신호 Au는 스피커 SP에 공급하는 음성신호로 변환하고, 이것을 스피커 SP에 공급하는 처리를 행한다.
음성 출력장치(2)의 구체적인 예로서, 소위 AV(Audio/Visual) 앰프나 오디오 앰프가 있다. 예를 들면, 음성신호 Au로서 2채널, 4채널, 또는 5.1채널 음성신호가 공급될 수 있다. 본 음성 출력장치(2)는 5.1채널 음성신호 등의 멀티채널의 음성신호에 대응한다. 음성 출력장치(2)의 음성 처리부(21)는, 음성신호 Au를 각 채널의 스피커에 공급하는 음성신호 성분으로 분리하여 아날로그 음성신호를 형성하고, 필요에 따라 증폭 처리 등을 실행하고, 그 음성신호를 대응하는 채널의 스피커에 공급한다.
영상 표시장치(3)는, 음성 출력장치(음성 처리장치)(2)로부터 적어도 영상신호의 공급을 받고, 영상을 표시하는 표시부에 공급하는 영상신호를 형성하는 영상 처리장치에 해당한다. 본 실시예의 영상 표시장치(3)는, 도 2에 나타낸 바와 같이, 인터페이스(이하, I/F로 약칭한다)(31)와, 영상·음성 처리부(32)와, 제어부(33)와, 조작부(34)를 구비한다.
I/F(31)는, 음성 출력장치(2)로부터 공급되는 영상신호 Vd와 음성신호 Au를 취득하고, 그 영상신호 Vd와 음성신호 Au를 영상·음성 처리부(32)에 공급한다. I/F(31)는 입력한 영상신호 Vd의 신호 형식(주사선 수나 주사 방식 등)을 검출해서 그 검출한 형식을 제어부(33)에 통지하고, 예를 들면, 취득한 음성신호 Au의 채널수를 검출해서 그 검출한 채널수를 제어부(33)에 통지한다. 또한, I/F(31)는 도 2에 있어서 점선으로 나타낸 제어신호선로를 통해 제어 정보를 송출한다.
영상·음성 처리부(32)는, 영상신호 Vd와 음성신호 Au의 공급을 받고, 영상 표시장치(3)의 표시부에 공급하는 영상신호(영상을 표시하기 위한 영상신호)와 영상 표시장치(3)의 스피커에 공급하는 음성신호를 형성하고, 형성된 영상신호와 음 성신호를 각각 표시부와 스피커에 공급한다. 영상·음성 처리부(32)는 후술도 하지만, 제어부(33)의 제어에 따라, 예를 들면 고화질처리와, 중화질처리와, 보통처리 등의 화질이 다른 영상신호를 형성할 수 있다.
제어부(33)는, 도면에는 나타내지 않았지만, CPU(Central Processing Unit), ROM(Read Only Memory), RAM(Random Access Memory), 플래시 메모리나 EEPROM(Electrically Erasable and Programmable ROM) 등의 불휘발성 메모리가 CPU버스를 통해 접속되어서 형성된 마이크로컴퓨터다. 제어부(33)는 영상 표시장치(3)의 각부를 제어한다.
조작부(34)는 전원키, 숫자키, 각종 기능키 등의 여러 가지 조작키를 구비한다. 조작부(34)는 사용자로부터의 조작 입력을 접수하고, 이것을 전기신호로 변환하고, 그 전기신호를 제어부(33)에 공급한다. 제어부(33)는, 조작부(34)를 통해 접수한 사용자로부터의 지시 입력에 따라 영상 표시장치(3)의 각부를 제어하여, 사용자가 의도하는 처리를 실행한다.
본 발명의 실시예에 따른 영상 표시장치(3)는, 도 2에는 나타내지 않았지만, 예를 들면 LCD(Liquid Crystal Display), 유기EL(Electro Luminescence) 디스플레이, 또는 CRT(Cathode-Ray Tube) 등의 표시부와, 스피커를 구비한다.
본 발명의 실시예에 따른 영상 표시장치(3)는 음성 출력장치(2)로부터 I/F(31)를 통해 영상신호 Vd와 음성신호 Au를 수신하고, 영상·음성 처리부(32)에서 영상신호 Vd에 대해 영상 표시장치(3)의 표시부에 공급되는 영상신호를 형성하여 형성된 영상신호를 표시부에 공급하고, 영상·음성 처리부(32)에서 음성신호 Au 에 대해 영상 표시장치(3)의 스피커에 공급되는 음성신호를 형성하여 형성된 음성신호를 스피커에 공급하는 기본적인 기능을 가진다.
영상 표시장치(3)의 영상·음성 처리부(32)는, 영상신호의 처리 시간에 따라, 음성신호의 출력을 지연하는 기능을 갖추고 있어, 영상 표시장치(2)로부터 출력되는 영상과 음성 사이에 립싱크의 지연이 발생하지 않는다. 본 발명의 실시예에 있어서, 음성은 주로 음성 출력장치(2)에 접속된 스피커 SP로부터 출력되고 사용자는 스피커 SP로부터 출력되는 음성을 청취하게 된다. 따라서, 영상 표시장치(3)의 스피커 등의 음성계는 도시하지 않고, 음성계에 관한 상세한 설명은 여기에서 생략한다.
본 발명의 실시예에 따른 영상 표시장치(3)는 영상신호에 대해 신호 처리 모드로서, 필름 모드(고화질 모드), 카메라 모드(중화질 모드), 게임 모드(보통화질 모드)의 3개의 모드를 구비한다. 조작부(34)를 통해 이들 중에서 목적으로 하는 신호 처리 모드를 선택하고, 그 선택된 신호 처리 모드는 제어부(33)의 예를 들면, 불휘발성 메모리에 설정한다.
필름 모드(고화질 모드)에서, 영상 표시장치(3)는 가장 고화질의 영상신호를 형성해서 그 영상신호에 해당하는 영상을 표시한다. 주사선이나 수평방향의 화소가 부족할 경우에는, 부족한 주사선이나 수평방향의 화소를 보간하는 등의 고화질화 처리를 실행한다. 카메라 모드(중화질 모드)에서, 영상 표시장치(3)는 중간 정도의 화질의 영상신호를 형성해서 그 영상신호에 해당하는 영상을 표시한다. 주사선이나 수평방향의 화소가 부족할 경우에는, 필름 모드(고화질 모드)의 경우보다는 높지 않지만, 부족한 주사선이나 수평방향의 화소를 보간하는 등의 고화질화 처리를 실행한다. 게임 모드에서, 필름 모드나 카메라 모드에 있어서의 고화질화 처리를 생략하고, 일반적인 영상신호를 형성하여, 그 형성된 영상신호를 표시부에 공급한다.
본 발명의 실시예에 따른 영상 표시장치(3)의 제어부(33)는, I/F(31)를 통해 제어부(33)에 공급되는 영상신호의 형식(주사선 수나 주사 방식 등)을 나타내는 정보나, 조작부(34)를 통해 사용자에 의해 선택되어서 설정된 신호 처리 모드에 근거하여 영상·음성 처리부(32)에 있어서의 영상신호 처리의 처리 내용을 특정한다. 제어부(33)는 그 특정된 내용에 따라 영상·음성 처리부(32)에 있어서의 영상신호 처리를 제어한다.
제어부(33)에 전원이 투입되는 동안, 공급되는 영상신호의 형식이 변경되거나, 불휘발성 메모리에 설정된 신호 처리 모드가 변경되는 경우, 제어부(33)는 형식이나 신호 처리 모드의 변경에 따라 처리 내용을 변경하도록 영상·음성 처리부(32)를 제어한다.
구체적으로, 다양한 타이밍에서 영상신호의 형식의 변경이나 신호 처리 모드의 설정의 전환에 대응하기 위해, 제어부(33)가 영상신호의 형식이 변경되거나 신호 처리 모드의 설정이 전환된 것을 검지한 경우, 제어부(33)는 그 영상신호의 형식이나 신호 처리 모드에 따라 영상·음성 처리부(32)에 있어서의 처리 내용을 변경한다. 제어부(33)는 영상·음성 처리부(32)에 있어서의 처리 내용의 변경(전환)을 동적으로 제어할 수 있다.
또한, 제어부(33)는, 특정한 영상·음성 처리부(32)에 있어서의 처리 내용에 근거하여 영상신호의 처리에 필요한 처리 시간을 특정하고, 이 특정한 처리 시간에 관한 정보를 음성신호에 관한 지연 제어 정보로서, I/F(31)와 도 2에 있어서 점선으로 나타낸 제어신호선로를 통해서, 영상 표시장치(3)의 전단에 접속된 음성 출력장치(2)와 영상 및 음성 신호 재생장치(1) 중 적어도 한쪽에 통지한다.
지연 제어 정보의 통지에 있어서도, 제어부(33)는 영상·음성 처리부(32)에 있어서의 처리 내용의 변경의 타이밍에서 옳은 지연 제어 정보(최신 지연 제어 정보)를 취득하여, 그 취득한 지연 제어 정보를 I/F(31)와 도 2에 있어서 점선으로 나타낸 제어신호선로를 통해서, 영상 표시장치(3)의 전단에 접속된 음성 출력장치(2)와 영상 및 음성 신호 재생장치(1) 중 적어도 한쪽에 통지한다.
지연 제어 정보의 통지를 받은 음성 출력장치(2)와 영상 및 음성 신호 재생장치(1) 중 적어도 한쪽에 음성신호의 출력을 지연하는 처리를 행함으로써, 음성 출력장치(2)에 접속된 스피커 SP로부터 방출되는 재생 음성과, 영상 표시장치(3)의 표시부의 표시 화면에 표시되는 재생 영상을 동기화한다.
지연 제어 정보의 통지와 지연 처리의 세 가지 실시예에 대해 설명한다. 제1 실시예에 있어서, 도 2에 점선 (1)로 나타낸 바와 같이, 영상 표시장치(3)는 지연 제어 정보를 음성 출력장치(2)에만 통지하고, 음성 출력장치(2)에서만 음성신호의 지연 처리를 실행한다. 제2 실시예에 있어서, 점선 (2)로 나타낸 바와 같이, 영상 표시장치(3)는 지연 제어 정보를 영상 및 음성 신호 재생장치(1)에만 통지하고, 영상 및 음성 신호 재생장치(1)에서만 음성신호의 지연 처리를 실행한다. 제3 실시예에 있어서, 점선 (3)으로 나타낸 바와 같이, 영상 표시장치(3)는 지연 제어 정보를 음성 출력장치(2)와 영상 및 음성 신호 재생장치(1) 모두에 통지하고, 음성 출력장치(2)와 영상 및 음성 신호 재생장치(1) 모두에서, 음성신호의 지연 처리를 분산된 방식으로 실행한다. 이하, 상기 제1 내지 제3 실시예가 적용되는 영상 및 음성 처리 시스템에 관하여 상세히 설명한다.
[제1 실시예]
도 3은 지연 제어 정보를 영상 표시장치(3)로부터 음성 출력장치(2)에만 통지하고, 음성 출력장치(2)에서만 음성신호의 지연 처리를 실행하는 제1 실시예(도 2의 점선 (1)에 대응)가 적용된 영상 및 음성 처리 시스템의 구조의 일례를 나타내는 블럭도다.
도 3에 나타내는 영상 및 음성 처리 시스템은, 도 2에 나타낸 예에서와 같이, 영상 및 음성 신호 재생장치(1)와, 음성 출력장치(2)와, 영상 표시장치(3)를 포함한다. 도 2를 참조하여 전술한 바와 같이, 영상 및 음성 신호 재생장치(1)로부터 출력되는 동기를 취해서 재생할 영상신호 Vd와 음성신호 Au는, 음성 출력장치(2)에 공급되고, 그 음성 출력장치(2)를 통해 영상 표시장치(3)에도 공급된다.
도 3에 나타낸 예의 경우, 음성 출력장치(2)와 영상 표시장치(3)는, 예를 들면 HDMI(High-Definition Multimedia Interface) 규격의 디지털 인터페이스를 통해 접속된다. HDMI 규격은 차세대 텔레비전용 디지털 인터페이스 규격이다. HDMI 규격은 가전기기(소위 AV(Audio/Visual)기기)의 기능을 하위 호환을 유지하면서 PC용 디스플레이 등 많은 채용 예가 있는 DVI(Digital Visual Interface)에 추가한 것이다. HDMI 규격에 따르면, 영상 라인(영상신호선로)과 음성 라인(음성신호선로)과 제어 라인(제어신호선로)을 1개의 커넥터로 접속할 수 있다.
즉, HDMI 규격에 따르면, 각 신호선로를 별도로 접속하지 않고, HD(High Definition) 영상과, 멀티채널 음성신호와, 제어신호를 1개의 커넥터로 전송할 수 있다. 따라서, HDMI 규격을 이용함으로써, 예를 들면 케이블의 단선이 용이해지는 이점이 있다. HDMI 규격에 있어서의 데이터 전송속도는, 최고 5 Gbit/sec다. HDMI 규격은 디지털 화상신호의 암호화방식인 HDCP(High-bandwidth Digital Content Protection)에도 대응한다.
도 3에 나타낸 예의 영상 및 음성 처리 시스템에 있어서, 영상 표시장치(3)가 구비하는 I/F(31)와, 음성 출력장치(2)가 구비하는 I/F(22)는 모두 HDMI 규격에 따른다. 즉, 도 3의 영상 및 음성 처리 시스템은 송출하는 신호를 암호화하고, 수신한 신호를 복호화하는 기능을 갖춘다.
[도 3에 나타낸 영상 표시장치(3)의 구성과 동작]
도 3에 나타낸 예의 영상 및 음성 처리 시스템의 영상 표시장치(3)는, 도 2를 참조하여 설명한 바와 같이, 영상신호에 관한 신호 처리 모드로서, 필름 모드(고화질 모드), 카메라 모드(중화질 모드), 게임 모드(보통화질 모드)의 3개의 모드를 구비한다. 목적으로 하는 신호 처리 모드는 조작부(34)를 통해 이들 3개의 모드 중에서 선택하고, 선택된 신호 처리 모드는 제어부(33)의 예를 들면, 불휘발성 메모리에 설정한다.
영상 표시장치(3)의 제어부(33)에는, 상기한 바와 같이, I/F(31)를 통해 영상 표시장치(3)에 공급되는 영상신호의 형식(주사선 수나 주사 방식 등), 예를 들 면, 480p, 720p, 1080i 등의 영상신호의 형식을 나타내는 정보가 통지된다. 따라서, 제어부(33)는, 영상 표시장치(3)에 공급되는 영상신호의 형식과, 영상 표시장치(3)의 불휘발성 메모리에 설정된 신호 처리 모드에 근거하여 영상·음성 처리부(32)를 제어한다.
구체적으로, 공급되는 영상신호의 형식에 상관없이, 필름 모드(고화질 모드)가 선택 설정되어 있는 경우, 제어부(33)는, 영상 표시장치(3)에 있어서 가장 고화질 영상신호를 형성하도록, 영상·음성 처리부(32)를 제어하여, 고화질처리를 실행한다.
480p나 720p의 영상신호가 공급되고, 필름 모드(고화질 모드)가 선택 설정되어 있는 경우, 제어부(33)는 부족한 주사선이나 수평방향의 화소를 보간하는 고화질화 처리를 실행하도록 영상·음성 처리부(32)를 제어하여, 예를 들면, 표시용 1080i의 영상신호를 형성하고, 그 형성된 영상신호를 영상이 표시되는 표시부에 공급한다.
1080i의 영상신호가 공급되고, 필름 모드(고화질 모드)가 선택 설정되어 있는 경우, 제어부(33)는 1080i의 영상신호를 열화시키지 않도록 영상·음성 처리부(32)를 제어하여, 표시용 1080i의 영상신호를 형성하고, 그 형성된 영상신호를 영상이 표시되는 표시부에 공급한다.
카메라 모드(중화질 모드)가 선택 설정되고, 저화질 영상신호가 공급된 경우, 제어부(33)는, 중정도의 화질의 영상신호를 형성하도록, 영상·음성 처리부(32)를 제어하여, 중화질처리를 실행한다. 필요하다면, 필름 모드(고화질 모드) 의 경우보다는 높지 않지만, 부족한 주사선이나 수평방향의 화소를 보간하는 등의 고화질화 처리를 실행한다.
480p의 영상신호가 공급되고, 카메라 모드(중화질 모드)가 선택 설정되는 경우, 제어부(33)는, 부족한 주사선이나 수평방향의 화소를 보간하는 고화질화 처리를 실행하도록 영상·음성 처리부(32)를 제어하여, 표시용 예를 들면, 720p의 영상신호를 형성하고, 그 형성된 영상신호를 영상이 표시되는 표시부에 공급한다.
720p나 1080i의 영상신호가 공급되고, 카메라 모드(중화질 모드)가 선택 설정되는 경우, 제어부(33)는, 720p나 1080i의 영상신호를 열화시키지 않도록 영상·음성 처리부(32)를 제어하여, 표시용 720p 혹은 1080i의 영상신호를 형성하고, 그 형성된 영상신호를 영상이 표시되는 표시부에 공급한다.
이렇게, 필름 모드(고화질 모드) 또는 카메라 모드(중화질 모드)가 선택 설정되는 경우, 제어부(33)는, 중화질이나 고화질 영상신호가 공급되면, 소위 다운-컨버전을 실행해서 화질을 열화시키지 않도록 영상·음성 처리부(32)를 제어하고, 저화질 영상신호가 공급되면, 고화질 영상신호나 중화질의 영상신호로 업-컨버전을 실행해서 고화질이나 중화질의 영상을 표시할 수 있도록 영상·음성 처리부(32)를 제어한다.
게임 모드가 선택 설정되는 경우, 제어부(33)는, 필름 모드나 카메라 모드에서 실행하는 주사선이나 수평방향의 화소 등의 보간을 수반하는 고화질화 처리를 생략하고 일반적인 영상신호를 형성하는 보통처리를 하도록, 영상·음성 처리부(32)를 제어한다. 따라서, 480p의 영상신호가 공급되고, 게임 모드가 선택 설정 되는 경우, 제어부(33)는, 표시용 480p의 영상신호를 형성하고, 그 형성된 영상신호에 따라 영상을 표시하도록, 영상·음성 처리부(32)를 제어한다.
720p나 1080i의 영상신호가 공급되고, 게임 모드가 선택 설정되는 경우, 제어부(33)는 표시용 720p 혹은 1080i의 영상신호를 형성하고 그 형성된 영상신호에 따라 영상을 표시하도록 영상·음성 처리부(32)를 제어할 수 있다. 그러나, 표시용 720p 혹은 1080i의 영상신호를 형성하는 데 시간에 걸릴 수 있다.
따라서, 본 발명의 실시예에 따른 영상 표시장치(3)에 있어서는, 영상 표시를 위한 처리 시간을 가능한 한 짧게 하기 위해, 720p나 1080i의 영상신호가 공급되고, 게임 모드가 선택 설정되는 경우, 제어부(33)는, 주사선이나 수평방향의 화소를 솎아내어, 표시용 480p의 영상신호를 형성하고, 그 형성된 영상신호에 대응하는 영상을 표시하도록 영상·음성 처리부(32)를 제어한다.
이렇게, 게임 모드만이 고화질화 처리를 수반하지 않고, 영상신호의 공급을 받은 후 영상신호를 처리하고 그 처리된 영상신호에 해당하는 영상을 표시할 때까지 걸리는 시간을 단축할 수 있다.
또한, 제어부(33)는, 어떻게 영상·음성 처리부(32)를 제어할지에 따라, 영상·음성 처리부(32)에 있어서의 영상신호의 처리 시간을 정확하게 파악하고, 영상신호의 공급을 받은 후, 표시부의 표시 화면에 영상을 표시할 때까지 걸리는 처리 시간을 특정하고, 이 특정한 처리 시간에 따른 정보를, 음성신호에 관한 지연 제어 정보 Ct로서 I/F(31)를 통해 음성 출력장치(2)에 통지한다. 여기에서, 특정한 처리 시간에 따른 지연 제어 정보 Ct는 처리 시간 자체가 될 수도 있고, 지연 제어 정보 Ct가 공급되는 장치에서 음성신호의 지연량을 특정할 수 있는 정보가 될 수도 있다. 예를 들면, 지연 제어 정보 Ct는 미리 여러 레벨로 분할된 레벨 정보로 할 수 있다.
본 발명의 실시예에 따르면, 상기한 바와 같이, 필름 모드(고화질 모드)가 선택 설정되어 있는 경우, 480p의 영상신호가 공급된 경우와, 720p의 영상신호가 공급된 경우와, 1080i의 영상신호가 공급된 경우에 있어서, 각각 영상신호의 처리 시간은 다르다. 마찬가지로, 카메라 모드(중화질 모드)가 선택 설정되어 있는 경우, 480p의 영상신호가 공급된 경우와, 720p의 영상신호가 공급된 경우와, 1080i의 영상신호가 공급된 경우에 있어서, 각각 영상신호의 처리 시간은 다르다.
게임 모드가 선택 설정되어 있는 경우, 480p의 영상신호가 공급된 경우와, 720p의 영상신호가 공급된 경우와, 1080i의 영상신호가 공급된 경우에 있어서, 각각 영상신호의 처리 시간은 다르다. 따라서, 본 발명의 실시예에 따른 영상 표시장치(3)의 제어부(33)는, 신호 처리 모드마다, 또한, 공급된 영상신호의 형식마다, 영상·음성 처리부(32)에 있어서의 영상신호의 처리에 걸리는 시간을 정확하게 파악하여, 영상신호의 공급을 받은 후, 표시부의 표시 화면에 영상을 표시할 때까지 걸리는 시간을 특정할 수 있다.
본 발명의 실시예에 따른 영상 및 음성 처리 시스템의 영상 표시장치(3)는, 상기한 바와 같이, 예를 들면, 공급되는 영상신호가 변화되거나, 공급되는 영상신호의 형식이 변화되거나, 사용자에 의해 선택 설정되는 신호 처리 모드가 변경되는 경우에는, 최신의 영상신호의 형식과 최신 선택 설정된 신호 처리 모드에 따라, 영 상·음성 처리부(32)에 있어서 행하는 영상신호에 대한 처리의 내용을 적절히 제어하고, 영상신호의 공급을 받은 후, 그 영상신호를 처리해 영상을 표시하기까지 걸리는 처리 시간을 특정하고, 이 처리 시간에 따른 정보를 음성신호에 관한 지연 제어 정보 Ct로서 I/F(31)와, 점선으로 나타낸 제어신호선로를 통해 음성 출력장치(2)에 통지할 수 있다.
[도 3에 나타낸 음성 출력장치(2)의 구성과 동작]
도 3에 나타낸 영상 및 음성 처리 시스템의 음성 출력장치(2)는, 음성 처리부(21)를 구비하고, 상기한 바와 같이, HDMI 규격에 따른 I/F(22)을 구비한다. I/F(22)는, 영상 및 음성 신호 재생장치(1)로부터 공급을 받은 영상신호 Vd와 음성신호 Au, 제어 정보를, 영상신호선로, 음성신호선로, 점선으로 나타낸 제어신호선로를 통해 영상 표시장치(3)에 공급한다. 또한, I/F(22)는 영상 표시장치(3)로부터 점선으로 나타낸 제어신호선로를 통해 지연 제어 정보 Ct의 통지를 취득한다.
음성 출력장치(2)의 I/F(22)는 영상 표시장치(3)로부터의 지연 제어 정보 Ct를 취득하면, 음성 출력장치(2)에서 처리 가능한 형식의 정보로 변환하고, 이 정보를 음성 처리부(21)의 제어부(211)에 공급한다. 도 3에 나타낸 바와 같이, 도 3에 나타낸 예의 음성 처리부(21)는, 제어부(211), 지연 처리부(212), 증폭부(213)를 구비한다.
제어부(211)는 CPU, ROM, RAM 등(도시 생략)을 구비한 마이크로컴퓨터다. 제어부(211)는 음성 처리부(21)의 각부를 제어한다. 예를 들면, 제어부(211)는 I/F(22)를 통해 공급받는 영상 표시장치(3)로부터의 지연 제어 정보 Ct에 근거하여 지연 처리부(212)에 있어서의 음성신호의 지연 처리를 제어한다.
지연 처리부(212)는, 전술한 바와 같이, 제어부(211)에 의해 제어된다. 지연 처리부(212)는 영상 및 음성 신호 재생장치(1)로부터의 음성신호 Au의 공급을 받고, 이 음성신호 Au를 영상 표시장치(3)로부터의 지연 제어 정보 Ct에 따라 지연 처리시킴으로써, 영상 표시장치(3)에 있어서의 영상신호의 처리 시간에 따라 지연시키고, 그 지연된 영상신호를 증폭부(213)에 공급한다. 증폭부(213)도 제어부(211)에 의해 제어된다. 증폭부(213)는 공급된 음성신호를 증폭하고, 증폭된 음성신호를 스피커 SP에 공급한다.
음성 출력장치(2)의 지연 처리부(212)에서는, 영상 표시장치(3)로부터 통지되는 음성신호에 대한 지연 제어 정보 Ct에 따라, 스피커 SP에 공급하는 음성신호를 지연시킬 수 있으므로, 영상 표시장치(3)의 표시부의 표시 화면에 표시되는 영상과, 음성 출력장치(2)의 스피커 SP로부터 방출되는 음성을 동기화시켜, 립싱크의 지연을 방지할 수 있다.
영상 표시장치(3)만이 영상 표시장치(3)에서 영상신호의 처리 시간이 변화되었는지 여부를 신속하고 확실히 파악할 수 있다. 따라서, 공급되는 영상신호의 형식이 변화되거나, 신호 처리 모드의 선택 설정이 변경된 경우에도, 영상 표시장치(3)는 영상·음성 처리부(32)를 적절히 제어하고, 영상신호 처리에 걸리는 시간을 적절히 파악하고, 영상신호의 처리에 걸리는 시간에 따라 음성 출력장치(2)로부터 출력되는 음성신호를 적절히 지연시킬 수 있다.
종래의 영상 및 음성 처리 시스템에 있어서는, 신호 처리 모드가, 조작 부(34)를 통해, 필름 모드나 카메라 모드로부터 게임 모드로 전환된 경우, 영상 표시장치(3)만이 신호 처리 모드가 전환되었다는 것을 알 수 있다. 따라서, 음성신호의 최신의 지연 제어 정보 Ct를 영상 표시장치(3)로부터 음성 출력장치(2)에 통지하지 않으면, 음성 출력장치(2)에서는 필름 모드나 카메라 모드에 대응한 음성지연 처리가 계속될 수 있다.
이 경우, 게임 모드가 선택되면, 영상 표시장치(3)에서는 저화질 영상신호가 출력되는 보통처리가 실행되고, 영상신호를 처리하는 데 시간이 더 적게 걸린다. 반면에, 필름 모드나 카메라 모드에서는 영상신호에 지연 처리가 실행된다. 따라서, 게임에 대한 사용자의 조작에 따라, 재생 영상은 변화되는데 반해, 재생 음성은 지연될 수 있다. 재생 음성이 재생 영상보다 지연되면 사용자는 게임을 즐길 수 없다.
그러나, 도 3에 나타낸 영상 및 음성 처리 시스템의 예의 경우에는, 상기한 바와 같이, 영상 표시장치(3)에서, 공급되는 영상신호의 형식이 변경되거나, 선택 설정되는 신호 처리 모드가 변환되는 경우에는, 영상신호의 처리 시간에 따라 결정되는 음성신호에 관한 지연 제어 정보 Ct가 영상 표시장치(3)로부터 음성 출력장치(2)에 제공되므로, 적절한 타이밍에서 음성 출력장치(2)에서 실행되는 음성신호에 관한 지연 처리를 제어할 수 있다.
음성 출력장치(2)의 제어부(211)는, 음성 출력장치(2)에서의 음성신호 Au의 처리 시간을 고려하여, 음성지연 처리부(212)에 있어서의 음성신호의 지연량을 적절히 제어한다.
여기에서는, 설명을 간단하게 하기 위해서, 음성신호 Au는 스피커 SP에 공급하는 것으로 했지만, 이것에 한정되는 것은 아니다. 실제로는, 2채널, 4채널, 5.1채널 등의 다채널의 음성신호를 처리하게 된다. 이 경우, 예를 들면, 지연 처리부(212)에서, 영상 및 음성 신호 재생장치(1)로부터의 음성신호를 각 채널의 음성신호 성분으로 분리한다. 음성신호 성분은 상기 방식으로 지연시키고, 증폭 처리하고, 대응하는 스피커에 공급한다.
[제2 실시예]
도 4a 및 4b는 지연 제어 정보를 영상 표시장치(3)로부터 영상 및 음성 신호 재생장치(1)에만 통지하고, 영상 및 음성 신호 재생장치(1)에서만, 음성신호의 지연 처리를 실행하는 제2 실시예(도 2의 점선 (2)에 대응)가 적용된 영상 및 음성 처리 시스템을 나타내는 블럭도다.
도 4a 및 4b에 나타내는 영상 및 음성 처리 시스템은 도 2를 참조하여 전술한 바와 같이, 또한 도 3에 나타낸 영상 및 음성 처리 시스템과 마찬가지로, 영상 및 음성 신호 재생장치(1)와, 음성 출력장치(2)와, 영상 표시장치(3)를 구비한다. 도 2를 참조하여 설명한 바와 같이, 영상 및 음성 신호 재생장치(1)로부터 출력되는 동기를 취해서 재생할 영상신호 Vd와 음성신호 Au는, 음성 출력장치(2)에 공급되는 것과 함께, 그 음성 출력장치(2)를 통해, 영상 표시장치(3)에도 공급된다.
[도 4b에 나타낸 영상 표시장치(3)의 구성과 동작]
영상 표시장치(3)는, 도 2, 도 3을 참조하여 설명한 영상 표시장치(3)와 동일한 구성으로 되어 있다. 영상 표시장치(3)는 음성 출력장치(2)로부터 공급되는 영상신호 Vd와 음성신호 Au를 I/F(31)를 통해 접수하고, 이것들을 영상·음성 처리부(32)에 공급한다. I/F(31)는 공급을 받은 영상신호 Vd의 형식(주사선 수나 주사 방식 등)을 검출하고, 제어부(33)에 통지한다.
영상 표시장치(3)는, 조작부(34)를 통해서, 신호 처리 모드로서, 필름 모드(고화질 모드), 카메라 모드(중화질 모드), 게임 모드(보통화질 모드)의 3개의 모드 중에서 목적으로 하는 신호 처리 모드의 선택 입력을 접수하고, 이것을 제어부(33)에 통지하고, 제어부(33)가 구비하는 예를 들면, 불휘발성 메모리에 설정한다.
제어부(33)는, I/F(31)로부터의 영상신호 Vd의 형식과, 제어부(33)의 불휘발성 메모리에 선택 설정된 신호 처리 모드에 근거하여 영상·음성 처리부(32)에 있어서의 처리를 제어하고, 영상신호의 공급을 받은 후 그 영상신호를 처리해서 그 영상신호에 해당하는 영상을 표시할 때까지 걸리는 처리 시간을 특정하고, 특정된 처리 시간에 따른 지연 제어 정보 Ct를 I/F(31)와 점선으로 나타낸 제어신호선로를 통해 전단의 기기에 통지한다.
그러나, 도 4b에 나타낸 영상 및 음성 처리 시스템에 있어서, 음성 출력장치(2)는 음성신호의 지연 기능을 갖추지 않지만, 영상 및 음성 신호 재생장치(1)는 음성신호의 지연 기능을 갖추고 있다. 따라서, 영상 표시장치(3)는 영상 및 음성 신호 재생장치(1)에 음성신호에 관한 지연 제어 정보 Ct를 제공한다.
도 4a에 있어서, 점선 (2)로 나타낸 바와 같이, 영상 표시장치(3)와 영상 및 음성 신호 재생장치(1)를 직접적으로 제어신호선로에 의해 접속하고, 영상 표시장 치(3)로부터 영상 및 음성 신호 재생장치(1)에, 음성신호에 관한 지연 제어 정보를 통지할 수 있다. 그러나, 일반적으로는, 영상신호 Vd, 음성신호 Au의 전송 경로도 고려하고, 영상 표시장치(3)와 영상 및 음성 신호 재생장치(1)를 음성 출력장치(2)를 통해 도 4b에서 점선으로 도시한 바와 같은 제어신호선로로 접속한다. 이러한 구성으로 하면, 영상신호선로와 음성신호선로와 제어신호선로를 동일한 방식으로 접속할 수 있다.
도 4b에 나타낸 영상 및 음성 처리 시스템에서는, 영상 및 음성 신호 재생장치(1)와 음성 출력장치(2)를 HDMI 규격의 인터페이스로 접속하고, 영상 및 음성 신호 재생장치(1)로부터 출력되는 동기를 취해서 재생될 영상신호 Vd와 음성신호 Au를 음성 출력장치(2)를 통해 영상 표시장치(3)에 공급하고, 영상 표시장치(3)로부터 출력되는 음성신호에 대한 지연 제어 정보 Ct도 음성 출력장치(2)를 통해 영상 및 음성 신호 재생장치(1)에 통지한다.
[도 4b에 나타낸 음성 출력장치(2)의 구성과 동작]
음성출력장치(2)는, 도 4b에 나타낸 바와 같이, 음성 처리부(21)와, I/F(22, 23)를 구비한다. I/F(22, 23)는 HDMI 규격에 따른다. 영상 및 음성 신호 재생장치(1)로부터 공급된 영상신호 Vd와 음성신호 Au는, I/F(23)를 통해 음성 출력장치(2)에 입력되고, I/F(22)를 통해 음성 출력장치(2)로부터 영상 표시장치(3)에 공급된다.
영상 및 음성 신호 재생장치(1)로부터 공급되어, I/F(23)를 통해 접수한 음성신호 Au는, 음성신호 Au가 스피커 SP에 공급하는 형식의 신호로 변환되는 음성 처리부(21)에 공급된다. 변환된 신호는 스피커 SP에 공급된다. 이에 따라, 스피커 SP로부터는 영상 및 음성 신호 재생장치(1)로부터 공급받은 음성신호 Au에 따른 음성이 방출된다.
도 4b의 음성 처리부(21)는, 도 3에 나타낸 음성 처리부(21)와 달리, 지연 처리부(212)를 구비하지 않는다. 도 4b의 음성 처리부(21)는 공급된 음성신호 Au를 각 채널의 음성신호로 분리하고, 그 음성신호 요소에 예를 들면 증폭을 실행하고, 그 증폭된 음성신호 요소를 대응하는 스피커에 공급하는 기능을 한다.
영상 표시장치(3)의 I/F(31)로부터 공급되는 음성신호에 대한 지연 제어 정보 Ct는, I/F(22)를 통해 음성 출력장치(2)에 접수되고, I/F(23)를 통해 음성 출력장치(2)로부터 영상 및 음성 신호 재생장치(1)에 공급된다. 이렇게, 실시예 2의 음성 출력장치(2)는, 영상 표시장치(1)로부터의 음성신호에 대한 지연 제어 정보 Ct를 처리하지 않고, 그 지연 제어 정보 Ct를 영상 및 음성 신호 재생장치(1)에 공급한다(통지한다).
[도 4b에 나타낸 영상 및 음성 신호 재생장치(1)의 구성과 동작]
영상 및 음성 신호 재생장치(1)는, 도 4b에 나타낸 바와 같이, 기록 매체 드라이브(11), 판독부(12), 음성신호의 지연 처리부(13), HDMI 규격에 따른 I/F(14), 제어부(15)를 구비하고 있다. 기록 매체 드라이브(11)에 장전된 기록 매체, 예를 들면, DVD에 기록되어 있는 동기를 취해서 재생할 영상신호나 음성신호는, 판독부(12)에 의해 판독된다.
판독된 영상신호와 음성신호는, 판독부(12)에 의해 출력할 영상신호 Vd와 음 성신호 Au로 분리된다. 영상신호 Vd는 I/F(14)를 통해 음성 출력장치(2)에 공급된다. 음성신호 Au는 지연 처리부(13)와 I/F(14)를 통해, 음성 출력장치(2)에 공급된다.
영상 표시장치(3)로부터의 음성신호에 대한 지연 제어 정보 Ct는, 상기한 바와 같이, 음성 출력장치(2)를 통해, 점선으로 나타낸 제어신호선로를 통해, 영상 및 음성 신호 재생장치(1)에 통지된다. 영상 및 음성 신호 재생장치(1)의 I/F(14)는, 제어신호선로를 통해 송신되어 오는 음성신호에 대한 지연 제어 정보 Ct를 접수하고, 그 지연 제어 정보 Ct를 영상 및 음성 신호 재생장치(1)에서 처리 가능한 형식의 정보로 변환하고, 그 변환된 정보를 제어부(15)에 공급한다.
제어부(15)는, I/F(14)를 통해 공급되는 영상 표시장치(3)로부터의 음성신호에 대한 지연 제어 정보 Ct에 근거하여 지연 처리부(13)에 있어서의 음성신호에 관한 지연 시간(지연량)을 제어한다. 이에 따라, 영상 및 음성 신호 재생장치(1)로부터 출력되는 영상신호 Vd와 음성신호 Au 중, 음성신호 Au에 대해서는, 영상 표시장치(3)로부터의 음성신호에 대한 지연 제어 정보 Ct에 근거하여 지연 처리된다.
이에 따라 음성 출력장치(2)에서는, 음성신호 Au에 지연 처리를 하지 않고, 음성신호 Au를 통상대로 처리해서 처리된 음성신호 Au를 스피커 SP에 공급함으로써, 음성 출력장치(2)의 스피커 SP로부터 방출되는 재생 음성과, 영상 표시장치(3)의 표시부의 표시 화면에 표시되는 재생 영상을 동기화시켜, 립싱크의 지연을 방지한다.
환언하면, 영상 표시장치(3)에서, 공급되는 영상신호의 형식이 변환되거나, 선택 설정되는 신호 처리 모드가 변경되더라도, 영상 표시장치(3)로부터 영상신호의 처리 시간에 따라 결정되는 음성신호에 관한 지연 제어 정보 Ct가 영상 및 음성 신호 재생장치(1)에 제공되므로, 적절한 타이밍에서 가장 상위에 위치하는 영상 및 음성 신호 재생장치(1)에 있어서 행해지는 음성신호에 관한 지연 처리를 적절히 제어할 수 있다.
[제3 실시예]
도 5는 지연 제어 정보를 영상 표시장치(3)로부터, 음성 출력장치(2)와 영상 및 음성 신호 재생장치(1) 모두에 통지하고, 음성 출력장치(2)와 영상 및 음성 신호 재생장치(1) 모두에서, 음성신호의 지연 처리를 분산된 방식으로 실행하는 제3 실시예(도 2의 점선 (3)에 대응)가 적용된 영상 및 음성 처리 시스템을 설명하기 위한 블럭도다.
도 5에 나타내는 영상 및 음성 처리 시스템도, 도 2를 참조하여 설명한 바와 같이, 또한 도 3, 도 4b에 나타낸 영상 및 음성 처리 시스템의 경우와 마찬가지로, 영상 및 음성 신호 재생장치(1)와, 음성 출력장치(2)와, 영상 표시장치(3)로 구성되어 있다. 도 2를 참조하여 설명한 바와 같이, 영상 및 음성 신호 재생장치(1)로부터 출력되는 동기를 취해서 재생할 영상신호 Vd와 음성신호 Au는, 음성 출력장치(2)에 공급되는 것과 함께, 그 음성 출력장치(2)를 통해, 영상 표시장치(3)에도 공급되는 구성으로 되어 있다.
도 3에 나타낸 예의 영상 및 음성 처리 시스템에서는 음성 출력장치(2)에서 음성신호의 지연 처리를 실행하고, 도 4a 및 4b에 나타낸 예의 영상 및 음성 처리 시스템에서는 영상 및 음성 신호 재생장치(1)에서 음성신호의 지연 처리를 실행한다. 반면, 도 5에 나타내는 영상 및 음성 처리 시스템에서는, 음성 출력장치(2)와 영상 및 음성 신호 재생장치(1) 모두에서, 음성신호의 지연 처리를 실행한다.
구체적으로, 음성 출력장치(2)나 영상 및 음성 신호 재생장치(1)에 있어서의 음성신호의 지연 처리 능력이 충분하지 않고, 음성신호에 관한 지연 처리를, 음성 출력장치(2)와 영상 및 음성 신호 재생장치(1)에서 분산된 방식으로 실행할 필요가 있는 경우, 또는, 시스템의 구성상, 음성신호에 대한 지연 처리의 부하를 음성 출력장치(2)와 영상 및 음성 신호 재생장치(1)로 분산되게 하고자 하는 경우, 도 5에 나타내는 구성을 채용할 수 있다.
도 5에 나타낸 영상 및 음성 처리 시스템에 있어서, 영상 및 음성 신호 재생장치(1)는 HDMI 규격의 인터페이스를 통해 음성 출력장치(2)에 접속되고, 음성 출력장치(2)는 HDMI 규격의 인터페이스를 통해 영상 표시장치(3)에 접속된다. 영상 및 음성 신호 재생장치(1)와 음성 출력장치(2) 사이 및, 음성 출력장치(2)와 영상 표시장치(3) 사이에서는, 영상신호와 음성신호뿐만 아니라, 제어신호도 송수신할 수 있다. 도 5에 나타낸 영상 및 음성 처리 시스템을 구성하는 각 기기에 관하여 상세히 설명한다.
[도 5에 나타낸 영상 표시장치(3)의 구성과 동작]
도 5에 나타낸 영상 및 음성 처리 시스템의 영상 표시장치(3)는, 도 2, 도 3, 도 4a 및 4b를 참조하여 설명한 영상 표시장치(3)와 동일한 구성으로 되어 있다. 영상 표시장치(3)는 음성 출력장치(2)로부터 공급되는 영상신호 Vd와 음성신호 Au를 I/F(31)를 통해 접수하고, 그 영상신호 Vd와 음성신호 Au를 영상·음성 처리부(32)에 공급한다. I/F(31)는, 공급된 영상신호 Vd의 형식(주사선 수나 주사 방식 등)을 검출하고, 그 검출된 형식을 제어부(33)에 통지한다.
영상 표시장치(3)는, 조작부(34)를 통해, 신호 처리 모드로서, 필름 모드(고화질 모드), 카메라 모드(중화질 모드), 게임 모드(보통화질 모드)의 3개의 모드 중에서 목적으로 하는 신호 처리 모드의 선택 입력을 접수하고, 선택된 신호 처리 모드를, 제어부(33)에 통지하여 그 신호 처리 모드를 제어부의 불휘발성 메모리에 설정한다.
제어부(33)는, I/F(31)로부터의 영상신호 Vd의 형식과, 제어부(33)의 불휘발성 메모리에 선택 설정된 신호 처리 모드에 근거하여 영상·음성 처리부(32)에 있어서의 처리를 제어하고, 영상신호의 공급을 받은 후, 그것을 처리해서 영상을 표시할 때까지 걸리는 처리 시간을 특정하고, 특정된 처리 시간에 따른 지연 제어 정보 Ct1을 I/F(31)와 점선으로 나타낸 제어신호선로를 통해 전단의 기기에 통지한다.
[도 5에 나타낸 음성 출력장치(2)의 구성과 동작]
도 5에 나타낸 영상 및 음성 처리 시스템의 음성 출력장치(2)는, 음성 처리부(21)와, HDMI 규격에 따른 I/F(22, 23)를 구비한다. 영상 및 음성 신호 재생장치(1)로부터 공급되는 영상신호 Vd와 음성신호 Au는, I/F(23)를 통해 음성 출력장치(2)에 입력되고, I/F(22)를 통해 영상 표시장치(3)에 공급된다.
영상 표시장치(3)로부터 공급되는 음성신호에 대한 지연 제어 정보 Ct1은, I/F(22)를 통해 음성 출력장치(2)에 접수되고, 음성 출력장치(2)에서 처리 가능한 형식의 신호로 변환되고, 음성 처리부(21)의 제어부(211)에 공급된다. 도 5에 나타낸 예의 음성 처리부(21)는, 제어부(211), 지연 처리부(212), 증폭부(213)를 구비한다.
도 5에 나타낸 음성 출력장치(2)의 제어부(211)는, 도면에는 나타내지 않았지만, CPU, ROM, RAM 등을 구비한 마이크로컴퓨터다. 제어부(211)는, I/F(22)를 통해 영상 표시장치(3)로부터 공급되는 지연 제어 정보 Ct1, 음성 출력장치(2)의 음성신호에 대한 지연 처리 능력, 또는, 음성 출력장치(2)에 부담하는 음성신호에 관한 지연 처리 비율에 근거하여, 지연 처리부(212)에 있어서의 음성신호의 지연 처리를 제어한다.
제어부(211)는, 영상 표시장치(3)로부터 공급되는 지연 제어 정보 Ct1에 따라 행하는 음성신호에 대한 지연 처리와, 음성 출력장치(2)의 지연 처리부(212)가 담당하는 음성신호의 지연 처리 사이에서, 음성신호의 지연량에 차이가 있는 경우에는 그 차분을 산출한다. 제어부(211)는 영상 및 음성 신호 재생장치(1)에 대한 지연 제어 정보 Ct2로서, 이 차분에 관한 정보를 I/F(23)를 통해 영상 및 음성 신호 재생장치(1)에 통지한다.
구체적으로, 제어부(211)는, 영상 표시장치(3)로부터의 지연 제어 정보 Ct1에 근거하여 실행되는, 음성신호의 처리에 있어서의 지연량으로부터 음성 출력장치(2)에서 실행되는 음성신호의 지연 처리에 있어서의 지연량을 감산한 차분에 따른 지연 제어 정보 Ct2를 형성하고, 형성된 지연 제어 정보 Ct2를 I/F(23)를 통해 영상 및 음성 신호 재생장치(1)에 공급한다.
지연 처리부(212)는, I/F(23)를 통해 영상 및 음성 신호 재생장치(1)로부터 음성신호 Au의 공급을 받고, 그 음성신호 Au를 제어부(211)로부터의 제어 정보에 따른 지연량만큼 지연시키고, 지연 처리 후의 음성신호를 증폭부(213)에 공급한다. 증폭부(213)도 제어부(211)에 의해 제어된다. 증폭부(213)는 공급된 음성신호를 증폭하고, 증폭된 음성신호를 스피커 SP에 공급한다.
이렇게, 도 5에 나타낸 예의 영상 및 음성 처리 시스템의 음성 출력장치(2)에서는, 영상 및 음성 신호 재생장치(1)로부터 공급을 받아서 재생 출력하는 음성신호를 지연하는 기능을 갖춘다. 그러나, 음성 출력장치(2)는 영상 표시장치(3)로부터 공급되는 지연 제어 정보 Ct1에 따른 지연 처리를 모두 실행하지 않고, 음성 출력장치(2)의 지연 처리 능력이나 음성 출력장치(2)가 담당할 음성신호의 지연 처리의 비율에 따른 지연 처리를 행하고, 음성신호에 관한 부족한 지연 처리에 대해서는, 최상위에 위치하는 영상 및 음성 신호 재생장치(1)에 분담한다.
[도 5에 나타낸 영상 및 음성 신호 재생장치(1)의 구성과 동작]
도 5의 영상 및 음성 신호 재생장치(1)는, 도 4b에 나타낸 영상 및 음성 신호 재생장치(1)와 동일한 구성으로 되어 있다. 구체적으로, 도 5에 나타낸 영상 및 음성 처리 시스템의 영상 및 음성 신호 재생장치(1)는 기록 매체 드라이브(11), 판독부(12), 음성신호의 지연 처리부(13), HDMI 규격에 따른 I/F(14), 제어부(15)를 구비하고 있다. 기록 매체 드라이브(11)에 장전된 기록매체, 예를 들면, DVD에 기록되어 있는 동기를 취해서 재생할 영상신호나 음성신호는, 판독부(12)에 의해 판 독된다.
판독된 영상신호와 음성신호는, 판독부(12)에서 출력할 영상신호 Vd와 음성신호 Au로 분리된다. 영상신호 Vd는 I/F(14)를 통해 음성 출력장치(2)에 공급된다. 음성신호 Au는 지연 처리부(13)와 I/F(14)를 통해 음성 출력장치(2)에 공급된다.
영상 및 음성 신호 재생장치(1)의 I/F(14)는, 점선으로 나타낸 제어신호선로를 통해 음성 출력장치(2)로부터 공급되는 음성신호에 대한 지연 제어 정보 Ct2를 접수하고, 그 지연 제어 정보 Ct2를 영상 및 음성 신호 재생장치(1)에서 처리 가능한 형식의 정보로 변환하고, 변환된 정보를 제어부(15)에 공급한다.
제어부(15)는, I/F(14)를 통해 공급되는 음성 출력장치(2)로부터의 음성신호에 대한 지연 제어 정보 Ct2에 근거하여 지연 처리부(13)에서 음성신호에 대한 지연량을 제어한다. 이에 따라, 영상 및 음성 신호 재생장치(1)로부터 출력되는 영상신호 Vd와 음성신호 Au 중, 음성신호 Au는, 음성 출력장치(2)로부터의 음성신호에 대한 지연 제어 정보 Ct2에 근거하여 지연된다.
[도 5에 나타낸 영상 및 음성 처리 시스템의 동작의 정리]
도 5에 나타낸 영상 및 음성 처리 시스템은, 도 2를 참조하여 설명한 바와 같이, 또한 도 3, 도 4b에 나타낸 영상 및 음성 처리 시스템의 경우와 마찬가지로, 영상 및 음성 신호 재생장치(1)로부터 공급되는, 동기를 취해서 재생할 영상신호 Vd와 음성신호 Au는, 음성 출력장치(2), 및 이 음성 출력장치(2)를 통해 영상 표시장치(3)에 공급된다. 영상 표시장치(3)에 영상신호 Vd가 공급된 후 영상신호 Vd를 처리하여 표시부의 표시 화면에 영상신호에 해당하는 영상을 표시하는 데 필요한 시간에 따른 음성신호의 지연 처리를, 음성 출력장치(2)와, 영상 및 음성 신호 재생장치(1)로 분산한다.
따라서, 음성 출력장치(2)에서의 음성신호의 지연 처리와 영상 및 음성 신호 재생장치(1)에서의 음성신호의 지연 처리를 실행하고, 영상 표시장치(3)에 영상신호 Vd가 공급된 후 표시부의 표시 화면에 영상신호에 해당하는 영상을 표시하는 데 필요한 시간에 따라, 음성 출력장치(2)로부터의 음성신호의 출력을 지연시킬 수 있다.
도 5에 나타낸 영상 및 음성 처리 시스템의 경우, 영상 표시장치(3)에서, 공급되는 영상신호의 형식이 변경되거나, 선택 설정되는 신호 처리 모드가 전환되더라도, 영상 표시장치(3)로부터 공급되고 영상신호의 처리 시간에 따라 결정되는 음성신호에 관한 지연 제어 정보 Ct1에 따른 지연 처리를 음성 출력장치(2)와 영상 및 음성 신호 재생장치(1)로 분산해서 실행할 수 있으므로, 적절한 타이밍에서 음성신호에 관한 지연 처리를 적절히 제어할 수 있다.
또한 음성신호의 지연 처리에 걸리는 부하를, 음성 출력장치(2)와 영상 및 음성 신호 재생장치(1)로 분산할 수 있으므로, 영상 및 음성 처리 시스템 전체에 있어서의 음성신호에 대한 지연 처리 능력을 향상시킬 수 있고, 이 음성 처리 시스템을 구성하는 음성 출력장치(2)와 영상 및 음성 신호 재생장치(1)에 있어서의 음성신호에 대한 지연 처리의 부하를 분산시킬 수 있다. 따라서, 지연 처리의 부하를 음성 출력장치(2)와 영상 및 음성 신호 재생장치(1)의 처리 능력 이내로 할 수 있다.
음성 출력장치(2)의 제어부(211)와, 영상 및 음성 신호 재생장치(1)의 제어부(15)는 모두, 각각의 기기에 있어서의 음성신호에 대한 처리 시간을 고려하여, 음성 출력장치(2)와 영상 및 음성 신호 재생장치(1)에서 각각, 음성신호의 지연량을 적절히 설정할 수 있다.
[상위에 위치하는 기기에 전달되는 지연 제어 정보]
영상 표시장치(3)로부터 음성 출력장치(2)나 영상 및 음성 신호 재생장치(1)에 공급되는 지연 제어 정보, 또는, 음성 출력장치(2)로부터 영상 및 음성 신호 재생장치(1)에 공급되는 지연 제어 정보의 포맷에 대해서, 도 6, 도 7을 참조하면서 설명한다. 지연 제어 정보는 이하의 설명에서 지연 제어 정보 Ct라고 표기한다.
도 6은 지연 제어 정보 Ct를 2바이트로 구성한 경우의 예를 나타낸다. 지연 제어 정보 Ct에 있어서, 첫 번째 바이트는 지연 제어 정보 Ct가 송신되는 장치를 특정하는 데 이용하는 ID(장치ID)를 나타내고, 두 번째 바이트는 음성신호의 지연량에 해당하는 지연 정보를 나타낸다.
지연 정보로는, 예를 들면, 200ms, 150ms, 20ms 등과 같이, 영상 표시장치(3)가 영상신호 Vd의 공급을 받은 후 이것을 처리해서 영상을 표시할 때까지 필요한 시간을 이용한다.
공급된 영상신호의 형식과 설정된 신호 처리 모드에 따라 지연 레벨이 결정되고, 이 결정된 지연 레벨에 따른 영상 표시장치(3)에 있어서의 영상신호에 관한 처리 시간(영상 표시장치(3)가 영상신호 Vd의 공급을 받은 후 이것에 따른 영상을 표시할 때까지 걸리는 시간)을 음성 출력장치(2)나 영상 및 음성 신호 재생장치(1) 에서 특정할 수 있는 경우에는, 그 지연 레벨을 나타내는 정보를 지연 정보로서 사용할 수도 있다. 예를 들면, 공급된 영상신호의 형식이 480p이며, 설정된 신호 처리 모드가 필름 모드(고화질 모드)일 때에는 "레벨 1", 공급된 영상신호의 형식이 720p이며, 설정된 신호 처리 모드가 필름 모드(고화질 모드)일 때에는 "레벨 2" 등으로 설정된다.
또한, 지연 정보로는, 영상 표시장치(3)보다 상위에 위치하는 기기에서, 음성신호의 지연량을 특정할 수 있는 여러 가지 정보를 사용할 수 있다.
도 7은 지연 제어 정보 Ct를 4바이트로 구성한 경우의 예를 나타낸다. 지연 제어 정보 Ct 중, 첫 번째 바이트는 지연 제어 정보 Ct가 송신되는 장치를 특정하는 데 이용하는 ID(장치ID)를 나타낸다. 두 번째 바이트는 영상 표시장치(3)가 공급을 받는 영상신호 Vd의 해상도를 나타낸다.
세 번째 바이트의 정보는, 두 번째 바이트로 표시된 해상도의 영상신호 Vd를 그대로의 해상도에서 영상을 표시할 경우에 필요한 시간에 대응해서 음성신호를 지연시킬 경우의 지연 정보(두 번째 바이트로 표시된 해상도의 영상신호에 따른 디폴트의 지연 정보(음성신호에 대한 지연 정보))다. 네 번째 바이트는, 영상 표시장치(3)에서 설정된 신호 처리 모드를 고려하여, 영상 표시장치(3)에 그 영상신호가 공급된 후 이것을 처리해서 영상을 표시할 때까지 필요한 시간에 따른 실제의 지연 정보(변경 후의 지연 정보)다.
예를 들면, 영상 및 음성 신호 재생장치(1)에는, 하드 디스크 레코더와 같은 대용량의 기록 매체가 구비된다고 할 수 있다. 영상 및 음성 신호 재생장치(1)는 또한, 해상도가 다른 다수의 영상 콘텐츠를 기록 매체에 기록 저장할 수 있고, 그 다수의 영상 콘텐츠 중에서 목적으로 하는 콘텐츠를 간단하게 선택해서 재생할 수 있고, 재생하는 콘텐츠를 단시간에 반복적으로 변경할 수 있다고 할 수 있다.
이러한 경우, 재생하는 콘텐츠를 해상도가 다른 것으로(영상신호의 형식이 다른 것으로) 단시간에 복수 회 변환할 수 있다. 이 경우에는, 영상 표시장치(3)로부터 상위의 기기에 다른 복수의 지연 제어 정보 Ct가 공급된다. 지연 제어 정보 Ct의 형성 타이밍이나 송출 타이밍 등에 의해, 음성 출력장치(2)나 영상 및 음성 신호 재생장치(1)에 있어서, 어느 지연 제어 정보가 유효한지 판별하지 못할 가능성이 있다.
그러나, 도 7에 나타낸 바와 같이, 영상 표시장치(3)가 공급을 받는 영상신호 Vd의 해상도를 나타내는 정보도 지연 제어 정보 Ct에 포함함으로써, 음성 출력장치(2)나 영상 및 음성 신호 재생장치(1)에 있어서, 음성 출력장치(2)나 영상 및 음성 신호 재생장치(1)가 공급받거나 송출하는 영상신호의 해상도를 검출하고, 영상 표시장치(3)나 음성 출력장치(2) 등의 자기보다 하위의 기기로부터의 지연 제어 정보의 해상도를 나타내는 정보를 참조하여, 어느 지연 제어 정보가 유효한 것인가를 판별할 수 있다.
또한 해상도, 디폴트의 지연 정보, 변경 후의 지연 정보를 지연 제어 정보 Ct에 포함함으로써, 이 지연 제어 정보 Ct의 제공을 받은 음성 출력장치(2)나 영상 및 음성 신호 재생장치(1) 등의 상위의 기기에 있어서는, 공급된 지연 제어 정보 Ct를 그 상위의 기기에서 음성신호를 어느 정도 지연시켜야 할지를 정확하게 판단 하는 정보로서 사용할 수 있으므로, 보다 적절히 음성신호의 지연 처리를 실행할 수 있게 된다.
도 6, 도 7에 나타낸 지연 제어 정보 Ct는 일례에 불과하며, 가장 하위의 영상 표시장치(3)로부터 상위의 기기에 음성신호의 지연량을 적절히 지시할 수 있는 한, 다른 포맷의 지연 제어 정보를 이용해도 된다.
전술한 실시예에 있어서, 도 2 ~ 도 5에서 점선 화살표로 나타낸 제어신호선로는, 최하위의 영상 표시장치(3)로부터 상위의 기기를 향해 일 방향으로 제어 정보를 송신하는 것으로서 설명했지만, 제어신호선로는 이것에 한정되지 않는다. 상기한 바와 같이, 영상신호선로와 음성신호선로와 제어신호선로를 접속하는 인터페이스로서 HDMI 규격에 따른 인터페이스를 통해 기기 사이를 접속할 경우에는, 제어신호선로로서, CEC라 불리는 제어 전용선을 사용해서 기기 사이에서 제어신호를 전송할 수 있다.
상기 실시예에 있어서는, 영상신호선로와 음성신호선로와 제어신호선로를 접속하는 인터페이스로는, HDMI 규격의 인터페이스 외에도, IEEE(Institute of Electrical and Electronics Engineers) 1394 규격의 인터페이스 등, 제어신호선로를 별도로 구비한 여러 가지 인터페이스를 사용할 수도 있다. 영상신호선로와 음성신호선로를 접속하는 인터페이스와 다른 인터페이스를 제어신호선로에 사용할 수 있다.
상기 실시예에서는, 영상신호 Vd를 전송하는 영상신호선로와 음성신호 Au를 전송하는 음성신호선로를 별도로 설치했지만, 영상신호와 음성신호를 시분할 다중 화해서 동일 전송로를 이용해서 전송하는 형식의 인터페이스를 사용할 경우에도, 본 발명을 적용할 수 있다.
기기 사이를 접속하는 인터페이스는, 디지털 인터페이스에 한정되지 않고, 아날로그 인터페이스로 해도 된다.
상기 실시예에 있어서는, 영상 및 음성 신호 재생장치(1)와 음성 출력장치(2)를 별도로 설치했지만, 본 발명의 실시예는 이에 한정되지 않는다. 영상 및 음성 신호 재생장치(1)와 음성 출력장치(2)를 일체로 한 경우에도, 본 발명을 적용할 수 있다.
청구항, 또는 그 균등한 범위 내에 있는 한, 설계 요구와 다른 요소에 따라 다양한 변형, 조합, 하위 조합, 대치가 이루어질 수 있다는 것은 당업자에게 용이하게 이해된다.
본 발명에 의하면, 동기를 취해서 재생할 영상신호와 음성신호를 출력하는 출력장치와, 이 출력장치로부터 영상신호와 음성신호의 공급을 받고, 적어도 영상신호는 후단의 기기에 대하여 공급하고, 음성신호는 스피커에 공급하도록 처리하는 음성 처리장치와, 이 음성 처리장치로부터 적어도 영상신호의 공급을 받고, 영상을 표시하는 영상신호를 형성하는 영상 처리장치로 이루어지는 영상 및 음성 처리 시스템에 있어서, 그 영상 처리장치에서, 영상신호의 공급을 받은 후 이것을 처리해서 영상을 표시할 때까지 걸리는 시간이 동적으로 변화된 경우에도, 영상 처리장치 보다 상위에 위치하는 기기에서, 적절한 타이밍에서 적절히 음성신호의 지연 처리를 실행할 수 있고, 재생 음성과 재생 영상의 지연(립싱크의 지연)을 방지할 수 있다.

Claims (18)

  1. 동기를 취해서 재생할 영상데이터와 음성데이터를 출력하는 출력장치와,
    상기 출력장치로부터 영상데이터와 음성데이터의 공급을 받고, 적어도 상기 영상데이터는 후단의 기기에 공급하고, 상기 음성데이터는 스피커에 공급되는 음성신호를 생성하도록 처리하는 음성 처리장치와,
    상기 음성 처리장치로부터 출력되는 영상데이터의 공급을 받고 영상의 표시에 사용하는 영상신호를 형성하는 영상 처리장치를 포함하는 영상 및 음성 처리 시스템으로서,
    상기 영상 처리장치는,
    상기 음성 처리장치로부터 출력된 영상데이터로부터 소정의 화질의 영상신호를 형성하는 영상신호 처리 수단과,
    상기 음성 처리장치로부터 출력된 영상데이터의 형식과 설정되는 신호 처리 모드 중 적어도 하나에 근거하여 상기 영상신호 처리 수단에 있어서의 처리를 제어하는 제어 수단과,
    상기 제어 수단에 의해 상기 영상신호 처리 수단에서의 처리 내용이 변경된 경우에 영상데이터의 공급을 받은 후, 그 영상신호를 상기 영상신호 처리 수단에 의해 처리해서 영상을 표시하는 데 필요한 처리 시간을 특정하는 특정 수단을 포함하고,
    상기 영상 및 음성 처리 시스템은 상기 특정 수단에 의한 처리 시간의 특정 결과에 근거하여 상기 표시되는 영상과 동기를 취하도록 스피커에 공급되는 음성신호를 지연하는 것을 특징으로 하는 영상 및 음성 처리 시스템.
  2. 제 1항에 있어서,
    상기 영상 처리장치는,
    상기 특정된 처리 시간을 상기 음성 처리장치에 공급하는 출력 수단을 더 포함하고,
    상기 음성 처리장치는,
    상기 스피커에 공급하는 음성신호를 지연하는 지연 수단과,
    상기 영상 처리장치의 출력 수단으로부터 처리 시간을 수신하는 입력 수단과,
    상기 입력 수단에 의해 수신한 처리 시간에 근거하여 상기 지연 수단을 제어하는 지연 제어 수단을 포함하는 것을 특징으로 하는 영상 및 음성 처리 시스템.
  3. 제 2항에 있어서,
    상기 음성 처리장치는,
    상기 입력 음성데이터에 소정의 처리를 실행하고 상기 처리된 음성데이터를 상기 음성신호로서 상기 스피커에 공급하는 음성데이터 처리 수단과,
    상기 입력 음성데이터가 상기 스피커에 공급되기 전에 지연 시간을 특정하는 지연 시간 특정 수단을 더 포함하고,
    상기 지연 제어 수단은, 상기 입력 수단에 의해 공급받은 처리 시간과 상기 지연 시간에 근거하여 상기 지연 수단을 제어하는 것을 특징으로 하는 영상 및 음성 처리 시스템.
  4. 제 3항에 있어서,
    상기 음성 처리장치의 상기 지연 제어 수단은, 상기 입력 수단에 의해 공급받은 처리 시간과 상기 지연 시간의 차이에 근거하여 상기 지연 수단을 제어하는 것을 특징으로 하는 영상 및 음성 처리 시스템.
  5. 제 1항에 있어서,
    상기 영상 처리장치는 상기 특정된 처리 시간을 상기 음성 처리장치에 공급하는 출력 수단을 더 포함하고,
    상기 출력장치는,
    상기 음성신호의 출력을 지연하는 지연 수단과,
    상기 영상 처리장치로부터 출력되는 처리 시간에 관련된 정보를 수신하는 입력 수단과,
    상기 입력 수단에 의해 수신한 처리 시간에 근거하여 상기 지연 수단에 있어서의 음성신호의 지연 시간을 제어하는 지연 제어 수단을 포함하는 것을 특징으로 하는 영상 및 음성 처리 시스템.
  6. 제 5항에 있어서,
    상기 음성 처리장치는,
    상기 입력 음성데이터에 소정의 처리를 실행하고 상기 처리된 음성데이터를 상기 음성신호로서 상기 스피커에 공급하는 음성데이터 처리 수단과,
    상기 입력 음성데이터가 상기 스피커에 공급되기 전에 지연 시간을 특정하는 지연 시간 특정 수단과,
    상기 특정된 지연 시간을 상기 출력장치에 공급하는 출력 수단을 더 포함하고,
    상기 출력장치는, 상기 음성 처리장치의 출력 수단으로부터 상기 지연 시간을 수신하는 지연 시간 입력 수단을 더 포함하고,
    상기 출력장치의 지연 제어 수단은, 상기 입력 수단에 의해 공급받은 처리 시간과 상기 지연 시간 입력 수단에 의해 공급받은 지연 시간에 근거하여 상기 지연 수단을 제어하는 것을 특징으로 하는 영상 및 음성 처리 시스템.
  7. 동기를 취해서 재생할 영상데이터와 음성데이터를 출력하는 출력장치와, 상기 출력장치로부터 영상데이터와 음성데이터의 공급을 받고 적어도 영상데이터는 후단의 기기에 공급하고 음성데이터는 스피커에 공급되는 음성신호를 생성하도록 처리하는 음성 처리장치를 더 포함하는 영상 및 음성 처리 시스템의 영상 처리장치로서,
    상기 음성 처리장치로부터 출력되는 영상데이터를 공급받고 영상 표시에 사용되는 영상신호를 생성하는 상기 영상 처리장치는,
    상기 음성 처리장치로부터 출력된 영상데이터로부터 소정의 화질의 영상신호를 형성하는 영상신호 처리 수단과,
    상기 음성 처리장치로부터 출력된 영상데이터의 형식과 설정되는 신호 처리 모드 중 적어도 하나에 근거하여 상기 영상신호 처리 수단에 있어서의 처리를 제어하는 제어 수단과,
    상기 제어 수단에 의해 상기 영상신호 처리 수단에서의 처리 내용이 변경된 경우에 영상데이터의 공급을 받은 후 그 영상데이터를 상기 영상신호 처리 수단에 의해 처리해서 영상을 표시하는 데 필요한 처리 시간을 특정하는 특정 수단과,
    상기 특정된 처리 시간을 다른 장치에 공급하는 출력 수단을 포함하는 것을 특징으로 하는 영상 처리장치.
  8. 동기를 취해서 재생할 영상데이터와 음성데이터를 출력하는 출력장치와, 상 기 음성 처리장치로부터 출력되는 영상데이터를 공급받고 영상 표시에 사용되는 영상신호를 형성하는 영상 처리장치를 더 포함하는 영상 및 음성 처리 시스템의 음성 처리장치로서,
    상기 출력장치로부터 영상데이터와 음성데이터의 공급을 받고, 적어도 영상데이터는 후단의 기기에 공급하고, 음성데이터는 스피커에 공급되는 음성신호를 생성하도록 처리하는 상기 음성 처리장치는,
    상기 영상신호 처리 내용이 변경된 경우에 영상 처리장치로부터의 영상데이터로부터 소정의 화질의 영상신호가 형성되는 영상신호 처리를 실행하는 데 필요한 처리 시간에 관련된 정보를 수신하는 수신 수단과,
    상기 출력장치로부터 음성데이터를 수신하는 입력 수단과,
    상기 입력 수단에 의해 수신한 음성데이터를 음성신호로서 스피커에 공급하는 데 필요한 시간을 지연하는 지연 수단과,
    상기 수신 수단에 의해 수신된 처리 시간에 관련된 정보에 근거하여 상기 지연 수단에 있어서의 지연 시간을 제어하는 제어수단을 포함하는 것을 특징으로 하는 음성 처리장치.
  9. 제 8항에 있어서,
    상기 음성데이터로부터의 음성신호를 생성하고 그 음성신호를 스피커에 공급하는 데 필요한 처리 시간을 특정하는 처리 시간 특정 수단을 더 포함하고,
    상기 제어 수단은 상기 처리 시간 특정 수단에 의해 특정된 처리 시간과 상기 수신 수단에 의해 수신된 처리 시간에 근거하여 상기 지연 수단의 자연 시간을 제어하는 것을 특징으로 하는 음성 처리장치.
  10. 동기를 취해서 재생할 영상데이터와 음성데이터를 출력하는 출력장치로서,
    상기 출력장치로부터 영상데이터와 음성데이터의 공급을 받고 적어도 영상데이터는 후단의 기기에 공급하고 음성데이터는 스피커에 공급되는 음성신호를 생성하도록 처리하는 음성 처리장치와, 상기 음성 처리장치로부터 출력되는 영상데이터의 공급을 받고 영상의 표시에 사용하는 영상신호를 형성하는 영상 처리장치를 더 포함하는 영상 및 음성 처리 시스템에 포함되는 상기 출력장치는,
    소정의 화질의 영상신호가 상기 영상데이터로부터 형성되는 영상신호 처리를 실행하는 데 필요한 처리 시간에 관련된 정보로서, 상기 영상신호 처리 내용이 변경된 경우에 상기 영상 처리장치로부터 출력되는 상기 처리 시간에 관련된 정보를 수신하는 수신 수단과,
    상기 음성데이터를 출력하는 출력 수단과,
    상기 출력 수단으로부터의 음성데이터의 출력을 지연하는 지연 수단과,
    상기 수신 수단에 의해 수신된 처리 시간에 관련된 정보에 근거하여 상기 지연 수단에 있어서의 상기 음성데이터의 지연 시간을 제어하는 제어 수단을 포함하는 것을 특징으로 하는 출력장치.
  11. 제 10항에 있어서,
    상기 음성 처리장치가 음성데이터를 공급받고 그 음성데이터를 상기 음성 처리장치로부터 스피커에 공급하는 동안의 지연 시간을 수신하는 지연 시간 수신 수단을 더 포함하고,
    상기 제어 수단은, 상기 수신 수단에 의해 수신된 처리 시간에 관련된 정보와 상기 지연 시간 수신 수단에 의해 수신된 지연 시간에 근거하여 상기 지연 수단에 있어서 상기 음성데이터의 지연 시간을 제어하는 것을 특징으로 하는 출력장치.
  12. 동기를 취해서 재생할 영상데이터와 음성데이터를 출력하는 출력장치와, 상기 출력장치로부터 영상데이터와 음성데이터의 공급을 받고 적어도 영상데이터는 후단의 기기에 공급하고 음성데이터는 스피커에 공급되는 음성신호를 생성하도록 처리하는 음성 처리장치와, 상기 음성 처리장치로부터 출력되는 영상데이터의 공급을 받고 영상의 표시에 사용하는 영상신호를 형성하는 영상 처리장치를 포함하는 영상 및 음성 처리 시스템의 제어 방법으로서,
    상기 처리 내용이 변경되면 영상 처리장치가 영상데이터의 형식과 설정되는 신호 처리 모드 중 적어도 하나에 근거하여 영상데이터로부터 소정의 화질의 영상신호를 형성하는 데 필요한 처리 시간을 특정하는 단계와,
    상기 특정된 처리 시간에 근거하여 스피커에 공급되는 음성신호를 지연하는 단계를 포함하는 것을 특징으로 하는 영상 및 음성 처리 시스템의 제어 방법.
  13. 동기를 취해서 재생할 영상데이터와 음성데이터를 출력하는 출력장치와,
    상기 출력장치로부터 영상데이터와 음성데이터의 공급을 받고 적어도 영상데이터는 후단의 기기에 공급하고 음성데이터는 스피커에 공급되는 음성신호를 생성하도록 처리하는 음성 처리장치와,
    상기 음성 처리장치로부터 출력되는 영상데이터의 공급을 받고 영상의 표시에 사용하는 영상신호를 형성하는 영상 처리장치를 포함하는 영상 및 음성 처리 시스템으로서,
    상기 영상 처리장치는,
    상기 음성 처리장치로부터 출력된 영상데이터로부터 소정의 화질의 영상신호를 형성하는 영상신호 처리 수단과,
    상기 음성 처리장치로부터 출력된 영상데이터의 형식과 설정되는 신호 처리 모드 중 적어도 하나에 근거하여 상기 영상신호 처리 수단에 있어서의 처리를 제어하는 제어 수단과,
    상기 제어 수단에 의해 상기 영상신호 처리 수단에서의 처리 내용이 변경된 경우에 영상데이터의 공급을 받은 후 그 영상데이터를 상기 영상신호 처리 수단에 의해 처리해서 영상을 표시하는 데 필요한 처리 시간을 특정하는 특정 수단과,
    상기 특정 수단에 의해 특정된 처리 시간을 상기 음성 처리장치에 통지하는 통지 수단을 포함하고,
    상기 음성 처리장치는,
    상기 영상 처리장치에 의해 통지된 처리 시간에 관련된 정보를 취득하는 취득 수단과,
    상기 영상 처리장치에 의해 통지된 처리 시간과 상기 음성 처리장치에 있어서의 음성신호의 처리 시간 사이의 차분을 산출하는 차분 산출 수단과,
    상기 차분 산출 수단에 의해 산출된 처리 시간의 차분에 관한 정보를 상기 출력장치에 통지하는 차분 통지 수단을 포함하고,
    상기 출력장치는,
    출력하는 음성신호를 지연하는 지연 수단과,
    상기 음성 처리장치에 의해 통지되는 상기 처리 시간의 차분에 관련된 정보를 취득하는 차분 취득 수단과,
    상기 차분 취득 수단에 의해 취득된 상기 처리 시간의 차분에 관련된 정보에 근거하여 상기 지연 수단에 있어서의 음성신호의 지연 시간을 제어하는 지연 제어 수단을 포함하는 것을 특징으로 하는 영상 및 음성 처리 시스템.
  14. 동기를 취해서 재생할 영상데이터와 음성데이터를 출력하는 출력장치와,
    상기 출력장치로부터 영상데이터와 음성데이터의 공급을 받고 적어도 영상데 이터는 후단의 기기에 공급하고 음성데이터는 스피커에 공급되는 음성신호를 생성하도록 처리하는 음성 처리장치와,
    상기 음성 처리장치로부터 출력되는 영상데이터의 공급을 받고 영상의 표시에 사용하는 영상신호를 형성하는 영상 처리장치를 포함하는 영상 및 음성 처리 시스템으로서,
    상기 영상 처리장치는,
    상기 음성 처리장치로부터 출력된 영상데이터로부터 소정의 화질의 영상신호를 형성하는 영상신호 처리부와,
    상기 음성 처리장치로부터 출력된 영상데이터의 형식과 설정되는 신호 처리 모드 중 적어도 하나에 근거하여 상기 영상신호 처리부에 있어서의 처리를 제어하는 제어부와,
    상기 제에부에 의해 상기 영상신호 처리부에서의 처리 내용이 변경된 경우에 영상데이터의 공급을 받은 후 그 영상데이터를 상기 영상신호 처리부에 의해 처리해서 영상을 표시하는 데 필요한 처리 시간을 특정하는 특정부를 포함하고,
    상기 영상 및 음성 처리 시스템은, 상기 특정부에 의한 처리 시간의 특정 결과에 근거하여 스피커에 제공되는 음성신호를 지연 처리하여 표시되는 영상과 동기화하는 것을 특징으로 하는 영상 및 음성 처리 시스템.
  15. 동기를 취해서 재생할 영상데이터와 음성데이터를 출력하는 출력장치와, 상 기 출력장치로부터 영상데이터와 음성데이터의 공급을 받고 적어도 영상데이터는 후단의 기기에 공급하고 음성데이터는 스피커에 공급되는 음성신호를 생성하도록 처리하는 음성 처리장치를 더 포함하는 영상 및 음성 처리 시스템의 영상 처리장치로서,
    상기 음성 처리장치로부터 출력되는 영상데이터를 공급받고 영상 표시에 사용되는 영상신호를 생성하는 상기 영상 처리장치는,
    상기 음성 처리장치로부터 출력된 영상데이터로부터 소정의 화질의 영상신호를 형성하는 영상신호 처리부와,
    상기 음성 처리장치로부터 출력된 영상데이터의 형식과 설정되는 신호 처리 모드 중 적어도 하나에 근거하여 상기 영상신호 처리부에 있어서의 처리를 제어하는 제어부와,
    상기 제어부에 의해 상기 영상신호 처리부에서의 처리 내용이 변경된 경우에 영상데이터의 공급을 받은 후 그 영상데이터를 상기 영상신호 처리부에 의해 처리해서 영상을 표시하는 데 필요한 처리 시간을 특정하는 특정부와,
    상기 특정된 처리 시간을 다른 장치에 공급하는 출력부를 포함하는 것을 특징으로 하는 영상 처리장치.
  16. 동기를 취해서 재생할 영상데이터와 음성데이터를 출력하는 출력장치와, 상기 음성 처리장치로부터 출력되는 영상데이터를 공급받고 영상 표시에 사용되는 영 상신호를 형성하는 영상 처리장치를 더 포함하는 영상 및 음성 처리 시스템의 음성 처리장치로서,
    상기 출력장치로부터 영상데이터와 음성데이터의 공급을 받고, 적어도 영상데이터는 후단의 기기에 공급하고, 음성데이터는 스피커에 공급되는 음성신호를 생성하도록 처리하는 상기 음성 처리장치는,
    상기 영상신호 처리 내용이 변경된 경우에 영상 처리장치로부터의 영상데이터로부터 소정의 화질의 영상신호가 형성되는 영상신호 처리를 실행하는 데 필요한 처리 시간에 관련된 정보를 수신하는 수신부와,
    상기 출력장치로부터 음성데이터를 수신하는 입력부와,
    상기 입력부에 의해 수신한 음성데이터를 음성신호로서 스피커에 공급하는 데 필요한 시간을 지연하는 지연부와,
    상기 수신부에 의해 수신된 처리 시간에 관련된 정보에 근거하여 상기 지연부에 있어서의 지연 시간을 제어하는 제어부를 포함하는 것을 특징으로 하는 음성 처리장치.
  17. 동기를 취해서 재생할 영상데이터와 음성데이터를 출력하는 출력장치로서,
    상기 출력장치로부터 영상데이터와 음성데이터의 공급을 받고 적어도 영상데이터는 후단의 기기에 공급하고 음성데이터는 스피커에 공급되는 음성신호를 생성하도록 처리하는 음성 처리장치와, 상기 음성 처리장치로부터 출력되는 영상데이터 의 공급을 받고 영상의 표시에 사용하는 영상신호를 형성하는 영상 처리장치를 더 포함하는 영상 및 음성 처리 시스템에 포함되는 상기 출력장치는,
    소정의 화질의 영상신호가 상기 영상데이터로부터 형성되는 영상신호 처리를 실행하는 데 필요한 처리 시간에 관련된 정보로서, 상기 영상신호 처리 내용이 변경된 경우에 상기 영상 처리장치로부터 출력되는 상기 처리 시간에 관련된 정보를 수신하는 수신부와,
    상기 음성데이터를 출력하는 출력부와,
    상기 출력부로부터의 음성데이터의 출력을 지연하는 지연부와,
    상기 수신부에 의해 수신된 처리 시간에 관련된 정보에 근거하여 상기 지연부에 있어서의 상기 음성데이터의 지연 시간을 제어하는 제어부를 포함하는 것을 특징으로 하는 출력장치.
  18. 동기를 취해서 재생할 영상데이터와 음성데이터를 출력하는 출력장치와,
    상기 출력장치로부터 영상데이터와 음성데이터의 공급을 받고 적어도 영상데이터는 후단의 기기에 공급하고 음성데이터는 스피커에 공급되는 음성신호를 생성하도록 처리하는 음성 처리장치와,
    상기 음성 처리장치로부터 출력되는 영상데이터의 공급을 받고 영상의 표시에 사용하는 영상신호를 형성하는 영상 처리장치를 포함하는 영상 및 음성 처리 시스템으로서,
    상기 영상 처리장치는,
    상기 음성 처리장치로부터 출력된 영상데이터로부터 소정의 화질의 영상신호를 형성하는 영상신호 처리부와,
    상기 음성 처리장치로부터 출력된 영상데이터의 형식과 설정되는 신호 처리 모드 중 적어도 하나에 근거하여 상기 영상신호 처리부에 있어서의 처리를 제어하는 제어부와,
    상기 제어부에 의해 상기 영상신호 처리부에서의 처리 내용이 변경된 경우에 영상데이터의 공급을 받은 후 그 영상데이터를 상기 영상신호 처리부에 의해 처리해서 영상을 표시하는 데 필요한 처리 시간을 특정하는 특정부와,
    상기 특정부에 의해 특정된 처리 시간을 상기 음성 처리장치에 통지하는 통지부를 포함하고,
    상기 음성 처리장치는,
    상기 영상 처리장치에 의해 통지된 처리 시간에 관련된 정보를 취득하는 취득부와,
    상기 영상 처리장치에 의해 통지된 처리 시간과 상기 음성 처리장치에 있어서의 음성신호의 처리 시간 사이의 차분을 산출하는 차분 산출부와,
    상기 차분 산출부에 의해 산출된 처리 시간의 차분에 관한 정보를 상기 출력장치에 통지하는 차분 통지부를 포함하고,
    상기 출력장치는,
    출력하는 음성신호를 지연하는 지연부와,
    상기 음성 처리장치에 의해 통지되는 상기 처리 시간의 차분에 관련된 정보를 취득하는 차분 취득부와,
    상기 차분 취득부에 의해 취득된 상기 처리 시간의 차분에 관련된 정보에 근거하여 상기 지연부에 있어서의 음성신호의 지연 시간을 제어하는 지연 제어부를 포함하는 것을 특징으로 하는 영상 및 음성 처리 시스템.
KR1020070030144A 2006-03-31 2007-03-28 영상 및 음성 처리 시스템, 영상 처리장치, 음성 처리장치,출력장치, 및 시스템 제어 방법 KR101374160B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2006-00098382 2006-03-31
JP2006098382A JP4544190B2 (ja) 2006-03-31 2006-03-31 映像音声処理システム、映像処理装置、音声処理装置、映像音声の出力装置および映像と音声の同期処理方法

Publications (2)

Publication Number Publication Date
KR20070098589A true KR20070098589A (ko) 2007-10-05
KR101374160B1 KR101374160B1 (ko) 2014-03-14

Family

ID=38559059

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070030144A KR101374160B1 (ko) 2006-03-31 2007-03-28 영상 및 음성 처리 시스템, 영상 처리장치, 음성 처리장치,출력장치, 및 시스템 제어 방법

Country Status (4)

Country Link
US (1) US8301007B2 (ko)
JP (1) JP4544190B2 (ko)
KR (1) KR101374160B1 (ko)
CN (1) CN100562062C (ko)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006118106A1 (ja) 2005-04-28 2006-11-09 Matsushita Electric Industrial Co., Ltd. リップシンク補正装置及びリップシンク補正方法
US8949120B1 (en) 2006-05-25 2015-02-03 Audience, Inc. Adaptive noise cancelation
JP2009124223A (ja) * 2007-11-12 2009-06-04 Sharp Corp Ａｖシステム
JP4958748B2 (ja) * 2007-11-27 2012-06-20 キヤノン株式会社 音声処理装置、映像処理装置及びそれらの制御方法
US8223113B2 (en) * 2007-12-26 2012-07-17 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with variable delay
WO2009098878A1 (ja) * 2008-02-06 2009-08-13 Panasonic Corporation 映像音声データ同期方法、映像出力機器、音声出力機器及び映像音声出力システム
JP4674614B2 (ja) * 2008-04-18 2011-04-20 ソニー株式会社 信号処理装置および制御方法、信号処理方法、プログラム、並びに信号処理システム
JP5506239B2 (ja) * 2009-05-12 2014-05-28 キヤノン株式会社 映像処理装置、制御方法及びプログラム
JP2011059351A (ja) * 2009-09-09 2011-03-24 Toshiba Corp 映像信号処理装置および映像信号処理方法
CN101771809B (zh) * 2009-10-20 2014-10-29 大连捷成实业发展有限公司 基于fpga实现多路数字视频同步处理方法
JP5595028B2 (ja) * 2009-12-14 2014-09-24 キヤノン株式会社 放送受信装置及び方法
JP2011172156A (ja) * 2010-02-22 2011-09-01 Sony Corp コンテンツ再生システム、コンテンツ受信装置、音声再生装置、コンテンツ再生方法およびプログラム
US8692937B2 (en) * 2010-02-25 2014-04-08 Silicon Image, Inc. Video frame synchronization
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
JP2012119924A (ja) * 2010-11-30 2012-06-21 Toshiba Corp 映像表示装置及び映像表示方法、音声再生装置及び音声再生方法、映像音声同期制御システム
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
JP5127992B2 (ja) * 2012-05-31 2013-01-23 株式会社東芝 映像処理装置及び映像処理方法、音声再生装置及び音声再生方法
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
US20140241702A1 (en) * 2013-02-25 2014-08-28 Ludger Solbach Dynamic audio perspective change during video playback
US9444746B2 (en) 2013-06-25 2016-09-13 Qualcomm Incorporated Selectively transferring high-priority non-audio data over a quality of service channel
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
JP2014143724A (ja) * 2014-03-19 2014-08-07 Canon Inc 映像信号処理装置
DE112015003945T5 (de) 2014-08-28 2017-05-11 Knowles Electronics, Llc Mehrquellen-Rauschunterdrückung
US9910634B2 (en) * 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
CN104902317A (zh) * 2015-05-27 2015-09-09 青岛海信电器股份有限公司 音视频同步方法及装置
CN104980820B (zh) 2015-06-17 2018-09-18 小米科技有限责任公司 多媒体文件播放方法及装置
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
EP3531714B1 (en) 2015-09-17 2022-02-23 Sonos Inc. Facilitating calibration of an audio playback device
JP6632864B2 (ja) * 2015-10-27 2020-01-22 シナプティクス・ジャパン合同会社 表示ドライバ及び表示装置
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
US9843825B1 (en) * 2016-06-10 2017-12-12 Apple Inc. Distributed and synchronized media switching
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
JP2019004401A (ja) * 2017-06-19 2019-01-10 セイコーエプソン株式会社 プロジェクションシステム、プロジェクター及びプロジェクションシステムの制御方法
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
JP6956354B2 (ja) * 2018-08-30 2021-11-02 パナソニックＩｐマネジメント株式会社 映像信号出力装置、制御方法、及び、プログラム
CN112055258B (zh) * 2019-06-06 2023-01-31 腾讯科技（深圳）有限公司 加载直播画面的时延测试方法、装置、电子设备及存储介质
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
CN113132769A (zh) * 2020-01-15 2021-07-16 海信视像科技股份有限公司 显示设备及音画同步方法
CN112423120B (zh) * 2020-01-22 2023-09-01 上海哔哩哔哩科技有限公司 音频时延的检测方法及系统
US10904606B1 (en) * 2020-01-23 2021-01-26 Roku, Inc. Using non-audio data embedded in an audio signal
CN111479154B (zh) * 2020-04-03 2022-03-22 海信视像科技股份有限公司 音画同步的实现设备、方法及计算机可读存储介质
US11699205B1 (en) 2020-05-20 2023-07-11 State Farm Mutual Automobile Insurance Company Providing a GUI to enable analysis of time-synchronized data sets pertaining to a road segment
CN111885313A (zh) * 2020-07-17 2020-11-03 北京来也网络科技有限公司 一种音视频的修正方法、装置、介质及计算设备
CN113242361B (zh) * 2021-07-13 2021-09-24 腾讯科技（深圳）有限公司 一种视频处理方法、装置以及计算机可读存储介质
CN115460425B (zh) * 2022-07-29 2023-11-24 上海赫千电子科技有限公司 基于车载以太网传输音视频同步传输方法
CN116017012A (zh) * 2022-11-28 2023-04-25 深圳创维－Rgb电子有限公司 多屏同步方法、装置、显示设备及计算机可读存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583652A (en) * 1994-04-28 1996-12-10 International Business Machines Corporation Synchronized, variable-speed playback of digitally recorded audio and video
US6906755B2 (en) * 2002-01-04 2005-06-14 Microsoft Corporation Method and apparatus for synchronizing audio and video data
JP4517727B2 (ja) 2004-05-27 2010-08-04 ヤマハ株式会社 オーディオ・ビデオアンプ
JP4427733B2 (ja) 2004-07-16 2010-03-10 ソニー株式会社 映像音声処理システム、アンプ装置および音声遅延処置方法
WO2006025441A1 (ja) * 2004-09-02 2006-03-09 Pioneer Corporation 画像処理装置、音声処理装置、画像音声供給装置、及び画像音声処理システム、並びに画像音声同期方法
JP4991129B2 (ja) * 2005-07-19 2012-08-01 Ｎｅｃディスプレイソリューションズ株式会社 映像音声再生装置および映像音声再生方法

Also Published As

Publication number Publication date
KR101374160B1 (ko) 2014-03-14
US20070230913A1 (en) 2007-10-04
JP4544190B2 (ja) 2010-09-15
JP2007274409A (ja) 2007-10-18
CN101047777A (zh) 2007-10-03
CN100562062C (zh) 2009-11-18
US8301007B2 (en) 2012-10-30

Similar Documents

Publication Publication Date Title
KR101374160B1 (ko) 영상 및 음성 처리 시스템, 영상 처리장치, 음성 처리장치,출력장치, 및 시스템 제어 방법
JP4427733B2 (ja) 映像音声処理システム、アンプ装置および音声遅延処置方法
JP4683067B2 (ja) 音声処理装置、音声処理方法およびプログラム
EP2066113B1 (en) Audio processing apparatus, video processing apparatus, and audiovisual system
US8364004B2 (en) Reproducing apparatus, display apparatus, reproducing method, and display method
JP5515389B2 (ja) オーディオ処理装置及びオーディオ処理方法
US20120314128A1 (en) Apparatus and method of transmitting/receiving multimedia playback enhancement information, vbi data, or auxiliary data through digital transmission means specified for multimedia data transmission
KR101306706B1 (ko) 디지털 티브이와 연결된 외부기기 자동 설정 장치 및 방법
KR20090132579A (ko) 전자 기기 및 이의 제어 방법
KR20080045615A (ko) 영상 전송 방법, 영상 전송 시스템 및 영상 처리 장치
US20110043707A1 (en) Content transmitting device
JP2012119924A (ja) 映像表示装置及び映像表示方法、音声再生装置及び音声再生方法、映像音声同期制御システム
US8090235B2 (en) Relay apparatus, and reproduction system
US20110209190A1 (en) Communication device, communication control method, and program
JP2012029070A (ja) リピータ機器及び制御方法
KR20090074864A (ko) 디스플레이장치 및 광고 스킵 방법
JP2013081062A (ja) 伝送システム、送信装置、受信装置、制御情報送信装置、伝送方法、送信方法、受信方法、および制御情報送信方法
JP2007243460A (ja) 中継装置、ａｖ再生システムおよびａｖソース装置
JP2007258867A (ja) Ａｖソース装置およびａｖ再生システム
KR20090038660A (ko) 미디어 싱크 디바이스 및 그 제어방법
WO2009118840A1 (ja) 映像出力装置、映像表示装置、及び映像表示システム
JP2008258698A (ja) 画像出力装置および画像出力方法
KR101660730B1 (ko) 영상 표시 방법 및 그에 따른 영상 표시 시스템
JP2012019339A (ja) 信号受信機及び受信機の入力切替制御方法
KR101437694B1 (ko) 디스플레이장치 및 그의 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170224

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180223

Year of fee payment: 5