JP4544190B2 - 映像音声処理システム、映像処理装置、音声処理装置、映像音声の出力装置および映像と音声の同期処理方法 - Google Patents

映像音声処理システム、映像処理装置、音声処理装置、映像音声の出力装置および映像と音声の同期処理方法 Download PDF

Info

Publication number
JP4544190B2
JP4544190B2 JP2006098382A JP2006098382A JP4544190B2 JP 4544190 B2 JP4544190 B2 JP 4544190B2 JP 2006098382 A JP2006098382 A JP 2006098382A JP 2006098382 A JP2006098382 A JP 2006098382A JP 4544190 B2 JP4544190 B2 JP 4544190B2
Authority
JP
Japan
Prior art keywords
video
processing
audio
signal
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006098382A
Other languages
English (en)
Other versions
JP2007274409A (ja
Inventor
元 市村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006098382A priority Critical patent/JP4544190B2/ja
Priority to KR1020070030144A priority patent/KR101374160B1/ko
Priority to US11/729,382 priority patent/US8301007B2/en
Priority to CNB2007100936524A priority patent/CN100562062C/zh
Publication of JP2007274409A publication Critical patent/JP2007274409A/ja
Application granted granted Critical
Publication of JP4544190B2 publication Critical patent/JP4544190B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream

Description

この発明は、例えば、ホームシアターシステムなど、同期を取って再生すべき映像信号と音声信号とを処理するシステム、このシステムで用いられる装置、このシステムで用いられる映像と音声との同期を取る方法に関する。
DVDに記録された映画などのデジタルコンテンツが数多く提供されるようになり、これらデジタルコンテンツの高品位の映像と音声とを家庭においても楽しむことができるようにするために、いわゆるホームシアターシステムが用いられるようになってきている。ホームシアターシステムは、例えば、DVD(Digital Versatile Disc)プレーヤなどの映像音響信号再生装置1と、オーディオアンプなどの音声出力装置2と、テレビモニタ(テレビ受像機)などの映像表示装置3とにより、構成することができる。
ここで、映像音響信号再生装置1は、例えば、DVDなどの記録媒体に記録されている映画などのデジタルコンテンツの映像信号と音声信号とを読み出して出力する。音声出力装置2は、映像音声信号再生装置1からの音声信号から各スピーカに供給する音声信号を形成して各スピーカに供給する。音声信号としては2チャンネル、4チャンネルの他、5.1チャンネルなどのいわゆるマルチチャンネルの場合もある。
また、映像表示装置3は、映像音声信号再生装置1からの映像信号から表示素子に供給して映像を表示するための映像信号を形成する。映像表示装置3に供給される映像信号としては、例えば、480p(有効走査線数480本のプログレッシブ走査方式(順次走査方式))、720p(有効走査線数720本のプログレッシブ走査方式)、1080i(有効走査線数1080本のインターレース走査方式(飛び越し走査方式))などの種々の走査線数/走査方法のものが存在する。すなわち、再生対象の映像信号には、種々の形式(フォーマット)のものがある。
そして、上述のように、映像音声信号処理装置1からの音声信号と映像信号とが異なる装置において処理される結果、それぞれの信号処理にかかる時間が異なる。一般に、データ量や処理内容が映像信号の方が多いために、音声信号処理にかかる時間よりも、映像信号処理にかかる時間の方が長くなる。このために、スピーカから放音される音声と表示素子に表示される映像との間にずれ(いわゆるリップシンクのずれ)が発生し、再生されたデジタルコンテンツを視聴する視聴者(ユーザー)にとって違和感となる場合がある。
このため、例えば、図7Aに示すように、映像音響信号再生装置1→映像表示装置3→音声出力装置2の順番で接続するようにすれば、映像表示装置3においての映像信号の処理にかかる時間を検出し、これに応じて音声出力装置3に送出する音声信号の出力を遅延させることにより、映像表示装置における映像の表示タイミングと音声出力装置2における音声の出力タイミングとを同期させる(リップシンクさせる)ことができる。
しかし、ホームシアターシステムにおいては、多くの場合、図7Bに示すように、映像音響信号再生装置1→音声出力装置2→映像表示装置3の順番で接続するようにすることが行われている。この場合、音声出力装置2は、映像表示装置3における映像信号の処理かかる時間を知ることができないために、映像と音声との同期が取れなくなる場合がある。
そこで、特許文献1には、図7Cに示すように、音声出力装置2と映像表示装置3とを制御ラインctでも接続するようにし、制御ラインctを通じて音声出力装置2が映像表示装置3のメモリに設定されている、形式の異なる映像信号毎の処理時間情報を取得し、これに応じて音声出力装置2において、音声出力装置2が供給を受けて映像表示装置3に供給する映像信号の形式に応じて、出力する音声信号を遅延処理させる技術が開示されている。
この特許文献1に記載の技術を用いることにより、音声出力装置2においては、例えば電源投入時などにおいて、映像表示装置3から形式の異なる映像信号毎の処理時間を取得すれば、自機を通じて映像表示装置3に供給する映像信号の形式に応じた音声信号の遅延を制御することができる。すなわち、形式(フォーマット)の異なる映像信号を映像表示装置3において処理することに起因して発生する再生映像と再生音声とのずれ(いわゆるリップシンクのずれ)を解消することができるようにしている。
なお、上述した特許文献1は、以下の通りである。
特開2006−33436号公報
ところが、図7に示したように、映像音響信号再生装置1、音声出力装置2、映像表示装置3などによって構成されるホームシアターシステムにおいて、映像表示装置3での映像信号の処理時間が変わるのは、供給される映像信号が、480pか、720pか、1080iかなどの映像信号の形式の違いによって生じる場合だけではない。
映像表示装置3の中には、例えば、フィルムモード(高画質モード)、カメラモード(中画質モード)、ゲームモード(通常画質モード)などの複数の映像信号についての信号処理モードを備え、これらの中から適切なものを使用者が選択して設定できるようにしているものもある。そして、信号処理モードが変えられる毎に、映像信号の処理時間が変化する場合もあり、特許文献1に記載の技術だけでは、完全にリップシンクのずれを防止することができない場合が発生すると考えられる。
ここで、フィルムモード(高画質モード)は、480pや720pの映像信号が供給された場合であっても、自機において最も高画質の映像信号(例えば、1080iの映像信号)を形成するものであり、1080iよりも低画質の映像信号が供給された場合に、不足する走査線を補間するなどの高画質化処理を伴うモードである。
また、カメラモード(中画質モード)は、例えば、480pの映像信号が供給された場合であっても、自機において中程度の画質の映像信号(例えば、720pの映像信号)を形成するものであり、720pよりも低画質の映像信号が供給された場合には、上述したフィルムモード(高画質モード)の場合よりは高くは無いが、不足する走査線を補間するなどの高画質化処理を伴うモードである。
また、ゲームモードは、フィルムモード時やカメラモード時における高画質化処理をパスして、供給される映像信号をそのまま処理して通常通りの映像信号を形成し、これを表示素子に供給するものである。例えば、映像音響信号再生装置1として、ゲーム機が接続されている場合、当該ゲーム機によって再生される映像や音声は、使用者の操作に応じて適切なタイミングで再生されなければならない。しかし、使用者の操作に応じて再生音声は変化したのに、再生映像の変化が後れてしまうのでは、ゲームを楽しむことができない。このため、ゲームの映像を処理する場合においては余分な処理である高画質化処理等を行わないゲームモードを設けているのである。
そして、複数の信号処理モードが選択可能にされた映像表示装置3においては、例えば、フィルムモード(高画質モード)が使用者により選択されて設定されている場合には、480pの映像信号が供給されると、この480pの映像信号から不足する走査線を補間し、有効走査線数が1080本のインターレース方式の映像信号を形成する処理を行う。
したがって、処理する映像信号の形式だけが分かっても、映像表示装置3においてどのような信号処理モードが選択されているかが分からなければ、映像表示装置3における映像信号の処理時間を適切に把握することができない。しかも。映像表示装置3に対して使用者が行う処理モードの選択入力は、様々なタイミングで行われるために、映像表示装置3における映像信号の処理時間は、様々なタイミングにおいて変化する。すなわち、選択設定される映像信号についての信号処理モードは動的に変化する。
このため、リアルタイムに映像信号の処理時間を正確に把握することができるのは、映像表示装置3しかない。このため、上述もしたように、特許文献1に記載の技術だけでは、映像表示装置3における処理モードの変更に伴う映像信号の処理時間の動的な変化に対応することはできず、リップシンクのずれを確実に防止することができない場合が発生する可能性が生じるのである。
以上のことにかんがみ、この発明は、映像信号を処理する装置においての映像信号の処理時間の動的な変化にも確実に対応し、再生音声と再生映像とのずれ(リップシンクのずれ)を確実に防止することができるようにすることを目的とする。
上記課題を解決するため、請求項1に記載の発明の映像音声処理システムは、
同期を取って再生すべき映像信号と音声信号とが出力される出力装置と、上記出力装置から映像信号と音声信号とが入力され、少なくとも映像信号が後段の機器に対して出力され、音声信号に処理を行ってスピーカに出力される音声信号を生成する音声処理装置と、上記音声処理装置から出力される映像信号が入力され、映像の表示に用いる映像信号を形成する映像処理装置とを備える映像音声処理システムであって、
上記映像処理装置は、
上記音声処理装置から出力される映像信号から所定の画質の映像信号を形成する映像信号処理手段と、
上記音声処理装置から出力される映像信号の形式と、設定された信号処理モードとの少なくとも一方に基づいて上記映像信号処理手段の処理を制御する制御手段と、
上記制御手段により上記映像信号処理手段での処理内容が変更された場合に、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間を特定する特定手段と、
上記特定手段により特定された処理時間に応じた情報を上記出力装置へ出力する出力手段と
を備え、
上記出力装置は、
上記映像処理装置の出力手段から出力される上記処理時間に応じた情報が入力される入力手段と、
スピーカに出力される音声信号を遅延させる遅延手段と、
上記入力手段にて入力される上記処理時間に応じた情報に基づいて上記遅延手段を制御する遅延制御手段と
を備え
上記処理時間に応じた情報は、上記特定手段により特定された、映像信号を受信してから当該映像信号をそのままの解像度で上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報、および上記特定手段により特定された、上記映像処理装置に設定された信号処理モードを考慮し、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報を含む
また、請求項2に記載の発明の映像音声処理システムは、請求項1に記載の映像音声処理システムであって、
上記出力装置は、
自機における音声信号に対する処理の時間を特定する特定手段を備え、
上記遅延制御手段は、上記入力手段にて入力される上記処理時間に応じた情報上記特定手段で特定される音声信号に対する上記処理の時間とに基づいて上記遅延手段を制御する
また、請求項3に記載の発明の映像音声処理システムは、請求項2に記載の映像音声処理システムであって、
上記出力装置の遅延制御手段は、上記入力手段にて入力される上記処理時間に応じた情報に基づく時間上記特定手段で特定される音声信号に対する上記処理の時間との差分に基づいて上記遅延手段を制御する
また、請求項4に記載の発明の映像音声処理システムは、請求項1に記載の映像音声処理システムであって、
上記映像処理装置は、上記特定された上記処理時間に応じた情報を上記音声処理装置へ出力する第2の出力手段を更に備え、
上記音声処理装置は、
音声信号の出力を遅延させる遅延手段と、
上記映像処理装置から出力される上記処理時間に応じた情報が入力される入力手段と、
上記入力手段により入力された上記処理時間に応じた情報に基づいて上記遅延手段の音声信号の遅延時間を制御する遅延制御手段と
を備える
この発明によれば、同期を取って再生すべき映像信号と音声信号とを出力する出力装置と、この出力装置から映像信号と音声信号との供給を受けて、少なくとも映像信号は後段の機器に対して供給し、音声信号はスピーカに供給するように処理する音声処理装置と、この音声処理装置から少なくとも映像信号の供給を受けて、映像を表示する映像信号を形成する映像処理装置とからなる映像音声処理システムにおいて、当該映像処理装置において、映像信号の供給を受けてからこれを処理して映像を表示するまでにかかる時間が動的に変化した場合であっても、映像処理装置よりも上流に位置する機器において、適切なタイミングで適切に音声信号の遅延処理を行うことが可能となり、再生音声と再生映像とのずれ(いわゆるリップシンクのずれ)を生じさせないようにすることができる。
以下、図を参照しながら、この発明によるシステム、装置、方法の一実施の形態について説明する。
[映像音声処理システムの概要]
図1は、この実施の形態の映像音声処理システムの概要を説明するためのブロック図である。この実施の形態の映像音声処理システムは、この発明によるシステム、方法の一実施の形態が適用されたものであり、この発明による装置が用いられて構成されたものである。
図1に示すように、この実施の形態の映像音声処理システムの基本的な構成は、映像音響信号再生装置1と、音声出力装置と、映像表示装置3とからなるものである。映像音響信号再生装置1と音声出力装置2との間、及び、音声出力装置2と映像表示装置3との間は、いずれも映像信号Vdを伝送する映像信号線路と音声信号Auを伝送する音声信号線路とで接続される。また、映像表示装置3と音声出力装置2との間、及び、映像表示装置3と映像音響信号再生装置1との間は、図1において点線で示すように、制御信号Ctを伝送する制御信号線路で接続される。
ここで、映像音響信号再生装置1は、同期を取って再生すべき映像信号Vdと音声信号Auとを出力する出力装置に相当する。映像音響信号再生装置1の具体例としては、DVDプレーヤ、ゲーム機、ハードディスクレコーダなどの種々の再生装置や記録再生装置の他、TV(Television)チューナ、IRD(Integrated Receiver Decoder)やセットトップボックス(Set-Top Box)などと呼ばれる衛星放送受信機やケーブル放送受信機、通信機能を備えたパーソナルコンピュータなど、同期を取って再生すべき映像信号Vdと音声信号Auとを出力する種々の機器が含まれる。
音声出力装置2は、映像音響信号再生装置(出力装置)1からの映像信号Vdと音声信号Auとの供給を受けて、少なくとも映像信号Vdは後段の機器に対して供給し、音声信号Auは音声処理部21においてスピーカに供給するように処理してスピーカSPに供給する音声処理装置に相当する。この実施の形態の音声出力装置2は、映像信号Vdと音声信号Auとを後段の映像表示装置3に供給するとともに、音声信号Auについては、スピーカSPに供給する音声信号に変換し、これをスピーカSPに供給する処理を行う。
音声出力装置2の具体例としては、いわゆるAV(Audio/Visual)アンプやオーディオアンプである。そして、供給される音声信号Auとしては、2チャンネル、4チャンネル、5.1チャンネルなどの種々のチャンネル数のものがあるが、この実施の形態の音声出力装置2は、例えば、5.1チャンネルのマルチチャンネルの音声信号にも対応できるものであり、音声処理部21は、各チャンネルのスピーカに供給する音声信号に分離してアナログ音声信号を形成し、必要に応じて増幅処理などを施して、対応するチャンネルのスピーカに供給することができるものである。
映像表示装置3は、音声出力装置(音声処理装置)2から少なくとも映像信号の供給を受けて、映像を表示する(表示素子に供給する)映像信号を形成する映像処理装置に相当するものである。この実施の形態の映像表示装置3は、図1に示したように、インターフェース(以下、I/Fと略称する。)31と、映像・音声処理部32と、制御部33と、操作部34とを備えている。
I/F31は、音声出力装置から供給される映像信号Vdと音声信号Auとを取り込んで、これらを映像・音声処理部32に供給するとともに、取り込んだ映像信号Vdの信号形式(走査線数や走査方式など)を検出して制御部33に通知したり、また、取り込んだ音声信号のチャンネル数などを検出して制御部33に通知したりすることができる共に、図1において点線で示した制御信号線路を通じて制御情報を送出することもできるものである。
映像・音声処理部32は、これに供給される映像信号Vdと音声信号Auとの供給を受けて、自機の表示部に供給する映像信号(映像を表示するための映像信号)や自機のスピーカに供給する音声信号を形成して、表示部やスピーカに供給するものである。この実施の形態の映像・音声処理部32においては、後述もするが、制御部33の制御により、映像信号について、高画質処理と、中画質処理と、通常処理というように、画質の異なる映像信号を形成することができるものである。
制御部33は、図示しないが、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリーやEEPROM(Electrically Erasable and Programmable ROM)などの不揮発性メモリがCPUバスを通じて接続されて形成されたマイクロコンピュータであり、この実施の形態の映像表示装置3の各部を制御するものである。
操作部34は、電源のオン/オフキー、数字キー、各種のファンクションキーなど、種々の操作キーを備え、使用者からの操作入力を受け付けて、これを電気信号に変換して制御部33に供給することができるものである。これにより、制御部33は、操作部34を通じて受け付けた使用者からの指示入力に応じて各部を制御し、使用者の意図する処理を行うことができるようにしている。
また、この実施の形態の映像表示装置3は、図示しないが、例えば、LCD(Liquid Crystal Display)、有機EL(Electro Luminescence)ディスプレイ、CRT(Cathode-Ray Tube)などの表示部を備えると共に、図示しないスピーカをも備えたものである。
そして、この実施の形態の映像表示装置3の基本的な機能は、音声出力装置2からの映像信号Vdと音声信号AuとをI/F31を通じて受け付け、映像信号Vdについては、映像・音声処理部32において自己が備える表示部に供給する映像信号を形成して、これを自己の表示部に供給し、また、音声信号Auについては、映像・音声処理部32において自己が備えるスピーカに供給する音声信号を形成してこれを自己のスピーカに供給するというものである。
なお、映像表示装置3の映像・音声処理部32は、映像信号の処理時間に応じて、音声信号の出力を遅延させる機能を備えているために、映像表示装置から出力される映像と音声とについては、いわゆるリップシンクのずれが生じることはない。そして、この実施の形態においては、音声は主に音声出力装置2に接続されたスピーカSPから放音されるものが聴取するようにされる。このため、テレビ受像機3のスピーカなどの音声系については各図においてその記載を省略するとともに、その詳細な説明についても省略することとする。
そして、この実施の形態の映像表示装置3は、映像信号についての信号処理モードとして、フィルムモード(高画質モード)、カメラモード(中画質モード)、ゲームモード(通常画質モード)の3つのモードを備え、操作部34を通じてこれらの中から目的とする信号処理モードを選択して、制御部33の例えば不揮発性メモリに設定することができるようにしている。
フィルムモード(高画質モード)は、自機において最も高画質の映像信号を形成して映像を表示するようにするものであり、走査線や水平方向の画素が不足する場合には、不足する走査線や水平方向の画素を補間するなどの高画質化処理を伴うモードである。また、カメラモード(中画質モード)は、自機において中程度の画質の映像信号を形成して映像を表示するようにするものであり、走査線や水平方向の画素が不足する場合には、フィルムモード(高画質モード)の場合よりは高くは無いが、不足する走査線や水平方向の画素を補間するなどの高画質化処理を伴うモードである。また、ゲームモードは、フィルムモード時やカメラモード時における高画質化処理をパスして、通常の映像信号を形成し、これを表示素子に供給するものである。
そして、この実施の形態の映像表示装置3の制御部33は、I/F31を通じて制御部33に供給される、自機に供給されている映像信号の形式(走査線数や走査方式など)を示す情報や、操作部34を通じて使用者により選択されて設定された信号処理モードとに基づいて、映像・音声処理部32における映像信号処理の処理内容を特定し、これに応じて映像・音声処理部32における映像信号処理を制御する。
制御部33は、電源が投入されて動作している間においては、供給される映像信号の形式が変わったり、不揮発性メモリに設定される信号処理モードが変更されたりした場合には、映像・音声処理部32においての処理内容を適切なものに変更するように制御できるものである。
すなわち、制御部33は、種々のタイミングで、形式の異なる映像信号が再生するように切り換えられたり、信号処理モードの設定が変更されたりすることに対応するため、映像信号の形式や信号処理モードの設定が変化したことを検知した場合には、そのときの映像信号の形式や信号処理モードに応じて、映像・音声処理部32における処理内容を変更することができるようにしている。このように、制御部33は、映像・音声処理部32における処理内容の変更(切り換え)を動的に制御することができるものである。
さらに、制御部33は、特定した映像・音声処理部32においての処理内容に基づいて、映像信号の処理にかかる処理時間を特定し、この特定した処理時間に関する情報を音声信号についての遅延制御情報Ctとして、I/F31と図1において点線で示した制御信号線路を通じて、自機の前段に接続された音声出力装置2と映像音響信号再生装置1との一方または両方に通知する。
この遅延制御情報Ctの通知もまた、制御部33は、映像・音声処理部32における処理内容の変更のタイミングで正しい遅延制御情報(最新の遅延制御情報)を取得し、これをI/F31と図1において点線で示した制御信号線路とを通じて、自機の前段に接続された音声出力装置2と映像音響信号再生装置1との一方または両方に通知することができるようにしている。
これにより、遅延制御情報の通知を受けた音声出力装置2と映像音響信号再生装置1との一方または両方において、音声信号の出力を遅延させる処理を行うことによって、音声出力装置2に接続されたスピーカSPから放音される再生音声と、映像表示装置3の表示部の表示画面に表示される再生映像とにずれが生じることが無いようにしている。
なお、この実施の形態においては、図1において点線(1)で示したように、遅延制御情報を映像表示装置3から音声出力装置2のみに対して通知し、音声出力装置2においてのみ、音声信号の遅延処理を行う態様と、図1において点線(2)で示したように、遅延制御情報を映像表示装置3から映像音響信号再生装置1のみに通知し、映像音響信号再生装置1においてのみ、音声信号の遅延処理を行う態様と、図1において点線(3)で示したように、遅延制御情報を映像表示装置3から、音声出力装置2と映像音響信号再生装置1との両方に通知し、音声出力装置2と映像音響信号再生装置1との両方において、音声信号の遅延処理を分散して行う態様とがある。以下においては、これら(1)〜(3)の各態様が適用され映像音声処理システムのそれぞれについて説明する。
[(1)遅延制御情報を映像表示装置3から音声出力装置2のみに通知する態様]
図2は、(1)遅延制御情報を映像表示装置3から音声出力装置2のみに対して通知し、音声出力装置2においてのみ、音声信号の遅延処理を行う態様(図1の点線(1)に対応)が適用された映像音声処理システムを説明するためのブロック図である。
図2に示す映像音声処理システムは、図1を用いて説明したように、映像音響信号再生装置1と、音声出力装置2と、映像表示装置3とからなっている。そして、図1を用いて説明したように、映像音響信号再生装置1から出力される同期を取って再生すべき映像信号Vdと音声信号Auとは、音声出力装置2に供給されると共に、当該音声出力装置2を介して、映像表示装置3にも供給される構成となっている。
図2に示した例の場合、音声出力装置2と映像表示装置3とは、例えば、HDMI(High-Definition Multimedia Interface)規格のデジタルインターフェースを用いて接続する構成となっている。HDMI規格は、パーソナルコンピュータ用ディスプレイなど多くの採用例があるDVI(Digital Visual Interface)を、下位互換を保ちながら家電向け(いわゆるAV(Audio/Visual)機器向け)に機能を追加した、次世代テレビ向けのデジタルインターフェース規格である。HDMI規格のデジタルインターフェースでは、映像ライン(映像信号線路)と音声ライン(音声信号線路)と制御ライン(制御信号線路)とを1つのコネクタで接続することができる。
すなわち、HDMI規格のデジタルインターフェースでは、各信号線路を別々に接続することなく、HD(High Definition)映像と、マルチチャンネル音声信号と、制御信号との転送が1つコネクタを通じて行うことができる。これにより、ケーブルの取り回しが容易になるなどのメリットがある。なお、HDMI規格におけるデータ転送速度は、最高5Gbit/Sec(ギガビット/秒)である。また、デジタル画像信号の暗号化方式HDCP(High-bandwidth Digital Content Protection)にも対応している。
したがって、図2に示した例の映像音声処理システムにおいて、映像表示装置3が備えるI/F31も、音声出力装置2が備えるI/F22も、共にHDMI規格に準拠したインターフェース回路である。すなわち、送出する信号の暗号化、受信した信号の復号化などの処理をも行う機能を備えたものである。
[図2に示した映像表示装置3の構成と動作について]
図2に示した例の映像音声処理システムの映像表示装置3は、図1を用いて説明したように、映像信号についての信号処理モードとして、フィルムモード(高画質モード)、カメラモード(中画質モード)、ゲームモード(通常画質モード)の3つのモードを備え、操作部34を通じてこれらの中から目的とする信号処理モードを選択して、制御部33の例えば不揮発性メモリに設定することができるものである。
そして、映像表示装置3の制御部33には、上述もしたように、I/F31から自機が供給を受けている映像信号の形式(走査線数や走査方式など)、例えば、480p、720p、1080iなどの映像信号の形式を示す情報も通知される。このため、制御部33は、自機が供給を受けている映像信号の形式と、自己の不揮発性メモリに設定されている信号処理モードとに基づいて、映像・音声処理部32を制御する。
具体的な例を示すと、制御部33は、供給を受けている映像信号の形式がどのような形式であっても、フィルムモード(高画質モード)が選択設定されている場合には、制御部33は、自機において最も高画質の映像信号を形成するように、映像・音声処理部32を制御し、高画質処理を行うようにする。
したがって、480pや720pの映像信号が供給され、かつ、フィルムモード(高画質モード)が選択設定されている場合には、制御部33は、映像・音声処理部32を制御し、不足する走査線や水平方向の画素を補間する高画質化処理を行い、表示用の例えば1080iの映像信号を形成して、これを表示部に供給して表示部の表示画面に映像を表示するようにする。
また、1080iの映像信号が供給され、かつ、フィルムモード(高画質モード)が選択設定されている場合には、制御部33は、映像・音声処理部32を制御し、1080iの映像信号を劣化させることが無いように、表示用の1080iの映像信号を形成して映像を表示するようにする。
また、カメラモード(中画質モード)が選択設定されている場合であって、低画質の映像信号が供給された場合には、中程度の画質の映像信号を形成するように、制御部33は、映像・音声処理部32を制御し、中画質処理を行うようにする。したがって、必要がある場合には、フィルムモード(高画質モード)の場合よりは高くは無いが、不足する走査線や水平方向の画素を補間するなどの高画質化処理をも行うようにする。
したがって、480pの映像信号が供給され、かつ、カメラモード(中画質モード)が選択設定されている場合には、制御部33は、映像・音声処理部32を制御し、不足する走査線や水平方向の画素を補間する高画質化処理を行うようにして、表示用の例えば720pの映像信号を形成して映像を表示するようにする。
また、720pや1080iの映像信号が供給され、かつ、カメラモード(中画質モード)が選択設定されている場合には、制御部33は、映像・音声処理部32を制御し、720pや1080iの映像信号を劣化させることがないように、表示用の720pあるいは1080iの映像信号を形成して映像を表示するようにする。
このように、フィルムモード(高画質モード)またはカメラモード(中画質モード)が選択設定されている場合には、中画質や高画質の映像信号が供給されても、いわゆるダウンコンバートして画質を劣化させることがないように映像・音声処理部32を制御し、低画質の映像信号が供給された場合には、高画質の映像信号や中画質の映像信号にアップコンバートして高画質や中画質の映像を表示できるように映像・音声処理部32を制御する。
また、ゲームモードが選択設定されている場合には、制御部33は、映像・音声処理部32を制御し、フィルムモード時やカメラモード時に行った走査線や水平方向の画素などの補間を伴う高画質化処理をスルーして、通常の映像信号を形成する通常処理を行うように、映像・音声処理部32を制御する。したがって、480pの映像信号が供給され、かつ、ゲームモードが選択設定されている場合には、制御部33は、映像・音声処理部32を制御して、表示用の480pの映像信号を形成し、これに応じて映像を表示するようにする。
また、720pや1080iの映像信号が供給され、かつ、ゲームモードが選択設定されている場合には、そのまま表示用の720pあるいは1080iの映像信号を形成して映像を表示するようにすることも考えられる。しかし、表示用の720pあるいは1080iの映像信号を形成する処理などに時間がかかることも考えられる。
そこで、この実施の形態の映像表示装置3においては、映像表示のための処理時間をできるだけ、短くするために、720pや1080iの映像信号が供給され、かつ、ゲームモードが選択設定されている場合には、制御部33は、映像・音声処理部32を制御し、走査線や水平方向の画素を間引きし、表示用の480pの映像信号を形成して映像を表示するようにする。
このように、ゲームモードだけが高画質化処理を伴わず、映像信号の供給を受けてから映像を表示するまでにかかる時間をできるだけ短くなるように映像信号を処理することができるモードである。
さらに、制御部33は、どのように映像・音声処理部32を制御するかによって、映像・音声処理部32における映像信号の処理時間を正確に把握し、映像信号の供給を受けてから、表示部の表示画面に映像を表示するまでにかかる処理時間を特定して、この特定した処理時間に応じた情報を、音声信号についての遅延制御情報CtとしてI/F31を通じて音声出力装置2に通知することができるようにしている。ここで、特定した処理時間に応じた遅延制御情報としては、処理時間そのものを用いるようにしてもよいし、これが供給される相手先の機器において、音声信号の遅延量を特定することが可能な情報、例えば予め段階分けされた段階情報(レベル情報)等を用いることも可能である。
この実施の形態においては、上述もしたように、フィルムモード(高画質モード)が選択設定されている場合において、480pの映像信号が供給された場合と、720pの映像信号が供給された場合と、1080iの映像信号が供給された場合で、それぞれ映像信号の処理時間は異なる。同様に、カメラモード(中画質モード)が選択設定されている場合において、480pの映像信号が供給された場合と、720pの映像信号が供給された場合と、1080iの映像信号が供給された場合で、それぞれ映像信号の処理時間は異なる。
また、ゲームモードが選択設定されている場合において、480pの映像信号が供給された場合と、720pの映像信号が供給された場合と、1080iの映像信号が供給された場合で、それぞれ映像信号の処理時間は異なる。このため、この実施の形態の映像表示装置3の制御部33は、信号処理モードごとで、かつ、供給された映像信号の形式ごとに、映像・音声処理部32における映像信号の処理にかかる時間を正確に把握し、映像信号の供給を受けてから、表示部の表示画面に映像を表示するまでにかかる時間を特定することができるようにしている。
そして、この実施の形態の映像音声処理システムの映像表示装置3は、上述もしたように、例えば、供給される映像信号が変わるなどして、供給される映像信号の形式が変化したり、あるいは、使用者により選択設定される信号処理モードが変更されたりした場合には、最新の映像信号の形式と最新の選択設定された信号処理モードとに応じて、映像・音声処理部32において行う映像信号に対する処理の内容を適切に制御すると共に、映像信号の供給を受けてから、その映像信号を処理し映像を表示するまでにかかる処理時間を特定して、この処理時間に応じた情報を音声信号についての遅延制御情報CtとしてI/F31と、点線で示した制御信号線路を通じて音声出力装置2に通知することができるようにしている。
[図2に示した音声出力装置2の構成と動作について]
図2に示した映像音声処理システムの音声出力装置2は、音声処理部21を備えると共に、上述もしたように、HDMI規格に準拠したI/F22を備えたものである。すなわち、I/F22は、映像音響信号再生装置1から供給を受けた映像信号Vdと音声信号Au、さらには制御情報を、映像信号線路、音声信号線路、点線で示した制御信号線路を通じて映像表示装置に供給することができると共に、上述もしたように、映像表示装置3から点線で示した制御信号線路を通じて通知される遅延制御情報Ctの通知を取得することができるものである。
音声出力装置2のI/F22が、映像表示装置3からの遅延制御情報Ctを取得すると、自機において処理可能な形式の情報に変換し、これを音声処理部21の制御部211に供給する。図2に示すように、この図2に示した例の音声処理部21は、制御部211、遅延処理部212、増幅部213を備えたものである。
制御部211は、図示しないが、CPU、ROM、RAMなどを備えたマイクロコンピュータであり、I/F22から供給を受ける映像表示装置3からの遅延制御情報Ctに基づいて、後述する遅延処理部212における音声信号の遅延処理を制御するなど、音声処理部21の各部を制御するものである。
遅延処理部212は、上述のように、制御部211により制御され、映像音響信号再生装置1からの音声信号Auの供給を受けて、これを映像表示装置3からの遅延制御情報Ctに応じて遅延処理させることにより、映像表示装置3における映像信号の処理時間に応じて遅延させ、これを増幅部213に供給する。増幅部213も制御部211により制御され、これに供給された音声信号を増幅して出力し、スピーカSPに供給する。
これにより、音声出力装置2の遅延処理部212においては、映像表示装置3から通知される音声信号に対する遅延制御情報Ctに応じて、スピーカSPに供給する音声信号を遅延させることができるので、映像表示装置3の表示部の表示画面に表示される映像と、音声出力装置2のスピーカSPから放音される音声との同期を一致させ、いわゆるリップシンクのずれを生じさせないようにすることができる。
しかも、映像表示装置3における映像信号の処理時間に変化が生じたか否かを、迅速かつ確実に把握できるのは映像表示装置3だけである。このため、映像表示装置3において、供給される映像信号の形式が変化した場合、あるいは、信号処理モードの選択設定が変更された場合のいずれにおいても、映像・音声処理部32を適切に制御すると共に、映像信号処理にかかる時間を適切に把握し、映像信号の処理にかかる時間に応じて、音声出力装置2から出力する音声信号を適切に遅延させることができる。
特に、従来の映像音声処理システムにおいては、信号処理モードが、操作部34を通じて、フィルムモードやカメラモードからゲームモードに変更された場合には、信号処理モードが変更されたことは、映像表示装置3においてしか分からない。このため、音声信号の最新の遅延制御情報Ctを映像表示装置3から音声出力装置2に通知しなければ、フィルムモードやカメラモードに対応した音声遅延処理が音声出力装置2において行われる状態とされたままとなる場合があった。
この場合、ゲームモードが選択されることにより、映像表示装置3においては映像信号については低画質のまま出力するようにする通常処理が行われ、映像信号処理にはさほど時間がかからなくなるので、音声信号については、フィルムモードやカメラモードのままの遅延処理がなされることにより、ゲームに対して使用者が行った操作に応じて、再生映像は変化するのに、再生音声はかなり送れて再生されるという状態が発生する可能性がある。このように、再生映像と再生音声とがずれていたのではゲームを楽しむことはできない。
しかし、図2に示した映像音声処理システムの例の場合には、上述したように、映像表示装置3において、供給される映像信号の形式が変わったり、選択設定される信号処理モードが変更されたりした場合には、映像表示装置3から映像信号の処理時間に応じて決まる音声信号についての遅延制御情報Ctを音声出力装置2に提供することができるので、適切なタイミングで音声出力装置2において行われる音声信号についての遅延処理を制御することができる。
また、音声出力装置2の制御部211は、自機における音声信号Auの処理時間をも考慮して、音声遅延処理部212における音声信号の遅延量を適切に制御することができるものである。
なお、ここでは、説明を簡単にするため、音声信号VdはスピーカSPに供給するものとして説明したが、これに限るものではない。実際には、2チャンネル、4チャンネル、5.1チャンネルなどの多チャンネルの音声信号を処理することになる。この場合、例えば、遅延処理部212において、映像音響信号再生装置1からの音声信号を各チャンネルの音声信号に分離し、そのそれぞれについて同様に遅延させて、増幅処理し、対応するスピーカに供給するように処理することになる。
[(2)遅延制御情報を映像表示装置3から映像音響信号再生装置1のみに通知する態様]
図3は、(2)遅延制御情報を映像表示装置3から映像音響信号再生装置1のみに通知し、映像音響信号再生装置1においてのみ、音声信号の遅延処理を行う態様(図1の点線(2)に対応)が適用された音声処理システムを説明するためのブロック図である。
図3に示す映像音声処理システムもまた、図1を用いて説明したように、また、図2に示した映像音声処理システムの場合と同様に、映像音響信号再生装置1と、音声出力装置2と、映像表示装置3とからなっている。そして、図1を用いて説明したように、映像音響信号再生装置1から出力される同期を取って再生すべき映像信号Vdと音声信号Auとは、音声出力装置2に供給されると共に、当該音声出力装置2を介して、映像表示装置3にも供給される構成となっている。
[図3に示した映像表示装置3の構成と動作について]
そして、映像表示装置3は、図1、図2を用いて説明した映像表示装置3と全く同様に構成されたものであり、音声出力装置2から供給される映像信号Vdと音声信号AuとをI/F31を通じて受け付けて、これらを映像・音声処理部32に供給する。このI/F31は、供給を受けた映像信号Vdの形式(走査線数や走査方式など)を検出し、制御部33に通知することもできるものである。
また、映像表示装置3は、操作部34を通じて、信号処理モードとして、フィルムモード(高画質モード)、カメラモード(中画質モード)、ゲームモード(通常画質モード)の3つのモードの中から目的とする信号処理モードの選択入力を受け付けて、これを制御部33に通知し、制御部33が備える例えば不揮発性メモリに設定することができるようにしている。
そして、制御部33は、I/F31からの映像信号Vdの形式と、自己の不揮発性メモリに選択設定された信号処理モードとに基づいて、映像・音声処理部32における処理を制御すると共に、映像信号の処理時間を把握し、映像信号の供給を受けてから、それを処理して映像を表示するまでにかかる処理時間を特定し、これに応じた遅延制御情報CtをI/F31と点線で示した制御信号線路を通じて前段の機器に通知することができるようにしている。
しかし、図3Bに示したように、この図3Bに示した例の映像音声処理システムにおいて、音声出力装置2は、音声信号の遅延機能を備えたものではない。音声信号の遅延機能を備えているのは、図3Bに示したように、映像音響信号再生装置1である。このため、映像表示装置3は、映像音響信号再生装置1に対して、音声信号についての遅延制御情報Ctを提供する。
ここで、図3Aにおいて、点線(2)で示したように、映像表示装置3と映像音響信号再生装置1とを直接に制御信号線路によって接続し、映像表示装置3から映像音響信号再生装置1へと、音声信号についての遅延制御情報を通知することも可能である。しかし、一般には、映像信号Vd、音声信号Auの伝送経路をも考慮し、映像表示装置3と映像音響信号再生装置1とを音声出力装置2を介して図3Bにおいて点線で示したように制御信号線路を接続すれば、映像信号線路と音声信号線路と制御信号線路とを同様に接続することができる。
このため、図3Bに示したように、この例の映像音声処理システムは、映像音響信号再生装置1と音声出力装置2との間もHDMI規格のインターフェースで接続し、映像音響信号再生装置1から出力される同期を取って再生されるべき映像信号Vdと音声信号Auとを音声出力装置2を介して映像表示装置3に供給し、また、映像表示装置3から出力される音声信号に対する遅延制御情報Ctも音声出力装置2を介して映像音響信号再生装置1に通知するようにしている。
[図3に示した音声出力装置2の構成と動作について]
音響出力装置2は、図3Bに示したように、音声処理部21と、HDMI規格に準拠したI/F22、23を備えている。そして、映像音響信号再生装置1からの映像信号Vdと音声信号Auとは、I/F23を通じて音声出力装置2に受け付けられ、I/F22を通じて映像表示装置3に供給される。
また、映像音響信号再生装置1から供給され、I/F23を通じて受け付けた音声信号Auは、音声処理部21に供給され、スピーカに供給する形式の信号に変換されて、スピーカSPに供給される。これにより、スピーカSPからは映像音響信号再生装置1から供給を受けた音声信号Auに応じた音声が放音される。
なお、この例の音声処理部21は、図2に示した音声処理部21とは異なり、遅延処理部212は備えずに、供給された音声信号Auを各チャンネルの音声信号に分離し、そのそれぞれを増幅するなどの処理を施して、対応するスピーカに供給する機能を有するものである。
一方、映像表示装置3のI/F31から出力された音声信号に対する遅延制御情報Ctは、I/F22を通じて受け付けられ、I/F23を通じて映像音響信号再生装置1に供給される。このように、この実施の形態の音声出力装置2は、映像表示装置1からの音声信号に対する遅延制御情報Ctを、自機においては処理に用いることなく(音声出力装置部2をスルーして)、映像音響信号再生装置1に供給する(通知する)ことができるようにしている。
「図3に示した映像音響信号再生装置1の構成と動作について」
映像音響信号再生装置1は、図3Bに示したように、記録媒体ドライブ11、読み出し部12、音声信号の遅延処理部13、HDMI規格に準拠したI/F14、制御部15を備えている。そして、記録媒体ドライブ11に装填された記録媒体、例えばDVDに記録されている同期を取って再生すべき映像信号や音声信号は、読み出し部12により読み出される。
読み出された映像信号と音声信号とは、読み出し部12において、出力すべき映像信号Vdと音声信号Auとに分離される。そして、映像信号VdはI/F14に供給され、音声信号Auは、遅延処理部13を通じてI/F14に供給されて、当該I/F14を通じて、音声出力装置2に供給される。
一方、映像表示装置3からの音声信号に対する遅延制御情報Ctは、上述もしたように、音声出力装置2を介して、点線で示した制御信号線路を通じ、映像音響信号再生装置1に通知される。映像音響信号再生装置1のI/F14は、制御信号線路を通じて送信されてくる音声信号に対する遅延制御情報Ctを受け付け、これを自機において処理可能な形式の情報に変換して、制御部15に供給する。
制御部15は、I/F14を通じて供給される映像表示装置3からの音声信号に対する遅延制御情報Ctに基づいて、遅延処理部13における音声信号についての遅延時間(遅延量)を制御する。これにより、映像音響信号再生装置1から出力される映像信号Vdと音声信号Auとのうち、音声信号Auについては、映像表示装置3からの音声信号に対する遅延制御情報Ctに基づいて遅延処理させることができる。
これにより、音声出力装置2においては、音声信号Auについて遅延処理しなくても、音声信号Auについては通常通り処理してスピーカSPに供給することにより、音声出力装置2のスピーカSPから放音される再生音声と、映像表示装置の表示部の表示画面に表示される再生映像との間において、リップシンクのずれを生じさせることがないようにすることができる。
換言すれば、映像表示装置3において、供給される映像信号の形式が変わったり、選択設定される信号処理モードが変更されたりした場合には、映像表示装置3から映像信号の処理時間に応じて決まる音声信号についての遅延制御情報Ctを映像音響信号再生装置1に提供することができるので、適切なタイミングで最も上流に位置する映像音響信号再生装置1において行われる音声信号についての遅延処理を適切に制御することができる。
[(3)遅延制御情報を映像表示装置3から、音声出力装置2と映像音響信号再生装置1との両方に通知する態様]
図4は、(3)遅延制御情報を映像表示装置3から、音声出力装置2と映像音響信号再生装置1との両方に通知し、音声出力装置2と映像音響信号再生装置1との両方において、音声信号の遅延処理を分散して行う態様(図1の点線(3)に対応)が適用された映像音声処理システムを説明するためのブロック図である。
図4に示す映像音声処理システムもまた、図1を用いて説明したように、また、図2、図3に示した映像音声処理システムの場合と同様に、映像音響信号再生装置1と、音声出力装置2と、映像表示装置3とからなっている。そして、図1を用いて説明したように、映像音響信号再生装置1から出力される同期を取って再生すべき映像信号Vdと音声信号Auとは、音声出力装置2に供給されると共に、当該音声出力装置2を介して、映像表示装置3にも供給される構成となっている。
そして、図2に示した例の映像音声処理システムが音声出力装置2において音声信号の遅延処理を行い、図3に示した例の映像音声処理システムが映像音響信号再生装置1において音声信号の遅延処理を行うようにしたのに対して、この図4に示す映像音声処理システムは、音声出力装置2と映像音響信号再生装置1との両方において、音声信号の遅延処理を行うようにしたものである。
すなわち、音声出力装置2や映像音響信号再生装置1における音声信号の遅延処理能力が十分でなく、音声信号についての遅延処理を、音声出力装置2と映像音響信号再生装置1とに分散させる必要がある場合、あるいは、システムの構成上、音声信号についての遅延処理のためにかかる負荷を1つの装置にかけるのではなく、音声出力装置2と映像音響信号再生装置1とに分散させたい場合などにおいて、図4に示す構成をとることができる。
このため、図4に示した映像音声処理システムにおいて、映像音響信号再生装置1と音声出力装置2との間と音声出力装置2と映像表示装置3との間とは、いずれもHDMI規格のインターフェースによって接続され、映像信号と音声信号のみならず、制御信号の送受をも行うことができるようにしている。以下、図4に示した映像音声処理システムを構成する各機器について説明する。
[図4に示した映像表示装置3の構成と動作について]
図4に示した映像音声処理システムの映像表示装置3は、図1、図2、図3を用いて説明した映像表示装置3と同様に構成されたものであり、音声出力装置2から供給される映像信号Vdと音声信号AuとをI/F31を通じて受け付けて、これらを映像・音声処理部32に供給する。このI/F31は、供給を受けた映像信号Vdの形式(走査線数や走査方式など)を検出し、制御部33に通知することもできるものである。
また、映像表示装置3は、操作部34を通じて、信号処理モードとして、フィルムモード(高画質モード)、カメラモード(中画質モード)、ゲームモード(通常画質モード)の3つのモードの中から目的とする信号処理モードの選択入力を受け付けて、これを制御部33に通知し、制御部33が備える例えば不揮発性メモリに設定することができるようにしている。
そして、制御部33は、I/F31からの映像信号Vdの形式と、自己の不揮発性メモリに選択設定された信号処理モードとに基づいて、映像・音声処理部32における処理を制御すると共に、映像信号の処理時間を把握し、映像信号の供給を受けてから、それを処理して映像を表示するまでにかかる処理時間を特定し、これに応じた遅延制御情報Ct1をI/F31と点線で示した制御信号線路を通じて前段の機器に通知することができるようにしている。
[図4に示した音声出力装置2の構成と動作について]
図4に示した映像音声処理システムの音声出力装置2は、音声処理部21を備えると共に、上述もしたように、HDMI規格に準拠したI/F22、23を備えたものである。そして、映像音響信号再生装置1からの映像信号Vdと音声信号Auとは、I/F23を通じて音声出力装置2に受け付けられ、I/F22を通じて映像表示装置3に供給される。
また、映像表示装置3から供給される音声信号に対する遅延制御情報Ct1は、I/F22を通じて受け付けられ、ここで自機において処理可能な形式の信号に変換されて、音声処理部21の制御部211に供給される。この図4に示した例の音声処理部21は、制御部211、遅延処理部212、増幅部213を備えたものである。
制御部211は、図示しないが、CPU、ROM、RAMなどを備えたマイクロコンピュータであり、I/F22から供給を受ける映像表示装置3からの遅延制御情報Ct1と、自機の音声信号についての遅延処理能力、あるいは、自機が負担すべき音声信号についての遅延処理割合に基づいて、後述する遅延処理部212における音声信号の遅延処理を制御する。
また、この例の制御部211は、映像表示装置3から供給される遅延制御情報Ct1に応じて行う音声信号に対する遅延処理と、自機の遅延処理部212が担当する音声信号の遅延処理との間で、音声信号の遅延量に差がある場合にはその差分を特定し、この差分に応じた差分情報を映像音響信号再生装置1に対する遅延制御情報Ct2として、これをI/F23を通じて映像音響信号再生装置1に通知する処理をも行う。
すなわち、制御部211は、映像表示装置3からの遅延制御情報Ct1に応じて行うべき音声信号の処理における遅延量から自機において行うべき音声信号の遅延処理における遅延量を差し引いた差分に応じた遅延制御情報Ct2を形成して、これをI/F23を通じて映像音響信号再生装置1に供給することができるものである。
遅延処理部212は、I/F23を通じて受け付けた映像音響信号再生装置1からの音声信号Vdの供給を受けて、これを制御部211からの制御に応じた遅延量分遅延させ、遅延処理後の音声信号を増幅部213に供給する。増幅部213も制御部211により制御され、これに供給された音声信号を増幅して出力し、スピーカSPに供給する。
このように、図4に示した例の映像音声処理システムの音声出力装置2においては、映像音響信号再生装置1から供給を受けて再生出力する音声信号を遅延させる機能を備えているが、映像表示装置3からの遅延制御情報に応じた遅延処理を全て音声出力装置2において行うのではなく、音声出力装置2は、自機の遅延処理能力や自機が担当すべき音声信号の遅延処理の割合に応じた遅延処理を行い、音声信号についての不足する遅延処理については、最上流に位置する映像音響信号再生装置1に分担するようにしている。
映像音響信号再生装置1は、図3Bに示した映像音響信号再生装置1と同様に構成されたものである。すなわち、図4に示した映像音声処理システムの映像音響信号再生装置1もまた、記録媒体ドライブ11、読み出し部12、音声信号の遅延処理部13、HDMI規格に準拠したI/F14、制御部15を備えている。そして、記録媒体ドライブ11に装填された記録媒体、例えばDVDに記録されている同期を取って再生すべき映像信号や音声信号は、読み出し部12により読み出される。
読み出された映像信号と音声信号とは、読み出し部12において、出力すべき映像信号Vdと音声信号Auとに分離される。そして、映像信号VdはI/F14に供給され、音声信号Auは、遅延処理部13を通じてI/F14に供給されて、当該I/F14を通じて、音声出力装置2に供給される。
一方、映像音響信号再生装置1のI/F14は、点線で示した制御信号線路を通じて音声出力装置2から送信されてくる音声信号に対する遅延制御情報Ct2を受け付け、これを自機において処理可能な形式の情報に変換して、制御部15に供給する。
制御部15は、I/F14を通じて供給される音声出力装置2からの音声信号に対する遅延制御情報Ct2に基づいて、遅延処理部13における音声信号についての遅延量を制御する。これにより、映像音響信号再生装置1から出力される映像信号Vdと音声信号Auとのうち、音声信号Auについては、音声出力装置2からの音声信号に対する遅延制御情報Ct2に基づいて遅延処理がなされることになる。
[図4に示した映像音声処理システムの動作のまとめ]
そして、図4に示した映像音声処理システムは、図1を用いて説明したように、また、図2、図3Bに示した映像音声処理システムの場合と同様に、映像音響信号再生装置1から出力される同期を取って再生すべき映像信号Vdと音声信号Auとは、音声出力装置2と、この音声出力装置2を介して映像表示装置3とに供給するようにされる。そして、映像表示装置3に映像信号Vdが供給されてから処理されて表示部の表示画面に映像が表示されるまでにかかる時間に応じた音声信号に対する遅延処理を、音声出力装置2と、映像音響信号再生装置1とに分散さるようにしている。
したがって、音声出力装置2における音声信号についての遅延処理と映像音響信号再生装置1における音声信号の遅延処理とにより、映像表示装置3に映像信号Vdが供給されてから処理されて表示部の表示画面に映像が表示されるまでにかかる時間に応じて、音声出力装置2からの音声信号の出力を遅延させることができる。
この図4に示した映像音声処理システムの場合においても、映像表示装置3において、供給される映像信号の形式が変わったり、選択設定される信号処理モードが変更されたりした場合には、映像表示装置3から映像信号の処理時間に応じて決まる音声信号についての遅延制御情報Ct1に応じた遅延処理を、音声出力装置2と映像音響信号再生装置1とで分散して行うことができるので、適切なタイミングで音声信号についての遅延処理を適切に行うようにすることができる。
また、音声信号の遅延処理にかかる負荷を、音声出力装置2と映像音響信号再生装置1とで分散させることができるので、映像音声処理システム全体における音声信号に対する遅延処理能力を向上させることができると共に、この音声処理システムを構成する音声出力装置2と映像音響信号再生装置1とにおける音声信号に対する遅延処理のためにかかる負荷をも分散させることができ、音声出力装置2と映像音響信号再生装置1との処理能力の点で余裕を持たせることができる。
なお、音声出力装置2の制御部211も、また、映像音響信号再生装置1の制御部15も、自機における音声信号に対する処理の処理時間などをも考慮して、自機において遅延させるべき音声信号の遅延量を適切に設定することができるものである。
[上流に位置する機器に伝達される遅延制御情報の詳細について]
映像表示装置3から音声出力装置2や映像音響信号再生装置1に供給される遅延制御情報Ct、あるいは、音声出力装置2から映像音響信号再生装置1に供給される遅延制御情報Ctのフォーマットについて、図5、図6を参照しながら説明する。
図5は、遅延制御情報Ctを2バイト(byte)で構成するようにした場合の例を説明するための図である。2バイトの遅延制御情報Ctの内、最初の1バイト目は、当該遅延制御情報Ctの送信先の装置を特定するためのID(装置ID)であり、2バイト目は、実際に音声信号の遅延量に応じた遅延情報である。
なお、遅延情報としては、例えば、200ミリ秒、150ミリ秒、20ミリ秒などのように、映像表示装置3が映像信号Vdの供給を受けてからこれを処理して映像を表示するまでにかかる時間を用いるようにすればよい。
また、例えば、供給された映像信号の形式が480pであり、設定された信号処理モードがフィルムモード(高画質モード)の時には「レベル1」、供給された映像信号の形式が720pであり、設定された信号処理モードがフィルムモード(高画質モード)の時には「レベル2」などのように、供給された映像信号の形式と設定された信号処理モードとに応じて遅延レベルが決まり、この遅延レベルに応じた映像表示装置3における映像信号についての処理時間(映像表示装置3が映像信号Vdの供給を受けてからこれに応じた映像を表示するまでにかかる時間)を音声出力装置2や映像音響信号再生装置1において特定可能な場合には、当該遅延レベルを示す情報を遅延情報として用いるようにすることもできる。
この他、遅延情報としては、映像表示装置3よりも上流に位置する機器において、音声信号の遅延量を特定することが可能な種々の情報を用いることができる。
図6は、遅延制御情報Ctを4バイト(byte)で構成するようにした場合の例を説明するための図である。4バイトの遅延制御情報Ctの内、1バイト目の情報は、当該遅延制御情報Ctの送信先の装置を特定するためのID(装置ID)である。2バイト目の情報は、映像表示装置3が供給を受けている映像信号Vdの解像度を示す情報である。
また、3バイト目の情報は、2バイト目で示された解像度の映像信号Vdをそのままの解像度で映像を表示する場合にかかる時間に対応して音声信号を遅延させる場合の遅延情報(2バイト目で示された解像度の映像信号に応じたデフォルトの遅延情報(音声信号に対する遅延情報))である。また、4バイト目は、映像表示装置3に設定された信号処理モードをも考慮し、映像表示装置3に当該映像信号が供給されてからこれを処理して映像を表示するまでにかかる時間に応じた実際の遅延情報(変更後の遅延情報)である。
そして、例えば、映像音響信号再生装置1が、ハードディスクレコーダのような大容量の記録媒体を備えたものであり、解像度の異なる多数の映像コンテンツ(AV(Audio/Visual)コンテンツ)を記録媒体に記録保持し、それらの中から目的とするコンテンツを簡単に選択して再生することができ、また、再生するコンテンツの変更も短時間の間に繰り返して行えるとする。
このような場合、再生するコンテンツが解像度の異なるものに(映像信号の形式が異なるものに)短時間の間に複数回切り換えられる場合もあり、この場合には、映像表示装置3から上流の機器に対しても、異なる複数の遅延制御情報Ctが供給されることになる。そして、遅延制御情報Ctの形成タイミングや送出タイミングなどにより、音声出力装置2や映像音響信号再生装置1において、どの遅延制御情報が有効なものであるのかが把握できなくなってしまう場合が発生する可能性がある。
しかし、図6に示したように、映像表示装置3が供給を受けている映像信号Vdの解像度を示す情報をも遅延制御情報Ctに含めておくことにより、音声出力装置2や映像音響信号再生装置1においても、自機が供給を受けている、あるいは、自機が送出している映像信号の解像度を検出し、映像表示装置3や音声出力装置2等の自機よりも下流の機器からの遅延制御情報の解像度を示す情報を参照することにより、どの遅延制御情報が有効なものかを判別することができる。
また、解像度、デフォルトの遅延情報、変更後の遅延情報を遅延制御情報Ctに持つことにより、この遅延制御情報Ctの提供を受けた音声出力装置2や映像音響信号再生装置1等の上流の機器においては、自機において音声信号をどのくらい遅延させるべきかを正確に判断する情報として用いることができるので、より適切に音声信号の遅延処理を行うようにすることも可能となる。
なお、図5、図6に示した遅延制御情報Ctは一例であり、最も下流の映像表示装置3から上流の機器に対して音声信号の遅延量を適切に指示することができれば、他のフォーマットの遅延制御情報を用いるようにしてももちろんよい。
なお、上述した実施の形態においては、図1〜図4において点線矢印で示した制御信号線路は、最下流の映像表示装置3から上流の機器に向かって一方向に制御情報を送信するものとして説明したが、これに限るものではない。上述もしたように、映像信号線路と音声信号線路と制御信号線路とを接続するインターフェースとしてHDMI規格に準拠したインターフェースで機器間を接続する場合には、制御信号線路として、CECと呼ばれる制御専用線を用いて相互に制御信号の送受を行うようにすることができる。
また、上述した実施の形態においては、映像信号線路と音声信号線路と制御信号線路とを接続するインターフェースとしては、HDMI規格のインターフェースの他、IEEE(Institute of Electrical and Electronics Engineers)1394規格のインターフェースなど、制御信号線路を別個に備えた種々のインターフェースを用いるようにすることが可能である。もちろん、映像信号線路と音声信号線路とを接続するインターフェースとは別に、制御信号線路を接続するインターフェースを用いて、そのそれぞれを別個に接続するようにしてももちろんよい。
また、上述した実施の形態においては、映像信号Vdを伝送する映像信号線路と音声信号Auを伝送する音声信号線路とを別々に示したが、映像信号と音声信号とを時分割多重化して同一伝送路を用いて伝送する形式のインターフェースを用いる場合にも、この発明を適用することができる。
また、機器間を接続するインターフェースは、デジタルインターフェースに限るものではなく、アナログインターフェースであってももちろんよい。
また、上述した実施の形態においては、映像音響信号再生装置1と音声出力装置2とは別体のものとして説明したが、これに限るものではない。映像音響信号再生装置1と音声出力装置2と一体の装置である場合にも、この発明を適用することができる。
この発明の一実施の形態が適用された映像音声処理システムの概要を説明するためのブロック図である。 遅延制御情報を映像表示装置3から音声出力装置2のみに対して通知する態様の映像音声処理システムを説明するためのブロック図である。 遅延制御情報を映像表示装置3から映像音響信号再生装置1のみに対して通知する態様の映像音声処理システムを説明するためのブロック図である。 遅延制御情報を映像表示装置3から、音声出力装置2と映像音響信号再生装置1との両方に通知する態様の映像音声処理システムを説明するためのブロック図である。 遅延制御情報Ctを2バイト(byte)で構成するようにした場合の例を説明するための図である。 遅延制御情報Ctを4バイト(byte)で構成するようにした場合の例を説明するための図である。 従来の映像音声処理システムの一例を説明するための図である。
符号の説明
1…映像音響信号再生装置、11…記録媒体ドライブ、12…読み出し部、13…遅延処理部、14…I/F、2…音声出力装置、21…音声そり部、211…制御部、212…遅延処理部、213…増幅部、22、23…I/F、SP…スピーカ、3…映像表示装置、31…I/F、32…映像・音声処理部、33…制御部

Claims (20)

  1. 同期を取って再生すべき映像信号と音声信号とが出力される出力装置と、上記出力装置から映像信号と音声信号とが入力され、少なくとも映像信号が後段の機器に対して出力され、音声信号に処理を行ってスピーカに出力される音声信号を生成する音声処理装置と、上記音声処理装置から出力される映像信号が入力され、映像の表示に用いる映像信号を形成する映像処理装置とを備える映像音声処理システムであって、
    上記映像処理装置は、
    上記音声処理装置から出力される映像信号から所定の画質の映像信号を形成する映像信号処理手段と、
    上記音声処理装置から出力される映像信号の形式と、設定された信号処理モードとの少なくとも一方に基づいて上記映像信号処理手段の処理を制御する制御手段と、
    上記制御手段により上記映像信号処理手段での処理内容が変更された場合に、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間を特定する特定手段と、
    上記特定手段により特定された処理時間に応じた情報を上記出力装置へ出力する出力手段と
    を備え、
    上記出力装置は、
    上記映像処理装置の出力手段から出力される上記処理時間に応じた情報が入力される入力手段と、
    スピーカに出力される音声信号を遅延させる遅延手段と、
    上記入力手段にて入力される上記処理時間に応じた情報に基づいて上記遅延手段を制御する遅延制御手段と
    を備え、
    上記処理時間に応じた情報は、上記特定手段により特定された、映像信号を受信してから当該映像信号をそのままの解像度で上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報、および上記特定手段により特定された、上記映像処理装置に設定された信号処理モードを考慮し、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報を含む、映像音声処理システム。
  2. 請求項1に記載の映像音声処理システムであって、
    上記出力装置は、
    自機における音声信号に対する処理の時間を特定する特定手段を備え、
    上記遅延制御手段は、上記入力手段にて入力される上記処理時間に応じた情報と上記特定手段で特定される音声信号に対する上記処理の時間とに基づいて上記遅延手段を制御する映像音声処理システム。
  3. 請求項2に記載の映像音声処理システムであって、
    上記出力装置の遅延制御手段は、上記入力手段にて入力される上記処理時間に応じた情報に基づく時間と上記特定手段で特定される音声信号に対する上記処理の時間との差分に基づいて上記遅延手段を制御する映像音声処理システム。
  4. 請求項1に記載の映像音声処理システムであって、
    上記映像処理装置は、上記特定された上記処理時間に応じた情報を上記音声処理装置へ出力する第2の出力手段を更に備え、
    上記音声処理装置は、
    スピーカに出力される音声信号の出力を遅延させる遅延手段と、
    上記映像処理装置から出力される上記処理時間に応じた情報が入力される入力手段と、
    上記入力手段により入力された上記処理時間に応じた情報に基づいて上記遅延手段の音声信号の遅延時間を制御する遅延制御手段と
    を備える映像音声処理システム。
  5. 同期を取って再生すべき映像信号と音声信号とが出力される出力装置と、上記出力装置から映像信号と音声信号とが入力され、少なくとも映像信号が後段の機器に対して出力され、音声信号に処理を行ってスピーカに出力される音声信号を生成する音声処理装置と、上記音声処理装置から出力される映像信号が入力され、映像の表示に用いる映像信号を形成する映像処理装置とを備える映像音声処理システムの上記映像処理装置であって、
    上記音声処理装置から出力される映像信号から所定の画質の映像信号を形成する映像信号処理手段と、
    上記音声処理装置から出力される映像信号の形式と、設定された信号処理モードとの少なくとも一方に基づいて上記映像信号処理手段の処理を制御する制御手段と、
    上記制御手段により上記映像信号処理手段での処理内容が変更された場合に、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間を特定する特定手段と、
    上記特定手段により特定された処理時間に応じた情報を少なくとも上記出力装置へ出力する出力手段と
    を備え、
    上記処理時間に応じた情報は、上記特定手段により特定された、映像信号を受信してから当該映像信号をそのままの解像度で上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報、および上記特定手段により特定された、上記映像処理装置に設定された信号処理モードを考慮し、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報を含む、映像処理装置。
  6. 同期を取って再生すべき映像信号と音声信号とが出力される出力装置と、上記出力装置から映像信号と音声信号とが入力され、少なくとも映像信号が後段の機器に対して出力され、音声信号に処理を行ってスピーカに出力される音声信号を生成する音声処理装置と、上記音声処理装置から出力される映像信号が入力され、映像の表示に用いる映像信号を形成する映像処理装置とを備える映像音声処理システムの上記出力装置であって、
    上記映像処理装置から出力される情報であって、映像信号を受信してから当該映像信号を処理して映像が表示されるまでにかかる処理時間に応じた情報が入力される入力手段と、
    スピーカに出力される音声信号を遅延させる遅延手段と、
    上記入力手段にて入力される上記処理時間に応じた情報に基づいて上記遅延手段を制御する遅延制御手段と
    を備え、
    上記処理時間に応じた情報は、上記映像処理装置の特定手段により特定された、映像信号を受信してから当該映像信号をそのままの解像度で上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報、および上記映像処理装置の特定手段により特定された、上記映像処理装置に設定された信号処理モードを考慮し、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報を含む、出力装置。
  7. 請求項6に記載の出力装置であって、
    自機における音声信号に対する処理の時間を特定する特定手段を備え、
    上記遅延制御手段は、上記入力手段にて入力される上記処理時間に応じた情報と上記特定手段で特定される音声信号に対する上記処理の時間とに基づいて上記遅延手段を制御する出力装置。
  8. 請求項7に記載の出力装置であって、
    上記遅延制御手段は、上記入力手段にて入力される上記処理時間に応じた情報に基づく時間と上記特定手段で特定される音声信号に対する上記処理の時間との差分に基づいて上記遅延手段を制御する出力装置。
  9. 請求項6に記載の出力装置であって、
    上記音声処理装置が出力する、上記音声処理装置が音声信号を受信してからスピーカに出力するまでの遅延時間を受信する遅延時間受信手段
    を更に備え、
    上記制御手段は、上記入力手段にて入力される上記処理時間に応じた情報と上記遅延時間受信手段にて受信される上記遅延時間とに基づいて上記遅延手段で音声信号が遅延される時間を制御する出力装置。
  10. 同期を取って再生すべき映像信号と音声信号とが出力される出力装置と、上記出力装置から映像信号と音声信号とが入力され、少なくとも映像信号が後段の機器に対して出力され、音声信号に処理を行ってスピーカに出力される音声信号を生成する音声処理装置と、上記音声処理装置から出力される映像信号が入力され、映像の表示に用いる映像信号を形成する映像処理装置とを備える映像音声処理システムの上記音声処理装置であって、
    上記映像処理装置は、映像信号を受信してから当該映像信号を処理して映像が表示されるまでにかかる処理時間に応じた情報を、上記出力装置と当該音声処理装置に対して出力するものであり、
    スピーカに出力される音声信号の出力を遅延させる遅延手段と、
    上記映像処理装置から出力される上記処理時間に応じた情報が入力される入力手段と、
    上記入力手段にて入力される上記処理時間に応じた情報に基づいて上記遅延手段の音声信号の遅延時間を制御する遅延制御手段と
    を備え、
    上記処理時間に応じた情報は、上記映像処理装置の特定手段により特定された、映像信号を受信してから当該映像信号をそのままの解像度で上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報、および上記映像処理装置の特定手段により特定された、上記映像処理装置に設定された信号処理モードを考慮し、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報を含む、音声処理装置。
  11. 請求項10に記載の音声処理装置であって、
    上記音声信号が音声信号から生成されて上記スピーカに出力するまでの処理時間を特定する処理時間特定手段
    を更に備え、
    上記制御手段は、上記処理時間特定手段にて特定される処理時間と上記入力手段を通じて入力される上記映像処理装置からの上記処理時間に関する情報とに基づいて上記遅延手段の遅延時間を制御する音声処理装置。
  12. 同期を取って再生すべき映像信号と音声信号とが出力される出力装置と、上記出力装置から映像信号と音声信号とが入力され、少なくとも映像信号が後段の機器に対して出力され、音声信号に処理を行ってスピーカに出力される音声信号を生成する音声処理装置と、上記音声処理装置から出力される映像信号が入力され、映像の表示に用いる映像信号を形成する映像処理装置とを備える映像音声処理システムの同期制御方法であって、
    上記映像処理装置においては、
    映像信号処理手段が、上記音声処理装置から出力される映像信号から所定の画質の映像信号を形成する映像信号処理ステップと、
    制御手段が、上記音声処理装置から出力される映像信号の形式と、設定された信号処理モードとの少なくとも一方に基づいて、上記映像信号処理手段により実行される上記映像信号処理ステップにおいての処理を制御する制御ステップと、
    上記制御ステップにおいて、上記映像信号処理ステップでの処理内容を変更した場合に、映像信号を受信してから当該映像信号を上記映像信号処理ステップにおいて処理して映像を表示するまでにかかる処理時間を、特定手段が特定する特定ステップと、
    出力手段が、上記特定ステップにおいて特定した処理時間に応じた情報を上記出力装置へ出力する出力ステップと
    を有し、
    上記出力装置においては、
    受付手段が、上記映像処理装置の出力ステップにおいて出力される上記処理時間に応じた情報を受け付ける受付ステップと、
    遅延制御手段が、上記受付ステップにおいて受け付けた上記処理時間に応じた情報に基づいてスピーカに出力される音声信号を遅延させる遅延手段を制御する遅延制御ステップと
    を有し、
    上記処理時間に応じた情報は、上記特定手段により特定された、映像信号を受信してから当該映像信号をそのままの解像度で上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報、および上記特定手段により特定された、上記映像処理装置に設定された信号処理モードを考慮し、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報を含む、同期制御方法。
  13. 請求項12に記載の同期制御方法であって、
    上記映像処理装置においては、
    上記特定された処理時間に応じた情報を、第2の出力手段が上記音声処理装置へ出力する第2の出力ステップを更に有し、
    上記音声処理装置においては、
    受付手段が、上記映像処理装置から出力される上記処理時間に応じた情報を受け付ける受付ステップと、
    上記受付ステップを通じて受け付けた上記処理時間に応じた情報に基づいて、遅延制御手段が、スピーカに出力される音声信号の出力を遅延させる遅延手段における音声信号の遅延時間を制御する遅延制御ステップと
    を有する同期制御方法。
  14. 同期を取って再生すべき映像信号と音声信号とが出力される出力装置と、上記出力装置から映像信号と音声信号とが入力され、少なくとも映像信号が後段の機器に対して出力され、音声信号に処理を行ってスピーカに出力される音声信号を生成する音声処理装置と、上記音声処理装置から出力される映像信号が入力され、映像の表示に用いる映像信号を形成する映像処理装置とを備える映像音声処理システムであって、
    上記映像処理装置は、
    上記音声処理装置から出力される映像信号から所定の画質の映像信号を形成する映像信号処理手段と、
    上記音声処理装置から出力される映像信号の形式と、設定された信号処理モードとの少なくとも一方に基づいて上記映像信号処理手段の処理を制御する制御手段と、
    上記制御手段により上記映像信号処理手段での処理内容が変更された場合に、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間を特定する特定手段と、
    上記特定手段により特定された処理時間に応じた情報を上記音声処理装置へ出力する出力手段と
    を備え、
    上記音声処理装置は、
    スピーカに出力される音声信号を遅延させる遅延手段と、
    上記映像処理装置から出力される上記処理時間に応じた情報が入力される入力手段と、
    上記入力手段を通じて入力された上記処理時間に応じた情報に基づいて、上記遅延手段においての音声信号の遅延時間を制御する遅延制御手段と、
    上記入力手段を通じて入力された上記処理時間に応じた情報に応じて行うべき音声信号の遅延処理と、自機で行う音声信号の遅延処理とで音声信号の遅延量に差がある場合に、その差分を特定する差分特定手段と、
    上記差分特定手段によって特定した差分に応じた遅延制御情報を上記出力装置へ出力する差分出力手段と
    を備え、
    上記出力装置は、
    スピーカに出力される音声信号を遅延させる遅延手段と、
    上記音声処理装置から出力される上記遅延制御情報が入力される遅延制御情報入力手段と、
    上記遅延制御情報入力手段を通じて入力された上記遅延制御情報に基づいて、上記遅延手段においての音声信号の遅延時間を制御する遅延制御手段と
    を備え、
    上記処理時間に応じた情報は、上記特定手段により特定された、映像信号を受信してから当該映像信号をそのままの解像度で上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報、および上記特定手段により特定された、上記映像処理装置に設定された信号処理モードを考慮し、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報を含む、映像音声処理システム。
  15. 請求項14に記載の映像音声処理システムであって、
    上記音声処理装置は、
    自機における上記音声信号に対する処理の時間を特定する特定手段を備え、
    上記音声処理装置の上記遅延制御手段は、上記特定手段で特定される上記音声信号に対する処理の時間をも考慮して上記遅延手段を制御し、
    上記出力装置は、
    自機における上記音声信号に対する処理の時間を特定する特定手段を備え、
    上記出力装置の上記遅延制御手段は、上記特定手段で特定される上記音声信号に対する処理の時間をも考慮して上記遅延手段を制御する映像音声処理システム。
  16. 同期を取って再生すべき映像信号と音声信号とが出力される出力装置と、上記出力装置から映像信号と音声信号とが入力され、少なくとも映像信号が後段の機器に対して出力され、音声信号に処理を行ってスピーカに出力される音声信号を生成する音声処理装置と、上記音声処理装置から出力される映像信号が入力され、映像の表示に用いる映像信号を形成する映像処理装置とを備える映像音声処理システムの上記音声処理装置であって、
    スピーカに出力される音声信号を遅延させる遅延手段と、
    上記映像処理装置から出力される情報であって、上記映像処理装置が映像信号を受信してから当該映像信号を処理して映像が表示されるまでにかかる処理時間に応じた情報が入力される入力手段と、
    上記入力手段を通じて入力された上記処理時間に応じた情報に基づいて、上記遅延手段においての音声信号の遅延時間を制御する遅延制御手段と、
    上記入力手段を通じて入力された上記処理時間に応じた情報に応じて行うべき音声信号の遅延処理と、自機で行う音声信号の遅延処理とで音声信号の遅延量に差がある場合に、その差分を特定する差分特定手段と、
    上記差分特定手段によって特定した差分に応じた遅延制御情報を上記出力装置へ出力する差分出力手段と
    を備え、
    上記処理時間に応じた情報は、上記映像処理装置の特定手段により特定された、映像信号を受信してから当該映像信号をそのままの解像度で上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報、および上記映像処理装置の特定手段により特定された、上記映像処理装置に設定された信号処理モードを考慮し、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報を含む、音声処理装置。
  17. 請求項16に記載の音声処理装置であって、
    自機における上記音声信号に対する処理の時間を特定する特定手段を備え、
    上記遅延制御手段は、上記特定手段で特定される上記音声信号に対する処理の時間をも考慮して上記遅延手段を制御する音声処理装置。
  18. 同期を取って再生すべき映像信号と音声信号とが出力される出力装置と、上記出力装置から映像信号と音声信号とが入力され、少なくとも映像信号が後段の機器に対して出力され、音声信号に処理を行ってスピーカに出力される音声信号を生成する音声処理装置と、上記音声処理装置から出力される映像信号が入力され、映像の表示に用いる映像信号を形成する映像処理装置とを備える映像音声処理システムの上記出力装置であって、
    スピーカに出力される音声信号を遅延させる遅延手段と、
    上記音声処理装置において、上記映像処理装置が映像信号を受信してから当該映像信号を処理して映像が表示されるまでにかかる処理時間に応じた情報に応じて行うべき音声信号の遅延処理と、上記音声処理装置で行う音声信号の遅延処理とで音声信号の遅延量に差がある場合に、その差分に応じて上記音声処理装置で形成される遅延制御情報が入力される入力手段と、
    上記入力手段を通じて入力された上記遅延制御情報に基づいて、上記遅延手段においての音声信号の遅延時間を制御する遅延制御手段と
    を備え、
    上記処理時間に応じた情報は、上記映像処理装置の特定手段により特定された、映像信号を受信してから当該映像信号をそのままの解像度で上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報、および上記映像処理装置の特定手段により特定された、上記映像処理装置に設定された信号処理モードを考慮し、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報を含む、出力装置。
  19. 請求項18に記載の出力装置であって、
    自機における上記音声信号に対する処理の時間を特定する特定手段を備え、
    上記遅延制御手段は、上記特定手段で特定される上記音声信号に対する処理の時間をも考慮して上記遅延手段を制御する出力装置。
  20. 同期を取って再生すべき映像信号と音声信号とが出力される出力装置と、上記出力装置から映像信号と音声信号とが入力され、少なくとも映像信号が後段の機器に対して出力され、音声信号に処理を行ってスピーカに出力される音声信号を生成する音声処理装置と、上記音声処理装置から出力される映像信号が入力され、映像の表示に用いる映像信号を形成する映像処理装置とを備える映像音声処理システムの同期制御方法であって、
    上記映像処理装置においては、
    映像処理手段が、上記音声処理装置から出力される映像信号から所定の画質の映像信号を形成する映像信号処理ステップと、
    制御手段が、上記音声処理装置から出力される映像信号の形式と、設定された信号処理モードとの少なくとも一方に基づいて、上記映像信号処理手段により実行される上記映像信号処理ステップにおいての処理を制御する制御ステップと、
    上記制御ステップにおいて、上記映像信号処理ステップでの処理内容を変更した場合に、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間を、特定手段が特定する特定ステップと、
    出力手段が、上記特定ステップにおいて特定した処理時間に応じた情報を上記音声処理装置へ出力する出力ステップと
    を有し、
    上記音声処理装置においては、
    受付手段が、上記映像処理装置の上記出力ステップにおいて出力される上記処理時間に応じた情報を受け付ける受付ステップと、
    上記受付ステップにおいて受け付けた上記処理時間に応じた情報に基づいて、遅延制御手段が、スピーカに出力される音声信号を遅延させる遅延手段においての音声信号の遅延時間を制御する遅延制御ステップと、
    上記受付ステップにおいて受け付けた上記処理時間に応じた情報に応じて行うべき音声信号の遅延処理と、自機で行う音声信号の遅延処理とで音声信号の遅延量に差がある場合に、その差分を、差分特定手段が特定する差分特定ステップと、
    差分出力手段が、上記差分特定ステップにおいて特定した差分に応じた遅延制御情報を上記出力装置へ出力する差分出力ステップと
    を有し、
    上記出力装置においては、
    遅延制御情報受付手段が、上記音声処理装置から出力される上記遅延制御情報を受け付ける遅延制御情報受付ステップと、
    上記遅延制御情報受付ステップにおいて受け付けた上記遅延制御情報に基づいて、遅延制御手段が、スピーカに出力される音声信号を遅延させる遅延手段においての音声信号の遅延時間を制御する遅延制御ステップと
    を備え、
    上記処理時間に応じた情報は、上記特定手段により特定された、映像信号を受信してから当該映像信号をそのままの解像度で上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報、および上記特定手段により特定された、上記映像処理装置に設定された信号処理モードを考慮し、映像信号を受信してから当該映像信号を上記映像信号処理手段によって処理して映像が表示されるまでにかかる処理時間に応じた情報を含む、同期制御方法。
JP2006098382A 2006-03-31 2006-03-31 映像音声処理システム、映像処理装置、音声処理装置、映像音声の出力装置および映像と音声の同期処理方法 Expired - Fee Related JP4544190B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006098382A JP4544190B2 (ja) 2006-03-31 2006-03-31 映像音声処理システム、映像処理装置、音声処理装置、映像音声の出力装置および映像と音声の同期処理方法
KR1020070030144A KR101374160B1 (ko) 2006-03-31 2007-03-28 영상 및 음성 처리 시스템, 영상 처리장치, 음성 처리장치,출력장치, 및 시스템 제어 방법
US11/729,382 US8301007B2 (en) 2006-03-31 2007-03-28 Video and audio processing system, video processing apparatus, audio processing apparatus, output apparatus, and method of controlling the system
CNB2007100936524A CN100562062C (zh) 2006-03-31 2007-03-30 视频和音频处理系统、视频处理装置、音频处理装置、输出装置以及控制该系统的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006098382A JP4544190B2 (ja) 2006-03-31 2006-03-31 映像音声処理システム、映像処理装置、音声処理装置、映像音声の出力装置および映像と音声の同期処理方法

Publications (2)

Publication Number Publication Date
JP2007274409A JP2007274409A (ja) 2007-10-18
JP4544190B2 true JP4544190B2 (ja) 2010-09-15

Family

ID=38559059

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006098382A Expired - Fee Related JP4544190B2 (ja) 2006-03-31 2006-03-31 映像音声処理システム、映像処理装置、音声処理装置、映像音声の出力装置および映像と音声の同期処理方法

Country Status (4)

Country Link
US (1) US8301007B2 (ja)
JP (1) JP4544190B2 (ja)
KR (1) KR101374160B1 (ja)
CN (1) CN100562062C (ja)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006118106A1 (ja) * 2005-04-28 2006-11-09 Matsushita Electric Industrial Co., Ltd. リップシンク補正装置及びリップシンク補正方法
US8949120B1 (en) 2006-05-25 2015-02-03 Audience, Inc. Adaptive noise cancelation
JP2009124223A (ja) * 2007-11-12 2009-06-04 Sharp Corp Avシステム
JP4958748B2 (ja) * 2007-11-27 2012-06-20 キヤノン株式会社 音声処理装置、映像処理装置及びそれらの制御方法
US8223113B2 (en) * 2007-12-26 2012-07-17 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with variable delay
US8238726B2 (en) 2008-02-06 2012-08-07 Panasonic Corporation Audio-video data synchronization method, video output device, audio output device, and audio-video output system
JP4674614B2 (ja) * 2008-04-18 2011-04-20 ソニー株式会社 信号処理装置および制御方法、信号処理方法、プログラム、並びに信号処理システム
JP5506239B2 (ja) * 2009-05-12 2014-05-28 キヤノン株式会社 映像処理装置、制御方法及びプログラム
JP2011059351A (ja) * 2009-09-09 2011-03-24 Toshiba Corp 映像信号処理装置および映像信号処理方法
CN101771809B (zh) * 2009-10-20 2014-10-29 大连捷成实业发展有限公司 基于fpga实现多路数字视频同步处理方法
JP5595028B2 (ja) * 2009-12-14 2014-09-24 キヤノン株式会社 放送受信装置及び方法
JP2011172156A (ja) * 2010-02-22 2011-09-01 Sony Corp コンテンツ再生システム、コンテンツ受信装置、音声再生装置、コンテンツ再生方法およびプログラム
US8692937B2 (en) * 2010-02-25 2014-04-08 Silicon Image, Inc. Video frame synchronization
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
JP2012119924A (ja) * 2010-11-30 2012-06-21 Toshiba Corp 映像表示装置及び映像表示方法、音声再生装置及び音声再生方法、映像音声同期制御システム
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
JP5127992B2 (ja) * 2012-05-31 2013-01-23 株式会社東芝 映像処理装置及び映像処理方法、音声再生装置及び音声再生方法
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
CN105210364A (zh) * 2013-02-25 2015-12-30 视听公司 在视频回放期间的动态音频空间感改变
US9444746B2 (en) 2013-06-25 2016-09-13 Qualcomm Incorporated Selectively transferring high-priority non-audio data over a quality of service channel
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
JP2014143724A (ja) * 2014-03-19 2014-08-07 Canon Inc 映像信号処理装置
WO2016033364A1 (en) 2014-08-28 2016-03-03 Audience, Inc. Multi-sourced noise suppression
US9910634B2 (en) * 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
CN104902317A (zh) * 2015-05-27 2015-09-09 青岛海信电器股份有限公司 音视频同步方法及装置
CN104980820B (zh) 2015-06-17 2018-09-18 小米科技有限责任公司 多媒体文件播放方法及装置
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
EP3351015B1 (en) 2015-09-17 2019-04-17 Sonos, Inc. Facilitating calibration of an audio playback device
JP6632864B2 (ja) * 2015-10-27 2020-01-22 シナプティクス・ジャパン合同会社 表示ドライバ及び表示装置
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
US9843825B1 (en) * 2016-06-10 2017-12-12 Apple Inc. Distributed and synchronized media switching
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
JP2019004401A (ja) * 2017-06-19 2019-01-10 セイコーエプソン株式会社 プロジェクションシステム、プロジェクター及びプロジェクションシステムの制御方法
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
JP6956354B2 (ja) * 2018-08-30 2021-11-02 パナソニックIpマネジメント株式会社 映像信号出力装置、制御方法、及び、プログラム
CN112055258B (zh) * 2019-06-06 2023-01-31 腾讯科技(深圳)有限公司 加载直播画面的时延测试方法、装置、电子设备及存储介质
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
CN113132769A (zh) * 2020-01-15 2021-07-16 海信视像科技股份有限公司 显示设备及音画同步方法
CN112423120B (zh) * 2020-01-22 2023-09-01 上海哔哩哔哩科技有限公司 音频时延的检测方法及系统
US10904606B1 (en) * 2020-01-23 2021-01-26 Roku, Inc. Using non-audio data embedded in an audio signal
CN111479154B (zh) * 2020-04-03 2022-03-22 海信视像科技股份有限公司 音画同步的实现设备、方法及计算机可读存储介质
US11526711B1 (en) 2020-05-20 2022-12-13 State Farm Mutual Automobile Insurance Company Synchronizing image data with either vehicle telematics data or infrastructure data pertaining to a road segment
CN111885313A (zh) * 2020-07-17 2020-11-03 北京来也网络科技有限公司 一种音视频的修正方法、装置、介质及计算设备
CN113242361B (zh) * 2021-07-13 2021-09-24 腾讯科技(深圳)有限公司 一种视频处理方法、装置以及计算机可读存储介质
CN115460425B (zh) * 2022-07-29 2023-11-24 上海赫千电子科技有限公司 基于车载以太网传输音视频同步传输方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5583652A (en) * 1994-04-28 1996-12-10 International Business Machines Corporation Synchronized, variable-speed playback of digitally recorded audio and video
US6906755B2 (en) * 2002-01-04 2005-06-14 Microsoft Corporation Method and apparatus for synchronizing audio and video data
JP4517727B2 (ja) * 2004-05-27 2010-08-04 ヤマハ株式会社 オーディオ・ビデオアンプ
JP4427733B2 (ja) * 2004-07-16 2010-03-10 ソニー株式会社 映像音声処理システム、アンプ装置および音声遅延処置方法
JPWO2006025441A1 (ja) * 2004-09-02 2008-05-08 パイオニア株式会社 画像処理装置、音声処理装置、画像音声供給装置、及び画像音声処理システム、並びに画像音声同期方法
JP4991129B2 (ja) * 2005-07-19 2012-08-01 Necディスプレイソリューションズ株式会社 映像音声再生装置および映像音声再生方法

Also Published As

Publication number Publication date
CN101047777A (zh) 2007-10-03
JP2007274409A (ja) 2007-10-18
CN100562062C (zh) 2009-11-18
US8301007B2 (en) 2012-10-30
KR20070098589A (ko) 2007-10-05
US20070230913A1 (en) 2007-10-04
KR101374160B1 (ko) 2014-03-14

Similar Documents

Publication Publication Date Title
JP4544190B2 (ja) 映像音声処理システム、映像処理装置、音声処理装置、映像音声の出力装置および映像と音声の同期処理方法
JP4427733B2 (ja) 映像音声処理システム、アンプ装置および音声遅延処置方法
JP4575324B2 (ja) Av装置及びその制御方法
EP2066113B1 (en) Audio processing apparatus, video processing apparatus, and audiovisual system
JP4683067B2 (ja) 音声処理装置、音声処理方法およびプログラム
KR101306706B1 (ko) 디지털 티브이와 연결된 외부기기 자동 설정 장치 및 방법
JP5207860B2 (ja) 映像音声再生装置、及び映像音声再生方法
US20110043707A1 (en) Content transmitting device
US20110187929A1 (en) Communication apparatus
US8090235B2 (en) Relay apparatus, and reproduction system
JP4501087B2 (ja) 画像処理装置およびそのプログラム
JP2008078879A (ja) 音声再生装置、映像音声再生装置、及びその音場モード切り替え方法
JP2007158903A (ja) Hdmi出力時の解像度切換え手段
JP2008035399A (ja) 映像音声再生システム及び映像音声再生方法
JP5509892B2 (ja) オーディオ・ビデオ機器
JP4837018B2 (ja) Av装置
JP2010273078A (ja) Avシステム、オーディオシステム及び映像表示装置
JP2009017187A (ja) 映像音声再生装置、映像音声再生システム及び映像音声再生方法
JP4937726B2 (ja) 映像伝送システム及び映像伝送方法
KR101437694B1 (ko) 디스플레이장치 및 그의 제어 방법
WO2009118840A1 (ja) 映像出力装置、映像表示装置、及び映像表示システム
JP2009124223A (ja) Avシステム
JP2009021663A (ja) 映像音声再生装置、映像音声再生システム及び映像音声再生方法
JP2012095122A (ja) テレビジョン受像機
JP5248663B2 (ja) インターフェース方式

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090810

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091005

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100224

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100608

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100621

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130709

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4544190

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130709

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees