JPWO2006025441A1 - 画像処理装置、音声処理装置、画像音声供給装置、及び画像音声処理システム、並びに画像音声同期方法 - Google Patents

Abstract

音声信号に対して時系列的な対応関係にある画像信号を取得し、取得された画像信号に、該画像信号の形式に応じた処理手順で表示用の画像処理を施す。実行中又は実行しようとする画像処理に伴って生じる画像信号の遅延量を含んだ画像遅延情報を生成する画像遅延情報生成手段と、出力用の音声処理を前記音声信号に施す音声処理装置に画像遅延情報を送出する送出手段とを備える。

Description

本発明は、例えば記録媒体から再生出力されたり、ディジタルインターフェイスを介してネットワーク上に伝送されたりする画像信号及び音声信号による、画像表示及び音声出力を行うために用いられる、画像処理装置及び音声処理装置に関する。また、これら画像処理装置及び音声処理装置に記録媒体から再生した画像信号及び音声信号を供給する画像音声供給装置、これら画像処理装置及び音声処理装置により画像表示と音声出力とを行う画像音声処理システム、並びにそのような画像と音声とを同期再生させるための画像音声同期方法に関する。

米国電子電気技術者協会におけるIEEE1394などのインターフェイスの規格化と並行して、電子機器のネットワーク化が進行している。ＡＶ機器の場合は、ＤＶＤプレーヤと、ディスプレイ、及びＡＶアンプをインターフェイスやネットワークで接続して、ホームシアター等のシステムを構築することが増えてきている。

その場合のディスプレイには、ＰＤＰ（Plasma Display Panel）等の大型パネルが用いられる。ＰＤＰ等の内部回路のうち、パネルを駆動するドライバの前段は殆どディジタル化されており、３次元Ｙ／Ｃ分離、ノイズリダクション、輪郭補正、解像度変換等のディジタル高画質化処理が更に追加されてゆく傾向にある。そして、こうしたディジタル画像処理の増加に伴って、画像表示が音声出力に遅れる現象が問題となっている。

画像と音声の再生時刻を一致させる（所謂リップシンクをとる）方法としては、ディジタル画像処理に伴う画像信号の遅延分だけ音声信号を遅延させる方法が知られている（特許文献１を参照）。

また、ネットワーク化に伴う複数の機器間での同期再生方法に関しては、特許文献２に開示されている。即ち、ネットワークに接続された各種機器（シンク機器群）は、システム全体を統御するコントローラによって、受け取ったコンテンツデータの再生時刻を指定される。再生時刻は、例えば、ネットワークディレイの最大値とシンク機器群のデコードディレイの最大値とを考慮して設定される。

特開２００２−３４４８９８号公報 特開２００３−０３７５８５号公報

しかしながら、実際の画像信号の遅延量は、いつも一定であるとは限らない。画像信号といっても、アナログかディジタルか、ディジタルでもＭＰＥＧ−ＴＳとＤＶとでは圧縮方法が異なり、またＳＤ（Standard Definition）かＨＤ(High Definition)かでは解像度が異なるなど、信号形式が異なれば、それに応じて必要な処理も異なってくる。そのため、必然的に夫々の処理内容に応じて遅延量が異なってくるので、リップシンクを行う際には、このような遅延量の変化が問題となる。

尚、リップシンクの自動調整は、特許文献２の方法でも実現可能であるが、この方法によれば、ディスプレイやＡＶアンプ等がディジタルネットワーク化されていることが前提となる。そのためには、全ての機器が同一のディジタルの接続規格に対応していることが条件となる。しかしながら、実際の機器は機種やメーカーによって接続方式が異なる場合が殆どである。例えば、ＤＶＤプレーヤとディスプレイとの接続には、コンポジット信号、Ｓ−Video信号、Ｄ端子信号ないしコンポーネント信号等を伝送するアナログインターフェイス、或いはＨＤＭＩ（High-Definition Multimedia Interface）により映像信号を伝送するディジタルインターフェイスを適用する一方で、ＤＶＤプレーヤとＡＶアンプとの接続にはIEC60958、IEEE1394等のディジタルインターフェイスを適用する場合などが代表的であり、上述したような統一的なネットワーク接続は、現実に即応しているとは言い難い。

本発明は、例えば上記問題点に鑑みなされたものであり、機器間の接続方式の違いにも柔軟に対応しつつリップシンクの常時自動調整が可能な画像処理装置、音声処理装置、画像音声供給装置、及び画像音声処理システム、並びに画像音声同期方法を提供することを課題とする。

（画像処理装置）
本発明の画像処理装置は上記課題を解決するために、音声信号に対して時系列的な対応関係にある画像信号を取得する画像取得手段と、前記取得された画像信号に、該画像信号の形式に応じた処理手順で表示用の画像処理を施す画像処理手段と、前記実行中の又は実行しようとする画像処理に伴って生じる前記画像信号の遅延量を含んだ画像遅延情報を生成する画像遅延情報生成手段と、出力用の音声処理を前記音声信号に施す音声処理装置に、前記画像遅延情報を送出する送出手段とを備える。

本発明の画像処理装置によれば、その動作時には、画像信号が取得され、取得された画像信号に表示用の画像処理が施される。ここで、「表示用の画像処理」とは、例えば高画質化処理等の、ＰＤＰ等の表示パネルを駆動させるために、伝送路上から取得した画像信号に施す処理を指す。処理後の画像信号は、外部の或いは内蔵されたディスプレイドライバに出力され、ディスプレイを駆動するのに用いられる。このような画像処理は、取得される画像信号の形式に応じて必要な処理内容が異なってくる。即ち、画像処理手段では、信号形式に応じて異なった手順で画像処理が施され、それに応じて、この画像処理装置における画像信号の遅延量は時間的に変動する可能性がある。

本発明の画像処理装置では、こうした変動値である画像信号の遅延量、更にはこの遅延量を含む情報（即ち、画像遅延情報）の取得ないし生成が、画像処理と並行して、又は画像処理に先立って行われる。即ち、“画像処理装置における、画像信号の現在の遅延量又はこれから実行される処理に伴う遅延量”が取得される。ここで「画像信号の遅延量」とは、画像処理に伴う画像信号の遅れの指標量であり、例えば、画像処理装置内における画像信号の各種処理の前後での時間遅れや、画像信号が画像処理装置に入出力することで生じる時間ずれ、或いは画像処理後の画像信号の音声信号に対する相対的遅延量として表現できる。

また、「画像遅延情報」は、画像信号と音声信号との同期処理に必要な情報のうち、上記の遅延量を含めた画像処理装置側の情報である。即ち、画像信号の遅延量の他にも、例えば、処理中の画像信号の信号形式や遅延量を取得した時刻等の情報が適宜に含まれていてよい。ここでは、画像遅延情報は、“処理中の画像信号の遅延量を含んだ情報”として生成される。尚、ここで「生成する」とは、音声処理装置に送出すべき画像遅延情報が各時点で新たに生成されるという趣旨であり、いくつかの遅延量ないし遅延情報の中から一つを選択するような場合も含まれる。また、前述したように、遅延量は画像処理における処理手順によっても変化することから、画像遅延情報は、遅延する画像信号と処理手順との対応関係において把握ないし生成されることが望ましい。

生成された画像遅延情報は、この画像処理装置に取得される画像信号と対応関係にある音声信号を受信する音声処理装置に対して伝送される。本発明では、音声処理装置に画像遅延情報を与えることから、画像遅延情報に応じて音声信号を遅延させるように構成された音声処理装置（即ち、本発明の音声処理装置）を適用することによってリップシンクの自動調整が実現可能である。

言い換えると、本発明の画像処理装置は、音声処理装置を最終的な画像音声の同期手段とし、例えばオーディオディレイ用メモリ等を使って音声信号を遅延させることで、画像処理に伴う画像信号の遅延を補償するようなシステムに適用される。この画像処理装置は、音声処理装置に対して画像遅延情報を送出する。しかも、ここで送出される画像遅延情報は、画像処理装置で実行中又は実行しようとする処理手順に対応していることから、常時、適正なリップシンクが可能である。

このように、本発明の画像処理装置は、通常の画像処理装置に対し、(1) 画像処理手順と対応する画像遅延情報を画像処理と並行して生成し、(2) 画像遅延情報を音声処理装置に向けて送出するような改変を施すことで実現される。尚、この画像処理装置は、画像表示を行う表示パネルと一体化されていてもよいし、表示パネルの駆動部に画像信号を供給する装置として、表示パネルとは別体として構成されてもよい。

本発明の画像処理装置の一態様では、前記音声処理装置とは別体として構成される。

この態様によれば、画像処理装置は音声処理装置とは別途構成されている。そのような画像処理装置と音声処理装置とに画像や音声を供給する一般的なシステムでは、これらの間に画像音声以外の情報のやり取りを行うための手段（即ち、情報送受信用のインターフェイス）は存在しないので、音声処理装置は画像遅延情報を知り得ず、オーディオディレイによるリップシンクは困難である。

これに対し、本発明の画像処理装置は、音声処理装置との間で画像遅延情報のやり取りを行うので、音声処理装置によるオーディオディレイを利用したリップシンクが可能である。

本発明の画像処理装置の他の態様では、前記音声処理装置が、少なくとも前記画像信号及び前記音声信号が供給される第１伝送路から前記音声信号を取得すると共に、前記画像取得手段は、前記第１伝送路から前記画像信号を取得し、前記送出手段は、前記音声処理装置に向けて前記画像遅延情報を前記音声処理装置との間に介在する第２伝送路に送出する。

この態様によれば、画像処理装置は、第１伝送路から画像信号を取得する。この「第１伝送路」は、少なくとも、時系列的な対応関係にある画像信号と音声信号とが共に供給される情報伝送媒体であり、本発明の画像処理装置が画像信号を取得する他、音声処理装置が音声情報を取得するように構成されている。尚、第１伝送路は、単一の伝送路とは限らず、例えば画像信号と音声信号とを別々に伝送する、２以上の情報伝送媒体であってよい。ここでいう「伝送路」は、有線に限らず無線通信媒体をも含んでいる。

また、ここでは、画像遅延情報の送受は、第２伝送路を介して画像処理装置と音声処理装置との間で直接行われる。但し、第１伝送路が例えばシリアルバスによるネットワークであるような場合は、第２伝送路は第１伝送路と部分的に経路を共有しても構わない。

これは、一見伝送路が増えてシステムを複雑化させるように見えるが、このように画像遅延情報を直接やり取りするパスを確保しておけば、本来的に必要とされる第１伝送路にどのようなインターフェイス形式が適用されていても、それに依存することなく画像遅延情報をやり取りできるため、汎用性の高い装置構成となり、リップシンクの常時自動調整を簡単かつ確実に実現することができる。

このように、本態様の画像処理装置は、音声処理装置との間に画像遅延情報のやり取りが可能な第２伝送路を、画像信号や音声信号の送受に関わる第１伝送路とは特に関係なく確立するようにしたので、第１伝送路における信号形式等の問題を全く考慮せずに、容易かつ確実に音声処理装置に画像遅延情報を送出することが可能となっている。従って、装置間の接続方式の違いにも柔軟に対応しつつ、音声処理装置にリップシンクを実行させることができる。

本発明の画像処理装置の他の態様では、前記画像遅延情報生成手段は、前記画像処理に伴って生じる前記画像信号の遅延量を含む格納情報を、前記処理手順と対応させて予め格納する格納手段と、前記画像処理に際して前記実行中の又は実行しようとする処理手順を判別する判別手段と、前記判別された処理手順に対応する前記格納情報を、前記格納手段を参照して選択する選択手段とを含み、前記画像遅延情報を、前記選択された格納情報を含む情報として生成する。

この態様によれば、画像処理装置には、複数の画像遅延量が処理手順と対応させて予め格納される。即ち、画像処理手段では、信号形式に応じて異なった手順で画像処理が施されるが、その処理手順は画像処理手段内の回路構成等と対応してパターン化されていることから、処理手順に応じて複数存在する画像信号の遅延量（即ち、画像遅延量）は、予め認知可能である。そこで本態様では、これら画像遅延量のパターン情報を格納情報として格納しておく。実際の格納情報は、例えば画像遅延量と処理手順とのテーブルなどの画像遅延量を含んだ情報である。そして、画像処理に際して、実行中の又は実行しようとする処理手順が判別され、判別された処理手順に対応する格納情報が格納手段から選択される。

このとき選択された格納情報における画像遅延量は、まさに“画像信号の現在の遅延量又はこれから実行される処理に伴う遅延量”であり、最終的にはこれを含むような画像遅延情報が生成される。よって、常時、適正なリップシンクが可能である。

この態様では、前記判別手段の判別結果に基づいて前記処理手順の切り替わりを検知し、前記選択手段及び前記送出手段を、前記切り替わり後の処理手順と対応する前記画像遅延情報を送出するように制御する第１制御手段を更に備えるようにしてもよい。

この場合、画像遅延情報は、画像処理装置内における処理手順の切り替わりをきっかけとして送出される。処理手順は、取得される画像信号の形式が変わることで切り替わり、それに応じて画像遅延量も変化する。即ち、この場合には、画像遅延量の変化に即応して音声処理装置側の画像遅延情報を更新することができ、常に適正なリップシンクが可能となる。

本発明の画像処理装置の他の態様では、前記第２伝送路を介して前記音声処理装置から送られてくる前記画像遅延情報の送信要求を受信する受信手段と、前記選択手段及び前記送信手段を、前記送信要求に応じて前記画像遅延情報を送出するように制御する第２制御手段とを更に備える。

この態様によれば、画像遅延情報は、音声処理装置から送信要求を受け取ることをきっかけとして送出される。この場合の画像処理装置は、画像遅延情報の送出タイミングの少なくとも一部を音声処理装置に制御される。そのため、画像処理装置と音声処理装置とが連動して遅延情報を管理するシステムを構築することができる。

本発明の画像処理装置の他の態様では、前記画像遅延情報生成手段は、前記画像遅延情報に、前記画像処理の実行状況を示す処理状況情報を含める。

この態様によれば、音声処理装置に処理状況情報を知らせることができる。「処理状況情報」は、この画像処理装置の動作状況を表す。

音声処理装置からの要求に応じて画像遅延情報を応答するような場合、動作状態等によっては、そうした情報を送り返せない場合がある。例えば、画像処理装置の有効な入力端子が切り換えられると、内部の信号処理経路が準備されるが、この時点で要求を受信しても、画像処理装置は、少なくとも画像信号を実際に受信してその信号形式が判別されるまでは遅延量を確定することができないので、この処理に対応する画像遅延情報を返すことができないことがある。

この場合、要求の受領が拒否されてしまうと、音声処理装置側では何故拒否されたのかが分からなくなるため、次にリトライすべきか処理を中断すべきかの判断ができないことになる。

本態様のように画像処理装置が処理状況情報を送ることができるようにすれば、画像遅延情報を受信する音声処理装置では、そのような場合の状況判断が可能になる。その結果、音声処理装置における音声信号の遅延に係る処理を的確に実行せしめることができる。

本発明の画像処理装置の他の態様では、前記画像遅延情報生成手段は、前記画像遅延情報に、少なくとも前記画像信号の入出力経路を識別するための識別情報を含める。

この態様によれば、画像処理装置は、画像信号の遅延に関する情報と共に、入出力経路を識別するための情報を音声処理装置に送出する。入出力経路を識別するための情報とは、具体的には、画像信号の入出力方向、或いは入出力に際して用いる端子を識別する情報等である。尚、音声信号の入出力が行われる場合には、この音声信号に関する識別情報もまた、音声処理装置に送出されてよい。

例えば、画像処理装置は、複数種類の画像入力端子を備えていることが多い。これらの端子は、アナログ、ＨＤＭＩ等に対応している。画像処理装置は、これら複数の入力端子から画像信号を同時に取り込むことができる。画像処理装置へ画像信号が入力される前に遅延情報を確定させる場合、映像を表示するまでの画像処理装置内での入力端子からの信号経路及び信号処理が各入力端子で変わるため、遅延量が異なってくることがある。従って、画像信号の入力経路（具体的には、入力端子の種別）を指定しなければ、画像処理装置は、音声処理装置に知らせるべき遅延量を確定することができない。

また、画像処理装置がＴＶ受像機であって、受信した音声信号を音声処理装置に出力するような場合等には、画像処理装置の出力端子においても入力端子と同様の事態が生じ得る。即ち、画像処理装置が複数種類の出力端子を備えている場合、出力端子までの信号経路及び信号処理が変わるため、遅延量が異なってくることがある。特に、音声信号をアナログ出力する際には、圧縮音声をデコードする必要があるので、IEC60958などとは出力までに生じる遅延時間が変わる。

これに対し、音声処理装置と画像処理装置とが画像遅延情報の付加情報として識別情報をやり取りするようにすれば、音声処理装置に、画像処理装置内の信号入出力経路に対応する画像遅延情報を取得させることができる。その結果、音声処理装置における音声信号の遅延に係る遅延量の精度を高めることが可能となる。

（音声処理装置）
本発明の第１の音声処理装置は上記課題を解決するために、画像信号に対して時系列的な対応関係にある音声信号を取得する音声取得手段と、前記取得された音声信号に、出力用の音声処理を施す音声処理手段と、前記画像信号に表示用の画像処理を施す画像処理装置から送出される、前記実行中の又は実行しようとする画像処理に伴って生じる前記画像信号の遅延量を含む画像遅延情報を受信する受信手段と、前記画像信号と前記音声信号との時間差を補償するために前記受信された画像遅延情報に基づいて前記音声信号を遅延させる遅延手段とを備える。

本発明の第１の音声処理装置によれば、その動作時には、音声信号が取得され、取得された音声信号に出力用の音声処理が施される。ここで「出力用の音声処理」とは、スピーカ等の音声出力器を駆動させるために伝送路上から取得した音声信号に施す処理、例えば種々の圧縮音声復号化、スピーカから出力させるための増幅、臨場感を高めたり、セリフと効果音のバランスを調整したりするDSP（Digital Signal Processor）による音質処理等を指す。処理後の音声信号は、外部の或いは内蔵のドライバに出力され、スピーカやヘッドホン等を駆動するのに用いられる。

本発明の音声処理装置は更に、この音声信号と時系列的な対応関係にある画像信号に画像処理を施す、上述の画像処理装置から、画像遅延情報を受け取り、この画像遅延情報に基づいて音声信号を遅延させるように構成されている。画像遅延情報は、画像処理装置にて実行中の又はこれから実行しようとする画像処理に係る遅延情報である。

即ち、この音声処理装置は、画像と音声を最終的に同期させる手段として機能し、音声信号を遅延させることで画像処理に伴う画像信号の遅延を補償するようなシステムに適用される。しかも、ここで受信される画像遅延情報は、画像処理装置で実行中の画像処理による画像信号の遅延量を反映しており、常時、適正なリップシンクが可能である。

本発明の第１の音声処理装置の一態様では、前記画像処理装置とは別体として構成される。

この態様によれば、音声処理装置は画像処理装置とは別途構成されている。但し、本発明の音声処理装置は、画像処理装置との間で画像遅延情報のやり取りが可能なために、音声処理装置によるオーディオディレイを利用したリップシンクが可能である。

本発明の第１の音声処理装置の他の態様では、前記画像処理装置が、少なくとも前記画像信号及び前記音声信号が供給される第１伝送路から前記音声信号を取得すると共に、前記音声取得手段は、前記第１伝送路から前記音声信号を取得し、前記受信手段は、前記映像処理装置との間に介在する第２伝送路から前記画像遅延情報を受信する。

この態様によれば、音声処理装置は、第１伝送路から音声信号を取得する。ここでいう「第１伝送路」及び「第２伝送路」は、本発明の画像処理装置における第１伝送路及び第２伝送路と同義である。

従って、本発明の画像処理装置の項で説明したように、画像遅延情報の送受は、第２伝送路により画像処理装置と音声処理装置との間で直接行われるために、第１伝送路に適用されるインターフェイス形式の自由度を犠牲にすることなく画像遅延情報の送受を簡便かつ確実に実現することができる。尚、このように第１伝送路とは別に第２伝送路を設定する装置構成は、汎用性が高いという利点を有している。

本発明の第１の音声処理装置の他の態様では、前記遅延手段は、前記受信手段が前記画像遅延情報を受信する度に前記受信された画像遅延情報に基づいて前記音声信号の遅延量を更新する。

この態様によれば、音声信号の遅延に利用する画像遅延情報は、画像処理装置から受信する度に更新されるので、常に適正なリップシンクが可能となる。

本発明の第１の音声処理装置の他の態様では、前記画像遅延情報の送信を要求する送信要求を、前記画像処理装置に送出する第１送信手段を更に備える。

この態様によれば、音声処理装置は、自ら画像処理装置に送信要求することで画像遅延情報を能動的に取得する。そのため、画像処理装置と音声処理装置とが連動して遅延情報を管理するシステムを構築することができる。

本発明の第１の音声処理装置の他の態様では、前記実行中の又は実行しようとする音声処理に伴って生じる前記音声信号の遅延量を含んだ音声遅延情報を生成する音声遅延情報生成手段を更に備え、前記遅延手段は、前記音声遅延情報にも基づいて前記音声信号を遅延させる。

この態様によれば、音声処理装置は、最終的な画像音声の同期手段として画像遅延情報だけでなく音声遅延情報にも基づいてリップシンクを行う。

現状では、画像信号の遅延のほうが大きいものの、実際には、音声処理に伴い音声信号にも多少の遅延が生じる。即ち、音声処理においても上述した画像処理と同様、音声信号がアナログかディジタルか等に応じて、その遅延量が変わることがある。こうした変動値である音声信号の遅延量の取得、更にはこの遅延量を含む情報（即ち、音声遅延情報）の生成が、音声処理と並行して行われる。即ち、“音声処理装置における、音声信号の現在の遅延量又はこれから実行される処理に伴う遅延量”が取得される。

このように、画像処理装置における画像遅延情報と音声処理装置における音声遅延情報との両方を考慮することで、画像信号と音声信号の時間ずれをより正確に補償することができ、適正なリップシンクが可能となる。

本発明の第１の音声処理装置の他の態様では、前記画像遅延情報は、前記画像処理の実行状況を示す処理状況情報を含む。

この態様によれば、画像遅延情報として、画像処理装置の処理状況情報を知ることができる。この場合の音声処理装置は、上述のような画像処理の実況が伝わることで、音声信号の遅延に係る処理を的確に行うことが可能となる。

本発明の第１の音声処理装置の他の態様では、前記画像遅延情報は、少なくとも前記画像信号の入出力経路を識別するための識別情報を含む。

この態様によれば、画像処理装置より、画像信号の遅延に関する情報と共に、入出力経路を識別するための情報が受信される。尚、画像処理装置においても音声信号の入出力が行われる場合には、この音声信号に関する識別情報もまた受信されてよい。

このように、音声処理装置と画像処理装置とが画像遅延情報の付加情報として識別情報をやり取りするようにすれば、音声処理装置は、画像処理装置内の信号入出力経路に対応する画像遅延情報を取得することができる。その結果、この音声処理装置における音声信号の遅延に係る遅延量の精度を高めることが可能となる。

また、この場合の音声処理装置は、こうした識別情報を画像処理装置に対する遅延情報取得要求につけて遅延情報を問い合わせることで、適切な入出力端子同士を接続し各信号が伝送されているか否かを判断することも可能となる。例えば、ＤＶＤプレーヤ等の信号源となる画像音声供給装置の映像出力端子がアナログケーブルのみで画像処理装置に接続され、画像処理装置はＨＤＭＩでしかディスプレイに接続されていない場合などで、画像処理装置からディスプレイへの画像信号のための接続はアナログケーブルで接続するようにユーザへ促すことが可能となる。

本発明の第２の音声処理装置は上記課題を解決するために、画像信号と該画像信号に対して時系列的な対応関係にある音声信号とを供給用の信号処理後に供給する画像音声供給装置から、前記音声信号を取得する音声取得手段と、前記取得された音声信号に、出力用の音声処理を施す音声処理手段と、前記画像音声供給装置から送出される、前記実行中の又は実行しようとする信号処理に伴って生じる前記画像信号及び音声信号の少なくとも一方の遅延量を含む信号遅延情報を受信する受信手段と、前記画像信号と前記音声信号との時間差を補償するために前記受信された信号遅延情報に基づいて前記音声信号を遅延させる遅延手段とを備える。

本発明の第２の音声処理装置によれば、音声処理装置は、画像と音声を最終的に同期させる手段として、画像音声供給装置における信号遅延情報に基づいてリップシンクを行う。ここで、「画像音声供給装置」は、画像処理装置及び音声処理装置に対する信号供給源であり、画像信号及び音声信号を、圧縮等の供給用の信号処理の後に供給するように構成されている。また、「供給用の信号処理」とは、表示パネルやスピーカ等のＡＶ機器を駆動させるために、画像信号及び音声信号を記録媒体から再生して、画像処理装置及び音声処理装置に供給するために施す処理を指す。

この供給用の信号処理においても、画像信号、音声信号には処理内容に応じて遅延が生じる（生じない場合もある）。そこで、音声処理装置は、画像音声供給装置が「信号遅延情報」として送出する、信号処理に伴って生じる画像信号ないし音声信号の遅延量を含む情報を受信する。信号遅延情報は、画像音声供給装置にて現在実行中の、又はこれから実行されようとする信号処理に係る遅延情報である。尚、信号遅延情報では、画像信号の遅延量と音声の遅延量との夫々を個別に取り扱ってもよいし、両者の差分を取り扱ってもよい。

このように本発明では、信号遅延情報を考慮することで、画像信号と音声信号の時間ずれを正確に導き出すことができ、適正なリップシンクを常時、自動で行うことが可能となる。

本発明の第２の音声処理装置の一態様では、前記画像音声供給装置とは別体として構成される。

この場合の作用及び効果は、第１の音声処理装置を画像処理装置とは別体として構成した場合と同様である。即ち、画像音声供給装置との間で画像遅延情報のやり取りが可能なために、音声処理装置によるオーディオディレイを利用したリップシンクが可能である。

本発明の第２の音声処理装置の他の態様では、前記画像音声供給装置が、前記画像信号及び前記音声信号を前記第１伝送路に供給すると共に、前記音声取得手段は、前記第１伝送路から前記音声信号を取得し、前記受信手段は、前記映像音声供給装置との間に介在する第３伝送路から前記信号遅延情報を受信する。

この態様によれば、音声処理装置は、第１伝送路から音声信号を、第３伝送路から信号遅延情報を夫々取得する。ここでいう「第１伝送路」は、本発明の画像処理装置における第１伝送路と同義である。また、「第３伝送路」は、画像音声供給装置から音声処理装置への信号遅延情報の供給用に確立される伝送路であり、本発明の画像処理装置における第２伝送路と同様、第１伝送路とは別にインターフェイス形式が設定されるが、実際には第１伝送路の一部として構築されても構わない。

この場合、信号遅延情報の送受は、第３伝送路により画像音声供給装置と音声処理装置との間で直接行われる。このように、前述した第２伝送路と同様の考え方に基づいて第３伝送路を設定するようにしたので、第１伝送路に適用されるインターフェイス形式の自由度を犠牲にすることなく遅延情報の送受を簡便かつ確実に実現でき、装置構成の汎用性が高いという利点がある。

本発明の第２の音声処理装置の他の態様では、前記遅延手段は、前記受信手段が前記遅延情報を受信する度に前記受信された遅延情報に基づいて前記音声信号の遅延量を更新する。

この態様によれば、音声信号の遅延に利用する遅延情報は、画像音声供給装置から受信する度に更新されるので、常に適正なリップシンクが可能となる。

本発明の第２の音声処理装置の他の態様では、前記遅延情報の送信を要求する送信要求を、前記画像音声供給装置に送出する第２送信手段を更に備える。

この態様によれば、音声処理装置は自ら画像音声供給装置に送信要求することで、遅延情報を能動的に取得する。そのため、画像音声供給装置と音声処理装置とが連動して遅延情報を管理するシステムを構築することができる。

本発明の第２の音声処理装置の他の態様では、前記実行中の又は実行しようとする音声処理に伴って生じる前記音声信号の遅延量を含んだ音声遅延情報を生成する音声遅延情報生成手段を更に備え、前記遅延手段は、前記音声遅延情報にも基づいて前記音声信号を遅延させる。

この態様によれば、音声処理装置は、最終的な画像音声の同期手段として信号遅延情報だけでなく音声遅延情報にも基づいてリップシンクを行う。よって、画像信号と音声信号の時間ずれをより正確に補償することができ、適正なリップシンクが可能となる。

本発明の第２の音声処理装置の他の態様では、前記信号遅延情報は、前記信号処理の実行状況を示す処理状況情報を含む。

この態様によれば、信号遅延情報として、画像音声供給装置の処理状況情報を知ることができる。ここでいう「処理状況情報」は、この画像音声供給装置の動作状況を表す。

画像音声供給装置は、音声処理装置からの要求に応じて信号遅延情報を応答するような場合、動作状態等によっては、そうした情報を送り返せない場合がある。例えば、装置内の有効な入力端子が切り換えられると、内部の信号処理経路が準備されるが、この時点で要求を受信しても、画像音声供給装置は、少なくとも画像信号ないし音声信号を実際に受信してその信号形式が判別されるまでは遅延量を確定することができないので、この処理に対応する信号遅延情報を返すことができないことがある。

この場合、要求の受領が拒否されてしまうと、音声処理装置側では何故拒否されたのかが分からなくなるため、次にリトライすべきか処理を中断すべきかの判断ができないことになる。

これに対し、本態様のように画像音声供給装置が処理状況情報を送ることができるようにすれば、音声処理装置は、上述のような信号処理の実況が伝わることで、音声信号の遅延に係る処理を的確に行うことが可能となる。

本発明の第２の音声処理装置の他の態様では、前記信号遅延情報は、前記画像信号及び前記音声信号の少なくとも一方の入出力経路を識別するための識別情報を含む。

この態様によれば、画像音声供給装置より、画像信号及び音声信号（の少なくとも一方）の遅延に関する情報と共に、これらの入出力経路を識別するための情報が受信される。

例えば、ＤＶＤプレーヤ等の画像音声供給装置は、通常、複数種類の画像出力端子及び音声出力端子を備えている。これらの端子は、音声出力に対してはアナログやIEC60958、IEEE1394等に対応しており、画像出力に対してはアナログ、ＨＤＭＩ等に対応している。音声出力を例にとると、画像音声供給装置は、出力端子より先の接続には関係なく、アナログ、IEC60958等の複数の出力端子から音声信号を同時に出力することができる。その際、出力タイミングのずれることで、端子間で出力信号の遅延量が異なってくることがある。具体的には、画像音声供給装置側において圧縮音声をデコードしてアナログ出力する場合と、IEC60958でディジタル出力する場合がそれに対応する。この場合に生じる遅延差まで考慮するのであれば、音声信号の出力経路（具体的には、出力端子）を指定しなければ、画像音声供給装置は、音声処理装置に知らせるべき遅延量を確定することができない。

これに対し、音声処理装置と画像音声供給装置とが信号遅延情報の付加情報として識別情報をやり取りするようにすれば、音声処理装置は、画像音声供給装置内の信号入出力経路に対応する信号遅延情報を取得することができる。その結果、この音声処理装置における音声信号の遅延に係る遅延量の精度を高めることが可能となる。

また、この場合の音声処理装置は、こうした識別情報を画像音声供給装置に対する遅延情報取得要求につけて信号遅延情報を問い合わせることで、適切な入出力端子同士を接続し各信号が伝送されているか否かを判断することも可能となる。例えば、ＤＶＤプレーヤ等の信号源となる画像音声供給装置の映像出力端子がアナログケーブルのみで画像処理装置に接続され、画像処理装置はＨＤＭＩでしかディスプレイに接続されていない場合などで、画像処理装置からディスプレイへの画像信号のための接続はアナログケーブルで接続するようにユーザへ促すことが可能となる。

（画像音声供給装置）
本発明の画像音声供給装置は上記課題を解決するために、画像信号と該画像信号に対して時系列的な対応関係にある音声信号とが記録された記録媒体から前記画像信号及び音声信号を再生する再生手段と、前記再生された画像信号及び音声信号に対して夫々の信号形式に応じた処理手順で供給用の信号処理を施す信号処理手段と、前記信号処理後の画像信号及び音声信号の夫々を、前記画像信号に表示用の画像処理を施す画像処理装置及び前記音声信号に出力用の音声処理を施す音声処理装置に供給する供給手段と、前記実行中の又は実行しようとする信号処理に伴って生じる前記画像信号及び前記音声信号の少なくとも一方の遅延量を含む信号遅延情報を生成する信号遅延情報生成手段と、前記信号遅延情報を、前記音声処理装置に送出する送出手段とを備える。

本発明の画像音声供給装置によれば、その動作時には、ＤＶＤ等の記録媒体から画像信号及び音声信号が再生され、再生された画像信号及び音声信号に対して夫々の信号形式に応じた処理手順で供給用の信号処理が施される。そして、処理後の画像信号及び音声信号は、画像処理装置及び音声処理装置の夫々に供給される。前述のように、この「供給用の信号処理」においても、信号形式に応じて圧縮等の処理手順が異なる等の理由で、処理内容に応じて画像信号ないし音声信号の遅延量（即ち、信号遅延量）が異なる可能性がある。ここでいう「画像信号及び音声信号の少なくとも一方の遅延量」とは、上記信号処理に伴う画像信号又は音声信号の遅延の指標量であり、例えば、画像音声供給装置内における画像信号又は音声信号の各種処理の前後での時間遅れや、画像信号又は音声信号がこの画像音声供給装置に入出力することで生じる時間ずれ、或いは信号処理後の画像信号と音声信号との相対的遅延量として表現できる。

本発明の画像音声供給装置では、こうした時間的変動値である信号遅延量、或いは更に他の情報をも含めた情報の取得ないし生成が、信号処理と並行して、或いは信号処理に先立って実行される。即ち、“画像信号供給装置における、現在の信号遅延量又はこれから実行される処理に伴う信号遅延量”が取得ないし生成される。前述したように、遅延量は信号処理における処理手順によっても変化することから、信号遅延情報は、遅延する画像信号ないし音声信号と処理手順との対応関係において把握ないし生成されることが望ましい。

こうして生成された信号遅延情報は、この画像音声供給装置から音声信号が供給される音声処理装置に対して送出される。本発明では、このように音声処理装置に信号遅延情報を与えることから、信号遅延情報に応じて音声信号を遅延させるように構成された音声処理装置（即ち、本発明の音声処理装置）を適用することによってリップシンクの自動調整が実現可能である。

言い換えると、本発明の画像音声供給装置は、音声処理装置を最終的な画像音声の同期手段とし、例えばオーディオディレイ用メモリ等を使って音声信号を遅延させることで、上記信号処理に伴う画像信号の遅延を補償するようなシステムに適用される。この画像音声供給装置は、音声処理装置に対して“現在の信号遅延情報”を送出することから、常時、適正なリップシンクが可能である。

このように、本発明の画像音声供給装置は、通常の画像音声供給装置に対し、(1) 信号処理手順と対応する信号遅延情報を信号処理と並行して生成し、(2) 信号遅延情報を音声処理装置に向けて送出するような改変を施すことで実現される。

本発明の画像音声供給装置の一態様では、前記音声処理装置とは別体として構成されている。

この態様によれば、音声処理装置は画像音声供給装置とは別途構成されている。但し、本発明の音声処理装置は、画像音声供給装置との間で信号遅延情報のやり取りが可能なために、音声処理装置によるオーディオディレイを利用したリップシンクが可能である。

本発明の画像音声供給装置の他の態様では、前記供給手段は、前記信号処理後の前記画像信号及び前記音声信号の夫々を、前記画像処理装置及び前記音声処理装置の夫々との間に介在する第１伝送路に供給し、前記送出手段は、前記音声処理装置に向けて前記信号遅延情報を前記音声処理装置との間に介在する第３伝送路に送出する。

この態様によれば、画像音声供給装置は、第１伝送路に画像信号及び音声信号を供給する一方で、第３伝送路に信号遅延情報を送出する。ここでいう「第１伝送路」及び「第３伝送路」は、本発明の第２の音声処理装置における第１伝送路及び第３伝送路と同義である。

この場合、信号遅延情報の送受は、第３伝送路により画像音声供給装置と音声処理装置との間で直接行われる。このように、前述した第２伝送路と同様の考え方に基づいて第３伝送路を設定するようにしたので、第１伝送路に適用されるインターフェイス形式の自由度を犠牲にすることなく遅延情報の送受を簡便かつ確実に実現でき、装置構成の汎用性が高いという利点がある。

本発明の画像音声供給装置の他の態様では、前記信号遅延情報生成手段は、前記信号処理に伴って生じる前記画像信号及び前記音声信号の少なくとも一方の遅延量を含む格納情報を前記処理手順と対応させて予め格納する格納手段と、前記信号処理に際して前記実行中の又は実行しようとする処理手順を、前記少なくとも一方について判別する判別手段と、前記判別された処理手順に対応する前記格納情報を、前記格納手段を参照して選択する選択手段とを含み、前記信号遅延情報を、前記選択された格納情報を含む情報として生成する。

この態様によれば、画像音声供給装置には、処理手順に対応させた画像信号ないし音声信号の少なくとも一方の遅延量（即ち、信号遅延量）が予め格納されている。即ち、この画像音声供給装置には、本発明の画像処理装置と同様の考え方に基づいて、信号遅延量を含んでおり、処理手順毎にパターン化された情報が、格納情報として格納される。実際の格納情報は、例えば、信号遅延量と処理手順とのテーブルなどである。

そして、信号処理に際して、実行中の又は実行しようとする処理手順が判別され、判別された処理手順に対応する格納情報が格納手段から選択される。このとき選択された格納情報における信号遅延量は、まさに“現在の信号遅延量又はこれから実行しようとする信号処理に伴う信号遅延量”であり、最終的には、これを含むような信号遅延情報が生成される。よって、常時、適正なリップシンクが可能である。

尚、この態様では、前記判別手段の判別結果に基づいて前記処理手順の切り替わりを検知し、前記選択手段及び送出手段を、前記切り替わり後の処理手順と対応する前記信号遅延情報を送出するように制御する第３制御手段を更に備えるようにしてもよい。

この場合、信号遅延情報は、画像音声供給装置内における処理手順の切り替わりをきっかけとして送出される。処理手順は、再生される画像信号ないし音声信号の形式が変わることで切り替わり、それに応じて画像信号ないし音声信号の遅延量（即ち、信号遅延量）も変化する。そのため、この信号遅延量の変化に即応して音声処理装置側の信号遅延情報を更新することができ、常に適正なリップシンクが可能である。

本発明の画像音声供給装置の他の態様では、前記音声処理装置から送られてくる前記信号遅延情報の送信要求を受信する受信手段と、前記送信手段を、前記送信要求に応じて前記信号遅延情報を送出するように制御する第４制御手段とを更に備える。

この態様によれば、遅延情報は、音声処理装置から送信要求を受け取ることをきっかけとして送出される。この場合の画像音声供給装置は、信号遅延情報の送出タイミングの少なくとも一部を音声処理装置に制御される。そのため、画像音声供給装置と音声処理装置とが連動して信号遅延情報を管理するシステムを構築することができる。

本発明の画像音声供給装置の他の態様では、前記信号遅延情報生成手段は、前記信号遅延情報に、前記信号処理の実行状況を示す処理状況情報を含める。

この態様によれば、音声処理装置に処理状況情報を知らせることができる。「処理状況情報」は、この画像処理装置の動作状況を表す。このように画像音声供給装置が処理状況情報を送ることができるようにすれば、信号遅延情報を受信する音声処理装置では、上述のような場合の状況判断が可能になる。その結果、音声処理装置における音声信号の遅延に係る処理を的確に実行せしめることができる。

本発明の画像音声供給装置の他の態様では、前記信号遅延情報生成手段は、前記信号遅延情報に、前記画像信号及び前記音声信号の少なくとも一方の入出力経路を識別するための識別情報を含める。

この態様によれば、画像音声供給装置は、画像信号及び音声信号（の少なくとも一方）の遅延に関する情報と共に、これらの入出力経路を識別するための情報を送出する。入出力経路を識別するための情報とは、具体的には、画像信号或いは音声信号の入出力方向、或いは入出力に際して用いる端子を識別する情報等である。

これに対し、音声処理装置と画像音声供給装置とが信号遅延情報の付加情報として識別情報をやり取りするようにすれば、音声処理装置に、画像音声供給装置内の信号入出力経路に対応する信号遅延情報を取得させることができる。その結果、音声処理装置における音声信号の遅延に係る遅延量の精度を高めることが可能となる。

（画像音声処理システム）
本発明の第１の画像音声処理システムは上記課題を解決するために、画像信号と該画像信号に対して時系列的な対応関係にある音声信号とが少なくとも供給される第１伝送路と、前記第１伝送路から取得される前記画像信号に対して表示用の画像処理を施す画像処理装置と、前記第１伝送路から取得される前記音声信号に出力用の音声処理を施す音声処理装置と、前記画像処理装置と前記音声処理装置との間に介在する第２伝送路とを含み、前記画像処理装置と前記音声処理装置とは夫々、前記画像信号と前記音声信号とを前記第１伝送路から取得すると共に、前記画像処理装置は、前記実行中の又は実行しようとする画像処理に伴って生じる前記画像信号の遅延量を含んだ画像遅延情報を生成し、該画像遅延情報を前記音声処理装置に向けて前記第２伝送路に送出し、前記音声処理装置は、前記第２伝送路を介して前記画像処理装置から送出された前記画像遅延情報を受信し、前記画像信号と前記音声信号との時間差を補償するために前記受信された画像遅延情報に基づいて前記音声信号を遅延させる。

本発明の第１の画像音声処理システムによれば、画像処理装置及び音声処理装置が、第１伝送路から画像信号及び音声信号を夫々取得すると共に、第２伝送路を介して画像遅延情報の送受を行うように構成されている。但し、この場合の画像処理装置と音声処理装置は夫々、１つ又は複数である。

このシステムでは、音声処理装置を最終的な画像音声の同期手段として用い、音声信号を遅延させることで画像処理に伴う画像信号の遅延が補償される。この音声信号の遅延については、画像処理装置から音声処理装置に送出される画像遅延情報に基づいて遅延量等が設定される。前述のように、この画像遅延情報は、画像処理装置で実行中の又は実行しようとする処理手順に対応していることから、このシステムでは、常時、リップシンクの自動調整を適正に実行可能である。

また、画像処理装置から音声処理装置への画像遅延情報の送受は、第２伝送路上で行うことから、第１伝送路のインターフェイス形式の自由度を犠牲にすることなく、画像遅延情報の送受を極めて簡便に実現できる。一方、本発明の画像処理装置や音声処理装置には、通常の構成に対して、画像遅延情報のやり取りに関しては、第２伝送路に適合するインターフェイスを実装させればよく、それほど大きな負担なく実現できるし、画像信号や音声信号の入力形式を問わないことから、構成上、汎用性が高いという利点がある。

本発明の第２の画像音声処理システムは上記課題を解決するために、画像信号と該画像信号に対して時系列的な対応関係にある音声信号とが少なくとも供給される第１伝送路と、前記画像信号と前記音声信号とを供給用の信号処理を施して前記第１伝送路に供給する画像音声供給装置と、前記第１伝送路から取得される前記音声信号に出力用の音声処理を施す音声処理装置と、前記画像音声供給装置と前記音声処理装置との間に介在する第３伝送路とを含み、前記画像音声供給装置は、前記信号処理後の画像信号及び音声信号の夫々を前記第１伝送路に供給すると共に、前記実行中の又は実行しようとする信号処理に伴って生じる、前記画像信号及び前記音声信号の少なくとも一方の遅延量を含んだ信号遅延情報を生成し、該信号遅延情報を前記第３伝送路に送出し、前記音声処理装置は、前記第１伝送路を介して前記音声信号を取得し、該取得した音声信号に出力用の音声処理を施すと共に、前記第３伝送路を介して前記信号遅延情報を受信し、前記受信された信号遅延情報に基づいて前記音声信号を遅延させる。

本発明の第２の画像音声処理システムによれば、画像音声処理システムは、第１伝送路に対して画像音声供給装置から信号が供給されるように構成される。そして、音声処理装置による音声信号の遅延（即ち、リップシンク）は、画像音声供給装置における画像信号ないし音声信号の遅延情報に基づいて行われる。そのため、常時、リップシンクの自動調整を適正に実行可能である。

また、この態様でも、第２伝送路と同様の考え方に基づいて第３伝送路を設定することで、第１伝送路に適用されるインターフェイス形式の自由度を犠牲にすることなく画像遅延情報の送受を簡便かつ確実に実現でき、構成上、汎用性が高いという利点がある。

（画像音声同期方法）
本発明の第１の画像音声同期方法は上記課題を解決するために、画像信号と該画像信号に対して時系列的な対応関係にある音声信号とが少なくとも供給される第１伝送路と、前記第１伝送路から取得される前記画像信号に対して表示用の画像処理を施す画像処理装置と、前記第１伝送路から取得される前記音声信号に出力用の音声処理を施す音声処理装置とを含むシステムにおいて前記画像信号と前記音声信号とを同期させるための画像音声同期方法であって、前記画像処理装置と前記音声処理装置との間に介在する第２伝送路を構築するステップと、前記実行中の又は実行しようとする画像処理に伴って生じる前記画像信号の遅延量を含んだ画像遅延情報を生成するステップと、
該取得された画像遅延情報を、前記音声処理装置に向けて前記第２伝送路に送出するステップと、前記画像処理装置と前記音声処理装置とが夫々前記第１伝送路から前記画像信号と前記音声信号とを取得するステップと、前記音声処理装置が、前記第２伝送路を介して前記画像処理装置から送出された前記画像遅延情報を受信するステップと、前記画像信号と前記音声信号との時間差を補償するために前記受信された画像遅延情報に基づいて前記音声信号を遅延させるステップとを含む。

本発明の第１の画像音声同期方法によれば、上述した本発明の第１の画像音声処理システムと同様の各種利益を享受することができる。尚、上述した本発明の画像処理装置及び本発明の第１の音声処理装置における各種態様に対応して、本発明の画像音声同期方法も各種態様を採ることが可能である。

本発明の第２の画像音声同期方法は上記課題を解決するために、画像信号と該画像信号に対して時系列的な対応関係にある音声信号とが少なくとも供給される第１伝送路と、前記画像信号と前記音声信号とを供給用の信号処理を施して前記第１伝送路に供給する画像音声供給装置と、前記第１伝送路から取得される前記音声信号に出力用の音声処理を施す音声処理装置と、前記画像音声供給装置と前記音声処理装置との間に介在する第３伝送路とを含むシステムにおいて前記画像信号と前記音声信号とを同期させるための画像音声同期方法であって、前記画像音声供給装置と前記音声処理装置との間に介在する第３伝送路を構築するステップと、前記実行中の又は実行しようとする信号処理に伴って生じる前記画像信号及び前記音声信号の少なくとも一方の遅延量を含んだ信号遅延情報を生成するステップと、該取得された信号遅延情報を、前記音声処理装置に向けて前記第３伝送路に送出するステップと、前記画像音声供給装置に、前記信号処理後の前記画像信号及び音声信号を前記第１伝送路に供給させるステップと、前記画像処理装置と前記音声処理装置とが夫々前記第１伝送路から前記画像信号と前記音声信号とを取得するステップと、前記音声処理装置が、前記第３伝送路を介して前記画像音声供給装置から送出された前記遅延情報を受信するステップと、前記画像信号と前記音声信号との時間差を補償するために前記受信された遅延情報に基づいて前記音声信号を遅延させるステップとを含む。

本発明の第２の画像音声同期方法によれば、上述した本発明の第２の画像音声処理システムと同様の各種利益を享受することができる。尚、上述した本発明の画像音声供給装置及び本発明の第２の音声処理装置における各種態様に対応して、本発明の画像音声同期方法も各種態様を採ることが可能である。

以上説明したように、本発明の画像処理装置によれば、画像遅延情報生成手段及び送出手段を備える。本発明の画像音声供給装置によれば、信号遅延情報生成手段及び送出手段を備える。更に、本発明の音声処理装置によれば、受信手段及び遅延手段を備える。従って、機器間の接続方式の違いにも柔軟に対応しつつリップシンクの常時自動調整が可能である。

本発明のこのような作用及び他の利得は次に説明する実施例から明らかにされる。

本発明の第１実施例に係る画像音声処理システムの構成を示すブロック図である。 第１実施例に係る画像音声供給装置（ＤＶＤプレーヤ）の構成を示すブロック図である。 第１実施例に係る画像処理装置及びディジタルＴＶの構成を示すブロック図である。 第１実施例に係る音声処理装置（ＡＶアンプ）の構成を示すブロック図である。 第１実施例に係る画像音声処理システムの動作手順を示すフローチャートである。 第１実施例に係る画像音声処理システムの動作手順を示すシーケンスである。 第１実施例に係る画像音声処理システムの動作手順の変形例を示すシーケンスである。 第１実施例に係る画像音声処理システムの動作手順の変形例を示すシーケンスである。 第２実施例に係る画像音声供給装置（ＤＶＤプレーヤ）の構成を示すブロック図である。 第２実施例に係る音声処理装置（ＡＶアンプ）の構成を示すブロック図である。 第２実施例に係る画像音声処理システムの動作手順を示すフローチャートである。 第２実施例に係る画像音声処理システムの動作手順を示すシーケンスである。 第２実施例に係る画像音声処理システムの動作手順の変形例を示すシーケンスである。 変形例に係る画像音声処理システム内で送受される“遅延情報取得要求”の構成を示すデータフォーマットである。 図１４のデータフォーマットのDELAY TIME Command フィールドにおける定義を示す表である。 図１４のデータフォーマットのsubfunction フィールドにおける定義を示す表である。 図１４のデータフォーマットにおける（video、及びaudioの）interface_informationフィールドの構成を示すデータフォーマットである。 図１７のデータフォーマットのinterface_type フィールドにおける定義を示す表である。 変形例に係る画像音声処理システム内で送受される“遅延情報取得応答”の構成を示すデータフォーマットである。 図１９のデータフォーマットのsignal_status フィールドにおける定義を示す表である。 図１４及び図１９のデータフォーマットを有する“遅延情報取得要求”及び“遅延情報取得応答”による画像音声処理システムの動作手順を示すシーケンスである。 Notify Commandのデータフォーマットを有する“遅延情報取得要求”及び“遅延情報取得応答”による画像音声処理システムの動作手順を示すシーケンスである。 変形例に係る画像音声処理システムの構成を示すブロック図である。 Status Commandのデータフォーマットを有する“遅延情報取得要求”及び“遅延情報取得応答”による、図２３の画像音声処理システムの動作手順を示すシーケンスである。 第３実施例に係る画像音声処理システムの構成を示すブロック図である。 第４実施例に係る画像音声処理システムの構成を示すブロック図である。 第５実施例に係る画像音声処理システムの構成を示すブロック図である。 第６実施例に係る画像音声処理システムの構成を示すブロック図である。 第７実施例に係る画像音声処理システムの構成を示すブロック図である。

符号の説明

１００…ＤＶＤプレーヤ、２００…画像処理装置、３００…ＡＶアンプ、４００…ディジタルＴＶ、５００…スピーカ、１１、１２…（画像音声伝送用の）ケーブル、２０…（遅延情報伝送用の）ケーブル、３０３…遅延バッファ、２０７…遅延情報メモリ、Ｔｄｄ…画像遅延情報、Ｔｄａ…音声遅延情報、Ｔｄｐ…信号遅延情報。

以下、本発明を実施するための最良の形態について実施例毎に順に図面に基づいて説明する。

以下、本発明の実施例及びその変形例について、図１から図１２を参照して説明する。

＜第１実施例＞
本発明の第１実施例について、図１から図６を参照して説明する。

＜画像音声処理システムの構成＞
先ず、第１実施例に係る画像音声処理システムの構成を、図１から図４を参照して説明する。図１は、本実施例における画像音声処理システムの構成を表している。図２、図３及び図４は夫々、この画像音声処理システムに適用される画像音声供給装置、画像処理装置及び音声処理装置の具体的構成例を表している。

図１において、本実施例における画像音声処理システムは、信号供給源として画像信号と音声信号を再生出力するＤＶＤプレーヤ１００と、画像信号と音声信号に各種の処理を施す画像処理装置２００及びＡＶアンプ３００と、画像音声を出力するディジタルＴＶ（ＤＴＶ）４００及びスピーカ５００とによって構築されている。このような画像音声処理システムは、例えばホームシアターとして具現化される。

ＤＶＤプレーヤ１００は、画像処理装置２００にケーブル１１を介して接続されると共に、ＡＶアンプ３００にケーブル１２を介して接続されている。ここでケーブル１１及び１２は、本発明の「第１伝送路」の一例として、ＤＶＤプレーヤ１００から画像処理装置２００及びＡＶアンプ３００の夫々に、画像信号及び音声信号を供給するために使用される。このような機能を有する配線を、ここではケーブル１１及び１２と総称する。また、画像処理装置２００は本発明の「画像処理装置」の一例であり、ＡＶアンプ３００は本発明の「音声処理装置」の一例である。

ケーブル１１及び１２の種類は特に限定されず、ケーブル１１はＤＶＤプレーヤ１００と画像処理装置２００とのインターフェイス形式に応じて適宜に選択され、ケーブル１２はＤＶＤプレーヤ１００とＡＶアンプ３００とのインターフェイス形式に応じて適宜に選定される。例えば、ケーブル１１としては、アナログビデオ信号に対応する各種インターフェイス規格、又はディジタルビデオ信号に対応するIEEE1394、ＤＶＩ（Digital Visual Interface）或いはＨＤＭＩ（High-Definition Multimedia Interface）等の規格に準拠する配線が用いられ、ケーブル１２としては、アナログオーディオ信号に対応するインターフェイス規格、又はIEEE1394、IEC60958等に準拠する配線が用いられる。ケーブル１１及び１２は、機器間で受け渡し可能な信号形式等に応じて、夫々１本又は複数本で構成されてよい。

また、画像処理装置２００とＤＴＶ４００との間はケーブル１１Ａで接続されており、ＡＶアンプ３００とスピーカ５００との間はケーブル１２Ａで接続されている。ケーブル１１Ａ及び１２Ａもまた、相互のインターフェイス形式に応じて適宜に選択されてよい。ＤＴＶ４００には、例えばＰＤＰや液晶プロジェクタ等が用いられ、スピーカ５００には、例えば、５．１チャンネルサラウンドシステムを組むための５つのスピーカとサブウーファーが用いられる。

本実施例では、更に、画像処理装置２００とＡＶアンプ３００との間がケーブル２０で接続されている。ケーブル２０は、本発明の「第２伝送路」の一例であり、画像遅延情報Ｔｄｄを、画像処理装置２００からＡＶアンプ３００に伝送するために設けられている。その詳細については後述するが、画像処理装置２００は、その動作時に、本発明の特徴的な方法で装置内部における画像信号の遅延に関する情報（即ち、画像遅延情報Ｔｄｄ）を選択し、ケーブル２０を介してＡＶアンプ３００に送出するように機能する。ＡＶアンプ３００は、画像処理装置２００とは別体であるから、システムが通常の構成であれば画像遅延情報Ｔｄｄは知り得ない。ＡＶアンプ３００は、画像遅延情報Ｔｄｄを受信すると、この画像遅延情報Ｔｄｄ及び自身が保持する音声遅延情報Ｔｄａに基づいて、遅延バッファ３０３による音声信号の遅延を遂行するように構成されている。

即ち、このシステムでは、ＡＶアンプ３００を最終的な画像音声の同期手段として用い、上記の音声信号の遅延を画像音声出力のための各処理と同時並行して行うことで、画像処理に伴う画像信号の遅延が補償される。尚、ケーブル２０としては、例えばIEEE1394、ＤＶＩ或いはＨＤＭＩ等に準拠する配線が用いられる。

ケーブル２０は、このようにケーブル１１、１２とは別途設けられることで、ケーブル１１及び１２のインターフェイス形式を全く考慮せずに済むという利点を有している。前述したように、実際の画像音声処理システムでは、ＤＶＤプレーヤ１００、画像処理装置２００、及びＡＶアンプ３００の規格や仕様が夫々異なる場合が多く、信号伝送には種々の態様が考えられる。本実施例では、そのような実態に即して、ケーブル２０による伝送路を画像信号や音声信号を伝送するための伝送路（ケーブル１１及び１２）とは別に確立することで、機器相互間の接続自由度を従来どおり保証している。

無論、ケーブル１１及び１２がIEEE1394やＨＤＭＩ等に対応している場合などには、ケーブル１１又は１２を介して画像処理装置２００からＡＶアンプ３００に画像遅延情報Ｔｄｄを伝送させることも可能ではあるが、画像遅延情報Ｔｄｄの信号形式、これら各機器相互間のインターフェイス形式を予め規制しておく必要があり、汎用性に欠ける。因みに、最近ではディジタルチューナを搭載した画像処理装置の殆どがIEEE1394端子を備えており、高級ＡＶアンプもIEEE1394端子を備えたものが増えてきている。従って、両者に画像遅延情報Ｔｄｄに関するＡＶ／Ｃコマンドを実装させ、そのうえで両者間をIEEE1394により接続すれば、既存のインフラに多少の改変を加えるだけで、ケーブル２０による伝送路を実現することができる。

ところで、以上では、システムの機能を総括的に説明するために、例えば「画像信号」のように「信号」をアナログ、ディジタルの区別なく情報といった意味で用いてきたが、以下ではアナログ信号とディジタル信号の両方を区別して扱うことがある。そこで、特にディジタル信号である場合には「データ（例えば、画像データ）」と呼び、適宜に区別をする。

図２において、ＤＶＤプレーヤ１００は、画像データ及び音声データを再生するＤＶＤ再生部１０１と、画像データをＭＰＥＧ方式に従って符号化する符号化部１０２と、符号化された画像データとＤＶＤ再生部１０１からの音声データとをパケット多重化してストリームデータ（ＭＰＥＧ−ＴＳ）を生成するマルチプレクサ（ＭＵＸ）１０３と、音声データをＰＴＳ、ＤＳＴで指定された時刻まで遅延させてＭＵＸ１０３から出力されるストリームデータに同期させたデータ（Ａ＆Ｍ）を生成する遅延バッファ１０４と、IEEE1394方式のケーブル１１及び１２に伝送するためのインターフェイス（Ｉ／Ｆ）部１０５と、ＣＰＵ等からなり、後述の遅延バッファ１０４に対する遅延時間設定等を行うと共に全体を統括制御する制御部１０６と、制御部１０６を外部から制御するための操作部１０７と、動作状況や操作用のコマンド等を表示するための表示部１０８と、アナログ出力を行うために画像データ及び音声データにディジタル・アナログ（ＤＡ）変換を施すＤＡ変換器（ＤＡＣ）１０９とを備えている。尚、ＤＶＤプレーヤ１００には、ケーブル１１及び１２の夫々との接続を行うためのアダプタ等の外部接続部１５０が、複数実装されている。

図３において、画像処理装置２００は、IEEE1394方式のケーブル１１又は２０を介してＭＰＥＧ−ＴＳ方式で伝送されてきたデータを受信するためのＩ／Ｆ部２０１と、画像ストリーム及び音声ストリームから画像ストリームを抽出するデマルチプレクサ（ＤＥＭＵＸ）２０２と、ＭＰＥＧ方式で符号化されている画像ストリームを復号化して画像データを生成する復号化部２０３と、画像データに画像処理を施す画像処理部２０４と、アナログ入力される画像信号にアナログ・ディジタル（ＡＤ）変換を施すＡＤ変換器２０５と、ＣＰＵ等からなり、全体を統括制御する制御部２０６と、画像遅延情報Ｔｄｄを格納する遅延情報メモリ２０７と、制御部２０６を外部から制御するための操作部２０８と、動作状況や操作用のコマンド等を表示するための表示部２０９とを備える。また、画像処理装置２００には、ケーブル１１及び２０の夫々との接続を行うためのアダプタ等の外部接続部２５０が、複数実装されている。

ここでは、この外部接続部２５０が、本発明の「画像取得手段」の一具体例に対応している。また、ＤＥＭＵＸ２０２、ＭＰＥＧ復号化部２０３、画像処理部２０４及びＡＤ変換器２０５が、本発明の「画像処理手段」の一具体例に対応している。

画像処理部２０４は、画像データに対し、例えば３次元Ｙ／Ｃ分離、ノイズリダクション、輪郭補正、解像度変換等の高画質化処理と、その前処理を行うように構成されている。但し、画像処理部２０４では、処理対象とする画像信号の形式に応じて処理内容が異なる。一例を挙げると、通常のテレビジョン信号のようなコンポジット・ビデオ信号であればＹ／Ｃ分離や色信号の復調が必要だが、コンポーネント・ビデオ信号であれば、既にＲＧＢに変換された状態であるから、直接ディジタル高画質化処理だけを施せばよい。

また、アナログで取得されるのと、ＭＰＥＧ−ＴＳとして取得されるのでも、その後の処理が異なる。このように、画像処理装置２００では、画像信号の形式に応じて処理内容が変わる。そして、処理内容が異なると、それに伴って遅延量も変わってくるため、結局、画像処理装置２００全体における遅延量は、画像信号の形式に応じて複数存在することになる。

本発明の「格納手段」の一例たる遅延情報メモリ２０７には、そのような処理手順に応じて分かれた複数の画像遅延情報Ｔｄｄが、例えばテーブル等の処理手順と対応した状態で予め格納される。画像遅延情報Ｔｄｄは後述のリップシンクの指標となる情報であり、この画像処理装置２００内における画像信号の各種処理の前後での時間遅れ又は画像信号が画像処理装置２００に入出力することで生じる時間ずれ、或いは音声信号に対する相対的時間遅れ等として、適宜に設定することができる。例えば、画像処理部２０４における遅延が最も顕著であるような場合には、画像処理部２０４における画像処理手順に応じた遅延量を、画像遅延情報Ｔｄｄとすることができる。

また、画像処理情報Ｔｄｄは、完全に処理内容と１対１に対応するものであってもよいが、遅延量の大きさを段階毎に区切っておいてもよい。その場合、画像遅延量Ｔｄｄをどこまで細かく区切るかは設計事項であり、処理内容やリップシンクの精度等に応じて適宜に設定してよい。尚、遅延が無視できる場合は、その後の制御方法に応じて画像処理情報Ｔｄｄとして遅延量をゼロに設定しておいたり、遅延格納情報Ｔｄｄを送出しないように設定したりしてもよい。

制御部２０６は、通常の各部の統括機能に加えて、画像処理装置２００の動作に際して、画像信号の経路から実行中の処理手順を判別する機能と、判別された処理手順に対応する画像遅延情報Ｔｄｄを遅延情報メモリ２０７から選択する機能とを有している。更に、制御部２０６は、選択した画像遅延情報Ｔｄｄを、Ｉ／Ｆ部２０１を通じてケーブル２０に送出する機能を有している。

これら一連の判別、選択、送出動作は、制御部２０６自身のクロックに基づいて定期的に実行されてもよいし、判別動作により信号経路の変化（即ち、処理手順の切り替り）を検知し、これをトリガとして選択、送出動作を行うようにしてもよい。これらの各動作は、その他のタイミング制御に基づいて実行されてもかまわない。即ち、ここでは、制御部２０６が本発明の「判別手段」、「選択手段」の一具体例であり、制御部２０６とＩ／Ｆ部２０１とが、本発明の送出手段の一具体例を構成している。

図３において、ＤＴＶ４００は、画像処理装置２００からケーブル１１Ａを介して入力される画像データを駆動信号に変換する駆動回路３０４と、駆動回路４０１により駆動される表示パネル部４０２とを備える。

尚、ここでは、画像処理装置２００とＤＴＶ４００とを別体として設けるようにしたが、画像処理装置２００及びＤＴＶ４００に代えて、これらが一体化された構成の表示装置を設けることもできる。

図４において、AVアンプ３００は、IEEE1394方式のケーブル１１を介してＡ＆Ｍ方式で伝送されてきたデータを受信するためのＩ／Ｆ部３０１と、アナログ入力される音声信号にアナログ・ディジタル（ＡＤ）変換を施すＡＤ変換器３０２と、音声データを遅延させる遅延バッファ３０３と、音声データに音声処理を施す音声処理部３０４と、音声データをアナログ変換するＤＡ変換器（ＤＡＣ）３０５と、音声信号の成分等を制御する音声制御部３０６と、ＣＰＵ等からなり、遅延バッファ３０３に対する遅延時間設定等を行うと共に、全体を統括制御する制御部３０７と、制御部３０７を外部から制御するための操作部３０８と、動作状況や操作用のコマンド等を表示するための表示部３０９とを備える。また、ＡＶアンプ３００には、ケーブル１２及び２０の夫々との接続を行うためのアダプタ等の外部接続部３５０が、複数実装されている。

ここでは、これら外部接続部３５０が、本発明の「音声取得手段」の一具体例に対応している。また、音声処理部３０４、ＤＡＣ３０５及び音声制御部３０６が、本発明の「音声処理手段」の一具体例に対応している。

制御部３０７は、Ｉ／Ｆ部３０１を通じてケーブル２０から画像遅延情報Ｔｄｄを受信する機能を有している。更に制御部３０７は、音声処理装置３００による音声信号の遅延に関する音声遅延情報Ｔｄａを予め保持しており、音声処理装置３００の動作に際して、受信した画像遅延量Ｔｄｄ及び音声遅延情報Ｔｄａに基づいて音声信号に対する遅延量を定め、遅延バッファ３０３による音声遅延動作を制御する機能を有している。

即ち、ここでは、制御部３０７及びＩ／Ｆ部３０１が、本発明の「受信手段」の一具体例であり、制御部３０７及び遅延バッファ３０３が、本発明の「遅延手段」の一具体例を構成している。

尚、遅延バッファ３０３と同様のメモリは、通常のＡＶアンプも備えている。これらは、200msec程度の音声信号を記憶できる（遅延させることができる）。但し、通常のＡＶアンプは、音声遅延を手動で行うように構成されている。そこで、本実施例のＡＶアンプ３００は、遅延バッファ３０３の遅延量を制御部３０７で設定して自動で音声遅延を行うように構成されている。

＜画像音声処理システムの動作＞
次に、この画像音声処理システムにおけるリップシンクに係る動作について、更に図５及び図６を参照して説明する。図５は、このシステム上でのリップシンクに係る動作手順を表している。図６は、各装置による動作を表している。

画像音声処理システムは、基本的に、ＤＶＤプレーヤ１００で再生した画像信号と音声信号の夫々を、画像処理装置２００、ＡＶアンプ３００の夫々で各種処理を施し、ＤＴＶ４００とスピーカ５００とに送出して画像音声出力を得る、一連の動作を行う。その際、ＤＶＤプレーヤ１００では、ＤＶＤ再生部１０１で再生された音声データが遅延バッファ１０４に分岐入力され、ＭＰＥＧ−ＴＳ形式で出力される映像データの圧縮による遅延分だけ遅延される。そのため、この音声データは、ＭＰＥＧ形式の画像データと出力段階で同期していることになり、これらを出力に用いる場合には、ＤＶＤプレーヤ１００内の遅延要素による映像信号と音声信号との時間ずれは考慮せずに済む（但し、この段階での同期処理は必ずしも必要ではない。画像処理に起因する成分が、全体の遅延量に占める割合が大きい場合や、以下に説明する第２実施例では、こうした構成を採らない）。

ＤＶＤプレーヤ１００からは、Ｉ／Ｆ部１０５等のインターフェイス部を介して、画像データないし画像信号がケーブル１１に、音声データないし音声信号がケーブル１２に夫々出力される。

画像処理装置２００では、Ｉ／Ｆ部２０１等のインターフェイス部を介して、ケーブル１１から画像データないし画像信号が取得される。ここで取得された信号には画像処理部２０４で画像処理が施されるが、例えば、ＭＰＥＧ−ＴＳ形式のストリームとして取得された画像データの場合は前処理としてＤＥＭＵＸ２０２、ＭＰＥＧ復号化部２０３によるデコードが必要であるが、アナログ信号として取得された画像信号の場合はＡＤ変換器２０５によるＡＤ変換を施す必要がある。また、前述のように、画像データにも各種の信号形式があり、それに応じて画像処理部２０４における処理内容が異なる。即ち、画像処理装置２００内では、取得される画像データないし画像信号の形式毎に処理手順が分かれており、画像データないし画像信号は、その別に応じた経路を通過することで必要な処理を受ける。

図５及び図６において、制御部２０６は、例えばこのような画像データないし画像信号の経路の変化等を“処理手順の切り替り”として検知すると（ステップＳ１１：Ｙｅｓ）、これをきっかけとして実行中の処理手順を判別する（ステップＳ１２）。この処理手順の切り替りは、画像処理装置２００における、ユーザの操作（例えば、リモコンなど外部からの制御信号を含む）に伴う信号処理経路の変化や、ＬＳＩからの割り込み信号などによる、処理対象とする画像信号の変化として検出される。制御部２０６は更に、こうした信号経路の変化や信号形式の変化を、以降の遅延情報に係る動作を実行するためのトリガとして、現在の処理手順を判別する。尚、処理手順の切り替りが検知されなければ（ステップＳ１１：Ｎｏ）、制御部２０６は遅延情報に係る動作をしない。

次に、制御部２０６は、遅延情報メモリ２０７を参照して、判別した処理手順に応じた画像遅延情報Ｔｄｄを一意に選択する（ステップＳ１３）。ここでは、画像遅延情報Ｔｄｄを例えば、その処理手順を採る場合に画像信号ないし画像データが画像処理装置２００に入力されて出力されるまでの時間（即ち、画像処理装置２００による遅延量）として、予め遅延情報メモリ２０７に格納しておく。尚、前述のように、画像遅延情報Ｔｄｄには他のパラメータを用いてもよい。

次に、制御部２０６は、ＡＶアンプ３００に転送すべく、選択して得られた画像遅延情報ＴｄｄをＩ／Ｆ部２０１を通じてケーブル２０に送出する（ステップＳ１４）。

一方、ＡＶアンプ３００では、Ｉ／Ｆ部３０１等のインターフェイス部を介して、ケーブル１２から音声データないし音声信号が取得される。ここで取得された信号には音声処理部３０４や音声制御部３０６で音声処理が施されるために、このＡＶアンプ３００にも装置固有の遅延量が存在する。ここでは、そのような音声信号ないし音声データの遅延量が、音声遅延情報Ｔｄａとして制御部３０７に予め格納されている。

図５及び図６において、制御部３０７は、Ｉ／Ｆ部３０１を介して、ケーブル２０から画像遅延情報Ｔｄｄを受信する（ステップＳ１５）。制御部３０７は、受信した画像遅延情報Ｔｄｄが、現在の設定値と異なっているか否かを判断し（ステップＳ１６）、現在の設定値と異なる場合に（ステップＳ１６：Ｙｅｓ）、この受信した画像遅延情報Ｔｄｄと自身の音声遅延情報Ｔｄａとに基づいて、遅延バッファ３０３における遅延量（Ｔｄｄ＋Ｔｄａ）の設定を更新する（ステップＳ１７）。受信した画像遅延情報Ｔｄｄが現在の設定値と同じである場合は（ステップＳ１６：Ｎｏ）、以降の動作は実行されない。

尚、ここで、遅延バッファ３０３に対して設定しようとするトータルの遅延量（Ｔｄｄ＋Ｔｄａ）が、現在の設定値と同じ場合には、この更新処理をしないようにしてもよい。

遅延バッファ３０３は、こうして制御部３０７に設定された遅延量（Ｔｄｄ＋Ｔｄａ）に基づいて、音声データを遅延させる（ステップＳ１８）。この一連の処理は、例えば、画像音声処理システムが画像音声を出力する間、画像音声に関する通常の信号処理と同時並行して行われる。

以上の結果、ＡＶアンプ３００が最終的な画像音声の同期手段として機能し、画像信号の遅延が補償される。即ち、この画像音声処理システムは、画像処理装置２００による画像出力とＡＶアンプ３００による音声出力とを同期させる、所謂リップシンクを、自動で実現することができる。しかも、画像処理装置２００が画像遅延情報Ｔｄｄを経時的に見直すようにしたので、ＡＶアンプ３００での音声データの遅延量を常に適正化することができる。

因みに、通常のＡＶアンプは、オーディオディレイ用のメモリの遅延量を手動調整するように構成されている。そのため、正確な調整が難しく、使用者は、ある程度以上は違和感が多少残ってもあきらめてしまうことが多い。また、再生信号源が切り替る度に画像の遅延量が変わるので、その度に再調整が必要となるといった不便さがある。本実施例における画像音声処理システムは、こうした問題を解決することができ、快適な仕様環境を提供することができる。

また、ケーブル２０のインターフェイス形式をケーブル１１及び１２とは別に定めるようにしたので、ケーブル１１及び１２のインターフェイス形式の自由度を犠牲にすることなく画像遅延情報Ｔｄｄの送受を簡便に実現できる。よって、このシステムは、インターフェイス形式の点での制約が極めて少なく、高い汎用性を有している。また、画像処理装置２００及びＡＶアンプ３００も、通常の構成に多少の改変を加えるだけで実現でき、高い汎用性を有している。

尚、上記実施例では、画像処理装置２００がＡＶアンプ３００に画像遅延情報Ｔｄｄを能動的に送出する場合について説明したが、それに加えて又は代えて、ＡＶアンプ３００の送信要求に応じて画像遅延情報Ｔｄｄを受動的に送出するようにシステムを構成してもよい。以下に、そのような変形例を示す。

＜第１変形例＞
例えば、ＡＶアンプ３００におけるソース機器がＤＶＤプレーヤ１００からＴＶへ切り替わった場合等でも、画像処理装置２００における画像信号の遅延量が変わるのでリップシンクの再調整が必要となる。即ち、ＡＶアンプ３００は、このようなソース機器の切り替わりをきっかけとして、画像遅延情報Ｔｄｄを問い合わせるように構成できる。

図７において、ＡＶアンプ３００では、例えば制御部３０７の制御下で、ソース機器の変化に対応した入力信号の経路を切り替える操作がなされる。

次いで、制御部３０７は、画像処理装置２００に向けた画像遅延情報取得要求を、Ｉ／Ｆ部３０１を通じてケーブル２０に送出する。

画像処理装置２００では、画像遅延情報取得要求を、制御部２０６がＩ／Ｆ部２０１を通じてケーブル２０から受信する。そして、この画像遅延情報取得要求の受信をきっかけとして、画像遅延情報Ｔｄｄを画像遅延情報取得応答として送り返す。以降は、第１実施例と同様に動作させることができる。

＜第２変形例＞
また、例えば一つのディスプレイに複数の画面を表示させる場合（所謂マルチ画面表示）において、一方の画面に対応する音声から別の画面の音声に切り換えたときも、画像信号の遅延量が変わるのでリップシンクの再調整が必要となる。即ち、マルチ画面表示では、画面によって画像信号の遅延量が異なることがある。通常のディスプレイドライバは、高画質化回路を一式しか搭載しておらず、一画面分しか対応できないからである。

従って、マルチ画面表示時における音声の切り換え等によっても、画像遅延情報Ｔｄｄは変化することになる。こうした画像遅延情報Ｔｄｄの変化は、例えばポーリングによる監視等により検知することができる。

図８において、ＡＶアンプ３００は、画像遅延情報取得要求を用いて、画像処理装置２００をポーリングする。画像処理装置２００は、画像遅延情報取得要求を受信する度に、画像遅延情報Ｔｄｄを画像遅延情報取得応答として送り返す。ＡＶアンプ３００は、前回のポーリングから画像遅延情報Ｔｄｄが変化していなければ、遅延量に関しては特に動作しない。

そのような状況下で、例えば操作部２０８やリモコン等を介した外部入力により、画像処理装置２００に対して上記のマルチ画面操作が行われると、その結果、音声信号に対応する画像信号に変化が生じる。その後になされた画像遅延情報取得要求に対しては、画像処理装置２００は、これまでとは異なる画像遅延情報Ｔｄｄを送り返すことになる。

ＡＶアンプ３００では、この画像遅延情報Ｔｄｄを受け取ると、制御部３０７が前回のポーリングからの画像遅延情報Ｔｄｄの変化を検知し、遅延量（Ｔｄｄ＋Ｔｄａ）を更新する。そして、遅延バッファ３０３は、更新された遅延量（Ｔｄｄ＋Ｔｄａ）に基づいて音声データを遅延させる。

＜第２実施例＞
本発明の第２実施例について、図９から図１２を参照して説明する。

第１実施例では、ＡＶアンプ３００は、外部機器の遅延情報としては専ら画像遅延情報Ｔｄｄを参照するように構成されているが、本実施例では、ＤＶＤプレーヤ１００からの遅延情報Ｔｄｐをも参照する場合について説明する。即ち、本実施例における画像音声処理システムの基本構成は、第１実施例と同様である。そこで、本実施例では、第１実施例と同様の構成については同一の符号を付し、その説明を適宜に省略する。

（画像音声処理システムの構成）
本実施例の画像音声処理システムは、第１実施例の画像音声処理システムにおけるＤＶＤプレーヤ１００、ＡＶアンプ３００を、ＤＶＤプレーヤ１００Ａ、ＡＶアンプ３００Ａに夫々代えて構成されている。ＤＶＤプレーヤ１００Ａは、遅延バッファ１０４が省かれ、遅延情報Ｔｄｐを予め格納する遅延情報メモリ１１０が制御部１０６に接続されている点で、ＤＶＤプレーヤ１００とは異なっている。即ち、ここでは、ＡＶアンプ３００ＡがＤＶＤプレーヤ１００Ａによる信号遅延も補償するように構成されることから、ＤＶＤプレーヤ１００Ａ内で画像と音声の同期を取る必要がない。

図９において、制御部１０６は、ＤＶＤプレーヤ１００Ａの動作に際して、画像データ及び音声データの経路から実行中の処理手順を判別する機能と、判別された処理手順に対応する信号遅延情報Ｔｄｐを遅延情報メモリ１１０から選択する機能とを有している。

但し、この信号遅延情報Ｔｄｐは、ＤＶＤプレーヤ１００Ａにおける画像データと音声データとの時間ずれとする。この時間ずれは、画像データ及び音声データの処理経路から、夫々の遅延量の差分として求めることができる。尚、遅延情報メモリ１１０が格納する情報は、その他にも種々の形態をとることができる。例えば、画像データの遅延量と音声データの遅延量とを、夫々の処理手順と対応させて格納してもよい。その場合の信号遅延情報Ｔｄｐは、選択された画像データの遅延量及び音声データの遅延量であってもよいし、これら２つの遅延量の差分であってもよい。

更に、制御部１０６は、選択した信号遅延情報Ｔｄｐを、Ｉ／Ｆ部１０５を通じてケーブル１２に送出する機能を有している。即ち、ＤＶＤプレーヤ１００Ａが、本発明の「画像音声供給装置」の一例を構成している。そのうち、ＤＶＤ再生部１０１が本発明の「再生手段」に、ＭＰＥＧ符号化部１０２、ＭＵＸ１０３及びＤＡＣ１０９が本発明の「信号処理手段」に、外部接続部１５０が「供給手段」に、遅延情報メモリ１１０が「格納手段」に、制御部１０６が本発明の「判別手段」及び「選択手段」に、制御部１０６、Ｉ／Ｆ部１０５及び外部接続部１５０が本発明の「送出手段」に、夫々対応している。尚、ここでは、ケーブル１２が本発明の「第３伝送路」に対応している。

また、本実施例の画像処理装置２００は、画像遅延情報Ｔｄｄに代えて、画像遅延情報Ｔｄｄ’として画像処理装置２００における画像データ（ないし画像信号）と音声データ（ないし音声信号）との時間ずれを生成するように構成されている。

図１０において、ＡＶアンプ３００Ａは、Ｉ／Ｆ部３０１を通じてケーブル１２から信号遅延情報Ｔｄｐを受信する。ここでは、制御部３０７は、外部から取得された信号遅延情報Ｔｄｐ及び画像遅延情報Ｔｄｄ’と、自身の音声遅延情報Ｔｄａとに基づいて遅延バッファ３０３における遅延量（Ｔｄｐ＋Ｔｄｄ’＋Ｔｄａ））を設定するように構成されている。

（画像音声処理システムの動作）
次に、この画像音声処理システムにおけるリップシンクに係る動作について、更に、図１１及び図１２を参照して説明する。図１１は、このシステム上でのリップシンクに係る動作手順を表している。図１２は、各装置による動作を表している。

ＤＶＤプレーヤ１００では、ＤＶＤ再生部１０１で再生された画像データ、音声データに対し、出力形式に合わせて圧縮等の処理が施される。その際、信号形式毎に処理手順が分かれていることから、信号形式（処理手順）に応じて出力信号のＤＶＤプレーヤ１００Ａによる遅延量が異なる。例えば、映像出力をアナログからディジタルに切り換えた場合には、遅延量はかなり顕著に変化する。また、音声データの圧縮方式はドルビーディジタルかＤＴＳかなどのサラウンドフォーマット毎に異なっており、それによって音声信号の遅延量に変化が生じることがある。或いは、Blu-ray レコーダ／プレーヤのような機器であってプレーヤ側でデコードして画像信号を出力する場合は、再生する画像信号に変化（例えば、HDからSDへの切り換え）があれば、画像データの形式の違いに応じた遅延量の変化も想定される。

図１１及び図１２において、制御部１０６は、例えばこのような画像データないし画像信号の経路の変化等を“処理手順の切り替り”として検知すると（ステップＳ２１：Ｙｅｓ）、これをきっかけとして実行中の処理手順を判別する（ステップＳ２２）。この処理手順の切り替りは、ＤＶＤプレーヤ１００における、ユーザの操作（例えば、リモコンなど外部からの制御信号を含む）に伴う信号処理経路の変化や、ＬＳＩからの割り込み信号などによる、処理対象とする信号の変化として検出される。制御部１０６は更に、こうした信号経路の変化や信号形式の変化を、以降の遅延情報に係る動作を実行するためのトリガとして、現在の処理手順を判別する。尚、処理手順の切り替りが検知されなければ（ステップＳ２１：Ｎｏ）、制御部１０６は遅延情報に係る動作をしない。

次に、制御部１０６は、遅延情報メモリ１１０を参照して、判別した処理手順に応じた信号遅延量を一意に選択する（ステップＳ２３）。ここでは、ＤＶＤプレーヤ１００Ａにおける画像データの遅延量と音声データの遅延量とを予め遅延情報メモリ１１０に格納しておく。制御部１０６は、画像データ、音声データの現在の処理手順から夫々に対応する遅延量を選択し、その差分を、信号遅延情報Ｔｄｐとする。

次に、制御部１０６は、ＡＶアンプ３００に転送すべく、得られた信号遅延情報ＴｄｐをＩ／Ｆ部２０１を通じてケーブル１２に送出する（ステップＳ２４）。また、画像処理装置２００は、第１実施例と同様にして、画像遅延情報Ｔｄｄ’をＡＶアンプ３００Ａに対して送出する。

一方、ＡＶアンプ３００では、制御部３０７が、Ｉ／Ｆ部３０１を介してケーブル１２から信号遅延情報Ｔｄｐを受信する（ステップＳ２５）。制御部３０７は、受信した信号遅延情報Ｔｄｐが、現在の設定値と異なっているか否かを判断し（ステップＳ２６）、現在の設定値と異なれば（ステップＳ２６：Ｙｅｓ）、遅延バッファ３０３における遅延量（Ｔｄｐ＋Ｔｄｄ’＋Ｔｄａ）の設定を更新する（ステップＳ２７）。受信した信号遅延情報Ｔｄｐが現在の設定値と同じである場合は（ステップＳ２６：Ｎｏ）、以降の動作は実行されない。尚、ここで、遅延バッファ３０３に対して設定しようとするトータルの遅延量（Ｔｄｐ＋Ｔｄｄ’＋Ｔｄａ）が、現在の設定値と同じ場合には、この更新処理をしないようにしてもよい。

遅延バッファ３０３は、こうして制御部３０７に設定された遅延量（Ｔｄｐ＋Ｔｄｄ’＋Ｔｄａ）に基づいて、音声データを遅延させる（ステップＳ２８）。

尚、ここでは、制御部３０７は、第１実施例と同様にして、ケーブル２０から画像遅延情報Ｔｄｄ’をも受信する。そして、画像遅延情報Ｔｄｄ’に対しても上記同様、現在の設定値と異なる場合に遅延量（Ｔｄｐ＋Ｔｄｄ’＋Ｔｄａ）の設定更新を行う。即ち、この場合のＡＶアンプ３００は、ＤＶＤプレーヤ１００、画像処理装置２００の各機器から夫々出力される通知に伴って遅延量を再設定することになる。

以上の結果、ＡＶアンプ３００は最終的な画像音声の同期手段として機能し、画像処理装置のみならず、信号源であるＤＶＤプレーヤ１００Ａによる信号遅延を考慮することにより、リップシンクを精度良く実行できる。

現状では、画像処理による画像信号の遅延が目立って大きいが、今後は5.1チャンネルを基本仕様とするドルビーディジタル（ＡＣ３：Audio Codec３）等よりも更に高音質化された圧縮音声信号方式が採用される場合が予想され、音声信号の圧縮及びデコードに際し、かなり大きな遅延が生じると考えられる。そのような場合には、ＤＶＤプレーヤやＡＶアンプにおける音声信号の遅延を考慮しなければ、的確なリップシンクが困難となる。本実施例は、そのような場合にも対応可能である。

尚、本実施例では、信号遅延情報Ｔｄｐをケーブル１２により伝送するようにしたが、ＤＶＤプレーヤ１００ＡとＡＶアンプ３００Ａとの間に、信号遅延情報Ｔｄｐの伝送用のケーブルを別途設けるようにしてもよい。その方が、システムとしての汎用性を高めることができる。

以上の第２実施例では、ＤＶＤプレーヤ１００及び画像処理装置２００の夫々が、信号遅延情報Ｔｄｐ及び画像遅延情報Ｔｄｄ’を能動的に送出する場合について説明したが、それに加えて又は代えて、ＡＶアンプ３００の送信要求に応じて信号遅延情報Ｔｄｐ及び画像遅延情報Ｔｄｄ’を受動的に送出するようにシステムを構成してもよい。以下に、そのような変形例を示す。

＜第３変形例＞
例えば、ＡＶアンプ３００Ａにおけるソース機器が、ＤＶＤプレーヤ１００ＡからＴＶへ切り替わった場合等に、ＡＶアンプ３００Ａは、このようなソース機器の切り替わりをきっかけとして、信号遅延情報Ｔｄｐや画像遅延情報Ｔｄｄ’を問い合わせるように構成できる。

図１３において、ＡＶアンプ３００Ａでは、例えば制御部３０７の制御下でソース機器の変化に対応した入力信号の経路を切り替える操作がなされる。

次いで、制御部３０７は、ＤＶＤプレーヤ１００Ａに向けた信号遅延情報取得要求と、画像処理装置２００に向けた画像遅延情報取得要求とを、Ｉ／Ｆ部３０１を通じてケーブル１２及びケーブル２０に別々に送出する。

ＤＶＤプレーヤ１００Ａは、信号遅延情報取得要求を、制御部１０６がＩ／Ｆ部１０５を通じてケーブル１２から受信する。ここでＤＶＤプレーヤ１００Ａは、処理手順の切り替りをきっかけとして又は所定周期で更新しつつ、遅延量ないし信号遅延情報Ｔｄｐを常に制御部１０６に保持しているものとする。その状態で信号遅延情報取得要求が受信されると、制御部１０６は、受信をきっかけとして、信号遅延情報Ｔｄｐを信号遅延情報取得応答として送り返す。

画像処理装置２００は、画像遅延情報取得要求を、制御部２０６がＩ／Ｆ部２０１を通じてケーブル２０から受信する。この画像処理装置２００もまた、処理手順の切り替りをきっかけとして又は所定周期で更新しつつ、遅延量ないし画像遅延情報Ｔｄｄ’を常に制御部２０６に保持しているものとする。その状態で画像遅延情報取得要求が受信されると、制御部２０６は、受信をきっかけとして、画像遅延情報Ｔｄｄ’を画像遅延情報取得応答として送り返す。

以降は、第２実施例と同様に動作させることができる。

尚、この第３変形例では、ＡＶアンプ３００Ａは、ソース機器の切り替り、つまり処理対象となる音声信号の切り換わりをきっかけに各機器に遅延情報取得要求を送出するようにしたが、ポーリング等によって周期的に遅延情報取得要求を送出するような構成にしてもよい。ポーリングで遅延情報を監視する場合も、遅延情報を取得する度に更新するようにしてもよいが、この場合も、取得した遅延情報と前回分とを比べ、変化があった場合にだけ遅延量の更新処理を行うようにしてもよい。

以上の遅延情報に係る動作において機器間でやり取りする情報は、具体的には、以下に示すコマンドを使って実現することができる。

図１４において、画像遅延情報取得要求ないし信号遅延情報取得要求は、定義コマンドのopcode(オペコード)を示すDELAY TIME 、オペコードに対する副次的な機能を示すsubfunction、画像信号の送受に関する情報を示すvideo_interface_information、及び、画像信号の送受に関する情報を示すaudio_interface_informationから構成される。尚、operand[5]、[6]のフィールドの値は、この場合はＦＦ_１６とされる。

ＡＶ／Ｃコマンドには、Control コマンド、Status コマンド、及びNotify コマンドのコマンドタイプが存在するが、図１５に図示するDELAY TIMEコマンドでは、Status コマンド及びNotify コマンドにのみ定義されている。リップシンクを合わせる必要のある画像音声処理システム内の機器は、DELAY TIMEコマンドを機器に実装する必要があるが、それ以外の機器は実装する必要はない。この意味で、DELAY TIMEのサポートレベルはオプション扱いとなる。

subfunction は、オペコードに対する副次的な機能を示すフィールドであり、DELAY TIMEコマンドでは、図１６のように、INPUT、OUTPUTを定義する。これにより、受信側は情報の送信元とのシステム上の接続関係を認識できる。ここでは、INPUTがシステム上のシンク機器として、OUTPUTがシステム上のソース機器として、夫々構成されることを意味している。尚、ここでは、subfunction及びvideo_interface_inforation、audio_interface_informationが、本発明の「識別情報」の一具体例に対応している。

video_interface_information、及びaudio_interface_informationの各フィールドは、図１７のようにinterface_typeと、signal_statusとからなる。interface_typeは、受信側と送信元との間の物理的な接続形式を示すフィールドであり、例えば、図１８のようにIEEE1394、ＨＤＭＩ等の各種の接続方式を識別するように構成される。signal_statusは、遅延量の取得を要求した際の信号処理の状況を示すフィールドであり、遅延情報取得要求においては、その値はＦＦ_１６とされる。因みに、signal_statusは、遅延量が確定できた場合のみ、後述のＡＶ／Ｃレスポンスで応答される。

このような遅延情報取得要求に対する応答は、以下のように記述することができる。

図１９において、画像遅延情報取得応答ないし信号遅延情報取得応答は夫々、本発明の「画像遅延情報」及び「信号遅延情報」の一具体例であり、定義コマンドのopcode(オペコード)を示すDELAY TIME 、オペコードに対する副次的な機能を示すsubfunction、画像信号の送受に関する情報を示すvideo_interface_information、及び、画像信号の送受に関する情報を示すaudio_interface_information、そしてdelay_time_difference から構成される。これらの遅延情報取得応答は、遅延情報取得要求では空の状態であったdelay_time_differenceに、遅延量が書き込まれたものである。例えば、delay_time_differenceには、遅延量として、要求を受信した機器における画像信号の遅延量と音声信号の遅延量との差分値が書き込まれる。

また、応答時には、video_interface_information、及びaudio_interface_informationの夫々におけるsignal_statusには、例えば図２０のように、遅延量取得時の処理状況や信号形式を識別するための情報が書き込まれる。尚、ここでは、signal_statusが本発明の「処理状況情報」の一具体例に対応している。

このようなコマンドを用いることにより、遅延情報取得要求の送信元であるＡＶアンプ３００Ａは、遅延情報取得応答を受信することによって、遅延量の他に、その遅延情報が対象機器のどの入出力端子における情報なのか、その入出力端子における信号経路及び信号処理の状況等の周辺情報まで取得することができる。そして、これらの周辺情報を活用して遅延バッファ３０３における音声信号の遅延量を設定すれば、精度の高いリップシンクが可能となる。

図２１は、図１３のシステム動作における、status commandによる要求／応答の様子を表している。ＡＶアンプ３００Ａは、ＤＶＤプレーヤ１００Ａ及び画像処理装置２００に対してDELAY TIME Status Command を送出する。この場合、ＤＶＤプレーヤ１００Ａに対するDELAY TIME Status Commandは、subfunction がOUTPUT 、画像信号用の（即ち、video_interface_informationの）interface_typeはＨＤＭＩ、音声信号用の（即ち、audio_interface_informationの）interface_typeはIEEE1394である。また、画像処理装置２００に対するDELAY TIME Status Commandは、subfunction がINPUT 、画像信号用のinterface_typeはＨＤＭＩ、音声信号用のinterface_typeはignoreである。即ち、画像処理装置２００には音声信号用の接続は存在しないので、このフィールドは無視する。

これに対し、ＤＶＤプレーヤ１００Ａ及び画像処理装置２００は、ＡＶアンプ３００Ａに対してDELAY TIME Status Response を夫々送出する。ＤＶＤプレーヤ１００Ａの応答の一例では、画像信号処理に際した（即ち、video_interface_informationの）signal_status も、音声信号処理に際した（即ち、audio_interface_informationの）signal_status もprocessing と、現在実行中の処理に対する遅延量が取得されたことを意味し、delay_time_differenceの遅延量が−１０ｍｓｅｃである。これは、ＤＶＤプレーヤ１００Ａでは、音声信号が画像信号より相対的に１０ｍｓｅｃ遅れていることを表している。

また、画像処理装置２００の応答の一例では、画像信号処理に際したsignal_status はprocessingであるが、音声信号処理に際したsignal_status はdon’t care である。delay_time_differenceの遅延量は、８０ｍｓｅｃである。これは、画像処理装置２００では、画像信号が音声信号より相対的に８０ｍｓｅｃ遅れていることを表している。

ＡＶアンプ３００Ａは、これらの応答から、遅延量が正しく取得されたことを確認すると共に、音声信号に対する画像信号の遅延量へのＤＶＤプレーヤ１００Ａと画像処理装置２００との寄与分として、７０ｍｓｅｃを計上する。

＜第４変形例＞
第３変形例では、機器間でやり取りする情報がstatus command で定義された場合について説明したが、次に、notify command で定義する場合について説明する。

notify commandによる要求及び応答の各フィールドの構造は、DELAY TIME status command及びDELAY TIME status responseと同様である（図１４及び図１９を参照）。但し、DELAY TIMEフィールドには、notify command で定義されていることが示される。

図２２は、図１３のシステム動作における、notify commandによる要求／応答の様子を表している。ＡＶアンプ３００Ａは、ＤＶＤプレーヤ１００Ａ及び画像処理装置２００に対してDELAY TIME Notify Command を送出する。尚、ＡＶアンプ３００Ａは、これ以前にＤＶＤプレーヤ１００Ａより、delay_time_differenceの遅延量が−１０ｍｓｅｃであるという応答を受け取っている状態にあるものとする（例えば、第３変形例を参照）。

これに対し、ＤＶＤプレーヤ１００Ａ及び画像処理装置２００は、ＡＶアンプ３００Ａに対してDELAY TIME Notify Response を夫々送出する。ここでDELAY TIME Notify Response は、要求を受け取った旨を通知するために各機器から送出される。各機器は、とりあえずDELAY TIME Notify Responseを送出し、その後、内部で遅延量に変化が生じたことが判別された時点で、改めてDELAY TIME Notify Responseを返答する。

図示の場合では、ＤＶＤプレーヤ１００Ａは、要求を受け取った旨を通知するDELAY TIME Notify Response(INTERIM)のみ送出し、その後は機器内で遅延量の変化がないために何の応答もしていない。一方、画像処理装置２００は、ＤＶＤプレーヤ１００Ａと同様に、まず要求を受け取った旨を通知するDELAY TIME Notify Response(INTERIM)を送出したが、その後、受信する画像信号の切り替りや、ユーザの操作等によって画像信号の遅延量に変化が生じると、前述のようにして画像遅延量を選択し、それに基づいて画像遅延情報ＴｄｄをDELAY TIME Notify Response(CHANGED)として生成し、ＡＶアンプ３００Ａに出力する。

画像処理装置２００の応答の一例では、画像信号処理に際したsignal_status はprocessingであるが、音声信号処理に際したsignal_status はdon’t care である。そして、delay_time_differenceの遅延量は、１００ｍｓｅｃである。これは、画像処理装置２００では、画像信号が音声信号より相対的に１００ｍｓｅｃ遅れていることを表している。

ＡＶアンプ３００Ａは、これらの応答から、遅延量が正しく取得されたことを確認すると共に、音声信号に対する画像信号の遅延量へのＤＶＤプレーヤ１００Ａと画像処理装置２００との寄与分として、９０ｍｓｅｃを計上する。

このように、ＤＶＤプレーヤ１００Ａや画像処理装置２００が能動的に遅延情報の変化を通知する場合、ＡＶ／Ｃコマンドではnotify commandとして実装される。notify commandは、通知を要求する機器（ここでは、ＡＶアンプ３００Ａ）が発行するnotify commandを受け取った機器（ここでは、ＤＶＤプレーヤ１００Ａ及び画像処理装置２００）は、まずその通知要求を受け入れるか否かの応答をする。これらの受信機器は、その後、要求に関わる情報の変化があった際に、変化した情報を再度の応答により通知する。
この方法によれば、遅延情報の変化を随時ポーリングして監視する必要がないことから、機器内部のＣＰＵの処理負荷を軽減し、1394バス上のトラフィックを軽減できる。

＜第５変形例＞
以上に説明したコマンドは、上記の実施例以外にも本発明に係る画像音声処理システムに広範に適用することができる。

図２３において、画像音声処理システムは、ＡＶアンプ３００ＢとＴＶ受像機１６０とで構成されている。ＴＶ受像機１６０では、内部のチューナで受信されたＴＶ信号が画像信号と音声信号とに分離され、画像信号は、ＴＶ受像機１６０自身で処理が施されてパネル１５０ａに送出される。一方、分離された音声信号は、ＡＶアンプ３００Ｂに供給される。即ち、ＴＶ受像機１６０は、本発明の「画像処理装置」及び「画像音声供給装置」の一具体例に対応している。

この場合に、ＡＶアンプ３００ＢとＴＶ受像機１６０とは、IEEE1394ないしＨＤＭＩによるケーブル２１で接続されている。即ち、ケーブル２１が本発明の「第１伝送路」、「第２伝送路」及び「第３伝送路」の具体例に対応している。但し、ＴＶ受像機１６０側の遅延情報をＡＶアンプ３００Ｂに送出するためのケーブルを、音声信号供給用のケーブルとは別途用意してもよい。

このような画像音声処理システムでの遅延情報に係る動作は、例えばコマンドを使って実現することができる。

図２４において、ＡＶアンプ３００Ｂは、例えば制御部３０７の制御下で、ＴＶ受像機１６０の変化に対応した入力信号の経路を切り替える操作がなされる。処理手順の切り替りは、ＴＶ受像機１６０における、ユーザの操作（例えば、リモコンなど外部からの制御信号を含む）に伴う信号処理経路の変化や、ＬＳＩからの割り込み信号などによる、処理対象とする信号の変化として検出される。

次に、ＡＶアンプ３００Ｂは、ＴＶ受像機１６０に対してDELAY TIME Status Command を送出する。この場合、ＴＶ受像機１６０に対するDELAY TIME Status Commandは、subfunction がOUTPUT 、画像信号用の（即ち、video_interface_informationの）interface_typeはignore、音声信号用の（即ち、audio_interface_informationの）interface_typeはIEEE1394である。

これに対し、ＴＶ受像機１６０は、ＡＶアンプ３００Ｂに対してDELAY TIME Status Response を送出する。図示した応答例では、画像信号処理に際したsignal_status はdon’t care であるが、音声信号処理に際したsignal_status はprocessingである。delay_time_differenceの遅延量は、８０ｍｓｅｃである。これは、ＴＶ受像機１６０では、画像信号が音声信号より相対的に８０ｍｓｅｃ遅れていることを表している。

ＡＶアンプ３００Ｂは、応答から遅延量が正しく取得されたことを確認すると共に、音声信号に対する画像信号の遅延量へのＴＶ受像機１６０の寄与分として、８０ｍｓｅｃを計上する。

以下、画像音声処理システムの構成に関する実施例について、図２５から図２９を参照して説明する。

＜第３実施例＞
上記実施例では、機器同士が１対１に接続されるケーブルを複数使ってシステムを構築するようにしたが、本発明の伝送路はネットワークとして構築することができる。

図２５において、そのような場合の一例として、ＤＶＤプレーヤ１００、画像処理装置２００、及びＡＶアンプ３００が、シリアルバス３０によって相互接続されている。尚、この場合は、シリアルバス３０が本発明の「第１伝送路」、「第２伝送路」及び「第３伝送路」に対応する。

＜第４実施例＞
また、本発明の伝送路は、ネットワーク以外の接続形態をとることもできる。

図２６において、そのような一具体例として、ＤＶＤプレーヤ１００とＡＶアンプ３００とがＨＤＭＩ４０ａで接続され、ＡＶアンプ３００と画像処理装置２００とがＨＤＭＩ４０ｂで接続されている。この場合には、ＡＶアンプ３００は、ＤＶＤプレーヤ１００から受信した画像信号を画像処理装置２００へ再送出することになる。このように、１対１の接続であっても複数の機器相互間の信号の送受は実現される。尚、この場合、ＨＤＭＩ４０ａ及び４０ｂが本発明の「第１伝送路」、「第２伝送路」及び「第３伝送路」に対応する。

＜第５実施例＞
また、ＤＶＤプレーヤ、画像処理装置、及びＡＶアンプは、夫々複数接続されていてもよい。

図２７においては、ＤＶＤプレーヤ１００ａ及び１００ｂが夫々、画像処理装置２００及びＡＶアンプ３００に接続されている。この場合、画像音声出力に際して、画像処理装置２００及びＡＶアンプ３００は、ＤＶＤプレーヤ１００ａ及び１００ｂのいずれか一方からしか信号を受信しないし、その信号の供給先は特定可能である。例えば、IEEE1394 Ａ＆Ｍ／Ｐの場合、ＡＶアンプ３００は、Input Selector でＤＶＤプレーヤ１００ａ及び１００ｂのいずれかを選択してコネクションを張るので、機器間で混乱するおそれがなく、特に問題なく動作可能である。従って、ＡＶアンプ３００は、ＤＶＤプレーヤ１００ａ及び１００ｂのうち現在の信号源である方から、信号遅延情報Ｔｄｐ１又はＴｄｐ２を間違いなく取得することができる。

＜第６実施例＞
図２８においては、ＤＶＤプレーヤ１００に、画像処理装置２００ａ及び２００ｂが接続されている。画像処理装置２００ａ及び２００ｂは、夫々、別のディスプレイ４００ａ及び４００ｂに接続されている。具体的な実施態様としては、ＰＤＰとプロジェクタの投影機、或いは、自動車内の前部座席側と後部座席側とに分けて設置された液晶パネルなどが挙げられる。

このようにディスプレイ（即ち、画像処理装置）が複数台ある場合は、どの画像処理装置の画像遅延情報を利用するかという問題が生じる。このような場合には、例えば、ディスプレイを切り換えて使う（常に１台だけを駆動させる）ようにする、いずれか１台をリップシンク調整用に指定できるようにする、画像遅延情報のプリセット値を設定するなどとすればよい。

＜第７実施例＞
図２９においては、ＤＶＤプレーヤ１００に、ＡＶアンプ３００ａ及び３００ｂが接続されている。ＡＶアンプ３００ａ及び３００ｂは、夫々、別の音声出力機器５００ａ及び５００ｂに接続されている。具体的な実施態様としては、スピーカとヘッドホンなどが挙げられる。

この場合は、ＡＶアンプ３００ａ及び３００ｂは夫々独立に駆動され、個別に遅延情報を取得すればよいので、特に問題なく動作可能である。

本発明は、上述した実施例、その変形例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像処理装置、音声処理装置、画像音声供給装置、及び画像音声処理システム、並びに画像音声同期方法もまた本発明の技術思想に含まれる。

例えば、上記実施例において遅延情報メモリ２０７や遅延情報メモリ１１０に格納される情報には、遅延量の他に遅延補償に用いられる情報を含めておいてもよい。

また、第１及び第２実施例では、遅延情報メモリから取得した画像遅延情報ないし信号遅延情報をそのままＡＶアンプに送出する場合について説明したが、取得された画像遅延情報ないし信号遅延情報に、ＡＶアンプに送出する前の段階で、遅延情報メモリから取得した情報以外の情報、例えばその画像遅延情報ないし信号遅延情報の選択時刻、画像処理装置ないしＤＶＤプレーヤにおける信号処理状況、システムにおけるＡＶアンプと画像処理装置ないしＤＶＤプレーヤとの接続経路等、遅延保障に用いられる情報を含めるようにしてもよい。
また、遅延情報メモリ２０７又は遅延情報メモリ１１０には遅延量を格納しておき、そのうちの一つを選択した場合に、前回選択した遅延量との差分ΔＴｄｄないしΔＴｄｐを、画像遅延情報Ｔｄｄないし信号遅延情報Ｔｄｐとするようにしてもよい。

また、ＡＶアンプ３００が保有する自身の音声遅延情報Ｔｄａは、一意に定められていてもよいが、画像遅延情報Ｔｄｄや信号遅延情報Ｔｄｐと同様に複数準備しておき、適宜選択するようにしてもよい。音声処理においても、取得される音声信号の形式に応じて必要な処理が多少異なってくる。例えば、音声信号はサラウンドフォーマット毎に圧縮方式が異なるため、デコード方式も異なる、更に、機器独自のサラウンド効果を与えるために信号を加工することもある。即ち、音声処理についても、信号形式に応じて処理手順が異なることがあり、音声信号の遅延量（即ち、音声遅延量）は複数存在することになる。そのような場合には、音声処理装置も、実行中の処理手順を判別し、判別された処理手順に対応する音声遅延量を格納情報から選択するように構成されることが好ましい。

更に、上記実施例では、実行中の処理手順に応じて、遅延情報メモリから画像遅延情報ないし信号遅延情報を取得する場合について説明したが、本発明の画像遅延情報生成手段又は信号遅延情報生成手段は、所定周期のクロックや音声処理装置からの要求を受ける度に、実行中の処理における信号遅延を実測するようにしてもよい。

尚、上記実施例等においては、各機器間をケーブルで接続するようにしたが、本発明の伝送路は通信媒体であればよく、本発明の画像音声処理システム内における装置間の接続は、IEEE802.11e のような無線ＬＡＮ（wireless Local Area Network）やBluetooth（Ｒ）等によるワイヤレス方式を採ってもよい。

本発明に係る画像処理装置、音声処理装置、画像音声供給装置、及び画像音声処理システム、並びに画像音声同期方法は、機器間の接続方式の違いにも柔軟に対応しつつリップシンクの常時自動調整が可能な例えば、ＡＶアンプ等の各種機器に利用可能である。

Claims (36)

1. 音声信号に対して時系列的な対応関係にある画像信号を取得する画像取得手段と、
   前記取得された画像信号に、該画像信号の形式に応じた処理手順で表示用の画像処理を施す画像処理手段と、
   前記実行中の又は実行しようとする画像処理に伴って生じる前記画像信号の遅延量を含んだ画像遅延情報を生成する画像遅延情報生成手段と、
   前記音声信号に出力用の音声処理を施す音声処理装置に、前記画像遅延情報を送出する送出手段と
   を備えたことを特徴とする画像処理装置。
2. 前記音声処理装置とは別体として構成されることを特徴とする請求の範囲第１項に記載の画像処理装置。
3. 前記音声処理装置が、少なくとも前記画像信号及び前記音声信号が供給される第１伝送路から前記音声信号を取得すると共に、
   前記画像取得手段は、前記第１伝送路から前記画像信号を取得し、前記送出手段は、前記音声処理装置に向けて前記画像遅延情報を前記音声処理装置との間に介在する第２伝送路に送出する
   ことを特徴とする請求の範囲第１項に記載の画像処理装置。
4. 前記画像遅延情報生成手段は、
   前記画像処理に伴って生じる前記画像信号の遅延量を含む格納情報を、前記処理手順と対応させて予め格納する格納手段と、
   前記画像処理に際して前記実行中の又は実行しようとする処理手順を判別する判別手段と、
   前記判別された処理手順に対応する前記格納情報を、前記格納手段を参照して選択する選択手段と
   を含み、
   前記画像遅延情報を、前記選択された格納情報を含む情報として生成することを特徴とする請求の範囲第１項に記載の画像処理装置。
5. 前記判別手段の判別結果に基づいて前記処理手順の切り替わりを検知し、前記選択手段及び前記送出手段を、前記切り替わり後の処理手順と対応する前記画像遅延情報を送出するように制御する第１制御手段
   を更に備えることを特徴とする請求の範囲第４項に記載の画像処理装置。
6. 前記音声処理装置から送られてくる前記画像遅延情報の送信要求を受信する受信手段と、
   前記選択手段及び前記送信手段を、前記送信要求に応じて前記画像遅延情報を送出するように制御する第２制御手段と
   を更に備えることを特徴とする請求の範囲第１項に記載の画像処理装置。
7. 前記画像遅延情報生成手段は、
   前記画像遅延情報に、前記画像処理の実行状況を示す処理状況情報を含めることを特徴とする請求の範囲第１項に記載の画像処理装置。
8. 前記画像遅延情報生成手段は、
   前記画像遅延情報に、少なくとも前記画像信号の入出力経路を識別するための識別情報を含めることを特徴とする請求の範囲第１項に記載の画像処理装置。
9. 画像信号に対して時系列的な対応関係にある音声信号を取得する音声取得手段と、
   前記取得された音声信号に、出力用の音声処理を施す音声処理手段と、
   前記画像信号に表示用の画像処理を施す画像処理装置から送出される、前記実行中の又は実行しようとする画像処理に伴って生じる前記画像信号の遅延量を含む画像遅延情報を受信する受信手段と、
   前記画像信号と前記音声信号との時間差を補償するために前記受信された画像遅延情報に基づいて前記音声信号を遅延させる遅延手段と
   を備えたことを特徴とする音声処理装置。
10. 前記画像処理装置とは別体として構成されていることを特徴とする請求の範囲第９項に記載の音声処理装置。
11. 前記画像処理装置が、少なくとも前記画像信号及び前記音声信号が供給される第１伝送路から前記音声信号を取得すると共に、
    前記音声取得手段は、前記第１伝送路から前記音声信号を取得し、前記受信手段は、前記映像処理装置との間に介在する第２伝送路から前記画像遅延情報を受信する
    ことを特徴とする請求の範囲第９項に記載の音声処理装置。
12. 前記遅延手段は、前記受信手段が前記画像遅延情報を受信する度に前記受信された画像遅延情報に基づいて前記音声信号の遅延量を更新することを特徴とする請求の範囲第９項に記載の音声処理装置。
13. 前記画像遅延情報の送信を要求する送信要求を前記画像処理装置に送出する第１送信手段を更に備えたことを特徴とする請求の範囲第９項に記載の音声処理装置。
14. 前記実行中の又は実行しようとする音声処理に伴って生じる前記音声信号の遅延量を含んだ音声遅延情報を生成する音声遅延情報生成手段を更に備え、
    前記遅延手段は、前記音声遅延情報にも基づいて前記音声信号を遅延させることを特徴とする請求の範囲第９項に記載の音声処理装置。
15. 前記画像遅延情報は、前記画像処理の実行状況を示す処理状況情報を含むことを特徴とする請求の範囲第９項に記載の音声処理装置。
16. 前記画像遅延情報は、少なくとも前記画像信号の入出力経路を識別するための識別情報を含むことを特徴とする請求の範囲第９項に記載の音声処理装置。
17. 画像信号と該画像信号に対して時系列的な対応関係にある音声信号とを供給用の信号処理後に供給する画像音声供給装置から、前記音声信号を取得する音声取得手段と、
    前記取得された音声信号に、出力用の音声処理を施す音声処理手段と、
    前記画像音声供給装置から送出される、前記実行中の又は実行しようとする信号処理に伴って生じる前記画像信号及び前記音声信号の少なくとも一方の遅延量を含む信号遅延情報を受信する受信手段と、
    前記画像信号と前記音声信号との時間差を補償するために前記受信された信号遅延情報に基づいて前記音声信号を遅延させる遅延手段と
    を備えたことを特徴とする音声処理装置。
18. 前記画像音声供給装置とは別体として構成されていることを特徴とする請求の範囲第１７項に記載の音声処理装置。
19. 前記画像音声供給装置が、前記画像信号及び前記音声信号を第１伝送路に供給すると共に、
    前記音声取得手段は、前記第１伝送路から前記音声信号を取得し、前記受信手段は、前記映像音声供給装置との間に介在する第３伝送路から前記信号遅延情報を受信する
    ことを特徴とする請求の範囲第１７項に記載の音声処理装置。
20. 前記遅延手段は、前記受信手段が前記信号遅延情報を受信する度に前記受信された信号遅延情報に基づいて前記音声信号の遅延量を更新することを特徴とする請求の範囲第１７項に記載の音声処理装置。
21. 前記遅延情報の送信を要求する送信要求を前記画像音声供給装置に送出する第２送信手段を更に備えたことを特徴とする請求の範囲第１７項に記載の音声処理装置。
22. 前記実行中の又は実行しようとする音声処理に伴って生じる前記音声信号の遅延量を含んだ音声遅延情報を生成する音声遅延情報生成手段を更に備え、
    前記遅延手段は、前記音声遅延情報にも基づいて前記音声信号を遅延させることを特徴とする請求の範囲第１７項に記載の音声処理装置。
    
23. 前記信号遅延情報は、前記信号処理の実行状況を示す処理状況情報を含むことを特徴とする請求の範囲第１７項に記載の音声処理装置。
24. 前記信号遅延情報は、前記画像信号及び前記音声信号の少なくとも一方の入出力経路を識別するための識別情報を含むことを特徴とする請求の範囲第１７項に記載の音声処理装置。
25. 画像信号と該画像信号に対して時系列的な対応関係にある音声信号とが記録された記録媒体から前記画像信号及び音声信号を再生する再生手段と、
    前記再生された画像信号及び音声信号に対して夫々の信号形式に応じた処理手順で供給用の信号処理を施す信号処理手段と、
    前記信号処理後の画像信号及び音声信号の夫々を、前記画像信号に表示用の画像処理を施す画像処理装置及び前記音声信号に出力用の音声処理を施す音声処理装置に供給する供給手段と、
    前記実行中の又は実行しようとする信号処理に伴って生じる前記画像信号及び前記音声信号の少なくとも一方の遅延量を含む信号遅延情報を生成する信号遅延情報生成手段と、
    前記信号遅延情報を、前記音声処理装置に送出する送出手段と
    を備えたことを特徴とする画像音声供給装置。
26. 前記音声処理装置とは別体として構成されていることを特徴とする請求の範囲第２５項に記載の画像音声供給装置。
27. 前記供給手段は、前記信号処理後の前記画像信号及び前記音声信号の夫々を、前記画像処理装置及び前記音声処理装置の夫々との間に介在する第１伝送路に供給し、
    前記送出手段は、前記音声処理装置に向けて前記信号遅延情報を前記音声処理装置との間に介在する第３伝送路に送出する
    ことを特徴とする請求の範囲第２５項に記載の画像音声供給装置。
28. 前記信号遅延情報生成手段は、
    前記信号処理に伴って生じる前記画像信号及び前記音声信号の少なくとも一方の遅延量を含む格納情報を前記処理手順と対応させて予め格納する格納手段と、
    前記信号処理に際して前記実行中の又は実行しようとする処理手順を、前記少なくとも一方について判別する判別手段と、
    前記判別された処理手順に対応する前記格納情報を、前記格納手段を参照して選択する選択手段と
    を含み、
    前記信号遅延情報を、前記選択された格納情報を含む情報として生成することを特徴とする請求の範囲第２５項に記載の画像音声供給装置。
29. 前記判別手段の判別結果に基づいて前記処理手順の切り替わりを検知し、前記選択手段及び送出手段を、前記切り替わり後の処理手順と対応する前記信号遅延情報を送出するように制御する第３制御手段を更に備えることを特徴とする請求の範囲第２８項に記載の画像音声供給装置。
30. 前記音声処理装置から送られてくる前記信号遅延情報の送信要求を受信する受信手段と、前記送信手段を、前記送信要求に応じて前記信号遅延情報を送出するように制御する第４制御手段とを更に備えることを特徴とする請求の範囲第２５項に記載の画像音声供給装置。
31. 前記信号遅延情報生成手段は、
    前記信号遅延情報に、前記信号処理の実行状況を示す処理状況情報を含めることを特徴とする請求の範囲第２５項に記載の画像音声供給装置。
32. 前記信号遅延情報生成手段は、
    前記信号遅延情報に、前記画像信号及び前記音声信号の少なくとも一方の入出力経路を識別するための識別情報を含めることを特徴とする請求の範囲第２５項に記載の画像音声供給装置。
33. 画像信号と該画像信号に対して時系列的な対応関係にある音声信号とが少なくとも供給される第１伝送路と、前記第１伝送路から取得される前記画像信号に対して表示用の画像処理を施す画像処理装置と、前記第１伝送路から取得される前記音声信号に出力用の音声処理を施す音声処理装置と、前記画像処理装置と前記音声処理装置との間に介在する第２伝送路とを含み、
    前記画像処理装置と前記音声処理装置とは夫々、前記画像信号と前記音声信号とを前記第１伝送路から取得すると共に、
    前記画像処理装置は、前記実行中の又は実行しようとする画像処理に伴って生じる前記画像信号の遅延量を含んだ画像遅延情報を生成し、該画像遅延情報を前記音声処理装置に向けて前記第２伝送路に送出し、
    前記音声処理装置は、前記第２伝送路を介して前記画像処理装置から送出された前記画像遅延情報を受信し、前記画像信号と前記音声信号との時間差を補償するために前記受信された画像遅延情報に基づいて前記音声信号を遅延させる
    ことを特徴とする画像音声処理システム。
34. 画像信号と該画像信号に対して時系列的な対応関係にある音声信号とが少なくとも供給される第１伝送路と、前記画像信号と前記音声信号とを供給用の信号処理を施して前記第１伝送路に供給する画像音声供給装置と、前記第１伝送路から取得される前記音声信号に出力用の音声処理を施す音声処理装置と、前記画像音声供給装置と前記音声処理装置との間に介在する第３伝送路とを含み、
    前記画像音声供給装置は、前記信号処理後の画像信号及び音声信号の夫々を前記第１伝送路に供給すると共に、前記実行中の又は実行しようとする信号処理に伴って生じる、前記画像信号及び前記音声信号の少なくとも一方の遅延量を含んだ信号遅延情報を生成し、該信号遅延情報を前記第３伝送路に送出し、
    前記音声処理装置は、前記第１伝送路を介して前記音声信号を取得し、該取得した音声信号に出力用の音声処理を施すと共に、前記第３伝送路を介して前記信号遅延情報を受信し、前記受信された信号遅延情報に基づいて前記音声信号を遅延させる
    ことを特徴とする画像音声処理システム。
35. 画像信号と該画像信号に対して時系列的な対応関係にある音声信号とが少なくとも供給される第１伝送路と、前記第１伝送路から取得される前記画像信号に対して表示用の画像処理を施す画像処理装置と、前記第１伝送路から取得される前記音声信号に出力用の音声処理を施す音声処理装置とを含むシステムにおいて前記画像信号と前記音声信号とを同期させるための画像音声同期方法であって、
    前記画像処理装置と前記音声処理装置との間に介在する第２伝送路を構築するステップと、
    前記実行中の又は実行しようとする画像処理に伴って生じる前記画像信号の遅延量を含んだ画像遅延情報を生成するステップと、
    該取得された画像遅延情報を、前記音声処理装置に向けて前記第２伝送路に送出するステップと、
    前記画像処理装置と前記音声処理装置とが夫々前記第１伝送路から前記画像信号と前記音声信号とを取得するステップと、
    前記音声処理装置が、前記第２伝送路を介して前記画像処理装置から送出された前記画像遅延情報を受信するステップと、
    前記画像信号と前記音声信号との時間差を補償するために前記受信された画像遅延情報に基づいて前記音声信号を遅延させるステップと
    を含むことを特徴とする画像音声同期方法。
36. 画像信号と該画像信号に対して時系列的な対応関係にある音声信号とが少なくとも供給される第１伝送路と、前記画像信号と前記音声信号とを供給用の信号処理を施して前記第１伝送路に供給する画像音声供給装置と、前記第１伝送路から取得される前記音声信号に出力用の音声処理を施す音声処理装置と、前記画像音声供給装置と前記音声処理装置との間に介在する第３伝送路とを含むシステムにおいて前記画像信号と前記音声信号とを同期させるための画像音声同期方法であって、
    前記画像音声供給装置と前記音声処理装置との間に介在する第３伝送路を構築するステップと、
    前記実行中の又は実行しようとする信号処理に伴って生じる前記画像信号及び前記音声信号の少なくとも一方の遅延量を含んだ信号遅延情報を生成するステップと、
    該取得された信号遅延情報を、前記音声処理装置に向けて前記第３伝送路に送出するステップと、
    前記画像音声供給装置に、前記信号処理後の前記画像信号及び音声信号を前記第１伝送路に供給させるステップと、
    前記画像処理装置と前記音声処理装置とが夫々前記第１伝送路から前記画像信号と前記音声信号とを取得するステップと、
    前記音声処理装置が、前記第３伝送路を介して前記画像音声供給装置から送出された前記遅延情報を受信するステップと、
    前記画像信号と前記音声信号との時間差を補償するために前記受信された遅延情報に基づいて前記音声信号を遅延させるステップと
    を含むことを特徴とする画像音声同期方法。
    
    

Images