WO2006025441A1 - 画像処理装置、音声処理装置、画像音声供給装置、及び画像音声処理システム、並びに画像音声同期方法 - Google Patents

Abstract

　音声信号に対して時系列的な対応関係にある画像信号を取得し、取得された画像信号に、該画像信号の形式に応じた処理手順で表示用の画像処理を施す。実行中又は実行しようとする画像処理に伴って生じる画像信号の遅延量を含んだ画像遅延情報を生成する画像遅延情報生成手段と、出力用の音声処理を前記音声信号に施す音声処理装置に画像遅延情報を送出する送出手段とを備える。

Description

明 細 書

画像処理装置、音声処理装置、画像音声供給装置、及び画像音声処理 システム、並びに画像音声同期方法

技術分野

[0001] 本発明は、例えば記録媒体力 再生出力されたり、ディジタルインターフ イスを介 してネットワーク上に伝送されたりする画像信号及び音声信号による、画像表示及び 音声出力を行うために用いられる、画像処理装置及び音声処理装置に関する。また 、これら画像処理装置及び音声処理装置に記録媒体から再生した画像信号及び音 声信号を供給する画像音声供給装置、これら画像処理装置及び音声処理装置によ り画像表示と音声出力とを行う画像音声処理システム、並びにそのような画像と音声 とを同期再生させるための画像音声同期方法に関する。

背景技術

[0002] 米国電子電気技術者協会における IEEE1394などのインターフェイスの規格ィ匕と並 行して、電子機器のネットワーク化が進行している。 AV機器の場合は、 DVDプレー ャと、ディスプレイ、及び AVアンプをインターフェイスやネットワークで接続して、ホー ムシアター等のシステムを構築することが増えてきて 、る。

[0003] その場合のディスプレイには、 PDP (Plasma Display Panel)等の大型パネルが用い られる。 PDP等の内部回路のうち、パネルを駆動するドライバの前段は殆どディジタ ル化されており、 3次元 YZC分離、ノイズリダクション、輪郭補正、解像度変換等の ディジタル高画質ィ匕処理が更に追加されてゆく傾向にある。そして、こうしたディジタ ル画像処理の増加に伴って、画像表示が音声出力に遅れる現象が問題となってい る。

[0004] 画像と音声の再生時刻を一致させる（所謂リップシンクをとる）方法としては、デイジ タル画像処理に伴う画像信号の遅延分だけ音声信号を遅延させる方法が知られて いる (特許文献 1を参照)。

[0005] また、ネットワーク化に伴う複数の機器間での同期再生方法に関しては、特許文献 2に開示されている。即ち、ネットワークに接続された各種機器 (シンク機器群）は、シ ステム全体を統御するコントローラによって、受け取ったコンテンツデータの再生時刻 を指定される。再生時刻は、例えば、ネットワークディレイの最大値とシンク機器群の デコードディレイの最大値とを考慮して設定される。

[0006] 特許文献 1：特開 2002— 344898号公報

特許文献 2 :特開 2003— 037585号公報

発明の開示

発明が解決しょうとする課題

[0007] し力しながら、実際の画像信号の遅延量は、いつも一定であるとは限らない。画像 信号といっても、アナログかディジタル力、ディジタルでも MPEG— TSと DVとでは圧 縮方法が異なり、また SD (Standard Definition)か HD(High Definition)かでは解像度 が異なるなど、信号形式が異なれば、それに応じて必要な処理も異なってくる。その ため、必然的に夫々の処理内容に応じて遅延量が異なってくるので、リップシンクを 行う際には、このような遅延量の変化が問題となる。

[0008] 尚、リップシンクの自動調整は、特許文献 2の方法でも実現可能であるが、この方法 によれば、ディスプレイや AVアンプ等がディジタルネットワーク化されて!/、ることが前 提となる。そのためには、全ての機器が同一のディジタルの接続規格に対応している ことが条件となる。しかしながら、実際の機器は機種やメーカーによって接続方式が 異なる場合が殆どである。例えば、 DVDプレーヤとディスプレイとの接続には、コン ポジット信号、 S— Video信号、 D端子信号ないしコンポーネント信号等を伝送するァ ナログインターフェイス、或いは HDMI (High- Definition Multimedia Interface)により 映像信号を伝送するディジタルインターフェイスを適用する一方で、 DVDプレーヤと AVアンプとの接続には IEC60958、 IEEE1394等のディジタルインターフェイスを適用 する場合などが代表的であり、上述したような統一的なネットワーク接続は、現実に即 応しているとは言い難い。

[0009] 本発明は、例えば上記問題点に鑑みなされたものであり、機器間の接続方式の違 いにも柔軟に対応しつつリップシンクの常時自動調整が可能な画像処理装置、音声 処理装置、画像音声供給装置、及び画像音声処理システム、並びに画像音声同期 方法を提供することを課題とする。 課題を解決するための手段

[0010] (画像処理装置）

本発明の画像処理装置は上記課題を解決するために、音声信号に対して時系列 的な対応関係にある画像信号を取得する画像取得手段と、前記取得された画像信 号に、該画像信号の形式に応じた処理手順で表示用の画像処理を施す画像処理手 段と、前記実行中の又は実行しょうとする画像処理に伴って生じる前記画像信号の 遅延量を含んだ画像遅延情報を生成する画像遅延情報生成手段と、出力用の音声 処理を前記音声信号に施す音声処理装置に、前記画像遅延情報を送出する送出 手段とを備える。

[0011] 本発明の画像処理装置によれば、その動作時には、画像信号が取得され、取得さ れた画像信号に表示用の画像処理が施される。ここで、「表示用の画像処理」とは、 例えば高画質ィ匕処理等の、 PDP等の表示パネルを駆動させるために、伝送路上か ら取得した画像信号に施す処理を指す。処理後の画像信号は、外部の或いは内蔵 されたディスプレイドライバに出力され、ディスプレイを駆動するのに用いられる。この ような画像処理は、取得される画像信号の形式に応じて必要な処理内容が異なって くる。即ち、画像処理手段では、信号形式に応じて異なった手順で画像処理が施さ れ、それに応じて、この画像処理装置における画像信号の遅延量は時間的に変動 する可能性がある。

[0012] 本発明の画像処理装置では、こうした変動値である画像信号の遅延量、更にはこ の遅延量を含む情報 (即ち、画像遅延情報)の取得ないし生成が、画像処理と並行 して、又は画像処理に先立って行われる。即ち、 "画像処理装置における、画像信号 の現在の遅延量又はこれ力 実行される処理に伴う遅延量"が取得される。ここで「 画像信号の遅延量」とは、画像処理に伴う画像信号の遅れの指標量であり、例えば、 画像処理装置内における画像信号の各種処理の前後での時間遅れや、画像信号 が画像処理装置に入出力することで生じる時間ずれ、或いは画像処理後の画像信 号の音声信号に対する相対的遅延量として表現できる。

[0013] また、「画像遅延情報」は、画像信号と音声信号との同期処理に必要な情報のうち 、上記の遅延量を含めた画像処理装置側の情報である。即ち、画像信号の遅延量 の他にも、例えば、処理中の画像信号の信号形式や遅延量を取得した時刻等の情 報が適宜に含まれていてよい。ここでは、画像遅延情報は、 "処理中の画像信号の 遅延量を含んだ情報"として生成される。尚、ここで「生成する」とは、音声処理装置 に送出すべき画像遅延情報が各時点で新たに生成されるという趣旨であり、いくつか の遅延量ないし遅延情報の中から一つを選択するような場合も含まれる。また、前述 したように、遅延量は画像処理における処理手順によっても変化することから、画像 遅延情報は、遅延する画像信号と処理手順との対応関係において把握ないし生成 されることが望ましい。

[0014] 生成された画像遅延情報は、この画像処理装置に取得される画像信号と対応関係 にある音声信号を受信する音声処理装置に対して伝送される。本発明では、音声処 理装置に画像遅延情報を与えることから、画像遅延情報に応じて音声信号を遅延さ せるように構成された音声処理装置 (即ち、本発明の音声処理装置)を適用すること によってリップシンクの自動調整が実現可能である。

[0015] 言い換えると、本発明の画像処理装置は、音声処理装置を最終的な画像音声の 同期手段とし、例えばオーディオディレイ用メモリ等を使って音声信号を遅延させるこ とで、画像処理に伴う画像信号の遅延を補償するようなシステムに適用される。この 画像処理装置は、音声処理装置に対して画像遅延情報を送出する。しかも、ここで 送出される画像遅延情報は、画像処理装置で実行中又は実行しょうとする処理手順 に対応していることから、常時、適正なリップシンクが可能である。

[0016] このように、本発明の画像処理装置は、通常の画像処理装置に対し、 (1)画像処理 手順と対応する画像遅延情報を画像処理と並行して生成し、 (2)画像遅延情報を音 声処理装置に向けて送出するような改変を施すことで実現される。尚、この画像処理 装置は、画像表示を行う表示パネルと一体化されていてもよいし、表示パネルの駆動 部に画像信号を供給する装置として、表示パネルとは別体として構成されてもよい。

[0017] 本発明の画像処理装置の一態様では、前記音声処理装置とは別体として構成され る。

[0018] この態様によれば、画像処理装置は音声処理装置とは別途構成されている。その ような画像処理装置と音声処理装置とに画像や音声を供給する一般的なシステムで は、これらの間に画像音声以外の情報のやり取りを行うための手段 (即ち、情報送受 信用のインターフェイス）は存在しないので、音声処理装置は画像遅延情報を知り得 ず、オーディオディレイによるリップシンクは困難である。

[0019] これに対し、本発明の画像処理装置は、音声処理装置との間で画像遅延情報のや り取りを行うので、音声処理装置によるオーディオディレイを利用したリップシンクが可 能である。

[0020] 本発明の画像処理装置の他の態様では、前記音声処理装置が、少なくとも前記画 像信号及び前記音声信号が供給される第 1伝送路から前記音声信号を取得すると 共に、前記画像取得手段は、前記第 1伝送路から前記画像信号を取得し、前記送出 手段は、前記音声処理装置に向けて前記画像遅延情報を前記音声処理装置との間 に介在する第 2伝送路に送出する。

[0021] この態様によれば、画像処理装置は、第 1伝送路から画像信号を取得する。この「 第 1伝送路」は、少なくとも、時系列的な対応関係にある画像信号と音声信号とが共 に供給される情報伝送媒体であり、本発明の画像処理装置が画像信号を取得する 他、音声処理装置が音声情報を取得するように構成されている。尚、第 1伝送路は、 単一の伝送路とは限らず、例えば画像信号と音声信号とを別々に伝送する、 2以上 の情報伝送媒体であってよい。ここでいう「伝送路」は、有線に限らず無線通信媒体 をも含んでいる。

[0022] また、ここでは、画像遅延情報の送受は、第 2伝送路を介して画像処理装置と音声 処理装置との間で直接行われる。但し、第 1伝送路が例えばシリアルノ スによるネット ワークであるような場合は、第 2伝送路は第 1伝送路と部分的に経路を共有しても構 わない。

[0023] これは、一見伝送路が増えてシステムを複雑ィ匕させるように見えるが、このように画 像遅延情報を直接やり取りするパスを確保しておけば、本来的に必要とされる第 1伝 送路にどのようなインターフェイス形式が適用されていても、それに依存することなく 画像遅延情報をやり取りできるため、汎用性の高い装置構成となり、リップシンクの常 時自動調整を簡単かつ確実に実現することができる。

[0024] このように、本態様の画像処理装置は、音声処理装置との間に画像遅延情報のや り取りが可能な第 2伝送路を、画像信号や音声信号の送受に関わる第 1伝送路とは 特に関係なく確立するようにしたので、第 1伝送路における信号形式等の問題を全く 考慮せずに、容易かつ確実に音声処理装置に画像遅延情報を送出することが可能 となっている。従って、装置間の接続方式の違いにも柔軟に対応しつつ、音声処理 装置にリップシンクを実行させることができる。

[0025] 本発明の画像処理装置の他の態様では、前記画像遅延情報生成手段は、前記画 像処理に伴って生じる前記画像信号の遅延量を含む格納情報を、前記処理手順と 対応させて予め格納する格納手段と、前記画像処理に際して前記実行中の又は実 行しょうとする処理手順を判別する判別手段と、前記判別された処理手順に対応す る前記格納情報を、前記格納手段を参照して選択する選択手段とを含み、前記画像 遅延情報を、前記選択された格納情報を含む情報として生成する。

[0026] この態様によれば、画像処理装置には、複数の画像遅延量が処理手順と対応させ て予め格納される。即ち、画像処理手段では、信号形式に応じて異なった手順で画 像処理が施されるが、その処理手順は画像処理手段内の回路構成等と対応してパ ターン化されて!/ヽることから、処理手順に応じて複数存在する画像信号の遅延量 (即 ち、画像遅延量）は、予め認知可能である。そこで本態様では、これら画像遅延量の パターン情報を格納情報として格納しておく。実際の格納情報は、例えば画像遅延 量と処理手順とのテーブルなどの画像遅延量を含んだ情報である。そして、画像処 理に際して、実行中の又は実行しょうとする処理手順が判別され、判別された処理手 順に対応する格納情報が格納手段から選択される。

[0027] このとき選択された格納情報における画像遅延量は、まさに"画像信号の現在の遅 延量又はこれから実行される処理に伴う遅延量"であり、最終的にはこれを含むような 画像遅延情報が生成される。よって、常時、適正なリップシンクが可能である。

[0028] この態様では、前記判別手段の判別結果に基づ!/、て前記処理手順の切り替わりを 検知し、前記選択手段及び前記送出手段を、前記切り替わり後の処理手順と対応す る前記画像遅延情報を送出するように制御する第 1制御手段を更に備えるようにして ちょい。

[0029] この場合、画像遅延情報は、画像処理装置内における処理手順の切り替わりをき つかけとして送出される。処理手順は、取得される画像信号の形式が変わることで切 り替わり、それに応じて画像遅延量も変化する。即ち、この場合には、画像遅延量の 変化に即応して音声処理装置側の画像遅延情報を更新することができ、常に適正な リップシンクが可能となる。

[0030] 本発明の画像処理装置の他の態様では、前記第 2伝送路を介して前記音声処理 装置から送られてくる前記画像遅延情報の送信要求を受信する受信手段と、前記選 択手段及び前記送信手段を、前記送信要求に応じて前記画像遅延情報を送出する ように制御する第 2制御手段とを更に備える。

[0031] この態様によれば、画像遅延情報は、音声処理装置から送信要求を受け取ること をきつかけとして送出される。この場合の画像処理装置は、画像遅延情報の送出タイ ミングの少なくとも一部を音声処理装置に制御される。そのため、画像処理装置と音 声処理装置とが連動して遅延情報を管理するシステムを構築することができる。

[0032] 本発明の画像処理装置の他の態様では、前記画像遅延情報生成手段は、前記画 像遅延情報に、前記画像処理の実行状況を示す処理状況情報を含める。

[0033] この態様によれば、音声処理装置に処理状況情報を知らせることができる。「処理 状況情報」は、この画像処理装置の動作状況を表す。

[0034] 音声処理装置からの要求に応じて画像遅延情報を応答するような場合、動作状態 等によっては、そうした情報を送り返せない場合がある。例えば、画像処理装置の有 効な入力端子が切り換えられると、内部の信号処理経路が準備されるが、この時点 で要求を受信しても、画像処理装置は、少なくとも画像信号を実際に受信してその信 号形式が判別されるまでは遅延量を確定することができな 、ので、この処理に対応 する画像遅延情報を返すことができな ヽことがある。

[0035] この場合、要求の受領が拒否されてしまうと、音声処理装置側では何故拒否された のかが分力もなくなるため、次にリトライすべきか処理を中断すべきかの判断ができな いことになる。

[0036] 本態様のように画像処理装置が処理状況情報を送ることができるようにすれば、画 像遅延情報を受信する音声処理装置では、そのような場合の状況判断が可能になる 。その結果、音声処理装置における音声信号の遅延に係る処理を的確に実行せし めることができる。

[0037] 本発明の画像処理装置の他の態様では、前記画像遅延情報生成手段は、前記画 像遅延情報に、少なくとも前記画像信号の入出力経路を識別するための識別情報を 含める。

[0038] この態様によれば、画像処理装置は、画像信号の遅延に関する情報と共に、入出 力経路を識別するための情報を音声処理装置に送出する。入出力経路を識別する ための情報とは、具体的には、画像信号の入出力方向、或いは入出力に際して用い る端子を識別する情報等である。尚、音声信号の入出力が行われる場合には、この 音声信号に関する識別情報もまた、音声処理装置に送出されてよい。

[0039] 例えば、画像処理装置は、複数種類の画像入力端子を備えて ヽることが多!ヽ。こ れらの端子は、アナログ、 HDMI等に対応している。画像処理装置は、これら複数の 入力端子力 画像信号を同時に取り込むことができる。画像処理装置へ画像信号が 入力される前に遅延情報を確定させる場合、映像を表示するまでの画像処理装置内 での入力端子からの信号経路及び信号処理が各入力端子で変わるため、遅延量が 異なってくることがある。従って、画像信号の入力経路 (具体的には、入力端子の種 別）を指定しなければ、画像処理装置は、音声処理装置に知らせるべき遅延量を確 定することができない。

[0040] また、画像処理装置が TV受像機であって、受信した音声信号を音声処理装置に 出力するような場合等には、画像処理装置の出力端子においても入力端子と同様の 事態が生じ得る。即ち、画像処理装置が複数種類の出力端子を備えている場合、出 力端子までの信号経路及び信号処理が変わるため、遅延量が異なってくることがあ る。特に、音声信号をアナログ出力する際には、圧縮音声をデコードする必要がある ので、 IEC60958などとは出力までに生じる遅延時間が変わる。

[0041] これに対し、音声処理装置と画像処理装置とが画像遅延情報の付加情報として識 別情報をやり取りするようにすれば、音声処理装置に、画像処理装置内の信号入出 力経路に対応する画像遅延情報を取得させることができる。その結果、音声処理装 置における音声信号の遅延に係る遅延量の精度を高めることが可能となる。

[0042] (音声処理装置） 本発明の第 1の音声処理装置は上記課題を解決するために、画像信号に対して時 系列的な対応関係にある音声信号を取得する音声取得手段と、前記取得された音 声信号に、出力用の音声処理を施す音声処理手段と、前記画像信号に表示用の画 像処理を施す画像処理装置から送出される、前記実行中の又は実行しょうとする画 像処理に伴って生じる前記画像信号の遅延量を含む画像遅延情報を受信する受信 手段と、前記画像信号と前記音声信号との時間差を補償するために前記受信された 画像遅延情報に基づいて前記音声信号を遅延させる遅延手段とを備える。

[0043] 本発明の第 1の音声処理装置によれば、その動作時には、音声信号が取得され、 取得された音声信号に出力用の音声処理が施される。ここで「出力用の音声処理」と は、スピーカ等の音声出力器を駆動させるために伝送路上から取得した音声信号に 施す処理、例えば種々の圧縮音声復号化、スピーカから出力させるための増幅、臨 場感を高めたり、セリフと効果音のバランスを調整したりする DSP (Digital Signal Proce ssor)による音質処理等を指す。処理後の音声信号は、外部の或いは内蔵のドライバ に出力され、スピーカやヘッドホン等を駆動するのに用いられる。

[0044] 本発明の音声処理装置は更に、この音声信号と時系列的な対応関係にある画像 信号に画像処理を施す、上述の画像処理装置から、画像遅延情報を受け取り、この 画像遅延情報に基づ ヽて音声信号を遅延させるように構成されて ヽる。画像遅延情 報は、画像処理装置にて実行中の又はこれから実行しょうとする画像処理に係る遅 延情報である。

[0045] 即ち、この音声処理装置は、画像と音声を最終的に同期させる手段として機能し、 音声信号を遅延させることで画像処理に伴う画像信号の遅延を補償するようなシステ ムに適用される。しカゝも、ここで受信される画像遅延情報は、画像処理装置で実行中 の画像処理による画像信号の遅延量を反映しており、常時、適正なリップシンクが可 能である。

[0046] 本発明の第 1の音声処理装置の一態様では、前記画像処理装置とは別体として構 成される。

[0047] この態様によれば、音声処理装置は画像処理装置とは別途構成されている。但し、 本発明の音声処理装置は、画像処理装置との間で画像遅延情報のやり取りが可能 なために、音声処理装置によるオーディオディレイを利用したリップシンクが可能であ る。

[0048] 本発明の第 1の音声処理装置の他の態様では、前記画像処理装置が、少なくとも 前記画像信号及び前記音声信号が供給される第 1伝送路から前記音声信号を取得 すると共に、前記音声取得手段は、前記第 1伝送路から前記音声信号を取得し、前 記受信手段は、前記映像処理装置との間に介在する第 2伝送路から前記画像遅延 情報を受信する。

[0049] この態様によれば、音声処理装置は、第 1伝送路から音声信号を取得する。ここで いう「第 1伝送路」及び「第 2伝送路」は、本発明の画像処理装置における第 1伝送路 及び第 2伝送路と同義である。

[0050] 従って、本発明の画像処理装置の項で説明したように、画像遅延情報の送受は、 第 2伝送路により画像処理装置と音声処理装置との間で直接行われるために、第 1 伝送路に適用されるインターフェイス形式の自由度を犠牲にすることなく画像遅延情 報の送受を簡便かつ確実に実現することができる。尚、このように第 1伝送路とは別 に第 2伝送路を設定する装置構成は、汎用性が高 、と 、う利点を有して 、る。

[0051] 本発明の第 1の音声処理装置の他の態様では、前記遅延手段は、前記受信手段 が前記画像遅延情報を受信する度に前記受信された画像遅延情報に基づいて前 記音声信号の遅延量を更新する。

[0052] この態様によれば、音声信号の遅延に利用する画像遅延情報は、画像処理装置 力 受信する度に更新されるので、常に適正なリップシンクが可能となる。

[0053] 本発明の第 1の音声処理装置の他の態様では、前記画像遅延情報の送信を要求 する送信要求を、前記画像処理装置に送出する第 1送信手段を更に備える。

[0054] この態様によれば、音声処理装置は、自ら画像処理装置に送信要求することで画 像遅延情報を能動的に取得する。そのため、画像処理装置と音声処理装置とが連 動して遅延情報を管理するシステムを構築することができる。

[0055] 本発明の第 1の音声処理装置の他の態様では、前記実行中の又は実行しようとす る音声処理に伴って生じる前記音声信号の遅延量を含んだ音声遅延情報を生成す る音声遅延情報生成手段を更に備え、前記遅延手段は、前記音声遅延情報にも基 づ 、て前記音声信号を遅延させる。

[0056] この態様によれば、音声処理装置は、最終的な画像音声の同期手段として画像遅 延情報だけでなく音声遅延情報にも基づいてリップシンクを行う。

[0057] 現状では、画像信号の遅延のほうが大きいものの、実際には、音声処理に伴い音 声信号にも多少の遅延が生じる。即ち、音声処理においても上述した画像処理と同 様、音声信号がアナログかディジタルか等に応じて、その遅延量が変わることがある 。こうした変動値である音声信号の遅延量の取得、更にはこの遅延量を含む情報 (即 ち、音声遅延情報)の生成が、音声処理と並行して行われる。即ち、 "音声処理装置 における、音声信号の現在の遅延量又はこれから実行される処理に伴う遅延量"が 取得される。

[0058] このように、画像処理装置における画像遅延情報と音声処理装置における音声遅 延情報との両方を考慮することで、画像信号と音声信号の時間ずれをより正確に補 償することができ、適正なリップシンクが可能となる。

[0059] 本発明の第 1の音声処理装置の他の態様では、前記画像遅延情報は、前記画像 処理の実行状況を示す処理状況情報を含む。

[0060] この態様によれば、画像遅延情報として、画像処理装置の処理状況情報を知ること ができる。この場合の音声処理装置は、上述のような画像処理の実況が伝わることで

、音声信号の遅延に係る処理を的確に行うことが可能となる。

[0061] 本発明の第 1の音声処理装置の他の態様では、前記画像遅延情報は、少なくとも 前記画像信号の入出力経路を識別するための識別情報を含む。

[0062] この態様によれば、画像処理装置より、画像信号の遅延に関する情報と共に、入出 力経路を識別するための情報が受信される。尚、画像処理装置においても音声信号 の入出力が行われる場合には、この音声信号に関する識別情報もまた受信されてよ い。

[0063] このように、音声処理装置と画像処理装置とが画像遅延情報の付加情報として識 別情報をやり取りするようにすれば、音声処理装置は、画像処理装置内の信号入出 力経路に対応する画像遅延情報を取得することができる。その結果、この音声処理 装置における音声信号の遅延に係る遅延量の精度を高めることが可能となる。 [0064] また、この場合の音声処理装置は、こうした識別情報を画像処理装置に対する遅 延情報取得要求につけて遅延情報を問い合わせることで、適切な入出力端子同士 を接続し各信号が伝送されているカゝ否かを判断することも可能となる。例えば、 DVD プレーヤ等の信号源となる画像音声供給装置の映像出力端子がアナログケーブル のみで画像処理装置に接続され、画像処理装置は HDMIでしかディスプレイに接続 されて 、な 、場合などで、画像処理装置力もディスプレイへの画像信号のための接 続はアナログケーブルで接続するようにユーザへ促すことが可能となる。

[0065] 本発明の第 2の音声処理装置は上記課題を解決するために、画像信号と該画像 信号に対して時系列的な対応関係にある音声信号とを供給用の信号処理後に供給 する画像音声供給装置から、前記音声信号を取得する音声取得手段と、前記取得さ れた音声信号に、出力用の音声処理を施す音声処理手段と、前記画像音声供給装 置力 送出される、前記実行中の又は実行しょうとする信号処理に伴って生じる前記 画像信号及び音声信号の少なくとも一方の遅延量を含む信号遅延情報を受信する 受信手段と、前記画像信号と前記音声信号との時間差を補償するために前記受信さ れた信号遅延情報に基づいて前記音声信号を遅延させる遅延手段とを備える。

[0066] 本発明の第 2の音声処理装置によれば、音声処理装置は、画像と音声を最終的に 同期させる手段として、画像音声供給装置における信号遅延情報に基づいてリップ シンクを行う。ここで、「画像音声供給装置」は、画像処理装置及び音声処理装置に 対する信号供給源であり、画像信号及び音声信号を、圧縮等の供給用の信号処理 の後に供給するように構成されている。また、「供給用の信号処理」とは、表示パネル やスピーカ等の AV機器を駆動させるために、画像信号及び音声信号を記録媒体か ら再生して、画像処理装置及び音声処理装置に供給するために施す処理を指す。

[0067] この供給用の信号処理においても、画像信号、音声信号には処理内容に応じて遅 延が生じる (生じない場合もある)。そこで、音声処理装置は、画像音声供給装置が「 信号遅延情報」として送出する、信号処理に伴って生じる画像信号な!/、し音声信号 の遅延量を含む情報を受信する。信号遅延情報は、画像音声供給装置にて現在実 行中の、又はこれから実行されようとする信号処理に係る遅延情報である。尚、信号 遅延情報では、画像信号の遅延量と音声の遅延量との夫々を個別に取り扱ってもよ いし、両者の差分を取り扱ってもよい。

[0068] このように本発明では、信号遅延情報を考慮することで、画像信号と音声信号の時 間ずれを正確に導き出すことができ、適正なリップシンクを常時、自動で行うことが可 能となる。

[0069] 本発明の第 2の音声処理装置の一態様では、前記画像音声供給装置とは別体とし て構成される。

[0070] この場合の作用及び効果は、第 1の音声処理装置を画像処理装置とは別体として 構成した場合と同様である。即ち、画像音声供給装置との間で画像遅延情報のやり 取りが可能なために、音声処理装置によるオーディオディレイを利用したリップシンク が可能である。

[0071] 本発明の第 2の音声処理装置の他の態様では、前記画像音声供給装置が、前記 画像信号及び前記音声信号を前記第 1伝送路に供給すると共に、前記音声取得手 段は、前記第 1伝送路から前記音声信号を取得し、前記受信手段は、前記映像音声 供給装置との間に介在する第 3伝送路から前記信号遅延情報を受信する。

[0072] この態様によれば、音声処理装置は、第 1伝送路から音声信号を、第 3伝送路から 信号遅延情報を夫々取得する。ここでいう「第 1伝送路」は、本発明の画像処理装置 における第 1伝送路と同義である。また、「第 3伝送路」は、画像音声供給装置から音 声処理装置への信号遅延情報の供給用に確立される伝送路であり、本発明の画像 処理装置における第 2伝送路と同様、第 1伝送路とは別にインターフェイス形式が設 定されるが、実際には第 1伝送路の一部として構築されても構わない。

[0073] この場合、信号遅延情報の送受は、第 3伝送路により画像音声供給装置と音声処 理装置との間で直接行われる。このように、前述した第 2伝送路と同様の考え方に基 づいて第 3伝送路を設定するようにしたので、第 1伝送路に適用されるインターフェイ ス形式の自由度を犠牲にすることなく遅延情報の送受を簡便かつ確実に実現でき、 装置構成の汎用性が高 、と 、う利点がある。

[0074] 本発明の第 2の音声処理装置の他の態様では、前記遅延手段は、前記受信手段 が前記遅延情報を受信する度に前記受信された遅延情報に基づいて前記音声信 号の遅延量を更新する。 [0075] この態様によれば、音声信号の遅延に利用する遅延情報は、画像音声供給装置 力 受信する度に更新されるので、常に適正なリップシンクが可能となる。

[0076] 本発明の第 2の音声処理装置の他の態様では、前記遅延情報の送信を要求する 送信要求を、前記画像音声供給装置に送出する第 2送信手段を更に備える。

[0077] この態様によれば、音声処理装置は自ら画像音声供給装置に送信要求することで 、遅延情報を能動的に取得する。そのため、画像音声供給装置と音声処理装置とが 連動して遅延情報を管理するシステムを構築することができる。

[0078] 本発明の第 2の音声処理装置の他の態様では、前記実行中の又は実行しようとす る音声処理に伴って生じる前記音声信号の遅延量を含んだ音声遅延情報を生成す る音声遅延情報生成手段を更に備え、前記遅延手段は、前記音声遅延情報にも基 づ 、て前記音声信号を遅延させる。

[0079] この態様によれば、音声処理装置は、最終的な画像音声の同期手段として信号遅 延情報だけでなく音声遅延情報にも基づいてリップシンクを行う。よって、画像信号と 音声信号の時間ずれをより正確に補償することができ、適正なリップシンクが可能と なる。

[0080] 本発明の第 2の音声処理装置の他の態様では、前記信号遅延情報は、前記信号 処理の実行状況を示す処理状況情報を含む。

[0081] この態様によれば、信号遅延情報として、画像音声供給装置の処理状況情報を知 ることができる。ここでいう「処理状況情報」は、この画像音声供給装置の動作状況を 表す。

[0082] 画像音声供給装置は、音声処理装置からの要求に応じて信号遅延情報を応答す るような場合、動作状態等によっては、そうした情報を送り返せない場合がある。例え ば、装置内の有効な入力端子が切り換えられると、内部の信号処理経路が準備され るが、この時点で要求を受信しても、画像音声供給装置は、少なくとも画像信号ない し音声信号を実際に受信してその信号形式が判別されるまでは遅延量を確定するこ とができな 、ので、この処理に対応する信号遅延情報を返すことができな 、ことがあ る。

[0083] この場合、要求の受領が拒否されてしまうと、音声処理装置側では何故拒否された のかが分力もなくなるため、次にリトライすべきか処理を中断すべきかの判断ができな いことになる。

[0084] これに対し、本態様のように画像音声供給装置が処理状況情報を送ることができる ようにすれば、音声処理装置は、上述のような信号処理の実況が伝わることで、音声 信号の遅延に係る処理を的確に行うことが可能となる。

[0085] 本発明の第 2の音声処理装置の他の態様では、前記信号遅延情報は、前記画像 信号及び前記音声信号の少なくとも一方の入出力経路を識別するための識別情報 を含む。

[0086] この態様によれば、画像音声供給装置より、画像信号及び音声信号 (の少なくとも 一方)の遅延に関する情報と共に、これらの入出力経路を識別するための情報が受 信される。

[0087] 例えば、 DVDプレーヤ等の画像音声供給装置は、通常、複数種類の画像出力端 子及び音声出力端子を備えている。これらの端子は、音声出力に対してはアナログ や IEC60958、 IEEE1394等に対応しており、画像出力に対してはアナログ、 HDMI等 に対応している。音声出力を例にとると、画像音声供給装置は、出力端子より先の接 続には関係なぐアナログ、 IEC60958等の複数の出力端子力 音声信号を同時に出 力することができる。その際、出力タイミングのずれることで、端子間で出力信号の遅 延量が異なってくることがある。具体的には、画像音声供給装置側において圧縮音 声をデコードしてアナログ出力する場合と、 IEC60958でディジタル出力する場合がそ れに対応する。この場合に生じる遅延差まで考慮するのであれば、音声信号の出力 経路 (具体的には、出力端子)を指定しなければ、画像音声供給装置は、音声処理 装置に知らせるべき遅延量を確定することができな ヽ。

[0088] これに対し、音声処理装置と画像音声供給装置とが信号遅延情報の付加情報とし て識別情報をやり取りするようにすれば、音声処理装置は、画像音声供給装置内の 信号入出力経路に対応する信号遅延情報を取得することができる。その結果、この 音声処理装置における音声信号の遅延に係る遅延量の精度を高めることが可能とな る。

[0089] また、この場合の音声処理装置は、こうした識別情報を画像音声供給装置に対す る遅延情報取得要求につけて信号遅延情報を問い合わせることで、適切な入出力 端子同士を接続し各信号が伝送されている力否かを判断することも可能となる。例え ば、 DVDプレーヤ等の信号源となる画像音声供給装置の映像出力端子がアナログ ケーブルのみで画像処理装置に接続され、画像処理装置は HDMIでしかディスプ レイに接続されて 、な 、場合などで、画像処理装置力もディスプレイへの画像信号 のための接続はアナログケーブルで接続するようにユーザへ促すことが可能となる。

[0090] (画像音声供給装置）

本発明の画像音声供給装置は上記課題を解決するために、画像信号と該画像信 号に対して時系列的な対応関係にある音声信号とが記録された記録媒体力 前記 画像信号及び音声信号を再生する再生手段と、前記再生された画像信号及び音声 信号に対して夫々の信号形式に応じた処理手順で供給用の信号処理を施す信号処 理手段と、前記信号処理後の画像信号及び音声信号の夫々を、前記画像信号に表 示用の画像処理を施す画像処理装置及び前記音声信号に出力用の音声処理を施 す音声処理装置に供給する供給手段と、前記実行中の又は実行しょうとする信号処 理に伴って生じる前記画像信号及び前記音声信号の少なくとも一方の遅延量を含 む信号遅延情報を生成する信号遅延情報生成手段と、前記信号遅延情報を、前記 音声処理装置に送出する送出手段とを備える。

[0091] 本発明の画像音声供給装置によれば、その動作時には、 DVD等の記録媒体から 画像信号及び音声信号が再生され、再生された画像信号及び音声信号に対して夫 々の信号形式に応じた処理手順で供給用の信号処理が施される。そして、処理後の 画像信号及び音声信号は、画像処理装置及び音声処理装置の夫々に供給される。 前述のように、この「供給用の信号処理」においても、信号形式に応じて圧縮等の処 理手順が異なる等の理由で、処理内容に応じて画像信号ないし音声信号の遅延量（ 即ち、信号遅延量)が異なる可能性がある。ここでいう「画像信号及び音声信号の少 なくとも一方の遅延量」とは、上記信号処理に伴う画像信号又は音声信号の遅延の 指標量であり、例えば、画像音声供給装置内における画像信号又は音声信号の各 種処理の前後での時間遅れや、画像信号又は音声信号がこの画像音声供給装置 に入出力することで生じる時間ずれ、或いは信号処理後の画像信号と音声信号との 相対的遅延量として表現できる。

[0092] 本発明の画像音声供給装置では、こうした時間的変動値である信号遅延量、或！、 は更に他の情報をも含めた情報の取得ないし生成が、信号処理と並行して、或いは 信号処理に先立って実行される。即ち、 "画像信号供給装置における、現在の信号 遅延量又はこれから実行される処理に伴う信号遅延量"が取得ないし生成される。前 述したように、遅延量は信号処理における処理手順によっても変化することから、信 号遅延情報は、遅延する画像信号ないし音声信号と処理手順との対応関係におい て把握な 、し生成されることが望まし 、。

[0093] こうして生成された信号遅延情報は、この画像音声供給装置から音声信号が供給 される音声処理装置に対して送出される。本発明では、このように音声処理装置に信 号遅延情報を与えることから、信号遅延情報に応じて音声信号を遅延させるように構 成された音声処理装置 (即ち、本発明の音声処理装置）を適用することによってリツ プシンクの自動調整が実現可能である。

[0094] 言い換えると、本発明の画像音声供給装置は、音声処理装置を最終的な画像音 声の同期手段とし、例えばオーディオディレイ用メモリ等を使って音声信号を遅延さ せることで、上記信号処理に伴う画像信号の遅延を補償するようなシステムに適用さ れる。この画像音声供給装置は、音声処理装置に対して"現在の信号遅延情報"を 送出することから、常時、適正なリップシンクが可能である。

[0095] このように、本発明の画像音声供給装置は、通常の画像音声供給装置に対し、 (1) 信号処理手順と対応する信号遅延情報を信号処理と並行して生成し、 (2)信号遅延 情報を音声処理装置に向けて送出するような改変を施すことで実現される。

[0096] 本発明の画像音声供給装置の一態様では、前記音声処理装置とは別体として構 成されている。

[0097] この態様によれば、音声処理装置は画像音声供給装置とは別途構成されている。

但し、本発明の音声処理装置は、画像音声供給装置との間で信号遅延情報のやり 取りが可能なために、音声処理装置によるオーディオディレイを利用したリップシンク が可能である。

[0098] 本発明の画像音声供給装置の他の態様では、前記供給手段は、前記信号処理後 の前記画像信号及び前記音声信号の夫々を、前記画像処理装置及び前記音声処 理装置の夫々との間に介在する第 1伝送路に供給し、前記送出手段は、前記音声 処理装置に向けて前記信号遅延情報を前記音声処理装置との間に介在する第 3伝 送路に送出する。

[0099] この態様によれば、画像音声供給装置は、第 1伝送路に画像信号及び音声信号を 供給する一方で、第 3伝送路に信号遅延情報を送出する。ここでいう「第 1伝送路」及 び「第 3伝送路」は、本発明の第 2の音声処理装置における第 1伝送路及び第 3伝送 路と同義である。

[0100] この場合、信号遅延情報の送受は、第 3伝送路により画像音声供給装置と音声処 理装置との間で直接行われる。このように、前述した第 2伝送路と同様の考え方に基 づいて第 3伝送路を設定するようにしたので、第 1伝送路に適用されるインターフェイ ス形式の自由度を犠牲にすることなく遅延情報の送受を簡便かつ確実に実現でき、 装置構成の汎用性が高 、と 、う利点がある。

[0101] 本発明の画像音声供給装置の他の態様では、前記信号遅延情報生成手段は、前 記信号処理に伴って生じる前記画像信号及び前記音声信号の少なくとも一方の遅 延量を含む格納情報を前記処理手順と対応させて予め格納する格納手段と、前記 信号処理に際して前記実行中の又は実行しょうとする処理手順を、前記少なくとも一 方につ 、て判別する判別手段と、前記判別された処理手順に対応する前記格納情 報を、前記格納手段を参照して選択する選択手段とを含み、前記信号遅延情報を、 前記選択された格納情報を含む情報として生成する。

[0102] この態様によれば、画像音声供給装置には、処理手順に対応させた画像信号ない し音声信号の少なくとも一方の遅延量 (即ち、信号遅延量)が予め格納されている。 即ち、この画像音声供給装置には、本発明の画像処理装置と同様の考え方に基づ いて、信号遅延量を含んでおり、処理手順毎にパターン化された情報が、格納情報 として格納される。実際の格納情報は、例えば、信号遅延量と処理手順とのテーブル などである。

[0103] そして、信号処理に際して、実行中の又は実行しょうとする処理手順が判別され、 判別された処理手順に対応する格納情報が格納手段から選択される。このとき選択 された格納情報における信号遅延量は、まさに"現在の信号遅延量又はこれから実 行しょうとする信号処理に伴う信号遅延量"であり、最終的には、これを含むような信 号遅延情報が生成される。よって、常時、適正なリップシンクが可能である。

[0104] 尚、この態様では、前記判別手段の判別結果に基づ!/、て前記処理手順の切り替わ りを検知し、前記選択手段及び送出手段を、前記切り替わり後の処理手順と対応す る前記信号遅延情報を送出するように制御する第 3制御手段を更に備えるようにして ちょい。

[0105] この場合、信号遅延情報は、画像音声供給装置内における処理手順の切り替わり をきつかけとして送出される。処理手順は、再生される画像信号ないし音声信号の形 式が変わることで切り替わり、それに応じて画像信号ないし音声信号の遅延量 (即ち 、信号遅延量)も変化する。そのため、この信号遅延量の変化に即応して音声処理 装置側の信号遅延情報を更新することができ、常に適正なリップシンクが可能である

[0106] 本発明の画像音声供給装置の他の態様では、前記音声処理装置から送られてくる 前記信号遅延情報の送信要求を受信する受信手段と、前記送信手段を、前記送信 要求に応じて前記信号遅延情報を送出するように制御する第 4制御手段とを更に備 える。

[0107] この態様によれば、遅延情報は、音声処理装置から送信要求を受け取ることをきつ 力けとして送出される。この場合の画像音声供給装置は、信号遅延情報の送出タイミ ングの少なくとも一部を音声処理装置に制御される。そのため、画像音声供給装置と 音声処理装置とが連動して信号遅延情報を管理するシステムを構築することができ る。

[0108] 本発明の画像音声供給装置の他の態様では、前記信号遅延情報生成手段は、前 記信号遅延情報に、前記信号処理の実行状況を示す処理状況情報を含める。

[0109] この態様によれば、音声処理装置に処理状況情報を知らせることができる。「処理 状況情報」は、この画像処理装置の動作状況を表す。このように画像音声供給装置 が処理状況情報を送ることができるようにすれば、信号遅延情報を受信する音声処 理装置では、上述のような場合の状況判断が可能になる。その結果、音声処理装置 における音声信号の遅延に係る処理を的確に実行せしめることができる。

[0110] 本発明の画像音声供給装置の他の態様では、前記信号遅延情報生成手段は、前 記信号遅延情報に、前記画像信号及び前記音声信号の少なくとも一方の入出力経 路を識別するための識別情報を含める。

[0111] この態様によれば、画像音声供給装置は、画像信号及び音声信号 (の少なくとも一 方)の遅延に関する情報と共に、これらの入出力経路を識別するための情報を送出 する。入出力経路を識別するための情報とは、具体的には、画像信号或いは音声信 号の入出力方向、或いは入出力に際して用いる端子を識別する情報等である。

[0112] これに対し、音声処理装置と画像音声供給装置とが信号遅延情報の付加情報とし て識別情報をやり取りするようにすれば、音声処理装置に、画像音声供給装置内の 信号入出力経路に対応する信号遅延情報を取得させることができる。その結果、音 声処理装置における音声信号の遅延に係る遅延量の精度を高めることが可能となる

[0113] (画像音声処理システム）

本発明の第 1の画像音声処理システムは上記課題を解決するために、画像信号と 該画像信号に対して時系列的な対応関係にある音声信号とが少なくとも供給される 第 1伝送路と、前記第 1伝送路力 取得される前記画像信号に対して表示用の画像 処理を施す画像処理装置と、前記第 1伝送路から取得される前記音声信号に出力 用の音声処理を施す音声処理装置と、前記画像処理装置と前記音声処理装置との 間に介在する第 2伝送路とを含み、前記画像処理装置と前記音声処理装置とは夫々 、前記画像信号と前記音声信号とを前記第 1伝送路から取得すると共に、前記画像 処理装置は、前記実行中の又は実行しょうとする画像処理に伴って生じる前記画像 信号の遅延量を含んだ画像遅延情報を生成し、該画像遅延情報を前記音声処理装 置に向けて前記第 2伝送路に送出し、前記音声処理装置は、前記第 2伝送路を介し て前記画像処理装置から送出された前記画像遅延情報を受信し、前記画像信号と 前記音声信号との時間差を補償するために前記受信された画像遅延情報に基づい て前記音声信号を遅延させる。

[0114] 本発明の第 1の画像音声処理システムによれば、画像処理装置及び音声処理装 置が、第 1伝送路から画像信号及び音声信号を夫々取得すると共に、第 2伝送路を 介して画像遅延情報の送受を行うように構成されている。但し、この場合の画像処理 装置と音声処理装置は夫々、 1つ又は複数である。

[0115] このシステムでは、音声処理装置を最終的な画像音声の同期手段として用い、音 声信号を遅延させることで画像処理に伴う画像信号の遅延が補償される。この音声 信号の遅延については、画像処理装置から音声処理装置に送出される画像遅延情 報に基づいて遅延量等が設定される。前述のように、この画像遅延情報は、画像処 理装置で実行中の又は実行しょうとする処理手順に対応していることから、このシス テムでは、常時、リップシンクの自動調整を適正に実行可能である。

[0116] また、画像処理装置から音声処理装置への画像遅延情報の送受は、第 2伝送路上 で行うことから、第 1伝送路のインターフェイス形式の自由度を犠牲にすることなぐ画 像遅延情報の送受を極めて簡便に実現できる。一方、本発明の画像処理装置や音 声処理装置には、通常の構成に対して、画像遅延情報のやり取りに関しては、第 2伝 送路に適合するインターフェイスを実装させればよぐそれほど大きな負担なく実現 できるし、画像信号や音声信号の入力形式を問わないことから、構成上、汎用性が 高いという利点がある。

[0117] 本発明の第 2の画像音声処理システムは上記課題を解決するために、画像信号と 該画像信号に対して時系列的な対応関係にある音声信号とが少なくとも供給される 第 1伝送路と、前記画像信号と前記音声信号とを供給用の信号処理を施して前記第 1伝送路に供給する画像音声供給装置と、前記第 1伝送路から取得される前記音声 信号に出力用の音声処理を施す音声処理装置と、前記画像音声供給装置と前記音 声処理装置との間に介在する第 3伝送路とを含み、前記画像音声供給装置は、前記 信号処理後の画像信号及び音声信号の夫々を前記第 1伝送路に供給すると共に、 前記実行中の又は実行しょうとする信号処理に伴って生じる、前記画像信号及び前 記音声信号の少なくとも一方の遅延量を含んだ信号遅延情報を生成し、該信号遅延 情報を前記第 3伝送路に送出し、前記音声処理装置は、前記第 1伝送路を介して前 記音声信号を取得し、該取得した音声信号に出力用の音声処理を施すと共に、前 記第 3伝送路を介して前記信号遅延情報を受信し、前記受信された信号遅延情報 に基づ!/、て前記音声信号を遅延させる。

[0118] 本発明の第 2の画像音声処理システムによれば、画像音声処理システムは、第 1伝 送路に対して画像音声供給装置から信号が供給されるように構成される。そして、音 声処理装置による音声信号の遅延 (即ち、リップシンク）は、画像音声供給装置にお ける画像信号ないし音声信号の遅延情報に基づいて行われる。そのため、常時、リツ プシンクの自動調整を適正に実行可能である。

[0119] また、この態様でも、第 2伝送路と同様の考え方に基づいて第 3伝送路を設定する ことで、第 1伝送路に適用されるインターフェイス形式の自由度を犠牲にすることなく 画像遅延情報の送受を簡便かつ確実に実現でき、構成上、汎用性が高いという利点 がある。

[0120] (画像音声同期方法）

本発明の第 1の画像音声同期方法は上記課題を解決するために、画像信号と該 画像信号に対して時系列的な対応関係にある音声信号とが少なくとも供給される第 1伝送路と、前記第 1伝送路から取得される前記画像信号に対して表示用の画像処 理を施す画像処理装置と、前記第 1伝送路から取得される前記音声信号に出力用 の音声処理を施す音声処理装置とを含むシステムにおいて前記画像信号と前記音 声信号とを同期させるための画像音声同期方法であって、前記画像処理装置と前記 音声処理装置との間に介在する第 2伝送路を構築するステップと、前記実行中の又 は実行しょうとする画像処理に伴って生じる前記画像信号の遅延量を含んだ画像遅 延情報を生成するステップと、

該取得された画像遅延情報を、前記音声処理装置に向けて前記第 2伝送路に送 出するステップと、前記画像処理装置と前記音声処理装置とが夫々前記第 1伝送路 から前記画像信号と前記音声信号とを取得するステップと、前記音声処理装置が、 前記第 2伝送路を介して前記画像処理装置から送出された前記画像遅延情報を受 信するステップと、前記画像信号と前記音声信号との時間差を補償するために前記 受信された画像遅延情報に基づいて前記音声信号を遅延させるステップとを含む。

[0121] 本発明の第 1の画像音声同期方法によれば、上述した本発明の第 1の画像音声処 理システムと同様の各種利益を享受することができる。尚、上述した本発明の画像処 理装置及び本発明の第 1の音声処理装置における各種態様に対応して、本発明の 画像音声同期方法も各種態様を採ることが可能である。

[0122] 本発明の第 2の画像音声同期方法は上記課題を解決するために、画像信号と該 画像信号に対して時系列的な対応関係にある音声信号とが少なくとも供給される第 1伝送路と、前記画像信号と前記音声信号とを供給用の信号処理を施して前記第 1 伝送路に供給する画像音声供給装置と、前記第 1伝送路から取得される前記音声 信号に出力用の音声処理を施す音声処理装置と、前記画像音声供給装置と前記音 声処理装置との間に介在する第 3伝送路とを含むシステムにおいて前記画像信号と 前記音声信号とを同期させるための画像音声同期方法であって、前記画像音声供 給装置と前記音声処理装置との間に介在する第 3伝送路を構築するステップと、前 記実行中の又は実行しょうとする信号処理に伴って生じる前記画像信号及び前記音 声信号の少なくとも一方の遅延量を含んだ信号遅延情報を生成するステップと、該 取得された信号遅延情報を、前記音声処理装置に向けて前記第 3伝送路に送出す るステップと、前記画像音声供給装置に、前記信号処理後の前記画像信号及び音 声信号を前記第 1伝送路に供給させるステップと、前記画像処理装置と前記音声処 理装置とが夫々前記第 1伝送路から前記画像信号と前記音声信号とを取得するステ ップと、前記音声処理装置が、前記第 3伝送路を介して前記画像音声供給装置から 送出された前記遅延情報を受信するステップと、前記画像信号と前記音声信号との 時間差を補償するために前記受信された遅延情報に基づ 、て前記音声信号を遅延 させるステップとを含む。

[0123] 本発明の第 2の画像音声同期方法によれば、上述した本発明の第 2の画像音声処 理システムと同様の各種利益を享受することができる。尚、上述した本発明の画像音 声供給装置及び本発明の第 2の音声処理装置における各種態様に対応して、本発 明の画像音声同期方法も各種態様を採ることが可能である。

[0124] 以上説明したように、本発明の画像処理装置によれば、画像遅延情報生成手段及 び送出手段を備える。本発明の画像音声供給装置によれば、信号遅延情報生成手 段及び送出手段を備える。更に、本発明の音声処理装置によれば、受信手段及び 遅延手段を備える。従って、機器間の接続方式の違いにも柔軟に対応しつつリップ シンクの常時自動調整が可能である。

[0125] 本発明のこのような作用及び他の利得は次に説明する実施例から明らかにされる。

図面の簡単な説明

[0126] [図 1]本発明の第 1実施例に係る画像音声処理システムの構成を示すブロック図であ る。

[図 2]第 1実施例に係る画像音声供給装置 (DVDプレーヤ）の構成を示すブロック図 である。

[図 3]第 1実施例に係る画像処理装置及びディジタル TVの構成を示すブロック図で ある。

[図 4]第 1実施例に係る音声処理装置 (AVアンプ)の構成を示すブロック図である。

[図 5]第 1実施例に係る画像音声処理システムの動作手順を示すフローチャートであ る。

[図 6]第 1実施例に係る画像音声処理システムの動作手順を示すシーケンスである。

[図 7]第 1実施例に係る画像音声処理システムの動作手順の変形例を示すシーケン スである。

[図 8]第 1実施例に係る画像音声処理システムの動作手順の変形例を示すシーケン スである。

[図 9]第 2実施例に係る画像音声供給装置 (DVDプレーヤ）の構成を示すブロック図 である。

[図 10]第 2実施例に係る音声処理装置 (AVアンプ)の構成を示すブロック図である。

[図 11]第 2実施例に係る画像音声処理システムの動作手順を示すフローチャートで ある。

[図 12]第 2実施例に係る画像音声処理システムの動作手順を示すシーケンスである

[図 13]第 2実施例に係る画像音声処理システムの動作手順の変形例を示すシーケン スである。

[図 14]変形例に係る画像音声処理システム内で送受される"遅延情報取得要求"の 構成を示すデータフォーマットである。 [図 15]図 14のデータフォーマットの DELAY TIME Commandフィールドにおける定義 を示す表である。

[図 16]図 14のデータフォーマットの subfonctionフィールドにおける定義を示す表で ある。

[図 17]図 14のデータフォーマットにおける（video、及び audioの） interface—information フィールドの構成を示すデータフォーマットである。

[図 18]図 17のデータフォーマットの interface_typeフィールドにおける定義を示す表 である。

[図 19]変形例に係る画像音声処理システム内で送受される"遅延情報取得応答"の 構成を示すデータフォーマットである。

[図 20]図 19のデータフォーマットの signaLstatusフィールドにおける定義を示す表で ある。

[図 21]図 14及び図 19のデータフォーマットを有する"遅延情報取得要求"及び"遅延 情報取得応答"による画像音声処理システムの動作手順を示すシーケンスである。

[図 22]Notify Commandのデータフォーマットを有する"遅延情報取得要求"及び"遅 延情報取得応答"による画像音声処理システムの動作手順を示すシーケンスである

[図 23]変形例に係る画像音声処理システムの構成を示すブロック図である。

[図 24]Status Commandのデータフォーマットを有する"遅延情報取得要求"及び"遅 延情報取得応答"による、図 23の画像音声処理システムの動作手順を示すシーケン スである。

[図 25]第 3実施例に係る画像音声処理システムの構成を示すブロック図である。

[図 26]第 4実施例に係る画像音声処理システムの構成を示すブロック図である。

[図 27]第 5実施例に係る画像音声処理システムの構成を示すブロック図である。

[図 28]第 6実施例に係る画像音声処理システムの構成を示すブロック図である。

[図 29]第 7実施例に係る画像音声処理システムの構成を示すブロック図である。 符号の説明

100· "DVDプレーヤ、 200· "画像処理装置、 300· "AVアンプ、 400· "ディジタル TV、 500· ··スピーカ、 11、 12· ·· (画像音声伝送用の）ケーブル、 20· ·· (遅延情報伝 送用の）ケーブル、 303…遅延バッファ、 207…遅延情報メモリ、 Tdd…画像遅延情 報、 Tda…音声遅延情報、 Tdp…信号遅延情報。

発明を実施するための最良の形態

[0128] 以下、本発明を実施するための最良の形態について実施例毎に順に図面に基づ いて説明する。

[0129] 以下、本発明の実施例及びその変形例について、図 1から図 12を参照して説明す る。

[0130] <第 1実施例 >

本発明の第 1実施例について、図 1から図 6を参照して説明する。

[0131] <画像音声処理システムの構成 >

先ず、第 1実施例に係る画像音声処理システムの構成を、図 1から図 4を参照して 説明する。図 1は、本実施例における画像音声処理システムの構成を表している。図 2、図 3及び図 4は夫々、この画像音声処理システムに適用される画像音声供給装置 、画像処理装置及び音声処理装置の具体的構成例を表して 、る。

[0132] 図 1において、本実施例における画像音声処理システムは、信号供給源として画像 信号と音声信号を再生出力する DVDプレーヤ 100と、画像信号と音声信号に各種 の処理を施す画像処理装置 200及び AVアンプ 300と、画像音声を出力するデイジ タル TV (DTV) 400及びスピーカ 500とによって構築されている。このような画像音 声処理システムは、例えばホームシアターとして具現ィ匕される。

[0133] DVDプレーヤ 100は、画像処理装置 200にケーブル 11を介して接続されると共に 、 AVアンプ 300にケーブル 12を介して接続されている。ここでケーブル 11及び 12 は、本発明の「第 1伝送路」の一例として、 DVDプレーヤ 100から画像処理装置 200 及び AVアンプ 300の夫々に、画像信号及び音声信号を供給するために使用される 。このような機能を有する配線を、ここではケーブル 11及び 12と総称する。また、画 像処理装置 200は本発明の「画像処理装置」の一例であり、 AVアンプ 300は本発明 の「音声処理装置」の一例である。

[0134] ケーブル 11及び 12の種類は特に限定されず、ケーブル 11は DVDプレーヤ 100と 画像処理装置 200とのインターフェイス形式に応じて適宜に選択され、ケーブル 12 は DVDプレーヤ 100と AVアンプ 300とのインターフェイス形式に応じて適宜に選定 される。例えば、ケーブル 11としては、アナログビデオ信号に対応する各種インター フェイス規格、又はディジタルビデオ信号に対応する IEEE1394、 D VI (Digital Visual Interface)或!、は HDMI (High-Definition Multimedia Interface)等の規格に準拠する 配線が用いられ、ケーブル 12としては、アナログオーディオ信号に対応するインター フェイス規格、又は IEEE1394、 IEC60958等に準拠する配線が用いられる。ケーブル 11及び 12は、機器間で受け渡し可能な信号形式等に応じて、夫々 1本又は複数本 で構成されてよい。

[0135] また、画像処理装置 200と DTV400との間はケーブル 11 Aで接続されており、 AV アンプ 300とスピーカ 500との間はケーブル 12Aで接続されている。ケーブル 11A 及び 12Aもまた、相互のインターフェイス形式に応じて適宜に選択されてよい。 DTV 400には、例えば PDPや液晶プロジェクタ等が用いられ、スピーカ 500には、例えば 、 5. 1チャンネルサラウンドシステムを組むための 5つのスピーカとサブウーファーが 用いられる。

[0136] 本実施例では、更に、画像処理装置 200と AVアンプ 300との間がケーブル 20で 接続されている。ケーブル 20は、本発明の「第 2伝送路」の一例であり、画像遅延情 報 Tddを、画像処理装置 200から AVアンプ 300に伝送するために設けられている。 その詳細については後述する力 画像処理装置 200は、その動作時に、本発明の 特徴的な方法で装置内部における画像信号の遅延に関する情報 (即ち、画像遅延 情報 Tdd)を選択し、ケーブル 20を介して AVアンプ 300に送出するように機能する。 AVアンプ 300は、画像処理装置 200とは別体であるから、システムが通常の構成で あれば画像遅延情報 Tddは知り得ない。 AVアンプ 300は、画像遅延情報 Tddを受 信すると、この画像遅延情報 Tdd及び自身が保持する音声遅延情報 Tdaに基づ 、 て、遅延バッファ 303による音声信号の遅延を遂行するように構成されている。

[0137] 即ち、このシステムでは、 AVアンプ 300を最終的な画像音声の同期手段として用 い、上記の音声信号の遅延を画像音声出力のための各処理と同時並行して行うこと で、画像処理に伴う画像信号の遅延が補償される。尚、ケーブル 20としては、例えば IEEE1394、 DVI或!、は HDMI等に準拠する配線が用いられる。

[0138] ケーブル 20は、このようにケーブル 11、 12とは別途設けられることで、ケーブル 11 及び 12のインターフェイス形式を全く考慮せずに済むという利点を有している。前述 したように、実際の画像音声処理システムでは、 DVDプレーヤ 100、画像処理装置 2 00、及び AVアンプ 300の規格や仕様が夫々異なる場合が多ぐ信号伝送には種々 の態様が考えられる。本実施例では、そのような実態に即して、ケーブル 20による伝 送路を画像信号や音声信号を伝送するための伝送路 (ケーブル 11及び 12)とは別 に確立することで、機器相互間の接続自由度を従来どおり保証している。

[0139] 無論、ケーブル 11及び 12が IEEE1394や HDMI等に対応している場合などには、 ケーブル 11又は 12を介して画像処理装置 200から AVアンプ 300に画像遅延情報 Tddを伝送させることも可能ではあるが、画像遅延情報 Tddの信号形式、これら各機 器相互間のインターフ イス形式を予め規制しておく必要があり、汎用性に欠ける。 因みに、最近ではディジタルチューナを搭載した画像処理装置の殆どが IEEE1394端 子を備えており、高級 AVアンプも IEEE1394端子を備えたものが増えてきている。従 つて、両者に画像遅延情報 Tddに関する AVZCコマンドを実装させ、そのうえで両 者間を IEEE1394により接続すれば、既存のインフラに多少の改変をカ卩えるだけで、ケ 一ブル 20による伝送路を実現することができる。

[0140] ところで、以上では、システムの機能を総括的に説明するために、例えば「画像信 号」のように「信号」をアナログ、ディジタルの区別なく情報と!/、つた意味で用いてきた 力 以下ではアナログ信号とディジタル信号の両方を区別して扱うことがある。そこで 、特にディジタル信号である場合には「データ (例えば、画像データ）」と呼び、適宜に 区別をする。

[0141] 図 2において、 DVDプレーヤ 100は、画像データ及び音声データを再生する DVD 再生部 101と、画像データを MPEG方式に従って符号化する符号化部 102と、符号 化された画像データと DVD再生部 101からの音声データとをパケット多重化してスト リームデータ（MPEG— TS)を生成するマルチプレクサ（MUX) 103と、音声データ を PTS、 DSTで指定された時刻まで遅延させて MUX103から出力されるストリーム データに同期させたデータ（A&M)を生成する遅延バッファ 104と、 IEEE1394方式 のケーブル 11及び 12に伝送するためのインターフェイス（IZF)部 105と、 CPU等 力もなり、後述の遅延バッファ 104に対する遅延時間設定等を行うと共に全体を統括 制御する制御部 106と、制御部 106を外部力も制御するための操作部 107と、動作 状況や操作用のコマンド等を表示するための表示部 108と、アナログ出力を行うため に画像データ及び音声データにディジタル ·アナログ (DA)変換を施す DA変換器（ DAC) 109とを備えている。尚、 DVDプレーヤ 100には、ケーブル 11及び 12の夫々 との接続を行うためのアダプタ等の外部接続部 150が、複数実装されている。

[0142] 図 3において、画像処理装置 200は、 IEEE1394方式のケーブル 11又は 20を介し て MPEG— TS方式で伝送されてきたデータを受信するための IZF部 201と、画像 ストリーム及び音声ストリーム力も画像ストリームを抽出するデマルチプレクサ（DEM UX) 202と、 MPEG方式で符号化されている画像ストリームを復号化して画像デー タを生成する復号化部 203と、画像データに画像処理を施す画像処理部 204と、ァ ナログ入力される画像信号にアナログ.ディジタル (AD)変換を施す AD変 205 と、 CPU等カゝらなり、全体を統括制御する制御部 206と、画像遅延情報 Tddを格納 する遅延情報メモリ 207と、制御部 206を外部力も制御するための操作部 208と、動 作状況や操作用のコマンド等を表示するための表示部 209とを備える。また、画像処 理装置 200には、ケーブル 11及び 20の夫々との接続を行うためのアダプタ等の外 部接続部 250が、複数実装されている。

[0143] ここでは、この外部接続部 250が、本発明の「画像取得手段」の一具体例に対応し ている。また、 DEMUX202、 MPEG復号化部 203、画像処理部 204及び AD変換 器 205が、本発明の「画像処理手段」の一具体例に対応している。

[0144] 画像処理部 204は、画像データに対し、例えば 3次元 YZC分離、ノイズリダクショ ン、輪郭補正、解像度変換等の高画質化処理と、その前処理を行うように構成されて いる。但し、画像処理部 204では、処理対象とする画像信号の形式に応じて処理内 容が異なる。一例を挙げると、通常のテレビジョン信号のようなコンポジット 'ビデオ信 号であれば YZC分離や色信号の復調が必要だが、コンポーネント ·ビデオ信号であ れば、既に RGBに変換された状態であるから、直接ディジタル高画質化処理だけを 施せばよい。 [0145] また、アナログで取得されるのと、 MPEG— TSとして取得されるのでも、その後の 処理が異なる。このように、画像処理装置 200では、画像信号の形式に応じて処理 内容が変わる。そして、処理内容が異なると、それに伴って遅延量も変わってくるた め、結局、画像処理装置 200全体における遅延量は、画像信号の形式に応じて複 数存在することになる。

[0146] 本発明の「格納手段」の一例たる遅延情報メモリ 207には、そのような処理手順に 応じて分かれた複数の画像遅延情報 Tddが、例えばテーブル等の処理手順と対応 した状態で予め格納される。画像遅延情報 Tddは後述のリップシンクの指標となる情 報であり、この画像処理装置 200内における画像信号の各種処理の前後での時間 遅れ又は画像信号が画像処理装置 200に入出力することで生じる時間ずれ、或い は音声信号に対する相対的時間遅れ等として、適宜に設定することができる。例え ば、画像処理部 204における遅延が最も顕著であるような場合には、画像処理部 20 4における画像処理手順に応じた遅延量を、画像遅延情報 Tddとすることができる。

[0147] また、画像処理情報 Tddは、完全に処理内容と 1対 1に対応するものであってもよ いが、遅延量の大きさを段階毎に区切っておいてもよい。その場合、画像遅延量 Td dをどこまで細力べ区切るかは設計事項であり、処理内容やリップシンクの精度等に応 じて適宜に設定してよい。尚、遅延が無視できる場合は、その後の制御方法に応じて 画像処理情報 Tddとして遅延量をゼロに設定してお!、たり、遅延格納情報 Tddを送 出しな 、ように設定したりしてもよ!、。

[0148] 制御部 206は、通常の各部の統括機能に加えて、画像処理装置 200の動作に際 して、画像信号の経路カゝら実行中の処理手順を判別する機能と、判別された処理手 順に対応する画像遅延情報 Tddを遅延情報メモリ 207から選択する機能とを有して いる。更に、制御部 206は、選択した画像遅延情報 Tddを、 IZF部 201を通じてケー ブル 20に送出する機能を有して 、る。

[0149] これら一連の判別、選択、送出動作は、制御部 206自身のクロックに基づいて定期 的に実行されてもよいし、判別動作により信号経路の変化 (即ち、処理手順の切り替 り）を検知し、これをトリガとして選択、送出動作を行うようにしてもよい。これらの各動 作は、その他のタイミング制御に基づいて実行されても力まわない。即ち、ここでは、 制御部 206が本発明の「判別手段」、「選択手段」の一具体例であり、制御部 206と I

ZF部 201とが、本発明の送出手段の一具体例を構成している。

[0150] 図 3において、 DTV400は、画像処理装置 200からケーブル 11Aを介して入力さ れる画像データを駆動信号に変換する駆動回路 304と、駆動回路 401により駆動さ れる表示パネル部 402とを備える。

[0151] 尚、ここでは、画像処理装置 200と DTV400とを別体として設けるようにした力 画 像処理装置 200及び DTV400に代えて、これらが一体化された構成の表示装置を 設けることちでさる。

[0152] 図 4において、 AVアンプ 300は、 IEEE1394方式のケーブル 11を介して A&M方式 で伝送されてきたデータを受信するための IZF部 301と、アナログ入力される音声信 号にアナログ 'ディジタル (AD)変換を施す AD変翻 302と、音声データを遅延さ せる遅延バッファ 303と、音声データに音声処理を施す音声処理部 304と、音声デ ータをアナログ変換する DA変換器 (DAC) 305と、音声信号の成分等を制御する音 声制御部 306と、 CPU等力 なり、遅延バッファ 303に対する遅延時間設定等を行う と共に、全体を統括制御する制御部 307と、制御部 307を外部から制御するための 操作部 308と、動作状況や操作用のコマンド等を表示するための表示部 309とを備 える。また、 AVアンプ 300には、ケーブル 12及び 20の夫々との接続を行うためのァ ダプタ等の外部接続部 350が、複数実装されている。

[0153] ここでは、これら外部接続部 350が、本発明の「音声取得手段」の一具体例に対応 している。また、音声処理部 304、 DAC305及び音声制御部 306が、本発明の「音 声処理手段」の一具体例に対応している。

[0154] 制御部 307は、 IZF部 301を通じてケーブル 20から画像遅延情報 Tddを受信する 機能を有している。更に制御部 307は、音声処理装置 300による音声信号の遅延に 関する音声遅延情報 Tdaを予め保持しており、音声処理装置 300の動作に際して、 受信した画像遅延量 Tdd及び音声遅延情報 Tdaに基づいて音声信号に対する遅延 量を定め、遅延バッファ 303による音声遅延動作を制御する機能を有して 、る。

[0155] 即ち、ここでは、制御部 307及び IZF部 301が、本発明の「受信手段」の一具体例 であり、制御部 307及び遅延バッファ 303が、本発明の「遅延手段」の一具体例を構 成している。

[0156] 尚、遅延バッファ 303と同様のメモリは、通常の AVアンプも備えている。これらは、 2 00msec程度の音声信号を記憶できる（遅延させることができる）。但し、通常の AVァ ンプは、音声遅延を手動で行うように構成されている。そこで、本実施例の AVアンプ 300は、遅延バッファ 303の遅延量を制御部 307で設定して自動で音声遅延を行う ように構成されている。

[0157] <画像音声処理システムの動作 >

次に、この画像音声処理システムにおけるリップシンクに係る動作について、更に 図 5及び図 6を参照して説明する。図 5は、このシステム上でのリップシンクに係る動 作手順を表している。図 6は、各装置による動作を表している。

[0158] 画像音声処理システムは、基本的に、 DVDプレーヤ 100で再生した画像信号と音 声信号の夫々を、画像処理装置 200、 AVアンプ 300の夫々で各種処理を施し、 DT V400とスピーカ 500とに送出して画像音声出力を得る、一連の動作を行う。その際 、 DVDプレーヤ 100では、 DVD再生部 101で再生された音声データが遅延バッフ ァ 104に分岐入力され、 MPEG— TS形式で出力される映像データの圧縮による遅 延分だけ遅延される。そのため、この音声データは、 MPEG形式の画像データと出 力段階で同期していることになり、これらを出力に用いる場合には、 DVDプレーヤ 10 0内の遅延要素による映像信号と音声信号との時間ずれは考慮せずに済む (但し、 この段階での同期処理は必ずしも必要ではない。画像処理に起因する成分が、全体 の遅延量に占める割合が大きい場合や、以下に説明する第 2実施例では、こうした 構成を採らない)。

[0159] DVDプレーヤ 100からは、 iZF部 105等のインターフェイス部を介して、画像デー タな 、し画像信号がケーブル 11に、音声データな!/、し音声信号がケーブル 12に夫 々出力される。

[0160] 画像処理装置 200では、 IZF部 201等のインターフェイス部を介して、ケーブル 11 から画像データな ヽし画像信号が取得される。ここで取得された信号には画像処理 部 204で画像処理が施される力 例えば、 MPEG— TS形式のストリームとして取得 された画像データの場合は前処理として DEMUX202、 MPEG復号化部 203による デコードが必要であるが、アナログ信号として取得された画像信号の場合は AD変換 器 205による AD変換を施す必要がある。また、前述のように、画像データにも各種の 信号形式があり、それに応じて画像処理部 204における処理内容が異なる。即ち、 画像処理装置 200内では、取得される画像データな!/ヽし画像信号の形式毎に処理 手順が分かれており、画像データないし画像信号は、その別に応じた経路を通過す ることで必要な処理を受ける。

[0161] 図 5及び図 6において、制御部 206は、例えばこのような画像データないし画像信 号の経路の変化等を"処理手順の切り替り"として検知すると (ステップ S11： Yes)、こ れをきっかけとして実行中の処理手順を判別する (ステップ S12)。この処理手順の 切り替りは、画像処理装置 200における、ユーザの操作 (例えば、リモコンなど外部か らの制御信号を含む）に伴う信号処理経路の変化や、 LSIからの割り込み信号など による、処理対象とする画像信号の変化として検出される。制御部 206は更に、こうし た信号経路の変化や信号形式の変化を、以降の遅延情報に係る動作を実行するた めのトリガとして、現在の処理手順を判別する。尚、処理手順の切り替りが検知されな ければ (ステップ S 11： No)、制御部 206は遅延情報に係る動作をしな 、。

[0162] 次に、制御部 206は、遅延情報メモリ 207を参照して、判別した処理手順に応じた 画像遅延情報 Tddを一意に選択する (ステップ S13)。ここでは、画像遅延情報 Tdd を例えば、その処理手順を採る場合に画像信号な ヽし画像データが画像処理装置 2 00に入力されて出力されるまでの時間（即ち、画像処理装置 200による遅延量）とし て、予め遅延情報メモリ 207に格納しておく。尚、前述のように、画像遅延情報 Tdd には他のパラメータを用いてもょ 、。

[0163] 次に、制御部 206は、 AVアンプ 300に転送すベぐ選択して得られた画像遅延情 報 Tddを IZF部 201を通じてケーブル 20に送出する（ステップ S14)。

[0164] 一方、 AVアンプ 300では、 I/F部 301等のインターフェイス部を介して、ケーブル 12から音声データないし音声信号が取得される。ここで取得された信号には音声処 理部 304や音声制御部 306で音声処理が施されるために、この AVアンプ 300にも 装置固有の遅延量が存在する。ここでは、そのような音声信号ないし音声データの 遅延量が、音声遅延情報 Tdaとして制御部 307に予め格納されて 、る。 [0165] 図 5及び図 6において、制御部 307は、 iZF部 301を介して、ケーブル 20から画像 遅延情報 Tddを受信する (ステップ S 15)。制御部 307は、受信した画像遅延情報 T ddが、現在の設定値と異なっているか否かを判断し (ステップ S16)、現在の設定値 と異なる場合に (ステップ S16： Yes)、この受信した画像遅延情報 Tddと自身の音声 遅延情報 Tdaとに基づいて、遅延バッファ 303における遅延量 (Tdd+Tda)の設定 を更新する (ステップ S17)。受信した画像遅延情報 Tddが現在の設定値と同じであ る場合は (ステップ S16 :No)、以降の動作は実行されない。

[0166] 尚、ここで、遅延バッファ 303に対して設定しょうとするトータルの遅延量 (Tdd+Td a)力 現在の設定値と同じ場合には、この更新処理をしないようにしてもよい。

[0167] 遅延バッファ 303は、こうして制御部 307に設定された遅延量 (Tdd+Tda)に基づ いて、音声データを遅延させる（ステップ S18)。この一連の処理は、例えば、画像音 声処理システムが画像音声を出力する間、画像音声に関する通常の信号処理と同 時並行して行われる。

[0168] 以上の結果、 AVアンプ 300が最終的な画像音声の同期手段として機能し、画像 信号の遅延が補償される。即ち、この画像音声処理システムは、画像処理装置 200 による画像出力と AVアンプ 300による音声出力とを同期させる、所謂リップシンクを 、自動で実現することができる。し力も、画像処理装置 200が画像遅延情報 Tddを経 時的に見直すようにしたので、 AVアンプ 300での音声データの遅延量を常に適正 ィ匕することがでさる。

[0169] 因みに、通常の AVアンプは、オーディオディレイ用のメモリの遅延量を手動調整す るように構成されている。そのため、正確な調整が難しぐ使用者は、ある程度以上は 違和感が多少残ってもあきらめてしまうことが多い。また、再生信号源が切り替る度に 画像の遅延量が変わるので、その度に再調整が必要となるといつた不便さがある。本 実施例における画像音声処理システムは、こうした問題を解決することができ、快適 な仕様環境を提供することができる。

[0170] また、ケーブル 20のインターフェイス形式をケーブル 11及び 12とは別に定めるよう にしたので、ケーブル 11及び 12のインターフェイス形式の自由度を犠牲にすること なく画像遅延情報 Tddの送受を簡便に実現できる。よって、このシステムは、インター フェイス形式の点での制約が極めて少なぐ高い汎用性を有している。また、画像処 理装置 200及び AVアンプ 300も、通常の構成に多少の改変をカ卩えるだけで実現で き、高い汎用性を有している。

[0171] 尚、上記実施例では、画像処理装置 200が AVアンプ 300に画像遅延情報 Tddを 能動的に送出する場合について説明した力 それにカ卩えて又は代えて、 AVアンプ 3 00の送信要求に応じて画像遅延情報 Tddを受動的に送出するようにシステムを構 成してもよい。以下に、そのような変形例を示す。

[0172] <第 1変形例 >

例えば、 AVアンプ 300におけるソース機器が DVDプレーヤ 100から TVへ切り替 わった場合等でも、画像処理装置 200における画像信号の遅延量が変わるのでリツ プシンクの再調整が必要となる。即ち、 AVアンプ 300は、このようなソース機器の切り 替わりをきつかけとして、画像遅延情報 Tddを問い合わせるように構成できる。

[0173] 図 7において、 AVアンプ 300では、例えば制御部 307の制御下で、ソース機器の 変化に対応した入力信号の経路を切り替える操作がなされる。

[0174] 次いで、制御部 307は、画像処理装置 200に向けた画像遅延情報取得要求を、 I ZF部 301を通じてケーブル 20に送出する。

[0175] 画像処理装置 200では、画像遅延情報取得要求を、制御部 206が IZF部 201を 通じてケーブル 20から受信する。そして、この画像遅延情報取得要求の受信をきつ カゝけとして、画像遅延情報 Tddを画像遅延情報取得応答として送り返す。以降は、第 1実施例と同様に動作させることができる。

[0176] <第 2変形例 >

また、例えば一つのディスプレイに複数の画面を表示させる場合 (所謂マルチ画面 表示）において、一方の画面に対応する音声力 別の画面の音声に切り換えたときも 、画像信号の遅延量が変わるのでリップシンクの再調整が必要となる。即ち、マルチ 画面表示では、画面によって画像信号の遅延量が異なることがある。通常のディスプ レイドライバは、高画質化回路を一式しか搭載しておらず、一画面分しか対応できな いからである。

[0177] 従って、マルチ画面表示時における音声の切り換え等によっても、画像遅延情報 T ddは変化することになる。こうした画像遅延情報 Tddの変化は、例えばポーリングに よる監視等〖こより検知することができる。

[0178] 図 8において、 AVアンプ 300は、画像遅延情報取得要求を用いて、画像処理装置 200をポーリングする。画像処理装置 200は、画像遅延情報取得要求を受信する度 に、画像遅延情報 Tddを画像遅延情報取得応答として送り返す。 AVアンプ 300は、 前回のポーリング力も画像遅延情報 Tddが変化して 、なければ、遅延量に関しては 特に動作しない。

[0179] そのような状況下で、例えば操作部 208やリモコン等を介した外部入力により、画 像処理装置 200に対して上記のマルチ画面操作が行われると、その結果、音声信号 に対応する画像信号に変化が生じる。その後になされた画像遅延情報取得要求に 対しては、画像処理装置 200は、これまでとは異なる画像遅延情報 Tddを送り返すこ とになる。

[0180] AVアンプ 300では、この画像遅延情報 Tddを受け取ると、制御部 307が前回のポ 一リングからの画像遅延情報 Tddの変化を検知し、遅延量 (Tdd+Tda)を更新する 。そして、遅延バッファ 303は、更新された遅延量 (Tdd+Tda)に基づいて音声デー タを遅延させる。

[0181] <第 2実施例 >

本発明の第 2実施例について、図 9から図 12を参照して説明する。

[0182] 第 1実施例では、 AVアンプ 300は、外部機器の遅延情報としては専ら画像遅延情 報 Tddを参照するように構成されている力 本実施例では、 DVDプレーヤ 100から の遅延情報 Tdpをも参照する場合について説明する。即ち、本実施例における画像 音声処理システムの基本構成は、第 1実施例と同様である。そこで、本実施例では、 第 1実施例と同様の構成については同一の符号を付し、その説明を適宜に省略する

[0183] (画像音声処理システムの構成）

本実施例の画像音声処理システムは、第 1実施例の画像音声処理システムにおけ る DVDプレーヤ 100、 AVアンプ 300を、 DVDプレーヤ 100A、 AVアンプ 300Aに 夫々代えて構成されている。 DVDプレーヤ 100Aは、遅延バッファ 104が省かれ、遅 延情報 Tdpを予め格納する遅延情報メモリ 110が制御部 106に接続されている点で 、 DVDプレーヤ 100とは異なっている。即ち、ここでは、 AVアンプ 300Aが DVDプ レーャ 100Aによる信号遅延も補償するように構成されることから、 DVDプレーヤ 10 OA内で画像と音声の同期を取る必要がない。

[0184] 図 9において、制御部 106は、 DVDプレーヤ 100Aの動作に際して、画像データ 及び音声データの経路力 実行中の処理手順を判別する機能と、判別された処理 手順に対応する信号遅延情報 Tdpを遅延情報メモリ 110から選択する機能とを有し ている。

[0185] 但し、この信号遅延情報 Tdpは、 DVDプレーヤ 100Aにおける画像データと音声 データとの時間ずれとする。この時間ずれは、画像データ及び音声データの処理経 路から、夫々の遅延量の差分として求めることができる。尚、遅延情報メモリ 110が格 納する情報は、その他にも種々の形態をとることができる。例えば、画像データの遅 延量と音声データの遅延量とを、夫々の処理手順と対応させて格納してもよい。その 場合の信号遅延情報 Tdpは、選択された画像データの遅延量及び音声データの遅 延量であってもよ 、し、これら 2つの遅延量の差分であってもよ!/、。

[0186] 更に、制御部 106は、選択した信号遅延情報 Tdpを、 IZF部 105を通じてケープ ル 12に送出する機能を有している。即ち、 DVDプレーヤ 100A力 本発明の「画像 音声供給装置」の一例を構成している。そのうち、 DVD再生部 101が本発明の「再 生手段」に、 MPEG符号化部 102、 MUX103及び DAC109が本発明の「信号処理 手段」に、外部接続部 150が「供給手段」に、遅延情報メモリ 110が「格納手段」に、 制御部 106が本発明の「判別手段」及び「選択手段」に、制御部 106、 IZF部 105及 び外部接続部 150が本発明の「送出手段」に、夫々対応している。尚、ここでは、ケ 一ブル 12が本発明の「第 3伝送路」に対応している。

[0187] また、本実施例の画像処理装置 200は、画像遅延情報 Tddに代えて、画像遅延情 報 Tdd'として画像処理装置 200における画像データ (な ヽし画像信号）と音声デー タ (な 、し音声信号)との時間ずれを生成するように構成されて 、る。

[0188] 図 10において、 AVアンプ 300Aは、 IZF部 301を通じてケーブル 12から信号遅 延情報 Tdpを受信する。ここでは、制御部 307は、外部から取得された信号遅延情 報 Tdp及び画像遅延情報 Tdd'と、自身の音声遅延情報 Tdaとに基づ 、て遅延バッ ファ 303における遅延量 (Tdp+Tdd' +Tda) )を設定するように構成されて！、る。

[0189] (画像音声処理システムの動作）

次に、この画像音声処理システムにおけるリップシンクに係る動作について、更に、 図 11及び図 12を参照して説明する。図 11は、このシステム上でのリップシンクに係 る動作手順を表している。図 12は、各装置による動作を表している。

[0190] DVDプレーヤ 100では、 DVD再生部 101で再生された画像データ、音声データ に対し、出力形式に合わせて圧縮等の処理が施される。その際、信号形式毎に処理 手順が分かれていることから、信号形式 (処理手順）に応じて出力信号の DVDプレ ーャ 100Aによる遅延量が異なる。例えば、映像出力をアナログ力もディジタルに切 り換えた場合には、遅延量はかなり顕著に変化する。また、音声データの圧縮方式 はドルビーディジタルか DTSかなどのサラウンドフォーマット毎に異なっており、それ によって音声信号の遅延量に変化が生じることがある。或いは、 Blu-rayレコーダ Z プレーヤのような機器であってプレーヤ側でデコードして画像信号を出力する場合 は、再生する画像信号に変化 (例えば、 HDから SDへの切り換え）があれば、画像デ ータの形式の違いに応じた遅延量の変化も想定される。

[0191] 図 11及び図 12において、制御部 106は、例えばこのような画像データないし画像 信号の経路の変化等を"処理手順の切り替り"として検知すると (ステップ S21： Yes) 、これをきつかけとして実行中の処理手順を判別する (ステップ S22)。この処理手順 の切り替りは、 DVDプレーヤ 100における、ユーザの操作（例えば、リモコンなど外 部からの制御信号を含む）に伴う信号処理経路の変化や、 LSIからの割り込み信号 などによる、処理対象とする信号の変化として検出される。制御部 106は更に、こうし た信号経路の変化や信号形式の変化を、以降の遅延情報に係る動作を実行するた めのトリガとして、現在の処理手順を判別する。尚、処理手順の切り替りが検知されな ければ (ステップ S21 :No)、制御部 106は遅延情報に係る動作をしない。

[0192] 次に、制御部 106は、遅延情報メモリ 110を参照して、判別した処理手順に応じた 信号遅延量を一意に選択する（ステップ S23)。ここでは、 DVDプレーヤ 100Aにお ける画像データの遅延量と音声データの遅延量とを予め遅延情報メモリ 110に格納 しておく。制御部 106は、画像データ、音声データの現在の処理手順力 夫々に対 応する遅延量を選択し、その差分を、信号遅延情報 Tdpとする。

[0193] 次に、制御部 106は、 AVアンプ 300に転送すベぐ得られた信号遅延情報 Tdpを I ZF部 201を通じてケーブル 12に送出する (ステップ S24)。また、画像処理装置 20 0は、第 1実施例と同様にして、画像遅延情報 Tdd'を AVアンプ 300Aに対して送出 する。

[0194] 一方、 AVアンプ 300では、制御部 307力 iZF部 301を介してケーブル 12から信 号遅延情報 Tdpを受信する (ステップ S25)。制御部 307は、受信した信号遅延情報 Tdpが、現在の設定値と異なっているか否かを判断し (ステップ S26)、現在の設定 値と異なれば (ステップ S26 :Yes)、遅延バッファ 303における遅延量 (Tdp+Tdd， +Tda)の設定を更新する (ステップ S27)。受信した信号遅延情報 Tdpが現在の設 定値と同じである場合は (ステップ S26 : No)、以降の動作は実行されない。尚、ここ で、遅延バッファ 303に対して設定しょうとするトータルの遅延量 (Tdp+Tdd' +Tda )が、現在の設定値と同じ場合には、この更新処理をしないようにしてもよい。

[0195] 遅延バッファ 303は、こうして制御部 307に設定された遅延量 (Tdp+Tdd' +Tda )に基づいて、音声データを遅延させる (ステップ S28)。

[0196] 尚、ここでは、制御部 307は、第 1実施例と同様にして、ケーブル 20から画像遅延 情報 Tdd'をも受信する。そして、画像遅延情報 Tdd'に対しても上記同様、現在の 設定値と異なる場合に遅延量 (Tdp+Tdd' +Tda)の設定更新を行う。即ち、この場 合の AVアンプ 300は、 DVDプレーヤ 100、画像処理装置 200の各機器から夫々出 力される通知に伴って遅延量を再設定することになる。

[0197] 以上の結果、 AVアンプ 300は最終的な画像音声の同期手段として機能し、画像 処理装置のみならず、信号源である DVDプレーヤ 100Aによる信号遅延を考慮する ことにより、リップシンクを精度良く実行できる。

[0198] 現状では、画像処理による画像信号の遅延が目立って大きいが、今後は 5.1チャン ネルを基本仕様とするドルビーディジタル (AC3 : Audio Codec3)等よりも更に高音質 化された圧縮音声信号方式が採用される場合が予想され、音声信号の圧縮及びデ コードに際し、力なり大きな遅延が生じると考えられる。そのような場合には、 DVDプ レーャゃ AVアンプにおける音声信号の遅延を考慮しなければ、的確なリップシンク が困難となる。本実施例は、そのような場合にも対応可能である。

[0199] 尚、本実施例では、信号遅延情報 Tdpをケーブル 12により伝送するようにしたが、 DVDプレーヤ 100Aと AVアンプ 300Aとの間に、信号遅延情報 Tdpの伝送用のケ 一ブルを別途設けるようにしてもよい。その方が、システムとしての汎用性を高めるこ とがでさる。

[0200] 以上の第 2実施例では、 DVDプレーヤ 100及び画像処理装置 200の夫々力 信 号遅延情報 Tdp及び画像遅延情報 Tdd'を能動的に送出する場合について説明し た力 それにカ卩えて又は代えて、 AVアンプ 300の送信要求に応じて信号遅延情報 Tdp及び画像遅延情報 Tdd'を受動的に送出するようにシステムを構成してもよ!/ヽ。 以下に、そのような変形例を示す。

[0201] <第 3変形例 >

例えば、 AVアンプ 300Aにおけるソース機器が、 DVDプレーヤ 100Aから TVへ 切り替わった場合等に、 AVアンプ 300Aは、このようなソース機器の切り替わりをきつ カゝけとして、信号遅延情報 Tdpや画像遅延情報 Tdd'を問 、合わせるように構成でき る。

[0202] 図 13において、 AVアンプ 300Aでは、例えば制御部 307の制御下でソース機器 の変化に対応した入力信号の経路を切り替える操作がなされる。

[0203] 次いで、制御部 307は、 DVDプレーヤ 100Aに向けた信号遅延情報取得要求と、 画像処理装置 200に向けた画像遅延情報取得要求とを、 IZF部 301を通じてケー ブル 12及びケーブル 20に別々に送出する。

[0204] DVDプレーヤ 100Aは、信号遅延情報取得要求を、制御部 106が IZF部 105を 通じてケーブル 12から受信する。ここで DVDプレーヤ 100Aは、処理手順の切り替 りをきつかけとして又は所定周期で更新しつつ、遅延量ないし信号遅延情報 Tdpを 常に制御部 106に保持しているものとする。その状態で信号遅延情報取得要求が受 信されると、制御部 106は、受信をきつかけとして、信号遅延情報 Tdpを信号遅延情 報取得応答として送り返す。

[0205] 画像処理装置 200は、画像遅延情報取得要求を、制御部 206が IZF部 201を通 じてケーブル 20から受信する。この画像処理装置 200もまた、処理手順の切り替りを きっかけとして又は所定周期で更新しつつ、遅延量ないし画像遅延情報 Tdd'を常 に制御部 206に保持して 、るものとする。その状態で画像遅延情報取得要求が受信 されると、制御部 206は、受信をきつかけとして、画像遅延情報 Tdd'を画像遅延情 報取得応答として送り返す。

[0206] 以降は、第 2実施例と同様に動作させることができる。

[0207] 尚、この第 3変形例では、 AVアンプ 300Aは、ソース機器の切り替り、つまり処理対 象となる音声信号の切り換わりをきっかけに各機器に遅延情報取得要求を送出する ようにしたが、ポーリング等によって周期的に遅延情報取得要求を送出するような構 成にしてもよい。ポーリングで遅延情報を監視する場合も、遅延情報を取得する度に 更新するようにしてもよいが、この場合も、取得した遅延情報と前回分とを比べ、変化 があった場合にだけ遅延量の更新処理を行うようにしてもょ 、。

[0208] 以上の遅延情報に係る動作において機器間でやり取りする情報は、具体的には、 以下に示すコマンドを使って実現することができる。

[0209] 図 14において、画像遅延情報取得要求ないし信号遅延情報取得要求は、定義コ マンドの opcode (オペコード)を示す DELAY TIME、オペコードに対する副次的な機 能を示す subfonction、画像信号の送受に関する情報を示す video_interface_informati on、及び、画像信号の送受に関する情報を示す audiojnterfacejnformationから構成 される。尚、 operand[5]、 [6]のフィールドの値は、この場合は FF とされる。

16

[0210] AV/Cコマンドには、 Controlコマンド、 Statusコマンド、及び Notifyコマンドのコマ ンドタイプが存在するが、図 15に図示する DELAY TIMEコマンドでは、 Statusコマン ド及び Notifyコマンドにのみ定義されている。リップシンクを合わせる必要のある画像 音声処理システム内の機器は、 DELAY TIMEコマンドを機器に実装する必要がある 力 それ以外の機器は実装する必要はない。この意味で、 DELAY TIMEのサポート レベルはオプション扱!、となる。

[0211] sublunctionは、オペコードに対する副次的な機能を示すフィールドであり、 DELAY

TIMEコマンドでは、図 16のように、 INPUT、 OUTPUTを定義する。これにより、受信 側は情報の送信元とのシステム上の接続関係を認識できる。ここでは、 INPUTがシス テム上のシンク機器として、 OUTPUTがシステム上のソース機器として、夫々構成さ れることを, S味して ヽる。尚、ここでは、 subfunction及び viaeo_interface_inforation、 au diojnterfacejnformation力 本発明の「識別情報」の一具体例に対応して 、る。

[0212] video— interface— information及ひ audio— interface— informationの フィ ~~ノレ rは、

7のよつに interface— typeと、 signal—statusと力らなる。 interface— typeは、受 I ^i則と送信元 との間の物理的な接続形式を示すフィールドであり、例えば、図 18のように IEEE1394 、 HDMI等の各種の接続方式を識別するように構成される。 signaLstatusは、遅延量 の取得を要求した際の信号処理の状況を示すフィールドであり、遅延情報取得要求 においては、その値は FF とされる。因みに、 signal statusは、遅延量が確定できた

16

場合のみ、後述の AVZCレスポンスで応答される。

[0213] このような遅延情報取得要求に対する応答は、以下のように記述することができる。

[0214] 図 19において、画像遅延情報取得応答ないし信号遅延情報取得応答は夫々、本 発明の「画像遅延情報」及び「信号遅延情報」の一具体例であり、定義コマンドの opc ode (オペコード)を示す DELAY TIME、オペコードに対する副次的な機能を示す subf unction,画像信号の送受に関する情報を示す video_interface_information、及び、画 像信号の送受に関する情報を示す audio_interface_information、そして delay_time_diff erenceから構成される。これらの遅延情報取得応答は、遅延情報取得要求では空の 状態であった delay_time_differenceに、遅延量が書き込まれたものである。例えば、 del ay_time_differenceには、遅延量として、要求を受信した機器における画像信号の遅 延量と音声信号の遅延量との差分値が書き込まれる。

[0215] ま 7こ、 、答時【こ ii、 video— interface— information、及ぴ audio— interface— informationの 夫々における signaLstatusには、例えば図 20のように、遅延量取得時の処理状況や 信号形式を識別するための情報が書き込まれる。尚、ここでは、 signaLstatusが本発 明の「処理状況情報」の一具体例に対応して!/、る。

[0216] このようなコマンドを用いることにより、遅延情報取得要求の送信元である AVアンプ 300Aは、遅延情報取得応答を受信することによって、遅延量の他に、その遅延情 報が対象機器のどの入出力端子における情報なの力 その入出力端子における信 号経路及び信号処理の状況等の周辺情報まで取得することができる。そして、これら の周辺情報を活用して遅延バッファ 303における音声信号の遅延量を設定すれば、 精度の高 、リップシンクが可能となる。

[0217] 図 21は、図 13のシステム動作における、 status commandによる要求 Z応答の様子 を表している。 AVアンプ 300Aは、 DVDプレーヤ 100A及び画像処理装置 200に 対して DELAY TIME Status Commandを送出する。この場合、 DVDプレーヤ 100A に対する DELAY TIME Status Commandは、 subfonction力 ^OUTPUT、画像信号用 の（即ち、 video_interface_informationの） interface_typeは HDMI、音声信号用の（即 ち、 audio_interface_informationの） interface_typeは IEEE1394である。また、画像処理 装置 200に対する DELAY TIME Status Commandは、 subfonction力 NPUT、画像 信号用の interface_typeは HDMI、音声信号用の interface_typeは ignoreである。即ち 、画像処理装置 200には音声信号用の接続は存在しないので、このフィールドは無 視する。

[0218] これに対し、 DVDプレーヤ 100A及び画像処理装置 200は、 AVアンプ 300Aに対 して DELAY TIME Status Responseを夫々送出する。 DVDプレーヤ 100Aの応答の 一例では、画像信号処理に際した（即ち、 video_interface_informationの） signaLstatus も、音 処理に際した (良卩ち、 audio— interface— informationの) signal— status bproc essingと、現在実行中の処理に対する遅延量が取得されたことを意味し、 delay_time_ differenceの遅延量が 10msecである。これは、 DVDプレーヤ 100Aでは、音声信 号が画像信号より相対的に 10msec遅れていることを表している。

[0219] また、画像処理装置 200の応答の一例では、画像信号処理に際した signaLstatus は processingである^、音声 f¾号処理に際した signal—statusは don' t careである。 del ay_time_differenceの遅延量は、 80msecである。これは、画像処理装置 200では、画 像信号が音声信号より相対的に 80msec遅れていることを表している。

[0220] AVアンプ 300Aは、これらの応答から、遅延量が正しく取得されたことを確認すると 共に、音声信号に対する画像信号の遅延量への DVDプレーヤ 100Aと画像処理装 置 200との寄与分として、 70msecを計上する。

[0221] <第 4変形例 >

第 3変形例では、機器間でやり取りする情報が status commandで定義された場合 について説明した力 次に、 notify commandで定義する場合について説明する。

[0222] notify commandによる要求及び応答の各フィールドの構造は、 DELAY TIME status command及び DELAY TIME status responseと同様である（図 14及び図 19を参照）。 但し、 DELAY TIMEフィールドには、 notify commandで定義されていることが示され る。

[0223] 図 22は、図 13のシステム動作における、 notify commandによる要求 Z応答の様子 を表している。 AVアンプ 300Aは、 DVDプレーヤ 100A及び画像処理装置 200に 対して DELAY TIME Notify Commandを送出する。尚、 AVアンプ 300Aは、これ以 前に DVDプレーヤ 100Aより、 delay_time_differenceの遅延量が 10msecであると いう応答を受け取つている状態にあるものとする（例えば、第 3変形例を参照)。

[0224] これに対し、 DVDプレーヤ 100A及び画像処理装置 200は、 AVアンプ 300Aに対 して DELAY TIME Notify Responseを夫々送出する。ここで DELAY TIME Notify Res ponseは、要求を受け取った旨を通知するために各機器力も送出される。各機器は、 とりあえず DELAY TIME Notify Responseを送出し、その後、内部で遅延量に変化が 生じたことが判別された時点で、改めて DELAY TIME Notify Responseを返答する。

[0225] 図示の場合では、 DVDプレーヤ 100Aは、要求を受け取った旨を通知する DELAY

TIME Notify Response(INTERIM)のみ送出し、その後は機器内で遅延量の変化が ないために何の応答もしていない。一方、画像処理装置 200は、 DVDプレーヤ 100 Aと同様に、まず要求を受け取った旨を通知する DELAY TIME Notify Response(INT ERIM)を送出したが、その後、受信する画像信号の切り替りや、ユーザの操作等によ つて画像信号の遅延量に変化が生じると、前述のようにして画像遅延量を選択し、そ れに基づいて画像遅延情報 Tddを DELAY TIME Notify Response(CHANGED)とし て生成し、 AVアンプ 300Aに出力する。

[0226] 画像処理装置 200の応答の一例では、画像信号処理に際した signaLstatusは proc essingである力 音声信号処理に際した signaLstatusは don't careである。そして、 d elay_time_differenceの遅延量は、 100msecである。これは、画像処理装置 200では、 画像信号が音声信号より相対的に 100msec遅れていることを表している。

[0227] AVアンプ 300Aは、これらの応答から、遅延量が正しく取得されたことを確認すると 共に、音声信号に対する画像信号の遅延量への DVDプレーヤ 100Aと画像処理装 置 200との寄与分として、 90msecを計上する。

[0228] このように、 DVDプレーヤ 100Aや画像処理装置 200が能動的に遅延情報の変化 を通知する場合、 AVZCコマンドでは notify commandとして実装される。 notify comm andは、通知を要求する機器（ここでは、 AVアンプ 300A)が発行する notify command を受け取った機器 (ここでは、 DVDプレーヤ 100A及び画像処理装置 200)は、まず その通知要求を受け入れるか否かの応答をする。これらの受信機器は、その後、要 求に関わる情報の変化があった際に、変化した情報を再度の応答により通知する。 この方法によれば、遅延情報の変化を随時ポーリングして監視する必要がないことか ら、機器内部の CPUの処理負荷を軽減し、 1394バス上のトラフィックを軽減できる。

[0229] <第 5変形例 >

以上に説明したコマンドは、上記の実施例以外にも本発明に係る画像音声処理シ ステムに広範に適用することができる。

[0230] 図 23において、画像音声処理システムは、 AVアンプ 300Bと TV受像機 160とで 構成されている。 TV受像機 160では、内部のチューナで受信された TV信号が画像 信号と音声信号とに分離され、画像信号は、 TV受像機 160自身で処理が施されて パネル 150aに送出される。一方、分離された音声信号は、 AVアンプ 300Bに供給さ れる。即ち、 TV受像機 160は、本発明の「画像処理装置」及び「画像音声供給装置」 の一具体例に対応している。

[0231] この場合に、 AVアンプ 300Bと TV受像機 160とは、 IEEE1394ないし HDMIによる ケーブル 21で接続されている。即ち、ケーブル 21が本発明の「第 1伝送路」、「第 2伝 送路」及び「第 3伝送路」の具体例に対応している。但し、 TV受像機 160側の遅延情 報を AVアンプ 300Bに送出するためのケーブルを、音声信号供給用のケーブルと は別途用意してもよい。

[0232] このような画像音声処理システムでの遅延情報に係る動作は、例えばコマンドを使 つて実現することができる。

[0233] 図 24において、 AVアンプ 300Bは、例えば制御部 307の制御下で、 TV受像機 16

0の変化に対応した入力信号の経路を切り替える操作がなされる。処理手順の切り 替りは、 TV受像機 160における、ユーザの操作 (例えば、リモコンなど外部からの制 御信号を含む）に伴う信号処理経路の変化や、 LSIからの割り込み信号などによる、 処理対象とする信号の変化として検出される。

[0234] 次に、 AVアンプ 300Bは、 TV受像機 160に対して DELAY TIME Status Command を送出する。この場合、 TV受像機 160に対する DELAY TIME Status Commandは、 subfonction力 ^OUTPUT、画像信号用の（即ち、 video— interface— informationの） interf ace— typeは ignore、音 l 号用の (即ち、 audio— interface— informationの) interface— type は IEEE1394である。

[0235] これに対し、 TV受像機 160は、 AVアンプ 300Bに対して DELAY TIME Status Res ponseを送出する。図示した応答例では、画像信号処理に際した signaLstatusは don ' t careである力 音声 f 号処理に際し signal—statusは processingである。 delay— tim e_differenceの遅延量は、 80msecである。これは、 TV受像機 160では、画像信号が 音声信号より相対的に 80msec遅れて 、ることを表して 、る。

[0236] AVアンプ 300Bは、応答力 遅延量が正しく取得されたことを確認すると共に、音 声信号に対する画像信号の遅延量への TV受像機 160の寄与分として、 80msecを 計上する。

[0237] 以下、画像音声処理システムの構成に関する実施例について、図 25から図 29を 参照して説明する。

[0238] <第 3実施例 >

上記実施例では、機器同士が 1対 1に接続されるケーブルを複数使ってシステムを 構築するようにしたが、本発明の伝送路はネットワークとして構築することができる。

[0239] 図 25において、そのような場合の一例として、 DVDプレーヤ 100、画像処理装置 2

00、及び AVアンプ 300力 シリアルバス 30によって相互接続されている。尚、この 場合は、シリアルバス 30が本発明の「第 1伝送路」、「第 2伝送路」及び「第 3伝送路」 に対応する。

[0240] <第 4実施例 >

また、本発明の伝送路は、ネットワーク以外の接続形態をとることもできる。

[0241] 図 26において、そのような一具体例として、 DVDプレーヤ 100と AVアンプ 300と が HDMI40aで接続され、 AVアンプ 300と画像処理装置 200とが HDMI40bで接 続されている。この場合には、 AVアンプ 300は、 DVDプレーヤ 100から受信した画 像信号を画像処理装置 200へ再送出することになる。このように、 1対 1の接続であつ ても複数の機器相互間の信号の送受は実現される。尚、この場合、 HDMI40a及び 40bが本発明の「第 1伝送路」、「第 2伝送路」及び「第 3伝送路」に対応する。

[0242] <第 5実施例 >

また、 DVDプレーヤ、画像処理装置、及び AVアンプは、夫々複数接続されていて ちょい。

[0243] 図 27においては、 DVDプレーヤ 100a及び 100bが夫々、画像処理装置 200及び AVアンプ 300に接続されている。この場合、画像音声出力に際して、画像処理装置 200及び AVアンプ 300は、 DVDプレーヤ 100a及び 100bのいずれか一方からしか 信号を受信しないし、その信号の供給先は特定可能である。例えば、 IEEE1394 A& MZPの場合、 AVアンプ 300は、 Input Selectorで DVDプレーヤ 100a及び 100b のいずれかを選択してコネクションを張るので、機器間で混乱するおそれがなぐ特 に問題なく動作可能である。従って、 AVアンプ 300は、 DVDプレーヤ 100a及び 10 Obのうち現在の信号源である方から、信号遅延情報 Tdpl又は Tdp2を間違いなく取 得することができる。

[0244] <第 6実施例 >

図 28においては、 DVDプレーヤ 100に、画像処理装置 200a及び 200bが接続さ れている。画像処理装置 200a及び 200bは、夫々、另 Uのディスプレイ 400a及び 400 bに接続されている。具体的な実施態様としては、 PDPとプロジェクタの投影機、或い は、自動車内の前部座席側と後部座席側とに分けて設置された液晶パネルなどが 挙げられる。

[0245] このようにディスプレイ (即ち、画像処理装置）が複数台ある場合は、どの画像処理 装置の画像遅延情報を利用するかという問題が生じる。このような場合には、例えば 、ディスプレイを切り換えて使う（常に 1台だけを駆動させる）ようにする、いずれか 1台 をリップシンク調整用に指定できるようにする、画像遅延情報のプリセット値を設定す るなどとすればよい。 [0246] <第 7実施例 >

図 29においては、 DVDプレーヤ 100に、 AVアンプ 300a及び 300bが接続されて いる。 AVアンプ 300a及び 300bは、夫々、另 Uの音声出力機器 500a及び 500bに接 続されている。具体的な実施態様としては、スピーカとヘッドホンなどが挙げられる。

[0247] この場合は、 AVアンプ 300a及び 300bは夫々独立に駆動され、個別に遅延情報 を取得すればょ 、ので、特に問題なく動作可能である。

[0248] 本発明は、上述した実施例、その変形例に限られるものではなぐ請求の範囲及び 明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能 であり、そのような変更を伴う画像処理装置、音声処理装置、画像音声供給装置、及 び画像音声処理システム、並びに画像音声同期方法もまた本発明の技術思想に含 まれる。

[0249] 例えば、上記実施例にお!、て遅延情報メモリ 207や遅延情報メモリ 110に格納され る情報には、遅延量の他に遅延補償に用いられる情報を含めてぉ 、てもよ 、。

[0250] また、第 1及び第 2実施例では、遅延情報メモリから取得した画像遅延情報な 、し 信号遅延情報をそのまま AVアンプに送出する場合について説明したが、取得され た画像遅延情報ないし信号遅延情報に、 AVアンプに送出する前の段階で、遅延情 報メモリから取得した情報以外の情報、例えばその画像遅延情報な!/、し信号遅延情 報の選択時刻、画像処理装置ないし DVDプレーヤにおける信号処理状況、システ ムにおける AVアンプと画像処理装置な 、し DVDプレーヤとの接続経路等、遅延保 障に用いられる情報を含めるようにしてもよ 、。

また、遅延情報メモリ 207又は遅延情報メモリ 110には遅延量を格納しておき、そのう ちの一つを選択した場合に、前回選択した遅延量との差分 Δ Tddな 、し Δ Tdpを、 画像遅延情報 Tddな 、し信号遅延情報 Tdpとするようにしてもょ ヽ。

[0251] また、 AVアンプ 300が保有する自身の音声遅延情報 Tdaは、一意に定められてい てもよいが、画像遅延情報 Tddや信号遅延情報 Tdpと同様に複数準備しておき、適 宜選択するようにしてもよい。音声処理においても、取得される音声信号の形式に応 じて必要な処理が多少異なってくる。例えば、音声信号はサラウンドフォーマット毎に 圧縮方式が異なるため、デコード方式も異なる、更に、機器独自のサラウンド効果を 与えるために信号を加工することもある。即ち、音声処理についても、信号形式に応 じて処理手順が異なることがあり、音声信号の遅延量 (即ち、音声遅延量）は複数存 在すること〖こなる。そのような場合には、音声処理装置も、実行中の処理手順を判別 し、判別された処理手順に対応する音声遅延量を格納情報力 選択するように構成 されることが好ましい。

[0252] 更に、上記実施例では、実行中の処理手順に応じて、遅延情報メモリから画像遅 延情報な 、し信号遅延情報を取得する場合にっ 、て説明したが、本発明の画像遅 延情報生成手段又は信号遅延情報生成手段は、所定周期のクロックや音声処理装 置からの要求を受ける度に、実行中の処理における信号遅延を実測するようにしても よい。

[0253] 尚、上記実施例等にお!ヽては、各機器間をケーブルで接続するようにしたが、本発 明の伝送路は通信媒体であればよぐ本発明の画像音声処理システム内における装 置間の接続は、 IEEE802.11eのような無線 LAN (wireless Local Area Network)や Blu etooth (R)等によるワイヤレス方式を採ってもよ!、。

産業上の利用可能性

[0254] 本発明に係る画像処理装置、音声処理装置、画像音声供給装置、及び画像音声 処理システム、並びに画像音声同期方法は、機器間の接続方式の違いにも柔軟に 対応しつつリップシンクの常時自動調整が可能な例えば、 AVアンプ等の各種機器 に利用可能である。

Claims

請求の範囲

[1] 音声信号に対して時系列的な対応関係にある画像信号を取得する画像取得手段 と、

前記取得された画像信号に、該画像信号の形式に応じた処理手順で表示用の画 像処理を施す画像処理手段と、

前記実行中の又は実行しょうとする画像処理に伴って生じる前記画像信号の遅延 量を含んだ画像遅延情報を生成する画像遅延情報生成手段と、

前記音声信号に出力用の音声処理を施す音声処理装置に、前記画像遅延情報を 送出する送出手段と

を備えたことを特徴とする画像処理装置。

[2] 前記音声処理装置とは別体として構成されることを特徴とする請求の範囲第 1項に 記載の画像処理装置。

[3] 前記音声処理装置が、少なくとも前記画像信号及び前記音声信号が供給される第 1伝送路から前記音声信号を取得すると共に、

前記画像取得手段は、前記第 1伝送路から前記画像信号を取得し、前記送出手段 は、前記音声処理装置に向けて前記画像遅延情報を前記音声処理装置との間に介 在する第 2伝送路に送出する

ことを特徴とする請求の範囲第 1項に記載の画像処理装置。

[4] 前記画像遅延情報生成手段は、

前記画像処理に伴って生じる前記画像信号の遅延量を含む格納情報を、前記処 理手順と対応させて予め格納する格納手段と、

前記画像処理に際して前記実行中の又は実行しょうとする処理手順を判別する判 別手段と、

前記判別された処理手順に対応する前記格納情報を、前記格納手段を参照して 選択する選択手段と

を含み、

前記画像遅延情報を、前記選択された格納情報を含む情報として生成することを 特徴とする請求の範囲第 1項に記載の画像処理装置。

[5] 前記判別手段の判別結果に基づいて前記処理手順の切り替わりを検知し、前記選 択手段及び前記送出手段を、前記切り替わり後の処理手順と対応する前記画像遅 延情報を送出するように制御する第 1制御手段

を更に備えることを特徴とする請求の範囲第 4項に記載の画像処理装置。

[6] 前記音声処理装置から送られてくる前記画像遅延情報の送信要求を受信する受 信手段と、

前記選択手段及び前記送信手段を、前記送信要求に応じて前記画像遅延情報を 送出するように制御する第 2制御手段と

を更に備えることを特徴とする請求の範囲第 1項に記載の画像処理装置。

[7] 前記画像遅延情報生成手段は、

前記画像遅延情報に、前記画像処理の実行状況を示す処理状況情報を含めるこ とを特徴とする請求の範囲第 1項に記載の画像処理装置。

[8] 前記画像遅延情報生成手段は、

前記画像遅延情報に、少なくとも前記画像信号の入出力経路を識別するための識 別情報を含めることを特徴とする請求の範囲第 1項に記載の画像処理装置。

[9] 画像信号に対して時系列的な対応関係にある音声信号を取得する音声取得手段 と、

前記取得された音声信号に、出力用の音声処理を施す音声処理手段と、 前記画像信号に表示用の画像処理を施す画像処理装置から送出される、前記実 行中の又は実行しょうとする画像処理に伴って生じる前記画像信号の遅延量を含む 画像遅延情報を受信する受信手段と、

前記画像信号と前記音声信号との時間差を補償するために前記受信された画像 遅延情報に基づいて前記音声信号を遅延させる遅延手段と

を備えたことを特徴とする音声処理装置。

[10] 前記画像処理装置とは別体として構成されていることを特徴とする請求の範囲第 9 項に記載の音声処理装置。

[11] 前記画像処理装置が、少なくとも前記画像信号及び前記音声信号が供給される第 1伝送路から前記音声信号を取得すると共に、 前記音声取得手段は、前記第 1伝送路から前記音声信号を取得し、前記受信手段 は、前記映像処理装置との間に介在する第 2伝送路から前記画像遅延情報を受信 する

ことを特徴とする請求の範囲第 9項に記載の音声処理装置。

[12] 前記遅延手段は、前記受信手段が前記画像遅延情報を受信する度に前記受信さ れた画像遅延情報に基づいて前記音声信号の遅延量を更新することを特徴とする 請求の範囲第 9項に記載の音声処理装置。

[13] 前記画像遅延情報の送信を要求する送信要求を前記画像処理装置に送出する第

1送信手段を更に備えたことを特徴とする請求の範囲第 9項に記載の音声処理装置

[14] 前記実行中の又は実行しょうとする音声処理に伴って生じる前記音声信号の遅延 量を含んだ音声遅延情報を生成する音声遅延情報生成手段を更に備え、

前記遅延手段は、前記音声遅延情報にも基づいて前記音声信号を遅延させること を特徴とする請求の範囲第 9項に記載の音声処理装置。

[15] 前記画像遅延情報は、前記画像処理の実行状況を示す処理状況情報を含むこと を特徴とする請求の範囲第 9項に記載の音声処理装置。

[16] 前記画像遅延情報は、少なくとも前記画像信号の入出力経路を識別するための識 別情報を含むことを特徴とする請求の範囲第 9項に記載の音声処理装置。

[17] 画像信号と該画像信号に対して時系列的な対応関係にある音声信号とを供給用 の信号処理後に供給する画像音声供給装置から、前記音声信号を取得する音声取 得手段と、

前記取得された音声信号に、出力用の音声処理を施す音声処理手段と、 前記画像音声供給装置から送出される、前記実行中の又は実行しょうとする信号 処理に伴って生じる前記画像信号及び前記音声信号の少なくとも一方の遅延量を 含む信号遅延情報を受信する受信手段と、

前記画像信号と前記音声信号との時間差を補償するために前記受信された信号 遅延情報に基づいて前記音声信号を遅延させる遅延手段と

を備えたことを特徴とする音声処理装置。

[18] 前記画像音声供給装置とは別体として構成されていることを特徴とする請求の範囲 第 17項に記載の音声処理装置。

[19] 前記画像音声供給装置が、前記画像信号及び前記音声信号を第 1伝送路に供給 すると共に、

前記音声取得手段は、前記第 1伝送路から前記音声信号を取得し、前記受信手段 は、前記映像音声供給装置との間に介在する第 3伝送路から前記信号遅延情報を 受信する

ことを特徴とする請求の範囲第 17項に記載の音声処理装置。

[20] 前記遅延手段は、前記受信手段が前記信号遅延情報を受信する度に前記受信さ れた信号遅延情報に基づいて前記音声信号の遅延量を更新することを特徴とする 請求の範囲第 17項に記載の音声処理装置。

[21] 前記遅延情報の送信を要求する送信要求を前記画像音声供給装置に送出する第

2送信手段を更に備えたことを特徴とする請求の範囲第 17項に記載の音声処理装 置。

[22] 前記実行中の又は実行しょうとする音声処理に伴って生じる前記音声信号の遅延 量を含んだ音声遅延情報を生成する音声遅延情報生成手段を更に備え、

前記遅延手段は、前記音声遅延情報にも基づいて前記音声信号を遅延させること を特徴とする請求の範囲第 17項に記載の音声処理装置。

[23] 前記信号遅延情報は、前記信号処理の実行状況を示す処理状況情報を含むこと を特徴とする請求の範囲第 17項に記載の音声処理装置。

[24] 前記信号遅延情報は、前記画像信号及び前記音声信号の少なくとも一方の入出 力経路を識別するための識別情報を含むことを特徴とする請求の範囲第 17項に記 載の音声処理装置。

[25] 画像信号と該画像信号に対して時系列的な対応関係にある音声信号とが記録され た記録媒体から前記画像信号及び音声信号を再生する再生手段と、

前記再生された画像信号及び音声信号に対して夫々の信号形式に応じた処理手 順で供給用の信号処理を施す信号処理手段と、

前記信号処理後の画像信号及び音声信号の夫々を、前記画像信号に表示用の 画像処理を施す画像処理装置及び前記音声信号に出力用の音声処理を施す音声 処理装置に供給する供給手段と、

前記実行中の又は実行しょうとする信号処理に伴って生じる前記画像信号及び前 記音声信号の少なくとも一方の遅延量を含む信号遅延情報を生成する信号遅延情 報生成手段と、

前記信号遅延情報を、前記音声処理装置に送出する送出手段と

を備えたことを特徴とする画像音声供給装置。

[26] 前記音声処理装置とは別体として構成されていることを特徴とする請求の範囲第 2

5項に記載の画像音声供給装置。

[27] 前記供給手段は、前記信号処理後の前記画像信号及び前記音声信号の夫々を、 前記画像処理装置及び前記音声処理装置の夫々との間に介在する第 1伝送路に供 糸 Pし、

前記送出手段は、前記音声処理装置に向けて前記信号遅延情報を前記音声処理 装置との間に介在する第 3伝送路に送出する

ことを特徴とする請求の範囲第 25項に記載の画像音声供給装置。

[28] 前記信号遅延情報生成手段は、

前記信号処理に伴って生じる前記画像信号及び前記音声信号の少なくとも一方の 遅延量を含む格納情報を前記処理手順と対応させて予め格納する格納手段と、 前記信号処理に際して前記実行中の又は実行しょうとする処理手順を、前記少なく とも一方について判別する判別手段と、

前記判別された処理手順に対応する前記格納情報を、前記格納手段を参照して 選択する選択手段と

を含み、

前記信号遅延情報を、前記選択された格納情報を含む情報として生成することを 特徴とする請求の範囲第 25項に記載の画像音声供給装置。

[29] 前記判別手段の判別結果に基づいて前記処理手順の切り替わりを検知し、前記選 択手段及び送出手段を、前記切り替わり後の処理手順と対応する前記信号遅延情 報を送出するように制御する第 3制御手段を更に備えることを特徴とする請求の範囲 第 28項に記載の画像音声供給装置。

[30] 前記音声処理装置から送られてくる前記信号遅延情報の送信要求を受信する受 信手段と、前記送信手段を、前記送信要求に応じて前記信号遅延情報を送出するよ うに制御する第 4制御手段とを更に備えることを特徴とする請求の範囲第 25項に記 載の画像音声供給装置。

[31] 前記信号遅延情報生成手段は、

前記信号遅延情報に、前記信号処理の実行状況を示す処理状況情報を含めるこ とを特徴とする請求の範囲第 25項に記載の画像音声供給装置。

[32] 前記信号遅延情報生成手段は、

前記信号遅延情報に、前記画像信号及び前記音声信号の少なくとも一方の入出 力経路を識別するための識別情報を含めることを特徴とする請求の範囲第 25項に 記載の画像音声供給装置。

[33] 画像信号と該画像信号に対して時系列的な対応関係にある音声信号とが少なくと も供給される第 1伝送路と、前記第 1伝送路から取得される前記画像信号に対して表 示用の画像処理を施す画像処理装置と、前記第 1伝送路から取得される前記音声 信号に出力用の音声処理を施す音声処理装置と、前記画像処理装置と前記音声処 理装置との間に介在する第 2伝送路とを含み、

前記画像処理装置と前記音声処理装置とは夫々、前記画像信号と前記音声信号 とを前記第 1伝送路から取得すると共に、

前記画像処理装置は、前記実行中の又は実行しょうとする画像処理に伴って生じ る前記画像信号の遅延量を含んだ画像遅延情報を生成し、該画像遅延情報を前記 音声処理装置に向けて前記第 2伝送路に送出し、

前記音声処理装置は、前記第 2伝送路を介して前記画像処理装置から送出された 前記画像遅延情報を受信し、前記画像信号と前記音声信号との時間差を補償する ために前記受信された画像遅延情報に基づいて前記音声信号を遅延させる ことを特徴とする画像音声処理システム。

[34] 画像信号と該画像信号に対して時系列的な対応関係にある音声信号とが少なくと も供給される第 1伝送路と、前記画像信号と前記音声信号とを供給用の信号処理を 施して前記第 1伝送路に供給する画像音声供給装置と、前記第 1伝送路から取得さ れる前記音声信号に出力用の音声処理を施す音声処理装置と、前記画像音声供給 装置と前記音声処理装置との間に介在する第 3伝送路とを含み、

前記画像音声供給装置は、前記信号処理後の画像信号及び音声信号の夫々を 前記第 1伝送路に供給すると共に、前記実行中の又は実行しょうとする信号処理に 伴って生じる、前記画像信号及び前記音声信号の少なくとも一方の遅延量を含んだ 信号遅延情報を生成し、該信号遅延情報を前記第 3伝送路に送出し、

前記音声処理装置は、前記第 1伝送路を介して前記音声信号を取得し、該取得し た音声信号に出力用の音声処理を施すと共に、前記第 3伝送路を介して前記信号 遅延情報を受信し、前記受信された信号遅延情報に基づ 、て前記音声信号を遅延 させる

ことを特徴とする画像音声処理システム。

画像信号と該画像信号に対して時系列的な対応関係にある音声信号とが少なくと も供給される第 1伝送路と、前記第 1伝送路から取得される前記画像信号に対して表 示用の画像処理を施す画像処理装置と、前記第 1伝送路から取得される前記音声 信号に出力用の音声処理を施す音声処理装置とを含むシステムにおいて前記画像 信号と前記音声信号とを同期させるための画像音声同期方法であって、

前記画像処理装置と前記音声処理装置との間に介在する第 2伝送路を構築するス テツプと、

前記実行中の又は実行しょうとする画像処理に伴って生じる前記画像信号の遅延 量を含んだ画像遅延情報を生成するステップと、

該取得された画像遅延情報を、前記音声処理装置に向けて前記第 2伝送路に送 出するステップと、

前記画像処理装置と前記音声処理装置とが夫々前記第 1伝送路から前記画像信 号と前記音声信号とを取得するステップと、

前記音声処理装置が、前記第 2伝送路を介して前記画像処理装置から送出された 前記画像遅延情報を受信するステップと、

前記画像信号と前記音声信号との時間差を補償するために前記受信された画像 遅延情報に基づいて前記音声信号を遅延させるステップと

を含むことを特徴とする画像音声同期方法。

画像信号と該画像信号に対して時系列的な対応関係にある音声信号とが少なくと も供給される第 1伝送路と、前記画像信号と前記音声信号とを供給用の信号処理を 施して前記第 1伝送路に供給する画像音声供給装置と、前記第 1伝送路から取得さ れる前記音声信号に出力用の音声処理を施す音声処理装置と、前記画像音声供給 装置と前記音声処理装置との間に介在する第 3伝送路とを含むシステムにおいて前 記画像信号と前記音声信号とを同期させるための画像音声同期方法であって、 前記画像音声供給装置と前記音声処理装置との間に介在する第 3伝送路を構築 するステップと、

前記実行中の又は実行しょうとする信号処理に伴って生じる前記画像信号及び前 記音声信号の少なくとも一方の遅延量を含んだ信号遅延情報を生成するステップと 該取得された信号遅延情報を、前記音声処理装置に向けて前記第 3伝送路に送 出するステップと、

前記画像音声供給装置に、前記信号処理後の前記画像信号及び音声信号を前 記第 1伝送路に供給させるステップと、

前記画像処理装置と前記音声処理装置とが夫々前記第 1伝送路から前記画像信 号と前記音声信号とを取得するステップと、

前記音声処理装置が、前記第 3伝送路を介して前記画像音声供給装置から送出さ れた前記遅延情報を受信するステップと、

前記画像信号と前記音声信号との時間差を補償するために前記受信された遅延 情報に基づ!、て前記音声信号を遅延させるステップと

を含むことを特徴とする画像音声同期方法。