JP4369281B2 - 映像音声伝送システム、映像音声送信装置、映像音声受信装置、および映像音声伝送方法 - Google Patents

Description

本発明は、映像音声伝送システム、映像音声送信装置、映像音声受信装置、および映像音声伝送方法に関する。

映像と音声とが同期したデータを装置間で伝送する場合には、データ量を削減するために、例えば、ＭＰＥＧ（Moving Picture Experts Group）等の圧縮方式に基づいて映像データを圧縮することが行われている。

ところで、ＭＰＥＧ等の圧縮方式では、通常、２チャンネル分の音声データしか映像データに付加することができないため、３チャンネル以上の音声データ（マルチチャンネル音声データ）を送信する場合には、映像データとは別個に送信する必要がある。

その場合、符号化された映像データに付属する音声データ（第１の音声データ）と、これとは別に伝送される音声データ（第２の音声データ）は、独立に伝送されることから、映像データの符号化に要する時間に応じて、映像データと第２の音声データとの間に遅延が発生してしまうという問題がある。

そこで、従来においては、例えば、特許文献１に開示されているように、送信側の遅延情報と受信側の遅延情報を演算し、送信側装置へ受信側から情報を逆に伝送して送信側で音声遅延回路の遅延量を可変する方法が提案されている。

特開平２−８２８８７号公報（特許請求の範囲、要約書）

ところで、特許文献１に開示されている技術では、送信側で遅延処理を施す必要がある。

本発明は、上記の事情に基づきなされたもので、その目的とするところは、送信側で遅延処理を施す必要がなく、送信側での映像データと音声データとの同期のための処理を軽減することができる映像音声伝送システム、映像音声送信装置、映像音声受信装置、および映像音声伝送方法を提供することを目的とする。

上述の目的を達成するため、本発明の映像音声伝送システムは、一連の映像データおよび一連の映像データに対応した複数チャンネルの音声データのうち、映像データを複数チャンネルの一部のチャンネルにおける音声データである第１の音声データとともに送信し、かつ、映像データおよび第１の音声データとは独立に、再生に供される第１の音声データと同一の音声データを含む第２の音声データを送信する送信手段を有する映像音声送信装置と、映像音声送信装置から伝送されてきた第１の音声データの音声信号と第２の音声データの音声信号とを比較する比較手段と、比較手段の比較結果に応じて、第２の音声信号を遅延させることにより第１の音声データと同期させる遅延手段と、を有する映像音声受信装置と、を有している。

また、本発明の映像音声伝送システムは、一連の映像データおよび一連の映像データに対応した複数チャンネルの音声データを取得する取得手段と、取得手段によって取得された音声データの一部を復号して得られた複数チャンネルの一部のチャンネルにおける音声データである第１の音声データと、映像データとを符号化して符号化映像音声データを生成する符号化手段と、取得手段によって取得された音声データの少なくとも一部を復号して得られた、複数チャンネルの残りのチャンネルにおける音声データである第２の音声データと、符号化映像音声データとを送信する送信手段と、を有する映像音声送信装置と、符号化映像音声データと第２の音声データとを受信する受信手段と、符号化映像音声データを復号する復号手段と、復号手段によって得られた第１の音声データの音声信号と、第２の音声データの対応する音声信号とを比較する比較手段と、比較手段の比較結果に基づいて第２の音声信号を遅延させることにより第１の音声データと同期させる遅延手段と、を有する映像音声受信装置と、を有している。

また、本発明の映像音声伝送システムは、一連の映像データおよび一連の映像データに対応した複数チャンネルの音声データが再生時間情報によって関連付けされて記録された記録媒体から映像データおよび音声データを再生する再生手段と、再生手段によって再生された音声データの一部を復号して得られた複数チャンネルの一部のチャンネルにおける音声データである第１の音声データと、映像データとを符号化して符号化映像音声データを生成する符号化手段と、再生手段によって再生された音声データの少なくとも一部を復号して得られた複数チャンネルの残りのチャンネルにおける音声データである第２の音声データと、符号化映像音声データとを送信する送信手段と、を有する映像音声送信装置と、符号化映像音声データと第２の音声データとを受信する受信手段と、符号化映像音声データを復号する復号手段と、復号手段によって得られた第１の音声データの音声信号と、第２の音声データの対応する音声信号とを比較する比較手段と、比較手段の比較結果に基づいて第２の音声信号を遅延させることにより第１の音声データと同期させる遅延手段と、を有する映像音声受信装置と、を有している。

また、本発明の映像音声伝送システムは、一連の映像データおよび一連の映像データに対応した複数チャンネルのマルチチャンネル音声データが再生時間情報によって関連付けされて記録された記録媒体から映像データおよびマルチチャンネル音声データを再生する再生手段と、再生手段によって再生されたマルチチャンネル音声データの一部を復号して得られた複数チャンネルの一部のチャンネルにおける音声データである第１の音声データと、映像データとを圧縮符号化して符号化映像音声データを生成する符号化手段と、再生手段によって再生されたマルチチャンネル音声データの少なくとも一部を復号して得られた複数チャンネルの残りのチャンネルにおける音声データである第２の音声データと、符号化映像音声データとを送信する送信手段と、を有する映像音声送信装置と、符号化映像音声データと第２の音声データとを受信する受信手段と、符号化映像音声データを復号する復号手段と、復号手段によって得られた第１の音声データの音声信号と、第２の音声データの対応する音声信号とを比較する比較手段と、比較手段の比較結果に基づいて第２の音声信号を遅延させることにより第１の音声データと同期させる遅延手段と、を有する映像音声受信装置と、を有している。

また、本発明の映像音声伝送システムは、前述の各発明に加えて、映像音声送信装置の送信手段が、音声データにおけるすべての音声データを第２の音声データとして送信し、音声データにおける一部の音声データを第１の音声データとして送信するようにしている。

また、本発明の映像音声伝送システムは、前述の各発明に加えて、映像音声送信装置の送信手段が、第１の音声データおよび第２の音声データとして、テストデータを送信し、その後、映像音声受信装置での第２の音声データの遅延時間の調整後に、映像音声受信装置から所定の制御信号を受信すると、一連の映像データおよび音声データを最初から再送信するようにしている。

また、本発明の映像音声伝送システムは、前述の各発明に加えて、映像音声受信装置の比較手段が、第１および第２の音声データがそれぞれアナログ信号に変換されて得られた第１および第２の音声信号の相関値を、比較結果として計算するようにしている。

また、本発明の映像音声伝送システムは、前述の各発明に加えて、映像音声受信装置の比較手段が、第１の音声信号を第１のゼロクロス信号に変換する第１のコンパレータと、第２の音声信号を第２のゼロクロス信号に変換する第２のコンパレータと、第１のゼロクロス信号と第２のゼロクロス信号との各時点の排他的論理和を演算する演算手段を有している。

また、本発明の映像音声伝送システムは、前述の各発明に加えて、第２の音声データの遅延時間の調整後に、所定の映像音声送信装置により、一連の映像データおよび音声データを最初から再送信させる制御信号を送信する制御信号送信手段をさらに有している。

また、本発明の映像音声伝送方法は、一連の映像データおよび一連の映像データに対応した複数チャンネルの音声データのうち、映像データを複数チャンネルの一部のチャンネルにおける音声データである第１の音声データとともに映像音声送信装置から映像音声受信装置へ転送するステップと、映像データおよび第１の音声データとは独立の、第１の音声データと同一の音声データを含む第２の音声データを映像音声送信装置から映像音声受信装置へ転送するステップと、映像音声送信装置から伝送されてきた第１の音声データの音声信号と第２の音声データの音声信号とを比較するステップと、比較するステップの比較結果に応じて、第２の音声信号を遅延させることにより第１の音声データと同期させる遅延ステップと、を有している。

また、本発明の映像音声伝送方法は、一連の映像データおよび一連の映像データに対応した複数チャンネルの音声データを取得するステップと、取得された音声データの一部を復号して得られた複数チャンネルの一部のチャンネルにおける音声データである第１の音声データと、映像データとを符号化して符号化映像音声データを生成するステップと、取得された音声データの少なくとも一部を復号して得られた複数チャンネルの残りのチャンネルにおける音声データである第２の音声データと、符号化映像音声データとを送信するステップと、符号化映像音声データと第２の音声データとを受信するステップと、符号化映像音声データを復号するステップと、復号するステップによって得られた第１の音声データの音声信号と、第２の音声データの対応する音声信号とを比較するステップと、比較するステップの比較結果に基づいて第２の音声信号を遅延させることにより第１の音声データと同期させるステップと、を有している。

また、本発明の映像音声伝送方法は、一連の映像データおよび一連の映像データに対応した複数チャンネルの音声データが再生時間情報によって関連付けされて記録された記録媒体から映像データおよび音声データを再生するステップと、再生された音声データの一部を復号して得られた複数チャンネルの一部のチャンネルにおける音声データである第１の音声データと、映像データとを符号化して符号化映像音声データを生成するステップと、再生された音声データの少なくとも一部を復号して得られた複数チャンネルの残りのチャンネルにおける音声データである第２の音声データと、符号化映像音声データとを送信するステップと、符号化映像音声データと第２の音声データとを受信するステップと、符号化映像音声データを復号するステップと、復号するステップによって得られた第１の音声データの音声信号と、第２の音声データの対応する音声信号とを比較するステップと、比較するステップの比較結果に基づいて第２の音声信号を遅延させることにより第１の音声データと同期させるステップと、を有している。

また、本発明の映像音声伝送方法は、一連の映像データおよび一連の映像データに対応した複数チャンネルのマルチチャンネル音声データが再生時間情報によって関連付けされて記録された記録媒体から映像データおよびマルチチャンネル音声データを再生するステップと、再生されたマルチチャンネル音声データの一部を復号して得られた複数チャンネルの一部のチャンネルにおける音声データである第１の音声データと、映像データとを圧縮符号化して符号化映像音声データを生成するステップと、再生されたマルチチャンネル音声データの少なくとも一部を復号して得られた複数チャンネルの残りのチャンネルにおける音声データである第２の音声データと、符号化映像音声データとを送信するステップと、符号化映像音声データと第２の音声データとを受信するステップと、符号化映像音声データを復号するステップと、復号するステップによって得られた第１の音声データの音声信号と、第２の音声データの対応する音声信号とを比較するステップと、比較するステップの比較結果に基づいて第２の音声信号を遅延させることにより第１の音声データと同期させるステップと、を有している。

本発明は、送信側で遅延処理を施す必要がなく、送信側での映像データと音声データとの同期のための処理を軽減することができる映像音声伝送システム、映像音声送信装置、映像音声受信装置、および映像音声伝送方法を提供することができる。

以下、本発明の一実施の形態について図面に基づいて説明する。

図１は、本発明の第１の実施の形態に係る映像音声伝送システムの構成例を示すブロック図である。この図に示すように、本発明の第１の実施の形態に係る映像音声伝送システムは、映像音声送信装置１０、映像音声受信装置２０、および、ネットワーク４０を有している。

映像音声送信装置１０は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、ＨＤＤ（Hard Disk Drive）１４、ＤＶＤ（Digital Versatile Disk）再生装置１５、ＭＰＥＧエンコーダ１６、オーディオエンコーダ１７、バス１８、および、通信部１９によって構成されており、映像音声受信装置２０からの要求に応じて映像データを送信する。

ここで、ＣＰＵ１１は、ＨＤＤ１４に格納されているプログラムに応じて、各種演算処理を実行するとともに、装置の各部を制御する中央演算処理装置である。

ＲＯＭ１２は、ＣＰＵ１１が実行するプログラムを格納した半導体記憶装置である。ＲＡＭ１３は、ＣＰＵ１１が実行するプログラムを一時的に記憶する半導体記憶装置である。

ＨＤＤ１４は、ＣＰＵ１１が実行するプログラムを格納するとともに、映像音声受信装置２０に送信する画像データおよび音声データ等を格納している。

ＤＶＤ再生装置１５は、光記録媒体であるＤＶＤに記録されている映像データおよび音声データを光学的に読み取って出力する再生装置である。つまり、ＤＶＤ再生装置１５は、一連の映像データおよび音声データを再生して取得する再生手段および取得手段として機能する。なお、ＤＶＤに記録されている映像データおよび音声データは、再生時間情報（例えば、再生開始からの時（hour）、分（minute）、秒（second）等の情報）によって関連づけされている。

ＭＰＥＧエンコーダ１６は、ＨＤＤ１４に格納されているあるいはＤＶＤ再生装置１５により取得された一連の映像データおよび音声データのうちの一部（１チャンネルまたは２チャンネル分）の音声データ（第１の音声データ）と映像データとをＭＰＥＧ方式に基づいて圧縮する回路である。なお、マルチチャンネルの音声が２チャンネルの音声データにダウンミックスされてＭＰＥＧエンコーダ１６によって符号化される構成としてもよい。

オーディオエンコーダ１７は、ＨＤＤ１４に格納されているあるいはＤＶＤ再生装置１５により取得された一連の映像データおよび音声データから音声データ（例えば、マルチチャンネル音声データ）を抽出し、例えば、ＭＰ３（MPEG-1 Audio Layer 3）形式に基づいて圧縮した後、ネットワーク４０を介して映像音声受信装置２０に送信する。

バス１８は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、ＨＤＤ１４、ＤＶＤ再生装置１５、ＭＰＥＧエンコーダ１６、および、オーディオエンコーダ１７を相互に電気的に接続し、これらの間でデータの授受を可能とするための信号線群である。

送信手段としての通信部１９は、映像音声受信装置２０との間で各種データまたは制御信号を送受し、ＭＰＥＧエンコーダ１６およびオーディオエンコーダ１７と、ネットワーク４０との間でデータを授受する際に、データの表現形式を適宜変換する回路である。

映像音声受信装置２０は、ＣＰＵ２１、ＲＯＭ２２、ＭＰＥＧデコーダ２３、オーディオデコーダ２４、ＲＡＭ２５、ＨＤＤ２６、ビデオＤＡＣ（Digital to Analog Converter）２７、オーディオＤＡＣ２８、相関値計算回路２９、バス３０、および、通信部３１によって構成されている。

ここで、制御信号送信手段としてのＣＰＵ２１は、ＨＤＤ２６に格納されているプログラムに応じて、各種演算処理を実行するとともに、装置の各部を制御する中央演算処理装置である。

ＲＯＭ２２は、ＣＰＵ２１が実行するプログラムを格納した半導体記憶装置である。ＲＡＭ２５は、ＣＰＵ２１が実行するプログラムを一時的に記憶する半導体記憶装置である。

ＨＤＤ２６は、ＣＰＵ２１が実行するプログラムを格納するとともに、映像音声送信装置１０から送信されてきたデータ等を格納する。

復号手段であるＭＰＥＧデコーダ２３は、映像音声送信装置１０から送信されてきたＭＰＥＧ方式で符号化されたデータに対してデコード処理を施し、画像データと第１の音声データとを取り出す処理を実行する処理装置である。

遅延手段としてのオーディオデコーダ２４は、映像音声送信装置１０から送信されてきた符号化された音声データに対してデコード処理を施し、第２の音声データを取り出し、設定された遅延時間だけ音声データを遅延させる処理を実行する処理装置である。

ビデオＤＡＣ２７は、ＭＰＥＧデコーダ２３から出力された映像データ（ディジタル信号）を映像信号（アナログ信号）に変換するための変換器である。

オーディオＤＡＣ２８は、ＭＰＥＧデコーダ２３から出力される第１の音声データ（ディジタル信号）と、オーディオデコーダ２４から出力される第２の音声データ（ディジタル信号）をそれぞれ対応する音声信号（アナログ信号）に変換するＤ／Ａ変換器である。なお、後述するように、オーディオＤＡＣ２８は、ＭＰＥＧデコーダ２３から出力される第１の音声データをＤ／Ａ変換するオーディオＤＡＣ２８ａと、オーディオデコーダ２４から出力される第２の音声データをＤ／Ａ変換するオーディオＤＡＣ２８ｂとを有している。

比較手段としての相関値計算回路２９は、オーディオＤＡＣ２８から出力される第１の音声データに対応する音声信号（第１の音声信号）と、第２の音声データに対応する音声信号（第２の音声信号）との相関値を検出し、バス３０を介してＣＰＵ２１に供給する。

バス３０は、ＣＰＵ２１、ＲＯＭ２２、ＭＰＥＧデコーダ２３、オーディオデコーダ２４、ＲＡＭ２５、ＨＤＤ２６、ビデオＤＡＣ２７、オーディオＤＡＣ２８、および、相関値計算回路２９を相互に電気的に接続し、これらの間でデータの授受を可能とするための信号線群である。

受信手段としての通信部３１は、映像音声送信装置２０との間でデータや制御信号を送受し、ＭＰＥＧデコーダ２３およびオーディオデコーダ２４と、ネットワーク４０との間でデータを授受する際に、データの表現形式を適宜変換する回路である。

図２は、図１に示す相関値計算回路２９の詳細な構成例を示す回路図である。この図に示すように、相関値計算回路２９は、アンプ８０，８１、抵抗８２，８３、コンパレータ８４，８５、および、排他的論理和素子８６によって構成されている。

ここで、アンプ８０は、オーディオＤＡＣ２８ａから出力された第１の音声信号を所定のゲインで増幅して出力する。アンプ８１は、オーディオＤＡＣ２８ｂから出力された第２の音声信号を所定のゲインで増幅して出力する。

抵抗８２，８３は、正電源電圧＋Ｖｃｃおよび負電源電圧−Ｖｃｃを分圧して、コンパレータ８４，８５の反転端子に入力するコンパレート電圧Ｖｃｍｐを生成する。コンパレータ８４は、アンプ８０から出力される第１の音声信号と、コンパレート電圧Ｖｃｍｐとを比較し、第１の音声信号の値がコンパレート電圧Ｖｃｍｐより大きい場合には、“Ｈ”（ハイレベルの信号）を出力し、それ以外の場合には“Ｌ”（ローレベルの信号）を出力する。コンパレータ８５は、アンプ８１から出力される第２の音声信号と、コンパレート電圧Ｖｃｍｐとを比較し、第２の音声信号の値がコンパレート電圧Ｖｃｍｐより大きい場合には、“Ｈ”を出力し、それ以外の場合には“Ｌ”を出力する。

演算手段としての排他的論理和素子８６は、コンパレータ８４の出力信号と、コンパレータ８５の出力信号の排他的論理和を演算し、演算結果をバス３０を介してＣＰＵ２１に供給する。なお、排他的論理和素子８６は、２つの入力端子の値がともに同値（“Ｈ”と“Ｈ”または“Ｌ”と“Ｌ”）である場合には“Ｌ”を出力し、異値（“Ｈ”と“Ｌ”または“Ｌ”と“Ｈ”）である場合には“Ｈ”を出力する。

つぎに、第１の実施の形態の動作について説明する。

図３は、第１の実施の形態に係る映像音声伝送システムの動作を説明するためのシーケンス図である。映像音声受信装置２０において所定の映像信号を再生する操作がなされると、以下の処理が実行される。なお、映像音声受信装置２０のＣＰＵ２１は、ＲＯＭ２２、ＨＤＤ２６などに記憶されたプログラムに従って、以下の処理を実行する。また、同様に、映像音声送信装置１０のＣＰＵ１１は、ＲＯＭ１２、ＨＤＤ１４等に記憶されたプログラムに従って、以下の処理を実行する。

ステップＳ１０：映像音声受信装置２０のＣＰＵ２１は、映像音声送信装置１０に対して所定の映像データおよび音声データをダウンロードして再生する処理を開始する。まず、ＣＰＵ２１は、映像音声送信装置１０に対して所定の映像データを転送するように要求を行う（Ｐ１）。

ステップＳ１１：映像音声送信装置１０のＣＰＵ１１は、映像音声受信装置２０からの映像データおよび音声データの転送要求を受信し、対応する映像データおよび音声データをＤＶＤ再生装置１５またはＨＤＤ１４から取得し、転送する処理を開始する。具体的には、ＣＰＵ１１は、ＤＶＤ再生装置１５またはＨＤＤ１４から対応する一連の映像データおよび音声データを取得し、取得した映像データおよび一部の音声データ（第１の音声データ）をＭＰＥＧエンコーダ１６に供給する。また、ＣＰＵ１１は、一連の映像データおよび音声データのうちのすべての音声データ（第２の音声データを含む音声データ）をオーディオエンコーダ１７に供給する。この結果、ＭＰＥＧエンコーダ１６は、映像データと一部の音声データとをＭＰＥＧ形式に基づいて圧縮処理し、得られたビットストリームをパケット化して、映像音声受信装置２０に対して送信する（Ｐ２）。オーディオエンコーダ１７は、すべての音声データを、例えば、ＭＰ３形式に基づいて圧縮処理し、得られたビットストリームをパケット化して、映像音声受信装置２０に対して送信する（Ｐ２）。

ステップＳ１２：映像音声受信装置２０のＣＰＵ２１は、第２の音声データの遅延量を決定するための再生処理であるテスト再生処理を実行する。すなわち、ＣＰＵ２１は、ＭＰＥＧデコーダ２３およびオーディオデコーダ２４に対してデコード処理を開始するように要求する。その結果、ＭＰＥＧデコーダ２３は、映像音声送信装置１０から伝送されてきたデータをデコードし、映像データと第１の音声データとを取り出し、映像データはビデオＤＡＣ２７に供給し、第１の音声データはオーディオＤＡＣ２８ａに供給する。一方、オーディオデコーダ２４は、映像音声送信装置１０から伝送されてきたデータをデコードし、すべての音声データから、第１の音声データと同系統の第２の音声データを取り出し、オーディオＤＡＣ２８ｂに供給する。

ステップＳ１３：映像音声受信装置２０のＣＰＵ２１は、最適な遅延量を検出する処理を実行する。具体的には、ＣＰＵ２１は、オーディオデコーダ２４に対して、デコードした音声データを出力するタイミングを徐々に遅延させるように制御を行う。オーディオデコーダ２４は、遅延無しの状態から所定の遅延量を有する状態まで徐々に出力のタイミングを変化させる。

このとき、オーディオＤＡＣ２８ａは、ＭＰＥＧデコーダ２３から出力される第１の音声データを第１の音声信号に変換し、アンプ８０を介してコンパレータ８４に供給する。オーディオＤＡＣ２８ｂは、オーディオデコーダ２４から供給される第２の音声データを第２の音声信号に変換し、アンプ８１を介してコンパレータ８５に供給する。

コンパレータ８４は、アンプ８０の出力と、コンパレート電圧Ｖｃｍｐとを比較し、アンプ８０の出力の方が大きい場合には“Ｈ”を出力し、それ以外の場合には“Ｌ”を出力する。コンパレータ８５は、アンプ８１の出力と、コンパレート電圧Ｖｃｍｐとを比較し、アンプ８１の出力の方が大きい場合には“Ｈ”を出力し、それ以外の場合には“Ｌ”を出力する。

図４は、相関値計算回路２９の動作を説明するためのタイミングチャートである。図４に示すように、図２に示すＡ点であるアンプ８０の出力と、Ｃ点であるアンプ８１との出力は図中に示す「遅延時間」に対応する位相差を有している。コンパレータ８４の出力（Ｂ点の信号）は、Ａ点の信号を、コンパレート電圧Ｖｃｍｐを基準として、“Ｈ”または“Ｌ”のレベルに反転するゼロクロス信号に変換したものである。一方、コンパレータ８５の出力（Ｄ点の信号）は、Ｃ点の信号を、コンパレート電圧Ｖｃｍｐを基準として、“Ｈ”または“Ｌ”のレベルに反転するゼロクロス信号に変換したものである。また、排他的論理和素子８６の出力は、Ｂ点の信号と、Ｄ点の信号の排他的論理和を計算したものであり、Ｂ点とＤ点の電圧レベルが同じである場合には、“Ｌ”の状態となり、異なる場合には“Ｈ”の状態となる。

この結果、排他的論理和素子８６の出力は、Ａ点とＢ点の信号が同期している場合には、出力は常に“Ｌ”の状態となり、それ以外の場合には信号の状態に応じて“Ｈ”が出力される。このため、排他的論理和素子８６の出力信号の状態を観察することにより、第１の音声データと第２の音声データとが同期しているか否かを知ることができる。

一般的に、ＭＰＥＧ圧縮処理は、音声のエンコード処理よりも時間を要することから、ＭＰＥＧエンコーダ１６から伝送されてくるデータの方が、オーディオエンコーダ１７から伝送されてくるデータより遅延している。このため、映像音声受信装置２０のＣＰＵ２１は、オーディオデコーダ２４から出力される第２の音声データの遅延量を徐々に変更し、相関値計算回路２９からの出力が最小になるタイミングを検出することにより、第１の音声データと第２の音声データが同期する最適な遅延量を知ることができる。

ステップＳ１４：映像音声受信装置２０のＣＰＵ２１は、修正処理を実行する。すなわち、ＣＰＵ２１は、ステップＳ１３において検出された遅延量になるようにオーディオデコーダ２４の出力タイミングを設定する。なお、オーディオデコーダ２４としては、出力タイミングを設定可能なものを使用する。

ステップＳ１５：映像音声受信装置２０のＣＰＵ２１は、再転送要求処理を実行する。すなわち、ステップＳ１３の「遅延量検出処理」おいて、映像データの一部を再生（転送）済みであるため、この部分を正常に再生するために、ＣＰＵ２１は、映像音声送信装置１０に対して同じ映像データを最初から再転送するように要求する。その結果、映像音声送信装置１０に対して映像データの再転送要求が送信される（Ｐ３）。

ステップＳ１６：映像音声送信装置１０のＣＰＵ１１は、要求のあった映像データを最初に戻って転送する処理を実行する。その結果、一連の映像データおよび音声データが映像音声受信装置２０に前述の場合と同様に再度転送される（Ｐ４）。

ステップＳ１７：映像音声受信装置２０のＣＰＵ２１は、映像音声送信装置１０から転送されてきたデータを再生する処理を開始する。その結果、ＭＰＥＧデコーダ２３は、映像音声送信装置１０から転送されてきたデータから映像データと、第１の音声データを抽出し、映像データについては、ビデオＤＡＣ２７に供給し、第１の音声データについては、オーディオＤＡＣ２８に供給する。また、オーディオデコーダ２４は、映像音声送信装置１０から転送されてきたデータから第２の音声データを抽出する処理を実行し、ステップＳ１３において検出された遅延量に応じた時間だけ遅延した後、オーディオＤＡＣ２８に出力する。

その結果、第１の音声データと第２の音声データの同期が図られるので、正常なタイミングで再生することが可能になる。なお、映像データと第１の音声データとは同一のストリームに乗ったデータであるため、これらは同期がとられている。第２の音声データは、前述のように所定の遅延量だけ遅延されることから、第２の音声データと、映像データとの同期も併せてとられることになる。

以上に説明したように、本発明の第１の実施の形態に係る映像音声伝送システムでは、第１および第２の音声信号の相関値を計算し、この相関値に基づいて第２の音声信号を再生するタイミングを遅延させるようにしたので、第１および第２の音声ならびに映像の同期をとることが可能になる。このため、送信側である映像音声送信装置１０で遅延処理を施すことなくマルチチャンネル音声の同期をとることが可能になる。

また、以上の実施の形態では、相関値計算回路２９により相関値によって遅延量を検出するようにしたので、ＭＰＥＧ方式に基づく符号化および復号がなされた場合でも正確に遅延量を計算することができる。すなわち、ＭＰＥＧ方式に基づく圧縮は、不可逆圧縮方式であるので、圧縮前の音声データに完全に戻すことはできないが、圧縮、伸張後でも信号の相関値は十分に高いので、遅延量を正確に求めることができる。

なお、第１の実施の形態では、再生を開始する前に、第２の音声データの遅延量を決定し、再生開始後は、遅延量を固定の状態としたが、例えば、再生中においても遅延量の微調整を行うことが可能である。すなわち、図２に示す相関値計算回路２９の出力は、第１および第２の音声データの同期がとれている場合に極小となるので、現在の相関値を記憶しておき、オーディオデコーダ２４を調整することで遅延量を増減した場合の新たな相関値と比較し、相関値が小さくなっている場合には遅延量を同一方向に変更し（減少させている場合にはさらに減少させ）、相関値が大きくなっている場合には、遅延量を反対方向に変更する（減少させている場合には増加させる）。このような方法により、再生中であっても、第１および第２の音声データが常に一致するように制御することができる。ひいては、映像データによる映像と、オーディオデコーダ２４から出力される音声データによる音声との同期を動的に確保することができる。また、第１の実施の形態では、映像データとともに送信する音声データ（第１の音声データ）を、別に伝送する音声データの一部（第２の音声データ）とまったく同一としているが、まったく同一ではなくても両者の相関が十分に高ければよい。

つぎに、本発明の第２の実施の形態について説明する。

本発明の第２の実施の形態に係る映像音声伝送システムの構成は、図１の場合と同様であるが、ＨＤＤ１４およびＨＤＤ２６に格納されているプログラムが異なっており、また、それに基づく動作が一部が異なっている。なお、第２の実施の形態に係る映像音声伝送システムの構成例についての説明は省略する。

つぎに、本発明の第２の実施の形態に係る映像音声伝送システムの動作について説明する。

本発明の第１の実施の形態では、第１の音声データと第２の音声データとが同一であるか、または、相関が高い場合を想定しているが、例えば、これらがまったく異なる場合には同期をとることができない。そのような場合には、本発明の第２の実施の形態に係る映像音声伝送システムを用いることにより、同期をとることができる。

図５は、本発明の第２の実施の形態に係る映像音声伝送システムの動作を説明するためのシーケンス図である。映像音声受信装置２０において所定の映像信号を再生する操作がなされると、以下の処理が実行される。

ステップＳ３０：映像音声受信装置２０のＣＰＵ２１は、映像音声送信装置１０に格納されている所定の映像データおよび音声データをダウンロードして転送するための処理を開始する。

ステップＳ３１：映像音声受信装置２０のＣＰＵ２１は、所定の映像データおよび音声データの再生に先立って第２の音声データの遅延量を決定するための動作モードであるテストモードを開始する。すなわち、ＣＰＵ２１は、映像音声送信装置１０に対してモードをテストモードに変更するように要求する（Ｐ１０）。

ステップＳ３２：映像音声送信装置１０のＣＰＵ１１は、動作モードを変更する処理を実行する。すなわち、ＣＰＵ１１は、ＭＰＥＧエンコーダ１６とオーディオエンコーダ１７とに同一の音声データ（テスト用の音声データ）をそれぞれ供給する。なお、このテスト用の音声データとしては、例えば、これから再生しようとする映像データに含まれている複数の音声データをミックスダウンして生成してもよいし、複数の音声データから単一の音声データを抽出して生成してもよい。また、テスト用の音声データとして、あらかじめ所定の音声データを準備しておき、これを用いることも可能である。例えば、周波数の低い正弦波を所定時間含み、その後に周波数の高い正弦波を所定時間含む音声データを使用してもよい。このような音声データを使用すれば、周波数の低い正弦波により大まかに遅延量を調整した後、周波数の高い正弦波により遅延量を細かく調整することが可能となる。

ステップＳ３３：映像音声送信装置１０のＣＰＵ１１は、テストデータを、映像音声受信装置２０に対して送信する処理を開始する。その結果、テスト用の音声データがＭＰＥＧエンコーダ１６とオーディオエンコーダ１７にそれぞれ供給され、所定の圧縮処理が施された後、映像音声受信装置２０に対して転送される（Ｐ１１）。

ステップＳ３４：映像音声受信装置２０のＣＰＵ２１は、第２の音声データの遅延量を決定するための再生処理であるテスト再生処理を実行する。すなわち、ＣＰＵ２１は、ＭＰＥＧデコーダ２３およびオーディオデコーダ２４に対してデコード処理を開始するように要求する。その結果、ＭＰＥＧデコーダ２３は、映像音声送信装置１０から伝送されてきたデータをデコードし、映像データと第１の音声データ（テスト用の音声データ）とを取り出し、映像データはビデオＤＡＣ２７に供給し、第１の音声データはオーディオＤＡＣ２８ａに供給する。一方、オーディオデコーダ２４は、映像音声送信装置１０から伝送されてきたデータをデコードし、第２の音声データ（テスト用の音声データ）を取り出し、オーディオＤＡＣ２８ｂに供給する。

ステップＳ３５：映像音声受信装置２０のＣＰＵ２１は、最適な遅延量を検出する処理を実行する。具体的には、ＣＰＵ２１は、オーディオデコーダ２４に対して、デコードした音声データを出力するタイミングを徐々に遅延させるように制御を行う。オーディオデコーダ２４は、遅延無しの状態から所定の遅延量を有する状態まで徐々に出力のタイミングを変化させる。

このとき、オーディオＤＡＣ２８ａは、ＭＰＥＧデコーダ２３から出力される第１の音声データを第１の音声信号に変換し、アンプ８０を介してコンパレータ８４に供給する。オーディオＤＡＣ２８ｂは、オーディオデコーダ２４から供給される第２の音声データを第２の音声信号に変換し、アンプ８１を介してコンパレータ８５に供給する。

相関値計算回路２９では、前述の場合と同様の処理が実行され、排他的論理和素子８６の出力は、Ａ点とＢ点の信号が同期している場合には、出力は常に“Ｌ”の状態となり、それ以外の場合には図４に示すようにそれぞれの信号の状態に応じて“Ｈ”が出力される。

ＣＰＵ２１は、オーディオデコーダ２４から出力される第２の音声データの遅延量を徐々に変更し、相関値計算回路２９からの出力が最小になるタイミングを検出することにより、第１の音声データと第２の音声データが同期する遅延量を知ることができる。

ステップＳ３６：映像音声受信装置２０のＣＰＵ２１は、修正処理を実行する。すなわち、ＣＰＵ２１は、ステップＳ３５において検出された遅延量になるようにオーディオデコーダ２４の出力タイミングを設定する。

ステップＳ３７：映像音声受信装置２０のＣＰＵ２１は、テストモードを終了し、通常の再生動作を実行する再生モードを開始する。

ステップＳ３８：映像音声受信装置２０のＣＰＵ２１は、映像音声送信装置１０に対して所定の映像データを転送するように要求する処理を開始する。その結果、ＣＰＵ２１は、映像音声送信装置１０に対して所定の映像データを転送するように要求を行う（Ｐ１２）。

ステップＳ３９：映像音声送信装置１０のＣＰＵ１１は、映像音声受信装置２０から要求された映像データおよび音声データを転送する転送処理を開始する。すなわち、映像音声送信装置１０のＣＰＵ１１は、要求のあった映像データおよび音声データをＨＤＤ１４またはＤＶＤ再生装置１５から取得し、ＭＰＥＧエンコーダ１６およびオーディオエンコーダ１７に供給する。ＭＰＥＧエンコーダ１６は、映像データと、音声データの一部の第１の音声データとをＭＰＥＧ方式に基づいて圧縮した後、ネットワーク４０を介して映像音声受信装置２０に転送する（Ｐ１３）。オーディオエンコーダ１７は、残りの第２の音声データを、例えば、ＭＰ３形式に基づいて圧縮した後、ネットワーク４０を介して映像音声受信装置２０に転送する（Ｐ１３）。

ステップＳ４０：映像音声受信装置２０のＣＰＵ２１は、映像音声送信装置１０から転送されてきたデータを再生する処理を開始する。その結果、ＭＰＥＧデコーダ２３は、映像音声送信装置１０から転送されてきたデータから映像データと、第１の音声データを抽出し、映像データについては、ビデオＤＡＣ２７に供給し、第１の音声データについては、オーディオＤＡＣ２８に供給する。また、オーディオデコーダ２４は、映像音声送信装置１０から転送されてきたデータから第２の音声データを抽出する処理を実行し、ステップＳ３５において検出された遅延量に応じた時間だけ遅延した後、オーディオＤＡＣ２８に供給する。

その結果、第１の音声データと第２の音声データの同期がとれるので、正常なタイミングで再生することが可能になる。なお、映像データと第１の音声データとは同一のストリームに乗ったデータであるため、これらは同期がとれている。第２の音声データは、前述のように所定の遅延量だけ遅延されることから、第２の音声データと、映像データとの同期も併せてとれることになる。

以上に説明したように、本発明の第２の実施の形態に係る映像音声伝送システムでは、テストモードを設けて、当該テストモードにおいては第１および第２の音声データとして、同一の音声データを映像音声送信装置１０から転送するようにしたので、第１および第２の音声データとして、異なる音声データまたは相関性が低い音声データを含む映像データを再生しようとする場合であっても、第１および第２の音声データの同期をとることが可能になる。

なお、第２の実施の形態では、再生を開始する前に、第２の音声データの遅延量を決定し、再生開始後は、遅延量を固定の状態としたが、前述のように再生中においても遅延量の微調整を行うことが可能である。

つぎに、本発明の第３の実施の形態について説明する。

図６は、本発明の第３の実施の形態に係る映像音声伝送システムの構成例を示す図である。この図の例では、図１の場合と比較して、映像音声送信装置１０が映像音声送信装置１０Ａに置換され、また、映像音声受信装置２０が映像音声受信装置２０Ａに置換されている。ここで、映像音声送信装置１０Ａは、図１の場合と比較して、オーディオエンコーダ１７がオーディオデコーダ９０に置換されている。また、映像音声受信装置２０Ａは、図１の場合と比較して、オーディオデコーダ２４が除外されている。また、ＨＤＤ１４およびＨＤＤ２６に格納されているプログラムが異なっており、それに基づく動作の一部が異なっている。さらに、第３の実施の形態では、オーディオＤＡＣ２８が遅延手段としての機能を有している。

ここで、オーディオデコーダ９０は、例えば、ＤＶＤ再生装置１５に装着されている、記録媒体としてのＤＶＤに記録されている音声データに施されているＡＣ−３（Audio Compression-3）規格に基づく符号化を復号するための回路である。なお、その他の構成は、図１の場合と同様であり、図１と対応する部分には同一の符号を付してあるので、その説明は省略する。

つぎに、本発明の第３の実施の形態に係る映像音声伝送システムの動作について説明する。

図７は、本発明の第３の実施の形態に係る映像音声伝送システムの動作を説明するためのシーケンス図である。映像音声受信装置２０Ａにおいて所定の映像信号を再生する操作がなされると、以下の処理が実行される。

ステップＳ６０：映像音声受信装置２０ＡのＣＰＵ２１は、映像音声送信装置１０Ａに格納されている所定の映像データおよび音声データをダウンロードするための処理を開始し、映像音声送信装置１０Ａに対して所定のデータの転送を要求する（Ｐ３０）。

ステップＳ６１：映像音声受信装置２０ＡのＣＰＵ２１は、映像音声受信装置１０Ａから要求された映像データおよび音声データを、例えば、ＤＶＤ再生装置１５に装着されているＤＶＤから検索する。なお、ＤＶＤには、マルチチャンネルの音声データ（例えば、フロント（前方）左右用、センター（中央）用、リア（後方）左右用、低音用の合計６チャンネル分の音声データ）が、例えば、ＡＣ−３規格に基づいて符号化され、映像データとともに時間情報によって関連付けされて記録されている。ＣＰＵ２１は、要求された映像データと音声データをＤＶＤから読み出し、映像データについてはＭＰＥＧエンコーダ１６に供給し、音声データについてはオーディオデコーダ９０に供給し、そこで、ＡＣ−３規格に基づいて復号させる。オーディオデコーダ９０は、フロント左右用の２チャンネル分の音声データ（第１の音声データ）を、ＭＰＥＧエンコーダ１６に供給する。ＭＰＥＧエンコーダ１６は、ＣＰＵ２１から供給された映像データと、オーディオデコーダ９０から供給された音声データとをＭＰＥＧ方式に基づいて圧縮符号化し、映像音声受信装置２０Ａに送信する（Ｐ３１）。また、オーディオデコーダ９０により復号されたフロント左右用、センター用、リア左右用、低音用の合計６チャンネル分の音声データ（第２の音声データ）は、そのままの状態で、通信部１９を介して映像音声受信装置２０Ａに対して送信する（Ｐ３１）。

映像音声受信装置２０Ａでは、ＣＰＵ２１がＭＰＥＧデコーダ２３に対してデコード処理を開始するように要求する。その結果、ＭＰＥＧデコーダ２３は、映像音声送信装置１０Ａから伝送されてきたデータをデコードし、映像データと第１の音声データとを取り出し、映像データはビデオＤＡＣ２７に供給し、第１の音声データはオーディオＤＡＣ２８ａに供給する。一方、映像音声送信装置１０Ａから送信されてきた第２の音声データは、オーディオＤＡＣ２８ｂに供給される。

ステップＳ６２：映像音声受信装置２０ＡのＣＰＵ２１は、最適な遅延量を検出する処理を実行する。具体的には、ＣＰＵ２１は、オーディオＤＡＣ２８ｂに対して、Ｄ／Ａ変換した音声データ（第２の音声データ）を出力するタイミングを徐々に遅延させるように制御を行う。オーディオデＤＡＣ２８ｂは、遅延無しの状態から所定の遅延量を有する状態まで徐々に出力のタイミングを変化させる。

このとき、オーディオＤＡＣ２８ａは、ＭＰＥＧデコーダ２３から出力される第１の音声データを第１の音声信号に変換し、アンプ８０を介してコンパレータ８４に供給する。オーディオＤＡＣ２８ｂは、通信部３１から供給される第２の音声データを第２の音声信号に変換し、アンプ８１を介してコンパレータ８５に供給する。

相関値計算回路２９では、前述の場合と同様の処理が実行され、排他的論理和素子８６の出力は、Ａ点とＢ点の信号が同期している場合には、出力は常に“Ｌ”の状態となり、それ以外の場合には図４に示すようにそれぞれの信号の状態に応じて“Ｈ”が出力される。

ＣＰＵ２１は、オーディオデコーダ２４から出力される第２の音声データの遅延量を徐々に変更し、相関値計算回路２９からの出力が最小になるタイミングを検出することにより、第１の音声データと第２の音声データが同期する遅延量を知ることができる。

ステップＳ６３：映像音声受信装置２０ＡのＣＰＵ２１は、修正処理を実行する。すなわち、ＣＰＵ２１は、ステップＳ６５において検出された遅延量になるようにオーディオＤＡＣ２８の出力タイミングを設定する。

ステップＳ６４：映像音声受信装置２０ＡのＣＰＵ２１は、映像の再生が終了したか否かを判定し、終了していない場合にはステップＳ６２に戻って同様の処理を繰り返し、それ以外の場合には処理を終了する。

なお、１回目の処理において極小値が求められるので、２回目以降の処理においては、ＣＰＵ２１は、相関値計算回路２９の出力が減少する方向に遅延量を変化させ、遅延量の変化が無くなった時点を最適値（極小値）とする制御をすればよい。

この結果、再生が開始された後は、第１の音声データと第２の音声データの同期が常にとれた状態になるので、正常なタイミングで再生することが可能になる。なお、映像データと第１の音声データとは同一のストリームに乗ったデータであるため、これらは同期がとれている。第２の音声データは、前述のように所定の遅延量だけ遅延されることから、第２の音声データと、映像データとの同期も併せてとれることになる。

以上に説明したように、本発明の第３の実施の形態に係る映像音声伝送システムでは、第１および第２の音声データとして、マルチチャンネル音声データの一部（フロントの２チャンネル分の音声データ）を送信するようにしたので、これを基準として第１および第２の音声データの同期をとることが可能になる。

なお、以上の実施の形態では、フロントの２チャンネル分の音声データを使用するようにしたが、これ以外の音声データを使用してもよい。また、マルチチャンネル音声データをダウンミックスしてＭＰＥＧエンコーダ１６によって映像データとともに符号化して送信し、映像音声受信装置２０Ａにおいて、オーディオＤＡＣ２８ｂの出力をダウンミックスしてこれらを比較するようにしてもよい。もっとも、ある程度の相関が得られれば問題ないので、ＭＰＥＧエンコーダ１６からの出力と、マルチチャンネル音声データとを比較するようにしてもよい。

また、以上の実施の形態では、ＤＶＤ等の可変ビットレートで記録されている記録媒体の再生に際して、常に最適な遅延量が得られるようにするため、常に遅延量を検出し、検出された遅延量に応じて第２の音声データの遅延量を変更するようにしたが、前述の第１または第２の実施の形態の場合と同様に、テスト再生処理により遅延量を検出し、この検出結果に基づいて遅延量を決定し、データを再送信するようにしてもよい。

なお、上述の各実施の形態は、本発明の好適な例であるが、本発明は、これらに限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の変形、変更が可能である。

例えば、以上の各実施の形態では、相関値計算回路２９としては、図２に示すような構成を有する回路を用いたが、例えば、図８に示すような構成を有する回路を用いることも可能である。図８に示す相関計算回路２９Ａでは、図２の構成と比較すると、排他的論理和素子８６が除外され、マイクロコンピュータ１００が新たに付加されている。ここで、マイクロコンピュータ１００は、図示せぬＣＰＵ、ＲＯＭ、ＲＡＭ等を有するとともに、Ａ／Ｄ変換器を有している。

この相関値計算回路２９Ａの動作はつぎのとおりである。すなわち、相関値計算回路２９Ａのマイクロコンピュータ１００は、コンパレータ８４，８５から出力された信号（ゼロクロス信号）を、図示せぬＡ／Ｄ変換器がディジタル信号に変換して読み込み、図示せぬＣＰＵが読み込んだ２つデータに対して排他的論理和を施すことにより、図２の場合と同様に相関値を得ることができる。なお、相関値に基づく遅延量の決定を行う処理は、前述の場合と同様であるので、その詳細な説明は省略する。なお、マイクロコンピュータ１００を省略し、その代わりとしてＣＰＵ２１を使用するようにしてもよい。

また、図９に示すように、コンパレータ８４，８５の処理もマイクロコンピュータ１００に分担させるようにしてもよい。この図の例では、図２の場合に比較すると、コンパレータ８４，８５および排他的論理和素子８６が除外され、マイクロコンピュータ１００が新たに付加されている。この例では、マイクロコンピュータ１００は、アンプ８０およびアンプ８１から出力された音声信号を、図示せぬＡ／Ｄ変換器によってディジタル信号に変換して読み込み、所定の基準値と比較することによりそれぞれゼロクロス信号に変換した後、それぞれのゼロクロス信号の排他的論理和を演算し、相関値を得ることができる。なお、相関値に基づいて遅延量を決定する処理は、前述の場合と同様であるので、その説明は省略する。なお、マイクロコンピュータ１００を省略し、その代わりとしてＣＰＵ２１を使用するようにしてもよい。

また、以上の各実施の形態は、ＭＰＥＧ方式を採用しており、通常、ＭＰＥＧ方式では、映像データとともに２チャンネルの音声データしかエンコードできないため、３チャンネル以上の音声データを転送するのに好適である。

また、以上の各実施の形態では、相関値を計算する方法としては、ゼロクロス信号の排他的論理和を演算するようにしたが、例えば、これ以外の方法によって相関値を計算するようにしてもよい。また、相関値の瞬時値を用いるのではなく、例えば、相関値を積分して用いるようにすることも可能である。そのような構成によれば、ある程度の期間の平均を参照して制御を行うことが可能になるので、誤動作を防止することができる。さらに、図２、図８、図９に示す回路構成は、一例であり、このような場合に本発明が限定されるものではないことはいうまでもない。

また、以上の各実施の形態では、第２の音声データについては、オーディオデコーダ２４において遅延処理を施すようにしたが、例えば、オーディオＤＡＣ２８において遅延処理を施すことも可能である。なお、それ以外にも、例えば、オーディオＤＡＣ２８までの経路上に遅延回路を別途設けて、この遅延回路によって遅延処理を施すようにしてもよい。

また、以上の各実施の形態では、映像音声送信装置１０，１０Ａと映像音声受信装置２０，２０Ａとは、ネットワーク４０を経由して接続するようにしたが、例えば、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４等のインタフェースを介してこれらを接続することも可能である。つまり、映像音声送信装置１０，１０Ａは、ＩＥＥＥ１３９４インタフェースを有するＤＶＤ再生装置または家庭内マルチメディアサーバであり、ＤＶＤ再生装置の場合にはＤＶＤ再生装置に対する再生指令によってデータの送信が開始され、家庭内マルチメディアサーバの場合にはクライアント（例えば、子供部屋にある子機）からの要求によってデータの送信が開始される。

本発明は、映像音声送信装置から１または複数の映像音声受信装置に、音声データを有する映像データを伝送する映像音声伝送システムに利用することができる。

本発明の第１の実施の形態に係る映像音声伝送システムの構成例を示すブロック図である。 図１に示す第１の実施の形態における相関値計算回路の詳細な構成例を示す図である。 図１に示す第１の実施の形態の動作を説明するためのシーケンス図である。 図２に示す相関値計算回路の動作を説明するためのタイミングチャートである。 本発明の第２の実施の形態に係る映像音声伝送システムの動作を説明するためのシーケンス図である。 本発明の第３の実施の形態に係る映像音声伝送システムの構成例を示すブロック図である。 図６に示す第３の実施の形態の動作を説明するためのシーケンス図である。 相関値計算回路の他の構成例を示す図である。 相関値計算回路の他の構成例を示す図である。

符号の説明

１０，１０Ａ 映像音声送信装置
１４ ＨＤＤ（取得手段）
１５ ＤＶＤ再生装置（取得手段、再生手段）
１９ 通信部（送信手段）
２０，２０Ａ 映像音声受信装置
２１ ＣＰＵ（制御信号送信手段）
２４ オーディオデコーダ（遅延手段）
２９ 相関値計算回路（比較手段）
３１ 通信部（受信手段）
８４，８５ コンパレータ
８６ 排他的論理和素子（演算手段）
９０ オーディオデコーダ

Claims (13)

1. 一連の映像データおよび上記一連の映像データに対応した複数チャンネルの音声データのうち、映像データを上記複数チャンネルの一部のチャンネルにおける音声データである第１の音声データとともに送信し、かつ、上記映像データおよび上記第１の音声データとは独立に、再生に供される上記第１の音声データと同一の音声データを含む第２の音声データを送信する送信手段を有する映像音声送信装置と、
   上記映像音声送信装置から伝送されてきた上記第１の音声データの音声信号と上記第２の音声データの音声信号とを比較する比較手段と、上記比較手段の比較結果に応じて、上記第２の音声信号を遅延させることにより上記第１の音声データと同期させる遅延手段と、を有する映像音声受信装置と、
   を有することを特徴とする映像音声伝送システム。
2. 一連の映像データおよび上記一連の映像データに対応した複数チャンネルの音声データを取得する取得手段と、
   上記取得手段によって取得された上記音声データの一部を復号して得られた上記複数チャンネルの一部のチャンネルにおける音声データである第１の音声データと、上記映像データとを符号化して符号化映像音声データを生成する符号化手段と、
   上記取得手段によって取得された上記音声データの少なくとも一部を復号して得られた、上記複数チャンネルの残りのチャンネルにおける音声データである第２の音声データと、上記符号化映像音声データとを送信する送信手段と、を有する映像音声送信装置と、
   上記符号化映像音声データと上記第２の音声データとを受信する受信手段と、
   上記符号化映像音声データを復号する復号手段と、
   上記復号手段によって得られた上記第１の音声データの音声信号と、上記第２の音声データの対応する音声信号とを比較する比較手段と、
   上記比較手段の比較結果に基づいて上記第２の音声信号を遅延させることにより上記第１の音声データと同期させる遅延手段と、を有する映像音声受信装置と、
   を有することを特徴とする映像音声伝送システム。
3. 一連の映像データおよび上記一連の映像データに対応した複数チャンネルの音声データが再生時間情報によって関連付けされて記録された記録媒体から上記映像データおよび上記音声データを再生する再生手段と、
   上記再生手段によって再生された上記音声データの一部を復号して得られた上記複数チャンネルの一部のチャンネルにおける音声データである第１の音声データと、上記映像データとを符号化して符号化映像音声データを生成する符号化手段と、
   上記再生手段によって再生された上記音声データの少なくとも一部を復号して得られた上記複数チャンネルの残りのチャンネルにおける音声データである第２の音声データと、上記符号化映像音声データとを送信する送信手段と、を有する映像音声送信装置と、
   上記符号化映像音声データと上記第２の音声データとを受信する受信手段と、
   上記符号化映像音声データを復号する復号手段と、
   上記復号手段によって得られた上記第１の音声データの音声信号と、上記第２の音声データの対応する音声信号とを比較する比較手段と、
   上記比較手段の比較結果に基づいて上記第２の音声信号を遅延させることにより上記第１の音声データと同期させる遅延手段と、を有する映像音声受信装置と、
   を有することを特徴とする映像音声伝送システム。
4. 一連の映像データおよび上記一連の映像データに対応した複数チャンネルのマルチチャンネル音声データが再生時間情報によって関連付けされて記録された記録媒体から上記映像データおよび上記マルチチャンネル音声データを再生する再生手段と、
   上記再生手段によって再生された上記マルチチャンネル音声データの一部を復号して得られた上記複数チャンネルの一部のチャンネルにおける音声データである第１の音声データと、上記映像データとを圧縮符号化して符号化映像音声データを生成する符号化手段と、
   上記再生手段によって再生された上記マルチチャンネル音声データの少なくとも一部を復号して得られた上記複数チャンネルの残りのチャンネルにおける音声データである第２の音声データと、上記符号化映像音声データとを送信する送信手段と、を有する映像音声送信装置と、
   上記符号化映像音声データと上記第２の音声データとを受信する受信手段と、
   上記符号化映像音声データを復号する復号手段と、
   上記復号手段によって得られた上記第１の音声データの音声信号と、上記第２の音声データの対応する音声信号とを比較する比較手段と、
   上記比較手段の比較結果に基づいて上記第２の音声信号を遅延させることにより上記第１の音声データと同期させる遅延手段と、を有する映像音声受信装置と、
   を有することを特徴とする映像音声伝送システム。
5. 前記映像音声送信装置の送信手段は、音声データにおけるすべての音声データを前記第２の音声データとして送信し、音声データにおける一部の音声データを前記第１の音声データとして送信することを特徴とする請求項１に記載の映像音声伝送システム。
6. 前記映像音声送信装置の送信手段は、前記第１の音声データおよび前記第２の音声データとして、テストデータを送信し、その後、前記映像音声受信装置での前記第２の音声データの遅延時間の調整後に、前記映像音声受信装置から所定の制御信号を受信すると、前記一連の映像データおよび音声データを最初から再送信することを特徴とする請求項１〜４いずれか記載の映像音声伝送システム。
7. 前記映像音声受信装置の比較手段は、前記第１および第２の音声データがそれぞれアナログ信号に変換されて得られた第１および第２の音声信号の相関値を、比較結果として計算することを特徴とする請求項１〜４いずれか記載の映像音声伝送システム。
8. 前記映像音声受信装置の比較手段は、前記第１の音声信号を第１のゼロクロス信号に変換する第１のコンパレータと、前記第２の音声信号を第２のゼロクロス信号に変換する第２のコンパレータと、上記第１のゼロクロス信号と上記第２のゼロクロス信号との各時点の排他的論理和を演算する演算手段を有することを特徴とする請求項７記載の映像音声伝送システム。
9. 前記第２の音声データの遅延時間の調整後に、前記所定の映像音声送信装置により、前記一連の映像データおよび音声データを最初から再送信させる制御信号を送信する制御信号送信手段をさらに有することを特徴とする請求項１〜４いずれか記載の映像音声伝送システム。
10. 一連の映像データおよび上記一連の映像データに対応した複数チャンネルの音声データのうち、映像データを上記複数チャンネルの一部のチャンネルにおける音声データである第１の音声データとともに映像音声送信装置から映像音声受信装置へ転送するステップと、
    上記映像データおよび上記第１の音声データとは独立の、上記第１の音声データと同一の音声データを含む第２の音声データを映像音声送信装置から映像音声受信装置へ転送するステップと、
    上記映像音声送信装置から伝送されてきた上記第１の音声データの音声信号と上記第２の音声データの音声信号とを比較するステップと、
    上記比較するステップの比較結果に応じて、上記第２の音声信号を遅延させることにより上記第１の音声データと同期させる遅延ステップと、
    を有することを特徴とする映像音声伝送方法。
11. 一連の映像データおよび上記一連の映像データに対応した複数チャンネルの音声データを取得するステップと、
    取得された上記音声データの一部を復号して得られた上記複数チャンネルの一部のチャンネルにおける音声データである第１の音声データと、上記映像データとを符号化して符号化映像音声データを生成するステップと、
    取得された上記音声データの少なくとも一部を復号して得られた上記複数チャンネルの残りのチャンネルにおける音声データである第２の音声データと、上記符号化映像音声データとを送信するステップと、
    上記符号化映像音声データと上記第２の音声データとを受信するステップと、
    上記符号化映像音声データを復号するステップと、
    上記復号するステップによって得られた上記第１の音声データの音声信号と、上記第２の音声データの対応する音声信号とを比較するステップと、
    上記比較するステップの比較結果に基づいて上記第２の音声信号を遅延させることにより上記第１の音声データと同期させるステップと、
    を有することを特徴とする映像音声伝送方法。
12. 一連の映像データおよび上記一連の映像データに対応した複数チャンネルの音声データが再生時間情報によって関連付けされて記録された記録媒体から上記映像データおよび上記音声データを再生するステップと、
    再生された上記音声データの一部を復号して得られた上記複数チャンネルの一部のチャンネルにおける音声データである第１の音声データと、上記映像データとを符号化して符号化映像音声データを生成するステップと、
    再生された上記音声データの少なくとも一部を復号して得られた上記複数チャンネルの残りのチャンネルにおける音声データである第２の音声データと、上記符号化映像音声データとを送信するステップと、
    上記符号化映像音声データと上記第２の音声データとを受信するステップと、
    上記符号化映像音声データを復号するステップと、
    上記復号するステップによって得られた上記第１の音声データの音声信号と、上記第２の音声データの対応する音声信号とを比較するステップと、
    上記比較するステップの比較結果に基づいて上記第２の音声信号を遅延させることにより上記第１の音声データと同期させるステップと、
    を有することを特徴とする映像音声伝送方法。
13. 一連の映像データおよび上記一連の映像データに対応した複数チャンネルのマルチチャンネル音声データが再生時間情報によって関連付けされて記録された記録媒体から上記映像データおよび上記マルチチャンネル音声データを再生するステップと、
    再生された上記マルチチャンネル音声データの一部を復号して得られた上記複数チャンネルの一部のチャンネルにおける音声データである第１の音声データと、上記映像データとを圧縮符号化して符号化映像音声データを生成するステップと、
    再生された上記マルチチャンネル音声データの少なくとも一部を復号して得られた上記複数チャンネルの残りのチャンネルにおける音声データである第２の音声データと、上記符号化映像音声データとを送信するステップと、
    上記符号化映像音声データと上記第２の音声データとを受信するステップと、
    上記符号化映像音声データを復号するステップと、
    上記復号するステップによって得られた上記第１の音声データの音声信号と、上記第２の音声データの対応する音声信号とを比較するステップと、
    上記比較するステップの比較結果に基づいて上記第２の音声信号を遅延させることにより上記第１の音声データと同期させるステップと、
    を有することを特徴とする映像音声伝送方法。

Images