JP4256710B2

JP4256710B2 - AV transmission method, AV transmission device, AV transmission device, and AV reception device

Info

Publication number: JP4256710B2
Application number: JP2003111294A
Authority: JP
Inventors: 康男 ▲はま▼本; 良隆太田; 恭典岡田
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2003-04-16
Filing date: 2003-04-16
Publication date: 2009-04-22
Anticipated expiration: 2023-04-16
Also published as: JP2004320424A

Description

【０００１】
【発明の属する技術分野】
本発明は、ＡＶコンテンツを再生する際に生じる圧縮符号化・復号化による遅延及び伝送遅延に起因し、映像と音声との再生タイミングのずれを補正するためのＡＶ伝送方法及びＡＶ伝送装置、並びにＡＶ送信装置及びＡＶ受信装置に関する。
【０００２】
【従来の技術】
映像圧縮符号化規格であるＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）において、映像と音声の再生タイミングを合わせるために、各情報に含まれる再生時刻管理情報を用いて同期を取ることが規定されている。同一機器内で映像と音声の両方のデコードを行って再生する場合には、再生時刻管理情報を比較することによって、容易に同期が確立できる。
【０００３】
このような映像と音声の再生タイミングの同期を取る方式は、特許文献１で開示されており、ビデオデコーダ及びオーディオデコーダから抽出したビデオ再生時刻管理情報及びオーディオ再生時刻管理情報から再生タイミングの差分を算出し、差分に応じてデコーダの動作クロック周波数を変動させることによって、映像と音声の再生タイミングの同期を確立することができる。
【０００４】
【特許文献１】
特開平９−３１２８３４号公報（図１、図４）
【０００５】
【発明が解決しようとする課題】
しかしながら、例えば無線プロジェクタにおいて、映像はＤＶＤプレーヤのようなリモートの再生機器からプロジェクタに無線伝送され、音声はＤＶＤプレーヤから直接アンプを介してアナログでスピーカに出力される。アンプとスピーカはケーブルで直接接続されている。映像信号はエンコード−無線−デコード−プロジェクタという経路を通ることになり、このままでは映像と音声の再生タイミングがずれるという問題が生じる。
【０００６】
また、映像の再生機器であるプロジェクタと、音声の再生機器であるアンプとが異なるため、従来のように再生時刻管理情報を比較して同期を取ることができないという問題がある。
【０００７】
本発明は、このような従来の問題点に鑑みてなされたものであって、無線プロジェクタなどにおいて、映像及び音声処理における符号化／復号化の回数や、無線などの伝送に起因した再生タイミングのずれが発生しても、視聴者から見て映像と音声との再生タイミングの同期が確立されたＡＶ伝送方式及びＡＶ伝送装置を実現することを目的とする。
【０００８】
【課題を解決するための手段】
本願の請求項１の発明は、コンテンツを再生するに際し、互いに情報の送受信を行う送信装置と受信装置において、前記送信装置がコンテンツの映像情報を符号化して前記受信装置に伝送し、前記受信装置が復号化して前記映像情報を再生すると共に、前記送信装置が前記コンテンツの音声情報を再生するＡＶ伝送方法であって、前記送信装置は、入力された前記映像情報に包含された、再生タイミングのずれを検出するための基準信号を検出して、前記受信装置に対して送信した前記基準信号の送信時刻を管理し、前記受信装置は、前記送信装置から送信された前記映像情報に包含された前記基準信号を再生して、再生した前記基準信号の再生時刻を前記送信装置に送信し、前記送信装置は、前記基準信号の前記送信時刻と、前記受信装置から受信した前記基準信号の前記再生時刻とから、前記映像情報の再生タイミングのずれを算出することにより前記音声情報の遅延量を決定し、決定された前記遅延量だけ入力された前記音声情報の再生タイミングを遅延させることにより、前記映像情報における符号化及び復号化遅延や、前記受信装置に伝送する際の伝送遅延に起因する前記映像情報と前記音声情報の再生タイミングのずれを補正することを特徴とする。
【０００９】
本願の請求項２の発明は、コンテンツを再生するに際し、互いに情報の送受信を行う送信装置と受信装置において、前記送信装置がコンテンツの音声情報を符号化して前記受信装置に伝送し、前記受信装置が復号化して前記音声情報を再生すると共に、前記送信装置が前記コンテンツの映像情報を再生するＡＶ伝送方法であって、前記送信装置は、入力された前記音声情報に包含された、再生タイミングのずれを検出するための基準信号を検出して、前記受信装置に対して送信した前記基準信号の送信時刻を管理し、前記受信装置は、前記送信装置から送信された前記音声情報に包含された前記基準信号を再生して、再生した前記基準信号の再生時刻を前記送信装置に送信し、前記送信装置は、前記基準信号の前記送信時刻と、前記受信装置から受信した前記基準信号の前記再生時刻とから、前記音声情報の再生タイミングのずれを算出することにより前記映像情報の遅延量を決定し、決定された前記遅延量だけ入力された前記映像情報の再生タイミングを遅延させることにより、前記音声情報における符号化及び復号化遅延や、前記受信装置に伝送する際の伝送遅延に起因する前記映像情報と前記音声情報の再生タイミングのずれを補正することを特徴とする。
【００１０】
本願の請求項３の発明は、コンテンツを再生するに際し、互いに情報の送受信を行う送信装置と受信装置において、前記送信装置がコンテンツの映像情報を符号化して前記受信装置に伝送し、前記受信装置が復号化して前記映像情報を再生すると共に、前記送信装置が前記コンテンツの音声情報を再生するＡＶ伝送装置であって、前記送信装置は、指定された遅延量だけ入力された音声情報の再生タイミングを遅延させる遅延部と、入力された前記映像情報に包含された、再生タイミングのずれを検出するための基準信号を検出する映像入力検出部と、前記映像入力検出部により検出された前記基準信号を、前記受信装置に対して送信した送信時刻を管理する送信時刻管理部と、前記送信時刻管理部において管理されている前記送信時刻と、前記受信装置から受信した前記基準信号の再生時刻とから前記音声情報の遅延量を決定し、前記遅延部の遅延量を指定する遅延時間検出部と、を有し、前記受信装置は、前記基準信号が包含された前記映像信号を復号化する映像復号化部と、前記映像復号化部において前記基準信号を再生したことを検出する映像再生検出部と、前記映像再生検出部において検出された前記基準信号の前記再生時刻を管理し、前記再生時刻を前記送信装置に対して送信する再生時刻管理部と、を有し、前記送信装置において、前記遅延時間検出部が、前記送信時刻と前記再生時刻とから、前記映像情報における符号化及び復号化遅延や、前記受信装置に伝送する際の伝送遅延に起因する前記映像情報と前記音声情報の再生タイミングのずれを補正することを特徴とする。
【００１１】
本願の請求項４の発明は、コンテンツを再生するに際し、互いに情報の送受信を行う送信装置と受信装置において、前記送信装置がコンテンツの音声情報を符号化して前記受信装置に伝送し、前記受信装置が復号化して前記音声情報を再生すると共に、前記送信装置が前記コンテンツの映像情報を再生するＡＶ伝送装置であって、前記送信装置は、指定された遅延量だけ入力された映像情報の再生タイミングを遅延させる遅延部と、入力された前記音声情報に包含された、再生タイミングのずれを検出するための基準信号を検出する音声入力検出部と、前記音声入力検出部により検出された前記基準信号を、前記受信装置に対して送信した送信時刻を管理する送信時刻管理部と、前記送信時刻管理部において管理されている前記送信時刻と、前記受信装置から受信した前記基準信号の再生時刻とから前記映像情報の遅延量を決定し、前記遅延部の遅延量を指定する遅延時間検出部と、を有し、前記受信装置は、前記基準信号が包含された前記音声信号を復号化する音声復号化部と、前記音声復号化部において前記基準信号を再生したことを検出する音声再生検出部と、前記音声再生検出部において検出された前記基準信号の前記再生時刻を管理し、前記再生時刻を前記送信装置に対して送信する再生時刻管理部と、を有し、前記送信装置において、前記遅延時間検出部が、前記送信時刻と前記再生時刻とから、前記音声情報における符号化及び復号化遅延や、前記受信装置に伝送する際の伝送遅延に起因する前記映像情報と前記音声情報の再生タイミングのずれを補正することを特徴とする。
【００１２】
本願の請求項５の発明は、コンテンツを再生するに際し、互いに情報の送受信を行うＡＶ送信装置とＡＶ受信装置において、前記ＡＶ送信装置がコンテンツの映像情報を符号化して前記ＡＶ受信装置に伝送し、前記ＡＶ受信装置が復号化して前記映像情報を再生すると共に、前記ＡＶ送信装置が前記コンテンツの音声情報を再生するＡＶ伝送装置を構成する前記ＡＶ送信装置であって、指定された遅延量だけ入力された音声情報の再生タイミングを遅延させる遅延部と、入力された前記映像情報に包含された、再生タイミングのずれを検出するための基準信号を検出する映像入力検出部と、前記映像入力検出部により検出された前記基準信号を、前記ＡＶ受信装置に対して送信した送信時刻を管理する送信時刻管理部と、前記送信時刻管理部において管理されている前記送信時刻と、前記ＡＶ受信装置から受信した前記ＡＶ受信装置において再生された前記基準信号の再生時刻とから前記音声情報の遅延量を決定し、前記遅延部の前記遅延量を指定する遅延時間検出部と、を有し、前記遅延時間検出部が、前記送信時刻と前記再生時刻とから、前記映像情報における符号化及び復号化遅延や、前記ＡＶ受信装置に伝送する際の伝送遅延に起因する前記映像情報と前記音声情報の再生タイミングのずれを補正することを特徴とする。
【００１３】
本願の請求項６の発明は、コンテンツを再生するに際し、互いに情報の送受信を行うＡＶ送信装置とＡＶ受信装置において、前記ＡＶ送信装置がコンテンツの音声情報を符号化して前記ＡＶ受信装置に伝送し、前記ＡＶ受信装置が復号化して前記音声情報を再生すると共に、前記ＡＶ送信装置が前記コンテンツの映像情報を再生するＡＶ伝送装置を構成する前記ＡＶ送信装置であって、指定された遅延量だけ入力された映像情報の再生タイミングを遅延させる遅延部と、入力された前記音声情報に包含された、再生タイミングのずれを検出するための基準信号を検出する音声入力検出部と、前記音声入力検出部により検出された前記基準信号を、前記ＡＶ受信装置に対して送信した送信時刻を管理する送信時刻管理部と、前記送信時刻管理部において管理されている前記送信時刻と、前記ＡＶ受信装置から受信した前記ＡＶ受信装置において再生された前記基準信号の再生時刻とから前記映像情報の遅延量を決定し、前記遅延部の前記遅延量を指定する遅延時間検出部と、を有し、前記遅延時間検出部が、前記送信時刻と前記再生時刻とから、前記音声情報における符号化及び復号化遅延や、前記ＡＶ受信装置に伝送する際の伝送遅延に起因する前記映像情報と前記音声情報の再生タイミングのずれを補正することを特徴とする。
【００９４】
上記のＡＶ伝送方法によれば、再生された映像及び音声信号から再生タイミングがどのくらいずれているのかを測定することによって、遅延量を算出し、同期を確立することができる。
【００９５】
また遅延測定用の信号として例えば映像信号が一定周期で白／黒画面が変化するパターンとし、音声信号は映像信号が白のときに正弦波を出力し、黒の時には何も出力しないというような信号を用いることによって、容易に遅延量を測定することができる。
【００９６】
更に、送信側と受信側とで基準時刻を共有し、その時間軸に従って送信側の符号化開始から受信側の再生までの遅延時間を測定し、遅延量を算出する。これにより、光センサやマイクなどの再生映像や再生音声を取り込む手段を用いることなく、再生タイミングのずれを算出することができる。
【００９７】
また、符号化・復号化の処理時間や伝送遅延時間に起因する再生タイミングのずれの量を測定した結果を記憶手段に格納しておき、一度測定した後は、起動時にその値を読み出して受信側から送信側にフィードバックすることによって遅延量を算出することができる。
【００９８】
【発明の実施の形態】
以下、本発明の実施の形態におけるＡＶ伝送装置及びＡＶ伝送方法、並びにＡＶ送信装置及びＡＶ受信装置について、図面を用いて説明する。
（実施の形態１）
図１は本発明の実施の形態１におけるＡＶ伝送装置の全体構成図である。このＡＶ伝送装置は無線送信装置（ＡＶ送信装置又は送信装置という）１０１Ａ及び無線受信装置（ＡＶ受信装置又は受信装置という）１０８Ａを有し、これに関連する機器としてＤＶＤプレーヤ１０５、アンプ１０６、スピーカ１０７、プロジェクタ１１３、スクリーン１１４が設けられている。無線送信装置１０１Ａは、映像信号を無線で送信するもので、無線部１０２、ＭＰＥＧ符号化部１０３、遅延部１０４を含んで構成される。無線受信装置１０８Ａは、無線で送信された映像信号を受信するもので、無線部１０９、ＭＰＥＧ復号化部１１０、比較部１１１、マイクロホン（以下、マイクという）１１２を含んで構成される。無線部１０２と無線部１０９は双方向に情報を送信することができる。
【００９９】
ＤＶＤプレーヤ１０５は、光ディスク（ＤＶＤ）に圧縮符号化記録された映像データ及び音声データを読み出し、伸長し、復号化してアナログの映像信号と音声信号とを出力する。プロジェクタ１１３は、入力された映像信号を液晶表示パネル（ＬＣＤ）やデジタルマイクロミラー（ＤＬＰ）に与え、光ビームに変換してスクリーン１１４に映像を投射するものである。プロジェクタ１１３は、ホームシアタの場合や会議室の場合には、その光ビームが映像の視聴者に遮られないようにするため、天井などに取り付けられることが多い。この場合、プロジェクタ１１３の電源は、予め天井に取り付けられたコンセントから供給される。一方、ＤＶＤプレーヤ１０５は、光ディスクの出し入れや、操作パネルから直接各種の操作を行うために、テーブルやＡＶケースに設置されることが多い。
【０１００】
したがって本実施の形態は、ＤＶＤプレーヤ１０５からの映像信号を、無線を介してプロジェクタ１１３に伝送し、プロジェクタ１１３で映像を再生する。音声信号は無線による伝送は行わず、直接アンプ１０６で増幅してスピーカ１０７から再生する形態とする。特に本実施の形態では、再生タイミングの同期のために必要な構成要素は、無線送信装置１０１Ａ側と無線受信装置１０８Ａ側とに分割して実装するものとする。
【０１０１】
以上のように構成されたＡＶ伝送装置の動作を述べる。ＤＶＤプレーヤ１０５の映像出力端子として、例えばプログレッシブ映像出力、コンポーネント映像出力、Ｄ１／Ｄ２映像出力、Ｓ映像出力、汎用の映像出力等の端子がそれぞれ用意されている。これらの出力端子から出力される映像信号は、光ディスクに記録された圧縮符号化信号（プログラムストリーム）が内蔵のデコーダで伸長復号化されたもので、これらの信号を以下の説明ではアナログ映像出力と呼ぶ。また映像出力は前記の出力端子のうち、いずれのものを用いても良い。このアナログ映像出力は一旦無線送信装置１０１Ａに与えられる。無線送信装置１０１Ａに入力されたアナログの映像信号は、無線ＬＡＮにおける誤り耐性の確保と、伝送信号量の削減のためにＭＰＥＧ符号化部１０３で圧縮符号化される。圧縮符号化された映像信号は、所定のフォーマットに変換され、無線部１０２によってワイヤレス伝送される。
【０１０２】
ワイヤレス伝送された圧縮映像信号は、無線受信装置１０８Ａで受信される。無線部１０９は、無線送信装置１０１Ａからの圧縮映像信号を受信し、ＭＰＥＧ復号化部１１０に入力する。ＭＰＥＧ復号化部１１０は圧縮映像信号を復号し、映像信号をプロジェクタ１１３に出力する。プロジェクタ１１３は、入力された映像信号を光ビームに変換し、スクリーン１１４に映像を投射する。
【０１０３】
一方、ＤＶＤプレーヤ１０５の音声出力端子として、マルチチャンネルのアナログ音声出力、同軸デジタル音声出力、光デジタル音声出力などの出力端子がそれぞれ用意されている。これらの信号についても、プレーヤから出力されるときには、伸長復号化されているので、アナログ音声出力と呼ぶ。こうしてＤＶＤプレーヤ１０５のアナログ音声出力は、遅延部１０４で遅延処理を受け、アンプ１０６に出力される。アンプ１０６は、複数チャネル、例えば５．１ｃｈサラウンドの音声信号処理を行い、各チャネルのスピーカ１０７に出力する。このような動作により、プロジェクタ１１３から投影された映像に対して、専用のＡＶアンプにより迫力ある音声が再生され、臨場感のある状態でコンテンツを楽しむことができる。
【０１０４】
次に、映像と音声の再生タイミングを同期させる処理について説明する。ＤＶＤプレーヤ１０５からのアナログ音声出力は直ちにアンプ１０６で増幅され、スピーカ１０７で再生される。これに対し、ＤＶＤプレーヤ１０５のアナログ映像出力はコーデック（ＣＯＤＥＣ）処理が行われる。即ち無線送信装置１０１から無線伝送により無線受信装置１０８Ａへ伝送される。このためコーデック処理と無線伝送とにより遅延が生じる。この遅延は無線受信装置１０８ＡのＭＰＥＧ復号化部１１０での信号処理の遅延も含まれる。これらの処理の後に映像がプロジェクタ１１３から再生される。本実施の形態では、これらの遅延時間を検出し、この遅延時間だけ音声信号の再生タイミングを遅延部１０４で遅延させることによって、映像と音声の再生タイミングの同期を確立する。
【０１０５】
無線受信装置１０８Ａに音声入力部として取り付けられたマイク１１２は、スピーカ１０７から出力された音声を取得する。マイク１１２が取得した音声信号は比較部１１１に入力される。また、比較部１１１には無線受信装置１０８Ａが再生する映像信号も入力される。比較部１１１は入力された映像信号と音声信号とから、映像と音声の再生タイミングのずれを検出する。
【０１０６】
再生タイミングのずれを検出するための検出用信号（較正用信号ともいう）の一例を図２に示す。図２（ａ）に示すように、検出用映像信号としてＮフレーム毎に白一色の映像と黒一色の映像とが交互に現れる信号を用いる。一方、図２（ｂ）に示すように、検出用音声信号として、映像が白一色の期間は音声信号、例えば正弦波が存在し、映像が黒一色の期間は音声信号が存在しないような信号（無音信号）を用いる。本実施の形態では、図２のような検出用信号が記録されたＤＶＤディスクをＤＶＤプレーヤ１０５で再生してもよい。また所望のコンテンツが記録された市販のＤＶＤディスクを再生する直前に、図２（ａ）、（ｂ）のような検出用信号を無線送信装置１０１Ａが出力するようにしてもよい。
【０１０７】
比較部１１１は、再生された検出用の映像信号と音声信号とを用いて、図２（ｃ）で示したような白一色の映像の開始タイミングと、これと同期した図２（ｄ）で示した音声の再生開始タイミングとの差分を検出する。上記の検出用信号はアナログ信号であるが、信号の性質としては白か黒か、或いは音声が有りか無しというデジタル的な性質を利用するため、タイミングの差分の検出は容易である。
【０１０８】
比較部１１１は、検出した再生タイミングのずれ量を遅延量として無線部１０９に通知する。無線部１０９は、比較部１１１から与えられた遅延量を無線により無線送信装置１０１Ａに伝送する。遅延量の伝送は、映像を伝送する無線伝送路において、逆方向の伝送路を用いて行う。
【０１０９】
無線送信装置１０１Ａの無線部１０２は、受信した信号から遅延量の情報を抽出し、遅延部１０４に転送する。遅延部１０４は与えられた遅延量だけ、入力された音声信号を遅延させ、アンプ１０６に出力する。
【０１１０】
ここで無線部１０９は、比較部１１１が検出した映像情報と音声情報の再生タイミングのずれ量を無線送信装置１０１Ａに対して送信する遅延量送信部の機能を達成している。また無線部１０２は、無線部１０９から受信した再生タイミングのずれ量を遅延部１０４に通知する遅延情報受信通知部の機能を達成している。
【０１１１】
以上のように本実施の形態によれば、音声の再生タイミングに対する映像の圧縮符号化及び復号化による遅延と、無線による伝送に起因した映像の再生タイミングの遅延を検出し、その遅延量を音声側にフィードバックすることによって、音声の再生タイミングを必要な時間だけ遅延させることが可能になる。こうして、映像と音声の再生タイミングの同期が確立され、再生タイミングのずれのないコンテンツの再生が可能になる。
【０１１２】
なお、本実施の形態では音声入力部をマイクとしたが、マイク以外の音声入力部でも同様の効果が得られる。例えば、ＲＣＡピンプラグのような汎用の有線入力部を用いて音声を検出してもよい。この場合、無線送信装置１０１Ａから出力される音声情報をケーブルを介して比較部１１１に入力する。
【０１１３】
また、本実施の形態ではＤＶＤプレーヤ１０５と無線送信装置１０１Ａとは別の機器としているが、無線送信装置１０１Ａの機能がＤＶＤプレーヤ１０５に内蔵されていても良い。更に、プロジェクタ１１３と無線受信装置１０８Ａとは別の機器としているが、無線受信装置１０８Ａの機能がプロジェクタ１１３に内蔵されていても良い。
【０１１４】
また、本実施の形態では、再生タイミングのずれを検出するための検出用信号は、ＤＶＤディスクからＤＶＤプレーヤ１０５で再生されるとしたが、前述したようにＤＶＤプレーヤ１０５に検出用信号を出力する機能を設けても同様の効果が得られる。この場合、再生タイミングのずれを検出するために、検出用信号を記録したＤＶＤディスクを用いるという制限がなくなる。
【０１１５】
また、本実施の形態では、再生タイミングのずれを検出する信号として図２のような検出用信号を用いたが、映像と音声の再生タイミングの関係が固定されているような信号であれば、他のパターンの信号でも同様の効果が得られる。
【０１１６】
本実施の形態のＡＶ伝送装置は、無線送信装置がコンテンツの音声情報を再生すると共に、コンテンツの映像情報を符号化して無線受信装置に伝送し、無線受信装置が復号化して映像情報を再生するものとした。しかし無線送信装置がコンテンツの映像情報を再生すると共に、コンテンツの音声情報を符号化して無線受信装置に伝送し、無線受信装置が復号化して音声情報を再生するものであっても良い。
【０１１７】
（実施の形態２）
次に本発明の実施の形態２におけるＡＶ伝送装置について説明する。図３は実施の形態２におけるＡＶ伝送装置の全体構成図である。実施の形態１と同じ機能部は同じ番号をつけ、詳細な説明は省略する。このＡＶ伝送装置は、送信側だけで遅延時間を測定できるようにしたものである。
【０１１８】
無線送信装置１０１Ｂは、ＭＰＥＧ符号化部１０３、遅延部１０４、光センサ３０１、比較部３０２、無線部３０３を含んで構成される。無線受信装置１０８Ｂは、無線部３０４、ＭＰＥＧ復号化部１１０を含んで構成される。またこれに関連する機器としてＤＶＤプレーヤ１０５、アンプ１０６、スピーカ１０７、プロジェクタ１１３、スクリーン１１４が設けられている。
【０１１９】
光センサ３０１は、無線受信装置１０８Ｂが再生する映像情報をスクリーン１１４からの反射光により検出する映像入力部である。比較部３０２は、実施の形態１と異なり、無線送信装置１０１Ｂに設けられる。比較部３０２は、光センサ３０１から入力された映像の検出信号と、無線送信装置１０１Ｂが出力する音声信号との再生タイミングの差分を検出し、この差分時間を遅延部１０４に通知する。無線部３０３は、実施の形態１のように無線受信装置から転送された遅延量を遅延部１０４に通知する機能は持たない。無線部３０４も、実施の形態１のように遅延量を無線送信装置１０１に転送する機能を持たない。
【０１２０】
本実施の形態は、ＤＶＤプレーヤ１０５からの映像信号を無線によりプロジェクタ１１３に伝送し、プロジェクタ１１３で映像を再生すると共に、音声は無線による伝送は行わず、直接アンプ１０６で増幅してスピーカ１０７から再生する形態とする。そして再生タイミングの同期のために必要な構成要素は、全て送信装置側に実装していることが特徴である。
【０１２１】
このように構成されたＡＶ伝送装置の動作を述べる。映像及び音声の再生されるまでの処理内容については、実施の形態１と同じであるため、説明を省略する。ここでは、映像と音声の再生タイミングを同期させる処理についてのみ説明する。ＤＶＤプレーヤ１０５から出力されたアナログ音声出力は直ちにアンプ１０６で増幅され、スピーカ１０７で再生される。これに対し、ＤＶＤプレーヤ１０５から出力されたアナログ映像出力は、ＭＰＥＧ符号化部１０３及びＭＰＥＧ復号化部１１０によるＣＯＤＥＣ処理による遅延、及び無線送信装置１０１Ｂから無線受信装置１０８Ｂへの無線伝送による遅延を受け、プロジェクタ１１３から映像が再生される。比較部３０２はこのような遅延量を検出し、遅延部１０４が遅延量だけ音声信号の再生タイミングを遅延させる。こうして映像と音声の再生タイミングの同期を確立する。
【０１２２】
このような処理において、光センサ３０１は、プロジェクタ１１４から投射された映像による反射光を検出する。光センサ３０１が検出した映像検出信号は比較部３０２に入力される。また、この比較部３０２には無線送信装置１０１Ｂが再生する音声信号も入力される。比較部３０２は、入力された映像検出信号と音声信号とから、映像と音声の再生タイミングのずれを検出する。
【０１２３】
比較部３０２は、検出した再生タイミングのずれを遅延量として遅延部１０４に通知する。遅延部１０４は、与えられた遅延量だけ、入力された音声信号を遅延させ、アンプ１０６に出力する。
【０１２４】
以上のように、本実施の形態によれば、音声の再生タイミングに対する映像の圧縮符号化及び復号化による遅延と、無線による伝送に起因した映像の再生タイミングの遅延を検出し、その遅延量を音声側にフィードバックすることによって、音声の再生タイミングを必要な時間だけ遅延させることが可能になる。こうして、映像と音声の再生タイミングの同期が確立され、再生タイミングのずれのないコンテンツの再生が可能になる。
【０１２５】
更に、再生タイミングのずれを検出する手段が全て無線送信装置１０１Ｂ側に実装されているため、無線受信装置１０８Ｂ側には、再生タイミングのずれを検出する検出手段を設けなくても、再生タイミングのずれを補正することが可能となる。
【０１２６】
なお、本実施の形態では映像入力部を光センサとしたが、光センサ以外の映像入力部でも同様の効果が得られる。例えば、ＲＣＡピンプラグのような汎用の端子を用いた有線による映像入力でも良い。
【０１２７】
本実施の形態のＡＶ伝送装置は、無線送信装置がコンテンツの音声情報を再生すると共に、コンテンツの映像情報を符号化して無線受信装置に伝送し、無線受信装置が復号化して映像情報を再生するものとした。しかし無線送信装置がコンテンツの映像情報を再生すると共に、コンテンツの音声情報を符号化して無線受信装置に伝送し、無線受信装置が復号化して音声情報を再生するものであっても良い。この場合光センサ３０１の代わりに、マイクを音声入力部として設ける。
【０１２８】
（実施の形態３）
次に本発明の実施の形態３におけるＡＶ伝送装置について説明する。図４は実施の形態３におけるＡＶ伝送装置の全体構成図である。実施の形態１、２と同じ機能部は同じ番号をつけ、詳細な説明は省略する。このＡＶ伝送装置は、比較部を設けず、調整部であるダイヤルを用いて手動で遅延調整をできるようしたものである。
【０１２９】
無線送信装置１０１Ｃは、ＭＰＥＧ符号化部１０３、遅延部１０４、無線部３０３に加えて、調整部として調整用のダイヤル４０１を含んで構成される。無線受信装置１０８Ｃは、ＭＰＥＧ復号化部１１０、無線部３０４を含んで構成される。またこれらに関連する機器としてＤＶＤプレーヤ１０５、アンプ１０６、スピーカ１０７、プロジェクタ１１３、スクリーン１１４が設けられている。ダイヤル４０１は音声の再生タイミングの遅延量を手動で調節するものであり、遅延部１０４に接続される。
【０１３０】
本実施の形態は、ＤＶＤプレーヤ１０５からの映像信号を無線によりプロジェクタ１１３に伝送し、プロジェクタ１１３で映像を再生すると共に、音声は無線による伝送は行わず、直接アンプ１０６で増幅してスピーカ１０７から再生する形態とする。また、再生タイミングの同期のために必要な構成要素は、ダイヤル４０１と遅延部１０４のみであることが特徴であり、この点が実施の形態１、２と異なる。
【０１３１】
このように構成されたＡＶ伝送装置の動作を述べる。映像及び音声の再生されるまでの処理内容については、実施の形態１、２と同じであるため、説明を省略する。ここでは、映像と音声の再生タイミングを同期させる処理についてのみ説明する。
【０１３２】
ＤＶＤプレーヤ１０５からのアナログ音声出力は直ちにアンプ１０６で増幅され、スピーカ１０７で再生される。これに対し、ＤＶＤプレーヤ１０５のアナログ映像出力はＭＰＥＧ符号化部１０３及びＭＰＥＧ復号化部１１０によるＣＯＤＥＣ処理による遅延、及び無線送信装置１０１から無線受信装置１０８への無線伝送による遅延を受け、プロジェクタ１１３から再生される。この遅延量に相当する遅延制御を、ダイヤル４０１を介して手動で行う。
【０１３３】
具体的には、映像と音声を再生し、その再生画面及び再生音声を視聴した上で、使用者がダイヤル４０１を操作する。ダイヤル４０１からの制御信号によって、遅延部１０４の遅延量が変化し、音声の再生タイミングが変化する。使用者は、この変化を眼と耳で確認しながら、映像の再生タイミングと音声の再生タイミングとが同期する位置でダイヤル４０１の調整値を固定する。
【０１３４】
本実施の形態によれば、音声の再生タイミングに対して、映像の圧縮符号化及び復号化による遅延と、無線伝送に起因する映像の再生タイミングの遅延とを検出し、その遅延量を音声側にフィードバックすることによって、音声の再生タイミングを必要な時間だけ遅延させることが可能になる。こうして、映像と音声の再生タイミングの同期が確立され、再生タイミングのずれのないコンテンツの再生が可能になる。
【０１３５】
更に、本実施の形態では、使用者が再生映像と音声を視聴しながらダイヤル４０１で再生タイミングのずれを調節するため、再生タイミングのずれを検出するための特別な手段がなくても補正が可能である。
【０１３６】
なお、本実施の形態では再生タイミングのずれを手動で調節する調整部としてダイヤル４０１を用いたが、他の調整部、例えばスイッチのようなものでも同様の効果が得られる。
【０１３７】
また、再生タイミングのずれを検出する信号は、図２のような検出用信号でも良いし、映画や音楽などのコンテンツを再生し、使用者が出演者や歌手の口の動きと、台詞や楽曲の音声出力とが一致するように調節しても良い。
【０１３８】
本実施の形態のＡＶ伝送装置は、無線送信装置がコンテンツの音声情報を再生すると共に、コンテンツの映像情報を符号化して無線受信装置に伝送し、無線受信装置が復号化して映像情報を再生するものとした。しかし無線送信装置がコンテンツの映像情報を再生すると共に、コンテンツの音声情報を符号化して無線受信装置に伝送し、無線受信装置が復号化して音声情報を再生するものであっても良い。
【０１３９】
（実施の形態４）
次に本発明の実施の形態４におけるＡＶ伝送装置について説明する。図５は実施の形態４におけるＡＶ伝送装置の全体構成図である。実施の形態１〜３と同じ機能部は同じ番号をつけ、詳細な説明は省略する。このＡＶ伝送装置は、位相可変の検出用信号を用いて遅延測定できるようにしたものである。
【０１４０】
無線送信装置１０１Ｄは、ＭＰＥＧ符号化部１０３、無線部５０１、遅延部５０２を含んで構成される。無線受信装置１０８Ｄは、ＭＰＥＧ復号化部１１０、比較部５０３、無線部５０４を含んで構成される。またこれらに関連する機器としてＤＶＤプレーヤ１０５、アンプ１０６、スピーカ１０７、プロジェクタ１１３、スクリーン１１４が設けられている。
【０１４１】
本実施の形態は、ＤＶＤプレーヤ１０５からの映像信号を無線によりプロジェクタ１１３に伝送し、プロジェクタ１１３で映像を再生すると共に、音声は無線による伝送は行わず、直接アンプ１０６で増幅してスピーカ１０７から再生する形態とする。また、遅延部５０２は入力された音声信号の再生タイミングを自立的に遅延量を変化させながら出力し、外部からの同期確立の通知を受けると、その時点での遅延量で固定することを特徴とする。この点が実施の形態１と異なる。
【０１４２】
このように構成されたＡＶ伝送装置の動作を述べる。映像及び音声の再生されるまでの処理内容については、実施の形態１と同じであるため、説明を省略する。ここでは、映像と音声の再生タイミングを同期させる処理についてのみ説明する。ＤＶＤプレーヤ１０５からのアナログ音声出力は、初期状態では直ちにアンプ１０６で増幅され、スピーカ１０７で再生される。これに対し、ＤＶＤプレーヤ１０５のアナログ映像出力は、ＭＰＥＧ符号化部１０３及びＭＰＥＧ復号化部１１０によるＣＯＤＥＣ処理による遅延、及び無線送信装置１０１Ｄから無線受信装置１０８Ｄへの無線伝送による遅延を受け、プロジェクタ１１３から再生される。比較部５０３がこの遅延量を検出し、その遅延量だけ遅延部５０２が音声情報の再生タイミングを遅延させることによって、映像と音声の再生タイミングの同期を確立する。
【０１４３】
再生タイミングのずれを検出するための検出用信号の一例を図２及び図６に示す。図２（ａ）、図６（ａ）に示すように、検出用映像信号としてＮフレーム毎に白一色の映像と黒一色の映像とが交互に現れる信号を入力する。一方、図２（ｂ）のように検出用音声信号として、映像が白一色の期間は音声信号が存在し、映像が黒一色の期間は音声信号が存在しないような信号を入力する。本実施の形態では、図２（ａ）、（ｂ）のような検出用信号が記録されたＤＶＤディスクをＤＶＤプレーヤ１０５で再生する。
【０１４４】
遅延部５０２は、入力された音声信号に対し、ある値の遅延を加えて出力する。例えば、図６（ｂ）〜（ｄ）に示したように、遅延をかける基本単位をα［ｍｓｅｃ］とすると、遅延０、遅延α、遅延２α、遅延３α、・・・と徐々に遅延時間を大きくしながら音声信号を出力する。
【０１４５】
比較部５０３は、再生された校正用の映像と音声において、図６で示したような白一色の映像の開始タイミングと、何らかの音声の再生が開始されるタイミングとの差分を検出する。上記の検出用信号はアナログ信号であるが、信号の性質としては白か黒か、或いは音声が有るか無いかというデジタル的な性質であるため、タイミングの差分の検出は容易である。
【０１４６】
比較部５０３は再生タイミングのずれが０になったことを検出すると、同期が確立したことを無線部５０４に通知する。無線部５０４は、比較部５０３から与えられた同期確立通知を無線により無線送信装置１０１Ｄに伝送する。遅延量の伝送は映像を伝送する無線伝送路において、逆方向の伝送路を用いて行う。
【０１４７】
無線送信装置１０１Ｄの無線部５０１は、受信した信号から同期確立通知を抽出し、遅延部５０２に通知する。遅延部５０２は、同期確立通知を受信した時点で遅延量の変更を停止し、遅延量をその時点の値で固定する。
【０１４８】
本実施の形態によれば、音声の再生タイミングに対する映像の圧縮符号化及び復号化による遅延と、無線伝送に起因した遅延とによる再生タイミングのずれが０になるように、音声側の最適な遅延量を検出することによって、音声の再生タイミングを必要な時間だけ遅延させることができる。こうして、映像と音声の再生タイミングの同期が確立され、再生タイミングのずれのないコンテンツの再生が可能になる。
【０１４９】
本実施の形態のＡＶ伝送装置は、無線送信装置がコンテンツの音声情報を再生すると共に、コンテンツの映像情報を符号化して無線受信装置に伝送し、無線受信装置が復号化して映像情報を再生するものとした。しかし無線送信装置がコンテンツの映像情報を再生すると共に、コンテンツの音声情報を符号化して無線受信装置に伝送し、無線受信装置が復号化して音声情報を再生するものであっても良い。この場合、遅延部５０２は入力された映像信号の再生タイミングを自立的に遅延量を変化させながら出力し、外部からの同期確立の通知を受けると、その時点での遅延量で固定する。
【０１５０】
（実施の形態５）
次に本発明の実施の形態５におけるＡＶ伝送装置について説明する。図７は実施の形態５におけるＡＶ伝送装置の全体構成図である。実施の形態１〜４と同じ機能部は同じ番号をつけ、詳細な説明は省略する。このＡＶ伝送装置は、比較部の代わりに記憶部を設け、予め記憶部に保持している遅延量を無線送信装置に通知するものである。
【０１５１】
無線送信装置１０１Ｅは、無線部１０２、ＭＰＥＧ符号化部７０３、遅延部７０４を含んで構成される。無線受信装置１０８Ｅは、記憶部７０１、ＭＰＥＧ復号化部７０２、無線部７０５を含んで構成される。またこれらに関連する機器としてＤＶＤプレーヤ１０５、アンプ１０６、スピーカ１０７、プロジェクタ１１３、スクリーン１１４が設けられている。
【０１５２】
本実施の形態は、ＤＶＤプレーヤ１０５からの映像信号を無線によりプロジェクタ１１３に伝送し、プロジェクタ１１３で映像を再生すると共に、音声は無線による伝送は行わず、直接アンプ１０６で増幅してスピーカ１０７から再生する形態とする。また、記憶部７０１は、映像の復号化遅延時間と、無線伝送遅延時間とを予め記憶する。無線部７０５は記憶部７０１に保持された遅延時間を無線送信装置１０１Ｅに通知するようになっていることが特徴であり、この点が実施の形態１と異なる。
【０１５３】
このように構成されたＡＶ伝送装置の動作を述べる。映像及び音声の再生されるまでの処理内容については、実施の形態１と同じであるため、説明を略する。ここでは、映像と音声の再生タイミングを同期させる処理についてのみ説明する。
【０１５４】
ＭＰＥＧ復号化部７０２は、入力された圧縮映像ストリームを復号するための処理時間（遅延時間）を記憶部７０１に通知する。また無線部７０５は、無線送信装置１０１Ｅと無線受信装置１０８Ｅとの間の無線伝送における伝送遅延時間を記憶部７０１に通知する。記憶部７０１は、通知された遅延時間を合計して、その値をＭＰＥＧ符号化以後の遅延量として無線部７０５を介して無線送信装置１０１Ｅに通知する。
【０１５５】
遅延部７０４は、無線部１０２を介して、ＭＰＥＧ符号化以後の遅延量を受信すると共に、ＭＰＥＧ符号化部７０３から映像信号を圧縮符号化するための処理時間（遅延時間）を入力する。そして、遅延部７０４は与えられた遅延時間の合計を総遅延時間とし、入力された音声情報の再生を総遅延時間だけ遅延させる。
【０１５６】
本実施の形態によれば、予め映像信号の無線伝送や復号化のための遅延時間の情報を受信装置側が保持しており、その情報を送信装置側にフィードバックすることによって映像と音声の再生タイミングのずれ量を認識し、音声信号の再生タイミングを遅延させるようにしている。こうすると、遅延時間測定のための手段を実装することなく、映像と音声の再生タイミングの同期が確立され、再生タイミングのずれのないコンテンツの再生が可能になる。
【０１５７】
本実施の形態のＡＶ伝送装置は、無線送信装置がコンテンツの音声情報を再生すると共に、コンテンツの映像情報を符号化して無線受信装置に伝送し、無線受信装置が復号化して映像情報を再生するものとした。しかし無線送信装置がコンテンツの映像情報を再生すると共に、コンテンツの音声情報を符号化して無線受信装置に伝送し、無線受信装置が復号化して音声情報を再生するものであっても良い。
【０１５８】
（実施の形態６）
次に本発明の実施の形態６におけるＡＶ伝送装置について説明する。図８は実施の形態６におけるＡＶ伝送装置の全体構成図である。実施の形態１〜５と同じ機能部は同じ番号をつけ、詳細な説明は省略する。このＡＶ伝送装置は、比較部を設けないで、音声情報及び映像情報にタイムスタンプである時刻の基準信号を挿入し、送信時刻と再生時刻の差分を計算することにより、遅延量を検出するものである。
【０１５９】
無線送信装置１０１Ｆは、ＭＰＥＧ符号化部１０３、遅延部１０４、映像入力検出部８０１、無線部８０２、送信時刻管理部８０３、遅延時間検出部８０４を含んで構成される。無線受信装置１０８Ｆは、無線部１０９、ＭＰＥＧ復号化部１１０、映像再生検出部８０５、再生時刻管理部８０６を含んで構成される。またこれらに関連する機器としてＤＶＤプレーヤ１０５、アンプ１０６、スピーカ１０７、プロジェクタ１１３、スクリーン１１４が設けられている。
【０１６０】
本実施の形態は、ＤＶＤプレーヤ１０５からの映像信号を無線によりプロジェクタ１１３に伝送し、プロジェクタ１１３で映像を再生すると共に、音声は無線による伝送は行わず、直接アンプ１０６で増幅してスピーカ１０７から再生する形態とする。また、送信装置から受信装置に時間情報を送信することにより、送受信装置間での時間軸を合わせる機能を持つことが第１の特徴である。また受信装置側で映像信号を再生した時刻を送信装置側にフィードバックし、送信装置側で映像信号を符号化した時刻との差分を求めることによって、音声の再生タイミングの遅延量を求めることが第２の特徴である。このような特徴をもつことが実施の形態１と異なる。
【０１６１】
このように構成されたＡＶ伝送装置の動作を述べる。映像及び音声の再生されるまでの処理内容については、実施の形態１と同じであるため、説明を省略する。ここでは、映像と音声の再生タイミングを同期させる処理についてのみ説明する。
【０１６２】
まず、無線送信装置１０１Ｆと無線受信装置１０８Ｆとの間で時間軸の同期をとる方法について説明する。図９（ａ）に示すように無線送信装置１０１Ｆは、無線ＬＡＮの規格であるＩＥＥＥ８０２．１１規格に従って、数ｍｓｅｃ〜数百ｍｓｅｃの間隔で周期的にＢｅａｃｏｎパケットをブロードキャストしている。Ｂｅａｃｏｎ信号には、無線送信装置１０１Ｆが持つ自走クロックにより管理されているタイムスタンプ情報が含まれている。再生時刻管理部８０６は、図９（ｂ）の実線で示す無線受信装置１０８Ｆのクロックを、図９（ｂ）の破線で示すＢｅａｃｏｎ信号から抽出したタイムスタンプ情報で補正することによって、無線送信装置１０１Ｆとの間で時間軸の同期を取る。
【０１６３】
次に、再生タイミングのずれを検出する方法について説明する。映像入力検出部８０１は、ＤＶＤプレーヤ１０５から遅延検出用の信号が入力されたことを検出し、送信時刻管理部８０３に通知する。送信時刻管理部８０３は、映像入力検出部８０１から通知された時点の無線送信装置１０１が管理する時刻の値を保持する。
【０１６４】
圧縮された遅延検出用の映像情報は無線受信装置１０８Ｆに伝送され、ＭＰＥＧ復号化部１１０から出力される。映像再生検出部８０５は、遅延検出用の映像信号が再生されたことを再生時刻管理部８０６に通知する。再生時刻管理部８０６は、映像再生検出部８０５から通知を受けた時点の無線受信装置１０８Ｆの時刻情報を、無線部１０９を介して無線送信装置１０１Ｆに伝送する。
【０１６５】
遅延時間検出部８０４は、再生時刻管理部８０６から受信した再生時刻と、送信時刻管理部８０３から取得した送信時刻との差分を計算する。この値がＤＶＤプレーヤ１０５から出力された映像が再生されるまでの遅延時間となる。遅延時間検出部８０４は、この値を遅延部１０４に通知する。遅延部１０４は、通知された遅延時間だけ音声の再生タイミングを遅延させて出力する。
【０１６６】
本実施の形態によれば、無線送信装置１０１Ｆと無線受信装置１０８Ｆとの間で、共通の時間軸情報を用いて映像情報の送信時刻と再生時刻との差分を求めることによって、映像の再生タイミングの遅延量を得ることができる。従って、音声や映像の入力部なしで、映像と音声の再生タイミングの同期をとることができる。
【０１６７】
（実施の形態７）
次に本発明の実施の形態７におけるＡＶ伝送装置について説明する。図１０は実施の形態７におけるＡＶ伝送装置の全体構成図である。このＡＶ伝送装置は、音声情報を受信装置に伝送し、映像情報は送信装置側で再生するものであり、実施の形態６と同様のタイムスタンプを利用するものである。
【０１６８】
このＡＶ伝送装置は無線送信装置１００１及び無線受信装置１０１１を有し、これに関連する機器としてＤＶＤプレーヤ１０５、アンプ１０６、スピーカ１０７、プロジェクタ１１３、スクリーン１１４が設けられている。無線送信装置１００１は、ＤＶＤプレーヤ１０５で再生された音声信号を無線で無線受信装置１０１１に送信するものである。
【０１６９】
無線送信装置１００１は、無線部１００２、ＭＰＥＧ符号化部１００３、遅延時間検出部１００４、送信時刻管理部１００５、音声入力検出部１００６、遅延部１００７を含んで構成される。無線受信装置１０１１は、ＭＰＥＧ復号化部１０１２、音声再生検出部１０１３、再生時刻管理部１０１４、無線部１０１５を含んで構成される。またこれらに関連する機器としてＤＶＤプレーヤ１００８、アンプ１０１６、スピーカ１０１７、プロジェクタ１００９、スクリーン１０１０が設けられている。
【０１７０】
本実施の形態は、ＤＶＤプレーヤ１００８からの音声信号を無線によりアンプ１０１６側に伝送し、スピーカ１０１７で音声を再生すると共に、映像は無線による伝送は行わず、ＤＶＤプレーヤ１００８から再生された映像信号を直接プロジェクタ１００９に入力し、映像を再生する形態とする。また、送信装置から受信装置に時間情報を送信することにより、送受信装置間での時間軸を合わせる機能を持つことを第１の特徴とする。また受信装置側で音声信号を再生した時刻を送信装置側にフィードバックし、送信装置側で音声信号を符号化した時刻との差分を求めることによって、映像の再生タイミングの遅延量を求めることを第２の特徴とする。このような特徴により、映像と音声との再生タイミングのずれを補正することができる。
【０１７１】
このように構成されたＡＶ伝送装置の動作を述べる。ＤＶＤプレーヤ１００８のアナログの音声出力は無線送信装置１００１に入力される。この音声信号は、ＭＰＥＧ符号化部１００３で圧縮符号化され、無線部１００２によってワイヤレス伝送される。
【０１７２】
ワイヤレス伝送された圧縮音声信号は、無線受信装置１０１１で受信される。無線部１０１５は、受信された圧縮音声信号をＭＰＥＧ復号化部１０１２に入力する。ＭＰＥＧ復号化部１０１２は圧縮音声信号を復号し、音声信号をアンプ１０１６に出力する。アンプ１０１６は入力された音声信号を増幅し、スピーカ１０１７に出力する。
【０１７３】
一方、ＤＶＤプレーヤ１００８のアナログの映像出力は、遅延部１００７を介してプロジェクタ１００９に出力される。プロジェクタ１００９は、入力された映像信号を光ビームに変換してスクリーン１０１０に映し出す。
【０１７４】
次に映像と音声の再生タイミングの同期をとる方法について説明する。まず、無線送信装置１００１と無線受信装置１０１１との間で時間軸の同期をとる方法について説明する。図９に示すように無線送信装置１００１は、無線ＬＡＮの規格であるＩＥＥＥ８０２．１１規格に従って、数ｍｓｅｃ〜数百ｍｓｅｃの間隔で周期的にＢｅａｃｏｎパケットをブロードキャストしている。Ｂｅａｃｏｎ信号には無線送信装置１００１が持つ自走クロックにより管理されているタイムスタンプ情報が含まれており、再生時刻管理部１０１４は、無線受信装置１０１１のクロックをＢｅａｃｏｎ信号から抽出したタイムスタンプ情報で補正することによって無線送信装置１００１との間で時間軸の同期を取る。
【０１７５】
次に、再生タイミングのずれを検出する方法について説明する。音声入力検出部１００６は、ＤＶＤプレーヤ１００８から遅延検出用の信号が入力されたことを検出し、送信時刻管理部１００５に通知する。送信時刻管理部１００５は、音声入力検出部１００６から通知された時点の、無線送信装置１００１が管理する時刻の値を保持する。
【０１７６】
ＭＰＥＧ符号化部１００３で圧縮された遅延検出用の音声信号は無線受信装置１０１１に伝送され、ＭＰＥＧ復号化部１０１２から出力される。音声再生検出部１０１３は、遅延検出用の音声信号が再生されたことを再生時刻管理部１０１４に通知する。再生時刻管理部１０１４は、音声再生検出部１０１３から通知を受けた時点の無線受信装置１０１１の時刻情報を、無線部１０１５を介して無線送信装置１００１に伝送する。
【０１７７】
遅延時間検出部１００４は、再生時刻管理部１０１４から与えられた再生時刻と、送信時刻管理部１００５から取得した送信時刻との差分を計算する。この値がＤＶＤプレーヤ１００８から出力された音声が受信装置側で再生されるまでの遅延時間となる。遅延時間検出部１００４は、この値を遅延部１００７に通知し、遅延部１００７が通知された時間だけ映像の再生タイミングを遅延させて再生する。
【０１７８】
本実施の形態によれば、無線ＬＡＮ規格において規定されているように、無線送信装置１００１と無線受信装置１０１１との間で同期している時間軸情報を用いて、音声情報の送信時刻と再生時刻との差分を求めることによって、音声の再生タイミングの遅延量を得ることができる。こうして、音声や映像の入力手段なしで、映像と音声の再生タイミングの同期をとることができる。
【０１７９】
（実施の形態８）
次に本発明の実施の形態８におけるＡＶ伝送装置について説明する。図１１は実施の形態８におけるＡＶ伝送装置の全体構成図である。実施の形態１〜６と同じ機能部は同じ番号をつけ、詳細な説明は省略する。このＡＶ伝送装置は、映像情報を受信装置に伝送し、音声は送信装置側が再生し、且つ遅延量の測定結果を蓄積部で保持するものである。
【０１８０】
無線送信装置１０１Ｇは、ＭＰＥＧ符号化部１０３、遅延部１０４、無線部１１０３を含んで構成される。無線受信装置１０８Ｇは、ＭＰＥＧ復号化部１１０、比較部１１１、マイク１１２、蓄積部１１０１、無線部１１０２を含んで構成される。またこれらに関連する機器としてＤＶＤプレーヤ１０５、アンプ１０６、スピーカ１０７、プロジェクタ１１３、スクリーン１１４が設けられている。
【０１８１】
本実施の形態は、ＤＶＤプレーヤ１０５からの映像信号を無線によりプロジェクタ１１３に伝送し、プロジェクタ１１３で映像を再生すると共に、音声は無線による伝送は行わず、有線接続されたアンプ１０６で増幅してスピーカ１０７から再生する形態とする。また、比較部１１１で測定した映像と音声との再生タイミングのずれ量を蓄積部１１０１に保持するところが特徴であり、この点が実施の形態１と異なる。
【０１８２】
このように構成されたＡＶ伝送装置の動作を述べる。映像及び音声の再生されるまでの処理内容については、実施の形態１と同じであるため、説明を省略する。ここでは、映像と音声の再生タイミングを同期させる処理について説明する。
【０１８３】
再生タイミングのずれを検出する方法は実施の形態１と同様である。比較部１１１で検出された映像と音声の再生タイミングのずれ量は、蓄積部１１０１に格納される。その後の映像と音声との再生タイミングの補正処理は、蓄積部１１０１に格納された再生タイミングのずれ量を用いて行う。即ち、無線送信装置１０１Ｇが起動すると、無線部１１０３は無線受信装置１０８Ｇに対して再生タイミングのずれを通知するように要求する。無線部１１０２は、このような通知要求を受信すると、蓄積部１１０１に格納されている、既に測定した再生タイミングのずれ量を読み出し、無線送信装置１０１Ｇに伝送する。無線部１１０３は、受信した再生タイミングのずれ量を遅延部１０４に通知する。遅延部１０４は指定された量だけ音声信号の出力を遅延させる。
【０１８４】
本実施の形態によれば、一度測定した映像と音声の再生タイミングのずれ量を蓄積部１１０１に保持しておく。以後の使用時には蓄積部１１０１に保持されているずれ量を遅延部１０４に通知することによって、映像と音声との再生タイミングの同期を確立する。従って、一度ずれ量を測定すれば、その後は再生タイミングのずれ量の測定や測定用信号の出力などの処理が不要となる。
【０１８５】
なお、本実施の形態では、蓄積部１１０１は無線受信装置１０８Ｇの内部にあるとしたが、蓄積部は無線送信装置１０１Ｇ側にあっても同様の効果が得られる。また、蓄積部１１０１として、フレキシブルディスクやＳＤメモリカードのような着脱可能な記憶素子を用いても良い。
【０１８６】
【発明の効果】
以上のように本発明によれば、映像と音声とで符号化／復号化の回数や無線などによる伝送に起因した再生タイミングのずれが発生しても、映像と音声との再生タイミングの同期を確立できる。
【０１８７】
また、送信装置から出力された検出用信号を用いることによって、容易に遅延量を測定することができる。
【０１８９】
また、予め保持している符号化・復号化の処理時間や伝送遅延時間を受信側から送信側にフィードバックすることによって、光センサやマイクなどの再生映像や再生音声を取り込む手段を用いることなく、再生タイミングのずれを算出することができる。
【０１９０】
また、送信側と受信側とで基準時刻を共有し、その時間軸に従って送信側の符号化開始から受信側の再生までの遅延時間を算出して遅延量を算出する。これにより、予め符号化・復号化による処理遅延や伝送遅延が分かっていなくても、光センサやマイクなどの再生映像や再生音声を取り込む手段を用いることなく、再生タイミングのずれを算出することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１におけるＡＶ伝送装置の全体構成図である。
【図２】映像と音声の再生タイミングのずれを検出する原理図である。
【図３】本発明の実施の形態２におけるＡＶ伝送装置の全体構成図である。
【図４】本発明の実施の形態３におけるＡＶ伝送装置の全体構成図である。
【図５】本発明の実施の形態４におけるＡＶ伝送装置の全体構成図である。
【図６】実施の形態４における映像と音声の再生タイミングのずれを検出する原理図である。
【図７】本発明の実施の形態５におけるＡＶ伝送装置の全体構成図である。
【図８】本発明の実施の形態６におけるＡＶ伝送装置の全体構成図である。
【図９】本発明の実施の形態６及び７における送信側と受信側の基準時刻を同期させる原理図である。
【図１０】本発明の実施の形態７におけるＡＶ伝送装置の全体構成図である。
【図１１】本発明の実施の形態８におけるＡＶ伝送装置の全体構成図である。
【符号の説明】
１０１Ａ、１０１Ｂ、１０１Ｃ、１０１Ｄ、１０１Ｅ、１０１Ｆ、１０１Ｇ，１００１無線送信装置
１０２，１０９，３０３，３０４，５０１，５０４，７０５，８０２，１００２，１０１５，１１０２，１１０３無線部
１０３，７０３，１００３ＭＰＥＧ符号化部
１０４，５０２，１００７，７０４遅延部
１０５，１００８ＤＶＤプレーヤ
１０６，１０１６アンプ
１０７，１０１７スピーカ
１０８Ａ、１０８Ｂ、１０８Ｃ、１０８Ｄ、１０８Ｅ、１０８Ｆ、１０８Ｇ、１０１１無線受信装置
１１０，７０２，１０１２ＭＰＥＧ復号化部
１１１，３０２，５０３比較部
１１２マイク
１１３，１００９プロジェクタ
１１４，１０１０スクリーン
３０１光センサ
４０１ダイヤル
７０１記憶部
８０１映像入力検出部
８０３，１００５送信時刻管理部
８０４，１００４遅延時間検出部
８０５映像再生検出部
８０６再生時刻管理部
１００６音声入力検出部
１０１３音声再生検出部
１０１４再生時刻管理部
１１０１蓄積部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an AV transmission method and an AV transmission device for correcting a deviation in reproduction timing between video and audio due to compression coding / decoding delay and transmission delay that occur when reproducing AV content, and The present invention relates to an AV transmitter and an AV receiver.
[0002]
[Prior art]
In the moving picture experts group (MPEG), which is a video compression coding standard, it is stipulated to synchronize using playback time management information included in each information in order to match the playback timing of video and audio. When both video and audio are decoded and reproduced in the same device, synchronization can be easily established by comparing reproduction time management information.
[0003]
A method of synchronizing the reproduction timing of such video and audio is disclosed in Patent Document 1, and the difference between the reproduction timings is calculated from the video reproduction time management information and the audio reproduction time management information extracted from the video decoder and the audio decoder. By calculating and varying the operation clock frequency of the decoder according to the difference, it is possible to establish the synchronization of the reproduction timing of the video and audio.
[0004]
[Patent Document 1]
JP-A-9-312834 (FIGS. 1 and 4)
[0005]
[Problems to be solved by the invention]
However, in a wireless projector, for example, video is wirelessly transmitted from a remote playback device such as a DVD player to the projector, and sound is output from the DVD player directly to an analog speaker via an amplifier. The amplifier and speaker are directly connected by a cable. The video signal passes through the path of encoding-wireless-decoding-projector, and if it is left as it is, there arises a problem that the playback timing of video and audio is shifted.
[0006]
Further, since the projector that is the video playback device and the amplifier that is the audio playback device are different, there is a problem that the playback time management information cannot be compared and synchronized as in the prior art.
[0007]
The present invention has been made in view of such conventional problems, and in a wireless projector or the like, the number of times of encoding / decoding in video and audio processing and the reproduction timing due to wireless transmission are determined. It is an object of the present invention to realize an AV transmission method and an AV transmission device in which synchronization of reproduction timings of video and audio is established as viewed from the viewer even when a deviation occurs.
[0008]
[Means for Solving the Problems]
In the invention of claim 1 of the present application, when reproducing the content, In a transmission apparatus and a reception apparatus that transmit and receive information to and from each other, the transmission apparatus Content video information Mark Issue Above An AV transmission method of transmitting to a receiving device, decoding the receiving device to reproduce the video information, and reproducing the audio information of the content by the transmitting device, wherein the transmitting device is input Above For video information Contained, Detecting a reference signal for detecting a playback timing shift The , Sent to the receiver The transmission time of the reference signal is managed, and the reception device is transmitted from the transmission device Included in the video information The reference signal Regeneration Shi The , Replayed The playback time of the reference signal Send to the transmitter , The transmitter is configured to transmit the reference signal. Above Transmission time and the receiving device Received from Of the reference signal Above By determining the amount of delay of the audio information by calculating a deviation in the reproduction timing of the video information from the reproduction time, and delaying the reproduction timing of the audio information input by the determined delay amount, Due to encoding and decoding delays in the video information and transmission delays when transmitting to the receiving device Of the video information and the audio information. It is characterized by correcting a deviation in reproduction timing.
[0009]
In the invention of claim 2 of the present application, when reproducing the content, In a transmission apparatus and a reception apparatus that transmit and receive information to and from each other, the transmission apparatus Audio information of content Mark Issue Above An AV transmission method for transmitting to a receiving device, decoding the receiving device to reproduce the audio information, and reproducing the video information of the content by the transmitting device, wherein the transmitting device is input Above For voice information Contained, Detecting a reference signal for detecting a playback timing shift The , Sent to the receiver The transmission time of the reference signal is managed, and the reception device is transmitted from the transmission device Included in the audio information The reference signal Regeneration Shi The , Replayed The playback time of the reference signal Send to the transmitter , The transmitter is configured to transmit the reference signal. Above Transmission time and the receiving device Received from Of the reference signal Above By determining the amount of delay of the video information by calculating a deviation of the reproduction timing of the audio information from the reproduction time, and delaying the reproduction timing of the input video information by the determined amount of delay, Due to encoding and decoding delays in the audio information and transmission delays when transmitting to the receiving device Of the video information and the audio information. It is characterized by correcting a deviation in reproduction timing.
[0010]
In the invention of claim 3 of the present application, when reproducing the content, In a transmission apparatus and a reception apparatus that transmit and receive information to and from each other, the transmission apparatus Content video information Mark Issue Above An AV transmission apparatus that transmits to a receiving apparatus, decodes the receiving apparatus to reproduce the video information, and reproduces audio information of the content by the transmitting apparatus, wherein the transmitting apparatus has a specified delay amount A delay unit that delays the playback timing of audio information that has been input, and Above For video information Contained, A video input detection unit for detecting a reference signal for detecting a deviation in reproduction timing, and detected by the video input detection unit Above Reference signal Sent to the receiving device A transmission time management unit for managing time; Determining the delay amount of the audio information from the transmission time managed in the transmission time management unit and the reproduction time of the reference signal received from the receiving device; The delay unit Specify the amount of delay A delay time detection unit, and the reception device includes: A video decoding unit for decoding the video signal including the reference signal; Above In the video decoder A video reproduction detector for detecting that the reference signal has been reproduced; Detected by the video reproduction detection unit The reference signal The playback of Manage time And transmitting the playback time to the transmitting device. A playback time management unit, In the transmitter, The delay time detection unit Sending Trust time And said re From birth time ,in front Due to encoding and decoding delays in video information and transmission delays when transmitting to the receiving device Of the video information and the audio information. It is characterized by correcting a deviation in reproduction timing.
[0011]
In the invention of claim 4 of the present application, when reproducing the content, In a transmission apparatus and a reception apparatus that transmit and receive information to and from each other, the transmission apparatus Audio information of content Mark Issue Above An AV transmission apparatus that transmits to a receiving apparatus, decodes the receiving apparatus to reproduce the audio information, and reproduces video information of the content by the transmitting apparatus, wherein the transmitting apparatus has a specified delay amount A delay unit that delays the playback timing of the input video information, and Above For voice information Contained, An audio input detection unit for detecting a reference signal for detecting a deviation in reproduction timing, and detected by the audio input detection unit; Above Reference signal Sent to the receiving device A transmission time management unit for managing time; Determining the delay amount of the video information from the transmission time managed in the transmission time management unit and the reproduction time of the reference signal received from the receiving device; The delay unit Specify the amount of delay A delay time detection unit, and the reception device includes: A voice decoding unit for decoding the voice signal including the reference signal; Above In the speech decoder An audio reproduction detector for detecting that the reference signal has been reproduced; Detected by the audio reproduction detection unit The reference signal The playback of Manage time And transmitting the playback time to the transmitting device. A playback time management unit, In the transmitter, The delay time detection unit Sending Trust time And said re From birth time ,in front Due to encoding and decoding delays in audio information and transmission delays when transmitting to the receiving device Of the video information and the audio information. It is characterized by correcting a deviation in reproduction timing.
[0012]
In the invention of claim 5 of the present application, when reproducing the content, In an AV transmitting apparatus and an AV receiving apparatus that transmit / receive information to / from each other, the AV transmitting apparatus Content video information Mark Issue AV Transmitted to the receiving device, AV The receiving device decodes and reproduces the video information, and AV The transmitting device reproduces the audio information of the content Constituting the AV transmission device An AV transmission apparatus, a delay unit for delaying a reproduction timing of audio information input by a specified delay amount, and an input Above For video information Contained, A video input detection unit for detecting a reference signal for detecting a deviation in reproduction timing, and detected by the video input detection unit Above Reference signal Transmitted to the AV receiver A transmission time management unit for managing time; A delay amount of the audio information is determined from the transmission time managed in the transmission time management unit and the reproduction time of the reference signal reproduced in the AV reception device received from the AV reception device; The delay unit Specify the delay amount of A delay time detector, and the delay time detector Sending Trust time And said re From birth time ,in front Encoding and decoding delay in video information, AV Due to transmission delay when transmitting to the receiver Of the video information and the audio information. It is characterized by correcting a deviation in reproduction timing.
[0013]
In the invention of claim 6 of the present application, when reproducing the content, In an AV transmitting apparatus and an AV receiving apparatus that transmit / receive information to / from each other, the AV transmitting apparatus Audio information of content Mark Issue AV Transmitted to the receiving device, AV The receiving device decodes and reproduces the audio information, and AV The transmitting device reproduces the video information of the content Constituting the AV transmission device An AV transmission device, a delay unit for delaying a reproduction timing of video information input by a specified delay amount, and an input Above For voice information Contained, An audio input detection unit for detecting a reference signal for detecting a deviation in reproduction timing, and detected by the audio input detection unit; Above Reference signal Transmitted to the AV receiver A transmission time management unit for managing time; Determining a delay amount of the video information from the transmission time managed in the transmission time management unit and the reproduction time of the reference signal reproduced in the AV reception device received from the AV reception device; The delay unit Specify the delay amount of A delay time detector, and the delay time detector Sending Trust time And said re From birth time ,in front Encoding and decoding delay in recorded audio information, AV Due to transmission delay when transmitting to the receiver Of the video information and the audio information. It is characterized by correcting a deviation in reproduction timing.
[0094]
According to the AV transmission method described above, the amount of delay can be calculated and synchronization can be established by measuring how much the reproduction timing is from the reproduced video and audio signals.
[0095]
As a signal for delay measurement, for example, the video signal has a pattern in which the white / black screen changes at a constant cycle, and the audio signal outputs a sine wave when the video signal is white and outputs nothing when it is black. By using the signal, the delay amount can be easily measured.
[0096]
Further, the reference time is shared between the transmission side and the reception side, the delay time from the start of encoding on the transmission side to the reproduction on the reception side is measured along the time axis, and the delay amount is calculated. Thereby, it is possible to calculate the deviation of the reproduction timing without using a means for capturing reproduced video and reproduced audio such as an optical sensor and a microphone.
[0097]
Also, the result of measuring the amount of reproduction timing deviation due to encoding / decoding processing time and transmission delay time is stored in the storage means, and once measured, the value is read and received at startup. The amount of delay can be calculated by feeding back from the transmission side to the transmission side.
[0098]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an AV transmission apparatus and an AV transmission method, an AV transmission apparatus, and an AV reception apparatus according to embodiments of the present invention will be described with reference to the drawings.
(Embodiment 1)
FIG. 1 is an overall configuration diagram of an AV transmission apparatus according to Embodiment 1 of the present invention. This AV transmission apparatus includes a wireless transmission apparatus (referred to as an AV transmission apparatus or a transmission apparatus) 101A and a wireless reception apparatus (referred to as an AV reception apparatus or reception apparatus) 108A. As related equipment, a DVD player 105, an amplifier 106, a speaker. 107, a projector 113, and a screen 114 are provided. The wireless transmission device 101A transmits a video signal wirelessly and includes a wireless unit 102, an MPEG encoding unit 103, and a delay unit 104. The wireless reception device 108A receives a wirelessly transmitted video signal, and includes a wireless unit 109, an MPEG decoding unit 110, a comparison unit 111, and a microphone (hereinafter referred to as a microphone) 112. The wireless unit 102 and the wireless unit 109 Two Information can be sent in the direction.
[0099]
The DVD player 105 reads out video data and audio data compressed and recorded on an optical disc (DVD), decompresses them, decodes them, and outputs analog video signals and audio signals. The projector 113 supplies an input video signal to a liquid crystal display panel (LCD) or a digital micromirror (DLP), converts it into a light beam, and projects the video on the screen 114. In the case of a home theater or a conference room, the projector 113 is often attached to a ceiling or the like so that the light beam is not blocked by the viewer of the video. In this case, the power of the projector 113 is supplied from an outlet attached to the ceiling in advance. On the other hand, the DVD player 105 is often installed on a table or an AV case in order to insert / remove an optical disc or perform various operations directly from an operation panel.
[0100]
Therefore, in the present embodiment, the video signal from the DVD player 105 is transmitted to the projector 113 via wireless and the video is reproduced by the projector 113. The audio signal is not transmitted wirelessly but is directly amplified by the amplifier 106 and reproduced from the speaker 107. In particular, in this embodiment, it is assumed that components necessary for reproduction timing synchronization are divided and mounted on the wireless transmission device 101A side and the wireless reception device 108A side.
[0101]
The operation of the AV transmission apparatus configured as described above will be described. As video output terminals of the DVD player 105, for example, progressive video output, component video output, D1 / D2 video output, S video output, general-purpose video output, and the like are prepared. The video signals output from these output terminals are compressed and encoded signals (program streams) recorded on an optical disc that have been decompressed and decoded by a built-in decoder. These signals are referred to as analog video output in the following description. Call. The video output may be any of the above output terminals. This analog video output is once given to the wireless transmission device 101A. The analog video signal input to the wireless transmission device 101A is compression encoded by the MPEG encoding unit 103 in order to ensure error tolerance in the wireless LAN and reduce the amount of transmission signal. The compressed and encoded video signal is converted into a predetermined format and wirelessly transmitted by the radio unit 102.
[0102]
The compressed video signal transmitted wirelessly is received by the wireless reception device 108A. The wireless unit 109 receives the compressed video signal from the wireless transmission device 101 A and inputs it to the MPEG decoding unit 110. The MPEG decoding unit 110 decodes the compressed video signal and outputs the video signal to the projector 113. The projector 113 converts the input video signal into a light beam and projects the video on the screen 114.
[0103]
On the other hand, as audio output terminals of the DVD player 105, output terminals such as multi-channel analog audio output, coaxial digital audio output, and optical digital audio output are prepared. These signals are also called analog audio output because they are decompressed and decoded when output from the player. Thus, the analog audio output of the DVD player 105 is subjected to delay processing by the delay unit 104 and output to the amplifier 106. The amplifier 106 performs audio signal processing of a plurality of channels, for example, 5.1ch surround, and outputs the processed signal to the speaker 107 of each channel. With such an operation, powerful audio is reproduced by the dedicated AV amplifier for the video projected from the projector 113, and the content can be enjoyed in a realistic state.
[0104]
Next, processing for synchronizing the playback timing of video and audio will be described. The analog audio output from the DVD player 105 is immediately amplified by the amplifier 106 and reproduced by the speaker 107. On the other hand, the analog video output of the DVD player 105 is subjected to codec (CODEC) processing. That is, the wireless reception device 108 is wirelessly transmitted from the wireless transmission device 101. A Is transmitted to. For this reason, a delay is caused by the codec processing and the wireless transmission. This delay is determined by the radio receiver 108. A The delay of signal processing in the MPEG decoding unit 110 is also included. After these processes, the video is reproduced from the projector 113. In the present embodiment, these delay times are detected, and the reproduction timing of the audio signal is delayed by the delay unit 104 by this delay time, thereby establishing synchronization of the video and audio reproduction timing.
[0105]
The microphone 112 attached to the wireless reception device 108 A as an audio input unit acquires the audio output from the speaker 107. The audio signal acquired by the microphone 112 is input to the comparison unit 111. The comparison unit 111 also receives a video signal reproduced by the wireless reception device 108A. The comparison unit 111 detects a shift in the reproduction timing of video and audio from the input video signal and audio signal.
[0106]
Detection signal for detecting deviations in playback timing ( Comparison An example) is also shown in FIG. As shown in FIG. 2A, a signal in which a white-color image and a black-color image appear alternately every N frames is used as a detection video signal. On the other hand, as shown in FIG. 2B, as a detection audio signal, a signal in which an audio signal, for example, a sine wave exists during a period when the image is white, and no audio signal exists during a period when the image is black. (Silence signal) is used. In this embodiment, a DVD disc on which a detection signal as shown in FIG. Alternatively, the wireless transmission device 101A may output a detection signal as shown in FIGS. 2A and 2B immediately before playing a commercially available DVD disc on which desired content is recorded.
[0107]
The comparison unit 111 uses the reproduced video signal for detection and audio signal, and the start timing of the white-color video as shown in FIG. 2C and the synchronized timing in FIG. 2D. The difference with the reproduction start timing of the indicated voice is detected. The above detection signal is an analog signal, but since the digital nature of the signal is white or black or the presence or absence of sound, the timing difference can be easily detected.
[0108]
The comparison unit 111 notifies the wireless unit 109 of the detected deviation amount of the reproduction timing as a delay amount. The wireless unit 109 transmits the delay amount given from the comparison unit 111 to the wireless transmission device 101A wirelessly. The transmission of the delay amount is performed using a reverse transmission path in a wireless transmission path for transmitting video.
[0109]
The wireless unit 102 of the wireless transmission device 101 A extracts delay amount information from the received signal and transfers the information to the delay unit 104. The delay unit 104 delays the input audio signal by the given delay amount and outputs the delayed audio signal to the amplifier 106.
[0110]
Here, the wireless unit 109 achieves the function of a delay amount transmission unit that transmits the deviation amount of the reproduction timing of video information and audio information detected by the comparison unit 111 to the wireless transmission device 101A. Further, the wireless unit 102 achieves the function of a delay information reception notification unit that notifies the delay unit 104 of the amount of reproduction timing deviation received from the wireless unit 109.
[0111]
As described above, according to the present embodiment, the delay due to the compression encoding and decoding of the video with respect to the audio reproduction timing and the delay of the video reproduction timing due to the wireless transmission are detected, and the amount of delay is detected as audio. By feeding back to the side, it is possible to delay the audio reproduction timing by a necessary time. In this way, synchronization of video and audio playback timing is established, and content can be played back without a shift in playback timing.
[0112]
In the present embodiment, the voice input unit is a microphone, but the same effect can be obtained with a voice input unit other than the microphone. For example, sound may be detected using a general-purpose wired input unit such as an RCA pin plug. In this case, the wireless transmission device 10 1A Is output to the comparison unit 111 via a cable.
[0113]
In this embodiment, the DVD player 105 and the wireless transmission device 101A are separate devices, but the function of the wireless transmission device 101A may be built in the DVD player 105. Further, although the projector 113 and the wireless reception device 108A are different devices, the function of the wireless reception device 108A may be built in the projector 113.
[0114]
Further, in this embodiment, the detection signal for detecting the deviation of the reproduction timing is reproduced by the DVD player 105 from the DVD disk, but the detection signal is output to the DVD player 105 as described above. Even if the function is provided, the same effect can be obtained. In this case, there is no restriction on using a DVD disc on which a detection signal is recorded in order to detect a deviation in reproduction timing.
[0115]
Further, in this embodiment, the detection signal as shown in FIG. 2 is used as a signal for detecting a deviation in reproduction timing. However, if the signal is such that the relationship between the reproduction timing of video and audio is fixed, Similar effects can be obtained with signals of other patterns.
[0116]
In the AV transmission apparatus according to the present embodiment, the wireless transmission apparatus reproduces the audio information of the content, encodes the video information of the content and transmits it to the wireless reception apparatus, and the wireless reception apparatus decodes and reproduces the video information. It was supposed to be. However, the wireless transmission device may reproduce the video information of the content, encode the audio information of the content and transmit it to the wireless reception device, and the wireless reception device may decode and reproduce the audio information.
[0117]
(Embodiment 2)
Next, an AV transmission apparatus according to Embodiment 2 of the present invention will be described. FIG. 3 is an overall configuration diagram of the AV transmission apparatus according to the second embodiment. The same functional units as those in the first embodiment are given the same numbers, and detailed description thereof is omitted. This AV transmission apparatus can measure the delay time only on the transmission side.
[0118]
The wireless transmission device 101B includes an MPEG encoding unit 103, a delay unit 104, an optical sensor 301, a comparison unit 302, and a wireless unit 303. The wireless reception device 108B includes a wireless unit 304 and an MPEG decoding unit 110. In addition, a DVD player 105, an amplifier 106, a speaker 107, a projector 113, and a screen 114 are provided as related devices.
[0119]
The optical sensor 301 is a video input unit that detects video information reproduced by the wireless reception device 108 B by reflected light from the screen 114. Unlike Embodiment 1, comparison section 302 is provided in radio transmission apparatus 101B. The comparison unit 302 detects a reproduction timing difference between the video detection signal input from the optical sensor 301 and the audio signal output from the wireless transmission device 101 B, and notifies the delay unit 104 of the difference time. The wireless unit 303 does not have a function of notifying the delay unit 104 of the delay amount transferred from the wireless reception device as in the first embodiment. The wireless unit 304 does not have the function of transferring the delay amount to the wireless transmission device 101 as in the first embodiment.
[0120]
In this embodiment, the video signal from the DVD player 105 is transmitted to the projector 113 wirelessly, and the video is reproduced by the projector 113, and the audio is not transmitted wirelessly, but is directly amplified by the amplifier 106 and transmitted from the speaker 107. A form to be played back. A feature is that all the components necessary for synchronization of the reproduction timing are mounted on the transmission device side.
[0121]
The operation of the AV transmission apparatus configured as described above will be described. Since the processing contents until the video and audio are reproduced are the same as those in the first embodiment, the description thereof is omitted. Here, only the process of synchronizing the playback timing of video and audio will be described. The analog audio output output from the DVD player 105 is immediately amplified by the amplifier 106 and reproduced by the speaker 107. On the other hand, the analog video output output from the DVD player 105 has a delay due to the CODEC processing by the MPEG encoding unit 103 and the MPEG decoding unit 110, and a delay due to wireless transmission from the wireless transmission device 101B to the wireless reception device 108B. In response, the video is reproduced from the projector 113. The comparison unit 302 detects such a delay amount, and the delay unit 104 delays the reproduction timing of the audio signal by the delay amount. Thus, synchronization of video and audio playback timing is established.
[0122]
In such processing, the optical sensor 301 detects reflected light from the image projected from the projector 114. The video detection signal detected by the optical sensor 301 is input to the comparison unit 302. The comparison unit 302 also receives an audio signal reproduced by the wireless transmission device 101B. The comparison unit 302 detects a shift in video and audio reproduction timing from the input video detection signal and audio signal.
[0123]
The comparison unit 302 notifies the delay unit 104 of the detected deviation in reproduction timing as a delay amount. The delay unit 104 delays the input audio signal by the given delay amount and outputs the delayed audio signal to the amplifier 106.
[0124]
As described above, according to the present embodiment, the delay due to the compression encoding and decoding of the video with respect to the audio playback timing and the delay of the video playback timing due to the wireless transmission are detected, and the delay amount is determined. By feeding back to the audio side, it is possible to delay the audio reproduction timing by a necessary time. In this way, synchronization of video and audio playback timing is established, and content can be played back without a shift in playback timing.
[0125]
Furthermore, since all the means for detecting the deviation of the reproduction timing are mounted on the wireless transmission apparatus 101B side, it is possible to detect the reproduction timing without providing the detection means for detecting the deviation of the reproduction timing on the wireless reception apparatus 108B side. The deviation can be corrected.
[0126]
In the present embodiment, the video input unit is an optical sensor, but the same effect can be obtained by using a video input unit other than the optical sensor. For example, wired video input using a general-purpose terminal such as an RCA pin plug may be used.
[0127]
In the AV transmission apparatus according to the present embodiment, the wireless transmission apparatus reproduces the audio information of the content, encodes the video information of the content and transmits it to the wireless reception apparatus, and the wireless reception apparatus decodes and reproduces the video information. It was supposed to be. However, the wireless transmission device may reproduce the video information of the content, encode the audio information of the content and transmit it to the wireless reception device, and the wireless reception device may decode and reproduce the audio information. In this case, a microphone is provided as an audio input unit instead of the optical sensor 301.
[0128]
(Embodiment 3)
Next, an AV transmission apparatus according to Embodiment 3 of the present invention will be described. FIG. 4 is an overall configuration diagram of the AV transmission apparatus according to the third embodiment. The same functional parts as those in the first and second embodiments are given the same numbers, and detailed description thereof is omitted. This AV transmission apparatus is not provided with a comparison unit, and can be manually adjusted for delay using a dial as an adjustment unit.
[0129]
The wireless transmission device 101C adjusts as an adjustment unit in addition to the MPEG encoding unit 103, the delay unit 104, and the wireless unit 303. For A dial 401 is included. The wireless reception device 108C includes an MPEG decoding unit 110 and a wireless unit 304. Further, a DVD player 105, an amplifier 106, a speaker 107, a projector 113, and a screen 114 are provided as devices related thereto. The dial 401 is used to manually adjust the delay amount of the audio reproduction timing, and is connected to the delay unit 104.
[0130]
In this embodiment, the video signal from the DVD player 105 is transmitted to the projector 113 wirelessly, and the video is reproduced by the projector 113, and the audio is not transmitted wirelessly, but is directly amplified by the amplifier 106 and transmitted from the speaker 107. A form to be played back. Further, the only necessary components for synchronization of the reproduction timing are the dial 401 and the delay unit 104, which is different from the first and second embodiments.
[0131]
The operation of the AV transmission apparatus configured as described above will be described. Since the processing contents until the video and audio are reproduced are the same as those in the first and second embodiments, the description thereof is omitted. Here, only the process of synchronizing the playback timing of video and audio will be described.
[0132]
The analog audio output from the DVD player 105 is immediately amplified by the amplifier 106 and reproduced by the speaker 107. On the other hand, the analog video output of the DVD player 105 is subjected to the delay due to the CODEC processing by the MPEG encoding unit 103 and the MPEG decoding unit 110 and the delay due to the wireless transmission from the wireless transmission device 101 to the wireless reception device 108, and the projector 113 Played from. Delay control corresponding to this delay amount is manually performed via the dial 401.
[0133]
Specifically, the user operates the dial 401 after playing back video and audio, viewing the playback screen and playback audio. The delay amount of the delay unit 104 is changed by the control signal from the dial 401, and the audio reproduction timing is changed. The user fixes the adjustment value of the dial 401 at a position where the video reproduction timing and the audio reproduction timing are synchronized while checking this change with eyes and ears.
[0134]
According to the present embodiment, a delay due to video compression encoding and decoding and a delay in video playback timing due to wireless transmission are detected with respect to the audio playback timing, and the delay amount is detected on the audio side. As a result, the audio reproduction timing can be delayed by a necessary time. In this way, synchronization of video and audio playback timing is established, and content can be played back without a shift in playback timing.
[0135]
Furthermore, in this embodiment, since the user adjusts the deviation of the reproduction timing with the dial 401 while watching the reproduction video and audio, the correction can be performed without any special means for detecting the deviation of the reproduction timing. It is.
[0136]
In this embodiment, the dial 401 is used as an adjustment unit for manually adjusting the deviation of the reproduction timing. However, the same effect can be obtained with other adjustment units, such as a switch.
[0137]
Further, the signal for detecting the deviation of the reproduction timing may be a detection signal as shown in FIG. 2, or a content such as a movie or music is reproduced. You may adjust so that the audio | voice output may correspond.
[0138]
In the AV transmission apparatus according to the present embodiment, the wireless transmission apparatus reproduces the audio information of the content, encodes the video information of the content and transmits it to the wireless reception apparatus, and the wireless reception apparatus decodes and reproduces the video information. It was supposed to be. However, the wireless transmission device may reproduce the video information of the content, encode the audio information of the content and transmit it to the wireless reception device, and the wireless reception device may decode and reproduce the audio information.
[0139]
(Embodiment 4)
Next, an AV transmission apparatus according to Embodiment 4 of the present invention will be described. FIG. 5 is an overall configuration diagram of an AV transmission apparatus according to the fourth embodiment. The same functional parts as those in the first to third embodiments are given the same numbers, and detailed description thereof is omitted. This AV transmission apparatus is configured to perform delay measurement using a phase variable detection signal.
[0140]
The wireless transmission device 101D includes an MPEG encoding unit 103, a wireless unit 501, and a delay unit 502. The wireless reception device 108D includes an MPEG decoding unit 110, a comparison unit 503, and a wireless unit 504. Further, a DVD player 105, an amplifier 106, a speaker 107, a projector 113, and a screen 114 are provided as devices related thereto.
[0141]
In this embodiment, the video signal from the DVD player 105 is transmitted to the projector 113 wirelessly, and the video is reproduced by the projector 113, and the audio is not transmitted wirelessly, but is directly amplified by the amplifier 106 and transmitted from the speaker 107. A form to be played back. Further, the delay unit 502 outputs the playback timing of the input audio signal while independently changing the delay amount, and when receiving a notification of establishment of synchronization from the outside, the delay unit 502 fixes the delay amount at that time. And This point is different from the first embodiment.
[0142]
The operation of the AV transmission apparatus configured as described above will be described. Since the processing contents until the video and audio are reproduced are the same as those in the first embodiment, the description thereof is omitted. Here, only the process of synchronizing the playback timing of video and audio will be described. The analog audio output from the DVD player 105 is immediately amplified by the amplifier 106 and reproduced by the speaker 107 in the initial state. On the other hand, the analog video output of the DVD player 105 receives a delay due to the CODEC processing by the MPEG encoding unit 103 and the MPEG decoding unit 110 and a delay due to wireless transmission from the wireless transmission device 101D to the wireless reception device 108D. 113 is reproduced. The comparison unit 503 detects this delay amount, and the delay unit 502 delays the reproduction timing of the audio information by the delay amount, thereby establishing synchronization of the reproduction timing of the video and audio.
[0143]
An example of a detection signal for detecting a deviation in reproduction timing is shown in FIGS. As shown in FIG. 2A and FIG. 6A, a signal in which a white-color image and a black-color image appear alternately every N frames is input as a detection video signal. On the other hand, as shown in FIG. 2B, a signal is input as a detection audio signal such that an audio signal is present during a period when the video is white and no audio signal is present during a period when the video is black. In this embodiment, a DVD disc on which detection signals as shown in FIGS. 2A and 2B are recorded is reproduced by the DVD player 105.
[0144]
The delay unit 502 adds a certain amount of delay to the input audio signal and outputs it. For example, as shown in FIGS. 6B to 6D, if the basic unit to apply the delay is α [msec], the delay time gradually increases as delay 0, delay α, delay 2α, delay 3α,. The audio signal is output while increasing the value.
[0145]
The comparison unit 503 has been reproduced. school In the regular video and audio, the difference between the start timing of the white-color video as shown in FIG. 6 and the timing at which the reproduction of some audio is started is detected. Although the above detection signal is an analog signal, the signal is white or black, or the digital nature of whether or not there is sound, so that the timing difference can be easily detected.
[0146]
When the comparison unit 503 detects that the deviation in reproduction timing has become zero, the comparison unit 503 notifies the wireless unit 504 that synchronization has been established. The wireless unit 504 transmits the synchronization establishment notification given from the comparison unit 503 to the wireless transmission device 101D by wireless. The transmission of the delay amount is performed using a reverse transmission path in a wireless transmission path for transmitting video.
[0147]
The wireless unit 501 of the wireless transmission device 101D extracts a synchronization establishment notification from the received signal and notifies the delay unit 502 of the notification. The delay unit 502 stops changing the delay amount at the time when the synchronization establishment notification is received, and fixes the delay amount at the value at that time.
[0148]
According to the present embodiment, the optimal delay on the audio side is set so that the deviation of the reproduction timing due to the compression and decoding of the video with respect to the audio reproduction timing and the delay due to the radio transmission becomes zero. By detecting the amount, the audio reproduction timing can be delayed by a necessary time. In this way, synchronization of video and audio playback timing is established, and content can be played back without a shift in playback timing.
[0149]
In the AV transmission apparatus according to the present embodiment, the wireless transmission apparatus reproduces the audio information of the content, encodes the video information of the content and transmits it to the wireless reception apparatus, and the wireless reception apparatus decodes and reproduces the video information. It was supposed to be. However, the wireless transmission device may reproduce the video information of the content, encode the audio information of the content and transmit it to the wireless reception device, and the wireless reception device may decode and reproduce the audio information. In this case, the delay unit 502 outputs the reproduction timing of the input video signal while independently changing the delay amount. When receiving the notification of synchronization establishment from the outside, the delay unit 502 fixes the delay amount at that time.
[0150]
(Embodiment 5)
Next, an AV transmission apparatus according to Embodiment 5 of the present invention will be described. FIG. 7 is an overall configuration diagram of an AV transmission apparatus according to the fifth embodiment. The same functional units as those in the first to fourth embodiments are given the same numbers, and detailed description thereof is omitted. This AV transmission device is provided with a storage unit instead of the comparison unit, and notifies the wireless transmission device of the delay amount previously stored in the storage unit.
[0151]
The wireless transmission device 101E includes a wireless unit 102, an MPEG encoding unit 703, and a delay unit 704. The wireless reception device 108E includes a storage unit 701, an MPEG decoding unit 702, and a wireless unit 705. Further, a DVD player 105, an amplifier 106, a speaker 107, a projector 113, and a screen 114 are provided as devices related thereto.
[0152]
In this embodiment, the video signal from the DVD player 105 is transmitted to the projector 113 wirelessly, and the video is reproduced by the projector 113, and the audio is not transmitted wirelessly, but is directly amplified by the amplifier 106 and transmitted from the speaker 107 A form to be played back. The storage unit 701 stores in advance a video decoding delay time and a wireless transmission delay time. The wireless unit 705 is characterized in that the delay time held in the storage unit 701 is notified to the wireless transmission device 101E, which is different from the first embodiment.
[0153]
The operation of the AV transmission apparatus configured as described above will be described. Since the processing contents until the video and audio are reproduced are the same as those in the first embodiment, description thereof will be omitted. Here, only the process of synchronizing the playback timing of video and audio will be described.
[0154]
The MPEG decoding unit 702 notifies the storage unit 701 of a processing time (delay time) for decoding the input compressed video stream. The wireless unit 705 notifies the storage unit 701 of the transmission delay time in wireless transmission between the wireless transmission device 101E and the wireless reception device 108E. The storage unit 701 adds up the notified delay times and notifies the wireless transmission apparatus 101E via the wireless unit 705 of the value as a delay amount after MPEG encoding.
[0155]
The delay unit 704 receives a delay amount after MPEG encoding via the wireless unit 102 and inputs a processing time (delay time) for compressing and encoding a video signal from the MPEG encoding unit 703. Then, the delay unit 704 sets the total of the given delay times as the total delay time, and delays the reproduction of the input audio information by the total delay time.
[0156]
According to the present embodiment, information on the delay time for wireless transmission and decoding of a video signal is held in advance on the receiving device side, and the information is fed back to the transmitting device side to reproduce video and audio playback timing. Is recognized, and the reproduction timing of the audio signal is delayed. In this way, synchronization of video and audio playback timing is established without implementing a means for measuring the delay time, and content can be played back without a shift in playback timing.
[0157]
In the AV transmission apparatus according to the present embodiment, the wireless transmission apparatus reproduces the audio information of the content, encodes the video information of the content and transmits it to the wireless reception apparatus, and the wireless reception apparatus decodes and reproduces the video information. It was supposed to be. However, the wireless transmission device may reproduce the video information of the content, encode the audio information of the content and transmit it to the wireless reception device, and the wireless reception device may decode and reproduce the audio information.
[0158]
(Embodiment 6)
Next, an AV transmission apparatus according to the sixth embodiment of the present invention will be described. FIG. 8 is an overall configuration diagram of an AV transmission apparatus according to the sixth embodiment. The same functional units as those in the first to fifth embodiments are given the same numbers, and detailed descriptions thereof are omitted. This AV transmission device detects a delay amount by inserting a time reference signal as a time stamp into audio information and video information without calculating a comparison unit, and calculating a difference between a transmission time and a reproduction time. It is.
[0159]
The wireless transmission device 101F includes an MPEG encoding unit 103, a delay unit 104, a video input detection unit 801, a wireless unit 802, a transmission time management unit 803, and a delay time detection unit 804. The wireless reception device 108F includes a wireless unit 109, an MPEG decoding unit 110, a video reproduction detection unit 805, and a reproduction time management unit 806. Further, a DVD player 105, an amplifier 106, a speaker 107, a projector 113, and a screen 114 are provided as devices related thereto.
[0160]
In this embodiment, the video signal from the DVD player 105 is transmitted to the projector 113 wirelessly, and the video is reproduced by the projector 113, and the audio is not transmitted wirelessly, but is directly amplified by the amplifier 106 and transmitted from the speaker 107. A form to be played back. Further, the first feature is that it has a function of adjusting the time axis between the transmitting and receiving apparatuses by transmitting time information from the transmitting apparatus to the receiving apparatus. It is also possible to obtain the delay amount of the audio reproduction timing by feeding back the time when the video signal is reproduced on the receiving device side to the transmitting device side and obtaining the difference from the time when the video signal is encoded on the transmitting device side. This is the second feature. This feature is different from the first embodiment.
[0161]
The operation of the AV transmission apparatus configured as described above will be described. Since the processing contents until the video and audio are reproduced are the same as those in the first embodiment, the description thereof is omitted. Here, only the process of synchronizing the playback timing of video and audio will be described.
[0162]
First, a method for synchronizing the time axis between the wireless transmission device 101F and the wireless reception device 108F will be described. As illustrated in FIG. 9A, the wireless transmission device 101F periodically broadcasts a Beacon packet at intervals of several milliseconds to several hundred milliseconds in accordance with the IEEE 802.11 standard that is a wireless LAN standard. The Beacon signal includes time stamp information managed by a free-running clock possessed by the wireless transmission device 101F. The reproduction time management unit 806 corrects the clock of the wireless reception device 108F indicated by the solid line in FIG. 9B with the time stamp information extracted from the Beacon signal indicated by the broken line in FIG. The time axis is synchronized with 101F.
[0163]
Next, a method for detecting a deviation in reproduction timing will be described. The video input detection unit 801 detects that a delay detection signal has been input from the DVD player 105 and notifies the transmission time management unit 803 of it. The transmission time management unit 803 holds a time value managed by the wireless transmission device 101 at the time point notified from the video input detection unit 801.
[0164]
The compressed video information for delay detection is transmitted to the wireless reception device 108F and output from the MPEG decoding unit 110. The video reproduction detection unit 805 notifies the reproduction time management unit 806 that the video signal for delay detection has been reproduced. The reproduction time management unit 806 transmits the time information of the wireless reception device 108F at the time when the notification is received from the video reproduction detection unit 805 to the wireless transmission device 101F via the wireless unit 109.
[0165]
The delay time detection unit 804 calculates a difference between the reproduction time received from the reproduction time management unit 806 and the transmission time acquired from the transmission time management unit 803. This value is a delay time until the video output from the DVD player 105 is reproduced. The delay time detection unit 804 notifies the delay unit 104 of this value. The delay unit 104 delays the audio reproduction timing by the notified delay time and outputs the result.
[0166]
According to the present embodiment, the video transmission timing is obtained by obtaining the difference between the transmission time and the playback time of the video information using the common time axis information between the wireless transmission device 101F and the wireless reception device 108F. The amount of delay can be obtained. Therefore, it is possible to synchronize the playback timing of video and audio without an audio or video input unit.
[0167]
(Embodiment 7)
Next, an AV transmission apparatus according to the seventh embodiment of the present invention will be described. FIG. 10 is an overall configuration diagram of an AV transmission apparatus according to the seventh embodiment. This AV transmission apparatus transmits audio information to a reception apparatus, and video information is reproduced on the transmission apparatus side, and uses the same time stamp as in the sixth embodiment.
[0168]
This AV transmission apparatus includes a wireless transmission apparatus 1001 and a wireless reception apparatus 1011, and a DVD player 105, an amplifier 106, a speaker 107, a projector 113, and a screen 114 are provided as related devices. The wireless transmission device 1001 transmits the audio signal reproduced by the DVD player 105 to the wireless reception device 1011 wirelessly.
[0169]
The wireless transmission device 1001 includes a wireless unit 1002, an MPEG encoding unit 1003, a delay time detection unit 1004, a transmission time management unit 1005, an audio input detection unit 1006, and a delay unit 1007. The wireless reception device 1011 includes an MPEG decoding unit 1012, an audio reproduction detection unit 1013, a reproduction time management unit 1014, and a radio unit 1015. In addition, a DVD player 1008, an amplifier 1016, a speaker 1017, a projector 1009, and a screen 1010 are provided as related devices.
[0170]
In this embodiment, the audio signal from the DVD player 1008 is wirelessly transmitted to the amplifier 1016 side, and the audio is reproduced by the speaker 1017. The video is not transmitted wirelessly, and the video signal reproduced from the DVD player 1008 is reproduced. Is directly input to the projector 1009 to reproduce the video. In addition, the first feature is that the time information is transmitted from the transmission device to the reception device, so that the time axis between the transmission and reception devices is adjusted. In addition, the time at which the audio signal is reproduced on the receiving device side is fed back to the transmitting device side, and the difference from the time at which the audio signal is encoded on the transmitting device side is obtained to obtain the delay amount of the reproduction timing of the video. Two features. With such a feature, it is possible to correct a deviation in reproduction timing between video and audio.
[0171]
The operation of the AV transmission apparatus configured as described above will be described. The analog audio output of the DVD player 1008 is input to the wireless transmission device 1001. This audio signal is compressed and encoded by the MPEG encoding unit 1003 and wirelessly transmitted by the radio unit 1002.
[0172]
The wireless transmission apparatus 1011 receives the compressed audio signal transmitted wirelessly. Radio section 1015 inputs the received compressed audio signal to MPEG decoding section 1012. The MPEG decoding unit 1012 decodes the compressed audio signal and outputs the audio signal to the amplifier 1016. The amplifier 1016 amplifies the input audio signal and outputs it to the speaker 1017.
[0173]
On the other hand, the analog video output of the DVD player 1008 is output to the projector 1009 via the delay unit 1007. The projector 1009 converts the input video signal into a light beam and displays it on the screen 1010.
[0174]
Next, a method for synchronizing the playback timing of video and audio will be described. First, a method for synchronizing the time axis between the wireless transmission device 1001 and the wireless reception device 1011 will be described. As shown in FIG. 9, the wireless transmission device 1001 periodically broadcasts a Beacon packet at intervals of several milliseconds to several hundred milliseconds in accordance with the IEEE 802.11 standard that is a wireless LAN standard. The Beacon signal includes time stamp information managed by the free-running clock of the wireless transmission device 1001, and the reproduction time management unit 1014 uses the time stamp information extracted from the Beacon signal for the clock of the wireless reception device 1011. By correcting, the time axis is synchronized with the wireless transmission device 1001.
[0175]
Next, a method for detecting a deviation in reproduction timing will be described. The audio input detection unit 1006 detects that a delay detection signal has been input from the DVD player 1008 and notifies the transmission time management unit 1005 of it. The transmission time management unit 1005 holds a time value managed by the wireless transmission device 1001 at the time point notified from the voice input detection unit 1006.
[0176]
The audio signal for delay detection compressed by the MPEG encoding unit 1003 is transmitted to the wireless reception device 1011 and output from the MPEG decoding unit 1012. The audio reproduction detection unit 1013 notifies the reproduction time management unit 1014 that the delay detection audio signal has been reproduced. The reproduction time management unit 1014 transmits the time information of the wireless reception device 1011 at the time of receiving the notification from the audio reproduction detection unit 1013 to the wireless transmission device 1001 via the wireless unit 1015.
[0177]
The delay time detection unit 1004 calculates the difference between the reproduction time given from the reproduction time management unit 1014 and the transmission time acquired from the transmission time management unit 1005. This value is a delay time until the audio output from the DVD player 1008 is reproduced on the receiving device side. The delay time detection unit 1004 notifies this value to the delay unit 1007, and reproduces the video by delaying the video reproduction timing by the time notified by the delay unit 1007.
[0178]
According to the present embodiment, as specified in the wireless LAN standard, the transmission time and reproduction of audio information are performed using time axis information synchronized between the wireless transmission device 1001 and the wireless reception device 1011. By obtaining the difference from the time, the delay amount of the audio reproduction timing can be obtained. In this way, it is possible to synchronize the reproduction timing of the video and audio without the input means for audio and video.
[0179]
(Embodiment 8)
Next, an AV transmission apparatus according to the eighth embodiment of the present invention will be described. FIG. 11 is an overall configuration diagram of an AV transmission apparatus according to the eighth embodiment. The same functional units as those in the first to sixth embodiments are given the same numbers, and detailed description thereof is omitted. This AV transmission device transmits video information to a reception device, audio is reproduced by the transmission device side, and a measurement result of the delay amount is held in a storage unit.
[0180]
The wireless transmission device 101G includes an MPEG encoding unit 103, a delay unit 104, and a wireless unit 1103. The wireless reception device 108G includes an MPEG decoding unit 110, a comparison unit 111, a microphone 112, a storage unit 1101, and a wireless unit 1102. Further, a DVD player 105, an amplifier 106, a speaker 107, a projector 113, and a screen 114 are provided as devices related thereto.
[0181]
In this embodiment, the video signal from the DVD player 105 is transmitted to the projector 113 wirelessly, and the video is reproduced by the projector 113. The audio is not transmitted wirelessly, but is amplified by the amplifier 106 connected by wire. A form of reproduction from the speaker 107 is adopted. Further, the storage unit 1101 holds a deviation amount of the reproduction timing between the video and audio measured by the comparison unit 111, and this point is different from the first embodiment.
[0182]
The operation of the AV transmission apparatus configured as described above will be described. Since the processing contents until the video and audio are reproduced are the same as those in the first embodiment, the description thereof is omitted. Here, a process of synchronizing the playback timing of video and audio will be described.
[0183]
A method for detecting a deviation in reproduction timing is the same as in the first embodiment. The shift amount of the video and audio reproduction timing detected by the comparison unit 111 is stored in the accumulation unit 1101. Subsequent video and audio reproduction timing correction processing is performed using the reproduction timing deviation stored in the storage unit 1101. That is, when the wireless transmission device 101G is activated, the wireless unit 1103 requests the wireless reception device 108G to notify the deviation of the reproduction timing. When the wireless unit 1102 receives such a notification request, the wireless unit 1102 reads the already measured reproduction timing deviation amount stored in the storage unit 1101 and transmits the read timing difference amount to the wireless transmission device 101G. The wireless unit 1103 notifies the delay unit 104 of the received reproduction timing shift amount. The delay unit 104 delays the output of the audio signal by a designated amount.
[0184]
According to the present embodiment, the storage unit 1101 holds a deviation amount of the reproduction timing of video and audio once measured. At the time of subsequent use, the delay amount held in the storage unit 1101 is notified to the delay unit 104 to establish the synchronization of the reproduction timing of video and audio. Therefore, once the amount of deviation is measured, subsequent processing such as measurement of the amount of deviation of the reproduction timing and output of a measurement signal becomes unnecessary.
[0185]
In this embodiment, the storage unit 1101 is provided inside the wireless reception device 108G. However, the same effect can be obtained even when the storage unit is on the wireless transmission device 101G side. As the storage unit 1101, a removable storage element such as a flexible disk or an SD memory card may be used.
[0186]
【The invention's effect】
As described above, according to the present invention, the reproduction timing of the video and the audio is synchronized even when the reproduction timing is shifted due to the number of times of encoding / decoding between the video and the audio or the transmission by wireless or the like. Can be established.
[0187]
In addition, the delay amount can be easily measured by using the detection signal output from the transmission device.
[0189]
Also, by feeding back the encoding / decoding processing time and transmission delay time held in advance from the receiving side to the transmitting side, without using means for capturing reproduced video and reproduced audio such as an optical sensor or microphone, Deviation in reproduction timing can be calculated.
[0190]
Also, the reference time is shared between the transmission side and the reception side, and the delay amount is calculated by calculating the delay time from the start of encoding on the transmission side to the reproduction on the reception side according to the time axis. As a result, even if the processing delay and transmission delay due to encoding / decoding are not known in advance, it is possible to calculate a deviation in reproduction timing without using a means for capturing reproduced video and reproduced audio such as an optical sensor and a microphone. it can.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of an AV transmission apparatus according to a first embodiment of the present invention.
FIG. 2 is a principle diagram for detecting a deviation in playback timing between video and audio.
FIG. 3 is an overall configuration diagram of an AV transmission apparatus according to Embodiment 2 of the present invention.
FIG. 4 is an overall configuration diagram of an AV transmission apparatus according to Embodiment 3 of the present invention.
FIG. 5 is an overall configuration diagram of an AV transmission apparatus according to Embodiment 4 of the present invention.
FIG. 6 is a principle diagram for detecting a deviation in reproduction timing between video and audio in the fourth embodiment.
FIG. 7 is an overall configuration diagram of an AV transmission apparatus according to a fifth embodiment of the present invention.
FIG. 8 is an overall configuration diagram of an AV transmission apparatus according to a sixth embodiment of the present invention.
FIG. 9 is a principle diagram for synchronizing the reference time on the transmitting side and the receiving side in the sixth and seventh embodiments of the present invention.
FIG. 10 is an overall configuration diagram of an AV transmission apparatus according to a seventh embodiment of the present invention.
FIG. 11 is an overall configuration diagram of an AV transmission apparatus according to an eighth embodiment of the present invention.
[Explanation of symbols]
101A, 101B, 101C, 101D, 101E, 101F, 101G, 1001 Wireless transmission apparatus
102, 109, 303, 304, 501, 504, 705, 802, 1002, 1015, 1102, 1103 Radio unit
103,703,1003 MPEG encoding section
104, 502, 1007, 704 Delay unit
105,1008 DVD player
106,1016 amplifier
107,1017 Speaker
108A, 108B, 108C, 108D, 108E, 108F, 108G, 1011 Wireless receiver
110, 702, 1012 MPEG decoding unit
111, 302, 503 comparison unit
112 microphone
113,1009 Projector
114,1010 screen
301 Optical sensor
401 Dial
701 storage unit
801 Video input detection unit
803, 1005 Transmission time management section
804, 1004 Delay time detector
805 Video playback detection unit
806 Playback time manager
1006 Voice input detection unit
1013 Voice reproduction detection unit
1014 Playback time management unit
1101 Accumulator

Claims

Upon reproducing the contents, in the receiving and transmitting devices for transmitting and receiving information to one another, wherein the transmitting device is transmitted to the receiving device by marks Goka video information of the content, the video information the receiving apparatus decrypts An AV transmission method in which the transmitting device reproduces audio information of the content while reproducing,
The transmission device has been included in the video information input, and detects a reference signal for detecting a deviation of a reproduction timing, and manages the transmission time of the reference signal transmitted to the receiving device,
The receiving device reproduces the reference signal included in the video information transmitted from the transmitting apparatus transmits the reproduction time of the reference signal reproduced in the transmission device,
The transmitting device includes: the transmission time of the reference signal, from said reproduction time of the reference signal received from the receiving apparatus, the delay amount of the audio information by calculating the shift of the reproduction timing of the video information By determining and delaying the reproduction timing of the audio information input by the determined delay amount, it is caused by encoding and decoding delays in the video information and transmission delays when transmitting to the receiving device An AV transmission method comprising correcting a reproduction timing difference between the video information and the audio information .

Upon reproducing the contents, in the receiving and transmitting devices for transmitting and receiving information to one another, wherein the transmitting device is transmitted to the receiving device by marks Goka audio information of the content, the audio information the receiver decrypts An AV transmission method in which the transmitting device reproduces video information of the content,
The transmission device has been included in the voice information input, and detects a reference signal for detecting a deviation of a reproduction timing, and manages the transmission time of the reference signal transmitted to the receiving device,
The receiving device reproduces the reference signal included in the voice information transmitted from the transmitting apparatus transmits the reproduction time of the reference signal reproduced in the transmission device,
The transmitting device includes: the transmission time of the reference signal, from said reproduction time of the reference signal received from the receiving apparatus, the delay amount of the image information by calculating the shift of the reproduction timing of the audio information By delaying the playback timing of the video information that has been determined and input by the determined delay amount, it is caused by encoding and decoding delays in the audio information and transmission delays when transmitting to the receiving device An AV transmission method comprising correcting a reproduction timing difference between the video information and the audio information .

Upon reproducing the contents, in the receiving and transmitting devices for transmitting and receiving information to one another, wherein the transmitting device is transmitted to the receiving device by marks Goka video information of the content, the video information the receiving apparatus decrypts An AV transmission device that reproduces the audio information of the content while the transmission device reproduces,
The transmitter is
A delay unit that delays the playback timing of the audio information input by the specified delay amount;
Was included in the inputted image information, and the video input detection section for detecting a reference signal for detecting a deviation of a reproduction timing,
The reference signal detected by the video input detection section, and a transmission time management section for managing transmission time sent to the receiving device,
A delay time for determining the delay amount of the audio information from the transmission time managed by the transmission time management unit and the reproduction time of the reference signal received from the receiving device, and specifying the delay amount of the delay unit A detection unit;
The receiving device is:
A video decoding unit for decoding the video signal including the reference signal;
A video reproduction detecting unit for detecting that the reference signal is reproduced in the video decoding unit;
A reproduction time management unit that manages the reproduction time of the reference signal detected by the video reproduction detection unit and transmits the reproduction time to the transmission device ;
In the transmission device, the delay time detection section, front and a Kioku signal time and the playback time, before Symbol encoding and decoding delays and in the video information, due to the transmission delay in transmitting the reception apparatus An AV transmission apparatus that corrects a difference in reproduction timing between the video information and the audio information .

Upon reproducing the contents, in the receiving and transmitting devices for transmitting and receiving information to one another, wherein the transmitting device is transmitted to the receiving device by marks Goka audio information of the content, the audio information the receiver decrypts An AV transmission apparatus that reproduces the video information of the content while the transmission apparatus reproduces the content,
The transmitter is
A delay unit for delaying the playback timing of the video information input by a specified delay amount;
It was included in the inputted voice information, a voice input detection unit for detecting a reference signal for detecting a deviation of a reproduction timing,
The reference signal detected by the voice input detecting unit, a transmission time management section for managing transmission time sent to the receiving device,
A delay time for determining the delay amount of the video information from the transmission time managed by the transmission time management unit and the reproduction time of the reference signal received from the receiving device and designating the delay amount of the delay unit A detection unit;
The receiving device is:
A voice decoding unit for decoding the voice signal including the reference signal;
An audio reproduction detection unit for detecting that the reference signal is reproduced in the audio decoding unit;
A reproduction time management unit that manages the reproduction time of the reference signal detected by the audio reproduction detection unit and transmits the reproduction time to the transmission device ;
In the transmission device, the delay time detection section, front and a Kioku signal time and the playback time, before Symbol encoding and decoding delay and in the voice information, due to the transmission delay in transmitting the reception apparatus An AV transmission apparatus that corrects a difference in reproduction timing between the video information and the audio information .

Upon reproducing the contents, the AV transmission device and the AV receiver device for transmitting and receiving information to one another, the AV transmission device is transmitted to the AV receiver device with marks Goka video information of the content, the AV receiver decodes wherein reproduces the video information, the a AV transmission apparatus in which the AV transmission device constitute an AV transmission device want to play the audio information of the content Te,
A delay unit that delays the playback timing of the audio information input by the specified delay amount;
Was included in the inputted image information, and the video input detection section for detecting a reference signal for detecting a deviation of a reproduction timing,
The reference signal detected by the video input detection section, and a transmission time management section for managing transmission time transmitted to the AV receiver device,
A delay amount of the audio information is determined from the transmission time managed by the transmission time management unit and the reproduction time of the reference signal reproduced by the AV reception device received from the AV reception device; A delay time detection unit that specifies the delay amount of a unit,
The video information the delay time detection section, front and a Kioku signal time and the playback time, the encoding and decoding delay and before the SL video information, due to the transmission delay in transmitting the AV receiver device And an AV transmission device that corrects a deviation in reproduction timing of the audio information .

Upon reproducing the contents, the AV transmission device and the AV receiver device for transmitting and receiving information to one another, the AV transmission device is transmitted to the AV receiver device with marks Goka audio information of the content, the AV receiver decodes wherein reproduces audio information, wherein a AV transmission apparatus in which the AV transmission device constitute an AV transmission device want to play the video information of the content Te,
A delay unit for delaying the playback timing of the video information input by a specified delay amount;
It was included in the inputted voice information, a voice input detection unit for detecting a reference signal for detecting a deviation of a reproduction timing,
The reference signal detected by the voice input detecting unit, a transmission time management section for managing transmission time transmitted to the AV receiver device,
A delay amount of the video information is determined from the transmission time managed by the transmission time management unit and the reproduction time of the reference signal reproduced in the AV reception device received from the AV reception device, and the delay A delay time detection unit that specifies the delay amount of a unit,
The video information the delay time detection section, front and a Kioku signal time and the playback time, the encoding and decoding delay and before the SL audio information, due to the transmission delay in transmitting the AV receiver device And an AV transmission device that corrects a deviation in reproduction timing of the audio information .