JP6720566B2 - オーディオ機器 - Google Patents

Description

この発明は、複数系統の音声を映像に同期させるオーディオ機器に関する。

映像と音声とを同期して再生する場合、一般に映像の処理により時間を要するため、音声信号を所定時間遅延させて映像の遅れに同期させている。この同期処理は、リップシンクと呼ばれる。

さらに、映像と音声とが別の機器で再生される場合には、映像機器がオーディオ機器に対して、映像の遅延時間を知らせ、オーディオ機器がそれに合わせて音声を遅延させる必要がある。この処理は、ダイナミック自動リップシンクと呼ばれる（特許文献１参照）。

特開２００７−２７４４０９号公報

このように、従来より、映像および音声の再生において両者の同期をとるための技術が存在するが、音声がさらに別の機器に分岐して配信される場合、たとえば、オーディオ機器からさらにワイヤレスのパワードスピーカに配信される場合などには、この分岐された音声の放音タイミングを同期させることはできなかった。

この発明は、映像と複数系統で出力される音声とを同期させることのできるオーディオ機器を提供することを目的とする。

本発明のオーディオ機器は、映像信号および音声信号を入力する信号入力部と、音声信号を遅延させて出力する信号処理部と、映像再生機器に対して映像信号を送信する信号出力部と、他のオーディオ機器に音声信号を放音時刻を指示するタイムスタンプを付して無線で送信する通信部と、制御部と、を備える。制御部は、信号出力部を介して、映像遅延時間を取得し、通信部から配信遅延時間を取得し、他のオーディオ機器が接続されているか否かを判断する。制御部は、他のオーディオ機器が接続されていない場合、信号処理部の遅延時間を映像遅延時間と同じに設定する。制御部は、他のオーディオ機器が接続されており、かつ映像遅延時間が配信遅延時間以上の場合、信号処理部の遅延時間を映像遅延時間と同じに設定するとともに、通信部が送信する音声信号に映像遅延時間だけ遅延させるタイムスタンプを付す。制御部は、他のオーディオ機器が接続されており、かつ映像遅延時間が配信遅延時間より小さい場合、映像信号の種類またはユーザによる選択に応じて、信号処理部の遅延時間を映像遅延時間または配信遅延時間のいずれかと同じに設定し、通信部が送信する音声信号に配信遅延時間だけ遅延させるタイムスタンプを付す。

制御部は、信号処理部の遅延時間を配信遅延時間と同じに設定した場合、信号出力部を介して映像再生機器に対して、映像遅延時間を配信遅延時間と同じに設定するよう指示してもよい。

この発明によれば、映像再生に遅延を持たないオーディオ機器にハードを追加せずに、映像再生機器で表示される映像と、オーディオ機器自身で再生される音声、および、他のオーディオ機器で再生される音声と、を同期させることが可能になる。

この発明の実施形態であるオーディオシステムの構成図 レシーバの制御部の動作を示すフローチャート

図１はこの発明の実施形態であるオーディオシステム１の構成図である。オーディオシステム１は、レシーバ１，パワードスピーカ２，ＢＤ（ブルーレイ・ディスク）プレーヤ３、および、テレビ（ＴＶ）４を有している。テレビ４は、ＢＤプレーヤ３で再生された映像を表示するディスプレイとして機能する。

レシーバ１は、制御部１０、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）受信部１１、信号処理部１２、アンプ１３、ＨＤＭＩ送信部１４、および、ネットワークモジュール１５を有している。制御部１０は、ＨＤＭＩ受信部１１、信号処理部１２、アンプ１３、ＨＤＭＩ送信部１４、および、ネットワークモジュール１５を含むレシーバ１全体の動作を制御する。ＨＤＭＩ受信部１１は、ＢＤプレーヤ３に接続され、ＢＤプレーヤ３から出力される映像信号を受信する。ＢＤプレーヤ３から出力される映像信号には音声信号が含まれる。ＨＤＭＩ受信部１１には、信号処理部１２、ＨＤＭＩ送信部１４およびネットワークモジュール１５が接続されている。ＨＤＭＩ送信部１４には、テレビ４が接続される。

ＢＤプレーヤ３は、映画などの映像ソースを再生して映像信号を出力する。ＨＤＭＩ受信部１１がＢＤプレーヤ３から受信した映像信号は、そのままＨＤＭＩ送信部１４に転送される。さらに、映像信号から取り出された音声信号が信号処理部１２およびネットワークモジュール１５に入力される。

信号処理部１２は、デジタル・シグナル・プロセッサ（ＤＳＰ）を含んでおり、ＨＤＭＩ受信部１１が受信した映像信号から取り出された音声信号に対してサラウンド等の信号処理を行う。信号処理部１２におけるこの信号処理は、所定の処理時間を要する。さらに、信号処理部１２は、音声信号をバッファするバッファメモリを内蔵または外付けで備えており、テレビ４やパワードスピーカ３などの他の出力装置と同期をとるために、さらに制御部１０から指定された時間音声信号を遅延させることができる。この信号処理部１２における処理による遅延時間および指定された遅延時間を加えた遅延時間を、以下、遅延時間（音声遅延）ＤＡと呼ぶ。

信号処理部１２には、アンプ１３が接続されている。信号処理部１２は、サラウンド処理などを施した音声信号をアンプ１３に出力する。アンプ１３はこの音声信号を増幅してスピーカ１６に出力する。スピーカ１６は、レシーバ１の端子（不図示）に接続された外付けのスピーカ装置である。スピーカ１６は、この音声信号を音響として放音する。以上により、音声信号は、映像信号に含まれてＨＤＭＩ受信部１１で受信されたのち、遅延時間ＤＡだけ遅延されてスピーカ１６から放音される。

ＨＤＭＩ送信部１４は、ＨＤＭＩ受信部１１から転送されてきた映像信号をテレビ４に送信する。ＨＤＭＩ受信部１１とＨＤＭＩ送信部１３との間はパススルーであり、映像信号に対する加工等の信号処理は行われない。ＨＤＭＩ送信部１３は、テレビ４に対して映像信号をＴＭＤＳ（Ｔｒａｎｓｉｔｉｏｎ−ｍｉｎｉｍｉｚｅｄ ｄｉｆｆｅｒｅｎｔｉａｌ ｓｉｇｎａｌｉｎｇ）方式で送信するとともに、テレビ４とレシーバ１との間でＣＥＣ（Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｎｔｒｏｌ）手順で相互に制御情報を送受信する。テレビ４から送られてくる制御情報には、ダイナミック自動リップシンクの情報が含まれる。

テレビ４は、レシーバ１から受信した映像信号をデコードし、その映像の種類に応じた映像処理を行ってＬＣＤディスプレイに表示する。映像の種類とは、たとえば、通常の映像、４Ｋ映像、３Ｄ映像などであり、映像の種類によってその処理時間が異なる。テレビ４は、レシーバ１から送られてきた映像信号から映像の種類を判断して、必要な処理時間を判断し、その処理時間をダイナミック自動リップシンク情報としてＨＤＭＩのＣＥＣ経由でレシーバ１に返信する。この処理時間が映像遅延（遅延時間）ＤＶであり、一般的に３０〜１５０ミリ秒程度である。

ネットワークモジュール１５は、パワードスピーカ２に対してワイヤレスで音声信号を送信する。パワードスピーカ２は、音声信号を受信するネットワークモジュール２１、音声信号を増幅するアンプ２２、および、音声信号を音響として放音するスピーカユニット２３を有する。パワードスピーカ２のネットワークモジュール２１は、通信が一時途切れた場合でも再生音を途切れさせないように十分な容量のバッファを有しており、レシーバ１のネットワークモジュール１５から音声信号の受信を開始したのち、バッファに所定量以上の音声信号がバッファされた状態で音声信号の再生を開始する。したがって、パワードスピーカ２による音声信号の再生は、無線による伝送の所要時間（衝突制御、再送制御など）、および、音声信号のバッファによって遅延する。この遅延時間（配信遅延）ＤＮは、１００〜２００ミリ秒程度である。無線による音声信号の伝送は、Ｂｌｕｅｔｏｏｔｈなどの汎用の方式であってもよく、または、独自の方式を用いてもよい。

レシーバ１（ネットワークモジュール１５）は、パワードスピーカ２（ネットワークモジュール２１）に対して、パケット化した音声信号を送信する。レシーバ１は、各パケットにそのパケット内の音声信号が再生されるべき時刻（タイムスタンプ）を付して送信する。パワードスピーカ２は、受信したパケットの音声信号をバッファし、これをタイムスタンプで指定された時刻に再生する。タイムスタンプは、配信遅延ＤＮを見越して音声信号の送信時から１００〜２００ミリ秒先に設定される。すなわち、音声信号の再生が１００〜２００ミリ秒遅延される。また、ネットワークモジュール１５、２１が有線ＬＡＮ接続が可能である場合、レシーバ１とパワードスピーカ２とを有線ＬＡＮで接続して配信遅延ＤＮを数十ミリ秒程度に小さくすることができる。なお、この遅延量（配信遅延ＤＮ）は、パワードスピーカ２のバッファの容量が許す範囲内で大きくすることが可能である。配信遅延ＤＮを大きさ次第では、パワードスピーカ２による音声信号の放音をテレビ４の映像と同期をとることが可能になる。

上記のように、各遅延時間ＤＡ，ＤＶ，ＤＮはそれぞれ異なり、不一致のまま再生すると、テレビ４で表示される映像と、スピーカ１６、２３から放音される音声とがそれぞれズレてしまう。そこで、映像と各音声とをできるだけ一致させるために、制御部１０は以下の処理を行う。なお、一般的に音声遅延ＤＡは、他の遅延（映像遅延ＤＶ、配信遅延ＤＮ）よりも小さい。

図２は、ＢＤプレーヤ３が再生を開始するときの制御部１０の動作を示すフローチャートである。制御部１０は、ＢＤの再生開始時に、ＨＤＭＩ受信部１１を介して、ＢＤプレーヤ３から、再生される映像の種類を取得する（Ｓ１０）。映像の種類とは、たとえば、通常の映像、４Ｋ映像、３Ｄ映像などである。制御部１０は、取得した映像の種類を、ＨＤＭＩ送信部１４のＣＥＣ経由でテレビ４に通知する（Ｓ１１）。この応答として、制御部１０は、ＨＤＭＩ送信部１４のＣＥＣ経由でテレビ４から映像再生のための遅延時間ＤＶを取得する（Ｓ１２）。すなわち、テレビ４は、レシーバ１から送られてきた映像信号の種類を見て必要な処理時間を判断し、その処理時間をダイナミック自動リップシンク情報として返信する。

次に、パワードスピーカ２が接続されているか（動作しているか）を判断する（Ｓ１３）。ネットワークモジュール１５がパワードスピーカ２と通信している状態であれば、パワードスピーカ１５が接続されていると言える。パワードスピーカ２が接続されていない場合（Ｓ１３でＮＯ）、制御部１０は、信号処理部１２の遅延時間である音声遅延ＤＡを映像遅延ＤＶと同じになるように信号処理部１２に指示して（Ｓ１４）、ＢＤの再生を開始する（Ｓ２５）。信号処理部１２は、音声信号の処理時間に加えて必要な時間分のデータをバッファすることにより、音声遅延ＤＡが映像遅延ＤＶと同じになるように調整する。ＢＤ再生の開始は、ＢＤプレーヤ２に対して映像信号の送信を開始するように指示する手順を含む。

パワードスピーカ２が接続されている場合には（Ｓ１３でＹＥＳ）、制御部１０は処理をＳ１５に進め、ネットワークモジュール１５のパワードスピーカ２との通信実績（たとえばＰｉｎｇの応答時間など）に基づいて配信遅延ＤＮを決定する（Ｓ１５）。配信遅延ＤＮは、たとえば、応答時間が長いと、通信そのものに時間が掛かるうえ、配信が途切れる可能性が高くなるためバッファ量を多くしなければならないことなどを考慮して決定される。比較の結果、映像遅延ＤＶが配信遅延ＤＮ以上であれば（Ｓ１６）、制御部１０は、音声遅延ＤＡおよび配信遅延ＤＮを映像遅延ＤＶに同期させる（Ｓ１７）。音声遅延ＤＡの同期は、信号処理部１２における音声信号のバッファ量を多くすることで調整される。配信遅延ＤＮの同期は、音声パケットに付すタイムスタンプをその遅延時間だけ先にすることで調整される。

一方、テレビ４の映像遅延ＤＶが配信遅延ＤＮよりも小さい場合（Ｓ１６）、制御部１０は、音声遅延ＤＡを映像遅延ＤＶ，配信遅延ＤＮのどちらに同期させるかを判断する（Ｓ１８）。どちらに同期させるかは、ユーザによる設定や再生されるコンテンツの種類に応じて判断すればよい。制御部１０が音声遅延ＤＡを映像遅延ＤＶに同期させると判断した場合（Ｓ１８）、信号処理部１２に対して音声遅延ＤＡを映像遅延ＤＶと同じするよう指示して（Ｓ１９）ＢＤの再生を開始する。なお、この場合、スピーカ１６から放音される音響はテレビ４に表示される映像と同期するが、パワードスピーカ２（スピーカ２３）から放音される音響は、それとは若干遅れたものとなる。

一方、制御部１０がＤＳＰ１２の遅延時間ＤＡを配信遅延ＤＮに同期させると判断した場合（Ｓ１８）、信号処理部１２に対して音声遅延ＤＡを配信遅延ＤＮと同じするよう指示して（Ｓ２０）、ＢＤの再生を開始する。この場合、スピーカ１６、２３から放音される音響は互いに同期しているが、テレビ４に表示される映像からは若干遅れたものとなる。

なお、ある種のテレビ４は、遅延の大きいＢｌｕｅｔｏｏｔｈスピーカや、本件のようなネットワーク接続されたパワードスピーカ２に映像を同期させるなどのために、映像をバッファして任意の時間遅延させることができるものがある。このようなテレビ４の場合、制御部１０は、ＨＤＭＩ送信部１４のＣＥＣを介してテレビ４に配信遅延時間ＤＮの情報を送信し（Ｓ２１）、テレビ４の映像遅延ＤＶを配信遅延ＤＮと同じになるように調整してもよい。

１ レシーバ
２ パワードスピーカ
３ ＢＤ（ブルーレイディスク）プレーヤ
４ テレビ

Claims (2)

1. 映像信号および音声信号を入力する信号入力部と、
   前記音声信号を遅延させて出力する信号処理部と、
   映像再生機器に対して前記映像信号を送信する信号出力部と、
   他のオーディオ機器に前記音声信号を放音時刻を指示するタイムスタンプを付して送信する通信部と、
   制御部と、
   を備え、
   前記制御部は、
   前記信号出力部を介して、前記映像再生機器から送信した映像信号を表示するまでに必要な処理時間である映像遅延時間を取得し、
   前記通信部から、前記他のオーディオ機器の前記音声信号の放音までの遅延時間である配信遅延時間を取得し、
   前記他のオーディオ機器が接続されているか否かを判断し、
   前記他のオーディオ機器が接続されていない場合、前記信号処理部の遅延時間を前記映像遅延時間と同じに設定し、
   前記他のオーディオ機器が接続されており、かつ前記映像遅延時間が前記配信遅延時間以上の場合、前記信号処理部の遅延時間を前記映像遅延時間と同じに設定するとともに、前記通信部が送信する音声信号に、前記映像遅延時間だけ遅延させるタイムスタンプを付し、
   前記他のオーディオ機器が接続されており、かつ前記映像遅延時間が前記配信遅延時間より小さい場合、前記映像信号の種類またはユーザによる選択に応じて、前記信号処理部の遅延時間を前記映像遅延時間または前記配信遅延時間のいずれかと同じに設定し、前記通信部が送信する音声信号に、前記配信遅延時間だけ遅延させるタイムスタンプを付す
   オーディオ機器。
2. 前記制御部は、
   前記信号処理部の遅延時間を前記配信遅延時間と同じに設定した場合、前記信号出力部を介して、前記映像再生機器に対して、前記映像遅延時間を前記配信遅延時間と同じに設定するよう指示する
   請求項１に記載のオーディオ機器。

Images