JP6074899B2

JP6074899B2 - 音データ処理装置

Info

Publication number: JP6074899B2
Application number: JP2012069628A
Authority: JP
Inventors: 広臣四童子
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2012-03-26
Filing date: 2012-03-26
Publication date: 2017-02-08
Anticipated expiration: 2032-03-26
Also published as: WO2013146665A1; JP2013201669A; US20150092945A1; US9439018B2

Description

この発明は、複数のスピーカに対し音データを供給する技術に関する。

ユーザが音響コンテンツや音声付き映像コンテンツを音空間内で楽しむ際、望ましい音場を作り上げるために、複数のチャンネルの音を複数のスピーカから各々放音するスピーカシステムが用いられることが多い。

例えば、２．１チャンネルのスピーカシステムは、ステレオの音場の生成に用いられる主にフロント左チャンネル（以下、「Ｌｃｈ」という）の音を放音するためのフロント左スピーカ（以下、「Ｌｓｐ」という）と、主にフロント右チャンネル（以下、「Ｒｃｈ」という）の音を放音するためのフロント右スピーカ（以下、「Ｒｓｐ」という）に加え、低周波数帯域の成分を多く含む低音域チャンネル（以下、「ＬＦＥｃｈ」という。なお、「ＬＦＥ」はLow-Frequency Effectの意）の音を放音するためのサブウーファー（以下、「ＳＷ」という）を備える。

なお、ＳＷはＬｓｐおよびＲｓｐと比較し、低周波数帯域における放音能力が優れたスピーカである。また、ＬｓｐおよびＲｓｐで構成される２チャンネルのスピーカシステムにＳＷを加えたスピーカシステムを２．１チャンネルのスピーカシステムと称するのは、ＳＷが放音可能な周波数帯域がＬｓｐおよびＲｓｐと比較して狭く、またＳＷから放音される低周波数帯域の音は音場における音の定位感にあまり影響を与えずチャンネルとしての独立性が乏しいため、それを０．１とカウントするためである。

また近年では、より自然な音場の生成のために、５．１チャンネル、７．１チャンネル、９．１チャンネルなどのように、チャンネル数がより多いサラウンドシステムが普及しつつある。

多チャンネルのサラウンドシステムにおいて望ましい音場を作り出すための技術として、例えば特許文献１には、ＳＷを含むスピーカシステム（例えば、５．１チャンネル）を用いて、ＬＦＥｃｈを含まない音響コンテンツ（例えば、５チャンネル）の再生を行う場合にＳＷから放音される音が他のスピーカ（メインスピーカ）から放音される音に対して発生する遅延を解消するために、メインスピーカに出力される音データにディレイによる遅延を加える技術が記載されている。

特開２００５−２７１６３号公報

近年、ワイヤレスのＳＷが普及しつつある。ＳＷは聴者の音の定位感にあまり影響を与えない低周波数帯域の音を放音するため、音空間内における配置位置が音場に対しあまり影響を与えない。そのため、メインスピーカと比べ大型である傾向のあるＳＷは音空間内の邪魔にならない位置に自由に配置したい、というニーズがある。そのニーズに応えるため、ＳＷのワイヤレス化が進んでいる。

プレーヤからメインスピーカにはケーブルを用いた有線接続による音データの伝送が行われ、プレーヤからＳＷには電波を用いた無線接続による音データの伝送が行われると、一般的に無線接続による伝送速度は有線接続による伝送速度よりも遅いため、メインスピーカから放音される音とＳＷから放音される音との間にタイミングのずれが生じる。

異なるチャンネルの音の間にタイミングのずれが生じると、聴者が違和感を感じるため望ましくない。有線接続されたメインスピーカに対する音データの出力タイミングを遅らせれば、チャンネル間のタイミングのずれを解消することができる。しかしながら、その場合、プレーヤからＡＶアンプ等に出力されたタイミングから実際にスピーカから音が放音されるまでの時間が長くなり、例えば音響コンテンツが映像を伴う場合、ディスプレイに表示される映像よりも音が遅れて再生される、といった不都合を生じる。

同様の問題は、例えばサラウンドシステムの多チャンネル化に伴い、プレーヤから離れた位置に配置されるスピーカをワイヤレス化した場合や、サブウーファ内蔵のＡＶアンプからワイヤレス化されたメインスピーカに音データの送信が行われる場合などにも生じる。

本発明は、上記の事情に鑑み、複数のチャンネルの音が伝送速度の異なる伝送経路を介して伝送される際に生じるチャンネル間の音のずれを解消するとともに従来技術による場合と比較し音データの入力から放音までの時間の遅延を低減することで、聴者にとって違和感の少ない音場を提供することを目的とする。

上記課題を解決するため、本発明は、第１の音を示す第１の音データの入力を受ける第１の入力手段と、第２の音を示す第２の音データの入力を受ける第２の入力手段と、前記第１の音データもしくは前記第１の音データを用いて生成された音データと、前記第２の音データもしくは前記第２の音データを用いて生成された音データとをミキシングしたミキシング音データを生成するミキシング手段と、前記第１の音データもしくは前記第１の音データを用いて生成された音データであって、前記ミキシング手段によるミキシングを経ていない音データを第１のスピーカに対し出力する第１の出力手段と、前記ミキシング手段によりミキシングされた音データを第２のスピーカに対し出力する第２の出力手段と、前記ミキシング手段に入力される音データの分岐点の後段かつ前記第１の出力手段の前段、または前記ミキシング手段の後段かつ前記第２の出力手段の前段に設けられ、音データに対して音響効果を付加する所定の処理を行う処理手段と、前記第１の出力手段から出力される音データの前記第１のスピーカへの入力と前記第２の出力手段から出力される音データの前記第２のスピーカへの入力のタイミングの関係が、前記第１の入力手段における前記第１の音データと前記第２の入力手段における前記第２の音データの入力のタイミングの関係と一致するように音データを遅延させる１以上のディレイとを備えるデータ処理装置であって、前記１以上のディレイの全ては、前記ミキシング手段に入力される音データの分岐点の後段かつ第１の出力手段の前段、または前記ミキシング手段の後段かつ前記第２の出力手段の前段に設けられている音データ処理装置を提供する。

そのような音データ処理装置によれば、ミキシング処理を経た音データとミキシング処理を経ない音データの各々がミキシングポイントの後段においてスピーカに入力されるまでに要する時間が異なる場合であっても、ディレイによる遅延処理によりそれらの音の放音におけるタイミングのずれが回避される。その際、ミキシングポイントの後段においてミキシングを経た音データおよびミキシングを経ない音データの少なくとも一方に対し行われる音響効果を付加する処理に要する時間の少なくとも一部と、ミキシングポイントの後段においてそれらの音データがスピーカに入力されるまでに要する時間の少なくとも一部が相殺される結果、システム全体としての遅延が低減される。

また、上記の音データ処理装置において、前記第２の出力手段により出力される音データの伝送速度は前記第１の出力手段により出力される音データの伝送速度よりも遅く、前記処理手段は前記ミキシング手段に入力される音データの分岐点の後段かつ前記第１の出力手段の前段に設けられている、という構成が採用されてもよい。
さらに、そのような音データ処理装置において、前記第２の出力手段は無線により音データを出力する、という構成が採用されてもよい。

もしくは、上記の音データ処理装置において、前記第１の出力手段により出力される音データの伝送速度は前記第２の出力手段により出力される音データの伝送速度よりも遅く、前記処理手段は前記ミキシング手段の後段かつ前記第２の出力手段の前段に設けられている、という構成が採用されてもよい。
さらに、そのような音データ処理装置において、前記第１の出力手段は無線により音データを出力する、という構成が採用されてもよい。

それらの音データ処理装置によれば、一方の出力手段から出力された音データがスピーカに入力されるまでに要する遅延時間と、他方の出力手段から出力される音データに対し行われる音響効果を付加する処理に要する時間とが相殺されるため、システム全体としての遅延が低減される。

第１実施形態にかかるＡＶシステムの構成を示した図である。第２実施形態にかかるＡＶシステムの構成を示した図である。一変形例における音データ処理装置の機能構成の一部を示した図である。一変形例における音データ処理装置の機能構成の一部を示した図である。一変形例における音データ処理装置の機能構成の一部を示した図である。一変形例における音データ処理装置の構成を示した図である。従来技術にかかるサウンドシステムの構成を示した図である。

［従来技術］
本発明の一実施形態にかかるサラウンドシステムの説明に先立ち、まず従来技術にかかるサウンドシステム９を図７を用いて説明する。

図７に示されるサウンドシステム９において、プレーヤ９１はサウンドシステム９が配置された音空間において再生されるべき２．１チャンネルの音響コンテンツを示す音響データを記録媒体から順次読み出し、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）規格に従ったフォーマットで、その音響データを音データ処理装置９２に対し出力する。

音データ処理装置９２が備えるＨＤＭＩレシーバ１２１は、プレーヤ９１から入力される音響データを受け取り、音データ処理装置９２が備えるＤＳＰ群１２２に引き渡す。

ＤＳＰ群１２２は、制御部１２９の制御の下でデコーダ１２２１等の音データを処理する各種機能部として機能する。

デコーダ１２２１は、ＨＤＭＩレシーバ１２１から引き渡された音響データをデコードし、２．１チャンネル、すなわちＬｃｈ、ＲｃｈおよびＬＦＥｃｈの３つのチャンネルの音データを生成する。デコーダ１２２１は、ＬｃｈおよびＲｃｈの音データを各々、処理部１２２２Ｌおよび処理部１２２２Ｒに引き渡す。

処理部１２２２Ｌおよび処理部１２２２Ｒは、例えばＦＩＲ（Finite Impulse Response)フィルタ処理などの、ＬｃｈおよびＲｃｈの音に対し各種音響効果を付加するための処理を行う。

処理部１２２２Ｌおよび処理部１２２２Ｒにおいて各種音響効果の付された音データは、ハイパスフィルタ１２２３Ｌおよびハイパスフィルタ１２２３Ｒに引き渡される。ハイパスフィルタ１２２３Ｌおよびハイパスフィルタ１２２３Ｒは、カットオフ周波数が例えば５００Ｈｚのハイパスフィルタであり、カットオフ周波数以下の周波数帯域の成分を減衰させた音データを生成する。

また、デコーダ１２２１は、ＨＤＭＩレシーバ１２１から引き渡された音響データのデコードにより生成したＬＦＥｃｈの音データをディレイ１２２４に引き渡す。ディレイ１２２４は、処理部１２２２Ｌおよび処理部１２２２ＲがＬｃｈおよびＲｃｈの音データを処理する際に生じる遅延時間だけ、ＬＦＥｃｈの音データのミキシング処理部１２２５に対する引き渡しを遅延させる。

処理部１２２２Ｌおよび処理部１２２２Ｒは、音響効果を付加したＬｃｈおよびＲｃｈの音データを上述したようにハイパスフィルタ１２２３Ｌおよびハイパスフィルタ１２２３Ｒに引き渡すと同時に、それらの音データをミキシング処理部１２２５にも引き渡す。また、ディレイ１２２４はデコーダ１２２１から引き渡されたＬＦＥの音データを、上述した遅延時間の経過の後、ミキシング処理部１２２５に引き渡す。

ミキシング処理部１２２５は、処理部１２２２Ｌ、処理部１２２２Ｒおよびディレイ１２２４から受け取ったＬｃｈ、ＲｃｈおよびＬＦＥの音データをミキシングし、ミキシング音データを生成する。

ここで、ディレイ１２２４によりＬＦＥの音データがミキシング処理部１２２５に引き渡されるタイミングが処理部１２２２Ｌおよび処理部１２２２Ｒの処理に要する時間だけ遅らされる理由は、ミキシングされる音データにより示される異なるチャンネルの音のタイミングの関係が、ＨＤＭＩレシーバ１２１がプレーヤ９１から取得した音響データに含まれる音データが示すそれらの音のタイミングの関係（以下、「本来のタイミングの関係」という）からずれないようにするためである。従って、ディレイ１２２４のディレイタイムは、処理部１２２２Ｌおよび処理部１２２２Ｒの処理に要する時間に応じて変化する。

また、ミキシング処理部１２２５においてＬＦＥの音データにＬｃｈおよびＲｃｈの音データをミキシングする目的は、ＬｃｈおよびＲｃｈの音に含まれる成分のうち、Ｌｓｐ１３およびＲｓｐ１４が十分に放音できない５００Ｈｚ以下の成分をＳＷ１５に放音させるための音データを生成することである。

このように、メインスピーカで放音が困難な低周波数帯域の成分をウーファに放音させるために音データのミキシングを行う処理はバスマネジメントと呼ばれる。バスマネジメントにおいては、ミキシング処理においてミキシング対象の異なるチャンネルの音データのタイミングの関係を本来のタイミングの関係とする必要がある。ディレイ１２２４はそのために設けられている。

ところで、上記のようなバスマネジメントが必要とされる背景には、近年のメインスピーカの小型化がある。例えば、液晶テレビの薄型化と大画面化に伴い、液晶テレビに内蔵されたり、液晶テレビを載置するラックの下などに配置されたりするメインスピーカは、スペース的な制約から小型のものが好まれる。

スピーカは小型化されると、低周波数帯域の放音能力が低下する。そのため、本来は１００Ｈｚ以上の周波数帯域の音の放音を担うべきメインスピーカが小型化されるに伴い、例えば５００Ｈｚ以上の周波数帯域の音しか十分に放音できない、という状況が生じている。

一方、スピーカシステムにおいて再生される音響データに含まれるメインスピーカ用の音データは１００Ｈｚ以上の周波数帯域の成分を含んでいる。これは、一般的な聴者は概ね１００Ｈｚ以上の周波数帯域の音に定位を感じることができるため、１００Ｈｚ以上の周波数帯域の音は然るべき位置に配置されたメインスピーカにより放音されることが望ましいためである。

従って、小型化されたメインスピーカを用いる場合、そのままでは、例えば１００Ｈｚ〜５００Ｈｚの周波数帯域の音がメインスピーカにより十分に放音されない、という問題が生じる。そこで、メインスピーカ用の音データをＳＷ用の音データにミキシングし、ローパスフィルタにより低周波数成分を取り出してＳＷに出力することで、１００Ｈｚ〜５００Ｈｚの周波数帯域の音の欠落を回避することが行われる。バスマネジメントは、そのために必要なミキシング処理および周波数帯域の分離処理である。

図７に戻り、サウンドシステム９の説明を続ける。ミキシング処理部１２２５は生成したミキシング音データをローパスフィルタ１２２６に引き渡す。ローパスフィルタ１２２６は、カットオフ周波数が例えば５００Ｈｚのローパスフィルタであり、カットオフ周波数以下上の周波数帯域の成分を減衰させた音データを生成する。なお、ローパスフィルタ１２２６の次数はハイパスフィルタ１２２３Ｌおよびハイパスフィルタ１２２３Ｒの次数と同じであり、これらのフィルタの処理に伴う遅延時間は同一である。そのため、これらのフィルタ処理によりチャンネル間のタイミングのずれは生じない。

上記のように、ＤＳＰ群１２２により処理の行われたＬｃｈおよびＲｃｈの音データは、ハイパスフィルタ１２２３Ｌおよびハイパスフィルタ１２２３Ｒからディレイ１２２７Ｌおよびディレイ１２２７Ｒに引き渡される。ディレイ１２２７Ｌおよびディレイ１２２７Ｒは、音データ処理装置９２からＬｓｐ１３およびＲｓｐ１４への音データの伝送経路（有線データ通信経路）と音データ処理装置９２からＳＷ１５への音データの伝送経路（無線データ通信経路）との伝送時間の差だけ、音データ処理装置９２からＬｓｐ１３およびＲｓｐ１４に対する音データの出力タイミングを遅らせる。なお、ディレイ１２２７のディレイタイムは通常、変化することはない。

ディレイ１２２７Ｌおよびディレイ１２２７Ｒは、上記のように出力タイミングを遅らせて、音データをＤＡコンバータ１２３ＬおよびＤＡコンバータ１２３Ｒに引き渡す。ＤＡコンバータ１２３は引き渡された音データ（デジタルデータ）をアナログの音データに変換し、アンプ１２４Ｌおよびアンプ１２４Ｒに出力する。

アンプ１２４Ｌおよびアンプ１２４Ｒは、ＤＡコンバータ１２３から入力された音データをスピーカ駆動レベルまで増幅した後、音データ処理装置９２にケーブルで接続されているＬｓｐ１３およびＲｓｐ１４に出力する。Ｌｓｐ１３およびＲｓｐ１４は音データ処理装置９２から入力された音データに応じて、ＬｃｈおよびＲｃｈの音を音空間に対し放音する。なお、Ｌｓｐ１３およびＲｓｐ１４は小型のスピーカであり、５００Ｈｚ以下の音の放音能力が乏しい。

一方、ＤＳＰ群１２２により処理の行われたミキシング音データは、ローパスフィルタ１２２６からトランスミッタ１２５に引き渡される。トランスミッタ１２５は引き渡されたミキシング音データを電波によりＳＷ１５に対し送信する。

ＳＷ１５は、Ｌｓｐ１３およびＲｓｐ１４と比べ大型で、５００Ｈｚ以下の周波数帯域を含む低周波数帯域の音の放音能力が優れている。ＳＷ１５はレシーバ１５１を備え、音データ処理装置９２のトランスミッタ１２５から無線で送信されてくるミキシング音データを受信する。

レシーバ１５１は受信したミキシング音データをＤＡコンバータ１５２に引き渡す。ＤＡコンバータ１２３は引き渡されたミキシング音データ（デジタルデータ）をアナログの音データに変換し、アンプ１５３に出力する。アンプ１５３は、ＤＡコンバータ１５２から入力された音データをスピーカ駆動レベルまで増幅する。アンプ１５３はアンプ１５３により増幅した音データに応じて、ＬｃｈおよびＲｃｈの音の低周波数帯域の成分がミキシングされたＬＦＥの音を音空間に対し放音する。

Ｌｓｐ１３、Ｒｓｐ１４およびＳＷ１５から放音された音は、ディレイ１２２７Ｌおよびディレイ１２２７Ｒによるタイミング調整のための遅延処理によって、聴者Ａに本来のタイミングの関係で到達する。その結果、聴者Ａはメインスピーカから放音される音とサブウーファから放音される音の間の放音タイミングのずれを感じることなく、プレーヤ９１により再生される音響コンテンツを快適に楽しむことができる。

ただし、サウンドシステム９による場合、プレーヤ９１から音データが入力されてから音空間内に音が放音されるまでのタイムラグが長い。ミキシング処理部１２２５に入力される音データのタイミングを調整するためのディレイ１２２４のディレイタイムと、メインスピーカおよびサブウーファへの音データの伝送時間によるタイミングのずれを解消するためのディレイ１２２７Ｌおよびディレイ１２２７Ｒによるディレイタイムが伴うためである。従って、音響コンテンツのみを再生する場合はさほどの問題を伴わないが、例えば映像を伴う音響コンテンツ（ＡＶコンテンツ）の再生にサウンドシステム９を用いた場合、以下のような不都合が生じる。

まず、映像と音の間にタイミングのずれが生じる、という問題である。多くのプレーヤは音の発音タイミングに映像の表示タイミングを合わせるために映像信号の出力を遅延させる機能を備えていない。その場合、聴者Ａは映像に対する音の遅れを感じてしまい、ＡＶコンテンツを快適に楽しむことができない、といった状況が生じる場合がある。

また、一部のプレーヤはリップシンクと呼ばれる機能を持ち、映像信号と音信号のいずれかの出力タイミングを遅延させることにより、同じＡＶコンテンツに含まれる映像の表示タイミングと音の発音タイミングのタイムラグを低減させることができる。しかしながら、その場合であっても、例えば音を用いたゲームや対戦型ゲームのように、インタラクティブでリアルタイム性が重視されるゲームのＡＶコンテンツを表示および放音する場合、ユーザの操作のタイミングとその操作に対する応答としての表示や発音のタイミングとの間に、ユーザに認識される程のタイムラグが生じると、やはりユーザはそのＡＶコンテンツを快適に楽しむことができない。そのため、音データ処理装置における遅延を出来るだけ小さくする必要がある。

［第１実施形態］
続いて、本発明の第１実施形態にかかるＡＶシステム１を説明する。ＡＶシステム１は、サウンドシステム９と同様に異なるチャンネルの音の間にタイミングのずれを伴わないにもかかわらず、音響コンテンツの再生に伴うシステム遅延が短くなるようにその構成に改善が加えられている。

図１は、ＡＶシステム１の構成を示した図である。なお図１において、サウンドシステム９と共通の構成部には同じ符号が用いられている。

ＡＶシステム１が備える音データ処理装置１２においては、処理部１２２２Ｌおよび処理部１２２２Ｒが音データ処理装置９２における位置、すなわちデコーダ１２２１からミキシング処理部１２２５へと向かうＬｃｈおよびＲｃｈの音データの伝送経路上にではなく、ミキシング処理部１２２５への音データの分岐点からＬｓｐ１３およびＲｓｐ１４へと向かう音データの伝送経路上に配置されている。

すなわち、図１に示される例では、処理部１２２２Ｌはハイパスフィルタ１２２３Ｌの後ろ側に、また処理部１２２２Ｒはハイパスフィルタ１２２３Ｒの後ろ側に、各々配置されている。

ここで、処理部１２２２Ｌおよび処理部１２２２Ｒは、Ｌｓｐ１３およびＲｓｐ１４から放音される音に関しては効果が高く、ＳＷ１５から放音される音に関しては効果が低い音響効果を付加する処理を行う。そのため、処理部１２２２Ｌおよび処理部１２２２Ｒがミキシング処理部１２２５への分岐点より後ろ側に配置されても、ＡＶシステム１により実現される音場にはあまり影響がない。

また、音データ処理装置１２においてはディレイ１２２４が設けられていない。その理由は以下のとおりである。サウンドシステム９において、仮にディレイ１２２４が設けられなければ、ＬｃｈおよびＲｃｈの音データは処理部１２２２Ｌおよび処理部１２２２Ｒの処理に要する時間だけ、そのような処理を伴わないＬＦＥｃｈの音データよりも遅れてミキシング処理部１２２５に入力される。しかしながら、ミキシング処理部１２２５においては各チャンネルの音データのタイミングが本来のタイミングの関係と一致しなければならない、という条件がある。そこで、ＬＦＥｃｈの音データがＬｃｈおよびＲｃｈの音データと本来のタイミングの関係でミキシング処理部１２２５に入力されるように、ディレイ１２２４がＬＦＥｃｈの音データに対し処理遅延を行う。ディレイ１２２４はそのために設けられていた。

これに対し、ＡＶシステム１においてはミキシング処理部１２２５に入力される前のＬｃｈおよびＲｃｈの音データには処理部１２２２Ｌおよび処理部１２２２Ｒの処理が伴わないため、ミキシング処理部１２２５に入力される際にＬＦＥｃｈの音データと比べ遅延を伴わず、従って、ディレイ１２２４が不要となっている。

上記のような構成を備えるため、ＡＶシステム１がプレーヤ１１による再生処理から実際に音を放音するまでに要する遅延時間は、サウンドシステム９と比べ短い。ディレイ１２２４による遅延が不要となるとともに、トランスミッタ１２５からレシーバ１５１への音データの無線送信に伴う遅延時間の一部が、処理部１２２２Ｌおよび処理部１２２２Ｒの処理に伴う遅延時間と相殺されるためである。

以下に具体例を用いて説明する。例えば、処理部１２２２Ｌおよび処理部１２２２Ｒの処理に伴う遅延時間が３０ミリ秒であり、トランスミッタ１２５からレシーバ１５１への音データの無線による送信に伴う遅延時間が５０ミリ秒であるものとする。

従来技術にかかる音データ処理装置９２（図７）による場合、上記の条件下では、ディレイ１２２４のディレイタイムは処理部１２２２Ｌおよび処理部１２２２Ｒの処理に伴う遅延時間と同じ３０ミリ秒、ディレイ１２２７のディレイタイムは無線送信に伴う遅延時間と同じ５０ミリ秒となる。従って、サウンドシステム９がチャンネル間のタイミングのずれを補正するために要するディレイタイムの合計は８０ミリ秒となる。

一方、本発明の第１実施形態にかかる音データ処理装置１２（図１）による場合、上記の条件下では、ディレイ１２２７のディレイタイムを、無線送信に伴う遅延時間である５０ミリ秒から、処理部１２２２Ｌおよび処理部１２２２Ｒの処理に伴う遅延時間である３０ミリ秒を差し引いた２０ミリ秒とすることとができる。ＡＶシステム１においてはディレイ１２２４が不要であるため、ＡＶシステム１がチャンネル間のタイミングのずれを補正するために要するディレイタイムの合計は２０ミリ秒となる。このように、ＡＶシステム１において要するディレイタイムがサウンドシステム９において要するディレイタイムと比べ短くなるのは、ＳＷ１５に対し出力される音データの無線送信に伴う遅延時間（５０ミリ秒）の一部（３０ミリ秒）が、ＬｓｐおよびＲｓｐに対し出力される音データのために行われる処理部１２２２Ｌおよび処理部１２２２Ｒの処理に伴う遅延時間（３０ミリ秒）と相殺されるためである。

この場合、従来技術にかかる音データ処理装置９２と本発明の第１実施形態にかかる音データ処理装置１２の構成は、上述した点以外は同様であるため、ＡＶシステム１が音の放音に要するシステム全体の遅延時間は、サウンドシステム９が音の放音に要するシステム全体の遅延時間と比べ、６０ミリ秒だけ短くなる。

また、ＡＶシステム１はディスプレイ１６を備えている。ＡＶシステム１が備えるプレーヤ１１は、音声付き映像コンテンツの再生が可能であり、例えばＨＤＭＩケーブル等により映像データをディスプレイ１６に出力する。ディスプレイ１６はプレーヤ１１から入力される映像データに従い、映像の表示を行う。

映像の表示を伴うシステムにおいては、一般的に音声の放音タイミングと映像の表示タイミングとの関係が本来の関係から５０ミリ秒以上ずれると視聴者が違和感を感じるようになる。そのため、音の放音に要する時間が例えば６０ミリ秒短縮されるならば、視聴者に与える効果は甚大である。

仮に映像の表示に要する時間が２０ミリ秒であり、音の放音に要する時間がタイミングのずれ防止のためのディレイタイムを除いて同じく２０ミリ秒であったとする。その場合、音データ処理装置９２の構成によれば映像と音のずれは８０ミリ秒となり、多くの視聴者にとって違和感を感じさせるものとなる。一方、音データ処理装置１２の構成によれば映像と音のずれは２０ミリ秒となるため、多くの視聴者にとって知覚されにくくなり望ましい。

ところで、音データ処理装置１２においては、例えばユーザの操作に応じて、制御部１２９の制御の下で処理部１２２２Ｌおよび処理部１２２２Ｒが様々な異なる処理を行う。処理部１２２２Ｌおよび処理部１２２２Ｒが行う処理の例としては、例えば、シネマモード、ミュージックモード、ナイトモードなどの音響効果を音データに付与する処理などがある。

処理部１２２２Ｌおよび処理部１２２２Ｒが行う処理の内容が変われば、当然ながらその処理に要する遅延時間も変化する。制御部１２９は処理部１２２２Ｌおよび処理部１２２２Ｒに対し処理内容の変更を指示する際、変更後の処理部１２２２Ｌおよび処理部１２２２Ｒの処理に要する遅延時間を無線送信に要する遅延時間から差し引いた時間を新たなディレイタイムとしてディレイ１２２７Ｌおよびディレイ１２２７Ｒに指示する。その結果、処理部１２２２Ｌおよび処理部１２２２Ｒの処理内容が変わっても、ＬｓｐおよびＲｓｐから放音される音と、ＳＷ１５から放音される音の間にタイミングのずれが生じることはない。

［第２実施形態］
続いて、本発明の第２実施形態にかかるＡＶシステム２を説明する。ＡＶシステム２は、ＡＶシステム１に対し、リップシンク処理を可能とする構成を加えたものである。

図２に示すように、ＡＶシステム２の音データ処理装置２２は、音データ処理装置２２が音の放音に要する遅延時間を示す遅延時間データをプレーヤ２１に送信するＨＤＭＩトランスミッタ２２１（遅延時間データ送信部）を備えている。

また、ＡＶシステム２のプレーヤ２１は、音データ処理装置２２から送信されてくる遅延時間データを受信する遅延時間データ受信部２１１と、リップシンク処理部２１２を備えている。

リップシンク処理部２１２は、遅延時間データ受信部２１１が受信した遅延時間データにより示される遅延時間に応じたディレイタイムだけディスプレイ１６に対する映像データの送信タイミングを遅延させることで、ディスプレイ１６による映像の表示タイミングと、Ｌｓｐ１３、Ｒｓｐ１４およびＳＷ１５による音の放音タイミングとの関係を、本来のタイミングと一致させる。

音データ処理装置１２と同様に、音データ処理装置２２においても、例えばユーザの操作に応じて、制御部１２９の制御の下で処理部１２２２Ｌおよび処理部１２２２Ｒが異なる処理を行うことで、シネマモード、ミュージックモード、ナイトモードなど、異なる音響効果の付された音データの生成が行われる。

制御部１２９はモードの変更を行う際、変更後のモードに応じた音データ処理装置２２におけるシステム遅延時間を示す遅延時間データを生成し、ＨＤＭＩトランスミッタ２２１に引き渡す。ＨＤＭＩトランスミッタ２２１はそのように制御部１２９から引き渡された遅延時間データをプレーヤ２１に送信する。その結果、音データ処理装置２２における音響効果に関するモードの切り替えが行われても、プレーヤ２１は適切なディレイタイムでリップシンク処理を行うことができる。

ところで、ＡＶシステム２における処理部１２２２Ｌおよび処理部１２２２Ｒの配置をサウンドシステム９における処理部１２２２Ｌおよび処理部１２２２Ｒの配置に置き換え、ディレイ１２２４を設けた場合であっても、リップシンク機能により映像と音のずれは生じない。しかしながら、プレーヤ２１から音響データおよび映像データの出力が行われたタイミングから音の放音および映像の表示までに要する遅延時間は長くなる。従って、例えばインタラクティブなゲームコンテンツなどのリアルタイム性が重視されるコンテンツの視聴においては、図２に示される構成の方が望ましい。

［変形例］
上述した実施形態は本発明の一具体例であって、様々に変形可能である。以下にそれらの変形の例を示す。

上述した実施形態においては、ミキシング音データをＳＷ１５に伝送する伝送経路に無線データ通信経路を用い、ＬｃｈおよびＲｃｈの音データをＬｓｐ１３およびＲｓｐ１４に伝送する伝送経路に有線データ通信経路を用い、前者が後者よりも長い遅延時間を伴う、という構成が採用されている。

これに対し、例えばミキシング音データをＳＷ１５に伝送する伝送経路に有線データ通信経路を用い、ＬｃｈおよびＲｃｈの音データをＬｓｐ１３およびＲｓｐ１４に伝送する伝送経路に無線データ通信経路を用い、後者が前者よりも長い遅延時間を伴う、という構成が採用されてもよい。

図３は、そのような変形例における音データ処理装置の機能構成の一部を示した図である。この変形例においては、ＬｃｈおよびＲｃｈの音データはワイヤレス化されたＬｓｐおよびＲｓｐに対し無線で伝送される。また、ミキシング音データはＳＷに対し有線で伝送される。

また、この変形例においては、ミキシング処理部からＳＷへとミキシング音データが伝送される伝送経路上に処理部１２２２Ｌおよび処理部１２２２Ｒに相当する処理部が配置されている。この処理部は、例えばハイパスフィルタであり、ミキシング音データに含まれる超低周波数帯域（例えば４０Ｈｚ以下、ＳＷでも放音能力が不足する帯域）の成分を減衰させることで、歪みの少ない望ましい音場を実現するために設けられている。

また、この変形例においては、ＬｃｈおよびＲｃｈの音データがデコーダからＬｓｐおよびＲｓｐへ出力される伝送経路のうち、ミキシング処理部への分岐点より後ろ側の部分にディレイ１２２７に相当するディレイが設けられている。

この変形例のように、ミキシング音データのスピーカへの伝送経路の伝送速度がミキシングされていない音データのスピーカへの伝送経路の伝送速度より速い場合であっても、伝送速度の遅い側の伝送経路上（ミキシング処理への分岐点より後ろ側）に比較的長い処理遅延時間を伴う処理部を配置することで、全体としての遅延時間を短縮することができる。

また、上述した実施形態においては、伝送速度が速い伝送経路上にチャンネル間のタイミングのずれを回避するためのディレイを配置する構成が採用されているが、ディレイの配置位置はそれに限られない。具体的には、処理部における処理遅延時間が伝送時間の差を上回る場合には、伝送速度が遅い伝送経路上にチャンネル間のタイミングのずれを回避するためのディレイを配置する構成が採用されることになる。図４はそのような変形例の一例における音データ処理装置の機能構成の一部を示した図である。

また、上述した実施形態においては、ディレイ１２２７がハイパスフィルタ１２２３の後ろ側に配置されているが、ディレイ１２２７の配置位置は、デコーダ１２２１からＬｓｐ１３およびＲｓｐ１４へと向かう伝送経路のうちミキシング処理部１２２５への分岐点より後ろ側であれば、いずれの位置であってもよい。図５はそのような変形例の一例における音データ処理装置の機能構成の一部を示した図である。すなわち、この例ではディレイがミキシング処理部への分岐点より後ろ側かつハイパスフィルタの前側に配置されている。

また、上述した実施形態およびその変形例においては、ミキシング処理部１２２５に入力されミキシングされる音データは、プレーヤ１１から音データ処理装置１２に入力され、デコーダ１２２１によりデコードされた音データそのものであるが、ミキシング処理部１２２５に入力される音データは、音データ処理装置１２に入力された音データを用いて生成された新たな音データであってもよい。図６はそのような変形例の一例における音データ処理装置の機構構成の一部を示した図である。

また、上述した実施形態においては、ミキシング処理部１２２５がバスマネジメントを目的とする音データのミキシングを行う構成が採用されているが、ミキシング処理部１２２５のミキシングの目的はバスマネジメントに限定されない。

バスマネジメント以外を目的とするミキシングとしては、例えば隣り合う２つのチャンネルに応じたスピーカの間の位置に仮想的なスピーカを定位させる目的でそれらの音データを適当なレベル比および遅延でミキシングする場合などがある。そのような場合、ハイパスフィルタ１２２３およびローパスフィルタ１２２６は必ずしも必要ではない。

また、上述した実施形態においては、ミキシング音データの伝送経路とミキシングされていない音データの伝送経路との間の遅延時間の差が、無線データ通信経路を含むか否かによりもたらされる。本発明はその点に関し限定されず、例えば両者がいずれも無線データ通信経路を含むが、その方式が異なるために伝送速度に差があり、その結果、遅延時間に差を生じる場合などにも適用可能である。

さらに、伝送経路の方式等は同一であっても、一方の伝送経路上と他方の伝送経路上に異なる遅延時間を伴う処理部が配置されていることにより、それらの伝送経路上を伝送される音データに異なる時間の遅延が伴う場合などにも本発明は適用可能である。

なお、上述した実施形態においては、２．１チャンネルの音響コンテンツを２．１チャンネルのスピーカシステムを用いて再生する場合を例に説明したが、本発明は複数のチャンネル数であればいずれのチャンネル数の音響コンテンツをいずれのチャンネル数のスピーカシステムで再生する場合にも適用可能である。

また、上述した実施形態においては、プレーヤから音データ処理装置に対しＨＤＭＩ規格に従った音響データの伝送が行われるものとしたが、他の如何なるＤＩＲ（Digital Audio Interface Receiver）が音データ処理装置のＤＩＲとして採用されてもよい。また、プレーヤがアナログの音データを出力する場合、音データ処理装置がＡＤコンバータを備え、プレーヤから入力される音データをデジタルデータに変換した後、ＤＳＰ群に引き渡す構成が採用されてもよい。

１…ＡＶシステム、２…ＡＶシステム、９…サウンドシステム、１１…プレーヤ、１２…音データ処理装置、１３…Ｌｓｐ、１４…Ｒｓｐ、１５…ＳＷ、１６…ディスプレイ、２１…プレーヤ、２２…音データ処理装置、９１…プレーヤ、９２…音データ処理装置、１２１…ＨＤＭＩレシーバ、１２２…ＤＳＰ群、１２３…ＤＡコンバータ、１２４…アンプ、１２５…トランスミッタ、１２９…制御部、１５１…レシーバ、１５２…ＤＡコンバータ、１５３…アンプ、２１１…遅延時間データ受信部、２１２…リップシンク処理部、２２１…ＨＤＭＩトランスミッタ、１２２１…デコーダ、１２２２…処理部、１２２３…ハイパスフィルタ、１２２４…ディレイ、１２２５…ミキシング処理部、１２２６…ローパスフィルタ、１２２７…ディレイ

Claims

第１の音を示す第１の音データの入力を受ける第１の入力手段と、
第２の音を示す第２の音データの入力を受ける第２の入力手段と、
前記第１の音データもしくは前記第１の音データを用いて生成された音データと、前記第２の音データもしくは前記第２の音データを用いて生成された音データとをミキシングしたミキシング音データを生成するミキシング手段と、
前記第１の音データもしくは前記第１の音データを用いて生成された音データであって、前記ミキシング手段によるミキシングを経ていない音データを第１のスピーカに対し出力する第１の出力手段と、
前記ミキシング手段によりミキシングされた音データを第２のスピーカに対し出力する第２の出力手段と、
前記ミキシング手段に入力される音データの分岐点の後段かつ前記第１の出力手段の前段、または前記ミキシング手段の後段かつ前記第２の出力手段の前段に設けられ、音データに対して音響効果を付加する所定の処理を行う処理手段と、
前記第１の出力手段から出力される音データの前記第１のスピーカへの入力と前記第２の出力手段から出力される音データの前記第２のスピーカへの入力のタイミングの関係が、前記第１の入力手段における前記第１の音データと前記第２の入力手段における前記第２の音データの入力のタイミングの関係と一致するように音データを遅延させる１以上のディレイと
を備えるデータ処理装置であって、
前記１以上のディレイの全ては、前記ミキシング手段に入力される音データの分岐点の後段かつ第１の出力手段の前段、または前記ミキシング手段の後段かつ前記第２の出力手段の前段に設けられている
音データ処理装置。
前記第２の出力手段により出力される音データの伝送速度は前記第１の出力手段により出力される音データの伝送速度よりも遅く、
前記処理手段は前記ミキシング手段に入力される音データの分岐点の後段かつ前記第１の出力手段の前段に設けられている
請求項１に記載の音データ処理装置。
前記第２の出力手段は無線により音データを出力する
請求項２に記載の音データ処理装置。
前記第１の出力手段により出力される音データの伝送速度は前記第２の出力手段により出力される音データの伝送速度よりも遅く、
前記処理手段は前記ミキシング手段の後段かつ前記第２の出力手段の前段に設けられている
請求項２に記載の音データ処理装置。
前記第１の出力手段は無線により音データを出力する
請求項４に記載の音データ処理装置。