WO2014103627A1

WO2014103627A1 - 通信方法、音響装置、および通信装置

Info

Publication number: WO2014103627A1
Application number: PCT/JP2013/082443
Authority: WO
Inventors: 藤田　博之
Original assignee: ヤマハ株式会社
Priority date: 2012-12-28
Filing date: 2013-12-03
Publication date: 2014-07-03
Also published as: EP2941021A4; EP2941021A1; CN104885483A; JP2014131140A; US20150319550A1

Abstract

　音響装置は、マルチチャネルオーディオデータを取得する取得部と、前記マルチチャネルオーディオデータを通信網を介して変換装置へ送信する送信部と、前記変換装置が前記マルチチャネルオーディオデータを仮想音源に変換することにより生成された２チャネルオーディオデータを前記変換装置から受信する受信部と、前記２チャネルオーディオデータにしたがって２つのスピーカを駆動する音声再生部とを有する。

Description

通信方法、音響装置、および通信装置

　この発明は、２つのスピーカを用いてマルチチャネル音声を再生する技術に関する。
　本願は、２０１２年１２月２８日に、日本に出願された特願２０１２－２８７２０９号に基づき優先権を主張し、その内容をここに援用する。

　この種の技術の一例としては、特許文献１に開示の技術が挙げられる。特許文献１に開示の技術では、左フロントチャネルおよび右フロントチャネルの各スピーカが接続されたオーディオアンプに以下の処理を実行させる。この処理により、左フロントチャネルおよび右フロントチャネルの他に左右のリアチャネル等を含むマルチチャネル音声の再生を実現することができる。すなわち、特許文献１に開示のオーディオアンプは、マルチチャネルオーディオ信号を与えられると、リアチャネルのスピーカ位置にそのリアチャネルの仮想音像が定位するようにリアチャネルのオーディオ信号にフィルタ処理を施す。オーディオアンプは、フィルタ処理後のオーディオ信号を左フロントチャネルおよび右フロントチャネルのオーディオ信号に重畳させて出力する。上記フィルタ処理におけるフィルタ係数は、リアチャネルのスピーカ位置から聴取者の耳までの伝達特性（頭部伝達関数）をその聴取者の頭部の形状に基づいてシミュレートした係数である。上記オーディオアンプは、聴取者の頭部形状を検出する頭部形状検出手段と、頭部形状検出手段により検出した頭部形状に応じて上記フィルタ係数を算出し、上記フィルタ処理を実行するフィルタに供給するフィルタ係数供給手段とを有している。

日本国特開２００３－２３０１９９号公報

　聴取者の頭部形状に応じた頭部伝達関数の算出には、処理能力の高いＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）が必要となる。しかし、オーディオアンプに処理能力の高いＣＰＵやＤＳＰを設けると、オーディオアンプの価格が非常に高くなる。

　本発明は上記課題に鑑みて為された。本発明の目的の一例は、２つのスピーカの接続された音響装置に、処理能力の高いＣＰＵやＤＳＰを設けることなく、マルチチャネルオーディオデータを再生させることを可能にする技術を提供することである。

　本発明の実施態様にかかる音響装置は、マルチチャネルオーディオデータを取得する取得部と、前記マルチチャネルオーディオデータを通信網を介して変換装置へ送信する送信部と、前記変換装置が前記マルチチャネルオーディオデータを仮想音源に変換することにより生成された２チャネルオーディオデータを前記変換装置から受信する受信部と、前記２チャネルオーディオデータにしたがって２つのスピーカを駆動する音声再生部とを有する。

　上記の音響装置においては、通信網を介して音響装置に接続された変換装置が、マルチチャネルオーディオデータ（例えば、左右の各サラウンドチャネルや左右の各リアチャネル）の音を仮想音源に変換する（変換装置は、音響装置に対してリアチャネルのオーディオデータを仮想音源に変換するクラウドサービスを提供するクラウドサーバであってもよい）。このため、音響装置が処理能力の高いＣＰＵやＤＳＰを備えていなくても、２つのスピーカを用いてマルチチャネル音声を再生することが可能になる。

　本発明の実施態様にかかる通信方法は、２つのスピーカが接続されるとともに通信網に接続される音響装置と、前記通信網に接続される変換装置とを含む通信システムに用いられる。この通信方法は、左フロントのチャネル、右フロントのチャネルおよび第１チャネルのオーディオデータを含むマルチチャネルオーディオデータを取得し、前記マルチチャネルオーディオデータを前記通信網を介して前記音響装置から前記変換装置へ送信し、前記マルチチャネルオーディオデータの少なくとも第１チャネルのオーディオデータを、頭部伝達関数を用いて仮想音源に変換し、前記変換された少なくとも第１チャネルのオーディオデータを左フロントおよび右フロントのチャネルに重畳して２チャネルオーディデータを生成し、前記２チャネルオーディデータを前記通信網を介して前記変換装置から前記音響装置へ送信し、前記２チャネルオーディデータにしたがって前記２つのスピーカを駆動することを含む。

　本発明の実施態様にかかる通信装置は、マルチチャネルオーディオデータを取得する取得部と、前記マルチチャネルオーディオデータを通信網を介して変換装置へ送信する送信部と、前記変換装置が前記マルチチャネルオーディオデータを仮想音源に変換することにより生成された２チャネルオーディオデータを前記通信網を介して前記変換装置から受信する受信部と、前記２チャネルオーディオデータを音響装置へ出力する出力部とを有する。

この発明の第１実施形態の通信システムの構成例を示す図である。第１実施形態における表示装置、カメラ、２つのスピーカの配置例を示す図である。７．１チャネルマルチサラウンドにおけるスピーカ配置例を示す図である。図１に示す通信システムにおける仮想音源化装置の動作を説明するための図である。本発明の第２実施形態の仮想音源化装置の動作を説明するための図である。本発明の第２実施形態の仮想音源化装置の動作を説明するための図である。第１および第２の実施形態の第２の変形例の通信システムを示す図である。第１および第２の実施形態の第３の変形例の通信システムを示す図である。第１および第２の実施形態の第４の変形例の通信システムを示す図である。第１および第２の実施形態の第５の変形例の通信システムの構成例を示す図である。

　以下、図面を参照しつつ、本発明の実施形態について説明する。
　（第１実施形態）
　図１は、この発明の第１実施形態の通信システム１Ａの構成例を示す図である。
　通信システム１Ａには、ＡＶレシーバ１０と仮想音源化装置３０が含まれている。ＡＶレシーバ１０は、音響装置の具体例であってもよい。仮想音源化装置３０を、以下において単に変換装置３０と称する。図１に示すように、ＡＶレシーバ１０と仮想音源化装置３０は、インターネットなどの電気通信回線である通信網２０に接続されている。ＡＶレシーバ１０と変換装置３０には、例えばＩＰ（Internet Protocol）アドレスやＭＡＣ（Media Access Control）アドレスなど、各機器を一意に識別するための通信アドレスが予め割り当てられている。ＡＶレシーバ１０と変換装置３０は、通信網２０を介して所定の通信プロトコルにしたがったデータ通信を行う。

　例えば、ＡＶレシーバ１０から変換装置３０にデータを送信する場合、ＡＶレシーバ１０は、送信対象データを予め定められたデータサイズのデータブロックに分割し、各データブロックに所定のヘッダを付与する。さらに、ＡＶレシーバ１０は、各データブロックを先頭のデータブロックから順に通信網２０へ送出する。このヘッダは、送信対象データの先頭から何番目のデータブロックであるのかを示す情報を含む。さらに、このヘッダは、送信元を示す識別子としてＡＶレシーバ１０の通信アドレスと、宛先を示す識別子として変換装置３０の通信アドレスとを含む。このようにしてＡＶレシーバ１０から送信された各データブロックは、通信網２０に設けられている中継装置（例えば、ルータやスイッチングハブ）によるルーティングを経てその宛先へと到達する。その宛先である変換装置３０は、受信したデータブロックに付与されているヘッダを参照して各データブロックを連結し上記送信対象データを復元する。

　ＡＶレシーバ１０には、図１に示すように、コンテンツ再生装置４０、表示装置５０、カメラ６０、スピーカ７０Ｌおよび７０Ｒが接続されている。コンテンツ再生装置４０は、例えばＤＶＤ（Digital Versatile Disc）プレイヤやブルーレイディスクプレイヤであってもよい。コンテンツ再生装置４０は、ＡＶレシーバ１０から再生開始指示を与えられたことを契機として、ＤＶＤやブルーレイディスクなどの記録媒体に記録されたコンテンツデータの読み出しを開始し、読み出したコンテンツデータをＡＶレシーバ１０に与える。コンテンツデータには、コンテンツを構成する映像を表す映像データとその映像の表示に同期させて再生する音声を表すオーディオデータが含まれている。表示装置５０は、例えば液晶ディスプレイであってもよい。表示装置５０は、ＡＶレシーバ１０から与えられるビデオ信号に応じた映像を表示する。カメラ６０は、例えばＣＣＤ（Charge Coupled Device）イメージセンサを用いたデジタルカメラであってもよい。カメラ６０は、ＡＶレシーバ１０から与えられる撮像指示に応じて画像を撮影し、撮影した画像を表す画像データをＡＶレシーバ１０に与える。スピーカ７０Ｌおよびスピーカ７０Ｒの各々はＡＶレシーバ１０から与えられるアナログオーディオ信号を音として出力する。

　ＡＶレシーバ１０とＡＶレシーバ１０に接続される各装置（本実施形態では、コンテンツ再生装置４０、表示装置５０、カメラ６０、スピーカ７０Ｌおよび７０Ｒ）は、ＡＶレシーバ１０を用いてコンテンツを視聴するユーザのリビングルームに配置されてもよい。以下の説明では、ＡＶレシーバ１０とＡＶレシーバ１０に接続される各装置（本実施形態では、コンテンツ再生装置４０、表示装置５０、カメラ６０、スピーカ７０Ｌおよび７０Ｒ）の組を「クライアント側装置群」と呼ぶ場合がある。図１では、１組のクライアント側装置群が図示されているが、クライアント側装置群の数は１組に限定されない。通信システム１Ａに複数のクライアント側装置群が含まれていても良い。

　図２は、１組のクライアント側装置に含まれる表示装置５０、カメラ６０、スピーカ７０Ｌおよび７０ＲのリビングルームＬＲにおける配置例を示す図である。図２に示すように、本実施形態では、表示装置５０は視聴位置に着席するユーザＵ（すなわち、ＡＶレシーバ１０により再生されるコンテンツの視聴者）の正面に配置される。スピーカ７０ＬはユーザＵの正面左側に配置される。スピーカ７０ＲはユーザＵの正面右側に配置される。つまり、スピーカ７０Ｌは、視聴位置に着席したユーザＵに対して左前方から到来する音を出力する左フロントチャネルスピーカの役割を果たす。スピーカ７０Ｒは、ユーザＵに対して右前方から到来する音を出力する右フロントチャネルスピーカの役割を果たす。カメラ６０は、撮像面を上記視聴位置に向けた状態で表示装置５０の上に配置される。カメラ６０をこのように配置した理由は、上記視聴位置に着席してコンテンツを視聴するユーザＵの頭部の画像を撮影できるようにするためである。

　ＡＶレシーバ１０は、コンテンツ再生装置４０からコンテンツデータを受け取ってスピーカ７０Ｌおよび７０Ｒと表示装置５０の作動を制御するオーディオアンプ機能を備える。さらに、ＡＶレシーバ１０は、通信網２０を介してデータ通信する通信機能を備える。ＡＶレシーバ１０は、一般的なＡＶレシーバと同様にチューナ機能も有している。本実施形態と直接的な関連を有しないためチューナ機能の説明を省略する。図１に示すように、ＡＶレシーバ１０は、入力処理部１１０と、映像再生部１２０と、音声処理部１３０と、カメラインタフェース部１４０と、送信部１５０と、受信部１６０と、音声再生部１７０と、これら各部の作動を制御する制御部１８０とを有している。入力処理部１１０および受信部１６０は、取得部の具体例であってもよい。受信部１６０は、出力部の具体例であってもよい。

　入力処理部１１０は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）であってもよい。入力処理部１１０は、ＨＤＭＩケーブルなどの信号線を介してコンテンツ再生装置４０に接続されている。入力処理部１１０は、制御部１８０による制御の下、コンテンツ再生装置４０に対して再生開始指示を与えるとともに、コンテンツ再生装置４０から送られてくるコンテンツデータを受け取る。入力処理部１１０は、受け取ったコンテンツデータから映像データとオーディオデータとを分離する。入力処理部１１０は、映像データを映像再生部１２０に与えるとともにオーディオデータを音声処理部１３０に与える。

　映像再生部１２０は、表示装置５０と接続されている。映像再生部１２０は、入力処理部１１０から与えられる映像データに基づいてビデオ信号を生成し、そのビデオ信号を表示装置５０に与える。音声処理部１３０は、入力処理部１１０から与えられるオーディオデータを解析することにより、そのオーディオデータが左右各１チャネルのオーディオデータ（すなわち、２チャネルオーディオデータ）であるか、それともマルチチャネルオーディオデータであるのかを判別する。音声処理部１３０は、入力処理部１１０から与えられたオーディオデータが２チャネルオーディオデータであると判定した場合には、そのオーディオデータを音声再生部１７０に与える。音声処理部１３０は、入力処理部１１０から与えられたオーディオデータがマルチチャネルオーディオデータであると判定した場合には、そのオーディオデータを送信部１５０に与える。

　カメラインタフェース部１４０は、カメラ６０と接続される。カメラインタフェース部１４０は、制御部１８０による制御の下、カメラ６０に対して撮像指示を与えるとともに、カメラ６０から与えられる画像データを送信部１５０に与える。

　送信部１５０と受信部１６０は、例えばＮＩＣ（Network Interface Card）であってもよい。送信部１５０と受信部１６０は、通信網２０に接続されている。送信部１５０は音声処理部１３０から与えられるマルチチャネルオーディオデータやカメラインタフェース部１４０から与えられる画像データを上記所定の通信プロトコルにしたがって変換装置３０に送信する。変換装置３０は、このようにしてＡＶレシーバ１０から送信されたマルチチャネルオーディオデータを受信する。変換装置３０は、受信したマルチチャネルオーディオデータの表すリアチャネルの音を仮想音源に変換して左右のフロントチャネル各々に重畳する処理を施して２チャネルオーディデータに変換し、ＡＶレシーバ１０へ返信する。詳細については後述する。ＡＶレシーバ１０から変換装置３０に送信される画像データは、音を仮想音源に変換する際に使用する頭部伝達関数の算出に利用される。受信部１６０は、変換装置３０から返信されてくる２チャネルオーディオデータを受信し、音声再生部１７０に与える。

　音声再生部１７０は、スピーカ７０Ｌおよびスピーカ７０Ｒと接続されている。音声再生部１７０は、音声処理部１３０から与えられる２チャネルオーディオデータまたは受信部１６０から与えられる２チャネルオーディオデータにＤ／Ａ変換を施して左チャネルおよび右チャネルの各アナログオーディオ信号を生成する。音声再生部１７０は、生成したアナログオーディオ信号をスピーカ７０Ｌおよび７０Ｒの各々に与える。
　クライアント側装置群の構成の説明は以上である。

　次いで、変換装置３０の構成について説明する。
　図１に示すように、変換装置３０は、受信部３１０と、仮想音源生成部３２０と、送信部３３０とを有している。仮想音源生成部３２０は、以下において単に生成部３２０と称する。受信部３１０と送信部３３０は例えばＮＩＣであってもよい。受信部３１０と送信部３３０は通信網２０に接続されている。受信部３１０は、所定の通信プロトコルにしたがって通信網２０を介して送信されてくるデータを受信し、そのデータを生成部３２０に与える。本実施形態では、送信されてくるデータは、ＡＶレシーバ１０から送信された画像データまたはマルチチャネルオーディオデータである。送信部３３０は、生成部３２０から与えられるデータを所定の通信プロトコルにしたがって通信網２０へ送出する。

　生成部３２０は、ＣＰＵやＤＳＰなどの演算部３２１とＲＡＭ（Random Access Memory）などの記憶部３２２とを含んでいる（図６～９では生成部３２０のみを示し演算部３２１と記憶部３２２との図示を略している）。
　生成部３２０が、受信部３１０から画像データを与えられた場合について説明する。この場合、演算部３２１（すなわち、生成部３２０、以下同じ）は、その画像データの表す画像に写っているユーザＵの頭部形状（例えば、顔幅および耳介の大きさ）を示す頭部形状データを生成する。さらに、仮想音演算部３２１は、頭部形状データをその画像データの送信元を示す識別子と対応付けて記憶部３２２に書き込む。
　生成部３２０が、受信部３１０からマルチチャネルオーディオデータを与えられた場合について説明する。この場合、演算部３２１は、マルチチャネルオーディオデータを２チャネルオーディオデータに変換する。より具体的には、演算部３２１は、左フロントおよび右フロントのチャネル以外の左右のチャネル各々の音をその到来方向およびその音の聴取者（本実施形態では、ユーザＵ）の頭部形状に応じた頭部伝達関数を用いて仮想音源に変換する。演算部３２１は、仮想音源に変換されたチャネル各々の音を、左フロントチャネルおよび右フロントチャネルに重畳してする処理を施して２チャネルオーディオデータを生成する。演算部３２１は、その２チャネルオーディオデータを送信部３３０に与える。聴取者の頭部を撮影した画像データからその聴取者の頭部形状を検出する具体的な方法、頭部伝達関数の具体的な算出方法、および、その頭部伝達関数を用いて仮想音源に変換するための具体的な方法については米国特許７０９５８６５号公報に開示の方法を利用しても良い。本願は、米国特許７０９５８６５号公報の内容をここに援用する。
　本実施形態の通信システム１Ａの構成の説明は以上である。

　次いで、具体例として、コンテンツ再生装置４０からＡＶレシーバ１０へ７．１チャネルオーディオデータが与えられる場合におけるＡＶレシーバ１０および変換装置３０の動作を説明する。７．１チャネルオーディオデータは、左フロントチャネルＦＬ、右フロントチャネルＦＲ、センターチャネルＦＣ、左サラウンドサイドチャネルＳＬ、右サラウンドサイドチャネルＳＲ、左サラウンドバックチャネルＢＬ、右サラウンドバックチャネルＢＲ、およびサブウーファーチャネルＬＦＥの各チャネルのオーディオデータを含む。センターチャネルＦＣは、視聴位置に着席したユーザＵに対して正面から到来する音を表す。左サラウンドサイドチャネルＳＬは、ユーザＵに対して左側方から到来する音を表す。右サラウンドサイドチャネルＳＲは、ユーザＵに対して右側方から到来する音を表す。左サラウンドバックチャネルＢＬは、ユーザＵに対して左後方から到来する音を表す。右サラウンドバックチャネルＢＲは、ユーザＵに対して右後方から到来する音を表す。サブウーファーチャネルＬＦＥは、超低音域の音を表す。サブウーファーチャネルＬＦＥを除く他の７つのチャネルの音を全て実スピーカにより再生する場合には、図３に示すように、聴取者を中心とする円周上に各スピーカを配置するべきことがＩＴＵ勧告により推奨されている。これに対して、本実施形態のＡＶレシーバ１０は、左フロントチャネルＦＬのスピーカとして機能するスピーカ７０Ｌおよび右フロントチャネルＦＲのスピーカとして機能するスピーカ７０Ｒの２台の実スピーカのみに接続されている。このため、本実施形態では、センターチャネルＦＣ、左サラウンドサイドチャネルＳＬ、右サラウンドサイドチャネルＳＲ、左サラウンドバックチャネルＢＬ、右サラウンドバックチャネルＢＲおよびサブウーファーチャネルＬＦＥの各チャネルの音を仮想音源に変換する。

　ユーザＵは、ＡＶレシーバ１０を利用してコンテンツを視聴することを目的として、予め定められた視聴位置に着席し（図２参照）、リモコン等を用いてコンテンツの視聴開始をＡＶレシーバ１０に指示する。このようにして視聴開始を指示されると、ＡＶレシーバ１０の制御部１８０は、カメラインタフェース部１４０に撮像指示を出力させるとともに入力処理部１１０に再生開始指示を出力させる。カメラ６０は、その撮像指示に応じて撮像を行って画像データを取得し、その画像データをＡＶレシーバ１０へ出力する。前述したように、カメラ６０は、撮像面を視聴位置に向けた状態で表示装置５０の上に設置されている。このため、上記の画像データの表す画像は、視聴位置に着席しているユーザＵの頭部の画像を含んでいる。カメラ６０からＡＶレシーバ１０へ与えられた画像データは、ＡＶレシーバ１０のカメラインタフェース部１４０および送信部１５０の働きにより、通信網２０を介して変換装置３０へ送信される。変換装置３０の生成部３２０の演算部３２１は、受信部３１０を介して画像データを受信すると、その画像データを解析して頭部形状データを生成する。さらに、演算部３２１は、頭部形状データをその画像データの送信元を示す識別子と対応付け記憶部３２２に書き込む。

　コンテンツ再生装置４０はＡＶレシーバ１０から与えられる再生開始指示に応じて記録媒体からコンテンツデータを読み出し、そのコンテンツデータをＡＶレシーバ１０に与える。ＡＶレシーバ１０の入力処理部１１０は、コンテンツ再生装置４０からコンテンツデータを受け取ると、そのコンテンツデータに含まれるオーディオデータと映像データとを分離する。入力処理部１１０は、オーディオデータを音声処理部１３０に与え、映像データを映像再生部１２０に与える。前述したように、本動作例においてコンテンツ再生装置４０からＡＶレシーバ１０に与えられるコンテンツデータに含まれているオーディオデータは７．１チャネルオーディオデータである。このため、音声処理部１３０は、入力処理部１１０から与えられたオーディオデータを送信部１５０に与える。さらに、送信部１５０はそのオーディオデータを変換装置３０へ送信する。

　通信網２０を介してＡＶレシーバ１０から変換装置３０へ送信されたマルチチャネルオーディオデータは、変換装置３０の受信部３１０によって受信される。当該受信部３１０は、受信したマルチチャネルオーディオデータを生成部３２０に与えられる。図４は、変換装置３０において、受信部３１０から引き渡されるマルチチャネルオーディオデータに対して生成部３２０が施す処理の一例を示す。図４に示すように、生成部３２０は、７．１チャネルオーディオデータ（図４において７．１Ａｄとして示す）を２チャネルオーディオデータ（図４において２Ａｄとして示す）に変換する。より具体的には、生成部３２０は、７．１チャネルオーディオデータのうち、サブウーファーチャネルＬＦＥおよびセンターチャネルＦＣの各オーディオデータを均等に振り分けて左フロントチャネルＦＬおよび右フロントチャネルＦＲの各オーディオデータに重畳する。一方、生成部３２０は、左サラウンドサイドチャネルＳＬ、右サラウンドサイドチャネルＳＲ、左サラウンドバックチャネルＢＬ、および右サラウンドバックチャネルＢＲの各々（すなわち、左フロントおよび右フロント以外の左右のチャネル）を仮想音源に変換する処理を施した後に左フロントチャネルＦＬおよび右フロントチャネルＦＲの各オーディオデータに重畳する。

　より詳細に説明すると、左サラウンドサイドチャネルＳＬ、右サラウンドサイドチャネルＳＲ、左サラウンドバックチャネルＢＬ、および右サラウンドバックチャネルＢＲの各々を仮想音源に変換する処理では、演算部３２１は、まず、上記マルチチャネルオーディオデータの送信元を示す識別子に対応付けて記憶部３２２に格納されている頭部形状データと聴取者に対する音の到来方向を示す角度（すなわち、チャネルに応じた角度）θとからチャネル毎に頭部伝達関数を算出する。例えば、左サラウンドサイドチャネルＳＬについてはθ＝１００°、右サラウンドサイドチャネルＳＲについてはθ＝－１００°、左サラウンドバックチャネルＢＬについてはθ＝１４０°、右サラウンドバックチャネルＢＲについてはθ＝－１４０°として各チャネルの頭部伝達関数を算出してもよい。そして、演算部３２１は、算出された頭部伝達関数を表す頭部伝達関数データに上記識別子およびチャネルを示す情報（例えば、上記角度θを示す情報）を対応付けて記憶部３２２に書き込む。

　次いで、演算部３２１は、左サラウンドサイドチャネルＳＬ、右サラウンドサイドチャネルＳＲ、左サラウンドバックチャネルＢＬ、および右サラウンドバックチャネルＢＲのオーディオデータの各々に対して算出された頭部伝達関数を畳み込むフィルタ処理を施す。演算部３２１は、フィルタ処理を施されたオーディオデータの各々を左フロント成分および右フロント成分に振り分け、各成分の遅延量の調整およびクロストークキャンセル等を施す。次に、演算部３２１は、各種の処理を施されたオーディオデータの各々を左フロントチャネルＦＬおよび右フロントチャネルＦＲの各オーディオデータに重畳して出力する。同じ送信元から後続のマルチチャネルオーディオデータを受信した場合には、演算部３２１はその送信元を示す識別子に対応付けて記憶部３２１に記憶された頭部伝達関数データを用いて各チャネルのオーディオデータを仮想音源に変換してもよい。

　前述したように生成部３２０から出力される２チャネルオーディオデータは送信部３３０によって上記マルチチャネルオーディオデータの送信元（本動作例ではＡＶレシーバ１０）へ返信される。ＡＶレシーバ１０の受信部１６０は変換装置３０から返信されてくる２チャネルオーディオデータを受信すると、その２チャネルオーディオデータを音声再生部１７０に与える。音声再生部１７０はそのオーディオデータにしたがって生成した左フロントチャネルＦＬのオーディオ信号をスピーカ７０Ｌに与える。また、音声再生部１７０はそのオーディオデータにしたがって生成した右フロントチャネルＦＲのオーディオ信号をスピーカ７０Ｒに与える。ＡＶレシーバ１０のユーザＵは、このようにしてスピーカ７０Ｌおよび７０Ｒから出力される音を聴く。その結果、ユーザＵに対して、自身の後方から左サラウンドサイドチャネルＳＬ／右サラウンドサイドチャネルＳＲ／左サラウンドバックチャネルＢＬ／右サラウンドバックチャネルＢＲの各音が到来するかのような聴感が与えられ、さらにスピーカ７０Ｌと７０Ｒの中間の位置からセンターチャネルＦＣおよびサブウーファーチャネルＬＦＥの音が到来するかのような聴感が与えられる。

　以上説明したように、第１実施形態では、マルチチャネルオーディオデータから２チャネルオーディオデータへの変換処理を変換装置３０に実行させる。その結果、ＡＶレシーバ１０に処理能力の高いＣＰＵやＤＳＰを設けておく必要はない。つまり、第１実施形態によれば、処理能力の高いＣＰＵやＤＳＰをＡＶレシーバ１０に設けることなく、左右各１チャネルのスピーカを用いてマルチチャネル音声を再生することが可能になる。また、充分に高い処理能力を有する変換装置３０を用いるようにすれば、複数組のクライアント側装置群に対して上記変換処理サービスを提供する場合であっても、コンテンツのリアルタイム再生に支障が生じないようにすることができる。

　（第２実施形態）
　上記第１実施形態では、マルチチャネルオーディオデータから２チャネルオーディオデータへの変換処理を、通信網２０に接続された変換装置３０に実行させている。その結果、第１実施形態では、ＡＶレシーバ１０に処理能力の高いＣＰＵやＤＳＰを設けることなく、左右各１チャネルのスピーカを用いてマルチチャネル音声を再生できる。第２実施形態は、受信部３１０から与えられる画像データを解析してさらにユーザＵの顔の向きを検出し、仮想音源に変換する音の到来方向をそのユーザＵの顔の向きに応じて補正して頭部伝達関数を算出する点において上記第１実施形態と異なる。以下では、カメラ６０により撮影した画像からユーザＵの顔の向きを検出する方法について説明する。

　第２実施形態の生成部３２０は、受信部３１０より受け取った画像データを解析し、その画像データの表す画像に含まれているユーザＵの顔を認識する。顔の認識技術として、米国特許７０９５８６５号公報に開示の技術を利用すれば良い。図５Ａは、生成部３２０により認識されたユーザＵの顔の模式図である。生成部３２０は、上記顔認識技術により認識した顔における目の位置を特定し、両目の間の中心位置を特定する。より詳細に説明すると、生成部３２０は、まず、両目の間隔Ｘ（図５Ａ参照）を求め、一方の目の位置から他方の目に向かってＸ／２の位置を両目の間の中心位置と特定する。

　また、生成部３２０は、米国特許７０９５８６５号公報に開示の手法により、ユーザＵの顔の幅Ｙ（図５Ａ参照）を求め、顔の一方の端から他方の端に向かってＹ／２だけ離れた位置をユーザＵの顔の中心位置と特定する。生成部３２０は、ユーザＵの両目に間の中心位置とユーザＵの顔の中心位置との差Ｚを求める。生成部３２０は、以下の式（１）にしたがってユーザＵの顔の向きを表す角度θdiffを求める。ユーザＵが正面を向いている状態、すなわち、ユーザＵの両目の間の中心位置と顔の中心位置とが一致している状態であれば、θdiff＝０°となる。式（１）の右辺のｓｉｎ^－１（）は逆正弦関数を意味する。ユーザＵの顔の向きを表す角度θdiffを式（１）により算出することができる理由は、図５Ｂに示す幾何学的関係から明らかである。
　θdiff＝ｓｉｎ^－１（２Ｚ／Ｙ）・・・（１）

　次いで、生成部３２０は、仮想音源の定位位置の方向を表す角度θを上記角度θdiffに応じて補正する。生成部３２０は、補正された角度θとユーザＵの頭部形状とを加味して頭部伝達関数を計算する。具体例として、θdiff＝２０°と算出された場合について説明する。この場合、左サラウンドバックチャネルＢＬの到来方向を示す角度θを１２０°（＝１４０°－２０°）に補正し、右サラウンドバックチャネルＢＲの到来方向を示す角度θを－１６０°（＝－１４０°－２０°）に補正して頭部伝達関数の計算を行う。

　このように、コンテンツの視聴者の頭部形状に加えて視聴者の顔の向きを加味して頭部伝達関数を算出するようにした理由は以下の通りである。視聴者の顔の向きが正面からずれた状態で、視聴者が正面を向いていることを想定した頭部伝達関数を用いてリアチャネルの仮想音源に変換すると、視聴者の顔の向きのずれの分だけ相対的に仮想音源の定位位置がずれてしまう。映画などのコンテンツにおいては、視聴者が正面を向いていることを前提に演出効果を考慮して各チャネルの音の到来方向が定められていることが多い。したがって、視聴者の顔の向きのずれに起因して仮想音源の定位位置が相対的にずれてしまうと、コンテンツ製作者の意図した演出効果が損なわれてしまう場合がある。これに対して、第２実施形態によれば、視聴者の顔の向きを加味して頭部伝達関数の算出が行われ、これにより仮想音源の定位位置の補正が行われるため、視聴者の顔の向きが正面からずれている場合であってもコンテンツ製作者等の意図した演出効果が損なわれることはない。これが、視聴者の頭部の形状に加えて当該視聴者の顔の向きを加味して頭部伝達関数を算出するようにした理由である。

　このように、第２実施形態によれば、視聴者の顔の向きを加味することでリアチャネルの音の仮想音源への変換をよりきめ細やかに行い、左右各１チャネルのスピーカを用いてマルチチャネル音声を再生することが可能になる。
　第２実施形態においてもリアチャネルの音を仮想音源に変換するための処理は変換装置３０によって実行される。このため、第２実施形態においてもＡＶレシーバ１０に処理能力の高いＣＰＵやＤＳＰを設けておく必要はない。
　ＡＶレシーバ１０は、変換装置３０へ所定時間が経過する毎に画像データを送信してもよい。ＡＶレシーバ１０は、カメラ６０により取得された今回の画像データが前回の画像データと相違するか判断し、両画像データが相違すると判断した場合に、変換装置３０へ取得された画像データを送信してもよい（例えば、ＡＶレシーバ１０は、今回の画像データによって表されるユーザの頭部の形状が、前回の画像データによって表されるユーザの頭部の形状と相違するか否か判断する。）。演算部３２１は画像データを受信する毎に頭部伝達関数を算出して記憶部３２２に書き込んでも良い。このように処理を行った場合、コンテンツを視聴中のユーザが顔の向きを変えるなどの動作を行った場合、その動作に追従させて仮想音源の定位位置を更新することが可能になる。すなわち、このような処理を行った場合、ＡＶレシーバ１０による音の再生中にユーザが顔の向きを変えても、その動作に追従した頭部伝達関数を用いることができる。その結果、仮想音源の定位位置をユーザの動作に追従させて変化させることができる。

　（変形例）
　以上本発明の第１および第２の実施形態について説明した。これら実施形態を以下のように変形しても良い。
　（第１の変形例）
　上記第１および第２の実施形態では、ＡＶレシーバ１０に与えられるコンテンツデータは、オーディオデータと映像データとを含んでいる。しかしながらこの構成に限定されない。コンテンツデータは、オーディオデータのみを含んでいても良い。この場合、入力処理部１１０および映像再生部１２０は省略してもよい。

　（第２の変形例）
　第１および第２実施形態では、ＡＶレシーバ１０に対するコンテンツデータの供給元がＡＶレシーバ１０に対してＨＤＭＩケーブルなどの信号線により接続されたコンテンツ再生装置４０である。しかしながらこの構成に限定されない。図６は、第２の変形例にかかる通信システム１Ｂを示す。通信システム１Ｂは、コンテンツデータＣＤの配信を行うコンテンツサーバ８０を少なくとも備える。コンテンツサーバ８０は、通信網２０に接続される。コンテンツサーバ８０が、ＡＶレシーバ１０に対するコンテンツデータＣＤの供給元であっても良い。この場合、図６に示すように、受信部１６０に、通信網２０を介して受信したコンテンツデータＣＤを入力処理部１１０に与える処理を実行させてもよい。すなわち、受信部１６０に、コンテンツデータを取得する役割を担わせてもよい。

　（第３の変形例）
　図７は、第３の変形例にかかる通信システム１Ｃを示す。通信システム１Ｃは、ＡＶアンプ１２、コンテンツ再生装置４０、カメラ６０、および通信アダプタ装置９０を少なくとも備える。図７に示すように、通信アダプタ装置９０は、入力処理部１１０、音声処理部１３０、カメラインタフェース部１４０、送信部１５０、受信部１６０、および制御部１８０を備える。通信アダプタ装置９０は、コンテンツ再生装置４０、カメラ６０および通信網２０に接続する。さらに、通信アダプタ装置９０は、ＡＶアンプ１２に接続する。ＡＶアンプ１２は、通信アダプタ装置９０を介して通信網２０に接続する。このような構成により、映像再生部１２０および音声再生部１７０のみを有するＡＶアンプ１２を用いた場合であっても第１および第２実施形態と同様の効果を得られる。通信アダプタ装置９０は、通信装置の具体例であってもよい。
　（第４の変形例）
　図８は、第４の変形例にかかる通信システム１Ｄを示す。図８に示すように、通信システム１Ｄは、図７に示す通信アダプタ装置９０に換えて、通信アダプタ装置９２を備える。通信アダプタ装置９２は、ＡＶアンプ１２に接続し、通信網２０経由でコンテンツサーバ８０からコンテンツデータＣＤを取得する。通信アダプタ装置９２は、通信装置の具体例であってもよい。

　（第５の変形例）
　図９は、第５の変形例にかかる通信システム１Ｅを示す。通信システム１Ｅは、ＡＶレシーバ１４、変換装置３０、コンテンツサーバ８０および中継装置９４を備える。中継装置９４は、コンテンツサーバ８０との間で所定の通信プロトコルにしたがって行われるデータ通信を仲介する。具体的には、中継装置９４は、ＡＶレシーバ１４とコンテンツサーバ８０との通信を仲介する。図９に示すように、中継装置９４は通信網２０に接続されている。通信網２０は、コンテンツサーバ８０と変換装置３０とに接続されている。この中継装置９４は、第１送信部１５０Ａ、第１受信部１６０Ａ、第２送信部１５０Ｂ、第２受信部１６０Ｂ、および中継制御部２００を含んでいる。第１送信部１５０Ａおよび第１受信部１６０Ａは、通信網２０に接続されている。第２送信部１５０Ｂおよび第２受信部１６０Ｂは、ＡＶレシーバ１４に接続された通信網１２０に接続されている。第１送信部１５０Ａは、中継制御部２００からデータを与えられ、そのデータを通信網２０へ送出する。第２送信部１５０Ｂは、中継制御部２００からデータを与えられ、そのデータを通信網１２０へ送出する。第１受信部１６０Ａは、通信網２０から受信したデータを中継制御部２００に与える。第２受信部１６０Ｂは、通信網１２０から受信したデータを中継制御部２００に与える。

　中継制御部２００は、第２受信部１６０Ｂを介してＡＶレシーバ１４から受信したコンテンツダウンロード要求（コンテンツサーバ８０宛てに送信されたコンテンツダウンロード要求）を受信し、そのコンテンツダウンロード要求を第１送信部１５０Ａに与えてコンテンツサーバ８０に転送する。中継制御部２００は、ＡＶレシーバ１４から画像データを受信し、その画像データを第１送信部１５０Ａに与え変換装置３０に転送する。コンテンツサーバ８０は、このようにして中継装置９４により転送されたコンテンツダウンロード要求を受信する。コンテンツサーバ８０は、そのコンテンツダウンロード要求によりダウンロードを要求されたコンテンツを中継装置９４および通信網１２０を介してＡＶレシーバ１４に送信する。変換装置３０は、中継装置９４により転送された画像データを受信する。変換装置３０は、その画像データを解析して視聴者の頭部形状を表す頭部形状データを生成し、頭部形状データをその画像データの送信元を示す識別子と対応付けて記憶する。

　中継制御部２００は、前述した音声処理部１３０を含んでいる。中継制御部２００は、コンテンツサーバ８０からコンテンツデータを第１受信部１６０Ａを介して受信する。中継制御部２００は、そのコンテンツデータに含まれているオーディオデータを音声処理部１３０に与える。中継制御部２００は、音声処理部１３０にそのオーディオデータが２チャネルオーディオデータであるのか、それともマルチチャネルオーディオデータであるのかを判別させる。２チャネルオーディオデータであると判別された場合には、中継制御部２００は、受信したコンテンツデータを第２送信部１５０Ｂに与えてその宛先（すなわち、コンテンツダウンロード要求の送信元のＡＶレシーバ１４）へ転送する。マルチチャネルオーディオデータであると判別された場合には、中継制御部２００は、マルチチャネルオーディオデータに、送信元を示す識別子としてＡＶレシーバ１４の通信アドレスを付与して変換装置３０に送信する。中継制御部２００は、変換装置３０からＡＶレシーバ１４宛てに送信されてくる２チャネルオーディオデータを第１受信部１６０Ａを介して受信する。中継制御部２００は、上記コンテンツデータに含まれているマルチチャネルオーディオデータをその２チャネルオーディオデータに置き換えて、そのコンテンツデータをＡＶレシーバ１４へ転送する。第５の変形例によっても第１および第２実施形態と同様な効果が得られる。

　（第６の変形例）
　第１および第２実施形態における変換装置３０は、複数のＡＶレシーバ（送信元）１０からマルチチャネルオーディオデータを受信した場合には、その受信順に２チャネルオーディオデータへの変換を行う。しかしながらこの構成に限定されない。変換装置３０は、所謂ＱｏＳ（Quality of Service）を行っても良い。具体的には、マルチチャネルオーディオデータの送信元について予め優先順位を付けておく。
　具体例として、第１の送信元の優先順位が第２の送信元の優先順位がよりも高く設定されている状況において、受信部３３０が第１の送信元に対応付けられた第１のマルチチャネルオーディオデータと第２の送信元に対応付けられた第２のマルチチャネルオーディオデータを取得した場合について説明する。この場合、演算部３２１は、第１の送信元の優先順位と第２の送信元の優先順位とを比較することにより、第１の送信元の優先順位がより高いと判断する。そのため、演算部３２１は、先に、第１のマルチチャネルオーディオデータの仮想音源への変換を開始する。演算部３２１が第１のマルチチャネルオーディオデータを仮想音源に変換している間は、第２の送信元から受信したマルチチャネルオーディオデータを記憶部（キュー）３２２に貯めておく。演算部３２１が第１の送信元より受信したマルチチャネルオーディオデータの仮想音源への変換が完了し、送信部３３０が仮想音源へ変換されたマルチチャネルオーディオデータを送信するまで、演算部３２１は第２の送信元のマルチチャネルオーディオデータの仮想音源への変換を開始しない。
　別の具体例として、第１の送信元の優先順位が第２の送信元の優先順位よりも高く設定されている状況において、演算部３２１が第２の送信元より受信した第２のマルチチャネルオーディオデータを仮想音源に変換中に受信部３２０が第１の送信元より第１のマルチシャネルオーディオデータを受信した場合について説明する。この場合、演算部３２１は、第２のマルチチャネルオーディオデータの仮想音源への変換を中断し、第１のマルチチャネルオーディオデータの仮想音源への変換を開始する。この場合において、演算部３２１は、第１のマルチチャネルオーディオデータの仮想音源への変換が完了した後に、第２のマルチチャネルオーディオデータの仮想音源への変換を再開する。

　変換装置３０は、送信元の優先順位に応じたＱｏＳではなく、受信したマルチチャネルオーディオデータの内容に応じたＱｏＳを実行してもよい。例えば、変換装置３０は、音楽（楽曲の演奏音や歌唱音声など）を表すマルチチャネルオーディオデータの処理を、会話等の音声を表すマルチチャネルオーディオデータの処理よりも優先させる。このような処理を行う理由は、一般に、会話の音声であれば、再生が途切れ途切れになったとしても大きな影響は生じないが、音楽であれば、再生が途切れ途切れになることの影響が大きいからである。
　具体例として、第１の内容（音楽）の優先順位が、第２の内容（音声）よりも高く設定されている状況において、受信部３３０が第１の内容に対応付けられた第１のマルチチャネルオーディオデータと第２の内容に対応付けられた第２のマルチチャネルオーディオデータを取得した場合について説明する。この場合、演算部３２１は、第１の内容の優先順位と第２の内容の優先順位とを比較することにより、第１の内容の優先順位がより高いと判断する。そのため、演算部３２１は、第１のマルチチャネルオーディオデータの仮想音源への変換を優先する。
　図９に示す中継装置９４において、ＱｏＳを実行する場合について説明する。この場合、音声処理部１３０は、複数のオーディオデータを処理する順番をコンテンツデータの宛先の優先順位に応じて制御する。

　本発明は、通信方法、音響装置、および通信装置に適用し得る。

１Ａ，１Ｂ、１Ｃ、１Ｄ、１Ｅ…通信システム
１０…ＡＶレシーバ
１２…ＡＶアンプ
１１０…入力処理部
１２０…映像再生部
１３０…音声処理部
１４０…カメラインタフェース部
１５０…送信部
１６０…受信部
１７０…音声再生部
１８０…制御部
２０…通信網
３０…変換装置
３１０…受信部
３２０…仮想音源生成部
３３０…送信部
８０…コンテンツサーバ
９０，９２…通信アダプタ装置
９４…中継装置
１５０Ａ…第１送信部
１６０Ａ…第１受信部
１５０Ｂ…第２送信部
１６０Ｂ…第２受信部
２００…中継制御部

Claims

　２つのスピーカが接続されるとともに通信網に接続される音響装置と、前記通信網に接続される変換装置とを含む通信システムのための通信方法であって、
　左フロントのチャネル、右フロントのチャネルおよび第１チャネルのオーディオデータを含むマルチチャネルオーディオデータを取得し、
　前記マルチチャネルオーディオデータを前記通信網を介して前記音響装置から前記変換装置へ送信し、
　前記マルチチャネルオーディオデータの少なくとも第１チャネルのオーディオデータを、頭部伝達関数を用いて仮想音源に変換し、
　前記変換された少なくとも第１チャネルのオーディオデータを左フロントおよび右フロントのチャネルに重畳して２チャネルオーディデータを生成し、
　前記２チャネルオーディデータを前記通信網を介して前記変換装置から前記音響装置へ送信し、
　前記２チャネルオーディデータにしたがって前記２つのスピーカを駆動する
　ことを含む通信方法。
　ユーザの頭部を表す画像データを取得し、
　前記画像データを前記音響装置から前記変換装置へ送信し、
　前記画像データを解析して前記ユーザの頭部の形状を検出することをさらに含み、
　前記仮想音源に変換することは、前記第１チャネルのオーディオデータを前記ユーザの頭部の形状に応じた頭部伝達関数を用いて仮想音源に変換することを含む
　請求項１に記載の通信方法。
　前記画像データを解析して前記ユーザの顔の向きを検出し、
　前記頭部伝達関数を前記ユーザの顔の向きを加味して算出する
　ことを含む請求項２に記載の通信方法。
　ユーザの頭部を表す画像データを所定時間毎に前記音響装置から前記変換装置へ送信し、
　前記変換装置における前記画像データの受信毎に前記画像データを解析して前記ユーザの頭部の形状を検出することさらに含み、
　前記仮想音源に変換することは、前記第１チャネルのオーディオデータを前記ユーザの頭部の形状に応じた頭部伝達関数を用いて仮想音源に変換することを含む
　請求項１に記載の通信方法。
　ユーザの頭部を表す第１の画像データを取得後にユーザの頭部を表す第２の画像データを取得し、
　前記第１の画像データを前記音響装置から前記変換装置へ送信し、
　前記第２の画像データが前記第１の画像データと相違するか判断し、
　前記第２の画像データが前記第１の画像データと相違すると判断されたことに応答して、前記第２の画像データを前記音響装置から前記変換装置へ送信し、
　前記第２の画像データを解析してユーザの頭部の形状を検出することさらに含み、
　前記仮想音源に変換することは、前記第１チャネルのオーディオデータを前記ユーザの頭部の形状に応じた頭部伝達関数を用いて仮想音源に変換することを含む
　請求項１に記載の通信方法。
　前記マルチチャネルオーディオデータは、第１の送信元に対応付けられた第１のマルチチャネルオーディオデータであり、
　前記第１の送信元よりも高い優先順位を有する第２の送信元に対応付けられた第２のマルチチャネルオーディオデータを取得し、
　前記第１の送信元と前記第２の送信元とのいずれがより高い優先順位を有するか判断し、
　より高い優先順位を有すると判断された前記第２の送信元に対応付けられた前記第２のマルチチャネルオーディオデータの仮想音源への変換を、前記第１のマルチチャネルオーディオデータよりも優先することをさらに含む
　請求項１に記載の通信方法。
　前記マルチチャネルオーディオデータは、第１の内容を表す第１のマルチチャネルオーディオデータであり、
　前記第１の内容よりも高い優先順位を有する第２の内容を表す第２のマルチチャネルオーディオデータを取得し、
　前記第１の内容と前記第２の内容とのいずれがより高い優先順位を有するか判断し、
　より高い優先順位を有すると判断された前記第２の内容を表す第２のマルチチャネルオーディオデータの仮想音源への変換を、前記第１のマルチチャネルオーディオデータよりも優先することをさらに含む
　請求項１に記載の通信方法。
　マルチチャネルオーディオデータを取得する取得部と、
　前記マルチチャネルオーディオデータを通信網を介して変換装置へ送信する送信部と、
　前記変換装置が前記マルチチャネルオーディオデータを仮想音源に変換することにより生成された２チャネルオーディオデータを前記変換装置から受信する受信部と、
　前記２チャネルオーディオデータにしたがって２つのスピーカを駆動する音声再生部と
　を有する音響装置。
　マルチチャネルオーディオデータを取得する取得部と、
　前記マルチチャネルオーディオデータを通信網を介して変換装置へ送信する送信部と、
　前記変換装置が前記マルチチャネルオーディオデータを仮想音源に変換することにより生成された２チャネルオーディオデータを前記通信網を介して前記変換装置から受信する受信部と、
　前記２チャネルオーディオデータを音響装置へ出力する出力部と
　を有する通信装置。