JP6201431B2 - 端末装置のプログラム及びオーディオ信号処理システム - Google Patents

端末装置のプログラム及びオーディオ信号処理システム Download PDF

Info

Publication number
JP6201431B2
JP6201431B2 JP2013113741A JP2013113741A JP6201431B2 JP 6201431 B2 JP6201431 B2 JP 6201431B2 JP 2013113741 A JP2013113741 A JP 2013113741A JP 2013113741 A JP2013113741 A JP 2013113741A JP 6201431 B2 JP6201431 B2 JP 6201431B2
Authority
JP
Japan
Prior art keywords
sound source
virtual sound
audio signal
terminal device
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013113741A
Other languages
English (en)
Other versions
JP2014233024A (ja
Inventor
須山　明彦
明彦 須山
良太郎 青木
良太郎 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2013113741A priority Critical patent/JP6201431B2/ja
Priority to EP14803733.6A priority patent/EP3007468B1/en
Priority to US14/894,410 priority patent/US9706328B2/en
Priority to PCT/JP2014/063974 priority patent/WO2014192744A1/ja
Publication of JP2014233024A publication Critical patent/JP2014233024A/ja
Application granted granted Critical
Publication of JP6201431B2 publication Critical patent/JP6201431B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Description

この発明は、仮想音源の位置を指定する技術に関する。
複数のスピーカで合成音像による音場を形成するオーディオ信号処理装置が知られている。例えば、オーディオソースにはＤＶＤ（Digital Versatile Disc）のように５．１チャンネル等のマルチチャンネル音声信号が記録されているものがある。このようなオーディオソースを再生するオーディオ信号処理システムが一般家庭でも普及しつつある。マルチチャンネルのオーディオソースを再生においては、リスニングルーム内の推奨位置に各スピーカが配置され、利用者が予め定められた基準位置で視聴した場合に、サラウンドなどの音響再生効果が得られる。
音響再生効果は、複数のスピーカが推奨位置に配置され、基準位置で利用者が視聴することを前提としているため、利用者が基準位置とは異なる位置で視聴すると、所望の音響効果を得ることができない。特許文献１には、利用者が視聴する位置の位置情報に基づいて、所望の音響効果が得られるようにオーディオ信号を補正する技術が開示されている。
特開２０００−３５４３００号公報
ところで、音像を利用者が望む位置に定位させる音響効果を実現させたい場合がある。しかしながら、利用者が視聴位置において仮想音源の位置を指定する技術は従来提案されていなかった。
本発明は、上述した事情に鑑みてなされたものであり、利用者が視聴位置において仮想音源の位置を簡易に指定することなどを解決課題とする。
上述した課題を解決するため、本発明に係る端末装置のプログラムは、利用者が指示を入力可能な入力部と、端末装置の向いている方向を検出する方向センサと、オーディオ信号処理装置と通信を行う第１通信部と、プロセッサとを備え、仮想音源の位置を利用者が指定可能な任意の空間の境界上に指定することが可能な端末装置のプログラムであって、前記プロセッサを、音を視聴する所定位置において、当該端末装置が仮想音源の方向である第１方向を向いていることを利用者が前記入力部を用いて入力すると、前記方向センサの出力信号に基づいて前記第１方向を示す第１方向情報を取得する取得部と、前記所定位置を示す所定位置情報、前記第１方向情報、及び前記仮想音源が配置される前記空間の境界を示す境界情報に基づいて、前記仮想音源の位置を示す仮想音源位置情報を生成する位置情報生成部と、前記第１通信部を用いて、前記仮想音源位置情報を前記オーディオ信号処理装置に送信させる第１制御部として、機能させる。
この発明によれば、基準位置と異なる所定位置で、音を視聴する場合に、所定位置において仮想音源の方向である第１方向に向けて端末装置を操作するだけで、仮想音源の位置を利用者が指定可能な任意の空間の境界上に指定する仮想音源位置情報をオーディオ信号処理装置に送信することができる。
ここで、所定位置情報及び境界情報の少なくとも一方は、端末装置の記憶部に記憶されていてもよいし、あるいは、オーディオ信号処理装置などの外部装置から取得してもよい。また、「空間」は水平方向に高さ方向を加えた３次元であってもよいし、あるいは、高さ方向を除いた水平方向のみの２次元であってもよい。「利用者が指定可能な任意の空間」はリスリングルームの形状であってもよいし、リスリングルームが５ｍ四方の空間である場合に、利用者がその内部で指定する任意の空間、例えば、３ｍ四方の空間であってもよい。また、基準位置を中心とする任意の半径の球や円であってもよい。さらに、「利用者が指定可能な任意の空間」がリスリングルームの形状である場合、「空間の境界」はリスリングルームの壁であってもよい。
また、上述した端末装置のプログラムにおいて、前記第１方向は所定の目標に対する角度であり、前記取得部を、更に、当該端末装置が前記所定の目標を向いていることを利用者が前記入力部を用いて入力すると、前記方向センサの出力信号に基づいて特定される角度をリセットするように機能させることが好ましい。この発明によれば、方向センサとして、相対的な方向を検出する加速度センサやジャイロセンサを用いる場合に、所定の目標を基準として角度をリセットするので、所定の目標を基準とする角度を得ることができる。
次に、本発明に係るオーディオ信号処理装置は、仮想音源の位置を利用者が指定可能な任意の空間の境界上に指定することが可能であって、利用者が指示を入力可能な入力部と、外部装置と通信を行う第１通信部と、端末装置の向いている方向を検出する方向センサと、音を視聴する所定位置において、当該端末装置が仮想音源の方向である第１方向を向いていることを利用者が前記入力部を用いて入力すると、前記方向センサの出力信号に基づいて前記第１方向を示す第１方向情報を取得する取得部と、前記第１通信部を用いて前記第１方向情報を送信させる第１制御部とを備えた端末装置と共に用いられるオーディオ信号処理装置であって、前記端末装置と通信を行う第２通信部と、前記所定位置を示す所定位置情報、前記第１方向情報、及び前記仮想音源が配置される前記空間の境界を示す境界情報に基づいて、前記仮想音源の位置を示す仮想音源位置情報を生成する第１位置情報生成部と、複数のスピーカの各々の位置を示すスピーカ位置情報、前記所定位置情報及び前記仮想音源位置情報に基づいて、前記所定位置において前記仮想音源から音が出ているように聞こえるように入力オーディオ信号に音響効果を付与した出力オーディオ信号を生成する信号生成部と、 前記端末装置から送信された前記第１方向情報を前記第２通信部が受信すると、当該第１方向情報を前記第１位置情報生成部に供給する第２制御部とを備えることを特徴とする。
この発明によれば、オーディオ信号処理装置は、端末装置から受信した第１方向情報に基づいて仮想音源位置情報を生成し、更に、スピーカ位置情報、所定位置情報及び仮想音源位置情報に基づいて、所定位置において仮想音源から音が出ているように聞こえるように入力オーディオ信号に音響効果を付与した出力オーディオ信号を生成するから、利用者は、例えば、リスニングルーム内の任意の場所で、所望の方向から仮想音源の音を聞くことが可能となる。
また、上述したオーディオ信号処理装置において、前記第１方向は所定の目標に対する角度であり、前記取得部を、更に、当該端末装置が前記所定の目標を向いていることを利用者が前記入力部を用いて入力すると、前記方向センサの出力信号に基づいて特定される角度をリセットするように機能させることが好ましい。
次に、本発明に係るオーディオ信号処理システムは、複数のスピーカの各々に出力オーディオ信号を供給するオーディオ信号処理装置と、仮想音源の位置を利用者が指定可能な任意の空間の境界上に指定することが可能な端末装置とを有し、前記端末装置は、利用者が指示を入力可能な入力部と、前記オーディオ信号処理装置と通信を行う第１通信部と、 当該端末装置の向いている方向を検出する方向センサと、音を視聴する所定位置において、当該端末装置が仮想音源の方向である第１方向を向いていることを利用者が前記入力部を用いて入力すると、前記方向センサの出力信号に基づいて前記第１方向を示す第１方向情報を取得する取得部と、前記所定位置を示す所定位置情報、前記第１方向情報、及び前記仮想音源が配置される前記空間の境界を示す境界情報に基づいて、前記仮想音源の位置を示す仮想音源位置情報を生成する第１位置情報生成部と、前記第１通信部を用いて、前記仮想音源位置情報を前記オーディオ信号処理装置に送信させる第１制御部とを備え、前記オーディオ信号処理装置は、前記端末装置と通信を行う第２通信部と、前記複数のスピーカの各々の位置を示すスピーカ位置情報、前記所定位置情報及び前記仮想音源位置情報に基づいて、前記所定位置において前記仮想音源から音が出ているように聞こえるように入力オーディオ信号に音響効果を付与した前記出力オーディオ信号を生成する信号生成部と、前記端末装置から送信された前記仮想音源位置情報を前記第２通信部が受信すると、当該仮想音源位置情報を前記信号生成部に供給する第２制御部とを備えることを特徴とする。
この発明によれば、基準位置と異なる所定位置で、音を視聴する場合に、所定位置において仮想音源の方向である第１方向に向けて端末装置を操作するだけで、第１方向を示す第１方向情報をオーディオ信号処理装置に送信することができる。そして、オーディオ信号処理装置は、第１方向情報に基づいて仮想音源位置情報を生成し、更に、スピーカ位置情報、所定位置情報及び仮想音源位置情報に基づいて、所定位置において仮想音源から音が出ているように聞こえるように入力オーディオ信号に音響効果を付与した出力オーディオ信号を生成するから、利用者は、例えば、リスニングルーム内の任意の場所で、所望の方向から仮想音源の音を聞くことが可能となる。
上述したオーディオ信号処理システムにおいて、前記第１方向は所定の目標に対する角度であり、前記取得部は、更に、当該端末装置が前記所定の目標を向いていることを利用者が前記入力部を用いて入力すると、前記方向センサの出力信号に基づいて特定される角度をリセットすることが好ましい。
実施形態に係るオーディオ信号処理システム１Ａの構成例を示すブロック図である。 リスニングルーム内のスピーカＳＰ１〜ＳＰ５、基準位置Ｐｒｅｆ及び所定位置Ｐの配置を示す平面図である。 端末装置１０のハードウェア構成の一例を示すブロック図である。 ジャイロセンサで測定される角度を説明するための説明図である。 オーディオ信号処理装置２０のハードウェア構成の一例を示すブロック図。 スピーカＳＰ１〜ＳＰ５の距離を測定する際のマイクロフォンＭの配置を示す平面図である。 複数のスピーカＳＰ１〜ＳＰ５と基準位置Ｐｒｅｆとの間の距離の測定処理の内容を示すフローチャートである。 距離の測定結果によって分かるスピーカの位置を示す説明図である。 方向測定処理の処理内容を示すフローチャートである。 方向測定処理において表示部に表示される画像の一例を示す説明図である。 方向測定処理において表示部に表示される画像の一例を示す説明図である。 スピーカＳＰ３の位置を算出の一例を示す説明図である。 仮想音源の位置の指定処理の内容を示すフローチャートである。 仮想音源の位置の指定処理において表示部に表示される画像の一例を示す説明図である。 仮想音源の位置の指定処理において表示部に表示される画像の一例を示す説明図である。 仮想音源位置情報の算出を説明するための説明図である。 オーディオ信号処理システム１Ａの機能構成を示す機能ブロック図である。 オーディオ信号処理システム１Ｂの機能構成を示す機能ブロック図である。 オーディオ信号処理システム１Ｃの機能構成を示す機能ブロック図である。 基準位置から等距離の円上に仮想音源を配置する場合において、仮想音源位置の算出を説明するための説明図である。 ３次元にスピーカＳＰ１〜ＳＰ７及び仮想音源を配置した例を示す斜視図である。 端末装置の画面上で仮想音源を配置する例を示す説明図である。 変形例に係る仮想音源位置情報の算出を説明するための説明図である。
以下、本発明の実施形態について図面を参照しつつ説明する。
＜オーディオ信号処理システムの構成＞
図１に、第１実施形態に係るオーディオ信号処理システムの構成例を示す。オーディオ信号処理システム１Ａは、スマートフォンなどの端末装置１０と、オーディオ信号処理装置２０と、スピーカＳＰ１〜ＳＰ５とを備える。端末装置１０は、例えば、スマートフォンなどの通信機器であり、オーディオ信号処理装置２０と通信可能である。通信の形態は無線又は有線のいずれであってあってもよいが、例えば、無線ＬＡＮ（Local Area Network）を介して通信が可能である。また、端末装置１０は、インターネット上の所定のサイトからアプリケーションプログラムをダウンロードすることができる。そのようなアプリケーションプログラムには、仮想音源の位置を指定するプログラム、複数のスピーカＳＰ１〜ＳＰ５の各方向を測定するために用いるプログラム、あるいは利用者の位置を特定するためのプログラムが含まれ得る。
オーディオ信号処理装置２０は、いわゆるマルチチャネルアンプである。オーディオ信号処理装置２０は、入力オーディオ信号ＩＮ１〜ＩＮ５に音響効果を付与した出力オーディオ信号ＯＵＴ１〜ＯＵＴ５を生成し、ＯＵＴ１〜ＯＵＴ５をスピーカＳＰ１〜ＳＰ５に供給する。スピーカＳＰ１〜ＳＰ５は、オーディオ信号処理装置２０と有線又は無線にて接続されている。
図２に、オーディオ信号処理システム１Ａのリスニングルーム内のスピーカＳＰ１〜ＳＰ５の配置例を示す。この例では、５つのスピーカＳＰ１〜ＳＰ５がリスニングルーム内に配置されているが、スピーカの数は、５つに限らず、４つ以下であってもよいし、６つ以上であってもよい。この場合、入力オーディオ信号の数は、４つ以下であってもよいし、６つ以上であってもよい。例えば、サブウーハのスピーカを追加することによって、いわゆる５.１サラウンドシステムとしてもよい。
このオーディオ信号処理システム１Ａにおいては、リスニングルーム内のスピーカＳＰ１〜ＳＰ５の各位置を示すスピーカ位置情報は既知である。利用者Ａがあらかじめ定められた位置（以下「基準位置Ｐｒｅｆ」と称する。）で、スピーカＳＰ１〜ＳＰ５から放音された音を視聴した場合に所望の音響効果が得られる。この例では、スピーカＳＰ１は基準位置Ｐｒｅｆの正面に配置され、スピーカＳＰ２は基準位置Ｐｒｅｆの右斜め前方に配置され、スピーカＳＰ３は基準位置Ｐｒｅｆの右斜め後方に配置され、スピーカＳＰ４は基準位置Ｐｒｅｆの左斜め後方に配置され、スピーカＳＰ５は基準位置Ｐｒｅｆの左斜め前方に配置される。
また、利用者Ａは基準位置Ｐｒｅｆと異なる所定位置Ｐで視聴するものとする。そして、所定位置Ｐの位置を示す所定位置情報は既知である。スピーカ位置情報及び所定位置情報は、例えば、基準位置Ｐｒｅｆを原点するＸＹ座標で与えられる。
図３に、端末装置１０のハードウェア構成の一例を示す。端末装置１０は、装置全体の制御中枢として機能するＣＰＵ１００、アプリケーションプログラムなどを記憶したりＣＰＵ１００の作業領域として機能するメモリ１１０、利用者が指示を入力する操作部１２０、操作内容などを表示する表示部１３０、外部と通信を行う通信インターフェース１４０、ジャイロセンサ１５１、加速度センサ１５２、及び方位センサ１５３を備える。
ジャイロセンサ１５１は、図４に示すように端末装置１０の姿勢を直交するＸ軸、Ｙ軸、及びＺ軸の回転角であるピッチ角（pitch）、ロール角(roll)、及びヨー角(yaw)を出力する。これらの角度から、端末装置１０の向いている方向を特定することができる。加速度センサ１５２は、端末装置１０に加えられた加速度の成分を直交するＸ軸、Ｙ軸、及びＺ軸について測定する。この場合、加速度センサ１５２が測定する加速度は、三次元ベクトルで表わされ、三次元ベクトルに基づいて端末装置１０の向いている方向を特定することができる。方位センサ１５３は、例えば、地磁気を検出することにより、方位を測定する。この方位により、端末装置１０の向いている方向を特定することができる。但し、ジャイロセンサ１５１及び加速度センサ１５２が出力する信号は、端末装置１０の有する３軸の座標系であって、リスニングリームに固定の座標系では無い。従って、ジャイロセンサ１５１及び加速度センサ１５２で測定される方向は相対的なものとなる。即ち、リスニングルーム内に固定されている何らかの目標物を基準とし、基準に対する角度が相対的な方向として得られる。一方、方位センサ１５３が出力する信号は、地球上の方位であり、絶対的な方向を示す。
ＣＰＵ１００は、アプリケーションプログムを実行することによって、ジャイロセンサ１５１、加速度センサ１５２、及び方位センサ１５３のうち少なくとも一つの出力を用いて、端末装置１０を向けた方向を測定する。この例の端末装置１０は、ジャイロセンサ１５１、加速度センサ１５２、及び方位センサ１５３を備えるが、このうちの少なくとも一つを備えるものであってもよい。ジャイロセンサ１５１及び加速度センサ１５２は、角度を出力する。角度はなんらかの基準に対する値である。基準は、リスニングルーム内の目標物であればどのようなものであってもよいが、この例では、複数のスピーカＳＰ１〜ＳＰ５のうち第１番目に方向を測定するスピーカとする。この点の詳細は、後述する。
一方、方位センサ１５３を用いて、複数のスピーカＳＰ１〜ＳＰ５の方向を測定する場合は、基準の方向の入力は不要である。方位センサ１５３からは、絶対的な方向を示す値が出力されるからである。
図５に示されるオーディオ信号処理装置２０は、装置全体の制御中枢として機能するＣＰＵ２１０、外部と通信を実行する通信インターフェース２２０、プログラムやデータを記憶するとともにＣＰＵ２１０の作業領域として機能するメモリ２３０、マイクロフォンなどの外部装置からの信号を入力してＣＰＵ２１０に供給する外部インターフェース２４０、基準信号Ｓｒ１〜Ｓｒ５を生成する基準信号生成回路２５０、選択回路２６０及びｍ個の処理ユニットＵ１〜Ｕｍを備える。ｍ個の処理ユニットＵ１〜Ｕｍ及びＣＰＵ２１０は、複数のスピーカＳＰ１〜ＳＰ５の各位置を示すスピーカ位置情報、所定位置Ｐを示す所定位置情報及び仮想音源の位置を示す仮想音源位置情報（座標情報）に基づいて、入力オーディオ信号ＩＮ１〜ＩＮ５に音響効果を付与した出力オーディオ信号ＯＵＴ１〜ＯＵＴ５を複数のスピーカＳＰ１〜ＳＰ５の各々について生成する。
ここで、ｊ（ｊは１≦j≦ｍを満たす任意の自然数）番目の処理ユニットＵｊは、仮想音源化部３００、周波数補正部３１０、ゲイン分配部３２０、及び加算器３３１〜３３５を有する。なお、他の処理ユニットＵ１、Ｕ２、…Ｕｊ-1、Ｕｊ+1、…Ｕｍは、処理ユニットＵｊと同様に構成されている。
仮想音源化部３００は、入力オーディオ信号ＩＮ１〜ＩＮ５に基づいて、仮想音源のオーディオ信号を生成する。この例では、ｍ個の処理ユニットＵ１〜Ｕｍを備えるので、ｍ個の仮想音源に対応した出力オーディオ信号ＯＵＴ１〜ＯＵＴ５を生成することができる。仮想音源化部３００は、５個のスイッチＳＷ１〜ＳＷ５とミキサ３０１とを備える。ＣＰＵ２１０は仮想音源化部３００を制御する。より具体的には、ＣＰＵ２１０は、メモリ２３０にｍ個の仮想音源を管理する仮想音源管理テーブルを記憶しておき、仮想音源管理テーブルを参照して仮想音源化部３００を制御する。仮想音源管理テーブルには、各仮想音源について、どの入力オーディオ信号ＩＮ１〜ＩＮ５をミキシングすればよいかを表わすデータ（例えば、ミキシングするチャネルを示すチャネル識別子や、それぞれのチャネルについてミキシングするか否かを表わす論理値など）が格納されている。そして、ＣＰＵ２１０は、仮想音源管理テーブルを参照して入力オーディオ信号ＩＮ１〜ＩＮ５のうちミキシングの対象となる入力オーディオ信号に対応するスイッチを順次にオンにして、ミキシングの対象となる入力オーディオ信号を取り込む。例えば、ミキシングの対象となる入力オーディオ信号がＩＮ１、ＩＮ２及びＩＮ５である場合、まず、ＣＰＵ２１０は、入力オーディオ信号ＩＮ１に対応するスイッチＳＷ１をオンにし、他のスイッチＳＷ２〜ＳＷ５をオフにする。次に、ＣＰＵ２１０は、入力オーディオ信号ＩＮ２に対応するスイッチＳＷ２をオンにし、他のスイッチＳＷ１、ＳＷ３〜ＳＷ５をオフにする。その次に、ＣＰＵ２１０は、入力オーディオ信号ＩＮ５に対応するスイッチＳＷ５をオンにし、他のスイッチＳＷ１〜ＳＷ４をオフにする。
周波数補正部３１０は、仮想音源化部３００の出力信号に周波数補正を施す。具体的には、ＣＰＵ２１０の制御の下、周波数補正部３１０は、仮想音源の位置から基準位置Ｐｒｅｆまでの距離にしたがって、距離が遠いほど、高域の周波数成分を大きく減衰させるように周波数特性を補正する。これは、仮想音源から基準位置Ｐｒｅｆまでの距離が大きいほど、高周波成分の減衰量が大きくなるという音響特性を再現するためである。
メモリ２３０は、減衰量テーブルをあらかじめ記憶している。減衰量テーブルには、仮想音源から基準位置Ｐｒｅｆまでの距離と各周波数成分の減衰量との関係を表わすデータが格納されている。一方、仮想音源管理テーブルには、それぞれの仮想音源の位置を示す仮想音源位置情報が格納されている。仮想音源位置情報は、例えば、基準位置Ｐｒｅｆを原点とする三次元直交座標や二次元直交座標で与えられる。なお、仮想音源位置情報を極座標で表してもよい。この例では、仮想音源位置情報は、二次元直交座標の座標情報で与えられるものとする。
ＣＰＵ２１０は、第１に、メモリ２３０が記憶した仮想音源管理テーブルの内容を読み出し、読み出した仮想音源管理テーブルの内容に基づいて、それぞれの仮想音源から基準位置Ｐｒｅｆまでの距離を算出し、第２に、減衰量テーブルを参照して算出した基準位置Ｐｒｅｆまでの距離に応じた各周波数の減衰量を取得し、第３に、取得した減衰量に応じた周波数特性が得られるように周波数補正部３１０を制御する。
ゲイン分配部３２０は、ＣＰＵ２１０の制御の下、周波数補正部３１０の出力信号を各スピーカＳＰ１〜ＳＰ５に分配して、分配した複数のオーディオ信号Ａj[1]〜Ａj[5]を出力する。各スピーカＳＰ１〜ＳＰ５に対するオーディオ信号のゲインは、スピーカＳＰ１〜ＳＰ５と仮想音源との間の距離が遠いほど小さくなる。これにより、あたかも仮想音源の位置として設定された場所から音が放射されているかような音場を形成することができる。例えば、各スピーカＳＰ１〜ＳＰ５に対するオーディオ信号Ａj[1]〜Ａj[5]のゲインは、スピーカＳＰ１〜ＳＰ５と仮想音源との間の距離の逆数に比例する。あるいは、ゲインが、スピーカＳＰ１〜ＳＰ５と仮想音源との間の距離の二乗あるいは四乗の逆数に比例する構成であってもよい。なお、仮想音源との間の距離がほぼ０であるスピーカＳＰ１〜ＳＰ５が存在する場合は、それ以外のスピーカＳＰ１〜ＳＰ５に対するオーディオ信号Ａj[1]〜Ａj[5]のゲインを０にする。
メモリ２３０は、例えば、スピーカ管理テーブルを記憶している。スピーカ管理テーブルには、各スピーカＳＰ１〜ＳＰ５の識別子と対応づけて位置を示すスピーカ位置情報及び基準位置Ｐｒｅｆとの間の距離を示す情報が格納される。スピーカ位置情報は、例えば、基準位置Ｐｒｅｆを原点とする三次元直交座標、二次元直交座標、あるいは極座標などによって表わされる。
ＣＰＵ２１０は、第１に、メモリ２３０に格納した仮想音源管理テーブルとスピーカ管理テーブルとを参照して、各スピーカＳＰ１〜ＳＰ５と各仮想音源との間の距離を算出し、第２に、算出した距離に基づいて各スピーカＳＰ１〜ＳＰ５に対するオーディオ信号のゲインを算出し、ゲインを指定する制御信号を各処理ユニットＵ１〜Ｕｍに供給する。
処理ユニットＵｊの加算器３３１〜３３５は、ゲイン分配部３２０から出力されるオーディオ信号Ａj[1]〜Ａj[5]と、前段の処理ユニットＵｊ-1から供給されるオーディオ信号Ｏj-1[1]〜Ｏj-1[5]とを加算して、オーディオ信号Ｏj[1]〜Ｏj[5]を出力する。これにより、処理ユニットＵｍから出力されるオーディオ信号Ｏm[k]（ｋは１から５までの任意の自然数）は、Ｏm[k]＝Ａ1[k]+ Ａ2[k]+…+Ａj[k]+…+Ａm[k]となる。
基準信号生成回路２５０は、ＣＰＵ２１０の制御の下、基準信号Ｓｒ１〜Ｓｒ５を生成して選択回路２６０に出力する。ＣＰＵ２１０は、複数のスピーカＳＰ１〜ＳＰ５の各距離を測定する際に、基準信号Ｓｒ１〜Ｓｒ５を生成するように基準信号生成回路２５０を生成する。また、ＣＰＵ２１０は、複数のスピーカＳＰ１〜ＳＰ５の各距離を測定する場合に基準信号Ｓｒ１〜Ｓｒ５を選択する一方、音響効果を付与する場合にオーディオ信号Ｏm[1]〜Ｏm[5]を選択して得た出力オーディオ信号ＯＵＴ１〜ＯＵＴ５を複数のスピーカＳＰ１〜ＳＰ５の各々に供給するように選択回路２６０を制御する。
＜オーディオ信号処理システムの動作＞
次に、オーディオ信号処理システムの動作を、スピーカの位置の特定と、仮想音源の位置の指定とに分けて説明する。
＜スピーカの位置の特定処理＞
スピーカの位置の特定処理では、第１に、複数のスピーカＳＰ１〜ＳＰ５と基準位置Ｐｒｅｆとの間の各距離を測定し、第２に、複数のスピーカＳＰ１〜ＳＰ５の各方向を測定し、第３に、測定された距離及び方向に基づいて、複数のスピーカＳＰ１〜ＳＰ５の各位置を特定する。
距離の測定においては、図６に示すようにマイクロフォンＭを基準位置Ｐｒｅｆに配置し、マイクロフォンＭをオーディオ信号処理装置２０に接続する。マイクロフォンＭの出力信号は外部インターフェース２４０を介してＣＰＵ２１０に供給される。図７に、オーディオ信号処理装置２０のＣＰＵ２１０が実行する複数のスピーカＳＰ１〜ＳＰ５と基準位置Ｐｒｅｆとの間の距離の測定処理の内容を示す。
まず、ＣＰＵ２１０は、測定が終了していないスピーカを一つ特定する（Ｓ１）。次に、ＣＰＵ２１０は、基準信号Ｓｒ１〜Ｓｒ５を生成するように基準信号生成回路２５０を制御すると共に、基準信号Ｓｒ１〜Ｓｒ５を順次選択して各出力オーディオ信号ＯＵＴ１〜ＯＵＴ５を複数のスピーカＳＰ１〜ＳＰ５の各々に出力するように選択回路２６０を制御する（Ｓ２）。この後、ＣＰＵ２１０はマイクロフォンＭの出力信号に基づいて、測定対象となるスピーカと基準位置Ｐｒｅｆとの間の距離を算出し、スピーカの識別子と対応づけて算出した距離をスピーカ管理テーブルに記録する（Ｓ３）。次に、ＣＰＵ２１０は、全てのスピーカについて測定が終了したか否かを判定する（Ｓ４）。測定が終了していないスピーカがある場合には、ＣＰＵ２１０は処理をステップＳ１に戻し、全てのスピーカについて測定が終了するまで、ステップＳ１からステップＳ４までの処理を繰り返す。このようにして、基準位置Ｐｒｅｆから複数のスピーカＳＰ１〜ＳＰ５までの距離が測定される。
例えば、基準位置ＰｒｅｆからスピーカＳＰ１までの距離がＬであったとする。この場合、図８に示すようにスピーカＳＰ１は、基準位置Ｐｒｅｆから半径Ｌの円上に存在することが分かるが、その位置は不明である。そこで、本実施形態では、端末装置１０を用いて、基準位置Ｐｒｅｆから見たスピーカＳＰ１の方向を測定することによって、スピーカＳＰ１の位置を特定する。
図９に端末装置１０のＣＰＵ１００が実行する方向測定処理の処理内容を示す。この例では、ジャイロセンサ１５１及び加速度センサ１５２の少なくとも一方を用いて複数のスピーカＳＰ１〜ＳＰ５の各方向を特定するものとする。上述したようにジャイロセンサ１５１及び加速度センサ１５２は角度を出力する。この例の角度の基準は、第１番目に方向を測定するスピーカとする。
方向測定処理のアプリケーションが起動されると、ＣＰＵ１００は、利用者に第１番目のスピーカに端末装置１０を向けて設定操作を行うように促す画像を表示部１３０に表示させる（Ｓ２０）。例えば、スピーカＳＰ１の方向を第１番目に設定する場合、ＣＰＵ１００は、図１０に示すようにスピーカＳＰ１に向けた矢印を表示部１３０に表示する。
次に、ＣＰＵ１００は、利用者によって設定操作がなされたか否かを判定する（Ｓ２１）。具体的には、図１０に示す設定ボタンＢ（上述した操作部１２０の一部）を利用者が押下したか否かを判定する。設定操作がなされていない場合は、ＣＰＵ１００は、設定操作がなされるまで判定を繰り返し、設定操作がなされると測定角度をリセットする（Ｓ２２）。即ち、基準位置ＰｒｅｆからスピーカＳＰ１に向かう方向を０度とする。
この後、ＣＰＵ１００は、次のスピーカに端末装置１０を向けて設定操作を行う設定操作を行うように促す画像を表示部１３０に表示させる（Ｓ２３）。例えば、スピーカＳＰ２の方向を第２番目に設定する場合、ＣＰＵ１００は、図１１に示すようにスピーカＳＰ２に向けた矢印を表示部１３０に表示させる。
次に、ＣＰＵ１００は、利用者によって設定操作がなされたか否かを判定する（Ｓ２４）。具体的には、図１１に示す設定ボタンＢを利用者が押下したか否かを判定する。設定操作がなされていない場合は、ＣＰＵ１００は、設定操作がなされるまで判定を繰り返し、設定操作がなされると、測定対象のスピーカの基準に対する角度をメモリ１１０に記憶する（Ｓ２５）。
この後、ＣＰＵ１００は、全てのスピーカについて測定が終了したか否かを判定する（Ｓ２６）。測定が終了していないスピーカがある場合には、ＣＰＵ１００は処理をステップＳ２３に戻し、全てのスピーカについて測定が終了するまで、ステップＳ２３からステップＳ２６までの処理を繰り返す。そして、全てのスピーカについて方向の測定が終了すると、ＣＰＵ１００は、通信インターフェース１４０を用いて測定結果をオーディオ信号処理装置２０に送信する。このようにして、複数のスピーカＳＰ１〜ＳＰ５の各方向が測定される。なお、上述した例では測定結果をまとめてオーディオ信号処理装置２０に送信したが、一つのスピーカの方向が測定される度に、測定結果をオーディオ信号処理装置２０に送信してもよい。但し、第１番目の測定対象であるスピーカＳＰ１の方向は、他のスピーカＳＰ２〜ＳＰ５の角度の基準となり、角度は０度であるので、測定結果の送信を省略してもよい。
このように複数のスピーカＳＰ１〜ＳＰ５の各方向を基準に対する角度として特定する場合に、基準を複数のスピーカＳＰ１〜ＳＰ５の一つとすることで、利用者の負担を軽減することができる。仮に、角度の基準が複数のスピーカＳＰ１〜ＳＰ５のいずれにも該当せず、リスニングルーム内に配置されている何らかの目標であるとすれば、利用者は当該目標に端末装置１０を向けて、所定の操作を行うことにより、角度のリセットを実行し、端末装置１０を複数のスピーカＳＰ１〜ＳＰ５の各々に向けて所定の操作を行うことにより、方向の指定を行う必要がある。即ち、目標に端末装置１０を向けることが必要となるが、目標を複数のスピーカＳＰ１〜ＳＰ５のいずれか一つにすることによって、入力操作を簡略化できる。
次に、オーディオ信号処理装置２０のＣＰＵ２１０は、通信インターフェース２２０を用いて複数のスピーカＳＰ１〜ＳＰ５の各方向を取得すると、複数のスピーカＳＰ１〜ＳＰ５の各方向と各距離に基づいて、複数のスピーカＳＰ１〜ＳＰ５の各位置を算出する。
例えば、図１２に示すようにスピーカＳＰ３の方向が角度θであって、距離がＬ３であるとする。この場合，ＣＰＵ２１０は、以下に示す式に従ってスピーカＳＰ３の座標（ｘ3，ｙ3）をスピーカ位置情報として算出する。
（ｘ3，ｙ3）＝（Ｌ３ｓｉｎθ，Ｌ３ｃｏｓθ）
なお、他のスピーカＳＰ１，ＳＰ２，ＳＰ４，ＳＰ５についても同様に座標（ｘ，ｙ）を計算する。
このようにＣＰＵ２１０は、基準位置Ｐｒｅｆから複数のスピーカＳＰ１〜ＳＰ５までの各距離と、複数のスピーカＳＰ１〜ＳＰ５の各方向とに基づいて、複数のスピーカＳＰ１〜ＳＰ５の各位置を示すスピーカ位置情報を算出する。
＜仮想音源の位置の指定処理＞
次に、仮想音源の位置の指定処理について説明する。本実施形態では、端末装置１０を用いて仮想音源の位置の指定を行う。
図１３に、端末装置１０のＣＰＵ１００が実行する仮想音源の位置の指定処理の内容を示す。まず、ＣＰＵ１００は、表示部１３０に仮想音源の対象となるチャンネルの選択を促す画像を表示させ、利用者がチャネルを選択するとこれを取得する（Ｓ３０）。例えば、ＣＰＵ１００は、図１４に示す画面を表示部１３０に表示させる。この例では、仮想音源数は５個であり、「１」〜「５」の番号が割り当てられている。チャネルはプルダウンメニューによって選択できるようになっている。図１４では仮想音源番号５に対応するチャネルをプルダウンメニューで表示している。チャネルとしては、センタ、右フロント、左フロント、右サラウンド、左サラウンドがある。利用者がプルダウンメニューを選択すると、ＣＰＵ１００は選択されたチャネルを取得する。
次に、ＣＰＵ１００は、所定位置Ｐにおいて目標に端末装置１０を向けて設定操作を行うように促す画像を表示部１３０に表示させる（Ｓ３１）。ここで、目標は、スピーカの位置の特定処理においてスピーカの角度の基準と一致させることが好ましい。具体的には、第１番目に設定を行うスピーカＳＰ１である。
次に、ＣＰＵ１００は、利用者によって設定操作がなされたか否かを判定する（Ｓ３２）。具体的には、図１０に示す設定ボタンＢを利用者が押下したか否かを判定する。設定操作がなされていない場合は、ＣＰＵ１００は、設定操作がなされるまで判定を繰り返し、設定操作がなされると測定角度をリセットする（Ｓ３３）。即ち、所定位置Ｐから所定の目標であるスピーカＳＰ１に向かう方向を０度とする。
この後、ＣＰＵ１００は、端末装置１０を所定位置Ｐから仮想音源を配置したい方向に向けて設定操作を行うように促す画像を表示部１３０に表示させる。例えば、ＣＰＵ１００は、図１５に示す画面を表示部１３０に表示させる（Ｓ３４）。
次に、ＣＰＵ１００は、利用者によって設定操作がなされたか否かを判定する（Ｓ３５）。具体的には、図１５に示す設定ボタンＢを利用者が押下したか否かを判定する。設定操作がなされていない場合は、ＣＰＵ１００は、設定操作がなされるまで判定を繰り返し、設定操作がなされると、仮想音源の所定の目標に対する角度を第１方向情報としてメモリ１１０に記憶する（Ｓ３６）。
次に、ＣＰＵ１００は、仮想音源の位置を算出する（Ｓ３７）。仮想音源の位置の算出には、仮想音源の方向を示す第１方向情報、所定位置Ｐの位置を示す所定位置情報、及び境界情報を用いる。
本実施形態において、仮想音源は利用者が指定可能な任意の空間の境界に沿って配置することが可能である。この例の空間はリスニングルームであり、空間の境界はリスニングルームの壁である。ここでは、空間を二次元で表すものとする。空間の境界（リスニングルームの壁）を二次元で示す境界情報は、予めメモリ１１０に記憶されている。境界情報は、利用者が端末装置１０に入力してもよいし、あるいは、オーディオ信号処理装置２０で管理する境界情報を端末装置１０転送してこれをメモリ１１０に記憶してもよい。なお、境界情報は、各スピーカＳＰ１〜ＳＰ５の大きさを考慮して、リスニングルーム内に配置可能な最大の位置を囲う長方形を表すものであってもよい。
図１６は仮想音源位置Ｖの算出を説明するための説明図である。この例では、所定位置情報は（xp,yp）であり、基準位置Ｐｒｅｆを原点するＸＹ座標で示され、既知である。また、指定情報はリスニングルームの壁の位置を示し、右側の壁は（xv,ya）で表すことができる。但し-ｋ＜ya＜+kであり、ｋ及びxvは既知である。また、所定の目標であるスピーカＳＰ１の位置を示すスピーカ位置情報は（0,yc）であり既知である。さらに、所定位置Ｐから見た所定の目標であるスピーカＳＰ１と仮想音源位置Ｖとのなす角度をθa、所定位置Ｐから見た目標とＸ軸の負方向とのなす角をθb、所定位置Ｐから見た所定の目標とＸ軸の正方向とのなす角をθc、基準位置Ｐｒｅｆから見た仮想音源位置ＶとＸ軸の正方向とのなす角をθvとする。
まず、θb及びθcは以下に示す式（１）及び式（２）で与えられる。
θb＝atan{(yc-yp)／xp}……式（１）
θc＝180-θa-θb……式（２）
次に、yvは以下に示す式（３）で与えられる。
yv＝sinθc+yp
＝yp+sin(180-θa-θb)
＝yp+sin[180-θa-atan{(ya-yp)／xp}]……式（３）
よって、仮想音源位置Ｖを示す仮想音源位置情報は、(xv, yp+sin[180-θa-atan{(ya-yp)／xp}])となる。
説明を図１３に戻す。この後、ＣＰＵ１００は、仮想音源位置情報と所定位置情報を設定結果としてオーディオ信号処理装置２０に送信する（Ｓ３８）。なお、オーディオ信号処理装置２０において所定位置情報を既に記憶している場合には、仮想音源位置情報のみを設定結果としてオーディオ信号処理装置２０に送信すればよい。
オーディオ信号処理装置２０のＣＰＵ２１０は、通信インターフェース２２０を用いて、設定結果を受信すると、スピーカ位置情報、所定位置情報、及び仮想音源位置情報に基づいて、仮想音源位置Ｖから音が聞こえるように処理ユニットＵ１〜Ｕｍを制御する。この結果、端末装置１０を用いて、指定したチャネルの音が、仮想音源位置Ｖから聞こえるように出力オーディオ信号ＯＵＴ１〜ＯＵＴ５が生成される。
このように複数のスピーカＳＰ１〜ＳＰ５の角度の基準と、仮想音源の角度の基準とを一致させることにより、仮想音源の方向の特定を複数のスピーカＳＰ１〜ＳＰ５の各方向の特定と同じ処理で実行することができる。このため、２つの処理を共通化できるので同じプログラムモジュールを用いることが可能となる。また、利用者Ａは共通の目標（この例では、スピーカＳＰ１）で角度をリセットすることになるので、個別の目標を記憶しておく必要がない。
＜オーディオ信号処理システム１Ａの機能構成＞
上述したようにオーディオ信号処理システム１Ａは、端末装置１０とオーディオ信号処理装置２０とを含んで構成され、各種の機能を分担している。図１７にオーディオ信号処理システム１Ａにおいて端末装置１０とオーディオ信号処理装置２０とで分担する機能を示す。
端末装置１０は、利用者Ａが指示を入力可能な入力部Ｆ１１と、オーディオ信号処理装置２０と通信を行う第１通信部Ｆ１５と、端末装置１０の向いている方向を検出する方向センサＦ１２と、取得部Ｆ１３と、第１位置情報生成部Ｆ１４と、第１制御部Ｆ１６とを備える。
ここで、入力部Ｆ１１は、上述した操作部１２０に対応しており、第１通信部Ｆ１５は、上述した通信インターフェース１４０に対応している。また、方向センサＦ１２は、ジャイロセンサ１５１、加速度センサ１５２、及び方位センサ１５３に対応している。
次に、取得部Ｆ１３はＣＰＵ１００に対応しており、音を視聴する所定位置Ｐにおいて、当該端末装置１０が仮想音源の方向である第１方向を向いていることを利用者が入力部Ｆ１１を用いて入力すると（上述したＳ３５）、方向センサＦ１２の出力信号に基づいて第１方向を示す第１方向情報を取得する（上述したＳ３６）。なお、取得部Ｆ１３は、第１方向が所定の目標（例えば、スピーカＳＰ１）に対する角度である場合、端末装置１０が所定の目標を向いていることを利用者が入力部Ｆ１１を用いて入力すると、方向センサＦ１２の出力信号に基づいて特定される角度をリセットすることが好ましい。
次に、第１位置情報生成部Ｆ１４はＣＰＵ１００に対応しており、所定位置Ｐを示す所定位置情報、第１方向情報、及び仮想音源が配置される空間の境界を示す境界情報に基づいて、仮想音源の位置を示す仮想音源位置情報を生成する（上述したＳ３７）。
次に、第１制御部Ｆ１６はＣＰＵ１００に対応しており、第１通信部Ｆ１５を用いて、仮想音源位置情報をオーディオ信号処理装置２０に送信させる（上述したＳ３８）。
一方、オーディオ信号処理装置２０は、端末装置１０と通信を行う第２通信部Ｆ２１と、信号生成部Ｆ２２と、第２制御部Ｆ２３と、記憶部Ｆ２４とを備える。
まず、第２通信部Ｆ２１は通信インターフェース２２０に相当し、記憶部Ｆ２４はメモリ２３０に相当する。
次に、信号生成部Ｆ２２はＣＰＵ２１０及び処理ユニットＵ１〜Ｕｍに相当し、複数のスピーカＳＰ１〜ＳＰ５の各々の位置を示すスピーカ位置情報、所定位置情報及び仮想音源位置情報に基づいて、所定位置Ｐにおいて仮想音源から音が出ているように聞こえるように入力オーディオ信号ＩＮ１〜ＩＮ５に音響効果を付与した出力オーディオ信号ＯＵＴ１〜ＯＵＴ５を生成する。
次に、第２制御部Ｆ２３は、端末装置１０から送信された仮想音源位置情報を第２通信部が受信すると、仮想音源位置情報を信号生成部Ｆ２２に供給する。
また、記憶部Ｆ２４には、スピーカ位置情報、所定位置情報、及び仮想音源位置情報が記憶される。なお、スピーカ位置情報及び所定位置情報は、オーディオ信号処理装置２０で算出してもよいし、あるいは、端末装置１０で算出し、これをオーディオ信号処理装置２０に転送してもよい。
以上説明したように、本実施形態によれば、利用者Ａは、スピーカ位置情報の基準となる基準位置Ｐｒｅｆと異なる所定位置Ｐで、複数のスピーカＳＰ１〜ＳＰ５から放音される音を視聴する場合に、所定位置Ｐにおいて仮想音源の方向である第１方向に向けて端末装置１０を操作するだけで、仮想音源を予め定められた空間の境界上に配置することができる。そして、信号生成部Ｆ２２は、スピーカ位置情報、所定位置情報及び仮想音源位置情報に基づいて、所定位置Ｐにおいて仮想音源から音が出ているように聞こえるように入力オーディオ信号ＩＮ１〜ＩＮ５に音響効果を付与した出力オーディオ信号ＯＵＴ１〜ＯＵＴ５を生成するから、利用者Ａはリスニングルーム内の任意の場所で、所望の方向から仮想音源の音を聞くことが可能となる。
＜変形例＞
本発明は、上述した実施形態に限定されるものではなく、以下に述べる各種の変形が可能である。また、各変形例と上述した実施形態は適宜組み合わせることができる。
（１）上述した実施形態では、端末装置１０で仮想音源位置情報を生成し、これをオーディオ信号処理装置２０に送信したが、本発明はこれに限定されるものではなく、第１方向情報をオーディオ信号処理装置２０に送信し、仮想音源位置情報をオーディオ信号処理装置２０で生成してもよい。
図１８に変形例に係るオーディオ信号処理システム１Ｂの構成例を示す。オーディオ信号処理システム１Ｂは、端末装置１０の第１位置情報生成部Ｆ１４を削除し、オーディオ信号処理装置２０に第１位置情報生成部Ｆ１４を設けた点を除いて、図１７に示すオーディオ信号処理システム１Ａと同様に構成されている。
オーディオ信号処理システム１Ｂの端末装置１０において、第２制御部Ｆ２３は端末装置１０から送信された第１方向情報を第２通信部Ｆ２１が受信すると、第１方向情報を第１位置情報生成部Ｆ１４に供給する。また、所定位置を示す所定位置情報、端末装置１０から受信した第１方向情報、及び仮想音源が配置される前記空間の境界を示す境界情報に基づいて、仮想音源の位置を示す仮想音源位置情報を生成する。
この変形例によれば、端末装置１０は、第１方向情報のみを生成すればよいので、端末装置１０の処理負荷を軽減することができる。
（２）上述した実施形態では、端末装置１０で仮想音源位置情報を生成し、これをオーディオ信号処理装置２０に送信したが、本発明はこれに限定されるものではなく、端末装置１０で基準位置Ｐから見た仮想音源の方向を示す第２方向情報を生成し、これをオーディオ信号処理装置２０に送信し、仮想音源位置情報をオーディオ信号処理装置２０で生成してもよい。
図１９に変形例に係るオーディオ信号処理システム１Ｃの構成例を示す。オーディオ信号処理システム１Ｃは、端末装置１０において第１位置情報生成部Ｆ１４の替わりに方向変換部Ｆ１７を設け、オーディオ信号処理装置２０において第２位置情報生成部Ｆ２５を設けた点を除いて、図１７に示すオーディオ信号処理システム１Ａと同様に構成されている。
オーディオ信号処理システム１Ｃの端末装置１０において、方向変換部Ｆ１７はＣＰＵ１００に相当し、基準位置Ｐｒｅｆを示す基準位置情報、所定位置Ｐを示す所定位置情報、及び仮想音源が配置される空間の境界を示す境界情報に基づいて、所定位置Ｐから見た仮想音源の方向である第１方向を示す第１方向情報を基準位置Ｐｒｅｆから見た仮想音源の方向である第２方向を示す第２方向情報に変換する。
具体的には、図１６を参照して説明したように、仮想音源位置情報は、(xv, yp+sin[180-θa-atan{(ya-yp)／xp}])となる。基準位置Ｐｒｅｆから見た仮想音源の角度θvは以下の式で与えられる。
θv＝atan(yv／xv) ……式（４）
yvは式（３）で表すことができるので、
θv＝atan[{yp+sin(180-θa-atan((ya-yp)／xp))}／xv] ……式（５）
式（５）において、θvは第２方向情報であり、θaは所定位置Ｐから見た仮想音源の方向である第１方向を示す第１方向情報であり、xvは仮想音源が配置される空間の境界を示す境界情報である。
第１制御部Ｆ１６は、第１通信部Ｆ１５を用いて、第２方向情報である角度θvをオーディオ信号処理装置２０に送信させる。
また、オーディオ信号処理システム１Ｂのオーディオ信号処理装置２０において、第２位置情報生成部Ｆ２５はＣＰＵ２１０に相当し、境界情報、及び第２通信部Ｆ２１を用いて受信した第２方向情報に基づいて、仮想音源の位置を示す仮想音源位置情報を生成する。
上述した式（４）より、yv／xv＝tanθvであるから、yv＝xv・tanθvとなる。xvは境界情報として与えられているので、ＣＰＵ２１０は、仮想音源位置情報(xv,yv)を生成することができる。なお、境界情報は、端末装置１０から受信したものであってもよいし、利用者Ａがオーディオ信号処理装置２０に対して入力したものであってもよい。あるいは、境界情報は、各スピーカＳＰ１〜ＳＰ５の大きさを考慮して、リスニングルーム内に配置可能な最大の位置を囲う長方形を表すものであってもよい
信号生成部Ｆ２２は、第２位置情報生成部Ｆ２５で生成した仮想音源位置情報の他、スピーカ位置情報及び所定位置情報を用いて、所定位置Ｐにおいて仮想音源から音が出ているように聞こえるように入力オーディオ信号ＩＮ１〜ＩＮ５に音響効果を付与した出力オーディオ信号ＯＵＴ１〜ＯＵＴ５を生成する。
この変形例によれば、上述した実施形態と同様に、利用者Ａは、所定位置Ｐで視聴する場合に、所定位置Ｐにおいて仮想音源の方向である第１方向に向けて端末装置１０を操作するだけで、仮想音源を予め定められた空間の境界上に配置することができる。また、オーディオ信号処理装置２０に送信されるのは、基準位置Ｐｒｅｆから見た仮想音源の方向である。オーディオ信号処理装置２０において、基準位置Ｐｒｅｆからの距離と方向とに基づいてスピーカ位置情報を生成し、境界情報が後述するように基準位置Ｐｒｅｆからの距離で与えられる場合には、仮想音源位置情報を生成するプログラムモジュールはスピーカ位置情報を生成するプログラムモジュールと共通化することができる。
（３）上述した実施形態では、仮想音源が配置される空間の境界の一例としてリスニングルームの壁を取り上げて説明したが、本発明はこれに限定されるものではなく、基準位置Ｐｒｅｆから等距離にある空間を境界としてもよい。
図２０を参照して、基準位置Ｐｒｅｆから等距離にある円上に仮想音源を配置する場合の仮想音源位置Ｖの算出方法について説明する。円の半径をＲとすると、円は式（６）で表すことができる。
R2=y2+x2……式（６）
また、所定位置Ｐと仮想音源位置情報(xv,yv)とを通る直線は、y=tanθc.・x+bとなる。この直線は座標（xp,yp）を通るので、上記式に代入すると、b=yp-tanθc・xpを得る。よって式（７）が得られる。
y=tanθc.・x+(yp-tanθc・xp) ……式（７）
端末装置１０の第１位置情報生成部Ｆ１４は、例えば、式（６）及び式（７）の連立方程式を解くことによって、仮想音源位置情報(xv,yv)を算出することができる。
なお、上述した変形例（１）で説明したオーディオ信号処理システム１Ｂの端末装置１０において、方向変換部Ｆ１７は、式（８）を用いて第１方向の角度θaを第２方向の角度θvに変換することができる。
θv＝atan(yv／(R2-yv2)1/2) ……式（８）
（４）上述した実施形態では、複数のスピーカＳＰ１〜ＳＰ５の各位置を示すスピーカ位置情報をオーディオ信号処理装置２０で生成したが、本発明はこれに限定されるものではなく、端末装置１０でスピーカ位置情報を生成してもよい。この場合、オーディオ信号処理装置２０から複数のスピーカＳＰ１〜ＳＰ５の各距離を端末装置１０に送信し、端末装置１０において、複数のスピーカＳＰ１〜ＳＰ５の各方向と各距離とに基づいて、スピーカ位置情報を算出してもよい。更に、端末装置１０で生成したスピーカ位置情報をオーディオ信号処理装置２０に送信すればよい。
（５）上述した実施形態では、複数のスピーカＳＰ１〜ＳＰ５の各方向の測定において、スピーカＳＰ１を所定の目標とし、所定の目標に対する角度を方向として出力した。本発明は、これに限定されるものではなく、リスニングルームに配置されているなんらかの目標を基準とし、基準に対する角度を方向として測定してもよい。
例えば、リスニングルーム内にテレビが配置されている場合に、端末装置１０は、テレビを目標とし、目標に対する角度を方向として出力してもよい。
（６）上述した実施形態では、複数のスピーカＳＰ１〜ＳＰ５及び仮想音源が、２次元に配置されているものとしたが、図２１に示すように３次元に複数のスピーカＳＰ１〜ＳＰ７及び仮想音源を配置してもよい。この例では、基準位置Ｐｒｅｆから見て、左前方の斜め上にスピーカＳＰ６が配置され、右前方の斜め上にスピーカＳＰ７が配置されている。このように３次元に複数のスピーカＳＰ１〜ＳＰ７が配置されている場合であっても、複数のスピーカＳＰ１〜ＳＰ７の各方向を、所定の目標であるスピーカＳＰ１を基準として各スピーカＳＰ２〜ＳＰ７の角度を測定すればよい。また、端末装置１０において所定位置Ｐから見た仮想音源の第１方向及び境界情報から仮想音源位置情報を算出し、これをオーディオ信号処理装置２０に送信してもよいし、あるいは、第１方向を基準位置Ｐｒｅｆから見た仮想音源の方向である第２方向に変換し、オーディオ信号処理装置２０に送信してもよい。
（７）上述した実施形態では、端末装置１０を仮想音源の方向に向けて入力部Ｆ１１を操作することによって、仮想音源位置情報を生成したが、本発明はこれに限定されるものではなく、画面をタップすることによって、仮想音源の位置を特定してもよい。
例えば、図２２（Ａ）に示すようにリスニングルーム内の複数のスピーカＳＰ１〜ＳＰ５を画面に表示し、利用者Ａに仮想音源を画面上に配置することを促してもよい。この場合、利用者Ａが画面をタップすると、ＣＰＵ１００は、タップ位置に基づいて仮想音源位置情報を生成してもよい。あるいは、図２２（Ｂ）に示すようにカーソルＣを表示し、利用者Ａが仮想音源を配置したい位置にカーソルＣを移動させ、設定ボタンＢを操作することを促してもよい。
（８）上述した実施形態では、仮想音源は利用者が指定可能な任意の空間の境界に沿って配置することが可能であり、そのような空間の一例としてリスニングルームの形状を一例として説明した。ここで、リスニングルームの形状を規定値として端末装置１０のメモリ１１０に記憶しておき、利用者が端末装置１０を操作することによって、利用者が規定値で表される空間を任意に変更できるようにしてもよい。例えば、端末装置１０を下向きにあおると、空間の相似を保ち縮小し、上向きにあおると、空間の相似を保ち拡大するようにしてもよい。この場合、端末装置１０のＣＰＵ１００は、ジャイロセンサ１５１のピッチ角（図４参照）を検出し、空間を利用者の指示に従って縮小拡大し、その結果を境界情報に反映させてもよい。このような操作系を採用することによって、利用者は、簡易な操作で空間の境界をスケーラブルに相似変化させることが可能となる。
（９）上述した実施形態では、端末装置１０を用いて仮想音源の第１方向を指定する際に、所定位置から目標であるスピーカＳＰ１に端末装置１０を向けて設定操作を行うことにより、角度のリセットを行ったが（図１３に示すＳ３１〜Ｓ３３）、本発明はこれに限定されるものではなく、角度をリセットできるのであれば、どのような方法を採用してもよい。例えば、図２３に示すように、所定位置Ｐにおいて、利用者Ｕが基準位置Ｐｒｅｆから所定の目標を見た方向Ｑ１と平行な方向Ｑ２に端末装置１０を向けて設定操作することによって、角度をリセットしてもよい。
この場合、測定した角度をθdとすると、θc=90-θdとなるので、
yv＝sinθc+yp
＝yp+sin(90-θd)
よって、仮想音源位置Ｖを示す仮想音源位置情報は、(xv, yp+sin(90-θd))となる。
１Ａ，１Ｂ，１Ｃ…オーディオ信号処理システム、１０…端末装置、２０…オーディオ信号処理装置、Ｆ１１…入力部、Ｆ１２…方向センサ、Ｆ１３…取得部、Ｆ１４…第１位置情報生成部、Ｆ１５…第１通信部、Ｆ１６…第１制御部、Ｆ１７…方向変換部、Ｆ２１…第２通信部、Ｆ２２…信号生成部、Ｆ２３…第２制御部、Ｆ２４…記憶部、Ｆ２５…第２位置情報生成部。

Claims (6)

  1. 利用者が指示を入力可能な入力部と、端末装置の向いている方向を検出する方向センサと、オーディオ信号処理装置と通信を行う第１通信部と、プロセッサとを備え、仮想音源の位置を利用者が指定可能な任意の空間の境界上に指定することが可能な端末装置のプログラムであって、
    前記プロセッサを、
    音を視聴する所定位置において、当該端末装置が仮想音源の方向である第１方向を向いていることを利用者が前記入力部を用いて入力すると、前記方向センサの出力信号に基づいて前記第１方向を示す第１方向情報を取得する取得部と、
    前記所定位置を示す所定位置情報、前記第１方向情報、及び前記仮想音源が配置される前記空間の境界を示す境界情報に基づいて、前記仮想音源の位置を示す仮想音源位置情報を生成する位置情報生成部と、
    前記第１通信部を用いて、前記仮想音源位置情報を前記オーディオ信号処理装置に送信させる第１制御部として、
    機能させる端末装置のプログラム。
  2. 前記第１方向は所定の目標に対する角度であり、
    前記取得部を、更に、当該端末装置が前記所定の目標を向いていることを利用者が前記入力部を用いて入力すると、前記方向センサの出力信号に基づいて特定される角度をリセットするように機能させる請求項１に記載の端末装置のプログラム。
  3. 仮想音源の位置を利用者が指定可能な任意の空間の境界上に指定することが可能であって、利用者が指示を入力可能な入力部と、外部装置と通信を行う第１通信部と、端末装置の向いている方向を検出する方向センサと、音を視聴する所定位置において、当該端末装置が仮想音源の方向である第１方向を向いていることを利用者が前記入力部を用いて入力すると、前記方向センサの出力信号に基づいて前記第１方向を示す第１方向情報を取得する取得部と、前記第１通信部を用いて前記第１方向情報を送信させる第１制御部とを備えた端末装置と共に用いられるオーディオ信号処理装置であって、
    前記端末装置と通信を行う第２通信部と、
    前記所定位置を示す所定位置情報、前記第１方向情報、及び前記仮想音源が配置される前記空間の境界を示す境界情報に基づいて、前記仮想音源の位置を示す仮想音源位置情報を生成する第１位置情報生成部と、
    複数のスピーカの各々の位置を示すスピーカ位置情報、前記所定位置情報及び前記仮想音源位置情報に基づいて、前記所定位置において前記仮想音源から音が出ているように聞こえるように入力オーディオ信号に音響効果を付与した出力オーディオ信号を生成する信号生成部と、
    前記端末装置から送信された前記第１方向情報を前記第２通信部が受信すると、当該第１方向情報を前記第１位置情報生成部に供給する第２制御部とを備える、
    ことを特徴とするオーディオ信号処理装置。
  4. 前記第１方向は所定の目標に対する角度であり、
    前記取得部は、更に、当該端末装置が前記所定の目標を向いていることを利用者が前記入力部を用いて入力すると、前記方向センサの出力信号に基づいて特定される角度をリセットして前記第１方向を示す前記第１方向情報を取得することを特徴とする請求項３に記載のオーディオ信号処理装置。
  5. 複数のスピーカの各々に出力オーディオ信号を供給するオーディオ信号処理装置と、仮想音源の位置を利用者が指定可能な任意の空間の境界上に指定することが可能な端末装置とを有し、
    前記端末装置は、
    利用者が指示を入力可能な入力部と、
    前記オーディオ信号処理装置と通信を行う第１通信部と、
    当該端末装置の向いている方向を検出する方向センサと、
    音を視聴する所定位置において、当該端末装置が仮想音源の方向である第１方向を向いていることを利用者が前記入力部を用いて入力すると、前記方向センサの出力信号に基づいて前記第１方向を示す第１方向情報を取得する取得部と、
    前記所定位置を示す所定位置情報、前記第１方向情報、及び前記仮想音源が配置される前記空間の境界を示す境界情報に基づいて、前記仮想音源の位置を示す仮想音源位置情報を生成する第１位置情報生成部と、
    前記第１通信部を用いて、前記仮想音源位置情報を前記オーディオ信号処理装置に送信させる第１制御部とを備え、
    前記オーディオ信号処理装置は、
    前記端末装置と通信を行う第２通信部と、
    前記複数のスピーカの各々の位置を示すスピーカ位置情報、前記所定位置情報及び前記仮想音源位置情報に基づいて、前記所定位置において前記仮想音源から音が出ているように聞こえるように入力オーディオ信号に音響効果を付与した前記出力オーディオ信号を生成する信号生成部と、
    前記端末装置から送信された前記仮想音源位置情報を前記第２通信部が受信すると、当該仮想音源位置情報を前記信号生成部に供給する第２制御部とを備える、
    ことを特徴とするオーディオ信号処理システム。
  6. 前記第１方向は所定の目標に対する角度であり、
    前記取得部は、更に、当該端末装置が前記所定の目標を向いていることを利用者が前記入力部を用いて入力すると、前記方向センサの出力信号に基づいて特定される角度をリセットする、
    ことを特徴とする請求項５に記載のオーディオ信号処理システム。
JP2013113741A 2013-05-30 2013-05-30 端末装置のプログラム及びオーディオ信号処理システム Active JP6201431B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013113741A JP6201431B2 (ja) 2013-05-30 2013-05-30 端末装置のプログラム及びオーディオ信号処理システム
EP14803733.6A EP3007468B1 (en) 2013-05-30 2014-05-27 Program used for terminal apparatus, sound apparatus, sound system, and method used for sound apparatus
US14/894,410 US9706328B2 (en) 2013-05-30 2014-05-27 Program used for terminal apparatus, sound apparatus, sound system, and method used for sound apparatus
PCT/JP2014/063974 WO2014192744A1 (ja) 2013-05-30 2014-05-27 端末装置のためのプログラム、音響装置、音響システム、及び音響装置のための方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013113741A JP6201431B2 (ja) 2013-05-30 2013-05-30 端末装置のプログラム及びオーディオ信号処理システム

Publications (2)

Publication Number Publication Date
JP2014233024A JP2014233024A (ja) 2014-12-11
JP6201431B2 true JP6201431B2 (ja) 2017-09-27

Family

ID=51988773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013113741A Active JP6201431B2 (ja) 2013-05-30 2013-05-30 端末装置のプログラム及びオーディオ信号処理システム

Country Status (4)

Country Link
US (1) US9706328B2 (ja)
EP (1) EP3007468B1 (ja)
JP (1) JP6201431B2 (ja)
WO (1) WO2014192744A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016103209A1 (de) 2016-02-24 2017-08-24 Visteon Global Technologies, Inc. System und Verfahren zur Positionserkennung von Lautsprechern und zur Wiedergabe von Audiosignalen als Raumklang
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
JPWO2020026864A1 (ja) * 2018-07-30 2021-08-12 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272380A (ja) * 1995-03-30 1996-10-18 Taimuuea:Kk 仮想３次元空間音響の再生方法および装置
JP2000354300A (ja) 1999-06-11 2000-12-19 Accuphase Laboratory Inc マルチチャンネルオーディオ再生装置
JP3873654B2 (ja) * 2001-05-11 2007-01-24 ヤマハ株式会社 オーディオ信号生成装置、オーディオ信号生成システム、オーディオシステム、オーディオ信号生成方法、プログラムおよび記録媒体
JP2006074589A (ja) * 2004-09-03 2006-03-16 Matsushita Electric Ind Co Ltd 音響処理装置
US9332371B2 (en) * 2009-06-03 2016-05-03 Koninklijke Philips N.V. Estimation of loudspeaker positions
US20120113224A1 (en) * 2010-11-09 2012-05-10 Andy Nguyen Determining Loudspeaker Layout Using Visual Markers
EP2922313B1 (en) 2012-11-16 2019-10-09 Yamaha Corporation Audio signal processing device and audio signal processing system
US9277321B2 (en) * 2012-12-17 2016-03-01 Nokia Technologies Oy Device discovery and constellation selection

Also Published As

Publication number Publication date
US9706328B2 (en) 2017-07-11
EP3007468B1 (en) 2024-01-10
US20160127849A1 (en) 2016-05-05
EP3007468A1 (en) 2016-04-13
EP3007468A4 (en) 2017-05-31
WO2014192744A1 (ja) 2014-12-04
JP2014233024A (ja) 2014-12-11

Similar Documents

Publication Publication Date Title
JP6455686B2 (ja) 分散型無線スピーカシステム
EP2922313B1 (en) Audio signal processing device and audio signal processing system
US20180376268A1 (en) Apparatus and method for detecting loudspeaker connection or positioning errors during calibration of a multichannel audio system
JP6111611B2 (ja) オーディオアンプ
US9826332B2 (en) Centralized wireless speaker system
JP4780057B2 (ja) 音場形成装置
US10567871B1 (en) Automatically movable speaker to track listener or optimize sound performance
JP6201431B2 (ja) 端末装置のプログラム及びオーディオ信号処理システム
JP6255703B2 (ja) オーディオ信号処理装置及びオーディオ信号処理システム
US20200401364A1 (en) Audio Scene Processing
US11979735B2 (en) Apparatus, method, sound system
US10616684B2 (en) Environmental sensing for a unique portable speaker listening experience
US11599329B2 (en) Capacitive environmental sensing for a unique portable speaker listening experience
JP6152696B2 (ja) 端末装置、そのプログラム及び電子システム
US10448186B2 (en) Distributed audio mixing
JP2014107764A (ja) 位置情報取得装置、およびオーディオシステム
WO2016080507A1 (ja) 端末装置、移動軌跡取得方法、およびオーディオ信号処理システム
WO2016080504A1 (ja) 端末装置、制御対象特定方法、オーディオ信号処理システムおよび端末装置のプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150410

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170814

R151 Written notification of patent or utility model registration

Ref document number: 6201431

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151