JPWO2018070487A1 - 空間音響生成装置、空間音響生成システム、空間音響生成方法、および、空間音響生成プログラム - Google Patents

Abstract

複数のスピーカ（１１６）に接続された、記憶部（１０６）と制御部（１０２）とを備えた空間音響生成装置（１００）が提供される。空間音響生成装置において、制御部は、移動する発音体を示す情報に基づき、発音体の移動に応じて時間毎の伝達特性を変化させながら逆システムを適用して、発音体が発する音を示す音源信号から、各スピーカへの複数の入力信号を算出する。逆システムは、境界音場制御において入力信号に基づきスピーカに三次元的な音響波面を形成させるように、複数のスピーカが配置された空間中の伝達特性に応じて入力信号を出力する。

Description

本発明は、空間音響生成装置、空間音響生成システム、空間音響生成方法、および、空間音響生成プログラムに関する。

従来、音響の再生方法としては、サラウンド再生方式が知られている。サラウンド再生方式は、２．０ｃｈのステレオ音響再生よりも多くのチャンネルを有しており、ステレオ音響よりも臨場感の高い音響を再生することを目的としている。しかしながら、従来のサラウンド再生方式は、音像定位精度が低いため、クリエータ等が求めるような高い品質の音響再生を実現することは難しかった。

そこで、より高い臨場感のある音場を生成するため、境界音場制御（Ｂｏｕｎｄａｒｙ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌ：ＢｏＳＣ）の原理に基づいた音場再現方法が提案されている（特許文献１参照）。境界音場制御（ＢｏＳＣ）は、境界から離れた点に音源を設置し、逆システムを用いて生成された信号を音源から出力させる方法を原理としている。それにより、領域を囲む境界上の音圧と音圧勾配を制御することにより、三次元音場内の任意の領域の音圧を制御することができ、没入感のある音響システムを構築することができる。これにより、聴覚刺激としての臨場感や没入感を得ることができるものの、ＢｏＳＣ音響システムそれ自体は、利用者の身体と相互作用するインタラクティブな対話型音響システムではなかった。

ここで、非特許文献１に記載のバーチャル卓球システムでは、フラーレン構造のマイクロホンアレイで予めサウンドボールの転がり音等を収録して、再生音場のスピーカから制御点までの伝達関数を打ち消す逆フィルタで畳み込んだ状態でデータベースに記憶させておき、マイクロソフト社製Ｋｉｎｅｃｔを介して打球動作の身体動作を検出したタイミングで、打球音や転がり音を三次元音場にて再現することが記載されている。

また、非特許文献２では、マイクロソフト社製Ｋｉｎｅｃｔを介して身体動きを検知し、動きのパターンから身体動作に合った音を推定しパラメータを変化させていくシステムについて記載されている。

特開２００８−１１８５５９号公報

小笠原圭祐、他，「身体運動と相互作用する三次元音場再生システムの構築―システムの基本構成―」，日本音響学会講演論文集，２０１３年９月，ｐ．７１５〜７１６ 北洞穂高、他，「身体動作認識に基づくインタラクティブサウンド生成システム」，Ｈｕｍａｎ−Ａｇｅｎｔ Ｉｎｔｅｒａｃｔｉｏｎ Ｓｙｍｐｏｓｉｕｍ ２０１３，ｐ．５１〜５４ 豊田将志（東北大学）、他，「３次元音空間内におけるドップラー効果のリアルタイムレンダリングに関する考察」，日本バーチャルリアリティ学会大会論文集（ＣＤ−ＲＯＭ）９巻２Ｃ３−３、２００４年９月８日

しかしながら、従来の音響再生システムは、フラーレン構造のマイクロホンアレイ等により予め収録された音響波面を再現するものであり、ゲーム空間のように仮想三次元空間上でコンテンツ等が任意に移動しうる場合等において、臨場感のある三次元的な音響波面を生成することができないという問題点を有していた。

本発明は、臨場感のある三次元的な音響波面を伴う音場を生成することができる、空間音響生成装置、空間音響生成システム、空間音響生成方法、および、空間音響生成プログラムを提供するものである。

このような目的を達成するため、本発明の空間音響生成装置は、複数のスピーカに接続された、記憶部と制御部とを備えた空間音響生成装置であって、前記制御部は、移動する発音体を示す情報に基づき、前記発音体の移動に応じて時間毎の伝達特性を変化させながら逆システムを適用して、前記発音体が発する音を示す音源信号から、前記各スピーカへの複数の入力信号を算出し、前記逆システムは、境界音場制御において前記入力信号に基づき前記スピーカに三次元的な音響波面を形成させるように、前記複数のスピーカが配置された空間中の伝達特性に応じて前記入力信号を出力すること、を特徴とする。

また、本発明は、空間音響生成システムに関するものである。本発明の空間音響配置システムは、複数のスピーカと、記憶部と、制御部とを備えた空間音響生成システムであって、前記制御部は、移動する発音体を示す情報に基づき、前記発音体の移動に応じて時間毎の伝達特性を変化させながら逆システムを適用して、前記発音体が発する音を示す音源信号から、前記各スピーカへの複数の入力信号を算出し、前記逆システムは、境界音場制御において前記入力信号に基づき前記スピーカに三次元的な音響波面を形成させるように、前記複数のスピーカが配置された空間中の伝達特性に応じて前記入力信号を出力すること、を特徴とする。

また、本発明は、空間音響生成方法に関するものである。本発明の空間音響配置方法は、複数のスピーカに接続された、記憶部と制御部とを備えたコンピュータにおいて実行される空間音響生成方法であって、前記制御部が、移動する発音体を示す情報に基づき、前記発音体の移動に応じて時間毎の伝達特性を変化させながら逆システムを適用して、前記発音体が発する音を示す音源信号から、前記各スピーカへの複数の入力信号を算出するステップであって、前記逆システムは、境界音場制御において前記入力信号に基づき前記スピーカに三次元的な音響波面を形成させるように、前記複数のスピーカが配置された空間中の伝達特性に応じて前記入力信号を出力する、ステップと、前記入力信号に基づき各スピーカを制御するステップと、を実行することを特徴とする。

また、本発明は、空間音響配置プログラムに関するものである。本発明の空間音響配置プログラムは、複数のスピーカに接続された、記憶部と制御部とを備えたコンピュータに実行させるための空間音響生成プログラムであって、前記制御部に、移動する発音体を示す情報に基づき、前記発音体の移動に応じて時間毎の伝達特性を変化させながら逆システムを適用して、前記発音体が発する音を示す音源信号から、前記各スピーカへの複数の入力信号を算出するステップであって、前記逆システムは、境界音場制御において前記入力信号に基づき前記スピーカに三次元的な音響波面を形成させるように、前記複数のスピーカが配置された空間中の伝達特性に応じて前記入力信号を出力する、ステップと、前記入力信号に基づき各スピーカを制御するステップと、を実行させることを特徴とする。

本発明によれば、臨場感のある三次元的な音響波面を伴う音場を生成することができる、という効果を奏する。

図１は、本発明の実施形態にかかる空間音響生成システムの構成を示す構成図である。 図２は、本実施の形態におけるＢｏＳＣ再生方式のスピーカアレイの一例を示す図である。 図３は、境界音場制御（ＢｏＳＣ）の原理に基づいた、移動する発音体による３Ｄ波面生成システムの構成例を示す図である。 図４は、移動する発音体と領域Ｖの関係を模式的に示す図である。 図５は、本実施の形態の空間音響生成システムにおける基本処理の一例を示すフローチャートである。 図６は、本実施の形態の空間音響生成システムにおける具体化処理の一例を示すフローチャートである。 図７は、図３に関連して、境界音場制御（ＢｏＳＣ）の原理に基づく空間音響生成アルゴリズムを模式的に示した図である。 図８は、三次元音場を移動する発音体と波面観測対象領域Ｖの関係を示す図である。 図９は、空間音響生成装置１００の具体的装置構成における処理内容や記憶内容を示すワークフロー図である。 図１０は、ＭＩＭＯ逆システムを用いてスピーカアレイ１１６の各スピーカへの入力信号を求めることを模式的に示した図である。 図１１は、空間音響生成装置１００の具体的装置構成における処理内容や記憶内容を示すワークフロー図である。 図１２は、空間音響生成システムにおけるスピーカアレイの変形例を示す図である。

以下に、本発明の実施の形態にかかる空間音響生成装置、空間音響生成システム、空間音響生成方法、および、空間音響生成プログラム、並びに、記録媒体について、図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

まず、以下、本発明にかかる本実施の形態の構成について説明し、その後、本実施の形態の処理等について詳細に説明する。ここで、図１は、本発明の実施形態にかかる空間音響生成システムの構成を示す構成図であり、該構成のうち本実施の形態に関係する部分を主に概念的に示している。

図１に示すように、本実施の形態において、空間音響生成システムは、空間音響生成装置１００と、検出部１１２と、表示部１１４と、スピーカアレイ１１６とを備えて構成される。なお、図１に示すように、空間音響生成装置１００は、ネットワーク３００を介して外部機器２００と接続されてもよい。ここで、空間音響生成装置１００は、パーソナルコンピュータや、サーバ用コンピュータ、タブレット型コンピュータなどである。ネットワーク３００は、空間音響生成装置１００と外部機器２００とを相互に接続する機能を有し、例えば、ＬＡＮやインターネット等である。

ここで、図１において、検出部１１２は、利用者の少なくとも一つの身体部位の動作を認識する動作認識手段である。例えば、検出部１１２は、カメラや赤外線センサ等の任意の検出手段によって、人物の動きを認識してもよい。一例として、検出部１１２は、公知のジェスチャー認識技術や、公知のモーションセンサ等を用いて利用者の動きを検出してもよい。ジェスチャーは、物理空間における利用者の位置および動きから得ることができ、手指や腕や脚の動き、または静止姿勢というような、動的または静的な、任意の利用者の動きを含むことができる。

本実施の形態の一例として、検出部１１２において、カメラのようなキャプチャー・デバイスが、ユーザー画像データを取り込み、このユーザー画像データから、利用者のジェスチャー（１つまたは複数）を認識してもよい。より具体的には、検出部１１２は、コンピュータ環境を使用して、利用者の三次元物理空間において利用者によって行われたジェスチャーを認識および分析し、解釈した利用者の動作データや属性データ等または解析前ローデータを、空間音響生成装置１００に送信してもよい。一例として、検出部１１２は、ある方向を指さす動き、ある方向に手を押し出す動き、ある方向に脚を蹴り上げる動き、あたかもボールを投げる動き、ヘディングする動き、両手で何かを捕まえる動き、指揮棒を振る動き等の動きを認識してもよい。

公知のモーション認識手段の一例として、マイクロソフト社製Ｘｂｏｘ Ｏｎｅ用モーションセンサのＫｉｎｅｃｔセンサを用いてもよい。Ｋｉｎｅｃｔ技術によれば、全身骨格のスケルトン動作データや属性データを得ることができる。なお、公知のモーションセンサでは、センサ内蔵の制御手段を用いて人物の動きや属性が解析されるか、あるいは、接続されたコンピュータの制御手段にて人物の動きや属性が解析されるが、本実施の形態はいずれであってもよい。例えば、本実施の形態は、これら解析機能を、検出部１１２の制御手段（プロセッサ等）により実現してもよく、空間音響生成装置１００の制御手段（後述する音源算出部１０２ｂ等）により実現してもよく、あるいは両者の制御手段により解析機能を実現してもよい。

このほか、検出部１１２は、タッチパッドやタッチパネルやマイクロホンアレイ等の検出手段を更に備えてもよい。また、検出部１１２は、直接、人の身体を検出することに限られず、Ｆａｃｅｂｏｏｋ社製Ｏｃｕｌｕｓ ＲｉｆｔのＯｃｕｌｕｓ Ｔｏｕｃｈコントローラのように、利用者が装着したコントローラや標識（例えば二次元コードタグ）等の動きを検出することによって、間接的に、身体の動きを検出してもよいものである。

また、図１において、表示部１１４は、コンテンツ情報を表示する表示手段である。一例として、表示部１１４は、頭部装着ディスプレイ（ＨＭＤ）、液晶ディスプレイ、プロジェクタ等であってもよい。なお、表示部１１４は、二次元表示を行うものであってもよいし、三次元表示を行うものであってもよい。後述するように、受聴者はこの表示部１１４に表示される音源の位置に音像が定位されるように合成された音波を受聴する。

また、図示しないが受聴者はシートに着座したり、加振版の上に立つようにしてもよい。このシートや加振板にボディソニックトランスデューサを接続し、制御部がコンテンツ情報に合わせて受聴者に振動を加えるようにトランスデューサを制御すれば、受聴者は迫力のあるコンテンツを楽しむことができる。

また、図１において、スピーカアレイ１１６は、複数のスピーカが三次元配置された音声出力手段である。本実施の形態において、スピーカアレイ１１６は、音場制御（ＢｏＳＣ）再生方式のスピーカアレイである。ここで、図２は、本実施の形態におけるＢｏＳＣ再生方式のスピーカアレイの一例を示す図である。

図２は、樽状の音場再生室を形成する音響樽型のスピーカアレイ１１６を例示している。また、図２に示すように、本実施の形態のスピーカアレイ１１６は、楕円形のドーム部２２０および柱部２２２を含む。この楕円形のドーム部２２０は、たとえば木製の架台２２０ａ、２２０ｂ、２２０ｃ、２２０ｄによって構成される。ただし、図２は、ドーム部２２０の内部をその斜め下方から見た図であり、架台２２０ｄおよび柱部２２２についてはその一部のみを示している。図示しないが、ドーム部２２０および柱部２２２の内部は空洞であり、架台２２０ａ−２２０ｄ自体が密室型エンクロージャの役割を果たす。

また、本実施形態のスピーカアレイ１１６の各々には、一例として９６個のラウドスピーカ２３０が設置される。ここで、ラウドスピーカ２３０として、フルレンジユニット（Ｆｏｓｔｅｘ ＦＥ８３Ｅ）のスピーカや、低域を補うためのサブウーファーユニット（Ｆｏｓｔｅｘ ＦＷ１０８Ｎ）のスピーカが設置されてもよい。このようなスピーカアレイ１１６は、音場再生室内に設置されてもよく、例えば、１．５帖の防音室である、ＹＡＭＡＨＡウッディボックス（遮音性能Ｄｒ−３０）を用いてもよい。また、音場再生室内には、リフト付きの椅子（図示せず）や上述のＫＩＮＥＣＴ等の検出部１１２や表示部１１４が設けられてもよい。

なお、ＢｏＳＣ再生方式のスピーカアレイ１１４や、そのためのコンピュータシステム等を含む音場再現システムについては、「１．数値解析技術と可視化・可聴化 １．７三次元音場通信システム」 榎本成悟 音響技術 Ｎｏ．１４８／Ｄｅｃ．２００９ ｐｐ３７−４２や特開２０１２−８５０３５号公報等の公知の文献を参照してもよい。

つづいて、本実施の形態の空間音響生成装置１００の構成について説明する。図１に示すように、空間音響生成装置１００は、概略的に、空間音響生成装置１００の全体を統括的に制御するＣＰＵ等の制御部１０２、通信回線等に接続されるルータ等の通信装置（図示せず）に接続される通信制御インターフェース部１０４、タッチパネル等の検出部１１２や表示部１１４やスピーカアレイ１１６等に接続される入出力制御インターフェース部１０８、および、各種のデータベースやテーブルなどを格納する記憶部１０６を備えて構成されており、これら各部は任意の通信路を介して通信可能に接続されている。

記憶部１０６は、各種のデータベースやテーブル（例えば、関数ファイル１０６ａやコンテンツファイル１０６ｂ等）を格納する。記憶部１０６は、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を用いて構成される小容量高速メモリ（例えば、キャッシュメモリ）等や、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の固定ディスク装置等のストレージ手段であり、各種処理に用いる各種のプログラムやテーブルやファイルやデータベースやウェブページ等を格納する。

関数ファイル１０６ａは、信号処理を行うための関数を記憶する関数記憶手段である。例えば、本実施形態において、関数ファイル１０６ａは、利用者の頭部を含む領域の境界面上の音圧信号からスピーカアレイ１１６の各スピーカへの入力信号を出力する逆システム、および、仮想的な三次元空間における発音体の位置座標から境界面上の音圧信号の位置座標までの伝達関数に基づく、再生用信号出力関数を記憶する。ここで、図３を参照して、本実施形態の再生用信号出力関数を説明する。図３は、境界音場制御（ＢｏＳＣ）の原理に基づいた、移動する発音体による３Ｄ波面生成システムの構成例を示す図である。以下では、本システムについて境界要素法の適用例を説明する。

１．発音体の物理条件
１．１ Ｎ個の点音源
まず、発音体において、ｉ番目の点音源の大きさをｑ_ｉ（ω）、時間ｔにおける位置をｒ´（ｔ）とする。

１．２ 形状を有する発音体
ここで、移動する発音体の形状の境界面をＳとする。境界面Ｓは、振動面が既知の面Ｓ´と、音響アドミタンスが既知の壁面Ｓ´´から構成される。境界面Ｓを、Ｍ個の微小要素に分割したとき、１・・・Ｍ´番目の要素が面Ｓ´に含まれ、Ｍ´＋１・・・Ｍ番目の要素が面Ｓ´´に含まれるものとする。

１．２．１ 振動面
ｉ番目の要素の振動速度をｕ_ｉ（ω）（ｉ＝１・・・Ｍ´）、時間ｔにおける位置をｒ_ｉ（ｔ）（∈Ｓ´）とする。

１．２．２ 非振動面
壁面のｉ番目の要素の音響アドミタンスをｚ_ｉ（ω）（ｉ＝Ｍ´＋１・・・Ｍ）、時間ｔにおける位置をｒ_ｉ（ｔ）（∈Ｓ´）とする。

１．３ 発音体を駆動する音源信号Ｓ（ω）
点音源の大きさｑ_ｉ（ω）および音源の振動速度ｕ_ｉ（ω）は、音源信号Ｓ（ω）に比例し、比例定数ａ_ｉ（ω），ｂ_ｉ（ω）を用いて、ｑ_ｉ（ω）＝ａ_ｉ（ω）Ｓ（ω），ｕ_ｉ（ω）＝ｂ_ｉ（ω）Ｓ（ω）と表される。

以上が、発音体の物理条件である。つづいて、上記物理条件の発音体による波面を観測する対象領域（すなわち受聴者の頭部を含む領域に対応）Ｖを取り囲む境界面Ｓ上の音圧信号について説明する。

２．波面観測対象領域Ｖを取り囲む境界面Ｓ上の音圧信号
境界面ＳをＮ点の要素に離散化し、ｊ番目の要素の位置ｒ＾_ｊ（表記上“＾”を手前の文字に続けて記載しているが正式には手前の文字の上に記載される（以下も同じ））、時間ｔにおける音圧信号をｐ（ｒ＾_ｊ，ｔ）とする。

３．システムｃ（ｒ＾_ｊ，ｔ，τ）
このような場合、移動する発音体（ｒ´（ｔ）に位置する点音源、各要素がｒ_ｉ（ｔ）に位置する形状を有する発音体の合成）を駆動する音源信号ｓ（ｔ）を入力として、受音点における音圧信号ｐ（ｒ＾_ｊ，ｔ）を出力とするシステムｃ（ｒ＾_ｊ，ｔ，τ）は、以下のように表せる。

ここで、ｃ（ｒ＾_ｊ，ｔ，τ）は、時変の伝達特性を表しており、発音体が移動することにより伝達関数が時間ｔに応じて変化する時変システムである。このため、式（１）のフーリエ変換による周波数軸上での以下の演算式は成り立たない（ｃ（ｒ＾_ｊ，ｔ，τ）の算出方法は７．にて後述する）。

４．逆システム
ここで、波面観測対象領域Ｖ（閉領域）を取り囲む境界面Ｓ（閉曲面）上のＮ点で計測した音圧信号ｐ（ｒ＾_ｊ，ｔ）から、音場再生用スピーカアレイ１１６のスピーカへの入力信号を出力する逆システムについて考える。本実施形態において、逆システムとは、Ｍ×Ｎ個の逆フィルタ群の総称である。なお、逆フィルタの設計方法として、公知の文献（Ｓ．Ｅｎｏｍｏｔｏ ｅｔ ａｌ．， “Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｓｏｕｎｄ ｆｉｅｌｄ ｒｅｐｒｏｄｕｃｔｉｏｎ ａｎｄ ｒｅｃｏｒｄｉｎｇ ｓｙｓｔｅｍｓ ｂａｓｅｄ ｏｎ ｂｏｕｎｄａｒｙ ｓｕｒｆａｃｅ ｃｏｎｔｒｏｌ ｐｒｉｎｃｉｐｌｅ”， Ｐｒｏｃ． ｏｆ １４ｔｈ ＩＣＡＤ， Ｐｒｅｓｅｎｔａｔｉｏｎ ｏ １６， ２００８ Ｊｕｎ．）を参照することができる。

まず、スピーカアレイ１１６が設置された音場再生室内にＭ個のスピーカを設置し、波面再生対象領域Ｖ´（閉領域）を取り囲む境界面Ｓ´（閉曲面）上のＮ個にマイクロホンを設置する。そして、ｉ番目のスピーカ（ｉ＝１・・・Ｍ）からｊ番目のマイクロホン（ｊ＝１・・・Ｎ）へのインパルス応答ｈ_ｉｊ（ｔ）（ｉ＝１・・・Ｍ，ｊ＝１・・・Ｎ）を計測し、フーリエ変換する。ここで、Ｈ_ｉｊ（ω）は、音源ｉからマイクロホンの位置点ｊまでの伝達関数であり、以下の式で表せる。

さらに、Ｈ_ｉｊ（ω）は、各々の角速度ω毎に、以下のマトリクスで表せる。

そして、逆システムＨ＾_ｊｉ（ω）を求めるため、［Ｈ＾_ｊｉ（ω）］［Ｈ_ｉｊ（ω）］＝Ｉ（ただし、ＩはＮ次元単位行列）となるような［Ｈ_ｉｊ（ω）］の擬似逆行列［Ｈ＾_ｊｉ（ω）］を求める。ここで、擬似逆行列［Ｈ＾_ｊｉ（ω）］は、以下のように表せる。

そして、スピーカアレイ１１６のｉ番目のスピーカ（ｉ＝１・・・Ｍ）から出力する再生用信号Ｙ_ｉ（ω）は、原音場における境界面Ｓ上の音圧信号Ｐ（ｒ＾_ｊ，ｔ）と逆システムＨ＾_ｊｉ（ω）を乗算して、ｊに関する総和を求める以下の数式で算出される。

上の式をフーリエ変換すれば以下の式で表せる。

ただし、ｈ＾_ｊｉ（ｔ）は、以下となる。

以上のような逆システムＨ＾_ｊｉ（ω）（或いは等価的にｈ＾_ｊｉ（ｔ））のアルゴリズムによると、スピーカアレイ１１６が設置された空間中の伝達関数Ｈ_ｉｊ（ω）の影響を打ち消すように、再生用信号Ｙ_ｉ（ω）（或いはｙ_ｉ（ｔ））を出力することができる。

５．再生用信号出力関数ｆ_ｉ（ｔ，τ）
ここで、式（２）に式（１）を代入すると、再生用信号ｙ_ｉ（ｔ）は以下のように表せる。

したがって、ｆ_ｉ（ｔ，τ）を以下とおくと、再生用信号ｙ_ｉ（ｔ）の出力関数が定められる。

上記の再生用信号ｙ_ｉ（ｔ）についての再生用信号出力関数は、音源信号ｓ（ｔ）を入力として受音点における再生用信号ｙ_ｉ（ｔ）を出力とするシステムｆ_ｉ（ｔ，τ）である。これにより、移動する発音体から利用者の頭部を含む領域の境界面上の音圧信号への時変の伝達特性を考慮して逆システムを用いて、移動する発音体の音源信号から、スピーカへの入力信号を求めることができる。例えば、上式（４１）の位置座標ｒ＾_ｊを時間ｔの関数として設定可能に関数化することにより、上式（４２）等に対応する再生用信号出力関数が構成されてもよい。

６．ドップラー効果の考慮
発音体が高速で移動する場合、ドップラー効果による周波数シフトが生じる。ここで、図４は、移動する発音体と領域Ｖの関係を模式的に示す図である。図４に示すように、発音体の大きさと波面観測対象領域の大きさが発音体の中心座標と波面観測対象領域の中心座標の距離に比較して十分小さい場合、発音体の速度ｖ_ｓ、発音体の移動方向と波面進行方向のなす角度θ、音速ｖ_ｃとすると、波面観測対象領域で計測する音圧信号は以下となる。

この場合、上述の再生用信号出力関数（式（４２））は、ドップラー効果を考慮した以下の式にて表せる。

７．伝達関数ｃ（ｒ＾_ｊ，ｔ，τ）の算出方法
７．１ 時間を固定した場合の伝達関数の定式化
上述の〈１．発音体の物理モデル〉にて記載した物理パラメータを用いて、キルヒホッフ−ヘルムホルツ積分方程式を記述する。ある時間ｔにおける発音体の位置ベクトルを固定した場合、すなわちｒ´_ｉ（ｔ）＝ｒ´_ｉ，ｒ_ｉ（ｔ）＝ｒ_ｉとすると、点音源の大きさは以下の式で表せる。

ここで、さらに離散化することにより次式が得られる。

ｓ＝ｒ_ｊ（ｊ＝１・・・Ｍ）として、上記の式（５）を連立させると、α（ｓ）＝１／２（ｓ∈Ｓ´，Ｓ´´）であるため、以下の式が得られる。

Ｐ（ｒ_ｊ，ω）の項を左辺へ移項し、マトリクスで表すと以下のようになる。

ただし、

したがって、境界面Ｓ´およびＳ´´上の音圧は、次式で求めることができる。

発音体の外部領域にある受音点ｒ＾_ｊ（α（ｓ）＝１）における音圧信号は、以下のように式（５）に式（６）を代入することにより得られる。

上記の式を解くことにより、発音体の外部領域にある受音点ｒ＾_ｊ（α（ｓ）＝１）における音圧信号が得られる。また、ｑ_ｉ（ω）＝ａ_ｉＳ（ω），ｕ_ｉ（ω）＝ｂ_ｉＳ（ω）であるため、音源信号Ｓ（ω）を入力として受音点における音圧Ｐ（ｒ＾_ｊ，ω）を出力とするシステムＣ（ｒ＾_ｊ，ω）は、以下のとおりに得られる。

７．２ 時間を考慮した場合の伝達関数の定式化
つづいて、時間固定を解除するため、発音体の位置ベクトルをｒ´_ｉ＝ｒ´_ｉ（ｔ），ｒ_ｉ＝ｒ_ｉ（ｔ）として、移動する発音体の時間ｔにおける伝達関数ｃ（ｒ＾_ｊ，ｔ，τ）を求める。すなわち、上記の式（７）の中で用いられる、│ｒ´_ｉ−ｒ_ｊ│，│ｒ_ｉ−ｒ_ｊ│，│ｒ´_ｉ−ｒ＾_ｊ│などのベクトル間の距離計算を│ｒ´_ｉ（ｔ）−ｒ_ｊ│，│ｒ_ｉ（ｔ）−ｒ_ｊ（ｔ）│，│ｒ´_ｉ（ｔ）−ｒ＾_ｊ│に置き換えたｃ（ｒ＾_ｊ，ω）をｃ（ｒ＾_ｊ，ｔ，ω）とする。さらに、求めたｃ（ｒ＾_ｊ，ｔ，ω）を逆フーリエ変換すれば、時間を考慮したシステムの伝達関数ｃ（ｒ＾_ｊ，ｔ，τ）が以下の式で得られる。

以上が、関数ファイル１０６ａに記憶される本実施形態の再生用信号出力関数の一例である。なお、上記の再生用信号出力関数に限られず、境界音場制御（ＢｏＳＣ）の原理に基づいて、公知の近似的手法等により再生用信号出力関数を求めて用いてもよい。例えば、上記の説明では再生用信号出力関数を求めるために境界要素法を用いる例を説明したが、境界要素法の代わりに有限要素法や差分法などの各種の数値計算手法が用いられてもよい。

再び図１に戻り、コンテンツファイル１０６ｂは、コンテンツ情報を記憶するコンテンツ情報記憶手段である。例えば、コンテンツファイル１０６ｂは、仮想空間上に配置可能な種々のデータ（画像データや音源データ等）を記憶してもよい。一例として、コンテンツファイル１０６ｂは、ゲーム空間などの三次元仮想空間を構成する種々の要素データ（ポリゴンデータや属性データ等）を記憶してもよい。このような要素データのうちいくつかは、上述した発音体として、音源信号等のデータに関連づけられている。コンテンツデータは、発音体の物理条件（即ち境界条件）を示す情報の一例である。

一例として、コンテンツファイル１０６ｂは、仮想的にオーケストラの奏者配置が可能な三次元仮想空間を規定するコンテンツ情報を記憶してもよい。なお、コンテンツファイル１０６ｂは、ネットワーク３００を介して、サーバ等の外部機器２００からコンテンツ情報を一時的に又は恒久的に取得して記憶してもよいものである。

また、図１において、入出力制御インターフェース部１０８は、キーボード等の検出部１１２や出力部１１４の制御を行うインターフェース部の一例である。入出力制御インターフェース部１０８は、一つ又は複数のインターフェース回路を含む。表示手段としての出力部１１４としては、モニタ（家庭用テレビやタッチスクリーンモニタ等を含む）等を用いることができる。また、検出部１１２としては、ＧＰＳセンサやＩＭＥＳセンサなどの位置情報取得手段や、タッチパネル、音声マイク、キーボード、カメラ、加速度センサなどの各種センサ等を用いることができる。一例として、検出部１１２および出力部１１４は、液晶パネル等の出力部１１４と、タッチ位置入力装置等の検出部１１２とを組み合わせたタッチパネル等の入出力手段であってもよい。

また、図１において、制御部１０２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有する。制御部１０２は、内部メモリに格納されたプログラム等により、種々の処理を実行するための情報処理を行うＣＰＵ等のプロセッサである。制御部１０２は、機能概念的に、表示制御部１０２ａ、音源算出部１０２ｂ、波面出力制御部１０２ｃ、および、再生方式変換部１０２ｄを備えて構成されている。

表示制御部１０２ａは、コンテンツ情報の表示制御を行う表示制御手段である。例えば、表示制御部１０２ａは、検出部１１２により検出される身体部位の動作に応じてコンテンツ情報の表示制御を行ってもよい。一例として、表示制御部１０２ａは、検出部１１２により検出される利用者の手指等の動作で指示されたコンテンツ情報の移動を伴う表示制御を行ってもよい。例えば、表示制御部１０２ａは、コンテンツファイル１０６ｂから読み出された仮想三次元空間の各要素をＨＭＤ等の表示部１１４に表示し、検出部１１２を介して利用者に手指で要素を指し示すよう制御して、指示された要素を移動対象として利用者の手の動きに合わせて移動させてもよい。

上記の例に限られず、表示制御部１０２ａは、ゲーム要素を含むゲーム空間を表示させて、利用者の仮想上のボール等を投げる動きや、キックやヘディングをする動き、両手で捉える動きに応じて、ボール等の要素を表示上、移動させてもよい。なお、表示制御部１０２ａは、要素の移動のみならず、要素の発生や消滅などを利用者の動作に応じて引き起こしてもよいものである。なお、このような検出部１１２を介した表示制御部１０２ａによる制御方法として、マイクロソフト社製Ｘｂｏｘ等の公知の非接触ゲーム制御方法を用いてもよい。なお、仮想空間上において利用者とコンテンツとは相対的な位置関係にあることから、表示制御部１０２ａが、検出部１１２により検出される動作に応じてコンテンツ情報の表示制御を行うことには、仮想空間上において、利用者が動作に応じて自らの位置を変更する場合も含まれる。

また、音源算出部１０２ｂは、移動する発音体から利用者の頭部を含む領域の境界面上の音圧信号への時変の伝達特性を考慮した逆システムを用いて、移動する発音体の音源信号から、スピーカへの入力信号を算出する音源算出手段である。例えば、音源算出部１０２ｂは、関数ファイル１０６ａに記憶された関数に基づいて、音源信号から入力信号を算出してもよい。

一例として、音源算出部１０２ｂは、利用者の身体部位の動作に応じたコンテンツ情報の変化に従って、対応する発音体の音源信号および位置座標の時間関数を算出してもよい。すなわち、音源算出部１０２ｂは、表示制御部１０２ａによるコンテンツ情報の変化に応じて、移動等の変化の対象となったコンテンツ要素に関連付けられた音源信号ｓ（ｔ）をコンテンツファイル１０６ｂ等から読み出し、検出部１１２を介した利用者の身体部位の動作に応じたコンテンツ情報の変化に伴う位置座標の時間関数ｒ_ｉ（ｔ），ｒ´_ｉ（ｔ）から信号処理を行う。例えば、本実施形態において、音源算出部１０２ｂは、音源信号ｓ（ｔ）およびｒ_ｉ（ｔ），ｒ´_ｉ（ｔ）を、関数ファイル１０６ａに記憶された上述の式（４１），（４２）に代入する。

また、音源算出部１０２ｂは、仮想的な三次元空間における利用者および／または発音体の速度に応じてドップラーシフトを再現する再生音響波面信号を演算してもよい。具体的には、音源算出部１０２ｂは、一例として、関数ファイル１０６ａに記憶された上述の式（４３）〜（４５）等に代入することによりドップラーシフトを考慮した再生音響波面信号を求めることができる。なお、音源算出部１０２ｂは、位置座標の時間関数ｒ_ｉ（ｔ），を、ｒ_ｉ´（ｔ）を、仮想的な三次元空間における利用者と発音体との相対的な位置関係に基づいて算出してもよい。これにより、例えば、発音体が速度ｖ_ｓで受聴者の領域Ｖに向かって移動している場合のみならず、受聴者の領域Ｖが発音体に対して移動している場合も、ドップラー効果を発生させることができる。

また、波面出力制御部１０２ｃは、音源算出部１０２ｂにより得られる入力信号を、スピーカアレイ１１６の各スピーカへ入力することにより、仮想的な三次元空間を移動する発音体による三次元的な音響波面を形成させる波面出力制御手段である。例えば、波面出力制御部１０２ｃは、音源算出部１０２ｂにより得られる、発音体の音源信号および位置座標の時間関数を、関数ファイル１０６ａの再生用信号出力関数に入力して導出した入力信号を、スピーカアレイ１１６の各スピーカへ入力することにより、仮想的な三次元空間を移動する発音体による三次元的な音響波面を出力制御してもよい。より具体的には、波面出力制御部１０２ｃは、発音体の音源信号ｓ（ｔ）および位置座標の時間関数ｒ_ｉ（ｔ），ｒ_ｉ´（ｔ）を、再生用信号出力関数（上述の式（４）〜（４２）等）に入力して導出した入力信号ｙ_ｉ（ｔ）を、スピーカアレイ１１６の各スピーカへ入力することにより、音場再生室内に３Ｄ音響波面を形成させる。これにより、音像定位精度を高めた音声出力を行うことができる。

また、再生方式変換部１０２ｄは、再生音響波面信号による音響波面出力等を、他の公知の再生方式へ変換する再生方式変換手段である。例えば、再生方式変換部１０２ｄは、スピーカアレイ１１６による９６ｃｈの再生音響波面信号の音響波面出力を、公知の再生方式変換手法を用いて、２ｃｈのステレオ再生方式や、５．１ｃｈの再生方式に変換することができる。これにより、クリエータ等の利用者が、音像定位精度のよい環境下で、制作した三次元的音源空間配置結果を、ステレオスピーカやサラウンドスピーカ群でも再生可能なようにデータ変換して配布することができる。例えば、再生方式変換部１０２ｄは、変換した音楽データ等を、ネットワーク３００を介して、他の外部機器２００へ送信してもよい。

本実施形態において、空間音響生成装置１００は、ルータ等の通信装置および専用線等の有線または無線の通信回線を介して、ネットワーク３００に通信可能に接続されてもよい。なお、空間音響生成装置１００は、コンテンツ情報を記憶するコンテンツデータベースや、空間音響生成プログラム等の外部プログラム等を提供する外部機器２００と、ネットワーク３００を介して通信可能に接続して構成されてもよい。

また、図１において、通信制御インターフェース部１０４は、空間音響生成装置１００とネットワーク３００（またはルータ等の通信装置）との間における通信制御を行う装置である。すなわち、通信制御インターフェース部１０４は、他の端末または局と、通信回線（有線、無線を問わない）を介してデータを通信する機能を有する。本実施の形態において、通信制御インターフェース部１０４は、外部機器２００等との通信制御を行う。すなわち、外部機器２００は、ネットワーク３００を介して、空間音響生成装置１００、検出部１１２、表示部１１４と相互に接続され、各端末に対して外部データベースやプログラム等の外部プログラム等を実行するウェブサイトを提供する機能を有してもよい。

ここで、外部機器２００は、例えば、パーソナルコンピュータや、サーバ用のコンピュータなどのハードウェア要素と、オペレーティングシステム、アプリケーションプログラム、その他のデータなどのソフトウェア要素とで実現されてもよい。例えば、外部機器２００は、ＷＥＢサーバやＡＳＰサーバ等として構成していてもよく、そのハードウェア構成は、一般に市販されるワークステーション、パーソナルコンピュータ等の情報処理装置およびその付属装置により構成していてもよい。また、外部機器２００の各機能は、外部機器２００のハードウェア構成中のＣＰＵ等のプロセッサ、ディスク装置、メモリ装置、入力装置、出力装置、通信制御装置等およびそれらを制御するプログラム等により実現される。

以上で、本実施の形態の空間音響生成システムの各構成の説明を終える。

［基本処理］
まず、本実施の形態における空間音響生成システムの基本処理の一例について、図５を参照して説明する。ここで、図５は、本実施の形態の空間音響生成システムにおける基本処理の一例を示すフローチャートである。

図５に示すように、まず、本空間音響生成システムの空間音響生成装置１００は、音源算出部１０２ｂの制御により、仮想三次元空間を移動しうる発音体の音源信号ｓ（ｔ）および位置座標の時間関数ｒ_ｉ（ｔ），ｒ´_ｉ（ｔ）を算出する（ステップＳＡ−１）。ここで、発音体の移動は、予め定められたものであってもよいし、利用者からの入力に伴うものであってもよい。

例えば、音源算出部１０２ｂは、コンテンツファイル１０６ｂ等に記憶された移動軌跡データに基づいて位置座標と音源信号を算出してもよい。また、音源算出部１０２ｂは、利用者の入力によるゲームコンテンツ情報等の変化に応じて、移動対象のコンテンツに対応する音源信号ｓ（ｔ）と、コンテンツ情報の変化に伴う当該コンテンツ要素の位置座標の時間関数ｒ_ｉ（ｔ），ｒ´_ｉ（ｔ）を算出してもよい。

そして、本空間音響生成システムの空間音響生成装置１００は、音源算出部１０２ｂの制御により、音源信号ｓ（ｔ）および移動座標の時間関数ｒ_ｉ（ｔ），ｒ´_ｉ（ｔ）を、関数ファイル１０６ａに記憶された再生用信号出力関数に代入する（ステップＳＡ−２）。以上の処理（ステップＳＡ−１〜２）により、移動する発音体から利用者の頭部を含む領域の境界面上の音圧信号への時変の伝達特性を考慮した逆システムを用いて、移動する発音体の音源信号から、スピーカへの入力信号を算出することができる。

すなわち、再生用信号出力関数は、利用者の頭部を含む領域Ｖ´の境界面Ｓ´上の音圧信号ｐ（ｒ＾_ｊ，ｔ）からスピーカアレイ１１６の各スピーカへの入力信号Ｙ_ｉ（ω）（ｉ＝１・・・Ｍ）を出力する逆システムＨ＾_ｊｉ（ω）、および、仮想的な三次元空間における発音体の位置座標ｒ_ｊ（ｔ）（ｊ＝１・・・Ｎ）から境界面Ｓ´上の音圧信号ｐ（ｒ＾_ｊ，ｔ）の位置座標ｒ＾_ｊまでの伝達関数ｃ（ｒ＾_ｊ，ｔ，τ）に基づく、再生用信号出力関数「ｙ_ｉ（ｔ）＝Σｆ_ｉ（ｔ，τ´）ｓ（ｔ−τ）ｄτ（例：式（４１），（４２））」であるので、スピーカアレイ１１６の各スピーカへの入力信号Ｙ_ｉ（ω）を求めることができる。

つづいて、以下の処理（ステップＳＡ−３〜４）では、上記のように算出した入力信号を、スピーカアレイの各スピーカへ入力することにより、三次元的な音響波面を形成させる。すなわち、本空間音響生成システムの空間音響生成装置１００は、波面出力制御部１０２ｃの制御により、ステップＳＡ−２にて得られた入力信号ｙ_ｉ（ｔ）を、スピーカアレイ１１６の各スピーカ（１・・・Ｍ）へ信号入力する（ステップＳＡ−３）。

そして、本空間音響生成システムのスピーカアレイ１１６は、入力信号ｙ_ｉ（ｔ）に従うスピーカ出力により、仮想的な三次元空間を移動する発音体による三次元的な音響波面を出力する（ステップＳＡ−４）。

以上が、空間音響生成システムの基本処理の一例である。これにより、仮想的な三次元空間において任意にコンテンツ等が移動しうる場合であっても、臨場感のある三次元的な音響波面を伴う音場を生成することができる。

［具体化処理］
次に、本実施の形態における空間音響生成システムの具体化処理の一例について、図６および図７を参照して説明する。具体化処理では、利用者の身体において表示コンテンツを変化させ、その変化に応じて三次元音響波面を伴う音場を生成する処理を行う。ここで、図６は、本実施の形態の空間音響生成システムにおける具体化処理の一例を示すフローチャートである。図７は、図３に関連して、境界音場制御（ＢｏＳＣ）の原理に基づく空間音響生成アルゴリズムを模式的に示した図である。

まず、図６および図７に示すように、本空間音響生成システムにおいて、身体運動センサー等の検出部１１２は、利用者の身体部位の動作を認識する（ステップＳＢ−１）。例えば、検出部１１２は、利用者の身体運動から、ある方向を指さす動き、ある方向に手を押し出す動き、ある方向に脚を蹴り上げる動き、あたかもボールを投げる動き、ヘディングする動き、両手で何かを捕まえる動き、指揮棒を振る動きなどの所定のジェスチャーを検出してもよい。

つづいて、本空間音響生成システムの空間音響生成装置１００は、表示制御部１０２ａの制御により、検出部１１２にて認識される利用者の身体部位の動作に応じて、三次元表示ＨＭＤ等の表示部１１４を介して、コンテンツファイル１０６ｂに記憶されたコンテンツ情報を表示させる表示制御を行う（ステップＳＢ−２）。例えば、表示制御部１０２ａは、ゲーム空間などの仮想現実空間を表示させた状態において、検出部１１２にて検出された利用者のボール等を投げる動きやキックやヘディングをする動き、指揮棒を振る動きなどのジェスチャーに応じて、対応するコンテンツ要素を変化させる表示制御を行ってもよい。

そして、本空間音響生成システムの空間音響生成装置１００は、音源算出部１０２ｂの制御により、表示制御部１０２ａにより表示制御されたコンテンツ情報の変化に従って、対応するコンテンツ要素を発音体として音源信号ｓ（ｔ）および位置座標の時間関数ｒ_ｉ（ｔ），ｒ´_ｉ（ｔ）を取得する（ステップＳＢ−３）。例えば、音源算出部１０２ｂは、表示制御部１０２ａによるコンテンツ情報の変化に応じて、移動等の変化の対象となったコンテンツ要素に関連付けられた音源信号ｓ（ｔ）をコンテンツファイル１０６ｂ等から読み出し、検出部１１２を介した利用者の身体部位の動作に応じたコンテンツ情報の変化に伴う当該コンテンツ要素の位置座標の時間関数ｒ_ｉ（ｔ），ｒ´_ｉ（ｔ）を取得してもよい。

そして、本空間音響生成システムの空間音響生成装置１００は、音源算出部１０２ｂの制御により、音源信号ｓ（ｔ）およびｒ_ｉ（ｔ），ｒ´_ｉ（ｔ）を、関数ファイル１０６ａに記憶された再生用信号出力関数に代入する（ステップＳＢ−４）。ここで、再生用信号出力関数は、利用者の頭部を含む領域Ｖ´の境界面Ｓ´上の音圧信号ｐ（ｒ＾_ｊ，ｔ）からスピーカアレイ１１６の各スピーカへの入力信号Ｙ_ｉ（ω）（ｉ＝１・・・Ｍ）を出力する逆システムＨ＾_ｊｉ（ω）、および、仮想的な三次元空間における発音体の位置座標ｒ_ｊ（ｔ）（ｊ＝１・・・Ｎ）から境界面Ｓ´上の音圧信号ｐ（ｒ＾_ｊ，ｔ）の位置座標ｒ＾_ｊまでの伝達関数ｃ（ｒ＾_ｊ，ｔ，τ）に基づく、再生用信号出力関数「ｙ_ｉ（ｔ）＝Σｆ_ｉ（ｔ，τ´）ｓ（ｔ−τ）ｄτ」であり、例えば上述の式（４１），（４２）で規定される。

そして、本空間音響生成システムの空間音響生成装置１００は、波面出力制御部１０２ｃの制御により、音源算出部１０２ｂにより得られた入力信号ｙ_ｉ（ｔ）を、スピーカアレイ１１６の各スピーカ（１・・・Ｍ）へ信号入力する（ステップＳＢ−５）。

そして、本空間音響生成システムのスピーカアレイ１１６は、入力信号ｙ_ｉ（ｔ）に従うスピーカ出力により、仮想的な三次元空間を移動する発音体による三次元的な音響波面を出力する（ステップＳＢ−６）。

そして、本空間音響生成システムの空間音響生成装置１００は、タッチパネル等の終了ボタンが押下される等の終了の指示がない限り（ステップＳＢ−７，ＮＯ）、上述した処理を繰り返す。空間音響生成装置１００は、タッチパネル等の終了ボタンが押下される等の終了の指示があった場合に（ステップＳＢ−７，ＹＥＳ）、処理を終了する。ここで、本空間音響生成システムの空間音響生成装置１００は、再生方式変換部１０２ｄの処理により、以上の処理により形成された時系列的音響波面出力を示す信号の再生方式を、サラウンド再生方式等の他の再生方式に変換して、変換結果の信号を外部機器２００等に出力してもよい。この際、再生方式変換部１０２ｄは適宜、変換前後の信号を記憶部１０６に記録してもよい。

以上が、空間音響生成システムの処理の一例である。これにより、クリエータ等の利用者は、音像定位精度の良好な環境下で、指さし等の身体動作を使ってインタラクティブに直感的にコンテンツの編集を行うことができる。したがって、プログラミング等のコンピュータエンジニアリングに詳しくない利用者であっても、簡単に臨場感のある音場生成を行うことができる。

以上で、本実施の形態の空間音響生成システムの処理の説明を終える。

［実施例］
つづいて、本発明の実施の形態における実施例として、移動する発音体の物理条件と音源信号から領域Ｖ内の波面を計算する手順について、図８および図９を参照して説明する。図８は、三次元音場を移動する発音体と波面観測対象領域Ｖの関係を示す図である。図９は、空間音響生成装置１００の具体的装置構成における処理内容や記憶内容を示すワークフロー図である。

図８および図９に示すように、まず、空間音響生成装置１００のＣＰＵ１０２´は、メモリ１０６´に記憶された、移動する発音体の物理条件と、タイマーの時刻τから、発音体の位置情報ｒ＾_ｊを求める（ステップＳＣ−１）。

そして、空間音響生成装置１００のＣＰＵ１０２´は、ディスク１０６´´に記憶された音源信号ｓ（ω）と、タイマーが示す時刻τから、Δτ経過した時刻ｔ＝τ〜τ＋Δτについての音源信号ｓ（ｔ）を求める（ステップＳＣ−２）。

そして、空間音響生成装置１００のＣＰＵ１０２´は、メモリ１０６´に記憶された、発音体の位置情報ｒ＾_ｊから、波面観測対象領域Ｖを囲む境界面Ｓへの伝達関数ｃ（ｒ＾_ｊ，ｔ，τ）を算出する（ステップＳＣ−３）。例えば、ＣＰＵ１０２´（制御部）は、各時刻ｔに関して、対応する位置情報ｒ＾_ｊ及び境界面Ｓを境界条件とする境界要素法の数値計算を実行することにより、時刻ｔ毎の伝達関数ｃ（ｒ＾_ｊ，ｔ，τ）を算出する。

そして、空間音響生成装置１００のＣＰＵ１０２´は、時刻ｔ＝τ〜τ＋Δτの音源信号ｓ（ｔ）に基づいて、ステップＳＣ−３にて求めた時刻０〜τの発音体から境界面Ｓへの伝達関数ｃ（ｒ＾_ｊ，ｔ，τ）を折り畳み計算して、境界面Ｓ上の音圧信号ｐ（ｒ＾_ｊ，ｔ）等の音響物理情報を求める（ステップＳＣ−４）。

そして、空間音響生成装置１００のＣＰＵ１０２´は、領域Ｖとの境界面Ｓ上の音圧信号ｐ（ｒ＾_ｊ，ｔ）等の音響物理情報から、領域Ｖ内の音圧波面を計算する（ステップＳＣ−５）。

以上が、移動する発音体の物理条件と音源信号から領域Ｖ内の波面を計算する手順である。以上のような移動する発音体の物理条件と音源信号からの領域Ｖ内の波面の計算を用いて、本実施の形態において最終的に三次元音響波面の音場を形成させるためには、スピーカアレイ１１６への入力信号を求める必要がある。

そのため、つづいて、移動する発音体の物理条件、音源信号、再生音場の伝達関数から、音場再生室内のスピーカ入力信号を計算する手順の実施例について、図１０および図１１を参照して説明である。ここで、図１０は、ＭＩＭＯ逆システムを用いてスピーカアレイ１１６の各スピーカへの入力信号を求めることを模式的に示した図である。図１１は、空間音響生成装置１００の具体的装置構成における処理内容や記憶内容を示すワークフロー図である。

図１０および図１１に示すように、まず、空間音響生成装置１００のＣＰＵ１０２´は、メモリ１０６´に記憶された、移動する発音体の物理条件と、タイマーの時刻τから、発音体の位置情報ｒ＾_ｊを求める（ステップＳＣ−１）。同様に、空間音響生成装置１００のＣＰＵ１０２´は、上述したステップＳＣ−１〜ＳＣ−４までの処理を行う。

ここで、空間音響生成装置１００のメモリ１０６´には、予め再生音場においてマイクロホンアレイ等で収録した音声データ等に基づいて、再生音場における伝達関数の計測システムを求め、伝達関数を求めてメモリ１０６´に記憶させておく（以下、具体的手法について、特開２０１１−１８２１３５，特開２００８−１１８５５９等参照）。

そして、空間音響生成装置１００のＣＰＵ１０２´は、メモリ１０６´に記憶された、再生音場における伝達関数から再生音場の逆システムを求める（ステップＳＣ−５１）。再生音場の逆システムを示す情報は、予めメモリ１０６´（記憶部）に記憶されていてもよい。

そして、空間音響生成装置１００のＣＰＵ１０２´は、メモリ１０６´に記憶された再生音場の逆システムと、境界面Ｓ上の音圧信号ｐ（ｒ＾_ｊ，ｔ）等の音響物理情報から、スピーカアレイ１１６の各スピーカへの入力信号ｙ_ｊ（ｔ）を求める（ステップＳＣ−５２）。

以上が、移動する発音体の物理条件、音源信号、再生音場の伝達関数から、音場再生室内のスピーカ入力信号を計算する手順である。これにより、臨場感のある三次元的な音響波面を伴う音場を生成させることができる。

［他の実施の形態］
さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。

例えば、上述した実施の形態では、上述した実施の形態では、図２に例示した音響樽型のスピーカアレイ１１６について説明したが、空間音響生成システムにおける複数のスピーカは図２に限定されず、種々のスピーカが各種の配置で用いられてもよい。空間音響生成システムにおけるスピーカアレイの変形例について、図１２を用いて説明する。

図１２は、空間音響生成システムにおいて椅子４１０に取付け可能なスピーカアレイ４００を例示している。本変形例のスピーカアレイ４００では、複数のスピーカ４０１が、利用者５００が椅子４１０に座った状態において利用者５００の頭部を取り囲むように、カバー部４０２に取り付けられている。

複数のスピーカ４０１は、例えば、椅子４１０に座った利用者５００の前方、上方及び側方に位置するように、カバー部４０２内に三次元的に配置される。カバー部４０２は、各スピーカ４０１が椅子４１０に座った利用者５００と間隔をあけて頭部或いは上半身を覆うように、ドーム状に形成された部材である。カバー部４０２と椅子４１０との間には、例えばカバー部４０２を椅子４１０に対して上下に移動可能な取付け部４０３が設けられる。これにより、利用者５００が椅子４１０に座る前後の時点などにカバー部４０２の位置を適宜、調整することができる。

図１２の例のスピーカアレイ４００によると、椅子４１０に座った利用者５００とスピーカ４０１との間に、空間音響生成装置１００が生成する種々の波面を形成可能な空間を設けることができる。スピーカアレイ４００を備えた空間音響生成システムは、例えばゲームや各種エンターテインメントの視聴等の種々の用途に適用可能である。空間音響生成システムのスピーカアレイ４００は、椅子４１０とは別体で提供されてもよいし、一位的に提供されてもよい。

また、上述した実施の形態では、検出部１１２が、利用者の身体部位の動作（ジェスチャー動作）を検出して、検出結果を発音体の移動に連動させる例を説明した。空間音響生成システムにおける検出部１１２の検出対象はジェスチャー動作に限らず、検出部１１２の検出結果を発音体の移動に連動させるための種々の情報であってもよく、例えば映像や振動などを検出部１１２の検出対象として用いてもよい。

例えば、アイススケートのテレビ中継を行う場合等に、映像中における競技者（発音体）の位置検出が行われてもよい。この場合、例えばスケートリンクに設置されたマイク等から音源信号を取得して、テレビ中継の視聴者に、映像中の競技者の動きに合わせて走行音などが視聴されるように、空間音響生成システムを用いることができる。また、サッカーやボクシング等の体験型ゲームなどにおいて、利用者等が発生させた振動を検出対象として、検出結果の振動に応じてゲームのコンテンツ（発音体）の動きを設定すると共に、設定された動きに連動するような波面が形成されるようにしてもよい。

以上のように、空間音響生成システムにおける検出部１１２は、種々の発音体の移動に関する情報を検出してもよい。空間音響生成システムにおける検出部１１２としては、映像解析手段や、加速度センサ、ジャイロセンサなどの各種センサ等が用いられてもよい。

また、空間音響生成装置１００における制御部１０６は、検出部１１２によって検出された発音体の移動に関する情報に基づいて、発音体の位置及び音源信号といった移動する発音体を示す情報を算出してもよいし、別途、移動する発音体を示す情報を取得してもよい。例えば、制御部１０６は、記憶部１０２に予め格納されたデータ等を読み出すことによって移動する発音体を示す情報を取得してもよいし、外部からネットワーク３００等を介して当該情報を取得してもよい。

また、空間音響生成装置１００の実装においては、各種の計算簡略化の処理を適用可能である。以下、空間音響生成装置１００の実装例について、発音体が自由空間を移動する一つの点音源である例を用いて説明する。

本例においては、自由空間内において一つの点音源（大きさ１）の位置ｒ´（ｔ））が移動するという発音体の物理条件に対応して、時刻ｔにおける位置ｒ＾_ｊへの伝達関数ｃ（ｒ＾_ｊ，ｔ，τ）は、次式（８）のように表される。

上式（８）において、δ（τ）はデルタ関数であり、ｖ_ｃは音速である。上述した式（３）に式（８）を代入することにより、次式（９），（１０）が得られる。

上式（９），（１０）において、ｗ_ｊ（ｔ）は音圧信号を示し、ａ_ｊ（ｔ）は音源と受音点間の距離を示す。上式（９），（１０）は、サンプリング周波数Ｆ_ｓ（Ｈｚ）で離散化することにより、次式（１１），（１２）のように表される。

上式（１１），（１２）のｗ_ｊ［ｎ］は、離散的な時間ｎにおいて音源と受音点の間の距離ａ_ｊ［ｎ］に応じて振幅変化および時間伸長する時間信号であり、音源と受音点間の距離が急速に変化する場合にはドップラー効果も含まれる。

ところで、上式（１２）の右辺におけるｓ［ｎ−ａ_ｊ［ｎ］Ｆ_ｓ／ｖ_ｃ］のサンプル点（ｎ−ａ_ｊ［ｎ］Ｆ_ｓ／ｖ_ｃ）は、実数になる。このような実数のサンプル点における音源信号ｓ［ｎ−ａ_ｊ［ｎ］Ｆ_ｓ／ｖ_ｃ］の値について、非特許文献３は、ラグランジェ補間法などにより計算する手法を提案している。しかし、上記のような従来の手法によると、計算コストがかかるという課題がある。

そこで、本実装例では、式（１２）におけるｓ［ｎ−ａ_ｊ［ｎ］Ｆ_ｓ／ｖ_ｃ］を補間計算する代わりに、サンプル点（ｎ−ａ_ｊ［ｎ］Ｆ_ｓ／ｖ_ｃ）の小数点以下を四捨五入して丸めるという方法を採用する。本方法によると、式（１２）は次式（１３）のように計算される。

空間音響生成装置１００における制御部１０６は、上式（１３）に従い、発音体の移動に応じた遅延を有するサンプル点（ｎ−ａ_ｊ［ｎ］Ｆ_ｓ／ｖ_ｃ）に対してｒｏｕｎｄ関数による端数処理を行う。制御部１０６は、例えば後述するフレーム処理により、端数処理の結果の音源信号からスピーカへの入力信号ｙ_ｉ（ｔ）を算出する。これにより、移動音源を再現するような入力信号ｙ_ｉ（ｔ）を得る際の計算コストを低減することができる。以下、上式（１３）に基づくフレーム処理の一例を説明する。

式（１３）における距離ａ_ｊ［ｎ］は、音源（発音体）の移動に応じて１サンプル毎に変化するが、フレーム処理においては、距離計算に線形補間を用いることができる。例えば、移動速度が音速よりも充分に小さい音源に関して、距離ａ_ｊ［ｎ］は一定のフレーム区間中に線形に変化すると考えられる。

本実装例のフレーム処理においては、発音体の位置に基づく距離ａ_ｊ［ｎ］の計算は各フレームの最初を基準に行われ、次のフレームの最初に至るまでの各々のサンプル位置では距離は線形に変化すると考える。この場合、フレーム番号ｍにおいて１フレーム内のサンプル番号ｋの距離ａ_ｊ［ｍ，ｋ］は、次式（１４）のように表される。

上式（１４）において、ａ_ｊ［ｍ，ｋ］＝ａ_ｊ［ｎ］に対応する「ｎ」は、１フレーム分のサンプル数Ｌを用いてｎ＝（ｍ−１）×Ｌ＋ｋであり、β［ｋ］＝（Ｌ−ｋ）／（Ｌ−１）である。式（１３）は、フレーム処理により

と表すことができる。

本実装例において空間音響生成装置１００の制御部１０６は、フレーム処理において、フレーム区間Ｌ毎に音源と受音点間の距離ａ_ｊ［ｍ，１］を計算し、式（１５）からフレーム内の移動音源の信号ｗ_ｊ［ｍ，ｋ］を計算する。計算した信号ｗ_ｊ［ｍ，ｋ］に基づき、制御部１０６は、式（１１）を用いて逆フィルタを畳み込むことにより、スピーカへの入力信号ｙ_ｉ［ｎ］を求める。

以上の処理によると、例えば公知のＯｖｅｒＬａｐ Ａｄｄ法により移動音源について畳み込みを行った場合に想定されるようなフレーム毎のノイズを生じさせずに、スピーカへの入力信号ｙ_ｉ［ｎ］を得ることができる。また、処理のアルゴリズムが上記の手法よりも単純であり、計算コストを低減できる。さらに、音源の移動速度に応じてドップラー効果にも対応可能である。

以上の説明では、発音体が一つの点音源である例を説明した。発音体が複数の点音源である場合にも、各点音源ごとに式（１０）を計算して重ね合わせ、式（１１）を用いて逆フィルタを畳み込むことにより、スピーカへの入力信号ｙ_ｉ［ｎ］を求めることができる。また、発音体が振動面や非振動面を有している場合においても、発音体を点音源の集合として近似的に表すことにより、上記と同様にスピーカへの入力信号ｙ_ｉ［ｎ］を求められる。

また、以上の説明では、実装例の処理によって得られた移動音源の信号ｗ_ｊ［ｍ，ｋ］に逆システムを適用して、境界音場制御におけるスピーカへの入力信号ｙ_ｉ［ｎ］を求める例を説明した。上記の処理は、境界音場制御に限らず、例えばＷＦＳ（波面合成）方式や２ｃｈステレオ方式、バイノーラル方式などの各種再生方式に適用可能である。これにより、移動音源を再現するような各種スピーカやヘッドフォンへの入力信号を生成する際の計算コストを低減することができる。

また、空間音響生成装置１００において、検出部１１２や表示部１１４やスピーカアレイ１１６等を別筐体として表したが、これに限られず、同一筐体で構成してもよい。

また、空間音響生成装置１００が、外部機器２００等のクライアント端末からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却してもよい。

また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。

また、空間音響生成装置１００や外部機器２００等に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

例えば、空間音響生成装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサおよび当該プロセッサにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアプロセッサとして実現してもよい。尚、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて空間音響生成装置１００や外部機器２００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの記憶部１０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。

また、このコンピュータプログラムは、空間音響生成装置１００や外部機器２００に対して任意のネットワーク３００を介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳに代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。プログラムが、一時的でないコンピュータ読み取り可能な記録媒体に記録されたプログラム製品として本発明を構成してもよい。

記憶部１０６に格納される各種のデータベース等（関数ファイル１０６ａ，コンテンツファイル１０６ｂ等）は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および、ウェブページ用ファイル等を格納する。

また、空間音響生成装置１００や外部機器２００や検出部１１２や表示部１１４やスピーカアレイ１１６は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、空間音響生成装置１００や外部機器２００や検出部１１２や表示部１１４等は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。

更に、装置の分散及び／又は統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散及び／又は統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。以下、本発明に係る態様を例示する。

本発明に係る第１の態様は、複数のスピーカに接続された、記憶部と制御部とを備えた空間音響生成装置である。制御部は、移動する発音体を示す情報に基づき、発音体の移動に応じて時間毎の伝達特性を変化させながら逆システムを適用して、発音体が発する音を示す音源信号から、各スピーカへの複数の入力信号を算出する。逆システムは、境界音場制御において入力信号に基づきスピーカに三次元的な音響波面を形成させるように、複数のスピーカが配置された空間中の伝達特性に応じて入力信号を出力する。

第２の態様では、第１の態様の空間音響生成装置において、記憶部は、仮想的な三次元空間における発音体の位置座標から音圧の観測対象とする領域の境界までの時変の伝達特性を示す伝達関数と逆システムとによって規定される再生用信号出力関数を記憶する。移動する発音体を示す情報は、仮想的な三次元空間における発音体の音源信号と位置座標の時間関数とを含む。制御部は、発音体の音源信号および位置座標の時間関数を、再生用信号出力関数に入力して入力信号を導出する。

第３の態様では、第１の態様の空間音響生成装置において、移動する発音体を示す情報は、仮想的な三次元空間における発音体の位置座標の時間関数と発音体の音源信号とを含む。制御部は、位置座標の時間関数に基づいて、発音体の位置座標から音圧の観測対象とする領域の境界までの時変の伝達特性を示す伝達関数を算出し、伝達関数と逆システムとに基づいて、音源信号から入力信号を算出する。

第４の態様では、第２または第３の態様の空間音響生成装置において、制御部は、位置座標の時間関数を、仮想的な三次元空間における利用者と発音体との相対的な位置関係に基づいて算出する。

第５の態様では、第４の態様の空間音響生成装置において、空間音響生成装置は更に表示部を有する。制御部は表示部に仮想的な三次元空間上の発音体を表示するよう制御する。

第６の態様では、第５の態様の空間音響生成装置において、空間音響生成装置は更にボディソニックトランスデューサを有する。制御部はコンテンツ情報に応じて利用者を加振するようボディソニックトランスデューサを制御する。

第７の態様では、第２乃至第６のいずれか一つの空間音響生成装置において、制御部は、仮想的な三次元空間における利用者および／または発音体の速度に応じてドップラーシフトを再現する再生音響波面信号を演算する。

第８の態様は、第２乃至第７のいずれか一つの空間音響生成装置において、更に、発音体の移動に関する情報を検出する検出部に接続されている。制御部は、検出部の検出結果に基づいて、発音体の音源信号および位置座標の時間関数のうちの少なくとも一方を算出する。

第９の態様では、第８の空間音響生成装置において、検出部は、利用者の少なくとも一つの身体部位の動作を検出する。制御部は、検出部により検出される身体部位の動作に応じて、発音体の音源信号および位置座標の時間関数を算出する。

第１０の態様は、第９の空間音響生成装置において、制御部は、検出部により検出される身体部位の動作に応じてコンテンツ情報の表示制御を行う表示制御手段を備える。表示制御手段は、空間音響生成装置の構成要素の表示部を制御してもよいし、空間音響生成装置に接続された外部構成の表示部を制御してもよい。制御部は、身体部位の動作に応じたコンテンツ情報の変化に従って、対応する発音体の音源信号および位置座標の時間関数を算出する。

第１１の態様では、第１０の空間音響生成装置において、検出部は、利用者の手指の動作を検出する。表示制御手段は、検出部により検出される手指の動作で指示されたコンテンツ情報の移動を伴う表示制御を行う。

第１２の態様では、第１０または第１１の空間音響生成装置において、表示制御手段は、表示部の一例である頭部装着ディスプレイを制御して、仮想的な三次元空間においてコンテンツ情報の三次元表示制御を行う。

第１３の態様では、第１乃至１２のいずれか一つの空間音響生成装置において、制御部は、形成された音響波面を示す信号において再生方式を変換する再生方式変換手段を備える。

第１４の態様では、第１乃至１３のいずれか一つの空間音響生成装置において、制御部は、発音体の移動に応じて音源信号において端数処理を行って、端数処理の結果の音源信号から入力信号を算出する。

第１５の態様は、複数のスピーカと、記憶部と、制御部とを備えた空間音響生成システムである。制御部は、移動する発音体を示す情報に基づき、発音体の移動に応じて時間毎の伝達特性を変化させながら逆システムを適用して、発音体が発する音を示す音源信号から、各スピーカへの複数の入力信号を算出する。逆システムは、境界音場制御において入力信号に基づきスピーカに三次元的な音響波面を形成させるように、複数のスピーカが配置された空間中の伝達特性に応じて入力信号を出力する。

第１６の態様は、複数のスピーカに接続された、記憶部と制御部とを備えたコンピュータにおいて実行される空間音響生成方法である。本方法は、制御部が、移動する発音体を示す情報に基づき、発音体の移動に応じて時間毎の伝達特性を変化させながら逆システムを適用して、発音体が発する音を示す音源信号から、各スピーカへの複数の入力信号を算出するステップを含む。逆システムは、境界音場制御において入力信号に基づきスピーカに三次元的な音響波面を形成させるように、複数のスピーカが配置された空間中の伝達特性に応じて入力信号を出力する。本方法は、制御部が、入力信号に基づき各スピーカを制御するステップを含む。

第１７の態様は、複数のスピーカに接続された、記憶部と制御部とを備えたコンピュータに実行させるための空間音響生成プログラムである。本プログラムは、制御部に、移動する発音体を示す情報に基づき、発音体の移動に応じて時間毎の伝達特性を変化させながら逆システムを適用して、発音体が発する音を示す音源信号から、各スピーカへの複数の入力信号を算出するステップを実行させる。逆システムは、境界音場制御において入力信号に基づきスピーカに三次元的な音響波面を形成させるように、複数のスピーカが配置された空間中の伝達特性に応じて入力信号を出力する。本プログラムは、制御部に、入力信号に基づき各スピーカを制御するステップを実行させる。

以上詳述に説明したように、本発明によれば、仮想的な三次元空間において、任意にコンテンツ等が移動しうる場合であっても、臨場感のある三次元的な音響波面を伴う音場を生成することができる、空間音響生成装置、空間音響生成システム、空間音響生成方法、および、空間音響生成プログラム、ならびに、記録媒体を提供することができる。例えば、コンピュータエンジニアリングに詳しくないクリエータ等であっても、音像定位精度の良好な環境下で、指差し等で簡単にコンテンツを操作しながら各音源の配置等を変更することができるので、ゲーム産業やコンテンツ産業など多様な産業分野において有用である。

本発明は、空間音響生成装置、空間音響生成システム、空間音響生成方法、および、空間音響生成プログラムに関する。

従来、音響の再生方法としては、サラウンド再生方式が知られている。サラウンド再生方式は、２．０ｃｈのステレオ音響再生よりも多くのチャンネルを有しており、ステレオ音響よりも臨場感の高い音響を再生することを目的としている。しかしながら、従来のサラウンド再生方式は、音像定位精度が低いため、クリエータ等が求めるような高い品質の音響再生を実現することは難しかった。

そこで、より高い臨場感のある音場を生成するため、境界音場制御（Ｂｏｕｎｄａｒｙ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌ：ＢｏＳＣ）の原理に基づいた音場再現方法が提案されている（特許文献１参照）。境界音場制御（ＢｏＳＣ）は、境界から離れた点に音源を設置し、逆フィルタリングを用いて生成された信号を音源から出力させる方法を原理としている。それにより、領域を囲む境界上の音圧と音圧勾配を制御することにより、三次元音場内の任意の領域の音圧を制御することができ、没入感のある音響システムを構築することができる。これにより、聴覚刺激としての臨場感や没入感を得ることができるものの、ＢｏＳＣ音響システムそれ自体は、利用者の身体と相互作用するインタラクティブな対話型音響システムではなかった。

ここで、非特許文献１に記載のバーチャル卓球システムでは、フラーレン構造のマイクロホンアレイで予めサウンドボールの転がり音等を収録して、再生音場のスピーカから制御点までの伝達関数を打ち消す逆フィルタで畳み込んだ状態でデータベースに記憶させておき、マイクロソフト社製Ｋｉｎｅｃｔを介して打球動作の身体動作を検出したタイミングで、打球音や転がり音を三次元音場にて再現することが記載されている。

また、非特許文献２では、マイクロソフト社製Ｋｉｎｅｃｔを介して身体動きを検知し、動きのパターンから身体動作に合った音を推定しパラメータを変化させていくシステムについて記載されている。

特開２００８−１１８５５９号公報

小笠原圭祐、他，「身体運動と相互作用する三次元音場再生システムの構築―システムの基本構成―」，日本音響学会講演論文集，２０１３年９月，ｐ．７１５〜７１６ 北洞穂高、他，「身体動作認識に基づくインタラクティブサウンド生成システム」，Ｈｕｍａｎ−Ａｇｅｎｔ Ｉｎｔｅｒａｃｔｉｏｎ Ｓｙｍｐｏｓｉｕｍ ２０１３，ｐ．５１〜５４ 豊田将志（東北大学）、他，「３次元音空間内におけるドップラー効果のリアルタイムレンダリングに関する考察」，日本バーチャルリアリティ学会大会論文集（ＣＤ−ＲＯＭ）９巻２Ｃ３−３、２００４年９月８日

しかしながら、従来の音響再生システムは、フラーレン構造のマイクロホンアレイ等により予め収録された音響波面を再現するものであり、ゲーム空間のように仮想三次元空間上でコンテンツ等が任意に移動しうる場合等において、臨場感のある三次元的な音響波面を生成することができないという問題点を有していた。

本発明は、臨場感のある三次元的な音響波面を伴う音場を生成することができる、空間音響生成装置、空間音響生成システム、空間音響生成方法、および、空間音響生成プログラムを提供するものである。

このような目的を達成するため、本発明の空間音響生成装置は、複数のスピーカに接続された、記憶部と制御部とを備えた空間音響生成装置であって、前記制御部は、移動する発音体を示す情報に基づき、前記発音体の移動に応じて時間毎の伝達特性を変化させながら逆フィルタリングを適用して、前記発音体が発する音を示す音源信号から、前記各スピーカへの複数の入力信号を算出し、前記逆フィルタリングは、境界音場制御において前記入力信号に基づき前記スピーカに三次元的な音響波面を形成させるように、前記複数のスピーカが配置された空間中の伝達特性に応じて前記入力信号を出力すること、を特徴とする。

また、本発明は、空間音響生成システムに関するものである。本発明の空間音響配置システムは、複数のスピーカと、記憶部と、制御部とを備えた空間音響生成システムであって、前記制御部は、移動する発音体を示す情報に基づき、前記発音体の移動に応じて時間毎の伝達特性を変化させながら逆フィルタリングを適用して、前記発音体が発する音を示す音源信号から、前記各スピーカへの複数の入力信号を算出し、前記逆フィルタリングは、境界音場制御において前記入力信号に基づき前記スピーカに三次元的な音響波面を形成させるように、前記複数のスピーカが配置された空間中の伝達特性に応じて前記入力信号を出力すること、を特徴とする。

また、本発明は、空間音響生成方法に関するものである。本発明の空間音響配置方法は、複数のスピーカに接続された、記憶部と制御部とを備えたコンピュータにおいて実行される空間音響生成方法であって、前記制御部が、移動する発音体を示す情報に基づき、前記発音体の移動に応じて時間毎の伝達特性を変化させながら逆フィルタリングを適用して、前記発音体が発する音を示す音源信号から、前記各スピーカへの複数の入力信号を算出するステップであって、前記逆フィルタリングは、境界音場制御において前記入力信号に基づき前記スピーカに三次元的な音響波面を形成させるように、前記複数のスピーカが配置された空間中の伝達特性に応じて前記入力信号を出力する、ステップと、前記入力信号に基づき各スピーカを制御するステップと、を実行することを特徴とする。

また、本発明は、空間音響配置プログラムに関するものである。本発明の空間音響配置プログラムは、複数のスピーカに接続された、記憶部と制御部とを備えたコンピュータに実行させるための空間音響生成プログラムであって、前記制御部に、移動する発音体を示す情報に基づき、前記発音体の移動に応じて時間毎の伝達特性を変化させながら逆フィルタリングを適用して、前記発音体が発する音を示す音源信号から、前記各スピーカへの複数の入力信号を算出するステップであって、前記逆フィルタリングは、境界音場制御において前記入力信号に基づき前記スピーカに三次元的な音響波面を形成させるように、前記複数のスピーカが配置された空間中の伝達特性に応じて前記入力信号を出力する、ステップと、前記入力信号に基づき各スピーカを制御するステップと、を実行させることを特徴とする。

本発明によれば、臨場感のある三次元的な音響波面を伴う音場を生成することができる、という効果を奏する。

図１は、本発明の実施形態にかかる空間音響生成システムの構成を示す構成図である。 図２は、本実施の形態におけるＢｏＳＣ再生方式のスピーカアレイの一例を示す図である。 図３は、境界音場制御（ＢｏＳＣ）の原理に基づいた、移動する発音体による３Ｄ波面生成システムの構成例を示す図である。 図４は、移動する発音体と領域Ｖの関係を模式的に示す図である。 図５は、本実施の形態の空間音響生成システムにおける基本処理の一例を示すフローチャートである。 図６は、本実施の形態の空間音響生成システムにおける具体化処理の一例を示すフローチャートである。 図７は、図３に関連して、境界音場制御（ＢｏＳＣ）の原理に基づく空間音響生成アルゴリズムを模式的に示した図である。 図８は、三次元音場を移動する発音体と波面観測対象領域Ｖの関係を示す図である。 図９は、空間音響生成装置１００の具体的装置構成における処理内容や記憶内容を示すワークフロー図である。 図１０は、ＭＩＭＯ逆フィルタリングを用いてスピーカアレイ１１６の各スピーカへの入力信号を求めることを模式的に示した図である。 図１１は、空間音響生成装置１００の具体的装置構成における処理内容や記憶内容を示すワークフロー図である。 図１２は、空間音響生成システムにおけるスピーカアレイの変形例を示す図である。

以下に、本発明の実施の形態にかかる空間音響生成装置、空間音響生成システム、空間音響生成方法、および、空間音響生成プログラム、並びに、記録媒体について、図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

まず、以下、本発明にかかる本実施の形態の構成について説明し、その後、本実施の形態の処理等について詳細に説明する。ここで、図１は、本発明の実施形態にかかる空間音響生成システムの構成を示す構成図であり、該構成のうち本実施の形態に関係する部分を主に概念的に示している。

図１に示すように、本実施の形態において、空間音響生成システムは、空間音響生成装置１００と、検出部１１２と、表示部１１４と、スピーカアレイ１１６とを備えて構成される。なお、図１に示すように、空間音響生成装置１００は、ネットワーク３００を介して外部機器２００と接続されてもよい。ここで、空間音響生成装置１００は、パーソナルコンピュータや、サーバ用コンピュータ、タブレット型コンピュータなどである。ネットワーク３００は、空間音響生成装置１００と外部機器２００とを相互に接続する機能を有し、例えば、ＬＡＮやインターネット等である。

ここで、図１において、検出部１１２は、利用者の少なくとも一つの身体部位の動作を認識する動作認識手段である。例えば、検出部１１２は、カメラや赤外線センサ等の任意の検出手段によって、人物の動きを認識してもよい。一例として、検出部１１２は、公知のジェスチャー認識技術や、公知のモーションセンサ等を用いて利用者の動きを検出してもよい。ジェスチャーは、物理空間における利用者の位置および動きから得ることができ、手指や腕や脚の動き、または静止姿勢というような、動的または静的な、任意の利用者の動きを含むことができる。

本実施の形態の一例として、検出部１１２において、カメラのようなキャプチャー・デバイスが、ユーザー画像データを取り込み、このユーザー画像データから、利用者のジェスチャー（１つまたは複数）を認識してもよい。より具体的には、検出部１１２は、コンピュータ環境を使用して、利用者の三次元物理空間において利用者によって行われたジェスチャーを認識および分析し、解釈した利用者の動作データや属性データ等または解析前ローデータを、空間音響生成装置１００に送信してもよい。一例として、検出部１１２は、ある方向を指さす動き、ある方向に手を押し出す動き、ある方向に脚を蹴り上げる動き、あたかもボールを投げる動き、ヘディングする動き、両手で何かを捕まえる動き、指揮棒を振る動き等の動きを認識してもよい。

公知のモーション認識手段の一例として、マイクロソフト社製Ｘｂｏｘ Ｏｎｅ用モーションセンサのＫｉｎｅｃｔセンサを用いてもよい。Ｋｉｎｅｃｔ技術によれば、全身骨格のスケルトン動作データや属性データを得ることができる。なお、公知のモーションセンサでは、センサ内蔵の制御手段を用いて人物の動きや属性が解析されるか、あるいは、接続されたコンピュータの制御手段にて人物の動きや属性が解析されるが、本実施の形態はいずれであってもよい。例えば、本実施の形態は、これら解析機能を、検出部１１２の制御手段（プロセッサ等）により実現してもよく、空間音響生成装置１００の制御手段（後述する音源算出部１０２ｂ等）により実現してもよく、あるいは両者の制御手段により解析機能を実現してもよい。

このほか、検出部１１２は、タッチパッドやタッチパネルやマイクロホンアレイ等の検出手段を更に備えてもよい。また、検出部１１２は、直接、人の身体を検出することに限られず、Ｆａｃｅｂｏｏｋ社製Ｏｃｕｌｕｓ ＲｉｆｔのＯｃｕｌｕｓ Ｔｏｕｃｈコントローラのように、利用者が装着したコントローラや標識（例えば二次元コードタグ）等の動きを検出することによって、間接的に、身体の動きを検出してもよいものである。

また、図１において、表示部１１４は、コンテンツ情報を表示する表示手段である。一例として、表示部１１４は、頭部装着ディスプレイ（ＨＭＤ）、液晶ディスプレイ、プロジェクタ等であってもよい。なお、表示部１１４は、二次元表示を行うものであってもよいし、三次元表示を行うものであってもよい。後述するように、受聴者はこの表示部１１４に表示される音源の位置に音像が定位されるように合成された音波を受聴する。

また、図示しないが受聴者はシートに着座したり、加振版の上に立つようにしてもよい。このシートや加振板にボディソニックトランスデューサを接続し、制御部がコンテンツ情報に合わせて受聴者に振動を加えるようにトランスデューサを制御すれば、受聴者は迫力のあるコンテンツを楽しむことができる。

また、図１において、スピーカアレイ１１６は、複数のスピーカが三次元配置された音声出力手段である。本実施の形態において、スピーカアレイ１１６は、音場制御（ＢｏＳＣ）再生方式のスピーカアレイである。ここで、図２は、本実施の形態におけるＢｏＳＣ再生方式のスピーカアレイの一例を示す図である。

図２は、樽状の音場再生室を形成する音響樽型のスピーカアレイ１１６を例示している。また、図２に示すように、本実施の形態のスピーカアレイ１１６は、楕円形のドーム部２２０および柱部２２２を含む。この楕円形のドーム部２２０は、たとえば木製の架台２２０ａ、２２０ｂ、２２０ｃ、２２０ｄによって構成される。ただし、図２は、ドーム部２２０の内部をその斜め下方から見た図であり、架台２２０ｄおよび柱部２２２についてはその一部のみを示している。図示しないが、ドーム部２２０および柱部２２２の内部は空洞であり、架台２２０ａ−２２０ｄ自体が密室型エンクロージャの役割を果たす。

また、本実施形態のスピーカアレイ１１６の各々には、一例として９６個のラウドスピーカ２３０が設置される。ここで、ラウドスピーカ２３０として、フルレンジユニット（Ｆｏｓｔｅｘ ＦＥ８３Ｅ）のスピーカや、低域を補うためのサブウーファーユニット（Ｆｏｓｔｅｘ ＦＷ１０８Ｎ）のスピーカが設置されてもよい。このようなスピーカアレイ１１６は、音場再生室内に設置されてもよく、例えば、１．５帖の防音室である、ＹＡＭＡＨＡウッディボックス（遮音性能Ｄｒ−３０）を用いてもよい。また、音場再生室内には、リフト付きの椅子（図示せず）や上述のＫＩＮＥＣＴ等の検出部１１２や表示部１１４が設けられてもよい。

なお、ＢｏＳＣ再生方式のスピーカアレイ１１４や、そのためのコンピュータシステム等を含む音場再現システムについては、「１．数値解析技術と可視化・可聴化 １．７三次元音場通信システム」 榎本成悟 音響技術 Ｎｏ．１４８／Ｄｅｃ．２００９ ｐｐ３７−４２や特開２０１２−８５０３５号公報等の公知の文献を参照してもよい。

つづいて、本実施の形態の空間音響生成装置１００の構成について説明する。図１に示すように、空間音響生成装置１００は、概略的に、空間音響生成装置１００の全体を統括的に制御するＣＰＵ等の制御部１０２、通信回線等に接続されるルータ等の通信装置（図示せず）に接続される通信制御インターフェース部１０４、タッチパネル等の検出部１１２や表示部１１４やスピーカアレイ１１６等に接続される入出力制御インターフェース部１０８、および、各種のデータベースやテーブルなどを格納する記憶部１０６を備えて構成されており、これら各部は任意の通信路を介して通信可能に接続されている。

記憶部１０６は、各種のデータベースやテーブル（例えば、関数ファイル１０６ａやコンテンツファイル１０６ｂ等）を格納する。記憶部１０６は、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を用いて構成される小容量高速メモリ（例えば、キャッシュメモリ）等や、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の固定ディスク装置等のストレージ手段であり、各種処理に用いる各種のプログラムやテーブルやファイルやデータベースやウェブページ等を格納する。

関数ファイル１０６ａは、信号処理を行うための関数を記憶する関数記憶手段である。例えば、本実施形態において、関数ファイル１０６ａは、利用者の頭部を含む領域の境界面上の音圧信号からスピーカアレイ１１６の各スピーカへの入力信号を出力する逆フィルタリング、および、仮想的な三次元空間における発音体の位置座標から境界面上の音圧信号の位置座標までの伝達関数に基づく、再生用信号出力関数を記憶する。ここで、図３を参照して、本実施形態の再生用信号出力関数を説明する。図３は、境界音場制御（ＢｏＳＣ）の原理に基づいた、移動する発音体による３Ｄ波面生成システムの構成例を示す図である。以下では、本システムについて境界要素法の適用例を説明する。

１．発音体の物理条件
１．１ Ｎ個の点音源
まず、発音体において、ｉ番目の点音源の大きさをｑ_ｉ（ω）、時間ｔにおける位置をｒ´（ｔ）とする。

１．２ 形状を有する発音体
ここで、移動する発音体の形状の境界面をＳとする。境界面Ｓは、振動面が既知の面Ｓ´と、音響アドミタンスが既知の壁面Ｓ´´から構成される。境界面Ｓを、Ｍ個の微小要素に分割したとき、１・・・Ｍ´番目の要素が面Ｓ´に含まれ、Ｍ´＋１・・・Ｍ番目の要素が面Ｓ´´に含まれるものとする。

１．２．１ 振動面
ｉ番目の要素の振動速度をｕ_ｉ（ω）（ｉ＝１・・・Ｍ´）、時間ｔにおける位置をｒ_ｉ（ｔ）（∈Ｓ´）とする。

１．２．２ 非振動面
壁面のｉ番目の要素の音響アドミタンスをｚ_ｉ（ω）（ｉ＝Ｍ´＋１・・・Ｍ）、時間ｔにおける位置をｒ_ｉ（ｔ）（∈Ｓ´）とする。

１．３ 発音体を駆動する音源信号Ｓ（ω）
点音源の大きさｑ_ｉ（ω）および音源の振動速度ｕ_ｉ（ω）は、音源信号Ｓ（ω）に比例し、比例定数ａ_ｉ（ω），ｂ_ｉ（ω）を用いて、ｑ_ｉ（ω）＝ａ_ｉ（ω）Ｓ（ω），ｕ_ｉ（ω）＝ｂ_ｉ（ω）Ｓ（ω）と表される。

以上が、発音体の物理条件である。つづいて、上記物理条件の発音体による波面を観測する対象領域（すなわち受聴者の頭部を含む領域に対応）Ｖを取り囲む境界面Ｓ上の音圧信号について説明する。

２．波面観測対象領域Ｖを取り囲む境界面Ｓ上の音圧信号
境界面ＳをＮ点の要素に離散化し、ｊ番目の要素の位置ｒ＾_ｊ（表記上“＾”を手前の文字に続けて記載しているが正式には手前の文字の上に記載される（以下も同じ））、時間ｔにおける音圧信号をｐ（ｒ＾_ｊ，ｔ）とする。

３．システムｃ（ｒ＾_ｊ，ｔ，τ）
このような場合、移動する発音体（ｒ´（ｔ）に位置する点音源、各要素がｒ_ｉ（ｔ）に位置する形状を有する発音体の合成）を駆動する音源信号ｓ（ｔ）を入力として、受音点における音圧信号ｐ（ｒ＾_ｊ，ｔ）を出力とするシステムｃ（ｒ＾_ｊ，ｔ，τ）は、以下のように表せる。

ここで、ｃ（ｒ＾_ｊ，ｔ，τ）は、時変の伝達特性を表しており、発音体が移動することにより伝達関数が時間ｔに応じて変化する時変システムである。このため、式（１）のフーリエ変換による周波数軸上での以下の演算式は成り立たない（ｃ（ｒ＾_ｊ，ｔ，τ）の算出方法は７．にて後述する）。

４．逆フィルタリング
ここで、波面観測対象領域Ｖ（閉領域）を取り囲む境界面Ｓ（閉曲面）上のＮ点で計測した音圧信号ｐ（ｒ＾_ｊ，ｔ）から、音場再生用スピーカアレイ１１６のスピーカへの入力信号を出力する逆フィルタリングについて考える。本実施形態において、逆フィルタリングとは、Ｍ×Ｎ個の逆フィルタ群の総称である。なお、逆フィルタの設計方法として、公知の文献（Ｓ．Ｅｎｏｍｏｔｏ ｅｔ ａｌ．， “Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｓｏｕｎｄ ｆｉｅｌｄ ｒｅｐｒｏｄｕｃｔｉｏｎ ａｎｄ ｒｅｃｏｒｄｉｎｇ ｓｙｓｔｅｍｓ ｂａｓｅｄ ｏｎ ｂｏｕｎｄａｒｙ ｓｕｒｆａｃｅ ｃｏｎｔｒｏｌ ｐｒｉｎｃｉｐｌｅ”， Ｐｒｏｃ． ｏｆ １４ｔｈ ＩＣＡＤ， Ｐｒｅｓｅｎｔａｔｉｏｎ ｏ １６， ２００８ Ｊｕｎ．）を参照することができる。

まず、スピーカアレイ１１６が設置された音場再生室内にＭ個のスピーカを設置し、波面再生対象領域Ｖ´（閉領域）を取り囲む境界面Ｓ´（閉曲面）上のＮ個にマイクロホンを設置する。そして、ｉ番目のスピーカ（ｉ＝１・・・Ｍ）からｊ番目のマイクロホン（ｊ＝１・・・Ｎ）へのインパルス応答ｈ_ｉｊ（ｔ）（ｉ＝１・・・Ｍ，ｊ＝１・・・Ｎ）を計測し、フーリエ変換する。ここで、Ｈ_ｉｊ（ω）は、音源ｉからマイクロホンの位置点ｊまでの伝達関数であり、以下の式で表せる。

さらに、Ｈ_ｉｊ（ω）は、各々の角速度ω毎に、以下のマトリクスで表せる。

そして、逆フィルタリングＨ＾_ｊｉ（ω）を求めるため、［Ｈ＾_ｊｉ（ω）］［Ｈ_ｉｊ（ω）］＝Ｉ（ただし、ＩはＮ次元単位行列）となるような［Ｈ_ｉｊ（ω）］の擬似逆行列［Ｈ＾_ｊｉ（ω）］を求める。ここで、擬似逆行列［Ｈ＾_ｊｉ（ω）］は、以下のように表せる。

そして、スピーカアレイ１１６のｉ番目のスピーカ（ｉ＝１・・・Ｍ）から出力する再生用信号Ｙ_ｉ（ω）は、原音場における境界面Ｓ上の音圧信号Ｐ（ｒ＾_ｊ，ｔ）と逆フィルタリングＨ＾_ｊｉ（ω）を乗算して、ｊに関する総和を求める以下の数式で算出される。

上の式をフーリエ変換すれば以下の式で表せる。

ただし、ｈ＾_ｊｉ（ｔ）は、以下となる。

以上のような逆フィルタリングＨ＾_ｊｉ（ω）（或いは等価的にｈ＾_ｊｉ（ｔ））のアルゴリズムによると、スピーカアレイ１１６が設置された空間中の伝達関数Ｈ_ｉｊ（ω）の影響を打ち消すように、再生用信号Ｙ_ｉ（ω）（或いはｙ_ｉ（ｔ））を出力することができる。

５．再生用信号出力関数ｆ_ｉ（ｔ，τ）
ここで、式（２）に式（１）を代入すると、再生用信号ｙ_ｉ（ｔ）は以下のように表せる。

したがって、ｆ_ｉ（ｔ，τ）を以下とおくと、再生用信号ｙ_ｉ（ｔ）の出力関数が定められる。

上記の再生用信号ｙ_ｉ（ｔ）についての再生用信号出力関数は、音源信号ｓ（ｔ）を入力として受音点における再生用信号ｙ_ｉ（ｔ）を出力とするシステムｆ_ｉ（ｔ，τ）である。これにより、移動する発音体から利用者の頭部を含む領域の境界面上の音圧信号への時変の伝達特性を考慮して逆フィルタリングを用いて、移動する発音体の音源信号から、スピーカへの入力信号を求めることができる。例えば、上式（４１）の位置座標ｒ＾_ｊを時間ｔの関数として設定可能に関数化することにより、上式（４２）等に対応する再生用信号出力関数が構成されてもよい。

６．ドップラー効果の考慮
発音体が高速で移動する場合、ドップラー効果による周波数シフトが生じる。ここで、図４は、移動する発音体と領域Ｖの関係を模式的に示す図である。図４に示すように、発音体の大きさと波面観測対象領域の大きさが発音体の中心座標と波面観測対象領域の中心座標の距離に比較して十分小さい場合、発音体の速度ｖ_ｓ、発音体の移動方向と波面進行方向のなす角度θ、音速ｖ_ｃとすると、波面観測対象領域で計測する音圧信号は以下となる。

この場合、上述の再生用信号出力関数（式（４２））は、ドップラー効果を考慮した以下の式にて表せる。

７．伝達関数ｃ（ｒ＾_ｊ，ｔ，τ）の算出方法
７．１ 時間を固定した場合の伝達関数の定式化
上述の〈１．発音体の物理モデル〉にて記載した物理パラメータを用いて、キルヒホッフ−ヘルムホルツ積分方程式を記述する。ある時間ｔにおける発音体の位置ベクトルを固定した場合、すなわちｒ´_ｉ（ｔ）＝ｒ´_ｉ，ｒ_ｉ（ｔ）＝ｒ_ｉとすると、点音源の大きさは以下の式で表せる。

ここで、さらに離散化することにより次式が得られる。

ｓ＝ｒ_ｊ（ｊ＝１・・・Ｍ）として、上記の式（５）を連立させると、α（ｓ）＝１／２（ｓ∈Ｓ´，Ｓ´´）であるため、以下の式が得られる。

Ｐ（ｒ_ｊ，ω）の項を左辺へ移項し、マトリクスで表すと以下のようになる。

ただし、

したがって、境界面Ｓ´およびＳ´´上の音圧は、次式で求めることができる。

発音体の外部領域にある受音点ｒ＾_ｊ（α（ｓ）＝１）における音圧信号は、以下のように式（５）に式（６）を代入することにより得られる。

上記の式を解くことにより、発音体の外部領域にある受音点ｒ＾_ｊ（α（ｓ）＝１）における音圧信号が得られる。また、ｑ_ｉ（ω）＝ａ_ｉＳ（ω），ｕ_ｉ（ω）＝ｂ_ｉＳ（ω）であるため、音源信号Ｓ（ω）を入力として受音点における音圧Ｐ（ｒ＾_ｊ，ω）を出力とするシステムＣ（ｒ＾_ｊ，ω）は、以下のとおりに得られる。

７．２ 時間を考慮した場合の伝達関数の定式化
つづいて、時間固定を解除するため、発音体の位置ベクトルをｒ´_ｉ＝ｒ´_ｉ（ｔ），ｒ_ｉ＝ｒ_ｉ（ｔ）として、移動する発音体の時間ｔにおける伝達関数ｃ（ｒ＾_ｊ，ｔ，τ）を求める。すなわち、上記の式（７）の中で用いられる、│ｒ´_ｉ−ｒ_ｊ│，│ｒ_ｉ−ｒ_ｊ│，│ｒ´_ｉ−ｒ＾_ｊ│などのベクトル間の距離計算を│ｒ´_ｉ（ｔ）−ｒ_ｊ│，│ｒ_ｉ（ｔ）−ｒ_ｊ（ｔ）│，│ｒ´_ｉ（ｔ）−ｒ＾_ｊ│に置き換えたｃ（ｒ＾_ｊ，ω）をｃ（ｒ＾_ｊ，ｔ，ω）とする。さらに、求めたｃ（ｒ＾_ｊ，ｔ，ω）を逆フーリエ変換すれば、時間を考慮したシステムの伝達関数ｃ（ｒ＾_ｊ，ｔ，τ）が以下の式で得られる。

以上が、関数ファイル１０６ａに記憶される本実施形態の再生用信号出力関数の一例である。なお、上記の再生用信号出力関数に限られず、境界音場制御（ＢｏＳＣ）の原理に基づいて、公知の近似的手法等により再生用信号出力関数を求めて用いてもよい。例えば、上記の説明では再生用信号出力関数を求めるために境界要素法を用いる例を説明したが、境界要素法の代わりに有限要素法や差分法などの各種の数値計算手法が用いられてもよい。

再び図１に戻り、コンテンツファイル１０６ｂは、コンテンツ情報を記憶するコンテンツ情報記憶手段である。例えば、コンテンツファイル１０６ｂは、仮想空間上に配置可能な種々のデータ（画像データや音源データ等）を記憶してもよい。一例として、コンテンツファイル１０６ｂは、ゲーム空間などの三次元仮想空間を構成する種々の要素データ（ポリゴンデータや属性データ等）を記憶してもよい。このような要素データのうちいくつかは、上述した発音体として、音源信号等のデータに関連づけられている。コンテンツデータは、発音体の物理条件（即ち境界条件）を示す情報の一例である。

一例として、コンテンツファイル１０６ｂは、仮想的にオーケストラの奏者配置が可能な三次元仮想空間を規定するコンテンツ情報を記憶してもよい。なお、コンテンツファイル１０６ｂは、ネットワーク３００を介して、サーバ等の外部機器２００からコンテンツ情報を一時的に又は恒久的に取得して記憶してもよいものである。

また、図１において、入出力制御インターフェース部１０８は、キーボード等の検出部１１２や出力部１１４の制御を行うインターフェース部の一例である。入出力制御インターフェース部１０８は、一つ又は複数のインターフェース回路を含む。表示手段としての出力部１１４としては、モニタ（家庭用テレビやタッチスクリーンモニタ等を含む）等を用いることができる。また、検出部１１２としては、ＧＰＳセンサやＩＭＥＳセンサなどの位置情報取得手段や、タッチパネル、音声マイク、キーボード、カメラ、加速度センサなどの各種センサ等を用いることができる。一例として、検出部１１２および出力部１１４は、液晶パネル等の出力部１１４と、タッチ位置入力装置等の検出部１１２とを組み合わせたタッチパネル等の入出力手段であってもよい。

また、図１において、制御部１０２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有する。制御部１０２は、内部メモリに格納されたプログラム等により、種々の処理を実行するための情報処理を行うＣＰＵ等のプロセッサである。制御部１０２は、機能概念的に、表示制御部１０２ａ、音源算出部１０２ｂ、波面出力制御部１０２ｃ、および、再生方式変換部１０２ｄを備えて構成されている。

表示制御部１０２ａは、コンテンツ情報の表示制御を行う表示制御手段である。例えば、表示制御部１０２ａは、検出部１１２により検出される身体部位の動作に応じてコンテンツ情報の表示制御を行ってもよい。一例として、表示制御部１０２ａは、検出部１１２により検出される利用者の手指等の動作で指示されたコンテンツ情報の移動を伴う表示制御を行ってもよい。例えば、表示制御部１０２ａは、コンテンツファイル１０６ｂから読み出された仮想三次元空間の各要素をＨＭＤ等の表示部１１４に表示し、検出部１１２を介して利用者に手指で要素を指し示すよう制御して、指示された要素を移動対象として利用者の手の動きに合わせて移動させてもよい。

上記の例に限られず、表示制御部１０２ａは、ゲーム要素を含むゲーム空間を表示させて、利用者の仮想上のボール等を投げる動きや、キックやヘディングをする動き、両手で捉える動きに応じて、ボール等の要素を表示上、移動させてもよい。なお、表示制御部１０２ａは、要素の移動のみならず、要素の発生や消滅などを利用者の動作に応じて引き起こしてもよいものである。なお、このような検出部１１２を介した表示制御部１０２ａによる制御方法として、マイクロソフト社製Ｘｂｏｘ等の公知の非接触ゲーム制御方法を用いてもよい。なお、仮想空間上において利用者とコンテンツとは相対的な位置関係にあることから、表示制御部１０２ａが、検出部１１２により検出される動作に応じてコンテンツ情報の表示制御を行うことには、仮想空間上において、利用者が動作に応じて自らの位置を変更する場合も含まれる。

また、音源算出部１０２ｂは、移動する発音体から利用者の頭部を含む領域の境界面上の音圧信号への時変の伝達特性を考慮した逆フィルタリングを用いて、移動する発音体の音源信号から、スピーカへの入力信号を算出する音源算出手段である。例えば、音源算出部１０２ｂは、関数ファイル１０６ａに記憶された関数に基づいて、音源信号から入力信号を算出してもよい。

一例として、音源算出部１０２ｂは、利用者の身体部位の動作に応じたコンテンツ情報の変化に従って、対応する発音体の音源信号および位置座標の時間関数を算出してもよい。すなわち、音源算出部１０２ｂは、表示制御部１０２ａによるコンテンツ情報の変化に応じて、移動等の変化の対象となったコンテンツ要素に関連付けられた音源信号ｓ（ｔ）をコンテンツファイル１０６ｂ等から読み出し、検出部１１２を介した利用者の身体部位の動作に応じたコンテンツ情報の変化に伴う位置座標の時間関数ｒ_ｉ（ｔ），ｒ´_ｉ（ｔ）から信号処理を行う。例えば、本実施形態において、音源算出部１０２ｂは、音源信号ｓ（ｔ）およびｒ_ｉ（ｔ），ｒ´_ｉ（ｔ）を、関数ファイル１０６ａに記憶された上述の式（４１），（４２）に代入する。

また、音源算出部１０２ｂは、仮想的な三次元空間における利用者および／または発音体の速度に応じてドップラーシフトを再現する再生音響波面信号を演算してもよい。具体的には、音源算出部１０２ｂは、一例として、関数ファイル１０６ａに記憶された上述の式（４３）〜（４５）等に代入することによりドップラーシフトを考慮した再生音響波面信号を求めることができる。なお、音源算出部１０２ｂは、位置座標の時間関数ｒ_ｉ（ｔ），を、ｒ_ｉ´（ｔ）を、仮想的な三次元空間における利用者と発音体との相対的な位置関係に基づいて算出してもよい。これにより、例えば、発音体が速度ｖ_ｓで受聴者の領域Ｖに向かって移動している場合のみならず、受聴者の領域Ｖが発音体に対して移動している場合も、ドップラー効果を発生させることができる。

また、波面出力制御部１０２ｃは、音源算出部１０２ｂにより得られる入力信号を、スピーカアレイ１１６の各スピーカへ入力することにより、仮想的な三次元空間を移動する発音体による三次元的な音響波面を形成させる波面出力制御手段である。例えば、波面出力制御部１０２ｃは、音源算出部１０２ｂにより得られる、発音体の音源信号および位置座標の時間関数を、関数ファイル１０６ａの再生用信号出力関数に入力して導出した入力信号を、スピーカアレイ１１６の各スピーカへ入力することにより、仮想的な三次元空間を移動する発音体による三次元的な音響波面を出力制御してもよい。より具体的には、波面出力制御部１０２ｃは、発音体の音源信号ｓ（ｔ）および位置座標の時間関数ｒ_ｉ（ｔ），ｒ_ｉ´（ｔ）を、再生用信号出力関数（上述の式（４）〜（４２）等）に入力して導出した入力信号ｙ_ｉ（ｔ）を、スピーカアレイ１１６の各スピーカへ入力することにより、音場再生室内に３Ｄ音響波面を形成させる。これにより、音像定位精度を高めた音声出力を行うことができる。

また、再生方式変換部１０２ｄは、再生音響波面信号による音響波面出力等を、他の公知の再生方式へ変換する再生方式変換手段である。例えば、再生方式変換部１０２ｄは、スピーカアレイ１１６による９６ｃｈの再生音響波面信号の音響波面出力を、公知の再生方式変換手法を用いて、２ｃｈのステレオ再生方式や、５．１ｃｈの再生方式に変換することができる。これにより、クリエータ等の利用者が、音像定位精度のよい環境下で、制作した三次元的音源空間配置結果を、ステレオスピーカやサラウンドスピーカ群でも再生可能なようにデータ変換して配布することができる。例えば、再生方式変換部１０２ｄは、変換した音楽データ等を、ネットワーク３００を介して、他の外部機器２００へ送信してもよい。

本実施形態において、空間音響生成装置１００は、ルータ等の通信装置および専用線等の有線または無線の通信回線を介して、ネットワーク３００に通信可能に接続されてもよい。なお、空間音響生成装置１００は、コンテンツ情報を記憶するコンテンツデータベースや、空間音響生成プログラム等の外部プログラム等を提供する外部機器２００と、ネットワーク３００を介して通信可能に接続して構成されてもよい。

また、図１において、通信制御インターフェース部１０４は、空間音響生成装置１００とネットワーク３００（またはルータ等の通信装置）との間における通信制御を行う装置である。すなわち、通信制御インターフェース部１０４は、他の端末または局と、通信回線（有線、無線を問わない）を介してデータを通信する機能を有する。本実施の形態において、通信制御インターフェース部１０４は、外部機器２００等との通信制御を行う。すなわち、外部機器２００は、ネットワーク３００を介して、空間音響生成装置１００、検出部１１２、表示部１１４と相互に接続され、各端末に対して外部データベースやプログラム等の外部プログラム等を実行するウェブサイトを提供する機能を有してもよい。

ここで、外部機器２００は、例えば、パーソナルコンピュータや、サーバ用のコンピュータなどのハードウェア要素と、オペレーティングシステム、アプリケーションプログラム、その他のデータなどのソフトウェア要素とで実現されてもよい。例えば、外部機器２００は、ＷＥＢサーバやＡＳＰサーバ等として構成していてもよく、そのハードウェア構成は、一般に市販されるワークステーション、パーソナルコンピュータ等の情報処理装置およびその付属装置により構成していてもよい。また、外部機器２００の各機能は、外部機器２００のハードウェア構成中のＣＰＵ等のプロセッサ、ディスク装置、メモリ装置、入力装置、出力装置、通信制御装置等およびそれらを制御するプログラム等により実現される。

以上で、本実施の形態の空間音響生成システムの各構成の説明を終える。

［基本処理］
まず、本実施の形態における空間音響生成システムの基本処理の一例について、図５を参照して説明する。ここで、図５は、本実施の形態の空間音響生成システムにおける基本処理の一例を示すフローチャートである。

図５に示すように、まず、本空間音響生成システムの空間音響生成装置１００は、音源算出部１０２ｂの制御により、仮想三次元空間を移動しうる発音体の音源信号ｓ（ｔ）および位置座標の時間関数ｒ_ｉ（ｔ），ｒ´_ｉ（ｔ）を算出する（ステップＳＡ−１）。ここで、発音体の移動は、予め定められたものであってもよいし、利用者からの入力に伴うものであってもよい。

例えば、音源算出部１０２ｂは、コンテンツファイル１０６ｂ等に記憶された移動軌跡データに基づいて位置座標と音源信号を算出してもよい。また、音源算出部１０２ｂは、利用者の入力によるゲームコンテンツ情報等の変化に応じて、移動対象のコンテンツに対応する音源信号ｓ（ｔ）と、コンテンツ情報の変化に伴う当該コンテンツ要素の位置座標の時間関数ｒ_ｉ（ｔ），ｒ´_ｉ（ｔ）を算出してもよい。

そして、本空間音響生成システムの空間音響生成装置１００は、音源算出部１０２ｂの制御により、音源信号ｓ（ｔ）および移動座標の時間関数ｒ_ｉ（ｔ），ｒ´_ｉ（ｔ）を、関数ファイル１０６ａに記憶された再生用信号出力関数に代入する（ステップＳＡ−２）。以上の処理（ステップＳＡ−１〜２）により、移動する発音体から利用者の頭部を含む領域の境界面上の音圧信号への時変の伝達特性を考慮した逆フィルタリングを用いて、移動する発音体の音源信号から、スピーカへの入力信号を算出することができる。

すなわち、再生用信号出力関数は、利用者の頭部を含む領域Ｖ´の境界面Ｓ´上の音圧信号ｐ（ｒ＾_ｊ，ｔ）からスピーカアレイ１１６の各スピーカへの入力信号Ｙ_ｉ（ω）（ｉ＝１・・・Ｍ）を出力する逆フィルタリングＨ＾_ｊｉ（ω）、および、仮想的な三次元空間における発音体の位置座標ｒ_ｊ（ｔ）（ｊ＝１・・・Ｎ）から境界面Ｓ´上の音圧信号ｐ（ｒ＾_ｊ，ｔ）の位置座標ｒ＾_ｊまでの伝達関数ｃ（ｒ＾_ｊ，ｔ，τ）に基づく、再生用信号出力関数「ｙ_ｉ（ｔ）＝Σｆ_ｉ（ｔ，τ´）ｓ（ｔ−τ）ｄτ（例：式（４１），（４２））」であるので、スピーカアレイ１１６の各スピーカへの入力信号Ｙ_ｉ（ω）を求めることができる。

つづいて、以下の処理（ステップＳＡ−３〜４）では、上記のように算出した入力信号を、スピーカアレイの各スピーカへ入力することにより、三次元的な音響波面を形成させる。すなわち、本空間音響生成システムの空間音響生成装置１００は、波面出力制御部１０２ｃの制御により、ステップＳＡ−２にて得られた入力信号ｙ_ｉ（ｔ）を、スピーカアレイ１１６の各スピーカ（１・・・Ｍ）へ信号入力する（ステップＳＡ−３）。

そして、本空間音響生成システムのスピーカアレイ１１６は、入力信号ｙ_ｉ（ｔ）に従うスピーカ出力により、仮想的な三次元空間を移動する発音体による三次元的な音響波面を出力する（ステップＳＡ−４）。

以上が、空間音響生成システムの基本処理の一例である。これにより、仮想的な三次元空間において任意にコンテンツ等が移動しうる場合であっても、臨場感のある三次元的な音響波面を伴う音場を生成することができる。

［具体化処理］
次に、本実施の形態における空間音響生成システムの具体化処理の一例について、図６および図７を参照して説明する。具体化処理では、利用者の身体において表示コンテンツを変化させ、その変化に応じて三次元音響波面を伴う音場を生成する処理を行う。ここで、図６は、本実施の形態の空間音響生成システムにおける具体化処理の一例を示すフローチャートである。図７は、図３に関連して、境界音場制御（ＢｏＳＣ）の原理に基づく空間音響生成アルゴリズムを模式的に示した図である。

まず、図６および図７に示すように、本空間音響生成システムにおいて、身体運動センサー等の検出部１１２は、利用者の身体部位の動作を認識する（ステップＳＢ−１）。例えば、検出部１１２は、利用者の身体運動から、ある方向を指さす動き、ある方向に手を押し出す動き、ある方向に脚を蹴り上げる動き、あたかもボールを投げる動き、ヘディングする動き、両手で何かを捕まえる動き、指揮棒を振る動きなどの所定のジェスチャーを検出してもよい。

つづいて、本空間音響生成システムの空間音響生成装置１００は、表示制御部１０２ａの制御により、検出部１１２にて認識される利用者の身体部位の動作に応じて、三次元表示ＨＭＤ等の表示部１１４を介して、コンテンツファイル１０６ｂに記憶されたコンテンツ情報を表示させる表示制御を行う（ステップＳＢ−２）。例えば、表示制御部１０２ａは、ゲーム空間などの仮想現実空間を表示させた状態において、検出部１１２にて検出された利用者のボール等を投げる動きやキックやヘディングをする動き、指揮棒を振る動きなどのジェスチャーに応じて、対応するコンテンツ要素を変化させる表示制御を行ってもよい。

そして、本空間音響生成システムの空間音響生成装置１００は、音源算出部１０２ｂの制御により、表示制御部１０２ａにより表示制御されたコンテンツ情報の変化に従って、対応するコンテンツ要素を発音体として音源信号ｓ（ｔ）および位置座標の時間関数ｒ_ｉ（ｔ），ｒ´_ｉ（ｔ）を取得する（ステップＳＢ−３）。例えば、音源算出部１０２ｂは、表示制御部１０２ａによるコンテンツ情報の変化に応じて、移動等の変化の対象となったコンテンツ要素に関連付けられた音源信号ｓ（ｔ）をコンテンツファイル１０６ｂ等から読み出し、検出部１１２を介した利用者の身体部位の動作に応じたコンテンツ情報の変化に伴う当該コンテンツ要素の位置座標の時間関数ｒ_ｉ（ｔ），ｒ´_ｉ（ｔ）を取得してもよい。

そして、本空間音響生成システムの空間音響生成装置１００は、音源算出部１０２ｂの制御により、音源信号ｓ（ｔ）およびｒ_ｉ（ｔ），ｒ´_ｉ（ｔ）を、関数ファイル１０６ａに記憶された再生用信号出力関数に代入する（ステップＳＢ−４）。ここで、再生用信号出力関数は、利用者の頭部を含む領域Ｖ´の境界面Ｓ´上の音圧信号ｐ（ｒ＾_ｊ，ｔ）からスピーカアレイ１１６の各スピーカへの入力信号Ｙ_ｉ（ω）（ｉ＝１・・・Ｍ）を出力する逆フィルタリングＨ＾_ｊｉ（ω）、および、仮想的な三次元空間における発音体の位置座標ｒ_ｊ（ｔ）（ｊ＝１・・・Ｎ）から境界面Ｓ´上の音圧信号ｐ（ｒ＾_ｊ，ｔ）の位置座標ｒ＾_ｊまでの伝達関数ｃ（ｒ＾_ｊ，ｔ，τ）に基づく、再生用信号出力関数「ｙ_ｉ（ｔ）＝Σｆ_ｉ（ｔ，τ´）ｓ（ｔ−τ）ｄτ」であり、例えば上述の式（４１），（４２）で規定される。

そして、本空間音響生成システムの空間音響生成装置１００は、波面出力制御部１０２ｃの制御により、音源算出部１０２ｂにより得られた入力信号ｙ_ｉ（ｔ）を、スピーカアレイ１１６の各スピーカ（１・・・Ｍ）へ信号入力する（ステップＳＢ−５）。

そして、本空間音響生成システムのスピーカアレイ１１６は、入力信号ｙ_ｉ（ｔ）に従うスピーカ出力により、仮想的な三次元空間を移動する発音体による三次元的な音響波面を出力する（ステップＳＢ−６）。

そして、本空間音響生成システムの空間音響生成装置１００は、タッチパネル等の終了ボタンが押下される等の終了の指示がない限り（ステップＳＢ−７，ＮＯ）、上述した処理を繰り返す。空間音響生成装置１００は、タッチパネル等の終了ボタンが押下される等の終了の指示があった場合に（ステップＳＢ−７，ＹＥＳ）、処理を終了する。ここで、本空間音響生成システムの空間音響生成装置１００は、再生方式変換部１０２ｄの処理により、以上の処理により形成された時系列的音響波面出力を示す信号の再生方式を、サラウンド再生方式等の他の再生方式に変換して、変換結果の信号を外部機器２００等に出力してもよい。この際、再生方式変換部１０２ｄは適宜、変換前後の信号を記憶部１０６に記録してもよい。

以上が、空間音響生成システムの処理の一例である。これにより、クリエータ等の利用者は、音像定位精度の良好な環境下で、指さし等の身体動作を使ってインタラクティブに直感的にコンテンツの編集を行うことができる。したがって、プログラミング等のコンピュータエンジニアリングに詳しくない利用者であっても、簡単に臨場感のある音場生成を行うことができる。

以上で、本実施の形態の空間音響生成システムの処理の説明を終える。

［実施例］
つづいて、本発明の実施の形態における実施例として、移動する発音体の物理条件と音源信号から領域Ｖ内の波面を計算する手順について、図８および図９を参照して説明する。図８は、三次元音場を移動する発音体と波面観測対象領域Ｖの関係を示す図である。図９は、空間音響生成装置１００の具体的装置構成における処理内容や記憶内容を示すワークフロー図である。

図８および図９に示すように、まず、空間音響生成装置１００のＣＰＵ１０２´は、メモリ１０６´に記憶された、移動する発音体の物理条件と、タイマーの時刻τから、発音体の位置情報ｒ＾_ｊを求める（ステップＳＣ−１）。

そして、空間音響生成装置１００のＣＰＵ１０２´は、ディスク１０６´´に記憶された音源信号ｓ（ω）と、タイマーが示す時刻τから、Δτ経過した時刻ｔ＝τ〜τ＋Δτについての音源信号ｓ（ｔ）を求める（ステップＳＣ−２）。

そして、空間音響生成装置１００のＣＰＵ１０２´は、メモリ１０６´に記憶された、発音体の位置情報ｒ＾_ｊから、波面観測対象領域Ｖを囲む境界面Ｓへの伝達関数ｃ（ｒ＾_ｊ，ｔ，τ）を算出する（ステップＳＣ−３）。例えば、ＣＰＵ１０２´（制御部）は、各時刻ｔに関して、対応する位置情報ｒ＾_ｊ及び境界面Ｓを境界条件とする境界要素法の数値計算を実行することにより、時刻ｔ毎の伝達関数ｃ（ｒ＾_ｊ，ｔ，τ）を算出する。

そして、空間音響生成装置１００のＣＰＵ１０２´は、時刻ｔ＝τ〜τ＋Δτの音源信号ｓ（ｔ）に基づいて、ステップＳＣ−３にて求めた時刻０〜τの発音体から境界面Ｓへの伝達関数ｃ（ｒ＾_ｊ，ｔ，τ）を折り畳み計算して、境界面Ｓ上の音圧信号ｐ（ｒ＾_ｊ，ｔ）等の音響物理情報を求める（ステップＳＣ−４）。

そして、空間音響生成装置１００のＣＰＵ１０２´は、領域Ｖとの境界面Ｓ上の音圧信号ｐ（ｒ＾_ｊ，ｔ）等の音響物理情報から、領域Ｖ内の音圧波面を計算する（ステップＳＣ−５）。

以上が、移動する発音体の物理条件と音源信号から領域Ｖ内の波面を計算する手順である。以上のような移動する発音体の物理条件と音源信号からの領域Ｖ内の波面の計算を用いて、本実施の形態において最終的に三次元音響波面の音場を形成させるためには、スピーカアレイ１１６への入力信号を求める必要がある。

そのため、つづいて、移動する発音体の物理条件、音源信号、再生音場の伝達関数から、音場再生室内のスピーカ入力信号を計算する手順の実施例について、図１０および図１１を参照して説明である。ここで、図１０は、ＭＩＭＯ逆フィルタリングを用いてスピーカアレイ１１６の各スピーカへの入力信号を求めることを模式的に示した図である。図１１は、空間音響生成装置１００の具体的装置構成における処理内容や記憶内容を示すワークフロー図である。

図１０および図１１に示すように、まず、空間音響生成装置１００のＣＰＵ１０２´は、メモリ１０６´に記憶された、移動する発音体の物理条件と、タイマーの時刻τから、発音体の位置情報ｒ＾_ｊを求める（ステップＳＣ−１）。同様に、空間音響生成装置１００のＣＰＵ１０２´は、上述したステップＳＣ−１〜ＳＣ−４までの処理を行う。

ここで、空間音響生成装置１００のメモリ１０６´には、予め再生音場においてマイクロホンアレイ等で収録した音声データ等に基づいて、再生音場における伝達関数の計測システムを求め、伝達関数を求めてメモリ１０６´に記憶させておく（以下、具体的手法について、特開２０１１−１８２１３５，特開２００８−１１８５５９等参照）。

そして、空間音響生成装置１００のＣＰＵ１０２´は、メモリ１０６´に記憶された、再生音場における伝達関数から再生音場の逆フィルタリングを求める（ステップＳＣ−５１）。再生音場の逆フィルタリングを示す情報は、予めメモリ１０６´（記憶部）に記憶されていてもよい。

そして、空間音響生成装置１００のＣＰＵ１０２´は、メモリ１０６´に記憶された再生音場の逆フィルタリングと、境界面Ｓ上の音圧信号ｐ（ｒ＾_ｊ，ｔ）等の音響物理情報から、スピーカアレイ１１６の各スピーカへの入力信号ｙ_ｊ（ｔ）を求める（ステップＳＣ−５２）。

以上が、移動する発音体の物理条件、音源信号、再生音場の伝達関数から、音場再生室内のスピーカ入力信号を計算する手順である。これにより、臨場感のある三次元的な音響波面を伴う音場を生成させることができる。

［他の実施の形態］
さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。

例えば、上述した実施の形態では、上述した実施の形態では、図２に例示した音響樽型のスピーカアレイ１１６について説明したが、空間音響生成システムにおける複数のスピーカは図２に限定されず、種々のスピーカが各種の配置で用いられてもよい。空間音響生成システムにおけるスピーカアレイの変形例について、図１２を用いて説明する。

図１２は、空間音響生成システムにおいて椅子４１０に取付け可能なスピーカアレイ４００を例示している。本変形例のスピーカアレイ４００では、複数のスピーカ４０１が、利用者５００が椅子４１０に座った状態において利用者５００の頭部を取り囲むように、カバー部４０２に取り付けられている。

複数のスピーカ４０１は、例えば、椅子４１０に座った利用者５００の前方、上方及び側方に位置するように、カバー部４０２内に三次元的に配置される。カバー部４０２は、各スピーカ４０１が椅子４１０に座った利用者５００と間隔をあけて頭部或いは上半身を覆うように、ドーム状に形成された部材である。カバー部４０２と椅子４１０との間には、例えばカバー部４０２を椅子４１０に対して上下に移動可能な取付け部４０３が設けられる。これにより、利用者５００が椅子４１０に座る前後の時点などにカバー部４０２の位置を適宜、調整することができる。

図１２の例のスピーカアレイ４００によると、椅子４１０に座った利用者５００とスピーカ４０１との間に、空間音響生成装置１００が生成する種々の波面を形成可能な空間を設けることができる。スピーカアレイ４００を備えた空間音響生成システムは、例えばゲームや各種エンターテインメントの視聴等の種々の用途に適用可能である。空間音響生成システムのスピーカアレイ４００は、椅子４１０とは別体で提供されてもよいし、一位的に提供されてもよい。

また、上述した実施の形態では、検出部１１２が、利用者の身体部位の動作（ジェスチャー動作）を検出して、検出結果を発音体の移動に連動させる例を説明した。空間音響生成システムにおける検出部１１２の検出対象はジェスチャー動作に限らず、検出部１１２の検出結果を発音体の移動に連動させるための種々の情報であってもよく、例えば映像や振動などを検出部１１２の検出対象として用いてもよい。

例えば、アイススケートのテレビ中継を行う場合等に、映像中における競技者（発音体）の位置検出が行われてもよい。この場合、例えばスケートリンクに設置されたマイク等から音源信号を取得して、テレビ中継の視聴者に、映像中の競技者の動きに合わせて走行音などが視聴されるように、空間音響生成システムを用いることができる。また、サッカーやボクシング等の体験型ゲームなどにおいて、利用者等が発生させた振動を検出対象として、検出結果の振動に応じてゲームのコンテンツ（発音体）の動きを設定すると共に、設定された動きに連動するような波面が形成されるようにしてもよい。

以上のように、空間音響生成システムにおける検出部１１２は、種々の発音体の移動に関する情報を検出してもよい。空間音響生成システムにおける検出部１１２としては、映像解析手段や、加速度センサ、ジャイロセンサなどの各種センサ等が用いられてもよい。

また、空間音響生成装置１００における制御部１０６は、検出部１１２によって検出された発音体の移動に関する情報に基づいて、発音体の位置及び音源信号といった移動する発音体を示す情報を算出してもよいし、別途、移動する発音体を示す情報を取得してもよい。例えば、制御部１０６は、記憶部１０２に予め格納されたデータ等を読み出すことによって移動する発音体を示す情報を取得してもよいし、外部からネットワーク３００等を介して当該情報を取得してもよい。

また、空間音響生成装置１００の実装においては、各種の計算簡略化の処理を適用可能である。以下、空間音響生成装置１００の実装例について、発音体が自由空間を移動する一つの点音源である例を用いて説明する。

本例においては、自由空間内において一つの点音源（大きさ１）の位置ｒ´（ｔ））が移動するという発音体の物理条件に対応して、時刻ｔにおける位置ｒ＾_ｊへの伝達関数ｃ（ｒ＾_ｊ，ｔ，τ）は、次式（８）のように表される。

上式（８）において、δ（τ）はデルタ関数であり、ｖ_ｃは音速である。上述した式（３）に式（８）を代入することにより、次式（９），（１０）が得られる。

上式（９），（１０）において、ｗ_ｊ（ｔ）は音圧信号を示し、ａ_ｊ（ｔ）は音源と受音点間の距離を示す。上式（９），（１０）は、サンプリング周波数Ｆ_ｓ（Ｈｚ）で離散化することにより、次式（１１），（１２）のように表される。

上式（１１），（１２）のｗ_ｊ［ｎ］は、離散的な時間ｎにおいて音源と受音点の間の距離ａ_ｊ［ｎ］に応じて振幅変化および時間伸長する時間信号であり、音源と受音点間の距離が急速に変化する場合にはドップラー効果も含まれる。

ところで、上式（１２）の右辺におけるｓ［ｎ−ａ_ｊ［ｎ］Ｆ_ｓ／ｖ_ｃ］のサンプル点（ｎ−ａ_ｊ［ｎ］Ｆ_ｓ／ｖ_ｃ）は、実数になる。このような実数のサンプル点における音源信号ｓ［ｎ−ａ_ｊ［ｎ］Ｆ_ｓ／ｖ_ｃ］の値について、非特許文献３は、ラグランジェ補間法などにより計算する手法を提案している。しかし、上記のような従来の手法によると、計算コストがかかるという課題がある。

そこで、本実装例では、式（１２）におけるｓ［ｎ−ａ_ｊ［ｎ］Ｆ_ｓ／ｖ_ｃ］を補間計算する代わりに、サンプル点（ｎ−ａ_ｊ［ｎ］Ｆ_ｓ／ｖ_ｃ）の小数点以下を四捨五入して丸めるという方法を採用する。本方法によると、式（１２）は次式（１３）のように計算される。

空間音響生成装置１００における制御部１０６は、上式（１３）に従い、発音体の移動に応じた遅延を有するサンプル点（ｎ−ａ_ｊ［ｎ］Ｆ_ｓ／ｖ_ｃ）に対してｒｏｕｎｄ関数による端数処理を行う。制御部１０６は、例えば後述するフレーム処理により、端数処理の結果の音源信号からスピーカへの入力信号ｙ_ｉ（ｔ）を算出する。これにより、移動音源を再現するような入力信号ｙ_ｉ（ｔ）を得る際の計算コストを低減することができる。以下、上式（１３）に基づくフレーム処理の一例を説明する。

式（１３）における距離ａ_ｊ［ｎ］は、音源（発音体）の移動に応じて１サンプル毎に変化するが、フレーム処理においては、距離計算に線形補間を用いることができる。例えば、移動速度が音速よりも充分に小さい音源に関して、距離ａ_ｊ［ｎ］は一定のフレーム区間中に線形に変化すると考えられる。

本実装例のフレーム処理においては、発音体の位置に基づく距離ａ_ｊ［ｎ］の計算は各フレームの最初を基準に行われ、次のフレームの最初に至るまでの各々のサンプル位置では距離は線形に変化すると考える。この場合、フレーム番号ｍにおいて１フレーム内のサンプル番号ｋの距離ａ_ｊ［ｍ，ｋ］は、次式（１４）のように表される。

上式（１４）において、ａ_ｊ［ｍ，ｋ］＝ａ_ｊ［ｎ］に対応する「ｎ」は、１フレーム分のサンプル数Ｌを用いてｎ＝（ｍ−１）×Ｌ＋ｋであり、β［ｋ］＝（Ｌ−ｋ）／（Ｌ−１）である。式（１３）は、フレーム処理により

と表すことができる。

本実装例において空間音響生成装置１００の制御部１０６は、フレーム処理において、フレーム区間Ｌ毎に音源と受音点間の距離ａ_ｊ［ｍ，１］を計算し、式（１５）からフレーム内の移動音源の信号ｗ_ｊ［ｍ，ｋ］を計算する。計算した信号ｗ_ｊ［ｍ，ｋ］に基づき、制御部１０６は、式（１１）を用いて逆フィルタを畳み込むことにより、スピーカへの入力信号ｙ_ｉ［ｎ］を求める。

以上の処理によると、例えば公知のＯｖｅｒＬａｐ Ａｄｄ法により移動音源について畳み込みを行った場合に想定されるようなフレーム毎のノイズを生じさせずに、スピーカへの入力信号ｙ_ｉ［ｎ］を得ることができる。また、処理のアルゴリズムが上記の手法よりも単純であり、計算コストを低減できる。さらに、音源の移動速度に応じてドップラー効果にも対応可能である。

以上の説明では、発音体が一つの点音源である例を説明した。発音体が複数の点音源である場合にも、各点音源ごとに式（１０）を計算して重ね合わせ、式（１１）を用いて逆フィルタを畳み込むことにより、スピーカへの入力信号ｙ_ｉ［ｎ］を求めることができる。また、発音体が振動面や非振動面を有している場合においても、発音体を点音源の集合として近似的に表すことにより、上記と同様にスピーカへの入力信号ｙ_ｉ［ｎ］を求められる。

また、以上の説明では、実装例の処理によって得られた移動音源の信号ｗ_ｊ［ｍ，ｋ］に逆フィルタリングを適用して、境界音場制御におけるスピーカへの入力信号ｙ_ｉ［ｎ］を求める例を説明した。上記の処理は、境界音場制御に限らず、例えばＷＦＳ（波面合成）方式や２ｃｈステレオ方式、バイノーラル方式などの各種再生方式に適用可能である。これにより、移動音源を再現するような各種スピーカやヘッドフォンへの入力信号を生成する際の計算コストを低減することができる。

また、空間音響生成装置１００において、検出部１１２や表示部１１４やスピーカアレイ１１６等を別筐体として表したが、これに限られず、同一筐体で構成してもよい。

また、空間音響生成装置１００が、外部機器２００等のクライアント端末からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却してもよい。

また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。

また、空間音響生成装置１００や外部機器２００等に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

例えば、空間音響生成装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサおよび当該プロセッサにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアプロセッサとして実現してもよい。尚、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて空間音響生成装置１００や外部機器２００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの記憶部１０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。

また、このコンピュータプログラムは、空間音響生成装置１００や外部機器２００に対して任意のネットワーク３００を介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳに代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。プログラムが、一時的でないコンピュータ読み取り可能な記録媒体に記録されたプログラム製品として本発明を構成してもよい。

記憶部１０６に格納される各種のデータベース等（関数ファイル１０６ａ，コンテンツファイル１０６ｂ等）は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および、ウェブページ用ファイル等を格納する。

また、空間音響生成装置１００や外部機器２００や検出部１１２や表示部１１４やスピーカアレイ１１６は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、空間音響生成装置１００や外部機器２００や検出部１１２や表示部１１４等は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。

更に、装置の分散及び／又は統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散及び／又は統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。以下、本発明に係る態様を例示する。

本発明に係る第１の態様は、複数のスピーカに接続された、記憶部と制御部とを備えた空間音響生成装置である。制御部は、移動する発音体を示す情報に基づき、発音体の移動に応じて時間毎の伝達特性を変化させながら逆フィルタリングを適用して、発音体が発する音を示す音源信号から、各スピーカへの複数の入力信号を算出する。逆フィルタリングは、境界音場制御において入力信号に基づきスピーカに三次元的な音響波面を形成させるように、複数のスピーカが配置された空間中の伝達特性に応じて入力信号を出力する。

第２の態様では、第１の態様の空間音響生成装置において、記憶部は、仮想的な三次元空間における発音体の位置座標から音圧の観測対象とする領域の境界までの時変の伝達特性を示す伝達関数と逆フィルタリングとによって規定される再生用信号出力関数を記憶する。移動する発音体を示す情報は、仮想的な三次元空間における発音体の音源信号と位置座標の時間関数とを含む。制御部は、発音体の音源信号および位置座標の時間関数を、再生用信号出力関数に入力して入力信号を導出する。

第３の態様では、第１の態様の空間音響生成装置において、移動する発音体を示す情報は、仮想的な三次元空間における発音体の位置座標の時間関数と発音体の音源信号とを含む。制御部は、位置座標の時間関数に基づいて、発音体の位置座標から音圧の観測対象とする領域の境界までの時変の伝達特性を示す伝達関数を算出し、伝達関数と逆フィルタリングとに基づいて、音源信号から入力信号を算出する。

第４の態様では、第２または第３の態様の空間音響生成装置において、制御部は、位置座標の時間関数を、仮想的な三次元空間における利用者と発音体との相対的な位置関係に基づいて算出する。

第５の態様では、第４の態様の空間音響生成装置において、空間音響生成装置は更に表示部を有する。制御部は表示部に仮想的な三次元空間上の発音体を表示するよう制御する。

第６の態様では、第５の態様の空間音響生成装置において、空間音響生成装置は更にボディソニックトランスデューサを有する。制御部はコンテンツ情報に応じて利用者を加振するようボディソニックトランスデューサを制御する。

第７の態様では、第２乃至第６のいずれか一つの空間音響生成装置において、制御部は、仮想的な三次元空間における利用者および／または発音体の速度に応じてドップラーシフトを再現する再生音響波面信号を演算する。

第８の態様は、第２乃至第７のいずれか一つの空間音響生成装置において、更に、発音体の移動に関する情報を検出する検出部に接続されている。制御部は、検出部の検出結果に基づいて、発音体の音源信号および位置座標の時間関数のうちの少なくとも一方を算出する。

第９の態様では、第８の空間音響生成装置において、検出部は、利用者の少なくとも一つの身体部位の動作を検出する。制御部は、検出部により検出される身体部位の動作に応じて、発音体の音源信号および位置座標の時間関数を算出する。

第１０の態様は、第９の空間音響生成装置において、制御部は、検出部により検出される身体部位の動作に応じてコンテンツ情報の表示制御を行う表示制御手段を備える。表示制御手段は、空間音響生成装置の構成要素の表示部を制御してもよいし、空間音響生成装置に接続された外部構成の表示部を制御してもよい。制御部は、身体部位の動作に応じたコンテンツ情報の変化に従って、対応する発音体の音源信号および位置座標の時間関数を算出する。

第１１の態様では、第１０の空間音響生成装置において、検出部は、利用者の手指の動作を検出する。表示制御手段は、検出部により検出される手指の動作で指示されたコンテンツ情報の移動を伴う表示制御を行う。

第１２の態様では、第１０または第１１の空間音響生成装置において、表示制御手段は、表示部の一例である頭部装着ディスプレイを制御して、仮想的な三次元空間においてコンテンツ情報の三次元表示制御を行う。

第１３の態様では、第１乃至１２のいずれか一つの空間音響生成装置において、制御部は、形成された音響波面を示す信号において再生方式を変換する再生方式変換手段を備える。

第１４の態様では、第１乃至１３のいずれか一つの空間音響生成装置において、制御部は、発音体の移動に応じて音源信号において端数処理を行って、端数処理の結果の音源信号から入力信号を算出する。

第１５の態様は、複数のスピーカと、記憶部と、制御部とを備えた空間音響生成システムである。制御部は、移動する発音体を示す情報に基づき、発音体の移動に応じて時間毎の伝達特性を変化させながら逆フィルタリングを適用して、発音体が発する音を示す音源信号から、各スピーカへの複数の入力信号を算出する。逆フィルタリングは、境界音場制御において入力信号に基づきスピーカに三次元的な音響波面を形成させるように、複数のスピーカが配置された空間中の伝達特性に応じて入力信号を出力する。

第１６の態様は、複数のスピーカに接続された、記憶部と制御部とを備えたコンピュータにおいて実行される空間音響生成方法である。本方法は、制御部が、移動する発音体を示す情報に基づき、発音体の移動に応じて時間毎の伝達特性を変化させながら逆フィルタリングを適用して、発音体が発する音を示す音源信号から、各スピーカへの複数の入力信号を算出するステップを含む。逆フィルタリングは、境界音場制御において入力信号に基づきスピーカに三次元的な音響波面を形成させるように、複数のスピーカが配置された空間中の伝達特性に応じて入力信号を出力する。本方法は、制御部が、入力信号に基づき各スピーカを制御するステップを含む。

第１７の態様は、複数のスピーカに接続された、記憶部と制御部とを備えたコンピュータに実行させるための空間音響生成プログラムである。本プログラムは、制御部に、移動する発音体を示す情報に基づき、発音体の移動に応じて時間毎の伝達特性を変化させながら逆フィルタリングを適用して、発音体が発する音を示す音源信号から、各スピーカへの複数の入力信号を算出するステップを実行させる。逆フィルタリングは、境界音場制御において入力信号に基づきスピーカに三次元的な音響波面を形成させるように、複数のスピーカが配置された空間中の伝達特性に応じて入力信号を出力する。本プログラムは、制御部に、入力信号に基づき各スピーカを制御するステップを実行させる。

以上詳述に説明したように、本発明によれば、仮想的な三次元空間において、任意にコンテンツ等が移動しうる場合であっても、臨場感のある三次元的な音響波面を伴う音場を生成することができる、空間音響生成装置、空間音響生成システム、空間音響生成方法、および、空間音響生成プログラム、ならびに、記録媒体を提供することができる。例えば、コンピュータエンジニアリングに詳しくないクリエータ等であっても、音像定位精度の良好な環境下で、指差し等で簡単にコンテンツを操作しながら各音源の配置等を変更することができるので、ゲーム産業やコンテンツ産業など多様な産業分野において有用である。

Claims (17)

1. 複数のスピーカに接続された、記憶部と制御部とを備えた空間音響生成装置であって、
   前記制御部は、
   移動する発音体を示す情報に基づき、前記発音体の移動に応じて時間毎の伝達特性を変化させながら逆システムを適用して、前記発音体が発する音を示す音源信号から、前記各スピーカへの複数の入力信号を算出し、
   前記逆システムは、境界音場制御において前記入力信号に基づき前記スピーカに三次元的な音響波面を形成させるように、前記複数のスピーカが配置された空間中の伝達特性に応じて前記入力信号を出力すること、
   を特徴とする空間音響生成装置。
2. 請求項１に記載の空間音響生成装置において、
   前記記憶部は、
   仮想的な三次元空間における前記発音体の位置座標から音圧の観測対象とする領域の境界までの時変の伝達特性を示す伝達関数と前記逆システムとによって規定される再生用信号出力関数を記憶し、
   前記移動する発音体を示す情報は、前記仮想的な三次元空間における前記発音体の音源信号と前記位置座標の時間関数とを含み、
   前記制御部は、
   前記発音体の音源信号および前記位置座標の時間関数を、前記再生用信号出力関数に入力して前記入力信号を導出すること、
   を特徴とする空間音響生成装置。
3. 請求項１に記載の空間音響生成装置において、
   前記移動する発音体を示す情報は、仮想的な三次元空間における前記発音体の位置座標の時間関数と前記発音体の音源信号とを含み、
   前記制御部は、
   前記位置座標の時間関数に基づいて、前記発音体の位置座標から音圧の観測対象とする領域の境界までの時変の伝達特性を示す伝達関数を算出し、
   前記伝達関数と前記逆システムとに基づいて、前記音源信号から前記入力信号を算出すること、
   を特徴とする空間音響生成装置。
4. 請求項２または３に記載の空間音響生成装置において、
   前記制御部は、
   前記位置座標の時間関数を、前記仮想的な三次元空間における利用者と発音体との相対的な位置関係に基づいて算出することを特徴とする、空間音響生成装置。
5. 請求項４に記載の空間音響生成装置において、
   前記空間音響生成装置は更に表示部を有し、
   前記制御部は前記表示部に前記仮想的な三次元空間上の前記発音体を表示するよう制御すること、
   を特徴とする、空間音響生成装置。
6. 請求項５に記載の空間音響生成装置において、
   前記空間音響生成装置は更にボディソニックトランスデューサを有し、
   前記制御部はコンテンツ情報に応じて利用者を加振するよう前記トランスデューサを制御すること、
   を特徴とする、空間音響生成装置。
7. 請求項２乃至６のいずれか一つに記載の空間音響生成装置において、
   前記制御部は、
   前記仮想的な三次元空間における利用者および／または発音体の速度に応じてドップラーシフトを再現する再生音響波面信号を演算することを特徴とする、空間音響生成装置。
8. 請求項２乃至７のいずれか一つに記載の空間音響生成装置において、
   更に、前記発音体の移動に関する情報を検出する検出部に接続されており、
   前記制御部は、
   前記検出部の検出結果に基づいて、前記発音体の音源信号および前記位置座標の時間関数のうちの少なくとも一方を算出すること、
   を特徴とする、空間音響生成装置。
9. 請求項８に記載の空間音響生成装置において、
   前記検出部は、利用者の少なくとも一つの身体部位の動作を検出し、
   前記制御部は、
   前記検出部により検出される前記身体部位の動作に応じて、前記発音体の音源信号および前記位置座標の時間関数を算出すること、
   を特徴とする、空間音響生成装置。
10. 請求項９に記載の空間音響生成装置において、
    前記制御部は、
    前記検出部により検出される前記身体部位の動作に応じてコンテンツ情報の表示制御を行う表示制御手段を備え、
    前記身体部位の動作に応じた前記コンテンツ情報の変化に従って、対応する前記発音体の音源信号および前記位置座標の時間関数を算出すること、
    を特徴とする、空間音響生成装置。
11. 請求項１０に記載の空間音響生成装置において、
    前記検出部は、利用者の手指の動作を検出し、
    前記表示制御手段は、
    前記検出部により検出される前記手指の動作で指示された前記コンテンツ情報の移動を伴う表示制御を行うこと、
    を特徴とする、空間音響生成装置。
12. 請求項１０または１１に記載の空間音響生成装置において、
    前記表示制御手段は、
    頭部装着ディスプレイを制御して、前記仮想的な三次元空間において前記コンテンツ情報の三次元表示制御を行うこと、
    を特徴とする、空間音響生成装置。
13. 請求項１乃至１２のいずれか一つに記載の空間音響生成装置において、
    前記制御部は、
    前記形成された音響波面を示す信号において再生方式を変換する再生方式変換手段を備えたことを特徴とする、空間音響生成装置。
14. 請求項１乃至１３のいずれか一つに記載の空間音響生成装置において、
    前記制御部は、
    前記発音体の移動に応じて前記音源信号において端数処理を行って、端数処理の結果の音源信号から前記入力信号を算出すること
    を特徴とする、空間音響生成装置。
15. 複数のスピーカと、記憶部と、制御部とを備えた空間音響生成システムであって、
    前記制御部は、
    移動する発音体を示す情報に基づき、前記発音体の移動に応じて時間毎の伝達特性を変化させながら逆システムを適用して、前記発音体が発する音を示す音源信号から、前記各スピーカへの複数の入力信号を算出し、
    前記逆システムは、境界音場制御において前記入力信号に基づき前記スピーカに三次元的な音響波面を形成させるように、前記複数のスピーカが配置された空間中の伝達特性に応じて前記入力信号を出力すること、
    を特徴とする空間音響生成システム。
16. 複数のスピーカに接続された、記憶部と制御部とを備えたコンピュータにおいて実行される空間音響生成方法であって、
    前記制御部が、
    移動する発音体を示す情報に基づき、前記発音体の移動に応じて時間毎の伝達特性を変化させながら逆システムを適用して、前記発音体が発する音を示す音源信号から、前記各スピーカへの複数の入力信号を算出するステップであって、
    前記逆システムは、境界音場制御において前記入力信号に基づき前記スピーカに三次元的な音響波面を形成させるように、前記複数のスピーカが配置された空間中の伝達特性に応じて前記入力信号を出力する、ステップと、
    前記入力信号に基づき各スピーカを制御するステップと、
    を実行することを特徴とする空間音響生成方法。
17. 複数のスピーカに接続された、記憶部と制御部とを備えたコンピュータに実行させるための空間音響生成プログラムであって、
    前記制御部に、
    移動する発音体を示す情報に基づき、前記発音体の移動に応じて時間毎の伝達特性を変化させながら逆システムを適用して、前記発音体が発する音を示す音源信号から、前記各スピーカへの複数の入力信号を算出するステップであって、
    前記逆システムは、境界音場制御において前記入力信号に基づき前記スピーカに三次元的な音響波面を形成させるように、前記複数のスピーカが配置された空間中の伝達特性に応じて前記入力信号を出力する、ステップと、
    前記入力信号に基づき各スピーカを制御するステップと、
    を実行させるための空間音響生成プログラム。

Images