WO2014069112A1

WO2014069112A1 - 信号処理装置、信号処理方法

Info

Publication number: WO2014069112A1
Application number: PCT/JP2013/074744
Authority: WO
Inventors: 宏平浅田; 佐古　曜一郎; 和之迫田; 丹下　明; 有希甲賀
Original assignee: ソニー株式会社
Priority date: 2012-11-02
Filing date: 2013-09-12
Publication date: 2014-05-08
Also published as: EP2916568B1; JP2017225182A; US20200301656A1; EP2916568A4; JP6202003B2; JP6361809B2; CN104756525B; CN104756525A; US10175931B2; US10795639B2; US20190114136A1; JPWO2014069112A1; EP2916568A1; US20150286463A1

Abstract

【課題】画像情報の提示のみを行う場合よりもユーザの没入感を高めることのできる技術を提供する。【解決手段】指定された位置情報から特定される場所に対応する画像を表示部に表示する。これと共に、ユーザを取り囲むように配置された複数のマイクロフォンによって上記ユーザが発した音を収音し、その収音信号を上記指定された位置情報から特定される場所について測定された伝達関数で処理して、該処理後の信号を上記ユーザを取り囲むように配置された複数のスピーカから出力することで、上記ユーザが発した音が上記位置情報から特定される場所で反響されたように感じられる音場を再現する。

Description

信号処理装置、信号処理方法

　本技術は、ユーザに或る場所についての没入感を与えるのに好適な信号処理装置とその方法に関する。

　近年、インターネット上やアプリケーションソフトとして供される地図情報サービスに関しては、図形や記号等で示された俯瞰地図の他にも、衛星からの写真を組み合わせて表示したり、地上において実際に街中の景色・状況を撮影記録した画像を地図位置に合わせて表示したりするなど、新しいサービスが提案されている。特に、地上から撮影された画像情報を用いたサービスは、ユーザが実際に訪れたことがない場所を確認するのに非常に有用である。

　一方で、現在、ユーザ（視聴者）の視界を覆ってしまうことで「そこに自分がいるとしか思えない」感覚を与える没入感技術(Immersive Reality) が広く研究されている。多くは、画像の表示（投影）が可能な（天井・床面を含めた）５面または６面で覆われた箱状の場所の中にユーザが身を置くことで、実現されるものである。
　例えばこのような没入感ディスプレイを使って、先ほどの地図情報とリンクされた実際の写真を表示して（例えば人が等身大になるような処理を施して）臨場感を得ることが考えられている。

特許第４６７４５０５号公報特許第４７７５４８７号公報特許第４７２５２３４号公報特許第４８８３１９７号公報特許第４７３５１０８号公報

　しかしながら、さらなる臨場感・没入感を得るためには、画像以外にも空間情報を表現する何らかの仕掛けが要請される。

　本技術はかかる事情の下に為されたものであり、画像情報の提示のみを行う場合よりもユーザの没入感を高めることのできる技術を提供することをその課題とする。

　上記課題の解決のため、本技術では信号処理装置を以下のように構成することとした。
　すなわち、本技術の信号処理装置は、指定された位置情報から特定される場所に対応する画像を所要の表示部に表示させる表示制御部を備える。
　また、ユーザを取り囲むように配された複数のマイクロフォンで上記ユーザの発した音を収音する収音部による収音信号を入力する収音信号入力部を備える。
　また、上記指定された位置情報から特定される場所において測定された、該場所内の閉曲面上から発せられた音が該場所で反響されて上記閉曲面側にどのように伝達するかを表す第１の伝達関数に基づき、上記収音信号入力部より入力された信号に対し、上記ユーザが発した音が上記位置情報から特定される場所で反響されたように感じられる音場を再現するための第１の音響信号処理を施す音響信号処理部を備える。

　また、上記音響信号処理部により上記第１の音響信号処理が施された信号に基づく音を、上記ユーザを取り囲むように配された複数のスピーカにより発音させる発音制御部を備えるものである。

　また、本技術では信号処理方法として以下の方法を提案する。
　すなわち、本技術の信号処理方法は、表示部と、ユーザを取り囲むように配された複数のマイクロフォンにより上記ユーザの発した音を収音する収音部と、上記ユーザを取り囲むように配された複数のスピーカにより発音を行う発音部とを用いた信号処理方法であって、指定された位置情報から特定される場所に対応する画像を上記表示部に表示させる表示制御手順を有する。
　また、上記指定された位置情報から特定される場所において測定された、該場所内の閉曲面側から発せられた音が該場所で反響されて上記閉曲面側にどのように伝達するかを表す第１の伝達関数に基づき、上記収音部による収音信号に対し、上記ユーザが発した音が上記位置情報から特定される場所で反響されたように感じられる音場を再現するための第１の音響信号処理を施す音響信号処理手順を有する。
　また、上記音響信号処理手順により上記第１の音響信号処理が施された信号に基づく音を、上記発音部により発音させる発音制御手順を有するものである。

　上記本技術によれば、ユーザに対し、指定位置情報から特定される場所に対応する画像が提示されると共に、上記ユーザが発した音が上記指定位置情報から特定される場所で反響されたように感じられる音場が提供されることになる。
　ここで、臨場感や没入感を増すためには、画像以外に空間情報を表現する「音」の存在が重要となる。従って上記本技術によれば、画像情報の提示のみを行う場合よりもユーザの没入感を高めることができる。

　上記のように本技術によれば、画像情報の提示のみを行う場合よりもユーザの没入感を高めることができる。

実施の形態の信号処理システムで実現する再現手法の概要を説明するための図である。実施の形態における音場再現の手法についての説明するための図である。実施の形態における音場再現の手法の概要について説明するための図である。実施の形態の音場再現を実現するための伝達関数の測定手法について説明するための図である。再現環境に配置された複数のスピーカとその閉曲面、及び複数のマイクとその閉曲面を示した図である。測定１としての伝達関数の測定の具体的な手法についての説明図である。同じく、測定１としての伝達関数の測定の具体的な手法についての説明図である。伝達関数の測定を行うためのシステム構成についての説明図である。インパルス応答測定データの例を示した図である。残響音成分以外の成分（直接音や初期反射音）による悪影響を抑制するための構成についての説明図である。測定２としての伝達関数の測定の具体的な手法についての説明図である。実施の形態としての信号処理手法を実現するための信号処理システムの構成について説明するための図である。対応関係情報の内容についての説明図である。マトリクスコンボリューション部の具体的な内部構成例を示した図である。実施の形態としての再現動作を実現するために本システムで実行されるべき処理の内容を示したフローチャートである。手法２についてのレンダリング処理をクラウド上で行うとした場合のシステム構成例を示した図である。再現環境においてスピーカが配置されて形成される閉曲面とマイクが配置されて形成される閉曲面との関係を例示した図である。閉曲面の形状についての説明図である。再現環境においてマイクが配置されて形成される閉曲面がスピーカが配置されて形成される閉曲面の内側に設定される場合を示した図である。図１９に示す場合に対応した測定環境での閉曲面の関係を示した図である。無指向性のマイクを用いて有指向性マイクと等価な出力を得るための構成を例示した図である。無指向性のスピーカを用いて有指向性スピーカと等価な出力を得るための構成を例示した図である。測定環境と再現環境とで閉曲面のサイズ・形状が異なる場合の例を示した図である。測定環境と再現環境とで閉曲面のサイズ・形状が異なる場合の伝達関数の変換手法についての説明図である。移動体を用いた測定例１についての説明図である。移動体を用いた測定例２についての説明図である。移動体を用いた測定例３及び測定例４についての説明図である。

　以下、本技術に係る実施の形態について説明していく。なお、説明は以下の順序で行う。
　＜１．実施の形態の信号処理システムで実現する再現手法の概要＞
　＜２．音場再現の手法＞
　＜３．音場再現のための測定手法＞
　（3-1．測定手法の概要）
　（3-2．測定１について）
　（3-3．測定２について）
　＜４．伝達関数に基づく音場再現＞
　（4-1．第１伝達関数に基づく音場再現）
　（4-2．第２伝達関数に基づく音場再現）
　＜５．信号処理システムの構成＞
　＜６．変形例＞
　（6-1．閉曲面について）
　（6-2．指向性について）
　（6-3．測定環境と再現環境とで閉曲面のサイズ・形状が異なる場合の対処）
　（6-4．移動体を用いた測定手法）
　（6-5．その他の変形例）

　＜１．実施の形態の信号処理システムで実現する動作の概要＞
　先ずは図１により、本実施の形態の信号処理システムで実現する再現手法の概要について説明しておく。
　図１において、サイトＡとは、ユーザ０を没入させたい場所、つまりはその情景や音の広がり等を再現したい場所（再現対象とする場所）を意味するものである。
　また図中のサイトＢは、再現対象とする場所の情景や音の広がりの再現を行う場所を意味する。このサイトＢは、例えばユーザ０自身の部屋などと考えればよい。
　図のようにサイドＢ内には、ユーザ０を取り囲むように配置された複数のスピーカ２Ｂと、画像表示を行う表示装置３とが設置されている。

　本実施の形態の信号処理システムで実現する再現手法は、大まかには、サイトＢに配された表示装置３によって、サイトＡに対応する画像情報を表示すると共に、同じくサイトＢに配された複数のスピーカ２Ｂによって、サイトＡの音場１００を再現するというものとなる。
　没入したい場所の画像と共にその場所の音場１００をユーザ０に提示することで、その場所に対するユーザ０の没入感をより高めることができる。

　なお、図１においては表示装置３として１面のみの表示面を有するものを例示しているが、没入感を高めるにあたっては、図２に示されるような前／左／右／上／下の少なくとも５面の表示面を有する表示装置３を配置することが望ましい。

　ここで、実際のシステムにおいては、サイトＡとしての再現対象とする場所は、複数の候補からの選択が可能とされる。
　再現したい場所の指定は、例えばユーザ０により行う。例えば、本システムによるサービスを享受するにあたっては、表示装置３上に表示された地図画像から、任意の位置を指定する。この指定された位置の位置情報から、該位置に対応する場所が特定され、該場所について上記のような画像や音による再現を行う。

　ここで、図１に示したサイドＢにおける複数のスピーカ２Ｂによっては、ユーザ０を取り囲む空間が形成される。
　後述するように、本実施の形態では、このように複数のスピーカで取り囲んだ空間の他にも、複数のマイクロフォンで取り囲んで形成される空間も存在することになる。
　本明細書においては、このように複数個のスピーカ又はマイクロフォンで取り囲んで形成される空間の界面、換言すれば、それら複数個のスピーカ又はマイクロフォン同士を結んで形成される空間の界面を、「音響閉曲面」或いは単に「閉曲面」と称することとする。
　図１に示すように、サイトＢ内の複数のスピーカ２Ｂによって形成される音響閉曲面は、閉曲面１Ｂと表記する。

　なお以下の説明において、マイクロフォンについては単にマイクと略称することがある。

　＜２．音場再現の手法＞
　上記のように本実施の形態では、サイトＢにおいてサイトＡの音場を再現するが、この音場再現の具体的な手法として、本実施の形態では、主に図３に示される２つの手法（手法１及び手法２）を提案する。
　先ず、手法１としては、サイトＢにおける閉曲面１Ｂの内側に居るユーザ０が発した音（例えばユーザ０が発した声、物を落とした時の衝突音、食事中であれば食器等が触れ合う時の音など）が、サイトＡで反響したように感じられる音場１００を複数のスピーカ２Ｂによって再現するものである。後に詳述するように、この手法１の実現のためには、ユーザ０を取り囲むように配置した複数のマイク５Ｂによってユーザ０の発した音をリアルタイムに収音し、対応する伝達関数で処理することで、音場再現用の音響信号（スピーカ２Ｂより出力すべき音響信号）を生成することになる。

　ここで、一般的に言う「エコーロケーション」のように、自らが発した音がどう伝わるか、を聴覚的に知覚認識することで、経験則から大体の空間構造をつかむことが可能である。従って上記手法１による音場再現によれば、ユーザ０は画像だけでなく、自らが発した音に基づき、音響的にもその空間の印象を知覚することができる。つまりこれにより、没入感を増すことができる。

　また手法２としては、閉曲面１Ｂ内に居るユーザ０に、再現対象であるサイトＡにおける環境音を該サイトＡでの反響も含めて知覚させるというものである。
　ここで、図中に示すように閉曲面１ＢがサイトＡ内にあるものと仮定し、該サイトＡ内における閉曲面１Ｂの外側の或る位置にて音が発せられたとした場合、該音は、閉曲面１Ｂに直接到達する成分の他に、サイトＡ内における構造物や障害物を介した反射音・残響音（各材質・構造ごとに異なる）の成分を伴う場合もある。手法２では、このような反響音も含めて、サイトＡにおける環境音を知覚させるものである。

　このような手法２を上記の手法１と併せて行うことで、ユーザ０のサイトＡへの没入感をさらに高めることができる。

　＜３．音場再現のための測定手法＞
　（3-1．測定手法の概要）
　図４は、実施の形態の音場再現を実現するための伝達関数の測定手法について説明するための図である。
　図４Ａは、測定のためにサイトＡ内に配置する複数のマイク５Ａを模式的に表す。
　図４Ｂは、手法１に対応する測定手法（測定１と表記する）、図４Ｃは手法２に対応する測定手法（測定２）をそれぞれ模式的に表す。なお図４Ｄは、サイトＡの環境音を、該サイトＡに配置した複数のマイク５Ａによりそのまま収録する手法を模式的に表している。

　ここで、図４Ａに示されるように、サイトＡに測定のため配置した複数のマイク５Ａにより囲まれた空間の界面を、閉曲面１Ａとする。この閉曲面１Ａは、理想的には、ユーザ０の居るサイトＢの閉曲面１Ｂと同サイズ且つ同形状とされることが望ましい。さらに言えば、閉曲面１Ａ上のマイク５Ａは、閉曲面１Ｂ上のスピーカ２Ｂと同数で且つ同じ位置関係で配置されることが望ましいものである。

　先ず、図４Ｂに示す測定１では、図３に示した手法１にて閉曲面１Ｂの内側に居るユーザ０自身が発した音を加工する際に用いる伝達関数を測定することになる。
　具体的に該測定１では、サイトＡに配置した測定用のスピーカ２Ａから外向きに発せられた音（測定用信号）が、サイトＡにおける反響の影響を受けて、同じくサイトＡに配置した各マイク５Ａにどのように到達するかを表す伝達関数（インパルス応答）を測定する。
　従ってこの伝達関数を用いて、サイトＢのマイク５Ｂにより収音した信号（ユーザ０が発した音）を加工してスピーカ２Ｂにより出力することで、該ユーザ０が発した音がサイトＡで反響したように感じられる音場１００をサイトＢにて構築することができる。

　なお、この図の例では複数のマイク５Ａが配置された閉曲面１Ａの内側に測定用のスピーカ２Ａを配置して測定を行う例を示したが、これは、再現環境としてのサイトＢにおいて、再現用の複数のスピーカ２Ｂ（閉曲面１Ｂ）が、ユーザ０の発した音を収音する複数のマイク５Ｂ（閉曲面４Ｂ）の内側に配置されることに対応したものである。後述もするようにこれら閉曲面１Ｂと閉曲面４Ｂの位置関係は逆転させることができ、その場合、測定１では測定用のスピーカ２Ａを閉曲面１Ａの外側に配置することになる（図５等を参照）。

　一方、先の手法２に対応した、図４Ｃに示す測定２では、閉曲面１Ｂの外側の任意位置に定位されるべき音源に基づく音響信号を加工する際に用いる伝達関数を測定する。

　ここで、先に説明した手法２は、最も簡単には、図４Ｄに示されるようにサイトＡに配置した複数のマイク５ＡによってサイトＡの環境音を収音し、それらの収音信号を閉曲面１Ｂ上の対応する位置のスピーカ２Ｂからそれぞれ出力することで実現が可能である（特にサイトＢに配されるスピーカ２ＡとサイトＡに配されるマイク５Ａとが同数で且つ同じ配置関係の場合）。
　しかしながら、このように単に収録した環境音を流すとした場合は、１つのサイトについて２種以上の環境音を再現しようとしたときに、そのサイトにて複数回の収録を行うことが必要とされる等の問題がある。

　そこで本実施の形態では、手法２の実現にあたって、いわゆる「オブジェクトベースのオーディオ」の概念を採用する。

　ここで、「オブジェクトベースのオーディオ」について簡単に説明しておく。
　例えばＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）など従来のメディアに収録される音は、制作側の意図の下、チャンネル毎に完成されたパッケージとされており、パッケージに納められた各チャンネルの音響信号は対応するスピーカのチャンネルに対応して鳴らすことで、概ね制作側の意図する音質・音場を実現してきた。
　しかしながら近年、制作側の意図として「聞かせたい」音場・音質などを、「各音源の音響ストリーム信号」と「その音源がどう動くか、どういう位置にあるか」の「メタ情報」のセット（暫定的にオブジェクトと呼ぶ）を複数個重ねたものと考え、これをどう再生環境に応じて実現（レンダリング）するかを再生環境側に委ねた「オブジェクトベースのオーディオ(または音場表現)」の考え方が出てきた。
　このようなオブジェクトベースの手法により、再生環境の多様化が進みつつある現状においてだけでなく、再生環境が将来的に飛躍的な性能向上を行った場合でも、制作者の意図に応じて再生環境の性質・性能に合わせて、音場・音質の再現が可能となる。

　なお、上記の「レンダリング」を実現するレンダラーとしては、ヘッドホン用のレンダラーから、22.2chシステムやImmersive環境用の多数個のスピーカによる音場レンダラーに至るまで、再生環境に応じた各種のレンダラーが存在する。なお、Immersive環境用の音場レンダラーは、現在複数の手法が提案されており、ＷＦＳ(Wave Field Synthesis：波面合成)や、ＢｏＳＣ(Boundary Surface Control Principle,：境界音場制御)や、キルヒホッフの積分則を簡易化した手法(特許第4775487号公報、特許第4674505号公報など)など様々なものが知られている。

　図４Ｃに示した測定２は、上記のようなオブジェクトベースの音場再現手法を採る場合において、閉曲面１Ｂの外側の任意位置に定位されるべき音源を、該位置に定位させ、且つ該位置より発せられる音がサイトＡでの反響を受けたかたちでユーザ０に知覚されるようにするための伝達関数を測定するものである。
　具体的に、該測定２では、複数のマイク５Ａが配される閉曲面１Ａの外側の任意位置に配置した測定用のスピーカ２Ａから発された音（測定用信号）が、サイトＡにおける反響
の影響も含めて、各マイク５Ａにどのように到達するかを表す伝達関数（インパルス応答）を測定する。

　ここで本実施の形態において、測定１，測定２で測定した伝達関数を用いた音場再現は、以下の思想に基づき実現されるものである。
　すなわち、閉曲面１Ｂに対して到達する音が該閉曲面１Ｂと交差するときの波面を想定したとき、該想定波面を、閉曲面１Ｂの内側に創造するように複数のスピーカ２Ｂから再生するというものである。

　（3-2．測定１について）
　以下、測定１としての伝達関数の測定手法の具体的な例を図５～図７を参照して説明する。
　先ず、図５に、ユーザ０の居るサイトＢ（再現環境）に配置された複数のスピーカ２Ｂ及び閉曲面１Ｂと、複数のマイク５Ｂ及び閉曲面４Ｂとを示す。先の説明からも理解されるように、サイトＢに配置されるマイク５Ｂは、ユーザ０が発した音をリアルタイムに収音するために設けられたものである。
　このとき、マイク５Ｂとしては、閉曲面４Ｂの内側に居るユーザ０が発した音をサイトＡにおける反響の影響を与えてスピーカ２Ｂから出力するというシステムを実現する上では、内向き（閉曲面４Ｂの内側方向）の指向性を有することを要する。このため本例では、各マイク５Ｂとして有指向性のマイクロフォンを用い、その指向方向が閉曲面４Ｂの内側方向に向くように設置するものとしている。
　また、スピーカ２Ｂとしては、その発音方向が閉曲面１Ｂの内側方向に向くように設置する。すなわち、スピーカ２Ｂとしては有指向性スピーカを用い、その指向性を内向きに設定する。
　なおこのとき、指向性の方向は、閉曲面に対して垂直であることが望ましい。

　ここで、以下の説明では、サイトＢに配置されるスピーカ２Ｂの数はＮ個であり、またサイトＢに配置されるマイク５Ｂの数はＭ個であるとする。図のように、マイク５Ｂは、それぞれ閉曲面４Ｂ上におけるＶ１，Ｖ２，Ｖ３，・・・，ＶＭの各位置に配置され、またスピーカ２Ｂはそれぞれ閉曲面１Ｂ上におけるＷ１，Ｗ２，Ｗ３，・・・，ＷＮの各位置に配置されているとする。
　なお以下では、上記の各位置に配置されたマイク５Ｂを、その配置位置に対応させてそれぞれマイクＶ１，Ｖ２，Ｖ３，・・・，ＶＭと表記することもある。同様に、スピーカ２Ｂについても、それぞれその配置位置に対応させてスピーカＷ１，Ｗ２，Ｗ３，・・・，ＷＮと表記することもある。

　図６及び図７は、測定１としての伝達関数の測定の具体的な手法についての説明図である。
　これら図６，図７では、サイトＡ（測定環境）における複数のスピーカ２Ａ及び閉曲面１Ａと、複数のマイク５Ａ及び閉曲面４Ａとを示している。

　図からも分かるように、ここでの説明では、サイトＡの閉曲面４Ａ上におけるスピーカ２Ａの配置箇所はＭ個であるとする。それらの配置位置は、図のようにＱ１，Ｑ２，Ｑ３，・・・，ＱＭと表記する。
　またサイトＡの閉曲面１Ａ上に配置されるマイク５Ａの数はＮ個であるとし、それらの配置位置は図のようにＲ１，Ｒ２，Ｒ３，・・・，ＲＮであるとする。
　なおサイトＡについても、上記の各位置に配置されたスピーカ２Ａをその配置位置に対応させてそれぞれスピーカＱ１，Ｑ２，Ｑ３，・・・，ＱＭと表記し、またマイク５Ａについてもそれぞれその配置位置に対応させてマイクＲ１，Ｒ２，Ｒ３，・・・，ＲＮと表記することがある。

　ここで、サイトＡのスピーカ２Ａ、マイク５Ａについては、ユーザ０から発せられサイトＡでの反響による影響を受けた音をユーザ０に知覚させるための伝達関数を求めるという目的から、スピーカ２Ａ、マイク５Ａについては外向きの指向性を有することが必要である。この点より、スピーカ２Ａには有指向性スピーカを用いその指向性を外向きとし、またマイク５Ａについても有指向性のマイクロフォンを用い、図のようにその指向方向が外向きとなるようにする。この場合も指向性の方向は、閉曲面に対して垂直であることが望ましい。

　ここで、本説明では便宜上、サイトＡにおける閉曲面４Ａは、サイトＢにおける閉曲面４Ｂとそのサイズ・形状が同じで、且つ閉曲面４Ａ上における各スピーカ２Ａの位置関係（Ｑ１，Ｑ２，Ｑ３，・・・，ＱＭの並び順及びそれらの配置間隔）は、閉曲面４Ｂ上における各マイク５Ｂの位置関係（Ｖ１，Ｖ２，Ｖ３，・・・，ＶＭの並び順及びそれらの配置間隔）と同じであるとする。
　また、サイトＡにおける閉曲面１Ａは、サイトＢにおける閉曲面１Ｂとそのサイズ・形状が同じで、且つ閉曲面１Ａ上における各マイク５Ａの位置関係（Ｒ１，Ｒ２，Ｒ３，・・・，ＲＮの並び順及びそれらの配置間隔）は、閉曲面１Ｂ上における各スピーカ２Ｂの位置関係（Ｗ１，Ｗ２，Ｗ３，・・・，ＷＮの並び順及びそれらの配置間隔）と同じであるとする。

　上記の前提を踏まえた上で、測定１では、閉曲面４Ａ上の各位置（Ｑ１～ＱＭ）のスピーカ２Ａから順次測定音を出力し、測定音を出力したスピーカ２Ａから閉曲面１Ａ上の各マイク５Ａの位置（Ｒ１～ＲＮ）までのそれぞれの伝達関数を順次求める。

　図６では、Ｑ１の位置のスピーカ２Ａから測定音を出力し、サイトＡでの反射等の影響を受けた該測定音をＲ１～ＲＮの各マイク５Ａで収音する様子を示している。
　このようにして得られる各マイク５Ａの収音信号に基づき、Ｑ１の位置のスピーカ２ＡからＲ１～ＲＮの各マイク５ＡまでのＮ個の伝達関数を得ることができる。

　ここで本例では、上記測定音としては、ＴＳＰ（Time Stretched Pulse：時間引き延ばしパルス、Swept Sineも同義）信号に基づく音を出力し、その収音信号からインパルス応答を測定する。このインパルス応答のデータは、或るスピーカ２Ａから出た音が、サイトＡの反響による影響を受けて或るマイク５Ａまでどのように到達するかを表す伝達関数となる。

　また図７では、Ｑ２の位置のスピーカ２Ａから測定音を出力し、サイトＡでの反射等の影響を受けた該測定音をＲ１～ＲＮの各マイク５Ａで収音する様子を示している。
　このようにして得られる各マイク５Ａの収音信号に基づき、Ｑ２の位置のスピーカ２ＡからＲ１～ＲＮの各マイク５Ａまでのインパルス応答を測定する。これにより、Ｑ２の位置のスピーカ２ＡからＲ１～ＲＮの各マイク５ＡまでのＮ個の伝達関数を得ることができる。

　このようなＲ１～ＲＮの各マイク５Ａによる収音信号に基づく伝達関数の測定を、測定音を出力するスピーカ２Ａを順次変更してＱＭ位置まで実行する。これにより、伝達関数としては、Ｑ１のスピーカ２ＡからＲ１～ＲＮの各マイク５ＡまでのＮ個の伝達関数（ＱＲ₁₁～ＱＲ_1Nと表記）、Ｑ２のスピーカ２ＡからＲ１～ＲＮの各マイク５ＡまでのＮ個の伝達関数（ＱＲ₂₁～ＱＲ_2Nと表記）、・・・，ＱＭのスピーカ２ＡからＲ１～ＲＮの各マイク５ＡまでのＮ個の伝達関数（ＱＲ_M1～ＱＲ_MNと表記）の、合計Ｍ×Ｎ個の伝達関数が
得られる。

　これらＭ×Ｎ個の伝達関数は、下記式１のように行列化して表すことができる。

　なお、これらＭ×Ｎ個の伝達関数を求めるにあたっては、測定音を、Ｑ１～ＱＭの各位置で順次出力できればよく、そのために必要なスピーカ２Ａの個数は最小で１つで良い。すなわち、１つのスピーカ２Ａを順次Ｑ１，Ｑ２，Ｑ３，・・・，ＱＭの各位置に配置・発音することで、上記のＭ×Ｎ個の伝達関数を求めるのに必要な測定を行うことができる。
　但し、測定ごとにスピーカ２Ａを移動させるには煩わしさを伴うので、本例では、Ｑ１～ＱＭの各位置にスピーカ２Ａを配置し、それらのスピーカ２Ａのうち測定音を出力するスピーカ２Ａを順次選択することで、Ｍ×Ｎ個の伝達関数の測定を行うものとする。

　ここで以下、これら測定１で測定される、ユーザ０が発した音がサイトＡでの反響を受けてどのように伝達するかを表す伝達関数のことを、第１伝達関数とも表記する。

　図８は、上記により説明した測定１としての伝達関数の測定を行うためのシステム構成についての説明図である。
　この図８に示されるように、測定１の実現のためには、Ｍ個のスピーカ２Ａと、Ｎ個のマイク５Ａと、測定装置１０とを設ける。

　測定装置１０には、Ｍ個のスピーカ２Ａを接続するためのＭ個の端子部１１（１１-1～１１-M）と、Ｎ個のマイク５Ａを接続するためのＮ個の端子部１２（１２-1～１２-N）とが設けられる。

　また測定装置１０の内部には、図のようにＡＤＣ（Ａ／Ｄコンバータ）／アンプ部１３、伝達関数測定部１４、制御部１５、測定用信号出力部１６、ＤＡＣ（Ｄ／Ａコンバータ）／アンプ部１７、及びセレクタ１８が設けられる。

　測定用信号出力部１６は、制御部１５による制御に基づき、測定用信号としてのＴＳＰ信号をＤＡＣ／アンプ部１７に出力する。ＤＡＣ／アンプ部１７は、入力された測定用信号をＤ／Ａ変換及び増幅し、セレクタ１８に出力する。
　セレクタ１８は、ＤＡＣ／アンプ部１７から入力された測定用信号を、端子部１１-１～１１-Mのうち制御部１５により指示された端子部１１（つまりスピーカ２Ａ）に択一的に出力する。

　ＡＤＣ／アンプ部１３は、各端子部１２から入力される、各マイク５Ａからの収音信号を増幅及びＡ／Ｄ変換して伝達関数測定部１４に出力する。
　伝達関数測定部１４は、制御部１５からの指示に応じて、ＡＤＣ／アンプ部１３から入力された各マイク５Ａからの収音信号に基づいてインパルス応答（伝達関数）の測定を行う。

　制御部１５は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備えたマイクロコンピュータで構成され、上記ＲＯＭ等に格納されたプログラムに従った処理を実行することで、測定装置１０の全体制御を行う。
　特にこの場合の制御部１５は、先に説明した測定１としての測定動作が実現されるように、測定用信号出力部１６、セレクタ１８、伝達関数測定部１４に対する制御を行う。具体的には、Ｑ１，Ｑ２，Ｑ３，・・・，ＱＭの各スピーカ２Ａより測定用信号に基づく発音が順次行われるように測定用信号出力部１６及びセレクタ１８に対する制御を行うと共に、各スピーカ２Ａによる発音のタイミングに同期して、各マイク５Ａによる収音信号に基づく伝達関数の測定が行われるように、伝達関数測定部１４による測定タイミングを制御する。
　これにより、前述したＭ×Ｎ個の伝達関数の測定が実現される。

　ここで、実用面では、伝達関数の時間軸表現であるインパルス応答は、各スピーカ、マイクの指向性によっては、図９のように残響音成分の他にも直接音や初期反射音を含んでおり、場合によってはこれらが臨場感演出の阻害要因になる可能性もある。
　なお確認のため述べておくと、直接音とは、スピーカ２Ａから発せられ（サイトＡでの反射を介さず）直接的にマイク５Ａに到達する音を意味するものである。

　そこで本例では、測定したインパルス応答を、直接音、初期反射音、残響音に時間軸上で成分分解し、それらのバランスを変えて再合成するということを行う。
　図１０にそのための構成を示した。
　図中のインパルス応答測定データは、マイク５Ａによる収音信号に基づき測定したインパルス応答のデータ（時間軸波形データ）を意味している。
　このインパルス応答測定データを、図のように信号成分分解処理部１９によって時間軸上で直接音、初期反射音、残響音に分解する。
　直接音、初期反射音については、それぞれ乗算部２０，２１でそのバランスを変更（レベル調整）する。このようにバランス調整された直接音、初期反射音の成分と、信号成分分解処理部１９で得られた残響音成分とを、加算部２２により加算する。
　本例で用いる伝達関数は、測定された（生の）インパルス応答データについて上記のような成分分解・バランス調整が行われたものであるとする。

　（3-3．測定２について）
　図１１は、測定２としての伝達関数の測定の具体的な手法についての説明図である。
　前述のように測定２は、閉曲面１Ｂの外側の任意位置に定位されるべき音源を、該位置に定位させ、且つ該位置より発せられる音がサイトＡでの反響を受けたかたちでユーザ０に知覚されるようにするべく、閉曲面１Ａの外側の任意位置に配置した測定用のスピーカ２Ａから発された音が、サイトＡにおける反響の影響も含めて、各マイク５Ａにどのように到達するかを表す伝達関数（インパルス応答）を測定するものである。

　具体的に測定２では、サイトＡにおいて、再現対象の音源を定位させたいとする位置にスピーカ２Ａを配置し、該スピーカ２Ａにより出力した測定音を、閉曲面１Ａ上の各マイク５Ａにより収音し、それぞれインパルス応答を測定する。これにより、スピーカ２Ａを配置した位置に音源を定位させ、且つ該音源に基づく音がサイトＡにおける反響の影響を受けた音として知覚されるようにするための伝達関数群を得ることができる。

　ここで、音源を定位させたい位置が複数箇所あるという場合には、サイトＡにおける複数箇所で同様の伝達関数の測定を行う。例えば、図１１中に実線で示したスピーカ２Ａの位置で測定音の放音及び各マイク５Ａによる収音を行って伝達関数を測定した後、破線に示すスピーカ２Ａの位置で測定音の放音及び各マイク５Ａによる収音を行って伝達関数を測定するというものである。
　このように音源を「定位させたい位置」が複数ある場合には、その「定位させたい位置」ごとの伝達関数の測定を行う。

　ここで以下、これら測定２で測定される、閉曲面１Ａの外側の任意位置から発された音がサイトＡにおける反響の影響も含めて閉曲面１Ａ側にどのように到達するかを表す伝達関数のことを、第２伝達関数とも表記する。

　なお確認のため述べておくと、上記測定２は、測定音を発するスピーカ２Ａを閉曲面１Ａに対してどの方向に向けるかにより、音源の指向性も表現可能な伝達関数を得ることができるものである。

　上記のような測定２に関しても、先の図８に示した測定装置１０を用いて実現することができる。
　但しこの場合、スピーカ２Ａの接続数は、音源を定位させたい位置の数に応じた数となる。具体的に、音源を定位させたい位置の数だけスピーカ２Ａを接続した場合には、制御部１５としては、測定音を出力すべきスピーカ２Ａをセレクタ１８に順次選択させ、且つ測定音の出力タイミングに同期して伝達関数の測定処理を実行するように伝達関数測定部１４を制御することになる。

　＜４．伝達関数に基づく音場再現＞
　（4-1．第１伝達関数に基づく音場再現）
　前述のように、第１伝達関数は、Ｑ１のスピーカ２ＡからＲ１～ＲＮの各マイク５ＡまでのＮ個の伝達関数（ＱＲ₁₁～ＱＲ_1N）、Ｑ２のスピーカ２ＡからＲ１～ＲＮの各マイク５ＡまでのＮ個の伝達関数（ＱＲ₂₁～ＱＲ_2N）、・・・，ＱＭのスピーカ２ＡからＲ１～ＲＮの各マイク５ＡまでのＮ個の伝達関数（ＱＲ_M1～ＱＲ_MN）の合計Ｍ×Ｎ個である。

　ここで、図５に示したサイトＢ（再現環境）において、閉曲面１Ｂ上に配置されたスピーカ２Ｂの数はＮ個であり、従って最終的に得るべき音響信号はＮ系統であることが分かる。
　この前提の下で、例えばＷ１の位置から出力すべき音響信号を考えてみると、このＷ１位置からは、ユーザ０から閉曲面４Ｂ上のＶ１～ＶＭの各方向に発せられ、それぞれサイトＡによる反響の影響を受けて該Ｗ１位置まで戻って来る音が出力されるべきものとなる。
　すなわち、Ｗ１位置のスピーカ２Ｂより出力されるべき音響信号を信号Ｗ₁とすると、該信号Ｗ₁は、
　Ｗ₁＝Ｖ₁×ＱＲ₁₁＋Ｖ₂×ＱＲ₂₁＋Ｖ₃×ＱＲ₃₁＋・・・＋Ｖ_M×ＱＲ_M1
　と表すことができる。但し上式において、Ｖ₁～Ｖ_MはマイクＶ１～ＶＭの収音信号を意味するものであるとする。
　このようにＷ₁信号としては、Ｖ１～ＶＭ（Ｑ１～ＱＭ）の各方向に出た音を、それぞれＷ１（Ｒ１）への伝達関数（ＱＲ₁₁，ＱＲ₂₁，・・・，ＱＲ_M1）のうち対応する１の伝達関数で処理して得られるＭ個の信号を足し合わせたものとなる。

　同様に、Ｗ２やＷ３の位置についても、ユーザ０からＶ１～ＶＭの各方向に発せられそれぞれサイトＡによる反響の影響を受けてＷ２位置，Ｗ３位置までそれぞれ戻って来る音が出力されるべきものとなり、従ってこれらＷ２位置、Ｗ３位置のスピーカ２Ｂよりそれぞれ出力されるべき信号Ｗ₂，Ｗ₃は、
　Ｗ₂＝Ｖ₁×ＱＲ₁₂＋Ｖ₂×ＱＲ₂₂＋Ｖ₃×ＱＲ₃₂＋・・・＋Ｖ_M×ＱＲ_M2
　Ｗ₃＝Ｖ₁×ＱＲ₁₃＋Ｖ₂×ＱＲ₂₃＋Ｖ₃×ＱＲ₃₃＋・・・＋Ｖ_M×ＱＲ_M3
　と表すことができる。すなわち、Ｗ₂信号としては、Ｖ１～ＶＭ（Ｑ１～ＱＭ）の各方向に出た音をそれぞれＷ２（Ｒ２）への伝達関数（ＱＲ₁₂，ＱＲ₂₂，・・・，ＱＲ_M2）のうち対応する１の伝達関数で処理して得られるＭ個の信号を足し合わせたものであり、またＷ₃信号は、Ｖ１～ＶＭ（Ｑ１～ＱＭ）の各方向に出た音をそれぞれＷ３（Ｒ３）への伝達関数（ＱＲ₁₃，ＱＲ₂₃，・・・，ＱＲ_M3）のうち対応する１の伝達関数で処理して得られるＭ個の信号を足し合わせたものとなる。

　他の信号Ｗ₄～Ｗ_Nについても、同様にして求められるものである。

　以上を踏まえ、信号Ｗ１～ＷＮの演算式を行列を用いて表現すると、次の式２のようになる。

　上記式２で表される演算を行うことで、閉曲面１Ｂ内のユーザ０が発した音がサイトＡで反響したように感じられる音場をユーザ０に知覚させるためにＷ１～ＷＮの各スピーカ２Ｂから出力されるべき信号Ｗ₁～Ｗ_Nを得ることができる。

　（4-2．第２伝達関数に基づく音場再現）
　先の説明からも理解されるように、第２伝達関数を用いる手法２は、サイトＡにおける環境音を該サイトＡでの反響も含めてユーザ０に知覚させるものであって、手法１のように、マイク５Ｂによる収音信号に対して伝達関数による処理を施すものではない。
　手法２では、マイク５Ｂによる収音信号ではなく、予め収録等された所定の音源に対して第２伝達関数による処理を施すことになる。

　具体的に手法２では、先の測定２によって１つのスピーカ２Ａの配置位置につきＮ個測定される第２伝達関数を用いて、所定音源に対する処理を施すことで、再現環境としてのサイトＢに配置された各スピーカ２Ｂより出力すべき信号を得る。
　例えば最も簡易的な例として、或る１つの音源を或る１つの位置に定位させるとした場合には、該音源に基づく音響信号をそれぞれＲ１～ＲＮの各位置の収音信号に基づき測定
した第２伝達関数で処理してＮ個の信号を得、これを再現環境におけるＷ１～ＷＮのスピーカ２Ｂのうちそれぞれ対応する１のスピーカ２Ｂより出力すればよい。
　或いは、音源Ａを位置ａ、音源Ｂを位置ｂにそれぞれ定位させるといったときは、音源Ａ側については、該音源Ａに基づく音響信号を位置ａについての測定で得たＮ個の第２伝達関数でそれぞれ処理してＮ個の信号を得、また音源Ｂ側については、該音源Ｂに基づく音響信号を位置ｂについての測定で得たＮ個の第２伝達関数でそれぞれ処理してＮ個の信号を得る。そして、これら音源Ａ側、音源Ｂ側についてそれぞれ得たＮ個の信号を、スピーカ２Ｂの各位置（Ｗ１～ＷＮ）ごとに加算して、Ｗ１～ＷＮの各位置のスピーカ２Ｂより出力すべき信号を得る。

　＜５．信号処理システムの構成＞
　図１２は、上記により説明した実施の形態としての信号処理手法を実現するための信号処理システムの構成について説明するための図である。
　この図１２に示すように、本実施の形態の信号処理システムは、Ｍ個のマイク５Ｂと、信号処理装置３０と、Ｎ個のスピーカ２Ｂと、表示装置３と、サーバ装置２５とを少なくとも有して構成される。

　先ず前提として、本例の場合、ユーザ０による位置情報の指定のために表示されるべき地図情報に関するデータ、及び指定位置情報から特定される場所に対応して表示されるべき画像データや、手法１としての音場再現で用いる第１伝達関数の情報、及び手法２としての音場再現で用いるオブジェクトベースのデータについては、サーバ装置２５に格納されているとする。
　具体的に、サーバ装置２５には、地図データ２５Ａ、画像データ２５Ｂ、第１伝達関数情報２５Ｃ、対応関係情報２５Ｄ、及びオブジェクトベースデータ２５Ｅが格納されている。

　地図データ２５Ａは、上記の地図情報（地図画像）の表示に供されるデータである。また画像データ２５Ｂは、再現対象とする場所についての画像データであり、例えば、再現対象とする場所ごとに該場所の様子を撮影して得た画像データとなる。

　また第１伝達関数情報２５Ｃは、先に説明した測定１によって再現対象とする場所ごとに測定した第１伝達関数の情報を表すものである。

　またオブジェクトベースデータ２５Ｅは、手法２としての音場再現で用いるオブジェクトベースのデータを包括的に表したものである。このオブジェクトベースデータ２５Ｅとしては、先の測定２で再現対象とする場所ごとに測定した第２伝達関数の情報である第２伝達関数情報２５Ｅ１と、オブジェクト分離音源２５Ｅ２とが含まれる。
　オブジェクト分離音源２５Ｅ２は、再現対象とする場所に存在する音源であり、これは、例えば再現対象とする場所での収録信号から所要の音源を抽出したものと考えればよい。この音源の抽出の処理としては、上記収録信号に対して、ノイズ除去や残響抑制などを行う。これにより、Ｓ／Ｎ（ノイズ対雑音比）の良い、残響感も抑制された音源データを得ることができる。すなわち、オブジェクトベースの音場再現に適した音源データを得ることができる。

　対応関係情報２５Ｄは、指定位置情報に応じた場所に対応する画像を表示し、且つ該場所に対応する音場を再現するという本システムの動作を実現するために用いられる情報であり、具体的には、図１３に示されるように、場所と、該場所に対応して表示すべき画像と、該場所に対応した手法１の音場再現で使用する第１伝達関数と、該場所に対応した手法２の音場再現で使用するオブジェクト分離音源（図中オブジェクト音源）及び第２伝達関数とを対応づけた情報とされる。

　本例の場合、上記の画像データ、第１伝達関数、第２伝達関数、オブジェクト分離音源は、それぞれＩＤで管理される。
　対応関係情報２５Ｄには、その場所に対応して用いられるべき画像データ、第１伝達関数、第２伝達関数、オブジェクト分離音源についてのＩＤが記述され、該ＩＤから、画像データ２５Ｂ、第１伝達関数情報２５Ｃ、第２伝達関数情報２５Ｅ１、オブジェクト分離音源２５Ｅ２として格納される実データのうち実際に用いる実データを特定できるようになっている。

　なお、この図に示す対応関係情報２５Ｄでは、手法２の音場再現で使用するデータに関して、１つの場所につきそれぞれ２つのオブジェクト分離音源及び第２伝達関数が対応づけられているが、これは、１つの場所につきそれぞれ２つの音源を異なる位置に定位させる手法に対応したものである。

　図１２に戻り、信号処理装置３０は、通信部４４を備えており、該通信部４４により、上記のサーバ装置２５との間で、例えばインターネットなどのネットワーク２６を介したデータ通信を行うことが可能とされる。

　信号処理装置３０には、Ｍ個のマイク５Ｂを接続するためのＭ個の端子部３１（３１-1～３１-M）と、Ｎ個のスピーカ２Ｂを接続するためのＮ個の端子部３９（３９-1～３９-N）とが設けられる。
　また信号処理装置３０には、先の図１にも示した表示装置３を接続するための端子部４３も設けられる。
　また、信号処理装置３０内部には、ＡＤＣ／アンプ部３２、加算部３３-1～３３-M、ハウリング制御／エコーキャンセル部３４,３６、マトリクスコンボリューション部３５、加算部３７-1～３７-N、ＤＡＣ／アンプ部３８、制御部４０、操作部４１、表示制御部４２、通信部４４、メモリ４５、リファレンス音再生部４６、及びバス４８が設けられる。
　ここで、マトリクスコンボリューション部３５、制御部４０、表示制御部４２、通信部４４、メモリ４５、リファレンス音再生部４６、レンダリング部４７は、それぞれバス４８に接続されており、該バス４８を介して相互にデータ通信を行うことが可能とされる。

　信号処理装置３０内において、端子部３１-1～３１-Mを介して入力された各マイク５Ｂによる収音信号は、ＡＤＣ／アンプ部３２にてチャンネルごとにＡ／Ｄ変換及び増幅される。

　ＡＤＣ／アンプ部３２でチャンネルごとにＡ／Ｄ変換及び増幅された各マイク５Ｂによる収音信号は、加算部３３-1～３３-Mのうち対応するチャンネルの加算部３３にそれぞれ入力される。
　該加算部３３-1～３３-Mによっては、Ｖ１～ＶＭの各チャンネルの収音信号に対し、リファレンス音再生部４６により再生されたリファレンス音としての音響信号が加算されるが、これについては後に改めて説明する。

　加算部３３-1～３３-Mを介した収音信号は、ハウリング制御／エコーキャンセル部３４に供給される。
　このハウリング制御／エコーキャンセル部３４は、マトリクスコンボリューション部３５の後段に設けられたハウリング制御／エコーキャンセル部３６と共に、フィードバックによるハウリングを避けるために設けられる。図のようにこれらハウリング制御／エコーキャンセル部３４，３６は、両者が連携処理できるように接続されている。

　ここで、本システムでは、再現環境下においてマイク５Ｂとスピーカ２Ｂとを配置するが、これらマイク５Ｂとスピーカ２Ｂとについては比較的近接して配置されることになるため、場合によっては、両者の作用で過剰な発振動作が生じてしまう虞がある。そこで、本例ではハウリング制御／エコーキャンセル部３４，３６を設けて、このような過剰な発振動作の発生の防止を図るものとしている。

　マトリクスコンボリューション部３５は、各マイク５Ｂにより収音され、ハウリング制御／エコーキャンセル部３４を介して入力される各信号に対して第１伝達関数に基づく処理を施して、手法１としての音場再現の実現のために各スピーカ２Ｂより出力されるべき信号を生成する。
　具体的にマトリクスコンボリューション部３５は、ハウリング制御／エコーキャンセル部３４より入力されたＭ個の信号（Ｖ₁～Ｖ_M）に対し、制御部４０からの指示された第１伝達関数（ＱＲ₁₁～ＱＲ_MN）に基づく処理を施して、手法１としての音場再現の実現のために各スピーカ２Ｂより出力されるべきＮ個の信号を生成する。

　ここで図１４に、マトリクスコンボリューション部３５の具体的な内部構成例を示す。
　なおこの図では、第１伝達関数を時間軸表現（インパルス応答化）したものを係数とするＦＩＲ（Finite Impulse Response）デジタルフィルタを使った場合の構成例を示している。
　またこの図において、信号Ｖ₁～Ｖ_Mは、先の図１２からも理解されるようにハウリング制御／エコーキャンセル部３４を介してマトリクスコンボリューション部３５に入力される信号を表すものであり、また信号Ｗ₁～Ｗ_Nはマトリクスコンボリューション部３５からハウリング制御／エコーキャンセル部３６に入力される信号を表すものとなる。

　先ず前提として、この場合におけるフィルタ５０はＦＩＲデジタルフィルタとなる。
　この場合のマトリクスコンボリューション部３５には、信号Ｖ₁～Ｖ_Mの各信号ごとに、それぞれＮ個のフィルタ５０（末尾が1～Nとなる）が設けられる。この図では、信号Ｖ₁を入力するフィルタ５０-11～５０-1Nと、信号Ｖ₂を入力するフィルタ５０-21～５０-2Nと、信号Ｖ_Mを入力するフィルタ５０-M1～５０-MNとを代表して示している。

　図のように信号Ｖ₁を入力するフィルタ５０-11～５０-1Nには、Ｖ１（Ｑ１）の位置に対応する第１伝達関数ＱＲ₁₁～ＱＲ_1Nに基づくフィルタ係数が設定される。
　また信号Ｖ₂を入力するフィルタ５０-21～５０-2Nには、Ｖ２（Ｑ２）の位置に対応する第１伝達関数ＱＲ₂₁～ＱＲ_2Nに基づくフィルタ係数が設定され、信号Ｖ_Mを入力するフィルタ５０-M1～５０-MNには、ＶＭ（ＱＭ）の位置に対応する第１伝達関数ＱＲ_M1～ＱＲ_MNに基づくフィルタ係数が設定される。
　図示は省略しているが、他の信号（Ｖ₃～Ｖ_M-1）を入力する各Ｎ個のフィルタ５０にも、その信号が収音されるマイク５Ｂ位置に対応するＮ個の第１伝達関数に基づくフィルタ係数がそれぞれ設定されることになる。

　またマトリクスコンボリューション部３５には、Ｎ個の加算部５１（５１-1～５１-N）が設けられる。これら加算部５１-1～５１-Nは、各フィルタ５０で対応する第１伝達関数に基づくフィルタ処理が施された信号のうち、対応するものを入力し、信号Ｗ₁～Ｗ_Nを得るための加算を行う。
　具体的に、加算部５１-1には、各フィルタ５０のうち、末尾が1のフィルタ５０で得られた信号が入力され、また加算部５１-2には末尾が2のフィルタ５０で得られた信号が入力される。また加算部５１-Nには、末尾がNのフィルタ５０で得られた信号が入力される。
　つまり加算部５１-1～５１-Nには、Ｗ１～ＷＮ（Ｒ１～ＲＮ）の位置のうち、その末尾の数値に応じた位置の第１伝達関数で処理されたＭ個の信号が入力されるものである。

　加算部５１-1～５１-Nの各々は、このように入力されたＭ個の信号をそれぞれ加算（合成）するものである。

　上記の構成により、先の式２に示した信号Ｗ₁～Ｗ_Nの演算を実現できる。

　なお、ここでは時間軸演算の例を示したが、時間軸演算としては畳み込み演算を行ってもよい。或いは周波数演算であれば、伝達関数による掛け算を行うことになる。

　説明を図１２に戻す。
　マトリクスコンボリューション部３５で得られたＮ個の信号（Ｗ₁～Ｗ_N）は、チャンネルごとにハウリング制御／エコーキャンセル部３６による処理を経て、加算部３７-1～３７-Nのうち対応するチャンネルの加算部３７にそれぞれ入力される。

　加算部３７-1～３７-Nは、ハウリング制御／エコーキャンセル部３６より入力される信号に対し、レンダリング部４７から入力される信号を加算してＤＡＣ／アンプ部３８に出力する。

　ＤＡＣ／アンプ部３８は、加算部３７-1～３７-Nによる出力信号についてチャンネルごとにＤ／Ａ変換及び増幅を行い、端子部３９-1～３９-Nに出力する。これにより、Ｗ１～ＷＮの各チャンネルのスピーカ２Ｂが、それぞれ対応するチャンネルの音響信号に応じた発音を行うようにされる。

　レンダリング部４７は、手法２としての音場再現を実現するための信号処理を行うために設けられたものである。
　レンダリング部４７は、制御部４０による指示に従って、ネットワーク２６経由でサーバ装置２５より送信されたオブジェクト分離音源に対し、同じくネットワーク２６経由でサーバ装置２５より送信された第２伝達関数に基づく処理を施すことで、サイトＡにおける環境音を該サイトＡでの反響も含めてユーザ０に知覚させるために各スピーカ２Ｂより出力されるべきＮ系統の音響信号を生成する。
　なお先の説明からも理解されるように、複数の音源をそれぞれ別の位置に定位させる場合には、レンダリング部４７は、各音源を対応する第２伝達関数（Ｎ個）で処理して得たＮ系統の音響信号を、チャンネルごとに加算することで、各スピーカ２Ｂより出力されるべきＮ系統の音響信号を得ることになる。

　表示制御部４２は、端子部４３を介して接続された表示装置３の表示制御を行う。具体的に、この場合の表示制御部４２は、制御部４０による指示に基づき、ネットワーク２６経由でサーバ装置２５より送信された地図データに基づく画像や、同じくネットワーク２６経由でサーバ装置２５より送信された画像データに基づく画像を表示装置３に表示させる。

　メモリ４５は、各種データの記憶を行う。特にこの場合のメモリ４５は、サーバ装置２５より送信されたデータを一時的に蓄積（バッファリング）するために用いられる。

　制御部４０は、例えばＣＰＵ，ＲＯＭ，ＲＡＭ等を備えたマイクロコンピュータで構成され、例えば上記ＲＯＭ等に格納されたプログラムに従った処理を実行することで、信号処理装置３０の全体制御を行う。
　この制御部４０には操作部４１が接続されており、制御部４０は、該操作部４１に対して行われたユーザ０による操作に応じた操作情報の受付を行い、該操作情報に応じた処理を実行することで、ユーザ０による操作に応じた動作を実現する。

　特に、この場合の制御部４０は、次の図１５に示される処理を実行することで、実施の形態としての再現動作の実現を図る。

　図１５は、実施の形態としての再現動作を実現するために本システムで実行されるべき処理の内容を示したフローチャートである。
　なお図１５において、信号処理装置と示した処理は、信号処理装置３０が備える制御部４０によって実行されるものであり、サーバ装置と示した処理はサーバ装置２５が備える制御部（不図示）によって実行されるものである。
　また、この図に示す処理が開始されるにあたっては、既に、操作部４１を介したユーザ０の操作入力に基づき、所要の位置情報の指定が為された状態にあるとする。

　図１５において、信号処理装置３０の制御部４０は、ステップＳ１０１において、指定位置情報をサーバ装置２５に送信するための処理を行う。すなわち、通信部４４により、指定位置情報をネットワーク２６を介してサーバ装置２５に送信させる。

　サーバ装置２５の制御部は、信号処理装置３０側から送信された指定位置情報が受信されたことに応じ、ステップＳ２０１において、指定位置情報に対応する場所の特定を行う。この場所の特定は、例えば予め定められた位置情報と場所との対応関係情報を参照して行う。

　ステップＳ２０１で場所の特定を行った後、サーバ装置２５の制御部は、ステップＳ２０２において特定した場所に応じた画像データ、第１伝達関数、第２伝達関数、及びオブジェクト分離音源を信号処理装置３０に対して送信する。
　具体的には、対応関係情報２５Ｄに基づき、画像データ２５Ｂ、第１伝達関数情報２５Ｃ、第２伝達関数情報２５Ｅ１、オブジェクト分離音源２５Ｅ２としてそれぞれ格納されている画像データ、第１伝達関数、第２伝達関数、オブジェクト分離音源のうちの、特定された場所と対応する画像データ、第１伝達関数、第２伝達関数、オブジェクト分離音源を信号処理装置３０に対して送信する。

　信号処理装置３０側では、このようにサーバ装置２５側から画像データ、第１伝達関数、第２伝達関数、オブジェクト分離音源が送信されたことに応じ、ステップＳ１０２において、画像表示、及び第１，第２伝達関数を用いた処理の実行制御を行う。すなわち、サーバ装置２５側から送信された画像データについては、該画像データが表示装置３に表示されるように表示制御部４２に対する指示を行う。また、サーバ装置２５側から送信された第１伝達関数については、該第１伝達関数に基づき先の式２の演算を実行するようにマトリクスコンボリューション部３５に指示を行う。また、サーバ装置２５側から送信された第２伝達関数、オブジェクト分離音源については、これら第２伝達関数、オブジェクト分離音源に基づくレンダリング処理がレンダリング部４７にて実行されるように該レンダリング部４７に対する指示を行う。

　これにより、ユーザ０に対し指定位置情報から特定される場所に対応する画像を提示できると共に、ユーザ０が発した音が上記指定位置情報から特定される場所で反響されたように感じられる音場を提供し、且つ、該場所の環境音を該場所での反響音も含めてユーザ０に知覚させることができる。

　このような本実施の形態としての信号処理システムによれば、画像情報の提示のみを行う場合よりもユーザの没入感を高めることができる。

　ここで、先に触れたように、本実施の形態では、リファレンス音再生部４６を設けて、リファレンス音の出力も行うものとされる。

　このリファレンス音としては、サイトＢでのリアルタイムの収録音ではなく、予め準備された音データ（収音した音を元にしたものでも良いし、人工音でも良い）を使用する。
　意図としては、手法１と同様にエコーロケーションであり、再現対象とする場所が異なっても、同じ音源素材を引き続き出力することで、その場所がどのような空間になっているか音響情報的に提示することが可能である。この場合、単にリアルタイム収音した音のみを第１伝達関数で処理して出力する場合よりも、高い再現性により音響情報による場所の構造等の把握が可能である。

　図１２に示したように、リファレンス音再生部４６にて再生されたリファレンス音は加算部３３-1～３３-Mによって各マイク５Ｂによる収音信号（ＡＤＣ／アンプ部３２によるＡ／Ｄ変換及び増幅後）にそれぞれ加算される。
　マトリクスコンボリューション部３５は、このようにリファレンス音が加算された各チャンネルの収音信号（Ｖ₁～Ｖ_M）に基づき先の式２による演算を行う。このようなマトリクスコンボリューション部３５による処理で得られたＮ系統の信号（Ｗ₁～Ｗ_N）がハウリング制御／エコーキャンセル部３６→加算部３７→ＤＡＣ／アンプ部３８→端子部３９を介して対応するスピーカ２Ｂによりそれぞれ出力される。

　これにより、エコーロケーション効果をより高めて、ユーザ０の没入感をさらに増すことができる。

　ここで、上記説明では、手法２の実現のためのレンダリング処理を、ユーザ０の居る再現環境側に置かれた信号処理装置３０にて実行する場合を例示したが、該レンダリング処理は、再現環境とは離隔された、ネットワーク２６上の所要のサーバ装置にて行う（つまりいわゆるクラウドにて行う）ようにすることもできる。

　図１６は、手法２についてのレンダリング処理をクラウド上で行うとした場合のシステム構成例を示している。
　なおこの図では、レンダリング処理をサーバ装置２５にて行う場合の構成例を示しているが、地図データ２５Ａや第１伝達関数情報２５Ｃなどのデータを格納するサーバ装置とレンダリング処理を実行するサーバ装置とが別体であってもよい。

　図示するようにこの場合は、サーバ装置２５にレンダリング部５２が設けられる。またこの場合、信号処理装置３０においては、レンダリング部４７に代えて出力制御部５３が設けられる。

　この場合のサーバ装置２５は、指定位置情報に基づく場所が特定されたことに応じ、該場所に対応する第２伝達関数及びオブジェクト分離音源を用いたレンダリング処理をレンダリング部５２にて行う。
　この場合、信号処理装置３０に対しては、該レンダリング部５２にて得られたレンダリング処理後の音響信号（Ｎ系統）がサーバ装置２５より送信されてくる。

　この場合の信号処理装置３０における制御部４０は、このようにサーバ装置２５より送信されたＮ系統の音響信号を、出力制御部５３によって、加算部３７-1～３７－Nのうちの対応するチャンネルの加算部３７にそれぞれ出力させる。

　このようにレンダリング処理をクラウド上で実行するものとすれば、信号処理装置３０の処理負担を効果的に軽減できる。

　なお、レンダリング処理を信号処理装置３０側（ローカル側）で行うかクラウド上で行うかは、ネットワークのスピードやクラウド・ローカルの処理能力の比率等に応じて適宜切り替えるようにしても良い。

　また、先の図１２では、第１伝達関数情報２５Ｃ、オブジェクトベースデータ２５Ｅが全てサーバ装置２５に記憶されるものとしたが、これらの情報のうち少なくとも何れかを、信号処理装置３０側に記憶させてもよい。その場合、信号処理装置３０では、指定位置情報から特定される場所の第１伝達関数、オブジェクト分離音源、第２伝達関数の情報を該信号処理装置３０内の記憶部から取得して処理に用いることになる。

　＜６．変形例＞
　（6-1．閉曲面について）
　ここで、これまでの説明では特に言及しなかったが、上記により説明した実施の形態としての音場再現手法を考慮すると、再現環境で複数のスピーカ２Ｂが配される閉曲面１Ｂと、同じく再現環境で複数のマイク５Ｂが配される閉曲面４Ｂとしては、少なくとも、それぞれがユーザ０を取り囲むように設定されていればよく、閉曲面１Ｂと閉曲面４Ｂは交差しても良いものである。

　図１７は、閉曲面１Ｂと閉曲面４Ｂの関係の例を示している。
　図１７Ａは、閉曲面１Ｂがユーザ０を取り囲むように設定され且つ閉曲面１Ｂが閉曲面４Ｂの内側に設定された例である。図１７Ｂは図１７Ａに示す例において、閉曲面１Ｂと閉曲面４Ｂとがより近接した例である。また図１７Ｃは閉曲面１Ｂと閉曲面４Ｂとが共にユーザ０を取り囲むように設定されるが、閉曲面１Ｂの一部が閉曲面４Ａの外側にはみ出している例である。
　また図１７Ｄに示す例は、図１７Ｃの例において、閉曲面４Ｂのみがユーザ０を取り囲むように設定されたものである。また図１７Ｅに示す例は、閉曲面１Ｂが閉曲面４Ｂの内側に設定され且つ閉曲面４Ｂがユーザ０を取り囲むように設定されているが、閉曲面１Ｂがユーザ０を取り囲むようには設定されていないものである。

　これら図１７Ａ～図１７Ｅの例のうち本技術が適正に成立するのは、図１７Ａ～図１７Ｃに示す例となる。
　このように閉曲面１Ｂと閉曲面４Ｂとは、少なくともそれらの一部同士が重なる領域が形成されるように設定されればよく、該重なる領域内にユーザが存在すれば、本技術が適正に成り立つ。

　また、マイク、スピーカにより形成される閉曲面の形状は、ユーザ０を取り囲むことのできる形状であれば特に限定されず、例えば図１８に示すような楕円型の閉曲面１Ｂ-1、又は円柱型の閉曲面１Ｂ-2、又は多角形型の閉曲面１Ｂ-3のような形状であってもよい。
　なお図１８では複数のスピーカ２Ｂによる閉曲面１Ｂの形状を例示したが、複数のマイク５Ｂによる閉曲面４Ｂの形状についても同様である。

　ここで、閉曲面上におけるスピーカやマイクの配置間隔は、理想的には、対象とする周波数の半波長以下の間隔で並ぶのが望ましい。但し、これを忠実に実現しようとするとスピーカやマイクの設置数が莫大になる可能性もある。
　実際においては、効果を体感してみて、現実的な数を設定することが望ましいものとなる。

　またこれまでの説明では、閉曲面１Ｂが閉曲面４Ｂの内側にあって、閉曲面１Ｂよりも閉曲面４Ｂの方がそのサイズが大である場合を例示したが、逆に閉曲面１Ｂの方が閉曲面４Ｂよりもサイズが大であっても問題は無い。

　一例として、図１９に、閉曲面４Ｂが閉曲面１Ｂの内側に設定される場合を示しておく。
　このように閉曲面４Ｂが閉曲面１Ｂの内側に配置される場合には、測定環境としてのサイトＡでは、図２０に示すように、スピーカ２Ａを配置する閉曲面４Ａを、マイク５Ａを配置する閉曲面１Ａの内側に設定することになる。

　（6-2．指向性について）
　これまでの説明では、マイク５Ａ，５Ｂに関して、有指向性のマイクを用いる場合を例示したが、これらマイク５Ａ，５Ｂに関しては、必ずしもデバイス単体として有指向性を有するものである必要性はなく、無指向性のマイクを用いることもできる。
　その場合は、複数の無指向性マイクを用いていわゆるマイクアレーを形成することで、有指向性マイクと等価な出力を得ることが可能である。

　図２１は、無指向性のマイク５Ａ又は５Ｂを用いて有指向性マイクと等価な出力を得るための構成の例を示している。
　図のようにマイク５Ａ又は５Ｂが端から順に１番～５番まで配置されているとする。また、これら１番～５番のマイク５Ａ又は５Ｂと共に、この場合は３つ１組とされた遅延回路が２つ設けられているとする（遅延回路５４-11～５４-13の組、及び遅延回路５４-21～５４-23の組）。図のように遅延回路５４-11～５４-13による出力は加算部５５-1にて加算され、また遅延回路５４-21～５４-23による出力は加算部５５-2にて加算されて出力される。
　遅延回路５４-11には１番のマイク５Ａ又は５Ｂの出力が、また遅延回路５４-12には２番のマイク５Ａ又は５Ｂの出力が、遅延回路５４-13には３番のマイク５Ａ又は５Ｂの出力がそれぞれ入力される。また遅延回路５４-21には２番のマイク５Ａ又は５Ｂの出力が、また遅延回路５４-22には３番のマイク５Ａ又は５Ｂの出力が、遅延回路５４-23には４番のマイク５Ａ又は５Ｂの出力がそれぞれ入力される。

　例えばこのような構成において、遅延回路５４-11～５４-13の遅延量を適切に設定することで、加算部５５-1の出力として、１番～３番のマイク５Ａ又は５Ｂの収音信号で実現可能な所定の第１方向の収音信号を得ることができる。同様に遅延回路５４-21～５４-23の遅延量を適切に設定することで、加算部５５-2の出力として、２番～４番のマイク５Ａ又は５Ｂの収音信号で実現可能な所定の第２方向の収音信号を得ることができる。

　このように複数配列された無指向性マイクの収音信号を適切な遅延を与えて加算（合成）することで、マイクアレーを形成し、有指向性マイクと等価な出力を得ることができる。
　なお、図２１の例では１つの指向方向を実現するために３つのマイクからの収音信号を遅延・加算するものとしたが、少なくとも２以上のマイクからの収音信号を遅延・加算すれば、指向性の表現は可能である。

　また、スピーカについても、同様にアレースピーカを形成することで、デバイス自体は無指向性であっても有指向性の機能を実現可能である。
　図２２は、無指向性のスピーカ２Ａ又は２Ｂを用いて有指向性スピーカと等価な出力を得るための構成の例を示している。
　この場合も図のようにスピーカ２Ａ又は２Ｂが端から順に１番～５番まで配置されているとする。また、これら１番～５番のスピーカ２Ａ又は２Ｂと共に、３つ１組とされた遅延回路が２つ設けられる（遅延回路５６-11～５６-13の組、及び遅延回路５６-21～５６- 23の組）。図のように遅延回路５６-11～５６-13に対しては、第１方向に出力すべき音響信号が与えられ、また遅延回路５６-21～５６-23に対しては第２方向に出力すべき音響信号が与えられる。
　１番のスピーカ２Ａ又は２Ｂには、遅延回路５６-11の出力が与えられる。また、２番のスピーカ２Ａ又は２Ｂには、遅延回路５６-12の出力と遅延回路５６-21の出力とが加算部５７-1で加算されて与えられる。また３番のスピーカ２Ａ又は２Ｂには、遅延回路５６-13による出力と遅延回路５６-22による出力とが加算部５７-2で加算されて与えられる。また４番のスピーカ２Ａ又は２Ｂには、遅延回路５６-23の出力が与えられる。

　例えばこのような構成において、遅延回路５６-11～５６-13の遅延量を適切に設定することで、１番～３番のスピーカ２Ａ又は２Ｂの出力音として、所定の第１方向への出力音を得ることができる。同様に遅延回路５６-21～５６-23の遅延量を適切に設定することで、２番～４番のスピーカ２Ａ又は２Ｂの出力音として、所定の第２方向への出力音を得ることができる。

　なお確認のため述べておくと、測定環境下において測定音を各方向（Ｑ１～ＱＭ）に順に出力するといった用途を考えた場合には、第１方向に出力すべき音響信号と第２方向に出力すべき音響信号を遅延回路５６に同時に与えず、タイミングをずらして与えることになる。例えば、第１方向に測定音を出力する際には、測定用信号を遅延回路５６-11～５６-13に対してのみ与え、遅延回路５６-21～５６-23に対しては与えず、逆に第２方向に測定音を出力する際には測定用信号を遅延回路５６-21～５６-23に対してのみ与え、遅延回路５６-11～５６-13には与えないようにするものである。

　このように、複数配列された無指向性のスピーカに与える音響信号に適切な遅延を与えることで、スピーカアレーを形成し、有指向性スピーカと等価な作用を得ることができる。

　（6-3．測定環境と再現環境とで閉曲面のサイズ・形状が異なる場合の対処）
　これまでの説明では便宜上、サイトＢとサイトＡとの関係において、閉曲面１Ｂ，１Ａの組と閉曲面４Ｂ，４Ａの組とがそれぞれ同サイズ・同形状とされる場合を例示したが、実際には、再現環境のマイク・スピーカの配置に対して、測定環境でのスピーカ・マイク位置を正確に合わせるのは困難である。

　図２３は、その一例を示している。
　図２３に示すサイトＢでは、先の図５に示したものと同じ閉曲面１Ｂ及び閉曲面４Ｂが設定されているとする。
　この場合、測定環境としてのサイトＡでは、理想的には、それぞれ閉曲面１Ｂと同サイズ・同形状による閉曲面１Ａと、閉曲面４Ｂと同サイズ・同形状による閉曲面４Ａとが、閉曲面１Ｂと閉曲面４Ｂとの位置関係と同じ位置関係で設定されるべきであるが、実際にはこれは非常に困難である。
　この図の例ではサイトＡにおいて、図のように閉曲面１Ａとサイズ・形状の異なる閉曲面１Ａ’と、閉曲面４Ａとサイズ・形状が異なる閉曲面４Ａ’とが設定されたものとする。

　ここで、図２４に示すように、閉曲面４Ａ’上に配置されるスピーカ２ＡをＡ系列の測定スピーカとする。また閉曲面１Ａ’上に配置されるマイク５ＡをＢ系列の測定マイクとする。なおこれまでの説明通り、本来の閉曲面４Ａ上に配置されるスピーカ２ＡはＱ系列、本来の閉曲面１Ａ上に配置されるマイク５ＡはＲ系列とする。

　この場合、閉曲面４Ａ’と閉曲面４Ａとはサイズ・形状が異なるので、配置されるスピーカ２Ａの数は同数とは限らない。本来の閉曲面４Ａ上に配置されるスピーカ２Ａの数は前述の通りＭ個であるのに対し、閉曲面４Ａ’上に配置されるスピーカ２Ａの数はＫ個とおく。
　同様に、閉曲面１Ａ’と閉曲面１Ａとはサイズ・形状が異なるので配置されるマイク５Ａの数は同数とは限らず、本来の閉曲面１Ａ上に配置されるマイク５Ａの数は前述の通りＮ個であるのに対し、閉曲面４Ａ’上に配置されるマイク５Ａの数はＬ個とおく。

　この場合、サイトＢにおける閉曲面４Ｂ上にはＶ系列のマイク５ＢがＭ個配置されており、閉曲面１Ｂ上にはＷ系列のスピーカ２ＢがＮ個配置されている。
　この前提の下で、手法１としての適正な音場再現を実現するためには、次の式３に示すような伝達関数の変換を伴う演算を行って、各スピーカ２Ｂより出力すべき音響信号を得るものとすればよい。

　但し式３において、ＡＢ₁₁～ＡＢ_KLは、Ａ系列の各スピーカ位置（Ａ１～ＡＫ）からＢ系列の各マイク位置（Ｂ１～ＢＬ）までの伝達関数を表すものである。これらＡＢ₁₁～ＡＢ_KLの伝達関数は、先の伝達関数ＱＲ₁₁～ＱＲ_MNと同様、測定環境における各スピーカ位置ごと（この場合はＫ箇所）に測定音を順次出力し、それらを順次各マイク５Ａ（この場合はＬ個）で収音した結果からそれぞれ測定するものである。

　また式３において、ＢＲ₁₁～ＢＲ_LNは、Ｂ系列の各マイク位置（Ｂ１～ＢＬ）からＲ系列の各マイク位置（Ｒ１～ＲＮ）までの伝達関数を表す。
　これら伝達関数ＢＲ₁₁～ＢＲ_LNは、図中に示す位置関係による閉曲面１Ａ’と閉曲面１ＡとをサイトＡとしての測定環境に実際に構築せずとも、例えば無響室などの所定の環境下において測定が可能である。具体的には、閉曲面１Ａ’、閉曲面１Ａとそれぞれ同サイズ・同形状の閉曲面を閉曲面１ａ’、閉曲面１ａとしたとき、これら閉曲面１ａ’と閉曲面１ａを例えば無響室にて図中に示す閉曲面１Ａ’と閉曲面１Ａと同じ位置関係で設定し、閉曲面１ａ’としてのＢ系列の各位置（Ｂ１～ＢＬ）からスピーカにより順次測定音を出力し、それらを順次、閉曲面１ａとしてのＲ系列の各位置（Ｒ１～ＲＮ）に配置したマイクで収音した結果からそれぞれ測定することができる。

　また式３において、ＱＡ₁₁～ＱＡ_MKは、Ｑ系列の各スピーカ位置（Ｑ１～ＱＭ）からＡ系列の各スピーカ位置（Ａ１～ＡＫ）までの伝達関数を表す。
　これら伝達関数ＱＡ₁₁～ＱＡ_MKとしても、例えば無響室などで測定可能である。具体的には、閉曲面４Ａ、閉曲面４Ａ’とそれぞれ同サイズ・同形状の閉曲面を閉曲面４ａ、閉曲面４ａ’としたとき、これら閉曲面４ａと閉曲面４ａ’を例えば無響室にて図中に示す閉曲面４Ａと閉曲面４Ａ’と同じ位置関係で設定し、閉曲面４ａとしてのＱ系列の各位置（Ｑ１～ＱＭ）からスピーカにより順次測定音を出力し、それらを順次、閉曲面４ａ’としてのＡ系列の各位置（Ａ１～ＡＫ）に配置したマイクで収音した結果からそれぞれ測定することができるものである。

　このように、Ｑ系列→Ａ系列の伝達関数群、及びＢ系列→Ｒ系列の伝達関数群を別途測定しておくことで、測定環境と再現環境とで閉曲面のサイズ・形状が異なる場合にも、測定環境で得た伝達関数を適正に変換でき、適正な音場再現を実現することができる。

　なお確認のため述べておくと、上記の式３は、再現環境と測定環境とで使用するマイク・スピーカの数が異なる場合にも、適正な音場再現を実現できることを意味するものである。例えば極端には、再現環境でＬ／Ｒの２チャンネルのヘッドフォン装置が用いられる場合であっても、上記と同様のＱ系列→Ａ系列の伝達関数群、及びＢ系列→Ｒ系列の伝達関数群の測定を行っておくことで、測定環境で得た伝達関数群をこれらの伝達関数群を用いて式３のように変換することにより、音場再現が可能なものである。

　ここで、上記では、手法１の実現のために必要な第１伝達関数群について説明したが、手法２で用いる第２伝達関数群についても、同様の考え方に基づき測定環境で得た伝達関数群を変換することで、測定環境と再現環境とで閉曲面のサイズ・形状が異なる場合の対処が可能である。
　具体的な手法については、本発明者らの提案による特許4775487号公報にも開示されているが、確認のため、以下にその手法の概要を説明しておく。説明は、先の図１１を参照して行う

　例えば再現環境（サイトＢ）にて、図１１中に示す閉曲面１Ａよりも小さな閉曲面（仮に閉曲面１Ａ’とおく）しか設定できなかったとする。このとき、閉曲面１ＡをＱ系列（Ｑ１～ＱＭのＭ箇所）とし、閉曲面１Ａ’を仮にＰ系列（Ｐ１～ＰＪのＪ箇所）とする。
　例えば、或る音源Ｓを定位させたい位置が１箇所であるとすると、この場合の測定環境であるサイトＡで測定される伝達関数は、該位置からＱ１～ＱＭの各マイク位置までの伝達関数となる。これらの伝達関数をＱ₁～Ｑ_Mとおく。測定環境の閉曲面と再現環境の閉曲面とが同サイズ・同形状であれば、上記音源Ｓを該伝達関数Ｑ₁～Ｑ_Mで処理することで、適正な音場再現が可能である。

　この場合は、閉曲面１Ａと閉曲面１Ａ’のサイズ・形状が異なることに対応させて、Ｑ系列→Ｐ系列の伝達関数群を例えば無響室などの環境下で測定しておく。具体的には、無響室にて閉曲面１Ａと閉曲面１Ａ’とを設定し、閉曲面１ＡとしてのＱ系列の各位置（Ｑ１～ＱＭ）からスピーカにより順次測定音を出力し、それらを順次、閉曲面１Ａ’としてのＰ系列の各位置（Ｐ１～ＰＪ）に配置したマイクで収音した結果から、伝達関数ＱＰ₁₁～ＱＰ_MJをそれぞれ測定する。

　その上で、次の式４により、再現環境に配置されたＪ個のスピーカ（Ｘ１～ＸＪ）から出力されるべき音響信号（Ｘ₁～Ｘ_J）を得る。

　このようにして、手法２についても、測定環境と再現環境とで閉曲面のサイズ・形状が
異なる場合（測定環境におけるマイクの数と再現環境におけるスピーカの数とが異なる場合）の対処が可能である。

　（6-4．移動体を用いた測定手法）
　実施の形態としての再現動作の実現のためには、多くの場所で、伝達関数の測定を行うことが望ましい。再現可能な場所をより多くできるためである。
　多くの場所で効率良く伝達関数の測定を行うためには、スピーカ又はマイクを搭載した車輌などの移動体を用いることが有効である。
　以下では、移動体を用いた測定手法の例について説明しておく。

　図２５は、移動体を用いた測定例１についての説明図である。
　この測定例１では、図２５Ａに示されるように、複数のスピーカ２Ａと複数のマイク５Ａとを搭載した車輌６０により、伝達関数の測定を行う。この例では、先の図６に示した配置による複数のスピーカ２Ａと複数のマイク５Ａとが車輌６０に搭載されている。測定例１は、主に、手法１で必要とされる第１伝達関数の測定に好適なものである。

　上記のような車輌６０により、測定・移動を繰り返して、各場所における伝達関数を順次取得していく。

　図２５Ｂは、測定例１で測定された伝達関数についてのデータベースの内容を例示している。
　図のようにこのデータベースでは、伝達関数ＩＤと、発音位置と、受音位置と、測定日時と、データ（インパルス応答測定データ）との対応が取られる。この場合、発音位置の情報は、車輌６０に搭載されたＧＰＳ（Global Positioning System）受信装置による位置情報を用いる。また、この場合の受音位置の情報は、車輌６０に搭載されたマイク５Ａの識別番号としている。

　図２６は、移動体を用いた測定例２についての説明図である。
　図２６Ａに示されるように、この測定例２では、街の中に固定的又は半固定的に複数のマイク５Ａが設置される。街中におけるマイク５Ａの設置位置としては、例えば地面、電柱、壁、標識などを挙げることができる。また、監視カメラに対して併せて設置するなども考えられる。

　この場合、移動体としては、測定例１でも用いた車輌６０（スピーカ２Ａ及びマイク５Ａを搭載）が用いられる。
　この車輌６０に設置のマイク５Ａにより、第１伝達関数の測定を行うことができる。

　この場合の第２伝達関数の測定は、車輌６０に設置のスピーカ２Ａにより発した測定音を、街中に設置のマイク５Ａ（及び車輌６０に設置のマイクＡを用いてもよい）により受音して行う。この測定例２では、街中に数多くのマイク５Ａが設置されるため、１度の測定で数多くの伝達関数を得ることができる。

　このように数多く測定された伝達関数を、図２６Ｂのようにデータベース化して保存しておくことで、その中から後に必要とされる伝達関数を適宜選択して用いるということができる。
　この図２６Ｂに示すデータベースについて、先の図２５Ｂに示したデータベースとの違いは、受音位置の情報が絶対位置情報とされる点である。これは、データベースから必要とされる伝達関数を選ぶ際に、発音位置との位置関係の特定を容易とするためである。

　図２７は、移動体を用いた測定例３及び測定例４についての説明図である。
　測定例３，４は、複数の移動体を用いた測定例となる。
　図２７Ａに示す測定例３では、移動体として、車輌６０と、車輌６０に対して先行する車輌６１と、車輌６０に対して後行する車輌６２とを用いている。

　ここで、移動体として車輌を用いる場合、特に街中の測定では、該車輌を道路上に走行させることになる。このとき、道路上にはマイク５Ａを固定設置することは困難なため、車輌を１台のみとしてしまうと、該車輌の前後に伝達関数を測定できない空白区間が形成されてしまう虞がある。測定例３，４によれば、この空白区間を補うことができる。

　図示するように図２７Ａの測定例３では、先行する車輌６１、後行する車輌６２にはスピーカ２Ａは設置されずマイク５Ａのみが設置されるものとしている。この例では、該車輌６１，６２上のマイク５Ａの位置（受音位置）も含めて、先の図２６Ｂに示したようなデータベースを構築する。

　また図２７Ｂの測定例４は、図２７Ａに示した測定例３について、車輌６０に代えてスピーカ２Ａのみを搭載した車輌６３を用いるようにしたものである。
　この場合は、街中のマイク５Ａと、車輌６１,６２上のマイク５Ａとを用いて第１伝達関数の測定を行うことになる。
　また、この場合も第２伝達関数については、街中のマイク５Ａと車輌６１，６２上のマイク５Ａとを用いて、１度に数多くの伝達関数の測定が可能となる。

　ここで、測定例３，４のように複数台の車輌を用いる場合には、これら複数台の車輌のその時々の距離や方向などが異なることを利用して、より多くの発音位置・受音位置の組み合わせについて伝達関数を得ることもできる。

　なお、車輌を用いた測定では、車輌が停止時ではなく走行しながらの収音を行うことも想定される。その際には、データベースに収音時の車輌走行スピードも記録しておくことで、ドップラー効果を後から信号処理にて軽減することができる。

　また、街中にマイク５Ａを設ける場合、それらが有指向性マイクであると、設置後に指向方向を変更することは非常に困難であるから、その分、測定の自由度が阻害されることになる。この点を考慮し、街中に設置するマイク５Ａについては無指向性のマイクとして、前述したマイクアレーの処理によって指向性を変更可能とする。これにより、測定の自由度を向上でき、より多くのパターンの伝達関数を得る上で非常に有効である。

　（6-5．その他の変形例）
　ここで、本技術については、以下のような変形例も可能である。
　これまでの説明では、手法２の音場再現に関して、オブジェクト分離音源を用いる場合を例示したが、手法１の音場再現についても、マイク５Ｂによる収音信号に対して、ノイズ除去や残響抑制などの処理を施すこともできる。
　ここで、手法１では、サイトＢに配置されたスピーカ２Ｂより音場再現のための音が出力される。このとき、サイトＢではユーザ０の発した音を収音するマイク５Ｂがスピーカ２Ｂに比較的近接して配置されるので、上記音場再現のためにスピーカ２Ｂよりされた音が、マイク５Ｂによって収音されることになる。これは、本来はユーザ０が発した音についてのみ第１伝達関数による処理が施されるべきであるのに、音場再現用の音が加わった音について第１伝達関数による処理が施されてしまうことを意味する。

　そこで、上記のようにマイク５Ｂによる収音信号に対しオブジェクト分離音源と同様のノイズ除去や残響抑制の処理を施して、ユーザ０から発せられた音の成分が抽出されるようにする。すなわち、このようにオブジェクト分離した音源に対して第１伝達関数による処理が施されるようにするものである。これにより、手法１の音場再現について、Ｓ／Ｎの向上が図られ、音場再現の品質をさらに向上することができる。

　なお、上記のようなノイズ除去や残響抑制の処理は、先の図１２に示した構成において、例えばＡＤＣ／アンプ部３２と加算部３３との間で行うものとすればよい。

　またこれまでの説明では、１つの場所につき対応する１つの画像を表示することを前提としたが、例えば時間帯ごとに異なる画像を表示するといったこともできる。例えば、再現対象とする場所について時間帯ごとに複数の画像を撮影・保存しておく。これらの画像のうち、例えば再現環境に置かれた信号処理装置３０が計時する現在時刻情報に応じた時間帯や、或いは再現対象とする場所での現在時刻（例えば信号処理装置３０が計時する現在時刻から計算で求められる）に応じた時間帯の画像を選択して表示する。或いは、ユーザ０が指定した任意の時間帯の画像を選択して表示してもよい。

　なお、このような時間帯に応じた再現は、手法２としての音場再現にも適用できる。具体的には、１つの場所につき時間帯ごとの複数のオブジェクト分離音源を用意しておき、例えば再現環境又は再現対象とする場所での現在時刻に応じた時間帯、或いはユーザ０が指定した任意の時間帯の音源を再現音として出力するものである。
　このような時間帯に応じた再現を実現することで、より臨場感を増すことができる。

　またこれまでの説明では、地図上で指定された位置情報に応じた場所についての再現を行う場合を例示したが、例えばＧＰＳで検出された現在位置の情報を、指定位置情報として用いてもよい。すなわち、ＧＰＳで検出された現在位置情報から特定される場所についての再現を行うものである。
　これは例えば、再現環境に居るユーザ０の通話相手が遠隔地に居て、該通話相手の居る場所の音場を再現するといったシステムに好適なものである。この場合は、例えば通話相手の使用する携帯電話装置などで検出された現在位置情報がサーバ装置２５に送信され、該現在位置情報に基づきサーバ装置２５が対応する場所を特定することになる。

　またこれまでの説明では、測定用信号としてＴＳＰ信号を用いた測定を行う場合を例示したが、これに代えてＭ系列による測定を行っても良い。

　また、先の図２６や図２７に示したように街中で様々な発音位置・受音位置の組み合わせについて多数の伝達関数を測定し、そのうちから後に必要とされる伝達関数を選択して用いるといったシステムを想定した場合には、データベースに必要な伝達関数のデータが存在しないといったケースも想定され得る。このようにデータベースに必要な伝達関数が存在しない場合には、存在する他の伝達関数から補間を行って、必要な伝達関数を推定することもできる。

　また、街中にマイク５Ａが固定的又は半固定的に設置される場合は、再現対象とする場所の音を該マイク５Ａでリアルタイムに収音し、これをネットワーク２６経由で再現環境の信号処理装置３０に伝送してスピーカ２Ｂより出力させてもよい。

　また、本技術は以下に示す構成を採ることもできる。
（１）
　指定された位置情報から特定される場所に対応する画像を所要の表示部に表示させる表示制御部と、

　ユーザを取り囲むように配された複数のマイクロフォンで上記ユーザの発した音を収音する収音部による収音信号を入力する収音信号入力部と、
　上記指定された位置情報から特定される場所において測定された、該場所内の閉曲面上から発せられた音が該場所で反響されて上記閉曲面側にどのように伝達するかを表す第１の伝達関数に基づき、上記収音信号入力部より入力された信号に対し、上記ユーザが発した音が上記位置情報から特定される場所で反響されたように感じられる音場を再現するための第１の音響信号処理を施す音響信号処理部と、
　上記音響信号処理部により上記第１の音響信号処理が施された信号に基づく音を、上記ユーザを取り囲むように配された複数のスピーカにより発音させる発音制御部と
　を備える信号処理装置。
（２）
　上記指定された位置情報から特定される場所で収録された音源に基づく音響信号を、上記第１の音響信号処理を施した信号に対して加算する加算部をさらに備える
　上記（１）に記載の信号処理装置。
（３）
　上記音源はオブジェクト分解された音源とされ、
　上記加算部は、
　上記指定された位置情報から特定される場所において測定された、該場所内の閉曲面の外側から発せられた音が上記閉曲面側にどのように伝達するかを表す第２の伝達関数に基づき、上記音源に基づく音響信号に対し、上記音源に基づく音が上記音場再現の対象とする場所で発せられたように知覚させるための第２の音響信号処理が施されて得られた音響信号を、上記第１の音響信号処理を施した信号に対して加算する
　上記（２）に記載の信号処理装置。
（４）
　上記音響信号処理部は、
　所要の音響信号を上記第１の音響信号処理が施される前の上記収音信号に対して加算する
　上記（１）乃至（３）何れかに記載の信号処理装置。
（５）
　上記音響信号処理部は、
　上記収音信号をオブジェクト分解して得た音源に対して、上記第１の伝達関数に基づく上記第１の音響信号処理を施す
　上記（１）乃至（４）何れかに記載の信号処理装置。
（６）
　音場再現の対象とする場所ごとに測定された上記第１の伝達関数が外部装置に記憶されており、
　上記指定された位置情報に基づき、上記音響信号処理部が上記第１の音響信号処理で用いるべき伝達関数を上記外部装置から取得する取得部をさらに備える
　上記（１）乃至（５）何れかに記載の信号処理装置。
（７）
　音場再現の対象とする場所ごとの上記オブジェクト分解された音源及び上記第２の伝達関数が外部装置に記憶され、
　上記第２の音響信号処理を実行するレンダリング部をさらに備えると共に、
　上記指定された位置情報に基づき、上記レンダリング部が上記第２の音響信号処理で用いるべき上記オブジェクト分解された音源に基づく音響信号及び上記第２の伝達関数を上記外部装置から取得する取得部をさらに備え、
　上記加算部は、
　上記第１の音響信号処理を施した信号に対し、上記レンダリング部が上記取得部により取得した上記音響信号及び上記第２の伝達関数に基づく上記第２の音響信号処理を行って得た上記音響信号を加算する

　上記（３）乃至（６）何れかに記載の信号処理装置。
（８）
　上記第２の音響信号処理を実行するレンダリング部が外部装置に設けられ、
　上記外部装置より上記第２の音響信号処理が施されて得られた上記音響信号を取得する取得部をさらに備えると共に、
　上記加算部は、
　上記第１の音響信号処理を施した信号に対し、上記取得部により取得した上記音響信号を加算する
　上記（３）乃至（６）何れかに記載の信号処理装置。

　０　ユーザ、１Ａ,１Ｂ,４Ａ,４Ｂ　閉曲面（音響閉曲面）、２Ａ,２Ｂ　スピーカ、３
　表示装置、５Ａ,５Ｂ　マイク、１０　測定装置、１１-1～１１-M,１２-1～１２-N,３９-1～３９-N,４３　端子部、１３,３２　ＡＤＣ／アンプ部、１４　伝達関数測定部、１５,４０　制御部、１６　測定用信号出力部、１７,３８　ＤＡＣ／アンプ部、１８　セレクタ、１９　信号成分分解処理部１９、２０,２１　乗算部、２２,３１-1～３３-M,３７-1～３７-N,５１-1～５１-N,５５-1,５５-2,５７-1,５７-2　加算部、２５　サーバ装置、２６　ネットワーク、３０　信号処理装置、３４,３６　ハウリング制御／エコーキャンセル部、４１　操作部、４２　表示制御部、４４　通信部、４５　メモリ、４６　リファレンス音再生部、４７,５２　レンダリング部、５０-11～５０-1N,５０-21～５０-2N,５０-M1～５０-MN　フィルタ、５３　出力制御部、５４-11～５４-13,５４-21～５４-23,５６-11～５６-13,５６-21～５６-23　遅延回路

Claims

　指定された位置情報から特定される場所に対応する画像を所要の表示部に表示させる表示制御部と、
　ユーザを取り囲むように配された複数のマイクロフォンで上記ユーザの発した音を収音する収音部による収音信号を入力する収音信号入力部と、
　上記指定された位置情報から特定される場所において測定された、該場所内の閉曲面上から発せられた音が該場所で反響されて上記閉曲面側にどのように伝達するかを表す第１の伝達関数に基づき、上記収音信号入力部より入力された信号に対し、上記ユーザが発した音が上記位置情報から特定される場所で反響されたように感じられる音場を再現するための第１の音響信号処理を施す音響信号処理部と、
　上記音響信号処理部により上記第１の音響信号処理が施された信号に基づく音を、上記ユーザを取り囲むように配された複数のスピーカにより発音させる発音制御部と
　を備える信号処理装置。
　上記指定された位置情報から特定される場所で収録された音源に基づく音響信号を、上記第１の音響信号処理を施した信号に対して加算する加算部をさらに備える
　請求項１に記載の信号処理装置。
　上記音源はオブジェクト分解された音源とされ、
　上記加算部は、
　上記指定された位置情報から特定される場所において測定された、該場所内の閉曲面の外側から発せられた音が上記閉曲面側にどのように伝達するかを表す第２の伝達関数に基づき、上記音源に基づく音響信号に対し、上記音源に基づく音が上記音場再現の対象とする場所で発せられたように知覚させるための第２の音響信号処理が施されて得られた音響信号を、上記第１の音響信号処理を施した信号に対して加算する
　請求項２に記載の信号処理装置。
　上記音響信号処理部は、
　所要の音響信号を上記第１の音響信号処理が施される前の上記収音信号に対して加算する
　請求項１に記載の信号処理装置。
　上記音響信号処理部は、
　上記収音信号をオブジェクト分解して得た音源に対して、上記第１の伝達関数に基づく上記第１の音響信号処理を施す
　請求項１に記載の信号処理装置。
　音場再現の対象とする場所ごとに測定された上記第１の伝達関数が外部装置に記憶されており、
　上記指定された位置情報に基づき、上記音響信号処理部が上記第１の音響信号処理で用いるべき伝達関数を上記外部装置から取得する取得部をさらに備える
　請求項１に記載の信号処理装置。
　音場再現の対象とする場所ごとの上記オブジェクト分解された音源及び上記第２の伝達関数が外部装置に記憶され、
　上記第２の音響信号処理を実行するレンダリング部をさらに備えると共に、
　上記指定された位置情報に基づき、上記レンダリング部が上記第２の音響信号処理で用いるべき上記オブジェクト分解された音源に基づく音響信号及び上記第２の伝達関数を上記外部装置から取得する取得部をさらに備え、

　上記加算部は、
　上記第１の音響信号処理を施した信号に対し、上記レンダリング部が上記取得部により取得した上記音響信号及び上記第２の伝達関数に基づく上記第２の音響信号処理を行って得た上記音響信号を加算する
　請求項３に記載の信号処理装置。
　上記第２の音響信号処理を実行するレンダリング部が外部装置に設けられ、
　上記外部装置より上記第２の音響信号処理が施されて得られた上記音響信号を取得する取得部をさらに備えると共に、
　上記加算部は、
　上記第１の音響信号処理を施した信号に対し、上記取得部により取得した上記音響信号を加算する
　請求項３に記載の信号処理装置。
　表示部と、ユーザを取り囲むように配された複数のマイクロフォンにより上記ユーザの発した音を収音する収音部と、上記ユーザを取り囲むように配された複数のスピーカにより発音を行う発音部とを用いた信号処理方法であって、
　指定された位置情報から特定される場所に対応する画像を上記表示部に表示させる表示制御手順と、
　上記指定された位置情報から特定される場所において測定された、該場所内の閉曲面側から発せられた音が該場所で反響されて上記閉曲面側にどのように伝達するかを表す第１の伝達関数に基づき、上記収音部による収音信号に対し、上記ユーザが発した音が上記位置情報から特定される場所で反響されたように感じられる音場を再現するための第１の音響信号処理を施す音響信号処理手順と、
　上記音響信号処理手順により上記第１の音響信号処理が施された信号に基づく音を、上記発音部により発音させる発音制御手順と
　を有する信号処理方法。