JP4735108B2 - 音声信号処理方法、音場再現システム - Google Patents

Description

本発明は、或る環境の音場を別の環境にて再現するのに好適な音声信号処理方法に関する。また、記録媒体に対する情報記録を行う記録装置と、前記記録媒体に記録された情報に基づいて音場再現を行うための再現用音声信号を生成する音声信号処理装置とを含んで構成される音場再現システムに関する。

特開２００２−１８６１００号公報

例えば映画、音楽などのコンテンツを視聴する場合、再生音声に臨場感を与えるために、残響を付加することが行われている。
残響付加処理としては、いわゆるデジタルリバーブ方式が知られている。このデジタルリバーブ方式は、原音に対してランダムなディレイタイムとされるディレイ情報を多数発生させ、さらに、ディレイタイムが長くなるほど音量を小さくしたり、ディレイタイムの長い箇所でフィードバックを掛けて残響時間を長くとる等の信号処理を行うものである。これにより原音に対して人工的に残響効果を生成することができる。しかし、ディレイ情報を生成するためのパラメータは、そのパラメータの設定を行う作業者の聴感に基づいて設定されるので、この設定作業は繁雑なものとなる。また、人工的に残響を作り出すことから原音を定位させるという概念がなく、音場の再現に優れたものではない。

これに対し、実際に音場空間においてインパルス応答の測定を行って、音源の定位などの空間情報に基づいて残響効果を得るための手法として、例えば上記特許文献１に記載の技術が知られている。
この特許文献１に記載の技術では、例えば図１に示されているように、ホールなどの測定環境（測定音場）１に、音源として測定用のスピーカ３を配置する。そして、この測定用スピーカ３にＴＳＰ（Time Streched Pulse）信号などとされるインパルス応答測定用の音声信号を供給して、同じ音場内の所要の位置に配置された複数の測定用マイク４（ａ〜ｐ）に対して、測定用スピーカ３から出力される測定用音声を入力させる。この場合、例えば測定用マイク４ａでは、図１に矢印で示されているように、測定用スピーカ３からの直接音、及び測定用スピーカ３から出力され測定環境としてのホール内で反射した反射音を検出することができる。図示は省略しているが、このことは他の測定用マイク４ｂ、４ｃ、４ｄについても同様である。
そこで、各測定用マイク４（ａ〜ｄ）により検出された音声信号に基づき、残響を含むインパルス応答を測定することで、測定用スピーカ３から各測定用マイク４までのそれぞれに対応した伝達関数を求めることができる。

このような伝達関数を用いれば、例えば図３に示されるようにして、図１の場合の各測定用マイク４と同じ位置関係によりスピーカ８（ａ〜ｐ）を配置した環境で、図１の測定環境での音場を再現することができる。
つまり、上記のようにして各測定用マイク４のそれぞれの配置位置までに対応した伝達関数が求まれば、再生したい音声信号をこれらの伝達関数を用いてそれぞれ畳み込むことで、各スピーカ８の配置位置から出力すべき音声信号が得られる。従ってそれらの音声信号を、対応する位置に配置したスピーカ８からそれぞれ出力することで、これらスピーカ８に囲まれた空間内にて図１の測定環境と同様の残響効果を得ることができる。
このような方式は、実際に測定した伝達関数を用いるので、再生時における音場の再現性に優れたものとなる。また同時に、再生音場における音像定位としてもより明確なものとなる。

なお、このとき重要なのは、図１の測定環境おける測定用マイク４（ａ〜ｐ）と、図３の再現環境におけるスピーカ８（ａ〜ｐ）とが幾何学的に同等の位置関係で配置されるようにすることである。このようにすることで、再現環境においてスピーカ８に囲まれた領域（閉曲面）内では、測定音場の音源の定位（音像定位）が明確に再現されるようになり、測定環境の音場を明確に再現することが可能となる。

ところで、上記特許文献１に記載の手法では、測定環境において測定用信号を出力する測定用スピーカ３としては、無指向性のものとし、これによってある１点から空間全体へ音の放出が可能となるようにして、測定空間の広さや壁、床、天井の材質、幾何学構造等を要因とする響きを表現するための情報（測定環境の空間情報）を測定するようにされていた。
しかしながら実際において、測定用スピーカ３の配置位置に仮想音像として再現しようとする音源については、その指向性も再現するということが想定できる。このような場合において、上記のように無指向性による測定用スピーカ３を用いてインパルス応答の測定を行った結果に基づき音場再現を行ったのでは、音源の指向性までは再現しきれないことになる。

そこで、本発明では以上のような問題点に鑑み、音声信号処理方法として以下のようにすることとした。
すなわち、先ず第一の閉曲面の外側における仮想音像位置に配置した有指向性スピーカにより音声を発音する第一の発音工程を有する。
また、前記第一の閉曲面上における複数の位置で前記第一の発音工程で発音された音声を測定する第一の測定工程を有する。
また、前記第一の閉曲面上の複数の位置で、有指向性マイクロフォンにより前記第一の閉曲面の外側に生じるアンビエンス音を収録するアンビエンス収録工程を有する。
また、前記第一の測定工程によって測定された音声に基づいて、前記仮想音像位置から前記第一の閉曲面上の前記複数の位置のそれぞれまでに対応した第一の伝達関数群を生成する第一の伝達関数生成工程を有する。
また、入力した音声信号に対して、前記第一の伝達関数群に基づく演算処理を施して、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した第一の再現用音声信号を得ると共に、それら第一の再現用音声信号ごとに、前記アンビエンス収録工程により収録した前記複数の位置ごとのアンビエンス音のうちの対応する位置のアンビエンス音をそれぞれ加算する第一の再現用音声信号生成工程を有する。
さらに、前記アンビエンス音が加算された前記第一の再現用音声信号のそれぞれを、前記第一の閉曲面における前記複数の位置と幾何学的に同等な位置関係により配置した再現用スピーカから出力する第一の音声信号出力工程を有するようにした。

上記のようにして、有指向性のスピーカにより発音した音声に基づき得られた第一の伝達関数群により、入力音声信号についての演算処理を行うことで、これによって得られる第一の再現用音声信号には、上記有指向性のスピーカによって発音された音声の指向方向の情報を含ませることができる。
従って、これら第一の再現用音声信号を、例えば上記第一の閉曲面上の複数の位置と幾何学的に同等の位置関係により配置した再現用スピーカからそれぞれ出力すれば、これら再現用スピーカにより囲われた空間内において、仮想音源の指向性を表現したかたちで測定環境の音場（残響や音像定位）を再現することができる。
また上記本発明によれば、アンビエンス音の付加により、より臨場感のある音場再現を行うことができる。

このようにして本発明によれば、測定環境の音場の再現を、仮想音源の指向方向を表現したかたちで実現することができる。
またアンビエンス音の付加により、より臨場感のある音場再現を行うことができる。

以下、発明を実施するための最良の形態（以下実施の形態とする）について説明していく。なお、説明は以下の順序で行うものとする。

＜１．基本的構成＞
１−１．１つの音像位置の再現
１−２．複数の音像位置の再現
１−３．第二閉曲面での音場再現
＜２．実施の形態としての音場再現＞
２−１．音源の指向方向の再現
２−２．演奏形態のシミュレート
２−３．ステレオエフェクタの再現
２−４．音源の指向性と指向方向ごとの放音特性の再現
２−５．アンビエンスデータの追加
２−６．カメラ視点に応じた音場再現
２−７．音場再現システムの構成例

なお、本明細書において、特に断らなければ、音声信号に対する「伝達関数に基づく演算処理」とは、音声信号に対して伝達関数を畳み込み積分処理を施すことや、伝達関数をフィルタ係数として設定したＦＩＲ（Finite Impulse Response）フィルタによって音声信号にフィルタ処理を施すことを指すものとする。

＜１．基本的構成＞
１−１．１つの音像位置の再現

図１は、音場再現にあたっての測定環境を模式的に示した図である。
なお、この「１．基本的構成」にて説明する音場再現技術は、後に説明する本実施の形態としての音場再現を実現するにあたってその基とする技術であり、この内容は本出願人の先の出願である「特開２００２−１８６１００号公報」にも記載されている。

図１において、測定環境１は、後に説明する再生環境において再現しようとする音場であり、この場合は例えばコンサートホールやライブ会場などとして考えればよい。
この測定環境１には、例えば当該測定環境１の壁に近接しない位置に、半径Ｒ＿ｂｎｄとなる円周上に、測定用マイク（マイクロフォン）４ａ、４ｂ、４ｃ、４ｄ、４ｅ、４ｆ、４ｇ、４ｈ、４ｉ、４ｊ、４ｋ、４ｌ、４ｍ、４ｎ、４ｏ、４ｐを配置する。
なお、以下において、このような半径Ｒ＿ｂｎｄとなる円周のことを、第一閉曲面１０と呼ぶ。

各測定用マイク４（ａ〜ｐ）は、その指向性を第一閉曲面１０の法線方向において外側に向けるものとする。なお、本明細書における以降の説明においてもマイクロフォンに示される矢印は、その指向性を示すものとする。
また、第一閉曲面１０の中心から半径Ｒ＿ｓｐとなる位置に、仮想音源として測定用スピーカ３を配置する。この測定用スピーカ３に対しては、測定用信号再生部２から測定用信号が供給される。この測定用信号としては、後述するインパルス応答測定のためのＴＳＰ（Time Streched Pulse：時間引き延ばしパルス）信号を出力するようにされる。
なお、測定用スピーカ３は、後述する再生環境における仮想スピーカを再現するために備えられることから、その指向性や周波数特性は、再生環境における聴取者に対する聴感を想定したものとすることが望ましい。

この測定環境１における測定は、測定用スピーカ３に測定信号ＴＳＰを供給して、測定用スピーカ３から出力された測定用音声を各測定用マイク４（ａ〜ｐ）入力させるようにするが、図１においては、測定用スピーカ３から測定用マイク４ａに至る音声の経路を模式的に示している。
各測定用マイク４（ａ〜ｐ）で検出された音声信号は、図示していないインパルス応答測定装置に供給され、ここでは各測定用マイク４で検出された音声の音圧に基づいて、測定用スピーカ３から各測定マイク４（ａ〜ｐ）に対応したインパルス応答が測定される。このインパルス応答は、大きなホールなどでは５〜１０秒程度であることもあるが、小さなホールや響きの少ないホールなどではより短い時間長となることもある。この測定により、各インパルス応答に基づいた伝達関数を求めることができる。すなわち、図１には、測定用マイク４ａに対応した伝達関数Ｈａを求める場合の音声の経路が示されている。また、図示していないが、測定用マイク４ｂ〜測定用マイク４ｐについても、同様にそれぞれに対応した伝達関数Ｈｂ〜Ｈｐを求めることができる。
なお、インパルス応答の測定は、各測定用マイク毎に行ってもよいし、全ての測定用マイク４（ａ〜ｐ）に対して同時に行うようにしてもよい。また、測定用信号はＴＳＰ信号に限らず、擬似ランダム雑音や音楽信号などを用いてもよい。
また、以降の説明においても、測定環境１における測定用スピーカから測定用マイクまでの伝達関数は「Ｈ」により表す。

このようにして、測定環境１においては各測定用マイク４ａ、４ｂ、４ｃ、４ｄ・・・４ｐに対応した伝達関数Ｈａ、Ｈｂ、Ｈｃ、Ｈｄ・・・Ｈｐを求めることができる。そして、これらの伝達関数Ｈａ〜Ｈｐを用いることにより、測定環境１とは別の環境（再現環境）で当該測定環境１の音場を再現することができるようになる。

図２は、再現環境における再現音声の再生系（再現信号生成装置）の構成について示している。
再現信号生成装置５において、音声再生部６は、任意の音声信号Ｓを出力することができるようにされている。この音声再生部６から出力された音声信号Ｓは、演算部７ａ、７ｂ、７ｃ、７ｄ・・・７ｎ、７ｏ、７ｐに供給される。個々の演算部７（ａ〜ｐ）には、それぞれ上記のようにして測定用マイク４ａ〜４ｐ対応に測定された伝達関数Ｈａ〜Ｈｐのうち、同じ添え字（アルファベット）の付される伝達関数Ｈが設定されており、各演算部７は、供給された音声信号Ｓに対してそれぞれ設定された伝達関数Ｈに基づく演算処理を施す。これにより、各演算部７（ａ〜ｐ）からは、音声信号Ｓに対して伝達関数に対応するインパルス応答が畳み込まれた再現信号ＳＨａ、ＳＨｂ、ＳＨｃ、ＳＨｄ・・・ＳＨｎ、ＳＨｏ、ＳＨｐが出力される。
なお、先にも述べたが、各演算部７の動作は、それぞれ設定された伝達関数（インパルス応答）をフィルタ係数として設定したＦＩＲフィルタによっても実現することができる。このことは、後述する全ての「演算部」についても同様である。

各再現信号ＳＨ（ａ〜ｐ）は、再生環境に配置されている再現用スピーカ８ａ、８ｂ、８ｃ、８ｄ・・・８ｎ、８ｏ、８ｐに供給される。これにより、各再現用スピーカ８（ａ〜ｐ）からは、測定環境１における伝達関数Ｈ（ａ〜ｐ）に基づいた再現信号ＳＨ（ａ〜ｐ）による音声が出力される。

図３は再現環境について説明する模式図である。
再現環境１１は、例えば無響室や、残響の少ないスタジオなどとされる。
この再現環境１１に、図２に示した再現用スピーカ８（ａ〜ｐ）を配置する。この場合、再現用スピーカ８（ａ〜ｐ）は、図１に示した測定用マイク４（ａ〜ｐ）の配置位置に対応させ、半径Ｒ＿ｂｎｄで形成される第一閉曲面１０の外周上に内側に向けて配置される。つまり、再現用スピーカ８（ａ〜ｐ）、測定用マイク４（ａ〜ｐ）において同一の添え字（アルファベット）を付したもの配置位置どうしが対応している。
なお、測定環境１における第一閉曲面１０と再現環境１１における第一閉曲面１０とは、それぞれ別々の空間に存在する閉曲面ではあるが、ここでは同一半径により形成される幾何学的に同等の閉曲面ということで、便宜上同一の符号を付している。

そして、これら再現用スピーカ８（ａ〜ｐ）から、先の図２に示したようにして上記再現信号ＳＨ（ａ〜ｐ）を供給して出力することで、第一閉曲面１２の内側に居る聴取者は、図１に示した測定用スピーカ３から音声信号Ｓを再生した場合の音場が第一閉曲面１０の外側に擬似的に再現されているように感じることができる。

ここで、或る閉曲面内に音源がない場合、その音場を別の場所で正確に再現するためには、原音場と再生音場とで閉曲面の外周の音圧と法線方向の粒子速度を一致させればよいということが知られている（公知文献：電子情報通信学会編「音響システムとディジタル処理」（コロナ杜）を参照）。具体的には、閉曲面上に双指向性マイクロフォンを無数個設置し、それぞれの設置点における音圧と粒子速度を測定する。このため、測定環境１における第一閉曲面１０では無数個の測定用マイクを法線方向に外向きに設置し、再現環境１１における第一閉曲面１０においてはこれらの測定用マイクに対応した無数個の再現用スピーカを配置することで、再現環境１１での第一閉曲面１０の内側を視聴位置とした場合、聴取者は測定環境１の第一閉曲面１０内に居る場合と同様の定位感や残響感を得ることができ、さらに、再現環境１１にはない測定用スピーカ３の位置に仮想音像を知覚することができるようになる。つまり、再現環境１１の第一閉曲面１０の内側のいずれの聴取位置においても、その外側に測定環境１と同等の音場感を得ることができる。
しかし、上記のように、無数個のマイクロフォンと再現用スピーカを必要とすることは、実際にこれを実現することは困難である。そこで、本出願人は、指向性マイクロフォン、例えば単一指向性マイクロフォンの出力に音圧及び粒子速度成分が含まれることに着目して、有限個数の指向性マイクロフォンと、それに対応する数の再現用スピーカでほぼ同様な音響効果が得られることを実験により確かめた。

このようにして、例えばホールなどの測定環境１における音場を、無響室などとされる再現環境１１において再現することができる。
ここで、このことによれば、図１に示したように測定環境１におけるインパルス応答の測定を１回行っておけば、その後、これら測定データ（伝達関数）を用いることで、再現環境１１など測定環境１以外の環境で、随時測定環境１の音場を擬似的に再現することができるようになる。
そして、この場合、先の図２の構成によれば、このように再現される音場で再生する音声としては任意の音声とすることができるので、測定を行ったホールで任意の音声が再生された（任意の演奏が行われた）ものとして再現することができる。

１−２．複数の音像位置の再現

上記説明では、測定環境１において１つの測定用スピーカ３から各測定用マイク４（ａ〜４ｐ）までのインパルス応答を測定した結果に基づき、再現環境１１において１つの音像位置を再現するものとしたが、この技術を応用することで、次の図４に示されるようにして配置した複数の測定用スピーカ３、つまり複数の音像位置を再現することが可能となる。

図４において、先ずこの場合は、先の図１と同様の測定用マイク４ａ〜４ｐを配置した測定環境１において、図示するように複数の測定用スピーカ３−１、３−２、３−３、３−４を、第一閉曲面１０の外側におけるそれぞれ別々の場所に配置する。ここでは、測定用スピーカ３−１の配置位置をPosition1とし、測定用スピーカ３−２の配置位置をPosition2と表している。同様に測定用スピーカ３−３、測定用スピーカ３−４の配置位置は、それぞれPosition3、Position4とする。

この場合の測定環境１における測定は、測定用スピーカ３ごとに測定用信号ＴＳＰを供給して行う。このとき、各測定用マイク４（ａ〜ｐ）においては、各測定用スピーカ３ごとの出力音声信号について検出するようにされる。各測定用マイク４にて得られたこれら測定用スピーカ３ごとの音声信号は、この場合も図示しないインパルス応答測定装置に供給され、これによって各測定用スピーカ３（３−１〜３−４）から各測定マイク４（ａ〜ｐ）までのそれぞれに対応したインパルス応答が測定され、その結果に基づき、各測定用スピーカ３から各測定マイク４までのそれぞれに対応した伝達関数を求めることができる。
例えば図４では、測定用スピーカ３−１から測定用マイク４ａまでに対応した伝達関数Ｈａ−１、測定用スピーカ３−１から測定用マイク４ｂまでに対応した伝達関数Ｈｂ−１を得る経路を模式的に示している。また、同じように測定用スピーカ３−３から測定用マイク４ａまでに対応した伝達関数Ｈａ−３、測定用スピーカ３−３から測定用マイク４ｏまでに対応した伝達関数Ｈｏ−３を求める経路についても模式的に示している。

このようにして、測定用スピーカ３ごとに出力した測定用信号ＴＳＰに応じて、測定用スピーカ３−１から各測定用マイク４ａ〜ｐまでに対応した伝達関数Ｈａ−１〜Ｈｐ−１、測定用スピーカ３−２から各測定用マイク４ａ〜ｐに対応した伝達関数Ｈａ−２〜Ｈｐ−２、測定用スピーカ３−３から各測定用マイク４ａ〜ｐまでに対応した伝達関数Ｈａ−３〜Ｈｐ−３、測定用スピーカ３−４から各測定用マイク４ａ〜ｐまでに対応した伝達関数Ｈａ−４〜Ｈｐ−４を求めることができる。
この場合のインパルス応答の測定は、異なるPositionの測定用スピーカ３からの音声が混在しないように、１つの測定用スピーカ３ごとに測定用信号ＴＳＰを出力して行うことが望ましい。また、複数の測定用スピーカ３を配置する以外にも、１つの測定用スピーカ３を順次各Positionに配置して行うようにすることもできる。

図５は、これら各伝達関数Ｈａ−１〜Ｈｐ−１、Ｈａ−２〜Ｈｐ−２、Ｈａ−３〜Ｈｐ−３、Ｈａ−４〜Ｈｐ−４に基づき、音場再現を行うための再現用音声信号（単に再現信号とも呼ぶ）を生成する再現信号生成装置１５の構成を示している。
この再現信号生成装置１５としては、例えば複数の音像位置（Position1〜Position4）ごとに、それぞれ異なる音声を出力する場合に対応した構成を採る。このために、各Positionに対応した音声再生部６−１、６−２、６−３、６−４の計４つの音声再生部を備えるようにされる。
この場合も各音声再生部６としては、任意の音声信号Ｓを出力することができるようにされている。ここでは、各音声再生部６から出力される音声信号Ｓを、それぞれのPositionの番号に対応させて音声信号Ｓ１、Ｓ２、Ｓ３、Ｓ４と示している。

また、この場合の演算部７としては、Position1〜Position4のそれぞれに対応した４セットを設けるものとしている。すなわち、Position1に対応した演算部７ａ−１〜７ｐ−１、Position2に対応した演算部７ａ−２〜７ｐ−２、Position3に対応した演算部７ａ−３〜７ｐ−３、Position4に対応した演算部７ａ−４〜７ｐ−４が設けられる。
演算部７ａ−１〜７ｐ−１に対しては、図示するように測定用スピーカ３−１（Position1）から各測定用マイク４への出力に応じて得られた伝達関数Ｈａ−１〜Ｈｐ−１が設定される。これら演算部７ａ−１〜７ｐ−１は、それぞれ音声再生部６−１から入力される音声信号Ｓ１に対し、設定された伝達関数Ｈに基づく演算処理を行って、再現信号ＳＨａ−１〜ＳＨｐ−１を出力する。これによって、先ずは測定用スピーカ３−１（Position1）の音像位置を再現するための再現信号が得られる。
また、演算部７ａ−２〜７ｐ−２に対しては、測定用スピーカ３−２（Position2）から各測定用マイク４への出力に応じて得られた伝達関数Ｈａ−２〜Ｈｐ−２が設定され、これら演算部７ａ−２〜７ｐ−２は、それぞれ音声再生部６−２から入力される音声信号Ｓ２に対し設定された伝達関数Ｈに基づく演算処理を行って、再現信号ＳＨａ−２〜ＳＨｐ−２を出力する。これによって測定用スピーカ３−２（Position2）の音像位置を再現するための再現信号が得られる。
同様に、演算部７ａ−３〜７ｐ−３は、測定用スピーカ３−３（Position3）に応じて得られた伝達関数Ｈａ−３〜Ｈｐ−３が設定され、それぞれ音声再生部６−３から入力される音声信号Ｓ３に対し設定された伝達関数Ｈに基づく演算処理を行って、再現信号ＳＨａ−３〜ＳＨｐ−３を出力する。これにより測定用スピーカ３−３（Position3）の音像位置を再現するための再現信号が得られる。
さらに、演算部７ａ−４〜７ｐ−４は、測定用スピーカ３−４（Position4）に応じて得られた伝達関数Ｈａ−４〜Ｈｐ−４が設定され、それぞれ音声再生部６−４から入力される音声信号Ｓ４に対し設定された伝達関数Ｈに基づく演算処理を行って再現信号ＳＨａ−４〜ＳＨｐ−４を出力する。これにより測定用スピーカ３−４（Position4）の音像位置を再現するための再現信号が得られる。

加算器９ａ〜加算器９ｐは、再現用スピーカ８ａ〜８ｐと１対１の関係により設けられ、演算部７ａ−１〜７ｐ−１、演算部７ａ−２〜７ｐ−２、演算部７ａ−３〜７ｐ−３、演算部７ａ−４〜７ｐ−４のうち、対応する添え字（アルファベット）の付された演算部７からの出力を入力し、それらを加算して対応する添え字の付される再現用スピーカ８に供給する。
つまり、例えば加算器９ａは、演算部７ａ−１、７ａ−２、７ａ−３、７ａ−４からの４つの再現信号ＳＨａ−１、ＳＨａ−２、ＳＨａ−３、ＳＨａ−４を入力し、これらを加算して再現用スピーカ８ａに供給する。これによってスピーカ８ａからは、図４に示した全てのPositionから測定用マイク４ａまでの経路に対応した再現音声を出力することができる。
また、加算器９ｐは、演算部７ｐ−１、７ｐ−２、７ｐ−３、７ｐ−４からの４つの再現信号ＳＨｐ−１、ＳＨｐ−２、ＳＨｐ−３、ＳＨｐ−４を入力し、これらを加算して再現用スピーカ８ｐに供給する。これによりスピーカ８ｐからは、図４に示した全てのPositionから測定用マイク４ｐまでの経路に対応した再現音声を出力することができる。
このような再現信号ＳＨの加算が加算器９ｂ〜９ｏにおいて同様に行われることで、それぞれ対応するスピーカ８ｂ〜８ｏにおいても、同様に全てのPositionから該当する測定用マイク４までの経路に対応した再現信号を出力することができる。
この結果、これら再現用スピーカ８ａ〜８ｐにより囲われる、再現環境１１における第一閉曲面１０の内側の聴取者は、図４に示した各測定用スピーカ４（Position1、Position2、Position3、Position4）のそれぞれから音声を再生した場合の音場が第一閉曲面１０の外側に擬似的に再現されているように感じることができる。すなわち、これによってPosition1、Position2、Position3、Position4のそれぞれの位置に、音像を再現（定位、提示）することができる。

図６は、この場合の再現環境１１について模式的に示している。
先の図５に示した再現信号生成装置１５では、Position1、Position2、Position3、Position4ごとに独立して別々の音声を入力できるように構成した。これによれば、各Positionごとに、例えばボーカル、ドラム、ギター、キーボード（鍵盤楽器）などといった異なるPlayerの音声を入力することで、この図６に示されているように、Position1にはボーカル（Player1）、Position2にはドラム（Player2）、Position3にはギター（Player3）、Position4にはキーボード（Player4）などというように、然るべきPositionに然るべきPlayerの音像を提示することができるようになる。

１−３．第二閉曲面での音場再現

ここで、これまでで説明したような音場再現の手法においては、測定用スピーカ４の配置数、再現環境１１での再現用スピーカ８の配置数を増やすほど、音像の定位感（音場の再現度）は増すことができる。このことによれば、再現環境１１としては、なるべく多くの再現用スピーカ８を配置できる環境が望ましいものとなるが、実際の再現環境としては、例えば一般の家庭の部屋などとされることも考えられる。
一般家庭の部屋などの環境では、スピーカの配置数は限られたものとなり、また、このように配置数が制限される以外にも、それぞれの家庭では各スピーカの配置関係が異なるものとなることが予想される。従って、一般家庭での音場再現を想定した場合は、それらの条件に応じて、ホールなどの測定環境において、それぞれの条件に応じた測定用マイク４の配置関係・配置数の別ごとに測定を行う必要がある。
しかし、このことによると、例えば新たなスピーカの個数・配置の条件に対応させるとした場合には、いちいち対象とするホールに出向き、その条件に応じた測定用マイクの配置により測定を行う必要がでてきてしまい、この点で多大な労力と費用を要するものとなってしまう。

ここで、これまでの説明のようにして、再現環境１１における第一閉曲面１０の内側で測定環境１での音場を再現できるということは、この第一閉曲面１０のさらに内側の第二閉曲面においても、第一閉曲面１０上の各スピーカからの伝達関数を用いた演算処理を行えば、測定環境１の音場を再現するための再現信号を得ることができる。
つまり、これによって上記第二閉曲面内において、測定環境１の音場を再現することが可能となる。
これによれば、例えば対象とするホールなどでの測定を１度行っておけば、家庭の部屋などの実際の再現環境への適応のための測定は、いちいち対象とするホールなどに出向かずとも、再現環境１１としての例えば実験施設などにおいて、第一閉曲面１０上の再現用スピーカ８のそれぞれから第二閉曲面１４上のそれぞれの測定用マイクまでについて行えばよいものとできる。

なお、ここで確認のために述べておくと、再現環境１１における第一閉曲面１０での音場再現としては、上記した実験施設などで家庭の部屋などへの適応に供される以外にも多様な用途が想定できる。
例えば、ライブなどのイベントとしては、実際にその会場（ホール）でアーティストが演奏する形態以外にも、所謂フィルムライブなどとして行われるような、実際のライブ会場での映像を映し出すスクリーンを配置した会場においてライブ音声を流すことで行われるものもある。
このようなフィルムライブの会場であれば、比較的多数の再現用スピーカ８を配置することができる（つまり測定時に多数の測定用マイク４を配置できる）ので、実際のライブ会場で測定した情報に基づきこれらの再現用スピーカ８から再現音声を出力すれば、実際のライブ会場さながらの音場を再現することができる。また、このとき、PlayerごとのPositionが予め決まっているのであれば、予め実際の会場にてそのPositionごとに測定を行っておき、再現時にはそのPositionに該当するPlayerの音声をそのPositionでの測定結果（伝達関数）に基づいて演算処理を施すことで、各Playerの音像位置も的確に再現することができる。

図７は、上記のようにして第一閉曲面１０内の第二閉曲面において音場再現を行うにあたっての、インパルス応答の測定手法について説明するための模式図である。
なお、ここでは説明を簡略化するために、測定環境１において測定用スピーカ３を１つのみ配置し、１つの音像位置のみを再現する場合について例示する。
図７において、この場合は、再現環境１１における第一閉曲面１０の内側に、測定用マイク１３Ａ、１３Ｂ、１３Ｃ、１３Ｄ、１３Ｅを配置する。これらの測定用マイク１３（Ａ〜Ｅ）は、例えば家庭の部屋などとされる再現環境（後述する再現環境２０）に配置される再現用スピーカに対応した配置状態をとるようにされればよく、その個数及び配置関係は図示するものに限定はされない。
この図では、これら測定用マイク１３（Ａ〜Ｅ）を外周として形成される閉曲面を、第二閉曲面１４として表している。この第二閉曲面１４の内側が、家庭の部屋などとされる再現環境における聴取位置になる。
なお、第二閉曲面１４は、第一閉曲面１０の内側に形成される必要があるため、測定環境１において測定を行う場合は、第二閉曲面１４の広さを考慮して第一閉曲面１０を形成することが望ましい。
またこの場合、ホールでの測定はなるべく多くの測定用マイク４を配置して、第一閉曲面１０上のなるべく多くの点までについての伝達関数Ｈを求めておくことが好ましい。これによって測定環境１→再現環境１１ではより高い再現度で対象とした音場を再現できる状態としておくことができ、家庭の部屋などの再現環境への適応としてもより高い再現度を実現できる。

そして、この場合は、図示するように測定用信号再生装置２により、測定用信号ＴＳＰを第一平曲面１０上に配置された各再現用スピーカ８（ａ〜ｐ）ごとに出力して、各スピーカ８から各測定用マイク１３までに対応したインパルス応答を測定する。これらのインパルス応答から、各スピーカ８→各測定用マイク１３のそれぞれの経路での伝達関数を求めることができる。

このような第一閉曲面１０上に配置された再現用スピーカから第二閉曲面１４上に配置された測定用マイクまでの伝達関数は「Ｅ」により表すものとする。
例えば図７にも示されているように、測定用マイク１３Ａに対する再現用スピーカ８ａからの伝達関数はＥａ−Ａと表す。また、測定用マイク１３Ａに対する再現用スピーカ８ｂからの伝達関数はＥｂ−Ａとし、また再現用スピーカ８ｃからの伝達関数はＥｃ−Ａと表す。
また、図示は省略しているが、上記再現用スピーカ８ａから、残りの測定用マイク１３Ｂ〜１３Ｅへの伝達関数をＥａ−Ｂ、Ｅａ−Ｃ、Ｅａ−Ｄ、Ｅａ−Ｅ、さらに、上記再現用スピーカ８ｂから測定用マイク１３Ｂ〜１３Ｅへの伝達関数をＥｂ−Ｂ、Ｅｂ−Ｃ、Ｅｂ−Ｄ、Ｅｂ−Ｅ、上記再現用スピーカ８ｃから測定用マイク１３Ｂ〜１３Ｅへの伝達関数をＥｃ−Ｂ、Ｅｃ−Ｃ、Ｅｃ−Ｄ、Ｅｃ−Ｅと表す。以下も同様に、小文字アルファベットは測定用スピーカ８の別、ハイフン後の大文字アルファベットは測定用スピーカ１３の別を示すものとして、スピーカ→マイクの対応を示すようにして伝達関数Ｅを表現する。

ここで、上記のようにして求められた伝達関数Ｅを用いれば、第二閉曲面１４内において、第一閉曲面１０の内側で再現される音場を再現することができる。先にも述べたように、再現環境１１における第一閉曲面１０の内側では伝達関数Ｈを用いて測定環境１の音場を再現できるので、これによれば上記第二閉曲面１４内においても、測定環境１の音場を再現できることになる。

図８は、このようにして第二閉曲面１４内において測定環境１の音場を再現するための再現信号生成装置１９の構成を示している。
なお、この図においては、家庭の部屋などとされる実際の再現環境２０に配置される再現用スピーカを、図示するように再現用スピーカ１８Ａ、１８Ｂ・・・１８Ｅとしている。
先ず、音声再生部６からの音声信号Ｓは、先の図２に示したものと同様に伝達関数Ｈａ〜Ｈｐが設定された演算部７ａ〜７ｐのそれぞれに入力される。このように演算部７ａ〜７ｐにより音声信号Ｓがそれぞれ伝達関数Ｈａ〜Ｈｐに基づき演算処理されることで、再現用スピーカ８ａ〜８ｐのそれぞれに対応した再現信号ＳＨａ〜ＳＨｐが得られる。

ここで、先の図７を参照してわかるように、この場合の第一閉曲面１０上の再現用スピーカ８からの出力音声は、第二閉曲面１４上の各マイク１３に対して入力される。そしてこれに伴い、伝達関数Ｅとしては、１つの測定用マイク１３につき、第一閉曲面１０上の再現用スピーカ８ａ〜８ｐに応じた数がそれぞれ得られる。すなわち、測定用マイク１３Ａに対応してはＥａ−Ａ、Ｅｂ−Ａ・・・Ｅｐ−Ａ、測定用マイク１３Ｂに対応してはＥａ−Ｂ、Ｅｂ−Ｂ・・・Ｅｐ−Ｂ、測定用マイク１３Ｃに対応してはＥａ−Ｃ、Ｅｂ−Ｃ・・・Ｅｐ−Ｃが得られる。また、測定用マイク１３Ｄに対応してはＥａ−Ｄ、Ｅｂ−Ｄ・・・Ｅｐ−Ｄ、測定用マイク１３Ｅに対応してはＥａ−Ｅ、Ｅｂ−Ｅ・・・Ｅｐ−Ｅが得られるものである。
従って、第二閉曲面１４上の各測定用マイク１３（つまり実際の再現環境２０における再現用スピーカ１８）の位置ごとに対応する再現信号を得るにあたっては、図示するように測定用マイク１３の位置（Ａ〜Ｅ）ごとに、上述の各マイク１３ごとのａ〜ｐの伝達関数Ｅを設定した、演算部１６ａ−Ａ〜１６ｐ−Ａ、１６Ｂ−ａ〜１６Ｂ−ｐ・・・１６Ｅ−ａ〜１６Ｅ−ｐを設けるようにする。
そして、図示するように、これら演算部１６ａ−Ａ〜１６ｐ−Ａ、１６Ｂ−ａ〜１６Ｂ−ｐ・・・１６Ｅ−ａ〜１６Ｅ−ｐに対し、上記した演算部７ａ〜７ｐからの再現信号ＳＨａ〜ＳＨｐとして、それぞれ対応する添え字の付された再現信号ＳＨを供給し、これにより各演算部１６において、入力される再現信号ＳＨを各々に設定された伝達関数Ｅに基づき演算処理を施すようにする。

このような構成により、測定用マイク１３Ａ〜１３Ｅの配置位置（再現用スピーカ１８Ａ〜１８Ｅの配置位置）ごとに、第一閉曲面１０上の測定用スピーカ８ａ〜８ｐのそれぞれの経路からに応じた伝達関数Ｅにより演算処理された再現信号ＳＨＥを得ることができる。
つまり、例えば測定用マイク１３Ａ（再現用スピーカ１８Ａ）に対応しては、測定用マイク８ａ〜８ｐのそれぞれからの経路に応じた伝達関数Ｅにより演算処理された再現信号ＳＨＥＡ−ａ〜ＳＨＥＡ−ｐが得られる。同様に、測定用マイク１３Ｂ（再現用スピーカ１８Ｂ）に対応しては、測定用マイク８ａ〜８ｐからのそれぞれの経路に応じた伝達関数Ｅにより処理された再現信号ＳＨＥＢ−ａ〜ＳＨＥＢ−ｐが得られるといったものである。
以下同様に、演算部１６ａ−Ｃ〜１６ｐ−Ｃ、１６Ｄ−ａ〜１６Ｄ−ｐ、１６Ｅ−ａ〜１６Ｅ−ｐからの出力は、それぞれＳＨＥＣ−ａ〜ＳＨＥＣ−ｐ、ＳＨＥＤ−ａ〜ＳＨＥＤ−ｐ、ＳＨＥＥ−ａ〜ＳＨＥＥ−ｐと表すものとする。

加算器１７Ａ、１７Ｂ・・・１７Ｅは、再現用スピーカ１８Ａ、１８Ｂ・・・１８Ｅと１対１の関係により設けられる。
図示するように加算器１７Ａ、１７Ｂ・・・１７Ｅは、演算部１６ａ−Ａ〜１６ｐ−ＡからのＳＨＥＡ−ａ〜ｐ、１６ａ−Ｂ〜１６ｐ−ＢからのＳＨＥＢ−ａ〜ｐ・・・１６ａ−Ｅ〜１６ｐ−ＥからのＳＨＥＥ−ａ〜ｐを入力し、それらを加算して再現用スピーカ１８Ａ、１８Ｂ・・・１８Ｅのうちの対応するスピーカ１８に供給する。
上記説明から理解されるように、加算器１７の各々に入力される再現信号ＳＨＥ（ａ〜ｐ）は、それぞれ伝達関数Ｈ及び伝達関数Ｅに基づき処理され、且つそれぞれの測定用マイク１３（再現用スピーカ１８）ごとに応じた再現信号となっている。
従って上記のように各加算器１７でそれらを加算して対応する再現用スピーカ１８に供給することで、各再現用スピーカ１８からは、それぞれ測定環境１における音場を再現するための再現信号ＳＨＥ（ＳＨＥＡ、ＳＨＥＢ・・・ＳＨＥＥ）が出力されることになる。すなわち、このような再現用スピーカ１８を第二閉曲面１４上での測定用マイク１３と同様に配置した実際の再現環境２０では、その第二閉曲面１４内において、測定環境１の音場を再現することができるようになる。

図９は、このように第二閉曲面１４にて測定環境１の音場を再現する場合での、実際の再現環境２０と、仮想音場としての測定環境１、及び第一閉曲面１０を模式的に示している。
再生環境２０における再現用スピーカ１８（Ａ〜Ｅ）は、先の図７に示した第二閉曲面１４上と同じ半径を有する第二閉曲面１４上において、図７の各測定用マイク１３（Ａ〜Ｅ）と同等の位置関係により配置される。つまり、この再現環境２０における各再現用スピーカ１８は、各測定用マイク１３と幾何学的に同等の位置関係により配置される。
そして、図示するようにこれら再現用スピーカ１８（Ａ〜Ｅ）は、第二閉曲面１４上において、その内側方向に向けて配置され、再現用スピーカ１８Ａからは再現信号ＳＨＥＡ、再現用スピーカ１８Ｂからは再現信号ＳＨＥＢ、再現用スピーカ１８Ｃからは再現信号ＳＨＥＣ、再現用スピーカ１８Ｄからは再現信号ＳＨＥＤ、再現用スピーカ１８Ｅからは再現信号ＳＨＥＥを出力することで、第二閉曲面１４の内側にいる聴取者にとっては、破線で示す第一閉曲面１０上に配された再現用スピーカ８（ａ〜ｐ）により再現される音場と同等な音場を感じることができる。つまりは、破線で示す測定環境１の音場（残響・測定用スピーカ３の音像位置）を擬似的に知覚することができる。従って第二閉曲面１４内を聴取位置とした場合、測定環境１内における残響音場、及び音像定位を得ることができるようになる。これにより、例えば家庭の部屋などに居ながら、例えばホールなどの残響音場及び音像定位により、コンテンツとしての音声を聴取することができるようになる。

なお、ここでは測定環境１において１つの測定用スピーカ３のみが配置されたものとして、１つのPositionのみを想定した場合を例示したが、複数のPositionを想定した場合は、増やしたPositionの数分、先の図８に示した各加算器１７よりも前段の構成を追加すればよい。つまり、例えばPosition1とPosition2との２つのPositionを想定した場合、図８に示した構成に対し、さらにPosition2用の音声再生部６（６−２）、演算部７ａ〜７ｐ（７ａ−２〜７ｐ−２）、演算部１６Ａ−ａ〜１６Ａ−ｐ、１６Ｂ−ａ〜１６Ｂ−ｐ・・・１６Ｅ−ａ〜１６Ｅ−ｐ（１６Ａ−ａ−２〜１６Ａ−ｐ−２、１６Ｂ−ａ−２〜１６Ｂ−ｐ−２・・・１６Ｅ−ａ−２〜１６Ｅ−ｐ−２）を追加する。その上で、追加した演算部１６Ａ−ａ−２〜１６Ａ−ｐ−２、１６Ｂ−ａ−２〜１６Ｂ−ｐ−２・・・１６Ｅ−ａ−２〜１６Ｅ−ｐ−２から出力される再現信号については、この場合も加算器１７Ａ〜１７Ｅが、それぞれ同じ添え字（大文字アルファベット）の付されたものを入力・加算するように構成すればよい。
但しこの場合、測定環境１→第一閉曲面１０での伝達関数Ｈに基づき再生信号Ｓを処理する演算部７ａ〜７ｐと演算部７ａ−２〜７ｐ−２とでは、それぞれに設定される伝達関数Ｈ（ａ〜ｂ）は異なるもとなる。つまり、例えば演算部７ａ〜７ｐで設定される伝達関数Ｈが、Position1から各測定用マイク８に対応したＨａ−１〜Ｈｐ−１だとすると、演算部７ａ−２〜７ｐ−２で設定される伝達関数Ｈは、Position2から各測定用マイク８に対応したＨａ−２〜Ｈｐ−２を測定することになる。
上記構成により、加算器１７Ａ〜１７Ｅの出力としては、測定環境１→第一閉曲面１０の対応ではPosition1及びPosition2の音像位置がそれぞれ加味され、且つ第一閉曲面１０→第二閉曲面１４での対応では伝達関数Ｅにより適応が為された再現信号ＳＨＥ（Ａ〜Ｅ）が得られる。これによって各再現用スピーカ１８（Ａ〜Ｅ）からは、Position1及びPosition2の音像位置を再現することのできる再現信号を出力することができ、これにより第二閉曲面１４においても、その内側の聴取者は、仮想音場としての測定環境１におけるPosition1、Position2に、それぞれの音像を知覚することができるようになる。

＜２．実施の形態としての音場再現＞
２−１．音源の指向方向の再現

ここで、これまでで説明した音場再現の手法では、測定環境１において測定用信号を出力する測定用スピーカ３としては無指向性のものとし、これによってある１点から空間全体へ音の放出が可能となるようにして、測定空間の広さや壁、床、天井の材質、幾何学構造等を要因とする響きを表現するための情報（測定環境１の空間情報）を測定するようにされていた。
しかしながら実際において、測定用スピーカ３の配置位置に仮想音像として再現しようとする音源としては、指向性を有するものも想定できる。このような場合において、上記のように無指向性による測定用スピーカ３を用いてインパルス応答の測定を行った結果に基づき音場再現を行ったのでは、音源の指向性までは再現しきれないことになる。

そこで、本実施の形態としては、測定環境１において測定用信号を出力する測定用スピーカとして、有指向性のスピーカを用い、これを所要の方向に向けてインパルス応答を測定した結果に基づき、音場を再現する。
図１０は、本実施の形態としての音場再現として、先ずは音源の特定の指向方向を再現する場合における測定環境１の模式図を示している。
図１０において、この場合も測定環境１では、第一閉曲面１０上においてそれぞれ外向きに測定用マイク４ａ〜４ｐを配置する。その上でこの場合は、有指向性の測定用スピーカとして、単一指向性の測定用スピーカ２１を、図示するように或る特定の方向に向けた状態で測定用信号ＴＳＰの出力を行い、以降はこれまでと同様に測定用マイク４ａ〜４ｐまでに対応したインパルス応答の測定を行って伝達関数Ｈを求める。
ここで、図１０において測定用スピーカ２１が向けられた方向はDirection2とし、また測定用スピーカ２１の配置位置はPosition1とする。
そして、このDirection2に向けた状態で上記のようにして各測定用マイク４（ａ〜ｐ）ごとに得られた伝達関数Ｈは、測定用マイク４ａ、４ｂ・・・４ｐの順に、それぞれ伝達関数Ｈａ-dir2、Ｈｂ-dir2、Ｈｃ-dir2・・・Ｈｐ-dir2と表す。

図１１は、このようにして得られた伝達関数Ｈに基づき、再現環境１１にて測定環境１の音場を再現する様子を模式的に示している。
先ずこの場合、音源としては、ライン収録音源（Player1）２２を想定している。このライン収録音源２２とは、対象とするPlayerから直接的に収録した音源であり、例えばボーカルではマイクによって検出した電気信号を取り込んだものであり、またギターやキーボードなどの電気楽器では音声出力端子からの電気信号を直接的に取り込んだものとなる。
確認のために述べておくと、ここで言う「Player」とは、再現しようとする仮想音像位置（Position）の１つ１つに対応するものであり、先の図６にも示したように、例えばボーカル、ドラム、ギター、キーボードなどの各演奏者の別に対応するものとなる。ここでは、Player1はボーカルであるとして、その仮想音像を破線により示している。

この場合も再現環境１１においては、第一閉曲面１０上に、測定環境１での測定用マイク４ａ〜４ｐと同様の位置関係により再現用スピーカ８ａ〜８ｐが配置される。
そして、ライン収録音源２２からのライン収録データとしての音声信号を、上述のようにして音源の指向方向が加味された伝達関数Ｈａ-dir2、Ｈｂ-dir2、Ｈｃ-dir2・・・Ｈｐ-dir2の各々に基づき演算処理し、それらを対応する再現用スピーカ８からそれぞれ出力する。
これにより、第一閉曲面１０内における聴取者は、測定環境１におけるPosition1の仮想音像位置において、Player1が図中の矢印により示した指向方向に向けて放音しているものとして知覚することができる。すなわち、これにより再現環境１１において、測定環境１におけるPosition1の仮想音像位置から特定の指向方向に向けて放音した場合の音場を再現することができる。
なお、この場合の各スピーカ８a〜８ｐが出力すべき再現信号を生成する再現信号生成装置の構成としては、先の図２に示したものと各演算部７に設定される伝達関数Ｈが異なる以外は同等の構成となる。

２−２．演奏形態のシミュレート

このようにして、特定の指向方向を表現できれば、例えばボーカルやギターなどのPlayerが演奏中に振り返る、また楽器を回すなどの演奏形態のシミュレートを行うことができる。以下、その手法について説明する。
図１２は、このようにして演奏形態のシミュレートを実現するにあたっての測定環境１の様子を模式的に示した図である。
先ずこの場合は、仮想音像位置を中心として各方向に測定用スピーカ２１を向けてインパルス応答の測定を行う。ここでは、測定用スピーカ２１として指向性６０°のスピーカを用いて、音源の指向方向として６つの方向（Direction1、Direction2・・・Direction6）を定義する。
そして、図示するように第一閉曲面１０上に配置された各測定用マイク４（ａ〜ｐ）により、測定用スピーカ２１を各Directionに向けたときのインパルス応答を測定し、測定用スピーカ２１→各測定用マイク４に対応した伝達関数Ｈを各Directionごとに得る。
このとき、Direction１としたときの各測定用マイク４（ａ〜ｐ）までの伝達関数Ｈは、「Ｈａ-dir1、Ｈｂ-dir1・・・Ｈｐ-dir1」と表す。同様にDirection2、Direction3、Direction4、Direction5、Direction6としたときの各測定用マイク４（ａ〜ｐ）までの伝達関数は、それぞれ「Ｈａ-dir2、Ｈｂ-dir2・・・Ｈｐ-dir2」、「Ｈａ-dir3、Ｈｂ-dir3・・・Ｈｐ-dir3」、「Ｈａ-dir4、Ｈｂ-dir4・・・Ｈｐ-dir4」、「Ｈａ-dir5、Ｈｂ-dir5・・・Ｈｐ-dir5」、「Ｈａ-dir6、Ｈｂ-dir6・・・Ｈｐ-dir6」と表す。

このようにして、各Directionごとの伝達関数Ｈが得られることで、入力音声信号に対する演算処理を、時間経過と共に異なるDirectionによる伝達関数Ｈに変更しながら行うことで、音源から発せられる音声の指向方向が順次異なるようにすることができる。例えば、演算処理に用いる伝達関数Ｈを順次Direction1→Direction2→Direction3・・・→Direction6に対応するものに変更してくことで、仮想音像位置におけるPlayerがDirection1→Direction2→Direction3・・・→Direction6の方向に回転しながら発音している状態を再現することができる。

図１３は、このような指向方向の制御を行う場合の再現信号生成装置２５の構成を示している。
なお、この図では、先の図４〜図６にて説明したようにして測定環境１における複数のPosition（Position1〜Position4）を再現する場合に対応した構成を示す。
このようにPositionを複数想定したとき、伝達関数Ｈは、各Positionに配置した測定用スピーカ２１（２１−１〜２１−４）について、図１２にて説明したものと同様の手法によりインパルス応答の測定を行った結果に基づき求めることができる。

図１３において、先ずこの場合の再現信号生成装置２５としては、このように複数のPosition（１〜４）に対応するものとしたことから、先の図５に示したものと同様に、各Positionごとの音声再生部（６−１〜６−４）と、各Positionごとの演算部とが設けられる。
この場合も各Position（各Player）に対応した音声再生部は、Position1から順に音声再生部６−１、６−２、６−３、６−４として示している。また、各Positionごとの演算部については、Position1から順に演算部２６ａ−１〜２６ｐ−１、２６ａ−２〜２６ｐ−２、２６ａ−３〜２６ｐ−３、２６ａ−４〜２６ｐ−４とする。
さらに、この場合としても再現用スピーカ８ａ〜８ｐと１対１の関係により設けられる加算器２７ａ〜加算器２７ｐが備えられる。これら加算器２７ａ〜２７ｐは、演算部２６ａ−１〜２６ｐ−１、演算部２６ａ−２〜２６ｐ−２、演算部２６ａ−３〜２６ｐ−３、演算部２６ａ−４〜２６ｐ−４のうち、対応する添え字（アルファベット）の付された演算部２６からの出力を入力し、それらを加算して対応する再現用スピーカ８に供給する。これにより各再現用スピーカ８からは、各Positionの音像位置を表現する再現信号を出力することができる。

その上でこの場合には、上記のようにして各Directionごとに求めた伝達関数Ｈを逐次変更設定して指向方向を制御するための構成として、コントローラ２８とＲＯＭ２９とが備えられる。
ＲＯＭ２９内には、予め測定環境１における測定の結果得られた、各Positionごと、及び各Directionごとの伝達関数Ｈの情報が、Direction対応情報２９ａとして格納されている。
図１４は、ＲＯＭ２９に格納される上記Direction対応情報２９ａのデータ構造を示している。この図に示すように、この場合は各Positionごとに、測定用スピーカ２１をそれぞれのDirectionに向けたときの伝達関数Ｈの情報が得られることになる。
ここでは、各測定用マイク４（ａ〜ｐ）までに対応した伝達関数Ｈａ〜Ｈｐについて、その直後に付す数字によりPositionの別を表している。さらに、その後に付す「-dir」の数字により各Directionを表している。例えば、Position１の測定用スピーカ２１をDirection2の方向に向けたときの、測定用マイク４ａへの伝達関数Ｈは、「Ｈａ１-dir2」と表し、またPosition3の測定用スピーカ２１をDirection6の方向に向けたときの、測定用マイク４ｂへの伝達関数Ｈは「Ｈｂ３-dir6」と表すといったものである。

コントローラ２８は、このＲＯＭ２９内に格納される各Position・各Directionごとの伝達関数Ｈの情報に基づいて、各演算部２６に設定される伝達関数Ｈを可変設定することで、各Positionから発せられる音声の指向方向を制御する。
例えば、Position1についての指向方向をDirection1→Direction2→Direction3方向に回転させるとした場合には、ＲＯＭ２９から伝達関数Ｈａ１-dir1〜Ｈｐ１-dir1→Ｈａ１-dir2〜Ｈｐ１-dir2→Ｈａ１-dir3〜Ｈｐ１-dir3を順次読み出し、これらを演算部２６ａ−１〜２６ｐ−１に対し順次設定する。これによりPosition1についての指向方向は時間経過と共に順にDirection1→Direction2→Direction3へと回転させることができる。

ここで、よりスムーズな回転を表現するにあたっては、変更するDirectionの間隔を可能な限り短くすることが必要となる。このためには、さらに細かいDirectionの区切りを定義してより多くのDirectionについて伝達関数Ｈを求めておくことが考えられる。
しかし、これは測定回数の増加を招き現実的ではないので、実際に回転を表現するにあたっては、隣接するDirection同士の伝達関数Ｈを補間してさらに細かい区切りによるDirectionごとの伝達関数Ｈを生成し、これらを時間経過に応じて順次変更設定していくようにする。これによれば、比較的少ないDirectionを定義した場合にもスムーズな回転を表現することができる。

なお、ここでは、コントローラ２８に対して指向方向の変化態様を指示するための構成については省略しているが、このような指向方向の変化態様の指示は、例えば操作部を設けてユーザ操作に基づいて行うことや、音声信号の再生時間軸上のどのタイミングでどのDirectionを設定すべきかを指示するための指示情報を予め与えておくことにより行うことができる。
また、このことは、指向方向制御の対象とする音源（Position）の指定についても同様となる。

２−３．ステレオエフェクタの再現

ところで、これまでの説明においては、入力音声信号がモノラル音声信号であることを前提としたが、入力音声信号としてはステレオ音声信号である場合もあり得る。例えば、エレキギターなどの電気楽器としては、その出力音声自体はモノラルであるが、これを演出加工するいわゆるエフェクタを通した場合、モノラル信号が加工されてステレオ信号として出力される場合がある。
このようなエフェクタによる演出効果をそのまま再現したいとした場合には、１つの仮想音像位置につき、Ｒｃｈ（チャンネル）とＬｃｈとの２つの音源を再現することが考えられる。ここでは、このようなＲｃｈとＬｃｈとの再現を、これまでで説明した音源の指向方向の概念を利用して行う例を挙げる。

図１５は、このように１つの仮想音像位置につきＲｃｈとＬｃｈとの２つの音源を再現する場合での、測定環境１の様子を模式的に示している。
ここで、それぞれの音源がＲｃｈとＬｃｈに基づくものであれば、これらの音源に対応する指向方向としては逆とするか、或いは少なくとも同方向とならないようにすればよい。そこでこの場合としては、図示するようにＲｃｈ音源の指向方向についてはDirection6を定義し、Ｌｃｈ音源の指向方向についてはDirection2を定義する。
そして、これに対応して、この場合の測定としては、Ｒｃｈ音源に対応したDirection6方向に測定用スピーカ２１を向けたときの各測定用マイク４へのインパルス応答と、Ｌｃｈ音源に対応したDirection2方向に測定用スピーカ２１を向けたときの各測定用マイク４へのインパルス応答を測定し、これによってＲｃｈ音源、Ｌｃｈ音源に対応したそれぞれの伝達関数Ｈを求めるようにする。
この場合も、測定用スピーカ２１の配置位置をPosition1であるとすると、上記のようにDirection6に向けたときに各マイク４ごとに得られる伝達関数Ｈは「Ｈａ１-dir6、Ｈｂ１-dir6・・・Ｈｐ１-dir6」と示す。同様に、Direction2に向けたときに各マイク４ごとに得られる伝達関数Ｈは「Ｈａ１-dir2、Ｈｂ１-dir2・・・Ｈｐ１-dir2」と示す。

図１６は、このように１つの仮想音像位置につきＲｃｈとＬｃｈとの２つの音源を再現する場合に、再現環境１１において各再現用スピーカ８（ａ〜ｐ）から出力すべき再現信号を生成するための再現信号生成装置３０の構成を示している。
音声再生部６からの再生信号Ｓは、ステレオエフェクト処理部３１に入力される。このステレオエフェクト処理部３１は、入力されるモノラル音声信号に対し、いわゆるフランジャーやデジタルディレイなどといったデジタルエフェクト処理を施してＲｃｈ、Ｌｃｈによるステレオ音声信号を生成する。
なお、ここではステレオエフェクタを内蔵する構成を示しているが、外部のエフェクタにおいてステレオエフェクト処理されて得られたＲｃｈ音声信号とＬｃｈ音声信号とを直接入力する構成とすることもできる。

演算部３１ａ−Ｒ、３１ｂ−Ｒ・・・３１ｐ−Ｒには、先に説明したようにしてＲｃｈ音源に対応して求められた伝達関数Ｈａ１-dir6、Ｈｂ１-dir6・・・Ｈｐ１-dir6が設定される。また、演算部３１ａ−Ｌ、３１ｂ−Ｌ・・・３１ｐ−Ｌには、Ｌｃｈ音源に対応して求められた伝達関数Ｈａ１-dir2、Ｈｂ１-dir2・・・Ｈｐ１-dir2が設定される。
演算部３１ａ−Ｒ、３１ｂ−Ｒ・・・３１ｐ−Ｒは、それぞれ入力されるＲｃｈ音声信号に対し設定された伝達関数Ｈに基づく演算処理を行う。これによってDirection6の指向方向を有するＲｃｈ音源を再現するために各再現用スピーカ８から出力すべき再現信号が得られる。
同様に、演算部３１ａ−Ｌ、３１ｂ−Ｌ・・・３１ｐ−Ｌとしては、それぞれ入力されるＬｃｈ音声信号に対し設定された伝達関数Ｈに基づく演算処理を行うようにされ、これによりDirection2の指向方向を有するＬｃｈ音源を再現するために各再現用スピーカ８から出力すべき再現信号を得ることができる。

加算器３２ａ〜３２ｐは、それぞれ演算部３１ａ−Ｒ〜３１ｐ−Ｒ、３１ａ−Ｌ〜３１ｐ−Ｌのうち、同じ添え字の付された演算部３１からの再現信号を入力・加算して、その結果を同じく同一の添え字の付された再現用スピーカ８に供給する。
このようにして、Ｒｃｈ音源の指向方向を再現するための再現信号と、Ｌｃｈ音源の指向方向を再現するための再現信号とがそれぞれ加算されて対応する再現用スピーカ８から出力されることで、これら再現用スピーカ８が配置された再現環境１１における第一閉曲面１０内において、Ｒｃｈ音源の指向方向とＬｃｈ音源の指向方向とを表現したかたちで測定環境１の音場を再現することができる。

２−４．音源の指向性と指向方向ごとの放音特性の再現

ここで、ピアノやバイオリン、ドラムなどといった電気楽器ではないいわゆるアコースティック楽器としては、それぞれの楽器で多少なりともその指向性と指向方向ごとの放音特性が異なるものとなる。厳密に言えば、このような楽器（音源）ごとの指向性や指向方向ごとの放音特性が、ホール等の音響空間全体に対して個別に影響を与えてその音源の音響特性を形づくるものとなるので、よりリアルにその音源としての仮想音像を再現するとした場合には、その指向性と指向方向ごとの放音特性を考慮したかたちで音場再現を行うことが有効である。

このように音源の指向性と指向方向ごとの放音特性を考慮したかたちで音場再現を行うとした場合の手法を、次の図１７〜図２０を参照して説明する。
図１７は、この場合の音源の収録の様子を模式的に示した図であり、図１７（ａ）ではその斜視図を、また図１７（ｂ）ではその上視図を示している。
この場合、先ずは所要の音源３６を或る平面上で円形状に囲う音源収録面３５を定義する。そして、この音源収録面３５上において、音源３６を取り囲むようにして複数の収録用マイク３７（有指向性マイク）を配置する。この場合も各マイク３７に記した矢印の方向は指向性方向を示しており、これら矢印からわかるように各マイク３７は音源３６と向き合う方向に配置する。このように配置した複数の有指向性マイクごとに音源３６からの音声を収録することで、それぞれの収録音声には、音源３６の指向性と指向方向ごとの放音特性とを反映させることができる。
ここでは、音源収録面３５上においてそれぞれ指向性６０°の収録用マイク３７を６つ配置し、Direction1〜Direction6の６つのDirectionを定義する例を示している。図示するようにDirection1の収録用マイク３７は収録用マイク３７−１、Direction2の収録用マイク３７は収録用マイク３７−２というように、収録用マイク３７の符号はハイフン以下の数字により配置されるDirectionの別を示す。
このように音源３６を６方向から囲うことによって、この場合は音源３６についての指向方向として６つの方向が定義されたことになる。さらには、このように６方向に配置した各収録用マイク３７により音声を収録することで、これら各収録用マイク３７ごとの収録音声としては、音源３６の６つの指向方向ごとの放音特性をそれぞれ反映したものとすることができる。

このことによれば、この場合に各収録用マイク３７で収録された音声を、それぞれのDirectionごとに外向きに放音すれば、音源３６の指向性と指向方向ごとの放音特性とを再現することができる。
つまり、図１７において各Directionごとに配置される各収録用マイク３７の位置に同じ指向性６０°の有指向性スピーカを外向きに配置し、これらのスピーカからそれぞれ対応する収録用マイク３７による収録音声を出力することで、音源３６の指向性と指向方向ごとの放音特性とを反映したかたちで音源３６を再現することができる。
なお、この場合において、各収録用マイク３７による音源３６の収録は、収録現場での空間情報が含まれないようにするために、なるべく音源３６に近接した状態（いわゆる「オン」の状態）で行われることが好ましい。

このようにして、音源３６を囲うようにして各Directionから音声を収録し、同じDirectionの関係となるように配置した有指向性スピーカによってそれぞれの収録音声を出力することで、音源３６の指向性と指向方向ごとの放音特性を再現することができるが、本実施の形態としては、このような音源３６が配置された測定環境１としての音場を、別の環境である再現環境１１にて再現しようとするものである。
ここで、再現環境１１において測定環境１に配置された音源３６のDirection1〜Direction6の指向方向を表現するためには、先にも説明したように、これらDirectionごとに伝達関数Ｈを求めるようにすればよい。この場合には、音源３６からの収録音声は各Directionごとに存在するので、これら各Directionの収録音声を、各Directionについて求めた伝達関数Ｈのうちの同じDirectionの伝達関数Ｈにより畳み込むことで、各Directionごとの再現信号を得ることができる。

なお、ここでは音源３６についての指向方向として６つを定義しているので、各Directionごとの伝達関数Ｈを求める手法としては、この場合も先の図１２において説明したように、測定環境１における測定用スピーカ２１を各Direction（Direction1〜Direction6）に向けたときの、各測定用マイク４（ａ〜ｐ）までに対応したインパルス応答を測定して行えばよい。
すなわち、例えば音源３６の測定環境１での配置位置を仮にPosition1（Player1）とした場合、Direction1については、伝達関数Ｈａ１-dir1、Ｈｂ１-dir1・・・Ｈｐ１-dir1、Direction2については伝達関数Ｈａ１-dir2、Ｈｂ１-dir2・・・Ｈｐ１-dir2を求める。同様に、Direction3については伝達関数Ｈａ１-dir3、Ｈｂ１-dir3・・・Ｈｐ１-dir3、Direction4については伝達関数Ｈａ１-dir4、Ｈｂ１-dir4・・・Ｈｐ１-dir4、Direction5については伝達関数Ｈａ１-dir5、Ｈｂ１-dir5・・・Ｈｐ１-dir5、Direction6については伝達関数Ｈａ１-dir6、Ｈｂ１-dir6・・・Ｈｐ１-dir6を求めるものである。

図１８は、音源の指向性と指向方向ごとの放音特性とを考慮した音場再現を行う場合に対応した、再現信号生成装置４０の構成を示している。
この場合、音声再生部６にて再生する音声は、各Directionごとに収録した音声信号である。ここでは、Direction1に配置された収録用マイク３７−１て収録された音声を再生する音声再生部６を、音声再生部６−１−１とし、またDirection2に配置された収録用マイク３７−２て収録された音声を再生する音声再生部６を音声再生部６−１−２と示している。同様に、収録用マイク３７−３、３７−４、３７−５、３７−６で収録された音声信号を再生する音声再生部６を、音声再生部６−１−３、６−１−４、６−１−５、６−１−６と示している。
なお、この場合の音声再生部に付した符号について、１つ目のハイフン後の数字は、音源３６が仮にPosition1に配置されたPlayer1であると仮定した場合に対応させた数字であり、例えばPosition2に配置されたPlayer2である場合には「２」が付されるといったものである。また、このことは、以下で説明する各部の符号についても同様である。

図１８は、音源の指向性と指向方向ごとの放音特性とを考慮した音場再現を行う場合に対応した、再現信号生成装置４０の構成を示している。
この場合、音声再生部６にて再生する音声は、各Directionごとに収録した音声信号である。ここでは、Direction1に配置された収録用マイク３７−１で収録された音声を再生する音声再生部６を、音声再生部６−１−１とし、またDirection2に配置された収録用マイク３７−２で収録された音声を再生する音声再生部６を音声再生部６−１−２と示している。同様に、収録用マイク３７−３、３７−４、３７−５、３７−６で収録された音声信号を再生する音声再生部６を、音声再生部６−１−３、６−１−４、６−１−５、６−１−６と示している。
なお、この場合の音声再生部に付した符号について、１つ目のハイフン後の数字は、音源３６が仮にPosition1に配置されたPlayer1であると仮定した場合に対応させた数字であり、例えばPosition2に配置されたPlayer2である場合には「２」が付されるといったものである。また、このことは、以下で説明する各部の符号についても同様である。

加算器４２ａ、４２ｂ・・・４２ｐは、再現用スピーカ８ａ、８ｂ・・・８ｐと１対１の関係で設けられており、それぞれ対応する添え字の付された演算部４１からの再現信号を入力・加算して、その結果を同一の添え字の付された再現用スピーカ８に供給する。
これにより、上記のようにして各Directionごとに得られた、各再現用スピーカ８ごとに出力すべき再現信号は、再現用スピーカ８ごとに加算されて対応する再現用スピーカ８から出力されるものとなる。

このような再現信号生成装置４０の構成により、例えばDirection1での収録音声は、測定環境１においてDirection1の指向方向で出力されたものとして再現でき、また同様にDirection2での収録音声は、測定環境１においてDirection2の指向方向で出力されたものとして再現環境１１において再現することができる。また、他のDirectionでの収録音声についても、同様にそれぞれ対応するDirectionの指向方向により出力されたものとして再現することができる。
この結果、再現環境１１の第一閉曲面１０内において、音源の指向性と指向方向ごとの放音特性とを反映したかたちで、よりリアルに測定環境１における仮想音像を再現することができる。

なお、ここでは指向性６０°の収録用マイク３７を６つ用いることで６つのDirectionを定義したとしたことから、伝達関数Ｈとしては、先の図１２と同様の６つのDirectionの測定結果を用いる例を挙げたが、例えば指向性２０°の収録用マイク３７により１８のDirectionの指向方向を定義するなど異なる数の指向方向を定義した場合には、その定義した指向方向ごとに伝達関数Ｈを求めるようにすればよい。或いは、実際に定義した全ての方向について伝達関数Ｈの測定を行わずとも、より少ない方向について伝達関数Ｈを求めておき、それらのうち隣接するDirectionの伝達関数Ｈ同士を補間することで、定義したDirectionに応じた伝達関数Ｈを求めるようにしてもよい。これによって測定回数を削減することができる。

また、ここでは、音源からの音声収録は平面的で行う場合を例示したが、例えば次の図１９に示されるように、音源を立体的に囲んで音声収録を行うことも考えられる。
図１９においては、音源を円筒状に囲む例を示してる。
この場合の音源の収録は、図のように円筒を上段、中段、下段の円形平面により区切り、それぞれの円形平面上に複数の収録用マイク５１を配置して行う。
ここでは、上段、中段、下段の円形平面を、それぞれ円形平面５０−１、円形平面５０−２、円形平面５０−３と示している。そして、上段の円形平面５０−１の外周上に配置される収録用マイク５１を５１−１、中段の円形平面５０−２の外周上に配置される収録用マイク５１を５１−２、下段の円形平面５０−３の外周上に配置される収録用マイク５１を５１−３と表す。 この場合もそれぞれの円形平面上では、収録用マイク５１は指向性６０°のものを使用し、Direction1〜Direction６の６つのDirectionを定義する。この場合、各収録用マイク５１のDirectionは、２番目のハイフン後の数字によって表す。例えば、上段のDirection2に配置された収録用マイク５１は収録用マイク５１−１−２、下段のDirection6に配置された収録用マイク５１は５１−３−６と表すといったものである。

また、ここでは、音源からの音声収録は平面的で行う場合を例示したが、例えば次の図１９に示されるように、音源を立体的に囲んで音声収録を行うことも考えられる。
図１９においては、音源を円筒状に囲む例を示している。
この場合の音源の収録は、図のように円筒を上段、中段、下段の円形平面により区切り、それぞれの円形平面上に複数の収録用マイク５１を配置して行う。
ここでは、上段、中段、下段の円形平面を、それぞれ円形平面５０−１、円形平面５０−２、円形平面５０−３と示している。そして、上段の円形平面５０−１の外周上に配置される収録用マイク５１を５１−１、中段の円形平面５０−２の外周上に配置される収録用マイク５１を５１−２、下段の円形平面５０−３の外周上に配置される収録用マイク５１を５１−３と表す。 この場合もそれぞれの円形平面上では、収録用マイク５１は指向性６０°のものを使用し、Direction1〜Direction６の６つのDirectionを定義する。この場合、各収録用マイク５１のDirectionは、２番目のハイフン後の数字によって表す。例えば、上段のDirection2に配置された収録用マイク５１は収録用マイク５１−１−２、下段のDirection6に配置された収録用マイク５１は５１−３−６と表すといったものである。

図２０は、このように立体的に囲んだ音源を再現環境１１にて再現するとしたときの、測定環境１の様子を模式的に示した図である。
先ず、この場合は立体的な再現を行うものとされることから、第一閉曲面１０としても、立体的な空間を想定する。この場合は、第一閉曲面１０としては直方体による空間を想定し、測定用マイクはこの直方体による第一閉曲面１０を覆う所要の位置において外向きとなるように配置する。このように立体的に配置された測定用マイクについては、図示するように５３ａ〜５３ｘと示す。なお、このことは、必ずしもこれまでの平面による第一閉曲面１０の場合と配置する測定用マイク４の個数が異なることを意味するものではなく、測定用マイク５３としてはａ〜ｐまでとすることもできる。
なお、先の説明では第一閉曲面１０は円形であるとしたが、ここでは便宜上、立体による閉曲面についても同一の符号を付した。

そして、この場合の測定は、上記立体による第一閉曲面１０の外側において、円形平面５０−１、５０−２、５０−３を想定し、これら円形平面上に収録時と同じDirectionごとに測定用スピーカ５２を配置して行う。つまり、図２０に示した収録用マイク５１と幾何学的に同等となる配置関係により測定用スピーカ５２を配置して行う。
これら測定用スピーカ５２としても指向性６０°の有指向性スピーカを用いる。また、この場合としても各測定用スピーカ５２の符号は、最初のハイフン後の数字は配置される円形平面５０−１、５０−２、５０−３の別を示し、２番目のハイフン後の数字はDirection1からDirection6の別を表している。
その上で、各測定用スピーカ５２ごとに、図示は省略した測定用信号再生装置２からの測定用信号ＴＳＰの出力を行い、このとき第一閉曲面１０上に配置した各測定用マイク５３ａ〜５３ｘまでに対応して得られるインパルス応答（伝達関数Ｈ）の測定を行う。
例えば、ここでは第一閉曲面１０上の測定用マイク５３はｘ個であり、また測定用スピーカ５２は６×３＝１８個であるので、合計で１８×ｘ個の伝達関数Ｈが得られることになる。

図示は省略するが、この場合の再現環境１１においては、測定環境１において第一閉曲面１０を立方体として想定したことに応じて、同じ立方体による第一閉曲面１０を想定し、この場合も測定環境１において配置した測定用マイク５３と幾何学的に同等の配置関係により再現用スピーカ８ａ〜８ｘを配置する。
そして、これら再現用スピーカ８ａ〜８ｘにより出力すべき再現信号を生成するための再現信号生成装置の構成としては、基本的には先の図１８に示した構成と同様となる。つまり、この場合も１つの円形平面５０について見れば、Direction1〜Direction6までの６つのDirectionについて、それぞれの収録音声を対応する伝達関数Ｈで畳み込んで各再現用スピーカ８から出力すべき再現信号を得ることに変わりはないので、そのための構成（つまり６つの音声再生部６と６セットの演算部４１（１ａ〜１ｐ、２ａ〜２ｐ・・・６ａ〜６ｐ））をさらに２つ増やしたものとして捉えることができる。
但し、この場合は測定用マイク５３をａ〜ｘまでとしたので、測定用スピーカ５２ごとに得られる伝達関数Ｈは、Ｈａ〜Ｈｘまでとなる。つまり、各収録音声ごとに設けられる１セットの演算部４１としては、それぞれＨａ〜Ｈｘを設定したものを設けることになる。同様に、再現用スピーカ８としてもａ〜ｘまでとなるので、加算器４２としても各再現用スピーカ８対応にａ〜ｘまで設けることになる。この場合も各加算器４２は、同一の添え字の付された演算部４１からの再現信号を入力・加算し、その結果を同一の添え字の付された再現用スピーカ８に供給するように構成する。

このような構成により、各再現用スピーカ８からは、各収録用マイク５１による収録音声が各円形平面５０−１、５０−２、５０−３における各Directionごとに向けて放音されたものとして再現することのできる再現信号が出力される。
これによって、再現用スピーカ８が配置された再現環境１１における第一閉曲面１０内の聴取者は、測定環境１における仮想音像位置としての円筒空間内に、この場合の収録対象としての人間が存在するものとして感じることができるようになる。換言すれば、再現環境１１の第一閉曲面１０内において、測定環境１の仮想音像位置としての円筒空間内に収録対象としての人間が居るように再現することができる。

このような手法は、例えばアニメーションやＣＧなどのアフレコ（アフターレコーディング）の手法として採用して好適である。つまりは、声優を収録対象としてこれを円筒状に囲って収録を行うことで、声の他にも衣服の擦れる音や足音などの音声も含めた収録を行っておく。そして、用いる伝達関数Ｈとしては、例えばそのシーンにおいてキャラクターが存在する位置とそれを取り囲む空間との関係に応じる等して、測定環境１の選定、さらにその中での仮想音像位置と第一閉曲面１０との配置関係を選定して測定する。
これにより再現環境１１において、想定した空間内の想定した仮想音像位置としての円筒空間内に、そのキャラクターが存在するかのように再現することができる。

なお、ここでは音源を立体的に囲む例として円筒状に囲む例を示したが、例えば球形に囲むようにすることもできる。つまり、この場合は音源を囲む球面上において、任意に定義したDirectionごとに収録用マイク５１を配置して音声収録を行う。
この際、測定環境１においては、同等の球面上に各収録用マイク５１の配置位置と幾何学的に同等となる位置に測定用スピーカ５２を配置して同様のインパルス応答の測定を行えばよい。
また、再現信号生成装置の構成としては、収録用マイク５１と測定用マイク５３（つまり測定用スピーカ５２と再現用スピーカ８）の配置数を同じとした場合は、先に説明したものと同様の構成となる。

また、ここでは測定用スピーカ５２を複数配置してインパルス応答の測定を行う場合を例示したが、測定環境１でのインパルス応答の測定は実際に測定用スピーカ５２を複数配置しなくとも、１つの測定用スピーカ５２を順次各円形平面５０の外周上の各位置で各Directionに向けて行うことも可能である。
なお、この場合も隣接するDirectionでの伝達関数Ｈを補間することで、測定回数を減らすことも可能である。

２−５．アンビエンスデータの追加

ここで、ライブなどのイベントでの臨場感をよりリアルに再現するにあたっては、観客の声援や拍手などの、その会場で生じる演奏音以外の音（アンビエンス）を付加することが有効である。ここでは、このようなアンビエンスを追加してより臨場感のある音場再現を行う場合の手法について説明する。

図２１は、このようなアンビエンスについて収録する場合の測定環境１の様子を模式的に示している。
先ず、この場合は、第一閉曲面１０上において、インパルス応答の測定を行ったときと同数・同位置に収録用マイク６４ａ〜６４ｐを配置する。これら収録用マイク６４ａ〜６４ｐとしても、有指向性マイクを使用する。
なお、同じ測定環境１の第一閉曲面１０上の同位置に配置するマイクとして、この収録用マイク６４と測定用マイク４とでは異なる符号を付しているが、同一のマイクを使用するものとしてもよい。

その上で、図示するようにして第一閉曲面１０外の所要位置に、複数のエキストラとしての人物を複数配置して、歓声や拍手などのアンビエンスとしての所定の音声を発しさせ、各収録用マイク６４によりその音声の収録を行う。これによって、各収録用マイク６４ａ〜６４ｐでは、測定環境１の空間情報を含んだかたちでアンビエンスの収録を行うことができる。ここでは、各収録用マイク６４ａ、６４ｂ・・６４ｐでそれぞれ得られたアンビエンスの収録音声信号は、アンビエンス−ａ、アンビエンス−ｂ・・・アンビエンス−ｐと呼ぶ。

再現環境１１においては、第一閉曲面１０上に配置した再現用スピーカ８ａ、８ｂ・・・８ｐにより、アンビエンス−ａ、アンビエンス−ｂ・・・アンビエンス−ｐを音声出力することで、第一閉曲面１０の内側に居る聴取者は、測定環境１における第一閉曲面１０の外側に観客が居るものとして感じることができる。

図２２は、このようなアンビエンスを付加する場合の再現信号生成装置６０の構成を示している。
なお、この図では、先の図１８に示した音源の指向性と指向方向ごとの放音特性とを考慮した音場再現を行う場合に対応させた再現信号生成装置の構成について示している。
この図に示されるようにして、測定環境１にて収録されたアンビエンス−ａ、アンビエンス−ｂ・・・アンビエンス−ｐについては、それぞれ再生部６１ａ、６１ｂ・・・６１ｐにより再生出力する。この場合は、各再現用スピーカ８ａ〜８ｐと１対１の関係で設けられた加算器４２ａ〜４２ｐの後段に対して、さらに加算器６２ａ〜６２ｐが設けられ、上記再生部６１ａ、６１ｂ・・・６１ｐは、これら加算器６２ａ、６２ｂ・・・６２ｐに対し、アンビエンス−ａ、アンビエンス−ｂ・・・アンビエンス−ｐを供給する。

このようにしてアンビエンス−ａ、アンビエンス−ｂ・・・アンビエンス−ｐは、各再現用スピーカ８ａ、８ｂ・・・８ｐの再現信号の供給ラインに対して加算されて出力される。つまり、測定環境１において収録用マイク６４ａ、６４ｂ・・・６４ｐにより収録されたアンビエンス−ａ、アンビエンス−ｂ・・・アンビエンス−ｐは、再現環境１１における幾何学的に同等の位置に配置された再現用スピーカ８ａ、８ｂ・・・８ｐにより第一閉曲面１０内側にそれぞれ出力されるものとなる。
これにより、再現環境１１における第一閉曲面１０の内側に居る聴取者は、第一閉曲面１０の外側に測定環境１における観客が居るものとして感じることができ、よりリアルな臨場感を与えることができる。

２−６．カメラ視点に応じた音場再現

これまでは、再現環境１１において主に音声のみを再生する場合について述べてきたが、例えば或るアーティストのライブイベントを収録したコンテンツとしては、ＡＶ（Audeo and Video）コンテンツとすることも考えられる。つまり、これに応じて再現環境１１においては、ライブの収録音声とこれと同期した収録映像とを再生するといったものである。
ここで、ライブ映像を収録したＡＶコンテンツとしては、終始１つの視点（１アングル）のみで被写体（アーティスト）を捉えるのではなく、多数のアングルから捉えるようにされたものがある。このように複数のアングルから被写体を捉える映像がある場合においては、そのアングルごとに応じた音場再現を行うようにすることで、カメラアングルごとに応じた臨場感を与えることができる。

図２３は、その手法について模式的に示した図である。
この図２３では、実際にライブなどのイベントが行われるホールとしての測定環境１の様子を示しており、図２３（ａ）は実際にライブが行われているときのカメラ６５による映像収録の様子を模式的に示し、図２３（ｂ）ではカメラアングルに応じた測定の様子について模式的に示している。なお、ここではステージ６６上のPlayerは複数居る場合を想定し、その位置を図示するPosition1〜Position4により示している。
例えば図２３（ａ）に示すようにカメラ６５がステージ６６上のアーティストを捉えた場合に対応しては、図２３（ｂ）に示す同じ測定環境１としてのホール内において、同じアングルでステージ６６を捉えるようにして配置した測定用マイク６８ａ〜６８ｘにより、ステージ６６上の各Positionごとでのインパルス応答の測定を行う。
図２３（ｂ）において、この場合の測定環境１における第一閉曲面１０としては、先の図２０と同様に立体空間を想定し、また図２０の場合と同様のａ〜ｘの測定用マイク６８を配置している。そして、このような第一閉曲面１０による立体空間をステージ６６に対して図２３（ａ）でのカメラアングルと同等の角度に傾けた状態となるようにして、それぞれのPosition（1〜4）ごとに配置した測定用スピーカ６７（６７−１〜６７−４）ごとに出力した測定用信号ＴＳＰについて、各測定用マイク６８（ａ〜ｘ）ごとのインパルス応答の測定を行う。
これによって、各測定用スピーカ６７（１〜４）から各測定用マイク６８（ａ〜ｘ）までに対応したｘ×４個の伝達関数Ｈを求めるようにする。

そして、再現環境１１における再現時には、そのアングルのシーンに対応させて、これらの伝達関数Ｈを使用して再生音声信号を畳み込み、これによって得られた再現信号を、測定環境１で配置した測定用マイク６８（ａ〜ｘ）と幾何学的に同等の位置関係となるように配置した再現用スピーカ８（ａ〜ｘ）により出力すればよい。
これによって再現環境１１における上記再現用スピーカ８（ａ〜ｘ）で囲まれた第一閉曲面１０内の視聴者は、図２３に示したアングルでステージ６６上を捉えた映像が再生されるときに、同じアングルでステージ６６を見た場合での音場を感じることができるようになる。

さらに、このような手法による音場再現を、想定される複数のカメラアングルについて行うことで、カメラアングルごとにそれぞれのアングルでステージ６６を見た場合での音場を知覚させるようにすることができる。
つまり、この場合には、想定される複数のアングルについて、図２３（ｂ）にて説明したものと同様の手法により伝達関数Ｈの測定を行っておき、カメラアングルと伝達関数Ｈとの対応情報を作成しておく。
このとき、映像信号については、シーンごとのカメラアングルの情報を例えばメタデータなどとして埋め込んでおく。
そして、収録した映像と音声との再生時においては、上記映像信号中に埋め込まれたアングル情報に基づき、上記アングル・伝達関数Ｈの対応情報から該当する伝達関数Ｈを選択し、これを随時演算部に対して設定して再生音声信号を演算処理して再現用スピーカ８（ａ〜ｘ）から出力する。これにより、映像中の複数のカメラアングルごとに、そのアングルでステージ６６を見た場合での音場を知覚させるようにすることができる。
このようなカメラアングルごとに応じた音場再現を行うことができれば、娯楽性を増すことができて好ましい。

なお、ここではカメラアングルごとの伝達関数Ｈの測定にあたり、第一閉曲面１０として立体を想定したが、これに代えて平面とすることもできる。
また、図２３（ｂ）では、測定用信号ＴＳＰを出力する測定用スピーカ、及び第一閉曲面１０上に配置される測定用マイクはそれぞれ測定用スピーカ６７、測定用マイク６８と符号を付したが、これらはそれぞれ測定用スピーカ２１、測定用マイク４と同等のものである。

２−７．音場再現システムの構成例

以上では、本実施の形態の音場再現システムとしての個々の機能を実現するための方法及び構成について説明してきたが、これらの機能を実現するための手法及び再現システム全体の構成について以下で説明する。
なお、ここでは説明の便宜上、先の図１７〜図２０にて説明したような音源の指向性と指向方向ごとの放音特性については考慮せず、また図１５〜図１６で説明したステレオエフェクタには対応しない場合の構成について説明する。これらにも対応するとした場合の追加構成については後述する。
また、ここでは、実際に音場の再現を行う再現環境としては家庭の部屋などとしての再現環境２０を想定し、第二閉曲面１４での音場再現を行う場合での構成について説明する。
さらにこの場合、仮想音像位置として提示するPlayer（Position）はPlayer1〜Player3の３つとし、また、各Positionでの音源の指向方向としては６つのDirectionを定義するものとする。

先ず、前提として、本実施の形態の音場再現システムとしては、ライブ映像とその音声とを含むＡＶコンテンツ作成のために各種音声・映像の収録を行うと共に、仮想音像位置を再現するための伝達関数についての測定などを行う制作側と、実際に再現環境１１において音場を再現する側としてのユーザ側とに分けられる。
この場合、上記制作側は、収録した映像・音声、及び伝達関数などを所要のメディアに記録し、ユーザ側では、後述する再現信号生成装置により、そのメディアに記録された情報に基づいて音場再現が行われるものとする。

図２４は、この場合の制作側において行われるべき作業工程と、これらの作業工程により得られた情報をメディア７７に対して記録するための記録装置７０の構成とについて示した図である。
先ず、この場合の記録装置７０は、図中の作業工程Ｓ１〜Ｓ４によって得られた情報からそれぞれアングル／Direction・伝達関数対応情報、再生環境・伝達関数対応情報、アンビエンスデータ、各Playerのライン収録データを生成する、アングル／Direction・伝達関数対応情報生成部７１、再生環境・伝達関数対応情報生成部７２、アンビエンスデータ生成部７３、各Playerのライン収録データ生成部７４を備える。また、図中作業工程Ｓ５により得られる収録映像に対してアングル情報・Direction指示情報を追加するアングル情報・Direction指示情報追加部７５を備える。
さらには、これらアングル／Direction・伝達関数対応情報生成部７１、再生環境・伝達関数対応情報生成部７２、アンビエンスデータ生成部７３、各Playerのライン収録データ生成部７４により得られた各データと、上記アングル情報・Direction指示情報追加部７５によりアングル情報・Direction指示情報が追加された映像データとを、例えば光ディスク記録媒体などとされるメディア７７に記録する記録部７６を備えている。
この記録装置７０としては、例えばパーソナルコンピュータにより実現される。

図２４において、先ず作業工程Ｓ１では、アングル／Directionを変えながら各Positionごとに伝達関数Ｈについての測定を行う。これは、先の図１２〜図１４にて説明した仮想音像の指向性方向の制御と、図２３にて説明したカメラアングルに応じた音場再現を実現するために必要な作業となる。
この作業工程Ｓ１では、ホールなどの測定環境１において、仮想音像位置として想定する各Position（この場合はPosition1〜Position3の３位置）にそれぞれ有指向性の測定用スピーカ２１を配置すると共に、第一閉曲面１０上に所定数の測定用マイク６８（測定用マイク４）を所定の配置関係により配置する。
このとき、各測定用スピーカ２１からの測定用信号ＴＳＰの出力は、１つのPositionごとに、測定用スピーカ２１の向きをDirection1、Direction2・・・Direction6と変えながら行う。一方、各測定用マイク６８による上記測定用信号ＴＳＰの検出結果に基づくインパルス応答の測定は、想定されるカメラアングルの１つ１つに対応させて、先の図２３（ｂ）に示したように測定用マイク６８を配置した第一閉曲面１０の角度（アングル）を変化させながら行う。
これによって、各測定用マイク６８までに対応した伝達関数Ｈとしては、それぞれのPositionごとに、それぞれのDirection・アングルとしたときの複数が求められる。つまりこの場合、Position数×Direction数×想定したアングル数の分、各測定用マイク６８までに対応した伝達関数Ｈが得られる。

なお、ここでは説明の便宜上、測定環境１の第一閉曲面１０上に配置する測定用マイク６８（測定用マイク４）の数は図２３で示したａ〜ｘではなく、ａ〜ｐまでであるとする。
また、この場合も測定用スピーカ２１は各Positionごとに１つずつ配置するものとしたが、１つの測定用スピーカ２１を順次各Positionに配置して測定用信号ＴＳＰの出力を行ってもよい。

記録装置７０において、アングル／Direction・伝達関数対応情報生成部７１は、このような作業工程Ｓ１により得られた各伝達関数Ｈの情報に基づき、次の図２６に示すようなアングル／Direction・伝達関数対応情報を生成する。
つまり、この図２６に示されるようにして、仮想音像位置として想定した各Positionごとに、各アングル及び各Directionとしたときに各測定用マイク６８対応に得られた伝達関数Ｈの情報を格納したものである。
ここでも、伝達関数Ｈの添え字（ａ〜ｐ）は、測定用マイク６８（ａ〜ｐ）の何れに対応するかを示している。また、この添え字に続く数字により、Positionの別を表している。さらに、続く「ang」の数字によりアングルの別を表し、最後の「dir」の数字によりDirectionの別を表している。

また、図２４において、作業工程Ｓ２では、第二閉曲面１４の測定用マイク１３の個数／配置を変えながら、伝達関数Ｅについての測定を行う。
この作業工程Ｓ２では、先の図７にて示したようにして、再現環境１１における第一閉曲面１０上において、測定環境１での第一閉曲面１０で配置した各測定用マイク６８（４）と幾何学的に同じ配置関係が得られるようにして再現用スピーカ８を配置する。そして、この再現環境１１における第一閉曲面１０内において、実際の再現環境（再現環境２０）での再現用スピーカ１８の配置数・配置関係として想定したそれぞれの配置数・配置関係となるように、第二閉曲面１４上に配置する測定用マイク１３の配置数・配置関係を変えながら、各再現用スピーカ８ごとに出力した測定用信号ＴＳＰについてのインパルス応答の測定を行う。これによって、各配置数・配置関係のパターンごとに、各測定用マイク１３までに対応した伝達関数Ｅを求める。
なお、この作業工程Ｓ２としても、測定マイク１３としては１つのみを用い、これを第二閉曲面１４上の想定される配置位置に順次配置してインパルス応答の測定を行うこともできる。

再生環境・伝達関数対応情報生成部７２は、この作業工程Ｓ２により得られた測定用マイク１３の各配置数・配置関係ごとの伝達関数Ｅの情報を、それぞれの配置数・配置関係の情報と対応づけた再生環境・伝達関数対応情報を生成する。

続いて、作業工程Ｓ３では、アンビエンス収録を行う。すなわち、先の図２１に示したように、測定環境１における第一閉曲面１０の外側にエキストラとしての人物を配置して、歓声や拍手などといったアンビエンスとしての所定の音声を発しさせる。この音声を、先の作業工程Ｓ１で第一閉曲面１０上に配置した各測定用スピーカ６８と同じ位置に配置した各収録用マイク６４により収録する。
つまり、先にも説明したように各アンビエンスはインパルス応答の測定時に配置した各測定用マイク６８の位置で収録する必要があるもので、従って上記収録用マイク６４としては測定用マイク６８と同数を用い、且つそれぞれの収録用マイク６４は、測定時に配置したそれぞれの測定用マイク６８と同じ位置に配置する必要がある。
この場合、測定用マイク６８としては、先にも述べたように測定用マイク６８ａ〜６８ｐを用いるので、収録用マイク６４としても収録用マイク６４ａ〜６４ｐを用いる。なお、測定用マイク６８と収録用マイク６４とはそれぞれ異なる符号を付しているが、同一のマイクを用いることもできる。

アンビエンスデータ生成部７３は、この作業工程Ｓ３で収録した各アンビエンスの収録音声信号に基づき、アンビエンスデータを生成する。つまり、この場合は収録用マイク６４ａ〜６４ｐによりそれぞれ収録されたアンビエンス−ａ〜アンビエンス−ｐがそれぞれ個別のデータとして管理されたアンビエンスデータを生成する。

作業工程Ｓ４では、各Playerのライン収録を行う。つまり、例えばPlayerが演奏する楽器が電気楽器であれば、電気的に出力される音声信号を収録する。或いは、ボーカル、ドラムなどの電気楽器以外の場合には、音源に近接して配置したマイクによって音声収録を行えばよい。

各Playerのライン収録データ生成部７４は、この作業工程Ｓ４での各収録音声に基づき、各Playerごとのライン収録データを生成する。つまり、この場合はPlayer1〜Player3のライン収録音声信号が、それぞれ個別のデータとして管理される各Playerごとのライン収録データを生成する。

作業工程Ｓ５では、映像収録を行う。すなわち、実際に測定対象としたホールなどの測定環境１において行われるイベントを、ビデオカメラによって映像収録する。
アングル情報・Direction指示情報追加部７５は、作業工程Ｓ５で得られた収録映像データに対し、伝達関数Ｈとしてどのアングルに対応したものを選択すべきかを示すためのアングル情報と、同じく伝達関数ＨとしてPlayerごとにどのDirectionに対応したものを選択すべきかについて指示するためのDirection指示情報とを、メタデータとして追加する。
この場合、アングル情報は、実際には収録映像を再生してみて、各シーンがどのカメラアングルに該当するかを制作側の人間が判断して決定する。上記アングル情報・Direction指示情報追加部７５は、このようにして決定された各シーンとそれに対応するアングルの情報とに基づき、収録映像データに対するアングル情報の追加を行う。同様にDirection指示情報としても、実際に収録映像を再生してみてPlayerが振り返えるシーンなどがあった場合に、制作側の人間がそのPlayerの動きに応じた指向方向が表現されるようなDirectionを判断して決定する。そしてアングル情報・Direction指示情報追加部７５では、このようにして決定されたDirection指示情報が指定されたシーンに追加されるようにして、収録映像データに対するDirection指示情報の追加を行う。

記録部７６は、アングル／Direction・伝達関数対応情報生成部７１、再生環境・伝達関数対応情報生成部７２、アンビエンスデータ生成部７３、各Playerのライン収録データ生成部７４により得られた各データと、上記アングル情報・Direction指示情報追加部７５によりアングル情報・Direction指示情報が追加された映像データとを、メディア７７に対して記録する。
この際、アンビエンスデータとしては、アンビエンス−ａ〜アンビエンス−ｐまでの複数の音声信号が存在するので、これらがそれぞれ別々のトラックに分かれて収録されるようにメディア７７に記録する。同様に、各Playerのライン収録データについても、Playerごとのライン収録音声信号がそれぞれ別々のトラックに収録されるようにする。

なお、ここで確認のために述べておくと、この図２４において各作業工程に付した工程番号は必ずしも各工程を行うべき順序を示したものではない。

図２５は、ユーザ側の再現環境２０において音場再現に用いる再現信号生成装置８０の構成について示している。
なお、図示は省略するが、この場合の再現環境２０としては、先の図９に示した再現環境２０において第二閉曲面１４上において５つ配置されていた再現用スピーカ１８を、再現用スピーカ１８Ａ、１８Ｂ、１８Ｃの３つにしたものと考えればよい。また、この場合、仮想音像位置としてはPosition１〜Position3の３つを想定しているので、図９においては破線による測定用スピーカ３として示した１つの仮想音像位置は３つとなる。
さらにこの場合は、メディア７７に記録されたＡＶコンテンツを再生して映像出力を行うので、そのためのディスプレイ装置を再現環境２０において配置することになるが、このディスプレイ装置は第二閉曲面１４の内側、或いは外側において、第二閉曲面１４内の視聴者（聴取者）から見て仮想音像位置側となる位置に配置すればよい。このように仮想音像位置側に配置すれば、画面上で各Playerが表示される位置と仮想音像位置との方向を一致させることができ、各Playerの表示位置と再現される仮想音像位置との一体感を増すことができる。
なお、図２５においては、上記ディスプレイ装置の図示は省略している。

図２５において、この場合の再現信号生成装置８０には、先の図１３にて説明したものと同様の演算部２６ａ−１〜２６ｐ−１、演算部２６ａ−２〜２６ｐ−２、演算部２６ａ−３〜２６ｐ−３が設けられる。つまり、伝達関数Ｈについて変更設定が可能な演算部である。ここではPlayer1〜Player3までを想定しているため、図１３ではPlayer4までの４セット備えられていたうちの、Player3までの３セットが備えられている。
そして、これら各演算部２６のうち、対応する添え字の付された演算部２６からの出力を加算して、第一閉曲面１０上の各再現用スピーカ８（ａ〜ｐ）に対応した再現信号を得るための加算器２７ａ〜２７ｐが設けられる。
さらに、これら加算器２７ａ〜２７ｐと１対１の関係となるようにして設けた加算器６２ａ〜６２ｐが設けられる。これら加算器６２ａ〜６２ｐは、先の図２２にて示したものと同様のものであり、それぞれ対応するアンビエンスとしての音声信号を加算するために設けられる。

そして、その後段には、演算部８６Ａ−ａ〜８６Ａ−ｐ、演算部８６Ｂ−ａ〜８６Ｂ−ｐ、演算部８６Ｃ−ａ〜８６Ｃ−ｐが設けられる。
これら演算部８６は、基本的には先の図８に示したものと同様に、第一閉曲面１０上に配置した再現用スピーカ８（ａ〜ｐ）の各々から、第二閉曲面１４上に配置した各々の測定用マイク１３までに対応して得られた伝達関数Ｅが設定されるものであるが、ここでは再生環境整合処理として実際の第二閉曲面１４上の再現用スピーカ１８の配置数・配置関係に対応させるために、各演算部８６には後述するコントローラ８３からそれぞれ対応する伝達関数Ｅが設定されるものとなる。

演算部８６Ａ−ａ〜８６Ａ−ｐ、演算部８６Ｂ−ａ〜８６Ｂ−ｐ、演算部８６Ｃ−ａ〜８６Ｃ−ｐは、上記した加算器６２ａ〜６２ｐのうち、それぞれ同じ添え字（ａ〜ｐ）の付された加算器６２からの出力を入力し、これを設定された伝達関数Ｅに基づき処理する。
これによって演算部８６Ａ−ａ〜８６Ａ−ｐでは、再現環境１１における第一閉曲面１０上の再現用スピーカ８（ａ〜ｐ）のそれぞれから第二閉曲面１４上の測定用マイク１３Ａ（再現用スピーカ１８Ａ）までに対応した再現信号（ＳＨＥＡ-a〜ＳＨＥＡ-p）が得られ、演算部８６Ｂ−ａ〜８６Ｂ−ｐでは再現用スピーカ８（ａ〜ｐ）のそれぞれから再現用スピーカ１８Ｂまでに対応した再現信号（ＳＨＥＢ-a〜ＳＨＥＢ-p）が得られる。また、演算部８６Ｃ−ａ〜８６Ｃ−ｐでは、再現用スピーカ８（ａ〜ｐ）のそれぞれから再現用スピーカ１８Ｃまでに対応した再現信号（ＳＨＥＣ-a〜ＳＨＥＣ-p）が得られる。

加算器１７Ａ、１７Ｂ、１７Ｃは、先の図８に示したものと同様に第二閉曲面１４上に配置される再現用スピーカ１８（この場合は１８Ａ、１８Ｂ、１８Ｃ）と１対１の関係となるようにして設けられる。加算器１７Ａは、演算部８６Ａ−ａ〜８６Ａ−ｐのそれぞれからの出力を入力・加算し、その結果を再現用スピーカ１８Ａに供給する。また、加算器１７Ｂは演算部８６Ｂ−ａ〜８６Ｂ−ｐのそれぞれからの出力を入力・加算し、その結果を再現用スピーカ１８Ｂに供給し、さらに加算器１７Ｃは演算部８６Ｃ−ａ〜８６Ｃ−ｐのそれぞれからの出力を入力・加算してその結果を再現用スピーカ１８Ｃに供給する。

そして、この場合の再現信号生成装置８０に対しては、メディア７７に記録された各種情報を再生し、これに基づく制御を行うための構成として、メディア読出部８１、バッファメモリ８２、コントローラ８３、メモリ部８４、映像再生系８５を備えている。
メディア読出部８１は、当該再現信号生成装置８０に装填されたメディア７７に記録された各種情報の読み出しを行い、これをバッファメモリ８２に供給する。バッファメモリ８２は、コントローラ８３の制御に基づき、読み出しデータのバッファリング及びバッファリングデータの読み出しを行う。

コントローラ８３はマイクロコンピュータにより構成され、当該再現信号生成装置８０の全体制御を行う。メモリ部８４はコントローラ８３が備えるＲＯＭ、ＲＡＭなどの記憶装置を包括的に示しており、図示は省略したがここには各種の制御プログラムが格納され、コントローラ８３はこの制御プログラムに基づいて各部の制御を実行するようにされている。
ここで、先の図２４にて説明したように、メディア７７に対しては、アングル／Direction・伝達関数対応情報、再生環境・伝達関数対応情報、アンビエンス収録データ、各Playerのライン収録データ、及びアングル情報とDirection指示情報とが埋め込まれた映像データが記録されている。
コントローラ８３は、メディア読出部８１によってこれらの情報のうちからアングル／Direction・伝達関数対応情報、再生環境・伝達関数対応情報の読み出しを実行させ、これらを図示するようにメモリ８４内にアングル／Direction・伝達関数対応情報８４ａ、再生環境・伝達関数対応情報８４ｂとして格納する。

さらにコントローラ８３は、同じくメディア読出部８１にアンビエンス収録データ、各Playerのライン収録データ、及びアングル情報とDirection指示情報とが埋め込まれた映像データの読み出しを実行させ、これをバッファメモリ８２にバッファリングさせる。
図示するようにして、このバッファメモリ８２からは、アンビエンス収録データとしてのアンビエンス−ａ、アンビエンス−ｂ・・・アンビエンス−ｐが、加算器６２ａ、６２ｂ・・・６２ｐに供給されるようになっている。
同様に、各Playerのライン収録データについても、Player1の収録音声信号、Player2の収録音声信号、Player3の収録音声信号が、演算部２６ａ−１〜２６ｐ−１、演算部２６ａ−２〜２６ｐ−２、演算部２６ａ−３〜２６ｐ−３に供給されるようになっている。
さらに、アングル情報とDirection指示情報とが埋め込まれた映像データについては、映像再生系８５に供給されるようになっている。

ここで、バッファメモリ８２に対しては、メディア７７に記録されている全てのアンビエンス収録データ、各Playerのライン収録データ、及びアングル情報とDirection指示情報とが埋め込まれた映像データを読み出してバッファリングするものとし、コントローラ８３は、バッファリングされたこれらのデータが連続的に対応する各部に供給されるようにバッファメモリ８２の読み出し動作を制御することも考えられる。
しかしながら、実際において、このようにメディア７７から全てのデータを読み出してバッファリングするのには非常に多くの時間を要するので、各データは時分割的に必要なデータ量だけをメディア７７から逐次読み出し、これを順次各部に供給するようにバッファメモリ８２の読み出し動作を制御するように構成することもできる。

映像再生系８５は、映像データについての圧縮伸張デコーダやエラー訂正処理部などの再生系の構成を包括的に示している。この映像再生系８５は、バッファメモリ８２から供給される映像データについて上記圧縮伸張デコーダやエラー訂正処理部などによる再生処理を施すことで、再現環境２０において配置される図示されないディスプレイ装置にて映像表示を行うための映像信号を生成し、これを図示する映像出力としてディスプレイ装置に供給する。
また、この場合の映像再生系８５としては、映像データに対してメタデータとして付加されているアングル情報とDirection指示情報とを抽出し、これらをコントローラ８３に対して供給するようにされている。

コントローラ８３は、このようにして映像再生系８５から供給されるアングル情報、Direction指示情報と、先に説明したようにメモリ部８４内に格納したアングル／Direction・伝達関数対応情報８４ａとに基づき、各演算部２６に対して設定すべき伝達関数Ｈを変更設定するアングル・Direction変更部８３ａを備えている。
このアングル・Direction変更部８３ａとしては、入力されるアングル情報とDirection指示情報とによって特定される伝達関数Ｈを、メモリ部８４内のアングル／Direction・伝達関数対応情報８４ａから読み出し、これをそれぞれの演算部２６に対して設定する。
例えば、アングル情報が「アングル１」を示すものであり、Direction指示情報としてはPlayer1（Position1）がDirection1、Player2（Position2）がDirection2、Player3（Position3）がDirection6を指示するものであった場合には、図２６に示したようなアングル／Direction・伝達関数対応情報６４ａから、Player1については「Ｈａ１-ang1-dir1〜Ｈｐ１-ang1-dir1」、Player2については「Ｈａ２-ang1-dir2〜Ｈｐ２-ang1-dir2」、Player3については「Ｈａ３-ang1-dir6〜Ｈｐ３-ang1-dir6」を読み出す。そして、上記「Ｈａ１-ang1-dir1〜Ｈｐ１-ang1-dir1」については演算部２６ａ−１〜２６ｐ−１、「Ｈａ２-ang1-dir2〜Ｈｐ２-ang1-dir2」については演算部２６ａ−２〜２６ｐ−２、「Ｈａ３-ang1-dir6〜Ｈｐ３-ang1-dir6」については演算部２６ａ−３〜２６ｐ−３に設定するといったものである。
このようなアングル・Direction変更部８３の動作により、各演算部２６には、アングル情報、Direction指示情報として新たなアングル・Directionが指示されるごとにそれらアングル・Directionに応じた伝達関数Ｈが逐次設定される。これによってアングルの変更に応じた音場再現、及び指定されたPlayerの指向性方向の制御を行うことができる。

なお、確認のために述べておくと、上記アングル・Direction変更部８３ａとしてはコントローラ８３の機能をブロック化して示すもので、実際にはコントローラ８３のソフトウエア処理により実現されるものである。このことは、次に説明する再生環境整合処理部８３ｂについても同様である。

また、コントローラ８３は、メモリ部８４に格納した再生環境・伝達関数対応情報８４ｂと、同じメモリ部８４に対して予め格納された配置パターン情報８４ｃとに基づき、実際の再現用スピーカ１８の配置数と配置関係とに適合した伝達関数Ｅの設定を行う再生環境整合処理を行うための再生環境整合処理部８３ｂを備える。
ここで、上記配置パターン情報８４ｃは、当該再現信号生成装置８０が対応するとして予め設定された再現用スピーカ１８の配置数・配置関係のパターンを示す情報である。再生環境整合処理部８３ｂでは、このような配置パターン情報８４ｃに示される配置数・配置関係のパターン情報に基づき、再生環境・伝達関数対応情報８４ｂ中から該当するパターンに対応づけれて格納される伝達関数Ｅ（Ｅａ−Ａ〜Ｅｐ−Ａ、Ｅａ−Ｂ〜Ｅｐ−Ｂ、Ｅａ−Ｃ〜Ｅｐ−Ｃ）を読み出し、これらをそれぞれ対応する演算部８６に設定する。
これによって各演算部８６には、実際の再現環境２０における再現用スピーカ１８の配置数・配置関係に応じた伝達関数Ｅが設定され、この結果実際の再現環境２０における再現用スピーカ１８の配置数・配置関係に応じた適正な音場再現を行うことができる。

また、コントローラ８３は、メモリ部８４に格納した再生環境・伝達関数対応情報８４ｂと、同じメモリ部８４に対して予め格納された配置パターン情報８４ｃとに基づき、実際の再現用スピーカ１８の配置数と配置関係とに適合した伝達関数Ｅの設定を行う再生環境整合処理を行うための再生環境整合処理部８３ｂを備える。
ここで、上記配置パターン情報８４ｃは、当該再現信号生成装置８０が対応するとして予め設定された再現用スピーカ１８の配置数・配置関係のパターンを示す情報である。再生環境整合処理部８３ｂでは、このような配置パターン情報８４ｃに示される配置数・配置関係のパターン情報に基づき、再生環境・伝達関数対応情報８４ｂ中から該当するパターンに対応づけられて格納される伝達関数Ｅ（Ｅａ−Ａ〜Ｅｐ−Ａ、Ｅａ−Ｂ〜Ｅｐ−Ｂ、Ｅａ−Ｃ〜Ｅｐ−Ｃ）を読み出し、これらをそれぞれ対応する演算部８６に設定する。
これによって各演算部８６には、実際の再現環境２０における再現用スピーカ１８の配置数・配置関係に応じた伝達関数Ｅが設定され、この結果実際の再現環境２０における再現用スピーカ１８の配置数・配置関係に応じた適正な音場再現を行うことができる。

ここで、先にも述べたように、上記音場再現システムの構成は、音源の指向性と指向方向ごとの放音特性は考慮せず、またステレオエフェクタについては対応しない場合の構成を説明したものであるが、これらに対応した構成とする場合は、記録装置７０、再現信号生成装置８０として以下のように構成すればよい。
なお、ここでは一例として、Player1のみについて音源の指向性と指向方向ごとの放音特性について考慮した音場再現を行うものとし、また、Player2のライン収録データをステレオエフェクタを介したものとする場合を例示する。
この場合、制作側においては、作業工程Ｓ４において、Player1については先の図１７に示したようにして例えばDirection1〜Direction6の６方向から囲むように配置した収録用マイク３７で音声を収録する。また、Player2については、ライン収録データをステレオエフェクタに通したものを記録装置７０に入力する。
つまりこの場合、各Playerのライン収録データ生成部７４では、Player1についてはDirection1〜Direction6の６つの収録データを生成するようにされ、Player2についてはＬchとＲchとによる２つの収録データを生成するようにされる。そして記録部７６は、これらの収録データをメディア７７に対して記録するようにされる。

再現信号生成装置８０としては、この場合はPlayer1の収録データがDirection1〜Direction6に対応した６つが存在することに応じて、演算部２６としては、Player1のDirection1に応じた収録データをそれぞれ入力する演算部２６ａ−１−１〜２６ｐ−１−１と、同じくDirection2に応じた収録データをそれぞれ入力する演算部２６ａ−１−２〜２６ｐ−１−２を追加する。また、同様にDirection3、Direction4、Direction5、Direction6の収録データについても、演算部２６ａ−１−３〜２６ｐ−１−３、演算部２６ａ−１−４〜２６ｐ−１−４、演算部２６ａ−１−５〜２６ｐ−１−５、演算部２６ａ−１−６〜２６ｐ−１−６を追加する。
この場合、アングル・Direction変更部８３ａは、これら演算部２６ａ−１−１〜２６ｐ−１−１、演算部２６ａ−１−２〜２６ｐ−１−２、演算部２６ａ−１−３〜２６ｐ−１−３、演算部２６ａ−１−４〜２６ｐ−１−４、演算部２６ａ−１−５〜２６ｐ−１−５、演算部２６ａ−１−６〜２６ｐ−１−６に対しては、アングル情報に応じてのみ設定する伝達関数Ｈを変更する。換言すれば、演算部２６ａ−１−１〜２６ｐ−１−１には「-dir1」、演算部２６ａ−１−２〜２６ｐ−１−２には「-dir2」、演算部２６ａ−１−３〜２６ｐ−１−３には「-dir3」、演算部２６ａ−１−４〜２６ｐ−１−４には「-dir4」、演算部２６ａ−１−５〜２６ｐ−１−５には「-dir5」、演算部２６ａ−１−６〜２６ｐ−１−６には「-dir6」による伝達関数Ｈを常に設定するようにされるものである。
これら演算部２６ａ−１−１〜２６ｐ−１−１、演算部２６ａ−１−２〜２６ｐ−１−２、演算部２６ａ−１−３〜２６ｐ−１−３、演算部２６ａ−１−４〜２６ｐ−１−４、演算部２６ａ−１−５〜２６ｐ−１−５、演算部２６ａ−１−６〜２６ｐ−１−６の出力としても、それぞれ同じ添え字（ａ〜ｐ）が付された加算器２７に供給されるように構成する。

また、Player2の収録データをそれぞれ入力する演算部２６としては、ＬchとＲchに対応した２セットの演算部２６（ａ〜ｐ）を設けるようにする。つまり、演算部２６ａ−Ｌ〜２６ｐ−Ｌ、演算部２６ａ−Ｒ〜２６ｐ−Ｒを設ける。
これら演算部２６ａ−Ｌ〜２６ｐ−Ｌ、演算部２６ａ−Ｒ〜２６ｐ−Ｒに対しても、アングル・Direction変更部８３ａは、アングル情報のみに応じて伝達関数Ｈを設定変更する。例えば先の図１５に示したようにＬchとしてDirection2、ＲchとしてDirection6を定義した場合、演算部２６ａ−Ｌ〜２６ｐ−Ｌには「-dir2」、演算部２６ａ−Ｒ〜２６ｐ−Ｒには「-dir6」による伝達関数Ｈが常に設定されるようにするものである。
これら演算部２６ａ−Ｌ〜２６ｐ−Ｌ、演算部２６ａ−Ｒ〜２６ｐ−Ｒからの出力としても、それぞれ同じ添え字（ａ〜ｐ）が付された加算器２７に供給されるように構成する。

なお、これまでの図２４〜図２６の説明では、本実施の形態の音場再現システムの前提として、制作側は音場再現のために必要な各種情報を記録したメディア７７を販売し、このメディア７７を基にユーザ側で音場再現を行うものとした。
しかしながら音場再現のために必要な各種の情報は、メディア７７を介してユーザ側に提供する以外にも、例えばネットワーク経由で提供するようにもできる。
この場合、制作側では、上記音場再現に必要な各種情報を所要の記録媒体に記録・保持すると共に、保持された上記各種情報をネットワークを介して外部装置に送信することが可能に構成された情報処理装置を備えるようにする。一方、ユーザ側の再現信号生成装置８０としては、上記ネットワークを介したデータ通信が可能となるように構成する。
このようにネットワークを介して音場再現のための各種情報の提供が可能となることで、制作側からユーザ側にリアルタイムで上記各種情報の提供を行うことができ、これによれば再現環境２０においてリアルタイムに測定環境１での音場を再現することも可能となる。

また、上記説明では、ユーザ側（再現信号生成装置８０側）において、各再現用スピーカ１８から出力すべき再現信号を生成するものとしたが、これに代え、制作側（記録装置７０側）で図２５に示す再現信号生成のための構成を備えるようにすることで、メディア７７には各再現用スピーカ１８から出力すべき再現信号を記録するものとし、ユーザ側では、メディア７７からこれらの再現信号を再生するだけで音場再現が行えるように構成することもできる。
これによれば、ユーザ側で備える装置の構成を簡易化することができる。しかしながら、一方で制作側では、実際の再現環境２０で想定される再現用スピーカ１８の配置数・配置関係のパターンに応じた分の複数種類のメディア７７を作成・販売しなければならなくなってしまうことになる。
これに対し、上記により説明した本例の音場再現システムによれば、制作側で作成するメディア７７は１種のみとでき、この点での効率化が図られることになる。

また、図２４、図２５の説明では、メディア７７に対しPlayerごとの収録データ及び映像データと共に、アングル／Direction・伝達関数対応情報、及び再生環境・伝達関数対応情報を記録するものとしたが、メディア７７にはPlayerごとの収録データ及び映像データのみを記録し、アングル／Direction・伝達関数対応情報、及び再生環境・伝達関数対応情報についてはネットワーク経由で提供するなど、音場再現に必要な情報のうちの一部をネットワーク経由で提供するように構成することもできる。
特に、再生環境・伝達関数対応情報については、演算部８６に設定する以外の情報は全て不要な情報となる。そこで、例えばネットワーク上の所要のサーバ装置に再生環境・伝達関数対応情報を保持させておき、ユーザ側は、音場再現にあたって先ずはこのサーバ装置にアクセスするようにしておき、該当する再現用スピーカ１８の配置数・配置関係のパターンに応じた伝達関数Ｅをダウンロードするように構成する。
これによってメディア７７の記録情報量を削減できると共に、再現信号生成装置８０においても不要な情報を保持する必要がなくなることで、無駄な読み出し動作の省略及びコントローラ８３の処理負担の軽減などが図られる。

また、図２５では、演算部２６、加算器２７、加算器６２、演算部８６、加算器１７をハードウエアにより構成するものとして示したが、これら各部の機能をコントローラ８３のソフトウエア処理により実現するように構成することもできる。

また、図２５では、再現信号生成装置８０がメディア７７の読出部を備える構成とした場合を例示したが、再現信号生成装置８０としては、外部においてメディア７７から読み出された各情報を入力し、以降はこの各情報に基づいて同様の動作を行うＡＶアンプとして構成することもできる。

また、上記説明では、メディア７７は光ディスク記録媒体としたが、他のディスクメディア（ハードディスクなどの磁気ディスクや光磁気ディスク）とすることもできる。或いは、半導体メモリを使用した記録媒体など、ディスクメディア以外とすることもできる。

また、上記説明では、第二閉曲面１４での音場再現を行うにあたり、再生音声信号を伝達関数Ｈに基づき演算処理を施した再現信号を生成した後に、これら再現信号をさらに伝達関数Ｅに基づき演算処理を施すことで、第二閉曲面１４上に配置される再現用スピーカ１８の配置位置ごとに対応した再現信号を得るようにしたが、これに代え、伝達関数Ｈと伝達関数Ｅとを足し合わせた伝達関数を生成しておき、再生音声をこの合成された伝達関数に基づいてそれぞれ演算処理することによっても同様の結果を得ることができる。
具体的に、例えば図２５に示したPlayer1についてのこの場合の再現信号生成系を説明すると、伝達関数Ｈ−１（ａ〜ｐ）＋伝達関数Ｅ−Ａ（ａ〜ｐ）、伝達関数Ｈ−１（ａ〜ｐ）＋伝達関数Ｅ−Ｂ（ａ〜ｐ）、伝達関数Ｈ−１（ａ〜ｐ）＋伝達関数Ｅ−Ｃ（ａ〜ｐ）による合成伝達関数を設定した３セットの演算部を設け、これらの各々にPlayer1の収録音声信号を供給する。これにより、伝達関数Ｈ−１（ａ〜ｐ）＋伝達関数Ｅ−Ａ（ａ〜ｐ）を設定した演算部からは再現用スピーカ１８Ａから出力すべき再現信号（ａ〜ｐ）が得られるので、これらを加算器１７Ａで加算して再現用スピーカ１８Ａに供給する。
また、伝達関数Ｈ−１（ａ〜ｐ）＋伝達関数Ｅ−Ｂ（ａ〜ｐ）を設定した演算部からは再現用スピーカ１８Ｂから出力すべき再現信号（ａ〜ｐ）が得られるので、これらを加算器１７Ｂで加算して再現用スピーカ１８Ｂに供給する。
さらに伝達関数Ｈ−１（ａ〜ｐ）＋伝達関数Ｅ−Ｃ（ａ〜ｐ）を設定した演算部からは再現用スピーカ１８Ｃから出力すべき再現信号（ａ〜ｐ）が得られるので、これらを加算器１７Ｃで加算して再現用スピーカ１８Ｃに供給する。
他のPlayerについても、同様の構成が採られることで、結果的に図２５に示した構成と同様の音場再現を行うことができる。
なお、この場合のアングル・Directionごとの伝達関数Ｈの可変は、上記した各演算部内でそれぞれ伝達関数Ｅに足し合わせる伝達関数Ｈを可変設定するように構成すればよい。
ところで、上記構成によると、アンビエンスについては図２５に示したようにして再生信号を伝達関数Ｈ（ａ〜ｐ）で畳み込んだ後に加算することはできないものとなる。この場合の構成に対応してアンビエンスの追加を行うとした場合は、上記の再現信号生成系の構成とは別途に、アンビエンスａ〜ｐをそれぞれ入力する演算部８６Ａ-a〜８６Ａ-p、演算部８６Ｂ-a〜８６Ｂ-p、演算部８６Ｃ-a〜８６Ｃ-pを設け、これらの出力を同様に同じ添え字（Ａ、Ｂ、Ｃ）の付される加算器１７Ａ、１７Ｂ、１７Ｃにそれぞれ入力して加算するように構成すればよい。これによって、上記した再現信号生成系で生成された各再現用スピーカ１８Ａ、Ｂ、Ｃから出力すべきそれぞれの再現信号に対し、第一閉曲面１０→第二閉曲面１４への伝達関数Ｅを畳み込んだアンビエンスを加算することができ、図２５に示す構成と同様にアンビエンスを再現することができる。
なお、このようにして伝達関数Ｈと伝達関数Ｅとを足し合わせた合成の伝達関数によって再生音声信号を畳み込んだ場合としても、結果的に再生音声信号を伝達関数Ｈに基づき演算処理した再現信号を伝達関数Ｅで演算処理した場合と同じ効果が得られるので、このような合成の伝達関数で再生信号を演算処理する場合も、再生音声信号を伝達関数Ｈに基づき演算処理した再現信号を伝達関数Ｅで演算処理したものであるとしてみなす。

以上、本発明の実施の形態について説明したが、本発明としてはこれに限定されるべきものではない。
例えば実施の形態では、フィルムライブの会場や家庭の部屋などにおいて音声を再生する場合の音場再現に本発明を適用する場合を例示したが、例えばカーオーディオシステムにおいて音声の再生を行う場合にも適用することができる。或いは、例えば臨場感、没入感を与えるアミューズメント、ゲームのようなバーチャルリアリティー産業機器に対しても好適に適用することができる。

測定環境について説明するための模式図である。 再現環境における再現音声の再生系の基本的な構成について示したブロック図である。 再現環境について説明するための模式図である。 複数の仮想音像位置を再現する場合での測定環境における測定用の様子を模式的に示した図である。 複数の仮想音像位置を再現する場合に対応した再現信号生成装置の構成について示した図である。 複数の仮想音像位置を再現する場合での再現環境について模式的に示した図である。 第二閉曲面での音場再現を行う場合での測定環境における測定の様子を模式的に示した図である。 第二閉曲面での音場再現を行う場合での再現信号生成装置の構成を示したブロック図である。 再生環境において第二閉曲面内を聴取位置とした場合の残響音場、及び音像定位を説明する図である。 特定の指向性方向を再現する場合における測定環境の様子を模式的に示した図である。 再生環境において特定の指向性方向を再現する手法について説明するための模式図である。 演奏形態のシミュレートを行う場合での測定環境での測定の様子を模式的に示した図である。 演奏形態のシミュレートを行う場合に対応した再現信号生成装置の構成について示すブロック図である。 Direction対応情報のデータ構造例を示すデータ構造図である。 １つの仮想音像位置につきＲｃｈとＬｃｈとの２つの音源を再現する場合での、測定環境の様子を模式的に示した図である。 １つの仮想音像位置につきＲｃｈとＬｃｈとの２つの音源を再現する場合に対応した再現信号生成装置の構成について示すブロック図である。 音源の指向性と指向方向ごとの放音特性を考慮した音場再現を行う場合の音源の収録手法について説明するための図である。 音源の指向性と指向方向ごとの放音特性を考慮した音場再現を行う場合に対応した再現信号生成装置の構成について示すブロック図である。 音源を立体的に囲って音声収録を行う手法について説明するための図である。 音源を立体的に囲って音声収録を行った場合に対応した音場再現を行う場合での、測定環境での測定の様子を模式的に示した図である。 測定環境におけるアンビエンス収録の様子を模式的に示した図である。 アンビエンスを用いて音場再現を行う場合に対応した再現信号生成装置の構成について示すブロック図である。 カメラアングルに応じた音場再現を行う場合での測定環境での測定手法について説明するための図である。 実施の形態としての音場再現システムにおける制作側で行われるべき作業工程、及び記録装置の構成について示した図である。 実施の形態としての音場再現システムにおける再現信号生成装置の構成を示したブロック図である。 アングル／Direction・伝達関数対応情報のデータ構造例について示したデータ構造図である。

符号の説明

１ 測定環境、２ 測定用信号再生部、３、２１、５２、６７ 測定用スピーカ、４、１３、５３、６８ 測定用マイク、５、１５、１９、２５、３０、４０、６０、８０ 再現信号生成装置、６ 音声再生部、７、１６、２６、３１、４１、８６ 演算部、８、１８ 再現用スピーカ、９、１７、２７、３２、４２、６２ 加算器、１０ 第一閉曲面、１１、２０ 再現環境、１４ 第二閉曲面、２８ コントローラ、２９ ＲＯＭ、２９ａ Direction対応情報、３１ ステレオエフェクト処理部、３５ 音源収録面、３６ 音源、３７、５１、６４ 収録用マイク、５０ 円形平面、６１ａ〜６１ｐ 再生部、６５ カメラ、６６ ステージ、７０ 記録装置、７１ アングル／Direction・伝達関数対応情報生成部、７２ 再生環境・伝達関数対応情報生成部、７３ アンビエンスデータ生成部、７４ 各Playerのライン収録データ生成部、７５ アングル情報・Direction指示情報付加部、７６ 記録部、７７ メディア、８１ メディア読出部、８２ バッファメモリ、８３ コントローラ、８３ａ アングル・Direction変更部、８３ｂ 再生環境整合処理部、８４ メモリ部、８４ａ アングル／Direction・伝達関数対応情報、８４ｂ 再生環境・伝達関数対応情報、８４ｃ 配置パターン情報、８５ 映像再生系

Claims (18)

1. 第一の閉曲面の外側における仮想音像位置に配置した有指向性スピーカにより音声を発音する第一の発音工程と、
   前記第一の閉曲面上における複数の位置で前記第一の発音工程で発音された音声を測定する第一の測定工程と、
   前記第一の閉曲面上の複数の位置で、有指向性マイクロフォンにより前記第一の閉曲面の外側に生じるアンビエンス音を収録するアンビエンス収録工程と、
   前記第一の測定工程によって測定された音声に基づいて、前記仮想音像位置から前記第一の閉曲面上の前記複数の位置のそれぞれまでに対応した第一の伝達関数群を生成する第一の伝達関数生成工程と、
   入力した音声信号に対して、前記第一の伝達関数群に基づく演算処理を施して、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した第一の再現用音声信号を得ると共に、それら第一の再現用音声信号ごとに、前記アンビエンス収録工程により収録した前記複数の位置ごとのアンビエンス音のうちの対応する位置のアンビエンス音をそれぞれ加算する第一の再現用音声信号生成工程と、
   前記アンビエンス音が加算された前記第一の再現用音声信号のそれぞれを、前記第一の閉曲面における前記複数の位置と幾何学的に同等な位置関係により配置した再現用スピーカから出力する第一の音声信号出力工程と
   を有する音声信号処理方法。
2. 前記第一の発音工程では、前記有指向性スピーカを複数の方向に向けて音声を発音し、
   前記第一の測定工程では、前記有指向性スピーカによって発音された前記複数の方向ごとの音声を測定し、
   前記第一の伝達関数生成工程では、
   前記第一の測定工程の測定結果に基づき、前記複数の方向ごとに前記第一の伝達関数群を生成すると共に、
   前記第一の再現用音声信号生成工程では、
   入力した音声信号に対して、前記複数の方向ごとに生成した第一の伝達関数群に基づく演算処理を施して、前記第一の再現用音声信号を得る
   請求項１に記載の音声信号処理方法。
3. 前記第一の再現用音声信号生成工程では、
   前記入力される音声信号に対する前記演算処理で用いる前記第一の伝達関数群を、時間経過と共に異なる前記方向の前記第一の伝達関数群に変更する
   請求項２に記載の音声信号処理方法。
4. 前記第一の発音工程では、前記有指向性スピーカにより２つの異なる方向に向けて音声を発音し、
   前記第一の測定工程では、前記２つの方向ごとに、前記有指向性スピーカによって発音された音声を測定し、
   前記第一の伝達関数生成工程では、
   前記第一の測定工程の測定結果に基づき、前記２つの方向ごとに、前記第一の伝達関数群を生成すると共に、
   前記第一の再現用音声信号生成工程では、入力されるステレオ音声信号のうち、一方のチャンネルの音声信号については、前記２つの方向ごとの前記第一の伝達関数群のうちの一方の前記第一の伝達関数群に基づく演算処理を施し、他方のチャンネルの音声信号については、他方の前記第一の伝達関数群に基づく演算処理を施すことで、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した再現用音声信号として前記２つの方向ごとの再現用音声信号を得るようにされると共に、それら再現用音声信号を前記第一の閉曲面上の前記複数の位置ごとに足し合わせることで、前記第一の再現用音声信号を得る
   請求項２に記載の音声信号処理方法。
5. さらに、所要の音源を囲うようにして複数方向から有指向性マイクロフォンにより前記音源からの音声を収録する収録工程を有すると共に、
   前記第一の測定工程では、
   前記有指向性スピーカによって、前記収録工程にて前記音源からの音声を収録した前記複数方向とはそれぞれ逆となる複数方向に音声を発音し、
   前記第一の再現用音声信号生成工程では、
   前記収録工程にて収録した音声信号に対しそれぞれ対応する方向の前記第一の伝達関数群に基づく演算処理を施すことで、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した再現用音声信号として、前記複数方向分の再現用音声信号を得ると共に、それら再現用音声信号を前記第一の閉曲面上の前記複数の位置ごとに足し合わせることで、前記第一の再現用音声信号を得る
   請求項２に記載の音声信号処理方法。
6. 前記収録工程では、
   前記音源を前記有指向性マイクロフォンにより平面的に囲うようにして音声を収録する請求項５に記載の音声信号処理方法。
7. （元９）
   前記収録工程では、
   前記音源を前記有指向性マイクロフォンにより立体的に囲うようにして音声を収録する請求項５に記載の音声信号処理方法。
8. 前記第一の発音工程では、前記音声として時間引き延ばしパルスに基づいた音声を発音する請求項１に記載の音声信号処理方法。
9. 前記第一の測定工程では、
   前記有指向性スピーカに対する前記第一の閉曲面の角度を変えながら、前記第一の閉曲面上における複数の位置で前記第一の発音工程で発音された音声を測定し、
   前記第一の伝達関数生成工程では、
   前記第一の測定工程によって前記角度ごとに測定された音声ごとに、前記第一の伝達関数群を生成すると共に、
   前記第一の再現用音声信号生成工程では、
   入力した音声信号に対して、前記角度ごとに得られた前記第一の伝達関数群に基づく演算処理を施して前記第一の再現用音声信号を得る
   請求項１に記載の音声信号処理方法。
10. 前記第一の再現用音声信号生成工程では、
    前記入力した音声信号と同期して表示される映像の視点情報に応じて、前記１つの第一の伝達関数群を選択する
    請求項９に記載の音声信号処理方法。
11. 記録媒体に対する情報記録を行う記録装置と、前記記録媒体に記録された情報に基づいて音場再現を行うための再現用音声信号を生成する音声信号処理装置とを含んで構成される音場再現システムであって、
    前記記録装置は、
    第一の閉曲面の外側における仮想音像位置に配置した有指向性スピーカにより発音した音声を、前記第一の閉曲面上における複数の位置で測定した結果に基づき得られた第一の伝達関数群と、所要の音源から収録した収録音声信号と、前記第一の閉曲面上の複数の位置で有指向性マイクロフォンにより前記第一の閉曲面の外側に生じる音声を収録して得たアンビエンス音声信号とを前記記録媒体に対して記録する記録手段を備え、
    前記音声信号処理装置は、
    前記記録媒体に記録された前記第一の伝達関数群と前記収録音声信号と前記アンビエンス音声信号とを入力する入力手段と、
    前記収録音声信号に対して前記第一の伝達関数群に基づく演算処理を施して、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した第一の再生用音声信号を得る第一の再生用音声信号生成手段と、
    前記第一の再現用音声信号ごとに、前記複数の位置ごとの前記アンビエンス音声信号のうちの対応する位置のアンビエンス音声信号をそれぞれ加算する加算手段と、
    前記アンビエンス音声信号が加算された前記第一の再現用音声信号のそれぞれを、前記第一の閉曲面における前記複数の位置と幾何学的に同等な位置関係により配置した再現用スピーカから出力する第一の音声信号出力手段とを備える
    音場再現システム。
12. 前記記録装置における前記記録手段は、
    前記第一の伝達関数群として、前記有指向性スピーカを複数の方向に向けて発音した音声を測定した結果に基づき得られた、前記複数の方向ごとの第一の伝達関数群を記録し、
    前記音声信号処理装置における前記第一の再現用音声信号生成手段は、
    前記収録音声信号に対して、前記複数の方向ごとの第一の伝達関数群に基づく演算処理を施して、前記第一の再現用音声信号を得る
    請求項１１に記載の音場再現システム。
13. 前記第一の再現用音声信号生成手段は、
    前記収録音声信号に対する前記演算処理で用いる前記第一の伝達関数群を、時間経過と共に異なる前記方向の前記第一の伝達関数群に変更する
    請求項１２に記載の音場再現システム。
14. 前記記録装置における前記記録手段は、
    前記第一の伝達関数群として、前記有指向性スピーカにより２つの異なる方向に向けて発音した音声を測定した結果に基づき得られた、前記２つの方向ごとの第一の伝達関数群を記録し、
    前記収録音声信号として、ステレオ音声信号としての２チャンネル分の音声信号を記録すると共に、
    前記音声信号処理装置における前記第一の再現用音声信号生成手段は、
    前記２チャンネル分の音声信号のうち、一方のチャンネルの音声信号については、前記２つの方向ごとの第一の伝達関数群のうちの一方の前記第一の伝達関数群に基づく演算処理を施し、他方のチャンネルの音声信号については、他方の前記第一の伝達関数群に基づく演算処理を施すことで、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した再現用音声信号として前記２つの方向ごとの再現用音声信号を得ると共に、それらを前記第一の閉曲面上の前記複数の位置ごとに足し合わせることで、前記第一の再現用音声信号を得る
    請求項１２に記載の音場再現システム。
15. 前記記録装置における前記記録手段は、
    前記収録音声信号として、所要の音源を囲うようにして複数方向から有指向性マイクロフォンにより収録した複数の音声信号を記録すると共に、
    前記第一の伝達関数群として、前記有指向性スピーカにより、前記有指向性マイクロフォンにより前記音源からの音声を収録した前記複数方向とはそれぞれ逆となる複数方向に発音した音声を測定した結果に基づき得られた、前記複数方向ごとの前記第一の伝達関数群を記録し、
    前記音声信号処理装置における前記第一の再現用音声信号生成手段は、
    前記有指向性マイクロフォンにより収録した前記複数方向ごとの収録音声信号を、それぞれ対応する方向の前記第一の伝達関数群に基づき演算処理を施すことで、前記第一の閉曲面上の前記複数の位置のそれぞれに対応した再現用音声信号として、前記複数方向分の再現用音声信号を得るようにされると共に、それら再現用音声信号を前記第一の閉曲面上の前記複数の位置ごとに足し合わせることで、前記第一の再現用音声信号を得る
    請求項１２に記載の音場再現システム。
16. 前記記録装置における前記記録手段は、
    前記第一の伝達関数群として、前記有指向性スピーカに対する前記第一の閉曲面の角度を変えながら前記第一の閉曲面上における複数の位置で前記有指向性スピーカから発音された音声を測定した結果に基づき得られた、前記角度ごとの第一の伝達関数群を記録し、
    前記音声信号処理装置における前記第一の再現用音声信号生成手段は、
    前記収録音声信号に対して、前記角度ごとの前記第一の伝達関数群のうちから選択した１つの前記第一の伝達関数群に基づく演算処理を施して、前記第一の再現用音声信号を得る
    請求項１１に記載の音場再現システム。
17. 前記記録媒体はリムーバブルメディアであり、
    前記音声信号処理装置における前記入力手段は、装填された前記記録媒体に対する読み出しを行って前記第一の伝達関数群と前記収録音声信号と前記アンビエンス音声信号とを入力する
    請求項１１に記載の音場再現システム。
18. 前記音声信号処理装置における前記入力手段は、
    前記記録媒体に記録された前記第一の伝達関数群と前記収録音声信号と前記アンビエンス音声信号とを、所定のネットワークを経由して入力する
    請求項１１に記載の音場再現システム。

Images