JP4243513B2

JP4243513B2 - ３次元音場再生装置

Info

Publication number: JP4243513B2
Application number: JP2003128418A
Authority: JP
Inventors: 克昌佐藤; 東田口
Original assignee: AMENITY RESEARCH INSTITUTE CO., LTD.
Current assignee: AMENITY RESEARCH INSTITUTE CO., LTD.
Priority date: 2003-05-06
Filing date: 2003-05-06
Publication date: 2009-03-25
Anticipated expiration: 2023-05-06
Also published as: JP2004336313A

Description

【０００１】
【発明の属する技術分野】
本発明は、演奏ホール等内の特定された受聴位置での音場を再生する３次元音場再生方法及びその装置に関する。
【０００２】
【従来の技術】
人間の視覚および聴覚は３次元で認識をする。映像に関しては、最近３次元表示の方式が考えられて提供されるようになってきている。聴覚に関しても、古くからいろいろな収音方法や再生方式が提案されている。その中でも一番再生場所の環境に左右されないものとして、ダミーヘッド収音方式がある（特許文献１）。
【０００３】
このダミーヘッド収音方式は、演奏ホールにいる聴衆者の耳の鼓膜上での音圧を忠実に再生できるものである。この方式は、人の頭部を模型化したダミーヘッドの耳の部分にマイクロフォンを埋め込み、このマイクロフォンにて演奏によるオーディオ信号を収音する。そして、この収音されたオーディオ信号をヘッドフォンにて再生するようになっている。
【０００４】
【発明が解決しようとする課題】
ところで、このダミーヘッド収音方式における、ダミーヘッドは、人頭部の形状を測定しその平均値を用いて模型を作成したものであり、必ずしも個々人の頭部を忠実に模型化したものではない。そのため、演奏会場の音場を個々人に合わせて再生したものではなく、個人差によって演奏会場の音場に違和感を覚える場合がある。
【０００５】
これを解決するには、個々人の頭部形状を模型化する必要がある。このことは、収音を再生して受聴する全員の頭部の模型を作成することとなり、大変な作業を強いられることになる。
【０００６】
例え、個々人の頭部形状を模型化することが可能になったとしても、演奏ホールの特定位置でオーディオ信号を収音する一箇所には、１人のダミーヘッドのみをセットすることになる。そのため、前記収音する一箇所で複数人のダミーヘッドを使って個々人に合った演奏のオーディオ信号を収音する場合には、各人のダミーヘッドを差換え、ダミーヘッド毎に同一の演奏を人数分だけ繰り返して行う必要がある。このことは事実上困難なことである。
【０００７】
上述したように演奏のオーディオ信号を収音する一箇所には、１人分のダミーヘッドしかセットすることはできず、複数人のダミーヘッドを特定の収音位置に同時にセットすることは不可能である。このことは、比喩的になるが、乗用車の１つの運転席に複数人が同時に腰掛けて走行中のエンジン音を聞くことができないことと同じことを意味する。
【０００８】
したがって、現在開発されている３次元音場再生方法は、個々人の頭部の特性に合わせた方式でないため、個人差によって再生される演奏会場の音場に違和感を覚えるという現象を完全に払拭することは不可能である。
【０００９】
【特許文献１】
特開平８−７９８８１号公報（特許文献１）
【００１０】
【発明の目的】
本発明の目的は、収音する一箇所で複数人の頭部を数値モデル化して配置した３次元仮想空間を想定して音場を再生することにより、個人差による音場の違和感を完全に払拭することができる３次元音場再生方法及びその装置を提供することにある。
【００１１】
【課題を解決するための手段】
前記目的を達成するため、本発明に係る３次元音場再生装置は、３次元実空間内に位置を特定して配置することにより、音源からのオーディオ信号を収音する複数のマイクロフォンと、人の頭部を撮像した画像に基づいて数値モデル化した頭部の外形形状を示す輪郭線の３次元座標データと左右の耳の３次元座標データとを取得し、数値モデル化した人の頭部の３次元座標データを作成する３次元形状測定装置と、前記３次元形状測定装置が出力する数値モデル化した３次元座標データと、前記複数のマイクロフォンに対応する３次元座標位置のデータとに基づいて、前記マイクロフォンの３次元座標データを含んで特定される仮想空間内に、人の頭部を３次元座標データで数値モデル化して配置した３次元仮想空間を想定し、当該３次元仮想空間内における、マイクロフォンに対応する３次元座標位置と数値モデル化した人の頭部の耳の３次元座標位置との間における音圧周波数の伝達特性を演算する伝達特性演算部と、前記伝達特性演算部が３次元仮想空間内で演算した前記伝達特性を、前記３次元実空間内のマイクロフォンにより収音した入力オーディオ信号に畳み込んで出力するフィルタとを含むことを特徴とする。
【００１２】
本発明では、複数のマイクロフォンを３次元実空間内に位置を特定して配置する。そして、３次元実空間内に配置したマイクロフォンにより音源からのオーディオ信号を収音する。
【００１３】
一方、前記マイクロフォンの３次元座標データを含んで特定される仮想空間内に、再生音を聴取したいと希望する人の頭部を３次元座標データで数値モデル化して配置した３次元仮想空間を想定し、当該３次元仮想空間内における、マイクロフォンの３次元座標位置と数値化モデルされた人の頭部の耳の３次元座標位置との間における音圧周波数の伝達特性を演算する。
【００１４】
次に、前記３次元仮想空間内で演算した前記伝達特性を、前記３次元実空間内のマイクロフォンにより収音した入力オーディオ信号に畳み込んで出力する。
【００１５】
したがって、本発明によれば、３次元実空間内の特定された位置、すなわち一箇所の収音位置に配置された複数のマイクロフォンにより音源からのオーディオ信号を収音し、この収音したオーディオ信号に、個々人に応じた３次元仮想空間内で演算した伝達特性を畳み込むことにより、個々人に適合する再生用のオーディオ信号を出力することができる。このため、個人差による音場の違和感を完全に払拭することができる。
【００１６】
さらに、前記伝達特性をソフト処理により変更するだけで、例えば演奏ホールの席の位置を自由に変更した収音位置でのオーディオ信号を再生することができる。このことは、例えば演奏の前売り券を購入する際に、当該演奏ホールの全席でのオーディオ信号を再生し、自分の好みに合った演奏用オーディオ信号を予め試聴し、そのオーディオ信号を受聴する席を購入することができることとなる。
【００１７】
さらに、一箇所の収音位置で前記伝達特性を個々人に合わせてソフト処理により変更することにより、当該一箇所の収音位置で複数人の数値モデル化した頭部を用いたオーディオ信号を同時に再生することができる。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態を図面により説明する。
【００１９】
本発明に係る３次元音場再生装置は基本的な構成として、３次元実空間と３次元仮想空間とを設定し、当該３次元実空間にてオーディオ信号を収音し、当該３次元仮想空間にて個々人に合わせてコンピュータを用いたソフト処理により伝達特性を演算し、前記３次元実空間内にて収音したオーディオ信号に、前記３次元仮想空間にて演算した伝達特性を畳み込んで出力することを特徴とするものである。
【００２０】
具体的に説明すると、本発明に係る３次元音場再生装置は図２（ａ）に示すように、複数のマイクロフォン２と、Ａ／Ｄ変換器３と、メモリ４と、伝達特性演算装置５と、フィルタ６と、Ｄ／Ａ変換器１１とを有している。
【００２１】
前記複数のマイクロフォン２は図１に示すように、音源１が存在する３次元実空間内に設置される。当該複数のマイクロフォン２は、前記３次元実空間内に位置を特定して配置される。その配置について説明する。
【００２２】
図１において、マイクロフォン２で収音するときには、受聴者の頭部は、複数のマイクロフォン２が配置される３次元実空間内に存在することはないものである。図1では、複数のマイクロフォン２と数値モデル化された人の頭部７との関係を明らかにするために、数値モデル化した人の頭部７を一点鎖線にて示している。複数のマイクロフォン２は図１に示すように、音源１が存在する３次元実空間内に想定された球殻状の曲面に設置される。すなわち、当該球殻を地球儀とした場合に、その赤道方向（横軸方向に添う周方向）にｍ分割した経線Ｌ１と、その緯度方向にｎ分割した緯線Ｌ２との交点位置にそれぞれ配置される。これらのマイクロフォン２は無指向性のマイクロフォンを使用し、これらのマイクロフォン２の３次元配置データは、伝達特性演算装置５に記憶させている。また、後述するように、複数のマイクロフォン２の配置により特定される３次元実空間内に対応して仮想される３次元仮想空間内に配置される数値モデル化された人の頭部７の３次元座標データを３次元形状測定装置８により測定し、これらの３次元座標データを伝達特性演算装置５に記憶させている。
【００２３】
Ａ／Ｄ変換器３は、前記複数のマイクロフォン２にて収音したオーディオ信号を当該マイクロフォン２毎にアナログ信号からディジタル信号にそれぞれ変換するようになっている。さらに、メモリ４は、前記Ａ／Ｄ変換器３から出力されるディジタル信号としてのオーディオ信号を前記マイクロフォン２毎に記憶するようになっている。メモリ４は、デジタルオーディオテープのような記録媒体からの出力をも利用できる。
【００２４】
伝達特性演算装置５は、図４に示すように前記複数のマイクロフォン２の３次元座標データを含んで特定される仮想空間内に、人の頭部７を３次元座標データで数値モデル化して配置した３次元仮想空間１０を想定し、当該３次元仮想空間１０内における、マイクロフォン２に対応する３次元座標位置と数値モデル化した人の頭部７の左右の耳７ａの３次元座標位置との間における音圧周波数の伝達特性を演算するようになっている。図４において、３次元仮想空間１０に示した黒丸は、３次元実空間内に配置されたマイクロフォン２に対応する３次元座標位置を示すものである。そして、３次元実空間内に配置されたマイクロフォン２に対応する３次元座標位置（黒丸の位置）に仮想の点音源を配置した状態を想定して、３次元実空間内に配置されたマイクロフォン２に対応する３次元座標位置（図４の黒丸の位置）と数値モデル化した人の頭部７の左右の耳７ａの３次元座標位置との間における音圧周波数の伝達特性を演算する。
【００２５】
個々人の数値モデル化された頭部７は、３次元形状測定装置８を利用して作成する。すなわち、前記３次元形状測定装置８は図３に示すように、ＣＴスキャナと同じ原理にて個々人の頭部９を中心とし、当該頭部９に対してデジタルカメラ８ａを横方向に一定の距離にセットし、このデジタルカメラ８ａを頭部に対して一周させながら、頭部９の撮像画像をデジタルカメラ８ａにて撮像し、その撮像画像データを画像処理部８ｂにて合成する。そして、座標演算部８ｃにて画像処理部８ｂから出力される撮像画像データに基いて数値モデル化される人の頭部７の外形形状を示す輪郭線の３次元座標データと左右の耳７ａの３次元座標データとを取得し、各個人の頭部９に合致した数値モデル化した人の頭部（左右の耳７ａを含む）７を作成するようになっている。なお、３次元形状測定装置８は図３に示す構成のものに限られるものではなく、これ以外のものでもよい。要は、個々人の頭部９に合致した数値モデル化して人の頭部７及び耳７ａの３次元座標データを取得することができる方法及び装置であれば、いずれのものを用いても良いものである。
【００２６】
伝達特性演算装置５は、図４に示すマイクフォン２に対応する３次元座標位置（黒丸）のデータと、前記３次元形状測定装置８から出力される、個々人の頭部７の数値モデル化した３次元座標データに基いて演算を行う。すなわち、伝達特性演算装置５は、先ず、３次元実空間内に配置されるマイクロフォンの３次元座標データを含んで特定される仮想空間内に、人の頭部を３次元座標データで数値モデル化して配置した３次元仮想空間１０を想定する（図４参照）。
【００２７】
さらに、伝達特性演算装置５は、３次元実空間内に配置されたマイクロフォン２に対応する３次元座標位置（黒丸の位置）に仮想の点音源を配置した状態を想定して、３次元実空間内に配置されたマイクロフォン２に対応する３次元座標位置（図４の黒丸の位置）と数値モデル化した人の頭部７の左右の耳７ａの３次元座標位置との間における音圧周波数の伝達特性を演算する。
【００２８】
この場合、伝達特性演算装置５は、３次元仮想空間１０内に波動的な演算が可能な有限要素法，境界要素法などを適用することにより、３次元仮想空間１０内における、マイクロフォン２に対応する３次元座標位置（図４の黒丸の位置）と数値モデル化した人の頭部７の耳７ａの３次元座標位置との間における音圧周波数の伝達特性を演算する。また、伝達特性演算装置５により伝達特性を求めるために、図４に対応する３次元仮想空間１０内におけるマイクロフォン２に対応する３次元座標位置（図４の黒丸の位置）に想定した仮想の点音源からインパルスを与えて、数値モデル化された人の頭部７の耳７ａの鼓膜位置における音圧周波数の特性を演算によって求める。
【００２９】
本発明において、数値モデル化された人の頭部７の耳７ａの鼓膜位置における音圧周波数の伝達特性を求める式を下記に記述する。
複数のマイクロフォン２の３次元座標データを含んで特定される仮想空間内に、人の頭部を３次元座標データで数値モデル化して配置して想定される３次元仮想空間８の領域をΩ、その３次元仮想空間１０の境界をΓとすると、３次元仮想空間８の領域Ω，境界ΓにおけるHelmholtz方程式は、
【数１】

として表すことができる。
また、前記方程式を積分で表現すると、下記の数２として表現することができる。
【数２】

境界上に節点ｉを取って，関数u（x），q（x）を補間関数を用いて近似すると下記数３となる。
【数３】

積分表現のyを各節点に選び，関数u（x），q（x）に補間関数を代入して離散化すると、下記数４となる。
【数４】

節点集合｛i｝を観測点０と境界点Bの二つに分割すると、下記数５となる。
【数５】

積分を実行して整理すると、下記数６となる。
【数６】

さらに、境界条件を代入してq_bを消去すると、下記数７となる。
【数７】

ポテンシャルに関して上式を解いて、下記数８を得る。
【数８】

ここで、数９
【数９】

と置く。すると、下記数１０が得られる。
【数１０】

これによって、積分形式の変数となっていた部分が観測節点での値q₀で表現できる。
聴点をzとすると、下記数１１が得られる。
【数１１】

この積分を実行して整理すると、下記数１２が得られる。
【数１２】

伝達特性演算装置５は、上記伝達特性の演算式に基いて演算を行い、図４に示す３次元仮想空間１０内におけるマイクロフォン２に対応する３次元座標位置（黒丸の位置）と数値モデル化した人の頭部７の耳７ａの３次元座標位置までの音圧周波数の伝達特性をそれぞれ演算する。
【００３０】
そして、伝達特性演算装置５は、演算した前記音圧周波数の伝達特性のデータを記憶し、そのデータを数値モデル化された人の左右の耳７ａに対応して備えたフィルタ（DSP;ディジタル・シグナル・プロセッサ）６に出力する。
【００３１】
フィルタ６は図２（ｂ）に示すように、複数のマイクロフォン２に対応する個数のディジタルフィルタ６Ｌ１〜６Ｌｎ,６Ｒ１〜６Ｒｎを有している。これらのディジタルフィルタ６Ｌ１〜６Ｌｎとディジタルフィルタ６Ｒ１〜６Ｒｎとは、数値モデル化した人の頭部７の左右の耳７ａに対応して設けられ、かつ、一方のディジタルフィルタ６Ｌ１〜６Ｌｎは、数値モデル化した人の頭部７の左の耳７ａに出力する音信号を出力し、他方のディジタルフィルタ６Ｒ１〜６Ｒｎは、数値モデル化した人の頭部７の右の耳７ａに出力する音信号を出力するようになっている。さらに、Ｄ／Ａ変換器１１は、フィルタ６から出力されるディジタル信号をアナログ信号に変換してヘッドフォン等に出力する。
【００３２】
図２（ｂ）に示すように、伝達特性演算装置５は、３次元仮想空間１０内で演算した前記伝達特性を、数値モデル化された人の頭部の左と右との耳７ａ毎に分離してフィルタ６に出力する。フィルタ６は、伝達特性演算装置５から数値化された人の頭部７の左と右との耳７ａ毎に分離して出力された伝達特性を、数値モデル化された人の頭部７の左と右との耳７ａに対応するディジタルフィルタ６Ｌ１〜６Ｌｎとディジタルフィルタ６Ｒ１〜６Ｒｎとに分離して入力する。そして、ディジタルフィルタ６Ｌ１〜６Ｌｎとディジタルフィルタ６Ｒ１〜６Ｒｎは、前記伝達特性演算部５が３次元仮想空間１０内で演算した前記伝達特性を、前記３次元実空間内のマイクロフォン２により収音した入力オーディオ信号に畳み込む。加算器１０ａ，１０ｂは、ディジタルフィルタ６Ｌ１〜６Ｌｎとディジタルフィルタ６Ｒ１〜６Ｒｎとの出力値を数値モデル化した人の頭部７の左右の耳７ａ毎に加算し、左右の耳に対応する２チャンネルのオーディオ信号として出力する。
【００３３】
次に、本発明に係る３次元音場再生装置の動作について説明する。複数のマイクロフォン２を３次元実空間内に位置を特定して配置する。そして、３次元実空間内に配置したマイクフォン２により音源１からのオーディオ信号を収音する。
【００３４】
前記マイクロフォン２により収音したオーディオ信号は、Ａ／Ｄ変換器３によりディジタル信号に変換してメモリ４に記憶させる。
【００３５】
一方、３次元形状測定装置８により、個々人の頭部９と耳９ａとの外形形状を測定し、これらの３次元データを伝達特性演算装置５ｂに入力させる。伝達特性演算装置５は、前記マイクフォン２の３次元座標データを含んで特定される仮想空間内に、再生音を聴取したいと希望する人の数値モデル化された頭部７を３次元座標データで数値モデル化して配置した３次元仮想空間８を想定し、当該３次元仮想空間１０内における各マイクロフォン２に対応する３次元座標位置（図４の黒丸の位置）と数値モデル化された頭部７の耳７ａの３次元座標位置との間における音圧周波数の伝達特性を演算する。
【００３６】
前記伝達特性演算装置５が３次元仮想空間１０内で演算した前記伝達特性を、前記３次元実空間内のマイクロフォン２により収音した入力オーディオ信号にフィルタ６により畳み込んで出力する。そして、Ｄ／Ａ変換器１１は、フィルタ６からのディジタル信号をアナログ信号に変換して、２チャンネルのオーディオ信号をヘッドフォン等に出力する。以上の処理に基いて、３次元実空間内にて収音された音信号が再生されることとなる。
【００３７】
【発明の効果】
以上説明したように本発明によれば、３次元実空間内の特定された位置、すなわち一箇所の収音位置に配置された複数のマイクロフォンにより音源からのオーディオ信号を収音し、この収音したオーディオ信号に、個々人に応じた３次元仮想空間内で演算した伝達特性を畳み込むことにより、個々人に適合する再生用のオーディオ信号を出力することができる。このため、個人差による音場の違和感を完全に払拭することができる。
【００３８】
さらに、前記伝達特性をソフト演算処理により変更するだけで、例えば演奏ホールの席の位置を自由に変更した収音位置でのオーディオ信号を再生することができる。このことは、例えば演奏の前売り券を購入する際に、当該演奏ホールの全席でのオーディオ信号を再生し、自分の好みに合った演奏用オーディオ信号を予め試聴し、そのオーディオ信号を受聴する席を購入することができることとなる。
【００３９】
さらに、一箇所の収音位置で前記伝達特性を個々人に合わせてソフト演算処理で変更することにより、当該一箇所の収音位置で複数人の好みのオーディオ信号を同時に収音することができる。
【図面の簡単な説明】
【図１】本発明に係る３次元音場再生装置における音源とマイクロフォンとの関係を示す図である。
【図２】（ａ）は、本発明に係る３次元音場再生装置を示す構成図、（ｂ）はフィルタを示す構成図である。
【図３】再生音を聴取したいと希望する人の頭部を３次元座標データで数値モデル化する場合を示す図である。
【図４】伝達特性演算装置において、複数のマイクロフォンの３次元座標データを含んで特定される仮想空間内に、人の頭部を３次元座標データで数値モデル化して配置した３次元仮想空間を想定して伝達特性を演算する場合を示す図である。
【符号の説明】
１音源
２マイクロフォン
３Ａ／Ｄ変換器
４メモリ
５伝達係数演算装置
６フィルタ

Claims

３次元実空間内に位置を特定して配置することにより、音源からのオーディオ信号を収音する複数のマイクロフォンと、
個々人の頭部を中心として１周させながら個々人の頭部を撮像し、その個々人の頭部の撮像画像に基づいて個々人の数値モデル化した頭部及び耳の外形形状を示す輪郭線の３次元座標データと左右の耳の３次元座標データとを取得し、個々人の数値モデル化した人の頭部の３次元座標データを作成する３次元形状測定装置と、
前記３次元形状測定装置が出力する個々人の数値モデル化した３次元座標データと、前記複数のマイクロフォンに対応する３次元座標位置のデータとに基づいて、前記マイクロフォンの３次元座標データを含んで特定される仮想空間内に、個々人の頭部を３次元座標データで数値モデル化して配置した３次元仮想空間を想定し、当該３次元仮想空間内におけるマイクロフォンに対応する３次元座標位置に想定した仮想の音源からインパルスを与えて、前記マイクロフォンに対応する３次元座標位置と数値モデル化した個々人の耳の鼓膜位置との３次元座標位置との間における音圧周波数の伝達特性を演算する伝達特性演算部と、
前記伝達特性演算部が３次元仮想空間内で演算した前記伝達特性を、前記３次元実空間内のマイクロフォンにより収音した入力オーディオ信号に畳み込んで個々人に適合する再生用のオーディオ信号を出力するフィルタとを含むことを特徴とする３次元音場再生装置。