JP7445975B2 - マイクロホンアレイ装置、音場制御システム、音場収録システム、及び音場再生システム - Google Patents

マイクロホンアレイ装置、音場制御システム、音場収録システム、及び音場再生システム Download PDF

Info

Publication number
JP7445975B2
JP7445975B2 JP2020182929A JP2020182929A JP7445975B2 JP 7445975 B2 JP7445975 B2 JP 7445975B2 JP 2020182929 A JP2020182929 A JP 2020182929A JP 2020182929 A JP2020182929 A JP 2020182929A JP 7445975 B2 JP7445975 B2 JP 7445975B2
Authority
JP
Japan
Prior art keywords
sound field
array device
microphone array
field control
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020182929A
Other languages
English (en)
Other versions
JP2022073135A (ja
Inventor
史郎 伊勢
Original Assignee
株式会社カスクアコースティクス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社カスクアコースティクス filed Critical 株式会社カスクアコースティクス
Priority to JP2020182929A priority Critical patent/JP7445975B2/ja
Publication of JP2022073135A publication Critical patent/JP2022073135A/ja
Application granted granted Critical
Publication of JP7445975B2 publication Critical patent/JP7445975B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、音場を取り込んで再生する音場制御システム、音場収録システム、及び音場再生システムに関し、また、そのような音場制御システム等のためのマイクロホンアレイ装置に関する。
三次元的な音場を再生するために、従来、ステレオ方式、サラウンド方式、バイノーラル方式、トランスオーラル方式、波面合成(Wave Field Synthesis: WFS)方式、高次アンビソニクス(Higher Order Ambisonics: HOA)方式など、さまざまな方式が知られている。
本願発明者らは、特許文献1において、境界音場制御(Boundary Surface Control: BSC or BoSC)と呼ばれる方式を提案した。境界音場制御方式によれば、再生音場の領域Vを包囲する境界面Sにおける音圧及びその勾配を、原音場の領域Vを包囲する境界面Sにおける音圧及びその勾配にそれぞれ等しくなるように制御することにより、領域V内の音場が領域Vにおいて再現される。
特開2008-118559号公報
特許文献1では、多数のマイクロホンを空間的にほぼ均等に配置するために、例えばC80フラーレンの分子構造に類似したフレームを用いている。マイクロホンはフレームの各ノード(頂点)に配置される。
しかしながら、複数のマイクロホンを配置するために特許文献1のような複雑なフレームを用いる場合、その製造に手間及びコストがかかる。従って、境界音場制御方式のための複数のマイクロホンを備えたマイクロホンアレイ装置であって、従来よりも簡単な構造を有するマイクロホンアレイ装置が求められる。
本発明の目的は、境界音場制御方式のためのマイクロホンアレイ装置であって、従来よりも簡単な構造を有するマイクロホンアレイ装置を提供することにある。また、本発明の目的は、そのようなマイクロホンアレイ装置を備えた音場制御システムを提供することにある。
本発明の一態様に係るマイクロホンアレイ装置によれば、
境界音場制御方式により音場を再生するために第1の閉曲面である境界面における音場を取り込むマイクロホンアレイ装置であって、
前記第1の閉曲面よりも小さな第2の閉曲面に沿って覆われた外表面を有する支持部材と、
前記支持部材の外表面にそれぞれ配置された複数のマイクロホンとを備える。
本発明の一態様に係るマイクロホンアレイ装置によれば、
前記支持部材の外表面は、球面、楕円面、又は多面体の表面の形状を有する。
本発明の一態様に係るマイクロホンアレイ装置によれば、
前記支持部材の外表面は、少なくとも1つの穴を有する。
本発明の一態様に係るマイクロホンアレイ装置によれば、
前記マイクロホンアレイ装置は、前記境界面における音場に関連する音声信号を取り込み、
前記マイクロホンアレイ装置によって取り込まれた前記音声信号は、前記境界音場制御方式により前記音場を再生するために利用される。
本発明の一態様に係る音場制御システムによれば、
前記マイクロホンアレイ装置と、
複数のスピーカを備えるスピーカアレイ装置と、
前記マイクロホンアレイ装置によって取り込まれた第1の音声信号を前記境界音場制御方式により処理して生成した第2の音声信号を前記スピーカアレイ装置により出力することにより、前記マイクロホンアレイ装置を包囲する閉曲面である第1の境界面における音場を、前記第1の境界面のものと同じ形状及び寸法を有する閉曲面である第2の境界面において再生する音場制御装置とを備える。
本発明の一態様に係る音場制御システムによれば、
前記音場制御装置は、
空間における前記複数のスピーカから前記複数のマイクロホンへの伝達関数の逆システムを表す逆システム行列であって、前記第2の境界面における音場が前記第1の境界面における音場に一致するように計算された逆システム行列を格納した第1の記憶装置と、
前記第1の音声信号に前記逆システム行列を畳み込んで前記第2の音声信号を生成する信号処理装置とを備える。
本発明の一態様に係る音場制御システムによれば、
前記第2の境界面の内部に前記マイクロホンアレイ装置を配置したときに前記複数のスピーカからそれぞれ送信されて前記複数のマイクロホンによってそれぞれ受信される複数のテスト信号に基づいて、前記空間における前記複数のスピーカから前記複数のマイクロホンへの伝達関数を表す伝達関数行列を計算し、前記伝達関数行列に基づいて前記逆システム行列を計算して前記第1の記憶装置に格納する計算装置をさらに備える。
本発明の一態様に係る音場制御システムによれば、
前記計算装置は、前記テスト信号の周波数成分ごとに異なる正則化パラメータを含む前記伝達関数行列の一般化逆行列として前記逆システム行列を計算する。
本発明の一態様に係る音場制御システムによれば、
前記計算装置は、前記伝達関数行列を特異値分解し、予め決められたしきい値よりも小さい特異値をゼロで置き換えた前記伝達関数行列の一般化逆行列として前記逆システム行列を計算する。
本発明の一態様に係る音場制御システムによれば、
前記計算装置は、前記伝達関数行列を特異値分解し、最大の特異値に対して予め決められた比率より小さい比率を有する特異値を、前記最大の特異値に対して予め決められた比率を有する値で置き換えた前記伝達関数行列の一般化逆行列として前記逆システム行列を計算する。
本発明の一態様に係る音場制御システムによれば、
前記マイクロホンアレイ装置である第1のマイクロホンアレイ装置と、
前記第1のマイクロホンアレイ装置に向けてそれぞれ配置された複数の第1のスピーカを備える第1のスピーカアレイ装置と、
前記マイクロホンアレイ装置である第2のマイクロホンアレイ装置と、
前記第2のマイクロホンアレイ装置に向けてそれぞれ配置された複数の第2のスピーカを備える第2のスピーカアレイ装置と、
前記第2のマイクロホンアレイ装置によって取り込まれた第1の音声信号を前記境界音場制御方式により処理して生成した第2の音声信号を前記第1のスピーカアレイ装置により出力することにより、前記第2のマイクロホンアレイ装置を包囲する閉曲面である第1の境界面における音場を、前記第1の境界面のものと同じ形状及び寸法を有する閉曲面である第2の境界面において再生する第1の音場制御装置と、
前記第1のマイクロホンアレイ装置によって取り込まれた第3の音声信号を前記境界音場制御方式により処理して生成した第4の音声信号を前記第2のスピーカアレイ装置により出力することにより、前記第1のマイクロホンアレイ装置を包囲する閉曲面である第3の境界面における音場を、前記第3の境界面のものと同じ形状及び寸法を有する閉曲面である第4の境界面において再生する第2の音場制御装置とを備える。
本発明の一態様に係る音場制御システムによれば、
前記第1の音声信号を格納する第2の記憶装置と、
前記第3の音声信号を格納する第3の記憶装置とをさらに備え、
前記第1の音場制御装置は、前記第2の記憶装置から読み出した前記第1の音声信号を前記境界音場制御方式により処理し、
前記第2の音場制御装置は、前記第3の記憶装置から読み出した前記第3の音声信号を前記境界音場制御方式により処理する。
本発明の一態様に係る音場制御システムによれば、
前記第3の音声信号において、前記第1のスピーカアレイ装置により出力されて前記第1のマイクロホンアレイ装置によって取り込まれた音声信号成分を低減する第1のフィードバックキャンセラと、
前記第1の音声信号において、前記第2のスピーカアレイ装置により出力されて前記第2のマイクロホンアレイ装置によって取り込まれた音声信号成分を低減する第2のフィードバックキャンセラとをさらに備える。
本発明の一態様に係る音場収録システムによれば、
前記マイクロホンアレイ装置と、
前記マイクロホンアレイ装置によって取り込まれた前記音声信号を格納する第4の記憶装置とを備える。
本発明の一態様に係る音場再生システムによれば、
前記マイクロホンアレイ装置によって取り込まれた前記音声信号を格納する第5の記憶装置と
複数のスピーカを備えるスピーカアレイ装置と、
前記第5の記憶装置から読み出された第1の音声信号を前記境界音場制御方式により処理して生成した第2の音声信号を前記スピーカアレイ装置により出力することにより、前記マイクロホンアレイ装置を包囲する閉曲面である第1の境界面における音場を、前記第1の境界面のものと同じ形状及び寸法を有する閉曲面である第2の境界面において再生する音場再生装置とを備える。
本発明の一態様によれば、境界音場制御方式のためのマイクロホンアレイ装置であって、従来よりも簡単な構造を有するマイクロホンアレイ装置を提供することができる。
第1の実施形態に係る音場制御システムの構成を示す概略図である。 図1の音場制御システムの構成を示すブロック図である。 図1のマイクロホンアレイ装置10の実施例を示す図である。 図1のスピーカアレイ装置30の実施例を示す図である。 従来技術に係る境界音場制御方式の原理を説明するための図である。 比較例に係る境界音場制御を行って取り込まれる音場及び再生される音場のモデルを説明するための図である。 実施形態に係る境界音場制御方式の原理を説明するための図である。 実施形態に係る境界音場制御を行って取り込まれる音場及び再生される音場のモデルを説明するための図である。 図1の音場制御装置20により逆システム行列[Ha,ji]を計算する方法を説明するための概略図である。 第1の変形例に係るマイクロホンアレイ装置10Aを示す図である。 第2の変形例に係るマイクロホンアレイ装置10Bを示す図である。 第3の変形例に係るマイクロホンアレイ装置10Cを示す図である。 比較例に係るマイクロホンアレイ装置10Dを示す図である。 第2の実施形態に係る音場制御システムの構成を示す概略図である。 第3の実施形態に係る音場制御システムの構成を示す概略図である。 図15の音場制御システムの構成を示すブロック図である。 第4の実施形態に係る音場収録システムの構成を示す概略図である。 図17の音場収録システムの構成を示すブロック図である。 第5の実施形態に係る音場再生システムの構成を示す概略図である。 図19の音場再生システムの構成を示すブロック図である。
以下、本開示の一側面に係る実施形態を、図面に基づいて説明する。各図面において、同じ符号は同様の構成要素を示す。
[第1の実施形態]
第1の実施形態では、所定の閉曲面である境界面における音場を取り込んで再生する音場制御システムについて説明する。
[第1の実施形態の構成]
図1は、第1の実施形態に係る音場制御システムの構成を示す概略図である。図1の音場制御システムは、マイクロホンアレイ装置10、音場制御装置20、及びスピーカアレイ装置30を備える。
マイクロホンアレイ装置10は、複数のマイクロホン11を備える。マイクロホンアレイ装置10は、境界音場制御方式により音場を再生するために、マイクロホンアレイ装置10を包囲する閉曲面である第1の境界面Sにおける音場に関連する音声信号を取り込む。ここで、「音声信号」は、音声その他の音響(例えば、ヒトの声、楽器の音、機械の音、自然の音、など)に従って生ずる直接的の電気的変化であって、音声その他の音響を伝送するためのものを示す。後述するように、各マイクロホン11は境界面Sよりも内側に設けられ、マイクロホンアレイ装置10は、境界面Sよりも内側の音場を音声信号として取り込む。ここで、「関連する」とは、マイクロホンアレイ装置10によって取り込まれた音声信号に基づいて、境界音場制御方式により境界面Sにおける音場を再生可能であることを意味する。
スピーカアレイ装置30は、音場が再生される領域に向けて配置された複数のスピーカ31を備える。スピーカアレイ装置30は、第1の境界面Sのものと同じ形状及び寸法を有する閉曲面である第2の境界面Sにおいて所定の音場を生成する。複数のスピーカ31は、例えば、第2の境界面Sを包囲するように配置される。
音場制御装置20は、マイクロホンアレイ装置10によって取り込まれた第1の音声信号を境界音場制御方式により処理して生成した第2の音声信号をスピーカアレイ装置30により出力することにより、境界面Sにおける音場を境界面Sにおいて再生する。
図2は、図1の音場制御システムの構成を示すブロック図である。本開示では、マイクロホンアレイ装置10がM個のマイクロホン11-1~11-Mを備え、スピーカアレイ装置30がL個のスピーカ31-1~31-Lを備える場合について説明する。
図2を参照すると、マイクロホンアレイ装置10は、M個のマイクロホン11-1~11-Mと、マイクロホンインターフェース(I/F)12とを備える。
マイクロホンインターフェース12は、増幅器41-1~41-M、アナログ/ディジタル変換器(ADC)42-1~42-M、マルチプレクサ(MUX)43、及び通信インターフェース(I/F)44を備える。増幅器41-1~41-Mは、マイクロホン11-1~11-Mによって取り込まれた音声信号をそれぞれ増幅する。アナログ/ディジタル変換器42-1~42-Mは、増幅器41-1~41-Mから出力されたアナログの音声信号をディジタル信号に変換する。マルチプレクサ43は、アナログ/ディジタル変換器42-1~42-Mから出力されたM個の信号を多重化する。通信インターフェース44は、マルチプレクサ43から出力された信号を所定の通信方式で音場制御装置20に送信する。
本明細書において、マイクロホンアレイ装置10によって取り込まれる音声信号は、各マイクロホン11-1~11-Mによって取り込まれる信号に対応する複数の要素を含むベクトルの形式を有する。
図2を参照すると、音場制御装置20は、通信インターフェース(I/F)21、デマルチプレクサ(DEMUX)22、計算装置23、記憶装置24、信号処理装置25、記憶装置26、マルチプレクサ(MUX)27、及び通信インターフェース(I/F)28を備える。
通信インターフェース21は、マイクロホンアレイ装置10から所定の通信方式で信号を受信する。
デマルチプレクサ22は、通信インターフェース21において受信された信号をM個の信号に多重分離する。以下の説明では、デマルチプレクサ22から出力されたM個の信号を、マイクロホン11-1~11-Mによって取り込まれた音声信号とみなす。
計算装置23は、空間における複数のスピーカ31-1~31-Lから複数のマイクロホン11-1~11-Mへの伝達関数の逆システムを表す逆システム行列であって、境界面Sにおける音場が境界面Sにおける音場に一致するように計算された逆システム行列[Ha,ji]を計算する。計算装置23は、計算された逆システム行列[Ha,ji]を記憶装置24に格納する。
信号処理装置25は、記憶装置24から逆システム行列[Ha,ji]を読み出し、マイクロホン11-1~11-Mによって取り込まれたM個の音声信号に逆システム行列[Ha,ji]を畳み込んで、スピーカ31-1~31-Lから出力すべきL個の音声信号を生成する。
記憶装置26は、マイクロホン11-1~11-Mによって取り込まれたM個の音声信号を格納してもよい。任意の時点に音場を再生するために、信号処理装置25は、記憶装置26に格納された音声信号を読み出して処理してもよい。
マルチプレクサ27は、信号処理装置25から出力されたL個の信号を多重化する。通信インターフェース28は、マルチプレクサ27から出力された信号を所定の通信方式でスピーカアレイ装置30に送信する。
図2を参照すると、スピーカアレイ装置30は、L個のスピーカ31-1~31-Lと、スピーカインターフェース(I/F)32とを備える。
スピーカインターフェース32は、通信インターフェース(I/F)51、デマルチプレクサ(DEMUX)52、ディジタル/アナログ変換器(DAC)53-1~53-L、及び増幅器54-1~54-Lを備える。通信インターフェース51は、音場制御装置20から所定の通信方式で信号を受信する。デマルチプレクサ52は、通信インターフェース51において受信された信号をL個の信号に多重分離する。ディジタル/アナログ変換器53-1~53-Lは、デマルチプレクサ52から出力されたディジタル信号をアナログの音声信号に変換する。増幅器54-1~54-Lは、ディジタル/アナログ変換器53-1~53-Lから出力された信号を増幅し、増幅された信号をスピーカ31-1~31-Lからそれぞれ出力させる。
マイクロホンアレイ装置10及び音場制御装置20は、LAN、インターネット、無線ネットワーク、光ファイバーケーブル、又は他の専用信号線を介して互いに接続されてもよい。同様に、音場制御装置20及びスピーカアレイ装置30は、LAN、インターネット、無線ネットワーク、光ファイバーケーブル、又は他の専用信号線を介して互いに接続されてもよい。音場制御装置20は、マイクロホンアレイ装置10及びスピーカアレイ装置30の一方に一体化されていてもよい。
音場制御装置20は、専用装置であってもよく、境界音場制御のプログラムを実行する汎用コンピュータであってもよい。
図3は、図1のマイクロホンアレイ装置10の実施例を示す図である。マイクロホンアレイ装置10は、複数のマイクロホン11、マイクロホンインターフェース12、支持部材13、及び台座14を備える。
支持部材13は、図1の境界面Sよりも小さな閉曲面に沿って覆われた外表面を有する。言い換えると、支持部材13は、図1の境界面Sよりも小さな閉曲面の少なくとも一部に沿って二次元的に延在する表面を有する。ここで、支持部材13の外表面が境界面Sよりも「小さい」とは、支持部材13の外表面が境界面Sに完全に包含され、かつ、支持部材13の外表面における最も離れた2点間の距離が、境界面Sにおける最も離れた2点間の距離よりも短いことを意味する。図3の例では、支持部材13の外表面は球面である。支持部材13は、例えば、金属、木材、プラスチック、膜材料(ゴム、布、テント素材)、メッシュ素材、などからなる。支持部材13は、一体的に形成されてもよく、それに代わって、例えば、2つの中空の半球を組み合わせて構成されてもよい。
マイクロホンアレイ装置10の支持部材13は例えば20~30cmの直径を有する。この場合、境界面Sは例えば50~60cmの直径を有する。
支持部材13の外表面に複数(例えば80個)のマイクロホン11が配置される。従って、各マイクロホン11は境界面Sよりも内側に設けられ、マイクロホンアレイ装置10は、境界面Sよりも内側の音場を音声信号として取り込む。支持部材13が中空構造を有する場合、支持部材13にあけた穴にマイクロホン11を挿入してもよい。また、接着剤又は両面テープなどを用いて、支持部材13の外表面にマイクロホン11を貼り付けてもよい。
また、各マイクロホン11は無指向性であってもよい。
支持部材13は、例えば台座14により、床から所定の高さに位置するように支持されてもよい。支持部材13は、床の上に支持されることに代えて、天井から吊されてもよく、治具により壁に対して支持されてもよい。
支持部材13が中空構造を有する場合、マイクロホンインターフェース12を支持部材13の内部の空間に配置してもよい。また、マイクロホンインターフェース12は、支持部材13の外部、例えば、台座14の内部又は外部に配置されてもよい。
図4は、図1のスピーカアレイ装置30の実施例を示す図である。図4の例では、ドア34を有する樽型の再生室33の内部において、壁面及び天井(すなわち、床面を除く全方向の面)に複数(例えば96個)のスピーカ31が配置される。再生室33の内部の空間は、直径1950mm及び高さ2150mmを有する。再生室33の壁面は、水平方向の断面において、九角形に形成される。この場合、天井及び床以外は互いに平行な面が存在しないので、室内モードの偏りを最小化することができる。
また、各スピーカ31はフルレンジスピーカであってもよい。
再生室33の内部において、境界面Sは、床の中央に直立した聴取者の頭部を包囲するように形成されてもよく、また、椅子35に座った聴取者の頭部を包囲するように形成されてもよい。
スピーカインターフェース32は、再生室33の床下に配置されてもよい。スピーカインターフェース32は、音声信号を伝送するために、例えば、2本の光ファイバーケーブルを介して音場制御装置20に接続されてもよい。
再生室33は、分解して移動可能であるように構成されてもよい。
[第1の実施形態の動作]
次に、境界音場制御方式の原理について説明する。
音場制御の理論はホイヘンスの原理を元に組み立てられてきたという歴史的経緯がある。そのため、音場制御の理論を数学的に説明する場合に、ホイヘンスの原理の数学的な解釈と位置付けられているキルヒホッフ-ヘルムホルツ積分方程式(以下、「積分方程式」と略す)が用いられてきた。すなわち積分方程式に現れる各項を音源の数学的性質として述べることにより、音場制御において必要な音源の性質が数学的に記述される。
まず、キルヒホッフ-ヘルムホルツ積分方程式の物理的解釈について説明する。
図5は、従来技術に係る境界音場制御方式の原理を説明するための図である。図5に示すように、音源を含まない閉曲面Sで囲まれた領域Vを想定する。sは領域V内の点を示し、rは閉曲面S上の点を示し、nは閉曲面Sの法線を示す。閉曲面Sを境界面ともいう。音圧に関するヘルムホルツ方程式(∇+k)p(r)=0を積分方程式として表したキルヒホッフ-ヘルムホルツ積分方程式は次式で表される。
Figure 0007445975000001
ここで、G(r|s)はグリーン関数と呼ばれ、(∇+k)G(r|s)=-δ(r-s)を満たす関数である。三次元音場では、グリーン関数の解の一つとして次式が知られている。
Figure 0007445975000002
これは、自由音場の点rに点音源(モノポール音源)がある場合の点sにおける音圧に等しい。また、∂G(r|s)/∂nは、法線n方向に設置した二重音源(ダイポール音源)と解釈できる。一般に、場を表す微分方程式を積分表示したときに境界上に現れるグリーン関数は、その場を生成する源と考えられてきた。従って、式(1)は次のように解釈できる。領域V内の音場p(s)は、境界面S上に配置された振幅∂p(r)/∂nのモノポール音源と、振幅-p(r)のダイポール音源とによって生成される。ここに、ホイヘンスの原理における音源の性質の数学的表現が現れていることがわかる。これを音場制御の原理として説明すると、次のようになる。領域V内の音場p(s)を再生するためには、原音場において境界面S上で音圧p(r)とその勾配∂p(r)/∂nを測定し、再生音場において同じ形の境界面上にモノポール音源とダイポール音源とを配置し、振幅がそれぞれ∂p(r)/∂n及び-p(r)となるように調整すればよい。積分方程式における「解の一意性」の条件が成立する境界面形状(例えば無限大の面)であればレイリー積分方程式が成立し、モノポール音源のみで積分方程式を表現できる。それでも、無限大の面をいかに近似できるか、モノポール音源をどのように作るかという問題が残る。
一方、数値計算で用いられる境界要素法の研究分野では、ホイヘンスの原理とは異なる文脈で積分方程式の数式展開が行われてきた。式(1)において境界面SをN個の微小な要素SAi(i=1,…,N)に分割し、各要素内では音圧p(r)及び音圧勾配∂p(r)/∂nが一定であると仮定した場合、式(1)は次のように離散化することが可能となる。
Figure 0007445975000003
ただし、gAi及びg’Aiは、領域V内における対象とする点sと境界要素rAiとの距離|rAi-s|から決まる係数であり、次のように表される。
Figure 0007445975000004
Figure 0007445975000005
すなわち、領域V内のある点sの音圧は、境界面S上の離散点の音圧及び音圧勾配にある係数を乗じ、それらの総和から求めることができると解釈できる。このように、境界要素法の定式化において用いられる積分方程式の物理的解釈では、ホイヘンスの原理のように境界面S上に音源が想定されていないことがわかる。
次に、2つの音場の相等性について説明する。
ある空間に領域Vの音場(原音場)を想定し、それとは別の空間に、領域Vと合同な領域Vの音場(再生音場)を想定する。領域Vの音場は、図5に示す領域Vの音場と同様に、閉曲面(境界面)Sで囲まれ、領域V内の点s、閉曲面S上の点r、及び閉曲面Sの法線nを有する。領域Vのキルヒホッフ-ヘルムホルツ積分方程式は次式で表される。
Figure 0007445975000006
Ai,g’Aiは距離|r-s|から決まる係数であると前述したが、これは積分方程式に現れるグリーン関数G(r|s)及びその法線方向微分∂G(r|s)/∂nに関しても同じである。すなわち、領域Vが領域Vと合同であれば、グリーン関数及びその法線方向微分は領域V及び領域Vにおいて同じ値になる。このことは次式で表される。
Figure 0007445975000007
従って、式(1)、式(3)、及び式(4)から次式が導かれる。
Figure 0007445975000008
式(5)は、原音場においてある領域を囲む境界面上の音圧及び粒子速度(音圧勾配)を測定し、それらが再生音場において(相対的に)同じ位置で再生されたとき、原音場における領域内音場は再生音場に完全に再生されることを意味する。これを境界音場制御の原理と定義する。
次に、境界音場制御の原理に基づいて音場制御システムを実現する方法について述べる。
音場は、音圧に基づいて以下のように再現される。
法線方向の音圧勾配は次のような差分近似により表される。
Figure 0007445975000009
すなわち、音圧勾配は、境界面SAiにおける法線上の2点rAi±nAiの音圧から求めることができる。音圧についても、2点の平均による差分近似を用いて次式のように表すことができる。
Figure 0007445975000010
音圧勾配及び音圧の差分近似を用いて、式(2)は次式のように表される。
Figure 0007445975000011
ただし、jが奇数のとき、次式を満たす。
Figure 0007445975000012
また、jが偶数のとき、次式を満たす。
Figure 0007445975000013
このように、境界の離散化と、音圧勾配の音圧差による表現という2つの近似が成り立てば、2N個の点の音圧から一意的に領域V内の音場を決めることができる。
図6は、比較例に係る境界音場制御を行って取り込まれる音場及び再生される音場のモデルを説明するための図である。図6において、原音場における領域Vと、領域Vと合同となる再生音場における領域Vとを想定する。領域V,Vの両方において音場を一意的に決めることができる音圧制御点qAj,qBj(j=1,…,2N)(すなわち、マイクロホン11及び仮想的なマイクロホン11’)が存在する。
次に、解の一意性を利用してマイクロホンの個数を削減可能であることについて説明する。
領域の形状で決まる固有周波数以外では音圧のみで一意性が成立することが知られ、その場合にはM=Nとなる。領域V,Vの両方において音場を一意的に決めることができる最小個数の音圧制御点qAj,qBj(j=1,…,M)が存在するとき、次式が成り立つ。
Figure 0007445975000014
Figure 0007445975000015
音圧制御点の相対的位置が同一であれば、fAj=fBjとなるので、次式が導かれる。
Figure 0007445975000016
これは、原音場におけるM個の音圧制御点qAjにおいて音圧p(qAj)を測定し、再生音場における音圧制御点qBjにおいて音圧p(qBj)が原音場と等しくなるように音場を制御することができれば、原音場における領域V内の音場が再生音場における領域V内に再生されることを意味する。
次に、空間における複数のスピーカから複数のマイクロホンへの伝達関数の逆システムを表す逆システム行列を用いた音場の再現について説明する。
原音場における境界面S上の音圧及び粒子速度は、M個のマイクロホンで測定した音圧信号により再現可能と仮定し、その位置座標をqAj(j=1,…,M)とする。同様に、再生音場に設置するマイクロホンの位置座標をqBjとする。原音場でのマイクロホン出力信号から得られる逆システムの入力信号ベクトルを[XA,j]とする。ベクトル[XA,j]は1×M個の複素数を要素とする。再生音場におけるL個のスピーカからM個のマイクロホンへの伝達関数行列を[GB,ij]とする。行列[GB,ij]はL×M個の複素数を要素とする。逆システムの伝達関数行列を[HA,ji]とする。行列[HA,ji]はM×L個の複素数を要素とする。再生音場におけるマイクロホンからの出力信号ベクトルを[YB,j]とする。ベクトル[YB,j]は1×M個の複素数を要素とする。このとき、次式が成り立つ。
Figure 0007445975000017
ただし、XA,j=P(qAj),YB,j=P(qBj)である。ここで、式(1)が成立するためには、[YB,j]=[XA,j]となる行列[HA,ji]を求めればよい。
次に、逆システムの計算方法について説明する。
マイクロホンよりもスピーカの数が多い場合は逆システムを時間領域で求めることによりFIRシステムとして設計できるが、本システムのように多チャンネルシステムの逆システムを時間領域で求めることは困難である。周波数領域で求める場合には、式(8)を解くことにより逆システムを求めることができる。しかし、M<Lの場合には逆行列を一意に求めることができないので、最小ノルム解により求める方法が提案されている。最小ノルム解を与えるムーア・ペンローズ(MP)一般化逆行列は二次音源からの出力を最小化するので、比較的安定した逆システムの設計が期待できる。しかし、チャンネル数が増えれば条件数が過度に大きくなる可能性が増え、想定した時間範囲で収束する逆システムを設計することが困難となる。そこで安定した逆システムを設計する以下の方法が提案されている。
まず、正則化パラメータを用いる逆システムの計算方法について説明する。
一般化逆行列を求める際に、次式のように正則化パラメータβを乗じた単位行列を加える方法が提案されている。
Figure 0007445975000018
ただし[・]は行列の共役転置であり、βは正則化パラメータであり、IはM次元単位行列である。すなわち、正則化パラメータを加えることにより、行列の対角成分が大きくなるので、その逆行列から安定したFIRフィルタを設計することが可能となる。
次に、打ち切り特異値分解を用いる逆システムの計算方法について説明する。
M×L個の複素数を要素とする行列[GB,ijを特異値分解すると次のようになる。
Figure 0007445975000019
ただし、[D]は、M個の特異値d(j=1,…,M,d>dj+1)を対角要素とする行列である。行列[D]はM×M個の複素数を要素とする。[Oij]は、M×(L-M)個の要素を有するゼロ行列である。[Uij]及び[Vij]は、各特異値に対応する固有ベクトルを列ベクトルにもつユニタリ行列である。行列[Uij]はM×M個の複素数を要素とし、行列[Vij]はL×L個の複素数を要素とする。[・]は行列の転置である。このとき、行列[GB,ijのMP一般化逆行列[GB,ijは次式のように表される。
Figure 0007445975000020
ただし、[E]は、特異値の逆数1/dを対角要素とする行列である。行列[E]はM×M個の複素数を要素とする。打ち切り特異値分解による方法とは、特異値の逆数が最も大きいものから順に0に置き換えることにより、行列[GB,ijが過度に大きくなることを防ぐ方法である。これは、線形独立性が小さい音源からの出力を、その周波数成分に関しては出力しないことを意味する。このときMP一般化逆行列の真値からは離れてしまうことになるが、音場制御の全体的な精度は向上することが期待される。
次に、条件数抑制を用いる逆システムの計算方法について説明する。
特異値の値が小さい場合にはベクトルの線形独立性が小さくなり、逆システムの安定性が減少するが、これは他の特異値との相対的な比率によるものである。そこで最大特異値と最小特異値の比率、すなわち、次式の条件数cを用いてシステムの安定性を評価する方法が提案されている。
Figure 0007445975000021
前述の打ち切り特異値分解による方法では、強制的にランクを落とすことにより、最小特異値が大きくなるので、条件数は小さくなる。しかし、条件数を小さくするという目的であれば、ランクを落とさなくてもmax(d)/cよりも小さな特異値をmax(d)/cに置き換えれば、すなわち、次式を満たすことにより、一定の条件数cを保つことができる。
Figure 0007445975000022
上述の3手法は、いずれも近似的な逆システムを求めるので、周波数領域上では誤差は大きくなる。ただし、時間領域に変換したときに時間幅の制約により生じる誤差を軽減できるので、総合的には音場制御システムの性能は向上する。また、特異値を操作する方法は周波数毎に異なる特異値の要素を変更するので、個別のスピーカ出力に注目した場合に周波数軸上での連続性が失われることが懸念される。一方、正則化パラメータ法は、例えば、周波数帯域毎に正則化パラメータを決めるなどの方法により周波数軸上での連続性をある程度維持できる。
次に、正則化パラメータを用いる逆システムの詳細な設計方法について説明する。
オクターブ帯域毎に最適な正則化パラメータを決定する方法を提案する。中心周波数fのオクターブバンドがkからk番目(FFTポイント数はN個)までの周波数成分を含む場合、システムの伝達関数の時間信号は次式で表される。
Figure 0007445975000023
ただし、次式を用いる。
Figure 0007445975000024
ここで、FFTポイント数Nは、バンドパスフィルタの時間信号が巡回畳み込みによる時間軸上折り返し誤差が十分小さくなる大きさとする。同様に逆システムの時間信号は次式で表される。
Figure 0007445975000025
ただし、次式を用いる。
Figure 0007445975000026
また、逆システムの遅延をNとして、さらに時間幅N(N<2×N)の窓関数を乗じるので、最終的な逆システムの時間信号は次式で表される。
Figure 0007445975000027
ただし、ハニング窓を用いる場合、次式を満たす。
Figure 0007445975000028
システムと逆システムの畳み込みの行列、すなわち
Figure 0007445975000029
が、単位行列に相当する式、すなわち
Figure 0007445975000030
に等しくなれば、所望の逆システムを実現できる。
ただし、次式を用いる。
Figure 0007445975000031
従って、ある正則化パラメータβで中心周波数fの帯域に関する評価式は、次式で表される。
Figure 0007445975000032
信号レベルで表すと次式で表される。
Figure 0007445975000033
次に、正則化パラメータの設計例について説明する。
96個のスピーカ31を備えるスピーカアレイ装置30の内部に、80個のマイクロホン11を備えるマイクロホンアレイ装置10を配置し、スピーカ31からマイクロホン11への96×80=7680個のインパルス応答[Gij]’をサンプリング周波数48kHzで測定した。すべてのインパルス応答が2048点でほぼ収束することを確認した。FFTポイント数N=8192、逆システムの遅延N=4096、窓関数の時間幅N=4096とした。また、計算する中心周波数は、125Hz(ただし低域は20Hzまで含む)、250Hz、500Hz、1kHz、2kHz、4kHz、8kHz、16kHz(ただし高域は20kHzまで含む)の8種類とした。
正則化パラメータβは、以下の21種類(i=1,…,21)について計算した。
Figure 0007445975000034
表1は、信号対雑音比(SNR)の最大値をとる各中心周波数に関する正則化パラメータβの値とそのときのSNRを示す。
[表1]
―――――――――――――――――――――――――
周波数[Hz] β SNR[dB]
―――――――――――――――――――――――――
125以下 0.3162 -3.4
250 0.0562 -2.2
500 0.0032 0.6
1000 0.0056 5.9
2000 0.0178 17.1
4000 0.0100 19.6
8000 0.0316 19.2
16000 0.0032 19.0
―――――――――――――――――――――――――
表1の正則化パラメータβを用いて正則化パラメータ法により逆システムを設計した。本願発明者が行ったシミュレーションによれば、正則化パラメータβを用いることにより、正則化パラメータβを用いない場合よりも、低域の周波数が強調されることがわかった。低域周波数ではすべてのマイクロホンにおいて信号の相関が高くなるためである。また、全帯域(20Hz~20kHz)にわたるSNRは、最適化された正則化パラメータβの場合は6.7dBになり、正則化パラメータを用いない場合(-3.9dB)よりも、また、正則化パラメータβを直感的に決めた場合(4.8dB)よりも向上することがわかった。
次に、本実施形態に係るマイクロホンアレイ装置10の形状について説明する。
マイクロホンアレイ装置の小型化に関する数値計算及び実験の結果から、境界音場制御の原理における境界面Sは、マイクロホンの位置よりも外側に形成される可能性があることが示された。従って、境界面S上にマイクロホンを配置してきたこれまでの理論的な説明とは異なる、以下に説明するような新しいマイクロホンの配置方法を提案する。
図7は、実施形態に係る境界音場制御方式の原理を説明するための図である。図7に示すように、外側の閉曲面Sと内側の閉曲面Sとの間の領域Vにおける音場について考える。図7の外側の閉曲面Sは、図5の境界面Sに対応する。内側の閉曲面Sはある物体の表面であり、この物体は、表面において音響アドミタンスy(r)となる音響特性を有する。領域Vは、図5を参照して前述したように領域V内の点s、外側の閉曲面S上の点r、及び閉曲面Sの法線nを有し、さらに、内側の閉曲面S上の点r、及び閉曲面Sの法線nを有する。この場合、波動方程式及びその境界条件から、次式のようなキルヒホッフ-ヘルムホルツ積分方程式が得られる。
Figure 0007445975000035
ここで、C(s)は、点sが領域Vにある場合は1であり、点sが外側の閉曲面S又は内側の閉曲面S上にある場合は1/2である。
外側の閉曲面SをN個の微小な要素SAi(i=1,…,N)に分割し、内側の閉曲面SをN個の微小な要素Sai(i=1,…,N)に分割する。また、各要素内では音圧p(r)及び音圧勾配∂p(r)/∂nが一定であると仮定した場合、式(9)は次式のように離散化することが可能となる。
Figure 0007445975000036
ここで、gAi(s)、g’Ai(s)、gai(s)、及びg’ai(s)は、次式で表される。
Figure 0007445975000037
Figure 0007445975000038
Figure 0007445975000039
Figure 0007445975000040
言い換えると、gAi(s)及びg’Ai(s)は、領域V内における対象とする点sと境界要素rAiとの距離|rAi-s|から決まる係数である。また、gai(s)及びg’ai(s)は、領域V内における対象とする点sと境界要素raiとの距離|rai-s|から決まる係数である。
また、音響アドミタンスy(rai)から次式が得られる。
Figure 0007445975000041
式(10)に式(11)を代入し、また、点sが内側の閉曲面S上の点rajであるとすると、次式が得られる。
Figure 0007445975000042
j=1,…,Nとして、式(12)の連立方程式をつくると、次式が得られる。
Figure 0007445975000043
式(7)を導いた手順と同様に、音圧勾配∂p(rAi)/∂n及び音圧p(rAi)を、外側の閉曲面SAiにおける法線上の2点rAi±nAiの音圧で差分近似する。
Figure 0007445975000044
Figure 0007445975000045
この場合、式(13)の右辺は、l=1,…,Nに対して、次式のように表される。
Figure 0007445975000046
ただし、j(j=1,…,2N)が奇数のとき、次式を満たす。
Figure 0007445975000047
また、jが偶数のとき、次式を満たす。
Figure 0007445975000048
したがって、式(13)は次式で表される。
Figure 0007445975000049
式(15)は、行列及びベクトルを用いて次式のように表される。
Figure 0007445975000050
ここで、Iは単位行列であり、行列A,B及びベクトルP,Pは次式を満たす。
Figure 0007445975000051
Figure 0007445975000052
Figure 0007445975000053
Figure 0007445975000054
行列Bが正則である場合、式(16)の両辺に逆行列B-1を乗ずることにより、次式が得られる。
Figure 0007445975000055
次に、図7のモデルを参照して、原音場の内側の閉曲面Sに沿って複数のマイクロホンが配置される場合における、原音場及び再生音場の相等性について説明する。
図8は、実施形態に係る境界音場制御を行って取り込まれる音場及び再生される音場のモデルを説明するための図である。図8において、原音場における領域Vと、領域Vと合同となる再生音場における領域Vとを想定する。領域Vは、外側の閉曲面Sと内側の閉曲面Sとの間に存在し、内側の閉曲面Sに沿ってN個の音圧制御点qaj(すなわち、マイクロホン11)が設けられる。同様に、領域Vは、外側の閉曲面Sと内側の閉曲面Sとの間に存在し、内側の閉曲面Sに沿ってN個の音圧制御点qbj(すなわち、仮想的なマイクロホン11’)が設けられる。
式(8)では、外側の閉曲面Sに配置された複数のマイクロホン11によって取り込まれた音場を再現する逆システムを設計するために、以下の式を解いた。
Figure 0007445975000056
ここで、XA,j=P(qAj)及びYB,j=P(qBj)である。
同様に、内側の閉曲面Sに配置された複数のマイクロホン11によって取り込まれた音場を再現する逆システムを設計する場合は、次式を解けばよい。
Figure 0007445975000057
ここで、Xa,j=P(qaj)及びYb,j=P(qbj)である。また、行列[Gb,ij]は、再生音場における各スピーカから内側の閉曲面Sに配置された各マイクロホンへの伝達関数を示す。
複数のマイクロホン11が外側の閉曲面Sに配置される場合について前述した計算と同様に、[Ya,j]=[Xa,j]となるように、行列[Ha,ji]を解く。理想的な解が得られる場合は、次式を満たす。
Figure 0007445975000058
ここで式(17)の右辺に基づくB-1((1/2)I+A)を式(18)の両辺に左から乗じると、次式が得られる。
Figure 0007445975000059
ここで、原音場の外側の閉曲面Sにおけるマイクロホンの出力信号XA,j=P(qAj)は、内側の閉曲面Sに設置されたN個のマイクロホンにより計測される音圧信号p(qaj)(j=1,…,N)から予測可能であり、式(17)を用いて次式が得られる。
Figure 0007445975000060
同様に、再生音場の外側の閉曲面Sにおける仮想的なマイクロホンの出力信号YA,j=P(qBj)もまた、内側の閉曲面Sに設置されたN個のマイクロホンにより計測される音圧信号p(qbj)(j=1,…,N)から予測可能であり、次式が得られる。
Figure 0007445975000061
したがって、式(20)及び式(21)の右辺をそれぞれ式(19)に代入すると、次式が得られる。
Figure 0007445975000062
理想的な逆システムを設計できれば、[Ha,ji][Gb,ij]=Iとなるので、[YA,j]=[XA,j]となることがわかる。
以上から、B-1((1/2)I+A)が存在する場合、内側の閉曲面S,Sについて[Ya,j]=[Xa,j]を満たすように設計された音場再現システムは、外側の閉曲面S,Sについて[YA,j]=[XA,j]を満たす。従って、マイクロホンが配置された範囲よりもより広い範囲において音場を取り込み、また、マイクロホンが配置された範囲よりもより広い範囲において音場を再現することが可能となる。
以上の理論は、境界音場制御の原理に音響ホログラフィ理論を組み合わせたものである。境界音場制御によれば、原音場の境界面における音圧及び粒子速度を予測し、さらに、再生音場の境界面における音圧及び粒子速度を予測することで、逆システムを設計する。また、音響ホログラフィ理論によれば、小型のマイクロホンアレイ装置を用いて、それを取り囲む境界面上の音圧及び粒子速度を予測する。言い換えると、音響ホログラフィの理論的枠組みで行われるキルヒホッフ-ヘルムホルツ積分方程式を用いた任意形状の物体放射に関する逆問題解法の応用である。実際には、音響ホログラフィで行われる逆問題解法では解の一意性が問題となり、また積分方程式を用いる場合は禁止周波数の問題がある。しかしながら、境界面の形状及び離散化の条件を工夫することにより、これらの問題を軽減することが可能である。また、小型のマイクロホンアレイ装置を用いてより大きな外側の境界面における音圧及び粒子速度を求められることの理論的根拠として音響ホログラフィの理論的枠組みが適用できることは明らかである。ただし、実際には、外側の境界面上の音圧及び粒子速度を予測する必要はなく、原音場及び再生音場において同一のマイクロホンアレイ装置を用いることにより、予測変換式は打ち消される。従って、従来の音響ホログラフィ理論のように、外側の境界面の音場を予測する必要はない。
まとめると、本実施形態に係る音場制御システムでは、逆システム行列[Ha,ji]は以下のように計算される。
図9は、図1の音場制御装置20により逆システム行列[Ha,ji]を計算する方法を説明するための概略図である。音場制御装置20の計算装置23が、境界面S=Sの内部にマイクロホンアレイ装置10を配置したときに複数のスピーカ31からそれぞれ送信されて複数のマイクロホン11によってそれぞれ受信される複数のテスト信号に基づいて、空間における複数のスピーカ31から複数のマイクロホン11への伝達関数を表す伝達関数行列[Gb,ij]を計算し、伝達関数行列[Gb,ij]に基づいて逆システム行列[Ha,ji]を計算する。テスト信号として、例えば、インパルス信号を用いてもよい。
計算装置23は、テスト信号の周波数成分ごとに異なる正則化パラメータβを含む伝達関数行列[Gb,ij]の一般化逆行列として逆システム行列[Ha,ji]を計算してもよい。
計算装置23は、伝達関数行列[Gb,ij]を特異値分解し、予め決められたしきい値よりも小さい特異値をゼロで置き換えた伝達関数行列[Gb,ij]の一般化逆行列として逆システム行列[Ha,ji]を計算してもよい。
計算装置23は、伝達関数行列[Gb,ij]を特異値分解し、最大の特異値に対して予め決められた比率より小さい比率を有する特異値を、最大の特異値に対して予め決められた比率を有する値で置き換えた伝達関数行列[Gb,ij]の一般化逆行列として逆システム行列[Ha,ji]を計算してもよい。
次に、マイクロホンアレイ装置10のサイズについて検討する。
境界音場制御の原理に基づいて音場を再生する場合、原音場を取り込むために、また、逆システムを設計するために、従来、マイクロホンを境界面S上に設置することを設計方針としてきた(図6を参照)。従って、複数のマイクロホンを配置するために、聴取者の頭部を覆うことができるサイズで中空となるような構造を有するフレームが必要であった。従来、本発明者が使用してきたマイクロホンアレイ装置は、C80フラーレンの分子構造を模したフレームのノードに80個の全指向性マイクロホンを取り付けた構成を有し、そのサイズは聴取者の頭部が十分に収まるように直径約46cmとした。
境界音場制御の原理は、音場再現のみならず、アクティブノイズ制御、波面合成、指向制御等にも応用されている。性能向上を目的としてマイクロホンアレイ及びスピーカアレイの形状、指向性、制御アルゴリズムなどが検討されてきたが、いずれも目標とした制御領域を覆う仮想的な境界上に制御点が配置されてきた慣例が存在する。
一方で、これまで、コンサートホールの音、自然環境音などを収録し、再生室内の伝達関数の逆システムを畳み込むことにより音場再現実験及びアウトリーチ活動などを行ってきた経験から、音場の再生時にマイクロホンの境界面よりも外側に頭部を動かしても、音場再現の性能が大きくは失われないことがわかっている。すなわち、マイクロホンの位置に音場再現領域を生成する境界面があるわけではなく、その外側の領域に境界面が生成されている可能性がある。その場合には、マイクロホンアレイ装置のサイズは頭部の大きさにこだわる必要はなくなり、小型化することも可能となる。
本発明者が行った数値計算及び実験によれば、マイクロホンアレイ装置のフレームの直径を46cmから23cmへと小型化することにより、1.5kHz以下で若干再現精度が低下したが、1.5kHz以上ではむしろ再現精度は向上した。すなわち、マイクロホンアレイ装置を小型化しても、境界面の内部の空間における再現精度は低下しなかった。これらの結果によれば、境界音場制御の原理における制御対象となる境界面が、マイクロホンの位置よりも外側に生成されていると解釈することができる。
図8のモデルを考慮すると、複数のマイクロホン11を配置するために、従来のようなフレーム構造を有する支持部材ではなく、球面など、所定の曲面に沿って覆われた外表面を有する支持部材13を使用可能であることがわかる。
[第1の実施形態の変形例]
図10は、第1の変形例に係るマイクロホンアレイ装置10Aを示す図である。マイクロホンアレイ装置10Aは、支持部材13の外表面において、少なくとも1つの穴15を有する。穴15は、マイクロホン11を挿入するために使用されてもよい。また、穴15は、マイクロホンインターフェース12を操作又は保守するために使用されてもよく、マイクロホン11及びマイクロホンインターフェース12の間の信号線を保守するために使用されてもよい。また、穴15を介して、マイクロホンアレイ装置10Aの信号線16を引き出してもよい。
図11は、第2の変形例に係るマイクロホンアレイ装置10Bを示す図である。マイクロホンアレイ装置10Bは、楕円面の外表面を有する支持部材13Bを備える。
図12は、第3の変形例に係るマイクロホンアレイ装置10Cを示す図である。マイクロホンアレイ装置10Bは、立方体の外表面を有する支持部材13Cを備える。
本実施形態に係るマイクロホンアレイ装置の支持部材は、境界面Sよりも小さな閉曲面Sに沿って覆われた外表面を有する。ここで、「閉曲面」は、部分的に平面を含んでもよく、例えば、多面体の外表面(平面)を含んでもよい。従って、本実施形態に係るマイクロホンアレイ装置の支持部材の外表面は、球面、楕円面、又は立方体の外表面の形状に限らず、直方体、正多面体(正十二面体など)、又は他の多面体(例えば、球体又は楕円体に類似するように多数の面を有する多面体)の外表面の形状を有してもよい。
図13は、比較例に係るマイクロホンアレイ装置10Dを示す図である。マイクロホンアレイ装置10Dは、例えばC80フラーレンの分子構造に類似したフレーム13Dと、フレーム13Dのノード(頂点)に配置された複数のマイクロホン11とを備える。フレーム13Dは、一次元的なセグメント部材を組み合わせた構造を有する。前述したように、図13に示すような複雑なフレーム13Dを用いる場合、その製造に手間及びコストがかかる。一方、本実施形態に係るマイクロホンアレイ装置10,10A~10Cによれば、支持部材13,13B,13Cがフレーム13Dよりも簡単な構造を有するので、その製造の手間及びコストを小さくすることができる。
また、本実施形態によれば、図2の計算装置23を省略してもよい。この場合、記憶装置24には、予め計算された逆システム行列[Ha,ji]が格納される。
また、本実施形態によれば、逆システム行列[Ha,ji]を畳み込む前の音声信号を格納する記憶装置に代えて、逆システム行列[Ha,ji]を畳み込んだ後の音声信号を格納する記憶装置を備えてもよい。また、本実施形態によれば、音声信号を格納する記憶装置を省略してもよい。
[第1の実施形態の効果]
本実施形態に係るマイクロホンアレイ装置10によれば、支持部材13が簡単な構造を有するので、その製造の手間及びコストを小さくすることができる。
図13に示すようなフレーム13Dにマイクロホン11を配置している場合、マイクロホン11の個数を増やす必要が生じると、マイクロホン11を適切な位置に配置するようにフレームを再設計することは非常に手間がかかるか、又は困難である。一方、本実施形態に係るマイクロホンアレイ装置10によれば、支持部材13の外表面における任意の位置にマイクロホン11を配置することができるので、マイクロホン11の個数を容易に増やすことができる。
本実施形態に係るマイクロホンアレイ装置10によれば、マイクロホンインターフェース12を支持部材13の内部の空間に配置することができる。
図13の例では、複数のマイクロホン11は、閉曲面を覆うものでない、一次元的なセグメント部材を組み合わせた構造を有するフレーム13Dに配置される。音波は、フレーム13Dの周囲の空間及び内部の中空の空間を自由に伝搬可能である。一方、本実施形態に係るマイクロホンアレイ装置10によれば、図3等に示すように、複数のマイクロホン11は、閉曲面に沿って覆われた外表面を有する支持部材13に配置される。従って、本実施形態に係るマイクロホンアレイ装置10によれば、支持部材13の外表面において音波の反射、回り込みなどが発生することにより、図13の場合とは異なる特性(周波数、位相、振幅など)を有する音声信号が取り込まれる。
本実施形態に係る音場制御装置20によれば、マイクロホンアレイ装置10を用いて従来とは異なる特性を有する音声信号を取り込むことにより、従来とは異なる特性を有する境界音場制御が実行される。
本実施形態に係る音場制御システムによれば、逆システム行列[Ha,ji]を計算する際に、伝達関数行列[Gb,ij]の固有値などが原因となる非適切問題(ill-posed problem)を生じにくくできる可能性がある。
従来、アンビソニクス方式において、球面状の支持部材の外表面に配置された複数のスピーカを備えるマイクロホンアレイ装置を使用することがある。しかしながら、アンビソニクス方式による音場再現では、境界音場制御方式に比較して、再現可能な空間的領域のサイズが著しく小さい。従って、アンビソニクス方式による音場再現では、聴取者の頭部を包囲する空間的領域の音場を再現することは困難である。一方、本実施形態に係る音場制御システムによれば、逆システム行列を計算可能である限り、小さなマイクロホンアレイ装置10を用いながら、支持部材13の外表面よりも大きな境界面Sにおける音場、例えば、聴取者の頭部を包囲する音場を再現することができる。
[第2の実施形態]
第2の実施形態では、地理的に離れた場所に存在する複数のユーザがあたかも同じ場所に共在しているかのように音場を再生する音場制御システムについて説明する。
[第2の実施形態の構成]
図14は、第2の実施形態に係る音場制御システムの構成を示す概略図である。図14の音場制御システムは、マイクロホンアレイ装置10-1~10-2、音場制御装置20-1~20-2、及びスピーカアレイ装置30-1~30-1を備える。これらの構成要素は図1の対応する構成要素と同様に構成されるが、ただし、本実施形態では、マイクロホンアレイ装置10-1はスピーカアレイ装置30-1の内部に配置され、マイクロホンアレイ装置10-2はスピーカアレイ装置30-2の内部に配置される。また、
スピーカアレイ装置30-1の内部にはユーザ101がさらに存在し、スピーカアレイ装置30-2の内部にはユーザ102がさらに存在する。
マイクロホンアレイ装置10-1は、マイクロホンアレイ装置10-1を包囲する閉曲面である境界面SA-1における音場に関連する音声信号を取り込む。スピーカアレイ装置30-1は、マイクロホンアレイ装置10-1の近傍における閉曲面であって、後述する境界面SA-2のものと同じ形状及び寸法を有する閉曲面である境界面SB-1において所定の音場を生成する。スピーカアレイ装置30-1の複数のスピーカ31は、マイクロホンアレイ装置10-1に向けて、詳しくは、マイクロホンアレイ装置10-1の近傍における境界面SB-1に向けて配置される。複数のスピーカ31は、例えば、マイクロホンアレイ装置10-1及び境界面SB-1を包囲するように配置される。ユーザ101の頭部は、境界面SA-1の外部かつ境界面SB-1の内部に位置する。また、ユーザ101は、マイクロホンアレイ装置10-1から距離d1の位置にある。
マイクロホンアレイ装置10-2は、マイクロホンアレイ装置10-2を包囲する閉曲面である境界面SA-2における音場に関連する音声信号を取り込む。スピーカアレイ装置30-2は、マイクロホンアレイ装置10-2の近傍における閉曲面であって、境界面SA-1のものと同じ形状及び寸法を有する閉曲面である境界面SB-2において所定の音場を生成する。スピーカアレイ装置30-2の複数のスピーカ31は、マイクロホンアレイ装置10-2に向けて、詳しくは、マイクロホンアレイ装置10-2の近傍における境界面SB-2に向けて配置される。複数のスピーカ31は、例えば、マイクロホンアレイ装置10-2及び境界面SB-2を包囲するように配置される。ユーザ102の頭部は、境界面SA-2の外部かつ境界面SB-2の内部に位置する。また、ユーザ102は、マイクロホンアレイ装置10-2から距離d2の位置にある。
音場制御装置20-1は、図2を参照して説明したように、計算装置23、記憶装置24、信号処理装置25、及び記憶装置26等を備える。
音場制御装置20-1は、マイクロホンアレイ装置10-2によって取り込まれた第1の音声信号を境界音場制御方式により処理して生成した第2の音声信号をスピーカアレイ装置30-1により出力する。これにより、音場制御装置20-1は、マイクロホンアレイ装置10-2を包囲する閉曲面である境界面SA-2における音場を、境界面SA-2のものと同じ形状及び寸法を有する閉曲面である境界面SB-1において再生する。ここで、音場制御装置20-1は、マイクロホンアレイ装置10-2によって取り込まれた第1の音声信号をその記憶装置26にいったん格納する。音場制御装置20-1は、その記憶装置26から読み出した第1の音声信号を境界音場制御方式により処理する。
音場制御装置20-1は、スピーカアレイ装置30-1からユーザ101への伝達関数の逆システムを表す逆システム行列を使用する。逆システム行列を計算するため、まず、マイクロホンアレイ装置10-2に代えてマイクロホンアレイ装置10-1(又は他のマイクロホンアレイ装置10)を音場制御装置20-1に接続する。次いで、マイクロホンアレイ装置10-1の支持部材13の中心(すなわち、複数のマイクロホン11の中心)が、使用時にユーザ101の頭部の中心が位置する場所にあるように、スピーカアレイ装置30-1においてマイクロホンアレイ装置10-1を配置する。音場制御装置20-1の計算装置23は、スピーカアレイ装置30-1の複数のスピーカ31からマイクロホンアレイ装置10-1の複数のマイクロホン11への伝達関数の逆システムを表す逆システム行列であって、境界面SB-1における音場が境界面SA-2における音場に一致するように計算された逆システム行列を計算する。計算装置23は、計算された逆システム行列を記憶装置24に格納する。音場制御装置20-1の信号処理装置25は、記憶装置24から逆システム行列を読み出し、マイクロホンアレイ装置10-2によって取り込まれた音声信号に逆システム行列を畳み込んで、スピーカアレイ装置30-1から出力すべき音声信号を生成する。
音場制御装置20-2もまた、図2を参照して説明したように、計算装置23、記憶装置24、信号処理装置25、及び記憶装置26等を備える。
音場制御装置20-2は、マイクロホンアレイ装置10-1によって取り込まれた第3の音声信号を境界音場制御方式により処理して生成した第4の音声信号をスピーカアレイ装置30-2により出力する。これにより、音場制御装置20-2は、マイクロホンアレイ装置10-1を包囲する閉曲面である境界面SA-1における音場を、境界面SA-1のものと同じ形状及び寸法を有する閉曲面である境界面SB-2において再生する。ここで、音場制御装置20-2は、マイクロホンアレイ装置10-1によって取り込まれた第3の音声信号をその記憶装置26にいったん格納する。音場制御装置20-2は、その記憶装置26から読み出した第3の音声信号を境界音場制御方式により処理する。
音場制御装置20-2は、スピーカアレイ装置30-2からユーザ102への伝達関数の逆システムを表す逆システム行列を使用する。逆システム行列を計算するため、まず、マイクロホンアレイ装置10-1に代えてマイクロホンアレイ装置10-2(又は他のマイクロホンアレイ装置10)を音場制御装置20-2に接続する。次いで、マイクロホンアレイ装置10-2の支持部材13の中心(すなわち、複数のマイクロホン11の中心)が、使用時にユーザ102の頭部の中心が位置する場所にあるように、スピーカアレイ装置30-2においてマイクロホンアレイ装置10-2を配置する。音場制御装置20-2の計算装置23は、スピーカアレイ装置30-2の複数のスピーカ31からマイクロホンアレイ装置10-2の複数のマイクロホン11への伝達関数の逆システムを表す逆システム行列であって、境界面SB-2における音場が境界面SA-1における音場に一致するように計算された逆システム行列を計算する。計算装置23は、計算された逆システム行列を記憶装置24に格納する。音場制御装置20-2の信号処理装置25は、記憶装置24から逆システム行列を読み出し、マイクロホンアレイ装置10-1によって取り込まれた音声信号に逆システム行列を畳み込んで、スピーカアレイ装置30-2から出力すべき音声信号を生成する。
図14の音場制御システムによれば、音場制御装置20-1がその記憶装置26に予め格納されたユーザ102の発話を再生することにより、ユーザ101は、あたかもユーザ102がユーザ101から距離d2の位置に存在しているかのように、ユーザ102の発話を聴取することができる。同様に、音場制御装置20-2がその記憶装置26に予め格納されたユーザ101の発話を再生することにより、ユーザ102は、あたかもユーザ101がユーザ102から距離d1の位置に存在しているかのように、ユーザ101の発話を聴取することができる。これにより、図14の音場制御システムによれば、地理的に離れた場所に存在するユーザ101,102があたかも同じ場所に共在しているかのように音場を再生することができる。
前述したように、各マイクロホンアレイ装置10-1,10-2の支持部材13は例えば20~30cmの直径を有し、各境界面SA-1,SA-2は例えば50~60cmの直径を有する。第2の実施形態に係る音場制御システムによれば、従来よりも小型のマイクロホンアレイ装置10-1,10-2を用いることにより、図4を参照して説明したようにスピーカアレイ装置が限られた寸法を有する場合であっても、スピーカアレイ装置30-1,30-2の内部にマイクロホンアレイ装置10-1,10-2及びユーザ101,102がそれぞれ配置された音場制御システムを提供することができる。
マイクロホンアレイ装置10-1によって取り込まれた音声信号は、音場制御装置20-2に直接に送られてもよく、マイクロホンアレイ装置10-1の近傍の音場制御装置20-1の記憶装置26にいったん格納されてもよい。音場制御装置20-1の記憶装置26に格納された音声信号は、LANなどの通信回線を介して、又は、着脱可能な記憶媒体を用いて音場制御装置20-2に送られる。同様に、マイクロホンアレイ装置10-2によって取り込まれた音声信号は、音場制御装置20-1に直接に送られてもよく、マイクロホンアレイ装置10-2の近傍の音場制御装置20-2の記憶装置26にいったん格納されてもよい。音場制御装置20-2の記憶装置26に格納された音声信号は、LANなどの通信回線を介して、又は、着脱可能な記憶媒体を用いて音場制御装置20-1に送られる。
[第2の実施形態の効果]
本実施形態に係る音場制御システムによれば、地理的に離れた場所に存在する複数のユーザがあたかも同じ場所に共在しているかのように音場を再生することができる。
[第3の実施形態]
第2の実施形態では、各音場制御装置がその記憶装置に予め格納された音声信号を再生することにより、地理的に離れた場所に存在する複数のユーザがあたかも同じ場所に共在しているかのように音場を再生する場合について説明した。一方、第3の実施形態では、地理的に離れた場所に存在する複数のユーザがあたかも同じ場所に共在しているかのように、かつ、リアルタイムで対話可能であるように音場を再生する音場制御システムについて説明する。
[第3の実施形態の構成]
図15は、第3の実施形態に係る音場制御システムの構成を示す概略図である。図15の音場制御システムは、マイクロホンアレイ装置10-1~10-2、音場制御装置20A-1~20A-2、及びスピーカアレイ装置30-1~30-1を備える。図15のマイクロホンアレイ装置10-1~10-2及びスピーカアレイ装置30-1~30-1は、図1の対応する構成要素と同様に構成される。
図15の音場制御システムにおいて、マイクロホンアレイ装置10-1及びユーザ101は、図14の場合と同様にスピーカアレイ装置30-1の内部に配置される。同様に、図15の音場制御システムにおいて、マイクロホンアレイ装置10-2及びユーザ102は、図14の場合と同様にスピーカアレイ装置30-2の内部に配置される。
音場制御装置20A-1は、マイクロホンアレイ装置10-2によって取り込まれた第1の音声信号を境界音場制御方式により処理して生成した第2の音声信号をスピーカアレイ装置30-1により出力する。これにより、音場制御装置20A-1は、マイクロホンアレイ装置10-2を包囲する閉曲面である境界面SA-2における音場を、境界面SA-2のものと同じ形状及び寸法を有する閉曲面である境界面SB-1において再生する。
音場制御装置20A-2は、マイクロホンアレイ装置10-1によって取り込まれた第3の音声信号を境界音場制御方式により処理して生成した第4の音声信号をスピーカアレイ装置30-2により出力する。これにより、音場制御装置20A-2は、マイクロホンアレイ装置10-1を包囲する閉曲面である境界面SA-1における音場を、境界面SA-1のものと同じ形状及び寸法を有する閉曲面である境界面SB-2において再生する。
音場制御装置20A-1は、マイクロホンアレイ装置10-1によって取り込まれた第3の音声信号において、スピーカアレイ装置30-1により出力されてマイクロホンアレイ装置10-1によって取り込まれた音声信号成分を低減する第1のフィードバックキャンセラを備える。また、音場制御装置20A-2は、マイクロホンアレイ装置10-2によって取り込まれた第1の音声信号において、スピーカアレイ装置30-2により出力されてマイクロホンアレイ装置10-2によって取り込まれた音声信号成分を低減する第2のフィードバックキャンセラを備える。これにより、図15の音場制御システムによれば、地理的に離れた場所に存在する複数のユーザ101,102があたかも同じ場所に共在しているかのように、かつ、リアルタイムで対話可能であるように音場を再生することができる。
図16は、図15の音場制御システムの構成を示すブロック図である。
図16を参照すると、マイクロホンアレイ装置10-1は、マイクロホン11-1-1~11-1-M及びマイクロホンインターフェース(I/F)12-1を備える。マイクロホン11-1-1~11-1-M及びマイクロホンインターフェース12-1は、図2の対応する構成要素と同様に構成される。
図16を参照すると、マイクロホンアレイ装置10-2は、マイクロホン11-2-1~11-2-M及びマイクロホンインターフェース(I/F)12-2を備える。マイクロホン11-2-1~11-2-M及びマイクロホンインターフェース12-2は、図2の対応する構成要素と同様に構成される。
図16を参照すると、スピーカアレイ装置30-1は、スピーカ31-1-1~31-1-M及びスピーカインターフェース(I/F)32-1を備える。スピーカ31-1-1~31-1-M及びスピーカインターフェース32-1は、図2の対応する構成要素と同様に構成される。
図16を参照すると、スピーカアレイ装置30-2は、スピーカ31-2-1~31-2-M及びスピーカインターフェース(I/F)32-2を備える。スピーカ31-2-1~31-2-M及びスピーカインターフェース32-2は、図2の対応する構成要素と同様に構成される。
図16を参照すると、音場制御装置20A-1は、通信インターフェース(I/F)21-1a~21-1b、デマルチプレクサ(DEMUX)22-1a~22-1b、記憶装置24A-1a~24A-1b、信号処理装置25A-1a~25A-1b、マルチプレクサ(MUX)27-1a~27-1b、通信インターフェース(I/F)28-1a~28-1b、及び減算器29-1を備える。
通信インターフェース21-1aは、音場制御装置20A-2の通信インターフェース28-2b(後述)から、所定の通信方式で、マイクロホンアレイ装置10-2によって取り込まれた音声信号を受信する。ここで、マイクロホンアレイ装置10-2によって取り込まれて音場制御装置20A-2から受信される音声信号では、後述するように、スピーカアレイ装置30-2により出力されてマイクロホンアレイ装置10-2によって取り込まれた音声信号成分が低減されている。デマルチプレクサ22-1aは、通信インターフェース21-1aにおいて受信された信号をM個の信号に多重分離する。
記憶装置24A-1aは、スピーカアレイ装置30-1からユーザ101への伝達関数の逆システムを表す逆システム行列[Ha-1]を格納する。逆システム行列[Ha-1]は、第2の実施形態に係る音場制御装置20-1によって使用される逆システム行列と同様に計算される。
信号処理装置25A-1aは、記憶装置24A-1aから逆システム行列[Ha-1]を読み出し、マイクロホンアレイ装置10-2によって取り込まれた音声信号に逆システム行列[Ha-1]を畳み込んで、スピーカ31-1-1~31-1-Lから出力すべきL個の音声信号を生成する。
マルチプレクサ27-1aは、信号処理装置25A-1aから出力されたL個の信号を多重化する。通信インターフェース28-1aは、マルチプレクサ27-1aから出力された信号を所定の通信方式でスピーカアレイ装置30-1に送信する。
通信インターフェース21-1bは、マイクロホンアレイ装置10-1から所定の通信方式で信号を受信する。デマルチプレクサ22-1bは、通信インターフェース21-1bにおいて受信された信号をM個の信号に多重分離する。
記憶装置24A-1bは、空間における複数のスピーカ31-1-1~31-1-Lから複数のマイクロホン11-1-1~11-1-Mへの伝達関数を表す伝達関数行列[Gb-1]を格納する。伝達関数行列[Gb-1]は、空間における複数のスピーカ31-1-1~31-1-Lから複数のマイクロホン11-1-1~11-1-Mへの伝達関数の変化に応じて適応的に変更されてもよい。
信号処理装置25A-1bは、記憶装置24A-1bから伝達関数行列[Gb-1]を読み出し、信号処理装置25A-1aから出力されたL個の信号に伝達関数行列[Gb-1]を畳み込んで、マイクロホンアレイ装置10-1によって取り込まれた音声信号から除去すべき音声信号成分を表すM個の音声信号を生成する。
減算器29-1は、デマルチプレクサ22-1bの出力信号から信号処理装置25A-1bの出力信号を減算する。
記憶装置24A-1b、信号処理装置25A-1b、及び減算器29-1は、マイクロホンアレイ装置10-1によって取り込まれた音声信号において、スピーカアレイ装置30-1により出力されてマイクロホンアレイ装置10-1によって取り込まれた音声信号成分を低減するフィードバックキャンセラとして機能する。
マルチプレクサ27-1bは、減算器29-1から出力されたM個の信号を多重化する。通信インターフェース28-1bは、マルチプレクサ27-1bから出力された信号を所定の通信方式で音場制御装置20A-2の通信インターフェース21-2a(後述)に送信する。
図16を参照すると、音場制御装置20A-2は、通信インターフェース(I/F)21-2a~21-2b、デマルチプレクサ(DEMUX)22-2a~22-2b、記憶装置24A-2a~24A-2b、信号処理装置25A-2a~25A-2b、マルチプレクサ(MUX)27-2a~27-2b、通信インターフェース(I/F)28-2a~28-2b、及び減算器29-2を備える。
通信インターフェース21-2aは、音場制御装置20A-1の通信インターフェース28-1bから、所定の通信方式で、マイクロホンアレイ装置10-1によって取り込まれた音声信号を受信する。ここで、マイクロホンアレイ装置10-1によって取り込まれて音場制御装置20A-1から受信される音声信号では、スピーカアレイ装置30-1により出力されてマイクロホンアレイ装置10-1によって取り込まれた音声信号成分が低減されている。デマルチプレクサ22-2aは、通信インターフェース21-2aにおいて受信された信号をM個の信号に多重分離する。
記憶装置24A-2aは、スピーカアレイ装置30-2からユーザ102への伝達関数の逆システムを表す逆システム行列[Ha-2]を格納する。逆システム行列[Ha-2]は、第2の実施形態に係る音場制御装置20-2によって使用される逆システム行列と同様に計算される。
信号処理装置25A-2aは、記憶装置24A-2aから逆システム行列[Ha-2]を読み出し、マイクロホンアレイ装置10-1によって取り込まれた音声信号に逆システム行列[Ha-2]を畳み込んで、スピーカ31-2-1~31-2-Lから出力すべきL個の音声信号を生成する。
マルチプレクサ27-2aは、信号処理装置25A-2aから出力されたL個の信号を多重化する。通信インターフェース28-2aは、マルチプレクサ27-2aから出力された信号を所定の通信方式でスピーカアレイ装置30-2に送信する。
通信インターフェース21-2bは、マイクロホンアレイ装置10-2から所定の通信方式で信号を受信する。デマルチプレクサ22-2bは、通信インターフェース21-2bにおいて受信された信号をM個の信号に多重分離する。
記憶装置24A-2bは、空間における複数のスピーカ31-2-1~31-2-Lから複数のマイクロホン11-2-1~11-2-Mへの伝達関数を表す伝達関数行列[Gb-2]を格納する。伝達関数行列[Gb-2]は、空間における複数のスピーカ31-2-1~31-2-Lから複数のマイクロホン11-2-1~11-2-Mへの伝達関数の変化に応じて適応的に変更されてもよい。
信号処理装置25A-2bは、記憶装置24A-2bから伝達関数行列[Gb-2]を読み出し、信号処理装置25A-2aから出力されたL個の信号に伝達関数行列[Gb-2]を畳み込んで、マイクロホンアレイ装置10-2によって取り込まれた音声信号から除去すべき音声信号成分を表すM個の音声信号を生成する。
減算器29-2は、デマルチプレクサ22-2bの出力信号から信号処理装置25A-2bの出力信号を減算する。
記憶装置24A-2b、信号処理装置25A-2b、及び減算器29-2は、マイクロホンアレイ装置10-2によって取り込まれた音声信号において、スピーカアレイ装置30-2により出力されてマイクロホンアレイ装置10-2によって取り込まれた音声信号成分を低減するフィードバックキャンセラとして機能する。
マルチプレクサ27-2bは、減算器29-2から出力されたM個の信号を多重化する。通信インターフェース28-2bは、マルチプレクサ27-2bから出力された信号を所定の通信方式で音場制御装置20A-1の通信インターフェース21-1aに送信する。
図15の音場制御システムによれば、音場制御装置20-1,20-2がフィードバックキャンセラを備えたことにより、スピーカアレイ装置30-1,30-2の内部にマイクロホンアレイ装置10-1,10-2が配置されていても、エコー及びハウリングなどの影響を低減することができる。これにより、図15の音場制御システムによれば、地理的に離れた場所に存在するユーザ101,102があたかも同じ場所に共在しているかのように、かつ、リアルタイムで対話可能であるように音場を再生することができる。
第3の実施形態に係る音場制御システムによれば、従来よりも小型のマイクロホンアレイ装置10-1,10-2を用いることにより、図4を参照して説明したようにスピーカアレイ装置が限られた寸法を有する場合であっても、スピーカアレイ装置30-1,30-2の内部にマイクロホンアレイ装置10-1,10-2及びユーザ101,102がそれぞれ配置された音場制御システムを提供することができる。
マイクロホンアレイ装置10-1によって取り込まれた音声信号において、スピーカアレイ装置30-1により出力されてマイクロホンアレイ装置10-1によって取り込まれた音声信号成分を低減するフィードバックキャンセラは、音場制御装置20A-1,20A-2のいずれに設けられてもよい。同様に、マイクロホンアレイ装置10-2によって取り込まれた第1の音声信号において、スピーカアレイ装置30-2により出力されてマイクロホンアレイ装置10-2によって取り込まれた音声信号成分を低減する第2のフィードバックキャンセラは、音場制御装置20A-1,20A-2のいずれに設けられてもよい。
音場制御装置20A-1,20A-2のそれぞれは、図2の計算装置23及び記憶装置26をさらに備えてもよい。
音場制御装置20A-1~20A-2は、遅延時間を削減するために、FPGAなどの専用装置を用いて実装されてもよい。
[第3の実施形態の効果]
第3の実施形態に係る音場制御システムによれば、地理的に離れた場所に存在する複数のユーザがあたかも同じ場所に共在しているかのように、かつ、リアルタイムで対話可能であるように音場を再生することができる。
[第4の実施形態]
第4の実施形態では、提案するマイクロホンアレイ装置を用いて音場を収録する音場収録システムについて説明する。
図17は、第4の実施形態に係る音場収録システムの構成を示す概略図である。図17の音場収録システムは、マイクロホンアレイ装置10及び音場収録装置60を備える。図17のマイクロホンアレイ装置10は、図1のマイクロホンアレイ装置10と同様に構成される。
図18は、図17の音場収録システムの構成を示すブロック図である。音場収録装置60は、通信インターフェース(I/F)21、デマルチプレクサ(DEMUX)22、及び記憶装置26を備える。図18の通信インターフェース21、デマルチプレクサ22、及び記憶装置26は、図2の対応する構成要素と同様に構成される。図18の記憶装置26は、着脱可能な記憶媒体であってもよい。これにより、音場収録装置60は、マイクロホンアレイ装置10によって取り込まれた音声信号を格納する。
図18の記憶装置26に格納された音声信号は、音場を再生するために、後述する第5の実施形態に係る音場再生システムによって使用されてもよく、第1の実施形態に係る音場制御システムの音場制御装置20によって使用されてもよい。
本実施形態に係る音場収録システムによれば、図13に示すようなフレーム13Dに配置された複数のマイクロホン11に代えて、図3等に示すような支持部材13の外表面に配置された複数のマイクロホン11を用いることにより、従来とは異なる特性を有する音声信号を取り込むことができる。
[第5の実施形態]
第5の実施形態では、提案するマイクロホンアレイ装置を用いて収録された音場を再生する音場再生システムについて説明する。
図19は、第5の実施形態に係る音場再生システムの構成を示す概略図である。図19の音場再生システムは、スピーカアレイ装置30及び音場再生装置70を備える。図19のスピーカアレイ装置30は、図1のスピーカアレイ装置30と同様に構成される。
図20は、図19の音場再生システムの構成を示すブロック図である。音場再生装置70は、記憶装置24、信号処理装置25、記憶装置26、マルチプレクサ(MUX)27、及び通信インターフェース(I/F)28を備える。図20の記憶装置24、信号処理装置25、記憶装置26、マルチプレクサ27、及び通信インターフェース28は、図2の対応する構成要素と同様に構成される。図20の記憶装置26は、着脱可能な記憶媒体であってもよい。
図20の記憶装置26は、第1の実施形態に係る音場制御システムのマイクロホンアレイ装置10によって取り込まれた音声信号(すなわち、図2の記憶装置26に格納された音声信号)を格納してもよい。また、図20の記憶装置26は、第4の実施形態に係る音場収録システムのマイクロホンアレイ装置10によって取り込まれた音声信号(すなわち、図18の記憶装置26に格納された音声信号)を格納してもよい。
信号処理装置25は、記憶装置26から読み出された第1の音声信号を境界音場制御方式により処理して生成した第2の音声信号をスピーカアレイ装置30により出力することにより、境界面Sにおける音場を境界面Sにおいて再生する。
本実施形態に係る音場再生システムによれば、マイクロホンアレイ装置10を用いて取り込まれた従来とは異なる特性を有する音声信号を処理することにより、従来とは異なる特性を有する境界音場制御を実行することができる。
[他の変形例]
実施形態に係るスピーカアレイ装置は、複数のスピーカ31が所定領域を包囲するように配置されたもの、また、例えば図4に示すように、複数のスピーカ31が水平面内の全方向及び/又は上下方向に配置されたものに限定されない。複数のスピーカ31は、音場が再生される領域から見て所定方向のみに、例えば、ある平坦な面(1つの壁面など)に配置されてもよい。複数のスピーカ31がこのように配置された場合であっても、空間における複数のスピーカ31から複数のマイクロホン11への伝達関数の逆システムを表す逆システム行列を計算することができれば、所定の閉曲面である境界面における音場を取り込んで再生することができる。
本発明の各実施形態に係る音場制御システムによれば、所定の閉曲面である境界面における音場を取り込んで再生することができ、また、地理的に離れた場所に存在する複数のユーザがあたかも同じ場所に共在しているかのように音場を再生することができる。
10,10-1,10-2,10A~10C マイクロホンアレイ装置
11,11-1~11-M,11-1-1~11-1-M,11-2-1~11-2-M マイクロホン
12,12-1~12-2 マイクロホンインターフェース(I/F)
13,13B,13C 支持部材
14 台座
15 穴
16 信号線
20,20A-1,20A-2 音場制御装置
21,21-1a~21-2b 通信インターフェース(I/F)
22,22-1a~22-2b デマルチプレクサ(DEMUX)
23 計算装置
24,24A-1a~24A-2b 記憶装置
25,25A-1a~25A-2b 信号処理装置
26 記憶装置
27,27-1a~27-2b マルチプレクサ(MUX)
28,28-1a~28-2b 通信インターフェース(I/F)
29-1~29-2 減算器
30,30-1,30-2 スピーカアレイ装置
31,31-1~31-L,31-1-1~31-1-M,31-2-1~31-2-M スピーカ
32,32-1~32-2 スピーカインターフェース(I/F)
33 再生室
34 ドア
35 椅子
41-1~41-M 増幅器
42-1~42-M アナログ/ディジタル変換器(ADC)
43 マルチプレクサ(MUX)
44 通信インターフェース(I/F)
51 通信インターフェース(I/F)
52 デマルチプレクサ(DEMUX)
53-1~53-L ディジタル/アナログ変換器(DAC)
54-1~54-L 増幅器
60 音場収録装置
70 音場再生装置
101,102 ユーザ

Claims (16)

  1. 境界音場制御方式により音場を再生するために第1の閉曲面である境界面における音場に関連する音声信号を取り込むマイクロホンアレイ装置であって、
    前記第1の閉曲面よりも小さな第2の閉曲面に沿って覆われた外表面を有する支持部材と、
    前記支持部材の外表面にそれぞれ配置された複数のマイクロホンとを備え
    前記支持部材は、複数のセグメント部材を組み合わせたフレーム構造物を除く
    マイクロホンアレイ装置。
  2. 前記支持部材の外表面は、球面、楕円面、又は多面体の外表面の形状を有する、
    請求項1記載のマイクロホンアレイ装置。
  3. 前記支持部材の外表面は、少なくとも1つの穴を有する、
    請求項1又は2記載のマイクロホンアレイ装置。
  4. 前記支持部材の外表面を介して引き出される信号線を有する、
    請求項3記載のマイクロホンアレイ装置。
  5. 記マイクロホンアレイ装置によって取り込まれた前記音声信号は、前記境界音場制御方式により前記音場を再生するために利用される、
    請求項1~4のうちの1つに記載のマイクロホンアレイ装置。
  6. 請求項5記載のマイクロホンアレイ装置と、
    複数のスピーカを備えるスピーカアレイ装置と、
    前記マイクロホンアレイ装置によって取り込まれた第1の音声信号を前記境界音場制御方式により処理して生成した第2の音声信号を前記スピーカアレイ装置により出力することにより、前記マイクロホンアレイ装置を包囲する閉曲面である第1の境界面における音場を、前記第1の境界面のものと同じ形状及び寸法を有する閉曲面である第2の境界面において再生する音場制御装置とを備えた、
    音場制御システム。
  7. 前記音場制御装置は、
    空間における前記複数のスピーカから前記複数のマイクロホンへの伝達関数の逆システムを表す逆システム行列であって、前記第2の境界面における音場が前記第1の境界面における音場に一致するように計算された逆システム行列を格納した第1の記憶装置と、
    前記第1の音声信号に前記逆システム行列を畳み込んで前記第2の音声信号を生成する信号処理装置とを備えた、
    請求項6記載の音場制御システム。
  8. 前記第2の境界面の内部に前記マイクロホンアレイ装置を配置したときに前記複数のスピーカからそれぞれ送信されて前記複数のマイクロホンによってそれぞれ受信される複数のテスト信号に基づいて、前記空間における前記複数のスピーカから前記複数のマイクロホンへの伝達関数を表す伝達関数行列を計算し、前記伝達関数行列に基づいて前記逆システム行列を計算して前記第1の記憶装置に格納する計算装置をさらに備えた、
    請求項7記載の音場制御システム。
  9. 前記計算装置は、前記テスト信号の周波数成分ごとに異なる正則化パラメータを含む前記伝達関数行列の一般化逆行列として前記逆システム行列を計算する、
    請求項8記載の音場制御システム。
  10. 前記計算装置は、前記伝達関数行列を特異値分解し、予め決められたしきい値よりも小さい特異値をゼロで置き換えた前記伝達関数行列の一般化逆行列として前記逆システム行列を計算する、
    請求項8記載の音場制御システム。
  11. 前記計算装置は、前記伝達関数行列を特異値分解し、最大の特異値に対して予め決められた比率より小さい比率を有する特異値を、前記最大の特異値に対して予め決められた比率を有する値で置き換えた前記伝達関数行列の一般化逆行列として前記逆システム行列を計算する、
    請求項8記載の音場制御システム。
  12. 請求項5記載のマイクロホンアレイ装置である第1のマイクロホンアレイ装置と、
    前記第1のマイクロホンアレイ装置に向けてそれぞれ配置された複数の第1のスピーカを備える第1のスピーカアレイ装置と、
    請求項5記載のマイクロホンアレイ装置である第2のマイクロホンアレイ装置と、
    前記第2のマイクロホンアレイ装置に向けてそれぞれ配置された複数の第2のスピーカを備える第2のスピーカアレイ装置と、
    前記第2のマイクロホンアレイ装置によって取り込まれた第1の音声信号を前記境界音場制御方式により処理して生成した第2の音声信号を前記第1のスピーカアレイ装置により出力することにより、前記第2のマイクロホンアレイ装置を包囲する閉曲面である第1の境界面における音場を、前記第1の境界面のものと同じ形状及び寸法を有する閉曲面である第2の境界面において再生する第1の音場制御装置と、
    前記第1のマイクロホンアレイ装置によって取り込まれた第3の音声信号を前記境界音場制御方式により処理して生成した第4の音声信号を前記第2のスピーカアレイ装置により出力することにより、前記第1のマイクロホンアレイ装置を包囲する閉曲面である第3の境界面における音場を、前記第3の境界面のものと同じ形状及び寸法を有する閉曲面である第4の境界面において再生する第2の音場制御装置とを備えた、
    音場制御システム。
  13. 前記第1の音声信号を格納する第2の記憶装置と、
    前記第3の音声信号を格納する第3の記憶装置とをさらに備え、
    前記第1の音場制御装置は、前記第2の記憶装置から読み出した前記第1の音声信号を前記境界音場制御方式により処理し、
    前記第2の音場制御装置は、前記第3の記憶装置から読み出した前記第3の音声信号を前記境界音場制御方式により処理する、
    請求項12記載の音場制御システム。
  14. 前記第3の音声信号において、前記第1のスピーカアレイ装置により出力されて前記第1のマイクロホンアレイ装置によって取り込まれた音声信号成分を低減する第1のフィードバックキャンセラと、
    前記第1の音声信号において、前記第2のスピーカアレイ装置により出力されて前記第2のマイクロホンアレイ装置によって取り込まれた音声信号成分を低減する第2のフィードバックキャンセラとをさらに備えた、
    請求項12記載の音場制御システム。
  15. 請求項5記載のマイクロホンアレイ装置と、
    前記マイクロホンアレイ装置によって取り込まれた前記音声信号を格納する第4の記憶装置とを備えた、
    音場収録システム。
  16. 請求項5記載のマイクロホンアレイ装置によって取り込まれた前記音声信号を格納する第5の記憶装置と
    複数のスピーカを備えるスピーカアレイ装置と、
    前記第5の記憶装置から読み出された第1の音声信号を前記境界音場制御方式により処理して生成した第2の音声信号を前記スピーカアレイ装置により出力することにより、前記マイクロホンアレイ装置を包囲する閉曲面である第1の境界面における音場を、前記第1の境界面のものと同じ形状及び寸法を有する閉曲面である第2の境界面において再生する音場再生装置とを備えた、
    音場再生システム。
JP2020182929A 2020-10-30 2020-10-30 マイクロホンアレイ装置、音場制御システム、音場収録システム、及び音場再生システム Active JP7445975B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020182929A JP7445975B2 (ja) 2020-10-30 2020-10-30 マイクロホンアレイ装置、音場制御システム、音場収録システム、及び音場再生システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020182929A JP7445975B2 (ja) 2020-10-30 2020-10-30 マイクロホンアレイ装置、音場制御システム、音場収録システム、及び音場再生システム

Publications (2)

Publication Number Publication Date
JP2022073135A JP2022073135A (ja) 2022-05-17
JP7445975B2 true JP7445975B2 (ja) 2024-03-08

Family

ID=81604801

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020182929A Active JP7445975B2 (ja) 2020-10-30 2020-10-30 マイクロホンアレイ装置、音場制御システム、音場収録システム、及び音場再生システム

Country Status (1)

Country Link
JP (1) JP7445975B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007251406A (ja) 2006-03-14 2007-09-27 Yamaha Corp 音声信号送受信装置及び音声会議装置
JP2011182135A (ja) 2010-02-26 2011-09-15 Kyoto Univ 三次元音場再現システム
JP2015060007A (ja) 2013-09-17 2015-03-30 日本放送協会 逆システム設計方法、逆システム設計装置及びプログラム
JP2019029825A (ja) 2017-07-31 2019-02-21 ヤマハ株式会社 3次元音場制御装置および方法
JP2020088516A (ja) 2018-11-20 2020-06-04 株式会社竹中工務店 テレビ会議システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007251406A (ja) 2006-03-14 2007-09-27 Yamaha Corp 音声信号送受信装置及び音声会議装置
JP2011182135A (ja) 2010-02-26 2011-09-15 Kyoto Univ 三次元音場再現システム
JP2015060007A (ja) 2013-09-17 2015-03-30 日本放送協会 逆システム設計方法、逆システム設計装置及びプログラム
JP2019029825A (ja) 2017-07-31 2019-02-21 ヤマハ株式会社 3次元音場制御装置および方法
JP2020088516A (ja) 2018-11-20 2020-06-04 株式会社竹中工務店 テレビ会議システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
伊勢 史郎,"没入型聴覚ディスプレイ装置"音響樽"における逆システム設計法の検討",日本音響学会講演論文集,2014年09月,p.591-594
梶田 雄太郎ほか,"境界音場制御の原理に基づく音場再現システムのための小型マイクロホンアレイの開発",電子情報通信学会技術研究報告,2017年10月,第117巻, 第255号,p.35-39

Also Published As

Publication number Publication date
JP2022073135A (ja) 2022-05-17

Similar Documents

Publication Publication Date Title
JP7367785B2 (ja) 音声処理装置および方法、並びにプログラム
CN105323684B (zh) 声场合成近似方法、单极贡献确定装置及声音渲染系统
EP3320692B1 (en) Spatial audio processing apparatus
US6990205B1 (en) Apparatus and method for producing virtual acoustic sound
JP6030660B2 (ja) 音場のアンビソニックス表現を生成するために使われる剛体球上の球状マイクロホン・アレイの信号を処理する方法および装置
KR101333031B1 (ko) HRTFs을 나타내는 파라미터들의 생성 및 처리 방법 및디바이스
JP6113739B2 (ja) 音場のアンビソニックス表現を生成するために使われる剛体球上の球状マイクロホン・アレイの信号を処理する方法および装置
CN108702566B (zh) 用于有效记录3d声场的圆柱形麦克风阵列
JP2006508404A (ja) 仮想サウンド合成のためのラウドスピーカシステム
CN106535076B (zh) 一种立体声音响系统的空间校准方法及其移动终端设备
EP2747449A1 (en) Sound capture system
Sakamoto et al. Sound-space recording and binaural presentation system based on a 252-channel microphone array
JP2010109579A (ja) 音響出力素子アレイ及び音響出力方法
Gauthier et al. Experiments of multichannel least-square methods for sound field reproduction inside aircraft mock-up: Objective evaluations
JP2012109643A (ja) 音再現システム、音再現装置および音再現方法
JP7445975B2 (ja) マイクロホンアレイ装置、音場制御システム、音場収録システム、及び音場再生システム
Masiero et al. Review of the crosstalk cancellation filter technique
Spors et al. Sound field synthesis
Arend et al. Binaural reproduction of self-generated sound in virtual acoustic environments
Gauthier et al. Adaptive wave field synthesis for active sound field reproduction: Experimental results
Peled et al. Objective performance analysis of spherical microphone arrays for speech enhancement in rooms
Shabtai et al. Spherical array beamforming for binaural sound reproduction
JP5826712B2 (ja) マルチチャネルエコー消去装置、マルチチャネルエコー消去方法、およびプログラム
Ziemer et al. Wave field synthesis
JP2022541849A (ja) インイヤーマイクロフォンアレイの部分的hrtf補償又は予測

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240219

R150 Certificate of patent or registration of utility model

Ref document number: 7445975

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150