JP5657127B2 - 方向情報を取得する装置および方法、ならびにシステムおよびコンピュータプログラム - Google Patents

方向情報を取得する装置および方法、ならびにシステムおよびコンピュータプログラム Download PDF

Info

Publication number
JP5657127B2
JP5657127B2 JP2013535425A JP2013535425A JP5657127B2 JP 5657127 B2 JP5657127 B2 JP 5657127B2 JP 2013535425 A JP2013535425 A JP 2013535425A JP 2013535425 A JP2013535425 A JP 2013535425A JP 5657127 B2 JP5657127 B2 JP 5657127B2
Authority
JP
Japan
Prior art keywords
microphone
effective
direction information
microphone signal
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013535425A
Other languages
English (en)
Other versions
JP2013545382A (ja
Inventor
ファビアン キュヒ
ファビアン キュヒ
ガルド ジョバンニ デル
ガルド ジョバンニ デル
オリヴァー ティーアガルド
オリヴァー ティーアガルド
ヴィーレ プルッキ
ヴィーレ プルッキ
アホネン ユッカ
ユッカ アホネン
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2013545382A publication Critical patent/JP2013545382A/ja
Application granted granted Critical
Publication of JP5657127B2 publication Critical patent/JP5657127B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/05Application of the precedence or Haas effect, i.e. the effect of first wavefront, in order to improve sound-source localisation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

本発明の実施形態は、複数のマイクロフォン信号またはマイクロフォン信号の複数の成分から方向情報を取得する装置に関する。さらなる実施形態はそのような装置を備えるシステムに関する。さらなる実施形態は複数のマイクロフォン信号から方向情報を取得する方法に関する。
空間録音は、再生側でリスナーが録音の場にいたかのように音のイメージを感じるように、複数のマイクロフォンを用いて音場を収録することを目指している。空間録音の標準的なアプローチは、従来のステレオマイクロフォン、あるいは、例えばアンビソニックス(非特許文献1)で用いられているB−formatマイクロフォンのような指向性マイクロフォンのより高度な組み合わせを用いる。通常、これらの方法の大半はコインシデントマイクロフォン技術(coincident-microphone techniques)と呼ばれている。
あるいは、音場のパラメトリックな再現に基づく方法を適用することができる。これらはパラメトリック空間オーディオコーダと呼ばれる。これらの方法は、1つ以上のダウンミックス音声信号と、それに対応する空間サイド情報とを決定する。これらは、空間音響の知覚に関連している。その例が非特許文献2において論じられているような方向オーディオコーディング(DirAC:Directional Audio Coding)や、非特許文献3において提案されているいわゆる空間オーディオマイクロフォン(SAM:Spatial Audio Microphone)である。空間手掛かり情報は、周波数サブバンドにおいて決定され、本質的に音の到来方向(DOA:Direction-Of-Arrival)から成り、ときには音場の拡散性や他の統計的指標とからも構成される。合成段階において、ダウンミックス信号とパラメトリックサイド情報とに基づいて再生用の望ましいラウドスピーカー信号が決定される。
空間オーディオレコーディングに加えて、音場再現へのパラメトリックアプローチは、方向フィルタリング(非特許文献4)や音源定位(非特許文献5)のようなアプリケーションにも用いられている。これらの技術も音のDOAや音場の拡散性といった方向のパラメータに基づいている。
音場から方向情報、すなわち音の到来方向を推定する方法の1つは、マイクロフォンアレイを用いて異なるポイントで音場を測定することである。非特許文献6において、マイクロフォン信号間の相対的な時間遅延推定値を用いるいくつかのアプローチが提案されている。しかしながら、これらのアプローチは、マイクロフォン信号の位相情報を利用しており、必然的に空間エイリアシングをもたらすことになる。実際に、より高い周波数が解析されているときには波長はより短くなる。ある周波数、いわゆるエイリアシング周波数において、波長は、同一の位相の測定値が2以上の方向に対応し、その結果、(少なくとも付加的な先験情報なしでは)一義的な推定はできなくなる。
マイクロフォンアレイを用いて音のDOAを推定するには幅広い方法がある。通常のアプローチの概要が非特許文献6にまとめられている。これらのアプローチは、音のDOAを推定するために、マイクロフォン信号の位相関係を利用するということで共通している。しばしば、まず異なるセンサ間の時間差が決定され、それからアレイの幾何学的配列に関する知識が活用されて、対応するDOAが計算される。他のアプローチは、周波数サブバンドにおいて異なるマイクロフォン信号間の相関関係を評価して、音のDOAを推定する(非特許文献3および6)。
DirACでは、各周波数帯域のDOA推定値は、観測された音場で測定されたアクティブサウンドインテンシティベクトルに基づいて決定される。以下、DirACにおける方向のパラメータの推定を簡単にまとめる。周波数インデックスkおよび時間インデックスnにおいて、P(k,n)は音圧を表し、U(k,n)は粒子速度ベクトルを表すものとする。このとき、アクティブサウンドインテンシティベクトルは、
Figure 0005657127
(1)
のように求められる。
上付きのは共役複素数を表し、Re{ }は、複素数の実部である。ρ0は空気の平均密度を表している。そしてIa(k,n)の反対方向が音のDOA、
Figure 0005657127
(2)
を示す。
さらに音場の拡散性は、例えば、
Figure 0005657127
(3)
のように決定することができる。
実際には、粒子速度ベクトルは、しばしば差動マイクロフォンアレイと呼ばれる近くに離して配された全方向性マイクロフォンカプセルの音圧勾配から計算される。図2を考えると、粒子速度ベクトルのx成分は、例えば一対のマイクロフォンを用いて、
Figure 0005657127
(4)
のように計算することができる。ここでK(k)は周波数依存の正規化係数である。その値はマイクロフォンの構成、例えばマイクロフォンの距離および/あるいはそれらの指向性パターンに依存する。U(kn)の残る成分Uy(k,n)(およびUz(k,n))は適切なマイクロフォンのペアを複数組み合わせることによって同様に決定することができる。
非特許文献7に示されているように、空間のエイリアシングは、粒子速度ベクトルの位相情報に影響を与え、高い周波数においてアクティブサウンドインテンシティの推定に音圧勾配を用いることを妨げる。この空間エイリアシングが、DOA推定値に曖昧さを生じさせる。示されるように、アクティブサウンドインテンシティに基づいて一義的なDOA推定値を求めることができる場合の最大周波数fmaxは、マイクロフォンのペアの距離によって決まる。さらに、音場の拡散性のような方向パラメータの推定も影響される。距離dの全方向性マイクロフォンの場合、この最大周波数は、
Figure 0005657127
(5)
によって与えられる。ここでcは音の伝わる速さを表す。
典型的には、音場の方向情報を利用するアプリケーションの要求周波数の範囲は、実際のマクロフォンの構成について予想される空間エイリアシング限界fmaxよりも大きい。マイクロフォンの間隔dを減らすことは、空間エイリアシング限界fmaxを大きくすることになるが、大部分のアプリケーションにとっては実行可能な解決策ではないことに留意されたい。なぜなら、あまりにも小さいdは実際には低周波数での推定の信頼度を著しく低下させるからである。したがって、高周波数での現在の方向パラメータ推定技術の限界を克服する新たな方法が必要とされている。
P.G. Craven and M.A. Gerzon, US4042779 (A), 1977
M.A. Gerzon. Periphony, Width-height sound reproduction, J. Audio Eng. Soc., 21(1):2-10, 1973 V. Pulkki, Spatial sound reproduction with directional audio coding, J. Audio Eng. Soc., 55(6):503-516, June 2007 C. Faller, Microphone front-ends for spatial audio coders, in 125th AES Convention, Paper 7508, San Francisco, Oct. 2008 M. Kallinger, H. Ochsenfeld, G. Del Galdo, F. Kuech, D. Mahne, R. Schultz-Amling, and O. Thiergart, A spatial filtering approach for directional audio coding, in 126th AES Convention, Paper 7653, Munich, Germany, May 2009 O. Thiergart, R. Schultz-Amling, G. Del Galdo, D. Mahne, and F. Kuech, Localization of sound sources in reverberant environments based on directional audio coding parameters, in 127th AES Convention, Paper 7853, New York City, NY, USA, Oct. 2009 J. Chen, J. Benesty, and Y. Huang, Time delay estimation in room acoustic environments: An overview, in EURASIP Journal on Applied Signal Processing, Article ID 26503, 2006 M. Kallinger, F. Kuech, R. Schultz-Amling, G. Del Galdo, J. Ahonen, and V. Pulkki, Analysis and Adjustment of Planar Microphone Arrays for Application in Directional Audio Coding, in 124th AES Convention, Paper 7374, Amsterdam, the Netherlands, May 2008 H. Teutsch and W. Kellermann, Acoustic source detection and localization based on wavefield decomposition using circular microphone arrays, J. Acoust. Soc. Am., 5(120), 2006 R. Schmidt, Multiple emitter location and signal parameter estimation, IEEE Transactions on Antennas and Propagation, 34(3):276-280, 1986 F. Baumgarte and C. Faller, "Binaural Cue Coding - part I: Psychoacoustic fundamentals and design principles," IEEE Trans. Speech Audio Process., vol. 11, pp. 509-519, November 2003 M. Goodwin and J-M. Jot, "Analysis and synthesis for Universal Spatial Audio Coding," in Proc. AES 121st Convention, San Francisco, CA, USA, 2006 M. Kallinger, G. Del Galdo, F. Kuech, D. Mahne, and R. Schultz-Amling, "Spatial filtering using Directional Audio Coding parameters," in Proc. IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE Computer Society, pp. 217-220, 2009 J. Merimaa, "Applications of a 3-D microphone array," in Proc. AES 112th Convention, Munich, Germany, 2002 M.A. Gerzon, "The design of precisely coincident microphone arrays for stereo and surround sound," in Proc. AES 50th Convention, 1975 J. Eargle, "The microphone book," Focal Press, Boston, USA, 2001
本発明の実施形態の目的は、空間エイリアシング限界周波数より上で方向情報のよりよい決定を可能にするコンセプトを創出することである。
この目的は、請求項1による装置、請求項15および16によるシステム、請求項18による方法、ならびに請求項19によるコンピュータプログラムによって解決される。
実施形態は、複数のマイクロフォン信号から、またはマイクロフォン信号の複数の成分から方向情報を得る装置を提供する。ここで、異なる実効マイクロフォンルック方向がマイクロフォン信号または成分に関連づけられている。この装置は、マイクロフォン信号またはマイクロフォン信号の成分から大きさ値を求めるように構成されている結合器を備えている。さらに結合器は、任意の実効マイクロフォンルック方向を表す方向情報アイテムが、当該任意の実効マイクロフォンルック方向に関連付けられたマイクロフォン信号のあるいはマイクロフォン信号の成分の大きさ値に応じて重みづけられるように、実効マイクロフォンルック方向を表す方向情報アイテムを結合(例えば線形結合)して、方向情報を取得するように構成されている。
方向パラメータの推定における空間エイリアシングの問題は、マイクロフォン信号内の位相情報の曖昧さに起因することがわかっている。この問題を、マイクロフォン信号の大きさ値に基づいて方向情報を取得することによって克服することが本発明の実施形態のアイデアである。マイクロフォン信号の、あるいはマイクロフォン信号の成分の大きさ値に基づいて方向情報を取得することによって、方向情報を決定するのに位相情報を用いる伝統的なシステムにおいて発生し得るような曖昧さは、発生しないことがわかった。ゆえに、実施形態は、位相情報を用いて方向情報の決定を行うことができない(あるいは誤差を有するのみである)ような空間エイリアシング限界より上であっても方向情報の決定を可能にする。
言い換えると、マイクロフォン信号のあるいはマイクロフォン信号の成分の大きさ値を用いることは、空間エイリアシングまたは他の位相の歪みが予測される周波数領域内では特に有用である。なぜならこれらの位相の歪みは、大きさ値には影響を及ぼさず、それゆえに方向情報決定における曖昧さをもたらさないからである。
いくつかの実施形態によると、マイクロフォン信号に関連付けられた実効マイクロフォンルック方向は、そのマイクロフォン信号が取得されるマイクロフォンが最大応答(あるいは最高感度)を有する方向を表している。一例として、マイクロフォンは、ノンアイソトロピックなピックアップパターンを有する指向性マイクロフォンであってもよく、実効マイクロフォンルック方向はマイクロフォンのピックアップパターンが最大となるような方向として定義することができる。したがって、指向性マイクロフォンに関しては、例えばその指向性マイクロフォンのピックアップパターンを改変するオブジェクトがそのマイクロフォンの近くに配置されていないときに、実効マイクロフォンルック方向はマイクロフォンのルック方向(指向性マイクロフォンが最大感度を有する方向を表している)と等しくてもよい。もし指向性マイクロフォンが、そのピックアップパターンを改変する効果を持つオブジェクトの近くに配置されているなら、実効マイクロフォンルック方向はその指向性マイクロフォンのマイクロフォンルック方向とは異なり得る。このとき、実効マイクロフォンルック方向は、指向性マイクロフォンの最大応答を有する方向を示すとしてもよい。
全方向性マイクロフォンの場合には、その全方向性マイクロフォンの実効応答パターンは、例えばシャドウイングオブジェクト(そのマイクロフォンのピックアップパターンを改変する効果を有する)を用いて、整形された実効応答パターンが、その整形された実効応答パターンを有する全方向性マイクロフォンの最大応答の方向である実効マイクロフォンルック方向を有するように整形されてもよい。
さらなる実施形態によると、方向情報は、(例えばある周波数インデックスおよび時間インデックスで)音場が伝わってくる方向を向いている音場の方向情報であってもよい。複数のマイクロフォン信号が音場を表し得る。いくつかの実施形態によると、任意の実効マイクロフォンルック方向を表す方向情報アイテムは、当該任意の実効マイクロフォンルック方向を向いているベクトルであってもよい。さらなる実施形態によると、方向情報アイテムは、異なる実効マイクロフォンルック方向に関連付けられた方向情報アイテムが等しいノルム(しかし異なる方向)を有するような単位ベクトルであってもよい。したがって、結合器によって線形結合された重みづけされたベクトルのノルムは、その重みづけされたベクトルの方向情報アイテムに関連付けられたマイクロフォン信号の、あるいはマイクロフォン信号の成分の大きさ値によって決定される。
さらなる実施形態によると、マイクロフォン信号の、またはマイクロフォン信号の成分のスペクトルサブ領域を表している(マイクロフォン信号の成分としての)スペクトル係数の大きさを大きさ値が表すように、結合器が大きさ値を求めるように構成されてもよい。言い換えると、実施形態は、マイクロフォン信号を取得するのに用いられるマイクロフォンのスペクトルの大きさから、音場(例えば、時間周波数ドメインで解析された)の実際の情報を抽出してもよい。
さらなる実施形態によると、位相項が空間エイリアシング効果によりダメにされるときに、方向情報を取得する推定プロセスにおいて、マイクロフォン信号の(あるいはマイクロフォンスペクトルの)大きさ値(あるいは大きさ情報)のみが用いられる。
言い換えると、実施形態は、マイクロフォン信号のあるいはマイクロフォン信号の成分の大きさ情報およびスペクトルのみを用いる方向パラメータ推定のための装置および方法を、それぞれ創出する。
さらなる実施形態によると、方向パラメータ推定(方向情報)に基づく大きさの出力は、位相情報も考慮に入れる他の技術と組み合わせることができる。
さらなる実施形態によると、大きさ値は、マイクロフォン信号のあるいはその成分の大きさを表してもよい。
本発明の1つの実施形態による装置のブロック図を示す。 i=1,・・・,4で音圧信号Pi(k,n)を与える4個の全方向性カプセルを用いたマイクロホン構成を図示している。 カージオイドピックアップパターンを有する4個の指向性マイクロフォンを用いたマイクロフォン構成を図示している。 散乱およびシャドウイング効果を生じさせる剛体の円柱を採用したマイクロフォン構成を図示している。 図4に類似しているが、異なるマイクロフォン配置を採用したマイクロフォン構成を図示している。 散乱およびシャドウイング効果を生じさせる剛体の半球を採用したマイクロフォン構成を図示している。 シャドウイング効果を生じさせる剛体の球を採用した3Dマイクロフォン構成を図示している。 1つの実施形態による方法のフローチャートを示している。 1つの実施形態によるシステムのブロック図を示している。 本発明の他の実施形態によるシステムのブロック図を示している。 対向するマイクロフォン間の間隔がdである4個の全方向性マイクロフォンのアレイを図示している。 円柱の一端に取り付けられた4個の全方向性マイクロフォンのアレイを図示している。 全方向性マイクロフォンの振動板の周を波長で割ったものを表すkaの関数として指向性指数DIをデシベルで示す図である。 G.R.A.S.マイクロフォンの対数指向性パターンを示している。 G.R.A.S.マイクロフォンの対数指向性パターンを示している。 G.R.A.S.マイクロフォンの対数指向性パターンを示している。 AKGマイクロフォンの対数指向性パターンを示している。 AKGマイクロフォンの対数指向性パターンを示している。 AKGマイクロフォンの対数指向性パターンを示している。 二乗平均平方根誤差(RMSE)として表した指向性解析の結果を示している。 二乗平均平方根誤差(RMSE)として表した指向性解析の結果を示している。
本発明の実施形態は、添付の図面を用いて詳細に説明される。
添付の図面を用いて詳細に本発明の実施形態を説明する前に、同じあるいは機能的に等価な構成要素には同じ参照番号が付されており、同じ参照番号が付されている構成要素の説明の繰り返しは省略されているということを述べておく。したがって、同じ参照番号を有する構成要素は互いに入れ替え可能である。
<5.1 図1による装置>
図1は、本発明の1つの実施形態による装置100を示している。複数のマイクロフォン信号1031〜103N(P1〜PNとも表記する)またはマイクロフォン信号の複数の成分から方向情報101(d(k,n)とも表記する)を得る装置100は結合器105を備えている。結合器105は、マイクロフォン信号またはマイクロフォン信号の成分から大きさの値を求めるように構成されており、かつ、任意の実効マイクロフォンルック方向を表す方向情報アイテムがその任意の実効マイクロフォンルック方向に関連付けられたマイクロフォン信号のあるいはマイクロフォン信号の成分の大きさ値に応じて重みづけされるように、マイクロフォン信号1031〜103Nに関連付けられた実効マイクロフォンルック方向を表している方向情報アイテムを線形結合して、方向情報101を得るように構成されている。
i番目のマイクロフォン信号Piの成分は、Pi(k,n)と表され得る。マイクロフォン信号Piの成分Pi(k,n)は周波数インデックスkおよび時間インデックスnでのマイクロフォン信号Piの値であり得る。マイクロフォン信号Piはi番目のマイクロフォンから取得され得るとともに、異なる周波数インデックスkおよび時間インデックスnについての複数の成分Pi(k,n)からなる時間周波数表現において結合器105によって利用可能である。例えばマイクロフォン信号P1〜PNは、B−Formatマイクロフォンから取得することができるような音圧信号である。
したがって、各成分Pi(k,n)は時間周波数タイル(k,n)に対応し得る。結合器105は、大きさ値がマイクロフォン信号Piのスペクトルサブ領域を表すスペクトル係数の大きさを表すように、大きさ値を求めるように構成され得る。このスペクトル係数はマイクロフォン信号Piの成分Pi(k,n)であり得る。スペクトルサブ領域は、成分Pi(k,n)の周波数インデックスkによって定義される。さらに結合器105はマイクロフォン信号の時間周波数表現に基づいて方向情報101を取得するように構成され得る。ここで例えばマイクロフォン信号Piが複数の成分Pi(k,n)によって表され、各成分は時間周波数タイル(k,n)に関連付られている。
本願の導入部で述べたように、マイクロフォン信号P1〜PNのあるいはマイクロフォン信号の成分の大きさ値に基づいて方向情報d(k,n)を求めることによって、方向情報d(k,n)の決定は、マイクロフォン信号P1〜PNのより高い周波数であっても、例えばスペクトルエイリアシング周波数fmaxの周波数インデックスより上の周波数インデックスを有する成分Pi(k,n)〜PN(k,n)についても実現することができる。なぜなら空間エイリアシングや他の位相の歪みは起こりえないからである。
以下、本発明の一実施形態の詳細な一例を述べる。この例は、マイクロフォン信号のマグニチュードの組み合わせ(方向マグニチュードコンビネーション)、並びにそれがどのようにして図1に係る装置100によって行われるかに基づいている。方向情報d(k,n)は、DOA推定値とも表されるが、各マイクロフォン信号(あるいはマイクロフォン信号の各成分)のマグニチュードを二次元(2D)あるいは三次元(3D)空間において対応するベクトルとして解釈することによって求めることができる。
t(k,n)を、周波数インデックスk、時間インデックスnで音場が伝わってくる方向を向いている真のあるいは所望のベクトルとする。言い換えると、音のDOAがdt(k,n)の方向に対応する。音場からの方向情報を抽出することができるようにdt(k,n)を推定することが本発明の実施形態のゴールである。さらにb1,b2,・・・,bNをN個の指向性マイクロフォンのルック方向を向くベクトル(例えば単位ノルムベクトル)とする。指向性マイクロフォンのルック方向は、ピックアップパターンが最大となる方向として定義される。同様に、マイクロフォン構成に散乱/シャドウイングオブジェクトが含まれている場合、ベクトルb1,b2,・・・,bNは対応するマイクロフォンの最大応答の方向を向いている。
ベクトルb1,b2,・・・,bNは、第一から第Nのマイクロフォンの実効マイクロフォンルック方向を示す方向情報アイテムと指定され得る。この例では、方向情報アイテムは、対応する実効マイクロフォンルック方向を向くベクトルである。他の実施形態では、方向情報アイテムはスカラーであってもよく、例えば、対応するマイクロフォンのルック方向を表す角度であってもよい。
さらにこの例では、方向情報アイテムは、異なる実効マイクロフォンルック方向に関連付けられたベクトルが等しいノルムを有するような単位ノルムベクトルであり得る。
提案される方法は、マイクロフォンの実効マイクロフォンルック方向に対応するベクトルbiの和がゼロ(例えば許容差範囲内)であれば一番よく機能する。すなわち、
Figure 0005657127
(6)
である。
いくつかの実施形態では、許容差範囲は和を取得するのに用いられる方向情報アイテムの1つ(例えば最大ノルムを有する方向情報アイテム、最小ノルムを有する方向情報アイテム、あるいは和を取得するのに用いられる方向アイテムの全てのノルムの平均に最も近いノルムを有する方向情報アイテム)の±30%、±20%、±10%、±5%であってもよい。
いくつかの実施形態では、実効マイクロフォンルック方向は座標系に関して均等に分散されてはいないかもしれない。例えば、第一のマイクロフォンの第一実効マイクロフォンルック方向がEAST(例えば二次元座標系において0度)であり、第二のマイクロフォンの第二実効マイクロフォンルック方向はNORTH−EAST(例えば二次元座標系で45度)であり、第三のマイクロフォンの第三実効マイクロフォンルック方向はNORTH(例えば二次元座標系で90度)、第四のマイクロフォンの第四実効マイクロフォンルック方向はSOUTH−WEST(例えば二次元座標系で−135度)であるシステムを考えると、方向情報アイテムを単位ノルムベクトルとすれば、以下のようになる。
第一の実効マイクロフォンルック方向については、
Figure 0005657127
となる。
第二の実効マイクロフォンルック方向については、
Figure 0005657127
となる。
第三の実効マイクロフォンルック方向については、
Figure 0005657127
となる。
第四の実効マイクロフォンルック方向については、
Figure 0005657127
となる。
ここから、ベクトルのゼロでない和が導かれ、
Figure 0005657127
となる。
いくつかの実施形態にあるように、ベクトルの和をゼロにすることが望ましく、実効マイクロフォンルック方向を向くベクトルである方向情報アイテムは調整され得る。この例では、方向情報アイテムb4は、
Figure 0005657127
のように調整される。
その結果ベクトルの和bsumはゼロに等しくなる。したがって、
Figure 0005657127
となる。
言い換えると、いくつかの実施形態では、異なる実効マイクロフォンルック方向を向く異なる方向情報アイテムは異なるノルムをもってもよく、それは方向情報アイテムの和がゼロに等しくなるように選ばれ得る。
真のベクトルdt(k,n)の推定値d、およびそれゆえに、決定されるべき方向情報は、
Figure 0005657127
(7)
として定義することができる。ここでPi(k,n)は、周波数タイル(k,n)に関連付けられるi番目のマイクロフォンの信号(あるいはi番目のマイクロフォンのマイクロフォン信号Piの成分)を表す。
上記式(7)は、第一から第Nのマイクロフォンから取得されるマイクロフォン信号P1〜PNの成分P1(k,n)〜PN(k,n)の大きさ値によって重みづけられた第一のマイクロフォンから第Nのマイクロフォンの方向情報アイテムb1〜bNの線形結合を形成する。したがって、結合器105は、式(7)を計算して方向情報101(d(k,n))を取得してもよい。
式(7)からわかるように、結合器105は、任意の時間周波数タイル(k,n)の方向情報d(k,n)を得るために、その任意の時間周波数タイル(k,n)に関連付けられた大きさ値に応じて重みづけられた方向情報アイテムb1〜bNを線形に結合するように構成されてもよい。
さらなる実施形態によると、結合器105は、任意の時間周波数タイル(k,n)に関連付けられた大きさ値に応じてのみ重みづけられた方向情報アイテムb1〜bNを線形結合するように構成されてもよい。
さらに、式(7)から、結合器105は、複数の異なる時間周波数タイルについて、異なる実効マイクロフォンルック方向を表している同じ方向情報アイテムb1〜bN(これらは時間周波数タイルからは独立しているので)を線形結合するように構成されてもよいことがわかるが、方向情報アイテムはそれら異なる時間周波数タイルに関連付けられた大きさ値に応じて異なって重みづけされ得る。
方向情報アイテムb1〜bNは単位ベクトルであり得、方向情報アイテムbiと大きさ値とを乗算したものによって形成される重みづけされたベクトルのノルムは、大きさ値によって定義され得る。同一の実効マイクロフォンルック方向だが異なる時間周波数タイルについて重みづけされたベクトルは、同じ方向を持ち得るが、異なる時間周波数タイルの異なる大きさ値ゆえにノルムが異なることがある。
いくつかの実施形態によると、重みづけされた値は、スカラー値であってもよい。
式(7)におけるファクターκは自由に選んでもよい。κ=2で、対向するマイクロフォン(それらからマイクロフォン信号P1〜PNが得られる)が等距離である場合には、方向情報d(k,n)はアレイ(例えば2個のマイクロフォンのセット)の中心におけるエネルギ勾配に比例する。
言い換えると、結合器105は、大きさ値に基づいて二乗された大きさ値を求めるように構成されてもよい。二乗された大きさ値はマイクロフォン信号Piの成分Pi(k,n)のパワーを表している。さらに、結合器105は、方向情報アイテムbiが、対応する(i番目のマイクロフォンの)ルック方向に関連付けられたマイクロフォン信号Piの成分Pi(k,n)の二乗された大きさ値に応じて重みづけされるように、方向情報アイテムb1〜bNを線形結合するように構成され得る。
d(k,n)から、方位角φおよび仰角θで表される方向情報は、
Figure 0005657127
(8)
を考えると容易に求まる。
いくつかの応用において、2D解析のみが要求されているときには、例えば図3のように配置される4個の指向性マイクロフォンを採用することができる。この場合方向情報アイテムは、
Figure 0005657127
のように選ばれ得る。そして(7)は、
Figure 0005657127
となる。
同様にして、マイクロフォン構成に配置された剛体のオブジェクトの場合にもこのアプローチを適用することができる。例えば、図4および図5は、4個のマイクロフォンのアレイの中間に配置された円柱状オブジェクトの場合を図示している。図6には他の例が示されており、ここでは散乱オブジェクトは半球形状を有している。
3D形状の例を図7に示す。この例では6個のマイクロフォンが剛体の球上に分散されている。この場合には、ベクトルd(k,n)のz成分を上式(9)〜(14)と類似して求めることができる。すなわち、
Figure 0005657127
であり、これにより、
Figure 0005657127
(17)
となる。
本発明の実施形態における応用に適している指向性マイクロフォンのよく知られた3D構成は、特許文献1に記載されているようないわゆるA−formatマイクロフォンである。
提案される方向マグニチュードコンビネーションアプローチに従うためには、ある前提を満足することが必要である。指向性マイクロフォンを採用するのであれば、各マイクロフォンについて、そのピックアップパターンはマイクロフォンの向きあるいはルック方向に関してほぼ対称でなければならない。もし散乱/シャドウイングアプローチを用いるなら、散乱/シャドウイング効果は、最大応答の方向に関してほぼ対称でなければならない。これらの前提は、アレイを図3〜7に示す例におけるように構成すれば容易に満たされる。
<DirACにおける応用>
上記説明においては、方向情報(DOA)の推定のみを考慮している。方向コーディングという点からは、音場の拡散性についての情報がさらに必要となり得る。真っ向からのアプローチは、推定されたベクトルd(k,n)あるいは決定された方向情報をアクティブサウンドインテンシティベクトルIa(k,n)の反対方向と単に同一視するだけで求められる。すなわち、
Figure 0005657127
(18)
である。
これは、d(k,n)がエネルギ勾配に関連する情報を含んでいるので可能である。そして拡散性は式(3)により計算することができる。
<5.2 図8による方法>
本発明のさらなる実施形態は、複数のマイクロフォン信号から、あるいはマイクロフォン信号の複数の成分から方向情報を取得する方法を創出する。ここで、異なる実効マイクロフォンルック方向がマイクロフォン信号と関連付けられている。
このような方法800を図8のフローチャートに示す。方法800は、マイクロフォン信号あるいはマイクロフォン信号の成分から大きさ(マグニチュード)を求めるステップ801を有している。
さらに、方法800は、任意の実効マイクロフォンルック方向を表す方向情報アイテムが、対応する実効マイクロフォンルック方向に関連付けられたマイクロフォン信号あるいはマイクロフォン信号の成分の大きさ値に応じて重みづけされるように、実効マイクロフォンルック方向を表す方向情報アイテムを結合(例えば線形結合)して方向情報を得るステップ803を有している。
方法800は装置100によって(例えば装置100の結合器105によって)実行されてもよい。
以下、マイクロフォン信号を獲得し、これらのマイクロフォン信号から方向情報を得る実施形態による2つのシステムを図9および10を用いて説明する。
<5.3 図9および図10によるシステム>
通常知られているように、方向情報を抽出するのに音圧の大きさを使用するのは、全方向性マイクロフォンを用いるときには現実的ではない。実際、音が伝わってマイクロフォンに到達するまでの距離が異なるゆえの大きさの違いは、通常は測定するには小さすぎ、そのために大部分の公知のアルゴリズムは位相情報に主に頼っている。実施形態は、方向パラメータ推定における空間エイリアシングの問題を克服する。以下に述べるシステムは、到来方向に依存するマイクロフォン信号に測定可能な大きさの差が存在するように適切に設計されたマイクロフォンアレイを使用する。マイクロフォンスペクトルのこのマグニチュード情報(のみ)は、それから推定プロセスにおいて用いられる。位相項が空間エイリアシングの効果によってダメになるからである。
実施形態は、2個以上のマイクロフォンの、あるいは、例えばある軸の周りで回転させるなどして2か所以上に順に配置される1個のマイクロフォンのスペクトルの大きさのみから時間−周波数ドメインにおいて解析された音場の方向情報(DOAあるいは拡散性のような)を抽出することを包含している。これは、大きさが、到来方向に応じて予測可能なやり方で十分強く変化するときに可能である。これは2通りのやり方で実現することができる。すなわち、
1.互いに異なる方向を向く複数の指向性マイクロフォン(すなわち、カージオイ
ドマイクロフォンのようなノンアイソトロピックなピックアップパターンを有す
る)を採用するか、または、
2.各マイクロフォンあるいは各マイクロフォン位置について、それ特有の散乱お
よび/あるいはシャドウイング効果を実現する。これは、例えばマイクロフォン
構成の中心に物理的な物体を採用することによって実現することができる。適し
た物体は、散乱および/あるいはシャドウイング効果によって公知のやり方でマ
イクロフォン信号の大きさを変化させる。
図9に第一の方法を用いたシステムの例を示す。
<5.3.1 図9に係る指向性マイクロフォンを用いたシステム>
図9はシステム900のブロック図を示している。このシステムは装置、例えば図1に係る装置100を備えている。さらに、システム900は、装置100の複数のマイクロフォン信号の中の第一のマイクロフォン信号1031を取得するための第一の実効マイクロフォンルック方向9031を有する第一の指向性マイクロフォン9011を備えている。第一のマイクロフォン信号1031は第一のルック方向9031に関連付けられている。さらにシステム900は装置100の複数のマイクロフォン信号の中の第二のマイクロフォン信号1032を取得するための第二の実効マイクロフォンルック方向9032を有する第二の指向性マイクロフォン9012を備えている。第二のマイクロフォン信号1032は第二のルック方向9032に関連付けられている。また第一のルック方向9031は第二のルック方向9032とは異なる。例えば、ルック方向9031,9032は反対向きである。このコンセプトをさらに拡張したものを図3に示す。ここでは4個のカージオイドマイクロフォン(指向性マイクロフォン)はカルテシアン座標系の対向する方向を向いている。マイクロフォン位置は黒で囲んで示している。
指向性マイクロフォンを適用することによって、指向性マイクロフォン9011,9012間の大きさの差は、方向情報101を決定するのに十分なほど大きくすることができる。
第二の方法を用いて、全方向性マイクロフォンについて異なるマイクロフォン信号の大きさの強い変化を得るシステムの一例を図10に示す。
<5.3.2 図10に係る全方向性マイクロフォンを用いたシステム>
図10は、複数のマイクロフォン信号またはマイクロフォン信号の複数の成分から方向情報101を取得する装置、例えば図1に係る装置100を備えているシステム1000を示している。さらにシステム1000は、装置100の複数のマイクロフォン信号の中の第一のマイクロフォン信号1031を取得する第一の全方向性マイクロフォン10011を備えている。さらに、システム1000は、装置100の複数のマイクロフォン信号の中の第二のマイクロフォン信号1032を取得する第二の全方向性マイクロフォン10012を備えている。さらにシステム1000は、第一の全方向性マイクロフォン10011と第二の全方向性マイクロフォン10012との間に配置されており、第一の全方向性マイクロフォン10011の整形された実効応答パターンが第一の実効マイクロフォンルック方向10031を備え、第二の全方向性マイクロフォン10012の整形された実効パターンが第二の実効マイクロフォンルック方向10032を備えるように第一の全方向性マイクロフォン10011および第二の全方向性マイクロフォン10012の実効応答パターンを整形するシャドウイングオブジェクト1005(散乱オブジェクト1005とも表記される)を備えている。言い換えると、全方向性マイクロフォン10011,10012の間にシャドウイングオブジェクト1005を用いることによって、これら2つの全方向性マイクロフォン10011,10012の間の距離が小さいとしても全方向性マイクロフォン10011,10012間の測定可能な大きな大きさの違いを得ることができるように、全方向性マイクロフォン10011,10012の方向上の挙動を得ることができる。
システム1000のさらなるオプションとしての拡張を図4〜図6に示す。ここでは異なる形状オブジェクト(geometric object)を4個の(全方向性)マイクロフォンの従来のアレイの中間に配置している。
図4は、オブジェクト1005を用いて散乱およびシャドウイング効果を生じさせるマイクロフォン構成を図示している。図4のこの例では、オブジェクトは剛体の円柱である。4個の(全方向性)マイクロフォン10011〜10014のマイクロフォン位置は黒で囲んである。
図5は、図4に類似しているが、(剛体円柱の剛体の表面上で)異なるマイクロフォン配置を採用したマイクロフォン構成を図示している。4個の(全方向性)マイクロフォン10011〜10014のマイクロフォン位置を黒で囲んでいる。図5に示す例ではシャドウイングオブジェクト1005は剛体の円柱および剛体の表面を有している。
図6は、散乱およびシャドウイング効果を生じさせる他のオブジェクト1005を採用したマイクロフォン構成を図示している。この例では、オブジェクト1005は剛体の半球である(剛体の表面を有している)。4個の(全方向性)マイクロフォン10011〜10014のマイクロフォン位置を黒で囲んでいる。
さらに図7は、剛体の球上に分散された6個の(全方向性)マイクロフォン10011〜10016を用いた三次元DOA推定(三次元方向情報取得)の例を示している。言い換えると、図6はシャドウイング効果を生じさせるオブジェクト1005を採用した3Dマイクロフォン構成を図示している。この例ではオブジェクトは剛体の球である。(全方向性)マイクロフォン10011〜10016のマイクロフォン位置は黒で囲まれている。
図2〜7および図9〜10に示す異なるマイクロフォンによって発生される異なるマイクロフォン信号間の大きさの差から、実施形態は、図1に係る装置100に関連して説明されるアプローチに従って、方向情報を計算する。
さらなる実施形態によれば、第一の指向性マイクロフォン9011または第一の全方向性マイクロフォン10011および第二の指向性マイクロフォン9012または第二の全方向性マイクロフォン10012は、第一の実効マイクロフォンルック方向9031,10031を向くベクトルである第一の方向情報アイテムと第二の実効マイクロフォンルック方向9032,10032を向くベクトルである第二の方向情報アイテムとの和が第一の方向情報アイテムあるいは第二の方向情報アイテムの±5%、±10%、±20%、または±30%という許容差範囲内で0に等しくなるように構成されてもよい。
言い換えると、式(6)はシステム900,1000のマイクロフォンに適用され得、そこでbiは、i番目のマイクロフォンの実効ルック方向を向く単位ベクトルであるi番目のマイクロフォンの方向情報アイテムである。
以下、方向パラメータ推定にマイクロフォン信号の大きさ情報を用いる代替的な解決策を説明する。
<5.4 代替的な解決策>
<5.4.1 相関に基づくアプローチ>
このセクションでは、方向パラメータ推定にマイクロフォン信号の大きさ情報のみを用いる代替的なアプローチを提案する。それは、マイクロフォン信号のマグニチュードスペクトルと、モデルあるいは測定から求められた、それに対応する先験的に定められたマグニチュードスペクトルとの相関関係に基づいている。
i(k,n)=|Pi(k,n)|κがi番目のマイクロフォン信号の大きさ(マグニチュード)あるいはパワースペクトルを表すものとする。そしてN個のマイクロフォンの測定されたマグニチュードアレイ応答S(k,n)を、
Figure 0005657127
(19)
と定義する。
マイクロフォンアレイの対応するマグニチュードアレイマニフォールドは、SM(φ,k,n)によって表される。異なるルック方向あるいはアレイ内のオブジェクトによる散乱/シャドウイングを有する指向性マイクロフォンが用いられる場合には、マグニチュードアレイマニフォールドは、音φのDOAに明らかに依存する。音のDOAのアレイマニフォールドに対する影響は、実際のアレイ構成に依存し、マイクロフォン構成に含まれるマイクロフォンおよび/あるいは散乱オブジェクトの指向性パターンによって影響される。アレイマニフォールドは、音が異なる方向から再生されるようなアレイの測定から決定することができる。あるいは、物理モデルを適用することもできる。円柱状の散乱体がその表面上の音圧の分散に与える影響は、例えば、非特許文献8に記載されている。
音のDOAの所望の推定値を決定するために、マグニチュードアレイ応答とマグニチュードアレイマニフォールドとが相関づけられる。推定されるDOAは、
Figure 0005657127
(20)
による正規化相関の最大値に相当する。
ここではDOA推定の2Dの場合のみを提示したが、方位角および仰角を含む3DのDOA推定も同様にして行うことができるのは明らかである。
<5.4.2 雑音部分空間に基づくアプローチ>
このセクションでは、方向パラメータ推定にマイクロフォン信号の大きさ情報のみを用いる代替アプローチを提案する。それは、示されている例では大きさ情報のみを処理するという例外付きで、よく知られているrootMUSICアルゴリズム(非特許文献9)に基づいている。
S(k,n)を式(19)に定義されるように、測定されたマグニチュードアレイ応答とする。すべてのステップは各時間周波数ビンについて別々に実行されるので、以下ではkおよびnへの依存は省略する。相関行列Rは、
Figure 0005657127
(21)
で計算される。ここで(・)Hは共役転置を表し、E{・}は期待値演算子である。期待値は、普通、実際の応用においては時間的および/または空間的平均プロセスによって近似される。Rの固有値分解は、
Figure 0005657127
(22)
と書くことができる。ここでλ1・・・Nは固有値であり、Nはマイクロフォンあるいは測定位置の数である。今、強い平面波がマイクロフォンアレイに到達するとき、1つの相対的に大きい固有値λが求められ、他の固有値はすべてゼロに近い。後者の固有値に対応する固有ベクトルは、いわゆる雑音部分空間Qnを形成する。この行列は、最も大きい固有値に対応する固有ベクトルを含む、いわゆる信号部分空間Qsに直交する。いわゆるMUSICスペクトルは、
Figure 0005657127
(23)
で計算することができる。ここで調べられるステアリング方向φについてのステアリングベクトルs(φ)は、前のセクションにおいて紹介したアレイマニフォールドSMから得ることができる。MUSICスペクトルP(φ)は、ステアリング方向φが音の真のDOAと合うときに最大となる。したがって、音のDOAであるφDOAは、P(φ)が最大となるようなφを求めることによって決定することができる。すなわち、
Figure 0005657127
(24)
である。
以下、最適化されたマイクロフォンアレイからの音圧およびエネルギ勾配の組み合わせを用いる広帯域方向推定方法/装置についての本発明の詳細な実施形態の一例を説明する。
<5.5 組み合わせられた音圧およびエネルギ勾配を用いる方向推定の例>
<5.5.1 序論>
音の到来方向の解析は、マルチチャネルオーディオファイルから、または複数のマイクロフォン信号から空間音響のパラメトリックな表現を提供するいくつかのオーディオ再生技術において用いられている(非特許文献10、11、2および3)。空間音再生に加えて、解析された方向は、音源定位およびビームフォーミングのような応用でも用いることができる(非特許文献12および5)。この例では、さまざまな応用においての空間音の録音および再生のための処理技術、方向オーディオコーディング(DirAC)の観点で方向の解析を述べる(非特許文献2)。
一般的に、DirACにおける方向解析は、3Dサウンドインテンシティベクトルの測定に基づいており、音場の単一のポイントにおける音圧および粒子速度についての情報を必要とする。したがって、DirACは、全方向の信号およびカルテシアン座標に沿った3つのダイポール信号という形のB−format信号とともに用いられる。B−format信号は、近くに離して配置された、あるいは一致したマイクロフォンのアレイから取得することができる(非特許文献13および非特許文献14)。ここでは、正方形のアレイに配置された4個の全方向性マイクロフォンを用いたコンシューマレベルの解決策を用いる。運の悪いことに、このようなアレイからの音圧勾配として得られるダイポール信号は、高周波数で空間エイリアシングに悩まされる。その結果、アレイの間隔から得られる空間エイリアシング周波数より上では、方向は間違って推定される。
本例では、信頼できる方向推定を空間エイリアシング周波数よりも上に拡張する方法を現実の全方向性マイクロフォンを用いて提示する。この方法は、高周波数では、マイクロフォン自体が比較的短い波長の到来音を減衰させるという事実を用いている。このようなシャドウイングは、到来方向に依存する、アレイに配置されたマイクロフォンについて測定可能なマイクロフォン間のレベル差を生み出す。これにより、マイクロフォン信号間のエネルギ勾配を計算することによってサウンドインテンシティベクトルを近似することが可能になり、そしてさらにこれに基づいて到来方向を推定することも可能となる。また、マイクロフォンのサイズは、それより上ではレベル差がエネルギ勾配を都合よく用いるのに十分であるというような周波数限界を決定する。シャドウイングは、より大きなサイズではより低い周波数で効果を発揮する。また本例では、音圧およびエネルギ勾配の両方を用いる推定方法をマッチさせるように、マイクロフォンの振動板のサイズに応じて、アレイにおける間隔をどのように最適化するかについても論述する。
本例は以下のように構成されている。セクション5.5.2はB−format信号でエネルギ解析を用いる方向推定を説明し、それを全方向性マイクロフォンの正方形のアレイで生成することについてはセクション5.5.3で説明する。セクション5.5.4においては、エネルギ勾配を用いて方向を推定する方法を正方形のアレイの比較的大きなサイズのマイクロフォンで提示する。セクション5.5.5は、アレイにおけるマイクロフォン間隔を最適化する方法を提案する。方法の評価をセクション5.5.6において提示する。最後にセクション5.5.7において結論を述べる。
<5.5.2 エネルギ解析における方向推定>
エネルギ解析を用いた方向の推定は、音エネルギの正味の流入の方向および大きさを表すサウンドインテンシティベクトルに基づいている。解析については、音圧pおよび粒子速度uを、B−formatの全方向信号Wおよびダイポール信号(カルテシアン方向のX,YおよびZ)をそれぞれ用いて音場の1つのポイントにおいて推定することができるる。音場を調和させるために、ここで提示するDirACの実行においては、20msの時間窓で短時間フーリエ変換(STFT)として時間周波数解析をB−format信号に適用する。次に瞬間アクティブサウンドインテンシティ、
Figure 0005657127
((25)
を、ダイポールが、
Figure 0005657127
として表されるSTFT変換したB−format信号から各時間周波数タイルで計算する。ここで、tおよびfはそれぞれ時間および周波数であり、Z0は空中の音響インピーダンスである。加えてZ0=ρ0cであり、ρ0は空気の平均密度、cは音速である。方位角θおよび仰角φとしての音の到来方向は、サウンドインテンシティベクトルの方向の反対方向として定義される。
<5.5.3 水平面でB−format信号を取得するマイクロフォンアレイ>
図11は対向するマイクロフォン間の間隔がdである4個の全方向性マイクロフォンのアレイを示している。
近くに離して置かれた4個の全方向性マイクロフォンからなる図11に示されるアレイは、DirACにおいて方向の方位角θを推定するために水平B−format信号(W,XおよびY)を取得するのに用いられている(非特許文献12および非特許文献5)。典型的には、比較的小さいサイズのマイクロフォンが互いから数センチ(例えば2cm)離して配置される。このようなアレイを用いると、全方向信号Wはマイクロフォン信号の平均として生成することができ、ダイポール信号XおよびYは、
Figure 0005657127
(26)
のように対向するマイクロフォンの信号を互いから減算することによって音圧勾配として取得される。
ここで、P1,P2,P3およびP4はSTFT変換されたマイクロフォン信号であり、A(f)は周波数依存のイコライゼーション定数である。また、
Figure 0005657127
であり、jは虚数部、NはSTFTの周波数ビンまたはタイルの数、dは対向するマイクロフォン間の距離、fsはサンプリングレートである。
既に述べたように、到来音の半波長が対向するマイクロフォン間の距離よりも小さいときに、空間エイリアシングが音圧勾配において効果を発揮し、ダイポール信号を歪ませ始める。ゆえに、有効なダイポール信号の周波数上限を定義する理論上の空間エイリアシング周波数fsaは、
Figure 0005657127
(27)
のように計算され、この上限より上では方向は誤って推定される。
<5.5.4 エネルギ勾配を用いた方向推定>
空間エイリアシングとシャドウイングによるマイクロフォンの指向性とが高周波数での音圧勾配の利用を妨げるので、信頼できる方向推定について周波数の範囲を拡張する方法が望まれている。ここで、オンアクシス方向が外側かつ反対方向であるように配置された4個の全方向性マイクロフォンが提案される広帯域の方向推定方法において採用される。図12はこのようなアレイを示しており、平面波からの音エネルギの異なる量が異なるマイクロフォンで収録される。
図12に示すアレイの4個の全方向性マイクロフォン10011〜10014は円柱の一端に搭載されている。マイクロフォンのオンアクシス方向10031〜10034はアレイの中心から外側を向いている。このようなアレイは、エネルギ勾配を用いて音波の到来方向を推定するのに用いられる。
2DサウンドインテンシティベクトルのX軸成分、y軸成分が対向するマイクロフォンのパワースペクトルを、
Figure 0005657127
(28)
のように減算することによって近似されるとき、エネルギ差が2Dサウンドインテンシティベクトルの推定を可能にするものと仮定する。
到来平面波の方位角θはさらにインテンシティ近似、
Figure 0005657127
および、
Figure 0005657127
から求めることができる。上述した計算を都合よく行うためには、許容可能な信号対雑音比で測定するのに十分大きいマイクロフォン間レベル差が望ましい。ゆえに、比較的大きな振動板を有するマイクロフォンがアレイで用いられる。
エネルギ勾配を、マイクロフォンが比較的長い波長をもつ到来音波を減衰しないような低周波数で方向を推定するのに用いることができない場合がある。ゆえに、高周波数での音の方向の情報が、音圧勾配で求められた低周波数での方向の情報と組み合わされてもよい。技術間のクロスオーバーする周波数は、明らかに、式(27)により空間エイリアシング周波数fsaである。
<5.5.5 マイクロフォンアレイの間隔最適化>
前述したように、マイクロフォンによるシャドウイングがエネルギ勾配を計算するのに有効であるような周波数を、振動板のサイズが決定する。空間エイリアシング周波数fsaをエネルギ勾配を用いるための周波数限界値flimと合わせるには、マイクロフォンをアレイにおいて互いから適切な距離だけ離して配置しなければならない。ゆえに、あるサイズの振動板を有するマイクロフォン間の間隔を定義することをこのセクションで述べる。
全方向性マイクロフォンの周波数依存性の指向性指数は、
Figure 0005657127
(29)
のようにデシベルで計測することができる。ここでΔLは全ての方向にわたって積分されたトータルピックアップエネルギに対するオンアクシスピックアップエネルギの比である(非特許文献15)。さらに各周波数における指向性指数は、振動板の周と波長との比の値、
Figure 0005657127
(30)
に依存する。ここで、rは振動板の半径であり、λは波長である。またλ=c/flimである。比の値kaの関数としての指向性指数DIの依存性は、非特許文献15においてシミュレーションによって示されており、図13に示すように単調増加する関数である。
図13に示されるデシベルでの指向性指数DIは非特許文献15から改変されている。理論上の指数がkaの関数としてプロットされており、この関数は全方向性マイクロフォンの振動板の円周を波長で割ったものを表している。
このような依存性が、所望の指向性指数DIについての比の値kaを規定するのにここでは用いられる。本例では、DIはkaの値1を与える2.8dBと定義される。任意の指向性指数を有する最適化されたマイクロフォン間隔は、空間エイリアシング周波数fsaが周波数の限界値flimと等しいときに、式(27)および式(30)を採用することによって定義することができる。したがって最適化された間隔は、
Figure 0005657127
(31)
のように計算される。
<5.5.6 方向推定の評価>
ここでは本例で論じた方向推定方法を、無響測定およびシミュレーションを用いてDirAC解析において評価する。正方形内の4個のマイクロフォンを同時に測定するかわりに、比較的大きな振動板を有する一個の全方向性マイクロフォンを用いてインパルス応答を複数方向から測定した。次に、測定された応答を、図12に示すように正方形に配された4個の全方向性マイクロフォンのインパルス応答を推定するのに用いた。その結果、エネルギ勾配はマイクロフォンの振動板サイズに主に依存していた。したがってセクション5.5.5で述べたように間隔の最適化を検討することができる。明らかに、アレイの4個のマイクロフォンは、到来音波に、より効果的にシャドウイングを与え、方向推定は単一のマイクロフォンの場合からいくらか向上する。上述した評価は、異なる振動板サイズを有する2個の異なるマイクロフォンでも適用される。
インパルス応答は、無響チャンバ内で1.6mの距離にある移動可能なラウドスピーカ(Genelec 8030A)を用いて5°間隔で測定された。20〜20000Hzで1sの長さでの正弦波掃引を用いて異なる角度での測定を行った。A特性音圧レベルは75dBであった。測定は、直径1.27cm(0.5インチ)の振動板、直径2.1cm(0.8インチ)の振動板をそれぞれ有するG.R.A.S Type 40AIおよびAKG CK 62−ULS全方向性マイクロフォンを用いて行った。
シミュレーションにおいて、指向性指数DIは2.8dBと定義された。これは図13における値が1のときの比kaに対応する。式(31)における最適化されたマイクロフォン間隔によると、対向するマイクロフォンは、G.R.A.SおよびAKGマイクロフォンを用いて、それぞれ互いから2cmおよび3.3cmの距離だけ離してシミュレートされた。このような間隔では、8575Hzおよび5197Hzという空間エイリアシング周波数が結果として得られる。
図14および図15はG.R.A.SおよびAKGマイクロフォンでの指向性パターンを示しており、14Aは単一マイクロフォンのエネルギ、14Bは2個のマイクロフォン間の音圧勾配、そして14Cは2個のマイクロフォン間のエネルギ勾配である。
図14はG.R.A.Sマイクロフォンを用いたときの対数指向性パターンである。パターンは正規化されており、8kHz(参照番号1401の曲線)、10kHz(参照番号1403の曲線)、12.5kHz(参照番号1405の曲線)および16kHz(参照番号1407の曲線)の中心周波数を有する1/3オクターブ帯域でプロットされている。±1dBの偏差を有する理想的なダイポールについてのパターンは、14Bおよび14Cにおいてエリア1409で表している。
図15はAKGマイクロフォンを用いたときの対数指向性パターンである。パターンは正規化されており、5kHz(参照番号1501の曲線)、8kHz(参照番号1503の曲線)、12.5kHz(参照番号1505の曲線)および16kHz(参照番号1507の曲線)の中心周波数を有する1/3オクターブ帯域でプロットされている。±1dBの偏差を有する理想的なダイポールについてのパターンは、15Bおよび15Dにおいてエリア1509で表している。
正規化されたパターンは、8575Hz(G.R.A.S)および5197Hz(AKG)の理論上の空間エイリアシング周波数の近くから始まる中心周波数を有するいくつかの1/3オクターブ帯域でプロットされている。G.R.A.SおよびAKGマイクロフォンで異なる中心周波数が用いられていることに留意されたい。さらに、±1dB偏差を持つ理想的なダイポールについての指向性パターンを音圧およびエネルギ勾配のプロット内にエリア1409、1509として表している。図14Aおよび図15Aのパターンは、個々の全方向性マイクロフォンが、シャドウイングのせいで高周波数で著しい指向性を有していることを明らかにしている。アレイ内の間隔を2cmとしたG.R.A.Sマイクロフォンの場合、音圧勾配として得られるダイポールは、図14Bにおいて周波数の関数として広がる。エネルギ勾配はダイポールパターンを生成するが、図14Cにおける12.5kHzおよび16kHzにおいて理想的なものよりはいくぶん狭い。アレイ内の間隔を3.3cmとしたAKGマイクロフォンの場合、音圧勾配の指向性パターンは8kHz、12.5kHzおよび16kHzで広がって歪むのに対して、エネルギ勾配を用いると、ダイポールパターンは周波数の関数として減少するが、しかしながら理想的なダイポールと類似している。
図16は、G.R.A.SおよびAKGマイクロフォンの測定された応答をそれぞれ16Aおよび16Bにおけるマイクロフォンアレイをシミュレートするのに用いたときの、周波数に沿った二乗平均平方根誤差(RMSE)としての方向解析結果を示している。
図16では、現実のマイクロフォンの測定されたインパルス応答を用いてモデル化した4個の全方向性マイクロフォンのアレイを用いて方向を推定した。
0°,5°,10°,15°,20°,25°,30°,35°,40°および45°で白色雑音サンプルを用いてマイクロフォンのインパルス応答のコンボリューションを行い、そしてDirAC解析において20msSTFT窓内で方向を推定することによって、方向解析を行った。結果を視覚的に精査すると、方向は、16Aにおいては10kHz、16Bにおいては6.5kHzの周波数までは音圧勾配を用いて、それらの周波数よりも上ではエネルギ勾配を用いて正確に推定されることがわかる。しかしながら前記周波数は、それぞれ、2cmおよび3.3cmという最適化されたマイクロフォン間隔での理論上の空間エイリアシング周波数8575Hzおよび5197Hzよりもいくぶん高い。また、音圧勾配、エネルギ勾配の両方を用いる有効な方向推定の周波数の範囲は、16AにおけるG.R.A.Sマイクロフォンでは8kHzから10kHzに存在し、16BにおけるAKGマイクロフォンでは3kHzから6.5kHzに存在する。任意の値でのマイクロフォン間隔の最適化は、これらの場合によい推定を与えると思われる。
<5.5.7 結論>
本例は、全方向性マイクロフォン間の音圧およびエネルギ勾配がそれぞれ低周波数、高周波数で計算され、サウンドインテンシティベクトルを推定するのに用いられるときに、広いオーディオ周波数範囲で音の到来方向を解析する装置/方法を提示する。この方法/装置は、高周波数でエネルギ勾配を計算するために測定可能なマイクロフォン間レベル差を提供するような比較的大きな振動板サイズを有する反対方向を向いている4個の全方向性マイクロフォンからなるアレイとともに用いられた。
提示された方法/装置は、広いオーディオ周波数範囲で信頼できる方向推定を与えることがわかった。一方、音場のエネルギ解析において音圧勾配のみを採用する従来の方法/装置は、空間エイリアシングに悩まされており、それゆえに高周波数で大きく間違った方向推定を提供する。
まとめると、本例は、近くに離して置かれた全方向性マイクロフォンの音圧およびエネルギ勾配から周波数に依存してサウンドインテンシティを計算することによって音の方向を推定する方法/装置を示した。言い換えると、実施形態は、近くに離して置かれた全方向性マイクロフォンの音圧およびエネルギ勾配から周波数に依存して方向情報を推定するように構成された装置および/あるいは方法を提供する。比較的大きな振動板を有し、音波についてシャドウイングを生じさせるマイクロフォンが、高周波数で都合よくエネルギ勾配を計算するために十分大きいマイクロフォン間レベル差を与えるのにここでは用いられた。本例は、空間音処理技術、方向オーディオコーディング(DirAC)の方向解析において評価された。この方法/この装置は全オーディオ周波数の範囲で信頼できる方向推定情報を提供するのに対して、音圧勾配のみを採用した従来の方法は高周波数で大きく間違った推定を与えることがわかった。
本例から、さらなる実施形態においては、第一の周波数範囲(例えば空間エイリアシング限界より上)において、マイクロフォン信号のあるいはマイクロフォン信号の成分の大きさの値に基づいて、かつ位相とは独立して方向情報を得るように、本実施形態による装置の結合器が構成されることがわかるであろう。さらに、その結合器を、第二の周波数範囲(例えば空間エイリアシング限界より下)におけるマイクロフォン信号の、あるいはマイクロフォン信号の成分の位相に依存して方向情報を得るように構成してもよい。言い換えると、本発明の実施形態は、第一の周波数範囲では方向情報はマイクロフォン信号の、あるいはマイクロフォン信号の成分の大きさのみに基づくように、また第二の周波数範囲では方向情報は、マイクロフォン信号の、あるいはマイクロフォン信号の成分の位相にさらに基づくように、周波数選択的な方向情報を得るように構成されてもよい。
<6.まとめ>
まとめると、本発明の実施形態は、マイクロフォンスペクトルの大きさ(のみ)を考慮することにより音場の方向パラメータを推定する。これは、実際にはマイクロフォン信号のマイクロフォンの位相情報が不明瞭な場合に、すなわち空間エイリアシングが起こるときに特に有用である。所望の方向情報を抽出するために、本発明の実施形態(例えばシステム900)は、異なるルック方向を有する指向性マイクロフォンの適切な構成を用いる。あるいは(例えばシステム1000内)、方向依存の散乱およびシェーディング効果を生じさせるオブジェクトをマイクロフォン構成に含めることができる。ある商用マイクロフォン(例えば大きな振動板のマイクロフォン)において、マイクロフォンカプセルは比較的大きなハウジング内に搭載されている。結果として起こるシャドウイング/散乱効果は、本発明のコンセプトを用いるには既に十分であり得る。さらなる実施形態によると、マイクロフォン信号の位相情報も考慮に入れる、本発明の実施形態によって行われる大きさに基づくパラメータ推定は、伝統的な推定方法との組み合わせで適用されることもできる。
まとめると、実施形態は、方向的な大きさの変化に対する空間的なパラメータ推定を提供する。
装置との関連でいくつかの態様を説明したが、これらの態様は、対応する方法の説明も表していることは明らかである。対応する方法では、ブロックまたは装置が方法のステップあるいは方法のステップの特徴に対応する。同様に、方法のステップに関連して述べた態様も、対応する装置の対応するブロック、アイテムまたは特徴の説明を表している。方法のステップのいくつか、あるいは全ては、例えば、マイクロプロセッサ、プログラム可能なコンピュータ、または電子回路のようなハードウェア装置によって(あるいは用いて)実行され得る。いくつかの実施形態において、最も重要な方法のステップの1つ以上は、このような装置によって実行され得る。
特定の実装要件に応じて、発明の実施形態をハードウェアに、またはソフトウェアに実装することができる。この実装は、それぞれの方法が実現されるようにプログラム可能なコンピュータシステムと協働する(あるいは協働することができる)記憶された電子的に読み取り可能な制御信号を有するデジタル記憶媒体、例えばfloppy disk,DVD,Blue−Ray,CD,ROM,PROM,EPROM,EEPROMあるいはFLASHメモリを用いて行うことができる。したがって、このデジタル記憶媒体はコンピュータで読み取り可能であり得る。
本発明によるいくつかの実施形態は、電子的に読み取り可能な制御信号を有するデータキャリアを備えており、それらの信号は、ここで述べられた方法の1つが実行されるように、プログラム可能なコンピュータシステムと協働することができる。
一般的に本発明の実施形態は、そのコンピュータプログラム製品がコンピュータ上で動作するときに、方法の1つを実行するように構成されているプログラムコードを有するコンピュータプログラム製品として実現することができる。プログラムコードは、例えば機械で読み取り可能なキャリア上に記憶されていてもよい。
他の実施形態は、ここで述べた方法の1つを実行する、機械で読み取り可能なキャリアに記憶されたコンピュータプログラムを備えている。
言い換えると、それゆえに発明の方法のある実施形態は、コンピュータプログラムがコンピュータ上で動作するときに、ここで述べた方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
それゆえに発明の方法のさらなる実施形態は、それに記録された、ここで述べた方法の1つを実行するためのコンピュータプログラムを備えているデータキャリア(あるいはデジタル記憶媒体、あるいはコンピュータ読み取り可能媒体)である。データキャリア、デジタル記憶媒体、あるいは記録された媒体は、通常は有形および/あるいは非遷移性である。
それゆえに、発明の方法のさらなる実施形態は、ここで述べた方法の1つを実行するためのコンピュータプログラムを表すデータストリームあるいは一連の信号である。データストリームあるいは一連の信号は、例えば、データ通信接続を介して、例えばインターネットを介して、転送されるように構成されていてもよい。
さらなる実施形態は、ここで述べた方法の1つを実行するように構成または適合された処理手段、例えばコンピュータまたはプログラム可能な論理素子を備えている。
さらなる実施形態は、インストールされた、ここで述べた方法の1つを実行するためのコンピュータプログラムを有するコンピュータを備えている。
本発明によるさらなる実施形態は、ここで述べた方法の1つを実行するためのコンピュータプログラムを受信器に(例えば電子的にあるいは光学的に)転送するように構成された装置またはシステムを備えている。受信器は、例えば、コンピュータ、モバイル端末、メモリ装置のようなものであってよい。この装置あるいはシステムは、例えば、そのコンピュータプログラムを受信器に転送するファイルサーバを備えていてもよい。
いくつかの実施形態では、プログラム可能な論理素子(例えばプログラマブルゲートアレイ(field programmable gate array))が、ここで述べた方法の機能のいくつかあるいは全てを実行するのに用いられ得る。いくつかの実施形態においては、プログラマブルゲートアレイは、ここで述べた方法の1つを実行するために、マイクロプロセッサと協働し得る。一般的に、方法はいかなるハードウェア装置によっても好適に実行される。
上述した実施形態は、単に本発明の原理を示したにすぎない。ここで述べた構成および詳細の改変や変更は当業者には明らかであることが理解される。したがって、係属する特許クレームの範囲によってのみ限定されるという意図であり、ここの実施形態の記載および説明によって提示される特定の詳細によって限定されるものではない。

Claims (19)

  1. 複数のマイクロフォン信号(1031〜103N,P1〜PN)から、またはマイクロフォン信号(103i,Pi)の複数の成分(Pi(k,n))から方向情報(101,d(k,n))を得る装置(100)であって、異なる実効マイクロフォンルック方向は前記マイクロフォン信号(1031〜103N,P1〜PN)または前記成分(Pi(k,n))に関連づけられており、
    マイクロフォン信号(Pi)またはマイクロフォン信号(Pi)の成分(Pi(k,n))から大きさ値を求めるように構成され、任意の実効マイクロフォンルック方向を表す方向情報アイテム(bi)が、当該任意の実効マイクロフォンルック方向に関連付けられた前記マイクロフォン信号(Pi)の、またはマイクロフォン信号(Pi)の前記成分(Pi(k,n))の大きさ値に応じて重みづけられるように実効マイクロフォンルック方向を表す方向情報アイテム(b1〜bN)を結合して前記方向情報(101,d(k,n))を取得するように構成されている結合器(105)を備えており、
    任意の実効マイクロフォンルック方向を表す方向情報アイテム(bi)は、前記任意の実効マイクロフォンルック方向に向いているベクトルであり、
    結合器は、個別の時間および周波数ドメインにおける領域である任意の時間周波数タイル(k,n)について、その任意の時間周波数タイル(k,n)に関連付けられた大きさ値に応じて重みづけられた方向情報アイテム(b1〜bN)の線形結合に相当する方向情報(d(k,n))を取得するように構成されており、
    前記方向情報アイテム(b1〜bN)は時間周波数タイル(k,n)から独立している、装置(100)。
  2. 前記任意の時間周波数タイルについての前記方向情報は、前記任意の時間周波数タイルの周波数インデックスおよび時間インデックスで音が伝わってくる方向を向くベクトル(d t (k,n))の推定値である、請求項1に記載の装置(100)。
  3. マイクロフォン信号(P i )に関連付けられた実効マイクロフォンルック方向は、そのマイクロフォン信号(P i )を取得するマイクロフォンが最大応答を有する方向を表している、請求項1または2に記載の装置(100)。
  4. 前記結合器(105)は、前記大きさ値が前記マイクロフォン信号(Pi)のスペクトルサブ領域(k)を表すスペクトル係数(Pi(k,n))の大きさを表すように前記大きさ値を求めるように構成されている、請求項1から3のいずれか1つに記載の装置(100)。
  5. 前記結合器(105)は、前記マイクロフォン信号(P1〜PN)の、または前記成分の時間周波数表現に基づいて前記方向情報(101,d(k,n))を得るように構成されている、請求項1から4のいずれか1つに記載の装置(100)。
  6. 前記結合器(105)は、任意の時間周波数タイル(k,n)について前記方向情報(d(k,n))を得るために、前記任意の時間周波数タイル(k,n)に関連付けられた大きさ値に依存して重みづけられた前記方向情報アイテム(b1〜bN)を結合するように構成されている、請求項1から5のいずれか1つに記載の装置(100)。
  7. 前記結合器(105)は、複数の異なる時間周波数タイルについて、前記異なる時間周波数タイルに関連付けられた大きさ値に依存して異なって重みづけられた同一の方向情報アイテム(b1〜bN)を結合するように構成されている、請求項1から6のいずれか1つに記載の装置(100)。
  8. 第一の実効マイクロフォンルック方向は前記複数のマイクロフォン信号の中の第一のマイクロフォン信号に関連しており、
    第二の実効マイクロフォンルック方向は複数のマイクロフォン信号の中の第二のマイクロフォン信号に関連しており、
    前記第一の実効マイクロフォンルック方向は前記第二の実効マイクロフォンルック方向とは異なり、
    前記結合器は、前記第一のマイクロフォン信号または前記第一のマイクロフォン信号の成分から第一の大きさ値を求め、前記第二のマイクロフォン信号または前記第二のマイクロフォン信号の成分から第二の大きさ値を求め、前記第一の実効マイクロフォンルック方向を表す第一の方向情報アイテムと前記第二の実効マイクロフォンルック方向を表す第二の方向情報アイテムとを、前記第一の方向情報アイテムが前記第一の大きさ値によって重みづけられ、前記第二の方向情報アイテムが前記第二の大きさ値によって重みづけられるように結合して前記方向情報を得るように構成されている、請求項1から7のいずれか1つに記載の装置。
  9. 前記結合器は、前記大きさ値に基づいて二乗した大きさ値を求めるように構成されており、前記二乗した大きさ値は、前記マイクロフォン信号(Pi)の、または前記マイクロフォン信号の前記成分(Pi(k,n))のパワーを表し、前記結合器は、前記任意の実効マイクロフォンルック方向に関連付けられた前記マイクロフォン信号(Pi)の、または前記マイクロフォン信号(Pi)の前記成分(Pi(k,n))の前記二乗した大きさ値に応じて方向情報アイテム(bi)が重みづけられるように前記方向情報アイテム(b1〜bN)を結合するよう構成されている、請求項1から8のいずれか1つに記載の装置。
  10. 前記結合器(105)は、次の式、
    Figure 0005657127
    (6)
    に従って前記方向情報(d(k,n))を得るように構成されており、
    ここでd(k,n)は任意の時間周波数タイル(k,n)についての前記方向情報を表し、Pi(k,n)は前記任意の時間周波数タイル(k,n)についてのi番目の信号のマイクロフォンのマイクロフォン信号または前記i番目のマイクロフォンの前記マイクロフォン信号(Pi)の成分を表し、κは指数値を表し、biは前記i番目のマイクロフォンの前記実効マイクロフォンルック方向を示す方向情報アイテムである、請求項1から9のいずれか1つに記載の装置(100)。
  11. κ>0である、請求項10に記載の装置。
  12. 前記結合器は、第一の周波数範囲においては、前記マイクロフォン信号(P1〜PN)のまたは前記マイクロフォン信号(Pi)の前記成分(Pi(k,n))の前記大きさ値に基づいて、かつ位相とは独立して前記方向情報(d(k,n))を得るように構成されており、
    前記結合器は、第二の周波数範囲においては、前記マイクロフォン信号(P1〜PN)の、または前記マイクロフォン信号(Pi)の前記成分(Pi(k,n))の位相に依存して前記方向情報を得るようにさらに構成されている、請求項1から11のいずれか1つに記載の装置。
  13. 前記結合器は、前記方向情報アイテム(bi)が前記大きさ値に応じてのみ重みづけられるように構成されている、請求項1から12のいずれか1つに記載の装置。
  14. 前記結合器(105)は、前記方向情報アイテム(b1〜bN)を線形結合するように構成されている、請求項1から13のいずれか1つに記載の装置(100)。
  15. 請求項1から14のいずれか1つに記載の装置(100)と、
    前記複数のマイクロフォン信号の中の第一のマイクロフォン信号(1031)を取得するための、第一の実効マイクロフォンルック方向(9031)を有する第一の指向性マイクロフォン(9011)と、
    前記複数のマイクロフォン信号の中の第二のマイクロフォン信号(1032)を取得するための、第二の実効マイクロフォンルック方向(9032)を有する第二の指向性マイクロフォン(9012)と、
    を備え、
    前記第一のマイクロフォン信号(1031)が第一の実効マイクロフォンルック方向(9031)と関連付けられており、
    前記第二のマイクロフォン信号(1032)が第二の実効マイクロフォンルック方向(9032)と関連付けられており、
    前記第一の実効マイクロフォンルック方向(9031)は前記第二の実効マイクロフォンルック方向(9032)とは異なる、システム(900)。
  16. 請求項1から14のいずれか1つに記載の装置(100)と、
    前記複数のマイクロフォン信号の中の第一のマイクロフォン信号(1031)を取得するための第一の全方向性マイクロフォン(10011)と、
    第二のマイクロフォン信号(1032)を取得するための第二の全方向性マイクロフォン(10012)と、
    前記第一の全方向性マイクロフォン(10011)と前記第二の全方向性マイクロフォン(10012)との間に配置されており、前記第一の全方向性マイクロフォン(10011)および前記第二の全方向性マイクロフォン(10012)の実効応答パターンを、前記第一の全方向性マイクロフォン(10011)の整形された実効応答パターンが第一の実効マイクロフォンルック方向(10031)を備えるとともに、前記第二の全方向性マイクロフォン(10012)の整形された実効応答パターンが前記第一の実効マイクロフォンルック方向(10031)と異なる第二の実効マイクロフォンルック方向(10032)を備えるように、整形するシャドウイングオブジェクト(1005)と、
    を備えているシステム(1000)。
  17. 前記指向性マイクロフォン(9011,9012)または前記全方向性マイクロフォン(10011,10012)は、前記実効マイクロフォンルック方向(9031,9032,10031,10032)に向いているベクトルである方向情報アイテムの和が、前記方向情報アイテムの1つのノルムの±30%という許容差範囲内でゼロとなるように構成されている、請求項15または16に記載のシステム。
  18. 複数のマイクロフォン信号から、またはマイクロフォン信号の複数の成分から方向情報を取得する方法(800)であって、異なる実効マイクロフォンルック方向は前記マイクロフォン信号または前記成分に関連付けられており、
    マイクロフォン信号から、またはマイクロフォン信号の成分から大きさ値を求めること(801)と、
    任意の実効マイクロフォンルック方向を示す方向情報アイテムが、当該任意の実効マイクロフォンルック方向に関連付けられたマイクロフォン信号またはマイクロフォン信号の成分の大きさ値に応じて重みづけられるように、実効マイクロフォンルック方向を表す方向情報アイテムを結合して、方向情報を得ること(803)と、
    を包含し、
    任意の実効マイクロフォンルック方向を表す方向情報アイテムは、その任意の実効マイクロフォンルック方向を向くベクトルであり、
    個別の時間および周波数ドメインにおける領域である任意の時間周波数タイルについての方向情報は、当該任意の時間周波数タイルに関連付けられた大きさ値に応じて重みづけられた方向情報アイテムの線形結合に対応して取得され、
    方向情報アイテム(b1〜bN)は時間周波数タイル(k,n)から独立している、方法。
  19. コンピュータ上で動作するときに、請求項18に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。
JP2013535425A 2010-10-28 2011-10-26 方向情報を取得する装置および方法、ならびにシステムおよびコンピュータプログラム Active JP5657127B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US40757410P 2010-10-28 2010-10-28
US61/407,574 2010-10-28
EP11166916.4 2011-05-20
EP11166916A EP2448289A1 (en) 2010-10-28 2011-05-20 Apparatus and method for deriving a directional information and computer program product
PCT/EP2011/068805 WO2012055940A1 (en) 2010-10-28 2011-10-26 Apparatus and method for deriving a directional information and computer program product

Publications (2)

Publication Number Publication Date
JP2013545382A JP2013545382A (ja) 2013-12-19
JP5657127B2 true JP5657127B2 (ja) 2015-01-21

Family

ID=45492308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013535425A Active JP5657127B2 (ja) 2010-10-28 2011-10-26 方向情報を取得する装置および方法、ならびにシステムおよびコンピュータプログラム

Country Status (16)

Country Link
US (1) US9462378B2 (ja)
EP (2) EP2448289A1 (ja)
JP (1) JP5657127B2 (ja)
KR (1) KR101510576B1 (ja)
CN (1) CN103329567B (ja)
AR (1) AR085199A1 (ja)
AU (1) AU2011322560B2 (ja)
BR (1) BR112013010258B1 (ja)
CA (1) CA2815738C (ja)
ES (1) ES2526785T3 (ja)
HK (1) HK1188063A1 (ja)
MX (1) MX2013004686A (ja)
PL (1) PL2628316T3 (ja)
RU (1) RU2555188C2 (ja)
TW (1) TWI556654B (ja)
WO (1) WO2012055940A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9264524B2 (en) * 2012-08-03 2016-02-16 The Penn State Research Foundation Microphone array transducer for acoustic musical instrument
CN103124386A (zh) * 2012-12-26 2013-05-29 山东共达电声股份有限公司 一种远讲用降噪、消回波、锐指向传声器
TWI584657B (zh) * 2014-08-20 2017-05-21 國立清華大學 一種立體聲場錄音以及重建的方法
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
GB2540175A (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Spatial audio processing apparatus
US10397711B2 (en) * 2015-09-24 2019-08-27 Gn Hearing A/S Method of determining objective perceptual quantities of noisy speech signals
JP6649787B2 (ja) * 2016-02-05 2020-02-19 日本放送協会 集音装置
JP6569945B2 (ja) * 2016-02-10 2019-09-04 日本電信電話株式会社 バイノーラル音生成装置、マイクロホンアレイ、バイノーラル音生成方法、プログラム
MX2018005090A (es) * 2016-03-15 2018-08-15 Fraunhofer Ges Forschung Aparato, metodo o programa de computadora para generar una descripcion de campo de sonido.
CN106842111B (zh) * 2016-12-28 2019-03-29 西北工业大学 基于传声器镜像的室内声源定位方法
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
FR3069693B1 (fr) 2017-07-28 2019-08-30 Arkamys Procede et systeme de traitement d'un signal audio incluant un encodage au format ambisonique
SG11202003125SA (en) 2017-10-04 2020-05-28 Fraunhofer Ges Forschung Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding
CN109688497B (zh) * 2017-10-18 2021-10-01 宏达国际电子股份有限公司 声音播放装置、方法及非暂态存储介质
WO2019231630A1 (en) 2018-05-31 2019-12-05 Shure Acquisition Holdings, Inc. Augmented reality microphone pick-up pattern visualization
EP3804356A1 (en) 2018-06-01 2021-04-14 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
US11159879B2 (en) 2018-07-16 2021-10-26 Northwestern Polytechnical University Flexible geographically-distributed differential microphone array and associated beamformer
CN112889296A (zh) 2018-09-20 2021-06-01 舒尔获得控股公司 用于阵列麦克风的可调整的波瓣形状
JP7266433B2 (ja) 2019-03-15 2023-04-28 本田技研工業株式会社 音源定位装置、音源定位方法、およびプログラム
JP7204545B2 (ja) 2019-03-15 2023-01-16 本田技研工業株式会社 音響信号処理装置、音響信号処理方法、およびプログラム
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
WO2020191354A1 (en) 2019-03-21 2020-09-24 Shure Acquisition Holdings, Inc. Housings and associated design features for ceiling array microphones
TW202044236A (zh) 2019-03-21 2020-12-01 美商舒爾獲得控股公司 具有抑制功能的波束形成麥克風瓣之自動對焦、區域內自動對焦、及自動配置
WO2020237206A1 (en) 2019-05-23 2020-11-26 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
US11302347B2 (en) 2019-05-31 2022-04-12 Shure Acquisition Holdings, Inc. Low latency automixer integrated with voice and noise activity detection
EP4018680A1 (en) 2019-08-23 2022-06-29 Shure Acquisition Holdings, Inc. Two-dimensional microphone array with improved directivity
WO2021044551A1 (ja) * 2019-09-04 2021-03-11 日本電信電話株式会社 到来方向推定装置、モデル学習装置、到来方向推定方法、モデル学習方法、プログラム
GB2587335A (en) 2019-09-17 2021-03-31 Nokia Technologies Oy Direction estimation enhancement for parametric spatial audio capture using broadband estimates
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
JP2024505068A (ja) 2021-01-28 2024-02-02 シュアー アクイジッション ホールディングス インコーポレイテッド ハイブリッドオーディオビーム形成システム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1512514A (en) 1974-07-12 1978-06-01 Nat Res Dev Microphone assemblies
CA1236607A (en) * 1985-09-23 1988-05-10 Northern Telecom Limited Microphone arrangement
RU2048678C1 (ru) * 1993-12-29 1995-11-20 Научно-исследовательский институт специального машиностроения МГТУ им.Н.Э.Баумана Пеленгатор источников акустических излучений
US5581620A (en) * 1994-04-21 1996-12-03 Brown University Research Foundation Methods and apparatus for adaptive beamforming
JP3599653B2 (ja) * 2000-09-06 2004-12-08 日本電信電話株式会社 収音装置、収音・音源分離装置及び収音方法、収音・音源分離方法並びに収音プログラム、収音・音源分離プログラムを記録した記録媒体
US8204247B2 (en) * 2003-01-10 2012-06-19 Mh Acoustics, Llc Position-independent microphone system
KR100493172B1 (ko) * 2003-03-06 2005-06-02 삼성전자주식회사 마이크로폰 어레이 구조, 이를 이용한 일정한 지향성을갖는 빔 형성방법 및 장치와 음원방향 추정방법 및 장치
JP4248294B2 (ja) * 2003-03-17 2009-04-02 日東紡音響エンジニアリング株式会社 不定項を用いたマイクロホンによるビームフォーミング
DE10313331B4 (de) * 2003-03-25 2005-06-16 Siemens Audiologische Technik Gmbh Verfahren zur Bestimmung einer Einfallsrichtung eines Signals einer akustischen Signalquelle und Vorrichtung zur Durchführung des Verfahrens
GB0405455D0 (en) * 2004-03-11 2004-04-21 Mitel Networks Corp High precision beamsteerer based on fixed beamforming approach beampatterns
NZ585567A (en) * 2004-09-07 2011-12-22 Sensear Pty Ltd Apparatus and Method for Sound Enhancement With Ambient Sound Suppression
US7619563B2 (en) * 2005-08-26 2009-11-17 Step Communications Corporation Beam former using phase difference enhancement
EP1994788B1 (en) * 2006-03-10 2014-05-07 MH Acoustics, LLC Noise-reducing directional microphone array
EP2095678A1 (en) * 2006-11-24 2009-09-02 Rasmussen Digital APS Signal processing using spatial filter
US7986794B2 (en) * 2007-01-11 2011-07-26 Fortemedia, Inc. Small array microphone apparatus and beam forming method thereof
US8098842B2 (en) * 2007-03-29 2012-01-17 Microsoft Corp. Enhanced beamforming for arrays of directional microphones
US8553903B2 (en) * 2007-06-27 2013-10-08 Alcatel Lucent Sound-direction detector having a miniature sensor
JP5294603B2 (ja) * 2007-10-03 2013-09-18 日本電信電話株式会社 音響信号推定装置、音響信号合成装置、音響信号推定合成装置、音響信号推定方法、音響信号合成方法、音響信号推定合成方法、これらの方法を用いたプログラム、及び記録媒体
DE102008004674A1 (de) * 2007-12-17 2009-06-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signalaufnahme mit variabler Richtcharakteristik
JP5156934B2 (ja) 2008-03-07 2013-03-06 学校法人日本大学 音響測定装置
DE102008029352A1 (de) * 2008-06-20 2009-12-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Lokalisieren einer Schallquelle

Also Published As

Publication number Publication date
TW201230822A (en) 2012-07-16
CN103329567B (zh) 2016-09-07
EP2448289A1 (en) 2012-05-02
AU2011322560A1 (en) 2013-05-30
RU2555188C2 (ru) 2015-07-10
US9462378B2 (en) 2016-10-04
RU2013124400A (ru) 2014-12-10
KR101510576B1 (ko) 2015-04-15
US20130230187A1 (en) 2013-09-05
EP2628316B1 (en) 2014-11-05
PL2628316T3 (pl) 2015-05-29
CA2815738A1 (en) 2012-05-03
TWI556654B (zh) 2016-11-01
WO2012055940A1 (en) 2012-05-03
BR112013010258A2 (pt) 2016-09-13
KR20130127987A (ko) 2013-11-25
ES2526785T3 (es) 2015-01-15
JP2013545382A (ja) 2013-12-19
AU2011322560B2 (en) 2015-01-22
CA2815738C (en) 2016-06-21
HK1188063A1 (en) 2014-04-17
CN103329567A (zh) 2013-09-25
BR112013010258B1 (pt) 2020-12-29
MX2013004686A (es) 2013-05-20
EP2628316A1 (en) 2013-08-21
AR085199A1 (es) 2013-09-18

Similar Documents

Publication Publication Date Title
JP5657127B2 (ja) 方向情報を取得する装置および方法、ならびにシステムおよびコンピュータプログラム
TWI530201B (zh) 經由自抵達方向估值提取幾何資訊之聲音擷取技術
JP5814476B2 (ja) 空間パワー密度に基づくマイクロフォン位置決め装置および方法
US9578439B2 (en) Method, system and article of manufacture for processing spatial audio
EP2203731B1 (en) Acoustic source separation
Talagala et al. Binaural sound source localization using the frequency diversity of the head-related transfer function
Zou et al. Multisource DOA estimation based on time-frequency sparsity and joint inter-sensor data ratio with single acoustic vector sensor
Samarasinghe et al. Performance analysis of a planar microphone array for three dimensional soundfield analysis
Bastine et al. Time-frequency-dependent directional analysis of room reflections using eigenbeam processing and von Mises–Fisher clustering
Ahonen et al. Broadband direction estimation method utilizing combined pressure and energy gradients from optimized microphone array
Pänkäläinen Spatial analysis of sound field for parametric sound reproduction with sparse microphone arrays
Kulkarni Developing a system for blind acoustic source localization and separation

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141028

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141125

R150 Certificate of patent or registration of utility model

Ref document number: 5657127

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250