JP3582712B2 - 収音方法および収音装置 - Google Patents
収音方法および収音装置 Download PDFInfo
- Publication number
- JP3582712B2 JP3582712B2 JP2000118069A JP2000118069A JP3582712B2 JP 3582712 B2 JP3582712 B2 JP 3582712B2 JP 2000118069 A JP2000118069 A JP 2000118069A JP 2000118069 A JP2000118069 A JP 2000118069A JP 3582712 B2 JP3582712 B2 JP 3582712B2
- Authority
- JP
- Japan
- Prior art keywords
- filter
- sound
- signal
- delay
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Filters That Use Time-Delay Elements (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、通信会議、遠隔講義、異常音監視等において、複数のマイクロホンにより受音された音声信号をフィルタ処理して出力することにより、雑音や歪を低減し、目的とする音源から発せられた音を高品質に収音する方法および装置に関するものである。
【０００２】
【従来の技術】
マイクロホンにより受音された信号には、目的とする音源から発せられた音（目的音）の他に、空調音、電気機器のファン音、マイクロホンアンプや信号ケーブル等で生じる電気的雑音等の雑音が含まれる。また、収音の過程で目的音成分に歪が生じる。目的音成分の歪が小さいほど収音した音は目的音に近い波形であるので、目的音成分の歪は小さいほど高品質である。したがって、高品質な収音とは高ＳＮ比、かつ目的音成分の歪が小さい収音のことである。
【０００３】
音波をモデル化する場合に、球面波をモデルとする場合と平面波をモデルとする場合がある。音源が点状と見なせる場合は球面波モデルを用いることができ、音源からマイクロホンまでの距離に比べ十分に狭い範囲内に全てのマイクロホンがある場合には、平面波モデルを用いることができる。
【０００４】
複数のマイクロホンにより受音された信号を処理して、目的とする音源（目的音源）から発せられた音を高品質に収音する方法の代表的なものとして遅延和アレーがある。遅延和アレーは、焦点位置から複数のマイクロホンへ到来する音を同位相化し加算することで、焦点位置に対する感度を高める方法であり、目的音源位置に焦点を向けることにより、目的音源位置以外にある雑音を抑圧し、ＳＮ比を向上させることができる。ただし、真の目的音源位置を知ることは不可能であるので、焦点は推定した目的音源位置（推定音源位置）に向けられることになる。
【０００５】
次に、球面波モデルを仮定した遅延和アレーについて詳細な説明をする。
【０００６】
まず、説明するのに必要な記号の定義を行う。図８はマイクロホンが音波を受音する様子を説明する図であり、４１は座標の原点、４２は遅延和アレー焦点位置（推定音源位置）、４３は目的音源位置、４４１〜４４Ｍはマイクロホンを表している。次に、図中の記号の意味を説明する。ｉ（ｉ＝１，２，３，…，Ｍ）はマイクロホンの番号、Ｐは目的音源位置４３のベクトル、Ｐ’は遅延和アレーの焦点位置（推定音源位置４２）のベクトル、Ｑ（ｉ）はｉ番目マイクロホン４４ｉの位置のベクトル、ｒ（ｉ）は目的音源とｉ番目マイクロホンの間の距離、ｒ’（ｉ）は焦点（推定音源位置）とｉ番目マイクロホンの間の距離、ｘ（ｉ，ｔ）は時刻ｔにおけるｉ番目マイクロホン４４ｉの受音信号である。また、位置ベクトルと距離の関係は式（１）、式（２）で表される。
【０００７】
【数１】
【０００８】
次に、マイクロホンで受音された信号を数式で表す。マイクロホンで受音される信号には、目的音源から発せられて直接マイクロホンに到達する音、目的音源から発せられて壁、床、天井等に反射してからマイクロホンに到達する音、空調、電気機器のファン音等の雑音、さらには、マイクロホンアンプ、信号ケーブル等で生じる電気的雑音等がある。本明細書では、簡単のために目的音源から発せられて直接マイクロホンに到達する音以外の信号をまとめて１つの雑音として扱うこととし、この雑音は定常的な白色雑音、各マイクロホン間で無相関、全てのマイクロホンで等パワーであると仮定する。また、目的音源の指向特性は無指向性と仮定する。目的音源の信号をｓ（ｔ）、ｉ番目マイクロホンでの雑音成分をｎ（ｉ，ｔ）、音速をｃと表し、ｉ番目マイクロホンの受音信号を数式で表すと、目的音源から発せられた音は１／ｒ（ｉ）の距離減衰と、ｒ（ｉ）／ｃの伝播時間を持ってｉ番目マイクロホンに到達し、雑音はマイクロホンで加わるので、式（３）となる。
【０００９】
【数２】
【００１０】
図９は、球面波モデルを仮定した遅延和アレーを説明する図であり、４４１〜４４Ｍがマイクロホン、４５１〜４５Ｍが遅延器、４６１〜４６Ｍがゲイン、４７が加算器を表している。各マイクロホン４４１〜４４Ｍで受音された信号は、遅延器４５１〜４５Ｍ、ゲイン４６１〜４６Ｍを通り加算器４７で加算され出力ｙ（Ｐ’，ｔ）となるので、出力ｙ（Ｐ’，ｔ）は式（４）のように表すことができ、式（３）を代入することでさらに変形される。
【００１１】
【数３】
【００１２】
遅延和アレーは、焦点から直接マイクロホンへ到来する信号を同位相化して加算することにより、焦点位置の感度を上げ、焦点位置を推定音源位置に合わせることにより、目的音源から発せられる音を収音する。焦点位置（推定音源位置）から直接マイクロホンへ到来する信号を同位相化する遅延は、焦点（推定音源位置）から各マイクロホンまでの音の伝播時間ｒ’（ｉ）／ｃを固定遅延Ｄより差し引けばよいので式（５）で表される。
【００１３】
【数４】
【００１４】
ただし、固定遅延Ｄは、信号を進ませることができないという因果性を満足させるために、ｄ（ｉ，Ｐ’）が必ず正となる定数でなければならない。
【００１５】
式（５）の遅延を式（４）に代入すると、遅延和アレー出力ｙ（Ｐ’，ｔ）は式（６）で表される。
【００１６】
【数５】
【００１７】
ただし、δ（ｉ）は焦点が真の目的音源位置ではなく推定音源位置に向いていることによる遅延誤差であり、式（７）で表される。
【００１８】
【数６】
【００１９】
目的音源位置と推定音源位置が十分に近く遅延誤差が小さい場合（δ（ｉ）＝０と見なせる場合）には、式（６）の目的音成分の遅延が一定値Ｄとなり、同位相で加算される。一方、雑音成分は各マイクロホン間で無相関であるので同位相となることはない。したがって、同位相で加算される目的音成分のみが強調され、ＳＮ比を改善することができる。
【００２０】
次に、遅延和アレー出力のＳＮ比と目的音成分の歪を求める。
【００２１】
まず、式（６）を遅延和アレーの特性を解析するのに都合が良いように、フーリエ変換し周波数領域で表すと、式（８）となる。
【００２２】
【数７】
【００２３】
ただし、Ｙ（Ｐ’，ω）はｙ（Ｐ’，ｔ）をフーリエ変換したもの、Ｓ（ω）はｓ（ｔ）をフーリエ変換したもの、Ｎ（ｉ，ω）はｎ（ｉ，ｔ）をフーリエ変換したもの、ωは角周波数を表している。
【００２４】
式（８）の右辺１項目は、遅延和アレー出力の目的音成分の信号であり、式（８）の右辺２項目は、遅延和アレー出力の雑音成分の信号であり、式（８）より遅延和アレー出力の目的音成分のパワーＷｓ、雑音成分パワーＷｎを求めると、それぞれ式（９）、式（１０）となる。
【００２５】
【数８】
【００２６】
ただし、ａ＾ｂはａのｂ乗を表し、Ｅ（ａ）はａの平均をとることを表す。また、Ｗ’ｓはＳ（ω）のパワーでありＷ’ｓ＝Ｅ（｜Ｓ（ω）｜）で表され、Ｗ’ｎはＮ（ｉ，ω）のパワーであり、Ｎ（ｉ，ω）のパワーは各マイクロホンで一定であるという仮定より｜Ｎ（ω）｜＝｜Ｎ（ｉ，ω）｜として、Ｗ’ｎ＝Ｅ（｜Ｎ（ω）｜）で表される。
【００２７】
式（９）、式（１０）より、遅延和アレーの出力のＳＮ比ＳＮＲは式（１１）で表される。
【００２８】
【数９】
【００２９】
次に、遅延和アレー出力の目的音成分の歪ＥＲＲを式（８）より求める。目的音成分の歪は、遅延和アレー出力の目的音成分（式（８）右辺１項目）と目的音Ｓ（ω）との誤差を目的音で正規化し、二乗平均したもので表し、式（１２）で表される。
【００３０】
【数１０】
【００３１】
ここで、ゲインｇ（ｉ，Ｐ’）について議論する。音源位置推定誤差のない場合、すなわち遅延誤差δ（ｉ）＝０の場合に関してＳＮ比を最大とするゲインｇ（ｉ，Ｐ’）が求められている。これは、式（１１）をｇ（ｉ，Ｐ’）で偏微分し、式（１１）の極大点を求めることで値を決定でき、ｇ（ｉ，Ｐ’）＝ｃｏｎｓｔ・１／ｒ（ｉ）（ｃｏｎｓｔは定数）がその値である。この方法で遅延和アレーの出力のＳＮ比を最大とすることができるが、音源位置推定誤差がある場合（遅延誤差δ（ｉ）≠０）には、式（１２）に示すように遅延和アレーの出力に目的音成分の歪が生じる。
【００３２】
この遅延和アレー出力の目的音成分の歪は、焦点位置のメインビームが狭いほど、音源位置推定誤差の影響を受けやすくなる。焦点位置のメインビーム幅は、高周波成分ほど狭く、マイクロホンが広範囲に配置されているほど狭くなる。したがって、遅延和アレー出力の目的音成分の歪は高周波成分ほど大きく生じ、マイクロホンが広範囲に設置されているほど大きくなる。
【００３３】
以上まとめると、遅延和アレーは、焦点から複数のマイクロホンへ到来する音を同位相化し加算することで、その位置に対する感度を高める方法であり、目的音源位置に焦点を向けることにより、目的音源位置以外にある雑音を抑圧し、ＳＮ比を向上させることができる。ただし、真の目的音源位置を知ることは不可能であるので、焦点は推定音源位置に向けられることになり、音源位置推定誤差により出力に目的音成分の歪を生じる。この目的音成分の歪は高周波成分ほど大きく生じ、マイクロホンが広範囲に配置されているほど大きくなる。
【００３４】
次に、この遅延和アレー出力の目的音成分の歪を軽減する従来の方法を説明する。
【００３５】
図１０はこの従来方法を説明する図であり、５１が音波到来方向、５２が平面波の波面、５３１〜５３Ｍが等間隔Ｌで直線状に配置された無指向性マイクロホン、５４１〜５４Ｍがディジタルフィルタ（ＵタップＦＩＲフィルタ）、５５が加算器を表している。ｈ（ｉ，φ，ｕ）はｉ番目のマイクロホン５３ｉのディジタルフィルタ５４ｉのｕタップ目のフィルタ係数を表し、φは遅延和アレーの焦点の方向を表し、ｋは周期Ｔでサンプリングされた離散時刻を表し整数値を取る。マイクロホン５３１〜５３Ｍに到来した音波は式（１３）、式（１４）で表される。ただし、時刻ｔは離散化したｋＴに置き換わる。
【００３６】
【数１１】
【００３７】
ただし、τ（θ）は、θ方向から到来する音波を仮定したとき、隣り合うマイクロホン間での音波到来時間差であり、ｃは音速である。
【００３８】
次に、マイクロホン５３１〜５３Ｍで受音された信号はディジタルフィルタ５４１〜５４Ｍを通り加算されるので、出力ｙ（θ，φ，ｋ）は式（１５）のように表される。
【００３９】
【数１２】
【００４０】
次に、式（１５）をフーリエ変換すれば、式（１６）となる。
【００４１】
【数１３】
【００４２】
この方法の伝達関数Ｒ（θ，φ，ω）は、式（１６）を変形して式（１７）で表される。
【００４３】
【数１４】
【００４４】
式（１７）は、２次元フーリエ変換の式と等価な形となっており、所望の指向特性を伝達関数Ｒ（θ，φ，ω）に代入し、２次元逆フーリエ変換することにより、所望の指向特性を持ったディジタルフィルタの係数ｈ（ｉ，φ，ｕ）を求めることができる。この方法を用いることで任意の指向特性を作り出すことができ、周波数に依存しないメインビームを持つ指向特性を設計することが可能である。したがって、目的音成分の高周波成分に大きな歪を生じることなく良好に目的音源から到来する音を収音することができる。
【００４５】
しかし、この方法は平面波モデルを仮定した等間隔直線アレーを用いなければならないため、球面波モデルや任意配置のマイクロホンには適用することができない。通信会議、遠隔講義、異常音監視等では、マイクロホンを設置できる位置が部屋の中に限定されるため、平面波モデルを使うにはアレーの大きさを小さくしなくてはならない。アレーの大きさを小さくした場合、マイクロホンは部屋の一部分に集中して配置されるため、マイクロホンが設置されている位置の周辺以外では、マイクロホンと音源の間の距離が離れてしまう。このため、マイクロホンで受音される信号のＳＮ比は低くなり、音の品質が悪くなってしまう。
【００４６】
【発明が解決しようとする課題】
上述した従来技術は、音源位置推定誤差により出力の目的音成分に歪が大きく生じることを解決するために、各マイクロホンで収音された音声をディジタルフィルタを用いてフィルタリング処理しており、平面波モデルを仮定したアレーにしか適用できず、通信会議、遠隔講義、異常音監視等に用いるのに不向きであるという問題がある。
【００４７】
本発明の目的は、球面波モデルを仮定した任意配置のアレーにおいて、装置規模を拡大せず（マイクロホン数を増やすことなく）、出力の目的音成分の歪を軽減することができる収音方法及び装置を提供することである。
【００４８】
【課題を解決するための手段】
上記目的を達成するために、本発明の収音方法は、任意配置の複数の収音手段の各々で収録された音声信号を各々異なる遅延量で遅延させ、各遅延出力を各々異なるフィルタ係数でフィルタリングし、各フィルタリング出力を加算して加算出力を出力する収音方法において、
音源位置を推定し、
前記音源位置から発せられ、前記複数の収音手段で受音した信号が同位相となるように遅延を制御し、
各収録音声信号の信号対雑音比を推定し、
各音源位置から各収音手段までの距離と信号対雑音比とから加算出力の雑音対信号比を推定し、
各距離から加算出力の目的音成分歪を推定し、
加算出力の雑音対信号比と目的音成分歪とから求められる歪関数を最小とする各フィルタ係数を決定し、
フィルタ係数の決定において、各距離で減衰させた各フィルタ係数の和を一定値とする。
【００４９】
また、本発明の収音装置は、任意配置の複数の収音手段と、前記各収音手段で収録された音声信号を各々異なる遅延量で遅延させる遅延手段と、遅延手段からの遅延出力信号を各々異なるフィルタ係数でフィルタリングするフィルタリング手段と、前記フィルタリング手段からの各フィルタリング出力を加算して加算出力を出力する加算手段とを有する収音装置において、
音源位置を推定する音源位置推定手段と、
音源位置推定手段で推定された音源位置から発せられ、前記複数の収音手段で受音した信号が同位相となるように、遅延を制御する遅延制御手段と、
各収録音声信号の信号対雑音比を推定する信号対雑音比推定手段と、
各音源位置から各収音手段までの距離と信号対雑音比とから加算出力の雑音対信号比を推定する加算雑音対信号比推定手段と、
各距離から加算出力の目的音成分歪を推定する目的音歪推定手段と、
加算出力の雑音対信号比と目的音成分歪とから求められる歪関数を最小とする各フィルタ係数を決定するフィルタ係数決定手段とを有し、
フィルタ係数決定手段は、各距離で減衰させた各フィルタ係数の和が一定値となるよう各フィルタ係数を決定する。
【００５０】
歪を最小とするようフィルタ係数を決定する際、ＳＮ比を一定値に保つことを条件とする。ただし、ＳＮ比が小さくなると指向性の幅が狭くなる傾向が認められる。例えば、マイクロホンを直線上に等間隔で配置したとき、ＳＮ比と指向性の幅（メインローブ幅）の関係は次のように導出される。メインローブ幅Ψは焦点方向φ＝０の場合、式（１８）のように表される。
【００５１】
【数１５】
【００５２】
ここで、Ｍはマイクロホン数、Ｌはマイクロホン間隔を表わす。
【００５３】
次に、信号成分の音波到来方向θで、雑音は各マイクロホンで等パワー、無相関と仮定し、１番目マイクロホンで観測される信号成分をＳ（ω）、雑音成分をＮ（１，ω）とすれば、ｉ番目マイクロホンで観測される信号は、
【００５４】
【数１６】
【００５５】
となる。
焦点方向φ＝θ（焦点方向が音源方向と一致する場合）を仮定し、遅延和アレーの出力を求めると、
【００５６】
【数１７】
【００５７】
となる。右辺１項目が信号成分であり、２項目が雑音成分であるので、信号成分のパワーと雑音成分のパワーの比（ＳＮ比）を求めると、
【００５８】
【数１８】
【００５９】
雑音は、各マイクロホンで無相関、等パワーを仮定しているので、
｜Ｎ（ω）｜＾２＝｜Ｎ（ｉ，ω）｜＾２ として、
【００６０】
【数１９】
【００６１】
したがって、各マイクロホンでのＳＮ比が
（｜Ｓ（ω）｜＾２）／（｜Ｎ（ω）｜＾２）
であるから、
Ｍ本のマイクロホンを使った、遅延和アレー処理により、ＳＮ比がＭ倍になったと言える。
【００６２】
したがって、ＳＮ比改善度をＳＮＲｉｍｐとすれば
ＳＮＲｉｍｐ＝Ｍ
となる。ＳＮＲｉｍｐとしてメインローブ幅の関係を導出すると
【００６３】
【数２０】
【００６４】
という関係が成り立つ。
【００６５】
すなわち、適当なＳＮ比を条件としてフィルタ係数を決定すれば指向性幅の範囲内に音源位置の推定誤差範囲を含めることができる。かかる条件をあらゆる周波数にわたり満足させれば、全周波数について指向性幅の範囲に音源を位置されていることになる。よって音源位置の推定誤差を認めたうえで目的音レベルの周波数にわたる変動を最小限に抑えることができる。上記はマイクロホンを直線上に配置させた場合を仮定したが、その他の配置においても同様な効果が期待できる。
【００６６】
求められた最適なフィルタはＳＮ比を大きくし、目的音成分の歪を小さくするので、本方法は遅延和アレー出力の目的音成分の歪を軽減することができ、最適フィルタを求める際の係数αによりＳＮ比と目的音成分の歪のどちらに重点を置くかを調節することができる。また、球面波モデルを用いてフィルタを求めているので、平面波モデルを仮定したアレーに限定されることなく、任意配置のアレーに適用でき、通信会議、遠隔講義、異常音監視等に用いるのに都合の良いアレー配置に用いることができる。さらに、マイクロホン数を増やす必要がないので、装置規模が大きくなることもない。
【００６７】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００６８】
図１は本発明の第１の実施形態の収音装置の構成図である。本実施形態の収音装置はマイクロホン１１１，１１２，…，１１Ｍと、遅延器１２１，１２２，…，１２Ｍと、フィルタ１３１，１３２，…，１３Ｍと、加算器１４と、焦点位置制御部である話者位置推定部１５Ａと、遅延制御部１６と、最適フィルタ計算部１７と、信号対雑音比推定部１８で構成されている。
【００６９】
本収音装置は話者自動追従型収音装置で、焦点位置制御として話者位置推定を用いたものであり、話者位置に自動的に焦点を向け、話者の音声を収音する。マイクロホン１１１〜１１Ｍで受音された信号は話者位置推定部１５Ａに供給される。話者位置推定部１５Ａは話者位置推定を行う。遅延制御部１６は、話者位置推定結果を受け推定話者位置に遅延和アレーの焦点が向くような遅延を遅延器１２１〜１２Ｍに設定する。信号対雑音比推定部１８は各マイクロホン１１１〜１１Ｍで収録された音声信号について信号対雑音比（ＳＮ比）を推定する。推定されたＳＮ比はフィルタ係数の決定に用いられる。すなわち後述の、フィルタを求める式（２５）の（｜Ｎ（ω）｜）／（｜Ｓ（ω）｜）に値が使われる。
信号対雑音比を決定する最も簡単な方法は、音声信号を高速フーリエ変換等により一定個数のサンプル毎に周波数領域に変換し、各周波数ごとにレベルがある閾値以下であるか否かを判定して閾値以下の場合に雑音とみなして時間平均をとる。閾値を越える場合には音声とみなし、そのレベルを時間平均値で除算すればＳＮ比が求められる。最適フィルタ計算部１７はアレーの出力のＳＮ比、目的音成分の歪が最適となるような最適フィルタを計算し、フィルタ１３１〜１３Ｍに設定する。フィルタ１３１〜１３Ｍを通過した、マイクロホン１１１〜１１Ｍで受音された信号は加算器１４で加算され、出力される。
【００７０】
ここで、話者位置推定部１５Ａで各マイクロホン１１１〜１１Ｍの信号から音源（話者）位置を推定する過程を説明する。まず、初期設定として探索範囲θｒ、フィルタ長Ｌ、ＦＦＴ（ＦＦＴポイント数）Ｎ、チャネル数Ｍなどを設定する。次に、ビームフォーマが一般化サイドロープキャンセラならばフィルタ変換を行い、そうでなければＦＦＴを行う。次に、探索範囲の中のある一つの方向をθとすると、θ方向から到来する信号に関する各チャネルの伝播位相遅れを表わす方向ベクトルＳ（ｋ，θ）を生成する。次に、ＦＦＴにより求めたフィルタの周波数成分Ｗｅと方向ベクトルＳ（ｋ，θ）の内積の絶対値の２乗｜Ｓ・Ｗ｜２を求める。方向ベクトルＳ（ｋ，θ）と｜Ｓ・Ｗ｜２の算出を全ての周波数、すなわちｋ＝１からｋ＝２／Ｎまでについて行い、求めた内積の２乗和を方向θ毎に周波数ｋについて加算し、全帯域についてまとめた方向毎の感度Ｄ（θ）を求める。次に、求めた方向毎の感度が最小となる方向θｍｉｎをＤ（θ）から求め、これを信号（目的信号）の到来方向とする。この方法は特開平１０−２０７４９０号に記載されている。
【００７１】
本実施形態は球面波モデルを仮定した遅延和アレー（図９）のゲイン４６ｌ〜４６Ｍをフィルタ１３ｌ〜１３Ｍに置き換えたものであり、マイクロホン１１ｌ〜１１Ｍで受音される信号は、球面波モデルを仮定した遅延和アレーと同じであり式（３）で表され、遅延和アレー出力をフーリエ変換した式は、式（８）のゲインｇ（ｉ，Ｐ’）をフィルタｇ（ｉ，Ｐ’，ω）に置き換えたものに等しく、式（１９）で表される。ただし、記号の意味、仮定等は球面波モデルを仮定した遅延和アレーの説明で述べたとおりである。
【００７２】
【数２１】
【００７３】
同様に、本方法の出力のＳＮ比ＳＮＲと目的音成分の歪ＦＲＲは、式（１１）、式（１２）のゲインｇ（ｉ，Ｐ’）をフィルタｇ（ｉ，Ｐ’，ω）に置き換えたものであり、それぞれ式（２０）、式（２１）で表される。
【００７４】
【数２２】
【００７５】
ここから、ＳＮ比を大きくし、目的音成分の歪を小さくする最適なフィルタｇ（ｉ，Ｐ’，ω）を求めていく。まず、各周波数成分のＳＮ比ＳＮＲ（ω）、目的音成分の歪ＥＲＲ（ω）は、式（２０）、式（２１）の平均を取り去ることで求められ、式（２２）、式（２３）で表される。
【００７６】
【数２３】
【００７７】
また、フィルタには、焦点位置によらず、一定のゲインで収音することが求められるので、式（２４）の条件を満たす必要がある。
【００７８】
【数２４】
【００７９】
式（２２）、式（２３）、式（２４）をそれぞれ最小化問題に置き換え、係数αと未定乗数βで結合することにより、歪関数Ｆ（ω）の最小化問題に置き換えると、式（２５）となる。係数αは、ＳＮ比と目的音成分の歪のどちらに重点を置くかを決める係数であり、αが大きければ目的音成分の歪に、αが小さければＳＮ比に重点を置くこととなる。未定乗数βは、式（２４）の条件をどの程度厳密に満足させるかを決める乗数であり、十分に大きい値である必要がある。係数αはＳＮ比の関数として与えられ、一般に非線型である。明瞭度を規模とした場合の係数αを求める方法は「聴覚と音声」第４版３８９頁（社団法人「電子通信学会」、昭和４４年１１月３０日発行）に記載され、明瞭度係数を最大とするように決定される。
【００８０】
【数２５】
【００８１】
式（２５）において、δ（ｉ）は音源位置推定誤差の関数（式（１）、式（２）、式（７））であり、δ（ｉ）の値は知ることができないので、何らかのモデルとして扱わなければならない。本明細書では音源位置推定誤差を確率密度関数（例えば正規分布、一様分布、指数分布等）として扱い、平均を取ることでＦ（ω）を求める。したがって、式（２５）は式（２６）となる。
【００８２】
【数２６】
【００８３】
ただし、Ｅ（ａ）は音源位置推定誤差に関してａの平均をとる意味である。
【００８４】
最適フィルタは、式（２６）のＦ（ω）を最小化するフィルタであるので、Ｆ（ω）の最小化問題を何らかの方法で解く必要がある。式（２６）はＥＸＰ（−ｊωδ（ｉ））という周期関数を含んでおり複数の極小点を持っているので簡単には解くことができない。
【００８５】
本明細書では最小化問題を解き最適フィルタを求める一つの例として逐次的に最適フィルタを求める手法を示す。この手法は、フィルタｇ（ｉ，ｐ’，ω）でＦ（ω）を偏微分し、その勾配方向にフィルタを修正することを繰り返し、極小点を求める手法で、修正式は式（２７）で表される。
【００８６】
【数２７】
【００８７】
ただし、ｎは修正回数、ｇ（ｉ，Ｐ’，ω，ｎ）はｎ回修正後ｇ（ｉ，Ｐ’，ω）、γは修正係数、∂ａ／∂ｂはａをｂで偏微分することを表している。
【００８８】
しかし、Ｆ（ω）が複数の極小点を持っているため、式（２７）で収束する極小点は初期値ｇ（ｉ，Ｐ’，ω，０）に依存し、Ｆ（ω）を最小としない極小点に収束してしまうことも考えられる。このことを回避するために初期値の与え方を工夫する。
【００８９】
まず、ω＝０の場合を考えるとＥＸＰ（−ｊωδ（ｉ））＝１となり、Ｆ（ω）は一つの極小点しか持たなくなる。この場合、Ｆ（ω）を最小とする極小点は簡単に求めることができ、解析的に求めることができる。これは、Ｆ（ω）をｇ（ｉ，Ｐ’，０）で偏微分して０と置くことで求められ、式（２８）を満たすｇ（ｉ，Ｐ’，０）がＦ（ω）を最小とする最適フィルタとなる。
【００９０】
【数２８】
【００９１】
次に、ω＝Δωの場合の最適フィルタを求める。Ｆ（ω）はωに対して連続
関数であるので、Δωが十分小さければ、式（２８）のｇ（ｉ，Ｐ’，０）の
近傍にＦ（ω）を最小とする極小点があり、式（２８）のｇ（ｉ，Ｐ’，０）を初期値とすることにより、Ｆ（ω）を最小とする極小点に収束させることができる。同じ要領でω＝２・Δωの場合は、ω＝Δωの場合の最適フィルタを
初期値にして、Ｆ（ω）を最小とする極小点に収束させる。これを繰り返していけば、全ての周波数においてＦ（ω）を最小とする最適フィルタを見つけることができる。この手順を分かり易くフローチャートにしたものを図７に示す。ステップ３１でω＝０の場合の最適フィルタを解析的に求め、ステップ３２で繰り返し回数ξ＝０に設定し、ステップ３３で繰り返し回数に１を加算し、ステップ３４でω＝（ξ−１）・Δωの場合の最適フィルタを初期値として、
ω＝ξ・Δωに対する最適フィルタを逐次近似により求め、ステップ３３と３
４を必要なωについて最適フィルタが全て求められるまで繰り返す。以上の手順により、全てのωについて最適フィルタが求められる。
【００９２】
最適フィルタを求める際の補足として、ＳＮ比に対するδ（ｉ）の関与は、目的音成分の歪が小さくなることによって小さくなるので、ＳＮ比を求める際のδ（ｉ）を取り去り、式（２６）を式（２９）に近似して簡単化することもできる。さらに、（｜Ｎ（ω）｜／｜Ｓ（ω）｜）を一定値として扱い式（３０）とすることもできる。
【００９３】
【数２９】
【００９４】
以上、最適なフィルタを求める方法を示した。
【００９５】
フィルタ係数ｇ（ｉ，Ｐ’，ω，ｎ−１）を時間領域に変換したうえで音声信号に作用（畳み込み演算）する。
【００９６】
本話者自動追従型収音装置は、通信会議、遠隔講義等の収音装置として利用することができ、話者の音声だけを選択的に収音することが可能である。従来の通信会議、遠隔講義等の収音形態は、マイクロホンを机上に設置する形態や、話者がマイクロホンを受け取り、手に持つという形態が主である。机上にマイクロホンを設置した場合には、マイクロホンに近い位置で、マイクロホンの方向を向いて発話しなくてはならず、自然な会話ができないことや、机上のスペースを有効に使えないこと、資料をめくる音、机に物を落とした音等の不快な音が混入しやすいこと、マイクロホンのケーブルが邪魔であり、机の並び替えも容易にできなくなること等の不都合が点がある。話者がマイクロホンを受け取り、手に持つという形態では、話者は発言することを挙手などで示し、マイクロホンを受け取ってから発言しなくてはならず、スムーズな会話ができないことや、マイクロホンを運ぶ人手が必要となる。また、多人数が同時に発言することができず、活発な議論や討論の妨げになることも考えられる。
【００９７】
以上のように従来の収音形態では、不都合な点が多くあるが、本話者自動追従型高品質収音装置を用いることにより、これらの不都合な点が一挙に解決できる。マイクロホンを天井等の邪魔にならない場所に設置し、話者自動追従型高品質収音を用いれば、机上にマイクロホンはなく、位置、方向が限定されることなく自由に発言することができ、自然な会話が可能となる。
【００９８】
話者自動追従型収音装置においては、話者位置推定部１５Ａでは雑音、残響等により必ず誤差が生じるため、話者位置と高品質収音装置の焦点位置は一致しない。このため遅延和アレーでは出力の目的音成分に歪が生じるが、本実施形態によれば、装置規模を大きくすることなく、平面波モデルを仮定できるようなマイクロホン配置に限定されることなく、目的音成分の歪を軽減し、より高品質な収音が可能となる。
【００９９】
図２は本発明の第２の実施形態の収音装置の構成図である。本収音装置は、焦点位置制御部として焦点位置ステアリング部１５Ｂを用い、焦点位置を希望位置にステアリングして、出力を異常音検出部１９で解析し、異常音を感知したら通報、警報等をする装置である。焦点位置ステアリング部１５Ｂから、遅延制御部１６、最適フィルタ計算部１７に、焦点位置を希望位置にステアリングする位置情報が送られる。その位置情報に基づいて、遅延制御部１６は、遅延和アレーの焦点が希望位置に向くような遅延を遅延器１２１〜１２Ｍに設定する。最適フィルタ計算部１７は、遅延和アレーの出力のＳＮ比、目的音成分の歪が最適となるような最適フィルタを計算しフィルタ１３１〜１３Ｍに設定する。複数のマイクロホン１１１〜１１Ｍで受音された信号は、それぞれ遅延器１２１〜１２Ｍ、フィルタ１３１〜１３Ｍを通り、加算器１４で加算され、出力となる。出力は異常音検出部１９で解析され、異常音と判別された場合には、通報、警報等の信号を出力する。
【０１００】
本異常音自動検出装置は、例えば工場等の機械の故障、不調の監視に用いることができる。複数ある機械から出力される音は混合されているため、通常の方法ではそれぞれの機械の異常音を検出することは難しいが、本装置によれば、それぞれの機械から出力される音を選択的に収音することができるので、それぞれの機械の異常音を検出することができる。また、正常音と異常音を正確に判別するためには、機械から出力される音を高品質で収音する必要があるが、遅延和アレーでは音源位置と焦点位置が一致しないと出力の目的音成分に歪が生じる。本実施形態によれば、装置規模を大きくすることなく、平面波モデルを仮定できるようなマイクロホン配置に限定されることなく、目的音成分の歪を軽減し、より高品質な収音が可能となるので、異常音検出を正確に行うことができる。
【０１０１】
図３は本発明の第３の実施形態の収音装置の構成図である。本実施形態は、第１または第２の実施形態の収音装置の最適フィルタ計算部１７を、仮想焦点位置設定部２０と信号対雑音比推測部２４と最適フィルタ計算部２１と最適フィルタ記憶部２２と最適フィルタ選択部２３に置き換えたものである。まず、収音を行う前に、仮想焦点位置設定部２０はあらかじめ複数の仮想焦点位置を設定する。また、信号対雑音比推測部２４は、あらかじめ計測した雑音レベルと標準的な発声音の大きさから信号対雑音比を推測する。最適フィルタ計算部２１は仮想焦点位置に対する最適フィルタを全て計算し、最適フィルタ記憶部２２は計算された最適フィルタを全て記憶しておく。収音を行っている間は、焦点位置制御部１５Ｃより送られる焦点位置に最も近い仮想焦点位置の最適フィルタを、最適フィルタ選択部２３が最適フィルタ記憶部２２から読み出し、フィルタ１３１〜１３Ｍに設定する。このようにすることにより、収音を行っている間は、最適フィルタ選択部２３が最適フィルタ記憶部２２からフィルタを読み出す処理のみが行われ、最適フィルタの計算を行わなくてよい。したがって、収音を行っている間の計算量が非常に少なくてすみ、第１の実施形態、第２の実施形態に比べ、少ないハードウェアで実時間処理可能な装置を構成することができるという利点がある。その他の構成については、第１の実施形態、または第２の実施形態と同じであるので、説明を省略する。
【０１０２】
図４は本発明の第４の実施形態の収音装置の構成図である。本実施形態は、第１の実施形態または第２の実施形態または第３の実施形態の最適フィルタ計算部２３が、直流成分最適フィルタ計算部２３１と初期値記憶部２３２と逐次近似計算部２３３と繰り返し制御部２３４とフィルタ構成部２３５より構成されるもので、図７の最適フィルタを求める手順に従って最適フィルタを計算するものである。直流成分最適フィルタ計算部２３１は、直流成分における最適フィルタを式（２８）により解析的に求め、初期値記憶部２３２に記憶し、逐次近似計算部２３３は、初期値記憶部２３２に記憶されている最適フィルタを初期値として、初期値の最適フィルタの周波数成分より微小に高い周波数成分に対する最適フィルタを式（２７）および式（２６）、または式（２９）、または式（３０）の修正式を用いて逐次近似で求め、その最適フィルタを初期値記憶部２３２に記憶する。繰り返し制御部２３４は、必要な周波数成分に対する最適フィルタが全て求められるまで逐次近似計算を繰り返すよう逐次近似計算部２３３を制御する。フィルタ構成部２３５は、以上の処理により求められた各周波数成分の最適フィルタを合成し、最適フィルタを構成する。このようにして最適フィルタを求めることにより、式（２６）、または式（２９）、または式（３０）が複数の極小点を持っているために、収束する極小点は初期値に依存し、式（２６）、または式（２９）、または式（３０）を最小としない極小点に収束してしまうという問題点を解決することができる。その他の構成については、第１の実施形態、第２の実施形態、第３の実施形態と同じであるので、説明を省略する。
【０１０３】
図５は本発明の第５の実施形態の収音装置の構成図である。本実施形態は、第４の実施形態のフィルタ構成部２３５が間引き部２３５１と離散逆フーリエ変換部２３５２で構成される。間引き部２３５１は、直流成分最適フィルタ計算部２３１と逐次近似部２３３により求められた各周波数成分の最適フィルタをフィルタの次数に合わせて間引きする。離散逆フーリエ変換部２３５２は、間引きされた最適フィルタをＦＩＲフィルタの係数とするために離散逆フーリエ変換する。このように最適フィルタをＦＩＲフィルタで構成することで、フィルタ１３はＦＩＲフィルタ１３１で実現でき、簡単な処理でフィルタ１３の処理を行うことができる。その他の構成については、第４の実施形態と同じであるので、説明を省略する。
【０１０４】
図６は本発明の第６の実施形態の収音装置の構成図である。本実施形態は、第４の実施形態のフィルタ構成部２３５が間引き部２３５１で構成されるもので、間引き部２３５１は、直流成分最適フィルタ計算部２３１と逐次近似部２３３により求められた各周波数成分の最適フィルタをフィルタの次数に合わせて間引きする。フィルタ１３は、離散フーリエ変換部１３２と乗算部１３３と離散逆フーリエ変換部１３４で構成され、周波数領域で間引きされた最適フィルタを乗算することによりフィルタを実現する。このように、周波数領域でフィルタを実現することにより乗算回数を減らすことができるので、第５の実施形態に比べ、少ないハードウェアで実時間処理可能な装置を構成することができるという利点があり、フィルタ次数が大きい場合に特に有効である。その他の構成については、第４の実施形態と同じであるので、説明を省略する。
【０１０５】
次に、本発明のシミュレーション結果を示す。
【０１０６】
まず、遅延和アレーの焦点位置から音源がずれた場合、遅延和アレー出力がどの程度歪むかを示す。図１１は、焦点位置を固定し、音源位置を焦点位置からｘ方向に０，５，１０，２０，５０ｃｍずらした場合の音源−遅延和アレー出力間の周波数特性である。
【０１０７】
図１１（ａ）は、ＳＮ比を最大とするような加算ゲインを乗じてから加算する遅延和アレー（従来方法）のときの周波数特性である。音源位置が焦点位置から離れるに従い、周波数特性の高域部分から劣化が生じているのが見て取れる。特に２０，５０ｃｍずれた場合では、１ｋＨｚ付近までかなりの劣化が認められる。図１１（ｂ）は、本発明の周波数特性である。ただし、このとき用いたフィルタは２５６ｔａｐのＦＩＲフィルタで、音源位置推定誤差モデルの標準偏差σ＝１．０ｍ、係数α＝２．０、未定乗数β＝１０．０の場合の最適フィルタである。図１１（ｂ）の本発明と図１１（ａ）の従来方法を比べると、本発明では高域部分の劣化がかなり改善されているのが分かる。以上の結果より、音源位置推定誤差の影響による遅延和アレー出力の歪を、本発明により改善できることが確認された。
【０１０８】
次に、遅延和アレーの感度分布を図１２に示す。この図はマイクロホンアレーの下方１．１ｍの水平面上の感度を３００Ｈｚから７ｋＨｚまで平均し等高線表示したものである。また、図中の数値の単位はｄＢであり、焦点位置（ｘ＝１．０ｍ、ｙ＝２．０ｍ）の感度を基準（０ｄＢ）としている。図１２（ａ）の従来方法と図１２（ｂ）の本発明の方法の感度分布を比べると、従来方法では焦点位置のメインローブが鋭く、約３０ｃｍ焦点から離れると１０ｄＢ程度感度が落ちている。したがって、音源から焦点がずれた場合、図１１（ａ）に示したように出力音には大きな歪みが生じる。一方、本発明の方法ではメインローブが広く、音源から焦点が数１０ｃｍずれても、図１１（ｂ）に示したように出力音には大きな影響がない。しかし、ＳＮ比改善の観点から本発明の方法の感度分布をみると、メインローブが広がっているために、ＳＮ比改善を従来方法ほど望めないことが予想される。
【０１０９】
図１３に従来方法と本発明の方法のＳＮ比ＳＮＲおよび目的音の歪ＥＲＲを示す。ＳＮＲを求める際の目的音源には男声（７ｋＨｚ帯域）、雑音には各マイクロホン間で無相関なホワイトノイズを使用した。また、ＳＮＲは音源に最も近いマイクロホンでのＳＮ比を基準（０ｄＢ）として計算し、音源位置推定誤差のない場合の値を示した。ＥＲＲは音源位置推定誤差が２０ｃｍの場合の値を示した。その他の条件は全て前述の条件と同じく設定した。この図より、従来方法に比べ、本発明の方法はＥＲＲを約１０ｄＢ改善しているが、ＳＮＲは約６ｄＢ低下していることが分かる。このことより、本発明の方法は目的音の歪を改善することができるが、その分ＳＮ比を犠牲にしていると言える。
【０１１０】
以上の結果より、本発明の方法は、音源位置推定誤差による目的音の歪を軽減する有効な手段であると言える。ただし、目的音の歪とＳＮ比はトレードオフの関係にあり、目的音の歪を軽減することでＳＮ比は低下する。ＳＮ比と目的音の歪のどちらが重要であるかは、実際の環境（部屋の騒音、マイクロホンの配置など）により変わるが、本発明では、実際の環境に合わせて係数αを調整することで、その環境で最適な遅延和アレーを構成することが可能である。
【０１１１】
【発明の効果】
以上説明したように、本発明によれば、装置規模を大きくせずに出力の目的音成分の歪を軽減することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の収音装置の構成図である。
【図２】本発明の第２の実施形態の収音装置の構成図である。
【図３】本発明の第３の実施形態の収音装置の構成図である。
【図４】本発明の第４の実施形態の収音装置の構成図である。
【図５】本発明の第５の実施形態の収音装置の構成図である。
【図６】本発明の第６の実施形態の収音装置の構成図である。
【図７】最適フィルタを求める手順を示すフローチャートである。
【図８】マイクロホンが音波を受音する様子を説明する図である。
【図９】球面波モデルを仮定した遅延和アレーを説明する図である。
【図１０】目的音の歪を軽減する従来方法を説明する図である。
【図１１】遅延和アレーの焦点位置から音源がずれた場合の音源−遅延和アレー出力間の周波数特性を従来方法と本発明の方法の場合で示すグラフである。
【図１２】従来方法と本発明の方法の遅延和アレーの感度分布を示すグラフである。
【図１３】従来方法と本発明の方法のＳＮ比ＳＮＲおよび目的音の歪ＥＲＲを示すグラフである。
【符号の説明】
１１１〜１１Ｍ マイクロホン
１２１〜１２Ｍ 遅延器
１３１〜１３Ｍ フィルタ
１４ 加算器
１５ 焦点位置制御部
１５Ａ 話者位置推定部
１５Ｂ 焦点位置ステアリング部
１６ 遅延制御部
１７ 最適フィルタ計算部
１８ 信号対雑音比推定部
１９ 異常音検出部
２０ 仮想焦点位置設定部
２１ 最適フィルタ計算部
２２ 最適フィルタ記憶部
２３ 最適フィルタ選択部
２４ 信号対雑音比推測部
２３１ 直流成分最適フィルタ計算部
２３２ 初期値記憶部
２３３ 逐次近似計算部
２３４ 繰り返し制御部
２３５ フィルタ構成部
２３５１ 間引き部
２３５２ 離散逆フーリエ変換部
１３１ ＦＩＲフィルタ
１３２ 離散フーリエ変換部
１３３ 乗算部
１３４ 離散逆フーリエ変換部
３１〜３５ ステップ
【発明の属する技術分野】
本発明は、通信会議、遠隔講義、異常音監視等において、複数のマイクロホンにより受音された音声信号をフィルタ処理して出力することにより、雑音や歪を低減し、目的とする音源から発せられた音を高品質に収音する方法および装置に関するものである。
【０００２】
【従来の技術】
マイクロホンにより受音された信号には、目的とする音源から発せられた音（目的音）の他に、空調音、電気機器のファン音、マイクロホンアンプや信号ケーブル等で生じる電気的雑音等の雑音が含まれる。また、収音の過程で目的音成分に歪が生じる。目的音成分の歪が小さいほど収音した音は目的音に近い波形であるので、目的音成分の歪は小さいほど高品質である。したがって、高品質な収音とは高ＳＮ比、かつ目的音成分の歪が小さい収音のことである。
【０００３】
音波をモデル化する場合に、球面波をモデルとする場合と平面波をモデルとする場合がある。音源が点状と見なせる場合は球面波モデルを用いることができ、音源からマイクロホンまでの距離に比べ十分に狭い範囲内に全てのマイクロホンがある場合には、平面波モデルを用いることができる。
【０００４】
複数のマイクロホンにより受音された信号を処理して、目的とする音源（目的音源）から発せられた音を高品質に収音する方法の代表的なものとして遅延和アレーがある。遅延和アレーは、焦点位置から複数のマイクロホンへ到来する音を同位相化し加算することで、焦点位置に対する感度を高める方法であり、目的音源位置に焦点を向けることにより、目的音源位置以外にある雑音を抑圧し、ＳＮ比を向上させることができる。ただし、真の目的音源位置を知ることは不可能であるので、焦点は推定した目的音源位置（推定音源位置）に向けられることになる。
【０００５】
次に、球面波モデルを仮定した遅延和アレーについて詳細な説明をする。
【０００６】
まず、説明するのに必要な記号の定義を行う。図８はマイクロホンが音波を受音する様子を説明する図であり、４１は座標の原点、４２は遅延和アレー焦点位置（推定音源位置）、４３は目的音源位置、４４１〜４４Ｍはマイクロホンを表している。次に、図中の記号の意味を説明する。ｉ（ｉ＝１，２，３，…，Ｍ）はマイクロホンの番号、Ｐは目的音源位置４３のベクトル、Ｐ’は遅延和アレーの焦点位置（推定音源位置４２）のベクトル、Ｑ（ｉ）はｉ番目マイクロホン４４ｉの位置のベクトル、ｒ（ｉ）は目的音源とｉ番目マイクロホンの間の距離、ｒ’（ｉ）は焦点（推定音源位置）とｉ番目マイクロホンの間の距離、ｘ（ｉ，ｔ）は時刻ｔにおけるｉ番目マイクロホン４４ｉの受音信号である。また、位置ベクトルと距離の関係は式（１）、式（２）で表される。
【０００７】
【数１】
次に、マイクロホンで受音された信号を数式で表す。マイクロホンで受音される信号には、目的音源から発せられて直接マイクロホンに到達する音、目的音源から発せられて壁、床、天井等に反射してからマイクロホンに到達する音、空調、電気機器のファン音等の雑音、さらには、マイクロホンアンプ、信号ケーブル等で生じる電気的雑音等がある。本明細書では、簡単のために目的音源から発せられて直接マイクロホンに到達する音以外の信号をまとめて１つの雑音として扱うこととし、この雑音は定常的な白色雑音、各マイクロホン間で無相関、全てのマイクロホンで等パワーであると仮定する。また、目的音源の指向特性は無指向性と仮定する。目的音源の信号をｓ（ｔ）、ｉ番目マイクロホンでの雑音成分をｎ（ｉ，ｔ）、音速をｃと表し、ｉ番目マイクロホンの受音信号を数式で表すと、目的音源から発せられた音は１／ｒ（ｉ）の距離減衰と、ｒ（ｉ）／ｃの伝播時間を持ってｉ番目マイクロホンに到達し、雑音はマイクロホンで加わるので、式（３）となる。
【０００９】
【数２】
図９は、球面波モデルを仮定した遅延和アレーを説明する図であり、４４１〜４４Ｍがマイクロホン、４５１〜４５Ｍが遅延器、４６１〜４６Ｍがゲイン、４７が加算器を表している。各マイクロホン４４１〜４４Ｍで受音された信号は、遅延器４５１〜４５Ｍ、ゲイン４６１〜４６Ｍを通り加算器４７で加算され出力ｙ（Ｐ’，ｔ）となるので、出力ｙ（Ｐ’，ｔ）は式（４）のように表すことができ、式（３）を代入することでさらに変形される。
【００１１】
【数３】
遅延和アレーは、焦点から直接マイクロホンへ到来する信号を同位相化して加算することにより、焦点位置の感度を上げ、焦点位置を推定音源位置に合わせることにより、目的音源から発せられる音を収音する。焦点位置（推定音源位置）から直接マイクロホンへ到来する信号を同位相化する遅延は、焦点（推定音源位置）から各マイクロホンまでの音の伝播時間ｒ’（ｉ）／ｃを固定遅延Ｄより差し引けばよいので式（５）で表される。
【００１３】
【数４】
ただし、固定遅延Ｄは、信号を進ませることができないという因果性を満足させるために、ｄ（ｉ，Ｐ’）が必ず正となる定数でなければならない。
【００１５】
式（５）の遅延を式（４）に代入すると、遅延和アレー出力ｙ（Ｐ’，ｔ）は式（６）で表される。
【００１６】
【数５】
ただし、δ（ｉ）は焦点が真の目的音源位置ではなく推定音源位置に向いていることによる遅延誤差であり、式（７）で表される。
【００１８】
【数６】
目的音源位置と推定音源位置が十分に近く遅延誤差が小さい場合（δ（ｉ）＝０と見なせる場合）には、式（６）の目的音成分の遅延が一定値Ｄとなり、同位相で加算される。一方、雑音成分は各マイクロホン間で無相関であるので同位相となることはない。したがって、同位相で加算される目的音成分のみが強調され、ＳＮ比を改善することができる。
【００２０】
次に、遅延和アレー出力のＳＮ比と目的音成分の歪を求める。
【００２１】
まず、式（６）を遅延和アレーの特性を解析するのに都合が良いように、フーリエ変換し周波数領域で表すと、式（８）となる。
【００２２】
【数７】
ただし、Ｙ（Ｐ’，ω）はｙ（Ｐ’，ｔ）をフーリエ変換したもの、Ｓ（ω）はｓ（ｔ）をフーリエ変換したもの、Ｎ（ｉ，ω）はｎ（ｉ，ｔ）をフーリエ変換したもの、ωは角周波数を表している。
【００２４】
式（８）の右辺１項目は、遅延和アレー出力の目的音成分の信号であり、式（８）の右辺２項目は、遅延和アレー出力の雑音成分の信号であり、式（８）より遅延和アレー出力の目的音成分のパワーＷｓ、雑音成分パワーＷｎを求めると、それぞれ式（９）、式（１０）となる。
【００２５】
【数８】
ただし、ａ＾ｂはａのｂ乗を表し、Ｅ（ａ）はａの平均をとることを表す。また、Ｗ’ｓはＳ（ω）のパワーでありＷ’ｓ＝Ｅ（｜Ｓ（ω）｜）で表され、Ｗ’ｎはＮ（ｉ，ω）のパワーであり、Ｎ（ｉ，ω）のパワーは各マイクロホンで一定であるという仮定より｜Ｎ（ω）｜＝｜Ｎ（ｉ，ω）｜として、Ｗ’ｎ＝Ｅ（｜Ｎ（ω）｜）で表される。
【００２７】
式（９）、式（１０）より、遅延和アレーの出力のＳＮ比ＳＮＲは式（１１）で表される。
【００２８】
【数９】
次に、遅延和アレー出力の目的音成分の歪ＥＲＲを式（８）より求める。目的音成分の歪は、遅延和アレー出力の目的音成分（式（８）右辺１項目）と目的音Ｓ（ω）との誤差を目的音で正規化し、二乗平均したもので表し、式（１２）で表される。
【００３０】
【数１０】
ここで、ゲインｇ（ｉ，Ｐ’）について議論する。音源位置推定誤差のない場合、すなわち遅延誤差δ（ｉ）＝０の場合に関してＳＮ比を最大とするゲインｇ（ｉ，Ｐ’）が求められている。これは、式（１１）をｇ（ｉ，Ｐ’）で偏微分し、式（１１）の極大点を求めることで値を決定でき、ｇ（ｉ，Ｐ’）＝ｃｏｎｓｔ・１／ｒ（ｉ）（ｃｏｎｓｔは定数）がその値である。この方法で遅延和アレーの出力のＳＮ比を最大とすることができるが、音源位置推定誤差がある場合（遅延誤差δ（ｉ）≠０）には、式（１２）に示すように遅延和アレーの出力に目的音成分の歪が生じる。
【００３２】
この遅延和アレー出力の目的音成分の歪は、焦点位置のメインビームが狭いほど、音源位置推定誤差の影響を受けやすくなる。焦点位置のメインビーム幅は、高周波成分ほど狭く、マイクロホンが広範囲に配置されているほど狭くなる。したがって、遅延和アレー出力の目的音成分の歪は高周波成分ほど大きく生じ、マイクロホンが広範囲に設置されているほど大きくなる。
【００３３】
以上まとめると、遅延和アレーは、焦点から複数のマイクロホンへ到来する音を同位相化し加算することで、その位置に対する感度を高める方法であり、目的音源位置に焦点を向けることにより、目的音源位置以外にある雑音を抑圧し、ＳＮ比を向上させることができる。ただし、真の目的音源位置を知ることは不可能であるので、焦点は推定音源位置に向けられることになり、音源位置推定誤差により出力に目的音成分の歪を生じる。この目的音成分の歪は高周波成分ほど大きく生じ、マイクロホンが広範囲に配置されているほど大きくなる。
【００３４】
次に、この遅延和アレー出力の目的音成分の歪を軽減する従来の方法を説明する。
【００３５】
図１０はこの従来方法を説明する図であり、５１が音波到来方向、５２が平面波の波面、５３１〜５３Ｍが等間隔Ｌで直線状に配置された無指向性マイクロホン、５４１〜５４Ｍがディジタルフィルタ（ＵタップＦＩＲフィルタ）、５５が加算器を表している。ｈ（ｉ，φ，ｕ）はｉ番目のマイクロホン５３ｉのディジタルフィルタ５４ｉのｕタップ目のフィルタ係数を表し、φは遅延和アレーの焦点の方向を表し、ｋは周期Ｔでサンプリングされた離散時刻を表し整数値を取る。マイクロホン５３１〜５３Ｍに到来した音波は式（１３）、式（１４）で表される。ただし、時刻ｔは離散化したｋＴに置き換わる。
【００３６】
【数１１】
ただし、τ（θ）は、θ方向から到来する音波を仮定したとき、隣り合うマイクロホン間での音波到来時間差であり、ｃは音速である。
【００３８】
次に、マイクロホン５３１〜５３Ｍで受音された信号はディジタルフィルタ５４１〜５４Ｍを通り加算されるので、出力ｙ（θ，φ，ｋ）は式（１５）のように表される。
【００３９】
【数１２】
次に、式（１５）をフーリエ変換すれば、式（１６）となる。
【００４１】
【数１３】
この方法の伝達関数Ｒ（θ，φ，ω）は、式（１６）を変形して式（１７）で表される。
【００４３】
【数１４】
式（１７）は、２次元フーリエ変換の式と等価な形となっており、所望の指向特性を伝達関数Ｒ（θ，φ，ω）に代入し、２次元逆フーリエ変換することにより、所望の指向特性を持ったディジタルフィルタの係数ｈ（ｉ，φ，ｕ）を求めることができる。この方法を用いることで任意の指向特性を作り出すことができ、周波数に依存しないメインビームを持つ指向特性を設計することが可能である。したがって、目的音成分の高周波成分に大きな歪を生じることなく良好に目的音源から到来する音を収音することができる。
【００４５】
しかし、この方法は平面波モデルを仮定した等間隔直線アレーを用いなければならないため、球面波モデルや任意配置のマイクロホンには適用することができない。通信会議、遠隔講義、異常音監視等では、マイクロホンを設置できる位置が部屋の中に限定されるため、平面波モデルを使うにはアレーの大きさを小さくしなくてはならない。アレーの大きさを小さくした場合、マイクロホンは部屋の一部分に集中して配置されるため、マイクロホンが設置されている位置の周辺以外では、マイクロホンと音源の間の距離が離れてしまう。このため、マイクロホンで受音される信号のＳＮ比は低くなり、音の品質が悪くなってしまう。
【００４６】
【発明が解決しようとする課題】
上述した従来技術は、音源位置推定誤差により出力の目的音成分に歪が大きく生じることを解決するために、各マイクロホンで収音された音声をディジタルフィルタを用いてフィルタリング処理しており、平面波モデルを仮定したアレーにしか適用できず、通信会議、遠隔講義、異常音監視等に用いるのに不向きであるという問題がある。
【００４７】
本発明の目的は、球面波モデルを仮定した任意配置のアレーにおいて、装置規模を拡大せず（マイクロホン数を増やすことなく）、出力の目的音成分の歪を軽減することができる収音方法及び装置を提供することである。
【００４８】
【課題を解決するための手段】
上記目的を達成するために、本発明の収音方法は、任意配置の複数の収音手段の各々で収録された音声信号を各々異なる遅延量で遅延させ、各遅延出力を各々異なるフィルタ係数でフィルタリングし、各フィルタリング出力を加算して加算出力を出力する収音方法において、
音源位置を推定し、
前記音源位置から発せられ、前記複数の収音手段で受音した信号が同位相となるように遅延を制御し、
各収録音声信号の信号対雑音比を推定し、
各音源位置から各収音手段までの距離と信号対雑音比とから加算出力の雑音対信号比を推定し、
各距離から加算出力の目的音成分歪を推定し、
加算出力の雑音対信号比と目的音成分歪とから求められる歪関数を最小とする各フィルタ係数を決定し、
フィルタ係数の決定において、各距離で減衰させた各フィルタ係数の和を一定値とする。
【００４９】
また、本発明の収音装置は、任意配置の複数の収音手段と、前記各収音手段で収録された音声信号を各々異なる遅延量で遅延させる遅延手段と、遅延手段からの遅延出力信号を各々異なるフィルタ係数でフィルタリングするフィルタリング手段と、前記フィルタリング手段からの各フィルタリング出力を加算して加算出力を出力する加算手段とを有する収音装置において、
音源位置を推定する音源位置推定手段と、
音源位置推定手段で推定された音源位置から発せられ、前記複数の収音手段で受音した信号が同位相となるように、遅延を制御する遅延制御手段と、
各収録音声信号の信号対雑音比を推定する信号対雑音比推定手段と、
各音源位置から各収音手段までの距離と信号対雑音比とから加算出力の雑音対信号比を推定する加算雑音対信号比推定手段と、
各距離から加算出力の目的音成分歪を推定する目的音歪推定手段と、
加算出力の雑音対信号比と目的音成分歪とから求められる歪関数を最小とする各フィルタ係数を決定するフィルタ係数決定手段とを有し、
フィルタ係数決定手段は、各距離で減衰させた各フィルタ係数の和が一定値となるよう各フィルタ係数を決定する。
【００５０】
歪を最小とするようフィルタ係数を決定する際、ＳＮ比を一定値に保つことを条件とする。ただし、ＳＮ比が小さくなると指向性の幅が狭くなる傾向が認められる。例えば、マイクロホンを直線上に等間隔で配置したとき、ＳＮ比と指向性の幅（メインローブ幅）の関係は次のように導出される。メインローブ幅Ψは焦点方向φ＝０の場合、式（１８）のように表される。
【００５１】
【数１５】
ここで、Ｍはマイクロホン数、Ｌはマイクロホン間隔を表わす。
【００５３】
次に、信号成分の音波到来方向θで、雑音は各マイクロホンで等パワー、無相関と仮定し、１番目マイクロホンで観測される信号成分をＳ（ω）、雑音成分をＮ（１，ω）とすれば、ｉ番目マイクロホンで観測される信号は、
【００５４】
【数１６】
となる。
焦点方向φ＝θ（焦点方向が音源方向と一致する場合）を仮定し、遅延和アレーの出力を求めると、
【００５６】
【数１７】
となる。右辺１項目が信号成分であり、２項目が雑音成分であるので、信号成分のパワーと雑音成分のパワーの比（ＳＮ比）を求めると、
【００５８】
【数１８】
雑音は、各マイクロホンで無相関、等パワーを仮定しているので、
｜Ｎ（ω）｜＾２＝｜Ｎ（ｉ，ω）｜＾２ として、
【００６０】
【数１９】
したがって、各マイクロホンでのＳＮ比が
（｜Ｓ（ω）｜＾２）／（｜Ｎ（ω）｜＾２）
であるから、
Ｍ本のマイクロホンを使った、遅延和アレー処理により、ＳＮ比がＭ倍になったと言える。
【００６２】
したがって、ＳＮ比改善度をＳＮＲｉｍｐとすれば
ＳＮＲｉｍｐ＝Ｍ
となる。ＳＮＲｉｍｐとしてメインローブ幅の関係を導出すると
【００６３】
【数２０】
という関係が成り立つ。
【００６５】
すなわち、適当なＳＮ比を条件としてフィルタ係数を決定すれば指向性幅の範囲内に音源位置の推定誤差範囲を含めることができる。かかる条件をあらゆる周波数にわたり満足させれば、全周波数について指向性幅の範囲に音源を位置されていることになる。よって音源位置の推定誤差を認めたうえで目的音レベルの周波数にわたる変動を最小限に抑えることができる。上記はマイクロホンを直線上に配置させた場合を仮定したが、その他の配置においても同様な効果が期待できる。
【００６６】
求められた最適なフィルタはＳＮ比を大きくし、目的音成分の歪を小さくするので、本方法は遅延和アレー出力の目的音成分の歪を軽減することができ、最適フィルタを求める際の係数αによりＳＮ比と目的音成分の歪のどちらに重点を置くかを調節することができる。また、球面波モデルを用いてフィルタを求めているので、平面波モデルを仮定したアレーに限定されることなく、任意配置のアレーに適用でき、通信会議、遠隔講義、異常音監視等に用いるのに都合の良いアレー配置に用いることができる。さらに、マイクロホン数を増やす必要がないので、装置規模が大きくなることもない。
【００６７】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００６８】
図１は本発明の第１の実施形態の収音装置の構成図である。本実施形態の収音装置はマイクロホン１１１，１１２，…，１１Ｍと、遅延器１２１，１２２，…，１２Ｍと、フィルタ１３１，１３２，…，１３Ｍと、加算器１４と、焦点位置制御部である話者位置推定部１５Ａと、遅延制御部１６と、最適フィルタ計算部１７と、信号対雑音比推定部１８で構成されている。
【００６９】
本収音装置は話者自動追従型収音装置で、焦点位置制御として話者位置推定を用いたものであり、話者位置に自動的に焦点を向け、話者の音声を収音する。マイクロホン１１１〜１１Ｍで受音された信号は話者位置推定部１５Ａに供給される。話者位置推定部１５Ａは話者位置推定を行う。遅延制御部１６は、話者位置推定結果を受け推定話者位置に遅延和アレーの焦点が向くような遅延を遅延器１２１〜１２Ｍに設定する。信号対雑音比推定部１８は各マイクロホン１１１〜１１Ｍで収録された音声信号について信号対雑音比（ＳＮ比）を推定する。推定されたＳＮ比はフィルタ係数の決定に用いられる。すなわち後述の、フィルタを求める式（２５）の（｜Ｎ（ω）｜）／（｜Ｓ（ω）｜）に値が使われる。
信号対雑音比を決定する最も簡単な方法は、音声信号を高速フーリエ変換等により一定個数のサンプル毎に周波数領域に変換し、各周波数ごとにレベルがある閾値以下であるか否かを判定して閾値以下の場合に雑音とみなして時間平均をとる。閾値を越える場合には音声とみなし、そのレベルを時間平均値で除算すればＳＮ比が求められる。最適フィルタ計算部１７はアレーの出力のＳＮ比、目的音成分の歪が最適となるような最適フィルタを計算し、フィルタ１３１〜１３Ｍに設定する。フィルタ１３１〜１３Ｍを通過した、マイクロホン１１１〜１１Ｍで受音された信号は加算器１４で加算され、出力される。
【００７０】
ここで、話者位置推定部１５Ａで各マイクロホン１１１〜１１Ｍの信号から音源（話者）位置を推定する過程を説明する。まず、初期設定として探索範囲θｒ、フィルタ長Ｌ、ＦＦＴ（ＦＦＴポイント数）Ｎ、チャネル数Ｍなどを設定する。次に、ビームフォーマが一般化サイドロープキャンセラならばフィルタ変換を行い、そうでなければＦＦＴを行う。次に、探索範囲の中のある一つの方向をθとすると、θ方向から到来する信号に関する各チャネルの伝播位相遅れを表わす方向ベクトルＳ（ｋ，θ）を生成する。次に、ＦＦＴにより求めたフィルタの周波数成分Ｗｅと方向ベクトルＳ（ｋ，θ）の内積の絶対値の２乗｜Ｓ・Ｗ｜２を求める。方向ベクトルＳ（ｋ，θ）と｜Ｓ・Ｗ｜２の算出を全ての周波数、すなわちｋ＝１からｋ＝２／Ｎまでについて行い、求めた内積の２乗和を方向θ毎に周波数ｋについて加算し、全帯域についてまとめた方向毎の感度Ｄ（θ）を求める。次に、求めた方向毎の感度が最小となる方向θｍｉｎをＤ（θ）から求め、これを信号（目的信号）の到来方向とする。この方法は特開平１０−２０７４９０号に記載されている。
【００７１】
本実施形態は球面波モデルを仮定した遅延和アレー（図９）のゲイン４６ｌ〜４６Ｍをフィルタ１３ｌ〜１３Ｍに置き換えたものであり、マイクロホン１１ｌ〜１１Ｍで受音される信号は、球面波モデルを仮定した遅延和アレーと同じであり式（３）で表され、遅延和アレー出力をフーリエ変換した式は、式（８）のゲインｇ（ｉ，Ｐ’）をフィルタｇ（ｉ，Ｐ’，ω）に置き換えたものに等しく、式（１９）で表される。ただし、記号の意味、仮定等は球面波モデルを仮定した遅延和アレーの説明で述べたとおりである。
【００７２】
【数２１】
同様に、本方法の出力のＳＮ比ＳＮＲと目的音成分の歪ＦＲＲは、式（１１）、式（１２）のゲインｇ（ｉ，Ｐ’）をフィルタｇ（ｉ，Ｐ’，ω）に置き換えたものであり、それぞれ式（２０）、式（２１）で表される。
【００７４】
【数２２】
ここから、ＳＮ比を大きくし、目的音成分の歪を小さくする最適なフィルタｇ（ｉ，Ｐ’，ω）を求めていく。まず、各周波数成分のＳＮ比ＳＮＲ（ω）、目的音成分の歪ＥＲＲ（ω）は、式（２０）、式（２１）の平均を取り去ることで求められ、式（２２）、式（２３）で表される。
【００７６】
【数２３】
また、フィルタには、焦点位置によらず、一定のゲインで収音することが求められるので、式（２４）の条件を満たす必要がある。
【００７８】
【数２４】
式（２２）、式（２３）、式（２４）をそれぞれ最小化問題に置き換え、係数αと未定乗数βで結合することにより、歪関数Ｆ（ω）の最小化問題に置き換えると、式（２５）となる。係数αは、ＳＮ比と目的音成分の歪のどちらに重点を置くかを決める係数であり、αが大きければ目的音成分の歪に、αが小さければＳＮ比に重点を置くこととなる。未定乗数βは、式（２４）の条件をどの程度厳密に満足させるかを決める乗数であり、十分に大きい値である必要がある。係数αはＳＮ比の関数として与えられ、一般に非線型である。明瞭度を規模とした場合の係数αを求める方法は「聴覚と音声」第４版３８９頁（社団法人「電子通信学会」、昭和４４年１１月３０日発行）に記載され、明瞭度係数を最大とするように決定される。
【００８０】
【数２５】
式（２５）において、δ（ｉ）は音源位置推定誤差の関数（式（１）、式（２）、式（７））であり、δ（ｉ）の値は知ることができないので、何らかのモデルとして扱わなければならない。本明細書では音源位置推定誤差を確率密度関数（例えば正規分布、一様分布、指数分布等）として扱い、平均を取ることでＦ（ω）を求める。したがって、式（２５）は式（２６）となる。
【００８２】
【数２６】
ただし、Ｅ（ａ）は音源位置推定誤差に関してａの平均をとる意味である。
【００８４】
最適フィルタは、式（２６）のＦ（ω）を最小化するフィルタであるので、Ｆ（ω）の最小化問題を何らかの方法で解く必要がある。式（２６）はＥＸＰ（−ｊωδ（ｉ））という周期関数を含んでおり複数の極小点を持っているので簡単には解くことができない。
【００８５】
本明細書では最小化問題を解き最適フィルタを求める一つの例として逐次的に最適フィルタを求める手法を示す。この手法は、フィルタｇ（ｉ，ｐ’，ω）でＦ（ω）を偏微分し、その勾配方向にフィルタを修正することを繰り返し、極小点を求める手法で、修正式は式（２７）で表される。
【００８６】
【数２７】
ただし、ｎは修正回数、ｇ（ｉ，Ｐ’，ω，ｎ）はｎ回修正後ｇ（ｉ，Ｐ’，ω）、γは修正係数、∂ａ／∂ｂはａをｂで偏微分することを表している。
【００８８】
しかし、Ｆ（ω）が複数の極小点を持っているため、式（２７）で収束する極小点は初期値ｇ（ｉ，Ｐ’，ω，０）に依存し、Ｆ（ω）を最小としない極小点に収束してしまうことも考えられる。このことを回避するために初期値の与え方を工夫する。
【００８９】
まず、ω＝０の場合を考えるとＥＸＰ（−ｊωδ（ｉ））＝１となり、Ｆ（ω）は一つの極小点しか持たなくなる。この場合、Ｆ（ω）を最小とする極小点は簡単に求めることができ、解析的に求めることができる。これは、Ｆ（ω）をｇ（ｉ，Ｐ’，０）で偏微分して０と置くことで求められ、式（２８）を満たすｇ（ｉ，Ｐ’，０）がＦ（ω）を最小とする最適フィルタとなる。
【００９０】
【数２８】
次に、ω＝Δωの場合の最適フィルタを求める。Ｆ（ω）はωに対して連続
関数であるので、Δωが十分小さければ、式（２８）のｇ（ｉ，Ｐ’，０）の
近傍にＦ（ω）を最小とする極小点があり、式（２８）のｇ（ｉ，Ｐ’，０）を初期値とすることにより、Ｆ（ω）を最小とする極小点に収束させることができる。同じ要領でω＝２・Δωの場合は、ω＝Δωの場合の最適フィルタを
初期値にして、Ｆ（ω）を最小とする極小点に収束させる。これを繰り返していけば、全ての周波数においてＦ（ω）を最小とする最適フィルタを見つけることができる。この手順を分かり易くフローチャートにしたものを図７に示す。ステップ３１でω＝０の場合の最適フィルタを解析的に求め、ステップ３２で繰り返し回数ξ＝０に設定し、ステップ３３で繰り返し回数に１を加算し、ステップ３４でω＝（ξ−１）・Δωの場合の最適フィルタを初期値として、
ω＝ξ・Δωに対する最適フィルタを逐次近似により求め、ステップ３３と３
４を必要なωについて最適フィルタが全て求められるまで繰り返す。以上の手順により、全てのωについて最適フィルタが求められる。
【００９２】
最適フィルタを求める際の補足として、ＳＮ比に対するδ（ｉ）の関与は、目的音成分の歪が小さくなることによって小さくなるので、ＳＮ比を求める際のδ（ｉ）を取り去り、式（２６）を式（２９）に近似して簡単化することもできる。さらに、（｜Ｎ（ω）｜／｜Ｓ（ω）｜）を一定値として扱い式（３０）とすることもできる。
【００９３】
【数２９】
以上、最適なフィルタを求める方法を示した。
【００９５】
フィルタ係数ｇ（ｉ，Ｐ’，ω，ｎ−１）を時間領域に変換したうえで音声信号に作用（畳み込み演算）する。
【００９６】
本話者自動追従型収音装置は、通信会議、遠隔講義等の収音装置として利用することができ、話者の音声だけを選択的に収音することが可能である。従来の通信会議、遠隔講義等の収音形態は、マイクロホンを机上に設置する形態や、話者がマイクロホンを受け取り、手に持つという形態が主である。机上にマイクロホンを設置した場合には、マイクロホンに近い位置で、マイクロホンの方向を向いて発話しなくてはならず、自然な会話ができないことや、机上のスペースを有効に使えないこと、資料をめくる音、机に物を落とした音等の不快な音が混入しやすいこと、マイクロホンのケーブルが邪魔であり、机の並び替えも容易にできなくなること等の不都合が点がある。話者がマイクロホンを受け取り、手に持つという形態では、話者は発言することを挙手などで示し、マイクロホンを受け取ってから発言しなくてはならず、スムーズな会話ができないことや、マイクロホンを運ぶ人手が必要となる。また、多人数が同時に発言することができず、活発な議論や討論の妨げになることも考えられる。
【００９７】
以上のように従来の収音形態では、不都合な点が多くあるが、本話者自動追従型高品質収音装置を用いることにより、これらの不都合な点が一挙に解決できる。マイクロホンを天井等の邪魔にならない場所に設置し、話者自動追従型高品質収音を用いれば、机上にマイクロホンはなく、位置、方向が限定されることなく自由に発言することができ、自然な会話が可能となる。
【００９８】
話者自動追従型収音装置においては、話者位置推定部１５Ａでは雑音、残響等により必ず誤差が生じるため、話者位置と高品質収音装置の焦点位置は一致しない。このため遅延和アレーでは出力の目的音成分に歪が生じるが、本実施形態によれば、装置規模を大きくすることなく、平面波モデルを仮定できるようなマイクロホン配置に限定されることなく、目的音成分の歪を軽減し、より高品質な収音が可能となる。
【００９９】
図２は本発明の第２の実施形態の収音装置の構成図である。本収音装置は、焦点位置制御部として焦点位置ステアリング部１５Ｂを用い、焦点位置を希望位置にステアリングして、出力を異常音検出部１９で解析し、異常音を感知したら通報、警報等をする装置である。焦点位置ステアリング部１５Ｂから、遅延制御部１６、最適フィルタ計算部１７に、焦点位置を希望位置にステアリングする位置情報が送られる。その位置情報に基づいて、遅延制御部１６は、遅延和アレーの焦点が希望位置に向くような遅延を遅延器１２１〜１２Ｍに設定する。最適フィルタ計算部１７は、遅延和アレーの出力のＳＮ比、目的音成分の歪が最適となるような最適フィルタを計算しフィルタ１３１〜１３Ｍに設定する。複数のマイクロホン１１１〜１１Ｍで受音された信号は、それぞれ遅延器１２１〜１２Ｍ、フィルタ１３１〜１３Ｍを通り、加算器１４で加算され、出力となる。出力は異常音検出部１９で解析され、異常音と判別された場合には、通報、警報等の信号を出力する。
【０１００】
本異常音自動検出装置は、例えば工場等の機械の故障、不調の監視に用いることができる。複数ある機械から出力される音は混合されているため、通常の方法ではそれぞれの機械の異常音を検出することは難しいが、本装置によれば、それぞれの機械から出力される音を選択的に収音することができるので、それぞれの機械の異常音を検出することができる。また、正常音と異常音を正確に判別するためには、機械から出力される音を高品質で収音する必要があるが、遅延和アレーでは音源位置と焦点位置が一致しないと出力の目的音成分に歪が生じる。本実施形態によれば、装置規模を大きくすることなく、平面波モデルを仮定できるようなマイクロホン配置に限定されることなく、目的音成分の歪を軽減し、より高品質な収音が可能となるので、異常音検出を正確に行うことができる。
【０１０１】
図３は本発明の第３の実施形態の収音装置の構成図である。本実施形態は、第１または第２の実施形態の収音装置の最適フィルタ計算部１７を、仮想焦点位置設定部２０と信号対雑音比推測部２４と最適フィルタ計算部２１と最適フィルタ記憶部２２と最適フィルタ選択部２３に置き換えたものである。まず、収音を行う前に、仮想焦点位置設定部２０はあらかじめ複数の仮想焦点位置を設定する。また、信号対雑音比推測部２４は、あらかじめ計測した雑音レベルと標準的な発声音の大きさから信号対雑音比を推測する。最適フィルタ計算部２１は仮想焦点位置に対する最適フィルタを全て計算し、最適フィルタ記憶部２２は計算された最適フィルタを全て記憶しておく。収音を行っている間は、焦点位置制御部１５Ｃより送られる焦点位置に最も近い仮想焦点位置の最適フィルタを、最適フィルタ選択部２３が最適フィルタ記憶部２２から読み出し、フィルタ１３１〜１３Ｍに設定する。このようにすることにより、収音を行っている間は、最適フィルタ選択部２３が最適フィルタ記憶部２２からフィルタを読み出す処理のみが行われ、最適フィルタの計算を行わなくてよい。したがって、収音を行っている間の計算量が非常に少なくてすみ、第１の実施形態、第２の実施形態に比べ、少ないハードウェアで実時間処理可能な装置を構成することができるという利点がある。その他の構成については、第１の実施形態、または第２の実施形態と同じであるので、説明を省略する。
【０１０２】
図４は本発明の第４の実施形態の収音装置の構成図である。本実施形態は、第１の実施形態または第２の実施形態または第３の実施形態の最適フィルタ計算部２３が、直流成分最適フィルタ計算部２３１と初期値記憶部２３２と逐次近似計算部２３３と繰り返し制御部２３４とフィルタ構成部２３５より構成されるもので、図７の最適フィルタを求める手順に従って最適フィルタを計算するものである。直流成分最適フィルタ計算部２３１は、直流成分における最適フィルタを式（２８）により解析的に求め、初期値記憶部２３２に記憶し、逐次近似計算部２３３は、初期値記憶部２３２に記憶されている最適フィルタを初期値として、初期値の最適フィルタの周波数成分より微小に高い周波数成分に対する最適フィルタを式（２７）および式（２６）、または式（２９）、または式（３０）の修正式を用いて逐次近似で求め、その最適フィルタを初期値記憶部２３２に記憶する。繰り返し制御部２３４は、必要な周波数成分に対する最適フィルタが全て求められるまで逐次近似計算を繰り返すよう逐次近似計算部２３３を制御する。フィルタ構成部２３５は、以上の処理により求められた各周波数成分の最適フィルタを合成し、最適フィルタを構成する。このようにして最適フィルタを求めることにより、式（２６）、または式（２９）、または式（３０）が複数の極小点を持っているために、収束する極小点は初期値に依存し、式（２６）、または式（２９）、または式（３０）を最小としない極小点に収束してしまうという問題点を解決することができる。その他の構成については、第１の実施形態、第２の実施形態、第３の実施形態と同じであるので、説明を省略する。
【０１０３】
図５は本発明の第５の実施形態の収音装置の構成図である。本実施形態は、第４の実施形態のフィルタ構成部２３５が間引き部２３５１と離散逆フーリエ変換部２３５２で構成される。間引き部２３５１は、直流成分最適フィルタ計算部２３１と逐次近似部２３３により求められた各周波数成分の最適フィルタをフィルタの次数に合わせて間引きする。離散逆フーリエ変換部２３５２は、間引きされた最適フィルタをＦＩＲフィルタの係数とするために離散逆フーリエ変換する。このように最適フィルタをＦＩＲフィルタで構成することで、フィルタ１３はＦＩＲフィルタ１３１で実現でき、簡単な処理でフィルタ１３の処理を行うことができる。その他の構成については、第４の実施形態と同じであるので、説明を省略する。
【０１０４】
図６は本発明の第６の実施形態の収音装置の構成図である。本実施形態は、第４の実施形態のフィルタ構成部２３５が間引き部２３５１で構成されるもので、間引き部２３５１は、直流成分最適フィルタ計算部２３１と逐次近似部２３３により求められた各周波数成分の最適フィルタをフィルタの次数に合わせて間引きする。フィルタ１３は、離散フーリエ変換部１３２と乗算部１３３と離散逆フーリエ変換部１３４で構成され、周波数領域で間引きされた最適フィルタを乗算することによりフィルタを実現する。このように、周波数領域でフィルタを実現することにより乗算回数を減らすことができるので、第５の実施形態に比べ、少ないハードウェアで実時間処理可能な装置を構成することができるという利点があり、フィルタ次数が大きい場合に特に有効である。その他の構成については、第４の実施形態と同じであるので、説明を省略する。
【０１０５】
次に、本発明のシミュレーション結果を示す。
【０１０６】
まず、遅延和アレーの焦点位置から音源がずれた場合、遅延和アレー出力がどの程度歪むかを示す。図１１は、焦点位置を固定し、音源位置を焦点位置からｘ方向に０，５，１０，２０，５０ｃｍずらした場合の音源−遅延和アレー出力間の周波数特性である。
【０１０７】
図１１（ａ）は、ＳＮ比を最大とするような加算ゲインを乗じてから加算する遅延和アレー（従来方法）のときの周波数特性である。音源位置が焦点位置から離れるに従い、周波数特性の高域部分から劣化が生じているのが見て取れる。特に２０，５０ｃｍずれた場合では、１ｋＨｚ付近までかなりの劣化が認められる。図１１（ｂ）は、本発明の周波数特性である。ただし、このとき用いたフィルタは２５６ｔａｐのＦＩＲフィルタで、音源位置推定誤差モデルの標準偏差σ＝１．０ｍ、係数α＝２．０、未定乗数β＝１０．０の場合の最適フィルタである。図１１（ｂ）の本発明と図１１（ａ）の従来方法を比べると、本発明では高域部分の劣化がかなり改善されているのが分かる。以上の結果より、音源位置推定誤差の影響による遅延和アレー出力の歪を、本発明により改善できることが確認された。
【０１０８】
次に、遅延和アレーの感度分布を図１２に示す。この図はマイクロホンアレーの下方１．１ｍの水平面上の感度を３００Ｈｚから７ｋＨｚまで平均し等高線表示したものである。また、図中の数値の単位はｄＢであり、焦点位置（ｘ＝１．０ｍ、ｙ＝２．０ｍ）の感度を基準（０ｄＢ）としている。図１２（ａ）の従来方法と図１２（ｂ）の本発明の方法の感度分布を比べると、従来方法では焦点位置のメインローブが鋭く、約３０ｃｍ焦点から離れると１０ｄＢ程度感度が落ちている。したがって、音源から焦点がずれた場合、図１１（ａ）に示したように出力音には大きな歪みが生じる。一方、本発明の方法ではメインローブが広く、音源から焦点が数１０ｃｍずれても、図１１（ｂ）に示したように出力音には大きな影響がない。しかし、ＳＮ比改善の観点から本発明の方法の感度分布をみると、メインローブが広がっているために、ＳＮ比改善を従来方法ほど望めないことが予想される。
【０１０９】
図１３に従来方法と本発明の方法のＳＮ比ＳＮＲおよび目的音の歪ＥＲＲを示す。ＳＮＲを求める際の目的音源には男声（７ｋＨｚ帯域）、雑音には各マイクロホン間で無相関なホワイトノイズを使用した。また、ＳＮＲは音源に最も近いマイクロホンでのＳＮ比を基準（０ｄＢ）として計算し、音源位置推定誤差のない場合の値を示した。ＥＲＲは音源位置推定誤差が２０ｃｍの場合の値を示した。その他の条件は全て前述の条件と同じく設定した。この図より、従来方法に比べ、本発明の方法はＥＲＲを約１０ｄＢ改善しているが、ＳＮＲは約６ｄＢ低下していることが分かる。このことより、本発明の方法は目的音の歪を改善することができるが、その分ＳＮ比を犠牲にしていると言える。
【０１１０】
以上の結果より、本発明の方法は、音源位置推定誤差による目的音の歪を軽減する有効な手段であると言える。ただし、目的音の歪とＳＮ比はトレードオフの関係にあり、目的音の歪を軽減することでＳＮ比は低下する。ＳＮ比と目的音の歪のどちらが重要であるかは、実際の環境（部屋の騒音、マイクロホンの配置など）により変わるが、本発明では、実際の環境に合わせて係数αを調整することで、その環境で最適な遅延和アレーを構成することが可能である。
【０１１１】
【発明の効果】
以上説明したように、本発明によれば、装置規模を大きくせずに出力の目的音成分の歪を軽減することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の収音装置の構成図である。
【図２】本発明の第２の実施形態の収音装置の構成図である。
【図３】本発明の第３の実施形態の収音装置の構成図である。
【図４】本発明の第４の実施形態の収音装置の構成図である。
【図５】本発明の第５の実施形態の収音装置の構成図である。
【図６】本発明の第６の実施形態の収音装置の構成図である。
【図７】最適フィルタを求める手順を示すフローチャートである。
【図８】マイクロホンが音波を受音する様子を説明する図である。
【図９】球面波モデルを仮定した遅延和アレーを説明する図である。
【図１０】目的音の歪を軽減する従来方法を説明する図である。
【図１１】遅延和アレーの焦点位置から音源がずれた場合の音源−遅延和アレー出力間の周波数特性を従来方法と本発明の方法の場合で示すグラフである。
【図１２】従来方法と本発明の方法の遅延和アレーの感度分布を示すグラフである。
【図１３】従来方法と本発明の方法のＳＮ比ＳＮＲおよび目的音の歪ＥＲＲを示すグラフである。
【符号の説明】
１１１〜１１Ｍ マイクロホン
１２１〜１２Ｍ 遅延器
１３１〜１３Ｍ フィルタ
１４ 加算器
１５ 焦点位置制御部
１５Ａ 話者位置推定部
１５Ｂ 焦点位置ステアリング部
１６ 遅延制御部
１７ 最適フィルタ計算部
１８ 信号対雑音比推定部
１９ 異常音検出部
２０ 仮想焦点位置設定部
２１ 最適フィルタ計算部
２２ 最適フィルタ記憶部
２３ 最適フィルタ選択部
２４ 信号対雑音比推測部
２３１ 直流成分最適フィルタ計算部
２３２ 初期値記憶部
２３３ 逐次近似計算部
２３４ 繰り返し制御部
２３５ フィルタ構成部
２３５１ 間引き部
２３５２ 離散逆フーリエ変換部
１３１ ＦＩＲフィルタ
１３２ 離散フーリエ変換部
１３３ 乗算部
１３４ 離散逆フーリエ変換部
３１〜３５ ステップ
Claims (7)
- 任意配置の複数の収音手段の各々で収録された音声信号を各々異なる遅延量で遅延させ、各遅延出力を各々異なるフィルタ係数でフィルタリングし、各フィルタリング出力を加算して加算出力を出力する収音方法において、
音源位置を推定し、
前記音源位置から発せられ、前記複数の収音手段で受音した信号が同位相となるように、遅延を制御し、
前記各収録音声信号の信号対雑音比を推定し、
前記各音源位置から前記各収音手段までの距離と前記信号対雑音比とから前記加算出力の雑音対信号比を推定し、
前記各距離から前記加算出力の目的音成分歪を推定し、
前記加算出力の雑音対信号比と前記目的音成分歪とから求められる歪関数を最小とする前記各フィルタ係数を決定し、
前記フィルタ係数の決定において、前記各距離で減衰させた前記各フィルタ係数の和を一定値とすることを特徴とする収音方法。 - 任意配置の複数の収音手段と、前記各収音手段で収録された音声信号を各々異なる遅延量で遅延させる遅延手段と、前記遅延手段からの各遅延出力信号を各々異なるフィルタ係数でフィルタリングするフィルタリング手段と、フィルタリング手段からの各フィルタリング出力とを加算して加算出力を出力する加算手段を有する収音装置において、
音源位置を推定する音源位置推定手段と、
前記音源位置推定手段で推定された音源位置から発せられ、前記複数の収音手段で受音した信号が同位相となるように、遅延を制御する遅延制御手段と、
前記各収録音声信号の信号対雑音比を推定する信号対雑音比推定手段と、
各音源位置から前記各収音手段までの距離と前記信号対雑音比とから前記加算出力の雑音対信号比を推定する加算雑音対信号比推定手段と、
前記各距離から前記加算出力の目的音成分歪を推定する目的音歪推定手段と、
前記加算出力雑音対信号比と前記目的音成分歪とから求められる歪関数を最小とする前記各フィルタ係数を決定するフィルタ係数決定手段とを有し、
前記フィルタ係数決定手段は、前記各距離で減衰させた前記各フィルタ係数の和が一定値となるよう前記各フィルタ係数を決定することを特徴とする収音装置。 - 任意配置の複数の収音手段と、前記収音手段で収録された音声信号を各々異なる遅延量で遅延させる遅延手段と、前記遅延手段からの各遅延出力信号を各々異なるフィルタ係数でフィルタリングするフィルタリング手段と、前記フィルタリング手段からの各フィルタリング出力を加算して加算出力を出力する加算手段とを有する収音装置において、
焦点位置を制御する焦点位置制御手段と、
該焦点位置制御手段で決定された焦点位置から発せられ、前記複数の収音手段で受音した信号が同位相となるように、遅延を制御する遅延制御手段と、
各収音手段で収録された信号の信号対雑音比を推定する信号対雑音比推定手段と、
各音源位置から前記各収音手段までの距離と前記信号対雑音比とから前記加算出力の雑音対信号比を推定する雑音対信号比推定手段と、
前記各距離から前記加算出力の目的音成分歪を推定する目的音歪推定手段と、
前記加算出力の雑音対信号比と前記目的音成分歪から求められる歪関数を最小とする前記各フィルタ係数を決定するフィルタ係数決定手段とを有し、
前記フィルタ係数決定手段は、前記各距離で減衰させた前記各フィルタ係数の和が一定値となるよう前記各フィルタ係数を決定することを特徴とする収音装置。 - 前記最適フィルタ計算手段が、あらかじめ複数の仮想焦点位置を設定する仮想焦点位置設定手段と、あらかじめ計測した雑音レベルと標準的な発生音の大きさから信号対雑音比を推測する信号対雑音比推測手段と、該仮想焦点位置設定手段により設定された複数の仮想焦点位置と前記信号対雑音比推測手段によって推測された信号対雑音比に対応する最適なフィルタを計算しておく最適フィルタ計算手段と、該最適フィルタ計算手段の計算結果である最適フィルタを記憶しておく最適フィルタ記憶手段と、前記焦点位置制御手段で決定された焦点位置に最も近い仮想焦点位置の最適フィルタを前記最適フィルタ記憶手段から選択する最適フィルタ選択手段を含む、請求項３記載の収音装置。
- 前記最適フィルタ計算手段が、直流成分における最適フィルタを解析的に求める直流成分最適フィルタ計算手段と、直前に求めた最適フィルタを初期値として記憶する初期値記憶手段と、該初期値記憶手段に記憶されている最適フィルタを初期値とし、直前に求めた最適フィルタの周波数成分より微小に高い周波数成分に対する最適フィルタを逐次近似で求める逐次近似計算手段と、必要な周波数成分に対する最適フィルタが全て求められるまで前記初期値記憶手段と前記逐次近似手段の処理を繰り返すようにこれらを制御する繰り返し制御手段と、前記直流成分最適フィルタ計算手段と前記逐次近似手段により求められた各周波数成分に対する最適フィルタを合成し、最適フィルタを構成するフィルタ構成手段とを含む、請求項３または４記載の収音装置。
- 前記フィルタ構成手段が、前記直流成分最適フィルタ計算手段と前記逐次近似手段により求められた各周波数成分の最適フィルタをフィルタの次数に合わせて周波数領域で間引きする間引き手段と、間引きされた最適フィルタを離散逆フーリエ変換によりＦＩＲフィルタの係数とする離散逆フーリエ変換手段とを含み、前記フィルタ手段をＦＩＲフィルタとする、請求項５記載の収音装置。
- 前記フィルタ構成手段が、前記直流成分最適フィルタ計算手段と前記逐次近似手段により求められた各周波数成分の最適フィルタをフィルタの次数に合わせて周波数領域で間引きする間引き手段で構成され、前記フィルタ手段が遅延器出力信号を周波数領域に変換する離散フーリエ変換手段と、間引きされた最適フィルタと周波数領域に変換された遅延手段出力信号を周波数領域で乗算する乗算手段と、乗算後の信号を時間領域に変換する離散逆フーリエ変換手段とで構成される、請求項５記載の収音装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000118069A JP3582712B2 (ja) | 2000-04-19 | 2000-04-19 | 収音方法および収音装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000118069A JP3582712B2 (ja) | 2000-04-19 | 2000-04-19 | 収音方法および収音装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001309483A JP2001309483A (ja) | 2001-11-02 |
| JP3582712B2 true JP3582712B2 (ja) | 2004-10-27 |
Family
ID=18629277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000118069A Expired - Fee Related JP3582712B2 (ja) | 2000-04-19 | 2000-04-19 | 収音方法および収音装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3582712B2 (ja) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4195267B2 (ja) | 2002-03-14 | 2008-12-10 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 音声認識装置、その音声認識方法及びプログラム |
| JP3720795B2 (ja) * | 2002-07-31 | 2005-11-30 | 日本電信電話株式会社 | 音源受音位置推定方法、装置、およびプログラム |
| JP4116600B2 (ja) * | 2004-08-24 | 2008-07-09 | 日本電信電話株式会社 | 収音方法、収音装置、収音プログラム、およびこれを記録した記録媒体 |
| JP4873913B2 (ja) * | 2004-12-17 | 2012-02-08 | 学校法人早稲田大学 | 音源分離システムおよび音源分離方法、並びに音響信号取得装置 |
| EP1736964A1 (en) * | 2005-06-24 | 2006-12-27 | Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO | System and method for extracting acoustic signals from signals emitted by a plurality of sources |
| JP4051408B2 (ja) * | 2005-12-05 | 2008-02-27 | 株式会社ダイマジック | 収音・再生方法および装置 |
| JP4816221B2 (ja) * | 2006-04-21 | 2011-11-16 | ヤマハ株式会社 | 収音装置および音声会議装置 |
| WO2008062850A1 (fr) | 2006-11-22 | 2008-05-29 | Funai Electric Advanced Applied Technology Research Institute Inc. | Dispositif d'entrée vocale, procédé de production de ce dernier et système de traitement d'informations |
| WO2008062848A1 (fr) | 2006-11-22 | 2008-05-29 | Funai Electric Advanced Applied Technology Research Institute Inc. | Dispositif d'entrée vocale, procédé de production de ce dernier et système de traitement d'informations |
| US20080152167A1 (en) * | 2006-12-22 | 2008-06-26 | Step Communications Corporation | Near-field vector signal enhancement |
| JP4898907B2 (ja) * | 2007-03-29 | 2012-03-21 | 有限会社フレックスアイ | 収音方法および装置 |
| KR101238362B1 (ko) | 2007-12-03 | 2013-02-28 | 삼성전자주식회사 | 음원 거리에 따라 음원 신호를 여과하는 방법 및 장치 |
| JP5153389B2 (ja) * | 2008-03-07 | 2013-02-27 | 三洋電機株式会社 | 音響信号処理装置 |
| JP5555987B2 (ja) * | 2008-07-11 | 2014-07-23 | 富士通株式会社 | 雑音抑圧装置、携帯電話機、雑音抑圧方法及びコンピュータプログラム |
| JP5157852B2 (ja) | 2008-11-28 | 2013-03-06 | 富士通株式会社 | 音声信号処理評価プログラム、音声信号処理評価装置 |
| JP5293329B2 (ja) | 2009-03-26 | 2013-09-18 | 富士通株式会社 | 音声信号評価プログラム、音声信号評価装置、音声信号評価方法 |
| WO2012023268A1 (ja) * | 2010-08-16 | 2012-02-23 | 日本電気株式会社 | 多マイクロホン話者分類装置、方法およびプログラム |
| JP6533134B2 (ja) * | 2015-09-15 | 2019-06-19 | シャープ株式会社 | マイクシステム、音声認識装置、音声処理方法、および音声処理プログラム |
| CN105828201B (zh) * | 2016-04-22 | 2019-05-21 | 北京小米移动软件有限公司 | 视频处理方法及装置 |
| US11212608B2 (en) * | 2017-08-10 | 2021-12-28 | Mitsubishi Electric Corporation | Noise elimination device and noise elimination method |
| CN111899749B (zh) * | 2020-07-14 | 2023-08-29 | 上海建工集团股份有限公司 | 一种监听混凝土泵送管道作业声音的降噪方法 |
| CN113708868B (zh) * | 2021-08-27 | 2023-06-27 | 国网安徽省电力有限公司池州供电公司 | 一种多拾音设备的调度系统及其调度方法 |
| CN115881151B (zh) * | 2023-01-04 | 2023-05-12 | 广州市森锐科技股份有限公司 | 一种基于高拍仪的双向拾音消噪方法、装置、设备及介质 |
-
2000
- 2000-04-19 JP JP2000118069A patent/JP3582712B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001309483A (ja) | 2001-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3582712B2 (ja) | 収音方法および収音装置 | |
| US10079026B1 (en) | Spatially-controlled noise reduction for headsets with variable microphone array orientation | |
| US11381906B2 (en) | Conference system with a microphone array system and a method of speech acquisition in a conference system | |
| US9966059B1 (en) | Reconfigurale fixed beam former using given microphone array | |
| US10331396B2 (en) | Filter and method for informed spatial filtering using multiple instantaneous direction-of-arrival estimates | |
| JP6636633B2 (ja) | 音響信号を向上させるための音響信号処理装置および方法 | |
| JP4163294B2 (ja) | 雑音抑圧処理装置および雑音抑圧処理方法 | |
| US8355510B2 (en) | Reduced latency low frequency equalization system | |
| JP6389259B2 (ja) | マイクロホンアレイを使用した残響音の抽出 | |
| US10638224B2 (en) | Audio capture using beamforming | |
| RU2760097C2 (ru) | Способ и устройство для захвата аудиоинформации с использованием формирования диаграммы направленности | |
| US10887691B2 (en) | Audio capture using beamforming | |
| KR20130084298A (ko) | 원거리 다중 음원 추적 및 분리 시스템, 방법, 장치 및 컴퓨터-판독가능 매체 | |
| US8615092B2 (en) | Sound processing device, correcting device, correcting method and recording medium | |
| CN111078185A (zh) | 录制声音的方法及设备 | |
| JP5738218B2 (ja) | 音響信号強調装置、遠近判定装置、それらの方法、及びプログラム | |
| JP6631010B2 (ja) | マイク選択装置、マイクシステムおよびマイク選択方法 | |
| CN110140171B (zh) | 使用波束形成的音频捕获 | |
| JP4116600B2 (ja) | 収音方法、収音装置、収音プログラム、およびこれを記録した記録媒体 | |
| JP5683140B2 (ja) | 耐雑音直間比推定装置、干渉雑音除去装置、遠近判定装置、音源距離測定装置と、各装置の方法と、装置プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040623 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040714 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040722 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040722 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040722 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080806 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080806 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090806 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090806 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100806 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100806 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110806 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |