JP3588576B2 - 収音装置および収音方法 - Google Patents
収音装置および収音方法 Download PDFInfo
- Publication number
- JP3588576B2 JP3588576B2 JP2000131673A JP2000131673A JP3588576B2 JP 3588576 B2 JP3588576 B2 JP 3588576B2 JP 2000131673 A JP2000131673 A JP 2000131673A JP 2000131673 A JP2000131673 A JP 2000131673A JP 3588576 B2 JP3588576 B2 JP 3588576B2
- Authority
- JP
- Japan
- Prior art keywords
- delay
- sound
- time
- gain
- propagation time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数のマイクロホンで構成されるマイクロホンアレーを用いて目的の音声を良好に収録する為の手段に関する。
【０００２】
【従来の技術】
近年、マルチメディア技術の進歩に伴い、マイクロホンとスピーカを用いた、拡声通話形態によるテレビ会議などの通信会議が可能になりつつある。その場合に、通信会議の机上に話者数分のマイクロホンを設置することなく、マイクロホンを意識しない自然な通話が可能で、かつ音声等の目的音のみを収音する収音装置が求められている。
【０００３】
そのような収音装置の例として、複数のマイクロホン（マイクロホンアレー）を設置して、それらの出力を信号処理して目的音を抽出する収音装置がある。このようなマイクロホンアレーを用いて雑音を抑圧し目的音を抽出する信号処理方式には、遅延和方式、ＡＭＮＯＲなど多数知られているが（例えば大賀、山崎、金田共著「音響システムとディジタル処理」、電子情報通信学会、１９９５年、ｐｐ．１７３−１９７）、例えば、遅延和方式では次のように目的音を抽出する。
【０００４】
図８は遅延和方式による目的音抽出の原理を説明する図である。図８において、１は収音部（マイクロフォンアレー）、２１、２２、…、２Ｍはマイクロホン（Ｍはマイクロホンの数）、３１、３２、…、３Ｍは遅延器、４は加算器、５は出力信号、６は雑音抑圧部、ｄはマイクロホン間隔、ｓ（ｔ）は収音部１に到来する音波（ｔは時間を表わす）、θは音波ｓ（ｔ）が収音部１に到来する到来角度である。
【０００５】
図８のマイクロホン２１、２２、…、２Ｍが等間隔ｄで直線状に並び、音波ｓ（ｔ）が遠方から、この直線状に並んだマイクロホンに角度θで到来するものとする。このとき、マイクロホン２１に到達した音波がマイクロホン２２に到達するまでに伝播する距離は、マイクロホン間隔ｄと到来月θとからｄｓｉｎθで表わされる（図８）。同様に、ｉ番目のマイクロホン２ｉ（ｉ＝２、３、…、Ｍ）に到達するまでに伝播する距離は、（ｉ−１）ｄｓｉｎθで表わされる。従って、マイクロホン２ｉ（ｉ＝２、３、…、Ｍ）に到達するまでの遅延時間τｉは、マイクロホン２１を基準にすると、この伝播距離を音速ｃで割ることにより、次式（１）で表わされる。
【０００６】
【数１】
【０００７】
ここで、各マイクロホン２ｉ（ｉ＝ １、２、…、Ｍ）からの出力信号をｘｉ（ｔ）で表わすと、これは音波ｓ（ｔ）がτｉだけ遅れたものであるから、次式（２）のようになる。
【０００８】
【数２】
【０００９】
ここで遅延器３ｉ （ｉ＝ １、２、…Ｍ）の遅延量Ｄｉ を適切に設定すると、θ方向から到来する音波のみを強調して出力信号５に出力できることを以下に示す。
【００１０】
遅延器３ｉ（ｉ＝ １、２、…、Ｍ）の遅延量 Ｄｉ を次式（３）のように設定する。
【００１１】
【数３】
【００１２】
Ｄ０ は、τｉ の値が小さすぎるときに遅延特性をディジタルフィルタで実現する際の精度が低下することを防ぐために付加する固定遅延量である。
【００１３】
このとき、遅延器３ｉ（ｉ ＝ １、２、…、Ｍ）の出力は、式（２）の信号に式（３）の遅延Ｄｉ が生じたものなので、
次式（４）のようになる。
【００１４】
【数４】
【００１５】
すなわち、マイクロホンの番号ｉ に関わらず、ｓ（ｔ）がＤ０ だけ遅れた同一の信号となる。
【００１６】
このように位相を揃えてから加算器４によって信号を足し合わせれば、このθ方向から到来する音波は、足し合わされた分、強調される。一方、θ方向とは別のθＮ方向から到来する音波は、τｉとは異なる遅延時間τＮをもって受音されるため、式（３）の遅延量では位相は揃わず、加算器４によって信号を足し合わせても強調されることはない。
【００１７】
このようにして、遅延和方式では目的の方向θから到来する音波を強調し、他の方向θＮから到来する雑音を相対的に抑圧する。
【００１８】
このとき、目的の方向θを走査し、マイクロホンアレーの出力信号を監視すれば、θが目的話者の方向に向いたとき出力信号が大きくなるので、目的話者の方向を探すことができる。そして、この目的話者の方向θからの音波を強調するように式（４）に従って位相を揃えて加算することにより、すなわちマイクロホンアレーの指向性をθの方向に向けることにより、目的音を高いＳＮ比で収音することができる。
【００１９】
なお、ここでは説明の便宜上、複数のマイクロホンを等間隔ｄで直線上に並んだものとして説明したが、このマイクロホンの間隔は不等間隔にすることも可能で、並べる形状も２次元的・３次元的に並べてもよい。
【００２０】
また、図９のように点音源的な音源Ｓがアレーに比較的近い距離に位置する場合は、音源Ｓからの球面波的な性質を利用して、遅延器３１、３２、…、３Ｍの後段にゲイン７１ 、７２ 、…、７Ｍ を設け、このゲインに適切な荷重を与えることが収音ＳＮ比の向上に重要である。荷重の与え方としては、次式（５）、（６）、（７）で表されるような与え方がある（野村、金田、小島「近接音場型マイクロホンアレー」、日本音響学会誌５３巻２号（１９９７）、ｐｐ．１１０−１１６）。
【００２１】
【数５】
【００２２】
ここにｒ１、ｒ２、…、ｒＭは音源Ｓから各マイクロホン２１、２２、…、２Ｍまでの距離、ｒｃは室内の臨界距離、すなわち、音源の直接音パワーと残響音パワーとが等しくなる距離であり、室容積Ｖ［ｍ２］、室の残響時間Ｔ［秒］に対し、ｒｃ＝√（０．００３２Ｖ／Ｔ）で表される（Ｈ．Ｋｕｔｔｒｕｆｆ， ”Ｒｏｏｍ Ａｃｏｕｓｔｉｃｓ （Ｔｈｉｒｄ Ｅｄｉｔｉｏｎ）”， Ｅｌｓｅｖｉｅｒ Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅ， ｐｐ．ｌＯＯ−１３２ （１９９１））。このときマイクロホンアレーは音源Ｓの位置の「点」に対して最も感度が高くなるようになり、いわば感度の「焦点」が形成されるようになる。このとき、各マイクロホンまでの距離ｒｉ （ｉ ＝ １、 ２、 …、 Ｍ） に対する遅延器３１、３２、…、３Ｍの遅延Ｄ０−ｒｉ／ｃ （ｃ：音速）と上述のゲインｇ０（ベクトル）すなわちａ（ベクトル）を変化させて感度の焦点を走査し、アレー出力を監視すれば、目的話者の存在する点に感度の焦点が向いたときにアレー出力が大きくなるので、これによって目的話者の位置を見出すことができる。
【００２３】
このようにして、方向ないし位置として目的話者の存在領域を見い出し、その存在領域にアレーの指向性を向けることにより、高い収音ＳＮ比で目的音を収音することができる。
【００２４】
ここで、音源の存在する領域が遅延器３１、３２、…、３Ｍに設定されている遅延Ｄ０−ｒｉ／ｃから外れると、アレーの感度の焦点から外れることになり、収音性能が劣化する。これを防ぐために音源の存在する領域が焦点から外れたときに焦点を合せなおすように、遅延Ｄ０−ｒｉ／ｃを補正する。その補正は、音源からｉ番目のマイクロホンまでの距離に相当する遅延ｒｉ／ｃを推定し、遅延Ｄ０−ｒｉ／ｃを補正すればよい。この推定は、例えばマイクロホンの出力の間の相関を計算して、相関が最大となる時刻として遅延ｒｉ／ｃを推定する方法が挙げられる（例えば、Ｈ． Ｆ． Ｓｉ１ｖｅｒｍａｎ ｅｔ ａｌ， ”Ａ ｔｗｏ−ｓｔａｇｅ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｄｅｔｅｒｍｉｎｉｎｇ ｔａ１ｋｅｒ ｌｏｃａｔｉｏｎ ｆｒｏｍ ｌｉｎｅａｒ ｍｉｃｒｏｐｈｏｎｅ ａｒｒａｙ ｄａｔａ”， Ｃｏｍｕｐｕｔｅｒ Ｓｐｅｅｃｈ ａｎｄ Ｌａｎｇｕａｇｅ （１９９２）６， ｐｐ．１２９−１５２）。ｉ番目のマイクロホンの出力ｘｉ（ｎ） （ｎ：離散時間）とｊ番目のマイクロホンの出力ｘｊ（ｎ）の間のｍ時刻における相関Ｃｉｊ（ｍ）は次式（８）で計算する。但し、Ｊは相関を計算する区間の長さである。
【００２５】
【数６】
【００２６】
このＣｉｊ（ｍ）を最大とするようなｍが、ｉ番目のマイクロホン出力に対するｊ番目のマイクロホン出力の相対的な遅延時間になる。式（８）の相関が最大となるｍを探すためには、基本的にｍ ＝ ０から順次離散時刻ｍを１づつ増やしてＣｉｊ（ｍ）が最大となるｍを探す。
【００２７】
「発明が解決しようとする問題点」
音源からマイクロホンまでの距離、もしくは各マイクロホン間の距離、即ち遅延時間もしくは遅延時間差が大きいときを想定すると予め十分に大きい時間もしくは時間差範囲を設定する必要がある。つまり遅延時間もしくは遅延時間差を決定するための相関もしくはパワーの計算のための、距離もしく距離差が、即ちサンブル時間差ｍが大きいときを想定すると、予め十分に大きいサンプル時間差範囲を設定する必要がある。各サンプル時間差についてパワーもしくは相関を計算すると、計算量が膨大になる。実時間で処理する場合、この計算量を減少させる必要がある。
【００２８】
【課題を解決するための手段】
上記課題を解決するために、本発明では以下のような手段を有する。
【００２９】
本発明の第１の形態（請求項１）は、複数のマイクロホンで収録された音声信号を各々独立な遅延時間で遅延させ、遅延された各音声信号を加算して収音信号を得る収音方法において、
予め定められた複数の代表位置のそれぞれと前記複数のマイクロホンとの間の音の伝播時間と、前記各代表位置ごとに設定される小領域と前記複数のマイクロホンとの間の音の最大伝播時間及び最小伝播時間を、前記代表位置と関連付けて記憶手段に記憶させる工程と、
前記複数のマイクロホンで音声信号が収録された際に、前記複数の代表位置のそれぞれについて、前記記憶手段に記憶された伝播時間をもとに第１の遅延量Ｄi を求め、前記収録された複数の音声信号をこの求められた第１の遅延量Ｄi により遅延する工程と、
前記複数の代表位置のそれぞれについて、前記記憶手段に記憶された伝播時間に対応する伝播距離の逆数ａに、当該伝播距離と室容量と室の残響時間とから求まる定数Ｃ0 を乗算して第１のゲインｇ0 を求め、前記第１の遅延量Ｄi により遅延された複数の音声信号に対しこの求められた第１のゲインｇ0 を与える工程と、
前記第１のゲインｇ0 が与えられた複数の音声信号を加算することにより、前記複数の代表位置のそれぞれに対応する第１の収音信号のパワーを求める工程と、
前記求められた第１の収音信号のパワーをもとに、パワー値が最大となる代表位置を一つ選択する工程と、
前記選択された代表位置に対応する最大伝播時間と最小伝播時間との間の時間範囲に含まれる複数の時間値のそれぞれについて、前記記憶手段に記憶された伝播時間をもとに第２の遅延量Ｄi を求め、前記複数のマイクロホンにより収録された複数の音声信号を前記求められた第２の遅延量Ｄiにより遅延する工程と、
前記複数の時間値のそれぞれについて、前記記憶手段に記憶された伝播時間に対応する伝播距離の逆数ａに、当該伝播距離と室容量と室の残響時間とから求まる定数Ｃ0 を乗算して第２のゲインｇ0 を求め、前記第２の遅延量Ｄi により遅延された複数の音声信号に対し前記求められた第２のゲインｇ0 を与える工程と、
前記第２のゲインｇ0 が与えられた複数の音声信号を加算することにより、前記複数の時間値のそれぞれに対応する第２の収音信号のパワーを求める工程と、
前記求められた第２の収音信号のパワーをもとに、パワー値が最大となる時間値を一つ選択する工程と、
前記選択された時間値に該当する各マイクロホンに対応する伝播時間をもとに第３の遅延量Ｄi を求め、前記複数のマイクロホンにより収録された複数の音声信号を前記求められた第３の遅延量Ｄiにより遅延する工程と、
前記第３の遅延量Ｄi により遅延された複数の音声信号を加算することにより、音源に対応する第３の収音信号を出力する工程とを備えるようにしたものである。
【００３０】
また、本発明の第２の形態（請求項２）は、複数のマイクロホンで収録された音声信号を各々独立な遅延時間で遅延させ、遅延された各音声信号を加算して収音信号を得る収音方法において、
予め定められた複数の代表位置のそれぞれと前記複数のマイクロホンとの間の音の伝播時間と、前記各代表位置ごとに設定される小領域と前記複数のマイクロホンとの間の音の最大伝播時間及び最小伝播時間を、前記代表位置と関連付けて記憶手段に記憶させる工程と、
前記複数のマイクロホンで音声信号が収録された際に、前記複数の代表位置のそれぞれについて、前記記憶手段に記憶された伝播時間をもとに第１の遅延量Ｄi を求め、前記収録された複数の音声信号をこの求められた第１の遅延量Ｄi により遅延する工程と、
前記複数の代表位置のそれぞれについて、前記記憶手段に記憶された伝播時間に対応する伝播距離の逆数ａに、当該伝播距離と室容量と室の残響時間とから求まる定数Ｃ0 を乗算して第１のゲインｇ0 を求め、前記第１の遅延量Ｄi により遅延された複数の音声信号に対し前記求められた第１のゲインｇ0 を与える工程と、
前記第１のゲインｇ0 が与えられた複数の音声信号を加算することにより、前記複数の代表位置のそれぞれに対応する第１の収音信号のパワーを求める工程と、
前記求められた第１の収音信号のパワーをもとに、パワー値が最大となる代表位置を一つ選択する工程と、
前記選択された代表位置に対応する最大伝播時間と最小伝播時間との間の時間範囲に含まれる複数の時間値のそれぞれについて、前記複数のマイクロホンで収録された各音声信号間の相関を求める工程と、
前記求められた相関をもとに相関値が最大となる時間値を一つ選択する工程と、
前記選択された時間値に該当する各マイクロホンに対応する伝播時間をもとに第２の遅延量Ｄi を求め、前記複数のマイクロホンにより収録された複数の音声信号を前記求められた第２の遅延量Ｄi により遅延する工程と、
前記第２の遅延量Ｄi により遅延された複数の音声信号を加算することにより、音源に対応する第２の収音信号を出力する工程とを備えるようにしたものである。
【００３１】
また、本発明の第３の形態（請求項３）は、複数のマイクロホンから構成され、これら複数のマイクロホンのそれぞれにより検出した音声を複数の独立した音声信号に変換して出力するマイクロホンアレーと、
前記マイクロホンアレーの出力に接続され、前記複数のマイクロホンのそれぞれに対応する複数の遅延器及びゲイン乗算器と、その出力を加算する加算器とを備える遅延和アレー装置と、
前記遅延和アレー装置の出力に接続される音源位置判定部と
予め定められた複数の代表位置のそれぞれと前記複数のマイクロホンとの間の音の伝播時間と、前記各代表位置ごとに設定される小領域と前記複数のマイクロホンとの間の音の最大伝播時間及び最小伝播時間が、前記代表位置と関連付けて記憶された記憶部と、
前記遅延和アレー装置の各遅延器及びゲイン乗算器に対しそれぞれ遅延量及びゲインを与える遅延時間計算部と
を具備し、
前記遅延時間計算部は、前記Ｍ個の代表位置のそれぞれについて、前記記憶部に記憶された伝播時間をもとに第１の遅延量Ｄi を求めると共に、前記記憶部に記憶された伝播時間に対応する伝播距離の逆数ａに当該伝播距離と室容量と室の残響時間とから求まる定数Ｃ0 を乗算して第１のゲインｇ0 を求め、この求められた第１の遅延量Ｄi 及び第１のゲインｇ0 をそれぞれ前記遅延和アレー装置の各遅延器及びゲイン乗算器に与え、
前記遅延和アレー装置は、前記マイクロホンアレーから出力された複数の独立した音声信号のそれぞれに前記遅延時間計算部から与えられた第１の遅延量Ｄi 及び第１のゲインｇ0 を与え、第１の遅延量Ｄi 及び第１のゲインｇ0 が与えられた音声信号を加算することによって、前記複数の代表位置のそれぞれにおける第１の収音信号を生成して出力し、
前記音源位置判定部は、前記遅延和アレー装置から出力された第１の収音信号のパワーをそれぞれ求め、当該求められた第１の収音信号のパワーをもとに、パワー値が最大となる代表位置を一つ選択し、
前記遅延時間計算部は、前記選択された代表位置に対応する最大伝播時間と最小伝播時間との間の時間範囲に含まれる複数の時間値のそれぞれについて、前記記憶部に記憶された伝播時間をもとに第２の遅延量Ｄi を求めると共に、前記記憶部に記憶された伝播時間に対応する伝播距離の逆数ａに当該伝播距離と室容量と室の残響時間とから求まる定数Ｃ0 を乗算して第２のゲインｇ0 を求め、この求められた第２の遅延量Ｄi 及び第２のゲインｇ0 をそれぞれ前記遅延和アレー装置の各遅延器及びゲイン増幅器に与え、
前記遅延和アレー装置は、前記マイクロホンアレーから出力された複数の独立した音声信号のそれぞれに前記遅延時間計算部から与えられた第２の遅延量Ｄi 及び第２のゲインｇ0 を与え、当該第２の遅延量Ｄi 及び第２のゲインｇ0 が与えられた音声信号を加算することによって、前記複数の時間値のそれぞれに対応する第２の収音信号を生成して出力し、
前記音源位置判定部は、前記遅延和アレー装置から出力された第２の収音信号のパワーをそれぞれ求め、当該求められた第２の収音信号のパワーをもとに、パワー値が最大となる時間値を一つ選択し、
前記遅延時間計算部は、前記選択された時間値に該当する各マイクロホンに対応する伝播時間をもとに第３の遅延量Ｄi を求め、この求められた第３の遅延量Ｄi を前記遅延和アレー装置の各遅延器に与え、
前記遅延和アレー装置は、前記マイクロホンアレーから出力された複数の独立した音声信号のそれぞれに前記遅延時間計算部から与えられた第３の遅延量Ｄi を与え、この第３の遅延量Ｄi が与えられた各音声信号を加算することによって、音源に対応する第３の収音信号を生成して出力するように構成したものである。
【００３２】
また、本発明の第４の形態（請求項４）は、複数のマイクロホンから構成され、これら複数のマイクロホンのそれぞれにより検出した音声を複数の独立した音声信号に変換して出力するマイクロホンアレーと、
前記マイクロホンアレーの出力に接続され、前記複数のマイクロホンのそれぞれに対応する複数の遅延器及びゲイン乗算器と、その出力を加算する加算器とを備える遅延和アレー装置と、
前記遅延和アレー装置の出力に接続される音源位置判定部と
予め定められた複数の代表位置のそれぞれと前記複数のマイクロホンとの間の音の伝播時間と、前記各代表位置ごとに設定される小領域と前記複数のマイクロホンとの間の音の最大伝播時間及び最小伝播時間が、前記代表位置と関連付けて記憶された記憶部と、
前記遅延和アレー装置の各遅延器及びゲイン乗算器に対しそれぞれ遅延量及びゲインを与える遅延時間計算部と
を具備し、
前記遅延時間計算部は、前記複数の代表位置のそれぞれについて、前記記憶部に記憶された伝播時間をもとに第１の遅延量Ｄi を求めると共に、前記記憶手段に記憶された伝播時間に対応する伝播距離の逆数ａに当該伝播距離と室容量と室の残響時間とから求まる定数Ｃ0 を乗算して第１のゲインｇ0 を求め、この求められた第１の遅延量Ｄi 及び第１のゲインｇ0 をそれぞれ前記遅延和アレー装置の各遅延器及びゲイン乗算器に与え、
前記遅延和アレー装置は、前記マイクロホンアレーから出力された複数の独立した音声信号のそれぞれに前記遅延時間計算部から与えられた第１の遅延量Ｄi 及び第１のゲインｇ0 を与え、第１の遅延量Ｄi 及び第１のゲインｇ0 が与えられた音声信号を加算することによって、前記複数の代表位置のそれぞれにおける第１の収音信号を生成して出力し、
前記音源位置判定部は、前記遅延和アレー装置から出力された第１の収音信号のパワーをそれぞれ求め、当該求められた第１の収音信号のパワーをもとに、パワー値が最大となる代表位置を一つ選択し、
前記遅延時間計算部は、前記選択された代表位置に対応する最大伝播時間と最小伝播時間との間の時間範囲に含まれる複数の時間値のそれぞれについて、前記複数のマイクロホンで収録された各音声信号間の相関を求めて、この求められた相関をもとに相関値が最大となる時間値を一つ選択し、この選択された時間値に該当するマイクロホンに対応する伝播時間をもとに第２の遅延量Ｄi を求め、この求められた第２の遅延量Ｄi を前記遅延和アレー装置の各遅延器に与え、
前記遅延和アレー装置は、前記マイクロホンアレーから出力された複数の独立した音声信号のそれぞれに前記遅延時間計算部から与えられた第２の遅延量Ｄi を与え、この第２の遅延量Ｄi が与えられた各音声信号を加算することによって、音源に対応する第２の収音信号を生成して出力するように構成したものである。
【００３４】
［作用］
前記第１、第３の形態の発明では、代表位置と前記代表位置から前記名マイクロホンまでの音波の伝播時間と前記伝播時間の範囲との対応関係の中からパワーを最大とする伝播時間に対応する代表位置もしくは伝播時間の範囲が決定される。各小領域は互いに重ならないように全空間を埋めつくすように予め決定される。ここで、「伝播時間」とは音源からの音波が各マイクロホンに到達するまでの時間をいう。各伝播時間の範囲は、代表位置を含む小領域（例えば数十ｃｍ四方の正方形領域）の中でマイクロホンまで最も遠い位置からの最大伝播時間と最も近い位置までの最小伝播時間で定められる。従って、決定された伝播時間の範囲の中から伝播時間を特定すればよいので、計算量を減少させることができる。
【００３５】
なお、前記第２、第４の形態の発明の発明についても同様に、伝播時間差の範囲が予め選択されるので相関が最大となる伝播時間を決定するための計算量を削減できる。
【００３６】
すなわち、前記第１乃至第４の形態の発明では、先ず複数の代表位置のそれぞれについて収音信号のパワーが求められ、これらのパワーのうち最大パワーの代表位置が選択される。次に、この選択された代表位置を含む小領域に対し、その最大伝搬時間と最小伝搬時間との間の時間範囲に含まれる複数の時間値のそれぞれについて収音信号のパワー又は相関が求められ、これらのパワー又は相関の値が最大となる時間値が選択される。そして、この選択された時間値をもとに遅延量が設定され、これにより音源の対応する収音信号が得られる。
換言すれば、先ず代表位置ごとのサーチが行われてこれにより音源位置の粗い絞り込みが行われ、続いてこの絞り込まれた代表位置を含む小領域に対しサーチが行われて精細な絞り込みが行われることになる。したがって、すべての領域に対し精細なサーチを行う必要があった従来の方法及び装置に比べ、各遅延器に設定すべき遅延量を決定するまでに要する計算量が大幅に減少される。
【００３７】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施例について説明する。
【００３８】
図１は、本発明にかかる収音方法の工程を概略的に示す、フローチャートであり、図２は、前記記憶部に記憶される、代表位置と、伝播時間と、その範囲との対応関係の例を示す図であり、図３は、代表位置と、伝播時間と、その範囲の関係を示す為の概念図である。
【００３９】
本発明にかかる収音方法においては、図３に示すように、予め複数の代表位置Ｐ（図中「Ｘ」印で表されている）が任意の位置に定められている。たとえば、代表位置がＭ個設定されているとすると、代表位置はＰ１、Ｐ２、Ｐ３、…、ＰＭとなる。なお、図３においては、代表位置はマトリクス状に配されているが、これに限られるものではなく、同心円状、放物線状等任意の配列方法にしたがって設定可能である。
【００４０】
各代表位置について、図３に示すような小領域Ｓが定められている。図中、便宜的に小領域Ｓは代表位置Ｐｌ（「ｌ」は１からＮまでの自然数のいずれか）についてのもののみ表示されているが、他の全ての代表位置についても同様の小領域Ｓが設定されている。該小領域は、対応する代表位置をその中心に有する領域であって、例えば一辺を数十ｃｍとする正方形領域である。
【００４１】
また、あるひとつの代表位置Ｐｌと、ある一つのマイクロホン２ｋ（マイクロホンがＮ個配されているものとし、「ｋ」は１からＮまでの自然数のいずれか）とについて伝播距離ｒｌｋが定まる。同様に、該代表位置Ｐｌと他のマイクロホン２１、２２、…、２Ｍについても伝播距離ｒｌ１、ｒｌ２、…、ｒｌＮが定まる。すなわち、Ｍ個の代表位置のそれぞれについて、マイクロホンの個数Ｎと同数の伝播距離があることになる。
【００４２】
また、あるひとつの代表位置Ｐｌとある一つのマイクロホン２ｋとの間の最大伝播距離ｒｌｋｍａｘと、最小伝播距離ｒｌｋｍｉｎとが定まる。最大伝播距離ｒｌｋｍａｘとは、代表位置Ｐｌに対応する小領域Ｓの中でマイクロホン２ｋまで最も遠い位置と該マイクロホンとの間の距離をいい、最小伝播距離ｒｌｋｍｉｎとは、代表位置Ｐｌに対応する小領域Ｓの中でマイクロホン２ｋまで最も近い位置と該マイクロホンとの間の距離をいう。また、該代表位置Ｐｌと他のマイクロホン２１、２２、…、２Ｍについても最大伝播距離ｒ１ｋｍａｘ、ｒ２ｋｍａｘ、…、ｒＭｋｍａｘおよび最小伝播距離ｒ１ｋｍｉｎ、ｒ２ｋｍｉｎ、…、ｒＭｋｍｉｎが定まる。すなわち、Ｍ個の代表位置のそれぞれについて、マイクロホンの個数Ｎと同数の最大伝播距離、最小伝播距離があることになる。
【００４３】
また、上述の「伝播距離」、「最大伝播距離」、「最小伝播距離」を音速ｃで割ったものをそれぞれ、伝播時間ｔｌｋ、最大伝播時間ｔｌｋｍａｘ、最小伝播時間ｔｌｋｍｉｎとする。また、ある一つの代表位置に関しての最大伝播時間と最も近い位置までの最小伝播時間で定まる範囲を「伝播時間の範囲」というものとする。
【００４４】
図２は、上記の「伝播時間」、「最大伝播時間」、「最小伝播時間」を「代表位置」と関連付けて記憶するための記憶構成例を示す。かかる構成例に限られず、「伝播時間」、「最大伝播時間」、「最小伝播時間」を「代表位置」と関連付けられて、後に述べる記憶部に記憶されるように、構成されている。
【００４５】
上記図２、図３を参照しながら、図１に示される本発明にかかる収音方法の工程を説明する。
【００４６】
先ず、各代表位置について、それぞれ収音信号の出力のパワーを求める（図１、Ｓ１）。収音信号のパワーは、上記記憶部に記憶された伝搬時間を用いて、例えば前掲の式（５）、（６）及び（７）により算出する。
【００４７】
それぞれのパワーを求れば、パワーが最大となる代表位置を一つ決定することができる。該パワーが最大となる代表位置を選択する（Ｓ２）。
【００４８】
代表位置が一つに定まれば、図３のような記憶配列から、対応する伝播時間、あるいは伝播時間の範囲を決定することができる（Ｓ３）。
【００４９】
伝播時間、あるいは伝播時間の範囲が定まると、これらの時間値を離散的に用いてパワーを算出し、または前掲の式（８）を用いることによって相関を算出することが可能となる（Ｓ４）。
【００５０】
このようにして求められたパワー又は相関のうち、最大となるものを決定する（Ｓ５）。
【００５１】
上記処理により該パワー、又は相関を最大にする時間値（前掲の式（８）の離散時刻ｍに相当する）が決定されるので、この時間値を用いて各チャネル（各マイクロホンの出力）に加えられる遅延量が推定可能となり、この推定した遅延量を用いて各遅延時間（図１，２の遅延要素の遅延量に相当）を設定する（Ｓ６）。
【００５２】
該補正により、図８又は図９に記載される収音装置において、遅延器３i （ｉ＝１，２，…Ｍ）の遅延量Ｄi が適切に設定されることになるので、θ方向から到来する音波のみを強調して出力信号５に出力できる。
【００５３】
すなわち、遅延器３ｉ（ｉ＝ １、２、…、Ｍ）の遅延量 Ｄｉ は前記式（３）のように設定されている。Ｄ０ は、τｉ の値が小さすぎるときに遅延特性をディジタルフィルタで実現する際の精度が低下することを防ぐために付加する固定遅延量である。
【００５４】
このとき、遅延器３ｉ（ｉ ＝ １、２、…、Ｍ）の出力は、前掲式（２）の信号に前掲式（３）の遅延Ｄｉ が生じたものなので、前掲式（４）のようになる。すなわち、マイクロホンの番号ｉ に関わらず、ｓ（ｔ）がＤ０ だけ遅れた同一の信号となる。このように位相を揃えてから加算器４によって信号を足し合わせれば、このθ方向から到来する音波は、足し合わされた分、強調される。一方、θ方向とは別のθＮ方向から到来する音波は、τｉとは異なる遅延時間τＮをもって受音されるため、式（３）の遅延量では位相は揃わず、加算器４によって信号を足し合わせても強調されることはない。このようにして、目的の方向θから到来する音波を強調し、他の方向θＮから到来する雑音を相対的に抑圧することができる。このとき、目的の方向θを走査し、マイクロホンアレーの出力信号を監視すれば、θが目的話者の方向に向いたとき出力信号が大きくなるので、目的話者の方向を探すことができる。そして、この目的話者の方向θからの音波を強調するように式（４）に従って位相を揃えて加算することにより、すなわちマイクロホンアレーの指向性をθの方向に向けることにより、目的音を高いＳＮ比で収音することができる。
【００５５】
次に、本発明にかかる収音装置の実施例を説明する。
【００５６】
図４は、本発明にかかる収音装置の第１の構成例を示すものである。この図は、収音装置（マイクロホンアレー処理装置）２１が、複数のマイクロホンから構成されるマイクロホンアレー２２と、該マイクロホンアレー２２の出力に接続された遅延和アレー装置６と、マイクロホンアレー２２の予じめ設定した感度の焦点からマイクロホンアレー２２を構成する個々のマイクロホンまでの距離に相当する距離遅延時間を記憶する記憶部２３と、マイクロホンアレー２２の予じめ設定した複数の感度の焦点に対する遅延和アレー装置６の出力から各焦点に対するパワーの計算を行い最大および２番目に大きいパワーの焦点情報から音源位置を判定する音源位置判定部２５と、記憶部２３の該距離遅延時間を利用して音源から該マイクロホンまでに音波が到達する際の伝搬遅延時間を計算する遅延時間計算部２４とから構成された実施例である。
【００５７】
これらの構成により、図１に示すような収音方法が実行可能となる。
【００５８】
図５に、本発明にかかる収音装置の第２の構成例を示す。この構成は、図４に示す収音装置の構成と基本的に同じであり、前記遅延時間計算部２４が、記憶部２３に記憶された伝播時間、つまり距離遅延時間を用いてこの距離遅延時間の分をマイクロホンの出力から除くように抽出する抽出部２６と、この抽出部が抽出した信号を用いて当該マイクロホンの出力間の相関を計算する相関計算部２７とから構成された実施例である。
【００５９】
図６に、本発明にかかる収音装置の第３の構成例を示す。この構成は、図５に示す収音装置の構成と基本的に同じであるが、前記抽出部と前記相関計算部の間に接続され、該抽出部からの出力を白色化処理して、該相関計算部に白色化処理された出力を送出する白色化部３１を有している点が異なる。白色化部３１は、マイクロホンアレー２２を構成する個々のマイクロホンの出力の周波数特性を平坦化する。前記白色化部３１は、白色化処理を行う。白色化処理の典型的な手法は次のとおりである。まず、時間領域のマイクロホン出力ｘ（ｔ）を周波数領域に変換する。周波数領域で表されたマイクロホン出力Ｘ（ｋ）に対し、｜Ｘ（ｋ）＋δ｜を除して周波数特性を平坦化して時間領域に変換する。但し、δは分母が０になることを防ぐための微少量である。仮に白色化処理を行わないとすると、相互相関の時間特性のピークがなだらかとなる傾向がある。そのため相互相関を最大にして特定される時間差の精度が劣化する。
【００６０】
図７に、本発明にかかる収音装置の第４の構成例を示す。この構成例は、この構成は、図４に示す収音装置の構成と基本的に同じであるが、マイクロホンアレー２２を構成する個々のマイクロホンの出力の特定帯域を抽出する帯域ろ波部３６が前記白色化部と前記相関計算部の間に接続されている点で異なる。帯域ろ波部３６では通例２００Ｈｚ以下の低域の信号を除去する。その後、相関を計算する。仮に帯域ろ波を行わず低周波騒音のある環境で収録された信号間の相関をとると、騒音による相関ピークが生じ、誤った時間差が決定されるおそれがある。
【００６１】
【発明の効果】
本発明によれば、従来の方法又は装置で行われていた、各遅延素子の遅延量を決定するための相関（パワー）が最大となる伝播時間の導出に必要な計算量を減少させることが可能となる。減少する計算量は、どのように代表位置を定めるか、及び前記小領域Ｓの大きさをどのように定めるかによって変わってくるが、例えば代表位置を１０個設定することにより領域を１０個に分割する設定がなされた場合には、従来の全域に関して相関を演算する手法に比して、大凡１／１０に減少させることが可能になる。
【００６２】
また、本発明によれば、精密にもとめられた伝播時間にもとづいて、音源の位置をより精密に特定することが可能となる。たとえば、以下のようなマイクロホンがＸ−Ｙ平面状にある時の一般的な音源位置推定方法を用いることによって音源の位置をより精密に特定することが可能となる。
【００６３】
いま、マイクロホンアレーの数をＭ、音源とｉ番目のマイクロホンとの間の距離を音速で割って得られる時間をｔｉ（ｉ＝１、２、…、Ｍ）、基準マイクロホンとｉ番目のマイクロホンとの音波到来時間差をｄｉ（＝ｔｉ−ｔ１；（ｉ＝２、…、Ｍ））、ｉ番目のマイクロホンの直交座標位置をＰｉ（ｘｉ，ｙｉ，０），音源の直交座標位置をＱ（ｘ，ｙ，ｚ）とする。このとき、音波到来時間差ｄｉは観測可能な値であり、また直交座標位置Ｐｉ（ｘｉ，ｙｉ，０）は予め与えられている値である。これらより、音源の直交座標位置Ｑ（ｘ，ｙ，ｚ）を以下のようにして求めることができる。
【００６４】
【数７】
【００６５】
である。また、
【数８】
【００６６】
である。
ゆえに、
【数９】
【００６７】
が成り立つ。これを行列式にすると、
【数１０】
【００６８】
この行列式を解いて、Ｘ，Ｙを求めることができる。またＺについては
【数１１】
【００６９】
において、Ｚ＞０と仮定すれば、
【数１２】
【００７０】
が成り立つ。これによりＺを求める。
以上により、音源座標位置Ｑ（Ｘ，Ｙ，Ｚ）を求めることができる。
【００７１】
なお、音源座標位置を求める式は、上記の式に限られず、他の一般的な音源位置推定方法による式を用いて算出することも可能である。
【図面の簡単な説明】
【図１】本発明にかかる収音方法の工程を概略的に示す、フローチャートである。
【図２】記憶部に記憶される、代表位置と、伝播時間と、その範囲との対応関係の例を示す図である。
【図３】代表位置と、伝播時間と、その範囲の関係を示す為の概念図である。
【図４】本発明にかかる収音装置の第１の構成例の概略構成を示すブロック図である。
【図５】本発明にかかる収音装置の第２の構成例の概略構成を示すブロック図である。
【図６】本発明にかかる収音装置の第３の構成例の概略構成を示すブロック図である。
【図７】本発明にかかる収音装置の第４の構成例の概略構成を示すブロック図である。
【図８】遅延和方式による雑音抑圧収音の原理を説明する図である。
【図９】音源がマイクロホンアレーに近い位置に位置する場合に遅延器の後段のゲインの荷重を適切に設定して収音ＳＮ比を向上させることを説明するための図である。
【符号の説明】
１ … マクロホンアレー（収音部）
２１〜２Ｍ … マイクロホン
３１〜３Ｍ … 遅延器
４ … 加算器
５ … 出力信号
６ … 遅延和アレー装置
７１〜７Ｍ … ゲイン
２１ … マイクロホンアレー処理装置（収音装置）
２２ … マイクロホンアレー
２３ … 記憶部
２４ … 遅延時間計算部
２５ … 音源位置判定部
２６ … 抽出部
２７ … 相関計算部
３１ … 白色化部
３６ … 帯域ろ波部
【発明の属する技術分野】
本発明は、複数のマイクロホンで構成されるマイクロホンアレーを用いて目的の音声を良好に収録する為の手段に関する。
【０００２】
【従来の技術】
近年、マルチメディア技術の進歩に伴い、マイクロホンとスピーカを用いた、拡声通話形態によるテレビ会議などの通信会議が可能になりつつある。その場合に、通信会議の机上に話者数分のマイクロホンを設置することなく、マイクロホンを意識しない自然な通話が可能で、かつ音声等の目的音のみを収音する収音装置が求められている。
【０００３】
そのような収音装置の例として、複数のマイクロホン（マイクロホンアレー）を設置して、それらの出力を信号処理して目的音を抽出する収音装置がある。このようなマイクロホンアレーを用いて雑音を抑圧し目的音を抽出する信号処理方式には、遅延和方式、ＡＭＮＯＲなど多数知られているが（例えば大賀、山崎、金田共著「音響システムとディジタル処理」、電子情報通信学会、１９９５年、ｐｐ．１７３−１９７）、例えば、遅延和方式では次のように目的音を抽出する。
【０００４】
図８は遅延和方式による目的音抽出の原理を説明する図である。図８において、１は収音部（マイクロフォンアレー）、２１、２２、…、２Ｍはマイクロホン（Ｍはマイクロホンの数）、３１、３２、…、３Ｍは遅延器、４は加算器、５は出力信号、６は雑音抑圧部、ｄはマイクロホン間隔、ｓ（ｔ）は収音部１に到来する音波（ｔは時間を表わす）、θは音波ｓ（ｔ）が収音部１に到来する到来角度である。
【０００５】
図８のマイクロホン２１、２２、…、２Ｍが等間隔ｄで直線状に並び、音波ｓ（ｔ）が遠方から、この直線状に並んだマイクロホンに角度θで到来するものとする。このとき、マイクロホン２１に到達した音波がマイクロホン２２に到達するまでに伝播する距離は、マイクロホン間隔ｄと到来月θとからｄｓｉｎθで表わされる（図８）。同様に、ｉ番目のマイクロホン２ｉ（ｉ＝２、３、…、Ｍ）に到達するまでに伝播する距離は、（ｉ−１）ｄｓｉｎθで表わされる。従って、マイクロホン２ｉ（ｉ＝２、３、…、Ｍ）に到達するまでの遅延時間τｉは、マイクロホン２１を基準にすると、この伝播距離を音速ｃで割ることにより、次式（１）で表わされる。
【０００６】
【数１】
ここで、各マイクロホン２ｉ（ｉ＝ １、２、…、Ｍ）からの出力信号をｘｉ（ｔ）で表わすと、これは音波ｓ（ｔ）がτｉだけ遅れたものであるから、次式（２）のようになる。
【０００８】
【数２】
ここで遅延器３ｉ （ｉ＝ １、２、…Ｍ）の遅延量Ｄｉ を適切に設定すると、θ方向から到来する音波のみを強調して出力信号５に出力できることを以下に示す。
【００１０】
遅延器３ｉ（ｉ＝ １、２、…、Ｍ）の遅延量 Ｄｉ を次式（３）のように設定する。
【００１１】
【数３】
Ｄ０ は、τｉ の値が小さすぎるときに遅延特性をディジタルフィルタで実現する際の精度が低下することを防ぐために付加する固定遅延量である。
【００１３】
このとき、遅延器３ｉ（ｉ ＝ １、２、…、Ｍ）の出力は、式（２）の信号に式（３）の遅延Ｄｉ が生じたものなので、
次式（４）のようになる。
【００１４】
【数４】
すなわち、マイクロホンの番号ｉ に関わらず、ｓ（ｔ）がＤ０ だけ遅れた同一の信号となる。
【００１６】
このように位相を揃えてから加算器４によって信号を足し合わせれば、このθ方向から到来する音波は、足し合わされた分、強調される。一方、θ方向とは別のθＮ方向から到来する音波は、τｉとは異なる遅延時間τＮをもって受音されるため、式（３）の遅延量では位相は揃わず、加算器４によって信号を足し合わせても強調されることはない。
【００１７】
このようにして、遅延和方式では目的の方向θから到来する音波を強調し、他の方向θＮから到来する雑音を相対的に抑圧する。
【００１８】
このとき、目的の方向θを走査し、マイクロホンアレーの出力信号を監視すれば、θが目的話者の方向に向いたとき出力信号が大きくなるので、目的話者の方向を探すことができる。そして、この目的話者の方向θからの音波を強調するように式（４）に従って位相を揃えて加算することにより、すなわちマイクロホンアレーの指向性をθの方向に向けることにより、目的音を高いＳＮ比で収音することができる。
【００１９】
なお、ここでは説明の便宜上、複数のマイクロホンを等間隔ｄで直線上に並んだものとして説明したが、このマイクロホンの間隔は不等間隔にすることも可能で、並べる形状も２次元的・３次元的に並べてもよい。
【００２０】
また、図９のように点音源的な音源Ｓがアレーに比較的近い距離に位置する場合は、音源Ｓからの球面波的な性質を利用して、遅延器３１、３２、…、３Ｍの後段にゲイン７１ 、７２ 、…、７Ｍ を設け、このゲインに適切な荷重を与えることが収音ＳＮ比の向上に重要である。荷重の与え方としては、次式（５）、（６）、（７）で表されるような与え方がある（野村、金田、小島「近接音場型マイクロホンアレー」、日本音響学会誌５３巻２号（１９９７）、ｐｐ．１１０−１１６）。
【００２１】
【数５】
ここにｒ１、ｒ２、…、ｒＭは音源Ｓから各マイクロホン２１、２２、…、２Ｍまでの距離、ｒｃは室内の臨界距離、すなわち、音源の直接音パワーと残響音パワーとが等しくなる距離であり、室容積Ｖ［ｍ２］、室の残響時間Ｔ［秒］に対し、ｒｃ＝√（０．００３２Ｖ／Ｔ）で表される（Ｈ．Ｋｕｔｔｒｕｆｆ， ”Ｒｏｏｍ Ａｃｏｕｓｔｉｃｓ （Ｔｈｉｒｄ Ｅｄｉｔｉｏｎ）”， Ｅｌｓｅｖｉｅｒ Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅ， ｐｐ．ｌＯＯ−１３２ （１９９１））。このときマイクロホンアレーは音源Ｓの位置の「点」に対して最も感度が高くなるようになり、いわば感度の「焦点」が形成されるようになる。このとき、各マイクロホンまでの距離ｒｉ （ｉ ＝ １、 ２、 …、 Ｍ） に対する遅延器３１、３２、…、３Ｍの遅延Ｄ０−ｒｉ／ｃ （ｃ：音速）と上述のゲインｇ０（ベクトル）すなわちａ（ベクトル）を変化させて感度の焦点を走査し、アレー出力を監視すれば、目的話者の存在する点に感度の焦点が向いたときにアレー出力が大きくなるので、これによって目的話者の位置を見出すことができる。
【００２３】
このようにして、方向ないし位置として目的話者の存在領域を見い出し、その存在領域にアレーの指向性を向けることにより、高い収音ＳＮ比で目的音を収音することができる。
【００２４】
ここで、音源の存在する領域が遅延器３１、３２、…、３Ｍに設定されている遅延Ｄ０−ｒｉ／ｃから外れると、アレーの感度の焦点から外れることになり、収音性能が劣化する。これを防ぐために音源の存在する領域が焦点から外れたときに焦点を合せなおすように、遅延Ｄ０−ｒｉ／ｃを補正する。その補正は、音源からｉ番目のマイクロホンまでの距離に相当する遅延ｒｉ／ｃを推定し、遅延Ｄ０−ｒｉ／ｃを補正すればよい。この推定は、例えばマイクロホンの出力の間の相関を計算して、相関が最大となる時刻として遅延ｒｉ／ｃを推定する方法が挙げられる（例えば、Ｈ． Ｆ． Ｓｉ１ｖｅｒｍａｎ ｅｔ ａｌ， ”Ａ ｔｗｏ−ｓｔａｇｅ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｄｅｔｅｒｍｉｎｉｎｇ ｔａ１ｋｅｒ ｌｏｃａｔｉｏｎ ｆｒｏｍ ｌｉｎｅａｒ ｍｉｃｒｏｐｈｏｎｅ ａｒｒａｙ ｄａｔａ”， Ｃｏｍｕｐｕｔｅｒ Ｓｐｅｅｃｈ ａｎｄ Ｌａｎｇｕａｇｅ （１９９２）６， ｐｐ．１２９−１５２）。ｉ番目のマイクロホンの出力ｘｉ（ｎ） （ｎ：離散時間）とｊ番目のマイクロホンの出力ｘｊ（ｎ）の間のｍ時刻における相関Ｃｉｊ（ｍ）は次式（８）で計算する。但し、Ｊは相関を計算する区間の長さである。
【００２５】
【数６】
このＣｉｊ（ｍ）を最大とするようなｍが、ｉ番目のマイクロホン出力に対するｊ番目のマイクロホン出力の相対的な遅延時間になる。式（８）の相関が最大となるｍを探すためには、基本的にｍ ＝ ０から順次離散時刻ｍを１づつ増やしてＣｉｊ（ｍ）が最大となるｍを探す。
【００２７】
「発明が解決しようとする問題点」
音源からマイクロホンまでの距離、もしくは各マイクロホン間の距離、即ち遅延時間もしくは遅延時間差が大きいときを想定すると予め十分に大きい時間もしくは時間差範囲を設定する必要がある。つまり遅延時間もしくは遅延時間差を決定するための相関もしくはパワーの計算のための、距離もしく距離差が、即ちサンブル時間差ｍが大きいときを想定すると、予め十分に大きいサンプル時間差範囲を設定する必要がある。各サンプル時間差についてパワーもしくは相関を計算すると、計算量が膨大になる。実時間で処理する場合、この計算量を減少させる必要がある。
【００２８】
【課題を解決するための手段】
上記課題を解決するために、本発明では以下のような手段を有する。
【００２９】
本発明の第１の形態（請求項１）は、複数のマイクロホンで収録された音声信号を各々独立な遅延時間で遅延させ、遅延された各音声信号を加算して収音信号を得る収音方法において、
予め定められた複数の代表位置のそれぞれと前記複数のマイクロホンとの間の音の伝播時間と、前記各代表位置ごとに設定される小領域と前記複数のマイクロホンとの間の音の最大伝播時間及び最小伝播時間を、前記代表位置と関連付けて記憶手段に記憶させる工程と、
前記複数のマイクロホンで音声信号が収録された際に、前記複数の代表位置のそれぞれについて、前記記憶手段に記憶された伝播時間をもとに第１の遅延量Ｄi を求め、前記収録された複数の音声信号をこの求められた第１の遅延量Ｄi により遅延する工程と、
前記複数の代表位置のそれぞれについて、前記記憶手段に記憶された伝播時間に対応する伝播距離の逆数ａに、当該伝播距離と室容量と室の残響時間とから求まる定数Ｃ0 を乗算して第１のゲインｇ0 を求め、前記第１の遅延量Ｄi により遅延された複数の音声信号に対しこの求められた第１のゲインｇ0 を与える工程と、
前記第１のゲインｇ0 が与えられた複数の音声信号を加算することにより、前記複数の代表位置のそれぞれに対応する第１の収音信号のパワーを求める工程と、
前記求められた第１の収音信号のパワーをもとに、パワー値が最大となる代表位置を一つ選択する工程と、
前記選択された代表位置に対応する最大伝播時間と最小伝播時間との間の時間範囲に含まれる複数の時間値のそれぞれについて、前記記憶手段に記憶された伝播時間をもとに第２の遅延量Ｄi を求め、前記複数のマイクロホンにより収録された複数の音声信号を前記求められた第２の遅延量Ｄiにより遅延する工程と、
前記複数の時間値のそれぞれについて、前記記憶手段に記憶された伝播時間に対応する伝播距離の逆数ａに、当該伝播距離と室容量と室の残響時間とから求まる定数Ｃ0 を乗算して第２のゲインｇ0 を求め、前記第２の遅延量Ｄi により遅延された複数の音声信号に対し前記求められた第２のゲインｇ0 を与える工程と、
前記第２のゲインｇ0 が与えられた複数の音声信号を加算することにより、前記複数の時間値のそれぞれに対応する第２の収音信号のパワーを求める工程と、
前記求められた第２の収音信号のパワーをもとに、パワー値が最大となる時間値を一つ選択する工程と、
前記選択された時間値に該当する各マイクロホンに対応する伝播時間をもとに第３の遅延量Ｄi を求め、前記複数のマイクロホンにより収録された複数の音声信号を前記求められた第３の遅延量Ｄiにより遅延する工程と、
前記第３の遅延量Ｄi により遅延された複数の音声信号を加算することにより、音源に対応する第３の収音信号を出力する工程とを備えるようにしたものである。
【００３０】
また、本発明の第２の形態（請求項２）は、複数のマイクロホンで収録された音声信号を各々独立な遅延時間で遅延させ、遅延された各音声信号を加算して収音信号を得る収音方法において、
予め定められた複数の代表位置のそれぞれと前記複数のマイクロホンとの間の音の伝播時間と、前記各代表位置ごとに設定される小領域と前記複数のマイクロホンとの間の音の最大伝播時間及び最小伝播時間を、前記代表位置と関連付けて記憶手段に記憶させる工程と、
前記複数のマイクロホンで音声信号が収録された際に、前記複数の代表位置のそれぞれについて、前記記憶手段に記憶された伝播時間をもとに第１の遅延量Ｄi を求め、前記収録された複数の音声信号をこの求められた第１の遅延量Ｄi により遅延する工程と、
前記複数の代表位置のそれぞれについて、前記記憶手段に記憶された伝播時間に対応する伝播距離の逆数ａに、当該伝播距離と室容量と室の残響時間とから求まる定数Ｃ0 を乗算して第１のゲインｇ0 を求め、前記第１の遅延量Ｄi により遅延された複数の音声信号に対し前記求められた第１のゲインｇ0 を与える工程と、
前記第１のゲインｇ0 が与えられた複数の音声信号を加算することにより、前記複数の代表位置のそれぞれに対応する第１の収音信号のパワーを求める工程と、
前記求められた第１の収音信号のパワーをもとに、パワー値が最大となる代表位置を一つ選択する工程と、
前記選択された代表位置に対応する最大伝播時間と最小伝播時間との間の時間範囲に含まれる複数の時間値のそれぞれについて、前記複数のマイクロホンで収録された各音声信号間の相関を求める工程と、
前記求められた相関をもとに相関値が最大となる時間値を一つ選択する工程と、
前記選択された時間値に該当する各マイクロホンに対応する伝播時間をもとに第２の遅延量Ｄi を求め、前記複数のマイクロホンにより収録された複数の音声信号を前記求められた第２の遅延量Ｄi により遅延する工程と、
前記第２の遅延量Ｄi により遅延された複数の音声信号を加算することにより、音源に対応する第２の収音信号を出力する工程とを備えるようにしたものである。
【００３１】
また、本発明の第３の形態（請求項３）は、複数のマイクロホンから構成され、これら複数のマイクロホンのそれぞれにより検出した音声を複数の独立した音声信号に変換して出力するマイクロホンアレーと、
前記マイクロホンアレーの出力に接続され、前記複数のマイクロホンのそれぞれに対応する複数の遅延器及びゲイン乗算器と、その出力を加算する加算器とを備える遅延和アレー装置と、
前記遅延和アレー装置の出力に接続される音源位置判定部と
予め定められた複数の代表位置のそれぞれと前記複数のマイクロホンとの間の音の伝播時間と、前記各代表位置ごとに設定される小領域と前記複数のマイクロホンとの間の音の最大伝播時間及び最小伝播時間が、前記代表位置と関連付けて記憶された記憶部と、
前記遅延和アレー装置の各遅延器及びゲイン乗算器に対しそれぞれ遅延量及びゲインを与える遅延時間計算部と
を具備し、
前記遅延時間計算部は、前記Ｍ個の代表位置のそれぞれについて、前記記憶部に記憶された伝播時間をもとに第１の遅延量Ｄi を求めると共に、前記記憶部に記憶された伝播時間に対応する伝播距離の逆数ａに当該伝播距離と室容量と室の残響時間とから求まる定数Ｃ0 を乗算して第１のゲインｇ0 を求め、この求められた第１の遅延量Ｄi 及び第１のゲインｇ0 をそれぞれ前記遅延和アレー装置の各遅延器及びゲイン乗算器に与え、
前記遅延和アレー装置は、前記マイクロホンアレーから出力された複数の独立した音声信号のそれぞれに前記遅延時間計算部から与えられた第１の遅延量Ｄi 及び第１のゲインｇ0 を与え、第１の遅延量Ｄi 及び第１のゲインｇ0 が与えられた音声信号を加算することによって、前記複数の代表位置のそれぞれにおける第１の収音信号を生成して出力し、
前記音源位置判定部は、前記遅延和アレー装置から出力された第１の収音信号のパワーをそれぞれ求め、当該求められた第１の収音信号のパワーをもとに、パワー値が最大となる代表位置を一つ選択し、
前記遅延時間計算部は、前記選択された代表位置に対応する最大伝播時間と最小伝播時間との間の時間範囲に含まれる複数の時間値のそれぞれについて、前記記憶部に記憶された伝播時間をもとに第２の遅延量Ｄi を求めると共に、前記記憶部に記憶された伝播時間に対応する伝播距離の逆数ａに当該伝播距離と室容量と室の残響時間とから求まる定数Ｃ0 を乗算して第２のゲインｇ0 を求め、この求められた第２の遅延量Ｄi 及び第２のゲインｇ0 をそれぞれ前記遅延和アレー装置の各遅延器及びゲイン増幅器に与え、
前記遅延和アレー装置は、前記マイクロホンアレーから出力された複数の独立した音声信号のそれぞれに前記遅延時間計算部から与えられた第２の遅延量Ｄi 及び第２のゲインｇ0 を与え、当該第２の遅延量Ｄi 及び第２のゲインｇ0 が与えられた音声信号を加算することによって、前記複数の時間値のそれぞれに対応する第２の収音信号を生成して出力し、
前記音源位置判定部は、前記遅延和アレー装置から出力された第２の収音信号のパワーをそれぞれ求め、当該求められた第２の収音信号のパワーをもとに、パワー値が最大となる時間値を一つ選択し、
前記遅延時間計算部は、前記選択された時間値に該当する各マイクロホンに対応する伝播時間をもとに第３の遅延量Ｄi を求め、この求められた第３の遅延量Ｄi を前記遅延和アレー装置の各遅延器に与え、
前記遅延和アレー装置は、前記マイクロホンアレーから出力された複数の独立した音声信号のそれぞれに前記遅延時間計算部から与えられた第３の遅延量Ｄi を与え、この第３の遅延量Ｄi が与えられた各音声信号を加算することによって、音源に対応する第３の収音信号を生成して出力するように構成したものである。
【００３２】
また、本発明の第４の形態（請求項４）は、複数のマイクロホンから構成され、これら複数のマイクロホンのそれぞれにより検出した音声を複数の独立した音声信号に変換して出力するマイクロホンアレーと、
前記マイクロホンアレーの出力に接続され、前記複数のマイクロホンのそれぞれに対応する複数の遅延器及びゲイン乗算器と、その出力を加算する加算器とを備える遅延和アレー装置と、
前記遅延和アレー装置の出力に接続される音源位置判定部と
予め定められた複数の代表位置のそれぞれと前記複数のマイクロホンとの間の音の伝播時間と、前記各代表位置ごとに設定される小領域と前記複数のマイクロホンとの間の音の最大伝播時間及び最小伝播時間が、前記代表位置と関連付けて記憶された記憶部と、
前記遅延和アレー装置の各遅延器及びゲイン乗算器に対しそれぞれ遅延量及びゲインを与える遅延時間計算部と
を具備し、
前記遅延時間計算部は、前記複数の代表位置のそれぞれについて、前記記憶部に記憶された伝播時間をもとに第１の遅延量Ｄi を求めると共に、前記記憶手段に記憶された伝播時間に対応する伝播距離の逆数ａに当該伝播距離と室容量と室の残響時間とから求まる定数Ｃ0 を乗算して第１のゲインｇ0 を求め、この求められた第１の遅延量Ｄi 及び第１のゲインｇ0 をそれぞれ前記遅延和アレー装置の各遅延器及びゲイン乗算器に与え、
前記遅延和アレー装置は、前記マイクロホンアレーから出力された複数の独立した音声信号のそれぞれに前記遅延時間計算部から与えられた第１の遅延量Ｄi 及び第１のゲインｇ0 を与え、第１の遅延量Ｄi 及び第１のゲインｇ0 が与えられた音声信号を加算することによって、前記複数の代表位置のそれぞれにおける第１の収音信号を生成して出力し、
前記音源位置判定部は、前記遅延和アレー装置から出力された第１の収音信号のパワーをそれぞれ求め、当該求められた第１の収音信号のパワーをもとに、パワー値が最大となる代表位置を一つ選択し、
前記遅延時間計算部は、前記選択された代表位置に対応する最大伝播時間と最小伝播時間との間の時間範囲に含まれる複数の時間値のそれぞれについて、前記複数のマイクロホンで収録された各音声信号間の相関を求めて、この求められた相関をもとに相関値が最大となる時間値を一つ選択し、この選択された時間値に該当するマイクロホンに対応する伝播時間をもとに第２の遅延量Ｄi を求め、この求められた第２の遅延量Ｄi を前記遅延和アレー装置の各遅延器に与え、
前記遅延和アレー装置は、前記マイクロホンアレーから出力された複数の独立した音声信号のそれぞれに前記遅延時間計算部から与えられた第２の遅延量Ｄi を与え、この第２の遅延量Ｄi が与えられた各音声信号を加算することによって、音源に対応する第２の収音信号を生成して出力するように構成したものである。
【００３４】
［作用］
前記第１、第３の形態の発明では、代表位置と前記代表位置から前記名マイクロホンまでの音波の伝播時間と前記伝播時間の範囲との対応関係の中からパワーを最大とする伝播時間に対応する代表位置もしくは伝播時間の範囲が決定される。各小領域は互いに重ならないように全空間を埋めつくすように予め決定される。ここで、「伝播時間」とは音源からの音波が各マイクロホンに到達するまでの時間をいう。各伝播時間の範囲は、代表位置を含む小領域（例えば数十ｃｍ四方の正方形領域）の中でマイクロホンまで最も遠い位置からの最大伝播時間と最も近い位置までの最小伝播時間で定められる。従って、決定された伝播時間の範囲の中から伝播時間を特定すればよいので、計算量を減少させることができる。
【００３５】
なお、前記第２、第４の形態の発明の発明についても同様に、伝播時間差の範囲が予め選択されるので相関が最大となる伝播時間を決定するための計算量を削減できる。
【００３６】
すなわち、前記第１乃至第４の形態の発明では、先ず複数の代表位置のそれぞれについて収音信号のパワーが求められ、これらのパワーのうち最大パワーの代表位置が選択される。次に、この選択された代表位置を含む小領域に対し、その最大伝搬時間と最小伝搬時間との間の時間範囲に含まれる複数の時間値のそれぞれについて収音信号のパワー又は相関が求められ、これらのパワー又は相関の値が最大となる時間値が選択される。そして、この選択された時間値をもとに遅延量が設定され、これにより音源の対応する収音信号が得られる。
換言すれば、先ず代表位置ごとのサーチが行われてこれにより音源位置の粗い絞り込みが行われ、続いてこの絞り込まれた代表位置を含む小領域に対しサーチが行われて精細な絞り込みが行われることになる。したがって、すべての領域に対し精細なサーチを行う必要があった従来の方法及び装置に比べ、各遅延器に設定すべき遅延量を決定するまでに要する計算量が大幅に減少される。
【００３７】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施例について説明する。
【００３８】
図１は、本発明にかかる収音方法の工程を概略的に示す、フローチャートであり、図２は、前記記憶部に記憶される、代表位置と、伝播時間と、その範囲との対応関係の例を示す図であり、図３は、代表位置と、伝播時間と、その範囲の関係を示す為の概念図である。
【００３９】
本発明にかかる収音方法においては、図３に示すように、予め複数の代表位置Ｐ（図中「Ｘ」印で表されている）が任意の位置に定められている。たとえば、代表位置がＭ個設定されているとすると、代表位置はＰ１、Ｐ２、Ｐ３、…、ＰＭとなる。なお、図３においては、代表位置はマトリクス状に配されているが、これに限られるものではなく、同心円状、放物線状等任意の配列方法にしたがって設定可能である。
【００４０】
各代表位置について、図３に示すような小領域Ｓが定められている。図中、便宜的に小領域Ｓは代表位置Ｐｌ（「ｌ」は１からＮまでの自然数のいずれか）についてのもののみ表示されているが、他の全ての代表位置についても同様の小領域Ｓが設定されている。該小領域は、対応する代表位置をその中心に有する領域であって、例えば一辺を数十ｃｍとする正方形領域である。
【００４１】
また、あるひとつの代表位置Ｐｌと、ある一つのマイクロホン２ｋ（マイクロホンがＮ個配されているものとし、「ｋ」は１からＮまでの自然数のいずれか）とについて伝播距離ｒｌｋが定まる。同様に、該代表位置Ｐｌと他のマイクロホン２１、２２、…、２Ｍについても伝播距離ｒｌ１、ｒｌ２、…、ｒｌＮが定まる。すなわち、Ｍ個の代表位置のそれぞれについて、マイクロホンの個数Ｎと同数の伝播距離があることになる。
【００４２】
また、あるひとつの代表位置Ｐｌとある一つのマイクロホン２ｋとの間の最大伝播距離ｒｌｋｍａｘと、最小伝播距離ｒｌｋｍｉｎとが定まる。最大伝播距離ｒｌｋｍａｘとは、代表位置Ｐｌに対応する小領域Ｓの中でマイクロホン２ｋまで最も遠い位置と該マイクロホンとの間の距離をいい、最小伝播距離ｒｌｋｍｉｎとは、代表位置Ｐｌに対応する小領域Ｓの中でマイクロホン２ｋまで最も近い位置と該マイクロホンとの間の距離をいう。また、該代表位置Ｐｌと他のマイクロホン２１、２２、…、２Ｍについても最大伝播距離ｒ１ｋｍａｘ、ｒ２ｋｍａｘ、…、ｒＭｋｍａｘおよび最小伝播距離ｒ１ｋｍｉｎ、ｒ２ｋｍｉｎ、…、ｒＭｋｍｉｎが定まる。すなわち、Ｍ個の代表位置のそれぞれについて、マイクロホンの個数Ｎと同数の最大伝播距離、最小伝播距離があることになる。
【００４３】
また、上述の「伝播距離」、「最大伝播距離」、「最小伝播距離」を音速ｃで割ったものをそれぞれ、伝播時間ｔｌｋ、最大伝播時間ｔｌｋｍａｘ、最小伝播時間ｔｌｋｍｉｎとする。また、ある一つの代表位置に関しての最大伝播時間と最も近い位置までの最小伝播時間で定まる範囲を「伝播時間の範囲」というものとする。
【００４４】
図２は、上記の「伝播時間」、「最大伝播時間」、「最小伝播時間」を「代表位置」と関連付けて記憶するための記憶構成例を示す。かかる構成例に限られず、「伝播時間」、「最大伝播時間」、「最小伝播時間」を「代表位置」と関連付けられて、後に述べる記憶部に記憶されるように、構成されている。
【００４５】
上記図２、図３を参照しながら、図１に示される本発明にかかる収音方法の工程を説明する。
【００４６】
先ず、各代表位置について、それぞれ収音信号の出力のパワーを求める（図１、Ｓ１）。収音信号のパワーは、上記記憶部に記憶された伝搬時間を用いて、例えば前掲の式（５）、（６）及び（７）により算出する。
【００４７】
それぞれのパワーを求れば、パワーが最大となる代表位置を一つ決定することができる。該パワーが最大となる代表位置を選択する（Ｓ２）。
【００４８】
代表位置が一つに定まれば、図３のような記憶配列から、対応する伝播時間、あるいは伝播時間の範囲を決定することができる（Ｓ３）。
【００４９】
伝播時間、あるいは伝播時間の範囲が定まると、これらの時間値を離散的に用いてパワーを算出し、または前掲の式（８）を用いることによって相関を算出することが可能となる（Ｓ４）。
【００５０】
このようにして求められたパワー又は相関のうち、最大となるものを決定する（Ｓ５）。
【００５１】
上記処理により該パワー、又は相関を最大にする時間値（前掲の式（８）の離散時刻ｍに相当する）が決定されるので、この時間値を用いて各チャネル（各マイクロホンの出力）に加えられる遅延量が推定可能となり、この推定した遅延量を用いて各遅延時間（図１，２の遅延要素の遅延量に相当）を設定する（Ｓ６）。
【００５２】
該補正により、図８又は図９に記載される収音装置において、遅延器３i （ｉ＝１，２，…Ｍ）の遅延量Ｄi が適切に設定されることになるので、θ方向から到来する音波のみを強調して出力信号５に出力できる。
【００５３】
すなわち、遅延器３ｉ（ｉ＝ １、２、…、Ｍ）の遅延量 Ｄｉ は前記式（３）のように設定されている。Ｄ０ は、τｉ の値が小さすぎるときに遅延特性をディジタルフィルタで実現する際の精度が低下することを防ぐために付加する固定遅延量である。
【００５４】
このとき、遅延器３ｉ（ｉ ＝ １、２、…、Ｍ）の出力は、前掲式（２）の信号に前掲式（３）の遅延Ｄｉ が生じたものなので、前掲式（４）のようになる。すなわち、マイクロホンの番号ｉ に関わらず、ｓ（ｔ）がＤ０ だけ遅れた同一の信号となる。このように位相を揃えてから加算器４によって信号を足し合わせれば、このθ方向から到来する音波は、足し合わされた分、強調される。一方、θ方向とは別のθＮ方向から到来する音波は、τｉとは異なる遅延時間τＮをもって受音されるため、式（３）の遅延量では位相は揃わず、加算器４によって信号を足し合わせても強調されることはない。このようにして、目的の方向θから到来する音波を強調し、他の方向θＮから到来する雑音を相対的に抑圧することができる。このとき、目的の方向θを走査し、マイクロホンアレーの出力信号を監視すれば、θが目的話者の方向に向いたとき出力信号が大きくなるので、目的話者の方向を探すことができる。そして、この目的話者の方向θからの音波を強調するように式（４）に従って位相を揃えて加算することにより、すなわちマイクロホンアレーの指向性をθの方向に向けることにより、目的音を高いＳＮ比で収音することができる。
【００５５】
次に、本発明にかかる収音装置の実施例を説明する。
【００５６】
図４は、本発明にかかる収音装置の第１の構成例を示すものである。この図は、収音装置（マイクロホンアレー処理装置）２１が、複数のマイクロホンから構成されるマイクロホンアレー２２と、該マイクロホンアレー２２の出力に接続された遅延和アレー装置６と、マイクロホンアレー２２の予じめ設定した感度の焦点からマイクロホンアレー２２を構成する個々のマイクロホンまでの距離に相当する距離遅延時間を記憶する記憶部２３と、マイクロホンアレー２２の予じめ設定した複数の感度の焦点に対する遅延和アレー装置６の出力から各焦点に対するパワーの計算を行い最大および２番目に大きいパワーの焦点情報から音源位置を判定する音源位置判定部２５と、記憶部２３の該距離遅延時間を利用して音源から該マイクロホンまでに音波が到達する際の伝搬遅延時間を計算する遅延時間計算部２４とから構成された実施例である。
【００５７】
これらの構成により、図１に示すような収音方法が実行可能となる。
【００５８】
図５に、本発明にかかる収音装置の第２の構成例を示す。この構成は、図４に示す収音装置の構成と基本的に同じであり、前記遅延時間計算部２４が、記憶部２３に記憶された伝播時間、つまり距離遅延時間を用いてこの距離遅延時間の分をマイクロホンの出力から除くように抽出する抽出部２６と、この抽出部が抽出した信号を用いて当該マイクロホンの出力間の相関を計算する相関計算部２７とから構成された実施例である。
【００５９】
図６に、本発明にかかる収音装置の第３の構成例を示す。この構成は、図５に示す収音装置の構成と基本的に同じであるが、前記抽出部と前記相関計算部の間に接続され、該抽出部からの出力を白色化処理して、該相関計算部に白色化処理された出力を送出する白色化部３１を有している点が異なる。白色化部３１は、マイクロホンアレー２２を構成する個々のマイクロホンの出力の周波数特性を平坦化する。前記白色化部３１は、白色化処理を行う。白色化処理の典型的な手法は次のとおりである。まず、時間領域のマイクロホン出力ｘ（ｔ）を周波数領域に変換する。周波数領域で表されたマイクロホン出力Ｘ（ｋ）に対し、｜Ｘ（ｋ）＋δ｜を除して周波数特性を平坦化して時間領域に変換する。但し、δは分母が０になることを防ぐための微少量である。仮に白色化処理を行わないとすると、相互相関の時間特性のピークがなだらかとなる傾向がある。そのため相互相関を最大にして特定される時間差の精度が劣化する。
【００６０】
図７に、本発明にかかる収音装置の第４の構成例を示す。この構成例は、この構成は、図４に示す収音装置の構成と基本的に同じであるが、マイクロホンアレー２２を構成する個々のマイクロホンの出力の特定帯域を抽出する帯域ろ波部３６が前記白色化部と前記相関計算部の間に接続されている点で異なる。帯域ろ波部３６では通例２００Ｈｚ以下の低域の信号を除去する。その後、相関を計算する。仮に帯域ろ波を行わず低周波騒音のある環境で収録された信号間の相関をとると、騒音による相関ピークが生じ、誤った時間差が決定されるおそれがある。
【００６１】
【発明の効果】
本発明によれば、従来の方法又は装置で行われていた、各遅延素子の遅延量を決定するための相関（パワー）が最大となる伝播時間の導出に必要な計算量を減少させることが可能となる。減少する計算量は、どのように代表位置を定めるか、及び前記小領域Ｓの大きさをどのように定めるかによって変わってくるが、例えば代表位置を１０個設定することにより領域を１０個に分割する設定がなされた場合には、従来の全域に関して相関を演算する手法に比して、大凡１／１０に減少させることが可能になる。
【００６２】
また、本発明によれば、精密にもとめられた伝播時間にもとづいて、音源の位置をより精密に特定することが可能となる。たとえば、以下のようなマイクロホンがＸ−Ｙ平面状にある時の一般的な音源位置推定方法を用いることによって音源の位置をより精密に特定することが可能となる。
【００６３】
いま、マイクロホンアレーの数をＭ、音源とｉ番目のマイクロホンとの間の距離を音速で割って得られる時間をｔｉ（ｉ＝１、２、…、Ｍ）、基準マイクロホンとｉ番目のマイクロホンとの音波到来時間差をｄｉ（＝ｔｉ−ｔ１；（ｉ＝２、…、Ｍ））、ｉ番目のマイクロホンの直交座標位置をＰｉ（ｘｉ，ｙｉ，０），音源の直交座標位置をＱ（ｘ，ｙ，ｚ）とする。このとき、音波到来時間差ｄｉは観測可能な値であり、また直交座標位置Ｐｉ（ｘｉ，ｙｉ，０）は予め与えられている値である。これらより、音源の直交座標位置Ｑ（ｘ，ｙ，ｚ）を以下のようにして求めることができる。
【００６４】
【数７】
である。また、
【数８】
である。
ゆえに、
【数９】
が成り立つ。これを行列式にすると、
【数１０】
この行列式を解いて、Ｘ，Ｙを求めることができる。またＺについては
【数１１】
において、Ｚ＞０と仮定すれば、
【数１２】
が成り立つ。これによりＺを求める。
以上により、音源座標位置Ｑ（Ｘ，Ｙ，Ｚ）を求めることができる。
【００７１】
なお、音源座標位置を求める式は、上記の式に限られず、他の一般的な音源位置推定方法による式を用いて算出することも可能である。
【図面の簡単な説明】
【図１】本発明にかかる収音方法の工程を概略的に示す、フローチャートである。
【図２】記憶部に記憶される、代表位置と、伝播時間と、その範囲との対応関係の例を示す図である。
【図３】代表位置と、伝播時間と、その範囲の関係を示す為の概念図である。
【図４】本発明にかかる収音装置の第１の構成例の概略構成を示すブロック図である。
【図５】本発明にかかる収音装置の第２の構成例の概略構成を示すブロック図である。
【図６】本発明にかかる収音装置の第３の構成例の概略構成を示すブロック図である。
【図７】本発明にかかる収音装置の第４の構成例の概略構成を示すブロック図である。
【図８】遅延和方式による雑音抑圧収音の原理を説明する図である。
【図９】音源がマイクロホンアレーに近い位置に位置する場合に遅延器の後段のゲインの荷重を適切に設定して収音ＳＮ比を向上させることを説明するための図である。
【符号の説明】
１ … マクロホンアレー（収音部）
２１〜２Ｍ … マイクロホン
３１〜３Ｍ … 遅延器
４ … 加算器
５ … 出力信号
６ … 遅延和アレー装置
７１〜７Ｍ … ゲイン
２１ … マイクロホンアレー処理装置（収音装置）
２２ … マイクロホンアレー
２３ … 記憶部
２４ … 遅延時間計算部
２５ … 音源位置判定部
２６ … 抽出部
２７ … 相関計算部
３１ … 白色化部
３６ … 帯域ろ波部
Claims (7)
- 複数のマイクロホンで収録された音声信号を各々独立な遅延時間で遅延させ、遅延された各音声信号を加算して収音信号を得る収音方法において、
予め定められた複数の代表位置のそれぞれと前記複数のマイクロホンとの間の音の伝播時間と、前記各代表位置ごとに設定される小領域と前記複数のマイクロホンとの間の音の最大伝播時間及び最小伝播時間を、前記代表位置と関連付けて記憶手段に記憶させる工程と、
前記複数のマイクロホンで音声信号が収録された際に、前記複数の代表位置のそれぞれについて、前記記憶手段に記憶された伝播時間をもとに第１の遅延量Ｄi を求め、前記収録された複数の音声信号をこの求められた第１の遅延量Ｄi により遅延する工程と、
前記複数の代表位置のそれぞれについて、前記記憶手段に記憶された伝播時間に対応する伝播距離の逆数ａに、当該伝播距離と室容量と室の残響時間とから求まる定数Ｃ0 を乗算して第１のゲインｇ0 を求め、前記第１の遅延量Ｄi により遅延された複数の音声信号に対しこの求められた第１のゲインｇ0 を与える工程と、
前記第１のゲインｇ0 が与えられた複数の音声信号を加算することにより、前記複数の代表位置のそれぞれに対応する第１の収音信号のパワーを求める工程と、
前記求められた第１の収音信号のパワーをもとに、パワー値が最大となる代表位置を一つ選択する工程と、
前記選択された代表位置に対応する最大伝播時間と最小伝播時間との間の時間範囲に含まれる複数の時間値のそれぞれについて、前記記憶手段に記憶された伝播時間をもとに第２の遅延量Ｄi を求め、前記複数のマイクロホンにより収録された複数の音声信号を前記求められた第２の遅延量Ｄiにより遅延する工程と、
前記複数の時間値のそれぞれについて、前記記憶手段に記憶された伝播時間に対応する伝播距離の逆数ａに、当該伝播距離と室容量と室の残響時間とから求まる定数Ｃ0 を乗算して第２のゲインｇ0 を求め、前記第２の遅延量Ｄi により遅延された複数の音声信号に対し前記求められた第２のゲインｇ0 を与える工程と、
前記第２のゲインｇ0 が与えられた複数の音声信号を加算することにより、前記複数の時間値のそれぞれに対応する第２の収音信号のパワーを求める工程と、
前記求められた第２の収音信号のパワーをもとに、パワー値が最大となる時間値を一つ選択する工程と、
前記選択された時間値に該当する各マイクロホンに対応する伝播時間をもとに第３の遅延量Ｄi を求め、前記複数のマイクロホンにより収録された複数の音声信号を前記求められた第３の遅延量Ｄiにより遅延する工程と、
前記第３の遅延量Ｄi により遅延された複数の音声信号を加算することにより、音源に対応する第３の収音信号を出力する工程と
を具備することを特徴とする収音方法。 - 複数のマイクロホンで収録された音声信号を各々独立な遅延時間で遅延させ、遅延された各音声信号を加算して収音信号を得る収音方法において、
予め定められた複数の代表位置のそれぞれと前記複数のマイクロホンとの間の音の伝播時間と、前記各代表位置ごとに設定される小領域と前記複数のマイクロホンとの間の音の最大伝播時間及び最小伝播時間を、前記代表位置と関連付けて記憶手段に記憶させる工程と、
前記複数のマイクロホンで音声信号が収録された際に、前記複数の代表位置のそれぞれについて、前記記憶手段に記憶された伝播時間をもとに第１の遅延量Ｄi を求め、前記収録された複数の音声信号をこの求められた第１の遅延量Ｄi により遅延する工程と、
前記複数の代表位置のそれぞれについて、前記記憶手段に記憶された伝播時間に対応する伝播距離の逆数ａに、当該伝播距離と室容量と室の残響時間とから求まる定数Ｃ0 を乗算して第１のゲインｇ0 を求め、前記第１の遅延量Ｄi により遅延された複数の音声信号に対し前記求められた第１のゲインｇ0 を与える工程と、
前記第１のゲインｇ0 が与えられた複数の音声信号を加算することにより、前記複数の代表位置のそれぞれに対応する第１の収音信号のパワーを求める工程と、
前記求められた第１の収音信号のパワーをもとに、パワー値が最大となる代表位置を一つ選択する工程と、
前記選択された代表位置に対応する最大伝播時間と最小伝播時間との間の時間範囲に含まれる複数の時間値のそれぞれについて、前記複数のマイクロホンで収録された各音声信号間の相関を求める工程と、
前記求められた相関をもとに相関値が最大となる時間値を一つ選択する工程と、
前記選択された時間値に該当する各マイクロホンに対応する伝播時間をもとに第２の遅延量Ｄi を求め、前記複数のマイクロホンにより収録された複数の音声信号を前記求められた第２の遅延量Ｄi により遅延する工程と、
前記第２の遅延量Ｄi により遅延された複数の音声信号を加算することにより、音源に対応する第２の収音信号を出力する工程と
を具備することを特徴とする収音方法。 - 複数のマイクロホンから構成され、これら複数のマイクロホンのそれぞれにより検出した音声を複数の独立した音声信号に変換して出力するマイクロホンアレーと、
前記マイクロホンアレーの出力に接続され、前記複数のマイクロホンのそれぞれに対応する複数の遅延器及びゲイン乗算器と、その出力を加算する加算器とを備える遅延和アレー装置と、
前記遅延和アレー装置の出力に接続される音源位置判定部と、
予め定められた複数の代表位置のそれぞれと前記複数のマイクロホンとの間の音の伝播時間と、前記各代表位置ごとに設定される小領域と前記複数のマイクロホンとの間の音の最大伝播時間及び最小伝播時間が、前記代表位置と関連付けて記憶された記憶部と、
前記遅延和アレー装置の各遅延器及びゲイン乗算器に対しそれぞれ遅延量及びゲインを与える遅延時間計算部と
を具備し、
前記遅延時間計算部は、前記Ｍ個の代表位置のそれぞれについて、前記記憶部に記憶された伝播時間をもとに第１の遅延量Ｄi を求めると共に、前記記憶部に記憶された伝播時間に対応する伝播距離の逆数ａに当該伝播距離と室容量と室の残響時間とから求まる定数Ｃ0 を乗算して第１のゲインｇ0 を求め、この求められた第１の遅延量Ｄi 及び第１のゲインｇ0 をそれぞれ前記遅延和アレー装置の各遅延器及びゲイン乗算器に与え、
前記遅延和アレー装置は、前記マイクロホンアレーから出力された複数の独立した音声信号のそれぞれに前記遅延時間計算部から与えられた第１の遅延量Ｄi 及び第１のゲインｇ0 を与え、第１の遅延量Ｄi 及び第１のゲインｇ0 が与えられた音声信号を加算することによって、前記複数の代表位置のそれぞれにおける第１の収音信号を生成して出力し、
前記音源位置判定部は、前記遅延和アレー装置から出力された第１の収音信号のパワーをそれぞれ求め、当該求められた第１の収音信号のパワーをもとに、パワー値が最大となる代表位置を一つ選択し、
前記遅延時間計算部は、前記選択された代表位置に対応する最大伝播時間と最小伝播時間との間の時間範囲に含まれる複数の時間値のそれぞれについて、前記記憶部に記憶された伝播時間をもとに第２の遅延量Ｄi を求めると共に、前記記憶部に記憶された伝播時間に対応する伝播距離の逆数ａに当該伝播距離と室容量と室の残響時間とから求まる定数Ｃ0 を乗算して第２のゲインｇ0 を求め、この求められた第２の遅延量Ｄi 及び第２のゲインｇ0 をそれぞれ前記遅延和アレー装置の各遅延器及びゲイン増幅器に与え、
前記遅延和アレー装置は、前記マイクロホンアレーから出力された複数の独立した音声信号のそれぞれに前記遅延時間計算部から与えられた第２の遅延量Ｄi 及び第２のゲインｇ0 を与え、当該第２の遅延量Ｄi 及び第２のゲインｇ0 が与えられた音声信号を加算することによって、前記複数の時間値のそれぞれに対応する第２の収音信号を生成して出力し、
前記音源位置判定部は、前記遅延和アレー装置から出力された第２の収音信号のパワーをそれぞれ求め、当該求められた第２の収音信号のパワーをもとに、パワー値が最大となる時間値を一つ選択し、
前記遅延時間計算部は、前記選択された時間値に該当する各マイクロホンに対応する伝播時間をもとに第３の遅延量Ｄi を求め、この求められた第３の遅延量Ｄi を前記遅延和アレー装置の各遅延器に与え、
前記遅延和アレー装置は、前記マイクロホンアレーから出力された複数の独立した音声信号のそれぞれに前記遅延時間計算部から与えられた第３の遅延量Ｄi を与え、この第３の遅延量Ｄi が与えられた各音声信号を加算することによって、音源に対応する第３の収音信号を生成して出力することを特徴とする収音装置。 - 複数のマイクロホンから構成され、これら複数のマイクロホンのそれぞれにより検出した音声を複数の独立した音声信号に変換して出力するマイクロホンアレーと、
前記マイクロホンアレーの出力に接続され、前記複数のマイクロホンのそれぞれに対応する複数の遅延器及びゲイン乗算器と、その出力を加算する加算器とを備える遅延和アレー装置と、
前記遅延和アレー装置の出力に接続される音源位置判定部と、
予め定められた複数の代表位置のそれぞれと前記複数のマイクロホンとの間の音の伝播時間と、前記各代表位置ごとに設定される小領域と前記複数のマイクロホンとの間の音の最大伝播時間及び最小伝播時間が、前記代表位置と関連付けて記憶された記憶部と、
前記遅延和アレー装置の各遅延器及びゲイン乗算器に対しそれぞれ遅延量及びゲインを与える遅延時間計算部と
を具備し、
前記遅延時間計算部は、前記複数の代表位置のそれぞれについて、前記記憶部に記憶された伝播時間をもとに第１の遅延量Ｄi を求めると共に、前記記憶手段に記憶された伝播時間に対応する伝播距離の逆数ａに当該伝播距離と室容量と室の残響時間とから求まる定数Ｃ0 を乗算して第１のゲインｇ0 を求め、この求められた第１の遅延量Ｄi 及び第１のゲインｇ0 をそれぞれ前記遅延和アレー装置の各遅延器及びゲイン乗算器に与え、
前記遅延和アレー装置は、前記マイクロホンアレーから出力された複数の独立した音声信号のそれぞれに前記遅延時間計算部から与えられた第１の遅延量Ｄi 及び第１のゲインｇ0 を与え、第１の遅延量Ｄi 及び第１のゲインｇ0 が与えられた音声信号を加算することによって、前記複数の代表位置のそれぞれにおける第１の収音信号を生成して出力し、
前記音源位置判定部は、前記遅延和アレー装置から出力された第１の収音信号のパワーをそれぞれ求め、当該求められた第１の収音信号のパワーをもとに、パワー値が最大となる代表位置を一つ選択し、
前記遅延時間計算部は、前記選択された代表位置に対応する最大伝播時間と最小伝播時間との間の時間範囲に含まれる複数の時間値のそれぞれについて、前記複数のマイクロホンで収録された各音声信号間の相関を求めて、この求められた相関をもとに相関値が最大となる時間値を一つ選択し、この選択された時間値に該当するマイクロホンに対応する伝播時間をもとに第２の遅延量Ｄi を求め、この求められた第２の遅延量Ｄi を前記遅延和アレー装置の各遅延器に与え、
前記遅延和アレー装置は、前記マイクロホンアレーから出力された複数の独立した音声信号のそれぞれに前記遅延時間計算部から与えられた第２の遅延量Ｄi を与え、この第２の遅延量Ｄi が与えられた各音声信号を加算することによって、音源に対応する第２の収音信号を生成して出力することを特徴とする収音装置。 - 前記遅延時間計算部は、
前記記憶部に記憶された伝播時間をもとに、当該伝播時間の分を前記マイクロホンの出力から除くように抽出する抽出部と、
前記抽出部により抽出された信号を用いて、前記各マイクロホンの出力間の相関を計算する相関計算部と
を備えることを特徴とする請求項４記載の収音装置。 - 前記遅延時間計算部は、さらに
前記抽出部と前記相関計算部との間に接続され、前記抽出部からの出力を白色化処理して、この白色化処理された出力を前記相関計算部に入力する白色化部を備えることを特徴とする請求項５記載の収音装置。 - 前記遅延時間計算部は、さらに
前記白色化部と前記相関計算部との間に接続され、前記白色化部からの出力から予め定められた帯域成分を除去し、この所定の帯域成分が除去された出力を前記相関計算部に供給する帯域ろ波部を備えることを特徴とする請求項６記載の収音装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000131673A JP3588576B2 (ja) | 2000-04-28 | 2000-04-28 | 収音装置および収音方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000131673A JP3588576B2 (ja) | 2000-04-28 | 2000-04-28 | 収音装置および収音方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001313992A JP2001313992A (ja) | 2001-11-09 |
| JP3588576B2 true JP3588576B2 (ja) | 2004-11-10 |
Family
ID=18640537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000131673A Expired - Fee Related JP3588576B2 (ja) | 2000-04-28 | 2000-04-28 | 収音装置および収音方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3588576B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109669158A (zh) * | 2017-10-16 | 2019-04-23 | 杭州海康威视数字技术股份有限公司 | 一种声源定位方法、系统、计算机设备及存储介质 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6970796B2 (en) | 2004-03-01 | 2005-11-29 | Microsoft Corporation | System and method for improving the precision of localization estimates |
| JP4675381B2 (ja) * | 2005-07-26 | 2011-04-20 | 本田技研工業株式会社 | 音源特性推定装置 |
| JP5180139B2 (ja) * | 2009-04-17 | 2013-04-10 | セコム株式会社 | 発声検出装置 |
| JP5709725B2 (ja) * | 2011-10-27 | 2015-04-30 | Toa株式会社 | マイクロホン装置 |
| JP5929154B2 (ja) * | 2011-12-15 | 2016-06-01 | 富士通株式会社 | 信号処理装置、信号処理方法および信号処理プログラム |
| JP6789690B2 (ja) * | 2016-06-23 | 2020-11-25 | キヤノン株式会社 | 信号処理装置、信号処理方法、及びプログラム |
| CN108419192B (zh) * | 2017-02-09 | 2023-07-25 | 钰太芯微电子科技（上海）有限公司 | 一种两线车载mems拾音器 |
-
2000
- 2000-04-28 JP JP2000131673A patent/JP3588576B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109669158A (zh) * | 2017-10-16 | 2019-04-23 | 杭州海康威视数字技术股份有限公司 | 一种声源定位方法、系统、计算机设备及存储介质 |
| CN109669158B (zh) * | 2017-10-16 | 2021-04-20 | 杭州海康威视数字技术股份有限公司 | 一种声源定位方法、系统、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001313992A (ja) | 2001-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101456866B1 (ko) | 혼합 사운드로부터 목표 음원 신호를 추출하는 방법 및장치 | |
| US8238569B2 (en) | Method, medium, and apparatus for extracting target sound from mixed sound | |
| US20070154031A1 (en) | System and method for utilizing inter-microphone level differences for speech enhancement | |
| WO2016034454A1 (en) | Method and apparatus for enhancing sound sources | |
| JP5772151B2 (ja) | 音源分離装置、プログラム及び方法 | |
| CN110610718B (zh) | 一种提取期望声源语音信号的方法及装置 | |
| CN110875056B (zh) | 语音转录设备、系统、方法、及电子设备 | |
| TW201926316A (zh) | 語音信號識別方法和裝置 | |
| JP2001309483A (ja) | 収音方法および収音装置 | |
| JP3588576B2 (ja) | 収音装置および収音方法 | |
| JP5738218B2 (ja) | 音響信号強調装置、遠近判定装置、それらの方法、及びプログラム | |
| KR20090037845A (ko) | 혼합 신호로부터 목표 음원 신호를 추출하는 방법 및 장치 | |
| CN112363112B (zh) | 一种基于线性麦克风阵列的声源定位方法及装置 | |
| CN111540365B (zh) | 语音信号确定方法、装置、服务器及存储介质 | |
| JPH09261792A (ja) | 受音方法及びその装置 | |
| JP4116600B2 (ja) | 収音方法、収音装置、収音プログラム、およびこれを記録した記録媒体 | |
| JP5143802B2 (ja) | 雑音除去装置、遠近判定装置と、各装置の方法と、装置プログラム | |
| JP5635024B2 (ja) | 音響信号強調装置、遠近判定装置、それらの方法、及びプログラム | |
| Nakano et al. | Automatic estimation of position and orientation of an acoustic source by a microphone array network | |
| JP3341815B2 (ja) | 受話状態検出方法およびその装置 | |
| JP3540988B2 (ja) | 発音体指向性補正方法およびその装置 | |
| JP6908142B1 (ja) | 収音装置、収音プログラム、及び収音方法 | |
| JP2002062900A (ja) | 収音装置及び受信装置 | |
| JP4249697B2 (ja) | 音源分離学習方法、装置、プログラム、音源分離方法、装置、プログラム、記録媒体 | |
| JP3518579B2 (ja) | 発言者追随型場内拡声装置と音声入力方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040422 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040511 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040712 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040810 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040816 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080820 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080820 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090820 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090820 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100820 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100820 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110820 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |