JP5452158B2

JP5452158B2 - 音響監視システム、及び音声集音システム

Info

Publication number: JP5452158B2
Application number: JP2009233525A
Authority: JP
Inventors: 真人戸上; 洋平川口
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2009-10-07
Filing date: 2009-10-07
Publication date: 2014-03-26
Anticipated expiration: 2029-10-07
Also published as: CN102036158A; JP2011080868A; CN102036158B; US8682675B2; US20110082690A1

Description

本発明は、音響監視システム、特に複数の機器が動作する環境において、機器の異常動作を音響的に識別する音響監視、音声集音技術に関する。

これまで工場内の機械の異常音監視や、室内の異常監視を目的として、カメラ画像や音響情報による監視システムが用いられてきた。このシステムでは、監視対象を予め設定しておき、その監視対象しか監視することができなかった（例えば、特許文献１参照）。しかし、今後、安心・安全に対する社会ニーズが高まる中、より網羅的な音響監視システム、音声集音システムが求められている。

特開２００５−３２８４１０号公報

従来の監視システムでは、監視対象のスペクトル構造の変化などをモニタリングして異常かどうかを判定していたが、監視対象以外の音源が多数存在する環境では、ノイズの問題から監視精度が劣化するという問題があった。また、工場など多数の機器が動作する環境において、初期設定を簡単に行うことが可能な監視システムが必要であった。

本発明の目的は、工場などの複数の機器が動作する環境において、その機器の異常動作を音響的に識別することが可能な音響監視システム、音声集音システムを提供することにある。

上記の目的を達成するため、本発明においては、複数のマイクロホンを有するマイクロホンアレイと処理部を有する音響監視システムであって、処理部は、マイクロホンアレイの入力信号から、音源方向のヒストグラムの時間変化を検出し、その変化検出結果に基き、音場に異常が生じたかどうかを判定する音響監視システムを提供する。

また、上記の目的を達成するため、本発明においては、複数のマイクロホンを有するマイクロホンアレイと処理部と記憶部とを有する音響監視システムであって、記憶部はマイクロホンに関するデータを記憶し、処理部は、マイクロホンに関するデータに基づき、監視対象の音源近傍に存在するマイクロホンアレイを探索し、探索したマイクロホンアレイのマイクロホンに関するデータに基づき、監視対象の音源の音場監視機能を選択する音響監視システムを提供する。

更に、上記の目的を達成するため、本発明においては、複数のマイクロホンを有するマイクロホンアレイと処理部とを有する音声集音システムであって、
処理部は、マイクロホンアレイの入力信号から音源毎のヒストグラムを生成し、生成したヒストグラムのばらつきに基づき、音源の向き検出を行う構成の音声集音システムを提供する。

すなわち、本発明においては、音源方向のヒストグラムによる変化検出機能により、複数の音源が存在する環境において音響的な変化を高精度に抽出可能とする。さらに監視対象毎に最近傍のマイクロホンアレイを用いて、マイクロホンアレイの指向特性やマイクロホン配置の情報から適切な音場監視機能を自動的に選択することにより、効率的に音響情報を処理することを可能とする。

本発明の構成によれば、複数の音源が存在する環境でも監視が可能な保守監視システムを提供できる。また、大規模な工場施設において、自動的に音場監視機能を選択可能であり、作業効率が向上する。

第１の実施例に係る音響監視システムのハードウェア全体の構成を示す図である。第１の実施例のシステムの拠点毎のハードウェア構成を示す図である。第１の実施例に係る、工場内におけるハードウェア配置例を示す図である。第１の実施例の中央サーバにおけるソフトウェア機能ブロック構成を示す図である。第１の実施例の中央サーバにける異常音監視処理のソフトウェアブロック構成を示す図である。第１の実施例における異常音監視機能の選択処理フローを示す図である。第１の実施例における異常音監視機能の処理フローを示す図である。第１の実施例における、音源方向ヒストグラムの変化抽出による異常判定例を模式的に示す図である。第１の実施例に係る、音源方向推定処理を有する異常音検出のブロック構成を示す図である。第１の実施例に係る、音源方向推定処理を有しない異常音検出のブロック構成を示す図である。第１の実施例に係るマイクロホンデータベースであるマイクロホン属性情報テーブルの一構成を示す図である。第１の実施例に係るＡＤ変換装置データベースであるＡＤ変換装置属性情報テーブルの一構成を示す図である。第１の実施例に係る、異常発見画面のＧＵＩの一構成例を示す図である。第１の実施例に係る、音源ヒストグラムのエントロピーに基づく異常変化抽出のブロック構成を示す図である。第１の実施例に係る、音源毎ヒストグラム生成のブロック構成を示す図である。第１の実施例に係る、アレイ横断特徴量抽出のブロック構成を示す図である。第１の実施例に係る、変化検出のブロック構成を示す図である。第１の実施例に係る、音源向き検出のブロック構成を示す図である。第１の実施例に係る、音源方向検出、音源向き検出の処理フローの一例を示す図である。第２の実施例に係る、音源向き検出をビデオ会議システムに用いる場合を説明するための図である。第３の実施例に係る、音源向き検出を会議音声録音に用いる場合を説明するための図である。第２の実施例に係る、音源向き検出をビデオ会議システムに用いたハードウェア構成の一例を示す図である。第２の実施例に係る、音源向き検出をビデオ会議システムに用いた使用シーンを示す模式図である。

以下、本発明の具体的な実施形態を図面に従い説明する。なお、本明細書において、「手段」を「機能」、「部」あるいは「プログラム」と呼ぶ場合がある。例えば、「音場監視手段」が「音場監視機能」、「音場監視部」や「音場監視プログラム」と表現される。

図１に第１の実施例に係る保守・監視システムの全体構成を示す。工場などの環境内に埋め込んだＮ個の複数のマイクロホン素子を有するマイクロホンアレイ１０１−１〜Ｎからなる入力部で取り込んだ入力信号である音響情報は、信号処理部である計算装置１０２−１〜Ｎで、デジタル信号処理を施されて、異常情報が抽出される。抽出された異常情報は、中央サーバ１０３に送信され、中央サーバ１０３で各マイクロホンアレイ１０１−１〜Nが抽出した異常情報を統合的に処理（異常情報抽出処理）した後、各監視員が閲覧する表示部としての監視画面１０４−１〜Ｓ（Ｓは監視画面の数）に情報が送信される。計算装置１０２−１〜Ｎでは、各拠点のマイクロホンアレイ１０１−１〜Nで取り込んだアナログの音圧値をデジタル信号に変換した後、デジタル信号処理を施す。

図２に計算装置１０２−１〜N及び中央サーバ１０３の具体的なハードウェア構成を２０１、２０６として示す。これらは、基本的には通常の処理部である中央演算装置（Central Processing Unit：ＣＰＵ）と記憶部であるメモリを備えたコンピュータと同等の構成を有している。各計算装置２０１では、入力された複数チャンネルのアナログの音圧値を多チャンネルＡＤ変換機２０２で多チャンネルのデジタル音声波形に変換される。変換されたデジタル音声波形は中央演算装置２０３が中央サーバ２０６に送信する。中央サーバ２０６において行われる、上述の異常情報抽出処理を計算装置２０１の処理部である中央演算装置２０３で行っても良い。そこで、本明細書において、計算装置１０２−１〜N及び中央サーバ１０３の中央演算装置（ＣＰＵ）を纏めて、処理部と呼ぶ場合がある点に留意されたい。

中央演算装置２０３が実行する各種プログラムは、不揮発性メモリ２０５に記憶され、実行時に読みだされ、揮発性メモリ２０４に展開される。プログラム実行時に必要なワークメモリは揮発性メモリ２０４上に確保される。また、中央サーバ２０６においても、処理部である中央演算装置２０７にて、各種プログラムを実行する。中央演算装置２０７が実行する各種プログラムは、不揮発性メモリ２０９に記憶され、実行時に読みだされ、揮発性メモリ２０８に展開される。プログラム実行時に必要なワークメモリは揮発性メモリ２０４上に確保される。中央サーバ２０６の中央演算装置２０７もしくは、計算装置２０１の中央演算装置２０３が行う信号処理は、扱うアナログ音圧値を収録したマイクロホンアレイが保守・監視を行う環境内のどこに設置されているか、及びその収録情報からどの機器のどの範囲を保守・監視するかによって処理が異なる。

図１及び図２はマイクロホンアレイ１つにつき計算装置１つが1対１対応する構成となっているが、１対１対応に限定する必要はなく、２つ以上のマイクロホンアレイの情報を一つの計算装置で処理するという構成を取っても良い。さらに一つのＡＤ変換装置が２つ以上のマイクロホンアレイの情報を処理することにより、これらマイクロホンアレイの情報を同期処理することが可能になる。このようなことから、一つのＡＤ変換装置が２つ以上のマイクロホンアレイの情報を処理する構成を取っても良い。また、マイクロホンアレイ１つの情報を複数の計算装置で処理する構成を取ることにより、処理量が一つの計算装置で処理しきれない場合に対応しても良い。

図３に、本実施例において、マイクロホンアレイの具体的な設置例及び機器設備との相対的な位置関係により中央演算装置で行う処理が異なることの例を示す。図１のマイクロホンアレイ１０１−１〜Ｎに対応する、マイクロホンアレイ３０１−１〜８は、環境内の様々な位置に点在し配置され、機器設備３０２−１〜４の動作を監視するものとする。ここで、機器設備３０２−１を監視する目的で、マイクロホンアレイ３０１−７やマイクロホンアレイ３０１−４を用いることは適切とは言えない。これらの音響情報入力部としてのマイクロホンアレイには、機器設備３０２−３や機器設備３０２−４が発する音響情報が混入し、機器設備３０２−１の音を高いＳＮＲ（Signal Noise Ratio：聞きたい音と雑音との比率）で収録することが困難であるからである。この場合、マイクロホンアレイ３０１−１やマイクロホンアレイ３０１−２、またマイクロホンアレイ３０１−６を用いることが適切であると考えられる。これらのマイクロホンアレイ全てを機器設備３０２−１の音響監視に用いても良いし、これらのマイクロホンアレイのうち最近傍のマイクロホンアレイを機器設備３０２−１の音響監視に用いても良い。また、機器設備３０２−１のある特定の部位の音響情報を監視したい場合に、機器設備３０２−１とマイクロホンアレイを結ぶ直線上に遮蔽物（例えば機器設備３０２−１自体）が存在する場合は、そのようなマイクロホンアレイが最近傍マイクロホンアレイであったとしても使用しないという構成を取っても良い。

図４は、本実施例の中央サーバ２０６内の処理部において実行される、監視対象機器毎に監視方法を選択するプログラムのソフトウェアブロック構成を示した図である。監視対象選択部４０１は、監視員もしくは監視拠点の監視責任者が監視対象の機器設備を選択する手段を提供する。たとえば、一般的なコンピュータのグラフィカルユーザーインターフェース（ＧＵＩ）を用いて、監視拠点の平面図を表示部であるディスプレイ上に表示し、ユーザーに監視対象機器設備をマウスクリックなどの操作で指定するような構成を取っても良いし、監視対象の機器設備がリスト化されたリストボックスの中から、監視対象の機器設備を選択するといった構成を取っても良い。監視対象選択部４０１は、これらＧＵＩを用いた方法で選択された監視対象の機器設備から、監視対象地点である、監視環境内における監視対象の相対的な座標を得るよう動作する。

マイクロホンアレイ選択部４０２は、監視対象選択部４０１で得た監視対象の相対的な座標（監視対象地点）と、事前に登録してあるマイクロホンアレイデータベースとを比較して、監視に用いるマイクロホンアレイを選択するよう動作する。監視方法選択部４０３は、選択したマイクロホンアレイの配置場所、及び指向特性などに基づき、適切な音場監視機能を選択するよう動作する。

そして、各マイクロホンアレイ３０２−１〜８から中央サーバ２０６に音響情報を送信した後、選択した音場監視手段を中央サーバ２０６内で実行するような構成を取っても良いし、選択した音場監視手段に基づき、各マイクロホンアレイのデータを扱う計算装置２０１に音場監視手段についての情報を送信し、各計算装置上の処理部で、音場監視手段を実行可能なようにしても良い。この場合、各計算装置が用いるマイクロホンアレイのみでその計算装置上に展開された音場監視手段が実行可能である必要がある。つまり、他の計算装置が有するマイクロホンアレイの情報を利用する必要がある場合は、その音場監視手段は中央サーバの処理部で実行することが望ましい。一方、音場監視手段がある特定の計算装置が扱うマイクロホンアレイデータのみを使って監視する場合は、その計算装置内で音場監視手段を実行し、監視結果のみを中央サーバに送信する構成を取りことで、中央サーバに情報を送信する際のネットワークコストを減らすことができるため、望ましい。

事前に登録されるマイクロホンアレイデータベースは少なくともそのマイクロホンアレイを一意に識別するためのマイクロホン識別子（ＩＤ）及び監視対象の監視環境内における相対的な座標値と、マイクロホンアレイを構成するマイクロホンの指向性の有無、及びマイクロホンアレイがつながっているボードであるＡＤ変換装置の識別子（ＩＤ）、及びそのＡＤ変換装置でマイクロホンアレイが接続されているチャンネル番号の属性が記録されているものとする。なお、このテーブルは中央サーバ２０６の記憶部を構成する揮発性メモリ２０８や不揮発性メモリ２０９上に記録される。

図１１に本実施例におけるマイクロホンアレイデータベース（ＤＢ）、即ちマイクロホン属性情報テーブルの一例を示す。１１０１〜１１０５はそれぞれ、上述のマイクロホンＩＤ、座標値、指向性、ＡＤ変換装置、チャンネル列を示す。マイクロホンアレイが単体のマイクで構成されている場合は、“チャンネル”列１１０５にそのマイクがつながっているＡＤ変換装置２０２のチャンネル番号を記す。また、マイクロホンアレイが複数のマイクロホンで構成されている場合は、“チャンネル”列１１０５にそれらマイクロホンアレイがつながっているチャンネル番号列を記す。また、それぞれのマイクロホンアレイがつながっているＡＤ変換装置は、必ずしも同一のＡＤ変換装置である必要はない。

同様に、それぞれのＡＤ変換装置の特性をデータベース（ＤＢ）に記憶しておくものとする。ＡＤ変換装置のデータベースは、少なくとも、そのＡＤ変換装置を一意に識別するためのＡＤ変換装置ＩＤ、及びそのＡＤ変換装置がつながっているＰＣのＩＰアドレス、及びそのＡＤ変換装置の各チャンネルが時間同期しているかどうかを表す“同期”の３つの属性を持つこととする。またそのＡＤ変換装置のデータを取得するために、プログラムのポート番号を属性として持っておいても良い。

図１２にこのＡＤ変換装置のデータベースであるＡＤ変換装置属性情報テーブルの一例を示す。同図において、１２０１〜１２０３はそれぞれ、上述のＡＤ変換装置ＩＤ、そのＡＤ変換装置がつながっているＰＣのＩＰアドレス、及びそのＡＤ変換装置の各チャンネルが時間同期しているかどうかを表す“同期”の３つの属性を示す。時間同期しているかどうかについては、チャンネル間の同期ずれとＡＤ変換機のサンプリング周期の比率が予め定める閾値以下であればよい。なお、このテーブルも中央サーバ２０６の記憶部に記憶される。

図５は、第１の実施例において、各音場監視手段の音声取り込みを各拠点の計算装置で行い、ネットワーク経由で中央サーバに送信した音声データを中央サーバ内で処理する際のソフトウェアブロックを記した図である。マイクロホンアレイ１０１−１〜Nに対応するマイクロホンアレイ５０１−１〜Ｎで取り込んだ各マイクロホンアレイの音圧値は、各計算装置内（各拠点）で動作する波形取り込み部５０２−１〜Ｎで処理され、ネットワーク５０３を介して、１０３、２０６に対応する中央サーバに送信される。中央サーバにおいては、その中央演算装置２０７のプログラムとして実行される拠点毎異常音監視部５０４が、拠点毎に取り込んだ波形を処理し、異常状態の検出処理を行う。その後、監視結果を１０４−１〜Sに対応する各監視画面に向けて送信する。

図６は、中央サーバで実行されるプログラムである、図４に示したマイクロホンアレイ選択部４０２及び監視方法選択部４０３における具体的な処理フローを記した図である。上述のように、監視対象選択部４０１は与えられた監視対象設備から、監視対象地点を同定する。ここで、監視対象地点は、その監視環境内のローカル座標系で（Xl,Yl,Zl）と表わされると仮定する。近傍マイクロホン探索６０１では、Ｎ個のマイクロホンアレイ毎に、監視対象地点との距離を計算する。ここで、（Xi,Yi,Zi）(iはマイクロホンアレイを識別するためのインデックス)は各マイクロホンアレイの中心座標系とする。これは、前述したマイクロホンアレイデータベースの座標値１１０２から取得可能な情報である。

距離計算は３次元ユークリッド距離di=(Xl−Xi)^2+(Yl−Yi)^2+(Zl−Zi)^2に基づき行う。diが最小になるようなマイクロホンアレイを近傍マイクロホンアレイとして選択しても良いし、diが予め定める閾値以下となるようなマイクロホンアレイを複数選択しても良い。ここでは、diが最小になるようなマイクロホンアレイを近傍マイクロホンアレイとして選択する場合の処理フローを示す。複数のマイクロホンアレイを用いた場合の音場監視手段については後述する。またマイクロホンアレイを構成するマイクロホン数は２素子とする。３素子以上の場合については後述する。

図６のＡＤ同期チェックを行うＡＤ同期？６０２は、図１２に示したＡＤ変換装置データベースを参照した上で、選択されたマイクロホンアレイを収録するためのＡＤ変換装置がチャンネル間で同期がとれているかどうかを確認する。チャンネル間で同期が取れている場合は、位相差に基づく高分解能な音源方向推定が可能である。また同期が取れていない場合は、位相差に基づく音源方向推定は実行できない。この場合は、マイクロホンアレイを構成するマイクロホンの音量比率が予め既知であるかどうかを確か、音量比率が既知である場合は、振幅比率などを用いた低分解能な音源方向推定を実行することになる。音量比率が未知である場合は、音源方向推定を行わない音場監視手段を選択することになる。

そこで、マイク間の音量比率をＤＢ探索６０３では、二つのマイクロホン間の感度比率がＤＢ内に記録されているかどうか探索する。予め、二つのマイクロホン間の感度比率を測定している場合は、それを中央サーバ２０６の不揮発性メモリ２０９にデータベース化して格納しておく。ＤＢ内に存在？６０４では、マイクロホン間の音量比率がＤＢ内に蓄えられていた場合は、その音量比率に基づく音源定位を行うよう音場監視手段を選択する（６１３）。

この音量比率に基づく音源定位について以下説明する。同一の音圧レベルの信号がマイクロホンアレイを構成するマイクロホン１、２に入力された時の、マイクロホン１の音圧レベルをP1[dB]、マイクロホン2の音圧レベルをP2[dB]とする。入力信号のマイクロホン１の音圧レベルをX1[dB]、マイクロホン２の音圧レベルをX2[dB]とする。この時、N1=X1−P1、N2=X2−P2がそれぞれ正規化された音圧レベルである。この正規化された音圧レベルの差（N1−N2）が予め定める閾値Th1以上の場合、その時の音源位置をマイクロホン１に近い位置と判断する。逆に差（N1−N2）が予め定める閾値Th2以下の場合、その音源位置をマイクロホン２に近い位置と判断する。それ以外のケースについては、音源位置をマイクロホン１とマイクロホン２の中間と判断する。なお、入力信号に一般的なフーリエ変換に基づく短時間周波数分解を施し、時間・周波数成分毎にこのような判断を行っても良い。各判断結果から、「マイクロホン１に近いと判断されたケース」、「マイクロホン２に近いと判断されたケース」「マイクロホン１とマイクロホン２の中間と判断されたケース」の３つのケース毎にヒストグラムを生成する。このヒストグラムを元に、異常音発生の監視を行う。

一方、ＤＢ内に存在？６０４において、マイクロホン間の音量比率がＤＢ内に蓄えられていなかった場合は、ヒストグラムを作ることは行なわない音場監視手段を選択する（６１４）。この場合の音場監視手段については、後で述べる。

図６のＡＤ同期？６０２で、ＡＤ変換装置が同期していると判断された場合は、用いるマイクロホンアレイを構成するマイクロホンが指向性か無指向性かを指向性？６０５で判断する。これは図１１のマイクロホンアレイデータベースの指向性１１０３を参照することで実行可能である。指向性と判断された場合は、次にそのマイクロホンアレイの仮想音源方向毎のステアリングベクトルが予め得られているかどうかを確認する（ステアリングベクトル探索６０７）。マイクロホンアレイのインパルス応答を予め収録するなどして、予め各音源方向（例えば、マイクロホンアレイから見て正面、側方、後方など）のマイクロホン間位相差が得られている場合は、得られた情報からステアリングベクトルを生成し、中央サーバ２０６内の不揮発性メモリ２０９に蓄えておけばよい。ステアリングベクトル探索６０７におけるＤＢ内に存在？６０８は、ステアリングベクトルがメモリ中に存在しているかどうかで処理を分岐する。ＤＢ内に存在している場合（yes）は、ステアリングベクトルを用いた音源方向推定を行う（６０９）。ここで、xm(f,τ)をm番目のマイクロホンの周波数f、フレームτの信号と仮定する。これはm番目のマイクロホン信号に短時間フーリエ変換を施すことで取得可能である。各マイクロホンの信号を要素に持つベクトルを数１で定義する。

また音源方向pのステアリングベクトルを数２で定義する。

ここで、Tp,m(f)は、音源からマイクロホンmまで音が伝達する際の遅延時間、αm（ｆ）は音源からマイクロホンmまで音が伝達する際の減衰率とする。遅延時間及び減衰率は予め各音源方向からのインパルス応答を計測することで求めることができる。またステアリングベクトルa(f)を大きさが1になるようにa(f)=a(f)/|a(f)|と正規化して用いることにする。

ステアリングベクトルを用いた時間・周波数毎の音源方向の推定は数３に基づき行う。

Pminは推定した音源方向を表すインデックスとする。入力信号とステアリングベクトルの内積が最大となるような方向がその時間・周波数の音源方向となる。ステアリングベクトルを用いた音場監視手段では、時間周波数毎に求めた音源方向Pminのヒストグラムを算出する。ヒストグラムの変化から異常が生じたかどうかを判断する。一方、ステアリングベクトル探索６０７で、ステアリングベクトルがＤＢ内に存在しない場合は、音源方向ヒストグラムを用いない、方向推定を伴わない音場監視手段を選択して終了する（６１０）。

指向性？６０５で、指向性が無いと判断された場合(no)は、次にマイクロホンの間隔が予め定めるＤ[m]以下であるかを確認する(間隔がDm以下？６０６)。Ｄ[m]以下である場合は、マイクロホン間の位相差に基づく音源方向推定方式を用いた音場監視手段を選択する（６１１）。ここで、位相差に基づく音源方向推定方式では、入力信号X(f,τ)から音源方向θ(f,τ)を数４で求める。

上記の式において、dはマイク間隔とする。ｃは音速とする。求めた音源方向θ(f,τ)のヒストグラムを算出したヒストグラムの変化から異常が生じたかどうかの判断を行う。また、音源方向推定は、時間フレーム毎にＧＣＣ−ＰＨＡＴ(Generalized Cross Correlation with Phase Transform)法などの全周波数を用いた音源方向推定法により時間フレーム毎の音源方向θ(τ)を求めても良い。

ここで、音源方向を適当な間隔で離散化してヒストグラムを作っても良い。間隔がDm以下？６０６での判断の結果、マイクロホンの間隔が予め定めるＤ[m]以上である場合(no)は、位相差に基づく音源方向推定が困難であると考え、マイクロホン間の音量比率に基づく音源方向推定を実行する音場監視手段を選択する（６１２）。各周波数毎に、マイクロホン１の入力信号とマイクロホン２の音圧比率r[dB]が予め定める閾値T1[dB]より大きい場合、その周波数成分はマイクロホン１に近い音源の成分と判断し、T2[dB]より小さい場合、その周波数成分はマイクロホン２に近い音源の成分と判断する。それ以外の場合はその周波数成分はマイクロホン１とマイクロホン２の中間に存在する成分とする。このような判定を各時間周波数毎に行った後、各判断結果から、「マイクロホン１に近いと判断されたケース」、「マイクロホン２に近いと判断されたケース」「マイクロホン１とマイクロホン２の中間と判断されたケース」の３つのケース毎にヒストグラムを生成する。このヒストグラムを元に、異常音発生の監視を行う。以上説明した図６の処理フローの流れで、監視対象地点毎の音場監視手段が定まる。

続いて、マイクロホンアレイを構成するマイクロホンの素子数が３以上の場合において説明する。マイク間の音量比率により音源方向を求める場合は、音量の大きい上位二つのマイクロホンを抽出し、そのマイクロホン間の音量比率が予め定まる閾知T1[dB]を超えている場合は、抽出したマイクロホン１に近い方向に音源があると判断する。また音量比率がT2[dB]を下回る場合は、抽出したマイクロホン２に近い方向に音源があると判断する。それ以外の場合は、抽出したマイクロホン１と抽出したマイクロホン２に近い方向に音源があると判断する。マイクロホンiに近いか、マイクロホンi及びマイクロホンjの中間といった音源方向推定結果が各時間周波数毎に得られる。この推定結果からヒストグラムを算出して音響監視に用いる。ステアリングベクトルを用いた音源方向推定の場合は、要素数が３以上のステアリングベクトルと要素数が３以上の入力信号との内積計算を行って方向推定を行う。

位相差を用いた音源方向推定の場合は、ＳＲＰ−ＰＨＡＴ法(Steered Response Power - Phase Alignment Transform）や、ＳＰＩＲＥ法（Stepwise Phase Difference Restoration法、例えば、M. Togami and Y. Obuchi, “Stepwise Phase Difference Restoration Method for DOA Estimation of Multiple Sources”, IEICE Trans. on Fundamentals, vol. E91-A, no. 11, 2008を参照）などを用いて音源方向推定を行う。

図７は、本実施例の中央サーバ２０６の処理部における全拠点の音響監視のフレーム毎の処理フローを示した図である。変数初期化７０１では、まず処理する拠点のインデックス(i)を０に初期化する。判定７０２では、全ての拠点を処理し終えたか判定する。ここでＮは拠点数である。処理し終えている場合は、終了する。それ以外の場合は、次にその拠点の音場監視手段が音源方向推定機能を有するかどうか判定７０３する。音源方向推定を有すると判定した場合、音源方向推定７０４を行う。ここで、音源方向推定は、音場監視手段選択で選択した方法に基づき（位相差を用いる方法、音量比率に基づく方法、ステアリングベクトルを用いる方法）を選択して行う。音源方向を周波数毎に推定した後、推定結果から、ヒストグラムや入力信号のスペクトルの変化抽出７０５を行う。また、音源方向推定機能を有しない場合、ステアリングベクトルの時間変化、入力信号スペクトルの変化抽出７０７を行う。変化あり？７０６では、ヒストグラムや入力信号のスペクトルの著しい時間変化があったかどうか判定する。時間変化があったと判定された場合は、変化があった音源方向の成分を音源分離７１０する。音源分離７１０は、最小分散ビームフォーマ法（例えば、M. Togami, Y. Obuchi, and A. Amano, “Automatic Speech Recognition of Human-Symbiotic Robot EMIEW,” in “Human-Robot Interaction”, pp. 395-404, I-tech Education and Publishing,2007を参照）などを用いて実行する。音源分離は変化があったと判定された前後数秒のデータを抽出する。そして抽出成分を各監視地点に送信７０８した後、次の拠点に処理を移す（７０９）。変化がなかったと判定された場合は、何も行わずに次の拠点に処理を移す（７０９）。

図８は、本実施例における音源方向ヒストグラムの変化抽出のイメージを記したものである。同図上段右に示す変化後の方向ヒストグラム８０２から、同図上段左に示す変化前のヒストグラム８０１を引き算することで、同図下段に示すように変化があった音源方向８０３を知ることができる。

図９は図７の処理フローにおける、音源方向推定機能を有する際の、ヒストグラム、スペクトルの変化抽出７０５のより詳細な処理フローを示した図である。推定して得られた音源方向ヒストグラムからヒストグラム距離計算９０２では、メモリに蓄積された過去の音源方向クラスタ９０１の情報を用いて、過去のクラスタと得られた音源方向ヒストグラムの距離計算を行う。距離計算は数５に基づき行う。

ここで、Qcはc番目のクラスタのセントロイドとする。Hは得られた音源方向ヒストグラムとする。Hのi番目の要素が得られたヒストグラムのi番目の要素の頻度とする。Simが１に近い程、過去のクラスタとの差が小さいということになる。過去のどのクラスタとも遠い場合は、Simは0に近い値を取る。Ｈとして各フレーム毎に得られたヒストグラムを用いても良いし、各フレーム毎に得られたヒストグラムの時間方法へ移動平均したものを用いても良い。距離閾値更新９０３では、Simを時間方向に移動平均を取った値AveSimを元にTh=AveSim+(1-AveSim)*βでThを求める。オンラインクラスタリング９０５では、得られた音源方向ヒストグラムに最も近いクラスタのインデックスCminを数６で求める。

さらにQcminを数７で更新する。

ここで、λは過去の情報の忘却係数とする。そして、更新したQcminを過去の音源方向クラスタ９０１に書き込む。スペクトル距離計算９０７は、得られたマイクロホン入力信号から時間方向のスペクトルS(τ)を数８で求める。

Si(τ)は数９で定義される。

ここでΩiは、i番目のサブバンドに含まれる周波数の集合とする。W(f)は周波数fのサブバンド内での重みとする。ここで、各サブバンドの周波数集合は、対数周波数軸で等間隔になるように分割するものとする。W(f)は各サブバンドの中心周波数を頂点とする三角窓とする。得られたS(τ)と過去のスペクトログラムクラスタ９０６に含まれる各クラスタのセントロイドとの距離計算を行い、セントロイドとの類似度Simspectralを数１０で算出する。

続いて、図９の距離閾値更新９０８では、Simspectralを時間方向に移動平均を取った値AveSimspectralを元に、Thspectral=AveSimspectral+(1-AveSimspectral)*βでThspectralを求める。

オンラインクラスタリング９０９では、Cminを数１１で求め、数１２でKcminを更新する。

変化検出９０４では、AveSimがThを上回ったか、またはAveSimspectralがThspectralを上回ったら、変化が検出されたと判定する。それ以外の場合、変化が検出されなかったと判定する。

図１０に、音源方向推定を伴わない音場監視手段における変化検出の詳細ブロック構成を示す。スペクトル距離計算１００２、距離閾値更新１００３、オンラインクラスタリング１００６、過去のスペクトログラムクラスタ１００７は図９のブロックと同様の処理を行う。ステアリングベクトル距離計算１００１は、入力されたマイクロホン入力信号から数１３でN(f,τ)で正規化した入力信号を求める。

そして数１４で過去のステアリングベクトルクラスタ１００９内のクラスタのセントロイドとの距離計算を行い、類似度Simsteeringを得る。

距離閾値更新１００４では、Simsteeringを時間方向に移動平均を取った値AveSimsteeringを元にThsteering=AveSimsteering+(1-AveSimsteering)*βでThsteeringを求める。オンラインクラスタリング１００８では、数１５でCmin算出し、数１６でセントロイドを更新する。

変化検出１００５では、AveSimsteeringがThsteeringを上回ったか、またはAveSimspectralがThspectralを上回ったら、変化が検出されたと判定する。それ以外の場合、変化が検出されなかったと判定する。

図１３は、本実施例における、図３に示した工場平面図に対応する監視画面の構成例の一例を示した図である。音場監視手段により発見された異常変化は音源方向推定により発生位置が特定されているため、画面上に異常発生位置１３０１〜１３０４を図示したり、「異常発見」文字列を表示するなどの方法によりユーザーに提示することが可能である。さらに「異常発見」文字列等をクリックすることでその異常の音を分離し、ユーザーが聴くことができるような構成を取っても良い。変化成分の音データは、聞きたい方向が定まれば、聞きたい方向を指定する最小分散ビームフォーマを施すことにより抽出することが可能である。

図１４は、複数のマイクロホンを用いた異常変化抽出ブロックを示した図である。各マイクロホンアレイの入力信号から、マイクロホンアレイ毎にヒストグラムを生成する（音源毎ヒストグラム生成１４０１）。音源毎ヒストグラム生成１４０１では、入力信号を一旦音源毎に分離した後、その音源毎にヒストグラムを生成するような構成を取る。音源統合１４０４は、各マイクロホンアレイ毎に分離された信号を類似度を元に統合する。まずマイクロホンアレイ１で分離された各音源と、マイクロホンアレイnで分離された各音源との対応関係を明らかにする。

数１７によりn(m2)を求める。

ここで、n(m2)はマイクロホンアレイ１の音源のインデックスを入力として、その音源がマイクロホンアレイnのn(m2)[m]番目の音源と同じであることを表すインデックスとする。Cn(m,m2[m])は、マイクロホンアレイ１のm番目の音源とマイクロホンアレイnのm2[m]番目の音源との相互相関値を計算する関数とする。Sn(m)をマイクロホンアレイnのm番目の音源の時間領域信号（時間インデックスtは省略）として、相互相関値を計算する関数は、数１８のように定義される。

音源統合では、マイクロホンアレイ毎に、m2[m]番目の音源がm番目の音源となるようにインデックスを変換する。アレイ横断特徴量算出１４０２では、各音源毎に、複数のアレイを用いて、音源の発生位置の特定及び音源の発生向きを推定する。音源とマイクロホンアレイとを結ぶ直線上に遮蔽物があるような場合は、音源から出る信号はマイクロホンアレイに直接は届かない。音源の発生向きの推定によって遮蔽物が直線上にないようなマイクロホンアレイを選択することができる。変化検出１４０３では、音源の発生位置や向きの変化及びスペクトル構造の変化を同定し、変化があった場合に、表示部の監視画面にそのことを表示する。

図１５は、音源毎ヒストグラム生成の詳細ブロック構成を示した図である。音源毎ヒストグラム生成１５００は、音源分離１５０１と音源方向推定１５０２、音源方向ヒストグラム生成１５０３の３つのブロックから構成される。これら３つのブロックはいずれも各マイクロホンアレイ毎に行う。音源分離１５０１では、一般的な独立成分分析を用いて音源毎に音を分離する。音源方向推定１５０１〜Ｍは、分離された各音源毎の音源方向を推定する。音源方向の推定は、音場監視手段選択で行ったのと同様にマイクロホンアレイの属性情報に基づいて選択する。音源方向ヒストグラム作成１５０３では、推定音源方向のヒストグラムを音源毎に作成する。

図１６に、アレイ横断特徴量算出ブロックの詳細構成を記す。アレイ横断特徴量抽出１６００は、方向ヒストグラムエントロピー計算１６０２とピーク算出１６０３及びピーク・エントロピーベクトル化１６０４からなる。アレイ横断特徴量抽出ブロックは、各音源毎に行う。音源ｍについて、マイクロホンアレイnで算出した方向ヒストグラムをHnと記載する。HnのエントロピーEntを数１９で算出する。

Hnは大きさ1で正規化されているものとする。Hn(i)はi番目の要素の頻度を表すものとする。Entが大きい程推定した音源方向が様々な方向に散らばっていることを意味する。遮蔽物などでマイクロホンアレイまで音が届かない場合は、Entが大きい値を取る傾向がある。ピーク算出１６０３−１〜ＮまではヒストグラムHnのピーク要素を同定し、そのピーク要素の音源方向を返す。

また、音源の向きの検出については、ピーク・エントロピーベクトルの他、数２０、及び数２１で定義されるヒストグラムの分散V(Hn)、またはその分散値のー１倍や、数２２で定義される尖度をエントロピーEntの代わりに用いても良い。

なお、これらヒストグラムのエントロピー、分散、尖度等を「ヒストグラムのばらつき」と総称することができる。

ピーク・エントロピーベクトル化１６０４では、各マイクロホンアレイで算出した音源方向とエントロピーを要素に持つ特徴量ベクトルVmを算出する。Vmはm番目の音源の特徴量ベクトルとする。

図１７は複数のマイクロホンアレイで算出した音源の特徴量ベクトルを元に変化検出を行うブロック構成を示したものである。変化検出１７００は、スペクトル距離計算１７０７、距離閾値更新１７０８、オンラインクラスタリング１７０９、過去のスペクトログラムクラスタ１７０６は図９のブロックと同様の処理を行う。距離計算１７０２は、次に示す数２３で過去のピーク・エントロピーベクトルクラスタ１７０１内のクラスタのセントロイドとの距離計算を行い、類似度Simentropyを得る。

距離閾値更新１７０３では、Simentropyを時間方向に移動平均を取った値AveSimentropyを元にThentropy=AveSimentropy+(1-AveSimentropy)*βでThentropyを求める。オンラインクラスタリング１７０８では、数２４でCminを求めた後、数２５でセントロイドを更新する。

変化検出１７０４では、AveSimentropyがThentropyを上回ったか、またはAveSimentropyがThentropyを上回ったら、変化が検出されたと判定する。それ以外の場合、変化が検出されなかったと判定する。

図１８は、マイクロホンアレイ入力信号から音源の向き検出を行うためのブロック構成を示した図である。音源毎ヒストグラム生成１８０１、アレイ横断特徴量抽出１８０２は、図１４と同一の処理を行う。音源向き検出１８０３では、音源毎に算出したヒストグラムのばらつきを示すピーク・エントロピーベクトルから音源の位置と音源の向きを検出する。なお、ピーク・エントロピーベクトルは一例であり、先に説明したヒストグラムのばらつきを示す、ヒストグラムの分散や尖度などを用いることができる。

図１９は音源向き検出１８０３の具体的な処理構成を示した図である。この処理フローは音源毎に実行する。変数初期化１９０１は、マイクロホンアレイのインデックスi,j及びコスト関数Cminを初期化する。判定１９０２では、最後のマイクロホンアレイを処理したかどうかを判定する。処理していた場合は、変数更新処理１９０４に進む。処理していない場合は、音源方向・向きコストCtmp計算1906に移る。さらに判定１９０５でjが最後のマイクロホンアレイを処理し終わっている場合は、処理を終了し、コスト関数が最小となるようなマイクロホンアレイのインデックスi,j及び音源の位置と向きを出力する。判定１９０５でjが最後のマイクロホンアレイを処理し終わっていない場合は、音源方向・向きコストCtmp計算1906に移る。音源方向・向きコストCtmp計算1906では、数２６で定義されるコストCtmpを計算する。

CtmpのXは、音源のグローバルな座標を表す。θiはi番目のマイクロホンアレイのローカルな座標系における音源の音源方向とし、θjはj番目のマイクロホンアレイのローカルな座標系における音源の音源方向とする。関数gは、マイクロホンアレイのローカルな座標系における音源の音源方向をマイクロホンアレイの中心座標の情報を利用して、グローバルな座標系上の１つの直線に変換するための関数とする。関数fは点と直線の最小距離を求める関数とする。λは一つ目の引数に比例するような関数とする。マイクロホンアレイと音源との距離が遠ざかるにつれて、残響の影響などで音源方向のばらつきが大きくなることを補正する項である。λとしては、λ(x)=xやλ(x)=√xなどが考えられる。判定１９０７では、求めたコストCtmpが最小コストCminを下回っているか判定し、下回っている場合、CminをCtmpで置き換えるとともに、音源方向推定及び音源向き推定に用いるマイクロホンアレイのインデックスiminとjminを書き換える。変数更新１９０３で、変数を更新し、次のマイクロホンアレイの処理に移る。最小コストを与えるマイクロホンアレイで計算した音源方向を出力する音源方向の情報とするとともに、マイクロホンアレイiminとjminのうちλ(x)で正規化したエントロピーが大きいマイクロホンアレイの方向を音源向きと判定する。

第２の実施例は、音源向き検出を用いて、複数のディスプレイを有するビデオ会議システムに関するものである。

本実施例のビデオ会議システムのハードウェア構成を図２２に示す。各会議拠点に、複数のマイクロホンから構成されるマイクロホンアレイ２２０１が設置されている。マイクロホンアレイ２２０１で取り込んだ音声信号は、多チャンネルA/D変換機２２０２で、アナログ信号からデジタル信号に変換される。変換されたデジタル信号は，中央演算装置２２０３に送られる。中央演算装置２２０３では，デジタル信号から会議拠点毎の発話者の音声のみを抽出する。スピーカ２２０９からは、ネットワーク２２０８を介して遠隔の会議拠点からデジタル信号として送信されてきた音声波形を再生する。再生音はマイクロホンアレイ２２０１で受音される。中央演算装置２２０３では，発話者の音声のみを抽出する際に、音響エコーキャンセラ技術を用いて，スピーカ再生音成分を除去するような構成を取る。また，中央演算装置２２０３では，発話者の音声の音源方向や音源向きの情報を抽出し、スピーカ２２０９から再生する遠隔拠点の再生音を切り替えるような構成を取る。カメラ２２０６で取り込んだ会議拠点の画像データは中央演算装置２２０３に取り込まれた後，遠隔拠点に送信され、遠隔拠点のディスプレイ２２０７に表示される。中央演算装置２２０３の処理に必要な各種プログラムは不揮発性メモリ２２０５に保存しておき、プログラム動作に必要なワークメモリは揮発性メモリ２２０４上に確保するような構成を取る。

図２０は本実施例の中央演算装置２２０３内での音源向き検出及びその向き検出結果を使った音源向きのディスプレイ同定の処理ブロックを示した図である。

マイクロホンアレイで取り込んだ入力信号を元に音源向き検出２００１で図１８で示した音源向きの検出処理を行う。音源向きのディスプレイ同定２００２では、音源向きの方向に存在するディスプレイを特定する。ビデオ会議表示ディスプレイ選択２００３では、音源向きの方向に存在するディスプレイをビデオ会議時の遠隔地の画像を表示する画像表示ディスプレイとして選択する。このような構成を取ることで、ユーザーが発話した方向のディスプレイに遠隔地の情報を常に認識することができる。

この情報に基づき、出力スピーカ音制御２００４では、ユーザーが発話した方向のディスプレイに表示された遠隔地の音声のみを出力スピーカから再生するようにスピーカ再生音を切り替える。また，ユーザーが発話した方向のディスプレイに表示された遠隔地の音声が大きく再生されるように制御するような構成を取っても良い。音声送信先制御２００５では、ユーザーが発話した方向のディスプレイに表示された遠隔地にのみ発話音声が送信されるように制御する。また、その遠隔地に発話音声が大きく流れるように送信制御しても良い。上記の制御を行うことで，複数の拠点とつながるビデオ会議システムにおいて、ユーザーが会話している拠点と会話しやすくなるように制御することが可能となる。

図２３に本実施例の使用シーンを示す。本使用シーンでは三拠点が同時に繋がっており，この図では，そのうちの一拠点（近端拠点）の使用シーンを示している。近端拠点では、遠隔拠点１及び遠隔拠点２それぞれのカメラで写した画像がディスプレイ２３０２−１、及びディスプレイ２３０２−２上に表示されている。また，マイクロホンアレイ２３０１−１及びマイクロホンアレイ２３０１−２で取り込んだ音声データから、近端拠点の人の音源向きが推定される。例えば、近端拠点の人がディスプレイ２３０２−１の方向をむいて発話している場合には、スピーカ再生音はディスプレイ２３０２−１上に表示されている拠点の人の発話が強調されて再生され、かつ近端拠点の声はその拠点で大きい音量で再生される。このような構成を取ることにより、近端拠点の人は自分が会話したい拠点とより親密に会話することが可能となる。

図２１は第３の実施例に係り、音源向き検出を音声録音装置、音声集音システムに応用した例のソフトウェアブロック構成を示した図である。音源向き検出２１０１は、図１８で示した音源向きの検出処理を行う。音源向きのマイクロホンアレイ同定２１０２では、音源が向いているマイクロホンアレイを求める。同定したマイクロホンの信号を録音２１０３では、同定したマイクロホンアレイで収録した音声を図示を省略した録音装置で録音する。このような構成を取ることで、発話者が向いている方向のマイクロホンアレイで収録することが可能となり、よりクリアな音声を録音することが可能となる。

本発明は、工場などの複数の機器が動作する環境において、その機器の異常動作を音響的に識別する音響監視、音声集音技術として有用である。

101…マイクロホンアレイ、102…計算装置、103…中央サーバ、104…監視画面、201…計算装置、202…多チャンネルA/D変換機、203…中央演算装置、204…揮発性メモリ、205…不揮発性メモリ、301…マイクロホンアレイ、302…機器設備、401…監視対象選択部、402…マイクロホンアレイ選択部、403…監視方法選択部、501…マイクロホンアレイ、502…波形取り込み部、503…ネットワーク、504…拠点毎異常音監視部、601…近傍マイクロホン探索、602…AD同期チェック、603…音量比率のＤＢ探索、604…ＤＢ内に存在するかチェック、605…指向性の有無の確認、606…マイク間隔の確認、607…ステアリングベクトル探索、608…ＤＢ内に存在するかチェック、701…変数初期化、702…変数チェック、703…音源方向推定機能あるかどうかのチェック、704…音源方向推定、705…スペクトルの変化抽出、706…変化あるかどうかの確認、707…スペクトルの変化抽出、708…抽出成分を送信する、709…変数の更新、710…変化成分の音源分離、 901…過去の音源方向クラスタのデータ、902…ヒストグラムの距離計算、903…距離閾値の更新、904…変化検出、905…オンラインクラスタリング、906…過去のスペクトログラムクラスタのデータ、907…スペクトル距離の計算、908…距離閾値の更新、1001…ステアリングベクトルの距離計算、1002…スペクトル距離の計算、 1003…距離閾値の更新、 1004…距離閾値の更新、1005…変化検出、1006…オンラインクラスタリング、1007…過去のスペクトログラムクラスタのデータ、1008…オンラインクラスタリング、1009…過去のステアリングベクトルクラスタのデータ、1401…音源毎ヒストグラム生成、1402…アレイ横断特徴量算出、 1403…変化検出、 1404…音源統合、1500…音源毎ヒストグラム生成、1501…音源分離、1502…音源方向推定、 1503…音源方向ヒストグラム生成、 1600…アレイ横断特徴量算出、1601…方向ヒストグラム、1602…方向ヒストグラムエントロピー計算、 1603…ピーク算出、 1604…ピーク・エントロピーのベクトル化処理、1700…変化検出、1701…過去のピーク・エントロピークラスタのデータ、1702…距離計算、1703…距離閾値の更新、1704…変化検出、1705…オンラインクラスタリング、1706…過去のスペクトログラムクラスタのデータ、1707…スペクトル距離の計算、1708…距離閾値の更新、1801…音源毎ヒストグラム生成、1802…アレイ横断特徴量算出、1803…音源向き検出、1901…変数初期化、1902…変数判定、1903…変数の更新、1904…変数の更新、1905…変数チェック、1906…音源方向・向きコスト計算、1907…変数チェック、1908…変数更新、2001…音源向き検出、2002…音源向きのディスプレイの同定、2003…ビデオ会議表示ディスプレイ、2004…出力スピーカ音制御、2005…音声信号送信先制御、2101…音源向き検出、2102…音源向きのマイクロホンアレイの同定、2103…同定したマイクロホンの信号を録音する、 2201…マイクロホンアレイ、2202…多チャンネルA/D変換機、2203…カメラ、2204…揮発性メモリ、2205…不揮発性メモリ、2206…カメラ、2207…ディスプレイ、2208…ネットワーク、2209…スピーカ、2301-1…マイクロホンアレイ、2301-2…マイクロホンアレイ、2302-1…ディスプレイ、2302-2…ディスプレイ。

Claims

複数のマイクロホンを有するマイクロホンアレイと処理部と記憶部とを有する音響監視システムであって、
前記マイクロホンに接続されたＡＤ変換装置を更に備え、
前記記憶部は、
前記マイクロホンに関するデータであって、前記マイクロホンアレイの配置データと、前記ＡＤ変換装置のＡＤ同期データとを記憶し、
前記処理部は、
前記配置データに基づき、監視対象の音源近傍に存在する前記マイクロホンアレイを探索し、
探索した前記マイクロホンアレイの前記ＡＤ同期データに基づき、前記監視対象の音源の音場監視機能を選択する、
ことを特徴とする音響監視システム。
請求項１記載の音響監視システムであって、
前記記憶部に記憶された前記マイクロホンに関するデータは前記マイクロホンの指向性データを含み、
前記処理部は、
探索した前記マイクロホンアレイの前記ＡＤ同期データが同期を示すとき、前記指向性データに基づき前記音場監視機能を選定する、
こと特徴とする音響監視システム。
請求項２記載の音響監視システムであって、
前記マイクロホンに関するデータは、前記マイクロホンの間隔データを含み、
前記処理部は、
探索した前記マイクロホンアレイの前記指向性データが無指向性の場合、前記間隔データに基づき前記音場監視機能を選定する、
ことを特徴とする音響監視システム。
請求項３記載の音響監視システムであって、
前記処理部は、
探索した前記マイクロホンアレイの前記間隔データが所定値以下の場合、前記音場監視機能として、位相差による方向推定機能を備えた音場監視機能を選択する、
ことを特徴とする音響監視システム。
請求項３記載の音響監視システムであって、
前記処理部は、
探索した前記マイクロホンアレイの前記間隔データが所定値以下でない場合、前記音場監視機能として、前記マイクロホン間の音量比率による音場監視機能を選択する、
ことを特徴とする音響監視システム。
複数のマイクロホンを有するマイクロホンアレイと処理部と記憶部とを有する音響集音システムであって、
前記マイクロホンに接続されたＡＤ変換装置を更に備え、
前記記憶部は、
前記マイクロホンに関するデータであって、前記マイクロホンアレイの配置データと、前記ＡＤ変換装置のＡＤ同期データとを記憶し、
前記処理部は、
前記配置データに基づき、監視対象の音源近傍に存在する前記マイクロホンアレイを探索し、
探索した前記マイクロホンアレイの前記ＡＤ同期データに基づき、前記監視対象の音源の音場監視機能を選択し、
前記マイクロホンアレイの入力信号から音源毎のヒストグラムを生成し、生成した前記ヒストグラムのばらつきに基づき、前記音源の向き検出を行う、
ことを特徴とする音響集音システム。
請求項６記載の音声集音システムであって、
前記処理部は、
生成した音源毎の前記ヒストグラムに基づき、マイクロホンアレイ横断特徴量を算出し、算出した前記マイクロホンアレイ横断特徴量により前記音源向きを検出する、
ことを特徴とする音声集音システム。
請求項７記載の音声集音システムであって、
前記処理部は、
音源毎の前記ヒストグラムから方向ヒストグラムエントロピーを計算することにより、前記マイクロホンアレイ横断特徴量を算出する、
ことを特徴とする音声集音システム。
請求項６記載の音声集音システムであって、
複数の表示部を更に備え、
前記処理部は、
検出された前記音源向きの方向に存在する前記表示部を特定し、特定した前記表示部に画像を表示するよう制御する、
ことを特徴とする音声集音システム。
請求項６記載の音声集音システムであって、
前記処理部は、
検出された前記音源向きに基づき、前記音源が向いている前記マイクロホンアレイを特定し、特定した前記マイクロホンアレイの入力信号を録音するよう制御する、
ことを特徴とする音声集音システム。