JP6493860B2 - 監視制御システム及び監視制御方法 - Google Patents

Description

本発明は、カメラの撮像対象となるエリアの状況をモニタリングする監視制御システム及び監視制御方法に関する。

従来、音源の方向が表示された映像を撮像する監視カメラに関する先行技術として、例えば特許文献１に示す音源方向推定機能付き監視カメラが知られている。特許文献１の音源方向推定機能付き監視カメラは、音源から伝搬される音を複数のマイクロホンを用いて収音し、これらのマイクロホンにより収音された音声の音圧に基づいて音源方向を推定する。更に、音源方向推定機能付き監視カメラは、推定された音源方向がカメラの撮像方向になるように、監視カメラの筐体を取り付けるためのカメラ取付部材を回転させて、非表示状態では透明な透明ディスプレイに、音源方向を示す図形を表示する。これにより、音源方向推定機能付き監視カメラは、音源の方向の撮像映像を透明ディスプレイに表示することができる。

特開２０１１−１８８０１６号公報

しかし、特許文献１の構成では、撮像対象となるエリアの状況をモニタリングする際、単にカメラの撮像方向を音源方向に向けても、そのエリアが薄暗い場所又は夜間であれば、モニタリングを行うユーザは、カメラの撮像映像を観ても何かしらの不審な音（例えば異常音又は警戒音）の音源やその異常音又は警戒音の発生原因が何であるかを具体的に判別することが困難であった。

例えば、撮像対象となるエリアが照明の薄暗い状況の工場又は倉庫等である場合に、そのエリアで異常音又は警戒音が発生した時或いは夜間に大きな音（例えば異常音又は警戒音）が発生した時、特許文献１の構成を用いてそのエリアの映像を撮像しても、モニタリングを行うユーザは、その映像から異常音又は警戒音の発生原因を具体的に判別することは困難であった。例えば全方位カメラで撮像していれば、全方位カメラにより撮像される映像の画質は良くない（つまり、撮像の光軸方向から一定距離以上離れた位置等では撮像映像が歪む）ので、ユーザは、音源方向の映像を見ても異常音の音源が何であるかを視認、判別することは難しかった。

本発明は、上述した従来の状況に鑑みて案出され、撮像対象のエリアが薄暗い場所又は夜間に不審な異常音が発生した場合でも、そのエリアで発生した異常音の原因が何であるかをユーザにとって容易に視認、判別させ易くする監視制御システム及び監視制御方法を提供することを目的とする。

本発明は、監視エリアを撮像する撮像部と、前記監視エリア内の音声を収音する収音部と、前記収音部により収音された音声の音源方向を検出し、前記収音部により収音された音声データを基に音源方向画像を生成する信号処理部と、前記検出された音源方向の音声が異常音である場合に、前記監視エリアを照明する照明部と、前記監視エリアの撮像画像を表示する表示部と、を備え、前記表示部は、前記収音された音声が異常音である場合に、前記異常音が発生した音源を示す前記音源方向画像を含む音声ヒートマップ画像を表示した後、前記照明部への点灯指示がなされ前記撮像部により撮像が開始された撮像画像データを表示する、監視制御システムを提供する。

本発明は、撮像部と収音部と照明部とを有する監視制御システムにおける監視制御方法であって、前記撮像部により、監視エリアを撮像し、前記収音部により、前記監視エリア内の音声を収音し、前記収音部により収音された音声の音源方向を検出し、前記検出された音源方向の音声が異常音である場合に、前記収音部により収音された音声データを基に生成した前記異常音の音源方向を示す音源方向画像を含む音声ヒートマップ画像を表示部に表示した後、前記照明部への点灯指示がなされ前記撮像部により撮像が開始された撮像画像データを前記表示部に表示する、監視制御方法を提供する。

本発明によれば、撮像対象のエリアが薄暗い場所又は夜間に不審な異常音が発生した場合でも、そのエリアで発生した不審な異常音の原因が何であるかをユーザにとって容易に視認、判別させ易くすることができる。

本実施形態の監視制御システムの内部構成の一例を詳細に示すブロック図 本実施形態のマイクアレイ装置の内部構成の一例を詳細に示すブロック図 本実施形態のマイクアレイ装置により収音された音声に対して、特定の方向に指向性を形成する原理の一例の説明図 本実施形態のカメラ装置の内部構成の一例を詳細に示すブロック図 本実施形態の監視制御システムにおける監視動作の手順の一例を説明するシーケンス図 監視エリアの撮像画像のデータに種々の音源方向画像が重畳された音声ヒートマップ画像の一例を示す図

以下、適宜図面を参照しながら、本発明に係るモニタリングシステム及びモニタリング方法を具体的に開示した実施形態（以下、本実施形態という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。以下、モニタリングシステムの一例として、モニタリング対象のエリアにおいて収音された音声が異常音又は警戒音であった場合に、異常音又は警戒音の音源方向を示す音源方向画像を監視モニタに表示する監視制御システムを説明する。但し、本発明に係るモニタリングシステム及びモニタリング方法は、人物等の対象物の状態を監視するための用途に限定されず、所定のエリアにおける状態を把握するために観測や測定を行うことや、製品又はサービスについての感想や評価を調べることの各用途に適用されてもよい。

図１は、本実施形態の監視制御システム１０の内部構成の一例を詳細に示すブロック図である。監視制御システム１０は、カメラ装置ＣＡと、マイクアレイ装置ＭＡと、指向性制御装置３０と、照明装置５０と、レコーダ装置６０とを含む構成である。カメラ装置ＣＡ、マイクアレイ装置ＭＡ、指向性制御装置３０、照明装置５０及びレコーダ装置６０は、ネットワークＮＷを介して相互にデータ通信可能に接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット）でもよいし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でもよい。

また、マイクアレイ装置ＭＡ、カメラ装置ＣＡ及び照明装置５０は、店舗、倉庫や工場等の撮像対象のエリア（例えば監視エリア５）内に設置される。一方、指向性制御装置３０及びレコーダ装置６０は、監視エリア５のバックヤードに相当する事務所又は控室（例えば監視室８）に設置される。

撮像部の一例としてのカメラ装置ＣＡは、例えばパン方向の移動、チルト方向の移動及びズーム処理が自在なＰＴＺ（Pan Tilt Zoom）カメラであり、室内の天井又は壁等の平坦面に設置され、自装置が設置された監視エリア５を任意の方向に撮像可能な監視カメラとして機能する。

なお、カメラ装置ＣＡは、監視エリア５の全方位（つまり、３６０度の方向）の状況を全方位画像として撮像可能な全方位カメラでもよい。カメラ装置ＣＡが全方位カメラの場合、カメラ装置ＣＡは、全方位画像の一例として、監視エリア５の全方位が映る円形形状の全方位画像データを生成してもよいし、この円形形状の全方位画像データに対し公知の２次元パノラマ変換処理を行い、パノラマ画像データを生成してもよい。

また、カメラ装置ＣＡは、１台のカメラではなく、それぞれ異なる画角が固定的に設定された複数の固定カメラにより構成されてもよい。カメラ装置ＣＡが複数の固定カメラの場合、指向性制御装置３０に対するユーザ（例えば監視員）の操作により、複数の固定カメラからいずれか１つの固定カメラが任意に選択可能である。

カメラ装置ＣＡは、画像を撮像した時刻（つまり、撮像時刻）を画像データと対応付けて記憶し、撮像時刻のデータを含む画像データを、ネットワークＮＷを介して指向性制御装置３０に送信する。以下、カメラ装置ＣＡ（例えばＰＴＺカメラ、全方位カメラ、又は複数の固定カメラのうち選択されたいずれかの固定カメラ）が監視エリア５を撮像したことによって得られた画像を「撮像画像」という。従って、本実施形態では、詳細は後述するが、図６に示すように、撮像画像ＧＺと、撮像画像ＧＺと種々の音源方向画像ｓｄ１，ｓｄ２，ｓｄ３，ｓｄ４とが重畳された音声ヒートマップ画像ＭＰとは異なるデータとして区別する。

収音部の一例としてのマイクアレイ装置ＭＡは、例えば室内の天井等の平坦面に設置され、自装置が設置された監視エリア５における全方位の音声を無指向で収音する。マイクアレイ装置ＭＡは、中央に開口部が形成された筐体を有し、更に、この開口部の周囲に円周方向に沿って同心円状に配置された複数のマイクロホンユニットを有する。それぞれのマイクロホンユニットは、等間隔で配置されている。マイクロホンユニット（以下、単にマイクロホンと称する）には、例えば高音質小型エレクトレットコンデンサーマイクロホン（ＥＣＭ：Electret Condenser Microphone）が用いられる。

マイクアレイ装置ＭＡは、収音により得られた音声データを、収音した時刻（つまり、収音時刻）と対応付けて記憶するとともに、収音時刻のデータを含む音声データを、ネットワークＮＷを介して、指向性制御装置３０に送信する。

また、監視制御システム１０では、カメラ装置ＣＡが全方位カメラである場合、カメラ装置ＣＡとマイクアレイ装置ＭＡとは同軸上に配置されてもよい。これにより、カメラ装置ＣＡの光軸とマイクアレイ装置ＭＡの筐体の中心軸とが一致することで、カメラ装置ＣＡの撮像可能領域の座標系とマイクアレイ装置ＭＡの収音可能領域の座標系とが略同一となる。言い換えると、カメラ装置ＣＡから見た被写体の位置とマイクアレイ装置ＭＡから見た音源の位置とが同じ座標で表現可能となる。従って、被写体の位置と音源の位置との対応関係が明確となり、指向性制御装置３０は、マイクアレイ装置ＭＡにより収音された音声データに対し、ユーザの指定に基づく指向方向（後述参照）に指向性を形成する際に、ユーザの指定に基づいてカメラ装置ＣＡにより得られた方向を示す座標を、マイクアレイ装置ＭＡから見た指向方向として用いることができ、指向方向の算出を容易に行うことができる。ユーザの指定に基づいてカメラ装置ＣＡにより得られた方向を示す座標は、カメラ装置ＣＡにより撮像された撮像画像のデータが表示された監視モニタ３６の画面上の位置がユーザにより指定され、かつ指向性制御装置３０が指定位置の座標のデータをカメラ装置ＣＡに送信した場合に、カメラ装置ＣＡがその座標に対応する実際の空間上の位置に向かう方向を算出した座標である。

指向性制御装置３０は、例えばマイクアレイ装置ＭＡ及びカメラ装置ＣＡが設置された室内（例えば監視エリア５）の外（例えば監視室８）に設置される据置型のＰＣ（Personal Computer）を用いて構成される。指向性制御装置３０は、カメラ装置ＣＡにより撮像された画像データが表示された監視モニタ３６上の位置がユーザ（例えば監視員）の操作により指定されると、マイクアレイ装置ＭＡにより無指向で収音された全方位の音声に対し、マイクアレイ装置ＭＡから、指定された画像データ上の位置に対応する音源位置に向かう方向（以下、指向方向という）に指向性を形成し、その指向方向の音声を強調する。

また、指向性制御装置３０は、マイクアレイ装置ＭＡにより収音された音声データを基に、監視エリア５内の音の発生源を示す位置（以下、単に「音源位置」という）を推定する。なお、指向性制御装置３０は、ＰＣの代わりに、携帯電話機、タブレット端末、スマートフォン等の通信端末を用いて構成されてもよい。

ここで、指向性制御装置３０の具体的な構成について説明する。図１に示す指向性制御装置３０は、通信部３１と、操作部３２と、信号処理部３３と、監視モニタ３６と、スピーカ装置３７と、メモリ３８と、設定管理部３９とを含む構成である。信号処理部３３は、音源検出部３４及び出力制御部３５を有する。なお、監視モニタ３６は、指向性制御装置３０の構成として含まれているが、外部ディスプレイとして、指向性制御装置３０とは別体となるように指向性制御装置３０に接続されてもよい。同様に、スピーカ装置３７も、指向性制御装置３０の構成として含まれているが、外部スピーカとして、指向性制御装置３０とは別体となるように指向性制御装置３０に接続されてもよい。

設定管理部３９は、カメラ装置ＣＡにより撮像された監視エリア５の画像データが表示された監視モニタ３６に対し、ユーザによって指定された画像データ上の位置を示す座標を、マイクアレイ装置ＭＡから、ユーザによって指定された画像データ上の位置に対応する実際の音源位置に向かう指向方向を示す座標に変換する座標変換式を有する。この座標変換処理では、設定管理部３９は、上記座標変換式を用いて、マイクアレイ装置ＭＡから、ユーザによって指定された位置に対応する音源位置に向かう指向方向を示す座標（θＭＡｈ，θＭＡｖ）を算出する。この座標算出処理の詳細については、例えば特開２０１５−０２９２４１号公報に記載されている。ここで、θＭＡｈはマイクアレイ装置ＭＡから音源位置に向かう指向方向の水平角を表し、θＭＡｖはマイクアレイ装置ＭＡから音源位置に向かう指向方向の垂直角を表す。音源位置は、監視モニタ３６に表示された画像データに対し、ユーザの指又はスタイラスペンの操作によって操作部３２から指定された位置に対応する実際の音源の位置である。なお、上記座標変換処理は、設定管理部３９ではなく、信号処理部３３により行われてもよい。

また、設定管理部３９は、後述する音源検出部３４により算出された画素毎の音圧ｐと比較される閾値（具体的には、音源検出部３４により使用される音源検出閾値（後述参照）、更に、出力制御部３５が音源方向画像を生成する際に出力制御部３５により使用される第１閾値、第２閾値及び第３閾値）をメモリ３９ｚに記憶して保持する。ここで、音圧ｐは、音源に関する音パラメータの一例として使用されており、マイクアレイ装置ＭＡにより収音される音の大きさ又はその絶対値を表しており、スピーカ装置３７から出力される音の大きさを表す音量とは区別している。音源検出閾値、第１閾値、第２閾値及び第３閾値は、監視エリア５内で発生した音声の音圧と比較される値であり、例えばユーザが不審な異常音又は警戒音（つまり、要注意音）と判断する任意の値として、大小関係が規定された上で設定される。例えば、第１閾値＞第２閾値＞第３閾値≧音源検出閾値である。ここで、音源は、音を実際に発している音源だけでなく、この音源から伝播された結果として音が聞こえる箇所を含む広義の音源である。また、予め設定される閾値の数は、３つに限定されず、１つ、２つもしくは４つ以上であってもよい。

通信部３１は、カメラ装置ＣＡにより送信された画像データ、及びマイクアレイ装置ＭＡにより送信された音声データを受信して信号処理部３３に出力する。また、通信部３１は、ユーザの指又はスタイラスペンを用いた操作により操作部３２から指定情報（後述参照）を、信号処理部３３を介して取得すると、指定情報をカメラ装置ＣＡに送信する。

操作部３２は、ユーザの入力操作の内容を信号処理部３３に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスで構成される。また、操作部３２は、例えば監視モニタ３６の画面に対応して配置され、ユーザの指やスタイラスペンによってタッチ入力操作が可能なタッチパネル又はタッチパッドを用いて構成されてもよい。操作部３２は、ユーザの操作によって、監視モニタ３６に表示された音源撮像画像の一例としての音声ヒートマップ画像ＭＰ（図６参照）のデータ上の任意の位置が指定されると、指定された位置を示す座標データを取得して信号処理部３３に出力する。

メモリ３８は、例えばＲＡＭ（Random Access Memory）を用いて構成され、指向性制御装置３０が動作する際、指向性制御装置３０の動作を規定するプログラム及びそのプログラムの実行時に使用されるデータを記憶するためのプログラムメモリ、指向性制御装置３０の動作時に一時的にデータを記憶して保持するためのワークメモリとして機能する。また、メモリ３８は音声ヒートマップ画像ＭＰを記憶する。

信号処理部３３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、指向性制御装置３０の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。

なお上記したように、信号処理部３３は、設定管理部３９により保持される座標変換式を用いて、カメラ装置ＣＡにより撮像された撮像画像データ上のユーザ指定位置を示す座標を基に、マイクアレイ装置ＭＡから、撮像画像データ上のユーザ指定位置に対応する音源位置に向かう方向（つまり、指向方向）を算出してもよい。言い換えると、信号処理部３３は、マイクアレイ装置ＭＡから、監視モニタ３６に表示された撮像画像データ上の座標（Ｘ，Ｙ）で表される位置に対応する音源位置に向かう指向方向の座標（θＭＡｈ，θＭＡｖ）を算出する。

信号処理部３３内の音源検出部３４は、カメラ装置ＣＡにより撮像される撮像画像データを構成する一つ一つの画素のサイズに関する情報とマイクアレイ装置ＭＡにより収音された音声データとを基に、撮像画像データを構成する一つ一つの画素毎に音圧を算出する。これにより、音源検出部３４は、撮像画像データを構成する一つ一つの画素毎に、該当する画素の位置に音圧の算出値を割り当てた音圧マップデータを生成する。音圧マップデータは撮像画像データを構成するそれぞれの画素の位置とその位置（つまり画素）における音圧の算出値とが対応付けられたデータである。なお、音源検出部３４は、一つ一つの画素毎の音圧の算出値を基に音声マップデータを生成すると説明したが、一つ一つの画素毎の音圧の算出値を用いず、所定数（例えば４個）の画素からなる画素ブロック毎の音圧の算出値の平均値、最大値又は最小値を用いて、音圧マップデータを生成してもよい。

また、音源検出部の一例としての音源検出部３４は、マイクアレイ装置ＭＡにより収音された音声データを基に、その音声データにおける音源方向を検出する。音源検出部３４における音源検出処理は公知技術であり、詳細な説明は割愛する。音源検出部３４は、例えば監視エリア５を複数のブロックに分割し、マイクアレイ装置ＭＡからブロック毎に向かう方向に音声の指向性を形成し、指向性が形成された方向の音声に既定の音源検出閾値を超える音声があるか否かを判定することで、監視エリア５内の音源方向を推定する。この音源方向を推定する方法は、例えば『論文「マイクロホンアレーを用いたＣＳＰ法に基づく複数音源位置推定」西浦敬信等、電子情報通信学会論文誌Ｄ−１１ Ｖｏｌ．Ｊ８３−Ｄ−１１ Ｎｏ．８ ｐｐ．１７１３−１７２１ ２０００年８月』の文献に記載されている。

音源検出部３４は、検出した音源方向における音声が監視制御システム１０において不審なイベントに基づく異常音又は警戒音であるか否かを判定する。不審なイベントは、例えば監視エリア５に対して不審者が侵入する際に、監視エリア５の関係者の悲鳴、監視エリア５に設けられた窓又は扉のこじ開け若しくは破壊等である。具体的には、音源検出部３４は、音源方向における音声の音圧が異常音又は警官音を定めるための既定の音源検出閾値を超えるか否かを判定する。

信号処理部３３内の出力制御部３５は、監視モニタ３６及びスピーカ装置３７の動作を制御するとともに、カメラ装置ＣＡから送信された撮像画像データを監視モニタ３６に出力して表示させ、マイクアレイ装置ＭＡから送信された音声データをスピーカ装置３７に音声出力させる。また、出力制御部３５は、照明装置５０における照明の点灯又は消灯の動作を制御してもよい。

また、出力制御部３５は、マイクアレイ装置ＭＡにより収音された音声データと信号処理部３３又は設定管理部３９により算出された指向方向の座標（θＭＡｈ，θＭＡｖ）とを用いて、マイクアレイ装置ＭＡにより収音された音声データの指向性の形成処理を行うことで、指向方向の音声データを強調処理する。音声データの指向性形成処理は、例えば特開２０１５−０２９２４１号公報に記載されている公知の技術である。

また、出力制御部３５は、音源検出部３４により生成された音圧マップデータを用いて、音圧ｐの算出値と閾値（具体的には、第１閾値、第２閾値、第３閾値）との比較結果に基づく音源方向画像を生成する。音源方向画像は、音源検出部３４により算出された音圧ｐの算出値と第１閾値、第２閾値、第３閾値との比較結果とに応じて、異常音又は警戒音の音源の存在を示す画像である。音圧ｐの算出値と第１閾値、第２閾値、第３閾値との比較結果に基づく音源方向画像の詳細については、図６を参照して後述する。

更に、出力制御部３５は、生成した音源方向画像とカメラ装置ＣＡにより撮像された撮像画像データとを重畳した音声ヒートマップ画像ＭＰ（例えば図６参照）を生成し、音声ヒートマップ画像ＭＰのデータを監視モニタ３６に出力して表示させる。

音声出力部の一例としてのスピーカ装置３７は、マイクアレイ装置ＭＡが収音した音声データ、又はマイクアレイ装置ＭＡが収音し信号処理部３３によって指向性が形成された音声データを音声出力する。なお、スピーカ装置３７は、指向性制御装置３０とは別体の装置として構成されてもよい。

照明装置５０は、監視エリア５内の所定の空間の一部又は全体を照らすことが可能な装置である。照明装置５０は、例えば首振り機構を有し、後述するようにマイクアレイ装置ＭＡ又は指向性制御装置３０から点灯方向の指示を受けると、その点灯方向に照明ランプを向けて照明する。また、照明装置５０は、監視エリア５内の複数の箇所に設置された複数の照明ランプを有し、マイクアレイ装置ＭＡ又は指向性制御装置３０から指示を受けた点灯方向を照明可能な照明ランプを選択して点灯させてもよい。また、照明装置５０は、監視エリア５全体の空間を照明可能な単一の照明ランプであり、マイクアレイ装置ＭＡ又は指向性制御装置３０から点灯指示を受けると、撮像エリア全体を照明してもよい。更に、照明装置５０は、段階的に照明の光量を調節可能な調光機能を有し、マイクアレイ装置ＭＡ又は指向性制御装置３０からの点灯指示により初期値の光量で発光した後、次の指示を受けた場合に、光量アップ若しくは光量ダウンを行うようにしてもよい。照明ランプの光としては、白色灯、ＬＥＤ照明、ハロゲン照明等が挙げられる。

レコーダ装置６０は、データの記録等の各処理を制御するための制御部（不図示）と、カメラ装置ＣＡにより撮像された撮像画像データ及びマイクアレイ装置ＭＡにより収音された音声データを対応付けて格納するための記録部（不図示）とを含む構成である。また、レコーダ装置６０への録画開始若しくは録画終了は、マイクアレイ装置ＭＡ若しくは指向性制御装置３０からの指示に従って行われる。また、レコーダ装置６０は、上記した音声ヒートマップ画像ＭＰのデータを記憶してもよい。

図２は、本実施形態のマイクアレイ装置ＭＡの内部構成の一例を詳細に示すブロック図である。マイクアレイ装置ＭＡは、複数のマイクロホンＭＡ１、ＭＡ２、…、ＭＡｎ、アンプ２３１，２３２，…，２３ｎ、Ａ／Ｄ変換器２４１，２４２，２４３，…，２４ｎ、ＣＰＵ２５、符号化部２８及び通信部２９を有する。

アンプ２３１，２３２，…，２３ｎは、複数のマイクロホンＭＡ１、ＭＡ２、…、ＭＡｎで収音した音声信号を増幅する。Ａ／Ｄ変換器２４１，２４２，２４３，…，２４ｎは、それぞれアンプ２３１，２３２，…，２３ｎによって増幅された音声信号をデジタル音声データに変換する。

ＣＰＵ２５は、マイクアレイ装置ＭＡの各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。なお、マイクアレイ装置ＭＡにおいて、ＣＰＵ２５の代わりに、ＭＰＵ又はＤＳＰ等のプロセッサが設けられてもよい。

ＣＰＵ２５は、複数のマイクロホンＭＡ１、ＭＡ２、…、ＭＡｎで収音し、Ａ／Ｄ変換器２４１，２４２，２４３，…，２４ｎによって変換された音声データを入力し、これらの音声データを基に、音声出力処理を行う。

符号化部２８は、ＣＰＵ２５から出力される音声データを符号化し、ネットワークＮＷで伝送可能な音声パケットを生成する。通信部２９は、符号化部２８によって符号化された音声データを、ネットワークＮＷを介して指向性制御装置３０に送信する。

マイクアレイ装置ＭＡでは、ＣＰＵ２５は、通信部２９において、指向性制御装置３０から異常音又は警戒音が発生した音源方向の座標を含む指定情報を受信すると、照明装置５０に対する点灯指示を照明装置５０に送信し、更に、カメラ装置ＣＡに対する撮像開始の指示をカメラ装置ＣＡに送信する。更に、マイクアレイ装置ＭＡのＣＰＵ２５は、カメラ装置ＣＡに対して撮像開始の指示を通信部２９から送信させた後、カメラ装置ＣＡの撮像方向が調整された後に、レコーダ装置６０に対する録画開始の指示を通信部２９からレコーダ装置６０に送信させる。

なお本実施形態において、カメラ装置ＣＡが複数の固定カメラにより構成されている場合に、ユーザ（例えば監視員）の操作により指向性制御装置３０からいずれか一つの固定カメラが選択された旨の情報が上記指定情報に含まれ、この場合、マイクアレイ装置ＭＡは、指向性制御装置３０により選択された固定カメラに対し、撮像開始の指示を送信する。これにより、カメラ装置ＣＡが全方位カメラやＰＴＺカメラではなく、例えば既設の複数の固定カメラにより構成されている場合でも、マイクアレイ装置ＭＡは、ユーザ（例えば監視員）により選択された最適な固定カメラに対し、異常音又は警戒音が発生した後の監視エリア５の状況を適切に撮像させることが可能となる。

なお、本実施形態では、指向性制御装置３０が、マイクアレイ装置ＭＡにより収音された音声が異常音又は警戒音であるか否かを判定し、更に、その異常音又は警戒音の音源方向を推定していたが、マイクアレイ装置ＭＡが異常音が発生したか否かを判定し、その音源位置を推定するようにしてもよい。

図３は、本実施形態のマイクアレイ装置ＭＡにより収音された音声に対して、特定の方向に指向性を形成する原理の一例の説明図である。指向性制御装置３０は、マイクアレイ装置ＭＡから送信された音声データを用いて、音声データの指向性制御処理によって各々のマイクロホンＭＡ１〜ＭＡｎにより収音された各音声データを加算し、マイクアレイ装置ＭＡの各マイクロホンＭＡ１〜ＭＡｎの位置から特定の方向への音声（音量レベル）を強調（増幅）するために、特定方向への指向性を形成した音声データを生成する。特定の方向とは、マイクアレイ装置ＭＡから操作部３２で指定された音声位置に向かう方向である。なお、マイクアレイ装置ＭＡによって収音される音声の指向性を形成するための音声データの指向性制御処理に関する技術は、例えば特開２０１４−１４３６７８号公報や特開２０１５−０２９２４１号公報（特許文献１）等に示されるように、公知の技術である。

図３では、説明を分かり易くするため、マイクロホンは直線上に一次元配列としている。この場合、指向性は面内の二次元空間になるが、三次元空間で指向性を形成するためには、マイクロホンを二次元配列にして同様な処理方法を行えば良い。

音源８０から発した音波は、マイクアレイ装置ＭＡに内蔵される各マイクロホンＭＡ１，ＭＡ２，ＭＡ３，〜，ＭＡ（ｎ−１），ＭＡｎに対し、ある一定の角度（入射角＝（９０−θ）［度］）で入射する。入射角θは、マイクアレイ装置ＭＡから音声位置に向かう指向方向の水平角θＭＡｈでも垂直角θＭＡｖでもよい。

音源８０は、例えばマイクアレイ装置ＭＡが収音する収音方向に存在するカメラ装置ＣＡの被写体である人物の会話であり、マイクアレイ装置ＭＡの筐体２１の面上に対し、所定角度θの方向に存在する。また、各マイクロホンＭＡ１，ＭＡ２，ＭＡ３，…，ＭＡ（ｎ−１），ＭＡｎ間の間隔ｄは一定とする。

音源８０から発した音波は、最初にマイクロホンＭＡ１に到達して収音され、次にマイクロホンＭＡ２に到達して収音され、同様に次々に収音され、最後にマイクロホンＭＡｎに到達して収音される。

マイクアレイ装置ＭＡは、各マイクロホンＭＡ１，ＭＡ２，ＭＡ３，…，ＭＡ（ｎ−１），ＭＡｎが収音したアナログの音声データを、Ａ／Ｄ変換器２４１，２４２，２４３，〜，２４（ｎ−１），２４ｎにおいてデジタルの音声データにＡＤ変換する。

更に、マイクアレイ装置ＭＡは、遅延器２５１，２５２，２５３，〜，２５（ｎ−１），２５ｎにおいて、各々のマイクロホンＭＡ１，ＭＡ２，ＭＡ３，…，ＭＡ（ｎ−１），ＭＡｎにおける到達時間差に対応する遅延時間を与えて全ての音波の位相をそろえた後、加算器２６において遅延処理後の音声データを加算する。これにより、マイクアレイ装置ＭＡは、各マイクロホンＭＡ１，ＭＡ２，ＭＡ３，…，ＭＡ（ｎ−１），ＭＡｎに、所定角度θの方向に音声データの指向性を形成する。

このように、マイクアレイ装置ＭＡは、遅延器２５１，２５２，２５３，〜，２５（ｎ−１），２５ｎに設定される遅延時間Ｄ１，Ｄ２，Ｄ３，〜，Ｄｎ−１，Ｄｎを変更することで、収音した音声データの指向性を簡易に形成することができる。

図４は、本実施形態のカメラ装置ＣＡの内部構成の一例を詳細に示すブロック図である。カメラ装置ＣＡは、ＣＰＵ４１、通信部４２、電源管理部４４、イメージセンサ４５、メモリ４６及びネットワークコネクタ４７を有する。

ＣＰＵ４１は、カメラ装置ＣＡの各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。なお、カメラ装置ＣＡにおいて、ＣＰＵ４１の代わりに、ＭＰＵ又はＤＳＰ等のプロセッサが設けられてもよい。

イメージセンサ４５は、例えばＣＭＯＳ（相補性金属酸化膜半導体）センサで構成され、監視エリア５の状況を撮像して画像データを取得する。なお、ＣＭＯＳセンサの代わりに、ＣＣＤ（電荷結合素子）センサが用いられてもよい。

メモリ４６は、動作プログラムや設定値のデータが格納されたＲＯＭ４６ｚ、画像データやワークデータを記憶するＲＡＭ４６ｙ、及びカメラ装置ＣＡに挿抜自在に接続され、各種データが記憶されるメモリカード４６ｘを有する。

通信部４２は、ネットワークコネクタ４７を介して接続されるネットワークＮＷとのデータ通信を制御するネットワークインタフェース（Ｉ／Ｆ）である。

電源管理部４４は、カメラ装置ＣＡの各部に直流電源を供給し、また、ネットワークコネクタ４７を介してネットワークＮＷに接続される機器に直流電源を供給する。ネットワークコネクタ４７は、画像データ等の通信データを伝送し、また、ネットワークケーブルを介して給電可能なコネクタである。

上記構成を有する監視制御システム１０における監視動作について説明する。

図５は、本実施形態の監視制御システム１０における監視動作の手順を説明するシーケンス図である。図５において、まず、ユーザｈｍが指向性制御装置３０に対し操作部３２を介して音源監視開始を指示する（Ｔ１）。指向性制御装置３０は、電源オンで起動しており、この音源監視開始が指示されると、指向性制御装置３０内の信号処理部３３は、マイクアレイ装置ＭＡに対する音声出力の要求を通信部３１からマイクアレイ装置ＭＡに送信させる（Ｔ２）。ステップＴ２に続けて、信号処理部３３の音源検出部３４は、音源検出を開始する（Ｔ３）。この音源検出の処理は、例えば音源検出部３４による音源の方向及び音圧を求める動作であり、例えば指向性制御装置３０の電源がオンしている間は、マイクアレイ装置ＭＡから音声データが送信されると継続的に行われる。

マイクアレイ装置ＭＡは、電源オンによって収音動作を開始しており、指向性制御装置３０からの音声出力の要求を受けると、指向性制御装置３０に対し繰り返し音声データを送信する（Ｔ４）。

指向性制御装置３０は、マイクアレイ装置ＭＡから音声データを受信すると、指向性制御装置３０内の信号処理部３３の音源検出部３４は、カメラ装置ＣＡにより撮像される撮像画像データを構成する一つ一つの画素のサイズに関する情報とマイクアレイ装置ＭＡにより収音された音声データとを基に、撮像画像データを構成する一つ一つの画素毎に音圧を算出する。また、音源検出部３４は、撮像画像データを構成する一つ一つの画素毎に、該当する画素の位置に音圧の算出値を割り当てた音圧マップデータを生成する。出力制御部３５は、音圧マップデータを用いて、音圧ｐの算出値と閾値（具体的には、第１閾値、第２閾値、第３閾値）との比較結果に基づく音源方向画像を生成する。出力制御部３５は、生成した音源方向画像とカメラ装置ＣＡにより撮像された撮像画像データとを重畳した音声ヒートマップ画像ＭＰ（例えば図６参照）を生成し、音声ヒートマップ画像ＭＰのデータを監視モニタ３６に出力して表示させる（Ｔ５）。

監視モニタ３６は、音声ヒートマップ画像のデータを入力すると、音声ヒートマップ画像ＭＰのデータを表示する（Ｔ６）。なお、ステップＴ６以降では、ステップＴ５において随時、指向性制御装置３０から出力される音声ヒートマップ画像のデータが表示されることで、音声ヒートマップ画像ＭＰが時間的に連なる映像として表示される。

ここで、音声マップデータに所定の条件（例えば音圧が音源検出閾値を超える）を満たす音源が無い場合、監視モニタ３６は、何も映っていない映像（例えば画面が黒いままの画像）を表示する（Ｔ７）。なお、所定の条件を満たす音源とは、音圧が音源検出閾値を超えるものに限らず、高音域或いは低音域の音声を発するもの、楽音或いは騒音を発するもの等、種々の音源が挙げられる。

音圧が音源検出閾値を超えるような異常音又は警戒音が発生すると（Ｔ８）、マイクアレイ装置ＭＡは、その異常音又は警戒音を含む音声データを指向性制御装置３０に送信する（Ｔ９）。指向性制御装置３０は、異常音又は警戒音が発生した音源の方向を求め、異常音の音源方向画像を含む音声ヒートマップ画像ＭＰのデータを監視モニタ３６に出力する（Ｔ１０）。監視モニタ３６は、マイクアレイ装置ＭＡから見て異常音又は警戒音が発生した音源方向及び音圧値を示す音源方向画像を、マイクアレイ装置ＭＡから見て他の方向とは異なる表示形態で描画した音声ヒートマップ画像ＭＰを表示する（Ｔ１１）。なお、音声ヒートマップ画像ＭＰは、指向性制御装置３０の信号処理部３３の出力制御部３５により生成される。

図５では、監視モニタ３６の画面の左側には、異常音又は警戒音が発生した音源の音源方向画像ｓｄとして、異なる大きさの楕円形が重なるように描画されている。画素毎の音圧は、異常音又は警戒音を判定するための、３つの閾値（第１閾値＞第２閾値＞第３閾値）と比較される。例えば最も内側の楕円形で囲まれる音圧方向画像は、第１閾値を超えて最も高く、赤色で塗り潰される。また、最も外側の楕円形で囲まれる音圧方向画像は、第３閾値を超えるが第２閾値以下で最も低く、青色で塗り潰される。なお、ここでは、異常音を発生させた音源の音源方向画像ｓｄは、異なる色で表現されたが、異なる模様等、他の表示形態で表現することも可能である。

指向性制御装置３０は、異常音又は警戒音に対する音源検出部３４の検出結果（つまり、マイクアレイ装置ＭＡから見て異常音又は警戒音が発生した音源方向に関する情報）をマイクアレイ装置ＭＡに送信する（Ｔ１２）。マイクアレイ装置ＭＡは、指向性制御装置３０から送信された、異常音又は警戒音に対する音源検出部３４の検出結果を受信すると、照明装置５０に対し点灯指示を送信する（Ｔ１３）。この点灯指示には、マイクアレイ装置ＭＡから見て異常音又は警戒音が発生した音源の方向に関する情報が含まれている。例えば、照明装置５０は、マイクアレイ装置ＭＡから見た音源の方向と照明装置５０がどのエリアを照明すれば良いかを示す情報とを対応付けて保持しており、上記点灯指示に含まれる、マイクアレイ装置ＭＡから見て異常音又は警戒音が発生した音源の方向に関する情報を基に、その音源の方向のエリアの照明を点灯することができる。

照明装置５０は、点灯指示を受信すると、照明装置５０から見て異常音又は警戒音の音源方向を含む監視エリア５内の空間を照明する（Ｔ１４）。なお、ここでは、異常音又は警戒音が発生した音源方向の検出は、指向性制御装置３０が行っていたが、指向性制御装置３０の代わりに、例えば音源検出部３４と同一の構成を有するマイクアレイ装置ＭＡが行ってもよい。また、照明装置５０への点灯指示は、マイクアレイ装置ＭＡではなく、指向性制御装置３０が行ってもよい。

マイクアレイ装置ＭＡは、照明装置５０に点灯指示を行った後、カメラ装置ＣＡに対し撮像開始の指示を送信する（Ｔ１５）。つまり、マイクアレイ装置ＭＡは、指向性制御装置３０内の音源検出部３４によって検出された音源方向がカメラ装置ＣＡから見た方向に置き換わった方向への撮像開始の指示を送信する。この撮像開始の指示には、マイクアレイ装置ＭＡから見て異常音又は警戒音が発生した音源の方向がカメラ装置ＣＡから見てどの方向であるかに関する情報が含まれている。この異常音又は警戒音が発生した音源の方向がカメラ装置ＣＡから見た方向に変換される処理は、マイクアレイ装置ＭＡにより行われてもよいし、指向性制御装置３０の設定管理部３９又は信号処理部３３により行われてもよい。ここでは、カメラ装置ＣＡがＰＴＺカメラであれば、マイクアレイ装置ＭＡは、パン・チルト・ズームの動作をカメラ装置ＣＡに指示する。また、カメラ装置ＣＡが複数の固定カメラで構成される場合、マイクアレイ装置ＭＡは、いずれの固定カメラを指定する。また、カメラ装置ＣＡが全方位カメラである場合、マイクアレイ装置ＭＡは、単に撮像開始の指示を送信する。この場合、カメラ装置ＣＡは、撮像開始の指示に含まれる切り出し方向に従って、全方位カメラにより撮像された円形画像（つまり、３６０度の方位を含む全方位画像）に対しパノラマ変換を行い、パノラマ画像を生成してもよい。

カメラ装置ＣＡは、撮像した画像データを監視モニタ３６に送信し、その表示開始を指示する（Ｔ１７）。以後、カメラ装置ＣＡで撮像された画像データは、監視モニタ３６に表示される。同時に、カメラ装置ＣＡは、撮像した画像データをレコーダ装置６０に送信する（Ｔ１８）。監視モニタ３６は、カメラ装置ＣＡで撮像された画像データの表示を開始する（Ｔ１９）。この場合、撮像エリアは、照明装置５０によって照明されているので、監視モニタ３６の画面には、照明された撮像エリア内の画像データが映し出されている。ただし、この段階では、カメラ装置ＣＡの向きが調整前である（言い換えると、異常音又は警戒音が発生した音源の方向に光軸が向いていない）ので、監視モニタ３６の画面には、異常音が発生した音源の方向とは異なる方向の撮像画像が映し出されている。

カメラ装置ＣＡは、撮像開始後、マイクアレイ装置ＭＡ又は指向性制御装置３０から指示された音源方向に撮像方向を調整する（Ｔ２０）。

マイクアレイ装置ＭＡは、撮像方向の調整済みと判断される時間の経過後、レコーダ装置６０に対し録画開始を指示する（Ｔ２１）。レコーダ装置６０は、この録画開始指示を受けると、起動して録画を開始する（Ｔ２２）。撮像方向の調整後に録画を開始することで、調整前の画像データを録画しなくて済み、有効な画像データだけを記録することが可能となる。

なお、マイクアレイ装置ＭＡは、カメラ装置ＣＡに対する撮像開始指示後の所定時間が経過すると、撮像方向の調整済みと判断したが、カメラ装置ＣＡからの応答信号（Ａｃｋ）を待ち、応答信号があった場合、撮像方向の調整済みと判断してもよい。

また、カメラ装置ＣＡが撮像方向の調整を終えると、監視モニタ３６は、マイクアレイ装置ＭＡから指示された音源方向の画像データを表示する（Ｔ２３）。この段階では、マイクアレイ装置ＭＡにより収音された異常音又は警戒音の音源方向と、カメラ装置ＣＡで撮像される撮像方向（つまり、光軸方向）とは、一致する。監視モニタ３６の画面には、異常音又は警戒音が発生した音源方向で、不審人物ｈｂが窓ｗｄを割ろうとしている画像データが映し出されている。

また、ユーザｈｍが、監視モニタ３６に表示されている画像データを見ながら、例えば指向性制御装置３０の操作部３２を介して、画像データが表示された監視モニタ３６上の任意の位置を指定する（Ｔ２４）。なお、監視モニタ３６がタッチパネルで構成される場合、ユーザｈｍは監視モニタ３６の画面に直接タッチすることで、画像上の任意の位置を指定してもよい。指向性制御装置３０内の信号処理部３３の出力制御部３５は、マイクアレイ装置ＭＡから、ユーザｈｍにより指定された位置に対応する音源位置に向かう方向（つまり、指向方向）に音声の指向性を形成し（Ｔ２５）、指向方向に強調された音声をスピーカ装置３７に送る（Ｔ２６）。スピーカ装置３７は、出力制御部３５からの指向方向に強調された音声を出力する（Ｔ２７）。これにより、ユーザｈｍは、異常音又は警戒音が発生した箇所の画像データを確認できるだけでなく、その音源方向の音声も聞くことができる。従って、ユーザｈｍは、本実施形態の監視制御システム１０により、万全な監視が可能となる。

図６は、監視エリア５の撮像画像ＧＺのデータに種々の音源方向画像ｓｄ１，ｓｄ２，ｓｄ３，ｓｄ４が重畳された音声ヒートマップ画像ＭＰのデータを示す図である。図６では、合計４箇所の音源方向画像が示されているが、音源方向画像は１箇所でもよい。また、図６では、図５に示すステップＴ２３の時点において監視モニタ３６に表示された音声ヒートマップ画像ＭＰの一例として説明するが、図６に示す音声ヒートマップ画像ＭＰはステップＴ２３の時点における画像に限定されない。例えば図６に示すそれぞれの異常音又は警戒音が発生した時点で検出されたそれぞれの音源方向のエリアが既に照明装置５０により照明されている状況の音声ヒートマップ画像ＭＰでもよい。

図６において、音声ヒートマップ画像ＭＰには、４か所で異常音と判定された音源方向画像ｓｄ１，ｓｄ２，ｓｄ３，ｓｄ４が描画されている。それぞれの音源方向画像ｓｄ１，ｓｄ２，ｓｄ３，ｓｄ４は、指向性制御装置３０の信号処理部３３の出力制御部３５により生成される。音源方向画像ｓｄ１では、通路にいる人物が携帯電話を使用して話している音声が音源として描画される。音源方向画像ｓｄ２では、デスクに置かれた固定電話が鳴動する音声が音源として描画される。音源方向画像ｓｄ３，ｓｄ４では、２人の人物が会話している音声が音源として描画される。

これらの音源方向の音圧ｐは、前述したように、出力制御部３５において、３つの閾値（第１閾値＞第２閾値＞第３閾値）と比較され、各比較結果に応じた音源方向画像が生成され、楕円形で示される。例えば、出力制御部３５は、音源方向画像ｓｄ１において、音圧ｐの算出値が第１閾値を超える音源方向画像ｓｄ１１を、赤色（濃いドット表示）で描画した上で生成する。出力制御部３５は、音圧ｐの算出値が第１閾値以下でありかつ第２閾値を超える音源方向画像ｓｄ１２を、黄色（通常のドット表示）で描画した上で生成する。出力制御部３５は、音圧ｐの算出値が第２位置以下でありかつ第３閾値を超える音源方向画像ｓｄ１３を、青色（薄いドット表示）で描画した上で生成する。なお、音圧ｐの算出値が第３閾値以下の音源方向画像は透明のままで特に描画されないが、特定の色で描画されてもよく、この場合、明示的に音圧が小さいことが分かるようになる。また、音源方向画像は、色の他、模様や濃淡等で表現されてもよい。

また、監視モニタ３６の画面に表示された、例えば異常音と判定された音源方向画像ｓｄ１〜ｓｄ４のいずれかをタッチ操作で指定すると、その音源方向の音声がスピーカ装置３７から出力される。これにより、ユーザｈｍは、監視エリア５の画像を見ながら、異常音又は警戒音と判定された、気になる音源方向の音声を聞くことができ、万全な監視を行うことが可能である。

以上により、本実施形態の監視制御システム１０では、カメラ装置ＣＡは、撮像対象のエリアの一例としての監視エリア５の状況を映像として撮像し、マイクアレイ装置ＭＡは、同監視エリア５内の音声を収音する。監視モニタ３６は、カメラ装置ＣＡにより撮像されたエリアの画像データ（映像データ）を表示する。指向性制御装置３０内の音源検出部３４は、マイクアレイ装置ＭＡにより収音された音声の音源方向を検出する。指向性制御装置３０内の出力制御部３５は、音源検出部３４により検出された、異常音又は警戒音の音源方向を示す音源方向画像を生成する。マイクアレイ装置ＭＡにより収音された音声の音圧ｐが閾値（つまり、音源検出閾値）を超える場合、照明装置５０は、マイクアレイ装置ＭＡ又は指向性制御装置３０の指示により、監視エリア５のうち異常音又は警戒音が発生した音源方向のエリアを照明する。監視モニタ３６は、出力制御部３５により生成された音源方向画像を、カメラ装置ＣＡにより撮像された画像（撮像画像）に重畳して表示する。

これにより、監視制御システム１０は、監視エリア５が薄暗い場所又は夜間に不審な異常音又は警戒音が発生した場合でも、音源検出部３４により算出された音圧ｐが第１閾値〜第３閾値のうち少なくともいずれか１つを超えれば、監視エリア５が照明装置５０により照明された後にカメラ装置ＣＡによりその監視エリア５の状況を撮像するので、その監視エリア５で発生した不審な異常音又は警戒音の原因が何であるかをユーザｈｍ（例えば監視員）にとって容易に視認、判別させ易くすることができる。また、音声ヒートマップ画像ＭＰにおいて、音源方向画像ｓｄ１，ｓｄ２，ｓｄ３，ｓｄ４が他の画像部分と異なる表示形態で表示されるので、ユーザｈｍは、視覚的に音源方向を分かり易くなる。

また、本実施形態の監視制御システム１０では、異常音又は警戒音の信号レベル（例えば音圧の大きさ）に応じて、音源方向画像が異なる複数の表示形態で表示される。ここでは、第１閾値を超える音源方向画像ｓｄ１１は、赤色で描画される。第１閾値以下でありかつ第２閾値を超える音源方向画像ｓｄ１２は、黄色で描画される。第２位置以下でありかつ第３閾値を超える音源方向画像ｓｄ１３は、青色で描画される。従って、音源が発する音圧の大きさも大まかに分かる。これにより、音源についてより多くの情報が得られる。

また、本実施形態の監視制御システム１０では、指向性制御装置３０は、異常音又は警戒音が発生したと判定した場合に、異常音の音源方向のエリアが撮像された画像データをレコーダ装置６０において記録する。これにより、ユーザｈｍは、異常音又は警戒音が発生した場合に、事後的に異常音又は警戒音が発生した音源を確認する作業を容易に行うことができ、監視業務効率を向上することができる。

また、本実施形態の監視制御システム１０では、監視モニタ３６に表示された音源方向画像ｓｄがユーザｈｍの操作により指定されると、指向性制御装置３０は、音源方向画像ｓｄが示す音源方向を、マイクアレイ装置ＭＡからの指向方向（つまり、マイクアレイ装置ＭＡから、音源方向画像ｓｄに対応する実際の音源位置に向かう方向）に方向を示す座標（θＭＡｈ，θＭＡｖ）を置換処理し、置換処理後の座標を用いて音声の指向性を形成して音声を出力する。これにより、ユーザｈｍは、注目したい音源から発せられる音声を聞くことができる。これにより、万全な監視を行うことが可能となる。

また、本実施形態の監視制御システム１０では、マイクアレイ装置ＭＡにより収音された音声の中で異常音又は警戒音が複数発生した場合に、指向性制御装置３０の出力制御部３５は、異常音毎又は警戒音毎に、異なる音源方向画像ｓｄ１，ｓｄ２，ｓｄ３，ｓｄ４を生成する。監視モニタ３６は、異なる音源方向画像ｓｄ１，ｓｄ２，ｓｄ３，ｓｄ４を、カメラ装置ＣＡにより撮像された撮像画像に重畳して表示する。これにより、ユーザｈｍは、複数の異常音又は警戒音が監視エリア５の中で発生した場合でも、カメラ装置ＣＡにより撮像された撮像画像に異なる音源方向画像ｓｄ１，ｓｄ２，ｓｄ３，ｓｄ４が重畳されるので、カメラ装置ＣＡにより撮像された撮像画像の中で個々の異常音又は警戒音の音源の有無を視覚的かつ直感的に把握することができ、監視エリア５の監視業務の効率化を向上することができる。

以上、図面を参照しながら実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、指向性制御装置が、音源方向を検出し、その音圧を算出し、音圧が閾値を超えるような異常音を判定していたが、これらの機能をマイクアレイ装置が備えるようにしてもよい。これにより、指向性制御装置が行う処理の負荷を軽減できる。

本発明は、撮像対象のエリアが薄暗い場所又は夜間に不審な異常音が発生した場合でも、そのエリアで発生した異常音の原因が何であるかをユーザにとって容易に視認、判別させ易くする監視制御システム及び監視制御方法として有用である。

５ 監視エリア
８ 監視室
１０ 監視制御システム
２５ ＣＰＵ
２６ 加算器
２８ 符号化部
２９ 通信部
３０ 指向性制御装置
３１ 通信部
３２ 操作部
３３ 信号処理部
３４ 音源検出部
３５ 出力制御部
３６ 監視モニタ
３７ スピーカ装置
３８ メモリ
３９ 設定管理部
３９ｚ メモリ
４１ ＣＰＵ
４２ 通信部
４４ 電源管理部
４５ イメージセンサ
４６ メモリ
４６ｘ メモリカード
４６ｙ ＲＡＭ
４６ｚ ＲＯＭ
４７ ネットワークコネクタ
５０ 照明装置
６０ レコーダ装置
８０ 音源
２３１，２３２，２３ｎ アンプ
２４１，２４２，２４ｎ Ａ／Ｄ変換器
２５１，２５２，２５ｎ 遅延器
ＣＡ カメラ装置
ＧＺ 画像
ＮＷ ネットワーク
ＭＡ マイクアレイ装置
ＭＡ１，ＭＡ２，…，ＭＡｎ マイクロホン
ＭＰ 音声ヒートマップ
ｈｂ 不審人物
ｓｄ，ｓｄ１，ｓｄ２，ｓｄ３，ｓｄ４，ｓｄ１１，ｓｄ１２，ｓｄ１３ 音源方向画像
ｗｄ 窓

Claims (6)

1. 監視エリアを撮像する撮像部と、
   前記監視エリア内の音声を収音する収音部と、
   前記収音部により収音された音声の音源方向を検出し、前記収音部により収音された音声データを基に音源方向画像を生成する信号処理部と、
   前記検出された音源方向の音声が異常音である場合に、前記監視エリアを照明する照明部と、
   前記監視エリアの撮像画像を表示する表示部と、を備え、
   前記表示部は、前記収音された音声が異常音である場合に、前記異常音が発生した音源を示す前記音源方向画像を含む音声ヒートマップ画像を表示した後、前記照明部への点灯指示がなされ前記撮像部により撮像が開始された撮像画像データを表示する、
   監視制御システム。
2. 請求項１に記載の監視制御システムであって、
   前記音源方向画像は、前記異常音の信号レベルに応じて、異なる複数の表示形態で表示される、
   監視制御システム。
3. 請求項１に記載の監視制御システムであって、
   前記撮像部は、前記撮像が開始された後、前記異常音が発生した音源方向に撮像方向を調整し、
   前記撮像方向の調整済みと判断した後、前記照明部により照明された撮像画像を記録する記録部、を更に備える、
   監視制御システム。
4. 請求項１に記載の監視制御システムであって、
   音声出力部と、
   前記表示部に表示された前記音源方向画像の指定を受け付ける操作部と、を更に備え、
   前記信号処理部は、前記収音部から、前記操作部により指定された前記音源方向画像に対応する音源位置に向かう音源方向に、前記収音部により収音された前記音声の指向性を形成し、
   前記音声出力部は、前記収音部により収音された音声に対して、前記信号処理部により前記音源方向に指向性が形成された音声を出力する、
   監視制御システム。
5. 請求項１に記載の監視制御システムであって、
   前記収音部により収音された音声に前記異常音が複数あった場合に、前記信号処理部は、前記異常音毎に異なる前記音源方向画像を生成し、前記表示部は、前記信号処理部により生成された異なる複数の前記音源方向画像を、前記監視エリアの撮像画像に重畳して表示する、
   監視制御システム。
6. 撮像部と収音部と照明部とを有する監視制御システムにおける監視制御方法であって、
   前記撮像部により、監視エリアを撮像し、
   前記収音部により、前記監視エリア内の音声を収音し、
   前記収音部により収音された音声の音源方向を検出し、
   前記検出された音源方向の音声が異常音である場合に、前記収音部により収音された音声データを基に生成した前記異常音の音源方向を示す音源方向画像を含む音声ヒートマップ画像を表示部に表示した後、前記照明部への点灯指示がなされ前記撮像部により撮像が開始された撮像画像データを前記表示部に表示する、
   監視制御方法。

Images