JP5939341B1 - モニタリングシステム及びモニタリング方法 - Google Patents

Abstract

【課題】撮像エリアの画像における音の発生源を音画像情報として表示できる音源表示システム及び音源表示方法を提供する。【解決手段】音源表示システム１０では、全方位カメラＣＡは、撮像エリアの画像を撮像する。マイクアレイＭＡは、撮像エリアの音声を収音する。監視モニタ３６は、全方位カメラＣＡにより撮像された撮像エリアの画像を表示する。指向性制御装置３０内の音圧算出部は、マイクアレイＭＡにより収音された音声の音声データを用いて、撮像エリアの画像における音の発生源を示す音圧を算出する。指向性制御装置３０内の出力制御部は、音圧と閾値（第１閾値，第２閾値）とを比較し、この比較結果に応じて、音圧の視覚情報に変換した音画像情報を撮像エリアの画像に重畳して監視モニタ３６に表示させる。【選択図】図１

Description

本発明は、音源を示す画像を表示するモニタリングシステム及びモニタリング方法に関する。

近年、モニタリングシステムの一例としての監視システムでは、監視カメラで撮像された映像データの他に、マイクで収音された音声データを用いて、既定の監視対象のエリアの状況を監視することが行われている。この監視システムでは、監視カメラで撮像された映像データが表示されるモニタ装置とは別の場所に、監視用のマイク及び監視カメラが設置されている。映像データ以外に音声データを用いて監視することで、何かしらの事件やトラブルがあった場合に、映像データに現れる音源（つまり、事件やトラブルの発生元）付近の音声データにより、事件やトラブルに関してどのような経緯があったかが判明する。

また、マイクを搭載し、かつ頭部に装着されるヘッドマウントディスプレイとして、視覚的な映像データにマイクで収音された音情報を重ねて表示するヘッドマウントディスプレイが知られている（例えば特許文献１参照）。このヘッドマウントディスプレイは、視覚的な映像データに音源位置を表示するとともに、音源から出る音のレベルを円の大きさで示し、また音源から出る音の周波数を円の色で示す。

特開２０１２−１３３２５０号公報

しかしながら、特許文献１では、特許文献１の構成を上記した監視システムに適用することは想定されていなかった。言い換えると、監視システムにおいて、監視カメラで撮像された映像データが表示されたモニタ装置に、監視用のマイクで収音された音声データの音情報を表示することはなかった。このため、従来の監視システムでは、ユーザがモニタ装置に表示された映像を見ても、例えば異常音を発している音源を容易に視認することはできなかった。

本発明は、上述した従来の状況に鑑みてなされたものであり、モニタリング対象のエリアの撮像により得られた映像データに現れる音源を視覚的な画像情報として表示し、モニタリング業務効率を向上するモニタリングシステム及びモニタリング方法を提供することを目的とする。

本発明は、撮像エリアを撮像するカメラと、前記撮像エリアの音声を収音するマイクアレイと、前記カメラにより撮像された前記撮像エリアの画像データを表示する表示部と、前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出する信号処理部と、を備え、前記信号処理部は、導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データを構成する画素の所定単位毎に重畳して前記表示部に表示させる、モニタリングシステムを提供する。

また、本発明は、カメラとマイクアレイと含むモニタリングシステムにおけるモニタリング方法であって、前記カメラにおいて撮像エリアを撮像し、前記マイクアレイにおいて前記撮像エリアの音声を収音し、前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出し、導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データを構成する画素の所定単位毎に重畳して表示部に表示させる、モニタリング方法を提供する。

本発明によれば、モニタリング対象のエリアの撮像により得られた映像データに現れる音源を視覚的な画像情報として表示することができ、ユーザのモニタリング業務効率を向上することができる。従って、ユーザは、表示されたエリアの映像に現れる音源を視覚的に認識することができる。

本実施形態の音源表示システムのシステム構成の一例を示すブロック図 マイクアレイの内部構成の一例を詳細に示すブロック図 全方位カメラの内部構成の一例を詳細に示すブロック図 指向性制御装置の内部構成の一例を詳細に示すブロック図 本実施形態の音源表示システムにおける音源の表示動作手順の一例を詳細に説明するシーケンス図 本実施形態の指向性制御装置における音圧マップの生成手順の一例を詳細に説明するフローチャート それぞれの画素の音圧を視覚情報に変換された音画像情報が色分けされた状態を示す状態遷移図 全方位画像データに音声ヒートマップのデータが重畳された合成画像のデータの第１例を示す図 全方位画像データに音声ヒートマップのデータが重畳された合成画像のデータの第２例を示す図

以下、適宜図面を参照しながら、本発明に係るモニタリングシステム及びモニタリング方法を具体的に開示した実施形態（以下、本実施形態という）を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。以下、モニタリングシステムの一例として、モニタリング対象のエリアの撮像により得られた映像データに現れる音源を視覚的な画像情報として表示する音源表示システムを説明するが、本発明に係るモニタリングシステム及びモニタリング方法は、人物等の対象物の状態を監視するための用途に限定されず、所定のエリアにおける状態を把握するために観測や測定を行うことや、製品又はサービスについての感想や評価を調べることの各用途に適用されてもよい。

図１は、本実施形態の音源表示システム１０のシステム構成の一例を示すブロック図である。図１に示す音源表示システム１０は、全方位カメラＣＡと、マイクアレイＭＡと、指向性制御装置３０と、監視モニタ３６と、センサ６０とを含む構成である。全方位カメラＣＡ、マイクアレイＭＡ、指向性制御装置３０及びセンサ６０は、ネットワークＮＷを介してデータ通信可能に相互接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット）でもよいし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でもよい。

全方位カメラＣＡは、モニタリング対象のエリアの状況を全方位画像（つまり、３６０度の方位を有する画像）として撮像可能な魚眼レンズを搭載したカメラである。言い換えると、全方位カメラＣＡは、自装置が設置されたモニタリング対象のエリア（つまり、撮像エリア）の状況を撮像可能な監視カメラとして機能する。全方位カメラＣＡは、撮像により得られた全方位画像のデータ（以下、単に全方位画像データという）を、ネットワークＮＷを介して指向性制御装置３０に送信する。

マイクアレイＭＡは、自装置が設置されたモニタリング対象のエリア（つまり、収音エリア）の音声を無指向状態で収音する。本実施形態では、撮像エリアと収音エリアとは同一として説明する。マイクアレイＭＡは、例えば中央に開口部が形成されたドーナツ状の筐体（筐体は不図示）１５を有する。この開口部の周囲には、円周方向に沿って、複数のマイクロホンユニットが同心円状に配置されている。マイクロホンユニット（以下、単にマイクロホンという）には、例えば高音質小型エレクトレットコンデンサーマイクロホン（ＥＣＭ：Electret Condenser Microphone）が用いられる。マイクアレイＭＡは、収音により得られた音声データを、ネットワークＮＷを介して指向性制御装置３０に送信する。

また、マイクアレイＭＡの筐体１５の中央に形成された開口部の内側に全方位カメラＣＡが組み込まれることにより、全方位カメラＣＡとマイクアレイＭＡとは同軸上に配置されて筐体１５に収容される。このように、全方位カメラＣＡの光軸とマイクアレイＭＡの筐体１５の中心軸とが一致することで、軸周方向における撮像エリアと収音エリアとが略同一となり、画像位置（つまり、全方位カメラＣＡから見た被写体の位置）と収音位置（つまり、マイクアレイＭＡから見た音源の位置）とが同じ座標系で表現可能となる。従って、画像位置と収音位置との対応関係が明確となり、指向性制御装置３は、後述するようにマイクアレイＭＡにより収音された音声に対し、ユーザの指定に基づく指向方向に指向性を形成する際に、ユーザの指定に基づいて全方位カメラＣＡにより得られた方向を示す座標を、マイクアレイＭＡから見た指向方向として用いることができ、指向方向の算出を容易に行うことができる。

指向性制御装置３０は、マイクアレイＭＡで収音された音声データに対し指向性を形成し、その指向方向の音声を強調することができる。指向性制御装置３０は、例えばＰＣ（Personal Computer）を用いて構成される。また、指向性制御装置３０は、全方位カメラＣＡで撮像された撮像エリアの画像データとマイクアレイＭＡで収音された音声データとを基に、画像データを構成する画素に対応する位置における音圧を画素単位で算出し、後述する音声ヒートマップを生成する。また、指向性制御装置３０は、監視モニタ３６に接続され、音声ヒートマップを監視モニタ３６に表示する。なお、指向性制御装置３０は、ＰＣで構成される代わりに、携帯電話機、タブレット端末、スマートフォン等の通信端末で構成されてもよい。

表示部の一例としての監視モニタ３６は、全方位カメラＣＡで撮像された全方位画像データを表示する。また監視モニタ３６は、全方位画像のデータに対して指向性制御装置３０が生成した音声ヒートマップを重畳した合成画像データを表示する。なお、監視モニタ３６は、指向性制御装置３０と一体の装置として構成されてもよい。

センサ６０は、後述する音源表示動作を起動させるイベントを検出する。センサ６０として、例えばセンサ６０の設置場所の周囲の明るさを検出する照度センサ、センサ６０の設置場所の周囲の温度を検出する温度センサ、センサ６０の設置場所付近の人により反射された赤外線を感知する人感センサ等が挙げられる。

図２は、マイクアレイＭＡの内部構成の一例を詳細に示すブロック図である。図２に示すマイクアレイＭＡは、複数のマイクロホンＭ１〜Ｍｎ（例えばｎ＝８）、複数のマイクロホンＭ１〜Ｍｎの出力信号をそれぞれ増幅する複数の増幅器（アンプ）ＰＡ１〜ＰＡｎ、各増幅器ＰＡ１〜ＰＡｎから出力されるアナログ信号をそれぞれデジタル信号に変換する複数のＡ／Ｄ変換器Ａ１〜Ａｎ、圧縮処理部２５及び送信部２６を含む構成である。

圧縮処理部２５は、Ａ／Ｄ変換器Ａ１〜Ａｎから出力されるデジタル音声信号を基に、音声データのパケットを生成する。送信部２６は、圧縮処理部２５で生成された音声データのパケットをネットワークＮＷを介して指向性制御装置３０に送信する。

このように、マイクアレイＭＡは、マイクロホンＭ１〜Ｍｎの出力信号を増幅器ＰＡ１〜ＰＡｎで増幅し、Ａ／Ｄ変換器Ａ１〜Ａｎでデジタル音声信号に変換した後、圧縮処理部２５で音声データのパケットを生成し、この音声データのパケットをネットワークＮＷを介して指向性制御装置３０に送信する。

図３は、全方位カメラＣＡの内部構成の一例を詳細に示すブロック図である。図３に示す全方位カメラＣＡは、ＣＰＵ４１、通信部４２、電源管理部４４、イメージセンサ４５、メモリ４６及びネットワークコネクタ４７を含む構成である。なお、図３では、イメージセンサ４５の前段（つまり、図３の紙面右側）に魚眼レンズの図示が省略されている。

ＣＰＵ４１は、全方位カメラＣＡの各部の動作制御を全体的に統括するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。ＣＰＵ４１の代わりに、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）等のプロセッサが設けられてもよい。

例えばＣＰＵ４１は、指向性制御装置３を操作するユーザの指定により、全方位画像データのうち特定の範囲（方向）の画像を切り出した切り出し画像データを生成してメモリ４６に保存する。

イメージセンサ４５は、例えばＣＭＯＳ（相補性金属酸化膜半導体）センサ、又はＣＣＤ（電荷結合素子）センサを用いて構成され、不図示の魚眼レンズにより集光された撮像エリアからの反射光の光学像を受光面において撮像処理することで全方位画像データを取得する。

メモリ４６は、全方位カメラＣＡの動作を規定するプログラムや設定値のデータが格納されたＲＯＭ４６ｚ、全方位画像データ又はその一部の範囲が切り出された切り出し画像データやワークデータを記憶するＲＡＭ４６ｙ、及び全方位カメラＣＡに挿抜自在に接続され、各種データが記憶されるメモリカード４６ｘを有する。

通信部４２は、ネットワークコネクタ４７を介して接続されるネットワークＮＷとの間のデータ通信を制御するネットワークインタフェース（Ｉ／Ｆ）である。

電源管理部４４は、全方位カメラＣＡの各部に直流電源を供給する。また、電源管理部４４は、ネットワークコネクタ４７を介してネットワークＮＷに接続される機器に直流電源を供給してもよい。

ネットワークコネクタ４７は、全方位画像データ又は２次元パノラマ画像データを、ネットワークＮＷを介して指向性制御装置３０に伝送し、また、ネットワークケーブルを介して給電可能なコネクタである。

図４は、指向性制御装置３０の内部構成の一例を詳細に示すブロック図である。図４に示す指向性制御装置３０は、通信部３１と、操作部３２と、信号処理部３３と、スピーカ装置３７と、メモリ３８と、設定管理部３９とを少なくとも含む構成である。信号処理部３３は、指向方向算出部２９、音圧算出部３４及び出力制御部３５を含む。また、指向性制御装置３０は監視モニタ３６に接続される。

設定管理部３９は、全方位カメラＣＡで撮像された全方位画像データが表示された監視モニタ３６に対し、ユーザによって指定された全方位画像データ上の位置を示す座標を、マイクアレイＭＡから、ユーザによって指定された全方位画像データ上の位置に対応する実際の音源位置に向かう指向方向を示す座標に変換する座標変換式を有する。後述する指向方向算出部２９は、設定管理部３９が保持する座標変換式を用いて、マイクアレイＭＡから、ユーザによって指定された位置に対応する音源位置に向かう指向方向を示す座標（θＭＡｈ，θＭＡｖ）を算出する。この座標算出処理の詳細については、例えば特開２０１５−０２９２４１号公報に記載されている。ここで、θＭＡｈはマイクアレイＭＡから音声位置に向かう指向方向の水平角を表し、θＭＡｖはマイクアレイＭＡから音声位置に向かう指向方向の垂直角を表す。音源位置は、監視モニタ３６に表示された映像データに対し、ユーザの指又はスタイラスペンの操作によって操作部３２から指定された位置に対応する実際の音源の位置である。

また、設定管理部３９は、音圧算出部３４により算出された画素ごとの音圧ｐと比較される第１閾値及び第２閾値を保持する。ここで、音圧ｐは、音源に関する音パラメータの一例として使用されており、マイクアレイＭＡで収音される音の大きさを表しており、スピーカ装置３７から出力される音の大きさを表す音量とは区別している。第１閾値及び第２閾値は、撮像エリア内で発生した音声の音圧と比較される値であり、例えばユーザが音源として騒がしいと判断する任意の値に設定される。ここで、音源は、音を実際に発している音源だけでなく、この音源から伝播された結果として音が聞こえる箇所を含む広義の音源である。また、閾値は複数設定可能であり、本実施形態では、第１閾値と、これより大きな値である第２閾値との２つが設定される（第１閾値＜第２閾値）。また、後述するように、第２閾値より大きな画素の音圧の部分は、全方位画像データが表示された監視モニタ３６上で、例えば赤色で描画される。また、第１閾値より大きく第２閾値以下の画素の音圧の部分は、全方位画像データが表示された監視モニタ３６上で、例えば青色で描画される。また、第１閾値以下の画素の音圧の部分は、全方位画像データが表示された監視モニタ３６上で、例えば無色で描画され、つまり、全方位画像データの表示色と何ら変わらない。

通信部３１は、全方位カメラＣＡが送信した全方位画像データ又は切り出し映像データと、マイクアレイＭＡが送信した音声データとを受信して信号処理部３３に出力する。

操作部３２は、ユーザの入力操作の内容を信号処理部３３に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスで構成される。また、操作部３２は、例えば監視モニタ３６の画面に対応して配置され、ユーザの指やスタイラスペンによって直接入力操作が可能なタッチパネル又はタッチパッドを用いて構成されてもよい。

操作部３２は、監視モニタ３６に表示された音声ヒートマップＭＰ（図８、図９参照）の赤領域Ｒ１がユーザにより指定されると、指定された位置を示す座標データを取得して信号処理部３３に出力する。

メモリ３８は、例えばＲＡＭ（Random Access Memory）を用いて構成され、指向性制御装置３０が動作する際、プログラムメモリ、データメモリ、ワークメモリとして機能する。また、メモリ３８は、後述する音声ヒートマップＭＰ（図８、図９参照）を記憶する。

信号処理部３３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、指向性制御装置３０の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。信号処理部３３は、指向方向算出部２９、音圧算出部３４、出力制御部３５を少なくとも含む。

指向方向算出部２９は、全方位カメラＣＡで撮像された全方位画像データが表示された監視モニタ３６上でユーザにより任意の位置が指定されると、設定管理部３９に保持される座標変換式を用いて、マイクアレイＭＡから、その指定位置に対応する音源位置に向かう指向方向を算出する。つまり、指向方向算出部２９は、マイクアレイＭＡから、全方位画像データ上の指定位置の座標（Ｘ，Ｙ）に対応する音源位置に向かう指向方向の座標（θＭＡｈ，θＭＡｖ）を算出する。

音圧算出部３４は、全方位カメラＣＡで撮像された全方位画像データとマイクアレイＭＡで収音された音声データとを基に、全方位画像データを構成する一つ一つの画素ごとに音圧を算出する。この音圧の算出処理は公知技術であり、詳細な処理の説明は割愛する。これにより、音圧算出部３４は、全方位画像データを構成する一つ一つの画素ごとに、該当する画素の位置に音圧の算出値を割り当てた音圧マップを生成する。なお、音圧算出部３４は、画素単位で算出した音圧値を該当する画素の位置に割り当てた音圧マップを生成すると説明したが、一つ一つの画素ごとに音圧を算出せず、所定数（例えば４個）の画素からなる画素ブロック単位で音圧値の平均値を算出し、該当する所定数の画素に対応する音圧値の平均値を割り当てることで、音圧マップを生成してもよい。

出力制御部３５は、監視モニタ３６及びスピーカ装置３７の各動作を制御するとともに、全方位カメラＣＡから送信された全方位画像データ或いは切り出し映像データを監視モニタ３６に出力して表示させ、マイクアレイＭＡから送信された音声データをスピーカ装置３７に音声出力させる。

また、出力制御部３５は、マイクアレイＭＡにより収音された音声データと指向方向算出部２９により算出された指向方向の座標（θＭＡｈ，θＭＡｖ）とを用いて、マイクアレイＭＡにより収音された音声データの指向性の形成処理を行うことで、指向方向の音声データを強調処理する。音声データの指向性形成処理は、例えば特開２０１５−０２９２４１号公報に記載されている公知の技術である。

また、出力制御部３５は、音圧算出部３４により生成された音圧マップに対し、後述する色変換処理を行うことで、音声ヒートマップＭＰ（図８、図９参照）を生成する。

音声出力部の一例としてのスピーカ装置３７は、マイクアレイＭＡが収音した音声データ、又はマイクアレイＭＡが収音し信号処理部３３によって指向性が形成された音声データを音声出力する。なお、スピーカ装置３７は、指向性制御装置３０とは別体の装置として構成されてもよい。

上記構成を有する音源表示システム１０の動作を示す。

図５は、本実施形態の音源表示システム１０における音源の表示動作手順の一例を詳細説明するシーケンス図である。

図５において、指向性制御装置３０は、所定の開始イベントを検出すると、全方位カメラＣＡに対し、撮像エリアの全方位画像データの送信を要求するための画像送信要求を行う（Ｔ１）。開始イベントは、例えばユーザが指向性制御装置３０の操作部３２に配置されたマップ表示ボタン（不図示）を押下すること、ユーザが監視モニタ３６に表示された画像送信要求を示すアイコン（不図示）を押下すること、指向性制御装置３０に内蔵されたタイマが起動したこと、センサ６０がイベントを検出したこと等が挙げられる。タイマが起動する一例として、現在時刻が予め設定された時間帯（例えば朝８：００〜夕方１７：００）に入ったこと等が挙げられる。また、センサ６０がイベントを検出する例として、センサ６０の一例としての照度センサが所定値以上の明るさを検出すること、センサ６０の一例としての温度センサが所定温度以上の周囲温度を検出すること、センサ６０の一例としての人感センサが人により反射された赤外線を感知すること等が挙げられる。これにより、指向性制御装置３０は、ユーザが所望する条件に合致した場合、図５に示す音源の表示動作を開始させることができ、利便性を向上することができる。

全方位カメラＣＡは、指向性制御装置３０から画像送信要求を受信すると、撮像エリアの状況を撮像する動作（撮像動作）を開始する（Ｔ２）。指向性制御装置３０は、マイクアレイＭＡに対し、収音エリアの音声データの送信を要求するための音声送信要求を行う（Ｔ３）。マイクアレイＭＡは、指向性制御装置３０から音声送信要求を受信すると、収音エリアの音声を収音する動作（収音動作）を開始する（Ｔ４）。ここで、撮像エリア（収音エリア）として、オフィス、倉庫、館内等が挙げられる。

全方位カメラＣＡは、撮像により得られた撮像エリアの全方位画像データを指向性制御装置３０に送信する（Ｔ５）。指向性制御装置３０は、全方位カメラＣＡから送信された全方位画像データを受信すると、監視モニタ３６の表示に適した画像データに変換する処理を行い（Ｔ６）、変換した画像データを監視モニタ３６に出力する（Ｔ７）。なお、ステップＴ６の処理は省略されてもよい。監視モニタ３６は、指向性制御装置３０から出力された画像データを受信すると、全方位カメラＣＡで撮像された撮像エリアの画像データを表示する（Ｔ８）。

指向性制御装置３０は、マイクアレイＭＡから送信された音声データを受信すると（Ｔ９）、全方位画像データを構成する一つ一つの画素ごとに、該当する画素の位置に音圧の算出値を割り当てた音圧マップを生成する（Ｔ１０）。音圧マップは、撮像エリアを撮像することにより得られる画像データにおいて、画像データを構成する一つ一つの画素ごとに、算出された音声の音圧値が割り当てられたデータである。

図６は、本実施形態の指向性制御装置３０における音圧マップの生成手順の一例を詳細に説明するフローチャートである。

図６において、指向性制御装置３０の通信部３１は、マイクアレイＭＡから送信された音声データを受信して信号処理部３３に出力する。信号処理部３３は、マイクアレイＭＡから送信された音声データを入力する（Ｓ１）。

設定管理部３９は、全方位カメラＣＡにより撮像された全方位画像データを構成するそれぞれの画素の位置を表す座標（Ｘ，Ｙ）の原点（０，０）を設定する（Ｓ２）。以下、説明を分かり易くするために、画素の位置を表す座標（Ｘ，Ｙ）は、例えば全方位画像データの左上隅を原点（０，０）とし、全方位画像データの右下隅を最終位置（ＭＡＸ，ＭＡＸ）とする矩形の範囲内で設定される。なお、ステップＳ２の処理は、指向方向算出部２９により行われてもよい。

指向方向算出部２９は、マイクアレイＭＡから、全方位画像データ上の座標（Ｘ，Ｙ）で表される位置に対応する実際の位置に向かう指向方向の座標（θＭＡｈ，θＭＡｖ）を算出する。音圧算出部３４は、全方位画像データ上の座標（Ｘ，Ｙ）に対応する指向方向の座標（θＭＡｈ，θＭＡｖ）の音圧Ｐを算出する（Ｓ３）。

この後、音圧算出部３４は、Ｘ座標がＭＡＸ値に達したか否かを判別する（Ｓ４）。ＭＡＸ値に達していない場合（Ｓ４、ＮＯ）、音圧算出部３４は、Ｘ座標の値をインクリメントする（Ｓ５）。その後、指向性制御装置３０の処理はステップＳ３に戻る。

一方、Ｘ座標がＭＡＸ値に達した場合（Ｓ４、ＹＥＳ）、音圧算出部３４は、Ｙ座標がＭＡＸ値に達したか否かを判別する（Ｓ６）。ＭＡＸ値に達していない場合（Ｓ６、ＮＯ）、音圧算出部３４は、Ｘ座標の値を０（ゼロ）に戻すとともに、Ｙ座標の値をインクリメントする（Ｓ７）。その後、指向性制御装置３０の処理はステップＳ３に戻る。

一方、ステップＳ６でＹ座標がＭＡＸ値に達した場合（Ｓ６、ＹＥＳ）、音圧算出部３４は、ステップＳ３における算出結果を用いて、全方位画像データのそれぞれの画素の位置に、それぞれの画素に対応する音圧Ｐ（Ｘ，Ｙ）を割り当てた音圧マップを生成する。音圧算出部３４は、生成した音圧マップのデータをメモリ３８に保存する（Ｓ８）。この後、指向性制御装置３０の処理はステップＳ１に戻る。

図５に戻り、ステップＴ１０により音圧マップが生成された後、出力制御部３５は、生成された音圧マップに対して色変換処理を行う（Ｔ１１）。出力制御部３５は、色変換処理として、音圧マップにおいて示されたそれぞれの画素に対応する音圧Ｐを閾値と比較し、閾値を超える音圧を色分けし、音声ヒートマップＭＰを生成する。例えば本実施形態では、閾値として、第１閾値と、第１閾値より大きな値である第２閾値とが用いられる（第１閾値＜第２閾値）。

図７は、それぞれの画素の音圧を視覚情報に変換された音画像情報が色分けされた状態を示す状態遷移図である。例えば音圧が第２閾値を超える場合、音圧の視覚情報に変換された音画像情報は、大きな音であるとして赤色で描画され、赤領域の音源画像情報として表示される。音圧が第２閾値以下でありかつ第１閾値を超える場合、音画像情報は、中位の音であるとして青色で描画され、青領域の音源画像情報として表示される。音圧が第１閾値以下である場合、音画像情報は、小さな音であるとして無色のまま無色領域の音源画像情報として表示される。

このように、出力制御部３５は、音圧の算出値を第１閾値及び第２閾値を含む複数の閾値と比較し、音圧の高低に応じて、全方位画像データにおける音画像情報が変化するように音画像情報を有する音声ヒートマップＭＰを生成する。これにより、ユーザは、音声ヒートマップＭＰにより、全方位カメラＣＡにより撮像された全方位画像データの中で、音の発生源の場所だけでなく、音圧の大きさも知ることができる。なお、ここでは、閾値として、第１閾値と第２閾値の２つが用いられたが、１つ又は３つ以上が用いられてもよい。また、閾値は、ユーザが監視したい音声の音圧に合わせて任意の値に設定可能である。

指向性制御装置３０は、色変換処理により生成された音声ヒートマップＭＰのデータを監視モニタ３６に送信する（Ｔ１２）。監視モニタ３６は、全方位カメラＣＡにより撮像された全方位画像データに、ステップＴ１２において送信された音声ヒートマップＭＰのデータを重畳した合成画像（図８、図９参照）を生成して表示する（Ｔ１３）。なお、合成画像の生成処理は、指向性制御装置３０の出力制御部３５により行われてもよい。この場合には、出力制御部３５は、全方位カメラＣＡにより撮像された全方位画像データに、ステップＴ１１において生成した音声ヒートマップＭＰのデータを重畳した合成画像を生成する。

但し、本実施形態では、合成画像の視認性を劣化させないために、音声ヒートマップＭＰのデータのうち、色変換処理により生成された音画像情報の部分が全方位画像データに重畳される。音圧マップの音圧値は、全方位画像データに重畳されなくてもよいし、重畳されてもよい。

上記したステップＴ５〜ステップＴ１３は、指向性制御装置３０が停止イベントを検出し、全方位カメラＣＡへの画像送信停止及びマイクアレイＭＡへの音声送信停止が行われるまで、繰り返される。停止イベントは、例えば指向性制御装置３０の電源がオフになること、指向性制御装置３０がシャットダウンしたこと、音声ヒートマップＭＰの生成処理の停止を指示するための処理が行われたこと等が該当する。

図８は、全方位画像データに音声ヒートマップＭＰ１のデータが重畳された合成画像ＧＺ１のデータを示す図である。監視モニタ３６に表示された合成画像ＧＺ１では、例えばオフィスに設置された全方位カメラＣＡにより撮像された全方位画像データに、出力制御部３５により生成された音声ヒートマップＭＰ１が重畳されている。全方位カメラＣＡとマイクアレイＭＡとが同軸に配置された筐体１５は、光軸が水平方向（例えば、図８に示す合成画像ＧＺ１の中央付近の廊下に沿った方向）になるように取り付けられている。図８及び図９において、全方位カメラＣＡにより撮像された全方位画像データは、魚眼レンズを通して撮像されている。

図８において、合成画像ＧＺ１の紙面中央には、例えば赤色で描画された赤領域Ｒ１及びその周りを囲む青色で描画された青領域Ｂ１が表示されている。赤領域Ｒ１及び青領域Ｂ１で囲まれる範囲には、清掃員が使用している掃除機のモータ音が音源として存在している。

また、合成画像ＧＺ１の紙面左側には、例えば赤色で描画された赤領域Ｒ２及びその周りを囲む青色で描画された青領域Ｂ２が表示されている。赤領域Ｒ２及び青領域Ｂ２で囲まれる範囲には、オフィスに設置された固定電話機の呼出音が音源として存在している。

また、合成画像ＧＺ１の紙面左側のやや下方には、例えば赤色で描画された赤領域Ｒ３及びその周りを囲む青色で描画された青領域Ｂ３が表示されている。赤領域Ｒ３及び青領域Ｂ３で囲まれる範囲には、オフィスに設置されたＰＣのファン音が音源として存在する。合成画像ＧＺ１における他の部分は、算出された音圧値が第１閾値以下であったために（図７参照）、無色のままの無領域ＮＣとして表示されている。なお、上記したように、図８に示す合成画像ＧＺ１の視認性を劣化させないために、音声ヒートマップＭＰ１のデータのうち、赤領域Ｒ１，Ｒ２，Ｒ３及び青領域Ｂ１，Ｂ２，Ｂ３のみ、全方位画像データに重畳されており、以下同様である。

図９は、全方位画像データに音声ヒートマップＭＰ２のデータが重畳された合成画像ＧＺ２のデータを示す図である。監視モニタ３６に表示された合成画像ＧＺ２では、例えばオフィスに設置された全方位カメラＣＡにより撮像された全方位画像データに、出力制御部３５により生成された音声ヒートマップＭＰ２が重畳されている。この場合も、全方位カメラＣＡとマイクアレイＭＡとが同軸に配置された筐体１５は、光軸が水平方向（例えば、図９に示す合成画像ＧＺ２の中央付近の廊下に沿った方向）になるように取り付けられている。なお、筐体１５は、例えば店舗やオフィス等の館内の天井に取り付けられ、その光軸が垂直方向になるように取り付けられてもよい。

図９において、合成画像ＧＺ２の紙面中央上部には、例えば赤色で描画された赤領域Ｒ４及びその周りを囲む青色で描画された青領域Ｂ４が表示されている。赤領域Ｒ４及び青領域Ｂ４で囲まれる範囲には、従業員である２人の話声が音源として存在している。

また、合成画像ＧＺ２の紙面のやや右側には、赤色で描画された赤領域Ｒ５、及び赤領域Ｒ５を囲みかつその右側に延びるように青色で描画された青領域Ｂ５が表示されている。赤領域Ｒ５及び青領域Ｂ５で囲まれる範囲には、オフィスに設置された機械の作動音が音源として存在している。合成画像ＧＺ２における他の部分は、算出された音圧値が第１閾値以下であったために（図７参照）、無色のままの無領域ＮＣとして表示されている。

なお、ここでは、監視モニタ３６は、全方位画像をそのまま円形画像として表示しているが、パノラマ変換を行い、２次元の矩形画像（パノラマ画像）として表示してもよい。この場合、ユーザの合成画像の視認性が一層向上することになる。

また、図５に戻り、合成画像のデータ（つまり、ステップＴ１１において生成された音声ヒートマップＭＰのデータが全方位画像データに重畳された画像）が監視モニタ３６に表示されている状態で、例えばユーザが操作部３２を介して合成画像のデータ上の音画像情報（例えば赤領域）の位置を指定したとする（Ｔ１４）。この場合、指向性制御装置３０は、指定された合成画像のデータ上の位置の座標を取得する（Ｔ１５）。なお、監視モニタ３６がタッチパネルで構成される場合、ユーザは監視モニタ３６の画面にタッチ入力することで、指向性制御装置３０は、音画像情報の位置の座標を簡単に取得可能である。

指向性制御装置３０は、マイクアレイＭＡから、ユーザにより指定された合成画像のデータ上の位置に対応する実際の音源位置に向かう指向方向に、マイクアレイＭＡで収音された音声の指向性を形成し、この指向方向の音声を強調する（Ｔ１６）。スピーカ装置３７は、指向方向に強調された音声を出力する（Ｔ１７）。これにより、ユーザは、音画像情報として表示される音源から発せられる音声を明瞭に聞くことができ、音の発生原因を把握、追求できる。

以上により、本実施形態の音源表示システム１０では、全方位カメラＣＡは、撮像エリアの画像を撮像する。マイクアレイＭＡは、撮像エリアの音声を収音する。監視モニタ３６は、全方位カメラＣＡにより撮像された撮像エリアの画像を表示する。信号処理部３３内の音圧算出部３４は、マイクアレイＭＡにより収音された音声データを用いて、撮像エリアの画像データに現れる音源に関する音パラメータ（例えば音圧Ｐ）を算出する。信号処理部３３内の出力制御部３５は、算出により得られた音圧Ｐと閾値（例えば第１閾値，第２閾値）とを比較し、この比較結果に応じて、音圧を視覚情報に変換した音源画像情報（例えば音画像情報）を、撮像エリアの画像データに重畳して監視モニタ３６に表示させる。

これにより、音源表示システム１０は、モニタリング対象のエリア（例えば撮像エリア）の撮像により得られた映像データに現れる音源（つまり、音の発生源）を視覚的な音画像情報として表示することができる。従って、ユーザは、表示された撮像エリアの映像に現れる音源を視覚的に認識することができる。

また、音源表示システム１０では、閾値は例えば複数設定され、信号処理部３３の音圧算出部３４は、音源の音圧Ｐとそれぞれの閾値（例えば第１閾値、第２閾値）との比較に応じて、複数の種類の音画像情報を生成する。これにより、指向性制御装置３０は、全方位カメラＣＡにより撮像された全方位画像データに現れる音源の場所（位置）だけでなく、音源における音圧の大きさもユーザに直感的に把握可能な音声ヒートマップＭＰを生成することができる。

また、音源表示システム１０では、監視モニタ３６に表示された合成画像のデータ（例えば図８、図９参照）の音画像情報（例えば赤領域Ｒ２）がユーザにより指定された場合には、信号処理部３３の出力制御部３５は、マイクアレイＭＡから、指定された音画像情報の位置の座標に対応する実際の音源位置に向かう方向（つまり、指向方向）に音声の指向性を形成してスピーカ装置３７から出力させる。これにより、ユーザは、監視モニタ３６上に音画像情報として表示される音源から発せられる音声を明瞭に聞くことができ、音の発生原因を効率的に把握、追求することができる。

また、音源表示システム１０では、所定の対象を検出するセンサ６０が設けられ、センサ６０が所定の対象を検出した場合に、全方位カメラＣＡは撮像により得られた全方位画像データを指向性制御装置３０に送信し、またマイクアレイＭＡは収音により得られた音声データを指向性制御装置３０に送信する。これにより、例えばユーザが所望する条件に合致した場合に、指向性制御装置３０は、全方位画像データに音源を表示するための動作を開始でき、ユーザの利便性を向上することができる。

また、音源表示システム１０では、全方位カメラＣＡとマイクアレイＭＡとは同軸上に配置される。これにより、全方位カメラＣＡの光軸とマイクアレイＭＡの筐体１５の中心軸とが一致することで、軸周方向における撮像エリアと収音エリアとが略同一となり、画像位置（つまり、全方位カメラＣＡから見た被写体の位置）と収音位置（つまり、マイクアレイＭＡから見た音源の位置）とが同じ座標系で表現可能となる。従って、画像位置と収音位置との対応関係が明確となり、指向性制御装置３は、マイクアレイＭＡにより収音された音声に対し、ユーザの指定に基づく指向方向に指向性を形成する際に、ユーザの指定に基づいて全方位カメラＣＡにより得られた方向を示す座標を、マイクアレイＭＡから見た指向方向として用いることができ、指向方向の算出を容易に行うことができる。

以上、図面を参照しながら実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記した本実施形態では、音パラメータとして、音の発生源（音源）が発する音の音圧を用いたが、音圧に限らず、音の周波数（音域）、音の種類（楽音と騒音）等を用いることも可能であり、さまざまな要望に適した音源表示が可能となる。

本発明は、モニタリング対象のエリアの撮像により得られた映像データに現れる音源を視覚的な画像情報として表示し、モニタリング業務効率を向上するモニタリングシステム及びモニタリング方法として有用である。

１０ 音源表示システム
１５ 筐体
２５ 圧縮処理部
２６ 送信部
２９ 指向方向算出部
３０ 指向性制御装置
３１ 通信部
３２ 操作部
３３ 信号処理部
３４ 音圧算出部
３５ 出力制御部
３６ 監視モニタ
３７ スピーカ装置
３８，４６ メモリ
３９ 設定管理部
４１ ＣＰＵ
４２ 通信部
４４ 電源管理部
４５ イメージセンサ
４６ｘ メモリカード
４６ｙ ＲＡＭ
４６ｚ ＲＯＭ
４７ ネットワークコネクタ
６０ センサ
Ａ１，Ａ２，…，Ａｎ Ａ／Ｄ変換器
ＣＡ 全方位カメラ
ＧＺ１，ＧＺ２ 合成画像
ＮＷ ネットワーク
ＭＡ マイクアレイ
Ｍ１，Ｍ２，…，Ｍｎ マイクロホン
ＰＡ１，ＰＡ２，…，ＰＡｎ アンプ
Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５ 赤領域
Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５ 青領域
ＮＣ 無領域

Claims (6)

1. 撮像エリアを撮像するカメラと、
   前記撮像エリアの音声を収音するマイクアレイと、
   前記カメラにより撮像された前記撮像エリアの画像データを表示する表示部と、
   前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出する信号処理部と、を備え、
   前記信号処理部は、導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データを構成する画素の所定単位毎に重畳して前記表示部に表示させる、
   モニタリングシステム。
2. 請求項１に記載のモニタリングシステムであって、
   前記音パラメータは、音圧である、
   モニタリングシステム。
3. 請求項１又は２に記載のモニタリングシステムであって、
   前記撮像エリアにおける音源の表示を指示するイベントを検出するセンサ、を更に備え、
   前記信号処理部は、前記センサにより前記イベントが検出されると、前記音パラメータを導出する、
   モニタリングシステム。
4. 請求項１〜３のうちいずれか一項に記載のモニタリングシステムであって、
   前記マイクアレイにより収音された音声データを出力する音声出力部、を更に備え、
   前記表示部に表示された前記音源画像情報が指定された場合、前記信号処理部は、前記マイクアレイから、指定された前記音源画像情報に対応する前記撮像エリアの画像データの位置に向かう方向に指向性を形成して前記音声出力部に出力させる、
   モニタリングシステム。
5. 請求項１〜４のうちいずれか一項に記載のモニタリングシステムであって、
   前記カメラと前記マイクアレイとが同軸に配置された、
   モニタリングシステム。
6. カメラとマイクアレイと含むモニタリングシステムにおけるモニタリング方法であって、
   前記カメラにおいて撮像エリアを撮像し、
   前記マイクアレイにおいて前記撮像エリアの音声を収音し、
   前記マイクアレイにより収音された音声データを用いて、前記撮像エリアの音の大きさを特定する音パラメータを、前記撮像エリアの画像データを構成する画素の所定単位毎に導出し、
   導出された前記音パラメータと音の大きさに関する複数の閾値との比較に応じて、前記音パラメータを異なる視覚情報に段階的に変換した音源画像情報を、前記撮像エリアの画像データを構成する画素の所定単位毎に重畳して表示部に表示させる、
   モニタリング方法。

Images