JP6504539B2 - 収音システム及び収音設定方法 - Google Patents

Description

本発明は、収音された音声に対して既定位置に指向性を形成して出力する収音システム及び収音設定方法に関する。

従来、工場、店舗（例えば小売店、銀行）や商店街、公共の場（例えば駅、図書館）の所定位置（例えば天井や壁）に設置される監視システムでは、ネットワークを介して複数のカメラ装置を接続し、監視対象の所定範囲の映像データ（静止画像及び動画像を含む。以下同様。）を、一箇所に設置された監視装置で監視することが行われている。

しかし、映像だけの監視では、得られる情報量にどうしても限界があるので、音声による監視を行うために、音声データを得る監視システムの要請が高まっている。

この要請に対し、一部のカメラ装置には、マイクロホンが装着され、映像データに音声データを乗せてネットワークに送信する製品がある。しかし、このような製品で使用されるマイクロホンは無指向性であることが多く、たとえ単一指向性のマイクロホンであってもその指向特性は広角である。従って、監視中に聞きたい音が騒音にかき消されて聞こえないことが多い。

近年、監視カメラシステムにおいて、異常音が発生した方向を検知したり、騒音に埋もれた中から特定の方向の音だけを聞き取りたいという要求に対応したマイクアレイの開発が進んでいる（例えば特許文献１参照）。特許文献１のマイクアレイは、複数のマイクロホンユニットを配置し、各マイクロホンユニットで収音された音声を用い、監視カメラ（例えば全方位カメラ）で撮像された映像が表示された画面に対する、ユーザの指定箇所からの音声を強調して再生するために、使用される。

特開２０１４−１４３６７８号公報

特許文献１では、全方位カメラとマイクアレイとを同軸上に取り付けた場合には、映像と音声の座標が一致する（つまり、全方位カメラからの撮像方向とマイクアレイにより収音された音声が強調される方向とが同一となる）ので、特に問題は生じない。しかし、監視カメラとマイクアレイとが離れて取り付けられている場合には、互いの位置関係が不明である。このため、例えば初期設定の際に、監視カメラの座標系とマイクアレイの座標系との対応関係が得られていないと、監視中に監視カメラが撮像する既定位置に向かう方向に音声の指向性を形成することが困難であるという課題がある。

特に、建物或いは構造物の強度や構造上の理由から、監視カメラやマイクアレイの取り付け位置が制約されると、実際の取り付け位置の情報は正確に得られない。このため、カメラの座標系とマイクアレイの座標系との対応関係を得るためには、取り付け位置や方向等を現場で計測しなければならず、専用の計測器の他、多大な手間のかかる作業が必要になってしまう。

本発明は、上述した従来の課題を解決するために、カメラとマイクアレイとの互いの位置関係が不明である場合でも、既定の撮像位置に指向性を適正に形成し、既定の撮像位置における音声を明瞭に出力する収音システム及び収音設定方法を提供することを目的とする。

本発明は、複数の収音素子を有し、前記収音素子により音声を収音する収音部と、既定位置を撮像する少なくとも１つの撮像部と、収音された音声の音声データを基に、前記収音部からの音源方向を検出する音源検出部と、前記既定位置における所定の音声出力に応じて、検出された前記収音部からの音源方向を表示する表示部と、表示された前記収音部からの音源方向の指定に応じて、前記既定位置を撮像する前記撮像部に関する情報の入力を受け付ける操作部と、入力された前記撮像部に関する情報と前記収音部からの音源方向とを対応付けた対応情報を記憶する記憶部と、を備える収音システムである。

また、本発明は、既定位置を撮像する少なくとも１つの撮像部と収音部とを含む収音システムにおける収音設定方法であって、前記既定位置に置かれた音源の所定出力音声を、複数の収音素子を有する前記収音部により収音するステップと、前記収音部により収音された音声の音声データを基に、前記収音部からの音源方向を検出するステップと、検出された前記収音部からの音源方向を表示部に表示するステップと、前記表示部に表示された前記収音部からの音源方向が指定されるステップと、前記音源方向の指定に応じて、前記既定位置を撮像する前記撮像部に関する情報が入力されるステップと、入力された前記撮像部に関する情報と前記収音部からの音源方向とを対応付けた対応情報を記憶部に記憶するステップと、を有する、収音設定方法である。

本発明によれば、カメラとマイクアレイとの互いの位置関係が不明である場合でも、既定の撮像位置に指向性を適正に形成できるので、既定の撮像位置における音声を明瞭に出力できる。

第１の実施形態における収音システムの構成を示すブロック図 音声処理装置の構成を示すブロック図 マイクアレイ装置の構成を示すブロック図 マイクアレイ装置から音声処理装置に送信される音声データのパケットの構造を示す図 収音システムが設置された店舗内のレイアウトを示す図 プリセット処理の概略を説明する図 プリセット処理及び監視時における収音手順を示すフローチャート プリセット処理時に音声マップが表示されるディスプレイの画面を示す図 マイクアレイ装置に格納されたプリセット情報テーブルの登録内容を示す図 プリセット処理後に表示されるディスプレイの画面を示す図 監視時に表示されるディスプレイの画面及びスピーカの発音動作を示す図 第２の実施形態における収音システムの構成を示すブロック図 プリセット処理及び監視時における収音手順を示すフローチャート 図１３に続くプリセット処理及び監視時における収音手順を示すフローチャート プリセット処理時に表示されるディスプレイの画面を示す図 監視時に表示されるディスプレイの画面及びスピーカの発音動作を示す図 第３の実施形態における収音システムの構成を示すブロック図 テーブルメモリに格納されたプリセット情報テーブルの登録内容を示す図 プリセット処理手順を示すフローチャート プリセット処理時に表示されるディスプレイの画面を示す図 監視時における収音手順を示すフローチャート 監視時に表示される表示されるディスプレイの画面及びスピーカの発音動作を示す図 第３の実施形態の変形例１における監視時に表示されるディスプレイの画面を示す図 第３の実施形態の変形例３におけるプリセット情報テーブルの登録内容を示すテーブル

以下、本発明に係る収音システム及び収音設定方法を具体的に開示した各実施形態について、図面を参照して説明する。

（第１の実施形態）
図１は、第１の実施形態における収音システム５の構成を示すブロック図である。収音システム５は、例えばコンビニエンスストア等の店舗に設置され、監視用の複数のカメラ装置Ｃ１〜Ｃｎと、マイクアレイ装置ＭＡと、レコーダ装置４０と、ＰＣ（Personal Computer）３０とがネットワーク１５を介して相互に接続された構成である。

カメラ装置Ｃ１〜Ｃｎは、それぞれ画角が固定された固定カメラであり、各々の撮像対象エリアにある既定位置の周囲の映像（静止画及び動画を含む。以下同様）を撮像する。ｎはカメラ装置の識別番号に相当する正の値である。カメラ装置Ｃ１〜Ｃｎの違いは、撮像対象エリアが異なるだけで、いずれも同様の構成であるため、カメラ装置Ｃ１の構成及び動作を例示して説明する。また、カメラ装置Ｃ１と異なる仕様の場合、その都度、そのカメラ装置について説明する。カメラ装置Ｃ１は、撮像した映像のデータ（映像データ）を、ネットワーク１５を介してＰＣ３０に転送し、また、レコーダ装置４０に記録する。

マイクアレイ装置ＭＡは、例えば店舗１０内（図５参照）の天井に設置され、複数のマイクロホンＭ１〜Ｍｎ（図３参照）が同心円状に複数個（例えば８個）下方に向けて配置され、店舗内の音声を収音可能である。マイクアレイ装置ＭＡは、各々のマイクロホンＭ１〜Ｍｎを用いて、撮像対象エリア周囲の音声を収音し、各々のマイクロホンＭ１〜Ｍｎにより収音された音声のデータ（音声データ）を、ネットワーク１５を介してＰＣ３０に送信し、また、レコーダ装置４０に記録する。なお、各マイクロホンＭ１〜Ｍｎは、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、鋭指向性マイクロホンでも良い。

レコーダ装置４０は、データの記録等の各処理を制御するための制御部（不図示）と、映像データ及び音声データを格納するための記録部（不図示）とを含む構成である。レコーダ装置４０は、カメラ装置Ｃ１〜Ｃｎにより撮像された各映像データと、マイクアレイ装置ＭＡにより収音された音声データとを対応付けて記録する。

ＰＣ３０は、カメラ装置Ｃ１〜Ｃｎで撮像される映像、及びマイクアレイ装置ＭＡで収音される音声を監視し、音声処理装置５０及び映像処理装置７０を有する構成である。

図２は、音声処理装置５０の構成を示すブロック図である。音声処理装置５０は、信号処理部５１、メモリ５５、通信部５６、操作部５７、ディスプレイ５８及びスピーカ５９を有する。通信部５６は、ネットワーク１５を介してマイクアレイ装置ＭＡ、またはレコーダ装置４０から送信されたパケットＰＫＴ（図４参照）を受信して信号処理部５１に出力し、また、信号処理部５１で生成されたプリセット情報（図９参照）をマイクアレイ装置ＭＡに送信する。メモリ５５は、例えばＲＡＭ（Random Access Memory）を用いて構成され、音声処理装置５０の各部による動作時のワークメモリとして機能し、更に、音声処理装置５０の各部による動作時に必要なデータを記憶する。

信号処理部５１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、音源方向検知部５２、指向性形成部５３及び入出力制御部５４を有し、ＰＣ３０の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を実行する。

音源方向検知部５２は、マイクアレイ装置ＭＡで収音された音声に対し、いずれの方向に音源があるか推定する。本実施形態では、音源方向は、マイクアレイ装置ＭＡを中心とする、水平角θ及び垂直角φ（図６参照）で表され、例えば音量を用いて推定される。水平角θはマイクアレイ装置ＭＡの中心を原点とする実空間上の水平面（Ｘ−Ｙ面）内の角度であり、垂直角φはマイクアレイ装置ＭＡの中心を通るＺ軸からの傾きである。例えば、音源がマイクアレイ装置ＭＡの真下近辺にある場合、垂直角φは小さな値として検出される。

また、後述するプリセット処理を行うために、音声を発生させる場合、単に音量だけでなく、音の特徴から発音場所（音源方向）を特定する方法が有効になる。音に特徴を持たせる方法として、例えば、周波数が一定である正弦波、一定の周期で周波数が変化する正弦波、一定の周期でオン／オフに切り替わるホワイトノイズ、登録済みの発話等をスピーカ５９から出力することで、特徴を持った音が得られる。これにより、騒音が大きい場所（例えば、内装工事中の室内や商店街）でプリセット処理を行う場合であっても、音源方向検知部５２は、マイクアレイ装置ＭＡで収音された音声の中から、特徴を持たせた音を特定できる。また、静かな夜間にプリセット処理を行い、音声を発生させる場合でも、音源方向検知部５２は、マイクアレイ装置ＭＡで収音された音声の中から、音量が小さくても、特徴を持たせた音を特定できる。

また、特徴を持たせた音を発生させる音源の方向を特定させる方法として、次の２通りの方法がある。第１の方法として、音源方向検知部５２は、マイクアレイ装置ＭＡで収音された音声に対し、音量の大きい場所から順番に音の特徴を分析し、特徴が一致した音の方向を音源の方向と判断する。第２の方法として、音源方向検知部５２は、撮像対象エリアを分割し、分割された各エリア（分割エリアともいう）毎に音の特徴をサーチし、特徴が一致した分割エリアの方向を音源の方向と判断する。第２の方法では、音源方向検知部５２は、一定の収音時間で音声データを取り込んでから音の特徴を探索（サーチ）するので、音量は無関係であり、小音量で済む。従って、周囲に迷惑がかからず、騒がしい場所でも、特徴を持たせた音を特定できる。第３の方法として、発生信号との相互相関で判断することも可能で有る。なお、後述するように、プリセット処理時、音源から発声する音声としては、人間が発した音声、ブザーを鳴らした音、スピーカから出力された音等が挙げられる。

指向性形成部５３は、マイクアレイ装置ＭＡから直接転送された音声データ或いはレコーダ装置４０に記録された音声データを用いて、音声データの指向性制御処理によって各々のマイクロホンＭ１〜Ｍｎにより収音された各音声データを加算し、マイクアレイ装置ＭＡの各マイクロホンＭ１〜Ｍｎの位置から特定方向への音声（音量レベル）を強調（増幅）するために、特定方向への指向性を形成した音声データを生成する。特定方向とは、マイクアレイ装置ＭＡから操作部５７で指定された位置に対応する実空間上の位置に向かう方向（指向方向ともいう）である。なお、マイクアレイ装置ＭＡによって収音される音声の指向性を形成するための音声データの指向性制御処理に関する技術は、例えば特開２０１４−１４３６７８号公報（上述した特許文献１）等に示されるように、公知の技術である。

入出力制御部５４は、操作部５７、ディスプレイ５８及びスピーカ５９に対し、各種データの入出力を制御する。操作部５７は、例えばディスプレイ５８の画面に対応して配置され、ユーザの指又はスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成される。操作部５７は、ユーザの操作に応じて、音声データの音量レベルの強調（増幅）を所望する１つ以上の指定箇所（座標）のデータを信号処理部５１に出力する。なお、操作部５７は、マウス又はキーボード等のポインティングデバイスを用いて構成されても良い。

ディスプレイ５８は、音源方向検知部５２で推定された音源位置を示す音声マップ６５を表示する。スピーカ５９は、マイクアレイ装置ＭＡによって収音され、ネットワーク１５を介して転送された音声データ或いはレコーダ装置４０に記録された音声データ、若しくはその音声データを基に指向性形成部５３によって特定方向への強調処理を行った音声データを出力する。

一方、映像処理装置７０は、音声処理装置５０と連動せず独立して動作し、ユーザからの操作指示に従い、固定カメラ装置Ｃ１〜Ｃｎによって撮像された映像データをディスプレイ５８に表示する制御を行う。つまり、ユーザが使用するカメラ装置を選択すると、映像処理装置７０は、この選択されたカメラ装置による映像を、搭載したカメラモニタ７１に表示させる。

図３は、マイクアレイ装置ＭＡの構成を示すブロック図である。マイクアレイ装置ＭＡは、全方位（３６０度）の方向の音声を収音し、複数のマイクロホンユニット（単にマイクロホンともいう）Ｍ１〜Ｍｎ（ここではｎ＝８）、複数のマイクロホンユニットＭ１〜Ｍｎの出力信号をそれぞれ増幅する複数の増幅器（アンプ）ＰＡ１〜ＰＡｎ、各増幅器ＰＡ１〜ＰＡｎから出力されるアナログ信号をそれぞれデジタル信号に変換する複数のＡ／Ｄ変換器Ａ１〜Ａｎ、符号化部２５、記憶部２４及び送信部２６を有する。

記憶部２４には、カメラ装置Ｃ１〜Ｃｎで撮像される既定位置（プリセット位置Ｐ１〜Ｐｎ）とマイクアレイ装置ＭＡからの指向方向（具体的には、水平角θ及び垂直角φの組）との対応関係を表すプリセット情報を記憶する。符号化部２５は、Ａ／Ｄ変換器Ａ１〜Ａｎから出力されるデジタル音声信号に、記憶部２４に記憶されたプリセット情報を付加して、音声データのパケットＰＫＴを生成する。送信部２６は、符号化部２５で生成された音声データのパケットＰＫＴを、ネットワーク１５を介して音声処理装置５０に送信する。

このように、マイクアレイ装置ＭＡは、マイクロホンＭ１〜Ｍｎの出力信号を増幅器ＰＡ１〜ＰＡｎで増幅し、Ａ／Ｄ変換器Ａ１〜Ａｎでデジタル音声信号に変換した後、記憶部２４に記憶されているプリセット情報をデジタル音声信号に付加して音声データのパケットＰＫＴを生成し、この音声データのパケットＰＫＴを、ネットワーク１５を介してＰＣ３０内の音声処理装置５０に送信する。

図４は、マイクアレイ装置ＭＡから音声処理装置５０に送信される音声データのパケットＰＫＴの構造を示す図である。音声データのパケットＰＫＴは、ヘッダ及びペイロードである音声データから構成される。このヘッダには、前述したプリセット情報が含まれる。

本実施形態では、音声データのパケットＰＫＴにプリセット情報を含めることで、マイクアレイ装置ＭＡから音声処理装置５０にプリセット情報を送信していたが、他の方法で音声処理装置５０がプリセット情報を取得してもよい。例えば、音声処理装置５０がマイクアレイ装置ＭＡの初期情報を読み込む際、プリセット情報を一緒に読み込んでもよい。また、マイクアレイ装置ＭＡが音声処理装置５０から要求に応じて送信してもよい。

図５は、収音システム５が設置された店舗１０内のレイアウトを示す図である。一例として、コンビニエンスストア等の店舗１０には、「出入口」、「レジＲ１」、「レジＲ２」、３列の「商品棚」、「弁当棚」、「惣菜棚」、「飲料（ドリンク）棚」及び「雑誌棚」が配置される。店舗１０の天井には、マイクアレイ装置ＭＡが設置され、また、店舗１０の壁上部或いは天井には、複数のカメラ装置Ｃ１〜Ｃｎ（ここでは、ｎ＝４）が設置される。

図５中、複数のカメラ装置Ｃ１〜Ｃｎは、予め店舗１０内に設定された複数のプリセット位置Ｐ１〜Ｐｎをそれぞれ撮像するように向けられている。複数のプリセット位置Ｐ１〜Ｐｎは、監視される撮像対象エリアとしてユーザによって決定される。各々のカメラ装置Ｃ１〜Ｃｎで撮像される映像の撮像範囲はそれぞれＣＲ１〜ＣＲｎで表され、各撮像範囲ＣＲ１〜ＣＲｎの略中心には、それぞれプリセット位置Ｐ１〜Ｐｎが存在する。

カメラ装置Ｃ１、Ｃ２は、それぞれ監視対象エリア（収音領域）である「レジＲ１」のプリセット位置Ｐ１、及び「レジＲ２」のプリセット位置Ｐ２の映像を撮像する。カメラ装置Ｃ３は、収音領域である「雑誌棚」のプリセット位置Ｐ３の映像を撮像する。このように、既にカメラ装置Ｃ１〜Ｃ４が設置されている店舗１０内において、マイクアレイ装置ＭＡを後から取り付ける場合には、後述するプリセット処理が行われる。

上記構成を有する収音システム５の動作を示す。始めに、収音システム５の運用（監視）開始前に行われるプリセット処理について説明する。ここで、プリセット処理とは、マイクアレイ装置ＭＡから店舗１０内の既定位置（プリセット位置）Ｐ１〜Ｐｎに向かう方向（つまり、マイクアレイ装置ＭＡの中心からの水平角θ及び垂直角φ）を設定する処理である。図６は、プリセット処理の概略を説明する図である。店舗１０の天井ＲＦには、マイクアレイ装置ＭＡとカメラ装置Ｃ１〜Ｃｎとが設置される。固定カメラであるカメラ装置Ｃ１〜Ｃｎは、プリセット位置Ｐ１〜Ｐｎに向けられ、カメラ装置Ｃ１〜Ｃｎで撮像された映像は、映像処理装置７０に搭載されるカメラモニタ７１に表示される。プリセット処理に伴う作業では、プリセット位置Ｐ１〜Ｐｎに音源（発音源）が置かれる。音源としては、前述したように、例えば人間の発声、ブザー音、スピーカから出力される音等が挙げられる。図６では、床面ＦＬＲに立つ発声者８１がプリセット位置Ｐ１〜Ｐｎで発声する場合が示されている。マイクアレイ装置ＭＡは、音声を収音すると、その音声データを音声処理装置５０に送信する。音声処理装置５０は、収音された音声の発音源位置をディスプレイ５８の画面（後述する音声マップ６５）に音源マーク（マーカ）ＳＤとして表示する。

なお、カメラモニタ７１は、音声処理装置５０に含まれるディスプレイ５８で代用されてもよい。また、音声処理装置５０と映像処理装置７０とが監視装置として一体化される場合、ディスプレイの画面（ウインドウ）を切り替えることで、ディスプレイはカメラモニタとして使用可能であるし、分割表示で両方を同時に表示することも可能である。

図７は、プリセット処理及び監視時における収音手順を示すフローチャートである。マイクアレイ装置ＭＡを店舗１０の天井に取り付けた後、プリセット処理が行われる。まず、音声処理装置５０は、マイクアレイ装置ＭＡの初期設定を行う（Ｓ１）。この初期設定では、音声処理装置５０は、マイクアレイ装置ＭＡのＩＰアドレスを設定し、マイクアレイ装置ＭＡを通信可能な状態にする。更に、音声処理装置５０は、プリセットモードに入り、音声マップ６５（図８参照）をディスプレイ５８に表示させる。

マイクアレイ装置ＭＡの初期設定が終わると、カメラ装置Ｃ１〜Ｃｎが向けられたプリセット位置Ｐ１〜Ｐｎに音源（発音源）を置き、所定音量以上で所定時間音源が発音する（Ｓ２）。ここでは、音源として発声者８１がプリセット位置Ｐ１〜Ｐｎで発声する。マイクアレイ装置ＭＡは、この音声を収音し、この音声データを音声処理装置５０に送信する。

音声処理装置５０内の通信部５６は、マイクアレイ装置ＭＡから送信された音声データを受信する（Ｓ３）。音声処理装置５０内の音源方向検知部５２は、受信した音声データの音量を基に、マイクアレイ装置ＭＡから音源に向かう指向方向（水平角θ及び垂直角φ）を求め、発音源位置を表す音源マークＳＤ１をディスプレイ５８に表示された音声マップ６５上に表示する（Ｓ４）。図８は、プリセット処理時に音声マップ６５が表示されるディスプレイ５８の画面を示す図である。

音声マップ６５は、マイクアレイ装置ＭＡの位置を中心点Ｏとする、３つの同心円６５ｈ、６５ｉ、６５ｊ及びこれらの中心角を１２等分する半径となる線分６５ｍで描画される。３つの同心円のうち、最も内側の同心円６５ｈは垂直角φ＝３０°に相当し、中間の同心円６５ｉは垂直角φ＝６０°に相当し、最も外側の同心円６５ｊは垂直角φ＝９０°に相当する。従って、音源マークＳＤ１が内側にある程、マイクアレイ装置ＭＡに近くなる。また、中心点Ｏから右側の水平方向に延びる線分６５ｍは、中心角が０°であり、水平角θ＝０°に相当する。１２等分された線分６５ｍは、中心角０°から３０°刻みで水平角０°〜３６０°を表す。ここでは、音声マップ６５上の座標（θ，φ）として、座標（２４０°，７０°）に音源マークＳＤ１が描かれている。この音源マークＳＤ１は、プリセット位置にある音源として確定される前であるので、矩形で描画される。なお、図８では、説明のために、３０°、６０°等の角度が付されているが、表示されなくてもよい。また目盛りの表示も、例えば垂直角を１５°毎にとっても構わない。

ユーザ（発声者）は、ディスプレイ５８に表示された音源マークＳＤ１をカーソル８７で選択し、この音源マークＳＤ１に対応するカメラ装置Ｃ１の情報（カメラ情報）を入力する（Ｓ５）。音源マークＳＤ１が選択されると、ディスプレイ５８の画面右下隅には、カメラ情報の入力欄８８が表示される。カメラ情報の入力欄８８には、場所（例えばレジＲ１）及びカメラＩＰアドレスがユーザ操作により入力可能である。なお、ユーザが音源マークを選択する代わりに、マイクアレイ装置が収音した音声の音量が閾値以上である時間が所定時間続いた場合に、音声処理装置が自動的にその音声の発生方向を認識してディスプレイに音源マークを表示させ、ユーザにカメラ情報の入力を促すようにしてもよい。

音声処理装置５０は、音源マークＳＤ１の水平角θ及び垂直角φを読み出し（Ｓ６）、ステップＳ５で入力されたカメラ情報と、音源マークＳＤ１の水平角θ及び垂直角φとをマイクアレイ装置ＭＡに送信する（Ｓ７）。マイクアレイ装置ＭＡは、音声処理装置５０から送信されたプリセット情報をプリセット情報テーブル９０（図９参照）に登録して記憶部２４に格納する。

図９は、マイクアレイ装置ＭＡに格納されたプリセット情報テーブル９０の登録内容を示す図である。プリセット情報テーブル９０には、カメラ装置Ｃ１〜Ｃｎの撮像対象エリアに含まれるプリセット位置Ｐ１〜Ｐｎ毎に、カメラＩＰアドレス、場所及び指向方向（水平角θ，垂直角φ）が登録される。

ユーザは全てのプリセット位置の設定処理が終了したか否かを判断し（Ｓ８）、全てのプリセット位置の設定処理が終了していない場合、プリセット処理はステップＳ２に戻り、同様の処理が繰り返される。

一方、全てのプリセット位置でプリセット処理が終了すると、運用開始前のプリセット処理が完了し、運用（実際の監視処理）を開始する。音声処理装置５０は、マイクアレイ装置ＭＡから音声データを取得し、この音声データのパケットＰＫＴのヘッダに含まれるプリセット情報から抽出された全てのプリセット位置をディスプレイ５８に表示する（Ｓ９）。図１０は、プリセット処理後に表示されるディスプレイ５８の画面を示す図である。ディスプレイ５８の画面に表示された音声マップ６５上には、プリセット位置である「レジＲ１」、「レジＲ２」、「雑誌棚」、「飲料棚」の音源方向（指向方向）として確定した、それぞれ音源マークＳＤ１、ＳＤ２、ＳＤ３、ＳＤ４が円形で描画される。特に音源マークＳＤ１〜ＳＤ４を区別する必要が無い場合、単に音源マークＳＤと総称する。また、ディスプレイ５８の画面の右下隅には、カメラ情報６７が表示される。カメラ情報６７には、カメラ装置Ｃ１〜Ｃｎに対応するプリセット位置とカメラＩＰアドレスが含まれる。

音声処理装置５０は、ディスプレイ５８に表示されているプリセット位置がユーザによって操作部５７を介して指定されると（Ｓ１０）、指定されたプリセット位置の指向方向を表す水平角θ及び垂直角φを読み込む（Ｓ１１）。音声処理装置５０内の指向性形成部５３は、読み込んだ水平角θ及び垂直角φで特定されるプリセット位置の指向方向に音声データの指向性を形成し、スピーカ５９から音声を出力する（Ｓ１２）。

また、運用（つまり、実際の監視）時に収音された音声再生中にユーザがディスプレイ５８に表示された別の位置を指定すると（Ｓ１３、ＹＥＳ）、音声処理装置５０は、指定された位置のプリセット情報から、水平角と垂直角とを読込み（Ｓ１１）、指向方向に音声データの指向性を形成し、スピーカ５９から音声を出力する（Ｓ１２）。

一方、新たな指定位置の指定が無ければ（Ｓ１３、ＮＯ）、音声処理装置５０は、電源がＯＦＦになるまで再生を続ける（Ｓ１４）。尚、ユーザの指示で、電源ＯＦＦまで指向性形成を続けるのでなく、ユーザの支持で指向性形成を解除して、次の位置指定があるまで全体の音をモニタリングしても良い。

図１１は、監視時に表示されるディスプレイ５８の画面及びスピーカ５９の発音動作を示す図である。運用（監視）時、例えばユーザが操作部５７を介して音源マークＳＤ３を選択すると、音声処理装置５０は、音源マークＳＤ３の指向方向（θ３，φ３）、つまり雑誌棚（プリセット位置Ｐ３）の方向に音声データの指向性を形成して音声を収音し、スピーカ５９からこの音声を出力する。この時、プリセット位置Ｐ３又はその近傍で、音声処理装置５０は、音量が閾値を超えるような異常音（大きな音）を検出すると、音源マークＳＤ３を点滅させてユーザに知らせる。ここでは、点滅させることで音源マークを識別可能に表示したが、色、形状、サイズ等を変えることでもよい。また、音声処理装置５０は、プリセット位置の音量の大きさに応じて、音源マーク色を変化させ、又は音源マークのサイズや形状等を変化させたり、カメラ情報の中から該当するカメラ情報だけ文字色または背景色を変化させてもよい。

以上により、第１の実施形態の収音システム５では、カメラ装置Ｃ１〜Ｃ４が既に設置された店舗１０内において、マイクアレイ装置ＭＡを後から取り付ける際、プリセット処理では、カメラ装置Ｃ１〜Ｃｎの撮像中心である光軸方向にプリセット位置Ｐ１〜Ｐｎに音源を置き、音声を発生させる。マイクアレイ装置ＭＡが音源から出力される音声を収音してその音声データを音声処理装置５０に送ると、音源方向検知部５２は、ディスプレイ５８に指向方向（水平角θ，垂直角φ）を表す音源マークＳＤ〜ＳＤ４を表示させ、ユーザにその選択を促すとともにカメラ情報の入力を促す。音声処理装置５０は、入力されたカメラ情報と指向方向をマイクアレイ装置ＭＡに送信する。マイクアレイ装置ＭＡは、カメラ情報と指向方向をプリセット情報テーブル９０に登録して記憶部２４に格納する。運用時、ユーザがディスプレイ５８に表示された音声マップ６５上の音源マークＳＤ〜ＳＤ４のいずれかを選択すると、マイクアレイ装置ＭＡで収音された音声データに対し、指向性形成部５３は、その音源マークに対応する指向方向（水平角θ，垂直角φ）に音声データの指向性を形成し、音声処理装置５０は、スピーカ５９から音声を出力させる。

これにより、収音システム５は、カメラ装置Ｃ１〜Ｃｎとマイクアレイ装置ＭＡとの互いの位置関係が不明である場合でも、マイクアレイ装置ＭＡから既定の撮像位置（つまり、プリセット位置Ｐ１〜Ｐｎ）に向かう指向方向に指向性を形成でき、そこで発音している音源からの音声を明瞭に聞くことができる。従って、収音システム５は、カメラ装置の座標系とマイクアレイ装置の座標系との対応関係を得るためには、取り付け位置や方向等を現場で計測したり、幾何学的な計算を行う必要が無くなり、簡便にカメラ装置とマイクアレイ装置とを対応付けることができる。また、音声処理装置５０は、マイクアレイ装置ＭＡだけを用いてプリセット情報を得ることができる。

また、収音システム５は、運用（監視）時には、プリセット情報を基にプリセット位置に対応付けられた指向方向（水平角θ，垂直角φ）に音声データの指向性を形成し、スピーカ５９からプリセット位置で収音された音声を出力できる。

また、ディスプレイ５８は、マイクアレイ装置ＭＡを中心とし、中心角が水平角かつ半径の長さが垂直角の大きさで表された同心円で描画された音声マップ６５を表示し、この音声マップ６５上に音源マークＳＤｎを表示するので、ユーザが音源マークＳＤｎで示されたプリセット位置Ｐｎを容易に視認できる。

また、操作部５７は、音声マップ６５上に表示された音源マークＳＤの指定を受け付けると、指向性形成部５３は、指定された音源マークＳＤに対応付けられた指向方向に、マイクアレイ装置ＭＡで収音された音声の音声データの指向性を形成するので、ユーザはプリセット位置Ｐｎで発せられた音声を簡単な操作で聴くことができる。

また、ディスプレイ５８は、プリセット位置Ｐで発せられた音声の音量が閾値を超える場合、その音源マークＳＤを点滅して表示するので、音量が閾値を超えるような大きな音（異常音）が検出されたことをユーザに速やかに知らせることができる。

また、音声データのパケットＰＫＴのヘッダにプリセット情報が記述されるので、音声データのみでプリセット位置の指向方向の情報を得ることができる。また、マイクアレイ装置ＭＡの記憶部２４にプリセット情報テーブル９０が格納されるので、複数のマイクアレイ装置が設置された場合でも、マイクアレイ装置ＭＡとプリセット情報との対応関係を管理しなくて済む。

（第２の実施形態）
第１の実施形態では、音声処理装置と映像処理装置とは別々に動作としていたが、第２の実施形態では、音声処理装置と映像処理装置とが監視装置として一体化され、ディスプレイの画面にカメラ装置で撮像された映像及び音声マップが同時に表示される場合を示す。

図１２は、第２の実施形態における収音システム５Ａの構成を示すブロック図である。第２の実施形態の収音システムは第１の実施形態とほぼ同一の構成を有する。前記第１の実施形態と同一の構成要素については同一の符号を用いることで、その説明を省略する。

収音システム５Ａでは、ネットワーク１５に監視装置１００が接続される。監視装置１００は、音声処理部１０５、映像処理部１０７、操作部１１７、ディスプレイ１１８及びスピーカ１１９を有する。

音声処理部１０５は、第１の実施形態における音声処理装置５０内の信号処理部５１と同様、音源方向検知部５２、指向性形成部５３及び入出力制御部５４の機能を有する。映像処理部１０７は、ユーザからの操作指示に従い、固定カメラ装置Ｃ１〜Ｃｎによって撮像された映像データをディスプレイ１１８に表示させる。

操作部１１７は、例えばディスプレイ１１８の画面に対応して配置され、ユーザの指又はスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成される。操作部１１７は、ユーザの操作に応じて、音声データの音量レベルの強調（増幅）を所望する１つ以上の指定箇所の座標のデータを音声処理部１０５に出力する。なお、操作部１１７は、マウス又はキーボード等のポインティングデバイスを用いて構成されても良い。

ディスプレイ１１８は、カメラ装置Ｃ１〜Ｃｎによって撮像され、ネットワーク１５を介して転送された、或いはレコーダ装置４０に記録された映像データに基づく映像（画像）を表示する。

スピーカ１１９は、マイクアレイ装置ＭＡによって収音され、ネットワーク１５を介して転送された、或いはレコーダ装置４０に記録された音声データ、若しくはその音声データを基に音声処理部１０５によって特定方向への強調処理が行われた音声データを出力する。

上記構成を有する収音システム５Ａの動作を示す。図１３は、プリセット処理及び監視時における収音手順を示すフローチャートである。図１４は、図１３に続くプリセット処理及び監視時における収音手順を示すフローチャートである。第１の実施形態と同一のステップ処理について同一のステップ番号を付すことで、その説明を省略する。

ステップＳ１では、音声処理部１０５はマイクアレイ装置ＭＡのＩＰアドレスを設定してマイクアレイ装置ＭＡを通信可能な状態にする。更に、音声処理部１０５は、プリセットモードに入り、音声マップ６５をディスプレイ１１８に表示させる。映像処理部１０７は、ネットワーク１５に接続された全てのカメラ装置Ｃ１〜Ｃｎに対し、ブロードキャストを行ってその応答を受信することで、ネットワーク１５に接続されているカメラ装置Ｃ１〜Ｃｎを探索して検出する（Ｓ１Ａ）。

音声処理部１０５は、探索の結果得られたカメラ装置の総数ｎと各ＩＰアドレスを音声処理部１０５内のメモリ（図示せず）に格納する（Ｓ１Ｂ）。映像処理部１０７は、探索されたカメラ装置Ｃ１〜Ｃｎで撮像された映像をディスプレイ１１８の画面に表示する。図１５は、プリセット処理時に表示されるディスプレイ１１８の画面を示す図である。ディスプレイ１１８の画面の左側には、カメラ装置Ｃ１〜Ｃｎでそれぞれ撮像された映像のサムネイルＳＺ１〜ＳＺ４が選択可能に表示される。特に、サムネイルＳＺ１〜ＳＺ４を区別する必要が無い場合、単にサムネイルＳＺと称する。また、サムネイルＳＺは、カメラ装置Ｃ１〜Ｃｎで撮像された映像から、一定時間毎に静止画を取り出すことで表示される。また、音声処理部１０５は、ディスプレイ１１８の画面の中央から右側に音声マップ６５を表示する。

音声処理部１０５は、カメラ装置の番号を表す変数ｉを初期値０に設定する（Ｓ１Ｃ）。そして、音声処理部１０５は、変数ｉを値１増加させる（Ｓ１Ｄ）。音声処理部１０５は、操作部１１７を介してユーザにより選択されたサムネイルＳＺを受け付ける（Ｓ１Ｅ）。このサムネイルの選択では、ユーザは、ディスプレイ１１８の画面に表示されるカーソル１２３を移動させてサムネイルＳＺを選択する。図１５では、サムネイルＳＺ３が選択されている。選択されたサムネイルＳＺ３の枠は赤色等で強調表示される。なお、サムネイルＳＺの代わりに、前記第１の実施形態と同様、音源マークＳＤが選択されてもよい。

ユーザは、サムネイルＳＺに対応するカメラ装置Ｃ１〜Ｃｎで撮像された撮像範囲に音源を設置し、所定の音量以上で所定時間発音させる（Ｓ２）。なお、音源の位置は、カメラ装置Ｃ１〜Ｃｎの光軸上でなくてもよく、撮像範囲内であればよい。また、音源としてユーザが撮像範囲内に立って発声してもよいことは前記第１の実施形態と同様である。

マイクアレイ装置ＭＡが音源から発せられた所定音量以上の音声を収音し、その音声データを音声処理部１０５に送信すると、音声処理部１０５は、マイクアレイ装置ＭＡから送信された音声データを受信する（Ｓ３）。

音声処理部１０５は、受信した音声データの音量を基に、マイクアレイ装置ＭＡから音源に向かう指向方向（水平角θ及び垂直角φ）を求め、発音源位置を表す音源マークＳＤをディスプレイ１１８に表示された音声マップ６５上に表示する（Ｓ４）。ディスプレイ１１８には、新たな発音源位置を表す音源マークＳＤ３が矩形で描画される（図１５参照）。なお、「レジＲ１」、「レジＲ２」の各音源マークＳＤ１、ＳＤ２は、既に確定されているので、丸形で描画される。更に、音声処理部１０５は、ディスプレイ１１８の画面の右下隅にカメラ名称（例えば場所名）の入力欄１２９を表示して入力を促す。

ユーザは、サムネイルＳＺ又は音源マークＳＤを選択し、そのカメラ情報をカメラ名称の入力欄１２９に入力する（Ｓ５Ａ）。なお、ユーザがサムネイルＳＺ又は音源マークＳＤを選択する代わりに、マイクアレイ装置が収音した音声の音量が閾値以上である時間が所定時間続いた場合に、音声処理装置が自動的にその音声の発生方向を認識してディスプレイに音源マークを表示させ、ユーザにカメラ情報の入力を促すようにしてもよい。

音声処理部１０５は、音源マークＳＤの水平角θ及び垂直角φを読み出し（Ｓ６）、ステップＳ５Ａで入力されたカメラ情報（カメラ名称とＩＰアドレス）と、マイクアレイ装置ＭＡの指向方向（水平角θ及び垂直角φ）とをマイクアレイ装置ＭＡに送信する（Ｓ７）。マイクアレイ装置ＭＡは、音声処理部１０５から送信されたプリセット情報をプリセット情報テーブル９０に登録して記憶部２４に格納する。

音声処理部１０５は、変数ｉが探索されたカメラ装置の総数ｎに達したか否かを判別する（Ｓ８Ａ）。変数ｉがカメラ装置の総数ｎに達していない場合、音声処理部１０５はステップＳ１Ｄに戻り、同様の処理を繰り返す。一方、変数ｉがカメラ装置の総数ｎに達した場合、プリセット処理が完了し、運用（監視）時の処理に移行する。

監視時、音声処理部１０５は、マイクアレイ装置ＭＡから全てのプリセット位置Ｐ１〜Ｐｎを取得し、ディスプレイ１１８に表示された音声マップ６５上に表示する（Ｓ９Ａ）。映像処理部１０７は、カメラ装置Ｃ１〜Ｃｎで撮像された映像を読み込み、ディスプレイ１１８の画面に表示する（Ｓ９Ｂ）。図１６は監視時に表示されるディスプレイ１１８の画面及びスピーカ１１９の発音動作を示す図である。ここでは、８台のカメラ装置Ｃ１〜Ｃ８が設置されている場合を示している。カメラ装置Ｃ１〜Ｃ８でそれぞれ撮像された画像ＧＺ１〜ＧＺ８は、ディスプレイ１１８の画面の左側に表示される。ここでは、画像ＧＺ１〜ＧＺ８は、サムネイルでなく、カメラ装置Ｃ１〜Ｃ８がそれぞれ「レジＲ１」、「レジＲ２」、「レジＲ３」、「入り口」、「雑誌棚Ｔ２」、「雑誌棚Ｔ１」、「通路」、「通用口」を撮像した画像である。

ディスプレイ１１８の画面の右側には、音声マップ６５及び操作パネル１４０が表示される。音声マップ６５には、音源マークＳＤ１〜ＳＤ８が表示される。また、操作パネル１４０には、画像ＧＺ１〜ＧＺ８の明るさを調節する輝度ボタン１４１、カメラ装置Ｃ１〜Ｃ８で撮像される映像のフォーカスを調節するフォーカスボタン１４２、カメラ装置Ｃ１〜Ｃ８のいずれかを選択する選択ボタン１４３、音量を調節する音量ボタン１４５、及び指向性収音から全体音を収音する状態に切り替えるためのプリセットボタン１４６が設けられている。

スピーカ１１９から音声を出力させる場合、音声処理部１０５は、ユーザによって指定された音源マークＳＤ又は画像ＧＺを受け付ける（Ｓ１０Ａ）。ユーザは、ディスプレイ１１８の画面に表示された音声マップ６５上の音源マークＳＤをカーソル１２３でクリックして選択する、或いはディスプレイ１１８の画面に表示された画像ＧＺ１〜ＧＺ８をカーソル１２３でクリックして選択する。ここでは、画像ＧＺ５或いは音源マークＳＤ５が選択されており、画像ＧＺ５の枠が赤色で強調表示され、音源マークＳＤ５が赤色の背景色を有する矩形で囲まれる。スピーカ１１９は、「雑誌棚Ｔ２」を指向方向とする音声データを出力する。

また、運用（つまり、実際の監視）時に収音された音声再生中にユーザがディスプレイ５８に表示された別の位置を指定すると（Ｓ１３、ＹＥＳ）、音声処理装置５０は、指定された位置のプリセット情報から、水平角と垂直角とを読込み（Ｓ１１）、指向方向に音声データの指向性を形成し、スピーカ５９から音声を出力する（Ｓ１２）。

一方、新たな指定位置の指定が無ければ（Ｓ１３、ＮＯ）、音声処理装置５０は、電源がＯＦＦになるまで再生を続ける（Ｓ１４）。尚、ユーザがプリセットボタン１４６をクリックしてプリセットテーブルの内容を新規追加、変更、削除でき、次の位置指定があるまで全体の音をモニタリングしても良い。

以上により、第２の実施形態の収音システム５Ａは、カメラ装置Ｃ１〜Ｃｎで撮像された映像を実際に見ながら、プリセット位置に対応する音声の指向方向を登録するプリセット処理を行うことができ、プリセット処理時の作業性が向上する。例えば、音源をプリセット位置に置く場合（発音者がプリセット位置に立つ場合も同様）、カメラ装置で撮像される映像の中心に音源を置けば良いことが簡単に分かる。また、監視時、マイクアレイ装置ＭＡの指向方向を切り替える場合、ユーザは、カメラ装置Ｃ１〜Ｃｎで撮像された映像を見て切り替え先を決めることができる。

（第３の実施形態）
第１及び第２の実施形態では、プリセット情報はマイクアレイ装置に格納されたが、第３の実施形態では、複数のマイクアレイ装置が設置され、監視装置がプリセット情報を一元管理する場合を示す。

図１７は、第３の実施形態における収音システム５Ｂの構成を示すブロック図である。第３の実施形態の収音システムは第１の実施形態とほぼ同一の構成を有する。第１の実施形態と同一の構成要素については同一の符号を用いることで、その説明を省略する。

ネットワーク１５には、複数のマイクアレイ装置ＭＡ１〜ＭＡｍが接続される。複数のマイクアレイ装置ＭＡ〜ＭＡｍは、第１、第２の実施形態と異なり、プリセット情報を格納する記憶部を有していない。本実施形態では、２つのマイクアレイ装置ＭＡ１、ＭＡ２がネットワーク１５に接続された場合を示す。なお、３つ以上のマイクアレイ装置が接続されてもよい。

監視装置１００Ａは、プリセット情報が登録されるプリセット情報テーブル１３０を格納するテーブルメモリ１１０を有する。図１８は、テーブルメモリ１１０に格納されたプリセット情報テーブル１３０の登録内容を示す図である。

プリセット情報テーブル１３０には、場所、プリセット値、及びカメラＩＰアドレスが登録されている。また、プリセット値として、マイクアレイ装置の番号（Ｍｉｃ Ｎｏ．）、指向方向、及び指向性制御パラメータが登録される。指向性制御パラメータは、指向性フィルタの係数であり、それぞれの指向方向で学習制御を行うことで決まる。

プリセット情報として、例えば、場所：レジＲ１、Ｍｉｃ Ｎｏ．：ＭＡ１、指向方向：（θ_１１，φ_１１）、指向性制御パラメータ（ｐ_１１１，…，ｐ_１１ｑ）、カメラＩＰアドレス：「165.254.10.11」が登録されている。また、雑誌棚では、マイクアレイ装置ＭＡ１とマイクアレイ装置ＭＡ２によって、プリセット情報が重複して登録されている。即ち、プリセット情報として、場所：雑誌棚、Ｍｉｃ Ｎｏ．：ＭＡ１、指向方向：（θ_１３，φ_１３）、指向性制御パラメータ（ｐ_１３１，…，ｐ_１３ｑ）、カメラＩＰアドレス：「165.254.10.13」、及び場所：雑誌棚、Ｍｉｃ Ｎｏ．：ＭＡ２、指向方向：（θ_２３，φ_２３）、指向性制御パラメータ（ｐ_２３１，…，ｐ_２３ｑ）、カメラＩＰアドレス：「165.254.10.13」の両方が登録されている。同じプリセット位置に対し、プリセット情報が重複して登録されている場合、２つのマイクアレイ装置ＭＡ１、ＭＡ２で収音される音声のうち、音量が大きい方のプリセット情報が優先して用いられ、このプリセット情報に対応するマイクアレイ装置ＭＡで収音された音声がスピーカ１１９から出力される。

上記構成を有する収音システム５Ｂの動作を示す。図１９は、プリセット処理手順を示すフローチャートである。第１、第２の実施形態と同一のステップ処理については同一ステップ番号を付すことでその説明を省略する。また、２つのマイクアレイ装置ＭＡ１、ＭＡ２がある場合を示す。

監視装置１００Ａ内の音声処理部１０５は、マイクアレイ装置ＭＡ１、ＭＡ２のそれぞれに対し、ＩＰアドレスを設定してマイクアレイ装置ＭＡ１、ＭＡ２を通信可能な状態にする（ステップＳ１Ｚ）。更に、音声処理部１０５は、プリセットモードに入り、２つの音声マップ６５Ａ、６５Ｂをディスプレイ１１８に表示させる。映像処理部１０７は、ネットワーク１５に接続された全てのカメラ装置Ｃ１〜Ｃｎに対し、ブロードキャストを行ってその応答を受信することで、ネットワーク１５に接続されているカメラ装置Ｃ１〜Ｃｎを探索する（Ｓ１Ａ）。

音声処理部１０５は、探索の結果得られたカメラ装置の総数ｎと各ＩＰアドレスを音声処理部１０５内のメモリ（図示せず）に格納する（Ｓ１Ｂ）。映像処理部１０７は、探索されたカメラ装置Ｃ１〜Ｃｎで撮像された映像をディスプレイ１１８の画面に表示する。図２０は、プリセット処理時に表示されるディスプレイ１１８の画面を示す図である。ディスプレイ１１８の画面の左側には、カメラ装置Ｃ１〜Ｃｎでそれぞれ撮像された映像のサムネイルＳＺ１〜ＳＺ４が選択可能に表示される。特に、サムネイルＳＺ１〜ＳＺ４を区別する必要が無い場合、単にサムネイルＳＺと総称する。また、サムネイルＳＺは、カメラ装置Ｃ１〜Ｃｎで撮像された映像から、一定時間毎に静止画を取り出すことで表示される。また、音声処理部１０５は、ディスプレイ１１８の画面の中央から右側に２つの音声マップ６５Ａ、６５Ｂを表示する。

ステップＳ２で、ユーザがサムネイルＳＺに対応するカメラ装置Ｃ１〜Ｃｎで撮像された撮像範囲に音源を設置し、所定の音量以上で所定時間発音させると、マイクアレイ装置ＭＡ１〜ＭＡｍがそれぞれ音源から発せられた所定音量以上の音声を収音し、各音声データを音声処理部１０５に送信する。音声処理部１０５は、各々のマイクアレイ装置ＭＡ１、ＭＡ２から送信された音声データを受信する（Ｓ３Ａ）。

音声処理部１０５は、各々のマイクアレイ装置ＭＡ１、ＭＡ２から受信した音声データの音量を基に、マイクアレイ装置ＭＡ１、ＭＡ２から音源に向かう指向方向（水平角θ及び垂直角φ）をそれぞれ求め、発音源位置を表す音源マークＳＤ（ＳＤ３Ａ、ＳＤ３Ｂ）をディスプレイ１１８に表示された音声マップ６５Ａ、６５Ｂ上に表示する（Ｓ４Ａ）。ディスプレイ１１８には、新たな発音源位置を表す音源マークＳＤ３Ａ、ＳＤ３Ｂが矩形で描画される（図２０参照）。なお、「レジＲ１」、「レジＲ２」の音源マークＳＤ１、ＳＤ２は、既に確定されているので、丸形で描画される。更に、音声処理部１０５は、ディスプレイ１１８の画面の右下隅にカメラ名称（例えば場所名）の入力欄１２９を表示して入力を促す。ここでは、マイクアレイ装置ＭＡ２で収音された音声の方が音量が大きいので、この音源マークＳＤ３Ｂの矩形の大きさが、マイクアレイ装置ＭＡ１に対応する音源マークＳＤ３Ａと比べて大きい。

音声処理部１０５は、プリセット処理の対象となる複数のマイクアレイ装置（ここではマイクアレイ装置ＭＡ１、ＭＡ２）のいずれかを選択する（Ｓ４Ｂ）。複数のマイクアレイ装置で所定音量以上の音声が収音された場合、マイクアレイ装置ＭＡ１、ＭＡ２の選択は、次の３通りの方法のいずれかで行われる。第１の方法では、音声処理部１０５が、マイクアレイ装置ＭＡ１、ＭＡ２のうち、音量の大きい方のマイクアレイ装置を選択する。第２の方法では、ユーザがマイクアレイ装置ＭＡ１、ＭＡ２の一方を選択する。第３の方法では、音量を閾値と比較し、閾値以上の音量で収音したマイクアレイ装置を選択する。この場合、マイクアレイ装置が複数選択される場合もある。

ユーザは、選択されたマイクアレイ装置ＭＡに対し、サムネイルＳＺ又は音源マークＳＤを選択し、そのカメラ情報をカメラ名称の入力欄１２９に入力する（Ｓ５Ｂ）。この後のステップＳ６〜Ｓ８Ａの処理は、第２の実施形態と同様である。ステップＳ８Ａで変数ｉがカメラ装置の総数ｎに達すると、音声処理部１０５は本動作を終了する。

図２１は、監視時における収音手順を示すフローチャートである。監視装置１００Ａ内の映像処理部１０７は、カメラ装置Ｃ１〜Ｃｎのいずれかを選択し、選択されたカメラ装置Ｃ１〜Ｃｎで撮像された映像をディスプレイ１１８に表示させる（Ｓ２１）。

図２２は、監視時に表示される表示されるディスプレイ１１８の画面及びスピーカ１１９の発音動作を示す図である。ディスプレイ１１８の画面の左側には、各種の項目のプルダウンメニュー１６０が表示される。ここでは、機器ツリーのプルダウンメニューが展開され、カメラ装置Ｃ２が選択された状態にある。ディスプレイ１１８の画面の略中央の上部には、選択されたカメラ装置Ｃ２で撮像された映像が表示されるモニタ画面１５０が配置される。ディスプレイ１１８の画面の略中央の下部には、操作パネル１４０Ａが配置される。操作パネル１４０Ａには、映像の明るさを調節する輝度ボタン１４１、カメラ装置Ｃ１〜Ｃ８で撮像される映像のフォーカスを調節するフォーカスボタン１４２Ａ、カメラ装置Ｃ１〜Ｃ８のいずれかを選択する選択ボタン１４３、ズーミング操作を行うズームボタン１４７、及び新たにプリセット位置を追加する場合に入力されるプリセット入力欄１４６Ａが設けられている。

音声処理部１０５は、選択されたカメラ情報に対応するプリセット情報を読み込む（Ｓ２２）。音声処理部１０５は、このプリセット情報から得られる指向方向（水平角θ，垂直角φ）に音声データの指向性を形成する（Ｓ２３）。音声処理部１０５は、プリセット処理されたマイクアレイ装置ＭＡが複数であるか否かを判別する（Ｓ２４）。複数のマイクアレイ装置ＭＡがある場合、音声処理部１０５は、例えばプリセット処理時に決定された音量の一番大きいマイクアレイ装置ＭＡを選択する（Ｓ２５）。

音声処理部１０５は、選択されたマイクアレイ装置ＭＡで指向性が形成された音声データをスピーカ１１９から出力する（Ｓ２６）。図２２では、スピーカ１１９から「いらっしゃいませ」の音声が出力されている。この後、音声処理部１０５は、ステップＳ２１に戻り、同様の動作を繰り返す。

以上により、第３の実施形態の収音システム５Ｂでは、複数のマイクアレイ装置ＭＡが備わるので、店舗内で発音された音声をユーザが聞き取り易い方のマイクアレイ装置を用いて収音できる。また、プリセット位置で複数のマイクアレイ装置が所定音量以上の音声を収音可能である場合、一番大きな音量で収音したマイクアレイ装置に対し、プリセット処理を行うことで、小さな音でも漏らさずに聞き取ることが可能となる。更に、１つのマイクアレイ装置が故障した場合でも、他のマイクアレイ装置を使って、同じプリセット位置における音声を聞くことができる。

また、監視装置１００Ａがプリセット情報を一元管理しているので、各マイクアレイ装置はプリセット情報を格納する記憶部を有しなくてよく、構成を単純化できる。また、音声処理部１０５が各マイクアレイ装置ＭＡにプリセット情報を送信しなくて済み、処理の負荷を軽減できるとともに、ネットワークのトラフィックの軽減に繋がる。

（変形例１）
図２３は、第３の実施形態の変形例１における監視時に表示されるディスプレイ１１８Ａの画面を示す図である。ディスプレイ１１８Ａの画面の下部を除く部分には、９分割されたモニタ画面が配置される。モニタ画面には、カメラ装置Ｃ１〜Ｃ９で撮像された画像ＧＺ１Ａ〜ＧＺ８Ａ，ＧＺ９がやや大きめに表示される。また、画面の下部左側には、プルダウンメニュー１６０Ａが配置される。また、画面の下部右側には、操作パネル１４０Ｂが配置される。操作パネル１４０Ｂは、プリセットボタン１４６の代わりにプリセット入力欄１４６Ａが配置される他、第２の実施形態と同様である。変形例１では、音声マップは表示されない。

変形例１の監視装置では、ユーザがディスプレイ１１８Ａの画面に表示された複数の映像の中から聞きたい場所を選択すると、スピーカ１１９は、撮影された場所の音声を出力する。また、音声処理部１０５が大きな音が発生した音声データを受信すると、映像処理部１０７は、大きな音が発生した場所の映像の枠の色を変えることで、ユーザにその発生場所を知らせる。なお、音声の切り替えは、手動又は自動で行われる。

（変形例２）
第３の実施形態の変形例２では、複数のマイクアレイ装置ＭＡ１〜ＭＡｎが記憶部を有し、監視装置が複数のマイクアレイ装置ＭＡ１〜ＭＡｎからそれぞれ受信したプリセット情報を統合し、１つのプリセット情報テーブルを作成する。監視装置は、作成したプリセット情報テーブルをテーブルメモリに格納する。また、テーブルメモリにプリセット情報テーブルとして格納された、統合したプリセット情報は各々のマイクアレイ装置ＭＡ１〜ＭＡｎに送信される。

これにより、新たなマイクアレイ装置が接続された場合でも、監視装置は新たにプリセット処理を行う必要がなく、マイクアレイ装置からプリセット情報を取得して統合するだけで、新たなプリセット情報が登録されたプリセット情報テーブルを得ることができる。また、別の監視装置が追加された場合でも、マイクアレイ装置から別の監視装置にプリセット情報を送信し、別の監視装置が複数のマイクアレイ装置から送信されたプリセット情報を統合することで、プリセット情報テーブルを得ることができる。このように、複数のマイクアレイ装置と複数の監視装置とを組み合わせた収音システムの構築を簡単に行うことができる。

（変形例３）
第３の実施形態の変形例３では、複数のカメラ装置Ｃ１〜Ｃｎのうち、１台のカメラ装置は、監視装置から遠隔操作可能なパンチルト機能、ズームイン機能及びズームアウト機能（以下、ＰＴＺ機能という）を有するＰＴＺカメラである。ＰＴＺカメラは、予め特定した場所をプリセット値とし、そのパン・チルト角及びズーム値をメモリに格納しておく。

ＰＴＺカメラに複数のプリセット位置が設定されている場合、複数のカメラ装置Ｃ１〜ＣｎのうちＰＴＺカメラ以外に固定カメラが含まれていれば、マイクのプリセットを行なう回数は、カメラ総数ｎではなく、固定カメラの台数とＰＴＺカメラのプリセット数との和を考慮したプリセット数Ｎとなる。

図２４は、第３の実施形態の変形例３におけるプリセット情報テーブル１３０Ａの登録内容を示すテーブルである。プリセット情報テーブル１３０Ａには、場所、マイクプリセット値、カメラＩＰアドレス及びカメラプリセット値が登録される。場所、マイクプリセット値及びカメラＩＰアドレスの登録については、図１８に示すプリセット情報テーブル１３０と同様である。新たなカメラプリセット値については、固定カメラの場合、撮像位置が変わらないので、カメラプリセット値は「Ｎｕｌｌ」である。一方、ＰＴＺカメラの場合、ＰＴＺカメラから見た撮像位置（言い換えると、マイクアレイ装置からの指向方向）は雑誌棚Ｔ２と通路Ｕ１とで変わるので、カメラプリセット値は「ＰＴ１」、「ＰＴ２」である。

雑誌棚Ｔ２、通路Ｕ１のようなＰＴＺカメラが撮像する対象エリア（場所）が選択された場合、監視装置は、マイクアレイ装置の指向方向の音声データを読み出すと同時に、ＰＴＺカメラにカメラプリセット値を送信する。ＰＴＺカメラは、プリセット値に対応する撮像方向の映像を撮像する。ＰＴＺカメラを用いることで、監視対象となる撮像エリアを容易に変えることができる。なお、変形例３では、固定カメラの代わりとして、ＰＴＺカメラを用いたが、全方位カメラが用いられてもよい。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明は、カメラとマイクアレイとの互いの位置関係が不明である場合でも、既定の撮像位置に指向性を適正に形成し、既定の撮像位置における音声を明瞭に出力する、収音システム及び収音設定方法として有用である。

５、５Ａ、５Ｂ 収音システム
１０ 店舗
１５ ネットワーク
２４ 記憶部
２５ 符号化部
２６送信部
４０ レコーダ装置
５０ 音声処理装置
５１ 信号処理部
５２ 音源方向検知部
５３ 指向性形成部
５４ 入出力制御部
５５ メモリ
５６ 通信部
５７、１１７ 操作部
５８、１１８ ディスプレイ
５９、１１９ スピーカ
６５、６５Ａ、６５Ｂ 音声マップ
６５ｈ、６５ｉ、６５ｊ 同心円
６５ｍ 線分
６７ カメラ情報
７０ 映像処理装置
７１ カメラモニタ
８１ 発声者
８７、１２３ カーソル
８８ 入力欄
９０、１３０、１３０Ａ プリセット情報テーブル
１００ 監視装置
１０５ 音声処理部
１０７ 映像処理部
１１０ テーブルメモリ
１２９ 入力欄
１４０、１４０Ａ、１４０Ｂ 操作パネル
１４１ 輝度ボタン
１４２、１４２Ａ フォーカスボタン
１４３ 選択ボタン
１４５ 音量ボタン
１４６ プリセットボタン
１４６Ａ プリセット入力欄
１４７ ズームボタン
１５０ モニタ画面
１６０、１６０Ａ プルダウンメニュー
Ａ１〜Ａｎ Ａ／Ｄ変換器
Ｃ１〜Ｃｎ カメラ装置
ＣＲ１〜ＣＲｎ 撮像範囲
ＦＬＲ 床面
ＧＺ１〜ＧＺｎ、ＧＺ１Ａ〜ＧＺｎＡ 画像
Ｍ１〜Ｍｎ マイクロホン
ＭＡ、ＭＡ１〜ＭＡｎ マイクアレイ装置
Ｏ 中心点
Ｐ１〜Ｐｎ プリセット位置
ＰＡ１〜ＰＡｎ 増幅器（アンプ）
ＰＫＴ パケット
ＲＦ 天井
ＳＤ、ＳＤ１〜ＳＤｎ、ＳＤ３Ａ、ＳＤ３Ｂ 音源マーク
ＳＺ１〜ＳＺ４ サムネイル

Claims (10)

1. 複数の収音素子を有し、前記収音素子により音声を収音する収音部と、
   既定位置を撮像する少なくとも１つの撮像部と、
   収音された音声の音声データを基に、前記収音部からの音源方向を検出する音源検出部と、
   前記既定位置における所定の音声出力に応じて、検出された前記収音部からの音源方向を表示する表示部と、
   表示された前記収音部からの音源方向の指定に応じて、前記既定位置を撮像する前記撮像部に関する情報の入力を受け付ける操作部と、
   入力された前記撮像部に関する情報と前記収音部からの音源方向とを対応付けた対応情報を記憶する記憶部と、を備える、
   収音システム。
2. 請求項１に記載の収音システムであって、
   前記対応情報を基に、前記既定位置に対応付けられた音源方向に、前記収音部により収音された音声の音声データの指向性を形成する指向性形成部と、
   前記指向性形成部により指向性が形成された音声データを出力する出力部と、を備える、
   収音システム。
3. 請求項２に記載の収音システムであって、
   前記表示部は、前記収音部の位置を中心とし、中心角が水平角かつ半径の長さが垂直角を示す同心円状の音声マップに、前記収音部からの音源方向を表すマーカを表示する、
   収音システム。
4. 請求項３に記載の収音システムであって、
   前記操作部は、前記音声マップ上に表示された前記マーカの指定を受け付け、
   前記指向性形成部は、指定された前記マーカに対応する音源方向に、前記収音部により収音された音声の音声データの指向性を形成する、
   収音システム。
5. 請求項４に記載の収音システムであって、
   前記表示部は、前記指向性形成部により指向性が形成された音声データの音量が閾値を超える場合に、前記指向性が形成された音源方向に対応する前記マーカを、前記音声マップ上において識別可能に表示する、
   収音システム。
6. 請求項２に記載の収音システムであって、
   前記収音部は、前記対応情報を記憶する前記記憶部を有し、収音された音声の音声データに、前記対応情報を付加したデータを前記指向性形成部に送信する、
   収音システム。
7. 請求項１に記載の収音システムであって、
   前記撮像部が複数設けられ、
   前記表示部は、各々の前記撮像部により撮像された各々の既定位置の画像を表示し、
   前記操作部は、前記表示部に表示された前記既定位置の画像の選択操作により、前記音源方向を指定する、
   収音システム。
8. 請求項１に記載の収音システムであって、
   前記収音部及び前記撮像部が複数設けられ、
   前記記憶部は、複数の前記収音部毎に、いずれかの前記撮像部に関する情報と前記収音部からの音源方向とを対応付けた前記対応情報を記憶する、
   収音システム。
9. 請求項８に記載の収音システムであって、
   前記対応情報には、重複した前記既定位置における、複数の前記収音部による前記音源方向が含まれる、
   収音システム。
10. 既定位置を撮像する少なくとも１つの撮像部と収音部とを含む収音システムにおける収音設定方法であって、
    前記既定位置に置かれた音源の所定出力音声を、複数の収音素子を有する前記収音部により収音するステップと、
    前記収音部により収音された音声の音声データを基に、前記収音部からの音源方向を検出するステップと、
    検出された前記収音部からの音源方向を表示部に表示するステップと、
    前記表示部に表示された前記収音部からの音源方向が指定されるステップと、
    前記音源方向の指定に応じて、前記既定位置を撮像する前記撮像部に関する情報が入力されるステップと、
    入力された前記撮像部に関する情報と前記収音部からの音源方向とを対応付けた対応情報を記憶部に記憶するステップと、を有する、
    収音設定方法。

Images