WO2017213010A1

WO2017213010A1 - 監視システム及び監視機配置情報構築プログラム

Info

Publication number: WO2017213010A1
Application number: PCT/JP2017/020381
Authority: WO
Inventors: 裕一竹内; 周平早川
Original assignee: コニカミノルタ株式会社
Priority date: 2016-06-06
Filing date: 2017-06-01
Publication date: 2017-12-14
Also published as: JP2019132585A

Abstract

複数の監視機を備えた監視システムを、監視機の数、配置の自由度をもって臨機応変かつ迅速容易に構築する。監視システムは複数の監視機と当該監視機からの情報を制御する中央制御装置（１）を備える。複数の監視機（２，３，４）のそれぞれは、物体からの情報を検知するセンサーを有し、個々に任意の配置に設置可能である。中央制御装置（１）は、複数の監視機の一つ（２）により他の監視機（３，４）を検知させ、検知する監視機（２）と検知される監視機（３，４）との相対配置を特定し（Ｓ２，Ｓ３）、基準座標（Ｓ１，ＸＹＺ座標）上に、複数の監視機の配置を定義付けた配置情報を登録する。

Description

監視システム及び監視機配置情報構築プログラム

　本発明は、複数の監視機を備えた監視システム及び複数の監視機の配置情報を構築する監視機配置情報構築プログラムに関する。

　近年、マルチローター機などの小型無人航空機の技術の発展により、誰でも、高性能なドローンを入手可能になった。このようなドローンを用いた重要設備、禁止区域などの侵入の問題が起きている。そのため、地上のみではなく、空中からの侵入に対しての警備システムが重要となっている。
　特許文献１には、所定の監視領域を走査するレーザーレーダーと旋回俯仰、ズーム機能を備えた監視カメラとで構成される遠隔監視装置が記載されている。かかる遠隔監視装置は、レーザーレーダーで検知した移動物体の位置に監視カメラを指向、ズームさせる。カメラ画像をモニターに出力し、監視員により移動物体が何者であるかを識別する。また、レーザーレーダーが２以上の移動物体を検知した場合は、各移動物体の距離、到達時間、大きさ等による脅威度によって優先順位を決定し、優先順位に従って順に監視カメラで撮影する。

特開２００７－１８４７８０号公報

　特許文献１に記載の遠隔監視装置にあっては、監視カメラはレーザーレーダーの上部、下部、側部に設置されるほか、別の場所に設置してもよいとされる。レーザーレーダーで全天を走査して上空を含めた広域の監視を担当させることは可能である。
　しかしながら、複数物体の監視領域への同時侵入があることや、飛行体の侵入があること、建物などの人工物や山など地形による障壁があることを想定すると、監視カメラその他の監視センサーをレーザーレーダーとは別の場所に複数台設置することが好ましい。
　例えば、音響センサー（マイク）を用いると、飛行物体が発するモーター音の検知よりドローンのような無機物か鳥のような有機物かを判別することが可能である。このような音響解析による判別を実施する場合、音響センサーとレーザーレーダーを一体化すると、レーザーレーダーの動作音が音響解析を不能にする障害となりえる。また、音響センサーも複数台設置することにより、光情報だけでなく、音でも信頼性の高い検知や広域の監視が可能である。
　また、電波センサーを用いて無人航空機との通信電波を検知する場合、監視領域に侵入してきた無人航空機の通信相手は監視領域の外に在る場合がほとんどだと想定できるから、電波センサーをレーザーレーダーと同じ座標に設置してしまうとその効果が薄い。また、電波センサーも複数台設置することにより、光や音の情報だけでなく、電波でも信頼性の高い検知や広域の監視が可能である。

　レーザーレーダーと監視カメラとが一体に構成される場合は、レーザーレーダーで検知した情報に基づく監視カメラの指向、ズームの制御指令と、実際にカメラが指向、ズームする画角とが合致しているかを工場で較正しておき、監視現場に持ち込むことは可能である。また、レーザーレーダーと監視カメラとが一体に構成される場合は、レーザーレーダーと監視カメラとが同一点に配置されていると扱っても問題は少なそうである。
　しかし、レーザーレーダー、監視カメラその他の監視センサーが別体で設けられる監視システム、すなわち、複数の監視センサーの互いの相対位置、向きが自由にされた監視システムが監視現場に提供されたとき、監視センサーの制御や選択を行うシステムの中枢部による各監視センサーの監視領域の認識と、当該監視センサーの実際の監視領域とが合致しているかを較正する作業が煩雑である。
　レーザーレーダーで検知した目標物の情報に基づき、監視カメラの向きを制御して目標物を撮影させることは、監視カメラの向きだけでなく、その監視カメラがどこに設置されているかを予め認識していなければ不可能であり、複数台のカメラから目標物に近いカメラを選択することも不可能である。
　予め配置を設計しておき、その配置設計に基づき現場に各監視センサーを配置する場合は、まず、配置の設計という負担がかかり、配置設計に従って正確に配置する作業が煩雑である。配置設計に無い監視センサーを現場で増設することができず、ユーザーの希望、監視現場の状況等に対応して臨機応変に迅速容易に監視システムを構築することができない。

　本発明は以上の従来技術における問題に鑑みてなされたものであって、複数の監視機を備えた監視システムを、監視機の数、配置の自由度をもって臨機応変かつ迅速容易に構築すること課題とする。

　以上の課題を解決するための請求項１記載の発明は、複数の監視機と、当該監視機からの情報を制御する中央制御装置を備えた監視システムであって、前記複数の監視機のそれぞれは、物体からの情報を検知するセンサーを有し、個々に任意の配置に設置可能であり、前記中央制御装置は、前記複数の監視機の一つにより他の監視機を検知させ、検知する監視機と検知される監視機との相対配置を特定し、基準座標上に、前記複数の監視機の配置を定義付けた配置情報を登録する監視機配置情報構築ステップを実行可能である監視システムである。

　請求項２記載の発明は、前記中央制御装置は、１機ごとに前記監視機を制御し、その応答に基づき、当該監視機の前記配置情報と当該監視機が検知した検知情報とを関連付ける請求項１に記載の監視システムである。

　請求項３記載の発明は、前記複数の監視機に、監視領域が可変である監視機が含まれ、前記中央制御装置が、当該監視機の前記配置情報に基づき当該監視機の監視領域を制御する請求項１又は請求項２に記載の監視システムである。

　請求項４記載の発明は、前記複数の監視機にレーザーレーダーが含まれる請求項１から請求項３のうちいずれか一に記載の監視システムである。

　請求項５記載の発明は、それぞれが、物体からの情報を検知するセンサーを有し、個々に任意の配置に設置可能である複数の監視機と、当該監視機からの情報を制御する中央制御装置を備えた監視システムにおける当該中央制御装置で実行される監視機配置情報構築プログラムであって、前記複数の監視機の一つにより他の監視機を検知させ、検知する監視機と検知される監視機との相対配置を特定し、基準座標上に、前記複数の監視機の配置を定義付けた配置情報を登録する監視機配置情報構築ステップを、中央制御装置に備わるコンピューターに実行させるための監視機配置情報構築プログラムである。

　本発明によれば、ユーザーが複数の監視機の数、配置を任意に決定しても、監視システムは監視機同士を検知させることにより相対配置を特定し、基準座標上に定義づけて自律的に監視機の配置情報を作成する機能を有するので、複数の監視機を備えた監視システムを、監視機の数、配置の自由度をもって臨機応変かつ迅速容易に構築することができる。
　さらに、監視システムが監視機の配置情報と当該監視機が検知した検知情報とを関連付ける機能を有することで、どの検知情報がどこに配置された監視機によるものかを関連付ける設定をユーザーが行う労苦が省かれ、複数の監視機を備えた監視システムを迅速容易に構築することができる。

本発明の一実施形態に係る監視システムのシステム構成ブロック図である。本発明の一実施形態に係る監視システムの監視機の配置例を示す模式図である。本発明の一実施形態に係る監視システムの中央制御装置の処理内容を示すフローチャートである。本発明の一実施形態に係り、監視機を識別するための標識が取り付けられた監視機の模式図である。図４Ａの標識を検知する様子を示す模式図である。本発明の一実施形態に係り、監視機を識別するために監視機に取り付けられる円筒標識の模式図である。本発明の一実施形態に係り、レーザーレーダー監視機に設けられたステレオマイクにより、音声信号発生手段（スピーカー）を有した他の監視機の向きを特定する様子を示す模式図である。本発明の一実施形態に係り、レーザーレーダー監視機の半球状の監視領域（スキャン範囲）と、レーザーレーダー監視機から離して配置したカメラ監視機の監視領域（撮像範囲）を示す模式図である。

　以下に本発明の一実施形態につき図面を参照して説明する。以下は本発明の一実施形態であって本発明を限定するものではない。

　図１に示すように本実施形態の監視システムは、中央制御装置１と、監視機２，３，４とを備えて構成される。中央制御装置１は本システムの中枢であり、監視機の配置情報の構築、各監視機の制御、各監視機が検知した検知情報の収集を行う。監視機としては、レーザーレーダー監視機２、カメラ監視機３、音響センサー監視機４が適用される。監視機としては、これら以外の機種を適用してもよい。また、各機種の数も任意である。ユーザーの任意で監視機の機種、数、配置が設定される。

　レーザーレーダー監視機２は、天頂を含む周囲３６０度をスキャンし、検知情報として周囲の反射物までの３次元距離データを取得する。
　カメラ監視機３は、検知情報として画像データを取得する。カメラ監視機３としては、赤外線カメラ、可視光カメラ等が適用される。
　音響センサー監視機４は、指向性マイクやステレオマイクが適用され、検知情報として音声データを検知する。

　中央制御装置１は、各監視機との通信が可能となっている。中央制御装置１は、各監視機のＩＰアドレスなどの機器識別情報を用いて通信上の各監視機の認識を既に行っており、監視機を特定してその検知情報を受信するとともに、同監視機に対してパン、チルト、ズームなどの制御指令を送信可能である。この通信上の開通作業（ペアリング）は、構成機器（１，２，３，４）が監視現場に搬入される前に、ユーザーの希望に従って行うことができるので、監視現場での作業増加とはならない。但し、監視現場で急遽監視機が追加される場合、後々増設される場合は、監視現場で開通作業を行う。

　図２に示すように監視機２，３１，３２、４１，４２が配置されたとする。１機のレーザーレーダー監視機２、２機のカメラ監視機３１，３２、２機の音響センサー監視機４１，４２が配置されている。中央制御装置１がレーザーレーダー監視機２内に搭載されている形態を図示する。これに拘わらず中央制御装置１は、いずれの監視機に一体に設置されたコンピューターでもよいし、いずれの監視機からも独立したコンピューターであってもよい。後者の場合、中央制御装置１の配置や移動は自由である。

　図３のフローチャートに沿って中央制御装置１の処理内容につき説明する。中央制御装置１が監視機配置情報構築プログラム（ステップＳ１～Ｓ３）を実行することで、本監視システムのソフトウエア部分の構築を行い、その後、監視プログラム（ステップＳ４～Ｓ１１）を実行する。
　まず、中央制御装置１は、基準座標設定ステップＳ１を実行する。ここでは、図２に示すようにレーザーレーダー監視機２のＸＹＺ座標をそのまま基準座標として採用する。レーザーレーダー監視機２に電子コンパス（３軸タイプ）を搭載しておくことにより、その出力をモニタリングしつつレーザーレーダー監視機２を動かすことで、Ｘ座標を東西方向、Ｙ座標を南北方向、Ｚ座標を鉛直方向など、現場作業で所望方向に基準座標を設定する。

　次に、中央制御装置１は、レーザーレーダー監視機２により周囲をスキャンさせ、以下に説明するように監視機を検知し、その位置を特定する（ステップＳ２）。
　図４に示すような標識１０を監視機（３や４）に予め取り付けて置く。取り付け位置は、カメラやマイクに対する特定の位置である。標識１０は、正反射面１１と、散乱面１２とを一定の特徴を持って有している。中央制御装置１は、適用される標識１０の情報を予め記憶している。
　中央制御装置１は、必要によりパン、チルトなどの所定の動作を各監視機に実行させ、レーザーレーダー監視機２による標識１０の検知情報に基づき、他の物体と区別して監視機であることを判別するとともに、レーザーレーダー監視機２とその監視機との相対配置を特定する。少なくとも一つの監視機（２）の配置が定義される基準座標（ＸＹＺ）上に、同監視機（２）に対する相対配置が特定された他の監視機（３，４）の配置を定義付けて当該他の監視機（３，４）の配置情報とする。レーザーレーダー監視機２のＸＹＺ座標をそのまま基準座標として採用しているので、レーザーレーダー監視機２が検出した標識１０のＸＹＺ座標がそのまま配置情報となる。
　中央制御装置１は、すべての監視機のＸＹＺ座標を登録する。

　その後、中央制御装置１は、配置情報が既知であるレーザーレーダー監視機２以外について１機ごとに監視機（３，４）を制御し、その応答に基づき、当該監視機の前記配置情報と当該監視機の検知情報とを関連付けるとともに、当該監視機の向きを特定し、必要により当該監視機の向きを較正する（ステップＳ３）。
　例えば、中央制御装置１は、レーザーレーダー監視機２以外の１機の監視機のパン、チルトなどの所定の動作を制御しつつレーザーレーダー監視機２の検知情報を受信する。中央制御装置１は、レーザーレーダー監視機２の検知情報に基づき、制御に応答して動作した監視機を特定し、その配置情報と、その監視機の機器識別情報（ＩＰアドレスなど）とを関連付ける。監視機の配置情報と、機器識別情報（ＩＰアドレスなど）とが関連付けられたので、監視機の配置情報と監視機の検知情報との関連付けがなされた。すなわち、中央制御装置１は、ＩＰアドレスなどの機器識別情報が付されて入力されてくる検知情報が、どこに配置されている監視機から送られてきたものか認識できるようになった。また、監視機の配置情報と監視機の制御指令との関連付けもなされた。すなわち、中央制御装置１は、ＩＰアドレスなどの機器識別情報を付した制御指令が、どこに配置されている監視機に送られるかも認識できるようになった。
　さらに中央制御装置１は、図４Ｂに示すようにレーザーレーダー監視機２から照射したレーザー光が標識１０の正反射面１１からレーザーレーダー監視機２に正反射してくる監視機（３，４）の姿勢により当該監視機の向きを特定し、当該監視機の配置情報に加える。これにより、同監視機の座標と向き（ｘ、ｙ、ｚ、θ、α）という配置情報が作成、登録される。θは、Ｚ軸回りの角度、αは仰俯角である。
　中央制御装置１は、以上の手順を全監視機（配置情報が既知であるレーザーレーダー監視機２を除く）について実行し、全監視機の配置情報を作成し、登録する。

　監視機３，４は、θ角を変化させるパン、α角を変化させるチルト動作により監視領域（カメラの撮像範囲や、マイクの集音範囲）が可変である。中央制御装置１は、ステップＳ３で作成した監視機の配置情報に基づき監視機の監視領域を制御し、監視プログラム（ステップＳ４～Ｓ１１）を実行する。

　中央制御装置１は、レーザーレーダー監視機２により周囲を所定レートでスキャンさせて定常の監視を実行する（ステップＳ４、ステップＳ５でＮＯ）。物体の侵入があれば（ステップＳ５でＹＥＳ）、レーザーレーダー監視機２のスキャンデータから物体の位置及速度ベクトル情報（ｘ、ｙ、ｚ、ｖ）を算出し（ステップＳ６）、速度ベクトルの方向や大きさ、所定地点への到達時間などにより危険度を判定し（ステップＳ７）、物体の位置及速度ベクトル情報（ｘ、ｙ、ｚ、ｖ）に基づき、同物体をカメラの撮像範囲やマイクの集音範囲に収めるように監視機３，４の（θ、α）を制御して物体を映像、音声等で検知させる（ステップＳ８）。中央制御装置１は、検知した画像データや音声データを処理して（ステップＳ９）、人工物か否か判定し、人工物でないと判定したときは定常の監視を続行する（ステップＳ１０でＮＯ）。人工物と判定したときは、監視機３，４による追跡を続行するとともに、発報し、侵入され追跡している物体に関する情報（各検知情報や検知情報から処理して生成した情報など）の記録を行う。

　３次元距離データを取得可能なレーザーレーダー監視機２で侵入物体を検知することで、ステップＳ６において侵入物体の位置及速度ベクトル情報（ｘ、ｙ、ｚ、ｖ）を高精度でリアルタイムに算出可能である。算出した物体の位置及速度ベクトル情報（ｘ、ｙ、ｚ、ｖ）と前述の配置情報とに基づき、ステップＳ８で監視機３，４の向き、ズームなどの制御値を算出し監視機３，４に伝送することで、監視機３，４は瞬時に侵入物体を捉えることが可能になり、高速移動体であっても認識が可能になる。

　複数の物体が同時侵入した場合は、ステップＳ７にて侵入物体の位置及速度ベクトル情報（ｘ、ｙ、ｚ、ｖ）から危険度を判定し、侵入物体に優先度をつける。優先度の高い順に監視機３，４を向けて認識を行うことで、複数の物体が同時に侵入しても対応が可能である。
　なお、ステップＳ５でＹＥＳの時点で予備発報を行ってもよい。

（他の監視機識別方法）
　上記では、標識１０を用いて監視機を識別したが、他の方法を以下に挙げる。
　予め、レーザーレーダー監視機２以外の監視機３，４に、図５に示すような赤外光を吸収する部分５１を周の一部に有した円筒標識５０を取り付けておく。
　中央制御装置１は、監視機３，４に所定の回転（回動）をさせつつ、レーザーレーダー監視機２による検知情報に基づき監視機を識別する。すなわち、中央制御装置１の制御に従う回転動作を監視機３，４及びこれに固定された円筒標識５０が行うので、レーザーレーダー監視機２での赤外光レーザースキャンの際に投光の吸収と散乱が所定の周期性をもって現れる。これにより中央制御装置１は、監視機３，４を他の物体から区別して識別することができ、高精度に監視機３，４の特定と配置情報の取得が可能である。また、円筒標識５０の軸をθ角の中心軸方向にして取り付けておくことで、吸収と散乱の周期信号の位相からθ角を特定可能であり、円筒標識５０の軸をα角の中心軸方向にして取り付けておくことで、吸収と散乱の周期信号の位相からα角を特定可能である。

　また他の方法としては、まず、図６に示すようにレーザーレーダー監視機２にステレオマイク（６１，６２）を設置しておき、他の監視機３，４にスピーカー６３を設置しておく。レーザーレーダー監視機２からの距離は、レーザーレーダー監視機２の検知情報に基づき既知である状況において、さらにステレオマイクの左マイク６１と右マイク６２との間の距離Ｌが既知である。スピーカー６３で発生した音声信号を左マイク６１で受信したタイミングと、右マイク６２で受信したタイミングとの時差によりスピーカー６３の向き、従ってスピーカー６３が設置された監視機３，４の向きを特定する。

　さらに他の方法としては、レーザーレーダー監視機２に監視用とは異なるカメラを付属し、レーザーレーダー監視機２に付属されたカメラにより、他の監視機３，４の位置を把握し、レーザーレーダーで座標を取得する。レーザーレーダー監視機２に付属されたカメラカメラの映像情報から周りの物体と監視機３，４を見分けることが可能である。

（その他）
（１）カメラ監視機３の配置情報（ｘ、ｙ、ｚ、θ、α）に基づき、カメラ監視機３をレーザーレーダー監視機２へ向け、レーザーレーダー監視機２がカメラ監視機３の撮像範囲域の特定の位置に定まるように設定する。
（２）カメラ監視機３の初期動作時に地面に対して画の底辺が平行になる画像処理プログラムを動作させる。
（３）監視機３，４に搭載された地磁気センサーの検知信号に基づきを天頂へ監視機３，４を向けることで初期化を行い、零点とする。レーザーレーダー監視機２も地磁気センサーを取り付けることで地面からの垂直方向を基準にして初期設定が可能である。
（４）中央制御装置１に構成される判断器に機械学習を入れることで、鳥と、ドローンの別を速度ベクトル変化で判断する。データ照合により無機物、有機物の判断が可能である。
（５）レーザーレーダー監視機２から独立して１又は複数のカメラ監視機３を有するので、カメラ監視機３の設置位置が自由であり、広い範囲を１又は複数のカメラ監視機３でカバーすることが可能である。レーザーレーダー監視機２にカメラ監視機が一体に設置される場合は、周囲の監視領域をカメラでも監視するためにそのカメラ監視機の３６０度の水平回転や、直上方向と水平方向との間の大きなチルトが必要となる。本実施形態によれば、カメラ監視機３の設置位置が自由であり、図７に示すようにレーザーレーダー監視機２から離した１台や複数台を設置可能であり、カメラ監視機３の必要なパン、チルト角は小さくなり、監視が容易である。
（６）カメラ監視機３の設置位置がレーザーレーダー監視機２に近い場合は、レーザーレーダー監視機２の距離補正が可能である（カメラ監視機３の位置とレーザーレーダー監視機２の位置が正確に決定している場合）。
（７）レーザーレーダー監視機２の回転走査方向と逆方向にカメラ監視機３をパンして監視させることでレーザーレーダー監視機２の走査方向と逆方向へ移動している小型物体の発見の漏れを防ぐことができ、速度算出に必要な複数フレームでの移動体の捕捉が確保しやすい。
（８）レーザーレーダー監視機２は全天球高速スキャン可能なレーザーレーダーを搭載していることが好ましい。

　以上の実施形態にあっては、レーザーレーダー監視機２により他の監視機３，４の相対配置を特定したが、本発明はこれに限らず、複数のカメラ監視機３による他の一の監視機の検知情報や、複数の音響センサー監視機４による他の一の監視機の検知情報に基づき、それらの検知する方と当該他の一の監視機との相対配置を特定してもよい。例えば、２台のカメラで他の一の監視機を撮像した画像に基づき、当該２台のカメラの位置を基準にした当該他の一の監視機の位置は特定可能である。また、他の一の監視機から発信される音波や電波を３台の音響センサーや電波受信機で受信し、発信から受信までの時間差に基づき、当該３台を基準にした当該他の一の監視機の位置は特定可能である。
　また、以上の実施形態に拘わらず、レーザーレーダー、カメラ、音響センサー、電波センサーなどの検知手段を複合的に有した監視機を複数台配置して、いずれか一方から他方を又は互いに相対位置を計測することとしてもよい。
　基準座標としては、いずれか一の監視機固有の座標を採用せず、地球の経度緯度高度を採用してもよく、その場合、複数の監視機の相対配置がすべて判明し、かつ、少なくとも一つの監視機の配置が地球の経度緯度高度で定義されていれば、すべての監視機の経度緯度高度の情報を作成可能である。

　本発明は、複数の監視機を備えた監視システム及び複数の監視機の配置情報を構築する監視機配置情報構築プログラムに利用することができる。

１     中央制御装置
２     レーザーレーダー監視機
３     カメラ監視機
３１，３２    カメラ監視機
４     音響センサー監視機
４１，４２    音響センサー監視機
１０   標識
１１   正反射面
１２   散乱面
５０   円筒標識

Claims

複数の監視機と、当該監視機からの情報を制御する中央制御装置を備えた監視システムであって、
前記複数の監視機のそれぞれは、物体からの情報を検知するセンサーを有し、個々に任意の配置に設置可能であり、
前記中央制御装置は、
前記複数の監視機の一つにより他の監視機を検知させ、検知する監視機と検知される監視機との相対配置を特定し、基準座標上に、前記複数の監視機の配置を定義付けた配置情報を登録する監視機配置情報構築ステップを実行可能である監視システム。
前記中央制御装置は、１機ごとに前記監視機を制御し、その応答に基づき、当該監視機の前記配置情報と当該監視機が検知した検知情報とを関連付ける請求項１に記載の監視システム。
前記複数の監視機に、監視領域が可変である監視機が含まれ、前記中央制御装置が、当該監視機の前記配置情報に基づき当該監視機の監視領域を制御する請求項１又は請求項２に記載の監視システム。
前記複数の監視機にレーザーレーダーが含まれる請求項１から請求項３のうちいずれか一に記載の監視システム。
それぞれが、物体からの情報を検知するセンサーを有し、個々に任意の配置に設置可能である複数の監視機と、当該監視機からの情報を制御する中央制御装置を備えた監視システムにおける当該中央制御装置で実行される監視機配置情報構築プログラムであって、
前記複数の監視機の一つにより他の監視機を検知させ、検知する監視機と検知される監視機との相対配置を特定し、基準座標上に、前記複数の監視機の配置を定義付けた配置情報を登録する監視機配置情報構築ステップを、中央制御装置に備わるコンピューターに実行させるための監視機配置情報構築プログラム。