JP6195449B2 - 撮影システム - Google Patents

Description

本発明は、監視領域に進入した自動車等の進入物体を飛行ロボットから撮影する撮影システムに関し、特に、自動車の車体色を特定する情報を適切に撮影する撮影システムに関する。

従来、建物とその周辺の監視領域に各種センサを設置し、センサが異常を検出すると、異常検知した場所に移動ロボットが移動して監視領域を撮影する監視システムが提案されている。
例えば、特許文献１には、火災を検出するセンサや侵入者を検出するセンサからの信号に基づいて、地上走行型の移動ロボットが異常発生の場所に移動して異常状況を撮影する監視システムが開示されている。このような監視システムは、駐車場が設けられているような工場やショッピングモールなど広範囲な監視領域を監視することがある。特許文献１のシステムでは、移動ロボットは、センサが異常を検知した場所まで走行して、その異常発生場所の撮影や監視センタへの通報などを実行している。

特開２００９−１８１２７０号公報

ところで、工場等の建物に侵入して工場内の物品を盗むような賊は、金庫等の運び出しや逃走を容易にするために自動車を使用することが多い。つまり、工場等の駐車場に自動車を駐車し、その後に工場内に侵入を試みることが多い。監視システムにとって、賊を特定するためには、自動車に関連する情報は有用であり、特に自動車の車体色の情報は、検問や指名手配を行った際に不審車両の特定に活用できるなど、その後の捜査にとって非常に有用な情報となる。

従来の監視システムでは、例えば駐車場のゲートにセンサが設置されている場合、ゲートで自動車を検出し、移動ロボットがそのセンサの設置場所であるゲートに到着およびその途中を撮影して得られた画像を処理し、自動車の車体色を判別して、その情報をセンタに送信することが可能である。この際、監視システムは、自動車を特定するのに有用な情報を得るように撮影するのが好ましい。

しかしながら、自動車の駐車方法は、賊の性格や駐車場の状況などによって、予め予想できるものではない。このため、自動車の車体色が分かるように、移動ロボットが自動車を撮影するのが困難になる場合がある。

例えば、カラーの可視光カメラを用いて自動車を撮影し、車体色を判別しようとしても、昼間に得られた画像と夕方に得られた画像とでは、太陽光の影響で色合いが変化し、自動車が白色であっても夕方に撮影すると橙色と判別される可能性がある。さらには夜間であっても、駐車場に設置されている照明装置や、近隣の商業施設の外壁に設置された電飾広告装置からの光成分によっては、人の目視による色と異なる印象の色合いになる可能性があるという課題があった。

さらには、移動ロボットが車体色を判別するための専用の照明装置も備えており、その照明装置を点灯した状態での画像を取得して車体色の判別を行おうとしても、移動ロボットが自動車の車体の平らに近い面に正対するよう位置することができるとは限らない。車体を斜めに見込む位置で撮影すると、専用の照明装置を備えたにもかかわらず、既に述べた自動車の周囲の光成分が映り込み、その影響が無視できず、正確な色判定ができないという課題があった。

そこで、本発明は、飛行ロボットが、監視領域に進入した自動車の特徴の一つである車体色を判別可能に撮影できる撮影システムの実現を目的とする。

本発明は、かかる目的を達成するために、撮影機能を有し監視領域を飛行移動できる飛行ロボットと、飛行ロボットに監視領域に存在する進入物体を撮影させる制御部から構成される撮影システムであって、飛行ロボットは、複数の波長帯域において所定以上の照射強度特性を有し点灯と消灯を制御可能な照明手段と、照明手段の点灯時に進入物体を撮影した点灯時画像および照明手段の消灯時に進入物体を撮影した消灯時画像を取得する撮影手段と、を備え、制御部は、点灯画像と消灯画像との比較により進入物体の色彩情報を検出する色彩検出手段と、少なくとも色彩情報を出力する出力手段と、を有することを特徴とした撮影システムを提供する。

これにより、本発明は、照明の点灯時と消灯時にそれぞれ取得した画像を比較することにより、環境光の影響を排除して、進入物体の色を精度良く判定することができる。

また、飛行ロボットは、さらに、照明手段が所定以上の照射強度特性を有する波長帯域に対応した帯域透過フィルタを複数有し、色彩検出手段は、撮影手段が、同一の帯域透過フィルタを介して取得した点灯時画像および消灯時画像を比較して色彩情報を検出することが好適である。

これにより、照明の点灯時と消灯時にそれぞれ取得する画像について、撮影手段に入射される光の波長成分を既知のものに制御することが可能となり、どの波長成分について強い反射光が得られたかがわかるため、撮像手段がモノクロタイプであっても色判定ができる。

また、照明手段は、互いに異なる波長の光を照射する複数の発光ダイオードとするのが好適である。

これにより、可視光領域でほぼ均一な照射特性を持つ理想的な白色光源が入手できなくても、消費電力と発熱量の点で有利な複数の発光ダイオード（ＬＥＤ）を用いることで色判定が可能となる。

また、撮影システムは、さらに、監視領域の監視空間マップにおける物体位置を計測する物体センサを有し、制御部は、さらに、監視領域を表す監視空間マップを記憶する記憶部と、物体センサが計測した物体位置の変化から進入物体を検出する物体センサ信号解析手段と、進入物体の一部と正対する撮影位置に飛行ロボットを飛行させる飛行制御手段とを有し、色彩検出手段は、飛行ロボットが撮影位置に飛行した時に取得された点灯時画像と消灯時画像とを用いて色彩情報を検出することが好適である。

これにより、飛行ロボットを進入物体の一部と正対する位置に飛行させてから撮影することで自動車の周囲の光成分の映り込みを避け、照明から照射した光を色判定に十分な強度にて反射光としてとらえることが可能となり、色判定の精度が向上する。

これにより本発明は、環境光の影響を受けやすい環境においても、監視領域に進入した自動車の特徴の一つである車体色を判別可能に撮影できる。

飛行ロボットの飛行イメージを説明する図 飛行ロボットの機能ブロック図 監視システムの全体構成図 警備装置の機能ブロック図 ロボ制御モジュールの機能ブロック図 飛行ロボットの撮影条件を示す図 車体色パラメータを示す図 レーザセンサの検知エリアを示す図 自動車検出時の撮影と車体色判別フロー 第２の実施の形態における飛行ロボットの機能ブロック図 第２の実施の形態における撮像の手段の構成を示す図 第２の実施の形態における自動車検出時の撮影と車体色判別フロー 第２の実施の形態における記憶部の車体色パラメータを示す図

以下、本発明にかかる撮影システムを監視システムに適用した第１の実施の形態について説明する。

図３は、監視システム１の全体構成を模式に示した図である。監視システム１は、監視領域Ｅに設置される警備装置２、飛行ロボット３、レーザセンサ４、建物内センサ５と、ネットワークを介して接続される監視センタ内に設置されたセンタ装置６から構成されている。センタ装置６は、警備装置２とＩＰ網にて接続され、警備装置２から飛行ロボット３の撮影した画像や建物内センサ５の検知信号などを受信し、モニタに表示する。なお、監視員は、このモニタを視て監視領域Ｅの状況を把握し、適切な対応を実行する。また、ネットワークをＩＰ網として説明しているが、一般公衆回線網、携帯電話網など画像の送受信に支障がなければこれに限るものではない。

飛行ロボット３は、警備装置２からの無線による飛行制御信号を受信して、所定の目標位置まで撮影しながら飛行し、撮影した画像を警備装置２に送信する。図２は、飛行ロボット３の機能ブロックを示した図である。
飛行ロボット３は、警備装置２との無線通信を行うためのアンテナ３１、上昇／下降／方向転換／前進などの飛行するための４つのロータ３２、ロータ３２に駆動力を提供するモータ等からなるロータ駆動部３３、鉛直下方にレーザーを投受光して自機の現在高度を計測する高度センサ３４、水平方向かつ周囲にレーザーを投受光して自機の周辺状況を計測する測距センサ３５、監視領域Ｅに進入した自動車をカラー画像にて撮影するカメラ３６、自動車の色判定のために点灯し可視光領域において略一様な照射強度を有するＬＥＤ照明や白熱電灯からなる照明３７、カメラ３６の視野および照明３７の照射範囲に撮影対象の自動車が含まれるようカメラ３６と照明３７の方向を変える雲台３８５２、雲台３８５２を動かすための雲台駆動部３８５１、飛行ロボット３の全体を制御するロボ制御部３８、飛行ロボット３の各部に電気を供給するリチウムポリマー電池である電源３９から構成されている。

また、ロボ制御部３８は、アンテナ３１を介して警備装置２との無線通信を制御する通信制御手段３８１、カメラ３６の撮影開始／終了やカメラ３６が撮影した画像を取得して通信制御手段３８１から警備装置２へ送信するなどの処理をするカメラ制御手段３８２、測距センサ３５および高度センサ３４が測定した高度情報および自機周辺物体と自機との距離データなどをスキャンデータとして通信制御手段３８１から警備装置２へ送信するなどの処理をするスキャン手段３８３、警備装置２からの飛行制御信号に基づいてロータ駆動部３３を制御して飛行ロボット３を目標位置に飛行するように制御する飛行制御手段３８４、雲台駆動部３８５１を制御する雲台制御手段３８５から構成されている。

次に、図１、図４を参照して、警備装置２について詳細に説明する。図１に示す監視領域Ｅの建屋Ｂの内部に警備装置２は設置されている。警備装置２は、建屋Ｂ内への侵入者を検知するための適宜の場所に設置された建物内センサ５、監視領域Ｅ内であって駐車場等の建屋Ｂの外を検知領域とするレーザセンサ４とそれぞれ接続されている。

図４は、警備装置２の機能ブロックを示す図である。警備装置２は、監視領域Ｅを監視センタが監視する警備セット状態と監視センタで監視しない警備解除状態との切替え操作を行う警備モード切替部２１と、レーザセンサ４や建物内センサ５などの各種センサからの信号の入力を受けるセンサインタフェース２２、飛行ロボット３と通信を行う飛行ロボット通信部２５、飛行ロボット３が撮影した画像、各種センサが検知した異常信号などについて、監視センタ６とネットワークを介して通信を行う監視センタ通信部２６、警備装置２の処理に必要なプログラムや各種のデータ、パラメータなどを記憶しているＲＯＭ／ＲＡＭなどの周辺部品にて構成される記憶部２４、および警備装置２の全体を統括制御するＣＰＵ、ＭＰＵなどから成る警備制御部２３から構成されている。

ここで、記憶部２４に記憶されている情報について説明する。監視空間マップ２４１は、監視領域Ｅを３次元にて表現した情報であって、地面から飛行ロボット３の飛行に必要な程度の高さまでの監視空間を表現したマップ情報である。本実施の形態では、監視領域Ｅと外部を仕切る塀の存在、建屋Ｂ、レーザセンサ４の設置位置などの予め監視空間内に存在している物体の情報が記憶されている。なお、監視空間マップ２４１には、建屋Ｂ内部の３次元情報も入っており、例えば扉や窓のように人が出入り可能な場所が登録されている。

建物内センサ配置情報２４２は、各建物内センサ５の監視場所の監視空間マップ２４１における位置情報である。これは、予め警備計画によって決められており、建物内センサ５ごとに監視空間マップ２４１上の位置が対応付けられている。

レーザセンサパラメータ２４３は、レーザセンサ４の監視空間マップ２４１における位置、レーザセンサ４の検知領域における位置と監視空間マップ２４１上の位置との対応関係を含む情報であり、レーザセンサ４にて物体検知した位置を監視空間マップ２４１上の位置に変換するためのパラメータである。

なお、各種パラメータ２４４は、そのほかに警備装置２が監視領域Ｅを監視するために必要な監視センタ６のＩＰアドレスや飛行ロボット３との通信のためのデータなど種々必要なパラメータである。記憶部２４には、これら以外に警備装置２の機能を実現するための各種プログラムが記憶されている。

車体色パラメータ２４５は、撮影対象の自動車の車体色を判定するための情報である。これについては図７を用いて後述する。

次に、警備制御部２３について詳細に説明する。なお、警備制御部２３は、記憶部２４には図示していないソフトウエアモジュールを読み出して、ＣＰＵ等にて各処理を行うものである。

レーザセンサ解析モジュール２３１は、センサインタフェース２２から入力されるレーザセンサ４の信号を解析処理するソフトウエアである。具体的には、レーザセンサ４がレーザー光にて検知エリアを走査した探査信号を時系列に解析する。検知エリアに新たな進入物体等がなければ、時系列に入力されるレーザセンサ４の探査信号はあまり変化しないので、移動物体なしとの解析結果となる。
他方、検知エリアに新たな進入物体等があれば、レーザセンサ４の探査信号に変化が生じるので、変化が出た検知エリアでの位置を解析して求める。更に、記憶部２４のレーザセンサパラメータ２４３を用いて、監視空間マップ２４１上の位置に変換し、進入物体の位置・大きさ・移動方向を算出し、進入物体を監視空間マップ２４１上で追跡する。また、進入物体が停止すると、その後の信号の変化がなくなるので、追跡していた自動車等の物体が、駐車したと判定することができる。
また、レーザセンサ解析モジュール２３１の解析結果は、後述する異常判定モジュール２３２やロボ制御モジュール２３３に出力される。

異常判定モジュール２３２は、警備モード切替部２１からの警備セット／解除信号、建物内センサ５、レーザセンサ４からの信号を受信し、監視領域Ｅに異常が発生したか否かを判定する。異常判定モジュール２３２は、警備モード切替部２１から警備セット信号を受信すると監視領域Ｅを警戒する警備セットモードとし、警備解除信号を受信すると監視領域Ｅを警戒していない警備解除モードに設定する。
そして、警備解除モードでは、建物内センサ５やレーザセンサ４からの検知信号を受信しても、特段の処理は行わない。
他方、警備セットモードでは、建物内センサ５やレーザセンサ４からの検知信号を受信すると異常発生と判定し、監視センタ通信部２６から監視センタ６に異常通報する。
異常通報とともに、ロボ制御モジュール２３３に対して飛行ロボット３の起動制御を実行する。そして、飛行ロボット通信部２５から受信した飛行ロボット３が撮影した画像を監視センタ通信部２６から監視センタ６に送信する処理を異常状態の解除がされるまで継続する。なお、異常状態の解除方法は種々存在するが、本発明との関連性が低いので説明は省略する。

ロボ制御モジュール２３３は、異常判定モジュール２３２にて飛行ロボット３の起動信号を受けると、飛行ロボット通信部２５から飛行ロボット３の飛行制御を行う。

ここで、図５を参照してロボ制御モジュール２３３を詳細に説明する。図５は、ロボ制御モジュール２３３の機能ブロック図である。ロボ制御モジュール２３３は、飛行ロボット３が到達するべき目標位置を決める目標位置設定手段イと、目標位置設定手段イが設定した目標位置に到達するための飛行経路を算出する飛行経路算出手段ロと、飛行経路算出手段ロが算出した飛行経路にて飛行するように飛行ロボット３へ飛行制御信号を生成して送信するロボ制御手段ハと、飛行ロボット３の監視空間マップ２４１上における現在の飛行位置を算出する飛行位置算出手段ニから構成されている。

目標位置設定手段イは、レーザセンサ解析モジュール２３１が自動車の駐車を検出すると、監視空間マップ２４１における当該自動車の側面の真横の位置であって、自動車全体を撮影できる程度にその自動車から離れ、１ｍ程度の高度を目標位置に設定する。同時に、飛行ロボット３が自動車の側面全体を撮影可能とするために、目標位置設定手段イは、飛行ロボット３に搭載されている照明３７とカメラ３６を水平方向に向けるように雲台制御手段３８５への制御信号を出力するよう設定する。目標位置を自動車の側面真横の位置とするのは、自動車の車体は緩やかな曲面で構成されていることが多いため、照明３７から照射した光をできるだけカメラ３６で捉えられるよう平面に正対していると考えても差し支えないドア付近を撮影するようにするためである。

または、目標位置設定手段イは、レーザセンサ解析モジュール２３１が算出した進入物体である自動車の監視空間マップ２４１上の位置の直上の５ｍ程度の高度を目標位置とする。なお、ここで、５ｍ程度というのは、飛行ロボット３が自動車の全体を撮影可能な程度の高さである。同時に、飛行ロボット３が自動車の全体を撮影可能とするために、目標位置設定手段イは、飛行ロボット３に搭載されている照明３７とカメラ３６を鉛直下方向に向けるように雲台制御手段３８５への制御信号を出力するよう設定する。
目標位置を自動車の直上の位置とするのは、目標位置を自動車の側面にする場合と同じくできるだけ照明３７から照射した光をできるだけカメラ３６で捉えられるよう天井部分を撮影するためである。

なお、本実施の形態では、車体色の判定は、後述する画像処理モジュール２３４が行っているが、監視センタ６のモニタに表示された飛行ロボット３が撮影した画像を監視員が目視して確認判定し、確認できた旨の信号を警備装置２に送信するようにしてもよい。

図４に戻って、画像処理モジュール２３４は、飛行ロボット通信部２５から受信した飛行ロボット３が撮影した画像を処理する。
画像処理モジュール２３４が行う自動車を撮影した画像から車体色を判定する処理について、図６と図７を参照して説明する。

図６（ａ）は、飛行ロボット３が自動車７を右側面から撮影する様子を模式的に示している。飛行ロボット３は、ロボ制御モジュール２３３の目標位置設定手段イが設定した自動車７の右側面まで飛行する。そして、ロボ制御モジュール２３３が出力した飛行制御信号に含まれている雲台３８５２を制御するための信号を参照して、雲台駆動部３８５１により、照明３７とカメラ３６が水平方向に向くよう雲台３８５２を駆動させる。
飛行ロボット３が自動車７の右側面まで飛行し、照明３７とカメラ３６が水平方向を向くと、ロボ制御手段３８は照明３７を点灯して、カメラ制御手段３８２により制御されたカメラ３６は自動車７の右側面を含む画像を取得する。続いて、ロボ制御手段３８は照明３７を消灯して、同じく自動車７の右側面を含む画像を取得する。そして、取得した画像をアンテナ３１から送信し、警備装置２は、飛行ロボット通信部３５にて受信し、画像処理モジュール２３４に入力する。

図６（ｂ）に示す画像Ｉ４は、飛行ロボット３が自動車を右側面から撮影したカラー画像である。なお、自動車の車体色が左右で異なる可能性を考慮する場合は、右側と右側の両方の画像を用いることとなる。
画像処理モジュール２３４は、画像Ｉ４を取得すると、自動車のタイヤ・車体・窓などの自動車の特徴情報を用いたセグメンテーション法により、画像中から自動車部分の領域７１を特定して、自動車の画像を図６（ｃ）のように抽出する。

図６（ｄ）は、飛行ロボット３が自動車７を直上から撮影する様子を模式的に示している。飛行ロボット３は、ロボ制御モジュール２３３の目標位置設定手段イが設定した自動車７の直上まで飛行する。そして、ロボ制御モジュール２３３が出力した飛行制御信号に含まれている雲台３８５２を制御するための信号を参照して、雲台駆動部３８５１により、照明３７とカメラ３６が鉛直下方向に向くよう雲台３８５２を駆動させる。
飛行ロボット３が自動車７の直上まで飛行し、照明３７とカメラ３６が鉛直下方向を向くとロボ制御手段３８は照明３７を点灯して、カメラ制御手段３８２により制御されたカメラ３６は自動車７の上面、特に天井部分を含む画像を取得する。続いて、ロボ制御手段３８は照明３７を消灯して、同じく自動車７の上面を含む画像を取得する。そして、取得した画像をアンテナ３１から送信し、警備装置２は、飛行ロボット通信部３５にて受信し、画像処理モジュール２３４に入力する。

図６（ｅ）に示す画像Ｉ５は、飛行ロボット３が自動車を直上から撮影したカラー画像である。
画像処理モジュール２３４は、画像Ｉ５を取得すると、自動車の車体・窓などの自動車の特徴情報を用いたセグメンテーション法により、画像中から自動車部分の領域７３を特定して、自動車の画像を図６（ｆ）のように抽出する。
飛行ロボット３を自動車の側面または直上に移動させる理由は、前述通り、照明３７から照射した光をできるだけカメラ３６にて捉えるためであり、飛行ロボット３の位置が自動車の側面か直上かの違いは色の判定には影響を与えない。そこで、以下では、図６（ａ）〜（ｃ）を用いて説明する。

画像処理モジュール２３４は、自動車の画像から、そのほぼ中心付近の小領域７２（図６（ｆ）では符号７４で示される領域）のカラー情報（ＲＧＢ値）を調べる。そのために小領域７２の含まれる各画素についてＲＧＢ値を調べて、その小領域７２全体の画素値について集計し、ＲＧＢ値それぞれの平均輝度を求める。
自動車の画像全体ではなく、小領域７２についてカラー情報（ＲＧＢ値）を調べるのは、飛行ロボット３を自動車の側面または直上に移動させて、カメラ３６と照明３７と正対する面に照明３７からの光を照射しても、小領域７２の外では照明３７から照射した光はカメラ３６では捉えることができない方向に反射することが考えられるためである。この場合、小領域７２の外に位置する画素からカラー情報（ＲＧＢ値）を調べても、色判定の精度が望めない。
但し、照明３７から照射した光が強すぎ、カメラ３６で取得した画像中で白く飽和して映ってしまう場合には、その飽和した領域のすぐ外側の飽和していない領域からＲＧＢ値の平均輝度を求めることとする。白く飽和したか否かは、ＲＧＢ値の輝度表現にて、いずれの成分値もほぼ最高の値、例えば２５５に近い値となったか否かで判定できる。

このＲＧＢ値それぞれの平均輝度を、照明３７を点灯したときにカメラ３６が取得した点灯時画像、照明３７を消灯したときにカメラ３６が取得した消灯時画像のそれぞれから求める。以下、点灯時画像から求めた小領域７２の平均輝度を点灯平均輝度、消灯時画像から求めた小領域７２の平均輝度を消灯平均輝度と呼ぶことにする。
画像処理モジュール２３４は、点灯平均輝度のＲＧＢ値から消灯平均輝度のＲＧＢ値をそれぞれ引き算する。その結果を以下、反射平均輝度と呼ぶことにする。そして、画像処理モジュール２３４は、図７に示す車体色パラメータ２４５を参照し、小領域７２の色を特定する。

即ち、画像処理モジュール２３４は、求めた反射平均輝度のＲＧＢ値の組合せを図７に示す車体色パラメータ２４５を参照し、最も近い組合せをその小領域の色と特定する。
図７に示す車体色パラメータ２４５は、無彩色の白色、黒色、灰色を含む８つの色が、ＲＧＢ値としてどのような組合せとして表現されるかを示したものである。

例えば、小領域７２のＲＧＢ値の反射平均輝度の組合せが（２２０，３０，６０）であった場合、自動車７の車体色は赤色と特定する。同様に、小領域７２のＲＧＢ値の反射平均輝度の組合せが（１１０，１１０，１１０）であった場合には、各成分が均等の明るさであるので、自動車７の車体色は灰色と特定する。

消灯平均輝度は、照明３６を消灯したときに得られた輝度であり、監視領域Ｅの環境光の成分のみを捉えたものである。これに対して点灯平均輝度は、照明３６を点灯したときに得られた輝度であるため、監視領域Ｅの環境光の成分に加えて、照明３６の光の成分をも捉えたものとなっている。従って、点灯平均輝度から消灯平均輝度を引いて得られた反射平均輝度は、環境光の成分が含まれず、照明３６のみによる輝度値となっている。すなわち、照明３７は可視光領域において略一様な照射強度を有するものを用いており、反射平均輝度は、環境光の影響を受けず、自動車７の車体色を捉えた輝度値となっている。そこで、反射平均輝度を用いることで、監視領域Ｅに元々設置されている照明装置や、太陽光の影響を排除して自動車７の車体色を正確に判定できる。

図３に戻って、レーザセンサ４は、屋外に設置されて、監視領域Ｅの駐車場や建屋Ｂの周囲への進入を監視している。図８は、レーザセンサ４の検知エリアを示した図である。同図に示すように、レーザセンサ４−１が監視領域Ｅの左上から建屋Ｂ方向を検知エリアとして設置され、レーザセンサ４−２が監視領域Ｅの右下から建屋Ｂ方向の裏手を検知エリアとするように設置されている。

レーザセンサ４は、予め設定された検知エリアを走査するように、放射状にレーザー光である探査信号を送信し、検知エリア内の物体に反射して戻ってきた探査信号を受信する。そして、送信と受信の時間差から物体までの距離を算出し、その探査信号を送信した方向と算出した距離を求める。

そしてレーザセンサ４は、所定周期で検知エリアを走査した走査単位の結果を警備装置２に送信する。これにより、警備装置２のレーザセンサ解析モジュール２３１にて、監視領域Ｅにおける屋外での物体の配置状況や進入物体の有無、自動車の追跡などが可能となる。本実施の形態では、地上を走行する自動車の進入監視を目的としているため、水平方向に１段での走査としているが、監視目的によっては、鉛直方向に複数段の走査をするようにしてもよい。

建物内センサ５（５ａ〜５ｆ）は、図１に示すように、建屋Ｂ内の各所に適宜に設置されている。例えば、窓や扉には、窓や扉の開閉を検出するマグネットセンサ、ガラス窓にはガラス破壊センサ、部屋の内部には人体を検出する赤外線センサ、画像にて侵入者などを検出する画像センサなどが適宜の場所に設置されている。なお、建物内センサ５ごとに、監視空間マップ２４１上の検知箇所と対応付けて警備装置２に建物内センサ配置情報２４２として記憶されている。

次に、このように構成された監視システム１の動作イメージについて、図１を参照して説明する。図１は、警備セットモード中に、自動車７が進入した後、駐車されたときの状況を示している。自動車７が進入してくると、レーザセンサ４の信号に基づき、警備装置２にて異常を検出する。そして、警備装置２は、異常の発生に伴って監視センタ６に異常通報するとともに、飛行ロボット３の制御を開始する。建物内センサ５のいずれかが人体を検出したことを、飛行ロボット３の制御の開始の条件に加えても良い。

ここで、警備装置２による自動車７の色判定の処理について、図９を参照して説明する。図９は、自動車７の検出時における警備装置２の処理フローである。まず、自動車７を検出すると、目標位置設定手段イは、レーザセンサ解析モジュール２３１が解析した自動車７の重心位置から、所定の距離離れた高度１ｍ程度の位置を監視空間マップ２４１上の位置を目標位置に設定する（Ｓ９１）。
自動車７の重心位置からの所定距離とは、飛行ロボット３が備えるカメラ３７が自動車７の側面全体を撮影できる程度の距離であり、カメラ３７の撮像素子の大きさやレンズの焦点距離などから適宜決められる。
自動車７の重心位置は、レーザセンサ解析モジュール２３１が、レーザセンサ４からの信号を処理することで検出できる。

そして、飛行経路算出手段ロは、ステップＳ７１にて設定された目標位置、飛行ロボット３の現在位置、監視空間マップ２４１を用いて既定の経路探索アルゴリズムにより、飛行経路を計算する。既定の経路探索アルゴリズムは、現在位置と目標位置を設定すれば、監視空間マップ２４１の配置状況および飛行ロボット３の大きさ等を考慮して、安全にかつ最短で到着できる経路を算出する。
さらに、ロボ制御手段ハは、飛行ロボット３が飛行経路算出手段ロの算出した経路を飛行できるように、飛行ロボット３の制御信号を算出する。具体的な制御信号は、飛行ロボット３にある４つのロータ３２のそれぞれの回転数である。そして、飛行ロボット通信部２５から無線信号にて制御信号を送信する（Ｓ９２）。

なお、飛行ロボット３は、起動信号を受信するまでは、所定の待機位置に所在しているので、その位置が現在位置となっている。その他のときは、飛行ロボット３のスキャン手段３８３が取得したスキャンデータを受信し、このスキャンデータが監視空間マップ２４１に合致する場所を算出することにより、飛行ロボット３の現在位置を算出する。なお、本実施の形態では、スキャンデータに基づいて現在位置を算出しているが、これに限らず飛行ロボット３にＧＰＳ信号の受信機能を設けて、ＧＰＳ信号に基づいて現在位置を算出してもよい。

飛行ロボット３は、アンテナ３１から制御信号を受信すると、受信した制御信号に基づいて飛行する。具体的には、アンテナ３１から受信した制御信号を飛行制御手段３８４に入力し、ロータ駆動部３３から各ロータ３２の回転数を個別に制御して飛行する。

ここで、図９に示すフローに記載しなかったが、飛行ロボット３が最初に制御信号を受信すると、カメラ制御手段３８２がカメラ３６を起動および、撮影した画像を警備装置２に送信を開始する。また、スキャン手段３８３が測距センサ３５、高度センサ３４を起動し、スキャンデータを警備装置２に送信を開始する。ちなみに、図１は、飛行ロボット３が駐車場所を探している自動車７を、側面方向および直上の位置から自動車７の全体像を撮影している状況を示している。

次に、警備装置２は、飛行ロボット３が、自動車７を、照明３７を点灯した状態で撮影した点灯時画像を取得する（Ｓ９３）。警備装置２は、取得した点灯時画像を、記憶部２４の図示しない一時記憶領域に一時記憶する。

続いて警備装置２は、飛行ロボット３が、自動車７を、照明３７を消灯した状態で撮影した消灯時画像を取得する（Ｓ９４）。警備装置２は、取得した消灯時画像を、記憶部２４の図示しない一時記憶領域に一時記憶する。

画像処理モジュール２３４は、ステップＳ９３で取得した点灯時画像から点灯平均輝度を算出し、ステップＳ９４で取得した消灯時画像から消灯平均輝度を算出して、反射平均輝度を求める。そして、車体色パラメータ２４５を参照して、自動車７の車体色を判定する（Ｓ９５）。具体的な方法は、画像処理モジュール２３４の説明箇所で述べたとおりである。

警備制御部２３は、画像処理モジュール２３４が判定した車体色の情報を、監視センタ通信部２６を経由して監視センタに送信する。飛行ロボット３が撮影した消灯時画像と点灯時画像の少なくともいずれかを同時に送信すると、監視センタに設置されているセンタ装置６のモニタに表示が可能であるので、監視員の目視確認に活用できる。

以上のように、本発明にかかる撮影システムを適用した監視システムは、不審車両が監視領域に進入してきた自動車の車体色を、環境光の影響を受けずに判定可能であり、車体色の情報を自動的に、あるいは監視員が電話や無線にて然るべき連絡先に通知できる。例えば、検問や指名手配を行うにあたって、不審車両を特定するための有用な情報とすることができる。さらには自動車を撮影した画像を監視センタのモニタに表示させ、監視員が目視確認することで、微妙な色を人間の知識で補いつつ、車種情報なども通知することができる。

次に、本発明にかかる撮影システムの第２の実施形態である監視システムについて述べる。これまで述べてきた監視システムでは、飛行ロボット３に搭載されたカメラ３６はカラーカメラであることを前提に、撮影した画像からカラー情報（ＲＧＢ値）を取得するものとしたが、以下に述べる第２の実施の形態では、モノクロカメラを使った場合について述べる。

図１０は、第２の実施の形態にかかる飛行ロボット３の機能ブロック図であり、図２に対応するものである。以下では、図２の説明と共通する部分はその説明を省略するが、図２と比較して、カメラ３６ｂがモノクロカメラであることと、フィルタホイール駆動部３８６１、フィルタホイール３８６２、ロボ制御部３８にフィルタ制御手段３８６が追加されていることが異なる。

図１１（ａ）に第２の実施の形態にかかる、飛行ロボット３に搭載される撮像機能に関連する機器構成を模式的に示す。
照明３７は、第１の実施例と同じなので説明を省略する。
第２の実施の形態では、自動車を撮影する手段として、モノクロタイプのカメラ３６ｂを用いる。モノクロタイプのカメラでは、カメラからの出力には色情報が含まれないが、それを補うため、フィルタホイール３８６２と、それを駆動するためのフィルタホイール駆動部３８６１を備えている。

図１１（ｂ）は、フィルタホイール３８６２の構成を示す図である。フィルタホイール３８６２には、光の波長に関し、透過特性の異なる５枚のバンドパス（帯域透過）タイプのフィルタ３８６２ａ〜ｅが装着されている。また各フィルタの透過特性１１００を図１１（ｃ）に模式的に示している。
フィルタ３８６２ａは、４３０［ｎｍ］にピークがある透過特性を有し、主に紺色の光を透過する性質を持つ。透過特性を示すグラフを図１１（ｃ）の符号１１００ａに示す。
フィルタ３８６２ｂは、４８０［ｎｍ］にピークがある透過特性を有し、主に深緑色の光を透過する性質を持つ。透過特性を示すグラフを図１１（ｃ）の符号１１００ｂに示す。
フィルタ３８６２ｃは、５２０［ｎｍ］にピークがある透過特性を有し、主に緑色の光を透過する性質を持つ。透過特性を示すグラフを図１１（ｃ）の符号１１００ｃに示す。
フィルタ３８６２ｄは、５８０［ｎｍ］にピークがある透過特性を有し、主に橙色の光を透過する性質を持つ。透過特性を示すグラフを図１１（ｃ）の符号１１００ｄに示す。
フィルタ３８６２ｅは、６３０［ｎｍ］にピークがある透過特性を有し、主に赤色の光を透過する性質を持つ。透過特性を示すグラフを図１１（ｃ）の符号１１００ｅに示す。

フィルタ３８６２ｆは、各波長帯について一様な透過特性を有する透明のフィルタを装着する。これは、上記何れのフィルタを介して撮影しても、人間の目には、実際とは大きく明るさが異なる画像が得られるが、そのような画像は監視センタ６にいる監視員が目視確認するには適さない。そこで、実際と同じ明るさの画像を表示するため、透過波長に依らず撮影する際に用いられるものである。透明のフィルタ３８６２ｆの代わりに、何もフィルタ類を有さず、カメラ３６ｂのレンズが直接露出するようにしてもよい。
なお、図１１に示したフィルタの枚数と、それぞれのフィルタが有する透過特性は例示であり、互いに透過特性のピークが重ならないよう、かつ可視光波長領域において均等な間隔でピークを有するように構成するのが好適である。

次に、第２の実施の形態における、警備装置２による自動車７の色判定の処理について、図１２を参照して説明する。図１２は、第１の実施の形態における図９に対応するものであり、図９のステップＳ９１とＳ９２とＳ９６は、図１２のステップＳ１２１とＳ１２２とＳ１２５とそれぞれ同様なので説明は省略する。

飛行ロボット３は、自動車７の右側面の全体を撮影できる位置に飛行すると、まず照明３７を点灯して、カメラ３６ｂにて撮影する（Ｓ１２３）。その際、カメラ制御手段３８２がカメラ３６ｂを制御して、自動車７の右側面の全体を含む画像を１枚取得するたびに、フィルタ制御手段３８６が、フィルタホイール３８６２をフィルタ１枚分だけ回転するように制御信号をフィルタホイール駆動部３８６１に出力する。これを図１１（ｂ）に示すフィルタ３８６２ａ〜ｅの枚数である５回繰り返す。なお、フィルタ３８６２ｆによる画像は目視確認用であり色判定には用いないので、必須ではない。

次に、飛行ロボット３は、照明３７を消灯して、カメラ３６ｂにて撮影する。その際、照明３７を点灯して撮影した場合と同様に、カメラ制御手段３８２がカメラ３６ｂを制御して、自動車７の右側面の全体を含む画像を１枚取得するたびに、フィルタ制御手段３８６が、フィルタホイール３８６２をフィルタ１枚分だけ回転するように制御信号をフィルタホイール駆動部３８６１に出力する。これを図１１（ｂ）に示すフィルタ３８６２ａ〜ｅの枚数である５回繰り返す。なお、フィルタ３８６２ｆによる画像は目視確認用であり色判定には用いないので、必須ではない。

照明３７の点灯の有無に対してフィルタ３８６２ａ〜ｅそれぞれを用いた撮影を行うことで合計１０枚の画像が取得されることになる。
そして、それぞれの画像から、第１の実施の形態における図６（ｃ）に示した小領域７２における輝度情報を用い、図１３に示す車体色パラメータ２４５ｂを参照して車体の色を判定する（Ｓ１２４）。
図１３の車体色パラメータ２４５ｂは、第１の実施の形態における図４に示した車体色パラメータ２４５に相当するものである。第２の実施の形態では、フィルタ３８６２ａ〜ｅを用い、照明３７の点灯時に取得した点灯時画像と消灯時に取得した消灯時画像から小領域７２の輝度値について、第１の実施の形態と同様に反射平均輝度を求める。

まずフィルタ３８６２ａがカメラ３６ｂの前に位置したときの、点灯時画像における点灯時平均輝度から、消灯時画像における消灯時平均輝度を引き算して反射平均輝度を求める。この処理を以下フィルタ３８６２ｂ〜ｅまで繰り返し、合計５つの反射平均輝度を求め、図１３の車体色パラメータ２４５ｂと比較して、最も近いものを特定する。
５つの反射平均輝度を、フィルタ３８６２ａに対応するものから順番に並べた場合、それが例えば（１０，１５，８，１２，２３５）となった場合、最も近いのは赤色の（０，０，０，０，２５５）であるので、監視領域Ｅに存在し、飛行ロボット３が撮影する自動車７の車体色は赤色であると画像処理モジュール２３４は判定する。同様に例えば５つの反射平均輝度を並べた場合に、（１２０，１１５，１３０，１２４，１１９）であった場合には自動車７の車体色は灰色であると、画像処理モジュール２４５は判定する。

第２の実施の形態では、色情報の出力は本来不可能なモノクロタイプのカメラ３６ｂを用いるが、色判定に十分な数の帯域透過フィルタを用いることで、順次自動車７からの色ごとの反射強度を求めることで、色判定が可能となる。この際、第１の実施の形態と同様に照明３７の点灯時の輝度から、消灯時の輝度を引き算することで、環境光の影響を排除した状態で判定できる。

以上述べてきた第１の実施の形態、第２の実施の形態の何れの場合も、照明の点灯時に取得した画像と消灯時に取得した画像との比較により、監視領域の環境光の影響を排除して自動車の色判定が可能となる。特に自動車の車体において、ほぼ平らな面が広がっていると考えられるドア部分や天井部分を撮影すべく、車体の側方や車体の上方に飛行ロボットを飛行させてから撮影することで、環境光の映り込みを避けた状態で照明から照射された光がほぼ全てカメラで捉え、正確な色判定が可能となる。

なお、本発明にかかる実施の形態として、別の形態も考えられる。
例えば、これまでの説明では、飛行ロボットに搭載する照明は、少なくとも可視光領域において略一様な照射強度を有するＬＥＤ照明や白熱電灯からなるものとして説明してきたが、色判定処理に必要な波長を照射するＬＥＤを複数並べて、それぞれのＬＥＤを点灯させたときの画像を取得して色判定に用いても良い。
第１の実施の形態では、ＲＧＢそれぞれの光を照射するＬＥＤを並べて、赤色のＬＥＤのみを光らせたときの点灯時画像、緑色のＬＥＤのみを光らせたときの点灯時画像、青色のＬＥＤのみを光らせたときの点灯時画像をそれぞれ取得して色判定を行う。
第２の実施の形態では、フィルタホイールに装着した帯域透過フィルタのピーク波長と同じ波長の光を照射するＬＥＤを並べて、フィルタホイールの回転と各ＬＥＤの発光を同期させ取得した点灯時画像を取得する。例えば、赤色を照射するＬＥＤの点灯時に赤色を透過するフィルタをカメラの前に位置させて点灯時画像を取得する。同様に他のフィルタについても点灯時画像を取得すれば色判定が可能となる。

１・・・監視システム
２・・・警備装置（制御部）
３・・・飛行ロボット
４・・・レーザセンサ（物体センサ）
５・・・建物内センサ

Claims (3)

1. 撮影機能を有し監視領域を飛行移動できる飛行ロボットと、前記飛行ロボットに前記監視領域に存在する進入物体を撮影させる制御部から構成される撮影システムであって、
   前記飛行ロボットは、
   複数の波長帯域において所定以上の照射強度特性を有し点灯と消灯を制御可能な照明手段と、
   前記照明手段の点灯時に前記進入物体を撮影した点灯時画像および前記照明手段の消灯時に前記進入物体を撮影した消灯時画像を取得する撮影手段と、
   前記照明手段が所定以上の照射強度特性を有する波長帯域に対応した複数の帯域透過フィルタと、
   を備え、
   前記制御部は、
   前記撮影手段が、同一の前記帯域透過フィルタを介して取得した前記点灯時画像および前記消灯時画像を比較して前記進入物体の色彩情報を検出する色彩検出手段と、
   少なくとも前記色彩情報を出力する出力手段と、
   を有することを特徴とした撮影システム。
   
2. 前記照明手段は、
   互いに異なる波長の光を照射する複数の発光ダイオードからなることを特徴とした請求項１に記載の撮影システム。
   
3. 前記撮影システムは、さらに、前記監視領域の監視空間マップにおける物体位置を計測する物体センサを有し、
   前記制御部は、さらに、
   前記監視領域を表す監視空間マップを記憶する記憶部と、
   前記物体センサが計測した物体位置の変化から前記進入物体を検出する物体センサ信号解析手段と、
   前記進入物体の一部と正対する撮影位置に前記飛行ロボットを飛行させる飛行制御手段と
   を有し、
   前記色彩検出手段は、前記飛行ロボットが前記撮影位置に飛行した時に取得された前記点灯時画像と前記消灯時画像とを用いて前記色彩情報を検出する
   ことを特徴とした請求項１または２に記載の撮影システム。

Images