以下、本発明を適用したマーカ検出システムの実施の形態について図を参照しつつ説明する。
図1は、本発明を適用したマーカ検出システムの一例である警備システム1の全体システム構成を示す図である。図1に示すように、警備システム1は、店舗、オフィス、マンション、倉庫、家屋等の各監視対象物件2に設置される警備装置3と、インターネットや公衆電話回線などの通信網4を介して各警備装置3と接続される警備センタ装置5とを有する。また、各警備装置3には、監視対象物件2に設置された金庫等の監視対象物9が無くなった又は移動されたなどの異常を、監視対象物9を含む監視場所を撮影した監視画像に基づいて検出するための1以上の画像処理装置7が接続される。
警備装置3は、構内LANなどを介して接続された画像処理装置7からアラーム信号を受信すると、そのアラーム信号と、警備装置3、監視対象物9又は異常を検出した画像処理装置7の識別信号とを警備センタ装置5へ送信する。そのために、警備装置3は、画像処理装置7と通信するための通信インタフェースと、警備センタ装置5と通信するための通信インタフェースと、それらを制御するための制御ユニットを有する。
警備センタ装置5は、いわゆるコンピュータで構成され、通信網4を介して警備装置3と通信するための通信インタフェースと、液晶ディスプレイなどの表示装置とを備える。警備センタ装置5は、警備装置3から通信網4を介してアラーム信号を受信すると、そのアラーム信号に対応する監視対象物9及び検出された異常の内容を表示装置を通じて監視員に報知し、異常時の監視画像を表示する。監視員は、報知された異常の内容、及び、表示された監視画像を確認することにより、監視対象物件2を監視する。
監視対象物9である物体には、被写体の一例であるシール等のマーカ10が貼付され、マーカ10には、外光、監視場所に配置された光源からの色味の強い(色味を有する)光等の環境光が照射され得る。
図2(a)は、マーカ10の模式図である。マーカ10は、相互に色が異なる複数の色部材をつなぎ合わせた上に、相互に近赤外光の反射率が異なる複数の反射部材を重ね合わせることにより、形成される。
図2(b)は、複数の色部材について説明するための模式図である。図2(b)に示すように、マーカ10は、複数の色部材として、第1色(例えば黄色)を有する第1色部材121及び第1色と異なる第2色(例えば青色)を有する第2色部材122を有する。マーカ10の表面は、第1色部材121に対応する第1色領域101及び第2色部材122に対応する第2色領域102で構成される。第1色領域101は、第2色領域102の上側に配置される。なお、第1色部材121及び第2色部材122は、第1色及び第2色を有するカラーシートが貼付されても良いし、第1色及び第2色の塗料が着色されてもよい。
図2(c)は、複数の反射部材について説明するための模式図である。図2(c)に示すように、マーカ10は、複数の反射部材として、近赤外光を反射する性質を有する第1反射部材131及び第1反射部材131より反射率が低い第2反射部材132を有する。第1反射部材131は、第1反射率(例えば90%)を有し、第2反射部材132は、第1反射率より低い第2反射率(例えば5%)を有する。例えば、第1反射部材131として、再帰性反射材などの近赤外光を反射する近赤外光反射シートが用いられ、第2反射部材132として、近赤外光を吸収する近赤外光吸収シートが用いられる。なお、第1反射部材131及び第2反射部材132として、他の部材が用いられてもよい。マーカ10の表面は、第1反射部材131に対応する第1反射領域111及び第2反射部材132に対応する第2反射領域112で構成される。第1反射領域111は、第2反射領域112の上側に配置される。
図2(b)の第1色領域101及び第2色領域102と図2(c)の第1反射領域111及び第2反射領域112とを重ね合わせたマーカが図2(a)のマーカ10であり、マーカの表面は第1色領域101及び第2色領域102で構成され、さらに表面の一部の領域(第1色領域101の一部の領域)は第1反射領域111からなり、表面の一部以外の領域(第1色領域101に重畳された第1反射領域111以外の第1色領域101と第2色領域102の領域)は第2反射領域112からなる。
第1反射領域111及び第2反射領域112の面積比は、第1色領域101及び第2色領域102の面積比とは異なるように構成されている。具体的には、第1色領域101の面積と第2色領域102の面積は、略同一であり、一方、第1反射領域111の面積は、第2反射領域112の面積よりも小さい。また、第1反射領域111と第2反射領域112との面積比は、第1色領域101と第2色領域102との面積比とは異なる。第1色領域101の面積と第2色領域102の面積は、それぞれ第1反射領域111の面積よりも大きく且つ第2反射領域112の面積よりも小さくてもよい。なお、図2(a)のマーカ10のように、第1反射領域111はマーカ10の輪郭に接する位置に配置されている。また、第1色領域101及び第2色領域102の面積が略同一である範囲は、例えば第1色領域101の面積は第2色領域102の面積の0.9倍~1.1倍の範囲である。
なお、第1反射領域111には、近赤外光反射部材として近赤外光反射フィルムが貼付される代わりに、近赤外光を大きく反射する塗料が塗布されてもよい。同様に、第2反射領域112には、近赤外光吸収部材として近赤外光吸収フィルムが貼付される代わりに、近赤外光を大きく吸収する塗料が塗布されてもよい。
また、マーカ10の形状及び第1色領域101、第2色領域102第1反射領域111、第2反射領域112の形状は図2(a)のような矩形ではなく、円形又は三角形等でもよい。例えば、マーカ10が円形の場合、マーカ10の中心部分に円形状の第1色部材121と、その周囲にドーナツ形状の第2色部材122が設けられ、且つ、マーカ10の半円より小さい弓形の第1反射部材131はマーカ10の円弧に沿って配置しその他の領域に第2反射部材132を設ける。また、上記円形のマーカ10において第1反射部材131と第2反射部材132が配置される位置は、マーカ10の中心部分に円形状(第1色部材121と第2色部材122に跨る円形)の第2反射部材132が配置され、その周囲にドーナツ形状の第1反射部材131が配置されても良いし、またマーカ10の第1色部材121の内側に第1色部材121よりも小さい面積(反射光による膨張の影響が生じない大きさ)で第1反射部材131が配置され、その周囲にドーナツ形状の第2反射部材132が配置されても良い。又は、マーカ10には、中心部分の三角形状の第1色部材121と、その周囲の、第1色部材121に対応する形状の穴を有する三角形状の第2色部材122が設けられる。マーカ10には、さらに、第1色部材121の内側に配置される三角形状の第1反射部材131と、その周囲の、第1反射部材131に対応する形状の穴を有する三角形状の第2反射部材132が設けられる。なお、上記に示したように、マーカ10の形状と、各領域の形状が一致しなくても良い。これらの部材により、第1色領域101、第2色領域102、第1反射領域111及び第2反射領域112が構成される。
また、マーカ10の色は青・黄色以外でも良いが、カラー画像上での色の属性を表す値の差が顕著であるものが好ましい。例えばHSL色空間のH値即ち色相値を用いる場合、各色は第1色部材121の色の色相値と第2色部材122の色の色相値との差が180度に近くなるように選択されることが好ましい。同様に、マーカ10の表面が3色以上の色で構成(第1色領域101及び第2色領域102のそれぞれが異なる複数の色領域から構成)される場合、各色は、その色相値が0~360度の間で等間隔に並ぶように選択されることが好ましい。なお、第1色部材121の色の色相値と第2色部材122の色の色相差が0度に近くなるような選択にならなければ、どのような色を用いてもよい。
次に、画像処理装置7の詳細について説明する。図3に、画像処理装置7の機能ブロック図を示す。図3に示すように、画像処理装置7は、撮影部11と、照度センサ12と、照明部13と、通信部14と、記憶部15と、信号処理部16とを有する。
撮影部11は、CCDなど、可視光及び近赤外光に感度を有する光電変換器で構成された2次元検出器と、その2次元検出器上に監視場所の像を結像する結像光学系などで構成される。撮影部11は、一定の時間間隔(例えば1/5秒)にて撮影を行う。その結像光学系は、挿抜可能な赤外線カットフィルタ(以下、IRカットフィルタという)を有する。昼間モードでは、IRカットフィルタは2次元検出器の光路内に挿入され、カラー画像が撮影される。一方、夜間モードでは、IRカットフィルタは光路外へ外され、近赤外光画像が撮影される。
撮影部11は、信号処理部16が設定する二つの撮影モード(昼間モードと夜間モード)の何れかに従って撮影した監視画像を生成して出力する。
昼間モードは、監視場所が十分に明るいときに使用されることを想定した撮影モードである。撮影部11は、昼間モードでは、監視場所を可視光で撮影したカラー画像を監視画像として生成する。一方、夜間モードは、監視場所が暗く、可視光で撮影しても監視場所内の詳細を判別できないときに使用されることを想定した撮影モードである。
撮影部11は、夜間モードでは、照明部13が監視場所に近赤外光を照射した状態で撮影した点灯近赤外光画像と、照明部13が監視場所に近赤外光を照射していない状態で撮影した消灯近赤外光画像とを監視画像として生成する。以下では、点灯近赤外光画像及び消灯近赤外光画像をまとめて近赤外光画像と称する場合がある。
カラー画像は、画素ごとの可視光の強度を表す画像であり、具体的には、カラー画像は、画素ごとに赤色成分の強度を表すR値と、緑色成分の強度を表すG値と、青色成分の強度を表すB値とからなるRGB色空間の色値を有する。一方、近赤外光画像は、少なくとも画素ごとの近赤外光の強度を表す画像である。例えば、近赤外光画像は、IRカットフィルタが光路外へ外された状態でCCDが近赤外光を検出した結果として得られた、近赤外光の強度である。なお、色値とは、RGB色空間におけるR、G又はBの値、HSL色空間におけるH、S又はLの値などの、各色空間におけるいずれかの要素を示す値である。また、近赤外光画像は、少なくとも画素ごとの近赤外光の強度を表す輝度値を有する画像である。
なお、撮影部11は、積層型構造を有する有機薄膜へ加える電圧を変えることにより光電変換器の感度波長域を制御する方式、撮影ごとに調整された別個の2次元検出器及び結像光学系を切り替えて用いる方式等、IRカットフィルタの挿抜以外の公知の様々な方式により、カラー画像及び近赤外光画像を取得してもよい。撮影部11で取得された監視画像は、信号処理部16へ送られる。また、撮影部11は、画像処理装置7とは別の撮影装置に備えられ、マーカ10を撮像したカラー画像及び近赤外光画像を画像処理装置7へ送信してもよい。
照度センサ12は、撮影部11の動作中、監視場所の照度(明るさ)を逐次検出し、検出した照度を示す照度信号を信号処理部16へ出力する。照度信号は、撮影モードの切り替え判定に使用される。照度センサ12として、公知の様々な照度センサを使用できる。なお、照度センサ12は省略され、信号処理部16が監視画像の画素の値により監視場所の照度を推定してもよい。
照明部13は、複数の赤外LEDなどを有する。撮影モードが夜間モードである場合、照明部13は点灯と消灯を切り替えるように制御される。照明部13は、点灯時、監視場所に向けて近赤外光を照射する。一方、撮影モードが昼間モードである場合、照明部13は常時消灯される。
通信部14は、画像処理装置7と警備装置3との間で構内LANなどの通信ネットワークを介して各種の信号を送受信する通信インタフェース回路を有する。通信部14は、信号処理部16が生成したアラーム信号を警備装置3に送信する。また、通信部14は、信号処理部16が異常であると判定した監視画像を警備センタ装置5に送信して表示させるために警備装置3に送信する。
記憶部15は、半導体メモリ、磁気ディスク(HDD)などの記録媒体を有する。記憶部15は、画像処理装置7を制御するためのプログラム及び各種データ(位置関係情報151、画像領域情報152、色情報155、輝度情報156等)を予め記憶し、信号処理部16との間でこれらの情報を入出力する。プログラムは、CD-ROM、DVD-ROM等のコンピュータ読み取り可能な可搬型記録媒体から記憶部15にインストールされてもよい。
位置関係情報151は、マーカ10におけるマーカ全体に対応する領域、第1色領域101、第2色領域102、第1反射領域111及び第2反射領域112の位置関係を示す。位置関係情報151には、マーカ10、第1色領域101、第2色領域102、第1反射領域111及び第2反射領域112の縦横比、サイズ及び面積等の大きさ、形状(長方形、丸形、三角形など)等の情報が示される。さらに、位置関係情報151には、マーカ10における第1色領域101、第2色領域102、第1反射領域111及び第2反射領域112の相対位置及び相対範囲等の配置パターンが示される。以後、マーカ全体に対応する領域を、マーカ領域と称する場合がある。位置関係情報151は、監視画像において、第1反射領域111に対応する画像領域から、マーカ10全体に対応する画像領域及び第1色領域101、第2色領域102及び第2反射領域112のそれぞれに対応する画像領域を特定するために使用される。なお、位置関係情報151には、第1反射領域111及び第2反射領域112の上記の関係に代えて、第1反射領域を所定倍率だけ拡大した拡大反射領域及び前記第2反射領域を所定倍率だけ縮小した縮小反射領域について上記の関係が示されてもよい。つまり、位置関係情報151に含まれる第1反射領域111の大きさは撮影画像の画角に対する実際の第1反射領域の面積よりも大きい拡大反射領域と、第2反射領域の大きさは前記撮影画像の画角に対する実際の第2反射領域の面積よりも小さい縮小反射領域とについて上記の関係が示されても良い。拡大する倍率及び縮小する倍率は、事前の実験等により決定される。なお、マーカ10の第1反射領域111及び第2反射領域112の面積比は第1色領域101及び第2色領域102の面積比とは異なっているため、第1反射領域111及び第2反射領域112の位置関係は第1色領域101及び第2色領域102の位置関係とは異なった位置関係が示される。
図2(a)に示すマーカ10の場合、例えば位置関係情報151には、第2色領域102が第1色領域101の下部に隣接し且つ第1色領域101と略等しい面積及び形状を有していることが記憶される。さらに、位置関係情報151には、第2反射領域112が、第1反射領域111の下部に隣接し、第1反射領域111に対して垂直方向に約3倍且つ水平方向に等しい長さの長方形状を有し、第1反射領域111の約3倍の面積を有していることが記憶される。
さらに、位置関係情報151には、マーカ10の表面全体が、第1色領域101及び第2色領域102で構成され、且つ、第1色領域101の一部の領域は第1反射領域からなり、第1色領域101の第1反射領域以外の領域及び第2色領域は第2反射領域からなることが記憶される。
また、マーカの形状が円形である場合、位置関係情報151には、第2色領域が第1色領域の周囲に隣接し且つ第1色領域の2倍の半径を有する円を外周とするドーナツ形状を有していることが記憶される。さらに、位置関係情報151には、第2反射領域が第1反射領域の周囲に隣接し且つ第1反射領域の3倍の半径を有する円を外周とするドーナツ形状を有していることが記憶される。さらに、位置関係情報151には、マーカの表面全体が、第1色領域及び第2色領域で構成され、且つ、第1反射領域及び第2反射領域で構成されていることが記憶される。位置関係情報151は、監視対象物9に貼付されたマーカ10の形状に応じて管理者等により予め設定される。
なお、監視画像において、第1色領域101に相当する画像領域を第1色画像領域と称し、第2色領域102に相当する画像領域を第2色画像領域と称する場合がある。また、監視画像において、第1反射領域111に相当する画像領域を第1反射画像領域と称し、第2反射領域112に相当する画像領域を第2反射画像領域と称する場合がある。また、マーカ10全体に相当する画像領域をマーカ画像領域と称する場合がある。
画像領域情報152として、監視対象物9に貼付されたマーカ10ごとに、マーカ識別子、マーカ画像領域情報、第1反射画像領域情報、第2反射画像領域情報、第1色画像領域情報及び第2色画像領域情報が対応付けて記憶される。マーカ画像領域情報、第1色画像領域情報、第2色画像領域情報、第1反射画像領域情報及び第2反射画像領域情報は、それぞれマーカ画像領域、第1色画像領域、第2色画像領域、第1反射画像領域及び第2反射画像領域の位置及び範囲を示す。第1色画像領域情報及び第2色画像領域情報は、第1色領域及び第2色領域が存在する位置を示す色領域情報の一例であり、第1反射画像領域情報及び第2反射画像領域情報は、第1反射領域及び第2反射領域が存在する位置を示す反射領域情報の一例である。これらの各画像領域の位置及び範囲は、例えば、各画像領域を構成する画素の座標値の集合として表現される。画像領域情報152は、登録処理で設定され、監視画像において各マーカ10に対応する画像領域及び各マーカ10の各領域に対応する画像領域を特定するために使用される。以後、第1色画像領域情報及び第2色画像領域情報をまとめて色画像領域情報153と称し、第1反射画像領域情報及び第2反射画像領域情報をまとめて反射画像領域情報154と称する場合がある。
色情報155は、マーカ10における第1色領域101に対応する色値及び第2色領域102に対応する色値に関する情報を示す。なお、色情報155は、カラー画像において第1色領域101に相当する第1色画像領域などを検出したり、カラー画像において画像領域の組が第1色画像領域及び第2色画像領域であるか否かを判定するために用いられる。色情報155には、第1色領域101に対応する画素の色値及び第2色領域102に対応する画素の色値に関する情報が、第1色画像領域の画素の色の属性値及び第2色画像領域の画素の色の属性値で示される。色情報155には、第1色領域101に対応する画素の色値及び第2色領域102に対応する画素の色値に関する情報が、第1色画像領域の画素の色の属性値、及び、第1色画像領域の画素の色の属性値と第2色画像領域の画素の色の属性値との関係等で示されてもよい。色情報155における色の属性値は、例えば、RGB色空間のR、G又はB、HSL色空間のH、S又はL等である。第1色画像領域の画素の色の属性値と第2色画像領域の画素の色の属性値との関係とは、例えば第1色画像領域の画素の色の色相値と第2色画像領域の画素の色の色相値との差分である色相差等の値である。
輝度情報156は、マーカ10における第1反射領域111に対応する輝度値及び第2反射領域112に対応する輝度値に関する情報を示す。なお、輝度情報156は、近赤外画像において第1反射領域111に相当する第1反射画像領域等を検出したり、近赤外画像において、画像領域の組が第1反射画像領域及び第2反射画像領域であるか否かを判定するために用いられる。輝度情報156には、第1反射領域111内の画素の輝度値及び第2反射領域112の画素の輝度値に関する情報が、第1反射画像領域の画素の輝度値及び第2反射画像領域の画素の輝度値で示される。輝度情報156には、第1反射領域111内の画素の輝度値及び第2反射領域112の画素の輝度値に関する情報が、第1反射画像領域の画素の輝度値、及び、第1反射画像領域の画素の輝度値と第2反射画像領域の画素の輝度値との関係等で示されてもよい。第1反射画像領域の画素の輝度値と第2反射画像領域の画素の輝度値との関係とは、例えば第1反射画像領域の画素の輝度値と第2反射画像領域の画素の輝度値との差分である輝度差の値である。
信号処理部16は、組み込み型のマイクロプロセッサユニットと、ROM、RAMなどのメモリと、その周辺回路とを有し、画像処理装置7の各種信号処理を実行する。そのために、信号処理部16は、マイクロプロセッサユニット上で動作するプログラムの機能モジュールとして実装される制御部161、画像取得部162、設定部163、明るさ検出部164、領域特定部165、判定部166及び距離取得部167を有する。
図4は、画像処理装置7による画像領域情報152の登録処理の動作を示すフローチャートである。以下、図4を参照しつつ、本実施形態による登録処理の動作を説明する。登録処理は、不図示の設定端末を用いて管理者等による設定登録操作が行われたときに実行される。
まず、制御部161は、撮影モードを夜間モードに設定し、照明部13を点灯させて撮影部11に点灯近赤外光画像を生成させ、その後、照明部13を消灯させて撮影部11に消灯近赤外光画像を生成させる(ステップS101)。次に、画像取得部162は、撮影部11が出力した近赤外光画像を取得する(ステップS102)。
図5(a)は監視場所を撮影したカラー画像の一例を示し、図5(b)は点灯近赤外光画像の一例を示し、図5(c)は消灯近赤外光画像の一例を示す。監視場所104には複数の監視対象物9が配置され、各監視対象物9にはそれぞれマーカ10が貼付されており、カラー画像400、点灯近赤外光画像410及び消灯近赤外光画像420には、複数のマーカ10が撮影されている。以下の例では、監視場所に複数のマーカが含まれるが、マーカは一つでもよい。
次に、設定部163は、画像取得部162が取得した点灯近赤外光画像と消灯近赤外光画像とを比較することにより、近赤外光画像において第1反射画像領域を検出する(ステップS103)。設定部163は、点灯近赤外光画像と消灯近赤外光画像との間で対応する各画素の輝度差を算出して輝度差が所定の閾値以上となる画素を抽出する。設定部163は、抽出した抽出画素の内、相互に隣接する抽出画素をグループ化(ラベリング)し、グループ化した抽出画素により構成される各領域を候補領域とする。設定部163は、各候補領域の縦横比及びサイズ(総画素数)を算出する。設定部163は、縦横比が予め設定された第1範囲内であり且つサイズが予め設定された第2範囲内である候補領域を第1反射画像領域として検出する。
なお、設定部163は、さらに各候補領域の形状を算出し、算出した形状が位置関係情報151に記憶されている形状と略一致する場合に限り、各候補領域を第1反射画像領域として検出してもよい。設定部163は、撮影部11の結像光学系のレンズによる歪等による変形を撮影部11のカメラパラメータを用いて補正して領域を検出してもよい。
設定部163は、一意に識別可能なマーカ識別子と検出した第1反射画像領域の位置及び範囲とを関連付けて、画像領域情報152のマーカ識別子及び第1反射画像領域情報として記憶部15に記憶させる。
図5(b)に示すように、各マーカ10の第1反射領域111は近赤外光を反射するため、点灯近赤外光画像410内の各第1反射領域111に対応する領域では輝度が高くなっている。一方、各第2反射領域112では近赤外光の反射率が低いため、点灯近赤外光画像410内の各第2反射領域112では輝度が低くなっている。また、図5(c)に示すように、近赤外光が照射されていない場合は、消灯近赤外光画像420内の各第1反射領域111に対応する領域では、他の領域と同様に、輝度が低くなっている。したがって、設定部163は、点灯近赤外光画像410と消灯近赤外光画像420との間で対応する各画素の輝度差が所定の閾値以上となる画素を抽出することにより、第1反射領域111に対応する第1反射画像領域を精度良く検出することができる。
次に、設定部163は、近赤外光画像から第1反射画像領域を検出したか否かを判定する(ステップS104)。第1反射画像領域を検出しなかった場合、設定部163は、画像領域情報152の登録に失敗したことを設定端末に通知し(ステップS105)、一連のステップを終了する。一方、第1反射画像領域を検出した場合、設定部163は、検出した第1反射画像領域毎に、即ちマーカ10毎に、ステップS106及びS107の処理を実行する。
まず、設定部163は、近赤外光画像における第1反射画像領域の位置と位置関係情報151に示されるマーカ領域に占める第1反射領域111の大きさ及びマーカ領域に対する第1反射領域111の配置パターンとに基づいて、マーカ画像領域の位置及び範囲を特定する(ステップS106)。なお、設定部163は、特定したマーカ画像領域に対応する(同一の座標を有する)領域を画像領域情報152のマーカ画像領域情報として記憶部15に記憶させる。
次に、設定部163は、特定したマーカ画像領域の位置と位置関係情報151に示されるマーカ領域に占める各領域の大きさ及び各領域の配置パターンとに基づいて、第1色画像領域、第2色画像領域及び第2反射画像領域のそれぞれの位置及び範囲を特定する(ステップS107)。なお、設定部163は、特定した第1色画像領域、第2色画像領域、第1反射画像領域及び第2反射画像領域のそれぞれに対応する(同一の座標を有するように互いの画像領域が重なり合ってもよい)領域を、それぞれ画像領域情報152の第1色画像領域情報、第2色画像領域情報及び第2反射画像領域情報として記憶部15に記憶させる。
設定部163は、全ての第1反射画像領域についてステップS106及びS107の処理を実行すると、登録処理を終了する。
なお、マーカ10の貼付位置や撮影部11の設置条件によっては位置関係情報151をそのまま適用できない場合が想定されるため、例えば、検出された第1反射画像領域の周囲から第2反射画像領域を探索して、マーカ画像領域を特定してもよい。
また、設定部163は、第1反射画像領域に代えて第1色画像領域を検出し、第1色画像領域と位置関係情報151とに基づいてマーカ画像領域、第2色画像領域、第1反射画像領域及び第2反射画像領域のそれぞれの位置及び範囲を特定してもよい。例えば、設定部163は、制御部161が撮影モードを昼間モードに設定し撮影部11に生成させたカラー画像から、色情報155の第1色属性値に対応する属性を有する画素を抽出する。次に、設定部163は、第1反射画像領域を検出したときと同様な方法により、抽出した画素をグループ化して候補領域を生成し、候補領域から第1色画像領域を検出する。次に、設定部163は、第1色画像領域と位置関係情報151とに基づいてマーカ画像領域、第2色画像領域、第1反射画像領域及び第2反射画像領域のそれぞれの位置及び範囲を特定する。
また、設定部163は、近赤外画像から検出した第1反射画像領域と位置関係情報151とに基づいて第2反射画像領域を特定し、カラー画像から検出した第1色画像領域と位置関係情報151とに基づいて第2色画像領域を特定してもよい。
また、設定部163は、ステップS106における第1反射領域111に代えて、第1反射領域を所定倍率だけ拡大した拡大反射領域に基づいてマーカ画像領域の位置及び範囲を特定することにより、拡大反射領域に基づいて反射画像領域情報を設定してもよい。例えば、記憶部15は、第1反射領域に代えて、第1反射領域を所定倍率だけ拡大した拡大反射領域を、予め位置関係情報151に記憶する。設定部163は、検出した第1反射画像領域の位置と位置関係情報151に示されるマーカ領域に占める拡大反射領域の大きさ及びマーカ領域に対する拡大反射領域の配置パターンに基づいて、第1反射画像領域に対するマーカ画像領域の位置及び範囲を特定する。第1反射領域111を拡大する倍率及び拡大反射領域の位置及び範囲は、事前の実験等により決定される。
また、設定部163は、第2反射領域112を所定倍率だけ縮小した縮小反射領域に基づいて第2反射画像領域を特定し、画像領域情報152に設定してもよい。これにより、後述する判定処理において第2反射画像領域を検出する際に、近赤外光が第1反射領域111で乱反射することにより、第1反射画像領域に隣接する第2反射画像領域内の領域が明るくなる影響を軽減させることが可能である。第2反射領域112を縮小する倍率は、事前の実験等により決定される。
また、設定部163は、監視場所内におけるマーカ10の第1色領域101、第2色領域102、第1反射領域111、第2反射領域112の位置に基づいて画像領域情報152を設定してもよい。その場合、記憶部15には、監視場所内におけるマーカ10の第1色領域101、第2色領域102、第1反射領域111、第2反射領域112の位置と、撮影部11の設置位置及び画角等が予め記憶される。設定部163は、記憶部15に記憶された各情報から、マーカ画像領域情報、第1色画像領域情報、第2色画像領域情報、第1反射画像領域情報及び第2反射画像領域情報を特定する。
図5(d)は、第1反射画像領域、第2反射画像領域、第1色画像領域、第2色画像領域及びマーカ画像領域について説明するための図である。
図5(d)は、第2色領域102が第1色領域101の下部に隣接し且つ第1色領域101と略等しい面積及び形状を有している例を示す。また、図5(d)は、第2反射領域112が第1反射領域111の下部に隣接し、第1反射領域111に対して垂直方向に約3倍、水平方向に等しい長さの長方形状であり、且つ第1反射領域111の約3倍の面積を有している例を示す。
図6は、画像処理装置7による監視対象物の有無の判定処理の動作を示すフローチャートである。以下、図6を参照しつつ、本実施形態による判定処理の動作を説明する。判定処理は、画像が生成される毎に実行される。
まず、明るさ検出部164は、照度センサ12から照度信号を受け取り、受け取った照度信号に基づいて、監視場所が明状態であるか否かを判定する(ステップS201)。明るさ検出部164は、照度信号に示される照度が第1閾値以上である状態が一定期間(例えば30秒間)継続すれば明状態と判定し、第1閾値未満である状態が一定期間継続すれば暗状態と判定する。この閾値は、例えば、監視場所内においてマーカ10の第1色領域101及び第2色領域102をカラー画像にて識別可能な最低照度に設定され、撮影部11に使用される2次元検出器の感度に応じて予め設定される。なお、明るさ検出部164に代えて制御部161が、現在時刻が昼間であるか夜間であるかにより、明状態か暗状態かを判定してもよい。
明状態と判定された場合、制御部161は、撮影モードを昼間モードに設定し、照明部13を消灯させて撮影部11にカラー画像を生成させる(ステップS202)。次に、画像取得部162は、撮影部11が出力したカラー画像を取得する(ステップS203)。次に、制御部161は、取得したカラー画像のRGB色空間の色値をHSL色空間の色値に変換する(ステップS204)。
領域特定部165及び判定部166は、カラー画像内においてマーカ検出処理を実行する(ステップS205)。判定部166は、昼間モードでは、カラー画像内の特徴量に基づいて、当該マーカ画像領域にマーカが含まれるか否かを判定する。例えば、特徴量は画素の色値の特徴量とすることができる。昼間モードのマーカ検出処理の詳細については後述する。
一方、ステップS201で暗状態と判定された場合、制御部161は、撮影モードを夜間モードに設定する(ステップS206)。制御部161は、照明部13を点灯させて撮影部11に点灯近赤外光画像を生成させ、その後、照明部13を消灯させて撮影部11に消灯近赤外光画像を生成させる。次に、画像取得部162は、撮影部11が出力した近赤外光画像を取得する(ステップS207)。次に、制御部161は、取得した近赤外画像のRGB色空間の色値をYUV色空間の色値に変換する(ステップS208)。
領域特定部165及び判定部166は、近赤外光画像内においてマーカの検出処理を実行する(ステップS209)。判定部166は、夜間モードでは、近赤外光画像内の特徴量に基づいて、マーカが含まれるか否かを判定する。例えば、特徴量は画素の輝度値の特徴量とすることができる。夜間モードのマーカ検出処理の詳細については後述する。
次に、判定部166は、登録処理で画像領域情報152に記憶された全マーカ画像領域にてマーカが含まれていると判定されたか否かを判定する(ステップS210)。全マーカ画像領域にてマーカが含まれていると判定された場合、判定部166は、監視対象物が正常状態であると判定し(ステップS211)、一連のステップを終了する。一方、何れかのマーカ画像領域にマーカが含まれないと判定した場合、判定部166は、監視対象物が異常状態であると判定し(ステップS212)、一連のステップを終了する。その場合、判定部166は、所定のアラーム信号を生成し、画像処理装置7の識別信号及び異常が検出された監視画像を通信部14を介して警備装置3へ出力する。なお、判定部166は、所定の期間(例えば、30秒間)の間、異常状態が継続した場合にのみ、アラーム信号等を警備装置3へ出力してもよい。
なお、ステップS210の処理に代えて、記憶部15は、画像処理装置7が監視する範囲に存在するマーカ10の個数を予め記憶し、判定部166は、検出したマーカの個数が、記憶部15が記憶するマーカの個数と一致するか否かを判定してもよい。判定部166は、検出したマーカの個数と記憶部15が記憶するマーカの個数とが一致する場合、監視対象物が正常状態であると判定し(ステップS211)、一致しない場合、監視対象物が異常状態であると判定してもよい(ステップS212)。
図7は、マーカ検出処理の動作を示すフローチャートである。昼間モードのマーカ検出処理は、図6のステップS205で実行され、夜間モードのマーカ検出処理は、図6のステップS209で実行される。以下、図7を参照しつつ、本実施形態による判定処理の動作を説明する。
以下、第1色画像領域及び第1反射画像領域を第1画像領域と総称し、第2色画像領域及び第2反射画像領域を第2画像領域と総称する場合がある。また、第1色領域101及び第1反射領域111を第1領域と総称し、第2色領域102及び第2反射領域112を第2領域と総称する場合がある。
最初に、領域特定部165は、第1特定処理及び第2特定処理の少なくとも一方を実行する(ステップS301)。領域特定部165は、昼間モードの場合、第1特定処理を実行し、夜間モードの場合、第2特定処理を実行する。第1特定処理において、領域特定部165は、画像取得部162が取得し制御部161が色空間を変換したカラー画像から、色画像領域情報153に基づいて、第1色画像領域及び第2色画像領域を特定する。例えば、領域特定部165は、カラー画像において、色画像領域情報153のうち、第1色画像領域情報に記憶された座標値の集合からなる領域を第1色画像領域として特定し、第2色画像領域情報に記憶された座標値の集合からなる領域を第2色画像領域として特定する。第2特定処理において、領域特定部165は、画像取得部162が取得し制御部161が色空間を変換した近赤外画像から、反射画像領域情報154に基づいて、第1反射画像領域及び第2反射画像領域を特定する。例えば、領域特定部165は、近赤外画像において、反射画像領域情報154のうち、第1反射画像領域情報に記憶された座標値の集合からなる領域を第1反射画像領域として特定し、第2反射画像領域情報に記憶された座標値の集合からなる領域を第2反射画像領域として特定する。
次に、領域特定部165は、第1画像領域及び第2画像領域が特定されたか否かを判定する(ステップS302)。第1画像領域及び第2画像領域の少なくとも一方が特定されなかった場合、一連の処理を終了し、図6のステップS210に進む。
第1画像領域及び第2画像領域の両方が特定された場合、判定部166は、第1判定処理及び第2判定処理の少なくとも一方を実行する(ステップS303)。判定部166は、昼間モードの場合、第1判定処理を実行し、夜間モードの場合、第2判定処理を実行する。
第1判定処理において、判定部166は、第1特定処理で特定した第1色画像領域内の画素の色値及び第2色画像領域内の画素の色値と色情報とに基づいてマーカ10の色特徴との類似性を判定する。例えば、記憶部15には、色情報155として、第1色領域101の第1色相値、第2色領域102の第2色相値、各色相値が取り得る第1範囲、及び、各色相値の色相差が取り得る第2範囲が記憶される。その場合、判定部166は、第1色画像領域内の各画素の色相値のうち第1色相値に最も近い色相値Pを抽出し、第2色画像領域内の各画素の色相値のうち第2色相値に最も近い色相値Qを抽出する。次に、判定部166は、色相値Pと第1色相値との色相差と、色相値Qと第2色相値との色相差とがどちらも第1範囲内であり、且つ、色相値PとQとの色相差が第2範囲内であるか否かの判定に基づいて、第1色画像領域及び第2色画像領域とマーカ10の色特徴である第1色領域101及び第2色領域102の配置パターン等との類似性を判定する。
第2判定処理において、判定部166は、第2特定処理で特定した第1反射画像領域内の画素の輝度値及び第2反射画像領域内の画素の輝度値と輝度情報とに基づいてマーカ10の輝度特徴との類似性を判定する。例えば、記憶部15には、輝度情報156として、第1反射画像領域内の画素の輝度値と第2反射画像領域内の画素の輝度値との差分の絶対値の第1最小値が記憶されている。その場合、判定部166は、第1反射画像領域内の各画素の輝度値のうち最も高い輝度値Hを抽出し、第2反射画像領域内の各画素の輝度値のうち最も低い輝度値Iを抽出する。次に、判定部166は、輝度値HとIとの差分の絶対値が色情報155に示される第1最小値以上であるか否かの判定に基づいて、第1反射画像領域及び第2反射画像領域とマーカ10の輝度特徴である第1反射領域111及び第2反射領域112の配置パターン等との類似性を判定する。
次に、判定部166は、第1判定処理又は第2判定処理による判定結果に基づいて、マーカ10が撮影画像内に含まれるか否かを判定する(ステップS304)。昼間モードの場合、判定部166は、色相値Pと第1色相値との色相差と、色相値Qと第2色相値との色相差とがどちらも色情報155に示される第1範囲内であり、且つ、色相値PとQとの色相差が色情報155に示される第2範囲内であるという判定結果の場合、第1色画像領域と第2色画像領域とがマーカ10の色特徴と類似していると判定し、マーカ10が撮影画像内に含まれると判定する(ステップS305)。判定部166は、その他の判定結果の場合、マーカ10が撮影画像内に含まれないと判定する(ステップS306)。夜間モードの場合、判定部166は、輝度値HとIとの差分の絶対値が色情報155に示される差分値以上であるという判定結果の場合、第1反射画像領域と第2反射画像領域とがマーカ10の輝度特徴と類似していると判定し、マーカ10が撮影画像内に含まれると判定する(ステップS305)。判定部166は、その他の判定結果の場合、マーカ10が撮影画像内に含まれないと判定する(ステップS306)。ステップS305及びS306の処理の後に、制御部161は、処理をステップS301に進める。
なお、判定部166は、昼間モードでは、ステップS303の色相値P及びQの抽出処理に加えて、第1色画像領域内の各画素の色相値のうち第2色相値から最も遠い色相値Rを抽出し、第2色画像領域内の各画素の色相値のうち第1色相値から最も遠い色相値Sを抽出する。判定部166は、ステップS303の判定内容に代えて、色相値PとSとの色相差、及び、色相値QとRとの色相差の内、大きい方の色相差が第2範囲内であるか否かを判定する。判定部166は、差分値が第2範囲内であるという判定結果の場合、マーカ10が撮影画像内に含まれると判定し、その他の判定結果の場合、マーカ10が撮影画像内に含まれないと判定する。
また、記憶部15には、色情報155として、第1色相値、第2色相値、第1範囲、第2範囲及び第1色画像領域内における第1色相値を有する画素の第1最低割合を記憶してもよい。この場合、判定部166は、昼間モードでは、ステップS303の判定内容に代えて、第1色画像領域内の全画素のうち、第1色相値に対して第1範囲に含まれる色相値を有する画素の割合が第1最低割合以上であり、且つ、色相値PとQとの差分の絶対値が、第2範囲内に含まれるか否かを判定する。判定部166は、画素の割合が第1最低割合以上であり、且つ、色相値PとQとの色相差が第2範囲内に含まれるという判定結果の場合、マーカ10が撮影画像内に含まれると判定し、その他の判定結果の場合、マーカ10が撮影画像内に含まれないと判定する。
また、記憶部15には、輝度情報156として、第1反射画像領域の画素が取り得る輝度値の第3範囲、輝度値の差分の絶対値が取り得る第4範囲、及び、第1反射画像領域内の画素の第2最低割合が記憶されてもよい。この場合、判定部166は、夜間モードでは、ステップS303の判定内容に代えて、第1反射画像領域内の全画素のうち、第3範囲に含まれる輝度値を有する画素の割合が第2最低割合以上であり、且つ、輝度値HとIとの差分が第4範囲内に含まれる場合、所定の条件を満たすと判定してもよい。
また、記憶部15には、色情報155として、第1色相値、第2色相値及び第1範囲が記憶されてもよい。この場合、判定部166は、昼間モードでは、ステップS303の抽出処理に代えて、第1色画像領域内の全画素の色相値の平均値である色相値T及び第2色画像領域内の全画素の色相値の平均値である色相値Uを算出する。判定部166は、ステップS303の判定処理に代えて、色相値Tと第1色相値との色相差、及び、色相値Uと第2色相値との色相差がどちらも第1範囲内であるか否かを判定する。判定部166は、どちらも第1範囲内であるという判定結果の場合、マーカ10が撮影画像内に含まれると判定し、その他の判定結果の場合、マーカ10が撮影画像内に含まれないと判定する。また、記憶部15には、色情報155として、さらに第2範囲が記憶されてもよい。この場合、判定部166は、さらに色相値TとUとの色相差が第2範囲内であるか否かを判定する。判定部166は、色相値TとUとの色相差が第2範囲内であるという判定結果の場合、マーカ10が撮影画像内に含まれると判定し、その他の判定結果の場合、マーカ10が撮影画像内に含まれないと判定する。
また、記憶部15には、輝度情報156として、第1反射領域111に対応する画素の第1輝度値、第2反射領域112に対応する画素の第2輝度値、及び、各輝度値が取り得る第3範囲が記憶されてもよい。この場合、判定部166は、夜間モードでは、ステップS303の抽出処理に代えて、第1反射画像領域内の全画素の輝度値の平均値である輝度値J及び第2反射画像領域内の全画素の輝度値の平均値である輝度値Kを算出する。判定部166は、ステップS303の判定処理に代えて、輝度値Jと第1輝度値との差分の絶対値と、輝度値Kと第2輝度値との差分の絶対値とがどちらも第3範囲内であるか否かを判定する。判定部166は、各絶対値がどちらも第3範囲内であるという判定結果の場合、マーカ10が撮影画像内に含まれると判定し、その他の判定結果の場合、マーカ10が撮影画像内に含まれないと判定する。また、記憶部15には、輝度情報156として、さらに第1最小値が記憶されてもよい。この場合、判定部166は、さらに輝度値JとKとの差分の絶対値が第1最小値以上であるか否かを判定する。判定部166は、差分の絶対値が第1最小値以上であるという判定結果の場合、マーカ10が撮影画像内に含まれると判定し、その他の判定結果の場合、マーカ10が撮影画像内に含まれないと判定する。
以上説明してきたように、本実施形態に係るマーカ検出システムにおいて、画像処理装置7は、カラー画像と近赤外画像とで、マーカを検出する画像領域の比率を異ならせてマーカの検出を行う。画像処理装置7は、カラー画像から、予め記憶されたマーカの第1色領域101及び第2色領域102の大きさ及び配置パターンに基づいて第1色画像領域及び第2色画像領域を特定し、特定した第1色画像領域及び第2色画像領域が予め記憶された色情報に合致するか否かを判定し、近赤外画像から、予め記憶されたマーカの第1反射領域111及び第2反射領域112の大きさ及び配置パターンに基づいて第1反射画像領域及び第2反射画像領域を特定し、特定した第1反射画像領域及び第2反射画像領域が予め記憶された輝度情報に合致するか否かを判定する。これにより、マーカ検出システムは、カラー画像及び近赤外画像から物体検出用の第1反射領域及び第2反射領域の面積比が第1色領域及び第2色領域の面積比と異なるマーカを高精度に検出することができる。
また、本実施形態に係るマーカ検出システムにおいて、画像処理装置7は、照明部13から照射された近赤外光により第1反射領域が膨張することを考慮してマーカの検出を行う。これにより、近赤外画像では第1反射領域111の膨張を考慮した第1反射領域と第2反射領域との位置関係情報151に基づいてマーカの検出を行い、カラー画像では第1色領域101と第2色領域102の位置関係情報151に基づいてマーカの検出を行うことで、近赤外画像における第1反射領域111の膨張により第2反射領域112が実際より小さく写ることの影響を抑制することができるため、カラー画像及び近赤外画像から物体検出用のマーカを高精度に検出することができる。
また、本実施形態に係るマーカ検出システムにおいて、マーカ10は、は、第1反射領域111及び第2反射領域112の面積比を第1色領域101及び第2色領域102の面積比と異ならせ、第1反射領域111を第2反射領域112より小さく、且つ、第1色領域101と第2色領域102とを略等しい大きさに構成される。このような構成により、本実施形態に係るマーカ検出システムは、近赤外画像において第1反射領域111の膨張による第2反射領域112の侵食の影響が抑制されるためマーカ10を高精度に検出できるとともに、カラー画像においても同程度の大きさの2種の色領域から高精度にマーカ10を検出可能である。また、近赤外画像およびカラー画像に写るマーカ10が低解像度であっても精度よくマーカ10を検出可能なため、マーカ10の検出可能距離(撮影部11からマーカ10までの距離)を大きくすることができ、またマーカ10の小型化による美観の向上を図れる。
<第1変形例>
第1変形例では、マーカ検出システムは、位置関係情報151の内、第1色領域101及び第2色領域102の位置関係を示す情報を色領域情報として使用し、第1反射領域111及び第2反射領域112の位置関係を示す情報を反射領域情報として使用する。
図8は、第1変形例におけるマーカ検出処理の動作を示すフローチャートである。昼間モードのマーカ検出処理は、図6のステップS205で実行され、夜間モードのマーカ検出処理は、図6のステップS209で実行される。第1変形例は、登録処理が実行されない場合、即ち画像領域情報152が設定されていない場合に、マーカを検出する処理を示す。以下、図8を参照しつつ、本変形例による判定処理の動作を説明する。
最初に、領域特定部165は、第1特定処理及び第2特定処理の少なくとも一方を実行する(ステップS401)。領域特定部165は、昼間モードの場合、第1特定処理を実行し、夜間モードの場合、第2特定処理を実行する。
第1特定処理において、領域特定部165は、画像取得部162が取得し制御部161が色空間を変換したカラー画像から、色情報155に基づいて、第1色画像領域及び第2色画像領域を特定する。例えば、記憶部15には、色情報155として、第1色画像領域の画素が取り得る色相値の第1範囲、及び、第2色画像領域の画素が取り得る色相値の第2範囲が記憶される。その場合、領域特定部165は、第1範囲内の色相値を有する画素をカラー画像から抽出する。領域特定部165は、抽出した抽出画素の内、相互に隣接する抽出画素を画像領域別にグループ化(ラベリング)し、グループ化した抽出画素により構成される領域を第1色画像領域として特定する。領域特定部165は、第2範囲内の色相値を有する画素についても同様に抽出及びグループ化し、グループ化した抽出画素により構成される領域を第2色画像領域として特定する。
第2特定処理において、領域特定部165は、画像取得部162が取得し制御部161が色空間を変換した近赤外画像から、輝度情報156に基づいて、第1反射画像領域及び第2反射画像領域を特定する。例えば、記憶部15には、輝度情報156として、第1反射画像領域の画素が取り得る輝度値の第1範囲、及び、第2反射画像領域の画素が取り得る輝度値の第2範囲が記憶される。その場合、領域特定部165は、第1範囲内の輝度値を有する画素を近赤外画像から抽出する。領域特定部165は、抽出した抽出画素の内、相互に隣接する抽出画素を画像領域別にグループ化(ラベリング)し、グループ化した抽出画素により構成される領域を第1反射画像領域として特定する。領域特定部165は、第2範囲内の輝度値を有する画素についても同様に抽出及びグループ化し、グループ化した抽出画素により構成される領域を第2輝度画像領域として特定する。
次に、領域特定部165は、第1画像領域及び第2画像領域が特定されたか否かを判定する(ステップS402)。第1画像領域及び第2画像領域の少なくとも一方が特定されなかった場合、一連の処理を終了し、図6のステップS210に進む。
第1画像領域及び第2画像領域の両方が特定された場合、判定部166は、第1判定処理及び第2判定処理の少なくとも一方を実行する(ステップS403)。判定部166は、昼間モードの場合、第1判定処理を実行し、夜間モードの場合、第2判定処理を実行する。
第1判定処理において、判定部166は、第1特定処理で特定した第1色画像領域及び第2色画像領域の位置関係と位置関係情報151に示される位置関係とに基づき、マーカの色特徴との類似性を判定する。例えば、判定部166は、第2色画像領域が第1色画像領域の下部に隣接し、第1色画像領域の面積と第2色画像領域の面積が略等しいか(例えば各領域の画素数の比が0.9~1.1の範囲にあるか)否かを判定する。
第2判定処理において、判定部166は、第2特定処理で特定した第1反射画像領域及び第2反射画像領域の位置関係と位置関係情報151に示される位置関係とに基づき、マーカの輝度特徴との類似性を判定する。例えば、判定部166は、第2反射画像領域が第1反射画像領域の下部に隣接し、第1反射領域111に対して垂直方向に約3倍且つ水平方向に等しい長さの長方形状を有しているか(例えば、垂直方向における第1反射画像領域の最大画素数に対する第2反射画像領域の最大画素数の比が2.85~3.15の範囲にあり且つ水平方向における第1反射画像領域の最大画素数に対する第2反射画像領域の最大画素数の比が0.9~1.1の範囲にあるか)否かを判定する。なお第1反射画像領域及び第2反射画像領域の位置関係が位置関係情報151に示される位置関係に対応するか否かを判定する際、第1反射領域111及び第2反射領域112の位置関係情報151として、前記撮影画像に撮影された実際のマーカの前記第1反射領域111を拡大した拡大反射領域及び前記第2反射領域112を縮小した縮小反射領域の位置関係を用いて判定を行っても良い。
次に、判定部166は、第1判定処理又は第2判定処理による判定結果に基づいて、マーカ10が撮影画像内に含まれるか否かを判定する(ステップS404)。例えば、昼間モードの場合、判定部166は、第2色画像領域が第1色画像領域の下部に隣接し、第1色画像領域の面積と第2色画像領域の面積が略等しいという判定結果の場合、第1色画像領域と第2色画像領域とがマーカ10の色特徴と類似していると判定し、マーカ10が撮影画像内に含まれると判定する(ステップS405)。判定部166は、その他の判定結果の場合、マーカ10が撮影画像内に含まれないと判定する(ステップS406)。例えば、夜間モードの場合、判定部166は、第2反射画像領域が第1反射画像領域の下部に隣接し、第1反射領域111に対して垂直方向に約3倍且つ水平方向に等しい長さの長方形状を有しているという判定結果の場合、第1反射画像領域と第2反射画像領域とがマーカ10の輝度特徴と類似していると判定し、マーカ10が撮影画像内に含まれると判定する(ステップS405)。判定部166は、その他の判定結果の場合、マーカ10が撮影画像内に含まれないと判定する(ステップS406)。ステップS405及びS406の処理の後に、制御部161は、処理をステップS401に進める。
第1変形例に係るマーカ検出システムによれば、近赤外画像及びカラー画像から物体検出用のマーカを高精度に検出することができることに加えて、色情報又は輝度情報に基づいて第1画像領域及び第2画像領域を特定するので、登録処理を実行することなくマーカを検出することができる。
<第2変形例>
第2変形例においても、第1変形例と同様に、マーカ検出システムは、位置関係情報151の内、第1色領域101及び第2色領域102の位置関係を示す情報を色領域情報として使用し、第1反射領域111及び第2反射領域112の位置関係を示す情報を反射領域情報として使用する。
図9は、第2変形例におけるマーカ検出処理の動作を示すフローチャートである。昼間モードのマーカ検出処理は、図6のステップS205で実行され、夜間モードのマーカ検出処理は、図6のステップS209で実行される。第2変形例は、登録処理が実行されない場合、即ち画像領域情報152が設定されていない場合に、マーカを検出する処理を示す。以下、図9を参照しつつ、本変形例による判定処理の動作を説明する。
最初に、領域特定部165は、第1特定処理及び第2特定処理の少なくとも一方を実行する(ステップS501)。領域特定部165は、昼間モードの場合、第1特定処理を実行し、夜間モードの場合、第2特定処理を実行する。
第1特定処理において、領域特定部165は、画像取得部162が取得し制御部161が色空間を変換したカラー画像から、色情報155に基づいて、第1色画像領域を特定する。領域特定部165は、特定した第1色画像領域と位置関係情報151に示される第1色領域及び第2色領域の位置関係とに基づいて第2色画像領域を特定する。例えば、記憶部15には、色情報155として、第1色画像領域の画素が取り得る色相値の第1範囲が記憶される。その場合、領域特定部165は、第1範囲内の色相値を有する画素をカラー画像から抽出する。領域特定部165は、抽出した抽出画素の内、相互に隣接する抽出画素を画像領域別にグループ化(ラベリング)し、グループ化した抽出画素により構成される領域を第1色画像領域として特定する。次に、領域特定部165は、特定した第1色画像領域の下部に隣接し、垂直方向及び水平方向の画素数が第1色画像領域の垂直方向及び水平方向の画素数と同一である画像領域を第2色画像領域として特定する。つまり、第1特定処理は、色情報155及び色領域情報に基づいて、第1色領域101の色値を有する第1の領域と前記位置関係を有する第2の領域を特定する。
第2特定処理において、領域特定部165は、画像取得部162が取得し制御部161が色空間を変換した近赤外画像から、輝度情報156に基づいて、第1反射領域111に相当する第1反射画像領域を特定する。領域特定部165は、特定した第1反射画像領域と位置関係情報151に示される第1反射領域及び第2反射領域の位置関係とに基づいて第2反射領域112に相当する第2反射画像領域を特定する。例えば、記憶部15には、輝度情報156として、第1反射画像領域の画素が取り得る輝度値の第1範囲が記憶される。その場合、領域特定部165は、第1範囲内の輝度値を有する画素を近赤外画像から抽出する。領域特定部165は、抽出した抽出画素の内、相互に隣接する抽出画素を画像領域別にグループ化(ラベリング)し、グループ化した抽出画素により構成される領域を第1反射画像領域として特定する。次に、領域特定部165は、特定した第1反射画像領域の下部に隣接し、垂直方向の画素数が第1反射画像領域の画素数の3倍であり且つ水平方向の画素数が第1反射画像領域の画素数と同一である画像領域を第2反射画像領域として特定する。つまり、第2特定処理は、輝度情報156及び反射領域情報に基づいて、第1反射領域111の輝度値を有する第3の領域と前記位置関係を有する第4の領域を特定する。なお特定した第1反射画像領域と位置関係情報151から第2反射画像領域を特定する際、第1反射領域111及び第2反射領域112の位置関係情報151として、前記撮影画像に撮影された実際のマーカの前記第1反射領域111を拡大した拡大反射領域及び前記第2反射領域112を縮小した縮小反射領域の位置関係を用いて判定を行っても良い。
次に、領域特定部165は、第1画像領域及び第2画像領域が特定されたか否かを判定する(ステップS502)。第1画像領域及び第2画像領域の少なくとも一方が特定されなかった場合、一連の処理を終了し、図6のステップS210に進む。
第1画像領域及び第2画像領域の両方が特定された場合、判定部166は、第1判定処理及び第2判定処理の少なくとも一方を実行する(ステップS503)。判定部166は、昼間モードの場合、第1判定処理を実行し、夜間モードの場合、第2判定処理を実行する。
第1判定処理において、領域特定部165は、第1特定処理で特定した第2色画像領域内の画素の色値と色情報155とに基づき、マーカの色特徴との類似性を判定する。例えば、記憶部15には、色情報155として、第2色相値、第2色画像領域の画素が取り得る色相値の第1範囲、及び、第2色画像領域内の画素の第1最低割合が記憶されている。この場合、判定部166は、第2色画像領域内の全画素のうち、第2色相値に対して第1範囲に含まれる色相値を有する画素の割合が第1最低割合以上であるか否かを判定する。
第2判定処理において、領域特定部165は、第2特定処理で特定した第2反射画像領域内の画素の輝度値と輝度情報156とに基づき、マーカの輝度特徴との類似性を判定する。例えば、記憶部15には、輝度情報156として、第2反射画像領域の画素が取り得る輝度値の第2範囲、及び、第2反射画像領域内における第2色相値を有する画素の第2最低割合が記憶されている。この場合、判定部166は、第2反射画像領域内の全画素のうち、第2範囲に含まれる輝度値を有する画素の割合が第2最低割合以上であるか否かを判定する。
次に、判定部166は、第1判定処理又は第2判定処理による判定結果に基づいて、マーカ10が撮影画像内に含まれるか否かを判定する(ステップS504)。例えば、昼間モードの場合、判定部166は、第2色画像領域内の全画素のうち、第1範囲に含まれる色相値を有する画素の割合が第1最低割合以上であるという判定結果の場合、第1色画像領域と第2色画像領域とがマーカ10の色特徴と類似していると判定し、マーカ10が撮影画像内に含まれると判定する(ステップS505)。判定部166は、その他の判定結果の場合、マーカ10が撮影画像内に含まれないと判定する(ステップS506)。例えば、夜間モードの場合、判定部166は、第2反射画像領域内の全画素のうち、第2範囲に含まれる輝度値を有する画素の割合が第2最低割合以上であるという判定結果の場合、第1反射画像領域と第2反射画像領域とがマーカ10の輝度特徴と類似していると判定し、マーカ10が撮影画像内に含まれると判定する(ステップS505)。判定部166は、その他の判定結果の場合、マーカ10が撮影画像内に含まれないと判定する(ステップS506)。ステップS505及びS506の処理の後に、制御部161は、処理をステップS501に進める。
第2変形例に係るマーカ検出システムによれば、近赤外画像及びカラー画像から物体検出用のマーカを高精度に検出することができることに加えて、色情報又は輝度情報に基づいて第1画像領域を特定し、色領域情報又は反射領域情報、及び色情報又は輝度情報に基づいて第2画像領域を特定するので、登録処理を実行することなくマーカを検出することができる。
<第3変形例>
図10は、マーカ20の模式図である。マーカ10とは異なり、マーカ20は、第1色部材221及び第2色部材222に加えて、第3色部材223及び第4色部材224を有する。第3色部材223及び第4色部材224の色は、第1色部材221及び第2色部材222のいずれの色とも異なる。マーカ20は、第3色部材223に貼付された第1反射部材231と、第4色部材224に貼付された、第1反射部材231より赤外光の反射率が低い第2反射部材232をさらに有する。第1色部材221及び第2色部材222には、近赤外光の反射部材は貼付されていない。マーカ20の表面は、第1色部材221に対応する第1色領域201、第2色部材222に対応する第2色領域202、第1反射部材231に対応する第1反射領域211及び第2反射部材232に対応する第2反射領域212で構成される。
第3変形例に係るマーカ検出システムによっても、近赤外画像及びカラー画像から物体検出用のマーカを高精度に検出することができる。
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されない。例えば、マーカ10及び20において、第1反射部材131に代えて表面の一部に光が再帰反射する性質を有する再帰反射部材141を配置し、第2反射部材132に代えて光が再帰反射しない非再帰反射部材142を配置してもよい。これにより、マーカ10又は20において、第1反射領域111に代えて再帰反射領域が構成され、第2反射領域112に代えて非再帰反射領域が構成される。この場合、照明部13は、赤外LEDを用いて近赤外光を照射するものに限定されない。照明部13は、撮影部11の2次元検出器が検出可能な波長帯の光を照射すればよく、例えば、白色LEDなどを用いて可視光を照射してもよい。これにより、近赤外画像を使用しなくてもカラー画像のみで昼でも夜でもマーカを精度良く検出することができる。
また、上記実施例のマーカ10は、第1色領域、第2色領域、第1反射領域、第2反射領域で占められている例を示してきたが、各領域同士の間に多少の隙間があっても良い。例えば、マーカに縁があるものや、色領域同士の間に隙間があるものでも良い。
また、マーカ10の第2反射領域112の近赤外光の反射率は、0%であってもよい。即ち、第2反射領域112は、照射された近赤外光のすべてを吸収してもよい。
また、マーカ10及び20は、監視対象物と一体化して扱われるものであれば標識、シール等でもよく、監視対象物に所定の色が付された部分であってもよい。
また、制御部161は、画像処理装置7とは別の撮影装置に備えられた撮影部に監視画像を生成させ、画像取得部162は、通信部14を介して撮影装置から監視画像を取得してもよい。
また、設定部163は、カラー画像で撮像できる程度に周囲の環境が明るい場合は、照明部13を用いずに、消灯近赤外光画像とカラー画像を用いて第1反射画像領域を検出してもよい。消灯近赤外光画像において、第1反射画像領域は、環境光に含まれる近赤外光の反射成分を多く含んで撮影されるため、第1反射画像領域の輝度値は他の領域よりも高くなる。したがって、消灯近赤外光画像とカラー画像の第1反射画像領域における輝度差は、他の領域における輝度差より大きくなる。そこで、領域特定部165は、消灯近赤外光画像とカラー画像との間で対応する各画素の輝度差を算出し、輝度差が所定の閾値以上となる画素を抽出し、抽出した画素をグループ化した領域を第1反射画像領域の候補領域として検出する。
また、画像処理装置7は、図4の登録処理を事前に実行せずに、図6の判定処理を実行する度に、判定処理の直前に実行してもよい。
また、領域特定部165及び判定部166は、昼間モードにおいてさらに近赤外画像に対してステップS206~S209の処理を実行してもよい。この場合、判定部166は、カラー画像及び近赤外画像の少なくとも一方でマーカが含まれていないと判定された場合に、マーカが存在しないと判定する。また、判定部166は、カラー画像の判定に用いた各画素の色相値が色情報155に示される色値に合致する充足度合い、及び、近赤外画像の判定に用いた各画素の輝度値が輝度情報156に示される色値に合致する充足度合いを数値化してもよい。例えば、カラー画像の判定において、記憶部15には、色情報155として、第1色画像領域の画素が取り得る色相値の第1範囲が記憶されている。この場合、判定部166は、第1色画像領域内の全画素のうち、第1範囲に含まれる色相値を有する画素の割合を充足度合い(又は合致度など)として算出する。また、近赤外画像の判定において、記憶部15には、輝度情報156として、第1反射画像領域の画素が取り得る輝度値の第1範囲が記憶されている。この場合、判定部166は、第1反射画像領域内の全画素のうち、第1範囲に含まれる輝度値を有する画素の割合を充足度合いとして算出する。判定部166は、これらの数値の合計が閾値以上であるか否かによりマーカ画像領域にマーカが含まれているか否かを判定する。
また、判定部166は、カラー画像についてマーカの検出処理を実行する場合、HSL色空間に変換する前のRGB色空間の色値を用いてマーカ画像領域にマーカが含まれるか否かを判定してもよい。また、判定部166は、カラー画像についてマーカの検出処理を実行する場合、色相値に代えて彩度値又は明度値について、又は、これらの値の2つ以上の組み合わせについて、色情報155に示される条件を判定してもよい。
また、判定部166は、ステップS201で明るさ検出部164が検出した明るさを示す値が第1閾値より大きい第2閾値以上である場合、近赤外画像を用いてマーカが撮影画像に含まれるか否かを判定してもよい。可視光の強度が極端に強く撮影画像に白とびが発生する場合には、カラー画像による色の判定が適切に行われないため、近赤外画像を用いることによりマーカが撮影画像に含まれるか否かを適切に判断することができる。
また、画像処理装置7は、撮影画像を撮影した撮影装置とマーカ10又は20との距離を取得する距離取得部167をさらに備え、取得した距離が所定の閾値以上離れている場合、近赤外画像を用いてマーカが撮影画像に含まれるか否かを判定してもよい。撮影装置とマーカ10又は20との距離が遠くなると、2次元検出器上でマーカに割り当てられる素子の数が少なくなり、1つの素子がマーカの色とマーカが貼付された物体の色とを検出することがある。これにより、色を適切に検出することが困難になるため、近赤外画像を用いてマーカが撮影画像に含まれるか否かを判定する。例えば、マーカが4色から構成される場合、所定の閾値は、6mである。なお、距離取得部167は、タッチパネル等の不図示の入力部から入力される値を取得する、又は、撮影画像を解析して取得する等の方法により距離を取得する。距離取得部167は、撮影画像を解析する場合、マーカの貼付された物体の実サイズ、物体の画像上でのサイズ及び撮影装置の焦点距離等に基づいて、公知の手法により距離を取得する。
以上のように、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。