JP5647459B2

JP5647459B2 - 移動物体検出装置

Info

Publication number: JP5647459B2
Application number: JP2010181204A
Authority: JP
Inventors: 功 ▲高▼橋
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2010-08-13
Filing date: 2010-08-13
Publication date: 2014-12-24
Anticipated expiration: 2030-08-13
Also published as: JP2012043021A

Description

本発明は、カメラにより撮影された画像を用いて移動物体を検出する移動物体検出装置に関する。

従来、カメラに撮影された人物等の移動物体像を追跡し、監視場所における異常状態等を検出するために、移動物体検出装置が利用されている。移動物体検出装置には、複数の移動物体がカメラに正対した位置において密着して並んだ状態で撮影された場合、後ろの移動物体は正面の移動物体の陰に隠れてしまう、いわゆるオクルージョンが発生する問題がある。オクルージョンが発生すると、移動物体検出装置は複数の移動物体の存在を検出することが困難となり、また、見かけ上、物体像の分岐や併合が生じるので、正確に移動物体を追跡していくことが困難となる。

従来、このオクルージョンが発生する問題に対して、複数のカメラを用いて解決する構成が提案されている。すなわち、複数のカメラのそれぞれと移動物体との位置関係に基づいて、オクルージョンが生じにくいカメラを選択し、当該カメラにより撮影した画像を選択的に用いて移動物体の追跡を行うものがある（特許文献１）。

特開平07-049952

しかしながら、このような方法では、複数のカメラを設置しなければならず、また処理も複雑なものとなるため、コストがかさむといった問題があった。そこで、本発明は、照明により生成される影の形の情報を活用することにより、オクルージョンが生じている状況下においても、簡易な装置構成によって複数の移動物体の存在を検出することができることを目的とするものである。

かかる課題を解決するために、監視領域を撮影する撮像部と、前記撮像部の視軸と異なる光軸で前記監視領域に光を照射するように設置される照明部と、前記撮像部にて撮影した画像から移動物体を検出する画像処理部と、出力部とを少なくとも備えた移動物体検出装置であって、前記画像処理部は、前記照明部から光を照射した監視領域を前記撮像部にて撮影した入力画像と基準画像とを比較して前記基準画像から変化した変化領域を抽出する変化領域抽出手段と、前記変化領域の特徴を用いて前記変化領域を移動物体画像と影画像に分割する分割手段と、前記影画像の特徴を用いて複数の移動物体により生じた影であるか否かを判定して前記出力部に判定結果を出力する判定手段と、を有することを特徴とした移動物体検出装置を提供する。

かかる構成により、本発明の変化領域抽出手段は、撮像部により取得した入力画像と基準画像とを比較して変化領域を抽出する。そして、本発明の分割手段は、変化領域の特徴から当該変化領域を移動物体画像と影画像とに分割する。そして、本発明の判定手段は、影画像の特徴から当該影画像が複数の移動物体により生じた影であるか否かを判定し、判定結果を出力部に出力する。そして、本発明の出力部は、当該判定結果を出力する。これにより、本発明は、オクルージョンが発生し、所定の変化領域に複数の移動物体が存在しているような場合であったとしても、影画像の特徴から、複数の移動物体が存在していることを把握することができる。

また、本発明の好ましい態様として、前記判定手段は、前記移動物体画像に接している前記影画像の部分に対向する位置にある外延形状に所定の凸形状が複数検出されると複数の移動物体により生じた影画像と判定するものとする。
かかる構成により、本発明の判定手段は、影画像の特徴として、移動物体画像と接している部分と対抗する位置にある外延形状に所定の凸形状を複数検出したときに、複数の移動物体により生じた影画像と判定する。すなわち、影画像に一つの凸形状を検出した場合は、変化領域に一つの移動物体が存在すると判定できる。その一方で、影領域に複数の凸形状を検出した場合は、変化領域に複数の移動物体が存在すると判定できる。

また、本発明の好ましい態様は、更に、前記撮像部の配置位置及び視軸を含む撮像設定データおよび前記照明部の配置位置及び光軸を含む照明設定データを予め記憶する記憶部を備え、前記画像処理部は、前記撮像設定データ、前記照明設定データ及び前記移動物体画像の大きさから前記移動物体画像が一つの移動物体であった場合の仮想影画像の面積を算出する面積算出手段を更に有し、前記判定手段は、前記影画像の面積と前記仮想影画像の面積とを比較し、前記影画像が所定の判定閾値より大きいと、複数の移動物体により生じた影であると判定するものとする。
かかる構成により、本発明の面積算出手段は、記憶部の撮像設定データ、照明設定データと移動物体画像の大きさとから、移動物体画像が一つの移動物体であった場合の仮想影画像の面積を算出する。そして、本発明の判定手段は、影画像の面積と仮想影画像の面積とを比較し、影画像が所定の判定閾値より大きいと、複数の移動物体により生じた影であると判定する。ここで、所定の判定閾値とは、例えば、予め設定された影画像の面積と仮想影画像の面積との比率が１つの移動物体の影に相当するか、複数の移動物体の影に相当するのかを弁別するための値である。かかる閾値は、撮像部、照明部の設置位置や検出対象である移動物体の大きさを位置によって異なるため、それぞれの設定データ等から経験的に定めても良いし、計算して適応的に定めても良い。この場合、判定手段は、影画像の面積と仮想影画像の面積との面積比率を求め、それと閾値とを比較する。その結果、仮想影画像の面積よりも影画像の面積の方が大きく、かつ、当該閾値を超えていた場合に、一つの移動物体の影ではない、すなわち、複数の移動物体により生じた影であると判定できる。

また、本発明の好ましい態様は、前記撮像部の配置位置及び視軸を含む撮像設定データおよび前記照明部の配置位置及び光軸を含む照明設定データを予め記憶する記憶部と、前記画像処理部は、前記撮像設定データ、前記照明設定データ及び前記移動物体画像の大きさから仮想影画像の主軸線方向を算出する軸線算出手段と、前記判定手段が複数の移動物体による影と判定すると、前記抽出された前記複数の凸形状の頂部ごとに、前記主軸線方向であって前記移動物体像と重なる位置を移動物体の足元位置とするとともに前記出力部に足元位置を出力する位置推定手段を更に有するものとする。
かかる構成により、本発明の軸線算出手段は、記憶部の撮像設定データと、照明設定データと、移動物体画像の大きさとから仮想影画像の主軸線方向を算出する。一方、本発明の判定手段により、影画像が複数の移動物体による影であると判定した場合、すなわち、オクルージョンによって隠蔽された他の移動物体の存在を検出した場合を想定する。この場合、本発明の位置推定手段は、抽出された複数の凸形状の頂部ごとに、主軸線方向であって移動物体像と重なる位置を、隠蔽された他の移動物体の足元位置として算出し、出力部に足元位置を出力する。このように、位置推定手段により検出された隠蔽された他の移動物体の足元位置を推定することにより、当該他の移動物体のおよその現在位置を把握することができ、これを追跡用情報として利用することができる。

上記のように、本発明の移動物体検出装置は、オクルージョンが生じている状況下においても、影画像を積極的に利用したことにより、複数のカメラを連携させることなく、簡易な装置構成によって複数の移動物体の存在を検出することができる。

実施例に係る移動物体検出装置の構成と配置イメージを模式的に示した図管理装置の構成を示すブロック図制御部における処理を示すフローチャート判定処理を示すフローチャート分割処理を説明する図第一の実施例における判定処理を説明する図足元位置の推定の処理を説明する図ワールド座標系、画像座標系、カメラ座標系の対応関係を表す図第一の実施例における判定処理で作成されるヒストグラム第二の実施例における判定処理を説明する図仮想影の特徴を説明する図

（第一の実施例）
以下、本発明の一実施形態として、建物内の室における所定の領域を監視領域とし、当該監視領域を撮像した入力画像から監視領域内に存在する人物の数を監視者に表示する場合の実施例について、図面を参照して説明する。なお、以下の実施例では、移動物体として人物を想定しているが、人物以外の移動物体、例えば、ベルトコンベアーなどで搬送されている各種製品やペットなどに対しても本発明を適用することが可能である。

図１は、移動物体検出装置１の全体構成および配置について模式的に示した図である。移動物体検出装置１は、管理装置２、撮像装置３、照明装置４によって構成される。
本実施例では、移動物体検出装置１は、監視領域８内に存在する人物像を検知及び追跡し、監視領域８内に存在する人物の数を監視者である管理人等に通知する処理を行う。例えば、図１のように、監視領域８内に第一人物５ａと第二人物６ａとが存在する場合、撮像装置３から見たこれらの人物の像にオクルージョンが生じていたとしても、第一人物５ａと第二人物６ａとを合わせた人数（二人）を管理人等に適切に通知ことができるものである。

撮像装置３は、ＣＣＤ素子やＣ−ＭＯＳ素子等の撮像素子、光学系部品等を含んで構成される所謂監視カメラである。撮像装置３は、室の壁９の上部又は天井に設置され、地面または床面を含む監視領域８を斜め上方から俯瞰して撮像するよう設置される。撮像装置３は、監視領域８を所定時間おきに撮像して入力画像を管理装置２に順次送信する。入力画像が撮像される時間間隔は例えば１／５秒である。以下、この時間間隔で刻まれる時間の単位を時刻と称する。

照明装置４は、人体を検出するとＬＥＤが点灯するセンサーライトであって、室の壁９の上部又は天井に設置され、監視領域８内を斜め上方から照射するよう設置される。更に、照明装置４は、その光軸が撮像装置３の視軸と異なるような方向から光を照射するように設置される。ここで光軸とは、照明装置４から照射された立体的な光束の中心における光の進行方向をいう。なお、本発明は、照明装置４の光軸と撮像装置３の視軸との関係が水平面上において直角に近づくよう、撮像装置３と照明装置４とが設置される程、好適に用いることができる。また、本発明は、照明装置４の光軸を監視領域８の中央を照射するよう、照明装置４の向きを調整して設置される程、好適に用いることができる。なお、照明装置４は、センサーライトに限らず、管理装置２によって制御されても良い。

管理装置２は、室を備えた建物内の事務室や警備室等に設置され、管理装置２に接続された撮像装置３から送信された画像に基づいて人物像の追跡処理を行う。また、管理装置２は、追跡している人物像から監視領域８に存在する人物の人数を判定し、図示しない事務室等に所在する管理者や警備員等に対して音声や画像表示によって警報出力することにより、監視領域８に存在する人物の人数を通知する。

図２は、管理装置２の構成を示している。管理装置２は、コンピュータ機能を有しており、制御部２１と、記憶部２２と、通信部２３と、入力部２４と、出力部２５と、を備えている。

通信部２３は、ＬＡＮやＵＳＢ等の通信インタフェースであり、撮像装置３との通信インタフェースとして機能する。

入力部２４は、キーボードやマウス、タッチパネル、可搬記憶媒体の読み取り装置等の情報入力デバイスである。管理者等は、入力部２４を用いて、管理装置２に対して様々な設定情報や操作情報等を入力することができる。

出力部２５は、図示していないディスプレイやスピーカ等の情報出力デバイスであり、制御部２１からの出力信号に基づいて、表示出力や音声出力等を行う。管理者等は、出力部２５からの表示出力や音声出力を確認することにより、監視領域８に存在する人物の人数を把握することができる。さらに、管理者等は、出力部２５からの表示出力や音声出力により、移動物体検出装置１の設定情報を確認したり、監視領域８における入力画像を確認したりすることもできる。

記憶部２２は、ＲＯＭ、ＲＡＭ、ＨＤＤ等の情報記憶装置である。記憶部２２は、各種プログラムや各種データを記憶し、制御部２１との間でこれらの情報を入出力する。各種データには、構成情報２２１と、基準画像２２２と、変化領域画像２２３と、追跡用情報２２４と、仮想影情報２２５とを含んで構成される。

構成情報２２１は、撮像空間を三次元座標として表現した場合における撮像装置３の三次元位置情報及び向き（視軸）を含む撮像設定データと、照明装置４の三次元位置情報及び向き（光軸）を含む照明設定データとからなる情報であり、いわば撮像装置３と照明装置４との設置情報に関する情報である。撮像設定データはカメラキャリブレーションを行うことによって求めることができる、いわゆる撮像装置３の外部パラメータである。また、構成情報２２１には、撮像装置３の画角、画素数及びレンズ歪み等を含むカメラ固有の内部パラメータ等に関する情報を含む。構成情報２２１は、後述の仮想影情報２２５を生成する際に利用される。

基準画像２２２は、後述する制御部２１の変化領域抽出手段２１１によって、後述する変化領域画像２２３を抽出するために、入力画像との比較対象として用いられる画像情報である。本実施例では、監視領域８に人物等の移動物体が存在しない状態のときの画像情報（背景画像）を基準画像２２２として用いている。基準画像２２２は、移動物体が存在しない状況で本装置を起動することによって取得され、起動後は移動物体が存在しない画像上の領域についての画像情報を利用することによって逐次更新される。

変化領域画像２２３は、後述する制御部２１の変化領域抽出手段２１１によって入力画像と基準画像２２２との差分演算が行われ、差分が認められた画像領域として抽出された画像情報である。また、変化領域画像２２３は、後述する制御部２１の分割手段２１２によって、人物に相当する画像領域（以下、人物画像という）と当該人物画像に対応する影に相当する画像領域（以下、影画像という）とに分割され、更新される。

追跡用情報２２４は、追跡している各人物画像の画像上の位置及び追跡用特徴量からなる情報である。追跡用特徴量は、輝度ヒストグラム、テクスチャ情報などであり、人物画像を追跡するために、過去画像における人物画像と現在画像における人物画像とを同定するのに使用される。

仮想影情報２２５は、ある人物画像内に一人の人物が内在していると仮定した場合に、照明装置４から照射された光によって当該人物画像から床面に投影されうる影（以下、仮想影という）の特徴に関する情報である。仮想影情報２２５は、予め管理者等によって設定登録されたり、後述する制御部２１の仮想影生成手段２１４によって自動的に生成されることによって設定される。本実施例では、仮想影情報２２５として、仮想影の形状に関する情報と、仮想影が出現しうる方向（以下、主軸線方向という）に関する情報とが保存される。

本実施例では、仮想影の形状として、一つの凸形状を有するものを想定している。そのため、仮想影情報２２５としては、ある人物画像に対応する影画像の外延形状が、一つの凸形状からなることを判定するための情報が保存される。すなわち、影画像について、人物画像に接している部分から見て対向する位置に、一つの凸形状からなる外延形状を有するか否かを判定するための情報である。より具体的には、本実施例では、後述するように、影画像の外延形状を判別するための閾値情報が保存される。なお、本実施例では、仮想影の形状に関する情報は、予め管理者等によって設定登録されているものとする。
また、主軸線方向は、後述する制御部２１の仮想影生成手段２１４によって自動的に生成され、仮想影情報２２５として記憶されるものとする。

制御部２１は、例えばＣＰＵやＤＳＰ等の演算装置であって、記憶部２２に記憶されるプログラムに従って各種の情報処理を実行する。本実施例では、制御部２１は、撮像装置３によって撮影され通信部２３を介して受信した入力画像を解析して、移動物体である人物の像を検出・追跡し、監視領域８に存在する人物の数を示すメッセージを出力部２５に出力する処理を行う。また、制御部２１は、入力部２４からの設定情報や操作情報等の入力情報を記憶部２２に保存する処理を行う。制御部２１は、機能的に、変化領域抽出手段２１１と、分割手段２１２と、追跡手段２１３と、仮想影生成手段２１４と、判定手段２１５と、位置推定手段２１６とを含んで構成される。

変化領域抽出手段２１１は、撮像装置３から受信した入力画像と基準画像２２２とを比較して両画像間で相違する画素を検出し、互いに隣接して検出された画素をまとめて変化領域とする差分演算を行う。そして、予め定めた基準値を超える大きさの変化領域のみを変化領域画像２２３として抽出し、変化領域画像２２３として記憶する。ここで相違する画素とは、基準画像２２２との間で輝度値又は色成分の差が所定値以上である入力画像の画素、或いは基準画像２２２との間で輝度値或いは色成分の相関が所定値未満である画素のことを意味する。変化領域抽出手段２１１は、異なる移動物体の画像領域として抽出された各変化領域画像２２３に対して、それぞれ固有の数値であるラベルを付与し、変化領域画像２２３の画素値として記憶する。

分割手段２１２は、変化領域抽出手段２１１で抽出された変化領域画像２２３を、予め認識している人物画像の特徴と影画像の特徴とに基づいて、人物画像と影画像とに分割する処理を行う。具体的には、分割手段２１２は、変化領域抽出手段２１１で生成された変化領域画像２２３における、人物画像の画素であるか影画像の画素であるかを判定する。

なお、人物画像の特徴には、例えば、人物としての大きさに関する特徴や、人物らしい形状に関する特徴などがある。また、影画像の特徴には、輪郭部分のエッジ強度が弱いといった特徴や、基準画像のテクスチャが入力画像にも保存されるといった特徴、変化領域が負の輝度変化を示す（変化領域中の画素の輝度値が、基準画像における対応領域中の画素の輝度値よりも低い）といった特徴などがある。分割手段２１２は、正規化相関値など公知のパターンマッチング手法を用いたり、グラフカット等の公知のセグメンテーション手法を組み合わせることによって、これらの特徴を識別することにより、変化領域画像２２３を人物画像と影画像とに分割する。例えば、変化領域画像２２３の中から影画像の特徴を有する領域を影画像とし、残りの領域を移動物体画像としてもよい。逆に、変化領域画像２２３の中から人物画像の特徴を有する領域を人物画像とし、残りの領域を影領域としてもよい。また、影画像の特徴と移動物体画像の特徴を点数化し、各領域を移動物体画像か影画像かを判定することにより、移動物体画像と影画像に分割してもよい。

追跡手段２１３は、撮像装置３が所定時間おきに取得した各入力画像について、分割手段２１２により抽出された各人物画像について追跡処理を行う。追跡処理では、追跡手段２１３は、新たに撮像された入力画像から分割手段２１２によって抽出された現在時刻の人物画像と、過去時刻において抽出されて追跡用情報２２４に記憶されている人物画像とを同定する処理を行う。この際、現在時刻の人物画像の追跡用特徴量と、過去時刻において抽出されて追跡用情報２２４に記憶されている人物画像の追跡用特徴量とを比較し、例えば、追跡用特徴量が類似し位置が近いもので同定する。そして、同一の人物を表すものとして互いに関連付けられた人物画像について、同一の像ＩＤを付与し、時系列に従って撮像された各入力画像上の位置を、像ＩＤと対応付けて記憶部２２に追跡用情報２２４として保存する。なお、本実施例では、人物画像の入力画像上の位置情報として、人物画像の略中央最下部の位置（以下、足元位置という）の座標情報を保存している。

なお、追跡手段２１３は、新たに抽出された人物画像において、過去の人物画像と同定が得られなかったものについては、新規人物が出現したものとして、当該人物画像の追跡特徴量に新規の像ＩＤを付与して追跡用情報２２４に追記する。また、追跡手段２１３は、これまで追跡していた人物画像のうち、現在時刻の人物画像と同定が得られなかったものがある場合、当該人物が消失したものとして対応する情報を追跡用情報２２４から削除する。

仮想影生成手段２１４は、変化領域画像２２３の人物画像の位置と大きさ、及び構成情報２２１に基づいて、各人物画像の仮想影の特徴に関する情報を自動的に生成し、仮想影情報２２５として記憶部２２に保存する処理を行う。本実施例では、仮想影生成手段２１４は、前述のように仮想影情報２２５として主軸線方向を算出する。なお、主軸線方向の具体的な算出方法については後述する。

判定手段２１５は、仮想影情報２２５と影画像とに基づいて、一つの人物画像に複数の人物が内在しているか否かを判定する処理を行う。すなわち、本処理では、まず、人物画像に対応する影画像が、仮想影情報２２５に設定された仮想影の特徴と略一致しているか否かを比較する。そして、影画像が仮想影の特徴と略一致していると判定した場合、すなわち、影画像の外延に一つの凸形状のみを検出した場合、当該人物画像には複数の人物が内在していないと判定する。一方、影画像が仮想影の特徴と略一致していないと判定した場合、すなわち、影画像の外延に複数の凸形状を検出した場合、当該人物画像には複数の人物が内在していると判定する。そして、一つの人物画像に複数の人物が内在していると判定した場合、いわばオクルージョンによって隠蔽されている人物（以下、隠蔽人物という）を検出した場合、判定手段２１５は、当該隠蔽人物に関する追跡用情報２２４を更新する処理を行う。なお、一つの人物画像に複数の人物が内在しているか否かを判定する処理、及び、隠蔽人物に関する追跡用情報２２４を更新する処理の具体例については、後述する。

位置推定手段２１６は、判定手段２１５にて隠蔽人物が存在していると判定したとき、当該隠蔽人物の足元位置を推定する処理を行う。なお、足元位置を推定する処理の具体例については、後述する。

以下、本実施例に係る管理装置２の制御部２１が実行する処理の流れの一例について、図３の制御部２１における処理を示すフローチャートに基づいて説明する。

まず、誰もいない状態を確認して管理者等により本装置を起動する。また、起動後の移動物体検出処理の開始に先立ち、管理者等により入力部２４を用いて、撮像装置３や照明装置４に関する構成情報２２１の設定等の各種初期設定が行なわれる（Ｓ１０）。初期設定が完了すると、管理装置２の制御部２１は、撮像装置３によって取得された直近の複数の入力画像から基準画像２２２を生成し、記憶部２２に保存する。

初期設定が終わったのち、撮像装置３より現在時刻における入力画像が取得される（Ｓ１２）。以下、撮像装置３から新たな入力画像が入力されるたびにステップＳ１２〜Ｓ２２の移動物体検出処理が繰り返される。

次に、変化領域抽出手段２１１は、取得した入力画像と基準画像２２２の差分演算、及び、ラベリング演算により、変化領域画像２２３を生成する移動物体抽出処理を行う（Ｓ１４）。

次に、分割手段２１２は、変化領域画像２２３の各画素について、影か人物かを判定を行い変化領域画像２２３の値を更新する分割処理を行う（Ｓ１６）。図５は、本実施例に係る分割処理を説明するための図である。図５（ａ）は、撮像装置３で取得した現在時刻における入力画像に対して、変化領域抽出手段２１１による移動物体抽出処理によって抽出された変化領域画像２２３を表した図である。図５（ｂ）は、変化領域抽出手段２１１で抽出された変化領域画像２２３に対して、分割手段２１２による分割処理が行われたことによって、人物画像５１と影画像５２とに分割された変化領域画像２２３を表した図である。

次に、追跡手段２１３は、現在時刻における変化領域画像２２３の各人物画像５１と、過去時刻において追跡され追跡用情報２２４に記憶された人物画像５１との対応付けを行う追跡処理を行う（Ｓ１８）。そして、追跡手段２１３は、監視領域８に存在する各人物画像５１の現在時刻において存在する画像上の位置を、過去時刻における画像上の位置と関連付けて追跡用情報２２４として蓄積する。

次に、判定手段２１５は、判定処理を行う（Ｓ２０）。判定処理では、追跡用情報２２４に現れていない隠蔽人物の存否が判定され、監視領域８に存在する人物の人数が算出される。また、判定処理では、存在すると判定された隠蔽人物の足元位置が算出される。なお、判定処理の具体例については、後述する。

次に、制御部２１は、出力処理を行う（Ｓ２２）。出力処理では、判定処理によって算出された監視領域８に存在する人物の人数を出力部２５へ出力させるための処理が行われる。また、出力処理では、追跡用情報２２４に記憶された各像ＩＤの足元位置と、判定処理によって算出された隠蔽人物の足元位置とを出力部２５へ出力させるための処理が行われる。なお、制御部２１は、監視領域８内に存在する人物の人数が予め設定された閾値人数を超えた場合に、出力部２５に対して警告表示や警告音等の出力を行わせるための処理を行ってもよい。

次に、上述した図３のフローチャートにおけるＳ２０の判定処理の具体例について、図４の判定処理を示すフローチャートに基づいて説明する。

図４に示すように、まず制御部２１は、変化領域画像２２３の全ての人物画像５１について隠蔽人物の存否を判定する処理が済んでいるか否かを判定する（Ｓ２０２）。全ての人物画像５１について、判定処理済みである場合（Ｓ２０２−Ｙｅｓ）、ステップＳ２１６へ進む。

全ての人物画像５１について、隠蔽人物の存否を判定する処理が済んでいない場合（Ｓ２０２−Ｎｏ）、制御部２１は、未処理の人物画像５１の中から一つの人物画像５１を選択し、当該人物画像５１を処理対象として、記憶部２２に一時的に保存する（Ｓ２０４）。また、処理対象の人物画像５１に係る影人数を１に初期化する。ここで、影人数とは、処理対象の人物画像５１に対応付けられた影画像５２に基づいて判定された、当該人物画像５１に含まれる人物の数を表す値のことをいう。

次に、仮想影生成手段２１４は、処理対象の人物画像５１における仮想影情報２２５を生成し、記憶部２２に保存する処理を行う（Ｓ２０８）。前述のように、本実施例では、仮想影情報２２５として主軸線方向に関する情報を算出する。

主軸線方向は、具体的に次のように求めることができる。まず、仮想影生成手段２１４は、足元位置として、処理対象の人物画像５１の略中央最下部の位置の座標（ｕ_Ｆ、ｖ_Ｆ）を求める。この他にも、人物画像５１の頭頂部の位置を含む垂直線と当該人物画像５１の最下部の位置を含む水平線との交点に係る画像上の位置を人物画像５１の足元位置として求めてもよい。

続いて、仮想影生成手段２１４は、処理対象の人物画像５１についての画像上の仮想影の頭頂部位置を求める。ここで、仮想影の頭頂部位置とは、処理対象の人物画像５１の頭頂部の位置に該当する仮想影の位置のことをいう。
図８は、本実施例におけるワールド座標系、画像座標系、カメラ座標系の対応関係を表した図である。ここで、ワールド座標系とは、三次元空間中の所定の位置を表す座標系のことであり、図８のように、Ｘ_Ｗ−Ｙ_Ｗ平面を床面とし、Ｚ軸を床面に垂直な方向をとり、床面をＺ_Ｗ＝０とした右手系の座標系を用いる。また、画像座標系とは、撮像装置３で撮像された画像上の位置を表す座標系のことをいう。また、カメラ座標系とは、撮像装置３の光学中心を原点とし、Ｚ軸を撮像装置３の視軸方向に一致させ、Ｘ軸とＹ軸は画像の横方向（ｕ方向）と縦方向（ｖ方向）に平行にとった座標系のことをいう。一般的に、ワールド座標系、カメラ座標系、画像座標系の三つの対応関係を取ることにより、画像座標系の位置をワールド座標系の位置に変換することが可能になる。このような対応関係を取る校正操作をカメラキャリブレーションという。カメラキャリブレーションは、撮像装置３固有の内部パラメータと、ワールド座標系における撮像装置３の位置と姿勢を意味する外部パラメータとを求めることにより実施可能である。ここでは、カメラキャリブレーションがステップＳ１０の初期設定時に実施済みであるとし、詳細なカメラキャリブレーションの方法についての説明は省略する。

一般的に、画像座標系の任意の位置（ｕ，ｖ）とワールド座標系における三次元位置（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）とは、次の数１で対応付けることができる。

ここで、λはスケールファクタであり、Ｐは３×４のパラメータからなる射影行列である。なお、前述のカメラキャリブレーションにより、射影行列Ｐは既知の値であるとする。

ここで、足元位置が床面に接触している（Ｚ_Ｗ＝０）という条件を付与して、人物画像５１の画像上の足元位置の座標（ｕ_Ｆ、ｖ_Ｆ）を数１に代入することにより、人物画像５１の足元位置に対応するワールド座標（Ｘ_Ｆ，Ｙ_Ｆ，０）を算出することができる。また、人物画像５１の画像上の頭部位置の座標（ｕ_Ｈ、ｖ_Ｈ）を数１に代入し、人物が直立していると仮定することにより、人物画像５１の頭部位置に対応するワールド座標（Ｘ_Ｈ，Ｙ_Ｈ，Ｚ_Ｈ）を算出できる（ここで、Ｘ_Ｈ＝Ｘ_Ｆ、Ｙ_Ｈ＝Ｙ_Ｆ）。次に、照明装置４のワールド座標値（Ｘ_Ｌ，Ｙ_Ｌ，Ｚ_Ｌ）と頭頂部の位置のワールド座標値（Ｘ_Ｈ，Ｙ_Ｈ，Ｚ_Ｈ）とを結ぶ直線Ｌを求め、直線Ｌが床面と交差する点のワールド座標（Ｘ_Ｓ，Ｙ_Ｓ，０）を仮想影の頭頂部位置として算出する。そして、数１より、画像上における仮想影の頭頂部位置（ｕ_Ｓ，ｖ_Ｓ）を求めることができる。

このように、画像上の足元位置の座標（ｕ_Ｆ、ｖ_Ｆ）と仮想影の頭頂部位置（ｕ_Ｓ，ｖ_Ｓ）とを求めることにより、足元位置から仮想影の頭頂部位置に向かう方向を主軸線方向として算出できる。

次に、判定手段２１５は、影画像５２が仮想影の特徴に適合しているか否かについて判定する適合判定処理を行う（Ｓ２０８）。以下、適合判定処理の具体例を説明する。

まず、判定手段２１５は、処理対象の人物画像５１に対応する影画像５２を求める。すなわち、判定手段２１５は、処理対象の人物画像５１に接しており、ステップＳ２０６にて求めた足元位置から主軸線方向に向かって生じている影画像５２を、当該人物画像５１の影画像５２として対応付ける。これにより、処理対象の人物画像５１が照明装置４とは異なる照明によって生じた影画像５２を有している場合であったとしても、照明装置４によって生じた影画像５２のみを対応する影画像５２として、以下の処理で利用することができる。また、処理対象の人物画像５１が他の人物画像５１から生じる影画像５２とも接している場合、どの影画像５２が処理対象の人物画像５１に対応するものなのかを判別することができる。

次に、判定手段２１５は、処理対象の人物画像５１に対応する影画像５２の形状と仮想影の特徴とを比較する処理を行う。前述したように、本実施例では、仮想影の特徴として、外延形状が一つの凸形状からなる影画像５２であること想定している。図１１は、本実施例における仮想影の特徴を説明する図である。図１１のように、仮想影の特徴として、人物画像５１と接している影画像５２の部分５３に対抗する位置にある影画像５２の外延形状５４が、人物画像５１から見たとき一つの凸形状であることが求められる。

図６は、処理対象の人物画像５１に対応する影画像５２の形状と仮想影の特徴とを比較する処理を説明するために模式的に表した図である。図６（ａ）に表されているように、判定手段２１５は、人物画像５１の足元位置を中心に、主軸線方向αをθ＝０の位置として、画像の奥行き方向に対して所定の角度範囲で回転させ、影画像５２の大きさ変化（画素数の変化）を調べる。図９は、図６（ａ）の画像に対して、本処理を実施した場合における影画像５２の大きさ変化について、ヒストグラムにより模式的に表した図であり、縦軸に画素数が設定され、横軸に角度θが設定されている。図９のように、画素値として、角度θ＝０近辺にて第一のピーク値Ｐ_０が、角度θ＝θ_１にて第一の下限値Ｐ_１が、角度θ＝θ_２にて第二のピーク値Ｐ_２が、認められる。
判定手段２１５は、これらの画素値と、予め管理者等によって設定登録され仮想影情報２２５として保存されている閾値情報とを用いて、影画像５２の形状と仮想影の特徴とを比較する。ここで閾値情報とは、各ピーク値どうしの大きさ比率、及び、各ピーク値と各下限値との大きさ比率が、所定の範囲にあるか否かを判別するための閾値である。本実施例では、これらの比率が仮想影情報２２５として予め設定された閾値情報の範囲内にあると判別されたとき、影画像５２の外延形状に複数の凸形状があると判定する。例えば、ｓ１とｓ２とを閾値情報とし（例えば、ｓ１＝０．７、Ｓ２＝０．８）、Ｐ１／Ｐ０＜ｓ１であり、かつ、Ｐ２／Ｐ０＞ｓ２であるならば、影画像５２には２つの頂部と一つの谷部からなる二つの凸形状を有すると判定する。そのため、図９のようなヒストグラムを得られた場合、判定手段２１５は、当該仮想影の特徴とは略一致していないと判定し、処理対象の人物画像５１に複数の人物が存在していると判定できる。

このように、判定手段２１５によって、処理対象の人物画像５１に対応する影画像５２の外延形状を調べ、当該外延形状に複数の凸形状を有していることを閾値情報を用いて判定することにより、当該人物画像５１に複数の人物が内在していると判定することができる。したがって、本発明は、オクルージョンが生じており、隠蔽人物が存在していることを判定することができる。

次に、制御部２１は、直前に実施したステップＳ２０８の適合判定処理において、処理対象の人物画像５１に新たな隠蔽人物が存在していると判定されたか否かにより処理を分岐する（Ｓ２１０）。処理対象の人物画像５１に新たな隠蔽人物が存在していると判定されていない場合（Ｓ２１０−Ｎｏ）、Ｓ２０２へ進み、本処理対象の人物領域像５１に対する判定処理を終了する。

直前に実施したステップＳ２０８の適合判定処理において、処理対象の人物画像５１に新たな隠蔽人物が存在していると判定された場合（Ｓ２１０−Ｙｅｓ）、制御部２１は、処理対象の人物画像５１に係る影人数のインクリメントを行う（Ｓ２１２）。

次に、位置推定手段２１６は、足元位置の推定処理を行う（Ｓ２１４）。足元位置の推定処理では、位置推定手段２１６によって、新たに検出された隠蔽人物の足元位置が推定され、記憶部２２に一時的に記憶される。

ここで、位置推定手段２１６による隠蔽されている人物の足元位置を推定するための処理について、図７を用いて具体的に説明する。まず、位置推定手段２１６は、ステップＳ２０にて推定した主軸線方向αと平行な直線βを求める。ここで、直線βは、第二の凸形状のピーク値となる点、すなわち図１０の第二のピーク値Ｐ_２に相当する位置の点ｈ’を通るものとする。このとき、隠蔽されている人物の足元位置は、直線β上において、処理対象の人物画像５１と重なる範囲の位置に存在すると想定することができる。本実施例では、隠蔽されている人物の足元位置を、当該範囲における中間の位置ｆ’として求めることとする。

なお、以降の処理では、処理対象の人物画像５１の足元位置ｆの代わりに、ステップＳ２１８にて推定した足元位置ｆ’を用いて、ステップＳ２０６からの処理を繰り返す。すなわち、以降の処理では、図６（ｂ）に表しているように、修正した足元位置ｆ’を中心として更に隠蔽されている人物を検知する処理を行う。このように足元位置を修正して再帰的な処理を繰り返すことにより、隠蔽されている人物が二人以上であったとしても、隠蔽されている人物の数を比較的高い精度で検知することができる。

全ての人物画像５１についての判定処理が完了した場合（Ｓ２０２−Ｙｅｓ）、判定手段２１５は累算処理を行う（Ｓ２１６）。累算処理では、各人物画像５１について求めた影人数が累算され、当該累算値を監視領域８に存在する人物の人数として算出され、記憶部２２に一時的に記憶される。累算処理が完了すると、判定手段２１５は判定処理を終了し、Ｓ２２へ進む。

なお、本実施例では、仮想影生成手段２１４にて、仮想影情報２２５として仮想影の主軸線方向を算出しているが、主軸線方向を算出しなくても、すなわち、仮想影生成手段２１４を用いなくても、人物画像５１に複数の人物が存在しているか否かを判定可能である。具体的に説明するならば、まず、人物画像５１に接している影画像５２について、接している当該部分とは対向する位置にある外延形状を、予め設定された影画像の特徴である閾値情報を用いて、上記ステップＳ２０８の適合判定処理と同様の処理によって、所定の凸形状が複数検出されるか否かを判定する。なお、上記のステップＳ２０８では、主軸線方向αをθ＝０の位置として、画像の奥行き方向に対して所定の角度範囲で回転させ、影画像５２の大きさ変化を調べているが、この場合においては、例えば人物画像５１の足元位置から下に垂直の方向をθ＝０の位置として、影画像５２の存在する側の画像の奥行き方向に対して所定の角度範囲で回転させることにより、影画像５２の大きさ変化を調べる。そして、所定の凸形状が複数検出された場合、人物画像５１に複数の人物が存在していると判定する。
この他にも、主軸線方向を仮想影情報２２５として予め設定しても良い。この場合、ステップＳ１０の初期設定時に予め管理者等によって設定登録され、仮想影情報２２５として記憶部２２に保存されているものとする。

（第二の実施例）
上述の第一の実施例では、仮想影生成手段２１４にて主軸線方向を求め、判定手段２１５にて影画像５２が一の凸形状からなる仮想影の特徴を有しているか否かを判定することにより、当該人物画像５１に複数の人物が存在するか否かを判定している。しかし、影画像５２の形状は当該影画像５２に対応する人物の体勢や姿形等に依存するため、状況によっては、必要とする精度の判定結果を得られないことも想定される。そのため、本実施例では、第一の実施例とは異なる方法により仮想影情報２２５を生成し、また、第一の実施例とは異なる方法により影画像５２と仮想影情報２２５とを比較・判定することにより、第一の実施例で十分な精度を得られない場合であったとしても、補完的にオクルージョンを判定できることを目的としている。なお、本実施例は、補完的にオクルージョンを判定するだけでなく、本実施例のみによりオクルージョン状態を判定することも可能である。

第一の実施例では、ステップＳ２０６にて、仮想影生成手段２１４は、仮想影の主軸線方向を算出し、仮想影情報２２５として記憶部２２に保存した。一方、本実施例では、仮想影生成手段２１４は、仮想影の画像形状とその位置とを仮想影画像として求め、当該仮想影画像の面積と位置を仮想影情報２２５として記憶部２２に保存する。本実施例では、仮想影の形状の一例として、楕円形状からなる仮想影画像を生成する。

図１０は、本実施例に係る判定処理を説明する図であり、図１０（ａ）は一回目の判定処理を説明する図である。図１０（ａ）の中で、破線で示された楕円形状は、仮想影生成手段２１４によって生成された仮想影画像６０である。仮想影画像６０は、具体的に次のように求めることができる。まず、仮想影生成手段２１４は、ステップＳ２０６にて、第一の実施例と同様の方法により、主軸線方向αを推定する。そして、主軸線方向αと楕円の長軸とを一致させ、楕円の長径を足元位置ｆから影頭頂部の位置ｈに至る長さとし、楕円の短径を予め定めた固定長とすることにより、仮想影画像６０を生成することができる。なお、楕円の短径を入力画像上における人物画像５１の位置や、人物画像５１の横幅等により自動的に調整してもよい。

第一の実施例では、ステップＳ２０８にて、判定手段２１５は、影画像５２が一の凸形状からなる仮想影の特徴を有しているか否かについて判定することにより、当該人物画像５１に複数の人物が内在しているか否かを判定している。一方、本実施例では、判定手段２１５は、影画像５２の面積と仮想影画像６０の面積とを比較することにより、人物画像５１に複数の人物が内在しているか否かを判定する。すなわち、まず、判定手段２１５は、影画像の面積を求める。そして、判定手段２１５は、記憶部２２から仮想影画像６０の面積を読み出し、影画像５２の面積と比較する。そして、判定手段２１５は、影画像５２と仮想影画像６０との面積比率を求め、影画像５２の面積が仮想影画像６０の面積よりも大きく、かつ、予め設定された所定の面積比率の閾値よりも大きい場合に、人物画像５１に複数の人物が存在すると判定する。この場合、当該面積比率の閾値は、ステップＳ１０の初期設定時に予め管理者等によって設定登録され、仮想影情報２２５として記憶部２２に保存されているものとする。なお、判定手段２１５は、面積比較する際、仮想影画像６０と仮想影画像６０に包含されている影画像５２との面積比率（以下、包含率という）を求め、これを判定に考慮してもよい。これにより、面積比率のみの判定では、人物画像５１に複数の人物が存在していると判定するような場合であったとしても、包含率が所定の閾値に達しない場合には、人物画像５１に複数の人物が存在していないといった判定をすることができ、状況に合わせてより厳密な判定処理を行うことが可能となる。

そして、人物画像５１に複数の人物が存在すると判定した場合、ステップＳ２１８にて、位置推定手段２１６は、第一の実施例と同様の方法により隠蔽されている人物の足元位置ｆ’を求める。

次に、本実施例に係る二回目以降の判定処理について説明する。図１０（ｂ）は、本実施例に係る二回目のステップＳ２０６における判定処理を説明する図である。図１０（ｂ）のように、二回目のステップＳ２０６における仮想影情報２２５の生成処理では、第二の凸形状のピーク値となる点ｈ’と足元位置ｆ’とを結ぶ直線に対して、長軸の角度と長径の長さとを一致させた楕円を新規に生成し、一回目の判定処理で生成した仮想影画像６０と合成した形状のものを仮想影画像６０として生成する
そして、二回目のステップＳ２０８における判定処理では、当該仮想影画像６０と影画像５２とを面積比較することにより、更なる隠蔽された人物が存在するか否かを判定する。このように本実施例では、隠蔽されている人物を検出する都度、足元位置を修正し、仮想影画像６０を修正する処理を再帰的に繰り返すことにより、隠蔽されている人物が二人以上であったとしても、隠蔽されている人物の数を比較的高い精度で検知することができる。

なお、本実施例における上記以外の処理については、第一の実施例と同じであるため、ここでは詳細な説明を省略する。

（第三の実施例）
第二の実施例では、ステップＳ２０８にて判定手段２１５により、影画像５２と仮想影画像６０とを面積比較することによって、人物画像５１に複数の人物が内在しているか否かを判定した。一方、本実施例では、ステップＳ２０８にて判定手段２１５により、影画像５２と仮想影画像６０とを形状比較することによって、人物画像５１に複数の人物が内在しているか否かを判定する。例えば、第二の実施例におけるステップＳ２０６にて生成した仮想影画像６０をテンプレートとして、公知のパターンマッチング手法を用いることにより、影画像５２に対して複数個の仮想影画像６０と対応ついた場合に、人物画像５１に複数の人物が存在していると判定する。

このように、本実施例は、第二の実施例とは異なる方法により比較・判定することにより、第二の実施例で十分な精度を得られない場合であったとしても、補完的にオクルージョンを判定できることを目的としている。なお、本実施例は、補完的にオクルージョンを判定するだけでなく、本実施例のみによりオクルージョン状態を判定することも可能である。なお、本実施例における上記以外の処理については、第二の実施例と同じであるため、ここでは詳細な説明を省略する。

本発明は、上記実施例に限定されるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施例で実施されてもよいものである。また、実施例に記載した効果は、これに限定されるものではない。

上記各実施例では、予め設定された仮想影情報２２５と、仮想影生成手段２１４にて自動的に生成された仮想影情報２２５とを用いて、人物画像５１に複数の人物が内在しているか否かを判定している。しかし、これに限らず、予め設定された影画像の特徴のみを用いて、人物画像５１に複数の人物が内在しているか否かを判定してもよい。すなわち、第一の実施例では、仮想影生成手段２１４にて、仮想影情報２２５として仮想影の主軸線方向を算出しているが、必ずしも主軸線方向を算出しなくても、人物画像５１に複数の人物が内在しているか否かを判定可能である。具体的に説明するならば、まず、人物画像５１に接している影画像５２について、接している当該部分とは対向する位置にある外延形状を、予め設定された影画像の特徴である閾値情報を用いて第一の実施例と同じ方法により、所定の凸形状が複数検出されるか否かを判定する。そして、所定の凸形状が複数検出された場合、人物画像５１に複数の人物が存在していると判定する。なお、主軸線方向を仮想影情報２２５として予め設定しても良い。この場合、ステップＳ１０の初期設定時に予め管理者等によって設定登録され、仮想影情報２２５として記憶部２２に保存されているものとする。
また、第二の実施例、第三の実施例では、仮想影生成手段２１４にて仮想影情報２２５として仮想影画像６０を生成しているが、必ずしも仮想影生成手段２１４にて仮想影画像６０を生成しなくても、人物画像５１に複数の人物が存在しているか否かを判定可能である。具体的に説明するならば、まず、予め人物画像５１が存在する位置ごとに仮想影画像の面積又は形状に関する情報を仮想影情報２２５として記憶させておく。例えば、ステップＳ１０の初期設定において、管理者等により設定される。そして、人物画像５１に接している影画像５２について、当該人物画像５１の位置に応じた仮想影情報２２５を読み出し、第二の実施例と同様に面積比較する、或いは第三の実施例と同様に形状比較することにより、人物画像５１に複数の人物が内在しているか否かを判定する。
このように、仮想影情報２２５を仮想影生成手段２１４にて自動的に生成せずに、予め設定された仮想影情報２２５のみを用いて、人物画像５１に複数の人物が内在しているか否かを判定することにより、処理を簡略化することができ、処理速度を向上させることができる。

上記各実施例では、基準画像２２２を背景画像とし、入力画像と背景画像との差分演算を行い変化領域画像２２３を抽出する背景差分法を用いた。しかし、これに限らず、順次入力される画像フレーム間での差分演算を行い変化領域画像２２３を抽出する、或いは差分領域を所定時間分だけ蓄積して変化領域とするフレーム間差分法を用いてもよい。

以上に本発明の実施の形態について説明した。本実施の形態では、移動物体検出装置１が、本発明の移動物体検出装置として機能している。また、撮像装置３が、本発明の撮像部として機能している。また、照明装置４が、本発明の照明部として機能している。また、記憶部２２が、本発明の記憶部として機能している。また、出力部２５が、本発明の出力部として機能している。また、制御部２１が、本発明の画像処理部として機能している。また、変化領域抽出手段２１１が、本発明の変化領域抽出手段として機能している。また、分割手段２１２が、本発明の分割手段として機能している。また、判定手段２１５が、本発明の判定手段として機能している。また、仮想影生成手段２１４が、本発明の面積算出手段と軸線算出手段として機能している。また、位置推定手段２１６が、本発明の位置推定手段として機能している。

１・・・移動物体検出装置
２・・・管理装置
３・・・撮像装置
４・・・照明装置
８・・・監視領域
９・・・壁
２１・・・制御部
２２・・・記憶部
２３・・・通信部
２４・・・入力部
２５・・・出力部
２１１・・・変化領域抽出手段
２１２・・・分割手段
２１３・・・追跡手段
２１４・・・仮想影生成手段
２１５・・・判定手段
２１６・・・位置推定手段
２２１・・・構成情報
２２２・・・基準画像
２２３・・・変化領域画像
２２４・・・追跡用情報
２２５・・・仮想影情報
５ａ・・・第一人物
６ａ・・・第二人物
５ｂ・・・第一人物の影
６ｂ・・・第二人物の影
５０・・・画像座標系を表す図
５１・・・人物画像
５２・・・影画像
５３・・・人物画像に接している影画像の部分
５４・・・影画像の外延形状
６０・・・仮想影画像

Claims

監視領域を撮影する撮像部と、前記撮像部の視軸と異なる光軸で前記監視領域に光を照射するように設置される照明部と、前記撮像部にて撮影した画像から移動物体を検出する画像処理部と、出力部とを少なくとも備えた移動物体検出装置であって、
前記画像処理部は、
前記照明部から光を照射した監視領域を前記撮像部にて撮影した入力画像と基準画像とを比較して前記基準画像から変化した変化領域を抽出する変化領域抽出手段と、
前記変化領域の特徴を用いて前記変化領域を移動物体画像と影画像に分割する分割手段と、
前記影画像の特徴を用いて複数の移動物体により生じた影であるか否かを判定して前記出力部に判定結果を出力する判定手段と、
を有することを特徴とした移動物体検出装置。
前記判定手段は、前記移動物体画像に接している前記影画像の部分に対向する位置にある外延形状に所定の凸形状が複数検出されると複数の移動物体により生じた影画像と判定する請求項１に記載の移動物体検出装置。
更に、前記撮像部の配置位置及び視軸を含む撮像設定データおよび前記照明部の配置位置及び光軸を含む照明設定データを予め記憶する記憶部を備え、
前記画像処理部は、前記撮像設定データ、前記照明設定データ及び前記移動物体画像の大きさから前記移動物体画像が一つの移動物体であった場合の仮想影画像の面積を算出する面積算出手段を更に有し、
前記判定手段は、前記影画像の面積と前記仮想影画像の面積とを比較し、前記影画像が所定の判定閾値より大きいと、複数の移動物体により生じた影であると判定する請求項１または請求項２に記載の移動物体検出装置。
更に、前記撮像部の配置位置及び視軸を含む撮像設定データおよび前記照明部の配置位置及び光軸を含む照明設定データを予め記憶する記憶部を備え、
前記画像処理部は、前記撮像設定データ、前記照明設定データ及び前記移動物体画像の大きさから仮想影画像の主軸線方向を算出する軸線算出手段と、前記判定手段が複数の移動物体による影と判定すると、前記抽出された前記複数の凸形状の頂部ごとに、前記主軸線方向であって前記移動物体画像と重なる位置を移動物体の足元位置とするとともに前記出力部に該足元位置を出力する位置推定手段を更に有する請求項２に記載の移動物体検出装置。