JP4516665B2

JP4516665B2 - 監視装置

Info

Publication number: JP4516665B2
Application number: JP2000148730A
Authority: JP
Inventors: 弘昭井上
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2000-05-19
Filing date: 2000-05-19
Publication date: 2010-08-04
Anticipated expiration: 2020-05-19
Also published as: JP2001333422A

Description

【０００１】
【発明の属する技術分野】
本発明は、魚眼レンズカメラで撮影した画像に基づいて、監視域の人物像を追尾する監視装置に関し、特に、複数の人物像を同時に追尾できるようにしたものである。
【０００２】
【従来の技術】
従来、撮影方向が可変できる監視カメラを備えた監視装置では、移動している人物を画像中から検出し、その人物の移動方向にカメラの向きを変えて人物を追尾し、その画像をモニタに表示する装置が作られている。しかし、この装置では、監視域に複数の人物が同時に侵入した場合に、全ての侵入者を追尾することは不可能である。
【０００３】
一方、特開平１１−２６１８６８号公報には、魚眼レンズカメラに映る複数の人物像を個別に追尾する装置が開示されている。この装置では、魚眼映像の中から各人物像の領域を求め、各人物像の形状内の色情報を記憶して、個々の像の色情報に基づいて、移動する複数の人物像を個別に追尾し、各人物像の存在領域の魚眼映像を補正して表示している。
【０００４】
【発明が解決しようとする課題】
しかし、魚眼レンズカメラを用いる従来の監視装置では、個々の像の色情報に基づいて各人物像を追尾しているため、複数の人物が同色の衣服を付けていたり、薄暗いために色の識別ができない状況の下では、各人物の追尾を正確に行うことが難しい。また、身に付けている衣服の色が前と後ろで異なる場合には、人物の移動に伴ってカメラに映る色情報が変わり、違う人物と誤認してしまう虞れがある。
【０００５】
また、監視装置では追尾している人物の映像情報を迅速に処理し、その画像を分かり易くモニタに表示する必要があるが、従来の装置では、追尾する人物像が複数存在する場合に、その表示制御を円滑に行うための検討が十分になされていない。
【０００６】
本発明は、こうした従来の問題点を解決するものであり、魚眼レンズカメラを用いて複数の人物像を同時に追尾し、分かり易い画面で表示することができる監視装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
そこで、本発明では、魚眼レンズカメラで撮影された魚眼映像の歪みを補正して表示する監視装置において、
魚眼映像の移動領域を検出する移動領域検知手段と、
検出された前記移動領域の画素を移動物体ごとにグループ化してラベリングするラベリング手段と、
ラベリングされた移動物体の移動を追跡する移動領域追跡手段と、
魚眼映像からラベリングされた前記移動物体の画像領域を切り出すとともに前記移動物体の数に応じて画面表示数を指定する切り出し制御手段と、
前記画像領域の画像データを補正する正像変換手段と、
前記切り出し制御手段から指定された画面表示数に応じて表示画面を分割する表示制御手段と、を備え、
前記切り出し制御手段はラベリングされた前記移動物体と分割された前記表示画面領域との対応付けを保持し、前記表示制御手段はラベリングされた前記移動物体の数が複数の場合に、各々の前記移動物体を対応付けに従って分割された表示画面領域に個別に表示する構成を設けている。
【０００８】
そのため、魚眼レンズカメラに映る複数の人物像を正確に追尾して、多画面表示やシーケンス表示により、分かり易く表示することができる。
【０００９】
【発明の実施の形態】
本発明の実施形態の監視装置は、図１に示すように、魚眼レンズを有するカメラ１と、カメラ１の映像信号をデジタル画像データに変換するＡ／Ｄ変換部２と、このデジタル画像データを格納するフレームメモリ３と、画像データから動きを示す領域を抽出する移動領域検知部４と、抽出された移動領域の画像データを２値化する２値化部５と、移動領域を移動物体ごとのラベル番号を付けてグループ化するラベリング処理部６と、各ラベル番号が付された移動領域の重心位置や外接四角形の座標を算出する特徴量計算部７と、ラベリングされた各移動領域の動きを追跡する移動領域追跡処理部８と、ラベリングされた移動領域に従って魚眼画像からの切出し領域を制御する切出し制御部９と、フレームメモリ３に格納された画像データから切り出し領域の画像データを読み出して歪みを補正する正像変換部10と、正像変換された画像データの表示を制御する表示制御部11と、表示する画像データを一時的に蓄積するフレームメモリ12とを備えている。
【００１０】
この監視装置では、図３（ａ）に示すように、魚眼レンズカメラ１が、例えば建物の立ち入り禁止エリアの天井などに設置される。魚眼レンズは、約１８０度の画角を有し、広範囲の画像を映し出すことができる。但し、その魚眼画像は、図３（ｂ）に示すように、樽型に歪んでいる。魚眼レンズカメラ１は、魚眼レンズが結像した監視域全体の像を映像信号に変換してＡ／Ｄ変換部２に送り、Ａ／Ｄ変換部２は、この映像信号をデジタル画像データに変換する。デジタル画像データは、画像フレーム単位で移動領域検知部４とフレームメモリ３とに出力され、フレームメモリ３では、画像フレームデータを蓄積する。
【００１１】
移動領域検知部４は、図２に示すように、背景映像の画像データを取得して出力する背景映像出力部24と、入力する画像データから背景映像の画像データを減算して移動領域の画像データを出力する減算部25と、入力する画像データに（１−α）を乗じる乗算部21と、背景映像出力部24から出力される背景映像の画像データにαを乗じる乗算部23と、乗算部21から出力される画像データと乗算部23から出力される画像データとを加算する加算部22とを具備している。
【００１２】
この移動領域検知部４では、入力する画像フレームデータに（１−α）を乗じ（但し、０≦α＜１）、また、背景映像の画像フレームデータにαを乗じて、これらを加算部22で加算している。そのため、加算部22からは、画像フレームデータの動きを示す部分が減衰された背景映像の画像フレームデータが出力される。背景映像出力部24は、加算部22の出力を取得すると、減算部25に出力し、減算部25は、入力する画像フレームデータから、背景映像出力部24が出力した背景映像の画像フレームデータを減算して２値化部５に出力する。
【００１３】
２値化部５は、移動領域検知部４から入力された画像フレームの各画素のデータを閾値と比較して、各画素が動きを示す画素であるかどうかを識別し、動きを示す画素を１、その他の画素を０に２値化して、そのデータをラベリング処理部６に出力する。
【００１４】
ラベリング処理部６は、２値化された画像フレームデータから、一つの移動体の動きを表す、まとまりを示す画素に対して同じラベル番号を付ける処理を行う。複数の移動体が存在する場合には、それぞれの移動体ごとのラベル番号が、その移動体の動きを表す画素に対して付される。図４には、ラベリング処理された画像フレームを例示している。
【００１５】
特徴量計算部７は、ラベリング処理された画像フレームをスキャンし、同じラベル番号（ｉ）が付された画素の頻出回数（ｓi）によって、そのラベル番号が付され移動体の面積を求め、また、同じラベル番号が付された画素の頻出位置（ｘik，ｙik）から、そのラベル番号（ｉ）が付され移動体の重心位置（Ｇi（Ｘi,Ｙi））を算出する（但し、Ｘi＝Σｘik／ｓi、Ｙi＝Σｙik／ｓi、Σはｋ＝１からｓiまで加算）。また、その頻出位置の外接四角形の端点座標（Ｘminｉ（＝最小のｘik），Ｘmaxｉ（＝最大のｘik），Ｙminｉ（＝最小のｙik），Ｙmaxｉ（＝最大のｙik））を算出する。特徴量計算部７は、画像フレームごとに、これらの算出を行い、移動領域追跡処理部８に出力する。
【００１６】
移動領域追跡処理部８は、特徴量計算部７から画像フレームごとに入力する各移動体の重心位置及び外接四角形のデータを用いて、フレーム間での移動体の同定、即ち、ラベル番号の対応を調べ、移動体を追跡する。
【００１７】
そのために、移動領域追跡処理部８は、特徴量計算部７が前の画像フレームから算出した各移動体の重心位置及び外接四角形と、次の画像フレームから算出した各移動体の重心位置とを比較し、次の画像フレームから算出された重心位置が前の画像フレームから算出された外接四角形の中に存在する場合には、同一移動体が移動したものとして対応付けを行う。また、次の画像フレームから算出された重心位置が前の画像フレームから算出された外接四角形の中に存在していないときは、新規に出現した移動体として扱う。また、前の画像フレームから算出された外接四角形の中に、次の画像フレームから算出された２つ以上の重心が存在しているときは、前の画像フレームから算出された重心位置に近い方の重心を対応する移動体の重心とする。
【００１８】
図５は、移動領域追跡処理部８が行う移動体の対応付けの手順を示している。ここでは、移動体の重心座標Ｇi（Ｘi（ｔ）,Ｙi（ｔ））及び外接四角形の端点座標（Ｘminｉ（ｔ），Ｘmaxｉ（ｔ），Ｙminｉ（ｔ），Ｙmaxｉ（ｔ））を時間ｔの関数で表しており、ｔ−１は１つ前の画像フレームから得られたデータ、ｔは現在の画像フレームから得られたデータを意味している。
【００１９】
ステップ１：現在の画像フレームのラベル番号ｎを１に設定し、
ステップ２：ｎ＝１に対応する移動体の重心Ｇn（Ｘn（ｔ）,Ｙn（ｔ））に着目する。
【００２０】
ステップ３：１つ前の画像フレームのラベル番号ｍを１に設定し、
ステップ４：１つ前の画像フレームのｍ＝１の移動体の外接四角形の中に、着目する重心が含まれているかどうかを、
Ｘminm（ｔ−１）≦Ｘn（ｔ）≦Ｘmaxm（ｔ−１）
Ｙminm（ｔ−１）≦Ｙn（ｔ）≦Ｙmaxm（ｔ−１）
により調べる。含まれていないときは、
ステップ５：ｍが１つ前の画像フレームのラベル番号の最後かどうかを調べ、最後でないときは、
ステップ６：ｍ＝ｍ＋１に設定して、ステップ４からの手順を繰り返す。
【００２１】
また、ステップ５でｍが最後であるときは、
ステップ７：現在の画像フレームのラベル番号ｎの移動体は新規に出現したものとして処理することにし、
ステップ８：ｎが現在の画像フレームのラベル番号の最後かどうかを調べ、最後でないときは、
ステップ９：ｎ＝ｎ＋１に設定してステップ２からの手順を繰り返す。
【００２２】
また、ステップ８でｎが最後であるときは、
ステップ10：処理を終了する。
【００２３】
また、ステップ４において、含まれているときは、
ステップ11：ラベル番号ｍに対する対応付けが既に存在しているかどうかを調べ、存在しないときは、
ステップ12：ラベル番号ｍとラベル番号ｎとを対応付けて、ステップ５に移行する。
【００２４】
また、ステップ11において、存在するときは、
ステップ13：ラベル番号ｍの移動体の重心Ｇm（Ｘm（ｔ−１）,Ｙm（ｔ−１））からラベル番号ｎの移動体の重心Ｇn（Ｘn（ｔ）,Ｙn（ｔ））までの距離と、ラベル番号ｍの移動体の重心から既に対応付けられた移動体の重心までの距離とを比較し、ラベル番号ｎの移動体の重心Ｇn（Ｘn（ｔ）,Ｙn（ｔ））までの距離の方が短ければ、
ステップ14：前の対応付けを破棄して、新たにラベル番号ｍとラベル番号ｎとを対応付けて、ステップ５に移行する。
また、ステップ13において、ラベル番号ｎの移動体の重心Ｇn（Ｘn（ｔ）,Ｙn（ｔ））までの距離の方が長ければ、ステップ５に移行する。
【００２５】
切り出し制御部９は、図６に示すように、
ステップ21：ラベリング数が０の場合は、何も行わない。
【００２６】
ステップ22：ラベリング数が１の場合は、表示制御部11に１画面表示を指令し、正像変換部10には、そのラベル番号の移動体の外接四角形を含む切り出し領域を伝えて、魚眼画像の正像変換を指示する。
【００２７】
ステップ23：ラベリング数が２〜４の場合は、
ステップ24：ラベル番号と表示画面領域との対応付けがあるかどうかを調べ、対応付けが無い場合は、
ステップ25：ラベル番号を若い順に４画面のａ、ｂ、ｃ、ｄの表示位置に対応付けて、その４画面表示を表示制御部11に指令し、正像変換部10には、各ラベル番号の移動体の外接四角形を含む切り出し領域を伝えて、魚眼画像の正像変換を指示する。
【００２８】
また、ステップ24において、ラベル番号と表示画面領域との対応付けがあるときは、
ステップ26：それに従ってラベル番号と表示画面領域とを対応付け、空いている表示画面領域にはラベル番号を若い順に対応付ける。また、ラベル番号が９画面の表示領域のｅ〜ｊに対応付けられているときは、４画面のａ、ｂ、ｃ、ｄの空いている表示画面領域に対応付ける。そして、その４画面表示を表示制御部11に指令し、正像変換部10には、各ラベル番号の移動体の外接四角形を含む切り出し領域を伝えて、魚眼画像の正像変換を指示する。
【００２９】
また、ステップ23において、ラベリング数が４を超える場合は、９画面での表示を制御する。この場合も、４画面表示の場合と同様に、
ステップ27：ラベル番号と表示画面領域との対応付けがあるかどうかを調べ、対応付けが無い場合は、
ステップ28：ラベル番号を若い順に９画面のａ、ｂ、ｃ、‥、ｊの表示位置に対応付け、その９画面表示を表示制御部11に指令し、正像変換部10には、各ラベル番号の移動体の外接四角形を含む切り出し領域を伝えて、魚眼画像の正像変換を指示する。
【００３０】
また、ステップ28において、ラベル番号と表示画面領域との対応付けがあるときは、
ステップ29：それに従ってラベル番号と表示画面領域とを対応付け、空いている表示画面領域にはラベル番号を若い順に対応付ける。そして、その９画面表示を表示制御部11に指令し、正像変換部10には、各ラベル番号の移動体の外接四角形を含む切り出し領域を伝えて、魚眼画像の正像変換を指示する。
【００３１】
また、切り出し制御部９は、表示制御部11に対して、魚眼画像中の各切り出し位置の情報、あるいは、各ラベル番号の移動体の重心位置の情報を伝える。
【００３２】
正像変換部10は、切り出し制御部９から指定された切り出し領域の画像データをフレームメモリ３から読み出し、歪んでいる魚眼画像を幾何学変換処理して正像に戻し、表示制御部11に出力する。
【００３３】
こうして、図９に示すように、魚眼画像に複数の侵入者が映る場合、それぞれの侵入者の画像データが切り出され、正像に変換される。
【００３４】
表示制御部11は、正像変換部10から入力する画像データをフレームメモリ12に一時蓄積し、切り出し制御部９から指示された画面表示となるように読み出してモニタ（不図示）に表示する。
【００３５】
この時、表示制御部11は、切り出し制御部９から送られた切り出し位置情報、あるいは各移動体の重心位置情報に基づいて、画面中に、魚眼映像中の各移動体の重心位置を表示させる。
【００３６】
この重心位置は、魚眼映像から切り出した各移動体の位置を操作者に知らせることができ、操作者は、この情報から、移動体が監視域のどの位置に居るのかを認識することができる。
【００３７】
また、図８に示すように、表示制御部11が、切り出し制御部９から伝えられた切り出し位置情報や重心位置情報を、予め保持するテーブルに基づいて、方位や場所（入口、出口、ロビー等）の情報に変換して表示するようにしても良い。
【００３８】
このように、この監視装置では、複数の侵入者が同時に監視域に侵入した場合でも、各侵入者を正確に追尾してモニタに個別に表示することができる。
【００３９】
また、図１０に示すように、複数の正像変換部10を持つように構成し、切り出し制御部９から各正像変換部10に、それぞれ異なる切り出し領域を指定して、正像変換を並行して行わせるようにすれば、４画面表示の場合でも、１画面表示と同じ処理速度で表示することが可能になる。
【００４０】
また、ここでは、複数の侵入者を多画面表示する場合について説明したが、表示制御部11が、一定時間ごとに交互に侵入者をシーケンス表示するように表示制御することも可能である。
【００４１】
【発明の効果】
以上の説明から明らかなように、本発明の監視装置は、監視域に複数の侵入者が有った場合でも、それぞれの侵入者を正確に追尾して、モニタに分かり易く表示することができる。
【００４２】
そのため、１台のカメラを使用するだけで検知漏れが無い監視システムを構築することができる。
【図面の簡単な説明】
【図１】本発明の実施形態における監視装置の構成を示すブロック図、
【図２】実施形態の移動領域検知部の構成を示すブロック図、
【図３】（ａ）実施形態の魚眼レンズカメラの設置状態を示す図、
（ｂ）魚眼カメラの映像を示す図、
【図４】実施形態のラベリング処理された画像フレームを示す図、
【図５】実施形態の移動領域追跡処理部の動作を示すフロー図、
【図６】実施形態の切り出し制御部の動作を示すフロー図、
【図７】（ａ）実施形態の監視装置で表示される１画面の例、
（ｂ）実施形態の監視装置で表示される４画面の例、
【図８】（ａ）実施形態の監視装置で表示される方位情報を含む画面の例、
（ｂ）実施形態の監視装置で表示される場所情報を含む画面の例、
【図９】実施形態の正像変換部で正像に変換される魚眼映像の複数領域を示す図、
【図１０】実施形態の正像変換部を複数設けた監視装置を示すブロック図である。
【符号の説明】
１魚眼レンズカメラ
２Ａ／Ｄ変換部
３フレームメモリ
４移動領域検知部
５２値化部
６ラベリング処理部
７特徴量計算部
８移動領域追跡処理部
９切出し制御部
10 正像変換部
11 表示制御部
12 フレームメモリ
21 （１−α）乗算部
22 加算部
23 α乗算部
24 背景映像出力部
25 減算部

Claims

魚眼レンズカメラで撮影された魚眼映像の歪みを補正して表示する監視装置において、
魚眼映像の移動領域を検出する移動領域検知手段と、
検出された前記移動領域の画素を移動物体ごとにグループ化してラベリングするラベリング手段と、
ラベリングされた移動物体の移動を追跡する移動領域追跡手段と、
魚眼映像からラベリングされた前記移動物体の画像領域を切り出すとともに前記移動物体の数に応じて画面表示数を指定する切り出し制御手段と、
前記画像領域の画像データを補正する正像変換手段と、
前記切り出し制御手段から指定された画面表示数に応じて表示画面を分割する表示制御手段と、を備え、
前記切り出し制御手段はラベリングされた前記移動物体と分割された前記表示画面領域との対応付けを保持し、前記表示制御手段はラベリングされた前記移動物体の数が複数の場合に、各々の前記移動物体を対応付けに従って分割された表示画面領域に個別に表示することを特徴とする監視装置。
前記切り出し制御手段は、対応付けが無い前記移動物体を空いている前記表示画面領域に対応付けることを特徴とする請求項１記載の監視装置。