JP3601951B2 - 移動物体の表示方法、それを用いた表示システムおよびそのためのプログラム記録媒体 - Google Patents
移動物体の表示方法、それを用いた表示システムおよびそのためのプログラム記録媒体 Download PDFInfo
- Publication number
- JP3601951B2 JP3601951B2 JP25460397A JP25460397A JP3601951B2 JP 3601951 B2 JP3601951 B2 JP 3601951B2 JP 25460397 A JP25460397 A JP 25460397A JP 25460397 A JP25460397 A JP 25460397A JP 3601951 B2 JP3601951 B2 JP 3601951B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving object
- moving
- area
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、監視カメラ等により撮影した画像から、その視野内を移動する物体を抽出し、表示装置に表示する移動物体の表示方法、それを用いた表示システムおよびそのためのプログラム記録媒体に関する。
【０００２】
【従来の技術】
現在、道路や踏切やダム、コンビニエンスストア等の様々な場所でカメラによる映像の監視が行われている。これらは、特定場所に現れる物体を監視することにより、事故や犯罪を防ぐことを目的としている。例えば、コンビニエンスストア等のような場所では、挙動不審な人物を監視したり、ダムのような絶対的に侵入を禁止している地域では、人間の侵入がないかを監視している。しかし、現在このような監視は、リアルタイムで人間が映像を見て監視したり、ビデオテープのような記憶媒体に録画し、後になって確認を行うことが一般的であり、わづらわしい作業となっていた。このような事情から、コンピュータを用いた映像監視の自動化が求められており、様々な方法が提案されている。
【０００３】
中井等の論文、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ，Ｎｏ．７，ｐｐ．１２０９−１２１８，１９９４（以下、第１の参考文献と呼ぶ）には、変化検出、部分追跡、運動解釈という３段階の連続処理モジュールを用いて、歩行者等の運動物体を映像中から自動検出する方法が提案されている。ここでは、一般的な店舗内の通行客の移動経路を抽出する実験の結果も報告されている。また、仲西等の論文、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ，Ｎｏ．９，ｐｐ．１７１６−１７２６，１９９４（以下、第２の参考文献と呼ぶ）には、時空間画像処理を用いて屋外を走行する自動車等の車両を自動抽出する方法が提案されている。本出願人による特許出願に係る特開平０８−２２１５７７号明細書には、屋外で移動物体を検出するための一つの方法として画像中にスリットを設定し，予め記憶した背景画像と現在画像との相関をとって，変化を検出し、それにより移動物体検出方法が提案されている。屋外で移動物体を監視できるシステム、たとえば走行する自動車の車番を自動認識するシステムも販売されている。
【０００４】
【発明が解決しようとする課題】
従来の監視システムでは、監視カメラにより得られた映像を、その映像の取得時に同時にモニターに表示するか、もしくは、監視カメラにより得られた画像を蓄積して、後から確認するため、映像の確認は映像の取得時間に等しいか、早送り再生のような再生時間の短縮しか行えておらず、監視カメラのオペレータの作業の効率化は図られていない。なお、中井等による実験は、店舗内での複数の通行客の移動経路を抽出しているが、抽出された経路とその経路を通過した通行客の画像とをどのように対応させるかは説明されていない。さらに、この抽出には、店舗内の映像をＶＴＲに記録し、その記録された映像を使用している。このために、この抽出を実時間で行うことができない。
【０００５】
また、仲西等による手法は、監視対象物体が等速に直線状に走行を行う自動車等に限定される。特開平０８−２２１５７７号明細書に記載の技術では、移動物体の検出に動き特徴だけしか使ってないため，木々の揺れも動き物体の一部と誤認してしまうという問題がある。
【０００６】
すでに販売されている上記システムでは、屋外で確実な監視を行うためには、木々が映っている領域を監視対象領域から除外する操作を行う必要があり、全ての自然環境で自動的に移動物体を監視を行うことができない。また、そのシステムでは、監視位置が変わるたびに動作パラメータの設定を変更するという煩雑な作業が生じていた。このように、並木や雑木を映像中に含む自然環境において、移動物体を正しく検出するためには、事前に動作パラメータの設定を調整する必要があった。
【０００７】
本発明の目的は、映像の中の移動物体の確認のためにオペレータが費やす負担を軽減することができる移動物体の表示方法およびその方法を使用する表示システムを提供することを目的とする。
【０００８】
本発明の他の目的は、様々な自然環境においても上記オペレータへの負担を軽減できる移動物体の表示方法およびその方法を使用するシステムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成する為に、本発明に係る移動物体の表示方法および表示システムは、以下のステップを実行する。
【００１０】
撮像装置により撮像される所定の視野に進入した移動物体の上記視野内での移動経路を該撮像装置から供給される動画像信号に基づいて抽出し、
その移動物体に対して抽出された上記移動経路の画像を表す第１の画像データを生成し、
その移動物体の画像を表す第２の画像データを上記動画像信号に基づいて生成し、
その移動物体に対して抽出された移動経路の画像とその移動物体の画像との重畳からなる重畳画像を上記第１と第２の画像データに基づいて表示装置に表示する。
【００１１】
本発明のより望ましい態様では、上記抽出するステップから表示するステップが、上記移動物体より後に上記視野内に進入した少なくとも一つの他の移動物体に対して繰り返され、
上記移動物体に対する上記重畳画像と上記他の移動物体に対する重畳画像は上記表示装置に並べて表示される。
【００１２】
本発明の他の望ましい態様では、上記移動経路の画像は、移動物体の上記画像上に半透明色で重畳して表示される。
【００１３】
本発明の他の望ましい態様では、上記移動物体の画像は、上記移動物体が所定の領域に位置するときに上記撮像装置により供給される画像である。
【００１４】
本発明の他の望ましい態様では、上記移動物体の画像は、上記移動物体が所定の領域に位置するときに上記撮像装置により供給される画像の縮小画像である。
【００１５】
【発明の実施の形態】
以下、本発明に係る移動物体表示システムを図面に示した実施の形態を参照してさらに詳細に説明する。
【００１６】
（１）装置の概要
図１において、１はＣＲＴ等のディスプレイであり、そのディスプレイは、コンピュータ３の出力画面を表示する。コンピュータ３に対する命令は、マウス等のポインティングデバイス７、またはキーボード８を使って行うことができる。カメラ９は、撮像装置であり、カメラ９から出力される映像信号は、逐次、映像入力装置１１によってコンピュータの扱えるデジタル画像データ１２に変換され、コンピュータ３に送られる。コンピュータ内部ではデジタル画像データ１２は、インターフェース６を介してメモリ５に格納され、そのメモリ５に格納されたプログラムに従ってＣＰＵ４で処理される。また、この処理に必要な各種情報を外部記憶装置１３に蓄積することができる。また、その処理で得られた各種データあるいは画像データもこの外部記憶装置１３に記憶される。更に、カメラ９はコンピュータからの制御信号１０により、操作することも可能である。メモリ５には、以下に説明する処理によって作成される各種のデータが格納され、必要に応じて参照される。
【００１７】
図２はディスプレイ１に表示する画面例である。領域５０は入力したデジタル画像データ１２の表示領域であり、本システムの動作中はカメラ９から供給される動画像が表示される。領域６０は本システムを制御するボタンと動作状況を表示する領域である。領域６０内の開始ボタン６１は経路付き移動物体画像表示処理の実行開始を指示するボタンであり、このボタンを押す操作は、オペレータがポインティングデバイス７を介してカーソル８０をボタン上に位置合わせ、この状態でクリックすることで行なう。停止ボタン６２は処理の実行停止を指示するボタンである。参照番号６３は実行開始から現在までに抽出した経路付き移動物体画像の個数を示し、６４は上記表示処理の実行開始時間を示す。領域７０は経路付き移動物体画像の表示領域である。以下では、カメラ９は、道路あるいは建物の外側に設けられた階段等の通路を有する屋外に配置されているものとする。移動物体として人物を想定している。複数の移動物体がカメラの視野内には異なる時間に進入するが、一時には一つの移動物体のみが視野内に存在すると仮定する。すなわち、ある移動物体がこの視野進入したときには、その移動物体がこの視野から退出した後に他の移動物体がこの視野に入るものと仮定する。
【００１８】
本システムでは、移動物体が監視対象視野内に進入すると、その移動経路が自動的に抽出される。この抽出はその移動物体が視野外に退出するまで継続される。その結果、移動経路が時々刻々更新される。この抽出された移動経路が、後に生成される、その移動物体を表す画像に重畳して半透明色で表示されるように、その移動経路を表す画像データが生成される。その移動物体があらかじめ定められた所定の領域、たとえば画面５０の中央の縦方向に細長い領域に対応する空間を通ると、そのときのデジタル画像データ１２が、適切な大きさたとえば１／２に縮小されて移動物体画像として記憶され、その通過時刻がその移動物体の画像を抽出した時刻として記憶される。その後、その移動物体が上記視野から退出すると、先に抽出された移動物体画像にその移動物体の経路との重畳からなる経路付き移動物体画像が生成され、上記画像抽出時間と合わせて上記領域７０に表示される。
【００１９】
その後、後続の移動物体が同じ視野に入ってきたときには、この後続の移動物体に対しても同じ処理が自動的に繰り返される。この後続の移動物体に対して抽出された経路付き移動物体画像は、先に表示された経路付き移動物体画像に並べて表示される。こうして、上記視野に順次進入する複数の移動物体に対する複数の経路付き移動物体画像が自動的に一覧として表示されることになる。したがって、オペレータは極めて平易に移動物体を監視することができる。なお、抽出した経路付き移動物体画像が領域７０に表示可能な画像の数を越えた場合には、自動的に領域７０が上にスクロールする。したがって、常時、最新の複数の経路付き移動物体画像が最下段に表示されることになる。尚、全ての経路付き移動物体画像を確認するには、オペレータがスクロールボタン７１、７３とスクロールバー７２を操作すればよい。
【００２０】
（２）処理の概要
図３は本システムで実行される経路付き移動物体画像表示プログラムの概略フローチャートである。図において、処理９０はプログラムが使用する変数の初期設定を行う。フレーム画像入力処理１００は、映像入力装置１１によって供給される、１フレームのデジタル画像データ１２をメモリ５へ取り込む。この処理１００およびその後の処理２００から７００は、各フレーム毎に繰り返される。
【００２１】
動き特徴抽出処理２００は、各区分領域に移動物体の少なくとも一部が存在するか否かをその区分領域の動き特徴として検出し、移動物体の少なくとも一部が存在する複数の区分領域をそれぞれ動き特徴領域として抽出する。具体的には、この処理２００は、先行するフレーム内の位置と異なった位置に存在する複数の変動エッジを抽出する。それぞれの変動エッジを構成する複数の変動エッジ画素を、画面を分割して得られる複数の区分領域の各々ごとに計数し、各区分領域毎に、先行するフレームおよび現在のフレームのいずれにおいても一定数を超えた変動エッジ画素を有するか否かを判定する。いずれかの区分領域がその判定条件を満たすとき、その区分領域を動き特徴領域として抽出する。各動き特徴領域は、その領域内に移動物体の少なくとも一部が存在すると判定された区分領域である。
【００２２】
色特徴抽出処理３００は、各区分領域ごとに色特徴を抽出する処理であり、具体的には、各区分領域毎にその区分領域内の画素の色のヒストグラムをもとめ、その区分領域内で最も頻度の高い色をその区分領域の代表色として抽出する。本実施の形態ではこの区分領域の代表色をその区分領域の色特徴として使用する。
【００２３】
画像変動領域抽出処理４００は、処理２００で抽出した複数の動き特徴領域と、それぞれの動き特徴領域に対して処理３００で抽出された色特徴とから、移動物体が存在すると思われる複数の区分領域を抽出する。移動物体が存在すると思われるこれらの区分領域を画像変動領域と呼ぶ。
【００２４】
経路抽出処理５００は、処理４００で抽出された複数の画像変動領域の中から、更に、それらの中心となる一つの区分領域をその移動物体の移動物体の通過点として抽出し、その区分領域を、半透明色で塗りつぶすための画像データを生成する。この処理５００が異なるフレームに渡り繰り返されることにより、同じ移動物体の他の複数の通過点が抽出され、後に説明するその移動物体を表す画像に重畳して半透明色でもってそれぞれの通過点が属する区分領域を表示するための画像データが生成される。これらの通過点に対して生成された画像データが、移動経路を表示するための経路画像データを構成する。
【００２５】
移動物体画像抽出処理６００は、移動物体の少なくとも一部が、視野内の所定の領域を通過したとき、すなわち、画面５０内の対応する予め定められた領域を通過したとき、移動物体画像を抽出する。具体的には、視野内の上記所定の領域は、カメラ９の視野の中央部の縦長の空間領域であり、画面５０内の上記対応する予め定められた領域は、画面５０の中央に位置する縦長のスリット領域である。移動物体が上記空間領域を通過した時点の検出は、上記処理４００で抽出した複数の画像変動領域の少なくとも一部が、上記スリット領域に位置した時点の検出により行う。この処理６００では、この検出された時点にカメラ９から与えられるフレーム画像を例えば１／２に縮小した画像が生成され、移動物体画像として記憶される。したがって、このようにして生成された移動物体画像は、移動経路に依らないで、予め定められた画面内の領域に移動物体を含んでいるので、見やすい。
【００２６】
経路付き移動物体画像表示処理７００は、移動物体がカメラ９の視野外に出たとき、すでに生成された移動物体画像と経路画像を合成し、経路付き移動物体画像として、さらに付属データたとえば移動物体画像抽出時刻と共にディスプレイ１の領域７０に表示する。その後に上記視野内に進入した移動物体に対する他の経路付き移動物体画像をディスプレイ１の領域７０に表示するときには、すでに表示された経路付き移動物体画像に並べて当該他の経路付き移動物体画像を表示する。
【００２７】
上記処理４００での画像変動領域の抽出では、各区分領域に対して判定された動き特徴と色特徴を利用して、風に揺らぐ木の葉のような動く物体を含む区分領域を画像変動領域として抽出しないようにしている。また、この画像変動領域の抽出では、各区分領域に対して判定された動き特徴と色特徴の他に、同じ移動物体についてすでに判定された経路の通過点も考慮して、人間が立ち止って動いていると考えられる区分領域は、画像変動領域として抽出している。
【００２８】
更に、処理５００では、ある区分領域が複数フレームに渡り移動物体の通過点と判定された場合には、その区分領域の半透明色を濃くするように、その区分領域に対する、経路画像データを生成する。この為、移動物体の同じ位置での滞在の有無を含めた、移動物体の動きの時間的な要素を経路画像から知ることができる。
【００２９】
また、経路付き移動物体画像は、縮小画像であり、各経路付き移動物体画像と抽出時間の組が、静止画として一覧表示されるため、移動物体画像の検索が容易になる。
【００３０】
（３）データ
図４はメモリ５に記憶されるプログラムとデータの一覧である。図において、プログラム５−１は図３にそのフローチャートを示した経路付き移動物体画像表示プログラムである。５−２から５−２３はプログラム５−１が生成あるいは参照するデータであって、その中で、５−２はプログラム５−１が生成するデータ、５−３と５−４は予め設定しておくべきパラメータ、５−５から５−２３はプログラム５−１が一フレームの画像の処理に利用するワーク用のデータである。
【００３１】
経路付き移動物体画像構造体５−２は抽出した経路付き移動物体画像と時刻等の付属データを格納する構造体である。図５にその詳細を示す。第１の闘値５−３は画像中の強エッジ画素を抽出する際に使用する閾値であり、第２の閾値５−４は動き特徴領域を検出するための闘値である。
【００３２】
まず、フレーム画像入力処理１００により作成するデータを説明する。フレーム画像データ５−５は映像入力装置１１によって与えられる最新フレームのデジタル画像データであり、赤画像データ５−５−１、緑画像データ５−５−２、青画像データ５−５−３という三つの色成分に対応する３つの配列データからなる。各色データは、各画素の一つの色成分を表す８ビットのデータからなり、各色成分は０ないし２５５の値を有する。本実施の形態では、一つのフレーム画像は、水平方向（Ｘ方向）に１６０個の画素を有し、垂直方向（Ｙ方向）に１２０個の画素を有すると仮定している。さらに、一つのフレームの画像は、水平方向に、例えば１６個配置され、垂直方向に例えば１２個配置された複数の区分領域に区分されていると仮定する。各区分領域は１０×１０個の画素からなる。具体的には図の赤画像データ［１６０］［１２０］は、この配列データが一つのフレーム内の画素の数１６０×１２０に等しい数の要素からなることを示す。緑画像データ５−５−２，青画像データ５−５−３についても同様である。以下では、各画素の水平方向（Ｘ方向）座標Ｘおよび垂直方向（Ｙ方向）座標Ｙを用いて画素（Ｘ、Ｙ）と呼ぶことがある。また、後に説明する参照番号５−１２の変動エッジデータ［１６］［１２］は、この配列データが区分領域の数１６×１２に等しい数の要素からなることを示す。以下では各区分領域をＸ、Ｙ方向の番号Ｘ、Ｙでもって区分領域（Ｘ、Ｙ）と呼ぶことがある。
【００３３】
次に、動き特徴抽出処理２００で作成する各種データを説明する。横エッジデータ５−６は、各画素が、近傍の画素に対して画像の横方向の色差が大きい横エッジを構成する画素（横エッジ画素）であるか否かを表す配列データ、縦エッジデータ５−７は、各画素が、近傍の画素に対して画像の縦方向の色差が大きい縦エッジを構成する画素（縦エッジ画素）であるか否かを表す配列データである。前フレーム横エッジデータ５−８、前フレーム縦エッジデータ５−９は、それぞれ現在処理中のフレームの１フレーム前の横エッジデータ５−６、縦エッジデータ５−７を格納した配列データである。
【００３４】
変動横エッジデータ５−１０は、各画素が、現在のフレームと一つ前のフレーム内の異なった位置に存在した変動横エッジを構成する画素（変動横エッジ画素）であるか否かを表す配列データである。同様に変動縦エッジデータ５−１１は、各画素が、現在のフレームと一つ前のフレーム内の異なった位置に存在した変動縦エッジを構成する画素（変動縦エッジ画素）であるか否かを表す配列データである。
【００３５】
変動エッジデータ５−１２は、各区分領域別に、その区分領域に含まれた変動横エッジ画素または変動縦エッジ画素の総数を格納した配列データである。前フレーム変動エッジデータ５−１３は、現在処理中のフレームの１フレーム前の変動エッジデータ５−１２を格納した配列データである。動き特徴領域データ５−１４は、各区分領域に対応して、その区分領域が時間的に位置が変化するエッジを構成する画素（変動エッジ画素）を含んでいるか否かを表す配列データであり、具体的には、この配列データは、現在のフレームの変動エッジ画素の総数と、一つ前のフレームの変動エッジ画素の総数が共に第２の閾値５−４を超えたか否かを表す配列データである。本実施の形態では、各区分領域に関するこの判定結果をその区分領域の動き特性として使用する。ある区分領域がこの判定条件を満たすとき、その区分領域を動き特徴領域と呼ぶことがある。
【００３６】
次に、色特徴抽出処理３００、画像変動領域抽出処理４００、経路抽出処理５００、移動物体画像抽出処理６００、経路付き移動物体画像表示処理７００で作成するデータを説明する。ヒストグラムデータ５−１５は、各区分領域に対応して、その区分領域内の画素の色の度数分布を表す３次元の配列データである。ヒストグラムデータ５−１５を作成するには、各画素の色を６４階調に変換し、各区分領域毎に、各階調に対応して、その階調の色を有するに画素を計数した値を算出する。領域代表色データ５−１６は、各区分領域で最も多く表示された色階調すなわち代表色の色番号を格納した配列データである。本実施の形態では各区分領域の代表色をその区分領域の色特性の一例として使用する。前フレーム領域代表色データ５−１７は現在処理中のフレームの１フレーム前の領域代表色データ５−１６を格納した配列データである。前々フレーム領域代表色データ５−１７は現在処理中のフレームの２フレーム前の領域代表色データ５−１６を格納した配列データである。
【００３７】
画像変動領域データ５−１９は、各区分領域毎に、その区分領域が移動物体の画像のエッジを構成する画素（変動画素）を含んでいるか否かを示す配列であり、具体的には、この判定は、各区分領域に対して判定された動き特徴と色特徴に基づいて行われる。前フレーム画像変動領域データ５−２０は現在処理中のフレームの１フレーム前の画像変動領域データ５−１９を格納した配列データである。
【００３８】
経路領域データ５−２１は、各区分領域が、移動物体の通過点であるか否かを示す配列データである。いずれかの区分領域が移動物体の通過点であり、その区分領域にその移動物体が存在したと判断された回数が多いほど、すなわち、その区分領域におけるその移動物体の滞在時間が長いほど、その経路領域データ５−２１内の、その区分領域に対する要素には高い数値が格納される。経路画像データ５−２２は、移動物体が通過した経路を構成する区分領域を特定の半透明色で塗りつぶした画像を表すデータであり、経路赤画像データ５−２２−１、経路緑画像データ５−２２−２、経路青画像データ５−２２−３という３つの色に対する画像データと経路透明度データ５−２２−４とからなる。経路透明度データ５−２２−４は、経路画像を表示するのに使用する半透明色の濃さを指定するデータである。移動物体画像データ５−２３は移動物体の画像を表すデータであり、赤画像データ５−２３−１、緑画像データ５−２３−２、青画像データ５−２３−３からなる。
【００３９】
図５は、経路付き移動物体画像のデータとその付属情報を格納する経路付き移動物体画像構造体を示している。経路付き移動物体画像識別番号５−２−１は経路付き移動物体画像の番号であり、経路付き移動物体画像データ５−２−２は経路付き移動物体画像を格納した配列データである。経路付き移動物体画像表示位置Ｘ（５−２−３）及び経路付き移動物体画像表示位置Ｙ（５−２−４）は経路付き移動物体画像をディスプレイ１の領域７０（図２）に表示する際のＸ、Ｙ座標位置である。移動物体画像抽出時間５−２−５は移動物体がカメラ１の視野内の所定の領域あるいはそれに対応する画面５０内の所定の領域に進入した時間を記憶する。
【００４０】
（４）処理の詳細
以下、図４のデータを参照しながら、図３に示した経路付き移動物体画像表示プログラムの処理を図６から図２４に示すフローチャートを用いて詳細に説明する。なお、これらのフローチャートは、Ｃ言語を用いて記述されている。
【００４１】
（４ａ）動き特徴抽出処理２００
処理２０１から処理２１２（図６）までは、縦および横の強エッジの画素を抽出する処理である。ここで縦のエッジおよび横のエッジは、それぞれ画像を縦方向（垂直方向）あるいは横方向（水平方向）にスキャンしたときに検出可能なエッジである。強エッジとは、画像内のより鮮明なエッジであり、本実施の形態では、人物の顔あるいは手足の輪郭あるいは衣服の輪郭などのごとく人物の外郭を表すエッジであり、これらは人物の移動を検出するのに適している。一方、人物の顔の中の鼻の輪郭等を表すエッジは人物の移動を検出するのに適さない。これらのエッジは先に述べたエッジよりは一般に不鮮明である。したがって、本実施の形態は主として強エッジを検出するようにプログラムされている。
【００４２】
処理２０１では、処理すべき画素のＸ座標、Ｙ座標を表す変数Ｘ、Ｙを１に初期化する。処理２０２は映像入力装置１１から供給された１フレームの画像データに基づいて、赤画像データ５−７−１、緑画像データ５−７−２または青画像データ５−７−３のそれぞれ内の、画素（Ｘ、Ｙ）の横方向に隣接する一対の画素（Ｘ＋１，Ｙ）と画素（Ｘ−１、Ｙ）に対応する一対の要素の間の色差が第１の闘値Ａより大きいか否かを調べる。もし、これらの一対の画素の間のすべての色成分の色差が第１の闘値Ａより大きければ、この画素（Ｘ、Ｙ）は、画像内の横方向エッジを構成する画素と考えることができる。この場合には、プログラムは、処理２０３へ移り、そうでなければ処理２０４へ移る。
【００４３】
処理２０３では横エッジデータ５−６内の画素（Ｘ、Ｙ）に対応する要素に１を書き込み、処理２０４ではその要素に０を書き込む。処理２０５から処理２０７では、同様に、縦エッジデータ５−７を作成する。処理２０８から処理２１２は上述の処理を全ての画素に対して行うためのアドレス更新処理である。すべての処理が完了すると、プログラムは、処理２１３に移る。本実施の形態では、処理２０２，２０５でエッジの検出に使用する第１の閾値Ａとして比較的大きな値、例えば５５を使用する。これにより主として強横エッジあるいは強縦エッジが検出される。本実施の形態で処理されるエッジは全て強エッジであるので、以下では強エッジのことを単にエッジと呼ぶ。
【００４４】
処理２１３から処理２２４（図７）までは、複数のフレームの間で異なった位置に表れた横エッジあるいは縦エッジを抽出する処理である。これらのエッジを変動横エッジあるいは変動縦エッジと呼ぶことがある。また、これらのエッジを併せて変動エッジと呼ぶことがある。また、変動横エッジ、変動縦エッジあるいは変動エッジを構成する画素を変動横エッジ画素、変動縦エッジ画素あるいは変動エッジ画素と呼ぶことがある。
【００４５】
処理２１３では、処理すべき画素のＸ座標、Ｙ座標を表す変数Ｘ、Ｙを０に初期化する。処理２１４は、横エッジデータ内の画素（Ｘ、Ｙ）に対する要素の値と前フレーム横エッジデータ内の同じ画素（Ｘ、Ｙ）に対する要素の値の一方が１であり、他方が０であるかを調べ、画素（Ｘ、Ｙ）がこの条件を満たしていれば、この画素は、前のフレームでは横エッジ画素であり現在のフレームではそうでないかあるいはその逆である。したがって、この画素は、前のフレームと現在のフレームでの間で位置が変化した変動横エッジを表す変動横エッジ画素として扱う。この場合には、プログラムは、処理２１５へ、そうでなければ処理２１６へ移る。処理２１５では変動横エッジデータ５−１０内の画素（Ｘ、Ｙ）に対応する要素に１を書き込み、処理２１６では同じ要素に０を書き込む。同様に、処理２１７から２１９により変動縦エッジデータ５−１１を作成する。処理２２０から処理２２４は上述の処理を全ての画素に対して行うためのアドレス更新処理である。すべての処理が完了すると、プログラムは処理２２５に移る。
【００４６】
上記処理２１３から２２４は、すくなくとも過去２フレーム以上において異なった場所に存在したエッジを抽出している。カメラ９は静止させているため、背景のエッジは不動である。従って以上の変動横エッジあるいは変動縦エッジの検出により背景で生じたエッジを取り除くことができ、監視区域内に侵入した移動物体の動きに由来するエッジのみ抽出できる。
【００４７】
処理２２５から処理２３８（図８）までは、区分領域毎にそこに含まれる変動エッジ画素を計数する処理である。処理２２５では処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂおよびその区分領域内の処理すべき画素に付されたＸ、Ｙ方向の番号を表す変数ｉ、ｊを０に初期化する。処理２２６は、変動横エッジデータ５−１０内の、区分領域（Ｘｂ、Ｙｂ）内の（ｉ、ｊ）番目の画素に対応する要素の値または変動縦エッジデータ５−１１内の、同じ画素に対応する要素の値の少なくとも一方が１であるか否かを調べる。本実施の形態では、もし、この画素がこの条件を満たすときには、その画素は変動エッジ画素として扱う。この場合には、プログラムは、処理２２７へ移り、そうでなければ処理２２８へ移る。処理２２７では変動エッジデータ５−１２内の、上記区分領域（Ｘｂ、Ｙｂ）に対応する要素の値に１を加える。処理２２８から処理２３８は上述の処理を全ての画素に対して行なうためのアドレス更新処理である。すべての処理が完了するとプログラムは処理２３９へ移る。
【００４８】
処理２３９から処理２４７（図９）までは、各区分領域が動きのある画像を含んでいるか否かを検出する処理である。処理２３９では処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを０に初期化する。処理２４０は、変動エッジデータ５−１２内の、区分領域（Ｘｂ、Ｙｂ）に対応する要素の値が第２の闘値Ｂ以上であり、かつ前フレーム変動エッジデータ５−１３内の、その区分領域に対応する要素の値が第２の闘値Ｂ以上であるか否かを調べる。本実施の形態では、その区分領域がこれらの２つの条件を満たせば、その区分領域は複数のフレームにおいて継続して変動エッジ画素を所定数以上含んでいるので、その区分領域は動きのある画像を含んでいる領域として扱う。このようにその区分領域に対応する、複数のフレームにおける変動エッジデータの要素の値をチェックするのは、画像処理により発生するノイズ等の影響を除去するためである。その区分領域がこれらの条件を満たすか否かをその区分領域の動き特徴と呼ぶ。さらに、その区分領域がこれらの条件を満たす場合には、その区分領域は動き特徴を有するとも呼び、その区分領域を動き特徴領域と呼ぶことがある。その区分領域がこれらの２つの条件を満す場合には、プログラムは処理２４１へ移り、そうでなければ処理２４２へ移る。処理２４１ではその区分領域に対応する、動き特徴領域データ５−１４の要素に１を書き込み、処理２４２では同じ要素に０を書き込む。処理２４３から処理２４７は上述の処理を全領域に対して行うためのアドレス更新処理である。すべての処理が完了するとプログラムは処理２４８に移る。
【００４９】
処理２４８から処理２５４（図１０）までは、前フレーム横エッジデータ５−８および前フレーム縦エッジデータ５−９の更新処理である。処理２４８では、処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘ、Ｙを０に初期化する。処理２４９は前フレーム横エッジデータ５−８内の区分領域（Ｘ、Ｙ）に対応する要素に、横エッジデータ５−６内の、その区分領域（Ｘ、Ｙ）に対応する要素を代入し、さらに、前フレーム縦エッジデータ５−９内の、区分領域（Ｘ、Ｙ）に対応する要素に、縦エッジデータ５−７内の、区分領域（Ｘ、Ｙ）に対応する要素を代入する。処理２５０から処理２５４は上述の処理を全ての画素に対して行うためのアドレス更新処理である。
【００５０】
処理２５５から処理２６２（図１１）までは、前フレーム変動エッジデータ５−１３の更新処理及び変動エッジデータ５−１２のゼロクリアを行う処理である。処理２５５では、処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを０に初期化する。処理２５６は前フレーム変動エッジデータ５−１３内の、区分領域（Ｘｂ、Ｙｂ）に対応する要素に、変動エッジデータ５−１２内の、その区分領域（Ｘｂ、Ｙｂ）に対応する要素の値を代入する。処理２５７は、変動エッジデータ５−１２内の、区分領域（Ｘｂ、Ｙｂ）に対応する要素に０を代入する。処理２５８から処理２６２は上述の処理を全ての領域に対して行うためのアドレス更新処理である。
【００５１】
（４ｂ）色特徴抽出処理３００
処理３０１から処理３１４（図１２）までは、後に各区分領域ごとに代表色を求める処理の前処理として、各区分領域毎に、その区分領域に属する１０×１０個の画素の色のヒストグラムを作成する。処理３０１では処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂ、その区分領域内の処理すべき画素に付されたＸ、Ｙ方向の番号を表す変数ｉ、ｊ、色のヒストグラムの色番号を表す変数ｃｏｌを０に初期化する。処理３０２は、区分領域（Ｘ、Ｙ）内の（ｉ，ｊ）番目の画素、すなわち、画素（Ｘ×１０＋ｉ、Ｙ×１０＋ｊ）の色を６４階調の色の一つに変換し、その色の番号を変数ｃｏｌに書き込む。
【００５２】
すなわち、各画素の赤画像データ５−５−１、緑画像データ５−５−２、青画像データ５−５−３は８ビットからなり、各色成分は２５６階調で表されている。処理３０２では、赤画像データ５−５−１、緑画像データ５−５−２、青画像データ５−５−３内の、同じ画素に対する３つの要素をそれぞれ上位２ビットずつ切り出し、これらの切り出された合計６ビットのデータをその画素の色番号として使用する。具体的には、処理３０２において、０ｘｃ０は２進データ１１００００００に対する１６進表示である。その第１式は、赤画像データ５−５−１内の、画素（Ｘ×１０＋ｉ、Ｙ×１０＋ｊ）に対する要素と２進データ１１００００００との論理積により得られるデータを６ビットだけ右シフトすることを表す。同様に、第２式は、緑画像データ５−５−２内の、画素（Ｘ×１０＋ｉ、Ｙ×１０＋ｊ）に対する要素とデータ１１００００００との論理積により得られるデータを４ビットだけ右シフトすることを表す。第３式は、青画像データ５−５−３内の、の画素（Ｘ×１０＋ｉ、Ｙ×１０＋ｊ）に対する要素とデータ１１００００００との論理積により得られるデータを２ビットだけ右シフトすることを表す。処理３０２はこのようにして得られた３組の２ビットデータの論理和の結果得られる６ビットの色番号を変数ｃｏｌに代入することを示す。
【００５３】
ヒストグラムデータ５−１５は、各区分領域（Ｘ、Ｙ）に対して６４個の要素を有する３次元の配列である。処理３０３は色番号のヒストグラムデータ５−１５内の、区分領域（Ｘ、Ｙ）と処理３０２で算出された変数ｃｏｌの値との組に対応する要素に１を加える。処理３０４から処理３１４は上述の処理を全ての画素に対して行なうためのアドレス更新処理である。すべての処理が完了すると、プログラムは処理３１５へ移る。
【００５４】
処理３１５から処理３２６（図１３）までは、各区分領域毎の代表色を抽出する処理を行なう。処理３１５は処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを０に初期化する。処理３１６は処理中の色番号を表す変数ｃｏｌと６４階調の色番号の内で処理中の区分領域における最大の出現頻度を有する色番号を表す変数ｍａｘ＿ｃｏｌを０に初期化する。処理３１７は区分領域（Ｘｂ、Ｙｂ）で一番使用頻度の高い色番号を調べるため、ヒストグラムデータ５−１５内の要素（Ｘｂ、Ｙｂ、ｃｏｌ）の値が変数ｍａｘ＿ｃｏｌより大きいか否かを調べ、前者が後者より大きければプログラムは処理３１８へ移り、前者が後者より小さければ処理３２０に移る。処理３１８では変数ｍａｘ＿ｃｏｌをヒストグラムデータ５−１５内のその要素（Ｘｂ、Ｙｂ、ｃｏｌ）の値で置き換えて処理３１９に移る。処理３１９は色番号を示す変数ｃｏｌを領域代表色データ５−１６内の要素（Ｘｂ、Ｙｂ）に書き込む。処理３２０から処理３２１は上記の処理を６４種類の階調全てに対して行うためのアドレス更新処理である。処理３２２から処理３２６は以上の処理を全ての領域に対して行なうためアドレス更新処理である。こうして、全区分領域に対する代表色の色番号を保持する領域代表色データ５−１６が生成される。後に図１６を用いて説明するように、画像変動領域抽出処理４００が終了すると、この領域代表色データ５−１６は、前フレーム領域代表色データ５−１７に移される。そのときまの前フレーム領域代表色データ５−１７は、前々フレーム領域代表色データ５−１８に移される。
【００５５】
処理３２７から処理３３６（図１４）までは、ヒストグラムデータ５−１５のゼロクリア処理を行なう。処理３２７は処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを０に初期化する。処理３２８は処理すべき色番号を表す変数ｃｏｌを０に初期化する。処理３２９はヒストグラムデータ５−１５をゼロクリアするためにそこに０を書き込み、プログラムは処理３３０に移る。処理３３０から処理３３１は上記の処理を、ヒストグラムデータ５−１５内の区分領域（Ｘ、Ｙ）に対する色番号の全てに対して行うためのアドレス更新処理である。処理３３２から処理３３６は以上の処理を全ての区分領域に対して行なうためアドレス更新処理である。
【００５６】
（４ｃ）画像変動領域抽出処理４００
処理４０１から処理４１２（図１５）までは、各区分領域対して検出された動き特徴と色特徴とから、移動物体の画像を含むと考えられる領域（画像変動領域）を抽出する処理である。既に説明されたように、各区分領域について検出された動き特徴は、その区分領域が変動エッジ画素を所定数以上含んでいるか否かを示す。しかし、動き特徴領域と判断された区分領域をそのまま追跡すべき移動物体の画像を含む領域として使用すると、いくつかの問題が生じる。とくに、それらの区分領域の代表色が複数のフレームに渡り変化しないことが生じる。そのようなことが生じるのは、ある区分領域が木の葉の揺らぎを表すと思われる場合と、逆に、立ち止まっていると思われる移動物体の画像を保持する場合である。処理４０１から４１２は、前者の区分領域を移動物体画像を保持する区分領域（画像変動領域）としては扱わないで、後者の区分領域を、移動物体の画像を含む領域（画像変動領域）として扱うようにする。
【００５７】
処理４０１では処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを０に初期化する。処理４０２は動き特徴領域データ５−１４内の区分領域（Ｘ、Ｙ）に対する要素の値が１であるか否かを調べ、その値が１であればプログラムは処理４０３へ移り、１でなければ処理４０６へ移る。処理４０３では、その区分領域（Ｘ、Ｙ）の代表色が複数のフレームの間で変化しているか否かを判別する。すなわち、前々フレーム領域代表色データ５−１８内のその区分領域（Ｘ、Ｙ）に対する要素の値が領域代表色データ５−１６内のその区分領域（Ｘ、Ｙ）に対する要素の値と等しく、かつ前フレーム領域代表色データ５−１７内のその区分領域（Ｘ、Ｙ）に対する要素の値が領域代表色データ５−１６内のその区分領域（Ｘ、Ｙ）に対する要素の値と等しいかを調べる。その区分領域（Ｘ、Ｙ）が上記２つの条件を満たせば、この区分領域の代表色は前々フレームから現在のフレームに至る３フレームの間変化していない。本実施の形態は、区分領域（Ｘ、Ｙ）が上記２つの条件を満たすのは次の二つの場合である推定する。まず、この区分領域内の画像が、実質的に同じ位置に立ち止まっている移動物体の画像を含む場合である。今一つの場合は、この区分領域の背景が風で揺れる木の葉を含んでいて、それらの背景が移動物体として検出された場合のように、背景も動いている物体も同じ場合である。
【００５８】
区分領域（Ｘ、Ｙ）が上記２つの条件を満たせば、プログラムは処理４０４へ移り、その区分領域が上記２つの条件を満たさなければ処理４０７へ移る。処理４０４では処理４０５で最外周領域の処理を実行するのを避けるため、Ｘｂの値が１以上であり１４以下、Ｙｂの値が１以上であり１０以下であるかを調べ、 Ｘｂ、Ｙｂがこれらの条件を満たしていれば、プログラムは処理４０５へ移り、満たしていなければ処理４０６へ移る。
【００５９】
処理４０５では、この区分領域内の画像が、実質的に同じ位置に立ち止まっている移動物体の画像を含む場合か否かを判定する。すなわち、後に説明するように、経路領域データ５−２１は、各区分領域に対応した要素を有し、いずれかの区分領域が移動物体の通過点と判断されたときには、経路領域データ５−２１内のその区分領域に対応した要素にゼロでないデータが書き込まれる。処理４０５では、経路領域データ５−２１内の、処理中の区分領域（Ｘ、Ｙ）の四近傍の区分領域（Ｘ−１、Ｙ）、（Ｘ＋１、Ｙ）、（Ｘ、Ｙ−１）、（Ｘ、Ｙ＋１）に対する４つの要素が全て０であるかを調べる。もし、経路領域データ５−２１内のこれらの４つの要素のいずれかが１であれば、そのいずれかの区分領域を移動物体が通過したことを先行するフレーム画像により検出されたことになる。この場合には、現在処理中の区分領域はその移動物体の移動経路の極く近くにあることになる。従って処理中の区分領域（Ｘ、Ｙ）に対する代表色が処理４０３の条件を満たしているのは、この区分領域は、ほとんど立ち止まっている移動物体の画像を保持しているためであると推測される。したがって、処理中の区分領域（Ｘ、Ｙ）が処理４０３の二つの条件を満たし、処理４０５の条件を満たさなかった場合、この区分領域は注目する移動物体の画像を含む画像変動領域として扱われる。
【００６０】
一方、処理中の区分領域が処理４０３の二つの条件を満たし、さらに処理４０５の条件を満たした場合、この区分領域は木の葉のような揺れる物体の画像を含み、この区分領域の代表色は、背景にある多くの木の葉の色を表していて、そのためにその代表色が複数のフレームに渡り変化しなかったと判断される。従って、処理中の区分領域が処理４０５の条件を満たしていれば、プログラムは処理４０６へ移り、処理４０６ではこの区分領域内では、注目している移動物体に起因する画像の変化はなかったとみなして、画像変動領域データ５−１９内のこの区分領域（Ｘ、Ｙ）に対応する要素に０を書き込み、処理４０８へ移る。
【００６１】
処理中の区分領域が処理４０５の条件を満たしていなければ、プログラムは処理４０７へ移る。処理４０７ではこの区分領域内で注目している移動物体に起因する画像の変化があったとして、画像変動領域データ５−１９内の上記要素に１を書き込み、処理４０８へ移る。画像変動領域データ５−１９内のある区分領域に対応する要素の値が１であるとき、その区分領域を画像変動領域と呼ぶ。処理４０８から処理４１２は上述の処理を全領域に対して行うためのアドレス更新処理である。
【００６２】
上記のようにして画像変動領域を抽出するため、木の葉の揺れの様な画像の動き変化を含む区分領域を、誤って画像変動領域として抽出することがなくなる。また、人物が立ち止って動いている様な動きを含む区分領域に対しては、隣接する経路領域データに１があるかを調べることにより、その区分領域を画像変動領域と判断することができる。後に説明するように、画像変動領域抽出処理４００で検出された画像変動領域は、現フレーム画像における移動物体の通過点の検出に使用される。
【００６３】
なお、処理中の区分領域がほとんど立ち止まっている移動物体の像を含むと判断される場合、その区分領域から少しあるいは大きく隔たった他の区分領域にも同じ移動物体の画像が含まれているはずである。しかし、これらの他の区分領域は既に抽出された移動経路と隣接していない場合が多い。その場合には、これらの他の区分領域は処理４０５の条件を満すので、これらの他の区分領域は画像変動領域とは判断されない。したがって、画像変動領域抽出処理４００では、ほとんど立ち止まっている移動物体の画像を実際は含んでいる複数の区分領域の内の一部の区分領域のみが画像変動領域と判断されることになる。検出された一部の画像変動領域は、後に説明する現フレーム画像における移動物体の通過点の検出にはそのまま使用することができ、従って、このような一部の画像変動領域しか検出されないことは通過点の検出には問題とならない。
【００６４】
処理４１３から処理４１９（図１６）では、前々フレーム領域代表色データ５−１８および前フレーム領域代表色データ５−１７の更新処理である。処理４１３では、処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを０に初期化する。処理４１４は前々フレーム領域代表色データ５−１８内の区分領域（Ｘｂ、Ｙｂ）に対応する要素に、前フレーム領域代表色データ５−１７内の区分領域（Ｘｂ、Ｙｂ）に対応する要素を代入し、前フレーム領域代表色データ５−１７内の区分領域（Ｘｂ、Ｙｂ）に対応する要素に、領域代表色データ５−１６内の区分領域（Ｘｂ、Ｙｂ）に対応する要素を代入する。処理４１５から処理４１９は上述の処理を全ての区分領域に対して行うためのアドレス更新処理である。
【００６５】
（４ｄ）経路抽出処理５００
画像変動領域抽出処理４００により検出された複数の画像変動領域は注目している移動物体の画像を保持する区分領域と考えられる。本実施の形態ではこれらの画像変動領域により表される図形の中心の位置を移動物体の通過点として扱う。処理５００から処理５３３（図１７と１８）までは、これらの複数の画像変動領域中により表される図形の中心となる画像変動領域を注目している移動物体の現在の通過点として抽出する処理である。
【００６６】
処理５０１では処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂと上記図形の最下位位置を表す変数ｂｏｔｔｏｍを０に初期化する。処理５０２は画像変動領域データ５−１９内の処理中の区分領域（Ｘ、Ｙ）に対する要素の値が１であるか否か、すなわち、その区分領域が画像変動領域か否かを調べ、１であればプログラムは処理５０３に移り、１でなければ処理５０４へ移る。処理５０３ではＹｂの値をｂｏｔｔｏｍに書き込み、プログラムは処理５０９へ移る。処理５０４から処理５０８は、画像変動領域データ５−１９内の処理中の区分領域（Ｘ、Ｙ）に対する要素の値が１でない場合のみに上述の処理を全ての領域に対して行うためのアドレス更新処理である。このアドレス更新処理では、変数Ｙｂの小さい値から順にアドレスが更新される。この結果、いずれかの区分領域が最初に画像変動領域と判断されたときには、その区分領域のＹ方向の番号が、画像変動領域抽出処理４００により検出された複数の画像変動領域により表される図形の最下位位置を表す。
【００６７】
処理５０９では処理５１０から処理５１６で使用する変数Ｘｂ、Ｙｂ、ｔｏｐを０に初期化する。処理５１０は画像変動領域データ５−１９内の処理中の区分領域（Ｘ、Ｙ）に対する要素の値が１であるか否かを調べ、１であれば、プログラムは処理５１１に移り、１でなければ処理５１２へ移る。処理５１１ではＹｂの値をｔｏｐに書き込み処理５１７へ移る。処理５１２から処理５１６は上述の処理を全ての領域に対して行うためのアドレス更新処理である。このアドレス更新処理では、変数Ｙｂの大きい値から順にアドレスが更新される。この結果、いずれかの区分領域が最初に画像変動領域と判断されたときには、その区分領域のＹ方向の番号が、画像変動領域抽出処理４００により検出された複数の画像変動領域により表される図形の最上位位置を表す。
【００６８】
処理５１７では処理５１８から処理５２４で使用する変数Ｘｂ、Ｙｂ、ｌｅｆｔを０に初期化する。処理５１８は画像変動領域データ５−１９内の処理中の区分領域（Ｘ、Ｙ）に対する要素の値が１であるか否かを調べ、１であれば、プログラムは処理５１９に移り、１でなければ処理５２０へ移る。処理５１９ではＸｂの値をｌｅｆｔに代入し処理５２５へ移る。処理５２０から処理５２４は上述の処理を全ての領域に対して行うためのアドレス更新処理である。このアドレス更新処理では、変数Ｘｂの小さい値から順にアドレスが更新される。この結果、いずれかの区分領域が最初に画像変動領域と判断されたときには、その区分領域のＸ方向の番号が、画像変動領域抽出処理４００により検出された複数の画像変動領域により表される図形の最左位置を表す。
【００６９】
処理５２５では処理５２６から処理５３２で使用する変数Ｘｂ、Ｙｂ、ｒｉｇｈｔを０に初期化する。処理５２６は画像変動領域データ５−１９内の処理中の区分領域（Ｘ、Ｙ）に対する要素の値が１であるか否かを調べ、１であれば、プログラムは処理５２７に移り、１でなければ処理５２８へ移る。処理５２７ではＸｂの値をｒｉｇｈｔに代入し、プログラムは処理５３３へ移る。処理５２８から処理５３２は上述の処理を全ての領域に対して行うためのアドレス更新処理である。このアドレス更新処理では、変数Ｘｂの大きい値から順にアドレスが更新される。この結果、いずれかの区分領域が最初に画像変動領域と判断されたときには、その区分領域のＸ方向の番号が、画像変動領域抽出処理４００により検出された複数の画像変動領域により表される図形の最右位置を表す。
【００７０】
処理５３３は、得られたｂｏｔｔｏｍとｔｏｐの平均値と、ｌｅｆｔとｒｉｇｈｔの平均値から、上記複数の画像変動領域により表される画像の中心となる区分領域のＸ、Ｙ方向の番号を求め、経路領域データ５−２１内のこの区分領域に対応する要素の値に１を加える。経路領域データ５−２１内のこの区分領域に対応する要素のそれまでの値が０である場合には、その要素の値は１に変更される。移動物体が何度も同じ区分領域を通過したり、同じ区分領域に長く滞在した場合は、経路領域データ５−２１内のこの区分領域に対応する要素のそれまでの値はすでに０でない。この場合には、処理５３３により、経路領域データ５−２１内のこの区分領域に対応する要素の値がさらに大きくなる。したがって、経路領域データ５−２１は移動物体の同じ区分領域内での滞在時間に関する情報も含んで
いる。
【００７１】
処理５３４から処理５４８（図１９）までは、経路画像データ５−２２を作成する処理である。処理５３４では、処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂおよびその区分領域内の処理すべき画素に付されたＸ、Ｙ方向の番号を表す変数ｉ、ｊを０に初期化する。処理５３５は経路領域データ５−２１内の区分領域（Ｘ、Ｙ）に対応する要素の値が０であるか否かを調べ、０でなければ、プログラムは処理５３６へ移り、０であれば処理５３７へ移る。
【００７２】
処理５３６では経路領域データ５−２１内の区分領域（Ｘｂ、Ｙｂ）に対応する要素の値を、経路透明度データ５−２２−４内の、画素（Ｘｂ×１０＋ｉ、Ｙｂ×１０＋ｊ）に対応する要素に書き込み、また、経路赤画像データ５−２２−１、経路緑画像データ５−２２−２、経路青画像データ５−２２−３内の同じ画素に対する要素には、経路を所定の色で表示するための３つの色成分データを書き込み、プログラムは処理５３８へ移る。本実施の形態では経路が緑色で表示されるように、経路緑画像データ５−２２−２に数値２５５を書き込み、他の経路画像データ５−２２−１，５−２２−３には０を書き込んでいる。この数値２５５は適宜変更可能である。処理５３７では、区分領域（Ｘｂ、Ｙｂ）が経路上にないため、全ての経路画像データ５−２２−１から５−２２−３内の、画素（Ｘｂ×１０＋ｉ、Ｙｂ×１０＋ｊ）に対応する要素に０を書き込み、プログラムは処理５３８へ移る。処理５３８から処理５４８は上記の処理を全ての画素に対して行なうためのアドレス更新処理である。
【００７３】
後に説明するように、経路上に位置する区分領域は半透明な色でもって移動物体画像に重畳して表示される。今の場合には経路は半透明の緑色でもって表示されることになる。処理５３６では、上記経路透明度データ５−２２−４には経路領域データ５−２１の値をそのまま使用しているため、複数回移動物体が通過したりあるいは移動物体の滞在時間が長い区分領域ほどその区分領域に対する経路透明度データの値が大きくなる。後に示されるように、本実施の形態では、経路透明度データの値が大きい区分領域は、それだけ濃い半透明色で表示される。このため、オペレータは、一目で移動物体の移動の滞在時間等の時間的な要因も確認することができる。
【００７４】
（４ｅ）移動物体画像抽出処理６００
処理６０１から処理６１１（図２０）までは、カメラ９の視野内の所定の領域あるいはフレーム画像５０（図２）内のそれに対応する所定の領域に移動物体の少なくとも一部が位置したときに、その移動物体の画像を抽出する処理である。本実施の形態では、具体的には、視野内の上記所定の領域は、カメラ９の視野の中央部の縦長の空間領域であり、画面５０内の上記対応する所定の領域は、画面５０の中央に位置する縦長のスリット領域であると仮定している。フレーム画像上のこの所定の領域を以下では移動物体画像抽出領域と呼ぶ。すなわち、フレーム画像上の区分領域（８、０）から（８、１２）までが、移動物体画像抽出領域として使用される。本実施の形態では移動物体の内の一定の割合が、この移動物体画像抽出領域に進入した時点を検出し、その時点のフレーム画像をこの移動物体の画像として記憶する方法を採る。この方法により、移動物体の大きさあるいはその移動経路に依らないで、移動物体が移動物体画像抽出領域に対してほぼ一定の相対的位置関係にあるときにその移動物体の画像を記憶することができる。
【００７５】
処理６０１から６０９は、移動物体と移動物体画像抽出領域との間の相対的位置関係の変化を後に検出するときに用いる３つの画像変動領域数を計数するための処理である。処理６０１では処理すべき区分領域に付されたＸ方向の番号を表す変数Ｘｂを、移動物体画像抽出領域を構成するすべての区分領域に共通なＸ方向の番号８に初期化し、処理すべき区分領域に付されたＹ方向の番号を表す変数Ｙｂおよび移動物体画像抽出領域内に含まれる画像変動領域の数に関連する３つの変数ｎｏｗ＿ｃｏｕｎｔ、ｏｌｄ＿ｃｏｕｎｔ、ｓａｍｅ＿ｃｏｕｎｔを０に初期化する。処理６０２は、画像変動領域データ５−１９内の区分領域（Ｘｂ、Ｙｂ）に対応する要素の値が１であるかを調べ、１であれば、プログラムは処理６０３へ移り、１でなければ処理６０４へ移る。処理６０３はｎｏｗ＿ｃｏｕｎｔに１を加える。ｎｏｗ＿ｃｏｕｎｔは現在のフレーム画像内の、移動物体画像抽出領域に含まれる画像変動領域の総数を表す変数である。
【００７６】
処理６０４は前フレーム画像変動領域データ５−２０内の、区分領域（Ｘｂ、Ｙｂ）に対応する要素の値が１であるかを調べ、１であれば、プログラムは処理６０５へ移り、１でなければ処理６０６へ移る。処理６０３はｏｌｄ＿ｃｏｕｎｔに１を加える。 ｏｌｄ＿ｃｏｕｎｔは前のフレーム画像内の移動物体画像抽出領域に含まれる画像変動領域の総数を表す変数である。
【００７７】
処理６０６は画像変動領域データ５−１９内の区分領域（Ｘｂ、Ｙｂ）に対応する要素の値が１であり、かつ前フレーム画像変動領域データ５−２０内の区分領域（Ｘｂ、Ｙｂ）に対応する要素の値が１であるかを調べ、この区分領域（Ｘｂ、Ｙｂ）が２つの条件を満たせば処理６０７へ移り、２つの条件を満たせなければ処理６０８へ移る。処理６０７はｓａｍｅ＿ｃｏｕｎｔに１を加える。ｓａｍｅ＿ｃｏｕｎｔは、現在のフレーム画像および前のフレームのいずれにおいても画像変動領域であると判定された、移動物体画像抽出領域に属する区分領域の総数を表す変数である。処理６０８から処理６０９は上記の処理を移動物体画像抽出領域内の全区分領域に対して行うためのアドレス更新処理である。今の例では移動物体画像抽出領域は、区分領域（８、０）から（８、１２）までであるので、このアドレス更新処理では、区分領域のＹ方向アドレスＹｂのみが更新されている。
【００７８】
処理６１０から処理６１９（図２１）では、移動物体画像データを作成する処理である。処理６１０は変数ｎｏｗ＿ｃｏｕｎｔが１以上であり、かつｓａｍｅ＿ｃｏｕｎｔに２をかけた値を、ｎｏｗ＿ｃｏｕｎｔとｏｌｄ＿ｃｏｕｎｔを足した値で割った値が０．４８以下であるかを調べる。第１の条件は、現在のフレームの移動物体画像の少なくとも一部が移動物体画像抽出領域内の少なくとも一つの区分領域に保持されていることを示す。第２の条件の左辺は、移動物体画像の内、移動物体画像抽出領域内に存在する部分の割合を計るパラメータである。あるフレームで、移動物体画像が移動物体画像抽出領域に初めて進入したときには、 ｓａｍｅ＿ｃｏｕｎｔはまだ０であるので、第２式左辺は０である。その後、移動物体画像の内、移動物体画像抽出領域内に存在する部分の割合が増えると、第２式左辺は増大する。しかし、この割合がそれほど大きくないとき、 ｓａｍｅ＿ｃｏｕｎｔの値も小さく、第２式左辺は１よりかなり小さい値を採る。この割合が大きくなるほど、ｏｌｄ＿ｃｏｕｎｔ、 ｎｏｗ＿ｃｏｕｎｔ、ｓａｍｅ＿ｃｏｕｎｔの値はいずれもほぼ同じ値に近づき、第２の条件の左辺は１に近づく。この割合がある程度の値に達すると、左辺の値は余り変化しない。したがって、第２式左辺の値は、移動物体画像の内、移動物体画像抽出領域内に存在する部分の割合がそれほど大きくないときに、比較的大きく変化する。本実施の形態は、以上のことを考慮して第２式左辺の値が飽和値１の半分より少し小さな値０．４８以下の時のフレーム画像を移動物体画像として記憶するように構成されている。
【００７９】
現在のフレームが処理６１０が指定する上記２つの条件を満たしていれば、プログラムは処理６１１へ移り、現在のフレームが２つの条件を満たしていなければ、プログラムは処理６２０へ移る。処理６１１では、処理すべき画素の座標Ｘ、Ｙを表す変数Ｘ、Ｙを０に初期化する。処理６１２は、移動物体画像データ５−２３内の、画素（Ｘ、Ｙ）に対応する要素に現在のフレーム画像データ５−５内の、同じ画素に対する要素を代入し処理６１３へ移る。処理６１３では経路付き移動物体画像抽出時間として、その時点の時間を経路付き移動物体画像抽出時間５−２−３に書き込む。処理６１４から処理６１８は上述の処理を全ての画素に対して行うためのアドレス更新処理である。処理６１９は移動物体画像データの作成が終了したことを示す変数Ｐａｓｔｅ＿ｆｌａｇに１を代入する。
【００８０】
なお、移動物体画像抽出処理６００が異なるフレームに対して繰り返される過程で、あるフレーム画像が処理６１０に示す二つの条件を満足した後に、後続のフレーム画像が同じ条件を満たすことが起きうる。その場合にも、上記処理６１２、６１３、６１４が繰り返され、それまでに記憶されていた移動物体画像データ５−２３、経路付き移動物体画像抽出時間５−２−３は、上記後続のフレーム画像に対して抽出された移動物体画像データ、経路付き移動物体画像抽出時間により上書きされる。したがって、上記処理６１０の左辺の値が０．４８を越えたフレーム画像の直前のフレーム画像に対する移動物体画像データ、経路付き移動物体画像抽出時間が、移動物体画像データ５−２３、経路付き移動物体画像抽出時間５−２−３として保存されることになる。
【００８１】
処理６２０から処理６２６（図２２）までは、前フレーム画像変動領域データ５−２０の更新処理である。処理６２０では、処理すべき区分領域に付された、Ｘ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを０に初期化する。処理６２１は前フレーム画像変動領域データ５−２０内の、区分領域（Ｘｂ、Ｙｂ）に対応する要素に画像変動領域データ５−１９内の、区分領域（Ｘｂ、Ｙｂ）に対応する要素を代入し処理６２２へ移る。処理６２２から処理６２６は上述の処理を全ての区分領域に対して行うためのアドレス更新処理である。
【００８２】
（４ｆ）経路付き移動物体画像表示処理７００
処理７００から処理７０８（図２３）までは、画像変動領域データ５−１９により、フレーム画面内に存在する画像変動領域の総数をカウントする処理である。処理７０１では、処理すべき区分領域に付された、Ｘ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂおよび画像変動領域の数を表す変数ａｌｌ＿ｃｏｕｎｔを０に初期化する。処理７０２は画像変動領域データ５−１９内の区分領域（Ｘｂ、Ｙｂ）に対応する要素が１であるかを調べ、１であれば処理７０３へ移り、１でなければ処理７０４へ移る。処理７０３はａｌｌ＿ｃｏｕｎｔに１を加え処理７０４へ移る。処理７０４から処理７０８は上述の処理を全ての区分領域に対して行うためのアドレス更新処理である。このようにして、 ａｌｌ＿ｃｏｕｎｔは、現フレーム画面内に存在する画像変動領域の総数を表す。この総数は以下に述べる処理において、移動物体がカメラ９の視野外に退出したタイミングを検出するのに使用される。
【００８３】
処理７０９から処理７２６（図２４）は、経路付き移動物体画像データ５−２−２を作成し表示する処理である。ここでは、移動物体が移動物体画像抽出領域を通過後画面から退出したときに、移動物体画像データ５−２３の１／２縮小画像と経路画像データ５−２２の１／２縮小画像を合成して経路付き移動物体画像データ５−２−２が生成される。このとき、経路画像が移動物体画像に半透明色で重畳して表示されるように、移動物体画像データ５−２３と経路画像データ５−２２が合成される。
【００８４】
まず、処理７０９では移動物体画像の抽出後に移動物体が画面から退出したか否かを調べるため、Ｐａｓｔｅ＿ｆｌａｇが１であり、かつａｌｌ＿ｃｏｕｎｔが０であるか否かを判定する。現在のフレーム画像が２つの条件を満たしていれば、プログラムは処理７１０へ移り、現在のフレーム画像が２つの条件を満たしていなければ、プログラムは処理１００へ移る。
【００８５】
処理７１０では処理すべき画素のＸ、Ｙ座標を表す変数Ｘ、Ｙを０に初期化する。処理７１１ではために、移動物体画像データ５−２３の各色成分データ５−２３−１、５−２３−２または５−２３−３内の画素（Ｘ×２、Ｙ×２）に対応する要素と重み（１―α）との積に、経路画像データ５−２２の対応する色成分データ５−２２−１、５−２２−２または５−２２−３内の、画素（Ｘ×２、Ｙ×２）に対応する要素と、経路画像データ５−２２の経路透明度データ５−２２−４内の、画素（Ｘ×２、Ｙ×２）に対応する要素と、重みαとの積を加算し、得られる色データを経路付き移動物体画像データ５−２−２内の、画素（Ｘ、Ｙ）に対応する要素に代入する。ここで重みαは１より小さく、０より大きい適当な値である。この処理７１１は赤、緑、青の各色成分に対して実行される。こうして、経路画像を半透明色で移動物体画像に重畳して表示するための画像データが得られる。なお、以上の計算から明らかなように、経路透明度データ５−２２−４の要素の値が大きいほど、経路はより濃い半透明色で表示される。処理７１２から処理７１６は上記の処理を全ての画素に対して行うためのアドレス更新処理である。こうして、経路付き移動物体画像データ５−２−２が生成される。このとき、さらに、経路付き移動物体画像識別番号５５−２−１が決定される。
【００８６】
処理７１９から処理７２４は経路領域データ５−２１と変数Ｐａｓｔｅ＿ｆｌａｇをゼロクリアするための処理である。処理７１８では処理すべき区分領域に付された、Ｘ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを０に初期化する。処理７１９では経路領域データ５−２１内の区分領域（Ｘ、Ｙ）に対応する要素をゼロクリアする。処理７２０から処理７２４は上記の処理を全ての区分領域に対して行うためのアドレス更新処理である。処理７２５は経路付き移動物体画像データの作成が終わったことを示すためにＰａｓｔｅ＿ｆｌａｇに０を代入して処理７２６へ移る。
【００８７】
処理７２６は、処理７１１で作成した経路付き移動物体画像データ５−２−２に対して、経路付き移動物体画像表示位置Ｘ（５−２−４）および経路付き移動物体画像表示位置Ｙ（５−２−５）を決定し、その経路付き移動物体画像データ５−２−２を画面上の領域７０内の決定された位置へ表示する。すでに表示されている経路付き移動物体画像があるときには、その画像に並べて新たな経路付き移動物体画像を表示するように、新たな画像の表示位置が決定される。処理７２６が終了すると新しいフレーム画像の入力を行う処理１００へ移る。上記の処理により、移動物体を含んだ画像に、その移動物体の移動経路を付加した画像が作成され、表示される。
【００８８】
以上の説明から明らかなように、本実施の形態によれば、移動物体の動き特徴の検出に過去２フレーム以上において異なった場所に存在した変動エッジを利用している。一般に監視カメラは静止させて撮影するため、背景のエッジは不動である。変動エッジを利用すると、背景で生じた部分のエッジを取り除くことができ、監視区域内に侵入した物体の動きのある部分のエッジのみ抽出できる。
【００８９】
更に、移動物体の抽出に、領域毎に色特徴の時間的変化を調べる色特徴処理も利用すると、木の葉の揺れの様な画像の動き変化を含む領域がある場合にも、誤って抽出することがなくなる。
【００９０】
また、人物が一旦立ち止って、その場で作業しているような動きを含む領域も、隣接する領域の経路領域データを用いると、移動物体の画像変動領域（経路領域）として判断することができる。
【００９１】
更に、移動物体の経路となる領域を半透明色で表し、さらに、同一移動物体が何度も通過した領域や滞在時間が長い領域ほど半透明色を濃くして表示すると、オペレータは、一目で移動物体の経路の時間的な変化を確認することができる。
【００９２】
なお、本発明は以上の実施の形態に限定されるのではなく、いろいろの実施の形態により実現可能である。たとえば、例えば、移動物体の検出方法も他の方法により実現可能である。本実施の形態は、移動物体画像抽出領域が画面中央に位置すると仮定したが、本発明はね他の位置と大きさを有する移動物体画像抽出領域の場合にも適用でき、その場合には処理６００での初期設定値および処理６０８から処理６０９までのアドレス更新処理を適宜変更すればよい。
【００９３】
以上の実施の形態に示された技術は、通行者という移動物体に適用されたが、車その他の移動物体にも適用可能である。さらに、以上の技術は、屋外を移動する移動物体の画像の抽出と移動経路の抽出に適用されたが、もとより屋内を移動する物体にも適用可能である。さらに、以上の技術は同時には一つの移動物体のみがカメラの視野内に存在する場合に適用されたが、同時に複数の物体が存在する場合にも、以上の技術の基本的なところはそのまま適用可能である。さらに、それらの複数の移動物体が同時にカメラの視野内に存在する場合にもそれぞれの移動物体の画像と移動経路を検出するように以上の技術を変形することも可能である。
【００９４】
なお、実施の形態では、実時間で経路付き移動物体画像を表示していたが、複数の移動物体に対する複数の経路画像を外部情報記憶装置１３に順次記憶し、後にこれらの画像を順次もしくは並べて表示する方法を採ってもよい。
【００９５】
【発明の効果】
本発明によれば、移動物体を含んだ画像に、その移動物体の経路を付加した画像が自動的に生成され、表示されるため、監視者は監視領域への侵入物とその移動経路を簡単に知ることができる。
【図面の簡単な説明】
【図１】本発明に係る移動物体表示システムの一つの実施の形態の概略構成図である。
【図２】図１の装置においてディスプレイに表示される画面の一例を示す図である。
【図３】図１の装置において実行される移動物体の表示プログラムの概略フローチャートである。
【図４】図１の装置において使用されるプログラムとデータの一覧を示す図である。
【図５】図２に示されたデータの内、経路付き移動物体画像構造体のフォーマットを示す図である。
【図６】図３のフローチャート内の動き特徴抽出処理（２００）の一部のフローチャートである。
【図７】図３のフローチャート内の動き特徴抽出処理（２００）の他の部分のフローチャートである。
【図８】図３のフローチャート内の動き特徴抽出処理（２００）のさらに他の部分のフローチャートである。
【図９】図３のフローチャート内の動き特徴抽出処理（２００）のさらに他の部分のフローチャートのである。
【図１０】図３のフローチャート内の動き特徴抽出処理（２００）のさらに他の部分のフローチャートである。
【図１１】図３のフローチャート内の動き特徴抽出処理（２００）のさらに他の部分のフローチャートである。
【図１２】図３のフローチャート内の色特徴抽出処理（３００）の一部のフローチャートである。
【図１３】図３のフローチャート内の色特徴抽出処理（３００）の他の部分のフローチャートである。
【図１４】図３のフローチャート内の色特徴抽出処理（３００）のさらに他の部分のフローチャートである。
【図１５】図３のフローチャート内の画像変動領域抽出処理（４００）の一部のフローチャートである。
【図１６】図３のフローチャート内の画像変動領域抽出処理（４００）の他の部分のフローチャートである。
【図１７】図３のフローチャート内の経路抽出処理（５００）の一部のフローチャートである。
【図１８】図３のフローチャート内の経路抽出処理（５００）の他の部分のフローチャートである。
【図１９】図３のフローチャート内の経路抽出処理（５００）のさらに他の部分のフローチャートである。
【図２０】図３のフローチャート内の移動物体画像抽出処理（６００）の一部のフローチャートである。
【図２１】図３のフローチャート内の移動物体画像抽出処理（６００）の他の部分のフローチャートである。
【図２２】図３のフローチャート内の移動物体画像抽出処理（６００）のさらに他の部分のフローチャートである。
【図２３】図３のフローチャート内の経路付き移動物体画像表示処理（７００）の一部のフローチャートである。
【図２４】図３のフローチャート内の経路付き移動物体画像表示処理（７００）の他の部分のフローチャートである。
【発明の属する技術分野】
本発明は、監視カメラ等により撮影した画像から、その視野内を移動する物体を抽出し、表示装置に表示する移動物体の表示方法、それを用いた表示システムおよびそのためのプログラム記録媒体に関する。
【０００２】
【従来の技術】
現在、道路や踏切やダム、コンビニエンスストア等の様々な場所でカメラによる映像の監視が行われている。これらは、特定場所に現れる物体を監視することにより、事故や犯罪を防ぐことを目的としている。例えば、コンビニエンスストア等のような場所では、挙動不審な人物を監視したり、ダムのような絶対的に侵入を禁止している地域では、人間の侵入がないかを監視している。しかし、現在このような監視は、リアルタイムで人間が映像を見て監視したり、ビデオテープのような記憶媒体に録画し、後になって確認を行うことが一般的であり、わづらわしい作業となっていた。このような事情から、コンピュータを用いた映像監視の自動化が求められており、様々な方法が提案されている。
【０００３】
中井等の論文、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ，Ｎｏ．７，ｐｐ．１２０９−１２１８，１９９４（以下、第１の参考文献と呼ぶ）には、変化検出、部分追跡、運動解釈という３段階の連続処理モジュールを用いて、歩行者等の運動物体を映像中から自動検出する方法が提案されている。ここでは、一般的な店舗内の通行客の移動経路を抽出する実験の結果も報告されている。また、仲西等の論文、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ，Ｎｏ．９，ｐｐ．１７１６−１７２６，１９９４（以下、第２の参考文献と呼ぶ）には、時空間画像処理を用いて屋外を走行する自動車等の車両を自動抽出する方法が提案されている。本出願人による特許出願に係る特開平０８−２２１５７７号明細書には、屋外で移動物体を検出するための一つの方法として画像中にスリットを設定し，予め記憶した背景画像と現在画像との相関をとって，変化を検出し、それにより移動物体検出方法が提案されている。屋外で移動物体を監視できるシステム、たとえば走行する自動車の車番を自動認識するシステムも販売されている。
【０００４】
【発明が解決しようとする課題】
従来の監視システムでは、監視カメラにより得られた映像を、その映像の取得時に同時にモニターに表示するか、もしくは、監視カメラにより得られた画像を蓄積して、後から確認するため、映像の確認は映像の取得時間に等しいか、早送り再生のような再生時間の短縮しか行えておらず、監視カメラのオペレータの作業の効率化は図られていない。なお、中井等による実験は、店舗内での複数の通行客の移動経路を抽出しているが、抽出された経路とその経路を通過した通行客の画像とをどのように対応させるかは説明されていない。さらに、この抽出には、店舗内の映像をＶＴＲに記録し、その記録された映像を使用している。このために、この抽出を実時間で行うことができない。
【０００５】
また、仲西等による手法は、監視対象物体が等速に直線状に走行を行う自動車等に限定される。特開平０８−２２１５７７号明細書に記載の技術では、移動物体の検出に動き特徴だけしか使ってないため，木々の揺れも動き物体の一部と誤認してしまうという問題がある。
【０００６】
すでに販売されている上記システムでは、屋外で確実な監視を行うためには、木々が映っている領域を監視対象領域から除外する操作を行う必要があり、全ての自然環境で自動的に移動物体を監視を行うことができない。また、そのシステムでは、監視位置が変わるたびに動作パラメータの設定を変更するという煩雑な作業が生じていた。このように、並木や雑木を映像中に含む自然環境において、移動物体を正しく検出するためには、事前に動作パラメータの設定を調整する必要があった。
【０００７】
本発明の目的は、映像の中の移動物体の確認のためにオペレータが費やす負担を軽減することができる移動物体の表示方法およびその方法を使用する表示システムを提供することを目的とする。
【０００８】
本発明の他の目的は、様々な自然環境においても上記オペレータへの負担を軽減できる移動物体の表示方法およびその方法を使用するシステムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成する為に、本発明に係る移動物体の表示方法および表示システムは、以下のステップを実行する。
【００１０】
撮像装置により撮像される所定の視野に進入した移動物体の上記視野内での移動経路を該撮像装置から供給される動画像信号に基づいて抽出し、
その移動物体に対して抽出された上記移動経路の画像を表す第１の画像データを生成し、
その移動物体の画像を表す第２の画像データを上記動画像信号に基づいて生成し、
その移動物体に対して抽出された移動経路の画像とその移動物体の画像との重畳からなる重畳画像を上記第１と第２の画像データに基づいて表示装置に表示する。
【００１１】
本発明のより望ましい態様では、上記抽出するステップから表示するステップが、上記移動物体より後に上記視野内に進入した少なくとも一つの他の移動物体に対して繰り返され、
上記移動物体に対する上記重畳画像と上記他の移動物体に対する重畳画像は上記表示装置に並べて表示される。
【００１２】
本発明の他の望ましい態様では、上記移動経路の画像は、移動物体の上記画像上に半透明色で重畳して表示される。
【００１３】
本発明の他の望ましい態様では、上記移動物体の画像は、上記移動物体が所定の領域に位置するときに上記撮像装置により供給される画像である。
【００１４】
本発明の他の望ましい態様では、上記移動物体の画像は、上記移動物体が所定の領域に位置するときに上記撮像装置により供給される画像の縮小画像である。
【００１５】
【発明の実施の形態】
以下、本発明に係る移動物体表示システムを図面に示した実施の形態を参照してさらに詳細に説明する。
【００１６】
（１）装置の概要
図１において、１はＣＲＴ等のディスプレイであり、そのディスプレイは、コンピュータ３の出力画面を表示する。コンピュータ３に対する命令は、マウス等のポインティングデバイス７、またはキーボード８を使って行うことができる。カメラ９は、撮像装置であり、カメラ９から出力される映像信号は、逐次、映像入力装置１１によってコンピュータの扱えるデジタル画像データ１２に変換され、コンピュータ３に送られる。コンピュータ内部ではデジタル画像データ１２は、インターフェース６を介してメモリ５に格納され、そのメモリ５に格納されたプログラムに従ってＣＰＵ４で処理される。また、この処理に必要な各種情報を外部記憶装置１３に蓄積することができる。また、その処理で得られた各種データあるいは画像データもこの外部記憶装置１３に記憶される。更に、カメラ９はコンピュータからの制御信号１０により、操作することも可能である。メモリ５には、以下に説明する処理によって作成される各種のデータが格納され、必要に応じて参照される。
【００１７】
図２はディスプレイ１に表示する画面例である。領域５０は入力したデジタル画像データ１２の表示領域であり、本システムの動作中はカメラ９から供給される動画像が表示される。領域６０は本システムを制御するボタンと動作状況を表示する領域である。領域６０内の開始ボタン６１は経路付き移動物体画像表示処理の実行開始を指示するボタンであり、このボタンを押す操作は、オペレータがポインティングデバイス７を介してカーソル８０をボタン上に位置合わせ、この状態でクリックすることで行なう。停止ボタン６２は処理の実行停止を指示するボタンである。参照番号６３は実行開始から現在までに抽出した経路付き移動物体画像の個数を示し、６４は上記表示処理の実行開始時間を示す。領域７０は経路付き移動物体画像の表示領域である。以下では、カメラ９は、道路あるいは建物の外側に設けられた階段等の通路を有する屋外に配置されているものとする。移動物体として人物を想定している。複数の移動物体がカメラの視野内には異なる時間に進入するが、一時には一つの移動物体のみが視野内に存在すると仮定する。すなわち、ある移動物体がこの視野進入したときには、その移動物体がこの視野から退出した後に他の移動物体がこの視野に入るものと仮定する。
【００１８】
本システムでは、移動物体が監視対象視野内に進入すると、その移動経路が自動的に抽出される。この抽出はその移動物体が視野外に退出するまで継続される。その結果、移動経路が時々刻々更新される。この抽出された移動経路が、後に生成される、その移動物体を表す画像に重畳して半透明色で表示されるように、その移動経路を表す画像データが生成される。その移動物体があらかじめ定められた所定の領域、たとえば画面５０の中央の縦方向に細長い領域に対応する空間を通ると、そのときのデジタル画像データ１２が、適切な大きさたとえば１／２に縮小されて移動物体画像として記憶され、その通過時刻がその移動物体の画像を抽出した時刻として記憶される。その後、その移動物体が上記視野から退出すると、先に抽出された移動物体画像にその移動物体の経路との重畳からなる経路付き移動物体画像が生成され、上記画像抽出時間と合わせて上記領域７０に表示される。
【００１９】
その後、後続の移動物体が同じ視野に入ってきたときには、この後続の移動物体に対しても同じ処理が自動的に繰り返される。この後続の移動物体に対して抽出された経路付き移動物体画像は、先に表示された経路付き移動物体画像に並べて表示される。こうして、上記視野に順次進入する複数の移動物体に対する複数の経路付き移動物体画像が自動的に一覧として表示されることになる。したがって、オペレータは極めて平易に移動物体を監視することができる。なお、抽出した経路付き移動物体画像が領域７０に表示可能な画像の数を越えた場合には、自動的に領域７０が上にスクロールする。したがって、常時、最新の複数の経路付き移動物体画像が最下段に表示されることになる。尚、全ての経路付き移動物体画像を確認するには、オペレータがスクロールボタン７１、７３とスクロールバー７２を操作すればよい。
【００２０】
（２）処理の概要
図３は本システムで実行される経路付き移動物体画像表示プログラムの概略フローチャートである。図において、処理９０はプログラムが使用する変数の初期設定を行う。フレーム画像入力処理１００は、映像入力装置１１によって供給される、１フレームのデジタル画像データ１２をメモリ５へ取り込む。この処理１００およびその後の処理２００から７００は、各フレーム毎に繰り返される。
【００２１】
動き特徴抽出処理２００は、各区分領域に移動物体の少なくとも一部が存在するか否かをその区分領域の動き特徴として検出し、移動物体の少なくとも一部が存在する複数の区分領域をそれぞれ動き特徴領域として抽出する。具体的には、この処理２００は、先行するフレーム内の位置と異なった位置に存在する複数の変動エッジを抽出する。それぞれの変動エッジを構成する複数の変動エッジ画素を、画面を分割して得られる複数の区分領域の各々ごとに計数し、各区分領域毎に、先行するフレームおよび現在のフレームのいずれにおいても一定数を超えた変動エッジ画素を有するか否かを判定する。いずれかの区分領域がその判定条件を満たすとき、その区分領域を動き特徴領域として抽出する。各動き特徴領域は、その領域内に移動物体の少なくとも一部が存在すると判定された区分領域である。
【００２２】
色特徴抽出処理３００は、各区分領域ごとに色特徴を抽出する処理であり、具体的には、各区分領域毎にその区分領域内の画素の色のヒストグラムをもとめ、その区分領域内で最も頻度の高い色をその区分領域の代表色として抽出する。本実施の形態ではこの区分領域の代表色をその区分領域の色特徴として使用する。
【００２３】
画像変動領域抽出処理４００は、処理２００で抽出した複数の動き特徴領域と、それぞれの動き特徴領域に対して処理３００で抽出された色特徴とから、移動物体が存在すると思われる複数の区分領域を抽出する。移動物体が存在すると思われるこれらの区分領域を画像変動領域と呼ぶ。
【００２４】
経路抽出処理５００は、処理４００で抽出された複数の画像変動領域の中から、更に、それらの中心となる一つの区分領域をその移動物体の移動物体の通過点として抽出し、その区分領域を、半透明色で塗りつぶすための画像データを生成する。この処理５００が異なるフレームに渡り繰り返されることにより、同じ移動物体の他の複数の通過点が抽出され、後に説明するその移動物体を表す画像に重畳して半透明色でもってそれぞれの通過点が属する区分領域を表示するための画像データが生成される。これらの通過点に対して生成された画像データが、移動経路を表示するための経路画像データを構成する。
【００２５】
移動物体画像抽出処理６００は、移動物体の少なくとも一部が、視野内の所定の領域を通過したとき、すなわち、画面５０内の対応する予め定められた領域を通過したとき、移動物体画像を抽出する。具体的には、視野内の上記所定の領域は、カメラ９の視野の中央部の縦長の空間領域であり、画面５０内の上記対応する予め定められた領域は、画面５０の中央に位置する縦長のスリット領域である。移動物体が上記空間領域を通過した時点の検出は、上記処理４００で抽出した複数の画像変動領域の少なくとも一部が、上記スリット領域に位置した時点の検出により行う。この処理６００では、この検出された時点にカメラ９から与えられるフレーム画像を例えば１／２に縮小した画像が生成され、移動物体画像として記憶される。したがって、このようにして生成された移動物体画像は、移動経路に依らないで、予め定められた画面内の領域に移動物体を含んでいるので、見やすい。
【００２６】
経路付き移動物体画像表示処理７００は、移動物体がカメラ９の視野外に出たとき、すでに生成された移動物体画像と経路画像を合成し、経路付き移動物体画像として、さらに付属データたとえば移動物体画像抽出時刻と共にディスプレイ１の領域７０に表示する。その後に上記視野内に進入した移動物体に対する他の経路付き移動物体画像をディスプレイ１の領域７０に表示するときには、すでに表示された経路付き移動物体画像に並べて当該他の経路付き移動物体画像を表示する。
【００２７】
上記処理４００での画像変動領域の抽出では、各区分領域に対して判定された動き特徴と色特徴を利用して、風に揺らぐ木の葉のような動く物体を含む区分領域を画像変動領域として抽出しないようにしている。また、この画像変動領域の抽出では、各区分領域に対して判定された動き特徴と色特徴の他に、同じ移動物体についてすでに判定された経路の通過点も考慮して、人間が立ち止って動いていると考えられる区分領域は、画像変動領域として抽出している。
【００２８】
更に、処理５００では、ある区分領域が複数フレームに渡り移動物体の通過点と判定された場合には、その区分領域の半透明色を濃くするように、その区分領域に対する、経路画像データを生成する。この為、移動物体の同じ位置での滞在の有無を含めた、移動物体の動きの時間的な要素を経路画像から知ることができる。
【００２９】
また、経路付き移動物体画像は、縮小画像であり、各経路付き移動物体画像と抽出時間の組が、静止画として一覧表示されるため、移動物体画像の検索が容易になる。
【００３０】
（３）データ
図４はメモリ５に記憶されるプログラムとデータの一覧である。図において、プログラム５−１は図３にそのフローチャートを示した経路付き移動物体画像表示プログラムである。５−２から５−２３はプログラム５−１が生成あるいは参照するデータであって、その中で、５−２はプログラム５−１が生成するデータ、５−３と５−４は予め設定しておくべきパラメータ、５−５から５−２３はプログラム５−１が一フレームの画像の処理に利用するワーク用のデータである。
【００３１】
経路付き移動物体画像構造体５−２は抽出した経路付き移動物体画像と時刻等の付属データを格納する構造体である。図５にその詳細を示す。第１の闘値５−３は画像中の強エッジ画素を抽出する際に使用する閾値であり、第２の閾値５−４は動き特徴領域を検出するための闘値である。
【００３２】
まず、フレーム画像入力処理１００により作成するデータを説明する。フレーム画像データ５−５は映像入力装置１１によって与えられる最新フレームのデジタル画像データであり、赤画像データ５−５−１、緑画像データ５−５−２、青画像データ５−５−３という三つの色成分に対応する３つの配列データからなる。各色データは、各画素の一つの色成分を表す８ビットのデータからなり、各色成分は０ないし２５５の値を有する。本実施の形態では、一つのフレーム画像は、水平方向（Ｘ方向）に１６０個の画素を有し、垂直方向（Ｙ方向）に１２０個の画素を有すると仮定している。さらに、一つのフレームの画像は、水平方向に、例えば１６個配置され、垂直方向に例えば１２個配置された複数の区分領域に区分されていると仮定する。各区分領域は１０×１０個の画素からなる。具体的には図の赤画像データ［１６０］［１２０］は、この配列データが一つのフレーム内の画素の数１６０×１２０に等しい数の要素からなることを示す。緑画像データ５−５−２，青画像データ５−５−３についても同様である。以下では、各画素の水平方向（Ｘ方向）座標Ｘおよび垂直方向（Ｙ方向）座標Ｙを用いて画素（Ｘ、Ｙ）と呼ぶことがある。また、後に説明する参照番号５−１２の変動エッジデータ［１６］［１２］は、この配列データが区分領域の数１６×１２に等しい数の要素からなることを示す。以下では各区分領域をＸ、Ｙ方向の番号Ｘ、Ｙでもって区分領域（Ｘ、Ｙ）と呼ぶことがある。
【００３３】
次に、動き特徴抽出処理２００で作成する各種データを説明する。横エッジデータ５−６は、各画素が、近傍の画素に対して画像の横方向の色差が大きい横エッジを構成する画素（横エッジ画素）であるか否かを表す配列データ、縦エッジデータ５−７は、各画素が、近傍の画素に対して画像の縦方向の色差が大きい縦エッジを構成する画素（縦エッジ画素）であるか否かを表す配列データである。前フレーム横エッジデータ５−８、前フレーム縦エッジデータ５−９は、それぞれ現在処理中のフレームの１フレーム前の横エッジデータ５−６、縦エッジデータ５−７を格納した配列データである。
【００３４】
変動横エッジデータ５−１０は、各画素が、現在のフレームと一つ前のフレーム内の異なった位置に存在した変動横エッジを構成する画素（変動横エッジ画素）であるか否かを表す配列データである。同様に変動縦エッジデータ５−１１は、各画素が、現在のフレームと一つ前のフレーム内の異なった位置に存在した変動縦エッジを構成する画素（変動縦エッジ画素）であるか否かを表す配列データである。
【００３５】
変動エッジデータ５−１２は、各区分領域別に、その区分領域に含まれた変動横エッジ画素または変動縦エッジ画素の総数を格納した配列データである。前フレーム変動エッジデータ５−１３は、現在処理中のフレームの１フレーム前の変動エッジデータ５−１２を格納した配列データである。動き特徴領域データ５−１４は、各区分領域に対応して、その区分領域が時間的に位置が変化するエッジを構成する画素（変動エッジ画素）を含んでいるか否かを表す配列データであり、具体的には、この配列データは、現在のフレームの変動エッジ画素の総数と、一つ前のフレームの変動エッジ画素の総数が共に第２の閾値５−４を超えたか否かを表す配列データである。本実施の形態では、各区分領域に関するこの判定結果をその区分領域の動き特性として使用する。ある区分領域がこの判定条件を満たすとき、その区分領域を動き特徴領域と呼ぶことがある。
【００３６】
次に、色特徴抽出処理３００、画像変動領域抽出処理４００、経路抽出処理５００、移動物体画像抽出処理６００、経路付き移動物体画像表示処理７００で作成するデータを説明する。ヒストグラムデータ５−１５は、各区分領域に対応して、その区分領域内の画素の色の度数分布を表す３次元の配列データである。ヒストグラムデータ５−１５を作成するには、各画素の色を６４階調に変換し、各区分領域毎に、各階調に対応して、その階調の色を有するに画素を計数した値を算出する。領域代表色データ５−１６は、各区分領域で最も多く表示された色階調すなわち代表色の色番号を格納した配列データである。本実施の形態では各区分領域の代表色をその区分領域の色特性の一例として使用する。前フレーム領域代表色データ５−１７は現在処理中のフレームの１フレーム前の領域代表色データ５−１６を格納した配列データである。前々フレーム領域代表色データ５−１７は現在処理中のフレームの２フレーム前の領域代表色データ５−１６を格納した配列データである。
【００３７】
画像変動領域データ５−１９は、各区分領域毎に、その区分領域が移動物体の画像のエッジを構成する画素（変動画素）を含んでいるか否かを示す配列であり、具体的には、この判定は、各区分領域に対して判定された動き特徴と色特徴に基づいて行われる。前フレーム画像変動領域データ５−２０は現在処理中のフレームの１フレーム前の画像変動領域データ５−１９を格納した配列データである。
【００３８】
経路領域データ５−２１は、各区分領域が、移動物体の通過点であるか否かを示す配列データである。いずれかの区分領域が移動物体の通過点であり、その区分領域にその移動物体が存在したと判断された回数が多いほど、すなわち、その区分領域におけるその移動物体の滞在時間が長いほど、その経路領域データ５−２１内の、その区分領域に対する要素には高い数値が格納される。経路画像データ５−２２は、移動物体が通過した経路を構成する区分領域を特定の半透明色で塗りつぶした画像を表すデータであり、経路赤画像データ５−２２−１、経路緑画像データ５−２２−２、経路青画像データ５−２２−３という３つの色に対する画像データと経路透明度データ５−２２−４とからなる。経路透明度データ５−２２−４は、経路画像を表示するのに使用する半透明色の濃さを指定するデータである。移動物体画像データ５−２３は移動物体の画像を表すデータであり、赤画像データ５−２３−１、緑画像データ５−２３−２、青画像データ５−２３−３からなる。
【００３９】
図５は、経路付き移動物体画像のデータとその付属情報を格納する経路付き移動物体画像構造体を示している。経路付き移動物体画像識別番号５−２−１は経路付き移動物体画像の番号であり、経路付き移動物体画像データ５−２−２は経路付き移動物体画像を格納した配列データである。経路付き移動物体画像表示位置Ｘ（５−２−３）及び経路付き移動物体画像表示位置Ｙ（５−２−４）は経路付き移動物体画像をディスプレイ１の領域７０（図２）に表示する際のＸ、Ｙ座標位置である。移動物体画像抽出時間５−２−５は移動物体がカメラ１の視野内の所定の領域あるいはそれに対応する画面５０内の所定の領域に進入した時間を記憶する。
【００４０】
（４）処理の詳細
以下、図４のデータを参照しながら、図３に示した経路付き移動物体画像表示プログラムの処理を図６から図２４に示すフローチャートを用いて詳細に説明する。なお、これらのフローチャートは、Ｃ言語を用いて記述されている。
【００４１】
（４ａ）動き特徴抽出処理２００
処理２０１から処理２１２（図６）までは、縦および横の強エッジの画素を抽出する処理である。ここで縦のエッジおよび横のエッジは、それぞれ画像を縦方向（垂直方向）あるいは横方向（水平方向）にスキャンしたときに検出可能なエッジである。強エッジとは、画像内のより鮮明なエッジであり、本実施の形態では、人物の顔あるいは手足の輪郭あるいは衣服の輪郭などのごとく人物の外郭を表すエッジであり、これらは人物の移動を検出するのに適している。一方、人物の顔の中の鼻の輪郭等を表すエッジは人物の移動を検出するのに適さない。これらのエッジは先に述べたエッジよりは一般に不鮮明である。したがって、本実施の形態は主として強エッジを検出するようにプログラムされている。
【００４２】
処理２０１では、処理すべき画素のＸ座標、Ｙ座標を表す変数Ｘ、Ｙを１に初期化する。処理２０２は映像入力装置１１から供給された１フレームの画像データに基づいて、赤画像データ５−７−１、緑画像データ５−７−２または青画像データ５−７−３のそれぞれ内の、画素（Ｘ、Ｙ）の横方向に隣接する一対の画素（Ｘ＋１，Ｙ）と画素（Ｘ−１、Ｙ）に対応する一対の要素の間の色差が第１の闘値Ａより大きいか否かを調べる。もし、これらの一対の画素の間のすべての色成分の色差が第１の闘値Ａより大きければ、この画素（Ｘ、Ｙ）は、画像内の横方向エッジを構成する画素と考えることができる。この場合には、プログラムは、処理２０３へ移り、そうでなければ処理２０４へ移る。
【００４３】
処理２０３では横エッジデータ５−６内の画素（Ｘ、Ｙ）に対応する要素に１を書き込み、処理２０４ではその要素に０を書き込む。処理２０５から処理２０７では、同様に、縦エッジデータ５−７を作成する。処理２０８から処理２１２は上述の処理を全ての画素に対して行うためのアドレス更新処理である。すべての処理が完了すると、プログラムは、処理２１３に移る。本実施の形態では、処理２０２，２０５でエッジの検出に使用する第１の閾値Ａとして比較的大きな値、例えば５５を使用する。これにより主として強横エッジあるいは強縦エッジが検出される。本実施の形態で処理されるエッジは全て強エッジであるので、以下では強エッジのことを単にエッジと呼ぶ。
【００４４】
処理２１３から処理２２４（図７）までは、複数のフレームの間で異なった位置に表れた横エッジあるいは縦エッジを抽出する処理である。これらのエッジを変動横エッジあるいは変動縦エッジと呼ぶことがある。また、これらのエッジを併せて変動エッジと呼ぶことがある。また、変動横エッジ、変動縦エッジあるいは変動エッジを構成する画素を変動横エッジ画素、変動縦エッジ画素あるいは変動エッジ画素と呼ぶことがある。
【００４５】
処理２１３では、処理すべき画素のＸ座標、Ｙ座標を表す変数Ｘ、Ｙを０に初期化する。処理２１４は、横エッジデータ内の画素（Ｘ、Ｙ）に対する要素の値と前フレーム横エッジデータ内の同じ画素（Ｘ、Ｙ）に対する要素の値の一方が１であり、他方が０であるかを調べ、画素（Ｘ、Ｙ）がこの条件を満たしていれば、この画素は、前のフレームでは横エッジ画素であり現在のフレームではそうでないかあるいはその逆である。したがって、この画素は、前のフレームと現在のフレームでの間で位置が変化した変動横エッジを表す変動横エッジ画素として扱う。この場合には、プログラムは、処理２１５へ、そうでなければ処理２１６へ移る。処理２１５では変動横エッジデータ５−１０内の画素（Ｘ、Ｙ）に対応する要素に１を書き込み、処理２１６では同じ要素に０を書き込む。同様に、処理２１７から２１９により変動縦エッジデータ５−１１を作成する。処理２２０から処理２２４は上述の処理を全ての画素に対して行うためのアドレス更新処理である。すべての処理が完了すると、プログラムは処理２２５に移る。
【００４６】
上記処理２１３から２２４は、すくなくとも過去２フレーム以上において異なった場所に存在したエッジを抽出している。カメラ９は静止させているため、背景のエッジは不動である。従って以上の変動横エッジあるいは変動縦エッジの検出により背景で生じたエッジを取り除くことができ、監視区域内に侵入した移動物体の動きに由来するエッジのみ抽出できる。
【００４７】
処理２２５から処理２３８（図８）までは、区分領域毎にそこに含まれる変動エッジ画素を計数する処理である。処理２２５では処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂおよびその区分領域内の処理すべき画素に付されたＸ、Ｙ方向の番号を表す変数ｉ、ｊを０に初期化する。処理２２６は、変動横エッジデータ５−１０内の、区分領域（Ｘｂ、Ｙｂ）内の（ｉ、ｊ）番目の画素に対応する要素の値または変動縦エッジデータ５−１１内の、同じ画素に対応する要素の値の少なくとも一方が１であるか否かを調べる。本実施の形態では、もし、この画素がこの条件を満たすときには、その画素は変動エッジ画素として扱う。この場合には、プログラムは、処理２２７へ移り、そうでなければ処理２２８へ移る。処理２２７では変動エッジデータ５−１２内の、上記区分領域（Ｘｂ、Ｙｂ）に対応する要素の値に１を加える。処理２２８から処理２３８は上述の処理を全ての画素に対して行なうためのアドレス更新処理である。すべての処理が完了するとプログラムは処理２３９へ移る。
【００４８】
処理２３９から処理２４７（図９）までは、各区分領域が動きのある画像を含んでいるか否かを検出する処理である。処理２３９では処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを０に初期化する。処理２４０は、変動エッジデータ５−１２内の、区分領域（Ｘｂ、Ｙｂ）に対応する要素の値が第２の闘値Ｂ以上であり、かつ前フレーム変動エッジデータ５−１３内の、その区分領域に対応する要素の値が第２の闘値Ｂ以上であるか否かを調べる。本実施の形態では、その区分領域がこれらの２つの条件を満たせば、その区分領域は複数のフレームにおいて継続して変動エッジ画素を所定数以上含んでいるので、その区分領域は動きのある画像を含んでいる領域として扱う。このようにその区分領域に対応する、複数のフレームにおける変動エッジデータの要素の値をチェックするのは、画像処理により発生するノイズ等の影響を除去するためである。その区分領域がこれらの条件を満たすか否かをその区分領域の動き特徴と呼ぶ。さらに、その区分領域がこれらの条件を満たす場合には、その区分領域は動き特徴を有するとも呼び、その区分領域を動き特徴領域と呼ぶことがある。その区分領域がこれらの２つの条件を満す場合には、プログラムは処理２４１へ移り、そうでなければ処理２４２へ移る。処理２４１ではその区分領域に対応する、動き特徴領域データ５−１４の要素に１を書き込み、処理２４２では同じ要素に０を書き込む。処理２４３から処理２４７は上述の処理を全領域に対して行うためのアドレス更新処理である。すべての処理が完了するとプログラムは処理２４８に移る。
【００４９】
処理２４８から処理２５４（図１０）までは、前フレーム横エッジデータ５−８および前フレーム縦エッジデータ５−９の更新処理である。処理２４８では、処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘ、Ｙを０に初期化する。処理２４９は前フレーム横エッジデータ５−８内の区分領域（Ｘ、Ｙ）に対応する要素に、横エッジデータ５−６内の、その区分領域（Ｘ、Ｙ）に対応する要素を代入し、さらに、前フレーム縦エッジデータ５−９内の、区分領域（Ｘ、Ｙ）に対応する要素に、縦エッジデータ５−７内の、区分領域（Ｘ、Ｙ）に対応する要素を代入する。処理２５０から処理２５４は上述の処理を全ての画素に対して行うためのアドレス更新処理である。
【００５０】
処理２５５から処理２６２（図１１）までは、前フレーム変動エッジデータ５−１３の更新処理及び変動エッジデータ５−１２のゼロクリアを行う処理である。処理２５５では、処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを０に初期化する。処理２５６は前フレーム変動エッジデータ５−１３内の、区分領域（Ｘｂ、Ｙｂ）に対応する要素に、変動エッジデータ５−１２内の、その区分領域（Ｘｂ、Ｙｂ）に対応する要素の値を代入する。処理２５７は、変動エッジデータ５−１２内の、区分領域（Ｘｂ、Ｙｂ）に対応する要素に０を代入する。処理２５８から処理２６２は上述の処理を全ての領域に対して行うためのアドレス更新処理である。
【００５１】
（４ｂ）色特徴抽出処理３００
処理３０１から処理３１４（図１２）までは、後に各区分領域ごとに代表色を求める処理の前処理として、各区分領域毎に、その区分領域に属する１０×１０個の画素の色のヒストグラムを作成する。処理３０１では処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂ、その区分領域内の処理すべき画素に付されたＸ、Ｙ方向の番号を表す変数ｉ、ｊ、色のヒストグラムの色番号を表す変数ｃｏｌを０に初期化する。処理３０２は、区分領域（Ｘ、Ｙ）内の（ｉ，ｊ）番目の画素、すなわち、画素（Ｘ×１０＋ｉ、Ｙ×１０＋ｊ）の色を６４階調の色の一つに変換し、その色の番号を変数ｃｏｌに書き込む。
【００５２】
すなわち、各画素の赤画像データ５−５−１、緑画像データ５−５−２、青画像データ５−５−３は８ビットからなり、各色成分は２５６階調で表されている。処理３０２では、赤画像データ５−５−１、緑画像データ５−５−２、青画像データ５−５−３内の、同じ画素に対する３つの要素をそれぞれ上位２ビットずつ切り出し、これらの切り出された合計６ビットのデータをその画素の色番号として使用する。具体的には、処理３０２において、０ｘｃ０は２進データ１１００００００に対する１６進表示である。その第１式は、赤画像データ５−５−１内の、画素（Ｘ×１０＋ｉ、Ｙ×１０＋ｊ）に対する要素と２進データ１１００００００との論理積により得られるデータを６ビットだけ右シフトすることを表す。同様に、第２式は、緑画像データ５−５−２内の、画素（Ｘ×１０＋ｉ、Ｙ×１０＋ｊ）に対する要素とデータ１１００００００との論理積により得られるデータを４ビットだけ右シフトすることを表す。第３式は、青画像データ５−５−３内の、の画素（Ｘ×１０＋ｉ、Ｙ×１０＋ｊ）に対する要素とデータ１１００００００との論理積により得られるデータを２ビットだけ右シフトすることを表す。処理３０２はこのようにして得られた３組の２ビットデータの論理和の結果得られる６ビットの色番号を変数ｃｏｌに代入することを示す。
【００５３】
ヒストグラムデータ５−１５は、各区分領域（Ｘ、Ｙ）に対して６４個の要素を有する３次元の配列である。処理３０３は色番号のヒストグラムデータ５−１５内の、区分領域（Ｘ、Ｙ）と処理３０２で算出された変数ｃｏｌの値との組に対応する要素に１を加える。処理３０４から処理３１４は上述の処理を全ての画素に対して行なうためのアドレス更新処理である。すべての処理が完了すると、プログラムは処理３１５へ移る。
【００５４】
処理３１５から処理３２６（図１３）までは、各区分領域毎の代表色を抽出する処理を行なう。処理３１５は処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを０に初期化する。処理３１６は処理中の色番号を表す変数ｃｏｌと６４階調の色番号の内で処理中の区分領域における最大の出現頻度を有する色番号を表す変数ｍａｘ＿ｃｏｌを０に初期化する。処理３１７は区分領域（Ｘｂ、Ｙｂ）で一番使用頻度の高い色番号を調べるため、ヒストグラムデータ５−１５内の要素（Ｘｂ、Ｙｂ、ｃｏｌ）の値が変数ｍａｘ＿ｃｏｌより大きいか否かを調べ、前者が後者より大きければプログラムは処理３１８へ移り、前者が後者より小さければ処理３２０に移る。処理３１８では変数ｍａｘ＿ｃｏｌをヒストグラムデータ５−１５内のその要素（Ｘｂ、Ｙｂ、ｃｏｌ）の値で置き換えて処理３１９に移る。処理３１９は色番号を示す変数ｃｏｌを領域代表色データ５−１６内の要素（Ｘｂ、Ｙｂ）に書き込む。処理３２０から処理３２１は上記の処理を６４種類の階調全てに対して行うためのアドレス更新処理である。処理３２２から処理３２６は以上の処理を全ての領域に対して行なうためアドレス更新処理である。こうして、全区分領域に対する代表色の色番号を保持する領域代表色データ５−１６が生成される。後に図１６を用いて説明するように、画像変動領域抽出処理４００が終了すると、この領域代表色データ５−１６は、前フレーム領域代表色データ５−１７に移される。そのときまの前フレーム領域代表色データ５−１７は、前々フレーム領域代表色データ５−１８に移される。
【００５５】
処理３２７から処理３３６（図１４）までは、ヒストグラムデータ５−１５のゼロクリア処理を行なう。処理３２７は処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを０に初期化する。処理３２８は処理すべき色番号を表す変数ｃｏｌを０に初期化する。処理３２９はヒストグラムデータ５−１５をゼロクリアするためにそこに０を書き込み、プログラムは処理３３０に移る。処理３３０から処理３３１は上記の処理を、ヒストグラムデータ５−１５内の区分領域（Ｘ、Ｙ）に対する色番号の全てに対して行うためのアドレス更新処理である。処理３３２から処理３３６は以上の処理を全ての区分領域に対して行なうためアドレス更新処理である。
【００５６】
（４ｃ）画像変動領域抽出処理４００
処理４０１から処理４１２（図１５）までは、各区分領域対して検出された動き特徴と色特徴とから、移動物体の画像を含むと考えられる領域（画像変動領域）を抽出する処理である。既に説明されたように、各区分領域について検出された動き特徴は、その区分領域が変動エッジ画素を所定数以上含んでいるか否かを示す。しかし、動き特徴領域と判断された区分領域をそのまま追跡すべき移動物体の画像を含む領域として使用すると、いくつかの問題が生じる。とくに、それらの区分領域の代表色が複数のフレームに渡り変化しないことが生じる。そのようなことが生じるのは、ある区分領域が木の葉の揺らぎを表すと思われる場合と、逆に、立ち止まっていると思われる移動物体の画像を保持する場合である。処理４０１から４１２は、前者の区分領域を移動物体画像を保持する区分領域（画像変動領域）としては扱わないで、後者の区分領域を、移動物体の画像を含む領域（画像変動領域）として扱うようにする。
【００５７】
処理４０１では処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを０に初期化する。処理４０２は動き特徴領域データ５−１４内の区分領域（Ｘ、Ｙ）に対する要素の値が１であるか否かを調べ、その値が１であればプログラムは処理４０３へ移り、１でなければ処理４０６へ移る。処理４０３では、その区分領域（Ｘ、Ｙ）の代表色が複数のフレームの間で変化しているか否かを判別する。すなわち、前々フレーム領域代表色データ５−１８内のその区分領域（Ｘ、Ｙ）に対する要素の値が領域代表色データ５−１６内のその区分領域（Ｘ、Ｙ）に対する要素の値と等しく、かつ前フレーム領域代表色データ５−１７内のその区分領域（Ｘ、Ｙ）に対する要素の値が領域代表色データ５−１６内のその区分領域（Ｘ、Ｙ）に対する要素の値と等しいかを調べる。その区分領域（Ｘ、Ｙ）が上記２つの条件を満たせば、この区分領域の代表色は前々フレームから現在のフレームに至る３フレームの間変化していない。本実施の形態は、区分領域（Ｘ、Ｙ）が上記２つの条件を満たすのは次の二つの場合である推定する。まず、この区分領域内の画像が、実質的に同じ位置に立ち止まっている移動物体の画像を含む場合である。今一つの場合は、この区分領域の背景が風で揺れる木の葉を含んでいて、それらの背景が移動物体として検出された場合のように、背景も動いている物体も同じ場合である。
【００５８】
区分領域（Ｘ、Ｙ）が上記２つの条件を満たせば、プログラムは処理４０４へ移り、その区分領域が上記２つの条件を満たさなければ処理４０７へ移る。処理４０４では処理４０５で最外周領域の処理を実行するのを避けるため、Ｘｂの値が１以上であり１４以下、Ｙｂの値が１以上であり１０以下であるかを調べ、 Ｘｂ、Ｙｂがこれらの条件を満たしていれば、プログラムは処理４０５へ移り、満たしていなければ処理４０６へ移る。
【００５９】
処理４０５では、この区分領域内の画像が、実質的に同じ位置に立ち止まっている移動物体の画像を含む場合か否かを判定する。すなわち、後に説明するように、経路領域データ５−２１は、各区分領域に対応した要素を有し、いずれかの区分領域が移動物体の通過点と判断されたときには、経路領域データ５−２１内のその区分領域に対応した要素にゼロでないデータが書き込まれる。処理４０５では、経路領域データ５−２１内の、処理中の区分領域（Ｘ、Ｙ）の四近傍の区分領域（Ｘ−１、Ｙ）、（Ｘ＋１、Ｙ）、（Ｘ、Ｙ−１）、（Ｘ、Ｙ＋１）に対する４つの要素が全て０であるかを調べる。もし、経路領域データ５−２１内のこれらの４つの要素のいずれかが１であれば、そのいずれかの区分領域を移動物体が通過したことを先行するフレーム画像により検出されたことになる。この場合には、現在処理中の区分領域はその移動物体の移動経路の極く近くにあることになる。従って処理中の区分領域（Ｘ、Ｙ）に対する代表色が処理４０３の条件を満たしているのは、この区分領域は、ほとんど立ち止まっている移動物体の画像を保持しているためであると推測される。したがって、処理中の区分領域（Ｘ、Ｙ）が処理４０３の二つの条件を満たし、処理４０５の条件を満たさなかった場合、この区分領域は注目する移動物体の画像を含む画像変動領域として扱われる。
【００６０】
一方、処理中の区分領域が処理４０３の二つの条件を満たし、さらに処理４０５の条件を満たした場合、この区分領域は木の葉のような揺れる物体の画像を含み、この区分領域の代表色は、背景にある多くの木の葉の色を表していて、そのためにその代表色が複数のフレームに渡り変化しなかったと判断される。従って、処理中の区分領域が処理４０５の条件を満たしていれば、プログラムは処理４０６へ移り、処理４０６ではこの区分領域内では、注目している移動物体に起因する画像の変化はなかったとみなして、画像変動領域データ５−１９内のこの区分領域（Ｘ、Ｙ）に対応する要素に０を書き込み、処理４０８へ移る。
【００６１】
処理中の区分領域が処理４０５の条件を満たしていなければ、プログラムは処理４０７へ移る。処理４０７ではこの区分領域内で注目している移動物体に起因する画像の変化があったとして、画像変動領域データ５−１９内の上記要素に１を書き込み、処理４０８へ移る。画像変動領域データ５−１９内のある区分領域に対応する要素の値が１であるとき、その区分領域を画像変動領域と呼ぶ。処理４０８から処理４１２は上述の処理を全領域に対して行うためのアドレス更新処理である。
【００６２】
上記のようにして画像変動領域を抽出するため、木の葉の揺れの様な画像の動き変化を含む区分領域を、誤って画像変動領域として抽出することがなくなる。また、人物が立ち止って動いている様な動きを含む区分領域に対しては、隣接する経路領域データに１があるかを調べることにより、その区分領域を画像変動領域と判断することができる。後に説明するように、画像変動領域抽出処理４００で検出された画像変動領域は、現フレーム画像における移動物体の通過点の検出に使用される。
【００６３】
なお、処理中の区分領域がほとんど立ち止まっている移動物体の像を含むと判断される場合、その区分領域から少しあるいは大きく隔たった他の区分領域にも同じ移動物体の画像が含まれているはずである。しかし、これらの他の区分領域は既に抽出された移動経路と隣接していない場合が多い。その場合には、これらの他の区分領域は処理４０５の条件を満すので、これらの他の区分領域は画像変動領域とは判断されない。したがって、画像変動領域抽出処理４００では、ほとんど立ち止まっている移動物体の画像を実際は含んでいる複数の区分領域の内の一部の区分領域のみが画像変動領域と判断されることになる。検出された一部の画像変動領域は、後に説明する現フレーム画像における移動物体の通過点の検出にはそのまま使用することができ、従って、このような一部の画像変動領域しか検出されないことは通過点の検出には問題とならない。
【００６４】
処理４１３から処理４１９（図１６）では、前々フレーム領域代表色データ５−１８および前フレーム領域代表色データ５−１７の更新処理である。処理４１３では、処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを０に初期化する。処理４１４は前々フレーム領域代表色データ５−１８内の区分領域（Ｘｂ、Ｙｂ）に対応する要素に、前フレーム領域代表色データ５−１７内の区分領域（Ｘｂ、Ｙｂ）に対応する要素を代入し、前フレーム領域代表色データ５−１７内の区分領域（Ｘｂ、Ｙｂ）に対応する要素に、領域代表色データ５−１６内の区分領域（Ｘｂ、Ｙｂ）に対応する要素を代入する。処理４１５から処理４１９は上述の処理を全ての区分領域に対して行うためのアドレス更新処理である。
【００６５】
（４ｄ）経路抽出処理５００
画像変動領域抽出処理４００により検出された複数の画像変動領域は注目している移動物体の画像を保持する区分領域と考えられる。本実施の形態ではこれらの画像変動領域により表される図形の中心の位置を移動物体の通過点として扱う。処理５００から処理５３３（図１７と１８）までは、これらの複数の画像変動領域中により表される図形の中心となる画像変動領域を注目している移動物体の現在の通過点として抽出する処理である。
【００６６】
処理５０１では処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂと上記図形の最下位位置を表す変数ｂｏｔｔｏｍを０に初期化する。処理５０２は画像変動領域データ５−１９内の処理中の区分領域（Ｘ、Ｙ）に対する要素の値が１であるか否か、すなわち、その区分領域が画像変動領域か否かを調べ、１であればプログラムは処理５０３に移り、１でなければ処理５０４へ移る。処理５０３ではＹｂの値をｂｏｔｔｏｍに書き込み、プログラムは処理５０９へ移る。処理５０４から処理５０８は、画像変動領域データ５−１９内の処理中の区分領域（Ｘ、Ｙ）に対する要素の値が１でない場合のみに上述の処理を全ての領域に対して行うためのアドレス更新処理である。このアドレス更新処理では、変数Ｙｂの小さい値から順にアドレスが更新される。この結果、いずれかの区分領域が最初に画像変動領域と判断されたときには、その区分領域のＹ方向の番号が、画像変動領域抽出処理４００により検出された複数の画像変動領域により表される図形の最下位位置を表す。
【００６７】
処理５０９では処理５１０から処理５１６で使用する変数Ｘｂ、Ｙｂ、ｔｏｐを０に初期化する。処理５１０は画像変動領域データ５−１９内の処理中の区分領域（Ｘ、Ｙ）に対する要素の値が１であるか否かを調べ、１であれば、プログラムは処理５１１に移り、１でなければ処理５１２へ移る。処理５１１ではＹｂの値をｔｏｐに書き込み処理５１７へ移る。処理５１２から処理５１６は上述の処理を全ての領域に対して行うためのアドレス更新処理である。このアドレス更新処理では、変数Ｙｂの大きい値から順にアドレスが更新される。この結果、いずれかの区分領域が最初に画像変動領域と判断されたときには、その区分領域のＹ方向の番号が、画像変動領域抽出処理４００により検出された複数の画像変動領域により表される図形の最上位位置を表す。
【００６８】
処理５１７では処理５１８から処理５２４で使用する変数Ｘｂ、Ｙｂ、ｌｅｆｔを０に初期化する。処理５１８は画像変動領域データ５−１９内の処理中の区分領域（Ｘ、Ｙ）に対する要素の値が１であるか否かを調べ、１であれば、プログラムは処理５１９に移り、１でなければ処理５２０へ移る。処理５１９ではＸｂの値をｌｅｆｔに代入し処理５２５へ移る。処理５２０から処理５２４は上述の処理を全ての領域に対して行うためのアドレス更新処理である。このアドレス更新処理では、変数Ｘｂの小さい値から順にアドレスが更新される。この結果、いずれかの区分領域が最初に画像変動領域と判断されたときには、その区分領域のＸ方向の番号が、画像変動領域抽出処理４００により検出された複数の画像変動領域により表される図形の最左位置を表す。
【００６９】
処理５２５では処理５２６から処理５３２で使用する変数Ｘｂ、Ｙｂ、ｒｉｇｈｔを０に初期化する。処理５２６は画像変動領域データ５−１９内の処理中の区分領域（Ｘ、Ｙ）に対する要素の値が１であるか否かを調べ、１であれば、プログラムは処理５２７に移り、１でなければ処理５２８へ移る。処理５２７ではＸｂの値をｒｉｇｈｔに代入し、プログラムは処理５３３へ移る。処理５２８から処理５３２は上述の処理を全ての領域に対して行うためのアドレス更新処理である。このアドレス更新処理では、変数Ｘｂの大きい値から順にアドレスが更新される。この結果、いずれかの区分領域が最初に画像変動領域と判断されたときには、その区分領域のＸ方向の番号が、画像変動領域抽出処理４００により検出された複数の画像変動領域により表される図形の最右位置を表す。
【００７０】
処理５３３は、得られたｂｏｔｔｏｍとｔｏｐの平均値と、ｌｅｆｔとｒｉｇｈｔの平均値から、上記複数の画像変動領域により表される画像の中心となる区分領域のＸ、Ｙ方向の番号を求め、経路領域データ５−２１内のこの区分領域に対応する要素の値に１を加える。経路領域データ５−２１内のこの区分領域に対応する要素のそれまでの値が０である場合には、その要素の値は１に変更される。移動物体が何度も同じ区分領域を通過したり、同じ区分領域に長く滞在した場合は、経路領域データ５−２１内のこの区分領域に対応する要素のそれまでの値はすでに０でない。この場合には、処理５３３により、経路領域データ５−２１内のこの区分領域に対応する要素の値がさらに大きくなる。したがって、経路領域データ５−２１は移動物体の同じ区分領域内での滞在時間に関する情報も含んで
いる。
【００７１】
処理５３４から処理５４８（図１９）までは、経路画像データ５−２２を作成する処理である。処理５３４では、処理すべき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂおよびその区分領域内の処理すべき画素に付されたＸ、Ｙ方向の番号を表す変数ｉ、ｊを０に初期化する。処理５３５は経路領域データ５−２１内の区分領域（Ｘ、Ｙ）に対応する要素の値が０であるか否かを調べ、０でなければ、プログラムは処理５３６へ移り、０であれば処理５３７へ移る。
【００７２】
処理５３６では経路領域データ５−２１内の区分領域（Ｘｂ、Ｙｂ）に対応する要素の値を、経路透明度データ５−２２−４内の、画素（Ｘｂ×１０＋ｉ、Ｙｂ×１０＋ｊ）に対応する要素に書き込み、また、経路赤画像データ５−２２−１、経路緑画像データ５−２２−２、経路青画像データ５−２２−３内の同じ画素に対する要素には、経路を所定の色で表示するための３つの色成分データを書き込み、プログラムは処理５３８へ移る。本実施の形態では経路が緑色で表示されるように、経路緑画像データ５−２２−２に数値２５５を書き込み、他の経路画像データ５−２２−１，５−２２−３には０を書き込んでいる。この数値２５５は適宜変更可能である。処理５３７では、区分領域（Ｘｂ、Ｙｂ）が経路上にないため、全ての経路画像データ５−２２−１から５−２２−３内の、画素（Ｘｂ×１０＋ｉ、Ｙｂ×１０＋ｊ）に対応する要素に０を書き込み、プログラムは処理５３８へ移る。処理５３８から処理５４８は上記の処理を全ての画素に対して行なうためのアドレス更新処理である。
【００７３】
後に説明するように、経路上に位置する区分領域は半透明な色でもって移動物体画像に重畳して表示される。今の場合には経路は半透明の緑色でもって表示されることになる。処理５３６では、上記経路透明度データ５−２２−４には経路領域データ５−２１の値をそのまま使用しているため、複数回移動物体が通過したりあるいは移動物体の滞在時間が長い区分領域ほどその区分領域に対する経路透明度データの値が大きくなる。後に示されるように、本実施の形態では、経路透明度データの値が大きい区分領域は、それだけ濃い半透明色で表示される。このため、オペレータは、一目で移動物体の移動の滞在時間等の時間的な要因も確認することができる。
【００７４】
（４ｅ）移動物体画像抽出処理６００
処理６０１から処理６１１（図２０）までは、カメラ９の視野内の所定の領域あるいはフレーム画像５０（図２）内のそれに対応する所定の領域に移動物体の少なくとも一部が位置したときに、その移動物体の画像を抽出する処理である。本実施の形態では、具体的には、視野内の上記所定の領域は、カメラ９の視野の中央部の縦長の空間領域であり、画面５０内の上記対応する所定の領域は、画面５０の中央に位置する縦長のスリット領域であると仮定している。フレーム画像上のこの所定の領域を以下では移動物体画像抽出領域と呼ぶ。すなわち、フレーム画像上の区分領域（８、０）から（８、１２）までが、移動物体画像抽出領域として使用される。本実施の形態では移動物体の内の一定の割合が、この移動物体画像抽出領域に進入した時点を検出し、その時点のフレーム画像をこの移動物体の画像として記憶する方法を採る。この方法により、移動物体の大きさあるいはその移動経路に依らないで、移動物体が移動物体画像抽出領域に対してほぼ一定の相対的位置関係にあるときにその移動物体の画像を記憶することができる。
【００７５】
処理６０１から６０９は、移動物体と移動物体画像抽出領域との間の相対的位置関係の変化を後に検出するときに用いる３つの画像変動領域数を計数するための処理である。処理６０１では処理すべき区分領域に付されたＸ方向の番号を表す変数Ｘｂを、移動物体画像抽出領域を構成するすべての区分領域に共通なＸ方向の番号８に初期化し、処理すべき区分領域に付されたＹ方向の番号を表す変数Ｙｂおよび移動物体画像抽出領域内に含まれる画像変動領域の数に関連する３つの変数ｎｏｗ＿ｃｏｕｎｔ、ｏｌｄ＿ｃｏｕｎｔ、ｓａｍｅ＿ｃｏｕｎｔを０に初期化する。処理６０２は、画像変動領域データ５−１９内の区分領域（Ｘｂ、Ｙｂ）に対応する要素の値が１であるかを調べ、１であれば、プログラムは処理６０３へ移り、１でなければ処理６０４へ移る。処理６０３はｎｏｗ＿ｃｏｕｎｔに１を加える。ｎｏｗ＿ｃｏｕｎｔは現在のフレーム画像内の、移動物体画像抽出領域に含まれる画像変動領域の総数を表す変数である。
【００７６】
処理６０４は前フレーム画像変動領域データ５−２０内の、区分領域（Ｘｂ、Ｙｂ）に対応する要素の値が１であるかを調べ、１であれば、プログラムは処理６０５へ移り、１でなければ処理６０６へ移る。処理６０３はｏｌｄ＿ｃｏｕｎｔに１を加える。 ｏｌｄ＿ｃｏｕｎｔは前のフレーム画像内の移動物体画像抽出領域に含まれる画像変動領域の総数を表す変数である。
【００７７】
処理６０６は画像変動領域データ５−１９内の区分領域（Ｘｂ、Ｙｂ）に対応する要素の値が１であり、かつ前フレーム画像変動領域データ５−２０内の区分領域（Ｘｂ、Ｙｂ）に対応する要素の値が１であるかを調べ、この区分領域（Ｘｂ、Ｙｂ）が２つの条件を満たせば処理６０７へ移り、２つの条件を満たせなければ処理６０８へ移る。処理６０７はｓａｍｅ＿ｃｏｕｎｔに１を加える。ｓａｍｅ＿ｃｏｕｎｔは、現在のフレーム画像および前のフレームのいずれにおいても画像変動領域であると判定された、移動物体画像抽出領域に属する区分領域の総数を表す変数である。処理６０８から処理６０９は上記の処理を移動物体画像抽出領域内の全区分領域に対して行うためのアドレス更新処理である。今の例では移動物体画像抽出領域は、区分領域（８、０）から（８、１２）までであるので、このアドレス更新処理では、区分領域のＹ方向アドレスＹｂのみが更新されている。
【００７８】
処理６１０から処理６１９（図２１）では、移動物体画像データを作成する処理である。処理６１０は変数ｎｏｗ＿ｃｏｕｎｔが１以上であり、かつｓａｍｅ＿ｃｏｕｎｔに２をかけた値を、ｎｏｗ＿ｃｏｕｎｔとｏｌｄ＿ｃｏｕｎｔを足した値で割った値が０．４８以下であるかを調べる。第１の条件は、現在のフレームの移動物体画像の少なくとも一部が移動物体画像抽出領域内の少なくとも一つの区分領域に保持されていることを示す。第２の条件の左辺は、移動物体画像の内、移動物体画像抽出領域内に存在する部分の割合を計るパラメータである。あるフレームで、移動物体画像が移動物体画像抽出領域に初めて進入したときには、 ｓａｍｅ＿ｃｏｕｎｔはまだ０であるので、第２式左辺は０である。その後、移動物体画像の内、移動物体画像抽出領域内に存在する部分の割合が増えると、第２式左辺は増大する。しかし、この割合がそれほど大きくないとき、 ｓａｍｅ＿ｃｏｕｎｔの値も小さく、第２式左辺は１よりかなり小さい値を採る。この割合が大きくなるほど、ｏｌｄ＿ｃｏｕｎｔ、 ｎｏｗ＿ｃｏｕｎｔ、ｓａｍｅ＿ｃｏｕｎｔの値はいずれもほぼ同じ値に近づき、第２の条件の左辺は１に近づく。この割合がある程度の値に達すると、左辺の値は余り変化しない。したがって、第２式左辺の値は、移動物体画像の内、移動物体画像抽出領域内に存在する部分の割合がそれほど大きくないときに、比較的大きく変化する。本実施の形態は、以上のことを考慮して第２式左辺の値が飽和値１の半分より少し小さな値０．４８以下の時のフレーム画像を移動物体画像として記憶するように構成されている。
【００７９】
現在のフレームが処理６１０が指定する上記２つの条件を満たしていれば、プログラムは処理６１１へ移り、現在のフレームが２つの条件を満たしていなければ、プログラムは処理６２０へ移る。処理６１１では、処理すべき画素の座標Ｘ、Ｙを表す変数Ｘ、Ｙを０に初期化する。処理６１２は、移動物体画像データ５−２３内の、画素（Ｘ、Ｙ）に対応する要素に現在のフレーム画像データ５−５内の、同じ画素に対する要素を代入し処理６１３へ移る。処理６１３では経路付き移動物体画像抽出時間として、その時点の時間を経路付き移動物体画像抽出時間５−２−３に書き込む。処理６１４から処理６１８は上述の処理を全ての画素に対して行うためのアドレス更新処理である。処理６１９は移動物体画像データの作成が終了したことを示す変数Ｐａｓｔｅ＿ｆｌａｇに１を代入する。
【００８０】
なお、移動物体画像抽出処理６００が異なるフレームに対して繰り返される過程で、あるフレーム画像が処理６１０に示す二つの条件を満足した後に、後続のフレーム画像が同じ条件を満たすことが起きうる。その場合にも、上記処理６１２、６１３、６１４が繰り返され、それまでに記憶されていた移動物体画像データ５−２３、経路付き移動物体画像抽出時間５−２−３は、上記後続のフレーム画像に対して抽出された移動物体画像データ、経路付き移動物体画像抽出時間により上書きされる。したがって、上記処理６１０の左辺の値が０．４８を越えたフレーム画像の直前のフレーム画像に対する移動物体画像データ、経路付き移動物体画像抽出時間が、移動物体画像データ５−２３、経路付き移動物体画像抽出時間５−２−３として保存されることになる。
【００８１】
処理６２０から処理６２６（図２２）までは、前フレーム画像変動領域データ５−２０の更新処理である。処理６２０では、処理すべき区分領域に付された、Ｘ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを０に初期化する。処理６２１は前フレーム画像変動領域データ５−２０内の、区分領域（Ｘｂ、Ｙｂ）に対応する要素に画像変動領域データ５−１９内の、区分領域（Ｘｂ、Ｙｂ）に対応する要素を代入し処理６２２へ移る。処理６２２から処理６２６は上述の処理を全ての区分領域に対して行うためのアドレス更新処理である。
【００８２】
（４ｆ）経路付き移動物体画像表示処理７００
処理７００から処理７０８（図２３）までは、画像変動領域データ５−１９により、フレーム画面内に存在する画像変動領域の総数をカウントする処理である。処理７０１では、処理すべき区分領域に付された、Ｘ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂおよび画像変動領域の数を表す変数ａｌｌ＿ｃｏｕｎｔを０に初期化する。処理７０２は画像変動領域データ５−１９内の区分領域（Ｘｂ、Ｙｂ）に対応する要素が１であるかを調べ、１であれば処理７０３へ移り、１でなければ処理７０４へ移る。処理７０３はａｌｌ＿ｃｏｕｎｔに１を加え処理７０４へ移る。処理７０４から処理７０８は上述の処理を全ての区分領域に対して行うためのアドレス更新処理である。このようにして、 ａｌｌ＿ｃｏｕｎｔは、現フレーム画面内に存在する画像変動領域の総数を表す。この総数は以下に述べる処理において、移動物体がカメラ９の視野外に退出したタイミングを検出するのに使用される。
【００８３】
処理７０９から処理７２６（図２４）は、経路付き移動物体画像データ５−２−２を作成し表示する処理である。ここでは、移動物体が移動物体画像抽出領域を通過後画面から退出したときに、移動物体画像データ５−２３の１／２縮小画像と経路画像データ５−２２の１／２縮小画像を合成して経路付き移動物体画像データ５−２−２が生成される。このとき、経路画像が移動物体画像に半透明色で重畳して表示されるように、移動物体画像データ５−２３と経路画像データ５−２２が合成される。
【００８４】
まず、処理７０９では移動物体画像の抽出後に移動物体が画面から退出したか否かを調べるため、Ｐａｓｔｅ＿ｆｌａｇが１であり、かつａｌｌ＿ｃｏｕｎｔが０であるか否かを判定する。現在のフレーム画像が２つの条件を満たしていれば、プログラムは処理７１０へ移り、現在のフレーム画像が２つの条件を満たしていなければ、プログラムは処理１００へ移る。
【００８５】
処理７１０では処理すべき画素のＸ、Ｙ座標を表す変数Ｘ、Ｙを０に初期化する。処理７１１ではために、移動物体画像データ５−２３の各色成分データ５−２３−１、５−２３−２または５−２３−３内の画素（Ｘ×２、Ｙ×２）に対応する要素と重み（１―α）との積に、経路画像データ５−２２の対応する色成分データ５−２２−１、５−２２−２または５−２２−３内の、画素（Ｘ×２、Ｙ×２）に対応する要素と、経路画像データ５−２２の経路透明度データ５−２２−４内の、画素（Ｘ×２、Ｙ×２）に対応する要素と、重みαとの積を加算し、得られる色データを経路付き移動物体画像データ５−２−２内の、画素（Ｘ、Ｙ）に対応する要素に代入する。ここで重みαは１より小さく、０より大きい適当な値である。この処理７１１は赤、緑、青の各色成分に対して実行される。こうして、経路画像を半透明色で移動物体画像に重畳して表示するための画像データが得られる。なお、以上の計算から明らかなように、経路透明度データ５−２２−４の要素の値が大きいほど、経路はより濃い半透明色で表示される。処理７１２から処理７１６は上記の処理を全ての画素に対して行うためのアドレス更新処理である。こうして、経路付き移動物体画像データ５−２−２が生成される。このとき、さらに、経路付き移動物体画像識別番号５５−２−１が決定される。
【００８６】
処理７１９から処理７２４は経路領域データ５−２１と変数Ｐａｓｔｅ＿ｆｌａｇをゼロクリアするための処理である。処理７１８では処理すべき区分領域に付された、Ｘ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを０に初期化する。処理７１９では経路領域データ５−２１内の区分領域（Ｘ、Ｙ）に対応する要素をゼロクリアする。処理７２０から処理７２４は上記の処理を全ての区分領域に対して行うためのアドレス更新処理である。処理７２５は経路付き移動物体画像データの作成が終わったことを示すためにＰａｓｔｅ＿ｆｌａｇに０を代入して処理７２６へ移る。
【００８７】
処理７２６は、処理７１１で作成した経路付き移動物体画像データ５−２−２に対して、経路付き移動物体画像表示位置Ｘ（５−２−４）および経路付き移動物体画像表示位置Ｙ（５−２−５）を決定し、その経路付き移動物体画像データ５−２−２を画面上の領域７０内の決定された位置へ表示する。すでに表示されている経路付き移動物体画像があるときには、その画像に並べて新たな経路付き移動物体画像を表示するように、新たな画像の表示位置が決定される。処理７２６が終了すると新しいフレーム画像の入力を行う処理１００へ移る。上記の処理により、移動物体を含んだ画像に、その移動物体の移動経路を付加した画像が作成され、表示される。
【００８８】
以上の説明から明らかなように、本実施の形態によれば、移動物体の動き特徴の検出に過去２フレーム以上において異なった場所に存在した変動エッジを利用している。一般に監視カメラは静止させて撮影するため、背景のエッジは不動である。変動エッジを利用すると、背景で生じた部分のエッジを取り除くことができ、監視区域内に侵入した物体の動きのある部分のエッジのみ抽出できる。
【００８９】
更に、移動物体の抽出に、領域毎に色特徴の時間的変化を調べる色特徴処理も利用すると、木の葉の揺れの様な画像の動き変化を含む領域がある場合にも、誤って抽出することがなくなる。
【００９０】
また、人物が一旦立ち止って、その場で作業しているような動きを含む領域も、隣接する領域の経路領域データを用いると、移動物体の画像変動領域（経路領域）として判断することができる。
【００９１】
更に、移動物体の経路となる領域を半透明色で表し、さらに、同一移動物体が何度も通過した領域や滞在時間が長い領域ほど半透明色を濃くして表示すると、オペレータは、一目で移動物体の経路の時間的な変化を確認することができる。
【００９２】
なお、本発明は以上の実施の形態に限定されるのではなく、いろいろの実施の形態により実現可能である。たとえば、例えば、移動物体の検出方法も他の方法により実現可能である。本実施の形態は、移動物体画像抽出領域が画面中央に位置すると仮定したが、本発明はね他の位置と大きさを有する移動物体画像抽出領域の場合にも適用でき、その場合には処理６００での初期設定値および処理６０８から処理６０９までのアドレス更新処理を適宜変更すればよい。
【００９３】
以上の実施の形態に示された技術は、通行者という移動物体に適用されたが、車その他の移動物体にも適用可能である。さらに、以上の技術は、屋外を移動する移動物体の画像の抽出と移動経路の抽出に適用されたが、もとより屋内を移動する物体にも適用可能である。さらに、以上の技術は同時には一つの移動物体のみがカメラの視野内に存在する場合に適用されたが、同時に複数の物体が存在する場合にも、以上の技術の基本的なところはそのまま適用可能である。さらに、それらの複数の移動物体が同時にカメラの視野内に存在する場合にもそれぞれの移動物体の画像と移動経路を検出するように以上の技術を変形することも可能である。
【００９４】
なお、実施の形態では、実時間で経路付き移動物体画像を表示していたが、複数の移動物体に対する複数の経路画像を外部情報記憶装置１３に順次記憶し、後にこれらの画像を順次もしくは並べて表示する方法を採ってもよい。
【００９５】
【発明の効果】
本発明によれば、移動物体を含んだ画像に、その移動物体の経路を付加した画像が自動的に生成され、表示されるため、監視者は監視領域への侵入物とその移動経路を簡単に知ることができる。
【図面の簡単な説明】
【図１】本発明に係る移動物体表示システムの一つの実施の形態の概略構成図である。
【図２】図１の装置においてディスプレイに表示される画面の一例を示す図である。
【図３】図１の装置において実行される移動物体の表示プログラムの概略フローチャートである。
【図４】図１の装置において使用されるプログラムとデータの一覧を示す図である。
【図５】図２に示されたデータの内、経路付き移動物体画像構造体のフォーマットを示す図である。
【図６】図３のフローチャート内の動き特徴抽出処理（２００）の一部のフローチャートである。
【図７】図３のフローチャート内の動き特徴抽出処理（２００）の他の部分のフローチャートである。
【図８】図３のフローチャート内の動き特徴抽出処理（２００）のさらに他の部分のフローチャートである。
【図９】図３のフローチャート内の動き特徴抽出処理（２００）のさらに他の部分のフローチャートのである。
【図１０】図３のフローチャート内の動き特徴抽出処理（２００）のさらに他の部分のフローチャートである。
【図１１】図３のフローチャート内の動き特徴抽出処理（２００）のさらに他の部分のフローチャートである。
【図１２】図３のフローチャート内の色特徴抽出処理（３００）の一部のフローチャートである。
【図１３】図３のフローチャート内の色特徴抽出処理（３００）の他の部分のフローチャートである。
【図１４】図３のフローチャート内の色特徴抽出処理（３００）のさらに他の部分のフローチャートである。
【図１５】図３のフローチャート内の画像変動領域抽出処理（４００）の一部のフローチャートである。
【図１６】図３のフローチャート内の画像変動領域抽出処理（４００）の他の部分のフローチャートである。
【図１７】図３のフローチャート内の経路抽出処理（５００）の一部のフローチャートである。
【図１８】図３のフローチャート内の経路抽出処理（５００）の他の部分のフローチャートである。
【図１９】図３のフローチャート内の経路抽出処理（５００）のさらに他の部分のフローチャートである。
【図２０】図３のフローチャート内の移動物体画像抽出処理（６００）の一部のフローチャートである。
【図２１】図３のフローチャート内の移動物体画像抽出処理（６００）の他の部分のフローチャートである。
【図２２】図３のフローチャート内の移動物体画像抽出処理（６００）のさらに他の部分のフローチャートである。
【図２３】図３のフローチャート内の経路付き移動物体画像表示処理（７００）の一部のフローチャートである。
【図２４】図３のフローチャート内の経路付き移動物体画像表示処理（７００）の他の部分のフローチャートである。
Claims (15)
- 撮像装置により撮像される所定の視野に進入した移動物体の移動経路を該撮像装置から供給される動画像信号に基づいて抽出する第１のステップと、
上記移動物体に対して抽出された上記移動経路の画像を表す第１の画像データを生成する第２のステップと、
上記移動物体の画像を表す第２の画像データを上記動画像信号に基づいて生成する第３のステップと、
上記移動物体に対して抽出された上記移動経路の画像と上記移動物体の画像との重畳画像を上記第１と第２の画像データに基づいて表示装置に表示する第４のステップとを有し、
上記表示装置の表示画面は、複数の区分領域に分割され、
上記移動経路は、上記複数の区分領域の内の、上記移動物体が存在する画像変動領域に含まれる一つの区分領域を通過点とする経路であることを特徴とする移動物体の表示方法。 - 上記移動物体より後に上記視野内に進入した少なくとも一つの他の移動物体に対して、他の重畳画像が当該他の移動物体に対して上記表示装置に表示されるように、上記第１のステップ〜上記第４のステップが繰り返されることを特徴とする請求項１記載の移動物体の表示方法。
- 上記移動物体に対する上記重畳画像と上記他の移動物体に対する重畳画像は並べて表示されることを特徴とする請求項２に記載の移動物体の表示方法。
- 上記移動物体に対する上記重畳画像と上記他の移動物体に対する重畳画像は順次表示されることを特徴とする請求項２に記載の移動物体の表示方法。
- 上記第２の画像データは、上記移動物体が上記視野内の所定の位置に存在するときに上記撮像装置により供給された上記移動物体の画像を表す画像データであり、
上記第１の画像データは、上記移動物体の画像に上記移動経路を重畳して表示するための画像データであることを特徴とする請求項１に記載の移動物体の表示方法。 - 上記第４のステップは、
上記移動物体が上記視野の外に退出したタイミングを上記移動物体の画像データの作成が既に終了していることと上記移動物体のいずれの一部も上記視野に存在しなくなった場合とから検出し、
上記移動物体に対して検出された上記タイミングにおいて、上記重畳画像を上記表示装置に表示するステップを有する請求項１に記載の移動物体の表示方法。 - 上記第１のステップは、
複数のフレームの各々において、上記移動物体が存在する画像変動領域の中の中心となる区分領域を上記一つの区分領域として検出するステップを有し、
上記移動経路の画像を表す上記第１の画像データは、上記複数のフレームの各々において検出された上記中心となる区分領域を表示するための画像データからなることを特徴とする請求項１に記載の移動物体の表示方法。 - 撮像装置から供給される動画像信号を処理するコンピュータと、
上記コンピュータに接続された表示装置とを有する移動物体の表示システムであって、
上記コンピュータは、
撮像装置により撮像される所定の視野に進入した移動物体に対して上記視野内での移動経路を該撮像装置から供給される動画像信号に基づいて抽出する移動経路抽出手段と、
上記移動物体に対して抽出された上記移動経路の画像を表す第１の画像データを生成する第１の画像データ生成手段と、
上記移動物体の画像を表す第２の画像データを上記動画像信号に基づいて生成する第２の画像データ生成手段と、
上記移動物体に対して抽出された移動経路の画像と上記移動物体の画像との重畳からなる重畳画像を上記第１と第２の画像データに基づいて表示装置に表示する重畳画像表示手段とを構成し、
上記表示装置の表示画面は、複数の区分領域に分割され、
上記移動経路は、上記複数の区分領域の内の、上記移動物体が存在する画像変動領域に含まれる一つの区分領域を通過点とする経路であるようにプログラムされることを特徴とする表示システム。 - 上記移動経路抽出手段、上記第１の画像データ生成手段、上記第２の画像データ生成手段及び上記重畳画像表示手段は、上記移動物体より後に上記視野内に進入した少なくとも一つの他の移動物体に対して繰り返し構成され、
上記移動物体に対する上記重畳画像と上記他の移動物体に対する重畳画像は上記表示装置に並べて表示されることを特徴とする請求項８記載の表示システム。 - 上記移動経路抽出手段は、
複数のフレームにおける、上記移動物体が存在する画像変動領域の中の中心となる区分領域を上記一つの区分領域として検出する検出手段を有し、
上記移動経路の画像を表す上記第１の画像データは、上記複数のフレームの各々において検出された上記中心となる区分領域を表示するための画像データからなることを特徴とする請求項８に記載の移動物体の表示システム。 - 上記検出手段は、
複数のフレームの各々に対して、その各フレームに対して上記撮像装置により供給された、上記移動物体を含む複数のエッジの内、時間的に位置が変動する複数の変動エッジに属する複数の変動エッジ画素を検出する手段と、
上記各フレームに対して検出された上記複数の変動エッジ画素の位置に基づいて、上記移動物体を表す画像のエッジが位置する上記画像変動領域を検出する手段と、
上記各フレームに対して検出された上記画像変動領域の位置に基づいて、上記一つの区分領域を検出する手段とを有することを特徴とする請求項１０記載の移動物体の表示システム。 - 上記移動経路抽出上記手段は、
区分領域毎に、複数のフレームの各々に対して画像の動き特徴を抽出する動き特徴抽出手段と、
区分領域毎に、複数のフレームの各々に対して色特徴を抽出する色特徴抽出手段と、
区分領域毎に、複数のフレームの各々に対して、その各フレームに対して抽出された動き特徴と、その各フレームおよびそのフレームに先行する複数のフレームの各々に対して抽出された色特徴とに基づいて、その区分領域に移動物体が存在するかを判定する判定手段と、
上記判定手段の判定結果に依存して、そのフレームでの上記移動物体の位置を判別する判別手段とを有することを特徴とする請求項８に記載の移動物体の表示システム。 - 各区分領域の上記画像の動き特徴は、上記撮像装置により撮影された画像の内、時間的に位置が変動する部分がその区分領域に含まれているか否かに関連し、
各区分領域の上記色特徴は、その区分領域を代表する色に関連する請求項１２に記載の移動物体の表示システム。 - 撮像装置から供給される動画像信号を処理するコンピュータと、上記コンピュータに接続された表示装置とを有する移動物体表示システムにおいて使用されるべきプログラムを記憶したプログラム記録媒体であって、
上記プログラムは、上記コンピュータに、
撮像装置により撮像される所定の視野に進入した移動物体に対して上記視野内での移動経路を該撮像装置から供給される動画像信号に基づいて抽出する第１のステップと、
上記移動物体に対して抽出された上記移動経路の画像を表す第１の画像データを生成する第２のステップと、
上記移動物体の画像を表す第２の画像データを上記動画像信号に基づいて生成する第３のステップと、
上記移動物体に対して抽出された移動経路の画像と上記移動物体の画像との重畳からなる重畳画像を上記第１と第２の画像データに基づいて表示装置に表示する第４のステップとを実行し、
上記表示装置の表示画面は、複数の区分領域に分割され、
上記移動経路は、上記複数の区分領域の内の、上記移動物体が存在する画像変動領域に含まれる一つの区分領域を通過点とする経路であることを特徴とするプログラム記録媒体。 - 上記第１のステップ〜上記第４のステップは、上記移動物体より後に上記視野内に進入した少なくとも一つの他の移動物体に対して繰り返し実行され、
上記移動物体に対する上記重畳画像と上記他の移動物体に対する重畳画像は上記表示装置に表示されることを特徴とする請求項１４記載のプログラム記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25460397A JP3601951B2 (ja) | 1996-09-20 | 1997-09-19 | 移動物体の表示方法、それを用いた表示システムおよびそのためのプログラム記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8-249591 | 1996-09-20 | ||
| JP24959196 | 1996-09-20 | ||
| JP25460397A JP3601951B2 (ja) | 1996-09-20 | 1997-09-19 | 移動物体の表示方法、それを用いた表示システムおよびそのためのプログラム記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10150657A JPH10150657A (ja) | 1998-06-02 |
| JP3601951B2 true JP3601951B2 (ja) | 2004-12-15 |
Family
ID=26539378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25460397A Expired - Lifetime JP3601951B2 (ja) | 1996-09-20 | 1997-09-19 | 移動物体の表示方法、それを用いた表示システムおよびそのためのプログラム記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3601951B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001313861A (ja) * | 2000-02-21 | 2001-11-09 | Fujitsu Ltd | 画像撮影装置、データ管理装置、媒体、およびプログラム |
| JP4706535B2 (ja) * | 2006-03-30 | 2011-06-22 | 株式会社日立製作所 | 複数カメラを用いた移動物体監視装置 |
| JP4541316B2 (ja) | 2006-04-06 | 2010-09-08 | 三菱電機株式会社 | 映像監視検索システム |
| JP4957263B2 (ja) * | 2007-01-23 | 2012-06-20 | カシオ計算機株式会社 | 撮像装置、撮像方法及びそのプログラム |
| WO2019077750A1 (ja) * | 2017-10-20 | 2019-04-25 | 三菱電機株式会社 | データ処理装置、プログラマブル表示器およびデータ処理方法 |
-
1997
- 1997-09-19 JP JP25460397A patent/JP3601951B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10150657A (ja) | 1998-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0831422B1 (en) | Method of displaying moving object for enabling identification of its moving route, display system using the same, and program recording medium therefor | |
| US7003135B2 (en) | System and method for rapidly tracking multiple faces | |
| US6404455B1 (en) | Method for tracking entering object and apparatus for tracking and monitoring entering object | |
| Jabri et al. | Detection and location of people in video images using adaptive fusion of color and edge information | |
| KR101064573B1 (ko) | 입자 여과를 이용하여 이동 물체를 추적하는 시스템 | |
| Cavallaro et al. | Shadow-aware object-based video processing | |
| CN111191570B (zh) | 图像识别方法和装置 | |
| JP6364743B2 (ja) | 情報処理装置、制御方法、プログラム、及び情報システム | |
| CN109271886A (zh) | 一种教育考试监控视频的人体行为分析方法及系统 | |
| KR20180003304A (ko) | 영상 축약 시스템 및 방법 | |
| JPH07168932A (ja) | ビデオ画像中の人間を探索する方法 | |
| CN111932596B (zh) | 摄像头遮挡区域的检测方法、装置、设备和存储介质 | |
| KR101645959B1 (ko) | 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법 | |
| KR20180003309A (ko) | 영상 축약 시스템 및 방법 | |
| KR101548639B1 (ko) | 감시 카메라 시스템의 객체 추적장치 및 그 방법 | |
| JP2010057105A (ja) | オブジェクトの３次元追跡方法およびシステム | |
| US20240096094A1 (en) | Multi-view visual data damage detection | |
| CN106934819A (zh) | 一种提高图像中运动物体检测精度的方法 | |
| US9436996B2 (en) | Recording medium storing image processing program and image processing apparatus | |
| EP0780003B1 (en) | Method and apparatus for determining the location of a reflective object within a video field | |
| JP3601951B2 (ja) | 移動物体の表示方法、それを用いた表示システムおよびそのためのプログラム記録媒体 | |
| JP4192719B2 (ja) | 画像処理装置および方法、並びにプログラム | |
| CN112989958A (zh) | 基于YOLOv4与显著性检测的安全帽佩戴识别方法 | |
| JP2001043383A (ja) | 画像監視システム | |
| JPH0514891A (ja) | 画像監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20031219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040303 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040914 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040921 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081001 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091001 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101001 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111001 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121001 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121001 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121001 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131001 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |