JPH10150657A - 移動物体の表示方法、それを用いた表示システムおよびそのためのプログラム記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】映像中の移動物体の確認のための、オペレータ
への負担を軽減する。 【解決手段】撮像装置から供給される動画像をディスプ
レイ１の一つの領域５０に表示するとともに、この撮像
装置の視野に進入した移動物体の移動経路をこの動画像
に基づいて抽出する。抽出された移動経路の画像を表す
第１の画像データを生成し、上記移動物体の画像を表す
第２の画像データを上記動画像信号に基づいて生成し、
上記移動経路の画像と上記移動物体の画像との重畳から
なる重畳画像をその移動物体の画像の抽出時刻とともに
ディスプレイ１の他の領域７０に表示される。上記視野
内に上記移動物体より後に上記視野内に進入した他の移
動物体に対して上記処理を繰り返し、異なる移動物体に
対する重畳画像が上記他の領域７０に並べて表示され
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、監視カメラ等によ
り撮影した画像から、その視野内を移動する物体を抽出
し、表示装置に表示する移動物体の表示方法、それを用
いた表示システムおよびそのためのプログラム記録媒体
に関する。

【０００２】

【従来の技術】現在、道路や踏切やダム、コンビニエン
スストア等の様々な場所でカメラによる映像の監視が行
われている。これらは、特定場所に現れる物体を監視す
ることにより、事故や犯罪を防ぐことを目的としてい
る。例えば、コンビニエンスストア等のような場所で
は、挙動不審な人物を監視したり、ダムのような絶対的
に侵入を禁止している地域では、人間の侵入がないかを
監視している。しかし、現在このような監視は、リアル
タイムで人間が映像を見て監視したり、ビデオテープの
ような記憶媒体に録画し、後になって確認を行うことが
一般的であり、わづらわしい作業となっていた。このよ
うな事情から、コンピュータを用いた映像監視の自動化
が求められており、様々な方法が提案されている。

【０００３】中井等の論文、電子情報通信学会論文誌Ｄ
−ＩＩ、Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ，Ｎｏ．７，ｐｐ．
１２０９−１２１８，１９９４（以下、第１の参考文献
と呼ぶ）には、変化検出、部分追跡、運動解釈という３
段階の連続処理モジュールを用いて、歩行者等の運動物
体を映像中から自動検出する方法が提案されている。こ
こでは、一般的な店舗内の通行客の移動経路を抽出する
実験の結果も報告されている。また、仲西等の論文、電
子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ７７−Ｄ−
ＩＩ，Ｎｏ．９，ｐｐ．１７１６−１７２６，１９９４
（以下、第２の参考文献と呼ぶ）には、時空間画像処理
を用いて屋外を走行する自動車等の車両を自動抽出する
方法が提案されている。本出願人による特許出願に係る
特開平０８−２２１５７７号明細書には、屋外で移動物
体を検出するための一つの方法として画像中にスリット
を設定し，予め記憶した背景画像と現在画像との相関を
とって，変化を検出し、それにより移動物体検出方法が
提案されている。屋外で移動物体を監視できるシステ
ム、たとえば走行する自動車の車番を自動認識するシス
テムも販売されている。

【０００４】

【発明が解決しようとする課題】従来の監視システムで
は、監視カメラにより得られた映像を、その映像の取得
時に同時にモニターに表示するか、もしくは、監視カメ
ラにより得られた画像を蓄積して、後から確認するた
め、映像の確認は映像の取得時間に等しいか、早送り再
生のような再生時間の短縮しか行えておらず、監視カメ
ラのオペレータの作業の効率化は図られていない。な
お、中井等による実験は、店舗内での複数の通行客の移
動経路を抽出しているが、抽出された経路とその経路を
通過した通行客の画像とをどのように対応させるかは説
明されていない。さらに、この抽出には、店舗内の映像
をＶＴＲに記録し、その記録された映像を使用してい
る。このために、この抽出を実時間で行うことができな
い。

【０００５】また、仲西等による手法は、監視対象物体
が等速に直線状に走行を行う自動車等に限定される。特
開平０８−２２１５７７号明細書に記載の技術では、移
動物体の検出に動き特徴だけしか使ってないため，木々
の揺れも動き物体の一部と誤認してしまうという問題が
ある。

【０００６】すでに販売されている上記システムでは、
屋外で確実な監視を行うためには、木々が映っている領
域を監視対象領域から除外する操作を行う必要があり、
全ての自然環境で自動的に移動物体を監視を行うことが
できない。また、そのシステムでは、監視位置が変わる
たびに動作パラメータの設定を変更するという煩雑な作
業が生じていた。このように、並木や雑木を映像中に含
む自然環境において、移動物体を正しく検出するために
は、事前に動作パラメータの設定を調整する必要があっ
た。

【０００７】本発明の目的は、映像の中の移動物体の確
認のためにオペレータが費やす負担を軽減することがで
きる移動物体の表示方法およびその方法を使用する表示
システムを提供することを目的とする。

【０００８】本発明の他の目的は、様々な自然環境にお
いても上記オペレータへの負担を軽減できる移動物体の
表示方法およびその方法を使用するシステムを提供する
ことを目的とする。

【０００９】

【課題を解決するための手段】上記目的を達成する為
に、本発明に係る移動物体の表示方法および表示システ
ムは、以下のステップを実行する。

【００１０】撮像装置により撮像される所定の視野に進
入した移動物体の上記視野内での移動経路を該撮像装置
から供給される動画像信号に基づいて抽出し、その移動
物体に対して抽出された上記移動経路の画像を表す第１
の画像データを生成し、その移動物体の画像を表す第２
の画像データを上記動画像信号に基づいて生成し、その
移動物体に対して抽出された移動経路の画像とその移動
物体の画像との重畳からなる重畳画像を上記第１と第２
の画像データに基づいて表示装置に表示する。

【００１１】本発明のより望ましい態様では、上記抽出
するステップから表示するステップが、上記移動物体よ
り後に上記視野内に進入した少なくとも一つの他の移動
物体に対して繰り返され、上記移動物体に対する上記重
畳画像と上記他の移動物体に対する重畳画像は上記表示
装置に並べて表示される。

【００１２】本発明の他の望ましい態様では、上記移動
経路の画像は、移動物体の上記画像上に半透明色で重畳
して表示される。

【００１３】本発明の他の望ましい態様では、上記移動
物体の画像は、上記移動物体が所定の領域に位置すると
きに上記撮像装置により供給される画像である。

【００１４】本発明の他の望ましい態様では、上記移動
物体の画像は、上記移動物体が所定の領域に位置すると
きに上記撮像装置により供給される画像の縮小画像であ
る。

【００１５】

【発明の実施の形態】以下、本発明に係る移動物体表示
システムを図面に示した実施の形態を参照してさらに詳
細に説明する。

【００１６】（１）装置の概要 図１において、１はＣＲＴ等のディスプレイであり、そ
のディスプレイは、コンピュータ３の出力画面を表示す
る。コンピュータ３に対する命令は、マウス等のポイン
ティングデバイス７、またはキーボード８を使って行う
ことができる。カメラ９は、撮像装置であり、カメラ９
から出力される映像信号は、逐次、映像入力装置１１に
よってコンピュータの扱えるデジタル画像データ１２に
変換され、コンピュータ３に送られる。コンピュータ内
部ではデジタル画像データ１２は、インターフェース６
を介してメモリ５に格納され、そのメモリ５に格納され
たプログラムに従ってＣＰＵ４で処理される。また、こ
の処理に必要な各種情報を外部記憶装置１３に蓄積する
ことができる。また、その処理で得られた各種データあ
るいは画像データもこの外部記憶装置１３に記憶され
る。更に、カメラ９はコンピュータからの制御信号１０
により、操作することも可能である。メモリ５には、以
下に説明する処理によって作成される各種のデータが格
納され、必要に応じて参照される。

【００１７】図２はディスプレイ１に表示する画面例で
ある。領域５０は入力したデジタル画像データ１２の表
示領域であり、本システムの動作中はカメラ９から供給
される動画像が表示される。領域６０は本システムを制
御するボタンと動作状況を表示する領域である。領域６
０内の開始ボタン６１は経路付き移動物体画像表示処理
の実行開始を指示するボタンであり、このボタンを押す
操作は、オペレータがポインティングデバイス７を介し
てカーソル８０をボタン上に位置合わせ、この状態でク
リックすることで行なう。停止ボタン６２は処理の実行
停止を指示するボタンである。参照番号６３は実行開始
から現在までに抽出した経路付き移動物体画像の個数を
示し、６４は上記表示処理の実行開始時間を示す。領域
７０は経路付き移動物体画像の表示領域である。以下で
は、カメラ９は、道路あるいは建物の外側に設けられた
階段等の通路を有する屋外に配置されているものとす
る。移動物体として人物を想定している。複数の移動物
体がカメラの視野内には異なる時間に進入するが、一時
には一つの移動物体のみが視野内に存在すると仮定す
る。すなわち、ある移動物体がこの視野進入したときに
は、その移動物体がこの視野から退出した後に他の移動
物体がこの視野に入るものと仮定する。

【００１８】本システムでは、移動物体が監視対象視野
内に進入すると、その移動経路が自動的に抽出される。
この抽出はその移動物体が視野外に退出するまで継続さ
れる。その結果、移動経路が時々刻々更新される。この
抽出された移動経路が、後に生成される、その移動物体
を表す画像に重畳して半透明色で表示されるように、そ
の移動経路を表す画像データが生成される。その移動物
体があらかじめ定められた所定の領域、たとえば画面５
０の中央の縦方向に細長い領域に対応する空間を通る
と、そのときのデジタル画像データ１２が、適切な大き
さたとえば１／２に縮小されて移動物体画像として記憶
され、その通過時刻がその移動物体の画像を抽出した時
刻として記憶される。その後、その移動物体が上記視野
から退出すると、先に抽出された移動物体画像にその移
動物体の経路との重畳からなる経路付き移動物体画像が
生成され、上記画像抽出時間と合わせて上記領域７０に
表示される。

【００１９】その後、後続の移動物体が同じ視野に入っ
てきたときには、この後続の移動物体に対しても同じ処
理が自動的に繰り返される。この後続の移動物体に対し
て抽出された経路付き移動物体画像は、先に表示された
経路付き移動物体画像に並べて表示される。こうして、
上記視野に順次進入する複数の移動物体に対する複数の
経路付き移動物体画像が自動的に一覧として表示される
ことになる。したがって、オペレータは極めて平易に移
動物体を監視することができる。なお、抽出した経路付
き移動物体画像が領域７０に表示可能な画像の数を越え
た場合には、自動的に領域７０が上にスクロールする。
したがって、常時、最新の複数の経路付き移動物体画像
が最上段に表示されることになる。尚、全ての経路付き
移動物体画像を確認するには、オペレータがスクロール
ボタン７１、７３とスクロールバー７２を操作すればよ
い。

【００２０】（２）処理の概要 図３は本システムで実行される経路付き移動物体画像表
示プログラムの概略フローチャートである。図におい
て、処理９０はプログラムが使用する変数の初期設定を
行う。フレーム画像入力処理１００は、映像入力装置１
１によって供給される、１フレームのデジタル画像デー
タ１２をメモリ５へ取り込む。この処理１００およびそ
の後の処理２００から７００は、各フレーム毎に繰り返
される。

【００２１】動き特徴抽出処理２００は、各区分領域に
移動物体の少なくとも一部が存在するか否かをその区分
領域の動き特徴として検出し、移動物体の少なくとも一
部が存在する複数の区分領域をそれぞれ動き特徴領域と
して抽出する。具体的には、この処理２００は、先行す
るフレーム内の位置と異なった位置に存在する複数の変
動エッジを抽出する。それぞれの変動エッジを構成する
複数の変動エッジ画素を、画面を分割して得られる複数
の区分領域の各々ごとに計数し、各区分領域毎に、先行
するフレームおよび現在のフレームのいずれにおいても
一定数を超えた変動エッジ画素を有するか否かを判定す
る。いずれかの区分領域がその判定条件を満たすとき、
その区分領域を動き特徴領域として抽出する。各動き特
徴領域は、その領域内に移動物体の少なくとも一部が存
在すると判定された区分領域である。

【００２２】色特徴抽出処理３００は、各区分領域ごと
に色特徴を抽出する処理であり、具体的には、各区分領
域毎にその区分領域内の画素の色のヒストグラムをもと
め、その区分領域内で最も頻度の高い色をその区分領域
の代表色として抽出する。本実施の形態ではこの区分領
域の代表色をその区分領域の色特徴として使用する。

【００２３】画像変動領域抽出処理４００は、処理２０
０で抽出した複数の動き特徴領域と、それぞれの動き特
徴領域に対して処理３００で抽出された色特徴とから、
移動物体が存在すると思われる複数の区分領域を抽出す
る。移動物体が存在すると思われるこれらの区分領域を
画像変動領域と呼ぶ。

【００２４】経路抽出処理５００は、処理４００で抽出
された複数の画像変動領域の中から、更に、それらの中
心となる一つの区分領域をその移動物体の移動物体の通
過点として抽出し、その区分領域を、半透明色で塗りつ
ぶすための画像データを生成する。この処理５００が異
なるフレームに渡り繰り返されることにより、同じ移動
物体の他の複数の通過点が抽出され、後に説明するその
移動物体を表す画像に重畳して半透明色でもってそれぞ
れの通過点が属する区分領域を表示するための画像デー
タが生成される。これらの通過点に対して生成された画
像データが、移動経路を表示するための経路画像データ
を構成する。

【００２５】移動物体画像抽出処理６００は、移動物体
の少なくとも一部が、視野内の所定の領域を通過したと
き、すなわち、画面５０内の対応する予め定められた領
域を通過したとき、移動物体画像を抽出する。具体的に
は、視野内の上記所定の領域は、カメラ９の視野の中央
部の縦長の空間領域であり、画面５０内の上記対応する
予め定められた領域は、画面５０の中央に位置する縦長
のスリット領域である。移動物体が上記空間領域を通過
した時点の検出は、上記処理４００で抽出した複数の画
像変動領域の少なくとも一部が、上記スリット領域に位
置した時点の検出により行う。この処理６００では、こ
の検出された時点にカメラ９から与えられるフレーム画
像を例えば１／２に縮小した画像が生成され、移動物体
画像として記憶される。したがって、このようにして生
成された移動物体画像は、移動経路に依らないで、予め
定められた画面内の領域に移動物体を含んでいるので、
見やすい。

【００２６】経路付き移動物体画像表示処理７００は、
移動物体がカメラ９の視野外に出たとき、すでに生成さ
れた移動物体画像と経路画像を合成し、経路付き移動物
体画像として、さらに付属データたとえば移動物体画像
抽出時刻と共にディスプレイ１の領域７０に表示する。
その後に上記視野内に進入した移動物体に対する他の経
路付き移動物体画像をディスプレイ１の領域７０に表示
するときには、すでに表示された経路付き移動物体画像
に並べて当該他の経路付き移動物体画像を表示する。

【００２７】上記処理４００での画像変動領域の抽出で
は、各区分領域に対して判定された動き特徴と色特徴を
利用して、風に揺らぐ木の葉のような動く物体を含む区
分領域を画像変動領域として抽出しないようにしてい
る。また、この画像変動領域の抽出では、各区分領域に
対して判定された動き特徴と色特徴の他に、同じ移動物
体についてすでに判定された経路の通過点も考慮して、
人間が立ち止って動いていると考えられる区分領域は、
画像変動領域として抽出している。

【００２８】更に、処理５００では、ある区分領域が複
数フレームに渡り移動物体の通過点と判定された場合に
は、その区分領域の半透明色を濃くするように、その区
分領域に対する、経路画像データを生成する。この為、
移動物体の同じ位置での滞在の有無を含めた、移動物体
の動きの時間的な要素を経路画像から知ることができ
る。

【００２９】また、経路付き移動物体画像は、縮小画像
であり、各経路付き移動物体画像と抽出時間の組が、静
止画として一覧表示されるため、移動物体画像の検索が
容易になる。

【００３０】（３）データ 図４はメモリ５に記憶されるプログラムとデータの一覧
である。図において、プログラム５−１は図３にそのフ
ローチャートを示した経路付き移動物体画像表示プログ
ラムである。５−２から５−２３はプログラム５−１が
生成あるいは参照するデータであって、その中で、５−
２はプログラム５−１が生成するデータ、５−３と５−
４は予め設定しておくべきパラメータ、５−５から５−
２３はプログラム５−１が一フレームの画像の処理に利
用するワーク用のデータである。

【００３１】経路付き移動物体画像構造体５−２は抽出
した経路付き移動物体画像と時刻等の付属データを格納
する構造体である。図５にその詳細を示す。第１の闘値
５−３は画像中の強エッジ画素を抽出する際に使用する
閾値であり、第２の閾値５−４は動き特徴領域を検出す
るための闘値である。

【００３２】まず、フレーム画像入力処理１００により
作成するデータを説明する。フレーム画像データ５−５
は映像入力装置１１によって与えられる最新フレームの
デジタル画像データであり、赤画像データ５−５−１、
緑画像データ５−５−２、青画像データ５−５−３とい
う三つの色成分に対応する３つの配列データからなる。
各色データは、各画素の一つの色成分を表す８ビットの
データからなり、各色成分は０ないし２５５の値を有す
る。本実施の形態では、一つのフレーム画像は、水平方
向（Ｘ方向）に１６０個の画素を有し、垂直方向（Ｙ方
向）に１２０個の画素を有すると仮定している。さら
に、一つのフレームの画像は、水平方向に、例えば１６
個配置され、垂直方向に例えば１２個配置された複数の
区分領域に区分されていると仮定する。各区分領域は１
０×１０個の画素からなる。具体的には図の赤画像デー
タ［１６０］［１２０］は、この配列データが一つのフ
レーム内の画素の数１６０×１２０に等しい数の要素か
らなることを示す。緑画像データ５−５−２，青画像デ
ータ５−５−３についても同様である。以下では、各画
素の水平方向（Ｘ方向）座標Ｘおよび垂直方向（Ｙ方
向）座標Ｙを用いて画素（Ｘ、Ｙ）と呼ぶことがある。
また、後に説明する参照番号５−１２の変動エッジデー
タ［１６］［１２］は、この配列データが区分領域の数
１６×１２に等しい数の要素からなることを示す。以下
では各区分領域をＸ、Ｙ方向の番号Ｘ、Ｙでもって区分
領域（Ｘ、Ｙ）と呼ぶことがある。

【００３３】次に、動き特徴抽出処理２００で作成する
各種データを説明する。横エッジデータ５−６は、各画
素が、近傍の画素に対して画像の横方向の色差が大きい
横エッジを構成する画素（横エッジ画素）であるか否か
を表す配列データ、縦エッジデータ５−７は、各画素
が、近傍の画素に対して画像の縦方向の色差が大きい縦
エッジを構成する画素（縦エッジ画素）であるか否かを
表す配列データである。前フレーム横エッジデータ５−
８、前フレーム縦エッジデータ５−９は、それぞれ現在
処理中のフレームの１フレーム前の横エッジデータ５−
６、縦エッジデータ５−７を格納した配列データであ
る。

【００３４】変動横エッジデータ５−１０は、各画素
が、現在のフレームと一つ前のフレーム内の異なった位
置に存在した変動横エッジを構成する画素（変動横エッ
ジ画素）であるか否かを表す配列データである。同様に
変動縦エッジデータ５−１１は、各画素が、現在のフレ
ームと一つ前のフレーム内の異なった位置に存在した変
動縦エッジを構成する画素（変動縦エッジ画素）である
か否かを表す配列データである。

【００３５】変動エッジデータ５−１２は、各区分領域
別に、その区分領域に含まれた変動横エッジ画素または
変動縦エッジ画素の総数を格納した配列データである。
前フレーム変動エッジデータ５−１３は、現在処理中の
フレームの１フレーム前の変動エッジデータ５−１２を
格納した配列データである。動き特徴領域データ５−１
４は、各区分領域に対応して、その区分領域が時間的に
位置が変化するエッジを構成する画素（変動エッジ画
素）を含んでいるか否かを表す配列データであり、具体
的には、この配列データは、現在のフレームの変動エッ
ジ画素の総数と、一つ前のフレームの変動エッジ画素の
総数が共に第２の閾値５−４を超えたか否かを表す配列
データである。本実施の形態では、各区分領域に関する
この判定結果をその区分領域の動き特性として使用す
る。ある区分領域がこの判定条件を満たすとき、その区
分領域を動き特徴領域と呼ぶことがある。

【００３６】次に、色特徴抽出処理３００、画像変動領
域抽出処理４００、経路抽出処理５００、移動物体画像
抽出処理６００、経路付き移動物体画像表示処理７００
で作成するデータを説明する。ヒストグラムデータ５−
１５は、各区分領域に対応して、その区分領域内の画素
の色の度数分布を表す３次元の配列データである。ヒス
トグラムデータ５−１５を作成するには、各画素の色を
６４階調に変換し、各区分領域毎に、各階調に対応し
て、その階調の色を有するに画素を計数した値を算出す
る。領域代表色データ５−１６は、各区分領域で最も多
く表示された色階調すなわち代表色の色番号を格納した
配列データである。本実施の形態では各区分領域の代表
色をその区分領域の色特性の一例として使用する。前フ
レーム領域代表色データ５−１７は現在処理中のフレー
ムの１フレーム前の領域代表色データ５−１６を格納し
た配列データである。前々フレーム領域代表色データ５
−１７は現在処理中のフレームの２フレーム前の領域代
表色データ５−１６を格納した配列データである。

【００３７】画像変動領域データ５−１９は、各区分領
域毎に、その区分領域が移動物体の画像のエッジを構成
する画素（変動画素）を含んでいるか否かを示す配列で
あり、具体的には、この判定は、各区分領域に対して判
定された動き特徴と色特徴に基づいて行われる。前フレ
ーム画像変動領域データ５−２０は現在処理中のフレー
ムの１フレーム前の画像変動領域データ５−１９を格納
した配列データである。

【００３８】経路領域データ５−２１は、各区分領域
が、移動物体の通過点であるか否かを示す配列データで
ある。いずれかの区分領域が移動物体の通過点であり、
その区分領域にその移動物体が存在したと判断された回
数が多いほど、すなわち、その区分領域におけるその移
動物体の滞在時間が長いほど、その経路領域データ５−
２１内の、その区分領域に対する要素には高い数値が格
納される。経路画像データ５−２２は、移動物体が通過
した経路を構成する区分領域を特定の半透明色で塗りつ
ぶした画像を表すデータであり、経路赤画像データ５−
２２−１、経路緑画像データ５−２２−２、経路青画像
データ５−２２−３という３つの色に対する画像データ
と経路透明度データ５−２２−４とからなる。経路透明
度データ５−２２−４は、経路画像を表示するのに使用
する半透明色の濃さを指定するデータである。移動物体
画像データ５−２３は移動物体の画像を表すデータであ
り、赤画像データ５−２３−１、緑画像データ５−２３
−２、青画像データ５−２３−３からなる。

【００３９】図５は、経路付き移動物体画像のデータと
その付属情報を格納する経路付き移動物体画像構造体を
示している。経路付き移動物体画像識別番号５−２−１
は経路付き移動物体画像の番号であり、経路付き移動物
体画像データ５−２−２は経路付き移動物体画像を格納
した配列データである。経路付き移動物体画像表示位置
Ｘ（５−２−３）及び経路付き移動物体画像表示位置Ｙ
（５−２−４）は経路付き移動物体画像をディスプレイ
１の領域７０（図２）に表示する際のＸ、Ｙ座標位置で
ある。移動物体画像抽出時間５−２−５は移動物体がカ
メラ１の視野内の所定の領域あるいはそれに対応する画
面５０内の所定の領域に進入した時間を記憶する。

【００４０】（４）処理の詳細 以下、図４のデータを参照しながら、図３に示した経路
付き移動物体画像表示プログラムの処理を図６から図２
４に示すフローチャートを用いて詳細に説明する。な
お、これらのフローチャートは、Ｃ言語を用いて記述さ
れている。

【００４１】（４ａ）動き特徴抽出処理２００ 処理２０１から処理２１２（図６）までは、縦および横
の強エッジの画素を抽出する処理である。ここで縦のエ
ッジおよび横のエッジは、それぞれ画像を縦方向（垂直
方向）あるいは横方向（水平方向）にスキャンしたとき
に検出可能なエッジである。強エッジとは、画像内のよ
り鮮明なエッジであり、本実施の形態では、人物の顔あ
るいは手足の輪郭あるいは衣服の輪郭などのごとく人物
の外郭を表すエッジであり、これらは人物の移動を検出
するのに適している。一方、人物の顔の中の鼻の輪郭等
を表すエッジは人物の移動を検出するのに適さない。こ
れらのエッジは先に述べたエッジよりは一般に不鮮明で
ある。したがって、本実施の形態は主として強エッジを
検出するようにプログラムされている。

【００４２】処理２０１では、処理すべき画素のＸ座
標、Ｙ座標を表す変数Ｘ、Ｙを１に初期化する。処理２
０２は映像入力装置１１から供給された１フレームの画
像データに基づいて、赤画像データ５−７−１、緑画像
データ５−７−２または青画像データ５−７−３のそれ
ぞれ内の、画素（Ｘ、Ｙ）の横方向に隣接する一対の画
素（Ｘ＋１，Ｙ）と画素（Ｘ−１、Ｙ）に対応する一対
の要素の間の色差が第１の闘値Ａより大きいか否かを調
べる。もし、これらの一対の画素の間のすべての色成分
の色差が第１の闘値Ａより大きければ、この画素（Ｘ、
Ｙ）は、画像内の横方向エッジを構成する画素と考える
ことができる。この場合には、プログラムは、処理２０
３へ移り、そうでなければ処理２０４へ移る。

【００４３】処理２０３では横エッジデータ５−６内の
画素（Ｘ、Ｙ）に対応する要素に１を書き込み、処理２
０４ではその要素に０を書き込む。処理２０５から処理
２０７では、同様に、縦エッジデータ５−７を作成す
る。処理２０８から処理２１２は上述の処理を全ての画
素に対して行うためのアドレス更新処理である。すべて
の処理が完了すると、プログラムは、処理２１３に移
る。本実施の形態では、処理２０２，２０５でエッジの
検出に使用する第１の閾値Ａとして比較的大きな値、例
えば５５を使用する。これにより主として強横エッジあ
るいは強縦エッジが検出される。本実施の形態で処理さ
れるエッジは全て強エッジであるので、以下では強エッ
ジのことを単にエッジと呼ぶ。

【００４４】処理２１３から処理２２４（図７）まで
は、複数のフレームの間で異なった位置に表れた横エッ
ジあるいは縦エッジを抽出する処理である。これらのエ
ッジを変動横エッジあるいは変動縦エッジと呼ぶことが
ある。また、これらのエッジを併せて変動エッジと呼ぶ
ことがある。また、変動横エッジ、変動縦エッジあるい
は変動エッジを構成する画素を変動横エッジ画素、変動
縦エッジ画素あるいは変動エッジ画素と呼ぶことがあ
る。

【００４５】処理２１３では、処理すべき画素のＸ座
標、Ｙ座標を表す変数Ｘ、Ｙを０に初期化する。処理２
１４は、横エッジデータ内の画素（Ｘ、Ｙ）に対する要
素の値と前フレーム横エッジデータ内の同じ画素（Ｘ、
Ｙ）に対する要素の値の一方が１であり、他方が０であ
るかを調べ、画素（Ｘ、Ｙ）がこの条件を満たしていれ
ば、この画素は、前のフレームでは横エッジ画素であり
現在のフレームではそうでないかあるいはその逆であ
る。したがって、この画素は、前のフレームと現在のフ
レームでの間で位置が変化した変動横エッジを表す変動
横エッジ画素として扱う。この場合には、プログラム
は、処理２１５へ、そうでなければ処理２１６へ移る。
処理２１５では変動横エッジデータ５−１０内の画素
（Ｘ、Ｙ）に対応する要素に１を書き込み、処理２１６
では同じ要素に０を書き込む。同様に、処理２１７から
２１９により変動縦エッジデータ５−１１を作成する。
処理２２０から処理２２４は上述の処理を全ての画素に
対して行うためのアドレス更新処理である。すべての処
理が完了すると、プログラムは処理２２５に移る。

【００４６】上記処理２１３から２２４は、すくなくと
も過去２フレーム以上において異なった場所に存在した
エッジを抽出している。カメラ９は静止させているた
め、背景のエッジは不動である。従って以上の変動横エ
ッジあるいは変動縦エッジの検出により背景で生じたエ
ッジを取り除くことができ、監視区域内に侵入した移動
物体の動きに由来するエッジのみ抽出できる。

【００４７】処理２２５から処理２３８（図８）まで
は、区分領域毎にそこに含まれる変動エッジ画素を計数
する処理である。処理２２５では処理すべき区分領域に
付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂおよび
その区分領域内の処理すべき画素に付されたＸ、Ｙ方向
の番号を表す変数ｉ、ｊを０に初期化する。処理２２６
は、変動横エッジデータ５−１０内の、区分領域（Ｘ
ｂ、Ｙｂ）内の（ｉ、ｊ）番目の画素に対応する要素の
値または変動縦エッジデータ５−１１内の、同じ画素に
対応する要素の値の少なくとも一方が１であるか否かを
調べる。本実施の形態では、もし、この画素がこの条件
を満たすときには、その画素は変動エッジ画素として扱
う。この場合には、プログラムは、処理２２７へ移り、
そうでなければ処理２２８へ移る。処理２２７では変動
エッジデータ５−１２内の、上記区分領域（Ｘｂ、Ｙ
ｂ）に対応する要素の値に１を加える。処理２２８から
処理２３８は上述の処理を全ての画素に対して行なうた
めのアドレス更新処理である。すべての処理が完了する
とプログラムは処理２３９へ移る。

【００４８】処理２３９から処理２４７（図９）まで
は、各区分領域が動きのある画像を含んでいるか否かを
検出する処理である。処理２３９では処理すべき区分領
域に付されたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを
０に初期化する。処理２４０は、変動エッジデータ５−
１２内の、区分領域（Ｘｂ、Ｙｂ）に対応する要素の値
が第２の闘値Ｂ以上であり、かつ前フレーム変動エッジ
データ５−１３内の、その区分領域に対応する要素の値
が第２の闘値Ｂ以上であるか否かを調べる。本実施の形
態では、その区分領域がこれらの２つの条件を満たせ
ば、その区分領域は複数のフレームにおいて継続して変
動エッジ画素を所定数以上含んでいるので、その区分領
域は動きのある画像を含んでいる領域として扱う。この
ようにその区分領域に対応する、複数のフレームにおけ
る変動エッジデータの要素の値をチェックするのは、画
像処理により発生するノイズ等の影響を除去するためで
ある。その区分領域がこれらの条件を満たすか否かをそ
の区分領域の動き特徴と呼ぶ。さらに、その区分領域が
これらの条件を満たす場合には、その区分領域は動き特
徴を有するとも呼び、その区分領域を動き特徴領域と呼
ぶことがある。その区分領域がこれらの２つの条件を満
す場合には、プログラムは処理２４１へ移り、そうでな
ければ処理２４２へ移る。処理２４１ではその区分領域
に対応する、動き特徴領域データ５−１４の要素に１を
書き込み、処理２４２では同じ要素に０を書き込む。処
理２４３から処理２４７は上述の処理を全領域に対して
行うためのアドレス更新処理である。すべての処理が完
了するとプログラムは処理２４８に移る。

【００４９】処理２４８から処理２５４（図１０）まで
は、前フレーム横エッジデータ５−８および前フレーム
縦エッジデータ５−９の更新処理である。処理２４８で
は、処理すべき区分領域に付されたＸ、Ｙ方向の番号を
表す変数Ｘ、Ｙを０に初期化する。処理２４９は前フレ
ーム横エッジデータ５−８内の区分領域（Ｘ、Ｙ）に対
応する要素に、横エッジデータ５−６内の、その区分領
域（Ｘ、Ｙ）に対応する要素を代入し、さらに、前フレ
ーム縦エッジデータ５−９内の、区分領域（Ｘ、Ｙ）に
対応する要素に、縦エッジデータ５−７内の、区分領域
（Ｘ、Ｙ）に対応する要素を代入する。処理２５０から
処理２５４は上述の処理を全ての画素に対して行うため
のアドレス更新処理である。

【００５０】処理２５５から処理２６２（図１１）まで
は、前フレーム変動エッジデータ５−１３の更新処理及
び変動エッジデータ５−１２のゼロクリアを行う処理で
ある。処理２５５では、処理すべき区分領域に付された
Ｘ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを０に初期化す
る。処理２５６は前フレーム変動エッジデータ５−１３
内の、区分領域（Ｘｂ、Ｙｂ）に対応する要素に、変動
エッジデータ５−１２内の、その区分領域（Ｘｂ、Ｙ
ｂ）に対応する要素の値を代入する。処理２５７は、変
動エッジデータ５−１２内の、区分領域（Ｘｂ、Ｙｂ）
に対応する要素に０を代入する。処理２５８から処理２
６２は上述の処理を全ての領域に対して行うためのアド
レス更新処理である。

【００５１】（４ｂ）色特徴抽出処理３００ 処理３０１から処理３１４（図１２）までは、後に各区
分領域ごとに代表色を求める処理の前処理として、各区
分領域毎に、その区分領域に属する１０×１０個の画素
の色のヒストグラムを作成する。処理３０１では処理す
べき区分領域に付されたＸ、Ｙ方向の番号を表す変数Ｘ
ｂ、Ｙｂ、その区分領域内の処理すべき画素に付された
Ｘ、Ｙ方向の番号を表す変数ｉ、ｊ、色のヒストグラム
の色番号を表す変数ｃｏｌを０に初期化する。処理３０
２は、区分領域（Ｘ、Ｙ）内の（ｉ，ｊ）番目の画素、
すなわち、画素（Ｘ×１０＋ｉ、Ｙ×１０＋ｊ）の色を
６４階調の色の一つに変換し、その色の番号を変数ｃｏ
ｌに書き込む。

【００５２】すなわち、各画素の赤画像データ５−５−
１、緑画像データ５−５−２、青画像データ５−５−３
は８ビットからなり、各色成分は２５６階調で表されて
いる。処理３０２では、赤画像データ５−５−１、緑画
像データ５−５−２、青画像データ５−５−３内の、同
じ画素に対する３つの要素をそれぞれ上位２ビットずつ
切り出し、これらの切り出された合計６ビットのデータ
をその画素の色番号として使用する。具体的には、処理
３０２において、０ｘｃ０は２進データ１１０００００
０に対する１６進表示である。その第１式は、赤画像デ
ータ５−５−１内の、画素（Ｘ×１０＋ｉ、Ｙ×１０＋
ｊ）に対する要素と２進データ１１００００００との論
理積により得られるデータを６ビットだけ右シフトする
ことを表す。同様に、第２式は、緑画像データ５−５−
２内の、画素（Ｘ×１０＋ｉ、Ｙ×１０＋ｊ）に対する
要素とデータ１１００００００との論理積により得られ
るデータを４ビットだけ右シフトすることを表す。第３
式は、青画像データ５−５−３内の、の画素（Ｘ×１０
＋ｉ、Ｙ×１０＋ｊ）に対する要素とデータ１１０００
０００との論理積により得られるデータを２ビットだけ
右シフトすることを表す。処理３０２はこのようにして
得られた３組の２ビットデータの論理和の結果得られる
６ビットの色番号を変数ｃｏｌに代入することを示す。

【００５３】ヒストグラムデータ５−１５は、各区分領
域（Ｘ、Ｙ）に対して６４個の要素を有する３次元の配
列である。処理３０３は色番号のヒストグラムデータ５
−１５内の、区分領域（Ｘ、Ｙ）と処理３０２で算出さ
れた変数ｃｏｌの値との組に対応する要素に１を加え
る。処理３０４から処理３１４は上述の処理を全ての画
素に対して行なうためのアドレス更新処理である。すべ
ての処理が完了すると、プログラムは処理３１５へ移
る。

【００５４】処理３１５から処理３２６（図１３）まで
は、各区分領域毎の代表色を抽出する処理を行なう。処
理３１５は処理すべき区分領域に付されたＸ、Ｙ方向の
番号を表す変数Ｘｂ、Ｙｂを０に初期化する。処理３１
６は処理中の色番号を表す変数ｃｏｌと６４階調の色番
号の内で処理中の区分領域における最大の出現頻度を有
する色番号を表す変数ｍａｘ＿ｃｏｌを０に初期化す
る。処理３１７は区分領域（Ｘｂ、Ｙｂ）で一番使用頻
度の高い色番号を調べるため、ヒストグラムデータ５−
１５内の要素（Ｘｂ、Ｙｂ、ｃｏｌ）の値が変数ｍａｘ
＿ｃｏｌより大きいか否かを調べ、前者が後者より大き
ければプログラムは処理３１８へ移り、前者が後者より
小さければ処理３２０に移る。処理３１８では変数ｍａ
ｘ＿ｃｏｌをヒストグラムデータ５−１５内のその要素
（Ｘｂ、Ｙｂ、ｃｏｌ）の値で置き換えて処理３１９に
移る。処理３１９は色番号を示す変数ｃｏｌを領域代表
色データ５−１６内の要素（Ｘｂ、Ｙｂ）に書き込む。
処理３２０から処理３２１は上記の処理を６４種類の階
調全てに対して行うためのアドレス更新処理である。処
理３２２から処理３２６は以上の処理を全ての領域に対
して行なうためアドレス更新処理である。こうして、全
区分領域に対する代表色の色番号を保持する領域代表色
データ５−１６が生成される。後に図１６を用いて説明
するように、画像変動領域抽出処理４００が終了する
と、この領域代表色データ５−１６は、前フレーム領域
代表色データ５−１７に移される。そのときまの前フレ
ーム領域代表色データ５−１７は、前々フレーム領域代
表色データ５−１８に移される。

【００５５】処理３２７から処理３３６（図１４）まで
は、ヒストグラムデータ５−１５のゼロクリア処理を行
なう。処理３２７は処理すべき区分領域に付されたＸ、
Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを０に初期化する。
処理３２８は処理すべき色番号を表す変数ｃｏｌを０に
初期化する。処理３２９はヒストグラムデータ５−１５
をゼロクリアするためにそこに０を書き込み、プログラ
ムは処理３３０に移る。処理３３０から処理３３１は上
記の処理を、ヒストグラムデータ５−１５内の区分領域
（Ｘ、Ｙ）に対する色番号の全てに対して行うためのア
ドレス更新処理である。処理３３２から処理３３６は以
上の処理を全ての区分領域に対して行なうためアドレス
更新処理である。

【００５６】（４ｃ）画像変動領域抽出処理４００ 処理４０１から処理４１２（図１５）までは、各区分領
域対して検出された動き特徴と色特徴とから、移動物体
の画像を含むと考えられる領域（画像変動領域）を抽出
する処理である。既に説明されたように、各区分領域に
ついて検出された動き特徴は、その区分領域が変動エッ
ジ画素を所定数以上含んでいるか否かを示す。しかし、
動き特徴領域と判断された区分領域をそのまま追跡すべ
き移動物体の画像を含む領域として使用すると、いくつ
かの問題が生じる。とくに、それらの区分領域の代表色
が複数のフレームに渡り変化しないことが生じる。その
ようなことが生じるのは、ある区分領域が木の葉の揺ら
ぎを表すと思われる場合と、逆に、立ち止まっていると
思われる移動物体の画像を保持する場合である。処理４
０１から４１２は、前者の区分領域を移動物体画像を保
持する区分領域（画像変動領域）としては扱わないで、
後者の区分領域を、移動物体の画像を含む領域（画像変
動領域）として扱うようにする。

【００５７】処理４０１では処理すべき区分領域に付さ
れたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを０に初期
化する。処理４０２は動き特徴領域データ５−１４内の
区分領域（Ｘ、Ｙ）に対する要素の値が１であるか否か
を調べ、その値が１であればプログラムは処理４０３へ
移り、１でなければ処理４０６へ移る。処理４０３で
は、その区分領域（Ｘ、Ｙ）の代表色が複数のフレーム
の間で変化しているか否かを判別する。すなわち、前々
フレーム領域代表色データ５−１８内のその区分領域
（Ｘ、Ｙ）に対する要素の値が領域代表色データ５−１
６内のその区分領域（Ｘ、Ｙ）に対する要素の値と等し
く、かつ前フレーム領域代表色データ５−１７内のその
区分領域（Ｘ、Ｙ）に対する要素の値が領域代表色デー
タ５−１６内のその区分領域（Ｘ、Ｙ）に対する要素の
値と等しいかを調べる。その区分領域（Ｘ、Ｙ）が上記
２つの条件を満たせば、この区分領域の代表色は前々フ
レームから現在のフレームに至る３フレームの間変化し
ていない。本実施の形態は、区分領域（Ｘ、Ｙ）が上記
２つの条件を満たすのは次の二つの場合である推定す
る。まず、この区分領域内の画像が、実質的に同じ位置
に立ち止まっている移動物体の画像を含む場合である。
今一つの場合は、この区分領域の背景が風で揺れる木の
葉を含んでいて、それらの背景が移動物体として検出さ
れた場合のように、背景も動いている物体も同じ場合で
ある。

【００５８】区分領域（Ｘ、Ｙ）が上記２つの条件を満
たせば、プログラムは処理４０４へ移り、その区分領域
が上記２つの条件を満たさなければ処理４０７へ移る。
処理４０４では処理４０５で最外周領域の処理を実行す
るのを避けるため、Ｘｂの値が１以上であり１４以下、
Ｙｂの値が１以上であり１０以下であるかを調べ、Ｘ
ｂ、Ｙｂがこれらの条件を満たしていれば、プログラム
は処理４０５へ移り、満たしていなければ処理４０６へ
移る。

【００５９】処理４０５では、この区分領域内の画像
が、実質的に同じ位置に立ち止まっている移動物体の画
像を含む場合か否かを判定する。すなわち、後に説明す
るように、経路領域データ５−２１は、各区分領域に対
応した要素を有し、いずれかの区分領域が移動物体の通
過点と判断されたときには、経路領域データ５−２１内
のその区分領域に対応した要素にゼロでないデータが書
き込まれる。処理４０５では、経路領域データ５−２１
内の、処理中の区分領域（Ｘ、Ｙ）の四近傍の区分領域
（Ｘ−１、Ｙ）、（Ｘ＋１、Ｙ）、（Ｘ、Ｙ−１）、
（Ｘ、Ｙ＋１）に対する４つの要素が全て０であるかを
調べる。もし、経路領域データ５−２１内のこれらの４
つの要素のいずれかが１であれば、そのいずれかの区分
領域を移動物体が通過したことを先行するフレーム画像
により検出されたことになる。この場合には、現在処理
中の区分領域はその移動物体の移動経路の極く近くにあ
ることになる。従って処理中の区分領域（Ｘ、Ｙ）に対
する代表色が処理４０３の条件を満たしているのは、こ
の区分領域は、ほとんど立ち止まっている移動物体の画
像を保持しているためであると推測される。したがっ
て、処理中の区分領域（Ｘ、Ｙ）が処理４０３の二つの
条件を満たし、処理４０５の条件を満たさなかった場
合、この区分領域は注目する移動物体の画像を含む画像
変動領域として扱われる。

【００６０】一方、処理中の区分領域が処理４０３の二
つの条件を満たし、さらに処理４０５の条件を満たした
場合、この区分領域は木の葉のような揺れる物体の画像
を含み、この区分領域の代表色は、背景にある多くの木
の葉の色を表していて、そのためにその代表色が複数の
フレームに渡り変化しなかったと判断される。従って、
処理中の区分領域が処理４０５の条件を満たしていれ
ば、プログラムは処理４０６へ移り、処理４０６ではこ
の区分領域内では、注目している移動物体に起因する画
像の変化はなかったとみなして、画像変動領域データ５
−１９内のこの区分領域（Ｘ、Ｙ）に対応する要素に０
を書き込み、処理４０８へ移る。

【００６１】処理中の区分領域が処理４０５の条件を満
たしていなければ、プログラムは処理４０７へ移る。処
理４０７ではこの区分領域内で注目している移動物体に
起因する画像の変化があったとして、画像変動領域デー
タ５−１９内の上記要素に１を書き込み、処理４０８へ
移る。画像変動領域データ５−１９内のある区分領域に
対応する要素の値が１であるとき、その区分領域を画像
変動領域と呼ぶ。処理４０８から処理４１２は上述の処
理を全領域に対して行うためのアドレス更新処理であ
る。

【００６２】上記のようにして画像変動領域を抽出する
ため、木の葉の揺れの様な画像の動き変化を含む区分領
域を、誤って画像変動領域として抽出することがなくな
る。また、人物が立ち止って動いている様な動きを含む
区分領域に対しては、隣接する経路領域データに１があ
るかを調べることにより、その区分領域を画像変動領域
と判断することができる。後に説明するように、画像変
動領域抽出処理４００で検出された画像変動領域は、現
フレーム画像における移動物体の通過点の検出に使用さ
れる。

【００６３】なお、処理中の区分領域がほとんど立ち止
まっている移動物体の像を含むと判断される場合、その
区分領域から少しあるいは大きく隔たった他の区分領域
にも同じ移動物体の画像が含まれているはずである。し
かし、これらの他の区分領域は既に抽出された移動経路
と隣接していない場合が多い。その場合には、これらの
他の区分領域は処理４０５の条件を満すので、これらの
他の区分領域は画像変動領域とは判断されない。したが
って、画像変動領域抽出処理４００では、ほとんど立ち
止まっている移動物体の画像を実際は含んでいる複数の
区分領域の内の一部の区分領域のみが画像変動領域と判
断されることになる。検出された一部の画像変動領域
は、後に説明する現フレーム画像における移動物体の通
過点の検出にはそのまま使用することができ、従って、
このような一部の画像変動領域しか検出されないことは
通過点の検出には問題とならない。

【００６４】処理４１３から処理４１９（図１６）で
は、前々フレーム領域代表色データ５−１８および前フ
レーム領域代表色データ５−１７の更新処理である。処
理４１３では、処理すべき区分領域に付されたＸ、Ｙ方
向の番号を表す変数Ｘｂ、Ｙｂを０に初期化する。処理
４１４は前々フレーム領域代表色データ５−１８内の区
分領域（Ｘｂ、Ｙｂ）に対応する要素に、前フレーム領
域代表色データ５−１７内の区分領域（Ｘｂ、Ｙｂ）に
対応する要素を代入し、前フレーム領域代表色データ５
−１７内の区分領域（Ｘｂ、Ｙｂ）に対応する要素に、
領域代表色データ５−１６内の区分領域（Ｘｂ、Ｙｂ）
に対応する要素を代入する。処理４１５から処理４１９
は上述の処理を全ての区分領域に対して行うためのアド
レス更新処理である。

【００６５】（４ｄ）経路抽出処理５００ 画像変動領域抽出処理４００により検出された複数の画
像変動領域は注目している移動物体の画像を保持する区
分領域と考えられる。本実施の形態ではこれらの画像変
動領域により表される図形の中心の位置を移動物体の通
過点として扱う。処理５００から処理５３３（図１７と
１８）までは、これらの複数の画像変動領域中により表
される図形の中心となる画像変動領域を注目している移
動物体の現在の通過点として抽出する処理である。

【００６６】処理５０１では処理すべき区分領域に付さ
れたＸ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂと上記図形
の最下位位置を表す変数ｂｏｔｔｏｍを０に初期化す
る。処理５０２は画像変動領域データ５−１９内の処理
中の区分領域（Ｘ、Ｙ）に対する要素の値が１であるか
否か、すなわち、その区分領域が画像変動領域か否かを
調べ、１であればプログラムは処理５０３に移り、１で
なければ処理５０４へ移る。処理５０３ではＹｂの値を
ｂｏｔｔｏｍに書き込み、プログラムは処理５０９へ移
る。処理５０４から処理５０８は、画像変動領域データ
５−１９内の処理中の区分領域（Ｘ、Ｙ）に対する要素
の値が１でない場合のみに上述の処理を全ての領域に対
して行うためのアドレス更新処理である。このアドレス
更新処理では、変数Ｙｂの小さい値から順にアドレスが
更新される。この結果、いずれかの区分領域が最初に画
像変動領域と判断されたときには、その区分領域のＹ方
向の番号が、画像変動領域抽出処理４００により検出さ
れた複数の画像変動領域により表される図形の最下位位
置を表す。

【００６７】処理５０９では処理５１０から処理５１６
で使用する変数Ｘｂ、Ｙｂ、ｔｏｐを０に初期化する。
処理５１０は画像変動領域データ５−１９内の処理中の
区分領域（Ｘ、Ｙ）に対する要素の値が１であるか否か
を調べ、１であれば、プログラムは処理５１１に移り、
１でなければ処理５１２へ移る。処理５１１ではＹｂの
値をｔｏｐに書き込み処理５１７へ移る。処理５１２か
ら処理５１６は上述の処理を全ての領域に対して行うた
めのアドレス更新処理である。このアドレス更新処理で
は、変数Ｙｂの大きい値から順にアドレスが更新され
る。この結果、いずれかの区分領域が最初に画像変動領
域と判断されたときには、その区分領域のＹ方向の番号
が、画像変動領域抽出処理４００により検出された複数
の画像変動領域により表される図形の最上位位置を表
す。

【００６８】処理５１７では処理５１８から処理５２４
で使用する変数Ｘｂ、Ｙｂ、ｌｅｆｔを０に初期化す
る。処理５１８は画像変動領域データ５−１９内の処理
中の区分領域（Ｘ、Ｙ）に対する要素の値が１であるか
否かを調べ、１であれば、プログラムは処理５１９に移
り、１でなければ処理５２０へ移る。処理５１９ではＸ
ｂの値をｌｅｆｔに代入し処理５２５へ移る。処理５２
０から処理５２４は上述の処理を全ての領域に対して行
うためのアドレス更新処理である。このアドレス更新処
理では、変数Ｘｂの小さい値から順にアドレスが更新さ
れる。この結果、いずれかの区分領域が最初に画像変動
領域と判断されたときには、その区分領域のＸ方向の番
号が、画像変動領域抽出処理４００により検出された複
数の画像変動領域により表される図形の最左位置を表
す。

【００６９】処理５２５では処理５２６から処理５３２
で使用する変数Ｘｂ、Ｙｂ、ｒｉｇｈｔを０に初期化す
る。処理５２６は画像変動領域データ５−１９内の処理
中の区分領域（Ｘ、Ｙ）に対する要素の値が１であるか
否かを調べ、１であれば、プログラムは処理５２７に移
り、１でなければ処理５２８へ移る。処理５２７ではＸ
ｂの値をｒｉｇｈｔに代入し、プログラムは処理５３３
へ移る。処理５２８から処理５３２は上述の処理を全て
の領域に対して行うためのアドレス更新処理である。こ
のアドレス更新処理では、変数Ｘｂの大きい値から順に
アドレスが更新される。この結果、いずれかの区分領域
が最初に画像変動領域と判断されたときには、その区分
領域のＸ方向の番号が、画像変動領域抽出処理４００に
より検出された複数の画像変動領域により表される図形
の最右位置を表す。

【００７０】処理５３３は、得られたｂｏｔｔｏｍとｔ
ｏｐの平均値と、ｌｅｆｔとｒｉｇｈｔの平均値から、
上記複数の画像変動領域により表される画像の中心とな
る区分領域のＸ、Ｙ方向の番号を求め、経路領域データ
５−２１内のこの区分領域に対応する要素の値に１を加
える。経路領域データ５−２１内のこの区分領域に対応
する要素のそれまでの値が０である場合には、その要素
の値は１に変更される。移動物体が何度も同じ区分領域
を通過したり、同じ区分領域に長く滞在した場合は、経
路領域データ５−２１内のこの区分領域に対応する要素
のそれまでの値はすでに０でない。この場合には、処理
５３３により、経路領域データ５−２１内のこの区分領
域に対応する要素の値がさらに大きくなる。したがっ
て、経路領域データ５−２１は移動物体の同じ区分領域
内での滞在時間に関する情報も含んでいる。

【００７１】処理５３４から処理５４８（図１９）まで
は、経路画像データ５−２２を作成する処理である。処
理５３４では、処理すべき区分領域に付されたＸ、Ｙ方
向の番号を表す変数Ｘｂ、Ｙｂおよびその区分領域内の
処理すべき画素に付されたＸ、Ｙ方向の番号を表す変数
ｉ、ｊを０に初期化する。処理５３５は経路領域データ
５−２１内の区分領域（Ｘ、Ｙ）に対応する要素の値が
０であるか否かを調べ、０でなければ、プログラムは処
理５３６へ移り、０であれば処理５３７へ移る。

【００７２】処理５３６では経路領域データ５−２１内
の区分領域（Ｘｂ、Ｙｂ）に対応する要素の値を、経路
透明度データ５−２２−４内の、画素（Ｘｂ×１０＋
ｉ、Ｙｂ×１０＋ｊ）に対応する要素に書き込み、ま
た、経路赤画像データ５−２２−１、経路緑画像データ
５−２２−２、経路青画像データ５−２２−３内の同じ
画素に対する要素には、経路を所定の色で表示するため
の３つの色成分データを書き込み、プログラムは処理５
３８へ移る。本実施の形態では経路が緑色で表示される
ように、経路緑画像データ５−２２−２に数値２５５を
書き込み、他の経路画像データ５−２２−１，５−２２
−３には０を書き込んでいる。この数値２５５は適宜変
更可能である。処理５３７では、区分領域（Ｘｂ、Ｙ
ｂ）が経路上にないため、全ての経路画像データ５−２
２−１から５−２２−３内の、画素（Ｘｂ×１０＋ｉ、
Ｙｂ×１０＋ｊ）に対応する要素に０を書き込み、プロ
グラムは処理５３８へ移る。処理５３８から処理５４８
は上記の処理を全ての画素に対して行なうためのアドレ
ス更新処理である。

【００７３】後に説明するように、経路上に位置する区
分領域は半透明な色でもって移動物体画像に重畳して表
示される。今の場合には経路は半透明の緑色でもって表
示されることになる。処理５３６では、上記経路透明度
データ５−２２−４には経路領域データ５−２１の値を
そのまま使用しているため、複数回移動物体が通過した
りあるいは移動物体の滞在時間が長い区分領域ほどその
区分領域に対する経路透明度データの値が大きくなる。
後に示されるように、本実施の形態では、経路透明度デ
ータの値が大きい区分領域は、それだけ濃い半透明色で
表示される。このため、オペレータは、一目で移動物体
の移動の滞在時間等の時間的な要因も確認することがで
きる。

【００７４】（４ｅ）移動物体画像抽出処理６００ 処理６０１から処理６１１（図２０）までは、カメラ９
の視野内の所定の領域あるいはフレーム画像５０（図
２）内のそれに対応する所定の領域に移動物体の少なく
とも一部が位置したときに、その移動物体の画像を抽出
する処理である。本実施の形態では、具体的には、視野
内の上記所定の領域は、カメラ９の視野の中央部の縦長
の空間領域であり、画面５０内の上記対応する所定の領
域は、画面５０の中央に位置する縦長のスリット領域で
あると仮定している。フレーム画像上のこの所定の領域
を以下では移動物体画像抽出領域と呼ぶ。すなわち、フ
レーム画像上の区分領域（８、０）から（８、１２）ま
でが、移動物体画像抽出領域として使用される。本実施
の形態では移動物体の内の一定の割合が、この移動物体
画像抽出領域に進入した時点を検出し、その時点のフレ
ーム画像をこの移動物体の画像として記憶する方法を採
る。この方法により、移動物体の大きさあるいはその移
動経路に依らないで、移動物体が移動物体画像抽出領域
に対してほぼ一定の相対的位置関係にあるときにその移
動物体の画像を記憶することができる。

【００７５】処理６０１から６０９は、移動物体と移動
物体画像抽出領域との間の相対的位置関係の変化を後に
検出するときに用いる３つの画像変動領域数を計数する
ための処理である。処理６０１では処理すべき区分領域
に付されたＸ方向の番号を表す変数Ｘｂを、移動物体画
像抽出領域を構成するすべての区分領域に共通なＸ方向
の番号８に初期化し、処理すべき区分領域に付されたＹ
方向の番号を表す変数Ｙｂおよび移動物体画像抽出領域
内に含まれる画像変動領域の数に関連する３つの変数ｎ
ｏｗ＿ｃｏｕｎｔ、ｏｌｄ＿ｃｏｕｎｔ、ｓａｍｅ＿ｃ
ｏｕｎｔを０に初期化する。処理６０２は、画像変動領
域データ５−１９内の区分領域（Ｘｂ、Ｙｂ）に対応す
る要素の値が１であるかを調べ、１であれば、プログラ
ムは処理６０３へ移り、１でなければ処理６０４へ移
る。処理６０３はｎｏｗ＿ｃｏｕｎｔに１を加える。ｎ
ｏｗ＿ｃｏｕｎｔは現在のフレーム画像内の、移動物体
画像抽出領域に含まれる画像変動領域の総数を表す変数
である。

【００７６】処理６０４は前フレーム画像変動領域デー
タ５−２０内の、区分領域（Ｘｂ、Ｙｂ）に対応する要
素の値が１であるかを調べ、１であれば、プログラムは
処理６０５へ移り、１でなければ処理６０６へ移る。処
理６０３はｏｌｄ＿ｃｏｕｎｔに１を加える。 ｏｌｄ
＿ｃｏｕｎｔは前のフレーム画像内の移動物体画像抽出
領域に含まれる画像変動領域の総数を表す変数である。

【００７７】処理６０６は画像変動領域データ５−１９
内の区分領域（Ｘｂ、Ｙｂ）に対応する要素の値が１で
あり、かつ前フレーム画像変動領域データ５−２０内の
区分領域（Ｘｂ、Ｙｂ）に対応する要素の値が１である
かを調べ、この区分領域（Ｘｂ、Ｙｂ）が２つの条件を
満たせば処理６０７へ移り、２つの条件を満たせなけれ
ば処理６０８へ移る。処理６０７はｓａｍｅ＿ｃｏｕｎ
ｔに１を加える。ｓａｍｅ＿ｃｏｕｎｔは、現在のフレ
ーム画像および前のフレームのいずれにおいても画像変
動領域であると判定された、移動物体画像抽出領域に属
する区分領域の総数を表す変数である。処理６０８から
処理６０９は上記の処理を移動物体画像抽出領域内の全
区分領域に対して行うためのアドレス更新処理である。
今の例では移動物体画像抽出領域は、区分領域（８、
０）から（８、１２）までであるので、このアドレス更
新処理では、区分領域のＹ方向アドレスＹｂのみが更新
されている。

【００７８】処理６１０から処理６１９（図２１）で
は、移動物体画像データを作成する処理である。処理６
１０は変数ｎｏｗ＿ｃｏｕｎｔが１以上であり、かつｓ
ａｍｅ＿ｃｏｕｎｔに２をかけた値を、ｎｏｗ＿ｃｏｕ
ｎｔとｏｌｄ＿ｃｏｕｎｔを足した値で割った値が０．
４８以下であるかを調べる。第１の条件は、現在のフレ
ームの移動物体画像の少なくとも一部が移動物体画像抽
出領域内の少なくとも一つの区分領域に保持されている
ことを示す。第２の条件の左辺は、移動物体画像の内、
移動物体画像抽出領域内に存在する部分の割合を計るパ
ラメータである。あるフレームで、移動物体画像が移動
物体画像抽出領域に初めて進入したときには、 ｓａｍ
ｅ＿ｃｏｕｎｔはまだ０であるので、第２式左辺は０で
ある。その後、移動物体画像の内、移動物体画像抽出領
域内に存在する部分の割合が増えると、第２式左辺は増
大する。しかし、この割合がそれほど大きくないとき、
ｓａｍｅ＿ｃｏｕｎｔの値も小さく、第２式左辺は１
よりかなり小さい値を採る。この割合が大きくなるほ
ど、ｏｌｄ＿ｃｏｕｎｔ、 ｎｏｗ＿ｃｏｕｎｔ、ｓａ
ｍｅ＿ｃｏｕｎｔの値はいずれもほぼ同じ値に近づき、
第２の条件の左辺は１に近づく。この割合がある程度の
値に達すると、左辺の値は余り変化しない。したがっ
て、第２式左辺の値は、移動物体画像の内、移動物体画
像抽出領域内に存在する部分の割合がそれほど大きくな
いときに、比較的大きく変化する。本実施の形態は、以
上のことを考慮して第２式左辺の値が飽和値１の半分よ
り少し小さな値０．４８以下の時のフレーム画像を移動
物体画像として記憶するように構成されている。

【００７９】現在のフレームが処理６１０が指定する上
記２つの条件を満たしていれば、プログラムは処理６１
１へ移り、現在のフレームが２つの条件を満たしていな
ければ、プログラムは処理６２０へ移る。処理６１１で
は、処理すべき画素の座標Ｘ、Ｙを表す変数Ｘ、Ｙを０
に初期化する。処理６１２は、移動物体画像データ５−
２３内の、画素（Ｘ、Ｙ）に対応する要素に現在のフレ
ーム画像データ５−５内の、同じ画素に対する要素を代
入し処理６１３へ移る。処理６１３では経路付き移動物
体画像抽出時間として、その時点の時間を経路付き移動
物体画像抽出時間５−２−３に書き込む。処理６１４か
ら処理６１８は上述の処理を全ての画素に対して行うた
めのアドレス更新処理である。処理６１９は移動物体画
像データの作成が終了したことを示す変数Ｐａｓｔｅ＿
ｆｌａｇに１を代入する。

【００８０】なお、移動物体画像抽出処理６００が異な
るフレームに対して繰り返される過程で、あるフレーム
画像が処理６１０に示す二つの条件を満足した後に、後
続のフレーム画像が同じ条件を満たすことが起きうる。
その場合にも、上記処理６１２、６１３、６１４が繰り
返され、それまでに記憶されていた移動物体画像データ
５−２３、経路付き移動物体画像抽出時間５−２−３
は、上記後続のフレーム画像に対して抽出された移動物
体画像データ、経路付き移動物体画像抽出時間により上
書きされる。したがって、上記処理６１０の左辺の値が
０．４８を越えたフレーム画像の直前のフレーム画像に
対する移動物体画像データ、経路付き移動物体画像抽出
時間が、移動物体画像データ５−２３、経路付き移動物
体画像抽出時間５−２−３として保存されることにな
る。

【００８１】処理６２０から処理６２６（図２２）まで
は、前フレーム画像変動領域データ５−２０の更新処理
である。処理６２０では、処理すべき区分領域に付され
た、Ｘ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂを０に初期
化する。処理６２１は前フレーム画像変動領域データ５
−２０内の、区分領域（Ｘｂ、Ｙｂ）に対応する要素に
画像変動領域データ５−１９内の、区分領域（Ｘｂ、Ｙ
ｂ）に対応する要素を代入し処理６２２へ移る。処理６
２２から処理６２６は上述の処理を全ての区分領域に対
して行うためのアドレス更新処理である。

【００８２】（４ｆ）経路付き移動物体画像表示処理７
００ 処理７００から処理７０８（図２３）までは、画像変動
領域データ５−１９により、フレーム画面内に存在する
画像変動領域の総数をカウントする処理である。処理７
０１では、処理すべき区分領域に付された、Ｘ、Ｙ方向
の番号を表す変数Ｘｂ、Ｙｂおよび画像変動領域の数を
表す変数ａｌｌ＿ｃｏｕｎｔを０に初期化する。処理７
０２は画像変動領域データ５−１９内の区分領域（Ｘ
ｂ、Ｙｂ）に対応する要素が１であるかを調べ、１であ
れば処理７０３へ移り、１でなければ処理７０４へ移
る。処理７０３はａｌｌ＿ｃｏｕｎｔに１を加え処理７
０４へ移る。処理７０４から処理７０８は上述の処理を
全ての区分領域に対して行うためのアドレス更新処理で
ある。このようにして、 ａｌｌ＿ｃｏｕｎｔは、現フ
レーム画面内に存在する画像変動領域の総数を表す。こ
の総数は以下に述べる処理において、移動物体がカメラ
９の視野外に退出したタイミングを検出するのに使用さ
れる。

【００８３】処理７０９から処理７２６（図２４）は、
経路付き移動物体画像データ５−２−２を作成し表示す
る処理である。ここでは、移動物体が移動物体画像抽出
領域を通過後画面から退出したときに、移動物体画像デ
ータ５−２３の１／２縮小画像と経路画像データ５−２
２の１／２縮小画像を合成して経路付き移動物体画像デ
ータ５−２−２が生成される。このとき、経路画像が移
動物体画像に半透明色で重畳して表示されるように、移
動物体画像データ５−２３と経路画像データ５−２２が
合成される。

【００８４】まず、処理７０９では移動物体画像の抽出
後に移動物体が画面から退出したか否かを調べるため、
Ｐａｓｔｅ＿ｆｌａｇが１であり、かつａｌｌ＿ｃｏｕ
ｎｔが０であるか否かを判定する。現在のフレーム画像
が２つの条件を満たしていれば、プログラムは処理７１
０へ移り、現在のフレーム画像が２つの条件を満たして
いなければ、プログラムは処理１００へ移る。

【００８５】処理７１０では処理すべき画素のＸ、Ｙ座
標を表す変数Ｘ、Ｙを０に初期化する。処理７１１では
ために、移動物体画像データ５−２３の各色成分データ
５−２３−１、５−２３−２または５−２３−３内の画
素（Ｘ×２、Ｙ×２）に対応する要素と重み（１―α）
との積に、経路画像データ５−２２の対応する色成分デ
ータ５−２２−１、５−２２−２または５−２２−３内
の、画素（Ｘ×２、Ｙ×２）に対応する要素と、経路画
像データ５−２２の経路透明度データ５−２２−４内
の、画素（Ｘ×２、Ｙ×２）に対応する要素と、重みα
との積を加算し、得られる色データを経路付き移動物体
画像データ５−２−２内の、画素（Ｘ、Ｙ）に対応する
要素に代入する。ここで重みαは１より小さく、０より
大きい適当な値である。この処理７１１は赤、緑、青の
各色成分に対して実行される。こうして、経路画像を半
透明色で移動物体画像に重畳して表示するための画像デ
ータが得られる。なお、以上の計算から明らかなよう
に、経路透明度データ５−２２−４の要素の値が大きい
ほど、経路はより濃い半透明色で表示される。処理７１
２から処理７１６は上記の処理を全ての画素に対して行
うためのアドレス更新処理である。こうして、経路付き
移動物体画像データ５−２−２が生成される。このと
き、さらに、経路付き移動物体画像識別番号５５−２−
１が決定される。

【００８６】処理７１９から処理７２４は経路領域デー
タ５−２１と変数Ｐａｓｔｅ＿ｆｌａｇをゼロクリアす
るための処理である。処理７１８では処理すべき区分領
域に付された、Ｘ、Ｙ方向の番号を表す変数Ｘｂ、Ｙｂ
を０に初期化する。処理７１９では経路領域データ５−
２１内の区分領域（Ｘ、Ｙ）に対応する要素をゼロクリ
アする。処理７２０から処理７２４は上記の処理を全て
の区分領域に対して行うためのアドレス更新処理であ
る。処理７２５は経路付き移動物体画像データの作成が
終わったことを示すためにＰａｓｔｅ＿ｆｌａｇに０を
代入して処理７２６へ移る。

【００８７】処理７２６は、処理７１１で作成した経路
付き移動物体画像データ５−２−２に対して、経路付き
移動物体画像表示位置Ｘ（５−２−４）および経路付き
移動物体画像表示位置Ｙ（５−２−５）を決定し、その
経路付き移動物体画像データ５−２−２を画面上の領域
７０内の決定された位置へ表示する。すでに表示されて
いる経路付き移動物体画像があるときには、その画像に
並べて新たな経路付き移動物体画像を表示するように、
新たな画像の表示位置が決定される。処理７２６が終了
すると新しいフレーム画像の入力を行う処理１００へ移
る。上記の処理により、移動物体を含んだ画像に、その
移動物体の移動経路を付加した画像が作成され、表示さ
れる。

【００８８】以上の説明から明らかなように、本実施の
形態によれば、移動物体の動き特徴の検出に過去２フレ
ーム以上において異なった場所に存在した変動エッジを
利用している。一般に監視カメラは静止させて撮影する
ため、背景のエッジは不動である。変動エッジを利用す
ると、背景で生じた部分のエッジを取り除くことがで
き、監視区域内に侵入した物体の動きのある部分のエッ
ジのみ抽出できる。

【００８９】更に、移動物体の抽出に、領域毎に色特徴
の時間的変化を調べる色特徴処理も利用すると、木の葉
の揺れの様な画像の動き変化を含む領域がある場合に
も、誤って抽出することがなくなる。

【００９０】また、人物が一旦立ち止って、その場で作
業しているような動きを含む領域も、隣接する領域の経
路領域データを用いると、移動物体の画像変動領域（経
路領域）として判断することができる。

【００９１】更に、移動物体の経路となる領域を半透明
色で表し、さらに、同一移動物体が何度も通過した領域
や滞在時間が長い領域ほど半透明色を濃くして表示する
と、オペレータは、一目で移動物体の経路の時間的な変
化を確認することができる。

【００９２】なお、本発明は以上の実施の形態に限定さ
れるのではなく、いろいろの実施の形態により実現可能
である。たとえば、例えば、移動物体の検出方法も他の
方法により実現可能である。本実施の形態は、移動物体
画像抽出領域が画面中央に位置すると仮定したが、本発
明はね他の位置と大きさを有する移動物体画像抽出領域
の場合にも適用でき、その場合には処理６００での初期
設定値および処理６０８から処理６０９までのアドレス
更新処理を適宜変更すればよい。

【００９３】以上の実施の形態に示された技術は、通行
者という移動物体に適用されたが、車その他の移動物体
にも適用可能である。さらに、以上の技術は、屋外を移
動する移動物体の画像の抽出と移動経路の抽出に適用さ
れたが、もとより屋内を移動する物体にも適用可能であ
る。さらに、以上の技術は同時には一つの移動物体のみ
がカメラの視野内に存在する場合に適用されたが、同時
に複数の物体が存在する場合にも、以上の技術の基本的
なところはそのまま適用可能である。さらに、それらの
複数の移動物体が同時にカメラの視野内に存在する場合
にもそれぞれの移動物体の画像と移動経路を検出するよ
うに以上の技術を変形することも可能である。

【００９４】なお、実施の形態では、実時間で経路付き
移動物体画像を表示していたが、複数の移動物体に対す
る複数の経路画像を外部情報記憶装置１３に順次記憶
し、後にこれらの画像を順次もしくは並べて表示する方
法を採ってもよい。

【００９５】

【発明の効果】本発明によれば、移動物体を含んだ画像
に、その移動物体の経路を付加した画像が自動的に生成
され、表示されるため、監視者は監視領域への侵入物と
その移動経路を簡単に知ることができる。

【図面の簡単な説明】

【図１】本発明に係る移動物体表示システムの一つの実
施の形態の概略構成図である。

【図２】図１の装置においてディスプレイに表示される
画面の一例を示す図である。

【図３】図１の装置において実行される移動物体の表示
プログラムの概略フローチャートである。

【図４】図１の装置において使用されるプログラムとデ
ータの一覧を示す図である。

【図５】図２に示されたデータの内、経路付き移動物体
画像構造体のフォーマットを示す図である。

【図６】図３のフローチャート内の動き特徴抽出処理
（２００）の一部のフローチャートである。

【図７】図３のフローチャート内の動き特徴抽出処理
（２００）の他の部分のフローチャートである。

【図８】図３のフローチャート内の動き特徴抽出処理
（２００）のさらに他の部分のフローチャートである。

【図９】図３のフローチャート内の動き特徴抽出処理
（２００）のさらに他の部分のフローチャートのであ
る。

【図１０】図３のフローチャート内の動き特徴抽出処理
（２００）のさらに他の部分のフローチャートである。

【図１１】図３のフローチャート内の動き特徴抽出処理
（２００）のさらに他の部分のフローチャートである。

【図１２】図３のフローチャート内の色特徴抽出処理
（３００）の一部のフローチャートである。

【図１３】図３のフローチャート内の色特徴抽出処理
（３００）の他の部分のフローチャートである。

【図１４】図３のフローチャート内の色特徴抽出処理
（３００）のさらに他の部分のフローチャートである。

【図１５】図３のフローチャート内の画像変動領域抽出
処理（４００）の一部のフローチャートである。

【図１６】図３のフローチャート内の画像変動領域抽出
処理（４００）の他の部分のフローチャートである。

【図１７】図３のフローチャート内の経路抽出処理（５
００）の一部のフローチャートである。

【図１８】図３のフローチャート内の経路抽出処理（５
００）の他の部分のフローチャートである。

【図１９】図３のフローチャート内の経路抽出処理（５
００）のさらに他の部分のフローチャートである。

【図２０】図３のフローチャート内の移動物体画像抽出
処理（６００）の一部のフローチャートである。

【図２１】図３のフローチャート内の移動物体画像抽出
処理（６００）の他の部分のフローチャートである。

【図２２】図３のフローチャート内の移動物体画像抽出
処理（６００）のさらに他の部分のフローチャートであ
る。

【図２３】図３のフローチャート内の経路付き移動物体
画像表示処理（７００）の一部のフローチャートであ
る。

【図２４】図３のフローチャート内の経路付き移動物体
画像表示処理（７００）の他の部分のフローチャートで
ある。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤田 武洋 東京都国分寺市東恋ケ窪一丁目280番地株 式会社日立製作所中央研究所内

Claims (25)

【特許請求の範囲】
1. 【請求項１】撮像装置により撮像される所定の視野に進
   入した移動物体の移動経路を該撮像装置から供給される
   動画像信号に基づいて抽出し、 上記移動物体に対して抽出された上記移動経路の画像を
   表す第１の画像データを生成し、 上記移動物体の画像を表す第２の画像データを上記動画
   像信号に基づいて生成し、 上記移動物体に対して抽出された移動経路の画像と上記
   移動物体の画像との重畳画像を上記第１と第２の画像デ
   ータに基づいて表示装置に表示するステップとを有し、 上記抽出するステップから表示するステップは、上記移
   動物体より後に上記視野内に進入した少なくとも一つの
   他の移動物体に対して、他の重畳画像が当該他の移動物
   体に対して上記表示装置に表示されるように、繰り返さ
   れ、 上記移動物体に対する上記重畳画像と上記他の移動物体
   に対する重畳画像は並べて表示される移動物体の表示方
   法。
2. 【請求項２】移動物体の画像を表す上記第２の画像デー
   タは、その移動物体が上記視野内に存在するときに上記
   撮像装置により供給される画像の縮小画像を表す画像デ
   ータであり、 その移動物体に対して抽出された移動経路の画像を表す
   上記第１の画像データは、上記縮小画像上に上記移動経
   路を重畳して表示するための画像データである請求項１
   記載の移動物体の表示方法。
3. 【請求項３】上記表示ステップは、 上記移動物体および上記他の移動物体の各々が上記視野
   外に退出したタイミングを上記撮像装置から供給される
   上記動画像信号に基づいて検出し、 上記各移動物体に対して検出された上記タイミングに、
   その各移動物体に対して抽出された移動経路の画像とそ
   の各移動物体の画像との重畳画像を上記表示装置に表示
   するステップを有する請求項１記載の移動物体の表示方
   法。
4. 【請求項４】上記表示装置の表示画面は複数の区分領域
   に区分され、 移動物体の移動経路を抽出するステップは、 複数のフレームにおける、上記移動物体を代表する点が
   属する複数の区分領域を検出するステップを有し、 その移動物体の移動経路の画像を表す上記第２の画像デ
   ータは、その移動物体に対して検出された上記複数の区
   分領域を表示するための画像データからなる請求項１記
   載の移動物体の表示方法。
5. 【請求項５】上記移動物体に対して抽出された上記移動
   経路の画像を表す上記第１の画像データは、上記移動経
   路を構成する複数の区分領域を、その移動物体の上記画
   像上に半透明色で重畳して表示するための画像データで
   ある請求項４記載の移動物体の表示方法。
6. 【請求項６】上記移動物体の上記移動経路の画像を表す
   上記第２の画像データは、その移動物体に対して検出さ
   れた上記複数の区分領域の各々を、その各移動物体を代
   表する点がその区分領域に存在すると検出されたフレー
   ムの数に依存して変化する色でもって表示するための画
   像データからなる請求項４記載の移動物体の表示方法。
7. 【請求項７】撮像装置により撮像される所定の視野に進
   入した移動物体の移動経路を該撮像装置から供給される
   動画像信号に基づいて抽出し、 その移動物体に対して抽出された上記移動経路の画像を
   表す第１の画像データを生成し、 その移動物体の画像を表す第２の画像データを上記動画
   像信号に基づいて生成し、 その移動物体に対して抽出された移動経路の画像とその
   移動物体の画像との重畳画像を上記第１と第２の画像デ
   ータに基づいて表示装置に表示するステップを有する移
   動物体の表示方法。
8. 【請求項８】上記第２の画像データは、上記移動物体が
   上記視野内のいずれかの位置に存在するときに上記撮像
   装置により供給された画像を表す画像データであり、 上記第１の画像データは、その移動物体が上記視野内の
   いずれかの位置に存在するときに上記撮像装置により供
   給された上記画像に上記移動経路を重畳して表示するた
   めの画像データである請求項７記載の移動物体の表示方
   法。
9. 【請求項９】上記第１の画像データは、上記抽出された
   移動経路を、その移動物体を表す上記画像上に重畳され
   た半透明色の経路でもって表示するための画像データで
   ある請求項８記載の移動物体の表示方法。
10. 【請求項１０】上記第２の画像データは、上記移動物体
    が上記視野内の所定の領域に存在するときに上記撮像装
    置から供給された画像を表す画像データである請求項８
    記載の移動物体の表示方法。
11. 【請求項１１】撮像装置の視野に進入した移動物体の移
    動経路を該撮像装置から供給される動画像信号に基づい
    て抽出する手段と、 上記移動物体に対して抽出された上記移動経路の画像を
    表す第１の画像データを生成する手段と、 上記移動物体の画像を表す第２の画像データを上記動画
    像信号に基づいて生成する手段と、 上記移動物体に対して抽出された移動経路の画像と上記
    移動物体の画像との重畳画像を上記第１と第２の画像デ
    ータに基づいて表示装置に表示する手段とを有し、 上記抽出手段から上記表示する手段は、上記移動物体よ
    り後に上記視野内に進入した少なくとも一つの他の移動
    物体に対して、他の重畳画像が表示するように、繰り返
    し動作し、 上記移動物体に対する上記重畳画像と上記他の移動物体
    に対する重畳画像は上記表示装置に並べて表示される移
    動物体の表示システム。
12. 【請求項１２】上記移動物体および上記他の移動物体の
    各々の画像を表す上記第２の画像データは、その各移動
    物体が上記視野内のいずれかの位置に存在するときに上
    記撮像装置により供給される画像の縮小画像を表す画像
    データであり、 その各移動物体に対して抽出された上記移動経路の画像
    を表す上記第１の画像データは、上記縮小画像上に上記
    移動経路を重畳して表示するための画像データである請
    求項１１記載の移動物体の表示システム。
13. 【請求項１３】上記表示手段は、 上記移動物体および上記他の移動物体の各々が上記視野
    外に退出したタイミングを上記撮像装置から供給される
    上記動画像信号に基づいて検出する手段と、 上記各移動物体に対して検出された上記タイミングに、
    その各移動物体に対して抽出された移動経路の画像とそ
    の各移動物体の画像との重畳画像を上記表示装置に表示
    する手段とを有する請求項１１記載の移動物体の表示シ
    ステム。
14. 【請求項１４】上記表示装置の表示画面は複数の区分領
    域に区分され、 移動物体の移動経路を抽出する手段は、 複数のフレームにおける、上記移動物体および上記他の
    移動物体の各々を代表する点が属する複数の区分領域を
    検出する手段を有し、 その移動物体の移動経路の画像を表す上記第２の画像デ
    ータは、その各移動物体に対して検出された上記複数の
    区分領域を表示するための画像データからなる請求項１
    １記載の移動物体の表示システム。
15. 【請求項１５】上記移動物体および上記他の移動物体の
    各々に対して抽出された上記移動経路の画像を表す上記
    第１の画像データは、その各移動物体に対して抽出され
    た上記移動経路を構成する複数の区分領域を、その各移
    動物体の上記画像上に半透明色で重畳して表示するため
    の画像データである請求項１４記載の移動物体の表示シ
    ステム。
16. 【請求項１６】上記移動物体および上記他の移動物体の
    各々の移動経路の画像を表す上記第２の画像データは、
    その各移動物体に対して検出された上記複数の区分領域
    の各々を、その各移動物体を代表する点がその区分領域
    に存在すると検出されたフレームの数に依存して変化す
    る色でもって表示するための画像データからなる請求項
    １４記載の移動物体の表示システム。
17. 【請求項１７】上記検出手段は、 複数のフレームの各々に対して、その各フレームに対し
    て上記撮像装置により供給された、上記移動物体を含む
    複数の物体の画像のエッジの内、時間的に位置が変動す
    る複数の変動エッジに属する複数の変動エッジ画素を検
    出する手段と、複数のフレームの各々に対して、その各
    フレームに対して検出された複数の変動エッジ画素の位
    置に基づいて、上記移動物体を表す画像のエッジが位置
    する複数の区分領域を検出する手段と、 上記複数のフレームの各々に対して、その各フレームに
    対して検出された上記複数の区分領域の位置に基づい
    て、その移動物体を代表する点が属する一つの区分領域
    を検出する手段とを有する請求項１４記載の移動物体の
    表示システム。
18. 【請求項１８】各移動物体を表す画像のエッジが位置す
    る複数の区分領域を検出する上記手段は、上記複数のフ
    レームの各々に対して、その各フレームに対して検出さ
    れた上記複数の変動エッジ画素の位置と、その各フレー
    ムに先行する少なくとも一つのフレームに対して検出さ
    れた複数の変動エッジ画素の位置とに依存して、その各
    フレームにおける、その移動物体を表す画像のエッジが
    位置する複数の区分領域を検出する手段を有する請求項
    １７記載の移動物体の表示システム。
19. 【請求項１９】複数のフレームの各々に対して、各区分
    領域を代表する色を、その区分領域を構成する複数の画
    素の色に基づいて決定する手段をさらに有し、 各移動物体を表す画像のエッジが位置する複数の区分領
    域を検出する上記手段は、上記複数のフレームの各々に
    対して、その各フレームに対して検出された上記複数の
    変動エッジ画素の位置と、その各フレームとその各フレ
    ームに先行する複数のフレームの各々とに対して検出さ
    れた、各区分領域を代表する色とに基づいて、その各フ
    レームにおける、その移動物体を表す画像のエッジが位
    置する複数の区分領域を検出する手段を有する請求項１
    ７記載の移動物体の表示システム。
20. 【請求項２０】移動物体のエッジが存在する複数の区分
    領域を検出する上記手段は、上記複数のフレームの各々
    に対して、その各フレームに対して検出された上記複数
    の変動エッジ画素の位置と、その各フレームに先行する
    少なくとも一つのフレームに対して検出された、その移
    動物体を代表する点が存在する少なくとも一つの区分領
    域の位置とに基づいて、その各フレームにおける、その
    移動物体を表す画像のエッジが位置する複数の区分領域
    を検出する手段を有する請求項１７記載の移動物体の表
    示システム。
21. 【請求項２１】上記表示装置の表示画面は複数の区分領
    域に区分され、 各移動物体の移動経路を抽出する上記手段は、 区分領域毎に、複数のフレームの各々に対して画像の動
    き特徴を抽出する手段と、 各区分領域毎に、上記複数のフレームの各々に対して色
    特徴を抽出する手段と、 各区分領域毎に、上記複数のフレームの各々に対して、
    その各フレームに対して抽出された動き特徴と、その各
    フレームおよびそのフレームに先行する複数のフレーム
    の各々に対して抽出された色特徴とに基づいて、その区
    分領域に移動物体が存在するかを判定する手段と、 上記複数のフレームの各々に対して判定された、各区分
    領域に移動物体が存在するか否かの判定結果に依存し
    て、そのフレームでの上記移動物体の位置を判別する手
    段を有する請求項１１記載の移動物体の表示システム。
22. 【請求項２２】各区分領域の上記画像の動き特徴は、上
    記撮像装置により撮影された画像の内、時間的に位置が
    変動する部分がその区分領域に含まれているか否かに関
    連し、 各区分領域の上記色特徴は、その区分領域を代表する色
    に関連する請求項２１記載の移動物体の表示システム。
23. 【請求項２３】各区分領域に移動物体が存在するかを判
    定する上記手段は、各区分領域毎に、上記複数のフレー
    ムの各々に対して、その各フレームに対して判定された
    動き特徴と、その各フレームおよびそのフレームに先行
    する複数のフレームに対して判定された色特徴と、その
    各フレームに先行するフレームに対して抽出された上記
    移動物体の移動経路が、その区分領域に隣接する複数の
    区分領域のいずれかを通過するか否かとに基づいて、そ
    の区分領域にその移動物体が存在するかを判定する手段
    を有する請求項２２記載の移動物体の表示システム。
24. 【請求項２４】撮像装置から供給される動画像信号を処
    理するコンピュータと、 上記コンピュータに接続された表示装置とを有する移動
    物体の表示システムであって、 上記コンピュータは、 撮像装置により撮像される所定の視野に進入した移動物
    体に対して上記視野内での移動経路を該撮像装置から供
    給される動画像信号に基づいて抽出し、 上記移動物体に対して抽出された上記移動経路の画像を
    表す第１の画像データを生成し、 上記移動物体の画像を表す第２の画像データを上記動画
    像信号に基づいて生成し、 上記移動物体に対して抽出された移動経路の画像と上記
    移動物体の画像との重畳からなる重畳画像を上記第１と
    第２の画像データに基づいて表示装置に表示するステッ
    プを実行するようにプログラムされ、 ここで、上記抽出するステップから表示するステップ
    は、上記移動物体より後に上記視野内に進入した少なく
    とも一つの他の移動物体に対して繰り返され、 上記移動物体に対する上記重畳画像と上記他の移動物体
    に対する重畳画像は上記表示装置に並べて表示される表
    示システム。
25. 【請求項２５】撮像装置から供給される動画像信号を処
    理するコンピュータと、上記コンピュータに接続された
    表示装置とを有する移動物体表示システムにおいて使用
    されるべきプログラムを記憶したプログラム記録媒体で
    あって、 そのプログラムは、 撮像装置により撮像される所定の視野に進入した移動物
    体に対して上記視野内での移動経路を該撮像装置から供
    給される動画像信号に基づいて抽出し、 上記移動物体に対して抽出された上記移動経路の画像を
    表す第１の画像データを生成し、 上記移動物体の画像を表す第２の画像データを上記動画
    像信号に基づいて生成し、 上記移動物体に対して抽出された移動経路の画像と上記
    移動物体の画像との重畳からなる重畳画像を上記第１と
    第２の画像データに基づいて表示装置に表示するステッ
    プを実行するようにプログラムされ、 ここで、上記抽出するステップから表示するステップ
    は、上記移動物体より後に上記視野内に進入した少なく
    とも一つの他の移動物体に対して繰り返され、 上記移動物体に対する上記重畳画像と上記他の移動物体
    に対する重畳画像は上記表示装置に並べて表示されるプ
    ログラム記録媒体。