JP3601951B2 - 移動物体の表示方法、それを用いた表示システムおよびそのためのプログラム記録媒体 - Google Patents
移動物体の表示方法、それを用いた表示システムおよびそのためのプログラム記録媒体 Download PDFInfo
- Publication number
- JP3601951B2 JP3601951B2 JP25460397A JP25460397A JP3601951B2 JP 3601951 B2 JP3601951 B2 JP 3601951B2 JP 25460397 A JP25460397 A JP 25460397A JP 25460397 A JP25460397 A JP 25460397A JP 3601951 B2 JP3601951 B2 JP 3601951B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving object
- moving
- area
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
Description
【発明の属する技術分野】
本発明は、監視カメラ等により撮影した画像から、その視野内を移動する物体を抽出し、表示装置に表示する移動物体の表示方法、それを用いた表示システムおよびそのためのプログラム記録媒体に関する。
【0002】
【従来の技術】
現在、道路や踏切やダム、コンビニエンスストア等の様々な場所でカメラによる映像の監視が行われている。これらは、特定場所に現れる物体を監視することにより、事故や犯罪を防ぐことを目的としている。例えば、コンビニエンスストア等のような場所では、挙動不審な人物を監視したり、ダムのような絶対的に侵入を禁止している地域では、人間の侵入がないかを監視している。しかし、現在このような監視は、リアルタイムで人間が映像を見て監視したり、ビデオテープのような記憶媒体に録画し、後になって確認を行うことが一般的であり、わづらわしい作業となっていた。このような事情から、コンピュータを用いた映像監視の自動化が求められており、様々な方法が提案されている。
【0003】
中井等の論文、電子情報通信学会論文誌D−II、Vol.J77−D−II,No.7,pp.1209−1218,1994(以下、第1の参考文献と呼ぶ)には、変化検出、部分追跡、運動解釈という3段階の連続処理モジュールを用いて、歩行者等の運動物体を映像中から自動検出する方法が提案されている。ここでは、一般的な店舗内の通行客の移動経路を抽出する実験の結果も報告されている。また、仲西等の論文、電子情報通信学会論文誌D−II、Vol.J77−D−II,No.9,pp.1716−1726,1994(以下、第2の参考文献と呼ぶ)には、時空間画像処理を用いて屋外を走行する自動車等の車両を自動抽出する方法が提案されている。本出願人による特許出願に係る特開平08−221577号明細書には、屋外で移動物体を検出するための一つの方法として画像中にスリットを設定し,予め記憶した背景画像と現在画像との相関をとって,変化を検出し、それにより移動物体検出方法が提案されている。屋外で移動物体を監視できるシステム、たとえば走行する自動車の車番を自動認識するシステムも販売されている。
【0004】
【発明が解決しようとする課題】
従来の監視システムでは、監視カメラにより得られた映像を、その映像の取得時に同時にモニターに表示するか、もしくは、監視カメラにより得られた画像を蓄積して、後から確認するため、映像の確認は映像の取得時間に等しいか、早送り再生のような再生時間の短縮しか行えておらず、監視カメラのオペレータの作業の効率化は図られていない。なお、中井等による実験は、店舗内での複数の通行客の移動経路を抽出しているが、抽出された経路とその経路を通過した通行客の画像とをどのように対応させるかは説明されていない。さらに、この抽出には、店舗内の映像をVTRに記録し、その記録された映像を使用している。このために、この抽出を実時間で行うことができない。
【0005】
また、仲西等による手法は、監視対象物体が等速に直線状に走行を行う自動車等に限定される。特開平08−221577号明細書に記載の技術では、移動物体の検出に動き特徴だけしか使ってないため,木々の揺れも動き物体の一部と誤認してしまうという問題がある。
【0006】
すでに販売されている上記システムでは、屋外で確実な監視を行うためには、木々が映っている領域を監視対象領域から除外する操作を行う必要があり、全ての自然環境で自動的に移動物体を監視を行うことができない。また、そのシステムでは、監視位置が変わるたびに動作パラメータの設定を変更するという煩雑な作業が生じていた。このように、並木や雑木を映像中に含む自然環境において、移動物体を正しく検出するためには、事前に動作パラメータの設定を調整する必要があった。
【0007】
本発明の目的は、映像の中の移動物体の確認のためにオペレータが費やす負担を軽減することができる移動物体の表示方法およびその方法を使用する表示システムを提供することを目的とする。
【0008】
本発明の他の目的は、様々な自然環境においても上記オペレータへの負担を軽減できる移動物体の表示方法およびその方法を使用するシステムを提供することを目的とする。
【0009】
【課題を解決するための手段】
上記目的を達成する為に、本発明に係る移動物体の表示方法および表示システムは、以下のステップを実行する。
【0010】
撮像装置により撮像される所定の視野に進入した移動物体の上記視野内での移動経路を該撮像装置から供給される動画像信号に基づいて抽出し、
その移動物体に対して抽出された上記移動経路の画像を表す第1の画像データを生成し、
その移動物体の画像を表す第2の画像データを上記動画像信号に基づいて生成し、
その移動物体に対して抽出された移動経路の画像とその移動物体の画像との重畳からなる重畳画像を上記第1と第2の画像データに基づいて表示装置に表示する。
【0011】
本発明のより望ましい態様では、上記抽出するステップから表示するステップが、上記移動物体より後に上記視野内に進入した少なくとも一つの他の移動物体に対して繰り返され、
上記移動物体に対する上記重畳画像と上記他の移動物体に対する重畳画像は上記表示装置に並べて表示される。
【0012】
本発明の他の望ましい態様では、上記移動経路の画像は、移動物体の上記画像上に半透明色で重畳して表示される。
【0013】
本発明の他の望ましい態様では、上記移動物体の画像は、上記移動物体が所定の領域に位置するときに上記撮像装置により供給される画像である。
【0014】
本発明の他の望ましい態様では、上記移動物体の画像は、上記移動物体が所定の領域に位置するときに上記撮像装置により供給される画像の縮小画像である。
【0015】
【発明の実施の形態】
以下、本発明に係る移動物体表示システムを図面に示した実施の形態を参照してさらに詳細に説明する。
【0016】
(1)装置の概要
図1において、1はCRT等のディスプレイであり、そのディスプレイは、コンピュータ3の出力画面を表示する。コンピュータ3に対する命令は、マウス等のポインティングデバイス7、またはキーボード8を使って行うことができる。カメラ9は、撮像装置であり、カメラ9から出力される映像信号は、逐次、映像入力装置11によってコンピュータの扱えるデジタル画像データ12に変換され、コンピュータ3に送られる。コンピュータ内部ではデジタル画像データ12は、インターフェース6を介してメモリ5に格納され、そのメモリ5に格納されたプログラムに従ってCPU4で処理される。また、この処理に必要な各種情報を外部記憶装置13に蓄積することができる。また、その処理で得られた各種データあるいは画像データもこの外部記憶装置13に記憶される。更に、カメラ9はコンピュータからの制御信号10により、操作することも可能である。メモリ5には、以下に説明する処理によって作成される各種のデータが格納され、必要に応じて参照される。
【0017】
図2はディスプレイ1に表示する画面例である。領域50は入力したデジタル画像データ12の表示領域であり、本システムの動作中はカメラ9から供給される動画像が表示される。領域60は本システムを制御するボタンと動作状況を表示する領域である。領域60内の開始ボタン61は経路付き移動物体画像表示処理の実行開始を指示するボタンであり、このボタンを押す操作は、オペレータがポインティングデバイス7を介してカーソル80をボタン上に位置合わせ、この状態でクリックすることで行なう。停止ボタン62は処理の実行停止を指示するボタンである。参照番号63は実行開始から現在までに抽出した経路付き移動物体画像の個数を示し、64は上記表示処理の実行開始時間を示す。領域70は経路付き移動物体画像の表示領域である。以下では、カメラ9は、道路あるいは建物の外側に設けられた階段等の通路を有する屋外に配置されているものとする。移動物体として人物を想定している。複数の移動物体がカメラの視野内には異なる時間に進入するが、一時には一つの移動物体のみが視野内に存在すると仮定する。すなわち、ある移動物体がこの視野進入したときには、その移動物体がこの視野から退出した後に他の移動物体がこの視野に入るものと仮定する。
【0018】
本システムでは、移動物体が監視対象視野内に進入すると、その移動経路が自動的に抽出される。この抽出はその移動物体が視野外に退出するまで継続される。その結果、移動経路が時々刻々更新される。この抽出された移動経路が、後に生成される、その移動物体を表す画像に重畳して半透明色で表示されるように、その移動経路を表す画像データが生成される。その移動物体があらかじめ定められた所定の領域、たとえば画面50の中央の縦方向に細長い領域に対応する空間を通ると、そのときのデジタル画像データ12が、適切な大きさたとえば1/2に縮小されて移動物体画像として記憶され、その通過時刻がその移動物体の画像を抽出した時刻として記憶される。その後、その移動物体が上記視野から退出すると、先に抽出された移動物体画像にその移動物体の経路との重畳からなる経路付き移動物体画像が生成され、上記画像抽出時間と合わせて上記領域70に表示される。
【0019】
その後、後続の移動物体が同じ視野に入ってきたときには、この後続の移動物体に対しても同じ処理が自動的に繰り返される。この後続の移動物体に対して抽出された経路付き移動物体画像は、先に表示された経路付き移動物体画像に並べて表示される。こうして、上記視野に順次進入する複数の移動物体に対する複数の経路付き移動物体画像が自動的に一覧として表示されることになる。したがって、オペレータは極めて平易に移動物体を監視することができる。なお、抽出した経路付き移動物体画像が領域70に表示可能な画像の数を越えた場合には、自動的に領域70が上にスクロールする。したがって、常時、最新の複数の経路付き移動物体画像が最下段に表示されることになる。尚、全ての経路付き移動物体画像を確認するには、オペレータがスクロールボタン71、73とスクロールバー72を操作すればよい。
【0020】
(2)処理の概要
図3は本システムで実行される経路付き移動物体画像表示プログラムの概略フローチャートである。図において、処理90はプログラムが使用する変数の初期設定を行う。フレーム画像入力処理100は、映像入力装置11によって供給される、1フレームのデジタル画像データ12をメモリ5へ取り込む。この処理100およびその後の処理200から700は、各フレーム毎に繰り返される。
【0021】
動き特徴抽出処理200は、各区分領域に移動物体の少なくとも一部が存在するか否かをその区分領域の動き特徴として検出し、移動物体の少なくとも一部が存在する複数の区分領域をそれぞれ動き特徴領域として抽出する。具体的には、この処理200は、先行するフレーム内の位置と異なった位置に存在する複数の変動エッジを抽出する。それぞれの変動エッジを構成する複数の変動エッジ画素を、画面を分割して得られる複数の区分領域の各々ごとに計数し、各区分領域毎に、先行するフレームおよび現在のフレームのいずれにおいても一定数を超えた変動エッジ画素を有するか否かを判定する。いずれかの区分領域がその判定条件を満たすとき、その区分領域を動き特徴領域として抽出する。各動き特徴領域は、その領域内に移動物体の少なくとも一部が存在すると判定された区分領域である。
【0022】
色特徴抽出処理300は、各区分領域ごとに色特徴を抽出する処理であり、具体的には、各区分領域毎にその区分領域内の画素の色のヒストグラムをもとめ、その区分領域内で最も頻度の高い色をその区分領域の代表色として抽出する。本実施の形態ではこの区分領域の代表色をその区分領域の色特徴として使用する。
【0023】
画像変動領域抽出処理400は、処理200で抽出した複数の動き特徴領域と、それぞれの動き特徴領域に対して処理300で抽出された色特徴とから、移動物体が存在すると思われる複数の区分領域を抽出する。移動物体が存在すると思われるこれらの区分領域を画像変動領域と呼ぶ。
【0024】
経路抽出処理500は、処理400で抽出された複数の画像変動領域の中から、更に、それらの中心となる一つの区分領域をその移動物体の移動物体の通過点として抽出し、その区分領域を、半透明色で塗りつぶすための画像データを生成する。この処理500が異なるフレームに渡り繰り返されることにより、同じ移動物体の他の複数の通過点が抽出され、後に説明するその移動物体を表す画像に重畳して半透明色でもってそれぞれの通過点が属する区分領域を表示するための画像データが生成される。これらの通過点に対して生成された画像データが、移動経路を表示するための経路画像データを構成する。
【0025】
移動物体画像抽出処理600は、移動物体の少なくとも一部が、視野内の所定の領域を通過したとき、すなわち、画面50内の対応する予め定められた領域を通過したとき、移動物体画像を抽出する。具体的には、視野内の上記所定の領域は、カメラ9の視野の中央部の縦長の空間領域であり、画面50内の上記対応する予め定められた領域は、画面50の中央に位置する縦長のスリット領域である。移動物体が上記空間領域を通過した時点の検出は、上記処理400で抽出した複数の画像変動領域の少なくとも一部が、上記スリット領域に位置した時点の検出により行う。この処理600では、この検出された時点にカメラ9から与えられるフレーム画像を例えば1/2に縮小した画像が生成され、移動物体画像として記憶される。したがって、このようにして生成された移動物体画像は、移動経路に依らないで、予め定められた画面内の領域に移動物体を含んでいるので、見やすい。
【0026】
経路付き移動物体画像表示処理700は、移動物体がカメラ9の視野外に出たとき、すでに生成された移動物体画像と経路画像を合成し、経路付き移動物体画像として、さらに付属データたとえば移動物体画像抽出時刻と共にディスプレイ1の領域70に表示する。その後に上記視野内に進入した移動物体に対する他の経路付き移動物体画像をディスプレイ1の領域70に表示するときには、すでに表示された経路付き移動物体画像に並べて当該他の経路付き移動物体画像を表示する。
【0027】
上記処理400での画像変動領域の抽出では、各区分領域に対して判定された動き特徴と色特徴を利用して、風に揺らぐ木の葉のような動く物体を含む区分領域を画像変動領域として抽出しないようにしている。また、この画像変動領域の抽出では、各区分領域に対して判定された動き特徴と色特徴の他に、同じ移動物体についてすでに判定された経路の通過点も考慮して、人間が立ち止って動いていると考えられる区分領域は、画像変動領域として抽出している。
【0028】
更に、処理500では、ある区分領域が複数フレームに渡り移動物体の通過点と判定された場合には、その区分領域の半透明色を濃くするように、その区分領域に対する、経路画像データを生成する。この為、移動物体の同じ位置での滞在の有無を含めた、移動物体の動きの時間的な要素を経路画像から知ることができる。
【0029】
また、経路付き移動物体画像は、縮小画像であり、各経路付き移動物体画像と抽出時間の組が、静止画として一覧表示されるため、移動物体画像の検索が容易になる。
【0030】
(3)データ
図4はメモリ5に記憶されるプログラムとデータの一覧である。図において、プログラム5−1は図3にそのフローチャートを示した経路付き移動物体画像表示プログラムである。5−2から5−23はプログラム5−1が生成あるいは参照するデータであって、その中で、5−2はプログラム5−1が生成するデータ、5−3と5−4は予め設定しておくべきパラメータ、5−5から5−23はプログラム5−1が一フレームの画像の処理に利用するワーク用のデータである。
【0031】
経路付き移動物体画像構造体5−2は抽出した経路付き移動物体画像と時刻等の付属データを格納する構造体である。図5にその詳細を示す。第1の闘値5−3は画像中の強エッジ画素を抽出する際に使用する閾値であり、第2の閾値5−4は動き特徴領域を検出するための闘値である。
【0032】
まず、フレーム画像入力処理100により作成するデータを説明する。フレーム画像データ5−5は映像入力装置11によって与えられる最新フレームのデジタル画像データであり、赤画像データ5−5−1、緑画像データ5−5−2、青画像データ5−5−3という三つの色成分に対応する3つの配列データからなる。各色データは、各画素の一つの色成分を表す8ビットのデータからなり、各色成分は0ないし255の値を有する。本実施の形態では、一つのフレーム画像は、水平方向(X方向)に160個の画素を有し、垂直方向(Y方向)に120個の画素を有すると仮定している。さらに、一つのフレームの画像は、水平方向に、例えば16個配置され、垂直方向に例えば12個配置された複数の区分領域に区分されていると仮定する。各区分領域は10×10個の画素からなる。具体的には図の赤画像データ[160][120]は、この配列データが一つのフレーム内の画素の数160×120に等しい数の要素からなることを示す。緑画像データ5−5−2,青画像データ5−5−3についても同様である。以下では、各画素の水平方向(X方向)座標Xおよび垂直方向(Y方向)座標Yを用いて画素(X、Y)と呼ぶことがある。また、後に説明する参照番号5−12の変動エッジデータ[16][12]は、この配列データが区分領域の数16×12に等しい数の要素からなることを示す。以下では各区分領域をX、Y方向の番号X、Yでもって区分領域(X、Y)と呼ぶことがある。
【0033】
次に、動き特徴抽出処理200で作成する各種データを説明する。横エッジデータ5−6は、各画素が、近傍の画素に対して画像の横方向の色差が大きい横エッジを構成する画素(横エッジ画素)であるか否かを表す配列データ、縦エッジデータ5−7は、各画素が、近傍の画素に対して画像の縦方向の色差が大きい縦エッジを構成する画素(縦エッジ画素)であるか否かを表す配列データである。前フレーム横エッジデータ5−8、前フレーム縦エッジデータ5−9は、それぞれ現在処理中のフレームの1フレーム前の横エッジデータ5−6、縦エッジデータ5−7を格納した配列データである。
【0034】
変動横エッジデータ5−10は、各画素が、現在のフレームと一つ前のフレーム内の異なった位置に存在した変動横エッジを構成する画素(変動横エッジ画素)であるか否かを表す配列データである。同様に変動縦エッジデータ5−11は、各画素が、現在のフレームと一つ前のフレーム内の異なった位置に存在した変動縦エッジを構成する画素(変動縦エッジ画素)であるか否かを表す配列データである。
【0035】
変動エッジデータ5−12は、各区分領域別に、その区分領域に含まれた変動横エッジ画素または変動縦エッジ画素の総数を格納した配列データである。前フレーム変動エッジデータ5−13は、現在処理中のフレームの1フレーム前の変動エッジデータ5−12を格納した配列データである。動き特徴領域データ5−14は、各区分領域に対応して、その区分領域が時間的に位置が変化するエッジを構成する画素(変動エッジ画素)を含んでいるか否かを表す配列データであり、具体的には、この配列データは、現在のフレームの変動エッジ画素の総数と、一つ前のフレームの変動エッジ画素の総数が共に第2の閾値5−4を超えたか否かを表す配列データである。本実施の形態では、各区分領域に関するこの判定結果をその区分領域の動き特性として使用する。ある区分領域がこの判定条件を満たすとき、その区分領域を動き特徴領域と呼ぶことがある。
【0036】
次に、色特徴抽出処理300、画像変動領域抽出処理400、経路抽出処理500、移動物体画像抽出処理600、経路付き移動物体画像表示処理700で作成するデータを説明する。ヒストグラムデータ5−15は、各区分領域に対応して、その区分領域内の画素の色の度数分布を表す3次元の配列データである。ヒストグラムデータ5−15を作成するには、各画素の色を64階調に変換し、各区分領域毎に、各階調に対応して、その階調の色を有するに画素を計数した値を算出する。領域代表色データ5−16は、各区分領域で最も多く表示された色階調すなわち代表色の色番号を格納した配列データである。本実施の形態では各区分領域の代表色をその区分領域の色特性の一例として使用する。前フレーム領域代表色データ5−17は現在処理中のフレームの1フレーム前の領域代表色データ5−16を格納した配列データである。前々フレーム領域代表色データ5−17は現在処理中のフレームの2フレーム前の領域代表色データ5−16を格納した配列データである。
【0037】
画像変動領域データ5−19は、各区分領域毎に、その区分領域が移動物体の画像のエッジを構成する画素(変動画素)を含んでいるか否かを示す配列であり、具体的には、この判定は、各区分領域に対して判定された動き特徴と色特徴に基づいて行われる。前フレーム画像変動領域データ5−20は現在処理中のフレームの1フレーム前の画像変動領域データ5−19を格納した配列データである。
【0038】
経路領域データ5−21は、各区分領域が、移動物体の通過点であるか否かを示す配列データである。いずれかの区分領域が移動物体の通過点であり、その区分領域にその移動物体が存在したと判断された回数が多いほど、すなわち、その区分領域におけるその移動物体の滞在時間が長いほど、その経路領域データ5−21内の、その区分領域に対する要素には高い数値が格納される。経路画像データ5−22は、移動物体が通過した経路を構成する区分領域を特定の半透明色で塗りつぶした画像を表すデータであり、経路赤画像データ5−22−1、経路緑画像データ5−22−2、経路青画像データ5−22−3という3つの色に対する画像データと経路透明度データ5−22−4とからなる。経路透明度データ5−22−4は、経路画像を表示するのに使用する半透明色の濃さを指定するデータである。移動物体画像データ5−23は移動物体の画像を表すデータであり、赤画像データ5−23−1、緑画像データ5−23−2、青画像データ5−23−3からなる。
【0039】
図5は、経路付き移動物体画像のデータとその付属情報を格納する経路付き移動物体画像構造体を示している。経路付き移動物体画像識別番号5−2−1は経路付き移動物体画像の番号であり、経路付き移動物体画像データ5−2−2は経路付き移動物体画像を格納した配列データである。経路付き移動物体画像表示位置X(5−2−3)及び経路付き移動物体画像表示位置Y(5−2−4)は経路付き移動物体画像をディスプレイ1の領域70(図2)に表示する際のX、Y座標位置である。移動物体画像抽出時間5−2−5は移動物体がカメラ1の視野内の所定の領域あるいはそれに対応する画面50内の所定の領域に進入した時間を記憶する。
【0040】
(4)処理の詳細
以下、図4のデータを参照しながら、図3に示した経路付き移動物体画像表示プログラムの処理を図6から図24に示すフローチャートを用いて詳細に説明する。なお、これらのフローチャートは、C言語を用いて記述されている。
【0041】
(4a)動き特徴抽出処理200
処理201から処理212(図6)までは、縦および横の強エッジの画素を抽出する処理である。ここで縦のエッジおよび横のエッジは、それぞれ画像を縦方向(垂直方向)あるいは横方向(水平方向)にスキャンしたときに検出可能なエッジである。強エッジとは、画像内のより鮮明なエッジであり、本実施の形態では、人物の顔あるいは手足の輪郭あるいは衣服の輪郭などのごとく人物の外郭を表すエッジであり、これらは人物の移動を検出するのに適している。一方、人物の顔の中の鼻の輪郭等を表すエッジは人物の移動を検出するのに適さない。これらのエッジは先に述べたエッジよりは一般に不鮮明である。したがって、本実施の形態は主として強エッジを検出するようにプログラムされている。
【0042】
処理201では、処理すべき画素のX座標、Y座標を表す変数X、Yを1に初期化する。処理202は映像入力装置11から供給された1フレームの画像データに基づいて、赤画像データ5−7−1、緑画像データ5−7−2または青画像データ5−7−3のそれぞれ内の、画素(X、Y)の横方向に隣接する一対の画素(X+1,Y)と画素(X−1、Y)に対応する一対の要素の間の色差が第1の闘値Aより大きいか否かを調べる。もし、これらの一対の画素の間のすべての色成分の色差が第1の闘値Aより大きければ、この画素(X、Y)は、画像内の横方向エッジを構成する画素と考えることができる。この場合には、プログラムは、処理203へ移り、そうでなければ処理204へ移る。
【0043】
処理203では横エッジデータ5−6内の画素(X、Y)に対応する要素に1を書き込み、処理204ではその要素に0を書き込む。処理205から処理207では、同様に、縦エッジデータ5−7を作成する。処理208から処理212は上述の処理を全ての画素に対して行うためのアドレス更新処理である。すべての処理が完了すると、プログラムは、処理213に移る。本実施の形態では、処理202,205でエッジの検出に使用する第1の閾値Aとして比較的大きな値、例えば55を使用する。これにより主として強横エッジあるいは強縦エッジが検出される。本実施の形態で処理されるエッジは全て強エッジであるので、以下では強エッジのことを単にエッジと呼ぶ。
【0044】
処理213から処理224(図7)までは、複数のフレームの間で異なった位置に表れた横エッジあるいは縦エッジを抽出する処理である。これらのエッジを変動横エッジあるいは変動縦エッジと呼ぶことがある。また、これらのエッジを併せて変動エッジと呼ぶことがある。また、変動横エッジ、変動縦エッジあるいは変動エッジを構成する画素を変動横エッジ画素、変動縦エッジ画素あるいは変動エッジ画素と呼ぶことがある。
【0045】
処理213では、処理すべき画素のX座標、Y座標を表す変数X、Yを0に初期化する。処理214は、横エッジデータ内の画素(X、Y)に対する要素の値と前フレーム横エッジデータ内の同じ画素(X、Y)に対する要素の値の一方が1であり、他方が0であるかを調べ、画素(X、Y)がこの条件を満たしていれば、この画素は、前のフレームでは横エッジ画素であり現在のフレームではそうでないかあるいはその逆である。したがって、この画素は、前のフレームと現在のフレームでの間で位置が変化した変動横エッジを表す変動横エッジ画素として扱う。この場合には、プログラムは、処理215へ、そうでなければ処理216へ移る。処理215では変動横エッジデータ5−10内の画素(X、Y)に対応する要素に1を書き込み、処理216では同じ要素に0を書き込む。同様に、処理217から219により変動縦エッジデータ5−11を作成する。処理220から処理224は上述の処理を全ての画素に対して行うためのアドレス更新処理である。すべての処理が完了すると、プログラムは処理225に移る。
【0046】
上記処理213から224は、すくなくとも過去2フレーム以上において異なった場所に存在したエッジを抽出している。カメラ9は静止させているため、背景のエッジは不動である。従って以上の変動横エッジあるいは変動縦エッジの検出により背景で生じたエッジを取り除くことができ、監視区域内に侵入した移動物体の動きに由来するエッジのみ抽出できる。
【0047】
処理225から処理238(図8)までは、区分領域毎にそこに含まれる変動エッジ画素を計数する処理である。処理225では処理すべき区分領域に付されたX、Y方向の番号を表す変数Xb、Ybおよびその区分領域内の処理すべき画素に付されたX、Y方向の番号を表す変数i、jを0に初期化する。処理226は、変動横エッジデータ5−10内の、区分領域(Xb、Yb)内の(i、j)番目の画素に対応する要素の値または変動縦エッジデータ5−11内の、同じ画素に対応する要素の値の少なくとも一方が1であるか否かを調べる。本実施の形態では、もし、この画素がこの条件を満たすときには、その画素は変動エッジ画素として扱う。この場合には、プログラムは、処理227へ移り、そうでなければ処理228へ移る。処理227では変動エッジデータ5−12内の、上記区分領域(Xb、Yb)に対応する要素の値に1を加える。処理228から処理238は上述の処理を全ての画素に対して行なうためのアドレス更新処理である。すべての処理が完了するとプログラムは処理239へ移る。
【0048】
処理239から処理247(図9)までは、各区分領域が動きのある画像を含んでいるか否かを検出する処理である。処理239では処理すべき区分領域に付されたX、Y方向の番号を表す変数Xb、Ybを0に初期化する。処理240は、変動エッジデータ5−12内の、区分領域(Xb、Yb)に対応する要素の値が第2の闘値B以上であり、かつ前フレーム変動エッジデータ5−13内の、その区分領域に対応する要素の値が第2の闘値B以上であるか否かを調べる。本実施の形態では、その区分領域がこれらの2つの条件を満たせば、その区分領域は複数のフレームにおいて継続して変動エッジ画素を所定数以上含んでいるので、その区分領域は動きのある画像を含んでいる領域として扱う。このようにその区分領域に対応する、複数のフレームにおける変動エッジデータの要素の値をチェックするのは、画像処理により発生するノイズ等の影響を除去するためである。その区分領域がこれらの条件を満たすか否かをその区分領域の動き特徴と呼ぶ。さらに、その区分領域がこれらの条件を満たす場合には、その区分領域は動き特徴を有するとも呼び、その区分領域を動き特徴領域と呼ぶことがある。その区分領域がこれらの2つの条件を満す場合には、プログラムは処理241へ移り、そうでなければ処理242へ移る。処理241ではその区分領域に対応する、動き特徴領域データ5−14の要素に1を書き込み、処理242では同じ要素に0を書き込む。処理243から処理247は上述の処理を全領域に対して行うためのアドレス更新処理である。すべての処理が完了するとプログラムは処理248に移る。
【0049】
処理248から処理254(図10)までは、前フレーム横エッジデータ5−8および前フレーム縦エッジデータ5−9の更新処理である。処理248では、処理すべき区分領域に付されたX、Y方向の番号を表す変数X、Yを0に初期化する。処理249は前フレーム横エッジデータ5−8内の区分領域(X、Y)に対応する要素に、横エッジデータ5−6内の、その区分領域(X、Y)に対応する要素を代入し、さらに、前フレーム縦エッジデータ5−9内の、区分領域(X、Y)に対応する要素に、縦エッジデータ5−7内の、区分領域(X、Y)に対応する要素を代入する。処理250から処理254は上述の処理を全ての画素に対して行うためのアドレス更新処理である。
【0050】
処理255から処理262(図11)までは、前フレーム変動エッジデータ5−13の更新処理及び変動エッジデータ5−12のゼロクリアを行う処理である。処理255では、処理すべき区分領域に付されたX、Y方向の番号を表す変数Xb、Ybを0に初期化する。処理256は前フレーム変動エッジデータ5−13内の、区分領域(Xb、Yb)に対応する要素に、変動エッジデータ5−12内の、その区分領域(Xb、Yb)に対応する要素の値を代入する。処理257は、変動エッジデータ5−12内の、区分領域(Xb、Yb)に対応する要素に0を代入する。処理258から処理262は上述の処理を全ての領域に対して行うためのアドレス更新処理である。
【0051】
(4b)色特徴抽出処理300
処理301から処理314(図12)までは、後に各区分領域ごとに代表色を求める処理の前処理として、各区分領域毎に、その区分領域に属する10×10個の画素の色のヒストグラムを作成する。処理301では処理すべき区分領域に付されたX、Y方向の番号を表す変数Xb、Yb、その区分領域内の処理すべき画素に付されたX、Y方向の番号を表す変数i、j、色のヒストグラムの色番号を表す変数colを0に初期化する。処理302は、区分領域(X、Y)内の(i,j)番目の画素、すなわち、画素(X×10+i、Y×10+j)の色を64階調の色の一つに変換し、その色の番号を変数colに書き込む。
【0052】
すなわち、各画素の赤画像データ5−5−1、緑画像データ5−5−2、青画像データ5−5−3は8ビットからなり、各色成分は256階調で表されている。処理302では、赤画像データ5−5−1、緑画像データ5−5−2、青画像データ5−5−3内の、同じ画素に対する3つの要素をそれぞれ上位2ビットずつ切り出し、これらの切り出された合計6ビットのデータをその画素の色番号として使用する。具体的には、処理302において、0xc0は2進データ11000000に対する16進表示である。その第1式は、赤画像データ5−5−1内の、画素(X×10+i、Y×10+j)に対する要素と2進データ11000000との論理積により得られるデータを6ビットだけ右シフトすることを表す。同様に、第2式は、緑画像データ5−5−2内の、画素(X×10+i、Y×10+j)に対する要素とデータ11000000との論理積により得られるデータを4ビットだけ右シフトすることを表す。第3式は、青画像データ5−5−3内の、の画素(X×10+i、Y×10+j)に対する要素とデータ11000000との論理積により得られるデータを2ビットだけ右シフトすることを表す。処理302はこのようにして得られた3組の2ビットデータの論理和の結果得られる6ビットの色番号を変数colに代入することを示す。
【0053】
ヒストグラムデータ5−15は、各区分領域(X、Y)に対して64個の要素を有する3次元の配列である。処理303は色番号のヒストグラムデータ5−15内の、区分領域(X、Y)と処理302で算出された変数colの値との組に対応する要素に1を加える。処理304から処理314は上述の処理を全ての画素に対して行なうためのアドレス更新処理である。すべての処理が完了すると、プログラムは処理315へ移る。
【0054】
処理315から処理326(図13)までは、各区分領域毎の代表色を抽出する処理を行なう。処理315は処理すべき区分領域に付されたX、Y方向の番号を表す変数Xb、Ybを0に初期化する。処理316は処理中の色番号を表す変数colと64階調の色番号の内で処理中の区分領域における最大の出現頻度を有する色番号を表す変数max_colを0に初期化する。処理317は区分領域(Xb、Yb)で一番使用頻度の高い色番号を調べるため、ヒストグラムデータ5−15内の要素(Xb、Yb、col)の値が変数max_colより大きいか否かを調べ、前者が後者より大きければプログラムは処理318へ移り、前者が後者より小さければ処理320に移る。処理318では変数max_colをヒストグラムデータ5−15内のその要素(Xb、Yb、col)の値で置き換えて処理319に移る。処理319は色番号を示す変数colを領域代表色データ5−16内の要素(Xb、Yb)に書き込む。処理320から処理321は上記の処理を64種類の階調全てに対して行うためのアドレス更新処理である。処理322から処理326は以上の処理を全ての領域に対して行なうためアドレス更新処理である。こうして、全区分領域に対する代表色の色番号を保持する領域代表色データ5−16が生成される。後に図16を用いて説明するように、画像変動領域抽出処理400が終了すると、この領域代表色データ5−16は、前フレーム領域代表色データ5−17に移される。そのときまの前フレーム領域代表色データ5−17は、前々フレーム領域代表色データ5−18に移される。
【0055】
処理327から処理336(図14)までは、ヒストグラムデータ5−15のゼロクリア処理を行なう。処理327は処理すべき区分領域に付されたX、Y方向の番号を表す変数Xb、Ybを0に初期化する。処理328は処理すべき色番号を表す変数colを0に初期化する。処理329はヒストグラムデータ5−15をゼロクリアするためにそこに0を書き込み、プログラムは処理330に移る。処理330から処理331は上記の処理を、ヒストグラムデータ5−15内の区分領域(X、Y)に対する色番号の全てに対して行うためのアドレス更新処理である。処理332から処理336は以上の処理を全ての区分領域に対して行なうためアドレス更新処理である。
【0056】
(4c)画像変動領域抽出処理400
処理401から処理412(図15)までは、各区分領域対して検出された動き特徴と色特徴とから、移動物体の画像を含むと考えられる領域(画像変動領域)を抽出する処理である。既に説明されたように、各区分領域について検出された動き特徴は、その区分領域が変動エッジ画素を所定数以上含んでいるか否かを示す。しかし、動き特徴領域と判断された区分領域をそのまま追跡すべき移動物体の画像を含む領域として使用すると、いくつかの問題が生じる。とくに、それらの区分領域の代表色が複数のフレームに渡り変化しないことが生じる。そのようなことが生じるのは、ある区分領域が木の葉の揺らぎを表すと思われる場合と、逆に、立ち止まっていると思われる移動物体の画像を保持する場合である。処理401から412は、前者の区分領域を移動物体画像を保持する区分領域(画像変動領域)としては扱わないで、後者の区分領域を、移動物体の画像を含む領域(画像変動領域)として扱うようにする。
【0057】
処理401では処理すべき区分領域に付されたX、Y方向の番号を表す変数Xb、Ybを0に初期化する。処理402は動き特徴領域データ5−14内の区分領域(X、Y)に対する要素の値が1であるか否かを調べ、その値が1であればプログラムは処理403へ移り、1でなければ処理406へ移る。処理403では、その区分領域(X、Y)の代表色が複数のフレームの間で変化しているか否かを判別する。すなわち、前々フレーム領域代表色データ5−18内のその区分領域(X、Y)に対する要素の値が領域代表色データ5−16内のその区分領域(X、Y)に対する要素の値と等しく、かつ前フレーム領域代表色データ5−17内のその区分領域(X、Y)に対する要素の値が領域代表色データ5−16内のその区分領域(X、Y)に対する要素の値と等しいかを調べる。その区分領域(X、Y)が上記2つの条件を満たせば、この区分領域の代表色は前々フレームから現在のフレームに至る3フレームの間変化していない。本実施の形態は、区分領域(X、Y)が上記2つの条件を満たすのは次の二つの場合である推定する。まず、この区分領域内の画像が、実質的に同じ位置に立ち止まっている移動物体の画像を含む場合である。今一つの場合は、この区分領域の背景が風で揺れる木の葉を含んでいて、それらの背景が移動物体として検出された場合のように、背景も動いている物体も同じ場合である。
【0058】
区分領域(X、Y)が上記2つの条件を満たせば、プログラムは処理404へ移り、その区分領域が上記2つの条件を満たさなければ処理407へ移る。処理404では処理405で最外周領域の処理を実行するのを避けるため、Xbの値が1以上であり14以下、Ybの値が1以上であり10以下であるかを調べ、 Xb、Ybがこれらの条件を満たしていれば、プログラムは処理405へ移り、満たしていなければ処理406へ移る。
【0059】
処理405では、この区分領域内の画像が、実質的に同じ位置に立ち止まっている移動物体の画像を含む場合か否かを判定する。すなわち、後に説明するように、経路領域データ5−21は、各区分領域に対応した要素を有し、いずれかの区分領域が移動物体の通過点と判断されたときには、経路領域データ5−21内のその区分領域に対応した要素にゼロでないデータが書き込まれる。処理405では、経路領域データ5−21内の、処理中の区分領域(X、Y)の四近傍の区分領域(X−1、Y)、(X+1、Y)、(X、Y−1)、(X、Y+1)に対する4つの要素が全て0であるかを調べる。もし、経路領域データ5−21内のこれらの4つの要素のいずれかが1であれば、そのいずれかの区分領域を移動物体が通過したことを先行するフレーム画像により検出されたことになる。この場合には、現在処理中の区分領域はその移動物体の移動経路の極く近くにあることになる。従って処理中の区分領域(X、Y)に対する代表色が処理403の条件を満たしているのは、この区分領域は、ほとんど立ち止まっている移動物体の画像を保持しているためであると推測される。したがって、処理中の区分領域(X、Y)が処理403の二つの条件を満たし、処理405の条件を満たさなかった場合、この区分領域は注目する移動物体の画像を含む画像変動領域として扱われる。
【0060】
一方、処理中の区分領域が処理403の二つの条件を満たし、さらに処理405の条件を満たした場合、この区分領域は木の葉のような揺れる物体の画像を含み、この区分領域の代表色は、背景にある多くの木の葉の色を表していて、そのためにその代表色が複数のフレームに渡り変化しなかったと判断される。従って、処理中の区分領域が処理405の条件を満たしていれば、プログラムは処理406へ移り、処理406ではこの区分領域内では、注目している移動物体に起因する画像の変化はなかったとみなして、画像変動領域データ5−19内のこの区分領域(X、Y)に対応する要素に0を書き込み、処理408へ移る。
【0061】
処理中の区分領域が処理405の条件を満たしていなければ、プログラムは処理407へ移る。処理407ではこの区分領域内で注目している移動物体に起因する画像の変化があったとして、画像変動領域データ5−19内の上記要素に1を書き込み、処理408へ移る。画像変動領域データ5−19内のある区分領域に対応する要素の値が1であるとき、その区分領域を画像変動領域と呼ぶ。処理408から処理412は上述の処理を全領域に対して行うためのアドレス更新処理である。
【0062】
上記のようにして画像変動領域を抽出するため、木の葉の揺れの様な画像の動き変化を含む区分領域を、誤って画像変動領域として抽出することがなくなる。また、人物が立ち止って動いている様な動きを含む区分領域に対しては、隣接する経路領域データに1があるかを調べることにより、その区分領域を画像変動領域と判断することができる。後に説明するように、画像変動領域抽出処理400で検出された画像変動領域は、現フレーム画像における移動物体の通過点の検出に使用される。
【0063】
なお、処理中の区分領域がほとんど立ち止まっている移動物体の像を含むと判断される場合、その区分領域から少しあるいは大きく隔たった他の区分領域にも同じ移動物体の画像が含まれているはずである。しかし、これらの他の区分領域は既に抽出された移動経路と隣接していない場合が多い。その場合には、これらの他の区分領域は処理405の条件を満すので、これらの他の区分領域は画像変動領域とは判断されない。したがって、画像変動領域抽出処理400では、ほとんど立ち止まっている移動物体の画像を実際は含んでいる複数の区分領域の内の一部の区分領域のみが画像変動領域と判断されることになる。検出された一部の画像変動領域は、後に説明する現フレーム画像における移動物体の通過点の検出にはそのまま使用することができ、従って、このような一部の画像変動領域しか検出されないことは通過点の検出には問題とならない。
【0064】
処理413から処理419(図16)では、前々フレーム領域代表色データ5−18および前フレーム領域代表色データ5−17の更新処理である。処理413では、処理すべき区分領域に付されたX、Y方向の番号を表す変数Xb、Ybを0に初期化する。処理414は前々フレーム領域代表色データ5−18内の区分領域(Xb、Yb)に対応する要素に、前フレーム領域代表色データ5−17内の区分領域(Xb、Yb)に対応する要素を代入し、前フレーム領域代表色データ5−17内の区分領域(Xb、Yb)に対応する要素に、領域代表色データ5−16内の区分領域(Xb、Yb)に対応する要素を代入する。処理415から処理419は上述の処理を全ての区分領域に対して行うためのアドレス更新処理である。
【0065】
(4d)経路抽出処理500
画像変動領域抽出処理400により検出された複数の画像変動領域は注目している移動物体の画像を保持する区分領域と考えられる。本実施の形態ではこれらの画像変動領域により表される図形の中心の位置を移動物体の通過点として扱う。処理500から処理533(図17と18)までは、これらの複数の画像変動領域中により表される図形の中心となる画像変動領域を注目している移動物体の現在の通過点として抽出する処理である。
【0066】
処理501では処理すべき区分領域に付されたX、Y方向の番号を表す変数Xb、Ybと上記図形の最下位位置を表す変数bottomを0に初期化する。処理502は画像変動領域データ5−19内の処理中の区分領域(X、Y)に対する要素の値が1であるか否か、すなわち、その区分領域が画像変動領域か否かを調べ、1であればプログラムは処理503に移り、1でなければ処理504へ移る。処理503ではYbの値をbottomに書き込み、プログラムは処理509へ移る。処理504から処理508は、画像変動領域データ5−19内の処理中の区分領域(X、Y)に対する要素の値が1でない場合のみに上述の処理を全ての領域に対して行うためのアドレス更新処理である。このアドレス更新処理では、変数Ybの小さい値から順にアドレスが更新される。この結果、いずれかの区分領域が最初に画像変動領域と判断されたときには、その区分領域のY方向の番号が、画像変動領域抽出処理400により検出された複数の画像変動領域により表される図形の最下位位置を表す。
【0067】
処理509では処理510から処理516で使用する変数Xb、Yb、topを0に初期化する。処理510は画像変動領域データ5−19内の処理中の区分領域(X、Y)に対する要素の値が1であるか否かを調べ、1であれば、プログラムは処理511に移り、1でなければ処理512へ移る。処理511ではYbの値をtopに書き込み処理517へ移る。処理512から処理516は上述の処理を全ての領域に対して行うためのアドレス更新処理である。このアドレス更新処理では、変数Ybの大きい値から順にアドレスが更新される。この結果、いずれかの区分領域が最初に画像変動領域と判断されたときには、その区分領域のY方向の番号が、画像変動領域抽出処理400により検出された複数の画像変動領域により表される図形の最上位位置を表す。
【0068】
処理517では処理518から処理524で使用する変数Xb、Yb、leftを0に初期化する。処理518は画像変動領域データ5−19内の処理中の区分領域(X、Y)に対する要素の値が1であるか否かを調べ、1であれば、プログラムは処理519に移り、1でなければ処理520へ移る。処理519ではXbの値をleftに代入し処理525へ移る。処理520から処理524は上述の処理を全ての領域に対して行うためのアドレス更新処理である。このアドレス更新処理では、変数Xbの小さい値から順にアドレスが更新される。この結果、いずれかの区分領域が最初に画像変動領域と判断されたときには、その区分領域のX方向の番号が、画像変動領域抽出処理400により検出された複数の画像変動領域により表される図形の最左位置を表す。
【0069】
処理525では処理526から処理532で使用する変数Xb、Yb、rightを0に初期化する。処理526は画像変動領域データ5−19内の処理中の区分領域(X、Y)に対する要素の値が1であるか否かを調べ、1であれば、プログラムは処理527に移り、1でなければ処理528へ移る。処理527ではXbの値をrightに代入し、プログラムは処理533へ移る。処理528から処理532は上述の処理を全ての領域に対して行うためのアドレス更新処理である。このアドレス更新処理では、変数Xbの大きい値から順にアドレスが更新される。この結果、いずれかの区分領域が最初に画像変動領域と判断されたときには、その区分領域のX方向の番号が、画像変動領域抽出処理400により検出された複数の画像変動領域により表される図形の最右位置を表す。
【0070】
処理533は、得られたbottomとtopの平均値と、leftとrightの平均値から、上記複数の画像変動領域により表される画像の中心となる区分領域のX、Y方向の番号を求め、経路領域データ5−21内のこの区分領域に対応する要素の値に1を加える。経路領域データ5−21内のこの区分領域に対応する要素のそれまでの値が0である場合には、その要素の値は1に変更される。移動物体が何度も同じ区分領域を通過したり、同じ区分領域に長く滞在した場合は、経路領域データ5−21内のこの区分領域に対応する要素のそれまでの値はすでに0でない。この場合には、処理533により、経路領域データ5−21内のこの区分領域に対応する要素の値がさらに大きくなる。したがって、経路領域データ5−21は移動物体の同じ区分領域内での滞在時間に関する情報も含んで
いる。
【0071】
処理534から処理548(図19)までは、経路画像データ5−22を作成する処理である。処理534では、処理すべき区分領域に付されたX、Y方向の番号を表す変数Xb、Ybおよびその区分領域内の処理すべき画素に付されたX、Y方向の番号を表す変数i、jを0に初期化する。処理535は経路領域データ5−21内の区分領域(X、Y)に対応する要素の値が0であるか否かを調べ、0でなければ、プログラムは処理536へ移り、0であれば処理537へ移る。
【0072】
処理536では経路領域データ5−21内の区分領域(Xb、Yb)に対応する要素の値を、経路透明度データ5−22−4内の、画素(Xb×10+i、Yb×10+j)に対応する要素に書き込み、また、経路赤画像データ5−22−1、経路緑画像データ5−22−2、経路青画像データ5−22−3内の同じ画素に対する要素には、経路を所定の色で表示するための3つの色成分データを書き込み、プログラムは処理538へ移る。本実施の形態では経路が緑色で表示されるように、経路緑画像データ5−22−2に数値255を書き込み、他の経路画像データ5−22−1,5−22−3には0を書き込んでいる。この数値255は適宜変更可能である。処理537では、区分領域(Xb、Yb)が経路上にないため、全ての経路画像データ5−22−1から5−22−3内の、画素(Xb×10+i、Yb×10+j)に対応する要素に0を書き込み、プログラムは処理538へ移る。処理538から処理548は上記の処理を全ての画素に対して行なうためのアドレス更新処理である。
【0073】
後に説明するように、経路上に位置する区分領域は半透明な色でもって移動物体画像に重畳して表示される。今の場合には経路は半透明の緑色でもって表示されることになる。処理536では、上記経路透明度データ5−22−4には経路領域データ5−21の値をそのまま使用しているため、複数回移動物体が通過したりあるいは移動物体の滞在時間が長い区分領域ほどその区分領域に対する経路透明度データの値が大きくなる。後に示されるように、本実施の形態では、経路透明度データの値が大きい区分領域は、それだけ濃い半透明色で表示される。このため、オペレータは、一目で移動物体の移動の滞在時間等の時間的な要因も確認することができる。
【0074】
(4e)移動物体画像抽出処理600
処理601から処理611(図20)までは、カメラ9の視野内の所定の領域あるいはフレーム画像50(図2)内のそれに対応する所定の領域に移動物体の少なくとも一部が位置したときに、その移動物体の画像を抽出する処理である。本実施の形態では、具体的には、視野内の上記所定の領域は、カメラ9の視野の中央部の縦長の空間領域であり、画面50内の上記対応する所定の領域は、画面50の中央に位置する縦長のスリット領域であると仮定している。フレーム画像上のこの所定の領域を以下では移動物体画像抽出領域と呼ぶ。すなわち、フレーム画像上の区分領域(8、0)から(8、12)までが、移動物体画像抽出領域として使用される。本実施の形態では移動物体の内の一定の割合が、この移動物体画像抽出領域に進入した時点を検出し、その時点のフレーム画像をこの移動物体の画像として記憶する方法を採る。この方法により、移動物体の大きさあるいはその移動経路に依らないで、移動物体が移動物体画像抽出領域に対してほぼ一定の相対的位置関係にあるときにその移動物体の画像を記憶することができる。
【0075】
処理601から609は、移動物体と移動物体画像抽出領域との間の相対的位置関係の変化を後に検出するときに用いる3つの画像変動領域数を計数するための処理である。処理601では処理すべき区分領域に付されたX方向の番号を表す変数Xbを、移動物体画像抽出領域を構成するすべての区分領域に共通なX方向の番号8に初期化し、処理すべき区分領域に付されたY方向の番号を表す変数Ybおよび移動物体画像抽出領域内に含まれる画像変動領域の数に関連する3つの変数now_count、old_count、same_countを0に初期化する。処理602は、画像変動領域データ5−19内の区分領域(Xb、Yb)に対応する要素の値が1であるかを調べ、1であれば、プログラムは処理603へ移り、1でなければ処理604へ移る。処理603はnow_countに1を加える。now_countは現在のフレーム画像内の、移動物体画像抽出領域に含まれる画像変動領域の総数を表す変数である。
【0076】
処理604は前フレーム画像変動領域データ5−20内の、区分領域(Xb、Yb)に対応する要素の値が1であるかを調べ、1であれば、プログラムは処理605へ移り、1でなければ処理606へ移る。処理603はold_countに1を加える。 old_countは前のフレーム画像内の移動物体画像抽出領域に含まれる画像変動領域の総数を表す変数である。
【0077】
処理606は画像変動領域データ5−19内の区分領域(Xb、Yb)に対応する要素の値が1であり、かつ前フレーム画像変動領域データ5−20内の区分領域(Xb、Yb)に対応する要素の値が1であるかを調べ、この区分領域(Xb、Yb)が2つの条件を満たせば処理607へ移り、2つの条件を満たせなければ処理608へ移る。処理607はsame_countに1を加える。same_countは、現在のフレーム画像および前のフレームのいずれにおいても画像変動領域であると判定された、移動物体画像抽出領域に属する区分領域の総数を表す変数である。処理608から処理609は上記の処理を移動物体画像抽出領域内の全区分領域に対して行うためのアドレス更新処理である。今の例では移動物体画像抽出領域は、区分領域(8、0)から(8、12)までであるので、このアドレス更新処理では、区分領域のY方向アドレスYbのみが更新されている。
【0078】
処理610から処理619(図21)では、移動物体画像データを作成する処理である。処理610は変数now_countが1以上であり、かつsame_countに2をかけた値を、now_countとold_countを足した値で割った値が0.48以下であるかを調べる。第1の条件は、現在のフレームの移動物体画像の少なくとも一部が移動物体画像抽出領域内の少なくとも一つの区分領域に保持されていることを示す。第2の条件の左辺は、移動物体画像の内、移動物体画像抽出領域内に存在する部分の割合を計るパラメータである。あるフレームで、移動物体画像が移動物体画像抽出領域に初めて進入したときには、 same_countはまだ0であるので、第2式左辺は0である。その後、移動物体画像の内、移動物体画像抽出領域内に存在する部分の割合が増えると、第2式左辺は増大する。しかし、この割合がそれほど大きくないとき、 same_countの値も小さく、第2式左辺は1よりかなり小さい値を採る。この割合が大きくなるほど、old_count、 now_count、same_countの値はいずれもほぼ同じ値に近づき、第2の条件の左辺は1に近づく。この割合がある程度の値に達すると、左辺の値は余り変化しない。したがって、第2式左辺の値は、移動物体画像の内、移動物体画像抽出領域内に存在する部分の割合がそれほど大きくないときに、比較的大きく変化する。本実施の形態は、以上のことを考慮して第2式左辺の値が飽和値1の半分より少し小さな値0.48以下の時のフレーム画像を移動物体画像として記憶するように構成されている。
【0079】
現在のフレームが処理610が指定する上記2つの条件を満たしていれば、プログラムは処理611へ移り、現在のフレームが2つの条件を満たしていなければ、プログラムは処理620へ移る。処理611では、処理すべき画素の座標X、Yを表す変数X、Yを0に初期化する。処理612は、移動物体画像データ5−23内の、画素(X、Y)に対応する要素に現在のフレーム画像データ5−5内の、同じ画素に対する要素を代入し処理613へ移る。処理613では経路付き移動物体画像抽出時間として、その時点の時間を経路付き移動物体画像抽出時間5−2−3に書き込む。処理614から処理618は上述の処理を全ての画素に対して行うためのアドレス更新処理である。処理619は移動物体画像データの作成が終了したことを示す変数Paste_flagに1を代入する。
【0080】
なお、移動物体画像抽出処理600が異なるフレームに対して繰り返される過程で、あるフレーム画像が処理610に示す二つの条件を満足した後に、後続のフレーム画像が同じ条件を満たすことが起きうる。その場合にも、上記処理612、613、614が繰り返され、それまでに記憶されていた移動物体画像データ5−23、経路付き移動物体画像抽出時間5−2−3は、上記後続のフレーム画像に対して抽出された移動物体画像データ、経路付き移動物体画像抽出時間により上書きされる。したがって、上記処理610の左辺の値が0.48を越えたフレーム画像の直前のフレーム画像に対する移動物体画像データ、経路付き移動物体画像抽出時間が、移動物体画像データ5−23、経路付き移動物体画像抽出時間5−2−3として保存されることになる。
【0081】
処理620から処理626(図22)までは、前フレーム画像変動領域データ5−20の更新処理である。処理620では、処理すべき区分領域に付された、X、Y方向の番号を表す変数Xb、Ybを0に初期化する。処理621は前フレーム画像変動領域データ5−20内の、区分領域(Xb、Yb)に対応する要素に画像変動領域データ5−19内の、区分領域(Xb、Yb)に対応する要素を代入し処理622へ移る。処理622から処理626は上述の処理を全ての区分領域に対して行うためのアドレス更新処理である。
【0082】
(4f)経路付き移動物体画像表示処理700
処理700から処理708(図23)までは、画像変動領域データ5−19により、フレーム画面内に存在する画像変動領域の総数をカウントする処理である。処理701では、処理すべき区分領域に付された、X、Y方向の番号を表す変数Xb、Ybおよび画像変動領域の数を表す変数all_countを0に初期化する。処理702は画像変動領域データ5−19内の区分領域(Xb、Yb)に対応する要素が1であるかを調べ、1であれば処理703へ移り、1でなければ処理704へ移る。処理703はall_countに1を加え処理704へ移る。処理704から処理708は上述の処理を全ての区分領域に対して行うためのアドレス更新処理である。このようにして、 all_countは、現フレーム画面内に存在する画像変動領域の総数を表す。この総数は以下に述べる処理において、移動物体がカメラ9の視野外に退出したタイミングを検出するのに使用される。
【0083】
処理709から処理726(図24)は、経路付き移動物体画像データ5−2−2を作成し表示する処理である。ここでは、移動物体が移動物体画像抽出領域を通過後画面から退出したときに、移動物体画像データ5−23の1/2縮小画像と経路画像データ5−22の1/2縮小画像を合成して経路付き移動物体画像データ5−2−2が生成される。このとき、経路画像が移動物体画像に半透明色で重畳して表示されるように、移動物体画像データ5−23と経路画像データ5−22が合成される。
【0084】
まず、処理709では移動物体画像の抽出後に移動物体が画面から退出したか否かを調べるため、Paste_flagが1であり、かつall_countが0であるか否かを判定する。現在のフレーム画像が2つの条件を満たしていれば、プログラムは処理710へ移り、現在のフレーム画像が2つの条件を満たしていなければ、プログラムは処理100へ移る。
【0085】
処理710では処理すべき画素のX、Y座標を表す変数X、Yを0に初期化する。処理711ではために、移動物体画像データ5−23の各色成分データ5−23−1、5−23−2または5−23−3内の画素(X×2、Y×2)に対応する要素と重み(1―α)との積に、経路画像データ5−22の対応する色成分データ5−22−1、5−22−2または5−22−3内の、画素(X×2、Y×2)に対応する要素と、経路画像データ5−22の経路透明度データ5−22−4内の、画素(X×2、Y×2)に対応する要素と、重みαとの積を加算し、得られる色データを経路付き移動物体画像データ5−2−2内の、画素(X、Y)に対応する要素に代入する。ここで重みαは1より小さく、0より大きい適当な値である。この処理711は赤、緑、青の各色成分に対して実行される。こうして、経路画像を半透明色で移動物体画像に重畳して表示するための画像データが得られる。なお、以上の計算から明らかなように、経路透明度データ5−22−4の要素の値が大きいほど、経路はより濃い半透明色で表示される。処理712から処理716は上記の処理を全ての画素に対して行うためのアドレス更新処理である。こうして、経路付き移動物体画像データ5−2−2が生成される。このとき、さらに、経路付き移動物体画像識別番号55−2−1が決定される。
【0086】
処理719から処理724は経路領域データ5−21と変数Paste_flagをゼロクリアするための処理である。処理718では処理すべき区分領域に付された、X、Y方向の番号を表す変数Xb、Ybを0に初期化する。処理719では経路領域データ5−21内の区分領域(X、Y)に対応する要素をゼロクリアする。処理720から処理724は上記の処理を全ての区分領域に対して行うためのアドレス更新処理である。処理725は経路付き移動物体画像データの作成が終わったことを示すためにPaste_flagに0を代入して処理726へ移る。
【0087】
処理726は、処理711で作成した経路付き移動物体画像データ5−2−2に対して、経路付き移動物体画像表示位置X(5−2−4)および経路付き移動物体画像表示位置Y(5−2−5)を決定し、その経路付き移動物体画像データ5−2−2を画面上の領域70内の決定された位置へ表示する。すでに表示されている経路付き移動物体画像があるときには、その画像に並べて新たな経路付き移動物体画像を表示するように、新たな画像の表示位置が決定される。処理726が終了すると新しいフレーム画像の入力を行う処理100へ移る。上記の処理により、移動物体を含んだ画像に、その移動物体の移動経路を付加した画像が作成され、表示される。
【0088】
以上の説明から明らかなように、本実施の形態によれば、移動物体の動き特徴の検出に過去2フレーム以上において異なった場所に存在した変動エッジを利用している。一般に監視カメラは静止させて撮影するため、背景のエッジは不動である。変動エッジを利用すると、背景で生じた部分のエッジを取り除くことができ、監視区域内に侵入した物体の動きのある部分のエッジのみ抽出できる。
【0089】
更に、移動物体の抽出に、領域毎に色特徴の時間的変化を調べる色特徴処理も利用すると、木の葉の揺れの様な画像の動き変化を含む領域がある場合にも、誤って抽出することがなくなる。
【0090】
また、人物が一旦立ち止って、その場で作業しているような動きを含む領域も、隣接する領域の経路領域データを用いると、移動物体の画像変動領域(経路領域)として判断することができる。
【0091】
更に、移動物体の経路となる領域を半透明色で表し、さらに、同一移動物体が何度も通過した領域や滞在時間が長い領域ほど半透明色を濃くして表示すると、オペレータは、一目で移動物体の経路の時間的な変化を確認することができる。
【0092】
なお、本発明は以上の実施の形態に限定されるのではなく、いろいろの実施の形態により実現可能である。たとえば、例えば、移動物体の検出方法も他の方法により実現可能である。本実施の形態は、移動物体画像抽出領域が画面中央に位置すると仮定したが、本発明はね他の位置と大きさを有する移動物体画像抽出領域の場合にも適用でき、その場合には処理600での初期設定値および処理608から処理609までのアドレス更新処理を適宜変更すればよい。
【0093】
以上の実施の形態に示された技術は、通行者という移動物体に適用されたが、車その他の移動物体にも適用可能である。さらに、以上の技術は、屋外を移動する移動物体の画像の抽出と移動経路の抽出に適用されたが、もとより屋内を移動する物体にも適用可能である。さらに、以上の技術は同時には一つの移動物体のみがカメラの視野内に存在する場合に適用されたが、同時に複数の物体が存在する場合にも、以上の技術の基本的なところはそのまま適用可能である。さらに、それらの複数の移動物体が同時にカメラの視野内に存在する場合にもそれぞれの移動物体の画像と移動経路を検出するように以上の技術を変形することも可能である。
【0094】
なお、実施の形態では、実時間で経路付き移動物体画像を表示していたが、複数の移動物体に対する複数の経路画像を外部情報記憶装置13に順次記憶し、後にこれらの画像を順次もしくは並べて表示する方法を採ってもよい。
【0095】
【発明の効果】
本発明によれば、移動物体を含んだ画像に、その移動物体の経路を付加した画像が自動的に生成され、表示されるため、監視者は監視領域への侵入物とその移動経路を簡単に知ることができる。
【図面の簡単な説明】
【図1】本発明に係る移動物体表示システムの一つの実施の形態の概略構成図である。
【図2】図1の装置においてディスプレイに表示される画面の一例を示す図である。
【図3】図1の装置において実行される移動物体の表示プログラムの概略フローチャートである。
【図4】図1の装置において使用されるプログラムとデータの一覧を示す図である。
【図5】図2に示されたデータの内、経路付き移動物体画像構造体のフォーマットを示す図である。
【図6】図3のフローチャート内の動き特徴抽出処理(200)の一部のフローチャートである。
【図7】図3のフローチャート内の動き特徴抽出処理(200)の他の部分のフローチャートである。
【図8】図3のフローチャート内の動き特徴抽出処理(200)のさらに他の部分のフローチャートである。
【図9】図3のフローチャート内の動き特徴抽出処理(200)のさらに他の部分のフローチャートのである。
【図10】図3のフローチャート内の動き特徴抽出処理(200)のさらに他の部分のフローチャートである。
【図11】図3のフローチャート内の動き特徴抽出処理(200)のさらに他の部分のフローチャートである。
【図12】図3のフローチャート内の色特徴抽出処理(300)の一部のフローチャートである。
【図13】図3のフローチャート内の色特徴抽出処理(300)の他の部分のフローチャートである。
【図14】図3のフローチャート内の色特徴抽出処理(300)のさらに他の部分のフローチャートである。
【図15】図3のフローチャート内の画像変動領域抽出処理(400)の一部のフローチャートである。
【図16】図3のフローチャート内の画像変動領域抽出処理(400)の他の部分のフローチャートである。
【図17】図3のフローチャート内の経路抽出処理(500)の一部のフローチャートである。
【図18】図3のフローチャート内の経路抽出処理(500)の他の部分のフローチャートである。
【図19】図3のフローチャート内の経路抽出処理(500)のさらに他の部分のフローチャートである。
【図20】図3のフローチャート内の移動物体画像抽出処理(600)の一部のフローチャートである。
【図21】図3のフローチャート内の移動物体画像抽出処理(600)の他の部分のフローチャートである。
【図22】図3のフローチャート内の移動物体画像抽出処理(600)のさらに他の部分のフローチャートである。
【図23】図3のフローチャート内の経路付き移動物体画像表示処理(700)の一部のフローチャートである。
【図24】図3のフローチャート内の経路付き移動物体画像表示処理(700)の他の部分のフローチャートである。
Claims (15)
- 撮像装置により撮像される所定の視野に進入した移動物体の移動経路を該撮像装置から供給される動画像信号に基づいて抽出する第1のステップと、
上記移動物体に対して抽出された上記移動経路の画像を表す第1の画像データを生成する第2のステップと、
上記移動物体の画像を表す第2の画像データを上記動画像信号に基づいて生成する第3のステップと、
上記移動物体に対して抽出された上記移動経路の画像と上記移動物体の画像との重畳画像を上記第1と第2の画像データに基づいて表示装置に表示する第4のステップとを有し、
上記表示装置の表示画面は、複数の区分領域に分割され、
上記移動経路は、上記複数の区分領域の内の、上記移動物体が存在する画像変動領域に含まれる一つの区分領域を通過点とする経路であることを特徴とする移動物体の表示方法。 - 上記移動物体より後に上記視野内に進入した少なくとも一つの他の移動物体に対して、他の重畳画像が当該他の移動物体に対して上記表示装置に表示されるように、上記第1のステップ〜上記第4のステップが繰り返されることを特徴とする請求項1記載の移動物体の表示方法。
- 上記移動物体に対する上記重畳画像と上記他の移動物体に対する重畳画像は並べて表示されることを特徴とする請求項2に記載の移動物体の表示方法。
- 上記移動物体に対する上記重畳画像と上記他の移動物体に対する重畳画像は順次表示されることを特徴とする請求項2に記載の移動物体の表示方法。
- 上記第2の画像データは、上記移動物体が上記視野内の所定の位置に存在するときに上記撮像装置により供給された上記移動物体の画像を表す画像データであり、
上記第1の画像データは、上記移動物体の画像に上記移動経路を重畳して表示するための画像データであることを特徴とする請求項1に記載の移動物体の表示方法。 - 上記第4のステップは、
上記移動物体が上記視野の外に退出したタイミングを上記移動物体の画像データの作成が既に終了していることと上記移動物体のいずれの一部も上記視野に存在しなくなった場合とから検出し、
上記移動物体に対して検出された上記タイミングにおいて、上記重畳画像を上記表示装置に表示するステップを有する請求項1に記載の移動物体の表示方法。 - 上記第1のステップは、
複数のフレームの各々において、上記移動物体が存在する画像変動領域の中の中心となる区分領域を上記一つの区分領域として検出するステップを有し、
上記移動経路の画像を表す上記第1の画像データは、上記複数のフレームの各々において検出された上記中心となる区分領域を表示するための画像データからなることを特徴とする請求項1に記載の移動物体の表示方法。 - 撮像装置から供給される動画像信号を処理するコンピュータと、
上記コンピュータに接続された表示装置とを有する移動物体の表示システムであって、
上記コンピュータは、
撮像装置により撮像される所定の視野に進入した移動物体に対して上記視野内での移動経路を該撮像装置から供給される動画像信号に基づいて抽出する移動経路抽出手段と、
上記移動物体に対して抽出された上記移動経路の画像を表す第1の画像データを生成する第1の画像データ生成手段と、
上記移動物体の画像を表す第2の画像データを上記動画像信号に基づいて生成する第2の画像データ生成手段と、
上記移動物体に対して抽出された移動経路の画像と上記移動物体の画像との重畳からなる重畳画像を上記第1と第2の画像データに基づいて表示装置に表示する重畳画像表示手段とを構成し、
上記表示装置の表示画面は、複数の区分領域に分割され、
上記移動経路は、上記複数の区分領域の内の、上記移動物体が存在する画像変動領域に含まれる一つの区分領域を通過点とする経路であるようにプログラムされることを特徴とする表示システム。 - 上記移動経路抽出手段、上記第1の画像データ生成手段、上記第2の画像データ生成手段及び上記重畳画像表示手段は、上記移動物体より後に上記視野内に進入した少なくとも一つの他の移動物体に対して繰り返し構成され、
上記移動物体に対する上記重畳画像と上記他の移動物体に対する重畳画像は上記表示装置に並べて表示されることを特徴とする請求項8記載の表示システム。 - 上記移動経路抽出手段は、
複数のフレームにおける、上記移動物体が存在する画像変動領域の中の中心となる区分領域を上記一つの区分領域として検出する検出手段を有し、
上記移動経路の画像を表す上記第1の画像データは、上記複数のフレームの各々において検出された上記中心となる区分領域を表示するための画像データからなることを特徴とする請求項8に記載の移動物体の表示システム。 - 上記検出手段は、
複数のフレームの各々に対して、その各フレームに対して上記撮像装置により供給された、上記移動物体を含む複数のエッジの内、時間的に位置が変動する複数の変動エッジに属する複数の変動エッジ画素を検出する手段と、
上記各フレームに対して検出された上記複数の変動エッジ画素の位置に基づいて、上記移動物体を表す画像のエッジが位置する上記画像変動領域を検出する手段と、
上記各フレームに対して検出された上記画像変動領域の位置に基づいて、上記一つの区分領域を検出する手段とを有することを特徴とする請求項10記載の移動物体の表示システム。 - 上記移動経路抽出上記手段は、
区分領域毎に、複数のフレームの各々に対して画像の動き特徴を抽出する動き特徴抽出手段と、
区分領域毎に、複数のフレームの各々に対して色特徴を抽出する色特徴抽出手段と、
区分領域毎に、複数のフレームの各々に対して、その各フレームに対して抽出された動き特徴と、その各フレームおよびそのフレームに先行する複数のフレームの各々に対して抽出された色特徴とに基づいて、その区分領域に移動物体が存在するかを判定する判定手段と、
上記判定手段の判定結果に依存して、そのフレームでの上記移動物体の位置を判別する判別手段とを有することを特徴とする請求項8に記載の移動物体の表示システム。 - 各区分領域の上記画像の動き特徴は、上記撮像装置により撮影された画像の内、時間的に位置が変動する部分がその区分領域に含まれているか否かに関連し、
各区分領域の上記色特徴は、その区分領域を代表する色に関連する請求項12に記載の移動物体の表示システム。 - 撮像装置から供給される動画像信号を処理するコンピュータと、上記コンピュータに接続された表示装置とを有する移動物体表示システムにおいて使用されるべきプログラムを記憶したプログラム記録媒体であって、
上記プログラムは、上記コンピュータに、
撮像装置により撮像される所定の視野に進入した移動物体に対して上記視野内での移動経路を該撮像装置から供給される動画像信号に基づいて抽出する第1のステップと、
上記移動物体に対して抽出された上記移動経路の画像を表す第1の画像データを生成する第2のステップと、
上記移動物体の画像を表す第2の画像データを上記動画像信号に基づいて生成する第3のステップと、
上記移動物体に対して抽出された移動経路の画像と上記移動物体の画像との重畳からなる重畳画像を上記第1と第2の画像データに基づいて表示装置に表示する第4のステップとを実行し、
上記表示装置の表示画面は、複数の区分領域に分割され、
上記移動経路は、上記複数の区分領域の内の、上記移動物体が存在する画像変動領域に含まれる一つの区分領域を通過点とする経路であることを特徴とするプログラム記録媒体。 - 上記第1のステップ〜上記第4のステップは、上記移動物体より後に上記視野内に進入した少なくとも一つの他の移動物体に対して繰り返し実行され、
上記移動物体に対する上記重畳画像と上記他の移動物体に対する重畳画像は上記表示装置に表示されることを特徴とする請求項14記載のプログラム記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25460397A JP3601951B2 (ja) | 1996-09-20 | 1997-09-19 | 移動物体の表示方法、それを用いた表示システムおよびそのためのプログラム記録媒体 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8-249591 | 1996-09-20 | ||
JP24959196 | 1996-09-20 | ||
JP25460397A JP3601951B2 (ja) | 1996-09-20 | 1997-09-19 | 移動物体の表示方法、それを用いた表示システムおよびそのためのプログラム記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10150657A JPH10150657A (ja) | 1998-06-02 |
JP3601951B2 true JP3601951B2 (ja) | 2004-12-15 |
Family
ID=26539378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25460397A Expired - Lifetime JP3601951B2 (ja) | 1996-09-20 | 1997-09-19 | 移動物体の表示方法、それを用いた表示システムおよびそのためのプログラム記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3601951B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001313861A (ja) * | 2000-02-21 | 2001-11-09 | Fujitsu Ltd | 画像撮影装置、データ管理装置、媒体、およびプログラム |
JP4706535B2 (ja) * | 2006-03-30 | 2011-06-22 | 株式会社日立製作所 | 複数カメラを用いた移動物体監視装置 |
JP4541316B2 (ja) | 2006-04-06 | 2010-09-08 | 三菱電機株式会社 | 映像監視検索システム |
JP4957263B2 (ja) * | 2007-01-23 | 2012-06-20 | カシオ計算機株式会社 | 撮像装置、撮像方法及びそのプログラム |
WO2019077750A1 (ja) * | 2017-10-20 | 2019-04-25 | 三菱電機株式会社 | データ処理装置、プログラマブル表示器およびデータ処理方法 |
-
1997
- 1997-09-19 JP JP25460397A patent/JP3601951B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH10150657A (ja) | 1998-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0831422B1 (en) | Method of displaying moving object for enabling identification of its moving route, display system using the same, and program recording medium therefor | |
US7003135B2 (en) | System and method for rapidly tracking multiple faces | |
US6404455B1 (en) | Method for tracking entering object and apparatus for tracking and monitoring entering object | |
Jabri et al. | Detection and location of people in video images using adaptive fusion of color and edge information | |
KR101064573B1 (ko) | 입자 여과를 이용하여 이동 물체를 추적하는 시스템 | |
Cavallaro et al. | Shadow-aware object-based video processing | |
CN111191570B (zh) | 图像识别方法和装置 | |
JP6364743B2 (ja) | 情報処理装置、制御方法、プログラム、及び情報システム | |
CN109271886A (zh) | 一种教育考试监控视频的人体行为分析方法及系统 | |
KR20180003304A (ko) | 영상 축약 시스템 및 방법 | |
JPH07168932A (ja) | ビデオ画像中の人間を探索する方法 | |
CN111932596B (zh) | 摄像头遮挡区域的检测方法、装置、设备和存储介质 | |
KR101645959B1 (ko) | 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법 | |
KR20180003309A (ko) | 영상 축약 시스템 및 방법 | |
KR101548639B1 (ko) | 감시 카메라 시스템의 객체 추적장치 및 그 방법 | |
JP2010057105A (ja) | オブジェクトの3次元追跡方法およびシステム | |
US20240096094A1 (en) | Multi-view visual data damage detection | |
CN106934819A (zh) | 一种提高图像中运动物体检测精度的方法 | |
US9436996B2 (en) | Recording medium storing image processing program and image processing apparatus | |
EP0780003B1 (en) | Method and apparatus for determining the location of a reflective object within a video field | |
JP3601951B2 (ja) | 移動物体の表示方法、それを用いた表示システムおよびそのためのプログラム記録媒体 | |
JP4192719B2 (ja) | 画像処理装置および方法、並びにプログラム | |
CN112989958A (zh) | 基于YOLOv4与显著性检测的安全帽佩戴识别方法 | |
JP2001043383A (ja) | 画像監視システム | |
JPH0514891A (ja) | 画像監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20031219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040914 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040921 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081001 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091001 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101001 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111001 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121001 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121001 Year of fee payment: 8 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121001 Year of fee payment: 8 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131001 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |