JPH08167022A - 画像監視装置 - Google Patents

画像監視装置

Info

Publication number
JPH08167022A
JPH08167022A JP6307696A JP30769694A JPH08167022A JP H08167022 A JPH08167022 A JP H08167022A JP 6307696 A JP6307696 A JP 6307696A JP 30769694 A JP30769694 A JP 30769694A JP H08167022 A JPH08167022 A JP H08167022A
Authority
JP
Japan
Prior art keywords
image
moving object
area
small
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6307696A
Other languages
English (en)
Inventor
Hiroshi Fukuda
浩 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP6307696A priority Critical patent/JPH08167022A/ja
Publication of JPH08167022A publication Critical patent/JPH08167022A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【目的】移動物体の検出と追跡が確実に行え、さらにそ
の処理速度の向上が図れる画像監視装置を提供できる。 【構成】ITVカメラ1で撮像されて電気信号に変換さ
れ、さらにA/D変換器11でデジタル信号に変換され
て画像メモリ12に時系列に取込まれた画像に対し、領
域分割部20で小領域に分割された画像と画像メモリ1
2に取込まれた画像とで、変化領域抽出部13におい
て、領域分割部20で分割された各小領域とその画素値
が類似する小領域を画像メモリ12に取込まれた画像か
ら抽出する処理を行い、移動物体抽出部14では、その
類似する小領域間の位置の変化をもとに移動物体の検出
を行い、警報装置5を駆動したり、表示制御部15を介
して表示装置4に移動物体が検出された旨を表示する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、監視領域内の移動物体
を検出し、その移動物体を追跡する画像監視装置に関す
る。
【0002】
【従来の技術】この種の画像監視装置として、例えば、
次のようなものが知られている。すなわち、監視領域内
の画像をITVカメラによって撮像して、電気信号に変
換する。このITVカメラで撮像された画像は伝送路に
よって処理装置およびビデオテープレコーダ(以後、単
にVTRと略称する。)やビデオプリンタ等の記録装置
に送られる。記録装置はITVカメラで撮像された画像
を連続的あるいは移動物体(以後、侵入物体と言うこと
もある。)を検出した場合に記録し、事後に、その記録
された画像を見て侵入物体の確認ができるようになって
いる。
【0003】一方、処理装置に送られた画像信号は、あ
る一定のタイミングに従ってデジタルデータに変換され
た後、画像メモリに順次入力する。このようにして、時
系列に入力された複数枚の画像と、背景画像として取り
込まれた画像とで、差分演算および2値化演算処理を行
うことにより、画素が「1」として検出された変化領域
を切り出す。そして、例えば、この変化領域の射影を用
いて、その射影値の一定値以上の領域に移動物体が検出
されたとし、警報装置等を動作させるものである。この
とき、検出された移動物体の画像データは、所定のメモ
リに記憶され、その後の移動物体の追跡処理等のために
用いられる。
【0004】このように検出された移動物体の移動経路
を追跡したい場合、すでに記憶されている移動物体の画
像データと、次に新たに取り込まれた画像とでその射影
パターンのマッチングを行って、その新たに取り込まれ
た画像から射影パターンが最もよくあう領域を、すでに
検出されている移動物体に対応する領域として、そのデ
ータを記憶することにより、移動物体の追跡が可能とな
る。このようにして記憶された移動物体の追跡データを
もとに、例えば、移動物体の移動経路を1つの画像に表
示するようになっている。
【0005】また、検出された移動物体を認識するため
には、例えば、その移動物体の射影をパターンが、あら
かじめ定められたある特定の検出対象物体の射影パター
ンとどれだけ一致しているかをもとに、検出された移動
物体が検出対象物体であるか否かを判断するようになっ
ている。
【0006】
【発明が解決しようとする課題】上述した従来の画像監
視装置で用いられる移動物体検出方法では、背景に検出
対象の移動物体以外の複数の移動物体があるような場所
において、背景画像との差分で移動物体を抽出したので
は検出対象の移動物体以外の移動物体を抽出する場合が
あり、検出精度が劣るという問題点があった。
【0007】また、検出対象の移動物体の移動経路を追
跡する際、従来の方法では、次に取り込まれた画像中、
すでに検出された移動物体の射影パターンに最もよくマ
ッチングする領域を求めていたので、移動物体どうしの
隠蔽により検出対象である移動物体を検出するのが困難
となり、そのためその移動物体の追跡も困難となるとい
う問題点があった。また、検出対象の移動物体の追跡処
理は、射影パターンのマッチングを全ての移動物体にわ
たって行うため、その処理に時間がかかるという問題点
があった。
【0008】また、人間のように、その一部が時々少し
づつ変形する物体を認識したい場合、従来の移動物体検
出方法では、前述したように、その移動を検出するのが
困難であり、また、その追跡処理に時間がかかるという
問題点があった。そこで本発明は、移動物体の検出と追
跡が確実に行え、さらにその処理速度の向上が図れる画
像監視装置を提供することを目的とする。
【0009】
【課題を解決するための手段】本発明の画像監視装置
は、監視領域内の画像を連続的に撮像する撮像手段と、
この撮像手段で撮像された画像をデジタル化して連続的
に取込む画像取込手段と、この画像取込手段でデジタル
化された画像をあらかじめ定められた大きさの小領域に
分割する画像分割手段と、この画像分割手段で分割され
た各小領域に対応する小領域を前記画像取込手段で連続
的に取込まれた画像から検出して、その小領域の分布を
もとに前記監視領域内における移動物体を検出する移動
物体検出手段とを具備している。
【0010】また、本発明の画像監視装置は、監視領域
内の画像を連続的に撮像する撮像手段と、この撮像手段
で撮像された画像をデジタル化して連続的に取込む画像
取込手段と、この画像取込手段でデジタル化された画像
をあらかじめ定められた大きさの小領域に分割する画像
分割手段と、この画像分割手段で分割された各小領域に
対応する小領域を前記画像取込手段で連続的に取込まれ
た画像から検出して、その小領域の分布をもとに前記監
視領域内における移動物体を検出する移動物体検出手段
と、この移動物体検出手段で移動物体が検出されたと
き、その移動物体が検出された画像から、追跡対象の移
動物体を構成する各小領域に対応する小領域を検出し
て、その小領域で構成される移動物体を前記追跡対象の
移動物体に対応する移動物体として、その移動経路を追
跡する追跡手段とを具備している。
【0011】また、本発明の画像監視装置は、監視領域
内の画像を連続的に撮像する撮像手段と、この撮像手段
で撮像された画像をデジタル化して連続的に取込む画像
取込手段と、この画像取込手段でデジタル化された画像
をあらかじめ定められた大きさの小領域に分割する画像
分割手段と、この画像分割手段で分割された各小領域に
対応する小領域を前記画像取込手段で連続的に取込まれ
た画像から検出して、その小領域の分布をもとに前記監
視領域内における移動物体を検出する移動物体検出手段
と、この移動物体検出手段で移動物体が検出されたと
き、その移動物体が検出された画像から、追跡対象の移
動物体を構成する各小領域がほぼ平行移動している小領
域を検出し、その小領域で構成される移動物体を前記追
跡対象の移動物体に対応する移動物体として、その移動
経路を追跡する追跡手段とを具備している。
【0012】また、本発明の画像監視装置は、監視対象
物体が存在する監視領域内の画像を連続的に撮像する撮
像手段と、この撮像手段で撮像された画像をデジタル化
して連続的に取込む画像取込手段と、この画像取込手段
でデジタル化された画像をあらかじめ定められた大きさ
の小領域に分割する画像分割手段と、この画像分割手段
で分割されて得られた各小領域に対応する小領域を前記
画像取込手段で連続的に取込まれた画像から検出して、
その小領域の移動方向をもとに、前記監視領域内におけ
る前記監視対象物体の移動方向を検出する移動方向検出
手段と、この移動方向検出手段で検出された監視対象物
体の移動方向をもとに、前記監視対象物体の移動方向を
乱す異常物体を検出する異常物体検出手段とを具備して
いる。
【0013】また、本発明の画像監視装置は、監視対象
物体が存在する監視領域内の画像を連続的に撮像する撮
像手段と、この撮像手段で撮像された画像をデジタル化
して連続的に取込む画像取込手段と、この画像取込手段
でデジタル化された画像をあらかじめ定められた大きさ
の小領域に分割する画像分割手段と、この画像分割手段
で分割されて得られた各小領域に対応する小領域を前記
画像取込手段で連続的に取込まれた画像から検出して、
その小領域間の連結関係をもとに、前記監視領域内にお
ける前記監視対象物体を認識する認識手段とを具備して
いる。
【0014】また、本発明の画像監視装置は、監視領域
内の画像を連続的に撮像する撮像手段と、この撮像手段
で撮像された画像をデジタル化して連続的に取込む画像
取込手段と、この画像取込手段でデジタル化された画像
をあらかじめ定められた大きさの小領域に分割する画像
分割手段と、この画像分割手段で分割された各小領域に
ついて、その画素パターンが最も類似する小領域を前記
画像取込手段で連続的に取込まれた画像から検出する第
1の検出手段と、画素パターンが互いに最も類似する前
記画像分割手段で分割された小領域の位置と前記第1の
検出手段で検出された小領域の位置とを比較することに
より、前記監視領域内における移動物体を検出する第2
の検出手段と、この第2の検出手段で移動物体が検出さ
れたとき、前記第1の検出手段で検出された小領域で構
成される移動物体を抽出する移動物体抽出手段とを具備
している。
【0015】また、本発明の画像監視装置は、監視領域
内の画像を連続的に撮像する撮像手段と、この撮像手段
で撮像された画像をデジタル化して連続的に取込む画像
取込手段と、この画像取込手段でデジタル化された画像
をあらかじめ定められた大きさの小領域に分割する画像
分割手段と、この画像分割手段で分割された各小領域に
ついて、その画素パターンが最も類似する小領域を前記
画像取込手段で連続的に取込まれた画像から検出する第
1の検出手段と、画素パターンが互いに最も類似する前
記画像分割手段で分割された小領域の位置と前記第1の
検出手段で検出された小領域の位置とを比較することに
より、前記監視領域内における移動物体を検出する第2
の検出手段と、この第2の検出手段で検出された移動物
体を追跡対象の移動物体として記憶する記憶手段と、前
記第2の検出手段で移動物体が検出されたとき、その移
動物体が検出された画像から、前記第1の記憶手段です
でに記憶されている追跡対象の移動物体を構成する各小
領域に、その画素パターンが最も類似する小領域を検出
して、その小領域で構成される移動物体を前記追跡対象
の移動物体に対応する移動物体として、その移動経路を
追跡する追跡手段とを具備している。
【0016】また、本発明の画像監視装置は、監視領域
内の画像を連続的に撮像する撮像手段と、この撮像手段
で撮像された画像をデジタル化して連続的に取込む画像
取込手段と、この画像取込手段でデジタル化された画像
をあらかじめ定められた大きさの小領域に分割する画像
分割手段と、この画像分割手段で分割された各小領域に
ついて、その画素パターンが最も類似する小領域を前記
画像取込手段で連続的に取込まれた画像から検出する第
1の検出手段と、画素パターンが互いに最も類似する前
記画像分割手段で分割された小領域の位置と前記第1の
検出手段で検出された小領域の位置とを比較することに
より、前記監視領域内における移動物体を検出する第2
の検出手段と、この第2の検出手段で検出された移動物
体を追跡対象の移動物体として記憶する記憶手段と、前
記第2の検出手段で移動物体が検出されたとき、その移
動物体が検出された画像から、前記記憶手段ですでに記
憶されている追跡対象の移動物体を構成する各小領域に
その画素パターンが最も類似し、かつ、前記追跡対象の
移動物体を構成する各小領域間の距離を基準とした連結
関係が最も類似している小領域を検出して、その小領域
で構成される移動物体を前記追跡対象の移動物体に対応
する移動物体として、その移動経路を追跡する追跡手段
とを具備している。
【0017】また、本発明の画像監視装置は、監視領域
内の画像を連続的に撮像する撮像手段と、この撮像手段
で撮像された画像をデジタル化して連続的に取込む画像
取込手段と、この画像取込手段でデジタル化された画像
をあらかじめ定められた大きさの小領域に分割する画像
分割手段と、この画像分割手段で分割された各小領域に
ついて、その画素パターンが最も類似する小領域を前記
画像取込手段で連続的に取込まれた画像から検出する第
1の検出手段と、画素パターンが互いに最も類似する前
記画像分割手段で分割された小領域の位置と前記第1の
検出手段で検出された小領域の位置とを比較することに
より、前記監視領域内における移動物体を検出する第2
の検出手段と、この第2の検出手段で検出された移動物
体を追跡対象の移動物体として記憶する記憶手段と、前
記第2の検出手段で移動物体が検出されたとき、その移
動物体が検出された画像から、前記記憶手段ですでに記
憶されている追跡対象の移動物体を構成する各小領域毎
にその画素パターンが類似する小領域を所定数だけ検出
する第3の検出手段と、この第3の検出手段で前記追跡
対象の移動物体を構成する各小領域毎に検出された所定
数の小領域から、前記追跡対象の移動物体と、その各小
領域間の距離を基準とした連結関係が最も類似している
小領域を検出して、その小領域で構成される移動物体を
前記追跡対象の移動物体に対応する移動物体として、そ
の移動経路を追跡する追跡手段とを具備している。
【0018】また、本発明の画像監視装置は、監視対象
物体が存在する監視領域内の画像を連続的に撮像する撮
像手段と、この撮像手段で撮像された画像をデジタル化
して連続的に取込む画像取込手段と、この画像取込手段
でデジタル化された画像をあらかじめ定められた大きさ
の小領域に分割する画像分割手段と、この画像分割手段
で分割されて得られた各小領域について、その画素パタ
ーンが最も類似する小領域を前記画像取込手段で連続的
に取込まれた画像から検出する第1の検出手段と、この
第1の検出手段で検出された互いに画素パターンが類似
する小領域間の移動方向と、前記監視領域内における前
記監視対象物体の基準移動方向を比較することにより、
前記監視対象物体の移動方向を乱す異常物体を検出する
異常物体検出手段とを具備している。
【0019】さらに、本発明の画像監視装置は、監視対
象物体が存在する監視領域内の画像を連続的に撮像する
撮像手段と、この撮像手段で撮像された画像をデジタル
化して連続的に取込む画像取込手段と、この画像取込手
段でデジタル化された画像をあらかじめ定められた大き
さの小領域に分割する画像分割手段と、この画像分割手
段で分割されて得られた各小領域について、その画素パ
ターンが最も類似する小領域を前記画像取込手段で連続
的に取込まれた画像から検出して、その小領域で構成さ
れる移動物体を抽出する移動物体抽出手段と、この移動
物体抽出手段で抽出された移動物体について、それを構
成する小領域間の連結関係が変動している部位をもと
に、前記監視対象物体を認識する認識手段とを具備して
いる。
【0020】
【作用】監視領域内を撮像し、デジタル化して時系列に
取込まれた画像(取込画像)と小領域に分割された画像
とで、その画素パターンが最も類似する小領域を取込画
像から検出し、それら小領域間の位置を比較することに
より、前記監視領域内における移動物体を検出し、その
小領域で構成される移動物体を前記取込画像から抽出す
ることにより、前記監視領域内に複数の移動物体が存在
する場合でも、検出対象である移動物体の検出が確実に
行える。
【0021】また、前述のように移動物体を検出した
ら、その移動物体が検出された取込画像から、追跡対象
の移動物体を構成する各小領域と画素パターンが最も類
似する小領域を検出して、その小領域で構成される移動
物体を追跡対象の移動物体に対応する移動物体として、
その移動経路を追跡することにより、前記監視領域内に
複数の移動物体が存在して、移動物体どうしの隠蔽等の
可能性がある場合でも確実に追跡対象である移動物体を
検出して、その移動経路の追跡が可能となる。
【0022】また、前述のように移動物体を検出した
ら、その移動物体が検出された取込画像から、追跡対象
の移動物体を構成する各小領域と画素パターンが最も類
似し、かつ、移動物体を構成する各小領域間の距離を基
準とした連結関係が最も類似している小領域を検出し
て、その小領域で構成される移動物体を追跡対象の移動
物体に対応する移動物体として、その移動経路を追跡す
ることにより、より確実に追跡対象である移動物体を検
出して、その移動経路の追跡が可能となる。
【0023】また、前述のように移動物体を検出した
ら、その移動物体が検出された取込画像から、追跡対象
の移動物体を構成する各小領域と画素パターンが最も類
似する小領域を所定数だけ検出し、さらに、その所定数
の小領域から、前記追跡対象の移動物体と、その各小領
域間の距離を基準とした連結関係が最も類似している小
領域を検出して、その小領域で構成される移動物体を追
跡対象の移動物体に対応する移動物体として、その移動
経路を追跡することにより、より高速に移動物体の追跡
が可能となる。
【0024】また、監視対象物体が存在する監視領域内
を撮像し、デジタル化して時系列に取込まれた画像(取
込画像)と小領域に分割された画像とで、その画素パタ
ーンが最も類似する小領域を取込画像から検出し、この
画素パターンが最も類似する小領域間の移動方向と、前
記監視領域内における前記監視対象物体の基準移動方向
を比較して、前記監視対象物体の移動方向を乱す異常物
体を検出することにより、前記監視対象物体の移動経路
を乱す異常物体の検出が容易にしかも高速に行うことが
可能となる。
【0025】さらに、監視対象物体が存在する監視領域
内を撮像し、デジタル化して時系列に取込まれた画像
(取込画像)と小領域に分割された画像とで、その画素
パターンが最も類似する小領域を取込画像から検出し
て、それらの小領域で構成される移動物体について、そ
れを構成する小領域間の連結関係が変動している部位を
もとに、前記監視対象物体を認識することにより、例え
ば、人間のように、前記監視対象物体が、その全体が変
動するのではなく、位置部分が時々変動するものである
場合に、その監視対象物体の認識が容易に行える。
【0026】
【実施例】以下、本発明の実施例について図面を参照し
て説明する。図1は、本実施例に係る画像監視装置を概
略的に示したものである。すなわち、撮像手段としての
例えばITVカメラ1は監視領域7内の画像を撮像し、
電気信号に変換する。このITVカメラ1で撮像された
画像信号は、伝送路2によって処理装置3および表示装
置4に送られる。表示装置4は、ITVカメラ1で撮像
された画像を表示し、処理装置3は、ITVカメラ1で
撮像された画像を連続的に取り込み、移動物体検出のた
めの画像処理や各種判断等を行う。その結果、移動物体
が検出されると、表示装置4の画面上に移動物体検出の
表示を行ったり、警報装置5によりアラーム音を発した
りするようになっている。
【0027】まず、第1の実施例について説明する。図
2は、第1の実施例に係る画像監視装置の要部を概略的
に示すものである。尚、図1と同一部分には同一符号を
付して説明する。図2において、ITVカメラ1からの
画像信号は、一定時間間隔で連続的にA/D変換器11
でデジタル信号に変換され、たとえば、時刻tの画像デ
ータItとして画像メモリ12に取り込まれる(以後、
画像メモリ12に取り込まれた画像を取込み画像という
こともある。)。
【0028】画像メモリ12に取り込まれた画像は、領
域分割部20において、あらかじめ定められた大きさの
小領域に分割され、各小領域毎にその画像情報、すなわ
ち、画素値を具備されたメモリに記憶するものである。
このとき、小領域の大きさとしては、例えば、取込画像
に人物が正面を向いて写っている場合、その人物の横方
向に4分割、高さ方向に8分割して、その人物像を32
分割するような大きさが考えられる。
【0029】次に、領域分割部20における領域分割処
理について図3、図4を参照して説明する。図3は領域
分割処理を説明するためのフローチャートを示したもの
である。まず、ステップS1で、例えば時刻tの取込画
像Itをあらかじめ定められた小領域Btに分割する。
尚、以下の説明において、取込画像Itを分割して得ら
れた小領域をBtとし、また、小領域Btの取込画像I
tに対する位置を特定するために、取込画像Itの幅方
向の座標をx、高さ方向の座標をyとすると、小領域B
tの取込画像Itに対する位置をBt(x、y)と示
し、これを用いて各小領域を区別する。例えば、図4に
示すように、取込画像Itの幅方向に5分割、高さ方向
に5分割すると、小領域は全部で25個得られ、小領域
Bt(2、1)とは、取込画像Itのx=2、y=1の
位置にある小領域である。次に、ステップS2に進み、
取込画像It内の全ての小領域Bt(x、y)内の各画
素における画素値を記憶する。
【0030】変化領域抽出部13では、領域分割部20
で分割されて得られた小領域Bt(x、y)に対応する
小領域を、この領域分割部20で分割された画像に続い
て画像メモリ12に取り込まれた画像から抽出する処理
を行うものである。すなわち、時刻t、時刻t+1と時
系列に画像メモリ12に取込まれた画像をそれぞれI
t、It+1とすると、画像Itは領域分割部20で小
領域Bt(x、y)に分割されるが、この各小領域Bt
(x、y)に最も画素値が近いものを、その小領域Bt
(x、y)に対応する領域として画像It+1から抽出
するものである。
【0031】次に、図5に示すフローチャートを参照し
て、変化領域抽出部13で実行される処理について説明
する。まず、ステップS3に進み、取込画像Itの探索
領域内の小領域Bt(x、y)の開始アドレスを(x、
y)を設定する。ここでは、例えば、図4に示した取込
画像Itの分割例の場合、開始アドレスを(0、0)と
設定する。次に、ステップS4に進み、この小領域Bt
(0、0)に対応する小領域を画像It+1から抽出す
る処理を行う。
【0032】このステップS4の処理について図6に示
すフローチャートを参照して説明する。まず、ステップ
S10で、画像It+1内の適当な画素点(u、v)に
探索開始位置を設定し、例えば、その点を先頭アドレス
とする小領域Bt(x、y)とその幅と高さが等しい大
きさの小領域が画像It+1に設定される。ここで、画
像It+1の画素点(u、v)とは、画像It+1の幅
方向の座標がu、高さ方向の座標がvの位置にある画素
点であり、このときの画像It+1上の小領域をBt+
1(u、v)と表す。ここでは、例えば、画像It+1
上の最初に探索が開始される小領域は、画像It+1上
のu=0、v=0に位置する画素点をその小領域の先頭
アドレスとした小領域Bt+1(0、0)とする。
【0033】次に、ステップS11に進み、画像It+
1の小領域Bt(x、y)と画像It+1の小領域Bt
+1(u、v)との間で画素値の一致度Sを求める。一
致度Sとは、小領域Bt(x、y)内の各画素値と、そ
れに対応する画像It+1の小領域Bt+1(u、v)
の画素値との差分(絶対値)を小領域Bt(x、y)、
小領域Bt+1(u、v)内にわたって算出してさらに
それらを加算したものとして表される。すなわち、小領
域Bt(x、y)内の各画素値を、小領域Bt(x、
y)内の幅方向の座標がn、高さ方向の座標がmに位置
する画素の画素値としてBt(x、y)(n、m)と表
し、小領域Bt+1(u、v)内の各画素値を、小領域
Bt+1(u、v)内の幅方向の座標がn、高さ方向の
座標がmに位置する画素の画素値としてBt+1(u、
v)(n、m)と表すとき、一致度Sは、小領域内の全
てのn、mについて画素値の差分を算出して、その結果
を加算すればよいから、
【0034】
【数1】 と表せる。ここで、例えば、画像Itの小領域Bt
(0、0)と画像It+1の小領域Bt+1(0、0)
との間で一致度Sを算出した場合、
【0035】
【数2】 と表せる。
【0036】この一致度Sの算出は、画像Itの小領域
に対応して、画像It+1の探索領域内において行われ
る。ここで、画像It+1の探索領域とは、例えば、画
像Itの各小領域と等しい位置とその周辺の領域を含め
た領域である。従って、この画像It+1の探索領域内
の全ての小領域について一致度Sの算出が終了するまで
画像It+1上の小領域のアドレス(u、v)を更新し
ながらステップS11の処理を実行する(ステップS1
2〜ステップS13)。例えば、画像Itの小領域Bt
(0、0)と画像It+1の小領域Bt+1(0、0)
との間で一致度Sを算出したら、次に、小領域のアドレ
スを(1、0)に更新して、画像Itの小領域Bt
(0、0)と画像It+1の小領域Bt+1(1、0)
との間で一致度Sを算出して、画像It+1の探索領域
内に存在し得る全ての小領域について一致度Sを算出す
る。
【0037】ステップS12で、画像It+1の探索領
域内の全ての小領域について一致度Sの算出が終了した
ら、ステップS14に進み、前述のステップS11〜ス
テップS13の処理により算出された画像It+1の探
索領域内の全ての小領域のうち、一致度Sが最小のもの
を画像Itの小領域Bt(x、y)、例えば、小領域B
t(0、0)に対応する小領域として、そのアドレス
(u、v)、画素値等を記憶する。以上の処理で画像I
tの1つの小領域Bt(x、y)に対応する画像It+
1の小領域Bt+1(u、v)が抽出されたことにな
る。すなわち、例えば、小領域Bt(0、0)の場合、
その各画素値が最も近い画像It+1の小領域Bt+1
(u、v)が抽出されて図5のステップS4の処理が終
了する。
【0038】このステップS4の処理は、画像Itの探
索領域内において行われる。ここで、画像Itの探索領
域とは、画像It上の全ての小領域としてもよいし、ま
た、移動物体が検出される可能性が高い適当な小領域群
に限定してもよい。従って、この画像Itの探索領域内
の全ての小領域について、ステップS4の処理が終了す
るまで画像Itの小領域のアドレス(x、y)を更新し
ながらステップS4の処理を実行する(ステップS5〜
ステップS6)。例えば、画像Itの小領域Bt(0、
0)に対応する小領域を画像It+1から抽出したら、
次に、小領域のアドレスを(1、0)に更新して画像I
tの小領域Bt(1、0)に対応する小領域を画像It
+1から抽出して、画像Itの探索領域内の全ての小領
域について、その対応する小領域を画像It+1から抽
出する。
【0039】図2の説明に戻り、変化領域抽出部13で
は、変化領域抽出部13で領域分割部20で分割されて
得られた各小領域Bt(x、y)に対応する小領域を画
像It+1から抽出されると、小領域Bt(x、y)の
位置から、それに対応する画像It+1の小領域の位置
へ変化を表す移動ベクトルを求める。
【0040】移動物体抽出部14では、求められた移動
ベクトルをもとにして、画像Itの小領域Bt(x、
y)の位置と、その小領域に対応する画像It+1の小
領域の位置とを比較して、移動物体の検出を行う。具体
的には、例えば画像Itの小領域Bt(x、y)の位置
として、図4の画像Itの分割例の場合、小領域Bt
(x、y)の先頭アドレス(小領域Bt(x、y)内で
画像Itの原点(x=0、y=0)に最も近い位置にあ
る画素点のアドレス)と、画像It+1の対応する小領
域Bt+1(u、v)先頭アドレスとを比較し、その差
が所定の画素数以上ある場合に移動物体を検出する。
【0041】また、移動物体が検出されると、変化領域
抽出部13で求められた小領域Bt(x、y)の位置か
ら、それに対応する画像It+1の小領域の位置へ変化
を表す移動ベクトルをもとに、この変化領域抽出部13
で抽出された画像It+1の小領域にラベル付けを行
い、画像It+1上でこれらの小領域がまとまった領域
を抽出して、移動物体領域を抽出するようになってい
る。
【0042】移動物体抽出部14で移動物体が検出され
ると、警報装置5を駆動してアラーム音を発したりする
ようになっている。表示制御部15は、画像メモリ12
に取込まれた画像を表示装置4に表示する制御を行った
り、移動物体抽出部14で移動物体が抽出されたとき、
その移動物体が抽出された画像に異常を示す図形や文字
を表示したりする制御を行うものである。
【0043】このような構成の画像監視装置の全体の動
作について、図7に示すフローチャートを参照して説明
する。まず、ステップS20に進み、時刻tにITVカ
メラ1で最初に撮像された画像は、デジタル信号に変換
され、画像メモリ12に取込画像Itとして取込まれ
る。この取込画像Itは領域分割部20において小領域
に分割される(ステップS21)。すなわち、取込画像
Itが図8(a)に示すように、物体Pを含む画像の場
合、この画像Itは同図の点線で示すように小領域に分
割されて、領域分割部20に各小領域が記憶される。
【0044】さて、画像Itに引き続き、時刻t+1に
画像メモリ12に取込まれた画像It+1(ステップS
22〜ステップS23)は、変化領域抽出部13におい
て、図5、図6で説明した処理がなされ、画像It+1
から画像Itの小領域Bt(x、y)に対応する小領域
が抽出される(ステップS24)。すなわち、取込画像
It+1が図8(b)に示すように物体Pを含み、しか
も、その物体Pが時刻tのときよりも移動している場
合、物体Pにのみ注目すると、その物体Pを構成する画
像Itの小領域群P1に対応する(最も画素値が小領域
群P1と類似する)小領域群P2が画像It+1から抽
出される。
【0045】次に、移動物体抽出部14において、例え
ば、画像Itの小領域Bt(x、y)の先頭アドレス
と、その小領域に対応する画像It+1の小領域の先頭
アドレスとが比較され(ステップS25)、その差が所
定の画素数(閾値)以上ある場合に移動物体が検出され
たことになる(ステップS26)。
【0046】移動物体が検出されると、さらに、移動物
体抽出部14では、小領域Bt(x、y)から小領域B
t+1(u、v)への移動ベクトルをもとにラベル付け
を行い、移動物体領域の抽出を行う(ステップS2
7)。すなわち、図8(b)に示すような画像It+1
から、小領域群P2で構成される物体Pが移動物体とし
て抽出される。
【0047】このようにして抽出された移動物体の情報
は、具備されたメモリに記憶され、さらに、表示装置4
に移動物体が検出されたことを示す図形や文字を表示し
たり、警報装置5を駆動して、アラーム音を発したりし
て(ステップS29)、次にステップS21に戻る。
【0048】図9は、検出された移動物体の情報の記憶
例を示したものである。図9に示すように図7のステッ
プS28では、例えば、移動物体が検出された時刻、検
出された移動物体の識別番号(物体番号)、移動物体領
域の開始位置(例えば、小領域の先頭アドレス)、終了
位置(例えば、小領域の先頭アドレス)、さらに、その
時刻以前にその移動物体領域の存在した位置をも記憶す
るようになっている。
【0049】一方、移動物体が検出されなかったときも
ステップS21に戻り、取込画像It+1は、領域分割
部20において図3で説明したように小領域に分割され
て記憶され、取込画像It+1に続いて画像メモリ12
に取込まれた画像から、画像It+1の小領域Bt+1
(x、y)に対応する小領域を抽出する処理を行い(ス
テップS22〜ステップS24)、以下、前述同様であ
る。
【0050】以上、説明したように、上記第1の実施例
によれば、時刻t、t+1と画像メモリ12に時系列に
取込まれた画像It、It+1をもとに移動物体を検出
する際、領域分割部20で画像Itを小領域Bt(x、
y)に分割して、変化領域抽出部13で、その各小領域
Bt(x、y)に最もその画素値が類似する小領域を画
像It+1から抽出し、移動物体抽出部14で、画像I
tの小領域の位置とそれに対応する画像It+1の小領
域の位置の変化をもとに移動物体の検出を行うことによ
り、監視領域7内に複数の移動物体が存在する場合で
も、検出対象である移動物体の検出が確実に行える。
【0051】次に、第2の実施例について説明する。図
10は、第2の実施例に係る画像監視装置の要部の構成
を概略的に示すものである。尚、図1、図2と同一部分
には同一符号を付して説明は省略し異なる部分について
のみ説明する。すなわち、移動物体追跡部22が追加さ
れている。
【0052】移動物体追跡部22は、移動物体抽出部1
4で移動物体が検出されたとき、その検出された移動物
体が以前に存在していた位置からどのように移動したか
その移動経路を追跡する処理を行うものである。すなわ
ち、時刻t、t+1と画像メモリ12に時系列に取込ま
れた画像It、It+1をもとに、前述したように、画
像It+1から移動物体が検出されたとき、画像メモリ
12に取込まれている画像It+1に対して、その検出
された移動物体領域から、画像Itからすでに検出され
て移動物体抽出部14に具備されたメモリに記憶されて
いる移動物体を構成する小領域に対応する小領域を抽出
して、画像Itで検出された移動物体と同一の移動物体
を抽出する。そして、それらの対応を移動物体追跡部2
2に具備されるメモリに記憶する。その情報をもとに、
表示制御部15では、表示装置4に移動物体の移動経路
が判断できるような画像を表示したりするようになって
いる。
【0053】このような構成の画像監視装置の全体の動
作について、図11に示すフローチャートを参照して説
明する。尚、図7と同一部分には同一符号を付し、説明
は省略し、異なる部分についてのみ説明する。すなわ
ち、図7のステップS29に続いてステップS30に進
み、ここで移動物体追跡処理を実行してからステップS
21に戻るようになっている。
【0054】次に、ステップS30の移動物体追跡処理
について図12を参照して説明する。尚、以下、時刻
t、t+1と画像メモリ12に時系列に取込まれた画像
It、It+1について説明するものである。
【0055】まず、ステップS40に進み、時刻tに取
込まれた画像Itからすでに検出され、移動物体抽出部
14に記憶されている移動物体について、その移動物体
を構成する小領域の1つに開始アドレス(x、y)を設
定し、この開始アドレスが設定された小領域Bt(x,
y)に対応する小領域を画像It+1から抽出する処理
を行う(ステップS41)。
【0056】このステップS41の処理は、図6で説明
した処理と同様である。但し、この場合の画像It+1
の探索領域は、ステップS26で移動物体が検出された
小領域、あるいはその周辺の小領域を含めた領域に限定
すれば十分で、その小領域の位置は移動物体抽出部14
で記憶された情報をもとにすればよい。
【0057】ステップS41の処理は、画像Itからす
でに検出され、移動物体抽出部14に記憶されている移
動物体について、その移動物体を構成する1つの小領域
に対して行われる。従って、小領域Bt(x,y)のア
ドレス(x、y)を更新しながら、その移動物体を構成
する全ての小領域に対してステップS41の処理を実行
する(ステップS42〜ステップS43)。
【0058】ステップS42で、移動物体を構成する全
ての小領域についてステップS41の処理の実行が終了
すると、画像Itで検出された移動物体を構成する全て
の小領域のそれぞれに対して、対応する移動物体の小領
域が画像It+1から抽出されたことになる。すなわ
ち、画像Itで検出された移動物体と同一の移動物体が
画像It+1から抽出されたことになる。そこで、次
に、ステップS44に進み、画像Itで検出された移動
物体と、それに対応する画像It+1の移動物体につい
て、それらの対応を含めた移動物体の追跡情報を移動物
体追跡部22に具備されたメモリに記憶する。
【0059】図13は、移動物体の追跡情報の記憶例を
示したものである。図13に示すように図12のステッ
プS44では、例えば、移動物体が検出された時刻、検
出された移動物体の識別番号(物体番号)、1つの移動
物体領域の開始位置(例えば、小領域の先頭アドレ
ス)、終了位置(例えば、小領域の先頭アドレス)、さ
らに、その時刻以前にその移動物体領域の存在した位置
をも記憶するようになっている。このうち、識別番号が
同じである移動物体が、対応する移動物体で、この識別
番号が同じ移動物体の領域を時系列に追跡してゆけば、
その移動物体の移動経路がわかる。
【0060】以上、説明したように、上記第2の実施例
によれば、時刻t、t+1と画像メモリ12に時系列に
取込まれた画像It、It+1をもとに画像It+1か
ら移動物体を検出したら、移動物体追跡部22におい
て、画像メモリ12に取込まれている画像It+1をも
とに、時刻tに取込まれた画像It+1からすでに検出
されて移動物体抽出部14に記憶されている移動物体を
構成する全ての小領域のそれぞれに対応する(画素値が
最も類似する)小領域を、画像It+1の移動物体領域
(探索領域)から抽出して、画像Itで検出された移動
物体と同一の移動物体を画像It+1から抽出すること
により、監視領域7内に複数の移動物体が存在して、移
動物体どうしの隠蔽等の可能性がある場合でも、確実に
追跡対象である移動物体を検出して、その移動経路の追
跡が可能となる。
【0061】さて、この第2の実施例において、移動物
体の追跡を行う場合、画像Itで検出された移動物体を
構成する全ての小領域のそれぞれに対して、その対応す
る小領域を抽出して、画像It+1から対応する小領域
を抽出する際、単に一致度Sが最小のものをその対応す
る小領域に対応する移動物体の小領域として画像It+
1から抽出している。すると、図14(a)に示すよう
に、画像Itの物体Pを構成する小領域P1のそれぞれ
について、偶然に画像パターンが似ていて、そのため一
致度Sが最小となった実際とは異なる小領域を画像It
+1から抽出してしまったり(図14(a)において、
矢印により示した先の小領域が画像Itの各小領域に対
応する画像It+1の小領域である)、移動物体領域以
外の小領域を抽出してしまったりといった問題が生じ
る。
【0062】そこで、このような問題を回避するために
は、図14(b)に示すように、移動物体を構成する小
領域がほぼ平行移動することに注目して(図14(b)
の矢印)、移動物体に対応する小領域を抽出する際、単
に、一致度Sを求めるだけでなく、移動物体を構成する
小領域間の連結関係をも考慮して、その対応する小領域
を抽出すればよいことがわかる。この場合について、次
の第3の実施例で説明する。
【0063】この第3の実施例に係る画像監視装置の要
部の構成は、図10と同様であり、また、その全体の動
作も図11に示したフローチャートと同様である。第2
の実施例と異なるのは、図11のステップS30の処理
で、この処理について、図15を参照して説明する。
尚、図15において、図12と同一部分には同一符号を
付し、異なる部分についてのみ説明する。すなわち、図
12のステップS41、ステップS42がステップS5
0、ステップS51に代わり、また、ステップS51の
分岐処理に、ステップS52〜ステップS53が追加さ
れている。
【0064】図15のステップS40で、取込画像It
の移動物体を構成する小領域Bt(x、y)の開始アド
レスを(x、y)を設定すると、ステップS50に進
む。ステップS50では、図6のステップS10〜ステ
ップS13と同様の処理を行うが、このとき、ステップ
S11で画像Itの小領域と、画像It+1の探索領域
との間で一致度Sを求めたら、その値を例えば、移動物
体追跡部22が具備するメモリに記憶しておく。従っ
て、ステップS12で画像It+1の探索領域内の全て
の小領域について一致度Sの算出が終了したとき、画像
Itの小領域B(x、y)と画像It+1の探索領域内
の全ての小領域との一致度Sの算出結果は全て記憶され
ている。ステップS10〜ステップS13の処理が終了
したら、図15のステップS51に進む。
【0065】ステップS51では、ステップS50の処
理が画像Itの移動物体を構成する全ての小領域につい
て実行されたか否かがチェックされ、ステップS43で
画像Itの小領域のアドレス(x、y)を更新しながら
ステップS50の処理を実行するようになっている。こ
のステップS51で、ステップS50の処理が画像It
の移動物体を構成する全ての小領域について実行された
ことが判断されると、次にステップS52に進む。尚、
この時点では、画像Itの移動物体を構成する全ての小
領域のそれぞれについて、画像It+1の探索領域内の
全ての小領域との一致度Sの算出結果が全て記憶されて
いる。
【0066】ステップS52では、画像Itの移動物体
を構成している全ての小領域と画像It+1の探索領域
内の全ての小領域の全ての組み合わせについて連結関係
度Dを求める処理を行う。
【0067】連結関係度Dとは、たとえば、画像Itの
移動物体を構成している小領域の1つ、すなわち、小領
域Bt(x、y)に注目したとき、画像It+1の探索
領域内の小領域の1つ、すなわち、小領域Bt+1
(u、v)と画像It+1の探索領域内の他の小領域B
t+1(u´、v´)との間の距離と、画像Itの小領
域Bt(x、y)と画像Itの移動物体を構成している
他の小領域Bt(x´、y´)との間の距離の差の絶対
値をとったものを、画像Itの移動物体を構成している
小領域の全ての組合わせ、および、画像It+1の探索
領域内の小領域の全ての組合わせについて加算したもの
で、係数Cを用いて次のように表せる。
【0068】
【数3】
【0069】画像It+1の探索領域内の1つの小領域
Bt+1(u、v)について、この画像連結度Dが、最
も小さいものが画像Itの移動物体を構成している小領
域に対応する画像It+1の小領域である可能性が高
い。
【0070】次に、ステップS53に進み、画像It+
1の探索領域中の全ての小領域のそれぞれについて、移
動物体追跡部22が具備するメモリにすでに記憶されて
いる一致度Sと、連結関係度Dを加算して、S+Dが最
小の小領域Bt+1(u、v)を抽出して、それぞれを
画像Itの小領域Bt(x、y)のそれぞれに対応する
小領域とする。すなわち、画像Itの小領域Bt(x、
y)のそれぞれに画素値が最も類似し、かつ、連結関係
度Dが最も小さい小領域を画像It+1から抽出するこ
とにより、移動物体を構成する各小領域の平行移動をチ
ェックしている。
【0071】このようにして画像It+1から抽出され
た小領域で構成される移動物体は画像Itで検出された
移動物体と同一の移動物体である。画像Itで検出され
た移動物体と、それに対応する画像It+1の移動物体
について、それらの対応を含めた移動物体の追跡情報
は、図13に示したように、移動物体追跡部22に具備
されたメモリに記憶される。
【0072】以上説明したように、上記第3の実施例に
よれば、移動物体の追跡を行う場合、画像Itで検出さ
れた移動物体を構成する全ての小領域のそれぞれに対し
て、画像It+1の探索領域内の小領域について一致度
Sを算出し、さらに、連結関係度Dを算出して、画像I
t+1の探索領域内の各小領域のうち、S+Dが最小の
小領域で構成される移動物体を画像Itで検出された移
動物体と同一の移動物体として、画像It+1から抽出
することにより、移動物体の平行移動をもとにして、よ
り確実に追跡対象である移動物体を検出して、その移動
経路の追跡が可能となる。
【0073】さて、図15に示した処理は、その計算量
を軽減することにより、さらに高速に移動物体の追跡を
行うことが可能である。この場合について、第4の実施
例で説明する。
【0074】この第4の実施例に係る画像監視装置の要
部の構成は、図10と同様であり、また、その全体の動
作も図11に示したフローチャートと同様で、第3の実
施例と異なるのは、ステップS30の移動物体追跡処理
であり、この処理について、図16を参照して説明す
る。尚、図16において、図15と同一部分には同一符
号を付し、異なる部分についてのみ説明する。すなわ
ち、ステップS51の分岐処理において、ステップS5
5が追加されてから、ステップS52に進むようになっ
ている。
【0075】図16のステップS51で、ステップS5
0の処理が画像Itの移動物体を構成する全ての小領域
について実行されたことが判断されると、ステップS5
5に進む。
【0076】ステップS55では、画像Itの移動物体
を構成する小領域のそれぞれについて、画像It+1の
探索領域内の全ての小領域で求めた一致度Sをもとに、
その一致度Sが最も小さいものからn番目までの画像I
t+1の小領域を選択する。尚、nは適当な値に設定で
きる。すなわち、画像Itの移動物体を構成する小領域
の1つについて、その対応する小領域の候補がn個選択
されたことになり、以後の処理(ステップS52〜ステ
ップS53)では、画像Itの移動物体を構成する小領
域に対応する小領域を抽出する際、このn個の小領域の
候補の中から一致度と連結関係度を加算した値S+Dが
最小のものを選択するようにすればよい。
【0077】このように、上記第4の実施例では、画像
Itの移動物体を構成する小領域のそれぞれについて、
画像It+1の探索領域内の全ての小領域との一致度S
を求めたら、一致度Sが最も小さいものからn番目まで
の小領域を画像It+1の探索領域から選択し、すなわ
ち、画像Itの移動物体を構成する小領域の1つについ
て、その対応する小領域の候補をn個に絞って、その中
から一致度と連結関係度を加算した値S+Dが最小の小
領域を選択することにより、画像Itで検出された移動
物体と同一の移動物体を画像It+1から抽出するの
で、前述した第3の実施例のように、画像Itの移動物
体を構成する小領域の1つについて、画像It+1の探
索領域内の全ての小領域を、その対応する小領域の候補
として後続の処理を行う場合と比較して、計算量が軽減
でき、より高速に移動物体の追跡を行うことが可能であ
る。
【0078】すなわち、第4の実施例の場合、図15の
ステップS52の繰返し回数は、画像Itの移動物体を
構成する小領域の数をM、画像It+1の探索領域内の
小領域の数をNとすると、MN となる。
【0079】一方、第5の実施例の場合、図16のステ
ップS52の繰返し回数は、画像Itの移動物体を構成
する小領域の数をM、画像It+1の探索領域内の選択
された小領域の数をnとすると、Mn となる。
【0080】例えば、M=10、N=25、n=10と
すると、繰返し演算回数は、1/1015 に軽減でき
る。次に、第5の実施例について説明する。
【0081】第5の実施例では、図17(a)に示すよ
うに、監視対象物体Qが監視領域内7に存在していて、
その監視対象物体Qの通常の移動経路は、ほぼ予測でき
るものであり、例えば、図17(a)に矢印(移動ベク
トル)で示すような移動経路をたどって、移動する場合
を考える。
【0082】このとき、図17(b)に示すように、監
視対象物体Qの移動経路の途中に異常物体40が存在す
る場合、異常物体40の周辺では、図17(b)に矢印
で示すように移動ベクトルが乱れることは明確である。
そこで、第5の実施例では、このことを利用して、監視
対象物体Qの移動経路を乱す異常物体40の検出を行う
ものである。
【0083】図18は、第5の実施例に係る画像監視装
置の要部を概略的に示すものである。尚、図2と同一部
分には同一符号を付し、異なる部分について説明する。
変化領域抽出部13は、領域分割部20で画像Itが分
割されて得られた小領域Bt(x、y)に対応する小領
域を、この領域分割部20で分割された画像に続いて画
像メモリ12に取り込まれた画像It+1から抽出する
処理を行ったら、その結果をもとに、小領域Bt(x、
y)の位置から、それに対応する画像It+1の小領域
の位置へ変化を表す移動ベクトルを求めるようになって
いる。また、ここで、求められた移動ベクトルは基準ベ
クトル更新部30に送られるとともに、異常物体抽出部
13にも送られる。
【0084】基準ベクトル記憶部32には、画像It+
1が取込まれる以前に画像メモリ12に取込まれた画像
Itから求めた移動ベクトルを基準ベクトルとして記憶
されているものである。
【0085】異常物体抽出部31は、変化領域抽出部1
3で求められた移動ベクトルと、基準ベクトル記憶部3
2に記憶されている移動ベクトルを比較し、異常物体の
検出を行うものである。異常物体が検出されると、警報
装置5を駆動してアラーム音を発したりするようになっ
ている。
【0086】表示制御部15は、異常物体抽出部14で
異常物体が抽出されたとき、表示装置4に対し、異常物
体が抽出された画像に異常を示す図形や文字を表示した
りする制御を行うものである。
【0087】基準ベクトル更新部30は、異常物体抽出
部31で異常物体が検出されなかったとき、そのときの
取込画像から得られ、変化領域抽出部13から送られた
移動ベクトルを基準ベクトル記憶部32に記憶すること
により基準ベクトルの更新を行うものである。
【0088】次に、図19を参照して、第5に実施例に
係る画像処理装置の全体の動作処理について説明する。
尚、図7と同一部分には同一符号を付し、異なる部分に
ついてのみ説明する。すなわち、図7のステップS25
〜ステップS29の処理が、図19のステップS60〜
ステップS63の処理に代わる。
【0089】ステップS24で、変化領域抽出部13に
おいて、図5、図6で説明した処理がなされ、画像It
+1から画像Itの小領域Bt(x、y)に対応する小
領域が抽出されると、その結果をもとに、移動ベクトル
を求める。
【0090】次に、ステップS60では、異常物体抽出
部31において、変化領域抽出部13で求められた移動
ベクトルと、基準ベクトル記憶部32に記憶されている
基準ベクトルを比較し、異常物体の検出を行う。異常物
体が検出されると(ステップS61)、警報装置5を駆
動してアラーム音を発したり、表示装置4に異常物体異
常を示す図形や文字を表示したりする(ステップS6
2)。
【0091】ステップS61で、異常物体が検出されな
かったときは、ステップS63に進み、変化領域抽出部
13から送られた移動ベクトルにより基準ベクトル記憶
部32の基準ベクトルを更新する。
【0092】ステップS62あるいはステップS63の
処理が終了すると、ステップS21に戻り、画像It+
1が小領域に分割され、以後、図7と同様である。以上
説明したように、上記第5の実施例によれば、変化領域
抽出部13において、画像It+1から画像Itの監視
対象物体Qを構成する小領域Bt(x、y)に対応する
小領域が抽出されると、小領域Bt(x、y)の位置か
ら、それに対応する画像It+1の小領域の位置へ変化
を表す移動ベクトルを求めて、基準ベクトル記憶部32
に記憶された基準ベクトルと比較することにより、監視
対象物体Qの移動経路を乱す異常物体40の検出が容易
にしかも高速に行うことができる。
【0093】次に、第6の実施例について説明する。第
6の実施例では、検出された移動物体について、その移
動物体を構成する小領域間の連結関係の変動を利用し
て、その移動物体を認識するものである。
【0094】図20は、第6の実施例に係る画像監視装
置の要部を概略的に示すものである。尚、図2と同一部
分には同一符号を付し、異なる部分について説明する。
変化領域抽出部13は、領域分割部20で画像Itが分
割されて得られた小領域Bt(x、y)に対応する小領
域を、この領域分割部20で分割された画像に続いて画
像メモリ12に取り込まれた画像It+1から抽出する
処理を行ったら、その結果をもとに、小領域Bt(x、
y)の位置から、それに対応する画像It+1の小領域
の位置へ変化を表す移動ベクトルを求めるようになって
いる。
【0095】移動物体抽出部14では、この移動ベクト
ルをもとに、この変化領域抽出部13で抽出された画像
It+1の小領域にラベル付けを行い、画像It+1上
でこれらの小領域がまとまった領域を抽出して、移動物
体領域(移動物体を構成する小領域)を抽出する。
【0096】連結関係検証部35では、移動物体抽出部
14で抽出された移動物体について、それを構成する小
領域間の連結関係の変動を検証する。すなわち、連結関
係検証部35には、例えば、変化領域抽出部14で求め
られた移動ベクトルと移動物体抽出部14で抽出された
移動物体を構成する小領域間の距離の変化をもとに、そ
の移動物体の小領域間の変動が検証される。例えば、図
21を参照してこの検証方法の原理について説明する。
【0097】図21では、監視対象物体Qとして、人間
の場合を示し、図21(a)〜図21(c)は、それぞ
れ、人間Pが歩いている様子を時刻t−1、t、t+1
と時系列に取り込まれた画像を示している。図21
(a)〜図21(c)に示したような画像から人間Qの
領域を抽出した場合、その人間Qを構成する小領域の連
結関係が変動する小領域は、図21(d)の斜線で示す
領域となることは明らかであろう。このように、一般
に、人間は、手、足を動かして歩くため、抽出された移
動物体領域の右、左、下の部分で、小領域間の連結関係
が変動する特徴がある。すなわち、連結関係検証部35
では、検出された移動物体のどの部分の小領域の連結関
係が変動しているのかを検証している。
【0098】移動物体認識部36では、連結関係検証部
35で検証結果をもとに、検出された移動物体が何であ
るのかを検証するようになっている。図21の場合にお
いて、「移動物体領域の右、左、下の部分で、小領域間
の連結関係が変動するものは人間である」という情報
を、あらかじめ移動物体認識部36に与えておけば、連
結関係検証部35の検証された、例えば、連結関係が変
動している小領域の位置をもとに、その移動物体が人間
であるかどうかが認識できる。従って、監視対象物体と
して人間を検出する画像監視装置を構成することができ
る。
【0099】移動物体認識部36で検出された移動物体
が監視対象物体(例えば、人間)であると認識される
と、警報装置5を駆動したり、表示制御部15により、
表示装置4に異常を示す図形や文字を表示したりするよ
うになっている。
【0100】次に、図22を参照して、第6に実施例に
係る画像処理装置の全体の動作処理について説明する。
尚、図7と同一部分には同一符号を付し、異なる部分に
ついてのみ説明する。すなわち、図7のステップS25
〜ステップS29の処理が、図19のステップS70〜
ステップS73の処理に代わる。
【0101】ステップS24で、変化領域抽出部13に
おいて、図5、図6で説明した処理がなされ、画像It
+1から画像Itの小領域Bt(x、y)に対応する小
領域が抽出されると、その結果をもとに、移動ベクトル
を求める。
【0102】次に、ステップS70では、移動物体抽出
部14で、小領域Bt(x、y)から小領域Bt+1
(u、v)への移動ベクトルをもとにラベル付けを行
い、移動物体領域の抽出を行い、ステップS71に進
む。
【0103】ステップS71では、連結検証部35で、
検出された移動物体のどの部分の小領域の連結関係が変
動しているのかを検証する。その検証結果をもとに、移
動物体認識部36で、その移動物体が監視対象であると
判断されたときは(ステップS72)、警報装置5を駆
動してアラーム音を発したり、表示装置4に異常物体異
常を示す図形や文字を表示し(ステップS73)、ステ
ップS21に戻る。
【0104】一方、ステップS72で検出された移動物
体が監視対象物体でないことが認識されたときは、その
ままステップS21に戻る。以上、説明したように、上
記第6の実施例によれば、変化領域抽出部13におい
て、画像It+1から画像Itの監視対象物体Qを構成
する小領域Bt(x、y)に対応する小領域が抽出され
ると、移動物体抽出部14において、小領域Bt(x、
y)の位置から、それに対応する画像It+1の小領域
の位置へ変化を表す移動ベクトルをもとに、移動物体を
抽出し、その抽出された移動物体について、連結関係検
証部35で、検出された移動物体のどの部分の小領域の
連結関係が変動しているのかを検証し、その検証結果を
もとに、移動物体認識部36で、その移動物体が監視対
象物体であるか否かを認識することにより、例えば、人
間のように、監視対象物体が、その全体が変動するので
はなく、一部分が時々変動するものである場合に、その
監視対象物体の認識が容易に行える。
【0105】尚、上記第1〜第6の実施例において、画
像Itの小領域に対応する小領域を画像It+1から抽
出して、その2つの画素値が類似する小領域の先頭アド
レス(画素点のアドレス)を比較することにより移動物
体を検出しているが、その際、比較対象は、2つの小領
域の位置を表す情報であれば、小領域の先頭アドレスに
限らない。また、上記第1〜第6の実施例は、必要に応
じて同時に実施可能である。
【0106】
【発明の効果】以上説明したように本発明によれば、移
動物体の検出と追跡が確実に行え、さらにその処理速度
の向上が図れる画像監視装置を提供できる。
【図面の簡単な説明】
【図1】本発明の実施例に係る画像監視装置を概略的に
示す図。
【図2】本発明の第1の実施例に係る画像監視装置の要
部の構成を概略的に示すブロック図。
【図3】領域分割部における領域分割処理を説明するた
めのフローチャート。
【図4】取込画像の小領域の分割例を示した図。
【図5】変化領域抽出部で実行される処理を説明するた
めのフローチャート。
【図6】変化領域抽出部で実行される処理の詳細を説明
するためのフローチャート。
【図7】第1の実施例に係る画像監視装置の全体の動作
を説明するためのフローチャート。
【図8】取込画像から物体の画像領域を構成する小領域
に対応する小領域を抽出する方法を説明するための図。
【図9】検出された移動物体の情報の記憶例を示す図。
【図10】本発明の第2の実施例に係る画像監視装置の
要部の構成を概略的に示すブロック図。
【図11】第2の実施例に係る画像監視装置の全体の動
作を説明するためのフローチャート。
【図12】移動物体追跡部における移動物体追跡処理を
説明するためのフローチャート。
【図13】移動物体の追跡情報の記憶例を示す図。
【図14】移動物体を構成する小領域の移動の様子を説
明するための図。
【図15】本発明の第3の実施例に係る画像監視装置の
全体の動作を説明するためのフローチャート。
【図16】本発明の第4の実施例に係る画像監視装置の
全体の動作を説明するためのフローチャート。
【図17】監視領域内の監視対象物体の移動経路につい
て説明するための図。
【図18】本発明の第5の実施例に係る画像監視装置の
要部を概略的に示すブロック図。
【図19】第5の実施例に係る画像監視装置の全体の動
作を説明するためのフローチャート。
【図20】本発明の第6の実施例に係る画像監視装置の
要部を概略的に示すブロック図。
【図21】移動物体を構成する連結関係の変動をもとに
その移動物体を認識する方法の原理を説明するための
図。
【図22】第6の実施例に係る画像監視装置の全体の動
作を説明するためのフローチャート。
【符号の説明】
11…A/D変換器、12…画像メモリ、13…変化領
域抽出部、14…移動物体抽出部、15…表示制御部、
20…領域分割部、22…移動物体追跡部、30…基準
ベクトル更新部、31…異常物体抽出部、32…基準ベ
クトル記憶部、35…連結関係検証部、36…移動物体
認識部。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G08B 25/00 510 M 8621−2E H04N 7/18 D

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 監視領域内の画像を連続的に撮像する撮
    像手段と、 この撮像手段で撮像された画像をデジタル化して連続的
    に取込む画像取込手段と、 この画像取込手段でデジタル化された画像をあらかじめ
    定められた大きさの小領域に分割する画像分割手段と、 この画像分割手段で分割された各小領域に対応する小領
    域を前記画像取込手段で連続的に取込まれた画像から検
    出して、その小領域の分布をもとに前記監視領域内にお
    ける移動物体を検出する移動物体検出手段と、 を具備したことを特徴とする画像監視装置。
  2. 【請求項2】 監視領域内の画像を連続的に撮像する撮
    像手段と、 この撮像手段で撮像された画像をデジタル化して連続的
    に取込む画像取込手段と、 この画像取込手段でデジタル化された画像をあらかじめ
    定められた大きさの小領域に分割する画像分割手段と、 この画像分割手段で分割された各小領域に対応する小領
    域を前記画像取込手段で連続的に取込まれた画像から検
    出して、その小領域の分布をもとに前記監視領域内にお
    ける移動物体を検出する移動物体検出手段と、 この移動物体検出手段で移動物体が検出されたとき、そ
    の移動物体が検出された画像から、追跡対象の移動物体
    を構成する各小領域に対応する小領域を検出して、その
    小領域で構成される移動物体を前記追跡対象の移動物体
    に対応する移動物体として、その移動経路を追跡する追
    跡手段と、 を具備したことを特徴とする画像監視装置。
  3. 【請求項3】 監視領域内の画像を連続的に撮像する撮
    像手段と、 この撮像手段で撮像された画像をデジタル化して連続的
    に取込む画像取込手段と、 この画像取込手段でデジタル化された画像をあらかじめ
    定められた大きさの小領域に分割する画像分割手段と、 この画像分割手段で分割された各小領域に対応する小領
    域を前記画像取込手段で連続的に取込まれた画像から検
    出して、その小領域の分布をもとに前記監視領域内にお
    ける移動物体を検出する移動物体検出手段と、 この移動物体検出手段で移動物体が検出されたとき、そ
    の移動物体が検出された画像から、追跡対象の移動物体
    を構成する各小領域がほぼ平行移動している小領域を検
    出し、その小領域で構成される移動物体を前記追跡対象
    の移動物体に対応する移動物体として、その移動経路を
    追跡する追跡手段と、 を具備したことを特徴とする画像監視装置。
  4. 【請求項4】 監視対象物体が存在する監視領域内の画
    像を連続的に撮像する撮像手段と、 この撮像手段で撮像された画像をデジタル化して連続的
    に取込む画像取込手段と、 この画像取込手段でデジタル化された画像をあらかじめ
    定められた大きさの小領域に分割する画像分割手段と、 この画像分割手段で分割されて得られた各小領域に対応
    する小領域を前記画像取込手段で連続的に取込まれた画
    像から検出して、その小領域の移動方向をもとに、前記
    監視領域内における前記監視対象物体の移動方向を検出
    する移動方向検出手段と、 この移動方向検出手段で検出された監視対象物体の移動
    方向をもとに、前記監視対象物体の移動方向を乱す異常
    物体を検出する異常物体検出手段と、 を具備したことを特徴とする画像監視装置。
  5. 【請求項5】 監視対象物体が存在する監視領域内の画
    像を連続的に撮像する撮像手段と、 この撮像手段で撮像された画像をデジタル化して連続的
    に取込む画像取込手段と、 この画像取込手段でデジタル化された画像をあらかじめ
    定められた大きさの小領域に分割する画像分割手段と、 この画像分割手段で分割されて得られた各小領域に対応
    する小領域を前記画像取込手段で連続的に取込まれた画
    像から検出して、その小領域間の連結関係をもとに、前
    記監視領域内における前記監視対象物体を認識する認識
    手段と、 を具備したことを特徴とする画像監視装置。
  6. 【請求項6】 監視領域内の画像を連続的に撮像する撮
    像手段と、 この撮像手段で撮像された画像をデジタル化して連続的
    に取込む画像取込手段と、 この画像取込手段でデジタル化された画像をあらかじめ
    定められた大きさの小領域に分割する画像分割手段と、 この画像分割手段で分割された各小領域について、その
    画素パターンが最も類似する小領域を前記画像取込手段
    で連続的に取込まれた画像から検出する第1の検出手段
    と、 画素パターンが互いに最も類似する前記画像分割手段で
    分割された小領域の位置と前記第1の検出手段で検出さ
    れた小領域の位置とを比較することにより、前記監視領
    域内における移動物体を検出する第2の検出手段と、 この第2の検出手段で移動物体が検出されたとき、前記
    第1の検出手段で検出された小領域で構成される移動物
    体を抽出する移動物体抽出手段と、 を具備したことを特徴とする画像監視装置。
  7. 【請求項7】 監視領域内の画像を連続的に撮像する撮
    像手段と、 この撮像手段で撮像された画像をデジタル化して連続的
    に取込む画像取込手段と、 この画像取込手段でデジタル化された画像をあらかじめ
    定められた大きさの小領域に分割する画像分割手段と、 この画像分割手段で分割された各小領域について、その
    画素パターンが最も類似する小領域を前記画像取込手段
    で連続的に取込まれた画像から検出する第1の検出手段
    と、 画素パターンが互いに最も類似する前記画像分割手段で
    分割された小領域の位置と前記第1の検出手段で検出さ
    れた小領域の位置とを比較することにより、前記監視領
    域内における移動物体を検出する第2の検出手段と、 この第2の検出手段で検出された移動物体を追跡対象の
    移動物体として記憶する記憶手段と、 前記第2の検出手段で移動物体が検出されたとき、その
    移動物体が検出された画像から、前記第1の記憶手段で
    すでに記憶されている追跡対象の移動物体を構成する各
    小領域に、その画素パターンが最も類似する小領域を検
    出して、その小領域で構成される移動物体を前記追跡対
    象の移動物体に対応する移動物体として、その移動経路
    を追跡する追跡手段と、 を具備したことを特徴とする画像監視装置。
  8. 【請求項8】 監視領域内の画像を連続的に撮像する撮
    像手段と、 この撮像手段で撮像された画像をデジタル化して連続的
    に取込む画像取込手段と、 この画像取込手段でデジタル化された画像をあらかじめ
    定められた大きさの小領域に分割する画像分割手段と、 この画像分割手段で分割された各小領域について、その
    画素パターンが最も類似する小領域を前記画像取込手段
    で連続的に取込まれた画像から検出する第1の検出手段
    と、 画素パターンが互いに最も類似する前記画像分割手段で
    分割された小領域の位置と前記第1の検出手段で検出さ
    れた小領域の位置とを比較することにより、前記監視領
    域内における移動物体を検出する第2の検出手段と、 この第2の検出手段で検出された移動物体を追跡対象の
    移動物体として記憶する記憶手段と、 前記第2の検出手段で移動物体が検出されたとき、その
    移動物体が検出された画像から、前記記憶手段ですでに
    記憶されている追跡対象の移動物体を構成する各小領域
    にその画素パターンが最も類似し、かつ、前記追跡対象
    の移動物体を構成する各小領域間の距離を基準とした連
    結関係が最も類似している小領域を検出して、その小領
    域で構成される移動物体を前記追跡対象の移動物体に対
    応する移動物体として、その移動経路を追跡する追跡手
    段と、 を具備したことを特徴とする画像監視装置。
  9. 【請求項9】 監視領域内の画像を連続的に撮像する撮
    像手段と、 この撮像手段で撮像された画像をデジタル化して連続的
    に取込む画像取込手段と、 この画像取込手段でデジタル化された画像をあらかじめ
    定められた大きさの小領域に分割する画像分割手段と、 この画像分割手段で分割された各小領域について、その
    画素パターンが最も類似する小領域を前記画像取込手段
    で連続的に取込まれた画像から検出する第1の検出手段
    と、 画素パターンが互いに最も類似する前記画像分割手段で
    分割された小領域の位置と前記第1の検出手段で検出さ
    れた小領域の位置とを比較することにより、前記監視領
    域内における移動物体を検出する第2の検出手段と、 この第2の検出手段で検出された移動物体を追跡対象の
    移動物体として記憶する記憶手段と、 前記第2の検出手段で移動物体が検出されたとき、その
    移動物体が検出された画像から、前記記憶手段ですでに
    記憶されている追跡対象の移動物体を構成する各小領域
    毎にその画素パターンが類似する小領域を所定数だけ検
    出する第3の検出手段と、 この第3の検出手段で前記追跡対象の移動物体を構成す
    る各小領域毎に検出された所定数の小領域から、前記追
    跡対象の移動物体と、その各小領域間の距離を基準とし
    た連結関係が最も類似している小領域を検出して、その
    小領域で構成される移動物体を前記追跡対象の移動物体
    に対応する移動物体として、その移動経路を追跡する追
    跡手段と、 を具備したことを特徴とする画像監視装置。
  10. 【請求項10】 監視対象物体が存在する監視領域内の
    画像を連続的に撮像する撮像手段と、 この撮像手段で撮像された画像をデジタル化して連続的
    に取込む画像取込手段と、 この画像取込手段でデジタル化された画像をあらかじめ
    定められた大きさの小領域に分割する画像分割手段と、 この画像分割手段で分割されて得られた各小領域につい
    て、その画素パターンが最も類似する小領域を前記画像
    取込手段で連続的に取込まれた画像から検出する第1の
    検出手段と、 この第1の検出手段で検出された互いに画素パターンが
    類似する小領域間の移動方向と、前記監視領域内におけ
    る前記監視対象物体の基準移動方向を比較することによ
    り、前記監視対象物体の移動方向を乱す異常物体を検出
    する異常物体検出手段と、 を具備したことを特徴とする画像監視装置。
  11. 【請求項11】 監視対象物体が存在する監視領域内の
    画像を連続的に撮像する撮像手段と、 この撮像手段で撮像された画像をデジタル化して連続的
    に取込む画像取込手段と、 この画像取込手段でデジタル化された画像をあらかじめ
    定められた大きさの小領域に分割する画像分割手段と、 この画像分割手段で分割されて得られた各小領域につい
    て、その画素パターンが最も類似する小領域を前記画像
    取込手段で連続的に取込まれた画像から検出して、その
    小領域で構成される移動物体を抽出する移動物体抽出手
    段と、 この移動物体抽出手段で抽出された移動物体について、
    それを構成する小領域間の連結関係が変動している部位
    をもとに、前記監視対象物体を認識する認識手段と、 を具備したことを特徴とする画像監視装置。
JP6307696A 1994-12-12 1994-12-12 画像監視装置 Pending JPH08167022A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6307696A JPH08167022A (ja) 1994-12-12 1994-12-12 画像監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6307696A JPH08167022A (ja) 1994-12-12 1994-12-12 画像監視装置

Publications (1)

Publication Number Publication Date
JPH08167022A true JPH08167022A (ja) 1996-06-25

Family

ID=17972132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6307696A Pending JPH08167022A (ja) 1994-12-12 1994-12-12 画像監視装置

Country Status (1)

Country Link
JP (1) JPH08167022A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6931146B2 (en) 1999-12-20 2005-08-16 Fujitsu Limited Method and apparatus for detecting moving object
JP2007287006A (ja) * 2006-04-19 2007-11-01 Fujitsu Ltd 移動物体追跡装置及びプログラム
JP2010113732A (ja) * 2009-12-28 2010-05-20 Fujitsu Microelectronics Ltd 移動物体認識方法及び装置
JP2011008809A (ja) * 1999-06-01 2011-01-13 Fujitsu Semiconductor Ltd 移動物体認識方法及び装置
US7995843B2 (en) 2003-10-21 2011-08-09 Panasonic Corporation Monitoring device which monitors moving objects
US20110273571A1 (en) * 2010-05-10 2011-11-10 Casio Computer Co., Ltd. Apparatus and method for subject tracking, and recording medium storing program thereof
JP2012194967A (ja) * 2011-03-16 2012-10-11 Internatl Business Mach Corp <Ibm> 異常パターンの発見
WO2016042946A1 (ja) * 2014-09-19 2016-03-24 シャープ株式会社 監視システム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011008809A (ja) * 1999-06-01 2011-01-13 Fujitsu Semiconductor Ltd 移動物体認識方法及び装置
US6931146B2 (en) 1999-12-20 2005-08-16 Fujitsu Limited Method and apparatus for detecting moving object
US7995843B2 (en) 2003-10-21 2011-08-09 Panasonic Corporation Monitoring device which monitors moving objects
JP2007287006A (ja) * 2006-04-19 2007-11-01 Fujitsu Ltd 移動物体追跡装置及びプログラム
JP2010113732A (ja) * 2009-12-28 2010-05-20 Fujitsu Microelectronics Ltd 移動物体認識方法及び装置
US20110273571A1 (en) * 2010-05-10 2011-11-10 Casio Computer Co., Ltd. Apparatus and method for subject tracking, and recording medium storing program thereof
CN102244728A (zh) * 2010-05-10 2011-11-16 卡西欧计算机株式会社 被摄体跟踪装置及被摄体跟踪方法
US8878939B2 (en) 2010-05-10 2014-11-04 Casio Computer Co., Ltd. Apparatus and method for subject tracking, and recording medium storing program thereof
JP2012194967A (ja) * 2011-03-16 2012-10-11 Internatl Business Mach Corp <Ibm> 異常パターンの発見
WO2016042946A1 (ja) * 2014-09-19 2016-03-24 シャープ株式会社 監視システム

Similar Documents

Publication Publication Date Title
JP3279479B2 (ja) 映像監視方法及び装置
JP4367475B2 (ja) 移動物体認識装置、移動物体認識方法及びコンピュータプログラム
US20180204070A1 (en) Image processing apparatus and image processing method
US7397931B2 (en) Human identification apparatus and human searching/tracking apparatus
JP5001260B2 (ja) オブジェクト追跡方法及びオブジェクト追跡装置
JP4541316B2 (ja) 映像監視検索システム
JPH07168932A (ja) ビデオ画像中の人間を探索する方法
JP4832894B2 (ja) 画像センサ
US11082634B2 (en) Image processing system, image processing method, and program
US10755422B2 (en) Tracking system and method thereof
JP4969291B2 (ja) 移動物体追跡装置
JP2008250746A (ja) 移動物体追跡装置
JPWO2019009214A1 (ja) 画像から変状を検知する画像処理装置、画像処理方法及びプログラム
CN112183304A (zh) 离位检测方法、系统及计算机存储介质
JPH06231252A (ja) 監視画像の移動物体追跡方法
JP2010244207A (ja) 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム
JPH08167022A (ja) 画像監視装置
JP2007041730A (ja) 電線異常検出方法および装置およびプログラム
JP4821355B2 (ja) 人物追跡装置、人物追跡方法および人物追跡プログラム
JP6405606B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2002333826A (ja) 技能向上支援装置
US7738009B2 (en) Method for following at least one object in a scene
JPH0514891A (ja) 画像監視装置
JPH0793558A (ja) 画像監視装置
JPH06274625A (ja) 監視画像の移動物体追跡方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Effective date: 20040116

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040205

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 4

Free format text: PAYMENT UNTIL: 20080220

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100220

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110220

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 7

Free format text: PAYMENT UNTIL: 20110220

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 8

Free format text: PAYMENT UNTIL: 20120220

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 8

Free format text: PAYMENT UNTIL: 20120220

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 9

Free format text: PAYMENT UNTIL: 20130220

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 10

Free format text: PAYMENT UNTIL: 20140220