JPH03274983A - 画像認識装置 - Google Patents

画像認識装置

Info

Publication number
JPH03274983A
JPH03274983A JP2077609A JP7760990A JPH03274983A JP H03274983 A JPH03274983 A JP H03274983A JP 2077609 A JP2077609 A JP 2077609A JP 7760990 A JP7760990 A JP 7760990A JP H03274983 A JPH03274983 A JP H03274983A
Authority
JP
Japan
Prior art keywords
person
image
shape
data
lateral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2077609A
Other languages
English (en)
Other versions
JP2975629B2 (ja
Inventor
Shozo Abe
省三 阿部
Hajime Ohata
大波多 元
Yuichi Togashi
雄一 富樫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2077609A priority Critical patent/JP2975629B2/ja
Priority to US07/674,405 priority patent/US5177794A/en
Publication of JPH03274983A publication Critical patent/JPH03274983A/ja
Application granted granted Critical
Publication of JP2975629B2 publication Critical patent/JP2975629B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 [発明の目的] (産業上の利用分野) 本発明は、例えばTV右カメラにより不法侵入者等の検
知を行う画像認識装置において、抽出した移動物体に対
して、より確実に人物判断を行うことのできる画像認識
装置に関する。
(従来の技術) 近年、例えばセキュリティシステムにおいて、テレビジ
ョンカメラによる撮影画像を用いることにより、不法侵
入者等の検知を行う画像監視装置が広く普及してきてい
る。これは、昨今の半導体技術の目覚しい発展とディジ
タル画像処理技術の普及などにより、低価格の装置がで
きるようになったためである。
このように画像監視装置において、例えば不法侵入者の
検知を行うには、不法侵入者が画像内を移動することに
よる変化情報を抽出する必要がある。従来、このような
変化領域を抽出する方法として、単純に時間的に連続し
た画像との減算処理を行うことにより、移動した部分(
変化領域)を抽出していた。さらに、明らかに不法侵入
者が通らない場所については、監視装置のオペレータが
予めライトペン等によってマスク領域を指示することに
よって、そのマスク領域のみの変化抽出を行い不法侵入
者を検知している。
(発明が解決しようとする課j¥1) しかしながら、従来の移動物体の検知にあっては、単一
の画像減算による変化領域抽出を対象にして行うものが
一般的であった。この場合、予め教示している抽出枠の
範囲で抽出した変化領域であっても、必ずしも、その領
域が人物領域であるという保証はない。例えば、雨や風
があるといった気象条件によって、雑音による変化領域
が抽出される心配がある。従って、抽出した変化領域の
矩形の大きさだけの情報によって人物判断を行うことは
雑音等の影響に大きく依存することになり識別率を下げ
ると共に、こういった認識装置に対する信頼性を損うと
いった問題がある。
本発明は、このような従来の欠点を除去するためになさ
れたもので、予め教示した抽出枠の範囲の変化領域を処
理対象にして、さらに抽出した領域の形状特徴を扱うこ
とにより確実塵の高い人物判断を行うことを目的とする
[発明の構成] (課題を解決するための手段) 上記従来の目的を達成する本発明の画像認識装置は、T
V右カメラらの画像を入力する画像入力手段と、前記入
力画像を記憶する手段と、前記記憶した画像から変化領
域を抽出する手段と、変化領域抽出画像から予め教示し
ている矩形の範囲の変化領域を抽出する手段と、前記矩
形の範囲の変化領域に対して横又は縦方向への射影形状
データを求める手段と、標準となる横又は縦方向への射
影形状データを記憶しておく手段と、前記横又は縦方向
への射影データと標準の横又は縦方向への射影データと
を比較して移動物体の人物判断を行う手段とを具備する
ことを特徴とする。
また、移動物体の人物判断手段は、横方向への射影デー
タの出現頻度情報を有し、横方向へ射影した形状に対し
て余裕度を持たせたことを特徴とする。
また、標準となる横方向への射影データは、TV右カメ
ラ置環境下で撮影した複数の人物データから生成するこ
とを特徴とする。
(作 用) 本発明では、前記差分2値化画像を処理対象にし、教示
している抽出枠の範囲の変化領域に対して横方向の射影
情報を求め、この射影情報の形状が予め設定している余
裕度を持った標準の射影形状との比較により、雑音成分
による変化領域なのか、または本来の人物が移動して得
た変化領域なのかを判別するようにしたものである。
(実施例) 以下、本発明の実施例について図面を参照して詳細に説
明する。
第1図は本発明の一実施例による画像認識装置の全体の
構成を示したブロック図である。
画像入力部1には、TV右カメラら監視領域を撮影した
画像が入力される。この画像は一旦画像記憶部2に転送
される。差分画像生成部3では、画像記憶部2に記憶し
た時間的に連続した複数枚の画像の減算処理により変化
した領域を抽出する。
従って、この差分画像中には移動物体が移動して変化し
た領域の他に、雑音成分による変化領域などが含まれて
いる。さらに、移動物体が移動してできる変化領域は、
必ずしも本来の移動物体の形状全体が抽出されてできて
いるわけではない。
差分画像復元部4は、上記事情を考慮して、できるだけ
本来の移動物体の形状に復元するための処理を行う。復
元方法としては、差分2値化画像に対して論理ファイル
を施す処理方法がある。この場合は、孤立点等の雑音を
同時に取除くことができる。また、前記差分2値化画像
に対応した入力多値画像の情報も一緒に使用することに
よって、より確実な形状復元処理を行うものである。
形状復元した画像は、横方向射影情報生成部5で横方向
の射影データを求める。このとき、予め教示している抽
出枠ごとに領域分離した領域データに対して上記射影デ
ータを求めるものとする。
人物判別部6は、入力画像内から各々抽出した形状特徴
をもった射影データを利用することにより、教示矩形枠
情報P1の範囲内の抽出領域に対して人物判別を行う。
第2図を基に第1図の人物判別部6を詳細に説明する。
人物判別部6の入力情報は遠近補正する前の変化領域で
あるため、正規化部11で横方向への射影データに対し
て抽出領域の大きさの正規化を行う。これによって、画
面中央における抽出枠サイズに合せる。
平滑化処理部12は、正規化した射影データに対して平
滑化を施すことによって人物形状の特徴量として安定し
た形状を抽出する。判別部13では、前記方法によって
得た横方向への形状パターンと、人物特徴情報テーブル
14に格納された予め設定されている標準となる余裕度
を持った横方向への形状パターンとのマツチングを行う
ことにより、人物らしさの度合いから人物識別を行うも
のである。ここで、上記特徴パターンのマツチング処理
は、単純なマツチングではない。
第3図はマツチング処理の実際例を示したものである。
第3図(a)、(b)はそれぞれ入力画像から得た差分
2値化画像の横方向への射影パターンを示している。第
3図(a)は一般的な差分2値化画像から求めた横方向
への射影パターンであるが、第3図(b)は移動してい
る人物がTV左カメラ向って移動した時、差分2値化画
像の形状復元が余りよく施されなかったために、人物の
胴体部分の領域が抜けた場合の形状パターンを示してい
る。
すなわち、撮影環境によって、第3図(a)。
(b)のように各種形状パターンが入力されることを示
している。
第3図(c)は人物特徴情報テーブル14に予め用意し
ている、同じく横方向への射影形状パターンを示す。た
だ、第3図(a)、(b)と異なるところは、横方向へ
の射影データの各ライン単位に横幅NSxに対して出現
頻度の度合いを数値表現したものとなっている。それを
具体的に示したのが、第3図(d)である。すなわち、
Lkラインに対して入力の横方向への射影データが取り
得る出現開度の度合いを0.0から1.0までの値で示
しており、数値が1.0に近づく位置程、出現の可能性
が高くなる。
ここで、移動人物の胴体部Hについて、上記出現頻度の
度合いパターンを見ると、広い範囲で高い出現頻度の度
合いを示している。これは、第3図(a)、(b)の各
形状パターンに対して、同じような人物らしさを表現す
るためである。すなわち、撮影環境の違いによる抽出形
状の不安定さに対応させるようにしている。
このようにして、入力の射影形状とのマツチングを行い
、各々のラインにおける一致率、すなわち0.0から1
.0までの値を全ラインについてヒストグラムを取り、
このヒストグラムの重心を求め、これを抽出した形状全
体の人物らしさの数値とする。すなわち、人物らしさは
、0.0から1.0の範囲内の数値として表現されるこ
とになる。
また、人物らしさの出現頻度を指定のしきい値、例えば
0.3以上を全て1.0にすることにより実際の入力画
像の変動に対して、より安定した結果を得ることができ
る。
ここで、上記ヒストグラムの重心の他に、ある幅を持っ
た中での最大頻度の中心点を代表させることも可能であ
る。第3図の形状パターンは全て大きさの正規化処理を
施したものである。
また、上記標準となる横方向への射影形状データは、予
め複数の人物による変化領域を実際にデータ収集するこ
とによって、設置環境にあった形状パターンを生成する
ものである。
なお、本発明は、上記実施例に限定されるものではない
。例えば、本実施例では、横方向への形状特徴テーブル
を1種類で説明したが、撮影環境により複数種類の形状
特徴テーブルを用意することができる。また、例えば、
晴の日や風の強い日、及び雨の日等によって得られる特
徴が異なる場合は、それぞれに応じた形状特徴テーブル
を備える。
また、上記処理を逆に使用することもできる。
すなわち、入力画像から得られる横方向の形状パターン
が用意している形状特徴パターンのどれに対応するかに
よって、例えば晴の日や雨の日等の情報を得ることも可
能である。
さらに、本実施例のような余裕度を持った形状特徴パタ
ーンの表現方法を使って、別の特徴量、例えば縦方向へ
の射影パターンに適用することができる。例えば、移動
する人物群の場合、その差分2M化画像は人物どうしが
繋がった状態で抽出される領域に対しては本方式は適用
できない。従って、このような差分2値化画像に対して
縦方向への射影パターンに特徴量を見出すことにより、
少なくとも変化領域が大領域であっても、人物群による
変化領域らしさの確信度を得ることができる。
[発明の効果] 以上説明したように本発明の画像認識装置によれば、予
め教示している抽出枠の範囲の変化領域に対して、さら
に人物を表わす1つの特徴量として、差分2値化画像の
横方向への射影形状を使うことによって、雑音成分によ
る影響を極力避け、より確度の高い人物1別を行えると
いう効果がある。
【図面の簡単な説明】
第1図は本発明の一実施例による画像認識装置の全体構
成を示すブロック図、第2図は第1図の人物判別部の詳
細を示すブロック図、第3図は横方向への射影パターン
のマツチング処理を説明したもので、第3図(a)、(
b)は撮影環境によって横方向への射影形状が変動する
ことを説明する図、第3図(c)は予め用意している出
現頻度の度合いに幅を持たせた標準の横方向への射影パ
ターンを示す図、第3図(d)は第3図(c)の指定ラ
インについて出現頻度の度合いを具体的な数値で示した
図である。 1・・・画像入力部、2・・・画像記憶部、3・・・差
分画像生成部、4・・・差分画像復元部、5・・・横方
向射影情報生成部、6・・・人物判別部、11・・・正
規化部、12・・・平滑化処理部、13・・・判別部、
14・・・人物特徴情報テーブル。

Claims (3)

    【特許請求の範囲】
  1. (1)TVカメラからの画像を入力する画像入力手段と
    、前記入力画像を記憶する手段と、前記記憶した画像か
    ら変化領域を抽出する手段と、変化領域抽出画像から予
    め教示している矩形の範囲の変化領域を抽出する手段と
    、前記矩形の範囲の変化領域に対して横又は縦方向への
    射影形状データを求める手段と、標準となる横又は縦方
    向への射影形状データを記憶しておく手段と、前記横又
    は縦方向への射影データと標準の横又は縦方向への射影
    データとを比較して移動物体の人物判断を行う手段とを
    具備することを特徴とする画像認識装置。
  2. (2)移動物体の人物判断手段は、横方向への射影デー
    タの出現頻度情報を有し、横方向へ射影した形状に対し
    て余裕度を持たせたことを特徴とする請求項第1項に記
    載の画像認識装置。
  3. (3)標準となる横方向への射影データは、TVカメラ
    設置環境下で撮影した複数の人物データから生成するこ
    とを特徴とする請求項第1項又は2項に記載の画像認識
    装置。
JP2077609A 1990-03-26 1990-03-26 画像認識装置 Expired - Lifetime JP2975629B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2077609A JP2975629B2 (ja) 1990-03-26 1990-03-26 画像認識装置
US07/674,405 US5177794A (en) 1990-03-26 1991-03-25 Moving object detection apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2077609A JP2975629B2 (ja) 1990-03-26 1990-03-26 画像認識装置

Publications (2)

Publication Number Publication Date
JPH03274983A true JPH03274983A (ja) 1991-12-05
JP2975629B2 JP2975629B2 (ja) 1999-11-10

Family

ID=13638663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2077609A Expired - Lifetime JP2975629B2 (ja) 1990-03-26 1990-03-26 画像認識装置

Country Status (2)

Country Link
US (1) US5177794A (ja)
JP (1) JP2975629B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0604009A1 (en) * 1992-12-21 1994-06-29 International Business Machines Corporation Computer operation of video camera
JP2009237897A (ja) * 2008-03-27 2009-10-15 Daihatsu Motor Co Ltd 画像認識装置
JP2011096072A (ja) * 2009-10-30 2011-05-12 Mitsubishi Electric Corp 物体検出装置及び物体検出プログラム

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999634A (en) * 1991-09-12 1999-12-07 Electronic Data Systems Corporation Device and method for analyzing an electronic image signal
JP3068304B2 (ja) * 1992-01-21 2000-07-24 日本電気株式会社 動画像符号化方式および復号化方式
EP0557007A2 (en) * 1992-02-15 1993-08-25 Sony Corporation Picture processing apparatus
US5664029A (en) * 1992-05-13 1997-09-02 Apple Computer, Inc. Method of disregarding changes in data in a location of a data structure based upon changes in data in nearby locations
JP3288474B2 (ja) * 1993-03-31 2002-06-04 富士通株式会社 画像処理装置
US6430303B1 (en) 1993-03-31 2002-08-06 Fujitsu Limited Image processing apparatus
US6205231B1 (en) * 1995-05-10 2001-03-20 Identive Corporation Object identification in a moving video image
WO1997016806A1 (en) * 1995-11-01 1997-05-09 Carl Kupersmit Vehicle speed monitoring system
US5920360A (en) * 1996-06-07 1999-07-06 Electronic Data Systems Corporation Method and system for detecting fade transitions in a video signal
US5959697A (en) * 1996-06-07 1999-09-28 Electronic Data Systems Corporation Method and system for detecting dissolve transitions in a video signal
US5767923A (en) * 1996-06-07 1998-06-16 Electronic Data Systems Corporation Method and system for detecting cuts in a video signal
US5734735A (en) * 1996-06-07 1998-03-31 Electronic Data Systems Corporation Method and system for detecting the type of production media used to produce a video signal
US6061471A (en) * 1996-06-07 2000-05-09 Electronic Data Systems Corporation Method and system for detecting uniform images in video signal
US5778108A (en) * 1996-06-07 1998-07-07 Electronic Data Systems Corporation Method and system for detecting transitional markers such as uniform fields in a video signal
GB9617592D0 (en) * 1996-08-22 1996-10-02 Footfall Limited Video imaging systems
US6240198B1 (en) * 1998-04-13 2001-05-29 Compaq Computer Corporation Method for figure tracking using 2-D registration
US6269172B1 (en) * 1998-04-13 2001-07-31 Compaq Computer Corporation Method for tracking the motion of a 3-D figure
US6256418B1 (en) 1998-04-13 2001-07-03 Compaq Computer Corporation Method and system for compressing a sequence of images including a moving figure
FR2799563A1 (fr) * 1999-10-11 2001-04-13 Daniel Voisin Procede et dispositif de detection de l'apparition d'un evenement ou d'une presence
US20150312397A1 (en) * 2004-12-23 2015-10-29 Kuo-Ching Chiang Smart Phone and the Controlling Method of the Same
CN103729858B (zh) * 2013-12-13 2016-06-15 广州中国科学院先进技术研究所 一种视频监控系统中遗留物品的检测方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2045574B (en) * 1979-03-22 1983-04-20 Quantel Ltd Video movement detection
US4430749A (en) * 1981-06-30 1984-02-07 Siemens Gammasonics, Inc. Medical imaging apparatus and method for furnishing difference images
EP0208681B1 (en) * 1984-03-06 1991-10-16 VEITCH, Simon John Vision system
JPS61198893A (ja) * 1985-02-27 1986-09-03 Mitsubishi Electric Corp 駅ホ−ムの監視方法
GB2183878B (en) * 1985-10-11 1989-09-20 Matsushita Electric Works Ltd Abnormality supervising system
JPH0766446B2 (ja) * 1985-11-27 1995-07-19 株式会社日立製作所 移動物体像を抽出する方法
JPH0786914B2 (ja) * 1986-11-07 1995-09-20 株式会社日立製作所 画像を用いた変化検出方法
US4872051A (en) * 1987-10-01 1989-10-03 Environmental Research Institute Of Michigan Collision avoidance alarm system
JPH0695008B2 (ja) * 1987-12-11 1994-11-24 株式会社東芝 監視装置
US4893182A (en) * 1988-03-18 1990-01-09 Micronyx, Inc. Video tracking and display system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0604009A1 (en) * 1992-12-21 1994-06-29 International Business Machines Corporation Computer operation of video camera
JP2009237897A (ja) * 2008-03-27 2009-10-15 Daihatsu Motor Co Ltd 画像認識装置
JP2011096072A (ja) * 2009-10-30 2011-05-12 Mitsubishi Electric Corp 物体検出装置及び物体検出プログラム

Also Published As

Publication number Publication date
US5177794A (en) 1993-01-05
JP2975629B2 (ja) 1999-11-10

Similar Documents

Publication Publication Date Title
JPH03274983A (ja) 画像認識装置
Kang et al. Real-time video tracking using PTZ cameras
Giannoukos et al. Operator context scanning to support high segmentation rates for real time license plate recognition
CN108805900B (zh) 一种跟踪目标的确定方法及装置
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
CN111144366A (zh) 一种基于联合人脸质量评估的陌生人脸聚类方法
CN111429376A (zh) 高低精度融合的高效数字图像处理方法
CN116823694B (zh) 基于多聚焦信息整合的红外与可见光图像融合方法及系统
KR20200060868A (ko) 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템
CN113657250A (zh) 一种基于监控视频的火焰检测方法及系统
CN114022468B (zh) 一种安防监控中物品遗留丢失检测方法
Szlávik et al. Face analysis using CNN-UM
CN107273804A (zh) 基于支持向量机和深度特征的行人识别方法
Varkonyi-Koczy Fuzzy logic supported corner detection
Lee et al. An intelligent video security system using object tracking and shape recognition
CN114782268A (zh) 一种改进surf算法的低照度图像增强方法
CN113963391A (zh) 基于双目摄像头的静默活体检测方法及系统
JP3062383B2 (ja) 人物認識方法
RU2809945C2 (ru) Способ обнаружения движущихся объектов
Fahn et al. SOINN-Based Abnormal Trajectory Detection for Efficient Video Condensation.
JPH07128031A (ja) 顔画像認識装置
JPH0869535A (ja) 背景特徴マスク生成装置および移動物体特徴抽出装置
Cheng et al. Mitigating the effects of variable illumination for tracking across disjoint camera views
Niju Robust Human Tracking Using Sparse Collaborative Model in Surveillance Videos
Bulla et al. Fake shadow detection using local HOG features

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070903

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080903

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080903

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090903

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090903

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100903

Year of fee payment: 11

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100903

Year of fee payment: 11