JPH0381884A - 人数検出装置 - Google Patents

人数検出装置

Info

Publication number
JPH0381884A
JPH0381884A JP1218847A JP21884789A JPH0381884A JP H0381884 A JPH0381884 A JP H0381884A JP 1218847 A JP1218847 A JP 1218847A JP 21884789 A JP21884789 A JP 21884789A JP H0381884 A JPH0381884 A JP H0381884A
Authority
JP
Japan
Prior art keywords
image
pattern
correlation value
center
people
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP1218847A
Other languages
English (en)
Other versions
JP2633694B2 (ja
Inventor
Hiroshi Seki
関 廣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daido Denki Kogyo KK
Original Assignee
Daido Denki Kogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daido Denki Kogyo KK filed Critical Daido Denki Kogyo KK
Priority to JP1218847A priority Critical patent/JP2633694B2/ja
Priority to US07/567,051 priority patent/US5121201A/en
Publication of JPH0381884A publication Critical patent/JPH0381884A/ja
Application granted granted Critical
Publication of JP2633694B2 publication Critical patent/JP2633694B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〈産業上の利用分野〉 本発明は、ビル内や地下街等、ある特定場所の人数を、
テレビカメラの画像信号を処理して検出する人数検出装
置に関するものである。
〈従来の技術〉 テレビカメラの映像信号をディジタル信号に変換し、得
られたディジタル信号画像から検出対象画像を認識する
手法は広く使用されている。
例えば第2図は、従来の人数検出装置のブロック図であ
る。
図に於いて1はテレビカメラ等で成り、検出対象人物を
撮像して画像信号を出力する画像入力部、2は画像入力
部1の画像信号を入力してノイズ成分を除去し、二値化
等の処理をして二値化画像信号を出力する前処理部、3
は前処理部2の画像信号を入力して検出対象人物画像を
抽出する対象抽出部、4は対象抽出部3の検出対象人物
画像と、予め入力して内部に記憶されている基準面積画
像とを比較する面積比較部、5は基準面積画像より大き
い画像を計数する計数部である。
次に動作について説明する。画像入力部1がビル内や地
下街等のある特定場所を撮像して画像信号を出力すると
、前処理部2がこの画像信号を取り込んでマスキング等
でノイズ成分を除去し、次いで二値化処理を行って二値
化画像信号を出力する。対象抽出部3は二値化画像信号
から検出対象人物画像を抽出する。面積比較部4には予
め入力された基準面積画像が記憶されており、この基準
面積画像と対象抽出部3の検出対象人物画像とを比較し
、基準面積画像より大きい部分の人物画像を得る。計数
部5はこれらの画像を計数して人数信号を出力する。
このようにして、画像入力部の画像信号をディジタル処
理することによって検出対象人物の数を検出することが
できる。
〈発明が解決しようとする問題点〉 以上述べたような従来の人数検出装置では、二値化画像
信号を基に面積判定を行っているので、背景とのコント
ラストの低い場合、例えば頭髪が金髪で背景となる床が
同系色等のような場合には、検出対象人物の画像面積(
画素数)が小さくなり検出困難となったり、画像入力部
の設置場所の照度変化等により、二値化処理を行う場合
のしきい値の設定が難し、かった。また、検出対象人物
を天井に設けたテレビカメラで撮像すると、中心部での
画像面積が小さく、周辺部での画像面積が大きくなり検
出精度が低下した。更に、画像信号をディジタル処理し
人数検出を行う際、その処理時間が問題で、高度な処理
をすればする程処理時間が長くなってしまうという問題
点があった。
本発明は上記の問題点を解決するためになされたもので
、頭髪の色や照度の変化等に対しても影響を少なくし、
検出対象人物の数を極めて短い時間で高精度に検出する
ことのできる人数検出装置を提供することを目的とする
〈問題点を解決するための手段〉 上記問題点を解決するための人数検出装置は、テレビカ
メラからの画像を所定の時間間隔で連続して取り込み、
連続する二つの画像間の差の絶対値を求め、これを二値
化処理する差分画像演算部と、検出対象人物の写る面積
をテレビカメラからの距離に関係なく略均−にするため
の形状補正部と、画像の処理時間を短縮するための画素
数圧縮部と、所定の大きさのパターンを走査して、この
パターンと画像との相関値を求める相関値検出部と、相
関値のピークを中心とする前記パターン内に含まれる画
像を取り除いて得られる部分画像の重心を検出する重心
検出部とで構成したものである。
く作用〉 本発明による人数検出装置は、差分画像を二値化してい
るので検出対象人物の頭髪の色等に関係なく、背景とな
る床とのコントラストが低い場合や、照度の変化がある
場合でもその影響が少なく、更に画像の形状補正を行っ
ているので、テレビカメラの視野内のどの位置で検出対
象人物が写されても画像面積の大きさが略均−になる。
また、所定の大きさのパターンとの相関値を求めたり、
画像の重心を求めたりする場合の処理時間も画素数を圧
縮して行っているので、極めて短時間で検出対象人物の
数を高精度で検出することができる。
〈実施例〉 以下、本発明の一実施例について図面を用いて説明する
第1図はこの発明の人数検出装置の構成を示すブロック
図であり、図中、第2図と同一の要素には同一の符号を
付けてその説明を省略する。
10は差分画像演算部で、テレビカメラの画像を所定の
時間(例えば0.1秒)間隔で連続して取り込み、連続
する二つの画像間の差の絶対値を求め、更にその差分画
像を背景雑音を除去できるしきい値で二値化して画像の
時間的な変化部分、即ち人の動いた部分だけを取り出す
この差分画像は原理的に人の動いたことによって得られ
るので、完全に静止した直立不動の人は検出できないが
、実際にはこのような状態は殆どない。
11は形状補正部である。検出対象人物の画面に写る形
状面積は、テレビカメラの視野内の位置によって違って
くる。即ち、テレビカメラの中心部(画面の中心部)に
立つ人は頭が写り、周辺部に立った人は体全体が長く写
る。そこで人の写る画像面積を略一定にするため、形状
補正部11によって画面周辺部の画像面積を圧縮して画
像を形状補正する。この形状補正の具体的方法としては
、例えば次のように考えればよい。
今、画面上の一画素の形状補正前、及び補正後の画面の
中心からの距離を、それぞれr、r′とすると、rとr
′の関係は、 p=r’ Xf (r) と表すことができる。ここで、f (r)は補正前の画
面の中心からの距離rにおける補正係数である。更に、
補正係数f (r)をrについての一次式とすると、 f (r) −r、X (1千kXr)となる。ここで
r、、  kは定数で、r、は画面中心における補正係
数、kは中心方向への圧縮率を表し、この値が大きい程
圧縮率は大きくなる。
次に、第1図に戻り12は画素数圧縮部であり、ここで
は人数検出の処理時間を短縮するため、複数個の画素を
一つに纏めて画素数を減らす。例えば、元の画面画素数
250X250を20X20画素程度に圧縮する。
13は相関値検出部であって、人の大きさのパターン(
例えば3X3画素)を、画素数圧縮された画面上で画素
単位に走査してパターンと画像との相関値を求める。即
ちパターン内の各個(Oまたは1)とそれと重なった位
置にある画像の画素値(Oまたは1)をかけて、その値
をパターン全体にわたって加えた値をそのパターンの中
心にある画素の相関値とする。すると、パターンと人の
画像形状がよく一致した位置で相関値が高くなるので、
この相関値のピークのうちで特に値の大きなピークの数
をカウントする。また、ピークが近距離で複数個検出さ
れる場合は一つに纏める。その後、カウントしたピーク
を中心とするパターン範囲内に含まれる画像を取り除く
14は重心検出部である。動きの少ない場合や背景との
コントラストが低い場合には、面積の小さい差分画像し
か得られないので、人のパターンとの相関値も小さくな
る。そのため相関値のピークを用いて人を検出すること
が難しくなる。そこで、まず工3の相関値検出部で、パ
ターンとの相関値のピークによって人数を検出したあと
、残った部分画像を基にして、相関値を求めた時と同じ
パターンを画像上で走査して、パターン内における画像
の重心を求め、その重心のうちでパターンの中心と略一
致するものを探し、その重心に対して、既に検出した人
の位置との距離に応じて適当な重み(0以上1以下)を
つけてカウントする。更に、カウントした重心を中心と
するパターン範囲内に含まれる画像を取り除く。この処
理を部分画像がなくなるまで行う。
15は計数部であり、人のパターンとの相関値及び重心
によってカウントした人数を合計する。
〈発明の効果〉 以上述べたように、本発明によれば検出対象人物の頭髪
や服装の色に関係なく、背景となる床とのコントラスト
が低い場合や照度の変化がある場合でもその影響が少な
く、またテレビカメラの視野内のどの位置に人物がいて
も極めて高精度でかつ短時間に人数が検出できるという
効果を有する。
【図面の簡単な説明】
第1図は本発明の実施例にかかる人数検出装置の構成を
示すブロック図、第2図は従来の人数検出装置の構成を
示すブロック図である。 1・・・・・・画像入力部、2・・・・・・前処理部、
3・・・・・・対象抽出部、4・・・・・・面積比較部
、5・・・・・・計数部、10・・・・・・差分画像演
算部、11・・・・・・形状補正部、12・・・・・・
画素数圧縮部、13・・・・・・°相関値検出部、14
・・・・・・重心検出部、15・・・・・・計数部 第1図 第2図

Claims (1)

    【特許請求の範囲】
  1. テレビカメラの画像信号を処理して検出対象人物の数を
    検出する人数検出装置に於いて、前記テレビカメラから
    の連続する二つの画像間の差の絶対値を二値化する差分
    画像演算部と、前記テレビカメラの中心部と検出対象人
    物画像との距離に応じて画像面積を補正する形状補正部
    と、複数個の画素を一つに纏めて画素数を減らす画素数
    圧縮部と、所定の大きさのパターンを前記画素数圧縮部
    よりの出力画像の画面画素単位に走査して、前記パター
    ンと前記出力画像との相関値を求める相関値検出部と、
    前記相関値のピークを中心とする前記パターン内に含ま
    れる画像を取り除いて得られる部分画像、前記パターン
    内における前記部分画像の重心を検出する重心検出部と
    を備えたことを特徴とする人数検出装置。
JP1218847A 1989-08-25 1989-08-25 人数検出装置 Expired - Fee Related JP2633694B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP1218847A JP2633694B2 (ja) 1989-08-25 1989-08-25 人数検出装置
US07/567,051 US5121201A (en) 1989-08-25 1990-08-14 Method and apparatus for detecting the number of persons

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1218847A JP2633694B2 (ja) 1989-08-25 1989-08-25 人数検出装置

Publications (2)

Publication Number Publication Date
JPH0381884A true JPH0381884A (ja) 1991-04-08
JP2633694B2 JP2633694B2 (ja) 1997-07-23

Family

ID=16726274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1218847A Expired - Fee Related JP2633694B2 (ja) 1989-08-25 1989-08-25 人数検出装置

Country Status (2)

Country Link
US (1) US5121201A (ja)
JP (1) JP2633694B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04311288A (ja) * 1991-04-09 1992-11-04 Daido Denki Kogyo Kk 通行者数検出装置
JPH0535942A (ja) * 1991-07-26 1993-02-12 Daido Denki Kogyo Kk 通行者数検出装置における基準画素数設定方法
JPH0554142A (ja) * 1991-08-21 1993-03-05 Daido Denki Kogyo Kk 通行者数検出装置における検出エリア両端の人の分離検出方法
JP2012090769A (ja) * 2010-10-27 2012-05-17 Hitachi Aloka Medical Ltd 超音波診断装置

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237308A (en) * 1991-02-18 1993-08-17 Fujitsu Limited Supervisory system using visible ray or infrared ray
US5550928A (en) * 1992-12-15 1996-08-27 A.C. Nielsen Company Audience measurement system and method
US5581625A (en) * 1994-01-31 1996-12-03 International Business Machines Corporation Stereo vision system for counting items in a queue
US5474085A (en) * 1994-02-24 1995-12-12 University Of Prince Edward Island Remote thermographic sensing of livestock
ES2125798B1 (es) * 1996-02-15 1999-10-01 Univ Madrid Politecnica Sistema automatico de contaje de personas en movimiento.
US5953055A (en) 1996-08-08 1999-09-14 Ncr Corporation System and method for detecting and analyzing a queue
GB9618110D0 (en) * 1996-08-30 1996-10-09 Ncr Int Inc Improved self-service system
US6335976B1 (en) 1999-02-26 2002-01-01 Bomarc Surveillance, Inc. System and method for monitoring visible changes
FR2797493B1 (fr) * 1999-08-13 2001-09-21 Holy Dis Systeme de comptage de personnes en deplacement
DE19962201A1 (de) * 1999-09-06 2001-03-15 Holger Lausch Verfahren und Anordnung zur Erfassung und Analyse des Rezeptionsverhaltens von Personen
DE10016893A1 (de) * 2000-04-05 2001-10-18 Bayer Ag Substituierte Phenyluracile
US7215795B2 (en) 2000-09-28 2007-05-08 Hitachi Kokusai Electric Inc. Intruding object detecting method and intruding object monitoring apparatus employing the method
GB0101794D0 (en) * 2001-01-24 2001-03-07 Central Research Lab Ltd Monitoring responses to visual stimuli
US20020168084A1 (en) * 2001-05-14 2002-11-14 Koninklijke Philips Electronics N.V. Method and apparatus for assisting visitors in navigating retail and exhibition-like events using image-based crowd analysis
US7688349B2 (en) * 2001-12-07 2010-03-30 International Business Machines Corporation Method of detecting and tracking groups of people
US7545949B2 (en) * 2004-06-09 2009-06-09 Cognex Technology And Investment Corporation Method for setting parameters of a vision detector using production line information
US9092841B2 (en) 2004-06-09 2015-07-28 Cognex Technology And Investment Llc Method and apparatus for visual detection and inspection of objects
US7609853B2 (en) * 2002-12-11 2009-10-27 The Nielsen Company (Us), Llc Detecting a composition of an audience
US7203338B2 (en) * 2002-12-11 2007-04-10 Nielsen Media Research, Inc. Methods and apparatus to count people appearing in an image
US8891852B2 (en) 2004-06-09 2014-11-18 Cognex Technology And Investment Corporation Method and apparatus for configuring and testing a machine vision detector
US8127247B2 (en) 2004-06-09 2012-02-28 Cognex Corporation Human-machine-interface and method for manipulating data in a machine vision system
US20050276445A1 (en) * 2004-06-09 2005-12-15 Silver William M Method and apparatus for automatic visual detection, recording, and retrieval of events
US8243986B2 (en) * 2004-06-09 2012-08-14 Cognex Technology And Investment Corporation Method and apparatus for automatic visual event detection
WO2006052545A2 (en) * 2004-11-02 2006-05-18 Sensormatic Electronics Corporation Line monitoring system and method
US7720315B2 (en) * 2004-11-12 2010-05-18 Cognex Technology And Investment Corporation System and method for displaying and using non-numeric graphic elements to control and monitor a vision system
US7636449B2 (en) 2004-11-12 2009-12-22 Cognex Technology And Investment Corporation System and method for assigning analysis parameters to vision detector using a graphical interface
US9292187B2 (en) 2004-11-12 2016-03-22 Cognex Corporation System, method and graphical user interface for displaying and controlling vision system operating parameters
US8237099B2 (en) * 2007-06-15 2012-08-07 Cognex Corporation Method and system for optoelectronic detection and location of objects
US8131010B2 (en) * 2007-07-30 2012-03-06 International Business Machines Corporation High density queue estimation and line management
US8103085B1 (en) 2007-09-25 2012-01-24 Cognex Corporation System and method for detecting flaws in objects using machine vision
US8411963B2 (en) * 2008-08-08 2013-04-02 The Nielsen Company (U.S.), Llc Methods and apparatus to count persons in a monitored environment
US8295545B2 (en) * 2008-11-17 2012-10-23 International Business Machines Corporation System and method for model based people counting
US20100186234A1 (en) 2009-01-28 2010-07-29 Yehuda Binder Electric shaver with imaging capability
US8677385B2 (en) 2010-09-21 2014-03-18 The Nielsen Company (Us), Llc Methods, apparatus, and systems to collect audience measurement data
CH703936A2 (de) 2010-10-01 2012-04-13 Fastcom Technology Sa System und Verfahren zur Individualisierung von Personen.
US8963722B2 (en) 2010-10-14 2015-02-24 Sony Corporation Apparatus and method for playing and/or generating audio content for an audience
JP2012108785A (ja) * 2010-11-18 2012-06-07 Panasonic Corp 人数カウント装置、人数カウント方法及び人数カウントプログラム
WO2012170898A2 (en) * 2011-06-09 2012-12-13 Utah State University Research Foundation Systems and methods for sensing occupancy
US8620088B2 (en) 2011-08-31 2013-12-31 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US9651499B2 (en) 2011-12-20 2017-05-16 Cognex Corporation Configurable image trigger for a vision system and method for using the same
US9092675B2 (en) 2012-03-29 2015-07-28 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US8761442B2 (en) * 2012-03-29 2014-06-24 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US9275285B2 (en) 2012-03-29 2016-03-01 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US8660307B2 (en) 2012-03-29 2014-02-25 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US10810481B2 (en) * 2017-01-11 2020-10-20 Thomas Danaher Harvey Method and system to count movements of persons from vibrations in a floor
US10282656B2 (en) * 2017-01-11 2019-05-07 Thomas Danaher Harvey Method and device for detecting unauthorized tranfer between persons
US11574458B2 (en) * 2019-01-02 2023-02-07 International Business Machines Corporation Automated survey results generation from an image
US11120280B2 (en) * 2019-11-15 2021-09-14 Argo AI, LLC Geometry-aware instance segmentation in stereo image capture processes
CN111064930B (zh) * 2019-12-17 2021-08-03 浙江大华技术股份有限公司 分屏显示方法、显示终端及存储装置
US11711638B2 (en) 2020-06-29 2023-07-25 The Nielsen Company (Us), Llc Audience monitoring systems and related methods
US11860704B2 (en) 2021-08-16 2024-01-02 The Nielsen Company (Us), Llc Methods and apparatus to determine user presence
US11758223B2 (en) 2021-12-23 2023-09-12 The Nielsen Company (Us), Llc Apparatus, systems, and methods for user presence detection for audience monitoring

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62296687A (ja) * 1986-06-16 1987-12-23 Matsushita Electric Works Ltd 画像処理装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0695008B2 (ja) * 1987-12-11 1994-11-24 株式会社東芝 監視装置
US4951140A (en) * 1988-02-22 1990-08-21 Kabushiki Kaisha Toshiba Image encoding apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62296687A (ja) * 1986-06-16 1987-12-23 Matsushita Electric Works Ltd 画像処理装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04311288A (ja) * 1991-04-09 1992-11-04 Daido Denki Kogyo Kk 通行者数検出装置
JPH0535942A (ja) * 1991-07-26 1993-02-12 Daido Denki Kogyo Kk 通行者数検出装置における基準画素数設定方法
JPH0554142A (ja) * 1991-08-21 1993-03-05 Daido Denki Kogyo Kk 通行者数検出装置における検出エリア両端の人の分離検出方法
JP2012090769A (ja) * 2010-10-27 2012-05-17 Hitachi Aloka Medical Ltd 超音波診断装置

Also Published As

Publication number Publication date
US5121201A (en) 1992-06-09
JP2633694B2 (ja) 1997-07-23

Similar Documents

Publication Publication Date Title
JPH0381884A (ja) 人数検出装置
KR100617408B1 (ko) 씬 중의 대상물 분류 방법 및 시스템
US9036917B2 (en) Image recognition based on patterns of local regions
US6614928B1 (en) Automatic parcel volume capture system and volume capture method using parcel image recognition
JPH07302328A (ja) 背景差分による動物体領域抽出方法
JP3490910B2 (ja) 顔領域検出装置
CN101571955B (zh) 一种精确实时微变化运动目标检测方法
Kristensen et al. Background segmentation beyond RGB
KR101769741B1 (ko) 동공 탐지를 통한 홍채 인식 방법 및 홍채 인식 장치
JP2004301607A (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
KR20080079798A (ko) 얼굴 검출 및 인식을 위한 방법
JP3025133B2 (ja) 人物認識装置
JP2007201933A (ja) 画像を用いた監視装置
JP4042602B2 (ja) 画像処理装置
KR100751467B1 (ko) 움직이는 타겟의 윤곽을 검지하는 화상 처리 장치 및 그방법
TWI716049B (zh) 前景及背景影像判斷方法
JPS62177689A (ja) 人数計数装置
JPH04281578A (ja) 物体の方向検出処理方式
JPH0546732A (ja) 人数検出装置
JP3447751B2 (ja) パターン認識方法
JP2010250571A (ja) 人物計数装置
Lim et al. A long-distance 3D face recognition architecture utilizing MEMS-based region-scanning LiDAR
JPH0634555A (ja) メロンの縞抽出装置
JPH0383474A (ja) 車両検出装置
Ivanov et al. Specific features of operation of fallen person detection algorithms based on a sequence of scene images

Legal Events

Date Code Title Description
S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080425

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090425

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees