JPH08263662A - カラー画像認識方法 - Google Patents

カラー画像認識方法

Info

Publication number
JPH08263662A
JPH08263662A JP7065588A JP6558895A JPH08263662A JP H08263662 A JPH08263662 A JP H08263662A JP 7065588 A JP7065588 A JP 7065588A JP 6558895 A JP6558895 A JP 6558895A JP H08263662 A JPH08263662 A JP H08263662A
Authority
JP
Japan
Prior art keywords
basic
image
pattern
extracted
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7065588A
Other languages
English (en)
Other versions
JP3496897B2 (ja
Inventor
Toshio Miyazawa
利夫 宮澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP06558895A priority Critical patent/JP3496897B2/ja
Publication of JPH08263662A publication Critical patent/JPH08263662A/ja
Application granted granted Critical
Publication of JP3496897B2 publication Critical patent/JP3496897B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Color Image Communication Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 全てのカラー画像を対象とするのではなく、
カラー画像の内、特に抽出しようとする画像が予め決め
られた規則に従って描かれているパターンを高精度に認
識する。 【構成】 画像2値化部1は、入力カラー画像信号から
2値画像を生成し、基本マーク抽出部2は、生成された
2値化画像中に含まれる基本マークを抽出する。基本パ
ターン抽出部3では、抽出された複数の基本マークから
なる基本パターンを抽出する。基本パターン認識部4
は、抽出された基本パターンと辞書とを照合して、基本
パターンを識別する。判定部5では、入力原稿中におけ
る基本パターンの個数などの条件を基に、認識対象原稿
か否かを判定する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、入力されたカラー画像
中の特定画像を認識するカラー画像認識方法に関する。
【0002】
【従来の技術】カラー画像を処理する製品、例えばカラ
ー複写機、カラープリンタ、カラースキャナ、カラー画
像通信機器などは、今後ますます増加するものと予想さ
れる。カラー画像は、ハードウェアの進歩、特にメモリ
の低価格化および大容量化、通信コストの低下などによ
り、以前に比べて利用しやすくなってきたものの、カラ
ー画像データはそのデータ量が膨大であるため、2値画
像と同じような処理ができないのが現状である。
【0003】特に、画像認識(特定画像の認識、OCR
など)などの複雑な処理を要する技術においては、処理
量が膨大になり、カラー画像における画像認識は実現が
より困難である。
【0004】従来、特定のカラー画像に何らかの処理を
施すことによりデータを圧縮し、識別する方法として種
々の方法が提案されている。例えば、画像を構成する各
絵柄部分は固有の色空間上での分布を持っていることに
着目して、各絵柄部分に現われる固有の色空間上での分
布を特定し、この特定された特徴と同一の特徴を有する
画像部分を抽出する方法がある(特開平4−18034
8号公報を参照)。しかし、この方法では、色空間中で
の拡がりが同じ画像については、その内部での色の分布
が異なっていても識別することができず、つまり色空間
の拡がりが同じであれば、拡がりの中での色の分布が異
なる画像をも特定の画像として誤検出する可能性があ
る。
【0005】
【発明が解決しようとする課題】また、認識処理に必要
な対象物の抽出方法として種々の方法が提案されている
が、例えば画像から黒連結の矩形を抽出し、予め設定さ
れた閾値と比較することにより、文字の矩形と線図形の
矩形とを判定する画像抽出方法がある(特開昭55−1
62177号公報を参照)。この方法は、抽出された線
図形をさらに詳細に水平罫線、垂直罫線、表、囲み枠な
どのように識別するものではなく、また回転した対象物
の抽出に対応できない。
【0006】本発明の目的は、全てのカラー画像を対象
とするのではなく、カラー画像の内、特に抽出しようと
する画像が予め決められた規則に従って描かれているパ
ターンを高精度に認識するカラー画像認識方法を提供す
ることにある。
【0007】
【課題を解決するための手段】前記目的を達成するため
に、請求項1記載の発明では、入力されたカラー画像信
号から所定の画像信号成分を抽出して2値化された画像
を生成し、該2値化された画像から所定のマークを抽出
し、該抽出された複数のマークから構成された所定のパ
ターンを抽出し、該抽出されたパターンと、認識すべき
パターンを登録した辞書とを照合することにより、該抽
出されたパターンを認識することを特徴としている。
【0008】請求項2記載の発明では、前記2値化され
た画像を生成する際に、入力カラー画像を平滑化するこ
とを特徴としている。
【0009】請求項3記載の発明では、前記2値化され
た画像を圧縮変換した後に、前記パターンを抽出するこ
とを特徴としている。
【0010】請求項4記載の発明では、前記2値化され
た画像を圧縮変換し、該圧縮変換された画像から所定の
マークの中心座標を求め、該中心座標と圧縮変換前の原
画像とを基に、該所定のマークの中心座標を詳細に求め
ることを特徴としている。
【0011】
【作用】画像2値化部では、入力されたカラー画像信号
から所定の画像信号成分のみを抽出して2値画像を生成
する。基本マーク抽出部では、生成された2値化画像中
に含まれる基本マーク(例えば黒丸)を抽出する。基本
パターン抽出部では、抽出された複数の基本マークから
なる基本パターン(黒丸が正三角形に配置されたパター
ン)を抽出する。基本パターン認識部では、抽出された
基本パターンと辞書とを照合して、基本パターンを認識
し、判定部では、基本パターンの個数が入力原稿中に所
定の閾値以上あるという条件などを基に、認識対象原稿
か否かを判定する。
【0012】
【実施例】以下、本発明の一実施例を図面を用いて具体
的に説明する。 〈実施例1〉図1は、本発明の実施例1の構成を示す。
図において、1は、入力カラー画像から2値化画像を作
成する画像2値化部、2は、2値化画像から基本マーク
を抽出する基本マーク抽出部、3は、複数の基本マーク
からなる基本パターンを抽出する基本パターン抽出部、
4は、抽出された基本パターンと辞書とを照合する基本
パターン認識部、5は、認識された基本パターンを基に
入力原稿が認識対象原稿であるか否かを判定する判定
部、6は、各部を制御する制御部である。
【0013】画像2値化部1は、原稿を読み取って入力
されたカラー画像信号(R、G、B)から、所定の画像
信号成分を抜き出して2値化された画像を生成する。基
本マーク抽出部2では、生成された2値化画像中に含ま
れる基本マークを抽出し、ここで抽出された複数の基本
マークから構成される基本パターンを、基本パターン抽
出部3で抽出する。基本パターン認識部4は、抽出され
た基本パターンと、認識すべきパターンが登録された辞
書とを照合して認識を行い、判定部5は、入力原稿中に
該抽出された基本パターンが幾つあるかなどの条件を基
に、認識対象原稿か否かの最終判定を行う。
【0014】図6は、認識対象原稿例と、その基本パタ
ーン例を示す。図6に示すように、例えばチケットの如
き認識対象原稿31の全面に印刷されている繰返しパタ
ーンを検出し、認識する場合を例にして本実施例を説明
する。また、繰返しパターンを構成する基本パターン3
3としては、図中に破線で示した正三角形の各頂点に基
本マーク(黒丸)32があるパターンを例にして説明す
る。
【0015】まず始めに、画像2値化部1では、図6の
原稿例において、検出対象の繰返しパターンではない文
字部分を除外し(例えば、所定の閾値以上の値を持つ画
素を抽出する)、繰返しパターンのみの2値画像を生成
する。次いで、後述する実施例3、実施例4に示す手法
などによって、基本マーク抽出部2は、基本マーク32
(この例では黒丸)を抽出し、その中心座標を求める。
【0016】図7は、基本パターン候補の抽出を説明す
る図である。基本パターン抽出部3は、上記したように
抽出された基本マーク41の中心座標から、図7に示す
ように、基本パターン(この例では正三角形)の中心4
2を求める。例えば、正三角形の場合は、その重心から
頂点までの距離が等しいことを利用し、図7に示す実線
で描かれた円43が交差するところが基本パターンの中
心42となる。
【0017】そして、基本パターン認識部4は、基本パ
ターンの中心から基本マークまでの距離(r)によっ
て、基本パターン候補が抽出対象のパターンであるか否
かの判定を行う。図8は、基本パターンの識別を説明す
る図である。本実施例の場合は、辞書には距離rが登録
されていて、基本パターン候補の距離と、辞書内の距離
とを照合し、一致するものを基本パターンとして抽出す
る。
【0018】判定部5は、上記したようにして抽出され
た基本パターンの個数が対象原稿中に、所定の閾値以上
あるなどの条件を用いて、認識対象原稿であるか否かの
判定を行う。
【0019】〈実施例2〉本実施例2は、図1に示す構
成を用いる。入力されたカラー画像信号は、入力装置の
構造上の問題などから、主走査方向の偶数画素と奇数画
素で階調濃度の値に有意な違いが見られることがある。
本実施例2では、このような影響を除くために、入力画
像信号を偶数画素と奇数画素で平滑化してから2値化処
理を行う。
【0020】〈実施例3〉図2、図3は、実施例3の構
成を示す。本実施例では、圧縮変換された画像から基本
マークを抽出している。そのために、図2の構成では、
基本マーク抽出部2は、4×4画素OR圧縮部21と、
ハフ変換部22から構成され、図3の構成では、基本マ
ーク抽出部2は、8×8画素OR圧縮部23と、窓によ
る切り出し部24から構成されている。
【0021】画像2値化部1は、入力されたカラー画像
信号(R、G、B)から、所定の画像信号成分を抜き出
して2値画像を生成する。基本マーク抽出部2は、生成
された2値画像信号を、図2の構成では、4×4画素O
R圧縮部21でOR圧縮処理する。つまり、画像を4×
4画素単位に処理し、4×4画素の内、1つでも黒画素
があれば、4×4画素単位を黒画素として処理し、画像
を1/16に圧縮する。
【0022】この圧縮処理された画像を対象に、ハフ変
換処理を用いて基本マーク抽出を行う。また、図3の構
成では、8×8画素OR圧縮部23でOR圧縮処理さ
れ、この圧縮処理された画像を対象に窓による切り出し
部24によって基本マーク抽出を行う。
【0023】本実施例では、基本マークは前述したよう
に円形であり、また、円の直径は16画素の場合を例に
して説明する。図2の構成では、基本マークの抽出方法
として、従来から円、線などの抽出の手法としてよく用
いられるハフ(Hough)変換を用いる。
【0024】一方、図3の構成では、図9に示すよう
に、OR圧縮後の画像を対象に5×5画素の窓を考え
る。図9は、窓による切り出しを説明する図であり、中
心の3×3画素(52)はその内、4画素以上が黒画素
であり、かつ、周辺の荒いハッチング(51)を施した
12画素については、その内11画素以上が白画素であ
る場合を基本マークの候補とする。図3の構成は、図2
の構成の場合に比べて抽出精度が低下する可能性もある
が、圧縮比率を上げることができるので、高速処理が可
能になる。
【0025】なお、本実施例では、基本マークの画像サ
イズを16画素としているので、OR圧縮が8×8、切
り出しに用いた窓サイズが5画素となるが、基本マーク
の画像サイズが変更された場合は、OR圧縮、窓サイズ
の値も変更する必要がある。
【0026】〈実施例4〉図4、図5は、本実施例4の
構成を示す。図4、図5の構成は、図2、図3の基本マ
ーク抽出部2に重心座標詳細計算部25と、円形判定部
26とを付加して構成されている。本実施例は、実施例
3で粗く求めた基本マークの中心座標を、原画像を用い
てより精度の高いものにする実施例である。
【0027】すなわち、上記した実施例と同様に、画像
2値化部1では、入力カラー画像信号(R、G、B)か
ら、所定の画像信号成分を抜き出して2値画像を生成
し、基本マーク抽出部2では、実施例3で説明したよう
に、生成された2値画像信号をOR圧縮部21、23で
OR圧縮処理し、ハフ変換部22、窓による切り出し部
24で基本マークの中心座標を求める。しかし、ここで
求めた中心座標は、圧縮処理された画像上の座標から求
めているので、精度が粗い。
【0028】そこで、本実施例では、2値化されたオリ
ジナルサイズの画像データと圧縮処理して求めた基本マ
ークの中心座標とを重心座標詳細計算部25に渡すこと
によって、基本マークの中心座標(重心座標)を詳細に
求め、次いで、円形判定部26で円形判定を行い、ここ
で円形と判定されたものを基本マークとして、その座標
データを基本パターン抽出部3に出力する。
【0029】重心座標詳細計算部25では、基本マーク
の中心座標を中心に、予め分かっている基本マークのサ
イズを基に、所定のサイズの窓内の黒画素の重心を求め
る。次いで、いま求めた重心座標を中心とし、前回同
様、所定のサイズの窓内の黒画素の重心を求め、前回と
重心座標が一致するか、所定の繰返し回数行われるまで
繰返し処理を行う。
【0030】図10(a)〜(d)は、基本マークの中
心座標を求めるための説明図である。この図は、画像中
にノイズがあるために、窓の中心座標と、基本マークの
中心が一致せず、重心計算を繰り返すことによって、徐
々に両者が近づいていくようすを示したものである。
【0031】圧縮画像データから得られた基本マークの
中心座標を(X0,Y0)とする。(X0,Y0)にO
R圧縮比率mag(例えば4)を掛けてオリジナル画像
サイズの座標(X1,Y1)に変換する(a)。
【0032】 X1=mag*X0+mag/2 Y1=mag*Y0+mag/2 上記で求めた(X1,Y1)を中心とした窓(X1s,
Y1s)−(X1e,Y1e)の窓内の黒画素の重心
(X2,Y2)を求める(b)。この例では、重心(X
2,Y2)と(X1,Y1)が一致していないので、
(X2,Y2)を中心として窓内の黒画素の重心(X
3,Y3)を求める(c)。この(X3,Y3)と(X
2,Y2)も一致していないので、同様に(x4,y
4)を求める(d)。この例では、ここで(X3,Y
3)と(x4,y4)が一致したので、この(X4,Y
4)を基本マークの中心座標となる。なお、上記した処
理を所定の回数繰り返しても、上記したように一致しな
い場合は、所定回数で処理を打ち切り、最後の座標を基
本マークの中心座標とする。
【0033】円形判定部26では、上記した重心座標詳
細計算部25で求めた基本マークの中心座標を中心と
し、基本マークの円形形状を判定する。図11は、対象
画像から円形形状を判定する図である。図は、オリジナ
ルサイズの画像を対象にしていて、61は、白画素、黒
画素の何れでもよい領域、62は、全て黒画素である領
域、63は、1画素以上の黒画素を含む領域を示す。
【0034】そして、円形判定部26では、領域62で
示す9画素が全て黒画素である場合、1ポイント、領域
63で示す上下左右の4つの領域について、領域内に1
画素でも黒画素があれば1ポイントとしたとき、5ポイ
ント満点で、3ポイント以上の画像を、円形であると判
定する。このような判定を行うことにより、基本マーク
の形状である円形以外の候補が除外される。そして、円
形と判定された基本マークの座標データが基本パターン
抽出部3に与えられて、基本パターンが抽出される。
【0035】なお、上記した実施例では、各機能を実行
する専用の処理部を設けた構成になっているが、本発明
はこれに限定されるものではなく、例えば、各機能をR
OMなどに組み込んで、汎用のプロセッサ上で演算、処
理されるように構成を変更することができる。
【0036】
【発明の効果】以上、説明したように、請求項1記載の
発明によれば、カラー画像の認識処理を行う際に、画像
認識に必要な情報量を確保しつつ、回転の影響を受けず
に、データ量を圧縮して高速に対象物を認識することが
できる。
【0037】請求項2記載の発明によれば、入力装置の
構造上の影響を回避することができる。
【0038】請求項3記載の発明によれば、圧縮した画
像から基本マークの中心座標を求めているので、高速に
基本パターンを抽出することが可能となる。
【0039】請求項4記載の発明によれば、圧縮画像か
ら基本マークの中心座標を粗く求め、原画像データを用
いて更に詳細に基本マークの中心座標を求めているの
で、原画像データから直接、基本マークの中心座標を求
めるよりも、高速に基本マークの中心座標を得ることが
できる。
【図面の簡単な説明】
【図1】本発明の実施例1の構成を示す。
【図2】本発明の実施例3の構成を示す。
【図3】本発明の実施例3の他の構成を示す。
【図4】本発明の実施例4の構成を示す。
【図5】本発明の実施例4の他の構成を示す。
【図6】認識対象原稿例と、その基本パターン例を示
す。
【図7】基本パターン候補の抽出を説明する図である。
【図8】基本パターンの識別を説明する図である。
【図9】窓による切り出しを説明する図である。
【図10】(a)〜(d)は、基本マークの中心座標を
求めるための説明図である。
【図11】対象画像から円形形状を判定する図である。
【符号の説明】
1 画像2値化部 2 基本マーク抽出部 3 基本パターン抽出部 4 基本パターン認識部 5 判定部 6 制御部

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 入力されたカラー画像信号から所定の画
    像信号成分を抽出して2値化された画像を生成し、該2
    値化された画像から所定のマークを抽出し、該抽出され
    た複数のマークから構成された所定のパターンを抽出
    し、該抽出されたパターンと、認識すべきパターンを登
    録した辞書とを照合することにより、該抽出されたパタ
    ーンを認識することを特徴とするカラー画像認識方法。
  2. 【請求項2】 前記2値化された画像を生成する際に、
    入力カラー画像を平滑化することを特徴とする請求項1
    記載のカラー画像認識方法。
  3. 【請求項3】 前記2値化された画像を圧縮変換した後
    に、前記パターンを抽出することを特徴とする請求項1
    記載のカラー画像認識方法。
  4. 【請求項4】 前記2値化された画像を圧縮変換し、該
    圧縮変換された画像から所定のマークの中心座標を求
    め、該中心座標と圧縮変換前の原画像とを基に、該所定
    のマークの中心座標を詳細に求めることを特徴とする請
    求項1記載のカラー画像認識方法。
JP06558895A 1995-03-24 1995-03-24 カラー画像認識方法および装置 Expired - Fee Related JP3496897B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP06558895A JP3496897B2 (ja) 1995-03-24 1995-03-24 カラー画像認識方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06558895A JP3496897B2 (ja) 1995-03-24 1995-03-24 カラー画像認識方法および装置

Publications (2)

Publication Number Publication Date
JPH08263662A true JPH08263662A (ja) 1996-10-11
JP3496897B2 JP3496897B2 (ja) 2004-02-16

Family

ID=13291332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06558895A Expired - Fee Related JP3496897B2 (ja) 1995-03-24 1995-03-24 カラー画像認識方法および装置

Country Status (1)

Country Link
JP (1) JP3496897B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7139429B2 (en) 2001-01-25 2006-11-21 Ricoh Company, Ltd. Image recognition scheme

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6354680A (ja) * 1986-08-26 1988-03-09 Canon Inc 位置検出装置
JPH05174149A (ja) * 1991-12-26 1993-07-13 Nippon Telegr & Teleph Corp <Ntt> 画像認識装置
JPH0670134A (ja) * 1992-08-15 1994-03-11 Ricoh Co Ltd 画像形成装置
JPH06113114A (ja) * 1992-09-28 1994-04-22 Canon Inc 画像処理装置
JPH06217122A (ja) * 1993-01-19 1994-08-05 Canon Inc 画像読取装置及びパターン形成方法
JPH06266897A (ja) * 1993-03-17 1994-09-22 Nippon Telegr & Teleph Corp <Ntt> 背景付き文字列からの文字列画像の抽出処理方式
JPH06300524A (ja) * 1993-04-13 1994-10-28 Toshiba Corp 認識マークの位置検出装置
JPH0736317A (ja) * 1993-07-23 1995-02-07 Ricoh Co Ltd 複写機

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6354680A (ja) * 1986-08-26 1988-03-09 Canon Inc 位置検出装置
JPH05174149A (ja) * 1991-12-26 1993-07-13 Nippon Telegr & Teleph Corp <Ntt> 画像認識装置
JPH0670134A (ja) * 1992-08-15 1994-03-11 Ricoh Co Ltd 画像形成装置
JPH06113114A (ja) * 1992-09-28 1994-04-22 Canon Inc 画像処理装置
JPH06217122A (ja) * 1993-01-19 1994-08-05 Canon Inc 画像読取装置及びパターン形成方法
JPH06266897A (ja) * 1993-03-17 1994-09-22 Nippon Telegr & Teleph Corp <Ntt> 背景付き文字列からの文字列画像の抽出処理方式
JPH06300524A (ja) * 1993-04-13 1994-10-28 Toshiba Corp 認識マークの位置検出装置
JPH0736317A (ja) * 1993-07-23 1995-02-07 Ricoh Co Ltd 複写機

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7139429B2 (en) 2001-01-25 2006-11-21 Ricoh Company, Ltd. Image recognition scheme

Also Published As

Publication number Publication date
JP3496897B2 (ja) 2004-02-16

Similar Documents

Publication Publication Date Title
US7164795B2 (en) Apparatus for extracting ruled line from multiple-valued image
JP2005148987A (ja) オブジェクト識別方法とその装置、プログラム及び記録媒体
JP2002288589A (ja) 画像処理方法、画像処理装置および画像処理方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2000207489A (ja) 文字抽出方法、装置および記録媒体
JPH06501801A (ja) 文書からの予め定められたデータを位置決定することおよび抽出することを含む文字認識方法および装置
US6035064A (en) Apparatus and method for detecting and recognizing character line using simplified projection information
JP3496897B2 (ja) カラー画像認識方法および装置
JP3466894B2 (ja) 楽譜認識方法及びその装置並びに楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体
KR100920663B1 (ko) 2차원 코드의 인식 방법
JP3113769B2 (ja) 文字認識装置
JP2894111B2 (ja) 光学式活字文字認識装置における認識結果の総合判定方式
JP3756660B2 (ja) 画像認識方法、装置および記録媒体
JP3061899B2 (ja) 印刷物の検査装置
JP3388918B2 (ja) 文字列読み取り装置
JP2001291056A (ja) 文書画像認識装置及び記録媒体
JP3368807B2 (ja) 文字認識方法及び装置、並びに、文字認識プログラムを格納した記憶媒体
JP4218179B2 (ja) パターン検出装置及び方法
JP2001312732A (ja) 画像処理装置および方法
JP2023034823A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
JPH09305766A (ja) 2次元物体の認識方法
JPH0573718A (ja) 領域属性識別方式
JPH0535921A (ja) 文字照合装置及びそのための方法
JPH08129612A (ja) 文字認識方法及び文字認識装置
JP3048718B2 (ja) 頂点検出装置
JP2882056B2 (ja) 特定パターンの識別方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071128

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081128

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081128

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091128

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101128

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111128

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121128

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131128

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees