JP2689893B2 - 印字背景除去方法およびその装置 - Google Patents

印字背景除去方法およびその装置

Info

Publication number
JP2689893B2
JP2689893B2 JP6024566A JP2456694A JP2689893B2 JP 2689893 B2 JP2689893 B2 JP 2689893B2 JP 6024566 A JP6024566 A JP 6024566A JP 2456694 A JP2456694 A JP 2456694A JP 2689893 B2 JP2689893 B2 JP 2689893B2
Authority
JP
Japan
Prior art keywords
color
density histogram
calculating
calculated
black part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP6024566A
Other languages
English (en)
Other versions
JPH07234933A (ja
Inventor
謙一 松村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP6024566A priority Critical patent/JP2689893B2/ja
Publication of JPH07234933A publication Critical patent/JPH07234933A/ja
Application granted granted Critical
Publication of JP2689893B2 publication Critical patent/JP2689893B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、カラー印刷された背景
上に重ねて印刷された黒色パタンを抽出する印刷背景除
去装置およびその方法。
【0002】
【従来の技術】従来、黒色印字されたパタンの印字検査
を行う場合、白黒カメラを用いて輝度信号Yの濃淡のみ
で黒色抽出するか、または、カラーカメラで取り込んだ
画像信号をYUV空間(輝度ー色差)もしくはHSV空
間(彩度、明度、色相)において処理を行っていた。
【0003】YUV空間における処理の場合は輝度信号
Yで白黒カメラに準じた濃淡のみの概略の黒色抽出処理
を行い、色差信号UVで色のついたものを除外する方法
が取られていた。
【0004】また、HSV空間を用いる場合は明度信号
Vで白黒カメラに準じた濃淡のみの概略の黒色抽出処理
を行い、彩度Sにて色についたものを除外する方法が取
られていた。
【0005】
【発明が解決しようとする課題】この従来の黒色抽出方
法のうち、輝度信号Yのみを用いる方法では、カラー背
景上に黒色印字された場合はカラーフィルタによる色ド
ロップを行ったとしても十分なS/Nが取られない場合
が多いという問題点があった。
【0006】また、YUV空間またはHSV空間での処
理を行う場合は、RGB空間からこれらの色空間へ変換
する際に黒部はノイズに埋もれてしまい、十分な精度で
UVまたはSが求まらず、安定した背景除去を行うこと
ができないという問題点があった。さらに、この方法で
は、変換精度を確保するためにRGBの画素毎のオフセ
ット・ゲイン補正が必要であり、膨大な計算量及び非常
に大きな変換データもしくはテーブルの事前準備が必要
になりメモリ効率が悪いという問題点もあった。
【0007】
【課題を解決するための手段】上記問題点を解決するた
めに、本発明の印刷背景除去装置は、撮像されたRGB
3元カラー画像の指定領域において前記3元色それぞれ
の濃度ヒストグラムを算出する第一の濃度ヒストグラム
算出手段と、前記第一の濃度ヒストグラム算出手段にお
いて算出された各濃度ヒストグラムに対する平均値およ
び分散値を算出し、それら平均値および分散値から所定
の演算式により算出される評価値に基づいて最初に背景
除去処理を行う色を決定する第一処理色算出手段と、前
記第一処理色算出手段において決定された第一処理色の
濃度ヒストグラムからこの第一処理色に対する第一のス
ライスレベルを算出し、その第一のスライスレベルに基
づいて第一の黒部候補を算出する第一黒部候補算出部
と、前記第一黒部候補算出部において算出された第一の
黒部候補に対して、第一処理色を除く残り二色の濃度ヒ
ストグラムをそれぞれ算出する第二の濃度ヒストグラム
算出手段と、前記第二の濃度ヒストグラム算出手段にお
いて算出された各濃度ヒストグラムに対する平均値およ
び分散値を算出し、それら平均値および分散値から所定
の演算式により算出される評価値に基づいて二番目に背
景除去処理を行う色を決定する第二処理色算出手段と、
前記第二処理色算出手段において決定された第二処理色
の濃度ヒストグラムからこの第二処理色に対する第二の
スライスレベルを算出し、その第二のスライスレベルに
基づいて第二の黒部候補を算出する第二黒部候補算出手
段とを有する。
【0008】
【実施例】次に、本発明の一実施例について図1を参照
して詳細に説明する。
【0009】図1は、一実施例の構成を示すブロック図
であり、画像入力部1は、非黒色で印刷された背景(下
地)の上に重ねて黒色パタンが印字されている対象物の
画像をカラーで取り込む。
【0010】補正部2は、前記画像入力部1において取
り込まれたカラー画像信号に対し必要な前処理を行う。
【0011】選択部3は、前記画像入力部1から取り込
まれたカラー画像信号かまたは前記補正部において補正
されたカラー画像信号かを選択し出力する。
【0012】濃度ヒストグラム算出部4は、前記選択部
3から出力されたカラー画像信号に対し、RGB空間に
おいて、その指定領域におけるRGB毎の濃度ヒストグ
ラムを算出する。
【0013】第一処理色算出部5は、前記濃度ヒストグ
ラム算出部4で算出されたRGB毎の各濃度ヒストグラ
ムの平均および分散から所定の演算式で求まる評価値を
算出し、その評価値に基づいて、最初に処理すべき色を
決定する。
【0014】第一黒部候補算出部6は、前記第一処理色
算出部において決定された第一処理色の濃度ヒストグラ
ムから第一処理色スライス値を算出し、この第一処理色
スライス値を用いて第一処理色画像を二値化し、第一黒
部候補を求める。
【0015】濃度ヒストグラム算出部7は、前記第一黒
部候補算出部6において求められた第一黒部候補部分の
画像に対し、前記第一処理色算出部5において決定され
た第一処理色を除く残り二色の濃度ヒストグラムを算出
する。
【0016】第二処理色算出部8は、前記第一処理色算
出部と同様の処理にて二番目に処理すべき色を決定す
る。
【0017】第二黒部候補算出部9は、前記第一黒部候
補算出部6と同様の処理にて第二の黒部候補画像を算出
する。
【0018】判定部10は、対象画像が単純な背景であ
り二色までの処理で十分であるかどうかを判定し、そう
である場合には、前記第二黒部候補算出部において算出
された黒部候補を黒部として出力する。また、そうでな
い場合には、この第二の黒部候補の画像を濃度ヒストグ
ラム11に出力する。
【0019】前記濃度ヒストグラム算出部11は、前記
判定部10から出力される第二黒部候補の画像に対し、
残り一色の濃度ヒストグラムを算出する。
【0020】第三黒部候補算出部12は、前記第一黒部
候補算出部6と同様の処理にて第三の黒部候補を算出す
る。
【0021】次に、第一処理色算出部の構成について図
2を用いて詳細に説明する。
【0022】平均・分散算出部13は、濃度ヒストグラ
ム算出部7で算出されたRの濃度ヒストグラムに対し、
平均Arおよび分散Vrを算出する。同様に、平均・分
散算出部14は、Gの濃度ヒストグラムから平均Agお
よび分散Vgを算出し、平均・分散算出部15は、Bの
濃度ヒストグラムから平均Abおよび分散Vbを算出す
る。
【0023】評価値算出部16は、前記平均・分散算出
部13において算出された平均Arおよび分散Vrか
ら、その一次結合であるCr=−α・Ar+β・Vr
(0≦α、β≦1)を算出する。同様に、評価値算出部
17は、Cg=−α・Ag+β・Vg(0≦α、β≦
1)を、また、評価値算出部18は、Cb=−α・Ab
+β・Vb(0≦α、β≦1)を算出する。
【0024】比較部19は、前記評価値算出部16、1
7、18において算出されたCr,CgおよびCbを比
較し、最も小さい値を示す一色を第一処理色と決定す
る。
【0025】次に、第一黒部候補算出部の構成について
図3を用いて詳細に説明する。
【0026】スライス算出部20は、第一処理色算出部
において決定された第一処理色に対する濃度ヒストグラ
ムから第一スライス値を算出する。ここで、この第一ス
ライス値は、群間分散最大化法(画像認識の基礎[I]
P42〜47、オーム社 参照)を用いて算出される
が、Pタイル法(画像認識の基礎[I]P39、オーム
社 参照)を併用すれば、さらに適正なスライス値が算
出される。
【0027】二値化部21は、前記スライス算出部20
において算出されたスライス値を閾値として、第一処理
色に画像を二値化し、第一黒部候補を算出する。
【0028】次に、本発明の動作について図1、図2、
図3、図4を用いて説明する。
【0029】まず、画像入力部1において、有彩色で印
刷された背景(下地)の上に重ねて黒色パタンが印字さ
れている対象物をカラー画像で取り込む。
【0030】次に、選択部3において、前記画像入力部
1から取り込まれたカラー画像信号を直接出力するかま
たは補正部2において必要な補正がなされたカラー画像
信号を出力するかが選択される。ここで、本実施例にお
いては、YUV・HSV変換を行わないために、前記補
正部2における画素毎のオフセット・ゲインの補正を省
略することが可能である。
【0031】次に、濃度ヒストグラム算出部4におい
て、前記選択部3から出力されたいずれかのカラー画像
信号に対し、RGB空間において、その指定領域におけ
るRGB毎の濃度ヒストグラムが例えば、図4の示すよ
うに算出される。
【0032】次に、第一処理色算出部5において、前記
濃度ヒストグラム算出部4で算出されたRGB毎の各濃
度ヒストグラムに対し、それぞれの平均Aおよび分散V
が算出され、この平均Aおよび分散Vから、その一次結
合である評価値C=−α・A+β・V(0≦α、β≦
1)が算出され、その評価値が最小となる色が、最初に
処理すべき第一処理色として決定される。本実施例にお
いては、この第一処理色としてRが選択された場合の動
作について説明する。
【0033】次に、第一黒部候補算出部6において、図
5に示すように、まず、前記第一処理色算出部5におい
て決定された第一処理色の濃度ヒストグラムから群間分
散最大化法またはそれとPタイル法との併用により第一
処理色スライス値L1が算出される。そして、この第一
処理色スライス値L1を用いて第一処理色画像を二値化
し、第一黒部候補Sを求める。ここで、前記第一処理色
スライス値L1は、この第一黒部候補Sが真の黒印字部
分を包含するように算出され、また、処理画像のシェー
ディング補正を行っていない場合は、この二値化を行う
段階でスライス側を画素毎に調整して簡易シェーディン
グ補正を行う。
【0034】次に、濃度ヒストグラム算出部7におい
て、前記第一黒部候補算出部6において求められた第一
黒部候補Sの画像に対し、前記第一処理色算出部5にお
いて決定された第一処理色を除く残り二色の濃度ヒスト
グラムを算出する(図6を参照)。 次に、第二処理色
算出部8において、前記第一処理色算出部5と同様の処
理にて二番目に処理すべき色を決定する。本実施例にお
いてはこの第二処理色としてBが選択された場合の動作
について説明する。
【0035】次に、第二黒部候補算出部9において、図
7に示すように、まず、前記第二処理色算出部8におい
て決定された第二処理色の濃度ヒストグラムから群間分
散最大化法またはそれとPタイル法との併用により第二
処理色スライス値L2が算出されて、この第二処理色ス
ライス値L2を用いて第二処理色画像が二値化され、第
二黒部候補S2を求める。
【0036】ここで、判定部10において、対象画像が
単純な背景であり二色までの処理で十分であるかどうか
を判定し、そうである場合には、前記第二黒部候補算出
部9において算出された第二黒部候補S2を黒部として
出力する。また、そうでない場合には、この第二黒部候
補S2を濃度ヒストグラム算出部11に出力する。
【0037】次に、前記濃度ヒストグラム算出部11に
おいて、前記判定部10から出力される第二黒部候補S
2及びに対し、残り一色(本実施例においてはG)の濃
度ヒストグラムを算出する。
【0038】次に、第三黒部候補算出部12において、
前記第一黒部候補算出部6と同様に第三処理色スライス
値L3が算出され、その第三処理色スライス値L3を用
いて第三処理色画像が二値化され、最終的に第三黒部候
補S3が求まり、この第三黒部候補S3を黒部として黒
色抽出処理を完了し、黒印字パタンに対する印刷背景除
去処理がなされる(図8参照)。
【0039】なお、前記第三処理色スライス値L3を算
出するにあたり、第二黒部候補S2の濃度ヒストグラム
から単純に群間分散最大化法でスライス値L3を算出す
ると図に示すスライス値L3’のような値が求まる場合
が多いので、Pタイル法の併用と前記第一黒部候補S1
に対する濃度ヒストグラムから算出されるスライス値か
ら適正なスライス値を選択してL3とする。
【0040】最後に、カラー背景をもつ対象物がロット
で搬送されてくる場合に、このロットの先頭で必要な範
囲の処理色および処理色スライス値を求め、以降、同一
のロットに対しては、最初に求めた処理色および処理色
スライス値を用いて黒色抽出処理を行うこともできる。
【0041】
【発明の効果】以上説明したように、本発明の黒印字パ
タン抽出方法は、三元色RGBについて階層的に閾値を
決定し、その閾値に基づいて二値化し、抽出対象を黒色
に限定することにより、ダンボールカートン等のカラー
背景をもつ物品上に印刷された黒色パタンの抽出を効率
的かつ正確に行うことができる。
【0042】さらに、RGB画像を取り込む時点で[光
学的黒レベル>0]とすることにより、RGBのオフセ
ットのアンバランスに関しても第一処理色の選択が変わ
らない範囲では処理ステップ(演算量)を増やさずに対
応できる。
【0043】また、YUVおよびHSV変換を行わない
為、画素毎のオフセット・ゲインの補正を省略でき、さ
らに、計算誤差等の累積も防止できるという効果も有す
る。
【図面の簡単な説明】
【図1】本発明の一実施例の構成を示すブロック図。
【図2】本発明の第一処理色算出部の構成を示すブロッ
ク図。
【図3】本発明の第一黒部候補算出部の構成を示すブロ
ック図。
【図4】R、G、Bの濃度ヒストグラムを示す図。
【図5】第一処理色(R)の濃度ヒストグラムに対する
第一黒部候補算出処理を示す図。
【図6】第一黒部候補に対するG、Bの濃度ヒストグラ
ムを示す図。
【図7】第二処理色(B)の濃度ヒストグラムに対する
第二黒部候補算出処理を示す図。
【図8】Gの濃度ヒストグラムに対する第三黒部候補算
出処理を示す図。
【符号の説明】
1 画像入力部 2 補正部 3 選択部 4 濃度ヒストグラム算出部 5 第一処理色算出部 6 第一黒部候補算出部 7 濃度ヒストグラム算出部 8 第二処理色算出部 9 第二黒部候補算出部 10 判定部 11 濃度ヒストグラム算出部 12 第三黒部候補算出部 13、14、15 平均・分散算出部 16、17、18 評価値算出部 19 比較部 20 スライス算出部 21 二値化部

Claims (9)

    (57)【特許請求の範囲】
  1. 【請求項1】 撮像されたRGB3元カラー画像の指定
    領域において前記3元色それぞれの濃度ヒストグラムを
    算出する第一の濃度ヒストグラム算出手段と、 前記第一の濃度ヒストグラム算出手段において算出され
    たそれぞれの濃度ヒストグラムに基づいて最初に背景除
    去処理を行うべき色を決定する第一処理色算出手段と、 前記第一処理色算出手段において決定された第一処理色
    の濃度ヒストグラムに基づいて第一の黒部候補を算出す
    る第一黒部候補算出手段と、 前記第一黒部候補算出手段において算出された第一の黒
    部候補に対して、第一処理色を除く残り二色の濃度ヒス
    トグラムをそれぞれ算出する第二の濃度ヒストグラム算
    出手段と、 前記第二の濃度ヒストグラム算出手段において算出され
    た各濃度ヒストグラムに基づいて二番目に背景除去処理
    を行う色を決定する第二処理色算出手段と、 前記第二処理色算出手段において決定された第二処理色
    の濃度ヒストグラムに基づいて第二の黒部候補を算出す
    る第二黒部候補算出手段とを有し、 前記第二の黒部候補を黒部として抽出することを特徴と
    する印刷背景除去装置。
  2. 【請求項2】 前記第一処理色算出部は、 前記第一の濃度ヒストグラム算出手段において算出され
    たRGBそれぞれの濃度ヒストグラムに対する平均値お
    よび分散値を算出する手段と、 算出された平均値および分散値から所定の演算式を用い
    て評価値を算出する手段と、 算出された各評価値のうち最小の値を示す色を選択する
    手段とを有することを特徴とする前記請求項1に記載の
    印刷背景除去装置。
  3. 【請求項3】 前記第一黒部候補算出部は、 前記第一処理色算出部において決定された第一処理色の
    濃度ヒストグラムから群間分散最大化法によりこの第一
    処理色に対する第一のスライスレベルを算出する手段
    と、 その第一のスライスレベルに基づいて、第一処理色の画
    像を二値化する手段とを有することを特徴とする前記請
    求項1に記載の印刷背景除去装置。
  4. 【請求項4】 前記第一のスライスレベルは、前記第一
    処理色の濃度ヒストグラムに基づいて、群間分散最大化
    法とPタイル法との併用により算出されることを特徴と
    する前記請求項3に記載の印刷背景除去装置。
  5. 【請求項5】 前記第二黒部候補算出手段において算出
    された第二の黒部候補を黒部として出力するかどうか判
    定する判定手段と、 前記判定手段により黒部として出力しないと判定した場
    合に、前記第二の黒部候補に対して、残り一色の濃度ヒ
    ストグラムを算出する第三の濃度ヒストグラム算出手段
    と、 前記第三の濃度ヒストグラムからこの第三処理色に対す
    る第三のスライスレベルを算出し、その第三のスライス
    レベルに基づいて第三の黒部候補を算出する第三黒部候
    補算出手段とを有することを特徴とする前記請求項1に
    記載の印刷背景除去装置。
  6. 【請求項6】 撮像された画像に対しオフセット・ゲイ
    ン・シェーディング補正を行う補正手段と、 撮像された画像と前記補正手段において補正された画像
    のどちらを前記第一の濃度ヒストグラム算出手段に入力
    するか選択する手段とを有することを特徴とする前記請
    求項1または2に記載の印刷背景除去装置。
  7. 【請求項7】 撮像されたRGB3元カラー画像の指定
    領域において前記3元色それぞれの濃度ヒストグラムを
    算出する第1のステップ、前記第一のステップで算出さ
    れた各元色の濃度ヒストグラムに対する平均値および分
    散値を算出する第二のステップ、 前記第二のステップにおいて算出された平均値および分
    散値から所定の演算式により評価値を算出する第三のス
    テップ、 前記第三のステップで算出された評価値に基づいて最初
    に背景除去処理を行う色を決定する第四のステップ、 前記第四のステップで決定された第一処理色の濃度ヒス
    トグラムからこの第一処理色に対する第一のスライスレ
    ベルを算出する第五のステップ、 前記第五のステップで算出された第一のスライスレベル
    に基づいて第一の黒部候補を算出する第六のステップ、 前記第六のステップで算出された第一の黒部候補に対し
    て、前記第一のステップから第六のステップを同様の処
    理を繰り返す第七のステップ、 によることを特徴とする印刷背景除去方法。
  8. 【請求項8】 前記第1のステップは、オフセット・ゲ
    イン・シェーディング補正が行われた画像と撮像された
    画像とのいずれか一方を元に各元色の濃度ヒストグラム
    を算出するかを選択するステップ、 を含むことを特徴とする前記請求項7に記載の印刷背景
    除去方法。
  9. 【請求項9】 前記所定の演算式は、各濃度ヒストグラ
    ムの平均値をA、分散値をVとすると、−α・A+β・
    V(0≦α、β≦1)であることを特徴とする前記請求
    項1に記載の印刷背景除去装置または前記請求項7に記
    載の印刷背景除去方法。
JP6024566A 1994-02-22 1994-02-22 印字背景除去方法およびその装置 Expired - Lifetime JP2689893B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6024566A JP2689893B2 (ja) 1994-02-22 1994-02-22 印字背景除去方法およびその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6024566A JP2689893B2 (ja) 1994-02-22 1994-02-22 印字背景除去方法およびその装置

Publications (2)

Publication Number Publication Date
JPH07234933A JPH07234933A (ja) 1995-09-05
JP2689893B2 true JP2689893B2 (ja) 1997-12-10

Family

ID=12141710

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6024566A Expired - Lifetime JP2689893B2 (ja) 1994-02-22 1994-02-22 印字背景除去方法およびその装置

Country Status (1)

Country Link
JP (1) JP2689893B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6366358B1 (en) 1996-10-09 2002-04-02 Dai Nippon Printing Co., Ltd. Method and apparatus for detecting stripe defects of printed matter
JP4368513B2 (ja) * 1999-12-27 2009-11-18 富士フイルム株式会社 画像処理方法および装置並びに記録媒体

Also Published As

Publication number Publication date
JPH07234933A (ja) 1995-09-05

Similar Documents

Publication Publication Date Title
US6628833B1 (en) Image processing apparatus, image processing method, and recording medium with image processing program to process image according to input image
US6865290B2 (en) Method and apparatus for recognizing document image by use of color information
JP3768052B2 (ja) カラー画像処理方法、カラー画像処理装置、及びそのための記録媒体
CN110008954B (zh) 一种基于多阈值融合的复杂背景文本图像提取方法及系统
US7415165B2 (en) Red-eye detection device, red-eye detection method, and red-eye detection program
JP5072621B2 (ja) 画像処理装置及び方法並びにプログラム
US20050249430A1 (en) Image quality improving apparatus and method
JPWO2006036027A1 (ja) 画像処理装置および方法,ならびに画像処理プログラム
Salamati et al. Removing shadows from images using color and near-infrared
US20100067791A1 (en) Image processing apparatus, image processing method, and medium storing image processing program
JP5337563B2 (ja) 帳票認識方法および装置
JPH0435167A (ja) 線画分離方法および装置
JP5929282B2 (ja) 画像処理装置及び画像処理プログラム
JP2689893B2 (ja) 印字背景除去方法およびその装置
JP2002077625A (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
JP4370950B2 (ja) 画像処理装置
JP2000013596A (ja) 画像処理装置および方法ならびに画像処理プログラムを記録した記録媒体
JP2003209704A (ja) 画像処理方法、画像処理装置、画像形成装置、画像処理プログラムおよび記録媒体
JP2009032044A (ja) 車色判定装置
JP3830350B2 (ja) カラー画像処理方法、カラー画像処理装置、プログラム、及び記録媒体
JP4300553B2 (ja) 画像処理装置及び画像処理方法
CN111414877A (zh) 去除颜色边框的表格裁切方法、图像处理设备和存储介质
JP3495743B2 (ja) 画像処理装置及び画像処理方法
JP3260891B2 (ja) エッジ抽出方法
CN109948463B (zh) 基于色彩和数学模型实现脸部和唇部识别功能的方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19970729

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070829

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080829

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080829

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090829

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090829

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100829

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 15

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130829

Year of fee payment: 16

EXPY Cancellation because of completion of term