JP3614122B2 - シートスルー原稿読み取り方式における読み取り面ゴミ検出装置 - Google Patents

シートスルー原稿読み取り方式における読み取り面ゴミ検出装置 Download PDF

Info

Publication number
JP3614122B2
JP3614122B2 JP2001273769A JP2001273769A JP3614122B2 JP 3614122 B2 JP3614122 B2 JP 3614122B2 JP 2001273769 A JP2001273769 A JP 2001273769A JP 2001273769 A JP2001273769 A JP 2001273769A JP 3614122 B2 JP3614122 B2 JP 3614122B2
Authority
JP
Japan
Prior art keywords
dust
document
pixel
reading
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001273769A
Other languages
English (en)
Other versions
JP2003087526A (ja
Inventor
和彦 岩城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2001273769A priority Critical patent/JP3614122B2/ja
Publication of JP2003087526A publication Critical patent/JP2003087526A/ja
Application granted granted Critical
Publication of JP3614122B2 publication Critical patent/JP3614122B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Facsimiles In General (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Image Input (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、自動原稿搬送装置(ADF)を備えたコピー装置、ファクシミリ装置、スキャナ装置などのシートスルー原稿読み取り方式における、読み取り面ゴミ検出装置に関する。
【0002】
【従来の技術】
従来のシートスルー原稿読み取り方式では、背景が均一な状態(多くは白色板)にあるときに、背景(白色)とゴミ(白以外)との画像情報の違いを検出することにより、ガラス面(すなわち読み取り面)上のゴミを検出している。例えば、背景が白色板である場合には、ゴミがなければ読み取った画像情報が白になる。一方、ゴミがあれば画像情報が黒又は灰色になるため、ガラス面上のゴミを検出できる。
【0003】
【発明が解決しようとする課題】
従来の技術では、背景が均一な状態でなければゴミを検出できないため、白色板などを取り付ける必要があった。その結果、次のような問題が惹起されていた。
【0004】
(1).背景に白色板を取り付けることは、機構的な要因により容易ではない。(2).白色板の分だけコスト高になる。(3).原稿を読む前又は読み終わった後に、ゴミがあったかどうかの検出を行う。そのため、実際に読み取った原稿の画像情報に、ゴミによるノイズが混入していたかどうかは、不明である。例えば、原稿を読む前にゴミが検出されたとしても、原稿がガラス面上のゴミと接触しながら搬送されるため、ゴミが原稿と一緒に除去されることにより、読み取った原稿の画像情報にゴミによるノイズが混入しない可能性が高い。
【0005】
【発明の目的】
そこで、本発明の目的は、白色板等が不要な簡単な構成でありながら、正確にゴミを検出できる、読み取り面ゴミ検出装置を提供することにある。
【0006】
【課題を解決するための手段】
本発明に係る読み取り面ゴミ検出装置は、多数の光電変換素子を一次元方向に配列した読み取り部に対して、前記一次元方向に垂直な方向に原稿を搬送することにより、前記一次元方向に平行な一ラインずつ前記原稿の画像を読み取るシートスルー原稿読み取り方式に用いられる。そして、前記読み取り部から出力される画像情報の中から、前記原稿の搬送方向に平行な直線からなる平行成分を検出する平行成分検出手段と、この平行成分に基づきゴミの有無を判定する判定手段と、備えたことを特徴とする。
【0007】
シートスルー原稿読み取り方式では、読み取り面にゴミが付着している場合、読み取った画像情報にスジ状のノイズが混入する。そのため、正しく原稿を読み取るためには読み取り面上のゴミを除去する必要がある。しかし、従来、ゴミが存在するか否かを判断するには、特殊な機構やシーケンスが必要であった。そこで、本発明では、それらの特殊な機構やシーケンスを必要とすることなく、読み取り面上にゴミが存在することを検出する。
【0008】
シートスルー原稿読み取り方式では、読み取り面上のゴミによるスジ状のノイズは、原稿搬送方向に対して完全に平行に現れる。このことを利用して、読み取った画像情報に基づいて原稿搬送方向に完全に平行な成分を検出し、これにより読み取り面上にゴミが付着していることを検出する。
【0009】
また、前記判定手段は、連続する複数枚の前記原稿において同じ位置に前記平行成分が認められた場合に、ゴミが有ると判定する、としてもよい。連続する複数枚の原稿において同じ位置に平行成分が認められれば、読み取り面にゴミのある可能性が極めて高い。
【0010】
更に、前記判定手段は、前記原稿の前記搬送方向の先端又は末端の余白部分に前記平行成分が認められた場合に、ゴミが有ると判定する、としてもよい。原稿の搬送方向の先端又は末端の余白部分に平行成分が認められれば、読み取り面にゴミのある可能性が極めて高い。
【0011】
より具体化すれば、本発明に係る読み取り面ゴミ検出装置は、前記光電変換素子の番号をx(整数:1≦x≦m)、前記ラインの番号をy(整数:1≦y≦n)とし、画素をx,yで表わすとき、前記読み取り部から出力される画像情報に基づき、エッジである可能性に応じた検出値(二値を除く複数値)を画素(x,y)ごとに与えるエッジ検出手段と、n1,n2を整数とするとき、画素(x,y−n1)から画素(x,y+n2)までの前記検出値に基づき、連続するエッジである可能性に応じた比較演算値(二値を除く複数値)を画素(x,y)ごとに与える比較演算手段と、画素(x,1)から画素(x,n)までの前記比較演算値に基づき、画素xでのゴミの有無を判定する判定手段とを備え、更に、エッジ検出手段、比較演算手段及び判定手段の少なくとも一つは、原稿の搬送方向の先端又は末端の余白部分においてゴミの有る可能性を、余白以外の部分よりも高く評価する(請求項1)、というものである。エッジ検出手段及び比較演算手段が、前述した平行成分検出手段に相当する。また、後述する第一実施形態では、n1=1、n2=0としている。なお、xは1からmまでの全ての整数、yは1からnまでの全ての整数、とそれぞれ言い換えることができる。
【0012】
前記判定手段は、前記比較演算値に対応した加減算値を定め、画素(x,1)から画素(x,n)までの前記加減算値の総和を評価値として画素xごとに求める加減算処理手段と、画素1から画素mまでの前記評価値の中から最大値を検出する最大値検出手段と、予め設定されたしきい値を前記最大値が越えた場合にゴミが有ると判定する比較処理手段とを備えた、としてもよい。
【0013】
上記各手段は、例えばプログラムによってコンピュータ上に実現される。
【0014】
また、前記判定手段は、連続する複数枚の前記原稿において同じ画素xにゴミが有ると判定した場合に、最終的にゴミが有ると判定する、としてもよい。
【0015】
換言すると、本発明に係る読み取り面ゴミ検出装置は、シートスルーの原稿読み取り方式において、読み取った画像情報の処理部分に、直線画像成分の平行成分検出処理を設けたことを特徴としている。読み取り面例えばガラス面上のゴミによるスジ状のノイズ成分は、原稿搬送方向と完全に平行になる。そのため、この平行成分検出処理により、原稿搬送方向と完全に平行な直線画像成分が存在するか否かを検出することにより、ガラス面上にゴミが存在するか否かを検出することができる。このように、読み取った原稿の画像情報から、スジ状のノイズを検出することにより、ガラス面上のゴミを検出する。
【0016】
【発明の実施の形態】
図1は、本発明に係る読み取り面ゴミ検出装置の第一実施形態を示すブロック図である。以下、この図面に基づき説明する。
【0017】
本実施形態の読み取り面ゴミ検出装置10は、多数の光電変換素子(図示せず)を一次元方向に配列した読み取り部12に対して、前記一次元方向に垂直な方向に原稿14を搬送することにより、前記一次元方向に平行な一ラインずつ原稿14の画像を読み取るシートスルー原稿読み取り方式において用いられる。
【0018】
ここで、光電変換素子の番号をx(整数:1≦x≦m)、ラインの番号をy(整数:1≦y≦n)とし、画素をx,yで表わすとする。このとき、読み取り面ゴミ検出装置10は、読み取り部12から出力される画像情報に基づき、エッジである可能性に応じた検出値を画素(x,y)ごとに与えるエッジ検出手段16と、画素(x,y)と画素(x,y−1)との前記検出値の組み合わせに基づき、連続するエッジである可能性に応じた比較演算値を画素(x,y)ごとに与える比較演算手段18と、画素(x,1)から画素(x,n)までの前記比較演算値に基づき、画素xでのゴミの有無を判定する判定手段(後述)とを備えたものである。
【0019】
前記判定手段は、前記比較演算値に対応した加減算値を定め、画素(x,1)から画素(x,n)までの前記加減算値の総和を評価値として画素xごとに求める加減算処理手段20と、画素1から画素mまでの前記評価値の中から最大値を検出する最大値検出手段22と、予め設定されたしきい値を前記最大値が越えた場合にゴミが有ると判定する比較処理手段24とを備えている。
【0020】
エッジ検出手段16、比較演算手段18、加減算処理手段20、最大値検出手段22及び比較処理手段24は、例えばプログラムによってコンピュータ上に実現されている。
【0021】
画像読み取り部12は、例えばラインセンサとしてのCCDであり、原稿14の画像情報を読み取る。画像情報(A1〜C6)を有する原稿14を読み取った場合、読み取り部12からの画像情報が画素単位ではA1,A2,A3,..という具合に主走査方向で順次に出力され、ライン単位ではAn,Bn,Cnという具合に原稿搬送方向に順次に出力される。よって、以後の処理は全て画素単位で処理されることになる。これらの画像情報はエッジ検出手段16へ送られる。
【0022】
エッジ検出手段16は、画像情報のエッジを検出し、エッジである可能性が高い場合に大きな検出値を与える。この検出値は、検出値ラインメモリ17に格納され、同時に比較演算手段18へ出力される。エッジ検出手段16は周知技術(例えば特開平11−328424号公報、特開平11−205617号公報参照。)を用いているので、その詳しい説明を省略する。
【0023】
比較演算手段18は、検出値ラインメモリ17から前ラインの検出値を読み取り、前ラインも現ラインもエッジである可能性が高い場合ほど、大きな比較演算値を出力する。加減算処理手段20は、比較演算手段18から出力された比較演算値を元に、評価値ラインメモリ21からの評価値を再評価し、再評価した値を再び評価値ラインメモリ21に格納する。最大値検出手段22は、評価値ラインメモリ21に格納されている評価値を読み取り、その最大値を比較処理手段24へ出力する。比較処理手段24は、予め設定されたしきい値と最大値との比較結果に基づくゴミ検出信号を出力する。
【0024】
図2は、読み取り面ゴミ検出装置10の検出原理を示す説明図である。以下、図1及び図2に基づき説明する。
【0025】
図2に示すように、ガラス面上のゴミによるスジ状のノイズ成分は、原稿14の稿搬送方向と完全に平行になる。そのため、読み取り面ゴミ検出装置10によれば、前述した平行成分検出処理を用いて、原稿搬送方向と完全に平行な直線画像成分が存在するか否かを検出することにより、ガラス面上にゴミが存在するか否かを検出することができる。
【0026】
図3は、読み取り面ゴミ検出装置10の動作の一例を示す説明図である。以下、図1乃至図3に基づき、読み取り面ゴミ検出装置10の動作を説明する。
【0027】
シートスルー原稿読み取り方式では、原稿14が読み取り部12(CCDなど)を通過することにより、原稿14の画像情報が取り込まれる。図3では、読み取り原稿Aが読み取り部12を通過することにより、読み取り画像情報Bが得られる様子を示している。読み取り部12にはゴミが付着しており、そのため読み取り画像情報Bにはゴミが存在していた部分にスジ状のノイズが混入している。
【0028】
続いて、平行成分検出処理の動作について説明する。まず、読み取り部12で読み取られた読み取り画像情報Bは、エッジ検出手段16へ送られる。エッジ検出手段16は、入力した画像情報からエッジを検出する。この例では、エッジである可能性が高い順番に3・2・1・0という検出値を付与している。エッジ検出手段16で付与された検出値は、検出値ラインメモリ17に格納されると同時に、比較演算手段18へ送られる。
【0029】
比較演算手段18は、検出値ラインメモリ17に格納されている前のラインのエッジ検出の検出値を読み出し、これと現在のラインのエッジ検出の検出値とを比較する。比較した結果、前のラインも現在のラインもエッジであった場合、高い評価値を与える。この例では、前のラインも現在のラインもエッジ検出値が3であった場合に比較演算値を3とし、前のラインと現在のラインのエッジ検出値が2と3であった場合に比較演算値を2とし、どちらもエッジ検出値が0であった場合に比較演算値を0とし、その他の場合に比較演算値を1としている。比較演算手段18で算出された比較演算値は、加減算処理手段20へ送られる。
【0030】
加減算処理手段20は、評価値ラインメモリ21に格納されている前のラインの評価値を読み出し、比較演算手段18からの比較演算値に基づいて適当な評価値の加減を行う。この例では、比較演算値が3であった場合に評価値に2を加え、比較演算値が2であった場合に評価値に1を加える。逆に、比較演算値が0であった場合に評価値から1を減じる。比較演算値が1であった場合には評価値に変更を加えない。また、評価値の初期値は全て5としている。この加減算により、画像情報の同じX位置にエッジが存在し続けた場合、評価値は大きくなっていく。逆に、エッジが存在しても、同じX位置に存在しなかった場合、評価値は小さくなっていく。これにより、平行な図形成分が存在すると評価値は大きくなる。また、その評価値の大きさは図形の平行性に左右され、より平行な場合には大きな評価値が与えられる。更に、原稿読み取り開始直後と終了直前では、評価値の増減値を大きくしてもよい。
【0031】
前述した読み取り部12から加減算処理手段20までの処理を、読み取りラインごとに順次繰り返し、最終ラインまで行う。最終ラインまで処理が終わった(=原稿読み取り終了)時点で、最大値検出手段22は、評価値ラインメモリ21から評価値を読み出し、それらの最大値を検出する。この例では、最終ラインまで評価したときの評価値の最大値が9になったと仮定している。
【0032】
比較処理手段24は、最大値検出手段22からの評価値最大値とゴミ検出しきい値とを比較し、評価値最大値の方が大きかった場合、ガラス面上にゴミが存在したと判断し、ゴミ検出を通知する。
【0033】
図4は、本発明に係る読み取り面ゴミ検出装置の第二実施形態を示す説明図である。以下、この図面に基づき説明する。ただし、第一実施形態と同じ部分は同じ符号を付すことにより説明を省略する。
【0034】
本実施形態では、比較演算手段28について更に工夫している。第一実施形態ではエッジ検出値の比較を前ラインと現ラインとだけで行っていたのに対し、本実施形態では更にラインメモリを増やし、比較演算の対象をn1ライン前からn2ライン後までとしている。図では、n1=2、n2=1の場合を示している。これにより、より精度の高い平行成分の検出が行える。なお、この処理は、加減算処理手段20についても同様に適用できる。
【0035】
なお、本発明が上記各実施形態に限定されず、本発明の技術思想の範囲内において、各実施形態は適宜変更され得ることは明らかである。例えば、次のようにしてもよい。
【0036】
平行成分は、ゴミによるノイズ成分だけではなく、原稿に存在する罫線成分も存在する。この罫線成分が原稿搬送方向に完全に平行に読み取られる確率は低いものの、更に罫線成分の影響を排除するためには、ゴミ検出の確定に以下のような工夫を追加する。
【0037】
(1)複数枚の原稿に連続してゴミが検出された場合に、本当にゴミが存在したとする。これは、複数枚連続して罫線成分が完全に平行に読み取られる可能性は、極めて低いからである。原稿の枚数を適当な数にすれば、十分誤認識を除去できる。
【0038】
(2)原稿読み取り開始・終了時の平行成分検出の評価を厳しくする。これは、通常の原稿では形成成分が原稿の上下端近くに存在することは少ないため、原稿上下読み取り時に平行成分検出の評価を厳しくすることで、よりゴミによるノイズ検出の有効性を高めることができるからである。
【0039】
【発明の効果】
本発明に係る読み取り面ゴミ検出装置によれば、原稿の搬送方向に平行な直線からなる平行成分を検出し、この平行成分に基づきゴミの有無を判定することにより、白色板等が不要な簡単な構成でありながら、正確にゴミを検出できる。
【0040】
また、連続する複数枚の原稿において同じ位置に平行成分が認められた場合にゴミが有ると判定することにより、より正確にゴミを検出できる。更に、原稿の搬送方向の先端又は末端の余白部分に平行成分が認められた場合にゴミが有ると判定することにより、より正確にゴミを検出できる。
【0041】
換言すると、本願発明によれば、白色板など特別な機構を持たずに、原稿読み取り中に読み取り面上のゴミ検出処理が行え、原稿読み取り終了と同時にゴミ検出の結果を出力することができる。
【図面の簡単な説明】
【図1】本発明に係る読み取り面ゴミ検出装置の第一実施形態を示すブロック図である。
【図2】図1の読み取り面ゴミ検出装置の検出原理を示す説明図である。
【図3】図1の読み取り面ゴミ検出装置の動作の一例を示す説明図である。
【図4】本発明に係る読み取り面ゴミ検出装置の第二実施形態を示す説明図である。
【符号の説明】
10 読み取り面ゴミ検出装置
12 読み取り部
14 原稿
16 エッジ検出手段
18,28 比較演算手段
20 加減算処理手段
22 最大値検出手段
24 比較処理手段

Claims (1)

  1. 多数の光電変換素子を一次元方向に配列した読み取り部に対して、前記一次元方向に垂直な方向に原稿を搬送することにより、前記一次元方向に平行な一ラインずつ前記原稿の画像を読み取るシートスルー原稿読み取り方式における、読み取り面ゴミ検出装置において、
    前記光電変換素子の番号をx(整数:1≦x≦m)、前記ラインの番号をy(整数:1≦y≦n)とし、画素をx,yで表わすとき、
    前記読み取り部から出力される画像情報に基づき、エッジである可能性に応じた検出値(二値を除く複数値)を画素(x,y)ごとに与えるエッジ検出手段と、
    n1,n2を整数とするとき、画素(x,y−n1)から画素(x,y+n2)までの前記検出値に基づき、連続するエッジである可能性に応じた比較演算値(二値を除く複数値)を画素(x,y)ごとに与える比較演算手段と、
    画素(x,1)から画素(x,n)までの前記比較演算値に基づき、画素xでのゴミの有無を判定する判定手段とを備え、
    前記エッジ検出手段、前記比較演算手段及び前記判定手段の少なくとも一つは、前記原稿の前記搬送方向の先端又は末端の余白部分においてゴミの有る可能性を、当該余白以外の部分よりも高く評価する、
    ことを特徴とする読み取り面ゴミ検出装置。
JP2001273769A 2001-09-10 2001-09-10 シートスルー原稿読み取り方式における読み取り面ゴミ検出装置 Expired - Fee Related JP3614122B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001273769A JP3614122B2 (ja) 2001-09-10 2001-09-10 シートスルー原稿読み取り方式における読み取り面ゴミ検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001273769A JP3614122B2 (ja) 2001-09-10 2001-09-10 シートスルー原稿読み取り方式における読み取り面ゴミ検出装置

Publications (2)

Publication Number Publication Date
JP2003087526A JP2003087526A (ja) 2003-03-20
JP3614122B2 true JP3614122B2 (ja) 2005-01-26

Family

ID=19098937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001273769A Expired - Fee Related JP3614122B2 (ja) 2001-09-10 2001-09-10 シートスルー原稿読み取り方式における読み取り面ゴミ検出装置

Country Status (1)

Country Link
JP (1) JP3614122B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4848742B2 (ja) * 2005-11-16 2011-12-28 富士ゼロックス株式会社 画像読み取り装置およびノイズ検出方法
JP4719164B2 (ja) * 2007-01-29 2011-07-06 株式会社富士通ソーシアルサイエンスラボラトリ 配送物受渡管理システム及び配送物受渡管理プログラム
JP5255891B2 (ja) * 2008-04-23 2013-08-07 京セラドキュメントソリューションズ株式会社 画像読取装置

Also Published As

Publication number Publication date
JP2003087526A (ja) 2003-03-20

Similar Documents

Publication Publication Date Title
JP4848742B2 (ja) 画像読み取り装置およびノイズ検出方法
US6750990B1 (en) Image scanning apparatus, image forming apparatus, image forming system, image scanning control method, and storage medium
JPH11252351A (ja) 画像読取装置
JP3706800B2 (ja) 画像処理システム、方法および記憶媒体
JP2007202106A (ja) 画像読取装置および画像形成装置
JP2000295416A (ja) 画像読取装置および画像読取方法
JP4513622B2 (ja) 画像読取装置
JP2000152008A (ja) 画像読取装置および画像読取方法
JP5683099B2 (ja) 画像読取装置、画像読取装置の制御方法、およびプログラム
JP3614122B2 (ja) シートスルー原稿読み取り方式における読み取り面ゴミ検出装置
JP2005117090A (ja) 画像読取り装置
JP2005045462A (ja) 原稿読取装置
JP2008227625A (ja) 画像処理装置、画像処理方法、画像処理プログラム、記録媒体
JP4539546B2 (ja) 画像処理装置及びプログラム
JPH10145556A (ja) 画像読取装置
JP3417723B2 (ja) 画像読取装置
JP2947126B2 (ja) 原稿イメージ取り込み装置
JP3584658B2 (ja) 原稿サイズ検知装置
JP2001358914A (ja) 画像読取装置
JP3569059B2 (ja) 画像読取装置
JP3954268B2 (ja) 画像読取装置
JP2002290727A (ja) 画像処理方法、その装置、その記憶媒体及びそのプログラム
JP2551383B2 (ja) 直線検出補正装置
JPH0468658A (ja) 画像読取装置
JP2005123915A (ja) 画像読取装置及びこれを用いた画像形成装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040518

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041025

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071112

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091112

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091112

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101112

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111112

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111112

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121112

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121112

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131112

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees