JP3679260B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP3679260B2
JP3679260B2 JP03340599A JP3340599A JP3679260B2 JP 3679260 B2 JP3679260 B2 JP 3679260B2 JP 03340599 A JP03340599 A JP 03340599A JP 3340599 A JP3340599 A JP 3340599A JP 3679260 B2 JP3679260 B2 JP 3679260B2
Authority
JP
Japan
Prior art keywords
error
binarization
emphasis
threshold
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03340599A
Other languages
English (en)
Other versions
JP2000232581A (ja
Inventor
央光 加藤木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP03340599A priority Critical patent/JP3679260B2/ja
Publication of JP2000232581A publication Critical patent/JP2000232581A/ja
Application granted granted Critical
Publication of JP3679260B2 publication Critical patent/JP3679260B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Color, Gradation (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、多階調の画像データを中間調表示可能な2階調画像データに変換して出力する画像処理装置に関する。
【0002】
【従来の技術】
従来から、ファクシミリ装置、複写機あるいはプリンタなどでは、中間調画像を2値化画像として表現している。中間調画像の2値化によって、網点領域として表示され、点状のドットの密度に応じて、画像の濃淡が表現される。中間調を2値化する際に生じる誤差は累積され、各画素単独では閾値を超えない濃度であっても、近傍の画素の2値化による誤差の配分を受ければ、全体的には多階調性が反映される2値化を行うことができる。全体的に濃度が低い領域では、網点の密度も低くなり、濃度が高い領域では網点の密度も高くなる。誤差の影響の配分を規則的に行うと、形成される網点が一定のパターンを示してしまい、中間調の表示よりも特定のパターンを表示する領域として見られてしまうおそれが生じるので、そのような事態を避ける誤差の取り扱いとして、いわゆる誤差拡散法が知られている。
【0003】
誤差拡散法は、ある画素の2値化時に生じる量子化誤差を、周辺の未だ2値化が行われていない画素に拡散して加える。この方法は、印刷画像の再現時において、モアレ模様が出にくいという点で優れている。しかしながら、濃度変化が少ない画像では、誤差拡散法特有の不要な模様(テクスチヤ)が出てしまうという欠点がある。また、従来の誤差拡散法では、低濃度領域での階調が取れず、画像の低濃度部の再現性が良くないという問題もある。これは、高濃度部でも同様のことが起こる。このような問題を改善する先行技術として、特開平3−112269号記載の「画像処理装置」では、注目画素近傍の複数画素の2値化結果を参照することによって、平均濃度値を推定し、その平均濃度値を閾値として注目画素についての2値化を行うようにしている。
【0004】
【発明が解決しようとする課題】
しかしながら、特開平3−112269号公報に開示されている考え方では、注目画素についての多値画像データに、多くの近傍の画素についての2値化誤差を加え、さらにその合計値を2値化する際に用いる閾値を、近傍の画素についての2値化画像データに基づいて決定する必要がある。このため、2値化処理に時間がかかり、また処理を行うハードウエアが複雑化するという問題もある。
【0005】
本発明の目的は、複雑なハードウエアを必要とせずに、迅速に誤差拡散法に基づく2値化を行うことができる画像処理装置を提供することである。
【0006】
【課題を解決するための手段】
本発明は、多階調の画像データを、注目画素を順次設定しながら2値データに変換する画像処理装置において、
注目画素の画像データに、近傍画素の2値化処理に基づいて配分される誤差量を誤差拡散処理として加え、所定の2値化用閾値を基準として2値化処理する閾値処理手段と、
閾値処理手段による2値化処理の際に発生する2値化誤差を、0および所定の強調用閾値を基準として比較処理する誤差処理手段と、
誤差処理手段による比較結果に従って、2値化誤差が0より大きく、強調用閾値より小さいとき、2値化誤差を増大させて強調誤差を生成する誤差強調手段と、
誤差強調手段によって生成される強調誤差、また強調誤差が生成されないときには2値化誤差を、所定の重み付けに従って、注目画素の近傍で未だ2値化が行われていない画素に配分して、誤差拡散処理を行わせる誤差配分手段とを含むことを特徴とする画像処理装置である。
【0007】
本発明に従えば、多階調の画像データを注目画素を順次設定しながら2値データに変換する画像処理装置は、閾値処理手段と、誤差処理手段と、誤差強調手段と、誤差配分手段とを含む。閾値処理手段は、注目画素の画像データに近傍画素の2値化処理に基づいて配分される誤差を誤差拡散処理として加え、所定の2値化用閾値を基準として2値化処理を行う。誤差処理手段は、閾値処理手段による2値化処理の際に発生する2値化誤差を0および所定の強調用閾値を基準として比較処理する。閾値処理手段および誤差処理手段は、所定の2値化用閾値および強調用閾値を基準として処理を行うので、閾値に対する演算処理などは不要であり、簡単な構成で処理を行うことができる。誤差強調手段は、誤差処理手段による比較結果に従って、2値化誤差が0より大きく、強調用閾値より小さいときに、2値化誤差を増大させて強調誤差を生成する。誤差配分手段は、強調誤差が生成されるときには強調誤差を、また強調誤差が生成されないときには2値化誤差を、所定の重み付けに従って注目画素の近傍で未だ2値化が行われていない画素に配分して誤差拡散処理を行わせる。強調用閾値よりも2値化用誤差が小さい場合に、2値化用誤差が強調されて強調誤差が生成されるので、誤差が小さい範囲、すなわち濃淡レベルが最も高いか最も低い値に近い範囲での2値化誤差が強調され、誤差拡散法特有の不要な模様を出さないで低濃度部や高濃度部での再現性を改善することができる。
【0008】
また本発明で、前記誤差強調手段は、前記2値化誤差に対応するErrorを、前記強調用閾値に対応する点(n,n)を通る直線を表す演算式Error′=a(Error−n)+n(aは係数)に従って処理し、得られるError′として前記強調誤差を生成することを特徴とする。
【0009】
本発明に従えば、誤差強調手段が2値化誤差を、強調用閾値nに対応する点(n,n)を通る直線を表す演算式に従って処理して強調誤差を生成するので、誤差の強調の仕方を演算式の係数などで調整することが容易である。
【0010】
また本発明で、前記誤差強調手段が前記強調誤差を生成する演算式の係数は、−2以上で1よりも小さいことを特徴とする。
【0011】
本発明に従えば、2値化誤差から強調用誤差に変換する際に用いる演算式は、1次式であり、2値化誤差が強調用閾値に等しいときに強調誤差も強調用閾値と等しくなるような直線で表され、直線の傾斜を示す係数が−2以上で1よりも小さいので、係数を負にすれば、2値化誤差が小さいほど強調誤差の値を相対的に大きくとることができる。
【0012】
また本発明で、前記誤差強調手段は、前記2値化誤差を、所定のルックアップテーブルに従って前記強調誤差に置き換えることを特徴とする。
【0013】
本発明に従えば、誤差強調手段が2値化誤差を強調誤差に変換する際に、所定のルックアップテーブルに従うので、ルックアップテーブルを作成しておけば、簡単には演算式で表すことができないような方式での強調も可能となる。
【0014】
【発明の実施の形態】
図1は、本発明の実施の一形態としての画像処理装置100の概略的な構成を示す。画像処理装置100は、たとえばファクシミリ装置やデジタル複写機で、画像の2値化処理を行う部分に相当する。画像処理装置100には、閾値処理手段101、誤差処理手段としての誤差量閾値処理部102、誤差強調手段103および誤差配分手段104が含まれる。これら画像処理装置100は、たとえばマイクロコンピュータやデジタル信号プロセッサ(DSP)などの汎用のハードウエアのプログラム処理や、専用の電子回路によるハードウエア処理などによって実現することができる。閾値処理手段101は、注目画素の画像データ、たとえば8ビットで表される多値データを、近傍の画素での2値化処理の際に発生する誤差分も含めて、所定の2値化用閾値に従って2値化処理を行う。閾値処理手段101での2値化の際に発生する誤差量は、誤差量閾値処理部102で所定の強調用閾値に従って処理される。誤差強調手段103は、誤差量閾値処理部102で処理された2値化誤差のデータに関して、強調用閾値よりも小さい範囲で誤差を強調して強調誤差を生成するように変換する。誤差配分手段104は、誤差強調手段103が強調誤差を生成するときには強調誤差、強調誤差を生成しないときには閾値処理部102によって2値化処理を行う際に発生する2値化誤差を、注目画素の近傍へ配分する。この画像処理装置100は、多階調の画像データを、注目画素を順次設定しながら、画素拡散処理を施して2値化していく。
【0015】
閾値処理手段101での多階調データの2値化処理では、多階調データをある一定の2値化用閾値と比較し、2値化用閾値より多階調データの値が大きいときは画素をオンとし、多階調データが2値化用閾値よりも小さいときには画素をオフとするように処理する。画素がオンとなれば、画像の出力の際にドットが打たれ、画素がオフとなればドットは打たれない。これによって、多階調データの中間調に対応するドット密度で2値化データによる中間調表示を行うことができる。閾値処理手段101での2値化の際の注目画素濃度と2値化後の注目画素濃度との差である2値化誤差は、誤差量閾値処理部102に誤差データとして転送される。
【0016】
誤差量閾値処理部102では、2値化誤差を所定の強調用閾値に従って場合分けし、誤差強調手段103と誤差配分手段104とへそれぞれ転送する。ここで、画像データが8ビットの多階調で表されるので、2値化誤差を分割する所定の強調用閾値をn、2値化誤差データをErrorとすると、強調用閾値nは128×(1/)=32以下とすることが好ましい。また、2値化の際の2値化用閾値は128と設定するので、2値化誤差の絶対値は128未満となっている。
【0017】
誤差量閾値処理部102では、強調用閾値nと2値化誤差Errorとが比較され、次のような処理が行われる。
1)Error=0またはn≦Error<128の場合
2値化誤差のデータを誤差配分手段104へ転送する。
2)0<Error<nの場合
2値化誤差のデータを誤差強調手段103へ転送する。
つまり、2値化誤差Errorが0ではなく、しかも強調用閾値n以下の場合のみ、誤差強調手段103に2値化誤差Errorのデータが転送される。
【0018】
図2は、誤差強調手段103で行われる誤差強調の考え方を示す。誤差強調手段103は、転送されてくる2値化誤差Errorのデータに対して、変換を行い、強調誤差Error′を生成する。変換は、図2において、2値化誤差Errorが強調用閾値nに重なる領域に関して、強調用誤差Error′が2値化誤差Errorの値を所定の係数変換を行って置き換えて生成される。2値化用誤差Errorの値を分割する所定の強調用閾値n以上の領域では、変換前の2値化誤差Errorと変換後の強調用誤差Error′とは等しく、Error′=Errorの関係を保って、誤差の変換処理は行われない。
【0019】
まず2値化用誤差Errorと強調用誤差Error′との関係は、ある直線で定義される。傾きがa(実数)であり、誤差を分割する強調用閾値n上の点(n,n)を通る直線は、次の式1で表される。
Error′= a(Error−n)+n …(1)
ここで、誤差の強調を行う際の直線の勾配の範囲としては、実数aを次の式2に示す範囲に限定する。
−2 ≦ a < 1 …(2)
最終的には2値化誤差Errorを強調する直線として、式2を満たす範囲内の直線群の中から、ある1本の直線を定義する。このような直線は、式1のような1次式で表され、2値化誤差Errorを強調する直線が1つ定まると、強調用閾値n以下では、2値化用誤差Errorと強調用誤差Error′との関係はその直線に従って求められる。
【0020】
図3は、強調用閾値を32、直線の傾きを−1とした場合の例を示す。強調用閾値n=32以下の領域では、傾きが−1で点(0,64)を通る直線が2値化誤差Errorと強調用誤差Error′との関係を定める。ただし、2値化用誤差が0のときには、強調用誤差への変換は行われない。2値化の際に誤差が発生しないので、誤差を拡散させる必要がないからである。2値化用誤差Errorは0となる部分を除いて、値が小さい限られた範囲内で、このような直線を用いることによって強調される。最終的には、変換処理後の強調誤差Error′のデータが誤差配分手段104に転送される。
【0021】
図4は、誤差が転送される誤差配分手段104で、注目画素の近傍へ配分するためのマトリクス係数の重み付けの例を示す。図4に示す誤差拡散マトリクスは、一般的なものを示すけれども、マトリクスのサイズおよび重み付け量は、これに限定されず、必要に応じて適切なものを採用することができる。誤差配分手段104は、図4に示す誤差拡散マトリクスに従って、2値化される前の本来の画像データ、すなわちオリジナルデータに2値化誤差に対応する重み係数を乗算した値を加算する。2値化誤差となるのは誤差強調手段103による変換処理後の強調誤差Error′も含めた誤差である。図2や図3に示すような2値化誤差Errorの強調用閾値nよりも小さな領域での変換を行わない場合も含めて、誤差をError′(符号あり)とすると、図4において、
/16を表示している画素位置での濃度はその位置でのオリジナル画素濃度+7/16×Error′
1/16を表示している画素位置での濃度はその位置でのオリジナル画素濃度+1/16×Error′
5/16を表示している画素位置での濃度はその位置でのオリジナル画素濃度+5/16×Error′
3/16を表示している画素位置での濃度はその位置でのオリジナル画素濃度+3/16×Error′
となる。
【0022】
本実施形態での画像処理順序は、最上ラインの左側の画素から水平方向右へ移動し、同じ処理を順次1ラインずつ下に移して、最後に右下の画素の処理となる順序で行う。これらの処理を全ての画素について行い、2値化処理が完了する。
【0023】
図5に示すように、たとえば左から右にかけて一定の傾きで濃度が上昇する多階調画像に対して、本実施形態による2値化処理を行うと、図6に示すような中間調画像が得られる。図7は、特開平3−112269での従来技術として紹介されているFloydおよびSteinbergが1975年のSIDで発表した文献「R.FlOYD & L.STEINBERG,“AN ADAPTIVE ALGORITHM FOR SPATIAL GRAY SCALE”,SID 75 DIGEST,PP36〜37」などで開示されている誤差拡散法に従って変換される中間調画像を示す。図8は、中間調のための処理をしないでそのまま2値化した画像を示す。図6と図7とを比較すると、本実施形態の誤差拡散法を用いることによって、ハイライト部分110でのドットの分散性が向上し、立上り位置120での改善が見られる。
【0024】
図9は、本発明の実施の他の形態の画像処理装置200の概略的な構成を示す。本実施形態で図1の実施形態に対応する部分には同一の参照符を付し、重複する説明を省略する。本実施形態では、図1の実施形態の誤差強調手段103を、ルックアップテーブル(以下「LUT」と略称する)201に置き換えている。誤差量閾値処理部102によって2値化誤差のデータによる場合分けがなされ、LUT201に転送されるデータは、LUT201を用いることによって強調誤差に変換される。
【0025】
図10は、LUT201の一例を示す。LUT201には、強調用閾値nに対してn−1個(nは32以下)のデータが格納されており、入力される2値化誤差Errorに対して出力値である強調誤差Error′が1:1で対応付けられている。誤差量閾値処理部102から転送されてくる2値化誤差Errorのデータは、LUT201で任意の変換を行って、誤差配分手段104へ転送される。このLUT201を用いると、誤差強調のための変換を任意に設定することが可能になる。
【0026】
図11は、図10に示すようなLUT201を用いる変換で、2値化誤差Errorが強調誤差Error′に変換される対応関係を示す。本実施形態でも、誤差をある値以下において強調することによって、低濃度部や高濃度部での中間調の再現性を図1の実施形態と同様に向上させることができ、ドットの分散性も改善することができる。
【0027】
【発明の効果】
以上のように本発明によれば、2値化の際に発生する2値化誤差が所定の強調用閾値よりも小さくなる場合に、2値化誤差を強調して画像の低濃度部や高濃度部における再現性を改善することができる。2値化処理や誤差強調処理では、所定の閾値を用いて処理を行うので、簡単な構成でかつ迅速な処理を行わせることができる。
【0028】
また本発明によれば、強調用誤差を2値化誤差から直線を表す演算式を用いて算出することができるので、誤差強調手段の構成を簡素化し、処理を迅速化することができる。
【0029】
また本発明によれば、誤差強調手段が強調誤差を生成するために用いる演算式が1次式であるので、簡単な演算処理で強調誤差を生成することができる。
【0030】
また本発明によれば、誤差強調手段が2値化誤差から強調誤差を生成する際にルックアップテーブルを用いるので、2値化誤差と強調用誤差との対応関係を任意の直線として表示することができ、中間調表示を行う反転のドットの位置などのランダムな分布特性を改善することができる。
【図面の簡単な説明】
【図1】本発明の実施の一形態の画像処理装置100の概略的な構成を示すブロック図である。
【図2】図1の誤差強調手段103で変換される2値化誤差Errorと強調誤差Error′との関係を示すグラフである。
【図3】図2の変換領域での直線の傾きを−1とした場合の2値化誤差Errorと強調誤差Error′との関係を示すグラフである。
【図4】図1の誤差配分手段104で用いる誤差拡散マトリクスの例を示す図である。
【図5】中間調表示を行う対象となる画像の濃度変化を示す図である。
【図6】図5の画像を図1の実施形態に基づいて2値化処理した結果を示す図である。
【図7】図5の画像を、従来の誤差拡散法に従って2値化処理したときの結果を示す図である。
【図8】図5の画像を、誤差拡散法を用いないで2値化処理をしたときの画像を示す図である。
【図9】本発明の実施の他の形態の画像処理装置200の概略的な電気的構成を示すブロック図である。
【図10】図9の画像処理装置で誤差を強調するために用いるLUT201の例を示す図表である。
【図11】図10のLUTの内容に基づく2値化誤差Errorと強調誤差Error′との関係を示すグラフである。
【符号の説明】
100,200 画像処理装置
101 閾値処理手段
102 誤差量閾値処理部
103 誤差強調手段
104 誤差配分手段
110 ハイライト部分
120 立上り位置
201 LUT

Claims (4)

  1. 多階調の画像データを、注目画素を順次設定しながら2値データに変換する画像処理装置において、
    注目画素の画像データに、近傍画素の2値化処理に基づいて配分される誤差量を誤差拡散処理として加え、所定の2値化用閾値を基準として2値化処理する閾値処理手段と、
    閾値処理手段による2値化処理の際に発生する2値化誤差を、0および所定の強調用閾値を基準として比較処理する誤差処理手段と、
    誤差処理手段による比較結果に従って、2値化誤差が0より大きく、強調用閾値より小さいとき、2値化誤差を増大させて強調誤差を生成する誤差強調手段と、
    誤差強調手段によって生成される強調誤差、また強調誤差が生成されないときには2値化誤差を、所定の重み付けに従って、注目画素の近傍で未だ2値化が行われていない画素に配分して、誤差拡散処理を行わせる誤差配分手段とを含むことを特徴とする画像処理装置。
  2. 前記誤差強調手段は、前記2値化誤差に対応するErrorを、前記強調用閾値に対応する点(n,n)を通る直線を表す演算式Error′=a(Error−n)+n(aは係数)に従って処理し、得られるError′として前記強調誤差を生成することを特徴とする請求項1記載の画像処理装置。
  3. 前記誤差強調手段が前記強調誤差を生成する演算式の係数は、−2以上で1よりも小さいことを特徴とする請求項2記載の画像処理装置。
  4. 前記誤差強調手段は、前記2値化誤差を、所定のルックアップテーブルに従って前記強調誤差に置き換えることを特徴とする請求項1記載の画像処理装置。
JP03340599A 1999-02-10 1999-02-10 画像処理装置 Expired - Fee Related JP3679260B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03340599A JP3679260B2 (ja) 1999-02-10 1999-02-10 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03340599A JP3679260B2 (ja) 1999-02-10 1999-02-10 画像処理装置

Publications (2)

Publication Number Publication Date
JP2000232581A JP2000232581A (ja) 2000-08-22
JP3679260B2 true JP3679260B2 (ja) 2005-08-03

Family

ID=12385701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03340599A Expired - Fee Related JP3679260B2 (ja) 1999-02-10 1999-02-10 画像処理装置

Country Status (1)

Country Link
JP (1) JP3679260B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4290681B2 (ja) 2005-06-30 2009-07-08 シャープ株式会社 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した機械読取可能な記録媒体および印刷物
JP5299466B2 (ja) * 2011-04-07 2013-09-25 コニカミノルタ株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP2000232581A (ja) 2000-08-22

Similar Documents

Publication Publication Date Title
EP0356225B1 (en) Image processing apparatus
JPH07288689A (ja) 画像信号2値化処理装置および方法
JPH11239274A (ja) 画像処理方法および装置
EP0781034A2 (en) Image processing apparatus and method
JPH1084478A (ja) 入力画像変換方法及び画素値量子化方法
US6233360B1 (en) Method and system for hybrid error diffusion processing of image information using adaptive white and black reference values
JPH11164145A (ja) 画像処理装置
JP3679260B2 (ja) 画像処理装置
JP2755307B2 (ja) 画像処理装置
JP2882531B2 (ja) 画像処理装置
JP2003110852A (ja) ハーフトーン処理方法および装置
JP2007006271A (ja) 二値化処理を行う画像処理装置及び画像処理プログラム
JP2007006269A (ja) 二値化処理を行う画像処理装置及び画像処理プログラム
JP3399341B2 (ja) 画像処理方法および画像処理装置
JP3043033B2 (ja) 画像処理方法
JP2010245899A (ja) 画像処理装置及び画像処理方法
JP3549475B2 (ja) 画像処理方式
JP2717020B2 (ja) 画像処理装置
JP3157870B2 (ja) 画像処理方式
JP3787890B2 (ja) 画像処理装置
JP2839095B2 (ja) 画像処理装置
JP4460079B2 (ja) 画像処理装置
JP2644491B2 (ja) 画像処理装置
JP2000050067A (ja) 画像処理方法及びその装置
JP3300582B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050512

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080520

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090520

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100520

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110520

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110520

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120520

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120520

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130520

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees