JP4366428B2 - 画像処理装置、画像処理プログラム及び記録媒体 - Google Patents
画像処理装置、画像処理プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP4366428B2 JP4366428B2 JP2008057472A JP2008057472A JP4366428B2 JP 4366428 B2 JP4366428 B2 JP 4366428B2 JP 2008057472 A JP2008057472 A JP 2008057472A JP 2008057472 A JP2008057472 A JP 2008057472A JP 4366428 B2 JP4366428 B2 JP 4366428B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- scanning direction
- reference line
- line
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000605 extraction Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 6
- 239000011521 glass Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Landscapes
- Control Or Security For Electrophotography (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
図17のように歪んだスキャン画像を主走査方向および副走査方向に伸張して歪みを補正する技術がいくつか提案されている。例えば特許文献1では、本の外形(ページ外形)、罫線、文字行等の原稿中の直線部分がどのように湾曲しているかを調べ、元の直線に補正する場合の拡大率を求めて主走査方向を伸張する。
また、特許文献2では、スキャナのレンズ中心を通る光軸の主走査方向の位置とレンズからスキャン面までの距離が判らない場合の副走査方向の補正について、スキャン画像中の文字に外接する矩形の幅と高さの比を用いる方法が提案されている。
本発明は、上記問題を解決すべく、歪み補正処理に利用者の指示が反映でき、所望する補正結果を得ることができる画像処理装置および画像処理プログラムを提供することを目的とする。
こうすることにより、2値画像に多値画像と同様の処理を施すと、処理時間が必要以上にかかるばかりか、かえって画質が悪くなる場合がある。2値画像専用の処理を行えば処理時間を短縮でき、適切な画質が得られる場合もある。
また、本発明の請求項2は、請求項1記載の画像処理装置において、前記参照線抽出手段は、画像入力指示手段が2値画像を指示した場合は、ページ外形の抽出は行わず、罫線あるいは文字行を参照線として抽出することを特徴とする。
こうすることにより、2値画像の場合はページ外形の形状が特に綴じ部付近で変形していることが多いので、ページ外形の認識が不安定になり、補正画質が低下するのを防げる。
また、本発明の請求項4は、請求項3記載の画像処理プログラムにおいて、前記参照線抽出手段は、画像入力指示手段が2値画像を指示した場合は、ページ外形の抽出は行わず、罫線あるいは文字行を参照線として抽出することを特徴とする。
また、本発明の請求項5は、請求項3又は4記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。
また、本発明の画像処理プログラムによれば、処理に自由度を持たせることができ、外部記憶装置の使用量を減少させたり、CPUの処理時間を短縮する等コンピュータ資源を有効に利用することができる。
図1は、本発明の歪んだ書籍スキャン画像を主走査方向に補正する際の概要を示す図である。画像読取装置1でスキャンしたスキャン画像には、ページの輪郭(外形)や罫線、あるいは横書きの文字が含まれているのが通常である。ページ外形は圧板17の開閉状態や原稿の置き方によっては鮮明に現れないこともある。また、罫線は必ずしも含まれているとは限らない。しかし、原稿中の水平な線は歪み補正の大きな手がかりとなる。図1の左側の湾曲した水平な線(あるいは文字行のように水平とみなせる仮想の線)を右側のように復元できれば、少なくとも主走査方向(図の上下方向)の歪みは補正できる。具体的には、スキャン画像中のページ外形、罫線、文字行を抽出し、それらの関係が互いに平行になるように画像を伸張する。
なお、ページ外形のごく近傍(約2ミリメートル以内)に文字や画像があった場合、ページ外形の認識が不安定になるので、予めページ外形を使用しないようにして、罫線や文字行のみを用いて補正することも必要である。また、元画像が2値画像の場合は常にページ外形は利用しない方が良い。
なお、ページ外形、罫線、文字行から抽出した仮想の水平線を以後、参照線と呼ぶことにする。
副走査方向の補正は、スキャナーパラメーター(スキャナーレンズの光軸の位置、および、レンズ中心とスキャン面間の距離)が既知か未知かにより処理が異なる。
図4は、スキャナーパラメーターが既知の場合に行う副走査方向の補正の概要を示す図である。図4左側の未補正のスキャン画像におけるAB断面を示したのが右側の図である。スキャナーパラメーターが既知の場合は、ページ外形/罫線/文字行等の参照線の湾曲の度合いから書籍表面のスキャン面からの浮きの高さ(浮上り量)hを求め、図4右側のように、副走査方向の1画素分をm倍に伸張して継ぎ足していく。なお、詳しくは前掲した特許文献に記載されている。
図5および図6は、入力画像に歪み補正を施した画像の形状の変化を示す図である。画像の出力においては、入出力画像サイズを一致させる場合と不一致の場合とを選択できることが望ましい。不一致の場合は書籍領域を補正した画像をそのまま出力する(図5(c)、図6(c))。一致させる場合は、書籍領域を補正した画像を入力画像領域内に再配置して出力する(図5(d)、図6(d))。その際、補正後綴じ部位置を入力画像領域の主走査方向に平行な中心線に一致させ、かつ、補正後書籍領域で入力画像領域をはみ出した部分を除去する。図5(d)は補正後書籍領域が入力画像領域に収まった例で、図6(d)は、はみ出した例である。
図7は本発明の画像処理装置の機能構成を示すブロック図である。同図において、画像入力部71はスキャナ等で構成される画像読取装置1から綴じ部が歪んだスキャン画像を受け取る。スキャン画像は、スキャナ等の画像読取装置1だけでなく、図示しないネットワークやハードディスク等からも受け取れるようなっている。画像解析部72は前述した参照線を抽出すべく、スキャン画像を解析するものである。参照線の候補であるページ外形/罫線/文字行は、スキャン画像を2値化した画像の黒ドットのヒストグラムを作成することで検出できる。この技術は公知であるので説明は省略する。
主走査方向補正部73、副走査方向補正部74は、前述した方法で歪みを補正する部分である。また、サイズ補正部75は、補正後の画像の綴じ部の中心合わせ、画像サイズの調整を行う部分である。画像出力部76は、補正画像を印刷出力するために、図示しないプリンタエンジンやネットワークあるいはハードディスク等へ送る制御を行う。
指示部77は、タッチパネル等で構成される指示入力部78から入力された画像の取り込み時の指示や、歪み補正、サイズ補正、画像出力の各処理に対する指示データを処理モード記憶部80に記憶させ、更にスキャナーパラメーターとして説明したスキャナに関する情報をスキャナ情報記憶部79に記憶させ、各種の処理時に必要に応じて参照できるようにする。スキャナ情報記憶部79は不揮発RAMのような電源が切れても記憶を失わないメモリで構成すると良い。なお、スキャナーパラメーターは画像入力装置1(スキャナ)に固有の数値であり、スキャナの接続時に設定すると良い。
図8に示すCD−ROM37は、この発明の画像処理プログラムを記憶する記録媒体であり、所定の制御プログラムが記憶されている。CPU31は、CD−ROM37に記憶されている制御プログラムをCD−ROMドライブ36で読み取り、HDD35にインストールする。これにより、画像処理主要部19は、前述したような各種の処理を行うことが可能な状態となる。
なお、記録媒体としては、CD−ROM37のみならず、DVDなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、HDD35にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の画像処理プログラムを記憶する記録媒体である。なお、プログラムは、所定のOS(Operating System)上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をOSに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやOSなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
図9は、歪み補正処理の全体の流れを示すフローチャートである。まず、画像のスキャン方法や、参照線の抽出方法、副走査方向の補正の要否、補正後画像の調整等を指示する処理モード指示を行う(ステップS90)、例えば接続されているスキャナから画像を読み取る場合は、スキャン方法でカラーかモノクロか、モノクロの場合は2値か多値かを指定する。実際には解像度やスキャン領域等の指示も必要であるが、本発明に関係する項目に限って説明している。参照線の抽出方法では、ページ外形の抽出を行うか否かを、また、副走査方向の補正の要否、補正後画像の中心合わせや原稿サイズと同一サイズによる出力の指示を行う。なお、ここでは処理モードを最初に設定したが、スキャナの読み取りに関する指示以外は、処理の途中で設定するようにしても良い。
次にスキャン画像を入力する(ステップS91)。スキャナから取得する以外に、既に読み取り済みの画像ファイルから入力しても良い。この場合は、スキャナ情報がない場合が多いので、スキャナーパラメーターが未知の補正処理となる。次に参照線を抽出する(ステップS92)。そして、抽出した参照線を利用してまず主走査方向の補正を行う(ステップS93)。そして、副走査方向の補正の要否をチェックし(ステップS94)、補正の指示がされていれば副走査方向の補正を行う(ステップS95)。補正の指示がなされていなければ、副走査方向の補正を行わずに、補正後のサイズ補正を行う(ステップS96)。そして、結果をハードディスクに格納あるいはプリンタエンジンに送って印刷出力する(ステップS97)。
2値画像の指定かページ外形を使用しないという指示になっているか、あるいはページ外形の抽出ができなかった場合は罫線抽出を行う(ステップS104)。抽出方法はページ外形と同じ方法で、ヒストグラムを解析して行う。ここでも2本のなるべく離れた罫線を抽出するように試みるが、1本でも抽出できれば、罫線の位置を示す情報を保存して呼び出し元に戻る。
以上で参照線抽出の処理は終了する。
次に、主走査方向の伸張処理を行う(ステップS114)。図12は主走査方向の歪み補正を説明する図である。この図において、補正前の参照線1、参照線2をそれぞれ実線で、補正後をそれぞれ点線で表している。補正後の点線は、補正前の参照線1、参照線2の直線部分(平坦部)をそのまま延長したものである。ここで、副走査方向の位置Xにおいて、参照線上の点PがP’に、参照線上の点QがQ’に、それぞれ補正される。それで、位置Xにおける主走査方向上の任意の点YがY’に補正されるとして、次の関係式が成り立つ、
YP/YQ=Y’P’/Y’Q’
よって、各点の主走査方向の位置を、点PならP(y)というように表すと、
(Y(y)−P(y))/(Y(y)−Q(y))=
(Y’(y)−P’(y))/(Y’(y)−Q’(y))
となるので、これを変形して、
Y(y)=
((P(y)−Q(y))/(P’(y)−Q’(y)))Y’(y)+(P’(y)Q(y)−P(y)Q’(y))/(P’(y)−Q’(y))
となる。そして、補正前のY(y)の位置の画素値を、補正後のY'(y)の位置の画素値とする。
以上が、主走査方向の歪み補正の方法である。
図13は、図9の副走査方向補正(ステップS95)の処理を詳細に説明したフローチャートである。スキャナーパラメーターがスキャナ情報記憶部79にセットされているかをチェックする(ステップS130)。されていたら(ステップS130であり)、浮上り量の計算を参照線が湾曲している部分のすべての副走査位置で行う(ステップS131)。浮上り量は、図14で示す光学系の位置関係から計算できる。図14は通常のスキャナとは図が上下逆になっているが、ある副走査位置における原稿の位置とみかけ上の位置を示したものである。この図では、原稿がTだけ浮上っている場合は、本来Kaという位置にある像が×だけ内側のA3という位置に見えることを示している。これは、主走査方向の画像はレンズを用いて取得するためであり、スキャナーパラメーター(光軸の位置Akと焦点面距離)が判ればKaとA3から次の式で求めることができる。
T=焦点面距離*(A3−Ak)/{(Ak−Ka)−(A3−Ak)}
以上のようにして求めた浮上り量で、図4の右側の図のように平面に伸張していけば、浮上り量による伸張処理が行える(ステップS132)。
一方、スキャナ情報がない場合は(ステップ130でなし)、文字外接矩形を抽出する(ステップS133)。そして矩形縦横比により伸張処理を行う(ステップS134)。矩形縦横比による伸張処理の概要は既に述べた、また、より詳細な方法は前掲した特許文献に記載されている。
さて、歪み補正が終了した画像は、完璧に補正された場合を除き、多少の誤差を含んでいる。この誤差は、綴じ部(中心線)のズレや原稿との画像サイズの違いとして現れる。図15は図9のサイズ補正(ステップS96)の処理を詳細に説明したフローチャートである。処理モード記憶部80に記憶されているサイズ調整の指示で、中心合わせが指示されていたら(ステップS140でYes)、原稿画像の綴じ部が出力画像の中央になるように画像を移動する(ステップS141)、また、原稿と同一のサイズによる出力が指示されていたら(ステップS142でYes)、はみ出し部分を削除する(ステップS143)。なお、サイズと中心合わせの両方を同時に指示する、例えば原稿一致というモードを用意して、この指示がなされた場合は、中心合わせと、同一サイズ合わせを共にONにする(指示する)ように指示を内部で変更するようにすれば実現できる。
Claims (5)
- 綴じ部がある原稿を画像読取装置のスキャン面にページ綴じ部が主走査方向に対してほぼ平行となるように載置して読み取ったスキャン画像の歪みを補正する画像処理装置であって、前記画像読取装置からの画像の種類を指定する画像入力指示手段と、前記スキャン画像から得られたページ外形、罫線あるいは文字行を参照線として抽出する参照線抽出手段と、該参照線の形状を基に主走査方向の歪みを補正する主走査方向歪み補正手段と、副走査方向の歪みを補正する副走査方向歪み補正手段とを有し、前記参照線抽出手段は前記画像入力指示手段が指示した画像の種類に応じて抽出する参照線の選択を行うことを特徴とする画像処理装置。
- 請求項1記載の画像処理装置において、前記参照線抽出手段は、前記画像入力指示手段が2値画像を指示した場合は、ページ外形の抽出は行わず、罫線あるいは文字行を参照線として抽出することを特徴とする画像処理装置。
- 綴じ部がある原稿を画像読取装置のスキャン面にページ綴じ部が主走査方向に対してほぼ平行となるように載置して読み取ったスキャン画像の歪みを補正する画像処理プログラムであって、コンピュータに前記画像読取装置からの画像の種類を指定する画像入力指示手段と、前記スキャン画像から得られたページ外形、罫線あるいは文字行を参照線として抽出する参照線抽出手段と、該参照線の形状を基に主走査方向の歪みを補正する主走査方向歪み補正手段と、副走査方向の歪みを補正する副走査方向歪み補正手段として機能させ、前記参照線抽出手段は前記画像入力指示手段が指示した画像の種類に応じて抽出する参照線の選択を行うことを特徴とする画像処理プログラム。
- 前記参照線抽出手段は、画像入力指示手段が2値画像を指示した場合は、ページ外形の抽出は行わず、罫線あるいは文字行を参照線として抽出することを特徴とする請求項3記載の画像処理プログラム。
- 請求項3又は4記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008057472A JP4366428B2 (ja) | 2003-03-19 | 2008-03-07 | 画像処理装置、画像処理プログラム及び記録媒体 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003076389 | 2003-03-19 | ||
JP2008057472A JP4366428B2 (ja) | 2003-03-19 | 2008-03-07 | 画像処理装置、画像処理プログラム及び記録媒体 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003167090A Division JP4113804B2 (ja) | 2003-03-19 | 2003-06-11 | 画像処理装置及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008178136A JP2008178136A (ja) | 2008-07-31 |
JP4366428B2 true JP4366428B2 (ja) | 2009-11-18 |
Family
ID=39704754
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008057472A Expired - Fee Related JP4366428B2 (ja) | 2003-03-19 | 2008-03-07 | 画像処理装置、画像処理プログラム及び記録媒体 |
JP2008057473A Expired - Fee Related JP4505516B2 (ja) | 2003-03-19 | 2008-03-07 | 画像処理装置、画像処理プログラム及び記録媒体 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008057473A Expired - Fee Related JP4505516B2 (ja) | 2003-03-19 | 2008-03-07 | 画像処理装置、画像処理プログラム及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP4366428B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7903531B2 (en) | 2003-12-16 | 2011-03-08 | Panasonic Corporation | Optical disk apparatus for detecting tilt of an optical disk, and an optical disk for tilt detection |
US8054724B2 (en) | 2006-05-12 | 2011-11-08 | Lg Electronics Inc. | Recording/reproducing apparatus and tracking control method |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4852592B2 (ja) * | 2008-11-28 | 2012-01-11 | アキュートロジック株式会社 | 文字画像補正装置及び文字画像補正方法 |
KR101204701B1 (ko) | 2011-09-02 | 2012-11-26 | 주식회사신도리코 | 화상 형성 장치 및 이의 롤러 스캔 자국 제거 방법 |
JP5802524B2 (ja) | 2011-11-21 | 2015-10-28 | 株式会社Pfu | 画像処理装置、画像処理方法、および画像処理プログラム |
JP6961999B2 (ja) * | 2017-05-18 | 2021-11-05 | いすゞ自動車株式会社 | 車両用情報処理装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3181780B2 (ja) * | 1993-07-16 | 2001-07-03 | シャープ株式会社 | 画像処理装置 |
JPH07170389A (ja) * | 1993-12-15 | 1995-07-04 | Ricoh Co Ltd | 本原稿画像形成装置及び方法 |
JP4180260B2 (ja) * | 2001-08-27 | 2008-11-12 | 株式会社リコー | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム |
-
2008
- 2008-03-07 JP JP2008057472A patent/JP4366428B2/ja not_active Expired - Fee Related
- 2008-03-07 JP JP2008057473A patent/JP4505516B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7903531B2 (en) | 2003-12-16 | 2011-03-08 | Panasonic Corporation | Optical disk apparatus for detecting tilt of an optical disk, and an optical disk for tilt detection |
US8054724B2 (en) | 2006-05-12 | 2011-11-08 | Lg Electronics Inc. | Recording/reproducing apparatus and tracking control method |
Also Published As
Publication number | Publication date |
---|---|
JP4505516B2 (ja) | 2010-07-21 |
JP2008178136A (ja) | 2008-07-31 |
JP2008178137A (ja) | 2008-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4141235B2 (ja) | 画像補正装置及びプログラム | |
US7430065B2 (en) | Method and system for correcting distortions in image data scanned from bound originals | |
JP4113804B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP4366428B2 (ja) | 画像処理装置、画像処理プログラム及び記録媒体 | |
JP5017031B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、並びに、記憶媒体 | |
US20020084978A1 (en) | Image distortion correction apparatus, distortion correction method therefor, recording media, image scanner and image construction apparatus | |
JP4271085B2 (ja) | 画像補正装置、画像読取装置、プログラム及び記憶媒体 | |
JP4162633B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
JP3983721B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP4111697B2 (ja) | 画像輝度補正装置、画像読取装置、画像形成装置及びプログラム | |
JP4006242B2 (ja) | 画像補正装置、プログラム、記憶媒体及び画像補正方法 | |
JP3865215B2 (ja) | 画像歪み補正装置、プログラム、記憶媒体及び画像歪み補正方法 | |
JP4507124B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP4180260B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP4093970B2 (ja) | 画像歪み補正装置、プログラム及び記憶媒体 | |
JP4194076B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
JP4198613B2 (ja) | 画像歪み補正装置、プログラム及び記憶媒体 | |
JP4577845B2 (ja) | 画像処理装置、画像処理方法、プログラム及びプログラムを格納した記憶媒体 | |
JP2004328705A (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、画像歪み補正方法、画像歪み補正プログラム、及び記録媒体 | |
JP4061256B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP4136860B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP2003143407A (ja) | 画像輝度補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 | |
JP4145256B2 (ja) | 画像歪み補正装置、プログラム及び記憶媒体 | |
JP2004088499A (ja) | 画像歪み補正装置、画像読取装置、画像形成装置及びプログラム | |
JP3877142B2 (ja) | 画像歪み補正装置、画像読取装置、画像形成装置、プログラム及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090818 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090824 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4366428 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130828 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |