JPH07141465A - 文書画像の傾き検出方法 - Google Patents

文書画像の傾き検出方法

Info

Publication number
JPH07141465A
JPH07141465A JP5288961A JP28896193A JPH07141465A JP H07141465 A JPH07141465 A JP H07141465A JP 5288961 A JP5288961 A JP 5288961A JP 28896193 A JP28896193 A JP 28896193A JP H07141465 A JPH07141465 A JP H07141465A
Authority
JP
Japan
Prior art keywords
histogram
rectangle
inclination
document image
character string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5288961A
Other languages
English (en)
Other versions
JP3281469B2 (ja
Inventor
Takashi Saito
高志 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP28896193A priority Critical patent/JP3281469B2/ja
Publication of JPH07141465A publication Critical patent/JPH07141465A/ja
Application granted granted Critical
Publication of JP3281469B2 publication Critical patent/JP3281469B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Character Input (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 圧縮画像の連結成分を使用することによって
処理対象となるデータ量を削減し、処理時間を短縮する
と共に、縦方向と横方向で異なる処理をすることによ
り、文字列方向に係らず正確に傾きを検出する。 【構成】 圧縮画像(102)から黒画素の連結成分が
抽出され(103)、該成分の方向から文字列方向を検
出する(104)。横方向の傾きヒストグラムと縦方向
の傾きヒストグラムを作成する(105)。各ヒストグ
ラムにおいて候補角と確信度を算出し、確信度の高い方
の傾きを決定する(106)。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、文字列の傾きから文書
画像の傾きを検出する方法に関する。
【0002】
【従来の技術】文字認識装置、文書データベースなどに
おける前処理として、文書画像の傾きの正規化処理が必
要となる。従来、画像の傾きを検出する方法として、入
力画像を複数の傾きに沿って走査し、黒画素頻度ヒスト
グラムを作成し、閾値以上の頻度を持つ走査線における
超過部分の合計値を算出し、該値が最大となる傾きを文
書の傾きとする方法(特開平2−69886号公報を参
照)、連結成分の特徴量を複数方向に積分し、その分布
を求め、積分した結果が最も尖鋭となる方向を傾き角と
する方法(特開平2−108177号公報を参照)、連
結成分から基準点を求め、Hough変換で傾きを求め
る方法(特開平3−213053号公報を参照)などが
ある。
【0003】
【発明が解決しようとする課題】しかし、上記した第1
の方法は、画素を処理対象としているので、処理量が多
くなり相当の処理時間を必要とする。また、第2の方法
では、文字列方向を特に考慮していないために、文字列
方向によらない処理をしている。したがって、文字列に
相当する矩形と、それ以外の矩形の判別に面積を使用し
ているが、判別の精度は十分とはいえない。第3の方法
は、Hough変換を使用するため処理時間がかかり、
精度も悪い。また、上記した何れも方法も原画像におい
て連結成分を抽出しているが、その場合、処理対象とな
る連結成分が多く存在するために処理時間がかかるとい
う問題がある。
【0004】本発明の目的は、圧縮画像の連結成分を使
用することによって処理対象となるデータ量を削減し、
処理時間を短縮すると共に、縦方向と横方向で異なる処
理をすることにより、文字列方向に係らず正確に傾きを
検出するようにした文書画像の傾き検出方法を提供する
ことにある。
【0005】
【課題を解決するための手段】前記目的を達成するため
に、請求項1記載の発明では、圧縮された文書画像から
黒画素連結成分の外接矩形を求め、該外接矩形から文字
列に相当する矩形を判別し、該判別された各矩形におい
て一乃至複数の基準点を設定し、近傍矩形の基準点間を
結ぶ直線の傾きのヒストグラムに基づいて画像の傾きを
検出する方法において、横方向の近傍矩形のヒストグラ
ムと縦方向の近傍矩形のヒストグラムを作成し、該作成
された各ヒストグラムから傾きと確信度を算出し、該算
出された確信度とヒストグラムから得られる情報に基づ
いて何れか一方の傾きを用いることを特徴としている。
【0006】請求項2記載の発明では、文書画像の文字
列方向を検出することによって、前記ヒストグラムから
確信度を算出するとき、横方向と縦方向とで異なる処理
をすることを特徴としている。
【0007】請求項3記載の発明では、前記直線の傾き
のヒストグラムを作成するとき、同一直線上に、所定の
閾値以上の数の基準点がのる場合にのみ計数することを
特徴としている。
【0008】請求項4記載の発明では、前記ヒストグラ
ムを作成する際の近傍矩形の判別基準は、処理対象矩形
と、その左右上下の各方向にある最近傍矩形との距離を
計測し、該距離が所定の閾値以上のとき、該方向にある
近傍矩形を処理対象外とすることを特徴としている。
【0009】請求項5記載の発明では、文書画像の文字
列方向を検出することによって、前記直線の傾きのヒス
トグラムを求めるとき、横方向と縦方向とで異なる処理
をすることを特徴としている。
【0010】請求項6記載の発明では、前記文字列方向
と異なる方向における、前記直線の傾きのヒストグラム
を求めるとき、コラムの開始位置を検出し、該コラム開
始位置近傍にある外接矩形のみを使用することを特徴と
している。
【0011】
【作用】入力された文書画像が圧縮され、圧縮画像から
黒画素の連結成分が抽出される。連結成分の方向から文
字列方向が検出される。文字列の横方向の傾きヒストグ
ラムと縦方向の傾きヒストグラムが作成され、各ヒスト
グラムにおいて候補角と確信度を求め、確信度の高い方
の傾きから文書画像の傾きが決定される。これにより、
文字列方向によらずに、より正確に傾きを検出すること
ができる。
【0012】
【実施例】以下、本発明の一実施例を図面を用いて具体
的に説明する。図1は、本発明のブロック構成図であ
る。図において、101は、文書画像を取り込むスキャ
ナなどの画像入力手段、102は、入力された画像を所
定の単位で圧縮する画像圧縮手段である。103は、圧
縮画像から黒画素の連結成分を抽出する連結成分抽出手
段、104は、連結成分から文字列の方向を検出する文
字列方向検出手段である。
【0013】105は、横方向、縦方向の傾きヒストグ
ラムを作成するヒストグラム作成手段、106は、横方
向、縦方向のヒストグラムから傾きを決定する傾き決定
手段、107は、データ記憶部、108は、各手段を制
御する制御部、109は、データ通信路および制御通信
路である。
【0014】図2は、本発明の処理フローチャートであ
る。画像入力手段101を用いて画像を入力し(ステッ
プ201)、画像圧縮手段102は入力画像を圧縮する
(ステップ202)。この圧縮方法としては種々の方法
があるが、例えば入力画像が400dpi程度とする
と、8×8画素を処理単位とし、8×8画素の内の1つ
でも黒画素がある場合に、圧縮画素を黒とする方式を採
る。この方式による8画素単位の処理は計算機の処理に
適しているので処理速度が速く、また各文字または文字
列が一つの連結成分となることが多い。
【0015】連結成分抽出手段103は、上記したよう
にして圧縮された画像から連結成分を抽出し、その外接
矩形を求める(ステップ203)。この連結成分は、前
述したように各文字または文字列が一つの連結成分とな
ることが多く、また図や写真などの領域も一塊となる特
性がある。この特性を利用して、文字列方向検出手段1
04は、高速に文字列方向を検出する(ステップ20
4)。文字列方向の検出方法として、例えば本出願人が
先に提案した文書画像縦書き判定方法(特願平4−12
0263号)を用いる。つまり、この方法は、圧縮した
画像の連結成分は、文字間が融合するために文字列方向
に長くなるという性質を利用した検出方法である。
【0016】以下、文字列方向が横である場合を例にし
て説明する。まず、ヒストグラム作成手段105は、横
方向の傾きヒストグラムを作成する(ステップ20
5)。これは、ステップ203で抽出された連結成分の
外接矩形の内、所定の閾値以下の高さを持つ外接矩形だ
けを処理対象とし、この外接矩形の左下点および右下点
を基準点として、該矩形の横方向近傍の同じく閾値以下
の高さを持つ外接矩形との比較を行う。なお、基準点と
しては、上記したものの他に、外接矩形の左上点および
右上点でもよい。
【0017】図3は、基準点間を結ぶ直線の傾きのヒス
トグラム作成を説明する図である。図において、301
〜304は所定の閾値以下の高さの外接矩形である。3
05〜308は各外接矩形の基準点であり、この例では
各外接矩形の左下点を基準点としている。309、31
0は基準点を結んだ直線である。
【0018】まず、処理対象となる外接矩形を選ぶ。つ
まり、文字列に相当する矩形で、上から順番に選び、こ
の選ばれた外接矩形の横方向近傍の内、まず右側にある
近傍矩形を選ぶ。例えば、図3においては、処理対象と
なるのが矩形301であるとすると、その右側にある近
傍矩形302〜304が参照矩形となる。
【0019】このとき、処理矩形と参照矩形の位置関係
をみて、参照矩形の方が上部にある場合には基準点を矩
形の左下点とする。そして、この基準点間を結んで傾き
を得る。直線309は、基準点305、306、308
を結んだ直線であり、直線310は、基準点305、3
07を結んだ直線である。直線309の傾きにおいて
は、その直線上に2つの基準点306と308が乗って
いる。従って、直線309の傾きをα1とすると、α1
の頻度は2となり、同様に直線310の傾きをα2とす
ると、α2の頻度は1となる。
【0020】このような傾きをα1〜αNのN段階に離
散化して、各処理矩形毎に求めた頻度を加算してヒスト
グラムを作成する。また、傾き検出の精度を向上させる
ために、所定の閾値以上の傾きの頻度のみを足し合わせ
ることによって、ヒストグラムを作成するようにしても
よい。図3の例では、閾値を2とすると、α1の頻度
“2”は採用されるが、α2の頻度“1”は採用されな
い。
【0021】さらに、ヒストグラムを作成する際の近傍
矩形の判別基準として、参照矩形を探索して頻度を求め
るときに、矩形間距離を測定する。そして、最近傍矩形
との距離(図3の例では、処理矩形301と参照矩形3
02の間の距離311)が所定の閾値以上の場合には、
処理矩形と最近傍矩形(図3の例では参照矩形302)
との傾きを、ヒストグラムの作成には採用しない。これ
により、別コラムの文字間など、本来同一直線上にのる
ことが保証されない文字列間の傾きを考慮することな
く、正しい傾きの方向に頻度が高くなるようにヒストグ
ラムを作成することができる。
【0022】図3の例では処理矩形の右側にある参照矩
形を示しているが、左側についても同様の処理を行う。
また、傾きが左上がりで、処理矩形の右側にある参照矩
形が処理矩形よりも下部にある場合は、前述した基準点
は外接矩形の右下点に設定する。
【0023】図2に戻り、次いで、縦方向のヒストグラ
ムを作成する(ステップ206)。まず、画像を横方向
の帯状に分割し、その帯状の範囲で矩形の左上点を垂直
に投射したヒストグラムを作成する。図4は、縦方向の
ヒストグラム作成を説明する図である。画像は、例えば
1番目のスキャンライン408からK番目のスキャンラ
イン409によって帯状に分割され、401、402、
406、407は帯状範囲にある矩形である。
【0024】403は、各矩形の左上点を垂直に投射し
たヒストグラムである。例えば、頻度値405は、矩形
401、406、407の左上点4011、4061、
4071を垂直に投射したものである。そして、このヒ
ストグラムの局所ピークを検出する。図4の場合のピー
クは405となる。
【0025】このピーク405の近傍に左上点が存在す
る矩形(401、406、407)のみを処理対象矩形
として(ピーク外にある矩形402などを用いない)、
前述した横方向と同様に、矩形の左上点間を結ぶ直線の
傾き毎の頻度を求めてヒストグラムを作成する。直線4
04は、左上点4011と4061を結んだ直線であ
り、垂直線とのなす角が傾きとなる。
【0026】本発明は上記したように処理しているの
で、例えば、図4の矩形402に示すように、行間が狭
いために画像圧縮によって異なる行の文字列が融合して
横方向に正しい傾きを求めることができない場合でも、
縦方向に正しい傾きを求めることができる。
【0027】また、横方向と同様な処理によって縦方向
のヒストグラムを作成すると、直線404の線上にのる
矩形は全矩形の一部であるので、正しい傾きがヒストグ
ラム上で強いピークを生成しない(横方向のように、ほ
とんどの矩形が何れかの行上にある場合は、正しい傾き
がヒストグラム上で強いピークを生成する)。本発明で
は、これに対処するために、コラムの開始位置を検出す
ることによって、コラムの端近傍の矩形(401、40
6、407)のみを用いる。これによって、精度の高い
傾き検出が可能となる。なお、前述した横方向の場合と
同様に、矩形間の上下距離を測定し、最近傍矩形との距
離(図4の例では、処理矩形401と参照矩形406の
間の上下の距離)が所定の閾値以上の場合には、該最近
傍矩形を処理対象外とする。
【0028】次いで、傾き決定手段106は、上記した
横方向、縦方向のヒストグラムから画像の傾きを決定す
る(ステップ207)。決定の方法は、それぞれのヒス
トグラムにおいて、候補角および確信度を求め、確信度
の強い方の角度を採用する。ただし、確信度が同一の場
合は、頻度の高い方を採用する。候補角は、ヒストグラ
ムの最頻値をとることにより求める。また、各クラス毎
の頻度を単純に比較するのではなく、近傍の頻度を足し
合わせたもので比較を行ってもよい。例えば、クラスN
の前後のN−1、N+1における頻度を足し、これを全
体と比較してピークを探すようにしてもよい。
【0029】確信度は、最頻値と全体の平均頻度との
比、あるいは最頻値と第2頻度値との差分などから決定
し、0から1の間の値にふる。このとき、縦方向と横方
向とでは、上記した比などのパラメータは異なる値を使
用する。つまり、確信度を異なる値とする。
【0030】本実施例ではさらに、縦方向のヒストグラ
ム作成時において、コラム開始点近傍の矩形のみを用い
ずに、近傍以外の矩形を採用した場合には、最頻値と全
体の平均頻度との比が小さくなるので、横方向に比べて
より低い頻度値でも、高い確信度が出るようにする。ま
た、コラム開始点近傍の矩形のみを採用する場合でも、
最頻値と第2頻度値との差分が小さくなるため、この差
が小さくても高い確信度が出るようにする。上記した処
理によって画像の傾きが検出されるが、行方向が縦の場
合は、縦について上記した横方向の処理を、横について
上記した縦方向の処理を適用すればよい。
【0031】
【発明の効果】以上、説明したように、請求項1記載の
発明によれば、横方向の近傍矩形と縦方向の近傍矩形に
おいて、それぞれヒストグラムを作成し、各ヒストグラ
ムから傾きと確信度を求め、両者の確信度およびヒスト
グラムから得られる情報に基づいて、何れかの傾きを採
用しているので、行方向の縦、横の両方に対応して処理
することができる。
【0032】請求項2記載の発明によれば、確信度を求
めるときに、縦方向と横方向に異なる処理をしているの
で、縦方向と横方向の検出角度を有効に利用することが
できる。
【0033】請求項3記載の発明によれば、各矩形にお
いて、参照基準点が同一角度上に閾値以上のる場合にヒ
ストグラムを作成しているので、細かい図や写真などが
存在して文字列相当の大きさの矩形が生成される場合で
も、これらのノイズの影響を受けにくくなる。
【0034】請求項4記載の発明によれば、ヒストグラ
ムを作成する際の近傍矩形の判別基準として、左右上下
の最近傍矩形との距離を計測し、この距離が所定の閾値
以上の場合には、その方向の近傍矩形を処理対象外とし
ているので、別コラムの文字列矩形を比較して傾きを求
めるという事態が回避され、より正確な画像の傾き検出
が可能となる。
【0035】請求項5記載の発明によれば、文書画像の
文字列方向を検出することによって、直線の傾きのヒス
トグラムを求める際に、文字列矩形とそれ以外のものの
判別を行方向別に行うなど、縦方向と横方向で異なる処
理をしているので、文字列の方向によらない傾き検出を
行うことができる。
【0036】請求項6記載の発明によれば、コラムの開
始位置を検出することによって、文字列方向と異なる方
向における直線の傾きのヒストグラムを求める際に、コ
ラム開始位置近傍の外接矩形のみを使用しているので、
余分な矩形間傾きを参照することなく、精度の高い傾き
検出を行うことができる。
【図面の簡単な説明】
【図1】本発明のブロック構成図である。
【図2】本発明の処理フローチャートである。
【図3】基準点間を結ぶ直線の傾きのヒストグラム作成
を説明する図である。
【図4】縦方向のヒストグラム作成を説明する図であ
る。
【符号の説明】
101 画像入力手段 102 画像圧縮手段 103 連結成分抽出手段 104 文字列方向検出手段 105 ヒストグラム作成手段 106 傾き決定手段 107 データ記憶部 108 制御部 109 データ通信路、制御通信路

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 圧縮された文書画像から黒画素連結成分
    の外接矩形を求め、該外接矩形から文字列に相当する矩
    形を判別し、該判別された各矩形において一乃至複数の
    基準点を設定し、近傍矩形の基準点間を結ぶ直線の傾き
    のヒストグラムに基づいて画像の傾きを検出する方法に
    おいて、横方向の近傍矩形のヒストグラムと縦方向の近
    傍矩形のヒストグラムを作成し、該作成された各ヒスト
    グラムから傾きと確信度を算出し、該算出された確信度
    とヒストグラムから得られる情報に基づいて何れか一方
    の傾きを用いることを特徴とする文書画像の傾き検出方
    法。
  2. 【請求項2】 文書画像の文字列方向を検出することに
    よって、前記ヒストグラムから確信度を算出するとき、
    横方向と縦方向とで異なる処理をすることを特徴とする
    請求項1記載の文書画像の傾き検出方法。
  3. 【請求項3】 前記直線の傾きのヒストグラムを作成す
    るとき、同一直線上に、所定の閾値以上の数の基準点が
    のる場合にのみ計数することを特徴とする請求項1記載
    の文書画像の傾き検出方法。
  4. 【請求項4】 前記ヒストグラムを作成する際の近傍矩
    形の判別基準は、処理対象矩形と、その左右上下の各方
    向にある最近傍矩形との距離を計測し、該距離が所定の
    閾値以上のとき、該方向にある近傍矩形を処理対象外と
    することを特徴とする請求項1記載の文書画像の傾き検
    出方法。
  5. 【請求項5】 文書画像の文字列方向を検出することに
    よって、前記直線の傾きのヒストグラムを求めるとき、
    横方向と縦方向とで異なる処理をすることを特徴とする
    請求項1記載の文書画像の傾き検出方法。
  6. 【請求項6】 前記文字列方向と異なる方向における、
    前記直線の傾きのヒストグラムを求めるとき、コラムの
    開始位置を検出し、該コラム開始位置近傍にある外接矩
    形のみを使用することを特徴とする請求項5記載の文書
    画像の傾き検出方法。
JP28896193A 1993-11-18 1993-11-18 文書画像の傾き検出方法および装置 Expired - Lifetime JP3281469B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP28896193A JP3281469B2 (ja) 1993-11-18 1993-11-18 文書画像の傾き検出方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28896193A JP3281469B2 (ja) 1993-11-18 1993-11-18 文書画像の傾き検出方法および装置

Publications (2)

Publication Number Publication Date
JPH07141465A true JPH07141465A (ja) 1995-06-02
JP3281469B2 JP3281469B2 (ja) 2002-05-13

Family

ID=17737045

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28896193A Expired - Lifetime JP3281469B2 (ja) 1993-11-18 1993-11-18 文書画像の傾き検出方法および装置

Country Status (1)

Country Link
JP (1) JP3281469B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771842B1 (en) 1998-05-28 2004-08-03 Fujitsu Limited Document image skew detection method
US7065261B1 (en) 1999-03-23 2006-06-20 Minolta Co., Ltd. Image processing device and image processing method for correction of image distortion
KR100615058B1 (ko) * 2003-11-10 2006-08-22 히타치 오므론 터미널 솔루션즈 가부시키가이샤 휴대 정보 단말 장치의 문자인식에 있어서의 처리 대상 선택 방법 및 휴대 정보 단말 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8139897B2 (en) 2007-03-15 2012-03-20 Ricoh Company, Limited Detecting tilt in an image having different resolutions in different directions

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771842B1 (en) 1998-05-28 2004-08-03 Fujitsu Limited Document image skew detection method
US7065261B1 (en) 1999-03-23 2006-06-20 Minolta Co., Ltd. Image processing device and image processing method for correction of image distortion
KR100615058B1 (ko) * 2003-11-10 2006-08-22 히타치 오므론 터미널 솔루션즈 가부시키가이샤 휴대 정보 단말 장치의 문자인식에 있어서의 처리 대상 선택 방법 및 휴대 정보 단말 장치

Also Published As

Publication number Publication date
JP3281469B2 (ja) 2002-05-13

Similar Documents

Publication Publication Date Title
US5506918A (en) Document skew detection/control system for printed document images containing a mixture of pure text lines and non-text portions
US5410611A (en) Method for identifying word bounding boxes in text
US5687253A (en) Method for comparing word shapes
US5539841A (en) Method for comparing image sections to determine similarity therebetween
US6249604B1 (en) Method for determining boundaries of words in text
US5610993A (en) Method of co-centering two images using histograms of density change
US20050201619A1 (en) Video text processing apparatus
JP2002208007A (ja) スキャンした文書の自動式検出
JPH05242298A (ja) 記号列の認識方法
JP2002133426A (ja) 多値画像から罫線を抽出する罫線抽出装置
JPH07141465A (ja) 文書画像の傾き検出方法
JP3215163B2 (ja) 罫線識別方法及び領域識別方法
US6351560B1 (en) Apparatus, method, and program for locating an objective on a form and a recording medium for recording the program for locating the objective on the form
JP3303246B2 (ja) 画像処理装置
JP2868134B2 (ja) 画像処理方法及び装置
US20030123730A1 (en) Document recognition system and method using vertical line adjacency graphs
JP2778437B2 (ja) 文書画像傾き検出装置
JP3466899B2 (ja) 文字認識装置及び方法並びにプログラム記憶媒体
JPH06168331A (ja) パターンマッチング方法
JP2902097B2 (ja) 情報処理装置及び文字認識装置
JP3084833B2 (ja) 特徴抽出装置
US5313529A (en) System for representing line drawings by polygonal lines
JPH0822507A (ja) 文書認識装置
CN112801090A (zh) 文字区域检测方法及装置
JP3220226B2 (ja) 文字列方向判別方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100222

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110222

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120222

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130222

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130222

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140222

Year of fee payment: 12

EXPY Cancellation because of completion of term