JPH08212298A - 文書方向自動判別装置、及び文書方向自動補正装置 - Google Patents

文書方向自動判別装置、及び文書方向自動補正装置

Info

Publication number
JPH08212298A
JPH08212298A JP7036079A JP3607995A JPH08212298A JP H08212298 A JPH08212298 A JP H08212298A JP 7036079 A JP7036079 A JP 7036079A JP 3607995 A JP3607995 A JP 3607995A JP H08212298 A JPH08212298 A JP H08212298A
Authority
JP
Japan
Prior art keywords
character
document
character recognition
image data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7036079A
Other languages
English (en)
Other versions
JP3727971B2 (ja
Inventor
Makoto Takaoka
真琴 高岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP03607995A priority Critical patent/JP3727971B2/ja
Priority to EP96300642A priority patent/EP0725359B1/en
Priority to DE69610230T priority patent/DE69610230T2/de
Priority to US08/594,798 priority patent/US6148119A/en
Publication of JPH08212298A publication Critical patent/JPH08212298A/ja
Application granted granted Critical
Publication of JP3727971B2 publication Critical patent/JP3727971B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/146Aligning or centring of the image pick-up or image-field
    • G06V30/1463Orientation detection or correction, e.g. rotation of multiples of 90 degrees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)

Abstract

(57)【要約】 【目的】 文書(文書画像)の方向を自動的に高精度に
判別して、補正できるようにする。 【構成】 文書の方向を一番正確に現しているのは文字
であることに着目して、入力された文書画像データに対
して、複数の文字領域中の複数の文字について、それぞ
れ0°、90°、180°、270°の4方向から文字
認識を行い、文字領域別に複数の文字の方向別の文字認
識の精度値の(自信度)の平均値を求め、さらに各文字
領域における前記方向別の平均値の平均値を求め、この
平均値の平均値が最も大きい方向を文書方向として判別
し、判別した文書方向が正方向でない場合は、文書画像
データを回転させて正方向となるようにする。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、CCD等の光電変換素
子により読取られた文書(文書画像)の方向を自動的に
判別する文書画像方向自動判別装置、及び文書(文書画
像)方向を自動的に補正する文書方向自動補正装置に関
する。
【0002】
【従来の技術】従来、情報処理装置では、一般に、スキ
ャナなどの光学的読取装置により読取られた原稿情報
(画像データ)の中から文字を認識することが行われて
いるが、文字認識は、あくまでも文字が正方向を向いて
いる場合の特徴から文字候補を選び出してくるため、画
像データが90°,180°等で回転されて読取られた
場合は、文字認識を正しく行うことができず、全く異な
る文字コードが出力されていた。
【0003】例えば、図10に示した「高」という文字
の場合、図10(a)のように文字が正方向を向いてい
るときは、正しく「高」と認識するが、図10(b)の
ように270°回転で「打」と誤認識し、図10(c)
のように180°回転で「字」と誤認識し、図10
(d)のように90°回転で認識不可能となってしまう
(なお、この認識結果は、あくまで説明の便宜上のもの
であり、実際の結果とは異なる)。
【0004】そこで、正しく文字認識を行うために、文
書の方向が正しくない場合、原稿の方向を人手により直
して、再度、原稿読取り、文字認識を行っていた。
【0005】しかしながら、スキャナの処理スピードが
向上し、オートフィーダと呼ばれる原稿自動給紙機能が
附属され始めてから、大量の原稿を処理することが増え
てきて、人手によりいちいち原稿の方向を補正すること
が困難になってきた。
【0006】また、原稿上の文書内容は、縦書き、横書
き等の各種のパターンで表現される。すなわち、A4縦
置きで横書きの文書(図11(a)参照:日本語の横書
き文書や英語の文書等でよく用いられる)、A4横置き
で横書きの文書(図11(b)参照:センテンスが長い
文書や、OHP用の文書、A3,B4などの文書を縮小
コピーした場合などでよく用いられる)、A4横置きで
真中で段組が切替わった横書きの文書(図11(c)参
照:A4文書を2枚を連続して縮小コピーした場合に良
く用いられる)、A4縦置きで縦書きの文書(図11
(d)参照)等の各種のパターンがある。
【0007】一方、モニタに表示される画像の方向は、
画像入力する際のスキャナの走査方向(画像読取方向)
により決まってしまう。このため、スキャナの走査方向
と文書の文字列の方向とが一致するような姿勢で原稿を
読取った場合は、図12(a)に示したように、文書が
本来の姿勢で表示される。
【0008】しかし、A4のスキャナの場合は、原稿の
方向は一義的に決められているため、スキャナの走査方
向と文書の文字列の方向とを一致させた姿勢で原稿を読
取ることができず、例えば図12(b)に示したよう
に、文書が本来の姿勢から90°回転された状態で表示
され、非常に読み難くなる場合があった。
【0009】上記のような文字の誤認識やモニタ上での
読み難さを解消するため、従来、文書画像方向自動判別
/回転機能を備えた情報処理装置が実現されている。
【0010】従来の文書画像方向自動判別手法の代表的
なものは、図13に示したように、領域分離結果に基づ
いて表のような線のある部分の方向性を見て、横方向に
長い線で文字領域を分割している方向を(図13(a)
の“a”参照)、その文書画像の方向として判別する方
式、文書の縦方向と横方向の射影(ヒストグラム)を検
出して、その区切れ具合を見て判断したり(図13
(b)の“b”参照)、領域を分離して文字領域の特徴
にマッチした矩形領域の横長、縦長といった特徴(図1
3(b)の“c”参照)から判別していた。
【0011】そして、これらの手法により判別した文書
画像方向に基づいて、文書画像データを回転処理し、そ
の回転された画像に対して文字認識処理を行っていた。
このような文書方向に基づく正しい文字認識への期待
は、近年大量の文書を整理したいというため、電子ファ
イリングなどの応用やDTPの発展、複写機等の大量に
文書を処理する機器の発展と共に非常に高まってきた。
【0012】
【発明が解決しようとする課題】しかし、従来の文書方
向判別方式は、方向判別の精度が低かった。すなわち、
文書中の表の線を用いる判別方式の場合は、表の線がな
い文書や縦横混在する線を含んだ文書の場合は、方向判
別を誤る可能性があった。
【0013】また、縦横の斜影を検出する方式の場合
は、文字のみで行や段落がしっかり分かれている文書で
は、比較的精度は高いが、文書中に図や自然画が含まれ
ている文書の場合は、方向判別を誤る可能性があった。
【0014】さらに、表の線を用いる方式、縦横の斜影
を検出する方式、文字領域の横長、縦長の特徴に基づく
方式のいずれにおいても、0°と180°の回転、90
°と180°の回転等を区別することは困難であり、方
向判別の精度は低かった。
【0015】本発明は、このような背景の下になされた
もので、その第1の目的は、文書(文書画像)の方向を
自動的に高精度に判別し得る文書方向自動判別装置を提
供することにある。
【0016】本発明の第2の目的は、文書(文書画像)
の方向を自動的に高精度に判別して補正し得る文書方向
自動補正装置を提供することにある。
【0017】
【課題を解決するための手段】上記第1の目的を達成す
るため、請求項1記載の文書方向自動判別装置は、光学
的に読取られた文書情報を光電変換して画像データとし
て入力する画像入力手段と、文字の特徴を記載した文字
認識辞書と、該文字認識辞書を参照して前記画像入力手
により入力された画像データ中の文字データについて複
数の方向から文字認識を行い、該文字認識結果に基づい
て文書方向を判別する判別手段とを備えている。
【0018】上記第1の目的を達成するため、請求項2
記載の文書方向自動判別装置では、請求項1記載の前記
判別手段は、前記文字認識辞書を参照して前記入力され
た画像データ中の文字データについて複数の方向から文
字認識を行い、文字認識の精度値が最も高い文字に係る
文字認識方向を文書方向として判別するように構成され
ている。
【0019】上記第1の目的を達成するため、請求項3
記載の文書方向自動判別装置では、請求項1記載の前記
判別手段は、前記判別手段は、前記入力された画像デー
タの中から文字領域を抽出し、抽出した文字領域中の複
数の文字データについて夫々複数の方向から文字認識を
行い、該文字認識結果に基づいて文書方向を判別するよ
うに構成されている。
【0020】上記第1の目的を達成するため、請求項4
記載の文書方向自動判別装置では、請求項1記載の前記
判別手段は、前記入力された画像データの中から文字領
域を抽出し、抽出した文字領域中の複数の文字データに
ついて夫々複数の方向から文字認識を行い、複数の文字
の文字認識の精度値の方向別の平均値が最も大きい方向
を文書方向として判別するように構成されている。
【0021】上記第1の目的を達成するため、請求項5
記載の文書方向自動判別装置では、請求項1記載の前記
判別手段は、前記入力された画像データの中から複数の
文字領域を抽出し、抽出した複数の文字領域中の複数の
文字データについて夫々複数の方向から文字認識を行
い、文字領域別に複数の文字の方向別の文字認識の精度
値の平均値を求め、さらに各文字領域における前記方向
別の平均値の平均値を求め、該平均値の平均値が最も大
きい方向を文書方向として判別するように構成されてい
る。
【0022】上記第2の目的を達成するため、請求項6
記載の文書方向自動補正装置は、光学的に読取られた文
書情報を光電変換して画像データとして入力する画像入
力手段と、文字の特徴を記載した文字認識辞書と、該文
字認識辞書を参照して前記画像入力手により入力された
画像データ中の文字データについて複数の方向から文字
認識を行い、該文字認識結果に基づいて文書方向を判別
する判別手段と、該判別手段により文書方向が正方向で
ないと判別された場合、少なくとも前記画像入力手段に
より入力された文字データが正方向となるように補正す
る補正手段とを備えている。
【0023】上記第2の目的を達成するため、請求項7
記載の文書方向自動補正装置では、請求項6記載の前記
判別手段は、前記文字認識辞書を参照して前記入力され
た画像データ中の文字データについて複数の方向から文
字認識を行い、文字認識の精度値が最も高い文字に係る
文字認識方向を文書方向として判別するように構成され
ている。
【0024】上記第2の目的を達成するため、請求項8
記載の文書方向自動補正装置では、請求項6記載の前記
判別手段は、前記入力された画像データの中から文字領
域を抽出し、抽出した文字領域中の複数の文字データに
ついて夫々複数の方向から文字認識を行い、該文字認識
結果に基づいて文書方向を判別するように構成されてい
る。
【0025】上記第2の目的を達成するため、請求項9
記載の文書方向自動補正装置では、請求項6記載の前記
判別手段は、前記入力された画像データの中から文字領
域を抽出し、抽出した文字領域中の複数の文字データに
ついて夫々複数の方向から文字認識を行い、複数の文字
の文字認識の精度値の方向別の平均値が最も大きい方向
を文書方向として判別するように構成されている。
【0026】上記第2の目的を達成するため、請求項1
0記載の文書方向自動補正装置では、請求項6記載の前
記判別手段は、前記入力された画像データの中から複数
の文字領域を抽出し、抽出した複数の文字領域中の複数
の文字データについて夫々複数の方向から文字認識を行
い、文字領域別に複数の文字の方向別の文字認識の精度
値の平均値を求め、さらに各文字領域における前記方向
別の平均値の平均値を求め、該平均値の平均値が最も大
きい方向を文書方向として判別するように構成されてい
る。
【0027】上記第2の目的を達成するため、請求項1
1記載の文書方向自動補正装置では、請求項6〜10記
載の前記補正手段は、前記入力された画像データを全体
的に回転することにより該画像データが正方向となるよ
うに補正するよう構成されている。
【0028】上記第2の目的を達成するため、請求項1
2記載の文書方向自動補正装置では、請求項6〜10記
載の前記補正手段は、前記入力された画像データのうち
文字領域だけを文字領域単位で回転することにより各文
字データが正方向となるように補正するよう構成されて
いる。
【0029】上記第2の目的を達成するため、請求項1
3記載の文書方向自動補正装置では、請求項6〜10記
載の前記補正手段は、前記入力された画像データのうち
文字データを個別に回転する形で読出すことにより各文
字データが正方向となるように補正するよう構成されて
いる。
【0030】
【作用】請求項1記載の文書方向自動判別装置では、前
記判別手段は、前記文字認識辞書を参照して前記画像入
力手により入力された画像データ中の文字データについ
て複数の方向から文字認識を行い、該文字認識結果に基
づいて文書方向を判別することにより、文書(文書画
像)の方向を自動的に高精度に判別する。
【0031】請求項2記載の文書方向自動判別装置で
は、請求項1記載の前記判別手段は、前記文字認識辞書
を参照して前記入力された画像データ中の文字データに
ついて複数の方向から文字認識を行い、文字認識の精度
値が最も高い文字に係る文字認識方向を文書方向として
判別することにより、請求項1と同様の作用・効果が得
られるようにする。
【0032】請求項3記載の文書方向自動判別装置で
は、請求項1記載の前記判別手段は、前記判別手段は、
前記入力された画像データの中から文字領域を抽出し、
抽出した文字領域中の複数の文字データについて夫々複
数の方向から文字認識を行い、該文字認識結果に基づい
て文書方向を判別することにより、請求項1と同様の作
用・効果が得られるようにする。
【0033】請求項4記載の文書方向自動判別装置で
は、請求項1記載の前記判別手段は、前記入力された画
像データの中から文字領域を抽出し、抽出した文字領域
中の複数の文字データについて夫々複数の方向から文字
認識を行い、複数の文字の文字認識の精度値の方向別の
平均値が最も大きい方向を文書方向として判別すること
により、請求項1と同様の作用・効果が得られるように
する。
【0034】請求項5記載の文書方向自動判別装置で
は、請求項1記載の前記判別手段は、前記入力された画
像データの中から複数の文字領域を抽出し、抽出した複
数の文字領域中の複数の文字データについて夫々複数の
方向から文字認識を行い、文字領域別に複数の文字の方
向別の文字認識の精度値の平均値を求め、さらに各文字
領域における前記方向別の平均値の平均値を求め、該平
均値の平均値が最も大きい方向を文書方向として判別す
ることにより、請求項1と同様の作用・効果が得られる
ようにする。
【0035】請求項6記載の文書方向自動補正装置で
は、前記判別手段は、前記文字認識辞書を参照して前記
画像入力手により入力された画像データ中の文字データ
について複数の方向から文字認識を行い、該文字認識結
果に基づいて文書方向を判別し、前記補正手段は、前記
判別手段により文書方向が正方向でないと判別された場
合、少なくとも前記画像入力手段により入力された文字
データが正方向となるように補正することにより、文書
(文書画像)の方向を自動的に高精度に判別して補正す
る。
【0036】請求項7記載の文書方向自動補正装置で
は、請求項6記載の前記判別手段は、前記文字認識辞書
を参照して前記入力された画像データ中の文字データに
ついて複数の方向から文字認識を行い、文字認識の精度
値が最も高い文字に係る文字認識方向を文書方向として
判別することにより、請求項6と同様の作用・効果が得
られるようにする。
【0037】請求項8記載の文書方向自動補正装置で
は、請求項6記載の前記判別手段は、前記入力された画
像データの中から文字領域を抽出し、抽出した文字領域
中の複数の文字データについて夫々複数の方向から文字
認識を行い、該文字認識結果に基づいて文書方向を判別
することにより、請求項6と同様の作用・効果が得られ
るようにする。
【0038】請求項9記載の文書方向自動補正装置で
は、請求項6記載の前記判別手段は、前記入力された画
像データの中から文字領域を抽出し、抽出した文字領域
中の複数の文字データについて夫々複数の方向から文字
認識を行い、複数の文字の文字認識の精度値の方向別の
平均値が最も大きい方向を文書方向として判別すること
により、請求項6と同様の作用・効果が得られるように
する。
【0039】請求項10記載の文書方向自動補正装置で
は、請求項6記載の前記判別手段は、前記入力された画
像データの中から複数の文字領域を抽出し、抽出した複
数の文字領域中の複数の文字データについて夫々複数の
方向から文字認識を行い、文字領域別に複数の文字の方
向別の文字認識の精度値の平均値を求め、さらに各文字
領域における前記方向別の平均値の平均値を求め、該平
均値の平均値が最も大きい方向を文書方向として判別す
ることにより、請求項6と同様の作用・効果が得られる
ようにする。
【0040】請求項11記載の文書方向自動補正装置で
は、請求項6〜10記載の前記補正手段は、前記入力さ
れた画像データを全体的に回転することにより該画像デ
ータが正方向となるように補正することにより、請求項
6と同様の作用・効果が得られるようにする。
【0041】請求項12記載の文書方向自動補正装置で
は、請求項6〜10記載の前記補正手段は、前記入力さ
れた画像データのうち文字領域だけを文字領域単位で回
転することにより各文字データが正方向となるように補
正することにより、請求項6と同様の作用・効果が得ら
れるようにする。
【0042】請求項13記載の文書方向自動補正装置で
は、請求項6〜10記載の前記補正手段は、前記入力さ
れた画像データのうち文字データを個別に回転する形で
読出すことにより各文字データが正方向となるように補
正することにより、請求項6と同様の作用・効果が得ら
れるようにする。
【0043】
【実施例】以下、本発明の実施例を図面を参照しながら
説明する。
【0044】図1は、本発明の実施例による文書方向自
動判別装置、および文書方向自動補正装置を適用したデ
ータ処理システムのシステム構成図であり、本システム
は、画像の入力部と画像処理部を持ち、スキャナー装
置、或いは複写機などに、インテリジェント入力装置、
または単独の入力装置がI/Fを介してコンピュータと
接続されてインテリジェント化されたシステムである。
【0045】スキャナ部1は、文書原稿を光学的に読取
り、光電変換してデジタルの画像データとして入力する
手段である。このスキャナ部1にオートフィーダを取り
付ければ、複数枚の原稿を連続入力することが可能であ
る。CPU/メモリ部2は、各種制御を行うと共に、画
像データを一時的に保存するためにある。
【0046】文字認識/方向判別部3は、文書の方向を
一番正確に現しているのは文字であることに着目し、文
書中の数種類の文字領域を0°、90°、180°、2
70°の方向から文字認識を行い、それら各方向におけ
る文字認識の精度(文字認識の自信度:文字の特徴分布
に対する距離)の中で一番精度の高い方向を文書方向と
する。
【0047】領域分離部4は、文字認識/方向判別部3
による文字認識・方向判別処理を行うための前処理とし
て、文書画像データより、文字部、図形部、自然画部、
表部などを矩形の領域に分離して、各領域の属性(文字
部など)を付加する処理を行うブロックである。
【0048】記憶装置5は、例えば、ハードディスクや
光磁気ディスクなどにより構成され、各種処理結果(画
像データ、領域分離結果、文字認識結果など)を保存す
るために利用される。I/F部6は、SCSIやRS2
32Cなどにより構成され、外部へデータを伝送するた
めに設けられている。コンピュータ7は、I/F部6を
介して情報を得たり、光磁気ディスク等の移動可能の記
憶装置よりデータを得て利用する。プリンタ部8は、ス
キャナ部1から入力された画像データに対して、領域分
離情報と文字認識情報に基づいて各種加工された画像デ
ータ等を印刷出力する。
【0049】次に、本実施例における文書方向自動判別
・補正、および文字認識処理の概要を図2のフローチャ
ートに従って説明する。
【0050】スキャナ部1により入力された画像データ
(2値画像あるいは多値画像)は、まず領域分離部4に
より、文字部、図形部、自然画部、表部などの属性別に
矩形の領域に分離される(ステップS1,S2)。ここ
では、実際には、矩形で囲まれた領域情報を作成する。
【0051】次に、各属性より文字領域の矩形情報を抽
出する(ステップS3)。ここで、文字領域とは、文章
部、タイトル部、表中の文字、図のキャプション部など
である。例えば、図3(a),(c)の文書の場合は、
それぞれ図3(b),(d)に示したような文字領域の
矩形情報が抽出される。そして、これらの中の数ブロッ
クを用いて、文書方向判別を行う(ステップS4)。そ
の結果、文書方向が正方向であれば、引続き画像中の文
字ブロックに対して文字認識処理を行う(ステップS
7)。
【0052】一方、文書方向が不正方向であれば、画像
データを正しい方向に回転させる(ステップS5)。そ
して、回転画像に対して領域分離を行い、領域分離情報
の補正処理を行う(ステップS6)。これは、画像回転
に伴う領域分離情報の相違を補正するもので、一つの方
法としては、全回転画像データに対して再び領域分離処
理を行う方法。もう一つは、アドレス変換を領域分離結
果にかける方法がある。領域分離処理は、一般に画像が
正方向を想定しているため、初期の段階で行った領域分
離処理と回転画像データに対して行った領域分離処理
は、結果が異なることが多い。それゆえ、前者の方法が
とられるのが望ましい。
【0053】次に、ステップS7に進んで、回転画像デ
ータ中の文字領域ブロックは、文字認識処理系で文字認
識される。この結果、最終的に、回転なし/回転ありの
両方の場合とも、領域分離情報と文字認識情報が得られ
る(ステップS8)。
【0054】この処理結果は、I/F部6を介してコン
ピュータ7に伝送され、コンピュータ7上のファイリン
グのアプリケーションソフト等で利用される。また、記
憶装置5に転送する系では、連続的に画像情報を入力し
て、次に、その情報をまとめて読出すといったバッチ処
理的に使用する方式に利用される。さらにプリンタ8に
転送する系では、プリンタ8にページ記述言語を解釈す
る機能がある場合には、文字認識と領域分離の処理によ
り逆PDL(画像データよりページ記述言語を作成する
方法)で文書を再構成したり清書したりするのに利用さ
れる。
【0055】次に、文字認識処理を用いた文書方向判別
の手法について説明する。
【0056】[領域分離処理]文書画像データの黒画素
を検出してゆき、輪郭線追跡、またはラベリング方式に
より、黒画素ブロックの矩形枠を作成する。次に、その
矩形のなかの黒画素密度、隣接矩形ブロックの有無、矩
形の縦横比率などを判断基準にして、文字領域(タイト
ル、本分、キャプションなど)、図形領域、自然画領
域、表領域などを判別する。この処理結果より、文字領
域の矩形情報が判別される。
【0057】[文字認識処理]文字認識処理の一つの方
法として、特徴ベクトル抽出、比較方式がある。例えば
図4(a)に示したように、「本」という文字を含む文
字領域が判別されたとする。第一段階として、この文字
領域について文字切り出し処理を行う(図4(b)参
照)。これは、一つの文字の矩形を切り出す処理で、黒
画素連続性の状態を検出していけば求められる。第二段
階として、一文字をm×n(例えば64×64)の画素
ブロックに切り出す(図4(c)参照)。そして、その
中から3×3画素のウィンドウを用いて、黒画素の分布
方向を抽出する(方向ベクトル情報:図4(d)参
照)。
【0058】なお、図4(d)は、方向ベクトル情報の
一部を例示したものであり、上記3×3画素のウィンド
ウをずらしてゆき、方向ベクトル情報を数十個得る。こ
のベクトル情報が文字の特徴となる。この特徴ベクトル
と予め記憶されている文字認識辞書の内容とを比較し
て、特徴ベクトルに特徴が一番近い文字から順番に文字
を抽出する。この場合、特徴ベクトルに特徴が近い順番
にが第1候補、第2候補、第2候補、…となる。この特
徴ベクトルに対する特徴の近さが、その文字に対する距
離の近さ、すなわち文字認識の自信度(精度)という数
値となる。
【0059】[文字方向判別処理]このようにして文字
認識の自信度が求められるが、その自信度に基づいた文
字方向判別処理を、図5に示した「本発明の名称」とい
う文例を用いて説明する。
【0060】図5(a)は正方向の文、図5(b)は2
70°回転した文である。ここで「本」に注目すると、
文字方向を判別する場合は、図5(c)に示したよう
に、1つの文字「本」について0°、90°、180
°、270°の4方向から文字認識を行ってみる。各回
転角度は、文字矩形の領域の読出し方を変更すればよ
く、特に原稿を回転する必要はない。
【0061】各回転角度における文字認識結果は、図5
(c)に示したように、互いに異なっている。なお、図
5(c)には、説明用の仮の文字認識結果および自信度
が示されており、現実にこの通りになるとは限らない。
【0062】図5(c)において、正方向(0°)から
文字認識を行った場合は、「本」と正しく認識され、自
信度も0.90と高い値となる。90°回転した方向か
ら文字認識を行った場合は、「町」と誤認識され、自信
度も0.40と低下する。このように誤認識が発生し、
自信度も低下するのは、回転した方向から見た場合の特
徴ベクトルに基づいて文字認識を行ったからである。同
様に180°、270°回転した方向から文字認識を行
った場合も、誤認識が発生し、自信度も低下する。な
お、文字認識の方向別の自信度は、複雑な文字であれば
ある程、その差が顕著に現れてくる。
【0063】図5(c)の結果は、正方向の場合に自信
度が1番高いため、文書は正方向に向いている可能性が
高いと判断される。文字方向判別の精度を向上させるた
め、同一ブロック内の複数の文字について、同様に4方
向から文字認識を行ってみる。さらに、1つのブロック
だけで文字方向を判別した場合、特殊な文字列について
文字方向を誤まって判別する虞があるので、複数のブロ
ックについて同様の文字認識を行ってみる。
【0064】そして、各ブロックについて、当該ブロッ
ク内の各認識対象文字の4方向別の自信度の平均値を求
め、さらに、各ブロックでの4方向別の自信度の平均値
に対する平均値を求め、この平均値が最も高い方向を文
字方向(文書方向)として認定する。
【0065】このように、1文字だけの自信度で文字方
向を認定することなく、同一ブロック内の複数文字、さ
らには同一ブロック内の複数文字の自信度で文字方向を
認定することにより、文字(文書)方向を高精度に判別
することが可能となる。ただし、1文字だけの自信度で
文字方向を判別したり、或いは同一ブロック内の複数文
字の自信度で文字方向を判別しても、従来よりも高精度
に文字方向を判別できることは言うまでもない。
【0066】次に、文字方向(文書方向)の判別結果
が、正方向以外の方向であるときは、文字方向が正方向
になるように原画像を回転する。この回転は、図1のC
PU/メモリ2を用いて公知の技術により簡単に行うこ
とが可能であり、その説明は省略する。
【0067】以上のような、処理により、図6(a)に
示した原画像データ、図6(b)に示した領域分離デー
タ、図6(c)に示した文字認識情報を得ることができ
る。これらの情報は、前述のように、電子ファイリン
グ、文書整形、DTPなどのアプリケーションにより使
用される。
【0068】領域分離データの形式は、図6(b)に示
したように、領域分離データである旨を示す「head
er」と、分離した領域の識別子「rect1」〜「r
ectn4」により構成され、この識別子で区別された
各領域(ブロック)の情報は、ブロックの番号「ord
er」、ブロックの属性(文字部、図形部など)「at
t」、ブロックの左上の座標値「x1」および「y
1」、ブロックの幅「w」、ブロックの高さ「h」、縦
書き、または横書きを示す「direction」、当
該ブロックのIDである「SelfID」、当該ブロッ
クを包含する親ブロックのIDである「upperI
D」、親ブロックの属性「upperAtt」、予備領
域「reserve」により構成されている。
【0069】また、文字認識情報は、図6(c)に示し
たように、文字認識情報である旨を示す「heade
r」を有し、例えば「本」等の単一の文字に関する文字
認識情報「OCR1」等と、当該文字が含まれているブ
ロックを示す上記rect1等に相当する「blk h
eader」との組合わせ情報により構成されている。
【0070】そして、「OCR1」等の各文字認識情報
は、文字であるか或いは空白であるかを示す「typ
e」、前述の文字認識の自信度に従った第1〜第5候補
文字「文字1」〜「文字5」、当該文字の切出し位置
「x1」および「y1」、当該文字の幅「w」、当該文
字の高さ「h」、予備領域「reserve」により構
成されている。
【0071】[他の実施例]なお、上記実施例では、文
書方向を判別した結果、正方向を向いておらず回転すべ
き場合には、原画像データ全体を回転させて文字認識を
行っていたが、原画像データを回転させずに文字認識を
行うことも可能である。
【0072】この場合には、文字領域の矩形情報を得た
ら、図7に示したように、文字矩形データのみを別メモ
リ上に回転してコピーさせ、その矩形画像データに対し
て文字認識を行えばよい。
【0073】また、図8に示したように、画像データは
回転させずに、文字矩形領域に対して文字切りを行い、
各文字を読出す際に読出方向を回転させた状態で読出し
て文字認識を行ってもよい(図9のステップS9参
照)。なお、図9のフローチャートは、他のステップ
は、図1とほぼ同様なので、同一のステップ番号を付つ
けるだけで、その説明は省略する。
【0074】なお、本発明は上記各実施例に限定される
ことなく、例えば、日本語だけでなく、他の言語に係る
文書にも適用可能である。特に、英語等に係る文書は、
縦書き文書がないため、文書方向をより高精度に判別す
ることが可能である。
【0075】
【発明の効果】以上、詳細に説明したように、本発明に
よれば、文書の方向を一番正確に現しているのは文字で
あることに着目して、同一文字について複数の方向から
文字認識を行い、文字認識精度の一番高い方向を文書方
向として判別し、その判別結果に基づいて必要に応じて
文書方向を補正するようにしたので、文書(文書画像)
の方向を自動的に高精度に判別し、また文書方向を補正
することができ、人手を介さずに高精度な文字認識結果
を得ることが可能となる。
【図面の簡単な説明】
【図1】本発明の実施例による文書方向自動判別装置お
よび文書方向自動補正装置を適用したデータ処理システ
ムのシステム構成図である。
【図2】本発明の実施例による文書方向自動判別・補
正、および文字認識処理を示すフローチャートである。
【図3】領域分離状態を示した図である。
【図4】文字認識処理の処理過程を説明するための説明
図である。
【図5】文書(文字)方向判別処理を説明するための説
明図である。
【図6】領域分離および文字認識情報のデータ形式を示
した図である。
【図7】他の実施例を説明するための説明図である。
【図8】図7とは異なる他の実施例を説明するための説
明図である。
【図9】図8の他の実施例に係る文書方向自動判別・補
正、および文字認識処理を示すフローチャートである。
【図10】同一文字に対する方向別の文字認識結果を例
示した図である。
【図11】各種文書の文字方向等の形式を例示した図で
ある。
【図12】文書をモニタ表示した場合の問題点をせつめ
いするための説明図である。
【図13】従来の文書方向判別手法を説明するための説
明図である。
【符号の説明】
1…スキャナ部 2…CPU/メモリ部 3…文字認識/方向判別部 4…領域分離部 5…記憶装置 6…I/F部 7…コンピュータ 8…プリンタ部

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】 光学的に読取られた文書情報を光電変換
    して画像データとして入力する画像入力手段と、 文字の特徴を記載した文字認識辞書と、 該文字認識辞書を参照して前記画像入力手により入力さ
    れた画像データ中の文字データについて複数の方向から
    文字認識を行い、該文字認識結果に基づいて文書方向を
    判別する判別手段と、 を備えたことを特徴とする文書方向自動判別装置。
  2. 【請求項2】 前記判別手段は、前記文字認識辞書を参
    照して前記入力された画像データ中の文字データについ
    て複数の方向から文字認識を行い、文字認識の精度値が
    最も高い文字に係る文字認識方向を文書方向として判別
    することを特徴とする請求項1記載の文書方向自動判別
    装置。
  3. 【請求項3】 前記判別手段は、前記入力された画像デ
    ータの中から文字領域を抽出し、抽出した文字領域中の
    複数の文字データについて夫々複数の方向から文字認識
    を行い、該文字認識結果に基づいて文書方向を判別する
    ことを特徴とする請求項1記載の文書方向自動判別装
    置。
  4. 【請求項4】 前記判別手段は、前記入力された画像デ
    ータの中から文字領域を抽出し、抽出した文字領域中の
    複数の文字データについて夫々複数の方向から文字認識
    を行い、複数の文字の文字認識の精度値の方向別の平均
    値が最も大きい方向を文書方向として判別することを特
    徴とする請求項1記載の文書方向自動判別装置。
  5. 【請求項5】 前記判別手段は、前記入力された画像デ
    ータの中から複数の文字領域を抽出し、抽出した複数の
    文字領域中の複数の文字データについて夫々複数の方向
    から文字認識を行い、文字領域別に複数の文字の方向別
    の文字認識の精度値の平均値を求め、さらに各文字領域
    における前記方向別の平均値の平均値を求め、該平均値
    の平均値が最も大きい方向を文書方向として判別するこ
    とを特徴とする請求項1記載の文書方向自動判別装置。
  6. 【請求項6】 光学的に読取られた文書情報を光電変換
    して画像データとして入力する画像入力手段と、 文字の特徴を記載した文字認識辞書と、 該文字認識辞書を参照して前記画像入力手により入力さ
    れた画像データ中の文字データについて複数の方向から
    文字認識を行い、該文字認識結果に基づいて文書方向を
    判別する判別手段と、 該判別手段により文書方向が正方向でないと判別された
    場合、少なくとも前記画像入力手段により入力された文
    字データが正方向となるように補正する補正手段と、 を備えたことを特徴とする文書方向自動補正装置。
  7. 【請求項7】 前記判別手段は、前記文字認識辞書を参
    照して前記入力された画像データ中の文字データについ
    て複数の方向から文字認識を行い、文字認識の精度値が
    最も高い文字に係る文字認識方向を文書方向として判別
    することを特徴とする請求項6記載の文書方向自動補正
    装置。
  8. 【請求項8】 前記判別手段は、前記入力された画像デ
    ータの中から文字領域を抽出し、抽出した文字領域中の
    複数の文字データについて夫々複数の方向から文字認識
    を行い、該文字認識結果に基づいて文書方向を判別する
    ことを特徴とする請求項6記載の文書方向自動補正装
    置。
  9. 【請求項9】 前記判別手段は、前記入力された画像デ
    ータの中から文字領域を抽出し、抽出した文字領域中の
    複数の文字データについて夫々複数の方向から文字認識
    を行い、複数の文字の文字認識の精度値の方向別の平均
    値が最も大きい方向を文書方向として判別することを特
    徴とする請求項6記載の文書方向自動補正装置。
  10. 【請求項10】 前記判別手段は、前記入力された画像
    データの中から複数の文字領域を抽出し、抽出した複数
    の文字領域中の複数の文字データについて夫々複数の方
    向から文字認識を行い、文字領域別に複数の文字の方向
    別の文字認識の精度値の平均値を求め、さらに各文字領
    域における前記方向別の平均値の平均値を求め、該平均
    値の平均値が最も大きい方向を文書方向として判別する
    ことを特徴とする請求項6記載の文書方向自動補正装
    置。
  11. 【請求項11】 前記補正手段は、前記入力された画像
    データを全体的に回転することにより該画像データが正
    方向となるように補正することを特徴とする請求項6〜
    10記載の文書方向自動補正装置。
  12. 【請求項12】 前記補正手段は、前記入力された画像
    データのうち文字領域だけを文字領域単位で回転するこ
    とにより各文字データが正方向となるように補正するこ
    とを特徴とする請求項6〜10記載の文書方向自動補正
    装置。
  13. 【請求項13】 前記補正手段は、前記入力された画像
    データのうち文字データを個別に回転する形で読出すこ
    とにより各文字データが正方向となるように補正するこ
    とを特徴とする請求項6〜10記載の文書方向自動補正
    装置。
JP03607995A 1995-02-01 1995-02-01 文書処理装置、及び文書処理方法 Expired - Fee Related JP3727971B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP03607995A JP3727971B2 (ja) 1995-02-01 1995-02-01 文書処理装置、及び文書処理方法
EP96300642A EP0725359B1 (en) 1995-02-01 1996-01-30 Image processing method and apparatus
DE69610230T DE69610230T2 (de) 1995-02-01 1996-01-30 Verfahren und Gerät zur Bildverarbeitung
US08/594,798 US6148119A (en) 1995-02-01 1996-01-31 Character recognition in input images divided into areas

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03607995A JP3727971B2 (ja) 1995-02-01 1995-02-01 文書処理装置、及び文書処理方法

Publications (2)

Publication Number Publication Date
JPH08212298A true JPH08212298A (ja) 1996-08-20
JP3727971B2 JP3727971B2 (ja) 2005-12-21

Family

ID=12459742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03607995A Expired - Fee Related JP3727971B2 (ja) 1995-02-01 1995-02-01 文書処理装置、及び文書処理方法

Country Status (4)

Country Link
US (1) US6148119A (ja)
EP (1) EP0725359B1 (ja)
JP (1) JP3727971B2 (ja)
DE (1) DE69610230T2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10289288A (ja) * 1997-04-16 1998-10-27 Canon Inc 画像処理方法及び装置
US6169822B1 (en) 1997-07-15 2001-01-02 Samsung Electronics Co., Ltd. Method for correcting direction of document image
US6377705B1 (en) 1998-05-29 2002-04-23 Canon Kabushiki Kaisha Image processing apparatus and method and computer-readable memory
US6804414B1 (en) 1998-05-01 2004-10-12 Fujitsu Limited Image status detecting apparatus and document image correcting apparatus
US7151860B1 (en) 1999-07-30 2006-12-19 Fujitsu Limited Document image correcting device and a correcting method
US7805003B1 (en) 2003-11-18 2010-09-28 Adobe Systems Incorporated Identifying one or more objects within an image
KR101272445B1 (ko) * 2011-07-20 2013-06-07 후지쯔 가부시끼가이샤 이미지 블록 내 문자들의 방향을 식별하는 방법 및 장치
US8805080B2 (en) 2011-06-29 2014-08-12 Fujitsu Limited Method of and device for identifying direction of characters in image block

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3728040B2 (ja) * 1996-12-27 2005-12-21 キヤノン株式会社 画像形成装置及び方法
JP3884845B2 (ja) 1997-11-18 2007-02-21 キヤノン株式会社 情報処理装置及び方法
US6151423A (en) * 1998-03-04 2000-11-21 Canon Kabushiki Kaisha Character recognition with document orientation determination
JP3907439B2 (ja) * 2001-10-26 2007-04-18 キヤノン株式会社 携帯端末システム及び携帯端末及び画像処理装置及びその動作方法
RU2003108433A (ru) * 2003-03-28 2004-09-27 Аби Софтвер Лтд. (Cy) Способ предварительной обработки изображения машиночитаемой формы
US20110188759A1 (en) * 2003-06-26 2011-08-04 Irina Filimonova Method and System of Pre-Analysis and Automated Classification of Documents
RU2635259C1 (ru) 2016-06-22 2017-11-09 Общество с ограниченной ответственностью "Аби Девелопмент" Способ и устройство для определения типа цифрового документа
US7286718B2 (en) * 2004-01-26 2007-10-23 Sri International Method and apparatus for determination of text orientation
IL162878A0 (en) * 2004-07-06 2005-11-20 Hi Tech Solutions Ltd Multi-level neural network based characters identification method and system
KR100741368B1 (ko) 2005-03-21 2007-07-20 유니챌(주) 문자자동인식장치 및 방법
US8203763B2 (en) * 2008-02-15 2012-06-19 Kabushiki Kaisha Toshiba Image scanning apparatus and method for aligning a stack of scanned images using the stack orientation indicated by a user and an automatically determined image orientation
JP5142858B2 (ja) * 2008-07-03 2013-02-13 キヤノン株式会社 画像処理装置および画像処理方法
KR101035739B1 (ko) * 2009-02-13 2011-05-20 전남대학교산학협력단 문자 인식의 왜곡을 보정하는 방법
CN102890784B (zh) * 2011-07-20 2016-03-30 富士通株式会社 识别图像块中文字的方向的方法和装置
US9092667B2 (en) 2012-08-27 2015-07-28 Symbol Technologies, Llc Arrangement for and method of reading forms in correct orientation by image capture
US20140258852A1 (en) * 2013-03-11 2014-09-11 Microsoft Corporation Detection and Reconstruction of Right-to-Left Text Direction, Ligatures and Diacritics in a Fixed Format Document
RU2640322C2 (ru) 2014-01-30 2017-12-27 Общество с ограниченной ответственностью "Аби Девелопмент" Способы и системы эффективного автоматического распознавания символов
US9589185B2 (en) 2014-12-10 2017-03-07 Abbyy Development Llc Symbol recognition using decision forests
US9552527B1 (en) 2015-08-27 2017-01-24 Lead Technologies, Inc. Apparatus, method, and computer-readable storage medium for determining a rotation angle of text

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR910007752B1 (ko) * 1988-01-18 1991-09-30 가부시키가이샤 도시바 문자인식시스템
US5060276A (en) * 1989-05-31 1991-10-22 At&T Bell Laboratories Technique for object orientation detection using a feed-forward neural network
US5077811A (en) * 1990-10-10 1991-12-31 Fuji Xerox Co., Ltd. Character and picture image data processing system
US5359677A (en) * 1990-12-11 1994-10-25 Sharp Kabushiki Kaisha Image reader and facsimile machine using such image reader
JP3170299B2 (ja) * 1991-01-31 2001-05-28 株式会社リコー 画像読取処理装置
EP0525513B1 (en) * 1991-07-16 2002-01-16 Yozan Inc. Method for detecting inclination of an image of characters
US5235651A (en) * 1991-08-06 1993-08-10 Caere Corporation Rotation of images for optical character recognition
US5452374A (en) * 1992-04-06 1995-09-19 Ricoh Corporation Skew detection and correction of a document image representation
US5301036A (en) * 1992-04-06 1994-04-05 Xerox Corporation Image orientation control
US5335290A (en) * 1992-04-06 1994-08-02 Ricoh Corporation Segmentation of text, picture and lines of a document image
CA2097095A1 (en) * 1992-07-29 1994-01-30 Frank William Sinden Method of normalizing handwritten symbols
JPH06103410A (ja) * 1992-09-18 1994-04-15 Minolta Camera Co Ltd 画像処理装置
JP3630705B2 (ja) * 1993-08-02 2005-03-23 コニカミノルタビジネステクノロジーズ株式会社 デジタル複写装置
US5625466A (en) * 1994-03-04 1997-04-29 Minolta Co., Ltd. Image forming apparatus providing landscape or portrait image format based on detected size of original
US5517587A (en) * 1994-09-23 1996-05-14 International Business Machines Corporation Positioning method and apparatus for line scanned images

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10289288A (ja) * 1997-04-16 1998-10-27 Canon Inc 画像処理方法及び装置
US6169822B1 (en) 1997-07-15 2001-01-02 Samsung Electronics Co., Ltd. Method for correcting direction of document image
US6804414B1 (en) 1998-05-01 2004-10-12 Fujitsu Limited Image status detecting apparatus and document image correcting apparatus
US6377705B1 (en) 1998-05-29 2002-04-23 Canon Kabushiki Kaisha Image processing apparatus and method and computer-readable memory
US7151860B1 (en) 1999-07-30 2006-12-19 Fujitsu Limited Document image correcting device and a correcting method
US7805003B1 (en) 2003-11-18 2010-09-28 Adobe Systems Incorporated Identifying one or more objects within an image
US8805080B2 (en) 2011-06-29 2014-08-12 Fujitsu Limited Method of and device for identifying direction of characters in image block
KR101272445B1 (ko) * 2011-07-20 2013-06-07 후지쯔 가부시끼가이샤 이미지 블록 내 문자들의 방향을 식별하는 방법 및 장치
US8737743B2 (en) 2011-07-20 2014-05-27 Fujitsu Limited Method of and device for identifying direction of characters in image block

Also Published As

Publication number Publication date
DE69610230T2 (de) 2001-02-22
JP3727971B2 (ja) 2005-12-21
US6148119A (en) 2000-11-14
EP0725359B1 (en) 2000-09-13
DE69610230D1 (de) 2000-10-19
EP0725359A1 (en) 1996-08-07

Similar Documents

Publication Publication Date Title
JP3727971B2 (ja) 文書処理装置、及び文書処理方法
US6137905A (en) System for discriminating document orientation
US5664027A (en) Methods and apparatus for inferring orientation of lines of text
US7321688B2 (en) Image processor for character recognition
US8201084B2 (en) Image processing apparatus and computer readable medium
US5642473A (en) Paper saving reprographic device
JP5262493B2 (ja) 画像処理装置、画像処理方法、プログラムおよびコンピュータ読み取り可能な記憶媒体
JPH1139428A (ja) 文書映像の方向修正方法
JP2835178B2 (ja) 文書読取装置
US6360028B1 (en) Image processing apparatus and method
JP4780184B2 (ja) 画像処理装置及び画像処理プログラム
JP3787377B2 (ja) 文書方向判定方法及び装置及び文字認識方法及び装置
JP4396710B2 (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
JPH11213089A (ja) 画像処理装置及びその方法
JP7342518B2 (ja) 画像処理装置及び画像処理プログラム
JP2001312697A (ja) 画像方向判別方法及び装置
JPH0830725A (ja) 画像処理装置及び方法
JPH04276888A (ja) 文字読取装置
JP3265014B2 (ja) 対訳処理機能付き複写装置
JPH09269970A (ja) 文字認識方法とその装置
JPH11250179A (ja) 文字認識装置および文字認識方法
JP2000067156A (ja) 画像処理装置及び方法
JP3027232B2 (ja) 文字認識装置
JPH08315070A (ja) 文字認識装置および文字認識方法
JPH11161739A (ja) 文字認識装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050314

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050721

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050930

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091007

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091007

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101007

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101007

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111007

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111007

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121007

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131007

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees