JPH06348896A - 文字の切り出し方法及びその装置 - Google Patents

文字の切り出し方法及びその装置

Info

Publication number
JPH06348896A
JPH06348896A JP5140428A JP14042893A JPH06348896A JP H06348896 A JPH06348896 A JP H06348896A JP 5140428 A JP5140428 A JP 5140428A JP 14042893 A JP14042893 A JP 14042893A JP H06348896 A JPH06348896 A JP H06348896A
Authority
JP
Japan
Prior art keywords
character
size
character string
pitch
average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5140428A
Other languages
English (en)
Other versions
JP2933801B2 (ja
Inventor
Yoshinobu Hotsuta
悦伸 堀田
Satoshi Naoi
聡 直井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP5140428A priority Critical patent/JP2933801B2/ja
Priority to KR1019940009440A priority patent/KR960016421B1/ko
Publication of JPH06348896A publication Critical patent/JPH06348896A/ja
Priority to US08/548,414 priority patent/US5581633A/en
Application granted granted Critical
Publication of JP2933801B2 publication Critical patent/JP2933801B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/158Segmentation of character regions using character size, text spacings or pitch estimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Character Input (AREA)

Abstract

(57)【要約】 【目的】オーバハングや分離ストロークがあっても正確
に文字の切り出しを行なう。 【構成】文字列抽出手段16は文字列の連結情報に基い
て文字の部分パターンを抽出する。文字サイズ算出手段
18は抽出された部分パターンに外接する外接矩形の縦
又は横の文字サイズのヒストグラムを算出しその結果に
基づき平均文字サイズの算出とその分散値の算出を行
う。文字ピッチ算出手段21は文字間のピッチのヒスト
グラムを算出しその結果に基づき平均文字ピッチの算出
とその分散値の算出を行う。統合手段22は文字の統合
を行うとともに平均文字サイズの分散値とピッチの分散
値とに応じて文字の統合条件を変える。小部分統合手段
26は平均文字サイズ,ピッチの平均値,分散値の情報
に基づき文字列中の部分パターンの内、小部分パターン
を判別することにより文字の統合を行う。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、文字の切り出しを行う
ための文字の切り出し方法及び文字の切り出し装置に関
する。
【0002】
【従来の技術】近年、手書き用の入力周辺機器として、
手書き文字認識装置の需要が増加している。この手書き
文字認識装置においては、文字列の夫々の文字を切り出
してその文字を認識する。この場合、個々の文字を正確
に認識する為には文字の切り出し処理が重要となる。
【0003】従来では、帳票等の予め文字を書く位置を
指定した文書に対して、指定した範囲内(文字枠)に文
字をきれいに書き、その文字の切り出しを行う場合に、
文字列中の最大矩形もしくは文字列内の矩形の単純平均
を文字を認識するときの文字サイズとして算出する。ま
た、文字間のピッチを算出して、文字の切り出しや文字
の統合を行っている。
【0004】ここで、ピッチの算出としては、以下のよ
うな公知の技術がある。例えば、特開平4−09847
7の技術は、文字パターンについて一次元投影を行い、
得られた白画素と黒画素との間隔によりピッチを算出す
るものである。特開昭60−173685の技術、文書
画像データに一次元のフーリエ変換を施してピッチを推
定するものである。特開昭62−195893の技術は
文字列の高さ情報に基いて文字の切り出し推定範囲を定
め、その推定範囲内で切り出し位置を探索するものであ
る。
【0005】また、文字の統合については、連結する黒
画素の外接矩形を抽出し、この外接矩形を文字サイズや
ピッチを基に統合していく特開平4−017086など
の技術がある。
【0006】このように、従来の文字切り出し方法にあ
っては、等間隔の文字枠に夫々の文字をきれいに書き、
前記切り出し方法を用いていたので、文字をかなりの精
度で認識することができる。
【0007】ところで、文字枠に夫々の文字をきれいに
書くのは書き手にとって煩わしいため、文字枠のない用
紙にフリーピッチで文字を書いていた。このフリーピッ
チで書かれた文字では、文字の大小、文字同士の重な
り、接触、文字同士が接近するオーバハングや一つの数
字が複数パターンに分離する分離ストロークなどが発生
する。
【0008】
【発明が解決しようとする課題】しかしながら、フリー
ピッチで書かれた文字列に対して従来の文字切り出し方
法を用いると、次のような問題があった。まず、文字サ
イズの変動のある文字列に対して、文字列中の最大矩形
を基準サイズとして用いた場合、極端に大きい文字が一
つでもあると、文字を統合した時のサイズとしては適当
でなかった。
【0009】また、濁点等の小部分パターンの多い文字
列に対して、単純に平均文字サイズを算出すると、濁点
等の小サイズ矩形の影響を受けるため、平均文字サイズ
が実際よりも小さく算出されてしまう。
【0010】さらに、オーバーハングのある文字列に対
して、前記一次元投影によりピッチを算出する場合、白
画素と黒画素との境界が出なくなる。このため、文字の
認識率が低下するという問題があった。
【0011】また、文字列の高さ情報を基に文字の切り
出し推定範囲を定める方法では、正方性の高い印刷文字
や手書きの漢字などでは問題ないが、手書きの数字など
文字サイズの変動が大きい文字列では、明確に切り出し
推定範囲が定まらないという問題があった。
【0012】一方、従来、文字列を抽出する際に文書画
像上の文字を黒画素,背景を白画素として、それを横
(縦)方向に投影してヒストグラムを求め、ヒストグラ
ムの山と谷とから文字列を抽出する方法がある。また、
黒画素に拡大及び縮退操作を複数回だけ施し、その結
果、得られたひとまとまりを1文字列とする方法(電子
通信学会論文誌’83/4 Vol.J66ーD No 437ー444)や連結
パターンの外接矩形を求め、その中心座標に対して矩形
の面積を重みとした投影をとり、得られた投影値の周辺
分布をとる方法(電子通信学会論文誌’85/12 Vol.J68ー
D No 12 2123ー2131)などがある。
【0013】ここで、手書き文字列において上下(左
右)の間隔が小さい場合に、図29に示すようにある文
字列の文字の一部が、隣接する文字列の文字間にはいっ
てしまうことが発生しやすい。この場合、ヒストグラム
をとる方法では、投影したヒストグラムから谷の部分を
見つけにくくなり、また、ヒストグラムの形状が文字の
複雑さに依存してしまう。
【0014】また、黒画素の拡大及び縮退操作を行う方
法では、上下の文字列が全てひとまとまりになってしま
う。連結パターンの外接矩形を基に矩形中心座標の重み
付け投影をとる方法では、矩形中心だけに対する重み付
けのために、投影値から文字サイズ情報を読み取れな
い。このため、周辺分布の範囲を特定しにくいという問
題があった。また、数字などのように高さのサイズがほ
ぼ一定でも幅のサイズに変動があるものに対しては、文
字面積を重みとして矩形中心座標にかけるために、周辺
分布から文字列を抽出する処理において、横長の文字の
影響を受けやすいという問題があった。
【0015】本発明の第1の目的は、オーバハングや分
離ストロークがあっても、正確に文字の切り出しを行な
うことのできる文字の切り出し方法及び文字の切り出し
装置を提供する。
【0016】本発明の第2の目的は、文字列間の間隔が
小さく、また文字列間で文字と文字の接触があるような
場合でも容易に文字列を抽出することのできる文字の切
り出し方法及び文字の切り出し装置を提供する。
【0017】
【課題を解決するための手段】本発明は、上記課題を解
決し目的を達成するために下記の構成とした。図1は本
発明にかかる文字の切り出し装置の原理図である。文字
の切り出し装置は、文字列の夫々の文字を認識するため
に文字の切り出しを行うもので、文字列抽出手段16、
文字サイズ算出手段18、文字ピッチ算出手段21、統
合手段22、小部分統合手段26を備える。
【0018】文字列抽出手段16は文字列の連結情報に
基いて文字の部分パターンを抽出する。文字サイズ算出
手段18は抽出された部分パターンに外接する外接矩形
の縦又は横の文字サイズのヒストグラムを算出しその結
果に基づき平均文字サイズの算出とその分散値の算出を
行う。
【0019】文字ピッチ算出手段21は文字間のピッチ
のヒストグラムを算出しとその結果に基づき平均文字ピ
ッチの算出とその分散値の算出を行う。統合手段22は
前記平均文字サイズ,平均文字ピッチ,サイズ分散値,
ピッチ分散値に応じて文字の統合条件を変えながら文字
の統合を行う。
【0020】小部分統合手段26は前記平均文字サイズ
に基づき文字列中の部分パターンの内、小部分パターン
を判別することにより文字の統合を行う。前記文字サイ
ズ算出手段18は、算出手段32,34,38、決定手
段36を備える。算出手段32は文字列中の文字の部分
パターンに外接する矩形の縦又は横方向の長さのヒスト
グラムを算出する。算出手段34は文字列内の全体のヒ
ストグラムに基づき暫定平均文字サイズを算出する。決
定手段36は暫定平均文字サイズに基づき文字サイズ算
出領域を決定する。算出手段38は決定された文字サイ
ズ領域内で平均文字サイズを算出する。
【0021】さらに、前記算出された平均文字サイズを
用いて平均文字サイズと外接矩形の文字サイズとの面積
比又は高さ比を求め、その結果により文字列中の部分パ
ターンから前記小部分パターンからなる小分離ストロー
クを抽出する小分離ストローク抽出部20を備えるよう
にする。
【0022】前記文字ピッチ算出手段21は、文字間の
ピッチを算出する際に、小分離ストローク以外の部分パ
ターンに対して、外接矩形間の距離をピッチとし、その
ピッチのヒストグラムを算出する手段21a、ヒストグ
ラムに基づき暫定平均文字ピッチを算出する手段21
b、その暫定平均文字ピッチに基づき文字ピッチ算出領
域を決定する手段21c、決定された文字ピッチ領域内
で平均文字ピッチを算出する手段21dとを備えた。
【0023】さらに、前記統合手段22は、小分離スト
ロークを含む文字を統合する際に前記平均文字サイズ,
平均文字ピッチ,サイズ分散値,ピッチ分散値からなる
評価関数の値に応じて文字の統合条件を変えるようにす
る。
【0024】前記統合手段22は、ピッチの幅がある閾
値以下であって評価関数値がある範囲内である場合に、
抽出された小分離ストロークとその左右に位置するパタ
ーンとの距離を算出し、それらの距離比に基づき統合を
行う確信度統合部24を備えるようにするとよい。
【0025】前記部分統合手段26は、線密度算出部4
2、傾き算出部44、判別部46を備える。線密度算出
部42は小分離ストロークとその左右に位置する部分パ
ターンとそれらを統合した場合の部分パターンとに対し
て線密度を算出する。
【0026】傾き算出部44は小分離ストロークの傾き
を算出する。判別部46は前記線密度及び傾きに基づき
小分離ストロークを左右に位置するいずれかの部分パタ
ーンに統合すべきかを判別する。
【0027】前記線密度算出部42は、線密度を算出す
る際に部分パターンの外接矩形をn等分し、mライン目
からn−mライン目までにカウントした線密度の最大値
をとるようにするとよい。
【0028】さらに、前記線密度算出において抽出され
た直線分候補に対して、パターンのある一方向に対して
線密度を算出していき、次に他方向に転じて線密度を算
出していき複数の方向の線密度の合計を求める複数方向
線密度算出部52を備えるとよい。
【0029】前記傾き算出部44は、部分パターンを外
接矩形の縦横サイズの内のサイズが長い方向に等間隔に
分割し、部分パターンと夫々の等分線との交点に基づき
傾きを算出するようにする。
【0030】手書き文字認識装置、印刷文字認識装置、
図面認識における文字の切り出し装置などの手書き文字
切り出し装置に適用できる。図2は第2の発明の原理図
である。第2の発明はパターン抽出手段14、重み付け
投影手段64、文字列軸決定手段66、文字列抽出手段
68を備える。
【0031】パターン抽出手段14は文字列の連結情報
に基いて文字の部分パターンを抽出する。重み付け投影
手段64は抽出された部分パターンに外接する外接矩形
の縦又は横方向の線分に対して重み付け投影を行うこと
により投影ヒストグラムを求める。
【0032】文字列軸決定手段66は前記投影ヒストグ
ラムに基づき文字列軸を決定する。文字列抽出手段68
は前記文字列軸に基づき文字列を抽出する。また、前記
重み付け投影手段64は、パターンの外接矩形の縦又は
横方向線分の中心をピークとしその中心からの距離に応
じて重み付け投影を行う。前記文字列軸決定手段66
は、投影ヒストグラムのピーク値から文字列の中心軸を
決定する。前記文字列抽出手段68は、前記中心軸と夫
々の外接矩形の中心との距離とに基づきパターンの属す
る文字列を抽出するようにする。例えば、上下左右の文
字列間で文字が接触しない場合にこれらの手段が用いら
れる。
【0033】さらに、外接矩形に対して文字の高さの平
均を算出する算出手段71、平均文字高さのサイズの所
定倍以上の外接矩形を接触文字塊として除去する除去手
段72を備えるようにするとよい。例えば、上下左右の
文字列間で文字が接触した場合で、入力データ中の文字
サイズがほぼ一様であることが予め分かっている場合に
これらの手段が用いられる。
【0034】複数の文字列軸が横切る外接矩形を接触文
字列塊として除去する除去手段73を備え、前記重み付
け投影手段64は、パターンの外接矩形の縦又は横方向
線分の上端及び下端をピークとしその上端からの距離,
下端からの距離に応じて重み付け投影を行う。前記文字
列軸決定手段66は、投影ヒストグラムの上端のピーク
値と下端のピーク値とから文字列の中心軸を決定する。
前記文字列抽出手段68は、前記接触文字列塊を除く外
接矩形に対して前記中心軸と夫々の外接矩形の中心との
距離とに基づきパターンの属する文字列を抽出するよう
にする。
【0035】前記重み付け投影手段64は、パターンの
外接矩形の上端及び下端に対して重み付け投影を行う。
前記文字列軸決定手段66は、投影ヒストグラムの上端
の候補位置と下端の候補位置とを決定し上端の候補位置
と下端の候補位置とから文字列の中心軸を決定する。前
記文字列抽出手段68は、前記中心軸と夫々の外接矩形
の中心との距離とに基づきパターンの属する文字列を抽
出するようにする。
【0036】さらに、夫々の外接矩形同士が重なる場合
に重なった外接矩形を統合する外接矩形統合部61を備
えるようにする。前記統合の結果に対して平均文字サイ
ズを算出する算出手段74、平均文字サイズの所定倍以
上の外接矩形を接触文字塊として除去する除去手段75
を備えるようにする。例えば、上下左右の文字列間で文
字が接触し、入力データ中の文字サイズがほぼ一様であ
ることが予め分かっている場合にこれらの手段が用いら
れる。
【0037】前記重み付け投影手段64は、外接矩形の
一端部から他端部に向かって減衰する重み付け投影と他
端部から一端部に向かって減衰する重み付け投影とを行
い、投影ヒストグラムの夫々のピークを求める。夫々の
ピーク値から1文字の中心位置と1文字の存在領域を推
定するようにする。例えば、オンライン手書き文字列に
対してこれらの手段は用いられる。
【0038】また、文字列の夫々の文字を認識するため
に文字の切り出しを行う文字の切り出し方法であって、
文字列の連結情報に基いて文字の部分パターンを抽出す
る抽出ステップと、抽出された部分パターンに外接する
外接矩形の縦又は横の文字サイズのヒストグラムを算出
しその結果に基づき平均文字サイズの算出とその分散値
の算出を行う算出ステップと、文字間のピッチのヒスト
グラムを算出しその結果に基づき平均文字ピッチの算出
とその分散値の算出を行う算出ステップと、前記平均文
字サイズ,平均文字ピッチ,サイズ分散値,ピッチ分散
値に応じて文字の統合条件を変えながら文字の統合を行
う統合ステップと、前記平均文字サイズに基づき文字列
中の部分パターンの内、小部分パターンを判別すること
により文字の統合を行う小部分統合ステップとを含む。
【0039】前記算出ステップは、外接矩形間の距離を
ピッチとし、そのピッチのヒストグラムを算出し、ヒス
トグラムに基づき暫定平均文字ピッチを算出する。その
暫定平均文字ピッチに基づき文字ピッチ算出領域を決定
し、決定された文字ピッチ領域内で平均文字ピッチを算
出する。
【0040】さらに、文字列の連結情報に基いて文字の
部分パターンを抽出する抽出ステップと、抽出された部
分パターンに外接する外接矩形の縦又は横方向の線分に
対して重み付け投影を行うことにより投影ヒストグラム
を求める投影ステップと、前記投影ヒストグラムに基づ
き文字列軸を決定する決定ステップと、前記文字列軸に
基づき文字列を抽出する抽出ステップとを含む。
【0041】
【作用】本発明によれば、まず、文字列抽出手段16が
文字列の連結情報に基いて文字の部分パターンを抽出す
る。そして、文字サイズ算出手段18が抽出された部分
パターンに外接する外接矩形の縦又は横の文字サイズの
ヒストグラムを算出しその結果に基づき平均文字サイズ
の算出とその分散値の算出を行う。また、文字ピッチ算
出手段21が文字間のピッチのヒストグラムを算出しそ
の結果に基づき平均文字ピッチの算出とその分散値の算
出を行う。
【0042】次に、統合手段22が、前記平均文字サイ
ズ,平均文字ピッチ,サイズ分散値,ピッチ分散値に応
じて文字の統合条件を変えながら文字の統合を行う。そ
して、小部分統合手段26が前記平均文字サイズに基づ
き文字列中の部分パターンの内、小部分パターンを判別
することにより文字の統合を行う。
【0043】すなわち、不定ピッチ,文字サイズの変動
のある文字列に対して文字の平均サイズ,ピッチを厳密
に算出し、統合の際にそれらの平均値,分散値に応じて
統合条件を適応的に変えているので、文字の精度の高い
切り出しが行える。また、小部分パターンに着目して文
字の統合を行うので、正確でしかも高速な処理が行え
る。
【0044】また、パターン抽出手段14が文字列の連
結情報に基いて文字の部分パターンを抽出し、重み付け
投影手段64が抽出された部分パターンに外接する外接
矩形の縦又は横方向の線分に対して重み付け投影を行う
ことにより投影ヒストグラムを求める。
【0045】そして、文字列軸決定手段66が投影ヒス
トグラムに基づき文字列軸を決定し、文字列抽出手段6
8が前記文字列軸に基づき文字列を抽出するので、文字
列同士が近接し、ある文字の一部が他の文字列に属して
いる場合にも、高精度かつ高速に文字列を抽出できる。
【0046】
【実施例】以下、本発明にかかる文字の切り出し方法及
びその装置を説明する。図3は文字の切り出し方法を適
用した文字の切り出し装置の実施例1の構成ブロック図
である。 <実施例1>実施例1では、例えば、オーバーハングの
ある手書き文字列から文字を切り出すものとし、不定ピ
ッチで文字サイズの変動もある手書き文字から一文字一
文字を切り出すようにする。
【0047】図3において、入力パターン部12は、分
離ストローク、オーバハングを含む文字列パターンを有
する。連結パターン抽出部14は、入力パターン部12
から文字列入力パターンを入力してラベリングを行うこ
とにより連結パターンのみを抽出する。この連結パター
ン抽出部14には文字列抽出部16が接続される。
【0048】この文字列抽出部16は、ラベリングされ
た文字列を抽出する。この文字列抽出部16には平均文
字サイズ算出部18が接続される。平均文字サイズ算出
部18は、抽出された文字列に基づき平均文字サイズを
算出するものであり、ヒストグラム算出部32、暫定平
均文字サイズ算出部34、文字サイズ算出領域決定部3
6、平均文字サイズ算出部38から構成される。
【0049】ヒストグラム算出部32は、夫々の矩形の
縦(横)方向の長さのヒストグラムを算出する。暫定平
均文字サイズ算出部34は、前記ヒストグラムに基づき
縦(横)の平均文字サイズを算出し、このサイズを暫定
平均文字サイズとする。
【0050】文字サイズ算出領域決定部36は、例え
ば、暫定平均文字サイズより右の領域でヒストグラムが
MAX値をとる文字サイズを算出し、その文字サイズの
左右方向にヒストグラムがMAX/2以上をとる領域を
決定する。平均文字サイズ算出部38は、その領域で再
度、平均文字サイズを算出する。
【0051】この平均文字サイズ算出部38には小分離
ストローク抽出部20が接続される。小分離ストローク
抽出部20は、平均文字サイズと面積条件と高さ条件と
を用いて、小分離ストロークを抽出する。この小分離ス
トローク抽出部20には、文字ピッチ算出部21が接続
される。
【0052】この文字ピッチ算出部21は、小分離スト
ロークと判定されなかったものについて、外接矩形間の
距離をピッチとして平均文字ピッチを算出するものであ
り、ヒストグラム算出部21a、暫定平均文字ピッチ算
出部21b、文字ピッチ算出領域決定部21c、平均文
字ピッチ算出部21dから構成される。ヒストグラム算
出部21aは、夫々の矩形間のピッチのヒストグラムを
算出する。暫定平均文字ピッチ算出部21bは、前記ヒ
ストグラムに基づき平均文字ピッチを算出し、そのピッ
チを暫定平均文字ピッチとする。文字ピッチ算出領域決
定部21cは、例えば、暫定平均文字ピッチより右の領
域でヒストグラムがMAX値をとる文字ピッチを算出
し、その文字ピッチの左右方向にヒストグラムがMAX
/2以上をとる領域を決定する。平均文字ピッチ算出部
21dはその領域で再度、平均文字ピッチを算出する。
【0053】平均文字サイズ・ピッチ統合部22は、小
分離ストローク抽出部20と文字ピッチ算出部21とに
接続され、抽出された小分離ストロークと平均文字ピッ
チ,平均文字サイズ,サイズ分散値,ピッチ分散値の情
報とに基づき文字の統合を行う。この平均文字サイズ・
ピッチ統合部22には確信度統合部24が接続される。
【0054】確信度統合部24は、抽出された小分離ス
トロークとその左右に位置する文字パターンとの距離を
算出し、それらの距離比を統合の確信度として定量化
し、確信度が高い場合には統合を行う。この確信度統合
部24には簡易認識処理部26が接続される。
【0055】簡易認識処理部26は、オーバハングのあ
る手書き数字を対象とした処理を行うもので、小分離ス
トローク及びその左右に位置するパターン、さらにそれ
らを統合した場合のパターンに対して、線密度,傾き,
文字サイズを簡単に識別して文字の統合を行っていく。
簡易認識処理部26は、小分離ストローク線密度算出部
42、傾き算出部44、文字サイズ判別部46,50、
右隣接矩形線密度算出部48、複数方向線密度算出部5
2から構成される。
【0056】小分離ストローク線密度算出部42は、小
さく書かれた文字かどうかを判別するために小分離スト
ロークに対して線密度を算出する。この小分離ストロー
ク線密度算出部42には傾き算出部44が接続される。
【0057】傾き算出部44は、小分離ストロークのX
方向の傾き又はY方向の傾きを算出し、算出された傾き
を基にその傾きが5の分離ストロークであるかあるいは
7の分離ストロークであるかを判別する。この傾き算出
部44には文字サイズ判別部46、右隣接矩形線密度算
出部48が接続される。
【0058】文字サイズ判別部46は、確実に5の角度
として算出されたものに対して、左矩形との距離が右矩
形との距離のある閾値倍(例えば1.5倍)よりも小さ
いか否かを判定する。
【0059】右隣接矩形線密度算出部48は、小分離ス
トロークの右のストロークの線密度を算出し、右ストロ
ークが7の右の部分かどうかを判別する。この右隣接矩
形線密度算出部48には文字サイズ判別部50と複数方
向線密度算出部52とが接続される。
【0060】文字サイズ判別部50は、右隣接矩形線密
度算出部48からの右ストロークの線密度が縦方向の左
ストロークとの距離が平均横サイズのある閾値倍(例え
ば1.8倍)より小さく、分離ストロークの傾きが所定
の範囲か否かを判定し、条件を満たす場合には5として
統合する。
【0061】複数方向線密度算出部52は、右ストロー
クの線密度の縦方向が1で、横方向も1である場合、複
数方向線密度を算出する。 <実施例1の処理>次に、実施例1の文字の切り出し装
置によって実現される文字の切り出し方法について説明
する。図4は実施例1の文字の切り出し方法の処理フロ
ー、図5は平均文字サイズ算出処理フロー、図30は平
均文字ピッチ算出処理フロー、図6は簡易認識による小
分離ストローク統合処理を示す図である。
【0062】まず、入力パターン部12から出力される
パターンは、極端な傾きや回転の補正を行って雑音が除
去され、かすれの穴埋め等の前処理した後の2値画像で
ある。また、文字列パターンには文字同士のオーバハン
グや分離ストロークを含み、文字同士の重なりや接触あ
るいは続け字は含まないとする。
【0063】そして、入力パターン部12から連結パタ
ーン抽出部14に文字列パターンが入力される(ステッ
プ101)。次に、個々のストロークを区別するために
連結パターン抽出部14では、例えば、例えば図7に示
すように、8連結でつながっているパターンに対してラ
ベリング番号を付けることによりラベリングを行う(ス
テップ102)。
【0064】また、このとき、ラベリングで得られた部
分パターンのサイズが後で問題となるので、連結パター
ン抽出部14では、ラベリングと同時に、図8に示すよ
うに、部分パターンの外接矩形座標値(左上と右下の黒
ドット部分)も算出する。
【0065】そして、文字列抽出部16が、ラベリング
された文字列を抽出する(ステップ103)。ラベリン
グで得られた部分パターンは、文字の接触等がない場
合、それ自体で一文字になっているものや、一文字を構
成する部分パターンのどちらかである。これらを判別
し、部分パターンだけを抜き出すために文字の平均サイ
ズに着目する。
【0066】次に、平均文字サイズ算出手段18が、文
字列抽出部16からの文字列の夫々の文字の外接矩形に
基づき平均文字サイズを算出する(ステップ104)。
この平均文字サイズの算出処理フローを図5に示す。図
5に示すように、まず、ヒストグラム算出部32が、夫
々の矩形の縦(横)方向の長さのヒストグラムを算出す
る(ステップ151)。
【0067】そして、暫定平均文字サイズ算出部34
が、そのヒストグラムに基づき縦(横)の平均文字サイ
ズを算出し、このサイズを暫定平均文字サイズとする
(ステップ152)。このとき、文字がカナ文字である
場合には、図9(a)に示すように、ヒストグラムは濁
点やハ,リ,クなどから生する小分離ストロークによっ
て双峰性になる。また、数字である場合には5や7など
から生ずる小分離ストローク,あるいは英字である場合
にはAやEなどから生ずる小分離ストロークによってヒ
ストグラムは、双峰性になる。
【0068】このため、算出された暫定平均文字サイズ
は平均文字サイズよりも小さく算出される。そこで、文
字サイズ算出領域決定部36が、暫定平均文字サイズよ
り右の領域でヒストグラムがMAX値をとる文字サイズ
を算出し、その文字サイズの左右方向にヒストグラムが
MAX/2以上をとる領域を決定する(ステップ15
3)。
【0069】なお、図9(b)に示すように、ヒストグ
ラムの山に偏りがある場合には、暫定文字サイズにおけ
るヒストグラムをMAX値とし、ヒストグラムがMAX
/2以上をとる領域を決定する。
【0070】そして、平均文字サイズ算出部38が、そ
の領域で再度、平均文字サイズを算出する(ステップ1
54)。この方法により、濁点等の小分離ストロークの
影響を受けずに、また、図9に示すようにヒストグラム
の分布に依存せずに、平均的な文字サイズの算出を行な
うことができる。
【0071】次に、小分離ストローク抽出部20が、既
にストローク毎に抽出された外接矩形を用いて、その外
接矩形の面積が平均文字サイズの面積の1/2以下か否
か、また、外接矩形の高さが平均文字サイズの高さの4
/5以下か否かを判定する(ステップ105)。
【0072】そして、小分離ストローク抽出部20は、
面積比及び高さ比の条件を満たす場合にはその外接矩形
の部分パターンを小分離ストロークとして抽出する(ス
テップ106)。
【0073】ここで、横サイズ(幅)について考慮しな
いのは、5の小分離ストロークのように小分離ストロー
クではあっても、サイズ的に平均サイズと変わらないも
のが存在するからである。
【0074】次に、文字ピッチ算出部21では、ステッ
プ105の処理において小分離ストロークと判定されな
かったもの(その自体で一文字とみなされたもの)につ
いて、図10に示すように夫々の外接矩形間の距離pを
ピッチとし、ピッチのヒストグラムを算出し、その結果
に基づき平均文字ピッチの算出とその分散値の算出を行
う(ステップ107)。
【0075】この平均文字ピッチの算出を図30に基づ
き説明する。まず、ヒストグラム算出部21aは、夫々
の矩形間のピッチのヒストグラムを算出する(ステップ
161)。暫定平均文字ピッチ算出部21bは、前記ヒ
ストグラムに基づき平均文字ピッチを算出し、そのピッ
チを暫定平均文字ピッチとする(ステップ162)。文
字ピッチ算出領域決定部21cは、例えば、暫定平均文
字ピッチより右の領域でヒストグラムがMAX値をとる
文字ピッチを算出し、その文字ピッチの左右方向にヒス
トグラムがMAX/2以上をとる領域を決定する(ステ
ップ163)。平均文字ピッチ算出部21dはその領域
で再度、平均文字ピッチを算出する(ステップ16
4)。
【0076】次に、平均文字サイズ・ピッチ統合部22
は評価関数F に関してFが零以上であるか否かを判定し(ステップ1
08)、Fが零以上のとき、サイズ・ピッチ平均,サイ
ズ・ピッチ分散を用いた統合を行う(ステップ10
9)。
【0077】ここで、MPはピッチ平均であり、MWは
サイズ平均である。VPはピッチ分散であり、αは1.
6であり、βは0.5である。これらのパラメータの値
は一例である。
【0078】すなわち、文字間の空白の度合(ピッチ平
均/サイズ平均)とのピッチ分散値の値に応じた統合判
定を行う。ここで、文字の統合幅wは、図11(a)に
示すような統合すべき部分パターンと統合されるべき部
分パターンとの幅である。
【0079】次に、ステップ108において、Fが零よ
りも小さい場合で、例えば、ピッチ平均をサイズ平均で
割った値が1よりも大きい場合に、確信度統合部24
が、抽出された小分離ストロークとその左右に位置する
パターンとの距離を算出し、それらの距離比を統合の確
信度として定量化し、確信度が高い場合には統合を行
う。確信度統合部24は、例えば、図11(b)及び図
11(c)に示すような距離a,b,c,dを用いて、
bがaの2.6倍よりも大きく、cがdの2.6倍より
も大きい場合には(ステップ110)、確信度による部
分パターンの統合を行う(ステップ111)。
【0080】次に、ステップ110において、bがaの
2.6倍よりも小さく、cがdの2.6倍よりも小さい
場合には、小分離ストロークの横/縦比が2.6より大
きい場合には、簡易認識処理部26が数字に限定して小
分離ストローク統合を行う(ステップ112)。簡易認
識処理部26は、小分離ストロークに対して、パターン
マッチング的手法を用いずにそれが一文字かあるいは文
字の部分パターンかを判別する。これによれば、複雑な
処理を行う必要がないので、高速に処理を行なえる。
【0081】まず、小分離ストローク線密度算出部42
は、小分離ストロークの横/縦比が2.6より小さい場
合には(ステップ121)、小分離ストロークを5とし
て統合する(ステップ122)。そして、小分離ストロ
ークの横/縦比が2.6より大きい場合には、小分離ス
トロークの横/縦比が1/3より小さいか否かを判定す
る(ステップ123)。小分離ストロークの横/縦比が
1/3より小さい場合には、7のルーチンに進む。小分
離ストロークの横/縦比が1/3より大きい場合には、
線密度の算出を行う。
【0082】数字の場合、小分離ストロークとして抽出
されるものは、小さく書かれた文字か5あるいは7の小
分離ストロークに限定される。このため、まず、小分離
ストローク線密度算出部42が、小さく書かれた1文字
と5か7の分離ストロークとを判別するために小分離ス
トロークに対して線密度を算出する。
【0083】線密度の算出方法としては、図12に示す
ように、小分離ストローク線密度算出部42が、外接矩
形が横長か縦長かを調べ、横長である場合には外接矩形
を縦に4等分し、まん中以外の2ラインで線密度を算出
する(図12(a)。縦長である場合には、外接矩形を
横に4等分して同様の処理を行う(図12(b))。な
お、線密度算出方法として、このほかに外接矩形をn等
分し、nライン目からn−mライン目までにカウントし
た線密度の最大値を線密度にとるようにしてもよい。
【0084】ここで、図13に示すような横長のストロ
ークに対して横方向に線密度を算出した場合、誤った線
密度が算出されてしまうため、線密度の算出方法を外接
矩形の形に応じて変える。
【0085】これによれば、パターンの凹凸の影響を受
けずに正確な線密度を算出できる。そして、小分離スト
ローク線密度算出部42は、線密度の縦方向が2以下
で、横方向が1以下であるか否かを判定する(ステップ
124)。この判定条件を満たさない場合には、小分離
ストロークではないとしてREJECTする(ステップ
125)。
【0086】一方、条件を満たす場合には、小分離スト
ローク線密度算出部42は、小分離ストロークの縦/横
比が1以上か否かを判定する(ステップ126)。この
条件を満たす場合には、傾き算出部44が、小分離スト
ロークのX方向の傾きを算出する(ステップ127)。
前記条件を満たさない場合には、傾き算出部44が、小
分離ストロークのY方向の傾きを算出する(ステップ1
28)。
【0087】傾きの算出方法については、図14(a)
(b)(c)に示すように、外接矩形を4等分して、1
本目と3本目の線とストロークとの2交点間での傾きを
算出する。実際には、交点が点ではなく、ある幅をもつ
ので、その中点を選ぶ。
【0088】線密度の算出方法と同様に、傾きについて
も外接矩形が横長か縦長かによって算出方法を区別す
る。横長矩形に対して、横方向に傾きを算出した場合に
誤りを生ずる可能性があるからである。
【0089】このように、外接矩形が縦長か横長かによ
って、傾きの算出方向を変えることにより、適切な傾き
が算出できる。次に、傾き算出部44は、算出された傾
きを基にその傾きが5の分離ストロークの角度範囲(−
40°〜28°)であるか、7の分離ストロークの角度
範囲であるかを判別する(ステップ129)。手書きで
5及び7を書いたときの分離ストロークの角度について
は、図15(a)(b)に示すように、両者はほぼ排反
の関係にあるからである。
【0090】ここで、5の小分離ストロークの角度分布
よりも7の小分離ストロークの角度分布のほうが広い。
そこで、文字サイズ判別部46が、5と7との識別にあ
たって、確実に5の角度として算出されたものに対し
て、左矩形との距離が右矩形との距離の1.5倍よりも
小さいか否かを判定し(ステップ130)、この条件を
満たす場合には、5として統合する(ステップ13
1)。なお、この条件を満たさない場合には、ステップ
132の7のルーチンに進む。
【0091】一方、ステップ129において、文字サイ
ズでREJECTされたもの及び7の角度として算出さ
れたものは、以下の処理を行う。まず、右隣接矩形線密
度算出部48が、小分離ストロークの右のストロークの
線密度を算出し、右ストロークが7の右の部分かどうか
を判別する。ここでの線密度の算出方法は、図16に示
すように、7の右の部分と2や9を区別するために、縦
と横の両方向の線密度を調べる。
【0092】そして、右ストロークの線密度の縦方向が
2以下で横方向が1以下か否かを判定する(ステップ1
32)。線密度の算出の結果、条件を満たさない場合に
は、文字サイズ判別部50が、左ストロークとの距離が
平均横サイズの1.8倍より小さく、分離ストロークの
傾きが−80°〜51.6°か否かを判定する(ステッ
プ133)。この条件を満たす場合には、5として統合
し(ステップ131)、条件を満たさない場合には、R
EJECTする(ステップ134)。
【0093】一方、線密度の算出の結果、縦方向が2で
あって、横方向が1となる場合には(ステップ132,
135)、7の可能性があるとして、小分離ストローク
と統合したときの文字サイズを調べる。その文字サトズ
が平均文字サイズのある閾値倍以下である場合、7とし
て統合する(ステップ136)。
【0094】一方、この方法で線密度を算出した場合、
ステップ135において、線密度の縦方向が1で、横方
向が1と算出されたものは、7の右パターンであるかど
うかを確認するために、複数方向線密度算出部52が、
以下の方法で線密度を再度算出する。
【0095】具体的には、図17(a)(b)に示す縦
線密度1,横線密度1に対して、図17(c)に示すよ
うに、外接矩形の横幅中心から縦方向に線密度を見てい
き、線密度がカウントされた時点で、横方向に線密度を
見ていき、直角線密度が2か否かを判定する(ステップ
137)。直角線密度が2となったものは、7として統
合する(ステップ136)。なお、図17(d)に示す
縦線密度1,横線密度1に対して複数方向線密度は1と
なる。
【0096】このような直角方向に線密度を見ていくこ
とにより、従来、一方向だけの探索では判別できなかっ
たパターンの判別が行える。さらに、図17(f)に示
す文字”ク”、図17(g)に示す”L”に対しては、
直角線密度2となる。図17(h)に示す”4”の場合
に複数方向は直角方向でなくともよい。
【0097】また、ステップ136において、直角線密
度が2以外の線密度である場合や、文字サイズでREJ
ECTされたものについては、5の小分離ストロークの
可能性もあるので、5のルーチンに戻り、5として統合
したときの文字サイズを調べる。そして、条件を満たす
場合には文字を統合し、条件を満たさない場合にはRE
JECTする。図18に文字の切り出し結果の一例を示
す。
【0098】このように実施例によれば、不定ピッチ,
文字サイズの変動のある文字列に対して文字の平均サイ
ズ,ピッチを厳密に算出し、統合の際にそれらの平均値
と分散値に応じて統合条件を適応的に変えているので、
文字の精度の高い切り出しが行える。特に、手書き数字
文字列に対しては、パターンマッチング的手法を用いず
に小分離ストロークに注目した簡易認識処理部26を用
いているので、正確で高速な処理が行える。すなわち、
文字列中の全てのパターンに一様な処理を施すのではな
く、小分離ストロークに注目した処理を施すことによ
り、切り出し処理全体での処理の高速化を図れる。
【0099】また、文字列中の全ての外接矩形の幅のヒ
ストグラムを算出し、まず暫定的に平均文字サイズを算
出し、その値に基づき正確に文字サイズを算出するの
で、文字列中の文字サイズの変動が激しい場合やオーバ
ハングのある文字列の場合でもより正確に平均文字サイ
ズが算出できる。その結果、文字の統合を的確に行うこ
とができる。
【0100】さらに、文字列中の文字サイズ,ピッチの
平均値,分散値に応じて、小分離ストローク統合の際の
条件を適応的に変えることにより文字サイズ,ピッチの
変動に依存せずに、より正確な統合が行える。
【0101】また、カナ文字中の濁点や数字の分離スト
ローク等が存在するとき、それらのパターンも含めて文
字間のピッチを算出すると、実際のピッチ間隔より小さ
いピッチが算出される。それらの小分離ストロークを予
め除外して考えることにより、より正確なピッチの算出
が可能となる。
【0102】文字列中の文字の並び方の規則性により分
離ストロークを統合する際の閾値を適応的に変えるた
め、より正確な文字の統合が行える。さらに、文字列中
の文字の並び方に規則性がないが、分離ストロークとそ
の左右に位置するパターンとの距離比を確信度として定
量化し、その値に応じて統合を行うため、正確な統合を
行える。 <実施例2>以下、図面を参照して実施例2を説明す
る。図19は実施例2の構成ブロック図である。実施例
2は文字列の抽出装置である。文字列の抽出装置は、入
力パターン部12、連結パターン抽出部14、外接矩形
統合部62、重み付け投影部64、文字列軸決定部6
6、文字列抽出部68を備えている。
【0103】入力パターン部12は、複数の文字列パタ
ーンを有する。連結パターン抽出部14は、入力パター
ン部12から複数の文字列入力パターンを入力してラベ
リングを行うことにより連結パターンのみを抽出し、夫
々のパターン外接矩形を求める。この連結パターン抽出
部14には文字形状判定部61が接続される。
【0104】文字形状判定部61は、文字パターンの形
状が複雑かどうかを判定する。文字形状判定部61には
外接矩形統合部62、重み付け投影部64が接続され
る。外接矩形統合部62は、外接矩形同士で重なりのあ
るものを統合する。この外接矩形統合部62の出力は重
み付け投影部64に接続される。
【0105】重み付け投影部64は、その外接矩形に対
して、高さの中心に重み付けした投影を行うことにより
投影ヒストグラムを算出する。この重み付け投影部64
には文字列軸決定部66が接続される。
【0106】文字列軸決定部66は、投影ヒストグラム
を基にそのピーク値を探索して夫々のピーク値を結ぶ軸
を文字列軸に決定する。この文字列軸決定部66には文
字列抽出部68が接続される。
【0107】文字列抽出部68は、文字列軸決定部66
で決定された文字列軸に基づき文字列を抽出する。さら
に、前記統合の結果に対して平均文字サイズを算出する
文字サイズ算出部74、平均文字サイズの所定倍以上の
外接矩形を接触文字塊として除去する接触文字除去部7
5を備える。例えば、上下左右の文字列間で文字が接触
し、入力データ中の文字サイズがほぼ一様であることが
予め分かっている場合にこれらが用いられる。 <実施例2の処理>以下、図面を参照して実施例2を説
明する。図20は実施例2の処理フロー図である。ま
ず、連結パターン抽出部14が、入力パターン部12か
ら文字列パターンを入力する(ステップ201)。
【0108】そして、個々のパターンを区別するために
連結パターン抽出部14が、8連結でつながっているパ
ターンをラベリングにより抽出し、同時に図21に示す
ようにその外接矩形を求める(ステップ202)。
【0109】次に、文字形状判定部61が、文字形状が
複雑かどうかを判定する(ステップ203)。ここで、
文字形状が簡単な場合には、次に、重み付け投影部64
は、その外接矩形に対して、図22に示すように高さの
中心に重み付けした投影を行うことにより投影ヒストグ
ラムを算出する(ステップ204)。重み付けの値は、
高さの中心にピークをもち、周辺に行くに従って減衰す
るものとする。このとき、高さ線分全体に値をもつとす
ると、投影したヒストグラムに谷が生じない場合があ
る。このため、値をもつのは高さ線分全体のn%(n;
実数)だけとする。図22(a)では、処理の高速化を
考え、3角形状としている。
【0110】投影の結果として得られる投影ヒストグラ
ムは、比較的明瞭なピーク値をもつようになる。文字列
軸決定部66は、投影ヒストグラムを基にそのピーク値
を探索して夫々のピーク値を結ぶ軸を文字列軸に決定す
る(ステップ205)。この決定された文字列軸X1
2を図23に示す。
【0111】そして、文字列抽出部68は、各々の外接
矩形と文字列軸との距離を算出し、距離が最小となった
文字列軸にその外接矩形が属するものとし、文字列を抽
出する(ステップ206)。
【0112】一方、ステップ203において、文字パタ
ーンの形状が複雑ななものに対しては、前記重み付け投
影にあっては、明瞭なピークが生じない場合がある。そ
こで、前記投影の前処理として、外接矩形統合部62
が、外接矩形同士で重なりのあるものを統合し(ステッ
プ207)、この統合処理を行った後に、上下(左右)
の文字列間で文字同士の接触があるか否かを判定する
(ステップ208)。文字同士の接触がない場合には、
ステップ205の処理に進む。
【0113】一方、上下(左右)の文字列間で文字同士
の接触があり、かつ、入力データ中の文字サイズがほぼ
一様であることが予めわかっている場合には、文字サイ
ズ算出部74が、統合の結果を用いて平均文字サイズを
算出する(ステップ209)。そして、接触文字除去部
75が、そのサイズ情報を基にサイズの大きい外接矩形
である接触文字塊を除去し(ステップ210)、その後
に前記重み付け投影処理を施す。
【0114】前記統合処理により、より明瞭な投影ヒス
トグラムが得られる。また、重み付け投影により高速に
且つ精度よく文字列を抽出できる。さらに、文字形状が
複雑で文字接触がある場合でも接触文字塊が除去される
ため、正確に文字列を抽出できる。
【0115】また、例えば、上下左右の文字列間で文字
が接触し、入力データ中の文字サイズがほぼ一様である
ことが予め分かっている場合には、外接矩形に対して文
字の高さの平均を算出する文字高さ算出部71(図示せ
ず)を設ける。さらに、平均文字高さのサイズの所定倍
以上の外接矩形を接触文字塊として除去する接触文字除
去部72(図示せず)を備えるようにしてもよい。そし
て、接触文字塊を除く外接矩形に対して前記ステップ2
04以後の処理を施すようにしてもい。
【0116】これにより、上下に文字同士の接触がある
ときでも正確に文字列を抽出することができる。 <実施例3>次に、実施例3について説明する。図24
は実施例3の構成ブロック図である。重み付け投影部6
4aは、パターンの外接矩形の縦又は横方向線分の上端
及び下端をピークとしその上端からの距離,下端からの
距離に応じて重み付け投影を行う。文字列軸決定部66
aは、投影ヒストグラムの上端のピーク値と下端のピー
ク値とから文字列の中心軸を決定する。文字列抽出部6
8aは、接触文字列塊を除く外接矩形に対して前記中心
軸と夫々の外接矩形の中心との距離とに基づきパターン
の属する文字列を抽出するようになっている。
【0117】さらに、複数の文字列軸が横切る外接矩形
を接触文字列塊として除去する文字接触除去部73を備
える。 <実施例3の処理>図25は実施例3の処理フロー図で
ある。次に、実施例3の処理を説明する。重み付け投影
部64aが、図22(b)に示すように、パターンの外
接矩形の縦又は横方向線分の上端及び下端をピークとし
その上端からの距離,下端からの距離に応じて重み付け
投影を行う(ステップ301)。この方法では、上
(下)端から外接矩形の高さ中心に向かって値が減少す
るように重み付けをした投影を行う。これにより、図2
2(b)に示す上端の投影と下端の投影が得られる。
【0118】そして、文字列軸決定部66aが、投影ヒ
ストグラムの上端のピーク値と下端のピーク値とを求め
て、そのピーク値の中心を文字列の中心軸に決定する
(ステップ302)。
【0119】次に、接触文字除去部73が、夫々の外接
矩形矩形のうち、複数の文字列軸が横切る外接矩形を上
下に文字が接触したものとして除外する(ステップ30
3)。ここでは、図22(b)中の外接矩形K1,K2
ある。そして、文字列抽出部68aが、各残りの外接矩
形に対して、夫々の外接矩形と文字列軸との距離を算出
し、距離が最小となった文字列軸にその外接矩形が属す
るものとし、文字列を抽出する(ステップ304)。
【0120】図26に実施例2の方法と従来方法とによ
る黒画素の投影結果を示す。図27に実施例2の方法と
従来方法とによる外接矩形中心の重み付け投影結果を示
す。図26及び図27において、文字列右端のヒストグ
ラムは実施例2の処理結果であり、左端のヒストグラム
は従来手法の処理結果を示す。
【0121】図28に上下の文字列間で文字接触がある
場合の文字列抽出結果を示す。左端のヒストグラムが上
端投影の結果を示し、右端のヒストグラムが下端投影の
結果を示している。そして、夫々の投影のヒストグラム
のピークを示す。文字列軸はこのピークの中心となる。
【0122】このように実施例2及び実施例3によれ
ば、文字列同士が近接し、ある文字の一部が他の文字列
に属している場合にも、パターン外接矩形の縦(幅)方
向線分に対して、その高さ位置に応じた重み付け投影を
行うことにより、高い精度かつ高速に文字列を抽出する
ことができる。
【0123】なお、実施例2の構成と実施例3との構成
を組み合せて用いるようにしてもよい。さらに、オンラ
イン手書き文字列に対して、重み付け投影部が、外接矩
形の右端から左端に向かって減衰する重み付け投影と左
端から右端に向かって減衰する重み付け投影とを行い、
投影ヒストグラムの夫々のピークを求める。夫々のピー
ク値から1文字の中心位置と1文字の存在領域を推定す
るようにしてもよい。
【0124】例えば、オンライン手書き文字で”マ”と
書く場合にまず、図31(a)に示す1ストローク目
で”マ”の上部についての右端の投影と左端の投影を行
う。次に、図31(b)に示す2ストローク目で”マ”
の下部についての右端の投影と左端の投影を行う。そし
て、図31(c)に示すように夫々の端について投影を
合成すると、1文字の存在領域が求められる。
【0125】また、オーバハングのある文字列の場合に
は図32(b)に示すように63の2文字の夫々につい
て右端の投影と左端の投影を行うことにより、1文字の
存在領域を求める。
【0126】これによれば、投影ヒストグラムに明瞭な
谷間が生成されるため、個々の文字の右端左端及び中心
位置を容易に且つ正確に決定できる。
【0127】
【発明の効果】本発明によれば、不定ピッチ,文字サイ
ズの変動のある文字列に対して文字の平均サイズ,ピッ
チを厳密に算出し、統合の際にそれらの値及びその分散
に応じて統合条件を適応的に変えているので、文字の精
度の高い切り出しが行える。
【0128】また、文字列同士が近接し、ある文字の一
部が他の文字列に属している場合にも、パターン外接矩
形の縦(幅)方向線分に対して、その高さ位置に応じた
重み付け投影を行うことにより、高精度かつ高速に文字
列を抽出することができる。
【図面の簡単な説明】
【図1】第1の発明に係る文字の切り出し装置の原理図
である。
【図2】第2の発明に係る文字列の抽出装置の原理図で
ある。
【図3】実施例1の構成ブロック図である。
【図4】実施例1の処理フローである。
【図5】平均文字サイズ算出処理フローである。
【図6】簡易認識による小分離ストローク統合処理を示
すフロー
【図7】ラベリングを示す図である。
【図8】部分パターンの外接矩形座標値の算出を示す図
である。
【図9】平均文字サイズ算出方法を示す図である。
【図10】ピッチの算出方法を示す図である。
【図11】統合を示す図である。
【図12】線密度算出法を示す図である。
【図13】横長のストロークに対して横方向線密度算出
した場合の失敗例を示す図である。
【図14】傾き算出法を示す図である。
【図15】5及び7の分離ストロークの角度を示す図で
ある。
【図16】線密度算出法を説明する図である。
【図17】複数方向線密度算出法を説明する図である。
【図18】文字の切り出し結果の一例を示す図である。
【図19】実施例2の構成ブロック図である。
【図20】実施例2の処理フロー図である。
【図21】夫々の文字の外接矩形を示す図である。
【図22】重み付け投影を示す図である。
【図23】文字列軸を示す図である。
【図24】実施例3の構成ブロック図である。
【図25】実施例3の処理フロー図である。
【図26】実施例2の方法と従来方法とによる黒画素の
投影結果を示す図である。
【図27】実施例2の方法と従来方法とによる外接矩形
中心の重み付け投影結果を示す図である。
【図28】上下の文字列間で文字接触がある場合の文字
列抽出結果を示す図である。
【図29】文字列間のオーバハング例を示す図である。
【図30】平均文字ピッチ算出処理フローである。
【図31】オンライン手書き文字でマと書く場合の一文
字存在領域の例を示す図である。
【図32】オーバハングのある文字列の場合の一文字存
在領域の例を示す図である。
【符号の説明】
12・・入力パターン部 14・・連結パターン抽出部 16・・文字列抽出部 18・・平均文字サイズ算出手段 20・・小分離ストローク抽出部 21・・文字ピッチ算出部 22・・平均文字サイズ・ピッチ統合部 24・・確信度統合部 26・・簡易認識処理部 32・・ヒストグラム算出部 34 ・暫定平均文字サイズ算出部 36・・文字サイズ算出領域決定部 38・・平均文字サイズ算出部 42・・小分離ストローク線密度算出部 44・・傾き算出部 46,50・・文字サイズ判別部 48・・右隣接矩形線密度算出部 52・・直角線密度算出部 61・・文字形状判定部 62・・外接矩形統合部 64・・重み付け投影部 66・・文字列軸決定部 68・・文字列抽出部 71・・文字高算出部 72,73,75・・接触文字除去部 74・・文字サイズ算出部

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 文字列の夫々の文字を認識するために文
    字の切り出しを行う文字の切り出し装置であって、 文字列の連結情報に基いて文字の部分パターンを抽出す
    る文字列抽出手段(16)と、 抽出された部分パターンに外接する外接矩形の縦又は横
    の文字サイズのヒストグラムを算出しその結果に基づき
    平均文字サイズの算出とその分散値の算出を行う文字サ
    イズ算出手段(18)と、 文字間のピッチのヒストグラムを算出しその結果に基づ
    き平均文字ピッチの算出とその分散値の算出を行う文字
    ピッチ算出手段(21)と、 前記平均文字サイズ,平均文字ピッチ,サイズ分散値,
    ピッチ分散値との情報に応じて文字の統合条件を変えな
    がら文字の統合を行う統合手段(22)と、 前記平均文字サイズに基づき文字列中の部分パターンの
    内、小部分パターンを判別することにより文字の統合を
    行う小部分統合手段(26)とを備えた文字の切り出し
    装置。
  2. 【請求項2】 請求項1において、前記文字サイズ算出
    手段(18)は、文字列中の文字の部分パターンに外接
    する矩形の縦又は横方向の長さのヒストグラムを算出す
    る手段(32)と、文字列内の全体のヒストグラムに基
    づき暫定平均文字サイズを算出する手段(34)と、こ
    の暫定平均文字サイズに基づき文字サイズ算出領域を決
    定する手段(36)と、決定された文字サイズ領域内で
    平均文字サイズを算出する手段(38)とを備えた文字
    の切り出し装置。
  3. 【請求項3】 請求項2において、さらに、前記算出さ
    れた平均文字サイズを用いて平均文字サイズと外接矩形
    の文字サイズとの面積比又は高さ比を求め、その結果に
    より文字列中の部分パターンから前記小部分パターンか
    らなる小分離ストロークを抽出する小分離ストローク抽
    出部(20)を備えた文字の切り出し装置。
  4. 【請求項4】 請求項3において、前記文字ピッチ算出
    手段(21)は、文字間のピッチを算出する際に、小分
    離ストローク以外の部分パターンに対して、外接矩形間
    の距離をピッチとし、そのピッチのヒストグラムを算出
    する手段(21a)と、ヒストグラムに基づき暫定平均
    文字ピッチを算出する手段(21b)と、その暫定平均
    文字ピッチに基づき文字ピッチ算出領域を決定する手段
    (21c)と、決定された文字ピッチ領域内で平均文字
    ピッチを算出する手段(21d)とを備えた文字の切り
    出し装置。
  5. 【請求項5】 請求項1において、前記統合手段(2
    2)は、小分離ストロークを含む文字を統合する際に前
    記平均文字サイズ,平均文字ピッチ,サイズ分散値,ピ
    ッチ分散値からなる評価関数の値に応じて文字の統合条
    件を変える文字の切り出し装置。
  6. 【請求項6】 請求項5において、前記統合手段(2
    2)は、ピッチの幅がある閾値以下であって評価関数値
    がある範囲内である場合に、抽出された小分離ストロー
    クとその左右に位置するパターンとの距離を算出し、そ
    れらの距離比に基づき統合を行う確信度統合部(24)
    を備える文字の切り出し装置。
  7. 【請求項7】 請求項1において、前記部分統合手段
    (26)は、小分離ストロークとその左右に位置する部
    分パターンとそれらを統合した場合の部分パターンとに
    対して線密度を算出する線密度算出部(42)と、 小分離ストロークの傾きを算出する傾き算出部(44)
    と、 前記線密度及び傾きに基づき小分離ストロークを左右に
    位置するいずれかの部分パターンに統合すべきかを判別
    する判別部(46)とを備えた文字の切り出し装置。
  8. 【請求項8】 請求項7において、前記線密度算出部
    (42)は、線密度を算出する際に部分パターンの外接
    矩形をn等分し、mライン目からn−mライン目までに
    カウントした線密度の最大値をとる文字の切り出し装
    置。
  9. 【請求項9】 請求項7において、パターンのある一方
    向に対して線密度を算出していき、次に他方向に転じて
    線密度を算出していき複数の方向の線密度の合計を求め
    る複数方向線密度算出部(52)を備えた文字の切り出
    し装置。
  10. 【請求項10】 請求項7において、前記傾き算出部
    (44)は、部分パターンを外接矩形の縦横サイズの内
    のサイズが長い方向に等間隔に分割し、部分パターンと
    夫々の等分線との交点に基づき傾きを算出する文字の切
    り出し装置。
  11. 【請求項11】 文字列の連結情報に基いて文字の部分
    パターンを抽出するパターン抽出手段(14)と、 抽出された部分パターンに外接する外接矩形の縦又は横
    方向の線分に対して重み付け投影を行うことにより投影
    ヒストグラムを求める重み付け投影手段(64)と、 前記投影ヒストグラムに基づき文字列軸を決定する文字
    列軸決定手段(66)と、 前記文字列軸に基づき文字列を抽出する文字列抽出手段
    (68)とを備えた文字の切り出し装置。
  12. 【請求項12】 請求項11において、前記重み付け投
    影手段(64)は、パターンの外接矩形の縦又は横方向
    線分の中心をピークとしその中心からの距離に応じて重
    み付け投影を行い、前記文字列軸決定手段(66)は、
    投影ヒストグラムのピーク値から文字列の中心軸を決定
    し、前記文字列抽出手段(68)は、前記中心軸と夫々
    の外接矩形の中心との距離とに基づきパターンの属する
    文字列を抽出する文字の切り出し装置。
  13. 【請求項13】 請求項11において、外接矩形に対し
    て文字の高さの平均を算出する算出手段(71)と、平
    均文字高さのサイズの所定倍以上の外接矩形を接触文字
    塊として除去する除去手段(72)とを備えた文字の切
    り出し装置。
  14. 【請求項14】 請求項11において、複数の文字列軸
    が横切る外接矩形を接触文字列塊として除去する除去手
    段(73)を備え、 前記重み付け投影手段(64)は、パターンの外接矩形
    の縦又は横方向線分の上端及び下端をピークとしその上
    端からの距離,下端からの距離に応じて重み付け投影を
    行い、前記文字列軸決定手段(66)は、投影ヒストグ
    ラムの上端のピーク値と下端のピーク値とから文字列の
    中心軸を決定し、 前記文字列抽出手段(68)は、前記接触文字列塊を除
    く外接矩形に対して前記中心軸と夫々の外接矩形の中心
    との距離とに基づきパターンの属する文字列を抽出する
    文字の切り出し装置。
  15. 【請求項15】 請求項11において、前記重み付け投
    影手段(64)は、パターンの外接矩形の上端及び下端
    に対して重み付け投影を行い、前記文字列軸決定手段
    (66)は、投影ヒストグラムの上端の候補位置と下端
    の候補位置とを決定し上端の候補位置と下端の候補位置
    とから文字列の中心軸を決定し、 前記文字列抽出手段(68)は、前記中心軸と夫々の外
    接矩形の中心との距離とに基づきパターンの属する文字
    列を抽出する文字の切り出し装置。
  16. 【請求項16】 請求項12又は請求項14において、
    さらに、夫々の外接矩形同士が重なる場合に重なった外
    接矩形を統合する外接矩形統合部(61)を備えた文字
    の切り出し装置。
  17. 【請求項17】 請求項16において、前記統合の結果
    に対して平均文字サイズを算出する算出手段(74)
    と、平均文字サイズの所定倍以上の外接矩形を接触文字
    塊として除去する除去手段(75)とを備えた文字の切
    り出し装置。
  18. 【請求項18】 請求項11において、前記重み付け投
    影手段(64)は、外接矩形の一端部から他端部に向か
    って減衰する重み付け投影と他端部から一端部に向かっ
    て減衰する重み付け投影とを行い、投影ヒストグラムの
    夫々のピークを求め、前記夫々のピーク値から1文字の
    中心位置と1文字の存在領域を推定する文字の切り出し
    装置。
  19. 【請求項19】 文字列の夫々の文字を認識するために
    文字の切り出しを行う文字の切り出し方法であって、 文字列の連結情報に基いて文字の部分パターンを抽出す
    る抽出ステップと、 抽出された部分パターンに外接する外接矩形の縦又は横
    の文字サイズのヒストグラムを算出しその結果に基づき
    平均文字サイズの算出とその分散値の算出を行う算出ス
    テップと、 文字間のピッチのヒストグラムを算出しその結果に基づ
    き平均文字ピッチの算出とその分散値の算出を行う算出
    ステップと、 前記平均文字サイズ,平均文字ピッチ,サイズ分散値,
    ピッチ分散値との情報に応じて文字の統合条件を変えな
    がら文字の統合を行う統合ステップと、 前記平均文字サイズに基づき文字列中の部分パターンの
    内、小部分パターンを判別することにより文字の統合を
    行う小部分統合ステップとを含む文字の切り出し方法。
  20. 【請求項20】 文字列の連結情報に基いて文字の部分
    パターンを抽出する抽出ステップと、 抽出された部分パターンに外接する外接矩形の縦又は横
    方向の線分に対して重み付け投影を行うことにより投影
    ヒストグラムを求める投影ステップと、 前記投影ヒストグラムに基づき文字列軸を決定する決定
    ステップと、 前記文字列軸に基づき文字列を抽出する抽出ステップと
    を含む文字の切り出し方法。
JP5140428A 1993-06-11 1993-06-11 文字の切り出し方法及びその装置 Expired - Fee Related JP2933801B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP5140428A JP2933801B2 (ja) 1993-06-11 1993-06-11 文字の切り出し方法及びその装置
KR1019940009440A KR960016421B1 (ko) 1993-06-11 1994-04-30 문자 분할 방법 및 장치와 문자열의 추출방법 및 장치
US08/548,414 US5581633A (en) 1993-06-11 1995-10-26 Method and apparatus for segmenting a character and for extracting a character string based on a histogram

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5140428A JP2933801B2 (ja) 1993-06-11 1993-06-11 文字の切り出し方法及びその装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP03068699A Division JP3285837B2 (ja) 1999-02-08 1999-02-08 文字列の切り出し装置および方法

Publications (2)

Publication Number Publication Date
JPH06348896A true JPH06348896A (ja) 1994-12-22
JP2933801B2 JP2933801B2 (ja) 1999-08-16

Family

ID=15268462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5140428A Expired - Fee Related JP2933801B2 (ja) 1993-06-11 1993-06-11 文字の切り出し方法及びその装置

Country Status (3)

Country Link
US (1) US5581633A (ja)
JP (1) JP2933801B2 (ja)
KR (1) KR960016421B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990025455A (ko) * 1997-09-12 1999-04-06 구자홍 히스토그램 기울기를 이용한 문자영역 내의 줄 분리 방법
KR100458941B1 (ko) * 1997-08-27 2005-01-17 엘지전자 주식회사 히스토그램 기울기를 이용한 문자영역 내의 줄 분리 방법

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2178959C (en) * 1994-11-14 2000-05-16 Kenneth J. Guzik Method of splitting handwritten input
DE69604481T2 (de) * 1995-01-31 2000-03-30 United Parcel Service Inc Verfahren und gerät zum trennen des vordergrunds und hintergrunds in textenthaltenden bildern
JPH0951422A (ja) * 1995-08-09 1997-02-18 Minolta Co Ltd 画像編集装置
US6104833A (en) 1996-01-09 2000-08-15 Fujitsu Limited Pattern recognizing apparatus and method
US6519046B1 (en) * 1997-03-17 2003-02-11 Fuji Photo Film Co., Ltd. Printing method and system for making a print from a photo picture frame and a graphic image written by a user
JP3601658B2 (ja) * 1997-12-19 2004-12-15 富士通株式会社 文字列抽出装置及びパターン抽出装置
JP3639126B2 (ja) * 1998-01-22 2005-04-20 富士通株式会社 住所認識装置及び住所認識方法
JP2000181993A (ja) * 1998-12-16 2000-06-30 Fujitsu Ltd 文字認識方法および装置
IL132719A (en) * 1999-01-07 2010-04-29 Topscan Ltd Optical scanner and software therefor
JP3753357B2 (ja) * 1999-01-19 2006-03-08 株式会社リコー 文字抽出方法および記録媒体
US6728391B1 (en) 1999-12-03 2004-04-27 United Parcel Service Of America, Inc. Multi-resolution label locator
AUPR824301A0 (en) * 2001-10-15 2001-11-08 Silverbrook Research Pty. Ltd. Methods and systems (npw001)
JP4118749B2 (ja) * 2002-09-05 2008-07-16 株式会社リコー 画像処理装置、画像処理プログラムおよび記憶媒体
JP2005151282A (ja) * 2003-11-18 2005-06-09 Fuji Xerox Co Ltd 画像処理装置、画像処理方法、およびプログラム
US7483570B1 (en) * 2004-02-11 2009-01-27 Knight Andrew F Software and method for creating a dynamic handwriting font
US7386160B2 (en) * 2004-12-02 2008-06-10 International Business Machines Corporation System and method for determining image resolution using MICR characters
CN101551859B (zh) * 2008-03-31 2012-01-04 夏普株式会社 图像辨别装置及图像检索装置
US8620080B2 (en) * 2008-09-26 2013-12-31 Sharp Laboratories Of America, Inc. Methods and systems for locating text in a digital image
US8037410B2 (en) * 2008-10-27 2011-10-11 Yahoo! Inc. Method and apparatus for estimating the size of rendered text
TWI385584B (zh) * 2008-11-05 2013-02-11 Avermedia Information Inc 自動排列手寫字串之裝置及方法
JP2012194705A (ja) * 2011-03-15 2012-10-11 Omron Corp 画像処理装置、画像処理方法および画像処理プログラム
US9734132B1 (en) * 2011-12-20 2017-08-15 Amazon Technologies, Inc. Alignment and reflow of displayed character images
KR101997447B1 (ko) * 2012-12-10 2019-07-08 엘지전자 주식회사 이동단말기 및 그 제어 방법
US9898653B2 (en) * 2016-05-25 2018-02-20 Konica Minolta Laboratory U.S.A. Inc. Method for determining width of lines in hand drawn table
CN106775548B (zh) * 2016-11-25 2018-02-23 北京小米移动软件有限公司 页面处理方法及装置
JP7247472B2 (ja) * 2018-04-19 2023-03-29 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57101986A (en) * 1980-12-17 1982-06-24 Toshiba Corp Character detecting and cutting method
DE3480667D1 (de) * 1983-03-01 1990-01-11 Nec Corp System zum bestimmen des zeichenabstandes.
US5046114A (en) * 1985-10-01 1991-09-03 The Palantir Corporation Method and structure for separating joined patterns for use in pattern and character recognition system
JPS6451592A (en) * 1987-08-21 1989-02-27 Matsushita Electric Ind Co Ltd Character recognizing device
US4998285A (en) * 1988-03-11 1991-03-05 Kabushiki Kaisha Toshiba Character recognition apparatus
JP2822189B2 (ja) * 1988-05-19 1998-11-11 ソニー株式会社 文字認識装置及び方法
US5062141A (en) * 1988-06-02 1991-10-29 Ricoh Company, Ltd. Method of segmenting characters in lines which may be skewed, for allowing improved optical character recognition
JP2554187B2 (ja) * 1990-04-27 1996-11-13 シャープ株式会社 基本ライン抽出方法
JPH04142685A (ja) * 1990-10-03 1992-05-15 Ricoh Co Ltd 行認識方式
US5216725A (en) * 1990-10-31 1993-06-01 Environmental Research Institute Of Michigan Apparatus and method for separating handwritten characters by line and word
JPH04270485A (ja) * 1991-02-26 1992-09-25 Sony Corp 印刷文字認識装置
US5410611A (en) * 1993-12-17 1995-04-25 Xerox Corporation Method for identifying word bounding boxes in text

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100458941B1 (ko) * 1997-08-27 2005-01-17 엘지전자 주식회사 히스토그램 기울기를 이용한 문자영역 내의 줄 분리 방법
KR19990025455A (ko) * 1997-09-12 1999-04-06 구자홍 히스토그램 기울기를 이용한 문자영역 내의 줄 분리 방법

Also Published As

Publication number Publication date
JP2933801B2 (ja) 1999-08-16
US5581633A (en) 1996-12-03
KR950001552A (ko) 1995-01-03
KR960016421B1 (ko) 1996-12-11

Similar Documents

Publication Publication Date Title
JP2933801B2 (ja) 文字の切り出し方法及びその装置
JP3453134B2 (ja) 複数の記号ストリングの等価性を判定する方法
US5369714A (en) Method and apparatus for determining the frequency of phrases in a document without document image decoding
US5841902A (en) System and method for unconstrained on-line alpha-numerical handwriting recognition
KR100658119B1 (ko) 문자 인식 장치 및 방법
JPH05242292A (ja) 分離方法
US5491760A (en) Method and apparatus for summarizing a document without document image decoding
US5539841A (en) Method for comparing image sections to determine similarity therebetween
JP3259993B2 (ja) 語形測定方法及び画像信号処理方法
US5410611A (en) Method for identifying word bounding boxes in text
JPH0772905B2 (ja) 記号列の認識方法
JPH09179937A (ja) 文書画像のセンテンスの境界の自動識別方法
Boussellaa et al. Unsupervised block covering analysis for text-line segmentation of Arabic ancient handwritten document images
JPH08167000A (ja) 文字認識装置および方法
JP3285837B2 (ja) 文字列の切り出し装置および方法
Tsai et al. Efficiently extracting and classifying objects for analyzing color documents
JP3077929B2 (ja) 文字切出し方式
JP2576350B2 (ja) 文字列抽出装置
JP3409993B2 (ja) 接触パターンを分離するパターン分離装置および方法
JP3428504B2 (ja) 文字認識装置
Sadri et al. Statistical characteristics of slant angles in handwritten numeral strings and effects of slant correction on segmentation
JP3329528B2 (ja) ドキュメント読取り装置
JPH0573718A (ja) 領域属性識別方式
Kaur et al. A complete character recognition and transliteration technique for Devanagari script
Choi et al. Constraints on handwriting Korean characters to improve the machine readability

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19990511

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080528

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090528

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090528

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100528

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100528

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110528

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees