JP2885185B2

JP2885185B2 - 文字認識装置

Info

Publication number: JP2885185B2
Application number: JP8144478A
Authority: JP
Inventors: 孝之西田
Original assignee: Nippon Electric Co Ltd
Current assignee: NEC Corp
Priority date: 1996-06-06
Filing date: 1996-06-06
Publication date: 1999-04-19
Anticipated expiration: 2016-06-06
Also published as: JPH09326010A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は文字認識装置に係
り、特に、光学的に入力された帳票や文書等の画像デー
タ内の文字を読み取る文字認識装置に関する。

【０００２】

【従来の技術】この種の文字認識装置においては、筆記
者ごとに字形が異なる手書き文字を読み取るために、文
字画像を部分的に拡大または縮小する手法が用いられる
ことがあり、特に線が多く複雑な漢字の読取に対して文
字の変形を吸収する効果があることが知られている。

【０００３】このような手法は一般的に非線形定規化と
呼ばれており、その一例が、「階層的な位置ずれ補正処
理に基づく手書き漢字認識（電子情報通信学会研究資
料，ＰＲＵ８７−１０４）」に記載されている。この手
法は、文字の背景部（２値画像の白画素の部分）の大き
さに着目し、背景部が小さい部分を拡大し、背景部の大
きい部分を縮小することにより、文字線の疎密の偏りを
緩和して筆記者の癖などによる変形を吸収するものであ
る。すなわち、図９（Ａ）に示す入力文字画像「間」に
対して、この非線形正規化処理を施すと、図９（Ｂ）に
示すように背景部分の分布が平均化された文字画像が得
られる。

【０００４】

【発明が解決しようとする課題】しかし、この手法が文
字の変形吸収に有効であるのは背景部が潰れていない場
合に限られ、本来あるべき背景部が潰れて無くなってい
る場合には、従来の非線形正規化処理によっては変形が
吸収できず、逆に字形を歪めてしまうことがある。つま
り、線の位置の平均化ができず、認識が困難となってし
まうのである。

【０００５】例えば、図９（Ｃ）に示すように、のよう
に「間」という文字の中の「日」の部分に潰れが生じて
いる場合非線形正規化処理を行うと、図９（Ｄ）に示す
如くとなり、「問」という文字に誤読する可能性が高く
なる。すなわち、文字の背景部の広さに基づいて部分的
に文字画像を拡大または縮小する非線形正規化手法は、
背景部が潰れている文字画像に対しては、文字の形が歪
み、誤読しやすくなるという問題点を有する。

【０００６】

【発明の目的】本発明は、かかる従来例の有する不都合
を改善し、特に、潰れのある文字に対して文字画像の潰
れの補正を行うことにより、潰れの影響を低減した非線
形正規化処理を行い、文字認識性能を向上させること
を、その目的とする。

【０００７】

【課題を解決するための手段】そこで、本発明では、帳
票や文書等の表面イメージデータを光学的に入力する画
像入力手段と、この画像入力手段によって入力された画
像データから１文字分の文字画像データを切り出す文字
切出し手段と、文字切り出し手段によって切り出された
文字画像データに所定の前処理を加える画像変換手段
と、この画像変換手段から出力される文字画像データの
特徴を抽出すると共に文字認識辞書に予め登録された特
徴と照合する照合手段とを備えている。しかも、画像変
換手段が、前記文字画像上の各黒画素を注目画素に設定
すると共に当該注目画素に隣接する白画素までの距離を
計数する距離計数部と、この距離計数部によって計数さ
れた距離値が予め定めたしきい値よりも大きいときに当
該注目画素を白画素に置き換える計数画素置換部とを備
えている。しかも、距離計数部が、注目画素の上下左右
及び斜めに右上，右下，左上，左下の計８方向に関して
最も近い白画素までの距離を計数すると共に当該８方向
分の距離値の内の最小値を当該白画素までの距離に設定
する８方向距離計数機能を備えた、等の構成を採ってい
る。これにより前述した目的を達成しようとするもので
ある。

【０００８】本発明は、文字の潰れが生じている部分は
太くなる点と、文字のウエイトがほぼ一定であることを
前提に、文字の潰れの発生を判定し、この潰れ部分を白
画素に変換することにより、文字の潰れを解消するもの
である。具体的には、距離計数部が、注目画素から白画
素までの距離を算出し、計数画素置換部が、距離計数部
によって計数された距離値が予め定めたしきい値よりも
大きいときに当該注目画素を白画素に置き換えるため、
一定幅以上に渡って黒画素が連続するときに、しきい値
に対応する幅の文字ウエイトを確保したうえ、潰れ部分
と判断される部分を白画素に変換する。このため、文字
の潰れが解消される。

【０００９】

【発明の実施の形態】次に、本発明の実施の形態を図面
を参照して説明する。

【００１０】本実施形態による文字認識装置は、図１に
示すように、帳票や文書等の表面イメージデータを光学
的に入力する画像入力手段１１と、この画像入力手段１
１によって入力された画像データから１文字分の文字画
像データを切り出す文字切出し手段１２と、文字切り出
し手段１２によって切り出された文字画像データに所定
の前処理を加える画像変換手段１３Ａと、この画像変換
手段１３Ａから出力される文字画像データの特徴を抽出
すると共に文字認識辞書１５に予め登録された特徴と照
合する照合手段１４とを備えている。

【００１１】しかも、画像変換手段１３Ａが、文字画像
上の各黒画素を注目画素に設定すると共に当該注目画素
に隣接する白画素までの距離を計数する距離計数部１３
１と、この距離計数部１３１によって計数された距離値
が予め定めたしきい値よりも大きいときに当該注目画素
を白画素に置き換える計数画素置換部１３２とを備えて
いる。

【００１２】また、距離計数部は、前記注目画素の注目
画素周辺の８方向分の距離値の内の最小値を当該白画素
までの距離に設定する８方向距離計数機能を備えてい
る。この図１に示す構成を第１実施例として後述する。

【００１３】さらに、図２に示すように、画像変換手段
１３Ｂが、予め形状とサイズを定めたマスクを用いて文
字画像との重ね合わせるマスク部１３４と、このマスク
部１３４によってマスクされた画素が全て黒画素である
場合にマスクの中心の黒画素を白画素に置き換えるマス
ク画素置換部１３５とを備えた構成としても良い。この
図２に示した構成を第２実施例として後述する。

【００１４】また、画像変換手段１３Ａ，１３Ｂが、文
字画像内の白画素列の長さの逆数を垂直方向と水平方向
について計数すると共に計数方向と垂直な方向に前記逆
数に比例する値を累積した分布に基づいて画像変換を行
う画像正規化部を備えた構成としてもよい。この場合、
潰れ文字を正規化すると歪みが生ずるという従来の不都
合が改善される。

【００１５】図３は、本実施形態の画像変換手段よって
図９（Ｃ）に示した画像データを変換した一例を示す説
明図であり、図３（Ａ）は計数画素置換部１３２によっ
て潰れ部分を解消した一例を示し、図３（Ｂ）はこれを
さらに画像正規化部によって正規化した一例を示す。図
３に示すように、画像変換手段により潰れが生じた手書
き文字であっても、潰れ部分を解消し、さらに筆記者の
癖等による変形を吸収することができる。

【００１６】〔第１実施例〕以下、本発明の文字認識装
置の第１実施例について、図面を参照して説明する。

【００１７】図１に示すように、この文字認識装置は、
文字が記載された帳票や印刷文書等の紙面イメージを光
学的に取り込み、これを２値画像に変換する画像入力手
段１１と、２値画像から文字画像を１文字ずつ切り出す
文字切出し手段１２と、文字画像上の各黒画素について
上下左右及び、斜め４５度方向に沿って右上・右下・左
上・左下の合計８方向に関して最も近い白画素までの距
離を計数し、８方向分の距離値の内の最小値を記憶する
距離計数部１３１と、この距離計数部１３１において計
数した距離がしきい値以上である場合に当該黒画素を白
画素に置換する計数画素置換部１３２とを備えている。

【００１８】さらに、文字認識装置は、文字の背景部分
の大きさに基づいて文字画像に非線形正規化処理を施す
画像正規化部１３３と、文字認識辞書１５を有し、文字
画像からの特徴抽出を行い、その特徴を文字認識辞書１
５と照合し、照合結果を出力する照合手段１４とを備え
ている。

【００１９】本実施例の文字認識装置は、読取対象とす
る紙面の画像データを取り込むためのスキャナ等の画像
入力装置と、文字認識処理を実行するための中央演算処
理装置（ＣＰＵ）と、画像データから切り出した文字画
像や文字認識辞書を格納するためのメモリまたはハード
ディスク等の記憶装置との組合せから容易に実現するこ
とができる。

【００２０】以下、第１実施例の文字認識装置の動作に
ついて説明する。

【００２１】画像入力手段１１では、紙面に照射した光
の反射をスキャナから入力することにより、読取対象の
帳票や印刷文書の紙面イメージを各画素が濃度値で表さ
れた多値画像として取り込む。ここでは、画像入力手段
１１として、解像度が２００ｄｐｉのスキャナを使用す
る。さらに、予め設定した任意の濃度値をしきい値（ス
ライスレベル）として、しきい値以上の濃度の画素を黒
画素に、しきい値未満の濃度の画素を白画素に変換する
ことにより、多値画像を黒画素と白画素で表された２値
画像に変換する。

【００２２】文字切出し手段１２では、画像入力手段１
１で変換された２値画像から１文字分の文字画像の切り
出しを行い、画像変換手段１３Ａに渡す。ここでの文字
画像の切り出しは本発明の本質ではないため、一般に知
られている文字切り出し方法を用いて良い。本実施例で
は文字に対して外接枠を設定し、その枠内の画像を読取
対象の文字画像とする。

【００２３】画像変換手段１３Ａは、距離計数部１３１
と計数画素置換部１３２と正規化部１３３から構成され
ている。また、距離計数部１３１は、文字画像上の各画
素に対応する記憶領域を保持している。

【００２４】以下、画像変換手段１３Ａの各部の動作に
ついて説明する。本説明においては、画像をスキャナか
ら入力する際の主走査方向・副走査方向をそれぞれ文字
画像の水平方向（Ｘ方向）・垂直方向（Ｙ方向）とし、
画素の位置を表す座標系を図４のように設定する。

【００２５】距離計数部１３１では、文字画像上の黒画
素それぞれに対して、上下左右及び、斜め４５度右上・
右下・左上・左下の合意８方向に関して、最も近い白画
素までの距離を計数し、８つの距離値の内の最小値を着
目した画素に対応づけて格納する。この処理について説
明する。

【００２６】図７は、各黒画素の左側にある白画素まで
の最短距離の計数を行うフローチャートを示す。ここで
は、文字画像のサイズを横Ｍ画素×縦Ｎ画素と表す。

【００２７】まず、画素ａ（ｘ，ｙ）に対して求めた白
画素までの距離の最小値を保存するための記憶領域Ｄ
（ｘ，ｙ）の値を無限大に初期化しておく。次に、カウ
ンタＣＮＴの値を０に初期化する（Ｓ２０）。また、文
字画像ｆ（ｘ，ｙ）の座標値ｘ，ｙを文字画像の左上端
の画素の位置（ｘ＝１、ｙ＝１）にセットする（Ｓ２
１、Ｓ２２）。なお、ｘとｙの値は、１≦ｘ≦Ｍ，１≦
ｙ≦Ｎを満たすものである。

【００２８】文字画像ｆ（ｘ，ｙ）上の画素ａ（ｘ，
ｙ）を調べて（Ｓ２３）、それが黒画素であればＣＮＴ
をインクリメントする（Ｓ２４）。次に、ＣＮＴとＤ
（ｘ，ｙ）に記憶されている値との比較を行い（Ｓ２
５）、ＣＮＴの方が小であればＣＮＴの値をＤ（ｘ，
ｙ）にセットする（Ｓ２６）。一方、画素ａ（ｘ，ｙ）
が白画素であれば、ＣＮＴを０に初期化する（Ｓ２
７）。以上までが１つの画素に対する処理である。

【００２９】次いで、ｘ＝Ｍであるかを判定し（Ｓ２
８）、ｘ＜Ｍであればｘの値をインクリメントし（Ｓ２
９）、１２４からの処理をｘ＝Ｍとなるまで繰り返す。
ｘ＝Ｍとなった時には、次にｙ＝Ｎであるか判定し（Ｓ
３０）、ｙ＜Ｎであればステップ２２からの処理を繰り
返し、ｙ＝Ｎであれば処理を終了する。

【００３０】以上までに述べた処理を行うことにより、
各黒画素から見て左側にある白画素までの最短距離が求
められる。同様にして、他の７方向に関して距離計数処
理を行うことにより、８方向に関して最も近い位置にあ
る白画素までの距離値を求める。

【００３１】次に、計数画素置換部１３２は、距離計数
部１３１によって各画素ごとに算出された白画素までの
最小距離値が、予め定めたしきい値よりも大である黒画
素を白画素に置換する。なお、ここで用いるしきい値
は、文字画像の潰れが判別できる値を別途実施した予備
実験から得たものである。本実施例では、２００ｄｐｉ
のスキャナから文字画像を入力しており、通常の筆記用
具（鉛筆、シャープペンシル、ボールペン等）によって
書かれた文字の場合には、線幅は３〜６画素程度と考え
られる。従って、文字線の潰れを検出するためのしきい
値として、線幅の半分よりも大きめに４と設定する。

【００３２】以上までの処理を行うことにより、文字画
像上の潰れた部分に白画素領域を作成される。すなわ
ち、文字画像の潰れ部分が補正される。

【００３３】画像正規化部１３３では、計数画素置換部
１３２にて処理された文字画像に対して従来の技術の項
で例に挙げた論文「階層的な位置ずれ補正処理に基づく
手書き漢字認識」に記述された画像正規化を施す。この
画像正規化部１３３の処理を以下に説明する。文字画像
のサイズは、前述したとおり横Ｍ画素×縦Ｎ画素であ
る。

【００３４】文字画像ｆ（ｘ，ｙ）上の白画素に対し、
水平方向に連続する白画素長の逆数ｈ_xyと垂直方向に連
続する白画素長の逆数Ｖ_xyを計算する。また、黒画素に
対しては、（ｈ_xy，ｖ_xy）＝（０，０）とする。

【００３５】さらに、次式（１）により、各画素に対し
て決めたｈ_xyを垂直方向に全て累積し、文字画像の縦サ
イズＮで除算し、平均値Ｈ（ｘ）を求める。

【００３６】

【数１】

【００３７】次いで、次式（２）により、Ｈ（ｘ）の累
積値に比例定数を乗じて水平方向の非線形正規化関数Φ
（ｘ）を定める。

【００３８】

【数２】

【００３９】ここで、Ｃ₁は非線形正規化後の文字画像
の水平方向サイズを表す比例定数である。本実施例では
Ｃ₁＝Ｍとし、処理の前後で文字画像のサイズは変えな
いものとする。しかし、記憶領域の都合により、ここで
縮小処理を施してもよく、逆に拡大してもよい。

【００４０】同様にして、次式（３）により、各画素に
対して求めたＶ_xyを水平方向に全て累積し、文字画像の
横サイズＭで除算し、平均値Ｖ（ｙ）を求める。

【００４１】

【数３】

【００４２】次に、次式（４）により、Ｖ（ｙ）の累積
値に比例定数を乗じて垂直方向の非線形正規化関数Ψ
（ｙ）を定める。

【００４３】

【数４】

【００４４】ここで、Ｃ₂は文字画像の垂直方向サイズ
を表す比例定数である。水平方向の場合と同様に、本実
施例では処理後の文字画像の垂直方向サイズは変えない
ため、Ｃ₂＝Ｎとするが、任意の値で構わない。以上に
示した計算から求めた水平・垂直方向の非線形正規化関
数を用いて、文字画像ｆ（ｘ，ｙ）の変換を行う。

【００４５】画像変換手段１３Ａの処理を図３（Ａ）の
文字画像に対して行うと、図３（Ｂ）に示す文字画像が
得られる。

【００４６】照合手段１４は、文字種ごとの特徴とその
特徴に対応する文字コードが記録された文字認識辞書
（以下、辞書）を予め有しており、画像変換手段１３Ａ
から渡された文字画像に対して文字特徴の抽出を行い、
辞書に登録されている全ての特徴と照合を行う。

【００４７】本実施例では、文字特徴として公知の方向
線素特徴（文字の輪郭と輪郭線の方向の併用）を用いて
照合を行うが、これ以外にも単に輪郭特徴を用いてもよ
いし、あるいは、特徴を抽出せず文字画像をそのまま全
面照合してもよい。

【００４８】照合においては、読取文字の特徴と辞書の
各特徴との類似度計算を行い、類似度が最も高い辞書の
文字コードを認識結果として出力する。また、類似度が
高い順に複数の文字コードを認識候補として出力しても
よい。

【００４９】この照合において行う類似度計算は、文字
画像の特徴と辞書の特徴との差分を累積するという簡単
な処理である。なお、ここでの処理を文字画像の特徴と
辞書の特徴をずらしながら類似度計算を行い、特徴の差
分の最小値を求めるＤＰマッチングに置き換えると、更
に高精度な照合を行うことができる。

【００５０】上述したように本実施例によると、潰れて
いる文字画像を補正して白画素領域を生成するため、潰
れ文字を回復することができ、このため、非線形正規化
処理を行った場合にも字形の歪みが小さくなり、潰れに
起因する誤認識を有効に低減することができる。

【００５１】〔第２実施例〕以下、本発明の第２実施例
について図面を参照して説明する。本実施例では、画像
変換手段１３Ｂの処理以外は第１実施例と同じであるた
め、ここでは画像変換手段１３Ｂについてのみ説明す
る。

【００５２】本実施例での画像変換手段１３Ｂは、図２
に示すようにマスク部１３４とマスク画像置換部１３５
と画像正規化部１３３とから構成される。

【００５３】マスク部１３４は、形状とサイズを予め定
めたマスクを用いて文字画像上を走査する。マスク画素
置換部１３５は、このマスク部１３４によって走査され
た画素が全て黒画素である場合に、マスクの中心と重な
っている文字画素を白画素に置換する。この処理を文字
画像全面に対して施すことにより、潰れ部分の補正処理
が行われる。

【００５４】本実施例では、図６に示す９×９の正方形
マスクを使用する。このマスクのサイズは、潰れている
文字線部分に白画素領域を作成することが可能な値を予
備実験から統計的に得たものである。もちろん、入力画
像の害増度によってこのマスクの大きさは異なる。な
お、使用するマスクの形状は図６に示したような正方形
に限らず、図７に示すような菱形のマスクを用いてもよ
い。

【００５５】以下、画像変換手段１３Ｂの動作について
図８に示すフローチャートを用いて説明する。

【００５６】まず、着目する文字画像上の画素をａ
（ｘ，ｙ）とすると、ｘ、ｙの値を文字画像の左右端の
画素の位置に初期化する（Ｓ４０）。次に、着目画素ａ
（ｘ，ｙ）に図６に示すマスクの中心画素（図６で斜線
が施された画素）を重ね合わせる（Ｓ４１）。この時、
マスクと重なったいる文字画像上の画素がすべて黒画素
であるか否かを演算により判定する（Ｓ４２）。判定の
結果、マスクと重なっている部分が全て黒画素であれ
ば、着目画素の座標値（ｘ，ｙ）を記憶領域に保存する
（Ｓ４４）。

【００５７】以上の処理の後、着目画素のｘ座標を調べ
て文字画像の右端であるか否かを判定する（Ｓ４５）。
右端ではない場合には、ｘの値をインクリメントする
（Ｓ４８）ことにより、着目画素を右に１画素ずらして
ステップ４１からの処理を繰り返す。右端の場合には、
次にｙ座標を調べて文字画像の下端であるか否かを判定
する（Ｓ４７）。下端ではない場合には、ｙの値をイン
クリメントして（Ｓ４８）１ライン下の画素に対して同
様の処理を行う。下端に到達した場合には、記憶領域に
保存された位置情報が示す黒画素を白画素に置換する
（Ｓ４９）。

【００５８】この図８に示す処理により、文字画像の潰
れの補正を施すことができる。

【００５９】上述したように第２実施例によると、第１
実施例と同様の効果が得られるほか、マスク処理を用い
ることにより、文字の潰れ部分に白画素領域を作成する
処理を高速化することができる。

【００６０】

【発明の効果】本発明は以上のように構成され機能する
ので、これによると、計数画素置換部が、距離計数部に
よって計数された距離値が予め定めたしきい値よりも大
きいときに当該注目画素を白画素に置き換えるため、一
定幅以上に渡って黒画素が連続するときに、しきい値に
対応する幅の文字ウエイトを確保したうえ、潰れ部分と
判断される部分を白画素に変換することができ、このた
め、文字の潰れを解消することができ、従って、文字の
潰れによる誤認識を最大限防止することができる。しか
も、この文字の潰れの解消処理を行った後に、画像正規
化手段による非線形正規化を行うと、入力時には文字の
潰れが生じていても、手書き文字の背景部分を平均化
し、文字線の粗密の片寄りを有効に補正することがで
き、これによっても、文字の認識率を向上させることが
できる従来にない優れた文字認識装置を提供することが
できる。

【図面の簡単な説明】

【図１】本発明の第１実施例の構成を示すブロック図で
ある。

【図２】本発明の第２実施例の構成を示すブロック図で
ある。

【図３】第１実施例による画像変換手段によって潰れ部
分を回復したデータの一例を示す説明図であり、図３
（Ａ）は画像置換部による置き換え処理後のデータ例を
示す図で、図３（Ｂ）は画像正規化部による正規化処理
後のデータ例を示す図である。

【図４】画像データの座標系を示す説明図である。

【図５】距離計数部の動作例を示すフローチャートであ
る。

【図６】マスク処理部で用いる正方形マスクの一例を示
す説明図である。

【図７】マスク処理部１３４で用いる菱形マスクを一例
を示す説明図である。

【図８】マスク処理部の動作例を示すフローチャートで
ある。

【図９】画像データの例を示す説明図であり、図９
（Ａ）は通常の入力画像の一例を示す図で、図９（Ｂ）
はこの入力画像に非線形正規化処理を行った一例を示す
図で、図９（Ｃ）は潰れが生じている入力画像の一例を
示す図で、図９（Ｄ）はこの入力画像に非線形正規化処
理を行った一例を示す図である。

【符号の説明】

１０紙面イメージ１１画像入力手段１２文字切出し手段１３Ａ画像変換手段（第１実施例）１３Ｂ画像変換手段（第２実施例）１４照合手段１５文字認識辞書１３１距離計数部１３２計数画素置換部１３３画像正規化部１３４マスク部１３５マスク画素置換部

Claims

(57)【特許請求の範囲】

【請求項１】帳票や文書等の表面イメージデータを光
学的に入力する画像入力手段と、この画像入力手段によ
って入力された画像データから１文字分の文字画像デー
タを切り出す文字切出し手段と、文字切り出し手段によ
って切り出された文字画像データに所定の前処理を加え
る画像変換手段と、この画像変換手段から出力される文
字画像データの特徴を抽出すると共に文字認識辞書に予
め登録された特徴と照合する照合手段とを備えた文字認
識装置において、前記画像変換手段が、前記文字画像データ上の各黒画素
を注目画素に設定すると共に当該注目画素に隣接する白
画素までの距離を計数する距離計数部と、この距離計数
部によって計数された距離値が予め定めたしきい値より
も大きいときに当該注目画素を白画素に置き換える計数
画素置換部とを備え、前記距離計数部が、前記注目画素の上下左右及び斜めに
右上，右下，左上，左下の計８方向に関して最も近い白
画素までの距離を計数すると共に当該８方向分の距離値
の内の最小値を当該白画素までの距離に設定する８方向
距離計数機能を備えたことを特徴とする文字認識装置。
【請求項２】前記画像変換手段が、前記文字画像デー
タ内の白画素列の長さの逆数を垂直方向と水平方向につ
いて計数すると共に計数方向と垂直な方向に前記逆数に
比例する値を累積した分布に基づいて画像変換を行う画
像正規化部を備えたことを特徴とする請求項１記載の文
字認識装置。