JP2671533B2

JP2671533B2 - 文字列認識方法及びその装置

Info

Publication number: JP2671533B2
Application number: JP1334347A
Authority: JP
Inventors: 弥生佐藤
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1989-12-21
Filing date: 1989-12-21
Publication date: 1997-10-29
Anticipated expiration: 2012-10-29
Also published as: JPH03191491A

Description

【発明の詳細な説明】（産業上の利用分野）本発明は、光学的文字読み取り装置（OCR）等におけ
る文字列認識方法及びその装置に関する。

（従来の技術）文字列認識は、従来の文字記入枠内に１文字ずつ記入
された文字を対象とするものとは異なり、罫線のような
緩い条件のもとで記入された文字を認識するための技術
であり、OCRの入力形式をより使いやすい形式にするこ
とを可能にする。従って文字列認識では、文字の切り出
しが一つの重要な問題となっている。特に、手書き文字
を対象とすると、文字の図形的な特徴は変動が大きいた
め、それだけからは１文字ずつを切り出すことは困難で
あり、文字の認識情報も利用して切り出しと認識を同時
に行う方法が提案されている。

例えば、文献「候補文字ラティス法による枠無し筆記
文字列のオンライン認識」（村瀬・若原・梅田、電子通
信学会論文誌（Ｄ）J68−D,No.4,1985,pp765〜772）に
記載されているような技術が知られている。この方法
は、文字列を基本パタンに分割し、この基本パタンを組
合せたパタンを文字と見なして認識処理を行い、その認
識結果を用いて文字評価値を算出し、この評価値の和が
最大となる基本パタンの組合せの列を動的計画法を用い
て探索するものである。これによって、手書き文字列の
特徴の１つである文字の幅や文字間隔等の変動にあまり
影響されない文字列の認識が可能になった。

また、文字評価値として認識結果だけでなくパタンの
図形的特徴も利用する方法として、文献「手書き日本語
文書からの文字切り出し方式」（依田・松浦・前田・南
部、電子通信学会技術研究報告、SP86−35,1986,pp67〜
76）がある。この方法は、認識結果の評価値と図形的な
特徴からの文字形状評価値を算出し、その加算和を文字
評価値として、前述と同様に最適な基本パタンの組合せ
の列を探索するものである。

（発明が解決しようとする課題）しかしながら、認識結果だけを文字評価値の決定要素
とし、最適な基本パタンの組合せの列を探索する方法で
は、個別文字の認識性能に大きく影響を受けてしまう。
例えば第２図（ａ）のように文字列の図形的な特徴から
判断すると正しい文字切り出しが得られる場合でも、各
文字が低品質であるために、正しく認識できず文字切り
出しまで誤ってしまう場合がある。

また、図形的特徴からの文字形状評価値と認識結果か
らの評価値との加算和を取る方法では、たとえ認識結果
から非常に高い文字認識評価値が得られても、文字形状
評価値が低いために文字評価値が下がってしまい、誤っ
た切り出しを行うことがある。例えば、第２図（ｂ）の
ように各文字が細長く筆記され、文字形状評価値として
縦横比が用いられていると、このような問題が発生する
ことがある。

本発明の目的は、上記問題点を解決するために、文字
認識評価値および文字形状評価値それぞれに、その信頼
域を設けて、文字認識評価値として高い値が得られなく
ても、図形的にみれば１文字と判断できる場合には、文
字評価値としては図形的特徴を高く評価し、又文字認識
評価値が非常に高い場合には、図形的特徴に関わらず高
い値をとるような特徴を持つ特性関数を構成し、これを
用いて文字評価値を算出することにより、文字列中の各
文字が高品質ならば文字幅、文字の縦横比や文字間隔等
の変動に影響されない文字列の切り出し及び認識を可能
とし、又各文字が低品質ではあるが文字間隔が充分空い
ていたり文字の形状が正方形に近い等、図形的に見れば
切り出しが可能な文字列に対しては、認識性能にあまり
影響されず、正しい文字切り出しを可能にする方法及び
装置を提供することにある。

これによりたとえ各文字の認識結果が誤っても、正し
い文字切り出しさえ得られていれば、後処理により修正
が可能となる。

（課題を解決するための手段）本発明によれば、文字列画像から図形的特徴を抽出
し、これに基づいて文字列画像から図形としてのまとま
りの最小単位である基本パタンを抽出し、該基本パタン
から隣接するものを統合して候補文字パタンを作成し、
該候補文字パタンに対して文字形状評価値を算出し、前
記候補文字パタンに対して文字認識辞書の標準パタンと
照合して認識処理を行い、文字認識評価値を算出し、文
字形状評価値に対して予め設けておいた信頼域パラメー
タ及び文字認識評価値に対して予め設けておいた信頼域
パラメータとを変数とする文字らしさを表す特性関数を
構成し、該特性関数を用いて、前記文字形状評価値と前
記文字認識評価値とから前記候補文字パタンの文字評価
値を算出し、該文字評価値を使って前記候補文字パタン
の組合せに対する文字列評価値を算出し、該文字列評価
値の最大となる前記候補文字パタンの組合せを探索し、
前記候補文字パタンの組合せに対する文字認識結果の列
を前記文字列画像の認識結果とすることを特徴とする文
字列認識方法が実現できる。

更に、文字列画像を読み込み、図形的なまとまりの最
小単位である基本パタンを抽出しこれを格納する基本パ
タン抽出手段と、該基本パタン抽出手段から基本パタン
を読み込み、隣接したものを統合して候補文字パタンを
作成し、これを格納する候補文字パタン作成手段と、該
候補文字パタン作成手段から候補文字パタンを読み込
み、文字形状評価値を算出し、これを記憶する文字形状
評価値算出手段と、文字の標準パタンを格納する文字認
識辞書記憶手段から標準パタンを読み込み、前記候補文
字パタン作成手段から候補文字パタンを読み込み、認識
処理を行って文字認識評価値を算出し、認識結果及び文
字認識評価値を記憶する文字認識評価値算出手段と、文
字形状評価値に対して予め設けておいた信頼域パラメー
タ及び文字認識評価値に対して予め設けておいた信頼域
パラメータとを変数とする文字らしさを表す特性関数を
構成する特性関数構成手段と、該特性関数構成手段から
特性関数を読み込み、前記文字認識評価値算出手段から
文字認識評価値を読み込み、前記文字形状評価値算出手
段から文字形状評価値を読み込み、前記候補文字パタン
の文字評価値を算出する文字評価値算出手段と、該文字
評価値算出手段から文字評価値を読み込み、文字列評価
値を算出し、候補文字パタンの最適な組合せを探索し、
これを記憶する最適組合せ探索手段と、該最適組合せ探
索手段から候補文字パタンの最適組合せを読み込み、各
候補文字パタンの認識結果を前記文字認識評価値算出手
段から読み込み、これを出力する文字列認識結果出力手
段を有することを特徴とする文字列認識装置が実現でき
る。

（作用）図面を参照して本発明の一つである文字列認識方法の
原理について詳細に説明する。以下の説明では、横書き
の文字列画像を用いて説明するが、縦書き文字列につい
ても同様の原理が適用できる。第３図（ａ）は、手書き
文字列画像の例である。入力された文字列画像に対し
て、第３図（ｂ）のような図形としてもまとまりの最小
単位である基本パタンを抽出する。これは、例えば文字
列の方向と垂直な方向に走査し、黒画素の個数を計数し
て得られる投影分布関数を使って、あるしきい値以下の
位置を切り出し位置として文字列画像を分割したり、ま
たは文字列の高さと幅の関係からそこに含まれる文字数
の上限を推定し、この文字数を使って本願と同一出願人
による特願平１−280482号「文字列切り出し方法及びそ
の装置」で開示されている技術を用いることにより、た
とえ文字と文字が接触していても、これを分割し基本パ
タンを抽出することが可能である。

抽出された基本パタンの切り出し位置を文字列の先頭
からN_o,…,N_kと表す（第３図（ｂ））。次に隣接する複
数個の基本パタンを統合して候補文字パタンを作成す
る。このとき、切り出し位置N_iとN_jとに挟まれた候補文
字パタンをｐ（i,j）と表す。基本パタンを十分小さく
しておくことにより、文字列画像に含まれる各文字パタ
ンは必ずあるｐ（i,j）によって表すことができる。例
えば第３図（ｂ）では、都に対応する文字パタンはｐ
（2,4）となる。文字切り出し位置N_iをノードとし、候
補文字パタンｐ（i,j）をノードN_iとN_jとを結ぶリンク
とする文字列画像から第３図（ｃ）のような２端子有向
グラフが得られる。以下の処理の基本的な流れは、まず
各リンクに対して、対応する部分パタンの文字評価値ｆ
（i,j）を設定し、次に始点N_oから終点N_kにいたるパス
で、各リンクの文字評価値の和を最大にする様なパスを
探索することである。得られた最適パスの、各リンクに
対応する部分パタンの認識結果を、入力された文字列の
認識結果とする。以下では、最適パスとして正しい文字
切り出しが得られるための文字評価値ｆ（i,j）の設定
方法に関して、詳細に説明する。まず、部分パタンｐ
（i,j）に対して文字形状評価値ｘ（i,j）を設定する。

但し文字形状評価値ｘ（i,j）は、パタンｐ（i,j）を
図形的特徴だけから判断したときに、文字らしければそ
の値は１に近く、そうでないときには０または負の値に
なるように設定する。例えば、ｘ（i,j）を次のように
定義する。

ｘ（i,j）＝Φ（ｒ）−ｓ′/s_max （１）ここで、ｒはパタンｐ（i,j）の外接矩形の幅ｗと高
さｈとからw/hで算出される縦横比であり、ｓ′は外接
矩形内の余白ｓとその高さｈとからs/hで算出される正
規化された文字内余白であり、s_maxは統計的に決定され
るｓ′の最大値である（第４図参照）。又Φは縦横比ｒ
の平均r_avr、最大値r_max、最小値r_minを使って第５図に
示したように定義される関数である。この式（１）は、
次のような条件をｘ（i,j）に加えたときに得られる文
字形状評価値である。

パタンｐ（i,j）の外接矩形の縦横比が文字の平均縦
横比に近く、外接矩形内の余白（ｓ）がないとき、その
パタンは文字らしいと判断しｘ（i,j）は１とする。

パタンｐ（i,j）の外接矩形の縦横比が文字の平均縦
横比に近くても、外接矩形内の余白が大きいときは、文
字らしくないと判断しｘ（i,j）は小さい値とする。

パタンｐ（i,j）の外接矩形内の余白が無くても、外
接矩形が細長ければ、文字らしくないと判断しｘ（i,
j）は小さい値とする。

次にパタンｐ（i,j）を１文字と見なして、文字辞書
と照合しながら認識処理を行い、文字認識評価値ｙ（i,
j）を算出する。文字認識評価値ｙ（i,j）はパタンｐ
（i,j）があるカテゴリに属する可能性が大きいときに
は１に近く、そうでないときには０に近い値をもつよう
な評価値である。この文字認識評価値に対して事前に文
字データで実験し、ある値（α_２）以上であれば必ず正
しく認識し、又ある値（α_１）以下であれば誤認識の可
能性が高いと判断できる値を推定しておく。又、前述の
文字形状評価値に関しても同様に、ある値（β_２）以上
であれば、そのパタンは１文字である可能性が高く、あ
る値（β_１）以下でれば１文字である可能性が低いと判
断できる値を推定しておく。α_２以上を文字認識評価値
の信頼域と呼び、α_１以下を文字認識評価値の棄却域と
呼ぶ。又β_２以上を文字形状評価値の信頼域、β_１以下
を文字形状評価値の棄却域と呼ぶ。これら２つの評価値
からパタンｐ（i,j）に関して以下のような特徴をもつ
特性関数を構成する。

文字認識評価値ｘ（i,j）がその信頼域に含まれるな
らば、そのパタンｐ（i,j）は１文字らしいと判断し、
特性関数は値１を持つ。

文字形状評価値ｙ（i,j）がその信頼域に含まれるな
らば、そのパタンｐ（i,j）は１文字らしいと判断し、
特性関数は１に近い値を持つ。

文字認識評価値ｘ（i,j）と文字形状評価値ｙ（i,j）
がともにそれぞれの棄却域に含まれるならば、特性関数
は値０を持つ。

このような特徴をもつ文字形状評価値と文字認識評価
値を変数とする特性関数によって、文字評価値を算出す
ることにより、例えば第２図（ｂ）のように縦に長い文
字で文字形状評価値が低くても、文字認識評価値が十分
高ければ文字評価値は高くなり、そのパタンは文字らし
いと判断される。又、第２図（ａ）のように低品質の文
字で文字評価値が低いときでも、文字形状評価値が信頼
域に含まれれば、文字評価値としては高い値を得ること
が可能である。

このような文字評価値を各パタンｐ（i,j）について
算出することによって、文字評価値を重みとする２端子
有向グラフが得られる。この２端子有向グラフの始点N_o
から終点N_kにいたるパスに対して、文字評価値の重み付
き加算和で決定される文字列評価値を算出し、文字列評
価値が最大となるパスを探索する。例えば第３図（ｃ）
では、太線の様なパスが選ばれる。この最適パスの各リ
ンクに対応するパタンｐ（i,j）を文字例から切り出さ
れた文字パタンであるとし、パタンｐ（i,j）の認識結
果をこの文字列の認識結果とする。以上本発明の原理に
ついて横書き文字列画像を用いて説明したが、縦書き文
字列画像に対しても、文字形状評価値に於ける文字内余
白を縦方向に関する余白の長さと置き換える等の処理を
するだけで容易に実現できる。

（実施例）第１図は、本発明の一実施例の構成を示すブロック図
である。文字列画像記憶手段１は、２値化された文字列
画像を格納する通常の記憶手段である。基本パタン抽出
手段２は該文字列画像記憶手段１から文字列画像を信号
11として読み込み、図形としてのまとまりの最小単位の
パタンを抽出する手段である。これは、例えば特願平１
−280482号「文字列切り出し方法及びその装置」で知ら
れている技術を利用することにより可能である。この方
法は文字列中の文字数が既知である場合に、文字の切り
出しを行うための方法であるが、基本的には図形の塊を
抽出しているので、基本パタンの抽出にそのまま適用で
きる。但し、この方法を利用するためには、前記文字列
画像からそこに含まれる文字数の上限（ｎ）を推定する
ことが必要である。このためにまず、第６図に示すよう
な文字列の高さ（Ｈ）及び幅（Ｗ）を、文字列画像の縦
方向と横方向に黒画素を走査することにより算出する。
又、文字列画像の方向と垂直な方向に黒画素が存在する
かどうかを走査し、黒画素が存在しない領域の長さ
（Ｉ）を計数する。一般に文字の縦横比（文字幅／高
さ）は0.5以上であるため、これを利用して、文字数ｎ
を以下の式で求める。

ｎ＝（Ｗ−Ｉ）／（Ｈ＊0.5）このように、文字列画像に含まれる文字パタンの数の
上限を推定することは従来技術により容易に実現でき
る。候補文字パタン作成手段３では、信号12として該基
本パタンを読み込み、隣接するものを統合して、１文字
である可能性の高い候補文字パタンを作成し、これを格
納する。ここで１文字である可能性の高いパタンとは、
例えば次のような判定基準イ、ロで決定するもので従来
技術で実現できる。

イパタンの外接矩形の縦横比（ｒ）が0.5≦ｒ≦2.0な
らばそのパタンは候補文字パタンとする。

ロパタンの右（または左）の余白（ｋ）のパタンの高
さ（ｈ）に対する比が0.5以上ならばそのパタンは右
（または左）のパタンと統合しない。

文字形状評価値算出手段４は、該候補文字作成手段３
から信号13として候補文字パタンｐ（i,j）を読み込
み、前述の式（１）により文字形状評価値を算出する
が、文字内余白や文字の縦横比などは従来技術により容
易に求められ、従って文字形状評価値も算出可能であ
り、容易に実現できる。文字認識評価値算出手段６は、
文字辞書記憶手段５から文字の標準パタンを信号14とし
て読み込み、候補文字パタン作成手段３から信号15によ
り候補文字パタンを読み込み、この候補文字パタンを認
識処理し、前述したような特徴を有する文字認識評価値
ｘ（i,j）を算出する。例えば、従来より良く知られて
いる技術である単純類似度法により認識処理を行ない、
その類似度値を文字認識評価値として用いることによ
り、容易に実現できる。但し単純類似度法とは、入力ベ
クトルｘと標準パタンのベクトルｙとに対して、その類
似度ｓ（x,y）を次式で計算する方法である。

特性関数構成手段７では、予め定めた文字認識評価値
の信頼域のパラメータ（α_２）及び棄却域のパラメータ
（α_１）、文字形状評価値の信頼域のパラメータ
（β_２）及び棄却域のパタメータ（β_１）を使って、前
述のような特徴〜をもつ特性関数を構成する。例え
ば、簡単のために文字認識評価値をｘ、文字形状評価値
をｙとし、特性関数ｇ（x,y）を以下のようにパラメー
タα₁,α₂,β₁,β_２を用いて定義すると、前述の特性
〜をもつ特性関数が構成でき、容易に実現できる。

但し c₀＝β_１（α_２−１）（α_２−α_１）−α_１β_２ c₁＝α_１β_１−α_２β_１＋β_２ c₂＝α_１α_２−α₂ ²＋α_２ c₃＝α_２−α_１−１文字評価値算出手段８は、特性関数構成手段７から信
号18として特性関数ｇ（x,y）を読み込み、前記文字認
識評価値算出手段４から信号15として文字認識評価値ｘ
（i,j）を読み込み、前記文字形状評価値算出手段６か
ら信号16として文字形状評価値ｙ（i,j）を読み込み、
特性関数ｇ（x,y）によって文字評価値ｆ（i,j）を算出
するものであるが、従来技術により容易に実現できる。
最適組合せ探索手段９では、信号19として各候補文字パ
タンｐ（i,j）の文字評価値ｆ（i,j）を前記文字評価値
算出手段８から読み込み、候補文字パタンの組合せに対
して以下のような文字列評価値Ｅを算出し、文字列評価
値の最大となる候補文字パタンの組合せを探索する。

Ｅ＝Σ（ｊ−ｉ）＊ｆ（i,j）この最適組合せは、動的計画法を用いて探索可能であ
り、容易に実現できる。文字列認識結果出力手段10で
は、前記最適組合せ探索手段９から信号20として最適組
合せを読み込み、そこに含まれている各候補文字パタン
を前記文字列画像の切り出された文字パタンとして、前
記文字列認識評価値算出手段６から対応する認識結果を
信号21として読み込み、文字列画像の先頭に位置する候
補文字パタンから認識結果を出力するもので、容易に実
現できる。

以上、実施例をもって本発明を詳細に説明したが本発
明はこの実施例にのみ限定されるものではない。例え
ば、基本パタン抽出手段では文字列画像の方向と垂直な
方向に黒画素の数を計数して投影分布関数ｇ（ｘ）を求
め、ｇ（ｘ）の値があるしきい値より小さい位置を基本
パタンの切り出し位置として、基本パタンを抽出するこ
とも可能である。又、候補文字パタン作成手段は、この
後に続く処理量を削減するためのものであり、前述のよ
うなルールを用いずに、第７図のようにあらゆる基本パ
タンの組合せを候補文字パタンとして以下の処理を行っ
ても本発明の原理には支障なく適用できる。更に文字形
状評価値算出手段や文字認識評価値算出手段において、
その評価値の算出方法は１例であり、例えば、文字形状
評価値として外接矩形の面積やパタンの両側の余白の長
さを考慮にいれた評価値でも本発明には適用できる。

（発明の効果）以上のように本発明によれば、文字列中の各文字が高
品質ならば文字幅、文字の縦横比や文字間隔等の変動に
影響されない文字列の切り出し及び認識が可能となる。
又各文字が比較的低品質であっても、図形的に見れば切
り出しが可能な文字列に関しては、認識性に余り影響さ
れず、正しい文字の切り出しを可能になり、このような
場合には単語照合等の後処理により正しい文字列認識が
可能になる。

【図面の簡単な説明】

第１図は本発明の一つである文字列認識装置の一実施例
の構成を示すブロック図、第２図は従来技術の問題点を
説明するための図、第３図，第４図，第５図，第６図は
本発明の原理を説明するための図、第７図は他の実施例
を説明するための図である。図中、１は文字列画像記憶手段、２は基本パタン抽出手
段、３は候補文字パタン作成手段、４は文字形状評価値
算出手段、５は文字辞書記憶手段、６は文字認識評価値
算出手段、７は特性関数構成手段、８は文字評価値算出
手段、９は最適組合せ探索手段、10は文字認識結果出力
手段である。

Claims

(57)【特許請求の範囲】

【請求項１】文字列画像から図形的特徴を抽出し、これ
に基づいて文字列画像から図形としてのまとまりの最小
単位である基本パタンを抽出し、該基本パタンから隣接
するものを統合して候補文字パタンを作成し、該候補文
字パタンに対して文字形状評価値を算出し、前記候補文
字パタンに対して文字認識辞書の標準パタンと照合して
認識処理を行い、文字認識評価値を算出し、文字形状評
価値に対して予め設けておいた信頼域パラメータ及び文
字認識評価値に対して予め設けておいた信頼域パラメー
タとを変数とする文字らしさを表す特性関数を構成し、
該特性関数を用いて、前記文字形状評価値と前記文字認
識評価値とから前記候補文字パタンの文字評価値を算出
し、該文字評価値を使って前記候補文字パタンの組合せ
に対する文字列評価値を算出し、該文字列評価値の最大
となる前記候補文字パタンの組合せを探索し、前記候補
文字パタンの組合せに対する文字認識結果の列を前記文
字列画像の認識結果とすることを特徴とする文字列認識
方法。
【請求項２】文字列画像を読み込み、図形的なまとまり
の最小単位である基本パタンを抽出しこれを格納する基
本パタン抽出手段と、該基本パタン抽出手段から基本パ
タンを読み込み、隣接したものを統合して候補文字パタ
ンを作成し、これを格納する候補文字パタン作成手段
と、該候補文字パタン作成手段から候補文字パタンを読
み込み、文字形状評価値を算出し、これを記憶する文字
形状評価値算出手段と、文字の標準パタンを格納する文
字認識辞書記憶手段から標準パタンを読み込み、前記候
補文字パタン作成手段から候補文字パタンを読み込み、
認識処理を行って文字認識評価値を算出し、認識結果及
び文字認識評価値を記憶する文字認識評価値算出手段
と、文字形状評価値に対して予め設けておいた信頼域パ
ラメータ及び文字認識評価値に対して予め設けておいた
信頼域パラメータとを変数とする文字らしさを表す特性
関数を構成する特性関数構成手段と、該特性関数構成手
段から特性関数を読み込み、前記文字認識評価値算出手
段から文字認識評価値を読み込み、前記文字形状評価値
算出手段から文字形状評価値を読み込み、前記候補文字
パタンの文字評価値を算出する文字評価値算出手段と、
該文字評価値算出手段から文字評価値を読み込み、文字
列評価値を算出し、候補文字パタンの最適な組合せを探
索し、これを記憶する最適組合せ探索手段と、該最適組
合せ探索手段から候補文字パタンの最適組合せを読み込
み、各候補文字パタンの認識結果を前記文字認識評価値
算出手段から読み込み、これを出力する文字列認識結果
出力手段を有することを特徴とする文字列認識装置。