JP3457094B2 - 文字認識装置及び文字認識方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は文字認識装置に関し、特
に文字の認識においてパターンマッチング法により認識
の困難な文字の認識精度向上に関する。

【０００２】

【従来の技術】近年、文字認識装置が普及し、イメージ
スキャナで読み込んだ文書画像における活字を文字認識
する文字認識装置が広く用いられつつある。従来の文字
認識装置では、辞書パターンとのマッチングだけでは判
別が困難な相似形文字（例えば英文における大文字と小
文字）等においては、以下のような文字認識処理を行っ
ている。例えば特開昭６３−２１６１８９号公報にその
方法が示される。即ち、先ず、切り出された文字画像に
対して認識処理部が文字認識の処理を行い、どの文字で
あるかを示す認識結果を出力する。次に認識結果が、予
め定められた誤認識し易い相似形の大文字小文字（例え
ばＯとｏ、Ｖとｖ）である場合はさらに以下の処理を行
う。文字画像の上端又は下端が、その文字画像を含む文
字列を幾何学的に包含する文字行矩形において占める垂
直方向の座標位置を予め定められた基準値と比較するこ
とによって当該文字画像の文字が大文字であるか小文字
であるかを判定する。このように判定した結果が、認識
処理部の認識結果と矛盾する場合、例えば認識結果は小
文字ｖであるのに判定した結果が大文字Ｖであった場合
等は、当該認識結果を対応する相似形文字である大文字
Ｖに修正する。

【０００３】

【発明が解決しようとする課題】しかしながら上記従来
技術では、文字画像の上端又は下端が、文字行矩形にお
いて占める垂直方向の座標位置を基準値と比較すること
により判定を行っているため、垂直方向の座標位置が同
じである誤認識し易い類似文字（例えばｌとＩ、ｗと
ｍ）については判定を行うことが出来ない。そのため実
際は小文字のｌであるのに認識処理にて大文字のＩと誤
認識した場合や、実際は小文字のｗであるのに小文字の
ｍと誤認識した場合などであっても上記従来技術は何ら
判定を行わない。従って、認識処理部が類似文字につい
て誤認識した場合は誤りが修正されることはない。

【０００４】また、誤認識し易い相似形の大小文字に関
しても、一律に固定的な基準値を適用するので、判定の
精度があまり良くない。このように認識処理が誤認識し
た場合であっても判定を行わない場合があり、判定自体
の精度の良くないので文字認識装置の認識精度が良くな
いという問題点があった。

【０００５】本発明は上記問題点に鑑み、相似形文字や
類似文字を含む文書での文字の認識の精度を向上させる
文字認識装置及び文字認識方法を提供することを目的と
する。

【０００６】

【課題を解決するための手段】上記目的を達成するた
め、請求項１における発明では、文書画像中から各文字
画像を切り出す文字切り出し手段と、前記文字切り出し
手段において切り出された文字画像が認識対象文字のい
ずれの文字に該当するかを識別し該当する複数の候補文
字と当該候補文字ごとの認識評価値を出力する認識処理
手段と、前記文字切り出し手段において切り出された文
字画像の外接する図形が、当該文字画像を含む文字列に
外接する矩形である文字行矩形内において占める相対高
さ及び大きさの情報である文字外接図形情報を抽出する
文字外接図形情報抽出手段と、認識対象とする全ての文
字に対して、それぞれの文字に外接する図形が文字行矩
形において占める標準的な相対高さ及び大きさの情報で
ある文字外接図形情報を予め記憶しておく文字外接図形
情報辞書手段と、前記文字外接図形情報抽出手段で抽出
された文字外接図形情報を、前記認識処理手段において
出力された当該文字画像の各候補文字に対する前記文字
外接図形情報辞書手段の文字外接図形情報と照合し、各
候補文字ごとに外接図形評価値を算出する文字外接図形
評価手段と、前記認識処理手段において出力された候補
文字ごとの認識評価値と、前記文字外接図形評価手段に
おいて算出された候補文字ごとの外接図形評価値とに基
づいて、前記認識処理手段で出力された複数の候補文字
から最適文字を決定する文字決定手段とを備えたことを
特徴とする。

【０００７】請求項２における発明では、前記文字外接
図形情報抽出手段は、前記文字切り出し手段で切り出さ
れた文字画像の外接する図形が、上記文字行矩形内にお
いて占める相対高さ及び大きさの情報である相対位置情
報を抽出する相対位置情報抽出部と、上記相対位置情報
を用いて前記文字切り出し手段で切り出された文字画像
を、下部に突き出でいる文字である下部突出文字あるい
は上部文字に分類する文字分類部と、前記文字分類部で
上部文字と分類された文字画像の下端位置の平均値を基
準下端位置として算出する文字行基準下端位算出部と、
前記文字分類部で上部文字と分類された文字画像のなか
で最も高さの高い文字画像の高さを基準文字高さとして
算出する基準文字高さ算出部と、前記相対位置情報抽出
部で算出された相対位置情報を、前記文字行基準下端位
置算出部で算出された基準下端位置および基準文字高さ
算出部で算出された基準文字高さに基づいて、正規化し
た情報である文字外接図形情報を算出する文字形状情報
算出部とを備えたことを特徴とする。

【０００８】請求項３における発明では、前記文字行基
準下端位置算出部の代わりに、左隣の文字画像の下端位
置と当該文字画像の下端位置の差に基づいて、各文字画
像毎に基準下端位置を算出する文字基準下端位置算出部
を備え、前記文字形状情報算出部は、前記相対位置情報
抽出部で算出された相対位置情報を、前記文字基準下端
位置算出部で算出された基準下端位置および基準文字高
さ算出部で算出された基準文字高さに基づいて、正規化
した情報である文字外接図形情報を算出することを特徴
とする。

【０００９】請求項４における発明では、前記文字外接
図形評価手段は、前記認識処理手段が認識対象とする全
ての文字に対して、各文字に対応する相似形文字又は類
似文字が存在するか否かの存否情報を記憶している相似
類似文字存否情報記憶部と、前記認識処理部で出力され
た候補文字に対応する相似形文字又は類似文字が存在す
るか否かを、前記相似類似文字存否情報記憶部に記憶さ
れている存否情報を参照することにより判定する相似類
似文字存否判定部とを備え、すべての候補文字につい
て、前記相似類似文字存否判定部で相似形文字等が存在
しないと判定されたときは外接図形評価値を算出せず、
すべての候補文字のなかで一つでも前記相似類似文字存
否判定部で相似形文字等が存在すると判定されたときは
各候補文字ごとに外接図形評価値を算出し、前記文字決
定手段は、前記文字外接図形評価手段で外接図形評価値
が算出されなかったときは、認識評価値のみに基づい
て、前記認識処理手段で出力された複数の候補文字から
認識文字を決定することを特徴とする。

【００１０】請求項５における発明では、前記文字外接
図形評価手段は、前記認識処理手段で出力された認識評
価値のうち最小値をとる第１位候補文字について、前記
相似類似文字存否判定部で相似形文字等が存在しないと
判定されたときはすべての候補文字について外接図形評
価値を算出せず、第１位候補文字について、前記相似類
似文字存否判定部で相似形文字等が存在すると判定され
たときは各候補文字ごとに外接図形評価値を算出するこ
とを備えたことを特徴とする。

【００１１】請求項６における発明では、前記文字認識
装置は、さらに、前記切り出し手段で切り出された各文
字画像間の間隔に基づいて区切られた文字列に外接する
矩形である部分文字行矩形を抽出する部分文字行矩形抽
出手段を備え、前記文字外接図形情報抽出手段は、前記
文字切り出し手段において切り出された文字画像におい
て、前記部分文字行矩形抽出手段で抽出された部分文字
行矩形内に対する文字外接図形情報を抽出することを特
徴とする。

【００１２】請求項７における発明では、文書画像中か
ら各文字画像を切り出す文字切り出しステップと、切り
出された文字画像に対して認識対象文字のいずれかであ
るかを識別し複数の候補文字と当該候補文字ごとの認識
評価値を出力する認識処理ステップと、切り出された文
字画像の外接する図形が、当該文字画像を含む文字列に
外接する矩形である文字行矩形内において占める相対高
さ及び大きさの情報である文字外接図形情報を抽出する
文字外接図形情報抽出ステップと、当該文字画像の各候
補文字に対する文字外接図形情報を前記文字外接図形情
報辞書手段から取り出す文字外接図形情報取り出しステ
ップと、前記文字外接図形情報取り出しステップで取り
出された各候補文字に対する文字外接図形情報と、上記
文字外接図形情報とを照合し、各候補文字ごとに外接図
形評価値を算出する文字形状評価ステップと、前記認識
処理ステップにおいて出力された候補文字ごとの認識評
価値と、前記文字形状評価ステップにおいて算出された
候補文字ごとの外接図形評価値とに基づいて、前記認識
処理手段で出力された複数の候補文字から認識文字を決
定する文字決定ステップとを備えたことを特徴とする。

【００１３】

【作用】上記請求項１の発明によれば、認識処理手段
は、各候補文字ごとの認識評価値を出力する。一方、文
字外接図形評価手段は、文字外接図形情報抽出手段で抽
出された文字外接図形情報と、各候補文字に対する文字
外接図形情報辞書手段のそれぞれの文字外接図形情報と
を照合し各候補文字ごとに外接図形評価値を算出する。
文字決定手段は、候補文字ごとの認識評価値と、候補文
字ごとの外接図形評価値とに基づいて、認識処理手段で
出力された複数の候補文字から最適文字を決定する。

【００１４】請求項２の発明によれば、文字行内の各文
字画像の相対位置を抽出した後に、各文字画像を下部突
出文字または上部文字に分類する。下部突出文字を除い
た文字に基づいて基準下端位置および基準文字高さを求
め、文字行矩形内の各文字画像の相対位置を正規化して
文字外接図形情報を算出する。請求項３の発明によれ
ば、文字基準下端位置算出部は、基準下端位置を、左隣
の文字画像の下端位置と当該文字画像の下端位置の差に
基づいてもとめるので、文字行矩形内の基準下端位置が
１文字画像毎に補正される。

【００１５】請求項４の発明によれば、相似類似文字存
否判定部は、候補文字に対応する相似形文字等が存在す
るか否かを、前記相似類似文字存否情報記憶部に記憶さ
れている存否情報を参照することにより判定する。文字
外接図形評価手段は、すべての候補文字について、前記
相似類似文字存否判定部で相似形文字等が存在しないと
判定されたときは外接図形評価値を算出しない。文字決
定手段は、文字外接図形評価手段で外接図形評価値が算
出されなかったときは、認識評価値のみに基づいて、前
記認識処理手段で出力された複数の候補文字から最適文
字を決定する。

【００１６】請求項５の発明によれば、第１位候補文字
について、前記相似類似文字存否判定部で相似形文字等
が存在しないと判定されたときはすべての候補文字につ
いて外接図形評価値を算出しない。請求項６の発明によ
れば、部分文字行矩形抽出手段は、切り出し手段で切り
出された各文字画像間の間隔に基づいて部分文字行矩形
を抽出する。文字外接図形情報抽出手段は、文字切り出
し手段において切り出された文字画像において、部分文
字行矩形抽出手段で抽出された部分文字行矩形内に対す
る文字外接図形情報を抽出する。

【００１７】請求項７の発明は、請求項１の発明と同様
の作用をなす。

【００１８】

【実施例】図１は、本発明の第１の実施例における文字
認識装置の構成図を示す。当該文字認識装置は、文字行
画像入力受付部１１と文字切り出し部１２と部分文字行
矩形抽出部１３と認識処理部１４と文字形状抽出部１５
と文字形状辞書記憶部１６と文字形状評価部１７と文字
決定部１８とから構成されている。

【００１９】文字行画像入力受付部１１は、スキャナ等
で読み込んだ文書の文書画像から抽出された文字行画像
を受け付ける。図２（ａ）は、入力された文字行画像の
例を示す図である。文字切り出し部１２は、文字行画像
入力受付部１１で受け付けた文字行画像から１文字毎の
文字画像を切り出し、さらに各文字画像ごとの文字画像
矩形及びその位置を抽出する。例えば図２（ａ）に示す
文字行画像２１において、各文字画像を切り出し、さら
に各文字画像ごとの文字画像矩形２２を抽出する。

【００２０】部分文字行矩形抽出部１３は、文字切り出
し部１２で切り出された各文字画像矩形間の間隔及び位
置に基づいて、１個以上の部分文字行矩形を抽出する。
ここで部分文字行矩形とは、文字行画像内の近接してい
る文字画像の集まりにおいて、当該文字画像の集まりに
外接する矩形である。例えば図２（ａ）の文字画像矩形
２２から抽出された部分文字行矩形は、図２（ｂ）に示
す部分文字行矩形２５、２６である。当該部分文字行矩
形抽出部１３において、部分文字行矩形を抽出するのは
以下ようにして行われる。文字切り出し部１２で抽出さ
れた各文字画像矩形において、隣接する文字画像矩形と
のｘ方向の間隔（図２（ａ）の２３、２４等）を算出す
る。次にその算出した間隔が、所定の基準値（例えば文
字行画像の高さの１／２等）以上の間隔が存在するか否
かを判断する。所定の基準値以上の間隔があれば、当該
場所までの文字画像矩形に外接する矩形を、部分文字行
矩形として求める。図２（ｂ）の二つの部分文字行矩形
２５、２６は、図２（ａ）に示す文字画像矩形２２にお
いて、間隔２４が基準値以上であると判断されたので、
当該間隔２４の場所に基づいて部分文字行矩形を抽出し
た状態を示している。

【００２１】認識処理部１４は、部分文字行矩形抽出部
１３で抽出された部分文字行矩形内に存在する各文字画
像に対し、認識対象各文字のいずれであるかを識別し、
複数の候補文字と当該候補文字ごとの認識評価値を出力
する。本実施例では、認識対象文字はアルファベットの
Ａ〜Ｚ及ａ〜ｚとする。当該認識処理部１４は、具体的
には以下の処理を行う。例えば図３の部分文字行矩形３
７内の各文字画像矩形３１、３２、…、３６の文字に対
して認識処理を行ったとすると、図４に示すように候補
文字と評価値を出力する。この例では、評価値の値の小
さい方がより順位の高い候補文字であることを意味す
る。図４において、行４１は、文字画像矩形３１の１番
目の候補文字である第１位候補文字は、小文字「ｓ」で
ありその評価値は４２８であることを示し、同様に第２
位候補文字は、大文字「Ｓ」でありその評価値は４３０
であることを示し、第３位候補文字は、大文字「Ｇ」で
ありその評価値は５１０であることを示している。他の
行４２、４３…４６についても、図４に示される通りで
ある。また、当該認識処理部１４は公知技術であり、技
術文献として、現代自動制御双書１１ 「パターン認識
とその応用」 中田和男 編 コロナ社 １９７８年
や、特許公報として、特開昭６１−１８８６８１があげ
られる。

【００２２】文字形状抽出部１５は、文字切り出し部１
２で切り出された文字画像矩形の部分文字行矩形に対す
る相対位置および大きさの情報である文字形状抽出情報
を抽出する。ここで文字形状抽出情報は図７に示すよう
な情報であり、文字画像矩形の上端ｙ座標７０１、下端
ｙ座標７０２、高さ７０３、幅７０４の情報からなる。
詳細は後述する。当該文字形状抽出部１５は、文字形状
抽出情報を算出するため、図６に示すように、相対位置
情報抽出部１５１と文字分類部１５２と文字行基準下端
位置算出部１５３と基準文字高さ算出部１５４と文字形
状抽出情報算出部１５５とから構成される。以下、各部
について説明する。

【００２３】相対位置情報抽出部１５１は、部分文字行
矩形抽出部１３で抽出された部分文字行矩形における各
文字画像矩形の相対位置の情報である相対位置情報を抽
出する。例えば図３に示す各文字画像矩形３１、…、３
６の部分文字行矩形３７に対する相対位置情報を抽出す
る。相対位置情報は具体的には図５に示すように文字画
像矩形における上端ｙ座標５１１と下端ｙ座標５１２と
高さ５１３と幅５１４との情報からなる。これは、部分
文字行矩形の左下の座標をｘ＝０、ｙ＝０としｘ座標は
右方向が正、ｙ座標は上方向が正とした場合において、
それぞれ各文字画像矩形の上端のｙ座標が上端ｙ座標５
１１であり、下端のｙ座標が下端ｙ座標５１２であり、
高さが高さ５１３であり、幅が幅５１４であることを示
している。図３に示す部分文字行矩形３７中の各文字画
像矩形３１、３２、…、３６の文字形状抽出情報は、図
５の行５０１〜５０６に示されるような値となる。

【００２４】文字分類部１５２は、相対位置情報抽出部
１５１において抽出された各文字画像矩形の相対位置情
報に基づき文字画像矩形を下部突出文字または上部文字
のいずれかに分類する。ここで上部文字は、部分文字行
の下端から一定以上の間隔のある文字をいう。例えば、
「Ｓ」「ａ」「ｍ」等である。次に下部突出文字は、部
分文字行の下端から一定以上の間隔がない文字をいう。
例えば、「ｐ」「ｇ」等である。当該文字分類部１５２
は以下の基準により分類を行っている。部分文字行矩形
内の各文字画像矩形の下端ｙ座標が部分文字矩形行の下
端（ｙ＝０）から一定以上の間隔がある場合に上部文字
と分類し、同様に部分文字行矩形の下端位置と一定以上
の間隔がない場合に下部突出文字として分類する。例え
ば、文字行矩形の高さ（図３の例では ４３）の２０％
以上の空白があるものを下部突出文字それ以外を上部文
字とする。すると下端ｙ座標が８．６（高さ４３の２０
％）未満の文字画像矩形の文字が下部突出文字、それ以
外が上部文字となる。従って図３の各文字画像矩形に基
づき、下部突出文字は文字画像矩形３４の文字、上部文
字は文字画像矩形３１、３２、３３、３５、３６の文字
となる。これは、図５の分類結果５１５に示す列に、下
部突出文字を「下」、上部文字を「上」として示してい
る。なお、部分文字行矩形内のすべての文字が下部突出
文字であった場合には、部分文字行矩形内のすべての文
字を上部文字であるとする。

【００２５】文字行基準下端位置算出部１５３は、上部
文字に分類された各文字領域の下端ｙ座標の平均位置を
標準下端位置として算出する。図５の例では、上部文字
の下端ｙ座標は、行５０１の１４と行５０２の１５と行
５０３の１４と行５０５の１４と行５０６の１３である
ので、平均は１４となる。従って標準下端位置は１４と
なる。

【００２６】基準文字高さ算出部１５４は、上部文字に
分類された文字の文字画像矩形のなかで最も高さの高い
文字画像矩形の高さを基準文字高さとして算出する。図
３の例では最も高さの高い文字画像矩形３４又は文字画
像矩形３５の高さ２９を基準文字高さとする。文字形状
抽出情報算出部１５５は、相対位置情報抽出部１５１に
おいて抽出された各文字画像矩形の相対位置情報を、文
字行基準下端位置算出部１５３で算出された標準下端位
置および基準文字高さ算出部１５４で算出された基準文
字高さに基づき、正規化した情報である文字形状抽出情
報を算出する。具体的には、標準下端位置ｙ座標を０、
文字の標準高さが１００となるように正規化する。

【００２７】ここで標準下端位置をＳｙ（図３の例では
Ｓｙ＝１４）、基準文字高さＨ（図３の例ではＨ＝２
９）、文字画像矩形の上端ｙ座標をＵｙ、下端ｙ座標を
Ｌｙ、幅をＷとする。算出する文字画像矩形の文字形状
抽出情報は、上端ｙ座標７０１と下端ｙ座標７０２と高
さ７０３と幅７０４の要素からなる。これらの要素は以
下の演算式で求められる。

【００２８】 上端ｙ座標７０１＝１００＊（Ｕｙ−Ｓｙ）／Ｈ 下端ｙ座標７０２＝１００＊（Ｌｙ−Ｓｙ）／Ｈ 高さ７０３＝１００＊（Ｌｙ−Ｕｙ）／Ｈ 幅７０４＝１００＊Ｗ／Ｈ このような演算式を用いて図５に示す相対位置情報を演
算することにより図７に示すような文字形状抽出情報を
算出する。図７において、行７１１は、図３における文
字画像矩形３１に対する文字形状抽出情報であり、同様
に行７１２〜行７１６はそれぞれ文字画像矩形３２〜３
６に対する文字形状抽出情報である。

【００２９】文字形状辞書記憶部１６は、認識処理部１
４が認識対象とするすべての認識対象文字に関して、当
該認識対象文字の文字画像矩形の標準的な相対位置及び
大きさの情報である文字形状辞書情報を記憶している。
認識対象とするすべての文字は、具体的には図８の列８
００に示すように英語のアルファベットの大文字Ａ〜Ｚ
までと小文字のａ〜ｚまでの文字である。文字形状辞書
情報とは、具体的には、前記認識対象文字の文字画像矩
形の上端ｙ座標８０１と下端ｙ座標８０２と高さ８０３
と幅８０４との情報からなり、後述する文字形状評価部
１７が評価を行うために用いるものである。当該文字形
状辞書情報の要素は、前述した文字形状抽出部１５で抽
出された文字形状抽出情報と同じである。例えば文字
「Ａ」に対しては、値として上端ｙ座標８０１は９８、
下端ｙ座標８０２は０、高さ８０３は１００及び幅８０
４は９０が記憶されている。

【００３０】文字形状評価部１７は、認識処理部１４が
出力した候補文字に対応する文字形状辞書情報を文字形
状辞書記憶部１６から取り出し、文字形状抽出部１５に
おいて抽出された文字形状抽出情報との照合を行い各候
補文字毎の形状評価値を算出する。形状評価値は、文字
画像矩形の文字形状抽出情報の各要素から候補文字に対
応する文字形状辞書情報の各要素を引いた値を合計した
値である。具体的に文字形状抽出情報における上端のｙ
座標と文字形状辞書情報におけ上端のｙ座標の差と、同
様に下端のｙ座標の差と、高さの差と、幅の差とのすべ
ての合計である。例えば、図３の文字画像矩形３１に関
しては、図４に示すように候補文字ｓ、Ｓ、Ｇに対する
文字形状辞書情報と、図７の行７１１に示す文字形状抽
出情報との照合が行われる。

【００３１】候補文字ｓに対しては図８の行８３に示す
文字形状辞書情報と、図７の行７１１に示す文字形状抽
出情報とを以下に示すように照合する。 ｜９６．６−６７｜＋｜０．０−０｜＋｜９６．６−６
７｜＋｜６２．１−５８｜＝６３．３ 従って候補文字ｓの形状評価値は６３．３である。

【００３２】候補文字Ｓに対しても同様に図８の行８２
に示す文字形状辞書情報と、図７の行７１１に示す文字
形状抽出情報とを以下に示すように照合する。 ｜９６．６−９８｜＋｜０．０−（−２）｜＋｜９６．
６−１００｜＋｜６２．１−８３｜＝２７．７ 従って候補文字Ｓの形状評価値は２７．７である。

【００３３】候補文字Ｓに対しても同様に図８の行８１
に示す文字形状辞書情報と、図７の行７１１に示す文字
形状抽出情報とを以下に示すように照合する。 ｜９６．６−９８｜＋｜０．０−（−２）｜＋｜９６．
６−１００｜＋｜６２．１−８３｜＝３９．７ 従って候補文字Ｇの形状評価値は３９．７である。

【００３４】文字決定部１８は、認識処理部１４で得ら
れた各候補文字に対応する認識評価値と形状評価値を合
わせた値により最終認識結果を決定する。具体的には、
認識処理部１４によって得られた候補文字との認識評価
値をＸとし、文字形状評価部１７によって得られた形状
評価値をＹとすると各評価値を Ｘ＋ａ・Ｙ （ａは予め定めた定数、例えばａ＝１．０）と加算する
ことにより最も値の小さい値を選択することにより最終
認識結果を決定し出力する。例えば図３の文字画像矩形
３１の候補文字「ｓ」「Ｓ」「Ｇ」に対しては、認識評
価値がそれぞれ４２８、４３０、５１０であり、形状評
価値はそれぞれ６３．３、２７．７、３９．７である。
各候補文字の認識評価値と形状評価値を足した値は、そ
れぞれ、４９１．３、４５７．７、５４９．７となる。
よって、最も値の小さいのは、候補文字「Ｓ」の４５
７．７となり、最終認識結果は、「Ｓ」となる。

【００３５】以上のように構成された文字認識装置につ
いて、図９に示すフローチャートを用いて動作を説明す
る。先ず、文字画像を切り出し文字画像矩形を抽出し、
さらに部分文字行矩形を抽出する（ステップＳ９０１、
ステップＳ９０２）。図３は、抽出された文字画像矩形
３１、…、３６と、部分文字行矩形３７を示す。先ず一
つの文字画像に対して認識処理を行い、複数の候補文字
と当該文字候補毎の認識評価値を出力する（ステップＳ
９０３）。例えば図４の行４１に示すように、文字画像
矩形３１の文字画像に対応する候補文字「ｓ」「Ｓ」
「Ｇ」とその評価値４２８、４３０、５１０が出力され
る。当該出力によると、実際は「Ｓ」であるのに、誤っ
て「ｓ」と誤認識していることが分かる。次に、部分文
字行矩形３７における文字画像矩形３１の文字形状抽出
情報を図７の行７１１に示すように抽出する（ステップ
Ｓ９０４）。一方、複数の候補文字である「ｓ」「Ｓ」
「Ｇ」に対応する文字形状辞書情報を候補文字ごとに取
り出す（ステップＳ９０５）。当該情報は、図８におけ
る行８３、行８２、行８１に示す部分である。次に、候
補文字毎の文字形状辞書情報それぞれに、文字形状抽出
情報を照合し、候補文字毎の形状表価値を算出する（ス
テップＳ９０６）。候補文字「ｓ」「Ｓ」「Ｇ」の形状
評価値は、それぞれ６３．３、２７．７、３９．７とな
る。次に、候補文字ごとの認識評価値と形状評価値の和
を計算し、その和が最小となる候補文字を最終認識結果
として出力する（ステップＳ９０７）。具体的には、候
補文字「ｓ」「Ｓ」「Ｇ」に関する認識評価値と形状評
価値の和は、それぞれ４９１．３、４５７．７、５４
９．７となるので、その和が最小となる候補文字「Ｓ」
を最終認識結果として出力する。従って「Ｓ」を「ｓ」
とする誤認識が修正されたことが分かる。同様の処理を
他の文字画像矩形３２〜３６について繰り返し、最終認
識結果としてそれぞれ「ａｍｐｌｅ」が出力される（ス
テップＳ９０１〜ステップＳ９０８）。最初の「Ｓ」を
含めると認識結果として「Ｓａｍｐｌｅ」が出力され
る。

【００３６】なお、文字形状評価部１７は、さらに評価
の対象とする文字に相似形文字や類似文字が存在するか
否かの存否情報を記憶している相似類似文字存否情報記
憶部を備えている構成であってもよい。当該類似文字存
否情報記憶部は、図１０に示すように認識対象とするす
べての文字（Ａ〜Ｚ、ａ〜ｚ）のそれぞれについて相似
形文字や類似文字が存在するか否かの存否情報を記憶し
ている。文字形状評価部１７は、認識処理部１４におい
て得られたすべての候補候補文字について相似類似文字
存否記憶部に記憶されている存否情報を参照する。参照
した結果、候補文字の一つにでも対応する相似形文字又
は類似文字が存在する場合は、通常通り全ての候補文字
について形状評価値を算出する。存否情報を参照し、す
べての候補文字について対応する相似形文字又は類似文
字が存在しない場合は、形状評価値を算出しない。この
場合は、すべて候補文字に対する形状評価値をすべて０
にするとするという構成をであってもよい。

【００３７】また、前述した文字形状評価部１７はすべ
ての候補文字に対して相似形文字等が存在するかどうか
を判定していたが、すべての候補文字に対して判定を行
わず第１位候補文字に対してのみ行うという構成であっ
てもよい。例えば図４の例において、文字画像矩形３１
に対する第１位候補文字は「ｓ」であるとする。この
「ｓ」は、図１０の１０２行に示すように相似形文字等
が存在するため、文字形状評価部１７は通常通り形状評
価値を算出する。一方、文字画像矩形３２の第１位候補
文字は「ａ」である。当該第１位候補文字「ａ」に対す
る相似形文字等は、図１０の１０１行に示すように存在
しないため、各候補文字に対する形状評価値の算出は行
わない。この場合、すべての候補文字の形状評価値をを
０とすることによって認識処理部１４の第１位候補文字
が最終認識結果となる。

【００３８】なお、実施例において形状評価値を求める
際、上端／下端／高さ／幅の差を演算式として用いた
が、上端／下端／高さのみを用いてもよい。さらに、実
施例において文字決定部１８において、認識評価値と形
状評価値とを加算するものとしたが、両評価値の積等も
用いてもよい。次に本発明の第２の実施例について説明
する。第２の実施例は、処理すべき文字画像が斜めずれ
ている場合、例えば図１２に示すように文字画像矩形１
２１、１２２、…、１２６が右にいくほと上にずれてい
る場合においても文字画像を処理する文字認識装置であ
る。

【００３９】図１１は本発明の第２の実施例の文字認識
装置における文字形状抽出部の構成図である。本実施例
は第１の実施例の構成要素とほぼ同じであるが文字形状
抽出部１５の代わりに図１１に示す文字形状抽出部が用
いられている点のみが第１の実施例における文字認識装
置と異なる。図１１に示すように本実施例における文字
形状抽出部は、相対位置情報抽出部１１１、文字分類部
１１２と、文字基準下端位置算出部１１３と、基準文字
高さ算出部１１４と、文字形状抽出情報算出部１１５と
から構成されている。

【００４０】相対位置情報抽出部１１１は、第１の実施
例における相対位置情報抽出部１５１と同様である。当
該相対位置情報抽出部１１１が抽出した相対位置情報
は、図１３に示される。図９に示す文字画像矩形が右に
行くほど上がっているので、図１３における下端ｙ座標
も行１３４の下端ｙ座標をのぞき、値が大きくなってい
る。

【００４１】文字分類部１１２は、第１の実施例におけ
る文字分類部１５２と同様である。当該文字分類部１１
２は、図１３の行１３１と行１３４に示すように図１２
の文字画像矩形１２１と文字画像矩形１２４を下部突出
文字として分類している。文字基準下端位置算出部１１
３は、左隣の文字画像矩形の下端ｙ座標と当該文字画像
矩形の下端ｙ座標と標準下端位置の初期値とをもちい
て、左から順に標準下端位置を算出する。具体的には、
左隣の文字画像矩形の下端ｙ座標と当該文字画像矩形の
下端ｙ座標との差が所定値（例えば部分文字行矩形の高
さの１０％）以内の場合は、当該文字画像矩形の下端ｙ
座標を標準下端位置とする。例えば、図１２の文字画像
矩形１２２の標準下端位置は、以下のようにして求めら
れる。文字画像矩形１２２の下端ｙ座標は図１３の行１
３２に示すように９であり、その左隣の文字画像矩形１
２１の下端ｙ座標は行１３１に示すように７であるの
で、その差は２である。部分文字行矩形の高さは図１２
に示すように４０でありその１０％は４であるので、そ
の差は所定値以内である。従って当該文字画像矩形１２
２の標準下端位置は９と算出される。一方、差が所定値
以上の場合は、標準下端位置の初期値を当該文字画像矩
形の標準下端位置とする。ここで標準下端位置の初期値
は、上部文字に分類された文字の中で最も左側に位置す
る文字画像矩形の下端ｙ座標とする。例えば、図１３に
おいて上部文字に分類された文字の中で最も左側に位置
するのは文字画像矩形１２２であるので、行１３２に示
すように当該下端ｙ座標である９を初期値とする。な
お、上部文字に分類された文字画像矩形が存在しない場
合は下部突出文字のもっとの左側の文字画像矩形の下端
ｙ座標を標準下端位置の初期値とする。この場合に、例
えば、図１２の文字画像矩形１２４の標準下端位置は、
以下のようにして求められる。文字画像矩形１２４の下
端ｙ座標は図１３の行１３４に示すように０であり、そ
の左隣の文字画像矩形１２３の下端ｙ座標は行１３３に
示すように９であるので、その差は９である。その差は
所定値である４以上であるので、当該文字画像矩形１２
４の標準下端位置は、標準下端位置の初期値である９と
算出される。文字基準下端位置算出部１１３によって算
出された文字画像矩形１２１、…、１２６の標準下端位
置は、それぞれ図１３の列１３７に示される。

【００４２】基準文字高さ算出部１１４は、第１の実施
例における基準文字高さ算出部１５４と同様、上部文字
の内、最も高さの高い文字画像矩形の高さを基準文字高
さとする。図１３の例では、２９となる。文字形状抽出
情報算出部１１５は、相対位置情報抽出部１１１におい
て抽出された各文字画像矩形の相対位置情報を、文字基
準下端位置算出部１１３で算出された標準下端位置及び
基準文字高さ算出部１１４で算出された基準文字高さに
基づき、正規化した情報である文字形状抽出情報を算出
する。図１４は、算出された文字形状抽出情報である。
当該文字形状抽出情報における各文字画像矩形の下端ｙ
座標は、文字画像矩形１２４を除いてすべて値０に修正
されていることが分かる。

【００４３】

【発明の効果】以上のように請求項１の発明によれば、
認識処理部から出力される認識評価値のみならず、文字
形状評価部から出力される外接図形評価値とを用い総合
的に判断することができるので、相似形文字や類似文字
を含む文書での文字の認識の精度を向上させることがで
きる。

【００４４】請求項２の発明によれば、文字行内の各文
字画像の相対位置情報を抽出した後に、各文字画像を下
部突出文字または上部文字に分類し、下部突出文字を除
いた文字に基づいて基準下端位置および基準文字高さを
求め、文字行矩形内の各文字画像の相対位置を正規化し
て文字外接図形情報を算出するので、相似形文字や類似
文字を含む文書での文字の認識の精度を向上させること
ができる。

【００４５】請求項３の発明によれば、文字基準下端位
置算出部により文字行矩形内の基準下端位置が１文字画
像毎に補正されるので、傾いて入力された文字画像に対
しても傾きの影響を除去し精度よく文字外接図形情報の
抽出が行えるので、相似形文字や類似文字を含む文書で
の文字の認識の精度を向上させることができる。請求項
４の発明によれば、認識処理手段で出力された候補文字
に対して相似形文字が存在しない場合は外接図形評価値
を算出しないので、相似形文字や類似文字を含む文書で
の文字の認識の精度を低下させることなく処理速度を向
上させることができる。

【００４６】請求項５の発明によれば、第１位候補文字
について、前記相似類似文字存否判定部で相似形文字等
が存在しないと判定されたときはすべての候補文字につ
いて外接図形評価値を算出しないので、相似形文字や類
似文字を含む文書での文字の認識の精度を低下させるこ
となく処理速度を向上させることができる。請求項６の
発明によれば、部分文字行矩形抽出手段は、切り出し手
段で切り出された各文字画像間の間隔に基づいて部分文
字行矩形を抽出し、文字外接図形情報抽出手段は、文字
切り出し手段において切り出された文字画像において、
部分文字行矩形抽出手段で抽出された部分文字行矩形内
に対する文字外接図形情報を抽出するので、文書画像中
に文字サイズが異なる複数の文字列が存在する場合であ
っても、相似形文字や類似文字を含む文書での文字の認
識の精度を向上させることができる。

【００４７】請求項７の発明は、請求項１の発明と同様
の効果をなす。

【図面の簡単な説明】

【図１】第１の実施例における文字認識装置の構成図で
ある。

【図２】入力された文字行画像、部分文字行矩形の例を
示す図である。

【図３】文字画像矩形及び部分文字行矩形の例を示す図
である。

【図４】認識処理部１４の出力内容を示す図である。

【図５】相対位置情報抽出部１５１が抽出した相対位置
情報等の内容を示す図である。

【図６】第１の実施例における文字形状抽出部１５の構
成図である。

【図７】第１の実施例における文字形状抽出部が抽出し
た文字形状抽出情報の内容を示す図である。

【図８】文字形状辞書記憶部１６の記憶している文字形
状辞書情報の内容を示す図である。

【図９】文字認識装置の動作フロー図である。

【図１０】類似文字存否情報記憶部の記憶している存否
情報の内容を示す図である。

【図１１】第２の実施例における文字形状抽出部の構成
図である。

【図１２】文字画像矩形及び部分文字行矩形の例を示す
図である。

【図１３】認識処理部１４の出力内容を示す図である。

【図１４】相対位置情報抽出部１１１が抽出した相対位
置情報等の内容を示す図である。

【符号の説明】

１１ 文字行画像入力受付部 １２ 文字切り出し部 １３ 部分文字行矩形抽出部 １４ 認識処理部 １５ 文字形状抽出部 １５１ 相対位置情報抽出部 １５２ 文字分類部 １５３ 文字行基準下端位置算出部 １５４ 基準文字高さ算出部 １５５ 文字形状抽出情報算出部 １６ 文字形状辞書記憶部 １７ 文字形状評価部 １８ 文字決定部 １１１ 相対位置情報抽出部 １１２ 文字分類部 １１３ 文字基準下端位置算出部 １１４ 基準文字高さ算出部 １１５ 文字形状抽出情報算出部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 江村 里志 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (56)参考文献 特開 平５−166007（ＪＰ，Ａ) 特開 平５−120484（ＪＰ，Ａ) 特開 平５−73723（ＪＰ，Ａ) 特開 平５−298494（ＪＰ，Ａ) 特開 平６−180771（ＪＰ，Ａ) 特開 平５−282493（ＪＰ，Ａ) 特開 平３−111983（ＪＰ，Ａ) 特開 平２−288989（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/00 - 9/82

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 文書画像中から各文字画像を切り出す文
   字切り出し手段と、 前記文字切り出し手段において切り出された文字画像が
   認識対象文字のいずれの文字に該当するかを識別し該当
   する複数の候補文字と当該候補文字ごとの認識評価値を
   出力する認識処理手段と、 前記文字切り出し手段において切り出された文字画像の
   外接する図形が、当該文字画像を含む文字列に外接する
   矩形である文字行矩形内において占める相対高さ及び大
   きさの情報である文字外接図形情報を抽出する文字外接
   図形情報抽出手段と、 認識対象とする全ての文字に対して、それぞれの文字に
   外接する図形が文字行矩形において占める標準的な相対
   高さ及び大きさの情報である文字外接図形情報を予め記
   憶しておく文字外接図形情報辞書手段と、 前記文字外接図形情報抽出手段で抽出された文字外接図
   形情報を、前記認識処理手段において出力された当該文
   字画像の各候補文字に対する前記文字外接図形情報辞書
   手段の文字外接図形情報と照合し、各候補文字ごとに外
   接図形評価値を算出する文字外接図形評価手段と、 前記認識処理手段において出力された候補文字ごとの認
   識評価値と、前記文字外接図形評価手段において算出さ
   れた候補文字ごとの外接図形評価値とに基づいて、前記
   認識処理手段で出力された複数の候補文字から最適文字
   を決定する文字決定手段とを備えたことを特徴とする文
   字認識装置。
2. 【請求項２】 前記文字外接図形情報抽出手段は、 前記文字切り出し手段で切り出された文字画像の外接す
   る図形が、上記文字行矩形内において占める相対高さ及
   び大きさの情報である相対位置情報を抽出する相対位置
   情報抽出部と、 上記相対位置情報を用いて前記文字切り出し手段で切り
   出された文字画像を、下部に突き出でいる文字である下
   部突出文字あるいは上部文字に分類する文字分類部と、 前記文字分類部で上部文字と分類された文字画像の下端
   位置の平均値を基準下端位置として算出する文字行基準
   下端位算出部と、 前記文字分類部で上部文字と分類された文字画像のなか
   で最も高さの高い文字画像の高さを基準文字高さとして
   算出する基準文字高さ算出部と、 前記相対位置情報抽出部で算出された相対位置情報を、
   前記文字行基準下端位置算出部で算出された基準下端位
   置および基準文字高さ算出部で算出された基準文字高さ
   に基づいて、正規化した情報である文字外接図形情報を
   算出する文字形状情報算出部とを備えたことを特徴とす
   る請求項１記載の文字認識装置。
3. 【請求項３】 前記文字行基準下端位置算出部の代わり
   に、 左隣の文字画像の下端位置と当該文字画像の下端位置の
   差に基づいて、各文字画像毎に基準下端位置を算出する
   文字基準下端位置算出部を備え、 前記文字形状情報算出部は、前記相対位置情報抽出部で
   算出された相対位置情報を、前記文字基準下端位置算出
   部で算出された基準下端位置および基準文字高さ算出部
   で算出された基準文字高さに基づいて、正規化した情報
   である文字外接図形情報を算出することを特徴とする請
   求項２記載の文字認識装置。
4. 【請求項４】 前記文字外接図形評価手段は、 前記認識処理手段が認識対象とする全ての文字に対し
   て、各文字に対応する相似形文字又は類似文字が存在す
   るか否かの存否情報を記憶している相似類似文字存否情
   報記憶部と、 前記認識処理部で出力された候補文字に対応する相似形
   文字又は類似文字が存在するか否かを、前記相似類似文
   字存否情報記憶部に記憶されている存否情報を参照する
   ことにより判定する相似類似文字存否判定部とを備え、 すべての候補文字について、前記相似類似文字存否判定
   部で相似形文字等が存在しないと判定されたときは外接
   図形評価値を算出せず、すべての候補文字のなかで一つ
   でも前記相似類似文字存否判定部で相似形文字等が存在
   すると判定されたときは各候補文字ごとに外接図形評価
   値を算出し、 前記文字決定手段は、 前記文字外接図形評価手段で外接図形評価値が算出され
   なかったときは、認識評価値のみに基づいて、前記認識
   処理手段で出力された複数の候補文字から認識文字を決
   定することを特徴とする請求項１乃至請求項３何れか記
   載の文字認識装置。
5. 【請求項５】 前記文字外接図形評価手段は、 前記認識処理手段で出力された認識評価値のうち最小値
   をとる第１位候補文字について、前記相似類似文字存否
   判定部で相似形文字等が存在しないと判定されたときは
   すべての候補文字について外接図形評価値を算出せず、
   第１位候補文字について、前記相似類似文字存否判定部
   で相似形文字等が存在すると判定されたときは各候補文
   字ごとに外接図形評価値を算出することを備えたことを
   特徴とする請求項４記載の文字認識装置。
6. 【請求項６】 前記文字認識装置は、さらに、 前記切り出し手段で切り出された各文字画像間の間隔に
   基づいて区切られた文字列に外接する矩形である部分文
   字行矩形を抽出する部分文字行矩形抽出手段を備え、 前記文字外接図形情報抽出手段は、 前記文字切り出し手段において切り出された文字画像に
   おいて、前記部分文字行矩形抽出手段で抽出された部分
   文字行矩形内に対する文字外接図形情報を抽出すること
   を特徴とする請求項１乃至請求項５何れか記載の文字認
   識装置。
7. 【請求項７】 認識処理において認識対象とする全ての
   文字に対して、標準的な相対高さ及び大きさの情報であ
   る文字外接図形情報を予め記憶しておく文字外接図形情
   報辞書手段を用いた文字認識方法であって、 文書画像中から各文字画像を切り出す文字切り出しステ
   ップと、 切り出された文字画像に対して認識対象文字のいずれか
   であるかを識別し複数の候補文字と当該候補文字ごとの
   認識評価値を出力する認識処理ステップと、 切り出された文字画像の外接する図形が、当該文字画像
   を含む文字列に外接する矩形である文字行矩形内におい
   て占める相対高さ及び大きさの情報である文字外接図形
   情報を抽出する文字外接図形情報抽出ステップと、 当該文字画像の各候補文字に対する文字外接図形情報を
   前記文字外接図形情報辞書手段から取り出す文字外接図
   形情報取り出しステップと、 前記文字外接図形情報取り出しステップで取り出された
   各候補文字に対する文字外接図形情報と、上記文字外接
   図形情報とを照合し、各候補文字ごとに外接図形評価値
   を算出する文字形状評価ステップと、 前記認識処理ステップにおいて出力された候補文字ごと
   の認識評価値と、前記文字形状評価ステップにおいて算
   出された候補文字ごとの外接図形評価値とに基づいて、
   前記認識処理手段で出力された複数の候補文字から認識
   文字を決定する文字決定ステップとを備えたことを特徴
   とする文字認識方法。