JP4228592B2 - 文字認識装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、画像上の文字を認識する文字認識装置に関するものであり、特に文字の一部が隠れたものを認識する文字認識装置に関するものである。
【０００２】
【従来の技術】
図２８は、例えば、特開平１−１７１０８２に記載の従来の文字認識装置を示す概略構成図である。図において１０１はカメラ等の撮像装置で得たディジタル画像を記憶する画像メモリ、１０２は文字の位置や大きさ等の既知の文字配列情報を格納した文字配列情報格納メモリ、１０３は認識対象のカテゴリに対応した基準パターンを格納した認識辞書を記憶する辞書メモリ、１０４は画像メモリ１０１を走査して求めたＸ方向及びＹ方向の周辺分布値に基づいて文字パターン（文字を表示する領域全体を囲む最小矩形をいう）を優先して切り出す優先文字切り出し手段、１０５は優先文字切り出し手段１０４では切り出すことができなかった文字領域を既に切り出した文字パターンの位置及び大きさ情報と文字配列情報格納メモリ１０２の内容とから推定して切り出す推定文字切り出し手段、１０６は推定文字切り出し手段１０５で切り出した文字パターンから成る領域を走査して求めたＹ方向の周辺分布値に基づいて文字が欠けた又は隠れた領域を検出する欠け隠れ領域検出手段、１０７は欠け隠れ領域検出手段１０６で検出した領域を除外した領域において文字パターンと認識の対象となる文字の基準パターンとを比較して文字を認識する文字認識手段である。
【０００３】
次に動作を説明する。座標系は、水平方向をＸ軸に、垂直方向をＹ軸にとった場合で説明する。まず、テレビカメラ等で撮像した画像をディジタル化して画像メモリ１０１に格納する。この時、画像中の文字部分は黒画素、地の部分は白画素となっており、文字は水平方向に並んでいるものとする。
【０００４】
優先文字切り出し手段１０４は、画像メモリ１０１に格納された入力画像を走査し、水平ライン毎の黒画素数を計数して周辺分布を作成した後、この周辺分布を２値化し、Ｙ方向に黒画素が連続する領域の両端のＹ座標を求める。次に、黒画素が連続する領域毎にＹ座標の対で定められる範囲の入力画像を走査し、垂直カラム毎の黒画素を計数して周辺分布を求めた後、この周辺分布を２値化し、黒画素が連続する領域の両端のＸ座標を求める。以上を通じて求めたＹ座標の対はパターンの上下端、Ｘ座標の対は左右端に相当する。次に、上記Ｙ座標の対とＸ座標の対を組合せて、パターンに外接する矩形を求め、この矩形の位置及び大きさが所定の範囲内にある文字パターンの矩形を優先して切り出す。この一連の切り出し処理を優先切り出しと呼ぶ。
【０００５】
推定文字切り出し手段１０５は、まず、優先文字切り出し手段１０４により切り出された文字パターン矩形の位置及び大きさと文字配列情報格納メモリ１０２の内容である矩形の位置及び大きさとの比率を求め、この比率により優先文字切り出し手段１０４により切り出された文字パターン矩形の縦横長を伸縮して、その結果と文字配列情報格納メモリ１０２内の矩形情報とを照合する。またこの照合結果が一致しなかった文字配列情報格納メモリ１０２内の矩形情報については、照合結果が一致した他の文字パターン矩形のうち照合結果が一致しなかった文字パターン矩形に位置的に最も近いものの矩形に上記比率を掛けることにより、当該矩形情報に対応した矩形座標を推定して切り出す。この一連の切り出し処理を推定切り出しと呼ぶ。
【０００６】
欠け隠れ領域検出手段１０６は、推定文字切り出し手段１０５により切り出された矩形に対して、同一行にあるものの領域をそれぞれ走査し、水平ライン毎に黒画素数を計数して周辺分布を求め、この周辺分布を所定の閾値で２値化して欠け領域と隠れ領域の境界線のＹ座標を求める。閾値には、欠け検出用と隠れ検出用の２種類があり、周辺分布値が欠け検出用閾値より小さいところを欠け領域、隠れ検出用閾値より大きいところを隠れ領域とする。
【０００７】
次に、文字認識手段１０７は、優先文字切り出し手段１０４及び推定文字切り出し手段１０５で切り出した文字パターンに対して、欠け隠れ領域と重ならないものには全ての画素値が「１」となるマスクパターンを生成し、それ以外のものには、上記境界線のＹ座標に基づいて欠け隠れ領域と重なる画素の値を「０」、重ならない画素の値を「１」としたマスクパターンを生成する。次に、文字パターンとマスクパターンと辞書メモリ１０３に記憶された各カテゴリの基準パターンとを重ね合わせることにより類似度を求める。さらに文字認識手段１０７は、認識対象カテゴリから類似度の大きいカテゴリを候補文字とし、候補文字とその類似度から予め定めた条件を満たすものを認識結果とする。この条件として、「類似度が最大となるもの」という条件を設定した場合は、候補文字のうち類似度が最大となるものを選び、これを認識結果とする。
【０００８】
【発明が解決しようとする課題】
従来の文字認識装置は以上のように構成されているので、白黒２階調の画像の周辺分布から欠け・隠れ領域を検出している。その結果、文字が真っ白の物体や真っ黒の物体で隠されているのであれば、文字領域を正しく検出できるが、灰色の物体で隠されている場合には、当該物体が表示された２値画像上には、白画素や黒画素が離散的に出現する場合があり、周辺分布の値から隠れ領域を検出できないという課題があった。仮に入力画像を２５６階調にしたとしても、白地に黒文字のある領域と、全体が灰色の領域とでは、周辺分布の値は同等となるため、上記の方法ではやはり検出できない。
【０００９】
また、認識対象となる画像中の文字が、県名などの限定された文字列を構成する場合、特開昭５６−１４５４７３に記載の、候補文字と類似度の組合せから文字列として最良の結果を求める処理を追加することで、認識精度を高めることができる。しかしこの場合でも、従来の文字認識装置では、隠れが少なく認識しやすい文字パターンと、隠れが大きく誤認識しやすい文字パターンを同等に扱っているため、隠れの大きい一部の文字パターンの影響で正しい文字列を得られないという課題があった。
【００１０】
この発明は、前記のような課題を解決するためになされたものであり、文字を隠している物体の濃淡によらず、隠れ領域を正しく検出して認識を行うための文字認識装置を提供することを目的としている。また、限定された範囲の文字列を認識する場合に、隠れの大きい一部の文字パターンの影響を抑えて、文字列としての認識結果を高精度に求める文字認識装置を提供することも目的としている。
【００１１】
【課題を解決するための手段】
本発明に係る文字認識装置は、多階調画素により表現された入力画像を２値化して２値画像を作成し、文字が表示された領域を囲む矩形である文字パターンを前記２値画像から検出する文字領域検出手段と、前記文字領域検出手段で検出された文字パターンから分割された分割領域における前記入力画像の濃度特徴量を抽出する最大・最小濃度抽出手段と、前記最大・最小濃度抽出手段で抽出された濃度特徴量に基づき、隠れ領域の隠れ境界位置を検出する隠れ境界検出手段と、前記文字領域検出手段で検出された文字パターンの位置と前記隠れ境界検出手段で検出された隠れ境界位置とに基づき、前記文字パターンの隠れ領域を決定する隠れ領域決定手段と、文字認識の照合のための基準パターンを格納した認識辞書と、前記隠れ領域決定手段で決定された隠れ領域に含まれる前記分割領域を除いた領域について前記基準パターンと前記文字パターンとを照合し認識結果を出力する文字認識手段とを備えるものである。
【００２１】
【発明の実施の形態】
実施の形態１．
図１は、本発明の実施の形態１の構成図である。図１において、１は画像を入力する画像入力手段、２は文字の位置や大きさの情報である文字配置情報を記憶する文字配置情報記憶手段、３は文字配置情報を参照して入力画像から文字パターンを囲む最小矩形を検出する文字領域検出手段、４は入力画像を部分領域に分割して部分領域毎に最大・最小濃度を抽出する最大・最小濃度抽出手段、５は最大・最小濃度抽出手段４の出力した最大・最小濃度から隠れ領域の境界位置を検出する隠れ境界検出手段、６は文字領域検出手段３の検出した文字パターンの位置及び大きさと隠れ境界検出手段５の検出した隠れ境界位置とに基づいて、文字パターンの隠れ領域を決定する隠れ領域決定手段、７は文字の基準パターンを格納した認識辞書、８は隠れ領域を除いて文字領域検出手段３の検出した文字パターンと認識辞書７内の基準パターンとを照合する文字認識手段である。
【００２２】
次に動作を図２により説明する。ステップＳ１において画像入力手段１は、多階調の画像を入力して入力画像とする。本実施の形態では、各画素の値（濃度）が０から２５５までの範囲をとる２５６階調の白黒画像を入力するものとし、また、完全な黒画素の濃度は０、完全な白画素の濃度は２５５になるものとする。図３は入力画像の例であって、上段に３文字、下段に４文字の２段構成の数字が刻印された文字プレートを写したものであり、上段の数字は灰色の物体１３により、その一部が隠されている。
【００２３】
次にステップＳ２において文字領域検出手段３は、入力画像から文字パターンを検出する。本実施の形態では、入力画像を２値化して２値画像を作成し、当該２値画像から文字パターンを検出する。画像の２値化方法としては、例えば電子情報通信学会論文誌 Ｖｏｌ．Ｊ６３−Ｄ Ｎｏ．４ ｐｐ３４９−３５６の「判別および最小２乗基準に基づく自動しきい値選定法」に記載の方法を用いて２値化閾値を算出し、濃度が２値化閾値より大きい画素を白、２値化閾値以下の画素を黒にする方法を用いる。また文字配置情報格納手段２は、処理対象となる画像上に表示されている文字の位置や大きさを予め記憶する手段であって、文字領域検出手段３は、文字配置情報格納手段２が記憶する文字の位置や大きさについての情報を参照しながら、２値画像に対して従来と同様の手順による優先切り出し・推定切り出しを行って、文字パターンを検出する。
【００２４】
図４は、図３の入力画像を２値化した２値画像である。図３において、文字を隠している物体１３は全体的に灰色であるとする。図３の物体領域１３を２値化すると、図４において物体領域１４のようになる。これは図３の物体領域１３を表す画素のうち、濃度がやや大きめの画素が白、やや小さめの画素が黒となって、全体ではまだらになるからである。このように、まだらな２値画像の周辺分布値は、極度に大きくも小さくもならず、中間的な値となる。このため、従来の周辺分布をとる方法では、この隠れ領域を検出できない。図５は、文字領域検出手段３の文字パターン検出結果であって、下の段の文字パターン１５〜１８は優先切り出しによって検出したものであり、上の段の文字パターン１９〜２１は推定切り出しによって検出したものである。
【００２５】
ステップＳ３において最大・最小濃度抽出手段４は、文字領域検出手段３が検出した文字パターンのうち、隠れ領域を有する可能性があるものを部分領域に分割して、各部分領域の最大濃度と最小濃度を抽出する。ここで、文字パターンが隠れ領域を有する可能性があるか否かを判定する方法としては、その文字パターンを切り出した処理に基づく方法が考えられる。例えば、ある文字パターンが優先切り出しによっては切り出すことができず、一方、推定切り出しによって切り出すことができるのであれば、この文字パターンは隠れ領域を有する可能性がある。
【００２６】
本実施の形態では、最大・最小濃度抽出手段４が部分領域分割を行う方法として、画像を水平方向に分割する方法を用いる。例えば、推定切り出しにより求めた図６の領域２２を隠れ候補領域とし、図７のように図６の領域２２を水平方向に分割する。最大・最小濃度抽出手段４は、この領域２２の各部分領域の濃度特徴量として、それぞれの領域を構成する画素の濃度のうち、最も大きなものを最大濃度とし、最も小さな物を最小濃度とする。図８に示す表は、最大・最小濃度抽出手段４が図６を分割した各領域より抽出した最大濃度と最小濃度の例である。なお図８において、部分領域の番号が小さいものほど上部にある部分領域であることを示す。
【００２７】
次にステップＳ４において隠れ境界検出手段５は、最大・最小濃度抽出手段４の求めた最大・最小濃度から、隠れ領域の境界位置を検出する。本実施の形態において、隠れ境界検出手段５は、隠れ領域の境界位置を検出するために、まず各部分領域における最大濃度と最小濃度の差（以下この値のことを単純に濃度差という）を算出する。続いて各部分領域について、隣接する一方の部分領域の濃度差が所定の閾値以上であって、隣接するもう一方の部分領域の濃度差がこの閾値未満となるものを検出し、この条件を満たす部分領域を隠れ境界位置とする。一般に、文字の見えている領域では、文字部と地の部分とのコントラスト、すなわち濃度差が一定以上の値となり、一方、隠れを引き起こしている物体の濃度が概ね均一である場合には、隠れ部分の濃度差は小さくなる。この違いをとらえることで、隠れ境界を検出できる。
【００２８】
図８の最大・最小濃度の例に基づき、各部分領域の濃度差を算出すると、図９に示す値となる。図９において、上記所定の閾値を８０とし、連続する部分領域２から９について、それぞれ隣接する部分領域間の濃度差の変位がこの閾値を超える箇所を求めると、部分領域３と４の間で変位が閾値以上となる。なおここで、最も上にある部分領域１と最も下にある部分領域１０については、文字パターンの上下端に対応するため、隠れがなくとも濃度差の小さくなるケースがあることから、本実施の形態では、この二つの部分領域は処理対象から除外することとしている。以上の処理によって、図９の部分領域３と４の境界に隠れ境界が存在すると特定することができる。図１０は、この処理により特定した隠れ境界を示すものであって、座標位置２３が隠れ境界となる。
【００２９】
次にステップＳ５において、隠れ領域決定手段６は、隠れ境界検出手段５の検出した隠れ境界位置と、文字領域検出手段３の検出した文字パターンの矩形位置とに基づいて、個々の文字パターンにおける隠れ領域を決定する。これまでのステップにおいて、それぞれの座標が得られているので、ステップＳ５は数値計算により容易に実現できる。図１１は、図５の文字パターン検出結果と図１０の隠れ境界検出結果に対する隠れ領域決定結果を示す図であり、２４〜２６が文字パターン１９〜２１の隠れ領域である。
【００３０】
ステップＳ６において文字認識手段８は、認識辞書７に格納された基準パターンと検出された文字パターンとを照合し、文字認識を行う。例えば、従来と同様の手順で、隠れのある領域とない領域とで値の異なるマスクパターンを作成し、式１により各基準パターンに対する類似度を算出して、類似度の最も大きい基準パターンのカテゴリを出力する。
【００３１】
【数１】

【００３２】
以上のように、本実施の形態によれば、隠れを引き起こしている物体の濃度によらず、正しく隠れ領域を検出でき、隠れのある文字を認識することができる。なお、本実施の形態では、入力画像を２５６階調としたが、これは１０２４階調や１６階調など、他の階調数としても同様の方法で隠れのある文字を認識することができる。
【００３３】
また本実施の形態では、２値化方法について前記文献記載の方法を用いたが、この方法の代わりに例えば信学技報ＰＲＭＵ９６−４６「ナンバープレート認識装置の開発」における「２．２ プレート２値化部」に記載の方法など、他の方法を用いることもできる。
【００３４】
また本実施の形態では、隠れ候補領域を水平方向に長い部分領域へ分割したが、他の分割方法を採用することも可能である。例えば隠れ境界が垂直になるケースでは、垂直方向に長い部分領域への分割が有効である。また、部分領域の最大・最小濃度を、各部分領域を構成する画素の濃度のうち最も大きいものと最も小さいものとしたが、例えばノイズ耐性を高めるため、大きい方からＮ番目（Ｎは整数）の濃度と小さい方からＮ番目の濃度としたり、大きい方と小さい方からＮ個ずつ抽出した濃度をそれぞれ平均した値とするなど、他の方法で求めることもできる。また文字認識における類似度計算は、マスクパターンを用いる式１の方法を採用したが、これは隠れ領域のパターンを類似度計算に反映させない方法であれば、他の方法を用いることもできる。
【００３５】
実施の形態２．
本発明の実施の形態２は、大きく傾斜した状態で取り付けられた文字プレート上の文字を認識できる文字認識装置に係るものである。本実施の形態の構成は実施の形態１と同じであるため、構成図として図１を用いる。また、本実施の形態の処理フローについても実施の形態１と同じであるため、処理フローを示す図として図２を用いる。ただし、本実施の形態において、文字配置情報格納手段２は、文字の位置やサイズについての情報に加えて、隠れが発生するか否かの情報についても文字毎に保持しているものとする。また、本実施の形態において、文字領域検出手段３は、文字配置情報格納手段２の記憶するこれらの情報を用いて処理を行う。
【００３６】
ステップＳ２において文字領域検出手段３は、入力画像を２値化して２値画像を作成し、文字配置情報格納手段２の内容を参照して当該２値画像から文字を検出する。本実施の形態において、文字配置情報格納手段２が記憶する情報とは、入力画像上の文字が隠れ領域を有するか否かを示すものである。例えば、自動車のナンバープレートの画像を取り込む場合、ナンバープレート上部は自動車のバンパーやその影の影響で隠れ領域が発生しうることは予め判明しているので、そのような事実に基づいて文字配置情報格納手段２の記憶する情報を構成するものとする。本実施の形態では、例えば図１２の２段構成の文字プレートに対しては、上方の段を構成する２文字を隠れの発生する文字とし、下方の段を構成する３文字を隠れの発生しない文字としているものとする。また文字配置情報格納手段２は、文字の位置とサイズについての情報として、隠れの発生しない下段の文字については、従来の優先切り出しで用いている文字パターンの絶対的な大きさではなく、「パターン幅の２倍程度の間隔で水平方向に均等に並んでいる３文字」を記憶しているものとする。
【００３７】
文字領域検出手段３は、図１３の画像に対して、まず文字配置情報格納手段２の記憶する情報に基づいて、隠れの発生しない文字パターンとして２７〜２９のパターンを検出する。次に、この文字パターン２７〜２９の検出位置と大きさを基準として、従来の推定切り出しと同様の処理を行って、文字パターン３０〜３１を検出する。図１３のように大きく縮んだ画像を対象とした場合、全ての文字パターンの高さが小さいため、従来の方法における優先切り出しでは文字パターンを検出することができないが、本実施の形態による方法によれば、隠れの発生しない文字の情報を保持し、当該文字の検出位置を基準とすることで、文字パターンの大きさが極度に変わっても検出することができる。
【００３８】
次に、ステップＳ３において最大・最小濃度抽出手段４は、推定切り出しにより検出された各文字パターンについて、水平方向に長い部分領域に分割し、最大濃度と最小濃度を抽出する。ここで、最大濃度と最小濃度を抽出するためには、各領域内に異なる濃度の画素が存在することが前提となる。しかし文字の形状によっては、部分領域全体を黒画素で満たしてしまう場合も考えられる。例えば、本実施の形態においても、実施の形態１と同様に水平方向に領域分割するが、そうすると、漢字の「大」のような文字が表示されている場合には、部分領域によっては黒画素のみを含む場合も考えられる。このような場合に対応するために、本実施の形態では各文字パターンの矩形の位置座標を２乃至３ピクセル程度拡張することによって、矩形のサイズを拡大して処理するものとする。図１４は、このようにして拡張した文字パターン領域の例を示すものであって、同図の３２は、図１３の推定切り出しパターン３１に対応した隠れ候補領域である。図１５の表３３における最大濃度と最小濃度は隠れ候補領域３２からの抽出結果を示し、実施の形態１と同様に、部分領域の番号が小さいものほど上部にある部分領域であることを示す。
【００３９】
次にステップＳ４において、隠れ境界検出手段５は、最大・最小濃度抽出手段４の求めた最大濃度と最小濃度から、隠れ領域の境界位置を検出する。そのためにはまず、各部分領域の最大濃度と最小濃度からそれぞれ濃度差を求めるとともに、濃度差の最大値を求め、この濃度差の最大値から隠れ境界検出のための第一の閾値を算出する。続いて、各部分領域の最大濃度の最大値を求め、この値から隠れ境界検出のための第二の閾値を算出する。次に、隣接する部分領域において、片方の濃度差が第一の閾値以上で、他方の濃度差が第一の閾値未満となり、かつ、当該部分領域間で最大濃度の差が第二の閾値以上あるところを求め、この位置を隠れ境界位置とする。なお、本実施の形態では、実施の形態１とは異なり、最も上にある部分領域と最も下にある部分領域も処理対象に加えるものとする。
【００４０】
図１５の例では、濃度差の最大値は１２７であり、例えば、第一の閾値を濃度差の最大値の１／２として小数点以下を切り捨てるものとして求めると、第一の閾値は６３となる。また、最大濃度の最大値は１８２であり、例えば、第二の閾値を最大濃度の最大値の２０％として小数点以下を切り捨てるものとして求めると、第二の閾値は３６となる。この二つの閾値を用いて、図１５の表３３を参照すると、部分領域１の濃度差が第１の閾値未満、部分領域２の濃度差が第１の閾値以上、かつ部分領域１と部分領域２の最大濃度の差が第２の閾値以上となり、部分領域１と部分領域２の境界位置が隠れ境界として検出される。同時に、濃度差の小さい部分領域１を隠れのある領域、濃度差の大きい部分領域２から下方を隠れのない領域と判定する。
【００４１】
ステップＳ４で用いた第二の閾値は、文字プレートの地部分が連続しているかどうかを検証するためのものである。文字の端の部分では、文字の濃度は地部分の濃度に近づくが、他物体に隠されていなければ地部分の濃度は変わらない。本実施の形態では、白地（濃度大）に黒文字（濃度小）の例としたため、最大濃度が地部分の濃度に該当し、最大濃度の変化を条件に加えることで、文字の端の部分でも隠れが発生しているかどうかを判定できる。例えば、図１４の表３３における部分領域９と１０（文字の下端部分）では、第一の閾値の条件は満足するが、第二の閾値の条件は満足しないため、この位置を隠れ境界として誤検出することはない。
【００４２】
次にステップＳ５において、隠れ領域決定手段６は、実施の形態１と同様の手順で、隠れ境界検出手段５の検出した隠れ境界位置と文字領域検出手段３の検出した文字パターンの矩形位置から各文字パターンの隠れ領域を決定する。
【００４３】
続いてステップＳ６において、文字認識手段８は、認識辞書７に格納された基準パターンと検出された文字パターンとを照合して文字認識を行う。本実施の形態では、このステップの最後で認識結果の棄却判定を行うものとし、さらに、文字パターンの隠れの程度に応じて、棄却判定方法を切り替えるものとする。棄却条件としては、例えば、式２と式３のどちらかが成立したら棄却（認識不可）とし、隠れの程度に応じて、式２と式３の閾値を切り替える。すなわち、大きく隠れているものほど、式２のＣ１とＣ２を大きくし、厳しく棄却判定を行う。これは、隠れのある文字パターンは、隠れのない文字パターンに比べてパターンが不安定であり、誤認識が発生し易いためである。
【００４４】
【数２】

【００４５】
以上のように、本実施の形態によれば、文字プレート等が大きく傾斜した状態で取り付けられたために、標準状態に比べて大きく縮んだ画像上の文字についても、文字領域検出や隠れ領域検出を行うことができる。また、隠れ境界検出の閾値を各部分領域の最大・最小濃度から決定するため、画像の明るさを反映させた適正な閾値を用いることができ、明るさが変化しても正しく隠れ境界を検出できる。また濃度差に加えて、最大濃度の変化を条件として隠れ境界を検出することで、文字の端の領域であっても正しく隠れ境界を検出できる。また隠れの程度に応じて、棄却判定方法を切り替えることにより、隠れのある文字パターンの誤認識を抑えることができる。なお本実施の形態では、隠れ境界検出のための二つの閾値をともに計算により求めたが、どちらか一方あるいは双方を固定値としてもよい。また、隠れ境界検出の条件を、濃度差と最大濃度としたが、黒地に白文字の場合は最小濃度が地部分に対応するため、濃度差と最小濃度の組合せとすることも可能である。
【００４６】
また本実施の形態では、縦方向が縮んだ文字パターンについて文字認識を行う場合について説明したが、横方向が縮んだ文字パターンについても同じように認識することが可能である。
【００４７】
実施の形態３．
図１６は、本発明の実施の形態３の構成図である。本実施の形態は、隠れ領域が文字パターンの大部分を占めてしまっているために、その文字パターン単独の処理によっては、正しい文字認識を行うことが困難である場合に、このような文字パターンを含む入力画像上の文字を認識する処理に関するものである。
【００４８】
図１６において、６は文字領域検出手段３の検出した文字パターンの位置及び大きさと文字配置情報格納手段２に格納された文字配置情報とに基づいて、文字パターンの隠れ領域を求める隠れ領域決定手段である。９は隠れ領域決定手段６の求めた隠れ領域の大きさに基づいて、各文字パターンの信頼度を求める信頼度決定手段である。１０は信頼度決定手段９の求めた信頼度に基づいて、文字パターンを選択するパターン選択手段である。１１は入力画像中に出現し得る文字の組合せをコード列（ＡＳＣＩＩやＥＢＣＤＩＣコード体系等による文字コード）として格納した文字列格納手段である。１２は信頼度決定手段９の求めた文字パターンの信頼度と、文字認識手段８の出力した候補文字及び類似度と、文字コード列格納手段１１に格納された文字コード列とに基づいて、認識結果を決定する認識結果決定手段である。
【００４９】
次に動作を図１７を用いて説明する。ステップＴ１において、画像入力手段１は画像を入力する。本実施の形態では、従来と同様に２値画像を処理するものとし、入力画像は図１８に示す白黒の２値画像となっているものとする。本実施の形態では、図１８の上段の文字パターン全体と、下段の文字パターン全体をそれぞれ一個の文字列とみなして処理を行う。
【００５０】
次にステップＴ２において、文字領域検出手段３は、この入力画像から、文字配置情報格納手段２に格納されている各文字の位置及び大きさの情報に基づいて、従来と同様の手順で優先切り出し・推定切り出しを行い、各文字パターンを検出する。図１９は文字パターン検出結果を示しており、下方の段の文字パターン３５〜３８が優先切り出しで検出されたものであって、図１８の物体３４に隠されている上方の段の文字パターン３９〜４１が推定切り出しで検出されたものである。
【００５１】
次にステップＴ３において、隠れ領域決定手段６は、従来と同様に、推定切り出しによって検出された文字パターン３９乃至４１の領域それぞれに対して、水平ライン毎に黒画素数を計数して周辺分布を求め、この周辺分布を所定の閾値で２値化して隠れ領域を求める。図１９の文字パターン３９乃至４１に対しては、図２０の４２乃至４４が隠れ領域として求められる。
【００５２】
次にステップＴ４において、信頼度決定手段９は、隠れ領域決定手段６の求めた各文字パターンのうち、隠れ領域の面積の比率に応じて、信頼度を決定する。一般に文字パターンにおいては、隠れ領域の面積が占める比率が大きくなるほど、文字認識は困難となる。そのため、基準パターンとの照合によって一致する文字を検出できたとしても、隠れ領域が大きい場合には、その検出結果の信頼性は低くなる。本実施の形態における信頼度とは、このような関係を表現するために導入するものである。本実施の形態では、信頼度をＡ〜Ｅの５段階とし、Ａは隠れなし、Ｂは隠れ領域の面積がパターン全体の１５％未満、Ｃは隠れ領域の面積がパターン全体の１５％以上２５％未満、Ｄは隠れ領域の面積がパターン全体の２５％以上５０％未満、Ｅは隠れ領域の面積がパターン全体の５０％以上、とする。この時、図１９の文字パターンについては、文字パターン３５〜３８が信頼度Ａ、文字パターン３９が信頼度Ｂ、文字パターン４０が信頼度Ｄ、文字パターン４１の信頼度Ｅとなる。
【００５３】
次にステップＴ５において、信頼度検定手段１０は、信頼度決定手段９の求めた信頼度によって文字認識を行う文字パターンを選択する。信頼度によっては、仮に認識結果が得られたとしても、正しい認識結果ではない場合も考えられるからである。本実施の形態では、信頼度検定手段１０は信頼度Ａ〜Ｄの文字パターンのみを文字認識を行う文字パターンとして選択する。この結果、図１９において、文字パターン４１については文字認識を行わず、他の文字パターンについて文字認識を行う。
【００５４】
次にステップＴ６において、文字認識手段８は、信頼度検定手段１０が選択した文字パターンを認識し、それぞれ複数の候補文字と類似度を出力する。また、信頼度検定手段１０が選択しなかった文字パターンについては、候補文字なしとする。
【００５５】
次にステップＴ７において、認識結果決定手段１２は、信頼度検定手段１０が文字認識を行うことと決定した文字パターンと文字コード列記憶手段１１の記憶する文字列との類似度を式３を用いて決定する。式４においてＷｉｊは各信頼度について定められた値とし、本実施例では、例えば信頼度Ａの文字パターンは１．０、信頼度Ｂは０．９、信頼度Ｃは０．８、信頼度Ｄは０．５、信頼度Ｅは０．０の値を用いることとする。また文字コード列記憶手段１１には、上方の段に出現し得る文字列として、例えば、「春日部」や「名古屋」など、三文字からなる文字列が複数格納されているものとする。式４においてＮは文字列の長さであって、本実施の形態においてはＮ＝３とする。
【００５６】
【数３】

【００５７】
以上のように、本実施の形態によれば、文字列の照合を用いた補間処理によって、隠れのある文字パターンの認識を効率的に行うことができる。すなわち、隠れの程度が大きいために正確な認識が困難である文字パターンについては、他の文字パターンの認識結果と文字列との部分照合を行い、一致した文字列を求め、この文字列の構成文字から認識が困難な文字パターンの認識結果を得ることで、無駄な認識動作を回避できる。また、隠れの程度に応じて重み付けし文字列照合を行うことで、誤認識する可能性の高い、隠れ量の大きな文字パターンによる悪影響を低減できる。
【００５８】
なお、本実施の形態において、文字列格納手段１１は文字コード列を格納するものとしたが、文字コード以外にも文字列に対するハッシュ値や文字列テーブルへのインデックス値等を用いてもよい。
【００５９】
実施の形態４．
以下に、この発明の実施の形態４について説明する。本実施の形態は、回転式の計測結果表示部を有する計測機器の計測結果表示部の文字を認識するものである。実施の形態３と同様に構成図については図１６を用いる。なお本実施の形態において、文字列格納手段１１は回転式の計測結果表示部上に出現する数字コード列を記憶するものとする。
【００６０】
次に動作を図により説明する。本実施の形態の処理フローを図２１に示す。ステップＵ１において、実施の形態３と同様の手順で画像入力を行う。図２２は、本実施の形態における入力画像の例である。続いてステップＵ２において、文字領域検出手段３は、文字配置情報格納手段２の内容を参照し、入力画像から文字パターンを検出する。本実施の形態では、３桁の数字よりなる計測結果表示部の文字を認識することを目的とするが、回転式の計測結果表示部には、同一桁に２個の文字パターンが出現することがあるため、入力画像に対して、総研出版発行「コンピュータ画像処理入門」Ｐ．７５〜７６記載のラベリングを用いて黒画素の連結成分をパターンとして抽出し、各桁の対応位置から、パターンの幅・高さが所定範囲内である最大２個のパターンを検出するものとする。図２３は、図２２の入力画像に対する文字領域検出手段３の検出結果を示し、４５〜４６が１桁目に対応する文字パターン、４７〜４８が２桁目に対応する文字パターン、４９〜５０が３桁目に対応する文字パターンである。
【００６１】
ステップＵ３において、隠れ領域決定手段６は、文字領域検出手段２の検出した文字パターンの相対位置とパターン幅・高さ、さらに文字配置情報格納手段２に格納された標準文字サイズに基づいて、各文字パターンの隠れ領域を決定する。例えば、文字パターン４９については、パターン高さが標準高さより小さく、また下方に別パターンがあるため、パターン領域の上部に（標準文字高さ−パターン高さ）の隠れ領域があるものと見なす。なお、標準文字高さと認識辞書７内の基準パターンの高さは同じ値であるものとする。
【００６２】
ステップＵ４において、信頼度決定手段９は、隠れ領域決定手段６の求めた各文字パターンの隠れ量に応じて、実施の形態３と同様に信頼度を決定する。本実施の形態では、信頼度はＡ〜Ｄの４段階とし、例えば、Ａは隠れなし、Ｂは隠れ領域の高さがパターン全体の１５％未満、Ｃは隠れ領域の高さがパターン全体の１５％以上８０％未満、Ｄは隠れ領域の高さがパターン全体の８０％以上とする。
【００６３】
ステップＵ５において、パターン選択手段１０は、信頼度決定手段９の求めた信頼度に基づいて文字認識を行う文字パターンを選択する。本実施の形態では、各桁毎に下記のルールに従って文字パターンを選択するものとする。
（１）信頼度Ａの文字パターンがあれば、その文字パターンのみを選択する
（２）信頼度Ａの文字パターンがなく、かつ、信頼度Ｂの文字パターンがある場合、他に信頼度ＢかＣの文字パターンが検出されていれば、その文字パターンも合わせて二つを選択し、それ以外の場合は、信頼度Ｂの文字パターンのみを選択する
（３）信頼度ＡとＢの文字パターンがなく、かつ、信頼度Ｃの文字パターンがある場合、検出された文字パターン全てを選択する
（４）信頼度Ａ乃至Ｃの文字パターンがなく、かつ、信頼度Ｄの文字パターンがある場合、検出された文字パターンが二つあれば、その二つの文字パターンを選択し、それ以外の場合は、文字パターンの選択を行わない。
【００６４】
図２３の場合では、文字パターン４５が信頼度Ｂ、文字パターン４６が信頼度Ｄ、文字パターン４７〜５０が信頼度Ｃとなり、１桁目に対応して文字パターン４５が、２桁目に対応して文字パターン４７と４８が、３桁目に対応して文字パターン４９と５０が選択される。本ステップにより、各桁に表示されている文字パターンのうち、各桁の数値を表す最も適切な文字パターンを選択し、また、各桁の数値を表す適切な文字パターンがない場合には、どのパターンも選択しないようにすることで、誤認識を事前に防止できる。
【００６５】
ステップＵ６において、文字認識手段８は、パターン選択手段１０の選択した文字パターンを対象として、認識辞書７内の基準パターンと照合することにより文字認識を行い、複数の候補文字と類似度を出力する。図２４は、図２３の文字パターン４９と基準パターンとの照合動作を示している。図２４において、文字パターン４９はその上部が隠れていると判定されたため、基準パターンと同じサイズの矩形枠５１に下詰めで配置されている。同枠５１の上部の領域５２については、隠れ領域として処理することが可能であり、この文字パターンと基準パターン５３とを従来の手順で照合することにより、基準パターン５３に対する類似度が得られる。なお、本実施の形態では、候補文字と類似度として、類似度が大きい方から４組を選んで出力するものとし、例えば、図２２の文字パターン４９と５０に対する出力としては、図２４の表５４と表５５に示す候補文字と類似度を出力する。
【００６６】
ステップＵ７において、認識結果決定手段１２は、パターン選択手段１０がパターン選択した複数の桁に対し、文字認識手段８の出力した候補文字及び類似度と文字列格納手段１１に格納された数字コード列とを照合する。本実施の形態で対象としているのは、回転式の計測結果表示部を有する計測機器の計測結果表示部上の数字であるため、各桁において表示される文字が複数ある場合にこの複数の文字の組合せは、図２５の表５６左側に示す１０通りの組合せである。文字列格納手段１１には、この１０個の数字コード列を格納しており、認識結果決定手段１２は、この１０個の数字コード列の文字列パターンそれぞれの間の類似度を求め、類似度最大となる数字コード列を決定する。例えば、図２２の２桁目では、図２４の表５４と表５５に対して、Ｎ＝２とした式５を用いると、表５６右側の類似度が得られ、９−０の文字コード列と決定される。
【００６７】
【数４】

【００６８】
なお、認識結果決定手段１２は、パターン選択手段１０が一つの文字パターンしか選択しなかった桁に対しては、文字認識手段８の出力した最大類似度を持つ候補文字を認識結果とする。
【００６９】
ステップＵ８において、認識結果決定手段１２は、パターン選択手段１０の選択した文字パターンの位置関係に基づいて各桁の認識結果を組み合わせて、計測機器の表示内容を決定して出力する。例えば、図２２の画像の場合、１桁目は１パターンのみ選択されて認識結果「４」となっており、２桁目は「８−９」の文字コード列と決定され、３桁目は「９−０」の文字コード列と決定されているものとする。本ステップでは、まず、全体の基準となるパターンとして、例えば最下位桁で最も表示面積の大きい文字パターンを選ぶ。図２２では、文字パターン４９が最下位桁に該当する。続いて、他の桁の文字パターンについては、この全体の基準となるパターンの垂直位置に近い文字パターンを選択する。例えば図２３の４９は、同じ桁の５０の上部に存在するから、他の桁についても、２つの文字パターンが表示されている場合には、上部の文字パターンを選択する。その結果、図２３の１桁目では文字パターン４５、２桁目では文字パターン４７が選ばれる。最後に、全ての桁について、選んだパターンに対応する文字コードを出力する。図２２の場合では、「４８９」が計測機器の表示内容として出力される。本ステップの一連の動作により、個々の桁の認識結果は誤っていないが、全体として誤った結果を出力すること（例えば、図２２の画像に対して「４９９」を出力するなど）を防止できる。
【００７０】
以上のように、本実施の形態によれば、回転式の計測結果表示部を有する計測機器の計測結果を正しく認識できる。なお、本実施の形態では、パターン選択手段１０が特定の桁に対応して複数の文字パターンを選択した場合、数字コード列照合結果だけを当該桁の認識結果としたが、これは、例えば、個々の文字パターンの類似度と、数字コード列としての類似度を比較し、どの結果を当該桁の認識結果とするか決定し直すようにすることもできる。
【００７１】
なお、本実施の形態では、回転式の計測結果表示部に表示される数字を認識する場合について説明したが、リールの表面に連続的に表示された複数の文字の一部を認識する場合においても、同様に処理することが可能である。また、本実施の形態では、表示部に表示される文字が数字である場合について説明をしたが、数字以外の文字種であってもよい。またアイコンやイメージなど文字以外の表示物であってもよい。この場合は、文字列記憶手段１１の代わりにイメージデータを格納する手段を用いたり、文字列記憶手段１１にイメージデータの識別子を記憶させるようにすればよい。
【００７２】
実施の形態５．
図２６は、本実施の形態５の構成図である。本実施の形態は、多階調画像と２値画像の双方を用いて隠れ領域を検出することによって、隠れ領域の検出を低減する文字認識装置に関するものである。
【００７３】
次に動作を図２７を用いて説明する。ステップＶ１において、実施の形態２と同様の手順で、画像入力手段１は画像を入力し、続いてステップＶ２において、文字領域検出手段３は、文字配置情報格納手段２の格納情報を参照して文字パターン検出を行い、次にステップＶ３において、最大・最小濃度抽出手段４は、隠れ候補領域を部分領域に分割して最大濃度と最小濃度を抽出した後、ステップＶ４において、隠れ境界検出手段５は、隠れ領域の境界位置を検出する。
【００７４】
ステップＶ５において、隠れ領域決定手段６は隠れ領域を決定するが、本実施の形態では、実施の形態２と同様に隠れ境界検出手段５の検出した隠れ境界位置と文字領域検出手段３の検出した文字パターンの矩形位置から各文字パターンの隠れ領域を決定する。その一方で、隠れ境界検出手段５によっては隠れ領域なしと判断した隠れ候補領域についても、さらに従来と同様の周辺分布による隠れ領域検出処理を行って、その結果隠れありと判定された文字パターンについて、対応する隠れ領域を求める。
【００７５】
以降は実施の形態３と同様であり、ステップＶ６において、信頼度決定手段９は、隠れ領域決定手段６の求めた各文字パターンの隠れの程度に応じて信頼度を決定する。続いてステップＶ７において、パターン選択手段１０は、信頼度決定手段９の求めた信頼度に基づいて、文字認識を行う文字パターンを選択する。次にステップＶ８において文字認識手段８は、パターン選択手段１０が選択した文字パターンを認識して複数の候補文字と類似度を出力し、ステップＶ９において、認識結果決定手段１２は、文字認識手段８の出力した候補文字及び類似度と文字列格納手段１１に格納された文字列とを照合して、最も類似度の大きい文字列を出力する。
【００７６】
以上のように、本実施の形態によれば、処理量を抑えつつ隠れのある文字を高精度に認識できる。また、多階調画像と２値画像の双方を用いて隠れ領域を検出することで、隠れ領域の検出漏れを低減できる。
【００７７】
なお、実施の形態１乃至実施の形態５では、認識照合を行うための検定値として類似度（基準パターンと似ている度合い）を用いる構成とした。しかし、類似度の代わりに相違度（基準パターンと似ていない度合い）を用いることもできる。例えば、定数から相違度を減算した値は類似度と同等に扱うことができる。
【００７８】
また、実施の形態１乃至実施の形態５では、文字の上部が隠れる例で説明したが、隠れの位置は下方でも、あるいは左右でもよいことはいうまでもない。また、実施の形態３と実施の形態４では、入力画像を２値画像としたが、これは、多諧調の画像を入力画像とし、当該画像を２値化して文字領域検出を行う構成とすることもできる。
【００７９】
【発明の効果】
本発明に係る文字認識装置は、多階調画素により表現された入力画像を２値化して２値画像を作成し、文字が表示された領域を囲む矩形である文字パターンを前記２値画像から検出し、この文字パターンから分割された分割領域における前記入力画像の濃度特徴量を抽出し、前記文字パターンの位置と、前記濃度特徴量に基づいて検出された隠れ境界位置とに基づいて前記文字パターンの隠れ領域を決定する構成としたので、中間的な濃度を有する物体による隠れ領域を判断し、この隠れ領域を考慮した文字認識を行うことが可能となる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１と実施の形態２の構成図である。
【図２】 本発明の実施の形態１と実施の形態２の処理フローである。
【図３】 本発明の実施の形態１の入力画像の例を示す図である。
【図４】 本発明の実施の形態１の入力画像を２値化した例を示す図である。
【図５】 本発明の実施の形態１の文字パターン切り出しの例を示す図である。
【図６】 本発明の実施の形態１の領域分割前の画像の例を示す図である。
【図７】 本発明の実施の形態１の領域分割の例を示す図である。
【図８】 本発明の実施の形態１の分割された各領域の最大濃度と最小濃度を示す表である。
【図９】 本発明の実施の形態１の分割された各領域の最大濃度と最小濃度の濃度差を示す表である。
【図１０】 本発明の実施の形態１の隠れ境界の位置を示す図である。
【図１１】 本発明の実施の形態１の隠れ領域決定結果を示す図である。
【図１２】 本発明の実施の形態２の入力画像の例である。
【図１３】 本発明の実施の形態２の文字パターン切り出しの例を示す図である。
【図１４】 本発明の実施の形態２の切り出された文字パターンの例を示す図である。
【図１５】 本発明の実施の形態２の分割された各領域の最大濃度と最小濃度、最大濃度と最小濃度との濃度差を示す表である。
【図１６】 本発明の実施の形態３と実施の形態４の構成図である。
【図１７】 本発明の実施の形態３の処理フローである。
【図１８】 本発明の実施の形態３の入力画像の例を示す図である。
【図１９】 本発明の実施の形態３の文字パターン切り出しの例を示す図である。
【図２０】 本発明の実施の形態３の隠れ領域決定結果の例を示す図である。
【図２１】 本発明の実施の形態４の処理フローである。
【図２２】 本発明の実施の形態４の入力画像の例を示す図である。
【図２３】 本発明の実施の形態４の文字パターン切り出しの例を示す図である。
【図２４】 本発明の実施の形態４の文字パターンと基準パターンの照合処理を説明するための図である。
【図２５】 本発明の実施の形態４の基準パターン間の類似度の算出結果の例を示す図である。
【図２６】 本発明の実施の形態５の構成図である。
【図２７】 本発明の実施の形態５の処理フローである。
【図２８】 従来技術の構成図である。
【符号の説明】
１：画像入力手段 ２：文字配置情報格納手段 ３：文字領域検出手段
４：最大・最小濃度抽出手段 ５：隠れ境界検出手段 ６：隠れ領域決定手段
７：認識辞書 ８：文字認識手段 ９：信頼度決定手段
１０：信頼度検定手段 １１：文字列格納手段 １２：認識結果決定手段
１３：入力画像中の物体 １４：入力画像中の物体を２値化した領域
１５、１６、１７、１８、１９、２０、２１：文字パターン
２２：隠れ領域 ２３：隠れ領域との境界
２４、２５、２６：文字パターン領域中の隠れ領域
２７、２８、２９、３０、３１：文字パターン
３２：隠れ候補領域
３３：最大濃度と最小濃度、濃度差を示す表
３４：隠れ領域
３５、３６、３７、３８、３９、４０、４１：文字パターン
４２、４３、４４：文字パターン領域中の隠れ領域
４５、４６、４７、４８、４９、５０：文字パターン
５１：基準パターンサイズの矩形枠
５２：文字パターン中の隠れ領域
５３：基準パターン
５４、５５、５６：類似度の算出例を示す表
１０１：画像メモリ １０２：文字配列情報格納メモリ １０３：辞書メモリ
１０４：優先文字切り出し手段 １０５：推定文字切り出し手段
１０６：欠け隠れ領域検出手段 １０７：文字認識手段

Claims (7)

1. 多階調画素により表現された入力画像を２値化して２値画像を作成し、文字が表示された領域を囲む矩形である文字パターンを前記２値画像から検出する文字領域検出手段と、前記文字領域検出手段で検出された文字パターンから分割された分割領域における前記入力画像の濃度特徴量を抽出する最大・最小濃度抽出手段と、前記最大・最小濃度抽出手段で抽出された濃度特徴量に基づき、隠れ領域の隠れ境界位置を検出する隠れ境界検出手段と、前記文字領域検出手段で検出された文字パターンの位置と前記隠れ境界検出手段で検出された隠れ境界位置とに基づき、前記文字パターンの隠れ領域を決定する隠れ領域決定手段と、文字認識の照合のための基準パターンを格納した認識辞書と、前記隠れ領域決定手段で決定された隠れ領域に含まれる前記分割領域を除いた領域について前記基準パターンと前記文字パターンとを照合し認識結果を出力する文字認識手段とを備えたことを特徴とする文字認識装置。
2. 前記最大・最小濃度抽出手段は、前記分割領域ごとの最大濃度と最小濃度の差を前記濃度特徴量として抽出し、前記隠れ境界検出手段は、この濃度特徴量が所定値以下である場合に前記隠れ領域に含まれると決定する構成とされたことを特徴とする請求項１記載の文字認識装置。
3. 前記最大・最小濃度抽出手段は、前記分割領域ごとの最大濃度を前記濃度特徴量として抽出し、前記隠れ境界検出手段は、前記濃度特徴量が前記文字パターンから分割された全領域の最大濃度の最大値に基づいて決定された値以下である場合に前記隠れ領域に含まれると決定する構成とされたことを特徴とする請求項２記載の文字認識装置。
4. 前記隠れ境界検出手段は、前記分割領域毎にその領域が前記隠れ領域に含まれるか否かをその領域の濃度特徴量とその領域に隣接する領域の濃度特徴量との変化量に基づいて前記隠れ境界位置を決定する構成とされたことを特徴とする請求項１記載の文字認識装置。
5. 前記文字認識手段は、前記入力画像上の隠れ領域を含まない文字パターンと前記基準パターンとして前記認識辞書が記憶する文字パターンの縦横比が異なる場合は、それらの縦横比を一致させてからその基準パターンと前記画像上の隠れ領域を有する文字との照合を行う構成とされたことを特徴とする請求項１記載の文字認識装置。
6. 前記文字領域検出手段は、入力画像上の複数の文字パターンのうち隠れ領域を含まないことが予め判明している文字パターンの配置情報を記憶する文字配置情報記憶手段と、この文字配置情報に基づき隠れ領域のない文字パターンを優先切り出しにより切り出す優先切り出し手段と、優先切り出しにより切り出された文字パターンの形状情報に基づき隠れ領域を含む文字パターンを切り出す推定切り出し手段とを備える構成とされたことを特徴とする請求項１記載の文字認識装置。
7. 前記文字認識手段は、前記文字パターンのうち隠れ領域の面積の占める比率に応じて前記照合処理において用いる基準パターンの棄却判定条件を選択する構成とされたことを特徴とする請求項１記載の文字認識装置。

Images