JP5419491B2 - 文字認識装置及び文字認識方法 - Google Patents

Description

本発明は、例えば、車両番号等の文字列を認識する文字認識装置に係り、特に、画数が多く潰れて見える文字や、輪郭線の特徴が少なく区別しにくい文字などに対しても高精度に文字の認識を行うことができる文字認識装置に関するものである。

従来、車両のナンバープレートに記載された車両番号などの記載内容を自動認識する装置が知られている。
ナンバープレートの記載内容を認識するには、画像処理技術を用いた文字認識手法が用いられている。このような文字認識手法は、一般には、対象の文字画像を入力した後、文字と背景を分離するために２値化して文字線を強調し、文字であると判断できる領域を抽出する（文字切り出し処理）。文字切り出しされた領域において、文字の形状特徴（例えば輪郭線の方向特徴量など）を抽出し、パターン認識により文字を認識する。

ところで、ナンバープレートは、その形状、大きさ、記載される文字列等が各国毎に相違し、例えば、画数が多いために潰れて見える文字（例えば、Ｗ、Ｍなど）や、文字輪郭線の特徴が乏しいために互いに区別するのが困難な文字（例えば、ＣとＧ、ＤとＱと０など）が含まれたナンバープレートも散見される。このような場合には、従来の文字認識装置では、正しい認識結果が得られないことがある。
そこで、特開２００４−１６４４６９号公報（特許文献１）には、文字が潰れる箇所を予め形状パターンとして記録しておき、この形状パターンから潰れを補完する技術が開示されている。

特開２００４−１６４４６９号公報

しかしながら、特許文献１に記載された技術では、予め記録すべき形状パターンが多いことから、形状パターンを記憶するために大容量の記憶装置が必要となるという問題があった。

本発明は、上記問題を解決するためになされたもので、大容量の記憶装置を設けることなく、文字列に画像処理を施すことにより、文字列の潰れやボケを補完して文字輪郭線の形状を鮮明にし、文字認識精度を向上させた文字認識装置を提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。

本発明は、車両のナンバープレートの文字列を撮像した画像から２値化画像を生成し、該２値化画像に基づいて文字を認識する文字認識手段と、前記２値化画像に基づいて認識することが困難であるとして予め定めた複数の文字を記憶した記憶手段と、前記２値化画像に基づいて認識された文字のうち、類似度が１位と認識された文字が前記記憶手段に記憶された文字であると判断された場合であって、前記２値化画像に基づいて認識された文字のうち、類似度が１位の文字の類似度と２位の文字の類似度とに予め設定された閾値以上の差がない場合に、前記画像及び前記２値化画像を所定の倍率に拡大して拡大画像及び拡大２値化画像を生成する拡大手段と、前記拡大画像から微分フィルタを用いて前記文字列の輪郭線を抽出した輪郭線抽出画像を生成する輪郭線抽出手段と、前記輪郭線抽出画像の輝度を反転させた反転画像を生成し、該反転画像から２値化反転画像を生成し、該２値化反転画像と前記拡大２値化画像との論理積画像を生成する論理積画像生成手段と、を備え、前記文字認識手段が、前記論理積画像から２値化論理積画像を生成し、該２値化論理積画像から所定の文字認識特徴量を抽出してマッチング処理を行うことにより文字を認識する文字認識装置を提供する。

本発明によれば、文字列を撮影した画像から生成された２値化画像に基づいて認識された文字が、記憶手段に予め記憶された文字であると判断された場合に、再度文字認識処理を行う。ここで、記憶手段には、２値化画像に基づいて認識することが困難であるとして予め定めた複数の文字が記憶されている。記憶手段に記憶された文字としては、例えば、画数が多いために潰れて見える文字（例えば、Ｗ、Ｍなど）や、文字輪郭線の特徴が乏しいために互いに区別するのが困難な文字（例えば、ＣとＧ、ＤとＱと０など）などが挙げられる。すなわち、２値化画像に基づいて認識することが困難である文字について再度文字認識処理を行うことで輪郭線を鮮明として正確に文字認識を行う。
つまり、２値化画像に基づいて認識された文字が、記憶手段に予め記憶された文字である場合には、まず文字列を撮影した画像と、この画像から生成された２値化画像とを所定の倍率で拡大する。また、所定の倍率とは、後の処理で微分フィルタにより画像に含まれる文字の輪郭線を抽出する際に、より効果が出るような倍率に設定される。従って、入力される画像の文字のサイズにより異なるが、概ね、入力された画像の１．５倍以上２．０倍以下に設定されることが好ましい。この画像を拡大することで、後の輪郭線強調処理の効果をより高めることが出来る。また、後の処理で論理積画像を求めるときに、２値化された画像も同倍率で拡大されている必要があることから、ここでは、文字列を撮影した画像及びその２値化画像の双方を同倍率で拡大する。

さらに、拡大された画像に対して、微分フィルタを用いて文字列の輪郭線を抽出した輪郭線抽出画像を生成するので、輪郭線からその輝度勾配の強度や方向を把握することができる。この輪郭線抽出画像を一旦反転させて反転画像を得た上で、反転画像を２値化して２値化反転画像を生成し、先に拡大された拡大２値化画像と２値化反転画像との論理積画像を生成する。これにより、潰れやボケが生じた文字の輪郭線の形状がより鮮明となる。そして、論理積画像を２値化して２値化論理積画像を生成し、２値化論理積画像から所定の文字認識特徴量を抽出してマッチング処理を行うことにより文字を認識する。なお、ここで所定の文字認識特徴量とは、例えば、文字の輪郭線の方向特徴量や、局所領域の文字線の面積充填率などの構造特徴量があり、認識する文字に応じて特徴量を適宜選択し、選択した特徴量に基づいてマッチング処理を行うことが出来る。

このように、文字認識対象の画像を拡大して輪郭線をより強調し、より強調された輪郭線の明暗や輝度勾配に基づいて文字認識を行うので、入力された文字画像に潰れやボケが生じている場合であってもその輪郭線を鮮明に認識することができ、文字認識精度が向上する。

本発明は、車両のナンバープレートの文字列を撮像した画像から２値化画像を生成し、該２値化画像に基づいて文字を認識する文字認識手段と、前記２値化画像に基づいて認識することが困難であるとして予め定めた複数の文字を記憶した記憶手段と、前記２値化画像に基づいて認識された文字のうち、類似度が１位と認識された文字が前記記憶手段に記憶された文字であると判断された場合であって、前記２値化画像に基づいて認識された文字のうち、類似度が１位の文字の類似度と２位の文字の類似度とに予め設定された閾値以上の差がない場合に、前記画像を所定の倍率に拡大して拡大画像を生成する拡大手段と、前記拡大画像から微分フィルタを用いて前記文字列の輪郭線を抽出した輪郭線抽出画像を生成する輪郭線抽出手段と、を備え、前記文字認識手段が、前記輪郭線抽出画像から２値化輪郭線抽出画像を生成し、該２値化輪郭線抽出画像から所定の文字認識特徴量を抽出してマッチング処理を行うことにより文字を認識する文字認識装置を提供する。

本発明によれば、文字列を撮影した画像から生成された２値化画像に基づいて認識された文字が、記憶手段に予め記憶された文字であると判断された場合に、再度文字認識処理を行う。ここで、記憶手段には、２値化画像に基づいて認識することが困難であるとして予め定めた複数の文字が記憶されている。記憶手段に記憶された文字としては、例えば、画数が多いために潰れて見える文字（例えば、Ｗ、Ｍなど）や、文字輪郭線の特徴が乏しいために互いに区別するのが困難な文字（例えば、ＣとＧ、ＤとＱと０など）などが挙げられる。すなわち、２値化画像に基づいて認識することが困難である文字に対して、再度文字認識処理を行うことで輪郭線を鮮明として正確に文字認識を行う。
つまり、２値化画像に基づいて認識された文字が、記憶手段に予め記憶された文字である場合には、まず文字列を撮影した画像を所定の倍率で拡大する。この画像を拡大することで、後の輪郭線強調処理の効果をより高めることが出来る。さらに、拡大された画像に対して、微分フィルタを用いて文字列の輪郭線を抽出した輪郭線抽出画像を生成するので、輪郭線からその輝度勾配の強度や方向を把握することができる。この輪郭線抽出画像を２値化して２値化論理積画像を生成し、２値化論理積画像から所定の文字認識特徴量を抽出してマッチング処理を行うことにより文字を認識する。

このように、文字認識対象の画像を拡大して輪郭線をより強調し、より強調された輪郭線の明暗や輝度勾配に基づいて文字認識を行うので、入力された文字画像に潰れやボケが生じている場合であってもその輪郭線を鮮明に認識することができ、文字認識精度が向上する。

上記文字認識装置において、前記拡大画像に対して先鋭化処理を行う先鋭化手段を備え、前記輪郭線抽出手段は、前記先鋭化手段により先鋭化された拡大画像から微分フィルタを用いて前記文字列の輪郭線を抽出した輪郭線抽出画像を生成することが好ましい。

先鋭化処理手段により拡大画像に先鋭化処理を行うことで、輪郭線抽出画像を生成した際に、輪郭線をさらに強調することができ、認識対象の文字の潰れやボケがより強い場合であっても、先鋭化によりさらに強調された輪郭線の明暗や輝度勾配に基づいて文字認識を行うので、入力された文字画像に潰れやボケが生じている場合であってもその輪郭線を鮮明に認識することができ、文字認識精度が向上する。

また、上記文字認識装置において、前記文字認識手段は、抽出する前記文字認識特徴量を異ならせ、異なる前記文字認識特徴量に基づいて複数回マッチング処理を行うことにより複数回文字を認識し、複数回の認識結果から最も認識頻度の高い文字を、最終的な認識結果として出力することが好ましい。

文字認識特徴量を異ならせて複数回の文字認識処理を実行して、複数回の文字認識処理の結果に基づいて最終的な文字認識結果を出力するので、文字認識の信頼度が高まり、文字認識精度がより向上する。

また、上記文字認識装置において、前記２値化論理積画像又は前記２値化輪郭線抽出画像から所定領域を選択する領域選択手段を備え、前記文字認識手段は、該所定領域に対してマッチング処理を行うことにより文字を認識することが好ましい。

前記２値化論理積画像又は前記２値化輪郭線抽出画像から所定領域を選択し、選択された所定領域においてマッチング処理などの文字認識処理を実行するので、文字認識処理にかかる演算量が減少するため、文字認識処理に要する時間を短縮することが出来るとともに、潰れやボケとは無関係な領域に関する文字認識特徴量の影響を受けることなく、文字認識処理が可能となるので、文字認識精度がより向上する。なお、所定の領域とは、文字の潰れやボケが生じることにより誤認識を招来させる可能性のある領域であり、例えば、ＣとＧとで潰れやボケが生じるのは文字の右下部分であり、ＷとＭとでは文字の中心部分となる。所定の領域に関する情報、すなわち、潰れやボケが生じやすい領域に関する情報は、予め潰れ情報として例えば記憶手段等に記憶しておくことが好ましい。

本発明は、車両のナンバープレートの文字列を撮像した画像から２値化画像を生成し、該２値化画像に基づいて文字を認識する文字認識方法であって、前記２値化画像に基づいて認識された文字のうち、類似度が１位と認識された文字が前記２値化画像に基づいて認識することが困難であるとして予め定めた複数の文字の何れかであると判断された場合であって、前記２値化画像に基づいて認識された文字のうち、類似度が１位の文字の類似度と２位の文字の類似度とに予め設定された閾値以上の差がない場合に、前記画像及び前記２値化画像を所定の倍率に拡大して拡大画像及び拡大２値化画像を生成するステップと、前記拡大画像から微分フィルタを用いて前記文字列の輪郭線を抽出した輪郭線抽出画像を生成するステップと、前記輪郭線抽出画像の輝度を反転させた反転画像を生成し、該反転画像から２値化反転画像を生成し、該２値化反転画像と前記拡大２値化画像との論理積画像を生成するステップと、前記論理積画像から２値化論理積画像を生成し、該２値化論理積画像から所定の文字認識特徴量を抽出してマッチング処理を行うことにより文字を認識するステップと、を備えたことを特徴とする文字認識方法を提供する。

本発明は、車両のナンバープレートの文字列を撮像した画像から２値化画像を生成し、該２値化画像に基づいて文字を認識する文字認識方法であって、前記２値化画像に基づいて認識された文字のうち、類似度が１位と認識された文字が前記２値化画像に基づいて認識することが困難であるとして予め定めた複数の文字の何れかであると判断された場合であって、前記２値化画像に基づいて認識された文字のうち、類似度が１位の文字の類似度と２位の文字の類似度とに予め設定された閾値以上の差がない場合に、前記画像を所定の倍率に拡大して拡大画像を生成するステップと、前記拡大画像から微分フィルタを用いて前記文字列の輪郭線を抽出した輪郭線抽出画像を生成するステップと、前記輪郭線抽出画像から２値化輪郭線抽出画像を生成し、該２値化輪郭線抽出画像から所定の文字認識特徴量を抽出してマッチング処理を行うことにより文字を認識するステップと、を備えたことを特徴とする文字認識方法を提供する。

このように、本発明によれば、文字認識対象の画像を拡大して輪郭線をより強調し、より強調された輪郭線の明暗や輝度勾配に基づいて文字認識を行うので、入力された文字画像に潰れやボケが生じている場合であってもその輪郭線を鮮明に認識することができ、文字認識精度が向上する。

本発明の第１の実施形態にかかる文字認識装置の概略構成を示すブロック図である。 本発明の第１の実施形態にかかる文字認識装置における文字認識処理の過程を示すフローチャートである。 本発明の第２の実施形態にかかる文字認識装置の概略構成を示すブロック図である。 本発明の第２の実施形態にかかる文字認識装置における文字認識処理の過程を示すフローチャートである。 本発明の第１の実施形態にかかる文字認識装置の変形例における文字認識処理の過程を示すフローチャートである。 本発明の第１の実施形態にかかる文字認識装置の変形性における文字認識処理の過程を示すフローチャートである。

以下に、本発明に係る文字認識装置の実施形態について、図面を参照して説明する。
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る文字認識装置の概略構成を示したブロック図である。

本発明における文字認識装置１０は、車両のナンバープレートを撮影して画像を得るカメラ１１と、カメラ１１で撮影した画像の入力を受ける画像入力部１２と、画像入力部１２に入力された画像に基づいて文字認識処理を実行する認識処理部１３と、認識処理部１３での認識結果を出力する認識結果出力部１４を備えている。

認識処理部１３は、文字認識処理を実行するための演算を行うものであり、文字認識処理に関する各種演算処理を実行するＣＰＵ（中央演算処理装置）２１、文字認識処理にかかるプログラム等を記憶する読み出し専用のメモリであるＲＯＭ（Read Only Memory）２２、ＣＰＵ２１の作業領域として機能する読み書き自在のメモリであるＲＡＭ（Random Access Memory）２３、及び文字認識処理にかかるプログラムに基づく文字認識処理を実行するに際して必要となる種々のデータが格納された記憶装置２４を備えている。

また、認識処理部１３は、文字認識手段としての文字認識部２５、拡大手段としての拡大部２６、輪郭線抽出手段としての輪郭線抽出部２７、及び論理積画像生成手段としての論理積画像生成部２８を備えている。

文字認識部２５は、画像入力部１２により入力された画像から２値化画像を生成し、２値化画像に基づいて、この画像に含まれる文字を認識するとともに、後述する論理積画像生成部２９により生成された論理積画像から２値化論理積画像を生成し、この２値化論理積画像から所定の文字認識特徴量を抽出してマッチング処理を行うことにより文字を認識する。ここで、所定の文字認識特徴量とは、例えば、文字の輪郭線の方向特徴量や、局所領域の文字線の面積充填率などの構造特徴量があり、認識する文字に応じて特徴量を適宜選択し、選択した特徴量に基づいてマッチング処理を行うことが出来る。

拡大部２６は、ＣＰＵ２１により、文字認識部２５により認識された文字が、所定の文字であると判断された場合に、この文字を含む画像と、この画像を２値化することにより得られた２値化画像を所定の倍率に拡大する。ここで、所定の文字とは、例えば、画数が多いために潰れて見える文字（例えば、Ｗ、Ｍなど）や、文字輪郭線の特徴が乏しいために互いに区別するのが困難な文字（例えば、ＣとＧ、ＤとＱと０など）などであり、予め記憶装置２４に記憶されている。また、所定の倍率とは、後述する輪郭線抽出部２７において微分フィルタにより画像に含まれる文字の輪郭線を抽出する際に、より効果が出るような倍率に設定される。従って、入力される画像の文字のサイズにより異なるが、概ね、入力された画像の１．５倍以上２．０倍以下に設定されることが好ましい。

輪郭線抽出部２７は、画像入力部１２により入力され、拡大部２６で拡大された画像に対して、Ｓｏｂｅｌ微分などの１次微分フィルタを用いて画像の空間１次微分を計算し、画像に含まれる文字の輪郭線を抽出する（輪郭線強調処理）。また、輪郭線強調処理がなされた画像に対して、非極大輪郭画素を抑制することで輪郭線を細線化する（輪郭線細線化処理）。このように、輪郭線強調処理及び輪郭線細線化処理をすることで輪郭線抽出画像を生成する。

論理積画像生成部２８は、まず輪郭線抽出画像の輝度を反転させた反転画像を生成し、反転画像から２値化反転画像を生成し、この２値化反転画像と拡大２値化画像との論理積画像を生成する。

文字認識部２５、拡大部２６、輪郭線抽出部２７、及び論理積画像生成部２８は、いずれもＣＰＵ２１が所定のＲＯＭ２２に格納された処理プログラムをＲＡＭ２３に展開し、展開したプログラムを実行することによって実現される処理部であり、その処理については後述する。

以下、本実施形態における文字認識処理について図２を参照して説明する。図２は、本実施形態における文字認識処理の過程を示すフローチャートである。

図２に示すように、カメラ１１で撮影されたナンバープレートの画像は認識処理部１３に入力され、本実施形態における文字認識処理が開始される。すなわち、入力された画像を文字認識部２５により２値化して２値化画像が生成され、ステップＳ１００において、２値化画像に基づいて文字認識処理が行われる。すなわち、ステップＳ１００では、文字認識部２５が、２値化画像よって強調された文字線に基づいて、文字であると判断できる領域を抽出し（文字切り出し処理）、切り出された領域において、文字認識特徴量として文字の形状特徴（例えば、輪郭線の方向特徴や構造特徴など）を抽出し、マッチング処理、すなわち、認識対象の文字と予め備えられたパターンとの比較によりその類似度を判定して文字を認識する。

続いて次のステップＳ１０１では、ステップＳ１００の認識結果に基づいて、類似度が１位、すなわち、類似度合いが最も高い文字が、上述した画数が多いために潰れて見える文字（例えば、Ｗ、Ｍなど）や、文字輪郭線の特徴が乏しいために互いに区別するのが困難な文字（例えば、ＣとＧ、ＤとＱと０など）などの所定の文字に該当するか否かを判定する。この結果、所定の文字に該当すると判断された場合には次のステップＳ１０２に進み、ステップＳ１０２で、類似度が高い順に１位の文字と２位の文字とをさらに比較する。類似度が１位の文字の類似度と２位の文字が近い、すなわち、類似度が１位の文字の類似度と２位の文字の類似度とに予め設定された閾値以上の差がない場合には、ステップＳ１０３に進む。なお、ステップＳ１０１において、認識結果の文字が所定の文字に該当しないと判断された場合、及びステップＳ１０２において類似度が１位の文字と類似度が２の文字とに差があると判定された場合には、ステップＳ１０３以降の処理を行わずに本ルーチンを終了する。

ステップＳ１０３では、拡大部２６が、入力された画像と、この画像を２値化して得られた２値化画像を所定の倍率に拡大して、拡大画像と拡大２値化画像を生成する。次のステップＳ１０４では、輪郭線抽出部２７が、ステップＳ１０３で拡大された拡大画像に対して、Ｓｏｂｅｌフィルタ等の微分フィルタにより画像データの空間１次微分を計算し、画像データの中の文字の輪郭線を抽出する（輪郭線強調処理）。さらに、輪郭線抽出部２７は、ステップＳ１０５で、ステップＳ１０４において輪郭線強調処理がなされた画像に対して、非極大輪郭画素を抑制することで輪郭線を細線化する（輪郭線細線化処理）。このように、輪郭線強調処理及び輪郭線細線化処理をすることで輪郭線抽出画像を生成する。

すなわち、輪郭線抽出部２７が、ステップＳ１０４で輪郭線強調処理がなされた画像に対して、水平方向に勾配がある画素を抽出して輪郭線の方向を算出し（垂直エッジ画像生成）、輪郭線に垂直な方向で輪郭線輝度値がピーク値となる点（極大点）を探索し、これを真の輪郭線上の点として抽出する。また同様に、ステップＳ１０４で輪郭線強調処理がなされた画像データに対して、垂直方向に勾配がある画素を抽出して輪郭線の方向を算出し（水平エッジ画像生成）、輪郭線に垂直な方向で輪郭線輝度値がピーク値となる点（極大点）を探索し、これを真の輪郭線上の点として抽出する。

続いて、ステップＳ１０６では、論理積画像生成部２８が、輪郭線抽出画像に対して輝度を反転させて反転画像を生成し、さらにこの反転画像を２値化することにより２値化反転画像を生成する。そして、この２値化反転画像と拡大２値化画像との論理積を算出して論理積画像を生成する。

ステップＳ１０７では、文字認識部２５が、ステップＳ１０６で得られた論理積画像を２値化することにより２値化論理積画像を生成し、２値化画像よって強調された２値化論理積画像の文字線に基づいて、文字であると判断できる領域を抽出し（文字切り出し処理）、切り出された領域において、文字認識特徴量として文字の形状特徴（例えば、輪郭線の方向特徴や構造特徴など）を抽出し、マッチング処理、すなわち、認識対象の文字と予め備えられたパターンとの比較によりその類似度を判定して文字を認識する。そして、類似度が最も高いとされた文字を認識結果として認識結果出力部１４へ出力し、本ルーチンを終了する。

このように、文字認識対象の画像を拡大して輪郭線をより強調し、より強調された輪郭線の明暗や輝度勾配に基づいて文字認識を行うので、入力された文字画像に潰れやボケが生じている場合であってもその輪郭線を鮮明に認識することができ、文字認識精度が向上する。

〔第２の実施形態〕
次に、本発明の第２の実施形態について、図３を用いて説明する。

本実施形態の文字認識処理が上述した第１の実施形態と異なる点は、図３に示すように、論理積画像生成部を設けない点にある。すなわち、本実施形態の文字認識装置は、論理積画像を生成せずに、輪郭線抽出画像から２値化輪郭線抽出画像を生成し、この２値化輪郭線抽出画像に基づいて文字を認識する。以下、本実施形態の文字認識処理について、第１の実施形態と共通する点については説明を省略し、異なる点について説明する。

本実施形態の文字認識装置３０の認識処理部は、図３に示すように、文字認識手段としての文字認識部２５、拡大手段としての拡大部２６、及び輪郭線抽出手段としての輪郭線抽出部２７を備えている。

文字認識部２５は、画像入力部１２により入力された画像から２値化画像を生成し、２値化画像に基づいて、この画像に含まれる文字を認識するとともに、輪郭線抽出部２７により生成された輪郭線抽出画像から２値化輪郭線抽出画像を生成し、この２値化輪郭線抽出画像から所定の文字認識特徴量を抽出してマッチング処理を行うことにより文字を認識する。
以下、本実施形態における文字認識処理について図４を参照して説明する。図４は、本実施形態における文字認識処理の過程を示すフローチャートである。

図４に示すように、カメラ１１で撮影されたナンバープレートの画像は認識処理部１３に入力され、本実施形態における文字認識処理が開始される。すなわち、入力された画像を文字認識部２５により２値化して２値化画像が生成され、ステップＳ２００において、２値化画像に基づいて文字認識処理が行われる。すなわち、ステップＳ２００では、文字認識部２５が、２値化画像よって強調された文字線に基づいて、文字であると判断できる領域を抽出し（文字切り出し処理）、切り出された領域において、文字認識特徴量として文字の形状特徴（例えば、輪郭線の方向特徴や構造特徴など）を抽出し、マッチング処理、すなわち、認識対象の文字と予め備えられたパターンとの比較によりその類似度を判定して文字を認識する。

続いて次のステップＳ２０１では、ステップＳ２００の認識結果に基づいて、類似度が１位、すなわち、類似度合いが最も高い文字が、上述した画数が多いために潰れて見える文字（例えば、Ｗ、Ｍなど）や、文字輪郭線の特徴が乏しいために互いに区別するのが困難な文字（例えば、ＣとＧ、ＤとＱと０など）などの所定の文字に該当するか否かを判定する。この結果、所定の文字に該当すると判断された場合には次のステップＳ２０２に進み、ステップＳ２０２で、類似度が高い順に１位の文字と２位の文字とをさらに比較する。類似度が１位の文字の類似度と２位の文字が近い、すなわち、類似度が１位の文字の類似度と２位の文字の類似度とに予め設定された閾値以上の差がない場合には、ステップＳ２０３に進む。なお、ステップＳ２０１において、認識結果の文字が所定の文字に該当しないと判断された場合、及びステップＳ２０２において類似度が１位の文字と類似度が２の文字とに差があると判定された場合には、ステップＳ２０３以降の処理を行わずに本ルーチンを終了する。

ステップＳ２０３では、拡大部２６が、入力された画像と、この画像を２値化して得られた２値化画像を所定の倍率に拡大して、拡大画像と拡大２値化画像を生成する。次のステップＳ２０４では、輪郭線抽出部２７が、ステップＳ２０３で拡大された拡大画像に対して、Ｓｏｂｅｌフィルタ等の微分フィルタにより画像データの空間１次微分を計算し、画像データの中の文字の輪郭線を抽出する（輪郭線強調処理）。さらに、輪郭線抽出部２７は、ステップＳ２０５で、ステップＳ２０４において輪郭線強調処理がなされた画像に対して、非極大輪郭画素を抑制することで輪郭線を細線化する（輪郭線細線化処理）。このように、輪郭線強調処理及び輪郭線細線化処理をすることで輪郭線抽出画像を生成する。

すなわち、輪郭線抽出部２７が、ステップＳ２０４で輪郭線強調処理がなされた画像に対して、水平方向に勾配がある画素を抽出して輪郭線の方向を算出し（垂直エッジ画像生成）、輪郭線に垂直な方向で輪郭線輝度値がピーク値となる点（極大点）を探索し、これを真の輪郭線上の点として抽出する。また同様に、ステップＳ２０４で輪郭線強調処理がなされた画像データに対して、垂直方向に勾配がある画素を抽出して輪郭線の方向を算出し（水平エッジ画像生成）、輪郭線に垂直な方向で輪郭線輝度値がピーク値となる点（極大点）を探索し、これを真の輪郭線上の点として抽出する。

続いて、ステップＳ２０６では、文字認識部２５が輪郭線抽出画像を２値化することにより２値化輪郭線抽出画像を生成する。

ステップＳ２０７では、文字認識部２５が、ステップＳ２０６で得られた２値化輪郭線抽出画像の文字線に基づいて、文字であると判断できる領域を抽出し（文字切り出し処理）、切り出された領域において、文字認識特徴量として文字の形状特徴（例えば、輪郭線の方向特徴や構造特徴など）を抽出し、マッチング処理、すなわち、認識対象の文字と予め備えられたパターンとの比較によりその類似度を判定して文字を認識する。そして、類似度が最も高いとあされた文字を認識結果として認識結果出力部１４へ出力し、本ルーチンを終了する。

このように、文字認識対象の画像を拡大して輪郭線をより強調し、より強調された輪郭線の明暗や輝度勾配に基づいて文字認識を行うので、入力された文字画像に潰れやボケが生じている場合であってもその輪郭線を鮮明に認識することができ、文字認識精度が向上する。

なお、上述した第１の実施形態及び第２の実施形態の文字認識装置において、輪郭線抽出部２７による輪郭線抽出画像の生成に先立って、拡大画像に対してアンシャープマスキング処理などの先鋭化処理を行う先鋭化処理手段（図示せず）を設けることもできる。先鋭化処理手段により拡大画像に先鋭化処理を行うことで、輪郭線抽出画像を生成した際に、輪郭線をさらに強調することができ、認識対象の文字の潰れやボケがより強い場合であっても、先鋭化によりさらに強調された輪郭線の明暗や輝度勾配に基づいて文字認識を行うので、入力された文字画像に潰れやボケが生じている場合であってもその輪郭線を鮮明に認識することができ、文字認識精度が向上する。

また、文字の潰れやボケが生じることにより誤認識を招来させる可能性のある領域は、その文字によってある程度定められる。例えば、ＣとＧとで潰れやボケが生じるのは文字の右下部分であり、ＷとＭとでは文字の中心部分となる。このため、予めこれらの所定の文字において潰れやボケが生じやすい領域に関する情報を潰れ情報として記憶手段２４等に記憶しておき、この潰れ情報に基づいて潰れやボケの生じる領域を選択する領域選択手段（図示せず）を設けることが出来る。

図５は、第１の実施形態にかかる文字認識装置の変形例であって、領域選択手段を設けた文字認識装置にかかる文字認識処理の過程を示すフローチャートである。論理積画像の生成までの処理は、上述した図２のフローチャートにおけるステップＳ１００からステップＳ１０６の処理と同様であるので説明を省略する。
図５に示すように、文字認識装置は、論理積画像を生成した後に、ステップＳ３００で、図示しない領域選択手段により、潰れ情報に基づいて、認識対象の文字の潰れやボケが生じやすい領域を選択する。次のステップＳ３０１では、文字認識部２５が、ステップＳ３００で選択された領域内においてのみ、文字認識の基礎となる文字認識特徴量を抽出する。ステップＳ３０２では、文字認識部２５が、先に抽出された文字認識特徴量に基づいて、選択された領域にのみ２値化やマッチング処理等の上記した文字認識処理を実行すればよい。第２の実施形態の文字認識装置においては、文字認識処理による輪郭線抽出画像の２値化に先立って、輪郭線抽出画像から所定の領域を選択し、選択された領域について上記したステップＳ３０１及びステップＳ３０２の文字認識処理を実行すればよい。

このようにすることで、文字認識処理にかかる演算量が減少するため、文字認識処理に要する時間を短縮することが出来るとともに、潰れやボケとは無関係な領域に関する文字認識特徴量の影響を受けることなく、文字認識処理が可能となるので、文字認識精度がより向上する。

上記した、先鋭化手段及び領域選択手段もＣＰＵ２１が所定のＲＯＭ２２に格納された処理プログラムをＲＡＭ２３に展開し、展開したプログラムを実行することによって実現される処理部として機能する。

さらに、図６に示すように、文字認識手段は、論理積画像の生成後又は輪郭線抽出画像の生成後に、これらの画像から抽出する前記文字認識特徴量を異ならせ、異なる前記文字認識特徴量に基づいて複数回マッチング処理を行うことにより複数回文字を認識し、複数回の認識結果から最も認識頻度の高い文字を、最終的な認識結果として出力することもできる。

図６は、第１の実施形態にかかる文字認識装置の変形例にかかる文字認識処理の過程を示すフローチャートである。論理積画像の生成までの処理は、上述した図２のフローチャートにおけるステップＳ１００からステップＳ１０６の処理と同様であるので説明を省略する。

図６に示すように、文字認識装置は、論理積画像を生成した後に、ステップＳ４０１、Ｓ５０１、Ｓ６０１で夫々、認識対象の文字から異なる文字認識特徴量を抽出する。すなわち、ステップＳ４０１では、輪郭線方向頻度を、ステップＳ５０１では、構造特徴を、ステップＳ６０１では、その他の文字認識特徴量を夫々抽出する。次のステップＳ４０２、Ｓ５０２、Ｓ６０２では、夫々の文字認識特徴量に基づいてマッチング処理を行うことにより文字を認識する。これらの処理は、平行して行ってもよく、順次行ってもよい。そして、ステップＳ４０３で、先のステップにおける認識結果に基づいて、最も類似度が高い文字、すなわち、最も認識頻度の高い文字を認識結果として、認識結果出力部１４へ出力し本ルーチンを終了する。第２の実施形態の文字認識装置においては、文字認識処理による輪郭線抽出画像から異なる文字認識特徴量を抽出し、抽出された文字認識特徴量に基づいて夫々文字認識処理を実行すればよい。
このように、文字認識特徴量を異ならせて複数回の文字認識処理を実行して、複数回の文字認識処理の結果に基づいて最終的な文字認識結果を出力するので、文字認識の信頼度が高まり、文字認識精度がより向上する。

１０ 文字認識装置
１１ カメラ
１２ 画像入力部
１３ 認識処理部
１４ 認識結果出力部
２５ 文字認識部
２６ 拡大部
２７ 輪郭線抽出部
２８ 論理積画像生成部
３０ 文字認識装置

Claims (7)

1. 車両のナンバープレートの文字列を撮像した画像から２値化画像を生成し、該２値化画像に基づいて文字を認識する文字認識手段と、
   前記２値化画像に基づいて認識することが困難であるとして予め定めた複数の文字を記憶した記憶手段と、
   前記２値化画像に基づいて認識された文字のうち、類似度が１位と認識された文字が前記記憶手段に記憶された文字であると判断された場合であって、前記２値化画像に基づいて認識された文字のうち、類似度が１位の文字の類似度と２位の文字の類似度とに予め設定された閾値以上の差がない場合に、前記画像及び前記２値化画像を所定の倍率に拡大して拡大画像及び拡大２値化画像を生成する拡大手段と、
   前記拡大画像から微分フィルタを用いて前記文字列の輪郭線を抽出した輪郭線抽出画像を生成する輪郭線抽出手段と、
   前記輪郭線抽出画像の輝度を反転させた反転画像を生成し、該反転画像から２値化反転画像を生成し、該２値化反転画像と前記拡大２値化画像との論理積画像を生成する論理積画像生成手段と、を備え、
   前記文字認識手段が、前記論理積画像から２値化論理積画像を生成し、該２値化論理積画像から所定の文字認識特徴量を抽出してマッチング処理を行うことにより文字を認識する文字認識装置。
2. 車両のナンバープレートの文字列を撮像した画像から２値化画像を生成し、該２値化画像に基づいて文字を認識する文字認識手段と、
   前記２値化画像に基づいて認識することが困難であるとして予め定めた複数の文字を記憶した記憶手段と、
   前記２値化画像に基づいて認識された文字のうち、類似度が１位と認識された文字が前記記憶手段に記憶された文字であると判断された場合であって、前記２値化画像に基づいて認識された文字のうち、類似度が１位の文字の類似度と２位の文字の類似度とに予め設定された閾値以上の差がない場合に、前記画像を所定の倍率に拡大して拡大画像を生成する拡大手段と、
   前記拡大画像から微分フィルタを用いて前記文字列の輪郭線を抽出した輪郭線抽出画像を生成する輪郭線抽出手段と、を備え、
   前記文字認識手段が、前記輪郭線抽出画像から２値化輪郭線抽出画像を生成し、該２値化輪郭線抽出画像から所定の文字認識特徴量を抽出してマッチング処理を行うことにより文字を認識する文字認識装置。
3. 前記拡大画像に対して先鋭化処理を行う先鋭化手段を備え、
   前記輪郭線抽出手段は、前記先鋭化手段により先鋭化された拡大画像から微分フィルタを用いて前記文字列の輪郭線を抽出した輪郭線抽出画像を生成することを特徴とする請求項１又は請求項２に記載の文字認識装置。
4. 前記文字認識手段は、抽出する前記文字認識特徴量を異ならせ、異なる前記文字認識特徴量に基づいて複数回マッチング処理を行うことにより複数回文字を認識し、複数回の認識結果から最も認識頻度の高い文字を、最終的な認識結果として出力することを特徴とする請求項１乃至請求項３の何れか１項に記載の文字認識装置。
5. 前記２値化論理積画像又は前記２値化輪郭線抽出画像から所定領域を選択する領域選択手段を備え、
   前記文字認識手段は、該所定領域に対してマッチング処理を行うことにより文字を認識することを特徴とする請求項１乃至請求項４の何れか１項に記載の文字認識装置。
6. 車両のナンバープレートの文字列を撮像した画像から２値化画像を生成し、該２値化画像に基づいて文字を認識する文字認識方法であって、
   前記２値化画像に基づいて認識された文字のうち、類似度が１位と認識された文字が前記２値化画像に基づいて認識することが困難であるとして予め定めた複数の文字の何れかであると判断された場合であって、前記２値化画像に基づいて認識された文字のうち、類似度が１位の文字の類似度と２位の文字の類似度とに予め設定された閾値以上の差がない場合に、前記画像及び前記２値化画像を所定の倍率に拡大して拡大画像及び拡大２値化画像を生成するステップと、
   前記拡大画像から微分フィルタを用いて前記文字列の輪郭線を抽出した輪郭線抽出画像を生成するステップと、
   前記輪郭線抽出画像の輝度を反転させた反転画像を生成し、該反転画像から２値化反転画像を生成し、該２値化反転画像と前記拡大２値化画像との論理積画像を生成するステップと、
   前記論理積画像から２値化論理積画像を生成し、該２値化論理積画像から所定の文字認識特徴量を抽出してマッチング処理を行うことにより文字を認識するステップと、
   を備えたことを特徴とする文字認識方法。
7. 車両のナンバープレートの文字列を撮像した画像から２値化画像を生成し、該２値化画像に基づいて文字を認識する文字認識方法であって、
   前記２値化画像に基づいて認識された文字のうち、類似度が１位と認識された文字が前記２値化画像に基づいて認識することが困難であるとして予め定めた複数の文字の何れかであると判断された場合であって、前記２値化画像に基づいて認識された文字のうち、類似度が１位の文字の類似度と２位の文字の類似度とに予め設定された閾値以上の差がない場合に、前記画像を所定の倍率に拡大して拡大画像を生成するステップと、
   前記拡大画像から微分フィルタを用いて前記文字列の輪郭線を抽出した輪郭線抽出画像を生成するステップと、
   前記輪郭線抽出画像から２値化輪郭線抽出画像を生成し、該２値化輪郭線抽出画像から所定の文字認識特徴量を抽出してマッチング処理を行うことにより文字を認識するステップと、
   を備えたことを特徴とする文字認識方法。

Images