JP4264332B2 - 文字認識装置、ナンバープレート認識システム - Google Patents

Description

本発明は、車両のナンバープレートの記載内容を自動認識するのに用いて好適な文字認識装置、ナンバープレート認識システムに関する。

近年、高速道路の料金所等をはじめとして、車両のナンバープレートを自動認識する装置が多く用いられている。その用途としては、例えば、ナンバープレートの記載内容を認識することで、車両の種別等を判別するためである。
ナンバープレートの記載内容を認識するには画像処理技術を用いた文字認識手法が用いられている。

このような文字認識手法は、一般には、対象の文字画像を入力した後、文字と背景を分離するために文字線を強調し（２値化）を行い、文字であると判断できる領域を抽出する（文字切り出し処理）。文字切り出しされた領域において、文字の形状特徴（例えば輪郭線の方向特徴など）を抽出し、パターン認識により文字を認識する。
ところが、解像度の低いカメラで撮影された文字画像（低解像度画像）では、文字線部のかすれ（線の飛び）や文字穴部の潰れが発生しやすくなるため、正しく文字を認識出来ないという問題がある。このため通常は、十分な解像度を有するカメラにて文字画像を撮影することになるが、そのようなカメラは高価である。また解像度の高い画像を得るには、拡大して撮影を行うため、ひとつのカメラで撮影できる領域が小さく、道路上の全ての車両を撮影するには、カメラは複数台必要になる。その結果、システム全体のコストが高くなってしまうのである。

上記の問題を全て解決するための手段として、低解像度で撮影した文字画像を高解像度化して、文字認識をする方法がある。画像を高解像度化して文字認識する従来の手法としては、線形補間やサブピクセル処理が用いられているが、これらはいずれも元の低解像度画像をベースとした高解像度化処理である。したがって、元々失われている細部の情報は復元することは出来ないため、文字を完全に復元できるとは限らず、文字認識精度の向上にはつながりにくい。

このような情報復元の問題を解決するための方法として、事例に基づくSuper Resolution法（以下、超解像処理法と称する）がある（例えば、非特許文献１参照。）。この手法では事前に集めた高解像度画像と、それに対応する低解像度画像とを対にして記憶しておき、認識すべき低解像度の入力画像と、予め記憶した低解像度画像とを比較して最も似通っているものを選び出す。そして、選び出された低解像度画像に対応する高解像度画像を特定し、この高解像度画像を用い、文字認識のための画像処理を行う。このようにして認識すべき低解像度画像を高解像度化することで、低解像度画像で失われている細部の情報まで復元することができ、文字認識精度の向上につながる。

S. Baker & T. Kanade, "Limits on Super-Resolution and How to Break Them" IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, No. 9, September, 2002, pp. 1167 - 1183

しかしながら、特許文献１の手法では、入力画像と予め記憶された低解像度画像との総当りマッチング処理を行うため、記憶すべきデータ量や処理時の演算量が膨大なものとなり、高速処理することが難しい。自動車のナンバープレートを読み取る場合、おおよそ１秒以内で処理を完了する必要があり、認識精度の高さはもちろんのこと、処理速度の高さも非常に重要である。

また、特許文献１の手法では、正規化相関計算により、入力画像と予め記憶された低解像度画像のマッチング処理を行っているが、この正規化相関計算は、対象となる文字の変形や歪みに弱いという問題がある。自動車のナンバープレートを読み取る場合、例えば料金所に進入してくる車両は必ずしも一定の角度ではなく、斜めに進入してくることもある。またナンバープレートの取り付け角度が路面に対して略直角ではなく、上向きあるいは下向きに傾斜していることもある。さらには、折り曲げられていたり、事故等によって変形している場合もある。すると、入力画像における文字は変形や歪みを生じることが多く、このような場合、正規化相関計算では、高い認識精度を得るのは困難である。

本発明は、このような技術的課題に基づいてなされたもので、高い認識精度で高速に処理を行うことのできる文字認識装置、ナンバープレート認識システムを提供することを目的とする。

かかる目的のもと、本発明の文字認識装置は、複数の文字のそれぞれを所定の解像度で撮像したときの辞書画像、および複数の文字のそれぞれを辞書画像の解像度より高解像度で撮像したときの高解像度辞書画像を格納したデータベースと、データベースに格納された辞書画像から、外部から入力された文字画像にマッチする辞書画像を特定する特定処理部と、特定処理部で特定された辞書画像について、外部から入力された画像に含まれる文字の大きさと、前記画像から文字が記載されている領域の文字画像を切り出し、切り出された文字画像において背景色以外の部分の面積の前記文字画像の面積に対する占積率である充填率と、に基づき、辞書画像または辞書画像に関連付けられた高解像度辞書画像を選択し、選択された辞書画像または高解像度辞書画像に対し文字認識処理を施すことで、文字画像の文字を認識する文字認識部と、認識された文字を認識結果として出力する結果出力部と、を備えることを特徴とすることもできる。
ここで、文字認識処理に辞書画像を用いる場合は、超解像度処理を行わないことを示している。
このように、辞書画像または高解像度辞書画像を選択するには、文字認識部において、特定処理部で特定された文字画像の充填率、または文字画像に微分処理を施すことで得られる背景色と文字の部分とによる周波数に基づき選択を行うことができる。
また、文字認識部は、辞書画像または高解像度辞書画像を２値化処理し、２値化処理した画像において、輪郭線の方向ヒストグラム特徴を求め、統計的パターン認識により文字画像の文字を認識したり、辞書画像または高解像度辞書画像の輝度勾配方向のヒストグラム特徴に基づき、文字画像の文字を認識することもできる。加えて、２値化処理と輝度勾配方向のヒストグラム特徴を場合によって切り替えることもできる。すなわち、文字認識部は、辞書画像または高解像度辞書画像を２値化処理することによる文字認識の結果、候補となる文字のそれぞれに対するマハラノビス距離を求め、マハラノビス距離から文字認識の信頼度を判定し、その判定結果に基づき、２値化処理によって認識された文字を認識結果として確定するか、辞書画像または高解像度辞書画像の輝度勾配方向のヒストグラム特徴に基づいて文字認識を行うかを選択するのである。
このように、高解像度辞書画像を対象として文字認識を行う超解像度処理や、文字認識の際の手法として用いる２値化処理、輝度勾配方向のヒストグラム特徴を、必要に応じて用いることにより、負荷の高い（演算量が多い）処理を全体として削減し、必要な時のみ文字認識精度を向上させることができる。

上記したような文字認識装置は、文字画像の入力手段を問うものではなく、カメラで撮影した文字画像に限らず、文字認識装置に対して外部から入力できる文字画像であれば、その入力手段（取得手段）はいかなるものであってもよい。また、その文字画像も、いかなるものに記載されたものであってもよい。つまり、文字認識装置としては、文字認識対象をナンバープレートに限定する意図はないのである。

その一方、本発明は、通過する車両のナンバープレートを撮影するカメラと、カメラで撮影したナンバープレートの画像に基づき、ナンバープレートに記載された文字を認識する認識部と、認識部で文字を認識するため、複数の文字のそれぞれを所定の解像度で撮像したときの辞書画像、および複数の文字のそれぞれを辞書画像の解像度より高解像度で撮像したときの高解像度辞書画像を格納したデータベースと、データベースに格納された辞書画像から、カメラで撮影したナンバープレートに記載された文字画像にマッチする辞書画像を特定する特定処理部と、認識された文字を認識結果として出力する結果出力部と、を備え、認識部は、特定処理部で特定された辞書画像について、外部から入力された画像に含まれる文字の大きさと、画像から文字が記載されている領域の文字画像を切り出し、切り出された文字画像において背景色以外の部分の面積の文字画像の面積に対する占積率である充填率を算出し、文字の大きさと充填率とに基づき、当該辞書画像または当該辞書画像に関連付けられた高解像度辞書画像を選択し、選択された辞書画像または高解像度辞書画像に対し文字認識処理を施すことで、文字画像の文字を認識することを特徴とするナンバープレート認識システムとして捉えることもできる。

本発明によれば、車両のナンバープレートの記載内容の自動認識処理を、高い認識精度で高速に行うことが可能となる。

以下、添付図面に示す実施の形態に基づいてこの発明を詳細に説明する。
図１は、本実施の形態におけるナンバープレート認識システム１０の構成を説明するための図である。
ナンバープレート認識システム１０は、道路Ｒ上の車両のナンバープレート１００を撮影すべく、道路Ｒの上方において、斜め下方に向けて設置されたカメラ２０と、このカメラ２０で撮影した画像を基に、ナンバープレート１００に記載された文字の認識を行う文字認識装置３０と、を備えている。

文字認識装置３０は、カメラ２０で撮影した画像の入力を受ける画像入力部３１と、画像入力部３１に入力された画像に基づき、文字認識処理を実行する認識処理部（マッチング処理部、特定処理部、文字認識部、認識部）３２と、認識処理部３２で認識処理を実行するにあたり必要なデータが格納されたデータベース３３と、認識処理部３２での認識処理結果を外部に出力する認識結果出力部（結果出力部）３４と、を備えている。

図２に示すように、データベース３３には、ナンバープレート１００に使用される文字（数字、「−」、「・」等を含む）について、その文字をカメラ２０と同等の解像度で撮影したときの画像（辞書画像：以下、低解像度辞書画像）Ｌと、同じ文字をカメラ２０よりも高解像度で撮影したときの画像（以下、高解像度辞書画像）Ｈのデータが、互いに関連付けられて格納されている。そして、低解像度辞書画像Ｌについては、これを予め解析することで得られる、例えば、その低解像度辞書画像Ｌの各ピクセルの輝度値、輝度値の微分値（水平方向、垂直方向、斜め右下がり方向、斜め右上がり方向）等、文字画像の特徴量を示す指標（以下、特徴量）が、さらに関連付けてデータベース３３に格納されている。

以下、認識処理部３２における文字認識処理方法について説明する。
図３は、本実施の形態における文字認識処理の流れの一例を示すものである。なお、文字認識処理は、コンピュータ装置である文字認識装置３０に予めインストールされたプログラムに基づき、ＣＰＵ、メモリ等が協働することで機能的に発現する認識処理部３２が、自動的に実行するものである。
この図３に示すように、画像入力部３１に画像が入力されると、認識処理部３２は、例えばナンバープレート１００に対応した領域のみの画像を切り出す等、所定の前処理を実行する（ステップＳ１０１）。
そして、ナンバープレート１００において、文字が記載されている領域の画像（以下、文字画像）Ｉを切り出す、文字切り出し処理を実行する（ステップＳ１０２）。このとき、切り出す文字画像Ｉの領域は、１文字毎に切り出すものとする。

そして、超解像度処理を用いた文字認識処理を実行する（ステップＳ１０３）。この文字認識処理では、正規化相関計算ではなく、２値化画像での文字形状特徴抽出によるパターンマッチング処理を用いる。
詳しくは、得られた文字画像Ｉについて認識処理部３２にて解析し、文字画像Ｉの特徴量を示す指標を算出する。そして、図４に示すように、算出された文字画像Ｉの特徴量と、データベース３３に格納された低解像度辞書画像Ｌの特徴量とを比較してマッチングを図り、マッチング度の最も高い低解像度辞書画像Ｌを特定する（ステップＳ１１１）。つまり、いわゆる超解像度処理を行うのである。
続いて、特定された低解像度辞書画像Ｌに関連付けられている高解像度辞書画像Ｈをデータベース３３から呼び出し、認識処理部３２にて、２値化処理する（ステップＳ１１２）。さらに、２値化処理した画像において、輪郭線の方向ヒストグラム特徴を求め、統計的パターン認識により文字を認識する（ステップＳ１１３）。
そして、文字の認識結果を確定し、これを文字認識装置３０のメモリに記憶する（ステップＳ１１４）。

上記の、ステップＳ１１１〜Ｓ１１４の処理を、ステップＳ１０２で切り出した文字画像Ｉの数の分（文字数分）だけループし、個々の文字画像Ｉの文字を認識していく。
そして、全ての文字画像Ｉの認識が完了した時点で、文字認識装置３０のメモリに記憶された個々の文字の認識結果から、ナンバープレート１００に記載されている全ての文字の認識結果を得るのである。
得られた文字の認識結果は、必要に応じ、認識結果出力部３４から外部の他の処理装置、記憶装置等に出力される。

このようにして、文字画像Ｉを超解像度処理し、特定された高解像度辞書画像Ｈを用いて文字認識することで、低解像度の文字画像Ｉで失われている細部の情報までを復元して、高い精度で文字認識を行うことができる。しかも、文字認識の際には、特定された高解像度辞書画像Ｈを用い、これを２値化処理し、輪郭線の方向ヒストグラム特徴を求めることで、変形や歪みに弱い正規化相互相関手法を用いる場合に比較し、文字の認識精度を向上させることができる。
その結果、カメラ２０を従来より低解像度のものとすることも可能となり、カメラ２０自体のコスとを抑えるだけでなく、カメラ２０の台数自体も削減できるので、ナンバープレート認識システム１０のコストを大幅に低減することが可能となる。

さて、上記ステップＳ１０３の文字認識処理においては、２値化処理を用いたが、これに代えて輝度勾配特徴を用いることもできる。
すなわち、図５に示すように、入力画像の前処理（ステップＳ１０１）、文字切り出し処理（ステップＳ１０２）を経た後の文字認識処理（ステップＳ１０３）において、図３のステップＳ１１１と同様にして文字画像Ｉに対する超解像度処理を行い、高解像度辞書画像Ｈを得る（ステップＳ１２１）。
この後、上記のように２値化処理を行うのではなく、得られた高解像度辞書画像Ｈの濃淡に基づく輝度勾配方向のヒストグラム特徴を得て、統計的パターン認識により文字を認識する（ステップＳ１２２）。

そして、文字の認識結果を確定し、これを文字認識装置３０のメモリに記憶する（ステップＳ１２３）。
上記の、ステップＳ１２１〜Ｓ１２３の処理を、ステップＳ１０２で切り出した文字画像Ｉの数の分（文字数分）だけループし、個々の文字画像Ｉの文字を認識していき、全ての文字画像Ｉの認識が完了した時点で、文字認識装置３０のメモリに記憶された個々の文字の認識結果から、ナンバープレート１００に記載されている全ての文字の認識結果を得て、これを、必要に応じ、認識結果出力部３４から外部の他の処理装置、記憶装置等に出力するのである。

このように、２値化処理ではなく、輝度勾配を用いることでも、図３の手法と同様の効果を得ることができる。輝度勾配を用いた場合、２値化処理よりも高い精度での文字認識が期待できる。

また、これら、２値化処理による文字認識と、輝度勾配を用いる文字認識とを組み合わせることもできる。
すなわち、図６に示すように、入力画像の前処理（ステップＳ１０１）、文字切り出し処理（ステップＳ１０２）を経た後の文字認識処理（ステップＳ１０３）において、図３のステップＳ１１１と同様にして文字画像Ｉに対する超解像度処理を行い、高解像度辞書画像Ｈを得る（ステップＳ１３１）。
続いて、得られた高解像度辞書画像Ｈをデータベース３３から呼び出し、認識処理部３２にて、２値化処理する（ステップＳ１３２）。さらに、２値化処理した画像において、輪郭線の方向ヒストグラム特徴を求め、統計的パターン認識により文字を認識する（ステップＳ１３３）。

そして、２値化処理による文字認識の結果、文字の類似度の信頼性が、予め設定したしきい値よりも高いか否かを判定する（ステップＳ１３４）。ここで、文字の類似度の信頼性が高いか否かを判定するには、マハラノビス距離を用いる。すなわち、２値化処理による文字認識の結果、文字の類似度の指標として、マハラノビス距離を求め、このマハラノビス距離が、予め設定したしきい値Ｓ１よりも高いか否かを判定するのである。
このとき、文字認識の結果、しきい値Ｓ１をクリアする文字の候補が複数ある場合、それぞれの文字に対するマハラノビス距離を比較する。この比較は、単にマハラノビス距離の小さい方を、最終的な文字認識結果（の文字）とするのではなく、マハラノビス距離の比に基づき、その比が予め設定したしきい値Ｓ２より大きいか否かで判定するのが好ましい。

具体例を挙げれば、しきい値Ｓ１が０．４０であり、第一候補の文字に対するマハラノビス距離が０．２５であり、第二候補の文字に対するマハラノビス距離が０．４２である場合、第一候補の文字の信頼性が高いと判定するのである。第一候補の文字からして、マハラノビス距離がしきい値Ｓ１を上回っている場合、信頼性が低いと判定する。
また、第一候補の文字に対するマハラノビス距離が０．１０であり、第二候補の文字に対するマハラノビス距離が０．３０である場合、双方の文字がしきい値Ｓ１をクリアしているので、この場合、これらの比（０．３０／０．１０＝３．０）がしきい値Ｓ２より大きいか否かで信頼性を判定するのである。

その結果、認識された文字の類似度の信頼性が高いと判定された場合、その文字を認識結果として確定し、これを文字認識装置３０のメモリに記憶する（ステップＳ１３５）。

一方、ステップＳ１３４にて、文字の類似度の信頼性が低いと判定された場合、引き続き、図５の場合と同様、得られた高解像度辞書画像Ｈの濃淡に基づく輝度勾配方向のヒストグラム特徴を得て、統計的パターン認識により文字を認識する（ステップＳ１３６）。
そして、文字認識の結果、文字の類似度の信頼性が、予め設定したしきい値よりも高いか否かを、ステップＳ１３４と同様にして判定する（ステップＳ１３７）。
その結果、認識された文字の類似度の信頼性が高いと判定された場合、その文字を認識結果として確定し、これを文字認識装置３０のメモリに記憶する（ステップＳ１３８）。これに対し、信頼性が低いと判定された場合は、認識した文字が不明、つまり文字認識をできなかったことを示す、不明判定を出す（ステップＳ１３９）。

上記のようにして、文字の認識結果が確定された場合、これを文字認識装置３０のメモリに記憶した後、上記の、ステップＳ１３１〜Ｓ１３９の処理を、ステップＳ１０２で切り出した文字画像Ｉの数の分（文字数分）だけループし、個々の文字画像Ｉの文字を認識していき、全ての文字画像Ｉの認識が完了した時点で、文字認識装置３０のメモリに記憶された個々の文字の認識結果から、ナンバープレート１００に記載されている全ての文字の認識結果を得て、これを、必要に応じ、認識結果出力部３４から外部の他の処理装置、記憶装置等に出力するのである。

このようにして、２値化による文字認識では信頼性の高い結果が得られないときには、より文字認識精度の高い輝度勾配特徴による文字認識処理を行うことで、より高い精度の認識結果を得ることができる。しかも、計算負荷が高い輝度勾配特徴による文字認識処理を、必要なとき、つまり２値化による文字認識では信頼性の高い結果が得られないときのみ行うことにより、処理を高速に実行することができる。

ところで、上記したような文字認識処理Ｓ１０３において、超解像度処理を必ずしも行わない構成とすることも可能である。
すなわち、図７に示すように、入力画像の前処理（ステップＳ１０１）、文字切り出し処理（ステップＳ１０２）を経た後の文字認識処理（ステップＳ１０３）において、まず、文字の大きさ・充填率を評価する（ステップＳ１４１）。
これには、認識処理部３２において、切り出された文字画像Ｉにおいて、文字（と判断できる部分）の大きさを得るとともに、ナンバープレート１００の背景色（日本国における場合、白、緑、黄、黒、青のいずれか）以外の部分の面積の、文字画像Ｉの面積に対する占積率（これを充填率とする）を計算（評価）する。
そして、文字の大きさが一定値以下であり、かつ、充填率が一定値以上であるか否かを判定する（ステップＳ１４２）。

その結果、文字の大きさが一定値以下であり、かつ、充填率が一定値以上であると判定された場合、図３のステップＳ１１１と同様にして文字画像Ｉに対する超解像度処理を行い、高解像度辞書画像Ｈを得る（ステップＳ１４３）。
続いて、得られた高解像度辞書画像Ｈをデータベース３３から呼び出し、認識処理部３２にて、２値化処理する（ステップＳ１４４）。さらに、２値化処理した画像において、輪郭線の方向ヒストグラム特徴を求め、統計的パターン認識により文字を認識する（ステップＳ１４５）。

これに対し、ステップＳ１４２にて、文字の大きさが一定値以下であり、かつ、充填率が一定値以上であるという条件を満たさないと判定された場合、つまり文字の大きさが一定値以上であるか、充填率が一定値未満であるか、文字の大きさが一定値以上で、かつ充填率が一定値未満である場合は、ステップＳ１４３の超解像度処理をスキップし、ステップＳ１４４、Ｓ１４５に移行し、２値化処理を行った後、ステップＳ１４５にて、２値化処理した画像における輪郭線の方向ヒストグラム特徴を求め、統計的パターン認識により文字を認識するのである。このとき、ステップＳ１４４において２値化処理する対象画像は、超解像度処理を行っていないため、文字画像Ｉそのもの、あるいは文字画像Ｉとマッチング度の高い低解像度辞書画像Ｌとすることができる。処理速度の面から言えば、文字画像Ｉそのものを対象として２値化処理するのが好ましいが、文字認識精度の面から言えば、文字画像Ｉとマッチング度の高い低解像度辞書画像Ｌを対象とするのが好ましい。

そして、文字の認識結果を確定し、これを文字認識装置３０のメモリに記憶する（ステップＳ１４６）。
上記の、ステップＳ１４１〜Ｓ１４６の処理を、ステップＳ１０２で切り出した文字画像Ｉの数の分（文字数分）だけループすることで、ナンバープレート１００に記載されている全ての文字の認識結果を得て、これを、必要に応じ、認識結果出力部３４から外部の他の処理装置、記憶装置等に出力するのである。

このとき、ステップＳ１４４、１４５の文字２値化ステップ、文字認識ステップは、図５に示したような輝度勾配を用いた文字認識処理、あるいは図６に示した、必要に応じて２値化と輝度勾配を切り替える文字認識処理とすることも可能である。

このようにして、図７の例では、文字の大きさが一定値以下であり、かつ、充填率が一定値以上である場合のみ、超解像度処理を行うようにしたのである。これにより、文字が大きい場合や、充填率が低い場合には、超解像度処理を行わないことになる。充填率は、得られた文字の像がぼやけていなければ低く、また複雑な文字でなければ低くなる。つまり、大きな文字や、文字の像がはっきりしている場合、複雑ではない文字の場合には超解像度処理を行わず、処理を高速化することが可能となる。また小さな文字や、得られた文字の像がぼやけている場合、複雑な文字の場合には超解像度処理を行い、文字の認識精度を上げることができる。このようにして、処理を高速化しつつ、必要なときのみ高精度の文字認識を行うことで、高い文字認識精度を得ることが可能となる。

上記図７の例では、充填率を用い、超解像度処理を行うか否かを判定するようにしたが、これに代えて、周波数を用いることもできる。
すなわち、ステップＳ１４２に代えて、ステップＳ１０２で得られた低解像度の文字画像Ｉに対し、微分処理を施し、得られた微分値が、予め定めた一定値以上大きいか否かを判定し、一定値以上であると判定されたときのみ、ステップＳ１４３に進んで超解像度処理を行うのである。微分値が大きいということは、ナンバープレート１００の背景色の部分と文字の部分による周波数が高く、エッジを鮮明化したい部分が多いということである。例えば、図８に示すように、ナンバープレート１００の空白部分Ａ１〜Ａ４の部分は、背景色のみなので、微分値は小さい（ゼロに近い）。また、ナンバープレート１００の、大きな文字が記載された領域Ａ５では、文字が大きいため、周波数が低くなる。これに対し、文字が小さな領域Ａ６〜Ａ８では、周波数が高くなる。
したがって、用いるカメラ２０の仕様等に応じ、文字が小さな領域Ａ６〜Ａ８、あるいは文字が小さな領域Ａ６〜Ａ８の中でも周波数が高い場合に超解像度処理が行われるように、しきい値（一定値）を設定するのである。

このようにしても、上記図７の場合と同様、全体としての処理量（演算量）を大幅に低減し、処理を高速化しつつ、必要なときのみ超解像度処理による高精度の文字認識を行うことで、高い文字認識精度を得ることが可能となる。

さて、上記のようにして、文字認識装置３０において文字認識処理を行うわけであるが、その処理をさらに高速化するには、データベース３３に格納された低解像度辞書画像Ｌ、高解像度辞書画像Ｈのデータ量をなるべく少なくするのが好ましい。
これにはまず、データベース３３に格納するために事前に集められた低解像度辞書画像Ｌの特徴量（特徴パターンベクトル）の各要素の値を量子化する方法がある。例えば、特徴パターンベクトルを構成する各値がそれぞれ２５６階調の値を持つ場合、これを３２階調程度に量子化する。そして、量子化した特徴パターンベクトルを、その低解像度辞書画像Ｌの特徴量としてデータベース３３に格納するのである。これにより、データベース３３に格納するデータ量を実質的に圧縮できる。

また、他の方法として、以下に示すようなものがある。
低解像度辞書画像Ｌにおける文字は、図９（ａ）に示すような特徴パターン（特徴的な部分の形状）に分解することができる。超解像度処理では、これら特徴パターンの種類、およびそれらの組み合わせを特定することで、文字画像Ｉと低解像度辞書画像Ｌのマッチングを行うことができる。

このような特徴パターンを、ｋ−ｍｅａｎｓ法、ベクトル量子法等の手法によってクラスタリングし、図９（ｂ）に示すように、複数のグループＧ１、Ｇ２、…にグループ化する。つまり特徴パターンが似ているものを同じグループに集めるのである。
そして、グループＧ１、Ｇ２、…のそれぞれにおいて、代表パターンＰ１、Ｐ２、…を決め、この代表パターンＰ１、Ｐ２、…に、そのグループＧ１、Ｇ２、…に属する全ての特徴パターンを関連付けてデータベース３３に格納する。

実際に、文字認識を行う際には、図１０に示すように、文字画像Ｉの特徴パターンと、データベース３３に格納された代表パターンＰ１、Ｐ２、…とのマッチングを行う。そして、マッチングする代表パターン（例えば代表パターンＰ３）が特定されたら、続いて、この代表パターンＰ３に関連付けられているグループＧ３を特定する。そして、このグループＧ３に属する特徴パターンと、文字画像Ｉの特徴パターンとのマッチングを行い、文字画像Ｉに最もマッチング度の高い特徴パターンを特定するのである。

このように、文字画像Ｉと低解像度辞書画像Ｌのマッチングを行うに際し、代表パターンＰ１、Ｐ２、…を用いることで、従来のような総当りでのマッチングを行う必要が無くなり、マッチングに要する演算時間を大幅に短縮することが可能となる。

また、以下のような方法もある。
上記図９に示した方法と同様、低解像度辞書画像Ｌにおける文字の特徴パターンを、ｋ−ｍｅａｎｓ法、ベクトル量子法等の手法によってクラスタリングし、図１１（ａ）に示すように、複数のグループＧ１、Ｇ２、…にグループ化する。そして、グループＧ１、Ｇ２、…のそれぞれにおいて、代表パターンＰ１、Ｐ２、…を決める。
図１１（ｂ）に示すように、データベース３３には、この代表パターンＰ１、Ｐ２、…のみを、データベース３３の低解像度辞書画像Ｌの特徴パターンとして格納する（そのグループＧ１、Ｇ２、…に属する他の全ての特徴パターンはデータベース３３に格納しない）。

そして、実際に文字認識を行う際には、図１２に示すように、文字画像Ｉの特徴パターンと、図１１（ｂ）に示した、データベース３３に格納された代表パターンＰ１、Ｐ２、…とのマッチングを行う。そして、マッチングする代表パターン（例えば代表パターンＰ３）が特定されたら、この代表パターンＰ３を、文字画像Ｉに最もマッチング度の高い特徴パターンとして用いるのである。

このような手法によれば、上記図９、図１０に示した場合と同様、文字画像Ｉと低解像度辞書画像Ｌのマッチングを行うに際し、代表パターンＰ１、Ｐ２、…を用いることで、従来のような総当りでのマッチングを行う必要が無くなり、マッチングに要する演算時間を大幅に短縮することが可能となる。さらに、図９、図１０に示した場合に比較し、マッチングする代表パターンを特定した後、これが属するグループを特定し、さらにそのグループに属する特徴パターンと文字画像Ｉの特徴パターンとのマッチングを行い、文字画像Ｉに最もマッチング度の高い特徴パターンを特定する必要がない。これにより、処理をさらに高速に行うことが可能となる。一方、文字認識精度の面では、代表パターンＰ１、Ｐ２、…をそのまま文字画像Ｉの特徴パターンとのマッチングに用いるので、図９、図１０の手法の方が、文字認識精度が高くなる。どちらの手法を採用するかは、要求される処理速度や文字認識精度等に応じて決めればよい。
また、データベース３３には、代表パターンＰ１、Ｐ２、…のみが格納されるため、データベース３３へのデータ格納量を大幅に少なくすることも可能である。

なお、上記実施の形態で示した各構成、手法は、適宜組み合わせることが可能である。
これ以外にも、本発明の主旨を逸脱しない限り、上記実施の形態で挙げた構成を取捨選択したり、他の構成に適宜変更することが可能である。

本実施の形態におけるナンバープレート認識システムの構成を示す図である。 データベースに低解像度辞書画像と高解像度辞書画像を格納することを示す図である。 超解像度処理後、２値化処理により文字認識する場合の処理の流れを示す図である。 超解像度処理において、入力された文字画像にマッチングする高解像度辞書画像を得ることを示す図である。 超解像度処理後、輝度勾配を用いて文字認識する場合の処理の流れを示す図である。 信頼度に応じて、２値化処理を用いた文字認識と、輝度勾配を用いた文字認識を切り替える場合の処理の流れを示す図である。 条件に応じて、所定の条件を満たした場合のみ超解像度処理を行う場合の処理の流れを示す図である。 画像の周波数に関して説明するための図である。 データベースに、文字の特徴パターンをクラスタリングして格納することを示す図である。 クラスタリングして格納された特徴パターンを用い、文字認識を行うことを示す図である。 データベースに、文字の特徴パターンをクラスタリングして格納する他の例を示す図である。 クラスタリングして格納された特徴パターンを用い、文字認識を行うことを示す図である。

符号の説明

１０…ナンバープレート認識システム、２０…カメラ、３０…文字認識装置、３２…認識処理部（マッチング処理部、特定処理部、文字認識部、認識部）、３３…データベース、３４…認識結果出力部（結果出力部）、１００…ナンバープレート、Ｈ…高解像度辞書画像、Ｉ…文字画像、Ｌ…低解像度辞書画像（辞書画像）

Claims (6)

1. 複数の文字のそれぞれを所定の解像度で撮像したときの辞書画像、および複数の前記文字のそれぞれを前記辞書画像の解像度より高解像度で撮像したときの高解像度辞書画像を格納したデータベースと、
   前記データベースに格納された前記辞書画像から、外部から入力された文字画像にマッチする前記辞書画像を特定する特定処理部と、
   前記特定処理部で特定された前記辞書画像について、外部から入力された画像に含まれる文字の大きさと、前記画像から文字が記載されている領域の文字画像を切り出し、切り出された前記文字画像において背景色以外の部分の面積の前記文字画像の面積に対する占積率である充填率と、に基づき、当該辞書画像または当該辞書画像に関連付けられた前記高解像度辞書画像を選択し、選択された前記辞書画像または前記高解像度辞書画像に対し文字認識処理を施すことで、前記文字画像の文字を認識する文字認識部と、
   認識された前記文字を認識結果として出力する結果出力部と、
   を備えることを特徴とする文字認識装置。
2. 前記文字認識部は、前記特定処理部で特定された前記文字画像の充填率、または前記文字画像に微分処理を施すことで得られる背景色と文字の部分とによる周波数に基づき、前記辞書画像または前記高解像度辞書画像を選択することを特徴とする請求項１に記載の文字認識装置。
3. 前記文字認識部は、前記辞書画像または前記高解像度辞書画像を２値化処理し、２値化処理した画像において、輪郭線の方向ヒストグラム特徴を求め、統計的パターン認識により前記文字画像の文字を認識することを特徴とする請求項１または２に記載の文字認識装置。
4. 前記文字認識部は、前記辞書画像または前記高解像度辞書画像の輝度勾配方向のヒストグラム特徴に基づき、前記文字画像の文字を認識することを特徴とする請求項１または２に記載の文字認識装置。
5. 前記文字認識部は、前記辞書画像または前記高解像度辞書画像を２値化処理することによる文字認識の結果、候補となる文字のそれぞれに対するマハラノビス距離を求め、前記マハラノビス距離から文字認識の信頼度を判定し、その判定結果に基づき、前記２値化処理によって認識された文字を認識結果として確定するか、前記辞書画像または前記高解像度辞書画像の輝度勾配方向のヒストグラム特徴に基づいて文字認識を行うかを選択することを特徴とする請求項１または２に記載の文字認識装置。
6. 通過する車両のナンバープレートを撮影するカメラと、
   前記カメラで撮影した前記ナンバープレートの画像に基づき、前記ナンバープレートに記載された文字を認識する認識部と、
   前記認識部で文字を認識するため、複数の文字のそれぞれを所定の解像度で撮像したときの辞書画像、および複数の前記文字のそれぞれを前記辞書画像の解像度より高解像度で撮像したときの高解像度辞書画像を格納したデータベースと、
   前記データベースに格納された前記辞書画像から、前記カメラで撮影した前記ナンバープレートに記載された文字画像にマッチする前記辞書画像を特定する特定処理部と、
   認識された前記文字を認識結果として出力する結果出力部と、を備え、
   前記認識部は、前記特定処理部で特定された前記辞書画像について、外部から入力された画像に含まれる文字の大きさと、前記画像から文字が記載されている領域の文字画像を切り出し、切り出された前記文字画像において背景色以外の部分の面積の前記文字画像の面積に対する占積率である充填率を算出し、前記文字の大きさと前記充填率とに基づき、当該辞書画像または当該辞書画像に関連付けられた前記高解像度辞書画像を選択し、選択された前記辞書画像または前記高解像度辞書画像に対し文字認識処理を施すことで、前記文字画像の文字を認識することを特徴とするナンバープレート認識システム。

Images