JP6709950B2 - ナンバープレート認識装置及びナンバープレート認識システム並びにナンバープレート認識方法 - Google Patents

Description

本開示は、撮影された車両等のナンバープレート画像における文字列を認識するナンバープレート認識装置及びナンバープレート認識システム並びにナンバープレート認識方法に関する。

従来、セキュリティ環境の充実や、顧客管理などを目的として、道路や施設の出入口などに設置されたカメラで撮影された車両の画像からナンバープレートを読み取るための技術が普及している。例えば、幹線道路等に設置される自動車ナンバー自動読取装置では、所定方向に車道を走行する車両のナンバープレートを読み取ることが可能である。

一方、上記自動車ナンバー自動読取装置のように車両のナンバープレートの読み取りに特化した装置であっても、悪天候やカメラのレンズの汚れなどの撮影状況の変化により、明瞭な撮像画像が得られない場合がある。また、店舗や街頭などに設置された監視カメラでは、カメラの解像度や、撮影条件（撮像画像中のナンバープレートのサイズや、撮影角度等）によっては、必ずしもナンバープレートの認識に適した撮像画像が得られない場合がある。

そこで、そのようなナンバープレートの認識に適さない撮像画像であっても、ナンバープレート画像における文字列の誤認識（読取ミス）を防止するための技術が開発されている。例えば、ナンバープレート画像における文字と、照合用の文字パターンとの相関値を算出し、その相関値が一定値以上となる場合にのみ文字を認識するようにした技術が知られている（特許文献１参照）。

また、カメラにより撮影した撮像パターンを、予め記憶された複数の辞書パターンと比較し、辞書パターンごとに類似度を算出し、予め記憶されている辞書パターンごとの出現頻度に基づきその類似度を補正した補正類似度を算出し、その補整類似度が最も高い辞書パターンを決定する技術が知られている（特許文献２参照）。

特開昭６４−７４７００号公報 特開平１０−６３７８６号公報

ところで、例えば、日本国内で車両のナンバープレートとして用いられる自動車登録番号標には、第４桁のアラビア数字および中点「・」（３桁以下の数となる場合に空白になる上位の桁を埋める記号）から構成される一連指定番号が表示されている。上記特許文献１、２に記載された従来技術により、そのような一連指定番号を撮像画像から認識する場合、予め準備された４桁の番号から構成される複数の照合用のパターンとの類似度を算出し、その類似度が最大の値をとる照合用のパターンを一連指定番号として推定することになる。

しかしながら、本願発明者らは、鋭意検討した結果、ナンバープレートに表示された上述の一連指定番号のような文字列（複数桁の数字や一連の文字など）を認識する場合には、その文字列全体と照合用のパターンとの類似度を評価するだけでは、文字列を構成する個々の数字や文字と照合用のパターンに含まれる個々の数字や文字との間の類似性が適切に反映されないという問題があり、そのような個々の数字や文字に注目することにより、ナンバープレートに表示された文字列の誤認識を効果的に低減可能であることを見出した。

本開示は、このような従来技術の課題を鑑みて案出されたものであり、撮影された車両等のナンバープレート画像における文字列の誤認識を低減可能なナンバープレート認識装置及びナンバープレート認識システム並びにナンバープレート認識方法を提供することを主目的とする。

本開示のナンバープレート認識装置は、撮影されたナンバープレート画像における文字列を認識する処理を実行するプロセッサを備えたナンバープレート認識装置であって、前記文字列は、前記ナンバープレート画像中の位置または文字間の相対位置に応じて１からｘ（ただし、ｘは２以上の整数）までの配置順位が設定された複数の文字から構成され、前記プロセッサは、前記ナンバープレート画像中の前記文字列と、予め準備された複数の基準画像との類似度をそれぞれ算出し、前記文字列において評価対象となる配置順位にある１またはｙ（ただし、ｙはｘよりも小さい２以上の整数）個の文字に対応する前記複数の基準画像にそれぞれ含まれる参照用文字について、当該参照用文字が同一となる前記基準画像ごとに前記類似度の和を含む評価値を算出し、前記評価値に基づき、前記ナンバープレート画像における文字列を構成し得る少なくとも１つの文字の候補を決定することを特徴とする。

本開示によれば、撮影された車両等のナンバープレート画像における文字列の誤認識を低減することが可能となる。

第１実施形態に係るナンバープレート認識システムの概略を示す構成図 図１に示したナンバープレート認識装置のハードウェア構成を示すブロック図 図１に示したナンバープレート認識装置の機能ブロック図 図２中の類似度演算部による演算結果の一例を示す図 図２中の類似評価部による相関値の上位候補の抽出例を示す図 図２中の類似評価部による各桁の評価値算出結果の一例を示す図 図２中の類似評価部による候補番号の抽出方法の変形例を示す説明図 図１に示したナンバープレート認識装置の処理の流れを示すフロー図 図８中のステップＳＴ１０８の詳細を示すフロー図 第２実施形態に係るナンバープレート認識装置の類似度演算部による演算結果の一例（上位２桁）を示す図 第２実施形態に係るナンバープレート認識装置の類似度演算部による演算結果の一例（下位２桁）を示す図 第２実施形態に係るナンバープレート認識装置の類似評価部による各桁の評価値算出結果の一例を示す図

上記課題を解決するためになされた第１の発明は、撮影されたナンバープレート画像における文字列を認識する処理を実行するプロセッサを備えたナンバープレート認識装置であって、前記文字列は、前記ナンバープレート画像中の位置または文字間の相対位置に応じて１からｘ（ただし、ｘは２以上の整数）までの配置順位が設定された複数の文字から構成され、前記プロセッサは、前記ナンバープレート画像中の前記文字列と、予め準備された複数の基準画像との類似度をそれぞれ算出し、前記文字列において評価対象となる配置順位にある１またはｙ（ただし、ｙはｘよりも小さい２以上の整数）個の文字に対応する前記複数の基準画像にそれぞれ含まれる参照用文字について、当該参照用文字が同一となる前記基準画像ごとに前記類似度の和を含む評価値を算出し、前記評価値に基づき、前記ナンバープレート画像における文字列を構成し得る少なくとも１つの文字の候補を決定することを特徴とする。

この第１の発明に係るナンバープレート認識装置によれば、ナンバープレート画像中の文字列において評価対象となる配置順位にある１またはｙ個の文字に対応する複数の基準画像にそれぞれ含まれる参照用文字について、当該参照用文字が同一となる基準画像ごとに類似度の和を含む評価値を算出し、その評価値に基づきナンバープレート画像における文字列を構成し得る少なくとも１つの文字の候補を決定するため、撮影された車両等のナンバープレート画像における文字列の誤認識を低減可能となる。

また、第２の発明では、上記第１の発明において、前記プロセッサは、複数の前記類似度のうちより大きいものから所定の閾値以内の数までの類似度のみを用いて前記評価値を算出することを特徴とする。

この第２の発明に係るナンバープレート認識装置によれば、評価値の算出において、類似度が比較的低い基準画像を排除することにより、より適切な評価値を取得することが可能となる。

また、第３の発明では、上記第１または第２の発明において、前記ｙ個の文字は、互いに連続する前記配置順位にあることを特徴とする。

この第３の発明に係るナンバープレート認識装置によれば、隣接配置された複数の参照用文字が同一となる基準画像ごとに類似度の和を含む評価値を算出することにより、評価値の算出処理が容易となる。

また、第４の発明では、上記第１から第３の発明いずれかにおいて、前記参照用文字は、１個の文字からなることを特徴とする。

この第４の発明に係るナンバープレート認識装置によれば、文字列に含まれる１個の文字に注目することにより、個々の文字の類似性が適切に評価され、より適切な評価値を取得することが可能となる。

また、第５の発明では、上記第１の発明において、前記プロセッサは、全ての前記配置順位に関し、前記参照用文字が同一となる前記基準画像ごとに前記類似度の和を含む評価値を算出することを特徴とする。

この第５の発明に係るナンバープレート認識装置によれば、全ての配置順位に関して評価値が算出されるため、ナンバープレート画像における文字列を構成し得る全ての文字の候補を適切に決定することが可能となる。

また、第６の発明では、上記第１から第５の発明いずれかにおいて、前記類似度は、前記ナンバープレート画像中の前記文字列と、前記基準画像との相関係数であることを特徴とする。

この第６の発明に係るナンバープレート認識装置によれば、類似度として相関係数を用いることにより、簡易な処理により適切な評価値を取得することが可能となる。

また、第７の発明は、上記第１から第６の発明いずれかにおいて、前記プロセッサは、前記類似度に基づき、前記ナンバープレート画像中の前記文字列の候補を決定し、前記少なくとも１つの文字の候補および前記文字列の候補を表示する表示装置を更に備えたことを特徴とする。

この第７の発明に係るナンバープレート認識装置によれば、ユーザは、評価値に基づく少なくとも１つの文字の候補および類似度に基づく文字列の候補を参照して、ナンバープレート画像における文字列を容易に推定することが可能となる。

また、第８の発明は、第１から第７の発明いずれかに係るナンバープレート認識装置と、前記ナンバープレート画像を撮影する撮像装置とを備えたことを特徴とする。

この第８の発明に係るナンバープレート認識システムによれば、撮影された車両等のナンバープレート画像における文字列の誤認識を低減可能となる。

また、第９の発明は、撮影された車両のナンバープレート画像における文字列を認識する処理を実行するナンバープレート認識装置によるナンバープレート認識方法であって、前記文字列は、前記ナンバープレート画像中の位置または文字間の相対位置に応じて１からｘ（ただし、ｘは２以上の整数）までの配置順位が設定された複数の文字から構成され、前記ナンバープレート画像中の前記文字列と、予め準備された基準画像との類似度を算出し、前記文字列において評価対象となる配置順位にある１またはｙ（ただし、ｙはｘよりも小さい２以上の整数）個の文字に対応する前記複数の基準画像にそれぞれ含まれる参照用文字について、当該参照用文字が同一となる前記基準画像ごとに前記類似度の和を含む評価値を算出し、前記評価値に基づき、前記ナンバープレート画像における文字列を構成し得る少なくとも１つの文字の候補を決定することを特徴とする。

この第９の発明に係るナンバープレート認識方法によれば、撮影された車両等のナンバープレート画像における文字列の誤認識を低減可能となる。

以下、本開示の実施の形態について図面を参照しながら説明する。

（第１実施形態）
図１は、本開示の第１実施形態に係るナンバープレート認識システム１の概略を示す構成図であり、図２は、図１に示したナンバープレート認識装置３のハードウェア構成を示すブロック図である。

ナンバープレート認識システム１は、車両等のナンバープレートを撮影して得られたナンバープレート画像における文字列を認識するためのシステムである。ナンバープレート認識システム１は、ナンバープレートを含む車両等を撮像する撮像装置２と、この撮像装置２によって取得されたナンバープレート画像における文字列の認識処理を実行するナンバープレート認識装置３と、ナンバープレート認識装置３の処理に関わる各種データを記憶する外部記憶装置４と、撮像装置２により撮像されたナンバープレート画像や、ナンバープレート認識装置３の処理結果等を表示する表示装置５とを備える。

ここでは、ナンバープレートとして、日本国内で使用される自動車登録番号標を例として説明する。自動車登録番号標には、ナンバープレート認識装置３による認識処理の対象となる文字列として一連指定番号が表示されている。この一連指定番号は、主として上位２桁および下位２桁の間にハイフン「-」が挿入された４桁のアラビア数字から構成される。また、一連指定番号が３桁以下の数となる場合には、その上位の桁に「０」（または空白）の代わりに中点「・」が表示される（ここでは、中点「・」は数字として扱う。）。

なお、ナンバープレート認識システム１で認識されるナンバープレート画像における文字列は、文字（特に、数字）から構成されることが好ましいが、厳密に文字（数字を含む）に限定されるものではなく、記号や簡易な図形を含むものであってもよい。また、そのような文字列の文字数は、４個（ここでは、４桁）に限定されるものではなく、少なくとも複数であればよい。さらに、そのような文字列における文字は、複数桁の数字のように一列に配置されるものに限定されるものではなく、少なくとも文字群を構成し、ナンバープレート画像中の位置または文字間の相対位置に応じて実質的に配置順位を設定可能なものであればよい。

撮像装置２は、ＣＣＤ等のイメージセンサを備えた公知のデジタルスチルカメラや、デジタルビデオカメラから構成され、ナンバープレートを備えた車両等を撮像することにより、ナンバープレート画像を取得する。ナンバープレート画像は、主要な被写体としてナンバープレートを含む撮像画像であるが、通常はナンバープレート以外の車体や、周辺の物体等が含まれる。撮像装置２としては、例えば、道路や施設の出入口などに設置された監視カメラや、車両等に搭載される車載カメラなどを用いることができる。撮像装置２で撮像されたナンバープレート画像は、ナンバープレート認識装置３に順次送られることにより、表示装置５に表示されるとともに、外部記憶装置４に記憶される。また、ナンバープレート画像は、ナンバープレート認識装置３に直接送られずに撮像装置２内のメモリに一旦記憶される構成であってもよい。

ナンバープレート認識装置３は、公知のハードウェアを備えたＰＣ（Personal Computer）である。図２に示すように、ナンバープレート認識装置３では、所定の制御プログラムに基づきナンバープレート画像における文字列を認識する処理を統括的に実行するプロセッサ２１、このプロセッサ２１のワークエリア等として機能する揮発性メモリであるＲＡＭ（Random Access Memory）２２、プロセッサ２１が実行する制御プログラムやデータを格納する不揮発性メモリであるＲＯＭ（Read Only Memory）２３が、それぞれ入出力バス２５に接続されている。また、ナンバープレート認識装置３には、周辺機器として、キーボード及びマウス等の入力デバイスである入力装置２４、液晶等のモニタからなる表示装置５、ならびにＨＤＤ（Hard Disk Drive）やフラッシュメモリ等のストレージである外部記憶装置４などが接続されている。なお、後述する図３の機能ブロック図において、ナンバープレート認識装置３の各部の機能は、主としてプロセッサ２１が制御プログラムを実行することによって実現可能である。

ナンバープレート認識装置３と、撮像装置２、外部記憶装置４、及び表示装置５との接続形態は特に限定されるものではなく、例えば、公知の通信ケーブルによって直接接続してもよいし、ＬＡＮ（Local Area Network）などの有線もしくは無線通信を介したネットワーク接続の形態でもよい。また、ナンバープレート認識装置３は、ＰＣに限らず、同様の機能を有するサーバや、デジタルカメラ等として実現することもできる。

外部記憶装置４には、撮像装置２で撮像されたナンバープレート画像とともに、認識対象となるナンバープレートの文字列を構成し得る個々の文字（以下、「参照用文字」という。）の画像データが記憶されている。本実施形態では、基準画像には、参照用文字の画像データとして、一連指定番号を構成する全てのアラビア数字（ここでは、「１」−「９」）および中点「・」の画像データが含まれる。

図３は、図１に示したナンバープレート認識装置３の機能ブロック図であり、図４は、図２中の類似度演算部３６による演算結果の一例を示す図であり、図５および図６は、それぞれ図２中の類似評価部３７による相関値の上位候補の抽出例を示す図および各桁の評価値算出結果の一例を示す図であり、図７は類似評価部３７による候補番号の抽出方法の変形例を示す説明図である。図７では、各桁に関し、縦軸に評価値、横軸に数字がそれぞれ示されている。

図３に示すナンバープレート認識装置３において、基準画像生成部３１は、外部記憶装置４に記憶された参照用文字の画像を取得し、それら参照用文字の画像を適宜組み合わせることにより、認識対象となるナンバープレートに表示され得る全ての文字列の基準画像を順次生成する。図３では、基準画像として第４桁の文字列「５７７５」（より厳密には、上位２桁および下位２桁の間のハイフン「-」が挿入されている。以下同様。）が生成された場合を示しているが、実際には、一連指定番号（認識対象の文字列）を構成する「・・・１」〜「９９９９」までの９９９９通りの基準画像が順次生成される。

また、射影変換行列取得部３２は、外部記憶装置４に記憶された評価対象のナンバープレート画像を取得し、その画像におけるナンバープレートのコーナー部（四隅）を検出することにより、それら４点の座標から平面射影変換行列を算出する。射影変換処理部３３は、その平面射影変換行列を用いて、基準画像生成部３１で生成された基準画像を順次射影変換する。これにより、撮像画像のナンバープレートと同様に変形した基準画像（以下、「変換画像」という。）が得られる。画像劣化処理部３４は、変換画像のダウンサンプリングや、ぼかし処理等の公知の画像処理による模擬的な劣化処理を実行することにより、変換画像を劣化させた画像（以下、「劣化画像」という。）を順次生成する。

類似度演算部３６は、外部記憶装置４に記憶された評価対象のナンバープレート画像を取得し、その画像中の文字列について、各劣化画像との類似度を順次算出する。本実施形態では、画像間の類似性の高さを示す類似度として、以下のような画像相関係数（以下、「相関値」という。）を用いる。

類似度演算部３６による類似度の演算処理結果として、図４に示すように、「・・・１」〜「９９９９」までの一連指定番号の各々に対する相関値が求められる。それらの相関値は、表示装置５に表示されるとともに、外部記憶装置４に記憶される。

類似評価部３７は、図４に示した一連指定番号の各々に対する相関値に基づき、図５に示すように、相関値の大きさの順序が閾値（ここでは、上位８０個）以内となる一連指定番号を抽出する。図５では、相関値が最大となる一連指定番号「５５７５」から相関値の大きさが８０番目となる一連指定番号「５０２５」までが抽出された例が示されている。なお、類似評価部３７は、上述のように所定数（ここでは、８０個）の一連指定番号を抽出する代わりに、相関値の大きさが所定の閾値以上の値となる一連指定番号を抽出する構成であってもよい。

また、類似評価部３７は、抽出した一連指定番号において評価対象となる各桁（配置順位）の数字について、当該数字（ここでは、１つの数字）が同一となる基準画像における一連指定番号の類似度の和を求める。さらに、類似評価部３７は、その類似度の和を一連指定番号の抽出数で除した値を評価値として求める。より詳細には、類似評価部３７は、各桁（ここでは、第１桁−第４桁）に関し、各数字（「１」−「９」及び「・」を含む１０個の数字）についてそれぞれ一連指定番号の類似度（すなわち、第４桁の数字の類似度）の和を求め、その和を８０で除した値を評価値とする。

例えば、類似評価部３７は、一連指定番号における第４桁（図５中の符号４０で示す）の数字「５」についての評価値を求める場合には、一連指定番号「５５７５」の相関値0.3993、一連指定番号「５７２５」の相関値0.3575、一連指定番号「５７１５」の相関値0.3537、一連指定番号「５３７５」の相関値0.3534、・・・・、一連指定番号「５１７５」の相関値0.3007、一連指定番号「５７７７」の相関値0.3009、及び一連指定番号「５０２５」の相関値0.2985の和を８０で除した値を評価値とする。

このようにして類似評価部３７は、図６に示すように、第１桁−第４桁の各数字「０」−「９」、「・」に対する評価値をそれぞれ求めることができる。また、類似評価部３７は、図６中の各桁の評価値に関して最大値をとる数字を、ナンバープレート画像における文字列を構成し得る文字の候補（第１候補）として抽出（決定）する。図６の例では、第４桁では数字「５」が最大の評価値となり、第３桁では数字「７」が最大の評価値となり、第２桁では数字「７」が最大の評価値となり、第１桁では数字「５」が最大の評価値となる。これにより、類似評価部３７は、ナンバープレート画像中の文字列の第１の候補番号として一連指定番号「５７７５」を決定し、それを表示装置５に出力するとともに、外部記憶装置４に記憶する。

なお、本実施形態では、第１の候補番号のみを求める例を示したが、類似評価部３７は、例えば、第１の候補番号の評価値と他の評価値との差を考慮して、第２の候補番号以下の複数の候補番号を決定することができる。類似評価部３７は、各桁における各数字の評価値に基づき、一連指定番号「５７７５」の各桁の評価値との差が最も小さい１つの数字を第２の候補番号を構成する数字として決定することができる。より詳細には、図７の例では、第４桁における最も高い評価値（０．１３５）を有する「５」と２番目に高い評価値（０．０５５）を有する「９」との評価値の差（０．０８０）が、他の桁における同様の評価値の差（例えば、第３桁における「７」と「３」の評価値の差（０．０８５）、第２桁における「７」と「２」の評価値の差（０．０８８）、第１桁における「５」と「３」の評価値の差（０．２３９））よりも小さい。そこで、類似評価部３７は、その第４桁の「９」を一連指定番号「５７７５」において対応する第４桁の「５」と入れ替えた「９７７５」を第２の候補番号とすることができる。類似評価部３７は、上記と同様の方法により、第３の候補番号以下の更なる候補番号（図７の例では、「５３７５」、「５７２５」等）を抽出してもよい。また、本実施形態では、類似評価部３７は、４桁の数字の全ての候補を決定したが、その一部のみを決定する構成としてもよい。

また、本実施形態では、各桁（すなわち、１つの桁）についての評価値を算出する構成としたが、少なくとも認識対象となる文字列を構成する文字数よりも小さい数（例えば、２つの桁）に対して評価値を算出する構成とすることができる。

図８は、図１に示したナンバープレート認識装置３の処理の流れを示すフロー図である。 ナンバープレート認識装置３による文字列の認識処理では、まず、一連指定番号ｎが１（ｎ＝１）に設定され（ＳＴ１０１）、その一連指定番号に対応する参照用文字から構成される基準画像（すなわち、「・・・１」等）が生成される（ＳＴ１０２）。

その後、ステップＳＴ１０２で生成された基準画像が射影変換されることにより、変換画像が生成され（ＳＴ１０３）、続いて、ステップＳＴ１０３で生成された変換画像に劣化処理が施されることにより、劣化画像が生成される（ＳＴ１０４）。さらに、ステップＳＴ１０４で生成された劣化画像と、認識対象のナンバープレート画像中の文字列との類似度（ここでは、相関値）が算出される（ＳＴ１０５）。

そこで、一連指定番号ｎが９９９９以下（ｎ≦９９９９）であるか（すなわち、類似度を算出すべき基準画像が残されているか）否かが判定され（ＳＴ１０６）、類似度を算出すべき基準画像が残されている場合（Ｙｅｓ）には、ｎに１を加算（ｎ＝ｎ＋１）し（ＳＴ１０７）、再びステップＳＴ１０２に戻って上述と同様の処理を実行する。最終的に一連指定番号ｎが９９９９を越えると（ＳＴ１０６：Ｎｏ）、ステップＳＴ１０５において各一連指定番号に対して算出された類似度に基づき、後に詳述する類似評価処理が実行され（ＳＴ１０８）、これにより文字列の認識処理が終了する。

図９は、図８中のステップＳＴ１０８の詳細を示すフロー図である。このステップＳＴ１０８における類似評価処理では、まず、図９中のステップＳＴ１０５で算出された類似度に関し、より大きいもの（最大値）から所定の閾値以内の数までの類似度を有する文字列（ここでは、一連指定番号）からなる上位候補が抽出される（ＳＴ２０１）。そこで、文字列における文字の配置順位ｄが１（ｄ＝１）に設定され（ＳＴ２０２）、また、文字番号ｓが１（ｓ＝１）に設定される（ＳＴ２０３）。

ここで、ステップＳＴ２０２に関する文字の配置順位ｄは、ナンバープレート画像における文字の配置に応じて設定されるものであり、ここでは、一連指定番号の桁（第１桁から第４桁のいずれか）に相当する。認識対象である文字列に数字以外の文字等が含まれる場合でも、ナンバープレート画像における文字の位置またはそれら文字間の相対位置に応じて配置順位が定められる。例えば、ナンバープレート画像において文字列が左右方向に１列に表示されている場合、最も右側に位置する文字の配置番号を１とし、左方に向けて２、３、・・・・ｘ（ただし、ｘは整数）と配置番号を設定することができる。

また、ステップＳＴ２０３に関する文字番号ｓは、所定の文字の配置順位に位置する文字の種類であり、ここでは、各桁の数字に相当する。認識対象とする文字列に数字以外の文字等が含まれる場合には、例えば、公知の文字コードに基づき、文字番号ｓを設定することができる。

そこで、ステップＳＴ２０２で設定された文字の配置順位において、ステップＳＴ２０３で設定された文字番号と一致する文字を含む全ての文字列（ＳＴ２０１で抽出されたもの）の類似度を加算する（ＳＴ２０４）。その加算結果は、外部記憶装置４に順次記憶される。

その後、文字番号ｓがＮｓ（全文字数）以下であるか（すなわち、所定の配置順位における全ての文字の各々に関し、類似度の加算が終了していない文字が残されているか）否かが判定され（ＳＴ２０６）、類似度の加算が終了していない文字が残されている場合（Ｙｅｓ）には、ｓに１を加算（ｓ＝ｓ＋１）し（ＳＴ２０７）、次の文字番号に関して再びステップＳＴ２０４を実行する。最終的に文字番号ｓがＮｓを越えると（ＳＴ２０６：Ｎｏ）、配置順位ｄが４以下（ｄ≦４）であるか（すなわち、配置順位ｄがその最大値以下であるか）否かが判定される（ＳＴ２０８）。

そこで、ｄ≦４を満たす場合（ＳＴ２０８：Ｙｅｓ）には、ｄに１を加算（ｄ＝ｎ＋１）し（ＳＴ２０９）、再びステップＳＴ２０３に戻って次の桁（配置順位）に関して上述と同様の処理を実行する。最終的に配置順位ｄが４を越えると（ＳＴ２０８：Ｎｏ）、ステップＳＴ２０４で算出された類似度の和の各々について正規化処理が実行され（ＳＴ２１０）、これにより類似評価処理が終了する。ステップＳＴ２１０の正規化処理としては、例えば、ステップＳＴ２０４で算出された類似度の和の各々を、ステップＳＴ２０１で抽出された上位候補の数で除する演算を実行することができる。

このような類似評価処理により、図６に示したような評価値が算出され、それらは、表示装置５に出力されるとともに、外部記憶装置４に記憶される。さらに、ナンバープレート認識装置３は、上述のように、それら評価値に基づきナンバープレート画像における文字列を構成し得る少なくとも１つの文字の候補を決定することができ、それを表示装置５に出力するとともに、外部記憶装置４に記憶する。なお、ナンバープレート認識装置３は、そのような評価値に基づく文字の候補とともに、図５に示したような類似度に基づくナンバープレート画像中の文字列の上位候補を表示装置５に出力することができる。

（第２実施形態）
本開示の第２実施形態に係るナンバープレート認識システム１は、上述の図１−図３に示した第１実施形態に係るナンバープレート認識システム１と同様の構成を有している。ただし、上述の第１実施形態では、類似度演算部３６が、文字列（一連指定番号）全体の類似度を算出するのに対し、第２実施形態では、類似度演算部３６は、文字列の一部（ただし、少なくとも複数の文字からなる）について類似度を算出する。なお、第２実施形態に関し、以下で特に言及しない事項については、上述の第１実施形態と同様とする。

図１０および図１１は、それぞれ本開示の第２実施形態に係るナンバープレート認識装置３の類似度演算部３６による演算結果の一例（上位２桁および下位２桁）を示す図であり、図１２は、ナンバープレート認識装置の類似評価部３７による各桁の評価値算出結果の一例を示す図である。

第２実施形態では、類似度演算部３６は、それぞれ図１０および図１１に示すように、一連指定番号の上位２桁（「・・」−「９９」まで）および下位２桁（「・１」−「９９」および「００」−「０９」まで）の各々の数についてそれぞれ相関値を算出する。

その後、類似評価部３７は、図１０に示した相関値に基づき、相関値の大きさの順序が閾値以内となる一連指定番号（上位２桁）を抽出し、さらに、一連指定番号（上位２桁）において評価対象となる各桁の数字について、同一の数字を含む一連指定番号（上位２桁）についての類似度の和を求め、その和を一連指定番号の抽出数で除した値を評価値として算出する。このようにして類似評価部３７は、図１２に示すように、上位２桁の各数字についての評価値を取得することができる。なお、詳細な説明は省略するが、同様に、類似評価部３７は、図１２に示した相関値に基づき、下位２桁の各数字の評価値を求めることができる。

以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。例えば、ナンバープレート認識システムによる認識対象は、車両のナンバープレートに限らず、他の機器や装置等に付設されたナンバープレートであってもよい。なお、上記ナンバープレート認識装置及びナンバープレート認識システム並びにナンバープレート認識方法は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

本開示に係るナンバープレート認識装置及びナンバープレート認識システム並びにナンバープレート認識方法は、撮影された車両等のナンバープレート画像における文字列の誤認識を低減可能とし、撮影された車両等のナンバープレート画像における文字列を認識するナンバープレート認識装置及びナンバープレート認識システム並びにナンバープレート認識方法などとして有用である。

１ ナンバープレート認識システム
２ 撮像装置
３ ナンバープレート認識装置
４ 外部記憶装置
５ 表示装置
２１ プロセッサ
２４ 入力装置
２５ 入出力バス
３１ 基準画像生成部
３２ 射影変換行列取得部
３３ 射影変換処理部
３４ 画像劣化処理部
３６ 類似度演算部
３７ 類似評価部

Claims (9)

1. 撮影されたナンバープレート画像における文字列を認識する処理を実行するプロセッサを備えたナンバープレート認識装置であって、
   前記文字列は、前記ナンバープレート画像中の位置または文字間の相対位置に応じて１からｘ（ただし、ｘは複数の整数）までの配置順位が設定された複数の文字から構成され、
   前記プロセッサは、
   前記ナンバープレート画像中の前記文字列と、予め準備された複数の基準画像との類似度をそれぞれ算出し、
   前記文字列において評価対象となる配置順位にあるｙ（ただし、ｙはｘよりも小さい複数の整数）個の文字に対応する前記複数の基準画像にそれぞれ含まれる参照用文字について、当該参照用文字が同一となる前記基準画像ごとに前記類似度の和を含む評価値を算出し、
   前記評価値に基づき、前記ナンバープレート画像における文字列を構成し得る少なくとも１つの文字の候補を決定することを特徴とするナンバープレート認識装置。
2. 前記プロセッサは、複数の前記類似度のうちより大きいものから所定の閾値以内の数までの類似度のみを用いて前記評価値を算出することを特徴とする請求項１に記載のナンバープレート認識装置。
3. 前記ｙ個の文字は、互いに連続する前記配置順位にあることを特徴とする請求項１または請求項２に記載のナンバープレート認識装置。
4. 前記参照用文字は、１個の文字からなることを特徴とする請求項１から請求項３のいずれかに記載のナンバープレート認識装置。
5. 前記プロセッサは、全ての前記配置順位に関し、前記参照用文字が同一となる前記基準画像ごとに前記類似度の和を含む評価値を算出することを特徴とする請求項４に記載のナンバープレート認識装置。
6. 前記類似度は、前記ナンバープレート画像中の前記文字列と、前記基準画像との相関係数であることを特徴とする請求項１から請求項５のいずれかに記載のナンバープレート認識装置。
7. 前記プロセッサは、前記類似度に基づき、前記ナンバープレート画像中の前記文字列の候補を決定し、
   前記少なくとも１つの文字の候補および前記文字列の候補を表示する表示装置を更に備えたことを特徴とする請求項１から請求項６のいずれかに記載のナンバープレート認識装置。
8. 請求項１から請求項７のいずれかに記載のナンバープレート認識装置と、前記ナンバープレート画像を撮影する撮像装置とを備えたことを特徴とするナンバープレート認識システム。
9. 撮影された車両のナンバープレート画像における文字列を認識する処理を実行するナンバープレート認識装置によるナンバープレート認識方法であって、
   前記文字列は、前記ナンバープレート画像中の位置または文字間の相対位置に応じて１からｘ（ただし、ｘは複数の整数）までの配置順位が設定された複数の文字から構成され、
   前記ナンバープレート画像中の前記文字列と、予め準備された基準画像との類似度を算出し、
   前記文字列において評価対象となる配置順位にあるｙ（ただし、ｙはｘよりも小さい複数の整数）個の文字に対応する前記複数の基準画像にそれぞれ含まれる参照用文字について、当該参照用文字が同一となる前記基準画像ごとに前記類似度の和を含む評価値を算出し、
   前記評価値に基づき、前記ナンバープレート画像における文字列を構成し得る少なくとも１つの文字の候補を決定することを特徴とするナンバープレート認識方法。

Images