JP4727732B2 - 車両番号認識装置 - Google Patents

Description

本発明は、車両番号認識装置に関する。

従来、走行中の車両の車両番号認識を行う装置として、車両検知器から得られた車両検知信号を基に車両前部または車両後部の画像を一枚撮像し、画像処理により車両番号の認識を行うものが知られている。このような車両番号認識装置においては、１台の車両に対し、画像を一枚撮影するのみであることから、撮影された画像に車両番号が適切に写っていない場合、対象車両の車両番号を正しく認識することができないという問題があった。

近年、コンピュータの高速化によりリアルタイムでの動画像の処理が可能となったことから、車両番号を撮像した複数の画像をコンピュータに連続して取り込み、該複数の画像に対して車両番号認識処理を実行することで、車両番号の認識精度の向上を図る取り組みが行われている（例えば、特許文献１、特許文献２参照）。
特開平７−２７２１８９号公報 特許第３６３２２８７号公報 仲林、北村、河岡著「あいまい用語検索を用いた高速枠なし手書き文字列読み取り方式」、電子情報通信学会論文誌D-II、Vol.J74-D-ｎ−II、No.11、1991年11月、p.1528-1534

しかしながら、上述した特許文献１においては、一台の車両の車両番号を撮像した画像から、車両番号認識処理によって複数の認識結果が得られた場合、プレートの認識結果の一致文字数とナンバープレート画像上におけるエッジデータの一致度との重み付け評価式を用いて車両番号の同一性を判定する方法を採用し、文字の一致度とエッジデータの一致度という異なる種類のデータを評価の対象としているため、重み付けの調整が難しく、認識精度を向上させるために煩雑な処理が伴う虞があった。

また、特許文献２においては、複数の認識結果が得られた場合、まず多数決によって最終認識結果を決定し、多数決で決定しない場合は最も多い文字数で認識できた結果を最終結果とする構成としているため、例えばプレート枠の一部などの文字ではない外乱成分を誤って文字と判定した場合には、最終認識結果として誤った結果を出力することとなり信頼性の低下に繋がる虞があった。

このようなことから本発明は、走行中の車両の車両番号認識処理をより簡易に、且つ高精度に行うことができる車両番号認識装置を提供することを目的とする。

上記の課題を解決するための第１の発明に係る車両番号認識装置は、路上を走行する車両のナンバープレートを一定の時間間隔で連続的に撮像するカメラと、前記カメラによって撮像された複数のフレーム画像から前記車両の車両番号の認識を行う車両番号認識処理部とを備えた車両番号認識装置において、前記車両番号認識処理手段が、前記フレーム画像から得られた車両番号候補が複数存在する場合であって、認識結果が相互に一致する前記車両番号候補が存在する場合に多数決によって車両番号を確定する手段と、複数の前記車両番号候補が相互に異なる場合に前記車両番号候補の文字数を検出し、それぞれの前記車両番号候補の文字数が一致する場合に、それぞれの前記車両番号候補において相互に異なる結果として認識された文字を文字類似度によって確定する手段と、前記車両番号候補の文字数が異なる場合に前記車両番号候補中の文字位置及び各々の前記文字の認識結果から前記車両番号を確定する手段とを備えたことを特徴とする。

上記の課題を解決するための第２の発明に係る車両番号認識装置は、路上を走行する車両のナンバープレートを一定の時間間隔で連続的に撮像するカメラと、前記カメラによって撮像された複数のフレーム画像から前記車両の車両番号の認識を行う車両番号認識処理手段とを備えた車両番号認識装置において、前記車両番号認識処理手段が、前記フレーム画像から得られた車両番号候補が複数存在する場合であって、認識結果が相互に一致する前記車両番号候補が存在する場合に多数決によって車両番号を確定し、複数の前記車両番号候補が相互に異なる場合に前記車両番号候補の文字数を検出してそれぞれの前記車両番号候補の文字数が一致する場合はそれぞれの前記車両番号候補において相互に異なる結果として認識された文字を文字類似度によって確定し、前記車両番号候補の文字数が異なる場合に文字位置と認識結果とが一致する文字については当該文字を前記車両番号構成文字として確定し、文字位置と認識結果とが一致しない文字については該文字位置と認識結果とが一致しない文字に対して推定の文字位置を設定するとともにそれぞれの前記推定の文字位置毎に比重を設定し、前記認識結果の文字類似度と前記比重とから前記推定文字位置に対応する前記認識結果毎に得点を算出し、前記得点に基づいて前記文字位置と認識結果とが一致しない文字を確定することを特徴とする。

上記の課題を解決するための第３の発明に係る車両番号認識装置は、第１又は第２の発明において、前記カメラによって前記車両の後部ナンバープレート及び前部ナンバープレートを撮像し、前記ナンバープレートを撮像したフレーム画像を用いて前記車両番号の認識処理を行うことを特徴とする。

上記の課題を解決するための第４の発明に係る車両番号認識装置は、第１又は第２の発明において、同一の前記ナンバープレートを異なる角度から撮像し、前記ナンバープレートを撮像したフレーム画像を用いて前記車両番号の認識処理を行うことを特徴とする。

上記の課題を解決するための第５の発明に係る車両番号認識装置は、第１又は第２の発明において、前記車両番号の認識処理後に、さらに該車両番号の認識処理によって得られた確定認識結果をデータベースにおいて管理されるナンバープレート情報に照会し、前記確定認識結果の修正を行うことを特徴とする。

上記の課題を解決するための第６の発明に係る車両番号認識装置は、第１又は第２の発明において、前記車両番号を前記カメラに比較して撮像位置が近いカメラによって撮像されたフレーム画像から認識を行った車両番号を利用して前記車両番号の確定を行うことを特徴とする。

上記の課題を解決するための第７の発明に係る車両番号認識装置は、第１又は第２の発明において、前記文字類似度として、前記フレーム画像に撮像された前記ナンバープレートの領域の解像度を用いることを特徴とする。

上記の課題を解決するための第８の発明に係る車両番号認識装置は、第１又は第２の発明において、前記文字類似度として、前記フレーム画像に撮像された前記ナンバープレートのコントラストを用いることを特徴とする。

上記の課題を解決するための第９の発明に係る車両番号認識装置は、第１又は第２の発明において、前記ナンバープレートの文字配列規則を併用して前記車両番号の確定を行うことを特徴とする。

上記の課題を解決するための第１０の発明に係る車両番号認識装置は、第１又は第２の発明において、前記カメラによって、路上を走行する車両のナンバープレートを一定の時間間隔で連続的に撮像する際、直前に撮像された前記フレーム画像中における前記ナンバープレートの位置に応じて前記カメラのズーム倍率を変更することを特徴とする。

上記の課題を解決するための第１１の発明に係る車両番号認識装置は、第１又は第２の発明において、前記カメラによって、路上を走行する車両のナンバープレートを一定の時間間隔で連続的に撮像する際、直前に撮像された連続する二つの前記フレーム画像中における前記ナンバープレートの変位に基づいて算出される前記車両の速度に応じて前記カメラのズーム倍率を変更することを特徴とする。

上記の課題を解決するための第１２の発明に係る車両番号認識装置は、第１又は第２の発明において、前記車両番号認識処理手段が、一枚の前記フレーム画像に対して複数の評価値を設定し、該複数の評価値に基づいてそれぞれ前記車両の車両番号の認識を行うことを特徴とする。

上記の課題を解決するための第１３の発明に係る車両番号認識装置は、第１２の発明において、前記評価値が、前記フレーム画像に対して画像処理を施す際に行う二値化処理のしきい値であることを特徴とする。

上記の課題を解決するための第１４の発明に係る車両番号認識装置は、第１２の発明において、前記評価値が、前記フレーム画像からナンバープレートを抽出する際に用いるナンバープレート切り出し位置であることを特徴とする。

上記の課題を解決するための第１５の発明に係る車両番号認識装置は、第１又は第２の発明において、前記車両番号の認識処理後に、該車両番号の認識処理によって得られた確定認識結果と、予め取得しておいたナンバープレート情報とを、二つの文字列のうち一方の文字列を他方の文字列に変換するために必要となる文字の操作の最小回数を評価値として前記二つの文字列間の類似度を評価する編集距離を用いて照合し、前記確定認識結果の修正を行うことを特徴とする。

上記の課題を解決するための第１６の発明に係る車両番号認識装置は、第１５の発明において、前記評価値が、前記操作毎に異なる係数を設定されることを特徴とする。

上記の課題を解決するための第１７の発明に係る車両番号認識装置は、第１６の発明において、前記編集距離を用いて比較対象となる文字の予め設定する指定順位までの類似度を評価した結果に基づいて、該車両番号の認識処理によって得られた確定認識結果と予め取得しておいたナンバープレート情報とを照合することを特徴とする。

上記の課題を解決するための第１８の発明に係る車両番号認識装置は、第１６の発明において、前記評価値が、比較対象となる文字間の誤認識し易さの統計データに基づいて前記係数を設定されることを特徴とする。

上記の課題を解決するための第１９の発明に係る車両番号認識装置は、第５、第１３又は第１４の発明において、前記確定認識結果と、前記ナンバープレート情報とを照合する際に、車両番号の照合に加えて予め取得しておいた前記ナンバープレートの形状情報の照合を行い、前記確定認識結果を修正することを特徴とする。

上記の課題を解決するための第２０の発明に係る車両番号認識装置は、第５、第１３又は第１４の発明において、前記確定認識結果と、前記ナンバープレート情報とを照合する際に、車両番号の照合に加えて予め取得しておいた前記ナンバープレートの色情報の照合を行い、前記確定認識結果を修正することを特徴とする。

上記の課題を解決するための第２１の発明に係る車両番号認識装置は、第５、第１３又は第１４の発明において、前記確定認識結果と、前記ナンバープレート情報とを照合する際に、車両番号の照合に加えて予め取得しておいた前記車両の車体の色情報の照合を行い、前記確定認識結果を修正することを特徴とする。

上述した第１の発明に係る車両番号認識装置によれば、煩雑な調整等を行うことなく高精度に車両番号の認識処理を行うことが可能であり、信頼性の高い車両番号認識が可能となる。

また、第２の発明に係る車両番号認識装置によれば、複数の画像を各々処理した結果を統合することにより、一部の画像を処理した結果に正解文字の欠落が起きたような場合であっても車両番号を認識することが可能であり、且つ、１枚の画像のみを処理するよりも高い認識精度を得ることができる。

また、第３の発明に係る車両番号認識装置によれば、第１又は第２の発明の効果に加えて、より多くの情報に基づいて車両番号認識処理を行うことにより、車両番号の認識精度を向上させることができる。また、例えば、ナンバープレートの汚れ、破損等の品質低下を誘因とする車両番号の認識精度の低下を回避し、車両番号の認識処理を高精度に実行することができる。

また、第４の発明に係る車両番号認識装置によれば、第１又は第２の発明による効果に加えて、例えば、ナンバープレートの位置によってナンバープレートの撮像が困難となる等による車両番号の認識精度の低下を回避し、確実に車両番号の認識処理を実行することができる。

また、第５の発明に係る車両番号認識装置によれば、第１又は第２の発明の効果に加え、画像処理と、データベースにおいて管理される車両情報とを用いて車両番号の認識を行うため、車両番号の認識精度をより向上させることができる。

また、第６の発明に係る車両番号認識装置によれば、第１又は第２の発明の効果に加え、同一のナンバープレートであっても、異なった条件で撮像されたフレーム画像から得られた結果を用いて車両番号の認識処理を総合的に行なうことができるため、更なる認識精度の向上を図ることができる。

また、第７の発明に係る車両番号認識装置によれば、第１又は第２の発明の効果に加え、確度の高い画像に基づく処理結果に対して優先度を付与することにより、信頼性の低い結果を採用することを防止し、高精度な認識を維持することができる。

また、第８の発明に係る車両番号認識装置によれば、第１又は第２の発明の効果に加え、確信度の高い画像での処理結果に対して優先度を付与することにより、信頼性の低いデータを採用する虞を低減し、高い認識精度を維持することができる。

また、第９の発明に係る車両番号認識装置によれば、第１又は第２の発明の効果に加え、画像処理以外の情報を用いて車両番号の認識処理を行うことにより、更なる認識精度の向上が可能となる。

また、第１０又は第１１の発明に係る車両番号認識装置によれば、第１又は第２の発明の効果に加え、カメラが、車両との距離に対応してズーム倍率を変更し、ナンバープレートを常に一定値以上の解像度で撮像することができるため、更なる認識精度の向上が可能となる。

また、第１２乃至第１４の発明に係る車両番号認識装置によれば、第１又は第２の発明の効果に加え、一つの評価値に基づいて個々の画像に対し車両番号の認識処理を行った場合に文字認識精度が低い場合であっても、一枚の画像に対して複数の評価値を設定し、該複数の評価値に基づいて車両番号の認識処理を行って認識処理を行った結果を統合することにより高い認識精度を得ることができる。

また、第１５の発明に係る車両番号認識装置によれば、第１又は第２の発明の効果に加え、画像処理による結果以外の情報である車両情報データベースに格納された情報を利用することにより、例えば認識結果の一部が不明である場合であっても正確な車両番号を得ることができる。更に、照合手段として編集距離を用いることにより、照合に係る処理の効率を向上させることができる。

また、第１６乃至第１８の発明に係る車両番号認識装置によれば、第１５の発明において複数の照合結果が得られるような場合であっても、車両番号を確定することができ、より車両番号の認識精度が向上する。

また、第１９乃至第２１の発明に係る車両番号認識装置によれば、車両番号に加えて、車両番号以外の情報を用いて車両番号の照会を行うことにより、第５、第１３又は第１４の発明の効果に加えてより正確に且つ確実に車両番号を特定することができる。

実施例１に係る車両番号認識装置の設置例を示す説明図である。 実施例１に係る車両番号認識装置による車両番号認識処理の手順を示すフローチャートである。 実施例１に係る車両番号認識装置を用いて撮像した画像の一例を模式的に示す説明図である。 実施例２における車両番号測定装置の設置例を示す説明図である。 実施例２における車両番号認識処理の流れを示すフローチャートである。 実施例２において撮像されたフレーム画像の例を模式的に示す説明図である。 実施例３における車両番号測定装置の設置例を示す説明図である。 実施例３における車両番号認識処理の流れを示すフローチャートである。 実施例４に係る車両番号認識処理の流れを示すフローチャートである。 実施例４における車両番号照合の例を示す概念図である。 実施例５に係る車両番号認識装置の設置例を示す説明図である。 実施例５に係る車両番号認識装置による車両番号認識処理の手順を示すフローチャートである。 実施例８における車両番号認識処理の流れを示すフローチャートである。 実施例９における車両番号認識処理の流れを示すフローチャートである。 実施例９において撮像されたフレーム画像の例を模式的に示す説明図である。 実施例１０における車両番号認識処理の流れを示すフローチャートである。 実施例１０において撮像されたフレーム画像の例を模式的に示す説明図である。 実施例１１における車両番号認識処理の流れを示すフローチャートである。 実施例１３における車両番号認識処理の流れを示すフローチャートである。 実施例１３におけるナンバープレート認識処理の一例を示すフローチャートである。 実施例１４における車両番号認識処理の流れを示すフローチャートである。 実施例１５における車両番号照合の例を示す概念図である。 実施例１６における車両番号照合の例を示す概念図である。 実施例１８における車両番号照合の例を示す概念図である。 実施例１８における車両番号認識処理の流れを示すフローチャートである。 実施例１９における車両番号照合の例を示す概念図である。 実施例１９における車両番号認識処理の流れを示すフローチャートである。 実施例２０における車両番号照合の例を示す概念図である。 実施例２０における車両番号認識処理の流れを示すフローチャートである。

以下、図を参照しつつ本発明の具体的な実施形態に説明する。

図１乃至図３に基づいて本発明の第１の実施例を説明する。図１は本実施例に係る車両番号認識装置の概略図、図２は本実施例に係る車両番号認識装置による車両番号認識処理の手順を示すフローチャート、図３は本実施例に係る車両番号認識装置を用いて撮像した画像の一例を示す説明図である。

図１に示すように、本実施例に係る車両番号認識装置は、道路３０を跨いで設置される門柱４０上に固定されたカメラ１０と、カメラ１０によって撮像された画像が入力される車両番号認識部２０とから構成される。カメラ１０は、道路３０上を走行する車両５０の後部ナンバープレートを撮像可能に設置され、例えば一定時間間隔で３０枚／ｓ程度の連続撮影を行うものとする。そしてカメラ１０によって撮像された画像は、車両番号認識部２０に連続的に入力されて車両番号の認識処理が施される。

車両番号認識部２０において実行される車両番号認識処理を図２に基づいて説明する。

図２に示すように、車両番号認識部２０では、まず、カメラ１０によって撮像されたフレーム画像を連続的に入力し（ステップＳ１０１）、入力された全てのフレーム画像それぞれに対してナンバープレートの認識を行い、車両番号を抽出するナンバープレート認識処理を行う（ステップＳ１０２）。なお、フレーム画像入力（ステップＳ１０１）及びナンバープレート認識処理（ステップＳ１０２）は、カメラ１０が撮像を行っている間繰り返し実行される。

ステップＳ１０２によって得られた車両番号の認識結果は、車両番号候補として出力され、該車両番号候補が複数存在するか否かの判定が行われる（ステップＳ２０１）。車両番号候補が複数存在しない、即ち、入力された車両番号候補が全て一致する、あるいは、入力された車両番号候補が一のみである等、車両番号候補が一つであると判定された場合（no）には、この一の車両番号候補を統合結果として出力する。

一方、複数の車両番号候補が存在すると判定された場合（yes）は車両番号認識処理を継続し、連続して入力された複数の車両番号候補をグループ化する処理を行う（ステップＳ２０２）。即ち、連続してナンバープレートが撮像された複数のフレーム画像から得られる複数の車両番号候補を一つの集合（以下、車両番号候補群という）としてグループ化するのである。

次に、車両番号候補群中のそれぞれの車両番号候補に対し、該車両番号候補を構成する各々の文字（以下、車両番号構成文字という）全てについて、それぞれ一致する認識結果が存在するか否かの判定を行う（ステップＳ２０３）。そして、同一の認識結果が存在する車両番号構成文字については、一致する認識結果が一つであればそれを採用し、一致する認識結果が複数存在する場合は最も多く認識結果が重複した文字を信頼度が高いものとして採用する処理を行う。要するに、車両番号候補群から車両番号構成文字を多数決によって決定する処理を行うのである。

次に、ステップＳ２０３によって車両番号が確定したか否かの判定を行う（ステップＳ２０４）。ステップＳ２０３によって車両番号が確定した場合（yes）は、ステップＳ２０３によって得られた結果を統合結果として出力する。

一方、一つでも確定していない車両番号構成文字が存在する場合（no）は、処理を継続し、車両番号候補群中の車両番号候補に対し、車両番号構成文字の文字数が一致するか否かの判定を行う（ステップＳ２０５）。そして、全ての車両番号候補について車両番号構成文字の数が一致する場合は、車両番号構成文字のうち、認識結果が一致しない文字に対して文字類似度の評価を行い、文字類似度が高い結果を採用して車両番号を決定する。

次に、車両番号が確定したか否かの判定を行い（ステップＳ２０６）、ステップＳ２０５によって全ての車両番号構成文字が確定している場合（yes）には、この結果を統合結果として出力する。

一方、車両番号構成文字が一つでも確定していない場合（no）は、車両番号認識処理を継続し、車両番号構成文字毎に以下の処理を行う（ステップＳ２０７）。

即ち、ステップＳ２０５で文字数が一致しなかった場合は、それぞれの車両番号候補について車両番号構成文字の画像上における配置（以下、文字位置という）を検出し、全ての車両番号候補において文字位置及び認識結果が一致している文字については、その認識結果を採用する。

一方、文字位置が一致し、認識結果が異なる文字については、文字類似度の評価を行い、文字類似度が高い結果を採用する。

さらに、文字位置が一致しない文字については、文字類似度の評価を行う。そして、文字類似度が一定値に満たない場合はこの文字の大きさを検出し、文字の大きさが既に確定した文字の大きさと比較して一定値以上大きい、または一定値以上小さい等、予め設定した比率に満たない場合は、これを車両番号構成文字ではないと判定して車両番号候補から除外する処理を行い、文字の大きさが所定評価値の範囲内である場合は、この文字を車両番号構成文字であるか否かが不明である不明文字として出力する処理を行う。

そして、ステップＳ２０１，Ｓ２０４，Ｓ２０６又はＳ２０７において出力された統合結果を、確定認識結果として出力する（ステップＳ２０８）。

以下、上述した車両番号認識部２０によって実行される処理を、図３に示すフレーム画像６１〜６４を例に、具体的に説明する。フレーム画像６１〜６４は、車両５０の後部ナンバープレート５１をカメラ１０によって一定時間間隔で連続的に撮像した画像を模式的に示すものである。

表１に、上述したステップＳ１０２によってフレーム画像６１〜６４から認識される車両番号候補及び車両番号候補から導出される統合結果の例を示す。

なお、表１においてＴ，Ｔ+１，Ｔ+２，Ｔ+３は時刻を示している。

表１に示すパターン１は、複数の車両番号候補が一致する例である。即ち、時刻Ｔ，Ｔ＋１，Ｔ＋２において撮像されたフレーム画像６１，６２，６３から得られた車両番号候補が「ＡＢＣ１２３」であって一致し、時刻Ｔ＋３において撮像されたフレーム画像６４から得られた車両番号候補のみが「ＡＢＣ１２８」であって他の車両番号候補と異なっている。このような場合には、図２に示したステップＳ２０３，Ｓ２０４により、複数の認識結果が一致した車両番号「ＡＢＣ１２３」が統合結果として出力される。

また、パターン２は複数の車両番号候補が全て異なる一方、認識された文字数が一致する例である。このような場合には、図２に示したステップＳ２０５により、車両番号候補群中の全ての車両番号候補において相互に異なる結果となった右端の車両番号構成文字に対してそれぞれ文字類似度を算出する。ここで、表１に示すパターン２においては、「３」の評価値が０．８と最も高いため、「３」が車両番号構成文字の右端の文字として確定し、車両番号候補「ＡＢＣ１２３」が統合結果として出力される。

また、パターン３は車両番号候補群中の車両番号候補の文字数が一致しない例、例えば、時刻Ｔ＋２に撮像されたフレーム画像６３中のノイズ成分を、車両番号構成文字「４」として誤読したような場合の例である。なお、フレーム画像６３中の上記ノイズ成分は文字類似度が所定値に満たないものとし、且つ車両番号構成文字の大きさに比較して予め設定する所定の比率より小さいものとする。

このような場合には、ステップＳ２０７により、まず文字位置が一致し、且つ認識結果が一致する文字を車両番号構成文字として確定する。これにより、車両番号構成文字「Ａ」、「Ｂ」、「Ｃ」、「１」、「３」が確定する。

次に、文字位置が一致し、認識結果が異なる文字（ここでは、車両番号候補の左から５番目の文字）について、文字類似度を評価し、文字類似度が最も高い文字を車両番号構成文字として確定する。本パターン３においては時刻Ｔ＋１において撮像されたフレーム画像６２から認識された「２」の評価値が最も高いものとし、これにより、左から５番目の車両番号構成文字として「２」が確定する。

次に、文字位置が一致しない文字（ここでは、車両番号候補の左から７番目の文字）、即ちフレーム画像６３から認識された文字「４」について文字類似度の評価を行う。ここで、文字「４」は上述したように文字類似度が所定値に満たず、且つ、文字の大きさが、車両番号構成文字として確定した他の文字に比較して所定の比率より小さい。従って、文字ではないと判断され、車両番号候補から除外される。これにより、車両番号候補「ＡＢＣ１２３」が統合結果として出力される。

なお、文字「４」の文字類似度が所定値を満たしている場合はこれを採用するものとし、また、文字「４」の文字類似度が所定値を満たさず、且つ、文字の大きさが車両番号構成文字として確定された他の文字に対して予め設定する所定値の範囲内である場合は、不明文字として出力される。

上述した本実施例に係る車両番号認識装置によれば、煩雑な調整等を行うことなく高精度に車両番号の認識処理を行うことが可能であり、信頼性の高い車両番号認識が可能となる。

図４乃至図６に基づいて、本発明の第２の実施例を説明する。図４は本実施例における車両番号測定装置の概略図、図５は本実施例における車両番号認識処理の流れを示すフローチャート、図６は本実施例において撮像されたフレーム画像の例を示す説明図である。

図４に示すように、本実施例に係る車両番号認識装置は、道路３０に設置される二つの門柱４１，４２上にそれぞれ固定されたカメラ１１，１２と、カメラ１１，１２によって撮像された画像が入力される車両番号認識部２０とから構成される。

カメラ１１，１２は、それぞれ道路３０上を走行する車両５０の後部ナンバープレート、前部ナンバープレートを撮像可能に設置され、例えば一定時間間隔で３０枚／ｓ程度の連続撮影を行うものとする。なお、カメラ１１，１２が撮像した画像は、同期した状態で車両番号認識部２０に連続的に入力される。即ち、本実施例は上述した実施例１の構成に比較して、車両５０の前部ナンバープレートを撮像するカメラを一台追加したものであり、その他の構成は実施例１と概ね同様である。

本実施例において、車両番号認識部２０で実行される車両番号認識処理を図５に基づいて説明する。

図５に示すように、車両番号認識部２０では、まず、カメラ１１，１２によってそれぞれ撮像されたフレーム画像を、同期した状態で各々連続的に入力し（ステップＳ１１１、Ｓ１２１）、カメラ１１，１２によって各々撮像されたフレーム画像全てに対してそれぞれナンバープレート５１，５２の認識を行い、車両番号を抽出するナンバープレート認識処理を行う（ステップＳ１１２，Ｓ１２２）。

ステップＳ１０２、Ｓ１０４によって得られた車両番号の認識結果は、車両番号候補として出力され、認識結果統合処理が行われる（ステップＳ２００）。なお、該認識結果統合処理（ステップＳ２００）は、図２に示し、実施例１において説明したステップＳ２０１〜ステップＳ２０８と同一の処理を実行するものであり、重複する説明は省略する。

本実施例において、車両番号認識部２０によって実行される処理を、カメラ１１によって図３に示すフレーム画像６１〜６４が撮像され、カメラ１２によって図６に示すフレーム画像６５〜６８が撮像された場合を例として説明する。

フレーム画像６１〜６４、フレーム画像６５〜６８は、それぞれ時刻Ｔ〜Ｔ＋３において撮像されたものであり、図３に示すようにフレーム画像６１〜６４には車両５０の後部プレート５１が連続的に撮像され、図６に示すようにフレーム画像６５〜６８には車両５０の前部ナンバープレート５２が連続的に撮像されている。

表２に、本実施例において、図３及び図６に示すフレーム画像６１〜６８からナンバープレート認識処理（ステップＳ１１２，Ｓ１２２）によって認識された車両番号候補の例を示す。

なお、表２においてＴ，Ｔ+１，Ｔ+２，Ｔ+３は時刻を示している。

表２に示す例は、複数の車両番号候補が一致した例である。詳しくは、車両５０の後部ナンバープレート５１を時刻Ｔ，Ｔ＋１，Ｔ＋２において撮像したフレーム画像６１，６２，６３から得られた車両番号候補と、前部ナンバープレート５２を時刻Ｔ＋２，Ｔ＋３において撮像したフレーム画像６７，６８から得られた車両番号候補とが、「ＡＢＣ１２３」となり、一致している。したがって、本例においては、複数の認識結果が一致する車両番号候補「ＡＢＣ１２３」が統合結果となり、確定認識結果として出力されることとなる。

このように、本実施例によれば、実施例１による作用効果に加えて、より多くの情報に基づいて車両番号認識処理を行うことにより、車両番号の認識精度を向上させることができる。また、例えば、ナンバープレート５１または５２の汚れ、破損等の品質低下を誘因とする車両番号の認識精度の低下を回避し、車両番号の認識処理を高精度に実行することができる。

図７及び図８に基づいて、本発明の第３の実施例を説明する。図７は本実施例における車両番号測定装置の設置例を示す説明図、図８は本実施例における車両番号認識処理の流れを示すフローチャートである。

図７に示すように、本実施例に係る車両番号認識装置は、道路３０に設置される門柱４０上に固定されたカメラ１３及び門柱４０の近傍の道路脇であって、カメラ１３に比較して低位置に固定されたカメラ１４と、カメラ１３，１４によって撮像されたフレーム画像が入力される車両番号認識部２０とから構成される。

即ち、本実施例は、上述した実施例１において、カメラ１０に加えて、カメラ１０とは異なる方向から同一のナンバープレートを撮像するカメラを追加したものであり、その他の構成は実施例１と概ね同様であり、重複する説明は適宜省略する。

カメラ１３，１４は、それぞれ道路３０上を走行する車両５０の後部ナンバープレートを撮像可能に設置され、例えば一定時間間隔で３０枚／ｓ程度の連続撮影を行うものとする。そしてカメラ１３，１４が撮像した画像は、同期した状態で車両番号認識部２０に連続的に入力されて車両番号認識処理が実行される。

車両番号認識部２０において実行される車両番号認識処理を図８に基づいて説明する。

車両番号認識部２０では、まず、カメラ１３，１４によってそれぞれ撮像されたフレーム画像を、同期した状態で各々連続的に入力し（ステップＳ１３１、Ｓ１４１）、カメラ１３，１４によって各々撮像されたフレーム画像全てに対してそれぞれナンバープレートの認識を行い、車両番号を抽出するナンバープレート認識処理を行う（ステップＳ１３２，Ｓ１４２）。フレーム画像入力及びナンバープレート認識処理は、カメラ１０が撮像を行っている間繰り返し実行される。

ステップＳ１３２、Ｓ１４２によって得られた車両番号の認識結果は、車両番号候補として出力され、認識結果統合処理が行われる（ステップＳ２００）。なお、認識結果統合処理においては、図２に示し、実施例１において説明したステップＳ２０１〜ステップＳ２０８と同一の処理を実行するものとし、詳しい説明は省略する。

本実施例によれば、実施例１による作用効果に加えて、より多くの情報に基づいて車両番号認識処理を行うことにより、車両番号の認識精度を向上させることができる。また、例えば、ナンバープレートの位置によってナンバープレートの撮像が困難となる等による車両番号の認識精度の低下を回避し、確実に車両番号の認識処理を実行することができる。

なお、本実施例においては二台のカメラ１１，１３を用いる例を示したが、例えば、カメラを三台以上設置し、それぞれのカメラによって異なる位置から同一方向を撮像するようにしてもよい。また、カメラによって撮像するナンバープレートは、後部ナンバープレートに限らず、前部ナンバープレートとしても構わない。

図９及び図１０に基づいて本発明の第４の実施例を説明する。図９は本実施例に係る車両番号認識処理の流れを示すフローチャート、図１０は本実施例の概念図である。なお、本実施例は、上述した図１に示す構成に適用される。

図９に示すように、本実施例に係る車両番号認識装置は、上述した実施例１における処理に加えて、確定認識結果において不明文字が存在する場合にこの結果を修正し、該不明文字として出力された文字を導出する処理を追加したものである。本実施例において、ステップＳ２００（ステップＳ２０１〜Ｓ２０８）までは、実施例１と同一の処理が行なわれるものであり、重複する説明は省略する。

本実施例においては、ステップＳ２００の処理を行なった後、上述した実施例１において得られた確定認識結果に不明文字が存在するか否かの判定を行う（ステップＳ３０１）。そして、不明文字が存在しない場合は修正不要として入力された確定認識結果を最終的な結果として出力する。

一方、入力された確定認識結果に不明文字が存在する場合は処理を継続し、不明文字以外の確定された文字の情報と、ナンバープレート情報を管理する車両データベースとを照会して不明文字に該当する文字を導出し、これを最終結果として出力する（ステップＳ３０２）。

そして、ステップＳ３０１，Ｓ３０２から出力された統合結果を、修正された確定認識結果として出力する（ステップＳ３０３）。

図１０に基づき、認識結果修正の具体的な処理を説明する。図１０（ａ）は車両番号の文字配列規則によって車両番号が一意に導出される例、図１０（ｂ）はデータベースに車両番号の複数の候補が存在する例を表している。
図１０に基づき、車両番号認識処理部２０における具体的な処理を説明する。図１０（ａ）は車両番号の文字配列規則によって車両番号が一意に導出される例、図１０（ｂ）はデータベースに車両番号の複数の候補が存在する例を表している。

図１０（ａ）に示すように、認識結果統合処理（ステップＳ２００）によって出力された車両番号候補７１が、左側の５文字「ＡＢＣ１２」が確定され、右端の１文字が不明な場合であって、且つ、データベース８１に蓄積されている車両情報中に、車両番号候補７１と比較して、左側５文字が一致する車両番号が「ＡＢＣ１２３」のみである場合、即ち、不明文字以外の車両番号構成文字が一致し、且つ、不明文字に対応する文字が一つのみである場合には、車両番号が一意に導出されるため、修正結果（統合結果）９１として該「ＡＢＣ１２３」を出力する。

一方、不明文字に対応する文字がデータベース８１に複数存在する場合は、例えば、ステップＳ２００で不明文字の文字類似度が所定値より低いと判定された場合であっても、図１０（ｂ）に示すように、文字類似度が高い順に予め車両番号候補７２−１，７２−２，７２−３を列挙しておく。そして、データベース８２によって管理されるナンバープレート情報から不明文字に対応する文字のうち最も文字類似度が高い文字を不明文字に該当する文字として採用する。これにより、修正結果（統合結果）９２として「ＡＢＣ１２３」を出力する。

本実施例によれば、上述した実施例１による作用効果に加え、画像処理と、データベースにおいて管理される車両情報とを用いて車両番号の認識を行うため、車両番号の認識精度をより向上させることができる。

図１１及び図１２に基づいて本発明の第５の実施例を説明する。図１１は本実施例に係る車両番号認識装置の概略図、図１２は本実施例に係る車両番号認識装置による車両番号認識処理の手順を示すフローチャートである。

図１１に示すように、本実施例に係る車両番号認識装置は、道路３０を跨いで設置される門柱４５，４６，４７…上に固定された複数のカメラ１５，１６，１７，…、と、カメラ１５，１６，１７，…から入力されるフレーム画像に対して各々車両番号認識処理を行う車両番号認識部（図示省略）とを備えている。カメラ１５，１６，１７，…は、それぞれ道路３０上を走行する車両５０の後部ナンバープレートを撮像可能に設置され、例えば一定時間間隔で３０枚／ｓ程度の連続撮影を行うものとする。

即ち、本実施例は、複数の実施例１に示した車両番号認識装置の情報を用いて車両番号の認識を行うものであり、それぞれの車両番号認識装置は実施例１に示したものと同様である。

本実施例による車両番号認識処理を図１２に基づいて説明する。

図１２に示すように、本実施例に係る車両番号認識装置は、路側装置と中央装置を備え、路側装置は、複数のカメラ１５，１６，１７，…によって撮像されたフレーム画像からステップＳ１０１，Ｓ１０２，Ｓ２００によってそれぞれ確定認識結果を出力するものである。なお、ステップＳ１０１，Ｓ１０２，Ｓ２００は上述した実施例１〜４に示す処理と同一であり、重複する説明は省略する。

次に、中央装置によって実行される認識処理を図１２に基づいて説明する。

中央装置においては、例えば、カメラ１６によって撮像されたフレーム画像から得られた確定認識結果に不明文字が存在するか否かの判定を行い（ステップＳ４０１）、不明文字が存在しない場合（no）は修正不要として出力する。

一方、不明文字が存在する場合（yes）は、認識結果修正処理を継続し、カメラ１６に対して距離的に近い位置に設置されているカメラ（例えば、カメラ１５，１７）によって撮像したフレーム画像から得られた確定認識結果を抽出する処理を行なう（ステップＳ４０２）。

さらに、ステップＳ４０３によって得られた確定認識結果の中から、撮影時刻が近く、結果が相似しているものを抽出し（ステップＳ４０３）、その中から不明文字が存在せず、複数の確定認識結果が一致する車両番号を選択し（ステップＳ４０４）、これを最終的な確定認識結果として出力する（ステップＳ４０５）のである。

表３に、本実施例において、カメラ１５，１６，１７によって撮像した画像から得られた認識結果の例を示す。ここでは、カメラ１５，１６，１７のカメラ番号を、Ｎ−１，Ｎ，Ｎ＋１として説明する。

表３に示すように、カメラ１６によって撮像した画像から得られた認識結果に不明文字が存在する場合、撮影時刻（または距離）が近く、結果が相似しているものを抽出することにより、統合結果を「ＡＢＣ１２３」として確定するのである。

上述した本実施例によれば、同一のナンバープレートであっても、異なった条件で撮像されたフレーム画像から得られた結果を用いて車両番号の認識処理を総合的に行なうことができるため、更なる認識精度の向上を図ることができる。

本発明の第６の実施例を説明する。本実施例は、実施例１において、図２に示したステップＳ２０５以降の処理を行う際に、文字類似度として、フレーム画像におけるナンバープレート領域の解像度、即ち、フレーム画像上におけるナンバープレートの面積や車両番号の大きさを用いるものである。その他の構成は実施例１と同様であり、重複する説明は省略する。

表４に、本実施例において、図３に示すフレーム画像６１〜６４から得られる車両番号候補の例と、フレーム画像６１〜６４中におけるナンバープレート領域の解像度を検出した結果の一例を示す。

なお、表４においてＴ，Ｔ+１，Ｔ+２，Ｔ+３は時刻を示している。

表４に示す例は、全ての車両番号候補が異なり、文字数が一致する例である。したがって、車両番号認定処理は図２に示すステップＳ２０５へと進み、ステップＳ２０５において認識結果が異なる文字（本実施例では右端の文字）の文字類似度の評価が実行される。

本実施例では、上述したようにフレーム画像においてナンバープレート領域の解像度が高いものを文字類似度大、ナンバープレート領域の解像度が低いものを文字類似度小として車両番号認識処理に用いる。従って、表４に示す例においては、最も解像度が高い、時刻Ｔにおいて撮像された画像６１から導出された「ＡＢＣ１２３」が統合結果として出力される。

上述した本実施例に係る車両番号認識装置によれば、確度の高い画像に基づく処理結果に対して優先度を付与することにより、信頼性の低い結果を採用することを防止し、高精度な認識を維持することができる。

本発明の第７の実施例を説明する。本実施例は、実施例１において、車両番号候補群中の車両番号候補が全て異なり、図２に示したステップＳ２０５以降の処理を行う際に、撮像されたナンバープレートにおける文字と背景のコントラストがより良好なフレーム画像、又は、ナンバープレートのエッジ強度のより強い、換言すると、ナンバープレートがより鮮明に撮像されたフレーム画像から認識された車両番号候補を、文字類似度大とするものである。その他の構成は実施例１と同様であり、重複する説明は省略する。

表５に、本実施例において、図３に示すフレーム画像６１〜６４からナンバープレート認識処理によって認識された車両番号候補と、フレーム画像６１〜６４中におけるナンバープレート領域のコントラストを算出した結果の一例を示す。なお、ナンバープレート領域のコントラストとしては、例えば、ナンバープレートにおける文字と背景との輝度差等とすればよい。

なお、表５においてＴ，Ｔ+１，Ｔ+２，Ｔ+３は時刻を示している。

表５に示す例は、全ての車両番号候補が異なり、文字数が一致する例である。したがって、車両番号認定処理は図２に示すステップＳ２０５へと進み、ステップＳ２０５において認識結果が異なる文字（本実施例では右端の文字）の文字類似度の評価が実行される。

本実施例では、上述したようにフレーム画像においてナンバープレートのコントラストが強いものを文字類似度大、コントラストが弱いものを文字類似度小として車両番号認識処理に用いる。従って、表５に示す例においては、最も解像度が高い、時刻Ｔにおいて撮像された画像６１から導出された「ＡＢＣ１２３」が統合結果として出力される。

上述した本実施例に係る車両番号認識装置によれば、確信度の高い画像での処理結果に対して優先度を付与することにより、信頼性の低いデータを採用する虞を低減し、高い認識精度を維持することができる。

図１３に基づいて本発明の第８の実施例を説明する。図１３は本実施例における車両番号認識処理の流れを示すフローチャートである。

本実施例は、ナンバープレートの車両番号配列が、例えば、配置パターンとして「左側３文字は英字、右側３文字は数字であり、かつ、英字の２文字目は「Ａ」または「Ｂ」である」等の文字配列規則を有する場合に適用されるものである。

本実施例において車両番号認識部２０で実行される車両番号認識処理を図１３に基づいて説明する。

図１３に示すように、本実施例に係る車両番号認識装置では、図２に示し上述したステップＳ２０５，Ｓ２０７と並行して車両番号候補を文字配列規則に対応させる処理（ステップＳ５０１，Ｓ５０２）を行うものである。その他の構成は実施例１と同様であり、重複する説明は省略する。

表６に、本実施例において、図３に示すフレーム画像６１〜６４から得られる車両番号候補の一例を示す。

なお、表６においてＴ，Ｔ+１，Ｔ+２，Ｔ+３は時刻を示している。

表６に示す例は、全ての車両番号候補が異なり、且つ、文字数が一致する例である。したがって、図１３に示す車両番号認定処理はステップＳ２０５へと進み、ステップＳ２０５において認識結果が異なる文字（本実施例では左側から２，５，６番目の文字）の文字類似度の評価が実行される。

ここで、表５から、フレーム画像６１，６４から得られた車両番号候補は左から２番目の文字が「Ｂ」、フレーム画像６２，６３から得られた車両番号候補は左から２番目の文字が「Ｄ」である。従って、この文字は多数決によって確定することができないため、文字類似度による判定が行われる。

このとき、例えば、「英字の２文字目は「Ａ」または「Ｂ」のみである」という文字配列規則がある場合は、ステップＳ５０１において英字の２文字目の車両番号構成文字を「Ｂ」に確定することができる。

また、例えば、文字類似度による判定を行い、文字類似が「Ｂ」，「Ｄ」ともに同程度であるという結果が得られた場合であっても、文字配列規則に照会することで車両番号構成文字を「Ｂ」に確定することができる。

上述した本実施例に係る車両番号認識装置によれば、画像処理以外の情報を用いて車両番号の認識処理を行うことにより、更なる認識精度の向上が可能となる。

図１４及び図１５に基づいて本発明の第９の実施例を説明する。図１４は本実施例における車両番号認識処理の流れを示すフローチャート、図１５は本実施例において撮像されたフレーム画像の例を示す説明図である。

本実施例は、図１及び図３に示し上述した実施例１に係る車両番号認識装置において、カメラ１０によって複数の画像を撮像する際、ナンバープレート検知後に撮像されるフレーム画像を、カメラ１０のレンズのズーム倍率を制御しつつ撮像する処理を追加したものである。カメラ１０のレンズのズーム倍率は、直前に撮像されたフレーム画像上のナンバープレートの位置情報に基づいて決定される。

本実施例において車両番号認識部２０で実行される車両番号認識処理を図１４に基づいて説明する。

図１４に示すように、本実施例に係る車両番号認識装置では、図２に示し上述したカメラ１０によって撮像されたフレーム画像を連続的に入力するフレーム画像入力処理（ステップＳ１５１）、及び、入力された全てのフレーム画像それぞれに対してナンバープレートの認識を行い、車両番号を抽出するナンバープレート認識処理（ステップＳ１５２）を行った後、ナンバープレートの位置情報を基にズーム倍率を算出する処理（ステップＳ１５３）を行う。

そして、カメラ１０のレンズを制御し、ズーム倍率が算出された値となるように調整する（ステップＳ１５４）。その後、ステップＳ１５１に戻り、ステップＳ１５３で算出されたズーム倍率に調整されたカメラ１０によってナンバープレートを撮像し、これによって得られたフレーム画像を車両認識部２０に入力するのである。その他の構成は実施例１と同様であり、重複する説明は省略する。なお、図１４に示す認識結果統合処理（ステップＳ２００）は、図２に示し、実施例１において説明したステップＳ２０１〜ステップＳ２０８と同一の処理を実行するものである。

本実施例においては、上述したステップＳ１５３，Ｓ１５４の処理を行うことにより、図１５に示すようなフレーム画像１６１〜１６４が得られる。

以下、本実施例に係る車両番号認識装置において車両番号認識部２０が行う処理の一例を、図１５に示す第１〜第４フレーム画像１６１〜１６４を例に、具体的に説明する。フレーム画像１６１〜１６４は、車両５０の後部ナンバープレート５１をカメラ１０によって一定時間間隔で連続的に撮像した画像を模式的に示すものである。

車両認識部２０では、カメラ１０によって第１フレーム画像１６１が撮像され、ナンバープレート５１を検知すると、第１フレーム画像１６１上におけるナンバープレート５１の位置ｐ₁及び大きさｓ₁から次のフレーム画像を撮像する際に適用するズーム倍率を算出する。そして、カメラ１０のレンズをステップＳ１５３で算出されたズーム倍率になるように制御して次のフレーム画像を撮像し、第２フレーム画像１６２を得る。

更に、第２フレーム画像１６２上におけるナンバープレート５１の位置ｐ₂及び大きさｓ₂から算出されたズーム倍率に基づいて第３フレーム画像１６３を得、該第３フレーム画像１６３上におけるナンバープレート５１の位置ｐ₃及び大きさｓ₃から算出されたズーム倍率に基づいて第４フレーム画像１６４を得るのである。

表７に、本実施例において、図１５に示すフレーム画像１６１〜１６４から得られる車両番号候補の一例を示す。

なお、表７においてＴ，Ｔ+１，Ｔ+２，Ｔ+３は時刻を示している。

表７に示す例は、全ての車両番号候補が一致している例である。従って、認識結果統合処理（ステップＳ２００）で、ステップＳ２０１において車両番号候補が一つである（no）と判定され、ステップＳ２０８により「ＡＢＣ１２３」が確定認識結果として出力される。本実施例においては、フレーム画像１６１〜１６４上の車両番号が高解像度で得られるため、認識精度が向上し、一致した車両番号候補を得やすくなることが期待できる。

上述した本実施例に係る車両番号認識装置によれば、第２〜第４フレーム画像１６２〜１６４上のナンバープレート５１を、それぞれ概ね一定の大きさに拡大した状態で撮像するため、例えば図３に示すフレーム画像６２〜６４に比較して、車両番号を高解像度で得ることが可能となる。このように、各フレーム画像１６１〜１６４に撮像された車両番号を好適な解像度で得ることにより、実施例１による作用効果に加え、更なる認識精度の向上が可能となる。

なお、本実施例においてはフレーム画像上１６１〜１６３におけるナンバープレート５１の位置及び大きさから次のフレーム画像を撮像する際に適用するズーム倍率を算出する例を示したが、フレーム画像上１６１〜１６３におけるナンバープレート５１の位置のみから次のフレーム画像を撮像する際に適用するズーム倍率を算出するようにしても良い。

図１６及び図１７に基づいて本発明の第１０の実施例を説明する。図１６は本実施例における車両番号認識処理の流れを示すフローチャート、図１７は本実施例において撮像されたフレーム画像の例を示す説明図である。

本実施例は、上述した実施例９に係る車両番号認識装置に比較して、カメラ１０のレンズのズーム倍率を、連続する二つのフレーム画像に撮像されたナンバープレートの位置から算出した車速に基づいて決定するものであり、その他の構成は実施例９と概ね同様である。

本実施例において車両番号認識部２０で実行される車両番号認識処理を図１６に基づいて説明する。

図１６に示すように、本実施例に係る車両番号認識装置では、図２に示し上述したカメラ１０によって撮像されたフレーム画像を連続的に入力するフレーム画像入力処理（ステップＳ１６１）、及び、入力された全てのフレーム画像それぞれに対してナンバープレートの認識を行い、車両番号を抽出するナンバープレート認識処理（ステップＳ１６２）を行った後、連続する二つのフレーム画像上に撮像されたナンバープレートの位置から、車速を測定し、得られた車速情報を基にズーム倍率を算出する処理（ステップＳ１６３）を行う。

そして、カメラ１０のレンズを制御し、算出されたズーム倍率に調整する（ステップＳ１６４）。その後、ステップＳ１６１に戻り、ステップＳ１６３で算出されたズーム倍率に基づいてナンバープレートを撮像し、これによって得られたフレーム画像を車両認識部２０に入力するのである。その他の構成は実施例９と同様であり、重複する説明は省略する。

本実施例においては、上述したステップＳ１６３，Ｓ１６４の処理を行うことにより、図１７に示すようなフレーム画像２６１〜２６４を得ることができる。

以下、本実施例に係る車両番号認識装置において車両番号認識部２０が行う処理の一例を、図１７に示す第１〜第４フレーム画像２６１〜２６４を例に、具体的に説明する。フレーム画像２６１〜２６４は、車両５０の後部ナンバープレート５１をカメラ１０によって一定時間間隔で連続的に撮像した画像を模式的に示すものである。

車両認識部２０では、カメラ１０によって第１フレーム画像２６１が撮像され、ナンバープレート５１が検知されると、第１フレーム画像２６１上におけるナンバープレート５１の位置と第２フレーム画像２６２上におけるナンバープレート５１の位置との差ｄ₁に基づいて車両５０の走行速度を測定し、次のフレーム画像を撮像する際に適用するカメラ１０のズーム倍率を算出する。そして、カメラ１０のレンズを算出されたズーム倍率になるように制御して次のフレーム画像を撮像し、第３フレーム画像２６３を得る。

更に、第２フレーム画像２６２上におけるナンバープレート５１の位置と第３フレーム画像２６３上におけるナンバープレート５１の位置との差ｄ₂に基づいて車両５０の走行速度を測定し、算出されたズーム倍率に基づいて第４フレーム画像２６４を得るのである。

表８に、本実施例において、図１７に示すフレーム画像２６１〜２６４から得られる車両番号候補の一例を示す。

なお、表８においてＴ，Ｔ+１，Ｔ+２，Ｔ+３は時刻を示している。

表８に示す例は、全ての車両番号候補が一致している例である。従って、認識結果統合処理（ステップＳ２００）では、ステップＳ２０１において車両番号候補が一つである（no）と判定され、ステップＳ２０８により「ＡＢＣ１２３」が確定認識結果として出力される。本実施例においては、実施例９と同様に、フレーム画像２６１〜２６４上の車両番号が高解像度で得られるため、認識精度が向上し、一致した車両番号候補を得やすくなることが期待できる。

上述した本実施例に係る車両番号認識装置によれば、車両５０の車速を測定し、車速情報に基づいてカメラ１０のズーム倍率を制御するため、フレーム画像２６１〜２６４上のナンバープレート５１を適度に拡大した状態で撮像することができ、例えば図３に示すフレーム画像６２〜６４に比較して、車両番号を高解像度で得ることが可能となる。これにより、実施例９と同様に実施例１による作用効果に加えて更なる認識精度の向上が可能となる。

図１８に基づいて本発明の第１１の実施例を説明する。図１８は本実施例に係る車両番号認識装置による車両番号認識処理の手順を示すフローチャートである。本実施例は、上述した実施例１のステップＳ２０１〜２０８の処理に代えて、図１８に示すステップＳ２１１〜ステップＳ２１８の処理を行う例である。

具体的には、実施例１のステップＳ２０７の処理に代えて、図１８に示すステップＳ２１７の処理を行うものである。その他の構成は実施例１において説明したものと概ね同様であり、重複する説明は省略する。図１８に示すステップＳ２１１〜Ｓ２１６及びＳ２１８の処理には、図２に示し上述したステップＳ２０１〜Ｓ２０６及びＳ２０８の処理と同様の処理をそれぞれ行うものとする。

図１８に示すように、本実施例では、ステップＳ２１６において車両番号が確定したか否かの判定を行った結果、車両番号構成文字が一つでも確定していない場合（no）に、車両番号認識処理を継続して車両番号構成文字毎に以下の処理を行う（ステップＳ２１７）。

即ち、文字数が一致しなかった場合は、それぞれの車両番号候補について車両番号構成文字の文字位置を検出し、全ての車両番号候補において文字位置と認識結果とが一致している文字については、その認識結果を採用する。

一方、文字位置と認識結果が一致しない、例えば、文字位置に対して異なる認識結果が存在する場合、又は、文字位置が一致しない文字が存在する場合については、例えば非特許文献１に開示されている文字列の読み取り方式等を用いて車両番号の確定を行う。

具体的には、各文字に複数の推定位置（以下、推定文字位置という）を仮定し、認識結果の文字の文字類似度を得点として推定文字位置に対して投票する。このとき、推定文字位置ごとに予め得点の重み係数を設定しておき、この重み係数に文字類似度を積算したものを投票するようにする。そして、投票の結果、一つの文字に対して得点の高い推定文字位置を正解として採用する処理を行うのである。なお、本実施例において重み係数はカメラ１０の設置環境、ナンバープレート認識処理（ステップＳ１０２）を行う際に得られるデータ等を考慮して状況に応じて予め設定される値とする。

以下、本実施例において図２に示した車両番号認識部２０によって実行される処理を、図３に示すフレーム画像６１〜６４を例に、具体的に説明する。

表９に、上述したステップＳ１０２によってフレーム画像６１〜６４から認識される車両番号候補の例を示す。

表９に示す例は、車両番号候補群中の車両番号候補の文字数が一致しない例である。具体的には、時刻Ｔに撮像されたフレーム画像６１中の「Ａ」、及び時刻Ｔ＋３に撮像されたフレーム画像６４中の「３」が認識されず車両番号候補が５文字として認識結果が出力され、且つ、時刻Ｔ＋２に撮像されたフレーム画像６３中の「Ｃ」が「Ｄ」として認識された例であり、認識結果の文字位置（以下、認識文字位置という）「１」〜「５」、即ち左側の５文字については、文字位置に対して異なる認識結果が存在し、また、認識文字位置「６」、即ち左から６番目の文字（以下同様に、左からｍ番目の文字を文字位置「ｍ」と表記する）については該文字位置に対応する文字が存在しない認識結果がある。表１０に認識文字位置に対する推定文字位置の設定例を示す。なお、以下、認識文字位置との差別化のため、推定文字位置には「'」を付して説明するものとする。

表１０に示すように、表９に示したような認識結果が得られた場合には、文字の欠落やノイズの影響による誤認識等（以下、欠落等という）を考慮して、全ての認識結果の車両番号構成文字について認識文字位置毎に実際の文字位置（以下、正解文字位置という）である可能性が高いと考えられる複数の推定文字位置（例えば、認識文字位置「ｉ」に対しては「（ｉ−１）'」，「ｉ'」，「（ｉ＋１）'」等）を定義する。

なお、車両番号構成文字数が既知である場合は、例えば、車両番号構成文字数が６文字であれば認識文字位置「６」に対して定義する推定文字位置を「５'」及び「６'」のみとする等、車両番号構成文字数を反映させて推定文字位置を設定するようにしてもよい。また、一つの認識文字位置に対して設定する推定文字位置は２つ又は３つに限らず、必要に応じて設定すればよい。

次に、定義した全ての推定文字位置に対して予め重み係数を設定する。表１１は推定文字位置に対する重み係数の設定例である。

表１１に示す例は、認識文字位置が正解文字位置である可能性が最も高いと仮定して、該認識文字位置と同位置に定義された推定文字位置（例えば、認識文字位置「１」に対する推定文字位置「１'」）の重み係数を１．０に設定している。

更に、一つの認識文字位置に対して該認識文字位置と異なる文字位置は正解位置である可能性がやや低いと仮定して、認識文字位置と異なる位置として定義された推定文字位置（例えば、認識文字位置「２」に対する推定文字位置「１'」及び「３'」）の重み係数を０より大きく１より小さい値（ここでは、０．７又は０．８）に設定している。

なお、表１１に示す重み係数は一例であり、例えば、欠落等による文字位置変動の実績値を反映させる等、種々の条件に応じてその値を設定することができる。

表１２に、各々の時刻（Ｔ〜Ｔ＋３）において撮像されたフレーム画像６１〜６４それぞれについて、得られた認識結果に対して車両番号構成文字の文字類似度に表１１に示した重み係数を反映させて算出した得点を投票する例を示す。

表１２に示す得点は、文字類似度と表１１に示した重み係数との積算により算出した。例えば、時刻Ｔにおける認識文字位置「１」、推定文字位置「１'」の文字「Ｂ」の得点「０．８」は、当該文字「Ｂ」の文字類似度「０．８」と重み係数「１．０」とを積算して算出したものである。なお、表１２に示す文字類似度は一例であり、種々の条件に応じてその値は異なる。

各々の時刻（Ｔ〜Ｔ＋３）における認識結果について得点を算出したら、認識結果及び推定文字位置が一致する得点結果をそれぞれ加算する。表１３に投票結果を示す。

表１３において、例えば、認識結果「Ａ」且つ推定文字位置「１'」における得点「１．６」は、表１２に示した時刻Ｔ＋１、Ｔ＋２及びＴ＋３における認識結果「Ａ」が推定文字位置「１'」である場合の得点「０．５」、「０．６」及び「０．５」を加算したものである。

そして、得点結果に基づき、車両番号構成文字の認識結果に対して得点が高い推定文字位置が正解文字位置であるとみなす。即ち表１３に示す例では、車両番号構成文字「Ｂ」は得点が最も高い文字位置「２」、以下同様に、車両番号構成文字「２」が文字位置「５」、車両番号構成文字「１」が文字位置「４」、車両番号構成文字「Ｃ」が文字位置「３」、車両番号構成文字「３」が文字位置「６」、車両番号構成文字「Ａ」が文字位置「１」の順に採用され、これにより、「ＡＢＣ１２３」が確定認識結果として出力される。なお、車両番号構成文字「Ｄ」については得点が低いために採用されていない。

上述した本実施例に係る車両番号認識装置によれば、複数の画像を各々処理した結果を統合することにより、一部の画像を処理した結果に正解文字の欠落が起きたような場合であっても車両番号を認識することが可能であり、且つ、１枚の画像のみを処理するよりも高い認識精度を得ることができる。

なお、本実施例においては文字位置が一致し認識結果が異なる場合に推定文字位置を設定する例を示したが、このように文字位置が一致し認識結果が異なる場合には、上述した実施例１において説明したように、類似度が高い結果を採用するようにする等、本発明の趣旨を逸脱しない範囲で種々の変更が可能であることはいうまでもない。

以下、本発明の第１２の実施例について説明する。本実施例は、上述した実施例１１において、ステップＳ２１７による、複数の認識結果の文字数及び文字位置が異なる場合における処理の際に、認識結果を確定するために用いる文字類似度が例えば文字類似度１位と文字類似度２位等、順位間でその差が小さい場合を考慮して、任意の指定順位（本実施例では、文字類似度２位）までの得点を算出してこれを投票するようにしたものである。その他の処理は実施例において説明した処理と同様とし、重複する説明は省略する。

表１４に、図１８に示すステップＳ１０２によって、図３に示すフレーム画像６１〜６４から得られる車両番号候補の一例を示す。

表１４に示す例は、車両番号候補群中の車両番号候補の文字数が異なる例である。具体的には、時刻Ｔに撮像されたフレーム画像６１中の「Ａ」、及び時刻Ｔ＋３に撮像されたフレーム画像６４中の「３」が認識されず車両番号候補が５文字として認識結果が出力され、且つ、時刻Ｔ＋２に撮像されたフレーム画像６３中の「Ａ」が「Ｈ」、「Ｃ」が「Ｄ」として認識された例であり、認識結果の文字位置（以下、認識文字位置という）が「１」〜「５」の文字については、文字位置に対して異なる認識結果が存在し、また、認識文字位置「６」については該文字位置に対応する文字が存在しない認識結果がある。

なお、本実施例においては、一例として時刻Ｔ＋２に撮像されたフレーム画像６３中の認識文字位置「１」に該当する文字に対して、文字類似度の評価の結果が、１位が文字類似度０．５で「Ｈ」、２位が文字類似度０．４５で「Ａ」であったとして説明する。

本実施例では、上述した実施例１１において設定した表１０及び表１１に示す推定文字位置及び文字類似度の重み係数を用い、一つの推定文字位置に対応する文字の文字類似度が１位と２位とで近似する、例えば、文字類似度の差分が予め設定した値より小さい場合に文字類似度２位の文字までを車両番号構成文字の候補として考慮するものとする。表１５に各々の時刻（Ｔ〜Ｔ＋３）において撮像されたフレーム画像６１〜６４それぞれについて、得られた認識結果に対して車両番号構成文字の文字類似度に表１１に示した重み係数を反映させて算出した得点を投票する例を示す。

表１５は、時刻Ｔ＋２、Ｔ＋３における認識結果のうち、認識文字位置「１」の車両番号構成文字について文字類似度が１位と２位で近似する例を示している。表１６に、表１４に示した認識結果に基づき文字類似度１位の結果のみを適用した場合の統合結果、および、文字類似度２位の結果までを適用した場合の統合結果を示す。

表１６に示すように、文字類似度１位の結果のみを適用した場合は「ＨＢＣ１２３」が統合結果となり、誤認識となるおそれがあるが、文字類似度２位の結果までを適用した場合は「ＡＢＣ１２３」が統合結果となり、正しい結果が確定認識結果として出力されることが分かる。

このように、本実施例によれば、実施例１１による作用効果に加えて、個々の画像に対する文字認識精度が低い場合であっても、複数の画像を各々処理した結果を統合することにより高い認識精度を得ることができる。

なお、表１６には文字類似度が１位と２位とで近似するもののみを記載し、その他の文字については２位の文字類似度が略ゼロに近いとして省略した。なお、２位以下の類似度が小さい場合、例えば、１位の文字類似度と２位の文字類似度との差分が予め設定した値より大きい場合等には前処理を行ってこれを削除するようにしてもよい。また、本実施例においては文字類似度２位までの結果を考慮して得点を投票するようにしたが、本発明はこれに限定されるものではなく必要に応じて種々の変更が可能であることはいうまでもない。

図１９及び図２０に基づいて本発明の第１３の実施例を説明する。図１９は本実施例における車両番号認識処理の流れを示すフローチャート、図２０はナンバープレート処理の流れを示すフローチャートである。本実施例は、上述した実施例１１において、一つのフレーム画像に対して車両番号を抽出するための評価値を複数設定し、それぞれの評価値に基づいてナンバープレート認識処理を行う例であり、図１８に示し上述した構成に適用される。その他の構成は図１８に示し上述した実施例１１の構成と概ね同様であり、重複する説明は省略する。

図１９に示すように、本実施例において車両番号認識部２０では、まず、カメラ１０によって撮像されたフレーム画像を入力し（ステップＳ１７１）、このフレーム画像に対して車両番号を抽出するための複数の二値化しきい値ａ₁〜ａ_iを設定し、これら複数の二値化しきい値ａ₁〜ａ_iに基づいてそれぞれ車両番号を抽出するナンバープレート認識処理（ステップＳ１７２）を行う。

そして、ステップＳ１７１及びステップＳ１７２の処理を一台の車両のナンバープレートを連続的に撮像した全てのフレーム画像に対して行った後、得られた認識結果を用いて認識結果統合処理（ステップＳ２００）を行うのである。ここで、認識結果統合処理（ステップＳ２００）は、図１８に示したステップＳ２１１〜ステップＳ２１８と同様の処理とし、詳しい説明は省略する。

なお、本実施例において、ナンバープレート処理（ステップＳ１７２）は、図２０に示す流れで行われるものとする。すなわち、ステップＳ１７１によって入力されたフレーム画像に対して、まず、ナンバープレートを抽出してこれを切り出す処理（ステップＳ１７２−１）を行う。次に、ステップＳ１７２−１によって切り出したナンバープレートの画像に対して二値化処理によって文字を抽出する処理（ステップＳ１７２−２）を行い、続いて、ステップＳ１７２−２によって抽出した文字に対して文字類似度を用いて認識処理を行い（ステップＳ１７２−３）、導出された結果を認識結果として出力する（ステップＳ１７２−４）のである。本実施例では、上述したステップＳ１７２−２において行う処理を、複数の二値化しきい値ａ₁〜ａ_iに基づいて行うものとしている。

本実施例によれば、一枚のフレーム画像に対して複数の二値化しきい値ａ₁〜ａ_iを設定するとともに、全てのフレーム画像に対してこれら複数の二値化しきい値ａ₁〜ａ_iに基づく複数のナンバープレート認識処理（ステップＳ１７２）を行うようにしたことにより、フレーム画像に対して影の影響や低コントラストによる認識不可を回避し精度の向上を図ることができる。

図２１に基づいて本発明の第１４の実施例を説明する。図２１は本実施例における車両番号認識処理の流れを示すフローチャートである。本実施例は、上述した実施例１３の車両番号を抽出するための複数の評価値としての二値化しきい値ａ₁〜ａ_iに代えて、複数のナンバープレート切り出し位置ｂ₁〜ｂ_jを用いるものである。その他の構成は図１９に示し上述した実施例１３の構成と概ね同様であり、重複する説明は省略する。

図２１に示すように、本実施例において車両番号認識部２０では、まず、カメラ１０によって撮像されたフレーム画像を入力し（ステップＳ１８１）、このフレーム画像に対して車両番号を抽出するための評価値として複数のナンバープレート切り出し位置ｂ₁〜ｂ_jを設定し、これら複数のナンバープレート切り出し位置ｂ₁〜ｂ_jに基づいてそれぞれナンバープレート認識処理（ステップＳ１８２）を行う。なお、複数のナンバープレート切り出し位置としては、例えば、通常の切り出し位置と、該通常の切り出し位置を基準として上下左右に予め定めた所定距離移動させた位置とを該切り出し位置として設定する等とすればよい。

そして、ステップＳ１８１及びステップＳ１８２の処理を一台の車両のナンバープレートを連続的に撮像した全てのフレーム画像に対して行った後、得られた認識結果を用いて認識結果統合処理（ステップＳ２００）を行うのである。ここで、認識結果統合処理（ステップＳ２００）は、図１８に示したステップＳ２１１〜ステップＳ２１８と同様の処理とし、詳しい説明は省略する。

なお、本実施例において、ナンバープレート処理（ステップＳ１８２）は、図２０に示し上述したステップＳ１７２−１〜ステップＳ１７２−４と同様の流れで行われるものであり、図２０に示し上述した実施例１３において説明したステップＳ１７２−１に対応するプレート切り出し処理を行う際に、複数のナンバープレート切り出し位置ｂ₁〜ｂ_jに基づいてそれぞれナンバープレート認識処理（ステップＳ１８２）を行うものである。

本実施例によれば、一枚のフレーム画像に対して複数のナンバープレート切り出し位置ｂ₁〜ｂ_jを設定するとともに、全てのフレーム画像に対してこれら複数のナンバープレート切り出し位置ｂ₁〜ｂ_jに基づく複数のナンバープレート認識処理（ステップＳ１８２）を行うようにしたことにより、一枚のフレーム画像に対して一つのナンバープレート切り出し位置を設定する場合に比較して、ナンバープレートの品質低下（汚れや欠け等）によりフレーム画像に撮像されたナンバープレートの形状が正確に認識されない等のおそれを低減し、車両番号を確実に抽出することができるため、更なる精度向上を図ることができる。

図２２に基づいて本発明の第１５の実施例を説明する。図２２は本実施例による認識結果とデータベースとの照合例を示す説明図である。本実施例は、上述した実施例１１において図１８に示し上述した認識結果統合処理（ステップＳ２００）によって得られた確定認識結果を車両情報データベースに格納されたナンバープレート情報（車両番号情報）と照合し、認識結果を修正する例である。ここで、認識結果統合処理（ステップＳ２００）は、図１８に示したステップＳ２１１〜ステップＳ２１８と同様の処理とし、詳しい説明は省略する。

車両番号認識に係る処理は、図９に示すものと概ね同様であって、ステップＳ３０２の処理において、車両番号を特定するための照合手段として、二つの文字列のうち一方の文字列を他方の文字列に変換するために必要となる文字の操作の最小回数を評価値として前記二つの文字列間の類似度を評価する編集距離としてのレーベンシュタイン距離を利用し、いわゆるあいまい検索により、確定認識結果と車両情報データベースに格納されたナンバープレート情報との照合を行い、車両番号の修正を行う。

レーベンシュタイン距離は、二つの文字列のうち、一方の文字列を他方の文字列に変換するために必要な文字の操作としての挿入、削除、及び置換の最小回数であり、これを評価値として二つの文字列がどの程度異なっているかを表すものである。

本実施例では、照合の結果、確定認識結果に対してレーベンシュタイン距離が最も小さい車両番号を正解として出力する。

図２２に示すように、例えば、実施例１１における認識結果統合処理（ステップＳ２００）によって得られた確定認識結果７３が「ＡＢＣ１２」であり最後の文字が欠落して車両番号が確定しないような場合であって、車両情報データベース８３に格納された多数の車両番号のうち、確定認識結果に近い車両番号として「ＡＢＣ１１９」、「ＡＢＣ１２３」、「ＡＢＣ１３５」が存在する場合を例として説明する。

図２２に示す例において、確定認識結果７３（ここでは「ＡＢＣ１２」）と車両情報データベース８３に格納されている車両番号「ＡＢＣ１１９」との間のレーベンシュタイン距離は、確定認識結果「ＡＢＣ１２」の文字位置「５」の車両番号構成文字「２」を「１」に置換し、且つ文字位置「６」に車両番号構成文字「９」を挿入する必要があるため、レーベンシュタイン距離「２」となる。

また、確定認識結果７３（ここでは「ＡＢＣ１２」）と車両情報データベース８３に格納されている車両番号「ＡＢＣ１２３」との間のレーベンシュタイン距離は、確定認識結果「ＡＢＣ１２」の文字位置「６」に車両番号構成文字「３」を挿入する必要があるため、レーベンシュタイン距離「１」となる。

また、確定認識結果７３（ここでは「ＡＢＣ１２」）と車両情報データベース８３に格納されている車両番号「ＡＢＣ１３５」との間のレーベンシュタイン距離は、確定認識結果「ＡＢＣ１２」の文字位置「５」の車両番号構成文字「２」を「３」に置換し、且つ文字位置「６」に車両番号構成文字「５」を挿入する必要があるため、レーベンシュタイン距離「２」となる。

従って、図２２に示す例においては、確定認識結果７３（ここでは「ＡＢＣ１２」）との間のレーベンシュタイン距離が最も小さい車両番号である「ＡＢＣ１２３」が検索結果９３として得られ、該当車両の車両番号として確定する。

このように、本実施例によれば、画像処理による結果以外の情報である車両情報データベースに格納された情報を利用することにより、例えば認識結果の一部が不明である場合であっても正確な車両番号を得ることができる。更に、照合手段としてレーベンシュタイン距離を用いることにより、照合に係る処理の効率を向上させることができる。

なお、編集距離としては、上述したレーベンシュタイン距離のほかに、Damerau距離等を用いる、または、認識結果と照合する対象となる文字列即ち車両情報データベースに格納された車両番号が同じ文字数である場合にはハミング距離を用いる等、必要に応じて好適な編集距離を用いればよい。

但し、Damerau距離は、二つの文字列間の類似度を、一方の文字列を他方の文字列に変換する際に行う処理（置換、挿入、削除、又は、前後の文字を入れ替える）の回数によって評価する（処理回数が少ないほど類似度が高い）評価方法、ハミング距離は、二つの文字列の文字数が同じである場合に、一方の文字列を他方の文字列に変換する際に行う置換の回数によって類似度を評価する評価方法である。

編集距離を求めるアルゴリズムについては、動的計画法、オートマンに基づくアルゴリズム、ビットパラレル手法などがあるが、ここでは詳しい説明は省略する。

図２３を用いて本発明の第１６の実施例を説明する。図２３は、上述した実施例１５における認識結果とデータベースとの照合例を示す説明図である。本実施例は、例えば、上述した実施例１５において結果が確定しない場合に、認識結果統合処理において利用した車両番号構成文字ごとの認識結果の情報である文字類似度を利用して照合を行い、車両番号を修正する例である。その他の構成は実施例１５の構成と概ね同様であり、重複する説明は省略する。

図２３に示すように、例えば、実施例１１の認識結果統合処理（ステップＳ２００）によって得られた確定認識結果７４が「ＨＢＣ１２３」であるのに対し、車両情報データベース８４にナンバープレート情報として「ＡＢＣ１２３」、「ＢＢＣ１２３」が格納されているような場合、実施例１５において説明したあいまい検索を行うと車両番号「ＡＢＣ１２３」、「ＢＢＣ１２３」のどちらに対してもレーベンシュタイン距離が「１」となり、車両番号が一つに確定しないおそれがある。

そのため本実施例では、実施例１５において説明した処理を行った結果、車両番号が確定しない場合に、更に、二つの文字列の一方の文字列を他方の文字列に変換するために行う文字の操作それぞれに対して異なる係数を設定される編集距離としての重み付きレーベンシュタイン距離を用いたあいまい検索を行う。該重み付きレーベンシュタイン距離は、比較対象となる二つの文字列間において、一方の文字列を他方の文字列に変換するため、例えば、文字の置換（又は挿入あるいは削除）を行う場合に、同じ一回の操作であっても定義した指標をもとにそれぞれの操作に異なる重み係数を設定し、一回の操作に対するレーベンシュタイン距離を異なる値として評価するものである。

以下、上記指標として、実施例１１の認識結果統合処理（ステップＳ２００）において用いた文字類似度を利用する例を説明する。表１７にナンバープレート認識処理（ステップＳ１０２）において車両番号の文字位置「１」の文字を得るために抽出された候補文字の一例を文字類似度が大きいものから順に示す。

本実施例では、図２３に示すように、確定認識結果７４（「ＨＢＣ１２３」）の車両番号構成文字「Ｈ」の置換対象の文字として「Ａ」又は「Ｂ」が考えられ、且つ、表１７に示すように車両番号構成文字の文字位置「１」の候補として「Ａ」、「Ｂ」が文字類似度ｋ位（ｋは一つの文字位置に対してナンバープレート認識処理において抽出された候補文字の数）までの中に存在する場合に、認識結果統合処理（ステップＳ２００）を行う際に用いた文字類似度を利用し二つの文字間のレーベンシュタイン距離を「１．０−文字類似度」として定義することにより車両番号の照合を行う。

即ち、図２３に示す確定認識結果７４（「ＨＢＣ１２３」）を車両情報データベース８４に格納されている「ＡＢＣ１２３」に変換する場合は文字位置「１」の文字を、確定認識結果として出力された「Ｈ」から「Ａ」に置換するため、重み付きレーベンシュタイン距離は表１７から「（１．０−０．５＝）０．５」、一方、確定認識結果７４（「ＨＢＣ１２３」）を車両情報データベース８４に格納されている「ＢＢＣ１２３」に変換する場合は文字位置「１」の文字を、確定認識結果として出力された「Ｈ」から「Ｂ」に置換するため、重み付きレーベンシュタイン距離は表１７から「（１．０−０．４＝）０．６」となる。

そのため、確定認識結果「ＨＢＣ１２３」との間の重み付きレーベンシュタイン距離が小さい「ＡＢＣ１２３」が検索結果９４として確定する。なお、上述した重み付きレーベンシュタイン距離の計算は一例であり、二つの文字間の文字類似度が高いほうが重み付きレーベンシュタイン距離が小さくなるように定義すればよい。

本実施例によれば、実施例１５において説明したあいまい検索で複数の照合結果が得られるような場合であっても、車両番号を確定することができ、より車両番号の認識精度が向上する。

なお、本実施例においては編集距離として重み付きレーベンシュタイン距離を用いる例を示したが、本発明の趣旨を逸脱しない範囲で種々の変更が可能であることは言うまでもない。

本発明の第１７の実施例を説明する。本実施例は、上述した実施例１６において確定認識結果を車両情報データベースに格納された車両番号と照合する際に用いた、レーベンシュタイン距離の重み係数を定義する指標としての文字類似度に代えて、比較対象となる文字間における誤認識のし易さの統計データを利用する例である。その他の構成は実施例１６の構成と概ね同様であり、重複する説明は省略する。

表１８に、図２３に示す例において、ナンバープレート認識処理（ステップＳ１０２）により車両番号の文字位置「１」の文字を得るために抽出された候補文字の一例を文字類似度が大きいものから順に示す。

表１８に示すように、上述した実施例１６において、文字位置「１」の文字候補「Ｈ」の文字類似度に対し、文字候補「Ａ」「Ｂ」の文字類似度が低い場合、車両番号「ＡＢＣ１２３」、「ＢＢＣ１２３」のどちらに対しても重み付きレーベンシュタイン距離が「（１．０−０．１＝）０．９」となり、車両番号が一つに確定しないおそれがある。

そのため、本実施例では、図１８に示す認識結果統合処理（ステップＳ２００）における統計結果を用い、誤認識し易い文字の組み合わせ等から、評価値として誤り率、例えば、ある文字に対して誤認識し易い文字を統計的に集計して得られる該誤認識し易い文字の全体数に対する割合を予め設定しておき、これに基づいてレーベンシュタイン距離の重み付けを行う。表１９に誤認識統計値の一例を示す。

表１９から、図２３に示す確定認識結果７４（「ＨＢＣ１２３」）を車両情報データベース８３に格納されている「ＡＢＣ１２３」に変換する場合は「Ｈ」を「Ａ」に置換するので重み付きレーベンシュタイン距離は「（１．０−０．５＝）０．５」、確定認識結果７４（「ＨＢＣ１２３」）を車両情報データベース８４に格納されている「ＢＢＣ１２３」に変換する場合は「Ｈ」を「Ｂ」に置換するので重み付きレーベンシュタイン距離は「（１．０−０．２＝）０．８」であり、重み付きレーベンシュタイン距離がより小さい「ＡＢＣ１２３」が検索結果９４として確定する。なお、上記重み付きレーベンシュタイン距離の計算は一例であり、二つの文字間の誤認識率が高いほど重み付きレーベンシュタイン距離が小さくなるように定義すればよい。

本実施例によれば、実施例１６に比較して、実施例１５において説明した車両情報データベースに対するあいまい検索で複数の照合結果を得た場合に、表１８に示すように２位以下の候補の文字類似度が低い場合であっても信頼性が低下することがなく、文字ごとの認識結果に関する情報がなくても照合結果を確定することができる。

図２４及び図２５に基づいて本発明の第１８の実施例を詳細に説明する。図２４は本実施例に係る車両番号の照合の例を示す説明図、図２５は本実施例における車両番号認識処理の流れを示すフローチャートである。本実施例は実施例１６または実施例１７における確定認識結果と車両情報データベースに格納された車両番号との照合の結果、車両番号が確定しない場合に、更にナンバープレートの形状（例えば、ナンバープレートの大きさや縦横比等）の照合を行い、車両番号を修正する例である。その他の構成は上述した実施例１６又は実施例１７と概ね同様であり、重複する説明は省略する。

図２４に示すように、本実施例においては車両情報データベース８５に、ナンバープレート情報として、車両番号と、該車両番号に対応するナンバープレートの形状を予め格納しておく。

そして、車両番号認識部２０において図２５に示す処理を行う。すなわち、まず、車両番号抽出処理（ステップＳ１００）、即ち、カメラ１０によって撮像されたフレーム画像を連続的に入力し（ステップＳ１０１）、入力された全てのフレーム画像それぞれに対してナンバープレートの認識を行い、車両番号を抽出するナンバープレート認識処理（ステップＳ１０２）を行う。この際、同時に車両番号認識部２０においてナンバープレートの形状を抽出し、保存しておく。

続いて、認識結果統合処理（ステップＳ２００）を行った後、確定認識結果に不明文字が存在するか否かの判定を行う（ステップＳ３１１）。判定の結果、不明文字が存在しない場合（no）は認識結果統合処理によって得られた結果を車両番号として出力する。一方、不明文字が存在する場合（yes）は車両情報データベース８５に格納されたナンバープレート情報との照合を行う（ステップＳ３１２）。

そして、照合の結果、車両番号が確定した場合（yes）はその結果を該当車両の車両番号として確定し、該当する車両番号の候補が複数存在するなど車両番号が確定しない場合（no）にはナンバープレートの形状の情報を照合し（ステップＳ３１３）、得られた結果を該当車両の車両番号として確定するのである。

例えば、図２４に示すように、実施例１１において説明した認識結果統合処理による確定認識結果７５が「ＨＢＣ１２３」であり、車両情報データベース８５に格納されたナンバープレート情報との照合を行った結果、車両番号候補として「ＡＢＣ１２３」及び「ＢＢＣ１２３」が存在し車両番号が確定しないような場合に、ナンバープレートの形状の情報の照合（ステップＳ３１３）を行う。表２０に、図２４に示す車両番号候補のナンバープレートの縦横比の例を示す。

図２４に示す例では、車両番号認識部２０において導出されたナンバープレートの形状の縦横サイズ（縦，横）が（２１，４０）であって、ナンバープレートの縦横比（縦／横）が０．５２５であるのに対し、車両番号「ＡＢＣ１２３」のナンバープレートの形状の縦横サイズが（２２，４４）、車両番号「ＢＢＣ１２３」のナンバープレートの形状の縦横サイズが（２０，５５）であって、表２０に示すように、それぞれナンバープレートの縦横比（縦／横）が０．５０、０．３６である。よって、ナンバープレートの縦横比が、車両番号認識部２０において導出されたナンバープレートの縦横比０．５２５に最も近い値（０．５）である車両番号「ＡＢＣ１２３」が検出結果９５として得られ、該当車両の車両番号として確定する。

上述した本実施例によれば、認識結果統合処理によって得られた情報に加えて、ナンバープレートの形状に関する情報を用いるようにしたことにより、より正確に且つ確実に車両番号を特定することができる。

なお、本実施例では実施例１６又は実施例１７において照合結果が確定しない場合にナンバープレート形状を照合する例を示したが、車両情報データベースに格納された車両番号情報との照合の結果得られた車両番号が一つであった場合にもナンバープレートの形状を照合するようにすれば、車両番号の特定精度をより向上させることができる。

図２６及び図２７を用いて本発明の第１９の実施例を説明する。図２６は本実施例に係る車両番号の照合の例を示す説明図、図２７は本実施例に係る車両番号認識処理の流れを示すフローチャートである。本実施例は実施例１８のナンバープレートの形状の照合に代えて、ナンバープレートの配色（例えば、ナンバープレートの文字の色や背景色）の情報を照合して車両番号の修正を行う例である。その他の構成は実施例１８と概ね同様であり、重複する説明は省略する。

図２６に示すように、本実施例において車両情報データベースには、ナンバープレート情報として、車両番号情報に加え、ナンバープレートの色情報（本実施例では文字の色及びナンバープレートの背景色）を予め格納しておく。

そして、車両番号認識部２０において図２７に示す処理を実行する。すなわち、まず、車両番号抽出処理（ステップＳ１００）を行う。この際、同時に車両番号認識部２０においてナンバープレートの配色の情報を取得しておく。続いて、認識結果統合処理（ステップＳ２００）を行った後、確定認識結果に不明文字が存在するか否かの判定を行う（ステップＳ３２１）。

判定の結果、不明文字が存在しない場合（no）は認識結果統合処理によって得られた結果を車両番号として出力する。一方、不明文字が存在する場合（yes）は車両情報データベース８５に格納されたナンバープレート情報との照合を行う（ステップＳ３２２）。

そして、照合の結果、車両番号が確定した場合（yes）はその結果を該当車両の車両番号とし、車両番号が確定しない場合（no）は更にナンバープレートの配色を照合し（ステップＳ３２３）、得られた結果を該当車両の車両番号として確定する。

例えば、図２６に示すように上記確定認識結果７６が「ＨＢＣ１２３」であり、車両情報データベース８６との照合の結果、該当する車両番号として「ＡＢＣ１２３」、「ＢＢＣ１２３」が得られ車両番号が確定しない場合に、ナンバープレートの形状の情報の照合（ステップＳ３２３）を行う。これにより、ナンバープレートの配色（文字の色，背景色）が（黒，銀）で一致する「ＡＢＣ１２３」が検索結果９６として得られ、該当車両の車両番号として確定する。

このように、本実施例によれば、認識結果統合処理によって得られた情報に加えて、ナンバープレートの配色に関する情報を用いるようにしたことにより、確実に車両番号を特定することができる。

なお、本実施例では実施例１６又は実施例１７において照合結果が確定しない場合にナンバープレートの配色を照合する例であるが、車両情報データベースに格納された車両番号情報との照合の結果得られた車両番号が一つであった場合にもナンバープレートの配色を照合するようにすれば、車両番号の特定精度をより向上させることができる。

図２８及び図２９を用いて本発明の第２０の実施例を説明する。図２８は本実施例に係る車両番号の照合の例を示す説明図、図２９は本実施例に係る車両番号認識処理の流れを示すフローチャートである。本実施例は実施例１８のナンバープレートの形状の照合に代えて、車両の色情報を照合して車両番号の修正を行う例である。その他の構成は実施例１８と概ね同様であり、重複する説明は省略する。

図２８に示すように、本実施例において車両情報データベース８７には、車両情報としてナンバープレート情報（車両番号情報）に加え、車体の色情報を予め格納しておく。

そして、車両番号認識部２０において図２９に示す処理を実行する。すなわち、まず、車両番号抽出処理（ステップＳ１００）を行う。この際、同時に車両番号認識部２０において車体の色を認識する処理を行い、認識した色情報を格納しておく。続いて、認識結果統合処理（ステップＳ２００）を行った後、確定認識結果に不明文字が存在するか否かの判定を行う（ステップＳ３３１）。

判定の結果、不明文字が存在しない場合（no）は認識結果統合処理によって得られた結果を車両番号として出力する。一方、不明文字が存在する場合（yes）は車両情報データベース８７に格納されたナンバープレート情報との照合を行う（ステップＳ３２２）。

そして、照合の結果、車両番号が確定した場合（yes）はその結果を該当車両の車両番号とし、車両番号が確定しない場合（no）は更に車体の色情報を照合し（ステップＳ３３３）、得られた結果を該当車両の車両番号として確定する。

例えば、図２８に示すように上記確定認識結果７７が「ＨＢＣ１２３」であり、車両情報データベース８７との照合の結果、該当する車両番号として「ＡＢＣ１２３」、「ＢＢＣ１２３」が得られ車両番号が確定しない場合に、車体の色情報の照合（ステップＳ３３３）を行う。これにより、車体の色（白）が一致する「ＡＢＣ１２３」が検出結果９７として得られ、該当車両の車両番号として確定する。

このように、本実施例によれば、認識結果統合処理（ステップＳ２００）によって得られた車両番号の情報に加えて、車体の色情報を用いることにより、確実に車両番号を特定することができる。

なお、本実施例においては上述した実施例１５において照合結果が確定しない場合に車体の色情報を照合する例を示したが、車両情報データベースに格納された車両番号情報との照合の結果得られた車両番号が一つであった場合にも車体の色情報を照合するようにすれば、車両番号の特定精度をより向上させることができる。

なお、上述した実施例１〜実施例２０において、図２に示すステップＳ１０１〜Ｓ１０２の処理（又は、これと同等の処理）である車両番号抽出処理（ステップＳ１００）は道路３０を走行する各車両毎に行われるものとし、一台の車両のナンバープレートを連続的に撮像したすべてのフレーム画像についてナンバープレート認識処理を行い、それぞれのフレーム画像から車両番号候補を抽出した後、図２に示すステップＳ２０１〜Ｓ２０８の処理（又はこれと同等の処理）である認識結果統合処理（ステップＳ２００）を行うものとする。即ち、一台の車両を検知する毎に、カメラ１０が当該車両のナンバープレートを連続的に撮像し、一台の車両のナンバープレートを撮像した複数のフレーム画像から車両番号候補を抽出した後、認識結果統合処理（ステップＳ２００）を行うようにする。

また、本発明は上述した実施例１〜２０に限定されるものではなく、本発明の趣旨を逸脱しない範囲で各実施例を組み合わせる等、種々の変更が可能であることは言うまでもない。

本発明は、車両番号認識装置に適用可能である。

Claims (21)

1. 路上を走行する車両のナンバープレートを一定の時間間隔で連続的に撮像するカメラと、前記カメラによって撮像された複数のフレーム画像から前記車両の車両番号の認識を行う車両番号認識処理部とを備えた車両番号認識装置において、
   前記車両番号認識処理手段が、前記フレーム画像から得られた車両番号候補が複数存在する場合であって、
   認識結果が相互に一致する前記車両番号候補が存在する場合に多数決によって車両番号を確定する手段と、
   複数の前記車両番号候補が相互に異なる場合に前記車両番号候補の文字数を検出し、それぞれの前記車両番号候補の文字数が一致する場合に、それぞれの前記車両番号候補において相互に異なる結果として認識された文字を文字類似度によって確定する手段と、
   前記車両番号候補の文字数が異なる場合に前記車両番号候補中の文字位置及び各々の前記文字の認識結果から前記車両番号を確定する手段と
   を備えたことを特徴とする車両番号認識装置。
2. 路上を走行する車両のナンバープレートを一定の時間間隔で連続的に撮像するカメラと、前記カメラによって撮像された複数のフレーム画像から前記車両の車両番号の認識を行う車両番号認識処理手段とを備えた車両番号認識装置において、
   前記車両番号認識処理手段が、前記フレーム画像から得られた車両番号候補が複数存在する場合であって、認識結果が相互に一致する前記車両番号候補が存在する場合に多数決によって車両番号を確定し、
   複数の前記車両番号候補が相互に異なる場合に前記車両番号候補の文字数を検出してそれぞれの前記車両番号候補の文字数が一致する場合はそれぞれの前記車両番号候補において相互に異なる結果として認識された文字を文字類似度によって確定し、
   前記車両番号候補の文字数が異なる場合に文字位置と認識結果とが一致する文字については当該文字を前記車両番号構成文字として確定し、文字位置と認識結果とが一致しない文字については該文字位置と認識結果とが一致しない文字に対して推定の文字位置を設定するとともにそれぞれの前記推定の文字位置毎に比重を設定し、前記認識結果の類似度と前記比重とから前記推定文字位置に対応する前記認識結果毎に得点を算出し、前記得点に基づいて前記文字位置と認識結果とが一致しない文字を確定する
   ことを特徴とする車両番号認識装置。
3. 前記カメラによって前記車両の後部ナンバープレート及び前部ナンバープレートを撮像し、前記ナンバープレートを撮像したフレーム画像から前記車両番号の認識処理を行うことを特徴とする請求項１又は請求項２記載の車両番号認識装置。
4. 同一の前記ナンバープレートを異なる角度から撮像し、前記ナンバープレートを撮像したフレーム画像から前記車両番号の認識処理を行うことを特徴とする請求項１又は請求項２記載の車両番号認識装置。
5. 前記車両番号の認識処理後に、さらに該車両番号の認識処理によって得られた確定認識結果をデータベースにおいて管理されるナンバープレート情報に照会し、前記確定認識結果の修正を行うことを特徴とする請求項１又は請求項２記載の車両番号認識装置。
6. 前記車両番号を前記カメラに比較して撮像位置が近いカメラによって撮像されたフレーム画像から認識を行った車両番号を利用して前記車両番号の確定を行うことを特徴とする請求項１又は請求項２記載の車両番号認識装置。
7. 前記文字類似度として、前記フレーム画像に撮像された前記ナンバープレートの領域の解像度を用いることを特徴とする請求項１又は請求項２記載の車両番号認識装置。
8. 前記文字類似度として、前記フレーム画像に撮像された前記ナンバープレートのコントラストを用いることを特徴とする請求項１又は請求項２記載の車両番号認識装置。
9. 前記ナンバープレートの文字配列規則を併用して前記車両番号の確定を行うことを特徴とする請求項１又は請求項２記載の車両番号認識装置。
10. 前記カメラによって、路上を走行する車両のナンバープレートを一定の時間間隔で連続的に撮像する際、直前に撮像された前記フレーム画像中における前記ナンバープレートの位置に応じて前記カメラのズーム倍率を変更することを特徴とする請求項１又は請求項２記載の車両番号認識装置。
11. 前記カメラによって、路上を走行する車両のナンバープレートを一定の時間間隔で連続的に撮像する際、直前に撮像された連続する二つの前記フレーム画像中における前記ナンバープレートの変位に基づいて算出される前記車両の速度に応じて前記カメラのズーム倍率を変更することを特徴とする請求項１又は請求項２記載の車両番号認識装置。
12. 前記車両番号認識処理手段が、一枚の前記フレーム画像に対して複数の評価値を設定し、該複数の評価値に基づいてそれぞれ前記車両の車両番号の認識を行うことを特徴とする請求項１又は請求項２記載の車両番号認識装置。
13. 前記評価値が、前記フレーム画像に対して画像処理を施す際に行う二値化処理のしきい値であることを特徴とする請求項１２記載の車両番号認識装置。
14. 前記評価値が、前記フレーム画像からナンバープレートを抽出する際に用いるナンバープレート切り出し位置であることを特徴とする請求項１２記載の車両番号認識装置。
15. 前記車両番号の認識処理後に、該車両番号の認識処理によって得られた確定認識結果と、予め取得しておいたナンバープレート情報とを、二つの文字列のうち一方の文字列を他方の文字列に変換するために必要となる文字の操作の最小回数を評価値として前記二つの文字列間の類似度を評価する編集距離を用いて照合し、前記確定認識結果の修正を行うことを特徴とする請求項１又は請求項２記載の車両番号認識装置。
16. 前記評価値が、前記操作毎に異なる係数を設定されることを特徴とする請求項１５記載の車両番号認識装置。
17. 前記編集距離を用いて比較対象となる文字の予め設定する指定順位までの類似度を評価した結果に基づいて、該車両番号の認識処理によって得られた確定認識結果と予め取得しておいたナンバープレート情報とを照合することを特徴とする請求項１６記載の車両番号認識装置。
18. 前記評価値が、比較対象となる文字間の誤認識し易さの統計データに基づいて前記係数を設定されることを特徴とする請求項１６記載の車両番号認識装置。
19. 前記確定認識結果と、前記ナンバープレート情報とを照合する際に、車両番号の照合に加えて予め取得しておいた前記ナンバープレートの形状情報の照合を行い、前記確定認識結果を修正することを特徴とする請求項５、請求項１３又は請求項１４のいずれか１項に記載の車両番号認識装置。
20. 前記確定認識結果と、前記ナンバープレート情報とを照合する際に、車両番号の照合に加えて予め取得しておいた前記ナンバープレートの色情報の照合を行い、前記確定認識結果を修正することを特徴とする請求項５、請求項１３又は請求項１４のいずれか１項に記載の車両番号認識装置。
21. 前記確定認識結果と、前記ナンバープレート情報とを照合する際に、車両番号の照合に加えて予め取得しておいた前記車両の車体の色情報の照合を行い、前記確定認識結果を修正することを特徴とする請求項請求項５、請求項１３又は請求項１４のいずれか１項に記載の車両番号認識装置。

Images