JP3987264B2

JP3987264B2 - ナンバープレート読取装置及び方法

Info

Publication number: JP3987264B2
Application number: JP2000083370A
Authority: JP
Inventors: 真一佐沢
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2000-03-24
Filing date: 2000-03-24
Publication date: 2007-10-03
Anticipated expiration: 2020-03-24
Also published as: US6754369B1; JP2001273461A

Description

【０００１】
【発明の属する技術分野】
本発明は、道路上で撮影した車両の画像よりナンバープレートを認識するナンバープレート読取装置及び方法に関し、特に１台のテレビカメラで撮像した画像情報から通行する車両を自動的に検知してナンバープレートの文字を高精度で読取るナンバープレート読取装置及び方法に関する。
【０００２】
【従来の技術】
近年、道路を走行中の車両のナンバープレートを認識するシステムは社会的に重要な役割を担うようになってきている。そこで、路上にテレビカメラを設置し、車両のナンバープレートを画像から認識するシステムが開発されている。
【０００３】
ナンバープレート読取装置は、第１に検知の漏れがなく走行する全ての車両を検知でき、第２に検知した車両のナンバープレートを正しく読取るという２つの要求を満たすものではなくてはならない。
【０００４】
このための従来技術としては、例えば特許公報２８９３８１４号公報の装置がある。この装置では、画像のエッジを抽出することにより、走行する車両の車頭を検出している。また背景差分により画像を２値化する方法によってナンバープレートを読取っている。
【０００５】
【発明が解決しようとする課題】
しかしながら、画像のエッジを抽出することにより走行する車両の車頭を検出する方法は、車両の影や夜間におけるヘッドライトの反射等と誤判別しやすい難点があった。また、背景差分により画像を２値化してナンバープレートを読取る方法は、外部の照度条件に対する悪影響を避けることは困難であり、読取精度が低いという問題がある。
【０００６】
また車両のナンバープレートを高い精度で読取るためには、文字の解像度を高くすることが必要になる。しかし、高い解像度を保つためには複数のカメラを使用するか、あるいは高解像度のカメラを使用する必要があり、コストが非常に高くなってしまう。
【０００７】
このため通常のテレビカメラを用いた場合には、ゲート等の車両の通過位置が極めて限定されて画像上でナンパープレートの位置が固定しているものに限られ、通常のテレビカメラを用いて道路を走行する車両のナンバープレートを高精度で読取ることは困難であった。
【０００８】
本発明は、１台のカメラで撮影した比較的低解像度の画像から確実に走行車両を検知し、検知した画像から高い精度でナンバープレートの読み取るナンバープレート読取装置及び方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
図１は本発明の原理説明図である。本発明のナンバープレート読取装置は、図１（Ａ）のように、道路の上方に設置されて走行車両を所定のフレーム周期で撮像する撮像部（テレビカメラ）１２と、撮像部１２で撮像された現フレーム画像３０と前フレーム画像３２の２つを逐次記憶する画像記憶部１６と、画像記憶部１６に記憶している現フレーム画像３０と前フレーム画像３２の差分に基づいて走行車両頭部のナンバープレートの動きを検知する車両検知部２４と、ナンバープレートに使用している全文字の文字画像を登録した辞書２０と、車両検知部２４で検知したナンバープレート領域の画像からナンバープレートの全文字を辞書の登録文字画像との照合により認識する文字認識部２６とを備えたことを特徴とする。
【００１０】
このため１台のカメラで標準的な乗用車の車幅の約２倍程度の視野で撮影した映像に対しても、高い精度でナンバープレート認識を行うことが可能である。
【００１１】
車両検知部２４は、現フレーム画像および前フレーム画像の各々を所定画素サイズのブロックに分割するブロック分割部４２と、前フレームのブロック内の各画素に対する現フレームのブロック内の全画素との間の差分の総和が最小値bgとなる画素位置をブロック移動位置として求めることによりブロックの動きベクトルを算出するベクトル算出部４６と、全ブロックを走査してナンバープレート相当の矩形サイズの領域で、動きベクトルの大きさと方向がほぼ同一となるブロック群を探索し、この条件を満たすブロック群の有無により車両を検知すると同時に車両先頭のナンバープレート領域を検知する車頭検知部５０とを設ける。
【００１２】
このように走行する車両の画像の中のナンバープレートの動きにのみ着目した車両検知としているため、ナンバープレート以外の画像に影響されることなく正確に車両を検知できる。
【００１３】
更に車両の検知精度を向上するため、車両検知部２４は、現フレーム画像および前フレーム画像の各々を所定画素サイズのブロックに分割するブロック分割部４２と、フレーム画像における道路上の一定領域の輝度を常時計測し、一定時間の平均値を求めることにより統計的な外部の照度状態を判定し、この照度状態により単調に増大する輝度レベル閾値bg thを予め定めた単純増加曲線により求めて設定する輝度レベル閾値設定部４４と、前フレームのブロック内の各画素に対する現フレームのブロック内の全画素との間の差分の総和が最小値bgとなる画素位置をブロック移動位置として求めることによりブロックの動きベクトルを算出するベクトル算出部４６と、ベクトル算出部４６で算出された最小差分値bgから現フレームのブロック内の各画素に対する前フレームのブロック内の全画素との間の差分の総和bg0 を差し引いて動きベクトル信頼量bgm を算出する信頼量算出部４８と、全ブロックを走査してナンバープレート相当の矩形サイズの領域で、動きベクトルの大きさと方向がほぼ同一で、且つ信頼量bgm が輝度レベル閾値bg th以上となるブロック群を探索し、この条件を満たすブロック群の有無により車両を検知すると同時に車両先頭のナンバープレート領域を検知する車頭検知部５０とを設けるようにしてもよい。
【００１４】
このように画像の一部を輝度レベルを常時計測して動きがゼロの位置との相関結果の差をベクトルの信頼量として動きを車両の影やノイズから判別することで、画像から正確に車両とそのナンバープレート領域を検知できる。
【００１５】
文字認識部５２は、原画像を間引きした解像度の低いフレーム画像を対象にナンバープレート上の最もサイズが大きい文字位置と文字を認識する低解像度認識部５２と、フレーム画像を元の解像度に戻し、低解像度認識部で認識された文字位置の文字を認識し、文字認識結果に基づき予め相対位置が判明しているナンバープレート上の他の小さな文字位置の文字を認識する高解像度認識部５４とを備えたことを特徴とする。
【００１６】
このように車頭が検知された画像から画素を間引した低解像度の画像を対象にナンバープレートの文字認識を行ない、この結果得られる候補位置に対して解像度を元に戻して文字認識を行うという２段階認識を行うことで、高速でかつ高精度の読取りを実現する。
【００２０】
高解像度認識部５４は、ナンバープレートの背景部分の輝度の平均値を計算し一定時間の累積平均値を算出して外部の照度を予測し、累積平均値が所定の閾値以下になった場合は、文字画像の輝度の一定レベルに向上させるコントラスト補正を行ってからナンバープレートの文字認識を行う。このため周囲明るさが低下してもナンバープレート画像のコントラストが自動に向上され、夜間などの文字認識精度を向上する。
【００２３】
本発明は、ナンバープレート読取方法を提供するもので、次の過程を備える。ナンバープレートに使用している全文字の文字画像を登録した辞書を作成する辞書作成過程と；
道路の上方に設置されて走行車両を所定のフレーム周期で撮像する撮像過程と；
撮像過程で撮像された現フレーム画像と前フレーム画像の２つを逐次記憶する画像記憶過程と；
画像記憶過程に記憶している現フレーム画像と前フレーム画像の差分に基づいて走行車両前部のナンバープレートの動きを検知する車両検知過程と；
車両検知過程で検知したナンバープレート領域の画像からナンバープレートの全文字を辞書の登録文字画像との照合により認識する文字認識過程と；
このナンバープレート読取方法の詳細は、装置構成の場合と同じになる。
【００２４】
【発明の実施の形態】
図２は、本発明のナンバープレート読取装置の実施形態を示したブロック図である。図２において、本発明のナンバープレート読取装置１０は、ＴＶカメラ１２によって、道路を走行する車両を動画画像として撮像して取り込んでいる。ＴＶカメラ１２としては、１フレーム画像の解像度が例えば縦２４０ドット×横６４０ドットといった比較的低解像度の画像を撮像するカメラでよい。
【００２５】
ナンバープレート読取装置１０にはＡ／Ｄ変換部１４、画像メモリ１６、画像処理部１８、辞書画像メモリ２０、辞書管理部２２、車両検知部２４及び文字認識部２６が設けられる。Ａ／Ｄ変換部１４は道路を撮影しているＴＶカメラ１２からの画像信号をデジタルデータに変換し、画像メモリ１６に入力する。
【００２６】
画像メモリ１６には、ＴＶカメラ１２のフレーム周期ごとにフレーム画像が記憶される。具体的には、現在入力中のフレーム画像信号を格納している入力フレーム画像２８、既に入力が済んだ最も新しい現フレーム画像３０、１つ前のフレームとなる前フレーム画像３２を格納している。
【００２７】
このうち現フレーム画像３０及び前フレーム画像３２については、ＴＶカメラ１２から直接入力したフレーム画像以外に、画像処理部１８でフィルタ処理を施した画像あるいは間引き処理を施した画像も必要に応じて記憶される。
【００２８】
画像処理部１８には、この実施形態にあっては、間引き処理部３４及びラプラシアン変換部３６が設けられている。間引き処理部３４は車両検知部２４の車両検知のために、画像メモリ１６の現フレーム画像３０と前フレーム画像３２のそれぞれを間引きした例えば縦２４０ドット×横６４０ドットの低解像度のフレーム画像を生成する。
【００２９】
ラプラシアン変換部３６は後の説明で明らかにするように、フレーム画像の各画素にラプラシアンフィルタによる変換を施した画像を生成し、文字認識部２６における文字認識に使用する。また辞書画像メモリ２０における辞書登録の際にも、サンプル文字画像についてラプラシアン変換を施して辞書登録する。
【００３０】
辞書画像メモリ２０には、この実施形態にあっては低解像度ラプラシアン文字画像辞書３８と高解像度ラプラシアン文字画像辞書４０が格納されている。低解像度ラプラシアン文字画像辞書３８は、ナンバープレートに表示されているサイズの大きな数字の文字認識の辞書として使用される。高解像度ラプラシアン文字画像辞書４０は、ナンバープレートに記載されているサイズの大きな数字以外のひらがな、漢字、カタカナの文字認識の辞書として使用される。
【００３１】
辞書管理部２２は、ナンバープレート読取装置１０の使用に先立つ準備段階で鮮明なサンプル文字を例えばＴＶカメラ１２で撮影してサンプル文字画像として取り込み、このサンプル文字画像に画像処理部１８のラプラシアン変換部３６によるラプラシアン変換を施し、辞書画像メモリ２０に低解像度ラプラシアン文字画像辞書３８もしくは高解像度ラプラシアン文字画像辞書４０として格納する辞書の管理処理を行う。
【００３２】
車両検知部２４には、ブロック分割部４２、輝度レベル閾値設定部４４、ベクトル算出部４６、信頼量算出部４８及び車頭検知部５０が設けられている。このうち車両検知部２４の車両検知に必要な最小限の機能は、ブロック分割部４２、ベクトル算出部４６及び車頭検知部５０から構成される。
【００３３】
これ以外の輝度レベル閾値設定部４４及び信頼量算出部４８は、車両の画像もしくは車両の影による誤検出を防止するための高精度検知のために設けられている。
【００３４】
車両検知部２４による基本的な車両検知の機能は、ブロック分割部４２で画像メモリ１６に記憶した現フレーム画像３０と前フレーム画像３２について、画像処理部１８の間引き処理部３４で間引きした低解像度のフレーム画像について各フレーム画像を予め定めた小さなブロック例えば８×８ドットサイズのサブブロックに分割し、各ブロックごとに前フレームと現フレームの差分処理を行い、差分量が最小であった位置を求めることによりサブブロックの動きの有無及び動きのベクトルをベクトル算出部４６で算出し、最終的に車頭検知部５０においてベクトル算出部４６の処理が済んだ全ブロックを操作して、ナンバープレート相当の矩形サイズの領域で動きベクトルの大きさと方向がほぼ同一となるブロック群を探索し、この条件を満たすブロック群の存在により車両を検知すると同時に、車両先頭のナンバープレート領域を検知する。
【００３５】
文字認識部２６は低解像度認識部５２と高解像度認識部５４を有する。ここで図２のナンバープレート読取装置１０が対象とする日本国内でのナンバープレートは例えば図３のようになる。ナンバープレート５６はナンバープレート数字５８として、例えば「１１−２４」のように４桁のサイズの大きな数字を表示している。この４桁のナンバープレート数字は、先頭側数字が「０」の場合には「・」が使用される。例えばナンバープレート番号「００−０５」は、「・・−・５」と表示される。
【００３６】
ナンバープレート数字５８の先頭には用途コード６０が例えば「ふ」のようにひらがなで表示される。ナンバープレート数字５８の上部には陸運支局コード６２として例えば「品川」が表示され、続いて車種コード６４として例えば普通乗用車を示す「３３０」が表示される。
【００３７】
このようにナンバープレート５６は、ナンバープレート番号５８はサイズの大きな数字であり、その周囲にサイズの小さな用途コード６０、陸運支局コード６２及び車種コード６４が小さな文字として表示される。
【００３８】
図２の文字認識部２６に設けた低解像度認識部５２にあっては、図３のナンバープレート５６におけるサイズの大きなナンバープレート番号５８の「０〜９」の各数字を間引きした低解像度の画像を対象に行う。即ち車両検知部２４による検知処理で、間引きされた現フレーム画像の中のナンバープレート領域が認識されていることから、このナンバープレート領域にラプラシアン変換を施した画像について、辞書画像メモリ２０の低解像度ラプラシアン文字画像辞書３８を使用した正規化相関演算によりナンバープレート数字の照合処理を行う。
【００３９】
このナンバープレート番号の４桁の番号は、図３に示したように比較的サイズが大きいため、現フレーム画像を一定間隔で間引きした低解像度画像であっても、辞書画像との正規化相関演算により４桁の番号数字のいずれかの候補文字を認識することができる。この場合、候補文字の最大相関値が一定値以下の場合にはナンバープレートを含まない画像と判断し、この画像についての認識処理は打ち切ることになる。
【００４０】
高解像度認識部５４は、低解像度認識部５２で認識されたナンバープレート番号４桁の候補文字の画像について間引き画像を元に戻し、辞書画像メモリ２０の高解像度ラプラシアン文字画像辞書４０との正規化相関演算により高解像度での文字認識処理を行い、ナンバープレート番号の４桁の数字を認識する。
【００４１】
更に高解像度認識部５４は、ナンバープレート番号の４桁の数字の認識結果に基づき、図３のナンバープレート５６に示したようにナンバープレート文字５８に対する用途コード６０、陸運支局コード６２及び車種コード６４の相対的な位置関係が予め決まっているため、この相対的な位置関係を利用して画像からサイズの小さなひらがな、漢字、数字の文字を切り出し、辞書画像メモリ２０の高解像度ラプラシアン文字画像辞書４０との正規化相関演算によりナンバープレート上の用途コード、陸運支局コード及び車種コードの認識を行う。
【００４２】
図４は、図２のナンバープレート読取装置１０の読取処理のフローチャートである。まずステップＳ１で、Ａ／Ｄ変換部１４から入力されるＴＶカメラ１２の撮像画像のデジタルデータについて画像メモリ１６の入力フレーム画像２８の領域にデジタルデータを書き込むフレーム入力処理を行っている。
【００４３】
入力フレーム画像２８の書込中にステップＳ２でフレーム同期信号を判別すると、入力フレーム画像２８の書込完了を判断し、入力フレーム画像２８を現フレーム画像３０に置き換え、前フレーム画像３２を消去し、現フレーム画像３０を前フレーム画像３２に置き換える。
【００４４】
次にステップＳ３で現フレーム画像３０と前フレーム画像３２を画像処理部１８で間引き処理した後に、ラプラシアン変換部３６でラプラシアン変換し、このラプラシアン変換された現フレーム画像３０と前フレーム画像３２を対象に車両検知部２４でサブブロックに分割した後の各ブロックごとの前フレームと現フレームの差分により差分量が最小となる位置を求めることによりサブブロックの動きの有無及び動きベクトルを算出し、動きベクトルから車両検知及びナンバープレート領域の検知を行う。
【００４５】
ステップＳ４でサブブロックのナンバープレート相当領域の動きが検知できれば、ステップＳ５の低解像度でのナンバープレートの文字認識処理に進む。ステップＳ４でナンバープレート相当領域におけるサブブロックの動きが判別されなかった場合には、車両が検知されなかったことから、ステップＳ１０の輝度レベル計測を経て再びステップＳ１のフレーム入力処理に戻る。
【００４６】
ステップＳ１０は輝度計測領域の時間平均での輝度レベル計測を行っており、この輝度レベル計測結果はステップＳ５における低解像度でのナンバープレートの文字認識処理に使用される。
【００４７】
ステップＳ５の低解像度でのナンバープレート文字の認識処理は、文字認識部２６に設けた文字認識部によって、車両検知処理で認識されたナンバープレート領域について辞書画像との間の正規化相関演算によりサイズの大きなナンバープレート番号の４桁の数字の認識を行う。
【００４８】
この低解像度でのナンバープレート文字の認識処理の処理結果につき、ステップＳ６で４つのナンバープレート番号の数字の少なくとも１つの文字認識候補があればナンバープレートありと判断し、ステップＳ７の候補文字領域に対する高解像度での文字認識処理を行う。
【００４９】
即ち低解像度で認識された候補文字画像の解像度を元に戻し、高解像度対応の辞書画像との正規化相関演算によりナンバープレート番号のサイズの大きな数字を認識する。
【００５０】
続いてステップＳ８でナンバープレート数字の認識結果に対する他の小さなナンバープレート文字の相対抽出値を知って文字画像を切り出し、辞書解像度の正規化相関演算によりナンバープレート上の用途コード、陸運支局コード及び車種コードを示すひらがな、漢字、数字の文字認識を行う。最終的にステップＳ９で終了指示があるまで、ステップＳ１〜Ｓ８のナンバープレートの動画入力に対する認識処理をリアルタイムで繰り返す。
【００５１】
続いて図４のフローチャートに示したステップＳ３の車両検知処理、ステップＳ５の低解像度での認識処理、ステップＳ７の高解像度での文字認識処理、更に小さいサイズの文字認識処理のそれぞれを詳細に説明する。
【００５２】
図５は、本発明における車両検知処理についてのフレーム画像の説明図である。図５の現フレーム画像６６にはＴＶカメラ１２の撮影領域を通過しようとしている車両７０の先頭部分が映っている。車両７０は車両の先頭にナンバープレート７２を装着している。
【００５３】
この現フレーム画像６６について、まず予め定めた画面上の一定領域例えば左下隅の矩形領域を輝度計測領域６８に設定し、この輝度計測領域６８内で画像の輝度を毎フレームについて計測し、図４のフローチャートに示したように、車両を検知しない場合にはステップＳ１０で輝度計測領域６８の時間平均を輝度レベルとして計測する。
【００５４】
この輝度レベルは更に所定の線形増加関数により変換されて輝度レベルbg thを算出する。この輝度レベルの変換に使用する線形増加関数としては、例えば実験的に得られた単純増加曲線を使用する。
【００５５】
本発明の現フレーム画像及び差分フレーム画像をサブブロックに分割して行う車両検知処理は次のようになる。図５の現フレーム画像６６は、最初に記憶した縦２４０ドット×横６４０ドットの画像を、例えば縦方向について１つおきに間引きすることで、縦１２０ドット×横６４０ドット低解像度画像としており、このようにして間引きした現フレーム画像３０と前フレーム画像３２の差分の相関演算を行う。図５の現フレーム画像６６について、１つのサブブロックのサイズを８×８ドットとすると、Ｎ×Ｍ＝１５×８０のサブブロックに分割される。
【００５６】
ここで、現フレーム画像Ａのサブブロックの各画素に対する前フレーム画像Ｂのサブブロックの前画素との間の差分の総和の内の最小値bgを次式で算出する。
bg＝MIN （Σ｜Ａ（ｘ＋ａ，ｙ＋ｂ）−Ｂ（ｘ，ｙ）｜）（１）
但し、総和Σはサブブロック内の全画素位置（ｘ，ｙ）を亘る。
【００５７】
MIN は−８≦ａ＜８，−８≦ｂ＜８を亘る。
この（１）式は各サブブロックの動きベクトルを算出する。図６は差分の相関演算による動きベクトルを算出する（１）式の説明図である。
【００５８】
図６において、前フレーム７８の１つのサブブロック８６に注目すると、このサブブロック８６の中には前フレーム物体画像８２がある。前フレーム画像７８の下には１フレーム周期後の現フレーム画像８０を示しており、同じサブブロック８６の中にあった前フレーム物体画像８２は１フレーム周期の時間経過で現フレーム物体画像８４のように位置が移動している。
【００５９】
この図６の前フレーム７８のサブブロック８６と現フレーム８０のサブブロック８６との間で（１）式による差分の最小値bgの算出を行うと、前フレーム画像７８の１つ前のフレーム画像との演算で得られた最小値bgを算出した画素位置Ｐ（ｘ，ｙ）は、現フレーム画像８０との演算にあっては最小値bgが得られた位置Ｑ（ｘ，ｙ）に移動している。
【００６０】
（１）式の演算を具体的に説明すると、右辺第２項のＢ（ｘ，ｙ）は例えば図６の前フレーム画像７８におけるサブブロック８６の中のＰ（ｘ，ｙ）である。また（１）式の右辺第１項のＡ（ｘ＋ａ，ｙ＋ｂ）は、現フレーム８０のサブブロック８６におけるＰ（ｘ，ｙ）を原点として、ａ，ｂをそれぞれ−８から＋８に変化させたサブブロック８６に含まれる全画素に当たる値である。
【００６１】
その結果、（１）式は前フレーム物体画像８２を現フレーム８０のサブブロック８６の画素位置ごとに走査しながらその最小値を求めている差分相関演算であり、前フレーム物体画像８２が現フレーム物体画像８４と一致する位置に走査したとき即ちＱ（ｘ，ｙ）で最小値bgが得られる。
【００６２】
したがってサブブロック８６の動きベクトルは、前フレーム７８のＰ（ｘ，ｙ）から現フレーム８０のＱ（ｘ，ｙ）への移動を表わすベクトルＶとして算出できる。この動きベクトルＶは、水平方向のベクトル成分Ｈｖと垂直方向のベクトル成分Ｖｖによって、その大きさと方向を表わすことができる。
【００６３】
図５のフレーム画像については、全ブロックについて（１）式、即ち図６に示したような動きベクトルの算出が行われ、各動きベクトルの水平ベクトル成分Ｈｖ及び垂直ベクトル成分Ｖｖが各サブブロックごとに算出される。具体的には、動きベクトルの水平ベクトル成分Ｈｖと垂直ベクトル成分Ｖｖは図６のように、（１）式において差分最小値bgを与えたａ，ｂの値であることから、次式で求められる。
Ｈｖ＝差分最小値bgを与えたａ（２）
Ｖｖ＝差分最小値bgを与えたｂ
この（１）（２）式によってサブブロックの動きベクトルを検出できるが、更に本発明にあっては、画像の雑音や車両の影、更にはヘッドライト等による誤検出を防ぐために動きベクトルの信頼量bgm を算出する。まず現フレームと前フレームの同じサブブロックについて、サブブロックの差分の総和bg0 を次式で算出する。
bg0 ＝Σ｜ｆ（ｘ，ｙ）−ｇ（ｘ，ｙ）｜（３）
但し、総和Σはサブブロック内の全画素位置（ｘ，ｙ）を亘る。
この同じサブブロックの差分総和bg0 が算出できたならば、これを（１）式で算出した最小差分値bgから差し引いて動きベクトルの信頼量bgm とする。即ち、次式により動きベクトルの信頼量bgm を算出する。
bgm ＝bg−bg0 （４）
このようにして動きベクトル及び動きベクトルの信頼量bgm が算出できたならば、全サブブロックを走査して、次の条件を満たすブロック群の有無により車両を検知すると同時に車両先頭のナンバープレート領域を検知する。
（１）ナンバープレートの大きさ程度のサブブロックの集合である。
（２）動きベクトルのベクトル成分Ｈｖ，Ｖｖの方向と大きさが、ほぼ同じサブブロックの集合である。
（３）動きベクトルの信頼量bgm が、図５の輝度計測領域６８の画像に基づいて車両検知を行わない際に求めている輝度レベルbg th以上のサブブロックの集合である。
【００６４】
この探索条件をまとめると、全ブロックを走査してナンバープレート相当の矩形サイズの領域で動きベクトルの大きさと方向がほぼ同じとなるブロック群で且つ各ブロック分のベクトル信頼量bgm が輝度レベルbg th以上である場合に車両を検知し、同時にそのサブブロック群を車両先頭のナンバープレート領域として検知する。
【００６５】
図５の現フレーム画像６６にあっては、前記（１）〜（４）式とその判定条件を満足する動き検出されたサブブロックをサブブロック７４として示している。このサブブロック７４はナンバープレート７２の中に、この例では１０サブブロック得られており、これによってナンバープレート７２の１０個のサブブロックによる動き検出ができ、加えて破線のナンバープレート領域７６を認識することができる。
【００６６】
またナンバープレート７０以外の例えばヘッドライトやフロント、更には車輪の部分についても、動きの判定条件を満たすサブブロック７４が存在するが、ナンバープレート７２に相当する矩形領域の中に予め定めた数例えば５つ以上の判定条件を満たすサブブロックがないことから、車両先頭のナンバープレート領域７６の動きと判定されることはない。
【００６７】
図７は図４のステップＳ３に示した車両検知処理のフローチャートである。車両検知処理にあっては、ステップＳ１で現フレームと前フレームの間引き画像を生成し、続いてステップＳ２で現フレーム及び前フレームの各画像を例えば８×８画素のサブブロックに分割する。続いてステップＳ３で前記（１）〜（４）式に従ったサブブロックごとの差分相関演算による動きベクトルの水平，垂直成分、更にはベクトル信頼量bgm の有無を算出する。
【００６８】
次にステップＳ４でナンバープレートの動き条件として全サブブロックを走査して、ナンバープレートサイズのサブブロックの集合、ベクトル水平及び垂直成分の方向及び大きさが一定、ベクトル信頼量bgm が輝度レベルとして求められている閾値bg th以上であることを条件に探索し、探索したサブブロックについてステップＳ５で３条件が成立すれば、ナンバープレートの動きありとして車両の検知及び車両先頭のナンバープレート領域の検知を判定する。
【００６９】
次に本発明におけるナンバープレートの文字認識処理を説明する。文字認識処理にあっては、まず図２の辞書画像メモリ２０に辞書画像として低解像度ラプラシアン文字画像辞書３８及び高解像度ラプラシアン文字画像辞書４０のそれぞれを準備する必要がある。
【００７０】
図８は図２の辞書管理部２２による辞書作成処理のフローチャートである。辞書作成処理にあっては、ステップＳ１でナンバープレートに使用する全ての数字及び文字の鮮明な画像ファイルを作成する。この画像ファイルの作成は、サンプルとしてのナンバープレートもしくはナンバープレートに使用する数字を準備し、ＴＶカメラ１２で撮影した鮮明な画像ファイルを作成する。
【００７１】
画像ファイルとして作成する文字画像は、図３のナンバープレート番号５８に使用するサイズの大きな大文字数字０〜９、ナンバープレート番号５８以外のコードに使用する小文字数字やひらがな５１文字等である。
【００７２】
次にステップＳ２で、辞書登録する入力文字画像の領域を特定する切出しを行い、且つ実際のＴＶカメラ１２でナンバープレートを撮影した際に画面上に現れる画素サイズに縮小する。次にステップＳ３で、切出し及び縮小の済んだ入力文字画像（サンプル文字画像）に対し、ラプラシアンフィルタを適用して変換した辞書文字画像を作成する。
【００７３】
このステップＳ３におけるラプラシアンフィルタの適用による辞書文字画像の作成は、図３におけるサイズの大きなナンバープレート文字５８については図９（Ａ）の構造のラプラシアンフィルタ９０を使用する。このラプラシアンフィルタ９０は、中心の核９２に対し±３画素の領域を持つ縦７画素×横７画素のフィルタ構造を持つ。
【００７４】
図９（Ｂ）はラプラシアンフィルタ９０を文字画像９４に適用した変換処理の説明図である。例えば文字画像９４の左上隅の画素からラプラシアン変換を開始しようとすると、この先頭画素にラプラシアンフィルタ９０の核９２を位置合せし、ラプラシアンフィルタ９０に対応する位置の画素との間で次式に従ってラプラシアン適応画像の算出を行う。即ち現画像をＣ、ラプラシアン適応画像をＤとすると、ラプラシアン適応画像Ｄは次式で算出される。
Ｄ（ｘ，ｙ）＝Ｃ（ｘ，ｙ）−１／４８×ΣＣ（ｘ＋ａ，ｙ＋ｂ）（５）
但し、−３≦ａ≦３、−３≦ｂ≦３、（ａ，ｂ）≠（０，０）
このようなラプラシアン画像の演算を、文字画像９４について左上隅の先頭画素から水平及び垂直方向にラプラシアンフィルタ９０の核９２の位置を走査しながら、全画素についてラプラシアン適応画像の演算処理を行う。
【００７５】
図１０は、図３のサイズの小さな各コードの文字の辞書作成に使用するラプラシアンフィルタとその変換処理の説明図である。図１０（Ａ）はサイズの小さなナンバープレート上のコード文字に使用するラプラシアンフィルタ９６であり、図９（Ａ）のナンバープレート番号の辞書登録に使用するラプラシアンフィルタ９０に対し、核が２つの核９８−１，９８−２となっており、またフィルタサイズが縦３画素及び横７画素と縦方向に半分に縮小されている。
【００７６】
即ち図９（Ａ）に示したサイズの大きなナンバープレート番号のラプラシアンフィルタ９０をサイズの小さなコード文字のラプラシアン変換に使用すると、高周波成分が残らないため、図１０（Ａ）のように縦のサイズを縮小し、且つ縮小した分の雑音の影響を抑止するために、核の大きさを２倍とした２つの核９８−１，９８−２としたラプラシアンフィルタ９６を使用し、これによってサイズの小さなコード文字の認識における低解像度での高精度な認識を可能とするラプラシアン変換が実現できる。
【００７７】
図１０（Ｂ）は、ラプラシアンフィルタ９６を使用したサイズの小さな小文字画像１００に対するラプラシアン変換の様子である。もちろん、ラプラシアンフィルタの構造は図９（Ａ）及び図１０（Ａ）の構造に限定されず、低解像度での高精度な認識を可能とする認識対象とする文字サイズに適合した最適フィルタ構造を必要に応じてとることができる。
【００７８】
再び図８を参照するに、ステップＳ３でナンバープレートのサイズの大きな数字及びサイズの小さなコード用の文字について、ラプラシアンフィルタを適用して辞書文字画像を作成したならば、次のステップＳ４でナンバープレートに使用するサイズの小さな文字について、入力してサイズを縮小したサンプル文字を縦，横にシフトしてシフト入力文字画像を作成する。
【００７９】
図１１はサンプル文字画像に対するシフト文字画像の具体例であり、ひらがな「ぬ」を例にとっている。まず中央に位置するサンプル文字画像１０２にあっては、「ぬ」が文字領域の中央に配置されている。このサンプル文字画像１０２について、文字領域の中で文字画像の部分を上、左上、左、左下、下、右下、右、右上の８方向に所定ドットシフトし、シフト入力文字画像１０２−１〜１０２−８を生成する。
【００８０】
そして図８のステップＳ５で、このようにしたシフト入力文字画像１０２−１〜１０２−８についても、例えば図１０に示した構造のラプラシアンフィルタ９６を適用してラプラシアン文字画像に変換し、辞書に登録する。尚、ナンバープレートに使用するコード文字については、図２の高解像度認識部５４による処理になることから、その辞書登録する文字画像については間引きを行っていない高解像度の文字画像を対象に行っている。
【００８１】
続いて図８の辞書作成処理にあっては、ステップＳ６でラプラシアン変換の済んだ辞書文字画像を辞書に登録し、このような処理をステップＳ７で全文字が終了するまで繰り返す。
【００８２】
次に本発明における辞書作成後の文字認識処理を、低解像度認識処理と高解像度認識処理に分けて説明する。
【００８３】
図１２は、図２の文字認識部２６に設けた低解像度認識部５２による図３のナンバープレート５６におけるサイズの大きなナンバープレート文字５８を対象とした低解像度文字認識処理のフローチャートである。
【００８４】
この低解像度文字認識処理は、図７に示した車両検知処理におけるナンバープレート領域が認識された後に行われることになる。まずステップＳ１で車両検知処理で認識された例えば図５のナンバープレート領域７６の画像を対象に、フレーム画像上でのナンバープレート番号の文字サイズを持つブロックをナンバープレート番号の文字間隔より狭いピッチで配置する。
【００８５】
即ち図１１のように、ナンバープレート領域７６に対し画像上でのナンバープレート文字のサイズを持つブロック１０４−１〜１０４−ｎを、同じくフレーム画像上でのナンバープレート番号の文字間隔より狭いピッチｐで例えば左上隅から縦及び横方向に配置する。
【００８６】
続いてステップＳ２で、図１１のように配置したブロック１０４−１から最後の１０４−ｎの順番でブロック画像を切り出して、図９の構造のラプラシアンフィルタ９０の適用即ち（５）式の演算を行った入力文字画像を作成する。
【００８７】
続いてステップＳ３で図２の辞書画像メモリ２０に登録している低解像度ラプラシアン文字画像辞書３８の辞書文字画像とラプラシアン変換の済んだ入力文字画像との間で正規化相関演算を行い、認識文字との相関値総和の最大相関値の検出位置を記憶する。この正規化相関演算は、辞書画像をｆ、入力した画像をｇとすると、次式で算出される。
【００８８】
【数１】

【００８９】
ここで（６）式における総和は、図１に示したブロック１０４−１〜１０４−ｎのそれぞれにおける文字サイズのドット数に亘るものである。これをステップＳ２，Ｓ３をステップＳ４で図１の全ブロックについて処理し、処理が済むとステップＳ５に進み、図１１の全ブロックを走査し、（６）式で算出されたそのブロックの相関値総和distが所定の閾値以上のブロックを抽出する。
【００９０】
次にステップＳ６で閾値以上のブロックがあれば、ステップＳ７で最大相関値の検出位置がナンバープレートの数字配列とほぼ一致している候補ブロックを認識候補文字として抽出する。ステップＳ６で閾値以上のブロックが抽出されなかった場合には、ステップＳ８でナンバープレートはなしと判定する。
【００９１】
次に図１４のフローチャートを参照して高解像度文字認識処理を説明する。まずステップＳ１で図１０の低解像度文字認識処理の処理結果として得られた候補ブロックの画像を元の解像度に戻す。続いてステップＳ２でコントラスト調整処理を行う。このコントラスト調整処理は図１５のフローチャートに示すようになる。
【００９２】
まずステップＳ１で背景色が白のナンバープレートの読取りの場合にのみナンバープレートの背景の輝度の平均を求め、一定時間内の累積平均をホワイトレベルＷに設定する。続いてステップＳ２に進み、高解像度文字認識を行おうとしているナンバープレート領域のホワイトレベルＷが閾値Ｗｔｈ以下か否か判定する。閾値Ｗｔｈ以下であれば、ステップＳ３で候補ブロックの画素輝度を（Ｗｔｈ／Ｗ）倍してコントラストを増加する。
【００９３】
このコントラストの増加の演算は、変換前の画像をＨ、変換後の画像をＩとすると、次式で算出される。
Ｉ（ｘ，ｙ）＝Ｈ（ｘ，ｙ）×Ｗｔｈ／Ｗ（７）
図１４のステップＳ２のコントラスト調整処理が済むと、ステップＳ３に進み、図２の辞書画像メモリ２０に格納している高解像度ラプラシアン文字画像辞書４０の中の０〜９の辞書文字画像と候補ブロック画像との正規化相関演算を前記（６）式で行って文字を認識する。
【００９４】
この文字認識結果について、ステップＳ４で低解像度の認識文字と不一致か否か判定し、もし不一致であればステップＳ５で高解像度の認識文字を選択する。これによって、もし低解像度の文字認識で誤検出が行われていても、高解像度の文字検出で正しい文字認識ができる。
【００９５】
次にステップＳ６で、確定したナンバープレート番号の位置に対し図３のナンバープレート５６に示したように他のコード文字の相対位置が予め定まっていることから、その相対位置情報を元に用途コード、陸運支局コード、車種コードの候補文字を切り出し、辞書画像との（６）式による正規化相関演算を行って文字を認識する。
【００９６】
この場合の辞書文字としては、図１９に示した構造のラプラシアンフィルタ９６を使用している。即ち、相対位置情報から切り出した用途コード、陸運支局コード及び車種コードの文字画像について、図１９（Ａ）のラプラシアンフィルタ９６を適用してラプラシアン文字画像に変換し、このラプラシアン文字画像と辞書に登録しているラプラシアン文字画像とを用いた（６）式の正規化相関演算により、サイズの小さなナンバープレートの文字を認識する。
【００９７】
図１６は本発明のナンバープレート読取装置で読取対象となるナンバープレートの他の例を示している。即ち図３は日本で使用されるナンバープレートを例にとるものであったが、図１６（Ａ）はドイツのナンバープレートであり、また図１６（Ｂ）はスウェーデンのナンバープレートであり、図１６（Ｃ）は韓国のナンバープレートである。
【００９８】
これらのナンバープレートにあっても、ナンバープレート文字としてアルファベット及び数字がサイズの大きな文字として使用されており、このようなナンバープレートについても本発明のナンバープレート読取装置１０による比較的低解像度のＴＶカメラ１２により撮影した動画から高精度にナンバープレートの文字番号を認識することができる。
【００９９】
尚、本発明は上記の実施形態に限定されず、その目的と利点を損なわない適宜の変形を含む。また本発明は上記の実施形態に示した数値による限定は受けない。
【０１００】
【発明の効果】
以上説明してきたように本発明によれば、１台のＴＶカメラによって標準的な乗用車の車幅の約２倍程度の視野で撮像した比較的低解像度の画像に対しても高精度でナンバープレートの認識を行うことができる。
【０１０１】
また時間帯や気象の変化により外部の照度が低下し、ナンバープレート部分のコントラストが低下してきた場合でも、自動的なコントラスト補正を行い、更に輝度の変動に対し正規化相関演算を用いることによって、安定したナンバープレートの認識ができる。
【図面の簡単な説明】
【図１】本発明の原理説明図
【図２】本発明の装置構成のブロック図
【図３】本発明で読取る日本のナンバープレートの説明図
【図４】図２によるナンバープレート読取処理のフローチャート
【図５】本発明による車両検知の画像処理の説明図
【図６】本発明による動きベクトルの説明図
【図７】本発明の車両検知処理のフローチャート
【図８】本発明による辞書作成処理のフローチャート
【図９】サイズの大きなナンバープレートの数字の辞書作成に使用するラプラシアンフィルタの説明図
【図１０】サイズの小さなナンバープレートのひらがなの辞書作成に使用するラプラシアンフィルタの説明図
【図１１】サイズの小さなナンバープレートのひらがなの辞書作成に使用するシフト文字の説明図
【図１２】本発明による低解像度文字認識処理のフローチャート
【図１３】対象画像のナンバープレート領域で正規化相関演算を行なう文字サイズブロックの配置説明図
【図１４】本発明による高解像度文字認識処理のフローチャート
【図１５】図１４におけるコントラスト調整処理のフローチャート
【図１６】ドイツ、スウェーデン及び韓国のナンバープレートの説明図
【符号の説明】
１０：ナンバープレート読取装置
１２：ＴＶカメラ
１４：Ａ／Ｄ変換部
１６：入力画像メモリ
１８：画像処理部
２０：辞書画像メモリ
２２：辞書管理部
２４：車両検知部
２６：文字認識部
２８：入力フレーム画像
３０：現フレーム画像
３２：前フレーム画像
３４：間引き処理部
３６：ラプラシアン変換部
３８：低解像度ラプラシアン文字画像辞書
４０：高解像度ラプラシアン文字画像辞書
４２：ブロック分割部
４４：輝度レベル閾値設定部
４６：ベクトル算出部
４８：信頼量算出部
５０：車頭検知部
５２：低解像度認識部
５４：高解像度認識部
５６：ナンバープレート
５８：ナンバープレート数字
６０：用途コード
６２：陸運支局コード
６４：車種コード
６６：現フレーム画像
６８：輝度計測領域
７０：車両
７２：ナンバープレート
７４：動き検知ブロック
７６：ナンバープレート領域
８２：前フレーム物体画像
８４：現フレーム物体画像
８４：相関演算領域
９０，９６：ラプラシアンフィルタ
９２，９８−１，９８−２：核
１０２：サンプル文字画像
１０２−１〜１０２−８：シフト文字画像
１０４〜１０４−ｎ：文字サイズブロック

Claims

道路の上方に設置されて走行車両を所定のフレーム周期で撮像する撮像部と、
前記撮像部で撮像された現フレーム画像と前フレーム画像の２つを逐次記憶する画像記憶部と、
前記画像記憶部に記憶している現フレーム画像と前フレーム画像の差分に基づいて走行車両前部のナンバープレートの動きを検知する車両検知部と、
ナンバープレートに使用している全文字の文字画像を登録した辞書と、
前記車両検知部で検知したナンバープレート領域の画像を低解像度で読み出してナンバープレート番号の少なくとも一つが検出されると前記ナンバープレート領域の画像を高解像度で読み出して該高解像度で読み出された画像からナンバープレートの全文字を前記文字画像辞書の登録文字画像との照合により認識する文字認識部とを備え、
前記車両検知部はさらに、
前記現フレーム画像および前フレーム画像の各々を所定画素サイズのブロックに分割するブロック分割部と、
前記フレーム画像における道路上の一定領域の輝度を常時計測し、一定時間の平均値を求めることにより統計的な外部の照度状態を判定し、該照度状態により単調に増大する輝度レベル閾値を予め定めた単純増加曲線により求めて設定する輝度レベル閾値設定部と、
前フレームのブロック内の各画素に対する現フレームのブロック内の全画素との間の差分の総和が最小となる画素位置をブロック移動位置として求めることによりブロックの動きベクトルを算出するベクトル算出部と、
前記ベクトル算出部で算出された最小差分値から現フレームのブロック内の各画素に対する同じブロックの前フレームのブロック内の同じ画素との間の差分の総和を差し引いて絶対値を求めて動きベクトル信頼量を算出する信頼量算出部と、
全ブロック走査してナンバープレート相当の矩形サイズの領域で、動きべクトルの大きさと方向がほぼ同一で、且つ前記信頼量が前記輝度レベル閾値以上となるブロック群を探索し、該条件を満たすブロック群の有無により車両を検知すると同時に車両先頭のナンバープレート領域を検知する車頭検知部と、
を備えたことを特徴とするナンバープレート読取装置。
ナンバープレートに使用している全文字の文字画像を登録した辞書を作成する辞書作成過程と、
道路の上方に設置されて走行車両を所定のフレーム周期で撮像する撮像過程と、
前記撮像過程で撮像された現フレーム画像と前フレーム画像の２つを逐次記憶する画像記憶過程と、
前記画像記憶過程に記憶している現フレーム画像と前フレーム画像の差分に基づいて走行車両前部のナンバープレートの動きを検知する車両検知過程と、
前記車両検知過程で検知したナンバープレート領域の画像からナンバープレ一トの全文字を辞書の登録文字画像との照合により認識する文字認識過程とを備え、
前記車両検知過程はさらに、
前記現フレーム画像および前フレーム画像の各々を所定画素サイズのブロックに分割するブロック分割過程と、
前記フレーム画像における道路上の一定領域の輝度を常時計測し、一定時間の平均値を求めることにより統計的な外部の照度状態を判定し、該照度状態により単調に増大する輝度レベル閾値を予め定めた単純増加曲線により求めて設定する輝度レベル閾値設定過程と、
前フレームのブロック内の各画素に対する現フレームのブロック内の全画素との間の差分の総和が最小となる画素位置をブロック移動位置として求めることによりブロックの動きベクトルを算出するベクトル算出過程と、
前記ベクトル算出部で算出された最小差分値から現フレームのブロック内の各画素に対する同じブロックの前フレームのブロック内の同じ画素との間の差分の総和を差し引いて絶対値を求め動きベクトル信頼量を算出する同じブロックの信頼量算出過程と、
全ブロックを走査してナンバープレート相当の矩形サイズの領域で、動きべクトルの大きさと方向がほぼ同一で、且つ前記信頼量が前記輝度レベル閾値以上となるブロック群を探索し、該条件を満たすブロック群の有無により車両を検知すると同時に車両先頭のナンバープレート領域を検知する車頭検知過程と
を備えたことを特徴とするナンバープレート読取方法。