JP3917252B2

JP3917252B2 - Number plate recognition device for vehicle and number plate recognition method for vehicle

Info

Publication number: JP3917252B2
Application number: JP22824197A
Authority: JP
Inventors: 和宏森
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1997-08-25
Filing date: 1997-08-25
Publication date: 2007-05-23
Anticipated expiration: 2017-08-25
Also published as: JPH1166226A

Description

【０００１】
【発明の属する技術分野】
本発明は、たとえば、自動車などの車両のナンバプレート上に表示された車両番号、分類番号、陸運支局コード、仮名文字などのナンバプレート情報を認識する車両のナンバプレート認識装置および車両のナンバプレート認識方法に関する。
【０００２】
【従来の技術】
一般に、この種のナンバプレート認識装置にあっては、走行中の車両（自動車）を、赤外線あるいは超音波などを用いた車両検知センサによって検知し、その検知タイミングにおいて、撮像カメラを動作させることにより、車両のナンバプレートを含む画像を撮像する。撮像された画像は、ナンバプレート認識部において処理されることにより、ナンバプレート上に表示された複数の項目からなるナンバプレート情報を複数の項目ごとに独立して認識するようになっている。
【０００３】
一般に、ナンバプレート情報には、たとえば、図１６に示すような複数の項目（車両番号、分類番号、陸運支局コード、仮名文字、プレートサイズ、事業用／自家用の種別）がある。これらの情報を上記したように認識することにより、たとえば、駐車場の無人管理や旅行時間の計測、手配車両などの特定車両の自動発見などが行なわれる。この場合、全ての項目を認識する必要があるか否かは、これらの応用（用途）によって異なり、必要に応じて選択される。
【０００４】
また、ナンバプレート情報を自動認識する際には、上述したように、走行中の車両を検知し、画像を撮像カメラから取込まなければならない。このような車両検知の手段としては、前述したような赤外線フォトセンサや超音波センサなどの車両検知センサが主に用いられるが、最近では、車両検知センサを用いず、動画像解析により、直接、入力画像から走行車両を検知することもある。これは、連続するフレーム間の画像の差分をとることにより画像の変化検出を行ない、変化領域の面積や形状を評価することにより、画像内に車両が進入したことを検知するものである。
【０００５】
【発明が解決しようとする課題】
ところが、従来技術においては、ナンバプレート情報を自動認識する際に、走行中の車両を検知する手段として、前述したような赤外線フオトセンサや超音波センサなどの外付け車両検知センサを設置しなければならない。
【０００６】
また、最近では、外付けの車両検知センサを用いず、動画像解析により、直接、入力画像から走行車両を検知する手段もあるが、このような動画像の解析による車両検知は、連続するフレーム画像間の差分による変化検出で行なっているため、撮像カメラの設置位置によっては、隣の車線を走行する車両やその影が撮像視野内に入り込み、誤検知を生じるという問題がある。
【０００７】
そこで、本発明は、走行中の車両を検知するために赤外線フォトセンサや超音波センサなどの外付けの車両検知センサを設置する必要がなく、また、隣の車線を走行する車両やその影が撮像視野内に入り込んだ場合も誤検知を生じることなく、常に正しいナンバプレート情報の認識結果を出力し得る車両のナンバプレート認識装置および車両のナンバプレート認識方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の車両のナンバプレート認識装置は、走行中の車両のナンバプレートを含む画像を連続するフレーム画像として撮像する１つの撮像手段と、複数の認識手段からなり、これら複数の認識手段を一定時間ごとに順次起動して、前記撮像手段から得られる連続画像を各フレームごとに処理することにより、各フレームごとにナンバプレート情報を認識し、ナンバプレート情報を構成する個々の文字に対する文字コードとその確からしさを表わす類似度からなる認識結果を出力する認識手段と、この認識手段から連続する一定時間内に得られる複数の認識結果から、ナンバプレート情報を構成する個々の文字ごとに文字サイズを検出し、この検出した文字サイズに応じた重み値を対応する類似度に加えた後、最大類似度を有する文字コードを選択し、それを最終的な答として出力する認識結果総合判定手段とを具備している。
【０００９】
また、本発明の車両のナンバプレート認識装置は、走行中の車両のナンバプレートを含む画像を連続するフレーム画像として撮像する１つの撮像手段と、複数の認識手段からなり、これら複数の認識手段を一定時間ごとに順次起動して、前記撮像手段から得られる連続画像を各フレームごとに処理することにより、各フレームごとにナンバプレート情報を認識し、ナンバプレート情報を構成する個々の文字に対する文字コードとその確からしさを表わす類似度からなる認識結果を出力する認識手段と、この認識手段から連続する一定時間内に得られる複数の認識結果から、各フレームごとに文字の位置を検出し、この検出した文字の位置が一定の軌道上に存在するとき、その文字コードに対応する類似度に対して所定の重み値を加えた後、最大類似度を有する文字コードを選択し、それを最終的な答として出力する認識結果総合判定手段とを具備している。
【００１０】
また、本発明の車両のナンバプレート認識方法は、１つの撮像手段を用いて走行中の車両のナンバプレートを含む画像を連続するフレーム画像として撮像する撮像工程と、複数の認識手段を一定時間ごとに順次起動して、前記撮像手段から得られる連続画像を各フレームごとに処理することにより、各フレームごとにナンバプレート情報を認識し、ナンバプレート情報を構成する個々の文字に対する文字コードとその確からしさを表わす類似度からなる認識結果を出力する認識工程と、この認識工程から連続する一定時間内に得られる複数の認識結果から、ナンバプレート情報を構成する個々の文字ごとに文字サイズを検出し、この検出した文字サイズに応じた重み値を対応する類似度に加えた後、最大類似度を有する文字コードを選択し、それを最終的な答として出力する認識結果総合判定工程とを具備している。
【００１１】
さらに、本発明の車両のナンバプレート認識方法は、１つの撮像手段を用いて走行中の車両のナンバプレートを含む画像を連続するフレーム画像として撮像する撮像工程と、複数の認識手段を一定時間ごとに順次起動して、前記撮像手段から得られる連続画像を各フレームごとに処理することにより、各フレームごとにナンバプレート情報を認識し、ナンバプレート情報を構成する個々の文字に対する文字コードとその確からしさを表わす類似度からなる認識結果を出力する認識工程と、この認識工程から連続する一定時間内に得られる複数の認識結果から、各フレームごとに文字の位置を検出し、この検出した文字の位置が一定の軌道上に存在するとき、その文字コードに対応する類似度に対して所定の重み値を加えた後、最大類似度を有する文字コードを選択し、それを最終的な答として出力する認識結果総合判定工程とを具備している。
【００１６】
本発明によれば、走行中の車両のナンバプレートを含む画像を連続するフレーム画像として撮像し、この撮像した連続画像を各フレームごとに処理することにより、各フレームごとにナンバプレート情報を認識し、この認識により、連続する一定時間内に得られる複数の認識結果から、ナンバプレート情報を構成する個々の文字ごとに１つの認識結果を選択し、それを最終的な答として出力することにより、走行中の車両を検知するために赤外線フォトセンサや超音波センサなどの外付けの車両検知センサを設置する必要がなく、また、隣の車線を走行する車両やその影が撮像視野内に入り込んだ場合も誤検知を生じることなく、常に正しいナンバプレート情報の認識結果を出力し得る。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
図１は、本実施の形態に係る車両のナンバプレート認識装置の構成を概略的に示している。図１において、１は車両２の走行路で、車両２は図示矢印方向に走行するものとする。走行路１の側部には、走行中の車両２のナンバプレート３を含む画像を撮像する撮像手段としての撮像カメラ４が設置されている。撮像カメラ４は、たとえば、工業用テレビジョンカメラなどから構成されている。
【００１８】
撮像カメラ４の近傍には、特に夜間、走行中の車両２のナンバプレート３の部分を照明するための照明装置５が設置されている。照明装置５は、一般的に車両２の運転の妨げにならないように、近赤外光を出力する光源が用いられる。撮像カメラ４の出力は、後で詳細を説明するナンバプレート認識部６に送られ、ここでナンバプレート３上に記載されたナンバプレート情報が認識されるようになっている。
【００１９】
図２は、本実施の形態に係る車両のナンバプレート認識装置の構成を概略的に示すブロック図である。図２において、撮像カメラ４は、前述したように、走行中の車両２からナンバプレート３を含む車両画像を撮像するもので、通常、たとえば、１／３０秒ごとに１フレームの画像を転送する。
【００２０】
撮像カメラ４の出力は、ナンバプレート認識部６ａ，６ｂ，６ｃ，６ｄにそれぞれ送られる。ナンバプレート認識部６ａ，６ｂ，６ｃ，６ｄは、認識結果総合判定部７からの起動命令にしたがい、撮像カメラ４からの画像を取込み、後で詳細を説明するような認識処理を行なうことにより、その認識結果を出力する。
【００２１】
認識結果総合判定手段としての認識結果総合判定部７は、ナンバプレート認識部６ａ〜６ｄを１／３０秒ごとに順次起動することにより、ナンバプレート認識部６ａ〜６ｄから出力される各認識結果を受入れ、その各認識結果に基づき、後述するように総合判定し、最終的な認識結果をホストコンピュータなどに出力するようになっている。
【００２２】
認識結果総合判定部７は、図３に示すようなフラグＦａ〜Ｆｄをナンバプレート認識部６ａ〜６ｄにそれぞれ対応させて備えている。フラグＦａ〜Ｆｄは、初期状態が０（ＯＦＦ）の状態で、起動をかけたナンバプレート認識部に対応するフラグを１（ＯＮ）にセットする。そして、起動をかけたナンバプレート認識部から認識結果を受取った時点で、対応するフラグを０（ＯＦＦ）にリセットするようになっている。
【００２３】
認識結果総合判定部７からナンバプレート認識部６ａ〜６ｄに起動をかける場合、フラグが０（ＯＦＦ）であるナンバプレート認識部をサーチして優先的に起動する。
【００２４】
なお、本実施の形態においては、４個のナンバプレート認識部を用いて処理の説明を行なっているが、ナンバプレート認識部個々の処理時間が１／３０秒以内であるならば、ナンバプレート認識部は１つでよいし、１／１５秒内であるならばナンバプレート認識部は２つでよい。
【００２５】
また、認識処理の間隔が１／１５秒ごとであるならば、ナンバプレート認識部の数は１／２でよい。このように、ナンバプレート認識部の数は４つに限らず、認識処理の間隔と処理時間とによって決まることは言うまでもない。
【００２６】
ナンバプレート認識部６ａ〜６ｄは、たとえば、図４に示すように構成されている。すなわち、Ａ／Ｄ変換部１１は、撮像カメラ４の出力（アナログ画像信号）を取込み、取込んだ画像を例えば８ビットの濃淡値を持つデジタル画像データに変換する。画像蓄積部１２は、デジタル画像データを蓄える２次元のメモリであり、入力画像や２値化画像などの処理画像を一時的に蓄える。
【００２７】
画像反転部１３は、画像の濃淡値を反転する処理を行なう。２値化処理部１４は、８ビット濃淡値を持つ画像データを２値化し、”０”，”１”の２値画像に変換する。このような２値化処理は、たとえば、特願昭６３−３００７４４号などに記載されている技術により実現される。
【００２８】
車両番号検出部１５は、画像蓄積部１２に蓄えられた２値画像に例えばラベリング処理を施し、計測された座標情報や面積情報を解析し、車両番号文字列を検出する。
【００２９】
分類番号検出部１６は、画像蓄積部１２に蓄えられた２値画像において、車両番号文字列との相対的な位置関係から限定される領域に対し、たとえば、ラベリング処理を施し、計測された座標情報や面積情報などを解析し、分類番号文字列を検出する。
【００３０】
陸運支局検出部１７は、画像蓄積部１２に蓄えられ２値画像において、車両番号文字列との相対的な位置関係から限定される領域に対し、たとえば、ラベリング処理を施し、計測された座標情報や面積情報などを解析し、陸運支局コード（文字列）を検出する。
【００３１】
仮名文字検出部１８は、画像蓄積部１２に蓄えられた２値画像において、車両番号文字列との相対的な位置関係から限定される領域に対し、たとえば、ラベリング処理を施し、計測された座標情報や面積情報などを解析し、仮名文字を検出する。
【００３２】
サイズ判別部１９は、プレート３のサイズを判別するものであり、たとえば、特開平１−２７６３７４号などに記載されている手法を用いる。認識手段としての文字認識部２０は、検出された個々の文字パターンに対し、たとえば、パターンマッチングなどの手法を施し、文字認識を行なう。その認識結果としては、個々の文字パターンに対する文字コードと認識結果の確からしさを表す類似度が出力される。
【００３３】
パラメータ解析部２１は、車両番号検出部１５で検出された車両番号のサイズや面積、ナンバプレート領域のヒストグラムや検出位置などを解析する。記憶手段としての汎用メモリ２２は、連結領域の解析に用いるパラメータや文字認識の結果などが蓄えられる。
【００３４】
通信部２３は、文字認識結果などの情報を認識結果総合判定部７に送信するものである。制御部２４は、本装置全体の制御を司るものである。
画像バス２５は、画像データの転送専用バスであり、画像蓄積部１２と各処理部との画像のやり取りに用いられる。汎用バス２６は、汎用データの転送バスであり、制御部２４と各処理部との制御データや文字認識結果などのデータのやり取りに用いられる。
【００３５】
次に、上記のように構成されたナンバプレート認識部６ａ〜６ｄにおけるナンバプレート情報の認識処理について説明する。撮像カメラ４により撮像された車両２のナンバプレート３を含む画像は、Ａ／Ｄ変換部１１によって取込まれ、Ａ／Ｄ変換部１１において、たとえば、８ビットの濃淡値を持つデジタル画像データに変換され、一旦、画像蓄積部１２に蓄えられる。ここで、撮像画像の一例を図５に示す。
【００３６】
画像蓄積部１２に蓄えられた画像データは、２値化処理部１４において、たとえば、図６に示すように、文字部分が”１”、背景部分が”０”の値を持つ２値画像に変換される。車両番号のように、文字部分と背景部分とにコントラストが存在する場合、コントラスト検出による２値化が有効である。このようなコントラスト検出による２値化方式として、たとえば、特願昭６３−３００７４４号などに記載されている手法を用いる。
【００３７】
車両番号検出部１５では、２値化処理部１４から得られた２値画像を解析することにより、車両番号文字列を検出する。車両番号文字列の検出は、たとえば、図７に示すフローチャートにしたがって行なわれる。
【００３８】
すなわち、まず、２値画像に例えばラベリング処理を施し、連結領域の座標情報や面積情報を検出する。次に、検出された連結領域の座標情報や面積情報を解析し、車両番号文字らしい領域を選択する。車両番号は、周知のように、寸法規約に即して記載されるので、連結領域のサイズや面積、横方向のピッチ、縦方向の揃い方などを評価することにより、検出することができる。
【００３９】
事業用のナンバプレートは、図８（ｂ）に示すように、自家用のナンバプレート（図８ａ参照）と濃淡値が反転する。これまでの処理において、車両番号文字列が検出されない場合は、画像反転部１３において濃淡値を反転した後、２値化以降の処理を同様に行ない、車両番号文字列の検出を試みる。この時点で、自家用／事業用の判別も自動的にできる。
【００４０】
ナンバプレート３上の文字は、先に述べたように、寸法規約に即して記載される。したがって、分類番号や陸運支局コード、仮名文字などの位置は、車両番号文字列との相対的な位置関係から探索する領域を限定することができる。
【００４１】
分類番号検出部１６では、図９に示すように、車両番号Ｎとの相対的な位置関係から限定される検出領域Ｅ１に対して、車両番号の検出と同様に２値化、連結領域の解析を行なうことにより、分類番号を検出する。
【００４２】
同様に、陸運支局検出部１７では、図１０に示すように、車両番号Ｎとの相対的な位置関係から限定される検出領域Ｅ２に対して、２値化、連結領域の解析を行なうことにより、陸運支局コードを検出する。
【００４３】
同様に、仮名文字検出部１８では、図１１に示すように、車両番号Ｎとの相対的な位置関係から限定される検出領域Ｅ３に対して、２値化、連結領域の解析を行なうことにより、仮名文字を検出する。
【００４４】
こうして検出された車両番号、分類番号、陸運支局コード、仮名文字は、文字認識部２０において、個々の文字パターンに対し、たとえば、周知のパターンマッチングなどの手法を施すことにより、文字認識を行なう。その認識結果としては、個々の文字パターンに対する文字コードと認識結果の確からしさを表す類似度が出力される。
【００４５】
サイズ判別部１９では、たとえば、特開平１−２７６３７４号などに記載されている手法により、ナンバプレート３のサイズを判別する。
これら一連の処理は、制御部２４によって制御される。なお、連結領域の解析に用いるパラメータや文字認識部２０の認識結果は、たとえば、図１２に示すようなフォーマットで汎用メモリ２２に蓄えられる。汎用メモリ２２内の認識結果は、通信部２３により認識結果総合判定部７へ送られる。
【００４６】
次に、認識結果総合判定部７の処理内容を中心に走行中の車両２のナンバプレート３を認識する処理について説明する。
撮像カメラ４は、通常、図１３に示すように、通行車両がない場合は、その設置場所に応じて道路面や路肩などの画像を撮像する。このような場合に、認識結果総合判定部７からナンバプレート認識部６ａ〜６ｄに認識処理の起動がかかった場合、認識結果としては認識不可のコードが出力される。認識結果総合判定部７では、このような認識不可のコードは無視し、出力は行なわない。
【００４７】
図１４に示すように、撮像カメラ４が撮像する視野範囲内に車両２が進入し、ナンバプレート３が画像内にある場合は、そのとき起動されたナンバプレート認識部６ａ〜６ｄのいずれかにより、ナンバプレート３の認識結果が出力される。さらに、図１５に示すように、通常の走行速度では少なくとも連続する数フレーム間は撮像視野内にナンバプレート３が存在する。その間、ナンバプレート認識部６ａ〜６ｄのいずれかから、認識結果総合判定部７に認識結果が出力される。この出力される認識結果は、ナンバプレート３内に記載される文字の文字コードとその確からしさを表わす類似度からなる。
【００４８】
認識結果には、ときによって誤りが生じることがある。そこで、認識結果総合判定部７では、複数フレームから得られる認識結果を総合的に判定して、最終的な答えを決める。以下、車両番号の１桁目を例にとって説明する。
【００４９】
最も単純な第１の方法は、各文字ごとに、各フレームにおける認識結果から最大類似度を有する文字コードを選択することである。たとえば、フレームＮにおける車両番号１桁目の最大類似度が「６４」で、文字コードが「５」であり、フレームＮ＋１における車両番号１桁目の最大類似度が「８７」で、文字コードが「６」であり、フレームＮ＋２における車両番号１桁目の最大類似度が「９１」で、文字コードが「５」であった場合、フレームＮからＮ＋２における車両番号１桁目の最大類似度は「９１」であり、その文字コードは「５」である。したがって、車両番号１桁目の最終答えは文字コード「５」、類似度「９１」が出力される。
【００５０】
次に、第２の方法として、連続する数フレーム間で同じ文字コードが複数回出力された場合は、その文字コードに対する確からしさがより高まったと判断して、該当文字コードの類似度に対して類似度を高めるような重み付けを行なうことも考えられる。たとえば、フレームＮにおける車両番号１桁目の最大類似度が「６４」で、文字コードが「５」であり、フレームＮ＋１における車両番号１桁目の最大類似度が「８７」で、文字コードが「６」であり、フレームＮ＋２における車両番号１桁目の最大類似度が「８５」で、文字コードが「５」であり、同じ文字コードが存在する場合の重み係数を「１．２」とした場合、フレームＮの文字コード「５」に対する類似度は「６４×１．２＝７６．８」、フレームＮ＋１の文字コード「６」に対する類似度は「８７」のまま、フレームＮ＋２の文字コード「５」に対する類似度は「８５×１．２＝１０２」となり、車両番号１桁目の最終答えは文字コード「５」、類似度「１０２」が出力される。
【００５１】
次に、第３の方法として、文字サイズによって類似度に重み付けを行なうことも考えられる。すなわち、一般的に、文字画像の解像度が高ければ認識精度が向上する。そこで、文字の検出サイズが大きいものほど認識結果の確からしさが高いと判断し、文字サイズの大きさによって類似度を高めるような重み付けを行なうものである。
【００５２】
次に、第４の方法として、文字検出領域のフレーム間の軌道により、該当文字コードの類似度に対して類似度を高めるような重み付けを行なうことも考えられる。撮像視野内を通過する車両のナンバプレートは、画像内において、たとえば、画像の右端から現われて左端に消えていくといったような一定の軌道を持つ。多くの場合、撮像カメラの設置位置によって、あらかじめその軌道は予測できる。そこで、各フレームごとに検出される文字領域の連続するフレーム上での軌道を求め、あらかじめ予測された軌道と一致するならば、その軌道上で検出された文字領域における類似度を高める重み付けを行なうものである。
【００５３】
なお、これまでの例では、車両番号の１桁目を例にとって説明を行なってきたが、同様の処理を他桁の車両番号、分類番号、陸運支局、仮名文字全ての項目に対して実施し、最終的なナンバプレート全体の認識結果を決定する。
【００５４】
また、隣の車線を走行する車両が撮像視野内に入り、そのナンバプレートが画像内に存在するような場合においても、文字サイズを調べることにより、それらを無視することができる。すなわち、手前の車線を走行する車両のものであれば、文字サイズは極端に大きく、また、後方の車線を走行する車両のものであれば、文字サイズは極端に小さくなる。したがって、文字サイズを一定範囲の値で閾値処理することにより、着目する車線を走行する車両のみを対象とすることができる。
【００５５】
【発明の効果】
以上詳述したように本発明によれば、走行中の車両を検知するために赤外線フォトセンサや超音波センサなどの外付けの車両検知センサを設置する必要がなく、また、隣の車線を走行する車両やその影が撮像視野内に入り込んだ場合も誤検知を生じることなく、常に正しいナンバプレート情報の認識結果を出力し得る車両のナンバプレート認識装置および車両のナンバプレート認識方法を提供できる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る車両のナンバプレート認識装置の構成を概略的に示す構成図。
【図２】本発明の実施の形態に係る車両のナンバプレート認識装置の構成を概略的に示すブロック図。
【図３】認識結果総合判定部における起動フラグの一例を示す図。
【図４】ナンバプレート認識部の構成を具体的に示すブロック図。
【図５】撮像画像例を示す図。
【図６】２値化画像の一例を示す図。
【図７】車両番号文字列の検出処理を説明するフローチャート。
【図８】自家用／事業用プレートの一例を示す図。
【図９】分類番号の検出処理を説明するための図。
【図１０】陸運支局コードの検出処理を説明するための図。
【図１１】仮名文字の検出処理を説明するための図。
【図１２】汎用メモリのメモリマップを示す図。
【図１３】撮像画像例を示す図。
【図１４】撮像画像例を示す図。
【図１５】撮像画像例を示す図。
【図１６】ナンバプレート上に表示されたナンバプレート情報の一例を示す図。
【符号の説明】
１……走行路、２……車両（自動車）、３……ナンバプレート、４……撮像カメラ（撮像手段）、６，６ａ〜６ｄ……ナンバプレート認識部、７……認識結果総合判定部（認識結果総合判定手段）、１１……Ａ／Ｄ変換部、１２……画像蓄積部（記憶手段）、１５……車両番号検出部、１６……分類番号検出部、１７……陸運支局検出部、１８……仮名文字検出部、１９……サイズ判別部、２０……文字認識部（認識手段）、２１……パラメータ解析部、２２……汎用メモリ（記憶手段）、２３……通信部、２４。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicle number plate recognition device for recognizing number plate information such as a vehicle number, a classification number, a land transportation branch code, and a kana character displayed on a number plate of a vehicle such as an automobile, and a vehicle number plate recognition. Regarding the method .
[0002]
[Prior art]
In general, in this type of number plate recognition device, a vehicle (automobile) that is running is detected by a vehicle detection sensor using infrared rays or ultrasonic waves, and an imaging camera is operated at the detection timing. An image including the vehicle number plate is taken. The picked-up image is processed by a number plate recognition unit, whereby number plate information including a plurality of items displayed on the number plate is independently recognized for each of the plurality of items.
[0003]
In general, the number plate information includes, for example, a plurality of items (vehicle number, classification number, land transportation branch code, kana characters, plate size, business / private type) as shown in FIG. By recognizing such information as described above, for example, unmanned management of a parking lot, measurement of travel time, automatic discovery of a specific vehicle such as an arranged vehicle, and the like are performed. In this case, whether or not all items need to be recognized differs depending on these applications (uses), and is selected as necessary.
[0004]
Further, when the number plate information is automatically recognized, as described above, it is necessary to detect a running vehicle and capture an image from the imaging camera. As such vehicle detection means, vehicle detection sensors such as infrared photosensors and ultrasonic sensors as described above are mainly used. Recently, however, vehicle detection sensors are not used, and moving image analysis is used directly. The traveling vehicle may be detected from the input image. This is to detect that the vehicle has entered the image by detecting the change of the image by taking the image difference between successive frames and evaluating the area and shape of the change region.
[0005]
[Problems to be solved by the invention]
However, in the prior art, when the number plate information is automatically recognized, an external vehicle detection sensor such as an infrared photosensor or an ultrasonic sensor as described above must be installed as a means for detecting a running vehicle. .
[0006]
In addition, recently, there is a means for detecting a traveling vehicle directly from an input image by moving image analysis without using an external vehicle detection sensor. Since it is performed by detecting a change due to a difference between images, depending on the installation position of the imaging camera, there is a problem that a vehicle traveling in an adjacent lane or its shadow enters the imaging field of view and causes false detection.
[0007]
Therefore, in the present invention, it is not necessary to install an external vehicle detection sensor such as an infrared photosensor or an ultrasonic sensor in order to detect a traveling vehicle, and a vehicle traveling in an adjacent lane or its shadow It is an object of the present invention to provide a vehicle number plate recognition device and a vehicle number plate recognition method that can always output a correct number plate information recognition result without causing erroneous detection even when entering the imaging field of view.
[0008]
[Means for Solving the Problems]
The number plate recognition apparatus for a vehicle according to the present invention includes one image pickup means for picking up an image including a number plate of a running vehicle as a continuous frame image, and a plurality of recognition means. Is activated sequentially, and the continuous image obtained from the imaging means is processed for each frame, so that the number plate information is recognized for each frame, and the character code for each character constituting the number plate information and its code A character size is detected for each individual character constituting the number plate information from a recognition means for outputting a recognition result comprising a similarity indicating accuracy and a plurality of recognition results obtained within a certain period of time from the recognition means. After adding the weight value corresponding to the detected character size to the corresponding similarity, the character code having the maximum similarity is And-option, and a recognition result comprehensive determination means for outputting it as the final answer.
[0009]
The number plate recognition device for a vehicle according to the present invention includes one image pickup means for picking up an image including a number plate for a running vehicle as a continuous frame image, and a plurality of recognition means. The character code for each character constituting the number plate information is recognized by sequentially starting at regular intervals and processing the continuous image obtained from the imaging means for each frame to recognize the number plate information for each frame. And a recognition unit that outputs a recognition result including a degree of similarity representing the certainty and a plurality of recognition results obtained within a certain period of time from the recognition unit, and detects a character position for each frame. When the position of the selected character is on a certain trajectory, after adding a predetermined weight value to the similarity corresponding to the character code, Select the character code having the similarity, and a recognition result comprehensive determination means for outputting it as the final answer.
[0010]
The vehicle number plate recognition method according to the present invention includes an imaging step of capturing an image including a number plate of a traveling vehicle as a continuous frame image using one imaging unit, and a plurality of recognition units at regular intervals. Are sequentially activated, and the continuous image obtained from the imaging means is processed for each frame, so that the number plate information is recognized for each frame, and the character code for each character constituting the number plate information and its confirmation A character size is detected for each individual character constituting the number plate information from a recognition process that outputs a recognition result including similarity representing the uniqueness, and a plurality of recognition results obtained within a certain period of time following the recognition process. After adding the weight value corresponding to the detected character size to the corresponding similarity, select the character code having the maximum similarity, It is and a recognition result comprehensive determination step of outputting as the final answer Les.
[0011]
Further , the vehicle number plate recognition method of the present invention includes an imaging step of capturing an image including a number plate of a traveling vehicle as a continuous frame image using one imaging unit, and a plurality of recognition units at regular intervals. Are sequentially activated, and the continuous image obtained from the imaging means is processed for each frame, so that the number plate information is recognized for each frame, and the character code for each character constituting the number plate information and its confirmation A character position is detected for each frame from a recognition step for outputting a recognition result including similarity representing the uniqueness, and a plurality of recognition results obtained within a certain period of time from the recognition step. When the position is on a certain trajectory, a predetermined weight value is added to the similarity corresponding to the character code, and the maximum similarity is obtained. That selects the character code, and a recognition result comprehensive determination step of outputting it as the final answer.
[0016]
According to the present invention, an image including a number plate of a traveling vehicle is captured as a continuous frame image, and the number plate information is recognized for each frame by processing the captured continuous image for each frame. By this recognition, by selecting one recognition result for each individual character constituting the number plate information from a plurality of recognition results obtained within a continuous fixed time, and outputting it as a final answer, There is no need to install an external vehicle detection sensor such as an infrared photosensor or an ultrasonic sensor to detect a running vehicle, and a vehicle traveling in the adjacent lane or its shadow has entered the imaging field of view. Even in this case, the recognition result of correct number plate information can always be output without causing erroneous detection.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 schematically shows the configuration of a vehicle number plate recognition apparatus according to this embodiment. In FIG. 1, reference numeral 1 denotes a travel path of the vehicle 2, and the vehicle 2 travels in the direction indicated by the arrow. An imaging camera 4 as an imaging unit that captures an image including the number plate 3 of the traveling vehicle 2 is installed on the side of the traveling path 1. The imaging camera 4 is composed of, for example, an industrial television camera.
[0018]
An illumination device 5 for illuminating a part of the number plate 3 of the traveling vehicle 2 is installed near the imaging camera 4 particularly at night. The illumination device 5 generally uses a light source that outputs near-infrared light so as not to hinder the driving of the vehicle 2. The output of the imaging camera 4 is sent to a number plate recognition unit 6 which will be described in detail later, where the number plate information described on the number plate 3 is recognized.
[0019]
FIG. 2 is a block diagram schematically showing the configuration of the vehicle number plate recognition apparatus according to the present embodiment. In FIG. 2, as described above, the imaging camera 4 captures a vehicle image including the number plate 3 from the traveling vehicle 2, and normally transfers, for example, one frame image every 1/30 seconds. .
[0020]
The output of the imaging camera 4 is sent to the number plate recognition units 6a, 6b, 6c, and 6d, respectively. The number plate recognition units 6a, 6b, 6c, 6d take the image from the imaging camera 4 in accordance with the activation command from the recognition result comprehensive determination unit 7, and perform recognition processing that will be described in detail later. The recognition result is output.
[0021]
The recognition result comprehensive determination unit 7 as the recognition result comprehensive determination unit sequentially activates the number plate recognition units 6a to 6d every 1/30 seconds, thereby obtaining each recognition result output from the number plate recognition units 6a to 6d. Based on the recognition results, comprehensive determination is made as described later, and the final recognition results are output to a host computer or the like.
[0022]
The recognition result comprehensive determination unit 7 includes flags Fa to Fd as shown in FIG. 3 corresponding to the number plate recognition units 6a to 6d, respectively. Flags Fa to Fd set the flag corresponding to the number plate recognition unit that is activated in the initial state of 0 (OFF) to 1 (ON). When the recognition result is received from the activated number plate recognition unit, the corresponding flag is reset to 0 (OFF).
[0023]
When activation is performed from the recognition result comprehensive determination unit 7 to the number plate recognition units 6a to 6d, the number plate recognition unit whose flag is 0 (OFF) is searched and activated preferentially.
[0024]
In the present embodiment, the processing is described using four number plate recognition units. However, if the processing time of each number plate recognition unit is within 1/30 seconds, the number plate recognition is performed. The number of parts may be one, and if it is within 1/15 second, the number plate recognition part may be two.
[0025]
Further, if the recognition processing interval is every 1/15 second, the number of number plate recognition units may be ½. Thus, it goes without saying that the number of number plate recognition units is not limited to four, and is determined by the recognition processing interval and processing time.
[0026]
The number plate recognition units 6a to 6d are configured, for example, as shown in FIG. That is, the A / D converter 11 takes in the output (analog image signal) of the imaging camera 4 and converts the taken-in image into digital image data having, for example, an 8-bit gray value. The image storage unit 12 is a two-dimensional memory that stores digital image data, and temporarily stores processed images such as input images and binarized images.
[0027]
The image inversion unit 13 performs processing for inverting the gray value of the image. The binarization processing unit 14 binarizes image data having an 8-bit gray value and converts it into a binary image of “0” and “1”. Such binarization processing is realized by the technique described in Japanese Patent Application No. 63-300744, for example.
[0028]
The vehicle number detection unit 15 performs, for example, a labeling process on the binary image stored in the image storage unit 12, analyzes the measured coordinate information and area information, and detects the vehicle number character string.
[0029]
The classification number detection unit 16 performs, for example, a labeling process on a region defined by a relative positional relationship with the vehicle number character string in the binary image stored in the image storage unit 12 and measures the coordinates Analyzes information, area information, etc., and detects a classification number character string.
[0030]
The land transportation branch detection unit 17 performs, for example, a labeling process on a region defined by the relative positional relationship with the vehicle number character string in the binary image stored in the image storage unit 12 and measures coordinate information. And area information etc. are analyzed, and the land transportation branch office code (character string) is detected.
[0031]
The kana character detection unit 18 performs, for example, a labeling process on a region limited from the relative positional relationship with the vehicle number character string in the binary image stored in the image storage unit 12 and measures the coordinates Analyzes information and area information and detects kana characters.
[0032]
The size discriminating unit 19 discriminates the size of the plate 3 and uses, for example, a technique described in JP-A-1-276374. The character recognition unit 20 as a recognition unit performs character recognition by applying a technique such as pattern matching to each detected character pattern. As the recognition result, the character code for each character pattern and the similarity indicating the certainty of the recognition result are output.
[0033]
The parameter analysis unit 21 analyzes the size and area of the vehicle number detected by the vehicle number detection unit 15, the histogram of the number plate area, the detection position, and the like. The general-purpose memory 22 as a storage means stores parameters used for analysis of connected regions, results of character recognition, and the like.
[0034]
The communication unit 23 transmits information such as a character recognition result to the recognition result comprehensive determination unit 7. The control unit 24 controls the entire apparatus .
The image bus 25 is a dedicated bus for transferring image data, and is used for image exchange between the image storage unit 12 and each processing unit. The general-purpose bus 26 is a general-purpose data transfer bus, and is used for exchanging control data and data such as character recognition results between the control unit 24 and each processing unit.
[0035]
Next, the number plate information recognition processing in the number plate recognition units 6a to 6d configured as described above will be described. An image including the number plate 3 of the vehicle 2 imaged by the imaging camera 4 is captured by the A / D conversion unit 11, and the A / D conversion unit 11 converts the image into digital image data having an 8-bit grayscale value, for example. The image is converted and temporarily stored in the image storage unit 12. An example of the captured image is shown in FIG.
[0036]
For example, as shown in FIG. 6, the image data stored in the image storage unit 12 is converted into a binary image having a character portion “1” and a background portion “0” as shown in FIG. 6. Converted. When there is contrast between the character part and the background part as in the vehicle number, binarization by contrast detection is effective. As such a binarization method by contrast detection, for example, a method described in Japanese Patent Application No. 63-300744 is used.
[0037]
The vehicle number detection unit 15 detects the vehicle number character string by analyzing the binary image obtained from the binarization processing unit 14. The detection of the vehicle number character string is performed, for example, according to the flowchart shown in FIG.
[0038]
That is, first, for example, a labeling process is performed on a binary image to detect coordinate information and area information of a connected region. Next, coordinate information and area information of the detected connected area are analyzed, and an area that seems to be a vehicle number character is selected. As is well known, the vehicle number is described in accordance with the dimensional rules, and can therefore be detected by evaluating the size and area of the connection region, the horizontal pitch, the vertical alignment, and the like.
[0039]
As shown in FIG. 8B, the business number plate is inverted in contrast to the private number plate (see FIG. 8a). If the vehicle number character string is not detected in the processing so far, the image inversion unit 13 inverts the gray value, and then performs the same processing after binarization to try to detect the vehicle number character string. At this point, private / business discrimination can also be made automatically.
[0040]
As described above, the letters on the number plate 3 are described in accordance with the dimensional rules. Accordingly, the position of the classification number, the land transportation branch office code, the kana character, and the like can limit the search area from the relative positional relationship with the vehicle number character string.
[0041]
As shown in FIG. 9, the classification number detection unit 16 binarizes and analyzes the connection region in the same manner as the detection of the vehicle number, with respect to the detection region E1 limited from the relative positional relationship with the vehicle number N. To detect the classification number.
[0042]
Similarly, as shown in FIG. 10, the land transportation branch office detection unit 17 binarizes and analyzes the connection area for the detection area E2 that is limited from the relative positional relationship with the vehicle number N. Detect land transportation branch code.
[0043]
Similarly, as shown in FIG. 11, the kana character detection unit 18 performs binarization and analysis of the connection region on the detection region E3 limited from the relative positional relationship with the vehicle number N. Detect kana characters.
[0044]
The vehicle number, classification number, land transportation branch code, and kana character thus detected are recognized by the character recognition unit 20 by applying, for example, a known pattern matching method to each character pattern. As the recognition result, the character code for each character pattern and the similarity indicating the certainty of the recognition result are output.
[0045]
The size discriminating unit 19 discriminates the size of the number plate 3 by a method described in Japanese Patent Laid-Open No. 1-276374, for example.
A series of these processes is controlled by the control unit 24. It should be noted that the parameters used for analysis of the connected region and the recognition result of the character recognition unit 20 are stored in the general-purpose memory 22 in a format as shown in FIG. 12, for example. The recognition result in the general-purpose memory 22 is sent to the recognition result comprehensive determination unit 7 by the communication unit 23.
[0046]
Next, a process of recognizing the number plate 3 of the vehicle 2 that is traveling will be described with a focus on the processing contents of the recognition result comprehensive determination unit 7.
As shown in FIG. 13, the imaging camera 4 normally captures an image of a road surface or a shoulder according to the installation location when there is no passing vehicle. In such a case, when recognition processing is activated from the recognition result comprehensive determination unit 7 to the number plate recognition units 6a to 6d, an unrecognizable code is output as the recognition result. The recognition result comprehensive determination unit 7 ignores such an unrecognizable code and does not output it.
[0047]
As shown in FIG. 14, when the vehicle 2 enters the field of view captured by the imaging camera 4 and the number plate 3 is in the image, the number plate recognition unit 6a to 6d activated at that time causes The recognition result of the number plate 3 is output. Furthermore, as shown in FIG. 15, the number plate 3 exists in the imaging field at least for several consecutive frames at a normal traveling speed. Meanwhile, the recognition result is output to the recognition result comprehensive determination unit 7 from any of the number plate recognition units 6a to 6d. The output recognition result is composed of the character code of the character written in the number plate 3 and the similarity indicating the certainty.
[0048]
An error may occur in the recognition result from time to time. Therefore, the recognition result comprehensive determination unit 7 comprehensively determines recognition results obtained from a plurality of frames and determines a final answer. Hereinafter, the first digit of the vehicle number will be described as an example.
[0049]
The simplest first method is to select a character code having the maximum similarity from the recognition result in each frame for each character. For example, the maximum similarity of the first digit of the vehicle number in frame N is “64” and the character code is “5”, the maximum similarity of the first digit of the vehicle number in frame N + 1 is “87”, and the character code is If the maximum similarity of the first digit of the vehicle number in the frame N + 2 is “91” and the character code is “5”, the maximum similarity of the first digit of the vehicle number in the frames N to N + 2 is “6”. “91” and its character code is “5”. Therefore, the character code “5” and the similarity “91” are output as the final answer in the first digit of the vehicle number.
[0050]
Next, as a second method, when the same character code is output a plurality of times in several consecutive frames, it is determined that the certainty of the character code has increased, and the similarity of the corresponding character code is determined. It is also possible to perform weighting that increases the degree of similarity. For example, the maximum similarity of the first digit of the vehicle number in frame N is “64” and the character code is “5”, the maximum similarity of the first digit of the vehicle number in frame N + 1 is “87”, and the character code is When the maximum similarity of the first digit of the vehicle number in frame N + 2 is “85”, the character code is “5”, and the same character code exists, the weight coefficient is “1.2”. In this case, the similarity to the character code “5” of the frame N is “64 × 1.2 = 76.8”, the similarity to the character code “6” of the frame N + 1 remains “87”, and the character code of the frame N + 2 The similarity to “5” is “85 × 1.2 = 102”, and the character code “5” and the similarity “102” are output as the final answer in the first digit of the vehicle number.
[0051]
Next, as a third method, it is conceivable to weight the similarity according to the character size. That is, generally, if the resolution of a character image is high, the recognition accuracy is improved. Therefore, it is determined that the larger the character detection size is, the higher the probability of the recognition result is, and weighting is performed so as to increase the similarity according to the character size.
[0052]
Next, as a fourth method, it is conceivable to perform weighting that increases the similarity to the similarity of the corresponding character code by the trajectory between frames of the character detection area. The number plate of the vehicle passing through the imaging field has a certain trajectory in the image, for example, appearing from the right end of the image and disappearing to the left end. In many cases, the trajectory can be predicted in advance depending on the installation position of the imaging camera. Therefore, the trajectory of consecutive character regions detected for each frame is obtained, and if the trajectory matches a predicted trajectory, weighting is performed to increase the similarity in the character region detected on the trajectory. Is.
[0053]
In the previous examples, the first digit of the vehicle number has been described as an example, but the same processing is performed for all items of the vehicle number, classification number, land transportation branch office, and kana characters of other digits. The final recognition result of the whole number plate is determined.
[0054]
Even when a vehicle traveling in the adjacent lane enters the imaging field of view and its number plate exists in the image, they can be ignored by examining the character size. That is, the character size is extremely large if the vehicle is traveling in the front lane, and the character size is extremely small if the vehicle is traveling in the rear lane. Therefore, by thresholding the character size with a value within a certain range, it is possible to target only vehicles traveling in the lane of interest.
[0055]
【The invention's effect】
As described above in detail, according to the present invention, there is no need to install an external vehicle detection sensor such as an infrared photosensor or an ultrasonic sensor in order to detect a running vehicle, and the vehicle travels in the adjacent lane. Even when the vehicle to be moved and its shadow enter the imaging field of view, it is possible to provide a vehicle number plate recognition device and a vehicle number plate recognition method capable of always outputting a correct number plate information recognition result without causing erroneous detection.
[Brief description of the drawings]
FIG. 1 is a configuration diagram schematically showing a configuration of a vehicle number plate recognition apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram schematically showing the configuration of a vehicle number plate recognition apparatus according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating an example of an activation flag in a recognition result comprehensive determination unit.
FIG. 4 is a block diagram specifically showing the configuration of a number plate recognition unit.
FIG. 5 is a diagram showing an example of a captured image.
FIG. 6 is a diagram illustrating an example of a binarized image.
FIG. 7 is a flowchart illustrating a vehicle number character string detection process.
FIG. 8 is a diagram showing an example of a private / business plate.
FIG. 9 is a diagram for explaining classification number detection processing;
FIG. 10 is a diagram for explaining land transportation branch office code detection processing;
FIG. 11 is a diagram for explaining a kana character detection process;
FIG. 12 is a diagram showing a memory map of a general-purpose memory.
FIG. 13 is a diagram showing an example of a captured image.
FIG. 14 is a diagram showing an example of a captured image.
FIG. 15 is a diagram showing an example of a captured image.
FIG. 16 is a diagram showing an example of number plate information displayed on a number plate.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Traveling road, 2 ... Vehicle (automobile), 3 ... Number plate, 4 ... Imaging camera (imaging means), 6, 6a-6d ... Number plate recognition part, 7 ... Recognition result comprehensive determination part (Recognition result comprehensive determination means), 11... A / D conversion section, 12... Image storage section (storage means), 15... Vehicle number detection section, 16. , 18... Kana character detection unit, 19... Size discrimination unit, 20... Character recognition unit (recognition means), 21... Parameter analysis unit, 22 .. general-purpose memory (storage means), 23. , 24.

Claims

One image pickup means for picking up an image including a number plate of a running vehicle as a continuous frame image;
It consists of a plurality of recognizing means, and by sequentially starting the plurality of recognizing means at regular intervals and processing the continuous image obtained from the imaging means for each frame, the number plate information is recognized for each frame. Recognizing means for outputting a recognition result comprising a character code for each character constituting the number plate information and a similarity indicating its certainty;
A character size is detected for each individual character constituting the number plate information from a plurality of recognition results obtained within a certain period of time from this recognition means, and a similarity corresponding to a weight value corresponding to the detected character size. A recognition result comprehensive determination means for selecting a character code having the maximum similarity and outputting it as a final answer,
A number plate recognizing device for a vehicle , comprising:

One image pickup means for picking up an image including a number plate of a running vehicle as a continuous frame image;
It consists of a plurality of recognizing means, and by sequentially starting the plurality of recognizing means at regular intervals and processing the continuous image obtained from the imaging means for each frame, the number plate information is recognized for each frame. Recognizing means for outputting a recognition result comprising a character code for each character constituting the number plate information and a similarity indicating its certainty;
The position of the character is detected for each frame from a plurality of recognition results obtained within a certain time continuous from this recognition means, and when the detected character position is on a certain trajectory, it corresponds to the character code. A recognition result comprehensive determination means for selecting a character code having the maximum similarity and outputting it as a final answer, after adding a predetermined weight value to the similarity
A number plate recognizing device for a vehicle , comprising:

An imaging step of capturing an image including a number plate of a running vehicle as a continuous frame image using one imaging means;
A plurality of recognizing units are sequentially activated every predetermined time, and the continuous plate image obtained from the imaging unit is processed for each frame, thereby recognizing the number plate information for each frame and configuring the number plate information. A recognition step of outputting a recognition result comprising a character code for the character and a similarity indicating its certainty;
The character size is detected for each individual character constituting the number plate information from a plurality of recognition results obtained within a certain period of time from this recognition step, and the similarity corresponding to the weight value corresponding to the detected character size A recognition result comprehensive determination step of selecting a character code having the maximum similarity and outputting it as a final answer,
A vehicle number plate recognition method comprising:

An imaging step of capturing an image including a number plate of a running vehicle as a continuous frame image using one imaging means;
A plurality of recognizing units are sequentially activated every predetermined time, and the continuous plate image obtained from the imaging unit is processed for each frame, thereby recognizing the number plate information for each frame and configuring the number plate information. A recognition step of outputting a recognition result comprising a character code for the character and a similarity indicating its certainty;
The character position is detected for each frame from a plurality of recognition results obtained within a certain period of time from this recognition process, and when the detected character position is on a certain trajectory, it corresponds to the character code. A recognition result comprehensive determination step of selecting a character code having the maximum similarity and outputting it as a final answer after adding a predetermined weight value to the similarity
A vehicle number plate recognition method comprising: