JP5517410B2 - ナンバープレート認識装置、ナンバープレート認識方法、ナンバープレート認識プログラム - Google Patents

ナンバープレート認識装置、ナンバープレート認識方法、ナンバープレート認識プログラム Download PDF

Info

Publication number
JP5517410B2
JP5517410B2 JP2008009250A JP2008009250A JP5517410B2 JP 5517410 B2 JP5517410 B2 JP 5517410B2 JP 2008009250 A JP2008009250 A JP 2008009250A JP 2008009250 A JP2008009250 A JP 2008009250A JP 5517410 B2 JP5517410 B2 JP 5517410B2
Authority
JP
Japan
Prior art keywords
data
recognition
cameras
character string
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008009250A
Other languages
English (en)
Other versions
JP2009169827A (ja
Inventor
拓馬 岡崎
光明 玉川
Original Assignee
三菱重工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱重工業株式会社 filed Critical 三菱重工業株式会社
Priority to JP2008009250A priority Critical patent/JP5517410B2/ja
Publication of JP2009169827A publication Critical patent/JP2009169827A/ja
Application granted granted Critical
Publication of JP5517410B2 publication Critical patent/JP5517410B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車両のナンバープレートの文字列を認識するナンバープレート認識装置、ナンバープレート認識方法、ナンバープレート認識プログラムに関する。
従来から、有料道路や駐車場等において、進入する車両のナンバープレートをカメラで撮像し、撮像結果からナンバープレートの文字列を認識するナンバープレート認識装置が提供されている。ここでは、同じ車両のナンバープレートを異なるタイミングで撮像して、複数の画像を得て、これらの画像のそれぞれに対してナンバープレートの文字列の認識を行って複数の認識結果を得る。そして、この複数の認識結果から、最終的な文字列の認識結果を得るものがある(例えば、特許文献1)。
特許第3917252号
しかしながら、特許文献1に示すナンバープレート認識装置にあっては、カメラの設置位置や撮像状況、ナンバープレートの取り付け位置等によっては、異なるタイミングでナンバープレートを撮像しても、光の反射が生じたり、カメラとナンバープレートの間に障害物等が入り込んだりする場合が発生してしまう。そうすると、ナンバープレート全体あるいはナンバープレートの特定の文字を撮像する撮像条件が悪くなり、これにより、ナンバープレートの文字列の認識精度が低下してしまう場合があった。
本発明は、このような事情に鑑みてなされたもので、その目的は、特定のカメラにおいて撮像条件が低下してしまっても認識精度の低下を低減することができるナンバープレート認識装置、ナンバープレート認識方法、ナンバープレート認識プログラムを提供することにある。
上述した課題を解決するために、本発明は、進入する車両のナンバープレートを少なくとも2つの走行レーンを対象として撮像する複数のカメラでありお互いの撮像範囲のうち少なくとも1つの走行レーンについて撮像範囲が重複するように設置される複数のカメラと、前記複数のカメラのそれぞれのカメラによって撮像された動画像をフレーム単位でキャプチャした撮像結果からナンバープレートの文字列をカメラ毎に認識する第1の文字列認識部と、前記第1の文字列認識部によって得られた認識結果に基づき、前記第1の文字列認識部によって得られたそれぞれの認識結果を受信して記憶された記憶領域から認識結果の先頭データを読み出し、後続データがメモリ領域内に格納される時間に応じて予め決められた時間分ウエイトし、先頭データの次のデータである後続データの読み出しを行い、読み出された後続データについて、認識時刻差が予め決められた時間内に撮像されたデータであるかを判定し、前記時間内に撮像されたデータである場合には、当該先頭データと当該後続データとが隣接設置されたカメラであるか否かを判定し、隣接設置されたカメラである場合には、当該先頭データと当該後続データを参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第2の文字列認識部とを有することを特徴とする。
この発明によれば、複数のカメラのそれぞれが車両の撮像を行い、カメラ毎の撮像結果をそれぞれ文字列の認識を行う。そして、カメラ毎に得られる文字列の認識結果を用いて文字列の補完処理を行うようにした。これにより、同一の車両について複数のカメラから得られる撮像結果を利用した補完処理を行うことができるので、いずれかのカメラにおいて車両の撮像状態が悪かったとしても、他のカメラで撮像して文字認識した結果を用いて補完することができるようになり、文字列の認識精度が低減してしまうことを防止することができる。
また、本発明は、進入する車両のナンバープレートを撮像する複数のカメラありお互いの撮像範囲のうち少なくとも一部が重複するように設置される複数のカメラと、前記複数のカメラのそれぞれのカメラによって撮像された動画像をフレーム単位でキャプチャした撮像結果からナンバープレートの文字列をカメラ毎に認識する第1の文字列認識部と、前記第1の文字列認識部によって得られた認識結果であって前記複数のカメラのうち走行レーンの配列方向に隣接して設けられ、同じ走行レーンにおいて撮像範囲のうち少なくとも一部が重複するように設置される少なくとも2つのカメラによって撮像された撮像結果に基づく認識結果に基づき、前記第1の文字列認識部によって得られたそれぞれの認識結果を受信して記憶された記憶領域から認識結果の先頭データを読み出し、後続データがメモリ領域内に格納される時間に応じて予め決められた時間分ウエイトし、先頭データの次のデータである後続データの読み出しを行い、読み出された後続データについて、認識時刻差が予め決められた時間内に撮像されたデータであるかを判定し、前記時間内に撮像されたデータである場合には、当該先頭データと当該後続データとが隣接設置されたカメラであるか否かを判定し、隣接設置されたカメラである場合には、当該先頭データと当該後続データを参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第2の文字列認識部とを有することを特徴とする。
また、本発明は、前記第1の文字列認識部は、カメラから得られる複数の撮像結果をそれぞれ文字認識を行い、得られる複数の文字認識結果の補完を行い、認識結果として第2の文字列認識部に出力することを特徴とする。
また、本発明は、進入する車両のナンバープレートを少なくとも2つの走行レーンを対象として撮像する複数のカメラでありお互いの撮像範囲のうち少なくとも1つの走行レーンについて撮像範囲が重複するように設置される複数のカメラによって撮像するステップと、前記複数のカメラのそれぞれのカメラによって撮像された動画像をフレーム単位でキャプチャした撮像結果からナンバープレートの文字列をカメラ毎に認識する第1の文字列認識ステップと、前記第1の文字列認識ステップによって得られた認識結果に基づき、前記第1の文字列認識ステップによって得られたそれぞれの認識結果を受信して記憶された記憶領域から認識結果の先頭データを読み出し、後続データがメモリ領域内に格納される時間に応じて予め決められた時間分ウエイトし、先頭データの次のデータである後続データの読み出しを行い、読み出された後続データについて、認識時刻差が予め決められた時間内に撮像されたデータであるかを判定し、前記時間内に撮像されたデータである場合には、当該先頭データと当該後続データとが隣接設置されたカメラであるか否かを判定し、隣接設置されたカメラである場合には、当該先頭データと当該後続データを参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第2の文字列認識ステップと、を有すること特徴とする。
また、本発明は、進入する車両のナンバープレートを撮像する複数のカメラでありお互いの撮像範囲のうち少なくとも一部が重複するように設置される複数のカメラによって撮像するステップと、前記複数のカメラのそれぞれのカメラによって撮像された動画像をフレーム単位でキャプチャした撮像結果からナンバープレートの文字列をカメラ毎に認識する第1の文字列認識ステップと、前記第1の文字列認識ステップによって得られた認識結果であって前記複数のカメラのうち走行レーンの配列方向に隣接して設けられ、同じ走行レーンにおいて撮像範囲のうち少なくとも一部が重複するように設置される少なくとも2つのカメラによって撮像された撮像結果に基づく認識結果に基づき、前記第1の文字列認識ステップによって得られたそれぞれの認識結果を受信して記憶された記憶領域から認識結果の先頭データを読み出し、後続データがメモリ領域内に格納される時間に応じて予め決められた時間分ウエイトし、先頭データの次のデータである後続データの読み出しを行い、読み出された後続データについて、認識時刻差が予め決められた時間内に撮像されたデータであるかを判定し、前記時間内に撮像されたデータである場合には、当該先頭データと当該後続データとが隣接設置されたカメラであるか否かを判定し、隣接設置されたカメラである場合には、当該先頭データと当該後続データを参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第2の文字列認識ステップと、を有すること特徴とする。
また、本発明は、コンピュータを、進入する車両のナンバープレートを少なくとも2つの走行レーンを対象として撮像する複数のカメラでありお互いの撮像範囲のうち少なくとも1つの走行レーンについて撮像範囲が重複するように設置される複数のカメラによって撮像する手段、前記複数のカメラのそれぞれのカメラによって撮像された動画像をフレーム単位でキャプチャした撮像結果からナンバープレートの文字列をカメラ毎に認識する第1の文字列認識手段、前記第1の文字列認識手段によって得られた認識結果に基づき、前記第1の文字列認識手段によって得られたそれぞれの認識結果を受信して記憶された記憶領域から認識結果の先頭データを読み出し、後続データがメモリ領域内に格納される時間に応じて予め決められた時間分ウエイトし、先頭データの次のデータである後続データの読み出しを行い、読み出された後続データについて、認識時刻差が予め決められた時間内に撮像されたデータであるかを判定し、前記時間内に撮像されたデータである場合には、当該先頭データと当該後続データとが隣接設置されたカメラであるか否かを判定し、隣接設置されたカメラである場合には、当該先頭データと当該後続データを参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第2の文字列認識手段、として機能させるためのナンバープレート認識プログラムである。
また、本発明は、コンピュータを、進入する車両のナンバープレートを撮影する複数のカメラでありお互いの撮像範囲のうち少なくとも一部が重複するように設置される複数のカメラによって撮像する手段、前記複数のカメラのそれぞれのカメラによって撮像された動画像をフレーム単位でキャプチャした撮像結果からナンバープレートの文字列をカメラ毎に認識する第1の文字列認識手段、前記第1の文字列認識手段によって得られた認識結果であって前記複数のカメラのうち走行レーンの配列方向に隣接して設けられ、同じ走行レーンにおいて撮像範囲のうち少なくとも一部が重複するように設置される少なくとも2つのカメラによって撮像された撮像結果に基づく認識結果に基づき、前記第1の文字列認識手段によって得られたそれぞれの認識結果を受信して記憶された記憶領域から認識結果の先頭データを読み出し、後続データがメモリ領域内に格納される時間に応じて予め決められた時間分ウエイトし、先頭データの次のデータである後続データの読み出しを行い、読み出された後続データについて、認識時刻差が予め決められた時間内に撮像されたデータであるかを判定し、前記時間内に撮像されたデータである場合には、当該先頭データと当該後続データとが隣接設置されたカメラであるか否かを判定し、隣接設置されたカメラである場合には、当該先頭データと当該後続データを参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第2の文字列認識手段、として機能させるためのナンバープレート認識プログラムである。
以上の発明によれば、カメラの撮像結果から精度良くナンバープレートの文字認識を行うことができるので、文字認識の結果を参照することにより車両の同定を行うこともできるようになり、車両の同定に、車両検知器を用いる必要もなくなる。
また、同一車両を複数のカメラで撮像することができればよいので、例えば、車両が車線変更などにより隣接カメラの視野内に入ることがあれば、同一の車両を複数のカメラで撮像することが可能であるので、複数のカメラの視野が必ずしも重複していなくてもよい。
以上説明したように、この発明によれば、複数のカメラでナンバープレートの撮像を行い、それぞれのカメラの撮像結果から文字認識を行うことで、異なるカメラで撮像された複数の認識結果を得ることができ、この複数の認識結果をもとに、文字認識を行うようにしたので、いずれかのカメラにおける撮像状況が悪く、ナンバープレートの良好な撮像結果が得られなくても、他のカメラで撮像された撮像結果から得られた認識結果を利用して最終的な文字認識を行うことができ、文字認識精度が低減してしまうことを防止することができる。また、一つのカメラでの撮像結果から得られる文字認識結果に比べて、複数のカメラで撮像された結果をもとに、文字認識結果を補完することができるので、従来に比べて認識精度を向上させることができる。
以下、本発明の一実施形態によるナンバープレート認識装置について図面を参照して説明する。図1は、この発明の一実施形態によるナンバープレート認識装置の構成を示す概略ブロック図である。
この図において、複数のカメラ1、カメラ2、・・・カメラNは、例えば料金所や駐車場等の車両が通過する場所に設置され、通過ポイントに進入する車両のナンバープレートを撮像する。この各カメラの撮像範囲は、少なくとも、異なるカメラの撮像範囲の一部が重なっており、その重複範囲において車両のナンバープレートを撮像できるようになっていればよい。例えば、料金所において、カメラ1が、第1の走行レーンと第2の走行レーンを撮像し、カメラ2が第2の走行レーンと第3の走行レーンを撮像するようにすることにより、第2の走行レーンについては、撮像対象に対し、異なる方向から撮像することによって、同じ時刻に撮像したとしても、異なる撮像結果を得ることができる。
コントローラ101、コントローラ102、コントローラ10M(ただし、M=N)は、それぞれ、異なる1台のカメラに接続されており、この接続されたカメラから得られる撮像結果から、ナンバープレートの文字列を認識し、認識結果を出力する。このコントローラ101、コントローラ102、コントローラ10Mが、上述の第1の文字認識部に相当する。
コントローラ201は、コントローラ101、コントローラ102、コントローラ10Mに接続されており、これらのコントローラから出力されるそれぞれの認識結果に基づいて、文字列の補完をする処理を行い、認識結果を出力する。この出力先としては、例えば、カメラが設けられた料金所や駐車場等を監視する監視装置である。
次に、コントローラ101の処理について図面を用いて説明する。ここでは、コントローラ101の処理について説明するが、他のコントローラにおいても同様の処理が行われる。
図2は、コントローラ101の処理を説明するフローチャートである。ここでは、動画像をキャプチャすることにより、1台の車両がカメラ視野を通過する間に同一車両を数フレーム分得ることになる。従って、同一車両の数フレームについて、ナンバープレートの認識処理を行い、認識結果となる文字列の一部に不明文字(例えば、認識結果が‘?’として得られた文字)が混在している場合に、複数のフレームによって得られた認識結果を用いて相互に補間する。これにより、1枚のフレームから得られた認識結果よりも認識ができる文字列の数を増やすことができ、全ての文字列、あるいは全ての文字列に近い数の文字列についての認識結果を導き出す(マージ処理)。これにより、1枚のみ撮像する方式に比べ、文字列の認識率を向上することが可能である。
まず、コントローラは、自身に接続されたカメラ1からの動画像をフレーム単位でキャプチャしてナンバープレートの認識処理を開始すると(ステップS1)、キャプチャしたフレームから、車両が検出されたか否かを判定する(ステップS2)。車両が検出された場合、即ち、キャプチャしたフレームからナンバープレートの文字列があることが検出された場合、同一車両であるか否かを判定する(ステップS3)。この同一車両であるか否かの判定は、キャプチャしたフレームよりも前に得られた数フレーム分のフレームから得られた文字列の一部が一致するか否かに基づいて行われる。
同一車両であると判定されると、コントローラ101は、その認識結果を記憶部に記憶する。
一方、同一車両ではないと判定された場合、コントローラ101は、前回までに記憶部に蓄積されたフレームの認識結果を同一車両の認識結果と見なし、補完処理を行い、不要画像を削除する処理を行う。すなわち、ここでは、自身の記憶部を参照し(ステップS6)、過去の蓄積結果に同一車両と見なせるナンバープレートの認識結果と今回得られた認識結果に基づいて補完処理を行い、認識結果を上位であるコントローラ201に認識結果を出力する(ステップS7)。この認識結果を出力した後は、この同一車両と見なされた認識結果を記憶部から削除する。ここでは、この認識結果が得られた元の画像についても削除される。
一方、ステップS2において、車両が検出されなかった場合は、一定時間が経過したか否かを判定し(ステップS)、一定時間が経過していなければ、ステップS1に移行し、一定時間が経過していれば、コントローラ101は、前回までに記憶部に蓄積されたフレームの認識結果を同一車両の認識結果と見なし、補完処理を行い、不要画像を削除する処理を行う。すなわち、ここでは、自身の記憶部を参照し、過去の蓄積結果に同一車両と見なせるナンバープレートの認識結果と今回得られた認識結果に基づいて補完処理を行い(ステップS9)、認識結果を上位であるコントローラ201に認識結果を出力する(ステップS10)。この認識結果を出力した後は、この同一車両と見なされた認識結果を記憶部から削除する。ここでは、この認識結果が得られた元の画像についても削除される。
次に、ステップS4における同一車両の判定処理について説明する。
図3は、同一車両の判定処理について説明するフローチャートである。
まず、車両が検出された場合に(ステップS20)、同一車両か別車両かの判定処理を開始する(ステップS21)。ここでは、キャプチャしたフレームの過去数フレームを参照し、それらのフレームの認識結果と比較して、ナンバープレート位置を検出し、そのナンバープレートの位置が予め設定されている位置よりも下であるか否かを判定し(ステップS22)、予め決められた位置よりも下であると判定された場合に、ナンバープレートの色を検出し、今回得られたフレームと過去のフレーム間で同じ色であるか否かを判定する(ステップS23)。
ナンバープレートの色がおなじであることが検出されると、ナンバープレートを撮像の段数を検出し、今回得られたフレームの段数と過去のフレームで得られた段数とが同じ段数であるか否かを判定する(ステップS24)。ここでいう段数は、例えば、ナンバープレートが複数段設けられる場合もあるからである。
ナンバープレートの段数が同じであると判定されると、前回車両を検出してから一定時間内であるか否かを判定する(ステップS25)。ここでは、例えば、カメラの撮像結果から1秒間に何枚のフレームを得るのか、その間隔によって決められる。例えば、前回車両が検出されたフレームから3枚分のフレームが得られた時間が経過したか否かを検出することにより、一定時間が経過したか否かを判定する。
ここで、一定時間内であると判定された場合には、同一車両として判定し、図2のステップ5に移行する。ここで、ステップS22からステップS25において、NOと判定された場合には、別車両として判定される(ステップS27)。
次に、補完処理について、図面を用いて説明する。
この補完処理を行うにあたり、まずは、得られた認識結果のうち、2つの認識結果が同じ桁数(文字数)であるか否かを検出する。2つの桁数が同じである場合には、図4に示すように、同じ桁に同じ文字がある場合は補間可能と判定し、いずれの桁においてもそれぞれ対応する同じ桁に同じ文字がない場合(全ての文字が一致しない場合)は、補間不可能と判定する。
ここで、補完可能と判定された場合において、一方の認識結果の文字が不明を示す特定の文字(例えば、‘?’)であって、もう一方の認識結果の文字が‘?’ではない場合には、補完する。すなわち、‘?’を、もう一方の認識結果で得られた文字として認識結果を更新する。図4の上段の図では、「?HC8029E」と「S?C8029E」の認識結果を元に補完処理行い、「SHC8029E」なる文字列として認識結果が得られている。
ここで、2つの認識結果において、一部異なる文字が存在する場合には、その桁の文字を認識結果‘?’として得る。例えば、図4の下段においては、「SHC?029E」と「?HC8028E」なる認識結果を元に補完処理を行い、「SHC802?E」なる結果が得られている。
一方、2つの認識結果が異なる桁数の場合には、図5に示すように、桁数の小さい方の認識結果を文字の先頭位置を変えて(ずらして)2回行う。対応する桁がない部分は、桁数の大きいほうの認識結果を採用する。先頭位置を変えた両方で補間可能な場合は2つとも認識結果として得る。図5においては、「SHC?029E」と「HC8029E」との認識結果から、‘H’の文字の桁の位置を合わせることにより、「SHC8029E」なる認識結果がえられている。
このようにして、得られた認識結果から、補完結果を得る。例えば、図6に示すように、画像から得られた文字列の全ての組み合わせにおいて補完を行い、その補完結果において同じ結果となった個数をカウントするとともに、認識結果と同じものが候補に登録されていないとき(まだ得られていない認識結果が得られた場合)は、新たな候補として一時保存し、カウント対象とする。そして、カウント数が最も大きい認識結果を補完結果として出力をする。なお、単独1位のカウント結果がない場合には、認識結果が不明として出力する。
なお、補完処理は、図4から図6を用いて説明した補完処理の手法に限られるものではなく、複数の認識結果から補完処理を行うことができれば、図4から図6において説明した補完処理以外の手法の補完処理を適用するようにしてもよい。
次に、各コントローラ(コントローラ101、102、・・・・10N)において認識結果から行うマージ処理について説明する。ここでは、各コントローラ(コントローラ101、102、・・・・10N)から出力された結果は、例えば、図7に示すように、コントローラ201内のメモリ領域の予め決められた先頭アドレスから順に記憶されていき、不要となった認識結果については、順次削除される。
図8は、複数のカメラから得られた認識結果を用いてコントローラ201が行うマージ処理を説明するフローチャートである。このマージ処理においては、複数のカメラ間で同一車両の認識結果の重複の有無を判定し、重複している場合はマージ処理を行って、不要画像を削除して単一の認識結果と車両画像を監視装置等に出力するものである。
まず、各カメラから受信して一時的にメモリ領域(図7)内に蓄積されている認識結果の先頭データを読み出し(ステップS30)、後続データがメモリ領域内に格納される時間に応じて予め決められた設定された時間分ウエイトし(ステップS31)、先頭データの次のデータ(認識結果)を読み出す(ステップS32)。ここで、後続データが存在するか否かに基づいて、正しく読み出されたか否かを判定し(ステップS33)、後続データがあれば、認識時刻差が予め決められた時間内(例えば3秒以内)に撮像されたフレームから得られたデータがあるか否かを判定する(ステップS34)。
所定の時間内のデータがあれば、取り出したデータがX(Xは、例えば10など、予め決められた数)件目のデータであるか否かを判定し、X件目のデータである場合には、その先頭データと後続のデータとが、それぞれ隣接されたカメラによって撮像された結果から得られたデータであるか否かを判定する。この判定は、例えば、データに付与されている、文字認識されたコントローラの識別番号に基づき、設置位置が隣接するカメラであるか否かの判定を行う。ここでは、各コントローラの識別番号と当該識別番号が隣接するかを示す情報を予め記憶したテーブルを参照して判定するようにしてもよい。また、カメラは、必ずしも隣接設置されたものではなく、同一車両を撮像する可能性がある位置に配置されているか否かを判定するようにすることも可能である。
そして、カメラが隣接設置されたものであると判定された場合に、文字認識されたナンバープレートの色が同じであるか否かを判定し(ステップS37)、同じである場合に、ナンバープレートの段数を判定し(ステップS38)、同じである場合には、先頭データと後続データとを用いて補完処理を行い(ステップS39)、補完処理結果のデータを先頭データと置き換える。ここで行われる補完処理は、上述した補完処理(例えば、図4〜図6)と同様の手法が適用可能である。
そして、補完処理が行われると、先頭データと同一車両のデータである後続データについて、メモリ領域内(図7)から削除し、補完処理結果を最終的に補完する別のメモリ領域である補完結果記憶領域に移動し(ステップS41)、カウントアップしたデータの件数をリセットする。
これにより、先頭データと同一車両についてのデータがメモリ領域(図7)から削除され、補完された後の先頭データが補完結果記憶領域に移動され、先頭データの領域が空きとなるので、別の車両である後続データが先頭データとして繰り上がり、引き続き、ステップS30からの処理が行われる。
ここで、ステップS33、S34、S35において、NOであると判定された場合には、ステップS41に移行する。すなわち、一定時間ウエイトしても後続データがない場合や、認識時刻差が所定時間以内のデータが無い場合には、同一車両のデータが得られる見込みが無い(先頭データしかない)ものとして処理される。また、取り込んだデータの件数をカウントしていき、X件目のデータに達した場合には、同一車両のデータそのものが存在しないものとして処理を行い、ループ回数を制限する。
また、ステップS36、S37、S38においてNOを判断された場合には、ステップS32に移行し、今回読み取ったデータの次の後続データを読み出し、読み出したデータの件数をカウントアップして保持する。
以上説明した実施形態においては、ステップS39においてマージ処理を行うようにしたので、同一の車両について、1つの認識結果のみを残すことができるので、同じ車両のデータを重複して保存することがなくなり、メモリ領域の利用効率を向上させることができる。
また、前段のコントローラとコントローラ201とを組み合わせるようにしたので、前段のコントローラで予め補完処理を行っておき上位機器(コントローラ201)に精度の良い認識結果を渡すことができ、上位のコントローラにおいては、車両1台につき1枚のみの付帯画像(キャプチャ画像)を残すことが可能である。
また、ステップS31において、先頭データを取り出したのち、ウエイト時間を設けるようにしたので、まだメモリ領域に格納されていないが、前段のコントローラにて認識処理されたデータが取り込まれないままになってしまうことを回避することができる。
また、ステップS36において、隣接するカメラ同士のデータを用いるようにしたので、例えば、カメラ視野端を通過する車両を撮像した隣接カメラにおいて同一車両の画像が得られていた場合には、その認識結果も利用した文字認識を行うことができる。
また、図1におけるコントローラ201の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりナンバープレート認識処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
この発明の一実施形態によるナンバープレート認識装置の構成を示す概略ブロック図である。 コントローラ101の処理を説明するフローチャートである。 同一車両の判定処理について説明するフローチャートである。 補完処理について説明する図面である。 補完処理について説明する図面である。 補完処理について説明する図面である。 メモリ領域に記憶されるデータの一例を示す図である。 複数のカメラから得られた認識結果を用いてコントローラ201が行うマージ処理を説明するフローチャートである。
符号の説明
1、2、N カメラ
101、102、10N、201、コントローラ

Claims (7)

  1. 進入する車両のナンバープレートを少なくとも2つの走行レーンを対象として撮像する複数のカメラでありお互いの撮像範囲のうち少なくとも1つの走行レーンについて撮像範囲が重複するように設置される複数のカメラと、
    前記複数のカメラのそれぞれのカメラによって撮像された動画像をフレーム単位でキャプチャした撮像結果からナンバープレートの文字列をカメラ毎に認識する第1の文字列認識部と、
    前記第1の文字列認識部によって得られた認識結果に基づき、前記第1の文字列認識部によって得られたそれぞれの認識結果を受信して記憶された記憶領域から認識結果の先頭データを読み出し、後続データがメモリ領域内に格納される時間に応じて予め決められた時間分ウエイトし、先頭データの次のデータである後続データの読み出しを行い、読み出された後続データについて、認識時刻差が予め決められた時間内に撮像されたデータであるかを判定し、前記時間内に撮像されたデータである場合には、当該先頭データと当該後続データとが隣接設置されたカメラであるか否かを判定し、隣接設置されたカメラである場合には、当該先頭データと当該後続データを参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第2の文字列認識部と
    を有することを特徴とするナンバープレート認識装置。
  2. 進入する車両のナンバープレートを撮像する複数のカメラでありお互いの撮像範囲のうち少なくとも一部が重複するように設置される複数のカメラと、
    前記複数のカメラのそれぞれのカメラによって撮像された動画像をフレーム単位でキャプチャした撮像結果からナンバープレートの文字列をカメラ毎に認識する第1の文字列認識部と、
    前記第1の文字列認識部によって得られた認識結果であって前記複数のカメラのうち走行レーンの配列方向に隣接して設けられ、同じ走行レーンにおいて撮像範囲のうち少なくとも一部が重複するように設置される少なくとも2つのカメラによって撮像された撮像結果に基づく認識結果に基づき、前記第1の文字列認識部によって得られたそれぞれの認識結果を受信して記憶された記憶領域から認識結果の先頭データを読み出し、後続データがメモリ領域内に格納される時間に応じて予め決められた時間分ウエイトし、先頭データの次のデータである後続データの読み出しを行い、読み出された後続データについて、認識時刻差が予め決められた時間内に撮像されたデータであるかを判定し、前記時間内に撮像されたデータである場合には、当該先頭データと当該後続データとが隣接設置されたカメラであるか否かを判定し、隣接設置されたカメラである場合には、当該先頭データと当該後続データを参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第2の文字列認識部と
    を有することを特徴とするナンバープレート認識装置。
  3. 前記第1の文字列認識部は、カメラから得られる複数の撮像結果をそれぞれ文字認識を行い、得られる複数の文字認識結果の補完を行い、認識結果として第2の文字列認識部に出力する
    ことを特徴とする請求項1または2記載のナンバープレート認識装置。
  4. 進入する車両のナンバープレートを少なくとも2つの走行レーンを対象として撮像する複数のカメラでありお互いの撮像範囲のうち少なくとも1つの走行レーンについて撮像範囲が重複するように設置される複数のカメラによって撮像するステップと、
    前記複数のカメラのそれぞれのカメラによって撮像された動画像をフレーム単位でキャプチャした撮像結果からナンバープレートの文字列をカメラ毎に認識する第1の文字列認識ステップと、
    前記第1の文字列認識ステップによって得られた認識結果に基づき、前記第1の文字列認識ステップによって得られたそれぞれの認識結果を受信して記憶された記憶領域から認識結果の先頭データを読み出し、後続データがメモリ領域内に格納される時間に応じて予め決められた時間分ウエイトし、先頭データの次のデータである後続データの読み出しを行い、読み出された後続データについて、認識時刻差が予め決められた時間内に撮像されたデータであるかを判定し、前記時間内に撮像されたデータである場合には、当該先頭データと当該後続データとが隣接設置されたカメラであるか否かを判定し、隣接設置されたカメラである場合には、当該先頭データと当該後続データを参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第2の文字列認識ステップと
    を有することを特徴とするナンバープレート認識方法。
  5. 進入する車両のナンバープレートを撮像する複数のカメラでありお互いの撮像範囲のうち少なくとも一部が重複するように設置される複数のカメラによって撮像するステップと、
    前記複数のカメラのそれぞれのカメラによって撮像された動画像をフレーム単位でキャプチャした撮像結果からナンバープレートの文字列をカメラ毎に認識する第1の文字列認識ステップと、
    前記第1の文字列認識ステップによって得られた認識結果であって前記複数のカメラのうち走行レーンの配列方向に隣接して設けられ、同じ走行レーンにおいて撮像範囲のうち少なくとも一部が重複するように設置される少なくとも2つのカメラによって撮像された撮像結果に基づく認識結果に基づき、前記第1の文字列認識ステップによって得られたそれぞれの認識結果を受信して記憶された記憶領域から認識結果の先頭データを読み出し、後続データがメモリ領域内に格納される時間に応じて予め決められた時間分ウエイトし、先頭データの次のデータである後続データの読み出しを行い、読み出された後続データについて、認識時刻差が予め決められた時間内に撮像されたデータであるかを判定し、前記時間内に撮像されたデータである場合には、当該先頭データと当該後続データとが隣接設置されたカメラであるか否かを判定し、隣接設置されたカメラである場合には、当該先頭データと当該後続データを参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第2の文字列認識ステップと
    を有することを特徴とするナンバープレート認識方法。
  6. コンピュータを、
    進入する車両のナンバープレートを少なくとも2つの走行レーンを対象として撮像する複数のカメラでありお互いの撮像範囲のうち少なくとも1つの走行レーンについて撮像範囲が重複するように設置される複数のカメラによって撮像する手段、
    前記複数のカメラのそれぞれのカメラによって撮像された動画像をフレーム単位でキャプチャした撮像結果からナンバープレートの文字列をカメラ毎に認識する第1の文字列認識手段、
    前記第1の文字列認識手段によって得られた認識結果に基づき、前記第1の文字列認識手段によって得られたそれぞれの認識結果を受信して記憶された記憶領域から認識結果の先頭データを読み出し、後続データがメモリ領域内に格納される時間に応じて予め決められた時間分ウエイトし、先頭データの次のデータである後続データの読み出しを行い、読み出された後続データについて、認識時刻差が予め決められた時間内に撮像されたデータであるかを判定し、前記時間内に撮像されたデータである場合には、当該先頭データと当該後続データとが隣接設置されたカメラであるか否かを判定し、隣接設置されたカメラである場合には、当該先頭データと当該後続データを参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第2の文字列認識手段、
    として機能させるためのナンバープレート認識プログラム。
  7. コンピュータを、
    進入する車両のナンバープレートを撮像する複数のカメラでありお互いの撮像範囲のうち少なくとも一部が重複するように設置される複数のカメラによって撮像する手段、
    前記複数のカメラのそれぞれのカメラによって撮像された動画像をフレーム単位でキャプチャした撮像結果からナンバープレートの文字列をカメラ毎に認識する第1の文字列認識手段、
    前記第1の文字列認識手段によって得られた認識結果であって前記複数のカメラのうち走行レーンの配列方向に隣接して設けられ、同じ走行レーンにおいて撮像範囲のうち少なくとも一部が重複するように設置される少なくとも2つのカメラによって撮像された撮像結果に基づく認識結果に基づき、前記第1の文字列認識手段によって得られたそれぞれの認識結果を受信して記憶された記憶領域から認識結果の先頭データを読み出し、後続データがメモリ領域内に格納される時間に応じて予め決められた時間分ウエイトし、先頭データの次のデータである後続データの読み出しを行い、読み出された後続データについて、認識時刻差が予め決められた時間内に撮像されたデータであるかを判定し、前記時間内に撮像されたデータである場合には、当該先頭データと当該後続データとが隣接設置されたカメラであるか否かを判定し、隣接設置されたカメラである場合には、当該先頭データと当該後続データを参照し、これら複数の認識結果から得られる文字列を補完して認識結果として出力する第2の文字列認識手段、
    として機能させるためのナンバープレート認識プログラム。
JP2008009250A 2008-01-18 2008-01-18 ナンバープレート認識装置、ナンバープレート認識方法、ナンバープレート認識プログラム Active JP5517410B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008009250A JP5517410B2 (ja) 2008-01-18 2008-01-18 ナンバープレート認識装置、ナンバープレート認識方法、ナンバープレート認識プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008009250A JP5517410B2 (ja) 2008-01-18 2008-01-18 ナンバープレート認識装置、ナンバープレート認識方法、ナンバープレート認識プログラム

Publications (2)

Publication Number Publication Date
JP2009169827A JP2009169827A (ja) 2009-07-30
JP5517410B2 true JP5517410B2 (ja) 2014-06-11

Family

ID=40970893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008009250A Active JP5517410B2 (ja) 2008-01-18 2008-01-18 ナンバープレート認識装置、ナンバープレート認識方法、ナンバープレート認識プログラム

Country Status (1)

Country Link
JP (1) JP5517410B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963720B2 (en) * 2018-05-31 2021-03-30 Sony Corporation Estimating grouped observations

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6086651B2 (ja) * 2012-03-26 2017-03-01 三菱重工メカトロシステムズ株式会社 車両番号データ処理システム、車両番号データ処理方法、車両番号データ処理装置、プログラム、及び記録媒体
CN103714316B (zh) * 2013-12-10 2017-03-01 小米科技有限责任公司 图像识别方法、装置及电子设备
JP6472218B2 (ja) * 2014-11-17 2019-02-20 株式会社日立情報通信エンジニアリング 文字認識システム及び文字認識方法
JP2021093188A (ja) * 2021-02-24 2021-06-17 日本電気株式会社 商品登録装置及び制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02196400A (en) * 1989-01-26 1990-08-02 Mitsubishi Electric Corp Vehicle recognizing device
JPH03224100A (en) * 1990-01-30 1991-10-03 Mitsubishi Heavy Ind Ltd Number plate recognition device
JPH07105352A (ja) * 1993-09-30 1995-04-21 Nippon Signal Co Ltd:The 画像処理装置
JPH085316A (ja) * 1994-06-23 1996-01-12 Hitachi Ltd 移動体の認識方法および装置
JP3632287B2 (ja) * 1996-04-19 2005-03-23 三菱電機株式会社 車両番号読み取り装置
JP3128570B2 (ja) * 1996-08-09 2001-01-29 川崎重工業株式会社 被搬送物の表示認識方法および表示認識装置
JP3917252B2 (ja) * 1997-08-25 2007-05-23 株式会社東芝 車両のナンバプレート認識装置および車両のナンバプレート認識方法
JP4088182B2 (ja) * 2003-03-17 2008-05-21 富士通株式会社 画像情報処理システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963720B2 (en) * 2018-05-31 2021-03-30 Sony Corporation Estimating grouped observations

Also Published As

Publication number Publication date
JP2009169827A (ja) 2009-07-30

Similar Documents

Publication Publication Date Title
US7630515B2 (en) Method of and apparatus for setting image-capturing conditions, and computer program
US8687072B2 (en) System and method for creating composite images by utilizing an imaging device
JP5517410B2 (ja) ナンバープレート認識装置、ナンバープレート認識方法、ナンバープレート認識プログラム
KR101493009B1 (ko) 전후면 차량 번호 인식 방법과 그 시스템
EP2309421B1 (en) Image processing method for locating and recognizing barcodes in image frame, computer readable storage medium, and image processing apparatus
KR100968433B1 (ko) 차량번호 인식정보 저장 시스템과 그 시스템을 이용한 차량 영상정보 검색 시스템
KR101845943B1 (ko) 단일카메라를 이용한 다차로상의 차량번호인식 시스템 및 방법
CN105185121A (zh) 一种虚拟卡口并行识别车牌的方法
CN108154707A (zh) 一种停车场数据处理终端设备和停车场管理系统
KR101717140B1 (ko) 단일카메라를 이용한 다차로상의 차량검지 및 차량번호인식 시스템 및 방법
KR20160103459A (ko) 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법
KR20090035798A (ko) 차량 번호판의 영상 저장 시스템 및 그 방법
KR101016011B1 (ko) 차량 번호인식 방범 cctv 시스템 및 그 동작방법
US11157755B2 (en) Image processing apparatus
JP2000268291A (ja) ナンバープレート認識装置
CN111739175A (zh) 一种车辆停车监控方法和装置
KR100869139B1 (ko) 휴대용 단말기로 영상 입력되는 신호를 이용한 차량 번호판인식 시스템 및 그 인식 방법
JP5472252B2 (ja) 番号標検出装置、コンピュータプログラム及び番号標検出方法
JP2011060138A (ja) ナンバプレート読取装置およびナンバプレート読取方法
KR102160677B1 (ko) 다중 차량 추적 기술을 이용한 불법주정차단속장치 및 그 동작 방법
JP2009259155A (ja) 車両通行履歴管理システム
KR101459026B1 (ko) 차량 통행 관리 장치 및 그 방법
JP2000322686A (ja) 車両のナンバプレート認識装置
KR20080024610A (ko) 주차 관제 시스템 및 계수 방법
JPH11296786A (ja) 車両ナンバー認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120911

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121112

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20121113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130319

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130509

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130509

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130827

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131126

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20131126

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20131204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140210

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140401

R151 Written notification of patent or utility model registration

Ref document number: 5517410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350