JP4324458B2 - 車両ナンバー読み取り装置 - Google Patents

Description

本発明は、車両のナンバープレートの像を含む撮像された画像を処理して車両ナンバーを読み取る車両ナンバー読み取り装置に関するものである。

下記の特許文献１には、車両ナンバー読み取り装置の一部として用いられるナンバープレートの一連指定番号（「一連番号」とも呼ばれる。）切り出し装置が開示されている。この切り出し装置では、ナンバープレート領域の画像から一連番号を切り出す切り出し手段と、該切り出し手段により切り出せなかった文字位置を推定して当該文字位置を切り出す切り出し補間手段とを備えている（特許文献１の請求項４、段落番号［００２３］〜［００３２］）。この切り出し装置を用いた車両ナンバー読み取り装置では、この切り出し装置により切り出された一連番号の文字領域について、一連番号の文字を認識する処理を行うことで、一連番号が認識される。

前記切り出し装置によれば、切り出し補間手段によって、切り出し手段により切り出せなかった文字位置を推定して当該文字位置を切り出すので、一連番号の文字位置の切り出しの信頼性が高まる。したがって、前記切り出し装置を用いた車両ナンバー読み取り装置によれば、前記切り出し補間手段を有していない場合に比べて、一連番号の認識漏れを低減することができる。

また、車両ナンバー読み取り装置では、車両ナンバーを含む像を撮像する際に、ナンバープレートを斜め方向から撮像する場合が多い。この場合、ナンバープレートの像には、正面から撮像した場合の像に対して回転歪みやその他の歪みが生じてしまう。このため、歪みを有するナンバープレートの画像をそのまま用いて車両ナンバーを認識しようとすると、文字認識精度が低下したり、あるいは、文字認識に用いる文字パターンとして、歪みを考慮した文字パターンを多数用意したりしなければならない。そこで、従来から、撮像した画像からナンバープレート領域の画像を抽出した後に、抽出されたナンバープレート領域の画像に対して歪み補正を行い、歪み補正後のナンバープレート領域の画像について文字認識処理を行う車両ナンバー読み取り装置が、種々提供されている。このような歪み補正を行う車両ナンバー読み取り装置の一例が、下記の特許文献２に開示されている。
特開平９−３２６００９号公報 特開２００２−７９６１号公報

しかしながら、前記特許文献１に開示された切り出し装置では、単に、一連番号の文字認識の前処理として一連番号の文字位置を切り出すだけであり、前記切り出し手段や前記切り出し補間手段自体は、何ら文字認識を利用するものではない。したがって、前記特許文献１に開示された切り出し装置では、前記切り出し手段により切り出された一連番号の文字位置の領域は、文字認識しようとしてみると実際には文字領域ではなく誤って切り出された領域である可能性があり、それにより、前記切り出し補間手段により補間された文字位置の領域も、誤って切り出された領域となる可能性がある。このため、前記特許文献１に開示された切り出し装置を用いた車両ナンバー読み取り装置では、十分に精度良く一連番号を認識することはできなかった。

また、前記特許文献２に開示されているような従来の歪み補正を行う車両ナンバー読み取り装置では、撮像した画像からナンバープレート領域の画像を抽出した後に、抽出されたナンバープレート領域の画像に対してのみ歪み補正を行う。この場合、抽出されたナンバープレート領域が常に正しい領域であれば何ら問題が生じない。しかし、従来の歪み補正を行う車両ナンバー読み取り装置では、最初に抽出されたナンバープレート領域の画像に対してのみ歪み補正を行うので、最初に抽出されたナンバープレート領域が後に正しくないことが判明したときに、新たに判明した正しいナンバープレート領域について文字認識処理を行う際には、新たに判明した正しいナンバープレート領域に対して再び歪み補正を行わなければならず、二重に歪み補正が必要になることから効率良く処理を行うことができない。

本発明は、このような事情に鑑みてなされたもので、認識漏れをより確実に防止して高い精度で一連番号を認識することができる車両ナンバー読み取り装置を提供することを目的とする。

また、本発明は、認識漏れをより確実に防止して高い精度で一連番号を認識することができるとともに、歪み補正を利用して更に高い精度で一連番号を認識することができ、しかも、効率良く処理を行うことができる車両ナンバー読み取り装置を提供することを目的とする。

前記課題を解決するため、本発明の第１の態様による車両ナンバー読み取り装置は、車両のナンバープレートの像を含む撮像された画像を処理して車両ナンバーを読み取る車両ナンバー読み取り装置であって、前記撮像された画像に基づいてナンバープレート領域の候補となるナンバープレート候補領域を得るナンバープレート候補領域取得手段と、前記撮像された画像のうちの前記ナンバープレート候補領域の画像に基づいて、一連番号の各文字を認識するための認識処理を行う文字認識処理手段と、前記文字認識処理手段により認識された文字の数が２つ又は３つである場合に、前記一連番号のうちの前記文字認識処理手段による認識が漏れた可能性のある文字の領域の候補となる認識漏れ文字候補領域を得る認識漏れ文字候補領域取得手段と、前記文字認識処理手段により認識された文字の数が２つ又は３つである場合に、前記撮像された画像のうちの、前記認識漏れ文字候補領域の画像に基づいて、前記一連番号の文字を再認識するための再認識処理を行う文字再認識処理手段と、を備えたものである。

この第１の態様によれば、文字認識処理手段によってナンバープレート候補領域の画像に基づいて一連番号の各文字の認識処理が行われた後に、その認識文字数が２つ又は３つの場合に、認識漏れ文字候補領域取得手段によって認識漏れ文字候補領域が取得され、文字再認識処理手段によってその漏れ文字候補領域の画像に基づいて一連番号の文字が再認識される。このように、前記第１の態様によれば、一連番号に関して、認識漏れ文字候補領域の取得に文字認識自体が巧みに利用され、取得された認識漏れ文字について再認識が行われる。したがって、前記第１の態様によれば、一連番号に関して文字認識の前処理として文字認識とは全く分離して文字領域の切り出しを行う前記特許文献１に開示された切り出し装置を用いた車両ナンバー読み取り装置に比べて、認識漏れをより確実に防止してより高い精度で一連番号を認識することができる。

本発明の第２の態様による車両ナンバー読み取り装置は、前記第１の態様において、前記撮像された画像における前記ナンバープレート候補領域を含む領域に対して、歪みを補正する歪み補正手段を備え、前記文字認識処理手段は、前記歪み補正手段により補正された画像のうちの前記ナンバープレート候補領域に相当する領域の画像に基づいて、前記一連番号の各文字を認識するための認識処理を行うものである。

この第２の態様によれば、文字認識処理手段が、歪み補正手段により補正された画像に基づいて一連番号の各文字の認識を行うので、前記第１の態様と同じく認識漏れをより確実に防止して高い精度で一連番号を認識することができるとともに、歪み補正を利用して更に高い精度で一連番号を認識することができる。

本発明の第３の態様による車両ナンバー読み取り装置は、前記第２の態様において、前記歪み補正手段が補正対象とする前記撮像された画像における領域は、前記漏れ文字候補領域取得手段により前記認識漏れ文字候補領域であるとされる可能性のある領域に相当する領域を含み、前記文字再認識処理手段は、前記文字認識処理手段により認識された文字の数が２つ又は３つである場合に、前記歪み補正手段により補正された画像のうちの、前記認識漏れ文字候補領域の画像に基づいて、前記一連番号の文字を再認識するための再認識処理を行うものである。

前記第２の態様では、前記歪み補正手段が補正対象とする前記撮像された画像における領域は、前記ナンバープレート候補領域のみとしてもよい。しかしながら、前記第３の態様では、前記歪み補正手段が補正対象とする前記撮像された画像における領域が、漏れ文字候補領域取得手段により前記認識漏れ文字候補領域であるとされる可能性のある領域に相当する領域を含み、再認識処理手段が、歪み補正手段により補正された画像のうちの、前記認識漏れ文字候補領域の画像に基づいて、再認識処理を行うので、前記ナンバープレート候補領域に含まれない認識漏れ文字候補領域についても、再び歪み補正を行わずに歪み補正後の画像で再認識することができる。したがって、前記第３の態様によれば、前記第２の態様と同様の利点を得ながら、二重に歪み補正を行う必要がなくなって効率良く処理を行うことができるという利点も得ることができる。

本発明の第４の態様による車両ナンバー読み取り装置は、前記第２又は第３の態様において、前記歪み補正手段は、回転歪みを補正するものである。この第４の態様は、歪み補正の例を挙げたものであるが、前記第２及び第３の態様では、他の種々の歪み補正を行ってもよく、例えば、前記特許文献２に開示されている歪み補正を採用することもできる。

本発明の第５の態様による車両ナンバー読み取り装置は、前記第１乃至第４のいずれかの態様において、前記認識漏れ文字候補領域取得手段は、（ｉ）前記文字認識処理手段により認識された文字の数が２つである場合、当該２つの文字の画像上の中心間隔と当該２つの文字のうちの少なくとも１つの文字の画像上の文字幅と当該少なくとも１つの文字が「１」と認識されたか否かとに基づいて、当該２つの文字が前記一連番号の第１桁及び第２桁の文字であるかあるいは第３桁及び第４桁の文字である第１のパターンに該当するか否か、当該２つの文字が前記一連番号の第２桁及び第３桁の文字である第２のパターンに該当するか否か、当該２つの文字が前記一連番号の第１桁及び第３桁の文字であるかあるいは第２桁及び第４桁の文字である第３のパターンに該当するか否か、及び、当該２つの文字が前記一連番号の第１桁及び第４桁の文字である第４のパターンに該当するか否か、を判定する第１の判定手段と、（ｉｉ）前記第１の判定手段により前記第１のパターンに該当すると判定された場合に、当該２つの文字が前記一連番号の第１桁及び第２桁の文字であるかそれとも前記一連番号の第３桁及び第４桁の文字であるかを判定する第２の判定手段と、（ｉｉｉ）前記第１の判定手段により前記第３のパターンに該当すると判定された場合に、当該２つの文字が前記一連番号の第１桁及び第３桁の文字であるかそれとも前記一連番号の第２桁及び第４桁の文字であるかを判定する第３の判定手段と、（ｉｖ）前記第１乃至第３の判定手段による判定結果に基づいて、前記認識漏れ文字候補領域を得る手段と、を含むものである。

この第５の態様は、文字認識処理手段により認識された文字の数が２つである場合の、認識漏れ文字候補領域の取得手法の具体例を挙げたものである。

前記第１乃至第４の態様では、このような手法に限定されるものではなく、例えば、前記第１の判定手段に代えて、当該２つの文字の中心距離と縦寸法との比に基づいて、前記第１乃至第４のパターンのいずれに該当するかの判定を行う判定手段を、採用してもよい。しかしながら、この場合には、ナンバープレートを撮像するときの俯仰角によって前記比が変動してしまうので、前記第１乃至第４のパターンのいずれに該当するかの判定の精度がその分低下してしまう。これに対し、前記第５の態様では、前記第１の判定手段は、当該２つの文字の画像上の中心間隔と当該２つの文字のうちの少なくとも１つの文字の画像上の文字幅と当該少なくとも１つの文字が「１」と認識されたか否かとに基づいて、前記第１乃至第４のパターンのいずれに該当するかの判定を行うので、基本的に前記中心間隔と文字幅との比を利用することで、ナンバープレートを撮像するときの俯仰角の変動の影響を除去することができ、前記第１乃至第４のパターンのいずれに該当するかの判定の精度が高まる。よって、前記第５の態様のような判断手法を採用することが好ましい。

本発明の第６の態様による車両ナンバー読み取り装置は、前記第５の態様において、前記第２の判定手段は、当該２つの文字のうちの下位桁の文字の位置を基準としてその上部に分類番号（車種コード）の一部に相当する領域が存在するか否かに応じて、前記判定を行うものである。この第６の態様は、前記第２の判断手段による判断手法の具体例を挙げたものである。

本発明の第７の態様による車両ナンバー読み取り装置は、前記第５の態様において、前記第２の判定手段は、当該２つの文字のうちの一方の文字の位置を基準として推定されるひらがな文字の領域からひらがな文字が認識し得るか否かに応じて、前記判定を行うものである。この第７の態様は、前記第２の判断手段による判断手法の他の具体例を挙げたものである。

本発明の第８の態様による車両ナンバー読み取り装置は、前記第５乃至第７のいずれかの態様において、前記第３の判定手段は、当該２つの文字のうちの下位桁の文字の位置を基準としてその上部に分類番号の一部に相当する領域が存在するか否かに応じて、前記判定を行うものである。この第８の態様は、前記第３の判断手段による判断手法の具体例を挙げたものである。

本発明の第９の態様による車両ナンバー読み取り装置は、前記第５乃至第７のいずれかの態様において、前記第３の判定手段は、当該２つの文字のうちの一方の文字の位置を基準として推定されるひらがな文字の領域からひらがな文字が認識し得るか否かに応じて、前記判定を行うものである。この第９の態様は、前記第３の判断手段による判断手法の他の具体例を挙げたものである。

本発明の第１０の態様による車両ナンバー読み取り装置は、前記第１乃至第８のいずれかの態様において、前記認識漏れ文字候補領域取得手段は、前記文字認識処理手段により認識された文字の数が３つである場合、当該３つの文字のうちの下位桁の２つの文字の画像上の中心間隔と当該３つの文字のうちの上位桁の２つの文字の画像上の中心間隔とに基づいて、当該３つの文字が前記一連番号の第１桁、第２桁及び第３桁の文字である第５のパターンに該当するか否か、当該３つの文字が前記一連番号の第１桁、第２桁及び第４桁の文字である第６のパターンに該当するか否か、当該３つの文字が前記一連番号の第１桁、第３桁及び第４桁の文字である第７のパターンに該当するか否か、及び、当該３つの文字が前記一連番号の第２桁、第３桁及び第４桁の文字である第８のパターンに該当するか否か、を判定する第４の判定手段を、含むものである。

この第１０の態様は、文字認識処理手段により認識された文字の数が３つである場合の、認識漏れ文字候補領域の取得手法の具体例を挙げたものであるが、前記第１乃至第８の態様では、このような手法に限定されるものではない。しかしながら、前記第１０の態様では、前記第４の判定手段は、当該３つの文字のうちの下位桁の２つの文字の画像上の中心間隔と当該３つの文字のうちの上位桁の２つの文字の画像上の中心間隔とに基づいて、前記第５乃至第８のパターンのいずれに該当するかの判定を行うので、前記両中心間隔の比を利用することで、ナンバープレートを撮像するときの俯仰角の変動の影響を除去することができ、前記第５乃至第８のパターンのいずれに該当するかの判定の精度が高まる。よって、前記第１０の態様のような判断手法を採用することが好ましい。

本発明の第１１の態様による車両ナンバー読み取り装置は、前記第１乃至第１０のいずれかの態様において、前記ナンバープレート候補領域取得手段は、前記撮像された画像に基づいてナンバープレート領域の予備的な候補となるナンバープレート予備候補領域を取得する手段と、前記撮像された画像のうちの前記ナンバープレート予備候補領域の画像に基づいて、前記一連番号の各文字を予備的に認識するための認識処理を行う文字予備認識処理手段と、前記文字予備認識処理手段により前記一連番号が１文字以上認識された場合に前記ナンバープレート予備候補領域を前記ナンバープレート候補領域とするとともに、前記文字予備認識処理手段により前記一連番号が１文字も認識されない場合に前記ナンバープレート予備候補領域を前記ナンバープレート候補領域としない手段と、を含むものである。

この第１１の態様によれば、ナンバープレート予備候補領域について文字認識処理を行い、１文字以上認識されたナンバープレート予備候補領域のみをナンバープレート候補領域としている。したがって、ナンバープレート候補領域の信頼性が高まるので、一連番号をより高い精度で認識することができる。

本発明の第１２の態様による車両ナンバー読み取り装置は、前記第１乃至第１１のいずれかの態様において、前記文字認識処理手段及び前記文字再認識処理手段により認識された一連番号の文字の画像上の位置に基づいて、一連番号以外の文字の領域を得る領域取得手段と、前記領域取得手段により得られた領域から当該一連番号以外の文字を認識する手段と、を備えたものである。

この第１２の態様によれば、文字認識処理手段及び文字再認識処理手段により認識された一連番号の文字の画像上の位置を基準として、一連番号以外の文字の領域を取得し、この領域から一連番号以外の文字を認識している。したがって、高い精度で認識された一連番号の文字の位置を基準として一連番号以外の文字の領域が取得されるので、一連番号以外の文字の領域を高い精度で得ることができ、ひいては、一連番号以外の文字も高い精度で認識することができる。

本発明の第１３の態様による車両ナンバー読み取り装置は、前記第１乃至第１１のいずれかの態様において、前記文字認識処理手段及び前記文字再認識処理手段により認識された前記一連番号の文字の配置パターンが適正な配置パターンに整合するか否かを判定する整合性判定手段を、備えたものである。

この第１３の態様によれば、前記整合性判定手段を備えているので、文字認識処理手段及び文字再認識処理手段により認識された一連番号のうち、整合性判定手段により整合すると判定されたもののみを、一連番号の認識結果として用いることにより、一連番号をより一層高い精度で認識することができる。

本発明の第１４の態様による車両ナンバー読み取り装置は、前記第１３の態様において、前記文字認識処理手段及び前記文字再認識処理手段により認識されかつ前記整合性判定手段により整合すると判定された一連番号の文字の画像上の位置に基づいて、一連番号以外の文字の領域を得る領域取得手段と、前記領域取得手段により得られた領域から当該一連番号以外の文字を認識する手段と、を備えたものである。

この第１４の態様によれば、文字認識処理手段及び文字再認識処理手段により認識されかつ整合性判定手段により整合すると判定された一連番号の文字の画像上の位置を基準として、一連番号以外の文字の領域を取得し、この領域から一連番号以外の文字を認識している。したがって、より一層高い精度で認識された一連番号の文字の位置を基準として一連番号以外の文字の領域が取得されるので、一連番号以外の文字の領域をより一層高い精度で得ることができ、ひいては、一連番号以外の文字もより一層高い精度で認識することができる。

本発明によれば、認識漏れをより確実に防止して高い精度で一連番号を認識することができる車両ナンバー読み取り装置を提供することができる。

また、本発明によれば、認識漏れをより確実に防止して高い精度で一連番号を認識することができるとともに、歪み補正を利用して更に高い精度で一連番号を認識することができ、しかも、効率良く処理を行うことができる車両ナンバー読み取り装置を提供することができる。

以下、本発明による車両ナンバー読み取り装置について、図面を参照して説明する。

図１は、本発明の一実施の形態による車両ナンバー読み取り装置を示す概略ブロック図である。

本実施の形態による車両ナンバー読み取り装置は、図１に示すように、撮像手段としてのカメラ１と、カメラ１から得られた画像信号をＡ／Ｄ変換するＡ／Ｄ変換器２と、Ａ／Ｄ変換された画像信号を記憶する画像メモリ３と、画像メモリ３に記憶された画像を処理して、車両ナンバーを認識して当該車両ナンバーを出力するマイクロコンピュータ等からなる処理部４と、を備えている。

カメラ１は、図面には示していないが、車両、特にそのナンバープレート５が通過する場所付近の画像を撮像するように設置され、ナンバープレート５の像を含む画像を撮像する。

ここで、自動車のナンバープレート５の概略平面図を図２に示す。ナンバープレート５は、図２に示すように、横長の長方形の平板上において、分類番号（車種コード）５ａ及び陸運支局名５ｂが配置され、ひらがな文字５ｃが左側に配置され、大きな文字で表記された一連番号５ｄが中央に配置されており、これらが全体として車両ナンバー（登録番号）を構成している。一連番号５ｄは、１桁乃至４桁の数字からなる。一連番号５ｄが４桁の数字（文字）からなる場合、図２に示すように、第１桁の文字ｍ１、第２桁の文字ｍ２、第３桁の文字ｍ３及び第４桁の文字ｍ４からなる。一連番号５ｄが３桁以下である場合、最下位桁から順に右詰めで配置されて最上位桁側は当該桁の数字が存在しないことを示す「・」となるが、各桁の文字の位置は桁数に拘わらずに一定に規定されている。

図３は、ナンバープレート５における一連番号５ｄの各桁の文字ｍ１〜ｍ４の、規定されている位置関係を示す図である。普通車のナンバープレートの場合には、第１桁の文字ｍ１と第２桁の文字ｍ２の中心間隔、及び、第３桁の文字ｍ３と第４桁の文字ｍ４の中心間隔は両方とも５５ｍｍであり、第２桁の文字ｍ２と第３桁の文字ｍ３の中心間隔は８５ｍｍである。大型車のナンバープレートの場合には、第１桁の文字ｍ１と第２桁の文字ｍ２の中心間隔、及び、第３桁の文字ｍ３と第４桁の文字ｍ４の中心間隔は両方とも８０ｍｍであり、第２桁の文字ｍ２と第３桁の文字ｍ３の中心間隔は１１２．５ｍｍである。なお、文字ｍ１〜ｍ４の文字幅は、当該文字が「１」以外であれば全て４０ｍｍであり、当該文字が「１」であれば４０ｍｍより狭い。

次に、処理部４の動作について、図４乃至図７を参照して説明する。図４乃至７は、処理部４の動作の一例を示す概略フローチャートである。

処理部４は、ナンバープレート５の像を含む画像がカメラにより撮像されてその画像信号が画像メモリ３に格納されると、以下に説明する動作を開始する。

まず、処理部４は、カメラにより撮像された多値画像（以下、「原画像」と呼ぶ。）を周知の手法により平滑化する（ステップＳ１）。

次に、処理部４は、ステップＳ１により平滑化された画像について、周知の手法によりエッジ成分を抽出する処理を行い（ステップＳ２）、この画像を２値化する（ステップＳ３）。この２値化された画像の例を図８に示す。

次いで、処理部４は、この２値化された画像に対して、微小領域を除去するノイズ除去処理を行う（ステップＳ４）。その後、ノイズ除去処理後の画像に対して、エッジ成分に相当する画素（図８に示す例では、白画素）を膨張させる膨張処理と、該膨張処理によりにより連結された画素の連結状態を保ったまま、前記膨張処理により膨張された前記連結領域を収縮させる収縮処理と、を行う（ステップＳ５）。この膨張収縮処理後の画像の例を図９に示す。

次に、処理部４は、膨張収縮処理後の画像について、例えば各連結領域の外接矩形の大きさ等を判別することで、ナンバープレートの領域の予備的な候補となる矩形のナンバープレート予備候補領域を、その領域を示す座標等として抽出する（ステップＳ６）。ナンバープレート候補領域は、存在しない場合もあるし、１つのみ存在する場合や複数存在する場合もある。

次いで、処理部４は、ステップＳ６で抽出されたナンバープレート予備候補領域のうちステップＳ８以降の処理が未だ済んでいないものが存在するか否かを、判定する（ステップＳ７）。ステップＳ６でナンバープレート予備候補領域が抽出されなかった場合や、ステップＳ６でナンバープレート予備候補領域が１つ以上抽出されたが当該領域について既にステップＳ８以降の処理が済んでいる場合には、処理部４はナンバープレート５の読み取り処理を終了する。一方、未処理のナンバープレート予備候補領域が存在すると判定されると、ステップＳ８へ移行する。

ステップＳ８において、処理部４は、ステップＳ６で抽出されたナンバープレート予備候補領域のうち未処理のナンバープレート予備候補領域を１つ選択する。

次に、処理部４は、前記原画像のうちの、ステップＳ８で選択された抽出された領域の画像を、２値化する（ステップＳ９）。次いで、処理部４は、ステップＳ９で２値化された画像に対してラベリング処理を行い、連結領域を得る（ステップＳ１０）。

その後、処理部４は、ステップＳ１０で得た各連結領域の外接矩形領域から、所定の絞り込み条件を満たすもののみを、一連番号の各文字の領域として絞り込む（ステップＳ１１）。この絞り込み処理は、分類番号５ａの文字領域や、陸運支局名５ｂの文字領域や、ひらがな文字５ｃの文字領域や、その他のノイズ等により生ずる可能性のある連結領域の外接矩形領域などの、一連番号の各文字領域以外のものを除外する処理である。前記絞り込み条件としては、例えば、矩形領域の横方向の長さが所定範囲にあること、矩形領域の縦方向の長さが所定範囲にあること、矩形領域の面積が所定範囲にあること、のうちの１つ又は２つ以上の組み合わせを挙げることができる。

次に、処理部４は、ステップＳ１１で絞り込まれた各領域について、周知の文字認識（数字認識）処理を、一連番号の予備認識処理として行う（ステップＳ１２）。

次いで、処理部４は、ステップＳ１２で認識された文字の数を判定し（ステップＳ１３）、認識文字数が０の場合はステップＳ７へ戻り、認識文字数が１の場合はステップＳ２３へ移行し、認識文字数が２〜４の場合はステップＳ１４へ移行する。

ステップＳ２３において、処理部４は、ステップＳ１３で認識された文字を第１桁の文字であるとみなして、当該認識文字が１である否かとその画像上の文字幅とその画像上の文字位置とに基づいて、ステップＳ９で２値化された画像上のナンバープレート領域を決定する。次に、処理部４は、ステップＳ２３で決定されたナンバープレート領域に基づいて、ステップＳ９で２値化された画像上の他の各領域（分類番号５ａの領域、陸運支局名５ｂの領域、及びひらがな文字５ｃの領域）を決定する（ステップＳ２４）。その後、処理部４は、ステップＳ９で２値化された画像上の、ステップＳ９で決定された各領域について処理を行い、分類番号５ａ、陸運支局名５ｂ、及びひらがな文字５ｃを認識し（ステップＳ２５）、ナンバープレート５の読み取り処理を終了する。なお、処理部４は、ステップＳ１２で認識された文字数が１の場合には、ステップＳ１２で認識された数字を第１桁とする１桁のみからなる一連番号が読み取られたものとみなす。

ステップＳ１４において、処理部４は、ステップＳ１２で認識された文字列（数字列）の傾きθを計算する。この傾きθの計算手法の具体例を図１０に模式的に示す。この傾きθは、例えば、図１０に示すように、ステップＳ１２で認識された文字のうち最上位桁の文字（最も左側の文字）の矩形領域の中心と最下位桁の文字（最も右側の文字）の矩形領域の中心とを結ぶ直線の傾きとして、計算することができる。ステップＳ１４の後、ステップＳ１５へ移行する。

ステップＳ１５において、処理部４は、ステップＳ８で選択したナンバープレート予備候補領域を、ナンバープレート候補領域として決定する。

次に、処理部４は、ステップＳ１４で計算した傾きに基づいて、その傾きが０゜となるように、前記原画像について周知の回転歪み補正を行う（ステップＳ１６）。このとき、本実施の形態では、前記原画像におけるステップＳ１５で決定されたナンバープレート候補領域についてのみならず、後述するステップＳ３７〜Ｓ４２，Ｓ５３〜Ｓ５６で認識漏れ文字候補領域であるとされる可能性のある領域に相当する前記原画像における領域についても、回転歪み補正の対象とする。具体的には、例えば、ステップＳ１５で決定されたナンバープレート候補領域を、幅方向に、上位桁側（左側）及び下位桁側（右側）にそれぞれ２文字分延長した領域（ただし、回転補正を考慮してその分は更に拡大した領域）について、回転補正を行えばよい。なお、ステップＳ１５で決定されたナンバープレート候補領域は、ステップＳ１６における回転補正と同時に回転補正を考慮した領域に補正される。

次いで、処理部４は、ステップＳ１６により回転歪み補正された後の画像を、２値化する（ステップＳ１７）。ナンバープレート５には、自家用車に装着される地色が白色で文字が緑色のナンバープレートと、事業用車両に装着される地色が緑色で文字が白色のナンバープレートとがあるが、ステップＳ１７では、文字と地色の階調値の大小関係を判別して、いずれのナンバープレートに対しても、文字に対応する画素を白画素（勿論、黒画素でもよい）となるように、２値化処理を行う。ステップＳ１７で２値化された画像のうちの補正後のナンバープレート候補領域の画像（以下、単に、「補正後のナンバープレート候補領域の画像」という。）の例を、図１１に示す。

その後、処理部４は、前記補正後のナンバープレート候補領域の画像から、ひらがな文字５ｃ及び一連番号５ｄの領域である下部領域を切り出す（ステップＳ１８）。この下部領域の切り出しは、例えば、図１２及び図１３に示すようにして行うことができる。すなわち、前記補正後のナンバープレート候補領域の画像をＹ軸（図１１〜図１３の縦軸）に射影した射影値を求め、予め予想される付近においてこの射影値の谷の位置を分割位置として求める。図１２は、前記補正後のナンバープレート候補領域の画像が図１１に示すものである場合の、Ｙ軸への射影値と分割位置を示している。そして、この分割位置の下側の領域（図１３中の白線より下側の領域）を前記下部領域として切り出す。

次に、処理部４は、ステップＳ１８で切り出された下部領域に対してラベリング処理を行い、連結領域を得る（ステップＳ１９）。

次いで、処理部４は、ステップＳ１９で得た各連結領域の外接矩形領域から、所定の絞り込み条件を満たすもののみを、一連番号の各文字の領域として絞り込む（ステップＳ２０）。この絞り込み処理は、ひらがな文字５ｃの文字領域やその他のノイズ等により生ずる可能性のある連結領域の外接矩形領域などの、一連番号の各文字領域以外のものを除外する処理である。前記絞り込み条件としては、例えば、矩形領域の横方向の長さが所定範囲にあること、矩形領域の縦方向の長さが所定範囲にあること、矩形領域の面積が所定範囲にあること、のうちの１つ又は２つ以上の組み合わせを挙げることができる。

なお、本実施の形態のように、ステップＳ１８で前記下部領域を切り出してステップＳ１９で当該下部領域について連結領域を求め、この連結領域をステップＳ２０で絞り込むことが、一連番号の各文字の領域を精度良く抽出する上で好ましい。しかしながら、本発明では、ステップＳ１８を行わずに、ステップＳ１９で前記補正後のナンバープレート候補領域の画像に対してラベリング処理を行って連結領域を求め、この連結領域をステップＳ２０で絞り込むようにしてもよい。

ステップＳ２０の後に、処理部４は、ステップＳ１７で２値化された画像のうち、ステップＳ２０で絞り込まれた各連結領域の外接矩形領域の画像について、それぞれ認識処理を行うことにより、一連番号の各文字を認識する（ステップＳ２１）。

次に、処理部４は、ステップＳ２１で認識された文字数を判定し（ステップＳ２２）、認識文字数が２であれば図５中のステップＳ３１へ移行し、認識文字数が３であれば図６中のステップＳ５１へ移行し、認識文字数が１又は４であれば図７中のステップＳ６３へ移行する。

図５中のステップＳ３１において、処理部４は、ステップＳ２１で「１」以外の文字が認識されたか否かを判定し、「１」以外の文字が認識されていればステップＳ３２へ移行し、「１」のみが認識されていればステップＳ３３へ移行する。

ステップＳ３２において、処理部４は、ステップＳ２１で認識された２つの文字の中心間隔Ｌとその２つの文字のうちの「１」以外の文字の文字幅（当該２つの文字が両方とも「１」以外の文字である場合には、画像上の、それらの文字幅の平均値でもよい。）Ｗとの比Ｌ／Ｗを算出し、ステップＳ３４へ移行する。

ステップＳ３３において、処理部４は、画像上の、ステップＳ２１で認識された２つの文字の中心間隔Ｌと、その２つの文字のうちの一方の文字の文字幅（当該２つの文字の文字幅の平均値でもよい。）Ｗと係数（文字「１」の幅を「１」以外の文字の幅に換算するための係数）αとの積α・Ｗとの、比Ｌ／（α・Ｗ）を算出し、ステップＳ３４へ移行する。

ステップＳ３２で算出された比Ｌ／Ｗ又はステップＳ３３で算出された比Ｌ／（α・Ｗ）に基づいて、ステップＳ２１で認識された２つの文字は、一連番号のいずれの桁の文字であるかの観点で、第１乃至第４のパターンに分類することができる。この点について、図３及び図１４を参照して説明する。

前記第１のパターンは、図１４（ａ）に示すように、２つの認識文字が第１桁及び第２桁の文字ｍ１，ｍ２であるかあるいは第３桁及び第４桁の文字ｍ３，ｍ４である場合である。この場合は、規定上のＬ／Ｗ及びＬ／（α・Ｗ）は、普通車のナンバープレートでは１．３７５（＝５５／４０）、大型車のナンバープレートでは２．０００（＝８０／４０）となる。

前記第２のパターンは、図１４（ｂ）に示すように、２つの認識文字が第２桁及び第３桁の文字ｍ２，ｍ３である場合である。この場合は、規定上のＬ／Ｗ及びＬ／（α・Ｗ）は、普通車のナンバープレートでは２．１２５（＝８５／４０）、大型車のナンバープレートでは２．８１３（＝１１２．５／４０）となる。

前記第３のパターンは、図１４（ｃ）に示すように、２つの認識文字が第１桁及び第３桁の文字ｍ１，ｍ３であるかあるいは第２桁及び第４桁の文字ｍ２，ｍ４である場合である。この場合は、規定上のＬ／Ｗ及びＬ／（α・Ｗ）は、普通車のナンバープレートでは３．５００（＝（５５＋８５）／４０）、大型車のナンバープレートでは４．８１３（＝（８０＋１１２．５）／４０）となる。

前記第４のパターンは、図１４（ｄ）に示すように、２つの認識文字が第１桁及び第４桁の文字ｍ１，ｍ４である場合である。この場合は、規定上のＬ／Ｗ及びＬ／（α・Ｗ）は、普通車のナンバープレートでは５．６２５（＝（８５＋５５＋８５）／４０）、大型車のナンバープレートでは７．６２５（＝（１１２．５＋８０＋１１２．５）／４０）となる。

そして、規定上のＬ／Ｗ及びＬ／（α・Ｗ）は、理論上、撮影の角度等が変わっても、画像上のＬ／Ｗ及びＬ／（α・Ｗ）と精度良く一致する。

したがって、２．０００と２．１２５との間の所定の中間値を前記第１のパターンと前記第２のパターンとの間の閾値、２．８１３と３．５００との間の所定の中間値を前記第２のパターンと前記第３のパターンとの間の閾値、４．８１３と５．６２５との間の所定の中間値を前記第３のパターンと前記第４のパターンとの間の閾値とし、ステップＳ３２で算出されたＬ／Ｗ又はステップＳ３３で算出されたＬ／（α・Ｗ）をこれらの閾値と比較することで、前記第１乃至第４のパターンのうちのいずれのパターンに該当するかを判定することができる。本実施の形態では、処理部４は、ステップＳ３４でこの判定を行う。なお、プログラム等の制約で整数比しか扱わない場合には、Ｌ／Ｗ及びＬ／（α・Ｗ）の値は、ビットシフトや整数倍して求めればよい。

ステップＳ３４の判定は、このように常に前記第１乃至第４のパターンのうちのいずれかに該当するものとしてもよいが、Ｌ／Ｗ又はＬ／（α・Ｗ）の値によっては、前記第１乃至第４のパターンのいずれにも該当しないという判定結果を得るように判定してもよい。この場合、例えば、前述した値１．３７５，２．０００，２．１２５，２．８１３，３．５００，４．８１３，５．６２５，７．６２５の付近にそれぞれ数値範囲を定めておき、Ｌ／Ｗ又はＬ／（α・Ｗ）がそれらの数値範囲のいずれかに入る場合には対応するパターンに該当すると判定し、Ｌ／Ｗ又はＬ／（α・Ｗ）がそれらの数値範囲のいずれにも入らない場合には前記第１乃至第４のパターンのいずれにも該当しないと判定すればよい。このとき、前記第１乃至第４のパターンのいずれにも該当しないと判定された場合には、ステップＳ７へ戻ればよい。

ステップＳ３４で第１のパターンに該当すると判定されるとステップＳ３５へ移行し、第２のパターンに該当すると判定されるとステップＳ３９へ移行し、第３のパターンに該当すると判定されるとステップＳ３６へ移行し、第４のパターンに該当すると判定されるとステップＳ４２へ移行する。

ステップＳ３５において、処理部４は、ステップＳ２１で認識された２つの文字が第１桁及び第２桁の文字ｍ１，ｍ２であるかそれとも第３桁及び第４桁の文字ｍ３，ｍ４であるかを、判定する。そして、第１桁及び第２桁の文字ｍ１，ｍ２であると判定されるとステップＳ３７へ移行する一方、第３桁及び第４桁の文字ｍ３，ｍ４であるとステップＳ３８へ移行する。

ステップＳ３５の判定の第１の具体例について説明する。この第１の具体例では、まず、処理部４は、ステップＳ２１で認識された２つの文字が第１桁及び第２桁の文字ｍ１，ｍ２であると仮定して、当該認識文字が１であるか否かとその画像上の文字幅とその画像上の文字位置とに基づいて、ひらがな文字５ｃの領域を求める。次に、処理部４は、ステップＳ１７で２値化された画像における、求めたひらがな文字５ｃの領域に対して、ひらがな文字の認識処理を行う。そして、処理部４は、その領域からひらがな文字５ｃが認識された場合には、ステップＳ２１で認識された２つの文字が第１桁及び第２桁の文字ｍ１，ｍ２であると判定する一方、その領域からひらがな文字５ｃが認識されなかった場合には、ステップＳ２１で認識された２つの文字が第３桁及び第４桁の文字ｍ３，ｍ４であると判定する。なお、ここで説明した例では、ステップＳ２１で認識された２つの文字が第１桁及び第２桁の文字ｍ１，ｍ２であると仮定して、ひらがな文字５ｃの領域を推定したが、ステップＳ２１で認識された２つの文字が第３桁及び第４桁の文字ｍ３，ｍ４であると仮定して、ひらがな文字５ｃの領域を推定しても、同様に判定することができる。

ステップＳ３５の判定の第２の具体例について説明する。この第２の具体例では、処理部４は、ステップＳ２１で認識された２つの文字のうちの下位桁の文字（右側の文字）の上部に分類番号５ａの領域の一部が存在するか否かを判定することで、ステップＳ３５の判定を行う。図２に示すように、第１桁の文字の上部には分類番号５ａが存在しないが、第３桁の文字の上部には陸運支局５ｂの一部が存在している。より具体的には、例えば、処理部４は、２つの認識文字のうちの下位桁の文字の上部の領域（例えば、当該下位桁の文字が図１５中の「５」であると仮定すると、「５」の位置を基準として図１５中の白の破線で囲んだ矩形領域）を求め、この上部領域の面積に占める文字に相当する画素数の割合を算出する。そして、処理部４は、その割合が所定値未満の場合には、当該下位桁の文字の上部に分類番号５ａの領域が存在しないと判定し、ひいては、ステップＳ２１で認識された２つの文字が第１桁及び第２桁の文字ｍ１，ｍ２であると判定する。一方、前記割合が所定値以上の場合には、当該下位桁の文字の上部に陸運支局５ｂの領域の一部が存在すると判定し、ひいては、ステップＳ２１で認識された２つの文字が第３桁及び第４桁の文字ｍ３，ｍ４であると判定する。

ステップＳ３６において、処理部４は、ステップＳ２１で認識された２つの文字が第１桁及び第３桁の文字ｍ１，ｍ３であるかそれとも第２桁及び第４桁の文字ｍ２，ｍ４であるかを、判定する。そして、第１桁及び第３桁の文字ｍ１，ｍ３であると判定されるとステップＳ４０へ移行する一方、第２桁及び第４桁の文字ｍ２，ｍ４であるとステップＳ４１へ移行する。

ステップＳ３６の判定の第１の具体例について説明する。この第１の具体例では、まず、処理部４は、ステップＳ２１で認識された２つの文字が第１桁及び第３桁の文字ｍ１，ｍ３であると仮定して、当該認識文字が１であるか否かとその画像上の文字幅とその画像上の文字位置とに基づいて、ひらがな文字５ｃの領域を求める。次に、処理部４は、ステップＳ１７で２値化された画像における、求めたひらがな文字５ｃの領域に対して、ひらがな文字の認識処理を行う。そして、処理部４は、その領域からひらがな文字５ｃが認識された場合には、ステップＳ２１で認識された２つの文字が第１桁及び第３桁の文字ｍ１，ｍ３であると判定する一方、その領域からひらがな文字５ｃが認識されなかった場合には、ステップＳ２１で認識された２つの文字が第２桁及び第４桁の文字ｍ２，ｍ４であると判定する。なお、ここで説明した例では、ステップＳ２１で認識された２つの文字が第１桁及び第３桁の文字ｍ１，ｍ３であると仮定して、ひらがな文字５ｃの領域を推定したが、ステップＳ２１で認識された２つの文字が第２桁及び第４桁の文字ｍ２，ｍ４であると仮定して、ひらがな文字５ｃの領域を推定しても、同様に判定することができる。

ステップＳ３６の判定の第２の具体例について説明する。この第２の具体例では、処理部４は、ステップＳ２１で認識された２つの文字のうちの下位桁の文字（右側の文字）の上部に分類番号５ａの領域の一部が存在するか否かを判定することで、ステップＳ３６の判定を行う。図２に示すように、第１桁の文字の上部には分類番号５ａが存在しないが、第２桁の文字の上部には分類番号５ａの一部が存在している。より具体的には、例えば、処理部４は、２つの認識文字のうちの下位桁の文字の上部の領域（例えば、当該下位桁の文字が図１５中の「５」であると仮定すると、「５」の位置を基準として図１５中の白の破線で囲んだ矩形領域）を求め、この上部領域の面積に占める文字に相当する画素数の割合を算出する。そして、処理部４は、その割合が所定値未満の場合には、当該下位桁の文字の上部に分類番号５ａの領域が存在しないと判定し、ひいては、ステップＳ２１で認識された２つの文字が第１桁及び第３桁の文字ｍ１，ｍ３であると判定する。一方、前記割合が所定値以上の場合には、当該下位桁の文字の上部に分類番号５ａの領域の一部が存在すると判定し、ひいては、ステップＳ２１で認識された２つの文字が第２桁及び第４桁の文字ｍ２，ｍ４であると判定する。

ステップＳ３７において、処理部４は、ステップＳ２１で認識された２つの文字が第１桁及び第２桁の文字ｍ１，ｍ２であるものとして、その画像上の文字位置とその画像上の文字幅とその文字が「１」であると認識されたか否かとに基づいて、第３桁及び第４桁の文字ｍ３，ｍ４の矩形領域をそれぞれ推定し、ステップＳ１７で２値化された画像上のこれらの領域をそれぞれ認識漏れ文字候補領域として取得する。その後、図７中のステップＳ６１へ移行する。

ステップＳ３８において、処理部４は、ステップＳ２１で認識された２つの文字が第１桁及び第２桁の文字ｍ３，ｍ４であるものとして、その画像上の文字位置とその画像上の文字幅とその文字が「１」であると認識されたか否かとに基づいて、第１桁及び第２桁の文字ｍ１，ｍ２の矩形領域をそれぞれ推定し、ステップＳ１７で２値化された画像上のこれらの領域をそれぞれ認識漏れ文字候補領域として取得する。その後、図７中のステップＳ６１へ移行する。

ステップＳ３９において、処理部４は、ステップＳ２１で認識された２つの文字が第２桁及び第３桁の文字ｍ２，ｍ３であるものとして、その画像上の文字位置とその画像上の文字幅とその文字が「１」であると認識されたか否かとに基づいて、第１桁及び第４桁の文字ｍ１，ｍ４の矩形領域をそれぞれ推定し、ステップＳ１７で２値化された画像上のこれらの領域をそれぞれ認識漏れ文字候補領域として取得する。その後、図７中のステップＳ６１へ移行する。

ステップＳ４０において、処理部４は、ステップＳ２１で認識された２つの文字が第１桁及び第３桁の文字ｍ１，ｍ３であるものとして、その画像上の文字位置とその画像上の文字幅とその文字が「１」であると認識されたか否かとに基づいて、第２桁及び第４桁の文字ｍ２，ｍ４の矩形領域をそれぞれ推定し、ステップＳ１７で２値化された画像上のこれらの領域をそれぞれ認識漏れ文字候補領域として取得する。その後、図７中のステップＳ６１へ移行する。

ステップＳ４１において、処理部４は、ステップＳ２１で認識された２つの文字が第２桁及び第４桁の文字ｍ２，ｍ４であるものとして、その画像上の文字位置とその画像上の文字幅とその文字が「１」であると認識されたか否かとに基づいて、第１桁及び第３桁の文字ｍ１，ｍ３の矩形領域をそれぞれ推定し、ステップＳ１７で２値化された画像上のこれらの領域をそれぞれ認識漏れ文字候補領域として取得する。その後、図７中のステップＳ６１へ移行する。

ステップＳ４２において、処理部４は、ステップＳ２１で認識された２つの文字が第１桁及び第４桁の文字ｍ１，ｍ４であるものとして、その画像上の文字位置とその画像上の文字幅とその文字が「１」であると認識されたか否かとに基づいて、第２桁及び第３桁の文字ｍ２，ｍ３の矩形領域をそれぞれ推定し、ステップＳ１７で２値化された画像上のこれらの領域をそれぞれ認識漏れ文字候補領域として取得する。その後、図７中のステップＳ６１へ移行する。

図６中のステップＳ５１において、処理部４は、ステップＳ２１で認識された３つの文字のうちの下位桁の２つの文字の画像上の中心間隔Ｌ１と当該３つの文字のうちの上位桁の２つの文字の画像上の中心間隔Ｌ２との比Ｌ２／Ｌ１を、算出する。

次に、処理部４は、ステップＳ５１で算出されたＬ２／Ｌ１に基づいて、ステップＳ２１で認識された３つの文字は、一連番号のいずれの桁の文字であるかの観点で、第５乃至第８のパターンに分類することができる。この点について、図３及び図１６を参照して説明する。

前記第５のパターンは、図１６（ａ）に示すように、３つの認識文字が第１桁、第２桁及び第３桁の文字ｍ１，ｍ２，ｍ３である場合である。この場合は、規定上のＬ２／Ｌ１は、普通車のナンバープレートでは１．５４５（＝８５／５５）、大型車のナンバープレートでは１．４０６（＝１１２．５／８０）となる。

前記第６のパターンは、図１６（ｂ）に示すように、３つの認識文字が第１桁、第２桁及び第４桁の文字ｍ１，ｍ２，ｍ４である場合である。この場合は、規定上の規定上のＬ２／Ｌ１は、普通車のナンバープレートでは２．５４５（＝（５５＋８５）／５５）、大型車のナンバープレートでは２．４０６（＝（８０＋１１２．５）／８０）となる。

前記第７のパターンは、図１６（ｃ）に示すように、３つの認識文字が第１桁、第３桁及び第４桁の文字ｍ１，ｍ３，ｍ４である場合である。この場合は、規定上のＬ２／Ｌ１は、普通車のナンバープレートでは０．３９３（＝５５／（５５＋８５）、大型車のナンバープレートでは０．４１６（＝８０／（８０＋１１２．５）となる。

前記第８のパターンは、図１６（ｄ）に示すように、３つの認識文字が第２桁、第３桁及び第４桁の文字ｍ２，ｍ３，ｍ４である場合である。この場合は、規定上のＬ２／Ｌ１は、普通車のナンバープレートでは０．６４７（＝５５／８５）、大型車のナンバープレートでは０．７１１（＝８０／１１２．５）となる。

そして、規定上のＬ２／Ｌ１は、理論上、撮影の角度等が変わっても、画像上のＬ２／Ｌ１と精度良く一致する。

したがって、０．４１６と０．６４７との間の所定の中間値を前記第７のパターンと前記第８のパターンとの間の閾値、０．７１１と１．４０６との間の所定の中間値を前記第８のパターンと前記第５のパターンとの間の閾値、１．５４５と２．４０６との間の所定の中間値を前記第５のパターンと前記第６のパターンとの間の閾値とし、ステップＳ５１で算出されたＬ２／Ｌ１をこれらの閾値と比較することで、前記第５乃至第８のパターンのうちのいずれのパターンに該当するかを判定することができる。本実施の形態では、処理部４は、ステップＳ５２でこの判定を行う。なお、プログラム等の制約で整数比しか扱わない場合には、Ｌ２／Ｌ１の値は、ビットシフトや整数倍して求めればよい。また、Ｌ２／Ｌ１に代えてＬ１／Ｌ２を用いてもよいことは、言うまでもない。

ステップＳ５２の判定は、このように常に前記第５乃至第８のパターンのうちのいずれかに該当するものとしてもよいが、Ｌ２／Ｌ１の値によっては、前記第５乃至第８のパターンのいずれにも該当しないという判定結果を得るように判定してもよい。この場合、例えば、前述した値０．３９３，０．４１６，０．６４７，０．７１１，１．４０６，１．５４５，２．４０６，２．５４５の付近にそれぞれ数値範囲を定めておき、Ｌ２／Ｌ１がそれらの数値範囲のいずれかに入る場合には対応するパターンに該当すると判定し、Ｌ２／Ｌ１がそれらの数値範囲のいずれにも入らない場合には前記第５乃至第８のパターンのいずれにも該当しないと判定すればよい。このとき、前記第５乃至第８のパターンのいずれにも該当しないと判定された場合には、ステップＳ７へ戻ればよい。

ステップＳ５２で第５のパターンに該当すると判定されるとステップＳ５３へ移行し、第６のパターンに該当すると判定されるとステップＳ５４へ移行し、第７のパターンに該当すると判定されるとステップＳ５５へ移行し、第８のパターンに該当すると判定されるとステップＳ５６へ移行する。

ステップＳ５３において、処理部４は、ステップＳ２１で認識された３つの文字が第１桁、第２桁及び第３桁の文字ｍ１，ｍ２，ｍ３であるものとして、その画像上の文字位置とその画像上の文字幅とその文字が「１」であると認識されたか否かとに基づいて、第４桁の文字ｍ４の矩形領域を推定し、ステップＳ１７で２値化された画像上のこの領域を認識漏れ文字候補領域として取得する。その後、図７中のステップＳ６１へ移行する。

ステップＳ５４において、処理部４は、ステップＳ２１で認識された３つの文字が第１桁、第２桁及び第４桁の文字ｍ１，ｍ２，ｍ４であるものとして、その画像上の文字位置とその画像上の文字幅とその文字が「１」であると認識されたか否かとに基づいて、第３桁の文字ｍ３の矩形領域を推定し、ステップＳ１７で２値化された画像上のこの領域を認識漏れ文字候補領域として取得する。その後、図７中のステップＳ６１へ移行する。

ステップＳ５５において、処理部４は、ステップＳ２１で認識された３つの文字が第１桁、第３桁及び第４桁の文字ｍ１，ｍ３，ｍ４であるものとして、その画像上の文字位置とその画像上の文字幅とその文字が「１」であると認識されたか否かとに基づいて、第２桁の文字ｍ２の矩形領域を推定し、ステップＳ１７で２値化された画像上のこの領域を認識漏れ文字候補領域として取得する。その後、図７中のステップＳ６１へ移行する。

ステップＳ５６において、処理部４は、ステップＳ２１で認識された３つの文字が第２桁、第３桁及び第４桁の文字ｍ２，ｍ３，ｍ４であるものとして、その画像上の文字位置とその画像上の文字幅とその文字が「１」であると認識されたか否かとに基づいて、第１桁の文字ｍ１の矩形領域を推定し、ステップＳ１７で２値化された画像上のこの領域を認識漏れ文字候補領域として取得する。その後、図７中のステップＳ６１へ移行する。

図７中のステップＳ６１において、処理部４は、ステップＳ１７で２値化された画像上の、ステップＳ３７〜Ｓ４２，Ｓ５３〜Ｓ５６で取得された認識漏れ文字候補領域について、一連番号の文字認識処理（再認識処理）を行い、ステップＳ６３へ移行する。ステップＳ６１の際に、ステップＳ１５で決定されて回転補正された後のナンバープレート候補領域をはみ出す認識漏れ文字候補領域（例えば、ステップＳ３７で認識漏れ文字候補領域として取得された第３桁及び第４桁の文字ｍ３，ｍ４の領域は、補正後のナンバープレート候補領域から左側にはみ出し、ステップＳ３８で認識漏れ文字候補領域として取得された第１桁及び第２桁の文字ｍ１，ｍ２の領域は、補正後のナンバープレート候補領域から右側にはみ出す。）についても、再度回転補正を行うことなく、そのまま文字認識処理を行うことができる。これは、本実施の形態では、ステップＳ１６の回転補正の対象領域には、ナンバープレート候補領域だけでなく、ステップＳ３７〜Ｓ４２，Ｓ５３〜Ｓ５６で認識漏れ文字候補領域であるとされる可能性のある領域に相当する前記原画像における領域も、含めているためである。このように、本実施の形態によれば、二重に回転歪み補正を行う必要がないので、効率良く処理することができる。

なお、ステップＳ６１の再認識処理によって、常に全ての認識漏れ文字候補領域について一連番号の文字の再認識がなされるとは限らない。

ステップＳ６１の後に、処理部４は、ステップＳ２１で認識された文字及びステップＳ６２で再認識された文字の配置パターンが、適正な配置パターンに整合するか否かを判定する（ステップＳ６２）。一連番号は、第１桁から順に数字が配置されるため、最上位桁（最上位桁は、第１桁、第２桁、第３桁及び第４桁のいずれの場合もあり得る。）の数字に対する下位側の桁が空白になることはあり得ない。したがって、具体的には、例えば、ステップＳ２１で認識された文字及びステップＳ６２で再認識された文字のうちの最上位桁の文字に対して下位側の桁の文字が認識されていなければ、適正な配置パターンに整合していないと判定する一方、当該下位側の桁の文字が全て認識されていれば、適正な配置パターンに整合すると判定すればよい。ステップＳ６２でＮＯと判定されると、ステップＳ７へ戻り、ステップＳ６２でＹＥＳと判定されると、ステップＳ６３へ移行する。

図４中のステップＳ２２で認識文字数が１であると判定されてステップＳ６３へ移行した場合、ステップＳ６３において、処理部４は、ステップＳ２１で認識された文字を第１桁の文字であるとみなして、当該認識文字が１である否かとその画像上の文字幅とその画像上の文字位置とに基づいて、ステップＳ１７で２値化された画像上のナンバープレート領域を決定する。

図４中のステップＳ２２で認識文字数が４であると判定されてステップＳ６３へ移行した場合、ステップＳ６３において、処理部４は、ステップＳ２１で認識された文字の１つが１である否かとその画像上の文字幅とその画像上の文字位置とに基づいて、ステップＳ１７で２値化された画像上のナンバープレート領域を決定する。

ステップＳ６２でＹＥＳと判定されてステップＳ６３へ移行した場合、ステップＳ６３において、処理部４は、ステップＳ２１で認識された文字及びステップＳ６２で再認識された文字のうちの１つが１である否かとその画像上の文字幅とその画像上の文字位置とに基づいて、ステップＳ１７で２値化された画像上のナンバープレート領域を決定する。この場合、決定されたナンバープレート候補領域には、常に、ステップＳ３７〜Ｓ４２，Ｓ５３〜Ｓ５６で取得した認識漏れ文字候補領域を含むことになる。したがって、決定されたナンバープレート候補領域は、前述した補正後のナンバープレート候補領域を拡張したものとなる場合がある。しかし、その場合であっても、拡張した領域について再度回転補正を行う必要がなく、単に座標を修正すればよい。これは、本実施の形態では、ステップＳ１６の回転補正の対象領域には、ナンバープレート候補領域だけでなく、ステップＳ３７〜Ｓ４２，Ｓ５３〜Ｓ５６で認識漏れ文字候補領域であるとされる可能性のある領域に相当する前記原画像における領域も、含めているためである。このように、本実施の形態によれば、二重に回転歪み補正を行う必要がないので、効率良く処理することができる。

ステップＳ６３の後、処理部４は、ステップＳ６２で決定されたナンバープレート領域に基づいて、ステップＳ１７で２値化された画像上の他の各領域（分類番号５ａの領域、陸運支局名５ｂの領域、及びひらがな文字５ｃの領域）を決定する（ステップＳ６４）。その後、処理部４は、ステップＳ１７で２値化された画像上の、ステップ６３で決定された各領域について処理を行い、分類番号５ａ、陸運支局名５ｂ、及びひらがな文字５ｃを認識し（ステップＳ６５）、ナンバープレート５の読み取り処理を終了する。

本実施の形態によれば、ステップＳ２１によってナンバープレート候補領域の画像に基づいて一連番号５ｄの各文字の認識処理が行われた後に、その認識文字数が２つ又は３つの場合に、ステップＳ３７〜Ｓ４２，Ｓ５３〜Ｓ５６によって認識漏れ文字候補領域が取得され、ステップＳ６１によってその漏れ文字候補領域の画像に基づいて一連番号の文字が再認識される。このように、本実施の形態によれば、一連番号に関して、認識漏れ文字候補領域の取得に文字認識自体が巧みに利用され、取得された認識漏れ文字について再認識が行われる。したがって、本実施の形態によれば、一連番号に関して文字認識の前処理として文字認識とは全く分離して文字領域の切り出しを行う前記特許文献１に開示された切り出し装置を用いた車両ナンバー読み取り装置に比べて、認識漏れをより確実に防止してより高い精度で一連番号を認識することができる。

また、本実施の形態によれば、ステップＳ１６で補正された画像に基づいてステップＳ２１で一連番号の各文字の認識を行うので、歪み補正を利用して更に高い精度で一連番号を認識することができる。もっとも、本発明では、必ずしも歪み補正を行う必要はない。また、本実施の形態では、歪み補正として回転歪み補正を行っているが、他の他の種々の歪み補正を行ってもよく、例えば、前記特許文献２に開示されている歪み補正を採用することもできる。

さらに、本実施の形態によれば、ステップＳ１６の歪み補正の補正対象とする領域が、ステップＳ３７〜Ｓ４２，Ｓ５３〜Ｓ５６により認識漏れ文字候補領域であるとされる可能性のある領域に相当する領域を含んでいるので、前述したように、二重に歪み補正を行う必要がなくなって効率良く処理を行うことができるという利点も得られる。

また、本実施の形態では、ステップＳ１〜Ｓ１５が、前記原画像に基づいてナンバープレート候補領域を得るナンバープレート候補領域取得手段に相当しているが、ステップＳ６でナンバープレート予備候補領域を取得し、ステップＳ１２でナンバープレート予備候補領域の画像に基づいて一連番号を予備的に認識し、ステップＳ１３でその認識文字数を判定し、その認識文字数が０の場合はナンバープレート予備候補領域をナンバープレート候補領域としない。したがって、ナンバープレート候補領域の信頼性が高まるので、一連番号をより高い精度で認識することができる。もっとも、本発明では、ナンバープレート候補領域の取得は、従来から知られている種々の手法を採用してもよく、必ずしも文字認識を利用してナンバープレート候補領域を得る必要はない。

さらに、本実施の形態によれば、ステップＳ２１で認識された文字数が２つ又は３つの場合には、ステップＳ２１，Ｓ６１で認識された一連番号の文字の画像上の位置を基準として、ステップＳ６３を経たステップＳ６４で一連番号以外の文字の領域を取得し、ステップＳ６５でこの領域から一連番号以外の文字を認識している。したがって、高い精度で認識された一連番号の文字の位置を基準として一連番号以外の文字の領域が取得されるので、一連番号以外の文字の領域を高い精度で得ることができ、ひいては、一連番号以外の文字も高い精度で認識することができる。なお、本実施の形態では、一旦、ステップＳ６３でナンバープレート領域を決定した後に、このナンバープレート候補領域を用いてステップＳ６４で他の各領域を決定しているが、ステップＳ６３を除去し、ステップＳ６３でナンバープレート領域を決定するために用いた情報から、ナンバープレート領域を求めることなく、直接に、他の各領域を求めることも可能である。

さらにまた、本実施の形態によれば、ステップＳ６２で認識された前記一連番号の文字の配置パターンの整合性が検証されているので、一連番号をより一層高い精度で認識することができる。もっとも、本発明では、ステップＳ６２の整合性の検証は必ずしも行う必要はない。

以上、本発明の実施の形態について説明したが、本発明はこの実施の形態に限定されるものではない。

本発明の一実施の形態による車両ナンバー読み取り装置を示す概略ブロック図である。 自動車のナンバープレートを示す概略平面図である。 ナンバープレート５における一連番号の各桁の文字の、規定されている位置関係を示す図である。 図１中の処理部の動作の一部を示す概略フローチャートである。 図１中の処理部の動作の他の一部を示す概略フローチャートである。 図１中の処理部の動作の更に他の一部を示す概略フローチャートである。 図１中の処理部の動作の更に他の一部を示す概略フローチャートである。 ステップＳ３の後の画像の例を示す図である。 ステップＳ５の後の画像の例を示す図である。 傾きの計算手法の具体例を模式的に示す図である。 補正後のナンバープレート候補領域の画像の例を示す図である。 補正後のナンバープレート候補領域から下部領域を切り出す手法を示す説明図である。 補正後のナンバープレート候補領域から下部領域を切り出す手法を示す他の説明図である。 一連番号の認識文字数が２つの場合のパターンを示す図である。 文字に対する上部の領域の例を示す図である。 一連番号の認識文字数が３つの場合のパターンを示す図である。

符号の説明

１ カメラ
２ Ａ／Ｄ変換器
３ 画像メモリ
４ 処理部
５ ナンバープレート
５ａ 一連番号

Claims (13)

1. 車両のナンバープレートの像を含む撮像された画像を処理して車両ナンバーを読み取る車両ナンバー読み取り装置であって、
   前記撮像された画像に基づいてナンバープレート領域の候補となるナンバープレート候補領域を得るナンバープレート候補領域取得手段と、
   前記撮像された画像のうちの前記ナンバープレート候補領域の画像に基づいて、一連番号の各文字を認識するための認識処理を行う文字認識処理手段と、
   前記文字認識処理手段により認識された文字の数が２つ又は３つである場合に、前記一連番号のうちの前記文字認識処理手段による認識が漏れた可能性のある文字の領域の候補となる認識漏れ文字候補領域を得る認識漏れ文字候補領域取得手段と、
   前記文字認識処理手段により認識された文字の数が２つ又は３つである場合に、前記撮像された画像のうちの、前記認識漏れ文字候補領域の画像に基づいて、前記一連番号の文字を再認識するための再認識処理を行う文字再認識処理手段と、
   を備え、
   前記認識漏れ文字候補領域取得手段は、（ｉ）前記文字認識処理手段により認識された文字の数が２つである場合、当該２つの文字の画像上の中心間隔と当該２つの文字のうちの少なくとも１つの文字の画像上の文字幅と当該文字が「１」と認識されたか否かとに基づいて、当該２つの文字が前記一連番号の第１桁及び第２桁の文字であるかあるいは第３桁及び第４桁の文字である第１のパターンに該当するか否か、当該２つの文字が前記一連番号の第２桁及び第３桁の文字である第２のパターンに該当するか否か、当該２つの文字が前記一連番号の第１桁及び第３桁の文字であるかあるいは第２桁及び第４桁の文字である第３のパターンに該当するか否か、及び、当該２つの文字が前記一連番号の第１桁及び第４桁の文字である第４のパターンに該当するか否か、を判定する第１の判定手段と、（ｉｉ）前記第１の判定手段により前記第１のパターンに該当すると判定された場合に、当該２つの文字が前記一連番号の第１桁及び第２桁の文字であるかそれとも前記一連番号の第３桁及び第４桁の文字であるかを判定する第２の判定手段と、（ｉｉｉ）前記第１の判定手段により前記第３のパターンに該当すると判定された場合に、当該２つの文字が前記一連番号の第１桁及び第３桁の文字であるかそれとも前記一連番号の第２桁及び第４桁の文字であるかを判定する第３の判定手段と、（ｉｖ）前記第１乃至第３の判定手段による判定結果に基づいて、前記認識漏れ文字候補領域を得る手段と、を含むことを特徴とする車両ナンバー読み取り装置。
2. 前記撮像された画像における前記ナンバープレート候補領域を含む領域に対して、歪みを補正する歪み補正手段を備え、
   前記文字認識処理手段は、前記歪み補正手段により補正された画像のうちの前記ナンバープレート候補領域に相当する領域の画像に基づいて、前記一連番号の各文字を認識するための認識処理を行う、
   ことを特徴とする請求項１記載の車両ナンバー読み取り装置。
3. 前記歪み補正手段が補正対象とする前記撮像された画像における領域は、前記漏れ文字候補領域取得手段により前記認識漏れ文字候補領域であるとされる可能性のある領域に相当する領域を含み、
   前記文字再認識処理手段は、前記文字認識処理手段により認識された文字の数が２つ又は３つである場合に、前記歪み補正手段により補正された画像のうちの、前記認識漏れ文字候補領域の画像に基づいて、前記一連番号の文字を再認識するための再認識処理を行う、
   ことを特徴とする請求項２記載の車両ナンバー読み取り装置。
4. 前記歪み補正手段は、回転歪みを補正することを特徴とする請求項２又は３記載の車両ナンバー読み取り装置。
5. 前記第２の判定手段は、当該２つの文字のうちの下位桁の文字の位置を基準としてその上部に分類番号の一部に相当する領域が存在するか否かに応じて、前記判定を行うことを特徴とする請求項１乃至４のいずれかに記載の車両ナンバー読み取り装置。
6. 前記第２の判定手段は、当該２つの文字のうちの一方の文字の位置を基準として推定されるひらがな文字の領域からひらがな文字が認識し得るか否かに応じて、前記判定を行うことを特徴とする請求項１乃至４のいずれかに記載の車両ナンバー読み取り装置。
7. 前記第３の判定手段は、当該２つの文字のうちの下位桁の文字の位置を基準としてその上部に分類番号の一部に相当する領域が存在するか否かに応じて、前記判定を行うことを特徴とする請求項１乃至６のいずれかに記載の車両ナンバー読み取り装置。
8. 前記第３の判定手段は、当該２つの文字のうちの一方の文字の位置を基準として推定されるひらがな文字の領域からひらがな文字が認識し得るか否かに応じて、前記判定を行うことを特徴とする請求項１乃至６のいずれかに記載の車両ナンバー読み取り装置。
9. 前記認識漏れ文字候補領域取得手段は、前記文字認識処理手段により認識された文字の数が３つである場合、当該３つの文字のうちの下位桁の２つの文字の画像上の中心間隔と当該３つの文字のうちの上位桁の２つの文字の画像上の中心間隔とに基づいて、当該３つの文字が前記一連番号の第１桁、第２桁及び第３桁の文字である第５のパターンに該当するか否か、当該３つの文字が前記一連番号の第１桁、第２桁及び第４桁の文字である第６のパターンに該当するか否か、当該３つの文字が前記一連番号の第１桁、第３桁及び第４桁の文字である第７のパターンに該当するか否か、及び、当該３つの文字が前記一連番号の第２桁、第３桁及び第４桁の文字である第８のパターンに該当するか否か、を判定する第４の判定手段を、含むことを特徴とする請求項１乃至７のいずれかに記載の車両ナンバー読み取り装置。
10. 前記ナンバープレート候補領域取得手段は、前記撮像された画像に基づいてナンバープレート領域の予備的な候補となるナンバープレート予備候補領域を取得する手段と、前記撮像された画像のうちの前記ナンバープレート予備候補領域の画像に基づいて、前記一連番号の各文字を予備的に認識するための認識処理を行う文字予備認識処理手段と、前記文字予備認識処理手段により前記一連番号が１文字以上認識された場合に前記ナンバープレート予備候補領域を前記ナンバープレート候補領域とするとともに、前記文字予備認識処理手段により前記一連番号が１文字も認識されない場合に前記ナンバープレート予備候補領域を前記ナンバープレート候補領域としない手段と、を含むことを特徴とする請求項１乃至９のいずれかに記載の車両ナンバー読み取り装置。
11. 前記文字認識処理手段及び前記文字再認識処理手段により認識された一連番号の文字の画像上の位置に基づいて、一連番号以外の文字の領域を得る領域取得手段と、
    前記領域取得手段により得られた領域から当該一連番号以外の文字を認識する手段と、を備えたことを特徴とする請求項１乃至１０のいずれかに記載の車両ナンバー読み取り装置。
12. 前記文字認識処理手段及び前記文字再認識処理手段により認識された前記一連番号の文字の配置パターンが適正な配置パターンに整合するか否かを判定する整合性判定手段を、備えたことを特徴とする請求項１乃至１０のいずれかに記載の車両ナンバー読み取り装置。
13. 前記文字認識処理手段及び前記文字再認識処理手段により認識されかつ前記整合性判定手段により整合すると判定された一連番号の文字の画像上の位置に基づいて、一連番号以外の文字の領域を得る領域取得手段と、
    前記領域取得手段により得られた領域から当該一連番号以外の文字を認識する手段と、を備えたことを特徴とする請求項１２記載の車両ナンバー読み取り装置。

Images